CN111586046B - 一种结合威胁情报和机器学习的网络流量分析方法及系统 - Google Patents

一种结合威胁情报和机器学习的网络流量分析方法及系统 Download PDF

Info

Publication number
CN111586046B
CN111586046B CN202010381750.3A CN202010381750A CN111586046B CN 111586046 B CN111586046 B CN 111586046B CN 202010381750 A CN202010381750 A CN 202010381750A CN 111586046 B CN111586046 B CN 111586046B
Authority
CN
China
Prior art keywords
information
data
single key
network
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010381750.3A
Other languages
English (en)
Other versions
CN111586046A (zh
Inventor
娈靛浆
段彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Sipuling Technology Co Ltd
Original Assignee
Wuhan Sipuling Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Sipuling Technology Co Ltd filed Critical Wuhan Sipuling Technology Co Ltd
Priority to CN202010381750.3A priority Critical patent/CN111586046B/zh
Publication of CN111586046A publication Critical patent/CN111586046A/zh
Application granted granted Critical
Publication of CN111586046B publication Critical patent/CN111586046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，克服现有技术信息仅来源于本地发生的事件和行为，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径，实现实时动态预测网络安全，更好地保护不同用户的业务数据。

Description

一种结合威胁情报和机器学习的网络流量分析方法及系统
技术领域
本申请涉及网络安全技术领域，尤其涉及一种结合威胁情报和机器学习的网络流量分析方法及系统。
背景技术
现有的流量分析方法和系统多为被动式、静态地使用规则对提取的关键词进行匹配，得出是否被攻击的结论。即使有一些网络攻击的预测，也只是根据自身网络的历史数据进行机器学习，预测的效果很差。
因此，急需一种可动态学习的网络流量分析方法和对应的系统。
发明内容
本发明的目的在于提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径。
第一方面，本申请提供一种结合威胁情报和机器学习的网络流量分析方法，所述方法包括：
采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
结合第一方面，在第一方面第一种可能的实现方式中，所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
结合第一方面，在第一方面第二种可能的实现方式中，所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要。
结合第一方面，在第一方面第三种可能的实现方式中，所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
第二方面，本申请提供一种结合威胁情报和机器学习的网络流量分析系统，所述系统包括：
采集单元，用于采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
预处理单元，用于接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
情报理解单元，用于从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
情报评估单元，用于根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
情报预测单元，用于分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
情报展示单元，用于将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
结合第二方面，在第二方面第一种可能的实现方式中，所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
结合第二方面，在第二方面第二种可能的实现方式中，所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要。
结合第二方面，在第二方面第三种可能的实现方式中，所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
本发明提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，克服现有技术信息仅来源于本地发生的事件和行为，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径，实现实时动态预测网络安全，更好地保护不同用户的业务数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明结合威胁情报和机器学习的网络流量分析方法的大致流程图；
图2为本发明结合威胁情报和机器学习的网络流量分析系统的架构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的结合威胁情报和机器学习的网络流量分析方法的大致流程图，所述方法包括：
采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
在一些优选实施例中，所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
在一些优选实施例中，所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要。
在一些优选实施例中，所述方法还包括采用访问控制、入侵检测，对重要网络节点、网络边界、远程访问用户行为进行安全审计，使用时间戳或计数器并结合完整性检查核查现场设备认证数据的新鲜度和检测数据是否被篡改。
在一些优选实施例中，所述数据融合可采用的聚类算法包括K-Means算法、均值漂移聚类算法、基于密度的聚类算法、或凝聚层次聚类算法。
在一些优选实施例中，所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
图2为本申请提供的结合威胁情报和机器学习的网络流量分析系统的架构图，所述系统包括：
采集单元，用于采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
预处理单元，用于接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
情报理解单元，用于从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
情报评估单元，用于根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
情报预测单元，用于分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
情报展示单元，用于将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
在一些优选实施例中，所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
在一些优选实施例中，所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要。
在一些优选实施例中，所述网络传输层还包括采用访问控制、入侵检测，对重要网络节点、网络边界、远程访问用户行为进行安全审计，使用时间戳或计数器并结合完整性检查核查现场设备认证数据的新鲜度和检测数据是否被篡改。
在一些优选实施例中，所述数据融合可采用的聚类算法包括K-Means算法、均值漂移聚类算法、基于密度的聚类算法、或凝聚层次聚类算法。
在一些优选实施例中，所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
所述采集单元、预处理单元、情报理解单元、情报评估单元、情报预测单元和情报展示单元可部署在不同的装置上，装置之间协同工作。
所述部署在不同的装置上，可以是每一个单元为一个装置，不同装置之间通过专用安全传输协议进行传输。所述专用安全传输协议可以是在通用传输协议的基础上添加特殊的报头，所述报头中携带有字段，用于指示加密算法或密钥。
所述部署在不同的装置上，可以是情报理解单元、情报评估单元、情报预测单元集成在一个装置上，不同装置之间通过专用安全传输协议进行传输。
所述情报理解单元、情报评估单元、情报预测单元可以不是固定在一个网络中间装置上，可以根据网络中间装置当前的负载情况、业务种类动态调整到其他网络中间装置上。
所述预处理单元、情报理解单元、情报评估单元、情报预测单元四个部分，也可以不是固定一种部署方式，可以根据情况动态调整部署。这里所述的情况，可以是网络拥塞、被攻击范围等等因素。
还可以预处理单元包括被固化在内的第一加密密钥，是指在预处理单元内完成第一道数字加密，这里的密钥是固定不变的。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种结合威胁情报和机器学习的网络流量分析方法，其特征在于，所述方法包括：
采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要；
根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
2.根据权利要求1所述的方法，其特征在于：所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
3.根据权利要求1所述的方法，其特征在于：所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
4.一种结合威胁情报和机器学习的网络流量分析系统，其特征在于，所述系统包括：
采集单元，用于采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；
预处理单元，用于接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；
其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；
还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；
情报理解单元，用于从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；
其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；
所述热门安全事件包括僵尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径，并在发生脉络上标记热门安全事件摘要；
情报评估单元，用于根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；
其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；
判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；
将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优先级引入模糊处理计算局部网络的安全态势值；
根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值；
情报预测单元，用于分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数；
情报展示单元，用于将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的预测结果进行可视化展示。
5.根据权利要求4所述的系统，其特征在于，所述模糊处理计算是基于D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。
6.根据权利要求4所述的系统，其特征在于，所述可视化展示还包括风险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配合，定位网络脆弱点和发现潜在的威胁和攻击。
CN202010381750.3A 2020-05-08 2020-05-08 一种结合威胁情报和机器学习的网络流量分析方法及系统 Active CN111586046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381750.3A CN111586046B (zh) 2020-05-08 2020-05-08 一种结合威胁情报和机器学习的网络流量分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381750.3A CN111586046B (zh) 2020-05-08 2020-05-08 一种结合威胁情报和机器学习的网络流量分析方法及系统

Publications (2)

Publication Number Publication Date
CN111586046A CN111586046A (zh) 2020-08-25
CN111586046B true CN111586046B (zh) 2021-02-09

Family

ID=72113402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381750.3A Active CN111586046B (zh) 2020-05-08 2020-05-08 一种结合威胁情报和机器学习的网络流量分析方法及系统

Country Status (1)

Country Link
CN (1) CN111586046B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269316B (zh) * 2020-10-28 2022-06-07 中国科学院信息工程研究所 一种基于图神经网络的高鲁棒性威胁狩猎系统与方法
CN113297578B (zh) * 2021-06-25 2022-03-04 铭台(北京)科技有限公司 基于大数据和人工智能的信息感知方法及信息安全系统
CN114338110B (zh) * 2021-12-20 2024-05-10 上海纽盾科技股份有限公司 态势感知中威胁信息的预测防御方法、装置及系统
CN114500063B (zh) * 2022-01-31 2023-10-13 上海纽盾科技股份有限公司 网络资产的分区感知威胁的方法、装置、系统及存储介质
CN114553583B (zh) * 2022-03-01 2024-01-30 恒安嘉新（北京）科技股份公司 一种网络安全分析系统、方法、设备与存储介质
CN115473728A (zh) * 2022-09-07 2022-12-13 宁波永耀电力投资集团有限公司 一种基于量子通信网络的安全防护系统
CN116112285B (zh) * 2023-03-07 2023-11-14 北京国联视讯信息技术股份有限公司 一种基于人工智能的网络攻击路径预测方法及系统
CN116132989B (zh) * 2023-04-13 2023-08-22 南京艾牛科技有限公司 一种工业互联网安全态势感知系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807939A (zh) * 2016-09-09 2018-03-16 阿里巴巴集团控股有限公司 数据对象的整理方法及设备
CN108769077A (zh) * 2018-07-06 2018-11-06 武汉思普崚技术有限公司 一种网络安全溯源分析的方法及装置
CN110445801A (zh) * 2019-08-16 2019-11-12 武汉思普崚技术有限公司 一种物联网的态势感知方法和系统
CN110460608A (zh) * 2019-08-16 2019-11-15 武汉思普崚技术有限公司 一种包含关联分析的态势感知方法和系统
CN110493044A (zh) * 2019-08-16 2019-11-22 武汉思普崚技术有限公司 一种可量化的态势感知的方法和系统
CN110493217A (zh) * 2019-08-16 2019-11-22 武汉思普崚技术有限公司 一种分布式的态势感知方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225343B1 (en) * 2002-01-25 2007-05-29 The Trustees Of Columbia University In The City Of New York System and methods for adaptive model generation for detecting intrusions in computer systems
CN105426762B (zh) * 2015-12-28 2018-08-14 重庆邮电大学 一种android应用程序恶意性的静态检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807939A (zh) * 2016-09-09 2018-03-16 阿里巴巴集团控股有限公司 数据对象的整理方法及设备
CN108769077A (zh) * 2018-07-06 2018-11-06 武汉思普崚技术有限公司 一种网络安全溯源分析的方法及装置
CN110445801A (zh) * 2019-08-16 2019-11-12 武汉思普崚技术有限公司 一种物联网的态势感知方法和系统
CN110460608A (zh) * 2019-08-16 2019-11-15 武汉思普崚技术有限公司 一种包含关联分析的态势感知方法和系统
CN110493044A (zh) * 2019-08-16 2019-11-22 武汉思普崚技术有限公司 一种可量化的态势感知的方法和系统
CN110493217A (zh) * 2019-08-16 2019-11-22 武汉思普崚技术有限公司 一种分布式的态势感知方法和系统

Also Published As

Publication number Publication date
CN111586046A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111586046B (zh) 一种结合威胁情报和机器学习的网络流量分析方法及系统
CN110620759B (zh) 基于多维关联的网络安全事件危害指数评估方法及其系统
US20220124108A1 (en) System and method for monitoring security attack chains
Kumar et al. A Distributed framework for detecting DDoS attacks in smart contract‐based Blockchain‐IoT Systems by leveraging Fog computing
Hoque et al. An implementation of intrusion detection system using genetic algorithm
US9230102B2 (en) Apparatus and method for detecting traffic flooding attack and conducting in-depth analysis using data mining
CN110445801B (zh) 一种物联网的态势感知方法和系统
Aborujilah et al. Cloud‐Based DDoS HTTP Attack Detection Using Covariance Matrix Approach
CN114679338A (zh) 一种基于网络安全态势感知的网络风险评估方法
Tianfield Cyber security situational awareness
CN104660594A (zh) 一种面向社交网络的虚拟恶意节点及其网络识别方法
Lappas et al. Data mining techniques for (network) intrusion detection systems
CN105009132A (zh) 基于置信因子的事件关联
Gaurav et al. A novel approach for DDoS attacks detection in COVID-19 scenario for small entrepreneurs
KR20150091775A (ko) 비정상 행위 탐지를 위한 네트워크 트래픽 분석 방법 및 시스템
Sabri et al. Identifying false alarm rates for intrusion detection system with data mining
Stiawan et al. Characterizing network intrusion prevention system
CN110460608B (zh) 一种包含关联分析的态势感知方法和系统
Hu et al. Security risk situation quantification method based on threat prediction for multimedia communication network
US10951645B2 (en) System and method for prevention of threat
Bhuvaneswari Amma et al. A statistical class center based triangle area vector method for detection of denial of service attacks
CN113704772B (zh) 基于用户行为大数据挖掘的安全防护处理方法及系统
CN110493217B (zh) 一种分布式的态势感知方法和系统
CN110493044B (zh) 一种可量化的态势感知的方法和系统
CN111585813A (zh) 一种物联网环境下网络节点的管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant