CN113890763B - 一种基于多维空间向量聚集的恶意流量检测方法及系统 - Google Patents
一种基于多维空间向量聚集的恶意流量检测方法及系统 Download PDFInfo
- Publication number
- CN113890763B CN113890763B CN202111162886.6A CN202111162886A CN113890763B CN 113890763 B CN113890763 B CN 113890763B CN 202111162886 A CN202111162886 A CN 202111162886A CN 113890763 B CN113890763 B CN 113890763B
- Authority
- CN
- China
- Prior art keywords
- flow
- traffic
- data packet
- preset
- malicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 239000013598 vector Substances 0.000 title claims abstract description 23
- 230000002776 aggregation Effects 0.000 title claims abstract description 14
- 238000004220 aggregation Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 9
- 238000005206 flow analysis Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于多维空间向量聚集的恶意流量检测方法及系统，具有对恶意流量检测的准确性高、占用资源较低等特点，该方法包括：嗅探经过网卡的原始流量数据包，基于预设规则对原始流量数据包进行白名单流量数据滤除处理后获得的第一流量数据包进行解析处理，抽取第一流量数据包的N个流量特征，以对N个流量特征进行格式化处理获得的N个格式化流量特征为维度，建立N维坐标系，并确定N个格式化流量特征位于N维坐标系的第一坐标；确定第一坐标与预设流量坐标之间的第一位置距离，并基于第一位置距离，确定预设恶意流量与第一流量数据包之间的相似度；若相似度大于或等于预设阈值，则确定第一流量数据包的流量属性为恶意流量。
Description
技术领域
本发明涉及网络安全技术领域，特别是涉及一种基于多维空间向量聚集的恶意流量检测方法及系统。
背景技术
目前针对恶意流量的检测，行业内普遍是使用深度学习、神经网络、日志分析的方式，通过内置的算法、深度学习引擎解析训练好的模型或数据，对流量进行检测，以识别出恶意流量。但是，在巨型流量的情况下可能会出现恶意流量的识别效果较差的情况。
为了提高对恶意流量的识别效果，行业内一般会采用增加更高计算性能的方式来检测恶意流量。但是，这种检测方式可能会造成闲时计算资源的浪费。
可见，现有技术中存在对恶意流量的检测不准确、巨型流量时检测资源占用高等问题。
发明内容
基于此，本发明的目的在于解决现有技术中存在的对恶意流量的检测不准确、巨型流量时检测资源占用高等问题，提供一种具有对恶意流量检测的准确性高、占用资源较低等特点的基于多维空间向量聚集的恶意流量检测方法及系统。
第一方面，本发明实施例提供一种基于多维空间向量聚集的恶意流量检测方法，该方法包括：
嗅探经过网卡的原始流量数据包，并对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包；所述白名单流量数据为预定义的非恶意流量数据；
基于预设规则对所述第一流量数据包进行解析处理，抽取所述第一流量数据包的N个流量特征，并对所述N个流量特征进行格式化处理，获得N个格式化流量特征，N为大于或等于2的整数；
以所述N个格式化流量特征为维度，建立N维坐标系，并确定所述N个格式化流量特征位于所述N维坐标系的第一坐标；
确定所述第一坐标与预设流量坐标之间的第一位置距离，并基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度；
若所述相似度大于或等于预设阈值，则确定所述第一流量数据包的流量属性为恶意流量。
本发明实施例中，通过滤除嗅探到的经过网卡的原始流量数据包的白名单流量数据，获得第一流量数据包，再对第一流量数据包进行N个流量特征进行特征抽取，以这N个流量特征进行多维空间向量聚集，用于计算第一流量数据包与预设恶意流量之间的相似度，其所涉及的算法空间复杂度及难度程度较低，占用资源较低，可以减少系统能量损耗，提高系统的运行效率，还可以提高对恶意流量检测的准确性。普通的通用型服务器也可使用基于多维空间向量聚集的恶意流量检测系统快速对流量进行处理，无需再置备高性能服务器，可以大幅度降低硬件成本、资源损耗，可以提高系统资源利用率，从而达到恶意流量检测的更优解，即可以同时提高对恶意流量检测的准确性高，以及降低资源的占用。
在一种可能的设计中，对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包，包括：
获取预设白名单流量数据；
将所述原始流量数据包中任一流量数据的TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组进行对比，滤除所述原始流量数据包中TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组相同的白名单流量数据，获得所述第一流量数据包；所述TCP/IP四元组包括源IP、目的IP、源端口、目的端口。
在一种可能的设计中，所述预设规则包括以IP、握手包的密码套件、流量双向比例作为特征抽取的规则，和/或，包括以UA、请求类型、流量双向比例作为特征抽取的规则；
基于预设规则对第一流量数据包进行解析处理，抽取第一流量数据包的N个流量特征，包括：
若所述第一流量数据包为HTTPS流量数据包，基于所述预设规则解析出所述第一流量数据包包含的IP、握手包的密码套件、流量双向比；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比，作为所述N个流量特征；或者，
若所述第一流量数据包为HTTP流量数据包，基于所述预设规则解析出所述第一流量数据包包含的UA、请求类型、流量双向比例；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比例，作为所述N个流量特征。
在一种可能的设计中，对所述N个流量特征进行格式化处理，获得N个格式化流量特征，包括：
将所述N个流量特征的各类数据分别转化为Int64类型的数据，获得所述N个格式化流量特征；所述各类数据包括IP、握手包的密码套件、流量双向比例、UA、请求类型。
在一种可能的设计中，基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度，包括：
确定所述预设流量坐标与所述N维坐标系的原点之间的第二位置距离；
计算所述第一位置距离与所述第二位置距离之间的位置比例；
将所述位置比例对应的数值确定为所述相似度。
在一种可能的设计中，确定所述第一流量数据包的流量属性为恶意流量之后，所述方法还包括：
将检测结果存储到数据库中；所述检测结果包括所述第一流量数据包的流量属性是否为恶意流量的识别结果；
基于所述检测结果生成告警信息和/或日志数据，并存储到所述数据库中。
在一种可能的设计中，所述方法还包括：
接收操作信息；
基于所述操作信息，通过态势感知平台或展示页面以所述N维坐标系的方式展示所述第一坐标和所述预设流量坐标，并采用不同的标识信息标识所述第一坐标和所述预设流量坐标。
在一种可能的设计中，所述方法还包括：
若确定系统总资源占用低于预置数值，基于所述检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的所述预设规则。
相较于现有技术而言，本发明实施例所提供的的技术方案可以具有算法空间复杂度及难度程度较低，占用资源较低，系统能量损耗低，系统的运行效率高，恶意流量检测的准确性高，无需再置备高性能服务器，可以大幅度降低硬件成本、资源损耗，可以提高系统资源利用率等特点，还可以在保证系统正常运行的情况下，进行自学习训练处理，以进一步提高对恶意流量检测的准确性的特点。
第二方面，本发明实施例还提供了一种基于多维空间向量聚集的恶意流量检测系统，包括：
流量嗅探模块，用于嗅探经过网卡的原始流量数据包，并对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包；所述白名单流量数据为预定义的非恶意流量数据；
流量解析模块，用于基于预设规则对所述第一流量数据包进行解析处理，抽取所述第一流量数据包的N个流量特征，并对所述N个流量特征进行格式化处理，获得N个格式化流量特征，N为大于或等于2的整数；
流量抽象模块，用于以所述N个格式化流量特征为维度，建立N维坐标系，并确定所述N个格式化流量特征位于所述N维坐标系的第一坐标；
流量识别模块，用于确定所述第一坐标与预设流量坐标之间的第一位置距离，并基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度；若所述相似度大于或等于预设阈值，则确定所述第一流量数据包的流量属性为恶意流量。
在一种可能的设计中，所述流量嗅探模块具体用于：
获取预设白名单流量数据；
将所述原始流量数据包中任一流量数据的TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组进行对比，滤除所述原始流量数据包中TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组相同的白名单流量数据，获得所述第一流量数据包；所述TCP/IP四元组包括源IP、目的IP、源端口、目的端口。
在一种可能的设计中，所述预设规则包括以IP、握手包的密码套件、流量双向比例作为特征抽取的规则，和/或，包括以UA、请求类型、流量双向比例作为特征抽取的规则；所述流量解析模块具体用于：
若所述第一流量数据包为HTTPS流量数据包，基于所述预设规则解析出所述第一流量数据包包含的IP、握手包的密码套件、流量双向比；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比，作为所述N个流量特征；或者，
若所述第一流量数据包为HTTP流量数据包，基于所述预设规则解析出所述第一流量数据包包含的UA、请求类型、流量双向比例；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比例，作为所述N个流量特征。
在一种可能的设计中，对所述N个流量特征进行格式化处理，获得N个格式化流量特征，包括：
将所述N个流量特征的各类数据分别转化为Int64类型的数据，获得所述N个格式化流量特征；所述各类数据包括IP、握手包的密码套件、流量双向比例、UA、请求类型。
在一种可能的设计中，所述流量识别模块具体用于：
确定所述预设流量坐标与所述N维坐标系的原点之间的第二位置距离；
计算所述第一位置距离与所述第二位置距离之间的位置比例；
将所述位置比例对应的数值确定为所述相似度。
在一种可能的设计中，所述系统还包括结果存储模块；所述结果存储模块用于：
将检测结果存储到数据库中；所述检测结果包括所述第一流量数据包的流量属性是否为恶意流量的识别结果；
基于所述检测结果生成告警信息和/或日志数据，并存储到所述数据库中。
在一种可能的设计中，所述结果存储模块还用于：
接收操作信息；
基于所述操作信息，通过态势感知平台或展示页面以所述N维坐标系的方式展示所述第一坐标和所述预设流量坐标，并采用不同的标识信息标识所述第一坐标和所述预设流量坐标。
在一种可能的设计中，所述系统还包括自学习模块；所述自学习模块用于：
若确定系统总资源占用低于预置数值，基于所述检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的所述预设规则。
第三方面，本发明实施例提供一种检测设备，所述检测设备包括：至少一个存储器和至少一个处理器；
所述至少一个存储器用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行时，实现上述第一方面中任一种可能设计所涉及的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个程序；当所述至少一个程序被处理器执行时，实现上述第一方面中任一种可能设计所涉及的方法。
上述第二方面至第四方面的有益技术效果可以参见上述第一方面的有益技术效果。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明实施例提供的一种基于多维空间向量的恶意流量检测系统的架构示意图；
图2为本发明实施例提供的一种网络系统的架构示意图；
图3为本发明实施例提供的一种基于多维空间向量的恶意流量检测方法的流程示意图。
图4为本发明实施例提供的一种检测设备的结构示意图。
具体实施方式
在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于其构造进行定义的，它们是相对的概念。因此，有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以，也不应当将这些或者其他的方位用语解释为限制性用语。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与本公开的一些方面相一致的实施方式的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中使用的术语“多个”包括两个及两个以上。
附图中各个部件的形状和大小不反映真实比例，目的只是示意说明以下示例性实施例中所描述的实施方式。
除非有相反的说明，本发明实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。
请参考图1所示，为本发明实施例提供的一种基于多维空间向量的恶意流量检测系统的架构示意图。其中，本发明实施例提供的基于多维空间向量的恶意流量检测系统100的部署位置可以如图2所示。
如图1所示，基于多维空间向量的恶意流量检测系统100可以包括：流量嗅探模块101、流量解析模块102、流量抽象模块103、流量识别模块104、结果存储模块105和自学习模块106。其中：
流量嗅探模块101，可以用于嗅探经过网卡的原始流量数据包，并对原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包。
流量解析模块102，可以用于基于预设规则对第一流量数据包进行解析处理，抽取第一流量数据包的N个流量特征，并对N个流量特征进行格式化处理，获得N个格式化流量特征，N为大于或等于2的整数；
流量抽象模块103，可以用于以N个格式化流量特征为维度，建立N维坐标系，并确定N个格式化流量特征位于N维坐标系的第一坐标；
流量识别模块104，可以用于确定第一坐标与预设流量坐标之间的第一位置距离，并基于第一位置距离，确定预设恶意流量与第一流量数据包之间的相似度；若该相似度大于或等于预设阈值，则确定第一流量数据包的流量属性为恶意流量。
结果存储模块105，可以用于将检测结果存储到数据库中，并基于检测结果生成告警信息和/或日志数据，将告警信息和/或日志数据存储到数据库中。
自学习模块106，可以用于若确定系统总资源占用低于预置数值，基于检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的预设规则。
在具体的实现过程中，流量嗅探模块101、流量解析模块102、流量抽象模块103、流量识别模块104、结果存储模块105和自学习模块106中的多个可以集成在同一个设备上实现，也可以是独立在不同的设备上实现，本发明实施例不限定。
下面将结合图1-3对本发明实施例提供的一种基于多维空间向量的恶意流量检测方法进行具体阐述。
请参考图3所示，为本发明实施例提供的一种基于多维空间向量的恶意流量检测方法的流程示意图。如图3所示，该方法流程可以包括如下步骤：
S201、嗅探经过网卡的原始流量数据包，并对原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包。
在一些实施例中，白名单流量数据可以为预定义的非恶意流量数据。在具体的实现过程中，流量嗅探模块101可以获取自身预先存储的预设白名单流量数据，或者也可以获取其它设备(例如云端等)预先存储的预设白名单流量数据，本发明实施例对此不做限定。
在一些实施例中，流量嗅探模块101可以主动嗅探经过网卡的原始流量数据包。之后，流量嗅探模块101可以将原始流量数据包中任一流量数据的TCP/IP四元组与预设白名单流量数据的TCP/IP四元组进行对比，可以确定出原始流量数据包中TCP/IP四元组与预设白名单流量数据中的TCP/IP四元组相同的流量数据，即白名单流量数据。流量嗅探模块101可以滤除确定出的流量数据，以获得第一流量数据包。
在一些实施例中，TCP/IP四元组可以包括源IP、目的IP、源端口、目的端口。
在另一些实施例中，管理员可以设置流量嗅探模块101使用自定义规则滤除原始流量数据包中属于白名单流量数据的流量数据。例如，管理员可以自定义使用业务标识、源IP、目的IP、源端口和目的端口等中的多个对原始流量数据进行过滤。之后，流量嗅探模块101可以使用自定义好的规则滤除原始流量数据包中属于白名单流量数据的流量数据，其过滤方式可以与上述流量嗅探模块101基于TCP/IP四元组对原始流量数据包进行过滤方式相同或类似，在此不再赘述。
本发明实施例中，通过滤除原始流量数据包中属于白名单流量数据的流量数据，可以便于后续对恶意流量数据的识别。
S202、基于预设规则对第一流量数据包进行解析处理，抽取第一流量数据包的N个流量特征，并对N个流量特征进行格式化处理，获得N个格式化流量特征。
在一些实施例中，N可以为大于或等于2的整数。
在一些实施例中，流量嗅探模块101可以主动将第一流量数据包发送给流量解析模块102，以通过流量解析模块102对第一流量数据包进行解析处理。相应的，流量解析模块102可以被动接收流量嗅探模块101发送的第一流量数据包。流量解析模块102接收到第一流量数据包后，可以基于预设规则对第一流量数据包进行解析，确定第一流量数据包包含的N个流量特征。流量解析模块102可以抽取这N个流量特征。
在一些实施例，管理员可以预设先设置多种可以适用于不同网络环境的规则，即预设规则可以包括多种规则，这些规则可以同时生效。比如，该预设规则可以包括以IP、握手包的密码套件、流量双向比例作为特征抽取的规则，该规则可以适用于HTTPS，和/或，包括以UA、请求类型、流量双向比例作为特征抽取的规则，该规则可以适用于HTTP。当然，在具体的实现过程中，该预设规则还可以包括其它规则，本发明实施例不限定。
作为一种示例，在HTTPS网络环境中，流量解析模块102可以根据该预设规则解析出第一流量数据包中包含的IP、握手包的密码套件、流量双向比例。流量解析模块102可以抽取第一流量数据包包含的IP、握手包的密码套件、流量双向比例这三个特征，作为N个流量特征。在具体的实现过程中，流量解析模块102可以将IP记做x1，可以将握手包的密码套件记做x2，可以将流量双向比例记做x3，第一流量数据包中的其它信息可以记做x4、x5等。
作为另一种示例，在HTTP网络环境中，流量解析模块102可以根据该预设规则解析出第一流量数据包中包含的UA、请求类型、流量双向比例。流量解析模块102可以抽取第一流量数据包包含的N个流量特征为UA、请求类型、流量双向比例这三个特征，作为N个流量特征。在具体的实现过程中，流量解析模块102可以将UA记做x1，可以将请求类型记做x2，可以将流量双向比例记做x3，第一流量数据包中的其它信息可以记做x4、x5等。
在具体的实现过程中，上述两种示例可以同时实现也可以独立实现，本发明实施例不限定。
在一些实施例中，流量解析模块102抽取N个流量特征后，可以对N个流量特征进行格式化处理，获得N个格式化流量特征，以便于后续流量抽象模块103和流量识别模块104识别。示例性的，流量解析模块102可以将第一流量数据包中的各类数据转化为Int64类型数据。该各类数据可以包括但不限于IP、握手包的密码套件、流量双向比例、UA。例如，该各类数据还可以包括端口、进出流量。
S203、以N个格式化流量特征为维度，建立N维坐标系，并确定N个格式化流量特征位于N维坐标系的第一坐标。
在一些实施例中，流量解析模块102获得N个格式化流量特征后，可以主动将N个格式化流量特征发送给流量抽象模块103。相应的，流量抽象模块103可以被动接收N个格式化流量特征。流量抽象模块103可以以N个格式化流量特征为维度，建立N维坐标系。示例性的，若N个格式化流量特征包括转化为Int64类型数据的IP、转化为Int64类型数据的握手包的密码套件、转化为Int64类型数据的流量双向比例，那么流量抽象模块103可以以这3个格式化流量特征为维度，建立3维坐标系，例如，可以以IP作为3维坐标系的x轴，可以以握手包的密码套件作为3维坐标系的y轴，可以以流量双向比例作为3维坐标系的z轴，这3个轴的坐标单位数据可以是Int64类型的单位数据。
在一些实施例中，流量抽象模块103建立N维坐标系后，可以确定N个格式化流量特征在该N维坐标系中的第一坐标。示例性的，若N个格式化流量特征包括转化为Int64类型数据的IP、转化为Int64类型数据的握手包的密码套件、转化为Int64类型数据的流量双向比例，那么流量抽象模块103可以确定这3个格式化流量特征在N维坐标系中的第一坐标A为(x1，y1，z1)。
在一些实施例中，预设规则中的任一规则包含的特征可以在该N维坐标系中体现为一个坐标，即预设流量坐标。示例性的，预设规则中包括的以IP、握手包的密码套件、流量双向比例作为特征抽取的规则，包含的IP、握手包的密码套件和流量双向比例可以在该3维坐标系中体现为预设流量坐标B(x2，y2，z2)。
S204、确定第一坐标与预设流量坐标之间的第一位置距离，并基于第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度。
在一些实施例中，流量抽象模块103确定第一坐标和预设流量坐标后，可以将第一坐标和预设流量坐标主动发送给流量识别模块104。相应的，流量识别模块104可以被动接收第一坐标和预设流量坐标。
在一些实施例中，流量识别模块104接收到第一坐标和预设流量坐标后，可以确定这两个坐标之间的第一位置距离。示例性的，以第一坐标和预设流量坐标分别为三维坐标A(x1，y1，z1)、B(x2，y2，z2)为例，流量识别模块104可以确定这两个坐标之间的第一位置距离可以为
在一些实施例中，流量识别模块104还可以确定预设流量坐标与N维坐标系的原点之间的第二位置距离。示例性的，以预设流量坐标为三维坐标B(x2，y2，z2)，原点坐标为O(0，0，0)为例，流量识别模块104可以确定预设流量坐标与N维坐标系的原点之间的第二位置距离可以为
在一些实施例中，流量识别模块104可以计算第一位置距离和第二位置距离之间的位置比例。示例性的，该位置比例可以为之后，流量识别模块104可以将该位置比例对应的数值，作为第一流量数据包与预设恶意流量数据包之间的相似度。示例性的，若该位置比例对应的数值为0.6，那么流量识别模块104可以将0.6作为第一流量数据包与预设恶意流量数据包之间的相似度。
205、判断预设恶意流量与第一流量数据包之间的相似度是否大于或等于预设阈值。若确定预设恶意流量与第一流量数据包之间的相似度大于或等于预设阈值，执行S206，否则，执行S207。
在一些实施例中，预设阈值可以根据实际需求进行设置，本发明实施例不限定。
S206、确定第一流量数据包的流量属性为恶意流量。
S207、确定第一流量数据包的流量属性为非恶意流量。
本发明实施例中，通过滤除嗅探到的经过网卡的原始流量数据包的白名单流量数据，获得第一流量数据包，再对第一流量数据包进行N个流量特征进行特征抽取，以这N个流量特征进行多维空间向量聚集，用于计算第一流量数据包与预设恶意流量之间的相似度，其所涉及的算法空间复杂度及难度程度较低，占用资源较低，可以减少系统能量损耗，提高系统的运行效率，还可以提高对恶意流量检测的准确性。普通的通用型服务器也可使用基于多维空间向量聚集的恶意流量检测系统快速对流量进行处理，无需再置备高性能服务器，可以大幅度降低硬件成本、资源损耗，可以提高系统资源利用率，从而达到恶意流量检测的更优解，即可以同时提高对恶意流量检测的准确性高，以及降低资源的占用。
在本发明实施例提供的一种可适用的场景下，结合图1-3所示，本发明实施例提供的一种基于多维空间向量聚集的恶意流量检测方法的流程还可以包括如下步骤：
S208、将检测结果存储到数据库中，并基于检测结果生成告警信息和/或日志数据，将告警信息和/或日志数据存储到数据库中。
在一些实施例中，检测结果可以包括第一流量数据包的流量属性是否为恶意流量的识别结果。比如，检测结果可以包括第一流量数据包的流量属性为恶意流量的识别结果，即步骤S206识别结果，还可以包括第一流量数据包的流量属性为非恶意流量的识别结果，即步骤S207识别结果。
在一些实施例中，流量识别模块104获得检测结果后，可以将检测结果发送给结果存储模块105。结果存储模块105可以将检测结果存储到数据库中。
在一些实施例中，结果存储模块105还可以基于检测结果生成告警信息和/或日志数据，并可以将生成的告警信息和/或日志信息存储到数据库中。示例性的，若检测结果包括步骤S206识别结果，结果存储模块105可以根据检测结果生成告警信息和日志信息，告警信息可以用于警告第一流量数据包的流量属性为恶意流量，日志信息可以用于后续的自学习处理。示例性的，若检测结果包括步骤S207识别结果，结果存储模块105可以根据检测结果生成日志信息，用于后续的自学习训练处理。
在一些实施例中，结果存储模块105可以根据管理员的需求展示第一坐标和预设流量坐标。示例性的，管理员可以操作态势感知平台或展示页面所在的服务器/设备展示第一坐标和预设流量坐标。相应的，该服务器/设备可以接收到相应的操作信息，该操作信息可以用于指示展示第一坐标和预设流量坐标。该服务器/设备可以基于该操作信息，通过态势感知平台或展示页面以N维坐标系的方式展示第一坐标和预设流量坐标，并可以采用不同的标识信息标识第一坐标和预设流量坐标。示例性的，可以采用不同的颜色标识第一坐标和预设流量坐标。例如，预设流量坐标可以采用蓝色标识，若第一流量数据包的流量属性为恶意流量，第一坐标可以采用红点标识，以表示第一流量数据包比较危险，或者，若第一流量数据包的流量属性为非恶意流量，但是第一流量数据包与预设恶意流量之间的相似度比较接近预设阈值，第一坐标可以采用黄点标识，以表示第一流量数据包为可疑的即可能存在恶意流量，或者，若第一流量数据包的流量属性为非恶意流量，且第一流量数据包与预设恶意流量之间的相似度不接近预设阈值，第一坐标可以采用绿点标识，以表示第一流量数据包比较安全。
S209、若确定系统总资源占用低于预置数值，基于检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的预设规则。
在一些实施例中，预置数值可以根据实际需求进行设置，本发明实施例对此不作限定。
在一些实施例中，自学习模块106可以时刻检测系统总资源占用。自学习模块106检测到系统总资源占用低于预置数值时，可以开始进行自学训练处理。比如，自学习模块106可以基于检测结果对预设规则进行训练，以获得新的预设规则。当管理员设置启用新的预设规则时，自学习模块106可以确定启用新的预设规则，此时，自学习模块可以将新的预设规则替换原来的预设规则。之后，可以基于新的预设规则对后续嗅探到的流量数据包进行恶意流量的检测，执行图3所示的方法流程。
本发明实施例中，通过在确定系统总资源占用低于预置数值，进行自学习训练处理，可以在保证系统正常运行的同时，还可以进一步提高对恶意流量检测的准确性。
基于同一发明构思，本发明实施例还提供一种检测设备，如图4所示，检测设备300可以包括：至少一个存储器301和至少一个处理器302。其中：
至少一个存储器301用于存储一个或多个程序。
当一个或多个程序被至少一个处理器302执行时，实现上述图3所示的基于多维空间向量的恶意流量检测方法。
检测设备300还可以可选地包括通信接口(图4中未示出)，通信接口用于与外部设备进行通信和数据交互传输。
需要说明的是，存储器301可能包含高速RAM存储器，也可能还包括非易失性存储器(nonvolatile memory)，例如至少一个磁盘存储器。
在具体的实现过程中，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信。如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质可以存储有至少一个程序，当至少一个程序被处理器执行时，实现上述图3所示的基于多维空间向量的恶意流量检测方法。
应当理解，计算机可读存储介质为可存储数据或程序的任何数据存储设备，数据或程序其后可由计算机系统读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备等。
计算机可读存储介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等，或者上述的任意合适的组合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种基于多维空间向量聚集的恶意流量检测方法，其特征在于，所述方法包括：
嗅探经过网卡的原始流量数据包，并对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包；所述白名单流量数据为预定义的非恶意流量数据；
基于预设规则对所述第一流量数据包进行解析处理，抽取所述第一流量数据包的N个流量特征，并对所述N个流量特征进行格式化处理，获得N个格式化流量特征，N为大于或等于2的整数；
以所述N个格式化流量特征为维度，建立N维坐标系，并确定所述N个格式化流量特征位于所述N维坐标系的第一坐标；
确定所述第一坐标与预设流量坐标之间的第一位置距离，并基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度；
若所述相似度大于或等于预设阈值，则确定所述第一流量数据包的流量属性为恶意流量；
所述方法还包括：
将检测结果存储到数据库中；所述检测结果包括所述第一流量数据包的流量属性是否为恶意流量的识别结果；
基于所述检测结果生成告警信息和/或日志数据，并存储到所述数据库中；
若确定系统总资源占用低于预置数值，基于所述检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的所述预设规则。
2.如权利要求1所述的方法，其特征在于，对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包，包括：
获取预设白名单流量数据；
将所述原始流量数据包中任一流量数据的TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组进行对比，滤除所述原始流量数据包中TCP/IP四元组与所述预设白名单流量数据的TCP/IP四元组相同的白名单流量数据，获得所述第一流量数据包；所述TCP/IP四元组包括源IP、目的IP、源端口、目的端口。
3.如权利要求1所述的方法，其特征在于，所述预设规则包括以IP、握手包的密码套件、流量双向比例作为特征抽取的规则，和/或，包括以UA、请求类型、流量双向比例作为特征抽取的规则；
基于预设规则对第一流量数据包进行解析处理，抽取第一流量数据包的N个流量特征，包括：
若所述第一流量数据包为HTTPS流量数据包，基于所述预设规则解析出所述第一流量数据包包含的IP、握手包的密码套件、流量双向比；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比，作为所述N个流量特征；或者，
若所述第一流量数据包为HTTP流量数据包，基于所述预设规则解析出所述第一流量数据包包含的UA、请求类型、流量双向比例；抽取所述第一流量数据包包含的IP、握手包的密码套件、流量双向比例，作为所述N个流量特征。
4.如权利要求1所述的方法，其特征在于，对所述N个流量特征进行格式化处理，获得N个格式化流量特征，包括：
将所述N个流量特征的各类数据分别转化为Int64类型的数据，获得所述N个格式化流量特征；所述各类数据包括IP、握手包的密码套件、流量双向比例、UA、请求类型。
5.如权利要求1所述的方法，其特征在于，基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度，包括：
确定所述预设流量坐标与所述N维坐标系的原点之间的第二位置距离；
计算所述第一位置距离与所述第二位置距离之间的位置比例；
将所述位置比例对应的数值确定为所述相似度。
6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
接收操作信息；
基于所述操作信息，通过态势感知平台或展示页面以所述N维坐标系的方式展示所述第一坐标和所述预设流量坐标，并采用不同的标识信息标识所述第一坐标和所述预设流量坐标。
7.一种基于多维空间向量聚集的恶意流量检测系统，其特征在于，包括：
流量嗅探模块，用于嗅探经过网卡的原始流量数据包，并对所述原始流量数据包进行白名单流量数据滤除处理，获得第一流量数据包；所述白名单流量数据为预定义的非恶意流量数据；
流量解析模块，用于基于预设规则对所述第一流量数据包进行解析处理，抽取所述第一流量数据包的N个流量特征，并对所述N个流量特征进行格式化处理，获得N个格式化流量特征，N为大于或等于2的整数；
流量抽象模块，用于以所述N个格式化流量特征为维度，建立N维坐标系，并确定所述N个格式化流量特征位于所述N维坐标系的第一坐标；
流量识别模块，用于确定所述第一坐标与预设流量坐标之间的第一位置距离，并基于所述第一位置距离，确定预设恶意流量与所述第一流量数据包之间的相似度；若所述相似度大于或等于预设阈值，则确定所述第一流量数据包的流量属性为恶意流量；
结果存储模块，用于将检测结果存储到数据库中；所述检测结果包括所述第一流量数据包的流量属性是否为恶意流量的识别结果；基于所述检测结果生成告警信息和/或日志数据，并存储到所述数据库中；
自学习模块，用于若确定系统总资源占用低于预置数值，基于所述检测结果对所述预设规则进行训练，以获得新的预设规则并替换原来的所述预设规则。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个程序；当所述至少一个程序被处理器执行时，实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111162886.6A CN113890763B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多维空间向量聚集的恶意流量检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111162886.6A CN113890763B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多维空间向量聚集的恶意流量检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113890763A CN113890763A (zh) | 2022-01-04 |
| CN113890763B true CN113890763B (zh) | 2024-05-03 |
Family
ID=79005060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111162886.6A Active CN113890763B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多维空间向量聚集的恶意流量检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113890763B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010277196A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2017138155A1 (ja) * | 2016-02-12 | 2017-08-17 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
| CN109617868A (zh) * | 2018-12-06 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种ddos攻击的检测方法、装置及检测服务器 |
| CN109858534A (zh) * | 2019-01-18 | 2019-06-07 | 郑州云海信息技术有限公司 | 一种网络异常行为确定方法、装置、设备及可读存储介质 |
| CN110086811A (zh) * | 2019-04-29 | 2019-08-02 | 深信服科技股份有限公司 | 一种恶意脚本检测方法及相关装置 |
| CN112929378A (zh) * | 2021-02-19 | 2021-06-08 | 广东云智安信科技有限公司 | 跨域单点登入服务保存及获取方法、系统、设备及介质 |
| CN113132391A (zh) * | 2021-04-20 | 2021-07-16 | 辽宁谛听信息科技有限公司 | 一种用于工控蜜罐的恶意行为识别方法 |
-
2021
- 2021-09-30 CN CN202111162886.6A patent/CN113890763B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010277196A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2017138155A1 (ja) * | 2016-02-12 | 2017-08-17 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
| CN109617868A (zh) * | 2018-12-06 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种ddos攻击的检测方法、装置及检测服务器 |
| CN109858534A (zh) * | 2019-01-18 | 2019-06-07 | 郑州云海信息技术有限公司 | 一种网络异常行为确定方法、装置、设备及可读存储介质 |
| CN110086811A (zh) * | 2019-04-29 | 2019-08-02 | 深信服科技股份有限公司 | 一种恶意脚本检测方法及相关装置 |
| CN112929378A (zh) * | 2021-02-19 | 2021-06-08 | 广东云智安信科技有限公司 | 跨域单点登入服务保存及获取方法、系统、设备及介质 |
| CN113132391A (zh) * | 2021-04-20 | 2021-07-16 | 辽宁谛听信息科技有限公司 | 一种用于工控蜜罐的恶意行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| "面向无标签流量数据的异常检测方案研究";陈俊泰;《信息科技》(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113890763A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112738015B (zh) | 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法 | |
| EP3266156B1 (en) | Network infrastructure device to implement pre-filter rules | |
| CN107392121A (zh) | 一种基于指纹识别的自适应设备识别方法及系统 | |
| US20230224232A1 (en) | System and method for extracting identifiers from traffic of an unknown protocol | |
| CN112804123B (zh) | 一种用于调度数据网的网络协议识别方法及系统 | |
| WO2022036801A1 (zh) | 一种实现异构网络共存的方法和系统 | |
| CN109451486B (zh) | 基于探测请求帧的WiFi采集系统及WiFi终端探测方法 | |
| EP3905084A1 (en) | Method and device for detecting malware | |
| KR20140089195A (ko) | 네트워크 보안 장비의 패턴 매칭 시스템 및 그 패턴 매칭 방법 | |
| US20210026341A1 (en) | Network analysis program, network analysis device, and network analysis method | |
| CN110020161B (zh) | 数据处理方法、日志处理方法和终端 | |
| CN115766189B (zh) | 一种多通道隔离安全防护方法及系统 | |
| CN106255082A (zh) | 一种垃圾短信的识别方法及系统 | |
| CN110784486A (zh) | 一种工业漏洞扫描方法和系统 | |
| CN109040028A (zh) | 一种工控全流量分析方法及装置 | |
| CN111586695A (zh) | 短信识别方法及相关设备 | |
| CN111652284A (zh) | 扫描器识别方法及装置、电子设备、存储介质 | |
| CN113890763B (zh) | 一种基于多维空间向量聚集的恶意流量检测方法及系统 | |
| CN110636077A (zh) | 一种基于统一平台的网络安全防护系统及方法 | |
| Yin et al. | Anomaly traffic detection based on feature fluctuation for secure industrial internet of things | |
| CN108881124B (zh) | 在模块间实现高性能通信的方法、系统、存储介质及设备 | |
| US20150150132A1 (en) | Intrusion detection system false positive detection apparatus and method | |
| CN116170227A (zh) | 一种流量异常的检测方法、装置、电子设备及存储介质 | |
| CN109376064B (zh) | 一种接口测试报告的生成方法及设备 | |
| CN109618139A (zh) | 一种基于视觉路由的智能视频监控系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |