CN106790050A - 一种异常流量检测方法及检测系统 - Google Patents
一种异常流量检测方法及检测系统 Download PDFInfo
- Publication number
- CN106790050A CN106790050A CN201611177088.XA CN201611177088A CN106790050A CN 106790050 A CN106790050 A CN 106790050A CN 201611177088 A CN201611177088 A CN 201611177088A CN 106790050 A CN106790050 A CN 106790050A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- network data
- data flow
- time section
- target time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种异常流量检测方法及检测系统，其中，所述异常流量检测方法首先对网络流量数据按照协议类型和时间进行统计，获得目标时间段内不同协议的网络数据，然后根据网络数据流的协议类型分别进行特征提取，最后根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果，以实现对所述目标时间段内不同协议的网络数据流是否属于异常流量的鉴别。由于所述异常流量检测方法对不同协议的网络数据流分别进行处理和分析，大大提高了所述异常流量检测方法的适用性。
Description
技术领域
本申请涉及网络安全技术领域，更具体地说，涉及一种异常流量检测方法及检测系统。
背景技术
网络流量是反映网络承载的基本形态，随着网络的普及和网络使用量的与日俱增，网络流量也呈现指数式的上升。网络流量的大小在一定程度上反映了网络的安全性，许多网络攻击都会使得网络流量产生异常，例如分布式拒绝服务(Distributed Denial ofService，DDoS)攻击就是利用大量的正常访问请求来攻击服务器，以占用服务器大量的服务资源，从而使得合法用户无法得到服务器的响应，甚至导致服务器的瘫痪。因此，对网络流量进行检测以发现异常流量情况并采取相应措施是保护网络安全的重要措施。
对于异常流量的检测主要分为基于误用的流量检测和基于异常的流量检测，其中，基于误用的流量检测不仅需要频繁更新特征库，而且对特征库中未包含的异常流量无法检测，而基于异常的流量检测过程不依赖于特征库，并且在检测未知异常流量防范新型网络攻击方面具有优势。
但现有技术中基于异常的流量检测方法大多是针对于某种特定数据类型或某种特定协议下的异常流量的检测，适用范围很小。
发明内容
为解决上述技术问题，本发明提供了一种异常流量检测方法及检测系统，以实现提升对异常流量检测的适用范围的目的。
为实现上述技术目的，本发明实施例提供了如下技术方案：
一种异常流量检测方法，包括：
采集网络流量数据；
对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流；
对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流；
根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据；
根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
可选的，所述获得对所述目标时间段内不同协议的网络数据流的判断结果之后还包括：
对所述分析结果进行显示。
可选的，所述对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流包括：
对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
可选的，所述根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据之后，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果之前还包括：
判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
可选的，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果包括：
当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
一种异常流量检测系统，包括：
流量采集模块，用于采集网络流量数据；
第一统计模块，用于对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流；
第二统计模块，用于对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流；
特征提取模块，用于根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据；
特征分析模块，用于根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
可选的，还包括：
可视化模块，用于对所述分析结果进行显示。
可选的，所述第一统计模块具体用于对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
可选的，还包括：
判断模块，用于判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
可选的，所述特征分析模块具体用于当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
从上述技术方案可以看出，本发明实施例提供了一种异常流量检测方法及检测系统，其中，所述异常流量检测方法首先对网络流量数据按照协议类型和时间进行统计，获得目标时间段内不同协议的网络数据，然后根据网络数据流的协议类型分别进行特征提取，最后根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果，以实现对所述目标时间段内不同协议的网络数据流是否属于异常流量的鉴别。由于所述异常流量检测方法对不同协议的网络数据流分别进行处理和分析，大大提高了所述异常流量检测方法的适用性。
并且，所述异常流量检测方法根据所述特征数据的协议类型，采取相应的预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，从而在实现异常流量检测的基础上，降低了对异常流量进行检测的时间，提高了所述异常流量检测方法的效率。
进一步的，所述异常流量检测方法不需要预先利用训练样本进行训练，属于无监督方法，提升了所述异常流量检测方法的使用便捷性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请的一个实施例提供的一种异常流量检测方法的流程示意图；
图2为本申请的另一个实施例提供的一种异常流量检测方法的流程示意图；
图3为本申请的又一个实施例提供的一种异常流量检测方法的流程示意图；
图4为本申请的一个优选实施例提供的一种异常流量检测方法的流程示意图；
图5为本申请的另一个优选实施例提供的一种异常流量检测方法的流程示意图；
图6为本申请的一个实施例提供的一种异常流量检测系统的结构示意图；
图7为本申请的另一个实施例提供的一种异常流量检测系统的结构示意图；
图8为本申请的又一个实施例提供的一种异常流量检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种异常流量检测方法，如图1所示，包括：
S101：采集网络流量数据。
所述网络流量数据是指网络通信过程中的网络数据包，获取这些网络数据包的方法已为本领域技术人员所熟知，本申请在此不做赘述。
S102：对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流。
每条网络数据流包括：该条网络数据流开始时间、持续时间、源IP地址、源端口、目的IP地址、目的端口、传输层协议类型、上行流量字节数、上行流量数据包数、上行流量小于127字节的数据包数、上行流量大于1500字节的数据包数、下行流量字节数、下行流量数据包数、下行流量小于127字节的数据包数和下行流量大于1500字节的数据包数中的任意一项或多项。其中，流量大于1500字节的数据包称之为大数据包，流量小于127字节的数据包称之为小数据包，上行大数据包、上行小数据包、下行大数据包和下行小数据包的数量在一定程度上反映着该条数据流的异常程度，在本申请的其他实施例中，可以对这些数据进行显示，以便技术人员根据显示的内容及时了解网络流量状态。
在本申请中，所述不同协议是指传输层协议，包括但不限于TCP协议、UDP协议和ICMP协议。
S103：对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流。
直接将单独的一条网络数据流作为对象进行分析并不能刻画网络流量发生的时空因素，因此需要对所述网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流，所述目标时间段根据需求设定，例如可以是一个月中所有星期一从上午9点到下午5点，还可以是一年中每个月所有星期一，本申请对所述目标时间段的具体包括的时间并不做限定，具体视实际情况而定。
S104：根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据。
网络数据流的协议类型的不同，会导致在网络数据流的参数不同，例如，对于ICMP协议的网络数据流而言，由于其不涉及端口号，不建立会话，每条网络数据流只包含一个数据包，所以可提取的特征维度较少，以按同源IP地址汇总统计为例，提取的特征数据的特征维度包括但不限于数据包总数、流量总字节数和不同源/目的IP地址数和源/目的IP地址信息熵。对于UDP或TCP协议的网络数据流而言，以按同目的IP地址汇总统计为例，提取的特征数据的特征维度包括但不限于数据包总数、流量总字节数、不同源/目的IP地址数和源/目的IP地址信息熵、网络数据流总数、网络数据流持续总时间、不同源端口数、源端口信息熵、不同目的端口数、目的端口信息熵、上行/下行流量总数据包数、上行/下行流量总字节数、上行/下行流量小数据包(小于127字节)总数和上行/下行流量大数据包(大于1500字节)总数。
S105：根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
所述预设聚类算法可以为基于密度的聚类算法，例如DBSCAN聚类算法、OPTICS聚类算法等；还可以是基于子空间(subspace)模型的聚类算法，例如P3C聚类算法和SUBCLU聚类算法。所述异常点检测算法可以为常用的ABOD异常点检测算法和LOF异常点检测算法，也可以为基于子空间模型的SOD异常点检测算法和OUTRES异常点检测算法，本申请对所述预设聚类算法和异常点检测算法的具体类型并不做限定，具体视实际情况而定。
在上述实施例的基础上，在本申请的一个实施例中，如图2所示，所述获得对所述目标时间段内不同协议的网络数据流的判断结果之后还包括：
S106：对所述分析结果进行显示。
需要说明的是，由于所述分析结果中包含对多维特征维度的网络数据流的分析，因此，在对所述分析结果进行显示时需要对所述分析结果进行降维处理后显示，可以采用的方法包括但不限于主成分分析(PCA)降维绘图法、平行坐标轴(parallel coordinates)法、星形坐标系(star coordinates)法、t-SNE图法和Survey Plot法。在本申请的一个优选实施例中，通过将鉴定为异常流量的网络数据流与其他正常网络数据流使用不同颜色或线形绘制以突出显示差别。但在本申请的其他实施例中，还可以将鉴定为异常流量的网络数据流以其他形式进行区别表示，本申请对此并不做限定，具体视实际情况而定。
在上述实施例的基础上，在本申请的另一个实施例中，如图3所示，所述对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流包括：
S1021：对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
在传输层协议中，TCP协议、UDP协议和ICMP协议是目前使用最为广泛的协议，TCP协议、UDP协议和ICMP协议的网络数据流占据了传输层协议的网络数据流的绝大部分，因此在本实施例中，只获取TCP协议、UDP协议和ICMP协议的网络数据流。
在上述实施例的基础上，在本申请的一个优选实施例中，如图4所示，所述根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据之后，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果之前还包括：
S1045：判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
需要说明的是，在本实施例中，当所述目标时间段内的不同协议的特征数据满足预设条件时，采用基于密度的聚类算法会出现对其进行聚类时的处理时间长、处理效率低并且处理效果欠佳的问题。此时优选采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，以提高对满足预设条件的特征数据进行分析时的处理效率，提升处理效果。这是因为基于子空间模型的聚类算法可以自动选取相关维度进行聚类，自动排除无关维度，从而提升对满足预设条件的特征数据进行聚类的处理效率，提升处理效果。而异常点检测算法对满足预设条件的特征数据进行分析时，只会对每个数据点返回一个数值表示其异常度，当异常度大于预设阈值时判定该数据点为异常点，其处理过程较为简单，有利于提升对满足预设条件的特征数据进行分析的处理效率，提升处理效果。
还需要说明的是，所述无关维度是指在特定环境下对于异常流量检测没有贡献的维度，比如在某个特定环境下，小流量数据包的数量较多为正常现象，此时上行小流量数据包总数、下行小流量数据包总数这两个维度即为无关维度。
在上述实施例的基础上，在本申请的一个具体实施例中，如图5所示，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果包括：
S1051：当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
S1052：当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
需要说明的是，UDP协议或TCP协议的网络数据流对应的特征数据具有特征维度较高的特点，可选用异常点检测算法对其进行分析，相比于聚类算法，异常点检测算法的计算运行效率高，而且其对每个数据点返回一个数值表示其异常度，可以根据实际需要或结合可视化模块调节异常数据点预设阈值，从而标注异常流量。
在本申请的一个优选实施例中，技术人员可以根据实际的分析结果显示的效果设定所述预设阈值，从而实现分析结果更为精确且符合用户环境的目的。
ICMP协议的网络数据流对应的特征数据具有特征维度较低的特征，可选用基于密度的聚类算法对其进行分析。相比于常用的K-Means聚类算法，具有不需要事先指定分类数的优势，在对正常网络数据流不明的陌生环境中尤其具有优势。基于密度的聚类算法分析的结果会将网络数据流聚成若干个类，并自动标记出一些不属于其中任何类的异常网络数据流，即为检测出的异常流量。
相应的，本申请实施例还提供了一种异常流量检测系统，如图6所示，包括：
流量采集模块100，用于采集网络流量数据；
第一统计模块200，用于对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流；
第二统计模块300，用于对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流；
特征提取模块400，用于根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据；
特征分析模块500，用于根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
需要说明的是，所述网络流量数据是指网络通信过程中的网络数据包，获取这些网络数据包的方法已为本领域技术人员所熟知，本申请在此不做赘述。
每条网络数据流包括：该条网络数据流开始时间、持续时间、源IP地址、源端口、目的IP地址、目的端口、传输层协议类型、上行流量字节数、上行流量数据包数、上行流量小于127字节的数据包数、上行流量大于1500字节的数据包数、下行流量字节数、下行流量数据包数、下行流量小于127字节的数据包数和下行流量大于1500字节的数据包数中的任意一项或多项。其中，流量大于1500字节的数据包称之为大数据包，流量小于127字节的数据包称之为小数据包，上行大数据包、上行小数据包、下行大数据包和下行小数据包的数量在一定程度上反映着该条数据流的异常程度，在本申请的其他实施例中，可以对这些数据进行显示，以便技术人员根据显示的内容及时了解网络流量状态。
在本申请中，所述不同协议是指传输层协议，包括但不限于TCP协议、UDP协议和ICMP协议。
还需要说明的是，直接将单独的一条网络数据流作为对象进行分析并不能刻画网络流量发生的时空因素，因此需要对所述网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流，所述目标时间段根据需求设定，例如可以是一个月中所有星期一从上午9点到下午5点，还可以是一年中每个月所有星期一，本申请对所述目标时间段的具体包括的时间并不做限定，具体视实际情况而定。
网络数据流的协议类型的不同，会导致在网络数据流的参数不同，例如，对于ICMP协议的网络数据流而言，由于其不涉及端口号，不建立会话，每条网络数据流只包含一个数据包，所以可提取的特征维度较少，以按同源IP地址汇总统计为例，提取的特征数据的特征维度包括但不限于数据包总数、流量总字节数和不同源/目的IP地址数和源/目的IP地址信息熵。对于UDP或TCP协议的网络数据流而言，以按同目的IP地址汇总统计为例，提取的特征数据的特征维度包括但不限于数据包总数、流量总字节数、不同源/目的IP地址数和源/目的IP地址信息熵、网络数据流总数、网络数据流持续总时间、不同源端口数、源端口信息熵、不同目的端口数、目的端口信息熵、上行/下行流量总数据包数、上行/下行流量总字节数、上行/下行流量小数据包(小于127字节)总数和上行/下行流量大数据包(大于1500字节)总数。
所述预设聚类算法可以为基于密度的聚类算法，例如DBSCAN聚类算法、OPTICS聚类算法等；还可以是基于子空间(subspace)模型的聚类算法，例如P3C聚类算法和SUBCLU聚类算法。所述异常点检测算法可以为常用的ABOD异常点检测算法和LOF异常点检测算法，也可以是基于子空间模型的SOD异常点检测算法和OUTRES异常点检测算法，本申请对所述预设聚类算法和异常点检测算法的具体类型并不做限定，具体视实际情况而定。
在上述实施例的基础上，在本申请的一个实施例中，如图7所示，所述异常流量检测系统还包括：
可视化模块600，用于对所述分析结果进行显示。
需要说明的是，由于所述分析结果中包含对多维特征维度的网络数据流的分析，因此，在对所述分析结果进行显示时需要对所述分析结果进行降维处理后显示，可以采用的方法包括但不限于主成分分析(PCA)降维绘图法、平行坐标轴(parallel coordinates)法、星形坐标系(star coordinates)法、t-SNE图法和Survey Plot法。在本申请的一个优选实施例中，通过将鉴定为异常流量的网络数据流与其他正常网络数据流使用不同颜色或线形绘制以突出显示差别。但在本申请的其他实施例中，还可以将鉴定为异常流量的网络数据流以其他形式进行区别表示，本申请对此并不做限定，具体视实际情况而定。
在上述实施例的基础上，在本申请的另一个实施例中，所述第一统计模块200具体用于对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
在传输层协议中，TCP协议、UDP协议和ICMP协议是目前使用最为广泛的协议，TCP协议、UDP协议和ICMP协议的网络数据流占据了传输层协议的网络数据流的绝大部分，因此在本实施例中，只获取TCP协议、UDP协议和ICMP协议的网络数据流。
在上述实施例的基础上，在本申请的一个优选实施例中，如图8所示，所述异常流量检测系统还包括：
判断模块700用于判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
需要说明的是，在本实施例中，当所述目标时间段内的不同协议的特征数据满足预设条件时，采用基于密度的聚类算法会出现对其进行聚类时的处理时间长、处理效率低并且处理效果欠佳的问题。此时优选采用基于子空间模型的聚类算法或异常点检测算法对满足预设条件的特征数据进行分析，以提高对满足预设条件的特征数据进行分析时的处理效率，提升处理效果。这是因为基于子空间模型的聚类算法可以自动选取相关维度进行聚类，自动排除无关维度，从而提升对满足预设条件的特征数据进行聚类的处理效率，提升处理效果。而异常点检测算法对满足预设条件的特征数据进行分析时，只会对每个数据点返回一个数值表示其异常度，当异常度大于预设阈值时判定该数据点为异常点，其处理过程较为简单，有利于提升对满足预设条件的特征数据进行分析的处理效率，提升处理效果。
还需要说明的是，所述无关维度是指在特定环境下对于异常流量检测没有贡献的维度，比如在某个特定环境下，小流量数据包的数量较多为正常现象，此时上行小流量数据包总数、下行小流量数据包总数这两个维度即为无关维度。
在上述实施例的基础上，在本申请的一个具体实施例中，所述特征分析模块500具体用于当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
需要说明的是，UDP协议或TCP协议的网络数据流对应的特征数据具有特征维度较高的特点，可选用异常点检测算法对其进行分析，相比于聚类算法，异常点检测算法的计算运行效率高，而且其对每个数据点返回一个数值表示其异常度，可以根据实际需要或结合可视化模块调节异常数据点预设阈值，从而标注异常流量。
在本申请的一个优选实施例中，技术人员可以根据实际的分析结果显示的效果设定所述预设阈值，从而实现分析结果更为精确且符合用户环境的目的。
ICMP协议的网络数据流对应的特征数据具有特征维度较低的特征，可选用基于密度的聚类算法对其进行分析。相比于常用的K-Means聚类算法，具有不需要事先指定分类数的优势，在对正常网络数据流不明的陌生环境中尤其具有优势。基于密度的聚类算法分析的结果会将网络数据流聚成若干个类，并自动标记出一些不属于其中任何类的异常网络数据流，即为检测出的异常流量。
综上所述，本申请实施例提供了一种异常流量检测方法及检测系统，其中，所述异常流量检测方法首先对网络流量数据按照协议类型和时间进行统计，获得目标时间段内不同协议的网络数据，然后根据网络数据流的协议类型分别进行特征提取，最后根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果，以实现对所述目标时间段内不同协议的网络数据流是否属于异常流量的鉴别。由于所述异常流量检测方法对不同协议的网络数据流分别进行处理和分析，大大提高了所述异常流量检测方法的适用性。
并且，所述异常流量检测方法根据所述特征数据的协议类型，采取相应的预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，从而在实现异常流量检测的基础上，降低了对异常流量进行检测的时间，提高了所述异常流量检测方法的效率。
进一步的，所述异常流量检测方法不需要预先利用训练样本进行训练，属于无监督方法，提升了所述异常流量检测方法的使用便捷性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种异常流量检测方法，其特征在于，包括：
采集网络流量数据；
对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流；
对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流；
根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据；
根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
2.根据权利要求1所述的异常流量检测方法，其特征在于，所述获得对所述目标时间段内不同协议的网络数据流的判断结果之后还包括：
对所述分析结果进行显示。
3.根据权利要求1所述的异常流量检测方法，其特征在于，所述对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流包括：
对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
4.根据权利要求3所述的异常流量检测方法，其特征在于，所述根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据之后，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果之前还包括：
判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
5.根据权利要求4所述的异常流量检测方法，其特征在于，所述根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果包括：
当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
6.一种异常流量检测系统，其特征在于，包括：
流量采集模块，用于采集网络流量数据；
第一统计模块，用于对所述网络流量数据按照协议类型进行统计，获得不同协议的网络数据流；
第二统计模块，用于对所述不同协议的网络数据流按照时间进行统计，获得目标时间段内不同协议的网络数据流；
特征提取模块，用于根据所述网络数据流的协议类型，分别对所述目标时间段内不同协议的网络数据流进行特征提取，获得目标时间段内不同协议的特征数据；
特征分析模块，用于根据所述特征数据的协议类型，采取预设聚类算法或异常点检测算法对所述目标时间段内不同协议的特征数据进行分析，获得对所述目标时间段内不同协议的网络数据流的分析结果。
7.根据权利要求6所述的异常流量检测系统，其特征在于，还包括：
可视化模块，用于对所述分析结果进行显示。
8.根据权利要求6所述的异常流量检测系统，其特征在于，所述第一统计模块具体用于对所述网络流量数据按照协议类型进行统计，获得TCP协议、UDP协议和ICMP协议的网络数据流。
9.根据权利要求8所述的异常流量检测系统，其特征在于，还包括：
判断模块，用于判断所述目标时间段内的不同协议的特征数据是否满足预设条件，如果是，则采用基于子空间模型的聚类算法或基于子空间模型的异常点检测算法对满足预设条件的特征数据进行分析，获得目标时间段内满足预设条件的网络数据流的分析结果；
所述预设条件包括：特征数据的特征维度大于预设维度、存在无关维度且特征数据的分布密度小于预设密度。
10.根据权利要求9所述的异常流量检测系统，其特征在于，所述特征分析模块具体用于当所述特征数据的协议类型为TCP协议或UDP协议，且不满足所述预设条件时，采用异常点检测算法对协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据进行分析，获得所述协议类型为TCP协议或UDP协议，且不满足所述预设条件的特征数据对应的目标时间段内的TCP协议和UDP协议的网络数据流的分析结果；
当所述特征数据的协议类型为ICMP协议，且不满足所述预设条件时，采用异常点检测算法或基于密度的聚类算法对该特征数据进行分析，获得该特征数据对应的目标时间段内的ICMP协议的网络数据流的分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611177088.XA CN106790050B (zh) | 2016-12-19 | 2016-12-19 | 一种异常流量检测方法及检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611177088.XA CN106790050B (zh) | 2016-12-19 | 2016-12-19 | 一种异常流量检测方法及检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106790050A true CN106790050A (zh) | 2017-05-31 |
| CN106790050B CN106790050B (zh) | 2019-11-19 |
Family
ID=58890472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611177088.XA Active CN106790050B (zh) | 2016-12-19 | 2016-12-19 | 一种异常流量检测方法及检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106790050B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404471A (zh) * | 2017-04-05 | 2017-11-28 | 青海民族大学 | 一种基于admm算法网络流量异常检测方法 |
| CN107508816A (zh) * | 2017-08-31 | 2017-12-22 | 杭州迪普科技股份有限公司 | 一种攻击流量防护方法及装置 |
| CN107733721A (zh) * | 2017-11-13 | 2018-02-23 | 杭州迪普科技股份有限公司 | 一种网络异常检测方法及装置 |
| CN108768773A (zh) * | 2018-05-29 | 2018-11-06 | 浙江每日互动网络科技股份有限公司 | 基于ip地址的鉴别真实流量的服务器 |
| CN109450895A (zh) * | 2018-11-07 | 2019-03-08 | 北京锐安科技有限公司 | 一种流量识别方法、装置、服务器及存储介质 |
| CN109873708A (zh) * | 2017-12-04 | 2019-06-11 | 中国移动通信集团广东有限公司 | 一种基于流量特征和kmeans聚类的资产画像方法 |
| CN110891068A (zh) * | 2019-12-18 | 2020-03-17 | 北京网太科技发展有限公司 | 基于关联分析的路由协议的异常检测方法及装置 |
| CN111683020A (zh) * | 2020-06-05 | 2020-09-18 | 中国人民解放军63920部队 | 多种链路层协议混合流量的控制方法及装置 |
| CN112019574A (zh) * | 2020-10-22 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 异常网络数据检测方法、装置、计算机设备和存储介质 |
| CN112240979A (zh) * | 2019-07-16 | 2021-01-19 | 电计贸易(上海)有限公司 | 锂离子电池电压临界点的检测方法、电子终端、及存储介质 |
| CN112468365A (zh) * | 2020-11-26 | 2021-03-09 | 上海阅维科技股份有限公司 | 用于网络镜像流量的数据质量检测方法、系统及介质 |
| CN112511372A (zh) * | 2020-11-06 | 2021-03-16 | 新华三技术有限公司 | 一种异常检测方法、装置及设备 |
| CN112911627A (zh) * | 2019-11-19 | 2021-06-04 | 中国电信股份有限公司 | 无线网络性能检测方法、装置以及存储介质 |
| CN112995104A (zh) * | 2019-12-16 | 2021-06-18 | 海信集团有限公司 | 一种通信设备及网络安全预测方法 |
| CN113179278A (zh) * | 2021-05-20 | 2021-07-27 | 北京天融信网络安全技术有限公司 | 异常数据包的检测方法及电子设备 |
| CN113497797A (zh) * | 2020-04-08 | 2021-10-12 | 中国移动通信集团广东有限公司 | 一种icmp隧道传输数据的异常检测方法及装置 |
| WO2021207984A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳市欢太科技有限公司 | 流量检测方法、装置、服务器以及存储介质 |
| CN113765849A (zh) * | 2020-06-03 | 2021-12-07 | 中国移动通信集团重庆有限公司 | 一种异常网络流量检测方法和装置 |
| CN114386468A (zh) * | 2020-10-16 | 2022-04-22 | 北京中科网威信息技术有限公司 | 网络异常流量检测方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101626322A (zh) * | 2009-08-17 | 2010-01-13 | 中国科学院计算技术研究所 | 网络行为异常检测方法及系统 |
| CN103023725A (zh) * | 2012-12-20 | 2013-04-03 | 北京工业大学 | 一种基于网络流量分析的异常检测方法 |
-
2016
- 2016-12-19 CN CN201611177088.XA patent/CN106790050B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101626322A (zh) * | 2009-08-17 | 2010-01-13 | 中国科学院计算技术研究所 | 网络行为异常检测方法及系统 |
| CN103023725A (zh) * | 2012-12-20 | 2013-04-03 | 北京工业大学 | 一种基于网络流量分析的异常检测方法 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107404471A (zh) * | 2017-04-05 | 2017-11-28 | 青海民族大学 | 一种基于admm算法网络流量异常检测方法 |
| CN107508816A (zh) * | 2017-08-31 | 2017-12-22 | 杭州迪普科技股份有限公司 | 一种攻击流量防护方法及装置 |
| CN107733721A (zh) * | 2017-11-13 | 2018-02-23 | 杭州迪普科技股份有限公司 | 一种网络异常检测方法及装置 |
| CN109873708A (zh) * | 2017-12-04 | 2019-06-11 | 中国移动通信集团广东有限公司 | 一种基于流量特征和kmeans聚类的资产画像方法 |
| CN108768773A (zh) * | 2018-05-29 | 2018-11-06 | 浙江每日互动网络科技股份有限公司 | 基于ip地址的鉴别真实流量的服务器 |
| CN108768773B (zh) * | 2018-05-29 | 2020-09-18 | 浙江每日互动网络科技股份有限公司 | 一种基于ip地址的鉴别真实流量的方法 |
| CN109450895B (zh) * | 2018-11-07 | 2021-07-02 | 北京锐安科技有限公司 | 一种流量识别方法、装置、服务器及存储介质 |
| CN109450895A (zh) * | 2018-11-07 | 2019-03-08 | 北京锐安科技有限公司 | 一种流量识别方法、装置、服务器及存储介质 |
| CN112240979A (zh) * | 2019-07-16 | 2021-01-19 | 电计贸易(上海)有限公司 | 锂离子电池电压临界点的检测方法、电子终端、及存储介质 |
| CN112240979B (zh) * | 2019-07-16 | 2024-03-22 | 电计贸易(上海)有限公司 | 锂离子电池电压临界点的检测方法、电子终端、及存储介质 |
| CN112911627A (zh) * | 2019-11-19 | 2021-06-04 | 中国电信股份有限公司 | 无线网络性能检测方法、装置以及存储介质 |
| CN112911627B (zh) * | 2019-11-19 | 2023-03-21 | 中国电信股份有限公司 | 无线网络性能检测方法、装置以及存储介质 |
| CN112995104A (zh) * | 2019-12-16 | 2021-06-18 | 海信集团有限公司 | 一种通信设备及网络安全预测方法 |
| CN112995104B (zh) * | 2019-12-16 | 2022-05-20 | 海信集团有限公司 | 一种通信设备及网络安全预测方法 |
| CN110891068A (zh) * | 2019-12-18 | 2020-03-17 | 北京网太科技发展有限公司 | 基于关联分析的路由协议的异常检测方法及装置 |
| CN113497797B (zh) * | 2020-04-08 | 2023-04-28 | 中国移动通信集团广东有限公司 | 一种icmp隧道传输数据的异常检测方法及装置 |
| CN113497797A (zh) * | 2020-04-08 | 2021-10-12 | 中国移动通信集团广东有限公司 | 一种icmp隧道传输数据的异常检测方法及装置 |
| WO2021207984A1 (zh) * | 2020-04-15 | 2021-10-21 | 深圳市欢太科技有限公司 | 流量检测方法、装置、服务器以及存储介质 |
| CN115023926A (zh) * | 2020-04-15 | 2022-09-06 | 深圳市欢太科技有限公司 | 流量检测方法、装置、服务器以及存储介质 |
| CN113765849B (zh) * | 2020-06-03 | 2023-08-18 | 中国移动通信集团重庆有限公司 | 一种异常网络流量检测方法和装置 |
| CN113765849A (zh) * | 2020-06-03 | 2021-12-07 | 中国移动通信集团重庆有限公司 | 一种异常网络流量检测方法和装置 |
| CN111683020A (zh) * | 2020-06-05 | 2020-09-18 | 中国人民解放军63920部队 | 多种链路层协议混合流量的控制方法及装置 |
| CN111683020B (zh) * | 2020-06-05 | 2023-11-03 | 中国人民解放军63920部队 | 多种链路层协议混合流量的控制方法及装置 |
| CN114386468A (zh) * | 2020-10-16 | 2022-04-22 | 北京中科网威信息技术有限公司 | 网络异常流量检测方法、装置、电子设备及存储介质 |
| CN112019574A (zh) * | 2020-10-22 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 异常网络数据检测方法、装置、计算机设备和存储介质 |
| CN112511372B (zh) * | 2020-11-06 | 2022-03-01 | 新华三技术有限公司 | 一种异常检测方法、装置及设备 |
| CN112511372A (zh) * | 2020-11-06 | 2021-03-16 | 新华三技术有限公司 | 一种异常检测方法、装置及设备 |
| CN112468365A (zh) * | 2020-11-26 | 2021-03-09 | 上海阅维科技股份有限公司 | 用于网络镜像流量的数据质量检测方法、系统及介质 |
| CN113179278A (zh) * | 2021-05-20 | 2021-07-27 | 北京天融信网络安全技术有限公司 | 异常数据包的检测方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106790050B (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106790050B (zh) | 一种异常流量检测方法及检测系统 | |
| CN105577679B (zh) | 一种基于特征选择与密度峰值聚类的异常流量检测方法 | |
| CN107733937A (zh) | 一种异常网络流量检测方法 | |
| CN105429977B (zh) | 基于信息熵度量的深度包检测设备异常流量监控方法 | |
| Da Silva et al. | Identification and selection of flow features for accurate traffic classification in SDN | |
| CN101075911B (zh) | 统计信息收集系统及统计信息收集装置 | |
| CN102271090B (zh) | 基于传输层特征的流量分类方法及装置 | |
| CN102315974B (zh) | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 | |
| US8676729B1 (en) | Network traffic classification using subspace clustering techniques | |
| CN104052639A (zh) | 基于支持向量机的实时多应用网络流量识别方法 | |
| Qin et al. | Robust application identification methods for P2P and VoIP traffic classification in backbone networks | |
| CN107404400A (zh) | 一种网络态势感知实现方法及装置 | |
| CN106453392A (zh) | 基于流量特征分布的全网络异常流识别方法 | |
| CN108833437A (zh) | 一种基于流量指纹和通信特征匹配的apt检测方法 | |
| KR20080066653A (ko) | 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법 | |
| CN104102700A (zh) | 一种面向因特网不平衡应用流的分类方法 | |
| CN107302534A (zh) | 一种基于大数据平台的DDoS网络攻击检测方法及装置 | |
| CN109361673A (zh) | 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法 | |
| Pekár et al. | Adaptive aggregation of flow records | |
| CN109831462A (zh) | 一种病毒检测方法及装置 | |
| US11863584B2 (en) | Infection spread attack detection device, attack origin specification method, and program | |
| CN104021348B (zh) | 一种隐匿p2p程序实时检测方法及系统 | |
| CN104079452A (zh) | 一种数据监测技术和分类网络流量异常的方法 | |
| CN110266603A (zh) | 基于http协议的身份认证业务网络流量分析系统及方法 | |
| CN106446008A (zh) | 数据库安全事件的管理方法及分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |