CN107483455B - 一种基于流的网络节点异常检测方法和系统 - Google Patents
一种基于流的网络节点异常检测方法和系统 Download PDFInfo
- Publication number
- CN107483455B CN107483455B CN201710743088.XA CN201710743088A CN107483455B CN 107483455 B CN107483455 B CN 107483455B CN 201710743088 A CN201710743088 A CN 201710743088A CN 107483455 B CN107483455 B CN 107483455B
- Authority
- CN
- China
- Prior art keywords
- flow
- characteristic
- stable
- value
- stable communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/146—Tracing the source of attacks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于流的网络节点异常检测方法和系统,所述方法包括:根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。所述方法和系统能够基于形成网络流数据的网络节点,通过对网络流量特征的细致划分,对其可能遭受网络攻击等异常事件,进行实时检测,检测准确率高。
Description
技术领域
本发明涉及计算机网络安全技术领域,尤其涉及一种基于流的网络节点异常检测方法和系统。
背景技术
随着计算机与网络技术的迅猛发展,互联网用户规模日益增长,中国互联网络信息中心(CNNIC)发布的报告显示,截至2015年12月,我国网民规模已达6.88亿,互联网普及率为50.3%,同时,全国使用互联网办公的企业达89.0%,互联网已成为人们生产生活中不可或缺的重要基础设施。与此同时,网络安全问题日益突出,频繁发生的网络安全事件给互联网带来了巨大威胁。其中,网络攻击和网络窃密是信息系统的重要威胁。造成网络安全事件的异常网络行为,如网络攻击与窃密等,往往涉及到网络流量的异常,因此,通过异常检测,发现网络异常行为,结合相关技术进行异常的响应与处理,维护网络安全,具有十分重要的意义。
目前存在多种网络流量异常检测方法,基于的技术主要包括统计分析、信号处理、机器学习、数据挖掘等。统计分析方法是先通过统计历史流量的一些特征值,如IP数目、流量大小、特定包头数据包的数目等,计算出相应的统计阈值,再根据当前流量特征值与统计阈值的偏差,判断是否异常。基于统计分析的方法对于大规模的流量异常检测较为有效,但传统的方法检测指标单一,可适用性差,对于慢速的攻击与扫描及无明显协议特征区别的异常,缺乏检测能力,特别是,观测到的流量中包含的大量不稳定的正常流量,对异常流量有明显的隐藏作用。基于信号处理的方法将网络流量作为信息流,然后利用信号处理技术来进行异常检测,通常是基于流量特征幅值,对流量幅值变化不明显的隐蔽性攻击检测能力不足。基于机器学习的方法先从已知网络流量中提取训练出能判断异常的自动学习方法,再将其应用于未知流量进行异常检测,传统方法同样存在准确率低的问题。
由此可知,现有的网络异常检测方法所面向的检测对象是其所观测到的所有流量,大量的特征各异且不断变化的不相关的正常流量,导致受害节点的正常流量检测过程难以细化,从而造成了现有的网络异常检测方法的检测准确率低,实用性差。
发明内容
本发明所要解决的技术问题在于,提供一种基于流的网络节点异常检测方法和系统,所述方法和系统能够基于形成网络流数据的网络节点,尤其是网络型服务节点,对其可能遭受网络攻击等异常事件,进行实时检测,检测准确率高。
根据本发明的一方面,提供了一种基于流的网络节点异常检测方法,所述方法包括:
步骤1、根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;
步骤2、根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
步骤3、获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。
进一步的,所述步骤1包括:
步骤1.1、基于第一时间窗口,统计各通信对象的通信时长和流量均值,所述通信对象包括通信端口和通信对端;
步骤1.2、分别对网络节点的通信端口和通信对端进行聚类划分,得到网络节点的稳定通信端口样本集和稳定通信对端样本集;
步骤1.3、交叉检验所述稳定通信端口样本集和稳定对端样本集,排除异常稳定通信端口样本和异常稳定通信对端样本,从而获取稳定通信端口集和稳定通信对端集。
进一步的,所述步骤2包括:
步骤2.1、定义多个维度的流量特征和每个维度的流量特征对应的属性信息,选择不同的属性信息对多个维度的流量特征进行组合,构成多维流量特征;
步骤2.2、定义多维比率特征、稳定通信对象命中百分比,并与所述多维流量特征进行组合,形成多维属性组合特征集;
步骤2.3、基于第二时间窗口,对网络节点的历史网络流量数据进行统计分析,得到网络节点的多维流量特征统计值;
步骤2.4、根据所述多维流量特征统计值和所述稳定通信对象集获取比率特征值和百分比特征值;
步骤2.5、对所述多维流量特征统计值进行分布规律校验,根据所服从的分布规律,通过对应的比率特征值和百分比特征值获取对应的多维特征统计阈值。
进一步的,所述流量特征项包括4个维度:流方向、流网络协议类型,服务端口和流量指标,其中,
所述流方向的属性信息包括:流入、流出、无方向流;
所述流网络协议类型的属性信息包括:TCP、UDP和ICMP;
所述端口服务号的属性信息范围为:0-65535;
所述流量指标的属性信息包括:字节数、网络包数和对端IP数。
进一步的,对各维度上的参数进行交叉组合,构成4元组多维流量特征项,即<流方向,协议类型,端口号,流指标>。
进一步的,所述步骤2.3中,所述比率特征包括:流入比流出的字节数比率、流入比流出的包数比率、TCP比UDP的字节数比率和TCP比UDP的包数比率。
进一步的,所述步骤2.3中,所述百分比特征包括稳定对端命中百分比和稳定端口命中百分,其中,
所述稳定对端命中百分比的计算公式为:
Ppeer=card(PeerSet∩CPeerSet)/card(PeerSet)*100%,
其中,Ppeer为稳定对端命中百分比,CPeerSet为给定稳定对端集合,PeerSet为观测时间段内对端集合;
所述稳定端口命中百分比的计算公式为:
Pport=f(PortSet∩CPortSet)/f(PortSet)*100%,
其中,Pport为稳定端口命中百分比,CPortSet为给定稳定端口集合,PortSet为观测时间段内端口集合。
进一步的,所述步骤2.5中,所述稳定分布规律包括正态分布或对数正态分布,
对于服从正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的均值、标准差,得到对应的多维特征统计阈值;
对于服从对数正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的对数均值、对数标准差,得到对应的多维特征统计阈值。
进一步的,所述步骤3包括:
步骤3.1、获取待检测节点的实时网络流量数据;
步骤3.2、设置第三时间窗口,对网络节点实时滑动检测,统计所述第三时间窗口内各多维流量特征的流量值;
步骤3.3、根据所述第三时间窗口内各多维流量特征的流量统计值,计算对应的比率特征值和百分比特征值;
步骤3.4、根据所述所述第三时间窗口内各多维流量特征的流量统计值、比率特征值和百分比特征值与对应的多维特征统计阈值进行比较,生成偏移向量;
步骤3.5、对所述偏移向量进行线性加权,得到异常评价值,根据以下公式对所述异常评价值进行计算,得到异常评级等级:
AnomalyLevel=int(ln(AnomalyValue+1))
其中,AnomalyValue为异常评价值,AnomalyLevel为异常等级。
根据本发明的另一方面,提供了一种基于流的网络节点异常检测系统,所述系统包括:
第一获取模块,用于根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;
第二获取模块,用于根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
异常流量检测模块,用于获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案,本发明一种基于流的网络节点异常检测方法和系统可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有下列优点:
(1)本发明对网络节点的长时间通信行为,进行了统计分析,根据节点提供稳定服务的特性,从通信对象层面上对节点的通信行为进行统计分析,划分出稳定通信端口与稳定通信对端。提供了稳定端口与对端的维度属性,丰富检测的特征,实现了对网络流量的细致划分;在此基础上,实现在端口和对端层面上的长时间关联异常检测,可发现隐蔽的异常通道,溯源攻击主机等。
(2)本发明通过获取多维属性组合特征上的统计阈值范围,对网络节点流量进行实时异常检测,可有效避免传统方法检测指标不足带来的准确率低问题,能够检测出隐蔽性强的异常流量,为未知异常的深入分析提供了基础。
(3)本发明所述方法和系统准确率高,误报率不到1%,具有良好的异常检测性能,实用性好。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的基于流的网络节点异常检测方法流程图;
图2为本发明实施例中获取稳定通信对象集流程图;
图3为本发明实施例中获取多维特征统计阈值流程图;
图4为本发明实施例中对待检测节点进行检测和评价流程图;
图5为本发明实施例中基于流的网络节点异常检测系统示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于流的网络节点异常检测方法和系统的具体实施方式及其功效,详细说明如后。
本发明提供一种基于流的网络节点异常检测方法,如附图1所示,所述方法包括:
步骤1、根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;
步骤2、根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
步骤3、获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。
具体地,如附图2所示,所述步骤1包括:
步骤1.1、基于第一时间窗口,统计各通信对象的通信时长和流量均值,所述通信对象包括通信端口和通信对端:
对于节点的通信端口和对端,定义基于第一时间窗口的通信时长与平均流量值。给定观测到的时长为t的历史流量,设置具有较强周期效应的时间窗口,如1天;将历史流量划分到n个时长为wt的时间窗口上,对每个时间窗口,统计其中所有的端口/对端IP的流量值;然后建立全局的端口/对端IP字典,统计每个出现的端口/对端IP的时间窗口的个数tn,同时,统计该端口/对端IP的总流量字节数;最后计算端口/对端流量在时间窗口上的均值pbtnum,端口/对端的属性向量为{通信时长,平均通信字节数},即{tn,pbtnum}。
步骤1.2、分别对网络节点的通信端口和通信对端进行聚类划分,得到网络节点的稳定通信端口样本集和稳定通信对端样本集:
由于通信对象的两个属性特征分别为时长与字节数,二者不是同一个量纲的属性,使用公式(1)进行相似性度量,对平均流量值取对数,然后再利用欧拉公式进行距离计算。
给定样本xi=(tni,pbtnumi)与xj=(tnj,pbtnumj),定义距离函数dist(xi,xj)为:
设置初始中心点,为将数据样本划分到预期的4个类别中:对长时间稳定出现且流量较大的类别,选择样本中tn值与pbtnum值最大的作为初始中心;对长时间稳定出现且流量一般的对象,选择样本中tn值最大,pbtnum均值附近的作为初始中心;对短时间出现且流量较大的,选择样本中pbtnum最大,tn均值附近的作为初始中心;对短时间出现且流量一般的,选择样本中tn值最小,pbtnum值最小的作为初始中心。具体如下:
对于获取到的m个聚类样本集合,设置聚类簇数为4,根据公式(2),设置4个初始聚类中心{u1,u2,u3,u4},进行首轮迭代,通过距离公式(1),计算每个样本到4个初始聚类中心的距离,将样本划分到距离最近的类簇中,然后分别重新计算4个类簇的中心值,若个中心值均未更新,则算法结束,否则,进入下一轮迭代。
分别对节点的通信端口及对端进行聚类划分,获取类簇u1中的样本,即为节点的稳定通信端口样本集和稳定通信对端样本集。
步骤1.3、交叉检验所述稳定通信端口样本集和稳定对端样本集,排除异常稳定通信端口样本和异常稳定通信对端样本,从而获取稳定通信端口集和稳定通信对端集。
一方面,对稳定通信端口集合中的端口,首先查看其是否属于常见知名端口,并检验其流量在对端上的分布,是否分布于极少量稳定通信对端,若是,则可怀疑其是潜在的窃密通道,排除出稳定端口集;另一方面,对稳定通信对端集合中的对端,检验其流量在通信端口上的分布,是否集中于稳定通信端口中的非知名端口,或是分布在大量非稳定通信端口上,据此排除异常对端。
通过步骤1.1-步骤1.3,获取节点的稳定通信端口集与稳定通信对端集。
如附图3所示,所述步骤2包括:
步骤2.1、定义多个维度的流量特征和每个维度的流量特征对应的属性信息,选择不同的属性信息对多个维度的流量特征进行组合,构成多维流量特征;
所述流量特征项包括4个维度:流方向、流网络协议类型,服务端口和流量指标,
所述流方向为基于一条流中数据包的流向,确定该条流的方向,即当服务型网络节点作为连接发起的源地址时,该条流的方向为流出,反之,该条流的方向为流入,不划分方向为无方向流。流方向的属性信息包括:流入、流出、无方向流;
所述流网络协议类型为目标与对端通信的流,在网络层上所运行的协议,流网络协议类型的属性信息包括:TCP、UDP和ICMP;
所述服务端口号为特定目标与所服务对端进行通信,特定目标方的端口号,端口服务号的属性信息范围为:0-65535;
所述流量指标用于标注流量大小,流量指标的属性信息包括:字节数、网络包数和对端IP数。
对各维度上的参数进行交叉组合,构成4元组多维流量特征项,即<流方向,协议类型,端口号,流指标>。实现对网络流量的细致划分。同时,每个维度加入不区分属性,用于实现对其他维度组合的上卷,如流向维度加入不区分属性,即该统计特征不区分流的方向,适用于所有流向的数据。
步骤2.2、定义多维比率特征、稳定通信对象命中百分比,并与所述多维流量特征进行组合,形成多维属性组合特征集;
为检测到流量在一些维度属性分布上出现的异常,引入比率特征。在流方向维度上,引入包括流入比流出的字节数比率,流入比流出的包数比率;在流网络协议维度上,引入包括TCP比UDP的字节数比率,TCP比UDP的包数比率。所述百分比特征包括稳定对端命中百分比和稳定端口命中百分。
将多维比率特征、稳定通信对象命中百分比与多维流量特征,进行有效的组合,形成最终的多维度属性组合特征集。
步骤2.3、基于第二时间窗口,对网络节点的历史网络流量数据进行统计分析,得到网络节点的多维流量特征统计值;
对节点历史流数据中的每条流纪录,根据其所属时间窗口、通信端口、通信对端、流量值,更新对应流量特征项的统计值,完成对各特征项的流量统计。
步骤2.4、根据所述多维流量特征统计值和所述稳定通信对象集获取比率特征值和百分比特征值;
所述稳定对端命中百分比的计算公式为:
Ppeer=card(PeerSet∩CPeerSet)/card(PeerSet)*100% (3)
其中,Ppeer为稳定对端命中百分比,CPeerSet为给定稳定对端集合,PeerSet为观测时间段内对端集合;
所述稳定端口命中百分比的计算公式为:
Pport=f(PortSet∩CPortSet)/f(PortSet)*100% (4)
其中,Pport为稳定端口命中百分比,CPortSet为给定稳定端口集合,PortSet为观测时间段内端口集合。
步骤2.5、对所述多维流量特征统计值进行分布规律校验,根据所服从的分布规律,通过对应的比率特征值和百分比特征值获取对应的多维特征统计阈值。
其中,所述稳定分布规律包括正态分布或对数正态分布,
对于服从正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的均值、标准差,得到对应的多维特征统计阈值;
对于服从对数正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的对数均值、对数标准差,得到对应的多维特征统计阈值。
如附图4所示,所述步骤3包括:
步骤3.1、获取待检测节点的实时网络流量数据;
步骤3.2、设置第三时间窗口,对网络节点实时滑动检测,统计所述第三时间窗口内各多维流量特征的流量值;
对于观测到的待检测流量,设置第三时间窗口为Ws,优选的,所述第三时间窗口和第二时间窗口大小一致,还可同时再选一个小于所述第二时间窗口的时间窗口进行检测。每次从观测流量序列中,取出一个观测时间窗口Ws,统计该窗口内各特征项的流量值。
步骤3.3、根据所述第三时间窗口内各多维流量特征的流量统计值,计算对应的比率特征值和百分比特征值;
基于时间窗口内的流量统计值,计算流入流出比及协议比等比率特征值,应用公式(3)与(4)计算相应的百分比特征值。
步骤3.4、根据所述所述第三时间窗口内各多维流量特征的流量统计值、比率特征值和百分比特征值与对应的多维特征统计阈值进行比较,生成偏移向量;
对时间窗口内每个特征项的观测值,与该特征的阈值进行比对,根据该特征的统计分布规律,计算其统计值或统计值的对数值,相对于稳定均值的偏离程度,其中,偏离程度由流量值与稳定均值间的差值,比标准差的倍数来确定。
步骤3.5、对所述偏移向量进行线性加权,得到异常评价值,根据以下公式对所述异常评价值进行计算,得到异常评级等级:
AnomalyLevel=int(ln(AnomalyValue+1)) (5)
其中,AnomalyValue为异常评价值,AnomalyLevel为异常等级。
一方面,评估异常流量对应各种常见网络攻击发生的可能性,即发现节点遭受的已知网络攻击;另一方面,评估异常流量总体的威胁性,发现节点遭受的未知网络攻击。已知网络攻击威胁等级评估方面,结合已知网络攻击的异常流量特点,对强相关的特征取大权值,弱相关的特征取小权值,不相关特征的权值取零。将各特征项的初始权值参数都设置为1,对于强相关的流量特征,权值参数值翻倍;对于不相关的流量特征,权值参数值取零,线性求和得到AnomalyValue。
考虑到加权后的评估值AnomalyValue取值范围依然很广,因此可再进行定量的分析,利用公式(5),对异常评估值取对数并取整,得到异常等级。
在基于阈值模型检测到流量统计值异常,并且加权评估后威胁等级较高的情况下,分析异常时间窗口内,流量在端口上的分布,依据总流量占比,找出流量突出的端口,结合稳定通信端口集合,以及这些端口上的流量在对端上的分布,按照交叉检验方法,判断其为异常端口的可能性,若发现一批可疑性高的通信端口,则提升异常评估等级。同样,若发现一批可疑性高的通信对端,则提升异常评估等级。
从整体异常等级、各已知异常等级中,选择等级最高的,作为检出异常的类型,例如当DDoS攻击异常等级高于整体异常等级与其他已知异常等级时,判定该次异常为DDoS攻击,当整体异常等级最高时,判定该次异常为未知攻击。
基于上述方法。以服务型网络节点为例进行说明:
服务型网络节点,是指连续运行于互联网环境中,向网络客户提供稳定网络服务的主机,具有一定公用职能的网络节点,如:服务于特定部门的网站服务器、服务于特定单位的邮箱服务器以及为一定区域提供域名解析的DNS服务器等。该类型节点,通常具有一定的社会功能与较高的商业价值,是网络攻击的常见对象。一方面,该类节点通常会具有稳定的服务类型,与之对应的,是长时间稳定开放的应用层协议及对应的常见端口,在流量上,表现为这类端口流量长时间稳定出现;另一方面,该类节点通常服务于特定的机构或人群,经过时间的累积,会存在一批稳定访问的客户,与之对应的,是长时间较频繁出现的对端主机,在流量上,表现为这类对端IP流量长时间多次出现。通过长时间的历史流量,分析节点的通信行为特征,从通信对象层面上对该类节点的通信行为进行分析,划分出节点的稳定通信端口与稳定通信对端,这些端口与对端,在节点的在线流量中,很可能继续出现,对分析异常流量具有重要作用。
不同与现有的其他面向所有观测节点的网络流量异常检测技术,针对服务型网络节点的显著优势,在于能从节点本身出发,提取多维体征,对节点的网络流量进行细致的划分。网络流量具有时序上自相似的特征,而服务型网络节点流量的自相似特征更加明显,经过对大量该类节点的历史数据分析,发现其流量的各个特征项的统计值,在时间窗口上,主要满足两种稳定的统计分布规律:正态分布与对数正态分布。统计历史流量在各时间窗口上的值,然后,对应所服从的分布规律,计算其均值、标准差,获取节点的多维特征统计阈值,实现对节点正常流量行为模式的细致划分,为异常检测奠定基础。
基于历史流量分析得到的多维特征统计阈值,对待检测的特定目标的流量,基于时间窗口来进行滑动检测,判断流量在各项特征上的统计值是否超出了模型边界阈值,对于超出边界阈值的特征统计值,计算偏离量,生成统计值异常向量,在此基础上,利用基于异常类别的线性加权评估方法,判断异常类型并评估威胁等级。
根据本发明的另一方面,提供了一种基于流的网络节点异常检测系统,如附图5所示,所述系统包括:
第一获取模块1,用于根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;
第二获取模块2,用于根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
异常流量检测模块3,用于获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。
所述系统还可以包括配置管理模块:用于配置管理整个系统的,包括服务型网络节点信息配置,训练参数设置,异常检测告警级别设置等。
流数据采集接口:用于快速获取待检测节点的网络流量数据,解析流信息,并过滤格式错误的流纪录。为流量模型构建模块提供节点的历史流量数据,为异常流量检测模块提供节点的实时流量数据。
日志管理模块:用于处理异常行为检测模块生成的异常信息,汇聚异常事件并输出对应的异常日志。
本发明实施例所述提供一种基于流的网络节点异常检测方法和系统,对网络节点的长时间通信行为,进行了统计分析,根据节点提供稳定服务的特性,从通信对象层面上对节点的通信行为进行统计分析,划分出稳定通信端口与稳定通信对端。提供了稳定端口与对端的维度属性,丰富检测的特征,实现了对网络流量的细致划分;在此基础上,实现在端口和对端层面上的长时间关联异常检测,可发现隐蔽的异常通道,溯源攻击主机等。本发明实施例通过获取多维属性组合特征上的统计阈值范围,对网络节点流量进行实时异常检测,可有效避免传统方法检测指标不足带来的准确率低问题,能够检测出隐蔽性强的异常流量,为未知异常的深入分析提供了基础。所述方法和系统准确率高,误报率不到1%,具有良好的异常检测性能,实用性好。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (13)
1.一种基于流的网络节点异常检测方法,其特征在于:所述方法包括:
步骤1、根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集;
步骤2、根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
步骤3、获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价;
其中,所述步骤1包括:
步骤1.1、基于第一时间窗口,统计各通信对象的通信时长和流量均值,所述通信对象包括通信端口和通信对端;
步骤1.2、分别对网络节点的通信端口和通信对端进行聚类划分,得到网络节点的稳定通信端口样本集和稳定通信对端样本集;
步骤1.3、交叉检验所述稳定通信端口样本集和稳定对端样本集,排除异常稳定通信端口样本和异常稳定通信对端样本,从而获取稳定通信端口集和稳定通信对端集;
所述步骤2包括:
步骤2.1、定义多个维度的流量特征和每个维度的流量特征对应的属性信息,选择不同的属性信息对多个维度的流量特征进行组合,构成多维流量特征;
步骤2.2、定义多维比率特征、稳定通信对象命中百分比,并与所述多维流量特征进行组合,形成多维属性组合特征集;
步骤2.3、基于第二时间窗口,对网络节点的历史网络流量数据进行统计分析,得到网络节点的多维流量特征统计值;
步骤2.4、根据所述多维流量特征统计值和所述稳定通信对象集获取比率特征值和百分比特征值;
步骤2.5、对所述多维流量特征统计值进行分布规律校验,根据所服从的分布规律,通过对应的比率特征值和百分比特征值获取对应的多维特征统计阈值。
2.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于,所述步骤1.2具体包括:
设置多个类簇的初始中心,包括选择u1作为一个类簇的所述初始中心,其中,所述u1是所述通信对象样本中所述通信时长和所述流量均值最大的;
进行首轮迭代,计算每个样本到所述多个类簇的所述初始中心的距离,将样本划分到距离最近的类簇中;
然后分别重新计算所述多个类簇的中心值,若所述中心值均未更新,则结束迭代,否则,进入下一轮迭代;
获取以u1为所述初始中心的类簇中的样本,作为网络节点的所述稳定通信端口样本集和所述稳定通信对端样本集。
3.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于:
所述流量特征项包括4个维度:流方向、流网络协议类型,服务端口和流量指标,其中,
所述流方向的属性信息包括:流入、流出、无方向流;
所述流网络协议类型的属性信息包括:TCP、UDP和ICMP;
所述端口服务号的属性信息范围为:0-65535;
所述流量指标的属性信息包括:字节数、网络包数和对端IP数。
4.根据权利要求3所述的基于流的网络节点异常检测方法,其特征在于:
对各维度上的参数进行交叉组合,构成4元组多维流量特征项,即<流方向,协议类型,端口号,流指标>。
5.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于:
所述步骤2.3中,所述比率特征包括:流入比流出的字节数比率、流入比流出的包数比率、TCP比UDP的字节数比率和TCP比UDP的包数比率。
6.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于:
所述步骤2.3中,所述百分比特征包括稳定对端命中百分比和稳定端口命中百分,其中,
所述稳定对端命中百分比的计算公式为:
Ppeer=card(PeerSet∩CPeerSet)/card(PeerSet)*100%,
其中,Ppeer为稳定对端命中百分比,CPeerSet为给定稳定对端集合,PeerSet为观测时间段内对端集合;
所述稳定端口命中百分比的计算公式为:
Pport=f(PortSet∩CPortSet)/f(PortSet)*100%
其中,Pport为稳定端口命中百分比,CPortSet为给定稳定端口集合,PortSet为观测时间段内端口集合。
7.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于:
所述步骤2.5中,所述稳定分布规律包括正态分布或对数正态分布,
对于服从正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的均值、标准差,得到对应的多维特征统计阈值;
对于服从对数正态分布规律的多维流量特征,获取对应的比率特征值和百分比特征值的对数均值、对数标准差,得到对应的多维特征统计阈值。
8.根据权利要求1所述的基于流的网络节点异常检测方法,其特征在于:
所述步骤3包括:
步骤3.1、获取待检测节点的实时网络流量数据;
步骤3.2、设置第三时间窗口,对网络节点实时滑动检测,统计所述第三时间窗口内各多维流量特征的流量值;
步骤3.3、根据所述第三时间窗口内各多维流量特征的流量统计值,计算对应的比率特征值和百分比特征值;
步骤3.4、根据所述所述第三时间窗口内各多维流量特征的流量统计值、比率特征值和百分比特征值与对应的多维特征统计阈值进行比较,生成偏移向量;
步骤3.5、对所述偏移向量进行线性加权,得到异常评价值,根据以下公式对所述异常评价值进行计算,得到异常评级等级:
AnomalyLevel=int(ln(AnomalyValue+1))
其中,AnomalyValue为异常评价值,AnomalyLevel为异常等级。
10.根据权利要求8所述的基于流的网络节点异常检测方法,其特征在于,所述设置第三时间窗口包括:
设置与所述第二时间窗口大小一致的时间窗口,同时再选小于所述第二时间窗口的另一时间窗口。
11.根据权利要求8所述的基于流的网络节点异常检测方法,其特征在于,
所述对所述偏移向量进行线性加权,得到异常评价值包括:在对所述偏移向量进行线性加权时,结合已知网络攻击的异常流量特点,对强相关的特征取大权值,弱相关的特征取小权值,不相关特征的权值取零,用以得到已知异常等级;
所述步骤3还包括:从所述已知异常等级中,选择等级最高的,以确定检出异常的类型。
12.一种基于流的网络节点异常检测系统,所述系统包括:
第一获取模块,用于根据待检测节点的历史网络流量数据,获取稳定通信对象集,所述稳定通信对象集包括稳定通信端口集和稳定通信对端集,
所述第一获取模块具体用于基于第一时间窗口,统计各通信对象的通信时长和流量均值,所述通信对象包括通信端口和通信对端;分别对网络节点的通信端口和通信对端进行聚类划分,得到网络节点的稳定通信端口样本集和稳定通信对端样本集;交叉检验所述稳定通信端口样本集和稳定对端样本集,排除异常稳定通信端口样本和异常稳定通信对端样本,从而获取稳定通信端口集和稳定通信对端集;
第二获取模块,用于根据所述稳定通信对象集和待检测节点的历史网络流量数据,获取多维特征统计阈值;
所述第二获取模块具体用于定义多个维度的流量特征和每个维度的流量特征对应的属性信息,选择不同的属性信息对多个维度的流量特征进行组合,构成多维流量特征;定义多维比率特征、稳定通信对象命中百分比,并与所述多维流量特征进行组合,形成多维属性组合特征集;基于第二时间窗口,对网络节点的历史网络流量数据进行统计分析,得到网络节点的多维流量特征统计值;根据所述多维流量特征统计值和所述稳定通信对象集获取比率特征值和百分比特征值;对所述多维流量特征统计值进行分布规律校验,根据所服从的分布规律,通过对应的比率特征值和百分比特征值获取对应的多维特征统计阈值;
异常流量检测模块,用于获取待检测节点的实时网络流量数据,根据所述多维特征统计阈值对所述待检测节点进行检测和评价。
13.根据权利要求12所述的基于流的网络节点异常检测系统,其特征在于:还包括,用于实现如权利要求2至11中任意一项所述的基于流的网络节点异常检测方法的模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710743088.XA CN107483455B (zh) | 2017-08-25 | 2017-08-25 | 一种基于流的网络节点异常检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710743088.XA CN107483455B (zh) | 2017-08-25 | 2017-08-25 | 一种基于流的网络节点异常检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107483455A CN107483455A (zh) | 2017-12-15 |
CN107483455B true CN107483455B (zh) | 2020-07-14 |
Family
ID=60602589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710743088.XA Active CN107483455B (zh) | 2017-08-25 | 2017-08-25 | 一种基于流的网络节点异常检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107483455B (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108270620B (zh) * | 2018-01-15 | 2020-07-31 | 深圳市联软科技股份有限公司 | 基于画像技术的网络异常检测方法、装置、设备及介质 |
CN110198288B (zh) * | 2018-02-27 | 2022-02-18 | 中兴通讯股份有限公司 | 一种异常节点的处理方法及设备 |
CN108234524B (zh) * | 2018-04-02 | 2020-08-21 | 广州广电研究院有限公司 | 网络数据异常检测的方法、装置、设备及存储介质 |
CN108566306B (zh) * | 2018-04-28 | 2020-08-04 | 广东电网有限责任公司 | 一种基于数据均衡技术的网络安全实时异常检测方法 |
CN108990089B (zh) * | 2018-06-21 | 2022-02-22 | 中国铁道科学研究院集团有限公司通信信号研究所 | 移动通信网络多探测窗口联合检测分析方法 |
CN109067722B (zh) * | 2018-07-24 | 2020-10-27 | 湖南大学 | 一种基于两步聚类和检测片分析联合算法的LDoS检测方法 |
CN110162969B (zh) * | 2018-10-08 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 一种流量的分析方法和装置 |
CN111276961B (zh) * | 2018-12-04 | 2021-08-17 | 国家计算机网络与信息安全管理中心 | 一种用于数据中心的配电系统脆弱节点的识别方法及系统 |
CN110210508B (zh) * | 2018-12-06 | 2021-11-09 | 北京奇艺世纪科技有限公司 | 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质 |
CN109802973A (zh) | 2019-03-15 | 2019-05-24 | 北京百度网讯科技有限公司 | 用于检测流量的方法和装置 |
CN111899040B (zh) * | 2019-05-05 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 目标对象异常传播的检测方法、装置、设备及存储介质 |
CN110149343B (zh) * | 2019-05-31 | 2021-07-16 | 国家计算机网络与信息安全管理中心 | 一种基于流的异常通联行为检测方法和系统 |
CN110266680B (zh) * | 2019-06-17 | 2021-08-24 | 辽宁大学 | 一种基于双重相似性度量的工业通信异常检测方法 |
CN110445680B (zh) * | 2019-07-29 | 2021-06-08 | 新华三大数据技术有限公司 | 网络流量异常检测方法、装置及服务器 |
CN110830450A (zh) * | 2019-10-18 | 2020-02-21 | 平安科技(深圳)有限公司 | 基于统计的异常流量监测方法、装置、设备及存储介质 |
CN113067741B (zh) * | 2020-01-02 | 2022-11-29 | 中国移动通信有限公司研究院 | 一种信息处理方法、装置、终端及存储介质 |
CN111245684B (zh) * | 2020-01-13 | 2021-12-21 | 智者四海(北京)技术有限公司 | 流量调度方法和装置、电子设备、计算机可读介质 |
CN111404949A (zh) * | 2020-03-23 | 2020-07-10 | 深信服科技股份有限公司 | 一种流量检测方法、装置、设备及存储介质 |
CN111614634B (zh) * | 2020-04-30 | 2024-01-23 | 腾讯科技(深圳)有限公司 | 流量检测方法、装置、设备及存储介质 |
CN111756706A (zh) * | 2020-06-05 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 一种异常流量检测方法、装置及存储介质 |
CN111787018A (zh) * | 2020-07-03 | 2020-10-16 | 中国工商银行股份有限公司 | 用于识别网络攻击行为的方法、装置、电子设备及介质 |
CN111865949A (zh) * | 2020-07-09 | 2020-10-30 | 恒安嘉新(北京)科技股份公司 | 一种异常通信的检测方法、装置、服务器及存储介质 |
CN112653589A (zh) * | 2020-07-13 | 2021-04-13 | 福建奇点时空数字科技有限公司 | 一种基于主机数据流特征提取的网络数据流异常检测方法 |
CN112751869B (zh) * | 2020-12-31 | 2023-07-14 | 中国人民解放军战略支援部队航天工程大学 | 基于滑动窗口群的网络异常流量检测方法及装置 |
CN113596001B (zh) * | 2021-07-19 | 2023-04-28 | 中移(杭州)信息技术有限公司 | DDoS攻击检测方法、装置、设备及计算机可读存储介质 |
CN115022055B (zh) * | 2022-06-09 | 2024-04-19 | 武汉思普崚技术有限公司 | 一种基于动态时间窗口的网络攻击实时检测方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651568A (zh) * | 2009-07-01 | 2010-02-17 | 青岛农业大学 | 一种网络流量预测和异常检测方法 |
CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
CN102130798A (zh) * | 2011-03-25 | 2011-07-20 | 中国电子科技集团公司第三十研究所 | 一种分布式网络多维流量异常检测方法和装置 |
CN104994535A (zh) * | 2015-06-04 | 2015-10-21 | 浙江农林大学 | 基于多维数据模型的传感器数据流异常检测方法 |
CN105574547A (zh) * | 2015-12-22 | 2016-05-11 | 北京奇虎科技有限公司 | 适应动态调整基分类器权重的集成学习方法及装置 |
CN106060039A (zh) * | 2016-05-27 | 2016-10-26 | 广东工业大学 | 一种面向网络异常数据流的分类检测方法 |
CN106101102A (zh) * | 2016-06-15 | 2016-11-09 | 华东师范大学 | 一种基于pam聚类算法的网络异常流量检测方法 |
CN106453392A (zh) * | 2016-11-14 | 2017-02-22 | 中国人民解放军防空兵学院 | 基于流量特征分布的全网络异常流识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI437850B (zh) * | 2012-05-30 | 2014-05-11 | 中原大學 | 網路流量異常偵測系統及其方法 |
-
2017
- 2017-08-25 CN CN201710743088.XA patent/CN107483455B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651568A (zh) * | 2009-07-01 | 2010-02-17 | 青岛农业大学 | 一种网络流量预测和异常检测方法 |
CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
CN102130798A (zh) * | 2011-03-25 | 2011-07-20 | 中国电子科技集团公司第三十研究所 | 一种分布式网络多维流量异常检测方法和装置 |
CN104994535A (zh) * | 2015-06-04 | 2015-10-21 | 浙江农林大学 | 基于多维数据模型的传感器数据流异常检测方法 |
CN105574547A (zh) * | 2015-12-22 | 2016-05-11 | 北京奇虎科技有限公司 | 适应动态调整基分类器权重的集成学习方法及装置 |
CN106060039A (zh) * | 2016-05-27 | 2016-10-26 | 广东工业大学 | 一种面向网络异常数据流的分类检测方法 |
CN106101102A (zh) * | 2016-06-15 | 2016-11-09 | 华东师范大学 | 一种基于pam聚类算法的网络异常流量检测方法 |
CN106453392A (zh) * | 2016-11-14 | 2017-02-22 | 中国人民解放军防空兵学院 | 基于流量特征分布的全网络异常流识别方法 |
Non-Patent Citations (2)
Title |
---|
An anomalous behavior detection model in cloud computing;Ye Xiaoming, Chen Xingshu, Wang Haizhou,et al;《Tsinghua Science and Technology》;20161231;第21卷(第3期);第322-332页 * |
基于多维时间序列分析的网络异常检测;陈兴蜀,江天宇,曾雪梅,尹雪渊,邵国林;《工程科学与技术》;20170131;第49卷(第1期);第144-150页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107483455A (zh) | 2017-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107483455B (zh) | 一种基于流的网络节点异常检测方法和系统 | |
CN110149343B (zh) | 一种基于流的异常通联行为检测方法和系统 | |
CN105577679B (zh) | 一种基于特征选择与密度峰值聚类的异常流量检测方法 | |
CN109729090B (zh) | 一种基于wedms聚类的慢速拒绝服务攻击检测方法 | |
Qin et al. | DDoS attack detection using flow entropy and clustering technique | |
CN105847283A (zh) | 一种基于信息熵方差分析的异常流量检测方法 | |
CN102271068B (zh) | 一种dos/ddos攻击检测方法 | |
CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
CN113079143A (zh) | 一种基于流数据的异常检测方法及系统 | |
Tellenbach et al. | Accurate network anomaly classification with generalized entropy metrics | |
CN113114694B (zh) | 一种面向高速网络分组抽样数据采集场景的DDoS攻击检测方法 | |
CN111817982A (zh) | 一种面向类别不平衡下的加密流量识别方法 | |
CN102014031A (zh) | 一种网络流量异常检测方法及系统 | |
CN109218321A (zh) | 一种网络入侵检测方法及系统 | |
CN112434298B (zh) | 一种基于自编码器集成的网络威胁检测系统 | |
CN110602109A (zh) | 一种基于多特征熵的应用层DDoS攻击检测与防御方法 | |
CN106972968B (zh) | 一种基于交叉熵联合马氏距离的网络异常流量检测方法 | |
CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
CN110995713A (zh) | 一种基于卷积神经网络的僵尸网络检测系统及方法 | |
CN104021348A (zh) | 一种隐匿p2p程序实时检测方法及系统 | |
Yan et al. | Detect and identify DDoS attacks from flash crowd based on self-similarity and Renyi entropy | |
CN116405306A (zh) | 一种基于异常流量识别的信息拦截方法及系统 | |
Martins et al. | Automatic detection of computer network traffic anomalies based on eccentricity analysis | |
Zhang et al. | Mbst: detecting packet-level traffic anomalies by feature stability | |
Yin et al. | Applying genetic programming to evolve learned rules for network anomaly detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |