CN101645884A - 基于相对熵理论的多测度网络异常检测方法 - Google Patents

基于相对熵理论的多测度网络异常检测方法 Download PDF

Info

Publication number
CN101645884A
CN101645884A CN200910023700A CN200910023700A CN101645884A CN 101645884 A CN101645884 A CN 101645884A CN 200910023700 A CN200910023700 A CN 200910023700A CN 200910023700 A CN200910023700 A CN 200910023700A CN 101645884 A CN101645884 A CN 101645884A
Authority
CN
China
Prior art keywords
data
network
relative entropy
detection
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910023700A
Other languages
English (en)
Other versions
CN101645884B (zh
Inventor
张亚玲
韩照国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN200910023700A priority Critical patent/CN101645884B/zh
Publication of CN101645884A publication Critical patent/CN101645884A/zh
Application granted granted Critical
Publication of CN101645884B publication Critical patent/CN101645884B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于相对熵理论的多测度网络异常检测方法,本检测方法是通过对多个测度的相对熵加权得到综合相对熵进行网络异常判断,从而避免了单个测度检测在某种特定攻击下的单点失效问题,同时,基于相对熵的异常检测不同于流量异常检测,能够精确地反映测度的异常。该方法按照以下步骤具体实施:步骤1.异常检测测度的选择和量化;步骤2.数据预处理;步骤3.样本训练;步骤4.单测度相对熵检测;步骤5.多测度加权相对熵计算;步骤6.报警机制和检测结果显示。本发明方法提出的技术方案,有助于解决现有网络异常检测技术存在的检测攻击范围不够全面和检测率和降低误报率之间矛盾的问题,可提供主机、局域网、广域网等各种网络环境进行网路异常检测。

Description

基于相对熵理论的多测度网络异常检测方法
技术领域
本发明属于信息安全技术领域,涉及一种网络异常检测的方法,具体涉及一种基于相对熵理论的多测度网络异常检测方法。
背景技术
计算机网络在给人们带来方便的同时,也常常面临着多种安全威胁,比如计算机病毒、木马、网络监听、黑客攻击以及包括诸如流氓软件在内的恶意软件等等,这些对于网络的恶意攻击的一个直接后果就是造成网络使用的各种异常。网络异常检测可以使人们及早发现网络攻击,并采取相应防范对策来遏制网络异常的进一步发展。
对网络异常检测方法的研究从1990年的第1个网络入侵检测系统NSM问世至今,提出的方法有概率统计分析方法、数据挖掘方法、神经网络方法、模糊数学理论、人工免疫方法、支持向量机方法等。网络异常通常表现为流量异常,近年来,网络流量的异常检测得到了较多的研究和应用,提出了多种检测方法,归结起来有四类:(1)阈值检测方法;(2)统计检测方法;(3)基于小波的检测方法;(4)面向网络安全的检测方法。在阈值检测方法中,通过对历史数据分析建立正常的参考基线范围,一旦超出此范围就判断为异常。该方法简单、计算复杂度小,适用于实时检测,然而它作为一种实用检测手段时,需要结合网络流量的特点不断进行阈值的修正。统计检测方法有多种算法,最常见的是GLR(Generalized Likelihood Ratio)检测方法,例如DM.Hawkins的方法。该方法考虑两个相邻的时间窗口以及由这两个窗口构成的合并窗口,每个窗口都用自回归模型拟合,并计算各窗口序列残差的联合似然比,然后与某个预先设定的阈值T比较,当超过阈值T时,则窗口边界被认定为异常点。这种检测方法对于流量的突变检测比较有效,但是当异常持续长度超过窗口长度时,该方法将出现部分失效。P.Barford等人将小波分析理论运用于流量异常检测,并给出了基于小波分析理论的四类异常结果,但该方法的计算过于复杂,不适于进行网络实时检测。面向网络安全的检测方法是通过学习得到流量属性之间的正常关联规则,然后建立正常规则集,在实际检测中对流量进行规则匹配,对违反规则的流量进行告警。这种方法能够对发生异常的地址进行定位,并对异常程度进行量化,但学习需要大量正常模式下的纯净数据,这在实际网络中并不容易实现。
通过对国内外大量现有技术和理论的分析,到目前为止网络异常检测面临的两个问题还没有得到很好解决:(1)检测攻击范围不够全面;(2)提高检测率和降低误报率之间的矛盾。所以,如何挖掘新的检测算法或者改进现有算法以提高检测率同时降低误报率已经成为当前异常检测领域亟待解决的问题。
发明内容
本发明的目的是提供一种基于相对熵理论的多测度网络异常检测方法,有助于解决现有网络异常检测中一直面临的两个棘手的问题:一是检测攻击范围不够全面;二是提高检测率和降低误报率之间的矛盾。
本发明所采用的技术方案是,一种基于相对熵理论的多测度网络异常检测方法,该方法按以下步骤具体实施:
步骤1、异常检测测度的选择和量化
异常检测测度选取的标准为:选择的测度对正常和异常区分度较高,且从网络流量中量化该特征值的计算量小;
步骤2、数据预处理
多测度数据预处理是由多个单测度数据预处理来实现的,单测度统计分析的过程是,首先确定所测测度概率分布的项数为m,然后对捕获到的网络流量数据按照该测度进行统计分析,设m项对应数据包的个数分别为x1,x2,…,xm,总的数据包个数为
Figure G2009100237001D00031
则每一项对应数据包占总数据包数的比率分别为p1,p2,…,pm,其中 p i = x i / Σ i = 1 m x i ( i = 1,2 , . . . , m ) - - - ( 2 )
最后将p1,p2,…,pm组成该测度的测度统计值库;
步骤3、样本训练
多测度的样本训练是由多个单测度的样本训练来实现的,单测度的样本训练过程包括数据预处理和数据均值化处理过程,样本训练数据一般都是由多个时间段的网络流量数据组成,这里时间段个数设为N,对每一份进行数据预处理,就得到N个测度统计值库,然后对N个测度统计值库进行均值化处理,得到一个正常测度统计值库作为检测的标准,具体过程如下:
P1={p11,p12,…,p1m};
P2={p21,p22,…,p2m};
……
PN={pN1,pN2,…,pNm},
P = { Σ i = 1 N p i 1 / N , Σ i = 1 N p i 2 / N , . . . , Σ i = 1 N p im / N , } - - - ( 3 )
其中N表示捕获正常网络流量数据的时间段数,m表示测度概率分布中的项数,P1,P2,…,PN表示每个时间段内正常网络流量数据的测度概率分布,该概率分布P就认为是通过样本训练得到的正常测度统计值库;
步骤4、单测度相对熵检测
设在训练阶段取得的正常测度统计值库中的概率分布为P={p1,p2,…,pn}的概率值;在检测过程中,对采集的网络流量原始数据进行数据预处理,产生待检测测度统计值库的概率分布为Q={q1,q2,…,qn},则计算两个概率分布的相对熵距离为: L ( p , Q ) = Σ i = 1 n p i ln p i q i ;
步骤5、多测度加权相对熵计算
设存在k个测度的相对熵值λ1,λ2,…,λk,其中λi=L(Pi,Qi)为第i个测度的概率分布相对熵,则加权相对熵为α1λ12λ2+…+αkλk,其中α1,α2,…,αk为加权系数;
步骤6、报警机制和检测结果显示
在预先定义好的偏移量阈值H的基础上,再引进两个值a和b(a=H,b=3H),相对熵用λ来表示,
当H<λ≤H+a时,发出轻量级的轻度异常报警,
当H+a<λ≤H+b时,发出一般异常报警,
当H+b<λ时,发出严重异常报警。
本发明的有益效果是,解决了现有网络异常检测技术存在的检测攻击范围不够全面和检测率和降低误报率之间矛盾的问题,可提供主机、局域网、广域网等各种网络环境进行网路异常检测。
附图说明
图1是本发明的检测方法原理框图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示,为本发明基于相对熵理论的多测度网络异常检测方法实施例的框图,具体按照以下步骤实施:
步骤1、异常检测测度的选择和量化
异常检测测度选取的标准为:选择的测度对正常和异常区分度较高,且从网络流量中量化该特征值的计算量小,可选的网络流量的基本特征如表1所示。
表1网络流量的基本特征
  类别   提取内容
  时间信息   年、月、日、时、分、秒、毫秒
  数据流信息   Packets、平均包长、Bytes/s、包长分布标准差
  协议信息   TCP,UDP,ICMP包数率和各个协议的平均包长
  TCP标志位   各个标志位的包数率
  主机信息   IP地址总数、所含C,B类地址数以及各类所占有的带宽等
  FLOW信息   Flow地址总数、原地址和目的地址数以及所属的C,B类地址数、以及各类所占有的带宽等
  包长信息   按包长的大小分为7类,每类包长的包数率
  TCP端口信息   各个常用TCP端口的包数率以及各个常用TCP端口的包长分布、以及按TCP端口号分成7类的各类包数率
  UDP端口信息   各个常用UDP端口的包数率以及各个常用UDP端口的包长分布、以及按UDP端口号分成7类的各类包数率
步骤2、数据预处理
数据预处理是根据检测测度对采集的网络流量原始数据进行统计分析,达到异常检测方法的要求。多测度数据预处理是由多个单测度数据预处理来实现的,单测度统计分析的过程:首先确定所测测度概率分布的项数为m,然后对捕获到的网络流量数据按照该测度进行统计分析,设m项对应数据包的个数分别为:x1,x2,…,xm,总的数据包个数为:
Figure G2009100237001D00061
则每一项对应数据包占总数据包数的比率分别为p1,p2,…,pm,其中
p i = x i / Σ i = 1 m x i ( i = 1,2 , . . . , m ) - - - ( 2 )
最后将p1,p2,…,pm组成该测度的测度统计值库。
步骤3、样本训练
样本数据是在正常网络中长时间使用嗅探器捕获的网络数据,这些正常的网络流量数据被用于样本训练。多测度的样本训练是由多个单测度的样本训练来实现的,单测度的样本训练过程包括数据预处理和数据均值化处理过程。样本训练数据一般都是由多个时间段的网络流量数据组成,这里时间段个数设为N(N的大小视情况而定),对每一份进行数据预处理,就得到N个测度统计值库,然后对N个测度统计值库进行均值化处理,得到一个正常测度统计值库作为检测的标准,具体过程如下:
P1={p11,p12,…,p1m};
P2={p21,p22,…,p2m};
……
PN={pN1,pN2,…,pNm},
P = { Σ i = 1 N p i 1 / N , Σ i = 1 N p i 2 / N , . . . , Σ i = 1 N p im / N , } - - - ( 3 )
其中N表示捕获正常网络流量数据的时间段数,m表示测度概率分布中的项数,P1,P2,…,PN表示每个时间段内正常网络流量数据的测度概率分布,该概率分布P就认为是通过样本训练得到的正常测度统计值库。
步骤4、单测度相对熵检测
设在训练阶段取得的正常测度统计值库中的概率分布为P={p1,p2,…,pn}的概率值;在检测过程中,对采集的网络流量原始数据进行数据预处理,产生待检测测度统计值库的概率分布为Q={q1,q2,…,qn},则计算两个概率分布的相对熵距离为: L ( p , Q ) = Σ i = 1 n p i ln p i q i .
使用相对熵计算公式时,可能出现三种特殊情况使运算失去意义:(1)
Figure G2009100237001D00072
失去数学意义;(2)
Figure G2009100237001D00073
使对数失去意义;(3)
Figure G2009100237001D00074
失去了与阈值的可比性。结合网络异常检测中数据的实际意义,给出了下面3个约定:
约定1、当 0 ln 0 0 = 0 时,此约定等式左边说明正常测度统计值库和待测测度统计值库中对应的概率值都为0,也就是说某一包长段内的数据包在训练阶段和检测阶段都没有被捕获,从相似度的角度来说是完全相似的,他们之间认为没有差距,所以约定其值为0。
约定2、当 0 ln 0 q i = e 时,该约定等式表示的情况是某一包长段数据包在长时间训练阶段没有被捕获,而在短时间内的检测阶段被捕获。这种情况被认为是异常,选择e为表达式的结果,此处e为自然对数的底数,e≈2.718282。
约定3、当 p i ln p i 0 = 1 时,本约定表示某一包长段的数据包在训练的网络数据里存在,而在检测的网络数据里没有,此情况也被认为是一种异常,只是异常的程度没有约定2的情况大,最后把该表达式的结果用数值1来表示。
步骤5、多测度加权相对熵计算
计算多测度加权相对熵:设存在k个测度的相对熵值λ1,λ2,…,λk,其中λi=L(Pi,Qi)为第i个测度的概率分布相对熵,则加权相对熵为α1λ12λ2+…+αkλk,其中α1,α2,…,αk为加权系数。
因为不同的网络异常,选用不同的测度,都会造成加权系数的不同,需根据实际网络的正常情况进行训练确定加权系数α1,α2,…,αk的值,达到理想的检测效果。可以选用公认的正常网络流量数据(DARPA 1999年IDS评测数据集)训练确定加权系数α1,α2,…,αk的值,然后根据实际网络的正常情况训练来调整加权系数的值,达到理想的检查效果。
步骤6、报警机制和检测结果显示
在预先定义好的偏移量阈值H的基础上,再引进两个值a和b(推荐设定a=H,b=3H),相对熵用λ来表示,当H<λ≤H+a时,发出轻量级的轻度异常报警,当H+a<λ≤H+b时,发出一般异常报警,当H+b<λ时,发出严重异常报警。检测结果显示为四种情况(正常、轻度异常、异常和严重异常)中的一种。
多测度加权相对熵的网络异常检测方法是通过对可能表征网络异常的多个测度进行分析,确定最可能反映网络异常的k个测度,通过样本训练过程,对收集的正常网络流量数据进行训练,建立每个测度的正常测度统计值库;在检测阶段包括通过数据收集、数据预处理、取得待检测网络流量数据的每个测度的统计值库,并通过与相应正常测度库进行相对熵计算,取得λi=L(Pi,Qi)。在取得多个测度相对熵的基础上,通过分析确定不同测度造成网络异常的影响权重,求k个测度的加权相对熵,进而给出网络是否异常的判断结果。
本发明提出的检测方法是通过对多个测度的相对熵加权得到综合相对熵进行网络异常判断,从而避免了单个测度检测在某种特定攻击下的单点失效问题,同时,基于相对熵的异常检测不同于流量异常检测,能够精确地反映测度的异常。
本发明的理论基础是相对熵理论,相对熵理论在图像分割、生物进化等领域得到很好的应用,由于相对熵中的概率分布是一个全概率事件的概率分布,使得相对熵可以更实际地反映事件的概率分布变化。本发明是在网络流量异常检测中引入相对熵理论,探索解决检测攻击范围不够全面的问题,同时,相对熵数值是一个比较精确而又敏感的数据,可以有效地反映出测度概率分布的细微差距,有助于缓解提高检测率和降低误报率之间的矛盾。
本发明提出的检测方法是通过对多个测度的相对熵加权得到综合相对熵进行网络异常判断,从而避免了单个测度检测在某种特定攻击下的单点失效问题,同时,基于相对熵的异常检测不同于流量异常检测,能够精确地反映测度的异常。采用的相对熵理论在图像分割、生物进化等领域得到很好的应用,由于相对熵中的概率分布是一个全概率事件的概率分布,使得相对熵可以更实际地反映事件的概率分布变化。本发明的思想是在网络流量异常检测中引入相对熵理论,探索解决检测攻击范围不够全面的问题,同时,相对熵数值是一个比较精确而又敏感的数据,可以有效地反映出测度概率分布的细微差距,有助于缓解提高检测率和降低误报率之间的矛盾。因此,从理论上看,本发明是可行的。
为了验证本发明的检测方法的可行,使用C++语言在VC2005平台上实现了基于相对熵理论的双侧度网络异常检测模型(使用包长分布和协议分布作为异常检测测度),并通过MIT Lincoln实验室的DARPA 1999年IDS评测数据集对检测效果进行了实验测试。
1)测试结果及分析
在双侧度检测实例系统的第一次运行中,首先使用第1周和第3周共10天的内部网监听数据作为训练数据,得到正常包长测度统计值库数据和正常协议测度统计值库数据;然后对第4周和第5周共10天的内部网监听数据和外部网监听数据进行检测。两周共有201次攻击,由于其中12次攻击方式(inside or outside)和14次攻击所在的流量数据官方网站没有提供,所以仅对115次攻击进行检测,得到的检测结果见表2和表3。
表2双侧度检测实例系统的测试结果
Figure G2009100237001D00101
表3双侧度检测实例系统的测试结果(续)
Figure G2009100237001D00102
表2和表3中α1和α2表示加权表达式α1λ12λ2中的加权系数;DR(Detection rate)为检测率,检测率定义为攻击类型被检测到的概率;OAR(Omitted alarm rate)为漏报率,漏报率定义为攻击类型被漏报的概率;FAR(False alarm rate)为误报率,误报率定义为正常数据误判为异常信息的概率。根据表2和表3可以看出RETDMAD在低误报率的情况下,对各类攻击都能达到较高的检测率。通过DARPA 1999测评数据集的大量实验,当使用该双测度异常检测方法进行异常检测时,α1和α2的最佳值分别为1和1.5。
2)与相关算法比较
与本发明同样关注网络异常检测的研究工作有很多,其中EMERALD系统在DARPA 1999评测中获得优胜奖,PHAD,ALAD和NETAD是文献中提出的异常检测方法,FAD是现有文献中的一种异常检测方法。取α1=1,α2=1.5时双侧度检测实例系统的测试结果与其它检测方案的测试效果比较,结果如表3所示,其中已有方法的检测率数据引自相关参考文献。
表4双侧度检测实例系统与相关工作试验结果比较
  系统名称   采用的检测方法   Detection rate
  EMERALD   专家系统与检测方法相结合   85/201(42%)
  PHAD   使用包头区域资源进行异常检测   54/201(27%)
  ALAD   使用应用负载进行异常检测   60/201(30%)
  NETAD   将包头区域资源与应用负载相结合进行异常检测   132/201(66%)
  FAD   基于D-S理论的网络异常检测方法   119/201(59%)
  RETDMAD   基于相对熵理论的双侧度网络异常检测方法   99/115(86.09%)
测试结果表明,双侧度检测实例系统达到了较高的检测率,高于EMERALD、PHAD、ALAD、NETAD和FAD异常检测方法,说明双侧度检测实例系统对于一般网络异常的检测还是比较理想的。
实施例1
作为一个具体应用,本发明建立了基于相对熵理论的双测度网络异常检测(RETDMAD)模型,采用的测度是包长分布和协议分布,并通过系统实现和测试验证了RETDMAD方法的可行性。以下给出包长分布和协议分布作为异常检测测度的双侧度网络异常检测模型,该模型按照以下步骤实现:
步骤1)双测度的选择和量化
把采集的所有数据包按照包的长度分成7类(<=64、65-127、128-254、255-511、512-1023、1024-1517、>=1518),第一测度是每个包长段内的数据包占总流量的比率(包长分布)。把采集的所有数据包按照传输层协议分成4类(TCP、UDP、ICMP和OTHER),第二测度是每个协议对应数据包占总流量的比率(协议分布)。
步骤2)双测度数据预处理
在(2)式取m=7,得到各个包长段的数据包个数分别为:x1,x2,…,x7,总的数据包个数为:
Figure G2009100237001D00121
则每一包长段内的数据包率为p1,p2,…,p7,其中 p i = x i / Σ i = 1 7 x i ( i = 1,2 , . . . , 7 ) ; 然后m=4,得到各种协议的数据包个数分别为:x1,x2,x3,x4,总的数据包个数为:每一包长段内的数据包率为p1,p2,p3,p4,其中 p i = x i / Σ i = 1 4 x i ( i = 1,2,3,4 ) .
步骤3)双测度样本训练
双测度样本训练是通过两次单测度样本训练实现。包长测度的样本训练:首先对N个时间段的正常网络流量数据进行数据预处理得到N个包长测度统计值库;然后对N个包长测度统计值库进行均值化处理,利用(3)式取m=7实现测度统计值库均值化处理,得到一个正常的包长测度统计值库,作为检测的标准。协议测度的样本训练:首先对N个时间段的正常网络流量数据进行数据预处理得到N个协议测度统计值库;然后对N个协议测度统计值库进行均值化处理,利用(3)式取m=3实现协议测度统计值库均值化处理,得到一个正常的协议测度统计值库,作为检测的标准。
步骤4)双测度加权相对熵检测
通过计算相对熵得到两个相对熵值λ1和λ2,其中λ1=L(P1,Q1)为包长概率分布相对熵,λ2=L(P2,Q2)为协议概率分布相对熵。其次采用加权表达式α1λ12λ2计算两个测度的加权相对熵,其中α1和α2为加权系数。α1和α2需根据实际的网络对加权系数进行确定和调整,达到理想的检测效果。
判断分析处理过程:设置一个变量λ用来表示加权相对熵数值,即:λ=α1λ12λ2,然后用λ和预先定义的偏移量H进行比较,根据比较结果判断网络流量数据是正常还是异常。
步骤5)报警机制和检测结果显示
检测结果显示为四种情况(正常、轻度异常、异常和严重异常)中的一种。在预先定义好的偏移量阈值H的基础上,再引进两个值a和b,相对熵用λ来表示,当H<λ≤H+a时,发出轻量级的轻度异常报警,当H+a<λ≤H+b时,发出一般异常报警,当H+b<λ时,发出严重异常报警。
实施例2
选择包长分布、协议分布、TCP端口流量分布三个特征进行基于相对熵的网络异常检测。
在上网者使用下载工具进行大量下载的时候,或者在不同的主机之间进行复制文件的时候,或者大量发送邮件的时候等等,当这些事情发生的时候,仅使用包长分布和协议分布作为异常检测的测度,就很难达到异常检测的理想效果,存在较高的误报率。当上述情况发生的时候,为了能准确地实现异常检测,可以将TCP端口流量分布作为第三个检测测度,把常用的TCP端口分为九类(21号、23号、25号、53号、80号、4000号、8000号、6200号和其他号),每一类端口流量占总流量的比率就是端口流量分布。使用三个异常检测测度的操作步骤和实施例1中步骤2~5类似。
综上所述,本发明的方法首先根据选择的测度对正常网络历史数据进行训练,得到每个测度对应的正常测度统计值库;然后对待检测的网络数据统计分析,得到每个测度对应的待测测度统计值库;最后通过不同测度的相对熵加权综合判断网络处于正常还是异常状态。
本发明方法提出的技术方案,有助于解决现有网络异常检测技术存在的检测攻击范围不够全面和检测率和降低误报率之间矛盾的问题,可提供主机、局域网、广域网等各种网络环境进行网路异常检测。

Claims (3)

1、一种基于相对熵理论的多测度网络异常检测方法,其特征在于,该方法按以下步骤具体实施:
步骤1、异常检测测度的选择和量化
异常检测测度选取的标准为:选择的测度对正常和异常区分度较高,且从网络流量中量化该特征值的计算量小;
步骤2、数据预处理
多测度数据预处理是由多个单测度数据预处理来实现的,单测度统计分析的过程是,首先确定所测测度概率分布的项数为m,然后对捕获到的网络流量数据按照该测度进行统计分析,设m项对应数据包的个数分别为x1,x2,…,xm,总的数据包个数为
Figure A2009100237000002C1
则每一项对应数据包占总数据包数的比率分别为p1,p2,…,pm,其中 p i = x i / Σ i = 1 m x i ( i = 1,2 , . . . , m ) - - - ( 2 )
最后将p1,p2,…,pm组成该测度的测度统计值库;
步骤3、样本训练
多测度的样本训练是由多个单测度的样本训练来实现的,单测度的样本训练过程包括数据预处理和数据均值化处理过程,样本训练数据一般都是由多个时间段的网络流量数据组成,这里时间段个数设为N,对每一份进行数据预处理,就得到N个测度统计值库,然后对N个测度统计值库进行均值化处理,得到一个正常测度统计值库作为检测的标准,具体过程如下:
P1={p11,p12,…,p1m};
P2={p21,p22,…,p2m};
......
PN={pN1,pN2,…,pNm},
P = { Σ i = 1 N p i 1 / N , Σ i = 1 N p i 2 / N , . . . , Σ i = 1 N p im / N , } - - - ( 3 )
其中N表示捕获正常网络流量数据的时间段数,m表示测度概率分布中的项数,P1,P2,…,PN表示每个时间段内正常网络流量数据的测度概率分布,该概率分布P就认为是通过样本训练得到的正常测度统计值库;
步骤4、单测度相对熵检测
设在训练阶段取得的正常测度统计值库中的概率分布为P={p1,p2,…,pn}的概率值;在检测过程中,对采集的网络流量原始数据进行数据预处理,产生待检测测度统计值库的概率分布为Q={q1,q2,…,qn},则计算两个概率分布的相对熵距离为: L ( P , Q ) = Σ i = 1 n p i ln p i q i ;
步骤5、多测度加权相对熵计算
设存在k个测度的相对熵值λ1,λ2,…,λk,其中λi=L(Pi,Qi)为第i个测度的概率分布相对熵,则加权相对熵为α1λ12λ2+…+αkλk,其中α1,α2,…,αk为加权系数;
步骤6、报警机制和检测结果显示
在预先定义好的偏移量阈值H的基础上,再引进两个值a和b(a=H,b=3H),相对熵用λ来表示,
当H<λ≤H+a时,发出轻量级的轻度异常报警,
当H+a<λ≤H+b时,发出一般异常报警,
当H+b<λ时,发出严重异常报警。
2、根据权利要求1所述的方法,所述步骤4中有以下约定:
约定1、当 0 ln 0 0 = 0 时,此约定等式左边说明正常测度统计值库和待测测度统计值库中对应的概率值都为0,也就是说某一包长段内的数据包在训练阶段和检测阶段都没有被捕获,从相似度的角度来说是完全相似的,他们之间认为没有差距,所以约定其值为0;
约定2、当 0 ln 0 q i = e 时,该约定等式表示的情况是某一包长段数据包在长时间训练阶段没有被捕获,而在短时间内的检测阶段被捕获,这种情况被认为是异常,选择e为表达式的结果,此处e为自然对数的底数,e≈2.718282;
约定3、当 p i ln p i 0 = 1 时,本约定表示某一包长段的数据包在训练的网络数据里存在,而在检测的网络数据里没有,此情况也被认为是一种异常,将该表达式的结果用数值1来表示。
3、根据权利要求1所述的方法,其特征在于:所述步骤5中选用公认的正常网络流量数据,即DARPA 1999年IDS评测数据集来训练确定加权系数α1,α2,…,αk的值,然后根据实际网络的正常情况训练来调整加权系数的值。
CN200910023700A 2009-08-26 2009-08-26 基于相对熵理论的多测度网络异常检测方法 Expired - Fee Related CN101645884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910023700A CN101645884B (zh) 2009-08-26 2009-08-26 基于相对熵理论的多测度网络异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910023700A CN101645884B (zh) 2009-08-26 2009-08-26 基于相对熵理论的多测度网络异常检测方法

Publications (2)

Publication Number Publication Date
CN101645884A true CN101645884A (zh) 2010-02-10
CN101645884B CN101645884B (zh) 2012-09-05

Family

ID=41657604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910023700A Expired - Fee Related CN101645884B (zh) 2009-08-26 2009-08-26 基于相对熵理论的多测度网络异常检测方法

Country Status (1)

Country Link
CN (1) CN101645884B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895420A (zh) * 2010-07-12 2010-11-24 西北工业大学 快速网络流量异常检测方法
CN101902744A (zh) * 2010-07-28 2010-12-01 南京航空航天大学 基于sniffer的无线传感网的入侵检测方法
CN101917445A (zh) * 2010-08-27 2010-12-15 电子科技大学 软交换平台下号码段的拒绝服务攻击检测方法
CN101917309A (zh) * 2010-08-27 2010-12-15 电子科技大学 软交换平台下公共服务号码的拒绝服务攻击检测方法
CN102111295A (zh) * 2011-01-06 2011-06-29 哈尔滨工程大学 分布式系统中多层次测度网络关系构建方法
CN102271091A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种网络异常事件分类方法
WO2011150579A1 (zh) * 2010-06-04 2011-12-08 中国科学院计算机网络信息中心 检测域名系统异常的方法和装置
CN102546310A (zh) * 2011-12-31 2012-07-04 曙光信息产业股份有限公司 网络流量监控方法
CN102611713A (zh) * 2012-04-10 2012-07-25 重庆交通大学 基于熵运算的网络入侵检测方法和装置
CN103281336A (zh) * 2013-06-19 2013-09-04 上海众恒信息产业股份有限公司 网络入侵检测方法
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
CN103514398A (zh) * 2013-10-18 2014-01-15 中国科学院信息工程研究所 一种实时在线日志检测方法及系统
CN104065748A (zh) * 2014-07-10 2014-09-24 哈尔滨工程大学 一种分布式系统脆性动态监测方法
CN104539488A (zh) * 2015-01-21 2015-04-22 清华大学 基于可调节分段Tsallis熵的网络流量异常检测方法
CN104539489A (zh) * 2015-01-21 2015-04-22 清华大学 基于可调节分段Shannon熵的网络流量异常检测方法
CN104579846A (zh) * 2015-01-21 2015-04-29 清华大学 基于可调节分段熵的网络流量异常检测方法
CN105119876A (zh) * 2015-06-29 2015-12-02 中国科学院信息工程研究所 一种自动生成的域名的检测方法及系统
CN105471639A (zh) * 2015-11-23 2016-04-06 清华大学 基于中位数的网络流量熵值估算方法及装置
CN105721242A (zh) * 2016-01-26 2016-06-29 国家信息技术安全研究中心 一种基于信息熵的加密流量识别方法
CN106452722A (zh) * 2011-11-30 2017-02-22 塞尔蒂卡姆公司 评估密码熵
CN106888136A (zh) * 2015-12-15 2017-06-23 成都网安科技发展有限公司 一种实时识别网络协议的方法
CN107231348A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法
CN104579846B (zh) * 2015-01-21 2018-02-09 清华大学 基于可调节分段熵的网络流量异常检测方法
WO2019020094A1 (zh) * 2017-07-28 2019-01-31 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
CN109347823A (zh) * 2018-10-17 2019-02-15 湖南汽车工程职业学院 一种基于信息熵的can总线异常检测方法
CN109409042A (zh) * 2018-08-23 2019-03-01 顺丰科技有限公司 一种用户权限分配异常检测系统、方法、设备及存储介质
CN109726364A (zh) * 2018-07-06 2019-05-07 平安科技(深圳)有限公司 用电量异常检测方法、装置、终端及计算机可读存储介质
CN112039877A (zh) * 2020-08-28 2020-12-04 四川长虹电器股份有限公司 基于kld的存储型xss注入的检测方法
CN112448947A (zh) * 2020-11-10 2021-03-05 奇安信科技集团股份有限公司 网络异常确定方法、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101060444A (zh) * 2007-05-23 2007-10-24 西安交大捷普网络科技有限公司 基于贝叶斯统计模型的网络异常检测方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150579A1 (zh) * 2010-06-04 2011-12-08 中国科学院计算机网络信息中心 检测域名系统异常的方法和装置
CN101895420A (zh) * 2010-07-12 2010-11-24 西北工业大学 快速网络流量异常检测方法
CN101902744A (zh) * 2010-07-28 2010-12-01 南京航空航天大学 基于sniffer的无线传感网的入侵检测方法
CN101902744B (zh) * 2010-07-28 2013-05-01 南京航空航天大学 基于sniffer的无线传感网的入侵检测方法
CN101917309A (zh) * 2010-08-27 2010-12-15 电子科技大学 软交换平台下公共服务号码的拒绝服务攻击检测方法
CN101917309B (zh) * 2010-08-27 2012-11-07 电子科技大学 软交换平台下公共服务号码的拒绝服务攻击检测方法
CN101917445B (zh) * 2010-08-27 2013-02-13 电子科技大学 软交换平台下号码段的拒绝服务攻击检测方法
CN101917445A (zh) * 2010-08-27 2010-12-15 电子科技大学 软交换平台下号码段的拒绝服务攻击检测方法
CN102111295A (zh) * 2011-01-06 2011-06-29 哈尔滨工程大学 分布式系统中多层次测度网络关系构建方法
CN102271091A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种网络异常事件分类方法
CN102271091B (zh) * 2011-09-06 2013-09-25 电子科技大学 一种网络异常事件分类方法
CN106452722A (zh) * 2011-11-30 2017-02-22 塞尔蒂卡姆公司 评估密码熵
CN106452722B (zh) * 2011-11-30 2020-03-10 黑莓有限公司 评估密码熵
CN102546310A (zh) * 2011-12-31 2012-07-04 曙光信息产业股份有限公司 网络流量监控方法
CN102611713A (zh) * 2012-04-10 2012-07-25 重庆交通大学 基于熵运算的网络入侵检测方法和装置
CN102611713B (zh) * 2012-04-10 2015-03-25 西南交通大学 基于熵运算的网络入侵检测方法和装置
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
CN103281336A (zh) * 2013-06-19 2013-09-04 上海众恒信息产业股份有限公司 网络入侵检测方法
CN103514398B (zh) * 2013-10-18 2016-08-17 中国科学院信息工程研究所 一种实时在线日志检测方法及系统
CN103514398A (zh) * 2013-10-18 2014-01-15 中国科学院信息工程研究所 一种实时在线日志检测方法及系统
CN104065748A (zh) * 2014-07-10 2014-09-24 哈尔滨工程大学 一种分布式系统脆性动态监测方法
CN104539488A (zh) * 2015-01-21 2015-04-22 清华大学 基于可调节分段Tsallis熵的网络流量异常检测方法
CN104579846A (zh) * 2015-01-21 2015-04-29 清华大学 基于可调节分段熵的网络流量异常检测方法
CN104539489A (zh) * 2015-01-21 2015-04-22 清华大学 基于可调节分段Shannon熵的网络流量异常检测方法
CN104539489B (zh) * 2015-01-21 2017-12-29 清华大学 基于可调节分段Shannon熵的网络流量异常检测方法
CN104579846B (zh) * 2015-01-21 2018-02-09 清华大学 基于可调节分段熵的网络流量异常检测方法
CN105119876A (zh) * 2015-06-29 2015-12-02 中国科学院信息工程研究所 一种自动生成的域名的检测方法及系统
CN105119876B (zh) * 2015-06-29 2019-01-18 中国科学院信息工程研究所 一种自动生成的域名的检测方法及系统
CN105471639A (zh) * 2015-11-23 2016-04-06 清华大学 基于中位数的网络流量熵值估算方法及装置
CN105471639B (zh) * 2015-11-23 2018-07-27 清华大学 基于中位数的网络流量熵值估算方法及装置
CN106888136A (zh) * 2015-12-15 2017-06-23 成都网安科技发展有限公司 一种实时识别网络协议的方法
CN105721242A (zh) * 2016-01-26 2016-06-29 国家信息技术安全研究中心 一种基于信息熵的加密流量识别方法
CN105721242B (zh) * 2016-01-26 2018-10-12 国家信息技术安全研究中心 一种基于信息熵的加密流量识别方法
CN107231348A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法
CN107231348B (zh) * 2017-05-17 2020-07-28 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法
US10860453B2 (en) 2017-07-28 2020-12-08 Advanced New Technologies Co., Ltd. Index anomaly detection method and apparatus, and electronic device
WO2019020094A1 (zh) * 2017-07-28 2019-01-31 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
CN109726364A (zh) * 2018-07-06 2019-05-07 平安科技(深圳)有限公司 用电量异常检测方法、装置、终端及计算机可读存储介质
WO2020006841A1 (zh) * 2018-07-06 2020-01-09 平安科技(深圳)有限公司 用电量异常检测方法、装置、终端及计算机可读存储介质
CN109409042A (zh) * 2018-08-23 2019-03-01 顺丰科技有限公司 一种用户权限分配异常检测系统、方法、设备及存储介质
CN109409042B (zh) * 2018-08-23 2021-04-20 顺丰科技有限公司 一种用户权限分配异常检测系统、方法、设备及存储介质
CN109347823A (zh) * 2018-10-17 2019-02-15 湖南汽车工程职业学院 一种基于信息熵的can总线异常检测方法
CN112039877A (zh) * 2020-08-28 2020-12-04 四川长虹电器股份有限公司 基于kld的存储型xss注入的检测方法
CN112039877B (zh) * 2020-08-28 2022-04-01 四川长虹电器股份有限公司 基于kld的存储型xss注入的检测方法
CN112448947A (zh) * 2020-11-10 2021-03-05 奇安信科技集团股份有限公司 网络异常确定方法、设备及存储介质
CN112448947B (zh) * 2020-11-10 2022-10-28 奇安信科技集团股份有限公司 网络异常确定方法、设备及存储介质

Also Published As

Publication number Publication date
CN101645884B (zh) 2012-09-05

Similar Documents

Publication Publication Date Title
CN101645884B (zh) 基于相对熵理论的多测度网络异常检测方法
CN112257063B (zh) 一种基于合作博弈论的联邦学习中后门攻击的检测方法
US8245301B2 (en) Network intrusion detection visualization
CN102340485B (zh) 基于信息关联的网络安全态势感知系统及其方法
CN109600363B (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN102271091B (zh) 一种网络异常事件分类方法
CN101686235B (zh) 网络异常流量分析设备和方法
Lu et al. Network anomaly detection based on wavelet analysis
US8312542B2 (en) Network intrusion detection using MDL compress for deep packet inspection
CN102111312B (zh) 基于多尺度主成分分析的网络异常检测方法
CN103581186A (zh) 一种网络安全态势感知方法及系统
CN102014031A (zh) 一种网络流量异常检测方法及系统
CN101383694A (zh) 基于数据挖掘技术的拒绝服务攻击防御方法和系统
CN104303153A (zh) 用于异常子图检测、异常/更改检测和网络态势感知的路径扫描
CN102801739A (zh) 基于云计算环境的网络风险测定取证方法
CN106357622A (zh) 基于软件定义网络的网络异常流量检测防御系统
CN108123849A (zh) 检测网络流量的阈值的确定方法、装置、设备及存储介质
CN104660464B (zh) 一种基于非广延熵的网络异常检测方法
CN108494802A (zh) 基于人工智能的关键信息基础设施安全威胁主动防御系统
CN103618651A (zh) 一种基于信息熵和滑动窗口的网络异常检测方法及系统
CN106209829A (zh) 一种基于告警策略的网络安全管理系统
CN111800414A (zh) 一种基于卷积神经网络的流量异常检测方法及系统
US10681059B2 (en) Relating to the monitoring of network security
CN104504332B (zh) 一种基于二次移动点策略的否定选择入侵检测方法
CN109768995B (zh) 一种基于循环预测和学习的网络流量异常检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20150826

EXPY Termination of patent right or utility model