CN104539488B - 基于可调节分段Tsallis熵的网络流量异常检测方法 - Google Patents
基于可调节分段Tsallis熵的网络流量异常检测方法 Download PDFInfo
- Publication number
- CN104539488B CN104539488B CN201510031006.XA CN201510031006A CN104539488B CN 104539488 B CN104539488 B CN 104539488B CN 201510031006 A CN201510031006 A CN 201510031006A CN 104539488 B CN104539488 B CN 104539488B
- Authority
- CN
- China
- Prior art keywords
- probability
- entropy
- sample space
- low
- high probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 title abstract 4
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000005856 abnormality Effects 0.000 claims abstract description 8
- 239000000523 sample Substances 0.000 claims description 184
- 239000013074 reference sample Substances 0.000 claims description 41
- 230000003252 repetitive effect Effects 0.000 claims description 25
- 101100001670 Emericella variicolor andE gene Proteins 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种基于可调节分段Tsallis熵的网络流量异常检测方法,主要提供一种可适应大规模网络的异常检测需求的基于可调节分段熵的网络流量异常检测方法。本发明所述的检测方法包括如下具体步骤:选取原样本空间;基于可调节分段熵的实现方法,得到高概率样本空间的高概率熵值和低概率样本空间低概率熵值;分别判断高概率熵值和低概率熵值的是否异常,若高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;若低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常;确定异常熵值对应的样本空间即为网络流量异常样本空间,即判定此时发生了网络流量异常。
Description
技术领域
本发明涉及一种基于可调节分段Tsallis熵的网络流量异常检测方法。
背景技术
基于Tsallis熵进行网络流量异常检测是一种简单有效的方法,但是由于Tsallis熵本身特性的影响,使其在网络流量异常检测中存在三大问题:一是不能克服样本空间数量剧烈波动对熵值的影响,导致检测不准确;二是需要计算全部样本才能得到熵值,导致对大样本空间的检测不敏感;三是混合异常在熵值存在抵消问题,导致对有些混合攻击不能够检测出来。因此,基于Tsallis熵的网络流量异常检测很难应用于终端数目巨大、流量波动明显的网络。而且目前随着网络规模、数据量的不断增大,单机的流量异常检测系统也遇到了网络流量的处理能力的挑战,尤其是对大量历史流量数据的分析上存在困难。
发明内容
针对上述问题,本发明提供一种克服了传统熵用于网络流量异常检测存在的问题,适应大规模网络的异常检测需求的基于可调节分段Tsallis熵的网络流量异常检测方法。
为达到上述目的,本发明基于可调节分段Tsallis熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取至少一个元素集合为参考样本空间;
各参考样本空间基于可调节分段Tsallis熵的方法,得到参考样本空间对应的高概率熵值和低概率熵值;
判断所述的时间片是否异常,
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常,则该时间片为网络正常时间片;
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常,则该时间片为网络异常时间片;
其中,所述的可调节分段Tsallis熵的方法具体为:
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合,所述高概率集合和虚拟不重复元素集合组成高概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值。
进一步地,所述的用Tsallis熵计算得到高概率熵值和低概率熵值的具体公式如下:
其中,S-H为高概率熵值,S-L为低概率熵值;
参考样本空间A中有NA个互不相同元素,A={a1,a2,...,ai,...,aNA},任意元素ai∈A且表示A中的第i个互不相同的元素,表示元素在参考样本空间A中出现的次数;
虚拟的不重复元素集合E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且表示E中的第i个互不相同的元素,1表示元素在虚拟的不重复元素集合E中出现的次数;
低概率样本空间C中有NC个互不相同元素,C={c1,c2,...,ci,...,cNC},任意元素ci∈C且表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
高概率元素集合D中有ND个互不相同元素,D={d1,d2,...,di,...,dND},任意元素di∈D且表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率,表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
具体地,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
优选地,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
进一步地,所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
为达到上述目的,本发明实现可调节分段Tsallis熵的方法,所述方法包括:
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
其中,分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
本发明克服了传统熵用于网络流量异常检测存在的三大问题,适应了大规模网络的异常检测需求,可以根据网络流量的实际情况实现参数的设定与调节。
附图说明
图1是可调节分段熵模式原理图;
图2是基于可调节分段熵的异常检测判别方法。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
一、可调节分段Tsallis熵(Adjustable Piecewise Tsallis Entropy,简称APTE)
APTE的原理如图1所示:首先,按照用户设定的概率阈值(T)将原样本空间(A)内元素分成高概率元素集合和低概率元素集合;然后将高概率元素集合(D)和用户设定数目(N)的虚拟的不重复元素集合(E)结合形成新的高概率样本空间(B),将低概率元素集合单独形成低概率样本空间(C);最后对高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值,高概率样本空间得到高概率熵值(S-H),低概率样本空间得到低概率熵值(S-L)。APTE通过T和N两个参数实现可调节的目的。
假设:
①样本空间A中有NA个互不相同元素,A={a1,a2,...,ai,...,aNA},任意元素ai∈A且表示A中的第i个互不相同的元素,表示元素在A中出现的次数;
②样本空间E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且表示E中的第i个互不相同的元素,1表示元素在E中出现的次数;
那么可以得到:
①若那么ai∈C;
②若那么ai∈D;
③样本空间B=D∪E;
假设:
①样本空间C中有NC个互不相同元素,C={c1,c2,...,ci,...,cNC},任意元素ci∈C且表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
②样本空间D中有ND个互不相同元素,D={d1,d2,...,di,...,dND},任意元素di∈D且表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
那么,根据Tsallis熵公式APTE可表示为:
S-APTE=<S-H,S-L>,其中,
其中,表示B中第i个元素在B中出现的概率,表示C中第i个元素在C中出现的概率。
二、基于APTE的网络流量异常检测方法
基于APTE的网络流量异常检测原理为:首先对流量样本空间根据APTE公式得到高概率熵值S-H和低概率熵值S-L,然后判断得到的熵值是否存在异常。如图2所示,若S-H小于预先设定的阈值T1,则判定S-H值为异常;若S-L大于预先设定的阈值T2,则判定S-L值为异常。异常熵值对应的样本空间即为网络流量异常样本空间,即此时发生了网络流量异常。
实施例1
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合为参考样本空间也即为源IP样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,
所述的时间片内有至少一个高概率样本空间熵值异常,则所述的时间片为网络异常时间片。
实施例2
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取目的IP元素集合为参考样本空间也即为目的IP样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的低概率熵值大于低概率熵阈值,则所述的低概率熵值异常;
判断所述的时间片是否异常,所述的时间片内有一个低概率样本空间熵值异常,则所述的时间片为网络异常时间片。
实施例3
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源端口元素集合为参考样本空间也即为源端口样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值正常,则所述的时间片为网络正常时间片。
实施例4
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取目的端口元素集合为参考样本空间也即为目的端口样本空间;
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值等于高概率熵阈值,则所述的高概率熵值异常;
所述的低概率熵值等于低概率熵阈值,则所述的低概率熵值异常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值异常,则所述的时间片为网络异常时间片。
上述各实施例中,上述各实施例中的高概率熵阈值和低概率熵阈值不是一个具体的值,将参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值,统称为高概率熵阈值,将参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值,统称为低概率熵阈值,高概率熵阈值和低概率熵阈值的具体值要根据实际情况确定。
说明:下述各实施例中选择了至少两个元素各自组成参考样本空间,这些元素为:源IP、目的IP、源端口、目的端口等,每个元素独自构成一个参考样本空间,每个参考样本空间分出来的高概率样本空间、低概率样本空间与其他参考样本空间的高概率样本空间、低概率样本空间各自独立,同时,每一个参考样本空间分别对应各自的高概率熵阈值和低概率熵阈值,为了方便区分,将各参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值,统称为高概率熵阈值,将各参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值,统称为低概率熵阈值,各参考样本空间实际上的高概率熵阈值和低概率熵阈值的具体值要基于实际情况而定。同时未在本说明书中列举的其他至少两个元素各自组成参考样本空间判断元素各自组成参考样本空间的实施例也适用上述说明。
实施例5
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合分别组成两个参考样本空间,也即源IP样本空间、目的IP样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的两个高概率熵值、两个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内有一个高概率熵值异常,则所述的时间片为网络异常时间片。
实施例6
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合分别组成三个参考样本空间,也即源IP样本空间、目的IP样本空间、源端口样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的三个高概率熵值、三个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的源端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值均正常,则所述的时间片为网络正常时间片。
实施例7
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合、目的端口元素集合分别组成四个参考样本空间,也即源IP样本空间、目的IP样本空间、源端口样本空间、目的端口样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的四个高概率熵值、四个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的源端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内目的IP样本空间对应的低概率熵值异常,则所述的时间片为网络异常时间片。
在上述实施例7的基础上的扩展,
基于APTE的网络流量异常检测具体实施方法如下:
步骤1:选取样本空间:选取流量数据,将流量数据划分为均匀时间片并提取时间片内每条流对应的源IP、目的IP、源端口和目的端口,形成源IP样本空间、目的IP样本空间、源端口样本空间和目的端口样本空间;
步骤2:计算APTE:将上述4个样本空间表示成上文所描述的“A={a1,a2,...,ai,...,aNA},任意元素ai∈A且的形式,,然后对每个样本空间按照APTE公式计算熵值,得到高概率熵S-H和低概率熵S-L;
步骤3:APTE熵异常判定:若S-H小于预先设定的阈值T1,则判定该熵值为异常,标记为“-”,若S-L大于预先设定的阈值T2,则判定该熵值为异常,标记为“+”;
步骤4:组成APTE熵值表:将每个时间片对应的8个APTE熵组合成APTE熵值表,进而可以形成30个主要的熵值异常表现,如表1网络流量异常熵值对照表所示;
步骤5:流量异常判定:判定符合表1中特征的时间片为网络流量异常时间片。也即该时间片内至少有一个高概率熵值S-H和低概率熵值S-L异常,则该时间片异常。
表1
实施例8
本实施例实现可调节分段熵的方法,所述方法包括:
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
其中,分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
上述各实施例中,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
上述各实施例中,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
上述各实施例中,所述的概率阈值、虚拟不重复元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值,且每一个参考样本空间均有各自单独设定的概率阈值、虚拟不重复元素的数目、高概率熵阈值、低概率熵阈值,这些值的取值根据具体情况具体决定。
以上,仅为本发明的较佳实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (4)
1.一种基于可调节分段Tsallis熵的网络流量异常检测方法,其特征在于,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取至少一个元素集合为参考样本空间;
各参考样本空间基于可调节分段Tsallis熵的方法,得到参考样本空间对应的高概率熵值和低概率熵值;
判断所述的时间片是否异常,
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常,则该时间片为网络正常时间片;
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常,则该时间片为网络异常时间片;
其中,所述的可调节分段Tsallis熵的方法具体为:
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合,所述高概率集合和虚拟不重复元素集合组成高概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
所述的用Tsallis熵计算得到高概率熵值和低概率熵值的具体公式如下:
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mo>-</mo>
<mi>H</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>k</mi>
<mrow>
<mi>q</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
<mo>+</mo>
<mi>N</mi>
</mrow>
</munderover>
<msup>
<msub>
<mi>p</mi>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
</msub>
<mi>q</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mi>k</mi>
<mrow>
<mi>q</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mi>q</mi>
</msup>
<mo>-</mo>
<mfrac>
<mi>N</mi>
<msup>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
<mi>q</mi>
</msup>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mo>-</mo>
<mi>L</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mi>k</mi>
<mrow>
<mi>q</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<msup>
<msub>
<mi>p</mi>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
</msub>
<mi>q</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mi>k</mi>
<mrow>
<mi>q</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msup>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<mo>(</mo>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mi>q</mi>
</msup>
<mo>)</mo>
<mo>;</mo>
</mrow>
其中,S-H为高概率熵值,S-L为低概率熵值;
参考样本空间A中有NA个互不相同元素,任意元素ai∈A且 表示A中的第i个互不相同的元素,表示元素在参考样本空间A中出现的次数;
虚拟的不重复元素集合E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且 表示E中的第i个互不相同的元素,1表示元素在虚拟的不重复元素集合E中出现的次数;
低概率样本空间C中有NC个互不相同元素,任意元素ci∈C且 表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
高概率元素集合D中有ND个互不相同元素,任意元素di∈D且 表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率,表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
2.根据权利要求1所述的基于可调节分段Tsallis熵的网络流量异常检测方法,其特征在于,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
3.根据权利要求1所述的基于可调节分段Tsallis熵的网络流量异常检测方法,其特征在于,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
4.根据权利要求1所述的基于可调节分段Tsallis熵的网络流量异常检测方法,其特征在于,所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510031006.XA CN104539488B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Tsallis熵的网络流量异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510031006.XA CN104539488B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Tsallis熵的网络流量异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104539488A CN104539488A (zh) | 2015-04-22 |
CN104539488B true CN104539488B (zh) | 2017-12-29 |
Family
ID=52854957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510031006.XA Active CN104539488B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Tsallis熵的网络流量异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104539488B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105306297A (zh) * | 2015-10-22 | 2016-02-03 | 清华大学 | 基于双参数Tsallis熵对的网络流量异常检测方法 |
CN112422524B (zh) * | 2020-10-29 | 2022-10-04 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种多模型综合决策的列控系统入侵检测方法 |
CN114024726B (zh) * | 2021-10-26 | 2022-09-02 | 清华大学 | 在线检测网络流量的方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050091151A1 (en) * | 2000-08-23 | 2005-04-28 | Ronald Coleman | System and method for assuring the integrity of data used to evaluate financial risk or exposure |
CN101645884B (zh) * | 2009-08-26 | 2012-09-05 | 西安理工大学 | 基于相对熵理论的多测度网络异常检测方法 |
CN103618651B (zh) * | 2013-12-11 | 2017-03-29 | 上海电机学院 | 一种基于信息熵和滑动窗口的网络异常检测方法及系统 |
-
2015
- 2015-01-21 CN CN201510031006.XA patent/CN104539488B/zh active Active
Non-Patent Citations (1)
Title |
---|
基于Tsallis熵和近似熵的认知事件相关电位动态复杂度分析;赵南等;《西安交通大学学报》;20070228;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104539488A (zh) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105827472B (zh) | 网络数据流类型检测方法及装置 | |
CN111143169B (zh) | 异常参数检测方法及装置、电子设备、存储介质 | |
CN104539488B (zh) | 基于可调节分段Tsallis熵的网络流量异常检测方法 | |
CN104280791B (zh) | 一种气象数据质量控制处理方法及系统 | |
CN108089938B (zh) | 异常数据处理方法及装置 | |
CN106973047A (zh) | 一种异常流量检测方法和装置 | |
CN110691035A (zh) | 一种网络拥塞的确定方法、装置、电子设备及存储介质 | |
CN106685757B (zh) | 一种评估网络性能的方法及装置 | |
CN110944016B (zh) | DDoS攻击检测方法、装置、网络设备及存储介质 | |
US9240054B1 (en) | Method for monitoring water level of a water body and system for implementing the method | |
JPWO2021070215A5 (zh) | ||
CN108205432B (zh) | 一种观测实验数据异常值的实时剔除方法 | |
WO2020211698A1 (zh) | 基于数据中心监控系统的智能设备监测方法、装置及设备 | |
US11863584B2 (en) | Infection spread attack detection device, attack origin specification method, and program | |
CN110289992B (zh) | 一种报文处理方法及装置 | |
CN104539489B (zh) | 基于可调节分段Shannon熵的网络流量异常检测方法 | |
CN107592323A (zh) | 一种DDoS检测方法及检测装置 | |
US10169364B2 (en) | Gauging accuracy of sampling-based distinct element estimation | |
JP6317685B2 (ja) | 通信監視システム、通信監視方法およびプログラム | |
US20150350046A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
CN105516164B (zh) | 基于分形与自适应融合的P2P botnet检测方法 | |
CN110465833B (zh) | 一种刀具断裂检测方法 | |
US11895146B2 (en) | Infection-spreading attack detection system and method, and program | |
WO2020161808A1 (ja) | 優先度判定装置、優先度判定方法、及びコンピュータ可読媒体 | |
WO2019069905A1 (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |