CN104539488A - 基于可调节分段Tsallis熵的网络流量异常检测方法 - Google Patents

基于可调节分段Tsallis熵的网络流量异常检测方法 Download PDF

Info

Publication number
CN104539488A
CN104539488A CN201510031006.XA CN201510031006A CN104539488A CN 104539488 A CN104539488 A CN 104539488A CN 201510031006 A CN201510031006 A CN 201510031006A CN 104539488 A CN104539488 A CN 104539488A
Authority
CN
China
Prior art keywords
entropy
sample space
probability
high probability
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510031006.XA
Other languages
English (en)
Other versions
CN104539488B (zh
Inventor
王之梁
田庚
尹霞
施新刚
李子木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510031006.XA priority Critical patent/CN104539488B/zh
Publication of CN104539488A publication Critical patent/CN104539488A/zh
Application granted granted Critical
Publication of CN104539488B publication Critical patent/CN104539488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种基于可调节分段Tsallis熵的网络流量异常检测方法,主要提供一种可适应大规模网络的异常检测需求的基于可调节分段熵的网络流量异常检测方法。本发明所述的检测方法包括如下具体步骤:选取原样本空间;基于可调节分段熵的实现方法,得到高概率样本空间的高概率熵值和低概率样本空间低概率熵值;分别判断高概率熵值和低概率熵值的是否异常,若高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;若低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常;确定异常熵值对应的样本空间即为网络流量异常样本空间,即判定此时发生了网络流量异常。

Description

基于可调节分段Tsallis熵的网络流量异常检测方法
技术领域
本发明涉及一种基于可调节分段Tsallis熵的网络流量异常检测方法。
背景技术
基于Tsallis熵进行网络流量异常检测是一种简单有效的方法,但是由于Tsallis熵本身特性的影响,使其在网络流量异常检测中存在三大问题:一是不能克服样本空间数量剧烈波动对熵值的影响,导致检测不准确;二是需要计算全部样本才能得到熵值,导致对大样本空间的检测不敏感;三是混合异常在熵值存在抵消问题,导致对有些混合攻击不能够检测出来。因此,基于Tsallis熵的网络流量异常检测很难应用于终端数目巨大、流量波动明显的网络。而且目前随着网络规模、数据量的不断增大,单机的流量异常检测系统也遇到了网络流量的处理能力的挑战,尤其是对大量历史流量数据的分析上存在困难。
发明内容
针对上述问题,本发明提供一种克服了传统熵用于网络流量异常检测存在的问题,适应大规模网络的异常检测需求的基于可调节分段Tsallis熵的网络流量异常检测方法。
为达到上述目的,本发明基于可调节分段Tsallis熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取至少一个元素集合为参考样本空间;
各参考样本空间基于可调节分段Tsallis熵的方法,得到参考样本空间对应的高概率熵值和低概率熵值;
判断所述的时间片是否异常,
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常,则该时间片为网络正常时间片;
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常,则该时间片为网络异常时间片;
其中,所述的可调节分段Tsallis熵的方法具体为:
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合,所述高概率集合和虚拟不重复元素集合组成高概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值。
进一步地,所述的用Tsallis熵计算得到高概率熵值和低概率熵值的具体公式如下:
S - H = k q - 1 · ( 1 - Σ i = 1 N D + N p b i q ) = k q - 1 · ( 1 - Σ i = 1 N D ( n i D Σ i = 1 N D n i D + N ) q - N ( Σ i = 1 N D n i D + N ) q )
S - L = k q - 1 · ( 1 - Σ i = 1 N C p c i q ) = k q - 1 · ( 1 - Σ i = 1 N C ( n i C Σ i = 1 N C n i C ) q ) ;
其中,S-H为高概率熵值,S-L为低概率熵值;
参考样本空间A中有NA个互不相同元素,A={a1,a2,...,ai,...,aNA},任意元素ai∈A且表示A中的第i个互不相同的元素,表示元素在参考样本空间A中出现的次数;
虚拟的不重复元素集合E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且表示E中的第i个互不相同的元素,1表示元素在虚拟的不重复元素集合E中出现的次数;
低概率样本空间C中有NC个互不相同元素,C={c1,c2,...,ci,...,cNC},任意元素ci∈C且表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
高概率元素集合D中有ND个互不相同元素,D={d1,d2,...,di,...,dND},任意元素di∈D且表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率,表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
具体地,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
优选地,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
进一步地,所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
为达到上述目的,本发明实现可调节分段Tsallis熵的方法,所述方法包括:
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
其中,分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
本发明克服了传统熵用于网络流量异常检测存在的三大问题,适应了大规模网络的异常检测需求,可以根据网络流量的实际情况实现参数的设定与调节。
附图说明
图1是可调节分段熵模式原理图;
图2是基于可调节分段熵的异常检测判别方法。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
一、可调节分段Tsallis熵(Adjustable Piecewise Tsallis Entropy,简称APTE)
APTE的原理如图1所示:首先,按照用户设定的概率阈值(T)将原样本空间(A)内元素分成高概率元素集合和低概率元素集合;然后将高概率元素集合(D)和用户设定数目(N)的虚拟的不重复元素集合(E)结合形成新的高概率样本空间(B),将低概率元素集合单独形成低概率样本空间(C);最后对高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值,高概率样本空间得到高概率熵值(S-H),低概率样本空间得到低概率熵值(S-L)。APTE通过T和N两个参数实现可调节的目的。
假设:
①样本空间A中有NA个互不相同元素,A={a1,a2,...,ai,...,aNA},任意元素ai∈A且表示A中的第i个互不相同的元素,表示元素在A中出现的次数;
②样本空间E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且表示E中的第i个互不相同的元素,1表示元素在E中出现的次数;
那么可以得到:
①若 n i A ≤ T × Σ i = 1 N A n i A , 那么ai∈C;
②若 n i A > T × Σ i = 1 N A n i A , 那么ai∈D;
③样本空间B=D∪E;
假设:
①样本空间C中有NC个互不相同元素,C={c1,c2,...,ci,...,cNC},任意元素ci∈C且表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
②样本空间D中有ND个互不相同元素,D={d1,d2,...,di,...,dND},任意元素di∈D且表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
那么,根据Tsallis熵公式APTE可表示为:
S-APTE=<S-H,S-L>,其中,
S - H = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N D + N p b i q ) = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N D ( n i D &Sigma; i = 1 N D n i D + N ) q - N ( &Sigma; i = 1 N D n i D + N ) q )
S - L = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N C p c i q ) = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N C ( n i C &Sigma; i = 1 N C n i C ) q ) ;
其中,表示B中第i个元素在B中出现的概率,表示C中第i个元素在C中出现的概率。
二、基于APTE的网络流量异常检测方法
基于APTE的网络流量异常检测原理为:首先对流量样本空间根据APTE公式得到高概率熵值S-H和低概率熵值S-L,然后判断得到的熵值是否存在异常。如图2所示,若S-H小于预先设定的阈值T1,则判定S-H值为异常;若S-L大于预先设定的阈值T2,则判定S-L值为异常。异常熵值对应的样本空间即为网络流量异常样本空间,即此时发生了网络流量异常。
实施例1
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合为参考样本空间也即为源IP样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,
所述的时间片内有至少一个高概率样本空间熵值异常,则所述的时间片为网络异常时间片。
实施例2
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取目的IP元素集合为参考样本空间也即为目的IP样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的低概率熵值大于低概率熵阈值,则所述的低概率熵值异常;
判断所述的时间片是否异常,所述的时间片内有一个低概率样本空间熵值异常,则所述的时间片为网络异常时间片。
实施例3
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源端口元素集合为参考样本空间也即为源端口样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值正常,则所述的时间片为网络正常时间片。
实施例4
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取目的端口元素集合为参考样本空间也即为目的端口样本空间;
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
判断所述的高概率熵值、低概率熵值是否异常,
所述的高概率熵值等于高概率熵阈值,则所述的高概率熵值异常;
所述的低概率熵值等于低概率熵阈值,则所述的低概率熵值异常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值异常,则所述的时间片为网络异常时间片。
上述各实施例中,上述各实施例中的高概率熵阈值和低概率熵阈值不是一个具体的值,将参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值,统称为高概率熵阈值,将参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值,统称为低概率熵阈值,高概率熵阈值和低概率熵阈值的具体值要根据实际情况确定。
说明:下述各实施例中选择了至少两个元素各自组成参考样本空间,这些元素为:源IP、目的IP、源端口、目的端口等,每个元素独自构成一个参考样本空间,每个参考样本空间分出来的高概率样本空间、低概率样本空间与其他参考样本空间的高概率样本空间、低概率样本空间各自独立,同时,每一个参考样本空间分别对应各自的高概率熵阈值和低概率熵阈值,为了方便区分,将各参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值,统称为高概率熵阈值,将各参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值,统称为低概率熵阈值,各参考样本空间实际上的高概率熵阈值和低概率熵阈值的具体值要基于实际情况而定。同时未在本说明书中列举的其他至少两个元素各自组成参考样本空间判断元素各自组成参考样本空间的实施例也适用上述说明。
实施例5
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合分别组成两个参考样本空间,也即源IP样本空间、目的IP样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的两个高概率熵值、两个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内有一个高概率熵值异常,则所述的时间片为网络异常时间片。
实施例6
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合分别组成三个参考样本空间,也即源IP样本空间、目的IP样本空间、源端口样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的三个高概率熵值、三个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的源端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内全部高、低概率样本空间熵值均正常,则所述的时间片为网络正常时间片。
实施例7
本实施例基于可调节分段熵的网络流量异常检测方法,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合、目的端口元素集合分别组成四个参考样本空间,也即源IP样本空间、目的IP样本空间、源端口样本空间、目的端口样本空间;
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
对目的端口样本空间对应的高概率样本空间和低概率样本空间分别用Tsallis熵计算熵值得到高概率熵值和低概率熵值;
判断所述的四个高概率熵值、四个低概率熵值是否异常,
所述的源IP样本空间对应的高概率熵值小于高概率熵阈值,则所述的高概率熵值异常;
所述的源IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的IP样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的IP样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的源端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的源端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
所述的目的端口样本空间对应的高概率熵值大于高概率熵阈值,则所述的高概率熵值正常;
所述的目的端口样本空间对应的低概率熵值小于低概率熵阈值,则所述的低概率熵值正常;
判断所述的时间片是否异常,所述的时间片内目的IP样本空间对应的低概率熵值异常,则所述的时间片为网络异常时间片。
在上述实施例7的基础上的扩展,
基于APTE的网络流量异常检测具体实施方法如下:
步骤1:选取样本空间:选取流量数据,将流量数据划分为均匀时间片并提取时间片内每条流对应的源IP、目的IP、源端口和目的端口,形成源IP样本空间、目的IP样本空间、源端口样本空间和目的端口样本空间;
步骤2:计算APTE:将上述4个样本空间表示成上文所描述的“A={a1,a2,...,ai,...,aNA},任意元素ai∈A且的形式,,然后对每个样本空间按照APTE公式计算熵值,得到高概率熵S-H和低概率熵S-L
步骤3:APTE熵异常判定:若S-H小于预先设定的阈值T1,则判定该熵值为异常,标记为“-”,若S-L大于预先设定的阈值T2,则判定该熵值为异常,标记为“+”;
步骤4:组成APTE熵值表:将每个时间片对应的8个APTE熵组合成APTE熵值表,进而可以形成30个主要的熵值异常表现,如表1网络流量异常熵值对照表所示;
步骤5:流量异常判定:判定符合表1中特征的时间片为网络流量异常时间片。也即该时间片内至少有一个高概率熵值S-H和低概率熵值S-L异常,则该时间片异常。
表1
实施例8
本实施例实现可调节分段熵的方法,所述方法包括:
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
其中,分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
上述各实施例中,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
上述各实施例中,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
上述各实施例中,所述的概率阈值、虚拟不重复元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值,且每一个参考样本空间均有各自单独设定的概率阈值、虚拟不重复元素的数目、高概率熵阈值、低概率熵阈值,这些值的取值根据具体情况具体决定。
以上,仅为本发明的较佳实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (6)

1.一种基于可调节分段Tsallis熵的网络流量异常检测方法,其特征在于,所述方法包括:
获取流量数据,将所述流量数据划分为均匀的时间片,在所述的时间片内选取至少一个元素集合为参考样本空间;
各参考样本空间基于可调节分段Tsallis熵的方法,得到参考样本空间对应的高概率熵值和低概率熵值;
判断所述的时间片是否异常,
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常,则该时间片为网络正常时间片;
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常,则该时间片为网络异常时间片;
其中,所述的可调节分段Tsallis熵的方法具体为:
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合,所述高概率集合和虚拟不重复元素集合组成高概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值。
2.根据权利要求1所述的基于可调节分段熵的网络流量异常检测方法,其特征在于,所述的用Tsallis熵计算得到高概率熵值和低概率熵值的具体公式如下:
S - H = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N D + N p b i q ) = k q - 1 &CenterDot; ( 1 - ( n i D &Sigma; i = 1 N D n i D + N ) q - N ( &Sigma; i = 1 N D n i D + N ) q )
S - L = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N C p c i q ) = k q - 1 &CenterDot; ( 1 - &Sigma; i = 1 N C ( n i C &Sigma; i = 1 N C n i C ) q ) ;
其中,S-H为高概率熵值,S-L为低概率熵值;
参考样本空间A中有NA个互不相同元素,任意元素ai∈A且 表示A中的第i个互不相同的元素,表示元素在参考样本空间A中出现的次数;
虚拟的不重复元素集合E中有N个互不相同元素且E={e1,e2,...,ei,...,eN},任意元素ei∈E且 表示E中的第i个互不相同的元素,1表示元素在虚拟的不重复元素集合E中出现的次数;
低概率样本空间C中有NC个互不相同元素,任意元素ci∈C且 表示C中的第i个互不相同的元素,表示元素在C中出现的次数;
高概率元素集合D中有ND个互不相同元素,任意元素di∈D且 表示D中的第i个互不相同的元素,表示元素在D中出现的次数;
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率,表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
3.根据权利要求1所述的基于可调节分段熵的网络流量异常检测方法,其特征在于,判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为:
若所述的高概率熵值小于高概率熵阈值,则高概率熵值异常,否则,高概率熵值正常;
若所述的低概率熵值大于低概率熵阈值,则低概率熵值异常,否则,低概率熵值正常。
4.根据权利要求1所述的基于可调节分段熵的网络流量异常检测方法,其特征在于,在所述时间片内选取的参考样本空间具体为:源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
5.根据权利要求1所述的基于可调节分段熵的网络流量异常检测方法,其特征在于,所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
6.一种实现可调节分段Tsallis熵的方法,其特征在于,所述方法包括:
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合,在所述高概率集合和虚拟不重复元素集合组成概率样本空间,所述低概率集合组成低概率样本空间;
对所述的高概率样本空间用Tsallis熵计算得到高概率熵值,对所述的低概率样本空间用Tsallis熵计算得到低概率熵值;
其中,分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
CN201510031006.XA 2015-01-21 2015-01-21 基于可调节分段Tsallis熵的网络流量异常检测方法 Active CN104539488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510031006.XA CN104539488B (zh) 2015-01-21 2015-01-21 基于可调节分段Tsallis熵的网络流量异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510031006.XA CN104539488B (zh) 2015-01-21 2015-01-21 基于可调节分段Tsallis熵的网络流量异常检测方法

Publications (2)

Publication Number Publication Date
CN104539488A true CN104539488A (zh) 2015-04-22
CN104539488B CN104539488B (zh) 2017-12-29

Family

ID=52854957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510031006.XA Active CN104539488B (zh) 2015-01-21 2015-01-21 基于可调节分段Tsallis熵的网络流量异常检测方法

Country Status (1)

Country Link
CN (1) CN104539488B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306297A (zh) * 2015-10-22 2016-02-03 清华大学 基于双参数Tsallis熵对的网络流量异常检测方法
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN114024726A (zh) * 2021-10-26 2022-02-08 清华大学 在线检测网络流量的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050091151A1 (en) * 2000-08-23 2005-04-28 Ronald Coleman System and method for assuring the integrity of data used to evaluate financial risk or exposure
CN101645884A (zh) * 2009-08-26 2010-02-10 西安理工大学 基于相对熵理论的多测度网络异常检测方法
CN103618651A (zh) * 2013-12-11 2014-03-05 上海电机学院 一种基于信息熵和滑动窗口的网络异常检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050091151A1 (en) * 2000-08-23 2005-04-28 Ronald Coleman System and method for assuring the integrity of data used to evaluate financial risk or exposure
CN101645884A (zh) * 2009-08-26 2010-02-10 西安理工大学 基于相对熵理论的多测度网络异常检测方法
CN103618651A (zh) * 2013-12-11 2014-03-05 上海电机学院 一种基于信息熵和滑动窗口的网络异常检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵南等: "基于Tsallis熵和近似熵的认知事件相关电位动态复杂度分析", 《西安交通大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306297A (zh) * 2015-10-22 2016-02-03 清华大学 基于双参数Tsallis熵对的网络流量异常检测方法
CN112422524A (zh) * 2020-10-29 2021-02-26 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN112422524B (zh) * 2020-10-29 2022-10-04 中国铁道科学研究院集团有限公司通信信号研究所 一种多模型综合决策的列控系统入侵检测方法
CN114024726A (zh) * 2021-10-26 2022-02-08 清华大学 在线检测网络流量的方法及系统
CN114024726B (zh) * 2021-10-26 2022-09-02 清华大学 在线检测网络流量的方法及系统

Also Published As

Publication number Publication date
CN104539488B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN103634296B (zh) 基于物理系统和信息网络异常数据融合的智能电网攻击检测方法
CN104198882B (zh) 一种利用瞬时功率曲线进行pca聚类分析的同塔双回线故障选线方法
CN104539488A (zh) 基于可调节分段Tsallis熵的网络流量异常检测方法
CN105357228A (zh) 一种基于动态阈值的突发流量检测方法
CN102204181A (zh) 最佳路径选择装置、最佳路径选择方法、以及程序
CN103810526B (zh) 一种基于d-s证据理论的知识融合方法
CN104091035A (zh) 一种基于数据驱动算法的空间站有效载荷健康监测方法
CN104090227B (zh) 一种模拟电路故障诊断中的测点选择方法
CN104281779A (zh) 一种异常数据判定与处理方法及装置
CN104993462A (zh) 一种基于模式识别的带统一潮流控制器输电线路的电流暂态量方向保护方法
CN104102833B (zh) 基于密集区间发现的税务指标归一化与融合计算方法
CN103743435A (zh) 一种多传感器数据融合方法
CN106776480A (zh) 一种无线电干扰现场测量异常值的剔除方法
CN102457878B (zh) 一种在关键业务预测中剔除异常数据的方法和装置
CN109257252A (zh) 一种判断网络拥塞状态的方法
CN103493321A (zh) 用于产生故障信号的方法
CN105516164A (zh) 基于分形与自适应融合的P2P botnet检测方法
CN104539489A (zh) 基于可调节分段Shannon熵的网络流量异常检测方法
CN103646351A (zh) 一种基于电、水、气计量变化而甄别窃取事件的检测方法
CN105307185A (zh) 一种基于数据净化的群智协同频谱感知方法
CN103066572A (zh) 基于保信系统的继电保护在线监测方法与装置
CN104867063A (zh) 一种基于线性加权法的电网多重严重故障识别方法
CN104393580A (zh) 一种利用电压电流突变量小波系数相关分析的t接电网暂态量单元保护方法
CN105553787A (zh) 基于Hadoop的边缘网出口网络流量异常检测方法、系统
CN103746867B (zh) 一种基于基函数的网络协议分析方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant