CN104539489B - 基于可调节分段Shannon熵的网络流量异常检测方法 - Google Patents
基于可调节分段Shannon熵的网络流量异常检测方法 Download PDFInfo
- Publication number
- CN104539489B CN104539489B CN201510031010.6A CN201510031010A CN104539489B CN 104539489 B CN104539489 B CN 104539489B CN 201510031010 A CN201510031010 A CN 201510031010A CN 104539489 B CN104539489 B CN 104539489B
- Authority
- CN
- China
- Prior art keywords
- entropy
- sample space
- probability
- high probability
- low probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种基于可调节分段Shannon熵的网络流量异常检测方法，主要提供一种可适应大规模网络的异常检测需求的基于可调节分段熵的网络流量异常检测方法。本发明所述的检测方法包括如下具体步骤：选取原样本空间；基于可调节分段熵的实现方法，得到高概率样本空间的高概率熵值和低概率样本空间低概率熵值；分别判断高概率熵值和低概率熵值的是否异常，若高概率熵值小于预定的高概率熵阈值，则高概率熵值异常，否则，高概率熵值正常；若低概率熵值大于预定的低概率熵阈值，则低概率熵值异常，否则，低概率熵值正常；确定异常熵值对应的样本空间即为网络流量异常样本空间，即判定此时发生了网络流量异常。
Description
技术领域
本发明涉及一种基于可调节分段Shannon熵的网络流量异常检测方法。
背景技术
基于Shannon熵进行网络流量异常检测是一种简单有效的方法，但是由于Shannon熵本身特性的影响，使其在网络流量异常检测中存在三大问题：一是不能克服样本空间数量剧烈波动对熵值的影响，导致检测不准确；二是需要计算全部样本才能得到熵值，导致对大样本空间的检测不敏感；三是混合异常在熵值存在抵消问题，导致对有些混合攻击不能够检测出来。因此，基于Shannon熵的网络流量异常检测很难应用于终端数目巨大、流量波动明显的网络。
发明内容
针对上述问题，本发明提供一种克服了传统熵用于网络流量异常检测存在的问题，适应大规模网络的异常检测需求的基于可调节分段Shannon熵的网络流量异常检测方法。
为达到上述目的，本发明基于可调节分段Shannon熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取至少一个元素集合为参考样本空间；
各参考样本空间基于可调节分段Shannon熵的方法，得到参考样本空间对应的高概率熵值和低概率熵值；
判断所述的时间片是否异常，
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常，则该时间片为网络正常时间片；
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常，则该时间片为网络异常时间片；
其中，所述的可调节分段Shannon熵的方法具体为：
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合，所述高概率集合和虚拟不重复元素集合组成高概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值。
进一步地，所述的用Shannon熵计算得到高概率熵值和低概率熵值的具体公式如下：
其中，S-H为高概率熵值，S-L为低概率熵值；
参考样本空间A中有NA个互不相同元素，任意元素ai∈A且 表示A中的第i个互不相同的元素，表示元素在参考样本空间A中出现的次数；
虚拟的不重复元素集合E中有N个互不相同元素且E＝{e1,e2,...,ei,...,eN}，任意元素ei∈E且 表示E中的第i个互不相同的元素，1表示元素在虚拟的不重复元素集合E中出现的次数；
低概率样本空间C中有NC个互不相同元素，任意元素ci∈C且 表示C中的第i个互不相同的元素，表示元素在C中出现的次数；
高概率元素集合D中有ND个互不相同元素，D＝{d1,d2,...,di,...,dND}，任意元素di∈D且 表示D中的第i个互不相同的元素，表示元素在D中出现的次数；
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率，表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
具体地，判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为：
若所述的高概率熵值小于高概率熵阈值，则高概率熵值异常，否则，高概率熵值正常；
若所述的低概率熵值大于低概率熵阈值，则低概率熵值异常，否则，低概率熵值正常。
优选地，在所述时间片内选取的参考样本空间具体为：源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
进一步地，所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
为达到上述目的，本发明实现可调节分段Shannon熵的方法，所述方法包括：
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
其中，分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
本发明克服了传统熵用于网络流量异常检测存在的三大问题，适应了大规模网络的异常检测需求，可以根据网络流量的实际情况实现参数的设定与调节。
附图说明
图1是可调节分段熵模式原理图；
图2是基于可调节分段熵的异常检测判别方法。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
一、可调节分段Shannon熵(Adjustable Piecewise Shannon Entropy，APSE)
APSE的原理如图1所示：首先，按照用户设定的概率阈值(T)将原样本空间(A)内元素分成高概率元素集合和低概率元素集合；然后将高概率元素集合(D)和用户设定数目(N)的虚拟的不重复元素集合(E)结合形成新的高概率样本空间(B)，将低概率元素集合单独形成低概率样本空间(C)；最后对高概率样本空间和低概率样本空间分别用Shannon熵计算熵值，高概率样本空间得到高概率熵值(S-H)，低概率样本空间得到低概率熵值(S-L)。APSE通过T和N两个参数实现可调节的目的。
假设:
①样本空间A中有NA个互不相同元素，任意元素ai∈A且 表示A中的第i个互不相同的元素，表示元素在A中出现的次数；
②样本空间E中有N个互不相同元素且E＝{e1,e2,...,ei,...,eN}，任意元素ei∈E且 表示E中的第i个互不相同的元素，1表示元素在E中出现的次数；
那么可以得到：
①若那么ai∈C；
②若那么ai∈D；
③样本空间B＝D∪E；
假设：
①样本空间C中有NC个互不相同元素，任意元素ci∈C且 表示C中的第i个互不相同的元素，表示元素在C中出现的次数；
②样本空间D中有ND个互不相同元素，任意元素di∈D且 表示D中的第i个互不相同的元素，表示元素在D中出现的次数；
那么，根据Shannon熵公式APSE可表示为：
S-APSE＝<S-H,S-L>，其中，
其中，表示B中第i个元素在B中出现的概率，表示C中第i个元素在C中出现的概率。
二、基于APSE的网络流量异常检测方法
基于APSE的网络流量异常检测原理为：首先对流量样本空间根据APSE公式得到高概率熵值S-H和低概率熵值S-L，然后判断得到的熵值是否存在异常。如图2所示，若S-H小于预先设定的阈值T1，则判定S-H值为异常；若S-L大于预先设定的阈值T2，则判定S-L值为异常。异常熵值对应的样本空间即为网络流量异常样本空间，即此时发生了网络流量异常。
实施例1
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取源IP元素集合为参考样本空间也即为源IP样本空间；
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
判断所述的高概率熵值、低概率熵值是否异常，
所述的高概率熵值小于设定的高概率熵阈值，则所述的高概率熵值异常；
所述的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
判断所述的时间片是否异常，
所述的时间片内有至少一个高概率样本空间熵值异常，则所述的时间片为网络异常时间片。
实施例2
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取目的IP元素集合为参考样本空间也即为目的IP样本空间；
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
判断所述的高概率熵值、低概率熵值是否异常，
所述的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的低概率熵值大于设定的低概率熵阈值，则所述的低概率熵值异常；
判断所述的时间片是否异常，所述的时间片内有一个低概率样本空间熵值异常，则所述的时间片为网络异常时间片。
实施例3
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取源端口元素集合为参考样本空间也即为源端口样本空间；
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
判断所述的高概率熵值、低概率熵值是否异常，
所述的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
判断所述的时间片是否异常，所述的时间片内全部高、低概率样本空间熵值正常，则所述的时间片为网络正常时间片。
实施例4
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取目的端口元素集合为参考样本空间也即为目的端口样本空间；
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
判断所述的高概率熵值、低概率熵值是否异常，
所述的高概率熵值等于设定的高概率熵阈值，则所述的高概率熵值异常；
所述的低概率熵值等于设定的低概率熵阈值，则所述的低概率熵值异常；
判断所述的时间片是否异常，所述的时间片内全部高、低概率样本空间熵值异常，则所述的时间片为网络异常时间片。
上述各实施例中，上述各实施例中的高概率熵阈值和低概率熵阈值不是一个具体的值，将参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值，统称为高概率熵阈值，将参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值，统称为低概率熵阈值，高概率熵阈值和低概率熵阈值的具体值要根据实际情况确定。
说明：下述各实施例中选择了至少两个元素各自组成参考样本空间，这些元素为：源IP、目的IP、源端口、目的端口等，每个元素独自构成一个参考样本空间，每个参考样本空间分出来的高概率样本空间、低概率样本空间与其他参考样本空间的高概率样本空间、低概率样本空间各自独立，同时，每一个参考样本空间分别对应各自的高概率熵阈值和低概率熵阈值，为了方便区分，将各参考样本空间的高概率样本空间判断熵值是否异常的熵值的概率值，统称为高概率熵阈值，将各参考样本空间的低概率样本空间判断熵值是否异常的熵值的概率值，统称为低概率熵阈值，各参考样本空间实际上的高概率熵阈值和低概率熵阈值的具体值要基于实际情况而定。同时未在本说明书中列举的其他至少两个元素各自组成参考样本空间判断元素各自组成参考样本空间的实施例也适用上述说明。
实施例5
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取源IP元素集合、目的IP元素集合分别组成两个参考样本空间，也即源IP样本空间、目的IP样本空间；
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
判断所述的两个高概率熵值、两个低概率熵值是否异常，
所述的源IP样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的源IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的目的IP样本空间对应的高概率熵值小于设定的高概率熵阈值，则所述的高概率熵值异常；
所述的目的IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
判断所述的时间片是否异常，所述的时间片内有一个高概率熵值异常，则所述的时间片为网络异常时间片。
实施例6
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合分别组成三个参考样本空间，也即源IP样本空间、目的IP样本空间、源端口样本空间；
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
判断所述的三个高概率熵值、三个低概率熵值是否异常，
所述的源IP样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的源IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的目的IP样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的目的IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的源端口样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的源端口样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
判断所述的时间片是否异常，所述的时间片内全部高、低概率样本空间熵值均正常，则所述的时间片为网络正常时间片。
实施例7
本实施例基于可调节分段熵的网络流量异常检测方法，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取源IP元素集合、目的IP元素集合、源端口元素集合、目的端口元素集合分别组成四个参考样本空间，也即源IP样本空间、目的IP样本空间、源端口样本空间、目的端口样本空间；
对所述的源IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的目的IP样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的源端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的目的端口样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对源IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对目的IP样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对源端口样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
对目的端口样本空间对应的高概率样本空间和低概率样本空间分别用Shannon熵计算熵值得到高概率熵值和低概率熵值；
判断所述的四个高概率熵值、四个低概率熵值是否异常，
所述的源IP样本空间对应的高概率熵值小于设定的高概率熵阈值，则所述的高概率熵值异常；
所述的源IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的目的IP样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的目的IP样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的源端口样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的源端口样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
所述的目的端口样本空间对应的高概率熵值大于设定的高概率熵阈值，则所述的高概率熵值正常；
所述的目的端口样本空间对应的低概率熵值小于设定的低概率熵阈值，则所述的低概率熵值正常；
判断所述的时间片是否异常，所述的时间片内目的IP样本空间对应的低概率熵值异常，则所述的时间片为网络异常时间片。
在上述实施例7的基础上的扩展，
基于APSE的网络流量异常检测具体实施方法如下：
步骤1：选取样本空间：选取流量数据，将流量数据划分为均匀时间片并提取时间片内每条流对应的源IP、目的IP、源端口和目的端口，形成源IP样本空间、目的IP样本空间、源端口样本空间和目的端口样本空间；
步骤2：计算APSE：将上述4个样本空间表示成上文所描述的“任意元素ai∈A且的形式，然后对每个样本空间按照APSE公式计算熵值，得到高概率熵S-H和低概率熵S-L；
步骤3：APSE熵异常判定：若S-H小于预先设定的阈值T1，则判定该熵值为异常，标记为“-”，若S-L大于预先设定的阈值T2，则判定该熵值为异常，标记为“+”；
步骤4：组成APSE熵值表：将每个时间片对应的8个APSE熵组合成APSE熵值表，进而可以形成30个主要的熵值异常表现，如表1网络流量异常熵值对照表所示；
步骤5：流量异常判定：判定符合表1中特征的时间片为网络流量异常时间片。也即该时间片内至少有一个高概率熵值S-H和低概率熵值S-L异常，则该时间片异常。
表1
实施例8
本实施例实现可调节分段熵的方法，所述方法包括：
对样本空间内的元素按照概率阈值分为高概率集合和低概率集合，在所述高概率集合和虚拟不重复元素集合组成概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
其中，分段熵通过所述的概率阈值和虚拟不重复元素的数目实现可调节。
上述各实施例中，判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为：
若所述的高概率熵值小于设定的高概率熵阈值，则高概率熵值异常，否则，高概率熵值正常；
若所述的低概率熵值大于设定的低概率熵阈值，则低概率熵值异常，否则，低概率熵值正常。
上述各实施例中，在所述时间片内选取的参考样本空间具体为：源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
上述各实施例中，所述的概率阈值、虚拟不重复元素的数目、设定的高概率熵阈值、设定的低概率熵阈值均为用户设定值，且每一个参考样本空间均有各自单独设定的概率阈值、虚拟不重复元素的数目、高概率熵阈值、低概率熵阈值，这些值的取值根据具体情况具体决定。
以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (4)
1.一种基于可调节分段Shannon熵的网络流量异常检测方法，其特征在于，所述方法包括：
获取流量数据，将所述流量数据划分为均匀的时间片，在所述的时间片内选取至少一个元素集合为参考样本空间；
各参考样本空间基于可调节分段Shannon熵的方法，得到参考样本空间对应的高概率熵值和低概率熵值；
判断所述的时间片是否异常，
若所述的时间片内各参考样本空间对应的高概率熵值和低概率熵值均正常，则该时间片为网络正常时间片；
若所述的时间片内至少一个参考样本空间对应的高概率熵值和/或低概率熵值为异常，则该时间片为网络异常时间片；
其中，所述的可调节分段Shannon熵的方法具体为：
对一个所述参考样本空间内的元素按照概率阈值分为高概率集合和低概率集合，所述高概率集合和虚拟不重复元素集合组成高概率样本空间，所述低概率集合组成低概率样本空间；
对所述的高概率样本空间用Shannon熵计算得到高概率熵值，对所述的低概率样本空间用Shannon熵计算得到低概率熵值；
所述的用Shannon熵计算得到高概率熵值和低概率熵值的具体公式如下：
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mo>-</mo>
<mi>H</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
<mo>+</mo>
<mi>N</mi>
</mrow>
</munderover>
<msub>
<mi>p</mi>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>logp</mi>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mi>log</mi>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mfrac>
<mn>1</mn>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mi>log</mi>
<mfrac>
<mn>1</mn>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>D</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>D</mi>
</msubsup>
<mo>+</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mo>-</mo>
<mi>L</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<msub>
<mi>p</mi>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>logp</mi>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<mi>log</mi>
<mfrac>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>C</mi>
</msub>
</munderover>
<msubsup>
<mi>n</mi>
<mi>i</mi>
<mi>C</mi>
</msubsup>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，S-H为高概率熵值，S-L为低概率熵值；
参考样本空间A中有NA个互不相同元素，任意元素ai∈A且表示A中的第i个互不相同的元素，表示元素在参考样本空间A中出现的次数；
虚拟的不重复元素集合E中有N个互不相同元素且E＝{e1,e2,...,ei,...,eN}，任意元素ei∈E且表示E中的第i个互不相同的元素，1表示元素在虚拟的不重复元素集合E中出现的次数；
低概率样本空间C中有NC个互不相同元素，任意元素ci∈C且表示C中的第i个互不相同的元素，表示元素在C中出现的次数；
高概率元素集合D中有ND个互不相同元素，任意元素di∈D且表示D中的第i个互不相同的元素，表示元素在D中出现的次数；
表示高概率样本空间B中第i个元素在高概率样本空间B中出现的概率，表示低概率样本空间C中第i个元素在低概率样本空间C中出现的概率。
2.根据权利要求1所述的基于可调节分段Shannon熵的网络流量异常检测方法，其特征在于，判断参考样本空间对应的高概率熵值和低概率熵值是否异常的方法为：
若所述的高概率熵值小于高概率熵阈值，则高概率熵值异常，否则，高概率熵值正常；
若所述的低概率熵值大于低概率熵阈值，则低概率熵值异常，否则，低概率熵值正常。
3.根据权利要求1所述的基于可调节分段Shannon熵的网络流量异常检测方法，其特征在于，在所述时间片内选取的参考样本空间具体为：源IP组成的源IP样本空间、目的IP组成的目的IP样本空间、源端口组成的源端口样本空间和/或目的端口组成的目的端口样本空间。
4.根据权利要求1所述的基于可调节分段Shannon熵的网络流量异常检测方法，其特征在于，所述的概率阈值、虚拟不重复元素集合中元素的数目、高概率熵阈值、低概率熵阈值均为用户设定值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510031010.6A CN104539489B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Shannon熵的网络流量异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510031010.6A CN104539489B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Shannon熵的网络流量异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539489A CN104539489A (zh) | 2015-04-22 |
| CN104539489B true CN104539489B (zh) | 2017-12-29 |
Family
ID=52854958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510031010.6A Active CN104539489B (zh) | 2015-01-21 | 2015-01-21 | 基于可调节分段Shannon熵的网络流量异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104539489B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114024726B (zh) * | 2021-10-26 | 2022-09-02 | 清华大学 | 在线检测网络流量的方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645884A (zh) * | 2009-08-26 | 2010-02-10 | 西安理工大学 | 基于相对熵理论的多测度网络异常检测方法 |
| CN103618651A (zh) * | 2013-12-11 | 2014-03-05 | 上海电机学院 | 一种基于信息熵和滑动窗口的网络异常检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050091151A1 (en) * | 2000-08-23 | 2005-04-28 | Ronald Coleman | System and method for assuring the integrity of data used to evaluate financial risk or exposure |
-
2015
- 2015-01-21 CN CN201510031010.6A patent/CN104539489B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645884A (zh) * | 2009-08-26 | 2010-02-10 | 西安理工大学 | 基于相对熵理论的多测度网络异常检测方法 |
| CN103618651A (zh) * | 2013-12-11 | 2014-03-05 | 上海电机学院 | 一种基于信息熵和滑动窗口的网络异常检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104539489A (zh) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104539488B (zh) | 基于可调节分段Tsallis熵的网络流量异常检测方法 | |
| JP6691094B2 (ja) | 学習装置、検知システム、学習方法及び学習プログラム | |
| KR20090054196A (ko) | 비정상 트래픽 탐지 장치 및 방법 | |
| CN104978526A (zh) | 病毒特征的提取方法及装置 | |
| WO2009068822A3 (fr) | Procede et dispositif de tri de paquets | |
| EP3361694A1 (en) | Method and device for detecting network attack | |
| CN108205432B (zh) | 一种观测实验数据异常值的实时剔除方法 | |
| US9240054B1 (en) | Method for monitoring water level of a water body and system for implementing the method | |
| CN107426136B (zh) | 一种网络攻击的识别方法和装置 | |
| CN104539489B (zh) | 基于可调节分段Shannon熵的网络流量异常检测方法 | |
| CN108180935B (zh) | 传感器的故障检测方法及装置 | |
| US11863584B2 (en) | Infection spread attack detection device, attack origin specification method, and program | |
| US20150350046A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
| JPWO2021070215A5 (zh) | ||
| WO2017133359A1 (zh) | 显示设备的性能参数检测方法和系统 | |
| JP6845125B2 (ja) | 学習装置、学習方法及び学習プログラム | |
| CN105516164B (zh) | 基于分形与自适应融合的P2P botnet检测方法 | |
| CN114062283A (zh) | 用于动态迭代基线调整的装置、计算机实现方法和计算机程序产品 | |
| CN115834859A (zh) | 一种四目立体视觉摄像机5g软件标定方法及系统 | |
| CN114128215B (zh) | 异常检测装置、异常检测方法以及记录介质 | |
| US10979332B2 (en) | System and method to measure available bandwidth in ethernet transmission system using train of ethernet frames | |
| JP4209897B2 (ja) | 大量フロー生成ホスト特定方法およびシステム | |
| WO2019069905A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN104579846B (zh) | 基于可调节分段熵的网络流量异常检测方法 | |
| CN107786524B (zh) | 高级持续性威胁的检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |