CN105262637B - 一种基于相对位置度量的网络异常检测方法 - Google Patents

一种基于相对位置度量的网络异常检测方法 Download PDF

Info

Publication number
CN105262637B
CN105262637B CN201510566834.3A CN201510566834A CN105262637B CN 105262637 B CN105262637 B CN 105262637B CN 201510566834 A CN201510566834 A CN 201510566834A CN 105262637 B CN105262637 B CN 105262637B
Authority
CN
China
Prior art keywords
network
shannon entropy
score
data
relative location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510566834.3A
Other languages
English (en)
Other versions
CN105262637A (zh
Inventor
张焕娜
胡航宇
胡光岷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510566834.3A priority Critical patent/CN105262637B/zh
Publication of CN105262637A publication Critical patent/CN105262637A/zh
Application granted granted Critical
Publication of CN105262637B publication Critical patent/CN105262637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于相对位置度量的网络异常检测方法，对骨干通信网络中的流量进行采样；引入香农熵对采样数据进行预处理；引入z得分的相对位置度量方法对预处理后的数据进行计算；搭建基于香农熵值的z得分图谱；利用香农熵变化结合z得分图谱分析网络是否异常。本发明的有益效果：通过香农熵的引入，能够将网络流量中属性的聚合离散趋势进行表示，再通过引入z得分，根据统计学中的经验法则，进而搭建基于香农熵的z得分图谱，能够直观的判断是否有疑似异常发生，以及疑似异常发生的时间和程度；通过对疑似异常的程度和相关属性的变化，对比网络中常见的异常的特征，可以将疑似异常的检测范围进一步缩小，达到有效检测和提高检测效率的目的。

Description

一种基于相对位置度量的网络异常检测方法
技术领域
本发明属于网络检测领域，特别是一种基于相对位置度量的网络异常检测方法。
背景技术
随着互联网的发展和业务量的不断增长，大规模通信网络正在向高速化，多样化，复杂化方向发展，网络中交换的数据量越来越大，网络异常流量的危害也越来越大。
网络流量异常的特点是发作突然，先兆特征未知，大量消耗网络资源，导致网络拥塞、网络链路利用率下降、显著降低网络服务质量，有可能在短时间内给网络运营商和客户都产生极大的危害，因此实时检测和响应流量异常是防范攻击、制定网络配置策略以实现合理利用网络资源的重要手段。
然而，在大型网络中，要进行实时统计的数据量是巨大的，由于测量、分析和存储等计算机资源的限制，无法实现全部网络流量的分析。异常检测算法的最终目标是要从巨大且处于不断变化的正常流量中，检测到相对娇小的异常流量，而且要满足实时性的要求，因而系统设计和实现的难度很大。
网络流量异常检测技术自提出以来，经过了几十年的不断发展，从最初的简单方法迅速发展成种类繁多的各种算法，成为保证网络安全不可或缺的方法。近年来，常用的异常检测方法主要有统计分析、神经网络、机器学习、数据挖掘等多种方法。
现有的网络流量异常检测技术都有一些缺点，如报警意义不明确、可扩展性较差、实时性和精确性依旧不高等。另外，在骨干通信网络高速、大数据量的环境下，相对于正常数据，攻击及异常数据是相对较少的，往往是不会超过4％这个限度。
发明内容
为了解决上述问题，本发明提出了一种引入香农熵对网络数据进行预处理同时引入z得分来进行相对灵敏的一种基于相对位置度量的网络异常检测方法。
本发明的基于相对位置度量的网络异常检测方法，包括以下步骤：
步骤1、对骨干通信网络中的流量进行采样；
步骤2、引入香农熵对采样数据进行预处理；
步骤3、引入z得分的相对位置度量方法对预处理后的数据进行计算；
步骤4、搭建基于香农熵值的z得分图谱；
步骤5、利用香农熵变化结合z得分图谱分析网络是否异常。
进一步地，所述步骤1中采样的数据有No.(数据包在该信息流中的编号)、Time(与该信息流第一个数据包的截获时间的相对时间)、doctets(数据包中网络层字节的总个数)、srcaddr(源IP地址)、dstaddr(目的IP地址)、srcport(TCP/UDP源头端口号)、dstport(TCP/UDP目的端口号)、prot(IP协议类型)、tcp_flags(TCP标志位)。
进一步地，所述步骤2中香农熵处理的数据有doctets(数据包中网络层字节的总个数)、srcaddr(源IP地址)、dstaddr(目的IP地址)、和dstport(TCP/UDP目的端口号)。
进一步地，所述步骤2的具体流程如下：
步骤21、以升序形式读取需要处理的四种数据；
步骤22、设置计算次数和计算结束条件；
步骤23、进行hash运算，将拥有相同关键字的四种数据记录下来，然后利用香农熵公式计算出相应的香农熵值。
进一步地，所述步骤3的流程如下：
步骤31、按升序形式读取步骤23得出的香农熵值；
步骤32、计算香农熵之和并求均值；
步骤33、计算标准差；
步骤34、计算z得分。
进一步地，所述步骤4为用采样时间为横坐标，基于香农熵值的z得分为纵坐标建立一个z得分随时间变化的折线图。
进一步地，所述步骤5是利用网络异常相对应的香农熵值变化，加上z得分检验异常值的经验法则结合分析，得出结果。
本发明的有益效果：通过香农熵的引入，能够直接地、准确的将网络流量中属性的聚合离散趋势进行表示，再通过引入相对位置的度量：z得分，根据其在统计学中的经验法则，进而搭建基于香农熵的z得分图谱，能够直观的判断是否有疑似异常发生，以及疑似异常发生的时间和程度；通过对疑似异常的程度和相关属性的变化，对比网络中常见的异常的特征，可以将疑似异常的检测范围进一步缩小，达到有效检测和提高检测效率的目的。
附图说明
图1为本发明的流程图；
图2为本发明实施例得出的正常数据的基于香农熵的z得分图谱；
图3为本发明实施例非正常数据的基于香农熵的z得分图谱。
具体实施方式
下面结合附图和具体的实施例对本发明作进一步的阐述。
如图1所示，本发明的基于相对位置度量的网络异常检测方法，包括以下步骤：
步骤1、对骨干通信网络中的流量进行采样；所述步骤1中采样的数据有No.(数据包在该信息流中的编号)、Time(与该信息流第一个数据包的截获时间的相对时间)、doctets(数据包中网络层字节的总个数)、srcaddr(源IP地址)、dstaddr(目的IP地址)、srcport(TCP/UDP源头端口号)、dstport(TCP/UDP目的端口号)、prot(IP协议类型)、tcp_flags(TCP标志位)。
步骤2、引入香农熵对采样数据进行预处理；所述步骤2中香农熵处理的数据有doctets(数据包中网络层字节的总个数)、srcaddr(源IP地址)、dstaddr(目的IP地址)、和dstport(TCP/UDP目的端口号)。所述步骤2的具体流程如下：步骤21、以升序形式读取需要处理的四种数据；步骤22、设置计算次数和计算结束条件；采用设置累积计算时间的方法，本实施例使用30秒为一个单位进行累计计算；步骤23、进行hash运算，将拥有相同关键字的四种数据记录下来，然后利用香农熵公式计算出相应的香农熵值。所以把测量数据当作离散信息源，把测量数据中的各个属性看作是一组随机事件，就可以对它的信息熵进行分析，X＝{xi，i＝1,…,N}表示在测量数据中属性xi发生了ni次。那么，香农熵公式如下所示：
其中，P(xi)是测量数据中某种属性xi发生的概率，表示某种属性发生的总次数，i取值范围是1至N，N是信息流中的相应属性的总的种类数；xi是信息流中的第i种属性，属性可以是信息流的源IP地址，目的IP地址等。
步骤3、引入z得分的相对位置度量方法对预处理后的数据进行计算；相对位置，通常是以一个观测值在分布中相对于整体样本的位置。z得分是相对位置的一种度量方法，描述以标准差s为单位，观测值y相对于整体样本均值之上或之下的距离。样本z得分的计算方法如下式所示：
样本均值即n个测量值y1，y2，…，yn集合的算术平均值，如下式所示：
n个测量值的标准差s等于方差的平方根，如下式所示：
为了方便对标准差进行计算，将标准差的公式(6)根据数学推导，做如下变化：
所述步骤3的流程如下：步骤31、按升序形式读取步骤23得出的香农熵值；步骤32、计算香农熵之和sum并求均值，均值为步骤33、计算标准差；根据公式(7)和香农熵之和以及均值得出标准差为sum2＝sum2；步骤34、计算z得分。z得分为
步骤4、搭建基于香农熵值的z得分图谱；所述步骤4为用采样时间为横坐标，基于香农熵值的z得分为纵坐标建立一个z得分随时间变化的折线图。因为本实施例是每个五分钟对骨干通信网络中的流量进行采样，本实施例的计算单位是0.5分钟，所以一个五分钟的数据便分成10个数据点，纵坐标为基于香农熵值的z得分，取值范围为-3到3之间，正常数据的基于香农熵值的z得分变化折线图，如图2所示，当在此正常数据的第二分钟处，替换5％、10％、20％和30％的分布式拒绝服务异常数据之后，其基于香农熵值的z得分图谱如图3所示。
步骤5、利用香农熵变化结合z得分图谱分析网络是否异常。所述步骤5是利用网络异常相对应的香农熵值变化，加上z得分检验异常值的经验法则结合分析，得出结果。下表是常见网络异常事件对流量特征参数的影响：
分布式拒绝服务异常攻击的熵变化与信息离散聚合程度对照表如下表：
当z得分是正数是，表示观测值y为与均值的左边，当z得分是负数时，表示观测值y为与均值的右边。另外，由统计的经验法则可知，一个数据集中大部分观测值都在距离均值2个标准差之内，且几乎所有的观测值都在距离均值3个标准差之内。由此得出z得分检验异常值的经验法则如下表：
使用z得分图谱，可以很明显的看出，计算出的z得分的值在2.5分钟凸显出异常的发生，而实际是在第2分钟注入攻击的，对异常发生时刻判断的准确程度，取决于累积计算的时间间隔。另外，根据异常点在图中的位置，能够推测出相关的参数的增加或减少的变化情况，接着根据相关参数的增加或减少变化情况，匹配网络中常见的几种异常，进而将疑似异常的范围缩小，进一步检测出网络中的异常。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于相对位置度量的网络异常检测方法，其特征在于，包括以下步骤：
步骤1、对骨干通信网络中的流量进行采样，其中，采样的数据有数据包在信息流中的编号、与信息流第一个数据包的截获时间的相对时间、数据包中网络层字节的总个数、源IP地址、目的IP地址、TCP/UDP源头端口号、TCP/UDP目的端口号、IP协议类型、TCP标志位；
步骤2、引入香农熵对采样数据进行预处理，其中，香农熵处理的数据有数据包中网络层字节的的总个数、源IP地址、目的IP地址、和TCP/UDP目的端口号；
步骤3、引入z得分的相对位置度量方法对预处理后的数据进行计算；
步骤4、搭建基于香农熵值的z得分图谱；
步骤5、利用香农熵变化结合z得分图谱分析网络是否异常。
2.如权利要求1所述的基于相对位置度量的网络异常检测方法，其特征在于，所述步骤2的具体流程如下：
步骤21、以升序形式读取需要处理的四种数据；
步骤22、设置计算次数和计算结束条件；
步骤23、进行hash运算，将拥有相同关键字的四种数据记录下来，然后利用香农熵公式计算出相应的香农熵值。
3.如权利要求2所述的基于相对位置度量的网络异常检测方法，其特征在于，所述步骤3的流程如下：
步骤31、按升序形式读取步骤23得出的香农熵值；
步骤32、计算香农熵之和并求均值；
步骤33、计算标准差；
步骤34、计算z得分。
4.如权利要求3所述的基于相对位置度量的网络异常检测方法，其特征在于：所述步骤4为用采样时间为横坐标，基于香农熵值的z得分为纵坐标建立一个z得分随时间变化的折线图。
5.如权利要求4所述的基于相对位置度量的网络异常检测方法，其特征在于：所述步骤5是利用网络异常相对应的香农熵值变化，加上z得分检验异常值的经验法则结合分析，得出结果。
CN201510566834.3A 2015-09-08 2015-09-08 一种基于相对位置度量的网络异常检测方法 Active CN105262637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510566834.3A CN105262637B (zh) 2015-09-08 2015-09-08 一种基于相对位置度量的网络异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510566834.3A CN105262637B (zh) 2015-09-08 2015-09-08 一种基于相对位置度量的网络异常检测方法

Publications (2)

Publication Number Publication Date
CN105262637A CN105262637A (zh) 2016-01-20
CN105262637B true CN105262637B (zh) 2019-01-22

Family

ID=55102154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510566834.3A Active CN105262637B (zh) 2015-09-08 2015-09-08 一种基于相对位置度量的网络异常检测方法

Country Status (1)

Country Link
CN (1) CN105262637B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572795A (zh) * 2013-10-25 2015-04-29 塔塔顾问服务有限公司 规则的自动生成和动态更新

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9535973B2 (en) * 2013-04-29 2017-01-03 Moogsoft, Inc. Methods for decomposing events from managed infrastructures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572795A (zh) * 2013-10-25 2015-04-29 塔塔顾问服务有限公司 规则的自动生成和动态更新

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征统计分析的异常流量检测技术研究;许倩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130615(第6期);第三章 *

Also Published As

Publication number Publication date
CN105262637A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN110909811B (zh) 一种基于ocsvm的电网异常行为检测、分析方法与系统
CN105847283A (zh) 一种基于信息熵方差分析的异常流量检测方法
CN101741847B (zh) 一种ddos攻击检测方法
CN109714343B (zh) 一种网络流量异常的判断方法及装置
CN110519290A (zh) 异常流量检测方法、装置及电子设备
CN108632224B (zh) 一种apt攻击检测方法和装置
CN111092862B (zh) 一种用于对电网终端通信流量异常进行检测的方法及系统
CN108289088A (zh) 基于业务模型的异常流量检测系统及方法
CN108965347A (zh) 一种分布式拒绝服务攻击检测方法、装置及服务器
CN110324323B (zh) 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN107566192B (zh) 一种异常流量处理方法及网管设备
CN110071829A (zh) Dns隧道检测方法、装置及计算机可读存储介质
CN107360127A (zh) 一种基于aewma算法的慢速拒绝服务攻击检测方法
CN112788007A (zh) 基于卷积神经网络的DDoS攻击检测方法
CN102611706A (zh) 一种基于半监督学习的网络协议识别方法及系统
US11863584B2 (en) Infection spread attack detection device, attack origin specification method, and program
CN107209834A (zh) 恶意通信模式提取装置、恶意通信模式提取系统、恶意通信模式提取方法及恶意通信模式提取程序
CN106790175B (zh) 一种蠕虫事件的检测方法及装置
CN105871861A (zh) 一种自学习协议规则的入侵检测方法
CN105262637B (zh) 一种基于相对位置度量的网络异常检测方法
CN115643108B (zh) 面向工业互联网边缘计算平台安全评估方法、系统及产品
US20210234871A1 (en) Infection-spreading attack detection system and method, and program
CN114039780B (zh) 基于流量系数的低速DoS攻击实时响应方法
Zheng et al. Traffic anomaly detection and containment using filter-ary-sketch
Zhi et al. An entropy-svm based interest flooding attack detection method in icn

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant