CN105515888A - 基于多维熵序列分类的智能变电站通信网络异常检测方法 - Google Patents
基于多维熵序列分类的智能变电站通信网络异常检测方法 Download PDFInfo
- Publication number
- CN105515888A CN105515888A CN201510378972.9A CN201510378972A CN105515888A CN 105515888 A CN105515888 A CN 105515888A CN 201510378972 A CN201510378972 A CN 201510378972A CN 105515888 A CN105515888 A CN 105515888A
- Authority
- CN
- China
- Prior art keywords
- entropy
- integrated mode
- item
- vector
- communication network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本明提供一种基于多维熵序列分类的智能变电站通信网络异常检测方法,包括:网络流量数据采样,根据采样内容按照统计原则构造多维熵检测向量,并对多维熵检测向量按时间窗口进行熵值估算;确定基于信息熵搜集项集模式和基于信息熵的边值权重;根据所述项集模式和边值权重,构建基于熵值估算的时间序列图;按频繁程度将项集模式分为正常流量项集模式和异常流量项集模式,并标记异常流量项集模式;检测出现异常流量项集模式频繁程度的异常状态变化趋势;根据异常状态变化趋势所检测的结果判断当前网络的运行状态,评估网络的健康状况。本发明有效提高检测效率和检测精度,提高了智能变电站通信网络异常检测的完整性和准确性。
Description
技术领域
本发明涉及一种网络异常检测方法,具体涉及一种基于多维熵序列分类的智能变电站通信网络异常检测方法。
背景技术
二次设备网络化是智能变电站的重要特点之一,通信网络的健康状况将直接影响整个智能变电站的安全稳定运行状况。通信网络管理中最为关键的一环在于实时、准确地对网络运行情况进行分析和监测,发现其中存在的安全隐患,以便及时制定相应的策略对网络潜在问题进行响应。智能变电站中多采用网络报文记录与分析装置对通信网络进行实现监控,但现有装置在功能设置上多偏重于对各类报文的实时监听和采集记录,缺乏对网络整体运行状况的分析和判断方法,既不能在网络流量发生变化时及时感知异常状况并发出预警,也无法通过采集数据信息展示网络流量行为特点,为调整网络规划、优化网络资源配置、保证网络高效运行提供依据。
发明内容
本发明针对智能变电站通信网络异常检测分析手段不足的现状,提供一种基于多维熵序列分类的智能变电站通信网络异常检测方法,该方法利用统计学的思想,通过熵值计算度量网络流量数据在取值空间上的分布,通过分布变化对比的情况来判断网络中是否存在异常,不仅提高了网络异常检测的精度和效率,而且可及时提醒工作人员对通信网络潜在的变化趋势做出判断和干预,提高了变电站通信网络的管理能力和应急响应能力,保证通信网络正常运行的安全性和稳定性。
本发明的目的是采用下述技术方案实现的:
一种基于多维熵序列分类的智能变电站通信网络异常检测方法,其改进之处在于,所述方法包括下述步骤:
网络流量数据采样,根据采样内容按照统计原则构造多维熵检测向量,并对多维熵检测向量按时间窗口进行熵值估算;
确定基于信息熵搜集项集模式和基于信息熵的边值权重;
根据所述项集模式和边值权重,以项集模式为点,边值权重为边构建基于熵值估算的时间序列图;
按频繁程度将项集模式分为正常流量项集模式和异常流量项集模式,并标记异常流量项集模式;
检测出现异常流量项集模式频繁程度的异常状态变化趋势;
根据异常状态变化趋势所检测的结果判断当前网络的运行状态,评估网络的健康状况。
其中,所述多维熵检测向量包括源IP维向量、目的IP维向量、源端口维向量、目的端口维向量和IP包长度维向量。
其中,所述项集模式指的是基于信息熵的不同取值等级组合构成不同的模式;在信息熵估算的基础上搜集检测向量的项集模式,并计算项集模式之间的边值权重;所述边值权重反映一条边上两个项集模式信息熵值在两个端点信息熵取值时间点上的相似度。
其中,根据时间序列图计算每个项集模式出现的频繁程度,并按照频繁程度大小将项集模式划分为正常流量项集模式和异常流量项集模式;项集模式的频繁程度越小,说明所述项集模式出现时网络出现异常行为的可能性越大。
其中,检测异常状态变化趋势的检测方法包括:
i.利用异常流量的项集模式构造一组在正常状态下期望为负值而当出现异常状况后期望变为正值的随机序列;
ii.计算在当前时间窗口中所述随机序列的期望值,如期望值正常,则转入下一窗口;如期望值不正常,计算当前时间窗口相对前一窗口的异常向量;
iii.对于异常向量的各个维度计算熵值时间序列图的均值和方差,如果所述维度熵值与异常向量均值的偏差大于异常向量方差,则认为此维度为异常显现维度;
iv.剔除不相关维度,利用所有异常显现维度的熵差值构建新的异常向量,并计算在当前时间窗口中异常显现维度在时刻的熵差值;
v.计算异常显现维度在该时刻对窗口可能出现的异常的肯定程度,判断异常变化趋势是否有所积累;
vi、判断异常状态变化趋势的积累值是否超越设定阈值,如超越,则判断智能变电站通信网络异常;否则智能变电站通信网络正常。
本发明提供的技术方案具有的优异效果是:
本发明提供一种基于熵序列分类的智能变电站通信网络异常检测方法,利用多维熵序列之间存在的相关性分析,检测多时间窗口检测向量之间的变化趋势,从而判断通信网络整体运行状况。本发明采用多维熵值分类的检测方法,充分利用网络采样数据上高效熵值计算算法以及各维度熵值之间的相关性,有效提高检测效率和检测精度,为准确识别网络异常行为的相关流量提供了一种检测方式,提高了智能变电站通信网络异常检测的完整性和准确性。
附图说明
图1是本发明提供的网络异常检测系统流程框图;
图2是本发明提供的网络异常变化趋势判断流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的组件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,本发明的这些实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思利用基于熵序列分类的智能变电站通信网络异常检测方法(下简称“检测方法”)实现网络异常检测的流程框图如图1所示。检测方法通过构造多维熵检测向量并分析向量之间的关联关系,得到通信网络的流量特征分布;按照时间序列分析的方法对所得到的网络流量特征分布进行趋势分析,判断现有通信网络的运行状态并定位网络异常故障。
检测方法如图1所示,具体步骤如下:
1.对网络流量数据进行采样,按照统计原则根据采样内容构造多维熵检测向量,并对检测向量按时间窗口根据采样内容进行信息熵估算;多维熵检测向量包括源IP维向量、目的IP维向量、源端口维向量、目的端口维向量和IP包长度维向量。
2.基于信息熵的不同取值等级组合构成不同的模式,称为项集模式。在信息熵估算的基础上搜集检测向量可能的项集模式,并计算项集模式之间的边的权值,边的权值反映该边两个项集模式信息熵值在两个端点信息熵取值时间点上变化的相似度;
3.依据步骤2所述,以项集模式为点,边的权值为边构造基于熵值估算的时间序列图(下简称“时间序列图”);
4.根据时间序列图计算每个项集模式所出现的频繁程度,并按照频繁程度大小将项集模式划分为正常模式和异常模式。频繁程度越小,说明该项集模式出现时网络出现异常行为的可能性越大;
5.将标记成为异常模式的项集模式再次排列,对其异常状态的变化趋势进行再次检测,判断其变化趋势是否会真正引起网络异常。异常状态变化趋势的具体检测流程如图2所示,具体检测步骤如下:
i.利用异常项集模式构造一组在正常状态下期望为负值而当出现异常状况后期望变为正值的随机序列;
ii.计算在当前窗口中该随机序列的期望值,如期望值正常,则转入下一窗口;如期望值不正常,计算当前时间窗口相对前一窗口的异常向量;
iii.对于异常向量的各个维度计算熵值时间序列的均值和方差,如果该维度熵值与异常向量均值的偏差大于异常向量方差,则认为该维度为异常显现维度;
iv.剔除不相关维度,利用所有异常显现维度的熵差值构建成为新的异常向量,并计算在当前时间窗口中异常显现维度在该时刻的熵差值;
v.计算异常显现维度在该时刻对窗口可能出现的异常的肯定程度,判断异常变化趋势是否有所积累;
vi.判断异常变化趋势的积累值是否超越了预定的阈值,如有超越,则判断系统异常;否则系统正常;
6.根据异常状态变化趋势所检测的结果判断当前网络的运行状态,对网络的健康状况进行评估。
实施例
为实现本发明的技术方案,可设置网络流量数据采样的数据集信息采集如下表1所示。依据表1所示网络属性采集数据,构造网络异常检测向量,按照检测步骤进行检测。
表1熵值估算实验数据集信息采集
序号 | 属性 |
1. | 数据发布者 |
2. | 采集持续时间/s |
3. | IP数据包数目 |
4. | 数据集大小/MB |
5. | 传输速率/Mbps |
6. | IP地址数目 |
如表1所示,网络流量采集数据在不同维度不同层次上有不同的熵值。本发明提供的检测方法搜集多维网络检测向量可能的项集模式,并通过时间序列图挖掘分析图元之间的相互关系,通过对项集模式频繁程度的再次排列,利用统计原理构造异常向量,为网络异常检测引入了更加丰富的信息,有助于提高网络流量异常行为检测的准确度。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。
Claims (5)
1.一种基于多维熵序列分类的智能变电站通信网络异常检测方法,其特征在于,所述方法包括下述步骤:
网络流量数据采样,根据采样内容按照统计原则构造多维熵检测向量,并对多维熵检测向量按时间窗口进行熵值估算;
确定基于信息熵搜集项集模式和基于信息熵的边值权重;
根据所述项集模式和边值权重,以项集模式为点,边值权重为边构建基于熵值估算的时间序列图;
按频繁程度将项集模式分为正常流量项集模式和异常流量项集模式,并标记异常流量项集模式;
检测出现异常流量项集模式频繁程度的异常状态变化趋势;
根据异常状态变化趋势所检测的结果判断当前网络的运行状态,评估网络的健康状况。
2.如权利要求1所述的智能变电站通信网络异常检测方法,其特征在于,所述多维熵检测向量包括源IP维向量、目的IP维向量、源端口维向量、目的端口维向量和IP包长度维向量。
3.如权利要求1所述的智能变电站通信网络异常检测方法,其特征在于,所述项集模式指的是基于信息熵的不同取值等级组合构成不同的模式;在信息熵估算的基础上搜集检测向量的项集模式,并计算项集模式之间的边值权重;所述边值权重反映一条边上两个项集模式信息熵值在两个端点信息熵取值时间点上的相似度。
4.如权利要求1所述的智能变电站通信网络异常检测方法,其特征在于,根据时间序列图计算每个项集模式出现的频繁程度,并按照频繁程度大小将项集模式划分为正常流量项集模式和异常流量项集模式;项集模式的频繁程度越小,说明所述项集模式出现时网络出现异常行为的可能性越大。
5.如权利要求1所述的智能变电站通信网络异常检测方法,其特征在于,检测异常状态变化趋势的检测方法包括:
i.利用异常流量的项集模式构造一组在正常状态下期望为负值而当出现异常状况后期望变为正值的随机序列;
ii.计算在当前时间窗口中所述随机序列的期望值,如期望值正常,则转入下一窗口;如期望值不正常,计算当前时间窗口相对前一窗口的异常向量;
iii.对于异常向量的各个维度计算熵值时间序列图的均值和方差,如果所述维度熵值与异常向量均值的偏差大于异常向量方差,则认为此维度为异常显现维度;
iv.剔除不相关维度,利用所有异常显现维度的熵差值构建新的异常向量,并计算在当前时间窗口中异常显现维度在时刻的熵差值;
v.计算异常显现维度在该时刻对窗口可能出现的异常的肯定程度,判断异常变化趋势是否有所积累;
vi、判断异常状态变化趋势的积累值是否超越设定阈值,如超越,则判断智能变电站通信网络异常;否则智能变电站通信网络正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510378972.9A CN105515888A (zh) | 2015-06-30 | 2015-06-30 | 基于多维熵序列分类的智能变电站通信网络异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510378972.9A CN105515888A (zh) | 2015-06-30 | 2015-06-30 | 基于多维熵序列分类的智能变电站通信网络异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105515888A true CN105515888A (zh) | 2016-04-20 |
Family
ID=55723547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510378972.9A Pending CN105515888A (zh) | 2015-06-30 | 2015-06-30 | 基于多维熵序列分类的智能变电站通信网络异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105515888A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106357434A (zh) * | 2016-08-30 | 2017-01-25 | 国家电网公司 | 一种基于熵分析的智能电网通信网络流量异常检测方法 |
CN107517205A (zh) * | 2017-08-14 | 2017-12-26 | 浙江大学 | 基于概率的智能变电站网络异常流量检测模型构建方法 |
CN108243037A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 网站流量异常确定方法及装置 |
CN109951420A (zh) * | 2017-12-20 | 2019-06-28 | 广东电网有限责任公司电力调度控制中心 | 一种基于熵和动态线性关系的多级流量异常检测方法 |
CN110472114A (zh) * | 2019-07-03 | 2019-11-19 | 平安科技(深圳)有限公司 | 异常数据预警方法、装置、计算机设备及存储介质 |
CN110808988A (zh) * | 2019-11-08 | 2020-02-18 | 国家计算机网络与信息安全管理中心山西分中心 | 一种基于信息特征熵和长短期记忆网络的物联网卡业务异常检测方法 |
CN113285847A (zh) * | 2021-04-01 | 2021-08-20 | 南瑞集团有限公司 | 一种智能换流站监测系统的通信网络异常检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1741526A (zh) * | 2005-09-05 | 2006-03-01 | 北京启明星辰信息技术有限公司 | 网络异常流量的检测方法及系统 |
CN1996888A (zh) * | 2006-12-15 | 2007-07-11 | 华为技术有限公司 | 一种网络流量异常的检测方法及检测装置 |
-
2015
- 2015-06-30 CN CN201510378972.9A patent/CN105515888A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1741526A (zh) * | 2005-09-05 | 2006-03-01 | 北京启明星辰信息技术有限公司 | 网络异常流量的检测方法及系统 |
CN1996888A (zh) * | 2006-12-15 | 2007-07-11 | 华为技术有限公司 | 一种网络流量异常的检测方法及检测装置 |
Non-Patent Citations (2)
Title |
---|
周颖杰等: "《基于时间序列图挖掘的网络流量异常检测》", 《计算机科学》 * |
郑黎明: "《大规模通信网络流量异常检测与优化关键技术研究》", 《信息科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106357434A (zh) * | 2016-08-30 | 2017-01-25 | 国家电网公司 | 一种基于熵分析的智能电网通信网络流量异常检测方法 |
CN108243037A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 网站流量异常确定方法及装置 |
CN108243037B (zh) * | 2016-12-26 | 2021-04-30 | 北京国双科技有限公司 | 网站流量异常确定方法及装置 |
CN107517205A (zh) * | 2017-08-14 | 2017-12-26 | 浙江大学 | 基于概率的智能变电站网络异常流量检测模型构建方法 |
CN107517205B (zh) * | 2017-08-14 | 2020-06-30 | 浙江大学 | 基于概率的智能变电站网络异常流量检测模型构建方法 |
CN109951420A (zh) * | 2017-12-20 | 2019-06-28 | 广东电网有限责任公司电力调度控制中心 | 一种基于熵和动态线性关系的多级流量异常检测方法 |
CN109951420B (zh) * | 2017-12-20 | 2020-02-21 | 广东电网有限责任公司电力调度控制中心 | 一种基于熵和动态线性关系的多级流量异常检测方法 |
CN110472114A (zh) * | 2019-07-03 | 2019-11-19 | 平安科技(深圳)有限公司 | 异常数据预警方法、装置、计算机设备及存储介质 |
CN110472114B (zh) * | 2019-07-03 | 2024-01-26 | 平安科技(深圳)有限公司 | 异常数据预警方法、装置、计算机设备及存储介质 |
CN110808988A (zh) * | 2019-11-08 | 2020-02-18 | 国家计算机网络与信息安全管理中心山西分中心 | 一种基于信息特征熵和长短期记忆网络的物联网卡业务异常检测方法 |
CN110808988B (zh) * | 2019-11-08 | 2021-09-10 | 国家计算机网络与信息安全管理中心山西分中心 | 一种基于信息特征熵和长短期记忆网络的物联网卡业务异常检测方法 |
CN113285847A (zh) * | 2021-04-01 | 2021-08-20 | 南瑞集团有限公司 | 一种智能换流站监测系统的通信网络异常检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105515888A (zh) | 基于多维熵序列分类的智能变电站通信网络异常检测方法 | |
CN112788066B (zh) | 物联网设备的异常流量检测方法、系统及存储介质 | |
CN103903408B (zh) | 设备故障侦查预警方法和系统 | |
CN109583680B (zh) | 一种基于支持向量机的窃电辨识方法 | |
CN107038167A (zh) | 基于模型评估的大数据挖掘分析系统及其分析方法 | |
US9015312B2 (en) | Network management system and method for identifying and accessing quality of service issues within a communications network | |
CN105261152B (zh) | 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统 | |
CN107231348A (zh) | 一种基于相对熵理论的网络流量异常检测方法 | |
CN104360208A (zh) | 用电信息采集运维系统的采集故障分析及处理方法 | |
CN105376260A (zh) | 一种基于密度峰值聚类的网络异常流量监测系统 | |
CN103812577A (zh) | 非正常无线电信号的自动识别系统及其方法 | |
TWI721693B (zh) | 基於行動物聯網之網路行為異常偵測系統及方法 | |
CN103596208A (zh) | 一种网元故障判断方法及系统 | |
CN109618361B (zh) | 一种4g基站隐性故障排查方法及装置 | |
CN106330624B (zh) | 一种电力信息网络流量异常检测方法 | |
CN103103570B (zh) | 基于主元相似性测度的铝电解槽况诊断方法 | |
CN101309179A (zh) | 一种基于主机活跃性和通信模式分析实时异常流量检测方法 | |
CN114201374A (zh) | 基于混合机器学习的运维时序数据异常检测方法及系统 | |
CN110580492A (zh) | 一种基于小幅波动检测的轨道电路故障前兆发现方法 | |
CN105634796A (zh) | 一种网络设备故障预测及诊断方法 | |
CN117411811A (zh) | 一种电力通信设备的故障智能监测方法 | |
CN106680574B (zh) | 一种变电站设备过电压感知和数据处理方法 | |
CN106358212A (zh) | 室内分布系统的检测方法和装置 | |
CN110690699A (zh) | 一种基于泛在电力物联网的变电站智慧检测系统 | |
CN105427043A (zh) | 一种基于改进的最近邻算法的电网告警分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |