CN111092862A - 一种用于对电网终端通信流量异常进行检测的方法及系统 - Google Patents
一种用于对电网终端通信流量异常进行检测的方法及系统 Download PDFInfo
- Publication number
- CN111092862A CN111092862A CN201911202199.5A CN201911202199A CN111092862A CN 111092862 A CN111092862 A CN 111092862A CN 201911202199 A CN201911202199 A CN 201911202199A CN 111092862 A CN111092862 A CN 111092862A
- Authority
- CN
- China
- Prior art keywords
- flow
- data
- terminal
- terminals
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Abstract
本发明公开了一种用于对电网终端通信流量异常进行检测的方法及系统,获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取网络流量数据包;根据流量特征模型,结合每个终端的实时流量数据,计算每个终端的第一流量异常指数;当第一流量异常指数大于设定的第一阈值时,则判断终端的流量异常;或当第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;根据确定的第一流量异常指数和第二流量异常指数的权重,计算流量异常综合指数;当流量异常综合指数大于设定的第二阈值时,则判断终端的流量异常。
Description
技术领域
本发明涉及电网终端通信流量技术领域,更具体地,涉及一种用于对电网终端通信流量异常进行检测的方法及系统。
背景技术
嵌入式终端设备在智能电网中大量存在。嵌入式终端是智能电网通过最少的损耗实现最全面的信息反馈以及最快的故障处理的关键支撑设备,在电力系统控制和监控中不可或缺。例如,智能电网中的SCADA系统用于对运行设备进行监视和控制,以实现数据采集、设备控制、测量、参数调节以及各类信号报警等各项功能,即"四遥"功能。RTU(远程终端单元),FTU(馈线终端单元)是SCADA系统的重要组成部分,其中的RTU(远程终端单元)就是典型的嵌入式系统,位于变电站的运动装置,它主要负责采集检测和储存所在设施的电力运行状态的各种参数,向远端的调度中心发送重要电力参数,并执行远端调度中心发往所在设施的调度及控制命令,在现今的变电站综合自动化建设中起了相当重要的作用。
嵌入式终端设备正在向网络化、智能化、多功能的方向发展,嵌入式可连网设备在电网中日益增多,并且被广泛的部署在隐私敏感和安全领域,从而带来了更多的安全风险。与此同时,各级调度中心为达到更高的系统稳定性,对信息通信的安全可靠提出了更高的要求。智能电网中的电力工控系统作为国家关键基础设施的重要组成部分,其安全性关系到国计民生和国家的战略安全。这些设备的安全性极大程度上决定了电力工控系统的安全性,一旦遭受攻击,将导致电力设备故障,威胁到智能电网的正常运行与稳定性,后果不堪设想。
目前,电网嵌入式终端面临种类多、系统平台多、功能差异大的现状,由于嵌入式终端设备系统的封闭性,软、硬件呈现出多样性与差异化,电网嵌入式终端的安全性面临着漏洞挖掘欠缺精准性、缺乏接入认证、运行状态无法监控、网络攻击无法识别等问题。因此,为保障接入电网的嵌入式终端的安全可靠性要求,可以从接入身份认证、终端运行状态检测、终端通信流量审计等方面进行考虑,对接入电力监控系统中的嵌入式终端设备进行全面监控。
现有技术采用特征分析方法对流量进行监控,其基本原理是:与传统互联网相比,电力通信网络具有“状态有限”和“行为有限”的特点,流量存在一定的周期性。其通信具有规律性和稳定性,且具有比较固定的行为特征,行为模型可预测。正常流量数据的各种特征维度的值在特地时期的观测值其实是相对稳定的,但异常流量数据因其随机性和不稳定性可能会呈现出不相关的观察值,所以可以通过统计数据对给定的维度建立符合数据统计规则的模型,然后通过统计模型来推断各流量数据是否正常,即可被纳入这个统计模型范围内。基于这个原理,可以由统计模型得出相应实例数据在模型中出现的概率,如果该数据在统计范围内出现的频率很低,则可以认为相应低概率下的实例数据为异常流量的数据。特征分析技术是一种较为成熟的早期网络流量异常检测技术,也是最开始普及的一种较为直观且易操作的技术。其关键点在于选择流量特征,以及选择分析方法。流量特征一般包括:目的端口总数、目的IP地址、源端口总数、源IP地址、流计数、字节数以及分组数等特征。分析方法包括但不限于:传统统计方法(统计模型:方差、马尔柯夫过程模型、多元模型、时间序列模型、以及操作模型);分类方法(SVM,OCSVM等);信号处理方法(小波分析等);关联分析方法(关联规则、特征、聚类、分类、回归分析、变化和偏差分析);神经网络方法(BP神经网络、RNN、LSTM等);预测分析方法(ARIMA、ESN等)。分析方法通常需要先采集网络中正常行为的网络流量,对这些流量进行分析采集获取特征数据来描绘出网络正常行为该有的参数和特征;再通过同样的方式采集当前的网络流量,将需要比较的特征维度参数提取出来做比较,可得出是否出现网络异常的结论。基于特征分析的流量监控技术是一种黑盒检测技术,不需要了解网络流量的具体内容。在不影响电力通信网络拓扑和流量特征的情况下,通过篡改指令内容、破坏通信完整性操作,例如恶意指令篡改等,从而影响电力系统产生出错误状态估计。根据收到的损坏数据,调度控制中心可能做出导致经济损失或不安全操作的错误调度决策。
现有技术也通过深度报文检测(Deep Packet Inspection,DPI)实现对流量的监控,深度报文检测技术就是在分析包头的基础上,增加了对应用层负载的分析,是一种基于应用层的流量检测和控制技术。当数据流流经监控设备时,DPI引擎通过匹配特征字、包长等信息对应用层协议进行识别。DPI技术适用于电力工控系统中MMS、S7和MODBUS等标准协议,非加密的P2P协议,存在明显特征的Game协议等类别,其适用范围广泛,可实现对非密协议的精准识别,是目前的主流流量识别的核心技术和主要方法。DPI需要事先详细地分析待识别应用协议,找出不同于其他协议的字段;对于协议特征的提取,若固定字段唯一,则使用该字段作为协议特征串;若存在多个固定字段,则选择其中出现频率最高的特征串来标示协议特征。目前多数此类系统使用正则表达式代替固定的特征串来表示协议特征。仅采用特征分析或者仅采用数据包解析来判断流量异常不够精准,容易造成判断结果有失偏颇,且消耗较多计算资源,需要对其进行改进。
因此,需要一种技术,以实现对电网终端通信流量异常进行检测。
发明内容
本发明技术方案提供一种用于对电网终端通信流量异常进行检测的方法及系统,以解决如何对电网终端通信流量异常进行检测的问题。
为了解决上述问题,本发明提供了一种用于对电网终端通信流量异常进行检测的方法,所述方法包括:
获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包;
根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数;
当所述第一流量异常指数大于设定的第一阈值时,则判断所述终端的流量异常;
或当所述第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和所述多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;
根据确定的所述第一流量异常指数和所述第二流量异常指数的权重,计算基于所述第一流量异常指数和所述第二流量异常指数的流量异常综合指数;
当所述流量异常综合指数大于设定的第二阈值时,则判断所述终端的流量异常。
优选地,还包括:对所述流量特征模型的训练,包括:
对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;
基于选择的统计特征,按照所述统计特征统计所述一簇网络流量,生成包括多个统计特征的统计特征数据;
计算所述统计特征数据的信息熵,生成流量训练数据;
通过所述流量训练数据对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,包括:通过所述流量训练数据利用支持向量数据描述算法对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,所述计算所述统计特征数据的信息熵,包括:
所述统计特征数据的信息熵计算公式如下:
其中:H(X)是所述统计特征数据的信息熵,X表示该特征的N个状态,X={xi|i=1,2,…,N},ni是第i个状态xi出现的次数,S表示该统计特征N个状态总的出现次数,因此ni/S表示第i个状态xi发生的概率,同时可知H(X)∈[0,log2 N]。
优选地,还包括:对所述数据包特征模型进行训练,包括:
对每个终端的网络流量数据包进行深度解析,选择统计特征;
对选择的统计特征进行预处理,生成流量训练数据;
通过所述流量训练数据对所述数据包特征模型进行训练,生成每个终端的数据包特征模型。
优选地,所述根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数,还包括:
在对实时流量进行异常判断的基础上,对实时流量的分类方式进行调整;
通过量化实时流量特征向量φ(x)与实时流量数据样本的最小超球体的中心a之间的距离s1,计算实时流量异常指数X1,
优选地,所述或当所述第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和所述多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数,还包括:
在对实时流量进行异常判断的基础上,对实时流量的分类方式进行调整;
通过量化实时流量数据包特征向量x与实时流量数据样本的最小超球体最大分离面之间的距离s2,计算流量异常指数X2,
其中,K2为调节系数,a* i,yi,b*均为SVM算法中的参数,K为SVM中的核函数。
优选地,还包括:根据业务场景选择统计特征。
基于本发明的另一方面,提供一种用于对电网终端通信流量异常进行检测的系统,所述系统包括:
获取单元,用于获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包;
第一计算单元,用于根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数;
第一判断单元,用于当所述第一流量异常指数大于设定的第一阈值时,则判断所述终端的流量异常;
第二计算单元,用于当所述第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和所述多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;
第三计算单元,用于根据确定的所述第一流量异常指数和所述第二流量异常指数的权重,计算基于所述第一流量异常指数和所述第二流量异常指数的流量异常综合指数;
第二判断单元,用于当所述流量异常综合指数大于设定的第二阈值时,则判断所述终端的流量异常。
优选地,还包括第一训练单元:用于对所述流量特征模型的训练,包括:
对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;
基于选择的统计特征,按照所述统计特征统计所述一簇网络流量,生成包括多个统计特征的统计特征数据;
计算所述统计特征数据的信息熵,生成流量训练数据;
通过所述流量训练数据对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,所述第一训练单元还用于:通过所述流量训练数据利用支持向量数据描述算法对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,所述计算所述统计特征数据的信息熵,包括:
所述统计特征数据的信息熵计算公式如下:
其中:H(X)是所述统计特征数据的信息熵,X表示该特征的N个状态,X={xi|i=1,2,…,N},ni是第i个状态xi出现的次数,S表示该统计特征N个状态总的出现次数,因此ni/S表示第i个状态xi发生的概率,同时可知H(X)∈[0,log2 N]。
优选地,还包括:对所述数据包特征模型进行训练,包括:
对每个终端的网络流量数据包进行深度解析,选择统计特征;
对选择的统计特征进行预处理,生成流量训练数据;
通过所述流量训练数据对所述数据包特征模型进行训练,生成每个终端的数据包特征模型。
本发明技术方案提供一种用于对电网终端通信流量异常进行检测的方法,其中方法包括:获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包;根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数;当第一流量异常指数大于设定的第一阈值时,则判断终端的流量异常;或当第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;根据确定的第一流量异常指数和第二流量异常指数的权重,计算基于第一流量异常指数和第二流量异常指数的流量异常综合指数;当流量异常综合指数大于设定的第二阈值时,则判断终端的流量异常。本发明技术方案提出的一种综合考虑流量监控与流量审计的电网嵌入式终端通信流量异常检测方法,结合电网嵌入式终端的特点,采用多属性综合评价方法对流量特征分析方法与流量包深度解析方法进行优势互补,保障资源利用率的同时,提高异常通信流量诊断的准确率。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的方法流程图;
图2为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的方法示意图;
图3为根据本发明优选实施方式的流量特征模型的训练过程示意图;
图4为根据本发明优选实施方式的SVDD示意图;
图5为根据本发明优选实施方式的X1与s1的关系示意图;
图6为根据本发明优选实施方式的数据包特征模型的训练过程示意图;
图7为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的方法示意图;以及
图8为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的系统结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的方法流程图。网络流量异常检测作为网络内防的重要手段,研究嵌入式终端通信网的网络流量异常方法,及时发现网络中的异常流量,采取相应的措施,确保电网的安全运行。本申请实施方式重点关注终端通信流量监控与审计环节,研究成果对于提升电网嵌入式终端的安全性,推进智能电网的建设具有重要意义。如图1所示,一种用于对电网终端通信流量异常进行检测的方法,方法包括:
优选地,在步骤101:获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包。如图2所示,本申请获取终端与主站的网络通信拓扑,在主站侧交换机上接入网络探针,采取旁路方式进行流量镜像,得到网络流量数据包。
优选地,在步骤102:根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数。本申请根据训练好的流量特征模型,结合每个终端的实时流量数据,计算终端流量异常指数,记为X1。优选地,还包括:对流量特征模型的训练,包括:对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;基于选择的统计特征,按照统计特征统计一簇网络流量,生成包括多个统计特征的统计特征数据;计算统计特征数据的信息熵,生成流量训练数据;通过流量训练数据对流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。优选地,包括:通过流量训练数据利用支持向量数据描述算法对流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。优选地,计算统计特征数据的信息熵,包括:
统计特征数据的信息熵计算公式如下:
其中:H(X)是统计特征数据的信息熵,X表示该特征的N个状态,X={xi|i=1,2,…,N},ni是第i个状态xi出现的次数,S表示该统计特征N个状态总的出现次数,因此ni/S表示第i个状态xi发生的概率,同时可知H(X)∈[0,log2 N]。
本申请的流量特征模型的训练过程(黑盒过程)如图3所示:
1,对每个终端,以固定周期T采集一簇流量,并按特征统计流量信息,形成一组数据(开始时刻,终端编号,特征1,特征2,。。。特征n)。统计特征可以按照需要从下表中选择。
表1流量统计候选特征
2,计算特征数据的信息熵,形成流量训练数据
在流量异常检测领域,信息熵描述了单个特征属性的变化情况,而不同异常流量会使其中某些属性的信息熵发生比较大的变化,因此可以采用信息熵对流量特征进行定量描述。上述第1步中,所选择的某个流量统计特征的信息熵计算公式如下:
其中:H(X)是该特征的信息熵,X表示该特征的N个状态,X={xi|i=1,2,…,N},ni是第i个状态xi出现的次数,S表示该特征N个状态总的出现次数,因此ni/S表示第i个状态xi发生的概率,同时可知H(X)∈[0,log2N]。
3,采用SVDD算法进行模型参数训练,形成每个终端的流量特征模型
SVDD(Support Vector Domain Description,支持向量数据描述),是一种能够将目标数据进行超球型描述的算法,这个超球型能够尽可能地包含多的数据点。换言之,如果只有一个类可以判断,那么通过SVDD需要找到一个最小的超球面,能够将这一类的数据全部包含进来。找到这个超球面用来识别新的数据时,这个数据如果落在这个超球面内,则认为该数据属于这个类,否则,这个数据就不属于这个类。
SVDD是一种二分类的判断方法,适用于样本数据的正负样本及其不均衡的情况。而网络流量异常,即为非常不均衡的数据,网络流量出现异常的情况会远远少于网络流量表现正常的情况,且异常的流量不具备可聚集性和共同点。如图4所示。
本申请对于流量特征分析模型和数据包特征分析模型而言,并不局限于SVDD、SVM等算法,能够量化描述流量异常程度的算法或模型,均可以采用本模型予以实现。在流量特征分析模型或数据包特征分析模型中,每个模型亦可采用多种算法进行测算,然后采用本发明的算法进行综合评价。
SVDD的目标是,求出能够包含该数据样本的最小超球体的中心a和半径R,问题转化为求以下优化问题:
s.t.||φ(xi)-a||2≤R2+ξi
其中,ξi为松弛因子,C为惩罚因子,起到调节超球体体积和样本误报率的作用,φ(xi)表示第i个状态xi的空间向量,即空间坐标。
当ξi>0中对应于超球体外部的数据点。得到超球体的参数后,可以通过以下判别式判断流量的类别:
f(x)=sgn(R2-||φ(xi)-a||2)
f(x)=sgn(x)表示符号函数,当x>=0时,f(x)=+1,当x<0时,f(x)=-1。由此可进行分类,+1代表正常流量,-1代表异常流量。
本申请受SVDD算法的启发,在符号判别的基础上,对分类方式进行调整,采用量化实时流量特征向量φ(x)与a之间的距离s1,来计算流量异常指数X1。由此可知X1∈[0,1],数值越大,属于异常流量的可能性越高。
本申请中,
其中,k1为调节系数。如图5所示。
X1即为流量特征模型(黑盒过程)得到的异常指数,判断其与设定阈值threshold1的大小关系,如果超过阈值则判定为异常流量,否则进入步骤三。
注:由于泛洪攻击、DdoS攻击等方式能够显著引起流量变化,本发明将threshold1的数值设置稍大一些,在确保准确检测出流量异常情况的同时,又能够避免正常流量波动引发的误判。此时,如果X1依然大于threshold1,则可以判定流量异常,无需进行深度包解析,能够节省计算资源。
优选地,在步骤103:当第一流量异常指数大于设定的第一阈值时,则判断终端的流量异常。
优选地,在步骤104:或当第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数。优选地,还包括:对数据包特征模型进行训练,包括:对每个终端的网络流量数据包进行深度解析,选择统计特征;对选择的统计特征进行预处理,生成流量训练数据;通过流量训练数据对数据包特征模型进行训练,生成每个终端的数据包特征模型。
本申请对流量包进行深度解析。如果数据包在传输过程中,上述几个字段中的某一个字段被不法分子恶意修改,那么在执行所请求的操作时,很可能导致工业控制系统出现安全问题,引发巨大的经济损失。因此有必要对数据包进行完整性和合规性检查。完整性检验是根据协议中的各字段判断数据包结构是否完备,它可以将部分信息缺失或者非法的数据包标识出来。数据包内容的合法性检查主要是通过将配置好的白名单与数据包内容做比较和匹配。在白名单配置中有很多条规则,每一条规则定义了具体的功能码数值、该功能码操作的变化范围以及该次操作读写的字节数或具体的数值等信息,针对不同的功能码,每一条规则包含的信息可能不同。合规性检查会将数据包内容与白名单的规则逐一比较,如果某条规则与数据包匹配成功,则判决此数据包通过检查,反之继续比较,如果所有的规则匹配都不成功则判决数据包未通过检查。
完整性和合规性检查通过后,流程继续执行。否则跳转至异常流量报警模块。根据训练好的数据包特征模型(白盒过程),结合每个终端的实时深度包解析数据,计算终端流量异常指数,记为X2;其中,数据包特征模型的训练过程(白盒过程)如图6所示。
本申请对流量数据包进行深度解析的过程为:
1,对终端的流量数据包进行深度解析,选择指定的统计特征
统计特征需要根据业务场景来针对性的选择。例如,配电终端需要统计电压、电流、有功、无功、功率因数等数据,如果是变电站的Modbus TCP协议,则需要采集数据包中的功能码和起始地址,即功能码和起始地址的序列集。
2,对流量统计特征进行预处理,形成训练数据(时刻,终端编号,特征1,特征2,。。。特征n,异常标识)
3,采用SVM算法进行模型参数训练。SVM是比较成熟的算法,本申请不作具体介绍。
4,形成每个终端的数据包特征模型。
同步骤二中的处理策略一样,本申请在SVM算法符号判别的基础上,对分类方式进行调整,采用量化实时数据包特征向量(x)与最大分离面之间的距离s2,来计算流量异常指数X2。由此可知X2∈[0,1],数值越大,属于异常流量的可能性越高。本申请中,
其中,K2为调节系数。X2即为流量特征模型(白盒过程)得到的异常指数。X2与s2的关系可参考图5。
a* i,yi,b*均为SVM算法中的参数,K为SVM中的核函数。
优选地,在步骤105:根据确定的第一流量异常指数和第二流量异常指数的权重,计算基于第一流量异常指数和第二流量异常指数的流量异常综合指数。
优选地,在步骤106:当流量异常综合指数大于设定的第二阈值时,则判断终端的流量异常。本申请确定流量特征模型(黑盒过程)、数据包特征模型(白盒过程)两种方法所计算的异常指数的权重w1和w2,采用多属性综合评价方法计算流量异常综合指数。
采用线性综合方法对两种方案所得异常指数进行综合,得到流量异常综合指数Y。
步骤五:判断流量异常综合指数是否大于既定阈值。如果大于,则标记为异常流量,提出告警,提醒管理员处理异常并归档;否则,判定为正常流量。流程结束,如图7所示。
本申请提出了基于流量特征和数据包特征相结合的流量异常综合诊断方法,提高了异常流量诊断的准确性;本申请对诊断流程进行优化,对于流量特征显著异常的嵌入式终端,不再进行数据包深度解析,降低计算负载,减轻服务器压力。本申请对分类算法进行改进,提出了流量异常程度的量化评价方法,可以定量分析终端通信流量是否异常。
图8为根据本发明优选实施方式的用于对电网终端通信流量异常进行检测的系统结构图。本申请实施方式提供一种用于对电网终端通信流量异常进行检测的系统,系统包括:
获取单元801,用于获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包。
第一计算单元802,用于根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数。优选地,系统还包括第一训练单元:用于对流量特征模型的训练,包括:对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;基于选择的统计特征,按照统计特征统计一簇网络流量,生成包括多个统计特征的统计特征数据;计算统计特征数据的信息熵,生成流量训练数据;通过流量训练数据对流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,第一训练单元还用于:通过流量训练数据利用支持向量数据描述算法对流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
优选地,计算统计特征数据的信息熵,包括:
统计特征数据的信息熵计算公式如下:
其中:H(X)是统计特征数据的信息熵,X表示该特征的N个状态,X={xi|i=1,2,…,N},ni是第i个状态xi出现的次数,S表示该统计特征N个状态总的出现次数,因此ni/S表示第i个状态xi发生的概率,同时可知H(X)∈[0,log2 N]。
第一判断单元803,用于当第一流量异常指数大于设定的第一阈值时,则判断终端的流量异常。
第二计算单元804,用于当第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数。优选地,系统还包括:对数据包特征模型进行训练,包括:对每个终端的网络流量数据包进行深度解析,选择统计特征;对选择的统计特征进行预处理,生成流量训练数据;通过流量训练数据对数据包特征模型进行训练,生成每个终端的数据包特征模型。
第三计算单元805,用于根据确定的第一流量异常指数和第二流量异常指数的权重,计算基于第一流量异常指数和第二流量异常指数的流量异常综合指数。
第二判断单元806,用于当流量异常综合指数大于设定的第二阈值时,则判断终端的流量异常。
本发明优选实施方式的用于对电网终端通信流量异常进行检测的系统800与本发明另一优选实施方式的用于对电网终端通信流量异常进行检测的方法100相对应,在此不再进行赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (13)
1.一种用于对电网终端通信流量异常进行检测的方法,所述方法包括:
获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包;
根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数;
当所述第一流量异常指数大于设定的第一阈值时,则判断所述终端的流量异常;
或当所述第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和所述多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;
根据确定的所述第一流量异常指数和所述第二流量异常指数的权重,计算基于所述第一流量异常指数和所述第二流量异常指数的流量异常综合指数;
当所述流量异常综合指数大于设定的第二阈值时,则判断所述终端的流量异常。
2.根据权利要求1所述的方法,还包括:对所述流量特征模型的训练,包括:
对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;
基于选择的统计特征,按照所述统计特征统计所述一簇网络流量,生成包括多个统计特征的统计特征数据;
计算所述统计特征数据的信息熵,生成流量训练数据;
通过所述流量训练数据对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
3.根据权利要求2所述的方法,包括:通过所述流量训练数据利用支持向量数据描述算法对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
5.根据权利要求1所述的方法,还包括:对所述数据包特征模型进行训练,包括:
对每个终端的网络流量数据包进行深度解析,选择统计特征;
对选择的统计特征进行预处理,生成流量训练数据;
通过所述流量训练数据对所述数据包特征模型进行训练,生成每个终端的数据包特征模型。
8.根据权利要求2所述的方法,还包括:根据业务场景选择统计特征。
9.一种用于对电网终端通信流量异常进行检测的系统,所述系统包括:
获取单元,用于获取多个终端与主站的网络通信拓扑,对多个终端的网络流量进行旁路提取,获取多个终端的网络流量数据包;
第一计算单元,用于根据训练好的流量特征模型,结合多个终端的网络流量数据包中的每个终端的实时流量数据,计算每个终端的第一流量异常指数;
第一判断单元,用于当所述第一流量异常指数大于设定的第一阈值时,则判断所述终端的流量异常;
第二计算单元,用于当所述第一流量异常指数小于设定的第一阈值时,对多个终端的网络流量数据包进行解析,根据数据包特征模型和所述多个终端的网络流量数据包的解析数据,计算每个终端的第二流量异常指数;
第三计算单元,用于根据确定的所述第一流量异常指数和所述第二流量异常指数的权重,计算基于所述第一流量异常指数和所述第二流量异常指数的流量异常综合指数;
第二判断单元,用于当所述流量异常综合指数大于设定的第二阈值时,则判断所述终端的流量异常。
10.根据权利要求9所述的系统,还包括第一训练单元:用于对所述流量特征模型的训练,包括:
对于多个终端中的每个终端,按照预设的周期采集一簇网络流量;
基于选择的统计特征,按照所述统计特征统计所述一簇网络流量,生成包括多个统计特征的统计特征数据;
计算所述统计特征数据的信息熵,生成流量训练数据;
通过所述流量训练数据对所述流量特征模型进行训练,生成多个终端中的每个终端的多个终端中的每个终端。
11.根据权利要求10所述的系统,所述第一训练单元还用于:通过所述流量训练数据利用支持向量数据描述算法对所述流量特征模型进行训练,生成多个终端中的每个终端的流量特征模型。
13.根据权利要求9所述的系统,还包括:对所述数据包特征模型进行训练,包括:
对每个终端的网络流量数据包进行深度解析,选择统计特征;
对选择的统计特征进行预处理,生成流量训练数据;
通过所述流量训练数据对所述数据包特征模型进行训练,生成每个终端的数据包特征模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911202199.5A CN111092862B (zh) | 2019-11-29 | 2019-11-29 | 一种用于对电网终端通信流量异常进行检测的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911202199.5A CN111092862B (zh) | 2019-11-29 | 2019-11-29 | 一种用于对电网终端通信流量异常进行检测的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111092862A true CN111092862A (zh) | 2020-05-01 |
CN111092862B CN111092862B (zh) | 2023-06-02 |
Family
ID=70393334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911202199.5A Active CN111092862B (zh) | 2019-11-29 | 2019-11-29 | 一种用于对电网终端通信流量异常进行检测的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111092862B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818067A (zh) * | 2020-07-14 | 2020-10-23 | 绿盟科技集团股份有限公司 | 流量特征提取方法及装置 |
CN112261009A (zh) * | 2020-09-29 | 2021-01-22 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种针对铁路调度集中系统的网络入侵检测方法 |
CN112651435A (zh) * | 2020-12-22 | 2021-04-13 | 中国南方电网有限责任公司 | 一种基于自学习的电力网络探针流量异常的检测方法 |
CN112766633A (zh) * | 2020-12-22 | 2021-05-07 | 国网浙江省电力有限公司绍兴供电公司 | 基于流量平衡的电力无线异构网络管理方法及装置 |
CN112804239A (zh) * | 2021-01-22 | 2021-05-14 | 山东维平信息安全测评技术有限公司 | 一种流量安全分析建模方法和系统 |
CN113364703A (zh) * | 2021-06-03 | 2021-09-07 | 中国电信股份有限公司 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
CN114826718A (zh) * | 2022-04-19 | 2022-07-29 | 中国人民解放军战略支援部队航天工程大学 | 一种基于多维度信息的内部网络异常检测方法及系统 |
CN115499383A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种流量识别方法、装置、电子设备及存储介质 |
CN117354066A (zh) * | 2023-12-06 | 2024-01-05 | 吉林省吉能电力通信有限公司 | 一种用于电力通信流量预测的异常数据处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105119919A (zh) * | 2015-08-22 | 2015-12-02 | 西安电子科技大学 | 基于流量异常及特征分析的攻击行为检测方法 |
US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
CN107517205A (zh) * | 2017-08-14 | 2017-12-26 | 浙江大学 | 基于概率的智能变电站网络异常流量检测模型构建方法 |
CN110011966A (zh) * | 2019-02-28 | 2019-07-12 | 国网浙江省电力有限公司绍兴供电公司 | 一种智能变电站过程层网络流量异常检测方法 |
-
2019
- 2019-11-29 CN CN201911202199.5A patent/CN111092862B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
CN105119919A (zh) * | 2015-08-22 | 2015-12-02 | 西安电子科技大学 | 基于流量异常及特征分析的攻击行为检测方法 |
CN107517205A (zh) * | 2017-08-14 | 2017-12-26 | 浙江大学 | 基于概率的智能变电站网络异常流量检测模型构建方法 |
CN110011966A (zh) * | 2019-02-28 | 2019-07-12 | 国网浙江省电力有限公司绍兴供电公司 | 一种智能变电站过程层网络流量异常检测方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818067B (zh) * | 2020-07-14 | 2022-07-15 | 绿盟科技集团股份有限公司 | 流量特征提取方法及装置 |
CN111818067A (zh) * | 2020-07-14 | 2020-10-23 | 绿盟科技集团股份有限公司 | 流量特征提取方法及装置 |
CN112261009B (zh) * | 2020-09-29 | 2022-07-08 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种针对铁路调度集中系统的网络入侵检测方法 |
CN112261009A (zh) * | 2020-09-29 | 2021-01-22 | 中国铁道科学研究院集团有限公司通信信号研究所 | 一种针对铁路调度集中系统的网络入侵检测方法 |
CN112766633A (zh) * | 2020-12-22 | 2021-05-07 | 国网浙江省电力有限公司绍兴供电公司 | 基于流量平衡的电力无线异构网络管理方法及装置 |
CN112651435A (zh) * | 2020-12-22 | 2021-04-13 | 中国南方电网有限责任公司 | 一种基于自学习的电力网络探针流量异常的检测方法 |
CN112766633B (zh) * | 2020-12-22 | 2023-10-24 | 国网浙江省电力有限公司绍兴供电公司 | 基于流量平衡的电力无线异构网络管理方法及装置 |
CN112804239A (zh) * | 2021-01-22 | 2021-05-14 | 山东维平信息安全测评技术有限公司 | 一种流量安全分析建模方法和系统 |
CN113364703A (zh) * | 2021-06-03 | 2021-09-07 | 中国电信股份有限公司 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
CN113364703B (zh) * | 2021-06-03 | 2023-08-08 | 天翼云科技有限公司 | 网络应用流量的处理方法、装置、电子设备和可读介质 |
CN114826718A (zh) * | 2022-04-19 | 2022-07-29 | 中国人民解放军战略支援部队航天工程大学 | 一种基于多维度信息的内部网络异常检测方法及系统 |
CN114826718B (zh) * | 2022-04-19 | 2022-11-04 | 中国人民解放军战略支援部队航天工程大学 | 一种基于多维度信息的内部网络异常检测方法及系统 |
CN115499383A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种流量识别方法、装置、电子设备及存储介质 |
CN117354066A (zh) * | 2023-12-06 | 2024-01-05 | 吉林省吉能电力通信有限公司 | 一种用于电力通信流量预测的异常数据处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111092862B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111092862B (zh) | 一种用于对电网终端通信流量异常进行检测的方法及系统 | |
CN110909811B (zh) | 一种基于ocsvm的电网异常行为检测、分析方法与系统 | |
Zhang et al. | Random-forests-based network intrusion detection systems | |
CN111669375B (zh) | 一种电力工控终端在线安全态势评估方法及系统 | |
CN107040517B (zh) | 一种面向云计算环境的认知入侵检测方法 | |
Ye et al. | EWMA forecast of normal system activity for computer intrusion detection | |
CN104660464B (zh) | 一种基于非广延熵的网络异常检测方法 | |
CN110324323B (zh) | 一种新能源厂站涉网端实时交互过程异常检测方法及系统 | |
CN111598179B (zh) | 电力监控系统用户异常行为分析方法、存储介质和设备 | |
CN115086089B (zh) | 一种用于网络安全评估预测的方法及系统 | |
CN109784668B (zh) | 一种用于电力监控系统异常行为检测的样本特征降维处理方法 | |
CN113269389A (zh) | 基于深度信念网的网络安全态势评估和态势预测建模方法 | |
CN111885059A (zh) | 一种工业网络流量异常检测定位的方法 | |
CN116366374B (zh) | 基于大数据的电网网络管理的安全评估方法、系统及介质 | |
CN112788007A (zh) | 基于卷积神经网络的DDoS攻击检测方法 | |
CN117411703A (zh) | 一种面向Modbus协议的工业控制网络异常流量检测方法 | |
CN114362994B (zh) | 多层异粒度智能聚合铁路系统运行行为安全风险识别方法 | |
CN117478441B (zh) | 基于用户行为智能分析的动态访问控制方法及系统 | |
CN110650145A (zh) | 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法 | |
Sapozhnikova et al. | Intrusion detection system based on data mining technics for industrial networks | |
CN115643108A (zh) | 面向工业互联网边缘计算平台安全评估方法、系统及产品 | |
Zhou et al. | Research on network security attack detection algorithm in smart grid system | |
Huang et al. | Application of type-2 fuzzy logic to rule-based intrusion alert correlation detection | |
CN112291213A (zh) | 一种基于智能终端的异常流量分析方法及装置 | |
He et al. | Detecting anomalies in distributed control systems by modeling traffic behaviors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |