CN109522715A - 一种面向安全智能电网的数据融合分类方法与系统 - Google Patents
一种面向安全智能电网的数据融合分类方法与系统 Download PDFInfo
- Publication number
- CN109522715A CN109522715A CN201811319577.3A CN201811319577A CN109522715A CN 109522715 A CN109522715 A CN 109522715A CN 201811319577 A CN201811319577 A CN 201811319577A CN 109522715 A CN109522715 A CN 109522715A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- classification
- kinds
- safe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种面向安全智能电网的数据融合分类方法与系统,本发明首先对智能电网终端设备采集的样本数据进行数据预处理,分析采集的终端设备数据特点,从数据格式和数据类型多个维度提取不安全数据和安全数据的特征,构成典型样本数据库。然后基于典型样本库,通过三种机器学习分类算法—邻近算法、支持向量机和概率图对典型样本数据进行分类辨识,得到相应的基分类结果。最后根据自适应权重对三种分类结果进行融合,生成特定的智能电网系统不安全样本库和安全数据样本库,用于智能电网系统的安全防护研究,以提高智能电网系统的安全性和稳定性。
Description
背景技术
随着网络信息技术的飞速发展,常规漏洞、异常报文和攻击手段等不断衍变,智能电网系统的安全性面临着各种新型的威胁。传统的面向安全智能电网数据库主要是采集智能电网终端现有的数据,通过筛选、清洗等手段确保数据的安全性,关注点局限在系统本身,本方法立足于智能电网系统终端数据,从不安全数据角度出发,构建不安全数据样本库和安全数据样本库。这一创新想法,有助于改变智能电网系统采集数据后被动地进行数据筛选和清洗的现状,使系统在受到数据污染和威胁前检测、剔除掉不安全数据,只有安全数据能进入系统,确保智能电网系统的安全性和稳定性。
发明内容
本发明旨在提供一种面向安全智能电网的数据融合分类方法与系统,研究智能电网系统中常见的不安全数据和安全数据的分类,比如异常报文、恶意代码、漏洞信息、DOS攻击以及正常的电力数据等。首先对智能电网终端设备采集的样本数据进行数据预处理,分析采集的终端设备数据特点,从数据格式和数据类型多个维度提取不安全数据和安全数据的特征,构成典型样本数据库。然后基于典型样本库,通过三种机器学习分类算法—邻近算法、支持向量机和概率图对典型样本数据进行分类辨识,得到相应的基分类结果。最后根据自适应权重对三种分类结果进行融合,生成特定的智能电网系统不安全样本库和安全数据样本库,用于智能电网系统的安全防护研究,以提高智能电网系统的安全性和稳定性。
本发明为解决上述技术问题,提供了一种面向安全智能电网的数据融合辨识方法,该方法的步骤如下:
1)采用基于数据格式和识别数据类型的方法对采集的样本数据进行数据预处理和分析,得到不安全样本和安全样本的数据特性,并生成典型样本库;
2)采用三种样本分类方法(邻近算法、支持向量机和概率图),对典型样本库的数据进行分类,获得相应的基分类结果;
3)将三种分类算法的分类结果通过自适应权重进行融合,得到智能电网系统不安全样本库和安全样本库的最终分类结果。
本发明还提供了一种面向安全智能电网的数据库系统,该系统总体而言分为三层,分别为特征提取层、并行分类层和融合交互层。
所述特征提取层将对系统中的报文、指令、网络状态、电力数据等信息进行整理和分析,得到不安全样本和安全样本的数据特性,并构成典型样本库;
所述并行分类层采用三种样本分类方法:邻近算法、支持向量机和概率图对典型样本库进行分类,分别获得相应的基分类结果;
所述融合交互层根据三种算法的分类结果,结合自适应权重对三种分类结果进行融合,得到最终的分类结果,生成特定的智能电网系统不安全样本库和安全数据样本库。
本发明的有益效果是:本发明首先面对采集的智能电网数据信息,进行预处理和分析从中提取样本特征,得到不安全样本和安全样本的特性,生成典型样本数据库;采用三种样本分类方法,对典型样本数据库并行地进行分类辨识,得到相应的基分类结果;最后通过自适应权重将并行分类后的结果融合之后得到最终分类结果,生成特定的智能电网系统不安全样本库和安全数据样本库。本发明根据样本数据的特征并行地采用了不同的分类算法进行分类,提高了数据分类的效率,通过自适应的权重将不同的分类结果进行融合,弥补了单一分类算法的精度缺陷,提高了分类的准确度。
附图说明
图1是本发明实施例中面向安全电力工控终端的数据库融合分类方法的原理示意图;
图2是本发明实施例中对采集的样本进行数据预处理和数据分析的框图;
图3是本发明实施例的三种并行分类器相融合的程序流程图;
下面结合附图对本发明的具体实施方式做进一步说明。
本发明的实施例是一种电力工控终端数据融合分类方法与系统。
本发明的电力工控终端数据融合分类算法,核心在于并行的采用三种机器学习算法对典型样本库进行数据分类,提高了数据的分类效率,得到不同种类的不安全数据和安全数据,然后将三种分类算法的分类结果进行自适应融合,有效地提高了分类的准确度。该方法的具体实施过程如下:
步骤1:采用基于数据格式和识别数据类型的方法对采集的样本数据进行数据预处理和分析,得到不安全样本和安全样本的数据特性,并生成典型样本库;其具体实现包括以下子步骤:
步骤1.1:在电力系统终端如低压变压器、数据终端设备(Data Terminal Unit,DTU)安装数据采集装置,进行基础数据采集,如电流、电压、开关状态量、流量、报文、服务和端口信息(通过Nessus等漏洞扫描软件获得)等;
步骤1.2:对样本数据进行数据预处理。根据不同数据来源,如电流、电压数据信息、主机信息等进行初步分类并定义统一的数据格式,通过搜索与识别错误记录,分析得到不同样本的数据特性,比如功耗信息存在数据缺失或、重复记录、格式逻辑上错误等,生成带有不安全特性和安全特性标签的典型样本数据库。
步骤2:采用三种不同的方法进行样本的数据分类,进一步辨识出不同种类的不安全样本和安全样本;本实施例以邻近算法,支持向量机和概率图三种方法为例进行说明,其具体实现包括以下子步骤:
步骤2.1:通过自主编写、调试开源学习框架,分别得到邻近算法,支持向量机和概率图三种分类辨识算法;
步骤2.2:结合步骤1中得到的典型样本库信息,采用邻近算法对典型样本库进行样本进一步分类,并进行不同样本特性的匹配,获得相应的分类结果;
步骤2.3:结合步骤1中得到的典型样本库信息,采用支持向量机对典型样本库进行样本进一步分类,并进行不同样本特性的匹配,获得相应的分类结果;
步骤2.4:结合步骤1中得到的典型样本库信息,采用概率图对典型样本库进行样本进一步分类,并进行不同样本特性的匹配,获得相应的分类结果;
步骤3:将三种并行的分类算法得到的辨识结果,通过自适应的权重进行融合得到最终的分类决策,提升样本分类结果的准确度。
通过结合最新的深度学习方面的分类算法框架,提高了典型样本库的有效利用率,比传统的机器学习算法准确性更高。但是单一辨识方法的局限性在于容易受到测量干扰和工控设备所处环境的影响,造成分类结果的不准确,从而影响电力工控终端样本库中不安全数据比重和分类结果,对电网运行的安全性和稳定性造成威胁。并且不同的分类算法各有优劣,比如邻近算法(KNN)所需训练样本少,能遍历到每个样本,适合处理低维度数据;支持向量机(SVM)算法通过大量样本自主学习特征权重,善于处理高维度、高精度数据。本发明通过自适应地选择权重,对三种分类算法的分类结果进行融合,提高了分类结果的精度。
本发明只需要采集接入到电力终端设备的所有数据,无需对终端设备进行类别的区分,因此对数据采集设备的硬件要求和环境要求大幅度降低,降低了硬件成本。
具体来说,就是采集电力工控终端设备总的数据信息,然后分解得到辨识结果,再与真实的数据信息做对比,求出损失函数。如下式所示:
J=|Dreal-Dcol|=|d1-d′1|+|d2-d′2|+…+|dn-d′n| (1)
式(1)中,为电力工控终端设备实际的数据信息组成的二进制序列{d1,d2,...,dn},为分类辨识后得到的不同种类的数据所对应的二进制序列{d′1,d′2,...,d′n}。因为一些漏洞信息和异常的报文信息非常接近,或者恶意代码与正常电力数据只是在数据的幅值大小上有所区别,所以分类算法在进行辨识的时候容易出现偏差,因此每个算法得到的序列不一定一致,也导致其损失函数不尽相同。
如图3所示,由上述分析可知,对于某个电力工控终端设备的数据信息而言,使用三种不同的算法进行辨识,将会得到三个相应的损失函数,设为Ji,i=1,2,3,分别对应邻近算法、支持向量机和概率图三种算法下辨识出来的损失函数。
定义:
式(2)中K0为可变的基准系数(一般设为1),J1,J2,J3分别表示邻近算法、支持向量机和概率图三种方法下辨识出来的损失函数,qi表示第i种方法的权重表示数据信息有无状态。
令:
式(3)中Qj为融合函数,表示各种不同分类数据的可能性;dj只有1和0两种状态,分别代表数据信息的有和无,j=1,2,...,n,n为数据信息的总类数。设计阈值为Q0=0.55,当Q>Q0时,表示总体的样本信息中包含了相应的某一类不安全数据。算法框图如图2所示。
为了测试融合辨识算法的精度,本发明利用已有的硬件平台针对实际的数据终端单元采集的数据进行辨识验证。不失一般性,假设数据终端单元有异常报文、恶意代码、漏洞样本和正常电压信息4种数据。对于此数据终端单元某一时刻的实际数据信息,以及结合该地区所处环境的变化等相关信息,得到三种辨识算法所对应的分解结果。如表1所示:
表1
因此,根据式(1)可知,J1=1,J2=0,J3=2,因此可以通过式(2)进行计算,得到q1=0.368,q2=1,q3=0.135。
举例来说,例如针对异常报文(第一类数据)而言,其融合辨识的状态可以通过式(3)进行计算,也即:
因此最终判断该数据流中包含异常报文信息。同理,对于漏洞样本(第三类数据)而言,有:
因此最终判断该数据流中不包含漏洞样本信息。值得注意的是,阈值Q0=0.55并非一成不变,而是会随着实际终端设备情况的变化而进行自适应调整。
融合辨识结果如表2所示,最终辨识出的是各种数据流的组合数据状态。如表2所示,可以发现融合辨识结果与实际数据流状况一致,因此验证了本发明一种电力工控终端的数据融合分类方法的实际可行性。
表2
本发明中的面向安全智能电网的数据融合分类系统如图1所示,采用三层架构,分别为特征提取层、并行分类层和融合交互层。特征提取层利用从智能电网系统采集的终端数据信息,如网络状态、不安全样本、正常数据等,对样本数据进行数据预处理和分析,生成典型样本库;并行分类层采用三种分类算法对典型样本库并行地进行分类,得到相应的基分类结果;最后通过自适应的权重将不同的分类结果进行融合,得到最终的不安全数据样本库和安全数据样本库。具体实施例已在上面进行详细说明,这里不再赘述。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。上述针对实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (3)
1.一种面向安全智能电网的数据融合分类方法,其特征在于,该方法的步骤如下:
1)采用基于数据格式和识别数据类型的方法对采集的样本数据进行数据预处理和分析,得到不安全样本和安全样本的数据特性,并生成典型样本库;
2)采用三种样本分类方法,对典型样本库的数据进行分类,获得相应的基分类结果;三种样本分类方法为邻近算法、支持向量机和概率图;
3)将三种分类算法的分类结果通过自适应权重进行融合,得到智能电网系统不安全样本库和安全样本库的最终分类结果。
2.一种面向安全智能电网的数据融合分类方法,其特征在于,步骤具体如下:
步骤1.1:在电力系统终端安装数据采集装置,进行基础数据采集;
步骤1.2:对样本数据进行数据预处理;
根据不同数据来源,进行初步分类并定义统一的数据格式,通过搜索与识别错误记录,分析得到不同样本的数据特性,生成带有不安全特性和安全特性标签的典型样本数据库。
3.一种面向安全智能电网的数据库系统,该系统总体而言分为三层,分别为特征提取层、并行分类层和融合交互层;
所述特征提取层将对系统中的报文、指令、网络状态、电力数据信息进行整理和分析,得到不安全样本和安全样本的数据特性,并构成典型样本库;
所述并行分类层采用三种样本分类方法:邻近算法、支持向量机和概率图对典型样本库进行分类,分别获得相应的基分类结果;
所述融合交互层根据三种算法的分类结果,结合自适应权重对三种分类结果进行融合,得到最终的分类结果,生成特定的智能电网系统不安全样本库和安全数据样本库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319577.3A CN109522715A (zh) | 2018-11-07 | 2018-11-07 | 一种面向安全智能电网的数据融合分类方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319577.3A CN109522715A (zh) | 2018-11-07 | 2018-11-07 | 一种面向安全智能电网的数据融合分类方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109522715A true CN109522715A (zh) | 2019-03-26 |
Family
ID=65773230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811319577.3A Pending CN109522715A (zh) | 2018-11-07 | 2018-11-07 | 一种面向安全智能电网的数据融合分类方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109522715A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046019A (zh) * | 2019-11-22 | 2020-04-21 | 北京网聘咨询有限公司 | 数据库安全隐患排查方法及装置 |
CN111510438A (zh) * | 2020-03-29 | 2020-08-07 | 国网陕西省电力公司延安供电公司 | 一种面向电力物联网终端数据分类的管控方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745229A (zh) * | 2013-12-31 | 2014-04-23 | 北京泰乐德信息技术有限公司 | 一种基于svm的轨道交通故障诊断方法及系统 |
CN104600680A (zh) * | 2015-02-16 | 2015-05-06 | 国家电网公司 | 一种基于数据融合的智能报警方法 |
WO2017079843A1 (en) * | 2015-11-10 | 2017-05-18 | Exact Imaging, Inc. | A system comprising indicator features in high-resolution micro-ultrasound images |
CN107818335A (zh) * | 2017-10-09 | 2018-03-20 | 南京航空航天大学 | 一种基于多分类器自适应加权的钢轨裂纹识别方法 |
CN108537394A (zh) * | 2017-03-01 | 2018-09-14 | 全球能源互联网研究院 | 一种智能电网实时安全预警方法和装置 |
-
2018
- 2018-11-07 CN CN201811319577.3A patent/CN109522715A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745229A (zh) * | 2013-12-31 | 2014-04-23 | 北京泰乐德信息技术有限公司 | 一种基于svm的轨道交通故障诊断方法及系统 |
CN104600680A (zh) * | 2015-02-16 | 2015-05-06 | 国家电网公司 | 一种基于数据融合的智能报警方法 |
WO2017079843A1 (en) * | 2015-11-10 | 2017-05-18 | Exact Imaging, Inc. | A system comprising indicator features in high-resolution micro-ultrasound images |
CN108537394A (zh) * | 2017-03-01 | 2018-09-14 | 全球能源互联网研究院 | 一种智能电网实时安全预警方法和装置 |
CN107818335A (zh) * | 2017-10-09 | 2018-03-20 | 南京航空航天大学 | 一种基于多分类器自适应加权的钢轨裂纹识别方法 |
Non-Patent Citations (1)
Title |
---|
张华,史文中等: "《遥感数据可靠性分类方法研究》", 31 March 2016, 北京:测绘出版社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046019A (zh) * | 2019-11-22 | 2020-04-21 | 北京网聘咨询有限公司 | 数据库安全隐患排查方法及装置 |
CN111510438A (zh) * | 2020-03-29 | 2020-08-07 | 国网陕西省电力公司延安供电公司 | 一种面向电力物联网终端数据分类的管控方法 |
CN111510438B (zh) * | 2020-03-29 | 2022-04-05 | 国网陕西省电力公司延安供电公司 | 一种面向电力物联网终端数据分类的管控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | DeepDefense: identifying DDoS attack via deep learning | |
CN101399672B (zh) | 一种多神经网络融合的入侵检测方法 | |
CN108449366B (zh) | 基于人工智能的关键信息基础设施安全威胁情报分析系统 | |
CN112333128B (zh) | 一种基于自编码器的Web攻击行为检测系统 | |
CN107360152A (zh) | 一种基于语义分析的Web威胁感知系统 | |
CN109787979A (zh) | 一种电力网络事件和入侵的检测方法 | |
Gupta | An effective model for anomaly IDS to improve the efficiency | |
Al-mamory et al. | On the designing of two grains levels network intrusion detection system | |
Hong et al. | Towards accurate and efficient classification of power system contingencies and cyber-attacks using recurrent neural networks | |
Potluri et al. | Deep feature extraction for multi-class intrusion detection in industrial control systems | |
Ahmad et al. | Analysis of classification techniques for intrusion detection | |
CN115865483A (zh) | 一种基于机器学习的异常行为分析方法和装置 | |
CN109522715A (zh) | 一种面向安全智能电网的数据融合分类方法与系统 | |
Gupta et al. | Genetic algorithm technique used to detect intrusion detection | |
Latif et al. | Analyzing feasibility for deploying very fast decision tree for DDoS attack detection in cloud-assisted WBAN | |
Salazar et al. | Monitoring approaches for security and safety analysis: application to a load position system | |
Devaraju et al. | Performance comparison of intrusion detection system using various techniques–A review | |
Murugesan et al. | Mitigating Missing Rate and Early Cyberattack Discrimination Using Optimal Statistical Approach with Machine Learning Techniques in a Smart Grid | |
Fahad et al. | Applying one-class classification techniques to ip flow records for intrusion detection | |
Gandhi | Stacked ensemble learning based approach for anomaly detection in IoT environment | |
Jalalpour et al. | TMAS: A traffic monitoring analytics system leveraging machine learning | |
Majeed et al. | Propose hmnids hybrid multilevel network intrusion detection system | |
Zawaideh et al. | Intrusion Detection System for (IoI) Networks Using Convolutional Neural Network (CNN) and Xgboost Algorithm | |
Zhang et al. | Intrusion Detection Method for Industrial Control System Based on Parallel CNN-LSTM Neural Network Improved by Self-Attention | |
Intriago et al. | Real-time power system event detection: A novel instance selection approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
RJ01 | Rejection of invention patent application after publication |