CN112464996B - 基于LSTM-XGBoost的智能电网入侵检测方法 - Google Patents
基于LSTM-XGBoost的智能电网入侵检测方法 Download PDFInfo
- Publication number
- CN112464996B CN112464996B CN202011238068.5A CN202011238068A CN112464996B CN 112464996 B CN112464996 B CN 112464996B CN 202011238068 A CN202011238068 A CN 202011238068A CN 112464996 B CN112464996 B CN 112464996B
- Authority
- CN
- China
- Prior art keywords
- lstm
- xgboost
- predicted
- attack
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 11
- 238000013398 bayesian method Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 23
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
- Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于LSTM‑XGBoost的智能电网入侵检测方法。包括以下步骤：1)对NSL‑KDD数据集进行预处理，把非数值的特征一一映射为数值型特征；2)通过改进后的XGBoost对NSL‑KDD数据集进行训练、预测，得到预测样本为“攻击”的概率；3)通过LSTM对NSL‑KDD数据集进行训练、预测，得到预测样本为“攻击”的概率；4)将这两种方法得到的预测结果进行加权融合，得到样本被预测为“攻击”的概率值；5)以0.5为阈值，概率值大于等于0.5，则预测结果为“攻击”，小于0.5，则预测结果为“正常”。本发明提出的贝叶斯方法对XGBoost参数进行优化，并同LSTM相结合，节约了时间成本并提高了预测的准确度。
Description
技术领域
本发明涉及网络安全领域，涉及一种基于深度学习和改进的XGBoost相结合的智能电网入侵检测方法。
背景技术
智能电网是以物理电网为基础，以高速双向通信网络为基础的一种新型智能电网。它将先进的信息技术、通信、计算机、测控技术与发电、配电、传输、用电等基础设施相结合。智能电网作为一个全自动的输电网，可以对每个用户和电网节点进行监控，保证从电厂到最终用户的整个输送过程中，信息和电能在所有节点之间的双向流动。智能电网实现了传统电网的更新，但也带来了新的安全问题。
随着智能电网的发展，其网络的复杂性和异构型给智能电网带来了技术挑战。入侵检测系统是一种广泛应用于网络安全的系统。通过对采集到的数据进行分析和模型检测，判断网络或主机是否被入侵，从而做出预警，保证网络系统的安全性、可靠性和完整性。
近年来，先进的机器学习和深度学习技术极大地提高了入侵检测性能，但是这些方法往往存在拟合不足或者过拟合问题。XGBoost是一种新颖的分类方法，它不仅欠拟合和过拟合风险低，而且对缺失值有很大的容忍度，能够自动学习缺失值的处理方法。但是XGBoost对参数很敏感，不合适的参数将会大大降低其性能，使得其在智能电网中难以采用。而传统的网格搜索调参方法效率低，需要大量的时间成本，随机搜索调参容易陷入局部最优的问题，难以找到全局最优。
发明内容
为解决现有技术准确性低，时间成本高等问题，本发明提供了一种深度学习和改进的XGBoost相结合的智能电网入侵检测方法。
为了达到上述目的，本发明通过以下技术方案实现：基于LSTM-XGBoost的智能电网入侵检测方法，包括以下步骤：
1)对网络监测数据集进行预处理，把非数值的特征映射为数值型特征；
2)利用贝叶斯优化-XGBoost算法对数据集进行预测，得到预测样本为攻击的概率；
3)通过LSTM对数据集进行预测，得到预测样本为攻击的概率；
4)将步骤2)和步骤3)分别得到的预测结果进行加权融合，得到样本被预测为攻击的概率值；将概率值与阈值进行比较，得到电网入侵检测结果。
所述步骤1)具体为：
对数据集中的非数值型特征进行映射，转化为数值形式；把样本的结果转化为正常或攻击两种状态，并分别映射为0和1。
所述步骤2)具体为：
把经过预处理的数据集导入XGBoost模型，通过贝叶斯优化方法对XGBoost模型参数优化调整，输出最佳的参数组合，包括CART树数量、模型学习率和最大深度；
在参数最优的情况下，XGBoost模型对待测试的样本进行预测，输出每个样本被预测为攻击的概率值；概率值大于或等于阈值，则输出攻击，否则输出正常。
所述XGBoost模型的构建包括以下步骤：
根据目标函数构建CART树，进而构成XGBoost模型；模型的输入为经预处理数据集中的样本，输出状态预测值和预测值P1；所述状态预测值为0或1，所述预测值P1为每个样本被预测为攻击的概率值；
其中，目标函数如下：
Obj*为目标函数，Gj、Hj分别表示一阶梯度的和、二阶梯度的和，j为叶子节点序号；T为CART树的叶子节点的总数量，λ表示叶子权重惩罚正则项；
l表示损失函数，yi为经预处理的数据集中第i个样本的真实值，为第i个样本经XGBoost模型进行t次迭代后的状态预测值，n为样本数量。
所述步骤3)中采用双向LSTM对数据集进行预测，得到预测结果。
所述双向LSTM包括在输入层与输出层之间依次设有的向前层和后向层；输入层xt分别乘以权重w1、w4输入至后向层相应的LSTM、前向层的相应的LSTM，后向层相应的LSTM、前向层的相应的LSTM分别乘以权重w6、w5输入至相应的输出层其中，输入层xt用输入步骤1)中预处理后的数据；输出层/>为预测样本为攻击的概率值；
在后向层中，当前LSTM接收后一个LSTM输出与权重w2的乘积作为输入；
在前向层中，当前LSTM接收前一个LSTM输出与权重w3的乘积作为输入。
所述步骤4)中通过加权的方法把步骤2)和步骤3)中得到的预测的概率值进行融合，得到组合模型的预测概率值；最后将预测的概率值同阈值进行比较，输出组合模型的预测结果：当最后的预测概率值大于或等于阈值时，预测结果为攻击；否则预测结果为正常。
本发明具有以下有益效果及优点：
1、本发明提出用贝叶斯方法优化XGBoost参数，既避免了传统的网格搜索非常耗时的问题，又避免了随机搜索容易错过全局最优，陷入局部最优问题。
2、把优化后的XGBoost同LSTM相结合，提高了模型预测的准确率。
3、本发明提出的模型可用于智能电网的入侵检测，为维护网络系统的安全性和可靠性打下了基础。
附图说明
图1是本发明方法的流程图；
图2是本发明改进的XGBoost环节的流程图；
图3是本发明LSTM算法的细胞结构图一；
图4是本发明LSTM算法的细胞结构图二；
图5是本发明LSTM算法的细胞结构图三；
图6是本发明LSTM算法的细胞结构图四；
图7是本发明采用的双向LSTM结构图。
具体实施方式
下面结合附图对本发明做进一步详细的说明，以便本领域的技术人员更好地理解本发明。
如图1所示，一种深度学习和改进的XGBoost相结合的智能电网入侵检测方法，包括以下步骤：
1)对NSL-KDD数据集进行预处理，把非数值的特征一一映射为数值型特征，使数据集更符合机器学习模型训练的格式；
2)通过改进后的XGBoost对NSL-KDD数据集进行训练、预测，得到预测样本为“攻击”的概率；
3)通过LSTM对NSL-KDD数据集进行训练、预测，得到预测样本为“攻击”的概率；
4)将这两种方法得到的预测结果进行加权融合，得到样本被预测为“攻击”的概率值；
5)以0.5为阈值，概率值大于等于0.5，则预测结果为“攻击”，小于0.5，则预测结果为“正常”。将得到的预测结果跟实际结果进行对比，得到一系列评价指标。
所述步骤1)中，NSL-KDD数据集是KDD-CUP99的改进版，消除了其中的冗余数据。该数据集的训练集有125973行，测试集有22544个行，每一行代表一个网络连接的样本实例。每个样本有43列，前面41列代表了网络连接的特征，其中，网络连接的特征大致可分为四类。第一类是TCP连接基本特征，共包括连接持续时间、协议类型目标主机的网络服务类型等9种特征；第二类是TCP连接的内容特征，共包括访问系统敏感文件和目录的次数、登录尝试失败的次数等13种特征。第三种是基于时间的网络流量统计特征，共包括过去两秒内，与当前连接具有相同的目标主机的连接数、与当前连接具有相同服务的连接数等9种特征。第四种是基于主机的网络流量统计特征，共包括前100个连接中，与当前连接具有相同目标主机的连接数、与当前连接具有相同目标主机相同服务的连接数等10种特征。第42列为网络是否被攻击的结果。第43列是0-21之间的某个数值，表示的是早期的研究人员在研究的过程中采用了21种机器学习的算法，这21个算法中正确分类该样本的次数，因此在做训练时需要将该列剔除。此外，特征2、3、4及结果均为非数值类型，为了使数据集适应机器学习模型，需要对其进行一一映射，转化为数值形式。其中，结果只分为：正常和攻击。“正常”映射为“0”；“攻击”映射为“1”。
所述步骤2)中，贝叶斯优化-XGBoost算法对网络入侵进行检测具体为：
把处理后的数据用来训练XGBoost模型，然后对XGBoost模型用贝叶斯优化方法调出最优参数组合，并输出最优参数情况下模型对网络入侵的检测结果及相关评价指标。详情参考图2。
为了使XGBoost模型效果达到最优，引入了XGBoost算法的目标函数。XGBoost目标函数共包括三项，第一项是样本损失和，表示模型拟合训练数据的程度，其中，n表示样本的数量，yi为数据集中第i个样本的真实值，/>为XGBoost的第i个样本进行t次迭代后的预测值。t表示有t棵CART树，每棵树相当于一个基分类器，从1棵树开始到t棵树共经过t次迭代。Ω(ft)是正则项，表示模型的复杂程度，Constant为常数项。模型对应的目标函数公式如下：
正则项包含两部分，其中，γ具有剪枝的作用，抑制节点的分裂，为叶子树惩罚正则项，或称L1正则的惩罚项，T表示叶子节点的数量。λ表示叶子权重惩罚正则项，或称L2正则的惩罚项,在计算分割点的过程中计算增益时可以起到平滑的作用，ω为叶子节点权重值。对应公式如下：
为了使目标函数便于理解和优化，可通过叠加的方式进行展开，相应公式如下：
泰勒公式二阶导可近似表示为：
对上述目标函数进行泰勒二级展开，得到：
其中为前t-1棵树的预测误差，为常数。去除常数项，并设：
则上述目标函数可以转化为：
经过泰勒展开后的目标函数只与每个数据点在损失函数上的一阶导数和二阶导数有关。所以，可以在不选定损失函数具体形式的情况下，进行叶子分裂优化计算，极大程度上增加了XGBoost的适用性。
以第t棵树为例，要确定一颗CART树需要确定两部分，第一部分就是树的结构，这个结构将输入样本映射到一个确定的叶子节点上，记作：ft(x)。第二部分就是各个叶子节点的值，q(x)表示输出的叶子节点序号，wq(x)表示对应叶子节点序号的值。于是有：
ft(x)＝wq(x)
将上述公式代入目标函数可得到：
将Ω(ft)带入上式得到：
因为对于XGBoost来说，每一个数据点xi最终都会落在叶子节点上，而对落在同一叶子节点上的数据来说其输出值都是一样的，因此可以记作wj。(wj是需要求解的最优权重。)叶子节点的总数量为T。则目标函数可以进一步改写为：
假设每个叶子节点里面一阶梯度的和为Gj，二阶梯度的和为Hj，即：
则上述目标函数可以转化为：
wj为一元二次函数，用目标函数对wj求导，可得到最优的wj为：
随后将节点权重带入目标函数，可得到最优目标函数的结果。如下：
目标函数是衡量CART树好坏的标准，值越小，代表这样的结构越好。通过目标函数找出最佳切分点，从而构建CART树。
然而，一个XGBoost模型由多棵CART树构成，因此，为了能使整个XGBoost模型达到最优，需要设置合适数量的CART树，以及树的最大深度、整个过程的学习率等。因此本设计提出了通过贝叶斯调参的方法来对XGBoost进行优化，选出最优的参数集合，从而使模型效果达到最好。
贝叶斯调参的本质就是：建立目标函数模型F(X)，并用它选择最优的参数集合X*。(注：F(X)是以模型绘制的ROC曲线与两个坐标轴围成的面积，即AUC的值作为目标函数。)X是待调节参数，X*是使目标函数值最大、模型效果最好的参数集合，包括CART树的数量、学习率、最大深度等。
X*＝argmaxF(X)
通过使F(X)最大化找到最优的参数集合X*，再结合上述步骤中构建的CART树，便可以构造出效果较好的XGBoost模型。把步骤1)中预处理后的数据做训练并预测，可以得到一组预测值P1，即每个样本被预测为“攻击”的概率值。根据得到的P1与0.5进行比较，可得到模型的预测结果，即相应的P1小于0.5，/>取0，否则/>为1。
所述步骤3)中，LSTM是RNN的一种特殊类型，相比于普通的RNN，LSTM可解决梯度爆炸和消失问题。LSTM在RNN的基础上增加了3个门的逻辑控制单元。
如图3所示，图的上方，一条水平线直接从ct-1指向ct，类似一条传送带，只有少量的线性交互，信息在上面流传会变得很容易，这条线即为细胞状态。当前时刻的状态ct是由上一次的单元状态ct-1按元素乘以遗忘门ft，再用当前输入的单元状态按元素乘以输入门it，再将两个积相加产生。
如图4所示，最左边的通路即为遗忘门，LSTM用遗忘门决定信息的保留程度ft，Wf是遗忘门的权重矩阵；[ht-1,xt]表示将两个向量连接成一个更长的向量；bf是遗忘门的偏置项；σ是sigmoid函数。遗忘门会读取xt和ht-1，生成一个0-1之间的数值给每个在细胞状态Ct-1。“1”表示“全部保留”，“0”表示“完全舍弃”。公式如下，其中ht-1表示的是上一个细胞的输出，和xt(数据集中的样本)一起作为当前细胞的输入。
ft＝σ(Wf·[ht-1,xt]+bf)
如图5所示，中间的通路是输入门，其中sigmoid层决定了要更新的信息，一个tanh层生成一个向量，即备选的用来更新内容，二者结合，把Ct-1更新为Ct。it为输入门的输出，是当前输入的单元状态，Wi和WC为权重矩阵；bi和bC偏置项。公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
如图6所示，最右边的通路即为输出门，基于整个的细胞状态，运行一个sigmoid层来决定输出的内容。然后把细胞状态通过tanh进行处理(得到一个在-1到1之间的值)并将它和sigmoid门的输出相乘，最终输出我们确定输出的那部分。Wo为输出门权重矩阵；bo为输出门偏置项；ot是输出门输出；ht是最终LSTM的输出。
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(ct)
本发明采用的是双向LSTM，相当于复制了单层的LSTM，关键点在于，双向LSTM是两层并排，将样本序列按顺序输入第一层，即前向层。同时，将样本序列的反向序列输入第二层，即后向层。单层LSTM的输出在前文已做详细阐述。设前向层的输出为ht，后向层的输出为h't，则有公式：
ht＝F(xtw4+ht-1w1)
h't＝F(xtw3+h't-1w2)
最后把前向层和后向层相应时刻输出的结果进行结合，得到双向LSTM最终的输出。(LSTM最终的输出同XGBoost一样，以预测样本为“攻击”的概率值P2作为输出。)详情参考图7。
所述步骤4)，即把步骤2)和步骤3)两个模块得到的样本预测为“攻击”的概率值P1和P2进行加权融合，得到最终的预测值P。公式如下：(是加权融合)
设置一个大小为0.5的阈值，若预测值大于等于0.5，则最终的预测结果输出“攻击”，否则，输出“正常”。通过把预测为“攻击”或“正常”的结果跟实际的结果做对比，得到得到TP、TN、FP、FN。其中TP(True Positive)为真阳性，即实际和预测结果都为“正常”的样本数量；TN(True Negative)为真阴性，即即网络实际为正常，却被模型预测为攻击的样本数量；FP(False Positive)为假阳性，即实际结果为“攻击”，却被模型预测为“正常”的样本数量；FN(False Negative)为假阴性，即实际为结果为“正常”，却被模型预测为“攻击”的样本数量。由TP、TN、FP、FN得到包含准确率(Accuracy)、精准率(Precision)、召回率(Recall)、F1score的评价指标。相关公式如下：
综上，本实施例提供的一种深度学习和改进的XGBoost相结合的智能电网入侵检测方法，其中数据预处理，解决了数据异常问题，有效的降低了训练过程中，数据异常带来的一系列问题；随后的贝叶斯优化XGBoost，解决了传统的参数优化方法耗时和容易错过全局最优问题；最后把改进后的XGBoost同深度学习模型LSTM相结合，提高了模型预测的准确率。
尽管本发明的内容在上述优选实例做了详细的介绍，但本发明的保护范围不限于此。对本领域的普通技术人员来讲，只要各种变化在所附的权利要求限定范围内，都是显而易见的。本发明的保护范围以权利要求书为准。
Claims (5)
1.基于LSTM-XGBoost的智能电网入侵检测方法，其特征在于，包括以下步骤：
1)对网络监测数据集进行预处理，把非数值的特征映射为数值型特征；
2)利用贝叶斯优化XGBoost算法对数据集进行预测，得到预测样本为攻击的概率；
3)通过LSTM对数据集进行预测，得到预测样本为攻击的概率；
4)将步骤2)和步骤3)分别得到的预测结果进行加权融合，得到样本被预测为攻击的概率值；将概率值与阈值进行比较，得到电网入侵检测结果；
所述步骤2)具体为：
把经过预处理的数据集导入XGBoost模型，通过贝叶斯优化方法对XGBoost模型参数优化调整，输出最佳的参数组合，包括CART树数量、模型学习率和最大深度；
在参数最优的情况下，XGBoost模型对待测试的样本进行预测，输出每个样本被预测为攻击的概率值；概率值大于或等于阈值，则输出攻击，否则输出正常；
所述XGBoost模型的构建包括以下步骤：
根据目标函数构建CART树，进而构成XGBoost模型；模型的输入为经预处理数据集中的样本，输出状态预测值和预测值P1；所述状态预测值为0或1，所述预测值P1为每个样本被预测为攻击的概率值；
其中，目标函数如下：
Obj*为目标函数，Gj、Hj分别表示一阶梯度的和、二阶梯度的和，j为叶子节点序号；T为CART树的叶子节点的总数量，λ表示叶子权重惩罚正则项；
l表示损失函数，yi为经预处理的数据集中第i个样本的真实值，为第i个样本经XGBoost模型进行t次迭代后的状态预测值，n为样本数量。
2.根据权利要求1所述的基于LSTM-XGBoost的智能电网入侵检测方法，其特征在于，所述步骤1)具体为：
对数据集中的非数值型特征进行映射，转化为数值形式；把样本的结果转化为正常或攻击两种状态，并分别映射为0和1。
3.根据权利要求1所述的基于LSTM-XGBoost的智能电网入侵检测方法，其特征在于，所述步骤3)中采用双向LSTM对数据集进行预测，得到预测结果。
4.根据权利要求3所述的基于LSTM-XGBoost的智能电网入侵检测方法，其特征在于，所述双向LSTM包括在输入层与输出层之间依次设有的向前层和后向层；输入层xt分别乘以权重w1、w4输入至后向层相应的LSTM、前向层的相应的LSTM，后向层相应的LSTM、前向层的相应的LSTM分别乘以权重w6、w5输入至相应的输出层其中，输入层xt用输入步骤1)中预处理后的数据；输出层/>为预测样本为攻击的概率值；
在后向层中，当前LSTM接收后一个LSTM输出与权重w2的乘积作为输入；在前向层中，当前LSTM接收前一个LSTM输出与权重w3的乘积作为输入。
5.根据权利要求1所述的基于LSTM-XGBoost的智能电网入侵检测方法，其特征在于，所述步骤4)中通过加权的方法把步骤2)和步骤3)中得到的预测的概率值进行融合，得到组合模型的预测概率值；最后将预测的概率值同阈值进行比较，输出组合模型的预测结果：当最后的预测概率值大于或等于阈值时，预测结果为攻击；否则预测结果为正常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238068.5A CN112464996B (zh) | 2020-11-09 | 2020-11-09 | 基于LSTM-XGBoost的智能电网入侵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011238068.5A CN112464996B (zh) | 2020-11-09 | 2020-11-09 | 基于LSTM-XGBoost的智能电网入侵检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464996A CN112464996A (zh) | 2021-03-09 |
| CN112464996B true CN112464996B (zh) | 2023-07-25 |
Family
ID=74825291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011238068.5A Active CN112464996B (zh) | 2020-11-09 | 2020-11-09 | 基于LSTM-XGBoost的智能电网入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464996B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113079150B (zh) * | 2021-03-26 | 2022-09-30 | 深圳供电局有限公司 | 一种电力终端设备入侵检测方法 |
| CN113536299A (zh) * | 2021-07-08 | 2021-10-22 | 浙江网安信创电子技术有限公司 | 一种基于贝叶斯神经网络的入侵检测系统的设计方法 |
| CN113722713A (zh) * | 2021-09-10 | 2021-11-30 | 上海观安信息技术股份有限公司 | 一种恶意代码检测的方法、装置、电子设备及存储介质 |
| CN114943189B (zh) * | 2022-07-26 | 2023-04-07 | 广东海洋大学 | 一种基于XGboost的声速剖面反演方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110149310A (zh) * | 2019-04-09 | 2019-08-20 | 中国科学院计算机网络信息中心 | 流量入侵检测方法、装置及存储介质 |
| CN110245801A (zh) * | 2019-06-19 | 2019-09-17 | 中国电力科学研究院有限公司 | 一种基于组合挖掘模型的电力负荷预测方法及系统 |
| CN110933031A (zh) * | 2019-10-25 | 2020-03-27 | 国网吉林省电力有限公司电力科学研究院 | 一种基于lstm的智能电网配电终端单元入侵检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10826932B2 (en) * | 2018-08-22 | 2020-11-03 | General Electric Company | Situation awareness and dynamic ensemble forecasting of abnormal behavior in cyber-physical system |
-
2020
- 2020-11-09 CN CN202011238068.5A patent/CN112464996B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110149310A (zh) * | 2019-04-09 | 2019-08-20 | 中国科学院计算机网络信息中心 | 流量入侵检测方法、装置及存储介质 |
| CN110245801A (zh) * | 2019-06-19 | 2019-09-17 | 中国电力科学研究院有限公司 | 一种基于组合挖掘模型的电力负荷预测方法及系统 |
| CN110933031A (zh) * | 2019-10-25 | 2020-03-27 | 国网吉林省电力有限公司电力科学研究院 | 一种基于lstm的智能电网配电终端单元入侵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于循环神经网络的无线网络入侵检测分类模型构建与优化研究;陈红松;陈京九;;电子与信息学报(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464996A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464996B (zh) | 基于LSTM-XGBoost的智能电网入侵检测方法 | |
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| CN110119854A (zh) | 基于代价敏感lstm循环神经网络的稳压器水位预测方法 | |
| CN111815033A (zh) | 一种基于rcnn和气象时序特征的海上风电功率预测方法 | |
| CN112966714B (zh) | 一种边缘时序数据异常检测和网络可编程控制方法 | |
| CN110473592A (zh) | 基于图卷积网络的有监督的多视角人类协同致死基因预测方法 | |
| CN114330094A (zh) | 一种基于tcn-gru联合模型的风电功率短期预测方法 | |
| CN111461463A (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
| Tan et al. | Multi-node load forecasting based on multi-task learning with modal feature extraction | |
| CN114462718A (zh) | 基于时间滑动窗口的cnn-gru风电功率预测方法 | |
| CN111768622A (zh) | 一种基于改进灰狼算法的短时交通量预测方法 | |
| CN114169374A (zh) | 一种斜拉桥斜拉索损伤识别方法及电子设备 | |
| CN116050281A (zh) | 一种基坑变形监测方法及系统 | |
| CN114819340A (zh) | 一种用于天然气日负荷的时序预测方法 | |
| CN112381282A (zh) | 基于宽度学习系统的光伏发电功率预测方法 | |
| Cao et al. | A hybrid feature selection-multidimensional LSTM framework for deformation prediction of super high arch dams | |
| CN114357670A (zh) | 一种基于bls和自编码器的配电网用电数据异常预警方法 | |
| Li et al. | A LSTM-based method for comprehension and evaluation of network security situation | |
| CN113033898A (zh) | 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统 | |
| Gottam et al. | A CNN-LSTM model trained with grey wolf optimizer for prediction of household power consumption | |
| Yang et al. | Software defect prediction: an ensemble learning approach | |
| Zheng et al. | Landslide Displacement Prediction Based on Transfer Learning and Bi-GRU | |
| Peng et al. | Meteorological satellite operation prediction using a BiLSTM deep learning model | |
| Wang et al. | Research on the gas emission quantity prediction model of improved artificial bee colony algorithm and weighted least squares support vector machine (IABC-WLSSVM) | |
| Jin et al. | Research on multi-sensor information fusion algorithm of fan detection robot based on improved BP neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |