CN115174132B - 一种基于网络流量的电力物联网入侵检测方法 - Google Patents
一种基于网络流量的电力物联网入侵检测方法 Download PDFInfo
- Publication number
- CN115174132B CN115174132B CN202210518604.XA CN202210518604A CN115174132B CN 115174132 B CN115174132 B CN 115174132B CN 202210518604 A CN202210518604 A CN 202210518604A CN 115174132 B CN115174132 B CN 115174132B
- Authority
- CN
- China
- Prior art keywords
- model
- things
- intrusion detection
- layer
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013139 quantization Methods 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 24
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 125000004122 cyclic group Chemical group 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 2
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于网络流量的电力物联网入侵检测方法，包括如下步骤：1)使用CNN(卷积神经网络)和RNN(循环神经网络)来搭建入侵检测分类模型；2)基于R‑Drop方法对模型进行优化；3)边缘物联代理使用训练后量化模型转换方法缩减入侵检测分类模型大小，使模型能够部署到存储空间有限的边缘物联设备上，完成网络流量分类模型的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型、执行入侵检测分类任务。本发明提出适合电力物联网的基于RNN和CNN入侵检测分类模型；使用R‑drop正则方法训练优化，有效提升入侵检测分类模型速度和性能；分类模型能够以较低的计算资源消耗、高效的计算效率在电力物联网边缘物联代理设备上完成入侵检测分类任务。
Description
方法领域
本发明涉及一种基于网络流量的电力物联网入侵检测方法，属于电力物联网安全防护方法领域。
背景方法
在人工智能方法催动的智能工业发展的情况下，电力行业紧随时代潮流，智能电网应运而生，而智能电网发展阶段的关键点在于电力物联网的构建。根据国家电网公司提出“三型两网，推进电力物联网建设”的发展内容，电力物联网的建设不再简单的局限于网络隔离的单一局域网工业环境，开始向“大数据、云计算、万物互联、可信计算、海量异构”的工业网和信息网相结合的形态演进。电力物联网包含以下主要要素：丰富的传感器、智能化边缘设备、多样复杂的网络结构中的网络设备以及云端服务中心。电力物联网从感知端到物联管理中心端包含了丰富多样的设备和网络结构，若不能对整个系统的各个环节进行有效的监控，则很容易被入侵，威胁电力物联网的安全。而电力领域原有隔离网络安全防护手段是不足以应对电力物联网新风险，如何解决电力物联网环境下海量物联设备的网络安全风险，满足物联终端安全防护需求是亟待解答的重要问题。
入侵检测方法是一种通过分析网络系统中存在的数据信息波动变化来判断是否存在网络安全入侵的方法，基于分析数据源的不同将入侵检测方法分为两种：基于主机信息的入侵检测和基于网络的入侵检测，其中基于网络的入侵检测是通过分析网络流经的证据信息来分析入侵行为的，主要分为两种方式：基于网络数据包和基于网络流量。由于网络流量相较于数据包没有冗余，信息更加简练，对网络状态的刻画更有代表性，使得通过算法对其分析判断网络状态成为入侵检测研究的重要方向，网络流量入侵检测通过对网络中的流量数据信息分类，实现监控网络状态，以及及时发现未知的攻击行为，尤其是应用机器学习和深度学习就可以很好的实现入侵检测分类任务，相较于其他入侵检测方法，基于网络流量的入侵检测更适用于电力物联网。
考虑到电力物联网的安全复杂多样性主要存在于网络结构中，防止整个网络系统入侵是电力物联网网络安全的第一要务。海量异构的设备产生的海量数据信息在网络传输中产生了海量的网络流量。因此需研究有效的电力物联网网络流量分析方法实现对电力物联网的网络安全的监控与检测。
电力物联网架构在沿袭物联网终端感知层、网络传输层、平台应用层三层架构的基础上，增加了边缘物联代理层，物联代理是感知层的设备管理和数据汇集者，对上层通过网络通讯与平台层进行数据传输，数据采集和存储、连接管理、设备监视、终端安全接入、边缘计算等操作。由于物联网的分布式网络结构区别于传统互联网，物联网结构中从云端、中心到边缘终端设备的存储计算差异较大，电力物联网的入侵检测方法，不能简单套用传统基于网络流量的入侵检测方法，需要针对现有安全防御体系和电力物联网架构进行设计，充分利用边缘物联代理协助进行网络流量入侵检测，进一步深入对电力物联网基于网络流量的入侵检测的研究，提高电力物联网入侵检测能力。
目前电力物联网基于网络流量的入侵检测面临以下问题：
1)传统基于流量的入侵检测严重依赖计算资源，一般部署在物联管理平台侧并基于旁路镜像方法实现流量采集，但电力物联网存在终端海量异构的特点，生成的网络流量巨大，因此传统的入侵检测方法的实时性和准确率无法满足电力物联网的安全需求。
2)边缘物联代理一般为嵌入式设备，计算资源有限，无法运行复杂的入侵检测模型，现有基于深度学习等方法实现的入侵检测分类模型不适用于边缘物联代理。
发明内容
为了保障电力物联网整体的网络安全，以信息安全的可用性、机密性和可靠性为出发点，在计算、存储、运行空间等资源存在限制的情况下，本发明提出一种基于网络流量的电力物联网入侵检测方法，从而可以有效保障电力物联网的网络安全。
为解决上述方法问题，本发明所采用的方法方案如下：
一种基于网络流量的电力物联网入侵检测方法，包括依次相接的如下步骤：
1)使用CNN(卷积神经网络)和RNN(循环神经网络)来搭建入侵检测分类模型，该入侵检测分类模型将RNN和CNN结合使用，利用CNN的速度和轻量性以及RNN对顺序的敏感性，先使用一维卷积作为预处理提取CNN特征，以CNN的输出作为RNN的输入，有效提升分类模型的速度和准确率；
2)引入R-Drop(Regularized Dropout)正则方法到入侵检测分类模型的训练中，R-Drop 通过让每个数据样本经过两次带有Dropout的同一个模型，再使用KL-divergence约束使两次的输出一致，降低Dropout在训练和测试时的不一致性，有效提升模型的性能；
3)边缘物联代理使用训练后量化模型转换方法在不影响模型准确率的情况下缩减入侵检测分类模型大小，使模型能够部署到存储空间有限的边缘物联设备上，完成网络流量分类模型的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型、执行入侵检测分类任务。
入侵检测分类任务过程共有三步，第一步加载神经网络模型、第二步读取实时流量、第三步运行轻量级分类模型。
上述方法，为电力物联网安全提供了有效的保障，有效防止了利用物联网终端等发起的网络攻击行为，提升物联网系统的分析、预警、自愈及灾害防范能力，有效减少网络攻击带来的经济损失，可带来潜在的经济效益，对筑牢电力物联网安全防护基础，保障能源互联网建设的顺利开展具有重要意义。
上述步骤1-2)中搭建分类模型以及使用R-Drop对模型进行训练优化在电力物联网的平台应用层完成。
上述步骤1)中，基于CNN+RNN的入侵检测分类模型主要由一维卷积神经网络层、(BN)Batch Normalization层、RNN层、全连接网络层以及输出部分组成，搭建该分类模型具体细节如下：第一层为一维卷积层，其激活函数为ReLU(Rectified Linear Unit)，填充规则为相同填充，第二层为最大池化层，第三层为BN正则层，防止网络过拟合，第四、五层同样是卷积层与池化层。数据经过卷积部分后，经过RNN层进行时序特征提取，第六层为RNN或双向循环神经网络(BiRNN)层，输出规则为序列到类别填充规则，其中RNN使用GRU(GatedRecurrent Unit)和LSTM(Long Short Term Memory)两种循环神经网络结构，在经过两层具有下采样功能的全连接层后，到最后一层多分类softmax 激活层，输出分类结果。
上述步骤2)中，基于R-drop方法对入侵检测分类模型训练优化：
Dropout是一个有效的正则方法用来训练神经网络，Dropout只需要简单地在训练过程中丢弃一部分的神经元，来避免在训练过程中的过拟合问题，正是因为每次随机丢弃部分神经元，导致每次丢弃后产生的子模型都不一样，所以Dropout的操作一定程度上使得训练后的模型是一种多个子模型的组合约束，为此，提出了R-Drop正则方法来进一步对(子模型)网络的输出预测进行了正则约束，该方法迫使不同的子模型输出分布一致，对每个训练样本，R-Drop最小化双向KL散度，使dropout采样的两个子模型的输出分布之间的双向KL发散最小化。
使用R-Drop正则方法对基于卷积神经网络和循环神经网络的分类网络模型进行优化，通过迫使带有DropOut的神经网络输出分布尽可能一致，促进整个分类模型性能的提升。具体步骤如下：
基于R-Drop算法的神经网络训练流程与简单的前向传播和反向优化的流程存在一定的差异，经过预处理的数据样本x输入带有DropOut正则的神经网络f*(x)两次，即同一数据进行两次前馈传播，提取的特征最终在softmax层输出分类结果，公式如下所示：
za＝f*(x)
zb＝f*(x)
za和zb分别为数据x经过带有DropOut正则的神经网络f*(x)两次的结果，再依次经过 softmax层得到两次输出预测如下：
ya＝softmax(za)
yb＝softmax(zb)
针对有标签数数据样本：n对应具体的样本编号，x是数据样本，y是标签，经过同一样本x经过带有dropout的神经网络两次，得到两个不同的分布输出P(1)(yi∣xi)和P(2)(yi∣xi)，由此计算R-Drop损失，交叉熵损失计算如下式所示：
两个分布输出间的KL散度计算如下式所示:
样本得到两个预测结果ya和yb后，可以得到两个不同的分布输出，由上述公式可得和/>再做R-Drop损失计算：
其中，RD是损失函数，W是神经网络的权重，b是偏置，N代表样本数，n对应具体的样本编号，η是用来控制的系数；
在得到交叉熵损失后，神经网络模型进行反向传播计算，进行梯度下降优化，如下式所示：
其中，l表示神经网络的隐藏层级别，α学习率，需要手动人为设定，通过分别对损失函数RD(W,b)求偏导使W和b取到最优，进而使最终模型在训练中达到最佳性能，即损失达到极值点。
上述步骤2)中，模型中部分参数设置如下：
神经网络设置：R-drop需要对神经网络模型进行Dropout设置，由于卷积神经网络层之间不能进行Dropout设置，故只在全连接层和循环神经网络层中进行Dropout设置，在此对Dropout统一设置损失率为0.1；
小批量梯度下降：在该模式下，单个数据需要在模型dropout模式下经过两次模型，获得两次输出预测结果，因此需要重写数据生成器函数，既要满足小批量训练，从而使得数据可以满足两次前馈传播过程，两次反向传播过程。原本小批量数据输入神经网络的时候是输入n×l大小的数据，其中n是小批量数据的大小，l是单个样本的大小，R-Drop设定的时候只需增加数据维度变为n×2×l即可；
损失函数代码：损失函数是用来衡量算法预测值和真实值的差异程度，在神经网络算法中，通过作用于梯度下降算法，来调节模型在数据上的泛化程度，损失函数的特性决定了其本身就像模型的评判器，对模型输出与真实值做出判断评分，合适的评分才能正向激励模型对数据的泛化，使模型具有鲁棒性。编写自己的损失函数代码，以此来实现根据数据两次Dropout的预测分布与目标分布计算的交叉熵损失和KL散度，生成最终的R-drop 损失。
上述步骤3)中，使用训练后量化方法缩减分类模型大小并部署分类模型：
训练后量化是一种神经网络模型转换方法，它是量化方法的分支，旨在针对训练后的神经网络模型参数的优化转变，在此方法中，开发人员首先使用任何深度学习方法将自己的神经网络模型训练到最优，使用TensorFlow Lite转换器将已训练的浮点TensorFlow模型转换为TensorFlow Lite格式，一般是将模型中Float32的数据格式转化为INT8，此种方法改善神经网络在CPU环境下的运行速率，同时缩减模型大小，且几乎不会降低模型准确率；之后将转换后的轻量级分类模型部署到开发环境中配置了Tensorflowlite依赖的边缘物联代理设备上，完成网络流量分类模型的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型执行入侵检测分类任务。
本发明未提及的方法均参照现有方法。
本发明基于网络流量的电力物联网入侵检测方法，主要包含入侵检测分类模型的搭建、基于R-Drop方法对模型进行优化、利用训练后量化方法在边缘物联代理设备上压缩并部署入侵检测分类模型，具有以下创新点：
1)本发明基于电力物联网的发展现状，针对电力物联网的特点，利用深度学习方法，提出适合电力物联网的基于RNN和CNN入侵检测分类模型。
2)本发明使用R-drop正则方法训练优化，有效提升入侵检测分类模型速度和性能。
3)本发明应用训练后量化的神经网络量化方案，用TensorflowLite转换方法入侵检测分类模型进行压缩转换，使分类模型能够以较低的计算资源消耗、高效的计算效率在电力物联网边缘物联代理设备上完成入侵检测分类任务。
附图说明
图1为本发明混合神经网络图。
图2为本发明R-Drop算法训练图。
图3为本发明模型执行分类检测任务流程图。
图4为本发明模型部署图。
图5为模型准确率折线图。
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。
一种基于网络流量的电力物联网入侵检测方法，包括依次相接的如下步骤：
1)搭建基于卷积神经网络(CNN)和循环神经网络(RNN)的入侵检测分类模型：
基于CNN+RNN的入侵检测分类模型主要由一维卷积神经网络层、(BN)BatchNormalization层、RNN层、全连接网络层以及输出部分组成。第一层为一维卷积层，其激活函数为ReLU(Rectified Linear Unit)，填充规则为相同填充，第二层为最大池化层，第三层为BN正则层，防止网络过拟合，第四、五层同样是卷积层与池化层。数据经过卷积部分后，经过RNN层进行时序特征提取，第六层为RNN或双向循环神经网络 (BiRNN)层，输出规则为序列到类别填充规则，其中RNN使用GRU(Gated Recurrent Unit)和LSTM(Long Short TermMemory)两种循环神经网络结构，在经过两层具有下采样功能的全连接层后，到最后一层多分类softmax激活层，输出分类结果，其结构如图1所示。
2)基于R-drop方法对入侵检测分类模型训练优化：
Dropout是一个有效的正则方法用来训练神经网络，Dropout只需要简单地在训练过程中丢弃一部分的神经元，来避免在训练过程中的过拟合问题，正是因为每次随机丢弃部分神经元，导致每次丢弃后产生的子模型都不一样，所以Dropout的操作一定程度上使得训练后的模型是一种多个子模型的组合约束，为此，提出了R-Drop正则方法来进一步对(子模型)网络的输出预测进行了正则约束，该方法迫使不同的子模型输出分布一致，对每个训练样本，R-Drop最小化双向KL散度，使dropout采样的两个子模型的输出分布之间的双向KL发散最小化。
使用R-Drop正则方法对基于卷积神经网络和循环神经网络的分类网络模型进行优化，通过迫使带有DropOut的神经网络输出分布尽可能一致，促进整个分类模型性能的提升，算法的训练流程如图2所示，具体步骤如下：
基于R-Drop算法的神经网络训练流程与简单的前向传播和反向优化的流程存在一定的差异，经过预处理的数据样本x输入带有DropOut正则的神经网络两次，即同一数据进行两次前馈传播，提取的特征最终在softmax层输出分类结果，公式如下所示：
za＝f*(x)
zb＝f*(x)
za和zb分别为数据x经过带有DropOut正则的神经网络f*(x)两次的结果，再依次经过softmax层得到两次输出预测如下：
ya＝softmax(za)
yb＝softmax(zb)
针对有标签数数据样本，n对应具体的样本编号，x是数据样本，y是标签，经过同一样本x经过带有dropout的神经网络两次，得到两个不同的分布输出P(1)(yi∣xi)和P(2)(yi∣xi)，由此计算R-Drop损失，交叉熵损失计算如下式所示：
两个分布输出间的KL散度计算如下式所示:
样本得到两个预测结果ya和yb后，可以得到两个不同的分布输出，由上述公式可得和/>再做R-Drop损失计算：
其中RD是损失函数，W是神经网络的权重，b是偏置，N代表样本数，n对应具体的样本编号，η是用来控制的系数。在得到交叉熵损失后，神经网络模型进行反向传播计算，进行梯度下降优化，如下式所示：
其中，l表示神经网络的隐藏层级别，α学习率，需要手动的人为设定，通过分别对损失函数RD(W,b)求偏导使W和b取到最优，进而使最终模型在训练中达到最佳性能，即损失达到极值点。
模型参数设置如下：
神经网络设置：R-drop需要对神经网络模型进行Dropout设置，由于卷积神经网络层之间不能进行Dropout设置，故只在全连接层和循环神经网络层中进行Dropout设置，在此对Dropout统一设置损失率为0.1。
小批量梯度下降：在该模式下，单个数据需要在模型dropout模式下经过两次模型，获得两次输出预测结果，因此需要重写数据生成器函数，既要满足小批量训练，从而使得数据可以满足两次前馈传播过程，两次反向传播过程。原本小批量数据输入神经网络的时候是输入大小的数据，其中n是小批量数据的大小，l是单个样本的大小， R-Drop设定的时候只需增加数据维度变为n×即可。
损失函数代码：损失函数是用来衡量算法预测值和真实值的差异程度，在神经网络算法中，通过作用于梯度下降算法，来调节模型在数据上的泛化程度，损失函数的特性决定了其本身就像模型的评判器，对模型输出与真实值做出判断评分，合适的评分才能正向激励模型对数据的泛化，使模型具有鲁棒性。编写自己的损失函数代码，以此来实现根据数据两次Dropout的预测分布与目标分布计算的交叉熵损失和KL散度，生成最终的R-drop损失。
3)使用训练后量化方法缩减分类模型大小并部署分类模型：
训练后量化是一种神经网络模型转换方法，它是量化方法的分支，旨在针对训练后的神经网络模型参数的优化转变，在此方法中，开发人员首先使用任何深度学习方法将自己的神经网络模型训练到最优，使用TensorFlow Lite转换器将已训练的浮点TensorFlow模型转换为TensorFlow Lite格式后。一般是将模型中Float32的数据格式转化为INT8，此种方法改善神经网络在CPU环境下的运行速率，同时缩减模型大小，且几乎不会降低模型准确率。之后将转换后的轻量级分类模型部署到开发环境中配置了 tensorflowlite依赖的边缘物联代理设备上，完成网络流量分类模型的的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型执行入侵检测分类任务，其流程如图3所示。
本发明主要包含入侵检测分类模型的搭建、基于R-Drop方法对模型进行优化、利用训练后量化方法在边缘物联代理设备上压缩并部署三个部分，结合电力物联网架构，本发明模型部署如图4所示。
4)实验结果与分析
实验使用卷积神经网络层、循环神经网络层、全连接层构建多种结构神经网络以验证不同网络的性能。使用基于交叉熵Cross Entropy损失的有监督训练方式和基于R-drop正则的有监督训练方式做对比实验。
在数据集的选择，使用UNSW2018IoT提供的经过特征工程筛选后的优化子数据集，使用准确率、精确率、召回率、F1分数四种评估指标，实验结果如表1所示，可见单一的基于卷积神经网络和基于循环神经网络的模型的性能明显不如基于卷积神经网络和循环神经网络的混合神经网络模型性能，证明了本专利结合CNN和RNN是必要的，结合 CNN和BiGRU并使用R-Drop正则优化的神经网络模型整体取得了最好的结果。其中基于R-Drop正则优化的神经网络模型的性能是整体优于基于交叉熵Cross Entropy损失训练的模型,如图5(图中位于上方的线为R-Drop，位于下方的线为Cross Entropy)，该方法有效的提升了神经网络的泛化能力。
表1
Claims (6)
1.一种基于网络流量的电力物联网入侵检测方法，其特征在于：包括依次相接的如下步骤：
1)使用CNN和RNN来搭建入侵检测分类模型，先使用一维卷积作为预处理提取CNN特征，以CNN的输出作为RNN的输入；
2)引入R-Drop正则方法到入侵检测分类模型的训练中，R-Drop通过让每个数据样本经过两次带有Dropout的同一个模型，再使用KL-divergence约束使两次的输出一致；
3)边缘物联代理使用训练后量化模型转换方法缩减入侵检测分类模型大小，使模型能够部署到存储空间有限的边缘物联设备上，完成网络流量分类模型的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型、执行入侵检测分类任务。
2.如权利要求1所述的基于网络流量的电力物联网入侵检测方法，其特征在于：步骤1)和步骤2)在电力物联网的平台应用层完成。
3.如权利要求1或2所述的基于网络流量的电力物联网入侵检测方法，其特征在于：步骤1)中，入侵检测分类模型：第一层为一维卷积层，其激活函数为ReLU，填充规则为相同填充；第二层为最大池化层；第三层为BN正则层，防止网络过拟合；第四、五层是卷积层与池化层，数据经过卷积部分后，经过RNN层进行时序特征提取；第六层为RNN或双向循环神经网络层，输出规则为序列到类别填充规则，其中RNN使用GRU和LSTM两种循环神经网络结构，在经过两层具有下采样功能的全连接层后，到最后一层多分类softmax激活层，输出分类结果。
4.如权利要求1或2所述的基于网络流量的电力物联网入侵检测方法，其特征在于：步骤2)的具体步骤如下：
经过预处理的数据样本x输入带有DropOut正则的神经网络f*(x)两次，即同一数据进行两次前馈传播，提取的特征最终在softmax层输出分类结果，公式如下所示：
za＝f*(x)
zb＝f*(x)
za和zb分别为数据x经过带有DropOut正则的神经网络f*(x)两次的结果，再依次经过softmax层得到两次输出预测如下：
ya＝softmax(za)
yb＝softmax(zb)
针对有标签数数据样本：n对应具体的样本编号，x是数据样本，y是标签，经过同一样本x经过带有dropout的神经网络两次，得到两个不同的分布输出P(1)(yi∣xi)和P(2)(yi∣xi)，由此计算R-Drop损失，交叉熵损失计算如下式所示：
两个分布输出间的KL散度计算如下式所示:
样本得到两个预测结果ya和yb后，可以得到两个不同的分布输出，由上述公式可得和/>再做R-Drop损失计算：
其中，RD是损失函数，W是神经网络的权重，b是偏置，N代表样本数，n对应具体的样本编号，η是用来控制的系数；
在得到交叉熵损失后，神经网络模型进行反向传播计算，进行梯度下降优化，如下式所示：
其中，l表示神经网络的隐藏层级别，α学习率，需要手动人为设定，通过分别对损失函数RD(W,b)求偏导使W和b取到最优，进而使最终模型在训练中达到最佳性能，即损失达到极值点。
5.如权利要4所述的基于网络流量的电力物联网入侵检测方法，其特征在于：步骤2)中，模型中部分参数设置如下：
神经网络设置：在全连接层和循环神经网络层中进行Dropout设置，对Dropout统一设置损失率为0.1；
小批量梯度下降：n×2×1，其中，n是小批量数据的大小，l是单个样本的大小；
损失函数代码：编写自己的损失函数代码，以此来实现根据数据两次Dropout的预测分布与目标分布计算的交叉熵损失和KL散度，生成最终的R-drop损失。
6.如权利要求1或2所述的基于网络流量的电力物联网入侵检测方法，其特征在于：步骤3)中，使用训练后量化方法缩减分类模型大小并部署分类模型，首先使用任何深度学习方法将自己的神经网络模型训练到最优，使用TensorFlow Lite转换器将已训练的浮点TensorFlow模型转换为TensorFlow Lite格式；之后将转换后的轻量级分类模型部署到开发环境中配置了Tensorflow lite依赖的边缘物联代理设备上，完成网络流量分类模型的搭建，边缘物联代理通过读取实时流量运行该轻量级分类模型执行入侵检测分类任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210518604.XA CN115174132B (zh) | 2022-05-13 | 2022-05-13 | 一种基于网络流量的电力物联网入侵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210518604.XA CN115174132B (zh) | 2022-05-13 | 2022-05-13 | 一种基于网络流量的电力物联网入侵检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115174132A CN115174132A (zh) | 2022-10-11 |
| CN115174132B true CN115174132B (zh) | 2024-02-06 |
Family
ID=83483645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210518604.XA Active CN115174132B (zh) | 2022-05-13 | 2022-05-13 | 一种基于网络流量的电力物联网入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115174132B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117354056B (zh) * | 2023-12-04 | 2024-02-13 | 中国西安卫星测控中心 | 基于卷积神经网络和集成学习算法的网络入侵检测方法 |
| CN118282780B (zh) * | 2024-06-03 | 2024-07-30 | 北京邮电大学 | 一种新能源汽车车载网络入侵检测方法、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018067304A (ja) * | 2016-10-21 | 2018-04-26 | ニューソフト コーポレーションＮｅｕｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ | ネットワーク侵入検出方法及び装置 |
| CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
| WO2019147682A1 (en) * | 2018-01-26 | 2019-08-01 | Cisco Technology, Inc. | Intrusion detection model for an internet-of-things operations environment |
| CN110868431A (zh) * | 2019-12-24 | 2020-03-06 | 华北电力大学 | 一种网络流量异常检测方法 |
| CN110881037A (zh) * | 2019-11-19 | 2020-03-13 | 北京工业大学 | 网络入侵检测方法及其模型的训练方法、装置和服务器 |
| CN111209563A (zh) * | 2019-12-27 | 2020-05-29 | 北京邮电大学 | 一种网络入侵检测方法及系统 |
| CN111783442A (zh) * | 2019-12-19 | 2020-10-16 | 国网江西省电力有限公司电力科学研究院 | 入侵检测方法、设备和服务器、存储介质 |
| CN112822189A (zh) * | 2021-01-04 | 2021-05-18 | 中国电力科学研究院有限公司 | 一种流量识别方法及装置 |
| CN112866246A (zh) * | 2021-01-18 | 2021-05-28 | 北方工业大学 | 基于深度学习的DDoS检测方法、装置、电子设备及存储介质 |
| CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
| CN113556319A (zh) * | 2021-06-11 | 2021-10-26 | 杭州电子科技大学 | 物联网下基于长短期记忆自编码分类器的入侵检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10749894B2 (en) * | 2017-02-15 | 2020-08-18 | Cisco Technology, Inc. | Prefetch intrusion detection system |
| US10812504B2 (en) * | 2017-09-06 | 2020-10-20 | 1262214 B.C. Unlimited Liability Company | Systems and methods for cyber intrusion detection and prevention |
-
2022
- 2022-05-13 CN CN202210518604.XA patent/CN115174132B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018067304A (ja) * | 2016-10-21 | 2018-04-26 | ニューソフト コーポレーションＮｅｕｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ | ネットワーク侵入検出方法及び装置 |
| WO2019147682A1 (en) * | 2018-01-26 | 2019-08-01 | Cisco Technology, Inc. | Intrusion detection model for an internet-of-things operations environment |
| CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
| CN110881037A (zh) * | 2019-11-19 | 2020-03-13 | 北京工业大学 | 网络入侵检测方法及其模型的训练方法、装置和服务器 |
| CN111783442A (zh) * | 2019-12-19 | 2020-10-16 | 国网江西省电力有限公司电力科学研究院 | 入侵检测方法、设备和服务器、存储介质 |
| CN110868431A (zh) * | 2019-12-24 | 2020-03-06 | 华北电力大学 | 一种网络流量异常检测方法 |
| CN111209563A (zh) * | 2019-12-27 | 2020-05-29 | 北京邮电大学 | 一种网络入侵检测方法及系统 |
| CN112822189A (zh) * | 2021-01-04 | 2021-05-18 | 中国电力科学研究院有限公司 | 一种流量识别方法及装置 |
| CN112866246A (zh) * | 2021-01-18 | 2021-05-28 | 北方工业大学 | 基于深度学习的DDoS检测方法、装置、电子设备及存储介质 |
| CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
| CN113556319A (zh) * | 2021-06-11 | 2021-10-26 | 杭州电子科技大学 | 物联网下基于长短期记忆自编码分类器的入侵检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于深度Q网络的电力工控网络异常检测系统;王晓竹等;《计算机与现代化》;全文 * |
| 基于混合卷积神经网络和循环神经网络的入侵检测模型;方圆等;《计算机应用》;全文 * |
| 电力信息物理系统入侵检测算法;赵欣;《中国优秀硕士学位论文全文数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115174132A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115174132B (zh) | 一种基于网络流量的电力物联网入侵检测方法 | |
| CN109766992B (zh) | 基于深度学习的工控异常检测及攻击分类方法 | |
| CN111783442A (zh) | 入侵检测方法、设备和服务器、存储介质 | |
| CN112995150B (zh) | 一种基于cnn-lstm融合的僵尸网络检测方法 | |
| CN114580706A (zh) | 基于gru-lstm神经网络的电力金融业务风控方法及系统 | |
| CN115688035A (zh) | 一种基于自监督学习的时序电力数据异常检测方法 | |
| CN111585948A (zh) | 一种基于电网大数据的网络安全态势智能预测方法 | |
| CN112087442B (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
| CN113639993B (zh) | 多模态多任务卷积神经网络的齿轮箱故障诊断方法 | |
| CN117993894B (zh) | 基于人工智能的轨道交通运维状态数据处理方法及系统 | |
| CN116599683A (zh) | 一种恶意流量检测方法、系统、装置及存储介质 | |
| CN116542390A (zh) | 基于图卷积和长短时记忆网络的园区负荷时空预测方法 | |
| Yang et al. | A Novel Bearing Fault Diagnosis Method based on Stacked Autoencoder and End-edge Collaboration | |
| CN114066013B (zh) | 一种用于新能源电力市场的净负荷预测方法及装置 | |
| CN114330500B (zh) | 基于storm平台的电网电力设备在线并行诊断方法及系统 | |
| Chen et al. | Machine learning-based anomaly detection of ganglia monitoring data in HEP Data Center | |
| CN115208619A (zh) | 基于STSA-transformer算法的新型电力系统APT攻击检测方法 | |
| CN115051834A (zh) | 一种基于STSA-transformer算法的新型电力系统APT攻击检测方法 | |
| CN115633090B (zh) | 一种基于eSIM卡和5G网络的多源数据链接方法 | |
| Qiu et al. | Automatic feature extraction model of power iot terminal | |
| CN118506553B (zh) | AIoT异常识别方法、灾害预警系统和道路安全系统 | |
| Zhao et al. | Industrial Internet Network Slice Prediction Algorithm Based on Multidimensional and Deep Neural Networks | |
| CN117768152A (zh) | 一种基于联邦学习和自注意力的工业物联网入侵检测方法 | |
| CN115021981A (zh) | 一种工业控制系统入侵检测及溯源的方法 | |
| Li et al. | A Novel Approach for Traffic Anomaly Detection in Power Distributed Control System and Substation System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |