CN115712857A - 一种异常流量检测方法、设备及介质 - Google Patents
一种异常流量检测方法、设备及介质 Download PDFInfo
- Publication number
- CN115712857A CN115712857A CN202211345680.1A CN202211345680A CN115712857A CN 115712857 A CN115712857 A CN 115712857A CN 202211345680 A CN202211345680 A CN 202211345680A CN 115712857 A CN115712857 A CN 115712857A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- abnormal flow
- flow detection
- flow
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000005284 excitation Effects 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种异常流量检测方法、设备及介质，该方法包括获取网络流量数据；通过经训练的异常流量检测模型得到流量分类结果，并加入注意力机制和批标准化，所述的异常流量检测模型的训练方法包括以下步骤：对训练样本集进行特征提取和数据预处理，获得归一化的数值特征；数值特征依次经过CNN和LSTM得到二维空间特征和时序特征，二维空间特征经过Flatten层得到一维空间特征；注意力机制根据注意力权重增强相关特征，批标准化被添加在异常流量检测模型中每一个全连接层和激励函数之间；通过全连接层和SoftMax层得到流量趋势预测准确率，直至流量趋势预测准确率出现负增长。与现有技术相比，本发明克服了信息过载和LSTM模型的梯度消失的问题。
Description
技术领域
本发明属于控制器局域网安全技术领域，涉及一种异常流量检测方法、设备及介质。
背景技术
控制器局域网(CAN)的快速发展增加了此类网络威胁的风险。近年来，各种物理层和数据链路层技术应用于现代车辆的通信功能，其中最常见的就是CAN通信网络，见图1。因此，我们有必要在整个车辆中植入和加强各种网络防御机制，以减轻网络攻击带来的影响。
现有技术中利用卷积神经网络(CNN)对图像处理在空间特征提取上的优势，将网络流量数据图像化处理后进行空间特征训练，形成流量空间分类模型；把经过卷积神经网络处理后的流量向量再进行时间序列处理，通过长期短期记忆网络(LSTM)来学习流量的时序特征，形成流量时序特征识别模型；结合空间分类模型和时序特征识别模型，对当前网络流量进行分类判别和攻击预测。
但是在当今越来越复杂的网络环境下，网络数据的复杂程度是日益增强的，现有技术处理复杂且多的数据时的效果不够好；其次，该方案忽略了LSTM模型的梯度消失的问题。
发明内容
本发明的目的是提供一种异常流量检测方法、设备及介质，以克服信息过载和LSTM模型的梯度消失的问题。
本发明的目的可以通过以下技术方案来实现：
本发明提供了一种异常流量检测方法，该方法包括：
获取网络流量数据；
通过经训练的异常流量检测模型得到流量分类结果；
所述异常流量检测模型通过CNN和LSTM结合建立，并加入注意力机制和批标准化；
所述的异常流量检测模型的训练方法包括以下步骤：
步骤S1、对训练样本集进行特征提取和数据预处理，获得归一化的数值特征；
步骤S2、所述数值特征依次经过CNN和LSTM得到二维空间特征和时序特征，二维空间特征经过Flatten层得到一维空间特征；
步骤S3、注意力机制根据注意力权重增强相关特征，批标准化被添加在异常流量检测模型中每一个全连接层和激励函数之间；
步骤S4、一维空间特征和时序特征通过全连接层和SoftMax层得到流量趋势预测准确率，返回步骤S1，直至流量趋势预测准确率出现负增长。
进一步地，所述的批标准化为将异常流量检测模型中前一层输入数据通过激活函数的非线性变换进行归一化，再进入敏感区范围，减少节点分布，得到批标准化后输出值。
进一步地，所述的数据预处理包括数据归一化和独热编码。
进一步地，所述的数据归一化为将数据集中极大的数值使用Max-min标准化映射到0到1之间。
进一步地，所述的独热编码为使用N位状态寄存器对N个状态进行编码，其中只有一位有效。
进一步地，所述的训练样本集包括正常流量样本和异常流量检测模型生成的异常流量样本。
进一步地，所述的特征提取提取的特征包括流量的持续时间、流量协议、流量类型和流量字节数。
进一步地，所述的批标准化中的各隐层的计算公式为：
Yi＝αyi′+β
其中，α和β为标准化时需要的学习参数，yi是一层中某一个初始的激活值，yi′为归一化后的值，Yi为批标准化后的值，Hβ是yi的均值，σβ 2是yi的方差，l是用于防止方差为0的调节参数。
本发明提供了一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述的方法。
与现有技术相比，本发明具有以下特点：
1.本发明引入了注意力机制和批标准化，注意力机制可以解决信息过载问题，并提高任务处理的效率和准确性；批标准化可以解决反向传播过程中神经网络训练时梯度消失的问题。
2.本发明使用CNN和LSTM的结合构建而成的异常流量检测模型提取特征，实现有效地分析出当前具有时序信息特征的数据，并提供高细粒度的计算。
附图说明
图1为CAN网络架构示意图；
图2为本发明中异常流量检测模型示意图；
图3为本发明批标准化的结构示意图；
图4为本发明实施例中LG、MLP、CNN和本发明提出的改进模型的准确率的对比示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本发明提供一种异常流量检测方法，见图2，该方法包括将获取的网络流量数据通过经训练的异常流量检测模型得到流量分类结果，
本发明通过以下步骤实现：
步骤(1)，对卷积神经网络(CNN)和长短期记忆网络(LSTM)进行改进，提高训练效率，并且通过LSTM其特殊的“门”结构挖掘出流量数据的时序性特征，使得模型具有良好的泛化能力；
步骤(2)，在步骤(1)的改进基础上，可以在汽车的终端或者在汽车的中央控制器进行部署；
步骤(3)，在每个CAN网络的物理设备进行数据收集，将收集到的数据使用数据归一化和独热编码进行预处理，输入到每个检测单元中；
步骤(4)，将步骤(3)收集到的数据输入到我们构建的模型中进行训练和特征提取；
步骤(5)，将步骤(4)学习得到的各个特征传入到注意力机制层，并对数据向量组成的序列进行关键特征增强，并引入批标准化，解决了反向传播过程中神经网络训练时梯度消失的问题，重复步骤(4)；
步骤(6)，将最后得到的特征输入到全连接层中，并通过SoftMax层得到实际检测结果。
所述的异常流量检测模型的训练方法包括以下步骤：
步骤S1、对训练样本集进行特征提取和数据预处理，获得归一化的数值特征，所述的训练样本集包括正常流量样本和异常流量检测模型生成的异常流量样本。
具体地，所述的特征提取提取的特征包括流量的持续时间、流量协议、流量类型和流量字节数。
具体地，所述的数据预处理包括数据归一化和独热编码，数据归一化为将数据集中极大的数值使用max-min标准化映射到0到1之间；独热编码为使用N位状态寄存器对N个状态进行编码，其中只有一位有效。
步骤S2、所述数值特征依次经过CNN和LSTM得到二维空间特征和时序特征，二维空间特征经过Flatten层得到一维空间特征；
步骤S3、注意力机制根据注意力权重增强相关特征，批标准化被添加在异常流量检测模型中每一个全连接层和激励函数之间；
具体地，所述的批标准化为将异常流量检测模型中前一层输入数据通过激活函数的非线性变换进行归一化，再进入敏感区范围，减少节点分布，得到批标准化后输出值。
步骤S4、一维空间特征和时序特征通过全连接层和SoftMax层得到流量趋势预测准确率，返回步骤S1，直至流量趋势预测准确率出现负增长。
在本发明中，比较了传统异常流量检测和我们提出的异常流量检测的方案，传统的异常流量检测很容易关注序列特征而不关注空间特征。卷积神经网络(CNN)结构在提取数据流量的空间特征方面更有效，但其提取长短距离依赖信息的能力不好。长短期记忆网络(LSTM)结构在提取长短距离依赖信息方面更有效，可以避免学习过程中的遗忘，但其参数数量多，训练时间长。因此，本发明将两者结合起来，提高模型的特征学习能力，可以从空间和时间两个维度充分提取特征，从而达到更高的分类检测精度。
本发明提出的CNN和LSTM相结合的网络入侵检测模型，简称CLSTM模型，由三个主要阶段组成：首先，预处理阶段，将原始数据转换为数值特征并进行归一化。其次，在训练阶段，通过引入基于注意力模块处理数据来分配不同的权重以及批标准化来解决反向传播过程中神经网络训练时梯度消失的问题，然后，通过CNN模块提取空间特征，再由多个LSTM单元提取时间特征，而空间信息可以通过结合Flatten层进一步聚合。最后由Softmax函数进行分类。
其中，CNN和LSTM两种深度学习算法都可以用于捕获网络数据中有效的特征。CNN通过卷积计算逐层提取网络数据特征，LSTM通过捕获隐藏的时序数据信息，获得网络数据更深层次的特征信息，进而提高模型的检测准确率。当使用LSTM对数据进行分析时，当前神经网络中的数据分布可能会被打乱，导致神经网络训练期间数据分布不一致性的问题，本发明引入批标准化(Batch Normalization)。前向反馈网络中隐层的节点其初始的激活值为[y1,y2,…,ym]，过程中对任意神经元计算均值为0，方差为1的标准正态分布。根据算出对应的均值和方差，通过规范化函数对初始激活值进行变换，设定两个调节参数为参数γi和βi为1，可以计算得到转换后的激活值，对于新的激活值需要经过非线性变换函数，如RELU，则可以得到这个隐层的输出值[Y1,Y2,…,Ym]。
更具体地，本发明在对特征进行提取之前在模型中加入了注意力机制(AttentionMechanism)，注意力机制是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。
见图3，批标准化解决了反向传播过程中神经网络训练时梯度消失的问题。它将前一层的输入数据通过激活函数的非线性变换实现了归一化，非线性变换得到的输入值就进入到输入敏感区的范围中，并使得神经网络能够保证数据分布的一致性，进而减少网络中各个节点的分布，保持了神经网络的训练效率。批标准化过程中各层的计算方式如公式所示。α和β为标准化时需要的学习参数，y′i为归一化后的值，Yi为批标准化后的值。
本发明引入了注意力机制和批标准化，注意力机制在计算能力有限的情况下，将计算资源分配给更重要的任务，降低对其他信息的关注度，可以解决信息过载问题，并提高任务处理的效率和准确性；批标准化用于使用缩放和平移参数对标准化之后的数据分布进行调整，将集中在梯度饱和区的原始输出拉向线性变化区，增大梯度值，可以解决反向传播过程中神经网络训练时梯度消失的问题。
具体地，所述的批标准化中各层的计算公式为：
Yi＝αy′i′+β
其中，α和β为标准化时需要的学习参数，yi是一层中某一个初始的激活值，yi ′为归一化后的值，Yi为批标准化后的值，Hβ是yi的均值，σβ 2是yi的方差，l是用于防止方差为0的调节参数。
在本实施例中，本发明使用CSE-CICIDS2018作为本模型的入侵数据集，分别对LG、MLP、CNN和本发明提出的改进模型进行检测，结果见图4，从图中可以看出，本发明提出的改进模型的准确率在大部分时间段都是最高的。
其中，CSE-CICIDS2018是由加拿大网络安全研究所从多个计算机服务器模拟真实的攻击场景下收集的网络数据集，使用CICFlowMeter-V3从捕获的流量中获得了78个特征向量，其中包含了时间信息，数据包传输速率，字节传输速率，以及多种攻击数据类型。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例2
本发明还提供一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序，所述处理器执行所述程序时实现实施例1中所述的所有方法。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (10)
1.一种异常流量检测方法，其特征在于，该方法包括：
获取网络流量数据；
通过经训练的异常流量检测模型得到流量分类结果；
所述异常流量检测模型通过CNN和LSTM结合建立，并加入注意力机制和批标准化；
所述的异常流量检测模型的训练方法包括以下步骤：
步骤S1、对训练样本集进行特征提取和数据预处理，获得归一化的数值特征；
步骤S2、所述数值特征依次经过CNN和LSTM得到二维空间特征和时序特征，二维空间特征经过Flatten层得到一维空间特征；
步骤S3、注意力机制根据注意力权重增强相关特征，批标准化被添加在异常流量检测模型中每一个全连接层和激励函数之间；
步骤S4、一维空间特征和时序特征通过全连接层和SoftMax层得到流量趋势预测准确率，返回步骤S1，直至流量趋势预测准确率出现负增长。
2.根据权利要求1所述的一种异常流量检测方法，其特征在于，所述的批标准化为将异常流量检测模型中前一层输入数据通过激活函数的非线性变换进行归一化，再进入敏感区范围，减少节点分布，得到批标准化后输出值。
3.根据权利要求1所述的一种异常流量检测方法，其特征在于，所述的数据预处理包括数据归一化和独热编码。
4.根据权利要求3所述的一种异常流量检测方法，其特征在于，所述的数据归一化为将数据集中极大的数值使用Max-min标准化映射到0到1之间。
5.根据权利要求3所述的一种异常流量检测方法，其特征在于，所述的独热编码为使用N位状态寄存器对N个状态进行编码，其中只有一位有效。
6.根据权利要求1所述的一种异常流量检测方法，其特征在于，所述的训练样本集包括正常流量样本和异常流量检测模型生成的异常流量样本。
7.根据权利要求1所述的一种异常流量检测方法，其特征在于，所述的特征提取提取的特征包括流量的持续时间、流量协议、流量类型和流量字节数。
8.根据权利要求1所述的一种异常流量检测方法，其特征在于，所述的批标准化在神经网络中各隐层的计算公式为：
Yi＝αyi′+β
其中，α和β为标准化时需要的学习参数，yi是一层中某一个初始的激活值，yi′为归一化后的值，Yi为批标准化后的值，Hβ是yi的均值，σβ 2是yi的方差，l是用于防止方差为0的调节参数。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211345680.1A CN115712857A (zh) | 2022-10-31 | 2022-10-31 | 一种异常流量检测方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211345680.1A CN115712857A (zh) | 2022-10-31 | 2022-10-31 | 一种异常流量检测方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115712857A true CN115712857A (zh) | 2023-02-24 |
Family
ID=85231778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211345680.1A Pending CN115712857A (zh) | 2022-10-31 | 2022-10-31 | 一种异常流量检测方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115712857A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110234A (zh) * | 2023-04-11 | 2023-05-12 | 城云科技（中国）有限公司 | 基于人工智能的车流量预测方法、装置及其应用 |
-
2022
- 2022-10-31 CN CN202211345680.1A patent/CN115712857A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110234A (zh) * | 2023-04-11 | 2023-05-12 | 城云科技（中国）有限公司 | 基于人工智能的车流量预测方法、装置及其应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189364A1 (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
| CN113688855B (zh) | 数据处理方法、联邦学习的训练方法及相关装置、设备 | |
| CN111885035B (zh) | 一种网络异常检测方法、系统、终端以及存储介质 | |
| CN110602113B (zh) | 一种基于深度学习的层次化钓鱼网站检测方法 | |
| Yuan et al. | Intrusion detection for smart home security based on data augmentation with edge computing | |
| Lu et al. | An efficient communication intrusion detection scheme in AMI combining feature dimensionality reduction and improved LSTM | |
| CN114697096A (zh) | 基于空时特征和注意力机制的入侵检测方法 | |
| CN115270996A (zh) | 一种dga域名检测方法、检测装置及计算机存储介质 | |
| CN113364787A (zh) | 一种基于并联神经网络的僵尸网络流量检测方法 | |
| Ding et al. | Efficient BiSRU combined with feature dimensionality reduction for abnormal traffic detection | |
| Han et al. | A packet-length-adjustable attention model based on bytes embedding using flow-wgan for smart cybersecurity | |
| CN113378160A (zh) | 一种基于生成式对抗网络的图神经网络模型防御方法及装置 | |
| CN115712857A (zh) | 一种异常流量检测方法、设备及介质 | |
| CN115695025A (zh) | 网络安全态势预测模型的训练方法及装置 | |
| Manikandan et al. | DRCNN-IDS approach for intelligent intrusion detection system | |
| CN114841705A (zh) | 一种基于场景识别的反欺诈监测方法 | |
| CN116756578B (zh) | 车辆信息安全威胁聚合分析预警方法及系统 | |
| CN116684138A (zh) | 基于注意力机制的drsn和lstm的网络入侵检测方法 | |
| CN116188439A (zh) | 一种基于身份识别概率分布的伪造换脸图像检测方法和装置 | |
| Lu et al. | Low-Light Face Recognition and Identity Verification Based on Image Enhancement. | |
| CN113159317B (zh) | 一种基于动态残差侵蚀的对抗样本生成方法 | |
| Zhang et al. | An interpretable intrusion detection method based on few-shot learning in cloud-ground interconnection | |
| CN115659387A (zh) | 一种基于神经通路的用户隐私保护方法、电子设备、介质 | |
| CN110929118B (zh) | 网络数据处理方法、设备、装置、介质 | |
| CN114884704A (zh) | 一种基于对合和投票的网络流量异常行为检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |