CN113328986A - 基于卷积神经网络与lstm结合的网络流量异常检测方法 - Google Patents

基于卷积神经网络与lstm结合的网络流量异常检测方法 Download PDF

Info

Publication number
CN113328986A
CN113328986A CN202110380372.1A CN202110380372A CN113328986A CN 113328986 A CN113328986 A CN 113328986A CN 202110380372 A CN202110380372 A CN 202110380372A CN 113328986 A CN113328986 A CN 113328986A
Authority
CN
China
Prior art keywords
lstm
data
model
positive rate
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110380372.1A
Other languages
English (en)
Inventor
黄银强
金学奇
蒋正威
刘栋
孔飘红
李振华
张静
杜浩良
肖艳炜
朱英伟
吴涛
陈培东
张晖
凌开元
费林渊
吕育青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Jinhua Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Jinhua Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Jinhua Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202110380372.1A priority Critical patent/CN113328986A/zh
Publication of CN113328986A publication Critical patent/CN113328986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提出了基于卷积神经网络与LSTM结合的网络流量异常检测方法，所述方法包括：利用SCADA系统采集的网络数据，并对数据进行预处理，筛选得到符合实验要求的数据；将预处理的数据转化为对应灰度图像；建立CNN‑LSTM模型，通过交叉熵最小化的方式确定模型最优化参数；以准确率、真阳性率、假阳性率和F1‑score为指标对CNN‑LSTM模型进行训练，基于训练后的模型对检测分类效果进行评估。将两种方法结合在一起，成功的进行了检测，并且相较于传统的机器学习方法，取得了更优的检测效果。

Description

基于卷积神经网络与LSTM结合的网络流量异常检测方法
技术领域
本发明涉及网络安全技术领域，尤其涉及基于卷积神经网络与LSTM结合的网络流量异常检测方法。
背景技术
在智能电网转变的数字化过程中，为实现变电站之间以及和远程调度中心之间的协同和信息共享引入先进的通信技术，使得智能网络以及智能变电站面临网络入侵等传统的网络目前正在面临的信息安全威胁。电网采用监控和数据采集系统(SCADA)进行控制和管理。集中控制器通过远程终端单元收集信息，并向电网中的执行器发出控制命令。电网组件的互联引入了网络攻击的风险。神经网络被广泛用于异常检测，以识别和分类网络层面的网络攻击。
传统的异常检测方法包括签名分析方法，统计分析方法和阈值分析方法。通过对以发现的恶意流量行为的总结设定参数，难以实现量化。
基于机器学习的异常检测方法主要分为两个步骤：特征的提取和选择以及分类。特征的提取和选择的方法主要有：主成分分析(PCA)、基于相关性的特征选择方法(CFS)等。而传统的分类模型有支持向量机(SVM)、神经网络、朴素贝叶斯和决策树等应用于网络攻击的分类。在KDD99、DARPA等其他数据集中取得良好的效果，但数据集包含的攻击数据已经过时，难以用来模拟现在复杂的网络环境。Eesa等人直接从流量原始数据中学习特征，利用改进的流量特征可以获得较高的检测率和较低的虚警率。
但上述现有技术并没有对于异常检测上起到明显精准预测的有益效果，为了能防范于未然，面对目前复杂的网络环境，亟需提供一种有效的进行异常检测的方法。
发明内容
为了克服现有的异常检测方法的检测精度较低的不足，本发明提出基于卷积神经网络与LSTM结合的网络流量异常检测方法，具体包括以下步骤：
利用SCADA系统采集的网络数据，并对数据进行预处理，筛选得到符合实验要求的数据；
将预处理的数据转化为对应灰度图像；
建立CNN-LSTM模型，通过交叉熵最小化的方式确定模型最优化参数；
以准确率、真阳性率、假阳性率和F1-score为指标对CNN-LSTM模型进行训练，基于训练后的模型对检测分类效果进行评估。
可选的，所述数据预处理包括以下过程：
步骤101，从原始PCAP文件中截取相应周期的PCAP文件；
步骤102，根据每个时间段对应的攻击主机和受害者主机的IP进行流量划分；
步骤103，使用pickle工具将流量保存为KPL文件，生产矩阵数据；
步骤104，为了有效地学习和分类模型，通过one_hot编码对数据进行处理，将定性特征转换为定量特征。
可选的，所述将预处理的数据转化为对应灰度图像包括以下过程：
步骤201，在对数据集特征进行数据预处理扩展后，进行降维操作以得到处理成n×n图像数据格式作为模型的输入，采用方差系数作为降维筛选依据，函数定义为
Figure BDA0003012697500000031
其中σ为标准差，μ为均值，方差系数越大，特征分布越集中，比较后去除方差系数较小的维度；
步骤202，将其组合成N*N的矩阵，转换成一个N*N像素大小的灰度图，每个数字分别代表对应的像素灰度值，数字越大所对应的像素点越接近白色。
可选的，所述构建最优化CNN-LSTM模型包括：
步骤301，CNN部分前一个卷积层和池化层中使用具有小卷积核的卷积层来提取流量图像中的局部特征如IP和端口，在池化层中可以获得清晰的特征，后一个卷积层和池化层中使用大卷积核分析相距较远的特征之间的关系；
步骤302，将整个流量图像提取成一个较小的特征块，表示整个流量包的特征信息，再将块作为LSTM层的输入到LSTM系统中；
步骤303，LSTM以单个连接的数据为一个组，并判断该组中所有数据包的特性以及它们之间的关系作为判断流量性质的基础。
可选的，所述对模型预测效果进行评估包括以下过程：
采用准确率、真阳性率、假阳性率和F1-score四个指标构建模型预测效果评价体系，四个评价方式公式如下，
准确率：
Figure BDA0003012697500000032
真阳性率：
Figure BDA0003012697500000033
假阳性率：
Figure BDA0003012697500000041
Figure BDA0003012697500000042
Figure BDA0003012697500000043
F1-score：
Figure BDA0003012697500000044
其中TP是正确分类为此类型的样本数量，TN是正确分类为非此类型的样本数量，FP是错误分类为此类型的样本数量，FN是错误分类为非此类型的样本数量。
有益效果：将两种方法结合在一起，成功的进行了检测，并且相较于传统的机器学习方法，取得了更优的检测效果。
附图说明
图1是基于卷积神经网络与LSTM结合的网络流量异常检测方法的流程图。
具体实施方式
下面结合附图对本发明做进一步说明，
参照图1，本发明提出基于卷积神经网络与LSTM结合的网络流量异常检测方法，具体包括以下步骤：
11，利用SCADA系统采集的网络数据，并对数据进行预处理，筛选得到符合实验要求的数据；
12，将预处理的数据转化为对应灰度图像；
13，建立CNN-LSTM模型，通过交叉熵最小化的方式确定模型最优化参数；
14，以准确率、真阳性率、假阳性率和F1-score为指标对CNN-LSTM模型进行训练，基于训练后的模型对检测分类效果进行评估。
在实施中，本发明提出了将LSTM算法与卷积神经网络相结合，利用SCADA系统采集到的网络流量数据，进行数据预处理，然后采用CNN算法对数据图像进行预分类，进一步利用LSTM的方法对数据进行检测。
可选的，所述数据预处理包括以下过程：
步骤101，从原始PCAP文件中截取相应周期的PCAP文件；
步骤102，根据每个时间段对应的攻击主机和受害者主机的IP进行流量划分；
步骤103，使用pickle工具将流量保存为KPL文件，生产矩阵数据；
步骤104，为了有效地学习和分类模型，通过one_hot编码对数据进行处理，将定性特征转换为定量特征。
可选的，所述将预处理的数据转化为对应灰度图像包括以下过程：
步骤201，在对数据集特征进行数据预处理扩展后，进行降维操作以得到处理成n×n图像数据格式作为模型的输入，采用方差系数作为降维筛选依据，函数定义为
Figure BDA0003012697500000051
其中σ为标准差，μ为均值，方差系数越大，特征分布越集中，比较后去除方差系数较小的维度；
步骤202，将其组合成N*N的矩阵，转换成一个N*N像素大小的灰度图，每个数字分别代表对应的像素灰度值，数字越大所对应的像素点越接近白色。
可选的，所述构建最优化CNN-LSTM模型包括：
步骤301，CNN部分前一个卷积层和池化层中使用具有小卷积核的卷积层来提取流量图像中的局部特征如IP和端口，在池化层中可以获得清晰的特征，后一个卷积层和池化层中使用大卷积核分析相距较远的特征之间的关系；
步骤302，将整个流量图像提取成一个较小的特征块，表示整个流量包的特征信息，再将块作为LSTM层的输入到LSTM系统中；
步骤303，LSTM以单个连接的数据为一个组，并判断该组中所有数据包的特性以及它们之间的关系作为判断流量性质的基础。
可选的，所述对模型预测效果进行评估包括以下过程：
采用准确率、真阳性率、假阳性率和F1-score四个指标构建模型预测效果评价体系，四个评价方式公式如下，
准确率：
Figure BDA0003012697500000061
真阳性率：
Figure BDA0003012697500000062
假阳性率：
Figure BDA0003012697500000063
Figure BDA0003012697500000064
Figure BDA0003012697500000065
F1-score：
Figure BDA0003012697500000066
其中TP是正确分类为此类型的样本数量，TN是正确分类为非此类型的样本数量，FP是错误分类为此类型的样本数量，FN是错误分类为非此类型的样本数量。
以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.基于卷积神经网络与LSTM结合的网络流量异常检测方法，其特征在于所述方法包括：
利用SCADA系统采集的网络数据，并对数据进行预处理，筛选得到符合实验要求的数据；
将预处理的数据转化为对应灰度图像；
建立CNN-LSTM模型，通过交叉熵最小化的方式确定模型最优化参数；
以准确率、真阳性率、假阳性率和F1-score为指标对CNN-LSTM模型进行训练，基于训练后的模型对检测分类效果进行评估。
2.如权利要求1所述的基于卷积神经网络与LSTM结合的网络流量异常检测方法，其特征在于，所述数据预处理包括以下过程：
步骤101，从原始PCAP文件中截取相应周期的PCAP文件；
步骤102，根据每个时间段对应的攻击主机和受害者主机的IP进行流量划分；
步骤103，使用pickle工具将流量保存为KPL文件，生产矩阵数据；
步骤104，为了有效地学习和分类模型，通过one_hot编码对数据进行处理，将定性特征转换为定量特征。
3.如权利要求2所述的基于卷积网络与LSTM相结合的异常检测方法，其特征在于，所述将预处理的数据转化为对应灰度图像：
步骤201，在对数据集特征进行数据预处理扩展后，进行降维操作以得到处理成n×n图像数据格式作为模型的输入，采用方差系数作为降维筛选依据，函数定义为
Figure FDA0003012697490000011
其中σ为标准差，μ为均值，方差系数越大，特征分布越集中，比较后去除方差系数较小的维度；
步骤202，将其组合成N*N的矩阵，转换成一个N*N像素大小的灰度图，每个数字分别代表对应的像素灰度值，数字越大所对应的像素点越接近白色。
4.如权利要求3所述的基于卷积神经网络与LSTM结合的网络流量异常检测方法，其特征在于，所述构建最优化CNN-LSTM模型包括：
步骤301，CNN部分前一个卷积层和池化层中使用具有小卷积核的卷积层来提取流量图像中的局部特征如IP和端口，在池化层中可以获得清晰的特征，后一个卷积层和池化层中使用大卷积核分析相距较远的特征之间的关系；
步骤302，将整个流量图像提取成一个较小的特征块，表示整个流量包的特征信息，再将块作为LSTM层的输入到LSTM系统中；
步骤303，LSTM以单个连接的数据为一个组，并判断该组中所有数据包的特性以及它们之间的关系作为判断流量性质的基础。
5.如权利要求1或2所述的基于卷积神经网络与LSTM结合的网络流量异常检测方法，其特征在于，所述对模型预测效果进行评估包括以下过程：
采用准确率、真阳性率、假阳性率和F1-score四个指标构建模型预测效果评价体系，四个评价方式公式如下，
准确率：
Figure FDA0003012697490000021
真阳性率：
Figure FDA0003012697490000022
假阳性率：
Figure FDA0003012697490000023
Figure FDA0003012697490000024
Figure FDA0003012697490000025
F1-score：
Figure FDA0003012697490000026
其中TP是正确分类为此类型的样本数量，TN是正确分类为非此类型的样本数量，FP是错误分类为此类型的样本数量，FN是错误分类为非此类型的样本数量。
CN202110380372.1A 2021-04-09 2021-04-09 基于卷积神经网络与lstm结合的网络流量异常检测方法 Pending CN113328986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110380372.1A CN113328986A (zh) 2021-04-09 2021-04-09 基于卷积神经网络与lstm结合的网络流量异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110380372.1A CN113328986A (zh) 2021-04-09 2021-04-09 基于卷积神经网络与lstm结合的网络流量异常检测方法

Publications (1)

Publication Number Publication Date
CN113328986A true CN113328986A (zh) 2021-08-31

Family

ID=77414629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110380372.1A Pending CN113328986A (zh) 2021-04-09 2021-04-09 基于卷积神经网络与lstm结合的网络流量异常检测方法

Country Status (1)

Country Link
CN (1) CN113328986A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134168A (zh) * 2022-08-29 2022-09-30 成都盛思睿信息技术有限公司 基于卷积神经网络的云平台隐蔽通道检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
US10778705B1 (en) * 2019-04-05 2020-09-15 Hoseo University Academic Cooperation Foundation Deep-learning-based intrusion detection method, system and computer program for web applications
CN112100614A (zh) * 2020-09-11 2020-12-18 南京邮电大学 一种基于cnn_lstm的网络流量异常检测方法
CN112288034A (zh) * 2020-11-19 2021-01-29 江南大学 一种无线传感器网络半监督在线异常检测方法
CN112491894A (zh) * 2020-11-30 2021-03-12 北京航空航天大学 一种基于时空特征学习的物联网网络攻击流量监测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10778705B1 (en) * 2019-04-05 2020-09-15 Hoseo University Academic Cooperation Foundation Deep-learning-based intrusion detection method, system and computer program for web applications
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
CN112100614A (zh) * 2020-09-11 2020-12-18 南京邮电大学 一种基于cnn_lstm的网络流量异常检测方法
CN112288034A (zh) * 2020-11-19 2021-01-29 江南大学 一种无线传感器网络半监督在线异常检测方法
CN112491894A (zh) * 2020-11-30 2021-03-12 北京航空航天大学 一种基于时空特征学习的物联网网络攻击流量监测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王伟: "基于深度学习的网络流量分类及异常检测方法研究", 《中国优秀博士学位论文全文数据库(电子期刊)信息科技辑》 *
郑伟发: "基于CNN-LSTM混合模型的入侵检测算法研究", 《网络安全技术与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134168A (zh) * 2022-08-29 2022-09-30 成都盛思睿信息技术有限公司 基于卷积神经网络的云平台隐蔽通道检测方法及系统

Similar Documents

Publication Publication Date Title
CN108765373B (zh) 一种基于集成分类器在线学习的绝缘子异常自动检测方法
CN111585948B (zh) 一种基于电网大数据的网络安全态势智能预测方法
CN110768971B (zh) 适用于人工智能系统的对抗样本快速预警方法及系统
CN107257351B (zh) 一种基于灰色lof流量异常检测系统及其检测方法
CN109218134B (zh) 一种基于神经风格迁移的测试用例生成系统
CN112738014B (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
CN111191767A (zh) 一种基于向量化的恶意流量攻击类型的判断方法
CN117113262B (zh) 网络流量识别方法及其系统
CN110851422A (zh) 一种基于机器学习的数据异常监测模型构建方法
CN111552966A (zh) 一种基于信息融合的恶意软件同源性检测方法
CN113556319B (zh) 物联网下基于长短期记忆自编码分类器的入侵检测方法
CN109062811B (zh) 一种基于神经风格迁移的测试用例生成方法
CN112367303A (zh) 分布式自学习异常流量协同检测方法及系统
CN113901448A (zh) 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN113328986A (zh) 基于卷积神经网络与lstm结合的网络流量异常检测方法
CN117197746A (zh) 基于深度学习的安全监测系统及方法
CN116232696A (zh) 基于深度神经网络的加密流量分类方法
CN113688385B (zh) 轻量级分布式入侵检测方法
CN111586052B (zh) 一种基于多层级的群智合约异常交易识别方法及识别系统
CN115037632A (zh) 一种网络安全态势感知分析系统
CN116032515A (zh) 一种在SDN上基于Transformer的DDoS攻击检测方法
CN115442309B (zh) 一种基于图神经网络的包粒度网络流量分类方法
CN117892102B (zh) 基于主动学习的入侵行为检测方法、系统、设备及介质
CN115604016B (zh) 一种行为特征链模型的工控异常行为监测方法和系统
CN114500015B (zh) 一种基于工业网络的态势感知系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831