CN116506210A - 基于流量特征融合的网络入侵检测方法及系统 - Google Patents

基于流量特征融合的网络入侵检测方法及系统 Download PDF

Info

Publication number
CN116506210A
CN116506210A CN202310573133.7A CN202310573133A CN116506210A CN 116506210 A CN116506210 A CN 116506210A CN 202310573133 A CN202310573133 A CN 202310573133A CN 116506210 A CN116506210 A CN 116506210A
Authority
CN
China
Prior art keywords
data
network
layer
feature
intrusion detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310573133.7A
Other languages
English (en)
Inventor
张亿林
董火民
吴晓明
刘祥志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Science And Technology Innovation Group Co ltd
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Science And Technology Innovation Group Co ltd
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Science And Technology Innovation Group Co ltd, Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Science And Technology Innovation Group Co ltd
Priority to CN202310573133.7A priority Critical patent/CN116506210A/zh
Publication of CN116506210A publication Critical patent/CN116506210A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于流量特征融合的网络入侵检测方法及系统，包括：获取待检测的网络流量数据；对网络流量数据进行预处理；将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。

Description

基于流量特征融合的网络入侵检测方法及系统
技术领域
本发明涉及网络入侵检测技术领域，特别是涉及基于流量特征融合的网络入侵检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
当今社会，随着科学技术的进步，互联网的发展日益深入人们的生活和劳动生产中。但是，随着网络的发展，其环境也日益复杂，各种网络攻击方式也接踵而至，攻击方式的多样化以及攻击频率的高发性，导致全球网络安全泄露事件日趋频繁，严重危害个人、企业以及国家的信息安全。入侵检测技术作为网络流量能够安全传播的主动安全防御技术之一，在当今网络安全方面有着重要的地位。基于传统机器学习的入侵检测模型在准确率上取得的效果并不理想，以及有着较高的误报率，并且，随着互联网的发展，当今的网络流量日益庞大，而且入侵数据变得更加海量和复杂，入侵检测模型的运行中需要对大量的流量数据进行处理和特征提取，而传统的机器学习在该方面并不能很好地处理。
随着超算的兴起，近年来计算机的计算能力得到了极大地提高，深度学习也被广泛应用。并以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习在学术界得到广泛的关注，其突出的特点是不需要人工干预的深层特征提取能力。因此研究人员提出了各种基于深度学习的入侵检测模型，例如自编码器和卷积神经网络等等，但是这些模型还存在着部分问题需要解决。比如，模型结构单一，难以提取各种数据类型的特征，如基于CNN(卷积神经网络)的入侵检测模型在提取空间特征方面效果很好，CNN(卷积神经网络)算法具有自动提取特征、参数共享、系数连接、平移不变性等优点，但也需要将数据集归一化，忽视了特征间的长期依赖关系，且不能一次提取全局特征等缺点。以及基于TVAE的入侵检测模型在特征重构方面效果不错，但是对时序特征的重构能力还不足。
发明内容
为了解决现有技术的不足，本发明提供了基于流量特征融合的网络入侵检测方法及系统；
第一方面，本发明提供了基于流量特征融合的网络入侵检测方法；
基于流量特征融合的网络入侵检测方法，包括：
获取待检测的网络流量数据；
对网络流量数据进行预处理；
将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。
第二方面，本发明提供了基于流量特征融合的网络入侵检测系统；
基于流量特征融合的网络入侵检测系统，包括：
获取模块，其被配置为：获取待检测的网络流量数据；
预处理模块，其被配置为：对网络流量数据进行预处理；
输出模块，其被配置为：将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
(1)基于TVAE神经网络模型对网络流量数据进行数据重构、去噪的同时，加入BiGRU神经网络模型，可以提高其对时序特征上下时刻的特征重构能力。
(2)基于一维卷积神经网络模型和BiGRU神经网络模型，对其进行结构重组，并加入残差网络结构，可以在提取网络流量数据的空间特征和时间特征的同时，有效的加快收敛和防止梯度爆炸。
(3)使用多头注意力机制，对融合后的数据进行重要性提取，可以有效地利用数据的特征属性，提高检测的准确率。
(4)构建D1CNN-BiGRU-TVAE神经网络模型，利用TVAE对数据去噪的同时，提取网络流量数据的空间特征和时间特征，进行特征融合，从而进行网络安全检测，准确率高于单独使用D1CNN神经网络模型、BiGRU神经网络模型以及TVAE神经网络模型，有效的提高了网络攻击的检测算法的准确率。
(5)为解决TVAE模型不能很好地处理时序特征的缺点，将TVAE中的VAE编码器输入层和解码器输出层以及AE的解码器输出层神经单元替换为BiGRU门控循环单元，来提高其对时序特征数据的重构能力。
(6)为解决同时提取空间特征与时序特征的能力，并快速收敛。通过串联一维CNN与BiGRU，并加入残差网络结构，在提高模型对流量数据的空间与时序特征的提取能力，同时加快了收敛和防止梯度爆炸。
(7)通过对融合后的数据加入多头注意力机制，对不同的特征类型赋予不同的权重，可以更好地捕捉全局特征与局部特征之间的关系；最后，通过随机森林算法对模型输出进行十分类检测。该发明更好地对各种数据类型的特征进行全面的提取，可提高整体网络的特征表示能力。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为模型整体流程图；
图2为BiGRU-TVAE模型的流程图；
图3为D1CNN-BiGRU残差模型的流程图；
图4为现有技术中的双变分自动编码器TVAE结构图；
图5为现有技术中的变分自动编码器VAE结构图；
图6为现有技术中的自动编码器AE结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
如图4所示，双变分自动编码器(TVAE，Twin Variational Auto-Encoder)有三个组成部分：编码器、雌雄同体部分和解码器。其中，雌雄同体部分为VAE(变分自动编码器)和AE(自动编码器)的共享部分，由变分自动编码器VAE的解码器作为AE的编码器。在双变分自动编码器TVAE中的自动编码器AE的目标是重建变分自动编码器VAE在其输出层的潜在表示。因此，TVAE中自动编码器AE的输出可以作为原始数据的新表示。然后使用新的表示作为分类算法的输入，以检测潜在的攻击数据。
实施例一
本实施例提供了基于流量特征融合的网络入侵检测方法；
基于流量特征融合的网络入侵检测方法，包括：
S101：获取待检测的网络流量数据；
S102：对网络流量数据进行预处理；
S103：将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；
其中，所述训练后的网络入侵检测模型，包括：
对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；
对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；
将融合特征进行分类，得到分类结果。
进一步地，所述S101：获取待检测的网络流量数据，通过抓取的方式获取待检测的网络流量数据。
进一步地，所述S102：对网络流量数据进行预处理，具体包括：对网络流量数据进行数据类型转换，对数据类型转换结果进行数据归一化处理。
进一步地，如图1所示，所述训练后的网络入侵检测模型，其网络结构包括：
并联的BiGRU-TVAE模型和D1CNN-BiGRU残差模型；
所述BiGRU-TVAE模型的输入端用于输入预处理后的网络流量数据，所述BiGRU-TVAE模型的输出端与数据融合模块的输入端连接；
所述D1CNN-BiGRU残差模型的输入端用于输入预处理后的网络流量数据，所述D1CNN-BiGRU残差模型的输出端与数据融合模块的输入端连接；
数据融合模块的输出端与多头注意力机制模块的输入端连接，多头注意力机制模块的输出端与随机森林算法模块的输入端连接，随机森林算法模块的输出端用于输出网络入侵检测分类结果。
进一步地，所述数据融合模块，采用加和的方式进行数据融合。
进一步地，如图2所示，所述BiGRU-TVAE模型，网络结构包括：
依次连接的变分自动编码器VAE(Variational Auto-Encoder)的编码器、线性激活层、变分自动编码器VAE的解码器和自动编码器AE(Auto Encoder)的解码器；
其中，变分自动编码器VAE的编码器的输入层神经单元、变分自动编码器VAE的解码器的输出层神经单元和自动编码器AE的解码器输出层神经单元，均替换为门控循环单元BiGRU。
进一步地，所述BiGRU-TVAE模型，工作过程包括：
变分自动编码器VAE的编码器的门控循环单元BiGRU对网络流量数据的时序特征进行捕捉，线性激活层对时序特征进行处理，输出时序特征的均值和方差，然后对均值和方差进行重参数化操作，对点向量的隐变量分布进行估计；
变分自动编码器VAE的解码器的门控循环单元BiGRU，根据点向量的隐变量分布，对数据集的输入数据进行时序性重构；
自动编码器AE的解码器的门控循环单元BiGRU，对时序性重构结果进行解码，得到重构向量。
应理解地，所述BiGRU-TVAE模型，采用BiGRU和TVAE两种模型，为提高TVAE对时序特征的提取能力，在TVAE框架下，将TVAE中的VAE编码器输入层和解码器输出层以及AE的解码器输出层神经单元替换为BiGRU门控循环单元，有效提升了模型对网络流量数据时序特征的学习能力，克服传统循环神经网络在特征提取过程中的梯度消失和爆炸问题，实现对数据特征的正确编码和解码。
应理解地，所述BiGRU-TVAE模型，将所述数据直接输入模型，TVAE中VAE编码器的BiGRU单元捕捉网络流量数据的时序特征，经Linear线性激活层分别输出特征值对应的均值μZ和方差σZ；然后，在VAE编码器进行重参数化操作，对点向量的隐变量分布Z进行估计；再由VAE的BiGRU单元译码器根据隐变量Z完成对数据进行时序性重构；并将其输出层数据作为AE解码器的BiGRU单元的输入数据，对所述数据进行再一次的解码，最后输出重构向量。
应理解地，所述BiGRU-TVAE模型采用BiGRU和TVAE两种模型，为提高TVAE对时序特征的提取能力，在TVAE框架下，将TVAE中的VAE编码器输入层和解码器输出层以及AE的解码器输出层神经单元替换为BiGRU门控循环单元，有效提升了模型对网络流量数据时序特征的学习能力，克服传统循环神经网络在特征提取过程中的梯度消失和爆炸问题，实现对数据特征的正确编码和解码。
TVAE可以对流量数据进行自动特征提取，既保留数据的整体特征，又从数据中迭代提取出更复杂可靠的特征，降低噪声对流量入侵检测的影响，减少特征维度。TVAE只是学习数据特征间的线性或非线性关系，忽略了数据序列之间的上下时刻时间依赖关系。BiGRU神经网络模型在学习自然语言的时序特征时具有良好的性能，因此，利用BiGRU学习多个流量特征向量间的上下时间关系，且相较于其他RNN变体，BiGRU具有结构简单，参数更少，训练低维深度特征数据速度较快，耗时更少的优点，可提高流量入侵检测的准确率。
首先，将所述预处理的数据直接输入模型，在现有的TVAE模型框架下，将TVAE中的VAE编码器输入层和解码器输出层以及AE的解码器输出层神经单元替换为BiGRU门控循环单元，并将TVAE中的VAE编码器输入维度设置为81维，隐含层节点个数为128，VAE编码器的BiGRU单元捕捉网络流量数据的时序特征，经Linear线性激活层分别输出特征值对应的均值μZ和方差σZ；
然后，在VAE框架下进行重参数化操作，对点向量的隐变量分布Z进行估计；依次将VAE解码器维度设置为81维，隐含层节点个数为128，由VAE的BiGRU单元解码器根据隐变量Z完成对数据进行时序性重构；并将其输出层数据作为AE解码器的BiGRU单元的输入数据，对所述数据进行再一次的解码，AE解码器维度为81维，隐含层节点个数为128，最后输出重构向量单元数为10。
如图5所示，变分自动编码器VAE，包括：依次连接的编码器、隐藏层和解码器。
如图6所示，自动编码器AE，包括：依次连接的编码器、隐藏层和解码器。
进一步地，如图3所示，所述D1CNN-BiGRU残差模型，网络结构包括：
依次连接的一维卷积层C1、批标准化层BN1、最大池化层M1、一维卷积层C2、批标准化层BN2、最大池化层M2、门控循环单元BiGRU1、最大池化层M3、批标准化层BN3、全连接层Q1、全连接层Q2、全连接层Q3和输出层；
其中，最大池化层M1的输出端与门控循环单元BiGRU1的输入端连接；
其中，最大池化层M2的输出端与最大池化层M3的输入端连接。
进一步地，所述D1CNN-BiGRU残差模型，工作过程包括：
一维卷积层C1对输入的数据进行特征提取，最大池化层M1对特征进行降维处理；
一维卷积层C2对最大池化层M1输出的数据进行特征提取，最大池化层M2对特征进行降维处理；
门控循环单元BiGRU1对最大池化层M2输出的数据提取时序特征；
最大池化层M3对提取的时序特征进行降维处理；
全连接层Q1、全连接层Q2、全连接层Q3用于统一维度。
因BiGRU和一维卷积的输出维度不一致，需用全连接层调整其维度，调整到统一维度后可做残差。
应理解地，所述D1CNN-BiGRU残差模型，将所述输入数据的特征转化为维度为(128,1)的张量后输入到所述的输入层；然后，经过多个一维卷积层进行特征提取，并加入BN层加速收敛，和多个一维最大池化层特征降维后，输入至所述的BiGRU神经网络层进行时序特征的提取，再输入至所述的一维最大池化层进行再一次地特征降维，最后连接三层全连接层。
所述残差结构，将一个一维卷积层、一个BN层和一个一维最大池化层作为一层网络结构，共两层。将其与BiGRU作残差结构，可防止梯度爆炸，加快收敛，最后采用交叉熵作为输出。
D1CNN-BiGRU残差模型采用串联的一维CNN与BiGRU结构，利用D1CNN模型提取输入数据中的空间特征，利用BiGRU模型提取输入数据中的时序特征，其中包括6种深度学习层，即Input Layer(输入层)、Conv1D Layer(一维卷积层)、MaxPool1D Layer(一维最大池化层)、Batch Normalization(BN层)、Dense Layer(全连接层)、BiGRU层。
D1CNN是一种以1维网格形式获取序列数据进行特征识别的CNN。虽然D1CNN只有一个维度，但它在特征识别方面同样具有D2CNN的平移不变性优势。基于此，采用D1CNN实现对流量数据的局部特征提取，D1CNN模型通过堆叠1维卷积层和池化层来实现局部空间特征提取功能，解决局部特征丢失问题。1维卷积层是特征提取的关键，它通过训练流量数据得到一组具有最小损失的最优卷积核，利用卷积核(滤波器)自动提取复杂流量特征。流量数据的第i个样本可表示为m维特征向量xi∈Rm，多个连续向量xi，xi+1，...，xj可表示为xi:j，1维卷积仅在流量特征数据序列的垂直方向进行卷积，因此其卷积核的宽度即为流量特征的维度，通过使用滤波器w对输入流量数据应用卷积操作来构建一个特征映射，实现局部空间特征提取，其计算公式为：
其中，b为偏置值，f表示卷积计算的非线性激活函数线性整流函数(RectifiedLinear Unit,ReLU)。
池化层进一步聚集和保留了卷积层所提取的短期特征，得到最重要的特征。常用的池化方法是最大池化和平均池化。本发明采用最大池化层将各卷积层特征向量的最大值合并，作为特征值。
批量归一化(batch-normal,BN)函数将神经网络每一层中的神经元输入值分布调整成均值为0，方差为1的标准正态分布，可解决网络训练的困难，从而有效的提高网络的训练速度，避免梯度消失，提高泛化能力。批量归一化的输出表示为：
yi＝λx′i+η
其中：λ和η是系数；x′i由
计算得出，式中m为批处理大小，xi为时间序列。
双向GRU(bidirectional GRU,BiGRU)神经网络的基本思路是在每个训练序列的前向和后向两个方向分别都有配置单向的GRU，并且两个GRU同时与一个输出层连接，这种结构能将一个序列数据点的过去和未来提供给输出层。BiGRU由两个GRU上下堆叠而成，在任意时刻t，输入端同时向两个相反的方向的GRU提供相同的输入数据xi，分别得到前向GRU的输出状态和后向GRU的输出状态/>输出GRU_Ot由前向GRU的状态/>和后向GRU的输出状态/>按照特定准则拼接而成。
BiGRU神经网络的计算过程如下：
假设在时间步t的输入为xi，隐藏层的激活函数为θ，前向隐藏状态为后向隐藏状态为/>那么：
其中，Wfx，Wfh，Wbx，Wbh分别表示权重参数，bfh，bbh分别表示前向隐藏状态和后向隐藏状态对应的偏置。由此计算输出层的输出GRU_Ot：
其中，Wq表示输出层的权重参数，bq表示输出层的偏置，表示前向和后向隐藏状态的拼接。通过对前向隐藏状态和后向隐藏状态加权拼接计算最终输出，既能学习到有效信息，也能保持输出维度不变，相较于将两个方向的隐藏状态直接拼接，降低了维度，有利于减少训练时间。
首先，将所述输入数据的特征转化为维度为(128,1)的张量后输入到所述的输入层,依次输入到2层一维卷积层，卷积核大小为3,3，步长为1,2，激活函数均为修正线性函数relu，在每一层一维卷积层后分别添加一个BN层，通道数为128，和一个MaxPool1D层，池化大小为1，加入BN层可加速收敛，然后添加1层BiGRU层，输入大小为81，实现对数据时序特征的提取，一个MaxPool1D层，池化大小为1，一个BN层，通道数为128，最后添加三个全连接层，在10分类情况下，输出层单元数为10。所述残差结构，将一个一维卷积层、一个BN层和一个一维最大池化层作为一层网络结构，共两层。将其与BiGRU作残差结构，可防止梯度爆炸，加快收敛，最后采用交叉熵作为输出。
进一步地，所述对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据，包括：
BiGRU-TVAE模型对预处理后的网络流量数据分别进行特征提取，得到第一特征数据；
D1CNN-BiGRU残差模型对预处理后的网络流量数据分别进行特征提取，得到第二特征数据。
进一步地，所述对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征，包括：
对提取的第一特征数据和第二特征数据，进行相加处理，得到融合特征；
将融合特征输入到多头注意力中，之后接一个线性层，最后作交叉熵的分类。
进一步地，所述将融合特征进行分类，得到分类结果，包括：
采用多头注意力机制模块对不同的特征类型赋予不同的权重，采用随机森林模型对特征进行分类。
多头注意力机制模块是在自注意力层的基础上发展过来的，使用多头注意力机制模块能够联合来自不同模块的学习信息。
将输入的向量ai分别通过Wq，Wk，Wv，得到对应的qi，ki，vi，再通过使用的head数目h进一步把得到的qi，ki，vi分成h份。对应的head公式为：
通过得到每个headi对应的Qi，Ki，Vi参数，针对每个head使用自注意力机制得到对应的结果，其中在自注意力机制中对应的公式为：
接着将每个head得到的结果进行拼接，再将拼接后的结果通过Wo(可学习的参数)进行融合，对的最终的结果。对应的公式为：
MultiHead(Q，K,V)＝Concat(head1，head2，head3，......，headh)w0
经过多头注意力机制对融合特征分配不同的权重，之后再次对分配权重之后的融合特征进行特征提取，之后接一个Liner层，最后作交叉熵的分类。
在训练过程中，采用随机森林模型对特征进行10分类实验，所述10分类实验，是将CIC-IDS-2017数据分为正常样本和其余9种攻击样本，其中9中攻击样本标签为“DosHulk”、“PortScan”、“DDos”、“Dos GoldenEye”、“FTP-Patator”、“SSH-Parator”、“Dosslowloris”、“Dos Slowhttptest”和“Bot”的所有数据。为避免过拟合，设置在连续12次epoch后性能无改善的情况下，自动保存最优模型。本发明所使用的单次训练样本数batch-size为512，学习率为0.001，训练33轮后，最终完成训练的模型在10分类问题上，采用随机森林算法在测试集上的准确率可达到96.8％，召回率可达到97％，F1值可达到93.1％。
进一步地，所述训练后的网络入侵检测模型，其训练过程包括：
构建训练集和测试集；所述训练集和测试集，均为已知网络入侵检测分类结果的网络流量数据；
将训练集，输入到网络入侵检测模型中，对模型进行训练，当模型的损失函数值不再下降时，或者迭代次数超过设定次数时，停止训练，得到初步训练后的网络入侵检测模型；
将测试集，输入到初步训练后的网络入侵检测模型中，对模型进行测试，当测试指标均符合要求时，停止测试，通过测试的网络入侵检测模型，就是最终训练后的网络入侵检测模型。
进一步地，所述测试指标，包括：准确率、召回率、F1分数；
使用准确率(Accuracy,AC)、召回率(Recall,RE)和F1-score(F1)作为评价指标，计算式如下：
其中，TP、FP、TN和FN分别为真阳性、假阳性、真阴性和假阴性，其物理含义见表2。
表2术语的物理含义
进一步地，所述构建训练集和测试集，包括：
对输入数据进行归一化处理，所述归一化处理采用min-max方法，即将所有数值归一化到[0,1]范围内，计算式如下：
其中，Xmin和Xmax分别表示某个特征属性中所有数值的最小值和最大值。
将输入数据按照80％的训练集和20％的测试集进行划分，并进行数据清洗，每组数据的前80维是特征量，为方便将数据转化为二维格式，即将第81维填充为0，第82维是类型标记。
采用CIC-IDS-2017数据集作为网络入侵检测的输入数据，并利用机器学习算法将所述输入数据进行数据类型转换，去除与特征提取无关的Flow ID、Source IP、Destination IP、Timestamp四个特征量，删除数据中的空值后，利用sk-learn中MinMaxScaler归一化进行处理，提取出数据集最后一列用作标签。
所述输入数据如表1所示，包括，将80％数据集作为训练集，将20％数据集作为测试集，每组数据的前80维是特征量，为方便将数据转化为二维格式，即将第81维填充为0，第82维是类型标记，总划分为10类数据类型，依次将标签转化为int类型从0到9，总数据量为1053853个。
表1训练集和测试集数据构成
数据清洗：由于数据是从真实的网络环境中抓取的，所以存在无效数据的可能性非常大。本发明删除无效数据，以提高检测结果的准确性。另外从原始数据中提取的特征有80多个，例如流持续时间、前向数据包总长度和后向数据包总长度等特征都是本发明模型进行入侵检测的重要特征，但是也存在IP地址、协议、端口号等特征，这些特征并不是所需要的，所以本发明将这些不需要的特征字段删除，如：Flow ID、Source IP、DestinationIP、Timestamp四个特征量。
对数据集归一化，数据集中各属性取值范围差异很大，归一化处理采用min-max方法，假设数据集中共有N个样本，可将所有样本的每个特征属性映射为X＝(X1,X2,X3,...,XN)T，将所有数值归一化到[0,1]范围内。
本发明提出一种基于网络流量数据特征融合的入侵检测方法，将BiGRU引入到TVAE中，并将其与CNN神经网络进行重组，并加入残差网络结构，最后对融合后的数据赋予多头注意力机制。
实施例二
本实施例提供了基于流量特征融合的网络入侵检测系统；
基于流量特征融合的网络入侵检测系统，包括：
获取模块，其被配置为：获取待检测的网络流量数据；
预处理模块，其被配置为：对网络流量数据进行预处理；
输出模块，其被配置为：将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。
此处需要说明的是，上述获取模块、预处理模块和输出模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于流量特征融合的网络入侵检测方法，其特征是，包括：
获取待检测的网络流量数据；
对网络流量数据进行预处理；
将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。
2.如权利要求1所述的基于流量特征融合的网络入侵检测方法，其特征是，所述训练后的网络入侵检测模型，其网络结构包括：
并联的BiGRU-TVAE模型和D1CNN-BiGRU残差模型；
所述BiGRU-TVAE模型的输入端用于输入预处理后的网络流量数据，所述BiGRU-TVAE模型的输出端与数据融合模块的输入端连接；
所述D1CNN-BiGRU残差模型的输入端用于输入预处理后的网络流量数据，所述D1CNN-BiGRU残差模型的输出端与数据融合模块的输入端连接；
数据融合模块的输出端与多头注意力机制模块的输入端连接，多头注意力机制模块的输出端与随机森林算法模块的输入端连接，随机森林算法模块的输出端用于输出网络入侵检测分类结果。
3.如权利要求2所述的基于流量特征融合的网络入侵检测方法，其特征是，所述BiGRU-TVAE模型，网络结构包括：
依次连接的变分自动编码器VAE的编码器、线性激活层、变分自动编码器VAE的解码器和自动编码器AE的解码器；
其中，变分自动编码器VAE的编码器的输入层神经单元、变分自动编码器VAE的解码器的输出层神经单元和自动编码器AE的解码器输出层神经单元，均替换为门控循环单元BiGRU。
4.如权利要求3所述的基于流量特征融合的网络入侵检测方法，其特征是，所述BiGRU-TVAE模型，工作过程包括：
变分自动编码器VAE的编码器的门控循环单元BiGRU对网络流量数据的时序特征进行捕捉，线性激活层对时序特征进行处理，输出时序特征的均值和方差，然后对均值和方差进行重参数化操作，对点向量的隐变量分布进行估计；
变分自动编码器VAE的解码器的门控循环单元BiGRU，根据点向量的隐变量分布，对数据集的输入数据进行时序性重构；
自动编码器AE的解码器的门控循环单元BiGRU，对时序性重构结果进行解码，得到重构向量。
5.如权利要求2所述的基于流量特征融合的网络入侵检测方法，其特征是，所述D1CNN-BiGRU残差模型，网络结构包括：
依次连接的一维卷积层C1、批标准化层BN1、最大池化层M1、一维卷积层C2、批标准化层BN2、最大池化层M2、门控循环单元BiGRU1、最大池化层M3、批标准化层BN3、全连接层Q1、全连接层Q2、全连接层Q3和输出层；
其中，最大池化层M1的输出端与门控循环单元BiGRU1的输入端连接；
其中，最大池化层M2的输出端与最大池化层M3的输入端连接。
6.如权利要求5所述的基于流量特征融合的网络入侵检测方法，其特征是，所述D1CNN-BiGRU残差模型，工作过程包括：
一维卷积层C1对输入的数据进行特征提取，最大池化层M1对特征进行降维处理；
一维卷积层C2对最大池化层M1输出的数据进行特征提取，最大池化层M2对特征进行降维处理；
门控循环单元BiGRU1对最大池化层M2输出的数据提取时序特征；
最大池化层M3对提取的时序特征进行降维处理；
全连接层Q1、全连接层Q2、全连接层Q3用于统一维度。
7.如权利要求1所述的基于流量特征融合的网络入侵检测方法，其特征是，所述对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据，包括：
BiGRU-TVAE模型对预处理后的网络流量数据分别进行特征提取，得到第一特征数据；
D1CNN-BiGRU残差模型对预处理后的网络流量数据分别进行特征提取，得到第二特征数据；
所述将融合特征进行分类，得到分类结果，包括：
采用多头注意力机制模块对不同的特征类型赋予不同的权重，采用随机森林模型对特征进行分类。
8.基于流量特征融合的网络入侵检测系统，其特征是，包括：
获取模块，其被配置为：获取待检测的网络流量数据；
预处理模块，其被配置为：对网络流量数据进行预处理；
输出模块，其被配置为：将预处理后的网络流量数据，输入到训练后的网络入侵检测模型中，得到网络入侵检测结果；其中，所述训练后的网络入侵检测模型，包括：对预处理后的网络流量数据分别进行特征提取，得到第一特征数据和第二特征数据；对提取的第一特征数据和第二特征数据，进行特征融合，得到融合特征；将融合特征进行分类，得到分类结果。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202310573133.7A 2023-05-18 2023-05-18 基于流量特征融合的网络入侵检测方法及系统 Pending CN116506210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310573133.7A CN116506210A (zh) 2023-05-18 2023-05-18 基于流量特征融合的网络入侵检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310573133.7A CN116506210A (zh) 2023-05-18 2023-05-18 基于流量特征融合的网络入侵检测方法及系统

Publications (1)

Publication Number Publication Date
CN116506210A true CN116506210A (zh) 2023-07-28

Family

ID=87321529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310573133.7A Pending CN116506210A (zh) 2023-05-18 2023-05-18 基于流量特征融合的网络入侵检测方法及系统

Country Status (1)

Country Link
CN (1) CN116506210A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294476A (zh) * 2023-09-08 2023-12-26 湖北华中电力科技开发有限责任公司 基于深度学习神经网络的网络入侵检测方法、装置、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294476A (zh) * 2023-09-08 2023-12-26 湖北华中电力科技开发有限责任公司 基于深度学习神经网络的网络入侵检测方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
Shi et al. Image manipulation detection and localization based on the dual-domain convolutional neural networks
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
Yu et al. Autoencoder framework based on orthogonal projection constraints improves anomalies detection
CN116506210A (zh) 基于流量特征融合的网络入侵检测方法及系统
CN111709523A (zh) 一种基于内部集成的宽度学习方法
CN115205712A (zh) 一种基于孪生网络的无人机巡检图像快速查重方法和系统
Xu et al. Feature data processing: Making medical data fit deep neural networks
Wang et al. U-SPDNet: An SPD manifold learning-based neural network for visual classification
CN117375896A (zh) 基于多尺度时空特征残差融合的入侵检测方法及系统
CN116977725A (zh) 一种基于改进卷积神经网络的异常行为识别方法及装置
CN117082118A (zh) 基于数据推导及端口预测的网络连接方法
Li et al. An Abnormal Traffic Detection Based on Attention-Guided Bidirectional GRU
CN115694985A (zh) 基于tmb的混合网络流量攻击预测方法
Li et al. Intrusion detection using temporal convolutional networks
CN115439930A (zh) 一种基于时空维度筛选的多特征融合步态识别方法
CN114169433A (zh) 一种基于联邦学习+图学习+cnn的工业故障预测方法
Liu et al. Adaptive Texture and Spectrum Clue Mining for Generalizable Face Forgery Detection
CN112765148A (zh) 一种基于改进svm多分类的网络入侵检测方法
Chen et al. Adversarial attack detection based on example semantics and model activation features
GenG et al. Jujube classification based on a convolution neural network with multi-channel weighting and information aggregation
Liu et al. Intrusion Detection Based on Feature Reduction and Model Pruning in Electricity Trading Network
Pan et al. Generalized zero-shot learning fault diagnosis framework based on anomaly detection and contractive stacked autoencoder
Gupta et al. Exploring the Enhanced Performance of Unsupervised Feature Learning and Compression with Auto encoders
Junior et al. From Network Package Flow to Images: How to Accurately Detect Anomalies in Computer Networks
Zhao et al. Network Intrusion Detection System Based on One-Dimensional Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination