CN117811850B - 一种基于STBformer模型的网络入侵检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于STBformer模型的网络入侵检测方法及系统，在网络流量高峰期和实时数据传输中迅速而精准地识别潜在的入侵行为。本发明STBformer混合模型中，通过组合全连接层搭建流级投影模块；通过多头注意力机制和快速傅里叶变换，搭建Attspec模块，使待检测数据先经过注意力模块提取时域信息特征，再经过频域模块提取频域信息特征；最后加入双向长短期记忆网络，理解和捕捉时序数据中的关联关系。本发明网络入侵检测方法能够根据网络环境和入侵行为的演变进行实时优化，通过不断学习和调整模型参数，有效识别新型入侵攻击，同时具备自我适应性，为长期网络安全维护提供了便利。

Description

一种基于STBformer模型的网络入侵检测方法及系统

技术领域

本发明涉及计算机网络技术领域，特别涉及一种基于STBformer模型的网络入侵检测方法及系统。

背景技术

在当代信息社会中，计算机网络和互联网的迅速发展带来了前所未有的便捷性和效率，同时也带来了网络安全威胁。网络入侵作为一种常见的网络安全威胁，不仅对个人用户和企业组织造成巨大损失，还对国家安全和社会稳定带来潜在威胁。

传统的入侵检测方法，如基于规则和签名的检测方法，依赖于已知的攻击模式或者特征来进行检测，在识别已知攻击方面效果良好，但是攻击者不断改进攻击策略，采用更多的攻击手段和隐藏技巧，因此，这些传统的入侵检测方法无法应对未知的漏洞或新兴的威胁。网络安全研究人员不断改进入侵检测技术，已经将机器学习、深度学习、行为分析等技术引入到了入侵检测领域。

现有技术中，Transformer和双向长短期记忆网络等模型具有出色的序列建模能力，而且适用于处理网络流量数据，已有取得了一定的研究成果，但依然存在两个问题：

第一，现有Transformer和双向长短期记忆网络进行入侵检测的研究，在处理网络数据时主要聚焦于时域信息，极少考虑频域信息在入侵检测中的重要性。频域信息在入侵检测中的重要性日益凸显，某些入侵行为可能在特定频率范围内表现出异常流量模式或频繁出现的周期性信号，因此，将频域信息纳入模型可能为检测特定类型的攻击提供关键线索。第二，输入编码问题，部分研究只对分类字段进行处理，忽视了数字字段的重要性，或者将分类字段进行one-hot编码，然后和数字字段拼接在一起后进行一些简单的处理。这些对数据的处理方式虽然可以得到符合输入模型要求的数据，但是也会损失一些数据的特征信息。

发明内容

本发明所要解决的问题是：提供一种基于STBformer模型的网络入侵检测方法及系统，利用基于注意力机制、快速傅里叶变换和双向长短期记忆网络的STBformer模型，检查网络入侵流量，兼顾数据中的频域信息和时域信息，更加准确地检测网络入侵流量。

本发明采用如下技术方案：一种基于STBformer模型的网络入侵检测方法，包括如下步骤：

步骤S1、数据预处理，基于待检测数据集，进行特征编码、数值归一化处理，将待检测数据集划分为训练数据集和验证数据集；

待检测数据集特征分为数值特征和非数值特征，使用one-hot方法对非数值特征进行特征编码，将非数值特征转换成数值特征，使待检测数据集中所有特征都为数值型特征，采用最大最小归一化对待检测数据集进行处理；

所述非数值特征包括：网络流量特征、攻击类型、源地址、目标地址。

步骤S2 、构建STBformer混合模型，具体为：

S2.1、通过组合全连接层，搭建流级投影模块，流级投影模块是一层全连接层，将数据映射到连续的特征向量上；

S2.2、通过多头注意力机制和快速傅里叶变换，搭建Attspec 模块；Attspec模块包括Spectral模块和Attention模块，待检测数据先经过Attention模块提取时域信息特征，再经过Spectral模块提取频域信息特征；

进一步地，Spectral模块，通过引入频谱门控网络，基于到达时间、有效载荷长度和协议类型属性，对待检测数据进行频域信息特征提取和表征；所述频谱门控网络包括快速傅立叶变换层、加权门控层和快速傅立叶逆变换层，频域信息特征提取包括如下子步骤：

S2.2.1、利用快速傅立叶变换，将物理空间数据转换为频谱空间数据；

S2.2.2、利用权重参数，针对STBformer的每一层进行学习，对每个频率分量进行加权，捕获频谱空间数据的频域特征；

S2.2.3、通过快速傅立叶逆变换，将频谱空间数据重新映射回物理空间；

S2.2.4、在快速傅立叶逆变换之后，频谱门控网络还包括层归一化和前馈网络模块，用于信道混合和进一步特征提取。

进一步地，Attention模块中，依次进行：层归一化，用于对输入数据进行标准化；多头自我注意力机制，允许模型同时考虑输入的不同位置之间的关系，捕获上下文信息；再次进行层归一化维持层内的稳定性；以及前馈网络，进行进一步特征映射和抽取。

S2.3、基于流级投影模块和Attspec模块，加入双向长短期记忆网络，共同组合成STBformer混合模型；

双向长短期记忆网络，由一个前向长短期记忆神经网络和一个反向长短期记忆神经网络组成，数据X（x1,x2,x3,…,xn）经过前向长短期记忆神经网络得到状态向量{hL1,hL2, hL3,…, hLn}，经过反向长短期记忆神经网络得到状态向量{hRn,…,hR1},将前向和反向的状态向量进行拼接得到{[hL1,hRn],[hL2,hRn-1],…,[hLn,hR1]},表示为状态向量{h1,h2,h3,…hn},双向长短期记忆神经网络同时利用前向和后向的信息，理解和捕捉时序数据中的关联关系。

S2.4、通过分类模块对网络流量进行分类；

分类模块包括：Fallten层、激活函数为relu的全连接层、激活函数为Sigmoid的全连接层，数据通过分类模块得出分类结果，然后通过反向传播，采用交叉熵函数作为损失函数，使用Adam 优化算法减少损失，完成模型的训练。

S2.5、对STBformer混合模型进行训练及参数设置。

步骤S3 、进行网络入侵检测，检测出异常流量。

本发明技术方案还提供了一种基于STBformer模型的网络入侵检测系统，通过上述任一种网络入侵检测方法，进行网络入侵检测，包括：数据预处理模块、STBformer混合模型及分类模块；

数据预处理模块，基于待检测数据集，进行特征编码、数值归一化处理，将待检测数据集划分为训练数据集和验证数据集；

STBformer混合模型：包括流级投影模块、Attspec模块和双向长短期记忆网络；

流级投影模块，是一层全连接层，用于将数据映射到连续的特征向量上；

Attspec模块，包括Spectral模块和Attention模块，Attention模块提取待检测数据中的时域信息特征，Spectral模块提取待检测数据中的频域信息特征；

双向长短期记忆网络，由一个前向长短期记忆神经网络和一个反向长短期记忆神经网络组成，同时利用前向和后向的信息，理解和捕捉时序数据中的关联关系；

分类模块由Fallten层、激活函数为relu的全连接层、激活函数为Sigmoid的全连接层组成，数据通过分类模块得出分类结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、高效的实时检测：本发明采用STBformer模型，其优越的计算性能和快速傅里叶变换的应用，使入侵检测在实时性方面取得了显著的效果，系统能够在网络流量高峰期和实时数据传输中迅速而精准地识别潜在的入侵行为，大幅缩短检测响应时间，提高网络安全的及时性。

2、自适应学习与优化：本发明STBformer模型具备自适应学习能力，能够根据网络环境和入侵行为的演变进行实时优化。通过不断学习和调整模型参数，系统能够对新型入侵攻击进行有效识别，具备一定的自我适应性，为长期网络安全维护提供了便利。

3、降低误报率：由于STBformer模型对时域和频域信息的全面建模，以及深度学习模型的智能性，本发明在入侵检测中取得了更低的误报率。系统能够更准确地区分正常网络活动和潜在的入侵行为，降低了误报导致的不必要干预和资源浪费，提升了整体效益。

附图说明

图1是本发明基于STBformer模型的网络入侵检测方法整体流程图；

图2是本发明Attspec 模块结构图；

图3是本发明双向长短期记忆网络结构图；

图4是本发明从网络流量包到分类得出异常流量的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对申请的技术方案做进一步地详尽阐述，所描述的实施例，也只是本发明所涉及实施例的一部分。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。同时对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的一个实施例中，基于STBformer模型的网络入侵检测方法，如图1所示，包括如下步骤：

步骤S1、数据预处理，基于待检测数据集，首先进行特征编码、数值归一化处理，然后将待检测数据集划分为训练数据集和验证数据集，具体如下：

1.1 特征编码：

本实施例中，使用的数据集为NF-CSE-CIC-IDS2018和 NF-UNSW-NB15，数据集中有数值特征和非数值特征，需要将网络流量特征、攻击类型、源地址、目标地址等非数值特征转换成数值特征，使用的方法是one-hot编码。

1.2 数值归一化：

经过特征编码后，数据集中的所有特征都变成了数值型特征，但所有特征的值并不是处在相同范围内，特征值较大将会影响模型整体的训练速度，因此采用最大最小归一化对整体数据进行处理，公式如下：

；

上式中，x为输入数据，x _max 、x _min 分别是由数值特征列中所有最大值元素和最小值元素组成的向量，为归一化后的所有元素。

1.3 数据集划分：

本实施例中，将数据集中的90%的数据作为训练数据，10%的数据作为验证数据。

步骤S2、搭建STBformer模型，具体如下：

2.1构建流级投影模块：

数据经过预处理后，先通过流级投影模块，再进入STBformer模型中训练。

流级投影模块和预处理不同，和STBformer模型一起训练，流级投影模块F是一层全连接层，将数据映射到连续的特征向量上，公式如下：

；

其中，函数F为表示一层全连接层，W表示网络参数矩阵，b表示偏差矩阵，为表示经过全连接层后的数据。

数据经过预处理、流级投影模块后，得到可供STBformer模块训练的数据，经过模型训练后，通过分类模块，得出结果。

2.2构建Attspec 模块：

Attspec模块由一个Spectral（频域）模块和一个Attention（注意力）模块组成。

本实施例中，如图2所示，Attspec模块中，数据先经过注意力模块进行时域信息特征提取，再经过频域模块进行频域信息的提取。通过这种方式，Attspec模块同时完成了对时域和频域信息的提取。

Spectral模块的主要作用在于提取数据中的频域特征，这些特征是基于特定属性（如到达时间、有效载荷长度和协议类型）进行提取的。

Spectral模块通过引入频谱门控网络来实现其功能，该网络由快速傅立叶变换层、加权门控层和快速傅立叶逆变换层组成。

Spectral模块利用快速傅立叶变换将物理空间数据转换为频谱空间,利用可学习的权重参数，对每个频率分量进行加权，以有效地捕获数据的频域特征。这些可学习的权重参数是针对STBformer的每一层进行学习，通过反向传播技术进行优化。然后，通过快速傅立叶逆变换，频谱数据重新映射回物理空间。此外，在快速傅立叶逆变换之后，频谱层还包括层归一化和前馈网络模块，用于信道混合和进一步的特征提取。

总之，频域模块通过引入频谱门控网络，充分利用快速傅立叶变换和逆变换的操作，以及可学习的权重参数，实现了对数据中频域特征的提取和表征。

Attention模块中的注意层在结构上与transformer模型中的编码层类似，它包括了一系列标准化和操作组件，以有效地捕获输入数据的相关信息。

本实施例中，该注意层的组成如下：首先是层归一化，用于对输入数据进行标准化。接下来是多头自我注意力机制，允许模型同时考虑输入的不同位置之间的关系，从而更好地捕获上下文信息。

在多头自我注意力中，采用的自注意力机制基于可训练的三元组（query, key,value）, 使用query和key计算出分配给每个值的权重分数，然后通过softmax函数进行归一化操作得到注意力权重，之后再将得到的注意力权重与value计算加权和得到输出，使用点积注意力能够并行运算，减少训练时间；

注意力权重计算公式如下：

;

其中，Q、K、V分别代表query、 key、 value三个矩阵，d _k 为矩阵key的维度，T是转置操作，将矩阵行和列互换；

softmax函数表示归一化函数，Attention函数用来计算注意力权重；

多头自我注意力计算公式如下：

其中，X表示输入数据，Q _i、 K _i、 V _i 分别表示第i个子头的query、key、value矩阵，分别表示第i个子头与Q、K、V矩阵对应的网络参数矩阵；head _i 表示第i个子头的自注意力结果，/>表示与输出对应的网络参数矩阵，Concat(.)是矩阵的拼接操作，MultiHead表示多头注意力操作。

在多头自我注意力机制之后，再次进行层归一化，以维持层内的稳定性，最后，紧随其后的是前馈网络，用于进一步的特征映射和抽取。

2.3双向长短期记忆网络：

数据经过Attspec模块后，在经过双向长短期记忆网络的训练。

本实施例中，如图3所示，双向长短期记忆网络由一个前向长短期记忆神经网络和一个反向长短期记忆神经网络组成，数据X={X ₁ ,X ₂ ,…,X _T }经过正向层LSTM得到隐藏状态向量{h_L1, h_L2, h_L3,…, h_Ln}，经过反向层LSTM得到隐藏状态向量{h_Rn,h_Rn-1…,h_R1},最终的输出数据Y={Y ₁ ,Y ₂ ,...,Y _T } 由正向层和反向层拼接后的隐藏状态向量组成的,即Y={[h_L1,h_Rn],[h_L2,h_Rn-1],...,[h_Ln,h_R1]}，其中, Xt是时刻t的输入, Yt是时刻t的输出,[h_Lt,h_Rt]表示在时间步t上正向和反向的隐藏状态向量拼接得到的新的隐藏状态向量。

通过这种结合方式，BiLSTM网络可以同时利用前向和后向的信息，从而更全面地理解和捕捉时序数据中的关联关系。

2.4通过分类模块对网络流量进行分类；

本实施例中，分类模块由Fallten层、全连接层（激活函数为relu）、全连接层（激活函数为Sigmoid）组成，数据通过分类模块得出分类结果，

2.5 模型训练参数设置：

通过反向传播，采用交叉熵函数作为损失函数，使用Adam 优化算法减少损失，从而完成模型的整个训练流程。

本实施例中，批处理大小为 128，学习率为 0.01。

步骤S3 、通过上述基于STBformer模型的网络入侵检测方法，进行网络入侵检测，检测出异常流量。

S3.1、从网络流量包到分类得出异常流量的全流程，如图4所示，互联网各个终端产生流量数据包，由Netflow收集器进行收集转为流格式版本数据，然后数据经过STBformer混合模型进行分类，从而检测出异常流量。

S3.2、从网络流量包到分类得出异常流量的全流程，具体细节如下表，表格中超参数batchsize表示批处理大小，值为128，seq_len为序列长度，值为8，其中Attention模块和Spectral模块内部不会改变数据大小，此处就不赘述。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于STBformer模型的网络入侵检测方法，其特征在于，包括如下步骤：

步骤S1、数据预处理，基于待检测数据集，进行特征编码、数值归一化处理，将待检测数据集划分为训练数据集和验证数据集；

步骤S2、构建STBformer混合模型，具体为：

S2.1、通过组合全连接层，搭建流级投影模块；

S2.2、通过多头注意力机制和快速傅里叶变换，搭建Attspec 模块； Attspec模块包括Spectral模块和Attention模块，待检测数据先经过Attention模块提取时域信息特征，再经过Spectral模块提取频域信息特征；

Spectral模块中，通过引入频谱门控网络，基于到达时间、有效载荷长度和协议类型属性，对待检测数据进行频域信息特征提取和表征；所述频谱门控网络包括快速傅立叶变换层、加权门控层和快速傅立叶逆变换层，频域信息特征提取包括如下子步骤：

S2.2.1、利用快速傅立叶变换，将物理空间数据转换为频谱空间数据；

S2.2.2、利用权重参数，对每个频率分量进行加权，捕获频谱空间数据的频域特征；

所述权重参数针对STBformer的每一层进行学习，通过反向传播技术进行优化；

S2.2.3、通过快速傅立叶逆变换，将频谱空间数据重新映射回物理空间；

S2.2.4、在快速傅立叶逆变换之后，频谱门控网络还包括层归一化和前馈网络模块，用于信道混合和进一步特征提取；

Attention模块中，依次进行：层归一化，用于对输入数据进行标准化；多头自我注意力机制，允许模型同时考虑输入的不同位置之间的关系，捕获上下文信息；再次进行层归一化维持层内的稳定性；以及前馈网络，进行进一步特征映射和抽取；

多头自我注意力机制采用基于可训练的三元组自注意力机制，包括query、key、value矩阵；使用query和key计算分配给每个值的权重分数，然后通过softmax函数进行归一化操作得到注意力权重，将得到的注意力权重与value计算加权和得到输出；注意力权重计算公式如下：

;

其中， Q、K、V 分别代表query、 key、 value三个矩阵，d _k 为矩阵key的维度，T是转置操作，将矩阵行和列互换；softmax函数表示归一化函数，Attention函数用来计算注意力权重；

多头自我注意力计算公式如下：

；

其中，X表示输入数据，Q _i、 K _i、 V _i 分别表示第i个子头的query、key、value矩阵，分别表示第i个子头与Q、K、V矩阵对应的网络参数矩阵；head _i 表示第i个子头的自注意力结果，/>表示与输出对应的网络参数矩阵，Concat(.)是矩阵的拼接操作，MultiHead表示多头注意力操作；

S2.3、基于流级投影模块和Attspec模块，加入双向长短期记忆网络，共同组合成STBformer混合模型；

双向长短期记忆网络，由一个前向长短期记忆神经网络和一个反向长短期记忆神经网络组成，数据X（x1,x2,x3,…,xn）经过前向长短期记忆神经网络得到状态向量{hL1, hL2,hL3,…, hLn}，经过反向长短期记忆神经网络得到状态向量{hRn,…,hR1},将前向和反向的状态向量进行拼接得到{[hL1,hRn],[hL2,hRn-1],…,[hLn,hR1]},表示为状态向量{h1,h2,h3,…hn},双向长短期记忆神经网络同时利用前向和后向的信息，理解和捕捉时序数据中的关联关系；

S2.4、通过分类模块对网络流量进行分类，分类模块包括：Fallten层、激活函数为relu的全连接层、激活函数为Sigmoid的全连接层，数据通过分类模块得出分类结果，然后通过反向传播，采用交叉熵函数作为损失函数，使用Adam 优化算法减少损失，完成STBformer混合模型的训练；

S2.5、对STBformer混合模型进行训练及参数设置；

步骤S3、进行网络入侵检测，检测出异常流量。

2.根据权利要求1所述的基于STBformer模型的网络入侵检测方法，其特征在于，步骤S1中，待检测数据集特征分为数值特征和非数值特征，使用one-hot方法对非数值特征进行特征编码，将非数值特征转换成数值特征，使待检测数据集中所有特征都为数值型特征；

所述非数值特征包括：网络流量特征、攻击类型、源地址、目标地址。

3.根据权利要求2所述的基于STBformer模型的网络入侵检测方法，其特征在于，步骤S1中，采用最大最小归一化对待检测数据集进行处理，公式如下：

；

其中，x为输入数据，x _max 、x _min 分别是由数值特征列中所有最大值元素和最小值元素组成的向量，为归一化后的所有元素。

4.根据权利要求3所述的基于STBformer模型的网络入侵检测方法，其特征在于，步骤S2.1中，流级投影模块F是一层全连接层，将数据映射到连续的特征向量上，公式如下：

；

其中，函数F为表示一层全连接层，W表示网络参数矩阵，b表示偏差矩阵，为表示经过全连接层后的数据。

5.一种基于STBformer模型的网络入侵检测系统，用于通过权利要求1至4任一种网络入侵检测方法，进行网络入侵检测，其特征在于，包括：数据预处理模块、STBformer混合模型及分类模块；

数据预处理模块，基于待检测数据集，进行特征编码、数值归一化处理，将待检测数据集划分为训练数据集和验证数据集；

STBformer混合模型：包括流级投影模块、Attspec模块和双向长短期记忆网络；

所述流级投影模块，是一层全连接层，用于将数据映射到连续的特征向量上；

所述Attspec模块，包括Spectral模块和Attention模块，Attention模块提取待检测数据中的时域信息特征，Spectral模块提取待检测数据中的频域信息特征；

所述双向长短期记忆网络，由一个前向长短期记忆神经网络和一个反向长短期记忆神经网络组成，同时利用前向和后向的信息，理解和捕捉时序数据中的关联关系；

分类模块由Fallten层、激活函数为relu的全连接层、激活函数为Sigmoid的全连接层组成，数据通过分类模块得出分类结果。