CN115630298A - 基于自注意力机制的网络流量异常检测方法及系统 - Google Patents

基于自注意力机制的网络流量异常检测方法及系统 Download PDF

Info

Publication number
CN115630298A
CN115630298A CN202211196496.5A CN202211196496A CN115630298A CN 115630298 A CN115630298 A CN 115630298A CN 202211196496 A CN202211196496 A CN 202211196496A CN 115630298 A CN115630298 A CN 115630298A
Authority
CN
China
Prior art keywords
self
network
network traffic
feature
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211196496.5A
Other languages
English (en)
Inventor
宣萍
丁宏
房朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI PROVINCE PRODUCT QUALITY SUPERVISION AND INSPECTION INSTITUTE
Original Assignee
ANHUI PROVINCE PRODUCT QUALITY SUPERVISION AND INSPECTION INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI PROVINCE PRODUCT QUALITY SUPERVISION AND INSPECTION INSTITUTE filed Critical ANHUI PROVINCE PRODUCT QUALITY SUPERVISION AND INSPECTION INSTITUTE
Priority to CN202211196496.5A priority Critical patent/CN115630298A/zh
Publication of CN115630298A publication Critical patent/CN115630298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明适用于网络安全技术领域，提供了一种基于自注意力机制的网络流量异常检测方法及系统，所述基于自注意力机制的网络流量异常检测方法包括以下步骤：获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；对所述网络流量数据进行特征提取；通过自注意力机制确定所述网络流量数据中每个特征的注意力值；根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。本发明通过自注意力机制提取分析网络流量数据中特征之间的相关性，从而提取更准确的向量特征，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。

Description

基于自注意力机制的网络流量异常检测方法及系统
技术领域
本发明属于网络安全技术领域，尤其涉及一种基于自注意力机制的网络流量异常检测方法及系统。
背景技术
网络信息技术的迅速发展，使得互联网数据规模日益增大、网络应用范围不断扩大，因此网络安全受到越来越多专家学者的高度关注。随着数据科学、人工智能技术的快速发展，全球网络安全局势也越来越严峻。网络空间中的数据传递与交换都是以网络流量为媒介的，而网络流量通常包含许多重要价值的数据信息。通过研究网络流量数据，发现网络异常情况并采取相应的处理措施，对有效维护网络安全具有重要的价值。因此，研究网络异常检测方法，对有效识别异常流量有着重要的理论意义和实际应用价值。
网络流量异常是指网络流量行为偏离其正常行为的情形。随着网络规模不断扩大，复杂性不断增加，网络流量异常对网络安全的影响越来越大。
传统网络异常流量检测方法一般包括以下三种：1、深度包检测(deep packetinspection，DPI)，通过在开放系统互连参考模型的应用层中起作用，可以发现、识别、分类、重新路由或阻止具有特殊数据或代码有效载荷的数据包，但对于网络中加密数据流量的检测效果有很大的局限性；2、基于异常特征库匹配的入侵检测，其很大程度上依赖于异常特征库的更新和维护，使得检测性能缺乏鲁棒性；3、基于机器学习的网络流量检测，通过对网络流量样本数据集进行特征选择来降低数据的维度，进而提取出数据流量最有效的特征。但是，现有的基于机器学习的网络流量异常检测存在三方面的不足：1、需要人为制定规则进行特征选择，耗费大量人力、时间成本；2、忽略了流量数据特征之间的关联性，往往只选择与网络流量关联性最大的部分特征；3、机器学习方法对结构复杂的大规模网络数据的处理能力有限，导致经常出现误报率高、模型的泛化能力较差等问题。
近几年，深度学习技术不断发展，深度学习方法也开始广泛应用于网络流量异常检测中。黎佳玥等人和董书琴等人均提出基于深度学习的网络流量异常检测方法，该方法能够提取出具有较高准确性和稳定性的流量特征。徐洪平等人提出一种基于卷积循环神经网络的网络流量异常检测算法，得到了较高的精度、召回率和准确率。但是现有的基于深度学习的网络流量异常检测方法忽略了特征之间的相关性，使得对网络流量数据特征提取的准确性降低，导致异常流量有效检测率低、误报率高的问题。
发明内容
本发明实施例的目的在于提供一种基于自注意力机制的网络流量异常检测方法，以实现流量特征更加准确的提取，旨在进一步提高现有异常流量检测方法的有效检测率，降低误报率。
本发明实施例是这样实现的，一种基于自注意力机制的网络流量异常检测方法，所述基于自注意力机制的网络流量异常检测方法包括以下步骤：
获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
对所述网络流量数据进行特征提取；
通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
本发明实施例的另一目的在于提供一种基于自注意力机制的网络流量异常检测系统，该基于自注意力机制的网络流量异常检测系统包括：模型训练模块、特征提取模块、注意力值计算模块和异常网络流量识别模块；
所述模型训练模块，用于获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
所述特征提取模块，用于对所述网络流量数据进行特征提取；
所述注意力值计算模块，用于通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
所述异常网络流量识别模块，用于根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于自注意力机制的网络流量异常检测方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于自注意力机制的网络流量异常检测方法的步骤。
本发明实施例提供的一种基于自注意力机制的网络流量异常检测方法，该方法通过自注意力机制提取分析网络流量数据中特征之间的相关性，从而提取更准确的向量特征，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。
附图说明
图1为本发明实施例提供的一种基于自注意力机制的网络流量异常检测方法的流程图；
图2为本发明实施例中自注意力机制的工作流程图；
图3为本发明实施例中特征注意力值计算的流程示意图；
图4为本发明实施例中异常流量检测分类器的网络结构示意图；
图5为本发明实施例在F-score指标上的对比结果图(通过SVM、CNN与CNN+SA三个模型对数据集UNSW-NB15中的9种网络攻击进行检测)；
图6为为本发明实施例提供的一种基于自注意力机制的网络流量异常检测系统的框架结构示意图；
图7为本发明实施例提供的一种基于自注意力机制的网络流量异常检测系统中特征提取模块的结构框图；
图8为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的一种基于自注意力机制的网络流量异常检测方法的工作流程图，具体可以包括以下步骤S101-步骤S105：
步骤S101，获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
本步骤中，可以通过流量监测器对网络流量进行监测，可以提取网络流量获得网络流程数据，作为样本进行网络流量异常检测，在异常检测时可以根据一些可以表征网络异常的特征进行提取和分析，例如异常的源IP地址或接入端口等。
此外，还可以通过样本对选择的自注意力机制进行训练，训练后的该自注意力机制可以视为一种神经网络模型，通过该神经网络模型，学习n个网络流量特征之间的相关性，进而得到更能体现网络异常的特征或特征向量，从而提取更准确的流量特征，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。
其中，特征向量包括特征以及特征在网络流量数据中的位置信息。
步骤S103，对所述网络流量数据进行特征提取；
步骤S105，通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
步骤S107，根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
在步骤S105中，所述的通过自注意力机制确定所述网络流量数据中每个特征的注意力值，具体包括以下步骤：
将提取的n个特征编码为n个向量Xi，其中i＝1，2，...，n；
将每个向量Xi与权重矩阵WQ、WK、WV相乘，得到每个特征的矩阵Qi＝XiWQ、矩阵Ki＝XiWK、矩阵Vi＝XiWV，其中Qi为特征i的查询输入，Ki为特征i的键输入，Vi为特征i的权重系数对值；
将特征i的查询输入Qi与特征j的键输入Kj分别作点积运算，得到特征i的n个权重得分Si，j，并进行归一化处理，得到n个概率值Zi，j；
将n个概率值Zi，j对n个权重系数对值Vi进行加权求和，得到特征i的注意力值Ai。
本实施例中，通过自注意力机制提取分析网络流量数据中特征之间的相关性，根据相关性可以对特征进行分类或排序，从而便于提取更准确的向量特征，再基于提取的特征，通过异常流量检测分类器对样本进行异常流量识别，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。
一般地，现有的基于卷积循环神经网络的网络流量异常检测算法，可以得到较高的精度、召回率和准确率。但是现有的基于深度学习的网络流量异常检测方法，在进行异常检测时忽略了特征之间的相关性，在一些场景中，例如复杂的大规模网络数据，检测时会让特征参数非常多，变得很复杂，使得对网络流量数据特征提取的准确性降低，导致异常流量有效检测率低、误报率高等问题；基于此，通过自注意力机制提取分析网络流量数据中特征之间的相关性，则可以降低特征参数的复杂度，减少数据运算量，提高检测效率，以及降低误报率。
进一步地，在一个实施例中，自注意力机制的计算过程如下：
Qi＝Xi*WQ；Ki＝Xi*WK；Vi＝Xi*WV；i＝1，2，L，n；
si，j＝Qi*Kj；i＝1，2，L，n；j＝1，2，L，n；
Figure BDA0003869862200000061
i，j＝1，2，L，n；
可得注意力值Ai；
Figure BDA0003869862200000062
i＝1，2，L，n，其中Q，K，V均为矩阵。
在另一个实施例中，自注意力机制可以用下面的矩阵形式表示为：
Attention(Q，K，V)＝Soft max(Q·KT)·V，其中Q，K，V均为矩阵；分别表示询问输入矩阵、键输入矩阵和权重系数对值矩阵。
如图3所示，在一个实施例的示例中，以特征1为例：
将特征1的查询输入Q1与n个特征的键输入Kj分别作点积运算，得到特征1的n个权重得分S1，j，其中j＝1，2...n；
将特征1的n个权重得分S1，j进行归一化，得到n个概率值Z1，j；
将n个概率值Z1，j对n个权重系数对值Vi进行加权求和，得到特征1的注意力值A1。
其他特征的注意力值计算参照特征1即可。注意力值的大小反映了流量数据特征之间关联性的强弱。
上述，得到的注意力值Ai大小反映了网络流量数据的特征之间关联性的强弱，进而可根据特征之间关联性的强弱来提取更准确的特征，确定特征向量，代入异常流量分类器中实现分类。即将上述处理后的特征向量输入全连接层神经网络进行分类，对样本进行正常与异常判别，对结果进行整合分析，得到样本(即监测的网络流程数据)最终的分类结果。
在一个实施例的示例中，所述的异常流量检测分类器可以采用卷积神经网络实现，主要由数据输入层、特征提取卷积层、激活函数层(ReLU)、池化层和全连接层架构而成，如图4所示，其中卷积层和池化层主要作用是提取数据的特征。
在每个卷积层中，一个神经元往往只和相邻层的一小部分神经元相连；而每个卷积层中包含若干个特征图，每个特征图的神经元都共享权值(称为卷积核)。在卷积神经网络的训练过程中，通过利用卷积核进行权值学习，能够减少网络各层之间的连接以及减少模型的过拟合。因此，卷积层和池化层在简化模型复杂度、减少模型的训练参数等方面起到了重要作用；图4给出了卷积神经网络具体结构的示意图。
在一个实施例中，对特征进行提取前，可以对网络流量数据进行数据预处理，以便于更好的进行特征提取；
上述预处理方式包括但不限于数据清洗、数据集成、数据变换、数据规约等，由于数据预处理属于现有技术，在此不再赘述。
本实施例的一个示例中，所述特征包括源IP地址、源端口号、目标IP地址、目标端口号、交易协议等。
上述，自注意力机制的工作流程如图2所示，主要包括两个过程：一是根据询问(Query，Q)和键(Key，K)计算权重系数；
二是根据权重系数对值(Value，V)进行加权求和；具体计算方式参见上述特征1的举例，在此不在赘述。
为了提高检测效率和准确度，在提取的特征中，某个特征在同一条网络数据流量中可能多次出现时，若不能区分前后出现的特征而误认为它们都是同样的，那么可能影响检测的结果，需要进行区分。
基于此，在一个实施例中，所述的将提取的n个特征编码为n个向量Xi的步骤，具体包括：
利用词嵌入方式对每个特征进行编码；
获取每个特征的位置编码，并在对特征进行词嵌入时同时引入，形成携带有位置信息的向量Xi。
本实施例中，采用词嵌入方式对每个特征进行编码，可以把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，即将提取的特征由稀疏向量转换为密集、连续的向量空间，使在容放自注意力机制进行相关性学习分析时，可以被更好地识别各特征之间的相似性。
当然在一些实施例中，也可采用其他的编码方式，例如采用one-hot方式编码，优选采用词嵌入方式实现特征编码。
在一个实施例中，将所述权重矩阵WQ、WK、WV初始化为随机矩阵，之后进行模型训练，并在模型训练过程中通过反向传播算法对随机矩阵进行更新。
本实施例中，将权重矩阵WQ、WK、WV初始化为随机矩阵，可以避免应用环境的干扰，提高检测准确度，而为了进一步地提高该方法的准确性，根据特征的不同，可能需要对权重矩阵的权重进行调整，因此，在根据前一权重矩阵的值对前一特征向量进行计算注意力值Ai后，可以调整后一特征对应的注意力值Ai+1的权重；可以采用静态反向传播、循环反向传播()，直到反馈值与测试值的误差达到某一个阈值后，可停止计算；本实施例的反向传播是具有快速、易于实现且简单的优点。
具体地，可以将样本数据分开进行训练和测试，在进行训练和测试过程中，调整权重和学习率；根据显示的准确率来确定最终的权重矩阵WQ、WK、WV；进而实现每一个特征的注意力值的计算，从而提取出更具高关联度的特征，继而提高检测方法的检测有效性、准确度。
在一个示例中，通过已公开的UNSW-NB15数据集，来对验证本实施例提出的基于自注意力机制的网络流量异常检测方法(CNN+SA)的性能。从准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F-score指标四个方面进行测试；
本实施例中，准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F-score指标的定义分别为：
Figure BDA0003869862200000091
Figure BDA0003869862200000101
其中TP表示分类器预测的真阳性数，FN表示假阴性数，FP表示假阳性数，TN表示真阴性数；
采用SVM、CNN与CNN+SA三个模型对数据集UNSW-NB15中的9种网络攻击进行检测，分别计算各模型对9种网络攻击的准确率、精确率、召回率和F-score指标上的结果，对比结果参照表1和图5；
表1为三个模型测试的对比结果参照表
Figure BDA0003869862200000102
通过表1可以看出，本发明提出的CNN+SA在数据集UNSW-NB15中9中攻击检测表现的F-score值均高于SVM和CNN两种模型。
通过图5可以看出，本发明提出的CNN+SA在数据集UNSW-NB15中9中攻击检测表现在准确率、精确率、召回率均优于SVM和CNN两种模型。与此同时，CNN+SA模型在准确率、精确率、召回率这三个指标上的结果相差不大。
其中，UNSW-NB15数据集，是综合性的网络攻击流量数据集，包含正常数据以及Fuzzers、Analysis、Backdoors、DoS、Exploits、Generic、Reconnaissance、Shellcode、Worms等9种常见的攻击；能够代表普遍的网络流量数据，因此，本实施例的测试具有普适性，测试结果能够反映实际的应用环境下的检测结果。
在另一个实施例中，如图6所示，为一种基于自注意力机制的网络流量异常检测系统的结构框图，所述基于自注意力机制的网络流量异常检测系统包括：模型训练模块310、特征提取模块320、注意力值计算模块330和异常网络流量识别模块340；
所述模型训练模块310，用于获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；所述模型训练模块可以包括流量监测器、用于自注意力机制的可视化训练模型，流量监测器用于监测和获取网络流量数据，作为样本传输给可视化训练模型；通过可视化训练模型训练自注意力机制的学习能力，作为根据学习率来判断是否结束训练，并输出各特征之间的相关度结果。
在一个示例中，所述模型训练模块可以基于反向传播算法实现，利用反向传播模型训练自注意力机制，来保障通过训练自注意力机制提取分析的特征更具高相关性。
所述特征提取模块320，用于对所述网络流量数据进行特征提取；
具体地，对网络流量数据中的源IP地址、源端口号、目标IP地址、目标端口号和交易协议进行提取；并转换为相应的特征向量。
所述注意力值计算模块330，用于通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
所述异常网络流量识别模块340，用于根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
本实施例中，通过自注意力机制提取分析网络流量数据中特征之间的相关性，根据相关性可以对特征进行分类或排序，从而便于提取更准确的向量特征，再基于提取的特征，通过异常流量检测分类器对样本进行异常流量识别，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。
如图7所示，在一个实施例中，所述特征提取模块320包括数据监测单元321、特征提取单元322；
所述数据监测单元321，用于监测网络流量数据；
所述特征提取单元322，用于提取网络流量数据中包含的特征。
本实施例中，所述特征提取模块320和注意力值计算模块330的工作过程如下：
将网络流量数据的n个特征编码为n个向量Xi，其中i＝1，2，...，n；
将每个向量Xi分别与权重矩阵WQ、WK、WV相乘，得到每个特征的矩阵Qi＝XiWQ、矩阵Ki＝XiWK、矩阵Vi＝XiWV，其中Qi为特征i的查询输入，Ki为特征i的键输入，Vi为特征i的权重系数对值；
将特征i的查询输入Qi与特征j的键输入Kj分别作点积运算，得到特征i的n个权重得分Si，j，其中j＝1，2…n；
将特征i的n个权重得分Si，j进行归一化处理，得到n个概率值Zi，j；
将n个概率值Zi，j对n个权重系数对值Vi进行加权求和，得到特征i的注意力值Ai。
如图7所示，在一个实施例中，所述特征提取模块320还包括位置编码获取单元323，用于获取所述特征在网络流量数据中的位置编码；
所述特征包括源IP地址、源端口号、目标IP地址、目标端口号和交易协议；所述位置编码获取单元用于获取源IP地址、源端口号、目标IP地址、目标端口号和交易协议在网络流量数据中对应的位置编码。
本实施例中，通过位置编码获取单元323，提取各特征在网络流量数据中的位置编码，并加载到特征中；这样的话，可以避免当某个特征在同一条网络流量数据中多次出现时，若不能区分前后出现的特征而误认为它们都是同样的，可能影响模型输出结果的问题，提高异常网络流量的检测准确率。
在一个实施例中，所述异常网络流量识别模块至少包括异常网络流量分类器。
所述的异常网络流量分类器可以采用卷积神经网络实现，为现有技术，在此不再赘述；通常的卷积神经网络主要由数据输入层、特征提取卷积层、激活函数层(ReLU)、池化层和全连接层架构而成，其中卷积层和池化层主要作用是提取数据的特征。在每个卷积层中，一个神经元往往只和相邻层的一小部分神经元相连。而每个卷积层中包含若干个特征图，每个特征图的神经元都共享权值(称为卷积核)。在网络的训练过程中，通过利用卷积核进行权值学习，能够减少网络各层之间的连接以及减少模型的过拟合。因此，卷积层和池化层在简化模型复杂度、减少模型的训练参数等方面起到了重要作用。图4给出了卷积神经网络具体结构的示意图，本领域技术人员可以根据图4实现本实施例中的异常网络流量分类器的设置或构建；当然，本实施例的异常网络流量分类器不局限于采用卷积神经网络实现。
在另一个实施例中，提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于自注意力机制的网络流量异常检测方法的步骤S101-步骤S107：
步骤S101，获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
步骤S103，对所述网络流量数据进行特征提取；
步骤S105，通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
步骤S107，根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端(或服务器)。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于自注意力机制的网络流量异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于自注意力机制的网络流量异常检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于自注意力机制的网络流量异常检测系统可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于自注意力机制的网络流量异常检测系统的各个程序模块，比如，图6所示的模型训练模块310、特征提取模块320、注意力值计算模块330和异常网络流量识别模块340。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于自注意力机制的网络流量异常检测方法中的步骤。
本实施例提供了一种基于自注意力机制的网络流量异常检测方法，并根据该基于自注意力机制的网络流量异常检测方法提供了一种基于自注意力机制的网络流量异常检测系统，改方法通过自注意力机制提取分析网络流量数据中特征之间的相关性，根据相关性可以对特征进行分类或排序，从而便于提取更准确的向量特征，再基于提取的特征，通过异常流量检测分类器对样本进行异常流量识别，继而实现网络异常流量的高性能检测，提高检测效率，降低误报率。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自注意力机制的网络流量异常检测方法，其特征在于，所述基于自注意力机制的网络流量异常检测方法包括以下步骤：
获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
对所述网络流量数据进行特征提取；
通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
2.根据权利要求1所述的基于自注意力机制的网络流量异常检测方法，其特征在于，所述的通过自注意力机制确定所述网络流量数据中每个特征的注意力值，具体包括以下步骤：
将提取的n个特征编码为n个向量Xi，其中i＝1，2，...，n；
将每个向量Xi与权重矩阵WQ、WK、WV相乘，得到每个特征的矩阵Qi＝XiWQ、矩阵Ki＝XiWK、矩阵Vi＝XiWV，其中Qi为特征i的查询输入，Ki为特征i的键输入，Vi为特征i的权重系数对值；
将特征i的查询输入Qi与特征j的键输入Kj分别作点积运算，得到特征i的n个权重得分Si，j，并进行归一化处理，得到n个概率值Zi，j；
将n个概率值Zi，j对n个权重系数对值Vi进行加权求和，得到特征i的注意力值Ai。
3.根据权利要求2所述的基于自注意力机制的网络流量异常检测方法，其特征在于，将所述权重矩阵WQ、WK、WV初始化为随机矩阵，之后进行模型训练，并在模型训练过程中通过反向传播算法对随机矩阵进行更新。
4.根据权利要求2所述的基于自注意力机制的网络流量异常检测方法，其特征在于，所述的将提取的n个特征编码为n个向量Xi的步骤，具体包括：
利用词嵌入方式对每个特征进行编码；
获取每个特征在网络流量数据中的位置编码，并在对特征进行词嵌入时引入，生成携带有位置信息的向量Xi。
5.根据权利要求1所述的基于自注意力机制的网络流量异常检测方法，其特征在于，提取的所述特征包括源IP地址、源端口号、目标IP地址、目标端口号和交易协议。
6.一种基于自注意力机制的网络流量异常检测系统，其特征在于，所述基于自注意力机制的网络流量异常检测系统包括：模型训练模块、特征提取模块、注意力值计算模块和异常网络流量识别模块；
所述模型训练模块，用于获取网络流量数据作为样本，将样本中的部分或全部网络流量数据用于训练自注意力机制；
所述特征提取模块，用于对所述网络流量数据进行特征提取；
所述注意力值计算模块，用于通过自注意力机制确定所述网络流量数据中每个特征的注意力值；
所述异常网络流量识别模块，用于根据每个特征的注意力值确定高关联度的特征，并将确定的高关联度的特征输入异常流量检测分类器，通过异常流量检测分类器识别出异常网络流量。
7.根据权利要求6所述的基于自注意力机制的网络流量异常检测系统，其特征在于，所述特征提取模块包括数据监测单元、特征提取单元；
所述数据监测单元，用于监测网络流量数据；
所述特征提取单元，用于提取网络流量数据中包含的特征。
8.根据权利要求7所述的基于自注意力机制的网络流量异常检测系统，其特征在于，所述特征提取模块还包括位置编码获取单元，用于获取所述特征在网络流量数据中的位置编码；
所述特征包括源IP地址、源端口号、目标IP地址、目标端口号和交易协议；所述位置编码获取单元用于获取源IP地址、源端口号、目标IP地址、目标端口号和交易协议在网络流量数据中对应的位置编码。
9.根据权利要求6所述的基于自注意力机制的网络流量异常检测系统，其特征在于，所述异常网络流量识别模块至少包括异常网络流量分类器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述基于自注意力机制的网络流量异常检测方法的步骤。
CN202211196496.5A 2022-09-28 2022-09-28 基于自注意力机制的网络流量异常检测方法及系统 Pending CN115630298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211196496.5A CN115630298A (zh) 2022-09-28 2022-09-28 基于自注意力机制的网络流量异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211196496.5A CN115630298A (zh) 2022-09-28 2022-09-28 基于自注意力机制的网络流量异常检测方法及系统

Publications (1)

Publication Number Publication Date
CN115630298A true CN115630298A (zh) 2023-01-20

Family

ID=84904113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211196496.5A Pending CN115630298A (zh) 2022-09-28 2022-09-28 基于自注意力机制的网络流量异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115630298A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797071A (zh) * 2023-02-03 2023-03-14 上海特高信息技术有限公司 一种基于卷积神经的宏观和微观层面的交易异常检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797071A (zh) * 2023-02-03 2023-03-14 上海特高信息技术有限公司 一种基于卷积神经的宏观和微观层面的交易异常检测方法

Similar Documents

Publication Publication Date Title
Sommer et al. Towards probabilistic verification of machine unlearning
CN110912867A (zh) 工业控制系统的入侵检测方法、装置、设备和存储介质
CN110287983B (zh) 基于最大相关熵深度神经网络单分类器异常检测方法
CN110825068A (zh) 一种基于pca-cnn的工业控制系统异常检测方法
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
CN112839034A (zh) 一种基于cnn-gru分层神经网络的网络入侵检测方法
CN106060008B (zh) 一种网络入侵异常检测方法
Adhao et al. Feature selection using principal component analysis and genetic algorithm
CN110602120B (zh) 一种面向网络的入侵数据检测方法
CN110912908B (zh) 网络协议异常检测方法、装置、计算机设备和存储介质
CN110333987B (zh) 设备体检报告生成方法、装置、计算机设备和存储介质
Bao et al. A Deep Transfer Learning Network for Structural Condition Identification with Limited Real‐World Training Data
CN112235434B (zh) 融合k-means及其胶囊网络的DGA网络域名检测识别系统
CN113806746A (zh) 基于改进cnn网络的恶意代码检测方法
CN111881722A (zh) 一种跨年龄人脸识别方法、系统、装置及存储介质
CN112418361A (zh) 一种基于深度学习的工控系统异常检测方法、装置
CN114528547A (zh) 基于社区特征选择的icps无监督在线攻击检测方法和设备
CN115630298A (zh) 基于自注意力机制的网络流量异常检测方法及系统
CN114531283B (zh) 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端
CN117251813A (zh) 一种网络流量异常检测方法和系统
CN112613032B (zh) 基于系统调用序列的主机入侵检测方法及装置
CN110618854A (zh) 基于深度学习与内存镜像分析的虚机行为分析系统
Xue Research on network security intrusion detection with an extreme learning machine algorithm
CN116962047A (zh) 一种可解释的威胁情报生成方法、系统及装置
Sheng et al. Network traffic anomaly detection method based on chaotic neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fang Chaohui

Inventor after: Xuan Ping

Inventor after: Ding Hong

Inventor before: Xuan Ping

Inventor before: Ding Hong

Inventor before: Fang Chaohui