CN117439800B - 一种网络安全态势预测方法、系统及设备 - Google Patents
一种网络安全态势预测方法、系统及设备 Download PDFInfo
- Publication number
- CN117439800B CN117439800B CN202311551520.7A CN202311551520A CN117439800B CN 117439800 B CN117439800 B CN 117439800B CN 202311551520 A CN202311551520 A CN 202311551520A CN 117439800 B CN117439800 B CN 117439800B
- Authority
- CN
- China
- Prior art keywords
- cot
- informer
- model
- network security
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000004821 distillation Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 230000003068 static effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 230000003993 interaction Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000596871 Ixia Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种网络安全态势预测方法、系统及设备，涉及网络安全领域，方法包括：将网络安全数据集划分为训练集及测试集；利用所述训练集训练CoT‑Informer模型；CoT‑Informer模型包括CoTNet网络以及改进的Informer编码器；改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；根据模型泛化性能以及训练次数，生成训练好后的CoT‑Informer模型，以确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。本发明能够提高网络安全态势预测精度。
Description
技术领域
本发明涉及网络安全领域，特别是涉及一种网络安全态势预测方法、系统及设备。
背景技术
随着网络规模和复杂性不断增大，网络的攻击技术不断革新，新型攻击工具大量涌现，传统的网络安全技术显得力不从心，网络入侵不可避免，网络安全问题越发严峻。网络安全态势感知技术成为最高效、最快速的解决方案。它对影响网络安全的诸多要素进行获取、理解、构建相应的评估和预测模型，未来的发展趋势，为网络管理者提供决策支持。
网络安全态势预测是根据历史态势评估数据，预测未来的网络状态。网络安全态势预测的方法大多数都是卷积神经网络和循环结构网络，该类模型虽然相比其他传统统计学模型能够很好地解决预测问题，但是对于时序信息进行顺序提取并不断向后传递，容易出现梯度消失和梯度爆炸问题，致使模型难以训练或无法训练，网络安全态势预测精度低。
发明内容
本发明的目的是提供一种网络安全态势预测方法、系统及设备，以解决由于梯度消失和梯度爆炸导致的网络安全态势预测精度低的问题。
为实现上述目的，本发明提供了如下方案：
一种网络安全态势预测方法，包括：
将网络安全数据集划分为训练集及测试集；
利用所述训练集训练CoT-Informer模型；所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息；
根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型；
将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
可选的，将网络安全数据集划分为训练集及测试集，之前还包括：
对所述网络安全数据集中的时序数据依次进行数值化处理、数值标准化处理、数值归一化处理以及时间序列化处理，生成预处理后的网络安全数据。
可选的，所述CoT-Informer模型的构建过程具体包括：
将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；
对所述局部上下文信息进行静态建模，确定局部静态上下文建模；
将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；
将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；
根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；
将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；
将所述输出特征输入至全连接层，构建CoT-Informer模型。
可选的，所述跨阶段多头概率稀疏自注意力机制的处理过程，具体包括：
将所述CoT结果输入至Dense模块，并按照维度将所述CoT结果划分为两部分；
卷积操作：一部分CoT结果输入至卷积层，得到卷积后的结果；
多头概率稀疏自注意力处理：另一部分CoT结果输入至维度为所述卷积层一半的多头概率稀疏自注意力模块；
在所述多头概率稀疏自注意力模块中使用多个独立的注意力头处理另一部分CoT结果，线性变换和拼接多个注意力头结果，得到多头概率稀疏自注意力结果；
令所述卷积后的结果以及所述多头概率稀疏自注意力结果在通道维度上进行拼接，得到拼接后的结果；
将拼接后的结果作为所述CoT结果，重复进行卷积操作以及多头概率稀疏自注意力处理，确定输出结果。
可选的，所述蒸馏机制，具体包括：依次连接的一维卷积层以及最大池化层。
可选的，根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型，具体包括：
判断当前迭代的CoT-Informer模型的模型泛化性能是否优于上一次迭代的CoT-Informer模型；
若当前迭代的CoT-Informer模型的模型泛化性能优于上一次迭代的CoT-Informer模型，保留所述当前迭代的判断当前迭代次数是否达到训练次数，并判断当前迭代次数是否达到训练次数；若当前迭代次数达到训练次数，确定所述当前迭代的CoT-Informer模型为训练好后的CoT-Informer模型；若当前迭代次数未达到训练次数，重新训练所述CoT-Informer模型；
若当前迭代的CoT-Informer模型的模型泛化性能未优于上一次迭代的CoT-Informer模型，判断当前迭代次数是否达到训练次数。
一种网络安全态势预测系统，包括：
划分模块，用于将网络安全数据集划分为训练集及测试集；
训练模块，用于利用所述训练集训练CoT-Informer模型；所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息；
训练好后的CoT-Informer模型生成模块，用于根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型；
网络安全态势预测结果确定模块，用于将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
可选的，所述CoT-Informer模型的构建过程具体包括：
局部上下文信息确定单元，用于将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；
第一建模单元，用于对所述局部上下文信息进行静态建模，确定局部静态上下文建模；
第一交互矩阵生成单元，用于将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；
第二建模单元，用于将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；
CoT结果确定单元，用于根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；
输出特征确定单元，用于将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；
CoT-Informer模型构建单元，用于将所述输出特征输入至全连接层，构建CoT-Informer模型。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述网络安全态势预测方法。
可选的，所述存储器为非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述网络安全态势预测方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明实施例将网络安全数据集划分为训练集及测试集，并对即插即用视觉识别模块(CoT)-多头概率稀疏自注意力机制(Informer)模型进行训练，生成训练好后的CoT-Informer模型，并将测试集输入至训练好后的CoT-Informer模型，确定网络安全态势预测结果；其中，CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息。本发明所构建的CoT-Informer模型能够有效的在时间与空间上提取数据的特征，比传统的CNN提取数据空间特征和LSTM提取时间特征的混合模型更简洁、高效；且本发明提出的属于CNN的自我注意机制(ProbSparse CDN-attention)，在参数量和计算量不增加的情况下缓解梯度消失以及梯度爆炸问题，减少计算量和训练时间，提高网络性能，从而网络安全态势预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一所提供的网络安全态势预测方法流程图；
图2为本发明实施例二所提供的网络安全态势预测方法流程图；
图3为CoTNet网络结构示意图；
图4为改进后的Informer编码器示意图；
图5为传统的编码器内部的多头概率稀疏自注意力机制示意图；
图6为改进后的Informer编码器的属于CNN的自我注意机制示意图；
图7为CoT-Informer模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种网络安全态势预测方法、系统及设备，能够提高网络安全态势预测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供了一种网络安全态势预测方法，包括：
步骤101：将网络安全数据集划分为训练集及测试集。
步骤102：利用所述训练集训练CoT-Informer模型；如图7所示，所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息。
步骤103：根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型。
步骤104：将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
在实际应用中，将网络安全数据集划分为训练集及测试集，之前还包括：
对所述网络安全数据集中的时序数据依次进行数值化处理、数值标准化处理、数值归一化处理以及时间序列化处理，生成预处理后的网络安全数据。
在实际应用中，所述CoT-Informer模型的构建过程具体包括：
将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；对所述局部上下文信息进行静态建模，确定局部静态上下文建模；将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；将所述输出特征输入至全连接层，构建CoT-Informer模型。
在实际应用中，所述跨阶段多头概率稀疏自注意力机制的处理过程，具体包括：将所述CoT结果输入至Dense模块，并按照维度将所述CoT结果划分为两部分；卷积操作：一部分CoT结果输入至卷积层，得到卷积后的结果；多头概率稀疏自注意力处理：另一部分CoT结果输入至维度为所述卷积层一半的多头概率稀疏自注意力模块；在所述多头概率稀疏自注意力模块中使用多个独立的注意力头处理另一部分CoT结果，线性变换和拼接多个注意力头结果，得到多头概率稀疏自注意力结果；令所述卷积后的结果以及所述多头概率稀疏自注意力结果在通道维度上进行拼接，得到拼接后的结果；将拼接后的结果作为所述CoT结果，重复进行卷积操作以及多头概率稀疏自注意力处理，确定输出结果。
在实际应用中，所述蒸馏机制，具体包括：依次连接的一维卷积层以及最大池化层。
在实际应用中，根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型，具体包括：判断当前迭代的CoT-Informer模型的模型泛化性能是否优于上一次迭代的CoT-Informer模型；若当前迭代的CoT-Informer模型的模型泛化性能优于上一次迭代的CoT-Informer模型，保留所述当前迭代的判断当前迭代次数是否达到训练次数，并判断当前迭代次数是否达到训练次数；若当前迭代次数达到训练次数，确定所述当前迭代的CoT-Informer模型为训练好后的CoT-Informer模型；若当前迭代次数未达到训练次数，重新训练所述CoT-Informer模型；若当前迭代的CoT-Informer模型的模型泛化性能未优于上一次迭代的CoT-Informer模型，判断当前迭代次数是否达到训练次数。
实施例二
如图2所示，为了关注时序数据更多的局部特征，引入CoTNet网络对数据集进行特征提取。然后，将提取好的特征输入进Informer层，将跨阶段局部网络(CSPDenseNet(与Informer编码器中的多头概率稀疏自注意力模块(ProbSparse Self-attention)融合，形成属于CNN的自我注意机制(ProbSparse CDN-attention)，基于属于CNN的自我注意机制的自身特性，跨阶段密集概率自注意力模块CSPDenseNet中的每个层都与前面所有层直接相连，这种密集连接可以使得梯度更容易地传播到较早的层，从而缓解梯度消失。可见，本发明在参数量和计算量不增加的情况下缓解梯度消失问题，减少计算量和训练时间，提高网络性能。最后，输入进全连接层，使得预测更加准确。
具体操作流程如下：
步骤1：获取网络上公开的网络安全数据集，对数据集进行数据预处理，本发明中使用的UNSW-NB15数据集的原始网络数据包是由澳大利亚新南威尔士大学堪培拉赛博靶场实验室的IXIA PerfectStorm工具创建的，其目的是生成一种真实的现代正常活动和合成的当代攻击行为的混合体。UNSW-NB15数据集是一个用于网络入侵检测研究的公开数据集，由7个csv文件组成，每个文件包含了大量的相关信息，包括源IP地址、目标IP地址、源端口、目标端口、传输层协议、网络流量特征等等。它属于网络流量数据，包括正常流量和恶意流量，主要用于训练机器学习模型来识别和分类不同类型的网络入侵。该数据集中有划分好的训练集和测试集，本发明选取这两个csv文件进行预处理，操作包括数值化、标准化、归一化和时间序列化。实验中所用的验证集为测试集随机提取的10％的数据。
①数值化。
采用UNSW_NB15_training_set和UNSW_NB15_testing-set，该数据集中有43个特征，其中有4个为非数据特征，分别为proto，service，state，attack_cat。将原始数据中的非数值型特征转换为数值型特征以确保所有数据均为数字，进而方便模型学习数据特征。
②数值标准化。
为了减小异常值对数据结果的影响，常用标准化对数据进行处理。标准化即根据数据的均值和标准差将数据化为均值为0，方差为1的数据集。
③数值归一化。
因为不同特征值的数值差别可能比较大，所以利用归一化对数据进行等比例的缩放到同一小区间内。采用min-max标准化的方法将特征值规范到0和1之间。
④时间序列化。
这一步的目的是将当前数据和历史数据相结合，预测未来是否会出现攻击。设置一个滑动窗口超参数T，这里可以设置为4。利用滑动窗口，以步长为1的距离移动窗口，将数据集切分为(4x199)大小的数据片。
将切分完后的每个数据片转换为(1x4x199)的张量大小，输入至构建的网络安全态势预测模型中。
步骤2：将预处理后的训练集送往搭建的CoT-Informer模型进行训练。首先，从训练集选取一批样本在CoT-Informer模型进行训练，得到结果后使用优化器Adam优化网络，在训练初期使用较大的学习率加速模型收敛，在训练后期使用较小的学习率快速找到损失函数均方差的最小值。然后将验证集送入CoT-Informer模型中进行训练，接着，将平均绝对误差的结果与上一次的结果对比，如果比上一次的结果小，则保存本次训练的网络后再继续训练，否则继续上述过程，直至达到指定的训练循环的最大次数。
①首先输入进如图3所示的CoTNet网络中，对于输入特征X，定义三个变量Q＝X，K＝X，V＝XWv，其中，Q表示与所有的输入进行比较，为关注当前的点；K为局部上下文信息，作为与Q进行比较的角色，用于计算和查询值Q之间的相关性；V用于计算当前注意力关注点的输出，根据注意力权重对不同的属性值V进行加权和；Wv为权重矩阵。
本发明在K上先进行3×3的分组卷积，来获得具备局部上下文信息表示的K，所得K1是在局部信息上进行了静态的建模，接着将K1和Q进行拼接，然后对拼接的结果进行两次连续的卷积操作：
其中，A是由Q和局部上下文信息K交互得到的，K1为局部静态上下文建模，WθWδ为连续两次卷积操作。
所得第一交互矩阵A是由Q信息和局部上下文信息交互得到的，不只是建模了Q和K之间的关系，还通过局部上下文建模的引导，增强了自注意力机制。最后将A和V相乘，得到动态上下文建模的：
其中，K2为全局动态上下文建模。
CoT结果为局部静态上下文建模的和全局动态上下文建模的相加之后的Y。
Y＝K1+K2
②然后将所得的Y输入进如图4所示的改进后的Informer编码器中。Informer传统的编码器内部由如图5所示的多头概率稀疏自注意力机制(ProbSparse Self-attention)和蒸馏机制(Self-Attention Distilling)堆叠而成。本发明对多头概率稀疏自注意力模块(ProbSparse Self-attention)进行改进，将跨阶段局部网络(CSPNet)与多头概率稀疏自注意力机制融合，加入DenseNet机制，提出一种属于CNN的自我注意机制(ProbSparseCDN-attention)，如图6所示。改进后的编码器由ProbSparse CDN-attention和蒸馏机制(Self-Attention Distilling)组成，其中，X0为输入特征，X0’为输入特征的一半，X1为输入特征剩下的一半，Xu为最后的输出。
ProbSparse CDN-attention：按维度将输入划分为，输入到Dense模块中，一部分是输入进一个卷积层，另部分是输入进一个维度为一半的多头概率稀疏自注意力模块去做计算，多头概率稀疏自注意力通过同时使用多个独立的注意力头来处理输入序列。每个注意力头都学习自己的查询、键和值的线性变换，然后进行独立的注意力计算。最后，多个注意力头的结果通过线性变换和拼接的方式组合起来得到最终的输出。然后两部分的输出在通道维度上做concat，得到结果。结果经过一个conv卷积操作，然后和进行concat得到，然后一起输入到另一个conv卷积操作得到最后的输出。
Self-Attention Distilling：该机制表现在每个注意力模块后加入一维卷积和最大池化层来减少特征维度，Informer编码模块用蒸馏机制抽取最重要的注意力信息并减少算法所需的内存和时间。
③将最后的输出输入进全连接层。
步骤3：将测试集送入最终保存的CoT-Informer网络进行预测，将预测结果导出。根据前边提到的时间序列化，设超参数T为4，那么就是输入前4条数据，去预测接下来的第五条数据，输入第二条到第五条数据，预测结果为第六条数据。数据标签label为0的是没有受到攻击的状态，预测结果不是0的就是受到攻击的状态。
实施例三
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种网络安全态势预测系统。
一种网络安全态势预测系统，包括：
划分模块，用于将网络安全数据集划分为训练集及测试集。
训练模块，用于利用所述训练集训练CoT-Informer模型；所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息。
训练好后的CoT-Informer模型生成模块，用于根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型。
网络安全态势预测结果确定模块，用于将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
在实际应用中，所述CoT-Informer模型的构建过程具体包括：局部上下文信息确定单元，用于将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；第一建模单元，用于对所述局部上下文信息进行静态建模，确定局部静态上下文建模；第一交互矩阵生成单元，用于将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；第二建模单元，用于将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；CoT结果确定单元，用于根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；输出特征确定单元，用于将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；CoT-Informer模型构建单元，用于将所述输出特征输入至全连接层，构建CoT-Informer模型。
本发明能够挖掘时序数据更多的局部特征，缓解梯度消失问题，从而提高预测的精准度。
实施例四
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的网络安全态势预测方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的网络安全态势预测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种网络安全态势预测方法，其特征在于，包括：
将网络安全数据集划分为训练集及测试集；
利用所述训练集训练CoT-Informer模型；所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息；所述CoT-Informer模型的构建过程具体包括：将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；对所述局部上下文信息进行静态建模，确定局部静态上下文建模；将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；将所述输出特征输入至全连接层，构建CoT-Informer模型；
根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型；
将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
2.根据权利要求1所述的网络安全态势预测方法，其特征在于，将网络安全数据集划分为训练集及测试集，之前还包括：
对所述网络安全数据集中的时序数据依次进行数值化处理、数值标准化处理、数值归一化处理以及时间序列化处理，生成预处理后的网络安全数据。
3.根据权利要求1所述的网络安全态势预测方法，其特征在于，所述跨阶段多头概率稀疏自注意力机制的处理过程，具体包括：
将所述CoT结果输入至Dense模块，并按照维度将所述CoT结果划分为两部分；
卷积操作：一部分CoT结果输入至卷积层，得到卷积后的结果；
多头概率稀疏自注意力处理：另一部分CoT结果输入至维度为所述卷积层一半的多头概率稀疏自注意力模块；
在所述多头概率稀疏自注意力模块中使用多个独立的注意力头处理另一部分CoT结果，线性变换和拼接多个注意力头结果，得到多头概率稀疏自注意力结果；
令所述卷积后的结果以及所述多头概率稀疏自注意力结果在通道维度上进行拼接，得到拼接后的结果；
将拼接后的结果作为所述CoT结果，重复进行卷积操作以及多头概率稀疏自注意力处理，确定输出结果。
4.根据权利要求1所述的网络安全态势预测方法，其特征在于，所述蒸馏机制，具体包括：依次连接的一维卷积层以及最大池化层。
5.根据权利要求1所述的网络安全态势预测方法，其特征在于，根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型，具体包括：
判断当前迭代的CoT-Informer模型的模型泛化性能是否优于上一次迭代的CoT-Informer模型；
若当前迭代的CoT-Informer模型的模型泛化性能优于上一次迭代的CoT-Informer模型，保留所述当前迭代的判断当前迭代次数是否达到训练次数，并判断当前迭代次数是否达到训练次数；若当前迭代次数达到训练次数，确定所述当前迭代的CoT-Informer模型为训练好后的CoT-Informer模型；若当前迭代次数未达到训练次数，重新训练所述CoT-Informer模型；
若当前迭代的CoT-Informer模型的模型泛化性能未优于上一次迭代的CoT-Informer模型，判断当前迭代次数是否达到训练次数。
6.一种网络安全态势预测系统，其特征在于，包括：
划分模块，用于将网络安全数据集划分为训练集及测试集；
训练模块，用于利用所述训练集训练CoT-Informer模型；所述CoT-Informer模型包括CoTNet网络以及改进的Informer编码器；所述改进的Informer编码器包括跨阶段多头概率稀疏自注意力机制以及蒸馏机制；所述跨阶段多头概率稀疏自注意力机制为属于CNN的自我注意机制；所述跨阶段多头概率稀疏自注意力机制是通过融合跨阶段局部网络与多头概率稀疏自注意力模块中的多头概率稀疏自注意力机制，并加入DenseNet机制形成的；所述跨阶段多头概率稀疏自注意力机制能够挖掘所述网络安全数据集中时序数据的局部特征；所述蒸馏机制用于抽取所述时序数据中的注意力信息；所述CoT-Informer模型的构建过程具体包括：局部上下文信息确定单元，用于将所述训练集中的时序数据作为输入特征输入至所述CoTNet网络中，并对所述输入特征进行分组卷积操作，确定局部上下文信息；第一建模单元，用于对所述局部上下文信息进行静态建模，确定局部静态上下文建模；第一交互矩阵生成单元，用于将所述局部静态上下文建模与查询层进行拼接，并对拼接结果进行两次连续的卷积操作，得到第一交互矩阵；第二建模单元，用于将所述第一交互矩阵与属性值相乘，确定全局动态上下文建模；CoT结果确定单元，用于根据所述局部静态上下文建模以及所述全局动态上下文建模确定CoT结果；输出特征确定单元，用于将所述CoT结果输入至所述改进后的Informer编码器中，依次经过第一跨阶段多头概率稀疏自注意力机制、第一蒸馏机制、第二跨阶段多头概率稀疏自注意力机制以及第二蒸馏机制，得到输出特征；CoT-Informer模型构建单元，用于将所述输出特征输入至全连接层，构建CoT-Informer模型；
训练好后的CoT-Informer模型生成模块，用于根据模型泛化性能以及训练次数，生成训练好后的CoT-Informer模型；
网络安全态势预测结果确定模块，用于将所述测试集输入至所述训练好后的CoT-Informer模型中，确定网络安全态势预测结果；所述网络安全态势预测结果包括受到攻击状态以及未受到攻击状态。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-5中任一项所述的网络安全态势预测方法。
8.根据权利要求7所述的电子设备，其特征在于，所述存储器为非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的网络安全态势预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311551520.7A CN117439800B (zh) | 2023-11-21 | 2023-11-21 | 一种网络安全态势预测方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311551520.7A CN117439800B (zh) | 2023-11-21 | 2023-11-21 | 一种网络安全态势预测方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117439800A CN117439800A (zh) | 2024-01-23 |
| CN117439800B true CN117439800B (zh) | 2024-06-04 |
Family
ID=89553394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311551520.7A Active CN117439800B (zh) | 2023-11-21 | 2023-11-21 | 一种网络安全态势预测方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117439800B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399460A (zh) * | 2019-07-19 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 对话处理方法、装置、设备及存储介质 |
| CN113393025A (zh) * | 2021-06-07 | 2021-09-14 | 浙江大学 | 一种基于Informer模型编码结构的非侵入式负荷分解方法 |
| CN115695025A (zh) * | 2022-11-04 | 2023-02-03 | 中国电信股份有限公司 | 网络安全态势预测模型的训练方法及装置 |
| CN116050571A (zh) * | 2022-11-18 | 2023-05-02 | 东莞理工学院 | 基于Transformer稀疏注意力机制的水质预测方法 |
| WO2023136417A1 (ko) * | 2022-01-14 | 2023-07-20 | 서울대학교 산학협력단 | 비디오 스토리 질의 응답을 위한 트랜스포머 모델을 구축하는 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220300831A1 (en) * | 2021-03-19 | 2022-09-22 | NEC Laboratories Europe GmbH | Context-aware entity linking for knowledge graphs |
-
2023
- 2023-11-21 CN CN202311551520.7A patent/CN117439800B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399460A (zh) * | 2019-07-19 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 对话处理方法、装置、设备及存储介质 |
| CN113393025A (zh) * | 2021-06-07 | 2021-09-14 | 浙江大学 | 一种基于Informer模型编码结构的非侵入式负荷分解方法 |
| WO2023136417A1 (ko) * | 2022-01-14 | 2023-07-20 | 서울대학교 산학협력단 | 비디오 스토리 질의 응답을 위한 트랜스포머 모델을 구축하는 장치 및 방법 |
| CN115695025A (zh) * | 2022-11-04 | 2023-02-03 | 中国电信股份有限公司 | 网络安全态势预测模型的训练方法及装置 |
| CN116050571A (zh) * | 2022-11-18 | 2023-05-02 | 东莞理工学院 | 基于Transformer稀疏注意力机制的水质预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117439800A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112910859B (zh) | 基于c5.0决策树和时序分析的物联网设备监测预警方法 | |
| CN112738014B (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN114816997B (zh) | 一种基于图神经网络与双向gru特征抽取的缺陷预测方法 | |
| CN109376797B (zh) | 一种基于二进制编码器和多哈希表的网络流量分类方法 | |
| CN112087443A (zh) | 一种大规模工业传感网络信息物理攻击下传感数据异常智能化检测方法 | |
| CN114900346B (zh) | 基于知识图谱的网络安全测试方法及系统 | |
| CN115834433A (zh) | 基于物联网技术的数据处理方法及系统 | |
| CN112860904A (zh) | 一种融入外部知识的生物医疗关系抽取方法 | |
| CN114723003A (zh) | 一种基于时序卷积和关系建模的事件序列预测方法 | |
| CN117633592B (zh) | 一种新能源电站智能监盘系统 | |
| CN117879934A (zh) | 一种基于网络数据包上下文的sql注入攻击检测方法 | |
| CN117992496A (zh) | 一种基于时空特征融合的日志异常检测方法 | |
| CN117439800B (zh) | 一种网络安全态势预测方法、系统及设备 | |
| CN117056226A (zh) | 基于迁移学习的跨项目软件缺陷数量预测方法 | |
| CN113342982B (zh) | 融合RoBERTa和外部知识库的企业行业分类方法 | |
| CN115883198A (zh) | 一种多因素网络异常行为检测方法 | |
| CN115599842A (zh) | 一种基于神经网络方法的时间序列预测系统 | |
| CN110650130B (zh) | 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法 | |
| CN117010459B (zh) | 基于模块化和序列化自动生成神经网络的方法 | |
| CN112256838B (zh) | 相似域名查找方法、装置及电子设备 | |
| CN118363820A (zh) | 故障检测方法、装置、设备、存储介质及产品 | |
| CN116630774A (zh) | 一种基于LSTM-Transformer的目标检测方法 | |
| CN118118237A (zh) | 一种异构集成的双粒度无监督异常流量检测方法 | |
| Li et al. | A Network Intrusion Detection Model Based on Dilated convolution network and BiLSTM | |
| Dong et al. | Anomaly Intrusion Detection in Online Learning Space Based on XGBoost |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |