CN116346392A - 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用 - Google Patents

基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用 Download PDF

Info

Publication number
CN116346392A
CN116346392A CN202211500470.5A CN202211500470A CN116346392A CN 116346392 A CN116346392 A CN 116346392A CN 202211500470 A CN202211500470 A CN 202211500470A CN 116346392 A CN116346392 A CN 116346392A
Authority
CN
China
Prior art keywords
network security
data
security situation
network
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500470.5A
Other languages
English (en)
Inventor
梁晖辉
唐勇
王胜
张菊玲
熊晓雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN202211500470.5A priority Critical patent/CN116346392A/zh
Publication of CN116346392A publication Critical patent/CN116346392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于Tranformer‑CNN模型的网络安全态势预测方法、系统及其应用，方法包括以下预测步骤：S11、获取网络安全态势数据；S12、对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；S13、将网络安全态势数据实时样本输入Tranformer‑CNN模型，进行运算后输出预测结果；Tranformer‑CNN模型包括Transformer单元和CNN单元，所述Transformer单元对网络安全态势数据样本进行运算，输出运算给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，输出预测结果。本发明提出了基于注意力机制加卷积神经网络的深度学习模型，来处理具有时间序列特性的网络安全态势感知与预测分析，减少了计算量，计算时间短。

Description

基于Tranformer-CNN模型的网络安全态势预测方法、系统及 其应用
技术领域
本发明涉及网络安全技术领域，具体涉及一种基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用。
背景技术
随着网络与信息技术的不断发展，人们的安全意识也逐步提高，早已不再认为网络是安全的，相反，人们更愿意认为网络遭受攻击是必然的、常态化的，又由于人们无法阻止攻击行为，故提前识别和发现攻击行为就显得尤为重要。
同时，随着国家网络安全等级保护制度2.0的发布，安全防护思想已经从过去的被动防御向主动防护和智能防护转变，迫切需要顺应时代潮流的智能网络安全态势感知与预测技术。
此外，物联网和云技术的发展日新月异，很多颠覆性的新技术引入了许多新的安全问题，各种网络攻击手段陈出不穷。
现有的网络安全态势预测方法主要包括基于离散模型、连续模型和常用机器学习的态势预测方法，由于态势数据间存在时序性关联且为长时间序列，现有的网络安全态势预测方法无法充分考虑这些时序关系，实现高精度预测。
在时间序列预测问题上，现阶段广泛采用的技术还主要是利用时间特征做线性回归、ARMA、ARIMA等线性模型，即使是基于人工智能模型的LSTM、TCN等在处理长序列时也存在模型复杂、权重过多、无法聚焦重点等问题，同时对于长序列样本存在梯度信息损失严重等问题，此外当时间跨度大、网络深时，计算量较大，计算很耗时。
发明内容
本发明的目的在于提供一种基于Tranformer-CNN模型的网络安全态势预测方法，采用Tranformer的注意力机制加卷积神经网络实现高精度预测，减少计算量，缩短计算时间，解决现有技术中网络安全态势感知与预测中的难以实现高精度预测、计算时间长、计算量大的问题。
本发明通过下述技术方案实现：
基于Tranformer-CNN模型的网络安全态势预测方法，包括以下预测步骤：
S11、获取网络安全态势数据；
S12、对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
S13、将网络安全态势数据实时样本输入Tranformer-CNN模型，进行运算后输出预测结果；
所述Tranformer-CNN模型包括Transformer单元和CNN单元，所述Transformer单元对网络安全态势数据样本进行运算，输出运算结果给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，输出预测结果。
在部分实施例中，所述Tranformer-CNN模型还包括全连接层，所述卷积神经网络CNN输出的预测结果还输入全连接层进行数据整合和分类预测后输出。
在部分实施例中，所述方法在预测步骤之前还包括以下模型训练步骤：
S01、训练数据获取：获取存储的网络安全态势数据或者通过实验获取网络安全态势数据；
S02、对步骤S01获取的网络安全态势数据进行预处理，构建网络安全态势数据训练样本；
S03、采用网络安全态势数据训练样本训练Tranformer-CNN模型。
在部分实施例中，步骤S02和步骤S12中的预处理均包括以下步骤：
数据清洗：对获取的网络安全态势数据进行检验，对异常数据进行校正；
数据填充：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码：在数据中加入位置向量。
在部分实施例中，步骤S01通过实验提取网络安全态势数据时，包括以下步骤：
S001、确定网络攻击手段集合Attack(N)，N为网络攻击的手段的数量总和；
S002、从集合Attack(N)中选取一种未被选取过的网络攻击手段Attackn进行虚构，n为网络攻击手段的编号，n为正整数，且1≤n≤N；
S003、记录第n种网络攻击手段Attackn下从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure BDA0003967335770000021
j为各状态信息变量的编号；
S004、结合t时间点各状态信息变量
Figure BDA0003967335770000022
计算该时间t的网络安全态势评分
Figure BDA0003967335770000023
Figure BDA0003967335770000024
J为状态信息变量的数量；
S005、将第n种网络攻击手段的状态信息变量
Figure BDA0003967335770000025
与网络安全态势评分
Figure BDA0003967335770000026
拼接成样本/>
Figure BDA0003967335770000027
S006、判断网络攻击手段集合Attack(N)中的取值Attackn是否都取完，如果未取完，则返回执行步骤S002；否则执行步骤S007；
S007、将所有样本
Figure BDA0003967335770000031
组合成一个样本矩阵XN×T。
在部分实施例中，步骤S02的预处理中，其位置编码步骤中，将样本矩阵XN×T中每一个
Figure BDA0003967335770000032
与位置向量拼接在一起，就形成了网络安全态势数据训练样本，该网络安全态势数据训练样本包括网络安全态势数据/>
Figure BDA0003967335770000033
和预测标签，该预测标签即为网络安全态势评分
Figure BDA0003967335770000034
在部分实施例中，网络安全态势数据包括协议类型、网络服务、源ip和目的ip。
在部分实施例中，所述Transformer单元的编码组件和解码组件的Multi-headAttention层均具有8个自注意头。
本发明的又一目的在于提供基于Tranformer-CNN模型的网络安全态势预测系统，包括：
数据获取单元：获取网络安全态势数据；
数据预处理单元：用于对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
网络安全台数预测单元，包括Tranformer-CNN模型，用于接收网络安全态势数据实时样本，通过Tranformer-CNN模型运算，输出预测结果；
所述Tranformer-CNN模型包括Transformer单元、CNN单元和全连接层，所述CNN单元连接所述Transformer单元的解码组件，所述CNN单元的输出连接全连接层；
所述Transformer单元对网络安全态势数据样本进行运算，输出运算结果给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，运算结果通过全连接层输出。
在部分实施例中，所述数据预处理单元包括：
数据清洗单元：对获取的网络安全态势数据进行检验，对异常数据进行校正；
数据填充单元：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充单元：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码组件：在数据中加入位置向量。
在部分实施例中，上述基于Tranformer-CNN模型的网络安全态势预测系统还包括通过实验提取网络安全态势数据的训练样本构建单元，该训练样本构建单元虚构网络攻击手段集合Attack(N)中的所有网络攻击手段Attackn，N为网络攻击的手段的数量总和，n为网络攻击手段的编号，n为正整数，且1≤n≤N；针对每个网络攻击手段Attackn，记录从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure BDA0003967335770000041
j为各状态信息变量的编号；结合t时间点各状态信息变量/>
Figure BDA0003967335770000042
计算该时间t的网络安全态势评分/>
Figure BDA0003967335770000043
将各网络攻击手段的状态信息变量/>
Figure BDA0003967335770000044
与网络安全态势评分/>
Figure BDA0003967335770000045
拼接成样本/>
Figure BDA0003967335770000046
将所有样本/>
Figure BDA0003967335770000047
组合成一个样本矩阵XN ×T，形成构建网络安全态势数据训练样本。
本发明的再一目的在于提供一种上述基于Tranformer-CNN模型的网络安全态势预测系统的应用，其用于具有长时间序列特征的处理网络安全态势数据，预测网络安全态势。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提出了基于注意力机制加卷积神经网络的深度学习模型，来处理具有时间序列特性的网络安全态势感知与预测分析，减少了计算量，计算时间短，可以做到主动预测和智能防护，能有效应对日新月异的攻击手段，在面对新的攻击方式和没见过的攻击类型时做出正确的决策。
本发明才采用Tranformer-CNN模型，同时集聚了Tranformer和CNN的优势，突出主要信息，抓住样本的本质特征，模型更具有泛化性。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为一种将基于Tranformer-CNN模型的网络安全态势预测系统用于电网的数据采集系统的实施方式；
图2为Transformers-CNN模型的结构示意图；
图3为自注意力计算流程意图；
图4为前向传播流程图；
图5为CNN与线性激活层的连接示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
【实施例1】
本实施例中的一种基于Tranformer-CNN的网络安全态势预测方法首先进行数据收集，通过在网络中埋设数据采集器、智能表计、人工收集等方式收集网络的运行过程中的各状态信息，以为供后续模型研究学习；其次进行数据处理，由于采集到的数据大多形式多变，内容多样，故需要对数据进行预处理(包括补全数据、数据标准化等)；随后对网络数据进行时间序列样本划分；最后将数据样本整合，传入模型中，根据网络状态数据和综合评分，对网络安全态势进行感知与预测。下面对各步骤进行详细说明。
步骤一：数据采集
首先，根据如下数据采集模型进行网络安全态势的数据提取，提取方法如下：
1)确定网络攻击的各种手段集合Attack(N)，N为网络攻击的手段的数量总和；
2)从集合Attack(N)中选取一种网络攻击手段Attackn进行虚构，n为网络攻击手段的编号，n＝1,2,3...，N；
3)记录第n种网络攻击手段Attackn下从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure BDA0003967335770000051
j为各状态信息变量的编号；
4)根据网络态势评价模型，结合t时间点各状态信息变量
Figure BDA0003967335770000052
计算该时间t的网络安全态势评分/>
Figure BDA0003967335770000053
Figure BDA0003967335770000054
J为状态信息变量的数量；本步骤中，网络态势评价模型主要用于数据标注，即使用事先规定的一种标注方式对当前的数据样本进行标注，标注方式即为网络态势评价模型，按标注方式分可以分成：直接对样本数据进行求和标注；或对样本数据进行加权求平均等，本实施例中两种方式均可。
5)将第n种网络攻击手段的状态信息变量
Figure BDA0003967335770000055
与网络安全态势评分/>
Figure BDA0003967335770000056
拼接成样本/>
Figure BDA0003967335770000057
6)判断网络攻击手段集合Attack(N)中的取值Attackn是否都取完，如果未取完，则选取一个未被选取过的网络攻击手段Attackn返回第2步执行；否则进行第7步；
7)将所有样本
Figure BDA0003967335770000058
组合成一个样本矩阵XN×T。
在其他实施例中，可重复进行多次实验，以增加数据集。
在其他可选实施例中，如果存在训练数据，则可略过数据提取过程，直接进入数据预处理阶段，即方法不包含步骤一，直接从以下步骤二开始实施。
图1提供了一种将基于Tranformer-CNN模型的网络安全态势预测系统用于电网的数据采集系统的实施方式，该实施例中，数据采集系统在在网络中埋设数据采集器采集网络安全态势数据。
步骤二：数据预处理，包括以下的数据清洗、数据填充、屏蔽填充、位置编码、生成训练样本和预测标签5个步骤。
(1)数据清洗
由于实际运行中，数据难以保证其完整性与可靠性，在数据采集过程中或多或少都会引入异常数据，空值等情况，故在传入Tranformer-CNN模型之前务必进行数据分析与检验。数据分为真异常和伪异常，真异常是指数据采集系统运行过程出错，或者记录有误、漏记等情况；伪异常是指数据采集系统正常运行，但是数据却偏离整体情况，是由于攻击所引发的异常，反映了网络状态的不安全性，此数据不能轻易剔除修改。真伪异常的判断，可以由人为进行判断。本实施例中，系统主要对真异常进行处理，采用箱线图的方式进行检验，对检验出的异常数据用相邻时间点的该特征(数据)均值进行填充纠正，箱线图校验纠正方式为现有技术，本实施例中不再赘述。
(2)数据填充Padding
由于每种攻击需要花费的时间不同，故它们的样本长度也是不同的，为了统一输入到Transformers-CNN模型的encoder中，需要先进行padding，设网络攻击需要花费的最长时间为T，那么对于长度不足T的攻击，需要补足到T个长度，其维度shape变为了[T×J]，批量输入shape则为[N×T×J]，补全的位置上的数值自然全为0，J为状态信息变量的数量。
(3)屏蔽填充Padding Mask
对于Padding补齐后的样本，即统一设定一个统一长度T后，在较短的序列后面填充0到长度T后，这些补0的数据在后续的attention机制中不应该将注意力集中在这里，故需要进行掩码处理，具体是在这些位置上加一个非常大的负数(负无穷)，这样经过softmax后，这些位置的权重就会接近0，padding mask实际上就是一个张量，每个张量都是一个boolean(布尔变量)，其取值只有true和false两种，值为false的地方就是要进行处理的地方，即有真实值的位置。对于每一个
Figure BDA0003967335770000061
通过屏蔽填充后都能获得其屏蔽填充数据PaddingMaskn。
(4)位置编码Position Embedding
补全后的样本向量，如果直接输入到Transformer-CNN的encoder中，是没有考虑样本中的位置顺序关系的，此时需要再加入一个位置向量，位置向量在模型训练中有特定的方式，可以表示每个时刻的位置或者不同时刻之间的距离，总而言之，核心思想是在attention计算时提供有效的距离信息。
关于position embedding，有两种解决方法：
a)Learned Positional Embedding，绝对位置编码，直接对不同的位置随机初始化一个position embedding，这个position embedding作为参数进行训练；
b)Sinusoidal Position Embedding，相对位置编码，即三角函数编码。
本实施例中选择第二种位置编码方式，由于位置编码Position embedding和样本是add(与)操作，那么其维度shape自然也是[T×J]，具体计算公式如下：
Figure BDA0003967335770000071
Figure BDA0003967335770000072
其中pos∈[0,1,2,…,T-1]，k∈[0,1,2,…，J/2]。
上式中，PE(Position Embedding)表示不同状态信息变量的位置编码，k为变量，取值为[0-J/2]，通过k从0到J/2变换取值，就将所有的状态信息变量的位置编码计算完成，pos表示状态信息变量的位置索引也即其绝对位置。
(5)生成训练样本和预测标签
将
Figure BDA0003967335770000073
与Padding Maskn拼接在一起，形成一个完整的训练样本X，最终的训练数据的维度shape为[N，2，T，J]，然后将其输入到Transformers-CNN模型中进行态势感知与预测训练。
步骤三：网络安全态势预测
采集网络安全态势数据，按照步骤二的方法对网络安全态势数据进行预处理，生成网络安全态势数据实时样本，将网络安全态势数据实时样本输入Tranformer-CNN模型，进行运算后输出预测结果，所述预测结果包括网络安全态势评分。
所述Tranformer-CNN模型包括Transformer单元和CNN单元，所述Transformer单元对网络安全态势数据样本进行运算，提取关键信息输出给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，输出预测结果。
在Transformer单元中，自注意(self-attention)的处理如图3所示：
a)传入已经处理好的样本X；
b)分成8个自注意头(self-attention head)，用对应的权重矩阵去乘以输入的X；
c)使用得到的Q、K、V矩阵计算attention；
d)将输出的Zi矩阵拼接起来，再乘上权重矩阵W°，得到输出层Z；
具体更新公式如下：
Qi＝QWi Q,Ki＝KWi K,Vi＝VWi V,i＝0,…,7
Zi＝Attention(Qi,Ki,Vi),i＝0,…,7
MultiHead(Q,K,V)＝Concat(Z0,…,Z7)Wo
这里，
Figure BDA0003967335770000081
Figure BDA0003967335770000082
表示实数空间域，i为自注意头的编号。
其中attention计算公式为：
Figure BDA0003967335770000083
在Transformer单元中，Feed-Forward Networks(前馈神经网络)的结构和处理如图4所示，Feed-Forward Networks(前馈神经网络)主要为4层结构，依次为第一线性连接层linear 1、Relu激活层、Dropout层、第二线性连接层linear 2，在Feed-Forward Networks中，self-attention层的输出数据，先经过第一线性层linear 1整合后，在经由Relu激活层的Relu激活函数激活，随后通过Dropout层随机删除神经元节点实现随机丢弃部分数据，最后再经过第二线性连接层linear 2整合后输出预测类别。第一线性层linear 1和第二线性连接层linear 2对数据的整合主要是加权求和。
如图5所示，CNN与Transformer单元以及全连接层的连接方式为：
CNN从Transformer单元的解码组件的前向传播网络中接收数据，经过计算后通过全连接层输出，其中全连接层采用线性激活层Linear。
本实施例中，采用基于self attention的Transformer结构，有效地解决了长序列编码效果差的问题。
现有技术中，网络安全态势数据在当前神经网络处理过程中主要还停留在横截面数据，本实施例引入了时间这一特性，将单纯的网络安全态势横截面数据和时间序列数据合并起来变为面板数据样本矩阵XN×T。由于网络一直处于开启状态，其时间序列一般都较长，对于传统方法来说，模型往往不能准确找出其规律，难以进行预测。针对这一问题，本实施例引入transformer和CNN神经网络来进行关键信息的提取，以减小此问题带来的影响。此外，由于网络安全态势处于暴露状态，时刻面临外界的介入(如各种网络攻击)，并且网络安全态势面临的特征、需要考虑的状态也远高于一般数据预测问题。本申请构建的网络安全态势面板数据充分考虑了网络安全态势的特点，可以很好的表征网络安全态势信息，同时引入的模型也充分考虑到数据的特点，Transformer可以准确地提取长时间序列数据的关键信息，CNN则可以减少网络安全态势特征数据过多的问题。因此，本实施例构建了的网络安全态势面板数据，对于所构建的面板数据中存在的问题，引入较新的Transformer和CNN相结合的模型进行针对处理，有效地解决了长序列编码效果差的问题，又可以控制计算量，预测时间短。
【实施例2】
本实施例提供一种，基于Tranformer-CNN模型的网络安全态势预测系统，包括：
数据获取单元：获取protocol_type(协议类型)、service(网络服务)、src_ip(源ip)、dst_ip(目的ip)等网络安全态势数据；
数据预处理单元：用于对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
网络安全台数预测单元，包括Tranformer-CNN模型，用于接收网络安全态势数据实时样本，通过Tranformer-CNN模型运算，输出预测结果。
如图2所示，所述Tranformer-CNN模型包括Transformer单元、CNN单元和全连接层，所述CNN单元连接所述Transformer单元的解码组件，所述CNN单元的输出连接全连接层；
所述Transformer单元对网络安全态势数据样本进行运算，提取关键信息输出给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，运算结果通过全连接层输出。
其中，所述数据预处理单元包括：
数据清洗单元：对获取的网络安全态势数据进行检验，对异常数据进行校正，本实施例中，系统采用箱线图的方式进行检验，对检验出的异常数据用相邻时间点的该特征(数据)均值进行填充纠正；
数据填充单元：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充单元：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码组件：在数据中加入位置向量。
其中，所述Transformer单元包括编码组件、解码组件，其编码组件和解码组件均具有Muli-head Attention层、2个Add&Norm层和前向传播网络，1个Add&Norm层的输入连接Muli-head Attention层输出连接前向传播网络，前向传播网络的输出连接另一个Add&Norm层的输出，每个Muli-head Attention层具有8个自注意头。在部分实施例中，上述基于Tranformer-CNN模型的网络安全态势预测系统还包括通过实验提取网络安全态势数据的训练样本构建单元，该训练样本构建单元虚构网络攻击手段集合Attack(N)中的所有网络攻击手段Attackn，N为网络攻击的手段的数量总和，n为网络攻击手段的编号，n为正整数，且1≤n≤N；针对每个网络攻击手段Attackn，记录从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure BDA0003967335770000101
j为各状态信息变量的编号；根据网络态势评价模型，结合t时间点各状态信息变量/>
Figure BDA0003967335770000102
计算该时间t的网络安全态势评分/>
Figure BDA0003967335770000103
Figure BDA0003967335770000104
将各网络攻击手段的状态信息变量/>
Figure BDA0003967335770000105
与网络安全态势评分/>
Figure BDA0003967335770000106
拼接成样本/>
Figure BDA0003967335770000107
将所有样本/>
Figure BDA0003967335770000108
组合成一个样本矩阵XN×T，形成构建网络安全态势数据训练样本。
上述网络态势评价模型主要用于数据标注，即使用事先规定的一种标注方式对当前的数据样本进行标注，标注方式即为网络态势评价模型，按标注方式分可以分成：直接对样本数据进行求和标注；或对样本数据进行加权求平均等，本实施例中两种方式均可。
Figure BDA0003967335770000109
的拼接，是指将两个向量拼接，结合成一个向量，如：向量[11.2,13.5,…,12.3]和向量[20.5]进行拼接后就是向量[11.2,13.5,…,12.3,20.5]。
本实施例中，在预测时，如图2所示，网络安全态势数据通过数据清洗和数据填充(padding)后，形成序列长度为T、样本大小为N的、样本状态信息变量数量(也叫样本特征数量)为J的样本；该样本经过屏蔽填充(Padding Mask)后，被填充为0的数据被掩码处理后形成了最大序列长度的样本；根据最大序列长度样本中各数据的位置生成位置编码。最大序列长度的样本和位置编码被输入到Transformer中进行位置嵌入和其他特征提取，被送入Transformer单元的编码组件的Muli-head Attention层中，依次经过Add&Norm层、前向传播网络和另一个Add&Norm层处理后输出，Transformer单元的解码组件的Add&Norm层输出的数据被送入CNN中处理后通过全连接层输出。
实际上，图2整体可认定为一个网络安全态势预测模型，网络安全态势数据进入模型后依次进行了数据编码(包括padding、padding Mask、Position Embedding等)、两层transformer处理、CNN层处理、全连接层进行数据整合和分类预测处理。
【实施例3】
本实施例中提供一种基于Tranformer-CNN模型的网络安全态势预测方法，该方法中使用的Tranformer-CNN模型是已经提前训练好的Tranformer-CNN模型，本实施例中不需要制作训练样本和对模型进行训练，其预测步骤如下：
S11、获取网络安全态势数据，所述网络安全态势数据包括但不限于protocol_type(协议类型)、service(网络服务)、src_ip(源ip)、dst_ip(目的ip)等；
S12、对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
S13、将网络安全态势数据实时样本输入Tranformer-CNN模型，进行运算后输出预测结果；
所述Tranformer-CNN模型包括Transformer单元、CNN单元和全连接层，所述Transformer单元对网络安全态势数据样本进行运算，提取关键信息输出给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，输出预测结果；所述卷积神经网络CNN输出的预测结果还输入全连接层进行数据整合和分类预测后输出，此处的数据整合主要是进行加权求和。
步骤S12中的预处理均包括以下步骤：
数据清洗：对获取的网络安全态势数据进行检验，对异常数据进行校正，本步骤中采用箱线图的校验方式对网络安全态势数据进行检验，对检验出的异常数据用相邻时间点的该特征(数据)均值进行填充纠正；
数据填充：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码：在数据中加入位置向量；
数据合并：将位置向量与屏蔽填充后的数据进行合并，得到网络安全态势数据实时样本。
【实施例4】
本实施例提供一种基于实施例2的Tranformer-CNN模型的网络安全态势预测系统的应用，其用于具有长时间序列特征的处理网络安全态势数据，预测网络安全态势。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，包括以下预测步骤：
S11、获取网络安全态势数据；
S12、对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
S13、将网络安全态势数据实时样本输入Tranformer-CNN模型，进行运算后输出预测结果；
所述Tranformer-CNN模型包括Transformer单元和CNN单元，所述Transformer单元对网络安全态势数据样本进行运算，输出运算结果给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，输出预测结果。
2.根据权利要求1所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，所述Tranformer-CNN模型还包括全连接层，所述CNN单元输出的预测结果还输入全连接层进行数据整合和分类预测后输出。
3.根据权利要求1所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，所述方法在预测步骤之前还包括以下模型训练步骤：
S01、训练数据获取：获取存储的网络安全态势数据或者通过实验获取网络安全态势数据；
S02、对步骤S01获取的网络安全态势数据进行预处理，构建网络安全态势数据训练样本；
S03、采用网络安全态势数据训练样本训练Tranformer-CNN模型。
4.根据权利要求1所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，步骤S02和步骤S12中的预处理均包括以下步骤：
数据清洗：对获取的网络安全态势数据进行检验，对异常数据进行校正；
数据填充：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码：在数据中加入位置向量。
5.根据权利要求4所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，步骤S01通过实验提取网络安全态势数据时，包括以下步骤：
S001、确定网络攻击手段集合Attack(N)，N为网络攻击的手段的数量总和；
S002、从集合Attack(N)中选取一种未被选取过的网络攻击手段Attackn进行虚构，n为网络攻击手段的编号，n为正整数，且1≤n≤N；
S003、记录第n种网络攻击手段Attackn下从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure QLYQS_1
j为各状态信息变量的编号；
S004、结合t时间点各状态信息变量
Figure QLYQS_2
计算该时间t的网络安全态势评分
Figure QLYQS_3
Figure QLYQS_4
J为状态信息变量的数量；
S005、将第n种网络攻击手段的状态信息变量
Figure QLYQS_5
与网络安全态势评分/>
Figure QLYQS_6
拼接成样本/>
Figure QLYQS_7
S006、判断网络攻击手段集合Attack(N)中的取值Attackn是否都取完，如果未取完，则返回执行步骤S002；否则执行步骤S007；
S007、将所有样本
Figure QLYQS_8
组合成一个样本矩阵XN×T。
6.根据权利要求5所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，步骤S02的预处理中，其位置编码步骤中，将样本矩阵XN×T中每一个
Figure QLYQS_9
与位置向量拼接在一起，就形成了网络安全态势数据训练样本，该网络安全态势数据训练样本包括网络安全态势数据/>
Figure QLYQS_10
和预测标签，该预测标签即为网络安全态势评分/>
Figure QLYQS_11
7.根据权利要求1-6任一所述的基于Tranformer-CNN模型的网络安全态势预测方法，其特征在于，所述网络安全态势数据包括协议类型、网络服务、源ip和目的ip。
8.基于Tranformer-CNN模型的网络安全态势预测系统，其特征在于，包括：
数据获取单元：获取网络安全态势数据；
数据预处理单元：用于对网络安全态势数据进行预处理，构建网络安全态势数据实时样本；
网络安全台数预测单元，包括Tranformer-CNN模型，用于接收网络安全态势数据实时样本，通过Tranformer-CNN模型运算，输出预测结果；
所述Tranformer-CNN模型包括Transformer单元、CNN单元和全连接层，所述CNN单元连接所述Transformer单元的解码组件，所述CNN单元的输出连接全连接层；
所述Transformer单元对网络安全态势数据样本进行运算，输出运算结果给CNN单元；所述CNN单元对Transformer单元提取出的关键信息进行再次运算，运算结果通过全连接层输出。
9.根据权利要求8所述的基于Tranformer-CNN模型的网络安全态势预测系统，其特征在于，所述数据预处理单元包括：
数据清洗单元：对获取的网络安全态势数据进行检验，对异常数据进行校正；
数据填充单元：根据网络攻击需要花费的最长时间为T，将长度不足T的网络安全态势数据采用补0的方式补足到T个长度；
屏蔽填充单元：对数据填充步骤中补0位置的数据进行掩码处理；
位置编码组件：在数据中加入位置向量。
10.根据权利要求9所述的基于Tranformer-CNN模型的网络安全态势预测系统，其特征在于，还包括通过实验提取网络安全态势数据的训练样本构建单元，该训练样本构建单元虚构网络攻击手段集合Attack(N)中的所有网络攻击手段Attackn，N为网络攻击的手段的数量总和，n为网络攻击手段的编号，n为正整数，且1≤n≤N；针对每个网络攻击手段Attackn，记录从开始到攻击完成这一个时间过程T中每一个单位时间间隔t的网络各状态信息变量的取值
Figure QLYQS_12
j为各状态信息变量的编号；结合t时间点各状态信息变量/>
Figure QLYQS_13
计算该时间t的网络安全态势评分/>
Figure QLYQS_14
将各网络攻击手段的状态信息变量/>
Figure QLYQS_15
与网络安全态势评分/>
Figure QLYQS_16
拼接成样本/>
Figure QLYQS_17
将所有样本/>
Figure QLYQS_18
组合成一个样本矩阵XN×T，形成构建网络安全态势数据训练样本。
11.如权利要求8所述的基于Tranformer-CNN模型的网络安全态势预测系统的应用，其特征在于，用于具有长时间序列特征的处理网络安全态势数据，预测网络安全态势。
CN202211500470.5A 2022-11-28 2022-11-28 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用 Pending CN116346392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211500470.5A CN116346392A (zh) 2022-11-28 2022-11-28 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500470.5A CN116346392A (zh) 2022-11-28 2022-11-28 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用

Publications (1)

Publication Number Publication Date
CN116346392A true CN116346392A (zh) 2023-06-27

Family

ID=86877944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500470.5A Pending CN116346392A (zh) 2022-11-28 2022-11-28 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用

Country Status (1)

Country Link
CN (1) CN116346392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915511A (zh) * 2023-09-13 2023-10-20 中移(苏州)软件技术有限公司 信息处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915511A (zh) * 2023-09-13 2023-10-20 中移(苏州)软件技术有限公司 信息处理方法、装置、设备及存储介质
CN116915511B (zh) * 2023-09-13 2023-12-08 中移(苏州)软件技术有限公司 信息处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110597991B (zh) 文本分类方法、装置、计算机设备及存储介质
CN111914873B (zh) 一种两阶段云服务器无监督异常预测方法
CN113904844B (zh) 基于跨模态教师-学生网络的智能合约漏洞检测方法
CN112947385A (zh) 一种基于改进Transformer模型的飞行器故障诊断方法和系统
CN116346392A (zh) 基于Tranformer-CNN模型的网络安全态势预测方法、系统及其应用
CN116007937B (zh) 一种机械设备传动部件智能故障诊断方法及装置
CN117978551B (zh) 变电站监控网络的交互异常行为分析方法
CN112905188A (zh) 一种基于生成式对抗gan网络的代码翻译方法及系统
CN117036778A (zh) 一种基于图文转换模型的安全隐患识别标注方法
CN116909788A (zh) 一种任务导向和视角不变的多模态故障诊断方法及系统
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
CN115389865A (zh) 基于云边端协同架构的电力设备故障诊断方法及系统
CN116599683A (zh) 一种恶意流量检测方法、系统、装置及存储介质
CN114416479A (zh) 一种基于流外正则化的日志序列异常检测方法
CN116578336A (zh) 一种基于抄袭者-检测器对抗的软件克隆检测方法
CN115545339A (zh) 变电站安全作业态势评估方法及装置
CN115587007A (zh) 基于RoBERTa的网络日志安全检测方法及系统
CN111368026B (zh) 基于词语义关系与动态卷积神经网络的文本蕴含分析方法
CN118278050B (zh) 基于大模型的电网调控业务数据智能分析方法及系统
CN117173530B (zh) 目标异常检测方法及装置
CN117011690B (zh) 一种海缆隐患识别方法、装置、设备和介质
CN117874466A (zh) 一种基于注意力机制的端对端轴承寿命预报方法
CN118568084A (zh) 基于语义的电力数据质量检测方法及系统
CN117454743A (zh) 一种深基坑变形预测方法、装置、设备及存储介质
CN116384567A (zh) 一种基于知识图谱的电力设备故障预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination