CN116962047A - 一种可解释的威胁情报生成方法、系统及装置 - Google Patents
一种可解释的威胁情报生成方法、系统及装置 Download PDFInfo
- Publication number
- CN116962047A CN116962047A CN202310928810.2A CN202310928810A CN116962047A CN 116962047 A CN116962047 A CN 116962047A CN 202310928810 A CN202310928810 A CN 202310928810A CN 116962047 A CN116962047 A CN 116962047A
- Authority
- CN
- China
- Prior art keywords
- data
- attack
- model
- interpretable
- abnormal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000002159 abnormal effect Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 230000005856 abnormality Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 16
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 7
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 7
- 239000004571 lime Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Abstract
本发明公开了一种可解释的威胁情报生成方法、系统及装置，该方法包括：获取流量数据并进行异常判断，得到异常数据；对所述异常数据进行分类，得到攻击类型结果；基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。该系统包括：异常判断模块、攻击分类模块和解释模块。该装置包括存储器以及用于执行上述可解释的威胁情报生成方法的处理器。通过使用本发明，提高网络安全系统对网络入侵的检测能力以及其决策的可信度。本发明可广泛应用于网络安全领域。
Description
技术领域
本发明涉及网络安全领域，尤其涉及一种可解释的威胁情报生成方法、系统及装置。
背景技术
随着计算机网络、服务器和移动设备的进步，互联网成为每个人日常生活中必不可少的工具，与互联网相连的设备数量也在爆炸式增长。有必要建立一个稳定、安全的计算机网络系统，以确保在互联网内传输的信息的保密性、可访问性和完整性。然而，网络的高普及率引诱网络攻击者为自己的利益开发更复杂、更强大的网络攻击方法。
传统的基于签名和基于规则的网络防御机制在互联网上传播的信息量日益增加的情况下已经无法适用，无法检测出现今复杂的网络攻击。
发明内容
有鉴于此，为了解决现有网络入侵检测方法中检测能力弱的技术问题，本发明提出一种可解释的威胁情报生成方法，所述方法包括以下步骤：
获取流量数据并进行异常判断，得到异常数据；
对所述异常数据进行分类，得到攻击类型结果；
基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
其中，所述流量数据可实时获取，也可从数据库上下载，在本实施例中不作具体限定。
在一些实施例中，所述获取流量数据并进行异常判断，得到异常数据这一步骤，其具体包括：
基于Transformer结构，构建网络入侵检测模型；
所述网络入侵检测模型包括
获取流量数据；
将所述流量数据输入至所述网络入侵检测模型；
经过扩维及全连接层后，将特征值转化为特征向量；
将所述特征向量通过归一化后输入至多头注意力结构，得到多头向量；
基于所述多头向量，依次执行加权内积、Softmax、相乘及拼接操作，得到拼接数据；
根据拼接数据进行内容提取，得到异常数据。
通过该优选步骤，提出了基于Transformer结构的网络入侵检测模型(IntrusionDetection Transformer，IDT)，利用IDT模型对流量数据进行异常判断。在进行入侵攻击的二分类任务中，针对网络入侵隐蔽、潜伏时间长、渗透力强等特点，设计了IDT的注意力结构，使其能够更好地捕获复杂网络攻击中的特征信息，掌握不同特征之间的潜在相互关系，并能够对时间序列上的流量数据保持持续的关注，从而实现了更加有效的网络入侵检测。
在一些实施例中，所述对所述异常数据进行分类，得到攻击类型结果这一步骤，其具体包括：
基于双向LSTM网络，构建攻击检测模型；
所述攻击检测模型包括卷积层、堆叠的特征提取单元和分类单元；
对所述异常数据进行编码，得到特征向量；
将所述特征向量输入至所处攻击检测模型，输出攻击类型结果。
通过该优选步骤，以双向LSTM网络作为核心网络层构建攻击检测模型(IntrusionDetection LSTM，ID-LSTM)，将IDT模型判断为异常的流量数据输入至该模型。在攻击类型的多分类任务中上，ID-LSTM结合使用了卷积池化以及双向LSTM结构，实现了对IDT检测出的异常流量的多分类，为用户提供与攻击相关的更为详细的信息。
在一些实施例中，所述基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释这一步骤，其具体包括：
基于SHAP算法为所述网络入侵检测模型提供解释；
基于GradCAM算法为所述异常数据提供解释；
基于LIME算法为所述攻击检测模型检测结果提供解释。
通过该优选步骤，利用不同的算法有针对性的对所输出的数据和模型进行可解释性说明，提高其决策的可信度。
在一些实施例中，所述对所述异常数据进行编码，得到特征向量这一步骤，其具体包括：
对所述异常数据进行无意义特征删除处理；
对所述异常数据进行独热编码和空值填补处理，得到特征向量。
在一些实施例中，所述将所述特征向量输入至所处攻击检测模型，输出攻击类型结果这一步骤，其具体包括：
基于卷积层对特征向量进行数据维度拓展，得到序列输入；
基于堆叠的特征单元对所述序列输入进行处理，提取深度特征；
基于分类单元对深度特征进行处理，输出攻击类型结果。
在一些实施例中，还包括对整体模型的可解释性进行评估这一步骤，所述整体模型为网络入侵检测和攻击检测模型的结合，具体步骤如下：
设定流量数据拥有特征；
通过解释算法得到不同特征对于模型决策的影响因子并依次删除特征，得到新的模型分类准确率；
根据模型初始分类准确率和新的模型分类准确率，计算得到特征影响率；
计算特征影响率与因子余弦相似度，得到置信数；
根据置信数判断模型的可解释性。
通过该优选步骤，为整体模型即整个方法流程的可解释性进行了定量评估。
本发明还提出了一种可解释的威胁情报生成系统，所述系统包括：
异常判断模块，用于获取流量数据并进行异常判断，得到异常数据；
攻击分类模块，用于对所述异常数据进行分类，得到攻击类型结果；
解释模块，基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
本发明还提出了一种可解释的威胁情报生成装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种可解释的威胁情报生成方法。
基于上述方案，本发明提供了一种可解释的威胁情报生成方法、系统及装置，提出了一种全新的可解释入侵检测与威胁情报生成模型，基于Transformer和双向LSTM的网络结构，创新性地设计了网络入侵检测模型(IDT)与攻击检测模型(ID-LSTM)，实现了对入侵攻击进行二分类与多分类的准确检测，并结合SHAP、CAM与LIME解释算法实现了网络威胁情报的生成。进而设计了可解释模型评估算法，对模型可解释性进行评估，进一步提高其可信赖度。
附图说明
图1是本发明一种可解释的威胁情报生成方法的步骤流程图；
图2是本发明入侵检测模型的结构示意图；
图3是本发明攻击分类模型的结构示意图；
图4是本发明又一具体实施例解释算法的示意图；
图5是入侵检测模型不同epoch下分类准确率展示图；
图6是入侵检测模型ROC图；
图7是SHAP解释Attent-LSTM的特征贡献权重，从左到右样本数依次为500、1000和3000；
图8是SHAP解释IDT的特征贡献权重，从左到右样本数依次为500、1000和3000；
图9是攻击检测模型ROC图；
图10是ID-LSTM模型对解释样本227攻击类型的预测值展示图；
图11是预测结果对应的特征权重图。
具体实施方式
近年来，网络安全威胁不断朝着更为复杂、隐蔽的方向发展，在当前大数据时代背景下，能够在大量流量数据中识别检测网络入侵并为用户提供威胁情报的能力愈发重要。
机器学习和深度学习算法可以在许多网络安全领域应用(如入侵检测、垃圾邮件过滤、僵尸网络检测、欺诈检测和恶意应用识别)的基准数据集上表现出卓越的性能，但它们也会犯错误，而且其中一些错误会造成比传统的网络防御方法的错误更恶劣的后果。另一方面，网络安全开发人员有时以牺牲可解释性为代价寻求更高的准确性，这使得他们的模型更加复杂，难以掌握。因此，为了能够相信网络安全系统的决策，人工智能必须是透明和可解释的。为了满足这些需求，人们提出了一些策略来使人工智能的决策更容易被人类理解。这些可解释的技术通常被简称为“XAI”(Explainable Artificial Intelligence，XAI)，它已经在许多应用领域实现，如医疗保健、自然语言处理和金融服务。
本文设计了一个全新的可解释入侵检测与威胁情报生成模型。基于Transformer结构设计的入侵检测模型将初步检测出流量数据中的攻击流量，随后攻击检测模型为这些攻击流量进行进一步的分类，以得到关于入侵流量攻击类型更详细的信息。我们为入侵检测、攻击检测模型所设计的解释算法将为用户提供不同流量特征在检测模型决策中影响作用的可视化展示。在综合这些信息后，模型将生成详细、可解释的网络威胁情报。此外，我们还设计了对于可解释模型的评估算法，该算法通过计算模型解释与实际效果之间的吻合度来对可解释模型做出评价。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为本发明提出的可解释的威胁情报生成方法的一可选示例的流程示意图，该方法可以适用于计算机设备，本实施例提出的该成像方法可以包括但并不局限于以下步骤：
S1、获取流量数据并进行异常判断，得到异常数据；
S1.1、基于Transformer结构，构建网络入侵检测模型，所述网络入侵检测模型示意参照图2。
S1.2、获取流量数据；
S1.3、将所述流量数据输入至所述网络入侵检测模型；
S1.4、经过扩维及全连接层后，将特征值转化为特征向量；
S1.5、将所述特征向量通过归一化后输入至多头注意力结构，得到多头向量；
S1.6、基于所述多头向量，依次执行加权内积、Softmax、相乘及拼接操作，得到拼接数据；
S1.7、根据拼接数据进行内容提取，得到异常数据。
流量数据输入至网络入侵检测模型经过的数据处理具体如下：
设输入流量数据其中B为Batch size，F为初始的流量特征数。通过扩维以及全连接层之后将特征值转化为特征向量，得到/>其中N为扩展的维度数，F*为扩维后的特征向量长度。随后，在RV第二维，即第一个特征向量前，添加从class token 得到输入特征流量/>上述过程可表示为：
其中表示添加到第二维，g*等价当前的扩维与全连接层处理。
随后RI将输入Transformer Encoder。设Transformer Encoder中多头注意力结构中头(head)数为M，RI通过归一化后输入多头注意力结构，有转移矩阵为W。对于/>中任意元素/>进行如下计算：
qi＝Wqri
ki＝Wkri
vi＝Wvri
由于头(head)数为M，对j∈[1,M]，可分别计算得多头向量：
qi,j＝Wq,jri
ki,j＝Wk,jri
vi,j＝Wv,jri
将qi,j与ki,j做加权内积，得到αi,j：
其中d为qi,j与ki,j的维度。
将αi,j取Softmax操作，再将其与vi,j相乘，得到
bi,j＝SoftMax(αi,j)*vi,j
将不同头得到的bi,j拼接起来，得到
残差相加后，bi将输入MLP块。在MLP块中，bi通过两个全连接层及残差相加输出 即得到Encoder Block的输出结果。/>与ri维度相同，这意味着TransformerEncoder的输出可以再次输入Transformer Encoder，由此实现多个Encoder Block的堆叠。
通过指定数目的Encoder Block后，提取出输出中的class token内容对于得到的/>再次通过一个MLP head，得到二分类的输出MLP head结构由Linear+tanh激活函数+Linear组成，主要目的为将TransformerEncoder结果转化为分类结果。这一步骤可以抽象为：
其中f*代表当前MLP head网络层处理。
设分类标签将其与y做交叉熵损失，得到算法的优化目标：
min CE(y,l)
由此，即实现了IDT的模型算法设计。
S2、对所述异常数据进行分类，得到攻击类型结果；
S2.1、基于双向LSTM网络，构建攻击检测模型，所述攻击检测模型包括卷积层、堆叠的特征提取单元和分类单元，所述攻击检测模型的结构示意参照图3；
S2.2、对所述异常数据进行编码，得到特征向量；
S2.3、将所述特征向量输入至所处攻击检测模型，输出攻击类型结果。
S3、基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
S3.1、基于SHAP算法为所述网络入侵检测模型提供解释；
具体地，使用SHAP算法为入侵检测模型提供解释，利用来自博弈论及其相关扩展的经典Shapley value将最佳信用分配与局部解释联系起来，以图像直观展示不同流量特征对模型决策的影响度。
S3.2、基于GradCAM算法为所述异常数据提供解释；
具体地，使用CAM算法为入侵检测结果样本提供解释，计算模型对于样本特征的梯度分布，以热力图展现入侵检测模型对该样本不同特征的关注度；
S3.3、基于LIME算法为所述攻击检测模型检测结果提供解释。
具体地，使用LIME算法对攻击检测模型检测结果提供解释，通过扰动输入观察模型的预测变化，根据这种变化在原始输入中训练一个线性模型来局部近似黑盒模型的预测，以图像分别展示不同攻击类型中各流量特征对模型决策影响，并对指定样本进行分析，得到模型对其决策的详细判断依据。
综合入侵检测、攻击检测模型检测结果，以及各解释算法对模型、样本的解释，为用户提供详细、直观的威胁情报，并以此为依据对模型进行优化。
在一些可行的实施例中，所述对所述异常数据进行编码，得到特征向量这一步骤，其具体包括：S2.2.1、对所述异常数据进行无意义特征删除处理；S2.2.2、对所述异常数据进行独热编码和空值填补处理，得到特征向量。
具体地，对数据进行预处理操作：删除编号等无意义特征，对非数值特征进行独热编码，填补空值特征，然后对所有特征进行归一化处理。至此获得了可以输入网络的特征向量。
在一些可行的实施例中，所述将所述特征向量输入至所处攻击检测模型，输出攻击类型结果这一步骤，其具体包括：
S2.3.1、基于卷积层对特征向量进行数据维度拓展，得到序列输入；
具体地，卷积层的作用是拓展数据维度，便于作为序列输入到后续的LSTM网络中。
S2.3.2、基于堆叠的特征单元对所述序列输入进行处理，提取深度特征；
具体地，特征提取单元由三层网络组成，分别是最大值池化(Max Pooling)、批数据归一化(Batch Normalization)和双向LSTM，通过这一层可以提取出数据中的深度特征。其中最大池化层用来缩减经过卷积之后数据维度的大小，提高计算速度，同时提高所提取特征的鲁棒性。而批数据归一化可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失。并且起到一定的正则化作用，在网络衔接中几乎代替了Dropout。然后再利用双向LSTM提取序列数据中的深度特征。
S2.3.3、基于分类单元对深度特征进行处理，输出攻击类型结果。
具体地，提取的特征经过由dropout、线性层和softmax层组成的分类单元得到最终攻击分类结果。
在一些可行的实施例中，还包括：
S4、设计了可解释模型评估算法，对模型可解释性进行评估，进一步提高其可信赖度。
S4.1、对于流量数据R，假设其拥有特征X＝[x1,x2,...,xn]。
S4.2、通过可解释性算法我们得以了解不同特征对于模型决策的影响因子σ＝[σ1,σ2,...,σn]。
S4.3、为了具体衡量不同特征对于模型决策的影响，我们依次删去这些特征，得到新的模型分类准确率θ＝[θ1,θ2,...,θn]。
S4.4、假设模型初始分类准确率为θ0，那么可以计算而得到特征影响率ρ：
S4.5、将ρ与影响影子σ作归一化，计算余弦相似度，得到置信数δ：
置信数越接近1，则代表特征影响率ρ与影响影子σ越接近，即解释模型解释效果越好；越接近-1，则代表解释效果越差。
本发明还提供了数值模拟与仿真实验，验证模型和定理的合理性和有效性：
实验采用的数据集为UNSW-NB15。考虑到数据集中某些特征将会严重偏向结果，并掩盖对数据集可分离性的真实、可靠的估计，为了解决这个问题，本文对原数据集的特征进行了筛选，得到包含34个特征的新数据集。为了提高分类难度，我们将数据集与训练集调换，以模拟现实情境下流量检测压力的需求。最终实验采用的数据集在训练集中包含82332条样本,在测试集中包含175341条样本，每个样本包含34个特征。
在入侵检测的二分类任务中，选取IDT、conv-IDT、Attention-LSTM、conv-LSTM四个模型进行实验，其中conv-IDT为通过一维卷积进行扩维的IDT，Attention-LSTM为加入注意力机制的双层LSTM，conv-LSTM为当前最新的入侵检测模型之一，在测试数据集上得到的模型分类准确率以及ROC图由图5-6所示，证明入侵检测模型IDT的有效性，通过比较证明注意力机制在入侵检测任务中的有效性；
分别对IDT模型和Attention-LSTM模型进行SHAP可解释性分析，图7-8展示SHAP解释不同解释样本下两个模型的特征贡献权重。实验分别对IDT模型和Attention-LSTM模型进行SHAP可解释性分析。可以看到Attent-LSTM模型更关注dload、dtcpb和ackdat等特征而IDT更关注sload、smean、rate等特征。这说明不同的模型关注数据的不同特征，进而表现出了不同的性能。查阅数据特征含义表可知，dload表示接收方单位吞吐量；dtcpb表示接收方TCP序列号；ackdat表示TCP中接收方对第一次握手回复SYN-ACK到收到发送方回发ACK的时间。而sload表示发送方单位吞吐量；smean表示src传输的流数据包大小的平均值；rate表示发送速率。在网络攻击中，攻击者通常会试图通过快速发送大量小数据包来占用网络资源，从而达到拖慢或中断正常网络服务的目的。因此，较高的发送方单位吞吐量、异常的数据包大小平均值和较高的发送速率可能表明存在网络攻击。然而注意到Attent-LSTM十分关注接收方TCP序列号这一特征，这一特征和网络攻击之间并没有必然联系，因此其分类效果受限。
在攻击检测的多分类任务中，选取MLP、Attention-LSTM、GRU以及ID-LSTM四个模型进行实验，其中MLP为三层线性层的组合，Attention-LSTM为加入注意力机制的双层LSTM，GRU为双层GRU的组合，实验得到模型分类准确率以此为：74.48％、76.88％、74.49％与80.56％，ROC图如图9所示。通过比较在测试数据集上得到的模型分类准确率以及ROC图证明攻击检测模型ID-LSTM的有效性；
对ID-LSTM模型进行LIME可解释性分析。我们随机选择了测试集中第227个样本进行可视化解释。样本225是Fuzzers(模糊攻击)。如图10所示，检测模型的预测结果为Fuzzers，而且预测可能性达到0.99，那就说明该预测模型的预测结果与真实结果一致。图11展现的是对预测概率最高的类别判别时不同特征的贡献权重。左侧表示的是消极权重，即对“不属于该类别”的预测概率的贡献，右侧表示的是积极权重，即对“属于该类别”的预测概率的贡献。我们在这里只显示了贡献率最高的前10个特性，可以看到Sjit(Sourcejitter)、Dur(Record total duration)、Dinpkt(Destination inter-packetarrival time)、sinpkt(Source inter-packet arrival time)这四个特征的贡献权重最高，即四个特征的值都大概率处于异常状况。由于Fuzzers攻击的特征是试图通过向程序或网络提供随机生成的数据而使其暂停，而LIME解释中最关注的四个特征都与时间有关，是基于时间的网络流量统计数据，因此可以合理地推断出APT攻击者已经对主机发起了Fuzzers攻击，使得程序异常暂停而使得上述时间相关的特征异常。
一种可解释的威胁情报生成系统，包括：
异常判断模块，用于获取流量数据并进行异常判断，得到异常数据；
攻击分类模块，用于对所述异常数据进行分类，得到攻击类型结果；
解释模块，基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种可解释的威胁情报生成装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种可解释的威胁情报生成方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上所述一种可解释的威胁情报生成方法。
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种可解释的威胁情报生成方法，其特征在于，包括以下步骤：
获取流量数据并进行异常判断，得到异常数据；
对所述异常数据进行分类，得到攻击类型结果；
基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
2.根据权利要求1所述一种可解释的威胁情报生成方法，其特征在于，所述获取流量数据并进行异常判断，得到异常数据这一步骤，其具体包括：
基于Transformer结构，构建网络入侵检测模型；
获取流量数据；
将所述流量数据输入至所述网络入侵检测模型；
经过扩维及全连接层后，将特征值转化为特征向量；
将所述特征向量通过归一化后输入至多头注意力结构，得到多头向量；
基于所述多头向量，依次执行加权内积、Softmax、相乘及拼接操作，得到拼接数据；
根据拼接数据进行内容提取，得到异常数据。
3.根据权利要求2所述一种可解释的威胁情报生成方法，其特征在于，所述对所述异常数据进行分类，得到攻击类型结果这一步骤，其具体包括：
基于双向LSTM网络，构建攻击检测模型；
所述攻击检测模型包括卷积层、堆叠的特征提取单元和分类单元；
对所述异常数据进行编码，得到特征向量；
将所述特征向量输入至所处攻击检测模型，输出攻击类型结果。
4.根据权利要求2所述一种可解释的威胁情报生成方法，其特征在于，所述基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释这一步骤，其具体包括：
基于SHAP算法为所述网络入侵检测模型提供解释；
基于GradCAM算法为所述异常数据提供解释；
基于LIME算法为所述攻击检测模型检测结果提供解释。
5.根据权利要求3所述一种可解释的威胁情报生成方法，其特征在于，所述对所述异常数据进行编码，得到特征向量这一步骤，其具体包括：
对所述异常数据进行无意义特征删除处理；
对所述异常数据进行独热编码和空值填补处理，得到特征向量。
6.根据权利要求5所述一种可解释的威胁情报生成方法，其特征在于，所述将所述特征向量输入至所处攻击检测模型，输出攻击类型结果这一步骤，其具体包括：
基于卷积层对特征向量进行数据维度拓展，得到序列输入；
基于堆叠的特征单元对所述序列输入进行处理，提取深度特征；
基于分类单元对深度特征进行处理，输出攻击类型结果。
7.根据权利要求3所述一种可解释的威胁情报生成方法，其特征在于，还包括对整体模型的可解释性进行评估这一步骤，所述整体模型为网络入侵检测和攻击检测模型的结合，具体步骤如下：
设定流量数据拥有特征；
通过解释算法得到不同特征对于模型决策的影响因子并依次删除特征，得到新的模型分类准确率；
根据模型初始分类准确率和新的模型分类准确率，计算得到特征影响率；
计算特征影响率与因子余弦相似度，得到置信数；
根据置信数判断模型的可解释性。
8.根据权利要求7所述一种可解释的威胁情报生成方法，其特征在于，特征影响率的计算公式如下：
上式中，θ0表示模型初始分类准确率，θi表示删除第i个特征后的模型分类准确率。
9.一种可解释的威胁情报生成系统，其特征在于，包括：
异常判断模块，用于获取流量数据并进行异常判断，得到异常数据；
攻击分类模块，用于对所述异常数据进行分类，得到攻击类型结果；
解释模块，基于不同的解释算法分别为所述异常数据和所述攻击类型结果提供解释。
10.一种可解释的威胁情报生成装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述一种可解释的威胁情报生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310928810.2A CN116962047A (zh) | 2023-07-27 | 2023-07-27 | 一种可解释的威胁情报生成方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310928810.2A CN116962047A (zh) | 2023-07-27 | 2023-07-27 | 一种可解释的威胁情报生成方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116962047A true CN116962047A (zh) | 2023-10-27 |
Family
ID=88448684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310928810.2A Pending CN116962047A (zh) | 2023-07-27 | 2023-07-27 | 一种可解释的威胁情报生成方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962047A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240598A (zh) * | 2023-11-07 | 2023-12-15 | 国家工业信息安全发展研究中心 | 攻击检测方法、装置、终端设备及存储介质 |
-
2023
- 2023-07-27 CN CN202310928810.2A patent/CN116962047A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240598A (zh) * | 2023-11-07 | 2023-12-15 | 国家工业信息安全发展研究中心 | 攻击检测方法、装置、终端设备及存储介质 |
| CN117240598B (zh) * | 2023-11-07 | 2024-02-20 | 国家工业信息安全发展研究中心 | 攻击检测方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vinayakumar et al. | A visualized botnet detection system based deep learning for the internet of things networks of smart cities | |
| Ding et al. | Intrusion detection system for NSL-KDD dataset using convolutional neural networks | |
| Ieracitano et al. | Statistical analysis driven optimized deep learning system for intrusion detection | |
| Alloghani et al. | Implementation of machine learning and data mining to improve cybersecurity and limit vulnerabilities to cyber attacks | |
| Saurabh et al. | Nfdlm: A lightweight network flow based deep learning model for ddos attack detection in iot domains | |
| Zhang et al. | Cross-site scripting (XSS) detection integrating evidences in multiple stages | |
| CN116962047A (zh) | 一种可解释的威胁情报生成方法、系统及装置 | |
| Roshan et al. | Deep learning approaches for anomaly and intrusion detection in computer network: A review | |
| Muslihi et al. | Detecting SQL injection on web application using deep learning techniques: a systematic literature review | |
| Assefa et al. | Intelligent phishing website detection using deep learning | |
| Kamran et al. | Semi-supervised conditional GAN for simultaneous generation and detection of phishing URLs: A game theoretic perspective | |
| Harbola et al. | Improved intrusion detection in DDoS applying feature selection using rank & score of attributes in KDD-99 data set | |
| Hong et al. | Abnormal access behavior detection of ideological and political MOOCs in colleges and universities | |
| Ao | Using machine learning models to detect different intrusion on NSL-KDD | |
| Nowroozi et al. | Resisting deep learning models against adversarial attack transferability via feature randomization | |
| Ullah et al. | NMal-Droid: network-based android malware detection system using transfer learning and CNN-BiGRU ensemble | |
| Patil et al. | Learning to Detect Phishing Web Pages Using Lexical and String Complexity Analysis | |
| Tu et al. | Network intrusion detection system (NIDS) based on pseudo-siamese stacked autoencoders in fog computing | |
| Althobaiti et al. | Securing Cloud Computing from Flash Crowd Attack Using Ensemble Intrusion Detection System. | |
| Islam et al. | Real-Time Detection Schemes for Memory DoS (M-DoS) Attacks on Cloud Computing Applications | |
| CN115314239A (zh) | 基于多模型融合的隐匿恶意行为的分析方法和相关设备 | |
| Park et al. | One-shot malware outbreak detection using spatio-temporal isomorphic dynamic features | |
| Xie et al. | Research and application of intrusion detection method based on hierarchical features | |
| YILMAZ | Malware classification with using deep learning | |
| Sadioura et al. | Selection of sub-optimal feature set of network data to implement Machine Learning models to develop an efficient NIDS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |