CN113792776A - 面向网络安全异常检测中深度学习模型的解释方法 - Google Patents

面向网络安全异常检测中深度学习模型的解释方法 Download PDF

Info

Publication number
CN113792776A
CN113792776A CN202111032209.2A CN202111032209A CN113792776A CN 113792776 A CN113792776 A CN 113792776A CN 202111032209 A CN202111032209 A CN 202111032209A CN 113792776 A CN113792776 A CN 113792776A
Authority
CN
China
Prior art keywords
interpretation
data
network security
tabular
optimization problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111032209.2A
Other languages
English (en)
Inventor
王之梁
韩东岐
陈闻起
钟莹
王苏
张晗
杨家海
施新刚
尹霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111032209.2A priority Critical patent/CN113792776A/zh
Publication of CN113792776A publication Critical patent/CN113792776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种面向网络安全异常检测中深度学习模型的解释方法。其中方法包括：建立通用性解释框架，所述通用性解释框架将面向网络安全异常检测中深度学习模型的解释问题转化为多目标优化问题的求解过程；针对不同种类的网络安全任务类型，根据所述通用性解释框架确定与网络安全任务类型对应的解释器算法。本申请的解释方法适用于无监督异常检测，能够有效解释深度模型判定异常的决策依据；能权衡保真性、稳定性、解释性、鲁棒性以及高效性多方面的需求。同时该解释方法具有较强的通用性，可以适用于多种不同的深度学习模型和不同的网络安全场景。

Description

面向网络安全异常检测中深度学习模型的解释方法
技术领域
本申请涉及网络安全技术领域，尤其涉及一种面向网络安全异常检测中深度学习模型的解释方法。
背景技术
人工智能技术、特别是深度学习技术被广泛应用到各类网络安全检测系统中，实现了较好的检测效果。由于深度学习模型决策过程复杂，对使用者而言具有黑盒不可解释性，因此深度学习模型的可解释性研究对于安全检测系统而言变得越来越重要。
现有的解释方法主要关注于解释非安全场景下的深度学习模型，如计算机视觉和自然语言处理相关的模型。这些方法难以直接应用到网络安全场景中。一方面，可解释性方法需要和人进行交互，不同领域的解释结果和侧重有所不同。另一方面，多项研究指出现有的解释方法不能实现保真性(fidelity)、稳定性、鲁棒性和高效性之间的权衡。
此外，现有解释方法主要针对有监督的分类模型，在解释过程中解释了标注数据或监督学习的思想，因此这些方法不适用于解释无监督的异常检测模型。
发明内容
针对上述问题，本申请提供了一种面向网络安全异常检测中深度学习模型的解释方法。本申请的技术方案如下：
根据本申请实施例提供一种面向网络安全异常检测中深度学习模型的解释方法，包括：
建立通用性解释框架，所述通用性解释框架将面向网络安全异常检测中深度学习模型的解释问题转化为多目标优化问题的求解过程；
针对不同种类的网络安全任务类型，根据所述通用性解释框架确定与网络安全任务类型对应的解释器算法。
在本申请的一些实施例中，所述通用性解释框架表示如下：
Figure BDA0003245783890000011
Figure BDA0003245783890000013
其中，xo和x*分别表示参考点和异常点，f表示深度学习模型，
Figure BDA0003245783890000012
分别表示保真性、稳定性、解释性和鲁棒性约束项，λ1，λ2，λ3分别表示为稳定性、解释性和鲁棒性约束项的权重系数。
在本申请的一些实施例中，所述网络安全任务根据安全检测系统使用的源数据类型的不同，分为基于表格型数据、时间序列数据和图结构数据的网络安全任务类型。
在本申请的一些实施例中，针对基于表格型数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第一多目标优化问题，包括：
对于表格型异常数据，通过所述通用性解释框架中的各约束项来搜寻表格型参考点x*，其中，保真性约束项
Figure BDA0003245783890000021
定义为表格型参考点x*被基于表格型数据的异常检测模型fR判定为正常，即重构误差εR低于异常阈值tR；稳定性约束项
Figure BDA0003245783890000026
定义为在满足保真性、解释性和鲁棒性约束项的条件下保证参考点和表格型异常点xo的距离小于第一预设条件；解释性约束项
Figure BDA0003245783890000027
保证表格型异常点xo相比于表格型参考点x*改动的特征维数小于第二预设条件；
确定所述第一多目标优化问题，表示如下：
Figure BDA0003245783890000022
s.t.εR(x*，fR(x*))＜tR and x*∈[0，1]N
其中，x*表示表格型参考点，xo表示表格型异常点，εR表示重构误差，tR表示异常阈值，fR表示基于表格型数据的异常检测模型，λ为对应约束项的权重系数。
在本申请的一些实施例中，所述第一多目标优化问题的求解方法，包括：
通过ReLU(Rectified Linear Units)函数，一种激活函数，将保真性约束项转化为：ReLU(εR(x*，fR(x*))-(tR-∈))；
将x*∈[0，1]N转化为
Figure BDA0003245783890000023
即用没有值域约束的u替换x*；
将第一多目标优化问题转化为无约束优化问题，表示如下：
Figure BDA0003245783890000024
Figure BDA0003245783890000025
根据迭代优化方法，将无约束优化问题转化为可导的无约束优化问题，通过基于Adam优化器的梯度下降方法进行求解。
在本申请的一些实施例中，针对基于时间序列数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第二多目标优化问题，包括：
对于时间序列型异常数据，通过所述通用性解释框架中的各约束项来搜寻参考时间序列X*，通过迭代优化方式，即每次选取少量异常数据进行修改，每次的优化目标仅考虑保真性约束项，确定所述第二多目标优化问题，表示如下：
Figure BDA0003245783890000031
其中，
Figure BDA0003245783890000035
为保真性约束的简写，X*为参考时间序列，X*包含t个时间点的时间序列即
Figure BDA00032457838900000317
tP为异常阈值，fP表示基于时间序列数据的异常检测模型，εR表示重构误差，
Figure BDA0003245783890000037
为fP的具体计算方式。
在本申请的一些实施例中，针对基于图结构数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第三多目标优化问题，包括：
将某个异常连接记为
Figure BDA00032457838900000318
其中
Figure BDA0003245783890000039
和
Figure BDA00032457838900000310
是连接两端的节点，经过嵌入后的表征向量记为eo＝EG(χo)；
获取异常表征eo的参考表征e*，根据参考表征e*定位到原始图结构上的参考连接
Figure BDA00032457838900000320
参考连接记为
Figure BDA00032457838900000319
其中，
Figure BDA00032457838900000312
是连接两端的节点；将所述通用性解释框架的解释性约束项
Figure BDA00032457838900000313
通过迭代优化的方式实现，保真性约束项
Figure BDA00032457838900000314
定义为重构误差εR低于异常阈值tR，稳定性约束项
Figure BDA00032457838900000315
定义为在满足保真性、解释性和鲁棒性约束项的条件下保证参考连接和异常连接的满足第三预设条件；
确定所述第三多目标优化问题，如下式所示：
Figure BDA0003245783890000032
Figure BDA0003245783890000033
Figure BDA0003245783890000034
其中，
Figure BDA00032457838900000316
表示参考连接
Figure BDA00032457838900000321
的节点在图数据的节点集中，fR为图数据型数据源的异常检测模型。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请实施例的解释方法，一方面，因为解释过程不需要使用带有标签的数据，适用于无监督异常检测；另一方面，通过深度分析各部分需求之间的关系，能权衡保真性(解释结果准确的反应了模型的决策依据)、稳定性(解释结果之间应保持一致)、鲁棒性(对于噪声数据和对抗性数据能保持良好的解释结果)、高效性(解释过程不能影响原系统的检测速度)以及解释性(便于安全人员理解)等多方面的需求。
能够有效解释深度模型判定异常的决策依据，具有较好的保真性、稳定性和鲁棒性，同时该解释方法具有较强的通用性，可以适用于多种不同的深度学习模型和不同的网络安全场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
图1是本申请实施例的面向网络安全异常检测中深度学习模型的解释方法的流程图。
图2是本申请实施例的面向网络安全异常检测中深度学习模型的解释方法的工作流程图。
图3本申请解释方法和现有6种解释方法在多种场景下保真性、稳定性和鲁棒性的评估效果图。
图4是本申请解释方法和现有5种解释方法在多种场景下的运行时间的评估对比图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，深度学习技术为众多网络安全检测系统提供了全新的解决方案，提高了检测精度和能力。然而，由于深度学习模型的可解释性差，基于深度学习的网络安全系统在实际使用时面临众多困难：例如难以建立对模型决策结果的信任、难以对模型错误进行调试和修复、无法利用专家知识对模型进行反馈和提升等等。总结而言，这些重要挑战的根本原因是由于深度学习技术缺乏可解释性。因此，深度学习模型可解释性的缺失在很大程度上阻碍了其在网络安全场景的应用和部署。
为了提高深度学习模型的可解释性，近年来学术界和工业界提出了一系列方法从不同的角度增强模型决策过程的可解释性。然而，现有的解释方法主要关注于解释非安全场景下的深度学习模型，如计算机视觉和自然语言处理相关的模型。这些方法难以直接应用到网络安全场景中。一方面，可解释性方法需要和人进行交互，不同领域的解释结果和侧重有所不同，例如，人工智能领域更加关注深度学习模型的具体决策机理，但是安全操作人员更关心于模型的决策依据，以及如何利用可解释性技术提高模型的实用性。另一方面，多项研究指出现有的解释方法不能实现保真性(fidelity)、稳定性、解释性、鲁棒性和高效性之间的权衡，然而，网络安全领域和其他领域不同，其对差错容忍度更低、攻防对抗的特点要求方法的鲁棒性更强、在线检测系统需要高效实时的解释方法，而现有解释方法无法满足安全领域的这些特殊要求。此外，现有解释方法主要针对有监督的分类模型，在解释过程中解释了标注数据或监督学习的思想，因此这些方法不适用于解释无监督的异常检测模型。
综上，为了弥补现有解释方法存在的缺陷，本申请根据网络安全场景的需求和无监督学习的特性对网络安全异常检测系统设计了针对性的解释方法。该方法可以对无监督异常检测模型提供可信、一致、简洁、鲁棒和高效的解释，同时具有较强的通用性，能适用于多种不同的深度学习模型和不同的网络安全场景。
图1是根据本申请实施例示出的一种面向网络安全异常检测中深度学习模型的解释方法的流程图。所述方法可以包括以下步骤。
在步骤S101中，建立通用性解释框架，所述通用性解释框架将面向网络安全异常检测中深度学习模型的解释问题转化为多目标优化问题的求解过程。
本申请实施例提供一种网络安全异常检测系统中深度学习模型的通用性解释框架，所述解释框架建立之前，首先对无监督检测任务的解释过程进行了定义，再结合网络安全场景的多种特殊需求将深度学习模型的解释问题转化为多目标优化问题的求解过程。
在步骤S102中，针对不同种类的网络安全任务类型，根据所述通用性解释框架确定与网络安全任务类型对应的解释器算法。
基于所述解释框架，对各类不同网络安全任务进行解释算法设计。本实施例根据安全检测系统使用的源数据类型的不同进行分类，分别是：基于表格型数据、时间序列数据和图结构数据的检测系统的解释算法。
本申请的工作流程如图2所示，下面将介绍通用解释框架以及基于所述解释框架对三类安全系统的解释算法设计。
所述通用解释框架的设计过程如下：
由于现有的解释方法主要是关注非安全领域的有监督模型，所以需要首先定义网络安全场景下无监督深度学习模型可解释性的含义和解释方法的目标。
由于无监督模型决策依据的核心思路是通过学习正常数据的分布，然后对测试数据是否偏移正常分布来判断异常与正常，本申请采取了和无监督学习过程相符的解释过程，即针对待解释的异常数据点寻找一个在正常分布中的参考点，将参考点和待解释的异常点之间的偏差作为模型的决策依据。
在明确解释任务的定义和目标后，本申请将解释任务转化为求解重要参考点的多目标优化问题，将网络安全场景中解释器需要满足的保真性、稳定性、解释性和鲁棒性转化为不同的优化目标/约束目标，通过将多个约束目标加以不同的权重系数进行权衡，即将解释方法的解释目标转化为如下式所示的优化问题：
Figure BDA0003245783890000061
Figure BDA0003245783890000062
其中，xo和x*分别表示参考点和待解释的异常点，f表示深度学习模型，
Figure BDA0003245783890000063
分别表示保真性、稳定性、解释性和鲁棒性约束项，λ1，λ2，λ3分别是权衡稳定性、解释性和鲁棒性约束项的权重系数。
需要说明的是，本申请中，xo表示通用解释框架中的异常点，是异常数据的抽象表示，可以代表表格型数据中的表格型异常点xo、时间序列数据中的异常时间序列Xo以及图结构数据中的异常连接xo；x*表示通用解释框架中的参考点，可以代表表格型数据中的表格型异常点x*、时间序列数据中的异常时间序列X*以及图结构数据中的异常连接
Figure BDA0003245783890000065
基于上述通过解释框架，对使用不同的源数据类型的网络安全系统设计了具体的解释算法，下面将分别介绍三类网络安全系统的解释算法。
面向表格型数据的解释器算法设计如下：
首先，表格型数据是深度学习任务中最常使用的源数据类型。顾名思义，表格型数据按行和列组织，每行代表一个样本，也被称作是特征向量，每列表示一维特征，包括连续的数值型特征和离散的类别型特征。
网络安全异常检测中对表格型数据异常的检测常使用基于重构误差的方法。在训练阶段，通常会使用生成式模型fR(如自动编解码器)对正常数据进行重构，并训练其降低重构误差εR；测试阶段，计算重构后的数据和原始数据之间的误差，如果超过异常阈值tR，则被判定为异常。
本申请在解释表格型数据异常时，遵循上述通用解释框架。具体而言，对于表格型数据的表格型异常点xo，本申请方法将通过定义通用解释框架中各约束项来搜寻表格型参考点x*，其中，保真性约束
Figure BDA0003245783890000064
被定义为参考点x*会被异常检测模型fR判定为正常(即重构误差εR低于异常阈值tR)；稳定性约束
Figure BDA0003245783890000075
被定义为在满足其他约束项的条件下尽可能保证参考点x*和异常点xo的距离接近(本实施例使用L2-norm衡量)；解释性约束
Figure BDA0003245783890000076
保证异常点xo相比于参考点x*改动的特征维数尽可能小(本实施例用L0-norm衡量)，鲁棒性约束
Figure BDA0003245783890000077
在本解释方法中是通过对表格型参考点x*优化过程中的初始化来隐式实现的，具体地，在优化过程中，起始点从表格型异常点的近邻处随机采样，即
Figure BDA00032457838900000711
其中
Figure BDA0003245783890000079
表示方差为
Figure BDA00032457838900000710
的正态分布。通过对x*初始点进行上述初始化，保证了整个优化过程中的梯度无法被准确估计，能对基于梯度的对抗攻击进行有效缓解，同时平滑采样的方式也能避免某些随机噪声导致的解释结果的较大偏差。
因此，本申请针对表格型异常的解释问题被定义为如下式(1)所示：
Figure BDA0003245783890000071
其中，xo为表格型异常点，x*为表格型参考点，fR为异常检测模型，λ为对应约束项的权重系数，tR为异常阈值，εR为重构误差。
上述目标函数分别代表了稳定性约束项和解释性约束项，约束条件分别是保真性约束项和确保参考点在正常的特征空间范围之内。
在形式化定义表格型数据异常的解释方法对应的优化问题后，本申请提供了众多优化技巧提供此优化问题的求解方法。
首先，公式(1)中约束条件中保真性约束高度非线性，本申请通过将其松弛为有界的误差项来解决，利用ReLU(Rectified Linear Unit,修正线性单元)函数保证表格型参考点的重构误差的优化下界是tR，即将保真性约束转化为：ReLU(εR(x*，fR(x*))-(tR-∈))。对于x*范围的约束，即确保表格型参考点在正常的特征空间范围之内，本申请利用了变量替换方法，将原约束x*∈[0，1]N转化为
Figure BDA0003245783890000072
即用没有值域约束的u替换x*，因此，本申请针对表格型异常的解释问题转化为了如下公示(2)表示的无约束优化形式：
Figure BDA0003245783890000073
Figure BDA0003245783890000074
对于L0-norm(L0范数)不可求导的问题，本申请采用了迭代优化的思路，即在每次使用梯度进行优化时，仅修改表格型参考点x*中梯度最大的K个维度，其他维度保持不变。
由于解释目标被转化为可导的无约束优化问题，本申请使用基于Adam优化器的梯度下降方法进行优化问题的求解。
具体求解过程为：(1)首先在xo的邻域中对x*进行初始化，即加入一个从高斯分布中采样的随机数作为平滑项；(2)在迭代优化的每一步中，本申请选择x*中梯度最大的K个维度使用梯度下降法进行优化；(3)在若干轮迭代结束后，本申请利用最终得到的表格型参考点x*计算异常点的偏差|xo-x*|作为最终解释结果，即深度模型的异常判定依据。
面向时间序列数据的解释算法设计：
时间序列数据是数据值按照时间顺序组织的离散序列，经常和循环神经网络搭配对包含时序信息的数据进行建模。
首先，介绍网络安全异常检测系统对于时间序列数据的处理和检测方法，这里以离散值时间序列为例(连续值时间序列更容易处理，同理)，用Xo表示包含离散时间事件
Figure BDA0003245783890000082
的异常时间序列(i∈{1，2，...，t})，其中每个离散数据
Figure BDA0003245783890000083
会被进行独热编码成0-1向量的形式。在训练阶段，异常检测系统会使用正常时间序列进行训练，使用前t-1个数据预测第t个数据；在预测阶段，异常检测系统对于正常序列能很好进行下一个(第t个)数据的预测，对异常数据则不能很好预测，即
Figure BDA0003245783890000089
其中tP是异常阈值。
依据通用解释框架，本申请对时间序列型异常的解释问题进行具体定义，在离散时间序列中，稳定性约束和解释性约束等价且都不可微分，因此都使用类似于表格型数据的迭代优化方式，即每次选取少量异常部分进行修改，每次的优化目标仅考虑保真性约束即可，如下公式(3)表示：
Figure BDA0003245783890000081
其中，
Figure BDA0003245783890000085
为保真性约束的简写(也是时间序列型解释器优化目标的简写)，X*为参考时间序列，对于时间序列型数据，X*包含t个时间点时间序列(即
Figure BDA0003245783890000086
)，
Figure BDA0003245783890000087
为参考时间序列X*中第t个时刻的数据，fP为时间序列型数据源的异常检测模型，
Figure BDA0003245783890000088
为fP的具体计算方式(如前所述，使用前t-1个数据预测第t个数据)，参tP为异常阈值。
在形式化定义时间序列型异常的解释方法对应的优化问题后，本申请将求解参考时间序列X*的过程分成两种情况：一方面，如果异常是由
Figure BDA0003245783890000093
引起的(即模型预测过程时的“标签”出现了异常，下称“标签异常”)，这时仅需要修改该标签即可；另一方面，如果异常是由
Figure BDA0003245783890000094
引起的(下称“序列异常”)，需要迭代修改其中少量的对决策最重要的时间点数据来搜索参考点。
为了区分两种情况，本申请引入了一种显著性检测的方法，即如果序列异常的置信度低(体现为
Figure BDA0003245783890000095
的梯度很小)且异常标签的置信度高(体现为其他标签类的概率输出很大)，则判定为出现了标签异常。显著性检测方法(记做ST)具体的形式化描述通过如下公式(4)表示：
Figure BDA0003245783890000091
其中，μ1和μ2是超参数，xc是最大输出概率的类，即
Figure BDA00032457838900000911
综上所述，本申请求解优化问题的整体思路如下：
Figure BDA0003245783890000092
面向图结构数据的解释算法设计如下：
图结构数据通过不同节点和连接之间的形式支持对节点之间的关系进行建模。每个节点对应实体或者数据，连接表示节点之间的关系，节点和连接都可能具备属性(即描述节点或连接的特征向量)。使用图建模或图数据结构的网络异常检测系统的一般方法是根据任务的不同学习节点或者连接或者图的表征向量(例如，如果是节点分类任务，则学习每个节点的表征向量)。学习表征向量可以通过图嵌入算法或者图神经网络的方式对正常数据进行学习，提取表征向量后使用上面介绍的类似表格型数据的基于重构误差的方式进行异常检测。
下面介绍本申请对于图数据结构解释问题的定义。以连接预测任务为例(判断连接是否为异常)，将某条异常连接记为
Figure BDA00032457838900000910
其中
Figure BDA0003245783890000098
和
Figure BDA0003245783890000099
是连接两端的节点，经过嵌入后的表征向量记为eo＝EG(xo)。本申请解决图结构的异常解释问题的核心思路可以分为两部分：第一步是寻找异常表征向量(记作eo)的正常参考表征向量(记作e*)，这一步的问题定义和求解方式和表格型数据是一致的，在此不做赘述；第二步是根据e*定位到原始图结构上的(正常)参考连接，记为
Figure BDA0003245783890000108
这一部分需要针对图数据设计所述通用性解释框架中的约束项，如前所述，解释性约束通过迭代优化的方式实现，对于图数据，本申请对保真性约束和稳定性约束和表格型解释器类似，如下式(5)所示：
Figure BDA0003245783890000101
Figure BDA0003245783890000102
Figure BDA0003245783890000103
其中，
Figure BDA0003245783890000105
表示参考连接
Figure BDA0003245783890000109
的节点在图数据的节点集中，fR为图数据型数据源的异常检测模型，e*为参考表征，
Figure BDA0003245783890000106
为参考连接，
Figure BDA0003245783890000107
是连接两端的节点，eo＝EG(χo)为嵌入后的表征向量。
在形式化定义图结构异常的解释方法对应的优化问题后，本申请对于该问题的求解分为两种情况：(1)如果嵌入过程EG(χo)是可导的，则整个优化问题可以通过直接使用优化求解器进行梯度下降来求解；(2)如果嵌入过程是不可导的，则使用近似方法进行求解。
为了保证解释结果的易于理解，本申请采用了基于贪心算法的参考连接搜索方式，从异常连接的两个节点开始逐层向外搜索，使用优先队列的方式，优先搜索目标函数值小的节点，在搜索到足够好的目标连接或者固定次数步骤之后结束。
本申请的效果在多种不同网络安全异常检测系统应用中进行了检验。对应到三类使用源数据格式的数据，本申请针对表格型网络入侵检测系统、时间序列型日志异常检测系统、和图结构高级持续威胁(APT)横向移动检测和已有的常用解释方法进行了效果对比。
测评指标包括保真性(参考点被模型判定为正常样本的比例)、稳定性(多次解释统一批样本结果的相似性，使用Jaccard相似度衡量)和鲁棒性(加入高斯噪声扰动前后同一批样本解释结果的相似性)和高效性(解释同一批样本的运行时间)。
图3为本申请解释方法和现有6种解释方法在多种场景下保真性、稳定性和鲁棒性的评估效果图。图4为本申请解释方法和现有5种解释方法在多种场景下的运行时间的评估对比图。将现有的解释方法作为对比方法，图3、图4中提到的对比方法为：对比方法1：LIME，对比方法2：LEMNA，对比方法3：COIN，对比方法4：DeepLIFT，对比方法5：CADE，对比方法6：从训练数据中找最近邻点作为参考点。
如图3与图4所示，是本申请在表格型和时间序列型数据下和已有代表性的和最先进的解释器的对比，纵轴是各项测评指标的大小(越大效果越好)，横轴表示使用特征的比例(越小表示解释结果越简洁)。如图3所示，本申请方法在保真性、稳定性和鲁棒性上能同时保持很好的效果，并超过其他已有方法，特别是在使用少量特征的情况下，说明本方法可以很好的平衡解释结果简洁性(解释性)和高质量的权衡。如图4所示，本申请方法能实现高效的对两类结果数据进行解释。
总而言之，本申请设计了一种新型的面向网络安全异常检测中深度学习模型的解释方法，该方法适用于多种使用不同的源数据格式和不同深度学习模型的异常检测系统，具有较好的通用性，同时对无监督模型解释的保真性、稳定性、鲁棒性和高效性几方面均优于已有方法。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (7)

1.一种面向网络安全异常检测中深度学习模型的解释方法，其特征在于，包括：
建立通用性解释框架，所述通用性解释框架将面向网络安全异常检测中深度学习模型的解释问题转化为多目标优化问题的求解过程；
针对不同种类的网络安全任务类型，根据所述通用性解释框架确定与网络安全任务类型对应的解释器算法。
2.根据权利要求1所述的方法，其特征在于，所述通用性解释框架表示如下：
Figure FDA0003245783880000011
s.t.
Figure FDA0003245783880000012
其中，x°和x*分别表示异常点和参考点，f表示深度学习模型，
Figure FDA0003245783880000013
分别表示保真性、稳定性、解释性和鲁棒性约束项，λ1，λ2，λ3分别表示为稳定性、解释性和鲁棒性约束项的权重系数。
3.根据权利要求2所述的方法，其特征在于，所述网络安全任务根据安全检测系统使用的源数据类型的不同，分为基于表格型数据、时间序列数据和图结构数据的网络安全任务类型。
4.根据权利要求3所述的方法，其特征在于，针对基于表格型数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第一多目标优化问题，包括：
对于表格型异常数据，通过所述通用性解释框架中的各约束项来搜寻表格型参考点x*，其中，保真性约束项
Figure FDA0003245783880000014
定义为表格型参考点x*被基于表格型数据的异常检测模型fR判定为正常，即重构误差εR低于异常阈值tR；稳定性约束项
Figure FDA0003245783880000015
定义为在满足保真性、解释性和鲁棒性约束项的条件下保证参考点和表格型异常点x°的距离小于第一预设条件；解释性约束项
Figure FDA0003245783880000016
保证表格型异常点x°相比于表格型参考点x*改动的特征维数小于第二预设条件；
确定所述第一多目标优化问题，表示如下：
Figure FDA0003245783880000017
s.t.εR(x*，fR(x*))＜tR and x*∈[0，1]N
其中，x*表示表格型参考点，x°表示表格型异常点，εR表示重构误差，tR表示异常阈值，fR表示基于表格型数据的异常检测模型，λ为对应约束项的权重系数。
5.根据权利要求4所述的方法，其特征在于，所述第一多目标优化问题的求解方法，包括：
通过ReLU函数，将保真性约束项转化为：ReLU(εR(x*，fR(x*))-(tR-∈))；
将x*∈[0，1]N转化为
Figure FDA0003245783880000021
即用没有值域约束的u替换x*；
将第一多目标优化问题转化为无约束优化问题，表示如下：
Figure FDA0003245783880000022
Figure FDA0003245783880000023
根据迭代优化方法，将无约束优化问题转化为可导的无约束优化问题，通过基于Adam优化器的梯度下降方法进行求解。
6.根据权利要求3所述的方法，其特征在于，针对基于时间序列数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第二多目标优化问题，包括：
对于时间序列型异常数据，通过所述通用性解释框架中的各约束项来搜寻参考时间序列X*，通过迭代优化方式，即每次选取少量异常数据进行修改，每次的优化目标仅考虑保真性约束项，确定所述第二多目标优化问题，表示如下：
Figure FDA0003245783880000024
其中，
Figure FDA0003245783880000025
为保真性约束的简写，X*为参考时间序列，X*包含t个时间点的时间序列即
Figure FDA0003245783880000026
tP为异常阈值，fP表示基于时间序列数据的异常检测模型，εR表示重构误差，
Figure FDA0003245783880000027
为fP的具体计算方式。
7.根据权利要求3所述的方法，其特征在于，针对基于图结构数据的网络安全任务，根据所述通用性解释框架确定解释器算法为第三多目标优化问题，包括：
将某个异常连接记为
Figure FDA0003245783880000028
其中
Figure FDA0003245783880000029
和
Figure FDA00032457838800000210
是连接两端的节点，经过嵌入后的表征向量记为e°＝EG(χ°)；
获取异常表征e°的参考表征e*，根据参考表征e*定位到原始图结构上的参考连接χ*，参考连接记为
Figure FDA00032457838800000211
其中，
Figure FDA00032457838800000212
是连接两端的节点；将所述通用性解释框架的解释性约束项
Figure FDA00032457838800000213
通过迭代优化的方式实现，保真性约束项
Figure FDA00032457838800000214
定义为重构误差εR低于异常阈值tR，稳定性约束项
Figure FDA00032457838800000215
定义为在满足保真性、解释性和鲁棒性约束项的条件下保证参考连接和异常连接的满足第三预设条件；
确定所述第三多目标优化问题，如下式所示：
Figure FDA0003245783880000031
Figure FDA0003245783880000032
Figure FDA0003245783880000033
其中，
Figure FDA0003245783880000034
表示参考连接χ*的节点在图数据的节点集中，fR为图数据型数据源的异常检测模型。
CN202111032209.2A 2021-09-03 2021-09-03 面向网络安全异常检测中深度学习模型的解释方法 Pending CN113792776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111032209.2A CN113792776A (zh) 2021-09-03 2021-09-03 面向网络安全异常检测中深度学习模型的解释方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111032209.2A CN113792776A (zh) 2021-09-03 2021-09-03 面向网络安全异常检测中深度学习模型的解释方法

Publications (1)

Publication Number Publication Date
CN113792776A true CN113792776A (zh) 2021-12-14

Family

ID=79182701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111032209.2A Pending CN113792776A (zh) 2021-09-03 2021-09-03 面向网络安全异常检测中深度学习模型的解释方法

Country Status (1)

Country Link
CN (1) CN113792776A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304641A (zh) * 2023-05-15 2023-06-23 山东省计算中心（国家超级计算济南中心） 基于参考点搜索和特征交互的异常检测解释方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304641A (zh) * 2023-05-15 2023-06-23 山东省计算中心（国家超级计算济南中心） 基于参考点搜索和特征交互的异常检测解释方法及系统
CN116304641B (zh) * 2023-05-15 2023-09-15 山东省计算中心（国家超级计算济南中心） 基于参考点搜索和特征交互的异常检测解释方法及系统

Similar Documents

Publication Publication Date Title
Teh et al. Sensor data quality: A systematic review
CN110647900B (zh) 基于深度神经网络的安全态势智能预测方法、装置及系统
CN113312447B (zh) 基于概率标签估计的半监督日志异常检测方法
Mukherjee et al. Deep learning-based multilabel classification for locational detection of false data injection attack in smart grids
Yang et al. An incipient fault diagnosis methodology using local Mahalanobis distance: Detection process based on empirical probability density estimation
JP2005504367A (ja) 監視ニューラルネットワーク学習のための組合せ手法
Fahy et al. Scarcity of labels in non-stationary data streams: A survey
CN112738014A (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
Wang et al. Cost-sensitive hypergraph learning with f-measure optimization
CN116663613A (zh) 一种面向智能物联系统的多元时序异常检测方法
Chen et al. Uncertainty quantification for multilabel text classification
Cacciarelli et al. Robust online active learning
CN113792776A (zh) 面向网络安全异常检测中深度学习模型的解释方法
Yousefpour et al. Unsupervised anomaly detection via nonlinear manifold learning
CN116739100A (zh) 量子神经网络的漏洞检测方法及自动驾驶漏洞检测方法
CN117422181A (zh) 一种基于模糊标签的代发客户流失预警方法及系统
Song et al. Real-time anomaly detection method for space imager streaming data based on HTM algorithm
CN115174263B (zh) 攻击路径动态决策方法与装置
Chen et al. An enhanced DPCA fault diagnosis method based on hierarchical cluster analysis
CN116383747A (zh) 基于多时间尺度深度卷积生成对抗网络的异常检测方法
Pani et al. Machine learning applications in software engineering: recent advances and future research directions
CN115249059A (zh) 模型训练及异常数据分析方法、装置及计算机存储介质
Ogasawara et al. Online event detection for sensor data
Ding et al. Unsupervised Fault Detection With Deep One-Class Classification and Manifold Distribution Alignment
Cabri Quantum inspired approach for early classification of time series.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination