CN114531283A - 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端 - Google Patents

Abstract

本发明属于机器学习技术领域，公开了一种入侵检测模型的鲁棒性测定方法、系统、存储介质及终端，在入侵检测模型返回分类标签的黑盒场景中采用入侵检测模型的自动鲁棒性测试策略；流量测试样本的生成在网络协议格式的约束下对抗性流量示例变形；利用自动提取目标机器学习模型分类器的原型框架对目标IDS系统执行模型提取；在向目标模型发送查询并获取标签之后，数据用作本地替代模型的训练数据集；使用本地白盒测试来寻找本地替代模型上的对抗性样本，并利用本地替代模型的对抗样本对目标模型进行鲁棒性测试；使用对抗样本执行黑盒迁移测试，生成的测试流量对抗样本。实现流量场景下利用恶意对抗样本对目标模型鲁棒性进行测试的效果。

Description

入侵检测模型的鲁棒性测定方法、系统、存储介质及终端

技术领域

本发明属于机器学习技术领域，尤其涉及一种入侵检测模型的鲁棒性测定方法、系统、存储介质及终端。

背景技术

目前，无论是企业还是个人用户每天上网时都面临着各种各样的安全威胁，例如钓鱼邮件中的恶意链接或者恶意软件的非法操作等，这些日新月异的攻击手段给用户带来了极大的安全困扰，造成了严重的安全威胁。如今网络安全已成为数据保护和网络完整性、可用性的关键问题，防御者通常授权和控制各种网络安全技术和工具，包括入侵检测系统(Intrusion Detection System，IDS)、恶意软件检测、防火墙、反病毒和反垃圾邮件等系统，对网络、端点和应用程序的访问，以检测和防止各种威胁和恶意活动在网络中传播，保护敏感服务和数据免受入侵。

入侵检测系统，是网络系统中的一个基本组件，可以用于监控和分析实时网络流量以及可疑、异常活动的任何症状，并在发现入侵时发出警报。作为一种强有的检测工具，IDS的目标就是提供高效率的自动化检测服务。而由于传统的检测技术与防御系统已渐渐无法应对网络环境复杂多变的挑战，因此以机器学习为主的人工智能技术为安全领域带来了新的契机，得益于机器学习在分类任务上出色的性能表现，目前性能表现优秀的IDS都采用了机器学习模型作为检测的关键组件。IDS在发挥安全检测作用的同时，其自身也存在一些鲁棒性问题影响其性能的发挥。在现实场景中，某些良性活动有时会产生异常，例如有的时候用户在执行云端远程备份任务时，很可能会频繁地产生大量向目标主机发送的数据，有的时候网络管理员使用新的办公工具同样可能导致网络流量出现异常，上述这些情况都有一定概率让IDS的检测结果产生较高的假阳性，即良性流量被误判为恶意流量。假阳性误判样例的存在使得人员可以构造对抗样本来绕过IDS检测以实现分类错误，给基于机器学习IDS的模型鲁棒性带来了更大的威胁。同时IDS自身也存在高漏检率和误检率的问题。尽管IDS在网络安全中起着非常关键的作用，但IDS仍然缺乏可靠性，因为它有可能将恶意网络流量识别为可接受的，即漏检的情况。对于IDS部署者来说，这是最严重的问题之一，因为如果IDS无法捕获恶意流量，他们将不知道危险发生的时间和地点，且最近出现的对抗样本等相关无疑加重了这个问题所带来的危害。假阴性样本的存在让人员可以通过构造对抗性样本来影响IDS的鲁棒性，从而造成严重的安全威胁。

当发生安全威胁事件时，基于异常智能分析的网络入侵检测系统通常能够给防御者提供足够有效的提醒，但如果敏感等级设置较低的话，防御者还需要考虑风险报告的误检率即假阳性的问题。这意味着，IDS的检测敏感度阈值需要进行设置，并且在收集到了大量有效证据之后才可以生成警报信息。如果阈值设置的非常低，那么IDS系统所收集到的信息虽然可以用于流量检测，其自动化识别的可信度并不高。作为IDS核心的机器学习模型，其训练通常需要尽可能平衡的高质量数据集，但是许多安全问题如风险欺诈、网络钓鱼、恶意软件等，其数据集通常都包含着大量的正常样本与极少量的恶意威胁样本，因此，样本的不充分会导致训练后的模型的检测准确率有待提高。同时现阶段所有的基于监督学习的机器学习模型，均需要输入合理且高度相关的特征集，即需要进行从源数据到特征空间映射的特征工程。在相关的机器学习领域，同样会产生从网络监控到实际的检测对象之间的抽象成本，如软件缺陷与底层实现代码与结构之间的对应关系就存在一个抽象翻译的难度。同时机器学习模型面临着由恶意对抗样本导致的恶意样本被判为良性而带来的鲁棒性问腾出。根据所掌握的目标模型的知识量，鲁棒性测试可以分为白盒测试和黑盒测试两类。对于白盒测试，测试人员知道目标模型的相关信息，如特征维度和分类算法，例如对最新的人脸识别模型进行鲁棒性测试等。对于黑盒测试，在知道输出结果的置信分数的情况下，可以仅通过黑盒访问目标模型就自动化地绕过分类器。在一种限制性更强的黑盒测试场景中，即仅能拿到被目标模型分类得到的标签而没有置信分数时，人员成功地利用恶意样本的迁移性实现了图像分类器的分类错误，证明了相关模型存在鲁棒性较弱的问题。

尽管将对抗性示例应用到分类器中进行鲁棒性测试是很常见的，但很少有关注IDS等网络流量中的应用，主要原因是构造测试流量样本不现实，目前也缺乏具体的构造方案，同时入侵检测系统领域缺乏针对该类弱鲁棒性问题的防御实验和概念证明，仍处于早期阶段。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统的检测技术与防御系统渐渐无法应对网络环境复杂多变的挑战。

(2)IDS在发挥安全检测作用时，假阳性误判样例的存在让攻击者可以构造对抗样本来绕过IDS检测，给IDS造成严重的安全威胁；同时IDS自身也存在高漏检率和误检率的问题，缺乏可靠性。

(3)目前入侵检测系统采用机器学习模型作为核心分类器，而机器学习模型容易受到来自模型提取及对抗样本的影响。

(4)当发生安全威胁事件时，如果敏感等级设置较低，基于异常智能分析的网络入侵检测系统的自动化识别的可信度不高。

(5)攻击样本的不充分会导致训练后的模型的检测准确率有待提高，同时机器学习模型面临着由恶意对抗样本导致的逃逸攻击而带来的安全威胁。

(6)构造具有对抗性的流量样本不现实，缺乏具体的构造方案；同时入侵检测系统领域缺乏针对该类攻击的防御实验和概念证明，仍处于早期研究阶段。

解决以上问题及缺陷的难度为：目前缺乏关于基于机器学习模型的IDS系统的鲁棒性评估方案，特别是对于黑盒模型的鲁棒性评估目前仍没有有效的评估方案；相应的测试流量的具体构造方案也严重缺乏，需要设计网络流量场景下针对IDS系统的恶意对抗流量样本，既需要满足网络协议的执行标准，保证构造出的样本可行性，又需要具有对抗性，能够成功逃逸目标IDS系统的检测，实现系统鲁棒性评估。同时入侵检测系统领域缺乏针对该类弱鲁棒性问题的防御实验和概念证明，相关研究仍处于早期阶段。解决以上问题及缺陷的意义为：提高机器学习模型的鲁棒性，改进IDS系统的检测能力，及早发现各种潜在的网络攻击及有针对性的逃逸攻击，保证网络系统资源的机密性、完整性和可用性，对于维护网络空间安全具有重要意义。

发明内容

针对现有技术存在的问题，本发明提供了一种入侵检测模型的鲁棒性测定方法、系统、存储介质及终端。

本发明是这样实现的，一种入侵检测模型的鲁棒性测定方法，所述入侵检测模型的鲁棒性测定方法在入侵检测模型返回分类标签的黑盒场景中采用入侵检测模型的自动鲁棒性测试策略，将模型提取和测试过程相结合；

流量测试样本的生成在网络协议格式的约束下对抗性流量示例变形；

使用本地白盒测试来寻找局部模型上的对抗性样本，并利用本地模型的对抗样本对目标模型进行鲁棒性测试；

利用自动提取目标机器学习模型分类器的原型框架对目标IDS系统执行模型提取；在向目标模型发送查询并获取标签之后，数据用作本地替代模型的训练数据集；使用对抗样本执行黑盒迁移测试，生成的测试流量对抗样本。

进一步，所述入侵检测模型的鲁棒性测定方法包括以下步骤：

第一步，采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询；帮助评估者可以以尽量低的成本获取到目标模型。

第二步，目标模型提取，将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；提升查询样本的利用效率，保证提取模型的精度。

第三步，采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本；在保证样本可用性的前提下，具有较强的对抗性以达到逃逸的目的。

第四步，选择的白盒测试方法PGD寻找局部模型集成上的对抗性样本；白盒信息的引入加强了测试样本制作的有效性和效率。

第五步，黑盒迁移，将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。提升了对抗样本的攻击能力，减少了样本构造的成本。

进一步，所述第一步采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询的针对性矩阵：一个由单位矩阵和零行向量组成的相关矩阵M：

其中d是目标模型维度的编号；M的每一行中的元素1对应于目标模型的权重系数向量中的项，用于求解相应的参数，M中的零行求解目标模型的截距；

空间遍历，预先判断流量样本中每个特征的值范围，根据算术序列遍历每个特征空间，随机打乱每个特征列中的样本，将所有特征列连接到合成数据集中，构造样本；

数据集迁移，采用IDS在具有代表性的流量数据集。

进一步，所述第二步目标模型提取，将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集引入集成学习，并用autoML实现集成学习。

进一步，所述第三步采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本中增加流量中载荷长度，流量数据包的载荷长度通过添加无意义的字符进行更改，也可以添加无意义的字符实现恶意数据包长度的改变；修改后的payload的长度小于协议规定最大传输单元尺寸；同时添加到恶意内容的头部或者尾部；

增加流量的包数量，一次完整的网络传输session中包含的packet数量作为重要特征被应用到网络分类，改变特征通过将请求分更多次发送或者发送重复的内容，保证packet的时间戳及sequence number符合正常标准；

更改流量中部分包的时间戳，对于整个session的持续时间和packet之间的间隔时间做出控制。

进一步，所述第四步选择的白盒测试方法PGD寻找局部模型集成上的对抗性样本选择白盒测试方法PGD寻找局部模型集成上的对抗性样本，具体的扰动方程如下：

其中∈是样本学习率。

进一步，所述第五步黑盒迁移在给定一个合法输入x及其真值y＝f_oracle(x)的情况下，本地迁移的目标是通过对x进行扰动δ，即x^*＝x+δ，来寻找满足f_oracle(x^*)≠y的实例x^*；训练个k本地替代模型，表示为

其中α_i是权重集合，存在

通过求解以下优化问题给出本地迁移的方向：

其中，L是用于测量本地替代模型的预测值和目标模型真值之间距离的损失函数，d是用于量化两个输入示例之间失真的度量，λ是常数；对于损失函数，选择如下：

L(x_i，x_j)＝log(1-x_i·x_j)；

同时选择的失真函数如下：

其中，x_i表示原始示例x的第i个特征值，

表示其对应的对抗性样本，N表示样本特征维数的个数。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述入侵检测模型的鲁棒性测定方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述入侵检测模型的鲁棒性测定方法。

本发明的另一目的在于提供一种实施所述入侵检测模型的鲁棒性测定方法的入侵检测模型的鲁棒性测定系统，所述入侵检测模型的鲁棒性测定系统包括：

合成查询构成模块，用于采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询；

目标模型提取模块，用于将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；

流量对抗样本生成模块，用于采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本；

本地白盒测试模块，用于选择白盒测试方法PGD寻找局部模型集成上的对抗性样本；

黑盒迁移模块，用于将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：目前入侵检测系统采用机器学习模型作为核心分类器，而机器学习模型容易受到来自模型提取及对抗样本的攻击，针对该问题，本发明网络入侵检测系统的鲁棒性测试策略，能够通过模型提取、生成流量对抗样本、本地白盒测试、黑盒迁移测试等步骤实现对目标入侵检测系统的鲁棒性测试效果。本发明的流量场景中对抗样本技术在入侵检测系统中的应用，提出了一个使用恶意流量对抗样本对模型的鲁棒性进行检测的方法，突破模型提取、本地替代模型白盒场景测试、目标模型黑盒迁移等关键技术，实现流量场景下利用恶意对抗样本对目标模型鲁棒性进行测试的效果，填补了目前业内关于可行的恶意流量对抗样本构造的研究空白。

附图说明

图1是本发明实施例提供的入侵检测模型的鲁棒性测定方法流程图。

图2是本发明实施例提供的入侵检测模型的鲁棒性测定系统的结构示意图。

图3是本发明实施例提供的鲁棒性测试流程图。

图中：1、合成查询构成模块；2、目标模型提取模块；3、流量对抗样本生成模块；4、本地白盒测试模块；5、黑盒迁移模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种入侵检测模型的鲁棒性测定方法、系统、存储介质及终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的入侵检测模型的鲁棒性测定方法包括以下步骤：

S101：采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询；

S102：目标模型提取，将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；

S103：采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本；

S104：选择的白盒测试方法PGD寻找本地替代模型集成上的对抗性样本；

S105：黑盒迁移，将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。

本发明提供的入侵检测模型的鲁棒性测定方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的入侵检测模型的鲁棒性测定方法仅是一个具体实施例而已。

如图2所示，本发明提供的入侵检测模型的鲁棒性测定系统包括：

合成查询构成模块1，用于采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询；

目标模型提取模块2，用于将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；

流量对抗样本生成模块3，用于采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本；

本地白盒测试模块4，用于选择白盒测试方法PGD寻找局部模型集成上的对抗性样本；

黑盒迁移模块5，用于将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。

下面结合具体实施例对本发明的技术方案作进一步的描述。

本发明实施例提供的入侵检测模型的鲁棒性测定方法具体包括以下步骤：

步骤一、构造合成查询，在本发明设计了三种适合网络流量场景的代表性查询，而不需要复杂的计算。

查询1：针对性矩阵。一个由单位矩阵和零行向量组成的相关矩阵M，如下所示：

其中d是目标模型维度的编号。M的每一行中的元素1对应于目标模型的权重系数向量中的项，用于求解相应的参数，M中的零行用来求解目标模型的截距。该矩阵的原理是线性代数中的方程求解，它能以最小的理论代价和100％的成功率提取目标模型的参数，即精确复制目标模型。并且针对性矩阵只需要m+1次查询和计算，具有速度快的优点。这种查询方式的缺点是只适用于线性模型。

查询2：空间遍历。考虑到实际场景，测试人员可以预先判断流量样本中每个特征的值范围。例如，每个流的包长度作为网络场景中的一个常见特征，其取值在54到1500的范围内，因此测试人员可以根据算术序列遍历每个特征空间，然后随机打乱每个特征列中的样本，最后将所有特征列连接到合成数据集中，从而构造样本。

查询3：数据集迁移。优秀的IDS在具有代表性的流量数据集(如CIC-IDS-2017)上总是表现良好，这也是作为检测模型的基本能力要求，因为同类流量的特征通常差别不大。

步骤二、目标模型提取，将步骤一中构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集。本发明引入了集成学习，并用成熟的autoML技术实现了集成学习。使用集成学习的主要原因是，不同的模型往往对同一目标模型的迁移效果各不相同，单一的模型很难完全应对不同的目标模型，容易导致很低的迁移成功率。

步骤三、生成流量对抗样本，本发明给出了三种流量对抗样本的生成方案：

方法1.增加流量中载荷长度。流量数据包的载荷长度可以通过添加无意义的字符进行更改，对应地，测试人员也可以添加无意义的字符来实现恶意数据包长度的改变。需要注意修改后的payload的长度应该小于协议规定最大传输单元尺寸，例如IPv4中TCP协议时1460字节。同时应该添加到恶意内容的头部或者尾部才能保证原有恶意性不会缺失。

方法2.增加流量的包数量。一次完整的网络传输session中包含的packet数量往往会作为重要特征被应用到网络分类，因此测试人员改变该特征可以通过将请求分更多次发送或者发送一些重复的内容。同时需要注意保证packet的时间戳及sequence number符合正常标准，以免被当作重放包而被过滤掉。该方案对于依赖于packet数量相关特征的分类器很有效。

方法3.更改流量中部分包的时间戳。相当一部分的流量特征依赖于时间维度的特征，因此测试人员对于整个session的持续时间和packet之间的间隔时间都可以做出一些控制，例如在正常发送请求时添加延时。

步骤四、本地白盒测试，目前通过白盒测试来制作对抗性样本的方法很成熟，本发明选择一种先进的白盒测试方法PGD来寻找局部模型集成上的对抗性样本，原因是该方法的迁移成功率非常高。具体的扰动方程如下：

其中∈是样本学习率。其余白盒测试方案如JSMA、CW和Deepfool等白盒测试方案可以在后续中进行补充测试。

步骤五、黑盒迁移，本发明将黑盒抽象为一个优化问题。在给定一个合法输入x及其真值y＝f_oracle(x)的情况下，本地迁移的目标是通过对x进行扰动δ，即x^*＝x+δ，来寻找满足f_oracle(x^*)≠y的实例x^*。训练个k本地替代模型，表示为

其中α_i是权重集合，存在

可以通过求解以下优化问题来给出本地迁移的方向：

其中，L是用于测量本地替代模型的预测值和目标模型真值之间距离的损失函数，d是用于量化两个输入示例之间失真的度量，λ是通常根据经验设置的常数。对于损失函数，选择如下：

L(x_i，x_j)＝log(1-x_i·x_j)；

同时本发明选择的失真函数如下：

其中，x_i表示原始示例x的第i个特征值，

表示其对应的对抗性样本，N表示样本特征维数的个数。在对抗样本中，该度量也是被最广泛使用用来度量样本影响强度的。

本发明针对入侵检测模型设计了模型鲁棒性测试策略，在入侵检测模型仅返回分类标签的黑盒场景中提出了入侵检测模型的自动鲁棒性测试策略，将模型提取和测试过程相结合，改进了流量场景下的模型提取过程，比以往的测试方案更具实用性和有效性。

本发明设计了流量测试样本的生成方法，在网络协议格式的约束下提供了实用的对抗性流量示例变形方法，且无需了解目标模型的内部状态。流量样本修改的方法包括对于流量包长度、数量、时间的修改等方式。

本发明设计了流量场景下的本地白盒测试和黑盒迁移方案，使用本地白盒测试来寻找局部模型上的对抗性样本，并尝试利用本地模型的对抗样本对目标模型进行鲁棒性测试，迁移性使得目标模型很容易受到对抗样本的影响。

本发明搭建了一套能够自动提取目标机器学习模型分类器的原型框架，利用该框架可以对目标IDS系统执行模型提取。在向目标模型发送查询并获取标签之后，这些数据可以用作本地替代模型的训练数据集。使用对抗样本执行黑盒迁移测试，由于对抗样本的可转移性，生成的测试流量对抗样本能以很高的恶意样本判为良性的成功率对目标IDS系统的模型进行检测，完成鲁棒性测试。

下面结合测试对本发明的技术效果作详细的描述。

目前进行了一些典型机器学习模型应用到IDS系统中的鲁棒性测试实验。首先分别搭建了7种类型的机器学习分类模型，对4种类型的恶意流量识别率达到了90％以上。然后对这些分类模型执行模型提取，提取到的用于本地的分类模型的精度能够达到89％左右。

在此基础上，提出的三种样本修改方案能够有效对本地替代模型进行测试，目标模型将恶意样本判为良性的测试成功率达到70％以上。本地测试的样本被应用到目标模型上执行黑盒迁移测试，迁移率达到了60％以上，最终的综合成功率大多达到了50％以上。恶意流量种类如表1所示。

表1恶意流量种类

表2本发明对不同目标IDM模型的评估效果

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种入侵检测模型的鲁棒性测定方法，其特征在于，所述入侵检测模型的鲁棒性测定方法在入侵检测模型返回分类标签的黑盒场景中采用入侵检测模型的自动鲁棒性测试策略，将模型提取和测试过程相结合；

流量测试样本的生成在网络协议格式的约束下对抗性流量示例变形；

利用自动提取目标机器学习模型分类器的原型框架对目标IDS系统执行模型提取；

在向目标模型发送查询并获取标签之后，数据用作本地替代模型的训练数据集；

使用本地白盒测试来寻找本地替代模型上的对抗性样本，并利用本地模型的对抗样本对目标模型进行鲁棒性测试；

使用对抗样本执行黑盒迁移测试，生成的测试流量对抗样本。

2.如权利要求1所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述入侵检测模型的鲁棒性测定方法包括以下步骤：

第一步，采用针对性矩阵、空间遍历、代表性数据集迁移三种适合网络流量场景的查询构造合成查询，注意对于其它的用于模型提取的流量数据构造方案都属于本发明的保护范围内，此处构造使用了3种合成查询实例来说明本发明的可行性和有效性；

第二步，目标模型提取，将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；

第三步，采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本，注意其它的用于模型测试的流量样本特征的修改方案也应都属于本发明的保护范围内，此处构造介绍了3种修改方法实例来说明本发明的可行性和有效性；

第四步，选择的白盒测试方法PGD寻找本地替代模型上的对抗性样本；

第五步，黑盒迁移，将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。

3.如权利要求2所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述第一步采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询的针对性矩阵：一个由单位矩阵和零行向量组成的相关矩阵M：

其中d是目标模型维度的编号；M的每一行中的元素1对应于目标模型的权重系数向量中的项，用于求解相应的参数，M中的零行求解目标模型的截距；

空间遍历，预先判断流量样本中每个特征的值范围，根据算术序列遍历每个特征空间，随机打乱每个特征列中的样本，将所有特征列连接到合成数据集中，构造样本；

数据集迁移，采用IDS中具有代表性的流量数据集。

4.如权利要求2所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述第二步目标模型提取，将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集引入集成学习，并用autoML实现集成学习。

5.如权利要求2所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述第三步采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本中增加流量中载荷长度，流量数据包的载荷长度通过添加无意义的字符进行更改，也可以添加无意义的字符实现恶意数据包长度的改变；修改后的payload的长度小于协议规定最大传输单元尺寸；同时添加到恶意内容的头部或者尾部；

增加流量的包数量，一次完整的网络传输session中包含的packet数量作为重要特征被应用到网络分类，改变特征通过将请求分更多次发送或者发送重复的内容，保证packet的时间戳及sequence number符合正常标准；

更改流量中部分包的时间戳，对于整个session的持续时间和packet之间的间隔时间做出控制。

6.如权利要求2所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述第四步选择的白盒测试方法PGD寻找局部模型集成上的对抗性样本选择白盒测试方法PGD寻找局部模型集成上的对抗性样本，具体的扰动方程如下：

其中∈是样本学习率。

7.如权利要求2所述的入侵检测模型的鲁棒性测定方法，其特征在于，所述第五步黑盒迁移在给定一个合法输入x及其真值

的情况下，本地迁移的目标是通过对x进行扰动δ，即x^＊＝x+δ，来寻找满足

的实例x^＊；训练个k本地替代模型，表示为

其中α_i是权重集合，存在

通过求解以下优化问题给出本地迁移的方向：

其中，L是用于测量本地替代模型的预测值和目标模型真值之间距离的损失函数，d是用于量化两个输入示例之间失真的度量，λ是常数；对于损失函数，选择如下：

L(x_i，x_j)＝log(1-x_i·x_j)；

同时选择的失真函数如下：

其中，x_i表示原始示例x的第i个特征值，

表示其对应的对抗性样本，N表示样本特征维数的个数。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～7任意一项所述入侵检测模型的鲁棒性测定方法的步骤。

9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～7任意一项所述入侵检测模型的鲁棒性测定方法。

10.一种实施权利要求1～7任意一项所述入侵检测模型的鲁棒性测定方法的入侵检测模型的鲁棒性测定系统，其特征在于，所述入侵检测模型的鲁棒性测定系统包括：

合成查询构成模块，用于采用针对性矩阵、空间遍历、数据集迁移三种适合网络流量场景的代表性查询构造合成查询；

目标模型提取模块，用于将构造的查询向目标IDS发送，结合返回的标签信息构成本地模型训练数据集；

流量对抗样本生成模块，用于采用增加流量中载荷长度、增加流量的包数量、更改流量中部分包的时间戳生成流量对抗样本；

本地白盒测试模块，用于选择白盒测试方法PGD寻找局部模型集成上的对抗性样本；

黑盒迁移模块，用于将黑盒抽象为一个优化问题，通过求解以下优化问题来给出本地迁移的方向。

Images