CN109902727A - 防御性蒸馏模型的构建方法与装置 - Google Patents

Abstract

本发明涉及一种防御性蒸馏模型的构建方法与装置，所述方法包括：获取训练集中的原始训练数据和原始训练数据的真实标签；根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。采用本申请的技术方案，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

Description

防御性蒸馏模型的构建方法与装置

技术领域

本发明涉及神经网络技术领域，具体涉及一种防御性蒸馏模型的构建方法与装置。

背景技术

深度学习已经成为了目前最活跃的计算机研究领域之一，其中深度神经网络模型由于其优良的性能而备受青睐。深度神经网络在许多领域都具有良好的应用性能，比如人脸识别、图片分类、物体跟踪等。但是深度神经网络却容易受到对抗样本的攻击，从而导致模型的性能极大地下降。有研究表明知识蒸馏技术不仅可以压缩模型，而且能够提高深度学习模型的鲁棒性，基于此，有人提出了防御性蒸馏的概念，用来防御对抗样本的攻击。

但是，现有的防御性蒸馏技术要求原始模型和蒸馏模型具有一定的框架结构，这就限制了防御性蒸馏的应用范围。而且对抗攻击不断增强，现有的防御性蒸馏技术针对对抗样本的鲁棒性较低。

发明内容

有鉴于此，本发明的目的在于提供一种防御性蒸馏模型的构建方法与装置，以解决现有技术中要求原始模型和蒸馏模型具有一定的框架结构，限制了防御性蒸馏的应用范围，而且对抗攻击不断增强，针对对抗样本的鲁棒性较低的问题。

为实现以上目的，本发明采用如下技术方案：

一种防御性蒸馏模型的构建方法，包括：

获取训练集中的原始训练数据和所述原始训练数据的真实标签；

根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型；

通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型。

进一步地，上述所述的方法中，所述根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型，包括：

根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量；

将所述类别概率向量和所述原始训练数据结合，生成软训练数据；

利用所述软训练数据，对所述决策树模型进行训练，生成所述软决策树模型。

进一步地，上述所述的方法中，所述根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量，包括：

将所述原始训练数据输入所述深度神经网络，得到预测结果；

将所述预测结果与所述真实标签结合，生成所述类别概率向量。

进一步地，上述所述的方法中，所述通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型，包括：

通过添加随机扰动，生成对抗样本；

将所述对抗样本和所述原始训练数据结合，生成对抗训练数据；

利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型。

进一步地，上述所述的方法中，所述利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型，包括：

利用所述对抗训练数据，对所述软决策树模型进行所述交叉对抗训练，得到对抗模型；

通过损失函数对所述交叉对抗训练进行监督，检测所述对抗模型的实际输出结果和期望输出结果之间的距离；

若所述距离小于预设阈值，确定所述对抗模型为所述防御性蒸馏模型。

本发明还提供一种防御性蒸馏模型的构建装置，包括：获取模块、蒸馏模块和对抗训练模块。

所述获取模块，用于获取训练集中的原始训练数据和所述原始训练数据的真实标签；

所述蒸馏模块，用于根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型；

所述对抗训练模块，用于通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型。

进一步地，上述所述的装置中，所述蒸馏模块包括：软目标生成单元、第一数据生成单元和第一训练单元；

所述软目标生成单元，用于根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量；

所述第一数据生成单元，用于将所述类别概率向量和所述原始训练数据结合，生成软训练数据；

所述第一训练单元，用于利用所述软训练数据，对所述决策树模型进行训练，生成所述软决策树模型。

进一步地，上述所述的装置中，所述软目标生成单元具体用于：

将所述原始训练数据输入所述深度神经网络，得到预测结果；

将所述预测结果与所述真实标签结合，生成所述类别概率向量。

进一步地，上述所述的装置中，所述对抗训练模块包括：样本生成单元、第二数据生成单元和第二训练单元；

所述样本生成单元，用于通过添加随机扰动，生成对抗样本；

所述第二数据生成单元，用于将所述对抗样本和所述原始训练数据结合，生成对抗训练数据；

所述第二训练单元，用于利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型。

进一步地，上述所述的装置中，所述第二训练单元具体用于：

利用所述对抗训练数据，对所述软决策树模型进行所述交叉对抗训练，得到对抗模型；

通过损失函数对所述交叉对抗训练进行监督，检测所述对抗模型的实际输出结果和期望输出结果之间的距离；

若所述距离小于预设阈值，确定所述对抗模型为所述防御性蒸馏模型。

本发明的防御性蒸馏模型的构建方法与装置，首先，获取训练集中的原始训练数据和原始训练数据的真实标签；然后根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；最后，通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。本技术方案中，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的防御性蒸馏模型的构建方法实施例一的流程图；

图2是本发明的防御性蒸馏模型的构建方法实施例二的流程图；

图3是本发明的防御性蒸馏模型的构建装置实施例一的结构示意图；

图4是本发明的防御性蒸馏模型的构建装置实施例二的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是本发明的防御性蒸馏模型的构建方法实施例一的流程图，如图1所示，本实施例的防御性蒸馏模型的构建方法具体可以包括如下步骤：

S101、获取训练集中的原始训练数据和原始训练数据的真实标签；

在构建防御性蒸馏模型的过程中，会对模型进行训练，因此需要应用训练集。首先需要获取训练集中的原始训练数据，以及原始训练数据对应的真实标签，以便后续步骤使用。

S102、根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；

通过上述步骤，获取原始训练数据和真实标签之后，利用该原始数据和真实标签，对深度神经网络进行知识蒸馏，从而可以将深度神经网络的知识迁移到决策树模型中，生成软决策树模型。其中，知识蒸馏技术目前在神经网络模型中应用十分广泛，是通过蒸馏将知识从复杂的神经网络模型迁移到小模型中，起到了模型压缩的作用，小模型从复杂模型中学习知识，所以复杂的模型通常也被称为“教师”模型，而小模型被称为“学生”模型。

本实施例中，将深度神经网络的知识迁移到决策树模型中，是因为决策树的整个分类过程都是透明可见的，并且很容易形成分类规则，所以决策树具有很好的解释性，并且决策树的分类过程依赖于所有的特征，某一特征的改变对最终的预测结果影响不大。利用蒸馏技术，将神经网络中的知识迁移到决策树中，一方面可以提高决策树的准确性，另一方面也可以提高神经网络的解释性。另外，决策树模型突破了防御性蒸馏技术对模型框架要求的限制，从而能够使得防御性蒸馏技术可以在不同的模型结构间运用。

S103、通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。

通过上述步骤，得到软决策树模型之后，根据原始训练数据，对该软决策树模型进行对抗训练，从而生成防御性蒸馏模型。其中，对抗训练一方面在一定程度上能够防御对抗样本的攻击，从而提高模型的鲁棒性；另一方面，对抗训练也能起到正则化的作用，防止模型过拟合。

本实施例的防御性蒸馏模型的构建方法，首先，获取训练集中的原始训练数据和原始训练数据的真实标签；然后根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；最后，通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。本技术方案中，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

图2是本发明的防御性蒸馏模型的构建方法实施例二的流程图，如图2所示，本实施例的防御性蒸馏模型的构建方法是在图1所述实施例的基础上，进一步更加详细地对本发明的技术方案进行描述。

如图2所示，本实施例的防御性蒸馏模型的构建方法具体可以包括如下步骤：

S201、获取训练集中的原始训练数据和原始训练数据的真实标签；

该步骤的执行过程与图1所示的S101的执行过程相同，此处不再赘述。

S202、将原始训练数据输入深度神经网络，得到预测结果；

通过上述步骤，获取原始训练数据后，将该原始训练数据输入到深度神经网络中，通过深度神经网络得到原始训练数据的预测结果。

S203、将预测结果与真实标签结合，生成类别概率向量；

通过上述步骤，获取真实标签，得到预测结果之后，将该真实标签和预测结果结合，从而生成类别概率向量，即“软目标”。其中，“软目标”是指模型将该样本识别为每个标签的概率。“软目标”具有很高的交叉熵，表示其不确定度很高，也即样本实例的类别概率比较分散，这样“软目标”相比“硬目标”就包含更多的信息。

S204、将类别概率向量和原始训练数据结合，生成软训练数据；

通过上述步骤，得到类别概率向量之后，将该类别概率向量与原始训练数据结合，从而生成软训练数据。

S205、利用软训练数据，对决策树模型进行训练，生成软决策树模型；

通过上述步骤，得到软训练数据之后，利用该软训练数据，对决策树模型进行训练，从而生成软决策树模型。其中，在深度学习中，决策树是一种用来预测的树形结构模型。决策树的内部节点表示分类的属性，每一个分支表示判断的结果，决策树的叶节点代表最终的分类结果，每一个决策树均由决策节点、状态节点和结果节点组成。

S206、通过添加随机扰动，生成对抗样本；

通过上述步骤，得到软决策树模型之后，需要对该软决策树模型进行对抗训练，在对抗训练之前需要通过添加随机扰动来生成对抗样本。其中，添加随机扰动的数目会决定对抗样本攻击的强弱，不需要添加扰动的方向。

S207、将对抗样本和原始训练数据结合，生成对抗训练数据；

通过上述步骤，得到对抗样本之后，将该对抗样本和原始训练数据结合，生成对抗训练数据。其中，将对抗样本加入到训练集中，能够增加训练数据，提高模型的泛化能力。

S208、利用对抗训练数据，对软决策树模型进行交叉对抗训练，得到对抗模型；

通过上述步骤，得到对抗训练数据之后，利用该对抗训练数据对通过步骤S205得到的软决策树模型进行交叉对抗训练，得到对抗模型。由于对抗扰动具有转移性，也就是同样的对抗扰动对不同的模型都具有攻击性，所以可以利用对抗训练数据，进行交叉对抗训练。

S209、通过损失函数对交叉对抗训练进行监督，检测对抗模型的实际输出结果和期望输出结果之间的距离；

通过上述步骤，在交叉对抗训练过程中，通过损失函数对该过程进行监督，检测上述步骤中得到的对抗模型的实际输出结果和期望输出结果之间的距离。

模型的损失函数是利用深度神经网络的预测结果和样本中的真实标签进行计算的，计算公式为：

loss＝C(Z,Y′)(1-α)+C(Z,Y)α

其中，loss为损失函数；Z表示对抗模型的实际输出结果；Y表示预测结果；Y′表示真实标签；α表示用来调节预测结果的交叉熵和真实标签的交叉熵的加权平均；C(Z,Y)为实际输出结果和预测结果的交叉熵代价函数；C(Z,Y′)为实际输出结果和真实标签的交叉熵代价函数。

交叉熵代价函数可以用来衡量变量间的相似程度，在深度学习中可以用来计算模型的实际输出和期望输出之间的距离，实际输出结果和预测结果的交叉熵代价函数的计算公式为：

其中，m表示类别概率向量中的类别标签个数；Yⁱ表示对抗模型中第i个神经元的期望输出结果；Zⁱ表示对抗模型中第i个神经元的实际输出结果。

S210、若距离小于预设阈值，确定对抗模型为防御性蒸馏模型。

通过上述步骤，检测到对抗模型的实际输出结果和期望输出结果之间的距离后，判断该距离是否小于预设阈值，如果小于预设阈值，那么该对抗模型确定为防御性蒸馏模型；如果该距离不小于预设阈值，则需要继续进行交叉对抗训练，优化损失函数，并通过优化后的损失函数对该训练进行监督，直至对抗模型的实际输出结果和期望输出结果之间的距离小于预设阈值，再将最终的对抗模型确定为防御性蒸馏模型。

本实施例的防御性蒸馏模型的构建方法，获取训练集中的原始训练数据和原始训练数据的真实标签；将原始训练数据输入深度神经网络，得到预测结果；将预测结果与真实标签结合，生成类别概率向量；将类别概率向量和原始训练数据结合，生成软训练数据；利用软训练数据，对决策树模型进行训练，生成软决策树模型；通过添加随机扰动，生成对抗样本；将对抗样本和原始训练数据结合，生成对抗训练数据；利用对抗训练数据，对软决策树模型进行交叉对抗训练，得到对抗模型；通过损失函数对交叉对抗训练进行监督，检测对抗模型的实际输出结果和期望输出结果之间的距离；若距离小于预设阈值，确定对抗模型为防御性蒸馏模型。本技术方案中，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

为了更全面，对应于本发明实施例提供的防御性蒸馏模型的构建方法，本申请还提供了防御性蒸馏模型的构建装置。

图3是本发明的防御性蒸馏模型的构建装置实施例一的结构示意图，如图3所示，本实施例的防御性蒸馏模型的构建装置包括获取模块101、蒸馏模块102和对抗训练模块103。

获取模块101，用于获取训练集中的原始训练数据和原始训练数据的真实标签；

蒸馏模块102，用于根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；

对抗训练模块103，用于通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。

本实施例的防御性蒸馏模型的构建装置，首先，通过获取模块101获取训练集中的原始训练数据和原始训练数据的真实标签；然后通过蒸馏模块102根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；最后，利用对抗训练模块103通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。本技术方案中，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

在图3所述实施例的基础上，本发明还提供一种防御性蒸馏模型的构建装置的实施例。

图4是本发明的防御性蒸馏模型的构建装置实施例二的结构示意图。如图4所示，蒸馏模块102包括软目标生成单元1021、第一数据生成单元1022和第一训练生成单元1023。

软目标生成单元1021，用于根据原始训练数据、真实标签和深度神经网络，生成类别概率向量；

具体地，软目标生成单元1021，具体用于将原始训练数据输入深度神经网络，得到预测结果；将预测结果与真实标签结合，生成类别概率向量。

第一数据生成单元1022，用于将类别概率向量和原始训练数据结合，生成软训练数据；

第一训练单元1023，用于利用软训练数据，对决策树模型进行训练，生成软决策树模型。

进一步地，对抗训练模块103包括样本生成单元1031、第二数据生成单元1032和第二训练单元1033。

样本生成单元1031，用于通过添加随机扰动，生成对抗样本；

第二数据生成单元1032，用于将对抗样本和原始训练数据结合，生成对抗训练数据；

第二训练单元1033，用于利用对抗训练数据，对软决策树模型进行交叉对抗训练，生成防御性蒸馏模型。

具体地，第二训练单元1033，具体用于利用对抗训练数据，对软决策树模型进行交叉对抗训练，得到对抗模型；通过损失函数对交叉对抗训练进行监督，检测对抗模型的实际输出结果和期望输出结果之间的距离；若距离小于预设阈值，确定对抗模型为防御性蒸馏模型。

本实施例的防御性蒸馏模型的构建装置，通过获取模块101获取训练集中的原始训练数据和原始训练数据的真实标签；通过软目标生成单元1021将原始训练数据输入深度神经网络，得到预测结果；将预测结果与真实标签结合，生成类别概率向量；通过第一数据生成单元1022将类别概率向量和原始训练数据结合，生成软训练数据；通过第一训练单元1023利用软训练数据，对决策树模型进行训练，生成软决策树模型；利用样本生成单元1031通过添加随机扰动，生成对抗样本；通过第二数据生成单元1032将对抗样本和原始训练数据结合，生成对抗训练数据；通过第二训练单元1033利用对抗训练数据，对软决策树模型进行交叉对抗训练，得到对抗模型；通过损失函数对交叉对抗训练进行监督，检测对抗模型的实际输出结果和期望输出结果之间的距离；若距离小于预设阈值，确定对抗模型为防御性蒸馏模型。本技术方案中，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种防御性蒸馏模型的构建方法，其特征在于，包括：

获取训练集中的原始训练数据和所述原始训练数据的真实标签；

根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型；

通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型，包括：

根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量；

将所述类别概率向量和所述原始训练数据结合，生成软训练数据；

利用所述软训练数据，对所述决策树模型进行训练，生成所述软决策树模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量，包括：

将所述原始训练数据输入所述深度神经网络，得到预测结果；

将所述预测结果与所述真实标签结合，生成所述类别概率向量。

4.根据权利要求1所述的方法，其特征在于，所述通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型，包括：

通过添加随机扰动，生成对抗样本；

将所述对抗样本和所述原始训练数据结合，生成对抗训练数据；

利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型。

5.根据权利要求4所述的方法，其特征在于，所述利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型，包括：

利用所述对抗训练数据，对所述软决策树模型进行所述交叉对抗训练，得到对抗模型；

通过损失函数对所述交叉对抗训练进行监督，检测所述对抗模型的实际输出结果和期望输出结果之间的距离；

若所述距离小于预设阈值，确定所述对抗模型为所述防御性蒸馏模型。

6.一种防御性蒸馏模型的构建装置，其特征在于，包括：获取模块、蒸馏模块和对抗训练模块。

所述获取模块，用于获取训练集中的原始训练数据和所述原始训练数据的真实标签；

所述蒸馏模块，用于根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型；

所述对抗训练模块，用于通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型。

7.根据权利要求6所述的装置，其特征在于，所述蒸馏模块包括：软目标生成单元、第一数据生成单元和第一训练单元；

所述软目标生成单元，用于根据所述原始训练数据、所述真实标签和所述深度神经网络，生成类别概率向量；

所述第一数据生成单元，用于将所述类别概率向量和所述原始训练数据结合，生成软训练数据；

所述第一训练单元，用于利用所述软训练数据，对所述决策树模型进行训练，生成所述软决策树模型。

8.根据权利要求7所述的装置，其特征在于，所述软目标生成单元具体用于：

将所述原始训练数据输入所述深度神经网络，得到预测结果；

将所述预测结果与所述真实标签结合，生成所述类别概率向量。

9.根据权利要求6所述的装置，其特征在于，所述对抗训练模块包括：样本生成单元、第二数据生成单元和第二训练单元；

所述样本生成单元，用于通过添加随机扰动，生成对抗样本；

所述第二数据生成单元，用于将所述对抗样本和所述原始训练数据结合，生成对抗训练数据；

所述第二训练单元，用于利用所述对抗训练数据，对所述软决策树模型进行交叉对抗训练，生成所述防御性蒸馏模型。

10.根据权利要求9所述的装置，其特征在于，所述第二训练单元具体用于：

利用所述对抗训练数据，对所述软决策树模型进行所述交叉对抗训练，得到对抗模型；

通过损失函数对所述交叉对抗训练进行监督，检测所述对抗模型的实际输出结果和期望输出结果之间的距离；

若所述距离小于预设阈值，确定所述对抗模型为所述防御性蒸馏模型。