CN108304858B - 对抗样本识别模型生成方法、验证方法及其系统 - Google Patents

Abstract

本发明涉及对抗样本识别模型生成方法及其系统，该方法包括下述步骤：原模型生成步骤，根据样本的特征空间进行训练生成原模型；第1对抗样本识别模型生成步骤，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及对抗样本识别模型迭代生成步骤，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，重复该步骤进行相同训练直到生成第n对抗样本识别模型n，其中，n为预设的自然数。根据本发明，通过采用多层监督器来实现对防御对抗样本攻击，使得对抗攻击的成本大大提高，可有效降低对抗攻击的效率。

Description

对抗样本识别模型生成方法、验证方法及其系统

技术领域

本发明涉及机器学习技术，具体涉及一种基于多层监督器的反对抗样本技术。

背景技术

现有的生成对抗网络有两部分组成，一个是生成器(generator)，一个是辨别器(discriminator)，生成器好比一个小偷，而辨别器好比一个警察，小偷的目的是想方设法的欺骗警察(生成对抗样本)，而警察的目的就是想方设法的去不受欺骗，小偷和警察都在不断的优化自己去达到目的，同时彼此都在对方的“监督”下而提升。

这种对抗训练过程与传统神经网络存在一个重要区别。一个神经网络需要有一个成本函数，评估网络性能如何。这个函数构成了神经网络学习内容以及学习情况的基础。传统神经网络需要一个人类科学家精心打造的成本函数。但是，对于生成式模型这样复杂的过程来说，构建一个好的成本函数绝非易事。这就是对抗性网络的闪光之处。对抗网络可以学习自己的成本函数——自己那套复杂的对错规则——无须精心设计和建构一个成本函数。

因此，现有的技术方法主要有以下几种：

（1）参数变换：加入随机噪声，利用随机梯度算法来自动变更神经网络等模型参数，以加强对对抗样本攻击的效果；

（2）模型变换：引入多个相似模型，轮转地进行工作，一旦发现有模型可能被对抗样本攻破，则替换该模型，以保证正常生产或业务的进行运作；

（3）无监督学习：采用无监督的聚类方法，剔除样本学习的特征属性。

现有的生成对抗样本的本质是由于深度神经网络的高度非线性特征，以及纯粹的监督学习模型中不充分的模型平均和不充分的正则化所导致的过拟合。Ian Goodfellow在ICLR2015年的论文中，通过在一个线性模型加入对抗干扰，发现只要线性模型的输入拥有足够的维度（事实上大部分情况下，模型输入的维度都比较大，因为维度过小的输入会导致模型的准确率过低），线性模型也对对抗样本表现出明显的脆弱性，这也驳斥了关于对抗样本是因为模型的高度非线性的解释。相反深度学习的对抗样本是由于模型的线性特征。

因此，现有反对抗样本技术的缺点如下：

1）模型参数的变化，可以提高模型分类的准确率，但没法改变分类模型的线性，因此，对于对抗样本攻击没有显著防御能力；

2）由于数据本身的高度线性，攻击者可以不去渗透模型，而建立自己的模型来进行对抗攻击，因此，是否替换模型对反对抗攻击没有本质的效果；

3）无监督学习的现有技术并不成熟，无法完成实际的聚类效果。并且，即使可以，无监督学习无法加入人为特征进行定制化的分类需求。

发明内容

鉴于所述问题，本发明旨在提出一种对抗样本识别模型生成方法、验证方法及其系统。

本发明的对抗样本识别模型生成方法，其特征在于，包括下述步骤：

原模型生成步骤，根据样本的特征空间进行训练生成原模型；以及

第1对抗样本识别模型生成步骤，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及

对抗样本识别模型迭代生成步骤，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，重复该步骤进行相同训练直到生成第n对抗样本识别模型n，其中，n为预设的自然数。

优选地，基于所述样本的特征空间和所述原模型进行训练是指基于所述样本的特征空间和所述原模型的线性划分特征进行训练，

基于所述样本的特征空间和上一级的对抗样本识别模型进行训练是指基于所述样本的特征空间和上一级的对抗样本识别模型的线性划分特征进行训练。

优选地，下一级的对抗样本识别模型由以下部分训练得到：

原样本的特征空间；以及

边界(对抗)样本及标签，即上一级模型分类时靠近分类边界的一些样本。4.一种对抗样本验证方法，利用原模型和第1对抗样本识别模型~第n对抗样本识别模型对验证样本进行验证，其中，n为预设的自然数，包括下述步骤：

分类步骤，对于验证样本利用原模型进行分类得到可识别的普通样本；以及

验证步骤，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证，判断是可信普通样本还是可疑对抗样本。

优选地，在所述分类步骤之前进一步包括：

特征改变步骤，基于验证样本获取对应的原模型，以与原模型提取的特征空间的方式相同的的方式对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，

其中，在所述分类步骤，将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本，

在所述验证步骤中，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证以判断是可信普通样本还是可疑对抗样本。

优选地，在所述模型训练步骤和所述对抗样本验证步骤之间还具备：

多层监督设置步骤，在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

在所述验证步骤中，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

本发明的对抗样本生成验证方法，包括下述步骤：

模型训练步骤，根据样本的特征空间进行训练并生成原模型，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，每一层进行相同训练直到生成第n对抗样本识别模型，其中，n为预设的自然数；以及

对抗样本验证步骤，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

优选地，在所述对抗样本验证步骤中包括：

基于验证样本获取对应的原模型；

对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数；

改变重要性低的维度特征；

将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本；以及

对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

优选地，在所述模型训练步骤和所述对抗样本验证步骤之间还具备：

多层监督设置步骤，在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的对抗样本识别模型，

在所述对抗样本验证步骤中，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

本发明的对抗样本识别模型生成系统，其特征在于，具备：

原模型生成器，用于根据样本的特征空间进行训练生成原模型；以及

第1对监督器，用于基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及

第2~第n监督器，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，其中，n为预设的自然数。

优选地，第1对监督器基于所述样本的特征空间和所述原模型的线性划分特征进行训练，第2~第n监督器基于所述样本的特征空间和上一级的对抗样本识别模型的线性划分特征进行训练。

优选地，下一级的对抗样本识别模型由以下部分训练得到：

原样本的特征空间；以及

边界对抗样本及标签，即上一级模型分类时靠近分类边界的一些样本。

本发明的对抗样本验证系统，利用原模型和第1对抗样本识别模型~第n对抗样本识别模型对验证样本进行验证，其中，n为预设的自然数，其特征在于，具备：

分类模块，对于验证样本利用原模型进行分类得到可识别的普通样本；以及

验证模块，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

优选地，进一步具备：

第一控制模块，用于基于验证样本获取对应的原模型，对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，

其中，所述分类模块将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本，

其中，所述验证模块对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

优选地，第二控制模块，用于在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

其中，所述验证步骤对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

本发明的对抗样本生成验证系统，具备：

模型训练模块，根据样本的特征空间进行训练并生成原模型，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，每一层进行相同训练直到生成第n对抗样本识别模型，其中，n为预设的自然数；以及

对抗样本验证模块，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

优选地，进一步具备：

第一控制模块，用于基于验证样本获取对应的原模型，对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，并输出改变了维度特征的样本特征向量。

优选地，进一步具备：

第二控制模块，用于在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

所述对抗样本验证模块对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

根据本发明的对抗样本生成系统、对抗样本验证系统以及对抗样本生成验证系统及其方法，采用多层监督器来实现对防御对抗样本攻击，使得对抗攻击的成本大大提高，可有效降低对抗攻击的效率。

附图说明

图1是表示本发明的对抗样本生成验证系统的构造框图。

图2是表示每一层的监督器的生成方法的流程图。

图3是表示本发明的对抗样本验证方法的验证过程。

图4是表示本发明的样本特征空间的特征随机变换的流程图。

图5是表示检测对抗样本的原理的示意图。

图6是表示针对多层监督的“与或”控制流程图。

图7是表示安全系数调整过程的流程图。

具体实施方式

下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。

本发明旨在提供一种基于多层监督器的反对抗样本方法与系统，通过迭代添加监督器识别对上层模型的对抗样本，从而实现多层对抗样本的识别与检测。其中，还能进一步优选地设置控制器，通过控制能够根据特征重要性，通过随机改动特征值方式抵御更多层的欺骗，通过验证因子的设定，提高检测的速率。

图1是表示本发明的对抗样本生成验证系统的构造框图。其中，本发明的对抗样本生成系统包括原模型生成器100和监督器200₁~200_n（不包括控制器300），而本发明的对抗样本验证系统则包括原模型生成器100、监督器200₁~200_n以及控制器300。

首先，对于本发明的对抗样本生成系统以及生成方法进行说明。

如图1所示，首先，根据样本的特征空间，包括人为设定的标记，由原模型生成器100训练得到所需要的AI模型，作为普通样本识别模型（或称为原模型）。

接着，为了检测与识别对抗样本，增加第1监督器200₁，根据样本的特征空间与原模型的线性划分（事实上只要根据前者就能找到对抗样本，但为了找到更具欺骗性的对抗样本，要结合后者），找到可欺骗原模型的对抗样本，对这些样本进行训练，得到可识别欺骗原模型对抗样本的第1监督器200₁。

同样地，可迭代生成200_1，直到监督器200_n，通过生成多个监督器识别欺骗上一层监督器的对抗样本，其中，n为自然数，是预先设置的迭代层数每一层的监督器的生成方法。

图2是表示每一层的监督器的生成方法的流程图。

如下图2所示，在步骤S10开始流程。在步骤S11确定样本的特征空间。在步骤S12中，对于每一个监督器（模型）确定上一层模型的线性划分特征。在步骤S13中，找到对抗样本。在步骤S14中以对抗样本为训练集，训练新模型。在步骤S15中，判断是否监督层是否大于预先设置的层数，若不是，则返回步骤S12，若是，则进入步骤S16，结束流程。其中，第1监督层的对抗样本是分析原模型（也称为普通样本识别模型）而得到，后续每一层是以上一层模型的线性划分特征为基础分析得到针对上一层模型的对抗样本，由此，能够保证每一层监督器都对前一层的对抗样本欺骗有检测的效果。

其中，“基于线性划分特征分析”是指，下一级的对抗样本识别模型由以下部分训练得到：原样本的特征空间；以及边界对抗样本及标签，即上一级模型分类时靠近分类边界的一些样本。

接着，对于本发明的对抗样本验证系统以及验证方法进行说明。

图1所示，本发明的对抗样本验证系统包括原模型生成器100、监督器200₁~200_n以及控制器300，其中，控制器300主要包含2个功能，一是针对样本特征空间的特征随机变换，保障了对抗样本欺骗概率的降低，二是针对多层监督的“与或”控制，提升本身多层检测机制的速率。

首先，对于最基础的验证过程进行说明。

图3是表示本发明的对抗样本验证方法的验证过程。如图3所示，在步骤S20中，首先通过原模型进行分类，得到可识别的普通样本。然后在步骤S21~步骤S22中，从第一层开始，用监督器200₁去检验当前样本是否是欺骗上一层的对抗样本，若是，则在步骤S26中判定为可疑对抗样本。若否，则在步骤S23中判定所有层是否验证完毕，若否，则继续步骤S24进行下一层的监督判定，若是，则进入步骤S25并判定为可信普通样本。如此层层验证。当所有监督器均支持前一层监督器无欺骗的现象，则在步骤S25中判定该样本是可信的判普通样本。为了应对黑客可能设计更高的层数进行欺骗，作为一个优选方式，在本发明申请中，增加了控制器300。控制器300包括两个模块：第一控制模块，用于针对样本特征空间的特征随机变换，提升检测效果；第二控制模块，用于针对多层监督的“与或”控制，提升检测速率。

首先，对于第一控制模块实现的样本特征空间的特征随机变换进行说明。需要注意的是，该特征随机变换指的是样本验证时的变换，而不是样本训练时的变换。图4是表示本发明的样本特征空间的特征随机变换的流程图。

如图4所示，在步骤S30中，在实际测试分类时，首先计算样本的特征向量，以与原模型提取的特征空间的方式相同的的方式对验证样本进行特征提取，在步骤S31中，计算原模型每一个特征的特征重要性，在步骤S32中，选取特征重要性较小的特征（之所以选取较小的，是因为较小重要性的特征的改变，对普通样本的影响不大），对该特征维度进行随机变动（当然，人为改动也可，这里不作任何限定），然后在步骤S32中，进行多层监督验证，如果没通过，则跳至步骤S36证明该样本是可疑对抗样本，如果通过，则继续步骤S34判断是否大于（或等于）改动次数，如果判断为是，则进入步骤S35判定为可信普通样本，如果判断为否，则返回步骤S32继续对于特征进行改变。

以上改动某些维度特征，既可以恢复为原来的特征向量，也可不恢复继续修改。以上的改动次数的设定，是由于，在某些情况，对抗样本正巧没有被该选中的维度影响到，为了使检测效果更好，增加改特征的轮数（例如3-5轮），降低对抗样本没有被识别出的概率。另外，补充说明的是，这里的图4的“多层监督验证”的每一次判定，均是根据后续的图7来实现的。

这里特别对于上述验证方法可以检测对抗样本的原理进行说明。

对抗样本的实质，是在机器学习模型分类边界中，容易被模型误判、错分的边界样本。以一维为例，以年龄判定一个人是老人和非老人，假设机器学习模型判定大于60.5岁的为老人，而从现实上看，60岁整也应被定义为老人，而这些60岁的人在整个例子中为边界样本（也可称为对抗样本）。

图5是表示检测对抗样本的原理的示意图。由于边界样本与普通样本对样本特征空间的依赖性完全不同。以下图5为例，假设A线是机器学习模型的分类边界线，图5最左边的X和图5最右边的O分别是两类普通样本，当前机器学习模型可以很好的对样本进行分类，但如果有一个样本X（图5中位于A线附近的X），它是属于X类，由于在分类边界，被机器学习模型误识别为O类。进一步地，在图5中的虚线的a区域中，可寻找到对抗样本；而普通样本的识别只需要在b区域（a区域下方的左侧块）。从这个例子来看，在横轴上，X普通样本只需要小于B线横坐标，而对抗样本需要在A线与B线横坐标之间，由此可以明显看出对抗样本对特征空间的变换很敏感，即如果适当地变换特征，普通样本仍可识别，但对抗样本就无法欺骗模型了。并且，由于多层监督的方法，会使得欺骗误差的累加，使得欺骗的概率更低。

接着，对于第二控制模块实现的针对多层监督的“与或”控制进行说明。

图6是表示针对多层监督的“与或”控制流程图。如图6所示每一次的多层监督验证的流程如下：

从第一层开始验证，由控制器300控制，如果需要验证，则进行验证，否则就验证下一层，验证的结果必须与控制器300的结果一致，否则则判定安全验证失败。如果每一层验证结果均与控制器结果一致，则判定安全验证成功。具体地，如图6所示，在步骤S40中，开始首层验证，在步骤S41中判断当前层是否需要验证，若是，则继续步骤S42验证当前层，在步骤S43中判断验证结果与控制器结果一致，若不一致则在步骤S46中判断为多层监督验证失败，若一致则继续步骤S44，判断所有层是否验证完毕，若所有层验证完毕则进入步骤S45判断为多层监督验证成功，否则进入步骤S47进入下一层并返回到步骤S41。

多层验证的安全置信度保障基于两点：（1）数字签名本身的安全性，确保除了自身，其他人无法伪造，使得安全等级控制器的真实性；（2）由于可能有安全验证点被忽略，类“零知识证明”的架构，采用加多次控制器的验证方式来提高置信度。

关于（2），在本发明中对于安全系数调整过程，即多次多层监督检测流程如下图7所示。

图7是表示安全系数调整过程的流程图。开始验证首层，生成自己的数字签名，经过人为设定，生成验证因子，根据验证因子各层监督器进行验证，再进行安全系数验证，由于安全验证中有部分验证节点被忽略或更改，因此某些特殊的不安全行为在某些验证过程中通过。为了避免这种可能，设定了安全系数阈值，类似“零知识证明”，每次通过变换的安全验证会增加其“安全”系数，最终达到安全系数时，判定其是安全的。具体地如图7所示，从步骤S50开始，在步骤S51中获取数字签名人为设定因子，在步骤S52中控制器生成验证因子，在步骤S53中根据验证因子迭代多次验证，在步骤S54中，判断是否满足安全系数阈值，若是则转至步骤S55结束流程，若否，则返回到步骤S52。其中，图7的“根据验证因子，迭代地多层验证”的每一步是根据图6来具体实现的。

本发明的生成对抗样本的方法以及生成验证对抗样本的方法常用于图形图像类的对抗攻击，以下将例举几个实施例进行简单说明。

实施例1

目前在申请信用卡的环节上，其中的一个步骤是需要申请人手持手持身份证拍照，作为申请信用卡的留档材料或证据之一。随着银行或金融机构的身份证数据逐渐规范化，统一化。一些银行已经有身份证号-身份证证件照的相关数据，在验证申请人的相关数据时起到很大的作用，其做法的通用流程是先由系统来自动读取照片中的身份证号数字与证件照，通过数据库中该身份证号是否一致；再由工作人员，肉眼识别照片中人脸未被修改(PS)以及人脸和证件照是用一个人，从而保证了申请人的真实性。但现在，黑客的目的是伪造一张可欺骗识别比对系统的“手持身份证照片”，在获取了其他人的隐私数据后（证件照+身份证号）。其关键的一个难题，就是将（照片中的）自己的人脸与证件照在保持一致的情况下，欺骗银行后台人脸识别系统，即让系统错判自己的人脸与该身份证的真人是同一个人。由此，黑客会将自己“手持身份证”照片中的身份证件照部分制作成对抗样本。近一步，如果黑客得知系统有反对抗样本的机制，则会生成多层的欺骗 反对抗样本的机制。

另外，要补充的是：1）该例子没有提到将照片中的人脸部分也做成对抗样本，但实际上实现效果一致，故不做额外的说明；2）有些不是黑客攻击，但由于本人拍摄角度问题，导致拍照的本人照片不太像本人，使得本专利检测该照片是对抗样本，这也是正常情况，因为之前提过，对抗样本的本质是大概率错分或误分的边界样本。在这种情况下，拒绝该用户信用卡申请，让其重新拍照也是合理的要求。

因此，为了防止对抗样本欺骗（信用卡欺诈申请）的情况发生，本发明如下述方式实现，主要分两个阶段：（一）模拟训练阶段和（二）对抗样本检测阶段。

（一）模型训练阶段

如图2所示的流程，（1）首先得到若干张（假定5张）每个人的人脸样本，进行特征提取（假定100维），放入模型进行训练，得到可识别身份证证件照（或本人）的机器学习模型；（2）根据样本特征空间和原识别模型特性，找到原模型的对抗样本，根据这些样本训练，生成第1监督器。同样地，迭代的生成多层监督器（用于识别欺骗上一层模型的对抗样本），假设n=4，则为原模型+第1监督器、第2监督器、第3监督器以及第4监督器。

（二）对抗样本检测阶段

此阶段分为2个部分，特征随机改动和多层监督。读取提交上来的图片中的身份证号与证件照，从数据库中找到该号码对应的检测模型。其欺骗或检测的关键在于，该模型（架构）是否可识别被伪造的身份证证件照。

首先，对第一部分“特征随机改动”进行说明。

类似图4的流程，对证件照做特征提取，即100维（这个特征提取的方式与训练模型时的特征提取方式保持一致），其次，计算得到样本特征重要性并设定特征随机改动的次数（假设为2次），假定第1维特征重要性最低，第2维次之，以此类推（这里只是假设，也可以是第99维特征重要性最低）。再次，选择特征重要性较小的维度，比如此例中第2维（也可以是第1维，第3维等），将此维度的特征值随机化。随机化的含义是，例如原本该样本在第2维的特征值为88，随机赋值改动为99（与88无关）。

其次，对于对第二部分“多层监督”进行说明。

将样本特征向量代入多层监督层分类测试，类似图7的流程，根据自己的数字签名（该数字签名的作用是用于代表本人的不可伪造性，否则黑客可能会伪造一个验证因子给多层监督）与人为设定，控制器生成一个验证因子，假定验证因子为（1，X，X，X），第一个1表示人为规定监督器1必须验证，后面的X表示监督器2,3,4根据随机数来调整做不做监督验证。

在每一次多层监督验证时（请参考图6的流程），每一次首先会根据验证因子（1，X，X，X），得到一个随机数，例如（1，1，0，0），1表示此层监督器验证，0表示此层监督器跳过，所以该随机数的含义是，监督器1和2进行验证，监督器3和4忽略（本次不参与验证）。

对于所有被识别正确的身份证件照（被识别匹配错误身份证件照不需要做对抗样本的检测），首先用第1监督器识别，如果通过，则再用第2监督器识别，只要有1个监督器发现该样本属于对抗样本，则判定该样本为可疑对抗样本，否则认定该样本通过多层监督验证。当第一次通过验证后，会根据每个监督器本身的置信度，得到一个本次验证的置信度，假设第1监督器是80%，第2监督器是70%，那么本次验证的置信度是1-20%*30%=94%。如果设定的安全系数比这个值大，则需要第二次验证，验证的方式同第一次，直到累计的置信度大于安全系数，确保本轮的多层监督验证通过。

再回到参考图7，当本轮多层监督验证通过，再继续比较是否满足特征改动次数大于设定，此例中，刚才只进行了第一次特征随机改动（第2维），那么同样的方法再选择一个新的特征，进行随机改动，按照步骤检测一次。最终通过检测的表示该样本是普通样本，未通过检测表示该样本是对抗样本（再次强调，其中被识别匹配错误身份证件照不需要做对抗样本的检测，不在普通样本或对抗样本的概念范围中）。

实施例2：

目前黑产也常用机器学习方法来破解验证码，通过大量图片样本学习，进而破解验证码，验证码的破解会导致撞库攻击，接口滥用，抢卷刷票等恶意违法犯罪行为的产生，为了进行对抗机器学习。本专利的反向应用，在掌握黑产图片的特征空间的前提下，用多层监督的概念，制作对抗样本（欺骗机器学习模型的噪点图片），该方法生成的图片验证码，对于人的识别而言，没有额外的负担，对于机器学习识别而言，会造成极大的干扰，使得识别率大大降低。

反向使用的总体思路是，构造多层欺骗（每一层都欺骗监督器），只要层数足够的大（代价也较大），便可实现对难以被机器学习模型识别的对抗样本构造。

根据本发明的对抗样本生成系统、对抗样本验证系统以及对抗样本生成验证系统及其方法，采用多层监督器来实现对防御对抗样本攻击，使得对抗攻击的成本大大提高，可有效降低对抗攻击的效率。具体地能够带来以下技术效果：（1）无需改动原有模型的参数，一旦原有模型训练完成，之后添加多重监督器，来确保对抗攻击的成功率降低即可；（2）同样的，由于变换模型无法对反对抗效果有所提升，本专利增加多重监督器（分类器）后，对于对抗模型进行了训练监督，增加了攻击者对原本使用对抗样本欺骗的成本；（3）本模型是有学习的监督模型，可以满足增加人为特征的需求；（4）特征空间有少量增删的变动，在不改动模型的情况下，仅需样本重新训练，对正常样本的分类识别率下降幅度较小，但对于对抗样本的分类识别率下降幅度巨大。（因此，黑客要重新构造对抗样本的代价较高）。

以上例子主要说明了本发明的对抗样本生成系统、对抗样本验证系统以及对抗样本生成验证系统及其方法。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (18)

1.一种用于识别证件照真伪的对抗样本识别模型生成方法，其特征在于，包括下述步骤：

原模型生成步骤，根据样本的特征空间进行训练生成原模型，其中，所述样本为人脸样本，所述原模型为用于识别证件照的机器学习模型；

第1对抗样本识别模型生成步骤，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型，其中，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型；以及

对抗样本识别模型迭代生成步骤，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，重复该步骤进行相同训练直到生成第n对抗样本识别模型n，其中，n为预设的自然数，其中，所述下一级的对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型。

2.如权利要求1所述的用于识别证件照真伪的对抗样本识别模型生成方法，其特征在于，

基于所述样本的特征空间和所述原模型进行训练是指基于所述样本的特征空间和所述原模型的线性划分特征进行训练，

基于所述样本的特征空间和上一级的对抗样本识别模型进行训练是指基于所述样本的特征空间和上一级的对抗样本识别模型的线性划分特征进行训练。

3.如权利要求2所述的用于识别证件照真伪的对抗样本识别模型生成方法，其特征在于，

下一级的对抗样本识别模型由以下部分训练得到：

原样本的特征空间；以及

边界对抗样本及标签，即上一级模型分类时靠近分类边界的一些样本。

4.一种用于识别证件照真伪的对抗样本验证方法，利用原模型和第1对抗样本识别模型~第n对抗样本识别模型对验证样本进行验证，其中，n为预设的自然数，包括下述步骤：

分类步骤，对于验证样本利用原模型进行分类得到可识别的普通样本；以及

验证步骤，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证，判断是可信普通样本还是可疑对抗样本，

其中，所述验证样本为证件照，所述原模型为用于识别证件照的机器学习模型，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型，所述第n对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型。

5.如权利要求4所述的用于识别证件照真伪的对抗样本验证方法，其特征在于，进一步包括：

在所述分类步骤之前进一步包括：

特征改变步骤，基于验证样本获取对应的原模型，以与原模型提取的特征空间的方式相同的的方式对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，

其中，在所述分类步骤，将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本，

在所述验证步骤中，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证以判断是可信普通样本还是可疑对抗样本。

6.如权利要求4或5所述的用于识别证件照真伪的对抗样本验证方法，其特征在于，

在所述模型训练步骤和所述对抗样本验证步骤之间还具备：

多层监督设置步骤，在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

在所述验证步骤中，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

7.一种用于识别证件照真伪的对抗样本生成验证方法，包括下述步骤：

模型训练步骤，根据样本的特征空间进行训练并生成原模型，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，每一层进行相同训练直到生成第n对抗样本识别模型，其中，n为预设的自然数；以及

对抗样本验证步骤，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本，

其中，所述样本为人脸样本，所述原模型为用于识别证件照的机器学习模型，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型，所述第n对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型，

所述验证样本为证件照。

8.如权利要求7所述的用于识别证件照真伪的对抗样本生成验证方法，其特征在于，

在所述对抗样本验证步骤中包括：

基于验证样本获取对应的原模型；

对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数；

改变重要性低的维度特征；

将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本；以及

对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

9.如权利要求7或8所述的用于识别证件照真伪的对抗样本生成验证方法，其特征在于，

在所述模型训练步骤和所述对抗样本验证步骤之间还具备：

多层监督设置步骤，在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的对抗样本识别模型，

在所述对抗样本验证步骤中，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

10.一种用于识别证件照真伪的对抗样本识别模型生成系统，其特征在于，具备：

原模型生成器，用于根据样本的特征空间进行训练生成原模型；以及

第1对监督器，用于基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及

第2~第n监督器，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，其中，n为预设的自然数，

其中，所述样本为人脸样本，所述原模型为用于识别证件照的机器学习模型，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型，所述第n对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型。

11.如权利要求10所述的用于识别证件照真伪的对抗样本识别模型生成系统，其特征在于，

第1对监督器基于所述样本的特征空间和所述原模型的线性划分特征进行训练，第2~第n监督器基于所述样本的特征空间和上一级的对抗样本识别模型的线性划分特征进行训练。

12.如权利要求11所述的用于识别证件照真伪的对抗样本识别模型生成系统，其特征在于，

下一级的对抗样本识别模型由以下部分训练得到：

原样本的特征空间；以及

边界对抗样本及标签，即上一级模型分类时靠近分类边界的一些样本。

13.一种用于识别证件照真伪的对抗样本验证系统，利用原模型和第1对抗样本识别模型~第n对抗样本识别模型对验证样本进行验证，其中，n为预设的自然数，其特征在于，具备：

分类模块，对于验证样本利用原模型进行分类得到可识别的普通样本；以及

验证模块，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本，

其中，所述样本为人脸样本，所述原模型为用于识别证件照的机器学习模型，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型，所述第n对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型，

所述验证样本为证件照。

14.如权利要求13所述的用于识别证件照真伪的对抗样本验证系统，其特征在于，进一步具备：

第一控制模块，用于基于验证样本获取对应的原模型，对验证样本以与原模型提取的特征空间的方式相同的的方式进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，

其中，所述分类模块将改变了维度特征的样本特征向量利用原模型进行分类得到可识别的普通样本，

其中，所述验证模块对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本。

15.如权利要求13或14所述的用于识别证件照真伪的对抗样本验证系统，其特征在于，进一步包括：

第二控制模块，用于在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

其中，所述验证步骤对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

16.一种用于识别证件照真伪的对抗样本生成验证系统，具备：

模型训练模块，根据样本的特征空间进行训练并生成原模型，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，每一层进行相同训练直到生成第n对抗样本识别模型，其中，n为预设的自然数；以及

对抗样本验证模块，对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的全部或者部分进行验证判断是可信普通样本还是可疑对抗样本，

其中，所述样本为人脸样本，所述原模型为用于识别证件照的机器学习模型，所述第1对抗样本识别模型是用于识别欺骗所述原模型的对抗样本的识别模型，所述第n对抗样本识别模型是用于识别欺骗上一级模型的对抗样本的识别模型，

所述验证样本为证件照。

17.如权利要求16所述的用于识别证件照真伪的对抗样本生成验证系统，其特征在于，进一步具备：

第一控制模块，用于基于验证样本获取对应的原模型，以与原模型提取的特征空间的方式相同的的方式对验证样本进行特征提取，计算得到样本特征重要性并随机设定特征改动次数，改变重要性低的维度特征，并输出改变了维度特征的样本特征向量。

18.如权利要求16或17所述的用于识别证件照真伪的对抗样本生成验证系统，其特征在于，进一步具备：

第二控制模块，用于在第1对抗样本识别模型~第n对抗样本识别模型中设置必须要进行验证的抗样本识别模型，

所述对抗样本验证模块对于验证样本利用原模型进行分类得到可识别的普通样本，对于可识别的普通样本，利用第1对抗样本识别模型~第n对抗样本识别模型中的被指定必须要进行验证的抗样本识别模型进行验证判断是可信普通样本还是可疑对抗样本。

Images