CN112329837B - 一种对抗样本检测方法、装置、电子设备及介质 - Google Patents

一种对抗样本检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112329837B
CN112329837B CN202011203505.XA CN202011203505A CN112329837B CN 112329837 B CN112329837 B CN 112329837B CN 202011203505 A CN202011203505 A CN 202011203505A CN 112329837 B CN112329837 B CN 112329837B
Authority
CN
China
Prior art keywords
sample
model
specified
boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011203505.XA
Other languages
English (en)
Other versions
CN112329837A (zh
Inventor
周书亚
裘晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011203505.XA priority Critical patent/CN112329837B/zh
Publication of CN112329837A publication Critical patent/CN112329837A/zh
Application granted granted Critical
Publication of CN112329837B publication Critical patent/CN112329837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种对抗样本检测方法、装置、电子设备及介质，涉及深度学习技术领域。该方法包括：获取待分类图像，将待分类图像分别输入图像分类模型和辅助模型，获取图像分类模型对待分类图像的第一分类结果，以及辅助模型对待分类图像的第二分类结果。其中，辅助模型为在指定约束条件下，与图像分类模型的决策边界差异最大的深度学习模型。若第一分类结果与第二分类结果相同，则确定待分类图像的分类结果为第一分类结果；若第一分类结果与第二分类结果不同，则确定待分类图像为对抗样本。采用该方法可以提高深度学习模型在受到对抗样本攻击时的分类准确率。

Description

一种对抗样本检测方法、装置、电子设备及介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种对抗样本检测方法、装置、电子设备及介质。
背景技术
随着人工智能科技和机器学习的飞速发展，深度学习模型被应用在越来越多的场景中。比如在自动驾驶和智能视频监控的应用场景中，可以将采集到的图像输入到用于对图像分类的深度学习模型，该深度学习模型可以识别出该图像所属的分类。
经研究发现，深度学习模型在图像分类领域具有较高的分类正确率，但是深度学习模型容易受到带有轻微扰动的输入的影响。比如，若采集到的图像被攻击者添加轻微的扰动，则该图像被输入深度学习模型之后，深度学习模型可能会输出错误的分类结果。
目前攻击者可以通过在大量图像中添加通用扰动的方式，导致深度学习模型对大量图像的分类结果均不准确，被添加了扰动的图像可以被称为对抗样本。相关技术中深度学习模型容易受到对抗样本的攻击，使得深度学习模型的分类准确率较低。
发明内容
本申请实施例的目的在于提供一种对抗样本检测方法、装置、电子设备及介质，以提高深度学习模型在受到对抗样本攻击时的分类准确率。
第一方面，本申请实施例提供一种对抗样本检测方法，所述方法包括：
获取待分类图像；
将所述待分类图像分别输入图像分类模型和辅助模型，获取所述图像分类模型对所述待分类图像的第一分类结果，以及所述辅助模型对所述待分类图像的第二分类结果；其中，所述辅助模型为在指定约束条件下，与所述图像分类模型的决策边界差异最大的深度学习模型；
若所述第一分类结果与所述第二分类结果相同，则确定所述待分类图像的分类结果为所述第一分类结果；
若所述第一分类结果与所述第二分类结果不同，则确定所述待分类图像为对抗样本。
在一种可能的实现方式中，所述辅助模型通过以下步骤得到：
针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，所述图像分类模型为基于所述预设训练集对深度学习模型进行训练得到的模型，所述边界样本位于所述图像分类模型的决策边界；
针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，所述指定扰动为：在所述指定约束条件下，使得所述图像分类模型与所述辅助模型的决策边界差异最大的扰动，所述图像分类模型的决策边界基于各指定样本对应的边界样本确定；所述指定约束条件为所述指定扰动的规模小于扰动阈值；
基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型；所述反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，所述辅助模型的决策边界基于各指定样本对应的反边界样本确定。
在一种可能的实现方式中，所述针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本包括：
针对所述图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；
其中，所述预设公式为
Figure BDA0002756223970000021
或者
Figure BDA0002756223970000022
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure BDA0002756223970000023
和
Figure BDA0002756223970000024
均为添加的扰动；
Figure BDA0002756223970000031
为
Figure BDA0002756223970000032
的梯度；
Figure BDA0002756223970000033
为符号函数；
Figure BDA0002756223970000034
为
Figure BDA0002756223970000035
的p范数；
Figure BDA0002756223970000036
为损失函数，
Figure BDA0002756223970000037
其中，b为该指定样本的原始类别，t为目标类别，fb(x)为所述图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为所述图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
将i加1，判断i<max_iter和
Figure BDA0002756223970000038
>κ是否成立；其中max_iter为最大迭代次数，κ为损失函数阈值；
若是，则返回基于预设公式为该指定样本添加扰动的步骤；
若否，则确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内。
在一种可能的实现方式中，所述针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本，包括：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo，x为该指定样本，x*为该指定样本对应的边界样本；
计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure BDA0002756223970000039
s.t.||δA||p≤∈
其中，
Figure BDA00027562239700000310
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure BDA00027562239700000311
在一种可能的实现方式中，所述基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型包括：
分别将所述预设训练集中的每个指定样本和所述反边界样本集中的每个反边界样本输入深度学习模型，获取所述深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果；
获取使得
Figure BDA0002756223970000041
的值最小时的θ值；
其中，
Figure BDA0002756223970000042
为基于所述深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在所述预设训练集中的标注分类，pdata1为所述预设训练集；θ为所述深度学习模型的模型参数；
Figure BDA0002756223970000043
为基于所述深度学习模型对反边界样本
Figure BDA0002756223970000044
的分类结果计算得到的损失函数，t为反边界样本
Figure BDA0002756223970000045
在所述反边界样本集中的标注分类，pdata2为所述反边界样本集。
第二方面，本发明实施例还提供一种对抗样本检测装置，所述装置包括：
获取模块，用于获取待分类图像；将所述待分类图像分别输入图像分类模型和辅助模型，获取所述图像分类模型对所述待分类图像的第一分类结果，以及所述辅助模型对所述待分类图像的第二分类结果；其中，所述辅助模型为在指定约束条件下，与所述图像分类模型的决策边界差异最大的深度学习模型；
确定模块，用于若所述第一分类结果与所述第二分类结果相同，则确定所述待分类图像的分类结果为所述第一分类结果；若所述第一分类结果与所述第二分类结果不同，则确定所述待分类图像为对抗样本。
在一种可能的实现方式中，所述装置还包括训练模块：
所述训练模块用于：
针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，所述图像分类模型为基于所述预设训练集对深度学习模型进行训练得到的模型，所述边界样本位于所述图像分类模型的决策边界；
针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，所述指定扰动为：在所述指定约束条件下，使得所述图像分类模型与所述辅助模型的决策边界差异最大的扰动，所述图像分类模型的决策边界基于各指定样本对应的边界样本确定；所述指定约束条件为所述指定扰动的规模小于扰动阈值；
基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型；所述反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，所述辅助模型的决策边界基于各指定样本对应的反边界样本确定。
在一种可能的实现方式中，所述训练模块具体用于：
针对所述图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；
其中，所述预设公式为
Figure BDA0002756223970000051
或者
Figure BDA0002756223970000052
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure BDA0002756223970000053
和
Figure BDA0002756223970000054
均为添加的扰动；
Figure BDA0002756223970000055
为
Figure BDA0002756223970000056
的梯度；
Figure BDA0002756223970000057
为符号函数；
Figure BDA0002756223970000058
为
Figure BDA0002756223970000059
的p范数；
Figure BDA00027562239700000510
为损失函数，
Figure BDA00027562239700000511
其中，b为该指定样本的原始类别，t为目标类别，fb(x)为所述图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为所述图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
将i加1，判断i<max_iter和
Figure BDA00027562239700000512
>κ是否成立；其中max_iter为最大迭代次数，κ为损失函数阈值；
若是，则返回基于预设公式为该指定样本添加扰动的步骤；
若否，则确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内。
在一种可能的实现方式中，所述训练模块具体用于：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo，x为该指定样本，x*为该指定样本对应的边界样本；
计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure BDA0002756223970000061
s.t.||δA||p≤∈
其中，
Figure BDA0002756223970000062
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure BDA0002756223970000063
在一种可能的实现方式中，所述训练模块具体用于：分别将所述预设训练集中的每个指定样本和所述反边界样本集中的每个反边界样本输入深度学习模型，获取所述深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果；
获取使得
Figure BDA0002756223970000064
的值最小时的θ值；
其中，
Figure BDA0002756223970000065
为基于所述深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在所述预设训练集中的标注分类，pdata1为所述预设训练集；θ为所述深度学习模型的模型参数；
Figure BDA0002756223970000066
为基于所述深度学习模型对反边界样本
Figure BDA0002756223970000067
的分类结果计算得到的损失函数，t为反边界样本
Figure BDA0002756223970000068
在所述反边界样本集中的标注分类，pdata2为所述反边界样本集。
第三方面，本发明实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的对抗样本检测方法步骤。
第四方面，本发明实施例还提供一种所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的对抗样本检测方法步骤。
第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的对抗样本检测方法。
本发明实施例有益效果：
采用上述方案，将与图像分类模型的决策边界差异最大的辅助模型与该图像分类模型联合对待分类图片进行分类，辅助模型的决策边界与图像分类模型的决策边界存在差异，且差异最大，所以该对抗样本难以同时跨越图像分类模型和辅助模型的决策边界，从而使得辅助模型对该对抗样本进行分类后输出与图像分类模型不同的分类结果。因此，若图像分类模型和辅助模型对同一待分类图像的分类结果不相同时，便可以确定该待分类图像为对抗样本，此时可以对图像分类模型的输出结果不予置信，能够降低对抗样本对深度学习模型的攻击成功率，从而提高深度学习模型在受到对抗样本攻击时的分类准确率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种对抗样本检测方法的流程图；
图2为本申请实施例提供的训练辅助模型的方法的流程图；
图3为本申请实施例提供的生成边界样本的方法的流程示意图；
图4为本申请实施例提供的对抗样本检测方法的流程示意图；
图5为本申请实施例提供的图像分类模型和辅助模型的决策边界的示例性示意图；
图6为本申请实施例提供的对原始样本叠加扰动后得到的边界样本和对抗样本的示例性示意图；
图7为本申请实施例提供的对PGD攻击成功的对抗样本的检测率随PGD攻击中单步扰动参数变化的折线图；
图8为本申请实施例的对PGD攻击失败的对抗样本的检测率随PGD攻击中单步扰动参数变化的折线图；
图9为本申请实施例提供的一种对抗样本检测装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便理解，首先对本发明实施例涉及的相关术语进行解释。
对抗攻击：对抗攻击是指攻击者对深度学习模型的输入添加微小的扰动，从而使得深度学习模型产生错误的输出。
以图像分类模型为例，对图像添加微小的扰动是指对图像的像素值进行小幅的增加和/或减小，即攻击者可以对待分类图像的像素值进行小幅的增减，使得图像分类模型对待分类图像分类错误。
对抗样本：对抗样本是指在深度学习模型的数据集包括的样本中，添加微小的扰动后所形成的输入样本，该输入样本会导致高置信度的深度学习模型产生错误的输出。
比如，以深度学习模型为图像分类模型为例，攻击者对正常的待分类图像添加特定的扰动，添加扰动后的待分类图像即为对抗样本，将该对抗样本输入图像分类模型后，图像分类模型对该对抗样本输出的分类结果与原始待分类图像的实际分类不同。对抗样本通常与原始待分类图像非常相似，肉眼难以区分出对抗样本与原始待分类图像之间的差异，但是图像分类模型会对对抗样本输出与原始待分类图像不同的分类结果。
白盒攻击：白盒攻击是指攻击者对目标深度学习模型的结构、深度学习模型所使用的算法、模型参数等设置充分了解，进而对深度学习模型进行对抗攻击。
黑盒攻击：黑盒攻击是指攻击者在不了解目标深度学习模型的结构、深度学习模型所使用的算法、模型参数等设置的情况下，对该深度学习模型进行对抗攻击。
迁移攻击：迁移攻击是指，当攻击者需要对目标模型进行黑盒攻击时，首先通过白盒攻击的方式训练一个替代模型，并利用在替代模型上生成的对抗样本采用黑盒攻击的方式攻击目标模型。其中，目标模型和替代模型均为深度学习模型。用替代模型白盒攻击成功的一组对抗样本，迁移攻击目标模型的成功比例，称为对抗样本从替代模型到目标模型的迁移率。
决策边界：深度学习模型的决策边界是指将样本空间分割为多个集合的超曲面，决策边界由深度学习模型的分类器的参数决定。
在针对二分类的统计分类问题中，深度学习模型的决策边界是个可将基础向量空间划分为两个集合超曲面，分类器将决策边界一侧的所有点归为一个分类，将决策边界另一侧的点归为另一个分类。
边界样本：边界样本是指存在于决策边界附近的样本。深度学习模型对边界样本进行分类所输出的两类分类的概率近似相等。
以待分类图像为包含动物的图像为例，通过深度学习模型对该待分类图像进行分类，若该深度学习模型输出该待分类图像属于“狗”的概率为与属于“猫”的概率近似相等，也可以说深度学习模型输出该待分类图像属于“狗”的概率与属于“猫”的概率之间的差值小于预设概率阈值，则该待分类图像可以称为该深度学习模型的边界样本。因此，深度学习模型的决策边界可以由大量的上述边界样本体现。
为了提高深度学习模型在受到对抗样本攻击时的分类准确率，本发明实施例提供了一种对抗样本检测方法，该方法应用于电子设备，如图1所示，该方法包括：
S101，获取待分类图像。
其中，待分类图像为需要被图像分类模型进行分类的图像。比如，若图像分类模型用于对图像中包括的交通工具进行分类，则待分类图像为包含交通工具的图像。
S102，将待分类图像分别输入图像分类模型和辅助模型，获取图像分类模型对待分类图像的第一分类结果，以及辅助模型对待分类图像的第二分类结果。
其中，图像分类模型为预先训练好的深度学习模型，该深度学习模型能够准确地识别出正常样本(非对抗样本)所属的类别，误判率较低。辅助模型为在指定约束条件下，与图像分类模型的决策边界差异最大的深度学习模型，辅助模型也可以准确地识别出正常样本所属的类别。因辅助模型与图像分类模型的边界差异较大，所以可以降低同一对抗样本在图像分类模型和辅助模型之间的迁移率。即，若将对抗样本输入辅助模型和图像分类模型，辅助模型和图像分类模型将输出不同的分类结果。
在本申请实施例中，在将待分类图像分别输入图像分类模型和辅助模型后，图像分类模型和分类模型分别输出该待分类图像属于各个类别的概率。第一分类结果是指图像分类模型对待分类图像进行分类时输出较高的概率所对应的分类，第二分类结果是指辅助模型对待分类图像进行分类时输出较高的概率所对应的分类。
示例的，该待分类图像的内容是一只狗，将该待分类图像分别输入图像分类模型和辅助模型，图像分类模型和辅助模型可以分别输出该待分类图像的内容为“狗”和“猫”的概率，若图像分类模型输出该待分类图像属于“狗”的概率大于“猫”的概率，则可判定该待分类图像的类别为“狗”，反之可判定该待分类图像的类别为“猫”，辅助模型也是同理。
S103，若第一分类结果与第二分类结果相同，则确定待分类图像的分类结果为第一分类结果。
S104，若第一分类结果与第二分类结果不同，则确定待分类图像为对抗样本。
如果图像分类模型和辅助模型对待分类图像的分类判定分别为“狗”和“猫”，则确定该待分类图像为对抗样本，图像分类模型的分类结果不可信。
由于对抗样本为对原始样本叠加扰动得到的样本，所以图像分类模型在对对抗样本进行分类时会输出与原始样本的分类不同的分类结果，即对抗样本跨越了图像分类模型的决策边界。
在本发明的实施例中，因为辅助模型的决策边界与图像分类模型的决策边界存在差异，且差异最大，所以该对抗样本难以同时跨越图像分类模型和辅助模型的决策边界，从而使得辅助模型对该对抗样本进行分类后输出与图像分类模型不同的分类结果。因此，若图像分类模型和辅助模型对同一待分类图像的分类结果不相同时，便可以确定该待分类图像为对抗样本，此时可以对图像分类模型的输出结果不予置信，能够降低对抗样本对深度学习模型的攻击成功率，从而提高深度学习模型在受到对抗样本攻击时的分类准确率。
在本发明的实施例中，如图2所示，辅助模型通过以下步骤得到：
S201，针对图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本。
其中，图像分类模型为基于预设训练集对深度学习模型进行训练得到的模型，边界样本位于图像分类模型的决策边界。
可以理解的，由于边界样本位于图像分类模型的决策边界，所以若将边界样本输入图像分类模型，图像分类模型输出的该边界样本属于原始类别的概率与属于其他类别的概率之间的差值小于预设概率阈值，即图像分类模型输出的该边界样本属于各类别的概率近似相等。其中，原始类别为该边界样本对应的指定样本所属的类别。
以二分类为例，边界样本分布在两个类别的边界上，深度学习模型对边界样本输出的属于这两个类别的概率近似等于50％。
在本申请实施例中，对于预设训练集中的每个指定样本，可通过边界逼近法生成该指定样本对应的边界样本，生成边界样本的方法将在下文中进行详细描述。
S202，针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本。
其中，指定扰动为：在指定约束条件下，使得图像分类模型与辅助模型的决策边界差异最大的扰动，图像分类模型的决策边界基于各指定样本对应的边界样本确定；指定约束条件为指定扰动的规模小于扰动阈值，反边界样本所属的类别与该反边界样本对应的指定样本的所属类别不一致。
S203，基于预设训练集和反边界样本集对深度学习模型进行训练，得到辅助模型。
其中，反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，辅助模型的决策边界基于各指定样本对应的反边界样本确定。
在本发明的实施例中，辅助模型的训练集采用指定样本和与指定样本对应的反边界样本，因反边界样本所属的类别与该反边界样本对应的指定样本的所属类别不一致，所以辅助模型在正常样本和反边界样本间划分了新的边界，在保证对正常样本的分类正确的前提下，使得该辅助模型与图像分类模型的决策边界最大。因本申请实施例训练得到的辅助模型与图像分类模型之间的决策差异较大，所以同一对抗样本在图像分类模型与辅助模型之间的迁移率较低，使得对抗样本无法同时欺骗图像分类模型和辅助模型，从而使得本申请实施例可以识别对抗样本的攻击。
在本申请实施例的一种实施方式中，如图3所示，边界逼近法也就是上述步骤S201具体可以实现为：
S2011，针对图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动。
其中，预设公式为
Figure BDA0002756223970000121
或者
Figure BDA0002756223970000122
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure BDA0002756223970000123
和
Figure BDA0002756223970000124
均为添加的扰动；
Figure BDA0002756223970000125
为
Figure BDA0002756223970000126
的梯度；
Figure BDA0002756223970000127
为符号函数；
Figure BDA0002756223970000128
为
Figure BDA0002756223970000129
的p范数；
Figure BDA00027562239700001210
为损失函数，
Figure BDA00027562239700001211
其中，b为该指定样本的原始类别，t为目标类别，fb(x)为图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
S2012，将i加1。
S2013，判断i<max_iter和
Figure BDA0002756223970000131
>κ是否成立。若是，则返回上述S2011，基于预设公式为该指定样本添加扰动的步骤；若否，则执行S2014。
其中，max_iter为最大迭代次数，κ为损失阈值。例如，κ的取值可以为0.2％。
S2014，确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内，该预设范围可根据实际需求设置。
Clip∈{xi}还用于限制为该指定样本添加的扰动的规模小于扰动阈值。
在生成边界样本的过程中，为了使得指定样本对应的边界样本足够准确，在满足min|fb(x*)-ft(x*)|和s.t.||x*-x||p≤∈的情况下，可以利用梯度下降法将该损失函数
Figure BDA0002756223970000132
最小化，使指定样本对应的对抗样本越来越靠近决策边界。其中，∈为扰动阈值，也就是添加扰动的p范数的最大值，x*为指定样本x对应的边界样本。
即，上述S2011-S2014具体可以表示为：
1.i＝0，x0＝x
2.
Figure BDA0002756223970000133
3.
Figure BDA0002756223970000134
或
Figure BDA0002756223970000135
4.i++
5.end while
6.return x*＝Clip∈{xi}
其中，i的初始值为零，x0为该指定样本，η为梯度下降步长；
Figure BDA0002756223970000136
Figure BDA0002756223970000137
为添加的扰动，max_iter为最大迭代次数，κ为损失阈值；
在梯度下降法循环过程中，首先给i赋值为0，设定x0为指定样本，然后判断i<max_iter和
Figure BDA0002756223970000141
>κ是否成立，若是，则进入梯度下降法中的第3步，也就是该指定样本添加扰动的步骤，并在添加扰动后将i加1，重新对i<max_iter和
Figure BDA0002756223970000142
>κ是否成立进行判断；
若是，则返回梯度下降法中的第3步；
若否，则依次进入梯度下降法中的第5步和第6步，确定该指定样本对应的边界样本为x*＝Clip∈{xi}，来保证对抗样本的取值在合理的范围内。
在本发明的另一种实施方式中，第3步可以为
Figure BDA0002756223970000143
Figure BDA0002756223970000144
为添加的扰动。因为指定样本实际上为图像，而图像包含大量的像素，则添加的扰动就是对指定样本上的像素点的像素值进行小幅度的增减，如果选择(p＝∞)，可以改变指定样本上所有的像素点，但每个像素点的像素值改动的幅度较小，类似于高斯噪声；如果选择(p≠∞)，则可以改变指定样本上的部分像素点的像素值，改动的幅度会更大，类似于椒盐噪声。
在本发明另一实施例中，对得到反边界样本的方法进行描述。
上述S202中，针对每个指定样本，得到该指定样本对应的反边界样本，具体可以实现为：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo；计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure BDA0002756223970000145
s.t.||δA||p≤∈
其中，
Figure BDA0002756223970000146
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure BDA0002756223970000151
由于s.t.||x*-x||p≤∈，即s.t.||δi||p≤∈，令||δA||p＝||δo||p≤∈，进而求解得δA＝-δo，能够使得
Figure BDA0002756223970000152
取得最大值。又因图像分类模型的决策边界可以由大量的上述边界样本体现，辅助模型同理，因此图像分类模型和辅助模型的决策边界差异即为
Figure BDA0002756223970000153
此时图像分类模型和辅助模型的决策边界差异最大。
在本发明另一实施例中，上述S203中，基于预设训练集和反边界样本集对深度学习模型进行训练，得到辅助模型，具体可以实现为：
分别将预设训练集中的每个指定样本和反边界样本集中的每个反边界样本输入深度学习模型，获取深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果，然后获取使得
Figure BDA0002756223970000154
的值最小时的θ值。
其中，
Figure BDA0002756223970000155
为基于深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在预设训练集中的标注分类，pdata1为预设训练集；θ为深度学习模型的模型参数；
Figure BDA0002756223970000156
为基于深度学习模型对反边界样本
Figure BDA0002756223970000157
的分类结果计算得到的损失函数，t为反边界样本
Figure BDA0002756223970000158
在反边界样本集中的标注分类，pdata2为反边界样本集，
Figure BDA0002756223970000159
用于将
Figure BDA00027562239700001510
的取值限定在预设范围内。
电子设备可以通过求解以下目标函数获取上述θ值：
Figure BDA00027562239700001511
因为
Figure BDA00027562239700001512
δA＝-δo，所以
Figure BDA00027562239700001513
另外x*＝x+δo；基于此上述目标函数还可以表示为：
Figure BDA00027562239700001514
Figure BDA0002756223970000161
在本发明实施例中，
Figure BDA0002756223970000162
表示辅助模型对指定样本x进行分类后，得到的分类结果的损失函数的数学期望，
Figure BDA0002756223970000163
表示辅助模型对反边界样本
Figure BDA0002756223970000164
进行分类后，得到的分类结果的损失函数的期望，将使得两者之和最小时的θ值确定为辅助模型的模型参数。
以下结合图4对本申请实施例提供的对抗样本检测方法进行描述，如图4所示，将待测样本X分别输入图像分类模型O和辅助模型A，判断图像分类模型O和辅助模型A对该待测样本X的分类结果是否相同，若相同，确定该待测样本X为正常样本，若不相同，确定该待测样本X为对抗样本。
采用该方法，若图像分类模型和辅助模型对同一待分类图像的分类结果不相同时，便可以确定该待分类图像为对抗样本，图像分类模型和辅助模型对同一待分类图像的分类有这互补的作用，因此即使辅助样本受到对抗攻击，也不影响本发明实施例提供的对抗样本检测方法对对抗样本的识别率。且因图像分类模型和辅助模型的决策边界差异较大，对攻击失败的对抗样本，也同样具有较高的检测率，有利于使用者发现处于初期阶段的对抗攻击者。
如图5所示，图5为图像分类模型和辅助模型的决策边界的示例性示意图，图5中的实线表示图像分类模型的决策边界，虚线表示辅助模型的决策边界，两者的决策边界存在差异，决策边界的两侧的“1”和“0”分别表示样本的真实类别1和真实类别0。
图5中的实心圆圈表示真实类别为1的正常样本，空心圆圈表示真实类别为0的正常样本。
实心圆圈的一侧的实线箭头指向的三角形代表正常样本对应的边界样本，另一侧的虚线箭头指向的正方形代表正常样本对应的反边界样本。
空心圆圈一侧的实线箭头指向的三角形代表正常样本对应的边界样本，另一侧的虚线箭头指向的正方形代表正常样本对应的反边界样本。
从图5中可以看出，边界样本均位于辅助模型和图像分类模型的决策边界附近，反边界样本的分类与正常样本的分类不同。
由于在训练辅助模型时加入了正常样本的反边界样本，且反边界样本与正常样本的分类不同，所以辅助模型在正常样本与反边界样本之间划分了新的边界，使得辅助模型可以在保证对正常样本分类正确的前提下，与原图像分类模型的决策边界差异最大。
为了验证通过最大化辅助模型与原图像分类模型之间的决策边界差异，可以显著降低迁移率，可以进行以下迁移性实验。
实验中的深度学习模型采用二分类卷积神经网络，数据集采用Cifar-10，Cifar-10是一个包含60000张彩色图像的数据集，图像的尺寸均为32*32，分为10类，每类6000张图。本实施例中实验取Cifar-10数据集中的两类数据，例如汽车和飞机的图像，共12000张图片，然后将取出的数据集随机分成两部分：一部分为包含10000张图像的训练数据集，另一部分为包含2000张图像的测试数据集。在实验过程中，可以利用投影梯度下降(Projected gradient descent，PGD)法对训练数据集中的图像进行处理，以生成用于迁移攻击的对抗样本，且可利用边界逼近法生成训练数据集中的图像对应的边界样本。
将训练数据集中的图像作为原始样本，图6示出了将原始样本分别转换为边界样本和对抗样本的示例性示意图。如图6所示，原始样本为一张包含汽车的图像，该原模型(对应于上文的图像分类模型)可判定图像属于汽车类别的概率为99.9％，属于飞机的概率为0.1％。
通过边界逼近法为该原始样本添加边界逼近扰动后，得到边界样本。原模型可判定该边界样本属于汽车类别的概率为49.9％，属于飞机类别的概率为50.1％。
另外，通过PGD法为原始样本添加PGD扰动，可以得到该原始样本对应的对抗样本，原模型可判定该对抗样本属于汽车的概率为0.1％，属于飞机的概率为99.9％。
实验过程包括以下步骤：
步骤一，通过上述训练数据集训练二分类卷积神经网络，分别训练得到原模型O和对照模型C。测试得到原模型O、对照模型C的分类准确率分别为96.8％和96.9％；
步骤二，通过边界逼近法生成10000个正常样本中，每个正常样本x对应的边界样本x*，该边界逼近法使用的目标类别为类别t。
其中，上述10000个正常样本x为原模型O对应的训练数据集中的样本。
步骤三，构造边界样本对应的反边界样本
Figure BDA0002756223970000181
构造反边界样本的方法可参考上述实施例中的相关描述，此处不再赘述。
步骤四，利用反边界样本
Figure BDA0002756223970000182
扩展训练集，得到训练集
Figure BDA0002756223970000183
通过训练集
Figure BDA0002756223970000184
训练得到辅助模型A。辅助模型A的分类准确率为92.05％。
其中，训练集(x,y)中y为正常样本x的标注分类，训练集
Figure BDA0002756223970000185
中t为正常样本x对应的反边界样本
Figure BDA0002756223970000186
的标注分类。
步骤五，通过PGD生成上述测试数据集中的2000个图像中，每个图像对应的对抗样本，统计原模型O、对照模型C和辅助模型A对上述对抗样本的迁移率；其中，PGD参数为：单步扰动＝0.1，迭代次数10。
得到实验结果如表1所示：
表1
生成模型/迁移模型 原模型O 对照模型C 辅助模型A
原模型O 99.85％ 73.66％ 9.21％
对照模型C 65.50％ 100％ 25.20％
辅助模型A 2.80％ 2.25％ 100％
表中的百分比是指对抗样本从生成模型到迁移模型的迁移率；表1中的迁移率是对生成模型白盒攻击成功的一组对抗样本，对迁移模型进行迁移攻击成功的比率。
可以看出，辅助模型A到原模型O的迁移率为2.80％，被迁移率为9.21％，相比对照模型C到原模型O的迁移率(65.50％)和被迁移率(73.66％)有显著降低。另外，辅助模型A到对照模型C的迁移率(2.25％)和被迁移率(25.20％)也非常低，证明将边界差异最大化能够降低迁移率，低的迁移率意味着，成功攻击原模型O的对抗样本能够大概率的被辅助模型A甄别，而成功攻击辅助模型A的对抗样本又能够被原模型O甄别。也就是说，与原模型O决策边界差异最大的辅助模型A能够降低对抗样本对联合模型(原模型O与辅助模型A组合而成的模型)的迁移率，也就是攻击成功率，从而提高深度学习模型在受到对抗样本攻击时的分类准确率。
进一步的，以二分类为例评估本发明实施例的分类性能，采用原模型加对抗性逻辑配对(Adversarial Logits Pairing，ALP)模型(Ori+ALP)与原模型加低迁移率模型(Ori+LowTrans)作比较。
其中，原模型Ori为本发明上述实施例中的图像分类模型，ALP模型为通过ALP这种对抗防御方法训练得到的深度学习模型，低迁移率模型LowTrans即为本发明实施例中的辅助模型A。
在将上述两组模型进行比较时，采用评估指标共有三类，分别是：攻击成功的对抗样本的检测率、攻击失败的对抗样本的检测率和假阳率。其中，对抗样本通过PGD白盒攻击原模型产生。对抗样本的检测率是指检测出对抗样本的概率，假阳率为对正常样本的误判率，即将正常样本判定为对抗样本的概率。
如图7所示，图7为PGD攻击成功时的对抗样本检测率的折线图，图7的横轴表示PGD的单步扰动参数，纵轴为PGD攻击成功的对抗样本检测率。
图7中带圆形的折线表示原模型Ori和ALP模型联合对对抗样本进行分类后，检测出对抗样本的概率，该对抗样本为对原模型Ori攻击成功的对抗样本。
图7中带正方形的折线表示原模型Ori和ALP模型联合对对抗样本进行分类后，检测出对抗样本的概率，该对抗样本为对原模型ALP攻击成功的对抗样本。
图7中带三角形的折线表示原模型Ori和低迁移率模型LowTrans联合对对抗样本进行分类后，检测出对抗样本的概率，该对抗样本为对原模型Ori攻击成功的对抗样本。
图7中带星形的折线表示原模型Ori和低迁移率模型LowTrans联合对对抗样本进行分类后，检测出对抗样本的概率，该对抗样本为对低迁移率模型LowTrans攻击成功的对抗样本。
从图7中可以看出，当原模型Ori和ALP模型联合分类时，若ALP模型受到对抗攻击，对对抗样本的检测率出现大幅度降低。当原模型Ori和低迁移率模型LowTrans联合分类时，若作为辅助模型的低迁移率模型LowTrans受到对抗攻击，对对抗样本的检测率依然较高。所以采用本发明实施例提供的方法可以提高对对抗样本的检测率。
如图8所示，图8为PGD攻击失败时的对抗样本检测率的折线图，图7的横轴表示PGD的单步扰动参数，纵轴为PGD攻击失败的对抗样本检测率。
图8中带圆形的折线表示原模型Ori和ALP模型联合对对抗样本进行分类后的对抗样本检测率，该对抗样本为对原模型Ori攻击失败的对抗样本。
图8中带正方形的折线表示原模型和ALP模型联合对对抗样本进行分类后的对抗样本检测率，该对抗样本为对ALP模型攻击失败的对抗样本。
图8中带三角形的折线表示原模型Ori和低迁移率模型LowTrans联合对对抗样本进行分类时后的对抗样本检测率，该对抗样本为原模型Ori攻击失败的对抗样本。
从图8中可以看出，对低迁移率模型LowTrans攻击失败的对抗样本，图像分类模型Ori+低迁移率模型LowTrans的联合分类也保持着较高的检测率，这样能够帮助使用者发现初期外界对图像分类模型和辅助模型的潜在攻击。
且通过实验得到图像分类模型Ori+ALP模型的假阳率(对正常样本的误判率)为8.5％(170/2000)；图像分类模型Ori+低迁移率模型LowTrans的假阳率(对正常样本的误判率)为7.17％(143/2000)，因此，本发明的实施例对正常样本误判率要更低，表现更好。
另外，现有的ALP模型为通过ALP这种对抗防御方法对原模型进行训练得到的深度学习模型，该ALP模型在训练过程中需要重构原模型，成本较高，而本发明实施例提供的对抗样本检测方法不需要重构原模型，且只需要一次性的对原模型生成边界样本，能够节省大量时间成本和运算成本。
对应于上述方法实施例，基于相同的发明构思，本申请实施例还提供一种对抗样本检测装置，如图9所示，该装置包括：
获取模块901，用于获取待分类图像；将待分类图像分别输入图像分类模型和辅助模型，获取图像分类模型对待分类图像的第一分类结果，以及辅助模型对待分类图像的第二分类结果；其中，辅助模型为在指定约束条件下，与图像分类模型的决策边界差异最大的深度学习模型；
确定模块902，用于若第一分类结果与第二分类结果相同，则确定待分类图像的分类结果为第一分类结果；若第一分类结果与第二分类结果不同，则确定待分类图像为对抗样本。
可选的，该装置还包括训练模块：
训练模块用于：
针对图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，图像分类模型为基于预设训练集对深度学习模型进行训练得到的模型，边界样本位于图像分类模型的决策边界；
针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，指定扰动为：在指定约束条件下，使得图像分类模型与辅助模型的决策边界差异最大的扰动，图像分类模型的决策边界基于各指定样本对应的边界样本确定；指定约束条件为指定扰动的规模小于扰动阈值；
基于预设训练集和反边界样本集对深度学习模型进行训练，得到辅助模型；反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，辅助模型的决策边界基于各指定样本对应的反边界样本确定。
可选的，训练模块具体用于：
针对图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；
其中，预设公式为
Figure BDA0002756223970000211
或者
Figure BDA0002756223970000212
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure BDA0002756223970000213
和
Figure BDA0002756223970000214
均为添加的扰动；
Figure BDA0002756223970000215
为
Figure BDA0002756223970000216
的梯度；
Figure BDA0002756223970000217
为符号函数；
Figure BDA0002756223970000218
为
Figure BDA0002756223970000219
的p范数；
Figure BDA0002756223970000221
为损失函数，
Figure BDA0002756223970000222
其中，b为该指定样本的原始类别，i为目标类别，fb(x)为图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
将i加1，判断i<max_iter和
Figure BDA0002756223970000223
>κ是否成立；其中max_iter为最大迭代次数，κ为损失函数阈值；
若是，则返回基于预设公式为该指定样本添加扰动的步骤；
若否，则确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内。
可选的，训练模块具体用于：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo，x为该指定样本，x*为该指定样本对应的边界样本；
计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure BDA0002756223970000224
s.t.||δA||p≤∈
其中，
Figure BDA0002756223970000225
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure BDA0002756223970000226
可选的，训练模块具体用于：分别将预设训练集中的每个指定样本和反边界样本集中的每个反边界样本输入深度学习模型，获取深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果；
获得使得
Figure BDA0002756223970000227
的值最小时的θ值；
其中，
Figure BDA0002756223970000228
为基于深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在预设训练集中的标注分类，pdata1为预设训练集；θ为深度学习模型的模型参数；
Figure BDA0002756223970000231
为基于深度学习模型对反边界样本
Figure BDA0002756223970000232
的分类结果计算得到的损失函数，t为反边界样本
Figure BDA0002756223970000233
在反边界样本集中的标注分类，pdata2为反边界样本集。
基于相同的发明构思，本申请实施例还提供一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信；
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现上述方法实施例中的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于相同的发明构思，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现上述方法实施例中的方法步骤。
基于相同的发明构思，本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，实现上述方法实施例中的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (4)

1.一种对抗样本检测方法，其特征在于，所述方法包括：
获取待分类图像；
将所述待分类图像分别输入图像分类模型和辅助模型，获取所述图像分类模型对所述待分类图像的第一分类结果，以及所述辅助模型对所述待分类图像的第二分类结果；其中，所述辅助模型为在指定约束条件下，与所述图像分类模型的决策边界差异最大的深度学习模型；
若所述第一分类结果与所述第二分类结果相同，则确定所述待分类图像的分类结果为所述第一分类结果；
若所述第一分类结果与所述第二分类结果不同，则确定所述待分类图像为对抗样本；
所述辅助模型通过以下步骤得到：
针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，所述图像分类模型为基于所述预设训练集对深度学习模型进行训练得到的模型，所述边界样本位于所述图像分类模型的决策边界；
针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，所述指定扰动为：在所述指定约束条件下，使得所述图像分类模型与所述辅助模型的决策边界差异最大的扰动，所述图像分类模型的决策边界基于各指定样本对应的边界样本确定；所述指定约束条件为所述指定扰动的规模小于扰动阈值；
基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型；所述反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，所述辅助模型的决策边界基于各指定样本对应的反边界样本确定；
所述针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本包括：
针对所述图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；
其中，所述预设公式为
Figure FDA0003861240190000021
或者
Figure FDA0003861240190000022
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure FDA0003861240190000023
和
Figure FDA0003861240190000024
均为添加的扰动；
Figure FDA0003861240190000025
为
Figure FDA0003861240190000026
的梯度；
Figure FDA0003861240190000027
为符号函数；
Figure FDA0003861240190000028
为
Figure FDA0003861240190000029
的p范数；
Figure FDA00038612401900000210
为损失函数，
Figure FDA00038612401900000211
其中，b为该指定样本的原始类别，t为目标类别，fb(x)为所述图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为所述图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
将i加1，判断i<max_iter和
Figure FDA00038612401900000212
是否成立；其中max_iter为最大迭代次数，κ为损失函数阈值；
若是，则返回基于预设公式为该指定样本添加扰动的步骤；
若否，则确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内；
所述针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本，包括：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo，x为该指定样本，x*为该指定样本对应的边界样本；
计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure FDA00038612401900000213
s.t.||δA||p≤e
其中，
Figure FDA00038612401900000214
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure FDA0003861240190000031
所述基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型包括：
分别将所述预设训练集中的每个指定样本和所述反边界样本集中的每个反边界样本输入深度学习模型，获取所述深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果；
获取使得
Figure FDA0003861240190000032
的值最小时的θ值；
其中，
Figure FDA0003861240190000033
为基于所述深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在所述预设训练集中的标注分类，pdata1为所述预设训练集；θ为所述深度学习模型的模型参数；
Figure FDA0003861240190000034
为基于所述深度学习模型对反边界样本
Figure FDA0003861240190000035
的分类结果计算得到的损失函数，t为反边界样本
Figure FDA0003861240190000036
在所述反边界样本集中的标注分类，pdata2为所述反边界样本集。
2.一种对抗样本检测装置，其特征在于，所述装置包括：
获取模块，用于获取待分类图像；将所述待分类图像分别输入图像分类模型和辅助模型，获取所述图像分类模型对所述待分类图像的第一分类结果，以及所述辅助模型对所述待分类图像的第二分类结果；其中，所述辅助模型为在指定约束条件下，与所述图像分类模型的决策边界差异最大的深度学习模型；
确定模块，用于若所述第一分类结果与所述第二分类结果相同，则确定所述待分类图像的分类结果为所述第一分类结果；若所述第一分类结果与所述第二分类结果不同，则确定所述待分类图像为对抗样本；
所述装置还包括训练模块；
所述训练模块用于：
针对所述图像分类模型对应的预设训练集中的每个指定样本，生成该指定样本对应的边界样本；其中，所述图像分类模型为基于所述预设训练集对深度学习模型进行训练得到的模型，所述边界样本位于所述图像分类模型的决策边界；
针对每个指定样本，为该指定样本添加指定扰动，得到该指定样本对应的反边界样本；其中，所述指定扰动为：在所述指定约束条件下，使得所述图像分类模型与所述辅助模型的决策边界差异最大的扰动，所述图像分类模型的决策边界基于各指定样本对应的边界样本确定；所述指定约束条件为所述指定扰动的规模小于扰动阈值；
基于所述预设训练集和反边界样本集对深度学习模型进行训练，得到所述辅助模型；所述反边界样本集包括各指定样本对应的反边界样本，以及各反边界样本所属的类别，所述辅助模型的决策边界基于各指定样本对应的反边界样本确定；
所述训练模块具体用于：
针对所述图像分类模型对应的预设训练集中的每个指定样本，基于预设公式为该指定样本添加扰动；
其中，所述预设公式为
Figure FDA0003861240190000041
或者
Figure FDA0003861240190000042
i为迭代次数；i的初始值为零，当i为0时，x0为该指定样本；xi为此次添加扰动前的样本；xi+1为对xi添加扰动后得到的样本；η为梯度下降步长；
Figure FDA0003861240190000043
和
Figure FDA0003861240190000044
均为添加的扰动；
Figure FDA0003861240190000045
为
Figure FDA0003861240190000046
的梯度；
Figure FDA0003861240190000047
为符号函数；
Figure FDA0003861240190000048
为
Figure FDA0003861240190000049
的p范数；
Figure FDA00038612401900000410
为损失函数，
Figure FDA00038612401900000411
其中，b为该指定样本的原始类别，t为目标类别，fb(x)为所述图像分类模型对样本x进行分类得到的分类结果为b类别的概率，ft(x)为所述图像分类模型对样本x进行分类得到的分类结果为t类别的概率；
将i加1，判断i<max_iter和
Figure FDA00038612401900000412
是否成立；其中max_iter为最大迭代次数，κ为损失函数阈值；
若是，则返回基于预设公式为该指定样本添加扰动的步骤；
若否，则确定该指定样本对应的边界样本为x*＝Clip∈{xi}，Clip∈{xi}用于将xi的取值限定在预设范围内；
所述训练模块具体用于：
针对每个指定样本，确定该指定样本对应的差值扰动δo，其中，x*＝x+δo，x为该指定样本，x*为该指定样本对应的边界样本；
计算该指定样本对应的满足以下约束条件的指定扰动δA：
Figure FDA0003861240190000051
s.t.||δA|｜p≤∈
其中，
Figure FDA0003861240190000052
为δA与δo之间的欧式距离或者余弦距离，∈为指定扰动δA的p范数的最大值；
为该指定样本添加该指定样本对应的指定扰动δA，得到该指定样本对应的反边界样本
Figure FDA0003861240190000053
所述训练模块具体用于：分别将所述预设训练集中的每个指定样本和所述反边界样本集中的每个反边界样本输入深度学习模型，获取所述深度学习模型对该指定样本的分类结果和对该反边界样本的分类结果；
获取使得
Figure FDA0003861240190000054
的值最小时的θ值；
其中，
Figure FDA0003861240190000055
为基于所述深度学习模型对指定样本x的分类结果计算得到的损失函数，y为指定样本x在所述预设训练集中的标注分类，pdata1为所述预设训练集；θ为所述深度学习模型的模型参数；
Figure FDA0003861240190000056
为基于所述深度学习模型对反边界样本
Figure FDA0003861240190000057
的分类结果计算得到的损失函数，t为反边界样本
Figure FDA0003861240190000058
在所述反边界样本集中的标注分类，pdata2为所述反边界样本集。
3.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1所述的方法步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的方法步骤。
CN202011203505.XA 2020-11-02 2020-11-02 一种对抗样本检测方法、装置、电子设备及介质 Active CN112329837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011203505.XA CN112329837B (zh) 2020-11-02 2020-11-02 一种对抗样本检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011203505.XA CN112329837B (zh) 2020-11-02 2020-11-02 一种对抗样本检测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN112329837A CN112329837A (zh) 2021-02-05
CN112329837B true CN112329837B (zh) 2023-01-17

Family

ID=74324266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011203505.XA Active CN112329837B (zh) 2020-11-02 2020-11-02 一种对抗样本检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112329837B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463859B (zh) * 2021-11-03 2023-08-11 马上消费金融股份有限公司 活体检测的对抗样本生成方法、装置、电子设备及存储介质
CN114596277A (zh) * 2022-03-03 2022-06-07 北京百度网讯科技有限公司 检测对抗样本的方法、装置、设备以及存储介质
CN115115905B (zh) * 2022-06-13 2023-06-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN115115884A (zh) * 2022-06-30 2022-09-27 浪潮(北京)电子信息产业有限公司 对抗样本的检测方法、系统、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389583A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 图像分类器的生成方法、图像分类方法和装置
CN109165671A (zh) * 2018-07-13 2019-01-08 上海交通大学 基于样本到决策边界距离的对抗样本检测方法
CN110516695A (zh) * 2019-07-11 2019-11-29 南京航空航天大学 面向医学图像分类的对抗样本生成方法及系统
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法

Also Published As

Publication number Publication date
CN112329837A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329837B (zh) 一种对抗样本检测方法、装置、电子设备及介质
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN110334742B (zh) 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
CN112862093B (zh) 一种图神经网络训练方法及装置
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN109840413B (zh) 一种钓鱼网站检测方法及装置
CN111598182A (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN111967573A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN112085701A (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN112633310A (zh) 具有改进的训练鲁棒性地对传感器数据进行分类的方法和系统
CN112668698A (zh) 一种神经网络的训练方法及系统
CN113065525A (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN114187483A (zh) 生成对抗样本的方法、检测器的训练方法及相关设备
Xu et al. ASQ-FastBM3D: an adaptive denoising framework for defending adversarial attacks in machine learning enabled systems
CN111210018A (zh) 一种提升深度神经网络模型鲁棒性的方法及装置
CN113220883B (zh) 一种文本分类方法、装置及存储介质
CN113902944A (zh) 模型的训练及场景识别方法、装置、设备及介质
CN111461177A (zh) 一种图像的识别方法及装置
CN115858388A (zh) 基于变异模型映射图的测试用例优先级排序方法和装置
CN112949590B (zh) 一种跨域行人重识别模型构建方法及构建系统
CN111209567B (zh) 提高检测模型鲁棒性的可知性判断方法及装置
CN110399803B (zh) 一种车辆检测方法及装置
CN112434717B (zh) 一种模型训练方法及装置
CN114116456A (zh) 测试用例生成方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant