CN111931932B - 对抗样本的生成方法及装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请提供一种对抗样本的生成方法及装置、电子设备和可读存储介质，涉及计算机领域；其中，该方法包括：对第一样本进行梯度下降处理，得到第一样本的第一梯度，其中，第一样本中的样本数据为二值数据，第一梯度中的数据为连续数值；将第一梯度转换为第二梯度，其中，第二梯度中的数据为三值数据；将第一样本中的样本数据与第二梯度中的数据结合，以生成目标对抗样本；其中，目标对抗样本中的样本数据的为二值数据。通过本申请，解决了现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题。

Description

对抗样本的生成方法及装置、电子设备和可读存储介质

技术领域

本申请涉及计算机领域，具体涉及一种对抗样本的生成方法及装置、电子设备和可读存储介质。

背景技术

目前，对于脉冲神经网络产生对抗样本的方式，由于脉冲神经网络的输入是二值脉冲信号，所以采用的是随机翻转输入样本的部分脉冲信号，通过试错的方式达到对抗攻击的目的。但是，通过试错法产生脉冲对抗样本的方法，由于搜索空间巨大，难以找到准确的对抗样本，使得攻击成功率较低。

发明内容

本申请实施例提供了一种对抗样本的生成方法及装置、电子设备和可读存储介质，以解决现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种对抗样本的生成方法，包括：对第一样本进行梯度下降处理，得到所述第一样本的第一梯度，其中，所述第一样本中的样本数据为二值数据，所述第一梯度中的数据为连续数值；将所述第一梯度转换为第二梯度，其中，所述第二梯度中的数据为三值数据；将所述第一样本中的样本数据与所述第二梯度中的数据结合，以生成目标对抗样本；其中，所述目标对抗样本中的样本数据的为二值数据。

第二方面，本申请实施例还提供了一种对抗样本的生成装置，包括：处理模块，用于对第一样本进行梯度下降处理，得到所述第一样本的第一梯度，其中，所述第一样本中的样本数据为二值数据，所述第一梯度中的数据为连续数值；转换模块，用于将所述第一梯度转换为第二梯度，其中，所述第二梯度中的数据为三值数据；生成模块，用于将所述第一样本中的样本数据与所述第二梯度中的数据结合，以生成目标对抗样本；其中，所述目标对抗样本中的样本数据的为二值数据。

第三方面，本申请实施例还提供了一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

通过本申请实施例，可以将数据类型为二值数据的第一样本通过梯度下降处理后得到对应的数据为连续数值的第一梯度，进而将连续数值的第一梯度转换为数据为三值数据的第二梯度，最后将第一样本中的样本数据与第二梯度中的数据结合以生成目标对抗样本，从而使得生成的目标对抗样本与第一样本的数据类型是匹配的，都是二值数据。如果第一样本为脉冲神经网络的原始样本，则通过本申请实施例得到的对抗样本，则是与原始样本的数据类型一致的样本，也就是说，利用梯度下降的方式产生了含有准确梯度信息、与原始样本数据类型一致且改变量较小的易伪装的对抗样本，避免了现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题，达到了提高脉冲神经网络攻击成功率的效果。

附图说明

图1是本申请实施例的对抗样本的生成方法流程图；

图2是本申请实施例的样本示意图一；

图3是本申请实施例的样本示意图二；

图4是本申请实施例的样本示意图三；

图5是本申请实施例的样本示意图四；

图6是本申请实施例的梯度示意图一；

图7是本申请实施例的梯度示意图二；

图8是本申请实施例的梯度示意图三；

图9是本申请实施例的梯度示意图四；

图10是本申请实施例的梯度下降处理的示意图；

图11是本申请实施例的绝对值归一化处理的示意图；

图12是本申请实施例的二值采样的示意图一；

图13是本申请实施例的二值采样的示意图二；

图14是本申请实施例的取符号的示意图；

图15是本申请实施例的限幅转换的示意图；

图16是本申请实施例的生成对抗样本的完整示意图；

图17是本申请实施例的对抗样本的生成装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅由于描述目的，且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的对抗样本的生成方法进行详细地说明。

本申请实施例提供了一种对抗样本的生成方法，图1是本申请实施例的对抗样本的生成方法流程图，如图1所示，该方法的步骤包括：

步骤S102，对第一样本进行梯度下降处理，得到第一样本的第一梯度，其中，第一样本中的样本数据为二值数据，第一梯度中的数据为连续数值；

步骤S104，将第一梯度转换为第二梯度，其中，第二梯度中的数据为三值数据；

步骤S106，将第一样本中的样本数据与第二梯度中的数据结合，以生成目标对抗样本；其中，目标对抗样本中的样本数据的为二值数据。

通过本申请实施例的上述步骤S102至步骤S106，可以将数据类型为二值数据的第一样本通过梯度下降处理后得到对应的数据为连续数值的第一梯度，进而将连续数值的第一梯度转换为数据为三值数据的第二梯度，最后将第一样本中的样本数据与第二梯度中的数据结合以生成目标对抗样本，从而使得生成的目标对抗样本与第一样本的数据类型是匹配的，都是二值数据。如果第一样本为脉冲神经网络的原始样本，则通过本申请实施例得到的对抗样本，则是与原始样本的数据类型一致的样本，一方面，利用梯度下降的方式生成了含有准确梯度信息的第一梯度，避免了现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题，另一方面，通过对第一梯度进行处理转化为与原始样本数据类型一致的对抗样本，从而提高对抗样本的伪装能力，达到了提高脉冲神经网络攻击成功率的效果。

需要说明的是，第二梯度是用于表征第一样本中数据的变化量，因此，原始样本和第二梯度（变化量）可以结合以生成目标对抗样本。

需要说明的是，本申请实施例中的第一样本适用于接收二值输入信号的神经网络，在具体应用场景中可以是脉冲神经网络SNN（Spiking Neuron Networks）的输入样本。本申请实施例中的二值数据是一种数据类型，该数据类型是指样本中的数据仅由{0，1}组成，例如，本申请实施例中的第一样本在具体应用场景中可以是如图2至图5所示的样本1至样本4中的任一种：

当然，本申请实施例中的样本1至样本4仅仅是对第一样本进行举例说明，具体第一样本中的数据的取值可以根据实际情况来确定。

此外，本申请实施例中的三值数据也是一种数据类型，该数据类型是指样本中的数据仅由{-1，0，1}组成，例如，三值数据的梯度（第二梯度）可以是如图6至图9所示的梯度1至梯度4中的任一种：

也就是说，在本申请实施例中对于二值数据的样本可以通过以下原则来转换得到对应梯度：原样本中的数据为0，转换后梯度中对应数据为1或-1；其中，对于-1的情况后续需要进行限幅。原样本梯度中的数据为1，梯度中对应数据为0或1；其中，对于转换后为1的情况后续需要进行限幅。

当然，上述梯度1至梯度4仅仅是对三值数据进行举例说明，具体本申请实施例中的三值数据可以根据实际情况来确定。

另外，本申请实施例中对第一样本进行梯度下降进行处理后的得到的第一梯度中的连续数值，以第一样本为样本2为例，如图10所示，对样本2进行梯度下降处理后，可以得到第一梯度。但图10中的梯度下降处理仅仅是举例说明，也有可能第一梯度中的数据是其他取值，其对应的第一样本依然是样本2。具体的梯度下降处理，需要根据实际情况进行处理。

在本申请实施例中的可选实施方式中，本申请实施例中的步骤S104中涉及到的将第一样本的梯度转换为第二梯度的方式，进一步可以包括：

步骤S104-11，对第一梯度中的数据的绝对值进行归一化处理，得到第三梯度；其中，第三梯度中的数据为大于或等于零的连续数值；

需要说明的是，该大于或等于零的连续数值在具体应用场景中可以是0到1之间的连续数值。

以上述图10中第一梯度的具体取值为例，对第一梯度中的数据的绝对值进行归一化处理，在具体应用场景中可以是：先确定各个数据的绝对值，然后将绝对值最大的数据归一化为1，并确定绝对值最大的数为归一化系数，进而将其他绝对值除以归一化系数，具体可以是：确定绝对值最大的数为2，即-2.0的绝对值（即，2.0），并将其进行归一化处理的结果为1，并确定为归一化系数；然后，基于该归一化系数对0.8进行归一化处理的结果为0.4，第一梯度中其他数据依次进行归一化处理的结果，具体如图11所示。

步骤S104-12，对第三梯度中的数据进行二值化处理，得到第四梯度，其中，第四梯度中的数据为二值数据；

其中，本申请实施例中的二值化处理的方式在本申请实施例的可选实施方式中可以是：二值采样的方式、四舍五入的方式、直方图的方式、计算平均值的方式等；下面将以二值化处理的方式为二值采样的方式为例，对本申请进行举例说明。

在二值化处理的方式为二值采样的方式的情况下，上述步骤S104-12进一步可以通过以下步骤来实现：

步骤S11，确定第三梯度中的数据的梯度值为二值采样的采样概率；

步骤S12，基于采样概率对第三梯度中的数据进行二值采样，得到第四梯度。

需要说明的是，本申请实施例中的采样概率是指得到二值数据中其中之一的概率，即为二值数据中0的概率或是二值数据中1的概率；下面将以采样为1的概率为例进行说明。

对于上述步骤S104-12以上述图11中的第三梯度为例，即采样概率则是指每一个数据采样为1的概率，即第三梯度中为 0.4的数据采样为1的概率为0.4；第三梯度中为 0.8的数据采样为1的概率为0.8；第三梯度中为 1的数据采样为1的概率为1，具体如图12所示。需要说明的是，图12仅仅是其中一种采样结果，即也有可能是如图13所示的结果，当然也可能是其他情况；也就是说，图12和图13进行示例说明。

步骤S104-13，提取第一梯度中目标位置的数据的目标符号，并将目标符号添加到第四梯度中与目标位置对应的数据上；其中，添加符号后的第四梯度为第二梯度。

对于上述步骤S104-13，其目标位置是指第一梯度中的任一位置，即需要将第一梯度中的所有数据的符号添加到对应的第四梯度的数据中，以上述图12中的第四梯度为例，可以将-2.0中的符号“-”添加到第四梯度中对应位置的1中，得到的结果为“-1”，依次类推，对于其他位置的符号也是类似的处理方式，具体可以如图14所示。

在本申请实施例中的可选实施方式中，对于本申请实施例中步骤S106中涉及到的将第一样本中的样本数据与第二梯度中的数据结合，以生成对抗样本的方式，进一步可以包括：

步骤S106-11，将第一样本与第二梯度中相同位置的数据进行累加得到第一对抗样本；

步骤S106-12，对第一对抗样本进行限幅转换以生成对抗样本。

其中，步骤S106-12进一步可以是：

步骤S21，从第一对抗样本中确定出与二值数据不匹配的数据；

步骤S22，将第一对抗样本中与二值数据不匹配的数据转换为二值数据，生成目标对抗样本。

需要说明的是，限幅转换中的限幅是根据第一样本中的二值数据确定的，也就是说，最后生成的对抗样本中的数据类型是与第一样本中的数据类型一致的。基于此，对于上述步骤S106，以上述图13中的第四梯度（第二梯度）为例，第四梯度中的数据与第一样本中的数据累加后得到第一对抗样本，如图15所示，由于第一对抗样本中的数据可能存在-1、0、1、以及2的数据，即第一对抗样本中的数据为四值数据，因此需要进行限幅转换，限幅转换的目的是将第一对抗样本中的数据转换为二值数据，即将第一对抗样本中的2转换为1，将第一对抗样本中的-1转换为0，从而得到了与第一样本中数据类型一致的目标对抗样本。

对于上述步骤S102至步骤S106，在具体应用场景中，整个生成对抗样本的过程如图16所示。

通过本申请实施例，利用梯度下降以产生与原始样本（第一样本）对应的脉冲对抗样本（目标对抗样本），实现了高成功率的脉冲神经网络攻击；在利用梯度下降以产生与原始样本对应的脉冲对抗样本的过程中，利用了连续值格式的样本梯度修改脉冲格式的输入样本，作为后续产生脉冲对抗样本的基础，其中，通过概率采样限制对抗样本与原始样本的差别大小，从而使得可以产生含有准确梯度信息、与原始样本数据类型一致且改变量较小的易伪装的对抗样本，避免了现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题，达到了提高脉冲神经网络攻击成功率的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例的方法。

本申请实施例还提供了一种对抗样本的生成装置，图17是本申请实施例中的对抗样本的生成装置的结构示意图，如图17所示，该装置包括：

处理模块92，用于对第一样本进行梯度下降处理，得到第一样本的第一梯度，其中，第一样本中的样本数据为二值数据，第一梯度中的数据为连续数值；

转换模块94，用于将第一梯度转换为第二梯度，其中，第二梯度中的数据为三值数据；

生成模块96，用于将第一样本中的样本数据与第二梯度中的数据结合，以生成目标对抗样本；其中，目标对抗样本中的样本数据的为二值数据。

需要说明的是，本申请实施例中的第一样本为脉冲神经网络SNN的输入样本。

此外，本申请实施例中的第一样本为以下至少一项转换得到：图像样本、语音样本、文字样本；或第一样本为以下至少之一所采集的数据：动态视觉传感器、脑机接口。即通过动态视觉传感器或脑机接口所采集的数据为脉冲数据，即所采集的数据可以直接作为第一样本。而对于图像样本、语音样本、文字样本需要先对其进行转换，在本申请实施例的具体应用场景可以是一个转换神经网络层，将图像样本、语音样本、文字样本转换为与第一样本类型一样的数据，以图像样本为例，对图像中的像素强度进行归一化处理，然后进行概率采样的方式，每个时间单位采样为0或1，从而得到对应的0/1的脉冲序列，即将图样样本转换为脉冲样本数据，即与第一样本类型一致；其他类型的样本类似的处理的方式，在此不再赘述。

可选地，本申请实施例中的转换模块94进一步可以包括：归一化单元，用于对第一梯度中的数据的绝对值进行归一化处理，得到第三梯度；其中，第三梯度中的数据为大于或等于零的连续数值；采样单元，用于对第三梯度中的数据进行二值化处理，得到第四梯度，其中，第四梯度中的数据为二值数据；转换单元，用于提取第一梯度中目标位置的数据的目标符号，并将目标符号添加到第四梯度中与目标位置对应的数据上；其中，添加符号后的第四梯度为第二梯度。

可选地，本申请实施例中的二值化处理的方式包括二值采样；基于此，本申请实施例中的采样单元进一步可以包括：确定子单元，用于确定第三梯度中数据的梯度值为二值采样的采样概率；采样子单元，用于基于采样概率对第三梯度中的数据进行二值采样，得到第四梯度。

需要说明的是，本申请实施例中的采样概率是指得到二值数据中其中之一的概率。

可选地，本申请实施例中的生成模块进一步可以包括：累加单元，用于将第一样本与第二梯度中相同位置的数据进行累加得到第一对抗样本；生成单元，用于对第一对抗样本进行限幅转换以生成对抗样本。

需要说明的是，本申请实施例中的限幅转换中的限幅是根据第一样本中的二值数据确定的。

可选地，本申请实施例中的生成单元进一步可以包括：确定子单元，用于从第一对抗样本中确定出与二值数据不匹配的数据；生成子单元，用于将第一对抗样本中与二值数据不匹配的数据转换为二值数据，生成目标对抗样本。

通过本申请实施例中的装置，可以将数据类型为二值数据的第一样本通过梯度下降处理后得到对应的数据为连续数值的第一梯度，进而将连续数值的第一梯度转换为数据为三值数据的第二梯度，最后将第一样本中的样本数据与第二梯度中的数据结合以生成目标对抗样本，从而使得生成的目标对抗样本与第一样本的数据类型是匹配的，都是二值数据。如果第一样本为脉冲神经网络的原始样本，则通过本申请实施例得到的对抗样本，则是与原始样本的数据类型一致的样本，也就是说，利用梯度下降的方式产生了含有准确梯度信息、与原始样本数据类型一致且改变量较小的易伪装的对抗样本，避免了现有技术中采用随机翻转输入样本的部分脉冲信号，再对随机翻转结果进行搜索，但该搜索空间大会导致脉冲神经网络的攻击成功率较低的问题，达到了提高脉冲神经网络攻击成功率的效果。

可选的，本申请实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述对抗样本的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述对抗样本的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory， RAM）、磁碟或者光盘等。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种对抗样本的生成方法，其特征在于，包括：

对第一样本进行梯度下降处理，得到所述第一样本的第一梯度，其中，所述第一样本中的样本数据为二值数据，所述第一梯度中的数据为连续数值；

将所述第一梯度转换为第二梯度，其中，所述第二梯度中的数据为三值数据；

将所述第一样本中的样本数据与所述第二梯度中的数据结合，以生成目标对抗样本；其中，所述目标对抗样本中的样本数据的为二值数据；

其中，所述将所述第一梯度转换为第二梯度，包括：对所述第一梯度中的数据的绝对值进行归一化处理，得到第三梯度；其中，所述第三梯度中的数据为大于或等于零的连续数值；对所述第三梯度中的数据进行二值化处理，得到第四梯度，其中，所述第四梯度中的数据为二值数据；提取所述第一梯度中目标位置的数据的目标符号，并将所述目标符号添加到所述第四梯度中与所述目标位置对应的数据上；其中，添加符号后的第四梯度为所述第二梯度；

所述第一样本为以下至少一项转换得到：图像样本、语音样本、文字样本。

2.根据权利要求1所述的方法，其特征在于，所述二值化处理的方式包括二值采样；所述对所述第三梯度中的数据进行二值采样，得到第四梯度，包括：

确定所述第三梯度中的数据为所述二值采样的采样概率；

基于所述采样概率对所述第三梯度中的数据进行二值采样，得到所述第四梯度。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第三梯度中的数据为所述二值采样的采样概率中，所述采样概率为采样过程中得到二值数据中其中之一的概率。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一样本中的样本数据与所述第二梯度中的数据结合，以生成所述对抗样本，包括：

将所述第一样本与所述第二梯度中相同位置的数据进行累加得到第一对抗样本；

对第一对抗样本进行限幅转换以生成所述对抗样本。

5.根据权利要求4所述的方法，其特征在于，所述对第一对抗样本进行限幅转换以生成目标对抗样本，包括：

从所述第一对抗样本中确定出与所述二值数据不匹配的数据；

将所述第一对抗样本中与所述二值数据不匹配的数据转换为二值数据，生成所述目标对抗样本。

6.根据权利要求4所述的方法，其特征在于，所述限幅转换中的限幅是根据第一样本中的二值数据确定的。

7.根据权利要求1至6中任一所述的方法，其特征在于，所述第一样本为脉冲神经网络的输入样本。

8.根据权利要求1至6中任一所述的方法，其特征在于，所述第一样本为以下至少之一所采集的数据：动态视觉传感器、脑机接口。

9.一种对抗样本的生成装置，其特征在于，包括：

处理模块，用于对第一样本进行梯度下降处理，得到所述第一样本的第一梯度，其中，所述第一样本中的样本数据为二值数据，所述第一梯度中的数据为连续数值；

转换模块，用于将所述第一梯度转换为第二梯度，其中，所述第二梯度中的数据为三值数据；

生成模块，用于将所述第一样本中的样本数据与所述第二梯度中的数据结合，以生成目标对抗样本；其中，所述目标对抗样本中的样本数据的为二值数据；

其中，所述转换模块包括：归一化单元，用于对所述第一梯度中的数据的绝对值进行归一化处理，得到第三梯度；其中，所述第三梯度中的数据为大于或等于零的连续数值；采样单元，用于对所述第三梯度中的数据进行二值化处理，得到第四梯度，其中，所述第四梯度中的数据为二值数据；转换单元，用于提取所述第一梯度中目标位置的数据的目标符号，并将所述目标符号添加到所述第四梯度中与所述目标位置对应的数据上；其中，添加符号后的第四梯度为所述第二梯度；

所述第一样本为以下至少一项转换得到：图像样本、语音样本、文字样本。

10.根据权利要求9所述的装置，其特征在于，所述生成模块包括：

累加单元，用于将所述第一样本与所述第二梯度中相同位置的数据进行累加得到第一对抗样本；

生成单元，用于对第一对抗样本进行限幅转换以生成所述对抗样本。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现包括如权利要求1-8中任一项所述的对抗样本的生成方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现包括如权利要求1-8中任一项所述的对抗样本的生成方法的步骤。

Images