CN112633306A - 对抗图像的生成方法及装置 - Google Patents
对抗图像的生成方法及装置 Download PDFInfo
- Publication number
- CN112633306A CN112633306A CN201910907590.9A CN201910907590A CN112633306A CN 112633306 A CN112633306 A CN 112633306A CN 201910907590 A CN201910907590 A CN 201910907590A CN 112633306 A CN112633306 A CN 112633306A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- disturbance
- initial
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本申请公开了一种对抗图像的生成方法及装置，属于机器学习领域。该方法包括：向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动；将所述对抗扰动添加到初始图像中，得到对抗图像。该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，使得能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量。
Description
技术领域
本申请涉及机器学习领域，特别涉及一种对抗图像的生成方法及装置。
背景技术
在机器学习领域，为了验证基于深度神经网络训练得到的图像识别模型的可靠性，可以采用对抗图像对图像识别模型进行对抗攻击。
其中，对抗图像可以是基于初始图像生成的图像，且观察者不容易察觉到两个图像的区别。若图像识别模型将对抗图像和初始图像识别为不同的类别，则可以确定对抗攻击成功。
但是，目前基于初始图像所生成的对抗图像的图像质量较差，观察者有可能会很容易察觉出对抗图像与初始图像的区别，导致对抗攻击的性能不高。
发明内容
本申请实施例提供了一种对抗图像的生成方法及装置。可以解决现有技术的对抗图像的图像质量较差的问题，所述技术方案如下：
一方面，提供了一种对抗图像的生成方法，所述方法包括：
向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动；
将所述对抗扰动添加到所述初始图像中，得到对抗图像；
其中，所述初始图像与所述对抗图像的结构相似性指数大于结构相似性指数阈值，所述对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，所述目标图像为不同于所述初始图像的图像。
可选的，在所述向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动之前，所述方法还包括：
获取训练样本集以及所述目标图像，所述训练样本集包括：多帧初始训练图像，每帧所述初始训练图像均与所述目标图像不同；
基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，所述目标损失函数用于表征：所述初始训练图像与对抗训练图像的结构相似性的损失值，以及所述训练对抗图像与所述目标图像的特征相似性的损失值；
其中，所述对抗训练图像为：向所述生成网络模型输入所述初始训练图像得到所述生成网络模型输出的原始对抗扰动后，将所述原始对抗扰动添加到所述初始训练图像中得到的图像。
可选的，基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，包括：
基于所述训练样本集、所述目标图像以及所述目标损失函数，对所述生成网络模型执行多次训练过程，以得到所述扰动生成模型；
其中，每次所述训练过程包括：
向所述生成网络模型输入所述训练样本集；
基于所述训练样本集以及所述生成网络模型的输出结果，生成与多帧所述初始训练图像一一对应的多帧所述对抗训练图像；
基于多帧所述初始训练图像和多帧所述对抗训练图像，确定所述初始训练图像和所述对抗训练图像的平均结构相似性损失值；
基于多帧所述对抗训练图像和所述目标图像，确定所述对抗训练图像和所述目标图像的平均特征相似性损失值；
基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述目标损失函数，确定梯度信息；
将所述梯度信息反向传播给所述生成网络模型，以使所述生成网络模型能够基于所述梯度信息，修改所述生成网络模型的参数。
可选的，基于所述训练样本集以及所述生成网络模型的输出结果，生成与多帧所述初始训练图像一一对应的多帧所述对抗训练图像，包括：
获取所述生成网络模型输出的与每帧所述初始训练图像对应的原始对抗扰动；
对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动；
将所述高频滤除处理后的原始对抗扰动添加到对应的初始训练图像上，得到多帧所述对抗训练图像。
可选的，对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动，包括：
对所述生成网络模型输出的每个原始对抗扰动进行离散余弦变换处理，得到与每个所述原始对抗扰动对应的频域图像；
对所述频域图像进行高频信息滤除处理，得到与每个所述原始对抗扰动对应的高频信息滤除处理后的频域图像；
对所述高频信息滤除处理后的频域图像进行离散余弦反变换处理，得到所述与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动。
可选的，对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动之前，所述训练过程还包括：
对所述生成网络模型输出的每个原始对抗扰动进行背景噪声去除处理，得到与每帧所述初始训练图像对应的背景噪声去除处理后的原始对抗扰动；
对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动，包括：
对所述背景噪声去除处理后的原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动。
可选的，基于多帧所述初始训练图像和多帧所述对抗训练图像，确定所述初始训练图像和所述对抗训练图像的平均结构相似性损失值，包括：
基于多帧所述初始训练图像和多帧所述对抗训练图像，确定每帧所述初始训练图像和对应的对抗训练图像结构相似性指数；
基于每帧所述初始训练图像和对应的对抗训练图像结构相似性指数，确定每帧所述初始训练图像和对应的对抗训练图像的结构相似性损失值；
基于每帧所述初始训练图像以及对应的对抗训练图像结构相似性损失值，确定所述平均结构相似性损失值。
可选的，基于多帧所述对抗训练图像和所述目标图像，确定所述对抗训练图像和所述目标图像的平均特征相似性损失值，包括：
获取特征提取模型；
向所述特征提取模型输入每帧所述对抗训练图像，得到与每帧所述对抗训练图像对应的第一特征向量；
向所述特征提取模型输入所述目标图像，得到与所述目标图像对应的第二特征向量；
基于每个所述第一特征向量和第二特征向量，确定每帧所述对抗训练图像和所述目标图像的特征相似性指数；
基于每帧所述对抗训练图像和所述目标图像的特征相似性指数，确定每帧所述对抗训练图像和所述目标图像的特征相似性损失值；
基于每帧所述对抗训练图像和所述目标图像的特征相似性损失值，确定所述平均特征相似性损失值。
可选的，所述获取特征提取模型，包括：
若获取到所述对抗图像需要攻击的图像识别模型，将所述图像识别模型确定为所述特征提取模型；
若未获取到所述对抗图像需要攻击的图像识别模型，将事先训练好的代理模型确定为所述特征提取模型。
可选的，基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述目标损失函数，确定梯度信息，包括：
基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述平均结构相似性损失值的权重，确定目标函数损失值；
对所述目标函数损失值进行求导处理，得到求导处理后的目标函数损失值；
基于所述求导处理后的目标函数损失值，确定所述梯度信息。
可选的，对所述生成网络模型执行多次训练过程，以得到所述扰动生成模型，包括：
将执行多次训练过程后的生成网络模型确定为所述扰动生成模型。
可选的，将所述对抗扰动添加到所述初始图像中，得到对抗图像，包括：
对所述扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动；
对所述背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动；
将所述高频滤除处理后的对抗扰动添加到所述初始图像中，得到所述对抗图像。
可选的，所述对抗图像用于对待攻击的图像识别模型进行定向攻击；
或者，所述对抗图像用于作为样本数据训练神经网络模型，以得到能够避免被对抗扰动干扰的图像识别模型。
可选的，所述初始图像与所述目标图像均为人脸关键点对齐和/或图像大小一致的人脸图像，所述人脸关键点包括：眼睛的中心、嘴巴的中心和鼻尖中的至少一个；或者，所述初始图像与所述目标图像均为图像大小一致的车牌图像。
另一方面，提供了一种对抗图像的生成装置，所述装置包括：
对抗扰动生成模块，用于向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动；
对抗图像生成模块，用于将所述对抗扰动添加到所述初始图像中，得到对抗图像；
其中，所述初始图像与所述对抗图像的结构相似性指数大于结构相似性指数阈值，所述对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，所述目标图像为不同于所述初始图像的图像。
可选的，所述装置还包括：
获取模块，用于获取训练样本集以及所述目标图像，所述训练样本集包括：多帧初始训练图像，每帧所述初始训练图像均与所述目标图像不同；
训练模块，用于基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，所述目标损失函数用于表征：所述初始训练图像与对抗训练图像的结构相似性的损失值，以及所述训练对抗图像与所述目标图像的特征相似性的损失值；
其中，所述对抗训练图像为：向所述生成网络模型输入所述初始训练图像得到所述生成网络模型输出的原始对抗扰动后，将所述原始对抗扰动添加到所述初始训练图像中得到的图像。
可选的，所述对抗图像生成模块，包括：
背景噪声去除单元，用于对所述扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动；
高频滤除处理单元，用于对所述背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动；
对抗图像生成单元，用于将所述高频滤除处理后的对抗扰动添加到所述初始图像中，得到所述对抗图像。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过向扰动生成模型输入初始图像，使得该扰动生成模型能够输出对抗扰动，将该对抗扰动添加到初始图像中即可得到对抗图像。在扰动生成模型的训练阶段，同时考虑到了初始训练图像和对抗训练图像的结构相似性，以及对抗训练图像和目标图像的特征相似性，使得该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量，进而有效的提高了对抗攻击的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种对抗图像的生成方法所涉及的一种实施环境的示意图；
图2是本申请实施例提供的一种对抗图像的生成方法；
图3是本申请实施例提供的另一种对抗图像的生成方法；
图4是本申请实施例提供的一种对生成网络模型执行一次训练过程的方法流程图；
图5是本申请实施例提供的一种对生成网络模型执行一次训练过程时，对于一帧初始训练图像的处理流程图；
图6是本申请实施例提供的一种对抗图像的生成装置的框图；
图7是本申请实施例提供的另一种对抗图像的生成装置的框图；
图8是本申请实施例提供的一种对抗图像生成模块的框图；
图9是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，图1是本申请实施例提供的一种对抗图像的生成方法所涉及的一种实施环境的示意图。该实施环境可以包括终端101和服务器102。该终端101可以为计算机、平板电脑、智能手机、车载导航仪、多媒体播放器或者可穿戴式设备等。该服务器102可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。并且该终端101与服务器102之间可以通过有线或无线网络建立连接。
该服务器102中可以部署有图像识别模型，该图像识别模型可以为采用深度神经网络或卷积神经网络等进行学习训练得到的人工智能(英文：Artificial Intelligence，简称：AI)模型。其中，该图像识别模型可以为人脸识别模型、车牌识别模型或者路标识别模型等。
终端101可以基于初始图像生成对抗图像，并将该对抗图像发送给服务器102。服务器102接收到该对抗图像后，向该服务器102中的图像识别模型输入该对抗图像，从而实现了对抗图像对图像识别模型进行对抗攻击。
采用对抗图像对图像识别模型进行对抗攻击可以分为定向攻击和非定向攻击。其中，非定向攻击是指：图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果不同；定性攻击是指：图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果相同。该目标图像为：不同于对抗图像的图像，例如，假设该图像识别模型为人脸识别模型，该目标图像中的人脸与对抗图像中的人脸不同。
需要说明的是，本申请实施例所生成的对抗图像用于对图像识别模型进行定向攻击。在采用对抗图像对图像识别模型进行对抗攻击的过程中，若图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果相同，则此次对抗攻击成功；若图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果不同，则此次对抗攻击失败。
还需要说明的是，该实施环境中也可以仅包括终端101，而不包括该服务器102，该图像识别模型可以直接部署于终端101中。在该实现方式中，终端101也可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
请参考图2，图2是本申请实施例提供的一种对抗图像的生成方法。该方法可以由对抗图像的生成设备执行，该对抗图像的生成设备可以是图1所示实施环境中的终端101。该对抗扰动的生成方法可以包括：
步骤201、向扰动生成模型输入初始图像，得到扰动生成模型输出的对抗扰动。
步骤202、将对抗扰动添加到初始图像中，得到对抗图像。
在本申请实施例中，终端可以向扰动生成模型输入初始图像，使得其可以获取到由扰动生成模型输出的对抗扰动。终端可以将该该对抗扰动添加到初始图像中即可得到对抗图像。无需单独对初始图像进行多次优化后生成对抗图像，有效的提高了对抗图像的生成效率。需要说明的是，该对抗扰动可以为特定的噪声，对抗图像为在初始图像上添加特定的噪声后得到的图像。
在本申请实施例中，该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，其中，目标图像为不同于初始图像的图像。可以保证通过该扰动生成模型得到的对抗图像与初始图像的结构尽可能的相似，也即是，通过肉眼无法分辨出对抗图像与原始图像的区别，提高了对抗图像的图像质量。同时，可以保证对抗图像与目标图像的特征尽快的相似，也即是，通过待攻击的图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果尽可能的相同，提高了对抗图像对图像识别模型进行对抗攻击的成功率。
综上所述，本申请实施例提供的对抗图像的生成方法，通过向扰动生成模型输入初始图像，使得该扰动生成模型能够输出对抗扰动，将该对抗扰动添加到初始图像中即可得到对抗图像。该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量，进而有效的提高了对抗攻击的性能。
请参考图3，图3是本申请实施例提供的另一种对抗图像的生成方法。该方法可以由对抗图像的生成设备执行，该对抗图像的生成设备可以是图1所示实施环境中的终端101。该对抗扰动的生成方法可以包括：
步骤301、获取训练样本集以及目标图像。
在本申请实施例中，该训练样本集包括：多帧初始训练图像，训练样本集中的每一帧初始训练图像可以各不相同。该目标图像可以为不同于初始训练图像的图像，本申请中的目标图像与训练样本集中的每一帧初始训练图像均不同。
可选的，终端可以获取诸如监控摄像机或者抓拍机等摄像设备采集的多帧各不相同的图像。终端可以在摄像设备采集的多帧图像中筛选若干帧图像作为多帧初始训练图像，以及筛选一帧图像作为目标图像，从而使得终端可以获取到训练样本集以及目标图像。
例如，假设待攻击的图像识别模型为人脸识别模型，则初始训练图像与目标图像均为人脸图像，终端需要获取摄像设备采集的多帧人脸各不相同的图像。此时，终端可以在多帧人脸各不相同的图像中筛选若干帧图像作为多帧初始训练图像，并且筛选人脸与每一帧初始训练图像中的人脸均不同的一帧图像作为目标图像。
在一种可实现方式中，人脸识别模型的输入的设定条件是人脸关键点(例如，眼睛的中心、嘴巴的中心和鼻尖等)对齐的人脸图像。此时，初始训练图像和目标图像先进行诸如人脸检测处理和人脸关键点对齐处理等预处理操作以得到人脸关键点对齐的人脸图像，将人脸关键点对齐的人脸图像确定为符合人脸识别模型输入的设定条件的人脸图像。
在另一种可实现方式中，人脸识别模型输入的设定条件是图像大小一致的人脸图像。此时，初始训练图像和目标图像先进行诸如人脸检测处理和图像大小对齐处理等预处理操作以得到图像大小一致的人脸图像，将图像大小一致的人脸图像确定为符合人脸识别模型输入的设定条件的人脸图像。
在又一种可实现方式中，人脸识别模型输入的设定条件是人脸关键点对齐和图像大小一致的人脸图像。此时，初始训练图像和目标图像先进行诸如人脸检测处理、人脸关键点对齐处理和图像大小对齐处理等预处理操作以得到人脸关键点对齐和图像大小一致的人脸图像，将人脸关键点对齐和图像大小一致的人脸图像确定为符合人脸识别模型输入的设定条件的人脸图像。
又例如，假设待攻击的图像识别模型为车牌识别模型，则初始训练图像与目标图像均为车牌图像，终端需要获取摄像设备采集的多帧车牌各不相同的图像。此时，终端可以在多帧车牌各不相同的图像中筛选若干帧图像作为多帧初始训练图像，并且筛选车牌与每一帧初始训练图像中的车牌均不同的一帧图像作为目标图像。
在本发明实施例中，车牌识别模型输入的设定条件是图像大小一致的车牌图像。此时，初始训练图像和目标图像先进行诸如车牌检测处理和图像大小对齐处理等预处理操作以得到图像大小一致的车牌图像，将图像大小一致的车牌图像确定为符合车牌识别模型输入的设定条件的车牌图像。例如，经过车牌检测处理和图像大小对齐处理后初始训练图像和目标训练图像都是大小为500*500像素的车牌图像。
步骤302、基于训练样本集、目标图像以及目标损失函数，对生成网络模型进行训练，得到扰动生成模型。
在本申请实施例中，终端在获取到训练样本集和目标图像后，需要基于训练样本集、目标图像以及目标损失函数，对生成网络模型进行训练，得到扰动生成模型。该目标损失函数用于表征：初始训练图像与对抗训练图像的结构相似性的损失值，以及训练对抗图像与目标图像的特征相似性的损失值。
需要说明的是，终端在向生成网络模型输入初始训练图像后，该生成网络模型能够输出原始对抗扰动，在该原始对抗图像添加到初始训练图像后，即可得到对抗训练图像。
可选的，终端对生成网络模型进行训练得到扰动生成模型时，所采用的目标函数为：
其中，X表示初始训练图像；Xa表示与初始训练图像对应的对抗训练图像；T表示目标图像；Ladv(Xa,T)为对抗训练图像和目标图像的特征相似性损失值；SSIM(X,Xa)为初始训练图像和对应的对抗训练图像的结构相似性指数；SSIMmin为初始训练图像和对应的对抗训练图像的结构相似性的约束指数，例如，其取值可以为0.98；δ*代表最优的对抗扰动。
当对抗训练图像Xa为将该最优的对抗扰动δ*添加到初始训练图像X所生成的图像时，可以在保证初始训练图像X和对抗训练图像Xa的结构相似性指数大于或等于SSIMmin的前提下，使得对抗训练图像Xa和目标图像T的特征相似性损失值最小。也即是，在保证通过肉眼无法分辨出初始训练图像X和对抗训练图像Xa的区别的前提下，能够让对抗训练图像Xa能够对待攻击的图像识别模型攻击成功。
需要说明的是，该生成网络模型为初始的用于生成原始对抗扰动的模型，通过该生成网络模型生成的原始对抗扰动的误差较大，因此在本申请实施例中需要对该生成网络模型进行训练，使得处于训练阶段中的生成网络模型所生成的原始对抗扰动能够不断的最优的对抗扰动δ*靠近，进而使得进行训练后得到的扰动生成模型能够生成误差较小的对抗扰动。
还需要说明的是，由于在扰动生成模型的训练阶段，考虑到了对抗训练图像和目标图像的特征相似性，采用了对抗训练图像和目标图像的特征相似性损失函数对生成网络模型所生成的原始对抗扰动进行约束，因此，无需对每个初始训练图像添加相应的标签，对生成网络模型的训练过程属于无标签的自监督的训练过程，有效的简化了在生成网络模型的训练阶段获取训练样本集的过程。
示例的，上述步骤302可以包括：基于训练样本集、目标图像以及目标损失函数，对生成网络模型执行多次训练过程，以得到扰动生成模型。
在本申请实施例中，对生成网络模型执行多次训练过程，以得到扰动生成模型，包括：将执行多次训练过程后的生成网络模型确定为扰动生成模型。需要说明的是，假设在训练阶段需要执行100训练过程，则终端可以将执行100次训练过程后的生成网络模型确定为扰动生成模型。
请参考图4，图4是本申请实施例提供的一种对生成网络模型执行一次训练过程的方法流程图。该训练过程可以包括以下几个步骤：
步骤3021、向生成网络模型输入训练样本集。
在本申请实施例中，终端可以向生成网络模型输入训练样本集。需要说明的是，本申请实施例中在每次对生成网络模型执行的训练过程时，需要向生成网络模型输入训练样本集，而非单一的一帧初始训练图像，使得后续对生成网络模型进行训练时，能够考虑不同的初始训练图像对生成网络模型的影响，进而使得后续训练出的扰动生成模型的鲁棒性较好。
示例的，终端在生成网络模型输入训练样本集时，是将多帧初始训练图像同时输入到生成网络模型中的。请参考图5，图5是本申请实施例提供的一种对生成网络模型执行一次训练过程时，对于一帧初始训练图像的处理流程图，生成网络模型001可以包括：编码器网络01。该编码器网络01用于接收初始训练图像X，也即是，终端可以向生成网络模型001中的编码器网络01输入训练样本集中的每一帧初始训练图像X。需要说明的是，终端向生成网络模型001中的编码器网络01输入的初始训练图像X的分辨率，与待攻击的图像识别模型所输入的图像的分辨率相同。
步骤3022、基于训练样本集以及生成网络模型的输出结果，生成与多帧初始训练图像一一对应的多帧对抗训练图像。
在本申请实施例中，终端可以基于训练样本集以及生成网络模型的输出结果，生成与多帧初始训练图像一一对应的多帧对抗训练图像。该生成多帧对抗训练图像的方法可以包括以下几个步骤：
步骤A1、获取生成网络模型输出的与每帧初始训练图像对应的原始对抗扰动。
在本申请实施例中，终端可以获取生成网络模型输出的与每帧初始训练图像对应的原始对抗扰动。例如，终端在向生成网络模型输入训练样本集后，生成网络模型能够输出与每帧初始训练图像对应的原始对抗扰动，进而使得终端能够获取与生成网络模型输出的与每帧初始训练图像对应的原始对抗扰动。
示例的，如图5所示，生成网络模型001还可以包括：解码器网络02，该解码器网络02用于输出与初始训练图像X对应的原始对抗扰动δ，此时，终端可以获取到由解码器网络02输出的与每帧初始训练图像X对应的原始对抗扰动δ。该原始对抗扰动δ为一幅每个像素点均为噪声信息的噪声图像。
可选的，原始对抗扰动δ的分辨率可以小于或等于初始训练图像X的分辨率。例如，当原始对抗扰动δ的分辨率可以小于初始训练图像X的分辨率时，假设初始训练图像X为人脸图像，该原始对抗扰动δ的分辨率大小近似等于人脸图像中的脸部区域的分辨率的大小，其可以通过人脸图像中人脸的下巴到人脸的额头之间分布的像素个数件估算。
步骤B1、对生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
在本申请实施例中，终端可以对生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
例如，如图5所示，终端对原始对抗扰动δ进行高频滤除处理后，可以得到与初始训练图像X对应的高频滤除处理后的原始对抗扰动δdct。该高频滤除处理后的原始对抗扰动δdct为低频且平滑的对抗扰动，后续通过该高频滤除处理后的原始对抗扰动δdct生成对抗训练图像时，所生成的对抗训练图像的噪声较低，且图像质量较高，且对抗训练图像的鲁棒性较好。
示例的，该步骤B1可以包括以下几个步骤：
步骤B11、对生成网络模型输出的每个原始对抗扰动进行离散余弦变换处理，得到与每个原始对抗扰动对应的频域图像。
在本申请实施例中，终端可以对生成网络模型输出的每个原始对抗扰动进行离散余弦变换处理，得到与每个原始对抗扰动对应的频域图像。终端对原始对抗扰动进行离散余弦变换处理后，可以将原始对抗扰动映射到频域空间，从而可以得到与原始对抗扰动的分辨率相同的频域图像。
示例的，对该原始对抗扰动δ进行离散余弦变换处理后，可以得到与该原始对抗扰动δ对应的频域图像DCT(δ)。
步骤B12、对频域图像进行高频信息滤除处理，得到与每个原始对抗扰动对应的高频信息滤除处理后的频域图像。
在本申请实施例中，终端可以对频域图像进行高频信息滤除处理，得到与每个原始对抗扰动对应的高频信息滤除处理后的频域图像。
示例的，在经过离散余弦变换处理后得到的频域图像DCT(δ)中，左上角的区域所记录的信息的为低频信息，而右下角的区域所记录的信息为高频信息。因此，终端可以保留频域图像DCT(δ)左上角rd×rd的区域中记录的信息，而滤除除该左上角rd×rd的区域之外的区域所记录的信息，从而可以得到与频域图像DCT(δ)对应的高频滤除处理后的频域图像DCT(δij)。该rd为高频滤除的门限值，其取值可以为20；i，j∈[0,rd－1]；ij表示左上角rd×rd的区域每个像素点的位置。
例如，终端可以保留频域图像DCT(δ)左上角20×20区域中每个像素点记录的信息，而除该20×20区域之外的每个像素点的信息采用0进行填充。
步骤B13、对高频信息滤除处理后的频域图像进行离散余弦反变换处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
在本申请实施例中，终端对高频信息滤除处理后的频域图像进行离散余弦反变换处理后，可以得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
示例的，与初始训练图像对应的高频滤除处理后的原始对抗扰动可以采用以下采用高频滤除计算公式进行计算得到。该高频滤除计算公式为：
δdct＝IDCT(DCT(δij))；i，j∈[0,rd－1]；
其中，δdct为高频滤除处理后的原始对抗扰动；rd为高频滤除的门限值，其取值可以为20；DCT(δij)为高频信息滤除处理后的频域图像；IDCT(·)表示对高频信息滤除处理后的频域图像进行离散余弦反变换处理。
由该高频滤除计算公式可知，对高频信息滤除处理后的频域图像进行离散余弦反变换处理后，即可得到高频滤除处理后的原始对抗扰动。
需要说明的是，通过上述步骤B11至步骤B13，终端可以获取到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
在本申请实施例中，假设初始训练图像X为人脸图像，该初始训练图像X除了包括人脸信息外，还包括诸如头发和脖颈等其他信息，而后续在生成对抗训练图像时，需要将高频滤除处理后的原始对抗扰动δdct添加到初始训练图像X的人脸上即可。因此，在上述步骤B1之前，该训练过程还可以包括：对生成网络模型输出的每个原始对抗扰动进行背景噪声去除处理，得到与每帧初始训练图像对应的背景噪声去除处理后的原始对抗扰动。此时，该步骤B1可以包括：对背景噪声去除处理后的原始对抗扰动进行高频滤除处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
示例的，如图5所示，终端可以采用背景噪声去除图像A对生成网络模型001输出的原始对抗扰动δ进行背景噪声去除处理，得到与初始训练图像X对应的背景噪声去除处理后的对抗扰动。此时，终端需要对背景噪声去除处理后的对抗扰动执行上述步骤B11至步骤B13，进而得到与初始训练图像X对应的高频滤除处理的δdct。当对原始对抗扰动δ进行背景噪声去除处理时，终端对生成网络模型进行训练的过程中，不会再考虑到原始对抗扰动δ的背景噪声对生成网络模型的影响，进一步的提高了训练出的扰动生成模型的鲁棒性。
例如，假设初始训练图像X为人脸图像，通过生成网络模型输出的原始对抗扰动δ为矩形的噪声图像，终端采用背景噪声图像A对原始对抗扰动δ进行背景噪声去除处理后，得到的背景噪声去除处理后的对抗扰动并非矩形的噪声图像，而是与初始训练图像X的人脸匹配的近似为椭圆形的噪声图像。
步骤C1、将高频滤除处理后的原始对抗扰动添加到对应的初始训练图像上，得到多帧对抗训练图像。
在本申请实施例中，终端可以将高频滤除处理后的原始对抗扰动添加到对应的初始训练图像上，得到多帧对抗训练图像。
示例的，如图5所示，由于原始对抗扰动δ为每个像素点均为噪声信息的噪声图像，因此高频滤除处理后的原始对抗扰动δdct也为噪声图像，且其每个像素点记录的信息为高频滤除处理后的噪声信息。终端将该高频滤除处理后的原始对抗扰动δdct中的每个像素点记录的噪声信息添加到初始训练图像X中对应的像素点中，即可得到与该初始训练图像X对应的对抗训练图像Xa。
示例的，假设初始训练图像X为人脸图像，终端可以将该高频滤除处理后的原始对抗扰动δdct中的每个像素点记录的噪声信息，添加到初始训练图像X中的人脸所在区域的对应的像素点中，即可得到对抗训练图像Xa。
需要说明的是，终端通过上述步骤A1至步骤C1可以得到与多帧初始训练图像一一对应的多帧对抗训练图像。
步骤3023、基于多帧初始训练图像和多帧对抗训练图像，确定初始训练图像和对抗训练图像的平均结构相似性损失值。
在本申请实施例中，终端可以基于多帧初始训练图像和多帧对抗训练图像，确定初始训练图像和对抗训练图像的平均结构相似性损失值。
示例的，该步骤3023可以包括以下几个步骤：
步骤A2、基于多帧初始训练图像和多帧对抗训练图像，确定每帧初始训练图像和对应的对抗训练图像结构相似性指数。
在本申请实施例中，终端可以基于多帧初始训练图像和多帧对抗训练图像，确定每帧初始训练图像和对应的对抗训练图像结构相似性指数。
示例的，如图5所示，终端可以采用结构相似性指数计算公式计算每帧初始训练图像X和对应的对抗训练图像Xa的结构相似性指数SSIM(X,Xa)。
在本申请实施例中，该结构相似性指数计算公式为：
其中，p与q代表两副人脸图像，例如，p可以为初始训练图像X，q可以为与该初始训练图像X对应的对抗训练图像Xa；μp为图像p在11×11滑窗下的像素值的均值；μq为图像q在11×11滑窗下的像素值的均值；σp为图像p在11×11滑窗下的像素值的方差；σq为图像q在11×11滑窗下的像素值的方差；σpq为图像p与图像q之间的协方差；ε1＝1e-4；ε2＝9e-4。
需要说明的是，该初始训练图像和对应的对抗训练图像的结构相似性指数SSIM(X,Xa)的范围为[0，1]，其值越大，代表初始训练图像和对抗训练图像的结构越相似，也即是，肉眼越无法观察出两副图像的区别。
步骤B2、基于每帧初始训练图像和对应的对抗训练图像结构相似性指数，确定每帧初始训练图像和对应的对抗训练图像的结构相似性损失值。
在本申请实施例中，终端基于每帧初始训练图像和对应的对抗训练图像结构相似性指数，确定每帧初始训练图像和对应的对抗训练图像的结构相似性损失值。
示例的，如图5所示，终端可以采用结构相似性损失函数，计算每帧初始训练图像X和对应的对抗训练图像Xa的结构相似性损失值LSSIM(X,Xa)。
在本申请实施例中，该结构相似性损失函数为：
LSSIM(X,Xa)＝max(SSIM(X,Xa)-SSIMmin,0)；
其中，X为初始训练图像；Xa为与初始训练图像对应的对抗训练图像；LSSIM(X,Xa)为初始训练图像和对应的对抗训练图像结构相似性损失值；SSIM(X,Xa)为初始训练图像和对应的对抗训练图像的结构相似性指数；SSIMmin为初始训练图像和对应的对抗训练图像的结构相似性的约束指数，其取值可以为0.98。
步骤C2、基于每帧训练图像以及对应的对抗训练图像结构相似性损失值，确定平均结构相似性损失值。
在本申请实施例中，终端可以基于每帧初始训练图像以及对应的对抗训练图像，确定初始训练图像和对抗训练图像的平均结构相似性损失值。
示例的，终端可以对每帧初始训练图像以及对应的对抗训练图像的结构相似性损失值进行求和处理，并将求和处理后的结果除以多帧初始训练图像的帧数，便可以得到该平均结构相似性损失值。
步骤3024、基于多帧对抗训练图像和目标图像，确定对抗训练图像和目标图像的平均特征相似性损失值。
在本申请实施例中，终端可以基于多帧对抗训练图像和目标图像，确定对抗训练图像和目标图像的平均特征相似性损失值。
示例的，该步骤3024可以包括以下几个步骤：
步骤A3、获取特征提取模型。
在本申请实施例中，终端可以获取特征提取模型。示例的，终端获取特征提取模型可以包括以下几个步骤：
步骤A31、检测是否可以获取到对抗图像需要攻击的图像识别模型。
在本申请实施例中，在采用对抗图像对图像识别模型进行定向攻击时，若该对抗攻击为白盒对抗攻击，则终端可以获取到对抗图像需要攻击的图像识别模型，此时，执行步骤A32；若该对抗攻击为黑盒对抗攻击，则终端无法获取到对抗图像需要攻击的图像识别模型，此时，执行步骤A33。
其中，黑盒对抗攻击是指待攻击的图像识别模型的结构和参数未知；白盒对抗攻击是指待攻击的图像识别模型的结构和参数已知。
步骤A32、若获取到对抗图像需要攻击的图像识别模型，将图像识别模型确定为特征提取模型。
在本申请实施例中，若终端获取到对抗图像需要攻击的图像识别模型，终端可以将该图像识别模型确定为特征提取模型。
步骤A33、若未获取到对抗图像需要攻击的图像识别模型，将事先训练好的代理模型确定为特征提取模型。
在本申请实施例中，若终端获取到对抗图像需要攻击的图像识别模型，终端可以将事先训练好的代理模型确定为特征提取模型。
可选的，该代理模型为不同于对抗图像需要攻击的图像识别模型。例如，假设对抗图像需要攻击的图像识别模型为人脸识别模型，则该代理模型可以为事先训练好的人脸识别模型，也可以为已知的一些常用的人脸识别模型。
步骤B3、向特征提取模型输入每帧对抗训练图像，得到与每帧对抗训练图像对应的第一特征向量。
在本申请实施例中，终端可以向特征提取模型输入每帧对抗训练图像，得到与每帧对抗训练图像对应的第一特征向量。
示例的，该特征提取模型可以对输入的对抗训练图像进行特征提取处理后输出与该对抗训练图像对应的第一特征向量，进而使得终端能够获取到该特征提取器输出的第一特征向量。
步骤C3、向特征提取模型输入目标图像，得到与目标图像对应的第二特征向量。
在本申请实施例中，终端可以向特征提取模型输入目标图像，得到与该目标图像对应的第二特征向量。
示例的，该特征提取模型可以对输入的目标图像进行特征提取处理后输出与该目标图像对应的第二特征向量，进而使得终端能够获取到该特征提取器输出的第二特征向量。
步骤D3、基于每个第一特征向量和第二特征向量，确定每帧对抗训练图像和目标图像的特征相似性指数。
在本申请实施例中，终端可以基于每个第一特征向量和第二特征向量，确定每帧对抗训练图像和目标图像的特征相似性指数。
示例的，如图5所示，终端可以采用特征相似性指数计算公式计算每帧对抗训练图像Xa和目标图像T的特征相似性指数。该特征相似性指数可以为特征向量的余弦相似性指数similarity(F(Xa),F(T))。
在本申请实施例中，该特征相似性指数计算公式为：
该特征相似性指数计算公式为：
其中，Xa为对抗训练图像；T为目标图像；F(Xa)为第一特征向量；F(T)为第二特征向量。
需要说明的是，该对抗训练图像和目标图像的特征向量的余弦相似性指数similarity(F(Xa),F(T))的范围为[-1，1]，其值越大，代表对抗训练图像和目标图像的特征越相似，也即是，采用待攻击的图像识别模型对该对抗图像的识别结果与该图像识别模型对目标图像的识别结果相同的概率越高。
步骤E3、基于每帧对抗训练图像和目标图像的特征相似性指数，确定每帧对抗训练图像和目标图像的特征相似性损失值。
在本申请实施例中，终端可以基于每帧对抗训练图像和目标图像的特征相似性指数，确定每帧对抗训练图像和目标图像的特征相似性损失值。
示例的，如图5所示，终端可以将抗训练图像Xa与目标图像T输入至特征提取模型002，使得该特征提取模型002能够对其进行特征提取处理后输出第一特征向量和第二特征向量，进而使得在终端获取到特征提取模型002输出的第一特征向量和第二特征向量后，可以基于该第一特征向量和第二特征向量，采用特征相似性损失函数，计算每帧对抗训练图像Xa与目标图像T的特征相似性损失值Ladv(Xa,T)。
在本申请实施例中，该特征相似性损失函数为：
Ladv(Xa,T)＝1-(1-similarity(F(Xa),F(T)))/2；
其中，Xa为对抗训练图像；T为目标图像；Ladv(Xa,T)为对抗训练图像和目标图像的特征相似性损失值；F(Xa)为第一特征向量；F(T)为第二特征向量；similarity(F(Xa),F(T))为对抗训练图像和目标图像的特征向量的余弦相似性指数。
步骤F3、基于每帧对抗训练图像和目标图像的特征相似性损失值，确定平均特征相似性损失值。
在本申请实施例中，终端可以基于每帧对抗训练图像和目标图像的特征相似性损失值，确定平均特征相似性损失值。
示例的，终端可以对每帧对抗训练图像和目标图像的特征相似性损失值进行求和处理，并将求和处理后的结果除以多帧对抗训练图像的帧数，便可以得到该平均特征相似性损失值。
步骤3025、基于平均结构相似性损失值和平均特征相似性损失值，以及目标损失函数，确定梯度信息。
在本申请实施例中，终端可以基于平均结构相似性损失值和平均特征相似性损失值，以及目标损失函数，确定梯度信息。示例的，该步骤3025可以包括以下几个步骤：
步骤A4、基于平均结构相似性损失值和平均特征相似性损失值，以及平均特征相似性损失值的权重，确定目标函数损失值。
在本申请实施例中，终端可以基于平均结构相似性损失值和平均特征相似性损失值，以及平均结构相似性损失值的权重，确定目标函数损失值。
示例的，终端可以采用目标损失函数确定目标函数损失值。该目标损失函数为：
其中，L(X,T)为目标函数损失值；
为平均特征相似性损失值，
为平均结构相似性损失值；λ为平均结构相似性损失值的权重。
步骤B4、对目标函数损失值进行求导处理，得到求导处理后的目标函数损失值。
在本申请实施例中，终端可以对目标函数损失值进行求导处理，得到求导处理后的目标函数损失值。
步骤C4、基于求导处理后的目标函数损失值，确定梯度信息。
在本申请实施例中，终端可以基于基于求导处理后的目标函数损失值，确定梯度信息。
需要说明的是，终端通过上述步骤A4至步骤C4能够确定出梯度信息。
步骤3026、将梯度信息反向传播给生成网络模型，以使生成网络模型能够基于梯度信息，修改生成网络模型的参数。
在本申请实施例中，终端可以基于将梯度信息反向传播给生成网络模型，以使生成网络模型能够基于梯度信息，修改生成网络模型的参数。在生成网络模型的参数修改后，终端需要重新执行步骤3021至步骤3026的训练过程。
由于该梯度信息是基于平均结构相似性损失值和平均特征相似性损失值确定的，因此该梯度信息同时考虑到了初始训练图像和对抗训练图像的结构相似性，以及，对抗训练图像和对抗特征图像的特征相似性。终端在通过该梯度信息对生成网络模型的参数进行调整后，终端基于当前参数调整后的生成网络模型，获取到的初始训练图像和对抗训练图像的结构相似性指数会有所提高；终端基于当前参数调整后的生成网络模型，获取到的对抗训练图像和目标图像的特征相似性指数也会有所提高。因此，随着终端对生成网络模型的执行训练过程的次数的增加，终端基于该生成网络模型获取到的对抗训练图像，与初始图像的结构越来越相似，并且与目标图像的特征越来越相似。
在本申请实施例中，终端对生成网络模型重复执行多次上述步骤3021至步骤3026的训练过程后，终端可以将执行了多次训练过程后的生成网络模型确定为扰动生成模型。例如，终端可以将执行了100次训练过程后的生成网络模型确定为扰动生成模型。
步骤303、向扰动生成模型输入初始图像，得到扰动生成模型输出的对抗扰动。
在本申请实施例中，终端可以向扰动生成模型输入初始图像，得到扰动生成模型输出的对抗扰动。
示例的，假设待攻击的图像识别模型为人脸识别模型，则终端向扰动生成模型输入的初始图像为人脸图像，并且，需要保证向扰动生成模型输入的初始图像的分辨率与待攻击的图像识别模型所输入的图像的分辨率保持一致。
步骤304、将对抗扰动添加到初始图像中，得到对抗图像。
在本申请实施例中，终端可以将扰动生成模型输出的对抗扰动添加到初始图像中，可以得到对抗图像。该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。
需要说明的是，在基于扰动生成模型生成对抗图像的过程和原理可以参考上述步骤A1至步骤C1，也即是，可以参考在扰动生成模型的训练阶段，基于生成网络模型生成对抗训练图像的过程和原理。本申请实施例在此不再赘述。
示例的，该步骤304可以包括：对扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动；对背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动；将高频滤除处理后的对抗扰动添加到初始图像中，得到对抗图像。
该对抗图像中的对抗扰动为低频且平滑的对抗扰动，使得该对抗图像的噪声较低，且清晰度较高，有效的提高了对抗图像的图像质量；并且该对抗图像中的对抗扰动的背景噪声进行了去除，使得对抗图像对待攻击的图像识别模型进行定向攻击时，消除了背景噪声的定向攻击的攻击结果的影响，有效的提高了对抗图像对图像识别模型进行对抗攻击的成功率。
在本申请实施例中，终端通过上述步骤303至步骤304获取的对抗图像，可以用于对待攻击的图像识别模型进行定向攻击，也可以用于作为样本数据训练神经网络模型，以得到能够避免被对抗扰动干扰的图像识别模型。
在一种可实现方式中，当对抗图像用于对待攻击的图像识别模型进行定向攻击时，终端即可进入对抗攻击阶段。通过对抗图像对待攻击的图像识别模型进行的对抗攻击，终端能够分析出该待攻击的图像识别模型存在的缺陷，以为改善该图像识别模型提供理论依据。
在攻击阶段，假设初始图像为y，终端通过扰动生成模型生成的对抗扰动为δy，对该对抗扰动为δy进行高频滤除处理后的对抗扰动为δy dct，则终端生成的对抗图像ya＝y+δy dct。
服务器采用特征相似性指数计算公式计算对抗图像ya与目标图像T的余弦相似性指数similarity(f(ya),f(T))。例如，假设该待攻击的图像识别模型为人脸识别模型，则该初始图像y为人脸图像，由于初始图像y与对抗图像ya为肉眼无法区分的两副图像，因此该对抗图像ya为与初始图像y的人脸相同的人脸图像，而该目标图像T为与初始图像y的人脸不同的人脸图像。又例如，假设该待攻击的图像识别模型为车牌识别模型，则该初始图像y为车牌图像，由于初始图像y与对抗图像ya为肉眼无法区分的两副图像，因此该对抗图像ya为与初始图像y的车牌相同的车牌图像，而该目标图像T为与初始图像y的车牌不同的车牌图像。需要说明的是，该特征相似性指数计算公式可以参考上述实施例中的特征相似性指数计算公式。还需要说明的是，训练阶段和攻击阶段采用的目标图像可以相同。
其中，f(ya)代表对抗样本ya输入到图像识别模型后输出的特征向量；f(T)为目标图像T输入到图像识别模型后输出的特征向量。
若服务器检测出该余弦相似性指数similarity(f(ya),f(T))≥simthres，则图像识别模型对该对抗图像ya的处理结果与该图像识别模型对该目标图像T的处理结果相同，则终端可以确定出此次对抗攻击成功。
其中，simthres为图像的特征相似指数阈值，例如，其值可以为0.83。需要说明的是，该图像的特征相似度阈值可以是由操作人员根据需求进行设定的，本申请实施例对此不做具体限定。
在另一种可实现方式中，当对抗图像用于作为样本数据训练神经网络模型，以得到能够避免被对抗扰动干扰的图像识别模型时，终端进行图像识别模型的训练阶段。通过将对抗图像作为样本数据训练神经网络模型，能够得到避免被对抗扰动干扰的图像识别模型，使得该图像识别模型的鲁棒性更好。
在图像识别模型的训练阶段，可以向诸如卷积神经网络或深度神经网络等神经网络模型输入大量的对抗图像，通过该大量的对抗图像对神经网络模型进行训练，以得到能够避免被对抗扰动干扰的图像识别模，使得该图像识别模型对图像的分类的准确性较高。
需要说明的是，本申请实施例提供的对抗扰动的生成方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供的对抗图像的生成方法，通过向扰动生成模型输入初始图像，使得该扰动生成模型能够输出对抗扰动，将该对抗扰动添加到初始图像中即可得到对抗图像。在扰动生成模型的训练阶段，同时考虑到了初始训练图像和对抗训练图像的结构相似性，以及对抗训练图像和目标图像的特征相似性，使得该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量，进而有效的提高了对抗攻击的性能。
本申请实施例提供了一种对抗图像的生成装置，该装置可以是图1所示实施环境中的终端101，也可以集成在终端101中。如图6所示，该对抗图像的生成装置500可以包括：
对抗扰动生成模块501，用于向扰动生成模型输入初始图像，得到扰动生成模型输出的对抗扰动。
对抗图像生成模块502，用于将对抗扰动添加到初始图像中，得到对抗图像。
其中，初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，目标图像为不同于初始图像的图像。
综上所述，本申请实施例提供的对抗图像的生成装置，通过向扰动生成模型输入初始图像，使得该扰动生成模型能够输出对抗扰动，将该对抗扰动添加到初始图像中即可得到对抗图像。该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量，进而有效的提高了对抗攻击的性能。
可选的，如图7所示，该对抗图像的生成装置500还可以包括：
获取模块503，用于获取训练样本集以及目标图像，训练样本集包括：多帧初始训练图像。每帧初始训练图像均与目标图像不同。
训练模块504，用于基于训练样本集、目标图像以及目标损失函数，对生成网络模型进行训练，得到扰动生成模型。该目标损失函数用于表征：初始训练图像与对抗训练图像的结构相似性的损失值，以及训练对抗图像与目标图像的特征相似性的损失值。
其中，对抗训练图像为：向生成网络模型输入初始训练图像得到生成网络模型输出的原始对抗扰动后，将原始对抗扰动添加到初始训练图像中得到的图像。
可选的，该训练模块504用于：基于训练样本集、目标图像以及目标损失函数，对生成网络模型执行多次训练过程，以得到扰动生成模型。
其中，每次训练过程包括：向生成网络模型输入训练样本集；基于训练样本集以及生成网络模型的输出结果，生成与多帧初始训练图像一一对应的多帧对抗训练图像；基于多帧初始训练图像和多帧对抗训练图像，确定初始训练图像和对抗训练图像的平均结构相似性损失值；基于多帧对抗训练图像和目标图像，确定对抗训练图像和目标图像的平均特征相似性损失值；基于平均结构相似性损失值和平均特征相似性损失值，以及目标损失函数，确定梯度信息；将梯度信息反向传播给生成网络模型，以使生成网络模型能够基于梯度信息，修改生成网络模型的参数。
可选的，该训练模块504用于：获取生成网络模型输出的与每帧初始训练图像对应的原始对抗扰动；对生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动；将高频滤除处理后的原始对抗扰动添加到对应的初始训练图像上，得到多帧对抗训练图像。
可选的，该训练模块504用于：对生成网络模型输出的每个原始对抗扰动进行离散余弦变换处理，得到与每个原始对抗扰动对应的频域图像；对频域图像进行高频信息滤除处理，得到与每个原始对抗扰动对应的高频信息滤除处理后的频域图像；对高频信息滤除处理后的频域图像进行离散余弦反变换处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
可选的，该训练模块504用于：对生成网络模型输出的每个原始对抗扰动进行背景噪声去除处理，得到与每帧初始训练图像对应的背景噪声去除处理后的原始对抗扰动；对背景噪声去除处理后的原始对抗扰动进行高频滤除处理，得到与每帧初始训练图像对应的高频滤除处理后的原始对抗扰动。
可选的，该训练模块504用于：基于多帧初始训练图像和多帧对抗训练图像，确定每帧初始训练图像和对应的对抗训练图像结构相似性指数；基于每帧初始训练图像和对应的对抗训练图像结构相似性指数，确定每帧初始训练图像和对应的对抗训练图像的结构相似性损失值；基于每帧初始训练图像以及对应的对抗训练图像结构相似性损失值，确定平均结构相似性损失值。
可选的，该训练模块504用于：获取特征提取模型；向特征提取模型输入每帧对抗训练图像，得到与每帧对抗训练图像对应的第一特征向量；向特征提取模型输入目标图像，得到与目标图像对应的第二特征向量；基于每个第一特征向量和第二特征向量，确定每帧对抗训练图像和目标图像的特征相似性指数；基于每帧对抗训练图像和目标图像的特征相似性指数，确定每帧对抗训练图像和目标图像的特征相似性损失值；基于每帧对抗训练图像和目标图像的特征相似性损失值，确定平均特征相似性损失值。
可选的，该训练模块504用于：若获取到对抗图像需要攻击的图像识别模型，将图像识别模型确定为特征提取模型；若未获取到对抗图像需要攻击的图像识别模型，将事先训练好的代理模型确定为特征提取模型。
可选的，该训练模块504用于：基于平均结构相似性损失值和平均特征相似性损失值，以及平均结构相似性损失值的权重，确定目标函数损失值；对目标函数损失值进行求导处理，得到求导处理后的目标函数损失值；基于求导处理后的目标函数损失值，确定梯度信息。
可选的，该训练模块504用于：将执行多次训练过程后的生成网络模型确定为扰动生成模型。
可选的，如图8所示，该对抗图像生成模块502可以包括：
背景噪声去除单元5021，用于对扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动。
高频滤除处理单元5022，用于对背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动。
对抗图像生成单元5023，用于将高频滤除处理后的对抗扰动添加到初始图像中，得到对抗图像。
综上所述，本申请实施例提供的对抗图像的生成装置，通过向扰动生成模型输入初始图像，使得该扰动生成模型能够输出对抗扰动，将该对抗扰动添加到初始图像中即可得到对抗图像。在扰动生成模型的训练阶段，同时考虑到了初始训练图像和对抗训练图像的结构相似性，以及对抗训练图像和目标图像的特征相似性，使得该初始图像与对抗图像的结构相似性指数大于结构相似性指数阈值，对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值。能够在保证该对抗图像对图像识别模型进行对抗攻击的成功率较高的前提下，提高该对抗图像的图像质量，进而有效的提高了对抗攻击的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，该存储介质为非易失性存储介质，该存储介质中存储有代码指令，该代码指令由处理器执行，以执行图2或图3示出的对抗图像的生成方法。
图9是本申请一个示例性实施例提供的终端的结构框图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的对抗图像的生成方法。例如，执行图2或图3示出的对抗图像的生成方法。
在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本申请中，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种对抗图像的生成方法，其特征在于，所述方法包括：
向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动；
将所述对抗扰动添加到所述初始图像中，得到对抗图像；
其中，所述初始图像与所述对抗图像的结构相似性指数大于结构相似性指数阈值，所述对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，所述目标图像为不同于所述初始图像的图像。
2.根据权利要求1所述的方法，其特征在于，在所述向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动之前，所述方法还包括：
获取训练样本集以及所述目标图像，所述训练样本集包括：多帧初始训练图像，每帧所述初始训练图像均与所述目标图像不同；
基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，所述目标损失函数用于表征：所述初始训练图像与对抗训练图像的结构相似性的损失值，以及所述训练对抗图像与所述目标图像的特征相似性的损失值；
其中，所述对抗训练图像为：向所述生成网络模型输入所述初始训练图像得到所述生成网络模型输出的原始对抗扰动后，将所述原始对抗扰动添加到所述初始训练图像中得到的图像。
3.根据权利要求2所述的方法，其特征在于，基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，包括：
基于所述训练样本集、所述目标图像以及所述目标损失函数，对所述生成网络模型执行多次训练过程，以得到所述扰动生成模型；
其中，每次所述训练过程包括：
向所述生成网络模型输入所述训练样本集；
基于所述训练样本集以及所述生成网络模型的输出结果，生成与多帧所述初始训练图像一一对应的多帧所述对抗训练图像；
基于多帧所述初始训练图像和多帧所述对抗训练图像，确定所述初始训练图像和所述对抗训练图像的平均结构相似性损失值；
基于多帧所述对抗训练图像和所述目标图像，确定所述对抗训练图像和所述目标图像的平均特征相似性损失值；
基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述目标损失函数，确定梯度信息；
将所述梯度信息反向传播给所述生成网络模型，以使所述生成网络模型能够基于所述梯度信息，修改所述生成网络模型的参数。
4.根据权利要求3所述的方法，其特征在于，基于所述训练样本集以及所述生成网络模型的输出结果，生成与多帧所述初始训练图像一一对应的多帧所述对抗训练图像，包括：
获取所述生成网络模型输出的与每帧所述初始训练图像对应的原始对抗扰动；
对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动；
将所述高频滤除处理后的原始对抗扰动添加到对应的初始训练图像上，得到多帧所述对抗训练图像。
5.根据权利要求4所述的方法，其特征在于，对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动，包括：
对所述生成网络模型输出的每个原始对抗扰动进行离散余弦变换处理，得到与每个所述原始对抗扰动对应的频域图像；
对所述频域图像进行高频信息滤除处理，得到与每个所述原始对抗扰动对应的高频信息滤除处理后的频域图像；
对所述高频信息滤除处理后的频域图像进行离散余弦反变换处理，得到所述与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动。
6.根据权利要求4所述的方法，其特征在于，对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动之前，所述训练过程还包括：
对所述生成网络模型输出的每个原始对抗扰动进行背景噪声去除处理，得到与每帧所述初始训练图像对应的背景噪声去除处理后的原始对抗扰动；
对所述生成网络模型输出的每个原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动，包括：
对所述背景噪声去除处理后的原始对抗扰动进行高频滤除处理，得到与每帧所述初始训练图像对应的高频滤除处理后的原始对抗扰动。
7.根据权利要求3所述的方法，其特征在于，基于多帧所述初始训练图像和多帧所述对抗训练图像，确定所述初始训练图像和所述对抗训练图像的平均结构相似性损失值，包括：
基于多帧所述初始训练图像和多帧所述对抗训练图像，确定每帧所述初始训练图像和对应的对抗训练图像结构相似性指数；
基于每帧所述初始训练图像和对应的对抗训练图像结构相似性指数，确定每帧所述初始训练图像和对应的对抗训练图像的结构相似性损失值；
基于每帧所述初始训练图像以及对应的对抗训练图像结构相似性损失值，确定所述平均结构相似性损失值。
8.根据权利要求3所述的方法，其特征在于，基于多帧所述对抗训练图像和所述目标图像，确定所述对抗训练图像和所述目标图像的平均特征相似性损失值，包括：
获取特征提取模型；
向所述特征提取模型输入每帧所述对抗训练图像，得到与每帧所述对抗训练图像对应的第一特征向量；
向所述特征提取模型输入所述目标图像，得到与所述目标图像对应的第二特征向量；
基于每个所述第一特征向量和第二特征向量，确定每帧所述对抗训练图像和所述目标图像的特征相似性指数；
基于每帧所述对抗训练图像和所述目标图像的特征相似性指数，确定每帧所述对抗训练图像和所述目标图像的特征相似性损失值；
基于每帧所述对抗训练图像和所述目标图像的特征相似性损失值，确定所述平均特征相似性损失值。
9.根据权利要求8所述的方法，其特征在于，所述获取特征提取模型，包括：
若获取到所述对抗图像需要攻击的图像识别模型，将所述图像识别模型确定为所述特征提取模型；
若未获取到所述对抗图像需要攻击的图像识别模型，将事先训练好的代理模型确定为所述特征提取模型。
10.根据权利要求3至9任一所述的方法，其特征在于，基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述目标损失函数，确定梯度信息，包括：
基于所述平均结构相似性损失值和所述平均特征相似性损失值，以及所述平均结构相似性损失值的权重，确定目标函数损失值；
对所述目标函数损失值进行求导处理，得到求导处理后的目标函数损失值；
基于所述求导处理后的目标函数损失值，确定所述梯度信息。
11.根据权利要求3至9任一所述的方法，其特征在于，对所述生成网络模型执行多次训练过程，以得到所述扰动生成模型，包括：
将执行多次训练过程后的生成网络模型确定为所述扰动生成模型。
12.根据权利要求1所述的方法，其特征在于，将所述对抗扰动添加到所述初始图像中，得到对抗图像，包括：
对所述扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动；
对所述背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动；
将所述高频滤除处理后的对抗扰动添加到所述初始图像中，得到所述对抗图像。
13.根据权利要求1所述的方法，其特征在于，所述对抗图像用于对待攻击的图像识别模型进行定向攻击；
或者，所述对抗图像用于作为样本数据训练神经网络模型，以得到能够避免被对抗扰动干扰的图像识别模型。
14.根据权利要求1所述的方法，其特征在于，所述初始图像与所述目标图像均为人脸关键点对齐和/或图像大小一致的人脸图像，所述人脸关键点包括：眼睛的中心、嘴巴的中心和鼻尖中的至少一个；
或者，所述初始图像与所述目标图像均为图像大小一致的车牌图像。
15.一种对抗图像的生成装置，其特征在于，所述装置包括：
对抗扰动生成模块，用于向扰动生成模型输入初始图像，得到所述扰动生成模型输出的对抗扰动；
对抗图像生成模块，用于将所述对抗扰动添加到所述初始图像中，得到对抗图像；
其中，所述初始图像与所述对抗图像的结构相似性指数大于结构相似性指数阈值，所述对抗图像与目标图像的特征相似性指数大于特征相似性指数阈值，所述目标图像为不同于所述初始图像的图像。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取训练样本集以及所述目标图像，所述训练样本集包括：多帧初始训练图像，每帧所述初始训练图像均与所述目标图像不同；
训练模块，用于基于所述训练样本集、所述目标图像以及目标损失函数，对生成网络模型进行训练，得到所述扰动生成模型，所述目标损失函数用于表征：所述初始训练图像与对抗训练图像的结构相似性的损失值，以及所述训练对抗图像与所述目标图像的特征相似性的损失值；
其中，所述对抗训练图像为：向所述生成网络模型输入所述初始训练图像得到所述生成网络模型输出的原始对抗扰动后，将所述原始对抗扰动添加到所述初始训练图像中得到的图像。
17.根据权利要求15所述的装置，其特征在于，所述对抗图像生成模块，包括：
背景噪声去除单元，用于对所述扰动生成模型输出的对抗扰动进行背景噪声去除处理，得到背景噪声去除处理后的对抗扰动；
高频滤除处理单元，用于对所述背景噪声去除处理后的对抗扰动进行高频滤除处理，得到高频滤除处理的对抗扰动；
对抗图像生成单元，用于将所述高频滤除处理后的对抗扰动添加到所述初始图像中，得到所述对抗图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910907590.9A CN112633306B (zh) | 2019-09-24 | 2019-09-24 | 对抗图像的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910907590.9A CN112633306B (zh) | 2019-09-24 | 2019-09-24 | 对抗图像的生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633306A true CN112633306A (zh) | 2021-04-09 |
| CN112633306B CN112633306B (zh) | 2023-09-22 |
Family
ID=75282919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910907590.9A Active CN112633306B (zh) | 2019-09-24 | 2019-09-24 | 对抗图像的生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633306B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326786A (zh) * | 2021-06-01 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备、车辆和存储介质 |
| CN113436073A (zh) * | 2021-06-29 | 2021-09-24 | 中山大学 | 一种基于频域的真实图像超分辨鲁棒方法及装置 |
| CN113569897A (zh) * | 2021-05-17 | 2021-10-29 | 海南师范大学 | 一种基于固定像素点获取低频信息的对抗样本防御方法 |
| CN113628150A (zh) * | 2021-07-05 | 2021-11-09 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113869529A (zh) * | 2021-12-02 | 2021-12-31 | 支付宝(杭州)信息技术有限公司 | 用于生成对抗样本的方法、模型评估方法、装置和计算机设备 |
| CN114663946A (zh) * | 2022-03-21 | 2022-06-24 | 中国电信股份有限公司 | 对抗样本生成方法、装置、设备及介质 |
| CN114937180A (zh) * | 2022-03-30 | 2022-08-23 | 北京百度网讯科技有限公司 | 对抗样本的生成方法、装置及电子设备 |
| CN115239941A (zh) * | 2022-07-25 | 2022-10-25 | 北京瑞莱智慧科技有限公司 | 对抗图像生成方法、相关装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140025356A1 (en) * | 2012-07-23 | 2014-01-23 | University Of Southern California | Iterative estimation of system parameters using noise-like perturbations |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
| CN109242096A (zh) * | 2017-07-01 | 2019-01-18 | 英特尔公司 | 用于训练深度神经网络的技术 |
| US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
| CN110070612A (zh) * | 2019-04-25 | 2019-07-30 | 东北大学 | 一种基于生成对抗网络的ct图像层间插值方法 |
| CN110210573A (zh) * | 2019-06-11 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 对抗图像的生成方法、装置、终端及存储介质 |
| CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
-
2019
- 2019-09-24 CN CN201910907590.9A patent/CN112633306B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140025356A1 (en) * | 2012-07-23 | 2014-01-23 | University Of Southern California | Iterative estimation of system parameters using noise-like perturbations |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN109242096A (zh) * | 2017-07-01 | 2019-01-18 | 英特尔公司 | 用于训练深度神经网络的技术 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
| US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
| CN110070612A (zh) * | 2019-04-25 | 2019-07-30 | 东北大学 | 一种基于生成对抗网络的ct图像层间插值方法 |
| CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
| CN110210573A (zh) * | 2019-06-11 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 对抗图像的生成方法、装置、终端及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| BAO WANG, ET.AL: "Adversarial defense via data dependent activation function and total variation minimization", 《ARXIV:1809.08516V2》, pages 1 - 17 * |
| OMID POURSAEED, ET.AL: "Generative adversarial perturbations", 《ARXIV:1712.02328》, pages 1 - 24 * |
| YUEZUN LI, ET.AL: "Robust adversarial perturbation on deep proposal-based models", 《ARXIV:1809.05962V1》, pages 1 - 12 * |
| 张嘉楠等: "深度学习的对抗攻击方法综述", 《网络空间安全》, vol. 10, no. 7, pages 87 - 96 * |
| 陈富成等: "基于生成对抗网络的图像盲去运动模糊算法", 《软件导刊》, vol. 18, no. 8, pages 208 - 211 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569897A (zh) * | 2021-05-17 | 2021-10-29 | 海南师范大学 | 一种基于固定像素点获取低频信息的对抗样本防御方法 |
| CN113569897B (zh) * | 2021-05-17 | 2024-04-05 | 海南师范大学 | 一种基于固定像素点获取低频信息的对抗样本防御方法 |
| CN113326786A (zh) * | 2021-06-01 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备、车辆和存储介质 |
| CN113436073A (zh) * | 2021-06-29 | 2021-09-24 | 中山大学 | 一种基于频域的真实图像超分辨鲁棒方法及装置 |
| CN113628150A (zh) * | 2021-07-05 | 2021-11-09 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113628150B (zh) * | 2021-07-05 | 2023-08-08 | 深圳大学 | 攻击图像生成方法、电子设备及可读存储介质 |
| CN113869529A (zh) * | 2021-12-02 | 2021-12-31 | 支付宝(杭州)信息技术有限公司 | 用于生成对抗样本的方法、模型评估方法、装置和计算机设备 |
| CN114663946A (zh) * | 2022-03-21 | 2022-06-24 | 中国电信股份有限公司 | 对抗样本生成方法、装置、设备及介质 |
| CN114937180A (zh) * | 2022-03-30 | 2022-08-23 | 北京百度网讯科技有限公司 | 对抗样本的生成方法、装置及电子设备 |
| CN115239941A (zh) * | 2022-07-25 | 2022-10-25 | 北京瑞莱智慧科技有限公司 | 对抗图像生成方法、相关装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633306B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633306B (zh) | 对抗图像的生成方法及装置 | |
| CN109034102B (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
| CN108305236B (zh) | 图像增强处理方法及装置 | |
| CN107945163B (zh) | 图像增强方法及装置 | |
| CN109948586B (zh) | 人脸验证的方法、装置、设备及存储介质 | |
| CN110210573B (zh) | 对抗图像的生成方法、装置、终端及存储介质 | |
| CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| WO2021008551A1 (zh) | 一种指纹防伪方法和电子设备 | |
| CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN110991457A (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
| CN111062248A (zh) | 图像检测的方法、装置、电子设备及介质 | |
| CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN110503160B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111107357B (zh) | 一种图像处理的方法、装置、系统及存储介质 | |
| CN110675473A (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN111931712A (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN114511082A (zh) | 特征提取模型的训练方法、图像处理方法、装置及设备 | |
| CN114155132A (zh) | 图像处理的方法、装置、设备及计算机可读存储介质 | |
| CN111757146B (zh) | 视频拼接的方法、系统及存储介质 | |
| CN110717365B (zh) | 一种获取图片的方法及装置 | |
| CN113379624A (zh) | 图像生成方法、图像生成模型的训练方法、装置及设备 | |
| CN108881739B (zh) | 图像生成方法、装置、终端及存储介质 | |
| CN107391985B (zh) | 一种解密图像验证方法、终端及计算机可读存储介质 | |
| CN112308104A (zh) | 异常识别方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |