CN114648675A - 对抗训练方法、图像处理方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种对抗训练方法、装置、设备、存储介质和程序产品，涉及人工智能领域或信息安全领域。该方法包括：向第一图像中添加图像噪声，得到第二图像；处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像；基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本；基于所述正常样本和所述对抗样本训练过滤模型，其中，训练完成后的所述过滤模型用于对第三图像进行检测，若所述第三图像为正常图像，则将所述第三图像输入至图像处理模型进行处理。本公开还提供了一种图像处理方法、装置、设备、存储介质和程序产品。

Description

对抗训练方法、图像处理方法、装置、设备和介质

技术领域

本公开涉及人工智能领域或信息安全领域，更具体地，涉及一种对抗训练方法、图像处理方法、装置、设备、介质和程序产品。

背景技术

随着深度学习在图像处理、自然语言处理等领域快速发展，大量基于深度学习的模型在各种领域进行部署利用。然而现有的深度学习算法存在安全隐患，攻击者利用可以通过给正常样本添加特定噪声，从而欺骗深度学习模型。

对抗训练是一种针对对抗样本的直观防御方法，该方法通过利用对抗样本进行训练来提高模型的鲁棒性。相关技术中，例如同时利用正常样本和对抗样本训练图像处理模型，令图像处理模型一定程度上避免被欺骗。然而，利用上述训练方式得到的图像处理模型，其输出的处理结果的准确性不足。

发明内容

鉴于上述问题，本公开提供了一种能够检测出正常图像或对抗图像，并提高图像处理模型的准确性的对抗训练方法、图像处理方法、装置、设备、介质和程序产品。

本公开实施例的一个方面，提供了一种对抗训练方法，包括：向第一图像中添加图像噪声，得到第二图像，其中，所述图像噪声包括像素点或像素块；处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像；基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本；基于所述正常样本和所述对抗样本训练过滤模型，其中，训练完成后的所述过滤模型用于对第三图像进行检测，若所述第三图像为正常图像，则将所述第三图像输入至图像处理模型进行处理。

根据本公开的实施例，所述处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像包括：对所述第一图像进行小波变换或傅里叶变换，将所述第一图像转换到频率区域；和/或对所述第二图像进行小波变换或傅里叶变换，将所述第二图像转换到频率区域。

根据本公开的实施例，其中，所述基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本包括：根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张所述第一子图像作为正常样本；和/或根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张所述第二子图像作为对抗样本。

根据本公开的实施例，所述基于所述正常样本和所述对抗样本训练过滤模型包括：对训练样本进行卷积处理得到第一特征向量，其中，所述训练样本为所述正常样本和所述对抗样本训练中任一个样本；对所述第一特征向量进行归一化处理得到第二特征向量；利用激活函数处理所述第二特征向量，获得第三特征向量，其中，所述第三特征向量用于训练所述过滤模型。

根据本公开的实施例，所述向第一图像中添加图像噪声，得到第二图像包括：基于对抗训练算法添加所述图像噪声，其中，所述对抗训练算法包括快速梯度符号法、快速梯度法、映射梯度下降法中至少一种。

本公开实施例的另一方面提供了一种图像处理方法，包括：将第三图像输入至过滤模型进行检测，得到检测结果，其中，所述过滤模型由如上所述的方法训练获得；若所述检测结果为正常图像，将所述第三图像输入至图像处理模型进行处理。

根据本公开的实施例，将第三图像输入至过滤模型进行检测，得到检测结果包括：利用所述过滤模型获得所述第三图像的对抗阈值，其中，所述对抗阈值包括所述第三图像为对抗图像的概率值；若所述对抗阈值大于或等于第一阈值，所述检测结果为对抗图像；若所述对抗阈值小于或等于第二阈值，所述检测结果为正常图像，其中，所述第二阈值小于所述第一阈值。

根据本公开的实施例，所述方法还包括：若所述对抗阈值小于所述第一阈值，且大于所述第二阈值，对所述第三图像进行平滑去噪处理后，输入至所述图像处理模型进行处理。

本公开实施例的另一方面提供了一种对抗训练装置，包括：对抗攻击模块，用于向第一图像中添加图像噪声，得到第二图像，其中，所述图像噪声包括像素点或像素块；频域处理模块，用于处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像；样本确定模块，用于基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本；模型训练模块，用于基于所述正常样本和所述对抗样本训练过滤模型，其中，训练完成后的所述过滤模型用于对第三图像进行检测，若所述第三图像为正常图像，则将所述第三图像输入至图像处理模型进行处理。

本公开实施例的另一方面提供了一种图像处理装置，包括：图像检测模块，用于将第三图像输入至过滤模型进行检测，得到检测结果，其中，所述过滤模型由如上所述的装置训练获得；图像处理模块，用于若所述检测结果为正常图像，将所述第三图像输入至图像处理模型进行处理。

本公开实施例的另一方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

本公开实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法。

上述一个或多个实施例具有如下有益效果：

相对于相关技术中直接针对图像处理模型进行对抗训练的方式，本公开实施例在图像处理模型前端进行过滤模型的训练和部署，对第一图像和第二图像进行频率区域维度的分解，能够通过高频区域来突出图像的显著特征，令过滤模型学习到有效信息，提高训练效率。在训练完成后，还可以利用过滤模型提前判断输入图像是否为对抗图像，实现对抗防御，从而省略图像处理模型的预测阶段，提高图像处理效果的准确性。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的对抗训练方法或图像处理方法的应用场景图；

图2示意性示出了根据本公开实施例的对抗训练方法的流程图；

图3示意性示出了根据本公开实施例的获得训练集的架构图；

图4示意性示出了根据本公开实施例的训练过滤模型的流程图；

图5示意性示出了根据本公开实施例的训练过滤模型的架构图；

图6示意性示出了根据本公开实施例的图像处理方法的流程图；

图7示意性示出了根据本公开实施例的获得检测结果的流程图；

图8示意性示出了根据本公开实施例的实现图像处理方法的架构图；

图9示意性示出了根据本公开实施例的对抗训练装置的结构框图；

图10示意性示出了根据本公开实施例的图像处理装置的结构框图；

图11示意性示出了根据本公开实施例的适于实现对抗训练方法或图像处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

对抗训练通过对原始图像添加扰动构造一些对抗攻击样本，喂给模型进行训练，提高模型在对抗样本检测上的鲁棒性，在整体上提升模型的泛化能力。在对抗攻击的过程中，攻击者欺骗深度学习模型的表现为：攻击者利用人无法感知的扰动，构造对抗样本进行输入，使正常训练的模型输出置信度很高的错误预测，达到攻击目标。

相关技术中直接针对图像处理模型进行对抗训练的方式，虽然提升了模型的鲁棒性，但是在实现上会在鲁棒性和准确性取得平衡，从而在牺牲掉一些精度的情况下，实现了对抗防御的目标。

本公开的实施例在图像处理模型前端进行过滤模型的训练和部署，对第一图像和第二图像进行频率区域维度的分解，能够通过高频区域来突出图像的显著特征，令过滤模型学习到有效信息，提高训练效率。在训练完成后，还可以利用过滤模型提前判断输入图像是否为对抗图像，实现对抗防御，从而省略图像处理模型的预测阶段，提高图像处理效果的准确性。

图1示意性示出了根据本公开实施例的对抗训练方法或图像处理方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的对抗训练方法或图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的对抗训练装置或图像处理装置一般可以设置于服务器105中。本公开实施例所提供的对抗训练方法或图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的对抗训练装置或图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图7对本公开实施例的对抗训练方法和图像处理方法进行详细描述。

图2示意性示出了根据本公开实施例的对抗训练方法的流程图。图3示意性示出了根据本公开实施例的获得训练集的架构图。

如图2所示，该实施例的对抗训练方法包括操作S210～操作S240。

在操作S210，向第一图像中添加图像噪声，得到第二图像，其中，图像噪声包括像素点或像素块。

示例性地，添加图像噪声又称为添加图像扰动，第二图像是在第一图像的基础上得到的扰动图像。像素块可以包括多个像素点。图像噪声能够扰乱图像的可观测信息，在进行特征处理时，即使人眼不易察觉的扰动也能够对模型产生较大的影响。

其中，所述向第一图像中添加图像噪声，得到第二图像包括：根据本公开的实施例，基于对抗训练算法添加图像噪声，其中，对抗训练算法包括快速梯度符号法、快速梯度法、映射梯度下降法中至少一种。

示例性地，对抗训练算法包括用于对抗训练中，对第一图像生成扰动的算法。快速梯度符号法(Fast Gradient Sign Method，FGSM)添加的扰动沿着梯度的方向往损失函数的极大值走。快速梯度法(Fast Gradient Method，FGM)添加的扰动是每个方向上都走相同的一步。映射梯度下降法(Projected Gradient Descent，PGD)通过多次迭代，找出最优扰动。如果走出了扰动半径内的空间，就映射回来该空间。在一些实施例中，对抗训练算法还可以包括FreeAT(Free Adversarial Training)、YOPO(you only propagate once)、FreeLB(Free large-batch)、C&W等。

在操作S220，处理第一图像获得多个频率区域的第一子图像，以及处理第二图像获得多个频率区域的第二子图像。

根据本公开的实施例，将第一图像转换到频率区域，提取第一图像的低频信息和高频信息，获得多个频率区域的第一子图像。和/或将第二图像转换到频率区域，提取第二图像的低频信息和高频信息，获得多个频率区域的第二子图像。

示意性地，图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。低频信息可以指图像中灰度分量缓慢变化的部分，高频信息可以指图像中灰度分类快速变化的部分。高频信息通常可以在图像的边缘或噪声以及细节部分获得，因此，对于第二图像而言，高频信息在一定程度上也能够令扰动更加显著。可以根据实际需求界定频率分界值，以此确定高频或低频。

根据本公开的实施例，对第一图像进行小波变换或傅里叶变换，将第一图像转换到频率域。和/或对第二图像进行小波变换或傅里叶变换，将第二图像转换到频率域。

示例性地，傅里叶变换可以将图像基于频率分解为不同的成分，从而通过频率域更好的观察图像。小波变换也可以进行频域分解，例如可以使用Haar变换、mallat变换等技术。相关技术中，通过对图像进行频域转换，通常用来进行去噪处理，而本公开实施例可以将其用于提取高频信息构造训练样本，由于训练样本具有突出的高频特征，从而提高模型的训练效率。

在操作S230，基于高频信息确定至少一张第一子图像作为正常样本，以及基于高频信息确定至少一张第二子图像作为对抗样本。

根据本公开的实施例，根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张第一子图像作为正常样本。和/或，根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张第二子图像作为对抗样本。

参照图3，首先，对第一图像进行对抗攻击，利用一些典型的攻击手段，如FGSM、PGD、C&W等，生成输入图像的扰动。其次分成两个分支：不加扰动的第一图像分支和加了扰动的第二图像分支。然后，对两个分支分别进行小波变换，如采用Haar变换，参照式(1)。

coeffs＝dwt2_haar(x) 式(1)

其中，x代表原始输入，dwt2_haar代表haar小波分解操作。coeffs为频域上的图像数据。

通过变换后，会得到低频信息、水平高频信息、垂直高频信息、对角高频信息。参照式(2)。

cA，(cH，cV，cD)＝coeffs 式(2)

其中，coeffs为式(1)的结果。cA，cH，cV，cD分别为低频信息、水平高频信息、垂直高频信息、对角高频信息。

最后，对于两个分支，分别选取具有显著区别的3个高频信息，拼接成长×宽×3大小的过滤模型输入，形成正负样本。参照式(3)。

X＝(cH，cV，cD) 式(3)

其中，X是拼接后的结果。

根据本公开的实施例，将具有显著区别的3个方向的高频图像输入至过滤模型，能够提供一些先验信息，令过滤模型直接学习到有效的特征。相对于直接对原始图像进行处理的方式，能够提高过滤模型学习到显著特征的确定性，避免过滤模型学习到错误信息而忽略有效信息导致训练效果较差的情况。

在操作S240，基于正常样本和对抗样本训练过滤模型，其中，训练完成后的过滤模型用于对第三图像进行检测，若第三图像为正常图像，则将第三图像输入至图像处理模型进行处理。

示例性地，参照图3，在将训练集中的正常样本或对抗样本输入至过滤模型后。利用过滤模型输出对该样本的预测结果，并基于预测结果和该样本的正确结果(如预先标注的标签)进行损失函数计算。根据损失函数的值训练过滤模型，直至损失函数收敛则获得训练完成后的过滤模型。

本公开的实施例在图像处理模型前端进行过滤模型的训练和部署，对第一图像和第二图像进行频率区域维度的分解，能够通过高频区域来突出图像的显著特征，令过滤模型学习到有效信息，提高训练效率。在训练完成后，还可以利用过滤模型提前判断输入图像是否为对抗图像，实现对抗防御，从而省略图像处理模型的预测阶段，提高图像处理效果的准确性。

图4示意性示出了根据本公开实施例的训练过滤模型的流程图。图5示意性示出了根据本公开实施例的训练过滤模型的架构图。

如图4所示，操作S240中基于正常样本和对抗样本训练过滤模型包括操作S410～操作S430。

参照图5，针对于不同的应用场景，可选择不同来源的训练集。通过如图3所示的流程对原始数据集处理得到训练集。过滤模型的网络结构可以采用卷积层+BN层(归一化层)+ReLU层(激活层)的模块设计方法。N代表模块个数，按实际场景进行设定。其中，每个模块皆包括卷积层+BN层+ReLU层。

在操作S410，对训练样本进行卷积处理得到第一特征向量，其中，训练样本为正常样本和对抗样本训练中任一个样本。

示例性地，参照图5，可以将训练样本输入至卷积层，利用卷积层进行卷积处理后，输出第一特征向量。

在操作S420，对第一特征向量进行归一化处理得到第二特征向量。

示例性地，参照图5，可以将第一特征向量输入至归一化层，进行归一化处理后，输出第二特征向量。

在操作S430，利用激活函数处理第二特征向量，获得第三特征向量，其中，第三特征向量用于训练过滤模型。

示例性地，参照图5，可以将第三特征向量输入至激活层，利用激活函数ReLU处理第二特征向量，输出第三特征向量。

在一些实施例中，可以将第三特征向量输入下一个模块，继续进行特征提取。

针对于是否为对抗样本的二分类问题，采用sigmoid+二值交叉熵损失函数对网络进行设定，通过BP算法训练模型。一个实施例中的损失函数L表示如式(4)。

其中，N为训练样本数量，y_i表示训练样本i的标签，正类为1，负类为0。p_i表示样本i预测为正类的概率。

图6示意性示出了根据本公开实施例的图像处理方法的流程图。图7示意性示出了根据本公开实施例的获得检测结果的流程图。图8示意性示出了根据本公开实施例的实现图像处理方法的架构图。

如图6所示，该实施例的图像处理方法包括操作S610～操作S620。

在操作S610，将第三图像输入至过滤模型进行检测，得到检测结果，其中，过滤模型由上述实施例描述的训练方法获得。

示例性地，参照图8，过滤模型部署在主体模型(即图像处理模型)之前，起到防火墙的功能。图8中未知输入即为第三图像，可以对其进行小波变换，获得水平高频信息、垂直高频信息和对角高频信息中的至少一个，输入至过滤模型。

在操作S620，若检测结果为正常图像，将第三图像输入至图像处理模型进行处理。

示例性地，检测结果可以包括正常图像和对抗图像。若为对抗图像，则进行拦截，避免进入主体模型。

根据本公开的实施例，利用过滤模型提前判断输入图像是否为对抗图像，实现对抗防御，从而省略图像处理模型的预测阶段，提高图像处理效果的准确性。

如图7所示，该实施例的获得检测结果包括操作S710～操作S760。

在操作S710，利用过滤模型获得第三图像的对抗阈值，其中，对抗阈值包括第三图像为对抗图像的概率值。

示例性地，若训练完成的过滤模型为二分类模型，可以利用sigmod函数基于第三图像的特征向量得到一个在0～1之间的值，即预测第三图像为对抗图像的概率值。

在操作S720，判断对抗阈值是否大于或等于第一阈值。若是，则执行操作S730，若否，则执行操作S740。

在操作S730，若对抗阈值大于或等于第一阈值，检测结果为对抗图像。

参照图8，第一阈值即为对抗高阈，例如0.8(仅为示例)。若概率值大于或等于0.8，则拦截该第三图像。

在操作S740，判断对抗阈值是否小于或等于第二阈值。若是，则执行操作S750，若否，则执行操作S760。

在操作S750，若对抗阈值小于或等于第二阈值，检测结果为正常图像。

参照图8，第二阈值即为对抗高阈，例如0.4(仅为示例)。若概率值小于或等于0.4，则放行该第三图像，将其输入至主体模型进行处理。

根据本公开的实施例，利用对抗低阈和对抗高阈设置过滤规则，对不同输入样本进行更加全面的处理，减少失误情况。

在操作S760，若对抗阈值小于第一阈值，且大于第二阈值，对第三图像进行平滑去噪处理后，输入至图像处理模型进行处理。

在一些实施例中，平滑去噪处理可以利用小波变换实现。对第三图像进行平滑去噪处理的作用在于，过滤模型对处于第一阈值和第二阈值之间的图像可以认为是没有给出确定的检测结果，该情况下，输入图像可能是攻击的对抗图像，也可能是正常图像。若是对抗图像，使用平滑去噪处理可以一定程度上去除输入图像中可能存在的攻击扰动，提高安全性。若是正常图像，该图像上存在一些噪声影响了过滤模型的判断，因此进行平滑去噪可以提高图像质量，提高主体模型的处理准确性。

在一些实施例中，基于上述对抗训练方法和图像处理方法，根据可能对主体模型进行攻击的方法(如FGSM、PGD、C&W等)生成扰动，进行小波分解构造数据集以及标签，训练一个过滤模型，用来判断是否为对抗样本。训练完成后将过滤模型在防火墙上部署，提前决定是否进入后续的主体模型。根据过滤模型的判别，设置两个阈值：对抗高阈和对抗低阈。当大于对抗高阈，判断为对抗样本，被防火墙拦截。当小于对抗低阈，判断为不是对抗样本，进入后续模型。其他情况，则进行平滑处理后通过，进入模型。

本公开还提供了一种对抗训练装置和图像处理装置。以下将结合图9和图10进行详细描述。

图9示意性示出了根据本公开实施例的对抗训练装置的结构框图。

如图9所示，该实施例的对抗训练装置900包括对抗攻击模块910、频域处理模块920、样本确定模块930和模型训练模块940。

对抗攻击模块910可以执行操作S210，用于向第一图像中添加图像噪声，得到第二图像，其中，图像噪声包括像素点或像素块。

根据本公开的实施例，对抗攻击模块910可以基于对抗训练算法添加图像噪声，其中，对抗训练算法包括快速梯度符号法、快速梯度法、映射梯度下降法中至少一种。

频域处理模块920可以执行操作S220，用于处理第一图像获得多个频率区域的第一子图像，以及处理第二图像获得多个频率区域的第二子图像。

根据本公开的实施例，处理第一图像获得多个频率区域的第一子图像，以及处理第二图像获得多个频率区域的第二子图像包括：对第一图像进行小波变换或傅里叶变换，将第一图像转换到频率区域。和/或对第二图像进行小波变换或傅里叶变换，将第二图像转换到频率区域。

根据本公开的实施例，基于高频信息确定至少一张第一子图像作为正常样本，以及基于高频信息确定至少一张第二子图像作为对抗样本包括：根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张第一子图像作为正常样本。和/或根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张第二子图像作为对抗样本。

样本确定模块930可以执行操作S230，用于基于高频信息确定至少一张第一子图像作为正常样本，以及基于高频信息确定至少一张第二子图像作为对抗样本。

模型训练模块940可以执行操作S240，用于基于正常样本和对抗样本训练过滤模型，其中，训练完成后的过滤模型用于对第三图像进行检测，若第三图像为正常图像，则将第三图像输入至图像处理模型进行处理。

根据本公开的实施例，模型训练模块940还可以执行操作S410～操作S430，用于对训练样本进行卷积处理得到第一特征向量，其中，训练样本为正常样本和对抗样本训练中任一个样本。对第一特征向量进行归一化处理得到第二特征向量。利用激活函数处理第二特征向量，获得第三特征向量，其中，第三特征向量用于训练过滤模型。

图10示意性示出了根据本公开实施例的图像处理装置的结构框图。

如图10所示，该实施例的图像处理装置1000包括图像检测模块1010和图像处理模块1020。

图像检测模块1010可以执行操作S610，用于将第三图像输入至过滤模型进行检测，得到检测结果，其中，过滤模型由图9所描述的对抗训练装置900训练获得。

根据本公开的实施例，图像检测模块1010还可以执行操作S710～操作S760，用于利用过滤模型获得第三图像的对抗阈值，其中，对抗阈值包括第三图像为对抗图像的概率值。若对抗阈值大于或等于第一阈值，检测结果为对抗图像。若对抗阈值小于或等于第二阈值，检测结果为正常图像，其中，第二阈值小于第一阈值。若对抗阈值小于第一阈值，且大于第二阈值，对第三图像进行平滑去噪处理后，输入至图像处理模型进行处理。

图像处理模块1020可以执行操作S620，用于若所述检测结果为正常图像，将所述第三图像输入至图像处理模型进行处理。

根据本公开的实施例，图像处理装置1000在图像处理模型前端的防火墙上进行过滤模型部署，利用小波变换对图像进行高低频信息分解输入过滤模型中。这样可以更加显著且精准地判断输入样本是否为对抗样本，并且不会牺牲主体模型的精度，实现对抗防御。除此以外，过滤规则对不同输入样本进行更加全面的处理，减少失误情况。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例，对抗训练装置900或图像处理装置1000中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。

根据本公开的实施例，对抗训练装置900或图像处理装置1000中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，对抗训练装置900或图像处理装置1000中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的适于实现对抗训练方法或图像处理方法的电子设备的方框图。

如图11所示，根据本公开实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机防问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1103中，存储有电子设备1100操作所需的各种程序和数据。处理器1101、ROM 1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。电子设备1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。

在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种对抗训练方法，包括：

向第一图像中添加图像噪声，得到第二图像，其中，所述图像噪声包括像素点或像素块；

处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像；

基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本；

基于所述正常样本和所述对抗样本训练过滤模型，其中，训练完成后的所述过滤模型用于对第三图像进行检测，若所述第三图像为正常图像，则将所述第三图像输入至图像处理模型进行处理。

2.根据权利要求1所述的方法，其中，所述处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像包括：

对所述第一图像进行小波变换或傅里叶变换，将所述第一图像转换到频率区域；和/或

对所述第二图像进行小波变换或傅里叶变换，将所述第二图像转换到频率区域。

3.根据权利要求1所述的方法，其中，所述基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本包括：

根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张所述第一子图像作为正常样本；和/或

根据水平高频信息、垂直高频信息和对角高频信息中的至少一个，确定至少一张所述第二子图像作为对抗样本。

4.根据权利要求1所述的方法，其中，所述基于所述正常样本和所述对抗样本训练过滤模型包括：

对训练样本进行卷积处理得到第一特征向量，其中，所述训练样本为所述正常样本和所述对抗样本训练中任一个样本；

对所述第一特征向量进行归一化处理得到第二特征向量；

利用激活函数处理所述第二特征向量，获得第三特征向量，其中，所述第三特征向量用于训练所述过滤模型。

5.根据权利要求1所述的方法，其中，所述向第一图像中添加图像噪声包括：

基于对抗训练算法添加所述图像噪声，其中，所述对抗训练算法包括快速梯度符号法、快速梯度法、映射梯度下降法中至少一种。

6.一种图像处理方法，包括：

将第三图像输入至过滤模型进行检测，得到检测结果，其中，所述过滤模型由权利要求1～5中任一项所述的方法训练获得；

若所述检测结果为正常图像，将所述第三图像输入至图像处理模型进行处理。

7.根据权利要求6所述的方法，其中，将第三图像输入至过滤模型进行检测，得到检测结果包括：

利用所述过滤模型获得所述第三图像的对抗阈值，其中，所述对抗阈值包括所述第三图像为对抗图像的概率值；

若所述对抗阈值大于或等于第一阈值，所述检测结果为对抗图像；

若所述对抗阈值小于或等于第二阈值，所述检测结果为正常图像，其中，所述第二阈值小于所述第一阈值。

8.根据权利要求7所述的方法，其中，所述方法还包括：

若所述对抗阈值小于所述第一阈值，且大于所述第二阈值，对所述第三图像进行平滑去噪处理后，输入至所述图像处理模型进行处理。

9.一种对抗训练装置，包括：

对抗攻击模块，用于向第一图像中添加图像噪声，得到第二图像，其中，所述图像噪声包括像素点或像素块；

频域处理模块，用于处理所述第一图像获得多个频率区域的第一子图像，以及处理所述第二图像获得多个频率区域的第二子图像；

样本确定模块，用于基于高频信息确定至少一张所述第一子图像作为正常样本，以及基于高频信息确定至少一张所述第二子图像作为对抗样本；

模型训练模块，用于基于所述正常样本和所述对抗样本训练过滤模型，其中，训练完成后的所述过滤模型用于对第三图像进行检测，若所述第三图像为正常图像，则将所述第三图像输入至图像处理模型进行处理。

10.一种图像处理装置，包括：

图像检测模块，用于将第三图像输入至过滤模型进行检测，得到检测结果，其中，所述过滤模型由权利要求9所述的装置训练获得；

图像处理模块，用于若所述检测结果为正常图像，将所述第三图像输入至图像处理模型进行处理。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～8中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～8中任一项所述的方法。

Images