CN116310745A - 图像处理方法、数据处理方法、相关装置及存储介质 - Google Patents

Abstract

本申请实施例涉及计算机视觉领域，提供一种图像处理方法、数据处理方法、相关装置及存储介质，图像处理方法包括：获取包括对抗扰动的待识别图像；获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。本申请实施例可以利用预设的图像处理组件检测待识别图像中的对抗扰动，得到用于修复还原所述对抗扰动的目标掩码。

Description

图像处理方法、数据处理方法、相关装置及存储介质

技术领域

本申请实施例涉及计算机视觉领域，更具体地涉及一种图像处理方法、数据处理方法、相关装置及存储介质。

背景技术

对抗攻击研究如何针对不同深度学习模型高效地生成对抗样本，有助于及时发现深度学习模型的脆弱性，评估深度学习模型的鲁棒性。一些对抗攻击方法在数字世界中生成添加较小对抗扰动的对抗样本，可以促使对抗样本无法被深度学习模型正确识别或将其识别为指定的标签。

在一些场景下，为了执行物理世界的对抗攻击任务，通常将对抗样本（或者叫做对抗补丁）实体化，由图像采集设备基于设置了对抗样本的目标物获取待识别图像，从而使得图像识别模型基于待识别图像出现错误的识别结果，甚至无法识别到相应的目标物。但是，目前对于如何防御对抗攻击的研究涉及甚少，已有的防御方案通常需要后端的图像识别模型参与到防御过程中，即需要待防御对抗攻击的图像识别模型先检测出图像中的对抗扰动的位置信息，然后将对包括抗扰动的区域设置为缺失区域，该缺失区域一般略大于对抗扰动的实际区域，通过图像重绘技术完成缺失区域的修复，达到降低对抗扰动的攻击性的效果。

现有技术方案中，针对对抗扰动的修复还原处理，最优效果可以完美复原图像的缺失内容，即图像叠加对抗扰动之前的状态，得到与原始图像非常近似的还原图像，该还原图像中没有对抗扰动，用于图像识别时不具有对抗攻击性；最差修复效果也可以破坏对抗扰动的视觉表达，降低对抗扰动的攻击性，实现一定的防御效果。但是，现有技术在检测对抗扰动区域时，仍然需要待防御攻击的图像识别模提供对抗扰动区域的位置信息。然而，待防御对抗攻击的图像识别模型一般是由第三方部署的，无法获知模型的内部结构和参数，不能修改内部数据处理过程，使得其无法输出对抗扰动的位置信息；即待防御对抗攻击的图像识别模型相当于黑盒模型，在不对模型内部数据处理过程进行改造的情况下，无法提供对抗扰动区域的位置信息。可见，现有技术方案的应用场景受到限制，无法适用于待防御对抗攻击的图像识别模型不能修改的场景。

发明内容

本申请实施例提供一种图像处理方法、数据处理方法、相关装置及存储介质,可以利用预设的图像处理组件检测待识别图像中的对抗扰动，得到用于修复还原所述对抗扰动的目标掩码，不再需要待防御对抗攻击的图像识别模型检测待识别图像的对抗扰动位置信息。

第一方面，本申请实施例提供一种图像处理方法，该方法包括：

获取包括对抗扰动的待识别图像；

获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

第二方面，本申请实施例提供一种数据处理方法，该方法包括：

获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像；

获取第一损失值，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到；

若所述第一损失值未收敛，则更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序，作为第一目标程序；

基于所述第一目标程序，构建图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。。

在一个可能的设计中，所述掩码图像通过所述第一目标程序，基于所述对抗图像得到。

第三方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第一方面提供的图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

在一个实施方式中，所述图像处理装置包括：

输入输出模块，被配置为获取包括对抗扰动的待识别图像；

处理模块，被配置为获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

所述处理模块，还被配置为基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

所述输入输出模块，还被配置为将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

第四方面，本申请实施例提供一种数据处理装置，具有实现对应于上述第一方面提供的数据处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

在一个实施方式中，所述数据处理装置包括：

输入输出单元，被配置为获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像；

处理单元，被配置为获取第一损失值，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到；

所述处理单元，还被配置为若所述第一损失值未收敛，则更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序，作为第一目标程序；

所述处理单元，还被配置为基于所述第一目标程序，构建图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

第五方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的图像处理方法，或者执行如第二方面所述的数据处理方法。

第六方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的图像处理方法，或者实现第二方面所述的数据处理方法。

第五方面，本申请实施例提供一种芯片，该芯片中包括与终端设备的收发器耦合的处理器，用于执行本申请实施例第一方面或第二方面提供的技术方案。

第六方面，本申请实施例提供一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面或第二方面中所涉及的功能，例如，生成或者处理上述第一方面提供的图像处理方法中所涉及的信息。

在一种可能的设计中，上述芯片系统还包括存储器，该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

第七方面，本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面提供的图像处理方法，或者执行如第二方面提供的数据处理方法。

相较于现有技术，本申请实施例中，在处理图像时，可以通过预设的图像处理组件对待识别图像中包括的对抗扰动进行检测，得到目标掩码，由于该目标掩码能够确定对抗扰动位置信息，因此基于该目标掩码即可准确地定位对抗扰动区域，以便修复还原对抗扰动区域，从而得到扰动还原区域；然后，采用该扰动还原区域可以替换待识别图像中的对抗扰动区域，得到目标图像，如此，该目标图像能够代替原本用于图像识别的待识别图像，即可以通过将目标图像输入后端的需要防御对抗扰动攻击的图像识别装置，从而得到待识别图像的识别结果。

可见，一方面中，在需要检测图像中的对抗扰动时，可以通过预设的图像处理组件定位图像中的对抗扰动，不依赖于待防御对抗攻击的模型输出的对抗扰动的位置信息。因此，本申请实施例可以帮助黑盒模型（即内部数据处理过程无法修改的模型）防御对抗攻击，不需要模型产权方公布模型的具体参数细节，可以在保护模型产权方（例如第三方部署的模型）隐私的前提下，完成对抗攻击的防御工作，应用场景不会受到限制，且非常广泛。

另一方面中，由于扰动还原区域与对抗扰动的形状位置完全对应，所以可以仅对对抗扰动实际存在的区域进行修复还原处理，而不会涉及图像中的正常区域，使得待识别图像中被去除对抗扰动区域之后的缺失区域，可以由扰动还原区域无缝填补，形成与待识别图像叠加对抗扰动之前的原始图像非常相似的目标图像，即该目标图像可以达到最佳的修复还原效果。

此外，本申请实施例中还可以基于更新得到的第一目标程序构建图像预处理组件，由于该第一目标程序为基于候选掩码图像与标准掩码图像得到的第一损失值收敛时的第一图像处理程序，故第一目标程序可以准确识别对抗图像中的对抗扰动，辅助修复该对抗扰动，以及还原对抗图像添加对抗扰动之前的原始状态，避免对抗扰动发挥对抗攻击作用；再加上通过插件或接口形式将该图像预处理组件嵌入图像识别程序，因此，在待识别图像包括对抗扰动时，可以以图像预处理的方式定位待识别图像中的对抗扰动，而不依赖于图像识别程序去定位待识别图像中的对抗扰动。因此，本申请实施例的图像预处理组件，可以适用于无法修改模型内部的数据处理过程的黑盒模型，即应用于黑盒防御场景，应用场景广泛。

附图说明

通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：

图1为本申请实施例中图像处理方法的一种图像处理系统示意图；

图2为本申请实施例的图像处理方法的一种流程示意图；

图3为本申请实施例的图像处理方法的一种目标掩码的示意图；

图4为本申请实施例的图像处理方法的一种确定目标对抗图像的流程示意图；

图5为本申请实施例的图像处理方法的一种确定对抗扰动位置信息的图像变化示意图；

图6为本申请实施例的图像处理方法的又一种确定对抗扰动位置信息的图像变化示意图；

图7为本申请实施例的图像处理方法的一种获取目标图像流程的图像变化示意图；

图8为本申请实施例的图像处理方法的一种基于图像预处理组件防御对抗攻击的流程示意图；

图9为本申请实施例的数据处理方法的一种流程示意图；

图10为本申请实施例的图像处理装置的结构示意图；

图11为本申请实施例的数据处理装置的结构示意图；

图12为本申请实施例的计算设备的一种结构示意图；

图13为本申请实施例中手机的一种结构示意图；

图14为本申请实施例中服务器的一种结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象（例如第一目标程序和第二目标程序分别表示为不同的目标程序，其他类似），而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例还提供一种图像处理方法、相关装置及存储介质，可应用于能够防御对抗攻击的图像识别场景下的图像处理系统，该图像处理系统可包括图像处理装置和图像识别装置，图像处理装置和图像识别装置可以集成部署，也可分离式部署。该图像处理装置至少用于基于待识别图像进行图像处理，得到目标图像。该图像识别装置用于识别输入的图像，得到图像识别结果。其中，图像处理装置可为基于待识别图像进行图像处理，得到目标图像的应用程序，或为安装了基于待识别图像进行图像处理，得到目标图像的应用程序的服务器或终端设备；图像识别装置可为对图像进行识别，得到识别结果的图像识别程序，所述图像识别程序例如是图像识别模型，所述图像识别装置还可为部署了图像识别模型的终端设备。

本申请实施例提供一种数据处理方法、相关装置及存储介质，可应用于构建用于防御对抗攻击的图像处理组件的数据处理系统。该数据处理系统可包括数据处理装置和图像识别装置，数据处理装置和图像识别装置可以集成部署，也可分离式部署。该数据处理装置至少用于基于对抗图像训练得到第一目标程序。该图像识别装置用于识别输入的图像，得到图像识别结果，例如基于输入的目标图像和原始图像，输出两个图像的相似度。其中，数据处理装置可为基于对抗图像训练得到第一目标程序的应用程序，或为安装了基于对抗图像训练得到第一目标程序的应用程序的服务器；图像识别装置可为对图像进行识别，得到识别结果的图像识别程序，所述图像识别程序例如是图像识别模型，所述图像识别装置还可为部署了图像识别模型的终端设备。

本申请实施例提供的方案涉及人工智能(Artificial Intelligence，AI)、计算机视觉技术(Computer Vision，CV)、机器学习(MachineLearning，ML)等技术，具体通过如下实施例进行说明:

其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

现有技术中，通常需要后端的图像识别模型（即需要防御对抗攻击的图像识别模型）先检测出图像中的对抗扰动，然后将对包括抗扰动的区域设置为缺失区域，该缺失区域一般略大于对抗扰动的实际区域，通过图像重绘完成缺失区域的修复，达到降低对抗扰动的攻击性的效果。

现有技术方案中针对对抗扰动的修复还原处理，最优效果可以完美复原图像的缺失内容（即图像叠加对抗扰动之前的状态），得到与原始图像非常近似的还原图像，该还原图像中没有对抗扰动，用于图像识别时不具有对抗攻击性；最差修复效果也可以破坏对抗扰动的视觉表达，降低对抗扰动的攻击性，实现一定的防御效果。但是，现有技术在检测对抗扰动区域时，仍然需要待防御攻击的图像识别模型参与，由其提供对抗扰动区域的位置信息；然而，待防御对抗攻击的图像识别模型一般是由第三方部署的，相当于黑盒模型，在不对模型内部数据处理过程进行改造的情况下，无法单独提供对抗扰动区域的位置信息，即现有技术方案的应用场景受到限制，无法适用于不能修改待防御对抗攻击的图像识别模型的场景。

相比于现有技术，本申请实施例中，在处理图像时，可以通过预设的图像处理组件对待识别图像中包括的对抗扰动进行检测，得到用于确定对抗扰动位置信息的目标掩码；基于该目标掩码可以准确地定位对抗扰动区域，以便修复还原对抗扰动区域，得到扰动还原区域；采用该扰动还原区域可以替换待识别图像中的对抗扰动区域，得到目标图像；该目标图像可以代替待识别图像用于图像识别，即可以将目标图像输入后端的需要防御对抗扰动攻击的图像识别装置，得到待识别图像的识别结果。可见，本申请实施例在需要检测图像中的对抗扰动时，可以通过预设的图像处理组件定位图像中的对抗扰动，不依赖于待防御对抗攻击的模型输出的对抗扰动的位置信息。因此，本申请实施例可以帮助黑盒模型（即内部数据处理过程无法修改的模型）防御对抗攻击，不需要模型产权方公布模型的具体参数细节，可以在保护模型产权方（例如第三方部署的模型）隐私的前提下，完成对抗攻击的防御工作，应用场景不会受到限制，且非常广泛。而且由于扰动还原区域与对抗扰动的形状位置完全对应，所以可以仅对对抗扰动实际存在的区域进行修复还原处理，而不会涉及图像中的正常区域，使得待识别图像去除对抗扰动区域之后的缺失区域，可以由扰动还原区域无缝填补，形成与待识别图像叠加对抗扰动之前的原始图像非常相似的目标图像，即该目标图像可以达到最佳的修复还原效果。

一些实施方式中，图像处理装置和图像识别装置分离式部署，参照图1，本申请实施例提供的图像处理方法可基于图1所示的一种图像处理系统实现。该图像处理系统可以包括服务器01和终端设备02。

该服务器01可以是图像处理装置，其中可以部署图像预处理程序。

该终端设备02可以是图像识别装置，其中可以部署有图像识别模型，例如基于机器学习的方法训练得到的人脸识别模型。

该终端设备02可以将接收到的待识别图像转发至服务器01。服务器01可以基于待识别图像获取目标掩码和重构图像，然后将重构图像的扰动还原区域与待识别图像结合，得到目标图像，然后将其向该终端设备02发送。终端设备02可以采用该目标图像代替所述待识别图像进行识别，得到的识别结果即为所述待识别图像的识别结果。

需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话（或称为“蜂窝”电话）和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务（英文全称：Personal Communication Service，英文简称：PCS）电话、无绳电话、会话发起协议（SIP）话机、无线本地环路（Wireless Local Loop，英文简称：WLL）站、个人数字助理（英文全称：Personal Digital Assistant，英文简称：PDA）等设备。

参照图2，图2为本申请实施例提供的一种图像处理方法的流程示意图。该方法可由图像处理装置执行，可应用于需要防御对抗攻击的图像识别场景，将包括对抗扰动的待识别图像，处理为不包括对抗扰动的目标图像，并以该目标图像代替所述待识别图像输入图像识别装置，进行图像识别，得到待识别图像的识别结果。所述方法包括步骤101-104：

步骤101，获取包括对抗扰动的待识别图像。

本申请实施例中，待识别图像可以是用户输入图像识别装置的输入图像，或者是图像采集设备基于待识别对象采集得到的图像，本申请实施例对此不做限定。本申请实施例致力于对待识别图像进行图像预处理，以破坏其中可能存在的对抗扰动。

可以理解的是，本申请实施例可以对显式的对抗扰动进行防御，也可以对隐式的对抗扰动进行防御，只要可以检测到图像中的对抗扰动，就可以重绘该对抗扰动区域，从而破坏对抗扰动的对抗攻击性能。

步骤102，获取目标掩码和重构图像。

所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息。需要说明的是，本申请实施例中，对抗扰动的位置信息可以是其占据的区域的位置和形状，即可以用掩码或者检测框表示。在本申请实施例中，参照图3，目标掩码可以和待识别图像具有相同的尺寸，且该目标掩码可以为二值图像，即该目标掩码中的任一像素，都可以通过像素值表示该像素位于对抗扰动区域或者正常图像区域。例如，目标掩码中的各个像素的像素值可以是0或1；若一个像素的像素值为1（图3中目标掩码的黑色区域），则可以表示该像素位于对抗扰动区域；若一个像素的像素值为0（图3中目标掩码的空白区域），则可以表示该像素位于正常图像区域。

所述目标掩码可以通过预设的图像处理组件，基于所述待识别图像得到。本申请实施例中，所述预设的图像处理组件为可以将图像中的对抗扰动的位置信息输出的图像处理程序，其可以是基于任意现有目标检测模型或图像识别模型构建，并预先训练好的神经网络，或者也可以是本申请实施例中数据处理方法部分提供的第一目标程序，或包括第一目标程序的图像预处理组件。

在本申请实施例中，第一目标程序可以基于任意现有的图像分割模型或目标检测模型得到，例如可以是SegNet、DeepLab、U-Net、Mask R-CNN、YOLO或Single Shot MultiBoxDetecto等基于深度学习的神经网络模型，本申请实施例对此不做限定。可以理解的是，图像分割模型可以包括基于传统方法的图像分割模型、基于区域选择的图像分割模型和基于反卷积的图像分割模型等。考虑到，基于反卷积的图像分割模型的分割精度较好，本申请实施例中可以优选基于该种模型得到第一目标程序。

考虑到，神经网络模型的训练和执行需要耗费一些计算成本和时间，且精度越高，需要耗费的时间和计算资源越多。为了节省计算资源，在一个可能的设计中，第一目标程序可以基于待识别图像中的对抗扰动，得到一个初始掩码图像，该初始掩码图像可以粗略标注出对抗扰动的位置信息，然后基于该初始掩码图像进行像素检测，可以得到一个对抗扰动的初始边界框，参照图4，即一个表示对抗扰动大致区域的图像。

在本申请实施例中，可以通过非零像素值统计方法、图像全图像素值遍历扫描或二值图像联通区域检测等方式获取所述初始边界框，本申请实施例对此不做限定。

得到初始边界框之后，可以基于边缘检测技术得到对抗扰动的准确位置信息，即目标掩码。在本申请实施例中，可以通过下述步骤一、步骤二获取所述目标掩码：

步骤一、通过所述图像处理组件，基于所述待识别图像中对抗扰动的像素区域，确定目标对抗图像。

在本申请实施例中，所述图像处理组件基于第一目标程序构建，其用于从待识别图像中获取一个初始边界框，该初始边界框标注对抗扰动的大致区域，即所述目标对抗图像。所述目标对抗图像中对抗扰动的面积占比，大于所述待识别图像中对抗扰动的面积占比。

参照图4，在本申请实施例中，初始边界框标注的图像内容中包括对抗扰动的全部区域，以及对抗扰动周边的一些预设区域；即初始边界框标注的图像内容中，对抗扰动占据了将近全局的图像面积，由此，基于这部分图像进行区域划分或者分割检测，可以更加方便快捷地得到对抗扰动的准确边界。

可以理解的是，在本申请实施例中，大致定位了待识别图像中的对抗扰动之后，可以通过提取、裁剪或框选等方式得到目标对抗图像，本申请实施例对此不做限定。

步骤二、对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果，得到所述目标掩码。

在本申请实施例中，对所述目标对抗图像进行边缘检测，可以采用一阶微分边缘算子、Roberts边缘检测算子、Prewitt边缘检测算子、Sobel边缘检测算子或Canny边缘检测算子进行，此处不做限定。

考虑到，边缘检测是标识数字图像中亮度变化明显的点。也即，在边缘检测领域，对图像中的物体进行边缘检测，往往是基于图像中各个像素在亮度上的表现。由此，在本申请实施例中，基于边缘检测算子进行目标对抗图像中的对抗扰动的边缘检测之前，需要将该目标对抗图像转换至相应的颜色空间，以获取该图像中各个像素在亮度通道的表现，从而方便进行边缘检测。例如，可以将所述目标对抗图像转换至Lab颜色空间、LCh颜色空间或者Luv颜色空间，本领域的技术人员可以根据实际需要进行选择，此处不做限定。

考虑到，对抗图像中的对抗扰动通常是基于随机初始化的噪声迭代得到，而在进行迭代的过程中，往往也是对噪声的面积和形状进行修改，即确定原始图像的哪些像素区域叠加噪声后能够实现对抗攻击效果。而随机初始化的噪声，往往表现为黑白像素点。因此，对抗图像中的对抗扰动的外在表现大多为二值化的噪点。也即，由于目标对抗图像中的对抗扰动是黑白像素点，而不是丰富多彩的正常图像，往往比其中的正常图像的表现单一。基于上述噪声表现的单一特点和目标对抗图像的对抗扰动占比极大的特点，为了方便快捷地实现对抗扰动的边缘检测，在一个可能的设计中，可以通过从目标对抗图像的边缘像素点向内进行相邻像素点的检测和对比，若在一个检测方向检测到超过预设数量的多个与噪声表现一致的像素点，则可以认为多个像素点中的边缘像素点即是对抗扰动在该方向的边缘。具体来说，所述步骤二可以包括步骤a-c：

步骤a，基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点。

本申请实施例中，任一候选边缘像素点均为所述目标对抗图像的边缘像素点，或者该边缘像素点向图像中心像素点方向排列的相邻像素点。也即，本申请实施例中，将从目标对抗图像的边缘开始，逐步向图像内侧的各个像素点进行检测；基于此，对抗扰动最初始的候选边缘像素点，即为目标对抗图像的边缘像素点。

步骤b，从各候选边缘像素点中确定位置连续的多个目标边缘像素点。

其中，目标边缘像素点是像素值为预设数值的像素点。

在本申请实施例中，基于目标对抗图像中对抗扰动的面积占比非常大以及一些对抗扰动本身是二值图像的特点，参照图5，可以从目标对抗图像的边缘开始，逐步向内检测各个像素点是否为对抗扰动像素点。基于此，若一个候选边缘像素点的像素值为预设数值（与对抗扰动的像素值相同，例如0或255），则可以将其确定为目标边缘像素点（即对抗扰动的边缘像素点）；若一个候选边缘像素点的像素值不为预设数值，则其不是目标边缘像素点，可以将该候选边缘像素点（图像中心侧）的相邻像素点，作为新的候选边缘像素点，并基于其像素值重新进行数值判断，直至得到目标边缘像素点。

根据上述从一个候选边缘像素点开始，确定一个目标边缘像素点的过程，可以基于各个候选边缘像素点，获取全部的目标边缘像素点。可以理解的是，由于图像的像素点越向内排列，图像最外侧一周的像素点数量越少，由此，即使未确定任何目标边缘像素点，候选边缘像素点的数量也是不断减少的。

考虑到，虽然对抗扰动的像素值可能比较特别，与正常图像内容的像素值不同，但是也无法排除一些正常图像内容的像素恰好与对抗扰动具有相同的像素值。为了获取到更加准确的目标边缘像素点，在一个可能的设计中，若连续多个位置相邻的候选像素点均为预设数值，则将多个相邻的候选像素点中位于边缘的候选像素点，作为目标边缘像素点。

步骤c，基于各个目标边缘像素点的覆盖区域，得到所述目标掩码。

在本申请实施例中，通过从目标对抗图像的边缘逐步向内侧的各个像素点排查，基于各个像素点的像素值确定其是否为对抗扰动的目标边缘像素点。若基于各个候选边缘像素点得到的各个目标边缘像素点，能够合围起来框选出一个完整的图像区域，则可以认为已经确定出连续的对抗扰动区域；即所述合围区域，即是对抗扰动，基于该合围区域的位置坐标，即可得到所述目标掩码。

可以理解的是，由于一些候选边缘像素点可能具有相同的相邻像素点，由此，并不是每个目标边缘像素点均是基于唯一的一个候选边缘像素点确定的。也即，在已经可以基于各个目标边缘像素点确定对抗扰动的位置时，可能还存在候选边缘像素点，由此，本申请实施例中，不需要再对这些候选边缘像素点进行像素值判断，节省了计算资源和时间。

本申请实施例中的步骤a-c，提供了一种针对目标对抗图像和对抗扰动的特点的，简单易实施的边缘检测方式。由于目标对抗图像中的大部分区域均为对抗扰动，正常图像内容较少，且位于目标对抗图像的边缘区域，由此，从目标对抗图像的边缘向内逐步检测，可以较为快速、方便地获取到其中对抗扰动的边缘。

参照图6，为了节省图像处理步骤，在一个可能的设计中，也可以不提取目标对抗图像，而是以初始边界框为边界，对其中的图像内容（即目标对抗图像）进行边缘检测，以得到目标掩码。

可以理解的是，虽然本申请实施例中的步骤一和二提供了一些基于目标对抗图像获取目标掩码的方式，但是并不限于此。本申请实施例中，还可以直接基于待识别图像进行对抗扰动的边缘检测，得到目标掩码。

本申请实施例中，所述重构图像中包括与所述对抗扰动对应的扰动还原区域。在本申请实施例中，扰动还原区域即是指对抗扰动被修复还原之后的区域。现有技术方案中为了避免未能准确定位对抗扰动而漏掉对抗扰动的部分区域没有进行修复，即现有技术方案中往往是进行冗余修复（将大于对抗扰动的区域修复）。与现有技术方案不同，本申请实施例中，由于对待识别图像中的对抗扰动进行了准确的识别，即目标掩码的掩码区域可以完美契合对抗扰动，因此，扰动还原区域是完全基于对抗扰动的实际区域进行修复得到的，在所述重构图像中的位置信息，与所述对抗扰动在所述待识别图像中的位置信息相同；即二者的相对位置和形状是相同，且完全对应的。

与目标掩码类似地，所述重构图像也可以通过图像重绘模型或者图像补全模型，基于所述待识别图像获取；或者也可以采用下述数据处理方法实施例中训练得到的第二目标程序获取。

在本申请实施例中，对待识别图像进行对抗扰动的修复还原，是为了得到与原始图像（即待识别图像叠加对抗扰动之前的基础图像）大致或者完全相同的重构图像（二者的相似度大于预设值，例如80%）。基于此，本申请实施例中的第二目标程序，可以是采用基于神经网络模型构建的图像生成技术，例如Stable Diffusion或VGG19；或者还可以是图像补全模型，例如CM-GAN、CoModGAN或iGPT；不论是图像生成模型还是图像补全模型，或者其他图像处理模型，本领域的技术人员均可以根据实际需要进行选择。本申请实施例中的关键在于，修复还原待识别图像中的对抗扰动区域，使得修复后得到的图像与原始图像的图像内容相似（例如相似度大于90%）或相同。

步骤103，基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像。

在本申请实施例中，所述目标图像是所述重构图像中的所述扰动还原区域与所述待识别图像组合后得到的。参照图7，即可以基于所述目标掩码去除所述待识别图像中的对抗扰动区域，然后根据所述目标掩码获取重构图像中的扰动还原区域（对应待识别图像中的对抗扰动区域），之后将扰动还原区域的图像内容，填补到去除了对抗扰动区域后的待识别图像中，得到所述目标图像。

在一个可能的设计中，还可以通过以下方式获取所述目标图像：

其中，

表示第i个目标图像，/>

表示第i个待识别图像，/>

表示基于第i个待识别图像得到的第i个重构图像，/>

基于第i个待识别图像得到的第i个目标掩码。

步骤104，将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

在本申请实施例中，所述目标图像用于代替所述待识别图像输入图像识别装置。在现有技术中，待识别图像将直接输入图像识别装置，若待识别图像中包括对抗扰动，则图像识别装置将被所述待识别图像中的对抗扰动误导，输出与所述待识别图像不符的识别结果。例如，若待识别图像a是一个用户A的人脸图像，其中，人脸位置的眼镜处包括了对抗扰动，该对抗扰动可以误导人脸识别模型，使得其基于该待识别图像a输出：“身份为用户B”的识别结果；本申请实施例中，将对待识别图像a进行处理，修复其中的对抗扰动，还原待识别图像a对抗扰动处的本来面貌，得到的修复后图像即为目标图像，该目标图像将代替所述待识别图像a，输入图像识别装置，得到：“身份为用户A”的识别结果。

可以理解的是，参照图8，本申请实施例的图像处理方法可以基于数据处理方法实施例中得到的图像预处理组件实现，该图像预处理组件中的第一目标程序相当于所述预设的图像处理组件。该图像预处理组件可以通过接口或远端或嵌入等方式，提供图像预处理服务，以便对待识别图像进行处理，修复还原其中可能存在的对抗扰动，帮助图像识别装置抵御对抗攻击。

本申请实施例中，在处理图像时，可以通过预设的图像处理组件对待识别图像中包括的对抗扰动进行检测，得到用于确定对抗扰动位置信息的目标掩码；基于该目标掩码可以准确地定位对抗扰动区域，以便修复还原对抗扰动区域，得到扰动还原区域；采用该扰动还原区域可以替换待识别图像中的对抗扰动区域，得到目标图像；该目标图像可以代替待识别图像用于图像识别，即可以将目标图像输入后端的需要防御对抗扰动攻击的图像识别装置，得到待识别图像的识别结果。可见，本申请实施例在需要检测图像中的对抗扰动时，可以通过预设的图像处理组件定位图像中的对抗扰动，不依赖于待防御对抗攻击的模型输出的对抗扰动的位置信息。因此，本申请实施例可以帮助黑盒模型（即内部数据处理过程无法修改的模型）防御对抗攻击，不需要模型产权方公布模型的具体参数细节，可以在保护模型产权方（例如第三方部署的模型）隐私的前提下，完成对抗攻击的防御工作，应用场景不会受到限制，且非常广泛。而且由于扰动还原区域与对抗扰动的形状位置完全对应，所以可以仅对对抗扰动实际存在的区域进行修复还原处理，而不会涉及图像中的正常区域，使得待识别图像去除对抗扰动区域之后的缺失区域，可以由扰动还原区域无缝填补，形成与待识别图像叠加对抗扰动之前的原始图像非常相似的目标图像，即该目标图像可以达到最佳的修复还原效果。

以上对本申请实施例中提供的一种图像处理方法进行了介绍，下面从数据处理装置的角度介绍本申请实施例中的数据处理方法。参见图9，图9为本申请实施例中数据处理方法的一种流程示意图，该数据处理方法可由所述数据处理装置执行，应用于构建对抗攻击防御组件的场景，例如构建包括第一目标程序的图像预处理组件，该第一目标程序为基于候选掩码图像与标准掩码图像得到的第一损失值收敛时的第一图像处理程序，故该第一目标程序可以准确识别对抗图像中的对抗扰动，辅助修复该对抗扰动，还原对抗图像添加对抗扰动之前的原始状态，避免对抗扰动发挥对抗攻击作用。所述数据处理方法包括步骤301-304：

步骤301，数据处理装置获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像。

在本申请实施例中，对抗图像的方式可以是基于任意现有对抗攻击方法从原始图像得到，例如最相似迭代算法、快速梯度算法、显著图攻击算法或本地搜索攻击方法等，本申请实施例对此不做限定。

第一图像处理程序可以基于任意现有的图像分割模型或目标检测模型得到，图像处理方法中已经进行了示例性说明，此处不再赘述。该第一图像处理程序可以通过本申请实施例的方式进行更新，得到第一目标程序。

由于第一图像处理程序可能是随机初始化得到的，其无法准确定位对抗图像中的对抗扰动，故而将其输出的结果称之为候选掩码图像；即大致表明对抗扰动位置信息的掩码图像，类似于本申请图像处理方法实施例部分的初始边界框。

步骤302，数据处理装置获取第一损失值。

其中，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到。

在本申请实施例中，第一图像处理程序在初始状态可能无法获取到足够准确的掩码图像；即初始的第一图像处理程序，可能无法准确输出对抗图像中的对抗扰动位置信息。由此，本申请实施例中可以基于标准掩码图像与第一图像处理程序输出的候选掩码图像之间的差异，获得第一损失值，以便基于所述第一损失值更新所述第一图像处理程序的（模型）参数值，使得其输出更加准确的候选掩码图像。

考虑到，候选掩码图像和标准掩码图像均是用于指示图像中对抗扰动的位置信息，即二者都可以是二值图像。由此，在本申请实施例中，可以通过两个图像各自掩码区域的重叠情况，确定候选掩码图像中的掩码是否足够准确。也就是说，候选掩码图像中的掩码与标准掩码图像中的掩码的重叠率越高，则表示该候选掩码图像越准确，相应的第一损失值越小。

在目标检测领域中，通常还采用（Intersection over Union，IoU）交并比来衡量目标检测结果（即模型输出的边界框）的准确率。由此，在本申请实施例中，还可以基于候选掩码图像和标准掩码图像之间的交并比，获取第一损失值：

其中，

表示第一损失值，/>

表示第i个对抗图像的候选掩码图像，

表示第i个对抗图像的标准掩码图像。

可以理解的是，对抗图像的标准掩码图像可以事先准备，例如通过边缘检测技术或者自动标注技术或者人工标注得到。

步骤303，若所述第一损失值未收敛，则数据处理装置更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序，作为第一目标程序。

在本申请实施例中，若第一图像处理程序基于对抗图像获取的候选掩码图像不够准确，则需要对该第一图像处理程序进行更新，使得其能够更加准确的识别出对抗图像中的对抗扰动位置信息。由此，本申请实施例中会对第一图像处理程序进行多轮迭代，直至其可以输出较为准确的掩码图像。

在本申请实施例中，若当前迭代轮次中获取的第一损失值未收敛，则可以基于该第一损失值，采用梯度优化法更新第一图像处理程序的模型参数的数值。例如，采用梯度下降法可以分别计算第一损失值和模型参数值的梯度，该梯度可以表示所述模型参数值的更新方向，然后采用预设的参数值更新量结合所述更新方向，更新所述模型参数值；具体来说，若得到梯度值为负，预设的参数值更新量为1，则可以将所述模型参数值-1，得到更新后的模型参数值。可以理解的是，第一图像处理程序中的参数不止一个，在一个迭代轮次中，针对每个模型参数，都可以采用上述更新过程进行一次参数值更新。

可以理解的是，本申请实施例中的梯度优化法还可以是随机梯度下降法、自适应学习率优化算法、动量法、共轭梯度法或自然梯度法等现有梯度优化方法，本领域的技术人员可以根据实际需要自由选择，本申请实施例对此不做限定。

步骤304，数据处理装置基于所述第一目标程序，构建图像预处理组件。

所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

在本申请实施例中，训练完成第一图像处理程序之后，得到第一目标程序。该第一目标程序可以将待识别图像中的对抗扰动区域定位出来，即得到掩码，以便配合重绘程序，得到对抗扰动被修复还原的第一重建图像。之后，可以根据所述掩码将所述第一重建图像中的扰动还原区域与所述待识别图像组合，得到目标图像。该目标图像不再包括对抗扰动，可以代替所述待识别图像，输入图像识别装置，得到所述待识别图像的识别结果。

考虑到，对抗图像的修复还原还需要进行扰动重绘。为了得到一个整体上检测并修复还原对抗扰动的方案，在一个可能的设计中，还可以训练得到用于修复还原对抗扰动的第二目标程序，并将第二目标程序和第二目标程序整体打包，得到一个具有对抗扰动检测和修复功能的图像预处理组件。所述获取对抗图像之后，所述方法还包括步骤401-403：

步骤401，数据处理装置获取掩码图像和第二重建图像。

在本申请实施例中，所述掩码图像可以是事先准备好的，与所述对抗图像对应的标准掩码图像。所述掩码图像还可以由所述第一目标程序基于所述对抗图像得到，例如掩码图像。

所述第二重建图像通过第二图像处理程序基于所述对抗图像得到。所述第二图像处理程序，可以是采用基于神经网络模型构建的图像生成模型，用于更新得到第二目标程序，此处不再赘述。

考虑到，第一目标程序可能无法输出与标准掩码图像一致的候选掩码图像。因此，为了保证进行对抗攻击防御时（获取目标图像的步骤中），可以基于更加准确的掩码图像进行对抗扰动重绘，在一个可能的设计中，还可以对候选掩码图像进行处理，以获取更加准确的掩码图像。具体来说，所述获取掩码图像还可以包括步骤m-p：

步骤m，基于所述候选掩码图像，获取所述对抗图像中的所述对抗扰动的初始边界框。

在本申请实施例中，候选掩码图像中，掩码区域覆盖的图像，不是完全与对抗图像中的对抗扰动契合的，其可能是大于对抗扰动的，或与对抗扰动交叠的。为了更加方便地通过步骤m-p基于候选掩码图像获取准确的掩码图像，可以将步骤301-303中对第一图像处理程序的训练目标设置为：使得训练完成的第一图像处理程序可以输出掩码覆盖范围大于对抗图像中的对抗扰动区域的候选掩码图像。

考虑到，候选掩码图像为二值图像，其中不同的像素值分别表示不同区域，例如像素值为1代表对抗扰动区域，像素值为0代表正常图像区域。因此，在本申请实施例中，可以基于各个表示对抗扰动区域的像素的位置（坐标），得到所述对抗图像中所述对抗扰动的初始边界框。具体来说，可以通过非零像素值统计方法、图像全图像素值遍历扫描或二值图像联通区域检测等方式获取所述初始边界框，本申请实施例对此不做限定。

步骤m，根据所述对抗图像中对抗扰动的像素区域，确定目标对抗图像。

所述目标对抗图像中对抗扰动的面积占比，大于所述对抗图像中对抗扰动的面积占比。

步骤n，基于所述目标对抗图像进行所述对抗扰动的边缘检测，并根据边缘检测结果，得到所述掩码图像。

在本申请实施例中，对所述目标对抗图像进行边缘检测，可以采用一阶微分边缘算子、Roberts边缘检测算子、Prewitt边缘检测算子、Sobel边缘检测算子或Canny边缘检测算子进行，此处不做限定。

考虑到，边缘检测是标识数字图像中亮度变化明显的点。也即，在边缘检测领域，对图像中的物体进行边缘检测，往往是基于图像中各个像素在亮度上的表现。由此，在本申请实施例中，基于边缘检测算子进行目标对抗图像中的对抗扰动的边缘检测之前，需要将该目标对抗图像转换至相应的颜色空间，以获取该图像中各个像素在亮度通道的表现，从而方便进行边缘检测。例如，可以将所述目标对抗图像转换至Lab颜色空间、LCh颜色空间或者Luv颜色空间，本领域的技术人员可以根据实际需要进行选择，此处不做限定。

考虑到，对抗图像中的对抗扰动通常是基于随机初始化的噪声迭代得到，而在进行迭代的过程中，往往也是对噪声的面积和形状进行修改，即确定原始图像的哪些像素区域叠加噪声后能够实现对抗攻击效果。而随机初始化的噪声，往往表现为黑白像素点。因此，对抗图像中的对抗扰动的外在表现大多为二值化的噪点。也即，由于目标对抗图像中的对抗扰动是黑白像素点，而不是丰富多彩的正常图像，往往比其中的正常图像的表现单一。基于上述噪声的单一表现特点和目标对抗图像的对抗扰动占比极大的特点，为了方便快捷地实现对抗扰动的边缘检测，在一个可能的设计中，可以通过从目标对抗图像的边缘像素点向内进行相邻像素点的检测和对比，若在一个检测方向检测到超过预设数量的多个与噪声表现一致的像素点，则可以认为多个像素点中的边缘像素点，即是对抗扰动在该方向的边缘。具体来说，所述步骤p可以包括步骤p1-p3：

步骤p1，基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点。

本申请实施例中，任一候选边缘像素点均为所述目标对抗图像的边缘像素点，或者该边缘像素点向图像中心像素点方向排列的相邻像素点。也即，本申请实施例中，将从目标对抗图像的边缘开始，逐步向图像内侧的各个像素点进行检测；基于此，对抗扰动最初始的候选边缘像素点，即为目标对抗图像的边缘像素点。

步骤p2，从各候选边缘像素点中确定位置连续的多个目标边缘像素点。

其中，目标边缘像素点是像素值为预设数值的像素点。

步骤p3，基于各个目标边缘像素点的覆盖区域，得到所述掩码图像。

本申请实施例中的步骤p1-p3，提供了一种针对目标对抗图像和对抗扰动的特点的，简单易实施的边缘检测方式。由于目标对抗图像中的大部分区域均为对抗扰动，正常图像内容较少，且位于目标对抗图像的边缘区域，由此，从目标对抗图像的边缘向内逐步检测，可以较为快速、方便地获取到其中对抗扰动的边缘。

可以理解的是，虽然本申请实施例中的步骤a-c提供了一些基于目标对抗图像获取掩码图像的方式，但是并不限于此。本申请实施例中，还可以直接基于对抗图像进行对抗扰动的边缘检测，得到掩码图像。

步骤402，数据处理装置获取第二损失值。

其中，所述第二损失值基于候选修复图像与原始图像之间的相似度获取。在本申请实施例中，候选修复图像是第二重建图像中的扰动还原区域与原始图像组合后得到的。

候选修复图像和原始图像之间的相似度，可以基于二者的图像特征获取，例如基于二者的图像特征距离（可以是欧式距离或明氏距离等衡量向量距离的方式得到）。可以理解的是，在一些实施例中，也可以直接利于L1或L2损失函数直接获取两个图像的第一损失值，此处不再赘述。

在本申请实施例中，获取对抗图像的步骤之前，还可以先获取训练图像集，然后再从训练图像集中训练图像对，训练图像对可以包括原始图像和对抗图像，该对抗图像是基于所述原始图像生成的。例如，一个训练图像对包括一个对抗图像Xadv和一个原始图像Xsrc，则该对抗图像Xadv是基于原始图像Xsrc生成的，即对抗图像Xadv可以等同于原始图像Xsrc叠加对抗扰动。本申请实施例的关键在于，训练图像对中包括的对抗图像和原始图像在图像内容上是对应的，即除了对抗扰动区域之外的其他图像区域是一致的，以便迭代第二图像处理程序时，计算候选修复图像与原始图像的相似度。

考虑到，本申请实施例中需要对第二图像处理程序进行更新。为了使得训练过程中的第二图像处理程序学习到各种类型的对抗扰动的重绘方式，可以预先准备多个训练图像对，多个训练图像对可以包括不同的图像。由此，在每个迭代轮次，都可以获取与上一个迭代轮次不同的训练图像对，使得第二图像处理程序可以基于不同的对抗图像进行重绘，从而最终得到的第二图像处理程序具备多种类型的图像的重绘能力，提高其泛化性能，避免过拟合。可以理解的是，多个训练图像对中的原始图像可以相同，也可以不同，即多个不同的对抗图像可以是基于相同的原始图像生成的，也可以是基于不同的原始图像生成的，本申请实施例对此不做限定。

需要说明的是，本申请实施例中的训练图像对可以从实现准备的训练图像集中获取，训练图像集中的对抗图像可以使用多种不同的对抗扰动，在不同人物、场景以及拍摄距离等可选组合条件下，进行粘贴得到，并实现在目标检测模型下稳定的攻击效果。由此，基于本申请实施例中的训练图像对得到的第二目标程序可以具有广泛且鲁棒的对抗扰动修复效果。

为了加快第二图像处理程序的迭代更新速度，使得其在一个迭代轮次中可以学习到多个训练图像对的图像修复关系。在本申请实施例中，在一个迭代轮次，可以获取多个训练图像对，然后基于多个训练图像对获取多个子损失值之和，作为第二损失值：

其中，

表示第二损失值，R表示训练图像对的数量，/>

表示第i个候选修复图像，/>

表示第i个原始图像。

步骤403，若所述第二损失值未收敛，则数据处理装置更新所述第二图像处理程序，并从所述训练图像集中获取新的图像对作为所述训练图像对，直至基于候选修复图像与原始图像得到的第二损失值收敛，并将收敛时的第二图像处理程序作为第二目标程序。

可以理解的是，虽然本申请实施例以各个损失值（包括第一损失值和第二损失值）是否收敛，作为相应图像处理程序的更新停止条件，但是并不限于此。在其他可能的设计中，还可以是更新迭代达到预设次数，例如100次。或者，在一些可能的设计中，也可以是损失值是否达到预设数值。

在本申请实施例中，训练完成第二图像处理程序之后，得到第二目标程序。该第二目标程序可以将待识别图像中的对抗扰动区域修复还原，得到与原始图像一致的重构图像，基于此重构图像代替所述待识别图像进行图像识别，可以破坏原有的待识别图像的对抗攻击效果。

现有技术中，需要待防御对抗攻击的图像识别装置输出对抗图像中的对抗扰动，这要求图像识别装置是能够获取模型参数和结构的白盒模型。即该方案属于白盒防御的范畴，在方案进行过程中需要图像识别装置的高度参与，因此该类方案的应用场景受限很难扩展到无法修改模型内部数据处理过程的黑盒应用场景。

为了适应黑盒应用场景（指的是可能被攻击的图像识别模型无法检测待识别图像中的对抗扰动，同时对无法确认被攻击的图像识别模型结构及相关信息，即无法提供准确的掩码图像），本申请实施例中，在得到第二目标程序之后，即可以基于第一目标程序和第二目标程序，构建所述图像预处理组件。所述步骤304可以包括：基于所述第一目标程序和所述第二目标程序，得到所述图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

在本申请实施例中，可以通过接口或插件的方式将上述图像预处理组件插入图像识别装置中。例如，在停车场车牌识别场景中，现有技术是通过停车场入口出的摄像头获取车牌图像，然后将获取到的车牌图像输入至图像识别装置中，得到具体的车牌号，若某个车辆的车牌是基于对抗攻击方法得到的，其可能伪装成其他车辆的车牌号；由此，可以将所述图像预处理组件插入图像识别装置，该图像预处理组件可以接收摄像头获取的车牌图像，并输出目标图像至图像识别装置中代替车牌图像被识别，使得车牌图像无法发挥对抗攻击作用。需要说明的是，本申请实施例中，还可以通过云端或接口等方式提供图像预处理服务，而不限于在图像识别设备中部署所述图像预处理组件。

考虑到，掩码图像的准确与否与修复图像的修复效果密切相关。为了使得图像预处理组件得到的目标图像达到最佳准确率，在本申请实施例中，所述图像预处理组件在包括第一目标程序和第二目标程序的基础上，还可以包括用于实现步骤a-c的程序段（即用于掩码的边缘优化程序段，得到目标掩码）。由此，第一目标程序基于待识别图像输出的初始掩码图像，可以进一步优化得到准确的目标掩码，从而使得最终得到的目标图像更加准确。

可以理解的是，本申请实施例中，图像预处理组件还可以包括滤波器等图像处理组件，其可以用于进一步处理目标图像，对扰动区域进行有效的模糊或干扰处理，加强对抗扰动的破坏效果。

本申请实施例中，可以通过第一图像处理程序获取候选掩码图像，之后基于候选掩码图像与与标准掩码图像之间的掩码交叠率得到第一损失值，基于该第一损失值可以更新第一图像处理程序，从而得到能够实现最佳对抗扰动检测效果的第一目标程序。由于本申请实施例训练得到了可以用于检测对抗扰动的第一目标程序，基于第一目标程序可以得到图像预处理组件，该图像预处理组件可以以插件或接口形式嵌入图像识别过程，在检测对抗扰动时无需修改所述图像识别程序，从而可以适用于内部参数结构无法获取的图像识别模型，不依赖于图像识别程序检测待识别图像中的对抗扰动。因此，本申请实施例的图像预处理组件，可以适用于无法修改模型内部数据处理过程的黑盒模型，即应用于黑盒防御场景，实施条件简单，更加方便。

以上对本申请实施例中一种图像处理方法、数据处理方法分别进行说明，以下对执行上述数据处理方法的数据处理装置、以及执行图像处理方法的图像处理装置(例如服务器)分别进行介绍。

参阅图10，如图10所示的一种图像处理装置的结构示意图，其可应用于需要防御对抗攻击的图像识别场景下的服务器中，将包括对抗扰动的待识别图像，处理为对抗扰动区域被修复还原的目标图像，并以该目标图像代替所述待识别图像输入图像识别装置，进行图像识别，得到待识别图像的识别结果。在本申请实施例中的图像处理装置能够实现对应于上述图2中所对应的实施例中所执行的图像处理方法的步骤。图像处理装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述数据处理装置可包括输入输出模块601及处理模块602，所述处理模块602、所述输入输出模块601的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理模块602可用于控制所述输入输出模块601的收发、获取等操作。

所述输入输出模块601，被配置为获取包括对抗扰动的待识别图像；

所述处理模块602，被配置为获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

所述处理模块602，还被配置为基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

所述输入输出模块601，还被配置为将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

在一些实施方式中，所述处理模块602，还被配置为通过所述图像处理组件，基于所述待识别图像中对抗扰动的像素区域，确定目标对抗图像；所述目标对抗图像中对抗扰动的面积占比，大于所述待识别图像中对抗扰动的面积占比；以及对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果，得到所述目标掩码。

在一些实施方式中，所述处理模块602，还被配置为基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点；从各候选边缘像素点中确定位置连续的多个目标边缘像素点；目标边缘像素点是像素值为预设数值的像素点；基于各个目标边缘像素点的覆盖区域，得到所述目标掩码。

本申请实施例中，处理模块602在处理图像时，可以通过预设的图像处理组件获取待识别图像中的对抗扰动的位置信息，得到辅助修复还原所述对抗扰动的目标掩码，不再需要待防御对抗攻击的图像识别模型检测待识别图像的对抗扰动位置。因此，本申请实施例可以适用于无法修改待防御对抗攻击的模型内部数据处理过程的黑盒场景；即当本申请实施例应用于无法修改的图像识别模型（例如为第三方部署的模型）时，能够以图像预处理的方式对待识别图像进行处理，得到用于确定对抗扰动位置信息的目标掩码，基于该目标掩码可以准确地定位对抗扰动区域，以便进行对抗扰动区域的精准修复还原，而不会导致修复还原对抗扰动时错漏缺失部分区域，该扰动还原区域可以代替待识别图像中的对抗扰动区域，得到用于进行图像识别的目标图像，可见，本申请实施例不依赖于模型输出的对抗扰动的位置信息进行对抗扰动的修复还原。而且由于扰动还原区域与对抗扰动的形状位置完全对应，所以可以准确还原对抗扰动区域，而不会涉及图像中的正常区域，使得待识别图像去除对抗扰动区域之后的缺失区域，可以由扰动还原区域无缝填补，形成与待识别图像叠加对抗扰动之前的原始图像非常相似的目标图像，即该目标图像可以达到最佳的修复还原效果。

参阅图11，图11为本申请实施例中数据处理装置的一种结构示意图，其可应用于对抗攻击防御组件的构建场景下的服务器中构建包括第一目标程序的图像预处理组件，第一目标程序可以准确识别对抗图像中的对抗扰动，辅助修复该对抗扰动，还原对抗图像添加对抗扰动之前的原始状态，避免对抗扰动发挥对抗攻击作用。在本申请实施例中的数据处理装置能够实现对应于上述图8中所对应的实施例中所执行的数据处理方法的步骤。数据处理装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元，所述单元可以是软件和/或硬件。所述数据处理装置可包括输入输出单元701及处理单元702，所述处理单元702、所述输入输出单元701的功能实现可参考图8所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理单元702可用于控制所述输入输出单元701的收发、获取等操作。

所述输入输出单元701，被配置为获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像；

所述处理单元702，被配置为获取第一损失值，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到；

所述处理单元702，还被配置为若所述第一损失值未收敛，则更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序，作为第一目标程序；

所述处理单元702，还被配置为基于所述第一目标程序，构建图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

在一个可能的设计中，所述处理单元702，还被配置为获取掩码图像和第二重建图像；所述第二重建图像，通过第二图像处理程序基于所述对抗图像得到；

获取第二损失值；所述第二损失值基于候选修复图像与原始图像之间的相似度获取；所述候选修复图像基于所述对抗图像、所述掩码图像以及所述第二重建图像得到；所述原始图像从训练图像对中获取，所述训练图像对从训练图像集中获取；

若所述第二损失值未收敛，则更新所述第二图像处理程序，并从所述训练图像集中获取新的图像对作为所述训练图像对，直至基于候选修复图像与原始图像得到的第二损失值收敛，并将收敛时的第二图像处理程序作为第二目标程序；

所述处理单元702，还被配置为基于所述第一目标程序和所述第二目标程序，得到所述图像预处理组件。

在一个可能的设计中，所述处理单元702，还被配置为根据所述对抗图像中对抗扰动的像素区域，确定目标对抗图像；所述目标对抗图像中对抗扰动的面积占比，大于所述对抗图像中对抗扰动的面积占比；

对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果，得到所述掩码图像。

在一个可能的设计中，所述处理单元702，还被配置为基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点；

从各候选边缘像素点中获取多个目标边缘像素点；目标边缘像素点为像素值为预设数值的像素点；

基于各目标边缘像素点连接形成的区域，得到所述掩码图像。

在一个可能的设计中，所述处理单元702，还被配置为通过所述第一目标程序，基于所述对抗图像得到所述掩码图像。

本申请实施例中，处理单元可以通过第一图像处理程序获取候选掩码图像，之后基于候选掩码图像与与标准掩码图像之间的掩码交叠率得到第一损失值，基于该第一损失值可以更新第一图像处理程序，从而得到能够实现最佳对抗扰动检测效果的第一目标程序。由于本申请实施例训练得到了可以用于检测对抗扰动的第一目标程序，基于第一目标程序可以得到图像预处理组件，该图像预处理组件可以以插件或接口形式嵌入图像识别过程，在检测对抗扰动时无需修改所述图像识别程序，从而可以适用于内部参数结构无法获取的图像识别模型，不依赖于图像识别程序检测待识别图像中的对抗扰动。因此，本申请实施例的图像预处理组件，可以适用于无法修改模型内部数据处理过程的黑盒模型，即应用于黑盒防御场景，实施条件简单，更加方便。

上面从模块化功能实体的角度对本申请实施例中的图像处理装置60和数据处理装置70分别进行了描述，下面从硬件处理的角度分别对本申请实施例中的数据处理装置和图像处理装置进行描述。

需要说明的是，图10所示的输入输出模块601对应的实体设备可以为收发器、射频电路、通信模块和输入/输出（I/O）接口等，处理模块602对应的实体设备可以为处理器。图11所示的输入输出单元701对应的实体设备可以为收发器、射频电路、通信模块和输入/输出（I/O）接口等，处理单元702对应的实体设备可以为处理器。

图10、图11所示的装置均可以具有如图13所示的结构，当图10所示的图像处理装置60具有如图13所示的结构时，图13中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理模块602和输入输出模块601相同或相似的功能，图13中的存储器存储处理器执行上述图像处理方法时需要调用的计算机程序。

当图11所示的数据处理装置70具有如图13所示的结构时，图13中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理单元702和输入输出单元701相同或相似的功能，图13中的存储器存储处理器执行上述数据处理方法时需要调用的计算机程序。

本申请实施例还提供了一种终端设备，如图13所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：

图13示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图13对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short MessagingService，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图13中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了Wi-Fi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由图像处理装置执行的基于待识别图像进行图像处理的方法流程。

本申请实施例还提供了一种服务器，请参阅图14，图14是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（英文全称：central processing units，英文简称：CPU）1122（例如，一个或一个以上处理器）和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130（例如一个或一个以上海量存储设备）。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块（图中未示出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix, Linux，FreeBSD等等。

上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器1100的结构。例如，例如上述实施例中由图14所示的数据处理装置60或图像处理装置70所执行的步骤可以基于该图14所示的服务器结构。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：

通过输入输出接口1158获取包括对抗扰动的待识别图像；

获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

还可以通过输入输出接口1158将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘Solid State Disk(SSD)）等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

获取包括对抗扰动的待识别图像；

获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

2.如权利要求1所述的方法，其特征在于，所述获取所述目标掩码，包括：

通过所述图像处理组件，基于所述待识别图像中对抗扰动的像素区域，确定目标对抗图像；所述目标对抗图像中对抗扰动的面积占比，大于所述待识别图像中对抗扰动的面积占比；

对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果得到所述目标掩码。

3.如权利要求2所述的方法，其特征在于，所述对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果，得到所述目标掩码，包括：

基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点；

从各候选边缘像素点中确定位置连续的多个目标边缘像素点；目标边缘像素点是像素值为预设数值的像素点；

基于各个目标边缘像素点的覆盖区域，得到所述目标掩码。

4.一种数据处理方法，其特征在于，所述方法包括：

获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像；

获取第一损失值，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到；

若所述第一损失值未收敛，则更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序作为第一目标程序；

基于所述第一目标程序，构建图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

5.如权利要求4所述的方法，其特征在于，所述获取对抗图像之后，所述方法还包括：

获取掩码图像和第二重建图像；所述第二重建图像通过第二图像处理程序基于所述对抗图像得到；

获取第二损失值；所述第二损失值基于候选修复图像与原始图像之间的相似度获取；所述候选修复图像基于所述对抗图像、所述掩码图像以及所述第二重建图像得到；所述原始图像从训练图像对中获取，所述训练图像对从训练图像集中获取；

若所述第二损失值未收敛，则更新所述第二图像处理程序，并从所述训练图像集中获取新的图像对作为所述训练图像对，直至基于候选修复图像与原始图像得到的第二损失值收敛，并将收敛时的第二图像处理程序作为第二目标程序；

所述基于所述第一目标程序，构建图像预处理组件，包括：

基于所述第一目标程序和所述第二目标程序，得到所述图像预处理组件。

6.如权利要求5所述的方法，其特征在于，所述获取掩码图像，包括：

根据所述对抗图像中对抗扰动的像素区域，确定目标对抗图像；所述目标对抗图像中对抗扰动的面积占比，大于所述对抗图像中对抗扰动的面积占比；

对所述目标对抗图像中的所述对抗扰动进行边缘检测，并根据边缘检测结果，得到所述掩码图像。

7.如权利要求6所述的方法，其特征在于，所述对所述目标对抗图像进行对抗扰动的边缘检测，并根据边缘检测结果，得到所述掩码图像，包括：

基于所述目标对抗图像，获取所述对抗扰动的各个候选边缘像素点；

从各候选边缘像素点中获取多个目标边缘像素点；目标边缘像素点为像素值为预设数值的像素点；

基于各目标边缘像素点连接形成的区域，得到所述掩码图像。

8.一种图像处理装置，其特征在于，该装置包括：

输入输出模块，被配置为获取包括对抗扰动的待识别图像；

处理模块，被配置为获取目标掩码和重构图像；所述目标掩码用于表示所述待识别图像中所述对抗扰动的位置信息，所述目标掩码通过预设的图像处理组件，基于所述待识别图像得到；所述重构图像中包括与所述对抗扰动对应的扰动还原区域；

所述处理模块，还被配置为基于所述待识别图像、所述目标掩码以及所述重构图像，得到目标图像；

所述输入输出模块，还被配置为将所述目标图像输入图像识别装置，以得到所述待识别图像的识别结果。

9.一种数据处理装置，其特征在于，该装置包括：

输入输出单元，被配置为获取对抗图像，并将所述对抗图像输入第一图像处理程序，得到候选掩码图像；

处理单元，被配置为获取第一损失值，所述第一损失值基于所述候选掩码图像与标准掩码图像之间的掩码交叠率得到；

所述处理单元，还被配置为若所述第一损失值未收敛，则更新所述第一图像处理程序，并将所述对抗图像输入更新的第一图像处理程序，直至基于候选掩码图像与标准掩码图像得到的第一损失值收敛，并将收敛时的第一图像处理程序，作为第一目标程序；

所述处理单元，还被配置为基于所述第一目标程序，构建图像预处理组件；所述图像预处理组件用于在图像识别中基于待识别图像得到目标图像；所述目标图像用于代替所述待识别图像，进行图像识别。

10.一种计算设备，其特征在于，其包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法，或者实现如权利要求4-7中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3中任一项所述的方法，或者执行如权利要求4-7中任一项所述的方法。

12.一种包含指令的计算机程序产品，所述计算机程序产品包括程序指令，当所述程序指令在计算机或处理器上运行时，使得所述计算机或所述处理器执行如权利要求1-3中任意一项所述的方法，或者执行如权利要求4-7中任一项所述的方法。

13.一种芯片系统，其特征在于，该芯片系统包括：

通信接口，用于输入和/或输出信息；

处理器，用于执行计算机可执行程序，使得安装有所述芯片系统的设备执行如利要求1-3中任一项所述的方法，或者执行如权利要求4-7中任一项所述的方法。

Images