CN115937638A - 模型训练方法、图像处理方法、相关装置及存储介质 - Google Patents

Abstract

本申请实施例涉及计算机视觉领域，提供一种模型训练方法、图像处理方法、相关装置及存储介质，该模型训练方法包括：获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于基础二维图像生成；获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；若所述目标损失未收敛，则基于所述目标损失更新所述预设模型；基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。本申请实施例的目标模型可以基于二维图像生成三维对抗图像，不必以三维图像为输入，实施成本低。

Description

模型训练方法、图像处理方法、相关装置及存储介质

技术领域

本申请实施例涉及计算机视觉领域，更具体地涉及一种模型训练方法、图像处理方法、相关装置及存储介质。

背景技术

对抗攻击研究如何针对深度学习模型生成对抗图像，对抗图像可以输入深度学习模型，基于深度学习模型对对抗图像的识别结果可以确定模型是否安全。这有助于及时发现深度学习模型的脆弱性，评估深度学习模型的鲁棒性。一些对抗攻击方法在数字世界中生成添加较小对抗扰动的对抗图像，无法被深度学习模型正确识别或将其识别为指定的标签。

当前，一些图像识别模型往往是以三维图像为输入，得到识别结果。因此，一些研究针对这些图像识别模型生成三维对抗图像，以揭示其模型弱点和缺陷，从而进行有针对性的修复和巩固。现有的一些图像识别模型往往以黑盒形式集成在图像采集设备中，为了衡量这些模型的安全性，挖掘其缺陷，当前对这些图像识别模型进行三维对抗攻击技术主要通过点云扰动生成、对抗点云网格化、3D打印物理世界样本或修改结构光成像系统投影模式等步骤实现。然而，现有技术中往往只能一次输入一个三维图像，生成一个三维对抗点云，如果需要生成多个其他输入样本的三维对抗点云，则需要重复进行多次梯度反向传播，效率较低。因此，研究并开发出一种高效、低成本的三维图像识别模型的对抗攻击方法是一个亟待解决的问题。

发明内容

本申请实施例提供一种模型训练方法、图像处理方法、相关装置及存储介质,可以基于由预设模型从基础二维图像生成的三维候选对抗图像获取目标损失，然后基于所述目标损失优化获取预设模型；优化完成的预设模型，可以以多个二维图像为输入，获取与所述二维图像一一对应的多个三维对抗图像，高效、低成本的实现三维图像识别模型的对抗攻击，从而对模型进行安全性测试和缺陷挖掘。

第一方面，本申请实施例从模型训练装置角度提供一种模型训练方法，该方法应用于模型训练装置，该方法包括：

获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于基础二维图像生成；

获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；

若所述目标损失未收敛，则基于所述目标损失更新所述预设模型；

基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

在一个可能的设计中，所述基础二维图像基于预设对象采集得到，所述预设对象包括以下项中至少一项：攻击者和受害者；

所述基础二维图像包括所述预设对象的部分区域。

在一个可能的设计中，所述目标损失基于识别相似度损失、真实度判别损失、重构损失加权得到。

第二方面，本申请实施例从模型训练装置角度提供一种图像处理方法，该方法应用于图像处理装置，该方法包括：

获取目标二维图像，其中，所述目标二维图像至少包括攻击者图像；

通过目标模型基于所述目标二维图像生成三维对抗图像，其中，所述目标模型根据第一方面所述的方法训练得到；

基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像；

其中，所述二维对抗图像用于形成三维实体对抗物。

第三方面，本申请实施例提供一种模型训练装置，具有实现对应于上述第一方面提供的模型训练方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

在一个实施方式中，所述模型训练装置包括：

输入输出模块，被配置为获取基础二维图像和目标三维图像，其中，所述目标三维图像用于表示目标对象的三维形状；

处理模块，被配置为获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于所述基础二维图像生成；

所述处理模块，还被配置为获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像和所述目标三维图像得到；以及若所述目标损失未收敛，则基于所述目标损失优化所述预设模型；以及基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

在一个可能的设计中，所述基础二维图像基于预设对象采集得到，所述预设对象包括以下项中至少一项：攻击者和受害者；

所述基础二维图像包括所述预设对象的部分区域。

在一个可能的设计中，所述目标损失基于识别相似度损失、真实度判别损失、重构损失加权得到。

第四方面，本申请实施例提供一种图像处理装置，具有实现对应于上述第二方面提供的图像处理方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

在一个实施方式中，所述图像处理装置包括：

输入输出单元，被配置为获取目标二维图像，其中，所述目标二维图像至少包括攻击者图像；

处理单元，被配置为通过目标模型基于所述目标二维图像生成三维对抗图像，其中，所述目标模型根据第三方面所述的模型训练装置得到；

所述处理单元，还被配置为基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像；

其中，所述二维对抗图像用于形成三维实体对抗物。

第五方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的模型训练方法，或者执行如第二方面所述的图像处理方法。

第六方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的模型训练方法，或者如第二方面所述的图像处理方法。

相较于现有技术，本申请实施例中，可以通过预设模型基于基础二维图像生成三维候选对抗图像，然后基于三维候选对抗图像获取目标损失，最后基于目标损失确定所述预设模型是否训练完成，若所述目标损失收敛，则可以得到训练完成的预设模型。训练完成的预设模型可以基于输入的二维图像生成三维对抗图像，以实现对三维图像识别模型的对抗攻击测试，挖掘模型中的缺陷和漏洞，从而进行有针对性的修复和加固。由于本申请实施例中训练得到的目标模型可以基于二维图像生成三维对抗图像，而不是现有技术中的以基于真实对象扫描得到的三维图像为输入，从而极大地简化了对抗攻击实施条件，成本更低。另外，由于本申请实施例中训练得到了一个用于从二维图像生成三维对抗图像的目标模型，因此，在需要基于多个目标对象进行三维对抗图像生成时，只需要将所述多个目标对象的二维图像分别输入目标模型即可，无需像现有技术中分别针对每个目标对象的三维图像进行多次梯度反向传播，得到各个目标对象的三维对抗图像，极大节省了计算时间和计算资源，效率极高。另外，由于本申请实施例中，可以将生成的三维对抗图像展开至二维平面，从而得到用于形成三维实体对抗物的二维对抗图像，相比于现有技术中需要通过3D打印技术将生成的三维对抗图像输出，本申请实施例可以通过普通打印机将二维对抗图像输出，然后折叠为三维实体对抗物，无需专业的3D打印设备，极大地降低了实施条件，成本更低。

附图说明

通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：

图1为本申请实施例中模型训练方法的一种模型训练系统示意图；

图2为本申请实施例的图像处理方法的一种流程示意图；

图3为本申请实施例的模型训练方法的一种更新候选模型生成目标模型的流程示意图；

图4为本申请实施例的模型训练方法的一种三维图像的示意图；

图5为本申请实施例的模型训练方法的一种基于原始三维图像划分多个图像块的示意图；

图6为本申请实施例的模型训练方法的一种训练预设模型的模型训练框架示意图；

图7为本申请实施例的图像处理方法的一种流程示意图；

图8为本申请实施例的图像处理方法的一种生成二维对抗图像的流程示意图；

图9为本申请实施例的图像处理方法的一种生成包括二维纹理图的二维对抗图像的流程示意图；

图10为本申请实施例的模型训练装置的结构示意图；

图11为本申请实施例的图像处理装置的结构示意图；

图12为本申请实施例的计算设备的一种结构示意图；

图13为本申请实施例中手机的一种结构示意图；

图14为本申请实施例中服务器的一种结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如第一预设数值和第二预设数值分别表示为不同的预设数值，其他类似)，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。

本申请实施例提供一种模型训练方法、相关装置及存储介质，可应用于三维图像识别模型对抗攻击场景下的模型训练系统，该模型训练系统可包括模型训练装置和三维图像识别装置，模型训练装置和三维图像识别装置可以集成部署，也可分离式部署。该模型训练装置至少用于通过预设模型获取三维候选对抗图像，基于该三维候选对抗图像获取目标损失，基于该目标损失更新所述预设模型，直至目标损失收敛，以得到目标模型。该三维图像识别装置用于识别输入的三维图像，得到三维图像识别结果，例如基于输入的三维候选对抗图像输出该图像的识别结果。其中，模型训练装置可为更新三维候选对抗图像、获取目标模型的应用程序，或为安装了更新三维候选对抗图像、获取目标模型的应用程序的服务器；三维图像识别装置可为对三维候选对抗图像进行检测，得到第一车道线检测结果的三维图像识别程序，所述三维图像识别程序例如是三维图像识别模型，所述三维图像识别装置还可为部署了三维图像识别模型的终端设备。

本申请实施例还提供一种图像处理方法、相关装置及存储介质，可应用于三维图像识别模型对抗攻击场景下的图像处理系统，该图像处理系统可包括图像处理装置。该图像处理装置至少用于通过目标模型获取三维对抗图像，将该三维对抗图像展开至二维平面，得到用于形成三维实体对抗物的二维对抗图像。其中，图像处理装置可为获取三维对抗图像，将该三维对抗图像展开至二维平面，得到二维对抗图像的应用程序，或为安装了获取三维对抗图像，将该三维对抗图像展开至二维平面，得到二维对抗图像的应用程序的服务器。

本申请实施例提供的方案涉及人工智能(Artificial Intelligence，AI)、计算机视觉技术(Computer Vision，CV)、机器学习(Machine Learning，ML)等技术，具体通过如下实施例进行说明:

其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

现有技术中主要通过点云扰动生成、对抗点云网格化、3D打印物理世界样本或修改结构光成像系统投影模式等步骤实现。然而，现有技术中往往只能一次输入一个三维图像，生成一个三维对抗点云，如果需要生成多个其他输入样本的三维对抗点云，则需要重复进行多次梯度反向传播，效率较低。

相比于现有技术，本申请实施例可以通过预设模型基于基础二维图像生成三维候选对抗图像，然后基于三维候选对抗图像获取目标损失，最后基于目标损失确定所述预设模型是否训练完成，若所述目标损失收敛，则可以得到训练完成的预设模型。训练完成的预设模型可以基于输入的二维图像生成三维对抗图像，以实现对三维图像识别模型的对抗攻击测试，挖掘模型中的缺陷和漏洞，从而进行有针对性的修复和加固。由于本申请实施例中训练得到的目标模型可以基于二维图像生成三维对抗图像，而不是现有技术中的以基于真实对象扫描得到的三维图像为输入，从而极大地简化了对抗攻击实施条件，成本更低。另外，由于本申请实施例中训练得到了一个用于从二维图像生成三维对抗图像的目标模型，因此，在需要基于多个目标对象进行三维对抗图像生成时，只需要将所述多个目标对象的二维图像分别输入目标模型即可，无需像现有技术中分别针对每个目标对象的三维图像进行多次梯度反向传播，得到各个目标对象的三维对抗图像，极大节省了计算时间和计算资源，效率极高。另外，本申请实施例中，还可以将生成的三维对抗图像展开至二维平面，从而得到用于形成三维实体对抗物的二维对抗图像，相比于现有技术中需要通过3D打印技术将生成的三维对抗图像输出，本申请实施例可以通过普通打印机将二维对抗图像输出，然后折叠为三维实体对抗物，无需专业的3D打印设备，极大地降低了实施条件，成本更低。本申请实施例中可以通过模型训练系统得到目标模型，该模型训练系统可包括模型训练装置和三维图像识别装置。

一些实施方式中，模型训练装置和三维图像识别装置分离式部署，参照图1，本申请实施例提供的模型训练方法可基于图1所示的一种模型训练系统实现。该模型训练系统可以包括服务器01和终端设备02。

该服务器01可以是模型训练装置，其中可以部署模型训练程序。

该终端设备02可以是三维图像识别装置，其中可以部署有图像识别模型，例如基于机器学习的方法训练得到的三维图像识别模型。

服务器01可以接收基础二维图像，然后通过预设模型基于基础二维图像，迭代更新出致力于实现对抗攻击目标的三维候选对抗图像，并将该三维候选对抗图像向该终端设备02发送。终端设备02可以采用三维图像识别对目标三维图像以及该候选对抗图像进行处理，得到三维图像识别结果，然后向服务器01反馈。服务器01可以基于所述三维图像识别结果确定至少包括两图像识别相似度损失的目标损失，从而基于所述目标损失确定该三维候选对抗图像是否能够实现攻击目标，若能够实现攻击目标，则将其对应的预设模型确定为目标模型。

需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。

参照图2，图2为本申请实施例中模型训练方法的一种流程示意图。该方法可由模型训练装置执行，可应用于三维对抗图像的生成场景，采用训练数据对预设模型进行更新，得到目标模型，该目标模型可仅通过一次图像处理过程，基于二维图像生成三维对抗图像，以对三维图像识别模型进行对抗攻击测试，发掘模型的缺陷，衡量模型的安全性。所述模型训练方法包括步骤101-104：

步骤101，获取三维候选对抗图像。

在本申请实施例中，三维候选对抗图像可以通过预设模型基于基础二维图像生成，所述预设模型可以是采用机器学习技术构建的对抗转换网络(例如可以是自编码器，对抗生成网络中的生成器等，此处不做限定)，其可以将二维图像转换为三维图像，该三维图像可以包括预设形式的三维对抗扰动，以便输入三维图像识别模型，实施对抗攻击，测试该三维图像识别模型的安全性。

考虑到，在初始状态的预设模型中，由于模型参数可能是随机初始化得到的，并没有根据其要执行的任务进行适应性调整，可能导致其无法生成具有理想对抗攻击效果的三维对抗图像。由此，在本申请实施例中，可以对初始的预设模型进行迭代(例如模型参数或模型中的隐向量)，以使其模型参数适配三维对抗攻击任务，能够生成具有理想对抗攻击效果的三维对抗图像。

在本申请实施例中，迭代中的预设模型可以称之为候选模型，当前迭代轮次中的候选模型可以基于上一个迭代轮次中的候选模型更新得到。例如，如图3所示，假设基于初始模型a1进行3次更新得到了目标模型A，那么首先基于初始模型a1进行第一次更新得到候选模型a2，然后基于候选模型a2进行第二次更新得到候选模型a3，最后基于候选模型a3更新得到目标模型A。可以理解的是，由于迭代中的预设模型还不符合要求，无法生成具有理想对抗攻击效果的三维对抗图像，由此，其生成的三维图像可以称之为三维候选对抗图像，即迭代中的三维对抗图像。

在本申请实施例中，预设模型在每个迭代轮次中生成三维候选对抗图像的基础是二维图像(即所述基础二维图像)，该基础二维图像可以基于特定对象得到(例如可以是拍摄特定对象得到的照片)，该特定对象可以是对抗攻击中的攻击者与受害者的至少一个。

在有目标攻击中，其致力于使得图像识别模型将(基于攻击者的原始图像生成的)对抗图像识别为受害者，因此，基础二维图像基于攻击者和受害者得到，从而使得预设模型可以基于攻击者二维图像生成(致力于使得图像识别图像能够将其识别为受害者的)三维候选对抗图像；在无目标攻击中，其致力于使得图像识别模型无法将(基于攻击者的原始图像生成的)对抗图像识别为攻击者，因此，基础二维图像可以基于攻击者得到，从而使得预设模型可以基于攻击者二维图像生成(致力于使得图像识别图像无法将其识别为攻击者的)三维候选对抗图像。

考虑到，在一些场景下，例如在物理世界中三维人脸识别模型的对抗攻击场景下，需要生成对抗扰动，以便将对抗扰动实体化，然后作用于攻击者的真实人脸。例如，可以将对抗扰动实体化为眼镜，使得三维人脸识别模型基于佩戴对抗眼镜的攻击者的真实人脸，采集到三维对抗人脸图像，从而实现对抗攻击。由此在一些可选实施例中，基础二维图像可以仅包括预设对象的部分区域；例如在要生成眼镜形状的对抗扰动时，基础二维图像可以仅包括预设对象(攻击者和/或受害者)人脸的佩戴眼镜区域的图像。

步骤102，获取目标损失。

其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；在一些可选的实施例中，所述目标损失还可以包括真实度判别损失(用于衡量三维候选对抗图像和/或目标三维图像的真实性)和重构损失(至少用于衡量经采样得到的稀疏三维候选对抗图像与稀疏目标三维图像的结构相似度)。

在本申请实施例中，得到当前迭代轮次中预设模型生成的三维候选对抗图像之后，需要确定其是否具备了理想的对抗攻击效果，以便确定预设模型是否能够完全适应基于二维图像生成三维对抗图像的对抗攻击任务。具体来说，可以通过获取三维候选对抗图像与目标三维图像的识别相似度，确定两个图像是否相似，从而判断三维候选对抗图像是否具备了理想的对抗攻击效果(即三维候选图像能够被是识别为目标对象或非目标对象)。考虑到，本申请实施例中还需要对预设模型进行迭代

更新，由此，可以基于两个图像的识别相似度获取目标损失(至少包括两个图像的5识别相似度损失)，以便采用梯度优化法更新预设模型的参数。

可以理解的是，由于对抗攻击分为有目标攻击和无目标攻击，且这两种攻击方式的攻击目标并不相同，因此，在不同的攻击方式中，目标三维图像包括的对象也不相同。具体来说，在有目标攻击中，目标三维图像为受害者三维图像，即目标对

象为受害者；在无目标攻击中，目标三维图像为攻击者三维图像，即目标对象为攻0击者。

考虑到，本申请实施中的三维候选对抗图像是由预设模型生成的，其和自然拍摄的真实图像之间可能存在差距，而三维图像识别模型中可能存在一些防御对抗攻击的策略，这些策略将根据输入图像的真实性来判断其实会否为真实图像，并在其

不为真实图像时，将其拦截，防止模型被攻击。由此，在一些可选的实施例中，所5述目标损失还可以包括三维候选对抗图像的真实度判别损失，以便在更新预设模型

时，能够指导其生成以假乱真的三维候选对抗图像，不会被三维图像识别模型的防御策略所拦截。

可以理解的是，若仅仅评估三维候选图像的真实度判别损失，则可能由于没有

真实图像作为参照，造成评估的假阳率过高，导致评估结果不准确。由此，在一些0可选实施例中，在获取三维候选对抗图像的真实度判别损失的基础上，还可以获取

真实图像(例如可以是目标三维图像)的真实度判别损失作为参照，以便矫正假图像(即三维候选对抗图像)的真实度判别损失获取过程。

在本领域中，为了生成以假乱真的人工数据，常常采用对抗生成网络实现。具

体来说，通过该网络中的生成器生成假图像，并采用该网络中的判别器识别假图像，5当判别器无法准确识别假图像时，则可以认为生成器生成了以假乱真的假图像。因

此，在一些可选实施例中，也可以采用对抗生成网络技术构建预设模型和判别器，该判别器可以用于获取所述真实度判别损失(包括三维候选对抗图像和目标三维图像中至少一个的真实度判别损失)。

考虑到，在一些应用场景中(例如测试部署在汽车中的三维图像识别模型的安0全性的场景)，需要将三维对抗图像实体化，以便在现实世界对三维图像识别模型

进行安全性测试。然而，三维对抗图像在其表示的三维形状可以混淆模型的基础上，还包括了很多对于确定三维形状不必要的点云数据；例如，如图4所示，在一个表示正方体的三维图像中，可能仅仅需要8个顶点，就可以唯一确定该正方体的形状，

而在该正方体各个面上的点对确定其形状并没有帮助，反而会使得实体化时的工作5量变大，消耗很多不必要的计算资源和时间。

因此，在一些可选的实施例中，获取到三维候选对抗图像之后，可以对其进行采样，得到稀疏三维候选对抗图像(相比于原始的三维候选对抗图像，其中点数数量可以大大减少)，基于该稀疏三维候选对抗图像进行实体化则可以消耗较少的计

算资源和时间，工作量较小。可以理解的是，为了保证采样得到稀疏三维候选对抗0图像还具有准确的三维结构和形状，以维持对抗攻击效果，本申请实施例中，还可

以将目标三维图像采用同样的采样方式进行处理，得到稀疏目标三维图像，从而可以基于两个稀疏三维图像(即稀疏三维候选对抗图像和稀疏目标三维图像)获取重构损失，以便指导三维候选图像的生成，使得其稀疏化之后，依然可以保持理想的三维结构和形状。需要说明的是，本申请实施例中的重构损失是一种三维候选对抗图像与真实三维图像的点云距离或平滑性约束(与识别相似度损失基于图像特征的距离计算不同)，可以采用包括但不限于Chamfer距离、kNN距离、可逆网格采样、裁剪、投影等平滑约束及它们的组合方式计算。

可以理解的是，在包括采样流程的实施例中，用于实施对抗攻击的将是稀疏三维图像，即判断循环是否可以终止的目标损失将基于两个稀疏三维图像得到。由此，在该包括采样流程的实施例中，将以获取到的两个稀疏三维图像(即稀疏三维候选对抗图像和稀疏目标三维图像)的识别相似度替代两个原始三维图像(即三维候选对抗图像和目标三维图像)的识别相似度，以得到这两个原始三维图像的识别相似度损失。

为了保证稀疏化后的三维对抗图像既具有理想的对抗攻击效果，又具有较少的点云数据，降低实体化时的工作量，本申请实施例中还提供一种采样方式，在此方式中，对一个原始三维图像(即三维候选对抗图像或目标三维图像)进行采样包括步骤201-202：

步骤201，基于预设尺寸的网格将所述原始三维图像划分为多个图像块。

在本申请实施例中，在对一个原始三维图像进行采样之前，可以先将该图像划分为多个图像块，以便同时对多个图像块进行采样，提高采样效率，节省工作时间。例如，如图5所示，若一个原始三维图像为3*3*3的正方体，则可以采用边长为1的网格对该原始三维图像的各个面进行区域划分，每个面可以得到9个图像块。

步骤202，若各个图像块内的点云数量之和不等于预设值，则更新目标图像块，直至各个图像块内的点云数量之和等于所述预设值，并将点云数量之和等于所述预设值时的各个图像块合并，以得到该原始图像对应的稀疏三维图像(即稀疏三维候选对抗图像或稀疏目标三维图像)。

在本申请实施例中，对原始三维图像进行采样的目的在于：使得其包括的点云数量较少，然而点云数量过少也可能影响后续步骤中实施对抗攻击时的对抗攻击效果。因此，本申请实施例中，致力于使得采样得到的稀疏三维图像中的点云数量保持在合理阈值范围内。又考虑到，原始三维图像中的点云分布本身即为不均衡的，即有些区域的点云密集，有些区域的点云稀疏，由此，为了不影响稀疏化处理后的三维图像的整体三维结构和形状，可以使得各个区域的点云分布均衡，即原始点云密集的区域点云减少，原来点云稀疏的区域点云增加。

具体来说，可以设置一个预设值(例如为10-300中的任意整数值)，然后统计原始三维图像中的全部点云数量(即各个图像块内的点云数量之和)，若统计结果不等于预设值(可能是大于，也可能是小于)，则可以认为原始三维图像未达到要求，需要对其进行采样处理；例如，在原始三维图像的点云总数量大于预设值时，则可以认为该图像中的点云过多，由此，可以将其中一些点云密度高的目标图像块内的点云进行消除；或者，在原始三维图像的点云总数量小于预设值时，则可以认为该图像中的点云过少(通常可能是由于前述消除操作引起，例如点云消除过多，无法维持原有的三维结构和形状)，由此，可以将其中一些点云密度低的目标图像块内的点云数量增大(例如可以通过插值操作实现)。

可以理解的是，本申请实施例中对原始三维图像的处理是一个循环迭代的过程，只要其中的点云总数量不等于所述预设值，则将根据具体情况进行点云消除或点云增加，直至点云总数量等于所述预设值。在此过程中，每个迭代轮次的目标图像块都可能不同，各个迭代轮次的目标图像块确定方式可以是当前轮次中点云密度最高(在点云总数量大于所述预设值时)或最低(在点云总数量小于所述预设值时)，或者随机抽取等方式，本领域的技术人员可以根据实际场景进行选择，此处不再赘述。

在一个可能的设计中，各个迭代轮次均可以根据当前迭代轮次中各个图像块内的点云密度对目标图像块进行筛选，若各个图像块内的点云数量之和大于所述预设值，则将目标图像块内的点云按照第一预设方式(例如是随机合并或邻近合并)合并，所述目标图像块内的点云密度大于第一预设数值(例如可以设置为10，以筛选得到点云密度极大的图像块)；若各个图像块内的点云数量之和小于所述预设值，则按照第二预设方式(例如是随机插值)在目标图像块内进行点云插值，所述目标图像块内的点云密度小于第二预设数值(例如可以设置为3，以筛选得到点云密度极小的图像块)。

在一个可能的设计中，各个迭代轮次均可以根据当前迭代轮次中各个图像块内的点云密度对全部图像块进行排序，若各个图像块内的点云数量之和大于所述预设值，则将目标图像块内的点云按照第一预设方式合并，所述目标图像块内的点云密度在所述各个图像块中最大；若各个图像块内的点云数量之和小于所述预设值，则按照第二预设方式在目标图像块内进行点云插值，所述目标图像块内的点云密度在所述各个图像块中最小。

需要说明的是，在包括采样流程的可选实施例中，其关键在于使三维对抗图像在损失大量点云数据后仍能保持攻击稳定性，以减少实体化时的工作量。该采样流程并不限于本申请实施例中所列举的方式，其还可以是随机采样、体素下采样等，此处不做限定。

考虑到，在现实世界实施对抗攻击时，往往需要将三维对抗图像实体化，得到三维实体对抗物，然后通过图像采集设备获取三维实体对抗物的三维图像，以输入该设备连接的三维图像识别模型中，进行对抗攻击。然而，图像采集设备采集到的图像效果，受到环境因素的影响较大，例如图像采集设备与采集对象(即三维实体对抗物)的距离可能影响到采集得到的图像大小(图像采集时通常会产生的近大远小现象)，采集视角可能影响到采集图像中所呈现的三维实体对抗物的形状(例如，侧方采集的角度会导致采集对象的变形)。

因此，为了增强本申请实施例中得到的目标模型生成的三维对抗图像的抗干扰能力，在一些可选的实施例中，可以对进行识别相似度获取之前的图像(例如可以是稀疏三维候选对抗图像或三维候选对抗图像)进行三维变换处理(例如可以包括缩放变换，仿射变换等)。可以理解的是，由于识别相似度损失需要根据真实图像(即目标三维图像或稀疏目标三维图像)和生成图像(即三维候选对抗图像或稀疏三维候选对抗图像)获取，本申请实施例中将对真实图像和生成图像进行相同的三维变换处理，以保证二者识别前处理过程的一致性。

可以理解的是，本申请实施例中，至少一个任务致力于能够训练出符合要求的目标模型，从而可以基于二维图像生成具有理想对抗攻击效果的三维对抗图像。由此，在一些可选实施例中，预设模型可以放置于一个模型训练框架中，该模型训练框架在包括对抗转换网络和判别器之外，可以包括三维变换模块，该三维变换模块用于将所述三维候选对抗图像和所述目标三维图像分别进行三维变换处理，得到重变换三维候选对抗图像和重变换目标三维图像。可以理解是，在包括三维变换处理的可选实施例中，将以获取到的两个重变换三维图像(即重变换三维候选对抗图像和重变换目标三维图像)的识别相似度替代两个原始三维图像(即三维候选对抗图像和目标三维图像)的识别相似度，以得到这两个原始三维图像的识别相似度损失。

可选地，在一些实施例中，所述模型训练框架可以包括对抗转换网络、判别器和采样模块，由此，可以将三维变换模块连接在采样模块之后，该三维变换模块连用于将所述稀疏三维候选对抗图像和所述稀疏目标三维图像分别进行三维变换处理，得到重变换稀疏三维候选对抗图像和重变换稀疏目标三维图像。

类似地，在包括采样处理和三维变换处理的可选实施例中，将以获取到的两个重变换三维图像(即重变换稀疏三维候选对抗图像和重变换稀疏目标三维图像)的识别相似度替代两个原始三维图像(即三维候选对抗图像和目标三维图像)的识别相似度，以得到这两个原始三维图像的识别相似度损失。

考虑到，图像采集设备采集三维图像的过程中，由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声。因此，图像采集过程中存在的噪声干扰，也可能影响三维实体对抗物的对抗攻击效果。

为了增强本申请实施例中目标模型生成的三维对抗图像转换为三维实体对抗物后，对图像采集噪声的抗干扰能力，提高其鲁棒性。在一些可选实施例中，还可以对进行识别相似度获取之前的中间图像(例如可以是重变换三维候选对抗图像或稀疏三维候选对抗图像等基于三维候选对抗图像得到的图像)进行(随机)扰动处理(例如可以施加高斯噪声或随机噪声)，得到扰动图像，并以该扰动图像代替其对应的中间图像，获取识别相似度损失。

可以理解的是，由于识别相似度损失需要根据真实图像(即稀疏目标三维图像或重变换目标三维图像等基于目标三维图像得到的图像)和生成图像(即三维候选对抗图像或稀疏三维候选对抗图像)获取，而真实图像本身即为图像采集设备采集到的(相当于已经施加了噪声)，本申请实施例中将仅对生成图像进行相同的三维变换处理，以保证二者识别前处理过程的一致性。

参照图6，在一些可选的实施例中，所述模型训练框架包括对抗转换网络、判别器、采样模块、三维变换模块和扰动模块，将扰动模块连接在三维变换之后，该扰动模块连用于对三维变换模块处理得到的重变换稀疏三维候选对抗图像施加扰动，以使得目标损失是基于施加了图像采集噪声的图像得到的，从而提高其指导更新的预设模型产出的图像的抗干扰能力。

类似地，在包括采样处理、三维变换处理和扰动处理的可选实施例中，将以获取到的扰动重变换稀疏三维候选对抗图像与重变换稀疏目标三维图像的识别相似度替代两个原始三维图像(即三维候选对抗图像和目标三维图像)的识别相似度，以得到这两个原始三维图像的识别相似度损失。

基于上述实施例中对目标损失的介绍，在本申请不同的可选实施例中，目标损失可以具有以下几种可能的组合方式：

①、目标损失包括识别相似度损失

②、目标损失包括识别相似度损失和真实度判别损失

③、目标损失包括识别相似度损失和重构损失

④、目标损失包括识别相似度损失、真实度判别损失和重构损失

在组合方式①中，模型训练框架可以仅包括对抗转换网络和三维图像识别模型(可选地，还可以包括三维变换模块和扰动模块)，以最基本的方式实现预设模型(对抗转换网络)的更新，从而迭代得到目标模型。在该组合方式①中，由于模型训练框架结构简单，所以训练过程快，可以适用于仿真测试平台中对数字世界的三维图像识别模型进行的对抗测试。

在组合方式②中，模型训练框架可以仅包括对抗转换网络、三维图像识别模型和判别器(可选地，还可以包括三维变换模块和扰动模块)，以相对基础的方式实现预设模型(对抗转换网络)的更新，从而迭代得到目标模型。在该组合方式②中，由于模型训练框架结构较为简单，所以训练过程较快，可以适用于仿真测试平台中对数字世界的三维图像识别模型进行的对抗测试；而且由于包括了判别器，由此可以衡量三维候选对抗图像的真实度，从而使得目标模型生成的三维对抗图像较为真实，不易被三维图像识别模型的防御策略拦截，或肉眼发现失真。

在组合方式③中，模型训练框架可以仅包括对抗转换网络、三维图像识别模型和采样模块(可选地，还可以包括三维变换模块和扰动模块)，通过采样得到稀疏三维候选图像获取目标损失，以实现预设模型(对抗转换网络)的更新，从而迭代得到目标模型。在该组合方式③中，由于模型训练框架包括采样模块，可以使得目标模型生成的三维对抗图像以较小的实体化工作量，生成三维实体对抗物，可以适用于部署于实体设备(即物理世界的)三维图像识别模型进行的对抗测试。

在组合方式④中，模型训练框架可以包括对抗转换网络、三维图像识别模型、判别器和采样模块(可选地，还可以包括三维变换模块和扰动模块)，通过采样得到稀疏三维候选图像获取相似度识别损失，并通过判别器衡量三维候选对抗图像的真实度，得到真实度判别损失，从而得到包括各个维度(真实度，识别相似度和结构相似度)损失的目标损失，以实现预设模型(对抗转换网络)的更新，从而迭代得到目标模型，使得目标模型生成的三维对抗图像既真实，又易于实体化。

可以理解的是，为了使得一些实施例中获取的真实度判别损失更加准确。在基于判别器获取真实度判别损失的可选实施例中，还可以基于真实度判别损失更新判别器，即以真实图像(例如目标三维图像)的真实度判别损失和虚假图像(例如三维候选对抗图像)的真实度判别损失为参照，更新判别器，使得其能够更加准确的识别真假图像，从而使得预设模型可以生成更加真实的三维对抗图像。

考虑到，三维图像识别模型的对抗攻击任务可能对不同损失的关注度并不相同，例如可能更加关注生成的三维对抗图像是否具备理想的对抗攻击效果，而对实体化工作量的高低的关注度较低。由此，在一些可选实施例中，目标损失可以基于识别相似度损失、真实度判别损失和重构损失加权得到，各个损失的权重值可以根据任务侧重维度进行设置。

在模型训练时，由于在梯度优化法中，当损失函数值趋近于极限值时，相当于将待优化对象优化至最佳状态，由此，本申请实施例中可以通过目标损失是否收敛，判断当前迭代轮次的预设模型是否符合要求。

步骤104，若所述目标损失未收敛，则基于所述目标损失更新所述预设模型。

在本申请实施例中，若一个迭代轮次得到的目标损失没有收敛，则该迭代轮次的预设模型(对抗转换网络)还不符合要求，无法生成具有理想对抗攻击效果的三维对抗图像。

可以理解的是，目标损失未收敛，即为目标损失未达到预设的极限值，说明预设模型还存在优化提升空间。因此，可以采用梯度优化法，基于当前轮次的目标损失，更新所述预设模型(模型参数或隐向量)，提高其产出的图像的对抗攻击效果。具体来说，可以基于目标损失的偏导与预设模型的模型参数的偏导的比值确定梯度变化信息，然后基于所述梯度变化信息对预设模型的模型参数进行更新；例如，可以基于所述梯度变化信息确定模型参数的更新方向，然后基于所述更新方向和预设步长，增减所述模型参数的数值；若所述梯度变化信息为正，则可以基于所述预设步长增加所述模型参数的数值；若所述梯度变化信息为负，则可以基于所述预设步长减小所述模型参数的数值。

考虑到，本申请实施例中的对抗攻击包括有目标攻击和无目标攻击，由此，目标损失收敛时，分别对应不同的攻击方式具有不同的含义。在有目标攻击中，目标损失收敛时，在三维候选对抗图像与目标三维图像的识别相似度大于第一预设阈值(例如90％)，即(基于攻击者图像叠加三维对抗扰动的)三维对抗图像与受害者图像已经极其相似，二者会被识别模型识别为同一身份；在进行无目标攻击中，目标损失收敛时，三维候选对抗图像与目标三维图像的识别相似度小于第二预设阈值(例如10％)，即(基于攻击者图像叠加三维对抗扰动的)三维对抗图像与攻击者图像已经差异非常大，二者不会被识别模型识别为同一身份。

可以理解的是，在本申请的一些可选实施例中，预设模型除了包括对抗转换网络之外，还可能包括采样模块，以使得目标模型可以直接输出易于实体化的三维对抗图像。而采样模块对生成的三维对抗图像的对抗攻击效果并没有影响，由此，对预设模型进行优化时，主要指对用于基于二维图像生成三维对抗图像的模块进行优化，例如对抗转换网络。

在一些可能的设计中，还可以基于任意现有的梯度优化方法优化更新各个迭代轮次中的预设模型，例如可以是梯度下降法(Gradient Descent)、动量法(Momentum)、共轭梯度法(Conjugate Gradient)和自然梯度法(Natural Gradient))，本领域的技术人员可以根据实际需要进行选择，本申请实施例对此不做限定。

可以理解的是，虽然本申请实施例以各个迭代轮次中基于三维候选对抗图像得到的目标损失是否收敛，作为判断循环是否终止的条件，但是不限于此。在一些可能的设计中，还可以根据循环迭代次数确定是否终止循环，例如可以将循环迭代100次后得到的预设模型作为目标模型。

步骤105，基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

在本申请实施例中，更新预设模型之后，即可通过更新的预设模型基于基础二维图像生成新的三维候选对抗图像(即步骤101中获取三维候选对抗图像的操作)，从而进入下一轮循环，直至某轮得到的目标损失收敛，并将此轮的预设模型作为目标模型。

需要说明的是，本申请实施例得到的目标模型，可以仅通过一轮图像处理过程，将输入模型的二维图像转换为三维对抗图像。在得到所述目标模型之后，可以将其部署在相应的仿真测试平台中，对待测试的三维图像识别模型进行对抗攻击测试；例如，仿真测试平台可以通过预设端口，(例如数据接口或网络连接等)将所述目标模型输出的三维对抗图像输入待测试模型，根据待测试模型的识别结果，评估其安全性或挖掘其缺陷。

可以理解的是，在一些场景下，无法将三维对抗图像直接输入三维图像识别模型进行测试，需要在物理世界形成三维实体对抗物，以间接进行对抗攻击测试。例如，三维图像识别模型部署于一个图像采集设备中，无法像仿真测试平台中，通过网络或数据接口将三维对抗图像输入该模型中，即该模型仅接受图像采集设备基于实体对象采集到的三维图像作为输入，由此，可以将目标模型输出的三维对抗图像实体化(例如3D打印)，得到三维实体对象物，然后由所述图像采集设备基于该三维实体对象物，采集得到三维对抗图像，并输入三维图像识别模型中，以对其进行对抗攻击测试。

本申请实施例中，可以通过预设模型基于基础二维图像生成三维候选对抗图像，然后基于三维候选对抗图像获取目标损失，最后基于目标损失确定所述预设模型是否训练完成，若所述目标损失收敛，则可以得到训练完成的预设模型。训练完成的预设模型可以基于输入的二维图像生成三维对抗图像，以实现对三维图像识别模型的对抗攻击测试，挖掘模型中的缺陷和漏洞，从而进行有针对性的修复和加固。由于本申请实施例中训练得到的目标模型可以基于二维图像生成三维对抗图像，而不是现有技术中的以基于真实对象扫描得到的三维图像为输入，从而极大地简化了对抗攻击实施条件，成本更低。另外，由于本申请实施例中训练得到了一个用于从二维图像生成三维对抗图像的目标模型，因此，在需要基于多个目标对象进行三维对抗图像生成时，只需要将所述多个目标对象的二维图像分别输入目标模型即可，无需像现有技术中分别针对每个目标对象的三维图像进行多次梯度反向传播，得到各个目标对象的三维对抗图像，极大节省了计算时间和计算资源，效率极高。

以上对本申请实施例中提供的一种模型训练方法进行了介绍，下面从图像处理装置的角度介绍本申请实施例中的采用上述模型训练方法得到的模型进行图像处理的方法。参见图7，图7为本申请实施例中图像处理方法的一种流程示意图，该图像处理方法可由所述图像处理装置执行，应用于三维对抗图像的生成场景，采用目标模型仅通过一次图像处理过程，即可基于二维图像生成三维对抗图像，以对三维图像识别模型进行对抗攻击测试，发掘模型的缺陷，衡量模型的安全性。所述方法包括步骤301-303：

步骤301，获取目标二维图像。

其中，所述目标二维图像至少包括攻击者图像。

在图像处理方法的实施例中，目标二维图像为生成三维对抗图像的基础，类似于模型训练方法中的基础二维图像，该目标二维图像可以作为目标模型的输入，由目标模型仅通过一轮图像处理过程，将其转换为三维对抗图像。

由于对抗攻击包括有目标攻击和无目标攻击，而两种攻击方式的实施均需要一个攻击主体(即攻击者)，由此，本申请实施例中的目标图像至少包括攻击者图像，该二维图像至少可以表示攻击者的形状或结构。考虑到，有目标攻击中，需要识别模型将攻击者识别为受害者，因此，目标二维图像可以包括攻击者图像和受害者图像；无目标攻击中，则需要识别模型将无法识别出攻击者，因此，目标二维图像可以仅包括攻击者图像。

步骤302，通过目标模型基于所述目标二维图像生成三维对抗图像。

其中，所述目标模型根据模型训练方法中的任一实施例训练得到。

在模型训练方法的实施例中，目标模型在包括基础的对抗转换网络的基础上，还可以包括多个可选模块，例如采样模块，三维变换模块和扰动模块，以适应各种不同的应用场景需求。而图像处理方法的一些实施例中希望提供一种更低成本的获取三维实体对抗物的方式，例如将三维对抗图像展开为二维图像，并基于该二维图像进行折叠，形成对应的三维实体对抗物；因此，参照图8，在图像处理方法的一些可选实施例中，图像处理方法中采用的目标模型至少包括对抗转换网络和采样模块。

步骤303，基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像。

其中，所述二维对抗图像用于形成三维实体对抗物。

考虑到，三维对抗图像实质上可能包括的是一系列三维点云数据，即三维坐标点的集合，并未形成可检测的平面或曲面，无法完整表示一个物体的形状，从而不方便后续的展开操作。因此，在获取到三维对抗图像之后，可以基于其中的各个点云数据形成小平面，即得到对抗网格，以便进行识别或展开。

在将对抗网格展开至二维平面时，可以通过现有技术中三维数据处理软件的二维展开模块实现，例如Ultimate PaperCraft3D、Autodesk 3DMAX等软件的2D展开模块，此处不一一列举。

考虑到，二维展开时，三维图像中的点云数据越多，则处理工作量越大，耗费时间越长、在一些可选实施例中，目标模型包括采样模块，其可对对抗转换网络生成的三维对抗图像进行采样操作，得到稀疏三维对抗图像，然后可以基于该稀疏三维对抗图像获取(点云数据量较少的)对抗网格，并将该对抗网格展开至二维平面，得到用于形成三维实体对抗物的二维对抗图像。

由于目标模型实质上是扰动攻击者的三维形状或结构，形成在三维结构或三维形状上与受害者相似或攻击者不相似的三维对抗图像。然而，现有技术中的三维图像识别模型可能在进行图像识别时，可能还涉及到对图像纹理的识别(例如，在人脸识别时，可能会参考皮肤颜色等属性)，由此，为了进一步提高对抗攻击效果，参照图9，在一些可选实施例中，基于三维对抗图像获取到对抗网格，并将该对抗网格展开至二维平面之前，还可以获取二维纹理图，该二维纹理图可以是攻击者二维纹理图、受害者二维纹理图或二维对抗纹理图，该二维纹理图的具体内容可以根据实际场景中的对抗攻击方式确定。

例如，在进行有目标攻击时，二维纹理图可以是受害者二维纹理图，或者二维对抗纹理图，该二维对抗纹理图可以采用任意二维对抗攻击方法，基于攻击者二维纹理图与受害者二维纹理图得到，该二维对抗纹理图在二维图像识别模型中可以被识别为受害者。在进行无目标攻击时，二维纹理图可以是受害者二维纹理图，或者也可以是二维对抗纹理图，该二维对抗纹理图可以采用任意二维对抗攻击方法，基于攻击者二维纹理图得到，该二维对抗纹理图在二维图像识别模型中可以无法识别为攻击者。

在得到二维纹理图之后，可以将对抗网格与该二维纹理图对齐，以便该二维纹理图填充至对抗网格中，得到组合对抗网格。在获取组合对抗网格的可选实施例中，可以将组合对抗网格展开至二维平面，得到二维对抗图像。

由于二维对抗图像中填充了纹理，由此，其对抗攻击效果得到进一步提升，从而最终形成的三维实体对抗物的对抗攻击效果也得到了提升。

为了更加方便地得到三维实体对抗物，可以通过折叠技术将二维对抗图像转化为三维实体对抗物。具体来说，可以生成包括至少一条指示线的二维对抗图像，参照图8，该指示线用于指导折叠操作，基于该指示线折叠所述二维对抗图像后，即可得到三维实体对抗物。生成包括指示线的二维对抗图像也可以通过现有技术中三维数据处理软件的二维展开模块实现，例如Ultimate PaperCraft3D、Autodesk3DMAX等软件的2D展开模块。

本申请实施例中，可以将生成的三维对抗图像二维展开，从而得到用于形成三维实体对抗物的二维对抗图像，相比于现有技术中需要通过3D打印技术将生成的三维对抗图像输出，本本申请实施例可以通过普通打印机将二维对抗图像输出，然后折叠为三维实体对抗物，无需专业的3D打印设备，极大地降低了实施条件，成本更低。

以上对本申请实施例中一种模型训练方法、图像处理方法分别进行了说明，以下对执行上述模型训练方法的模型训练装置、以及执行图像处理方法的图像处理装置分别进行介绍。

参阅图10，图10为本申请实施例中模型训练装置的一种结构示意图，其可应用于服务器中，用于训练预设模型，得到目标模型。在本申请实施例中的模型训练装置能够实现对应于上述图2中所对应的实施例中所执行的模型训练方法的步骤。模型训练装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述模型训练装置可包括输入输出模块601及处理模块602，所述处理模块602、所述输入输出模块601的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理模块602可用于控制所述输入输出模块601的收发、获取等操作。

所述输入输出模块601，被配置为获取基础二维图像和目标三维图像，其中，所述目标三维图像用于表示目标对象的三维形状；

所述处理模块602，被配置为获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于所述基础二维图像生成；

所述处理模块602，还被配置为获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像和所述目标三维图像得到；以及若所述目标损失未收敛，则基于所述目标损失优化所述预设模型；以及基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

在一些实施方式中，所述目标损失还包括真实度判别损失；所述真实度判别损失基于所述三维候选对抗图像和所述目标三维图像中至少一个得到。

在一些实施方式中，所述处理模块602，还被配置为通过以下方式获取所述识别相似度损失：

分别对所述三维候选对抗图像和所述目标三维图像进行采样，得到稀疏三维候选对抗图像和稀疏目标三维图像；

基于所述稀疏三维候选对抗图像和所述稀疏目标三维图像，获取所述识别相似度损失。

在一些实施方式中，所述处理模块602，还被配置为将所述三维候选对抗图像和所述目标三维图像分别作为原始三维图像进行采样，得到所述稀疏三维候选对抗图像和所述稀疏目标三维图像；

所述处理模块602，还被配置为通过以下方式对一个原始三维图像进行采样，得到所述稀疏三维候选对抗图像或所述稀疏目标三维图像：

基于预设尺寸的网格将所述原始三维图像划分为多个图像块；

若各个图像块内的点云数量之和不等于预设值，则更新目标图像块，直至各个图像块内的点云数量之和等于所述预设值，并将点云数量之和等于所述预设值时的各个图像块合并，以得到所述稀疏三维候选对抗图像或所述稀疏目标三维图像；

其中，所述目标图像块内的点云密度大于第一预设数值或小于第二预设数值。

在一些实施方式中，所述处理模块602，还被配置为通过以下方式更新目标图像块：

若各个图像块内的点云数量之和大于所述预设值，则将目标图像块内的点云按照第一预设方式合并，所述目标图像块内的点云密度大于第一预设数值；

若各个图像块内的点云数量之和小于所述预设值，则按照第二预设方式在目标图像块内进行点云插值，所述目标图像块内的点云密度小于第二预设数值。

在一些实施方式中，所述目标损失还包括重构损失，所述重构损失基于所述稀疏三维候选对抗图像与所述稀疏目标三维图像的结构相似度获取。

在一些实施方式中，所述处理模块602，还被配置为通过以下方式获取所述识别相似度损失：

将所述三维候选对抗图像和所述目标三维图像分别进行三维变换处理，得到重变换三维候选对抗图像和重变换目标三维图像；

基于所述重变换三维候选对抗图像和所述重变换目标三维图像，获取所述识别相似度损失。

在一些实施方式中，所述处理模块602，还被配置为通过以下方式获取所述识别相似度损失：

将所述稀疏三维候选对抗图像和所述稀疏目标三维图像分别进行三维变换处理，得到重变换稀疏三维候选对抗图像和重变换稀疏目标三维图像；

基于所述重变换稀疏三维候选对抗图像和所述重变换稀疏目标三维图像，获取所述识别相似度。

在一些实施方式中，所述处理模块602，还被配置为在获取所述识别相似度损失之前，对基于所述三维候选对抗图像得到的中间图像进行扰动处理，得到扰动图像；

其中，所述中间图像包括以下图像中的一种：三维候选对抗图像、重变换三维候选对抗图像、稀疏三维候选对抗图像和重变换稀疏三维候选对抗图像；

在获取所述识别相似度损失时，以所述扰动图像代替所述中间图像。

在一些实施方式中，所述基础二维图像基于预设对象采集得到，所述预设对象包括以下项中至少一项：攻击者和受害者；

所述基础二维图像包括所述预设对象的部分区域。

在一些实施方式中，在进行有目标攻击时，所述基础二维图像基于攻击者和受害者得到，所述目标对象为受害者，在目标损失收敛时，三维候选对抗图像与目标三维图像的识别相似度大于第一预设阈值；

在进行无目标攻击时，所述基础二维图像基于攻击者得到，所述目标对象为攻击者，在目标损失收敛时，三维候选对抗图像与目标三维图像的识别相似度小于第二预设阈值。

本申请实施例中，处理模块可以通过预设模型基于基础二维图像生成三维候选对抗图像，然后基于三维候选对抗图像获取目标损失，最后基于目标损失确定所述预设模型是否训练完成，若所述目标损失收敛，则可以得到训练完成的预设模型。训练完成的预设模型可以基于输入的二维图像生成三维对抗图像，以实现对三维图像识别模型的对抗攻击测试，挖掘模型中的缺陷和漏洞，从而进行有针对性的修复和加固。由于本申请实施例中训练得到的目标模型可以基于二维图像生成三维对抗图像，而不是现有技术中的以基于真实对象扫描得到的三维图像为输入，从而极大地简化了对抗攻击实施条件，成本更低。另外，由于本申请实施例中训练得到了一个用于从二维图像生成三维对抗图像的目标模型，因此，在需要基于多个目标对象进行三维对抗图像生成时，只需要将所述多个目标对象的二维图像分别输入目标模型即可，无需像现有技术中分别针对每个目标对象的三维图像进行多次梯度反向传播，得到各个目标对象的三维对抗图像，极大节省了计算时间和计算资源，效率极高。

参阅图11，图11为本申请实施例中图像处理装置的一种结构示意图，其可应用于服务器中，用于通过目标模型生，基于二维图像成三维对抗图像，并将三维对抗图像展开为二维对抗图像，以折叠成三维实体对抗物。在本申请实施例中的图像处理装置能够实现对应于上述图2中所对应的实施例中所执行的图像处理方法的步骤。图像处理装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元，所述单元可以是软件和/或硬件。所述图像处理装置可包括输入输出单元601及处理单元602，所述装置还可以包括显示单元(图5中未标识出)，所述处理单元602、所述输入输出单元601的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。例如，所述处理单元602可用于控制所述输入输出单元601的收发、获取等操作，以及控制所述显示单元的显示二维对抗图像等操作。

所述输入输出单元601，被配置为获取目标二维图像，其中，所述目标二维图像至少包括攻击者图像；

所述处理单元602，被配置为通过目标模型基于所述目标二维图像生成三维对抗图像，其中，所述目标模型根据模型训练装置得到；

所述处理单元602，还被配置为基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像；

其中，所述二维对抗图像用于形成三维实体对抗物。

在一些实施方式中，所述处理单元602，还被配置为对所述三维对抗图像进行采样操作，得到稀疏三维对抗图像；以及基于所述稀疏对抗三维图像获取对抗网格；以及将所述对抗网格展开至二维平面，得到二维对抗图像。

在一些实施方式中，所述处理单元602，还被配置为在将所述对抗网格展开至二维平面之前，获取二维纹理图，其中，所述二维纹理图包括攻击者二维纹理图、受害者二维纹理图或二维对抗纹理图；以及将所述二维纹理图与对抗网格对齐，获取组合对抗网格；

所述组合对抗网格用于展开至二维平面，得到二维对抗图像。

在一些实施方式中，所述二维对抗图像包括至少一条指示线；所述二维对抗图像经过基于所述指示线的折叠操作，形成所述三维实体对抗物。

本申请实施例中，处理单元可以将生成的三维对抗图像二维展开，从而得到用于形成三维实体对抗物的二维对抗图像，相比于现有技术中需要通过3D打印技术将生成的三维对抗图像输出，本本申请实施例可以通过普通打印机将二维对抗图像输出，然后折叠为三维实体对抗物，无需专业的3D打印设备，极大地降低了实施条件，成本更低。

在介绍了本申请实施例的方法和装置之后，接下来，对本申请实施例的计算机可读存储介质进行说明，计算机可读存储介质可为光盘，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于基础二维图像生成；获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；若所述目标损失未收敛，则基于所述目标损失更新所述预设模型；基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

上面从模块化功能实体的角度对本申请实施例中的模型训练装置和图像处理装置分别进行了描述，下面从硬件处理的角度分别对本申请实施例中的模型训练装置和图像处理装置进行描述。

需要说明的是，在本申请模型训练装置实施例的图10所示的输入输出模块601对应的实体设备可以为收发器、射频电路、通信模块和输入/输出(I/O)接口等，处理模块602对应的实体设备可以为处理器。在本申请图像处理装置实施例的图10所示的输入输出单元701对应的实体设备可以为收发器、射频电路、通信模块和输入/输出(I/O)接口等，处理单元702对应的实体设备可以为处理器。

图10、图11所示的装置均可以具有如图12所示的结构，当图10所示的模型训练装置60具有如图12所示的结构时，图12中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理模块602和输入输出模块601相同或相似的功能，图12中的存储器存储处理器执行上述模型训练方法时需要调用的计算机程序。

当图11所示的图像处理装置70具有如图12所示的结构时，图12中的处理器和收发器能够实现前述对应该装置的装置实施例提供的处理单元702和输入输出单元701相同或相似的功能，图12中的存储器存储处理器执行上述图像处理方法时需要调用的计算机程序。

本申请实施例还提供了一种终端设备，如图13所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：

图13示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图13对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图13中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了Wi-Fi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由图像处理装置执行的基于输入的目标二维图像生成三维对抗图像的方法流程。

本申请实施例还提供了一种服务器，请参阅图14，图14是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：central processing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。

上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器1100的结构。例如上述实施例中由图6所示的模型训练装置60所执行的步骤可以基于该图14所示的服务器结构执行。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：

通过输入输出接口1158获取基础二维图像；

获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于基础二维图像生成；

获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；

若所述目标损失未收敛，则基于所述目标损失更新所述预设模型；

基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

还可以通过输入输出接口1158所述目标模型输出，以便部署于仿真测试平台，生成三维对抗图像，对三维图像识别模型进行对抗攻击测试，衡量三维图像识别模型的安全性或挖掘所述三维图像识别模型的缺陷。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。

Claims (18)

1.一种模型训练方法，所述方法包括：

获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于基础二维图像生成；

获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像与目标三维图像得到，所述目标三维图像用于表示目标对象的三维形状；

若所述目标损失未收敛，则基于所述目标损失更新所述预设模型；

基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

2.如权利要求1所述的方法，其特征在于，所述目标损失还包括真实度判别损失；所述真实度判别损失基于所述三维候选对抗图像和所述目标三维图像中至少一个得到。

3.权利要求1或2所述的方法，其特征在于，所述识别相似度损失通过以下方式获取：

分别对所述三维候选对抗图像和所述目标三维图像进行采样，得到稀疏三维候选对抗图像和稀疏目标三维图像；

基于所述稀疏三维候选对抗图像和所述稀疏目标三维图像，获取所述识别相似度损失。

4.如权利要求3所述的方法，其特征在于，所述分别对所述三维候选对抗图像和所述目标三维图像进行采样，得到稀疏三维候选对抗图像和稀疏目标三维图像，包括：

将所述三维候选对抗图像和所述目标三维图像分别作为原始三维图像进行采样，得到所述稀疏三维候选对抗图像和所述稀疏目标三维图像；

其中，通过以下方式对一个原始三维图像进行采样，得到所述稀疏三维候选对抗图像或所述稀疏目标三维图像：

基于预设尺寸的网格将所述原始三维图像划分为多个图像块；

若各个图像块内的点云数量之和不等于预设值，则更新目标图像块，直至各个图像块内的点云数量之和等于所述预设值，并将点云数量之和等于所述预设值时的各个图像块合并，以得到所述稀疏三维候选对抗图像或所述稀疏目标三维图像；

其中，所述目标图像块内的点云密度大于第一预设数值或小于第二预设数值。

5.如权利要求4所述的方法，其特征在于，所述更新目标图像块，包括：

若各个图像块内的点云数量之和大于所述预设值，则将目标图像块内的点云按照第一预设方式合并，所述目标图像块内的点云密度大于第一预设数值；

若各个图像块内的点云数量之和小于所述预设值，则按照第二预设方式在目标图像块内进行点云插值，所述目标图像块内的点云密度小于第二预设数值。

6.如权利要求3所述的方法，其特征在于，所述目标损失还包括重构损失，所述重构损失基于所述稀疏三维候选对抗图像与所述稀疏目标三维图像的结构相似度获取。

7.如权利要求1所述的方法，其特征在于，所述识别相似度损失通过以下方式获取：

将所述三维候选对抗图像和所述目标三维图像分别进行三维变换处理，得到重变换三维候选对抗图像和重变换目标三维图像；

基于所述重变换三维候选对抗图像和所述重变换目标三维图像，获取所述识别相似度损失。

8.如权利要求3所述的方法，其特征在于，所述基于所述稀疏三维候选对抗图像和所述稀疏目标三维图像，获取所述识别相似度损失，包括：

将所述稀疏三维候选对抗图像和所述稀疏目标三维图像分别进行三维变换处理，得到重变换稀疏三维候选对抗图像和重变换稀疏目标三维图像；

基于所述重变换稀疏三维候选对抗图像和所述重变换稀疏目标三维图像，获取所述识别相似度。

9.如权利要求1-2、4-8中任一项所述的方法，其中，在获取所述识别相似度损失之前，所述方法还包括：

对基于所述三维候选对抗图像得到的中间图像进行扰动处理，得到扰动图像；

其中，所述中间图像包括以下图像中的一种：三维候选对抗图像、重变换三维候选对抗图像、稀疏三维候选对抗图像和重变换稀疏三维候选对抗图像；

在获取所述识别相似度损失时，以所述扰动图像代替所述中间图像。

10.如权利要求1所述的方法，其中，在进行有目标攻击时，所述基础二维图像基于攻击者和受害者得到，所述目标对象为受害者，在目标损失收敛时，三维候选对抗图像与目标三维图像的识别相似度大于第一预设阈值；

在进行无目标攻击时，所述基础二维图像基于攻击者得到，所述目标对象为攻击者，在目标损失收敛时，三维候选对抗图像与目标三维图像的识别相似度小于第二预设阈值。

11.一种图像处理方法，包括：

获取目标二维图像，其中，所述目标二维图像至少包括攻击者图像；

通过目标模型基于所述目标二维图像生成三维对抗图像，其中，所述目标模型根据权利要求1-10中任一项所述的方法训练得到；

基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像；

其中，所述二维对抗图像用于形成三维实体对抗物。

12.如权利要求11所述的方法，其中，所述基于所述对抗三维图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像，包括：

对所述三维对抗图像进行采样操作，得到稀疏三维对抗图像；

基于所述稀疏对抗三维图像获取对抗网格；

将所述对抗网格展开至二维平面，得到二维对抗图像。

13.如权利要求11或12所述的方法，其中，所述将该对抗网格展开至二维平面之前，所述方法还包括：

获取二维纹理图，其中，所述二维纹理图包括攻击者二维纹理图、受害者二维纹理图或二维对抗纹理图；

将所述二维纹理图与对抗网格对齐，获取组合对抗网格；

所述组合对抗网格用于展开至二维平面，得到二维对抗图像。

14.如权利要求11所述的方法，其中，所述二维对抗图像包括至少一条指示线；所述二维对抗图像经过基于所述指示线的折叠操作，形成所述三维实体对抗物。

15.一种模型训练装置，包括：

输入输出模块，被配置为获取基础二维图像和目标三维图像，其中，所述目标三维图像用于表示目标对象的三维形状；

处理模块，被配置为获取三维候选对抗图像，所述三维候选对抗图像通过预设模型基于所述基础二维图像生成；

所述处理模块，还被配置为获取目标损失，其中，所述目标损失包括识别相似度损失，所述识别相似度损失基于所述三维候选对抗图像和所述目标三维图像得到；以及若所述目标损失未收敛，则基于所述目标损失优化所述预设模型；以及基于更新的预设模型获取更新的三维候选对抗图像，直至目标损失收敛，并将目标损失收敛时的预设模型作为目标模型。

16.一种图像处理装置，包括：

输入输出单元，被配置为获取目标二维图像，其中，所述目标二维图像至少包括攻击者图像；

处理单元，被配置为通过目标模型基于所述目标二维图像生成三维对抗图像，其中，所述目标模型根据权利要求16所述的模型训练装置得到；

所述处理单元，还被配置为基于所述三维对抗图像，获取对抗网格，并将该对抗网格展开至二维平面，得到二维对抗图像；

其中，所述二维对抗图像用于形成三维实体对抗物。

17.一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的方法，或者实现如权利要求11-14中任一项所述的方法。

18.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-10中任一项所述的方法，或者执行如权利要求11-14中任一项所述的方法。

Images