CN114387647A - 对抗扰动生成方法、装置及存储介质 - Google Patents
对抗扰动生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114387647A CN114387647A CN202111642815.6A CN202111642815A CN114387647A CN 114387647 A CN114387647 A CN 114387647A CN 202111642815 A CN202111642815 A CN 202111642815A CN 114387647 A CN114387647 A CN 114387647A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- attacker
- dimensional image
- texture map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本申请的实施例涉及计算机视觉领域，提供了一种对抗扰动生成方法、装置及存储介质。该方法包括：获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图；在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；计算所述二维图像与目标图像的第一相似度；若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。本申请能够在实体对抗扰动发生形变后给图像识别系统呈现与在数字世界生成的对抗扰动相同的图像。
Description
技术领域
本申请的实施例涉及计算机视觉领域，更具体地涉及一种对抗扰动生成方法、装置及存储介质。
背景技术
随着深度学习的快速发展，人脸识别取得了巨大的突破，并被广泛应用于人脸支付、身份验证等诸多领域。然而，深度学习模型在对抗攻击下的鲁棒性存在严重不足，很容易被人眼不可见的对抗图像欺骗。
对抗攻击研究如何针对不同深度学习模型高效地生成对抗图像，有助于及时发现深度学习模型的脆弱性，评估深度学习模型的鲁棒性。一些对抗攻击方法在数字世界中生成添加较小对抗扰动的对抗图像，可以促使人脸图像无法被深度学习模型正确识别或将其识别为指定的身份。
然而，实际应用中的人脸识别系统(例如手机或门禁的人脸识别系统)通常会基于活体人脸采集人脸图像并进行识别。所以在对实际应用中的人脸识别系统进行对抗攻击测试时，需要将对抗扰动制作为实体，附着在人脸上实施对抗攻击。如图1所示，攻击者佩戴了眼部的实体对抗扰动，对手机的人脸识别功能进行对抗攻击测试。现有的对抗攻击方法没有考虑到将对抗扰动输出为实体(如打印或制作为面具等)后，附着在活体人脸上可能存在的变形问题。由此，将现有对抗攻击方法生成的对抗扰动，输出为实体附着在活体人脸后，由于实体对抗扰动会贴合人脸本身的形状，产生一定的形变，导致呈现给人脸识别系统的对抗扰动与在数字世界中生成的不同，无法对实际应用中的人脸识别系统起到预期的检测效果，甚至没有检测效果。
发明内容
本申请实施例提供一种对抗扰动生成方法、装置及存储介质，基于攻击者人脸在三维形状下的二维纹理图优化得到对抗图像，使得输出为实体的对抗扰动附着在攻击者发生形变后，依然和在数字世界生成的对抗扰动保持一致，能够对实际应用中的图像识别系统的鲁棒性检测起到良好的评估效果。
在本申请的第一方面中，提供了一种对抗扰动生成方法，包括：
获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图，更新所述二维纹理图后，所述三维图像将对应更新；
在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；
计算所述二维图像与目标图像的第一相似度；
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在本申请的第二方面中，提供了一种对抗扰动生成装置，包括：
输入输出模块，被配置为获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图，更新所述二维纹理图后，所述三维图像将对应更新；
处理模块，被配置为在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；以及计算所述二维图像与目标图像的第一相似度；以及
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在本申请的第三方面中，提供了计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的方法，或者执行如第二方面所述的方法。
在本申请的第四方面中，提供了一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的方法，或者实现第二方面所述的方法。
与现有技术直接基于攻击者的二维图像如照片，生成对抗图像，没有考虑到将对抗扰动输出为实体(如打印或制作为面具等)后，附着在攻击者上可能存在的变形问题，呈现给图像识别系统的对抗扰动与在数字世界中生成的不同，无法对实际应用中的图像识别系统起到预期的检测效果相比，本申请实施例中基于攻击者在三维形状下的二维纹理图优化得到对抗扰动，即在生成对抗扰动时，预先考虑了对抗扰动实体化后，在附着于攻击者时，将会产生的形变，使得输出为实体形式的对抗扰动粘贴在攻击者发生形变后，依然能够给图像识别系统呈现与在数字世界中生成的对抗扰动相同的图像，保证对实际应用中的图像识别系统/设备的鲁棒性检测起到良好的预期效果，更加稳定的确定出图像识别系统/设备的抗干扰能力。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施例，其中：
图1为攻击者佩戴实体对抗扰动对手机的人脸识别功能实施对抗攻击测试的场景示意图；
图2为本申请一些实施例的对抗扰动生成方法的实施场景示意图；
图3为本申请一个实施例的对抗扰动生成方法的流程示意图；
图4为本申请一个实施例的基于攻击者原始二维图像重建三维图像的效果示意图；
图5为本申请一个实施例的基于攻击者原始二维图像重建三维图像的流程示意图；
图6为本申请又一个实施例的对抗扰动生成方法的流程示意图；
图7为本申请一个实施例的通过优化隐变量间接优化生成对抗扰动的流程示意图；
图8为本申请一个实施例的生成预设区域内的对抗扰动的流程示意图；
图9为本申请一个实施例的通过优化隐变量间接优化生成预设区域内的对抗扰动的流程示意图；
图10为本申请一个实施例的不同图像采集条件的效果示意图；
图11为本申请一个实施例的对抗扰动生成装置的结构示意图；
图12为本申请一个实施例的一种计算机可读存储介质的结构示意图；
图13为本申请一个实施例中实施对抗扰动生成方法的一种计算设备的结构示意图；
图14为本申请一个实施例中实施对抗扰动生成方法的一种终端设备的结构示意图；
图15为本申请一个实施例中实施对抗扰动生成方法的服务器的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施例来描述本申请的原理和精神。应当理解，给出这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本申请的实施例可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
本申请的实施例意图生成实体化后，在附着于攻击者时，不因贴合攻击者形状而产生的形变，导致图像识别系统采集到与数字世界生成的对抗扰动不同的扰动图像，从而对实际应用中的图像识别系统/设备(例如手机或门禁的人脸识别模型、自动驾驶的目标检测等)的鲁棒性检测起到良好的预期效果，更加稳定的确定出图像识别系统/设备的抗干扰能力。其中，对抗扰动是指生成对抗图像时生成的干扰噪声，对抗图像是指在数据集中通过故意添加细微的干扰所形成的输入图像，会导致基于人工智能中的神经网络、深度学习技术构建的图像识别模型以高置信度给出一个错误的输出。
其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括对抗扰动生成、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
特别是在人机交互这一环节，随着语音、图像作为新兴的人机输入手段，其便捷和实用性被大众所欢迎。同时随着移动设备的普及，以及移动设备对这些新兴的输入手段的集成，使得这项技术被大多数人所亲身体验。而语音、图像的识别的准确性对机器理解并执行用户指令的有效性至关重要。与此同时，这一环节也是最容易被攻击者利用，通过对数据源的细微修改，达到用户感知不到，而机器接受了该数据后做出错误的后续操作的目的。
由此，为了衡量图像识别模型/设备的抗干扰能力，往往需要生成对抗图像进行测试，然而现有技术中，没有考虑到将对抗扰动输出为实体(如打印或制作为面具等)后，附着在攻击者上可能存在的变形问题。由此，将现有对抗攻击方法生成的对抗扰动，输出为实体附着在活体人脸后，由于实体对抗扰动会贴合人脸本身的形状，产生一定的形变，导致呈现给人脸识别系统的对抗扰动与在数字世界中生成的不同，无法对实际应用中的人脸识别系统起到预期的检测效果，甚至没有检测效果；所以需要一种对抗扰动生成方法，使得对抗扰动输出为实体形式并粘贴在攻击者发生形变后，依然能够给图像识别系统呈现与在数字世界中生成的对抗扰动相同的图像，保证对实际应用中的图像识别系统/设备的鲁棒性检测起到良好的预期效果，更加稳定的确定出图像识别系统/设备的抗干扰能力。
下面，结合几个实施例对本申请技术方案进行详细的介绍说明。
实施场景总览
请参考图2，其示出了本申请实施例提供的对抗扰动生成方法所涉及的一种实施环境的结构示意图。该实施环境可以包括终端01和服务器02。该终端01可以为计算机、平板电脑、智能手机等。该服务器02可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。并且该终端01与服务器02之间可以通过有线或无线网络建立连接。
该服务器02中可以部署有图像识别模型，所述图像识别模型为基于机器学习的方法训练得到的人工智能(Artificial Intelligence，AI)模型。
终端01可以向该服务器02发送攻击者图像，服务器02可以采用图像识别模型对该攻击者图像进行识别，然后根据识别结果、采用本申请的对抗扰动生成方法生成对抗图像、确定对抗扰动，并向终端01反馈生成的对抗图像或对抗扰动。或者服务器02可以采用图像识别模型对该攻击者图像进行识别，然后向终端01反馈识别结果，终端01进而可以基于目标图像以及该识别结果对攻击者图像进行更新，直至该图像识别模型对该更新后的攻击者图像的处理结果满足对抗攻击的约束条件，且更新后的攻击者图像与目标图像之间的相似度收敛时，可以将该更新后的攻击者图像确定为对抗图像，并由此确定目标对抗扰动。其中，该对抗攻击的约束条件可以为：图像识别模型对更新后的攻击者图像的识别结果与对目标图像的识别结果的差值大于第一差值阈值或者对更新后的攻击者图像的识别结果与对原始图像的识别结果的差值小于第二差值阈值。因此图像识别模型对更新后的攻击者图像的识别结果满足对抗攻击的约束条件即相当于：更新后的攻击者图像对图像识别模型对抗攻击成功。
对图像识别模型的对抗攻击可以分为有目标攻击和无目标攻击两种类型。其中，无目标攻击可以是指：图像识别模型对该对抗图像的识别结果与该图像识别模型对原始攻击者图像的识别结果不同，例如两个识别结果的差值大于第一差值阈值。有目标攻击可以是指：图像识别模型对该对抗图像的识别结果为特定的识别结果，该特定的识别结果大致相当于图像识别模型对目标图像的识别结果，例如两个处理结果的差值小于第二差值阈值。
需要说明的是，该实施环境中也可以仅包括终端01，而不包括该服务器02，该图像识别模型可以直接部署于终端01中。在该实现方式中，终端01也可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
本申请实施例提供的对抗扰动生成方法可以应用于迁移攻击现实世界中图像识别系统或设备，其中部署的图像识别模型相当于黑盒模型，黑盒模型是指待攻击的图像识别模型为黑盒模型，即结构和参数未知，只能通过获取图像识别模型的处理结果来生成对抗图像。
示例性方法
下面结合图2的应用场景，参考图3来描述本申请示例性实施例的用于生成对抗扰动的方法，该方法可以适用于计算设备，该计算设备可以是上文列举的实施场景中的终端01或服务器02，本申请对执行该对抗扰动生成方法的计算设备的产品形式及结构不作限定。
在本实施方式的一个实施例中，提出一种对抗扰动生成方法，包括：
步骤S110，获取攻击者的三维图像和图像采集条件。
在本实施例中，首先获取攻击者的三维图像，所述攻击者为实施对抗攻击的物理载体，即附着实体对抗扰动的实体对象，可以是即将实施对抗攻击的人；例如，用户A希望通过对抗攻击检测手机b的人脸识别功能的安全性，所述手机b录入了用户B的人脸图像，即仅当手机b通过摄像头采集的人脸图像匹配已录入的用户B的人脸图像时，才会解锁，那么用户A希望通过对抗攻击生成对应的对抗扰动，并将所述对抗扰动实体化后，附着在自己的人脸上，以期望能够欺骗手机b，达到解锁手机b的目的，所述用户A即为本实施例中的攻击者。
可以理解的是，图像识别模型的应用场景不仅仅是人脸识别，还可以包括车辆识别、病灶识别、器官识别、人体识别、火灾识别等等各种实体对象的识别。由此，所述攻击者的三维图像也不仅仅局限于攻击者人脸的三维图像，具体可以根据需要进行对抗攻击测试的图像识别模型的具体应用场景而定；例如，在对车辆识别模型进行对抗攻击测试时，所述攻击者的三维图像可以是实施对抗攻击的车辆的三维图像。
在明确攻击者的定义之后，下面介绍本实施例需要获取的攻击者的三维图像，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图；在一些实施例中，所述三维图像还可以包括所述攻击者的三维形状。还以上面的人脸识别应用场景为例，所述攻击者的三维图像即为所述攻击者人脸的三维图像，如图4所示，对应的三维形状为攻击者人脸的三维轮廓，二维纹理图即为对应所述三维轮廓的纹理贴图，由图4可以看出，攻击者在三维形状下的二维纹理图和攻击者本身的原始二维图存在显著不同。
在本实施例中，所述三维图像可以通过对所述攻击者进行数字三维建模得到，例如通过3DMAX、SoftImage、Maya、UG以及AutoCAD等软件建模得到。
或者还可以通过三维扫描仪(3Dimensional Scanner)，又称为三维数字化仪(3Dimensional Digitizer)，采集得到。所述三维扫描仪是当前使用的对实体对象进行三维建模的重要工具之一。它能快速方便的将真实世界的立体彩色信息转换为计算机能直接处理的数字信号，为实物数字化提供了有效的手段。它与传统的平面扫描仪、摄像机、图形采集卡相比有很大不同，其通过扫描，可以获得物体表面每个采样点的三维空间坐标(即三维形状)，彩色扫描还可以获得每个采样点的色彩(即二维纹理图)。
或者还可以通过所述攻击者的原始二维图像进行三维重建获得，即基于图像的建模和绘制(Image-Based Modeling andRendering,IBMR)
下面结合图4和图5具体介绍，在本申请的一个实施例中，如何通过所述攻击者的原始二维图像进行三维重建获得所述攻击者的三维图像，具体包括：
获取生成向量；
在本实施例中，首先获取生成向量，所述生成向量可以是随机初始化得到的；也可以是根据先验知识生成的，例如在三维人脸图像生成任务中，可以预先设置了攻击者人脸的一些属性参数：头围、眼睛、鼻子、嘴巴和头发等部位的大小形状参数等等，然后再对应生成所述生成向量，通过先验知识指导生成向量的初始化，可以节省后期向攻击者真实人脸靠拢的调整时间，更快的重建出与所述攻击者真实人脸相似的三维人脸图像。
在获取到所述生成向量之后，接下来基于所述生成向量构建三维图像，得到所述三维图像的三维形状以及二维纹理图，具体来说，在本实施例中，可以通过生成式模如FaceAnime、LSFM和facegen等三维人脸生成模型，以所述生成向量为输入，生成并输出一个对应三维人脸图像的三维形状以及二维纹理图。
可以理解的是，本实施例并不是随机生成一个三维人脸图像，而是要基于攻击者的原始二维图像重建对应的三维人脸图像，即重建得到的三维人脸图像要和所述攻击者的真实人脸一致或相似，然而，直接确定攻击者的真实人脸和所述重建得到的三维人脸图像是否相似比较困难。
考虑到，若基于一组三维图像对应采集得到的一组二维图像相似或相同，那么可以认为所述一组三维图像相似或相同。由此，在本实施例中，在预设图像采集条件下，基于所述三维图像，采集得到对应的重建二维图像；然后计算所述重建二维图像与所述原始二维图像的第二相似度；若所述第二相似度未达到第二预设阈值，则更新所述生成向量，直至基于更新后的生成向量构建得到的三维图像，在预设图像采集条件下，采集得到的重建二维图像与所述原始二维图像的第二相似度达到第二预设阈值，并将基于更新后的生成向量渲染得到的三维图像作为所述攻击者的三维图像。
在本实施例中，通过梯度优化法迭代生成向量，逐步得到与攻击者的真实人脸相似或一致的三维人脸图像。在确定迭代生成的三维人脸图像与攻击者的真实人脸是否相似时，通过在预设图像采集条件下采集生成的三维人脸图像的重建二维图像，并对比重建二维图像与原始二维图像是否近似来等效替代。将原来难以解决的三维图像相似问题等效替换为二维图像的相似问题，更加简单易实施。
考虑到，攻击者的原始二维图像是在一定的图像采集条件下基于真实人脸采集得到，而图像采集条件会影响采集得到的原始二维图像。如果重建二维图像的图像采集条件与所述原始二维图像的图像采集条件不一致，很有可能会影响到二者的相似度计算结果。为了使得重建得到的三维人脸图像与攻击者的真实人脸更加相似或一致；在本实施例中，所述重建二维图像的预设图像采集条件与原始二维图像的图像采集条件的相似度高于预设相似度(例如尽可能相似或一致)；所述图像采集条件可以包括采集视角、光照、采集对象的姿态，例如攻击者的姿态为摇头或点头等等。
需要说明的是，虽然在一些实施例中尽可能使得重建二维图像的图像采集条件与原始二维图像的图像采集条件一致，但是，并不代表重建二维图像的图像采集条件必须与原始二维图像的图像采集条件一致。例如所述原始二维图像的图像采集条件可能无法确定，在一些实施例中，所述重建二维图像的预设图像采集条件也可以是常用的图像采集条件，或默认的图像采集条件，本实施例对此不作限定。
在介绍了如何得到攻击者的三维图像以及图像采集条件的具体含义之后，接下来，继续介绍如何生成实体化后更加适应三维形状变化的对抗扰动或对抗图像。
在本实施例中，通过与前述介绍如何基于攻击者的原始二维图像生成三维图像的相同技术原理，即将难解的三维图像相似优化问题等效替代为二维图像相似优化问题，使得生成的对抗扰动实体化并附着于攻击者后与目标图像的相似或一致。具体来说，在得到攻击者的三维图像之后，迭代调整所述三维图像的二维纹理图。通过将所述二维纹理图逐步调整，使得对应的三维图像逐步产生了变化，从而能够使得在一定的图像采集条件下采集所述三维图像对应得到的二维图像与攻击目标的二维图像逐步相似或一致。在两个二维图像相似时，代表对抗图像生成成功，即能够得到实体化附着于攻击者后，依然会被图像识别模型误判为攻击目标的对抗扰动。
基于上述技术原理，在得到攻击者的三维图像和图像采集条件之后，如图6所示，继续执行步骤S120，在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；
在本实施例中，所述图像采集条件可以尽可能与攻击目标的二维图像(即目标图像)的图像采集条件相似或一致，或者所述图像采集条件可以是预设或默认的图像采集条件，本实施例对此不作限定。
在基于所述攻击者的三维图像，采集得到对应的二维图像之后，接下来执行步骤S130，计算所述二维图像与目标图像的第一相似度；
在本实施例中，可以通过待检测的图像识别模型计算所述二维图像与目标图像的第一相似度，即将所述二维图像和目标图像输入待检测的图像识别模型，获取两个图像的相似度结果。在人脸识别的对抗攻击测试的应用场景下，所述图像识别模型即为待检测的人脸识别模型，所述人脸识别模型可以分别从所述二维图像和目标图像提取人脸关键特征，然后通过计算两个图像的人脸关键特征之间是否相似来确定两个图像是否相似。在待检测的人脸识别模型分别从两个图像提取到人脸关键特征之后，可以通过余弦相似度、欧氏距离或曼哈顿距离等现有的向量相似度计算方式来进行，本实施例对此不作限定。
考虑到，对抗攻击一般包括无目标攻击和有目标攻击，其中，无目标攻击是指：图像识别模型对该对抗图像的识别结果与该图像识别模型对原始图像(即生成对抗图像的初始图像，也可以认为是目标图像)的识别结果不同，例如两个识别结果的相似度差值大于第一差值阈值。有目标攻击可以是指：图像识别模型对该对抗图像的识别结果为特定的识别结果，该特定的识别结果与图像识别模型对目标图像的识别结果相同或相差不大，例如两个识别结果的相似度差值小于第二差值阈值。
可以理解的是，在人脸识别的应用场景下，有目标攻击也称之为伪装攻击(impersonation attack)，即使人脸识别模型将对抗图像识别为指定的身份，形式化地，给定属于不同人的一对人脸图片{xa,xb}，伪装攻击针对xa生成对抗图像x*，使得人脸识别模型将x*和xb识别为相同身份；无目标也称之为躲避攻击(dodging attack)，其目标是使人脸识别模型将对抗图像识别错误，形式化地，给定属于同一个人的一对人脸图片{xa,xb}，躲避攻击针对xa生成对抗图像x*，使得人脸识别模型将x*和xb识别为不同身份。
基于以上介绍的两种攻击方式，接下来可根据攻击方式的不同，确定不同的扰动更新方式，即执行步骤S140，若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在本实施例中，若对抗攻击为无目标攻击，那么目标图像也为攻击者的图像，对抗攻击意图生成使图像识别模型无法正确识别的对抗图像，即图像识别对抗图像的结果与识别原始图像的识别结果的第一相似度小于第一预设阈值，若所述第一相似度不小于第一预设阈值，则调整攻击者的三维图像的二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像(即攻击者的原始二维图像)的相似度小于第一预设阈值，并将更新后的二维纹理图作为对抗图像。
若对抗攻击为有目标攻击，那么目标图像为攻击目标的图像，对抗攻击意图生成使图像识别模型识别为指定结果的对抗图像，即图像识别对抗图像的结果与识别目标图像的识别结果的第一相似度大于第一预设阈值，若所述第一相似度不大于第一预设阈值，则调整攻击者的三维图像的二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度大于第一预设阈值，并将更新后的二维纹理图作为对抗图像。
在得到所述对抗图像之后，即可从所述对抗图像中获取对抗扰动，以便输出后制作为实体，附着在攻击者上进行图像识别模型的测试。具体来说，可以将攻击者的原始二维纹理图和所述对抗图像相减得到所述对抗扰动，或者也可以根据之后一些实施例中的掩膜获取所述对抗扰动。
不论是有目标攻击还是无目标攻击，都可以通过梯度迭代优化法调整所述二维纹理图，在本实施例中，所述更新所述二维纹理图，包括：
计算所述第一相似度相对于当前二维纹理图的梯度；
根据预设步长和所述梯度的方向计算第一优化参数；
在本实施例中，通过预设步长和梯度的方向可以计算得到二维纹理图的调整方式，即叠加怎样的对抗扰动，所述预设步长用于确定每次调整的幅度，预设步长越大，二维纹理图在一次调整中的变化越大。在得到第一优化参数之后，根据所述第一优化参数调整当前二维纹理图，即将所述第一优化参数与所述当前二维纹理图进行叠加。
考虑到，直接通过优化参数调整(例如叠加)二维纹理图的方式，是直接对二维纹理图进行的线性修改，最终生成的对抗图像可能只能对有限数量的图像识别模型或者生成时使用的图像识别模型产生对抗攻击效果，迁移攻击其他图像识别模型的效果较差。在本实施方式的一个实施例中，通过间接优化调整的方式对所述二维纹理图进行修改，参照图7，生成更具迁移攻击性的对抗图像，具体包括：
获取所述第二相似度达到第二预设阈值时的生成向量，作为待优化隐变量；
在本实施例中，通过优化调整生成式模型的输入(即前述一实施例中的生成向量)的方式，间接优化调整二维纹理图，即将生成与攻击者的真实人脸相似的三维图像时的生成向量作为待优化隐变量，由此，将之前一些实施例中的直接优化二维纹理图转化为优化生成攻击者三维图像(包括)时的输入—生成向量，生成向量的变化导致生成的攻击者三维图像的变化，攻击者三维图像的变化导致攻击者在三维形状下的二维纹理图的变化；
在获取到待优化隐变量之后，接下来即可通过梯度迭代优化法调整所述待优化隐变量，具体为计算所述第一相似度相对于所述待优化隐变量的梯度；以及根据第一预设步长和所述梯度的方向计算第一优化参数；然后，根据所述第一优化参数调整所述待优化隐变量；最后，基于所述待优化隐变量构建三维图像，得到更新后的二维纹理图。
在本实施例中，通过间接优化调整的方式对所述二维纹理图进行修改。将直接优化二维纹理图转化为优化生成攻击者三维图像(包括)时的输入—生成向量。生成向量的变化导致生成的攻击者三维图像的变化，攻击者三维图像的变化导致攻击者在三维形状下的二维纹理图的变化。即通过生成式模型控制协调对抗图像的生成过程，使得对抗图像中的对抗扰动不是直接线性的叠加在攻击者的二维纹理图上，而是在三维图像的生成过程中巧妙地嵌入对抗扰动；使对抗扰动更加自然地、贴合攻击者真实人脸的融入二维纹理图，不易被图像识别模型察觉，具备更强的迁移攻击性能。
考虑到，在现实世界中往往通过将对抗扰动实体化后，附着在攻击者上对图像识别模型进行对抗攻击测试。由此，在一些实施例中，可以将对抗扰动约束在预设区域内，以图生成更加方便附着的实体化对抗扰动。例如在对人脸识别模型进行对抗攻击测试时，往往将对抗扰动打印为眼镜或面具等形式，方便攻击者佩戴。故而，在本申请的一个实施例中，所述对抗扰动被约束在预设区域，参照图8，所述更新所述二维纹理图，包括：
计算所述第一相似度相对于当前二维纹理图的梯度；
根据第二预设步长、掩膜和所述梯度的方向计算第二优化参数(优化矩阵)，其中所述掩膜表示对抗扰动被约束的预设区域。
在本实施例中，通过预设的掩膜将生成的对抗扰动约束在预设区域内，具体来说，所述掩膜可以为一个与所述二维纹理图相同尺寸的二值化掩膜或矩阵，其中仅包括0和1两种元素值，0表示不叠加对抗扰动，1表示叠加对抗扰动，由此，可以将掩膜中与预设区域对应的各个元素设置为1，从而在对二维纹理图进行调整时，只对预设区域内的像素进行调整，预设区域外的像素不进行任何调整，保持与攻击者人脸的原始二维纹理图一致的状态。
再根据掩膜得到优化矩阵之后，根据所述优化矩阵调整当前二维纹理图。
在本实施例中，将对抗扰动约束在预设区域内，进行对抗攻击测试时，可以将对抗扰动更加方便地实体化，例如打印为眼镜或面具等形式，方便攻击者佩戴，从而给用户提供了更加友好的对抗扰动实体化体验。
可以理解的是，虽然本实施例中，仅仅详细介绍了如何在基于二维纹理图生成对抗扰动时，通过所述掩膜约束对抗扰动的产生区域，但是，在本申请的一些实施例中，基于优化隐变量间接迭代生成的对抗扰动，依然可以通过所述掩膜进行约束，参照图9，具体来说，只需要在基于更新后的待优化隐变量生成攻击者的三维形状下的二维纹理图后，将所述二维纹理图与掩膜进行计算，即每次更新的二维纹理图仅保留掩膜中元素值为1的对应预设区域，与掩膜中元素值为0的区域对应的二维纹理图依然保持初始状态不变(与攻击者的真实人脸相似或一致)，从而保证将对抗扰动约束在预设区域内。
在本实施例中，通过间接优化调整的方式对所述二维纹理图进行修改，并且通过预设的掩膜将生成的对抗扰动约束在预设区域内，既使得生成的对抗扰动具备更强的迁移攻击性能，又保证对抗扰动在实体化后更加方便附着，给用户提供了良好的测试体验。
考虑到。在将对抗扰动实体化后，附着在攻击者上对图像识别模型进行对抗攻击测试时，往往需要图像采集设备基于附着实体对抗扰动的攻击者采集对抗图像。也就是说，对抗图像是在一定的图像采集条件下得到的，即使是同一攻击者附着相同的对抗扰动，在不同的图像采集条件下，也可能采集到的不同的对抗图像。即图像采集条件会对采集到的对抗图像产生影响，某些图像采集条件可能会使得生成的对抗扰动失效或增强对抗扰动的攻击效果。
由此，在一些实施例中，希望生成在各种图像采集条件下都能发挥出攻击效果的对抗扰动，即在不同图像采集条件下采集得到的对抗图像与目标图像的第一相似度都达到第一预设阈值；具体来说，在本申请的一个实施例中，首先获取图像采集条件集合，参照图10所示，本实施例中，所述图像采集条件可以是攻击者的姿态变换和光照变换，例如图10中a和b所示的攻击者人头从右向左转，或者如图10中c和d所示的攻击者上下点头，或者如图10中e和f所示的光照从攻击者人脸的左侧移动到右侧，或者上述攻击者的姿态变换和光照变换的组合，在介绍一些可能的图像采集条件集合之后，从所述图像采集条件集合中采样得到一个图像采样条件；
然后在采样得到的所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；接下来，计算所述二维图像与目标图像的第一相似度；
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，并从所述图像采集条件集合中重新采样得到一个图像采集条件，直至更新后的攻击者的三维图像，在重新采样得到的图像采集条件下，采集得到的二维图像与目标图像的相似度达到第一预设阈值，并将更新后的二维纹理图作为对抗扰动。
可以理解的是，在本实施例中，同样可以通过优化隐变量的方式间接调整调整二维纹理图，生成更具迁移攻击能力的对抗扰动和对抗图像，具体来说，若所述第一相似度未达到第一预设阈值，则通过调整所述待优化隐变量更新所述二维纹理图，并从所述图像采集条件集合中重新采样得到一个图像采集条件，直至更新后的攻击者的三维图像，在重新采样得到的图像采集条件下，采集得到的二维图像与目标图像的相似度达到第一预设阈值，并将更新后的二维纹理图作为对抗扰动。
另外，本实施例中，同样可以将对抗扰动约束在预设区域，以便根据实际的攻击测试需求生成特定区域的对抗扰动，或者在实体化所述对抗扰动后，更方便附着在攻击者上，具体的约束方式还可以是通过所述掩膜实现，此处不再赘述。
如果希望生成在各种图像采集条件下都能发挥出攻击效果的对抗扰动，即在不同图像采集条件下采集得到的对抗图像与目标图像的第一相似度都达到第一预设阈值，那么需要通过均匀采样的方式从图像采集条件集合中采集多个图像采集条件，并计算出在所述多个图像采集条件下都攻击成功的对抗扰动，计算效率较低。
考虑到不同的图像采集条件，对基于三维图像采集得到的对抗图像的攻击效果的影响不同，例如某些图像采集条件可能会使得生成的对抗扰动失效或增强对抗扰动的攻击效果。
由此，如果一个图像采集条件对生成的对抗扰动的攻击效果影响较大，那么可以在进行迭代更新时重点关注，在本申请的一个实施例中，根据第一优化参数调整当前二维纹理图之前，所述方法还包括：
计算从图像采集条件集合中采样得到的所述图像采集条件的权重；
在本实施例中，可以根据攻击者的三维图像在所述图像采集条件下的二维图像与目标图像的第一相似度确定所述权重；在对抗攻击方式为无目标攻击时，所述权重与所述第一相似度成反比，即相似度越大，代表所述图像采集条件下的对抗扰动的攻击效果越好，此图像采集条件对对抗扰动的影响可能不大，则在进一步优化时，可以相对忽略此图像采集条件，即赋予较低的权重；在对抗攻击方式为有目标攻击时，所述权重与所述第一相似度成正比，即相似度越大，代表所述图像采集条件下的对抗扰动的攻击效果越差，此图像采集条件对对抗扰动的影响可能较大，则在进一步优化时，可以重点考虑此图像采集条件的影响，即赋予较高的权重。
具体来说，在本申请的一个实施例中，可以通过以下方式计算所述一个图像采集条件的权重：
其中，Pi,j表示图像采集条件为第i个图像采集视角、第j个图像采集光照时的权重，Z为归一化项，e为自然底数，R(·)为渲染器，表示在图像采集条件Vi,Lj下，基于攻击者a的三维图像{sa,t*}采集得到对应的二维图像，Vi表示图像采集条件集合中的第i个图像采集视角，Lj表示图像采集条件集合中的第j个图像采集光照，sa表示攻击者a的三维形状，t*表示攻击者a在所述三维形状下(更新后)的二维纹理图，Jf(·)为图像识别模型计算的图像采集条件Vi,Lj下，基于攻击者a的三维图像{sa,t*}采集得到对应的二维图像与目标图像xb的相似度或距离。
然后，通过所述权重对所述优化参数进行更新；之后，采用更新后的优化参数替代更新前的优化参数对所述当前二维纹理图进行调整。
可以理解的是，在本实施例中，依然可以通过调整待优化隐变量的方式间接更新所述二维纹理图，以提高生成的对抗扰动的迁移攻击性能，具体的实施步骤，此处不再赘述。
类似地，在本实施例中，依然可以将对抗扰动约束在预设区域，以便根据实际的攻击测试需求生成特定区域的对抗扰动，或者在实体化所述对抗扰动后，更方便附着在攻击者上，具体的约束方式还可以是通过所述掩膜实现，此处不再赘述。
在本实施例中，通过各个不同图像采集条件下采集得到的攻击者的二维图像与目标图像的相似对为相应的图像采集条件赋予权重，使得一些会较重影响对抗扰动攻击效果的图像采集条件被重点关注，即生成对应的对抗扰动时进行更大的调整，并且一些会较轻影响对抗扰动攻击效果的图像采集条件被忽略或减少关注，即生成对应的对抗扰动时进行较小的调整，提高了对抗扰动的生成效率，可以更加快速的迭代得到在各个图像采集条件下都有效的对抗扰动。
与现有技术直接基于攻击者的二维图像如照片，生成对抗图像，没有考虑到将对抗扰动输出为实体(如打印或制作为面具等)后，附着在攻击者上可能存在的变形问题，呈现给图像识别系统的对抗扰动与在数字世界中生成的不同，无法对实际应用中的图像识别系统起到预期的检测效果相比；本申请实施例中基于攻击者在三维形状下的二维纹理图优化得到对抗扰动，使得输出为实体形式的对抗扰动粘贴在攻击者发生形变后，依然能够给图像识别系统呈现与在数字世界中生成的对抗扰动相同的图像，保证对实际应用中的图像识别系统/设备的鲁棒性检测起到良好的预期效果，更加稳定的确定出图像识别系统/设备的抗干扰能力。另外，一些实施例中，通过优化隐变量的方式间接优化攻击者在三维形状下的二维纹理图，使得对抗扰动的生成过程嵌入攻击者的三维图像生成过程，生成的对抗扰动更加不易被察觉，迁移攻击性能更强。又一些实施例中，对抗扰动被约束在预设区域，在实体化后，更加方便附着在攻击者的相应部位，给用户提供了良好的使用体验。又一些实施例中，通过采样不同的图像采集条件，生成在不同图像采集条件下都能发挥出良好攻击效果的对抗扰动，解决了现有技术未考虑对抗扰动实体化后，需要在不同的图像采集条件(例如采集视角、光照、和攻击者姿态等众多三维变换)下被采集，而不同的图像采集条件会影响对抗扰动的成像效果的问题。在一些实施例中，通过给不同图像采集条件赋予不同的权重，使得对抗扰动的生成过程重点关注会较大影响对抗扰动的成像攻击效果的图像采集条件，并忽略会较小影响对抗扰动的成像攻击效果的图像采集条件，提高对抗扰动的迭代效率。
为了验证根据本申请实施例的方法生成的对抗扰动的对抗攻击性能，发明人还进行了实验。实验一采用LFW人脸数据集，对ArcFace模型、CosFace模型和FaceNet模型进行了对抗攻击。对抗攻击算法包括MIM、EQT、GenAP、Face3DAdv(x)和Face3DAdv(w)，其中，MIM、EQT和GenAP为现有对抗攻击算法，Face3DAdv(x)为本申请的直接优化二维纹理图得到对抗扰动的实施例，Face3DAdv(w)为本申请的通过优化隐变量间接优化二维纹理图得到对抗扰动的实施例。实验一的结果如表1所示。
表1
表1中，Source model表示源人脸识别模型，具体包括ArcFace模型、CosFace模型和FaceNet模型；Method表示对抗攻击算法，包括MIM、EQT、GenAP、Face3DAdv(x)和Face3DAdv(w)。Pitch表示攻击者佩戴实体对抗扰动后，在不同的上下点头状态采集对抗图像，测试人脸识别模型；Yaw表示攻击者佩戴实体对抗扰动后，在不同的左右摇头状态采集对抗图像，测试人脸识别模型；Lighting表示攻击者佩戴实体对抗扰动后，在不同的左右脸光照状态采集对抗图像，测试人脸识别模型；Mixture表示攻击者佩戴实体对抗扰动后，在不同的左右摇头、上下点头和左右脸光照状态采集对抗图像，测试人脸识别模型；表1中带*的数字表示白盒攻击的成功率，不带*的数字表示迁移攻击的成功率，即黑盒攻击。例如采用Face3DAdv(x)在ArcFace模型生成的对抗扰动，实体化后由攻击者佩戴，在不同点头状态下采集对抗图像，测试ArcFace模型即为白盒测试，攻击成功率为94.42，显著高于MIM(75.65)、EQT(86.58)和GenAP(86.39)这三个现有对抗攻击算法生成的对抗扰动实体化后的攻击成功率。根据表中的其他攻击成功率，可以看出，本申请实施例生成的对抗扰动在进行迁移攻击时的表现也好于现有对抗攻击算法，攻击成功率显著地高，例如基于CosFace模型生成的对抗扰动，实体化后在攻击者不同摇头状态下采集对抗图像，迁移攻击ArcFace模型，Face3DAdv(w)的攻击成功率为51.4，显著高于MIM(12.6)、EQT(27.77)和GenAP(37.67)。
实验二采用CelebA-HQ人脸数据集，对ArcFace模型、CosFace模型和FaceNet模型进行了对抗攻击。对抗攻击算法包括MIM、EQT、GenAP、Face3DAdv(x)和Face3DAdv(w)，其中，MIM、EQT和GenAP为现有对抗攻击算法，Face3DAdv(x)为本申请的直接优化二维纹理图得到对抗扰动的实施例，Face3DAdv(w)为本申请的通过优化隐变量间接优化二维纹理图得到对抗扰动的实施例。实验二的结果如表2所示。
表2
表2中，Source model表示源人脸识别模型，具体包括ArcFace模型、CosFace模型和FaceNet模型；Method表示对抗攻击算法，包括MIM、EQT、GenAP、Face3DAdv(x)和Face3DAdv(w)。Pitch表示攻击者佩戴实体对抗扰动后，在不同的上下点头状态采集对抗图像，测试人脸识别模型；Yaw表示攻击者佩戴实体对抗扰动后，在不同的左右摇头状态采集对抗图像，测试人脸识别模型；Lighting表示攻击者佩戴实体对抗扰动后，在不同的左右脸光照状态采集对抗图像，测试人脸识别模型；Mixture表示攻击者佩戴实体对抗扰动后，在不同的左右摇头、上下点头和左右脸光照状态采集对抗图像，测试人脸识别模型；表2中带*的数字表示白盒攻击的成功率，不带*的数字表示迁移攻击的成功率，即黑盒攻击。可以看出，本申请实施例生成的对抗扰动在进行迁移攻击时的表现也好于现有对抗攻击算法，攻击成功率显著地高。
另外，考虑到现有的对抗攻击算法在进行测试时，往往没有一个统一的测试环境，只能根据测试对抗攻击算法的测试方各自的实施条件确定，即不同的测试方会采用不同的攻击者和图像采集条件，除了对抗攻击算法之外，还存在诸如攻击者和图像采集条件等较多变量，难以公平比较不同对抗攻击算法的性能。
由此，在本申请的又一实施例中，还提出一种对抗攻击测试方法，包括：
构建测试者的三维图像，在本实施例中，所述测试者即为测试对抗攻击算法时，需要附着实体对抗扰动的对象，例如测试者的人脸，即本申请介绍对抗扰动生成方法的实施例中的攻击者，所述三维图像至少包括测试者在三维形状下的二维纹理图，具体的三维图像构建方法可以与对抗扰动生成方法的实施例中的方案相同，此处不再赘述。
然后，获取待测试的对抗攻击算法，并基于所述待测试的对抗攻击算法生成对抗扰动；在本实施例中，生成对抗扰动的具体方式根据待测试的对抗攻击算法的不同而不同，本领域的技术人员可以根据实际需要生成对应各种待测试对抗攻击算法的对抗扰动。
接下来，将所述对抗扰动添加至所述二维纹理图，形成添加对抗扰动的三维图像；然后，在预设的图像采集条件下，基于所述添加对抗扰动的三维图像，采集得到对应的添加了对抗扰动的二维图像，即用于代表待测试的对抗攻击算法的对抗图像。
在本实施例中，所述预设的图像采集条件也可以从图像采集条件集合中采样获取，也可以是默认的图像采集条件，例如最通用常见的图像采集条件，具体来说，所述图像采集条件可以包括图像采集视角例如俯拍、仰拍和正对拍摄等，不同光照强度和光照色温等，测试者的姿态例如人的点头、摇头等，本实施例对此不作限定。
更进一步地，还可以采样多种不同的图像采集条件，模拟真实场景中不同的测试环境，然后对应每个待测试的对抗攻击算法均生成多个对抗图像，全面的评估测试每个待测试的对抗攻击算法的性能。
最后，将所述对抗图像输入到图像识别模型进行测试，所述图像识别模型可以是预先准备好的一个或多个不同结构的神经网络模型，本实施例对此不作限制。
在本实施例中，提出了一种对抗攻击算法的统一测试方法，根据本实施例的对抗攻击测试方法，可以在进行对抗攻击算法的实体化对抗扰动性能测试时，将除对抗攻击算法之外的变量都统一，建立更加公平、对等、统一的测试环境，保证对抗攻击算法的测试更加全面、便捷和可复现，得到更加客观的测试结果。
另外，本实施例虽然以人脸人别场景的对抗攻击测试为例进行了说明，但不代表本实施例的对抗攻击测试方法仅适用人脸识别场景，本领域的技术人员可以根据实际测试需要扩展至其他应用场景的对抗攻击测试，例如自动驾驶、病灶或器官识别、运动目标检测或跟踪等等。
示例性装置
在介绍了本申请示例性实施例的对抗扰动生成方法之后，接下来，参考图11对本申请示例性实施例的用于生成对抗扰动的装置，该装置同样可以适用于实施场景所示的计算设备，所述装置70包括：
输入输出模块710，被配置为获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图，更新所述二维纹理图后，所述三维图像将对应更新；
处理模块720，被配置为在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；以及计算所述二维图像与目标图像的第一相似度；以及
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在本申请的一个实施例中，所述输入输出模块710，还被配置为将所述对抗扰动输出，以便制作为实体对抗扰动，附着在相应实体上，对相应的图像识别模型进行对抗攻击测试。
在本申请的一个实施例中，所述输入输出模块710，还被配置为获取图像采集条件集合，并从所述图像采集条件集合中采样得到一个图像采集条件；
所述处理模块720，还被配置为若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，并从所述图像采集条件中重新采样得到一个图像采集条件，直至更新后的攻击者的三维图像，在重新采样得到的图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在本申请的一个实施例中，所述输入输出模块710，还被配置为获取生成向量；所述处理模块720，还被配置为基于所述生成向量构建候选三维图像，得到所述候选三维图像的三维形状以及二维纹理图；以及在预设图像采集条件下，基于所述候选三维图像，采集得到对应的重建二维图像；以及计算所述重建二维图像与所述原始二维图像的第二相似度；以及
若所述第二相似度未达到第二预设阈值，则更新所述生成向量，直至基于更新后的生成向量构建得到的候选三维图像，在预设图像采集条件下，重新采集得到的重建二维图像与所述原始二维图像的第二相似度达到第二预设阈值，并将基于更新后的生成向量构建得到的候选三维图像作为所述攻击者的三维图像。
在本申请的一个实施例中，所述输入输出模块710，还被配置为获取所述第二相似度达到第二预设阈值时的生成向量，作为待优化隐变量；
所述处理模块720，还被配置为计算所述第一相似度相对于所述待优化隐变量的梯度；以及根据第一预设步长和所述梯度的方向计算第一优化参数；以及根据所述第一优化参数调整所述待优化隐变量；以及基于所述待优化隐变量构建更新后的攻击者的三维图像，得到更新后的二维纹理图。
在本申请的一个实施例中，所述对抗扰动被约束在预设区域，所述处理模块720，还被配置为计算所述第一相似度相对于当前二维纹理图的梯度；以及根据第二预设步长、掩膜和所述梯度的方向计算第二优化参数，其中所述掩膜表示对抗扰动被约束的预设区域；以及根据所述第二优化参数调整当前二维纹理图，得到更新后的二维纹理图。
在本申请的一个实施例中，所述处理模块720，还被配置为计算从图像采集条件集合中采样得到的所述图像采集条件的权重；以及通过所述权重对优化参数进行更新，得到权重优化参数；以及采用所述权重优化参数调整相关数据，得到更新后的二维纹理图；其中，所述相关数据包括待优化隐变量或二维纹理图。
在本申请的一个实施例中，所述处理模块720，还被配置为根据攻击者的三维图像，在所述图像采集条件下采集得到的二维图像与目标图像的第一相似度，确定所述权重；其中，各个图像采集条件的权重之和为1。
本申请实施例的对抗扰动生成装置，基于攻击者在三维形状下的二维纹理图优化得到对抗扰动，使得输出为实体形式的对抗扰动粘贴在攻击者发生形变后，依然能够给图像识别系统呈现与在数字世界中生成的对抗扰动相同的图像，保证对实际应用中的图像识别系统/设备的鲁棒性检测起到良好的预期效果，更加稳定的确定出图像识别系统/设备的抗干扰能力。另外，一些实施例中，通过优化隐变量的方式间接优化攻击者在三维形状下的二维纹理图，使得对抗扰动的生成过程嵌入攻击者的三维图像生成过程，生成的对抗扰动更加不易被察觉，迁移攻击性能更强。又一些实施例中，对抗扰动被约束在预设区域，在实体化后，更加方便附着在攻击者的相应部位，给用户提供了良好的使用体验。又一些实施例中，通过采样不同的图像采集条件，生成在不同图像采集条件下都能发挥出良好攻击效果的对抗扰动，解决了现有技术未考虑对抗扰动实体化后，需要在不同的图像采集条件(例如采集视角、光照、和攻击者姿态等众多三维变换)下被采集，而不同的图像采集条件会影响对抗扰动的成像效果的问题。在一些实施例中，通过给不同图像采集条件赋予不同的权重，使得对抗扰动的生成过程重点关注会较大影响对抗扰动的成像攻击效果的图像采集条件，并忽略会较小影响对抗扰动的成像攻击效果的图像采集条件，提高对抗扰动的迭代效率。
示例性介质
在介绍了本申请示例性实施方式的对抗扰动生成方法和装置之后，接下来，参考图12对本申请示例性实施方式的计算机可读存储介质进行说明，其示出的计算机可读存储介质为光盘80，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取攻击者的三维图像和图像采集条件；在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；计算所述二维图像与目标图像的第一相似度；若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性处理设备
上面从模块化功能实体的角度对本申请实施例中的对抗扰动生成装置70进行了描述，下面从硬件处理的角度分别对本申请实施例中的执行对抗扰动生成方法的服务器、终端进行描述。需要说明的是，在本申请对抗扰动生成装置实施例的图11所示的输入输出模块710对应的实体设备可以为输入/输出单元、收发器、射频电路、通信模块和输入/输出(I/O)接口等，处理模块720对应的实体设备可以为处理器。图11所示的对抗扰动生成装置70可以具有如图13所示的结构，当图11所示的对抗扰动生成装置70具有如图13所示的结构时，图13中的处理单元901和I/O接口905能够实现前述对应该装置的装置实施例提供的处理模块720和输入输出模块710相同或相似的功能，图13中的处理单元901执行上述对抗扰动生成方法时需要调用的计算机程序。
图13示出了适于用来实现本申请实施方式的示例性计算设备90的框图，该计算设备90可以是计算机系统或服务器。图13显示的计算设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图13所示，计算设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件(包括系统存储器902和处理单元901)的总线903。
计算设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022。计算设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM9023可以用于读写不可移动的、非易失性磁介质(图13中未显示，通常称为“硬盘驱动器”)。尽管未在图13中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。系统存储器902中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块9024的程序/实用工具9025，可以存储在例如系统存储器902中，且这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9024通常执行本申请所描述的实施例中的功能和/或方法。
计算设备90也可以与一个或多个外部设备904(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图13所示，网络适配器906通过总线903与计算设备90的其它模块(如处理单元901等)通信。应当明白，尽管图13中未示出，可以结合计算设备90使用其它硬件和/或软件模块。
处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如，获取攻击者的三维图像和图像采集条件；在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；计算所述二维图像与目标图像的第一相似度；若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了对抗扰动生成装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本申请实施例还提供了一种终端设备，如图14所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图14示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图14，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图14中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
上述实施例中由终端设备所执行的步骤可以基于该图14所示的终端设备结构。本申请实施例还提供了一种服务器，请参阅图15，图15是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：central processing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1110还可以包括一个或一个以上电源1120，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器1100的结构。例如，例如上述实施例中由图15所示的对抗扰动生成装置70所执行的步骤可以基于该图15所示的服务器结构。例如，所述中央处理器1122通过调用存储器1132中的指令，执行以下操作：
通过输入输出接口1158获取攻击者的三维图像和图像采集条件；
中央处理器1122在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；计算所述二维图像与目标图像的第一相似度；若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。
Claims (10)
1.一种对抗扰动生成方法，包括：
获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图，更新所述二维纹理图后，所述三维图像将对应更新；
在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；
计算所述二维图像与目标图像的第一相似度；
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
2.如权利要求1所述的对抗扰动生成方法，其中，获取图像采集条件，包括：
获取图像采集条件集合，并从所述图像采集条件集合中采样得到一个图像采集条件；
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动，包括：
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，并从所述图像采集条件中重新采样得到一个图像采集条件，直至更新后的攻击者的三维图像，在重新采样得到的图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
3.如权利要求2所述的对抗扰动生成方法，其中，所述攻击者的三维图像根据所述攻击者的原始二维图像重建得到，包括：
获取生成向量；
基于所述生成向量构建候选三维图像，得到所述候选三维图像的三维形状以及二维纹理图；
在预设图像采集条件下，基于所述候选三维图像，采集得到对应的重建二维图像；
计算所述重建二维图像与所述原始二维图像的第二相似度；
若所述第二相似度未达到第二预设阈值，则更新所述生成向量，直至基于更新后的生成向量构建得到的候选三维图像，在预设图像采集条件下，重新采集得到的重建二维图像与所述原始二维图像的第二相似度达到第二预设阈值，并将基于更新后的生成向量构建得到的候选三维图像作为所述攻击者的三维图像。
4.如权利要求3所述的对抗扰动生成方法，其中，所述更新所述二维纹理图，包括：
获取所述第二相似度达到第二预设阈值时的生成向量，作为待优化隐变量；
计算所述第一相似度相对于所述待优化隐变量的梯度；
根据第一预设步长和所述梯度的方向计算第一优化参数；
根据所述第一优化参数调整所述待优化隐变量；
基于所述待优化隐变量构建更新后的攻击者的三维图像，得到更新后的二维纹理图。
5.如权利要求2所述的对抗扰动生成方法，其中，所述对抗扰动被约束在预设区域，所述更新所述二维纹理图，包括：
计算所述第一相似度相对于当前二维纹理图的梯度；
根据第二预设步长、掩膜和所述梯度的方向计算第二优化参数，其中所述掩膜表示对抗扰动被约束的预设区域；
根据所述第二优化参数调整当前二维纹理图，得到更新后的二维纹理图。
6.如权利要求4或5所述的对抗扰动生成方法，其中，根据优化参数调整相关数据，得到更新后的二维纹理图之前，所述方法还包括：
计算从图像采集条件集合中采样得到的所述图像采集条件的权重；
通过所述权重对所述优化参数进行更新，得到权重优化参数；
所述根据优化参数调整相关数据，得到更新后的二维纹理图，包括：
采用所述权重优化参数调整相关数据，得到更新后的二维纹理图；
其中，所述相关数据包括待优化隐变量或二维纹理图。
7.如权利要求6所述的对抗扰动生成方法，其中，所述计算从图像采集条件集合中采样得到的所述图像采集条件的权重，包括：
根据攻击者的三维图像，在所述图像采集条件下采集得到的二维图像与目标图像的第一相似度，确定所述权重；
其中，各个图像采集条件的权重之和为1。
8.一种对抗扰动生成装置，包括：
输入输出模块，被配置为获取攻击者的三维图像和图像采集条件，其中，所述三维图像至少包括所述攻击者在三维形状下的二维纹理图，更新所述二维纹理图后，所述三维图像将对应更新；
处理模块，被配置为在所述图像采集条件下，基于所述攻击者的三维图像，采集得到对应的二维图像；以及计算所述二维图像与目标图像的第一相似度；以及
若所述第一相似度未达到第一预设阈值，则更新所述二维纹理图，直至基于更新后的攻击者的三维图像，在所述图像采集条件下，重新采集得到的二维图像与目标图像的相似度达到第一预设阈值，并从更新后的二维纹理图中确定对抗扰动。
9.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
10.一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111642815.6A CN114387647B (zh) | 2021-12-29 | 2021-12-29 | 对抗扰动生成方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111642815.6A CN114387647B (zh) | 2021-12-29 | 2021-12-29 | 对抗扰动生成方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114387647A true CN114387647A (zh) | 2022-04-22 |
| CN114387647B CN114387647B (zh) | 2023-04-28 |
Family
ID=81199583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111642815.6A Active CN114387647B (zh) | 2021-12-29 | 2021-12-29 | 对抗扰动生成方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114387647B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115081643A (zh) * | 2022-07-20 | 2022-09-20 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、相关装置及存储介质 |
| CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
| CN115239941A (zh) * | 2022-07-25 | 2022-10-25 | 北京瑞莱智慧科技有限公司 | 对抗图像生成方法、相关装置及存储介质 |
| CN115937638A (zh) * | 2022-12-30 | 2023-04-07 | 北京瑞莱智慧科技有限公司 | 模型训练方法、图像处理方法、相关装置及存储介质 |
| CN116486463A (zh) * | 2023-06-15 | 2023-07-25 | 北京瑞莱智慧科技有限公司 | 图像处理方法、相关装置及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6496187B1 (en) * | 1998-02-17 | 2002-12-17 | Sun Microsystems, Inc. | Graphics system configured to perform parallel sample to pixel calculation |
| CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
| CN111009031A (zh) * | 2019-11-29 | 2020-04-14 | 腾讯科技（深圳）有限公司 | 一种人脸模型生成的方法、模型生成的方法及装置 |
| CN111738374A (zh) * | 2020-08-28 | 2020-10-02 | 北京智源人工智能研究院 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
| CN111914946A (zh) * | 2020-08-19 | 2020-11-10 | 中国科学院自动化研究所 | 针对离群点移除方法的对抗样本生成方法、系统和装置 |
| CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
| US20200410228A1 (en) * | 2019-06-28 | 2020-12-31 | Baidu Usa Llc | Systems and methods for fast training of more robust models against adversarial attacks |
| CN112818963A (zh) * | 2021-03-29 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| WO2021131029A1 (ja) * | 2019-12-27 | 2021-07-01 | 日本電気株式会社 | フィルタ生成装置、推定装置、顔認証システム、フィルタ生成方法および記録媒体 |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113407509A (zh) * | 2021-07-17 | 2021-09-17 | 广州汇思信息科技股份有限公司 | 一种数据的压缩方法、装置、计算机设备和存储介质 |
| CN113538639A (zh) * | 2021-07-02 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113808165A (zh) * | 2021-09-14 | 2021-12-17 | 电子科技大学 | 面向三维目标跟踪模型的点扰动对抗攻击方法 |
-
2021
- 2021-12-29 CN CN202111642815.6A patent/CN114387647B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6496187B1 (en) * | 1998-02-17 | 2002-12-17 | Sun Microsystems, Inc. | Graphics system configured to perform parallel sample to pixel calculation |
| CN110245598A (zh) * | 2019-06-06 | 2019-09-17 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、装置、介质和计算设备 |
| US20200410228A1 (en) * | 2019-06-28 | 2020-12-31 | Baidu Usa Llc | Systems and methods for fast training of more robust models against adversarial attacks |
| CN111009031A (zh) * | 2019-11-29 | 2020-04-14 | 腾讯科技（深圳）有限公司 | 一种人脸模型生成的方法、模型生成的方法及装置 |
| WO2021131029A1 (ja) * | 2019-12-27 | 2021-07-01 | 日本電気株式会社 | フィルタ生成装置、推定装置、顔認証システム、フィルタ生成方法および記録媒体 |
| CN111914946A (zh) * | 2020-08-19 | 2020-11-10 | 中国科学院自动化研究所 | 针对离群点移除方法的对抗样本生成方法、系统和装置 |
| CN111738374A (zh) * | 2020-08-28 | 2020-10-02 | 北京智源人工智能研究院 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
| CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
| CN112818963A (zh) * | 2021-03-29 | 2021-05-18 | 平安国际智慧城市科技股份有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113538639A (zh) * | 2021-07-02 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113407509A (zh) * | 2021-07-17 | 2021-09-17 | 广州汇思信息科技股份有限公司 | 一种数据的压缩方法、装置、计算机设备和存储介质 |
| CN113808165A (zh) * | 2021-09-14 | 2021-12-17 | 电子科技大学 | 面向三维目标跟踪模型的点扰动对抗攻击方法 |
Non-Patent Citations (6)
| Title |
|---|
| CHAOWEI XIAO等: "《REALISTIC ADVERSARIAL EXAMPLES IN 3D MESHES》", 《ICLR 2019》 * |
| 任奎 等: "《深度学习中的对抗性攻击和防御》", 《ENGINEERING》 * |
| 冷凯轩 等: "《基于图形的对抗样本生成技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 孙毅 等: "《深度伪造影像鉴定综述》", 《信息网络安全》 * |
| 董胤蓬 等: "《面向对抗样本的深度神经网络可解释性分析》", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.2109.TP.20200909.1436.001.HTML》 * |
| 薛蓉: "《人脸器官真实感处理及其在颅面复原中的应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115081643A (zh) * | 2022-07-20 | 2022-09-20 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、相关装置及存储介质 |
| CN115081643B (zh) * | 2022-07-20 | 2022-11-08 | 北京瑞莱智慧科技有限公司 | 对抗样本生成方法、相关装置及存储介质 |
| CN115239941A (zh) * | 2022-07-25 | 2022-10-25 | 北京瑞莱智慧科技有限公司 | 对抗图像生成方法、相关装置及存储介质 |
| CN115239941B (zh) * | 2022-07-25 | 2023-04-28 | 北京瑞莱智慧科技有限公司 | 对抗图像生成方法、相关装置及存储介质 |
| CN115171196A (zh) * | 2022-08-25 | 2022-10-11 | 北京瑞莱智慧科技有限公司 | 人脸图像处理方法、相关装置及存储介质 |
| CN115937638A (zh) * | 2022-12-30 | 2023-04-07 | 北京瑞莱智慧科技有限公司 | 模型训练方法、图像处理方法、相关装置及存储介质 |
| CN116486463A (zh) * | 2023-06-15 | 2023-07-25 | 北京瑞莱智慧科技有限公司 | 图像处理方法、相关装置及存储介质 |
| CN116486463B (zh) * | 2023-06-15 | 2023-10-03 | 北京瑞莱智慧科技有限公司 | 图像处理方法、相关装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114387647B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114297730B (zh) | 对抗图像生成方法、装置及存储介质 | |
| CN114387647B (zh) | 对抗扰动生成方法、装置及存储介质 | |
| JP2022504704A (ja) | ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム | |
| CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
| CN112889091A (zh) | 使用模糊特征的相机位姿估计 | |
| CN110852942B (zh) | 一种模型训练的方法、媒体信息合成的方法及装置 | |
| CN111401445B (zh) | 一种图像识别模型的训练方法、图像识别的方法及装置 | |
| CN111444826B (zh) | 视频检测方法、装置、存储介质及计算机设备 | |
| CN111368811B (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN116310745B (zh) | 图像处理方法、数据处理方法、相关装置及存储介质 | |
| CN111898561A (zh) | 一种人脸认证方法、装置、设备及介质 | |
| CN115937638A (zh) | 模型训练方法、图像处理方法、相关装置及存储介质 | |
| CN114333031A (zh) | 活体检测模型的漏洞检测方法、装置及存储介质 | |
| CN112818733B (zh) | 信息处理方法、装置、存储介质及终端 | |
| CN116486463B (zh) | 图像处理方法、相关装置及存储介质 | |
| Yu et al. | An identity authentication method for ubiquitous electric power Internet of Things based on dynamic gesture recognition | |
| CN113723164A (zh) | 获取边缘差异信息的方法、装置、设备及存储介质 | |
| CN115081643B (zh) | 对抗样本生成方法、相关装置及存储介质 | |
| CN115171196B (zh) | 人脸图像处理方法、相关装置及存储介质 | |
| CN117011929A (zh) | 一种头部姿态估计方法、装置、设备以及存储介质 | |
| CN115239941A (zh) | 对抗图像生成方法、相关装置及存储介质 | |
| CN114943639B (zh) | 图像获取方法、相关装置及存储介质 | |
| CN113963229B (zh) | 一种基于视频的无线信号增强与跨目标手势识别方法 | |
| CN116308978B (zh) | 视频处理方法、相关装置及存储介质 | |
| CN117011576A (zh) | 一种评估图像分类模型的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |