CN117132851A - 一种对抗补丁处理方法、相关装置及存储介质 - Google Patents

一种对抗补丁处理方法、相关装置及存储介质 Download PDF

Info

Publication number
CN117132851A
CN117132851A CN202311091383.3A CN202311091383A CN117132851A CN 117132851 A CN117132851 A CN 117132851A CN 202311091383 A CN202311091383 A CN 202311091383A CN 117132851 A CN117132851 A CN 117132851A
Authority
CN
China
Prior art keywords
countermeasure
loss value
image
candidate
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311091383.3A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202311091383.3A priority Critical patent/CN117132851A/zh
Publication of CN117132851A publication Critical patent/CN117132851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及计算机视觉技术领域，提供一种对抗补丁处理方法、相关装置及存储介质，方法包括：获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征；计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至特征损失值满足预设收敛条件，得到目标对抗补丁。本申请可以对候选对抗补丁进行更新，得到优秀的目标对抗补丁，从而显著地提高了目标对抗补丁的通用性，为用户带来更好的体验。

Description

一种对抗补丁处理方法、相关装置及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，更具体地涉及一种对抗补丁处理方法、相关装置及存储介质，其中，相关装置包括对抗补丁处理装置、计算机设备、计算机程序产品和芯片系统，其中，存储介质为计算机可读存储介质。
背景技术
图像处理神经网络模型在各个领域中具有广泛的应用。例如，图像处理神经网络模型包括行人检测模型，行人检测模型是计算机视觉领域非常重要的神经网络模型，行人检测模型用于对图像或者视频中的行人进行检测，以确定每个行人的位置。行人检测模型在人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域具有广泛的应用。一旦该行人检测模型受到攻击将会对使用该行人检测模型的整个系统带来巨大影响。
现有技术往往采用攻击算法生成对抗补丁，以对图像处理神经网络模型进行性能检测。然而，由于目前的攻击算法是针对特定的神经网络模型单独开发的，这样会导致不同的图像处理神经网络模型之间的攻击算法不能共用，进而导致同一攻击算法生成的对抗补丁无法在不同的图像处理神经网络模型之间共用，也即对抗补丁的通用性较差。
综上，现有技术存在对抗补丁的通用性较差的问题。
发明内容
本申请实施例提供一种对抗补丁处理方法、相关装置及存储介质,可以对候选对抗补丁进行优化，能表现出对任意的图像处理神经网络模型进行测试，更好地提高了目标对抗补丁的通用性。
第一方面，本申请实施例提供一种对抗补丁处理方法，该方法包括：
获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；
对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征，对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；
计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；
若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。
第二方面，本申请实施例提供一种对抗补丁处理装置，具有实现对应于上述第一方面提供的对抗补丁处理方法的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。
在一个实施方式中，对抗补丁处理装置包括：
输入输出模块，被配置为获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；
处理模块，还被配置为对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征，对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；
处理模块，还被配置为计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；
处理模块，还被配置为若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。
在一些申请实施例中，处理模块，具体被配置为对对抗图像特征和初始图像特征进行融合，得到融合后图像特征；基于融合后图像特征，确定候选对抗图像的特征损失值，并基于特征损失值，确定目标损失值。
在一些申请实施例中，处理模块，具体被配置为在候选对抗图像中识别出对抗补丁，并根据对抗补丁，计算对抗补丁的打印损失值，打印损失值表征对抗补丁的颜色打印损失值和/或纹理打印损失值；根据打印损失值和特征损失值，生成目标损失值。
在一些申请实施例中，处理模块，具体被配置为计算对抗补丁的平滑损失值，平滑损失值基于对抗补丁中相邻像素点之间的特征距离得到；根据平滑损失值、打印损失值和特征损失值，生成目标损失值。
在一些申请实施例中，处理模块，具体被配置为分别获取平滑损失值、打印损失值和特征损失值对应的权重；将平滑损失值、打印损失值、特征损失值和权重进行融合，以得到目标损失值。
在一些申请实施例中，处理模块，具体被配置为根据目标损失值，更新候选对抗补丁，得到初始更新补丁；对初始更新补丁进行裁剪，得到更新补丁。
在一些申请实施例中，处理模块，具体被配置为获取初始更新补丁中像素值不在预设数值范围内的目标像素点；对目标像素点进行裁剪，得到更新补丁。
在一些申请实施例中，处理模块，具体被配置为调用预设特征提取模型对候选对抗图像中的对象进行分类，得到对象类别；获取对象的实际对象类别，并根据对象类别和实际对象类别，计算出候选对抗图像对应的对抗图像特征。
在一些申请实施例中，处理模块，具体被配置为计算对象类别和实际对象类别之间的类别损失值；对类别损失值进行映射，以得到候选对抗图像对应的对抗图像特征。
第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面的对抗补丁处理方法。
第四方面，本申请实施例提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现第一方面的对抗补丁处理方法。
第五方面，本申请实施例提供一种芯片，该芯片中包括与终端设备的收发器耦合的处理器，用于执行本申请实施例第一方面提供的技术方案。
第六方面，本申请实施例提供一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能，例如，生成或者处理上述第一方面提供的对抗补丁处理方法中所涉及的信息。
在一种可能的设计中，上述芯片系统还包括存储器，该存储器用于保存终端必需的程序指令和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第七方面，本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面提供的对抗补丁处理方法。
相较于现有技术，本申请实施例中，通过将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像，然后，可以利用在候选对抗图像中提取到的对抗图像特征与初始图像的初始图像特征，计算得到目标损失值，以便基于目标损失值更新候选对抗补丁，得到优秀的目标对抗补丁。由于本申请可以将所述候选对抗补丁与初始图像进行叠加，以得到候选对抗图像，这样一来，在对候选对抗图像进行特征提取时可以获取到不存在目标对象的对象特征或削弱目标对象的部分特征的对抗图像特征，如此可以计算具有相似特征的对抗图像特征和初始图像特征之间的特征损失值，得到目标损失值，以便基于目标损失值对候选对抗补丁进行优化，得到目标对抗补丁，进而可以使得目标对抗补丁能够使任意图像中的候选对象的特征进行削弱或消失，进一步地，由于任意的图像处理神经网络模型对具有候选对象的同一图像提取到的图像特征具有相似性，也即提取到图像特征中不存在候选对象的特征或存在候选对象的部分特征，因而可以使得任意的图像处理神经网络模型无法识别出图像中的候选对象，如此得到具有优秀的、具有通用性的目标对抗补丁。而不是现有技术中的为每一个图像处理神经网络模型提供独有的对抗补丁，因此，本申请实施例相比现有技术，可以提高目标对抗补丁的通用性。由于本申请的目标对抗补丁的通用性更高，因此，本申请实施例采用所得到目标对抗补丁可以发挥出理想的模型测试效果，能够很好地对任意的图像处理神经网络模型进行测试。
附图说明
通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：
图1为本申请实施例中对抗补丁处理方法的一种对抗补丁处理系统示意图；
图2为本申请实施例的对抗补丁处理方法的一种流程示意图；
图3为本申请实施例的对抗补丁处理方法的另一种流程示意图；
图4为本申请实施例的对模型的测试结果的示意一图；
图5为本申请实施例的对模型的测试结果的示意二图；
图6为本申请实施例的对抗补丁处理装置的结构示意图；
图7为本申请实施例的计算机设备的一种结构示意图；
图8为本申请实施例中手机的一种结构示意图；
图9为本申请实施例中服务器的一种结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例还提供一种对抗补丁处理方法、相关装置及存储介质，可应用于能够提高对抗补丁通用性的对抗补丁优化场景下的对抗补丁处理系统，该对抗补丁处理系统可包括特征提取装置和补丁更新装置。特征提取装置和补丁更新装置可以集成部署，也可分离式部署。该特征提取装置至少用于获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像，以及对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征。该补丁更新装置可以至少用于计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值，以及基于目标损失值更新候选对抗补丁，以得到目标对抗补丁。其中，对特征提取装置可为能够获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像，以及对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征的应用程序，或为安装了能够实现获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像，以及对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征的应用程序的服务器或终端设备。补丁更新装置可为能够计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值，以及基于目标损失值更新候选对抗补丁，以得到目标对抗补丁的应用程序，还可以为部署了能够计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值，以及基于目标损失值更新候选对抗补丁，以得到目标对抗补丁的应用程序的终端设备。
本申请实施例提供的方案涉及人工智能(Artificial Intelligence，AI)、计算机视觉技术(Computer Vision，CV)、机器学习(Machine Learning，ML)等技术，具体通过如下实施例进行说明:
其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
现有技术中往往采用攻击算法生成对抗补丁，以对图像处理神经网络模型进行性能检测。然而，由于目前的攻击算法是针对特定的神经网络模型单独开发的，这样会导致不同的图像处理神经网络模型之间的攻击算法不能共用，进而导致同一攻击算法生成的对抗补丁无法在不同的图像处理神经网络模型之间共用，也即对抗补丁的通用性较差。也就是说，现有技术存在对抗补丁的通用性较差的问题。
相比于现有技术，本申请实施例中，可以获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征，对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。由于本申请实施例是可以利用候选对抗补丁扰乱候选对抗图像中的目标对象，这样一来，在对候选对抗图像进行特征提取时可以获取到不包括初始图像中目标对象的对象特征的对抗图像特征，或者，包括初始图像中目标对象的部分特征的对抗图像特征，如此可以将候选对抗图像和初始图像进行区别，从而可以基于对抗图像特征和初始图像的初始图像特征计算得到的目标损失值，以便基于目标损失值来对候选对抗补丁进行优化，得到优秀的具有通用性的目标对抗补丁。
一些实施方式中，特征提取装置和补丁更新装置分离式部署，参照图1，本申请实施例提供的对抗补丁处理方法可基于图1所示的一种对抗补丁处理系统实现。该图像处理系统可以包括服务器01和终端设备02。
该服务器01可以是特征提取装置，其中可以部署至少用于对候选对抗图像进行特征提取的特征提取程序。
该终端设备02可以是补丁更新装置，其中可以部署有至少用于更新候选对抗候选对抗补丁的补丁更新程序。
该服务器01可以将对候选对抗图像进行特征提取到的对抗图像特征发送给终端设备02；该终端设备02可以接收对抗图像特征，并计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值，然后，基于目标损失值更新候选对抗补丁，以得到目标对抗补丁。
需要说明的是，本申请实施例涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。
参照图2，图2为本申请实施例提供的一种对抗补丁处理方法的流程示意图。该方法可由对抗补丁处理装置执行，可应用于需要提高对抗补丁的通用性的对抗补丁处理场景，本申请可以利用候选对抗补丁扰乱候选对抗图像中的目标对象，然后，在对候选对抗图像进行特征提取时可以获取到不包括初始图像中目标对象的对象特征的对抗图像特征，或者，包括初始图像中目标对象的部分特征的对抗图像特征，从而可以基于对抗图像特征和初始图像的初始图像特征计算得到的目标损失值，以便基于目标损失值来对候选对抗补丁进行优化，得到优秀的具有通用性的目标对抗补丁。
方法包括步骤101-104：
步骤101，获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像。
其中，候选对抗补丁可以是指能够扰乱初始图像中目标对象的对抗补丁。例如，候选对抗补丁可以表征为彩色纸板补丁。
其中，目标对象可以为行人、动物、物体等等。比如，动物可以为猫，物体可以为车辆，等等。
其中，候选对抗图像可以是指以候选对抗补丁作为干扰因子，可以用于攻击图像处理神经网络模型的图像。例如，候选对象图像中的内容可以包括景物、被彩色纸板补丁所遮挡的行人。
本申请可以先获取候选对抗补丁作为干扰因子，然后利用干扰因子对初始图像进行扰动，以便于得到具有干扰因素的候选对抗图像，例如，本申请可以将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像。
为了能够提高候选对抗图像的泛化性，本申请可以对候选对抗补丁进行处理，具体来说，在步骤101中，步骤“将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像”的方式具体可以为：对候选对抗补丁进行变换，得到变换后对抗补丁；将变换后对抗补丁与初始图像进行叠加，得到候选对抗图像。
此处可以理解的是，本申请对候选对抗补丁进行变换是为了模拟各种不同的干扰因素，以提高候选对抗补丁的泛化性，从而提高候选对抗图像的泛化性。其中，干扰因素主要是相机噪声方面和光照方面的影响。
其中，“对候选对抗补丁进行变换，得到变换后对抗补丁”的方式可以为：获取变换参数，并根据变换参数对候选对抗补丁进行变换，得到变换后对抗补丁。其中，具体来说，对候选对抗补丁进行变换的方式可以有多种，例如，随机高斯噪声、亮度变换、对比度变换等；相应地，变换参数可以包括随机高斯噪声对应的随机高斯噪声参数、亮度变换对应的亮度变换参数、对比度变换对应的对比度变换参数。
本申请在得到变换后对抗补丁之后，便可以将变换后对抗补丁与初始图像进行叠加，得到候选对抗图像。此处可以理解的是，本申请可以将变换后对抗补丁叠加在初始图像上，变换后对抗补丁在初始图像上的叠加位置原则上并无明确限制。当本申请应用到行人检测攻击的应用场景时，对于变换后对抗补丁的实际叠加位置优选为初始图像中目标对象所在的图像区域，例如行人所在的图像区域，以此来便于后续提高目标对抗补丁的有效性和鲁棒性。基于此，具体来说，步骤“将变换后对抗补丁与初始图像进行叠加，得到候选对抗图像”的方式可以为：在初始图像中识别出目标对象所在的图像区域；将变换后对抗补丁对图像区域进行掩盖处理，以将变换后对抗补丁与初始图像进行叠加，得到候选对抗图像。
在步骤101中，步骤“获取候选对抗补丁”的方式可以为：从云端或本地数据库中提取初始图像。
步骤102，对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征。
其中，对抗图像特征可以是指对候选对抗图像进行特征提取所得到的特征。对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征。
其中，对抗图像特征可以表征为梯度注意力图，梯度注意力图中每一像素点具有对应的数值，每一数值表征可以表征数值对应的像素点对候选对抗图像在分类所得到的分类结果的贡献度。数值越大，表明对分类结果的贡献度越高。以下具体阐述对梯度注意力图的获取。
本申请在获取到候选对抗图像之后，便可以提取候选对抗图像的对抗图像特征，以便于基于对抗图像特征来对候选对抗补丁进行优化，具体来说，在步骤102中，步骤“对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征”的方式可以为：调用预设特征提取模型对候选对抗图像中的对象进行分类，得到对象类别；获取对象的实际对象类别，并根据对象类别和实际对象类别，计算出候选对抗图像对应的对抗图像特征。
其中，预设特征提取模型可以为图像处理模型。该图像处理模型可以为目标对抗补丁所要测试的预设图像处理模型的替代模型。替代模型可以是指能够实现与预设图像处理模型相同或相似功能的神经网络模型。
本申请利用替代模型来获取候选对抗图像的对抗图像特征，以便于能够在后续获取到优秀的目标对抗补丁后，对预设图像处理模型进行攻击。具体来说，步骤“调用预设特征提取模型对候选对抗图像中的对象进行分类，得到对象类别”的方式可以为：调用预设特征提取模型识别候选对抗图像中对象的对象区域；采用预设特征提取模型对对象区域进行特征提取，得到对象区域特征；根据对象区域特征，对候选对抗图像中的对象进行分类，得到对象类别。
其中，对象可以是指具有候选对抗补丁的对象，例如，对象可以是指当目标对象被候选对抗补丁叠加后所得到的对象。对象的实际对象类别可以为候选对抗图像所携带。
本申请在得到对象类别后，便可以利用对象类别，获取候选对象图像对应的对抗图像特征，具体来说，“根据对象类别和实际对象类别，计算出候选对抗图像对应的对抗图像特征”的方式可以为：计算对象类别和实际对象类别之间的类别损失值；对类别损失值进行映射，以得到候选对抗图像对应的对抗图像特征。
其中，步骤“计算对象类别和实际对象类别之间的类别损失值”的方式可以为：获取类别损失函数，计算对象类别和实际对象类别之间的类别损失值。其中，类别损失函数如公式(1)所示：
loss＝l_cls(f(x,w),c) 计算公式(1)
其中，loss可以是指类别损失值；c可以是指实际对象类别；f(x,w)可以是指对象类别；f()可以是指预设特征提取模型；x可以是指候选对抗图像；w可以是指预设特征提取模型的权重；l_cls()可以是指类别损失函数。其中，类别损失函数具体可以为对数损失函数，还可以为MSE平方损失函数等等。
本申请在利用类别损失函数计算到类别损失之后，便可以利用类别损失值，获取到对抗图像特征，具体来说，步骤“对类别损失值进行映射，以得到候选对抗图像对应的对抗图像特征”的方式可以为：获取特征映射函数；根据特征映射函数，对类别损失值进行映射，以得到候选对抗图像对应的对抗图像特征。其中，特征映射函数可以如公式(2)所示：
其中，att可以是指对抗图像特征；ReLU()可以是指激活函数；可以是指类别损失函数对于候选对抗图像的偏导数。
此处可以理解的是，对抗图像特征，也即梯度注意力图由于噪声影响以及部分位置可能会存在负影响，因此在计算梯度注意力损失前将梯度注意力图中小于0的部分过滤掉，因此公式中加入了ReLU()操作。
另外，在步骤101之前，本申请还可以获取初始图像，并对初始图像进行特征提取，得到初始图像对应的初始图像特征，以便于在步骤103中可以利用初始图像特征来计算特征损失值。
其中，为了能够便于在后续获取到优秀的目标对抗补丁后，对预设图像处理模型进行攻击，本申请可以利用前述的预设特征提取模型来对初始图像进行处理，具体来说，步骤“对初始图像进行特征提取，得到初始图像对应的初始图像特征”的方式可以为：调用预设特征提取模型对初始图像中的目标对象进行分类，得到目标对象类别；获取目标对象的目标实际对象类别，并根据目标对象类别和目标实际对象类别，计算初始图像对应的初始图像特征。
其中，步骤“调用预设特征提取模型对初始图像中的目标对象进行分类，得到目标对象类别”具体可以参见上述“调用预设特征提取模型对候选对抗图像中的对象进行分类，得到对象类别”的描述，此处不再赘述。
其中，步骤“根据目标对象类别和目标实际对象类别，计算初始图像对应的初始图像特征”具体可参见上述“根据对象类别和实际对象类别，计算出候选对抗图像对应的对抗图像特征”的描述，此处不再赘述。
此处需要说明的是，初始图像特征也可以表征为梯度注意力图，关于初始图像特征对应的梯度注意力图，可具体参照前述对对抗图像特征对应的梯度注意力图的相关描述，此处不再赘述。
在对步骤103和步骤104进行阐述之前，此处可以理解的是，本申请主要优势是在探究不同图像处理模型的共性特征。具体来说，针对包含候选对象的同一候选图像，不同图像处理模型为何均能检测出该候选对象，它们具有什么共性特征，尽管不同图像处理模型的检测算法区别很大。通过大量实验尝试，本申请发现不同图像处理模型的梯度注意力图相似度极高，这导致不同图像处理模型均可以检测到同一候选对象。
基于此，本申请可以采用梯度注意力图来对候选对抗补丁进行更新，以得到目标对抗补丁。如此一来，当对预设图像处理模型进行测试时，利用目标对抗补丁与包括候选对象的待测试图像进行叠加，得到测试图像；然后，采用测试图像对应预设图像处理模型进行测试。其中，目标对抗补丁扰乱测试图像中的候选对象，使得候选对象在测试图像对应的梯度注意力图中减弱甚至消失，从而使得预设图像处理模型无法检测该对象。
此处要说明的是，本申请的目标对抗补丁不仅能够对白盒模型进行测试，也能够对黑盒模型进行测试，例如当预设图像处理模型为黑盒模型时，由于不同图像处理模型的梯度注意力图具有相似性，因此，利用基于目标对抗补丁所生成的测试图像对黑盒模型进行测试时，黑盒模型也无法识别测试图像中的候选对象。以下具体通过步骤103至步骤104来阐述目标对抗补丁的生成过程。
步骤103，计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值。
本申请在提取到对抗图像特征之后，便可以利用对抗图像特征得到目标损失值，以便后续能够利用目标损失值更新候选对抗图像补丁，具体来说，步骤“计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值”的方式可以如步骤31和步骤32所示：
步骤31、对对抗图像特征和初始图像特征进行融合，得到融合后图像特征。
其中，特征损失值表征初始图像和候选对抗图像之间的损失。
在步骤31中，步骤“对对抗图像特征和初始图像特征进行融合，得到融合后图像特征”的方式可以为：计算对抗图像特征与初始图像特征之间的目标特征距离，并将目标特征距离作为融合后图像特征。
步骤32、基于融合后图像特征，确定候选对抗图像的特征损失值，并基于特征损失值，确定目标损失值。
本申请在获取到融合后图像特征后，便可以利用融合后图像特征确定特征损失值，具体来说，在步骤32中，“基于融合后图像特征，确定候选对抗图像的特征损失值”的方式可以为：采用特征损失函数，将初始图像特征和对抗图像特征进行融合，得到候选对抗图像的特征损失值。其中，特征损失函数可以参见公式(3)：
ladv(attadv,attori)＝||attadv||2-||attadv-attori||2 公式(3)
其中，ladv(attadv,attori)可以表示特征损失值；attori可以表示初始图像特征，attadv可以表示对抗图像特征。公式(3)的第一项||attadv||2表示让对抗图像特征的幅值尽可能变小，甚至接近于0；公式(3)的第二项||attadv-attori||2表示的是对抗图像特征和初始图像特征的距离，因为本申请希望该距离尽可能大，因此，此处损失是减去该距离。
其中，可以将融合后图像特征作为特征损失值。
本申请在获取到特征损失值之后，便可以确定出目标损失值，以便基于目标损失值更新候选对抗补丁。步骤“根据基于特征损失值，确定目标损失值”的方式有多种，例如，可以将特征损失值作为目标损失值；又例如，可以将特征损失值与其它损失值结合，得到目标损失值，如步骤321至步骤322所示：
步骤321、在候选对抗图像中识别出对抗补丁，并根据对抗补丁，计算对抗补丁的打印损失值。
其中，对抗补丁可以指候选对抗补丁叠加到初始图像得到候选对抗图像后，候选对抗补丁在候选对抗图像所对应的补丁。
其中，打印损失值表征对抗补丁的颜色打印损失值和/或纹理打印损失值。其中，对抗补丁可以与候选对抗补丁相同。
本申请在候选对抗图像中识别出对抗补丁之后，便可以利用对抗补丁计算出打印损失值，以便于提高目标对抗补丁的攻击性能，步骤321中，“根据对抗补丁，计算对抗补丁的打印损失值”的方式可以为：获取对抗补丁的打印参数；对打印参数进行映射处理，得到对抗补丁的打印损失值。
其中，可以采用打印参数计算函数，基于对抗补丁的像素值，计算出对抗补丁的打印参数。
其中，可以采用打印损失函数对打印参数进行映射处理，得到对抗补丁的打印损失值。
其中，打印损失函数可以参见公式(4)：
其中，lp可以是指打印损失值；pprint可以是指对抗补丁的打印参数，打印参数表征对抗补丁无法被打印的程度；cprint可以是指打印机可以打印出的颜色参数。
此处可以理解的是，本申请利用打印损失值可以提高基于目标对抗补丁生成的测试图像对现实场景的攻击性能。
步骤322、根据打印损失值和特征损失值，生成目标损失值。
本申请在获取打印损失值之后，便可以基于打印损失值和特征损失值，生成目标损失值，具体来说，在步骤322中，“根据打印损失值和特征损失值，生成目标损失值”的方式有多种，例如，可以将打印损失值和特征损失值进行加权，得到目标加权后损失值；将目标加权后损失值作为目标损失值。
步骤322中，“根据打印损失值和特征损失值，生成目标损失值”的方式可以为：计算对抗补丁的平滑损失值，平滑损失值基于对抗补丁中相邻像素点之间的特征距离得到；根据平滑损失值、打印损失值和特征损失值，生成目标损失值。
此处可以理解的是，平滑损失值可以表示对抗补丁的平滑程度。本申请利用平滑损失值可以提高基于目标对抗补丁生成的测试图像的真实性，以提高攻击的鲁棒性。
此处可以理解的是，本申请可以结合平滑损失值来提高目标对抗补丁的攻击性能，具体来说，步骤“计算对抗补丁的平滑损失值”的方式可以为：对对抗补丁中的像素点进行映射处理，得到对抗补丁中的像素点的空间位置；根据空间位置，计算对抗补丁中相邻像素点之间的特征距离；基于特征距离，确定对抗补丁的平滑损失值。其中，可以采用平滑损失函数根据空间位置，计算对抗补丁的平滑损失值。平滑损失函数可以如公式(5)所示：
其中，ls可以是指平滑损失值；pi,j可以是指对抗补丁中第i行第j列的像素点的空间位置；pi+1,j可以是指对抗补丁中第i+1行第j列的像素点的空间位置；pi,j+1可以是指对抗补丁中第i行第j+1列的像素点的空间位置；(pi,j-pi+1,j)表示第i行第j列的像素点和第i+1行第j列的像素点之间的特征距离；(pi,j-pi,j+1)表示第i行第j列的像素点和第i行第j+1列的像素点之间的特征距离。
本申请在获取到平滑损失值之后，便可以结合平滑损失来提高目标对抗补丁的攻击性能，具体来说，步骤“根据平滑损失值、打印损失值和特征损失值，生成目标损失值”的方式可以为：分别获取平滑损失值、打印损失值和特征损失值对应的权重；将平滑损失值、打印损失值、特征损失值和权重进行融合，以得到目标损失值。
其中，“将平滑损失值、打印损失值、特征损失值和权重进行融合，以得到目标损失值”具体可以参见公式(6)：
l＝ladv+α*lp+β*ls 公式(6)
其中，l可以是指目标损失值；ladv可以是指特征损失值；lp可以是指打印损失值；α可以是指打印损失值对应的权重；ls可以是指平滑损失值；β可以是指平滑损失值对应的权重。
步骤104，若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。
其中，预设收敛条件可以设置为迭代次数阈值，也可以设置为损失值阈值。例如，当目标损失值对应的迭代次数达到迭代次数阈值时，目标损失值满足预设收敛条件；当目标损失值对应的迭代次数未达到迭代次数阈值时，目标损失值未满足预设收敛条件。又例如，当目标损失值小于或等于损失值阈值时，目标损失值满足预设收敛条件；当目标损失值未小于或等于损失值阈值时，目标损失值未满足预设收敛条件。
本申请在得到目标损失值之后，便可以更新候选对抗补丁，具体来说，步骤“基于目标损失值，更新候选对抗补丁，得到更新补丁”的方式还可以为：采用优化器基于目标损失值，对候选对抗补丁进行更新，得到更新补丁。
在本申请实施例中，步骤“基于目标损失值，更新候选对抗补丁，得到更新补丁”的方式还可以为：根据目标损失值，更新候选对抗补丁，得到初始更新补丁；对初始更新补丁进行裁剪，得到更新补丁。
其中，步骤“根据目标损失值，更新候选对抗补丁，得到初始更新补丁”的过程可以为：采用优化器基于目标损失值，对候选对抗补丁进行更新，得到初始更新补丁。
本申请在得到初始更新补丁之后，便可以对裁剪掉初始更新补丁中无效的像素点，具体来说，步骤“对初始更新补丁进行裁剪，得到更新补丁”的方式可以为：获取初始更新补丁中像素值不在预设数值范围内的目标像素点；对目标像素点进行裁剪，得到更新补丁。
此处可以理解的，由于初始更新补丁中有部分像素点是无效的，因此，需要对初始更新补丁进行裁剪，以得到有效的更新补丁。更新补丁可以以公式(7)表示：
p＝clip0,1(p1) 公式(7)
其中，p可以是指更新补丁；p1可以是指初始更新补丁。针对公式(7)，可以理解的是，预设数值范围可以为大于或等于0，且小于或等于1，本申请可以将像素值小于0或者大于1的目标像素点裁剪掉。
本申请得到目标补丁之后，便可以基于目标补丁对预设图像处理模型进行测试，具体来说，本申请可以基于目标补丁，生成测试图像，并基于测试图像对预设图像处理模型进行测试。
其中，步骤“基于目标补丁，生成测试图像”的方式可以为：获取预设图像处理模型对应的待处理图像，并识别待处理图像中候选对象的目标位置；根据目标位置，将目标补丁与待处理图像进行叠加，得到测试图像。
步骤“获取预设图像处理模型对应的待处理图像”的方式可以为：从云端或本地数据库中获取预设图像处理模型对应的待处理图像。
本申请在获取到待处理图像之后，为了能够生成测试图像，需要在待处理图像中识别出候选对象的目标位置，具体来说，步骤“识别待处理图像中候选对象的目标位置”的方式可以为：调用对象识别神经网络模型，识别待处理图像中候选对象的目标位置。
本申请在获取到待处理图像之后，便可以对预设图像处理模型进行测试，具体来说，步骤“基于测试图像对预设图像处理模型进行测试”的方式可以为：采用预设图像处理模型，对测试图像中的候选对象进行对象识别，得到识别结果；根据识别结果，确定测试图像对预设图像处理模型的测试结果。
本申请实施例中，可以获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；然后，可以对候选对抗图像进行特征提取，得到不包括初始图像中目标对象的对象特征的对抗图像特征，或者，包括初始图像中目标对象的部分特征的对抗图像特征；如此，可以对抗图像特征和初始图像的初始图像特征来对候选对抗补丁进行更新，得到优秀的目标对抗补丁，从而显著地提高了目标对抗补丁的通用性，为用户带来更好的体验。
为了便于对上述申请实施例的理解，以下以具体实例进行阐述，在此实例中，预设图像处理模型为行人检测模型。如图3所示，本申请实施例提供的对抗补丁处理方法如步骤S201-S213：
S201、获取初始图像。
其中，初始图像可以记为x。
S202、分别获取平滑损失值、打印损失值和特征损失值对应的权重。
S203、对初始图像进行特征提取，得到初始图像对应的初始图像特征。
其中，初始图像特征可以记为attori。
S204、获取候选对抗补丁。
其中，本申请可以对候选对抗补丁进行随机初始化，得到初始化候选对抗补丁，并将初始化候选对抗补丁作为候选对抗补丁。
S205、对候选对抗补丁进行变换，得到变换后对抗补丁。
其中，候选对抗补丁可以记为Patch p，变换后对抗补丁可以记为
S206、将变换后对抗补丁与初始图像进行叠加，得到候选对抗图像。
其中，候选对抗图像可以记为
S207、对候选对抗图像进行特征提取，得到候选对抗图像对应的对抗图像特征。
其中，对抗图像特征可以记为
S208、根据对抗图像特征和初始图像特征，计算候选对抗图像的特征损失值。
S209、在候选对抗图像中识别出对抗补丁，并根据对抗补丁，计算对抗补丁的打印损失值。
S210、计算对抗补丁的平滑损失值。
S211、将平滑损失值、打印损失值、特征损失值和权重进行融合，得到目标损失值。
若目标损失值未满足预设收敛条件，则执行步骤S212；若目标损失值满足预设收敛条件，则执行步骤S214。
S212、根据目标损失值，更新候选对抗补丁，得到初始更新补丁。
其中，具体来说，可以基于融合后损失计算梯度；然后利用优化器基于梯度对候选对抗补丁进行更新，得到更新补丁。然后，优化器将梯度置0。其中，优化器可以为Adam优化器，也可以为SGD优化器。
S213、对初始更新补丁进行裁剪，得到更新补丁，并将更新补丁作为候选对抗补丁。
S214、将更新补丁作为目标补丁。
其中，本申请对候选对抗补丁进行更新可以按照T步迭代，每一步迭代可以按照步骤S204-S213执行。
基于上述，本申请可以用测试图像对预设图像处理模型进行测试。本申请的测试效果与现有技术的测试效果可以如图4和图5所示。
针对图4，预设图像处理模型可以为Yolov5神经网络模型，其中，针对图4，Yolov5神经网络模型可以为白盒模型。候选对抗补丁的宽高设置为100*150。公式(6)中，打印损失值对应的权重α和平滑损失值对应的权重β分别设置为1和0.1，优化器采用的是Adam优化器，初始学习率设置为0.03，最大步数设置为100，对候选对抗补丁随机变换的变换参数可以根据需求的配置。
图4中第1行第1列表示的是初始图像，初始图像不与目标对抗补丁结合；第1行第2列表示的初始图像对应的梯度注意力图即初始图像特征的可视化结果，其中，梯度注意力图中亮度越高的位置表示梯度注意力图的数值越大，即对分类结果的贡献越大，第1行第3列表示的是预设图像处理模型针对行人的检测结果，预设图像处理模型能够正常检测出行人。
第2行第1列表示的是测试图像，第2行第2列表示的是测试图像对应的梯度注意力图，测试图像对应的梯度注意力图中基本都是蓝色背景，并不包含亮度较高的区域，说明预设图像处理模型对测试图像中的行人没有响应，第2行第3列表示的是预设图像处理模型针对行人的检测结果，可以看到预设图像处理模型已经无法检测到测试图像中的行人，说明攻击成功。
针对图5，当预设图像处理模型为黑盒模型时，本申请可以对预设图像处理模型进行测试。预设图像处理模型可以包括Faster-RCNN神经网络模型和SSD神经网络模型。现有技术可以采用YOlO神经网络模型。
图5中，第1行的3个图像分别对应图4中第1行的三个图像。图5中，第2行第1列表示的是Faster-RCNN神经网络模型对应的测试图像，第2行第2列表示的是Faster-RCNN神经网络模型对应的测试图像对应的梯度注意力图；第2行第3列表示的是Faster-RCNN神经网络模型对行人的检测结果。
图5中，第3行第1列表示的是SSD神经网络模型对应的测试图像，第3行第2列表示的是SSD神经网络模型对应的测试图像对应的梯度注意力图；第3行第3列表示的是SSD神经网络模型对行人的检测结果。
从图5中可以看出，Faster-RCNN神经网络模型和SSD神经网络模型分别对测试图像所提取到的梯度注意力图中的高亮区域也都基本消失了，Faster-RCNN神经网络模型和SSD神经网络模型也都无法检测出测试图像中的行人。可见本申请的目标对抗补丁具有黑盒迁移性。
本申请可以预设图像处理模型对特定类别的梯度注意力图来实现对抗攻击，且由于梯度注意力图对于不同的预设图像处理模型具有极高的相似性，进而提升了本申请的黑盒迁移能力。
本申请可以提高目标对抗补丁的通用性。当本申请对预设图像处理模型进行测试时，可以验证预设图像处理模型如行人检测模型的鲁棒性和安全性。其中，行人检测模型可以广泛应用于人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域，具有重要的实际意义。比如对于智能驾驶系统来说，车辆会对周围环境进行感知，然后根据感知结果进行规控，其中行人就是非常重要的检测目标，一旦出现行人的误检或者漏检就会可能造成车辆的误制动或者未制动，甚至造成交通事故，因此行人检测算法的鲁棒性和安全性非常重要。
针对行人检测任务的对抗攻击已经取得了一定的进展，大多数算法是白盒攻击算法，难以迁移到黑盒模型上；少部分是黑盒攻击算法，但黑盒迁移成功率都很低。本申请的候选对抗补丁可以实现黑盒攻击方法，也可以实现白盒攻击方法，用来验证不同的行人检测模型的安全性和鲁棒性。
以上对本申请实施例中一种对抗补丁处理方法进行说明，以下对执行上述对抗补丁处理方法的对抗补丁处理装置(例如服务器)分别进行介绍。
参阅图6，如图6所示的一种对抗补丁处理装置的结构示意图，其可应用于需要提高对抗补丁通用性的对抗补丁优化场景下的服务器中，本申请可以将所述候选对抗补丁与初始图像进行叠加，以得到候选对抗图像，这样一来，在对候选对抗图像进行特征提取时可以获取到不存在目标对象的对象特征或削弱目标对象的部分特征的对抗图像特征，如此可以计算具有相似特征的对抗图像特征和初始图像特征之间的特征损失值，得到目标损失值，以便基于目标损失值对候选对抗补丁进行优化，得到具有优秀的、具有通用性的目标对抗补丁。在本申请实施例中的对抗补丁处理装置能够实现对应于上述图2中所对应的实施例中所执行的对抗补丁处理方法的步骤。对抗补丁处理装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。对抗补丁处理装置可包括输入输出模块601、处理模块602，输入输出模块601、处理模块602的功能实现可参考图2所对应的实施例中所执行的操作，此处不作赘述。
例如，输入输出模块601，被配置为获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；
处理模块602，被配置为对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征，对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；
处理模块602，还被配置为计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；
处理模块602，还被配置为若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。
在一些实施方式中，处理模块602，具体被配置为对对抗图像特征和初始图像特征进行融合，得到融合后图像特征；基于融合后图像特征，确定候选对抗图像的特征损失值，并基于特征损失值，确定目标损失值。
在一些实施方式中，处理模块602，具体被配置为在候选对抗图像中识别出对抗补丁，并根据对抗补丁，计算对抗补丁的打印损失值，打印损失值表征对抗补丁的颜色打印损失值和/或纹理打印损失值；根据打印损失值和特征损失值，生成目标损失值。
在一些实施方式中，处理模块602，具体被配置为计算对抗补丁的平滑损失值，平滑损失值基于对抗补丁中相邻像素点之间的特征距离得到；根据平滑损失值、打印损失值和特征损失值，生成目标损失值。
在一些实施方式中，处理模块602，具体被配置为分别获取平滑损失值、打印损失值和特征损失值对应的权重；将平滑损失值、打印损失值、特征损失值和权重进行融合，以得到目标损失值。
在一些实施方式中，处理模块602，具体被配置为根据目标损失值，更新候选对抗补丁，得到初始更新补丁；对初始更新补丁进行裁剪，得到更新补丁。
在一些实施方式中，处理模块602，具体被配置为获取初始更新补丁中像素值不在预设数值范围内的目标像素点；对目标像素点进行裁剪，得到更新补丁。
在一些实施方式中，处理模块602，具体被配置为调用预设特征提取模型对候选对抗图像中的对象进行分类，得到对象类别；获取对象的实际对象类别，并根据对象类别和实际对象类别，计算出候选对抗图像对应的对抗图像特征。
在一些实施方式中，处理模块602，具体被配置为计算对象类别和实际对象类别之间的类别损失值；对类别损失值进行映射，以得到候选对抗图像对应的对抗图像特征。
本申请实施例中，输入输出模块601可以获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；然后，处理模块602可以对候选对抗图像进行特征提取，得到不包括初始图像中目标对象的对象特征的对抗图像特征，或者，包括初始图像中目标对象的部分特征的对抗图像特征；如此，处理模块602可以基于对抗图像特征和初始图像的初始图像特征，计算出目标损失值，处理模块602从而可以基于目标损失值对候选对抗补丁进行更新，得到优秀的目标对抗补丁，从而显著地提高了目标对抗补丁的通用性，为用户带来更好的体验。
上面从模块化功能实体的角度对本申请实施例中的对抗补丁处理装置60进行了描述，下面从硬件处理的角度分别对本申请实施例中的对抗补丁处理装置进行描述。
需要说明的是，图6所示的输入输出模块601对应的实体设备可以为收发器、射频电路、通信模块和输入/输出(I/O)接口等，处理模块602对应的实体设备可以为处理器。
图6所示的装置均可以具有如图7所示的结构，当图6所示的对抗补丁处理装置60具有如图7所示的结构时，图7中的处理器和收发器能够实现前述对应该装置的装置实施例提供的输入输出模块601、处理模块602相同或相似的功能，图8中的存储器存储处理器执行上述对抗补丁处理方法时需要调用的计算机程序。
本申请实施例还提供了一种终端设备，如图8所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General PacketRadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图8中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了Wi-Fi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；可选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，可选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器1080还具有控制执行以上由对抗补丁处理装置执行的对抗补丁处理方法流程。
本申请实施例还提供了一种服务器，请参阅图9，图9是本申请实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：central processing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图中未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器1100的结构。例如，例如上述实施例中由图6所示的对抗补丁处理装置60所执行的步骤可以基于该图9所示的服务器结构。例如，中央处理器1122通过调用存储器1132中的指令，执行以下操作：
通过输入输出接口1158获取候选对抗补丁，并将候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；对候选对抗图像进行特征提取，得到候选对抗图像的对抗图像特征，对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；计算对抗图像特征和初始图像的初始图像特征之间的特征损失值，得到目标损失值；若目标损失值未满足预设收敛条件，则基于目标损失值，更新候选对抗补丁，得到更新补丁，并将更新补丁作为候选对抗补丁，直至目标损失值满足预设收敛条件，得到目标对抗补丁。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述每一方面的各种可选实现方式中提供的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机计算机程序时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请实施例的限制。

Claims (10)

1.一种对抗补丁处理方法，其特征在于，所述方法包括：
获取候选对抗补丁，并将所述候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；
对所述候选对抗图像进行特征提取，得到所述候选对抗图像的对抗图像特征，所述对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；
计算所述对抗图像特征和所述初始图像的初始图像特征之间的特征损失值，得到目标损失值；
若所述目标损失值未满足预设收敛条件，则基于所述目标损失值，更新所述候选对抗补丁，得到更新补丁，并将所述更新补丁作为所述候选对抗补丁，直至所述目标损失值满足所述预设收敛条件，得到目标对抗补丁。
2.根据权利要求1所述的对抗补丁处理方法，其特征在于，所述计算所述对抗图像特征和所述初始图像的初始图像特征之间的特征损失值，得到目标损失值，包括：
对所述对抗图像特征和所述初始图像特征进行融合，得到融合后图像特征；
基于所述融合后图像特征，确定所述候选对抗图像的特征损失值，并基于所述特征损失值，确定所述目标损失值。
3.根据权利要求2所述的对抗补丁处理方法，其特征在于，所述基于所述特征损失值，确定所述目标损失值，包括：
在所述候选对抗图像中识别出对抗补丁，并根据所述对抗补丁，计算所述对抗补丁的打印损失值，所述打印损失值表征所述对抗补丁的颜色打印损失值和/或纹理打印损失值；
根据所述打印损失值和所述特征损失值，生成所述目标损失值。
4.根据权利要求3所述的对抗补丁处理方法，其特征在于，所述根据所述打印损失值和所述特征损失值，生成所述目标损失值，包括：
计算所述对抗补丁的平滑损失值，所述平滑损失值基于所述对抗补丁中相邻像素点之间的特征距离得到；
根据所述平滑损失值、所述打印损失值和所述特征损失值，生成所述目标损失值。
5.根据权利要求1所述的对抗补丁处理方法，其特征在于，所述基于所述目标损失值，更新所述候选对抗补丁，得到更新补丁，包括：
根据所述目标损失值，更新所述候选对抗补丁，得到初始更新补丁；
对所述初始更新补丁进行裁剪，得到所述更新补丁。
6.根据权利要求1所述的对抗补丁处理方法，其特征在于，所述对所述候选对抗图像进行特征提取，得到所述候选对抗图像的对抗图像特征,包括：
调用预设特征提取模型对所述候选对抗图像中的对象进行分类，得到对象类别；
获取所述对象的实际对象类别，并根据所述对象类别和所述实际对象类别，计算出所述候选对抗图像对应的对抗图像特征。
7.根据权利要求6所述的对抗补丁处理方法，其特征在于，所述根据所述对象类别和所述实际对象类别，计算出所述候选对抗图像对应的对抗图像特征，包括：
计算所述对象类别和所述实际对象类别之间的类别损失值；
对所述类别损失值进行映射，以得到所述候选对抗图像对应的对抗图像特征。
8.一种对抗补丁处理装置，其特征在于，该装置包括：
输入输出模块，被配置为获取候选对抗补丁，并将所述候选对抗补丁与包括目标对象的初始图像进行叠加，以得到候选对抗图像；
处理模块，被配置为对所述候选对抗图像进行特征提取，得到所述候选对抗图像的对抗图像特征，所述对抗图像特征不包括初始图像中目标对象的对象特征，或者，包括初始图像中目标对象的部分特征；
处理模块，还被配置为计算所述对抗图像特征和所述初始图像的初始图像特征之间的特征损失值，得到目标损失值；
处理模块，还被配置为若所述目标损失值未满足预设收敛条件，则基于所述目标损失值，更新所述候选对抗补丁，得到更新补丁，并将所述更新补丁作为所述候选对抗补丁，直至所述目标损失值满足所述预设收敛条件，得到目标对抗补丁。
9.一种计算机设备，其特征在于，其包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。
CN202311091383.3A 2023-08-28 2023-08-28 一种对抗补丁处理方法、相关装置及存储介质 Pending CN117132851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091383.3A CN117132851A (zh) 2023-08-28 2023-08-28 一种对抗补丁处理方法、相关装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091383.3A CN117132851A (zh) 2023-08-28 2023-08-28 一种对抗补丁处理方法、相关装置及存储介质

Publications (1)

Publication Number Publication Date
CN117132851A true CN117132851A (zh) 2023-11-28

Family

ID=88855938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091383.3A Pending CN117132851A (zh) 2023-08-28 2023-08-28 一种对抗补丁处理方法、相关装置及存储介质

Country Status (1)

Country Link
CN (1) CN117132851A (zh)

Similar Documents

Publication Publication Date Title
US10943091B2 (en) Facial feature point tracking method, apparatus, storage medium, and device
CN116310745B (zh) 图像处理方法、数据处理方法、相关装置及存储介质
CN115937638B (zh) 模型训练方法、图像处理方法、相关装置及存储介质
CN115588131B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN114444579A (zh) 通用扰动获取方法、装置、存储介质及计算机设备
CN116486463B (zh) 图像处理方法、相关装置及存储介质
CN115239941B (zh) 对抗图像生成方法、相关装置及存储介质
CN117332844A (zh) 对抗样本生成方法、相关装置及存储介质
CN115471495B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN115526055B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN115081643B (zh) 对抗样本生成方法、相关装置及存储介质
CN117132851A (zh) 一种对抗补丁处理方法、相关装置及存储介质
CN116308978B (zh) 视频处理方法、相关装置及存储介质
CN117975387A (zh) 图像处理方法、相关装置及存储介质
CN114743081B (zh) 模型训练方法、相关装置及存储介质
CN115412726B (zh) 视频真伪检测方法、装置及存储介质
CN114943639B (zh) 图像获取方法、相关装置及存储介质
CN117853859A (zh) 图像处理方法、相关装置及存储介质
CN117765349A (zh) 对抗样本的生成方法、相关装置及存储介质
CN117079356A (zh) 一种对象鉴伪模型构建方法、虚假对象检测方法及装置
CN116167274A (zh) 仿真作战攻防训练方法、相关装置及存储介质
CN117671755A (zh) 对抗样本识别模型训练方法、装置、电子设备及存储介质
CN117975388A (zh) 图像处理方法、相关装置及存储介质
CN117218506A (zh) 用于图像识别的模型训练方法、图像识别方法及相关装置
CN117831089A (zh) 人脸图像处理方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination