CN113537267A - 对抗样本的生成方法和装置、存储介质及电子设备 - Google Patents

对抗样本的生成方法和装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113537267A
CN113537267A CN202011217968.1A CN202011217968A CN113537267A CN 113537267 A CN113537267 A CN 113537267A CN 202011217968 A CN202011217968 A CN 202011217968A CN 113537267 A CN113537267 A CN 113537267A
Authority
CN
China
Prior art keywords
image
target
confrontation
current
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011217968.1A
Other languages
English (en)
Inventor
裴歌
唐梦云
刘水生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011217968.1A priority Critical patent/CN113537267A/zh
Publication of CN113537267A publication Critical patent/CN113537267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种对抗样本的生成方法和装置、存储介质及电子设备。其中，该方法包括：获取一组样本图像和一组标签信息，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，目标检测网络模型输出的检测结果是将训练图像输入到目标检测网络模型所得到的检测结果，训练图像是将对抗图像设置在样本图像中的第二实际区域所得到的图像，在对抗图像为目标对抗图像的情况下，目标检测网络模型输出的检测结果满足预设的损失条件，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本。本发明解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。

Description

对抗样本的生成方法和装置、存储介质及电子设备
技术领域
本发明涉及计算机领域，具体而言，涉及一种对抗样本的生成方法和装置、存储介质及电子设备。
背景技术
深度学习在诸如人脸识别和自动驾驶等多个领域都受到了广泛的关注，与此同时，深度学习算法中的安全问题也越来越受到研究者们的关注。诸如，对抗样本，一种在图像中添加对人类视觉系统来说几乎不可察觉的细小扰动所生成的样本，就能使神经网络分类器以很高的置信度颠覆对图像的预测，因此，随着技术的发展，自动驾驶，人脸核身等技术给人们带来了极大便利，但同时也需要满足极高的准确性和安全性。
目前的相关技术中，对抗样本生成算法大多数为在数字图像上添加人类难以感知的微小噪声来造成分类器错误分类，或者导致目标检测器不能正确检测到目标的位置和类别等。通常，这一类对抗样本的鲁棒性较差，图像大小缩放和滤波操作等简单的图像处理方法就可以移除该类对抗噪声，导致相关技术中对抗样本的鲁棒性较差的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对抗样本的生成方法和装置、存储介质及电子设备，以至少解决相关技术中存在的对抗样本的鲁棒性较差的技术问题。
根据本发明实施例的一个方面，提供了一种对抗样本的生成方法，包括：获取一组样本图像和一组标签信息，其中，所述一组样本图像与所述一组标签信息具有一一对应关系，每个所述样本图像中包含目标分类的对象，所述标签信息包括所述目标分类的对象在所述样本图像中的第一实际区域、以及对抗图像在所述样本图像中的第二实际区域；根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，所述目标检测网络模型输出的检测结果是将训练图像输入到所述目标检测网络模型所得到的检测结果，所述训练图像是将所述对抗图像设置在所述样本图像中的所述第二实际区域所得到的图像，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的检测结果满足预设的损失条件；将所述目标对抗图像作为所述对抗图像设置在所述一组样本图像中的所述第二实际区域，得到一组对抗样本。
根据本发明实施例的另一方面，还提供了一种对抗样本的生成装置，包括：获取模块，用于获取一组样本图像和一组标签信息，其中，所述一组样本图像与所述一组标签信息具有一一对应关系，每个所述样本图像中包含目标分类的对象，所述标签信息包括所述目标分类的对象在所述样本图像中的第一实际区域、以及对抗图像在所述样本图像中的第二实际区域；调整模块，用于根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，所述目标检测网络模型输出的检测结果是将训练图像输入到所述目标检测网络模型所得到的检测结果，所述训练图像是将所述对抗图像设置在所述样本图像中的所述第二实际区域所得到的图像，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的检测结果满足预设的损失条件；设置模块，用于将所述目标对抗图像作为所述对抗图像设置在所述一组样本图像中的所述第二实际区域，得到一组对抗样本。
可选地，所述调整模块，包括：第一调整单元，用于根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，所述分类置信度用于表示所述目标检测网络模型在所述训练图像中识别到的对象属于所述目标分类的概率，所述预测区域为所述目标检测网络模型在所述训练图像中识别到的对象在所述训练图像中的区域。
可选地，所述第一调整单元，包括：第一调整子单元，用于根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的分类置信度最小。
可选地，所述第一调整子单元用于通过如下方式根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像：重复执行以下步骤，直到确定出所述目标检测网络模型输出的分类置信度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的分类置信度；在所述本轮输出的分类置信度与所述目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；在所述本轮输出的分类置信度与所述上一轮输出的分类置信度之间的差值小于或等于所述第一预设阈值的情况下，确定出所述目标检测网络模型输出的分类置信度最小。
可选地，所述第一调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标检测网络模型输出的分类置信度最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，所述第一调整单元，包括：第二调整子单元，用于根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述预测区域与所述第一实际区域之间的区域重叠度最小。
可选地，所述第二调整子单元用于通过如下方式根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像：重复执行以下步骤，直到确定出所述区域重叠度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域；在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值大于第二预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值小于或等于所述第二预设阈值的情况下，确定出所述区域重叠度最小。
可选地，所述第二调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述区域重叠度最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，所述第一调整单元，包括：第三调整子单元，用于根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，目标取值最小，所述目标取值根据所述分类置信度以及所述预测区域与所述第一实际区域之间的区域重叠度确定得到。
可选地，所述第三调整子单元用于通过如下方式根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：重复执行以下步骤，直到确定出所述目标取值最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域和本轮输出的分类置信度；在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值大于第三预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述目标取值根据本轮输出的所述分类置信度以及所述本轮确定得到的所述区域重叠度确定得到，所述上一轮确定得到的所述目标取值根据上一轮输出的所述分类置信度以及所述上一轮确定得到的所述区域重叠度确定得到，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值小于或等于所述第三预设阈值的情况下，确定出所述目标取值最小。
可选地，所述第三调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标取值最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，所述调整模块，包括：第二调整单元，用于重复执行以下步骤，直到确定出目标取值最小，其中，所述目标取值根据所述目标检测网络模型输出的检测结果确定得到，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的检测结果；在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值大于目标预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出所述目标取值最小。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述对抗样本的生成方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的对抗样本的生成方法。
在本发明实施例中，采用获取一组样本图像和一组标签信息，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本的方式，通过将训练图像输入目标检测网络模型，在检测结果满足预设的损失条件的情况下，将目标对抗图像设置在样本图像中的第二实际区域中，达到了替代相关技术中通过在数字图像中添加噪声的目的，从而实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的对抗样本的生成方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的对抗样本的生成方法的流程示意图；
图3是根据本发明实施例的一种可选的对抗样本的生成方法的示意图；
图4是根据本发明实施例的另一种可选的对抗样本的生成方法的示意图；
图5是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图；
图6是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图；
图7是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图；
图8是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图；
图9是根据本发明实施例的一种可选的对抗样本的生成装置的结构示意图；
图10是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
YOLOv3：一种目标检测算法
bounding box：目标的边界框，即框住目标的外接矩形
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
卷积神经网络(Convolutional Neural Network，CNN)是一类包含卷积操作的前馈神经网络，通常由卷积层，池化层，全连接层，激活层等组成。可以用于图像、音频等高维数据的特征提取。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景，
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的对抗样本的生成等技术，下面结合实施例对本发明进行说明：
本申请技术方案可以基于云计算技术来实现。云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(虚拟化机器，包含操作系统)、存储设备、网络设备。
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(NetworkStorage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
根据本发明实施例的一个方面，提供了一种对抗样本的生成方法，可选地，在本实施例中，上述对抗样本的生成方法可以应用于如图1所示的由服务器101和终端103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，可用于为终端或终端上安装的客户端提供服务，客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端、游戏客户端等。可在服务器上或独立于服务器设置数据库105，用于为服务器101提供数据存储服务，例如，图片存储服务器，上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络，终端103可以包括但不限于能够使用上述对抗样本的生成方法的终端，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等计算机设备，上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器，可以包括但不限于路由或者网关。
可选地，上述对抗样本的生成方法可以配置于上述终端103或者服务器101上，还可以包括但不限于由上述终端103和上述服务器101共同实施，本申请对此不做特殊限定。
举例而言，基于本申请技术方案生成的一组对抗样本可以应用于在自动驾驶系统、流媒体平台的视频分类、人脸识别等过程中应用的目标检测算法进行安全性测试。例如，使用上述对抗样本的生成方法得到一组对抗贴纸(一组对抗样本)，并通过两种方式利用该贴纸生成一批训练数据集。第一种为对于一批画面中存在汽车的图像数据，直接在汽车的引擎盖部分覆盖对抗贴纸；而第二种为直接将对抗贴纸打印出来，将其放置在车辆引擎盖上，并利用相机拍摄图像或视频。随后，利用该训练数据集对目标检测算法进行微调，从而得到更高的安全性和鲁棒性。
结合图1所示，上述对抗样本的生成方法可以在服务器101侧通过如下步骤实现：
S1，在服务器103中获取一组样本图像和一组标签信息，其中，一组样本图像与一组标签信息具有一一对应关系，每个样本图像中包含目标分类的对象，标签信息包括目标分类的对象在样本图像中的第一实际区域、以及对抗图像在样本图像中的第二实际区域；
S2，在服务器103中根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像；
S3，在服务器103中将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本。
上述仅是一种示例，本实施例不做具体的限定。
可选地，作为一种可选的实施方式，如图2所示，上述对抗样本的生成方法包括：
S202，获取一组样本图像和一组标签信息，其中，一组样本图像与一组标签信息具有一一对应关系，每个样本图像中包含目标分类的对象，标签信息包括目标分类的对象在样本图像中的第一实际区域、以及对抗图像在样本图像中的第二实际区域；
S204，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，目标检测网络模型输出的检测结果是将训练图像输入到目标检测网络模型所得到的检测结果，训练图像是将对抗图像设置在样本图像中的第二实际区域所得到的图像，在对抗图像为目标对抗图像的情况下，目标检测网络模型输出的检测结果满足预设的损失条件；
S206，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本。
可选地，在本实施例中，上述对抗样本的生成方法的应用场景可以包括但不限于计算机视觉场景、自动驾驶场景、公共安全场景，具体可以包括但不限于教育领域相关场景、泛信息处理领域相关场景、医疗健康领域相关场景、工业制造领域相关场景、手机及互联网娱乐领域相关场景、零售领域相关场景、广告营销领域相关场景、交通出行领域相关场景、智能客服领域相关场景、智能家居领域相关场景等。
上述仅是一种示例，具体应用场景可以包括但不限于上述一种或者多种的组合，以及其他通过人工智能实现检测识别的场景中，本实施例不做任何具体的限定。
可选地，在本实施例中，上述一组样本图像可以包括但不限于根据不同的应用场景获取不同类型的样本图像，上述一组样本图像包括但不限于已标注的样本图像，以及，能够通过预设的算法完成标注的样本图像，其中，上述标注通过上述一组标签信息来表示。
可选地，在本实施例中，上述目标分类的对象可以包括但不限于根据不同的应用场景来灵活配置，例如，以上述对抗样本的生成方法应用于自动驾驶领域为例，上述目标分类的对象可以包括但不限于图片中车辆分类的对象，上述车辆的类型可以相同或者不同，换言之，在上述目标分类的对象为车辆分类的对象的情况下，上述每个样本对象中均包含车辆，但对于车辆的种类、颜色等细节部分不做任何限定。
可选地，在本实施例中，上述标签信息用于指示目标分类的对象在样本图像中的第一实际区域以及对抗图像在样本图像中的第二实际区域，其中，上述第一实际区域可以包括但不限于车辆bounding box的具体位置所包括的实际区域，上述第二实际区域可以包括但不限于上述对抗图像在样本图像中的实际位置所包括的区域。
例如，图3是根据本发明实施例的一种可选的对抗样本的生成方法的示意图，如图3所示，其中，以上述对抗样本的生成方法应用于自动驾驶领域为例，在执行上述对抗样本的生成方法的显示界面302中显示有上述目标分类的对象304(车辆)，以及第一实际区域306和第二实际区域308，上述第一实际区域306和上述第二实际区域308均是通过标注的标签信息得到的。
需要说明的是，图4是根据本发明实施例的另一种可选的对抗样本的生成方法的示意图，上述第一实际区域可以包括但不限于如图4所示，其中，上述第一实际区域通过在显示界面402中与对象406对应的边界框404表示，(x0，y0)用于表示边界框404的左上角坐标，(x1，y1)为边界框404的右下角坐标，则上述第一实际区域可以通过(x_c0，y_c0，x_c1，y_c1)表示。
上述仅是一种示例，本实施例不进行任何特殊的限定。
图5是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图，上述第二实际区域可以包括但不限于如图5所示，其中，上述第二实际区域通过在显示界面502中显示的边界框506表示，对抗图像设置在对象504上的区域508中，确定区域508的边界框506为上述第二实际区域，在外侧边界框的左上角坐标表示为(x0，y0)，右下角坐标表示为(x1，y1)的情况下，上述第二实际区域可以通过(x_p0，y_p0，x_p1，y_p1)表示。
上述仅是一种示例，本实施例不做任何特殊的限定。
可选地，在本实施例中，上述目标检测网络模型可以包括但不限于Proposal检测网络模型，包括但不限于：Faster R-CNN和R-FCN，或者，SSD检测网络模型，或者YOLO检测网络模型。其中，YOLO检测网络模型可以包括但不限于YOLOv1、YOLOv2、YOLOv3等检测网络模型。
上述仅是一种示例，具体可以包括但不限于上述一种或者多种的组合，本实施例不做任何特殊的限定。
可选地，在本实施例中，上述检测结果可以包括但不限于对抗图像是否能够被上述目标检测网络检测到，或者，可以包括但不限于目标分类的对象是否能够被上述目标检测网络检测到。
可选地，在本实施例中，上述像素点的像素值可以包括但不限于用于表示对抗图像中像素点的平均亮度信息，具体可以包括但不限于用于表示对抗图像的颜色、纹理等，上述像素值的取值包括但不限于在0至255之间。
上述仅是一种示例，本实施例不做任何特殊的限定。
可选地，在本实施例中，以应用场景为自动驾驶领域、目标分类为车辆分类为例，可以通过包括但不限于将上述对抗图像、上述目标对抗图像以及上述一组对抗样本均配置为贴纸的形式，对于以目标检测算法YOLOv3中的车辆检测为例，将生成的带噪声的对抗贴纸放置于车辆的引擎盖等位置，若检测器不能检测到该汽车或检测到车辆的位置出现偏移，则认为该检测算法在面对此类对抗样本时，存在安全隐患，通过两种方式利用该贴纸生成一批训练数据集。第一种为对于一批画面中存在汽车的图像数据，直接在汽车的引擎盖部分覆盖对抗贴纸；而第二种为直接将对抗贴纸打印出来，将其放置在车辆引擎盖上，并利用相机拍摄图像或视频。随后，利用该训练数据集对目标检测算法进行微调，从而得到具备更高安全性和鲁棒性的检测算法，以优化后续对目标分类的对象的检测。
可选地，在本实施例中，上述目标检测网络模型输出的检测结果满足预设的损失条件可以包括但不限于为上述目标检测网络配置预设的损失函数，在上述损失函数收敛的情况下，确定上述目标检测网络模型输出的检测结果满足预设的损失条件。
通过本实施例，采用获取一组样本图像和一组标签信息，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本的方式，通过将训练图像输入目标检测网络模型，在检测结果满足预设的损失条件的情况下，将目标对抗图像设置在样本图像中的第二实际区域中，达到了替代相关技术中通过在数字图像中添加噪声的目的，从而实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，包括：根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，所述分类置信度用于表示所述目标检测网络模型在所述训练图像中识别到的对象属于所述目标分类的概率，所述预测区域为所述目标检测网络模型在所述训练图像中识别到的对象在所述训练图像中的区域。
可选地，在本实施例中，上述分类置信度可以包括但不限于上述目标检测网络模型所识别到的对象的具体类别，以及上述对象为目标分类的置信度，可以通过包括但不限于根据置信度确定损失函数，以得到上述目标对抗图像。
例如，图6是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图，如图6所示，其中，训练图像602，包括对象604，预先设置上述目标分类为车辆，则上述置信度表示上述目标检测网络模型识别对象604的类别为车辆的概率，基于上述置信度对对抗图像中的像素点的像素值进行调整，得到目标对抗图像。
可选地，在本实施例中，上述输出的预测区域可以包括但不限于通过上述目标检测网络模型所检测到的目标对象在训练图像中的区域，上述目标检测网络模型所检测到的目标对象在训练图像中的区域与真实区域进行比较，以根据上述预测区域与真实区域的交叠程度确定与上述预测区域相关的损失函数，得到上述目标对抗图像。
例如，图7是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图，如图7所示，其中，训练图像702，包括对象704，以及对象704的预测区域706，真实区域708，获取上述预测区域706和真实区域708的交叠区域710基于上述交叠区域710的面积大小对对抗图像中的像素点的像素值进行调整，得到目标对抗图像。
通过本实施例，采用根据目标检测网络模型输出的分类置信度和/或输出的预测区域，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，以实现替代相关技术中通过在数字图像中添加噪声的目的，从而实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的分类置信度最小。
可选地，在本实施例中，可以通过包括但不限于根据置信度确定损失函数，以得到上述目标对抗图像。
上述损失函数可以被配置为如下内容：
Lcls＝det_cls((x+M(δ))，ycls)
其中，x表示输入的样本图像，δ表示上述目标对抗图像，M()表示上述第二实际区域，M(δ)表示的是将上述目标对抗图像设置于上述第二实际区域的结果，ycls表示目标的类别标签的索引值，det_cls表示所检测到的目标的类别为类别标签对应的类别的置信度值。
可选地，在本实施例中，上述目标检测网络模型输出的分类置信度最小可以包括但不限于在上述目标函数取最小值时，上述目标检测网络模型输出的分类置信度最小。
上述仅是一种示例，本实施例不做任何特殊的限定。
通过本实施例，采用根据目标检测网络模型输出的分类置信度，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，在对抗图像为目标对抗图像的情况下，目标检测网络模型输出的分类置信度最小的方式，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，根据目标检测网络模型输出的分类置信度，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，包括：
重复执行以下步骤，直到确定出目标检测网络模型输出的分类置信度最小，其中，在执行以下步骤时，对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，本轮的训练图像是将当前对抗图像设置在一组样本图像中的一个样本图像中的第二实际区域所得到的图像；
将本轮的训练图像输入到目标检测网络模型，得到目标检测网络模型本轮输出的分类置信度；
在本轮输出的分类置信度与目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像；
在本轮输出的分类置信度与上一轮输出的分类置信度之间的差值小于或等于第一预设阈值的情况下，确定出目标检测网络模型输出的分类置信度最小。
可选地，在本实施例中，上述第一预设阈值可以包括但不限于由系统随机设置，或者，由工作人员根据经验预先配置，上述第一预设阈值用于区分上述用于确定分类置信度的目标函数是否收敛。
例如，可选地，在本实施例中，可以通过包括但不限于使用arg min{}函数来表示使损失函数取最小值时的变量值，例如，argmin(Lcls)，并通过不断优化上述函数，以确定在本轮输出的分类置信度与上一轮输出的分类置信度之间的差值与上述第一预设阈值的比较关系。
需要说明的是，在本轮输出的分类置信度与目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，表示本轮的对抗图像不是上述目标对抗图像，需要对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的分类置信度与上一轮输出的分类置信度之间的差值小于或等于第一预设阈值的情况下，确定出目标检测网络模型输出的分类置信度最小，表示本轮的对抗图像是上述目标对抗图像，进而，能够将本轮的对抗图像确定为上述目标对象图像，以设置在一组样本图像中的第二实际区域，得到上述一组对抗样本。
通过本实施例，采用重复执行以下步骤，直到确定出目标检测网络模型输出的分类置信度最小：获取本轮的训练图像，将本轮的训练图像输入到目标检测网络模型，得到目标检测网络模型本轮输出的分类置信度，在本轮输出的分类置信度与目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的分类置信度与上一轮输出的分类置信度之间的差值小于或等于第一预设阈值的情况下，确定出目标检测网络模型输出的分类置信度最小，以将本轮的对抗图像确定为上述目标对象图像，通过设置在一组样本图像中的第二实际区域，得到上述一组对抗样本，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标检测网络模型输出的分类置信度最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，在本实施例中，可以通过包括但不限于求导的方式以确定上述目标函数的梯度下降信息，上述目标函数可以包括但不限于argmin(Lcls)，根据上述梯度下降信息对像素点的像素值进行调整，以不断优化上述目标函数，得到更新后的当前对抗图像。
可选地，在本实施例中，获取目标函数的梯度下降信息的方式可以包括但不限于利用Adam优化算法进行优化，并将梯度信息更新与上述当前对抗图像总的每一个像素点上，以实现对当前对抗图像中的像素点的像素值进行调整。
通过本实施例，采用获取目标函数的梯度下降信息，其中，目标函数用于在目标检测网络模型输出的分类置信度最小时获取当前对抗图像中的像素点的像素值；根据梯度下降信息，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，实现了对对抗样本的训练与更新，进而，能够提高对抗样本的鲁棒性，并且，能够提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述预测区域与所述第一实际区域之间的区域重叠度最小。
可选地，在本实施例中，可以通过包括但不限于根据重叠度确定损失函数，以得到上述目标对抗图像。
上述损失函数可以被配置为如下内容：
Lbbox＝IOU(det_bbox(x+M(δ))，ybbox)
其中，x表示输入的样本图像，δ表示上述目标对抗图像，M()表示上述第二实际区域，M(δ)表示的是将上述目标对抗图像设置于上述第二实际区域的结果，det_bbox表示所检测到的目标的边界框位置，ybbox表示样本图像中存在的目标的真实边界框位置，IOU表示YOLOv3网络对样本图像中存在的目标的预测区域和该目标的真实位置区域的交叠程度，具体计算方法可以包括但不限于预测区域和真实区域的交集除以预测区域和真实区域的并集。
可选地，在本实施例中，上述目标检测网络模型输出的预测区域与第一实际区域之间的区域重叠度最小可以包括但不限于在上述目标函数取最小值时，上述目标检测网络模型输出的预测区域与所述第一实际区域之间的区域重叠度最小。
上述仅是一种示例，本实施例不做任何特殊的限定。
通过本实施例，采用根据目标检测网络模型输出的预测区域，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，在对抗图像为目标对抗图像的情况下，预测区域与第一实际区域之间的区域重叠度最小的方式，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
重复执行以下步骤，直到确定出所述区域重叠度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域；
在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值大于第二预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；
在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值小于或等于所述第二预设阈值的情况下，确定出所述区域重叠度最小。
可选地，在本实施例中，上述第二预设阈值可以包括但不限于由系统随机设置，或者，由工作人员根据经验预先配置，上述第二预设阈值用于区分上述用于确定区域重叠度的目标函数是否收敛。
例如，可选地，在本实施例中，可以通过包括但不限于使用arg min{}函数来表示使损失函数取最小值时的变量值，例如，argmin(Lbbox)，并通过不断优化上述函数，以确定在本轮输出的区域重叠度与上一轮输出的区域重叠度之间的差值与上述第二预设阈值的比较关系。
需要说明的是，在本轮输出的区域重叠度与目标检测网络模型上一轮输出的区域重叠度之间的差值大于第二预设阈值的情况下，表示本轮的对抗图像不是上述目标对抗图像，需要对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的区域重叠度与上一轮输出的区域重叠度之间的差值小于或等于第二预设阈值的情况下，确定出目标检测网络模型输出的区域重叠度最小，表示本轮的对抗图像是上述目标对抗图像，进而，能够将本轮的对抗图像确定为上述目标对象图像，以设置在一组样本图像中的第二实际区域，得到上述一组对抗样本。
通过本实施例，采用重复执行以下步骤，直到确定出目标检测网络模型输出的区域重叠度最小：获取本轮的训练图像，将本轮的训练图像输入到目标检测网络模型，得到目标检测网络模型本轮输出的区域重叠度，在本轮输出的区域重叠度与目标检测网络模型上一轮输出的区域重叠度之间的差值大于第二预设阈值的情况下，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的区域重叠度与上一轮输出的区域重叠度之间的差值小于或等于第二预设阈值的情况下，确定出目标检测网络模型输出的区域重叠度最小，以将本轮的对抗图像确定为上述目标对象图像，通过设置在一组样本图像中的第二实际区域，得到上述一组对抗样本，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：
获取目标函数的梯度下降信息，其中，所述目标函数用于在所述区域重叠度最小时获取所述当前对抗图像中的像素点的像素值；
根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，在本实施例中，可以通过包括但不限于求导的方式以确定上述目标函数的梯度下降信息，上述目标函数可以包括但不限于argmin(Lcls)，根据上述梯度下降信息对像素点的像素值进行调整，以不断优化上述目标函数，得到更新后的当前对抗图像。
可选地，在本实施例中，获取目标函数的梯度下降信息的方式可以包括但不限于利用Adam优化算法进行优化，并将梯度信息更新与上述当前对抗图像总的每一个像素点上，以实现对当前对抗图像中的像素点的像素值进行调整。
通过本实施例，采用获取目标函数的梯度下降信息，其中，目标函数用于在目标检测网络模型输出的分类置信度最小时获取当前对抗图像中的像素点的像素值；根据梯度下降信息，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，实现了对对抗样本的训练与更新，进而，能够提高对抗样本的鲁棒性，并且，能够提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，目标取值最小，所述目标取值根据所述分类置信度以及所述预测区域与所述第一实际区域之间的区域重叠度确定得到。
可选地，在本实施例中，可以通过包括但不限于根据分类置信度和区域重叠度确定损失函数，以得到上述目标对抗图像。
上述损失函数可以被配置为如下内容：
Lcls＝det_cls((x+M(δ))，ycls)、
Lbbox＝IOU(det_bbox(x+M(δ))，ybbox)
其中，x表示输入的样本图像，δ表示上述目标对抗图像，M()表示上述第二实际区域，M(δ)表示的是将上述目标对抗图像设置于上述第二实际区域的结果，ycls表示目标的类别标签的索引值，det_cls表示所检测到的目标的类别为类别标签对应的类别的置信度值，det_bbox表示所检测到的目标的边界框位置，ybbox表示样本图像中存在的目标的真实边界框位置，IOU表示YOLOv3网络对样本图像中存在的目标的预测区域和该目标的真实位置区域的交叠程度，具体计算方法可以包括但不限于预测区域和真实区域的交集除以预测区域和真实区域的并集。
可选地，在本实施例中，上述目标检测网络模型输出的目标取值最小可以包括但不限于在上述目标函数取最小值时，上述目标检测网络模型的目标取值最小，上述目标取值可以包括但不限于以加权的方式根据分类置信度和区域重叠度得到。
例如，目标取值＝αLcls+βLbbox，其中，α+β的取值等于1。
上述仅是一种示例，本实施例不做任何特殊的限定。
通过本实施例，采用根据目标检测网络模型输出的分类置信度和输出的预测区域，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，在对抗图像为目标对抗图像的情况下，目标取值最小，目标取值根据分类置信度以及预测区域与第一实际区域之间的区域重叠度确定得到的方式，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
重复执行以下步骤，直到确定出所述目标取值最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域和本轮输出的分类置信度；
在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值大于第三预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述目标取值根据本轮输出的所述分类置信度以及所述本轮确定得到的所述区域重叠度确定得到，所述上一轮确定得到的所述目标取值根据上一轮输出的所述分类置信度以及所述上一轮确定得到的所述区域重叠度确定得到，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；
在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值小于或等于所述第三预设阈值的情况下，确定出所述目标取值最小。
可选地，在本实施例中，上述第三预设阈值可以包括但不限于由系统随机设置，或者，由工作人员根据经验预先配置，上述第三预设阈值用于区分上述用于确定目标取值的目标函数是否收敛。
例如，可以通过包括但不限于使用arg min{}函数来表示使损失函数取最小值时的变量值，例如，argmin(αLcls+βLbbox)，其中，α+β的取值等于1，并通过不断优化上述函数，以确定在本轮输出的目标取值与上一轮输出的目标取值之间的差值与上述第三预设阈值的比较关系。
需要说明的是，在本轮输出的目标取值与目标检测网络模型上一轮输出的目标取值之间的差值大于第三预设阈值的情况下，表示本轮的对抗图像不是上述目标对抗图像，需要对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的目标取值与上一轮输出的目标取值之间的差值小于或等于第三预设阈值的情况下，确定出目标检测网络模型输出的目标取值最小，表示本轮的对抗图像是上述目标对抗图像，进而，能够将本轮的对抗图像确定为上述目标对象图像，以设置在一组样本图像中的第二实际区域，得到上述一组对抗样本。
通过本实施例，采用重复执行以下步骤，直到确定出目标检测网络模型输出的目标取值最小：获取本轮的训练图像，将本轮的训练图像输入到目标检测网络模型，得到目标检测网络模型本轮输出的目标取值，在本轮输出的目标取值与目标检测网络模型上一轮输出的目标取值之间的差值大于第三预设阈值的情况下，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的目标取值与上一轮输出的目标取值之间的差值小于或等于第三预设阈值的情况下，确定出目标检测网络模型输出的目标取值最小，以将本轮的对抗图像确定为上述目标对象图像，通过设置在一组样本图像中的第二实际区域，得到上述一组对抗样本，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：
获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标取值最小时获取所述当前对抗图像中的像素点的像素值；
根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
可选地，在本实施例中，可以通过包括但不限于求导的方式以确定上述目标函数的梯度下降信息，上述目标函数可以包括但不限于argmin(Lcls)，根据上述梯度下降信息对像素点的像素值进行调整，以不断优化上述目标函数，得到更新后的当前对抗图像。
可选地，在本实施例中，获取目标函数的梯度下降信息的方式可以包括但不限于利用Adam优化算法进行优化，并将梯度信息更新与上述当前对抗图像总的每一个像素点上，以实现对当前对抗图像中的像素点的像素值进行调整。
通过本实施例，采用获取目标函数的梯度下降信息，其中，目标函数用于在目标检测网络模型输出的分类置信度最小时获取当前对抗图像中的像素点的像素值；根据梯度下降信息，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，实现了对对抗样本的训练与更新，进而，能够提高对抗样本的鲁棒性，并且，能够提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
作为一种可选的方案，所述根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，包括：
重复执行以下步骤，直到确定出目标取值最小，其中，所述目标取值根据所述目标检测网络模型输出的检测结果确定得到，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的检测结果；
在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值大于目标预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；
在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出所述目标取值最小。
可选地，在本实施例中，上述目标预设阈值可以包括但不限于由系统随机设置，或者，由工作人员根据经验预先配置，上述目标预设阈值用于区分上述用于确定目标取值的目标函数是否收敛。
例如，可以通过包括但不限于使用arg min{}函数来表示使损失函数取最小值时的变量值对应的目标函数，例如，argmin(αLcls+βLbbox)，其中，α+β的取值等于1，并通过不断优化上述函数，以确定在本轮输出的目标取值与上一轮输出的目标取值之间的差值与上述目标预设阈值的比较关系。
需要说明的是，在本轮输出的目标取值与目标检测网络模型上一轮输出的目标取值之间的差值大于目标预设阈值的情况下，表示本轮的对抗图像不是上述目标对抗图像，需要对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的目标取值与上一轮输出的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出目标检测网络模型输出的目标取值最小，表示本轮的对抗图像是上述目标对抗图像，进而，能够将本轮的对抗图像确定为上述目标对象图像，以设置在一组样本图像中的第二实际区域，得到上述一组对抗样本。
通过本实施例，采用重复执行以下步骤，直到确定出目标检测网络模型输出的目标取值最小：获取本轮的训练图像，将本轮的训练图像输入到目标检测网络模型，得到目标检测网络模型本轮输出的目标取值，在本轮输出的目标取值与目标检测网络模型上一轮输出的目标取值之间的差值大于目标预设阈值的情况下，对当前对抗图像中的像素点的像素值进行调整，得到更新后的当前对抗图像，在本轮输出的目标取值与上一轮输出的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出目标检测网络模型输出的目标取值最小，以将本轮的对抗图像确定为上述目标对象图像，通过设置在一组样本图像中的第二实际区域，得到上述一组对抗样本，实现了提高对抗样本的鲁棒性、提高深度学习技术的安全性的技术效果，进而解决了相关技术中存在的对抗样本的鲁棒性较差的技术问题。
下面结合具体的示例，对本发明进行进一步的解释说明：
本发明以车辆检测为例，提出了一种针对目标检测算法YOLOv3，生成物理世界中的对抗样本的方法。该方法生成一张带有对抗噪声的贴纸(对应于前述的对抗图像)，达到任何在指定位置贴有该贴纸的车辆(对应于前述的对象)，均不能被目标检测网络YOLOv3检测到的效果。所生成的对抗样本可用于验证目标检测算法的安全性，并且可作为对抗训练的数据集来进一步提高算法的抗干扰能力。图8是根据本发明实施例的又一种可选的对抗样本的生成方法的示意图，图8展示了对抗样本的生成流程，其中，共包括如下4个步骤：
S802，获取目标检测网络YOLOv3的网络结构和模型参数；
S804，获取一组训练样本，这组训练样本中至少包括带有车辆的图像作为输入数据和与之对应的标签值。该标签值包括图像中车辆bounding box的具体位置(x_c0，y_c0，x_c1，y_c1)以及粘贴贴纸的位置(x_p0，y_p0，x_p1，y_p1)。其中，(x0，y0)为边界框的左上角坐标，(x1，y1)为边界框的右下角坐标；
S806，用随机噪声初始化贴纸，对于训练样本中的每一个样本，迭代地进行如下操作，直至贴纸图像上的像素值不再发生变化：
其中，S806包括S8062，将训练样本输入到从步骤1中获取到的目标检测网络YOLOv3中，YOLO v3输出对输入样本的检测结果，包括det_bbox和det_cls两部分，其中，det_bbox代表所检测到的目标的边界框位置，具体由(x0，y0，x1，y1)表示，det_cls代表所检测到的目标的具体类别和分为该类别的置信度值；
S8064，利用S8062中得到的检测结果，计算损失值。损失值可分为分类置信度损失和边界框损失两部分组成。分类置信度损失的计算公式为：
Lcls＝det_cls((x+M(δ))，ycls)
其中，x表示输入样本，δ表示生成的带有对抗噪声的贴纸，M()为放置贴纸的区域，M(δ)表示的是将生成的带有对抗噪声的贴纸进行仿射变换并该区域的结果，ycls表示车辆的类别标签的索引值；
边界框损失的计算公式为：
Lbbox＝IOU(det_bbox(x+M(δ))，ybbox)
其中，x，δ和M()与上述公式所表达的含义相同，此外，ybbox表示输入图像中存在的目标的真实边界框位置，IOU表示YOLOv3网络对输入图像中存在的目标的预测区域和该目标的真实位置区域的交叠程度，具体计算方法为，预测区域和真实区域的交集除以预测区域和真实区域的并集；
S8066，根据S8064中得到的分类置信度损失Lcls和边界框损失Lbbox，确定在训练过程中需要优化的目标函数，特别地，由于不同的目标函数最终将生成效果不同的对抗样本，因此，本发明共构建了三种不同目标函数，具体如下：argmin(Lcls)，argmin(Lbbox)以及argmin(αLcls+βLbbox)，其中α+β＝1；
S8068，利用Adam优化算法优化目标函数，并将梯度信息更新于贴纸的每一个像素点上；
S808，当贴纸图像上的像素值不再发生变化，即loss值已经收敛时，就得到了具有愚弄效果的对抗贴纸。将该贴纸放置于车辆的指定位置时，就可以使得此车辆不被YOLOv3目标检测网络检测到。
在深度学习技术被越来越广泛地应用于与人们生活密切相关的情况下，诸如对抗样本等关乎深度学习的安全性问题也引起了广泛地研究。如何针对这些安全性问题，提高深度学习技术的安全性和鲁棒性是一个值得深究的问题和方向。通过本实施例，首先验证了只需要额外放置一张精心生成的贴纸，就可以逃逸目标检测网络YOLOv3的检测，进一步揭示了除了在数字图像上添加噪声，物理世界中的干扰也会对深度学习技术造成致命的影响。此外，本发明中方法所生成的对抗样本，也可作为训练数据集中的一部分，从而对模型进行对抗训练，从而进一步提升模型的安全性和抗干扰能力，对于之后提高深度学习技术的安全性可以起到积极的作用。
此外，上述对抗样本生成方法也可以针对除了车辆之外的其他目标和除了YOLOv3之外的其他目标检测网络。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述对抗样本的生成方法的对抗样本的生成装置。如图9所示，该装置包括：
获取模块902，用于获取一组样本图像和一组标签信息，其中，所述一组样本图像与所述一组标签信息具有一一对应关系，每个所述样本图像中包含目标分类的对象，所述标签信息包括所述目标分类的对象在所述样本图像中的第一实际区域、以及对抗图像在所述样本图像中的第二实际区域；
调整模块904，用于根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，所述目标检测网络模型输出的检测结果是将训练图像输入到所述目标检测网络模型所得到的检测结果，所述训练图像是将所述对抗图像设置在所述样本图像中的所述第二实际区域所得到的图像，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的检测结果满足预设的损失条件；
设置模块906，用于将所述目标对抗图像作为所述对抗图像设置在所述一组样本图像中的所述第二实际区域，得到一组对抗样本。
作为一种可选的方案，所述调整模块904，包括：
第一调整单元，用于根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，所述分类置信度用于表示所述目标检测网络模型在所述训练图像中识别到的对象属于所述目标分类的概率，所述预测区域为所述目标检测网络模型在所述训练图像中识别到的对象在所述训练图像中的区域。
作为一种可选的方案，所述第一调整单元，包括：第一调整子单元，用于根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的分类置信度最小。
作为一种可选的方案，所述第一调整子单元用于通过如下方式根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像：重复执行以下步骤，直到确定出所述目标检测网络模型输出的分类置信度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的分类置信度；在所述本轮输出的分类置信度与所述目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；在所述本轮输出的分类置信度与所述上一轮输出的分类置信度之间的差值小于或等于所述第一预设阈值的情况下，确定出所述目标检测网络模型输出的分类置信度最小。
作为一种可选的方案，所述第一调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标检测网络模型输出的分类置信度最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
作为一种可选的方案，所述第一调整单元，包括：第二调整子单元，用于根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述预测区域与所述第一实际区域之间的区域重叠度最小。
作为一种可选的方案，所述第二调整子单元用于通过如下方式根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像：重复执行以下步骤，直到确定出所述区域重叠度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域；在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值大于第二预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值小于或等于所述第二预设阈值的情况下，确定出所述区域重叠度最小。
作为一种可选的方案，所述第二调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述区域重叠度最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
作为一种可选的方案，所述第一调整单元，包括：第三调整子单元，用于根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，目标取值最小，所述目标取值根据所述分类置信度以及所述预测区域与所述第一实际区域之间的区域重叠度确定得到。
作为一种可选的方案，所述第三调整子单元用于通过如下方式根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：重复执行以下步骤，直到确定出所述目标取值最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域和本轮输出的分类置信度；在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值大于第三预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述目标取值根据本轮输出的所述分类置信度以及所述本轮确定得到的所述区域重叠度确定得到，所述上一轮确定得到的所述目标取值根据上一轮输出的所述分类置信度以及所述上一轮确定得到的所述区域重叠度确定得到，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值小于或等于所述第三预设阈值的情况下，确定出所述目标取值最小。
作为一种可选的方案，所述第三调整子单元用于通过如下方式对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像：获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标取值最小时获取所述当前对抗图像中的像素点的像素值；根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
作为一种可选的方案，所述调整模块904，包括：
第二调整单元，用于重复执行以下步骤，直到确定出目标取值最小，其中，所述目标取值根据所述目标检测网络模型输出的检测结果确定得到，在执行以下步骤时，所述对抗图像被视为当前对抗图像：获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的检测结果；在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值大于目标预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出所述目标取值最小。
根据本发明实施例的又一个方面，还提供了一种用于实施上述对抗样本的生成方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图10所示，该电子设备包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取一组样本图像和一组标签信息，其中，一组样本图像与一组标签信息具有一一对应关系，每个样本图像中包含目标分类的对象，标签信息包括目标分类的对象在样本图像中的第一实际区域、以及对抗图像在样本图像中的第二实际区域；
S2，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，目标检测网络模型输出的检测结果是将训练图像输入到目标检测网络模型所得到的检测结果，训练图像是将对抗图像设置在样本图像中的第二实际区域所得到的图像，在对抗图像为目标对抗图像的情况下，目标检测网络模型输出的检测结果满足预设的损失条件；
S3，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本。
可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。
其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的对抗样本的生成方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对抗样本的生成方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储对抗样本与样本图片等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述对抗样本的生成装置中的获取模块902、调整模块904以及设置模块906。此外，还可以包括但不限于上述对抗样本的生成装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器1008，用于显示上述对抗样本以及样本图片；和连接总线1010，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述对抗样本的生成方面的各种可选实现方式中提供的对抗样本的生成方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取一组样本图像和一组标签信息，其中，一组样本图像与一组标签信息具有一一对应关系，每个样本图像中包含目标分类的对象，标签信息包括目标分类的对象在样本图像中的第一实际区域、以及对抗图像在样本图像中的第二实际区域；
S2，根据目标检测网络模型输出的检测结果，对对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，目标检测网络模型输出的检测结果是将训练图像输入到目标检测网络模型所得到的检测结果，训练图像是将对抗图像设置在样本图像中的第二实际区域所得到的图像，在对抗图像为目标对抗图像的情况下，目标检测网络模型输出的检测结果满足预设的损失条件；
S3，将目标对抗图像作为对抗图像设置在一组样本图像中的第二实际区域，得到一组对抗样本。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种对抗样本的生成方法，其特征在于，包括：
获取一组样本图像和一组标签信息，其中，所述一组样本图像与所述一组标签信息具有一一对应关系，每个所述样本图像中包含目标分类的对象，所述标签信息包括所述目标分类的对象在所述样本图像中的第一实际区域、以及对抗图像在所述样本图像中的第二实际区域；
根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，所述目标检测网络模型输出的检测结果是将训练图像输入到所述目标检测网络模型所得到的检测结果，所述训练图像是将所述对抗图像设置在所述样本图像中的所述第二实际区域所得到的图像，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的检测结果满足预设的损失条件；
将所述目标对抗图像作为所述对抗图像设置在所述一组样本图像中的所述第二实际区域，得到一组对抗样本。
2.根据权利要求1所述的方法，其特征在于，所述根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，包括：
根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，所述分类置信度用于表示所述目标检测网络模型在所述训练图像中识别到的对象属于所述目标分类的概率，所述预测区域为所述目标检测网络模型在所述训练图像中识别到的对象在所述训练图像中的区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的分类置信度最小。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标检测网络模型输出的分类置信度，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
重复执行以下步骤，直到确定出所述目标检测网络模型输出的分类置信度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的分类置信度；
在所述本轮输出的分类置信度与所述目标检测网络模型上一轮输出的分类置信度之间的差值大于第一预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；
在所述本轮输出的分类置信度与所述上一轮输出的分类置信度之间的差值小于或等于所述第一预设阈值的情况下，确定出所述目标检测网络模型输出的分类置信度最小。
5.根据权利要求4所述的方法，其特征在于，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：
获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标检测网络模型输出的分类置信度最小时获取所述当前对抗图像中的像素点的像素值；
根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，所述预测区域与所述第一实际区域之间的区域重叠度最小。
7.根据权利要求6所述的方法，其特征在于，根据所述目标检测网络模型输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
重复执行以下步骤，直到确定出所述区域重叠度最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域；
在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值大于第二预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；
在所述本轮确定得到的所述区域重叠度与上一轮确定得到的所述区域重叠度之间的差值小于或等于所述第二预设阈值的情况下，确定出所述区域重叠度最小。
8.根据权利要求7所述的方法，其特征在于，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：
获取目标函数的梯度下降信息，其中，所述目标函数用于在所述区域重叠度最小时获取所述当前对抗图像中的像素点的像素值；
根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
9.根据权利要求2所述的方法，其特征在于，所述根据所述目标检测网络模型输出的分类置信度和/或输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，其中，在所述对抗图像为所述目标对抗图像的情况下，目标取值最小，所述目标取值根据所述分类置信度以及所述预测区域与所述第一实际区域之间的区域重叠度确定得到。
10.根据权利要求9所述的方法，其特征在于，根据所述目标检测网络模型输出的分类置信度和输出的预测区域，对所述对抗图像中的像素点的像素值进行调整，得到所述目标对抗图像，包括：
重复执行以下步骤，直到确定出所述目标取值最小，其中，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像，所述一个样本图像对应的标签信息中的所述第一实际区域为本轮实际区域；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的所述预测区域和本轮输出的分类置信度；
在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值大于第三预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，其中，所述本轮确定得到的所述目标取值根据本轮输出的所述分类置信度以及所述本轮确定得到的所述区域重叠度确定得到，所述上一轮确定得到的所述目标取值根据上一轮输出的所述分类置信度以及所述上一轮确定得到的所述区域重叠度确定得到，所述本轮确定得到的所述区域重叠度为：所述本轮输出的所述预测区域与所述本轮实际区域的交集除以所述本轮输出的所述预测区域与所述本轮实际区域的并集，所述上一轮确定得到的所述区域重叠度为：所述上一轮输出的所述预测区域与上一轮实际区域的交集除以所述上一轮输出的所述预测区域与所述上一轮实际区域的并集；
在所述本轮确定得到的所述目标取值与上一轮确定得到的所述目标取值之间的差值小于或等于所述第三预设阈值的情况下，确定出所述目标取值最小。
11.根据权利要求10所述的方法，其特征在于，所述对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像，包括：
获取目标函数的梯度下降信息，其中，所述目标函数用于在所述目标取值最小时获取所述当前对抗图像中的像素点的像素值；
根据所述梯度下降信息，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像。
12.根据权利要求1所述的方法，其特征在于，所述根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，包括：
重复执行以下步骤，直到确定出目标取值最小，其中，所述目标取值根据所述目标检测网络模型输出的检测结果确定得到，在执行以下步骤时，所述对抗图像被视为当前对抗图像：
获取本轮的训练图像，其中，所述本轮的训练图像是将所述当前对抗图像设置在所述一组样本图像中的一个样本图像中的所述第二实际区域所得到的图像；
将所述本轮的训练图像输入到所述目标检测网络模型，得到所述目标检测网络模型本轮输出的检测结果；
在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值大于目标预设阈值的情况下，对所述当前对抗图像中的像素点的像素值进行调整，得到更新后的所述当前对抗图像；
在所述本轮确定得到的目标取值与上一轮确定得到的目标取值之间的差值小于或等于目标预设阈值的情况下，确定出所述目标取值最小。
13.一种对抗样本的生成装置，其特征在于，包括：
获取模块，用于获取一组样本图像和一组标签信息，其中，所述一组样本图像与所述一组标签信息具有一一对应关系，每个所述样本图像中包含目标分类的对象，所述标签信息包括所述目标分类的对象在所述样本图像中的第一实际区域、以及对抗图像在所述样本图像中的第二实际区域；
调整模块，用于根据目标检测网络模型输出的检测结果，对所述对抗图像中的像素点的像素值进行调整，得到目标对抗图像，其中，所述目标检测网络模型输出的检测结果是将训练图像输入到所述目标检测网络模型所得到的检测结果，所述训练图像是将所述对抗图像设置在所述样本图像中的所述第二实际区域所得到的图像，在所述对抗图像为所述目标对抗图像的情况下，所述目标检测网络模型输出的检测结果满足预设的损失条件；
设置模块，用于将所述目标对抗图像作为所述对抗图像设置在所述一组样本图像中的所述第二实际区域，得到一组对抗样本。
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至12任一项中所述的方法。
15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
CN202011217968.1A 2020-11-04 2020-11-04 对抗样本的生成方法和装置、存储介质及电子设备 Pending CN113537267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217968.1A CN113537267A (zh) 2020-11-04 2020-11-04 对抗样本的生成方法和装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217968.1A CN113537267A (zh) 2020-11-04 2020-11-04 对抗样本的生成方法和装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113537267A true CN113537267A (zh) 2021-10-22

Family

ID=78094446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217968.1A Pending CN113537267A (zh) 2020-11-04 2020-11-04 对抗样本的生成方法和装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113537267A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937180A (zh) * 2022-03-30 2022-08-23 北京百度网讯科技有限公司 对抗样本的生成方法、装置及电子设备
CN114998657A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937180A (zh) * 2022-03-30 2022-08-23 北京百度网讯科技有限公司 对抗样本的生成方法、装置及电子设备
CN114998657A (zh) * 2022-06-17 2022-09-02 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置
CN114998657B (zh) * 2022-06-17 2024-04-05 北京百度网讯科技有限公司 一种用于生成添加干扰后的图像的方法和装置

Similar Documents

Publication Publication Date Title
Zhang et al. Empowering things with intelligence: a survey of the progress, challenges, and opportunities in artificial intelligence of things
US20220215259A1 (en) Neural network training method, data processing method, and related apparatus
US11651214B2 (en) Multimodal data learning method and device
CN111709497B (zh) 一种信息处理方法、装置及计算机可读存储介质
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
CN112419368A (zh) 运动目标的轨迹跟踪方法、装置、设备及存储介质
CN113011282A (zh) 图数据处理方法、装置、电子设备及计算机存储介质
CN113449700B (zh) 视频分类模型的训练、视频分类方法、装置、设备及介质
CN112418302A (zh) 一种任务预测方法及装置
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN113761250A (zh) 模型训练方法、商户分类方法及装置
CN113537267A (zh) 对抗样本的生成方法和装置、存储介质及电子设备
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
CN115131849A (zh) 图像生成方法以及相关设备
CN114239809A (zh) 一种面向设备多源异构数据识别检测方法
CN113657272B (zh) 一种基于缺失数据补全的微视频分类方法及系统
CN112633425B (zh) 图像分类方法和装置
CN115168609A (zh) 一种文本匹配方法、装置、计算机设备和存储介质
CN113568983A (zh) 场景图生成方法、装置、计算机可读介质及电子设备
CN112991501A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN110533749B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN113516735A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112749711A (zh) 视频获取方法和装置及存储介质
US20240168991A1 (en) Transformer-based object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055205

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination