CN115065504B - 面向目标检测模型的安全评估方法和系统、电子设备 - Google Patents

面向目标检测模型的安全评估方法和系统、电子设备 Download PDF

Info

Publication number
CN115065504B
CN115065504B CN202210531375.5A CN202210531375A CN115065504B CN 115065504 B CN115065504 B CN 115065504B CN 202210531375 A CN202210531375 A CN 202210531375A CN 115065504 B CN115065504 B CN 115065504B
Authority
CN
China
Prior art keywords
target
sample data
detection model
algorithm
security
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210531375.5A
Other languages
English (en)
Other versions
CN115065504A (zh
Inventor
刘庆同
薛子育
王磊
郭沛宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Original Assignee
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Radio And Television Science State Administration Of Radio And Television filed Critical Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority to CN202210531375.5A priority Critical patent/CN115065504B/zh
Publication of CN115065504A publication Critical patent/CN115065504A/zh
Application granted granted Critical
Publication of CN115065504B publication Critical patent/CN115065504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了面向目标检测模型的安全评估方法和系统、电子设备。该面向目标检测模型的安全评估方法包括：在安全评估算法库中的多个安全评估算法中确定目标安全评估算法；从样本数据库中加载原始样本数据及所述原始样本数据对应的标签，调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据；将所述对抗样本数据输入至目标检测模型，得到所述目标检测模型对所述对抗样本数据的预测结果；根据所述目标检测模型对所述对抗样本数据的预测结果和所述原始样本数据对应的标签确定所述目标检测模型的安全性。

Description

面向目标检测模型的安全评估方法和系统、电子设备
技术领域
本公开涉及人工智能技术，更具体地，涉及面向目标检测模型的安全评估方法和系统、电子设备。
背景技术
近年来，以深度学习为代表的人工智能技术正在迅速发展并深刻改变人类生产、生活的方方面面，其中，图像目标检测技术已经在很多产业领域都有广泛的应用，例如在机器人视觉、短视频内容审核、自动驾驶、基于内容的图像检索、智能视频监控和增强现实等领域。图像目标检测技术在提升相关产业领域运行效率等方面发挥了巨大价值，但同时也面临人工智能安全风险带来的安全威胁，可能导致被攻击的人工智能应用出现违规内容漏检、错检等安全问题。因此，有必要提出一种面对目标检测模型的安全评估方案。
发明内容
本公开的一个目的是提供一种面对目标检测模型的安全评估方案。
根据本公开的第一方面，提供一种面向目标检测模型的安全评估方法。该面向目标检测模型的安全评估方法包括：在安全评估算法库中的多个安全评估算法中确定目标安全评估算法；从样本数据库中加载原始样本数据及所述原始样本数据对应的标签，调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据；将所述对抗样本数据输入至目标检测模型，得到所述目标检测模型对所述对抗样本数据的预测结果；根据所述目标检测模型对所述对抗样本数据的预测结果和所述原始样本数据对应的标签确定所述目标检测模型的安全性。
根据本公开的第二方面，提供一种面向目标检测模型的安全评估系统。该面向目标检测模型的安全评估系统包括：原始样本数据加载模块、安全评估算法确定模块、安全评估任务处理模块和安全评估结果分析模块；所述原始样本数据加载模块，用于从样本数据库中加载原始样本数据及所述原始样本数据对应的标签；所述安全评估算法确定模块，用于在安全评估算法库中的多个安全评估算法中确定目标安全评估算法；所述安全评估任务处理模块，用于调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据，将所述对抗样本数据输入至目标检测模型，得到所述目标检测模型对所述对抗样本数据的预测结果；所述安全评估结果分析模块，用于根据所述目标检测模型对所述对抗样本数据的预测结果和所述原始样本数据对应的标签确定所述目标检测模型的安全性。
根据本公开的第三方面，提供一种电子设备。所述电子设备包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现本公开的第一方面的任意一项所述的面向目标检测模型的安全评估方法。
根据本公开实施例的面向目标检测模型的安全评估方法和系统、电子设备，使用对抗样本攻击作为安全评估手段，评估目标检测模型在攻击下的有效性。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
图1是本公开实施例的面向目标检测模型的安全评估方法的流程图；
图2是本公开实施例的面向目标检测模型的安全评估系统的框图；
图3是本公开实施例的电子设备的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
目标检测模型是确定某张给定图像中是否存在给定类别(比如人、车、自行车、狗和猫)的目标实例的算法，如果存在，就返回每个目标实例的空间位置和覆盖范围(比如返回一个边界框)和每个目标实例是给定类别的概率值。传统的目标检测方法一般分为三个阶段：首先在给定的图像上选择一些候选区域，然后对这些区域提取特征，最后使用分类器进行分类。
目标检测模型作为图像理解和计算机视觉的基础，目标检测构成了解决更复杂或更高层次的视觉任务的基础，如分割、场景理解、目标跟踪、图像定位、事件检测和活动识别。目标检测在人工智能和信息技术的许多领域都有广泛的应用，包括机器人视觉、短视频内容审核、自动驾驶、基于内容的图像检索、智能视频监控和增强现实等。
为了能够提升相关行业的安全性，本公开实施例提出了面对目标检测模型的安全评估方案。
参见图1所示，本公开实施例提供了一种面向目标检测模型的安全评估方法，包括步骤S202-S210。
步骤S202、从样本数据库中加载原始样本数据及原始样本数据对应的标签。
本公开实施例中，可以从开源的样本数据库中获取原始样本数据。原始样本数据是原始样本图像的数据。标签表明类别，原始样本数据对应的标签表明原始样本图像中存在与该标签对应的类别的目标实例。如果原始样本数据对应的标签为空，表明原始样本图像中不存在任一个给定类别的目标实例。
与之对应地，对抗样本数据是对抗样本图像的数据。对抗样本(adversarialsamples)图像是在原始样本图像中添加一些人眼无法察觉的噪音干扰(这样的噪音干扰不会影响人类的识别，但是却很容易愚弄模型)得到的样本图像，对抗样本图像可能使目标检测模型做出错误的判断。
步骤S204、在安全评估算法库中的多个安全评估算法中确定目标安全评估算法。
本公开实施例中，安全评估算法库中预先提供多个安全评估算法，并且每个安全评估算法都提供调用接口。用户可以通过调用接口调用与该调用接口对应的安全评估算法。
安全评估算法库中的多个安全评估算法至少包括白盒攻击算法和黑盒攻击算法。
白盒攻击算法需要完整获取目标检测模型，了解目标检测模型的结构以及每层的具体参数，并能够利用这些先验知识求解目标检测模型的梯度，基于模型的梯度信息去寻找如何改变原始样本数据(也就是生成对抗样本数据)，对目标检测模型的网络进行攻击，进而成功误导目标检测模型。
黑盒攻击算法是将目标检测模型当做一个黑盒来处理，对目标检测模型的内部细节不了解，攻击者仅能控制目标检测模型的输入。相比于白盒攻击算法，黑盒攻击算法的攻击条件更为宽松，不需要攻击者需要能够完全访问目标检测模型，更加贴近实际人工智能应用的运行环境。
在一个例子中，安全评估算法库中的多个安全评估算法至少包括：基于快速梯度下降法的白盒攻击算法、基于类边界查询访问的黑盒攻击算法、基于迁移性的黑盒攻击算法。
基于快速梯度下降法的白盒攻击算法，也就是快速梯度下降法(Fast GradientSign Method，FGSM)运行在白盒环境下，通过求出目标检测模型对输入的导数，然后用符号函数得到其具体的梯度方向，接着乘以一个扰动的步长系数，将得到的“扰动”加在原来的输入上就得到了对抗样本数据。
基于类边界查询访问的黑盒攻击算法是利用查询来获取目标检测模型的输出，通过连续变换的方法查询两个类别之间分类面的决策边界点，得到对抗样本图像。
对抗样本的迁移性(Transferability)现象是指针对一个模型生成的对抗样本，可以对于另外一些相似的模型也有一些攻击的效果。本公开实施例中，基于迁移性的黑盒攻击算法是针对主流的目标检测算法(Faster R-CNN、Mask R-CNN等算法)的开源模型，利用基于数据增强的攻击算法生成包含对抗样本的图像的算法。
在一个例子中，步骤S204可以包括步骤S302-S304。
步骤S302、获取目标检测模型的目标信息，目标检测模型的目标信息包括目标检测模型的结构信息和/或参数信息。
步骤S304、根据目标检测模型的目标信息和预设的映射关系，在安全评估算法库中的白盒安全评估算法中确定目标安全评估算法，映射关系表征目标检测模型的目标信息与白盒安全评估算法之间的对应关系。
本领域技术人员可以预先建立常见的目标检测模型的目标信息和白盒安全评估算法之间的映射关系。在获取到待评估的目标检测模型的目标信息后，通过预先建立的映射关系，就可以自动确定合适的白盒安全评估算法作为该待评估的目标检测模型的目标安全评估算法。
在一个例子中，如果没有获取待评估的目标检测模型的目标信息，或者获取待评估的目标检测模型的目标信息失败，则在安全评估算法库中的黑盒攻击算法中确定一种黑盒攻击算法作为目标安全评估算法。
在一个例子中，接收用户的第一指令，根据第一指令确定目标安全评估算法。也就是说，本公开实施例中，支持用户设置目标安全评估算法。
步骤S206、调用目标安全评估算法基于原始样本数据生成对抗样本数据。
在一个例子中，步骤S206可以包括步骤S402-S404。
步骤S402、在多种候选攻击类型中确定目标攻击类型。
本公开实施例中，多种候选攻击类型包括标签伪造、标签消失、标签错分类。
标签伪造是指原始样本数据对应的标签为空，其对应的干扰样本数据能够迷惑目标检测模型，使得目标检测模型可能输出干扰样本图像具有某种标签的错误预测结果。
标签消失是指原始样本图像具有某种标签，其对应的干扰样本数据能够迷惑目标检测模型，使得目标检测模型可能输出干扰样本图像不具有该种标签的错误预测结果。
标签错分类是指原始样本图像具有某种标签，其对应的干扰样本数据能够迷惑目标检测模型，使得目标检测模型可能输出干扰样本图像具有另一种标签的错误预测结果。
步骤S404、控制目标安全评估算法按照目标攻击类型，基于原始样本数据生成与目标攻击类型对应的对抗样本数据。
在一个例子中，接收用户的第二指令，根据第二指令在多种候选攻击类型中确定目标攻击类型。也就是说，本公开实施例中，支持用户设置目标攻击类型。
在一个例子中，将多种候选攻击类型以轮流方式设置为目标攻击类型。也就是说，在对一个目标检测模型进行安全评估时，轮流评估其面对标签伪造、标签消失、标签错分类这几种攻击类型的安全性能。
在一个例子中，步骤S206包括步骤S408。
步骤S408、控制目标安全评估算法以扰动强度系数递增或递减的方式，基于原始样本数据生成与不同扰动强度系数对应的多个对抗样本数据。
本公开实施例中，扰动强度系数对原始样本数据的修改程度。扰动强度系数越大，说明向原始样本数据中注入的噪音越大，得到的干扰样本数据和原始样本数据的差异性越大。对于基于快速梯度下降法的白盒攻击算法，扰动强度系数可以为扰动的步长系数，通过调整扰动的步长系数来生成多个对抗样本数据。
在一个例子中，接收用户的第三指令，根据第三指令设置扰动强度系数的范围。控制目标安全评估算法在该范围内以扰动强度系数递增或递减的方式，基于原始样本数据生成与不同扰动强度系数对应的多个对抗样本数据。例如，扰动强度系数的范围是21、22、23、24、25五个值，则在控制目标安全评估算法在该范围内以扰动强度系数递增的方式，基于原始样本数据生成5个对抗样本数据。通过这种方式，可以更为精确地测试出目标检测模型的抗攻击能力的边界。
在一个例子中，步骤S206包括步骤S410-S412。
步骤S410、确定当前的目标攻击类型。
步骤S412、控制目标安全评估算法当前的目标攻击类型下，基于原始样本数据生成与当前的目标攻击类型对应的、且对应于不同的扰动强度系数的多个对抗样本数据。
也就是说，对于任一种攻击类型，均可以采用不同的扰动强度系数生成多个对抗样本数据，来测试目标检测模型面对该种攻击类型的抗攻击能力的边界。
步骤S208、将对抗样本数据输入至目标检测模型，得到目标检测模型对对抗样本数据的预测结果。
步骤S210、根据目标检测模型对对抗样本数据的预测结果和原始样本数据对应的标签，确定目标检测模型的安全性。
在步骤S210中，统计目标检测模型对对抗样本数据的预测结果和原始样本数据对应的标签的差异，根据差异情况确定目标检测模型的安全性。目标检测模型对对抗样本数据的预测结果与原始样本数据的标签的不一致的情况越少，说明目标检测模型的安全有效性越高，反之则越低。
本公开实施例提供的面向目标检测模型的安全评估方法，可以使用对抗样本攻击作为安全评估手段，向目标检测算法的输入数据中添加利用攻击算法生成的细微的扰动，受干扰之后的数据输入导致人工智能算法以高置信度给出一个错误的输出或正确的输出，从而评估目标检测算法在不同攻击方法下的有效性。
本公开实施例提供的面向目标检测模型的安全评估方法，提出了利用对抗样本攻击对目标检测算法进行安全评估的全流程，不需要过多人为参与，提升了自动化效率。
本公开实施例提供的面向目标检测模型的安全评估方法，可以利用目标安全评估算法生成包含特定扰动方向的噪音数据并叠加在图像上，从对对目标检测算法进行标签消失、标签伪造、标签错分类三种攻击。
本公开实施例提供的面向目标检测模型的安全评估方法，可以设置扰动强度系数，实现在不同强度下扰动场景下的安全性测试。
参见图2所示，本公开实施例提供了一种面向目标检测模型的安全评估系统。该安全评估系统包括：原始样本数据加载模块、安全评估算法确定模块、安全评估任务处理模块和安全评估结果分析模块。
原始样本数据加载模块，用于从样本数据库中加载原始样本数据及原始样本数据对应的标签。
安全评估算法确定模块，用于在安全评估算法库中的多个安全评估算法中确定目标安全评估算法。
安全评估任务处理模块，用于调用目标安全评估算法基于原始样本数据生成对抗样本数据，将对抗样本数据输入至目标检测模型，得到目标检测模型对对抗样本数据的预测结果。
安全评估结果分析模块，用于根据目标检测模型对对抗样本数据的预测结果和原始样本数据对应的标签确定目标检测模型的安全性。
在一个例子中，安全评估算法确定模块包括第一子模块和第二子模块。
第一子模块，用于获取目标检测模型的目标信息，目标检测模型的目标信息包括目标检测模型的结构信息和/或参数信息。
第二子模块，用于根据目标检测模型的目标信息和预设的映射关系，在安全评估算法库中的白盒安全评估算法中确定目标安全评估算法，其中，映射关系表征目标检测模型的目标信息与白盒安全评估算法之间的对应关系。
在一个例子中，安全评估算法确定模块包括第一指令接收模块。
第一指令接收模块，用于接收用户的第一指令，根据第一指令确定目标安全评估算法。
在一个例子中，安全评估任务处理模块，包括第二指令接收模块以及第一任务执行模块。
第二指令接收模块，用于接收用户的第二指令，根据第二指令在多种候选攻击类型中确定目标攻击类型，多种候选攻击类型包括标签伪造、标签消失、标签错分类。
第一任务执行模块，用于控制目标安全评估算法按照目标攻击类型，基于原始样本数据生成与目标攻击类型对应的对抗样本数据。
在一个例子中，安全评估任务处理模块，包括第三指令接收模块以及第二任务执行模块。
第三指令接收模块，用于接收用户的第三指令，根据第三指令设置扰动强度系数的范围。
第二任务执行模块，用于控制目标安全评估算法在范围内以扰动强度系数递增的方式，基于原始样本数据生成与不同扰动强度系数对应的多个对抗样本数据，其中，扰动强度系数表征对原始样本数据的修改程度。
在本实施例中，还提供一种电子设备，用于实施本公开任意实施例的面向目标检测模型的安全评估方法。如图3所示，该电子设备5000还可以包括处理器5200和存储器5100，存储器5100用于存储计算机程序，处理器5200用于执行计算机程序，以实现本公开任意实施例的面向目标检测模型的安全评估方法。
在本实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质存储有可被计算机读取并运行的计算机程序，计算机程序用于在被计算机读取运行时，执行如本公开任意实施例的面向目标检测模型的安全评估方法。
在本实施例中，还提供一种芯片，该芯片包括处理器和存储器，该存储器用于存储计算机程序，该处理器用于执行计算机程序，以实现本公开任意实施例的面向目标检测模型的安全评估方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于安全评估系统、电子设备、计算机可读存储介质、芯片实施例而言，其相关之处参见方法实施例的部分说明即可。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (11)

1.一种面向目标检测模型的安全评估方法，其特征在于，包括：
获取目标检测模型的目标信息，所述目标检测模型的目标信息包括所述目标检测模型的结构信息和/或参数信息；
根据所述目标检测模型的目标信息，在安全评估算法库中的多个安全评估算法中确定目标安全评估算法；
从样本数据库中加载原始样本数据及所述原始样本数据对应的标签，调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据；
将所述对抗样本数据输入至目标检测模型，得到所述目标检测模型对所述对抗样本数据的预测结果；
统计所述目标检测模型对所述对抗样本数据的预测结果和所述原始样本数据对应的标签的差异，根据所述差异情况确定所述目标检测模型的安全性。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标检测模型的目标信息，在安全评估算法库中的多个安全评估算法中确定目标安全评估算法，包括：
根据所述目标检测模型的目标信息和预设的映射关系，在安全评估算法库中的白盒安全评估算法中确定目标安全评估算法，其中，所述映射关系表征所述目标检测模型的目标信息与所述白盒安全评估算法之间的对应关系。
3.根据权利要求1所述的方法，其特征在于，安全评估算法库中的多个安全评估算法至少包括：基于快速梯度下降法的白盒攻击算法、基于类边界查询访问的黑盒攻击算法、基于迁移性的黑盒攻击算法。
4.根据权利要求1所述的方法，其特征在于，所述调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据，包括：
在多种候选攻击类型中确定目标攻击类型，所述多种候选攻击类型包括标签伪造、标签消失、标签错分类；
控制所述目标安全评估算法按照所述目标攻击类型，基于所述原始样本数据生成与所述目标攻击类型对应的对抗样本数据。
5.根据权利要求1所述的方法，其特征在于，所述调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据，包括：
控制所述目标安全评估算法以扰动强度系数递增的方式，基于所述原始样本数据生成与不同扰动强度系数对应的多个对抗样本数据，其中，所述扰动强度系数表征对所述原始样本数据的修改程度。
6.一种面向目标检测模型的安全评估系统，其特征在于，包括：原始样本数据加载模块、安全评估算法确定模块、安全评估任务处理模块和安全评估结果分析模块；
所述原始样本数据加载模块，用于从样本数据库中加载原始样本数据及所述原始样本数据对应的标签；
所述安全评估算法确定模块，用于获取目标检测模型的目标信息，所述目标检测模型的目标信息包括所述目标检测模型的结构信息和/或参数信息；根据所述目标检测模型的目标信息，在安全评估算法库中的多个安全评估算法中确定目标安全评估算法；
所述安全评估任务处理模块，用于调用所述目标安全评估算法基于所述原始样本数据生成对抗样本数据，将所述对抗样本数据输入至目标检测模型，得到所述目标检测模型对所述对抗样本数据的预测结果；
所述安全评估结果分析模块，用于统计所述目标检测模型对所述对抗样本数据的预测结果和所述原始样本数据对应的标签的差异，根据所述差异情况确定所述目标检测模型的安全性。
7.根据权利要求6所述的系统，其特征在于，所述安全评估算法确定模块包括第一子模块和第二子模块；
所述第一子模块，用于获取所述目标检测模型的目标信息，所述目标检测模型的目标信息包括所述目标检测模型的结构信息和/或参数信息；
所述第二子模块，用于根据所述目标检测模型的目标信息和预设的映射关系，在安全评估算法库中的白盒安全评估算法中确定目标安全评估算法，其中，所述映射关系表征所述目标检测模型的目标信息与所述白盒安全评估算法之间的对应关系。
8.根据权利要求6所述的系统，其特征在于，所述安全评估算法确定模块包括第一指令接收模块；
所述第一指令接收模块，用于接收用户的第一指令，根据所述第一指令确定目标安全评估算法。
9.根据权利要求6所述的系统，其特征在于，所述安全评估任务处理模块，包括第二指令接收模块以及第一任务执行模块；
所述第二指令接收模块，用于接收用户的第二指令，根据所述第二指令在多种候选攻击类型中确定目标攻击类型，所述多种候选攻击类型包括标签伪造、标签消失、标签错分类；
所述第一任务执行模块，用于控制所述目标安全评估算法按照所述目标攻击类型，基于所述原始样本数据生成与所述目标攻击类型对应的对抗样本数据。
10.根据权利要求6所述的系统，其特征在于，所述安全评估任务处理模块，包括第三指令接收模块以及第二任务执行模块；
所述第三指令接收模块，用于接收用户的第三指令，根据所述第三指令设置扰动强度系数的范围；
所述第二任务执行模块，用于控制所述目标安全评估算法在所述范围内以扰动强度系数递增的方式，基于所述原始样本数据生成与不同扰动强度系数对应的多个对抗样本数据，其中，所述扰动强度系数表征对所述原始样本数据的修改程度。
11.一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现权利要求1-5中任意一项所述的面向目标检测模型的安全评估方法。
CN202210531375.5A 2022-05-16 2022-05-16 面向目标检测模型的安全评估方法和系统、电子设备 Active CN115065504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531375.5A CN115065504B (zh) 2022-05-16 2022-05-16 面向目标检测模型的安全评估方法和系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531375.5A CN115065504B (zh) 2022-05-16 2022-05-16 面向目标检测模型的安全评估方法和系统、电子设备

Publications (2)

Publication Number Publication Date
CN115065504A CN115065504A (zh) 2022-09-16
CN115065504B true CN115065504B (zh) 2024-04-09

Family

ID=83199396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531375.5A Active CN115065504B (zh) 2022-05-16 2022-05-16 面向目标检测模型的安全评估方法和系统、电子设备

Country Status (1)

Country Link
CN (1) CN115065504B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163376A (zh) * 2018-06-04 2019-08-23 腾讯科技（深圳）有限公司 样本检测方法、媒体对象的识别方法、装置、终端及介质
CN110443367A (zh) * 2019-07-30 2019-11-12 电子科技大学 一种增强神经网络模型鲁棒性能的方法
CN111401445A (zh) * 2020-03-16 2020-07-10 腾讯科技（深圳）有限公司 一种图像识别模型的训练方法、图像识别的方法及装置
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备
CN111949993A (zh) * 2020-08-18 2020-11-17 北京瑞莱智慧科技有限公司 模型安全性评估方法、介质、装置和计算设备
CN113361582A (zh) * 2021-06-01 2021-09-07 珠海大横琴科技发展有限公司 一种对抗样本的生成方法和装置
CN113989548A (zh) * 2021-10-20 2022-01-28 平安银行股份有限公司 证件分类模型训练方法、装置、电子设备及存储介质
CN114139155A (zh) * 2021-11-30 2022-03-04 云南大学 一种恶意软件检测模型及其增强对抗样本的生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220100867A1 (en) * 2020-09-30 2022-03-31 International Business Machines Corporation Automated evaluation of machine learning models

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163376A (zh) * 2018-06-04 2019-08-23 腾讯科技（深圳）有限公司 样本检测方法、媒体对象的识别方法、装置、终端及介质
CN110443367A (zh) * 2019-07-30 2019-11-12 电子科技大学 一种增强神经网络模型鲁棒性能的方法
CN111401445A (zh) * 2020-03-16 2020-07-10 腾讯科技（深圳）有限公司 一种图像识别模型的训练方法、图像识别的方法及装置
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111949993A (zh) * 2020-08-18 2020-11-17 北京瑞莱智慧科技有限公司 模型安全性评估方法、介质、装置和计算设备
CN111930634A (zh) * 2020-09-09 2020-11-13 北京瑞莱智慧科技有限公司 模型处理方法、装置、介质和计算设备
CN113361582A (zh) * 2021-06-01 2021-09-07 珠海大横琴科技发展有限公司 一种对抗样本的生成方法和装置
CN113989548A (zh) * 2021-10-20 2022-01-28 平安银行股份有限公司 证件分类模型训练方法、装置、电子设备及存储介质
CN114139155A (zh) * 2021-11-30 2022-03-04 云南大学 一种恶意软件检测模型及其增强对抗样本的生成方法

Also Published As

Publication number Publication date
CN115065504A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN112541520A (zh) 用于为神经网络生成反事实数据样本的设备和方法
US20200234184A1 (en) Adversarial treatment to machine learning model adversary
CN111783812B (zh) 违禁图像识别方法、装置和计算机可读存储介质
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
Gulghane et al. A survey on intrusion detection system using machine learning algorithms
EP3767534A1 (en) Device and method for evaluating a saliency map determiner
CN115065504B (zh) 面向目标检测模型的安全评估方法和系统、电子设备
CN112800666A (zh) 日志行为分析的训练方法、身份安全风险预测方法
US20230260259A1 (en) Method and device for training a neural network
US20230031755A1 (en) Generative adversarial network for processing and generating images and label maps
CN111950582A (zh) 为分类模型确定扰动掩模
Echeberria-Barrio et al. Deep learning defenses against adversarial examples for dynamic risk assessment
US20230376752A1 (en) A Method of Training a Submodule and Preventing Capture of an AI Module
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
US20210209203A1 (en) Methods and systems for protecting digital content against artificial intelligence-based unauthorized manipulation of the digital content
Olga et al. Big data analysis methods based on machine learning to ensure information security
Cui et al. A cutting-edge video anomaly detection method using image quality assessment and attention mechanism-based deep learning
Sreerag et al. Reinforce NIDS using GAN to detect U2R and R2L attacks
Mishra et al. A Review of Machine Learning-based Intrusion Detection System
Xiao et al. LIDA‐YOLO: An unsupervised low‐illumination object detection based on domain adaptation
CN117746348B (zh) 一种非法运营车辆的识别方法、装置、电子设备及介质
Celik Iris recognition—selecting a fuzzy region of interest in standard eye images
WO2024115580A1 (en) A method of assessing inputs fed to an ai model and a framework thereof
Huang et al. Predicting Pedestrian Counts for Crossing Scenario Based on Fused Infrared‐Visual Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant