CN116468977B - 一种视觉检测模型的对抗鲁棒性评估方法及装置 - Google Patents
一种视觉检测模型的对抗鲁棒性评估方法及装置 Download PDFInfo
- Publication number
- CN116468977B CN116468977B CN202310723878.7A CN202310723878A CN116468977B CN 116468977 B CN116468977 B CN 116468977B CN 202310723878 A CN202310723878 A CN 202310723878A CN 116468977 B CN116468977 B CN 116468977B
- Authority
- CN
- China
- Prior art keywords
- sample
- data set
- challenge
- elements
- countermeasure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 230000008485 antagonism Effects 0.000 title abstract description 16
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000005520 cutting process Methods 0.000 claims description 20
- 238000011179 visual inspection Methods 0.000 claims description 17
- 230000001965 increasing effect Effects 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 230000002401 inhibitory effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 19
- 238000013508 migration Methods 0.000 description 15
- 230000005012 migration Effects 0.000 description 14
- 238000011160 research Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种视觉检测模型的对抗鲁棒性评估方法及装置，涉及计算机视觉技术领域。包括：获取待评估的视觉检测模型；采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集；根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。本发明通过抑制与检测相关的关键特征元素，借助数据增强方式，放大候选的物体相关的特征元素，产生消失与创造攻击的效果，生成的对抗样本具有较高的对抗迁移性，能够有效的应用到未知模型的对抗鲁棒性评测之中。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种视觉检测模型的对抗鲁棒性评估方法及装置。
背景技术
近年来，在图像与语音识别、自然语言处理以及机器人领域，深度学习模型以其优异的性能，取得了瞩目的成果，极大的推动了如自动驾驶、医疗诊断以及救援等应用领域的发展。然而，深度学习模型在面对精心制作的对抗样本时表现的脆弱性，引起了人们的担忧与关注。因此，对抗样本在提前获悉模型内部潜在缺陷以及改进其对抗鲁棒性起了至关重要的作用，对抗攻击的结果能够很好的评估模型的对抗鲁棒性。
根据攻击者能够获得的信息量，生成对抗样本的方式分为两：白盒攻击与黑盒攻击。在黑盒对抗攻击中，攻击者不能获得全面的模型结构与参数信息，使得其更具挑战与现实意义。一种黑盒对抗攻击方式，是通过查询数据的方式来估计梯度信息，从而实现攻击。然而，在现实中，查询次数受到服务提供者的限制，难以获得足够的信息估计梯度。所以，更高效的基于替代者模型的黑盒对抗攻击方法被提出，通过将在特定本地模型上进行白盒攻击生成对抗样本直接迁移到目标模型，实现攻击效果。
使用传统的白盒对抗攻击方式生成的对抗样本容易出现过拟合于本地模型的现象，难以迁移到其他模型。因此，一些基于输入变换、梯度优化以及多模型集成的方法陆续被提出。除了直接攻击模型的输出，攻击模型的中间层特征的方式展示了更大的潜力。
然而，这些迁移性对抗攻击研究工作主要集中在视觉分类器上，缺乏针对视觉检测器模型的设计与评估。相较于视觉分类器模型，检测器通常具有更加复杂的模型结构。一个检测器可以被分为三个组件：backbone、neck与head。Backbone在提取特征的过程中起到关键作用，neck往往进行特征融合来获得更好的表征以及更好的检测器性能，head用来预测物体类别以及位置。不同检测器之间的结构差异，也为迁移性对抗攻击带来了挑战。
针对模型中间层的对抗攻击具有极佳的对抗迁移性，这种迁移性在现实场景中评估模型的对抗鲁棒性情况带来极大的便利。只需要事先针对某一合适的本地模型，生成对抗样本数据集，即可方便的评测新的检测器对抗鲁棒性情况。
为了更好的评价未知检测器的对抗鲁棒性情况，需要设计特定的对抗攻击算法，制作高可迁移性的对抗样本。首先，可迁移性对抗扰动方法 (Transferable AdversarialPerturbations，TAP)与神经表征失真方法(Neural Representation Distortion Method，NRDM)被提出，TAP与NRDM通过最大化干净样本与对抗样本特征之间的二范数距离来实现攻击。
特征破坏攻击(Feature Disruptive Attack，FDA)则进一步将模型特征元素按照通道均值分为两部分，分别放大与抑制反对与支持当前结果的部分，从而实现对抗攻击。TAP、NRDM与FDA都利用干净样本的特征作为监督都信号生成对抗样本，给特征中的每个元素相同的重要性，这种设置不能有效的提升对抗样本迁移性。
特征重要性感知攻击(Feature Importance-aware Attack，FIA)引入标签信息去提取特征的聚合梯度。这些梯度信息从多个随机掩膜的图像中获得，能够很好的表征物体相关的关键特征元素。随机分块攻击(Random Patch Attack，RPA)，改进了FIA方法的数据增强方式，将图像分片后，随机选取某些片，对片内的像素进行数值放缩操作，进一步提高了聚合得到的梯度准确性。基于神经元属性攻击(Neuron Attribution-based Attack，NAA)考虑到梯度饱和的问题，采用路径积分的方式，进一步提高对抗样本在分类器的对抗迁移性。
由于检测器模型结构的复杂度提高，不同检测器模型之间的差异增大，为对抗样本的迁移性带来挑战。以NRDM与FDA为代表的对抗攻击方法，由于缺乏对对抗样本特征的重要性衡量，迁移性较差。而以FIA、RPA与NAA为代表的聚合梯度方法，一方面聚合得到的梯度容易过拟合于检测器模型的neck与head结构，导致差的迁移性效果，另一方面，在获得聚合梯度的过程中需要对本地模型进行多次前传与梯度回传，极大的增加硬件设备的开销，降低了对抗样本的生成效率。
白盒攻击需要获得目标模型的参数和结构等信息，采用这种方式评估对抗鲁棒性需要针对每一个待评测模型生成一组对抗样本，开销较大且缺乏现实可行性。基于替代者模型的黑盒攻击，只需要在本地模型生成一组对抗样本，借助对抗样本的高可迁移性，即可方便快捷的实现模型对抗鲁棒性的评估。本发明的方法深度挖掘了不同视觉检测器的相似特点，在特征层面设计双向特征失真攻击，旨在解决以下问题：
在本地模型上生成的对抗样本迁移性较差：
传统的白盒对抗攻击方法产生的对抗样本，由于过拟合于本地模型的结构与参数，难以迁移到其他结构的模型之上。本发明提出特征双向失真攻击，针对检测器模型，生成高迁移性的对抗样本。
主流方法主要集中在分类器模型，对于检测器模型研究较少：
因为分类器模型结构简单，测试方便，能够加速对抗样本的研究工作，主流的方法都采用分类器模型。然而，分类器现实应用远不如检测器模型。在任务难度上、模型结构复杂度上，检测器模型都远高于分类器模型。在特征空间上，一些分类器的特征先验无法很好迁移至检测器上，致使简单的将分类器模型对抗攻击方法应用到检测器中不能获得较好的对抗迁移性。本发明的方法挖掘检测器特征空间存在的一些规律，设计对抗攻击算法，高效简单的获得高迁移性的对抗样本，为未知模型的对抗鲁棒性带来更精准全面的评测。
现有方法在检测器上迁移性效果较差，生成对抗样本硬件开销较大，时间较长：
现有的工作NRDM与FDA由于缺乏考虑检测器模型特有的特征特点，对检测器的对抗攻击效果不佳，生成的对抗样本迁移性较差。基于聚合梯度的一类方法，如FIA、NAA与RPA，需要反复前传与回传获得梯度信息，在检测器模型上生成对抗样本的运行效率不佳，对显卡内存要求较高，也难以在多种本地检测器模型上生成对抗迁移性较高的对抗样本。
发明内容
本发明针对现有对抗样本迁移性较差、主流方法主要集中在分类器模型，对于检测器模型研究较少以及生成对抗样本硬件开销较大，时间较长的问题，提出了本发明。
为解决上述技术问题，本发明提供如下技术方案：
一方面，本发明提供了一种视觉检测模型的对抗鲁棒性评估方法，该方法由电子设备实现，该方法包括：
S1、获取待评估的视觉检测模型。
S2、采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集。
S3、根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。
可选地，S2中的采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集，包括：
S21、选取视觉检测模型的关键特征元素。
S22、根据给定的本地检测器模型以及关键特征元素设计损失函数，生成对抗样本数据集。
S23、对对抗样本数据集进行数据增强，生成增强后的对抗样本数据集。
可选地，S21中的选取视觉检测模型的关键特征元素，包括：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标。
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素。
可选地，S22中的根据给定的本地检测器模型以及关键特征元素设计损失函数，生成对抗样本数据集，包括：
根据给定的本地检测器模型的干净样本的特征以及关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集。
可选地，生成干净样本的特征对应的对抗样本的特征，如下式（1）所示：
（1）
其中，为对抗样本，/>为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，x为干净样本，/>，/>为/>范数约束扰动范围。
可选地，增加干净样本的特征与对应的对抗样本的特征之间的距离，如下式（2）所示：
（2）
其中，S为特征的阶段数量，Ni为第i个阶段的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本。
可选地，将损失函数乘以定值k，如下式（3）所示：
（3）
其中，S为特征的阶段数量，Ni为第i层特征的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本，k＞1。
可选地，S23中的对对抗样本数据集进行数据增强，生成增强后的对抗样本数据集，包括：
对对抗样本数据集采用随机放缩以及随机在边界添加0元素进行数据增强，生成增强后的对抗样本数据集。
另一方面，本发明提供了一种视觉检测模型的对抗鲁棒性评估装置，该装置应用于实现视觉检测模型的对抗鲁棒性评估方法，该装置包括：
获取模块，用于获取待评估的视觉检测模型。
生成模块，用于采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集。
输出模块，用于根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。
可选地，生成模块，进一步用于：
S21、选取视觉检测模型的关键特征元素。
S22、根据给定的本地检测器模型以及关键特征元素设计损失函数，生成对抗样本数据集。
S23、对对抗样本数据集进行数据增强，生成增强后的对抗样本数据集。
可选地，生成模块，进一步用于：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标。
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素。
可选地，生成模块，进一步用于：
根据给定的本地检测器模型的干净样本的特征以及关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集。
可选地，生成干净样本的特征对应的对抗样本的特征，如下式（1）所示：
（1）
其中，为对抗样本，/>为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，x为干净样本，/>，/>为/>范数约束扰动范围。
可选地，增加干净样本的特征与对应的对抗样本的特征之间的距离，如下式（2）所示：
（2）
其中，S为特征的阶段数量，Ni为第i个阶段的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本。
可选地，将损失函数乘以定值k，如下式（3）所示：
（3）
其中，S为特征的阶段数量，Ni为第i层特征的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本，k＞1。
可选地，生成模块，进一步用于：
对对抗样本数据集采用随机放缩以及随机在边界添加0元素进行数据增强，生成增强后的对抗样本数据集。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述视觉检测模型的对抗鲁棒性评估方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述视觉检测模型的对抗鲁棒性评估方法。
上述技术方案，与现有技术相比至少具有如下有益效果：
上述方案，提升了视觉检测器模型之间的对抗样本迁移性，本发明的BFDA对抗攻击方法，通过抑制检测器模型特征的关键元素，放大具有更多语义信息的候选物体相关特征元素，实现特征双向失真对抗攻击，能够简单高效的生成具有高对抗迁移性的对抗样本。
弥补了视觉检测器对抗迁移性研究的空缺，已有方法包括NRDM、FDA、FIA、NAA与RPA尽管能够取得较好的迁移性效果，但这些方法主要集中在分类器模型上，难以直接迁移到检测器模型取得较好的对抗迁移性效果。本发明的方法，针对检测器特征由少部分关键元素决定的特性，设计特定的损失函数，再检测器上取得最优的对抗迁移性效果，弥补了这一部分研究。
提供了更全面准确的视觉检测器对抗鲁棒性评估，使用本发明BFDA攻击方法生成的对抗样本，能够在多种结构的检测器模型上取得较好的对抗迁移性效果，在针对新的检测器模型，本发明生成的对抗样本数据集能够更全面准确的进行对抗鲁棒性的评测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视觉检测模型的对抗鲁棒性评估方法流程示意图；
图2是本发明实施例提供的干净样本与对抗样本对应位置特征元素数值大小关系示意图；
图3是本发明实施例提供的原始图像（第一行）与DIM增强版本图像（第二行）的特征的某些通道可视化结果图；
图4是本发明实施例提供的视觉检测模型的对抗鲁棒性评估装置框图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种视觉检测模型的对抗鲁棒性评估方法，该方法可以由电子设备实现。如图1所示的视觉检测模型的对抗鲁棒性评估方法流程图，该方法的处理流程可以包括如下的步骤：
S1、获取待评估的视觉检测模型。
S2、采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集。
可选地，上述步骤S2可以包括如下步骤S21-S23：
S21、选取视觉检测模型的关键特征元素。
可选地，上述步骤S21可以包括如下步骤S211-S212：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标。
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素。
一种可行的实施方式中，表1为特征剪裁保留实验结果，其中：“原始”表示对检测器backbone（主干网络）特征不进行任何操作得到的mAP（mean Average Precision，平均精度均值）指标；“剪裁”指的是将特征中关键元素剪裁置为0后测试得到的mAP结果；“保留”指的是只保留backbone的关键元素，将其他所有特征元素置为0所测得的mAP指标。这里，关键元素被定义为，剪裁后mAP低于0.100，保留操作mAP损失不超过原始mAP指标的3%。所有的mAP在VOC2012的训练测试集随机抽取的5000张图片上进行测试的。
表1
由表1可以发现，测试的8种检测器，其特征的关键元素占全部特征元素很小的一部分，不超过30%，而其对检测任务起到主要作用。本发明的方法就是针对这些元素，设计损失函数隐式抑制它们，从而起到类似消失攻击的效果。检测器模型的特征通常使用少量数值较大的元素来表征当前输入图像的物体信息，由此，借助特定的数据增强方式，本发明可以筛选出更具语义的特征点，通过放大它们的数值，使得生成的对抗样本更具有语义特点，从而带来更多的迁移性。
S22、根据给定的本地检测器模型以及关键特征元素设计损失函数，生成对抗样本数据集。
可选地，上述步骤S22可以是：
根据给定的本地检测器模型的干净样本的特征以及关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集。
一种可行的实施方式中，给定一个本地检测器模型DS，数据集X，对于每张图像，本发明目的是生成其对应的对抗样本/>，使得生成的对抗样本数据集/>，能够很好的迁移到N个目标模型上/>。
可以用下面的公式（1）表达优化问题：
（1）
其中，是生成对抗样本的损失函数，通常使用/>范数来衡量x与/>的距离，本发明的方法里，/>以及 />。
在进行对抗攻击之前，对抗样本通常被初始化为：
（2）
其中，，/>为/>范数约束扰动范围。
于是，可以得到下面的式子：
（3）
其中，为第i个stage第j个/>的backbone提取的特征元素。因为检测器模型通常均匀分布的随机噪声有一定的鲁棒性，所以/>是一个接近于0的小值，是加入对抗噪声后反映到特征上对应元素的扰动大小，因此可以得到/>。
对于NRDM方法，它通过增加干净样本特征与对应的对抗样本的特征之间的距离，来实现对抗攻击，用下面的式子表示：
（4）
其中，S为特征的阶段数量，Ni为第i层特征的元素数量总数，可以这样计算：。
第i个stage的对的/>偏导数可以表示为：
（5）
为了尽可能最大化NRDM方法的损失函数，本发明需要尽可能的增加/>与/>的距离。在这种情况下，当/>0时，/>有较大的可能被增加，当时，有较大可能被减少。
如图2所示，由于在优化初期，特征点（使用x与o表示）随机分布在k=1的直线附近。在进行对抗攻击时，使用o标注的/>对应的点将被放大，使用x标注的点将被抑制。对于NRDM方法，/>放大与抑制基本上是随机且等概率的，这样的对抗攻击是不合理的。
为了对具有较大数值的检测任务特征关键元素提供额外的抑制作用，本发明的攻击在损失函数设计中为乘上一个定值k，损失函数的形式如下式所示：
（6）
其中，k＞1是为了增大干净样本的特征元素。
本发明的BFDA方法，在图2表示为k=3的直线，因为下式原因，将会对大部分关键的特征元素产生抑制作用：
（7）
其中k＞1，为较大数值的关键元素。通过隐式的抑制这些关键元素，BFDA攻击方法能够产生消失攻击的效果，即检测器检测不到图片中原始的物体。
然而，在应用环境中，因为使得检测器检测不到任何物体是一件困难的事情，消失攻击在迁移到多种模型上是受到挑战的。为了在给定的约束下，产生更强的对抗攻击，本发明考虑创造攻击，即在图像上产生更多的原始不存在的检测框。
S23、对对抗样本数据集进行数据增强，生成增强后的对抗样本数据集。
可选地，上述步骤S23可以是：
对对抗样本数据集采用随机放缩以及随机在边界添加0元素进行数据增强，生成增强后的对抗样本数据集。
一种可行的实施方式中，本发明通过对对抗样本进行数据增强，来获得候选的物体相关特征元素。使用随机放缩以及随机在边界添加0元素来实现数据增强。从特征的视角来看，如图3所示，经过DIM数据增强后的特征图上点亮更多新的元素，这些元素原来数值比较小。如此一来，增强后的对抗样本其某些特征元素将满足以下关系：
（8）
其中，表示为具有较小数值的候选物体相关的元素。图2中，使用△表示的点，即为满足该式的元素，该元素穿过抑制的直线，转而在优化过程中被放大。在生成对抗样本的过程中，不同位置的检测框被逐渐引入到原始的图像中，从而实现类似于创造攻击的效果。
本发明的BFDA从两个方向扰动特征：它抑制支持检测结果的关键特征元素，使得原始检测框尽可能地消失；放大候选的物体相关元素，使得在原始图像上产生新的检测框。这些组合在一起，即为本发明所提出的双向特征失真对抗攻击。
S3、根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。
本发明实施例中，提升了视觉检测器模型之间的对抗样本迁移性，本发明的BFDA对抗攻击方法，通过抑制检测器模型特征的关键元素，放大具有更多语义信息的候选物体相关特征元素，实现特征双向失真对抗攻击，能够简单高效的生成具有高对抗迁移性的对抗样本。
弥补了视觉检测器对抗迁移性研究的空缺，已有方法包括NRDM、FDA、FIA、NAA与RPA尽管能够取得较好的迁移性效果，但这些方法主要集中在分类器模型上，难以直接迁移到检测器模型取得较好的对抗迁移性效果。本发明的方法，针对检测器特征由少部分关键元素决定的特性，设计特定的损失函数，再检测器上取得最优的对抗迁移性效果，弥补了这一部分研究。
提供了更全面准确的视觉检测器对抗鲁棒性评估，使用本发明BFDA攻击方法生成的对抗样本，能够在多种结构的检测器模型上取得较好的对抗迁移性效果，在针对新的检测器模型，本发明生成的对抗样本数据集能够更全面准确的进行对抗鲁棒性的评测。
如图4所示，本发明实施例提供了一种视觉检测模型的对抗鲁棒性评估装置400，该装置400应用于实现视觉检测模型的对抗鲁棒性评估方法，该装置400包括：
获取模块410，用于获取待评估的视觉检测模型。
生成模块420，用于采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集。
输出模块430，用于根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。
可选地，生成模块420，进一步用于：
S21、选取视觉检测模型的关键特征元素。
S22、根据给定的本地检测器模型以及关键特征元素设计损失函数，生成对抗样本数据集。
S23、对对抗样本数据集进行数据增强，生成增强后的对抗样本数据集。
可选地，生成模块420，进一步用于：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标。
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素。
可选地，生成模块420，进一步用于：
根据给定的本地检测器模型的干净样本的特征以及关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集。
可选地，生成干净样本的特征对应的对抗样本的特征，如下式（1）所示：
（1）
其中，为对抗样本，/>为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，x为干净样本，/>，/>为/>范数约束扰动范围。
可选地，增加干净样本的特征与对应的对抗样本的特征之间的距离，如下式（2）所示：
（2）
其中，S为特征的阶段数量，Ni为第i个阶段的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本。
可选地，将损失函数乘以定值k，如下式（3）所示：
（3）
其中，S为特征的阶段数量，Ni为第i层特征的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本，k＞1。
可选地，生成模块420，进一步用于：
对对抗样本数据集采用随机放缩以及随机在边界添加0元素进行数据增强，生成增强后的对抗样本数据集。
本发明实施例中，提升了视觉检测器模型之间的对抗样本迁移性，本发明的BFDA对抗攻击方法，通过抑制检测器模型特征的关键元素，放大具有更多语义信息的候选物体相关特征元素，实现特征双向失真对抗攻击，能够简单高效的生成具有高对抗迁移性的对抗样本。
弥补了视觉检测器对抗迁移性研究的空缺，已有方法包括NRDM、FDA、FIA、NAA与RPA尽管能够取得较好的迁移性效果，但这些方法主要集中在分类器模型上，难以直接迁移到检测器模型取得较好的对抗迁移性效果。本发明的方法，针对检测器特征由少部分关键元素决定的特性，设计特定的损失函数，再检测器上取得最优的对抗迁移性效果，弥补了这一部分研究。
提供了更全面准确的视觉检测器对抗鲁棒性评估，使用本发明BFDA攻击方法生成的对抗样本，能够在多种结构的检测器模型上取得较好的对抗迁移性效果，在针对新的检测器模型，本发明生成的对抗样本数据集能够更全面准确的进行对抗鲁棒性的评测。
图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，存储器502中存储有至少一条指令，至少一条指令由处理器501加载并执行以实现下述视觉检测模型的对抗鲁棒性评估方法：
S1、获取待评估的视觉检测模型。
S2、采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集。
S3、根据对抗样本数据集对视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述视觉检测模型的对抗鲁棒性评估方法。例如，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种视觉检测模型的对抗鲁棒性评估方法，其特征在于，所述方法包括：
S1、获取待评估的视觉检测模型；
S2、采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集；
S3、根据所述对抗样本数据集对所述视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果；
所述S2中的采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集，包括：
S21、选取视觉检测模型的关键特征元素；
S22、根据给定的本地检测器模型以及所述关键特征元素设计损失函数，生成对抗样本数据集；
S23、对所述对抗样本数据集进行数据增强，生成增强后的对抗样本数据集；
所述S21中的选取视觉检测模型的关键特征元素，包括：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标；
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素；
所述S22中的根据给定的本地检测器模型以及所述关键特征元素设计损失函数，生成对抗样本数据集，包括：
根据给定的本地检测器模型的干净样本的特征以及所述关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加所述干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集；
所述生成干净样本的特征对应的对抗样本的特征，如下式（1）所示：
（1）
其中，为对抗样本，/>为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，x为干净样本，/>，/>为/>范数约束扰动范围；
所述增加所述干净样本的特征与对应的对抗样本的特征之间的距离，如下式（2）所示：
（2）
其中，S为特征的阶段数量，N i 为第i个阶段的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本；
所述将损失函数乘以定值k，如下式（3）所示：
（3）
其中，S为特征的阶段数量，N i 为第i层特征的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本，k＞1。
2.根据权利要求1所述的方法，其特征在于，所述S23中的对所述对抗样本数据集进行数据增强，生成增强后的对抗样本数据集，包括：
对所述对抗样本数据集采用随机放缩以及随机在边界添加0元素进行数据增强，生成增强后的对抗样本数据集。
3.一种视觉检测模型的对抗鲁棒性评估装置，其特征在于，所述装置包括：
获取模块，用于获取待评估的视觉检测模型；
生成模块，用于采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集；
输出模块，用于根据所述对抗样本数据集对所述视觉检测模型进行评估，得到视觉检测模型的对抗鲁棒性评估结果；
所述采用双向特征失真攻击BFDA方法，生成增强后的对抗样本数据集，包括：
S21、选取视觉检测模型的关键特征元素；
S22、根据给定的本地检测器模型以及所述关键特征元素设计损失函数，生成对抗样本数据集；
S23、对所述对抗样本数据集进行数据增强，生成增强后的对抗样本数据集；
所述S21中的选取视觉检测模型的关键特征元素，包括：
S211、对视觉检测模型的主干网络特征进行原始、剪裁以及保留操作，得到原始、剪裁以及保留操作后对应的平均精度均值mAP指标；
S212、获取剪裁操作后mAP低于0.100、且保留操作后mAP损失不超过原始的mAP指标的3%的特征元素，作为关键特征元素；
所述S22中的根据给定的本地检测器模型以及所述关键特征元素设计损失函数，生成对抗样本数据集，包括：
根据给定的本地检测器模型的干净样本的特征以及所述关键特征元素，生成干净样本的特征对应的对抗样本的特征，增加所述干净样本的特征与对应的对抗样本的特征之间的距离，将损失函数乘以定值k，生成对抗样本数据集；
所述生成干净样本的特征对应的对抗样本的特征，如下式（1）所示：
（1）
其中，为对抗样本，/>为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，x为干净样本，/>，/>为/>范数约束扰动范围；
所述增加所述干净样本的特征与对应的对抗样本的特征之间的距离，如下式（2）所示：
（2）
其中，S为特征的阶段数量，N i 为第i个阶段的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本；
所述将损失函数乘以定值k，如下式（3）所示：
（3）
其中，S为特征的阶段数量，N i 为第i层特征的元素数量总数，为第i个阶段第j个本地检测器模型的主干网络提取的特征元素，/>为对抗样本，x为干净样本，k＞1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310723878.7A CN116468977B (zh) | 2023-06-19 | 2023-06-19 | 一种视觉检测模型的对抗鲁棒性评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310723878.7A CN116468977B (zh) | 2023-06-19 | 2023-06-19 | 一种视觉检测模型的对抗鲁棒性评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116468977A CN116468977A (zh) | 2023-07-21 |
| CN116468977B true CN116468977B (zh) | 2023-08-18 |
Family
ID=87179263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310723878.7A Active CN116468977B (zh) | 2023-06-19 | 2023-06-19 | 一种视觉检测模型的对抗鲁棒性评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468977B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052761A (zh) * | 2020-08-27 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 一种对抗人脸图像的生成方法和装置 |
| CN114387476A (zh) * | 2022-01-17 | 2022-04-22 | 湖南大学 | 一种提高对抗样本在防御机制上迁移性的方法 |
| CN114549933A (zh) * | 2022-02-21 | 2022-05-27 | 南京大学 | 基于目标检测模型特征向量迁移的对抗样本生成方法 |
| CN115879119A (zh) * | 2023-03-02 | 2023-03-31 | 北京科技大学 | 针对对抗通用补丁攻击的鲁棒视觉Transformer视觉感知方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11227215B2 (en) * | 2019-03-08 | 2022-01-18 | International Business Machines Corporation | Quantifying vulnerabilities of deep learning computing systems to adversarial perturbations |
-
2023
- 2023-06-19 CN CN202310723878.7A patent/CN116468977B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052761A (zh) * | 2020-08-27 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 一种对抗人脸图像的生成方法和装置 |
| CN114387476A (zh) * | 2022-01-17 | 2022-04-22 | 湖南大学 | 一种提高对抗样本在防御机制上迁移性的方法 |
| CN114549933A (zh) * | 2022-02-21 | 2022-05-27 | 南京大学 | 基于目标检测模型特征向量迁移的对抗样本生成方法 |
| CN115879119A (zh) * | 2023-03-02 | 2023-03-31 | 北京科技大学 | 针对对抗通用补丁攻击的鲁棒视觉Transformer视觉感知方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "面向图像目标检测的对抗样本生成方法研究";李轶玮;《万方学术期刊数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116468977A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6240199B2 (ja) | 画像における対象物の識別方法及び装置 | |
| CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
| CN108009529B (zh) | 一种基于特征根和流体力学的森林火灾烟视频目标检测方法 | |
| CN113033537A (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN111709966B (zh) | 眼底图像分割模型训练方法及设备 | |
| CN112488999B (zh) | 一种图像中小目标检测方法、系统、存储介质及终端 | |
| KR20100085306A (ko) | 고해상도 영상 획득 장치 및 그 방법 | |
| JP6816481B2 (ja) | 削減条件特定方法、削減条件特定プログラム及び削減条件特定装置 | |
| JP6597914B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN114648681B (zh) | 一种图像生成方法、装置、设备及介质 | |
| KR20220126264A (ko) | 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 | |
| KR20180109658A (ko) | 영상 처리 방법과 장치 | |
| CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
| WO2024060529A1 (zh) | 一种道路病害识别方法、系统、设备及存储介质 | |
| CN107564045B (zh) | 基于梯度域引导滤波的立体匹配方法 | |
| CN116468977B (zh) | 一种视觉检测模型的对抗鲁棒性评估方法及装置 | |
| JP2021111228A (ja) | 学習装置、学習方法、及びプログラム | |
| CN116596895A (zh) | 一种变电设备图像缺陷识别方法及系统 | |
| US10631050B2 (en) | Determining and correlating visual context on a user device with user behavior using digital content on the user device | |
| CN114972910B (zh) | 图文识别模型的训练方法、装置、电子设备及存储介质 | |
| CN113361462B (zh) | 视频处理和字幕检测模型的方法及装置 | |
| CN110852172B (zh) | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 | |
| KR20150094108A (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
| CN112633065A (zh) | 一种基于数据增强的人脸检测方法、系统、存储介质及终端 | |
| CN114821691A (zh) | 人脸活体检测网络的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |