CN115375966A - 一种基于联合损失函数的图像对抗样本生成方法及系统 - Google Patents
一种基于联合损失函数的图像对抗样本生成方法及系统 Download PDFInfo
- Publication number
- CN115375966A CN115375966A CN202210966497.7A CN202210966497A CN115375966A CN 115375966 A CN115375966 A CN 115375966A CN 202210966497 A CN202210966497 A CN 202210966497A CN 115375966 A CN115375966 A CN 115375966A
- Authority
- CN
- China
- Prior art keywords
- sample
- loss function
- image
- confrontation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 157
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 230000004913 activation Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 13
- 238000013508 migration Methods 0.000 description 9
- 230000005012 migration Effects 0.000 description 9
- 230000003042 antagnostic effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于联合损失函数的图像对抗样本生成方法及系统。所述方法包括获取图像样本及随机噪声样本；将图像样本输入生成网络得到对抗样本并构建第一损失函数；将图像样本及对抗样本输入判别网络构建第二损失函数；将对抗样本输入待攻击模型以基于检测框构建第三损失函数；将图像样本输入待攻击模型获得注意力权重，通过图像金字塔获取对抗样本及随机噪声样本在不同尺度下特征张量，基于它们构建第四损失函数；基于前述各损失函数构建联合损失函数对生成网络及判别网络的权重更新；重复上述步骤直至获得最优生成网络，将图像样本输入其中以得到最终对抗样本。本发明不用获取待攻击模型结构，具有对抗样本生成周期短、攻击迁移性强的优势。
Description
技术领域
本发明涉及图像识别数据处理技术领域，具体涉及一种基于联合损失函数 的图像对抗样本生成方法及系统。
背景技术
在基于卷积神经网络的目标检测领域，对抗样本是一种通过对原有输入样 本添加细微扰动，从而使人眼难以识别但相应的目标检测模型则会进行高置信 度的错误输出的图像样本。在具体实践中，所述对抗样本会导致相应的目标检 测模型具有极高的脆弱性。
研究如何生成所述对抗样本并利用对抗样本训练目标检测模型是提升目标 检测模型稳定性的一种重要手段。现有的对抗样本的生成主要通过以下过程进 行：首先，需要获取待攻击的目标检测模型的内部结构。然后，获取图像的输 出结果，结合扰动约束计算损失函数，对所述目标检测模型的梯度反向传播进 行像素梯度计算并迭代更新，从而生成对抗样本。
但上述对抗样本的生成方式在实际使用时仍具有以下较为明显的缺陷：首 先，所述对抗样本的生成需要以待攻击模型的内部结构为基础进行。而在大部 分实际情况下，待攻击模型的内部结构是不易获取的。从而导致所述对抗样本 难以生成。其次，该类通过事先获取待攻击模型内部结构而获取的对抗样本往 往仅对该模型有攻击效果，而在进行迁移攻击时则常常存在攻击有效性低的问 题。再者，通过所述梯度反向传播的方式在计算图像像素梯度变化时需要进行 多次迭代，从而导致对抗样本的生成周期较长，且无法对实时的数据流进行处 理。
发明内容
本发明目的在于提供一种基于联合损失函数的图像对抗样本生成方法及系 统，以改善现有的图像对抗样本生成方法中需要基于待攻击模型的内部结构进 行；且生成过程中周期长，无法处理实时数据；同时生成的对抗样本攻击迁移 性差的技术问题。
为达成上述目的，本发明提出如下技术方案：
一种基于联合损失函数的图像对抗样本生成方法，包括：
获取随机噪声样本，及待攻击模型的若干图像样本；
将所述图像样本输入生成网络以生成对抗样本，并基于所述对抗样本与所 述图像样本间的差异构建第一损失函数；然后，将所述图像样本及所述对抗样 本分别输入判别网络，以基于输出的预测结果与相应的真实标签构建第二损失 函数；
将所述对抗样本输入待攻击模型，以基于输出的标签信息构建第三损失函 数；将所述图像样本输入待攻击模型以获得对应的注意力权重，并通过图像金 字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的特征张量，以基于 所述注意力权重，所述对抗样本不同尺度下的特征张量，及所述随机噪声样本 不同尺度下的特征张量构建第四损失函数；
通过所述第一损失函数、所述第二损失函数、所述第三损失函数及所述第 四损失函数构建联合损失函数，以分别对所述生成网络及所述判别网络的权重 参数进行更新；
重复执行上述步骤直至获得最优化的生成网络，并将所述图像样本输入其 中以得到最终的对抗样本。
进一步的，所述第四损失函数的表达式为：
其中，EI表示期望值，M表示图像金字塔中不同尺度的特征层的总数， m＝1,2,...,M依次表示不同尺度的特征层；Xm表示所述对抗样本在第m特征层上 计算得到的特征张量；Rm表示所述随机噪声样本在第m特征层上计算得到的特 征张量；Am为所述图像样本的注意力权重，其中，检测框内像素的权重大于检 测框外像素的权重。
进一步的，所述注意力权重通过如下步骤获取：
获取任一所述图像样本中所有检测框，定义第k个检测框内含有待识别目 标的置信度为Sk，并将其赋给第k个所述检测框内像素的权重；相应的，所述 第k个所述检测框外像素的权重为0；
累加所有所述检测框内像素的权重；其中，当存在检测框交叉时取最大权 重作为该像素的权重；
对累加的权重进行归一化处理以获得所述注意力权重。
进一步的，所述联合损失函数的表达式为：
其中，
其中，|pn|表示所述图像样本与所述对抗样本中第n个像素点处的像素距离；
LD为所述第二损失函数，其表达式为：
其中，t为所述图像样本或所述对抗样本的真实标签，图像样本为正样本， 记作1，对抗样本为负样本，记作0；
为所述判别器输出为正样本的概率；
Ldect为所述第三损失函数，其表达式为：
Ldect＝λobjLobj(Z|O,σ)+λlocLloc(Z|O,σ)+λprobLprob(Z|O,σ)；
其中，Lobj为置信度损失项，λobj为置信度损失系数；Lloc为检测框位置损失 项，λloc为检测框位置损失系数；Lprob为检测类别损失，λprob为检测类别损失系 数；Z为对抗样本，σ为待攻击模型的参数；O＝{oz|Pz＝0，1≤z≤S}表示人为预设的 虚假标签，其中，z表示检测框的ID，oz表示检测框z的坐标位置和类别概率，Pz＝0表示所述检测框z正确标记待识别目标的置信度为0，S为待识别目标的总 数。
进一步的，所述基于输出的预测结果与真实标签构建第二损失函数，包括：
将所述图像样本及所述对抗样本输入所述判别网络；其中，所述判别网络 依次包括五个卷积层，且中间三个所述卷积层上还添加有BatchNorm层；
基于各所述卷积层进行逐层降采样前向传播，并通过一全连接层输出所述 图像样本及所述对抗样本的判别结果以形成预测结果；其中，前四个所述卷积 层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid激活函数；
基于所述预测结果与对应的真实标签构建第二损失函数。
进一步的，所述将所述图像样本输入生成网络以生成对抗样本，包括：
通过编码器对所述图像样本进行低维特征表示，并基于各卷积层进行特征 提取；
通过解码器将提取的特征映射至样本标记空间以生成扰动量；
其中，所述生成网络包括八个卷积层，且前七个卷积层采用LeakyReLU激 活函数，最后一个卷积层采用Tanh激活函数；
将所述扰动量添加至所述图像样本以得到所述对抗样本。
一种基于联合损失函数的图像对抗样本生成系统，包括：
第一获取模块，用于获取随机噪声样本，及待攻击模型的若干图像样本；
生成对抗模块，用于将所述图像样本输入生成网络以生成对抗样本，并基 于所述对抗样本与所述图像样本间的差异构建第一损失函数；将所述图像样本 及所述对抗样本分别输入判别网络，以基于输出的预测结果与真实标签构建第 二损失函数；
第一构建模块，用于将所述对抗样本输入待攻击模型，以基于输出的检测 框构建第三损失函数；将所述图像样本输入待攻击模型以获得对应的注意力权 重，并通过图像金字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的 特征张量，以同时基于它们构建第四损失函数；
第二构建模块，用于通过所述第一损失函数、所述第二损失函数、所述第 三损失函数及所述第四损失函数构建联合损失函数，以分别对所述生成网络及 判别网络的权重参数进行更新；
迭代优化模块，用于重复调用上述各模块直至获得最优化的生成网络，并 将所述图像样本输入其中以得到最终的对抗样本。
进一步的，所述第一构建模块包括：
第二获取模块，用于获取任一所述图像样本中所有检测框，定义第k个检 测框内含有待识别目标的置信度为Sk，并将其赋给第k个所述检测框内像素的 权重；相应的，所述第k个所述检测框外像素的权重为0；
权重累加模块，用于累加所有所述检测框内像素的权重；其中，当存在检 测框交叉时取最大权重作为该像素的权重；
归一化处理模块，用于对累加的权重进行归一化处理以获得所述注意力权 重。
进一步的，所述生成对抗模块包括生成模块，所述生成模块包括：
第一提取模块，用于通过编码器对所述图像样本进行低维特征表示，并基 于各卷积层进行特征提取；
扰动生成模块，用于通过解码器将提取的特征映射至样本标记空间内以生 成扰动量；
第一输出模块，用于将所述扰动量添加至所述图像样本以得到所述对抗样 本。
进一步的，所述生成对抗模块包括对抗模块，所述对抗模块包括：
第二提取模块，用于将所述图像样本及所述对抗样本输入所述判别网络； 其中，所述判别网络依次包括五个卷积层，且中间三个所述卷积层上还添加有 BatchNorm层；
判别模块，用于基于各所述卷积层进行逐层降采样前向传播，并通过一全 连接层输出对所述图像样本及所述对抗样本的判别结果以形成预测结果；其中， 前四个所述卷积层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid 激活函数；
第二输出模块，用于基于所述预测结果与对应真实标签构建第二损失函数。
有益效果：
由以上技术方案可知，本发明的技术方案提供了一种基于联合损失函数的 图像对抗样本生成方法，以改善现有的对抗样本生成过程中存在的各种缺陷。
所述方法包括：首先，获取了待攻击模型的图像样本，以及随机噪声样本。 然后，基于生成网络获取了对抗样本，并基于所述对抗样本，所述生成网络以 及判别网络、待攻击模型依次获取了第一损失函数、第二损失函数、第三损失 函数及第四损失函数。再者，基于上述损失函数构建了联合损失函数以对所述 生成网络及判别网络进行更新。最终，重复上述过程实现了生成网络的优化， 并获取了最终的对抗样本。
所述方法将待攻击模型作为整个对抗样本生成过程中的参与量，并将其与 生成网络及判别网络相结合。并分别获取了与所述生成网络、判别网络及待攻 击模型相应的各损失函数，进而构建了联合损失函数。此时，在进行对抗样本 生成时，只需以使所述联合损失函数最小化为导向，逐渐对所述生成网络进行 迭代优化即可。与现有技术相比，不再需要获取待攻击模型的内部结构，因此 使整个方法更加可行。且在每轮迭代时只需进行一次前向传播即可生成该轮对 抗样本，与现有技术相比，不需要进行重复迭代的梯度反向传播计算，从而节 约了每轮对抗样本的生成周期，具有处理实时数据流的能力。
且由于所述联合损失函数与对抗样本生成阶段、对抗样本判别阶段、对抗 样本识别阶段均相关，从而使基于所述联合损失函数进行生成网络迭代训练时， 总能最大限度的减小迭代误差；进而更快的达到最优化。
具体的，对于所述第一损失函数，由于在不断的训练迭代中所述扰动量将 逐渐减小，因此可逐渐减小对抗样本相对于图像样本的修改，保证了对抗样本 的平滑性。对于所述第二损失函数，使所述生成网络的优化过程还与其和判别 网络间的互相对抗迭代有关，从而促进所述生成网络更优化。由于基于卷积神 经网络中的各卷积层对图像样本进行图像特征提取时，无法对其尺寸进行处理。 但是目标检测模型进行目标检测时，同时基于高分辨率的低层特征和高语义信 息的高层特征进行。
而所述第三损失函数的获取过程中，通过图像金字塔对所述对抗样本进行 了不同尺度下的特征处理；从而使对抗样本的生成也同时考虑了上述两方面因 素，进而提高了对抗样本对相应的待攻击模型的攻击有效性。对于所述第三损 失函数，其基于第一识别样本的检测框信息构建，因此通过有效抑制检测框的 出现降低了最终识别阶段对抗样本被识别的概率。
对于所述第四损失函数引入了随机噪声样本，并对所述随机噪声样本也基 于图像金字塔在各相应尺度下进行了处理；从而使所述对抗样本在低层特征和 高层特征上均趋近于随机噪声。其基于不同尺度特征层下所述第一识别样本生 成注意力权重并结合对抗样本及随机噪声样本在不同尺度下的特征张量构建， 因此可改变对抗样本中待识别目标的特征纹理，使其尽可能的接近背景图像， 增强了生成对抗样本对未知模型攻击的成功率还增加了所述对抗样本的攻击迁 移性，使其对于任何目标检测模型均具有良好的攻击性。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只 要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方 面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有 益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践 中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相 同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个 组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的 实施例，其中：
图1为本发明所述的对抗样本生成方法的流程图；
图2为图1中对抗样本的生成流程图；
图3为图1中所述第一损失函数的构建流程图；
图4为图1中所述第四损失函数中注意力权重的构建流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述 的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明 的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实 施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术 语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的 词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同 样,除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类 似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的 词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者 “包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多 个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。 “上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后, 则该相对位置关系也可能相应地改变。
现有的对抗样本生成过程由于需要事先获取待攻击模型的内部结构，并在 每轮更新时采用多次反向传播计算。因此导致对抗样本的生成周期长、难以对 实时数据流进行处理；且无法进行迁移攻击。因此本发明旨在提供一种基于联 合损失函数的图像对抗样本生成方法，以改善现有的对抗样本生成中存在的上 述缺陷。
实施例1
如图1所示，所述方法包括：
步骤S102、获取待攻击模型的若干图像样本，并构建随机噪声样本。
在具体实施时，所述图像样本为与目标场景相应的种类不同、大小不同的 图像。可通过人工制作方式获取，也可从待攻击模型的输入数据库获取。
所述随机噪声样本为随机生成的噪声图像。
步骤S104、将所述图像样本输入生成网络以生成对抗样本，并基于所述对 抗样本与所述图像样本间的差异构建第一损失函数；将所述图像样本及所述对 抗样本分别输入判别网络，以基于输出的预测结果与真实标签构建第二损失函 数。
在具体实施时，所述生成网络使用深度学习框架Pytorch实现具体细节，最 优化求解过程中使用硬件GTX 3090图像处理单元进行，同时设置其初始学习率 为0.0001。且由于所述生成网络的卷积核时完全卷积且在图像块上进行训练， 因此对抗样本的尺寸时任意的。
如图2所示，作为一种具体的实施方式，所述对抗样本的生成包括：
步骤S202、通过编码器对所述图像样本进行低维特征表示，并基于各卷积 层进行逐层降采样向前传播以进行特征提取。
本步骤中经过每个卷积层后的特征张量尺寸相同。
步骤S204、通过解码器将提取的特征映射至样本标记空间内以生成扰动量。
其中，所述生成网络包括八个卷积层；且前七个卷积层采用LeakyReLU激 活函数，最后一个卷积层采用Tanh激活函数。所述LeakyReLU激活函数用于 在迭代优化时提高收敛速度。
步骤S206、将所述扰动量添加至所述图像样本以得到所述对抗样本。
本步骤中，所述第一损失函数用于在不断的训练迭代中减小所述对抗样本 相对于所述图像样本的修改量，进而保证对抗样本的平滑性。
本实施例中，所述第一损失函数具体为相似性损失。常见的相似性损失包 括l0损失、l1损失、l2损失及l∞损失。考虑后续所述联合损失函数更新的便捷性， 具体采用l2损失。
此时作为一种具体的实施方式，所述第一损失函数的表达式为：
其中，|pn|表示所述图像样本与所述对抗样本中第n个像素点处的像素距离。
本步骤中，还使所述生成网络的优化过程还与其和判别网络间的互相对抗 促进有关，从而促进所述生成网络更优化。
在优化迭代时，设置在所述判别网络上执行2次Adam梯度下降算法，并 设定其初始学习率为0.0002。
由于所述生成网络与所述判别网络的输出层激活函数分别为Tanh函数和Sigmoid函数，两者都是S型函数。因此进行后续基于反向传播算法进行迭代优 化时会存在收敛速度降低的缺陷。基于此，作为一种具体的实施方式，设定所 述第二损失函数为二分类交叉熵损失，以解决由所述Sigmoid函数导致的梯度消 失问题。
此时，所述第二损失函数的表达式为：
其中，t为所述图像样本或所述对抗样本的预测结果，
为所述预测结果与 真实标签相同时的概率。
如图3所示，作为一种具体的实施方式，所述第二损失函数包括：
步骤S402、将所述图像样本及所述对抗样本输入所述判别网络；其中，所 述判别网络依次包括五个卷积层，且中间三个所述卷积层上还添加有BatchNorm 层。
本步骤中，所述BatchNorm层用于进行数据批量归一化处理。且所述图像 样本经过前三个卷积层后得到的特征张量的长宽均减半。
步骤S404、基于各所述卷积层进行逐层降采样前向传播，并通过一全连接 层输出对所述图像样本及所述对抗样本的判别结果以形成预测结果；其中，前 四个所述卷积层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid 激活函数。
本步骤中，由于前四个卷积层采用了LeakyReLU激活函数，因此有利于在 迭代优化时加速收敛速度，并防止出现梯度稀疏。
步骤S406、基于所述预测结果与对应图像样本或对抗样本的真实标签构建 第二损失函数。
步骤S106、将所述对抗样本输入待攻击模型，以基于输出的检测框构建第 三损失函数；将所述图像样本输入待攻击模型以获得对应的注意力权重，并通 过图像金字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的特征张量， 以同时基于它们构建第四损失函数。
一般地，对抗样本的生成分为无目标及有目标两种类型。本实施例中具体 针对的类型为有目标类型。对于有目标类型，生成的对抗样本经目标检测模型 的前向传播后输出的类别是指定的类别，也可以控制输出的检测框的位置。基 于此，作为一种具体的实施方式，基于对抗样本的目的是降低目标检测成功率， 因此本实施例具体通过设置第三损失函数以让所有的检测框失效。
此时所述第三损失函数的表达式为：
Ldect＝λobjLobj(z|O,σ)+λlocLloc(z|O,σ)+λprobLprob(z|O,σ)；
其中，Lobj为置信度损失项，λobj为置信度损失系数；Lloc为检测框位置损失 项，λloc为检测框位置损失系数；Lprob为检测类别损失，λprob为检测类别损失系 数；Z为对抗样本，σ为待攻击模型的参数；O＝{oz|Pz＝0，1≤z≤S}表示人为预设的 虚假标签，其中，z表示检测框的ID，oz表示检测框z的坐标位置和类别概率， Pz＝0表示所述检测框z正确标记待识别目标的置信度为0，S为待识别目标的总 数。本实施例中，所述虚假标签用于使待识别目标被识别为背景。
作为另一种具体的实施方式，为了在不同尺度的特征层下对图像样本进行 改动，从而使生成的对抗样本在各尺寸的特征层上与图像样本间存在差异，设 置所述第四损失函数为多尺度注意力特征损失。
此时，所述第四损失函数的表达式为：
其中，EI表示期望值，M表示图像金字塔中不同尺度的特征层的总数， m＝1,2,...,M依次表示不同尺度的特征层；Xm表示所述对抗样本在第m特征层上 计算得到的特征张量；Rm表示所述随机噪声样本在第m特征层上计算得到的特 征张量；Am为所述图像样本的注意力权重，其中，检测框内像素的权重大于检 测框外像素的权重。
此时，所述第四损失函数将促使对抗样本的特征张量Xm接近随机扰动，进 而改变待识别目标了特征纹理。此时，由于所述对抗样本无论在高分辨率的低 层特征上，还是高语义信息的高层特征上，均趋近与随机噪声，从而使后续的 联合损失函数还具有对针对的待攻击模型攻击性更强，且对其他目标检测模型 也具有良好的迁移攻击性。
如图4所示，作为一种具体的实施方式，所述注意力权重通过如下步骤获 取：
步骤S602、获取对抗样本中所有检测框，并设定第k个所述检测框内像素 的权重为Sk，第k个所述检测框外像素的权重为0；
步骤S604、累加所述检测框内的像素的权重；其中，当存在检测框交叉时 取最大的权重作为该像素的权重；
步骤S606、对累加的权重进行归一化处理以获得所述注意力权重。
步骤S108、基于所述第一损失函数、所述第二损失函数、所述第三损失函 数及所述第四损失函数构建联合损失函数，并基于所述联合损失函数对所述生 成网络及所述对抗网络的权重参数进行更新。
作为一种具体的实施方式，所述联合损失函数的表达式为：
且由于所述联合损失函数与对抗样本生成阶段、对抗样本判别阶段、对抗 样本识别阶段均相关，从而使基于所述联合损失函数进行生成网络进行迭代训 练时，总能最大限度的与实际迭代情况相符合，减小迭代误差；进而更快的达 到最优化。
步骤S110、重复执行上述步骤直至获得最优化的生成网络，并将所述图像 样本输入所述最优化的生成网络以得到最终的对抗样本。
本步骤中，设置总的重复次数为10000轮。
上述方法过程可以运行在处理器中，或者也可以存储在存储器中(或称为 计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动 媒体可以由任何算法或技术来实现信息存储。信息可以是计算机可读指令、数 据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相 变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、 其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读 存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁 盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设 备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在 计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同 的步骤可以通过不同的模块来实现。
实施例2
在目标检测中，平均精度均值(mAP)是衡量检测性能的重要指标。一个目标 检测模型通常会检测多种物体，此时每一类都能绘制一个PR曲线，进而计算出 相应的平均精度值；而所述平均精度均值则由将多个类别的平均精度值的平均 定义。为了证明实施例1所述方法的攻击有效性，从1000张红外图像集中抽取 100张作为图像样本，并由实施例1所述方法对该100张图像样本生成对抗样本， 再由目标检测模型进行攻击检测。为了提高结果稳定性，重复上述过程100次 以记录平均mAP，并基于在攻击过程中的最小耗时、最大耗时和平均耗时进行 攻击效率衡量。此时相应结果如下表1所示：
表1不同攻击方法成功率及效率对比(时间：秒)
由上表可见，实施例1所述的方法无论是攻击有效性，还是攻击效率方面 均表现良好。
实施例3
为了证明实施例1所述方法的攻击迁移性，分别使用实施例2中获得的对 抗样本对单检测器和集合检测器进行攻击。具体结果如下：
(1)单检测器迁移性能测试
当所述单检测器分别为YOLOv3，Faster-RNN，YOLOv5时，相应的检测结 果如下表2所示：
表2单检测器迁移性能测试结果(时间：秒)
(2)集成检测器迁移性能测试
当所述集成检测器分别为YOLOv3+YOLOv5，YOLOv3+Faster-RNN， YOLOv5+Faster-RNN，YOLOv3+YOLOv5+Faster-RNN时，相应的检测结果如 下表3所示：
表3多检测器迁移性能测试结果
由表2及表3的结果可见，实施例1所述方法获得的对抗样本对各类目标 检测器均具有良好的迁移攻击性。
实施例4
本实施例提供了一种基于联合损失函数的图像对抗样本生成系统，其基于 实施例1所述的方法搭建。依次包括：
第一获取模块，用于获取随机噪声样本，及待攻击模型的若干图像样本；
生成对抗模块，用于将所述图像样本输入生成网络以生成对抗样本，并基 于所述对抗样本与所述图像样本间的差异构建第一损失函数；将所述图像样本 及所述对抗样本分别输入判别网络，以基于输出的预测结果与真实标签构建第 二损失函数；
第一构建模块，用于将所述对抗样本输入待攻击模型，以基于输出的检测 框构建第三损失函数；将所述图像样本输入待攻击模型以获得对应的注意力权 重，并通过图像金字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的 特征张量，以同时基于它们构建第四损失函数；
第二构建模块，用于通过所述第一损失函数、所述第二损失函数、所述第 三损失函数及所述第四损失函数构建联合损失函数，以分别对所述生成网络及 判别网络的权重参数进行更新；
迭代优化模块，用于重复调用上述各模块直至获得最优化的生成网络，并 将所述图像样本输入其中以得到最终的对抗样本。
在具体实施时，为了进行所述注意力权重的计算，所述第一构建模块还包 括：
第二获取模块，用于获取任一所述图像样本中所有检测框，定义第k个检 测框内含有待识别目标的置信度为Sk，并将其赋给第k个所述检测框内像素的 权重；相应的，所述第k个所述检测框外像素的权重为0；
权重累加模块，用于累加所有所述检测框内像素的权重；其中，当存在检 测框交叉时取最大权重作为该像素的权重；
归一化处理模块，用于对累加的权重进行归一化处理以获得所述注意力权 重。
为了生成对抗样本，所述生成对抗模块还包括生成模块。具体的，所述生 成模块依次包括：
第一提取模块，用于通过编码器对所述图像样本进行低维特征表示，并基 于各卷积层进行特征提取；
扰动生成模块，用于通过解码器将提取的特征映射至样本标记空间内以生 成扰动量；
第一输出模块，用于将所述扰动量添加至所述图像样本以得到所述对抗样 本。
为了对对抗样本进行对抗优化，设置所述生成对抗模块还包括对抗模块。
具体的，所述对抗模块依次包括：
第二提取模块，用于将所述图像样本及所述对抗样本输入所述判别网络； 其中，所述判别网络依次包括五个卷积层，且中间三个所述卷积层上还添加有 BatchNorm层；
判别模块，用于基于各所述卷积层进行逐层降采样前向传播，并通过一全 连接层输出对所述图像样本及所述对抗样本的判别结果以形成预测结果；其中， 前四个所述卷积层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid 激活函数；
第二输出模块，用于基于所述预测结果与对应真实标签构建第二损失函数。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明 所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各 种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (10)
1.一种基于联合损失函数的图像对抗样本生成方法，其特征在于，包括：
获取随机噪声样本，及待攻击模型的若干图像样本；
将所述图像样本输入生成网络以生成对抗样本，并基于所述对抗样本与所述图像样本间的差异构建第一损失函数；然后，将所述图像样本及所述对抗样本分别输入判别网络，以基于输出的预测结果与相应的真实标签构建第二损失函数；
将所述对抗样本输入待攻击模型，以基于输出的标签信息构建第三损失函数；将所述图像样本输入待攻击模型以获得对应的注意力权重，并通过图像金字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的特征张量，以基于所述注意力权重，所述对抗样本不同尺度下的特征张量，及所述随机噪声样本不同尺度下的特征张量构建第四损失函数；
通过所述第一损失函数、所述第二损失函数、所述第三损失函数及所述第四损失函数构建联合损失函数，以分别对所述生成网络及所述判别网络的权重参数进行更新；
重复执行上述步骤直至获得最优化的生成网络，并将所述图像样本输入其中以得到最终的对抗样本。
2.根据权利要求1所述的基于联合损失函数的图像对抗样本生成方法，其特征在于，所述第四损失函数的表达式为：
其中，EI表示期望值，M表示图像金字塔中不同尺度的特征层的总数，m＝1,2,…,M依次表示不同尺度的特征层；Xm表示所述对抗样本在第m特征层上计算得到的特征张量；Rm表示所述随机噪声样本在第m特征层上计算得到的特征张量；Am为所述图像样本的注意力权重，其中，检测框内像素的权重大于检测框外像素的权重。
3.根据权利要求1所述的基于联合损失函数的图像对抗样本生成方法，其特征在于，所述注意力权重通过如下步骤获取：
获取任一所述图像样本中所有检测框，定义第k个检测框内含有待识别目标的置信度为Sk，并将其赋给第k个所述检测框内像素的权重；相应的，所述第k个所述检测框外像素的权重为0；
累加所有所述检测框内像素的权重；其中，当存在检测框交叉时取最大权重作为该像素的权重；
对累加的权重进行归一化处理以获得所述注意力权重。
4.根据权利要求2所述的基于联合损失函数的图像对抗样本生成方法，其特征在于，所述联合损失函数的表达式为：
其中，
其中，|pn|表示所述图像样本与所述对抗样本中第n个像素点处的像素距离；
LD为所述第二损失函数，其表达式为：
其中，t为所述图像样本或所述对抗样本的真实标签，图像样本为正样本，记作1，对抗样本为负样本，记作0；
为所述判别器输出为正样本的概率；
Ldect为所述第三损失函数，其表达式为：
Ldect＝λobjLobj(Z|O,σ)+λlocLloc(Z|O,σ)+λprobLprob(Z|O,σ)；
其中，Lobj为置信度损失项，λobj为置信度损失系数；Lloc为检测框位置损失项，λloc为检测框位置损失系数；Lprob为检测类别损失，λprob为检测类别损失系数；Z为对抗样本，σ为待攻击模型的参数；O＝{oz|Pz＝0，1≤z≤S}表示人为预设的虚假标签，其中，z表示检测框的ID，oz表示检测框z的坐标位置和类别概率，Pz＝0表示所述检测框z正确标记待识别目标的置信度为0，S为待识别目标的总数。
5.根据权利要求1所述的基于联合损失函数的图像对抗样本生成方法，其特征在于，所述基于输出的预测结果与真实标签构建第二损失函数，包括：
将所述图像样本及所述对抗样本输入所述判别网络；其中，所述判别网络依次包括五个卷积层，且中间三个所述卷积层上还添加有BatchNorm层；
基于各所述卷积层进行逐层降采样前向传播，并通过一全连接层输出所述图像样本及所述对抗样本的判别结果以形成预测结果；其中，前四个所述卷积层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid激活函数；
基于所述预测结果与对应的真实标签构建第二损失函数。
6.根据权利要求1所述的基于联合损失函数的图像对抗样本生成方法，其特征在于，所述将所述图像样本输入生成网络以生成对抗样本，包括：
通过编码器对所述图像样本进行低维特征表示，并基于各卷积层进行特征提取；
通过解码器将提取的特征映射至样本标记空间以生成扰动量；
其中，所述生成网络包括八个卷积层，且前七个卷积层采用LeakyReLU激活函数，最后一个卷积层采用Tanh激活函数；
将所述扰动量添加至所述图像样本以得到所述对抗样本。
7.一种基于联合损失函数的图像对抗样本生成系统，其特征在于，包括：
第一获取模块，用于获取随机噪声样本，及待攻击模型的若干图像样本；
生成对抗模块，用于将所述图像样本输入生成网络以生成对抗样本，并基于所述对抗样本与所述图像样本间的差异构建第一损失函数；将所述图像样本及所述对抗样本分别输入判别网络，以基于输出的预测结果与真实标签构建第二损失函数；
第一构建模块，用于将所述对抗样本输入待攻击模型，以基于输出的检测框构建第三损失函数；将所述图像样本输入待攻击模型以获得对应的注意力权重，并通过图像金字塔获取所述对抗样本及所述随机噪声样本在不同尺度下的特征张量，以同时基于它们构建第四损失函数；
第二构建模块，用于通过所述第一损失函数、所述第二损失函数、所述第三损失函数及所述第四损失函数构建联合损失函数，以分别对所述生成网络及判别网络的权重参数进行更新；
迭代优化模块，用于重复调用上述各模块直至获得最优化的生成网络，并将所述图像样本输入其中以得到最终的对抗样本。
8.根据权利要求7基于联合损失函数的图像对抗样本生成系统，其特征在于，所述第一构建模块包括：
第二获取模块，用于获取任一所述图像样本中所有检测框，定义第k个检测框内含有待识别目标的置信度为Sk，并将其赋给第k个所述检测框内像素的权重；相应的，所述第k个所述检测框外像素的权重为0；
权重累加模块，用于累加所有所述检测框内像素的权重；其中，当存在检测框交叉时取最大权重作为该像素的权重；
归一化处理模块，用于对累加的权重进行归一化处理以获得所述注意力权重。
9.根据权利要求7基于联合损失函数的图像对抗样本生成系统，其特征在于，所述生成对抗模块包括生成模块，所述生成模块包括：
第一提取模块，用于通过编码器对所述图像样本进行低维特征表示，并基于各卷积层进行特征提取；
扰动生成模块，用于通过解码器将提取的特征映射至样本标记空间内以生成扰动量；
第一输出模块，用于将所述扰动量添加至所述图像样本以得到所述对抗样本。
10.根据权利要求7基于联合损失函数的图像对抗样本生成系统，其特征在于，所述生成对抗模块包括对抗模块，所述对抗模块包括：
第二提取模块，用于将所述图像样本及所述对抗样本输入所述判别网络；其中，所述判别网络依次包括五个卷积层，且中间三个所述卷积层上还添加有BatchNorm层；
判别模块，用于基于各所述卷积层进行逐层降采样前向传播，并通过一全连接层输出对所述图像样本及所述对抗样本的判别结果以形成预测结果；其中，前四个所述卷积层采用LeakyReLU激活函数，最后一个所述卷积层采用Sigmoid激活函数；
第二输出模块，用于基于所述预测结果与对应真实标签构建第二损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210966497.7A CN115375966A (zh) | 2022-08-12 | 2022-08-12 | 一种基于联合损失函数的图像对抗样本生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210966497.7A CN115375966A (zh) | 2022-08-12 | 2022-08-12 | 一种基于联合损失函数的图像对抗样本生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115375966A true CN115375966A (zh) | 2022-11-22 |
Family
ID=84066650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210966497.7A Pending CN115375966A (zh) | 2022-08-12 | 2022-08-12 | 一种基于联合损失函数的图像对抗样本生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375966A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116991075A (zh) * | 2023-09-26 | 2023-11-03 | 中国石油大学(华东) | 一种针对故障诊断模型的通用对抗扰动生成方法 |
-
2022
- 2022-08-12 CN CN202210966497.7A patent/CN115375966A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116991075A (zh) * | 2023-09-26 | 2023-11-03 | 中国石油大学(华东) | 一种针对故障诊断模型的通用对抗扰动生成方法 |
| CN116991075B (zh) * | 2023-09-26 | 2023-12-19 | 中国石油大学(华东) | 一种针对故障诊断模型的通用对抗扰动生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532859B (zh) | 基于深度进化剪枝卷积网的遥感图像目标检测方法 | |
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN111291622B (zh) | 一种遥感影像中建筑物变化检测的方法及装置 | |
| CN108921877B (zh) | 一种基于宽度学习的长期目标跟踪方法 | |
| CN109002848B (zh) | 一种基于特征映射神经网络的弱小目标检测方法 | |
| CN112991278B (zh) | RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统 | |
| CN110826056B (zh) | 一种基于注意力卷积自编码器的推荐系统攻击检测方法 | |
| CN112734696A (zh) | 基于多域特征融合的换脸视频篡改检测方法及系统 | |
| CN111832484A (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| CN112200123B (zh) | 联合稠密连接网络和样本分布的高光谱开放集分类方法 | |
| CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN115661860A (zh) | 一种狗行为动作识别技术的方法、装置、系统及存储介质 | |
| CN115393698A (zh) | 一种基于改进dpn网络的数字图像篡改检测方法 | |
| CN115131558A (zh) | 一种少样本环境下的语义分割方法 | |
| CN115375966A (zh) | 一种基于联合损失函数的图像对抗样本生成方法及系统 | |
| CN115376010A (zh) | 一种高光谱遥感影像分类方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN114494999B (zh) | 一种双分支联合型目标密集预测方法及系统 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
| CN113658217B (zh) | 一种自适应目标跟踪方法、装置及存储介质 | |
| CN115546638A (zh) | 基于暹罗级联差分神经网络的变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |