CN116543268A - 基于通道增强联合变换的对抗样本生成方法及终端 - Google Patents
基于通道增强联合变换的对抗样本生成方法及终端 Download PDFInfo
- Publication number
- CN116543268A CN116543268A CN202310810309.6A CN202310810309A CN116543268A CN 116543268 A CN116543268 A CN 116543268A CN 202310810309 A CN202310810309 A CN 202310810309A CN 116543268 A CN116543268 A CN 116543268A
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- representing
- processing
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000009466 transformation Effects 0.000 title claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000003313 weakening effect Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 108091006146 Channels Proteins 0.000 description 122
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000004220 aggregation Methods 0.000 description 18
- 230000002776 aggregation Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013508 migration Methods 0.000 description 7
- 230000005012 migration Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于通道增强联合变换的对抗样本生成方法及终端，属于图像处理技术领域，包括：对通道分解图像进行通道变换处理和/或通道不变补丁处理，得到转换图像集合；将转换图像输入模型进行特征提取处理并输出；计算分类标签的交叉熵损失在每一张转换图像上的梯度方向，并求和；根据动量梯度法迭代地在原始图像上加入噪声，得到目标对抗样本。本发明通过通道变换处理寻找跨模型的信道冗余；通过通道不变补丁处理在通道上构造弱化补丁，实现保损转换进而实现模型增强，从而降低对抗样本对源模型的过度拟合；计算经过通道变换处理和/或通道不变补丁处理生成的图像的聚合梯度，并纳入动量策略迭代地生成具有高迁移性的对抗样本。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于通道增强联合变换的对抗样本生成方法及终端。
背景技术
深度神经网络已广泛应用于计算机视觉任务，如图像分类、物体检测和自动驾驶。然而，深度神经网络容易受到对抗性示例的影响，通过添加小扰动形成的示例与合法示例无法区分，会导致DNN（深度神经网络）做出错误的预测。DNN的漏洞对现实世界的应用程序构成了严重威胁，为保证神经网络模型安全运行，激发了大量关于对抗攻击的研究，当前迫切需要更强的对抗攻击来发现深度神经网络的弱点并激发防御措施，即：通过对抗样本对模型进行训练进而提高模型的防护力。
根据攻击场景，对抗攻击分为白盒攻击和黑盒攻击。在白盒攻击中，目标模型是透明的，攻击者可以获得模型的参数和结构。在黑盒攻击中，除了有限数量查询外，攻击者无法直接访问模型的详细信息。由于攻击者可以充分利用白盒设置中的梯度等模型信息，因此白盒攻击可以实现高成功率和低人类感知。目前，关于白盒攻击的研究已经取得了很大的成功。然而，白盒攻击很难在现实中应用，因为目标模型通常是不可访问的。
近年来，人们对黑箱场景进行了大量的研究。黑盒攻击分为基于查询的攻击和基于传输的攻击。对于基于查询的攻击，攻击者能够查询目标模型并使用其输出(决策或分数)来优化对抗图像。请注意，基于查询的对抗性攻击是一个计算成本很高的过程，需要充分考虑计算资源消耗和时间成本；同时，攻击者还需要避开目标模型的检测，从而保持攻击的隐蔽性。相比之下，基于迁移的黑盒攻击通过在源模型上生成对抗样本成功攻击目标模型，它更加真实和灵活。基于迁移的攻击的关键是对抗样本的迁移性。现有攻击在白盒设置中表现出令人印象深刻的性能，但迁移性非常差，这些攻击在黑盒场景中的成功率仍然很低，特别是对于具有某些防御机制的模型。部分研究采用数据增强的方法实现模型增强从而提高迁移性，例如对输入图像的平移、旋转；当前的数据增强方法简单的对图像进行修改，只考虑了图像对于神经网络的基本不变性，例如平移不变性、旋转不变性等，忽略了跨模型通道冗余，这些冗余信息包含了大量迁移性对抗样本的寻找路径。还有一些研究使用高级梯度来增加对抗样本的寻找路径从而提高迁移性，例如聚合梯度、方差调整。当前高级梯度方法需要进行大量的梯度计算，计算开销大，对源模型过度拟合，迁移性提升率低。
发明内容
本发明的目的在于克服现有技术的问题，提供了一种基于通道增强联合变换的对抗样本生成方法及终端。
本发明的目的是通过以下技术方案来实现的：一种基于通道增强联合变换的对抗样本生成方法，方法具体包括以下步骤：
对原始图像进行通道分解处理得到通道分解图像；
对通道分解图像进行通道变换处理和/或通道不变补丁处理，得到转换图像集合；
通道变换处理包括：
对通道分解图像进行通道擦除处理和/或通道交换处理得到通道池；
对通道池进行采样处理，得到第一转换图像；
通道不变补丁处理包括：
选择通道分解图像和/或第一转换图像中一随机区域作为弱化区域，对弱化区域进行像素削弱处理，得到通第二转换图像；
将转换图像输入模型进行特征提取处理并输出；
计算分类标签的交叉熵损失在每一张转换图像上的梯度方向，将所有梯度求和得到聚合梯度方向；
根据动量梯度法迭代地在原始图像上加入噪声，得到高迁移性的对抗样本。
在一示例中，所述通道擦除处理表达式为：
其中，表示对通道分解图像进行通道擦除处理；R,G,B分别表示图像红、绿、
蓝三个通道；表示擦除矩阵。
在一示例中，所述通道交换处理表达式为：
其中，表示对通道分解图像进行交换处理；R,G,B分别表示图像红、绿、蓝三
个通道。
在一示例中，所述通道池ChannelPool为：
其中，x表示通道分解图像；R,G,B分别表示图像红、绿、蓝三个通道；表示擦除矩
阵。
在一示例中，所述对通道池进行采样处理表达式为：
其中，表示第一转换图像；Sample表示采样处理；ChannelPool表示通道池；表
示通道分解图像；R,G,B分别表示图像红、绿、蓝三个通道；表示擦除矩阵；*表示通道指数。
在一示例中，对通道池进行采样处理过程中，寻找对抗样本过程的优化目标为：
其中，表示对抗样本；表示通道分解图像；m表示第一转换图像形成图像集合
的大小；表示交叉熵损失；CT表示通道变换；表示输入模型的图像对应的真实标签值；
s.t.表示约束条件；表示扰动的最大值。
在一示例中，所述对弱化区域进行像素削弱处理表达式为：
其中，表示通道分解图像；*表示通道指数；(a,b)表示像素点的位置；表示
第二转换图像；表示削弱比率；表示弱化区域；m,n分别表示弱化区域的长度、宽度。
在一示例中，经过多次通道不变补丁处理，寻找对抗样本过程的优化目标
为：
其中，表示对抗样本；表示通道分解图像；n表示第二转换图像形成图像集合
的大小；表示交叉熵损失；CIP表示通道不变补丁处理；表示输入模型的图像对应的真
实标签值；s.t.表示约束条件；表示扰动的最大值。
在一示例中，生成高迁移性的对抗样本表达式为：
其中，表示第t+1次迭代得到的高迁移性的对抗样本，t+1次迭代为设置的目标
迭代次数；表示约束范围；表示扰动的最大值；表示第t次迭代得到的对抗样本；
表示噪声；表示第t+1次的聚合梯度。
需要进一步说明的是，上述方法各示例对应的技术特征可以相互组合或替换构成新的技术方案。
本发明还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组成形成的所述的基于通道增强联合变换的对抗样本生成方法的步骤。
本发明还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一示例或多个示例形成的所述的基于通道增强联合变换的对抗样本生成方法的步骤。
与现有技术相比，本发明有益效果是：
本发明通过通道变换处理寻找跨模型的信道冗余，即：可转移特征；通过通道不变补丁处理在通道上构造弱化补丁，实现保损转换进而实现模型增强，从而降低对抗样本对源模型的过度拟合；计算经过通道变换处理和/或通道不变补丁处理生成的图像的聚合梯度，并纳入动量策略迭代地生成具有高迁移性的对抗样本；同时，方法计算复杂度低，无需搭建复杂的人工神经网络模型，不需要对庞大数据集进行高梯度的计算，计算开销小。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明一示例中的对抗样本生成方法流程图；
图2为本发明一示例中通道转换处理流程图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，使用序数词 (例如，“第一和第二”、“第一至第四”等 )是为了对物体进行区分，并不限于该顺序，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明一种基于通道增强联合变换获得高迁移性的对抗样本生成方法，在一示例中，优选通过通道变换（CT）和通道不变补丁（CIP）对攻击图像做变换。具体地，首先由通道特异性引起的特征冗余表现出跨模型的可转移性。将这种变换视为一种模型增广变换，并将其纳入到对抗样本生成过程中。除了平移不变性、旋转不变性和尺度不变性外，神经网络模型还可能具有通道不变性。为了获得更多的模型增强变换，本发明提出了一种面向信道的损失保持变换。对原始图像实施通道变换提取通道冗余信息、实施通道不变补丁获得输入副本图像，计算副本图像的聚合梯度并纳入动量策略迭代地生成具有高迁移性的对抗样本。可选地，利用高迁移性的对抗样本对被攻击模型进行训练，能够提升模型的防御力。
本示例中，如图1所示，一种基于通道增强联合变换的对抗样本生成方法，具体包括以下步骤：
S1：对原始图像进行通道转换处理，得到转换图像集合；
S2：将转换图像输入源模型（白盒模型）进行特征提取处理并输出；
S3：计算分类标签的交叉熵损失在每一张转换图像上的梯度方向，将所有梯度求和得到聚合梯度方向；
S4：根据动量梯度法迭代地在原始图像上加入噪声，得到高迁移性的对抗样本。
具体地，步骤S1中通道转换处理可以为通道变换（CT）处理和/或通道不变补丁（CIP）处理，经通道变换处理得到第一转换图像，多张第一转换图像形成转换图像集合；经通道不变补丁处理得到第二转换图像，多张第一转换图像和/或第二转换图像形成转换图像集合。其中，CT对原始图像进行通道交换、混洗、擦除、削弱，寻找跨模型的信道冗余。经过通道变换后，输入图像仍然可以用相同的卷积核提取相似的特征映射。更重要的是，一些特征图显示了不同网络之间的高度相似性。这种现象促使本发明将这种跨模型冗余信息视为可转移特征。CIP分别在通道上构造弱化补丁，实现保损转换。这是一种通道级的尺度不变性，具体来说，通道弱化的不同程度并不影响模型的最终决策，或者损失非常相似。CIP通过保损变换实现模型增强，从而降低对抗样本对源模型的过度拟合。
本示例中，通道转换处理优选为通道变换处理和通道不变补丁处理，此时通道变换处理、通道不变补丁处理优选独立并行执行，分别得到第一转换图像（通道转换图像）、第二转换图像（通道不变补丁图像），多张第一转换图像、第二转换图像形成了转换图像集合。
更为具体地，如图2所示，通道变换处理包括：
对通道分解图像进行通道擦除处理和/或通道交换处理得到通道池；
对通道池进行采样处理，得到第一转换图像。
更为具体地，如图2所示，通道不变补丁处理包括：
选择通道分解图像中一随机区域作为弱化区域，对弱化区域进行像素削弱处理，得到通第二转换图像。
可选地，对原始图像进行通道转换处理时，可先对原始图像进行通道变换处理，得到的多张第一转换图像，再对第一转换图像进行通道不变补丁处理，得到第二转换图像，也是最终的转换图像集合。
进一步地，步骤S2中白盒模型可以为Inception-V3（Inc-V3）、Incepton-V4（Inc-V4）、IncheptionResNet-V2（IncRes-V2）、ResNet-V2-101（Res-101）等神经网络模型。将第一转换图像输入至模型中，计算模型的第一梯度，对各第一梯度进行聚合处理得到第一子聚合梯度；将第二转换图像输入至模型中，计算模型的第二梯度，对各第二梯度进行聚合处理得到第二子聚合梯度；再将第一子聚合梯度、第二子聚合梯度的和作为对抗性样例的搜索方向，计算得到聚合梯度；循环上述计算步骤，得到第t次迭代的聚合梯度，加入上一次迭代的梯度动量，获得t+1次的聚合梯度，根据t+1次的聚合梯度更新模型生成的图像样本，得到第t+1次迭代的对抗样本，继续迭代计算直至达到设置的迭代次数，得到最终高迁移性的对抗样本。
通道擦除用在大规模数据集ImagetNet上平均的特定值的矩阵替换一些通道，在一示例中通道擦除处理表达式为：
其中，表示对通道分解图像进行通道擦除处理；R,G,B分别表示图像红、绿、
蓝三个通道；表示擦除矩阵，如，表示通道B被擦除。
通道交换操作切换每个信道的顺序，在一示例中通道变换处理表达式为：
其中，表示对通道分解图像进行交换处理。
在一示例中，为了匹配穷举跨模型特征，本发明提出了一种用于搜索模型增强的
通道级融合方案，称为通道池重采样。具体来说，假设原始三通道图像x的大小为W×H×3，
将原始图像分解为三个通道，即, , ，然后添加一个擦除通道。因此，得到的通道
池ChannelPool表示为：
在一示例中，从通道池中采样新图像的每个通道表达式为：
其中，表示第一转换图像；Sample表示采样处理；*表示通道指数。本示例中，通
道池重新采样提供了穷举转换的可能性，允许找到更多的跨模型特征。
在一示例中，对通道池进行采样处理过程中，寻找对抗样本过程的优化目标为：
其中，表示对抗样本；m表示第一转换图像形成图像集合的大小；表示交叉熵
损失；表示输入模型的图像对应的真实标签值；s.t.表示约束条件；表示扰动的最大
值。
在一示例中，为了获得更多可能的轨迹用于模型增强，本发明设计了信道不变补
丁(CIP)策略来丰富输入的多样性。输入图像的每个通道被削弱到不同程度，这种削弱发生
在一个特定的补丁。具体来说，假设原始图像的大小为W×H×3。对于每个通道应用(R,G和
B)，随机选择矩形区域作为弱化区域，其大小和纵横比是随机的。在选定的区域内，
中的每个像素根据特定的比率被削弱，其中*表示相应的通道指数。这一过程可表述如
下：
其中，表示第二转换图像；m,n分别表示弱化区域的长度、宽度。
在一示例中，经过多次通道不变补丁处理，得到一个大小为n的集合，寻找对抗样
本过程的优化目标为：
在一示例中，生成高迁移性的对抗样本表达式为：
其中，表示第t+1次迭代得到的高迁移性的对抗样本，t+1次迭代为设置的目标
迭代次数；表示约束范围；表示第t次迭代得到的对抗样本；表示噪声；表示第
t+1次的聚合梯度。
将上述示例进行组合，得到本发明的优选示例，此时设置一个源模型F，一个具有真值标记y的良性例子（图像）x，最大摄动λ，迭代次数T和衰减因子动量µ；CT和CIP的样品数量：m,n，此时方法包括以下步骤：
S1’：首先对原始图像进行信道变换，得到个数为m的集合X1；将集合X1中的第一转
换图像输入至模型，并计算模型的第一梯度，对各第一梯度进行聚合处理得到第一子聚合
梯度；
S2’：对X1进行信道随机弱化补丁，得到个数为m的集合X2；将集合X2中的第二转换
图像输入至模型，并计算模型的第二梯度，对各第二梯度进行聚合处理得到第二子聚合梯
度；
S3’：使用和的和作为对抗性样例的搜索方向：
其中，表示梯度符号；i表示控制尺度缩放大小；y表示模型输出；表示模型参数；
S4’：计算得到聚合梯度：
S5’：循环步骤S1’-S4’，得到第t次迭代的聚合梯度为：
S6’：加入上一次迭代的梯度动量，获得t+1次的聚合梯度为：
S7’：获得第t+1次迭代的对抗样本：
S8’：循环步骤S5’-S7’直到完成设置的迭代次数，最终获得生成的对抗样本。
为说明本发明技术优势，采用公开数据集ImageNet对上述优选示例的技术效果进行验证。ImageNet是一个广泛使用的大规模图像数据集，被用于训练和评估计算机视觉算法，尤其是图像分类算法。该数据集由超过一百万张标记图像组成，涵盖了来自超过一千个不同类别的图像。ImageNet的目标是建立一个可供计算机视觉算法研究和评估的标准数据集。每个图像都被手动标记为属于其中一个类别，这些类别包括动物、物体、人物、场景等。例如，其中的类别包括狗、猫、汽车、飞机、沙滩等等。本发明所采用的测试数据集为ImageNet兼容数据集。该数据集共包含1000张图像。将数据集ImageNet中图像进行通道转换和通道不变补丁处理，得到通道转换图像；通道转换图像包含了大量的通道冗余信息，这些信息被充分提取用于寻找跨模型特征，从而提高对抗样本的迁移性；通道不变补丁通过通道级的保损变换实现模型增强。通道转换通过在通道池中采样获得了详尽的转换图像，这些图像的变换包含了通道交换、通道擦除、通道重置。通道不变补丁通过在通道池中采样获得了详尽的转换图像。最后计算通道转换图像的聚合梯度并纳入动量策略迭代地生成具有高迁移性的对抗样本，并进行对抗攻击。具体地，正常训练模型和对抗训练模型的攻击成功率如表1所示：
表1 正常训练模型和对抗训练模型的攻击成功率表
其中，第一列表示源模型，包括Inc-V3、Inc-V4、IncRes-v2、Res-101；第一行表示七个攻击目标模型，包括Inc-V3、Inc-v4、IncRes-V3、Res-101、IncRes-v3 ens3、IncRes-v3ens4、IncRes-v2 ens。CAAM是本发明对抗样本生成算法，DIM（Diverse Inputs Method,多样输入算法）、TIM（Translation-Invariant Method,翻译不变方法）、SIM（尺度不变攻击算法）、Admix（混合攻击）为现有对抗样本算法。进一步地，最佳结果以粗体显示；“*”表示源和目标模型相同，即白盒攻击。可以看出，本发明生成的对抗样本对各模型攻击效果好，即生成的对抗样本迁移性高；同时，本发明在正常训练模型（Inc-V3、Inc-v4、IncRes-V3、Res-101）上的平均攻击成功率为91.0%，在对抗训练模型（IncRes-v3 ens3、IncRes-v3 ens4、IncRes-v2 ens）上的平均攻击成功率为68.3%，比目前的最优攻击分别提高了4.1%和23.7%。另外，本发明还可以作为评估模型鲁棒性的基准。
进一步地，本发明可几乎零成本的和其他基于输入转换的对抗样本生成算法进行结合，不需要改变原有算法结构和流程。具体地，将DIM算法的攻击成功率分别与SIM、Addict和本发明方法CAAM相结合，此时攻击成功率如表2所示：
表2 对抗样本生成算法进行结合后的攻击成功率表
其中，第一列表示源模型，包括Inc-V3、Inc-V4、IncRes-v2、Res-101；第一行表示七个攻击目标模型，包括Inc-V3、Inc-v4、IncRes-V3、Res-101、IncRes-v3 ens3、IncRes-v3ens4、IncRes-v2 ens。CAAM是是本发明对抗样本生成算法，DIM、SIM、Admix为现有对抗样本算法，本实施例中将SIM算法、DIM算法进行结合得到SI-DIM，将Admix算法、DIM算法进行结合得到Admix-DIM，将CAAM算法、DIM算法进行结合得到CAAM-DIM。进一步地，最佳结果以粗体显示；“*”表示白盒攻击。根据表2可知，在和其他对抗样本算法结合后，本发明可以在所有白盒评估模型达到95%以上的错误识别率，在经过对抗训练的模型达到70%的错误识别率，是一种具有高迁移性的对抗样本生成方法。
进一步地，本发明所采用的算法实现计算复杂度低，无需搭建复杂的人工神经网络，不需要对庞大数据集进行高梯度的计算，对计算机硬件的要求较低，易于计算机视觉领域进行复现，同时通过修改图像数据集的领域，本发明可以运用到任何图像数据集上，是一种具有普适性的方法。
本实施例还提供了一种存储介质，与上述任一示例或多个示例组合形成的基于通道增强联合变换的对抗样本生成方法具有相同的发明构思，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组合形成的所述基于通道增强联合变换的对抗样本生成方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还包括一种终端，与上述基于通道增强联合变换的对抗样本生成方法对应的任一示例或多个示例组合具有相同的发明构思，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述基于通道增强联合变换的对抗样本生成方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在一示例中，终端即电子设备以通用计算设备的形式表现，电子设备的组件可以包括但不限于：上述至少一个处理单元（处理器）、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元执行，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元可以执行上述基于通道增强联合变换的对抗样本生成方法。
存储单元可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本示例性实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行本申请示例性实施例的方法。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。
Claims (10)
1.基于通道增强联合变换的对抗样本生成方法，其特征在于：包括以下步骤：
对原始图像进行通道分解处理得到通道分解图像；
对通道分解图像进行通道变换处理和/或通道不变补丁处理，得到转换图像集合；
通道变换处理包括：
对通道分解图像进行通道擦除处理和/或通道交换处理得到通道池；
对通道池进行采样处理，得到第一转换图像；
通道不变补丁处理包括：
选择通道分解图像和/或第一转换图像中一随机区域作为弱化区域，对弱化区域进行像素削弱处理，得到通第二转换图像；
将转换图像输入模型进行特征提取处理并输出；
计算分类标签的交叉熵损失在每一张转换图像上的梯度方向，将所有梯度求和得到聚合梯度方向；
根据动量梯度法迭代地在原始图像上加入噪声，得到高迁移性的对抗样本。
2.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：所述通道擦除处理表达式为：
;
其中，表示对通道分解图像/>进行通道擦除处理；R,G,B分别表示图像红、绿、蓝三个通道；/>表示擦除矩阵。
3.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：所述通道交换处理表达式为：
;
其中，表示对通道分解图像/>进行交换处理；R,G,B分别表示图像红、绿、蓝三个通道。
4.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：所述通道池ChannelPool为：
;
其中，表示通道分解图像；R,G,B分别表示图像红、绿、蓝三个通道；/>表示擦除矩阵。
5.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：所述对通道池进行采样处理表达式为：
;
其中，表示第一转换图像；Sample表示采样处理；ChannelPool表示通道池；/>表示通道分解图像；R,G,B分别表示图像红、绿、蓝三个通道；/>表示擦除矩阵；*表示通道指数。
6.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：对通道池进行采样处理过程中，寻找对抗样本过程的优化目标为：
其中，/>表示对抗样本；/>表示通道分解图像；m表示第一转换图像形成图像集合的大小；/>表示交叉熵损失；CT表示通道变换；/>表示输入模型的图像对应的真实标签值；s.t.表示约束条件；/>表示扰动的最大值。
7.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：所述对弱化区域进行像素削弱处理表达式为：
其中，/>表示通道分解图像；*表示通道指数；(a,b)表示像素点的位置；/>表示第二转换图像；/>表示削弱比率；/>表示弱化区域；m,n分别表示弱化区域的长度、宽度。
8.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：经过多次通道不变补丁处理，寻找对抗样本过程的优化目标为：
其中，/>表示对抗样本；/>表示通道分解图像；n表示第二转换图像形成图像集合的大小；/>表示交叉熵损失；CIP表示通道不变补丁处理；/>表示输入模型的图像对应的真实标签值；s.t.表示约束条件；/>表示扰动的最大值。
9.根据权利要求1所述的基于通道增强联合变换的对抗样本生成方法，其特征在于：生成高迁移性的对抗样本表达式为：
;
其中，表示第t+1次迭代得到的高迁移性的对抗样本，t+1次迭代为设置的目标迭代次数；/>表示约束范围；/>表示扰动的最大值；/>表示第t次迭代得到的对抗样本；/>表示噪声；/>表示第t+1次的聚合梯度。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求1-9任意一项所述的基于通道增强联合变换的对抗样本生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810309.6A CN116543268B (zh) | 2023-07-04 | 2023-07-04 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810309.6A CN116543268B (zh) | 2023-07-04 | 2023-07-04 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116543268A true CN116543268A (zh) | 2023-08-04 |
| CN116543268B CN116543268B (zh) | 2023-09-15 |
Family
ID=87449164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310810309.6A Active CN116543268B (zh) | 2023-07-04 | 2023-07-04 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543268B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
| CN109961145A (zh) * | 2018-12-21 | 2019-07-02 | 北京理工大学 | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 |
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN112364938A (zh) * | 2020-11-30 | 2021-02-12 | 北京有竹居网络技术有限公司 | 对抗样本生成方法、装置和电子设备 |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113487015A (zh) * | 2021-07-07 | 2021-10-08 | 中国人民解放军战略支援部队信息工程大学 | 基于图像亮度随机变换的对抗样本生成方法及系统 |
| CN113780557A (zh) * | 2021-11-11 | 2021-12-10 | 中南大学 | 基于免疫理论的对抗图像攻击方法、装置、产品及介质 |
| CN114048474A (zh) * | 2021-11-05 | 2022-02-15 | 中南大学 | 基于群体智能的图像识别后门防御方法、装置及介质 |
| CN114066912A (zh) * | 2021-11-23 | 2022-02-18 | 中国人民解放军战略支援部队信息工程大学 | 基于优化算法和不变性的智能对抗样本生成方法及系统 |
| CN114187483A (zh) * | 2021-10-25 | 2022-03-15 | 北京邮电大学 | 生成对抗样本的方法、检测器的训练方法及相关设备 |
| CN114283341A (zh) * | 2022-03-04 | 2022-04-05 | 西南石油大学 | 一种高转移性对抗样本生成方法、系统及终端 |
| CN114612688A (zh) * | 2022-05-16 | 2022-06-10 | 中国科学技术大学 | 对抗样本生成方法、模型训练方法、处理方法及电子设备 |
| WO2022126126A1 (en) * | 2020-12-09 | 2022-06-16 | University Of Florida Research Foundation, Inc. | Methods for prediction of neutronics parameters using deep learning |
| CN114861893A (zh) * | 2022-07-07 | 2022-08-05 | 西南石油大学 | 一种多通路聚合的对抗样本生成方法、系统及终端 |
| CN115100421A (zh) * | 2022-06-22 | 2022-09-23 | 西北工业大学 | 一种基于图像频域分解重构的对抗样本生成方法 |
| CN115631376A (zh) * | 2022-10-24 | 2023-01-20 | 北京百度网讯科技有限公司 | 对抗样本图像生成方法、训练方法及目标检测方法 |
| CN115730316A (zh) * | 2022-11-22 | 2023-03-03 | 南京信息工程大学 | 基于经验精确Nesterov动量的提升对抗样本可转移性的方法 |
| CN116052057A (zh) * | 2023-02-16 | 2023-05-02 | 合肥工业大学 | 基于自监督学习和预训练模型的跨模态行人重识别方法 |
| CN116052212A (zh) * | 2023-01-09 | 2023-05-02 | 河南大学 | 一种基于双重自监督学习的半监督跨模态行人重识别方法 |
| CN116310745A (zh) * | 2023-05-10 | 2023-06-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
-
2023
- 2023-07-04 CN CN202310810309.6A patent/CN116543268B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
| CN109961145A (zh) * | 2018-12-21 | 2019-07-02 | 北京理工大学 | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 |
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN112364938A (zh) * | 2020-11-30 | 2021-02-12 | 北京有竹居网络技术有限公司 | 对抗样本生成方法、装置和电子设备 |
| WO2022126126A1 (en) * | 2020-12-09 | 2022-06-16 | University Of Florida Research Foundation, Inc. | Methods for prediction of neutronics parameters using deep learning |
| CN113178255A (zh) * | 2021-05-18 | 2021-07-27 | 西安邮电大学 | 一种基于gan的医学诊断模型对抗攻击方法 |
| CN113487015A (zh) * | 2021-07-07 | 2021-10-08 | 中国人民解放军战略支援部队信息工程大学 | 基于图像亮度随机变换的对抗样本生成方法及系统 |
| CN114187483A (zh) * | 2021-10-25 | 2022-03-15 | 北京邮电大学 | 生成对抗样本的方法、检测器的训练方法及相关设备 |
| CN114048474A (zh) * | 2021-11-05 | 2022-02-15 | 中南大学 | 基于群体智能的图像识别后门防御方法、装置及介质 |
| CN113780557A (zh) * | 2021-11-11 | 2021-12-10 | 中南大学 | 基于免疫理论的对抗图像攻击方法、装置、产品及介质 |
| CN114066912A (zh) * | 2021-11-23 | 2022-02-18 | 中国人民解放军战略支援部队信息工程大学 | 基于优化算法和不变性的智能对抗样本生成方法及系统 |
| CN114283341A (zh) * | 2022-03-04 | 2022-04-05 | 西南石油大学 | 一种高转移性对抗样本生成方法、系统及终端 |
| CN114612688A (zh) * | 2022-05-16 | 2022-06-10 | 中国科学技术大学 | 对抗样本生成方法、模型训练方法、处理方法及电子设备 |
| CN115100421A (zh) * | 2022-06-22 | 2022-09-23 | 西北工业大学 | 一种基于图像频域分解重构的对抗样本生成方法 |
| CN114861893A (zh) * | 2022-07-07 | 2022-08-05 | 西南石油大学 | 一种多通路聚合的对抗样本生成方法、系统及终端 |
| CN115631376A (zh) * | 2022-10-24 | 2023-01-20 | 北京百度网讯科技有限公司 | 对抗样本图像生成方法、训练方法及目标检测方法 |
| CN115730316A (zh) * | 2022-11-22 | 2023-03-03 | 南京信息工程大学 | 基于经验精确Nesterov动量的提升对抗样本可转移性的方法 |
| CN116052212A (zh) * | 2023-01-09 | 2023-05-02 | 河南大学 | 一种基于双重自监督学习的半监督跨模态行人重识别方法 |
| CN116052057A (zh) * | 2023-02-16 | 2023-05-02 | 合肥工业大学 | 基于自监督学习和预训练模型的跨模态行人重识别方法 |
| CN116310745A (zh) * | 2023-05-10 | 2023-06-23 | 北京瑞莱智慧科技有限公司 | 图像处理方法、数据处理方法、相关装置及存储介质 |
Non-Patent Citations (10)
| Title |
|---|
| ADI SHAMIR 等: "A Simple Explanation for the Existence of Adversarial Examples with Small Hamming Distance", 《ARXIV》, pages 1 - 19 * |
| BIN LIN 等: "Enhancing the Adversarial Transferability with Channel Decomposition", 《COMPUTER SYSTEMS SCIENCE AND ENGINEERING》, vol. 46, no. 3, pages 3075 - 3085 * |
| GABRIEL R. MACHADO 等: "Adversarial Machine Learning in Image Classification: A Survey Towards the Defender’s Perspective", 《ARXIV》, pages 1 - 35 * |
| MANG YE 等: "Channel Augmented Joint Learning for Visible-Infrared Recognition", 《ICCV 2021》, pages 13547 - 13556 * |
| XIAOLEI LIU 等: "Automatic Selection Attacks Framework for Hard Label Black-Box Models", 《IEEE INFOCOM WKSHPS: BIGSECURITY 2022: INTERNATIONAL WORKSHOP ON SECURITY AND PRIVACY IN BIG DATA》, pages 1 - 7 * |
| XIAOSEN WANG 等: "Admix: Enhancing the Transferability of Adversarial Attacks", 《ICCV 2021》, pages 16158 - 16167 * |
| 朱佳琪: "注意力引导的图像对抗攻去技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2023, pages 138 - 1286 * |
| 郑德生 等: "基于输入通道拆分的对抗攻击迁移性增强算法", 《计算机工程》, vol. 49, no. 1, pages 130 - 137 * |
| 闫昊雷 等: "融合随机擦除和通道注意力的行人重识别方法", 《小型微型计算机系统》, vol. 43, no. 9, pages 1939 - 1945 * |
| 陈奕希 等: "基于深度学习的皮肤病图像分割与分类研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2023, pages 075 - 11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116543268B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Silva et al. | Opportunities and challenges in deep learning adversarial robustness: A survey | |
| CN110941794B (zh) | 一种基于通用逆扰动防御矩阵的对抗攻击防御方法 | |
| CN112115469A (zh) | 基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法 | |
| Mo et al. | MCTSteg: A Monte Carlo tree search-based reinforcement learning framework for universal non-additive steganography | |
| CN113822328A (zh) | 防御对抗样本攻击的图像分类方法、终端设备及存储介质 | |
| Chen et al. | Adversarial robustness for machine learning | |
| CN115719085B (zh) | 一种深度神经网络模型反演攻击防御方法及设备 | |
| CN112651459A (zh) | 深度学习图像对抗样本防御方法、装置、设备及存储介质 | |
| Zhan et al. | AMGmal: Adaptive mask-guided adversarial attack against malware detection with minimal perturbation | |
| Zanddizari et al. | Generating black-box adversarial examples in sparse domain | |
| Juuti et al. | Making targeted black-box evasion attacks effective and efficient | |
| Wang et al. | MSAAM: A multiscale adaptive attention module for IoT malware detection and family classification | |
| CN116543268B (zh) | 基于通道增强联合变换的对抗样本生成方法及终端 | |
| CN115398424A (zh) | 使用神经网络使函数模糊从输入代码创建安全变换代码的系统、方法和存储介质 | |
| Liu et al. | Model compression hardens deep neural networks: A new perspective to prevent adversarial attacks | |
| CN116824334A (zh) | 一种基于频域特征融合再构的模型后门攻击对抗方法 | |
| CN115861695A (zh) | 一种基于空间变换的后门攻击方法、装置和介质 | |
| Zhang et al. | Conditional generative adversarial network-based image denoising for defending against adversarial attack | |
| Westbrook et al. | Adversarial attacks on machine learning in embedded and iot platforms | |
| Wang et al. | Progressive defense against adversarial attacks for deep learning as a service in Internet of Things | |
| CN113507466A (zh) | 基于注意力机制，知识蒸馏防御后门攻击的方法及系统 | |
| Liang et al. | Towards robust deep learning with ensemble networks and noisy layers | |
| Vargas | One-Pixel Attack: Understanding and improving deep neural networks with evolutionary computation | |
| Luo et al. | Defective Convolutional Networks | |
| Yin et al. | VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |