CN115187784A - 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法 - Google Patents

一种基于孪生网络与集成增强决策的启发式对抗样本防御方法 Download PDF

Info

Publication number
CN115187784A
CN115187784A CN202210577326.5A CN202210577326A CN115187784A CN 115187784 A CN115187784 A CN 115187784A CN 202210577326 A CN202210577326 A CN 202210577326A CN 115187784 A CN115187784 A CN 115187784A
Authority
CN
China
Prior art keywords
sample
network
samples
input
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577326.5A
Other languages
English (en)
Inventor
邓鑫洋
郑皓楠
蒋雯
耿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210577326.5A priority Critical patent/CN115187784A/zh
Publication of CN115187784A publication Critical patent/CN115187784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于孪生网络与集成增强决策的启发式对抗样本防御方法，包括以下步骤：使用干净样本训练网络得到原始网络；基于原始网络与干净样本使用多组参数生成不同攻击强度的对抗样本；基于对抗样本与原始网络进行对抗训练，获得增强网络；合并原始网络与增强网络，构造孪生网络；对输入样本使用生成对抗网络进行输入去噪，并通过随机加噪，在一定程度上破坏可能存在的对抗性噪声；将数据增强后的样本集送入孪生网络分析获得一批分类数据；对此批分类数据进行投票式集成增强决策，获得最终分类结果。本设计无需对输入的样本进行检测，无论是干净样本还是对抗样本，本系统都能对其做出正确的分类结果，从而达到防御对抗样本的目的。

Description

一种基于孪生网络与集成增强决策的启发式对抗样本防御 方法
技术领域
本发明涉及计算机视觉安全领域，尤其是涉及一种基于孪生网络与集成增强决策的启发式对抗样本防御方法。
背景技术
对抗样本是指在计算机视觉领域中，通过对预输入神经网络的自然样本进行人为改动所产生的一批人造样本。这些样本在不影响人类视觉鉴别能力(例如图片分类，物体检测与识别等能力)的前提下，具有诱导神经网络输出错误的判断结果的能力(例如产生分类错误，定位错误等问题)。
对抗样本防御是指通过对神经网络进行优化，使其在尽可能保留对自然样本的判断能力的同时，具备能对对抗样本做出正确判断的能力。
对抗样本的存在对于今后人工智能设备应用部署是一个巨大的安全隐患。人工智能设备的误判可能给用户的使用体验乃至生命安全产生一定程度上的威胁。由于计算机视觉领域存在上述问题，而现有的对抗样本防御方法训练过程复杂，使用的神经网络体积庞大，这使得整个防御体系存在训练时间长，调试成本高，保存网络参数所需空间大等缺陷，性能提升空间很大，因此对抗样本防御方法依然有很大的研究价值。
发明内容
针对上述技术问题，本发明提供一种基于孪生网络与集成增强决策的启发式对抗样本防御方法，此方法在保留对自然样本的判断能力的同时，具备能对对抗样本做出正确判断的能力，同时兼具网络模型小的优点，两个子网络并行的设计不会增加额外的推理时间，可以保证分类的实时性。本发明的主要创新点在于使用多强度对抗样本集专门训练的生成对抗网络作为对抗性噪声去噪器，以及后续的结合样本扩增，孪生网络与投票式决策的分类器体系。
为实现上述目的，本发明采用的技术方案为：
步骤一、构建孪生网络：
步骤101：使用提前标注了正确分类结果的干净训练集
Figure BDA0003660861750000021
在标签数据
Figure BDA0003660861750000022
的监督下对ResNet18网络进行训练，使其具备对干净样本进行分类的基本能力，保存此网络模型及参数，即为原始网络F1。其中c为输入图片的图层数，h为输入图片的高，w为输入图片的宽，h×w即为输入图像的像素数，m为分类问题的类别数；
步骤102：在步骤101中获得的原始网络F1的基础上对干净训练样本集
Figure BDA0003660861750000023
使用PGD算法生成对抗样本集
Figure BDA0003660861750000024
对抗样本集X1应为多强度对抗样本集，即同时包含了使用不同噪声强度ε，迭代噪声α与迭代次数iter生成的具有多种攻击强度的对抗样本，能够诱导原始网络F1做出错误的分类结果。使用多强度对抗样本集X1微调原始网络F1(使用比步骤101训练过程中更小的学习率)，获得增强网络F2。F2将获得对多强度对抗样本的防御能力，即能够正确分类多强度对抗样本，并且兼具对干净样本的分类能力(相较于原始网络F1会有一定的减弱)；
步骤103：并联原始网络F1与增强网络F2获得孪生网络，原始网络F1针对干净样本的较强的分类能力将作为补偿，弥补增强网络 F2对干净样本分类能力的下降。
步骤二、训练生成对抗网络，使用生成器进行样本去噪：
步骤201：生成器网络模型G包括：Conv1、Conv2_x、Conv3_x、 Conv4_x、Conv5_x、Conv1_d、Conv2_d。使用包含两个3×3的卷积层的Conv1，对输入样本
Figure BDA0003660861750000031
进行浅层特征提取得到特征图
Figure BDA0003660861750000032
对浅层特征
Figure BDA0003660861750000033
先使用残差块Conv2_x主连接进一步提取得到深层特征
Figure BDA0003660861750000034
再使用残差块Conv2_x 残差连接得到特征采样
Figure BDA0003660861750000035
合并后得到残差块Conv2_x输出的混合特征
Figure BDA0003660861750000036
后续残差块操作相同。连接两个转置卷积层Conv1_d、Conv2_d将特征图
Figure BDA0003660861750000037
的特征图层数c5压缩回c，得到输出
Figure BDA0003660861750000038
并使用残差连接将最初的输入图片连接到输出,最终得到
Figure BDA0003660861750000039
此时整个主连接的任务就是学习输出一个补偿图片
Figure BDA00036608617500000310
补偿图片与输入图片相加后可以抵消掉输入图片中的噪声信号，达到对输入去噪的目的。鉴别器网络D 使用残差块提取输入图片的特征，需要学习一个二分类问题，即若输入图片来自生成器去噪后的样本则输出0，若输入图片是原始干净样本则输出1；
步骤202：训练时，首先获得一个干净样本
Figure BDA0003660861750000041
对此干净样本生成对抗样本
Figure BDA0003660861750000042
X1先经过生成器去噪，去噪后记为
Figure BDA0003660861750000043
x经过鉴别器的输出为y，Gz输入鉴别器获得输出y1；
步骤203：对于生成器而言，首先期望生成器的输出Gz足以迷惑鉴别器，让鉴别器误以为Gz是干净样本而不是去噪样本，因此使用生成器损失函数1更新生成器。此损失函数越小，代表Gz经过鉴别器后的输出越接近1，说明Gz越接近干净样本。损失函数1公式：lossG1＝-lny1。其次，期望生成器的输出Gz与输入样本相差不大，因此使用改良后的峰值信噪比作为生成器损失函数2更新生成器。损失函数2公式：
Figure BDA0003660861750000044
步骤204：对于鉴别器而言，期望鉴别器具备分辨能力，即分辨输入图片是真正的干净样本x，还是来自鉴别器去噪后的样本Gz，因此使用鉴别器损失函数更新鉴别器。此损失函数减小，代表x经过鉴别器的输出越接近1，Gz经过鉴别器的输出越接近0。鉴别器损失函数公式：lossD＝-[logy+log(1-y1)]；
步骤三、对输入图片进行去噪与随机加噪，获得扩增样本集：
步骤301：对输入样本像素进行归一化处理，将8位无符号整型的像素值除以255，从而使像素值的取值范围在0至1之间，并将输入样本统一调整为
Figure BDA0003660861750000045
方便神经网络提取特征；
步骤302：使用步骤二中训练得到的生成器进行样本去噪，采取端到端的方式，即输入为图片数据，输出也为图片数据，输入图片经过生成器网络的处理，一定程度上去除可能存在的对抗性噪声；
步骤303：对经过生成器网络处理后的去噪图片添加随机噪声：
Figure BDA0003660861750000051
考虑到对抗样本只是干净样本在被人为添加扰动后的一些特例，而生成器网络去噪有一定概率消除对抗样本的攻击性，通过添加随机噪声将去噪样本映射到样本空间的其他随机位置，这些添加随机噪声后的扩增样本在大概率上会失去原有的攻击性。考虑到输入样本与去噪样本仍具有其价值，因此将输入样本，去噪样本及添加随机噪声的样本全部打包作为输入样本的扩增样本集等待后续处理。
步骤四、集成增强决策：
步骤401：对于扩增样本集中的某张样本而言：孪生网络的子网络F1、F2会独立地对此样本做出判断，分别输出一个分类向量
Figure BDA0003660861750000052
(可选类别共有m类，则向量长度为m，每个元素值表示此类别的得分数。若第k个元素的值最大，则第k类得分最高，代表此样本图片被分类为第k类)。分类向量y的每个元素值分别做归一化处理
Figure BDA0003660861750000053
使得得分值在同一个尺度约束下。处理后分类向量的元素值将统一处于0至1之间，最终分类向量为：
Figure BDA0003660861750000054
考虑到扩增样本集中的多数样本经过数据去燥与随机加噪后失去了其对抗性，不再是对抗样本，因此原始网络F1的分类向量y1可信度更高，故其权重略大。最终分类向量y中第k个元素值最大，则认为此样本为第k类；
步骤402：获得输入样本的扩增样本集中每一个样本的分类结果，扩增样本集中有n张样本则将获得n个分类结果，取分类结果中的最多的一个作为输入样本的最终分类结果。
本发明的有益效果在于：
1.使用生成对抗网络进行对抗样本去噪，训练生成对抗网络的数据集是对抗样本集与干净样本集，对抗样本集是使用最强的一阶攻击生成的多尺度对抗样本集，因此生成器网络将在一定程度上具备对多尺度对抗噪声的消除功能。
2.通过对输入样本进行随机加噪扩增样本集，以及对分类结果进行投票式决策，无论输入样本是否是对抗样本，均可以以较高的概率获得输入样本的正确分类结果，从而具备对对抗样本的防御作用。
附图说明
图1为本发明的防御系统示意图；
图2为分类流程图；
图3为孪生网络的子网络结构表；
图4为子网络残差块结构表；
具体实施方式
下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1表示的是一种基于孪生网络与集成增强决策的启发式对抗样本防御系统示意图，在图1系统中，依图2流程完成对输入样本的分类过程。
如图2所示，包含具体步骤如下：
S1：对数据集整体进行样本去噪与样本扩增：将数据集尺寸拉伸为224×224，使用生成对抗网络进行数据去噪，再对样本添加多组随机噪声。打包输入样本，去噪样本及添加随机噪声后的若干样本作为输入样本的扩增样本集送入孪生网络；
S2：构建孪生网络：利用干净样本训练集
Figure BDA0003660861750000071
训练具有基本图片分类功能的卷积神经网络F1，样本集X在网络F1上生成多尺度对抗样本集
Figure BDA0003660861750000072
使用样本集X1对网络F1进行微调对抗训练获得增强网络F2。并联原始网络F1与增强网络F2获得孪生网络，利用原始网络F1对干净样本的高识别率启发整体的分类结果；
S3：集成增强决策：将S1获得的输入样本集送入孪生网络中，样本集中的每张样本均会得到子网络F1、F2产生的两组并行输出，对这两组并行输出进行集成，得到此样本的分类结果。此后，通过对扩增样本集中的所有样本均取得其分类结果，并对这些分类结果进行增强决策，取得对输入样本的最终分类结果。
所述S1包括以下步骤：
S11：对输入样本像素进行归一化处理，将8位无符号整型的像素值除以255，从而使像素值的取值范围在0至1之间。并将输入样本的尺寸统一调整为
Figure BDA0003660861750000081
方便神经网络提取特征；
S12：生成对抗网络的生成器采取端到端的方式，即输入为图片数据，输出也为图片数据，输入图片经过生成器网络的处理，一定程度上去除可能存在的人为添加噪声；
S13：对经过生成器网络处理后的去噪图片添加随机噪声：
Figure BDA0003660861750000082
考虑到对抗样本只是干净样本在被人为添加扰动后的一些特例，而生成器网络去噪有一定概率消除对抗样本的攻击性，通过添加随机噪声将去噪样本映射到样本空间的其他随机位置，这些添加随机噪声后的扩增样本在大概率上会失去原有的攻击性。考虑到输入样本与去噪样本仍具有其价值，因此将输入样本，去噪样本及添加随机噪声集体打包作为输入样本的扩增样本集等待后续处理。
所述S2包括以下步骤：
S21：构建并训练卷积神经网络ResNet18，如图3所示，包括一 个卷积块与四个残差块分别为Conv1，BasicBlock1，BasicBlock2， BasicBlock3，BasicBlock4，残差块包括两个3×3的卷积层。卷积块 首先对输入的图片数据提取浅层特征，每个残差块都对浅层与深层特 征进行特征融合，对融合特征进行分析后向下一个残差块传递新的特 征图，最终经过全连接神经网络获得图片数据的分类结果；
S22：使用提前标注了正确分类结果的干净训练集X对ResNet18 网络进行训练，使其具备对干净样本进行分类的基本能力，保存此网络模型及参数，即为原始网络F1；
S23：在S22中获得的原始网络F1的基础上对干净训练样本集X 使用PGD算法生成对抗样本集X1。对抗样本集X1应包含多强度对抗样本，例如先在距离干净样本无穷范数为0.03的样本空间中使用 0.004的约束距离迭代20次取得第一批对抗样本，再在距离干净样本无穷范数为0.06的样本空间中使用0.007的约束距离迭代20次取得第二批对抗样本，最后在距离干净样本无穷范数为0.09的样本空间中使用0.010的约束距离迭代20次取得第三批对抗样本。使用多强度对抗样本集X1微调(使用比S22训练过程中更小的学习率)原始网络F1，获得增强网络F2。F2将获得对多强度对抗样本具有防御性的能力，并且兼具对干净样本的分类能力(相较于原始网络F1会有一定的减弱)；
S24：并联原始网络F1与增强网络F2获得孪生网络，原始网络 F1针对对干净样本的较强的分类能力将对网络的最终分类结果具有一定的启发性。
所述S3包括以下步骤：
S31：将S1中获得的扩增样本集送入S2中获得的孪生网络中，对于扩增样本集中的某张样本而言：孪生网络的子网络F1、F2会独立地对此样本做出判断，分别输出一个分类向量y1，y2(可选类别共有c类，则向量长度为c，每个元素值表示此类别的分数。若第k个元素的值最大，则代表此样本图片被分类为第k类)。分类向量y的每个元素值分别做归一化处理：
Figure BDA0003660861750000101
处理后分类向量的元素值将统一处于0至1之间，最终分类向量为：
Figure BDA0003660861750000102
考虑到扩增样本集中的多数样本经过数据去燥与随机加噪后失去了其对抗性，不再是对抗样本，因此原始网络F1的分类向量y1可信度更高，故增加了其权重。最终分类向量y中第k个元素值最大，则认为此样本为第k类；
S32：获得扩增样本集中的每一个样本的分类结果，扩增样本集中有n张样本则将获得n个分类结果，取分类结果中的最多的一个作为最终的分类结果。至此输入样本经过数据去燥与随机加噪，孪生网络的推理分析与对输出分类向量的集成增强决策，获得了其最终分类结果。
所述S12包括以下步骤：
S121：生成器网络模型G包括：Conv1、Conv2_x、Conv3_x、 Conv4_x、Conv5_x、Conv1_d、Conv2_d。使用包含两个3×3的卷积层的Conv1，对输入样本
Figure BDA0003660861750000103
进行浅层特征提取得到特征图
Figure BDA0003660861750000104
对浅层特征
Figure BDA0003660861750000105
先使用残差块Conv2_x主连接进一步提取得到深层特征
Figure BDA0003660861750000106
再使用残差块Conv2_x 残差连接得到特征采样
Figure BDA0003660861750000107
合并后得到残差块Conv2_x输出的混合特征
Figure BDA0003660861750000108
后续残差块操作相同。连接两个转置卷积层Conv1_d、Conv2_d将特征图
Figure BDA0003660861750000109
的特征图层数c5压缩回c，得到输出
Figure BDA0003660861750000111
并使用残差连接将最初的输入图片连接到输出,最终得到
Figure BDA0003660861750000112
此时整个主连接的任务就是学习输出一个补偿图片
Figure BDA0003660861750000113
补偿图片与输入图片相加后可以抵消掉输入图片中的噪声信号，达到对输入去噪的目的；
S122：鉴别器网络D使用残差块提取输入图片的特征，最终输出一个0至1之间的值，鉴别器需要学习：若输入图片来自生成器去噪后的样本则输出0，若鉴别器输入图片是干净样本则输出1。
S123：训练时，首先获得一个干净样本x，对此干净样本生成对抗样本x1。x经过鉴别器的输出为y，x1先经过生成器去噪，去噪后记为Gz，将Gz输入鉴别器获得输出y1。
S124：对于生成器而言，期望生成器的输出Gz足以迷惑鉴别器，让鉴别器误以为Gz是干净样本而不是去噪样本，因此使用生成器损失函数1更新生成器。此损失函数越小，代表Gz经过鉴别器后的输出越接近1，说明Gz越接近干净样本。损失函数公式：
lossG1＝-lny1
其次，期望生成器的输出Gz与输入样本相差不大，因此使用改良后的峰值信噪比作为生成器损失函数2更新生成器。损失函数公式：
Figure BDA0003660861750000114
S125：对于鉴别器而言，期望鉴别器具备分辨能力，即分辨输入图片是真正的干净样本x，还是来自鉴别器去噪后的样本Gz，基于此定义鉴别器损失函数。此损失函数减小，代表x经过鉴别器的输出越接近1，Gz经过鉴别器的输出越接近0。损失函数公式：
lossD＝-[logy+log(1-y1)] 。

Claims (1)

1.一种基于孪生网络与集成增强决策的启发式对抗样本防御方法，其特征在于：包括以下步骤：
步骤一、构建孪生网络：
步骤101：使用提前标注了正确分类结果的干净训练集
Figure FDA0003660861740000011
在标签数据
Figure FDA0003660861740000012
的监督下对ResNet18网络进行训练，使其具备对干净样本进行分类的基本能力，保存此网络模型及参数，即为原始网络F1。其中c为输入图片的图层数，h为输入图片的高，w为输入图片的宽，h×w即为输入图像的像素数，m为分类问题的类别数；
步骤102：在步骤101中获得的原始网络F1的基础上对干净训练样本集
Figure FDA0003660861740000013
使用PGD算法生成对抗样本集
Figure FDA0003660861740000014
对抗样本集X1应为多强度对抗样本集，即同时包含了使用不同噪声强度ε，迭代噪声α与迭代次数iter生成的具有多种攻击强度的对抗样本，能够诱导原始网络F1做出错误的分类结果。使用多强度对抗样本集X1微调原始网络F1(使用比步骤101训练过程中更小的学习率)，获得增强网络F2。F2将获得对多强度对抗样本的防御能力，即能够正确分类多强度对抗样本，并且兼具对干净样本的分类能力(相较于原始网络F1会有一定的减弱)；
步骤103：并联原始网络F1与增强网络F2获得孪生网络，原始网络F1针对干净样本的较强的分类能力将作为补偿，弥补增强网络F2对干净样本分类能力的下降。
步骤二、训练生成对抗网络，使用生成器进行样本去噪：
步骤201：生成器网络模型G包括：Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x、Conv1_d、Conv2_d。使用包含两个3×3的卷积层的Conv1，对输入样本
Figure FDA0003660861740000021
进行浅层特征提取得到特征图
Figure FDA0003660861740000022
对浅层特征
Figure FDA0003660861740000023
先使用残差块Conv2_x主连接进一步提取得到深层特征
Figure FDA0003660861740000024
再使用残差块Conv2_x残差连接得到特征采样
Figure FDA0003660861740000025
合并后得到残差块Conv2_x输出的混合特征
Figure FDA0003660861740000026
后续残差块操作相同。连接两个转置卷积层Conv1_d、Conv2_d将特征图
Figure FDA0003660861740000027
的特征图层数c5压缩回c，得到输出
Figure FDA0003660861740000028
并使用残差连接将最初的输入图片连接到输出,最终得到
Figure FDA0003660861740000029
此时整个主连接的任务就是学习输出一个补偿图片
Figure FDA00036608617400000210
补偿图片与输入图片相加后可以抵消掉输入图片中的噪声信号，达到对输入去噪的目的。鉴别器网络D使用残差块提取输入图片的特征，需要学习一个二分类问题，即若输入图片来自生成器去噪后的样本则输出0，若输入图片是原始干净样本则输出1；
步骤202：训练时，首先获得一个干净样本
Figure FDA00036608617400000211
对此干净样本生成对抗样本
Figure FDA00036608617400000212
X1先经过生成器去噪，去噪后记为
Figure FDA00036608617400000213
x经过鉴别器的输出为y，Gz输入鉴别器获得输出y1；
步骤203：对于生成器而言，首先期望生成器的输出Gz足以迷惑鉴别器，让鉴别器误以为Gz是干净样本而不是去噪样本，因此使用生成器损失函数1更新生成器。此损失函数越小，代表Gz经过鉴别器后的输出越接近1，说明Gz越接近干净样本。损失函数1公式：lossG1＝-lny1。其次，期望生成器的输出Gz与输入样本相差不大，因此使用改良后的峰值信噪比作为生成器损失函数2更新生成器。损失函数2公式：
Figure FDA0003660861740000031
步骤204：对于鉴别器而言，期望鉴别器具备分辨能力，即分辨输入图片是真正的干净样本x，还是来自鉴别器去噪后的样本Gz，因此使用鉴别器损失函数更新鉴别器。此损失函数减小，代表x经过鉴别器的输出越接近1，Gz经过鉴别器的输出越接近0。鉴别器损失函数公式：lossD＝-[logy+log(1-y1)]；
步骤三、对输入图片进行去噪与随机加噪，获得扩增样本集：
步骤301：对输入样本像素进行归一化处理，将8位无符号整型的像素值除以255，从而使像素值的取值范围在0至1之间，并将输入样本统一调整为
Figure FDA0003660861740000032
方便神经网络提取特征；
步骤302：使用步骤二中训练得到的生成器进行样本去噪，采取端到端的方式，即输入为图片数据，输出也为图片数据，输入图片经过生成器网络的处理，一定程度上去除可能存在的对抗性噪声；
步骤303：对经过生成器网络处理后的去噪图片添加随机噪声：
Figure FDA0003660861740000033
考虑到对抗样本只是干净样本在被人为添加扰动后的一些特例，而生成器网络去噪有一定概率消除对抗样本的攻击性，通过添加随机噪声将去噪样本映射到样本空间的其他随机位置，这些添加随机噪声后的扩增样本在大概率上会失去原有的攻击性。考虑到输入样本与去噪样本仍具有其价值，因此将输入样本，去噪样本及添加随机噪声的样本全部打包作为输入样本的扩增样本集等待后续处理。
步骤四、集成增强决策：
步骤401：对于扩增样本集中的某张样本而言：孪生网络的子网络F1、F2会独立地对此样本做出判断，分别输出一个分类向量
Figure FDA0003660861740000041
(可选类别共有m类，则向量长度为m，每个元素值表示此类别的得分数。若第k个元素的值最大，则第k类得分最高，代表此样本图片被分类为第k类)。分类向量y的每个元素值分别做归一化处理
Figure FDA0003660861740000042
使得得分值在同一个尺度约束下。处理后分类向量的元素值将统一处于0至1之间，最终分类向量为：
Figure FDA0003660861740000043
考虑到扩增样本集中的多数样本经过数据去燥与随机加噪后失去了其对抗性，不再是对抗样本，因此原始网络F1的分类向量y1可信度更高，故其权重略大。最终分类向量y中第k个元素值最大，则认为此样本为第k类；
步骤402：获得输入样本的扩增样本集中每一个样本的分类结果，扩增样本集中有n张样本则将获得n个分类结果，取分类结果中的最多的一个作为输入样本的最终分类结果。
CN202210577326.5A 2022-05-25 2022-05-25 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法 Pending CN115187784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577326.5A CN115187784A (zh) 2022-05-25 2022-05-25 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577326.5A CN115187784A (zh) 2022-05-25 2022-05-25 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法

Publications (1)

Publication Number Publication Date
CN115187784A true CN115187784A (zh) 2022-10-14

Family

ID=83513762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577326.5A Pending CN115187784A (zh) 2022-05-25 2022-05-25 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法

Country Status (1)

Country Link
CN (1) CN115187784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809169A (zh) * 2024-03-01 2024-04-02 中国海洋大学 一种小样本水下声呐图像分类方法及其模型搭建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809169A (zh) * 2024-03-01 2024-04-02 中国海洋大学 一种小样本水下声呐图像分类方法及其模型搭建方法
CN117809169B (zh) * 2024-03-01 2024-04-30 中国海洋大学 一种小样本水下声呐图像分类方法及其模型搭建方法

Similar Documents

Publication Publication Date Title
CN113554089B (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
Hosseini et al. Google's cloud vision api is not robust to noise
CN110569916B (zh) 用于人工智能分类的对抗样本防御系统及方法
CN115588226A (zh) 一种高鲁棒性的深度伪造人脸检测方法
Wang et al. A posteriori hyperspectral anomaly detection for unlabeled classification
CN111783890B (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
CN111915486B (zh) 基于图像超分辨重建的对抗样本防御方法
CN113379618B (zh) 基于残差密集连接和特征融合的光学遥感图像去云方法
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN113627543B (zh) 一种对抗攻击检测方法
Hosseini et al. Are odds really odd? bypassing statistical detection of adversarial examples
CN111598787A (zh) 生物雷达图像去噪方法、装置、电子设备及其存储介质
CN111222442A (zh) 一种电磁信号分类方法和装置
CN114626042B (zh) 一种人脸验证攻击方法和装置
CN112990357B (zh) 一种基于稀疏扰动的黑盒视频对抗样本生成方法
CN115187784A (zh) 一种基于孪生网络与集成增强决策的启发式对抗样本防御方法
CN111783853A (zh) 一种基于可解释性的检测并恢复神经网络对抗样本方法
Hosseini et al. Dropping pixels for adversarial robustness
Sun et al. Complete defense framework to protect deep neural networks against adversarial examples
CN114049537B (zh) 一种基于卷积神经网络的对抗样本防御方法
CN115376010A (zh) 一种高光谱遥感影像分类方法
Nakhwan et al. Comparison analysis of data augmentation using bootstrap, gans and autoencoder
CN113378620B (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN111047537A (zh) 一种图像去噪中恢复细节的系统
Gong et al. AGRAMPLIFIER: Defending federated learning against poisoning attacks through local update amplification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination