CN108710892A - 面向多种对抗图片攻击的协同免疫防御方法 - Google Patents

Abstract

本发明公开了一种面向多种对抗图片攻击的协同免疫防御方法，包括：1)根据正常图片和已有攻击生成的对抗图片，即对抗样本训练不同结构的对抗样本子分类器，并用遗传算法进行优化。2)用多个对抗样本子分类器对用于检测的图片进行检测，共同判断是否为对抗样本以及对抗样本的种类。3)若在检测过程中发现新型攻击方法，用正常图片和新型对抗样本训练新型对抗样本分类器；训练完成后，对被判为正常的图片再次进行判断；并在一定时间后重新训练整个对抗样本分类器。本发明对新型对抗样本生成专门的新型对抗样本分类器，减少了对新型对抗样本进行防御的时间，提高了对新型对抗样本的防御效果。

Description

面向多种对抗图片攻击的协同免疫防御方法

技术领域

本发明属于深度学习安全技术领域，具体涉及面向多种对抗图片攻击的协同免疫防御方法。

背景技术

深度学习是机器学习的一个分支，自2006年被提出以来，受到了学术界的广泛关注及研究。深度学习主要是模仿人脑，通过多层感知机将低层特征抽象成更高层的属性或特征，以发现数据的分布式特征表示，具有更强大的特征学习和特征表达能力。其中卷积神经网络(CNN)被广泛的应用到图像分类、目标检测、图像语义分割等领域，并取得一系列的突破性研究。

然而随着深度学习模型在图像识别上的广泛应用，深度学习的抗干扰、攻击能力也逐渐成为人们关注的重点。无论是训练数据本身还是算法设计都存在着潜在的安全隐患，该类隐患会使得基于该类算法的应用存在安全问题，例如人脸识别错误从而获得高级权限或泄露隐私，自动驾驶识别错误从而发生车祸，安全监控无法识别到人从而无法发出警报等。

在自然界中，生物的免疫系统可以保护生物自身免受外界抗原的侵害。受此的启发，人们提出了人工免疫算法，用以识别计算机科学领域中受到的侵害或者异常，并在故障诊断、病毒检测、异常检测等领域取得了良好的结果。而深度学习在图像识别上的安全性问题在一定程度上也可以算作异常检测，但和普通的检测器不同，深度学习的检测器需要更长的训练时间。所以，如何有效地防御多种攻击和并对新型攻击进行检测是深度学习检测的重点。

综上所述，如何利用免疫方法对多种攻击模型产生的对抗样本进行防御，具有极其重要的理论与实践意义。

发明内容

为了提高图像分类器对多种对抗样本的防御效果，本发明提供了一种面向多种对抗图片攻击的协同免疫防御方法。该方法利用多个子检测器对对抗样本进行协同免疫，若检测出对抗样本则发出警报，若为正常图片则输入到图像分类器中，以实现对对抗样本的有效防御，提高图像分类器的分类精度。

为实现上述发明目的，本发明提供以下技术方案：

一种面向多种对抗图片攻击的协同免疫防御方法，包括以下步骤：

(1)将正常图片P输入到多种攻击模型中，生成与共计模型对应的多种对抗样本；

(2)构建m个不同对抗样本子检测器结构，每个对抗样本子检测器结构均包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、第三卷积模块、第三池化模块、第四卷积模块、第四池化模块、全连接模块，不同对抗样本子检测器结构的同一层模块的输入输出数据维度相同；

(3)将多种对抗样本和正常图片P作为对当前抗样本子检测器结构的输入，将多种对抗样本和正常图片P对应的真值标签作为当前对抗样本子检测器结构的真值输出，分别对m个对抗样本子检测器结构进行训练，获得m个对抗样本子检测器；

(4)计算每个对抗样本子检测器的分类准确率，利用分类准确率较高的对抗样本子检测器替换记忆池中与该对抗样本子检测器相似度最高且比该对抗样本子检测器分类准确率低的对抗样本子检测器，以此更新记忆池中的k个对抗样本子检测器；

(5)计算每个对抗样本子检测器的期望繁殖率；

(6)在满足迭代终止条件时，将记忆池中k个对抗样本子检测器构成对抗样本检测器CNN1，否则，执行步骤(7)；

(7)根据期望繁殖率对随机选择的一个或两个对抗样本子检测器结构进行克隆，获得一个或两个新对抗样本子检测器结构；

(8)迭代执行步骤(7)，直到获得m个新对抗样本子检测器结构为止，将m个新对抗样本子检测器结构作为当前抗样本子检测器结构，跳转执行步骤(3)；

(9)当出现新型攻击方法生成的新型对抗样本S时，将新型对抗样本S和正常图片P作为训练集，按照步骤(2)～步骤(8)的方式获得新型对抗样本检测器CNN2；

(10)将待检测图片输入到对抗样本检测器CNN1进行检测，待检测结果为正常图片后，将该待检测图片输入到新型对抗样本检测器CNN2进行检测，待检测结果输出正常图片后，输入到图像分类器中，实现对待检测图片的分类。

本发明从模块选择器中随机选择不同的模块组成不同的检测器，再用遗传算法对检测器进行进化，得到多个优质的子检测器，最后用多个子检测器对样本进行分类，能够尽早识别新型攻击，减少对新型攻击的训练时间，提高对新型攻击的防御效果。本发明提供的方法中，在对检测器进行训练过程中，只需要对该类对抗样本进行增量训练即可，不需要重新训练整个模型，从而使得算法应用更加灵活，具有普适性。

其中，在每个对抗样本子检测器结构中，所述卷积模块为普通卷积模块、单层卷积模块、densenet模块或resnet模块，每个模块含有c₁个卷基层，c₁∈{1,2,3,4,5}；每个卷基层有着c₂*c₂的卷积核，c₂∈{1,3,5}，c₃个通道，c₃由卷积模块在对抗样本子检测器结构中的位置所决定。所述池化模块为2*2随机池化模块、2*2均方根池化模块、2*2最大值池化模块或2*2均值池化模块。所述全连接模块包含c₄个全连接层，c₄∈{1,2,3,4}，且最后一层均为y个节点，y为对抗样本的种类加一。

本发明中，构建的m个不同对抗样本子检测器结构中，每个结构均由9个模块组成，但是每两个对抗样本子检测器结构至少有一个模块的结构不同。例如，对于对抗样本子检测器结构A1，第一卷积模块A1conv₁为单层卷积模块，对于对抗样本子检测器结构A2，第一卷积模块A2conv₁为普通卷积模块，虽然，两个对抗样本子检测器结构的第一个模块均为第一卷积模块，但是由于其具体的卷积模块的结构不同，造成两个对抗样本子检测器结构不同。

本发明，将检测器结构模块化，生成多种不同结构的检测器，并用一遗传算法对结构进行优化，使其具有潜在的并行性。

优选地，步骤(4)中，利用公式(1)获得对抗样本子检测器的分类准确率：

其中，TP表示将正常图片识别为正常图片的个数，TN表示将对抗样本识别为对抗样本的个数，FP表示将对抗样本识别为正常图片的个数，FN表示将正常图片识别为对抗样本的个数。

优选地，步骤(4)中，利用公式(2)～(4)获得相似度：

其中，Sim_v表示第v个对抗样本子检测器和其他对抗样本子检测器之间的相似度，k'表示记忆池中对抗样本子检测器的个数，Ed_vw是第v个对抗样本子检测器和第w个对抗样本子检测器的相似性；

其中，α为常数，ed_vw表示对第v个抗样本子检测器和第w个对抗样本子检测器之间的相似度，

其中v_i表示第v个抗样本子检测器的第i个结构在记忆池中的位置，l表示结构的测层数，l＝9。

优选地，步骤(5)中，通过公式(5)获得期望繁殖率：

其中，Ac_v表示第v个抗样本子检测器的分类准确率，e_v表示第v个子检测器的期望繁殖率。

优选地，步骤(7)中，通过以下方式完成对对抗样本子检测器结构的克隆；

若选择一个对抗样本子检测器，将对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块；

若选择两个对抗样本子检测器，则将每个对抗样本子检测器结构中第一卷积模块、第一池化模块、第二卷积模块和第二池化模块为一组，第三卷积模块、第三池化模块、第四卷积模块和第四池化模块为一组，全连接模块为一组，将两个对抗样本子检测器结构中的任意一组进行对换，再根据概率，将对换以后的对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块。

优选地，步骤(10)中，将待检测图片输入到对抗样本检测器CNN1中，利用对抗样本检测器CNN1的k个对抗样本子检测器分别对待检测图片进行分类，输出k个分类结果后，统计分类结果中每种类型的次数，并以次数最多的分类类型作为对抗样本检测器CNN1的检测结果。

本发明采用多种不同结构的子检测器对样本进行检测，协同判断输入图片是否为对抗样本。若被判为对抗样本，则对对抗样本攻击类别进行分类，并发出警报；若被判为正常，则将正常图片输入到图像分类器进行分类。该步使得多个检测器实现了协同免疫的效果，增加了对对抗样本的分类准确率，提高了对图像分类器的防御效果。

优选地，还包括以下步骤：

经过一段时间后，将新型攻击方法视为普通攻击方法，利用正常图片和多种新型对抗样本作为训练集，利用步骤(2)～步骤(8)的方式重新训练多个对抗样本子检测器结构，获得新对抗样本检测器CNN1，并删除新型对抗样本检测器CNN2，直到出现新的攻击方法。

本发明对新型攻击生成独立的新型对抗样本检测器，而不是重新训练原有的对抗样本检测器；更加高效快速对新型对抗样本进行防御；并在后期归入到普通对抗样本，增加后期新型对抗样本检测器的训练速度。

本发明的技术构思为：面向多种对抗图片攻击的协同免疫防御方法。首先，参考遗传算法，根据已知攻击生成的对抗样本和正常图片训练生成对抗样本检测器，若有新型攻击，则另外对新型对抗样本检测器。然后用两个检测器对样本进行分类。

本发明的有益效果主要表现在：用选择池中的不同模块组成不同的对抗样本子检测器，增加对抗样本子检测器的多样性，并用遗传算法对对抗样本子检测器进行优化，提升每个对抗样本子检测器的分类效果，最用所有对抗样本子检测器对样本进行综合判断，再次提升了对抗样本检测器的分类效果，增加防御能力。另外，发对新型攻击生成的对抗样本采用独立的检测器，增加了对新型样本的防御能力。

附图说明

图1是本发明构建的对抗样本子检测器的结构示意图；

图2是本发明提供的对抗样本检测器的训练过程流程图；

图3是本发明提供的对检测图片进行检测的过程图；

图4是未使用面向多种对抗图片攻击的协同免疫防御方法的图像分类器检测结果；图4(a)为ImageNet数据集中各种狗的图片；图4(b)为各种攻击方法对图4(a)进行攻击后得到对应的对抗样本；图4(c)为图像分类器对对抗样本的分类结果；图4(d)为图像分类器对正常图片的分类结果；

图5是采用面向多种对抗图片攻击的协同免疫防御方法后的图像分类器检测结果；图5(a)是待检测图片，前5个为对抗样本，后5个为正常图片；图5(b)为图像分类器检测结果。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例利用ImageNet数据集中各种类别的图片进行试验。如图1～3所示，本实施例提供的面向多种对抗图片攻击的协同免疫防御方法分为三个阶段，分别为训练对抗样本检测器阶段、检测阶段以及存在新型攻击检测阶段。每个阶段的具体过程如下：

1)训练对抗样本检测器，过程如下：

1.1)随机取部分正常图片输入到多种攻击模型A，生成对应的对抗图片，即对抗样本S；

1.2)设置对抗样本子检测器结构cnn；每个对抗样本子检测器主要分为九个模块，其中1,3,5,7为卷积模块，2,4,6,8为池化模块，9为全连接模块；不同结构的同一层模块的输入输出数据拥有同样的大小；

1.2.1)从卷积模块选择池中随机选择卷积模块；卷积模块选择池中存在着各种不同的卷积模块，例如普通卷积模块、单层卷积模块、densenet模块、resnet模块；每个模块含有c₁个卷基层，c₁∈{1,2,3,4,5}；每个卷基层有着c₂*c₂的卷积核，c₂∈{1,3,5}，c₃个通道，c₃由模块在子检测器结构中的位置所决定；即不同结构同一层的卷积模块有着相同的通道，且卷积模块不改变输入输出图像大小；

1.2.2)从池化模块选择池中随机选择池化模块；池化模块选择池中含有2*2随机池化、2*2均方根池化、2*2最大值池化、2*2均值池化等四种池化模块；

1.2.3)从全连接选择池中随机全连接模块；全连接选择池中存在各种不同的全连接模块，其中每个全连接模块含有c₄个全连接层，c₄∈{1,2,3,4}，且最后一层均为y个节点，y为对样样本的种类加一；

1.3)将生成的对抗样本和正常图片作为输入，分类结果作为输出，对对抗样本子检测器的参数进行训练，得到对抗样本子检测器CNN；

1.4)计算每个对抗样本子检测器的分类准确率Ac

其中TP表示将正常图片识别为正常图片的个数，TN表示将对抗样本识别为对抗样本的个数，FP表示将对抗样本识别为正常图片的个数，FN表示将正常图片识别为对抗样本的个数；

1.5)若记忆池中子检测器的个数少k，直接将子检测器及其结构设置加入到记忆池中，分别存为CNN'和cnn'；否则将分类准确率高的子检测器模型代替记忆池中相似度Sim高且准确率Ac比它小的模型

其中，Sim_v表示第v个对抗样本子检测器和其他对抗样本子检测器之间的相似度，k'表示记忆池中对抗样本子检测器的个数，Ed_vw是第v个对抗样本子检测器和第w个对抗样本子检测器的相似性；

其中，α为常数，ed_vw表示对第v个抗样本子检测器和第w个对抗样本子检测器之间的相似度，

其中v_i表示第v个抗样本子检测器的第i个结构在记忆池中的位置，l表示结构的测层数，l＝9。

1.6)计算每个子检测器的期望繁殖率e，e_v表示第v个子检测器的期望繁殖率；

1.7)若达到训练要求，则停止训练，将记忆池中的子检测器作对抗样本检测器CNN1的子检测器，记忆池中所有的子检测器作为对抗样本检测器CNN1的内部结构；否则跳转到步骤1.8)；

1.8)根据繁殖率随机选择两个模型结构或者一个模型结构对其进行克隆；

若选择一个对抗样本子检测器，将对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块；

若选择两个对抗样本子检测器，则将每个对抗样本子检测器结构中第1～4模块为一组，第5～8模块为一组，9模块为第一组，将两个对抗样本子检测器结构中的任意一组进行对换，再根据概率，将对换以后的对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块。

随机生成一个数change∈[0,1]，若则将两个对抗样本子检测器的第一组模块进行交换，即将其中一个对抗样本子检测器的1～4模块和另一个子检测器的5～9模块组成新的检测器；若则将两个对抗样本子检测器的第二组模块进行交换；若则交换第三组。

2)检测阶段，过程如下；

2.1)将用于检测的图片s输入到对抗样本检测器CNN1，并用所有的子检测器对样本s进行分类；

2.2)根据所有子检测器分类结果，共同对样本进行分类；计算分类样本s被分成各类的次数为，将被分类结果次数最多的类型作为检测器的分类结果，即CL(s)＝max{num(cl₁),num(cl₂),...,num(cl_y)}，其中CL(s)检测样本的分类结果，num(cl₂)表示检测样本被判为第2类攻击的次数，cl₂表示被分为2类；

3)存在新型攻击，过程如下；

3.1)在训练阶段，只将新型攻击生成的对抗样本和正常图片作为训练数据集，训练得到新型对抗样本检测器CNN2；其训练方法同步骤1)；

3.2)在检测阶段，先用对抗样本检测器CNN1对输入图片进行检测，若被判断为正常，则用新型对抗样本检测器CNN2进行检测，检测方法同步骤2)；

3.3)经过一段时间后，将新型攻击方法视为普通攻击方法，重新训练对抗样本检测器CNN1，并删除新型样本检测器CNN2，直到出现新的攻击方法；

图4是未使用面向多种对抗图片攻击的协同免疫防御方法的图像分类器检测结果。图4(a)为ImageNet数据集中各种狗的图片；图4(b)为各种攻击方法对图4(a)进行攻击后得到对应的对抗样本。对抗样本虽然在人眼中和正常图片没有区别，但会使得图像分类器分类错误。图4(c)为图像分类器对对抗样本的分类结果，由此图4(c)可以明显得到将对抗样本分成了其他类型的狗，图4(d)为图像分类器对正常图片的分类结果，即正确的类型。

图5是采用面向多种对抗图片攻击的协同免疫防御方法后的实验结果。图5(a)是输入的待检测图片，前5个为对抗样本，后5个为正常图片；图5(b)为图像分类器检测结果，前5个空白图片表示该类为对抗样本，不进行分类。根据实验结果，我们可以发现面向多种对抗图片攻击的协同免疫方法可以有效的识别对抗样本，从而增加了图像分类器的安全性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向多种对抗图片攻击的协同免疫防御方法，包括以下步骤：

(1)将正常图片P输入到多种攻击模型中，生成与共计模型对应的多种对抗样本；

(2)构建m个不同对抗样本子检测器结构，每个对抗样本子检测器结构均包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、第三卷积模块、第三池化模块、第四卷积模块、第四池化模块、全连接模块，不同对抗样本子检测器结构的同一层模块的输入输出数据维度相同；

(3)将多种对抗样本和正常图片P作为对当前抗样本子检测器结构的输入，将多种对抗样本和正常图片P对应的真值标签作为当前对抗样本子检测器结构的真值输出，分别对m个对抗样本子检测器结构进行训练，获得m个对抗样本子检测器；

(4)计算每个对抗样本子检测器的分类准确率，利用分类准确率较高的对抗样本子检测器替换记忆池中与该对抗样本子检测器相似度最高且比该对抗样本子检测器分类准确率低的对抗样本子检测器，以此更新记忆池中的k个对抗样本子检测器；

(5)计算每个对抗样本子检测器的期望繁殖率；

(6)在满足迭代终止条件时，将记忆池中k个对抗样本子检测器构成对抗样本检测器CNN1，否则，执行步骤(7)；

(7)根据期望繁殖率对随机选择的一个或两个对抗样本子检测器结构进行克隆，获得一个或两个新对抗样本子检测器结构；

(8)迭代执行步骤(7)，直到获得m个新对抗样本子检测器结构为止，将m个新对抗样本子检测器结构作为当前抗样本子检测器结构，跳转执行步骤(3)；

(9)当出现新型攻击方法生成的新型对抗样本S时，将新型对抗样本S和正常图片P作为训练集，按照步骤(2)～步骤(8)的方式获得新型对抗样本检测器CNN2；

(10)将待检测图片输入到对抗样本检测器CNN1进行检测，待检测结果为正常图片后，将该待检测图片输入到新型对抗样本检测器CNN2进行检测，待检测结果输出正常图片后，输入到图像分类器中，实现对待检测图片的分类。

2.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，在每个对抗样本子检测器结构中，所述卷积模块为普通卷积模块、单层卷积模块、densenet模块或resnet模块，每个模块含有c₁个卷基层，c₁∈{1,2,3,4,5}；每个卷基层有着c₂*c₂的卷积核，c₂∈{1,3,5}，c₃个通道，c₃由卷积模块在对抗样本子检测器结构中的位置所决定。

3.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，在每个对抗样本子检测器结构中，所述池化模块为2*2随机池化模块、2*2均方根池化模块、2*2最大值池化模块或2*2均值池化模块。

4.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，在每个对抗样本子检测器结构中，所述全连接模块包含c₄个全连接层，c₄∈{1,2,3,4}，且最后一层均为y个节点，y为对抗样本的种类加一。

5.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，步骤(4)中，利用公式(1)获得对抗样本子检测器的分类准确率：

其中，TP表示将正常图片识别为正常图片的个数，TN表示将对抗样本识别为对抗样本的个数，FP表示将对抗样本识别为正常图片的个数，FN表示将正常图片识别为对抗样本的个数。

6.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，步骤(4)中，利用公式(2)～(4)获得相似度：

其中，Sim_v表示第v个对抗样本子检测器和其他对抗样本子检测器之间的相似度，k'表示记忆池中对抗样本子检测器的个数，Ed_vw是第v个对抗样本子检测器和第w个对抗样本子检测器的相似性；

其中，α为常数，ed_vw表示对第v个抗样本子检测器和第w个对抗样本子检测器之间的相似度，

其中v_i表示第v个抗样本子检测器的第i个结构在记忆池中的位置，l表示结构的测层数，l＝9。

7.如权利要求6所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，步骤(5)中，通过公式(5)获得期望繁殖率：

其中，Ac_v表示第v个抗样本子检测器的分类准确率，e_v表示第v个子检测器的期望繁殖率。

8.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，步骤(7)中，通过以下方式完成对对抗样本子检测器结构的克隆；

若选择一个对抗样本子检测器，将对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块；

若选择两个对抗样本子检测器，则将每个对抗样本子检测器结构中第一卷积模块、第一池化模块、第二卷积模块和第二池化模块为一组，第三卷积模块、第三池化模块、第四卷积模块和第四池化模块为一组，全连接模块为一组，将两个对抗样本子检测器结构中的任意一组进行对换，再根据概率，将对换以后的对抗样本子检测器结构中任意一个模块替换为与该模块类型相同的其他模块。

9.如权利要求1所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，步骤(10)中，将待检测图片输入到对抗样本检测器CNN1中，利用对抗样本检测器CNN1的k个对抗样本子检测器分别对待检测图片进行分类，输出k个分类结果后，统计分类结果中每种类型的次数，并以次数最多的分类类型作为对抗样本检测器CNN1的检测结果。

10.如权利要求1～9任一项所述的面向多种对抗图片攻击的协同免疫防御方法，其特征在于，还包括以下步骤：

经过一段时间后，将新型攻击方法视为普通攻击方法，利用正常图片和多种新型对抗样本作为训练集，利用步骤(2)～步骤(8)的方式重新训练多个对抗样本子检测器结构，获得新对抗样本检测器CNN1，并删除新型对抗样本检测器CNN2，直到出现新的攻击方法。