CN108446700A - 一种基于对抗攻击的车牌攻击生成方法 - Google Patents

Abstract

一种基于对抗攻击的车牌攻击生成方法，包括以下步骤：1)选择合适的车牌底板尺寸和颜色以及标准车牌的字符字体和大小；2)确定合适的字符间隔，生成随机字符的车牌；3)对标准车牌进行数字图像处理；4)训练一个生成对抗扰动的分类器模型；5)判断生成的对抗样本是否被分类器误分类：即判断添加扰动的车牌是否被判断为其他车牌，是则结束车牌攻击，否则继续生成扰动，最后测试对抗样本的攻击效果。本发明运用对抗攻击方法实现车牌攻击，生成人们察觉不到的扰动，具有高隐蔽性，甚至还可以实现特定字符的扰动添加到原始的车牌字符上生成对抗样本，具有较高的实用价值。

Description

一种基于对抗攻击的车牌攻击生成方法

技术领域

本发明涉及对抗攻击方法和标准车牌生成技术，借鉴了梯度下降(GradientDescent)的思想，利用经典的卷积神经网络——Lenet-5，在模型训练过程中生成受到污染的车牌数字。这些受到污染的车牌数字，亦称对抗样本(Adversarial Samples)，能使基于深度学习进行识别的车牌分类器的分类精度大幅下降，在开源的深度学习车牌识别项目(EasyPR)中表现效果明显。

背景技术

车牌识别是一种通过在特定场景下拍摄的图片中提取车牌图片，并识别其中的文字与数字的技术，被广泛应用于公路收费、超速自动化监管、车辆检测、车辆称重等各种场所，因此对于车牌的识别精度有着很高的要求。随着深度学习技术的迅速发展，计算机视频图像识别，尤其是车牌识别，借助于深度学习的方法，利用大量的车牌数据训练获得模型的识别效果能够在已有的精度上进一步提升。

但是，近年来深度学习暴露出一些本身具有的缺陷：通过在图像上添加极微小的但经过计算的干扰后生成对抗样本，能够使分类器得出完全不同的结果。不仅如此，学术界还证明这些对抗样本也能骗过一些在其他不同的模型上训练出来的分类器，同时也就证明了这些对抗样本具有很强的可转移性(Transferability)。

随着深度学习缺陷的暴露，研究对抗攻击方法也逐渐成为人们关注的话题。对抗攻击方法是生成对抗样本比较常用且有效的方法，它们本质的思想：通过在梯度下降的过程中，迭代计算出特定的扰动，并将之添加到原先的图片中，使之变成具有特定噪声点的对抗样本。这些对抗样本能够使分类器产生错误分类，然而人们几乎察觉不到它们的存在。在对抗攻击方法中比较经典且成熟的方法有FGSM、I-FGSM、JSMA、Deepfool等等，已经有大量实验证明了这些方法产生的扰动具有很好的隐蔽性，而且可以使车牌识别分类器的精度大幅度下降。

由于深度神经网络的训练需要大量的数据，而训练数据集的获取成为了限制深度学习快速发展最大的障碍。传统的机器学习所用的数据集都为人工搜集，如果采用人工拍摄每一张车牌，需要巨大的工作量，而且车牌是车辆唯一的识别号，相对比较隐私。基于以上两点原因，我们使用一种标准车牌生成的技术，在标准的全固定蓝色车牌底板上通过算法生成随机字符的中文车牌，从而解决了车牌数据不足的问题。

卷积神经网络是一种特殊的多层神经网络，像其它的神经网络一样，卷积神经网络也使用一种反向传播算法来进行训练，不同之处在于网络的结构。卷积神经网络Lenet-5是最为经典的卷积神经网络之一，LeNet-5共有7层，主要有卷积层、下抽样层、全连接层3种连接方式，除了输入层外，每层都包含可训练参数；每层有多个特征图(Feature Map)，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。因为在车牌识别中的字符都是标准字符，分类器的训练比较简单，所以在本发明中使用卷积神经网络Lenet-5为例。

深度学习车牌识别项目(EasyPR)是一个开源的中文车牌识别系统，具有简单、高效、准确的非限制场景(unconstrained situation)下的车牌识别效果。在这个项目中包含车牌检测(Plate Detection)和字符识别(Chars Recognition)两部分，因为我们使用的是标准车牌数据集，所以对车牌检测的需求不高。我们将标准车牌数据通过阈值化处理、字符检测、字符分割后，采用训练好的模型LeNet-5进行识别分割后的七个字符。经过测试，在制作的标准车牌数据集上达到100％的识别准确率。

发明内容

为了克服现有技术中无法保护车辆所有者的隐私、存在车牌数据集不足的问题的不足，在此基础上产生让人难以察觉且对以深度学习训练的车牌识别分类器具有一定攻击效果的对抗车牌样本，本发明提出一种大量生成随机标准车牌数据集的方法，在解决数据集的问题后，运用一种对抗攻击的方法系统地生成具有高隐蔽性的扰动，随后添加到原始的车牌中，生成对抗车牌样本。该发明可以伪装为日常造成的车牌污染(灰尘、泥浆水)，具有隐蔽性好且扰乱电子警察正确识别车牌的效果，在人工智能安全领域具有重要的研究和应用价值。

本发明为解决上述技术问题所采用的技术方案如下：

一种基于对抗攻击的车牌攻击生成方法，包括以下步骤：

S1：选择车牌底板尺寸和颜色以及标准车牌的字符字体和大小；

S2：确定字符间隔，生成随机字符的车牌；

S3：对标准车牌进行数字图像处理；

S4：训练一个生成对抗扰动的分类器模型；

S5：判断生成的对抗样本是否被分类器误分类：即判断添加扰动的车牌是否被判断为其他车牌，是则结束车牌攻击，否则继续生成扰动；最后测试对抗样本的攻击效果。

进一步，所述步骤S1包括以下步骤：

S1.1：确定车牌底板的规格：采用全固定蓝色车牌，车牌大小为实际大小的1/68；

S1.2：确定标准车牌的字符以黑体为基本字体；并进行了一定的改进的字体。

再进一步，所述步骤S2包括以下步骤：

S2.1：以现实标准车牌字符间隔为例，确定生成车牌的字符间距；

S2.2：分配第一个字符为省级缩写字符，第二个字符为市级代号，后续字符和数字与字母混编；

S2.3：给予每个字符一定随机性，之后生成一系列不重复的标准车牌数据集。

更进一步，所述步骤S3包括以下步骤：

S3.1：对标准车牌进行阈值操作、取轮廓、字符分割，从而获取车牌中所有字符的二进制黑白小图块；

S3.2：将分割后的七个字符保存为对应的训练数据集。

所述步骤S4包含以下步骤：

S4.1：设计一种包含对抗攻击方法的Lenet-5的神经网络分类器；

S4.2：在训练过程中判断生成的对抗样本是否被分类器误分类，若是，则结束车牌攻击；若否，则继续生成扰动；最后测试对抗样本的攻击效果。

所述步骤4.1中，定义车牌分割图块中的显著图为一组像素点[p,q]，并令：

上式中t为最终误分类的target类别，Z(x)为LeNet-5最终层softmax之前一层logits的输出值；所以上式中α_pq表示改变像素点[p,q]值的大小使分类器评估类别为t，β_pq表示改变像素点[p,q]值的大小使分类器评估类别为除了t之外的所有其他类别；所以最终选择像素点，根据：

其中α_pq>0表示分类结果与目标类别越接近，β_pq<0表示其他类别与目标类别相差越远，-α_pq·β_pq即为所需优化目标；

所述步骤4.2中，每次迭代过程中修改显著图，并移除已修改过的显著图像素，避免下次迭代仍然更改该像素点，最终直至使分类器发生对车牌的误分类即生成了对抗样本。本发明具有如下的有益效果：

(1)本发明所述的方法可以随机生成大量标准的中文车牌，创建了一个标准中文车牌数据集。

(2)本发明所述的方法提出了一种系统的车牌攻击方法，产生具有高隐蔽性的扰动，生成大量车牌对抗样本。

(3)本发明所述的方法提出的车牌攻击方法具有较高的隐蔽性，可以使得伪装后的车牌成功绕开基于深度学习的电子监控设备，在人工智能安全领域具有重要的应用价值；与此同时，对其的研究也能够为设计出更加鲁棒的车牌识别算法提供见解。

附图说明

图1为生成标准中文车牌的流程图；

图2为生成对抗车牌样本步骤详细流程图。

图3为一种基于对抗攻击的车牌攻击生成方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于对抗攻击的车牌攻击生成方法，包括以下步骤：

S1：确定需要制作或者攻击的车牌底板规格，如全固定蓝色车牌、上固定黄色车牌等等。确定标准车牌的字符为以黑体为基本字体。本发明中使用全固定蓝色车牌。

S2：参照我国车牌标准，将车牌高度设为8mm，宽度设为15mm。车牌上单个字符的宽度固定为3mm，第2字符与第3字符之间的间隙为2mm，字符总数为7及单个字符宽度约占车牌宽度的10％。本发明中车牌大小为实际大小的1/68，车牌数据集制作了包括京、沪、浙、赣、湘、云、贵、新、苏、黑等各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据作为训练集。

S3：利用opencv的库函数，对标准的彩色车牌进行灰度化，二值化操作，然后设计一些字符操作相关的算法从而分析出车牌中每个字符的分割图块。将车牌切割出来的7个字符保存为以对应车牌命名的数字训练数据库，所以在进行分类器分类之前的训练集为数字0～9以及26位字母组成的数据集。

S4：识别大量车牌分割图块之前，先构建一个LeNet-5卷积神经网络，并添加一种对抗攻击方法——Jacobian-based Saliency Map Attack(JSMA)，这是一种每次迭代修改一个像素，从而使最终误分类精度越高的贪心算法，详细说明如下：

首先定义车牌分割图块中的显著图(Saliency Map)为一组像素点[p,q]，并令：

上式中t为最终误分类的target类别，Z(x)为LeNet-5最终层softmax之前一层logits的输出值。所以上式中α_pq表示改变像素点[p,q]值的大小使分类器评估类别为t，β_pq表示改变像素点[p,q]值的大小使分类器评估类别为除了t之外的所有其他类别。所以算法最终选择像素点，根据：

其中α_pq>0表示分类结果与目标类别越接近，β_pq<0表示其他类别与目标类别相差越远，-α_pq·β_pq即为所需优化目标。每次迭代过程中修改显著图，并移除已修改过的显著图像素，避免下次迭代仍然更改该像素点，最终直至使分类器发生对车牌的误分类即生成了对抗样本。

S5：对所有车牌分割后的7个字符都进行尝试生成对抗样本(部分字符鲁棒性较好，攻击不易成功)，然后将7个字符合并成标准的车牌，共达12500张对抗车牌样本。利用EasyPR项目测试制作的对抗车牌样本的识别精度。

本发明利用12500张标准车牌数据，在EasyPR开源车牌项目下进行JSMA攻击方法的实验结果：攻击成功率为30.6％。如上所述为本发明使用JSMA对抗攻击方法和标准车牌生成技术，对高性能识别车牌的EasyPR开源项目进行攻击测试，从最终的实验结果观察可知，对抗样本能够造成深度学习分类器的识别效果大幅下降，对现实世界中利用大数据训练的分类器造成很大的影响，并且这种对抗样本粗看之下与原始样本并无很大差异，所以不易被人怀疑，具有很高的隐蔽性。本发明通过实际实验从而证明了对抗攻击方法在车牌识别领域所引起的效果。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (6)

1.一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述方法包括如下步骤：

S1：选择车牌底板尺寸和颜色以及标准车牌的字符字体和大小；

S2：确定字符间隔，生成随机字符的车牌；

S3：对标准车牌进行数字图像处理；

S4：训练一个生成对抗扰动的分类器模型；

S5：判断生成的对抗样本是否被分类器误分类：即判断添加扰动的车牌是否被判断为其他车牌，是则结束车牌攻击，否则继续生成扰动；最后测试对抗样本的攻击效果。

2.如权利要求1所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤S1包括以下步骤：

S1.1：确定车牌底板的规格：采用全固定蓝色车牌，车牌大小为实际大小的1/68；

S1.2：确定标准车牌的字符以黑体为基本字体。

3.如权利要求1或2所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤S2包括以下步骤：

S2.1：以现实标准车牌字符间隔为例，确定生成车牌的字符间距；

S2.2：分配第一个字符为省级缩写字符，第二个字符为市级代号，后续字符和数字与字母混编；

S2.3：给予每个字符随机性，之后生成一系列不重复的标准车牌数据集。

4.如权利要求1或2所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤S3包括以下步骤：

S3.1：对标准车牌进行阈值操作、取轮廓和字符分割，从而获取车牌中所有字符的二进制黑白小图块；

S3.2：将分割后的七个字符保存为对应的训练数据集。

5.如权利要求1或2所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤S4包括以下步骤：

S4.1：设计一种包含对抗攻击方法的Lenet-5的神经网络分类器；

S4.2：在训练过程中判断生成的对抗样本是否被分类器误分类，若是，则结束车牌攻击；若否，则继续生成扰动；最后测试对抗样本的攻击效果。

6.如权利要求5所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤4.1中，定义车牌分割图块中的显著图为一组像素点[p,q]，并令：

上式中t为最终误分类的target类别，Z(x)为LeNet-5最终层softmax之前一层logits的输出值；所以上式中α_pq表示改变像素点[p,q]值的大小使分类器评估类别为t，β_pq表示改变像素点[p,q]值的大小使分类器评估类别为除了t之外的所有其他类别；所以最终选择像素点，根据：

其中α_pq>0表示分类结果与目标类别越接近，β_pq<0表示其他类别与目标类别相差越远，-α_pq·β_pq即为所需优化目标；

所述步骤4.2中，每次迭代过程中修改显著图，并移除已修改过的显著图像素，避免下次迭代仍然更改该像素点，最终直至使分类器发生对车牌的误分类即生成了对抗样本。