CN108491837B - 一种提高车牌攻击鲁棒性的对抗攻击方法 - Google Patents

一种提高车牌攻击鲁棒性的对抗攻击方法 Download PDF

Info

Publication number
CN108491837B
CN108491837B CN201810188108.6A CN201810188108A CN108491837B CN 108491837 B CN108491837 B CN 108491837B CN 201810188108 A CN201810188108 A CN 201810188108A CN 108491837 B CN108491837 B CN 108491837B
Authority
CN
China
Prior art keywords
license plate
data set
attack
lenet
countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810188108.6A
Other languages
English (en)
Other versions
CN108491837A (zh
Inventor
宣琦
缪永彪
陈晋音
刘毅
徐东伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810188108.6A priority Critical patent/CN108491837B/zh
Publication of CN108491837A publication Critical patent/CN108491837A/zh
Application granted granted Critical
Publication of CN108491837B publication Critical patent/CN108491837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于对抗攻击的车牌攻击生成方法，包括以下步骤：1)按照中国车辆号牌标准将制作的车牌整理为标准车牌数据集O；2)采用opencv的仿射变换函数变换得数据集A；采用opencv的亮度变换函数变换得数据集B；采用opencv的仿射变换函数和亮度变换函数变换得数据集C；3)构造一个LeNet‑5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet‑5模型；4)在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet‑5对拍摄的数字对抗样本进行识别。本发明使得对抗扰动的生成不再受限于实际中众多环境因素的影响，具有较高的实用价值。

Description

一种提高车牌攻击鲁棒性的对抗攻击方法
技术领域
本发明涉及对抗攻击方法和数字图像处理技术，借鉴了梯度下降(GradientDescent)的思想，利用经典的卷积神经网络和鲁棒性现实扰动(Robust PhysicalPerturbations，简称RP2)对抗攻击方法，生成鲁棒性较高的对抗样本(AdversarialSamples)，不易受到光线强度、成像角度、拍摄背景等真实环境影响。
背景技术
随着深度学习地迅速发展，深度神经网络(DNNs)在图像分类、语音处理、医学诊断等各个领域取得了巨大的成功，并且逐渐被用于自动驾驶、无人机和智能机器人领域。这些由大数据训练的深度神经网络只需根据输入即可准确决定输出。但是，最近在计算机视觉(Computer Vision)领域方面的研究工作显示DNNs容易受到对抗扰动的影响，从而发生误分类，可参考文献1(I.J.Goodfellow,J.Shlens,and C.Szegedy,“Explaining andharnessing adversarial examples,”arXiv preprint arXiv:1412.6572,2014，即I.J.Goodfellow,J.Shlens,and C.Szegedy,解释和利用对抗样本,arXiv preprintarXiv:1412.6572,2014.)，并且这种缺陷不仅仅存在于特定结构的DNN之中，在所有DNNs，甚至经典的机器学习算法也普遍存在，这恰恰说明了对抗扰动是普遍存在的，而且具有可转移性，可参考文献2(N.Papernot,P.McDaniel,and I.Goodfellow,“Transferability inmachine learning:from phenomena to black-box attacks using adversarialsamples,”arXiv preprint arXiv:1605.07277,2016，即N.Papernot,P.McDaniel,andI.Goodfellow,机器学习的可转移性：从现象到使用对抗样本的黑盒攻击,arXiv preprintarXiv:1605.07277,2016.)。以上现象足以证明深度学习自身存在着潜在的缺陷：现实世界中对象本身的微小改动可能会对基于深度学习的系统正常工作造成严重影响。
近年来在数字对抗扰动方面取得了重大进展，例如通过在Mnist手写字图片上稍作改动，从而触发DNN的错误分类，可参考文献3(N.Papernot,P.McDaniel,S.Jha,M.Fredrikson,Z.B.Celik,and A.Swami,“The limitations of deep learning inadversarial settings,”in Security and Privacy(EuroS&P),2016IEEE EuropeanSymposium on.IEEE,2016,pp.372–387,即N.Papernot,P.McDaniel,S.Jha,M.Fredrikson,Z.B.Celik,and A.Swami,在对抗环境下深度学习的局限性,in Security and Privacy(EuroS&P),2016IEEE European Symposium on.IEEE,2016,pp.372–387.)。最近的工作同样也研究了现实世界中对抗扰动的有效性，例如通过在眼镜框架上打印生成对抗扰动进而攻击人脸识别系统，可参考文献4(M.Sharif,S.Bhagavatula,L.Bauer,and M.K.Reiter,“Accessorize to a crime:Real and stealthy attacks on state-of-the-art facerecognition,”in Proceedings of the 23rd ACM SIGSAC Conference on Computer andCommunications Security,2016,即M.Sharif,S.Bhagavatula,L.Bauer,and M.K.Reiter,伪装成犯罪者：对最新的人脸识别系统真实隐蔽的攻击,in Proceedings of the 23rdACM SIGSAC Conference on Computer and Communications Security,2016.)，然而这种人脸攻击是在姿势，光照，与相机的距离和相机角度的变化很小的相对固定条件下才能够实现，所以并不适用于大多数其他的现实应用，例如多角度、多光照环境下的车牌数字攻击。
对抗攻击还有一些必须克服的挑战，以便创造一个有效的物理对抗性扰动：(1)扰动应该被限制在目标对象上，并且不能被添加到对象的背景中。许多数字对抗生成算法不考虑这个约束条件(即，它们将扰动添加到数字图像的整个区域，其包括目标对象及其背景)。(2)扰动应该对各种动态物理条件有强大的适应能力，这可能会降低其攻击有效性作为代价。例如，在识别系统中，所产生的现实对抗样本应该针对不同的现实环境都具有很强的鲁棒性。(3)现实世界中的扰动幅度太小，以至于人类无法察觉它们。但是，由于传感器自身具有缺陷以及传感器的性能局限性，现实中传感器可能无法捕获这种小幅度的扰动。(4)扰动应考虑制作过程中的缺陷。例如，打印机不能打印出整个色谱。因此，保留所有数字特征的方式制造数字扰动可能是不可行的。
发明内容
为了克服对抗样本只能在受限制的真实环境下工作的不足，在不同光线强度、拍摄角度等复杂真实环境下，提高对抗攻击方法生成的对抗车牌样本的鲁棒性，本发明提出运用对抗攻击方法RP2生成鲁棒性较高的对抗扰动，然后将对抗扰动添加到原始“干净”的样本上，在不同的光线强度、成像角度、拍摄背景下评估对抗样本的攻击效果。该发明克服了对抗样本在现实世界中的局限性(只能够在较多受限的条件下工作)，适应了物理环境的复杂性，保持了对抗攻击成功率的高置信度，在人工智能安全领域具有重要的研究和应用价值。
本发明实现上述发明目的所采用的技术方案为：
一种提高车牌攻击鲁棒性的对抗攻击方法，包括以下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别“干净”的车牌数据。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作n张不重复的车牌，n为设定数量，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始“干净”的车牌数据上，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
进一步，所述步骤S1中，小型汽车号牌为全固定蓝色车牌，为最大限度上防止伪造车牌，公安部为现行车牌开发了一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出，所以在本实验中使用到与之相近的黑体为车牌标准字体。本发明中车牌大小与间隔为实际车牌的1/68，车牌数据集制作了包括京、沪、浙、赣、湘、云、贵、新、苏、黑等各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
再进一步，所述步骤S2中，采用opencv的仿射变换函数(getRotationMatrix2D)对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A，该函数只需要已知旋转中心坐标(坐标原点为图像左上端点)、旋转角度(单位为度，顺时针为负，逆时针为正)、放缩比例，返回旋转/放缩矩阵。该函数的优点：无需知道变换后坐标，适用于一般情况下的图像变换；实验中将仿射变换的角度分段设置为10°，20°和30°，因为过大的角度不利用字符的还原，故将角度最大设置为30°；
采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B，亮度变换可以记为：
g(i，j)＝α·f(i，j)
以上公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数；亮度变换就是将原来图像中的像素值进行比例变换，α＝1表示图像亮度不变化。实验中将α分段设置为0.8，0.9，1.1和1.2。
更进一步，所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后设计一些字符操作相关的算法从而分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I。从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型(车牌字符都是标准字符，所以训练很快收敛)，最终在测试集上测得的精度为100％，即模型已经训练完成。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
所述步骤S4中，参考数据集O的制作方法，制作20张不重复的车牌作为评估的“干净”车牌数据。RP2算法搜索特定物理区域将一个小扰动δ添加到原始输入，详细说明如下：
x′＝x+6
上式中x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的“干净”输入，δ表示为小扰动。RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建无靶向攻击的目标函数如下：
Figure BDA0001590913720000031
类似地，有靶向攻击的目标函数是：
Figure BDA0001590913720000032
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离。为了确保所产生的对抗扰动在物理世界中的鲁棒性，我们制作了一组在不同环境条件下的车牌(角度、照明)的清晰图像，上式中的对所有样本的累加是为了扰动能够在不同场景下都具有很强的鲁棒性。
由于打印机不能打印出整个色谱，在实际打印后的对抗样本与数字对抗样本像素值之间有差异，考虑了这一部分的误差，故添加一个附加的目标函数，定义为不可打印性分数(non-printability score)，详细公式如下：
Figure BDA0001590913720000033
综合上述所有公式，无靶向攻击的目标函数如下：
Figure BDA0001590913720000034
有靶向攻击的目标函数是：
Figure BDA0001590913720000035
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始“干净”的车牌数据上，即制作完成n张对抗样本，然后打印所有数字对抗车牌样本，在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
本发明的技术构思为：鉴于先前的对抗攻击方法受限于较多的物理环境，而实际中环境多变复杂，实际使用中有较多不便，应用领域较少且应用价值不高，不适合用于车牌数字攻击中，本发明提出采用对抗攻击方法RP2生成鲁棒性较高的对抗车牌样本，不易受到光线强度、成像角度等真实环境影响。
与现有的技术相比，本发明的有益效果是：采用克服现实环境复杂性的新型对抗攻击方法RP2生成具有更强鲁棒性的对抗车牌样本，使得对抗扰动的生成不再受限于实际中众多环境因素的影响，有效地提高了实际应用价值。
附图说明
图1为生成标准中文车牌数据集以及扩充多种环境下的车牌数据集的流程图。
图2为采用新型对抗攻击方法RP2生成对抗样本以及评估攻击效果的流程图。
图3为一种提高车牌攻击鲁棒性的对抗攻击方法的流程图。
具体实施方式
下面结合说明书附图对本发明做进一步说明。
参照图1～图3，一种提高车牌攻击鲁棒性的对抗攻击方法，克服了对抗样本只能在受限制的真实环境下工作的不足，在不同光线强度、拍摄角度等复杂真实环境下，提高对抗攻击方法生成的对抗车牌样本的鲁棒性，本发明提出运用对抗攻击方法RP2生成鲁棒性较高的对抗扰动，然后将对抗扰动添加到原始“干净”的样本上，在不同的光线强度、成像角度下评估对抗样本的攻击效果。
本发明包括以下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别“干净”的车牌数据。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作20张不重复的车牌，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始“干净”的车牌数据上，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
进一步，所述步骤S1中，小型汽车号牌为全固定蓝色车牌，为最大限度上防止伪造车牌，公安部为现行车牌开发了一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出，所以在本实验中使用到与之相近的黑体为车牌标准字体。本发明中车牌大小与间隔为实际车牌的1/68，车牌数据集制作了包括京、沪、浙、赣、湘、云、贵、新、苏、黑等各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
再进一步，所述步骤S2中，采用opencv的仿射变换函数(getRotationMatrix2D)对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A。该函数只需要已知旋转中心坐标(坐标原点为图像左上端点)、旋转角度(单位为度，顺时针为负，逆时针为正)、放缩比例，返回旋转/放缩矩阵。该函数的优点：无需知道变换后坐标，适用于一般情况下的图像变换。实验中将仿射变换的角度分段设置为10°，20°和30°，因为过大的角度不利用字符的还原，故将角度最大设置为30°。采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B。亮度变换可以记为：
g(i，j)＝α·f(i，j)
以上公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数。亮度变换就是将原来图像中的像素值进行比例变换，α＝1表示图像亮度不变化。实验中将α分段设置为0.8，0.9，1.1和1.2。
更进一步，所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后设计一些字符操作相关的算法从而分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I。从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型(车牌字符都是标准字符，所以训练很快收敛)，最终在测试集上测得的精度为100％，即模型已经训练完成。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
所述步骤S4中，参考数据集O的制作方法，制作20张不重复的车牌作为评估的“干净”车牌数据。RP2算法搜索特定物理区域将一个小扰动δ添加到原始输入，详细说明如下：
x′＝x+6
上式中x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的“干净”输入，δ表示为小扰动。RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建无靶向攻击的目标函数如下：
Figure BDA0001590913720000051
类似地，有靶向攻击的目标函数是：
Figure BDA0001590913720000052
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离。为了确保所产生的对抗扰动在物理世界中的鲁棒性，我们制作了一组在不同环境条件下的车牌(角度、照明)的清晰图像，上式中的对所有样本的累加是为了扰动能够在不同场景下都具有很强的鲁棒性。
由于打印机不能打印出整个色谱，在实际打印后的对抗样本与数字对抗样本像素值之间有差异，考虑了这一部分的误差，故添加一个附加的目标函数，定义为不可打印性分数(non-printability score)，详细公式如下：
Figure BDA0001590913720000053
综合上述所有公式，无靶向攻击的目标函数如下：
Figure BDA0001590913720000054
类似地，有靶向攻击的目标函数是：
Figure BDA0001590913720000055
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始“干净”的车牌数据上，即制作完成20张对抗样本，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
综上所述，本发明采用克服现实环境复杂性的新型对抗攻击方法RP2生成鲁棒性较高的对抗车牌样本，使得对抗扰动的生成不再受限于实际中众多环境因素的影响，有效地提高了实际应用价值和应用领域。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (5)

1.一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述方法包括如下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别无污染、无遮挡的车牌数据，将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作n张不重复的车牌，n为设定数量，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始无污染、无遮挡的车牌数据上，然后打印所有数字对抗车牌样本；在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
2.如权利要求1所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S1中，小型汽车号牌为全固定蓝色车牌，使用车牌标准字体，车牌大小与间隔为实际车牌的1/68，车牌数据集制作各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
3.如权利要求1或2所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S2中，采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；该函数只需要已知旋转中心坐标、旋转角度、放缩比例以及返回旋转/放缩矩阵；
采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B，亮度变换记为：
g(i,j)＝α·f(i,j)
公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数。
4.如权利要求1或2所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I；从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型，最终在测试集上测得的精度为100％，即模型已经训练完成；将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
5.如权利要求1或2所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S4中，参考数据集O的制作方法，制作n张不重复的车牌作为评估的无污染、无遮挡车牌数据；RP2算法搜索特定物理区域将一个扰动δ添加到原始输入，详细说明如下：
x′＝x+δ
上式中，x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的无污染、无遮挡输入，δ表示为扰动；RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建初始化无靶向攻击的目标函数如下：
Figure FDA0003199543870000031
初始化有靶向攻击的目标函数是：
Figure FDA0003199543870000032
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离；
NPS(δ)定义为不可打印性分数，公式如下：
Figure FDA0003199543870000033
综合上述所有公式，无靶向攻击的目标函数如下：
Figure FDA0003199543870000034
有靶向攻击的目标函数是：
Figure FDA0003199543870000041
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始无污染、无遮挡的车牌数据上，即制作完成n张对抗样本，然后打印所有数字对抗车牌样本；在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
CN201810188108.6A 2018-03-07 2018-03-07 一种提高车牌攻击鲁棒性的对抗攻击方法 Active CN108491837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810188108.6A CN108491837B (zh) 2018-03-07 2018-03-07 一种提高车牌攻击鲁棒性的对抗攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810188108.6A CN108491837B (zh) 2018-03-07 2018-03-07 一种提高车牌攻击鲁棒性的对抗攻击方法

Publications (2)

Publication Number Publication Date
CN108491837A CN108491837A (zh) 2018-09-04
CN108491837B true CN108491837B (zh) 2021-12-17

Family

ID=63341870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810188108.6A Active CN108491837B (zh) 2018-03-07 2018-03-07 一种提高车牌攻击鲁棒性的对抗攻击方法

Country Status (1)

Country Link
CN (1) CN108491837B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902705A (zh) * 2018-10-30 2019-06-18 华为技术有限公司 一种对象检测模型的对抗扰动生成方法和装置
CN109492582B (zh) * 2018-11-09 2022-02-11 杭州安恒信息技术股份有限公司 一种基于算法对抗性攻击的图像识别攻击方法
US10936910B2 (en) * 2019-02-15 2021-03-02 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
CN110008987B (zh) * 2019-02-20 2022-02-22 深圳大学 分类器鲁棒性的测试方法、装置、终端及存储介质
CN109902617B (zh) * 2019-02-25 2022-04-12 百度在线网络技术（北京）有限公司 一种图片识别方法、装置、计算机设备和介质
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
CN110070115B (zh) * 2019-04-04 2021-09-03 广州大学 一种单像素攻击样本生成方法、装置、设备及存储介质
CN110163093B (zh) * 2019-04-15 2021-03-05 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175513B (zh) * 2019-04-15 2021-01-08 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN110175611B (zh) * 2019-05-24 2020-12-11 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110163163B (zh) * 2019-05-24 2020-12-01 浙江工业大学 一种针对单张人脸查询次数受限攻击的防御方法及防御装置
CN110264505B (zh) * 2019-06-05 2021-07-30 北京达佳互联信息技术有限公司 一种单目深度估计方法、装置、电子设备及存储介质
CN110889117B (zh) * 2019-11-28 2022-04-19 支付宝(杭州)信息技术有限公司 一种模型攻击的防御方法及装置
CN111860498B (zh) * 2020-07-01 2023-12-19 广州大学 一种车牌的对抗性样本生成方法、装置及存储介质
CN112381150A (zh) * 2020-11-17 2021-02-19 上海科技大学 一种基于样本鲁棒性差异的对抗样本检测方法
CN112508008A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法
CN113537374B (zh) * 2021-07-26 2023-09-08 百度在线网络技术（北京）有限公司 一种对抗样本生成方法
CN113705620B (zh) * 2021-08-04 2023-08-15 百度在线网络技术（北京）有限公司 图像显示模型的训练方法、装置、电子设备和存储介质
CN114240951B (zh) * 2021-12-13 2023-04-07 电子科技大学 一种基于查询的医学图像分割神经网络的黑盒攻击方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224956A (zh) * 2015-10-16 2016-01-06 深圳市捷顺科技实业股份有限公司 一种基于多特征融合的车牌类别识别方法及系统
KR20170084463A (ko) * 2016-01-12 2017-07-20 상명대학교산학협력단 차량 인증 장치 및 차량 인증 방법
CN107563385B (zh) * 2017-09-02 2019-10-25 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法

Also Published As

Publication number Publication date
CN108491837A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108491837B (zh) 一种提高车牌攻击鲁棒性的对抗攻击方法
Shen et al. Ape-gan: Adversarial perturbation elimination with gan
CN109255322B (zh) 一种人脸活体检测方法及装置
Chen et al. Target classification using the deep convolutional networks for SAR images
Chen et al. Research on recognition of fly species based on improved RetinaNet and CBAM
CN108921877B (zh) 一种基于宽度学习的长期目标跟踪方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
Jia et al. Fooling the eyes of autonomous vehicles: Robust physical adversarial examples against traffic sign recognition systems
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
Zhang et al. License plate localization in unconstrained scenes using a two-stage CNN-RNN
CN111783853B (zh) 一种基于可解释性的检测并恢复神经网络对抗样本方法
CN105868734A (zh) 基于bow图像表征模型的输电线路大型施工车辆识别方法
Yang et al. Beyond digital domain: Fooling deep learning based recognition system in physical world
Chumuang et al. Analysis of X-ray for locating the weapon in the vehicle by using scale-invariant features transform
Lian et al. CBA: Contextual background attack against optical aerial detection in the physical world
Ye et al. Recognition algorithm of emitter signals based on PCA+ CNN
CN115481716A (zh) 一种基于深度网络前景激活特征转移的物理世界对抗攻击方法
Lee et al. License plate detection via information maximization
CN110728238A (zh) 一种融合型神经网络的人员再检测方法
Huang et al. Multi-Teacher Single-Student Visual Transformer with Multi-Level Attention for Face Spoofing Detection.
Kwon et al. Adv‐Plate Attack: Adversarially Perturbed Plate for License Plate Recognition System
Zhang et al. A robust chinese license plate detection and recognition systemin natural scenes
Shah et al. Efficient detection of pixel-level adversarial attacks
Cao et al. A spatial pyramid pooling convolutional neural network for smoky vehicle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant