CN108491837A - 一种提高车牌攻击鲁棒性的对抗攻击方法 - Google Patents
一种提高车牌攻击鲁棒性的对抗攻击方法 Download PDFInfo
- Publication number
- CN108491837A CN108491837A CN201810188108.6A CN201810188108A CN108491837A CN 108491837 A CN108491837 A CN 108491837A CN 201810188108 A CN201810188108 A CN 201810188108A CN 108491837 A CN108491837 A CN 108491837A
- Authority
- CN
- China
- Prior art keywords
- data set
- car plate
- attack
- transformation
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于对抗攻击的车牌攻击生成方法，包括以下步骤：1)按照中国车辆号牌标准将制作的车牌整理为标准车牌数据集O；2)采用opencv的仿射变换函数变换得数据集A；采用opencv的亮度变换函数变换得数据集B；采用opencv的仿射变换函数和亮度变换函数变换得数据集C；3)构造一个LeNet‑5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet‑5模型；4)在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet‑5对拍摄的数字对抗样本进行识别。本发明使得对抗扰动的生成不再受限于实际中众多环境因素的影响，具有较高的实用价值。
Description
技术领域
本发明涉及对抗攻击方法和数字图像处理技术，借鉴了梯度下降(GradientDescent)的思想，利用经典的卷积神经网络和鲁棒性现实扰动(Robust PhysicalPerturbations，简称RP2)对抗攻击方法，生成鲁棒性较高的对抗样本(AdversarialSamples)，不易受到光线强度、成像角度、拍摄背景等真实环境影响。
背景技术
随着深度学习地迅速发展，深度神经网络(DNNs)在图像分类、语音处理、医学诊断等各个领域取得了巨大的成功，并且逐渐被用于自动驾驶、无人机和智能机器人领域。这些由大数据训练的深度神经网络只需根据输入即可准确决定输出。但是，最近在计算机视觉(Computer Vision)领域方面的研究工作显示DNNs容易受到对抗扰动的影响，从而发生误分类，可参考文献1(I.J.Goodfellow,J.Shlens,and C.Szegedy,“Explaining andharnessing adversarial examples,”arXiv preprint arXiv:1412.6572,2014，即I.J.Goodfellow,J.Shlens,and C.Szegedy,解释和利用对抗样本,arXiv preprintarXiv:1412.6572,2014.)，并且这种缺陷不仅仅存在于特定结构的DNN之中，在所有DNNs，甚至经典的机器学习算法也普遍存在，这恰恰说明了对抗扰动是普遍存在的，而且具有可转移性，可参考文献2(N.Papernot,P.McDaniel,and I.Goodfellow,“Transferability inmachine learning:from phenomena to black-box attacks using adversarialsamples,”arXiv preprint arXiv:1605.07277,2016，即N.Papernot,P.McDaniel,andI.Goodfellow,机器学习的可转移性：从现象到使用对抗样本的黑盒攻击,arXiv preprintarXiv:1605.07277,2016.)。以上现象足以证明深度学习自身存在着潜在的缺陷：现实世界中对象本身的微小改动可能会对基于深度学习的系统正常工作造成严重影响。
近年来在数字对抗扰动方面取得了重大进展，例如通过在Mnist手写字图片上稍作改动，从而触发DNN的错误分类，可参考文献3(N.Papernot,P.McDaniel,S.Jha,M.Fredrikson,Z.B.Celik,and A.Swami,“The limitations of deep learning inadversarial settings,”in Security and Privacy(EuroS&P),2016IEEE EuropeanSymposium on.IEEE,2016,pp.372–387,即N.Papernot,P.McDaniel,S.Jha,M.Fredrikson,Z.B.Celik,and A.Swami,在对抗环境下深度学习的局限性,in Security and Privacy(EuroS&P),2016IEEE European Symposium on.IEEE,2016,pp.372–387.)。最近的工作同样也研究了现实世界中对抗扰动的有效性，例如通过在眼镜框架上打印生成对抗扰动进而攻击人脸识别系统，可参考文献4(M.Sharif,S.Bhagavatula,L.Bauer,and M.K.Reiter,“Accessorize to a crime:Real and stealthy attacks on state-of-the-art facerecognition,”in Proceedings of the 23rd ACM SIGSAC Conference on Computer andCommunications Security,2016,即M.Sharif,S.Bhagavatula,L.Bauer,and M.K.Reiter,伪装成犯罪者：对最新的人脸识别系统真实隐蔽的攻击,in Proceedings of the 23rdACM SIGSAC Conference on Computer and Communications Security,2016.)，然而这种人脸攻击是在姿势，光照，与相机的距离和相机角度的变化很小的相对固定条件下才能够实现，所以并不适用于大多数其他的现实应用，例如多角度、多光照环境下的车牌数字攻击。
对抗攻击还有一些必须克服的挑战，以便创造一个有效的物理对抗性扰动：(1)扰动应该被限制在目标对象上，并且不能被添加到对象的背景中。许多数字对抗生成算法不考虑这个约束条件(即，它们将扰动添加到数字图像的整个区域，其包括目标对象及其背景)。(2)扰动应该对各种动态物理条件有强大的适应能力，这可能会降低其攻击有效性作为代价。例如，在识别系统中，所产生的现实对抗样本应该针对不同的现实环境都具有很强的鲁棒性。(3)现实世界中的扰动幅度太小，以至于人类无法察觉它们。但是，由于传感器自身具有缺陷以及传感器的性能局限性，现实中传感器可能无法捕获这种小幅度的扰动。(4)扰动应考虑制作过程中的缺陷。例如，打印机不能打印出整个色谱。因此，保留所有数字特征的方式制造数字扰动可能是不可行的。
发明内容
为了克服对抗样本只能在受限制的真实环境下工作的不足，在不同光线强度、拍摄角度等复杂真实环境下，提高对抗攻击方法生成的对抗车牌样本的鲁棒性，本发明提出运用对抗攻击方法RP2生成鲁棒性较高的对抗扰动，然后将对抗扰动添加到原始“干净”的样本上，在不同的光线强度、成像角度、拍摄背景下评估对抗样本的攻击效果。该发明克服了对抗样本在现实世界中的局限性(只能够在较多受限的条件下工作)，适应了物理环境的复杂性，保持了对抗攻击成功率的高置信度，在人工智能安全领域具有重要的研究和应用价值。
本发明实现上述发明目的所采用的技术方案为：
一种提高车牌攻击鲁棒性的对抗攻击方法，包括以下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别“干净”的车牌数据。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作n张不重复的车牌，n为设定数量，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始“干净”的车牌数据上，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
进一步，所述步骤S1中，小型汽车号牌为全固定蓝色车牌，为最大限度上防止伪造车牌，公安部为现行车牌开发了一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出，所以在本实验中使用到与之相近的黑体为车牌标准字体。本发明中车牌大小与间隔为实际车牌的1/68，车牌数据集制作了包括京、沪、浙、赣、湘、云、贵、新、苏、黑等各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
再进一步，所述步骤S2中，采用opencv的仿射变换函数(getRotationMatrix2D)对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A，该函数只需要已知旋转中心坐标(坐标原点为图像左上端点)、旋转角度(单位为度，顺时针为负，逆时针为正)、放缩比例，返回旋转/放缩矩阵。该函数的优点：无需知道变换后坐标，适用于一般情况下的图像变换；实验中将仿射变换的角度分段设置为10°，20°和30°，因为过大的角度不利用字符的还原，故将角度最大设置为30°；
采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B，亮度变换可以记为：
g(i，j)＝α·f(i，j)
以上公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数；亮度变换就是将原来图像中的像素值进行比例变换，α＝1表示图像亮度不变化。实验中将α分段设置为0.8，0.9，1.1和1.2。
更进一步，所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后设计一些字符操作相关的算法从而分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I。从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型(车牌字符都是标准字符，所以训练很快收敛)，最终在测试集上测得的精度为100％，即模型已经训练完成。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
所述步骤S4中，参考数据集O的制作方法，制作20张不重复的车牌作为评估的“干净”车牌数据。RP2算法搜索特定物理区域将一个小扰动δ添加到原始输入，详细说明如下：
x′＝x+6
上式中x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的“干净”输入，δ表示为小扰动。RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建无靶向攻击的目标函数如下：
类似地，有靶向攻击的目标函数是：
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离。为了确保所产生的对抗扰动在物理世界中的鲁棒性，我们制作了一组在不同环境条件下的车牌(角度、照明)的清晰图像，上式中的对所有样本的累加是为了扰动能够在不同场景下都具有很强的鲁棒性。
由于打印机不能打印出整个色谱，在实际打印后的对抗样本与数字对抗样本像素值之间有差异，考虑了这一部分的误差，故添加一个附加的目标函数，定义为不可打印性分数(non-printability score)，详细公式如下：
综合上述所有公式，无靶向攻击的目标函数如下：
有靶向攻击的目标函数是：
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始“干净”的车牌数据上，即制作完成n张对抗样本，然后打印所有数字对抗车牌样本，在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
本发明的技术构思为：鉴于先前的对抗攻击方法受限于较多的物理环境，而实际中环境多变复杂，实际使用中有较多不便，应用领域较少且应用价值不高，不适合用于车牌数字攻击中，本发明提出采用对抗攻击方法RP2生成鲁棒性较高的对抗车牌样本，不易受到光线强度、成像角度等真实环境影响。
与现有的技术相比，本发明的有益效果是：采用克服现实环境复杂性的新型对抗攻击方法RP2生成具有更强鲁棒性的对抗车牌样本，使得对抗扰动的生成不再受限于实际中众多环境因素的影响，有效地提高了实际应用价值。
附图说明
图1为生成标准中文车牌数据集以及扩充多种环境下的车牌数据集的流程图。
图2为采用新型对抗攻击方法RP2生成对抗样本以及评估攻击效果的流程图。
图3为一种提高车牌攻击鲁棒性的对抗攻击方法的流程图。
具体实施方式
下面结合说明书附图对本发明做进一步说明。
参照图1～图3，一种提高车牌攻击鲁棒性的对抗攻击方法，克服了对抗样本只能在受限制的真实环境下工作的不足，在不同光线强度、拍摄角度等复杂真实环境下，提高对抗攻击方法生成的对抗车牌样本的鲁棒性，本发明提出运用对抗攻击方法RP2生成鲁棒性较高的对抗扰动，然后将对抗扰动添加到原始“干净”的样本上，在不同的光线强度、成像角度下评估对抗样本的攻击效果。
本发明包括以下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别“干净”的车牌数据。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作20张不重复的车牌，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始“干净”的车牌数据上，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
进一步，所述步骤S1中，小型汽车号牌为全固定蓝色车牌，为最大限度上防止伪造车牌，公安部为现行车牌开发了一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出，所以在本实验中使用到与之相近的黑体为车牌标准字体。本发明中车牌大小与间隔为实际车牌的1/68，车牌数据集制作了包括京、沪、浙、赣、湘、云、贵、新、苏、黑等各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
再进一步，所述步骤S2中，采用opencv的仿射变换函数(getRotationMatrix2D)对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A。该函数只需要已知旋转中心坐标(坐标原点为图像左上端点)、旋转角度(单位为度，顺时针为负，逆时针为正)、放缩比例，返回旋转/放缩矩阵。该函数的优点：无需知道变换后坐标，适用于一般情况下的图像变换。实验中将仿射变换的角度分段设置为10°，20°和30°，因为过大的角度不利用字符的还原，故将角度最大设置为30°。采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B。亮度变换可以记为：
g(i，j)＝α·f(i，j)
以上公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数。亮度变换就是将原来图像中的像素值进行比例变换，α＝1表示图像亮度不变化。实验中将α分段设置为0.8，0.9，1.1和1.2。
更进一步，所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后设计一些字符操作相关的算法从而分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I。从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型(车牌字符都是标准字符，所以训练很快收敛)，最终在测试集上测得的精度为100％，即模型已经训练完成。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
所述步骤S4中，参考数据集O的制作方法，制作20张不重复的车牌作为评估的“干净”车牌数据。RP2算法搜索特定物理区域将一个小扰动δ添加到原始输入，详细说明如下：
x′＝x+6
上式中x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的“干净”输入，δ表示为小扰动。RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建无靶向攻击的目标函数如下：
类似地，有靶向攻击的目标函数是：
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离。为了确保所产生的对抗扰动在物理世界中的鲁棒性，我们制作了一组在不同环境条件下的车牌(角度、照明)的清晰图像，上式中的对所有样本的累加是为了扰动能够在不同场景下都具有很强的鲁棒性。
由于打印机不能打印出整个色谱，在实际打印后的对抗样本与数字对抗样本像素值之间有差异，考虑了这一部分的误差，故添加一个附加的目标函数，定义为不可打印性分数(non-printability score)，详细公式如下：
综合上述所有公式，无靶向攻击的目标函数如下：
类似地，有靶向攻击的目标函数是：
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始“干净”的车牌数据上，即制作完成20张对抗样本，然后打印所有数字对抗车牌样本。在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
综上所述，本发明采用克服现实环境复杂性的新型对抗攻击方法RP2生成鲁棒性较高的对抗车牌样本，使得对抗扰动的生成不再受限于实际中众多环境因素的影响，有效地提高了实际应用价值和应用领域。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。
Claims (5)
1.一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述方法包括如下步骤：
S1：按照中国车辆号牌标准，确定车牌底板尺寸、字体和字符间隔，按比例缩放制作常见的小型汽车号牌，将制作的车牌整理为标准车牌数据集，记为数据集O；
S2：采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；采用opencv的亮度变换函数对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B；采用opencv的仿射变换函数和亮度变换函数对制作的标准数据集O按照随机角度和亮度进行变换，变换后的数据集记为数据集C；
S3：构造一个由2个卷积层和1个全连接层构成的经典卷积神经网络LeNet-5，并对车牌数据集O、A、B、C进行字符检测与分割，然后用分割后的数据集训练LeNet-5模型，确保使其能够百分百准确识别“干净”的车牌数据，将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用；
S4：参考数据集O的制作工艺，制作n张不重复的车牌，n为设定数量，采用对抗攻击方法RP2生成对抗扰动，并添加到对应原始“干净”的车牌数据上，然后打印所有数字对抗车牌样本；在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别。
2.如权利要求1所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S1中，小型汽车号牌为全固定蓝色车牌，使用车牌标准字体，车牌大小与间隔为实际车牌的1/68，车牌数据集制作各省级牌照缩写，地区代号使用A～F字符，最后五位车牌为字母与数字混合的随机字符车牌，一共制作12500个车牌数据，并记为数据集O。
3.如权利要求1或2所述的一种基于对抗攻击的车牌攻击生成方法，其特征在于：所述步骤S2中，采用opencv的仿射变换函数对制作的标准数据集O按照不同角度分段进行仿射变换，变换后的数据集记为数据集A；该函数只需要已知旋转中心坐标、旋转角度、放缩比例以及返回旋转/放缩矩阵；
采用opencv的亮度变换对制作的标准数据集O按照不同亮度分段进行亮度变换，变换后的数据集记为数据集B，亮度变换记为：
g(i,j)＝α·f(i,j)
以上公式中的i，j是图像中像素点的横纵坐标，α是比例系数，也叫做增益参数。
4.如权利要求1或2所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S3中，采用opencv的库函数，对数据集O、A、B、C中所有数据进行灰度化，二值化操作，然后分析出车牌中每个字符的分割图块，并将分割后的字符与其对应标签整理成数据集，记为数据集I；从数据集I中随机取出80％作为训练集，其余20％作为测试集。构建一个经典卷积神经网络LeNet-5，它由2个卷积层、2个下采样层和1个全连接层组成，然后将训练集作为输入训练LeNet-5模型，最终在测试集上测得的精度为100％，即模型已经训练完成。将训练完成后的LeNet-5模型结构和参数保存，以便之后评估攻击效果时调用。
5.如权利要求1或2所述的一种提高车牌攻击鲁棒性的对抗攻击方法，其特征在于：所述步骤S4中，参考数据集O的制作方法，制作n张不重复的车牌作为评估的“干净”车牌数据。RP2算法搜索特定物理区域将一个小扰动δ添加到原始输入，详细说明如下：
x′＝x+δ
上式中，x′表示对抗样本，即分类器对输入x′误分类，x表示为原始的“干净”输入，δ表示为小扰动；RP2算法的目标是要找到一个最小的扰动δ，使得分类器对对抗样本x′误分类，为了生成鲁棒性较高的对抗样本，构建无靶向攻击的目标函数如下：
有靶向攻击的目标函数是：
在这里，λ是正则化超参数的变形，||δ||p表示δ的p范数，用来衡量δ的扰动大小，y表示为输入x的真实标签，y*表示为标签的目标类，J(·)是模型的损失函数，用以衡量目标类别与对抗样本类别的距离；
定义为不可打印性分数，公式如下：
综合上述所有公式，无靶向攻击的目标函数如下：
有靶向攻击的目标函数是：
选定目标函数后，经过训练生成对抗扰动，并添加到对应原始“干净”的车牌数据上，即制作完成n张对抗样本，然后打印所有数字对抗车牌样本；在不同成像角度和光照强度下对打印的真实对抗车牌样本进行拍摄，调用已训练的车牌分类器LeNet-5对拍摄的数字对抗样本进行识别，评估生成的对抗样本的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810188108.6A CN108491837B (zh) | 2018-03-07 | 2018-03-07 | 一种提高车牌攻击鲁棒性的对抗攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810188108.6A CN108491837B (zh) | 2018-03-07 | 2018-03-07 | 一种提高车牌攻击鲁棒性的对抗攻击方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491837A true CN108491837A (zh) | 2018-09-04 |
| CN108491837B CN108491837B (zh) | 2021-12-17 |
Family
ID=63341870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810188108.6A Active CN108491837B (zh) | 2018-03-07 | 2018-03-07 | 一种提高车牌攻击鲁棒性的对抗攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491837B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492582A (zh) * | 2018-11-09 | 2019-03-19 | 杭州安恒信息技术股份有限公司 | 一种基于算法对抗性攻击的图像识别攻击方法 |
| CN109902705A (zh) * | 2018-10-30 | 2019-06-18 | 华为技术有限公司 | 一种对象检测模型的对抗扰动生成方法和装置 |
| CN109902617A (zh) * | 2019-02-25 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法、装置、计算机设备和介质 |
| CN110008987A (zh) * | 2019-02-20 | 2019-07-12 | 深圳大学 | 分类器鲁棒性的测试方法、装置、终端及存储介质 |
| CN110070115A (zh) * | 2019-04-04 | 2019-07-30 | 广州大学 | 一种单像素攻击样本生成方法、装置、设备及存储介质 |
| CN110163163A (zh) * | 2019-05-24 | 2019-08-23 | 浙江工业大学 | 一种针对单张人脸查询次数受限攻击的防御方法及防御装置 |
| CN110163093A (zh) * | 2019-04-15 | 2019-08-23 | 浙江工业大学 | 一种基于遗传算法的路牌识别对抗防御方法 |
| CN110175611A (zh) * | 2019-05-24 | 2019-08-27 | 浙江工业大学 | 面向车牌识别系统黑盒物理攻击模型的防御方法及装置 |
| CN110175513A (zh) * | 2019-04-15 | 2019-08-27 | 浙江工业大学 | 一种基于多目标路优化的路牌识别攻击防御方法 |
| CN110264505A (zh) * | 2019-06-05 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110889117A (zh) * | 2019-11-28 | 2020-03-17 | 支付宝(杭州)信息技术有限公司 | 一种模型攻击的防御方法及装置 |
| CN111582295A (zh) * | 2019-02-15 | 2020-08-25 | 百度（美国）有限责任公司 | 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法 |
| CN111860498A (zh) * | 2020-07-01 | 2020-10-30 | 广州大学 | 一种车牌的对抗性样本生成方法、装置及存储介质 |
| CN112381150A (zh) * | 2020-11-17 | 2021-02-19 | 上海科技大学 | 一种基于样本鲁棒性差异的对抗样本检测方法 |
| CN112508008A (zh) * | 2020-11-23 | 2021-03-16 | 广州大学 | 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法 |
| CN113474792A (zh) * | 2019-03-28 | 2021-10-01 | 康蒂-特米克微电子有限公司 | 对抗攻击的自动识别和分类 |
| CN113537374A (zh) * | 2021-07-26 | 2021-10-22 | 百度在线网络技术（北京）有限公司 | 一种对抗样本生成方法 |
| CN113705620A (zh) * | 2021-08-04 | 2021-11-26 | 百度在线网络技术（北京）有限公司 | 图像显示模型的训练方法、装置、电子设备和存储介质 |
| CN114240951A (zh) * | 2021-12-13 | 2022-03-25 | 电子科技大学 | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224956A (zh) * | 2015-10-16 | 2016-01-06 | 深圳市捷顺科技实业股份有限公司 | 一种基于多特征融合的车牌类别识别方法及系统 |
| KR20170084463A (ko) * | 2016-01-12 | 2017-07-20 | 상명대학교산학협력단 | 차량 인증 장치 및 차량 인증 방법 |
| CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
-
2018
- 2018-03-07 CN CN201810188108.6A patent/CN108491837B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224956A (zh) * | 2015-10-16 | 2016-01-06 | 深圳市捷顺科技实业股份有限公司 | 一种基于多特征融合的车牌类别识别方法及系统 |
| KR20170084463A (ko) * | 2016-01-12 | 2017-07-20 | 상명대학교산학협력단 | 차량 인증 장치 및 차량 인증 방법 |
| CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| MAHMOOD SHARIF 等: "Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition", 《CCS"16: PROCEEDING OF THE 2016 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICAIONTS SECURITY》 * |
| 霍玲玲 等: "嵌入式车牌识别系统的设计与实现", 《计算机技术与发展》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902705A (zh) * | 2018-10-30 | 2019-06-18 | 华为技术有限公司 | 一种对象检测模型的对抗扰动生成方法和装置 |
| CN109492582A (zh) * | 2018-11-09 | 2019-03-19 | 杭州安恒信息技术股份有限公司 | 一种基于算法对抗性攻击的图像识别攻击方法 |
| CN109492582B (zh) * | 2018-11-09 | 2022-02-11 | 杭州安恒信息技术股份有限公司 | 一种基于算法对抗性攻击的图像识别攻击方法 |
| CN111582295A (zh) * | 2019-02-15 | 2020-08-25 | 百度（美国）有限责任公司 | 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法 |
| CN111582295B (zh) * | 2019-02-15 | 2023-09-08 | 百度（美国）有限责任公司 | 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法 |
| CN110008987A (zh) * | 2019-02-20 | 2019-07-12 | 深圳大学 | 分类器鲁棒性的测试方法、装置、终端及存储介质 |
| CN110008987B (zh) * | 2019-02-20 | 2022-02-22 | 深圳大学 | 分类器鲁棒性的测试方法、装置、终端及存储介质 |
| CN109902617B (zh) * | 2019-02-25 | 2022-04-12 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法、装置、计算机设备和介质 |
| CN109902617A (zh) * | 2019-02-25 | 2019-06-18 | 百度在线网络技术（北京）有限公司 | 一种图片识别方法、装置、计算机设备和介质 |
| CN113474792A (zh) * | 2019-03-28 | 2021-10-01 | 康蒂-特米克微电子有限公司 | 对抗攻击的自动识别和分类 |
| CN110070115A (zh) * | 2019-04-04 | 2019-07-30 | 广州大学 | 一种单像素攻击样本生成方法、装置、设备及存储介质 |
| CN110175513A (zh) * | 2019-04-15 | 2019-08-27 | 浙江工业大学 | 一种基于多目标路优化的路牌识别攻击防御方法 |
| CN110163093B (zh) * | 2019-04-15 | 2021-03-05 | 浙江工业大学 | 一种基于遗传算法的路牌识别对抗防御方法 |
| CN110163093A (zh) * | 2019-04-15 | 2019-08-23 | 浙江工业大学 | 一种基于遗传算法的路牌识别对抗防御方法 |
| CN110175611A (zh) * | 2019-05-24 | 2019-08-27 | 浙江工业大学 | 面向车牌识别系统黑盒物理攻击模型的防御方法及装置 |
| CN110163163B (zh) * | 2019-05-24 | 2020-12-01 | 浙江工业大学 | 一种针对单张人脸查询次数受限攻击的防御方法及防御装置 |
| CN110163163A (zh) * | 2019-05-24 | 2019-08-23 | 浙江工业大学 | 一种针对单张人脸查询次数受限攻击的防御方法及防御装置 |
| CN110264505A (zh) * | 2019-06-05 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110264505B (zh) * | 2019-06-05 | 2021-07-30 | 北京达佳互联信息技术有限公司 | 一种单目深度估计方法、装置、电子设备及存储介质 |
| CN110889117A (zh) * | 2019-11-28 | 2020-03-17 | 支付宝(杭州)信息技术有限公司 | 一种模型攻击的防御方法及装置 |
| CN110889117B (zh) * | 2019-11-28 | 2022-04-19 | 支付宝(杭州)信息技术有限公司 | 一种模型攻击的防御方法及装置 |
| CN111860498A (zh) * | 2020-07-01 | 2020-10-30 | 广州大学 | 一种车牌的对抗性样本生成方法、装置及存储介质 |
| CN111860498B (zh) * | 2020-07-01 | 2023-12-19 | 广州大学 | 一种车牌的对抗性样本生成方法、装置及存储介质 |
| CN112381150A (zh) * | 2020-11-17 | 2021-02-19 | 上海科技大学 | 一种基于样本鲁棒性差异的对抗样本检测方法 |
| CN112508008A (zh) * | 2020-11-23 | 2021-03-16 | 广州大学 | 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法 |
| CN113537374A (zh) * | 2021-07-26 | 2021-10-22 | 百度在线网络技术（北京）有限公司 | 一种对抗样本生成方法 |
| CN113537374B (zh) * | 2021-07-26 | 2023-09-08 | 百度在线网络技术（北京）有限公司 | 一种对抗样本生成方法 |
| CN113705620A (zh) * | 2021-08-04 | 2021-11-26 | 百度在线网络技术（北京）有限公司 | 图像显示模型的训练方法、装置、电子设备和存储介质 |
| CN113705620B (zh) * | 2021-08-04 | 2023-08-15 | 百度在线网络技术（北京）有限公司 | 图像显示模型的训练方法、装置、电子设备和存储介质 |
| CN114240951A (zh) * | 2021-12-13 | 2022-03-25 | 电子科技大学 | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491837B (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491837A (zh) | 一种提高车牌攻击鲁棒性的对抗攻击方法 | |
| Jiang et al. | R2CNN: Rotational region CNN for orientation robust scene text detection | |
| CN110516561B (zh) | 基于dcgan和cnn的sar图像目标识别方法 | |
| Shen et al. | Ape-gan: Adversarial perturbation elimination with gan | |
| CN109508715B (zh) | 一种基于深度学习的车牌定位和识别方法 | |
| CN108446700B (zh) | 一种基于对抗攻击的车牌攻击生成方法 | |
| CN111414906B (zh) | 纸质票据图片的数据合成与文本识别方法 | |
| Gu et al. | Are vision transformers robust to patch perturbations? | |
| CN110020651A (zh) | 基于深度学习网络的车牌检测定位方法 | |
| WO2021169157A1 (zh) | 一种基于特征重映射的对抗样本防御方法和应用 | |
| CN108288088A (zh) | 一种基于端到端全卷积神经网络的场景文本检测方法 | |
| CN107633220A (zh) | 一种基于卷积神经网络的车辆前方目标识别方法 | |
| Tan et al. | Legitimate adversarial patches: Evading human eyes and detection models in the physical world | |
| CN108596053A (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 | |
| CN109886312A (zh) | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 | |
| CN110443367A (zh) | 一种增强神经网络模型鲁棒性能的方法 | |
| CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN105320963B (zh) | 面向高分遥感图像的大尺度半监督特征选择方法 | |
| CN104699781B (zh) | 基于双层锚图散列的sar图像检索方法 | |
| Zhang et al. | Adversarial deception against SAR target recognition network | |
| CN110175646A (zh) | 基于图像变换的多通道对抗样本检测方法及装置 | |
| Sharma et al. | Adversarial patch attacks and defences in vision-based tasks: A survey | |
| CN110008861A (zh) | 一种基于全局和局部特征学习的行人再识别方法 | |
| Tang et al. | Adversarial patch attacks against aerial imagery object detectors | |
| Chumuang et al. | Analysis of X-ray for locating the weapon in the vehicle by using scale-invariant features transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |