CN111860498B - 一种车牌的对抗性样本生成方法、装置及存储介质 - Google Patents

一种车牌的对抗性样本生成方法、装置及存储介质 Download PDF

Info

Publication number
CN111860498B
CN111860498B CN202010620936.XA CN202010620936A CN111860498B CN 111860498 B CN111860498 B CN 111860498B CN 202010620936 A CN202010620936 A CN 202010620936A CN 111860498 B CN111860498 B CN 111860498B
Authority
CN
China
Prior art keywords
license plate
image
countermeasure
stripe
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010620936.XA
Other languages
English (en)
Other versions
CN111860498A (zh
Inventor
顾钊铨
方滨兴
贾焰
刘宸玮
吕吟玉
苏煜
王乐
韩伟红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Guangzhou University
Original Assignee
National University of Defense Technology
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology, Guangzhou University filed Critical National University of Defense Technology
Priority to CN202010620936.XA priority Critical patent/CN111860498B/zh
Publication of CN111860498A publication Critical patent/CN111860498A/zh
Application granted granted Critical
Publication of CN111860498B publication Critical patent/CN111860498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车牌的对抗性样本生成方法、装置及存储介质，该方法先获取基准图像和多个非基准图像，并对图像进行预处理后获得第一车牌图像集；然后计算第一车牌图像集的平均图像，并根据识别模型的错误识别概率，确定对抗条纹在评价图像中的放置位置，再根据识别模型的损失函数，计算对抗条纹在平均图像中的放置位置时各点对应的像素值；最后结合打印后的对抗条纹和真实车牌，通过采集获得该识别模型的对抗性样本。采用本发明技术方案能够实现在真实物理世界中的对抗攻击，从而提高车牌检测识别系统的鲁棒性和防御对抗攻击的能力。

Description

一种车牌的对抗性样本生成方法、装置及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种对抗性样本的生成方法、装置及存储介质。
背景技术
随着机器学习和深度学习技术的快速发展，计算机视觉的应用场景越来越广泛，例如人脸识别系统、手写签名识别、车辆识别等。目前计算机视觉技术已经广泛应用于车牌识别领域，如卷积神经网络(Convolutional Neural Networks，CNN)，能够有效识别图像中的车牌号码。这些车牌识别技术已经广泛应用于电子不停车收费系统(ETC)、社区出入管理、无人停车场、交通系统监控管理等场景中，不仅提高了社会效率，还降低了管理成本。
但是，神经网络等人工智能技术也是会存在一定的安全隐患，如CNN具有脆弱性，攻击者可以通过添加人眼难以察觉的微小扰动构造对抗样本，对抗样本和原始图像相似性高，人眼难以察觉异常，但使用CNN识别该对抗样本时，CNN将以很大的概率将对抗样本识别错，从而产生错误的预测。
因此，在神经网络模型训练时增加更多的对抗样本能够提高现有识别系统的识别准确性。而现有技术中，如申请号201810186291.6基于Jacobian－based Saliency MapAttack(JSMA)攻击方法生成对抗样本，该方案仅在图像空间进行，并不能用于实际的图像识别系统。而且该方法生成的对抗样本不具有很高的可打印性，打印以后的对抗样本在真实物理世界中仍然会被现有图像识别系统识别出，无法达到对抗样本的作用。
发明内容
本发明实施例提供一种车牌的对抗性样本生成方法、装置及存储介质，能够实现在真实物理世界中的对抗攻击，从而提高车牌检测识别系统的鲁棒性和防御对抗攻击的能力。
本发明提供了一种车牌的对抗性样本生成方法，包括：
获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，所述基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；所述多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像；
根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集；
计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置；其中，所述识别模型为在输入所述基准车牌图像时能识别出所述车辆的车牌号码；
根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹；
结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本。
进一步的，所述获取同一车辆的基准车牌图像和多个非基准车牌图像，具体为：
在预设的基准距离D和基准角度A下拍摄所述车辆的车牌，获得基准车牌图像X；
在不同距离、不同角度(d1,a1),(d2,a2),…,(dn,an)下拍摄所述车辆的车牌，获得n个非基准车牌图像(X1,X2,…,Xn)；其中，n为正整数。
进一步的，所述根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集，具体为：
对于任意一张非基准车牌图像Xi，其拍摄距离和角度为(di,ai)，i为小于等于n的正整数；
根据(di,ai)与(D，A)之间的映射关系，将非基准车牌图像Xi进行相应的缩放或旋转操作，获得图像Xi’；
待所有非基准车牌图像均预处理完后，获得所述第一车牌图像集(X1’,X2’,…,Xn’)。
进一步的，所述计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置，具体为：
计算所述第一车牌图像集的平均图像其中，/>
分别计算条纹图像ΔX在平均图像上任意位置(b，c)时，所述识别模型的错误识别概率/>其中，/>为所述识别模型将图像识别为正确车牌号码Y，/>所述识别模型识别出正确车牌号码Y时对应的概率；
选取所述错误识别概率为最大值时对应的位置(*,*)为所述放置位置。
进一步的，所述根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹，具体为：
根据所述识别模型的损失函数argmaxx′J(x′,Y)，采用基于梯度的反向传播方法，计算图像ΔX(b*,c*)内的各像素值，生成可打印的对抗条形p；其中，argmaxx′J(x′,Y)表示所述识别模型将图像识别为正确车牌号码Y时的损失函数最大。
进一步的，所述基于梯度的反向传播方法包括：FGSM传播方法或PGD传播方法。
相应的，本发明提供了一种车牌的对抗性样本生成装置，所述生成装置包括：
获取模块，用于获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，所述基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；所述多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像；
预处理模块，用于根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集；
位置确定模块，用于计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置；其中，所述识别模型为在输入所述基准车牌图像时能识别出所述车辆的车牌号码；
对抗条纹生成模块，用于根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹；
对抗性样本采集模块，用于结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本。
相应的，本发明提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现本发明所述的的车牌的对抗性样本生成方法。
由上可见，本发明提供的车牌的对抗性样本生成方法、装置及存储介质，该方法先获取基准图像和多个非基准图像，并对图像进行预处理后获得第一车牌图像集；然后计算第一车牌图像集的平均图像，并根据识别模型的错误识别概率，确定对抗条纹在评价图像中的放置位置，再根据识别模型的损失函数，计算对抗条纹在平均图像中的放置位置时各点对应的像素值；最后结合打印后的对抗条纹和真实车牌，通过采集获得该识别模型的对抗性样本。相比于现有技术的对抗样本生成技术仅在图像空间中进行，本发明技术方案能够实现在真实物理世界中的对抗攻击，从而提高车牌检测识别系统的鲁棒性和防御对抗攻击的能力。此外，本发明生成的对抗条纹打印后即可使用，且不要求识别模型的种类，迁移性和扩展性强。
附图说明
图1是本发明提供的车牌的对抗性样本生成方法的一种实施例的流程示意图；
图2是本发明提供的车牌的对抗性样本生成装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的车牌的对抗性样本生成方法的一种实施例的流程示意图。如图1所示，该方法包括步骤101至步骤105，各步骤具体如下：
步骤101：获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像。
在本实施例中，步骤101具体为：通过数据采集系统(如摄像头)在预设的基准距离D和基准角度A下拍摄该车辆的车牌，从而获得基准车牌图像X。通过数据采集系统在不同距离、不同角度(d1,a1),(d2,a2),…,(dn,an)下拍摄该车辆的车牌，获得n个非基准车牌图像(X1,X2,…,Xn)；其中，n为正整数。
步骤102：根据不同距离、不同角度与基准距离、基准角度之间的映射关系，分别对多个非基准车牌图像进行预处理，获得第一车牌图像集。
在本实施例中，步骤102具体为：对于任意一张非基准车牌图像Xi，其拍摄距离和角度为(di,ai)，i为小于等于n的正整数；根据(di,ai)与(D，A)之间的映射关系，将非基准车牌图像Xi进行相应的缩放或旋转操作，获得图像Xi’；待所有非基准车牌图像均预处理完后，获得第一车牌图像集(X1’,X2’,…,Xn’)。
在本实施例中，缩放或旋转操作可以但不限于为以下举例的设置，如当di＞D时，将图像Xi放大di/D倍，图像Xi旋转ai+A角度；当di≤D时，将图像Xi缩小D/di倍，图像Xi旋转ai-A角度，从而生成对应的图像Xi’。本发明的旋转和缩放是为了将不同角度、远近的图像缩放和旋转到同一个基准角度下的图像，比如一张图像是1米远拍的，另一张10米远拍的，要把10米远的缩放到1米对应的图像，便于后续的图像处理。
步骤103：计算第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在平均图像中的放置位置；其中，识别模型为在输入基准车牌图像时能识别出车辆的车牌号码。
在本实施例中，识别模型为训练好的模型，可用于车辆识别系统。假设已有训练好的识别模型为Aa，对于数据集中任意一张车牌图片，识别模型Aa可以准确输出图片中的车牌号码，即识别模型在输入基准车牌图像时能识别出车辆的车牌号码。此外，识别模块还可以在输入非基准车牌图像时也能识别出车辆的车牌号码。
在本实施例中，步骤103具体为：
计算所述第一车牌图像集的平均图像其中，
分别计算条纹图像ΔX在平均图像上任意位置(b，c)时，所述识别模型的错误识别概率/>其中，/>为所述识别模型将图像识别为正确车牌号码Y，/>为识别模型识别出正确车牌号码Y时对应的概率；
选取所述错误识别概率为最大值时对应的位置(b*,c*)为该放置位置。
在本实施例中，条纹图像的形状和大小可以由用户自选，如长方形、正方形，为了不造成对抗色块对人眼的干扰，一般选取的条纹尺寸较小，不会干扰人眼的正常识别。此外，位置(b，c)可以但不限于表示左上角端点的位置，由于在本实施例中选取规则的正方形或长方形，所以在确定尺寸后只需定位某个端点的位置，即可确定条纹图像在平均图像上的位置。除了左上角端点外，位置(b，c)还可以表示另外几个端点、中心点、对称点、对角线点等能够定位图像的点。此外，本发明还可以用其他的定位方法表示对抗条纹在平均图像中的放置位置。
在确定了的定位方法后，根据预设识别模型的错误识别概率，即可确定对抗条纹的放置位置。对于所有位置，其错误识别概率为：选取概率值为最大时的位置作为放置位置。
步骤104：根据识别模型的损失函数，计算对抗条纹在平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹。
在本实施例中，对抗条纹的条纹图像ΔX上各点的像素值刚开始为随机产生。根据识别模型的损失函数argmaxx′J(x′,Y)，采用基于梯度的反向传播方法，计算图像ΔX(b*,c*)内的各像素值，生成可打印的对抗条形p；其中，argmaxx′J(x′,Y)表示所述识别模型将图像识别为正确车牌号码Y时的损失函数最大。图像ΔX(b*,c*)表示在放置位置(b*,c*)上的条纹图像。
在本实施例中，基于梯度的反向传播方法包括：FGSM传播方法或PGD传播方法。利用上述方法，对ΔX(b*,c*)内的数值进行修改，最终生成特定的像素数值，生成对抗条纹p，识别模型会以很大概率将识别错。
步骤105：结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本。
在本实施例中，打印后的对抗条纹p可以通过裁剪，按照图像和真实车牌的比例，将对抗条纹p粘贴在车牌中对应的(b*,c*)位置，这时通过采集车牌图像，获得对抗性样本。
作为本实施例的一种举例，在获得对抗条纹p和放置位置(b*,c*)后，也可以将其结合基准车牌图像，生成对抗性样本。本举例能够在没有真实车牌的情况下，生成对抗样本，提高本发明的扩展性和应用性。
为了更好的说明本发明的原理和流程，可以但不限于参见下述举例：例如某一含有车牌京A·12345的图片T，经过车牌识别模型Aa有Aa(T)＝(京A·12345,0.95)，其中京A·12345为车牌号码识别结果，0.95为识别概率。
1.假设基准距离1米、0度(正对车牌)时的图像为基准图像X；
2.根据不同距离、角度时采集车牌图像，例如(1米，5度)，(1米，10度)，(2米，0度)，(2米，5度)…等采集n张图像，并计算平均图像
3.假设平均图像的尺寸为200*50，选取的条纹尺寸为5*3，记条纹ΔX；计算条纹添加在不同位置时被错误识别的概率，并选取概率最大的位置，假设为(20,20)，即对抗条纹的左上角添加在图像/>的(20,20)处；
4.通过最大化损失函数，计算添加的条纹中各像素点的具体数值，并记为对抗条纹p；
5.将对抗条纹p打印并裁剪出来，然后按照比例粘贴在该真实车牌上。这时，采用车牌识别模型Aa进行识别时，模型很大概率将会将其识别出错，从而实现对抗样本的重新采集，通过克服该对抗样本实现识别模型的优化，提供模型的识别准确度。
相应的，参见图2，图2是本发明提供的车牌的对抗性样本生成装置的一种实施例的结构示意图。如图2所示，该生成装置包括：
获取模块201，用于获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，所述基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；所述多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像。
预处理模块202，用于根据不同距离、不同角度与基准距离、基准角度之间的映射关系，分别对多个非基准车牌图像进行预处理，获得第一车牌图像集。
位置确定模块203，用于计算第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置；其中，识别模型为在输入基准车牌图像时能识别出所述车辆的车牌号码。
对抗条纹生成模块204，用于根据识别模型的损失函数，计算对抗条纹在平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹。
对抗性样本采集模块205，用于结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本。
本装置更详细的工作原理和流程步骤可以但不限于参见上文描述的生成方法。
相应的，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种车牌的对抗性样本生成方法。
由上可见，本发明提供的车牌的对抗性样本生成方法、装置及存储介质，该方法先获取基准图像和多个非基准图像，并对图像进行预处理后获得第一车牌图像集；然后计算第一车牌图像集的平均图像，并根据识别模型的错误识别概率，确定对抗条纹在评价图像中的放置位置，再根据识别模型的损失函数，计算对抗条纹在平均图像中的放置位置时各点对应的像素值；最后结合打印后的对抗条纹和真实车牌，通过采集获得该识别模型的对抗性样本。相比于现有技术的对抗样本生成技术仅在图像空间中进行，本发明技术方案能够实现在真实物理世界中的对抗攻击，从而提高车牌检测识别系统的鲁棒性和防御对抗攻击的能力。此外，本发明生成的对抗条纹打印后即可使用，且不要求识别模型的种类，迁移性和扩展性强。
进一步的，本发明的样本生成方法克服了真实物理世界中环境的复杂性，通过不同距离、角度采集车牌图像，对采集后的图像进行处理，生成的对抗样本具有更强的鲁棒性，使识别模型更易识别错误，在安全领域具有更高的应用价值。此外，对本发明的生成方法进行研究，可以为现有的车牌识别模型抵御对抗攻击、提高鲁棒性提供思路。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种车牌的对抗性样本生成方法，其特征在于，包括：
获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，所述基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；所述多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像；
根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集；
计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置；其中，所述识别模型为在输入所述基准车牌图像时能识别出所述车辆的车牌号码；
根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹；
结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本；
其中，所述计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置，具体为：
计算所述第一车牌图像集的平均图像其中，
分别计算条纹图像ΔX在平均图像上任意位置(b，c)时，所述识别模型的错误识别概率/>其中，/>为所述识别模型将图像识别为正确车牌号码Y，/>为所述识别模型识别出正确车牌号码Y时对应的概率，Aa为识别模型；
选取所述错误识别概率为最大值时对应的位置(b*,c*)为所述放置位置；其中，(b*,c*)为所述识别模型的错误识别概率/>为最大值时条纹图像ΔX在平均图像/>上的位置(b，c)的取值。
2.根据权利要求1所述的车牌的对抗性样本生成方法，其特征在于，所述获取同一车辆的基准车牌图像和多个非基准车牌图像，具体为：
在预设的基准距离D和基准角度A下拍摄所述车辆的车牌，获得基准车牌图像X；
在不同距离、不同角度(d1,a1),(d2,a2),…,(dn,an)下拍摄所述车辆的车牌，获得n个非基准车牌图像(X1,X2,…,Xn)；其中，n为正整数；
其中，(dn,an)为由距离dn和角度an组成的数组，非基准车牌图像Xi是在距离和角度为(di,ai)下拍摄所述车辆的车牌而获得的，i为小于或等于n的正整数。
3.根据权利要求2所述的车牌的对抗性样本生成方法，其特征在于，所述根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集，具体为：
对于任意一张非基准车牌图像Xi，其拍摄距离和角度为(di,ai)，i为小于等于n的正整数；
根据(di,ai)与(D，A)之间的映射关系，将非基准车牌图像Xi进行相应的缩放或旋转操作，获得图像Xi’；其中，(D，A)为由预设的基准距离D和基准角度A组成的数组；
待所有非基准车牌图像均预处理完后，获得所述第一车牌图像集(X1’,X2’,…,Xn’)。
4.根据权利要求1所述的车牌的对抗性样本生成方法，其特征在于，所述根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹，具体为：
根据所述识别模型的损失函数arg maxx′J(x′,Y)，采用基于梯度的反向传播方法，计算图像ΔX(b*,c*)内的各像素值，生成可打印的对抗条形p；其中，arg maxx′J(x′,Y)表示所述识别模型将图像识别为正确车牌号码Y时的损失函数最大。
5.根据权利要求4所述的车牌的对抗性样本生成方法，其特征在于，所述基于梯度的反向传播方法包括：FGSM传播方法或PGD传播方法。
6.一种车牌的对抗性样本生成装置，其特征在于，所述生成装置包括：
获取模块，用于获取同一车辆的基准车牌图像和多个非基准车牌图像；其中，所述基准车牌图像是在预设的基准距离和基准角度下拍摄的车牌图像；所述多个非基准车牌图像是在不同距离、不同角度拍摄的同一车牌的多个车牌图像；
预处理模块，用于根据所述不同距离、不同角度与所述基准距离、基准角度之间的映射关系，分别对所述多个非基准车牌图像进行预处理，获得第一车牌图像集；
位置确定模块，用于计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置；其中，所述识别模型为在输入所述基准车牌图像时能识别出所述车辆的车牌号码；
对抗条纹生成模块，用于根据所述识别模型的损失函数，计算所述对抗条纹在所述平均图像中的放置位置时各点对应的像素值，生成可打印的对抗条纹；
对抗性样本采集模块，用于结合打印后的对抗条纹和真实车牌后，采集结合后的车牌图像，获得对抗性样本；
其中，所述计算所述第一车牌图像集的平均图像，并根据预设识别模型的错误识别概率，确定对抗条纹在所述平均图像中的放置位置，具体为：
计算所述第一车牌图像集的平均图像其中，/>
分别计算条纹图像ΔX在平均图像上任意位置(b，c)时，所述识别模型的错误识别概率其中，/>为所述识别模型将图像/>识别为正确车牌号码Y，/>为所述识别模型识别出正确车牌号码Y时对应的概率，Aa为识别模型；
选取所述错误识别概率为最大值时对应的位置(b*,c*)为所述放置位置；其中，(b*,c*)为所述识别模型的错误识别概率/>为最大值时，条纹图像ΔX在平均图像/>上的位置(b，c)的取值。
7.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-5任一项所述的车牌的对抗性样本生成方法。
CN202010620936.XA 2020-07-01 2020-07-01 一种车牌的对抗性样本生成方法、装置及存储介质 Active CN111860498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620936.XA CN111860498B (zh) 2020-07-01 2020-07-01 一种车牌的对抗性样本生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010620936.XA CN111860498B (zh) 2020-07-01 2020-07-01 一种车牌的对抗性样本生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111860498A CN111860498A (zh) 2020-10-30
CN111860498B true CN111860498B (zh) 2023-12-19

Family

ID=72988358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620936.XA Active CN111860498B (zh) 2020-07-01 2020-07-01 一种车牌的对抗性样本生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111860498B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508008A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法
CN112766430B (zh) * 2021-01-08 2022-01-28 广州紫为云科技有限公司 基于黑盒通用人脸检测对抗攻击的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175611A (zh) * 2019-05-24 2019-08-27 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
WO2020077866A1 (zh) * 2018-10-17 2020-04-23 平安科技（深圳）有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447112B2 (en) * 2010-12-17 2013-05-21 Xerox Corporation Method for automatic license plate recognition using adaptive feature set

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
WO2020077866A1 (zh) * 2018-10-17 2020-04-23 平安科技（深圳）有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175611A (zh) * 2019-05-24 2019-08-27 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置

Also Published As

Publication number Publication date
CN111860498A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN105335955B (zh) 对象检测方法和对象检测装置
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN111368717B (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN111860498B (zh) 一种车牌的对抗性样本生成方法、装置及存储介质
CN110222572B (zh) 跟踪方法、装置、电子设备及存储介质
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN113034586B (zh) 道路倾角检测方法和检测系统
CN112257538A (zh) 基于双目深度信息的活体检测方法、设备及存储介质
CN113537145B (zh) 目标检测中误、漏检快速解决的方法、装置及存储介质
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN116258748A (zh) 轨迹跟踪方法
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN116563902A (zh) 一种对抗样本生成方法、装置及电子设备
CN113111888B (zh) 一种图片判别方法及装置
CN114842443A (zh) 一种基于机器视觉的目标物识别和测距方法、装置、设备及存储介质
CN108399411B (zh) 一种多摄像头识别方法及装置
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator
CN115376119B (zh) 一种车牌识别方法、装置、车牌识别设备及存储介质
CN114120113A (zh) 一种适用于危化品堆垛距离检测的双目图像匹配方法
CN112508008A (zh) 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法
CN116403238A (zh) 行人重识别方法、装置、计算机可读存储介质及终端设备
CN113312710A (zh) 一种前车识别测距的虚拟仿真测试方法
CN117437262A (zh) 目标运动估计方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220701

Address after: No. 230, Waihuan West Road, Guangzhou University Town, Panyu, Guangzhou City, Guangdong Province, 510006

Applicant after: Guangzhou University

Applicant after: National University of Defense Technology

Address before: No. 230, Waihuan West Road, Guangzhou University Town, Panyu, Guangzhou City, Guangdong Province, 510006

Applicant before: Guangzhou University

GR01 Patent grant
GR01 Patent grant