CN110175611A - 面向车牌识别系统黑盒物理攻击模型的防御方法及装置 - Google Patents

面向车牌识别系统黑盒物理攻击模型的防御方法及装置 Download PDF

Info

Publication number
CN110175611A
CN110175611A CN201910439878.8A CN201910439878A CN110175611A CN 110175611 A CN110175611 A CN 110175611A CN 201910439878 A CN201910439878 A CN 201910439878A CN 110175611 A CN110175611 A CN 110175611A
Authority
CN
China
Prior art keywords
license plate
model
sample
resisting sample
black box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910439878.8A
Other languages
English (en)
Other versions
CN110175611B (zh
Inventor
陈晋音
沈诗婧
陈治清
苏蒙蒙
郑海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910439878.8A priority Critical patent/CN110175611B/zh
Publication of CN110175611A publication Critical patent/CN110175611A/zh
Application granted granted Critical
Publication of CN110175611B publication Critical patent/CN110175611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向车牌识别系统黑盒物理攻击的防御方法及装置。该方法利用基于扰动进化的方式，将多个初始随机扰动优化成不引人注目的特定扰动，并且利用数字图像处理的方法模拟现实场景下的不同环境变化，将对抗样本在不同环境下的攻击效果也作为优化目标，实现了物理场景下对车牌识别模型强健的黑盒攻击，然后将攻击得到的大量对抗样本与干净数据集按一定比例混合，作为对抗训练的训练数据集，对模型进行再训练，提高了模型对对抗样本检测的准确率，从而提高了模型对于对抗攻击的鲁棒性。

Description

面向车牌识别系统黑盒物理攻击模型的防御方法及装置
技术领域
本发明属于深度学习安全技术领域，具体涉及一种面向车牌识别系统黑盒物理攻击模型的防御方法及装置。
背景技术
深度学习为人工智能的发展提供了巨大的机遇。深度学习具有强大的学习、特征提取及建模能力，因而广泛应用到各个领域，如社交网络、图像分析、语音识别和语义理解等等。在计算机视觉领域，自从卷积神经网络(CNN)模型在处理大规模视觉识别系统中展现了强大性能后，深度学习已经成为了自驾车、图像处理、目标驱动视觉导航、场景识别等各种应用的主力军。其中，较为典型的是基于深度学习的车牌识别系统，该系统已经被广泛应用到公路收费、停车管理、交通执法、公路稽查、车辆调度、车辆检测等各种现实生活场景中。车牌识别模型已经深刻地融入公众的日常生活中，所以该模型的安全问题引发了极大的关注。
早些研究已经发现，深度神经网络在图像分类中存在这一个致命的缺陷，即深度神经网络很容易受到图像中细小扰动的对抗攻击。这种细小扰动对人类视觉系统来说几乎是不可察觉的，但可能导致神经网络分类器以很高的置信度颠覆对图像的预测，而且，相同的细小扰动可以同时欺骗多个网络分类器。在现实场景中，针对人脸安全识别系统的物理攻击已经产生，攻击者只需要戴上一副特制的眼镜，系统就会做出攻击者预期的错误判断。此外，在安全自动驾驶领域，针对路牌识别系统的物理攻击也已经产生，攻击者只需在路牌上添加一些不引人注意的涂鸦，或者替换路牌背景，自驾车的路牌识别系统就会做出错误的判断。这些物理层面的攻击对真实世界中的隐私安全和出行安全都构成了极大的威胁。由此，人们不免开始担忧，基于深度学习的车牌识别系统是否也具有类似的安全隐患。
针对车牌识别系统的物理对抗攻击，实际上是在复杂的环境背景下对印刷体数字和字母的攻击。实现车牌识别模型的物理攻击存在以下几个难点：1.现实中的攻击容易受环境的影响(如距离、光线、角度)。2.车牌上的扰动不能太大或太多，否则会被以故意遮挡车牌的罪名查处。3.现有的打印技术可能使得打印出来的扰动存在色差。一旦解决以上难点生成了车牌识别模型的对抗样本，违法车辆就能正大光明地出现在电子狗的监控之下，并引导车牌识别模型做出错误的预测。所以本文先研究现阶段可能存在的车牌物理攻击，然后再用攻击后的对抗样本对模型进行对抗训练，以提高车牌识别系统的鲁棒性。
综上所述，如何利用对抗训练的方法对可能存在的车牌识别系统黑盒物理攻击方法进行防御，具有极其重要的理论与实践意义。
发明内容
为了提高基于深度学习的车牌识别系统的安全准确性，本发明提供了一种面向车牌识别系统黑盒物理攻击模型的防御方法和装置。
本发明的技术方案：
一种面向车牌识别系统黑盒物理攻击模型的防御方法，包括以下步骤：
(1)获得车牌图片，并利用基于深度学习的车牌识别模型对该车牌图片进行识别，筛选获得能被正确识别的车牌图片，组成干净车牌数据集；
(2)针对干净车牌数据集中的干净车牌图片，在干净车牌图片中添加噪声扰动形成初始对抗样本，并统计噪声扰动的像素点个数，将该像素点个数作为目标函数F1；
(3)针对初始对抗样本，采用数字图像处理方法对初始对抗样本进行环境模拟变化，获得不同环境下的模拟对抗样本，将初始对抗样本和对应的模拟对抗样本输入至图像分类器中，获得初始对抗样本和模拟对抗样本的分类置信度，根据该分类置信度构建目标函数F2；
(4)采用带精英策略的非支配排序的遗传算法NSGA-II优化目标函数F1和F2，得到最佳对抗扰动，将该最佳对抗扰动添加到干净车牌图片上，获得最佳对抗样本；
(5)利用干净车牌图片和最佳对抗样本对步骤(1)中的车牌识别模型中的分类器进行优化，获得能够防御对抗攻击的车牌识别模型；
(6)利用能够防御对抗攻击的车牌识别模型对车牌图片进行识别，能够防对御车牌图片的对抗攻击。
一种面向车牌识别系统黑盒物理攻击模型的防御装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述面向车牌识别系统黑盒物理攻击模型的防御方法。
针对于可能存在的车牌识别系统黑盒攻击，本发明采用数字图像处理方法对初始对抗样本进行环境模拟变化获得模拟对抗样本，并采用NSGA-II方法进行对抗样本优化获得最佳对抗样本，利用该最佳对抗样本对车牌识别模型进行对抗训练，以获得能够防御对抗样本的车牌识别模型。实现对黑盒攻击的防御。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的面向车牌识别系统黑盒物理攻击模型的防御方法的流程框图；
图2是利用最佳对抗样本对车牌识别模型进行优化训练过程图及识别效果图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了提升基于深度学习的车牌识别系统的安全准确性，以防止黑盒共计对车牌识别结果的影响，本实施例提供了一种面向车牌识别系统黑盒物理攻击模型的防御方法。如图1所示，具体包括以下步骤：
S101，获得车牌图片，并利用基于深度学习的车牌识别模型对该车牌图片进行识别，筛选获得能被正确识别的车牌图片，组成干净车牌数据集。
具体地，获得的车牌图片是从距离车牌0.8～1.2米内，以正角度拍摄车牌获得的图像，一般准备500张的车牌图片。本实施例中，采用HyperLPR作为基于深度学习的车牌识别模型，该车牌识别模型是已经训练好的，能够对车牌图片进行正确识别。
S102，针对干净车牌数据集中的干净车牌图片，在干净车牌图片中添加噪声扰动形成初始对抗样本，并统计噪声扰动的像素点个数，将该像素点个数作为目标函数F1。
具体地，提供黑色噪声块和/或白色噪声块作为噪声扰动块，黑色噪声块可以为尺寸为5*5，且黑色像素点组成的图块，白色噪声块可以为尺寸为5*5，且白色像素点组成的图块。具体的噪声扰动块的大小可根据车牌所占像素大小进行调节，每块噪声扰动块占车牌图片面积的1/2500～1/1500，扰动位置随机分布。本实施例中可以包含50块噪声扰动块，将噪声扰动设置为块状且由黑白色组成，是为了确保在现实场景中能将扰动无色差打印出来，将噪声扰动添加到干净车牌图片形成初始对抗样本，以实现物理攻击。
在统计噪声扰动的像素点个数时，记录每张初始对抗样本中噪声扰动块的个数n，计算所有噪声扰动总数的面积，即所有扰动的像素点个数总和，记为S，并将S作为目标函数F1，F1越小，表示优化效果越好。
S103，针对初始对抗样本，采用数字图像处理方法对初始对抗样本进行环境模拟变化，获得不同环境下的模拟对抗样本，将初始对抗样本和对应的模拟对抗样本输入至图像分类器中，获得初始对抗样本和模拟对抗样本的分类置信度，根据该分类置信度构建目标函数F2。
在数字图像处理方法中，采用图像透视变换对初始对抗样本进行不同拍摄角度变换，采用图像缩放变换对初始对抗样本进行不同拍摄距离变换，采用图像亮度变换对初始对抗样本进行不同拍摄光线变换，以获得不同环境下的模拟对抗样本。
具体地，采用图像透视变换对初始对抗样本进行向左倾10～20度和向右倾10～20度的拍摄角度变换，采用图像缩放变换将初始对抗样本缩小到0.4～0.6倍和放大到1.5～2倍，采用图像亮度变换将初始对抗样本的像素减小0.4～0.6倍和增大1.5～2倍，以获得不同环境下的模拟对抗样本。
本实施例中，利用opencv中的图像透视变换对样本中的车牌进行不同拍摄角度变换，分别向左倾10度，向右倾20度；利用图像缩放变换表示不同拍摄距离，分别将图像尺寸(长宽)缩小至0.5倍(*0.5)，放大至2倍(*2)；利用图像亮度变换表示不同拍摄光线，分别将图像像素值减小一半(*0.5)，增大一倍(*2)，这样，针对一张初始对抗样本，可以生成6张模拟对抗样本。
将每一张对抗样本x′及其上述6种形态变换后的样本Ti(x′)，i＝1,2...6输入到图像分类器中，将分类结果中各类置信度记为f(x′)，f(Ti(x′))，i＝1,2...6，原图正确类为y，构建的目标函数F2为：
其中，y为干净车牌图片x的正确类标；f(x′)为初始对抗样本x′输入至图像分类中，输出的分类置信度，f(Ti(x′))为第i个模拟对抗样本Ti(x′)输入至图像分类中，输出的分类置信度；J(.)表示交叉熵函数。
S104，采用带精英策略的非支配排序的遗传算法NSGA-II优化目标函数F1和F2，得到最佳对抗扰动，将该最佳对抗扰动添加到干净车牌图片上，获得最佳对抗样本。
当个体A中所有目标都优于或等于个体B时，就定义为A支配了B，否则A和B就是一个非支配的关系，而在NSGA-II中，种群中所有不被任何其他解支配的解构成了非支配解(Pareto最优解)。
支配关系具体定义如下：
对于最小化多目标问题，n个目标分量fi(i＝1,...,n)组成的向量任意给定两个决策变量
当且仅当，对于都有则支配
当且仅当，对于都有且至少存在一个j∈{1,...,n}，使则弱支配
当且仅当，使同时，使则与互不支配。
非支配解(Pareto最优解)具体定义如下：
对于最小化多目标问题，n个目标分量fi(i＝1,...,n)组成的向量为决策变量，若为Pareto最优解，则需满足：
当且仅当，不存在使得且
本发明中，采用带精英策略的非支配排序的遗传算法NSGA-II优化目标函数F1和F2包括：
(a)将每张初始对抗样本中的噪声扰动作为初始父代，即初始染色体，每张初始对抗样本中的每块噪声扰动块作为每条染色体上的基因；
(b)针对父代种群P，采用模拟二进制交叉法和多项式变异操作产生子代种群Q；
(c)对父代种群P和子代种群Q组成的整体R进行非支配排序，即选取R中所有不能被其他的解支配的解集设为级别R0，并将级别R0对应的解集从R中排除；从剩下所有解中选出不能被任何其他解支配的解集设为级别R1，并将级别R1对应的解集从R中排除；以此类推，直到通过支配关系将解集中所有的解进行排序，得到所有解的等级，等级值越小的解越好；
(d)设定表示解与解之间差异性的拥挤度作为同等级非支配解集中解的评价标准，拥挤度越大表示解与其他解之间差异性越大，即该解越优，拥挤度排序用于保持解的多样性，每个个体的拥挤度计算方式如下：
其中，id表示第i个个体的拥挤度，m表示有m个目标函数，表示第i+1个个体的第j个目标函数值；表示第i-1个个体的第j个目标函数值；
在选择的过程中，设定每次迭代种群中个体的数量N为50，而每次挑选时，先挑选表现最好的解，即R0中的解，接着是R1，R2，R3...，但是总会出现以下情况：
而
为了判定同一个等级的解的好坏，因此设置拥挤度作为同等级非支配解集中解的评价标准。
(e)通过非支配排序的方式选出R0,R1,...,Rn-1等级的个体后，再通过拥挤度排序选出Rn等级中的个体，直到使得两种排序方式选出的个体总数为N，构成下一次迭代的父代种群P；
(f)重复步骤(b)～步骤(e)，直到父代种群P收敛，该父代种群P中的个体作为最佳对抗扰动。
在获得最佳对抗扰动后，将最佳对抗扰动添加到干净车牌图片上，获得最佳对抗样本。
S105，利用干净车牌图片和最佳对抗样本对步骤(1)中的车牌识别模型中的分类器进行优化，获得能够防御对抗攻击的车牌识别模型。
在重复步骤(f)的过程中，可以获得大量干净车牌数据集的黑盒物理攻击的最佳对抗样本，将干净车牌图片和最佳对抗样本按照1:2～10比例混合，同时将原先分类错误的最佳对抗样本的类标更改正确，形成训练样本集，同时将车牌识别模型中的分类器更改为实际需要的新分类器，并固定车牌识别模型中其他网络层的参数，仅对新分类器进行训练，以实现对新分类器的优化，获得能够防御对抗攻击的车牌识别模型。
本实施例中，将对抗样本与干净的车牌数据集按1:5比例混合，得到用于对抗训练的训练数据集，最后利用重组后的训练数据集对模型进行再训练。模型再训练(Retrain)是利用基于深度学习的车牌识别模型所导出的pb文件，将最后的softmax layer更改为自己所需要的分类器，即把原先分类错误的对抗样本的类标更改为正确的类标，然后对这一更改的softmax layer进行训练。除了最后一层，其他层的参数全部固化，无法更新。因此，在实际的Retrain中，往往先将数据集中的所有图片导入到模型中，获取最后一层的输入，即倒数第二层的输出，定义为Bottlenecks。然后直接使用Bottlenecks对最后更改的softmaxlayer进行训练，这将大幅度提升训练速度。模型再训练提高了对车牌黑盒物理攻击的防御能力，增强了模型对于对抗样本的鲁棒性，具体过程如图2所示。
S106，利用能够防御对抗攻击的车牌识别模型对车牌图片进行识别，能够防对御车牌图片的对抗攻击，识别结果如图2所示。
本实施例还提供了一种面向车牌识别系统黑盒物理攻击模型的防御装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现上述S101～S106提供的面向车牌识别系统黑盒物理攻击模型的防御方法。
由于该防御装置中以及计算机存储器存储的计算机程序主要用于实现上述的一种面向车牌识别系统黑盒物理攻击模型的防御方法，因此其作用与上述防御方法的作用相对应，此处不再赘述。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向车牌识别系统黑盒物理攻击模型的防御方法，包括以下步骤：
(1)获得车牌图片，并利用基于深度学习的车牌识别模型对该车牌图片进行识别，筛选获得能被正确识别的车牌图片，组成干净车牌数据集；
(2)针对干净车牌数据集中的干净车牌图片，在干净车牌图片中添加噪声扰动形成初始对抗样本，并统计噪声扰动的像素点个数，将该像素点个数作为目标函数F1；
(3)针对初始对抗样本，采用数字图像处理方法对初始对抗样本进行环境模拟变化，获得不同环境下的模拟对抗样本，将初始对抗样本和对应的模拟对抗样本输入至图像分类器中，获得初始对抗样本和模拟对抗样本的分类置信度，根据该分类置信度构建目标函数F2；
(4)采用带精英策略的非支配排序的遗传算法NSGA-II优化目标函数F1和F2，得到最佳对抗扰动，将该最佳对抗扰动添加到干净车牌图片上，获得最佳对抗样本；
(5)利用干净车牌图片和最佳对抗样本对步骤(1)中的车牌识别模型中的分类器进行优化，获得能够防御对抗攻击的车牌识别模型；
(6)利用能够防御对抗攻击的车牌识别模型对车牌图片进行识别，能够防对御车牌图片的对抗攻击。
2.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(1)中，获得的车牌图片是从距离车牌0.8～1.2米内，以正角度拍摄车牌获得的图像；
采用HyperLPR作为基于深度学习的车牌识别模型。
3.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(2)中，提供黑色噪声块和/或白色噪声块作为噪声扰动块，每块噪声扰动块占车牌图片面积的1/2500～1/1500。
4.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(3)中，采用图像透视变换对初始对抗样本进行不同拍摄角度变换，采用图像缩放变换对初始对抗样本进行不同拍摄距离变换，采用图像亮度变换对初始对抗样本进行不同拍摄光线变换，以获得不同环境下的模拟对抗样本。
5.如权利要求4所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，采用图像透视变换对初始对抗样本进行向左倾10～20度和向右倾10～20度的拍摄角度变换，采用图像缩放变换将初始对抗样本缩小到0.4～0.6倍和放大到1.5～2倍，采用图像亮度变换将初始对抗样本的像素减小0.4～0.6倍和增大1.5～2倍，以获得不同环境下的模拟对抗样本。
6.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(3)中，构建的目标函数F2为：
其中，y为干净车牌图片x的正确类标；f(x′)为初始对抗样本x′输入至图像分类中，输出的分类置信度，f(Ti(x′))为第i个模拟对抗样本Ti(x′)输入至图像分类中，输出的分类置信度；J(.)表示交叉熵函数。
7.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(4)中，采用带精英策略的非支配排序的遗传算法NSGA-II优化目标函数F1和F2包括：
(a)将每张初始对抗样本中的噪声扰动作为初始父代，即初始染色体，每张初始对抗样本中的每块噪声扰动块作为每条染色体上的基因；
(b)针对父代种群P，采用模拟二进制交叉法和多项式变异操作产生子代种群Q；
(c)对父代种群P和子代种群Q组成的整体R进行非支配排序，即选取R中所有不能被其他的解支配的解集设为级别R0，并将级别R0对应的解集从R中排除；从剩下所有解中选出不能被任何其他解支配的解集设为级别R1，并将级别R1对应的解集从R中排除；以此类推，直到通过支配关系将解集中所有的解进行排序，得到所有解的等级，等级值越小的解越好；
(d)设定表示解与解之间差异性的拥挤度作为同等级非支配解集中解的评价标准，拥挤度越大表示解与其他解之间差异性越大，即该解越优，拥挤度排序用于保持解的多样性，每个个体的拥挤度计算方式如下：
其中，id表示第i个个体的拥挤度，m表示有m个目标函数，表示第i+1个个体的第j个目标函数值；表示第i-1个个体的第j个目标函数值；
(e)通过非支配排序的方式选出R0,R1,...,Rn-1等级的个体后，再通过拥挤度排序选出Rn等级中的个体，直到使得两种排序方式选出的个体总数为N，构成下一次迭代的父代种群P；
(f)重复步骤(b)～步骤(e)，直到父代种群P收敛，该父代种群P中的个体作为最佳对抗扰动。
8.如权利要求1所述的面向车牌识别系统黑盒物理攻击模型的防御方法，其特征在于，步骤(5)中，将干净车牌图片和最佳对抗样本按照1:2～10比例混合，同时将原先分类错误的最佳对抗样本的类标更改正确，形成训练样本集，同时将车牌识别模型中的分类器更改为实际需要的新分类器，并固定车牌识别模型中其他网络层的参数，仅对新分类器进行训练，以实现对新分类器的优化，获得能够防御对抗攻击的车牌识别模型。
9.一种面向车牌识别系统黑盒物理攻击模型的防御装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行所述计算机程序时实现权利要求1～8所述的面向车牌识别系统黑盒物理攻击模型的防御方法。
CN201910439878.8A 2019-05-24 2019-05-24 面向车牌识别系统黑盒物理攻击模型的防御方法及装置 Active CN110175611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910439878.8A CN110175611B (zh) 2019-05-24 2019-05-24 面向车牌识别系统黑盒物理攻击模型的防御方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910439878.8A CN110175611B (zh) 2019-05-24 2019-05-24 面向车牌识别系统黑盒物理攻击模型的防御方法及装置

Publications (2)

Publication Number Publication Date
CN110175611A true CN110175611A (zh) 2019-08-27
CN110175611B CN110175611B (zh) 2020-12-11

Family

ID=67695653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910439878.8A Active CN110175611B (zh) 2019-05-24 2019-05-24 面向车牌识别系统黑盒物理攻击模型的防御方法及装置

Country Status (1)

Country Link
CN (1) CN110175611B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941794A (zh) * 2019-11-27 2020-03-31 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111291828A (zh) * 2020-03-03 2020-06-16 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
CN111310592A (zh) * 2020-01-20 2020-06-19 杭州视在科技有限公司 一种基于场景分析和深度学习的检测方法
CN111598210A (zh) * 2020-04-30 2020-08-28 浙江工业大学 面向基于人工免疫算法对抗攻击的对抗防御方法
CN111783890A (zh) * 2020-07-02 2020-10-16 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN111860498A (zh) * 2020-07-01 2020-10-30 广州大学 一种车牌的对抗性样本生成方法、装置及存储介质
CN112508008A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法
CN112541404A (zh) * 2020-11-22 2021-03-23 同济大学 一种面向交通信息感知的物理攻击对抗样本生成方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别系统中防御图像噪声攻击的方法
CN113436192A (zh) * 2021-08-26 2021-09-24 深圳科亚医疗科技有限公司 一种病理图像的分类学习方法、分类系统及可读介质
CN115062306A (zh) * 2022-06-28 2022-09-16 中国海洋大学 一种针对恶意代码检测系统的黑盒对抗攻击方法
CN115909020A (zh) * 2022-09-30 2023-04-04 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108520268A (zh) * 2018-03-09 2018-09-11 浙江工业大学 基于样本选择和模型进化的黑盒对抗性攻击防御方法
CN108615048A (zh) * 2018-04-04 2018-10-02 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108491837A (zh) * 2018-03-07 2018-09-04 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108520268A (zh) * 2018-03-09 2018-09-11 浙江工业大学 基于样本选择和模型进化的黑盒对抗性攻击防御方法
CN108615048A (zh) * 2018-04-04 2018-10-02 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JINYIN CHEN等: "Can Adversarial Network Attack be Defended?", 《ARXIV:1903.05994V1 [CS.SI]》 *
JINYIN CHEN等: "GA Based Q-Attack on Community Detection", 《ARXIV:1811.00430V4 [CS.SI]》 *
JINYIN CHEN等: "POBA-GA: Perturbation Optimized Black-Box Adversarial Attacks via Genetic Algorithm", 《ARXIV:1906.03181V1 [CS.CR]》 *
KALYANMOY DEB等: "A Fast and Elitist Multiobjective Genetic Algorithm：NSGA-II", 《IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION》 *
THOMAS BRUNNER等: "Guessing Smart: Biased Sampling for Efficient Black-Box Adversarial Attacks", 《ARXIV:1812.09803V3 [STAT.ML]》 *
VIGNESH SRINIVASAN等: "Black-Box Decision based Adversarial Attack with Symmetric α-stable Distribution", 《ARXIV:1904.05586V1 [CS.CV]》 *
凌祥等: "面向深度学习系统的对抗样本攻击与防御", 《中国计算机学会通讯》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941794A (zh) * 2019-11-27 2020-03-31 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN110941794B (zh) * 2019-11-27 2023-08-22 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111310592A (zh) * 2020-01-20 2020-06-19 杭州视在科技有限公司 一种基于场景分析和深度学习的检测方法
CN111310592B (zh) * 2020-01-20 2023-06-16 杭州视在科技有限公司 一种基于场景分析和深度学习的检测方法
CN111291828A (zh) * 2020-03-03 2020-06-16 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
CN111291828B (zh) * 2020-03-03 2023-10-27 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
CN111598210A (zh) * 2020-04-30 2020-08-28 浙江工业大学 面向基于人工免疫算法对抗攻击的对抗防御方法
CN111860498B (zh) * 2020-07-01 2023-12-19 广州大学 一种车牌的对抗性样本生成方法、装置及存储介质
CN111860498A (zh) * 2020-07-01 2020-10-30 广州大学 一种车牌的对抗性样本生成方法、装置及存储介质
CN111783890B (zh) * 2020-07-02 2022-06-03 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN111783890A (zh) * 2020-07-02 2020-10-16 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN112541404A (zh) * 2020-11-22 2021-03-23 同济大学 一种面向交通信息感知的物理攻击对抗样本生成方法
CN112508008A (zh) * 2020-11-23 2021-03-16 广州大学 一种检测车牌识别系统抵御对抗样本透明膜攻击的方法
CN112668557A (zh) * 2021-01-29 2021-04-16 南通大学 一种行人再识别系统中防御图像噪声攻击的方法
CN113436192A (zh) * 2021-08-26 2021-09-24 深圳科亚医疗科技有限公司 一种病理图像的分类学习方法、分类系统及可读介质
CN115062306A (zh) * 2022-06-28 2022-09-16 中国海洋大学 一种针对恶意代码检测系统的黑盒对抗攻击方法
CN115909020A (zh) * 2022-09-30 2023-04-04 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN115909020B (zh) * 2022-09-30 2024-01-09 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质

Also Published As

Publication number Publication date
CN110175611B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN110175611A (zh) 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110175513B (zh) 一种基于多目标路优化的路牌识别攻击防御方法
CN108446700B (zh) 一种基于对抗攻击的车牌攻击生成方法
Yamanishi et al. Discovering outlier filtering rules from unlabeled data: combining a supervised learner with an unsupervised learner
CN110163093B (zh) 一种基于遗传算法的路牌识别对抗防御方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN108615048A (zh) 基于扰动进化对图像分类器对抗性攻击的防御方法
CN108596211B (zh) 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN107862668A (zh) 一种基于gnn的文物图像复原方法
Deb et al. An efficient method of vehicle license plate recognition based on sliding concentric windows and artificial neural network
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN110991549A (zh) 一种针对图像数据的对抗样本生成方法及系统
Mohabey et al. Rough set theory based segmentation of color images
Cao et al. Robust trajectory prediction against adversarial attacks
CN107516103A (zh) 一种影像分类方法和系统
Qian et al. Spot evasion attacks: Adversarial examples for license plate recognition systems with convolutional neural networks
CN109902018A (zh) 一种智能驾驶系统测试案例的获取方法
CN111754519A (zh) 一种基于类激活映射的对抗防御方法
CN111783551A (zh) 基于贝叶斯卷积神经网络的对抗样本防御方法
CN111598210A (zh) 面向基于人工免疫算法对抗攻击的对抗防御方法
Williams et al. Black-box sparse adversarial attack via multi-objective optimisation
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
CN117854039A (zh) 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统
Sun et al. Prediction model for the number of crucian carp hypoxia based on the fusion of fish behavior and water environment factors
CN116468994A (zh) 一种基于街景数据的村镇收缩模拟方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant