CN113743218B - 一种车牌识别方法、车牌识别装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种车牌识别方法、车牌识别装置和计算机可读存储介质，该方法包括：利用训练数据集对生成对抗网络进行训练，训练数据集包括多个训练样本，训练样本包括第一车牌图像，生成对抗网络包括生成器与辨别器，生成器用于生成虚拟车牌图像，辨别器用于判断虚拟车牌图像与第一车牌图像的真伪，并对虚拟车牌图像与第一车牌图像进行识别，生成第一车牌识别结果；对第一待识别图像进行检测，得到第一车牌框；基于训练后的生成对抗网络，对第一车牌框中的图像进行识别，得到第二车牌识别结果。通过上述方式，本申请能够实现对非标车牌的检测与识别，且提升车牌识别的鲁棒性与准确率。

Description

一种车牌识别方法、车牌识别装置和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种车牌识别方法、车牌识别装置和计算机可读存储介质。

背景技术

在夜晚光线较差、距离较远或相机像素不够的情况下，很难实现对大型货车的车牌检测与识别，尤其在大型货车存在污损或遮挡严重的情况下，但是货车箱体上喷涂的非标车牌有着更大的分辨率，可以通过对非标车牌的检测与识别进行违法货车定位，有效地遏制大型货车在驾驶过程中的不规范行为，因此利用文字检测与识别技术实现对非标车牌的检测与识别，对于提升道路交通安全有可行性并有重要意义；但是相关技术存在不足：只能解决标准车牌的检测与识别，无法实现非标车牌的检测与识别。

发明内容

本申请提供一种车牌识别方法、车牌识别装置和计算机可读存储介质，能够实现对非标车牌的检测与识别，且提升车牌识别的鲁棒性与准确率。

为解决上述技术问题，本申请采用的技术方案是：提供一种车牌识别方法，该方法包括：利用训练数据集对生成对抗网络进行训练，训练数据集包括多个训练样本，训练样本包括第一车牌图像，生成对抗网络包括生成器与辨别器，生成器用于生成虚拟车牌图像，辨别器用于判断虚拟车牌图像与第一车牌图像的真伪，并对虚拟车牌图像与第一车牌图像进行识别，生成第一车牌识别结果；对第一待识别图像进行检测，得到第一车牌框；基于训练后的生成对抗网络，对第一车牌框中的图像进行识别，得到第二车牌识别结果。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种车牌识别装置，该车牌识别装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌识别方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车牌识别方法。

通过上述方案，本申请的有益效果是：先利用训练数据集对生成对抗网络进行训练，该训练数据集包括多个训练样本，每个训练样本包括第一车牌图像，生成对抗网络能够生成虚拟车牌图像，判断虚拟车牌图像与第一车牌图像的真伪，并对虚拟车牌图像与第一车牌图像进行识别生成第一车牌识别结果；然后对第一待识别图像进行检测得到第一车牌框；最后采用训练好的生成对抗网络对第一车牌框中的图像进行识别，得到第二车牌识别结果，实现对非标车牌的检测与识别，且由于在生成对抗网络的辨别器中加入车牌识别功能，能够通过对抗促进提升车牌识别的鲁棒性与准确率，解决了在光线差、遮挡以及相机分辨率较低的情况下，不易对非标车牌进行检测与识别的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1(a)-1(b)是本申请提供的非标车牌的示意图；

图2是本申请提供的车牌识别方法一实施例的流程示意图；

图3是本申请提供的车牌识别方法另一实施例的流程示意图；

图4是本申请提供的非标车牌与存在的问题的示意图；

图5是本申请提供的生成对抗网络的结构示意图；

图6是图3所示的实施例中步骤38的流程示意图；

图7是本申请提供的非标车牌水平倾斜和垂直倾斜的示意图；

图8是本申请提供的非标车牌存在梯形畸变的示意图；

图9是本申请提供的车牌识别装置一实施例的结构示意图；

图10是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

非标车牌为中型、重型载货汽车及其挂车车身或者车厢后部喷涂的车牌号，如图1(a)-1(b)所示，非标车牌的字号一般较大且字体颜色与车体颜色有明显反差；本申请所采用的技术方案不仅可以应用于对非标车牌的检测与识别，还是可应用于对普通标准车牌的检测与识别。

请参阅图2，图2是本申请提供的车牌识别方法一实施例的流程示意图，该方法包括：

步骤21：利用训练数据集对生成对抗网络进行训练。

对于标准车牌检测工作，训练的数据量要求较小，可以通过在现实生活中收集得到；而对于非标车牌的识别来说，由于需要各种光线、省份或车辆的非标车牌训练数据，现实中往往难以实现收集，可以采用一些算法类生成假的非标车牌的图像(即虚拟车牌图像)，比如：采用生成对抗网络(GAN，Generative Adversarial Networks)或像素递归神经网络(Pixel Recurrent Neural Network，PixelRNN)或变分自编码器(VariationalAutoencoder，VAE)等生成模型，生成模型可以将输入的文字(即车牌号)转换成非标车牌图像。

进一步地，训练数据集包括多个训练样本，每个训练样本包括第一车牌图像，生成对抗网络包括生成器与辨别器，生成器用于生成虚拟车牌图像，辨别器用于判断虚拟车牌图像与第一车牌图像的真伪，并对虚拟车牌图像与第一车牌图像进行识别，生成第一车牌识别结果。

在一具体的实施例中，生成对抗网络可以为GAN或基于样式的生成对抗网络(StyleGAN)；在获取到训练样本后，可将每个训练样本输入生成对抗网络，得到相应的第一车牌识别结果，通过对第一车牌识别结果进行分析或对训练的次数进行分析，可以确定是否达到训练终止的条件，如果未达到训练终止的条件，就继续将训练数据集中的训练样本输入生成对抗网络，并调整网络的参数，直至满足训练终止的条件，得到一个训练好的生成对抗网络。

步骤22：对第一待识别图像进行检测，得到第一车牌框。

从整个第一待识别图像中准确地检测出非标车牌所在的区域是车牌识别工作的一个重要步骤，如果定位失败或定位不完整，将直接导致识别失败。由于非标车牌的图像背景可能比较复杂，且需要考虑不清晰的非标车牌的定位，容易把栅栏或广告牌等噪声当成非标车牌，所以如何排除这些伪车牌也是车牌定位的一个难点。车牌定位一般可以依据纹理特征、颜色特征或形状特征等信息，采用关键点检测与关键点连线算法来检测车牌。例如，采用车牌检测模型进行检测，该车牌检测模型可以为角点检测模型，利用角点检测与后处理实现对车牌位置的检测；或者基于颜色特征生成二值图，以定位车牌位置，得到第一待识别图像中的车牌框(即第一车牌框)，该第一车牌框包括四个角点，即车牌的左上角的像素点、左下角的像素点、右上角的像素点以及右下角的像素点。

可以理解地，步骤22可以在步骤21之前执行，并不仅限于图1所示的执行顺序。

步骤23：基于训练后的生成对抗网络，对第一车牌框中的图像进行识别，得到第二车牌识别结果。

在获取到训练好的生成对抗网络后，将第一车牌框中的图像(即由第一待识别图像中第一车牌框内部的像素点组成的图像)输入该生成对抗网络，以使得该生成对抗网络对第一车牌框中的图像进行识别，生成相应的车牌识别结果(即第二车牌识别结果)。

本实施例提供了一种非标车牌检测与识别的方法，利用车牌检测模型来检测货车车牌的四个角点位置，实现对车牌位置的检测；再利用生成模型将输入文字合成非标车牌，来扩充对非标车牌进行识别训练的数据集；然后对生成对抗网络进行训练，最终通过训练好的生成对抗网络实现对非标车牌的识别，输出非标车牌上的文字，能够实现对非标车牌的检测与识别，而且由于将车牌识别的网络加入辨别器中进行对抗训练，有助于提升车牌识别的鲁棒性与准确率。

请参阅图3，图3是本申请提供的车牌识别方法另一实施例的流程示意图，该方法包括：

步骤31：从训练数据集中选择一个训练样本，并将训练样本中的第一车牌图像输入判别网络；将随机向量与虚拟车牌字符串输入生成器，得到虚拟车牌图像，并生成与虚拟车牌图像对应的第二标签判别结果以及第二标签识别结果。

不同于标准车牌的生成，由于非标车牌没有固定的背景模板，背景是各式各样的车体，且非标车牌的背景因为车辆类型、颜色、光线或清洁程度呈现各种复杂的情况，因此要比标准车牌具有更多的分布空间，对数据多样性要求较高，例如，如图4所示，非标车牌中的字体可能大小不一、磨损严重或间距不一致等；因此基于StyleGAN生成各种分布的、有标注的非标车牌数据，StyleGAN通过分别修改每一层级的输入，在不影响其他层级的情况下来控制该层级所表示的视觉特征，这些特征可以是粗的特征(比如：姿势或脸型等)，也可以是一些细节特征(比如：瞳色或发色等)，本实施例可以利用这种特质来通过层级输入，实现对非标车牌背景的各种风格进行控制，生成多张虚拟车牌图像。相对于原始的StyleGAN，本实施例除了生成一个随机噪声向量之外，还建立了一个真实的非标车牌库，对该非标车牌库中所有的非标车牌进行编码解码训练操作，得到非标车牌的中间向量，以形成预设背景向量库，最终生成多种风格的、无固定模板的虚拟非标车牌。

在一具体的实施例中，如图5所示，StyleGAN中的辨别器包括车牌识别网络与判别网络，训练样本包括第一车牌图像、与第一车牌图像对应的第一标签判别结果以及与第一车牌图像对应的第一标签识别结果。具体地，生成器的输入包括一个车牌号的字符串(即虚拟车牌字符串)，该虚拟车牌字符串为虚拟的车牌号对应的字符串，虚拟车牌图像包括虚拟车牌字符串。随机向量包括预设背景向量库中的中间向量与随机噪声向量，将中间向量与随机噪声向量分别输入生成器，即向生成器的输入有三个：中间向量、随机噪声向量以及虚拟车牌字符串；或者将中间向量与随机噪声向量叠加，得到随机向量，即向生成器的输入有两个：随机向量与虚拟车牌字符串。

生成器包括嵌入层(embeding)，采用嵌入层将虚拟车牌字符串转换为虚拟车牌向量，再利用生成器中的其他结构对虚拟车牌向量进行处理。例如，虚拟车牌字符串为“皖A88888”，通过嵌入层将“皖A88888”转化为向量。同时，将随机向量输入生成器，该随机噪声向量为随机生成的向量，并从预设背景向量库中随机选择一个中间向量输入生成器。

进一步地，先获取多张第二车牌图像；然后对第二车牌图像进行编码，得到中间向量；具体地，可采用一个机器学习模型对第二车牌图像进行处理，该机器学习模型包括编码器与解码器，编码器用于对输入图像进行编码，生成特征向量；解码器用于对该特征向量进行解码，得到输出图像；通过比较输出图像与输入图像的差异，不断调整编码器的参数与解码器的参数，最终得到一个训练好的机器学习模型，用以对第二车牌图像进行编码。

步骤32：基于判别网络对虚拟车牌图像与第一车牌图像进行处理，得到虚拟车牌图像与第一车牌图像是否为真实图像的判别结果。

在生成虚拟车牌图像后，可将虚拟车牌图像输入判别网络，以使得判别网络判断该虚拟车牌图像是否为真实的图像；同时，将第一车牌图像输入判别网络，以使得判别网络判断该第一车牌图像是否为真实的图像，该判别结果包括两个判别结果：虚拟车牌图像对应的判别结果以及第一车牌图像对应的判别结果。

步骤33：将虚拟车牌图像与第一车牌图像输入车牌识别网络，得到第一车牌识别结果。

在生成器生成虚拟车牌图像后，可利用车牌识别网络对虚拟车牌图像进行识别处理，并利用车牌识别网络对第一车牌图像进行识别处理，得到第一车牌识别结果，即该第一车牌识别结果包括两个识别结果：虚拟车牌图像对应的车牌识别结果以及第一车牌图像对应的车牌识别结果；具体地，该车牌识别网络可以为深度学习分类器或基于机器学习的字符识别网络，比如：支持向量机(support vector machines，SVM)或神经网络等。

步骤34：将判别结果与第一标签判别结果以及第二标签判别结果进行比较，将第一车牌识别结果与第一标签识别结果以及第二标签识别结果进行比较，并调整生成对抗网络的参数，直至满足预设训练停止条件，得到训练后的生成对抗网络。

在辨别器中新增一个辅助分支：车牌识别网络，将判别结果与第一标签判别结果以及第二标签判别结果进行比较，同时将第一车牌识别结果与第一标签识别结果以及第二标签识别结果进行比较，计算当前损失值，判断当前是否满足预设停止条件，如果未达到预设停止条件，则继续训练，并调整生成对抗网络的结构或参数，直至完成训练，得到训练好的生成对抗网络。

进一步地，预设停止条件包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等。

通过生成器与辨别器的博弈，能够使得生成的虚拟非标车牌更加贴近真实的非标车牌，同时保证文字不变形是可识别的问题，车牌识别网络也可以得到更好的识别效果。

步骤35：将第一待识别图像的尺寸调整成预设尺寸，生成第二待识别图像。

为了方便车牌检测模型的处理，可对输入的第一待识别图像进行预处理(比如：图像缩放、裁剪、滤波或增强等)，例如，对第一待处理图像进行缩放，得到第二待识别图像，第二待识别图像的尺寸(即预设尺寸)可以根据具体应用需要设置，比如：预设尺寸为256*256。

步骤36：将第二待识别图像输入特征提取网络，得到第一特征图谱。

车牌检测模型包括特征提取网络，该特征提取网络可以为深度学习网络，采用深度学习网络对第一待识别图像进行特征提取处理，检测出第二待识别图像中所有的角点。

在一具体的实施例中，深度学习网络包括卷积层与池化层，例如，以第二待识别图像的大小为256*256为例，卷积层的参数包括：filter_num(滤波器的数量)为256，kernel_size(卷积核的大小)为7，stride(卷积步长)为2，池化层的参数：pool_size(池化尺寸)为2，通过卷积层和池化层的处理可以得到一个大小为256*64*64的第一特征图谱。

步骤37：将第一特征图谱输入沙漏网络，得到第二特征图谱。

车牌检测模型还包括沙漏网络，使用轻量级沙漏网络对非标车牌的角点(即车辆特征点)进行检测，该沙漏网络由残差块组成；第二特征图谱包括多个第四特征图，第四特征图包括第一待识别图像中每个像素点为角点的置信度，即每个第四特征图代表一个角点的热力图，第四特征图中数值最大的点所在的位置是角点最可能在的位置。

在一具体的实施例中，将步骤36输出的第一特征图谱输入到沙漏网络中，可以得到一个64*64*4的第二特征图谱，即得到4个角点的特征图，每个特征图的大小为64*64。

步骤38：基于第二特征图谱，确定第一车牌框。

在获取到第四特征图后，可以采用图6所示的方案进行处理，以获取第一车牌框，具体包括：

步骤61：基于第四特征图，从所有像素点中筛选出候选角点。

判断每个像素点的置信度是否大于第一预设阈值；若像素点的置信度大于第一预设阈值，则表明该像素点为候选角点，最终在每个第四特征图上以第一预设阈值筛选出若干个候选角点。

步骤62：将所有第四特征图的候选角点排列组合，形成多个第一候选框。

从每个第四特征图对应的候选角点中选择一个候选角点，记作待连接角点；对所有待连接角点进行连接，得到第一候选框；例如，假设产生了a个左上角点、b个左下角点、c个右上角点以及d个右下角点，从每个类型的角点中选择一个(一个左上角点、一个左下角点、一个右上角点以及一个右下角点)角点组成a*b*c*d个四边形框(即第一候选框)。

步骤63：采用预设筛选条件对第一候选框进行筛选，得到第二候选框。

通过一些固定规则过滤第一候选框中的一些无效框，例如：宽高比、最小高度或最小宽度等；具体地，预设筛选条件包括第一候选框的宽高比是否落在第一预设范围内、第一候选框的的高度是否落在第二预设范围内或第一候选框的的宽度是否落在第三预设范围内，第一预设范围内、第二预设范围以及第三预设范围可以根据具体应用需要进行设置。

在其他实施例中，还可通过角点匹配算法过滤无效干扰角点，以实现车牌位置定位。

步骤64：将第二候选框对应的特征图输入分类网络，得到第二候选框是否为车牌框的判断结果。

选取筛选后剩下的第二候选框在第一特征图谱中对应的特征图送入分类网络，采用分类网络判断第二候选框是否为车牌框，对第二候选框进行分类的原因是用来指导角点定位学习。

在一具体的实施例中，在训练分类网络时，若某个四边形框与真实非标车牌框的交并比(Intersection-over-Union，IOU)大于第一固定阈值，则认为其为正样本；若该交并比小于第二固定阈值，则认为其为负样本；例如，第一固定阈值为0.6，第二固定阈值为0.3，交并比大于0.6的样本认为是正样本，交并比小于0.3的样本认为是负样本；若某个样本对应的交并比落在[0.3,0.6]，对该样本进行正负样本分类存在歧义，将该样本忽略。

可利用多个候选样本框对分类网络进行训练，计算候选样本框对应的损失值并反向传播更新分类网络的参数；具体地，计算损失值时使用的损失函数为交叉熵损失函数，具体的训练过程与相关技术中训练分类网络的过程相似，在此不再赘述。

例如，假设候选样本框为N个，则标签值为N*1的向量(记作第一向量)，向量的值为每个候选样本框与真实非标车牌框的交并比；分类网络输出的预测值也是N*1的向量(记作第二向量)，其为分类网络判定N个候选样本框为非标车牌框的置信度，交叉熵损失函数用来计算第一向量与第二向量之间的分布差异(即误差)，将误差进行反向传播即可更新分类网络的参数，使预测的角点更加准确，使预测值逐渐与标签值接近。

步骤65：基于判断结果，确定第一车牌框。

若第二候选框为车牌框，则判断第二候选框的置信度是否大于第二预设阈值；若第二候选框的置信度大于第二预设阈值，则将第二候选框记作第三候选框；对所有第三候选框进行非极大值抑制处理，得到第四候选框；选择所有第四候选框中置信度最大的第四候选框作为第一车牌框；通过非极大值抑制处理，能够在两个第三候选框的水平距离很近时，将两个第三候选框合并。具体地，候选框(包括第一候选框至第四候选框)的置信度由候选框的四个角点的置信度确定，比如：候选框的置信度由对四个角点的置信度加权平均得到。

进一步地，假设四边形框A的四个角点(左上角点、右上角点、左下角点以及右下角点)的坐标分别为：(Ax1，Ay1)、(Ax2，Ay2)、(Ax3，Ay3)以及(Ax4，Ay4)，四边形框B的四个角点的坐标为：(Bx1，By1)、(Bx2，By2)、(Bx3，By3)以及(Bx4，By4)，则水平距离的计算公式如下所示：

四边形框A框的两个水平基准点分别为：

Ay_top＝(Ay1+Ay2)/2，Ay_dwon＝(Ay3+Ay4)/2

四边形框B的两个水平基准点分别为：

By_top＝(By1+By2)/2，By_dwon＝(By3+By4)/2

四边形框A框与四边形框B框之间的水平距离L为：

L＝|Ay_top-By_top|+|Ay_dwon-By_dwon|

步骤39：基于车牌识别网络对第一车牌框中的图像进行处理，得到第二车牌识别结果。

先将第一车牌框中的图像输入残差网络，得到第一车牌特征；再采用卷积层对第一车牌特征进行卷积，得到第二车牌特征；然后对第二车牌特征进行变换，得到第三车牌特征；最后采用全连接层对第三车牌特征进行组合，得到第二车牌识别结果。

在其他实施例中，由于拍摄角度或镜头等因素的影响，图像中的车牌存在水平倾斜、垂直倾斜或梯形畸变等变形，这给后续的识别处理带来了困难；例如，如图7所示，车牌出现了水平倾斜和垂直倾斜；如图8所示，车牌出现了梯形畸变。在定位到车牌后，先通过车辆校正对存在倾斜与角度问题的非标车牌进行校正，有利于去除车牌边框等噪声，更有利于字符识别。

本实施例先对第一车牌框中的图像进行矫正，得到矫正车牌图像；然后基于训练后的生成对抗网络，对矫正车牌图像进行识别，得到第二车牌识别结果。可以理解地，利用矫正车牌图像生成第二车牌识别结果与上述实施例中利用第一车牌框中的图像生成第二车牌识别结果的处理方式类似，在此不再赘述。

进一步地，常用的校正方法有霍夫(Hough)变换法，通过检测车牌上下边框、左右边框所在的直线来计算倾斜角度，但是这些矫正方法大多对超参十分敏感，鲁棒性较差。本实施例采用空间变换网络(Spatial Transformer Networks)作为车牌识别网络的前置插件进行非标车牌矫正，将STN网络的输出作为车牌识别网络的输入。STN网络作为一种新的学习模块，具有以下特点：(1)为每一个输入提供一种对应的空间变换方式(如：仿射变换)；(2)变换作用于整个特征输入；(3)变换的方式包括缩放、剪切、旋转或空间扭曲等；可以理解地，STN网络为已有技术，本实施例不做详细阐述。

在一具体的实施例中，首先将经过校正后的非标车牌的尺寸调整至64*192，64*192是通过采集2万张非标车牌计算出来的宽高正态分布均值，能够代表典型的非标车牌的尺寸；然后将图像输入STN网络进行校正；再依次输入到resnet18网络与卷积层，得到batch_size*h*w*channel＝batch_size*1*7*512的特征图，batch_size为一次训练所选取的样本数，h为高度，w为高度，channel为通道数；然后使用reshape函数将该特征图变换为batch_size*7*512的特征图；最后对特征图进行全连接分类，得到大小为batch_size*7*70的分类结果，即分类数为70。

进一步地，车牌字典库包括：“皖”、“沪”、“津”、“渝”、“冀”、“晋”、“蒙”、“辽”、“吉”、“黑”、“苏”、“浙”、“京”、“闽”、“赣”、“鲁”、“豫”、“鄂”、“湘”、“粤”、“桂”、“琼”、“川”、“贵”、“云”、“藏”、“陕”、“甘”、“青”、“宁”、“新”、“挂”、“港”、“澳”、“台”、“A”、“B”、“C”、“D”、“E”、“F”、“G”、“H”、“J”、“K”、“L”、“M”、“N”、“P”、“Q”、“R”、“S”、“T”、“U”、“V”、“W”、“X”、“Y”、“Z”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”以及“9”，分类结果代表7位车牌字符在70个字符中出现的概率大小，通过分类误差反向传播更新车牌识别网络的参数，即可得到一个端到端的轻量级车牌识别网络，车牌识别结果由分类结果中7个类别的概率最大值对应的字符构成。

鉴于车牌文字的有限性、非标车牌的背景复杂性以及传统车牌识别的方法存在鲁棒性较差的问题，本实施例提出了一种基于分类网络的、端到端的非标车牌识别方法来实现车牌识别，具有轻量级、计算小以及效果好的优点；先基于StyleGAN生成大量各种样式、各种分布的非标车牌数作为样本，基于样本训练对抗生成器得到车牌识别网络；然后利用角点检测定位非标车牌的四个关键点，实现检测非标车牌区域；再对非标车牌区域对应的图像进行校正；最后用车牌识别网络识别校正后的非标车牌区域对应的图像，得到非标车牌。本实施例设计了一种轻量级、高鲁棒性、端到端的车牌识别网络，在StyleGANgan的辨别器中加入了车牌识别分支，并在车牌识别网络的训练过程中加入了基于StyleGAN生成的虚拟车牌图像，通过对抗提升车牌识别网络的鲁棒性与准确率，克服了在光线差、遮挡以及相机分辨率较低的情况下对非标车牌进行检测与识别的困难。

请参阅图9，图9是本申请提供的车牌识别装置一实施例的结构示意图，车牌识别装置90包括互相连接的存储器91和处理器92，存储器91用于存储计算机程序，计算机程序在被处理器92执行时，用于实现上述实施例中的车牌识别方法，车牌识别装置90可以为高速或交通路口的抓拍设备。

请参阅图10，图10是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质100用于存储计算机程序101，计算机程序101在被处理器执行时，用于实现上述实施例中的车牌识别方法。

计算机可读存储介质100可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种车牌识别方法，其特征在于，包括：

利用训练数据集对生成对抗网络进行训练，所述训练数据集包括多个训练样本，所述训练样本包括第一车牌图像，所述生成对抗网络包括生成器与辨别器，所述生成器用于生成虚拟车牌图像，所述辨别器用于判断所述虚拟车牌图像与所述第一车牌图像的真伪，并对所述虚拟车牌图像与所述第一车牌图像进行识别，生成第一车牌识别结果；

对第一待识别图像进行检测，得到第一车牌框；

基于训练后的生成对抗网络，对所述第一车牌框中的图像进行识别，得到第二车牌识别结果；

其中，所述辨别器包括车牌识别网络，所述基于训练后的生成对抗网络，对所述第一车牌框中的图像进行识别，得到第二车牌识别结果的步骤，包括：

基于所述车牌识别网络对所述第一车牌框中的图像进行处理，得到所述第二车牌识别结果；

其中，所述辨别器还包括判别网络，所述训练样本还包括与所述第一车牌图像对应的第一标签判别结果以及第一标签识别结果，所述利用训练数据集对生成对抗网络进行训练的步骤，包括：

从所述训练数据集中选择一个训练样本，并将所述训练样本中的第一车牌图像输入所述判别网络；

将随机向量与虚拟车牌字符串输入所述生成器，得到所述虚拟车牌图像，并生成与所述虚拟车牌图像对应的第二标签判别结果以及第二标签识别结果；

基于所述判别网络对所述虚拟车牌图像与所述第一车牌图像进行处理，得到所述虚拟车牌图像与所述第一车牌图像是否为真实图像的判别结果；

将所述虚拟车牌图像与所述第一车牌图像输入所述车牌识别网络，得到所述第一车牌识别结果；

将所述判别结果与所述第一标签判别结果以及所述第二标签判别结果进行比较，将所述第一车牌识别结果与所述第一标签识别结果以及所述第二标签识别结果进行比较，并调整所述生成对抗网络的参数，直至满足预设训练停止条件，得到所述训练后的生成对抗网络。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述生成器包括嵌入层，所述将随机向量与虚拟车牌字符串输入所述生成器，得到所述虚拟车牌图像的步骤，包括：

采用所述嵌入层将所述虚拟车牌字符串转换为虚拟车牌向量。

3.根据权利要求1所述的车牌识别方法，其特征在于，所述随机向量包括预设背景向量库中的中间向量与随机噪声向量，所述将随机向量与虚拟车牌字符串输入所述生成器的步骤，还包括：

将所述中间向量与所述随机噪声向量分别输入所述生成器；或者

将所述中间向量与所述随机噪声向量叠加，得到所述随机向量。

4.根据权利要求3所述的车牌识别方法，其特征在于，所述方法还包括：

获取多张第二车牌图像；

对所述第二车牌图像进行编码，得到所述中间向量。

5.根据权利要求1所述的车牌识别方法，其特征在于，所述基于所述车牌识别网络对所述第一车牌框中的图像进行处理，得到所述第二车牌识别结果的步骤，包括：

将所述第一车牌框中的图像输入残差网络，得到第一车牌特征；

采用卷积层对所述第一车牌特征进行卷积，得到第二车牌特征；

对所述第二车牌特征进行变换，得到第三车牌特征；

采用全连接层对所述第三车牌特征进行组合，得到所述第二车牌识别结果。

6.根据权利要求1所述的车牌识别方法，其特征在于，所述对所述第一车牌框中的图像进行识别的步骤，还包括：

对所述第一车牌框中的图像进行矫正，得到矫正车牌图像；

基于所述训练后的生成对抗网络，对所述矫正车牌图像进行识别，得到第二车牌识别结果。

7.根据权利要求1所述的车牌识别方法，其特征在于，所述对第一待识别图像进行检测，得到第一车牌框的步骤，包括：

将所述第一待识别图像的尺寸调整成预设尺寸，生成第二待识别图像；

将所述第二待识别图像输入特征提取网络，得到第一特征图谱；

将所述第一特征图谱输入沙漏网络，得到第二特征图谱；

基于所述第二特征图谱，确定所述第一车牌框。

8.根据权利要求7所述的车牌识别方法，其特征在于，所述第二特征图谱包括多个第四特征图，所述第四特征图包括所述第一待识别图像中每个像素点为角点的置信度，所述基于所述第二特征图谱，确定所述第一车牌框的步骤，包括：

基于所述第四特征图，从所有所述像素点中筛选出候选角点；

将所有所述第四特征图的候选角点排列组合，形成多个第一候选框；

采用预设筛选条件对所述第一候选框进行筛选，得到第二候选框；

将所述第二候选框对应的特征图输入分类网络，得到所述第二候选框是否为车牌框的判断结果；

基于所述判断结果，确定所述第一车牌框。

9.根据权利要求8所述的车牌识别方法，其特征在于，所述将所有所述第四特征图的候选角点排列组合，形成多个第一候选框的步骤，包括：

从每个所述第四特征图对应的候选角点中选择一个候选角点，记作待连接角点；

对所有所述待连接角点进行连接，得到所述第一候选框。

10.根据权利要求8所述的车牌识别方法，其特征在于，

所述预设筛选条件包括所述第一候选框的宽高比是否落在第一预设范围内、所述第一候选框的的高度是否落在第二预设范围内或所述第一候选框的的宽度是否落在第三预设范围内。

11.根据权利要求8所述的车牌识别方法，其特征在于，所述基于所述第四特征图，从所有所述像素点中筛选出候选角点的步骤，包括：

判断所述像素点的置信度是否大于第一预设阈值；

若是，则所述像素点为所述候选角点。

12.根据权利要求8所述的车牌识别方法，其特征在于，所述方法还包括：

采用分类网络判断所述第二候选框是否为车牌框；

若所述第二候选框为所述车牌框，则判断所述第二候选框的置信度是否大于第二预设阈值；

若所述第二候选框的置信度大于所述第二预设阈值，则将所述第二候选框记作第三候选框；

对所有所述第三候选框进行非极大值抑制处理，得到第四候选框；

选择所有所述第四候选框中置信度最大的第四候选框作为所述第一车牌框。

13.一种车牌识别装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-12中任一项所述的车牌识别方法。

14.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-12中任一项所述的车牌识别方法。