CN111666938A - 一种基于深度学习的两地双车牌检测识别方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的两地双车牌检测识别方法及系统，包括构建带车牌标注的车辆数据集，进行样本标注；训练经改进的MTCNN车牌检测器，并使用训练好的车牌检测器定位图像中的车牌区域及车牌四个角点的坐标，使用车牌的四个角点坐标对车牌区域进行矫正；训练车牌字符检测器，检测出车牌中各字符的包围框及类别；对车牌字符检测结果进行排序，输出串联的车牌字符序列。本发明主要用于复杂场景下两地车辆的车牌检测与识别，所用网络都为轻量型网络，在有效降低车牌检测识别所耗时间的同时，也可以提高车牌的检测与识别准确率。此外，本发明采用了车牌的四个角点坐标进行车牌矫正，有效改善车牌倾斜及畸变情况，提高了车牌识别的效果。

Description

一种基于深度学习的两地双车牌检测识别方法及系统

技术领域

本发明属于车牌检测技术领域，具体涉及一种两地双车牌的检测和识别方法技术方案。

背景技术

车辆是重要的交通工具，对其进行管理是城市交通管理、安全管理的重要内容。车牌作为车辆的身份识别码，能唯一地表征车辆对象，因而利用车牌进行车辆管理和识别成为近些年最热门和最具挑战的任务。

车牌的检测与识别就是从复杂的自然图像中定位车牌的位置，并将车牌号进行识别的技术。车牌检测识别的流程一般分为两类，一类是车辆检测、车牌定位、车牌识别，另一类是直接车牌定位再车牌识别。其中，车牌定位是关键环节，对车牌检测识别的效果有重要影响。车牌定位常用的方法有基于自适应数学形态学的方法、基于形状回归的方法、基于颜色信息的方法、基于变换的方法、基于Adaboost的方法、基于神经网络的方法等等。从方法的泛化角度来看，类似前四种基于普通图像处理的方法只适用于固定场景，检测精度也较低。而Adaboost方法、深度学习等模型化的方法因有较好的泛化能力及较高的检测精度得到较广泛的应用。

车牌识别方面，又可分为三类：①先对车牌进行字符分割，再字符识别；②采用分类思想，同时分割和识别车牌字符；③利用字符的空间序列关系，实现无需分割的字符序列识别。三类方法中，应用最广泛的是第一类方法，其中车牌的字符分割又起着至关重要的作用。因为车牌字符的正确分割直接影响后续的字符识别效果。常用的车牌字符分割方法有垂直投影法、聚类分析法、模板匹配法、连通域法以及深度学习法。第一类方法依赖于字符分割的效果，应对复杂场景(如图像模糊、字符黏连、字符脏污等)时效果会受到极大影响。因而，针对这一问题，发展出了第二类、第三类方法。第二类方法多采用深度学习的方法，如YOLO系列算法、FCN全卷积网络算法、基于CNN的算法等。英特尔公司的研究人员提出的LPRNet属第三类方法，其较第二类方法的优势在于，制作训练样本更加省时省力，因为其只需标注车牌号，无需定位车牌中每个字符的位置。

发展至今，车牌检测系统的技术已经较为成熟，在学术上和商业应用市场上都已有颇多成果，如开源的EasyPR、HyperLPR中文车牌识别框架及商用的OpenALPR、Sighthound、AmazonRekognition等外国车牌识别框架。这些车牌检测系统能高精度识别车牌，但是需要克服的难点还有很多，如车牌倾斜校正、双行车牌识别、脏污车牌识别、他国车牌识别等问题。特别的是，在2018年，港珠澳大桥开通运营，澳门、香港、内地车牌开始互通，车辆挂两地双车牌逐渐普及。在海关处，此类车辆的管理是通过识别两地双车牌进行实现，所以两地车牌的检测识别成为车牌检测技术领域的一个新需求。

但目前大量的车牌检测识别研究都面向单车牌，即默认一张车牌代表一辆车。单车牌检测识别与双车牌检测识别在技术上的主要区别在车牌定位环节。前者检测出一个车牌，后者检测出两个车牌。此外，面向双车牌时，大陆、香港、澳门车牌尺寸大小不一，且在小范围内有两张车牌，这都使得车牌的定位效果受到极大的影响。

发明内容

针对现有不足，本发明提供一种基于深度学习的两地双车牌检测识别方法及系统，利用深度学习网络去学习车牌、车牌字符的特征，从而将车牌从复杂背景中检测出来并对车牌进行识别。

本发明的技术方案提供一种基于深度学习的两地双车牌检测识别方法，包括以下步骤：

步骤S1，构建带车牌标注的车辆数据集，包括如下子步骤，

步骤S1-1，收集带有车辆的图片数据集，再利用预训练模型对收集到的图片数据集检测车辆目标并从原图片分割出车辆区域进行保存，获得车辆图片数据集；

步骤S1-2，对车辆图片数据集进行样本标注，样本标注内容包括车牌区域和字符区域并标注类型；

步骤S2，训练经改进的MTCNN车牌检测器，并使用训练好的车牌检测器定位图像中的车牌区域及车牌四个角点的坐标，然后使用车牌的四个角点坐标对车牌区域进行矫正；

所述改进的MTCNN车牌检测器中，使用MTCNN的子网络PNet、RNet网络提取及筛选候选车牌区域，再使用改进的子网络ONet对提取的候选车牌区域进行精细筛选，矩形框修正及角点定位；

步骤S3，训练LPS/CR-NET车牌字符检测器，并使用训练好的车牌字符检测器检测出车牌中各字符的包围框及类别；

步骤S4，车牌字符排序，包括对步骤S3-4的车牌字符检测结果进行排序，输出串联的车牌字符序列，包括如下子步骤，

步骤S4-1，设S3-5字符分割与识别出的字符有n个，计算这n个包围框的平均宽度

及高度

步骤S4-2，按字符包围框的中心位置坐标的X坐标升序排列，记第i个包围框为K_i，i＝1，…，n，x_i为K_i的中心点X坐标，y_i为K_i的中心点Y坐标；

步骤S4-3，设置字符的初始行位置，包括设车牌有两行字符，分别记为row1、row2，则将所有字符都依次放置到row2；

步骤S4-4，分离字符行，包括计算K_i、K_i+1的水平距离Δw_i，i+1＝x_i+1-x_i及垂直距离Δh_i，i+1＝y_i+1-y_i(i＝1，2，…n-1)，构造判别式：

P表示相邻字符垂直方向上的相对距离，用于判别K_i、K_i+1是否在不同行；b是偏置值，若P>0.8且Δh_i，i+1＜0，则将K_i+1标记为row1；若P>0.8且Δh_i，i+1＞0，则将K_i标记为row1；若K_i已在row1中，则跳入下一个循环i＝i+1，直至i＝n-1；

从右到左反向计算P值，更正邻近字符的行位置，包括计算K_i-1、K_i的水平距离Δw_i-1，i＝x_i-x_i-1及垂直距离Δh_i-1，i＝y_i-y_i-1，i＝n，n-1，…2，计算P值，若P<0.7则将K_i-1归为K_i所属的行位置；

步骤S4-5，串联各行字符，设str_row1、str_row2为空字符串，若K_i属于row1则将其串联到str_row1，否则串联到str_row2；

步骤S4-6，输出车牌号码；若str_row1不为空，则输出str_row1和str_row2的串联结果，否则只输出str_row2。

而且，步骤S1-2中，将车牌的四个角点以左上角点为起点按顺时针方向依次标定，并使用这四个角点生成车牌区域矩形框。

而且，步骤S2中，所述改进的子网络ONet包括使用Conv层替代fully connect全连接层，以降低网络计算量及提高网络的运行速度。

本发明还提供一种基于深度学习的两地双车牌检测识别系统，用于实现如上所述的一种基于深度学习的两地双车牌检测识别方法。

本发明采用了车牌的四个角点坐标进行车牌矫正，有效改善车牌倾斜及畸变情况，提高了车牌识别的效果。并且改进了MTCNN中的子网络ONet以利于采用车牌角点坐标实现了车牌矫正，从而为提高车牌识别的准确率作出了贡献。本发明所用网络都为轻量型网络，在有效降低车牌检测识别所耗时间的同时，也可以提高车牌的检测与识别准确率。本发明所用网络都为轻量型网络，在有效降低车牌检测识别所耗时间的同时，也可以提高车牌的检测与识别准确率。本发明主要用于复杂场景下两地车辆的车牌检测与识别，同时其中技术也可用于单车牌车辆的车牌检测与识别。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的车牌检测流程图；

图3为本发明实施例的字符排序流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述。

本发明实施例提供一种基于深度学习的两地双车牌检测识别方法，检测识别流程如图1所示，以下为两地双车牌检测识别方法中使用到的各网络的训练步骤及使用步骤：

S1，构建大规模带车牌标注的车辆数据集；具体包括如下步骤：

S1-1，收集带有车辆的图片数据集，再利用官网上YOLOv3的预训练模型对收集到的图片数据集检测车辆目标并从原图片分割出车辆区域进行保存，获得车辆图片数据集。YOLOv3为现有的目标检测方法，本发明不予赘述。

S1-2，对车辆图片数据集进行样本标注，样本标注只框出车牌区域和字符区域并标注类型。其中，车牌的四个角点以左上角点为起点按顺时针方向依次标定，并使用这四个角点生成车牌区域矩形框。

S2，训练经改进的MTCNN车牌检测器，并使用训练好的车牌检测器定位图像中的车牌区域及车牌四个角点的坐标。

现有技术中，MTCNN表示Multi-task convolutional neural network(多任务卷积神经网络)，将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。

P-Net全称为Proposal Network，其基本的构造是一个全连接网络。对上一步构建完成的图像金字塔，通过一个FCN进行初步特征提取与标定边框，并进行Bounding-BoxRegression调整窗口与NMS进行大部分窗口的过滤。

R-Net全称为Refine Network，其基本的构造是一个卷积神经网络，相对于第一层的P-Net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。

O-Net全称为Output Network，基本结构是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。

本发明为实现双车牌检测识别，准确定位定位图像中的车牌区域及车牌四个角点的坐标，提出对现有MTCNN进行改进。

实施例车牌检测流程如图2所示，具体为，使用MTCNN的子网络PNet、RNet网络提取及筛选候选车牌区域，使用改进的ONet对提取的候选车牌区域进行精细筛选，矩形框修正及角点定位，最后使用提取的角点坐标对车牌进行矫正。

使用定位出的四个角点坐标可以对车牌区域进行矫正以提高后续车牌识别的效果。如下是网络训练步骤及使用步骤：

S2-1，根据车牌目标所在区域对原图像进行裁剪，制作PNet网络的训练样本集：正样本、部分样本、负样本，记录这些样本的类型(正样本为“1”，负样本为“0”，部分样本为“-1”)及正样本和部分样本相对真实样本矩形框的偏移量，如“positive\0.jpg 1 0.060.12-0.07-0.01”、“negative\5.jpg 0”，最终将这些数据条合并到一个文档中；其中，裁剪区域与目标区域的重合度(即交并比IoU)大于0.65为正样本，0.4＜＜IoU<0.65为部分样本，IoU<0.3为负样本，样本图像大小为47×12；

S2-2，为匹配网络输入尺寸12×47，修改PNet网络结构、参数并训练PNet网络；将C2、C3中的kernel尺寸改为3×5，MP(最大池化层)的kernel尺寸改为2×5，修改后的PNet网络结构如表1所示，5-1输出结果为分类结果，用于判别该图像是否包含车牌；5-2输出当前图像的矩形框相对真实车牌区域矩形框的偏移量，即边框回归。该网络的主要作用是获取大量候选车牌区域，所以定义损失函数Loss＝2.0×Loss_cls+1.0×Loss_{box_coord}，其中分类损失函数Loss_cls使用交叉熵损失函数(CrossEntropyLoss)，偏移量损失Loss_{box_coord}采用均方差损失函数(MSELoss)；

表1 PNet网络结构表

注：Layer表示层，如Conv为卷积层，Max为最大池化层；Filters表示所使用的卷积核的个数；Size表示卷积核的尺寸；Input表示网络输入的尺寸大小；Output表示网络输出的尺寸大小。

S2-3，制作RNet网络的训练样本集：利用S2-2训练好的PNet网络对S1-1数据集中的图像提取候选车牌区域，计算提取出的候选车牌区域与真实车牌目标区域的IoU，若IoU>0.65则为正样本，0.4＜＜IoU<0.65为部分样本，IoU<0.3为负样本，同S2-1记录样本数据信息并合并，样本图像大小为94×24；

S2-4，设置RNet网络训练参数并进行训练，网络结构如表2所示；8-1为分类结果，8-2输出候选框的边框回归值。该网络的主要作用是滤除大量效果比较差的候选框，所以定义损失函数Loss＝1.5×Loss_cls+1.0×Loss_{box_coord}，其中分类损失函数Loss_cls使用交叉熵损失函数(CrossEntropyLoss)，偏移量损失Loss_{box_corrd}，采用均方差损失函数(MSELoss)；

表2RNet网络结构表

注：Flatten表示把多维的输入一维化；Full标记全连接层。

S2-5，制作改进的ONet网络的训练样本集：利用S2-2训练好的PNet网络对S1-1数据集中的图像提取候选车牌区域，利用S2-4训练好的RNet网络对提取出的候选车牌区域进行分类及矩形框位置修正，然后计算修正后的候选车牌区域与真实车牌目标区域的IoU；若IoU>0.65则为正样本，0.4＜＜IoU<0.65为部分样本，IoU<0.3为负样本；对各样本记录样本类型，对正样本和部分样本记录车牌矩形框偏移量，及对正样本记录车牌角点坐标偏移量(相对于标注的矩形框的四个直角点坐标)，样本图像大小为180×48；

S2-6，ONet网络改进及网络训练；使用Conv层替代fully connect全连接层，从而降低网络计算量(训练参数变为原来的1/3)及提高网络的运行速度；具体改进为去除最后一个池化层MP3及使用Conv替换fully connect层，第1、2个Maxpool的kernel参数由3×3/s2分别改为2×5/s2×5、3×3/s3，第4个Conv层的kernel尺寸由2×2改为3×5，替换fullyconnect层的Conv层的kernel参数为3×5，其中，s2、s3为ONet网络原步数参数。改进的ONet网络结构如表3所示；由于经过RNet网络可滤去大量效果较差的候选框，而现阶段的这个网络则用于对剩余的目标区域框进行判别、区域边框回归及车牌角点定位，所以定义损失函数Loss＝1.0×Loss_cls+1.5×Loss_{box_coord}+1.5×Loss_{landmark_coord}，其中分类损失函数使用交叉

熵损失函数(CrossEntropyLoss)，位移损失采用均方差损失函数(MSELoss)；

表3改进的ONet网络结构表

S2-7，如图2所示流程，利用训练好的PNet、RNet、改进的ONet网络实现对输入的车辆图像的车牌检测及矫正；首先采用PNet网络提取候选车牌区域，再利用RNet对候选车牌区域进一步筛选，然后使用改进的ONet网络对筛选后的车牌区域矩形框进行位置修正及车牌角点检测，最后使用定位出的四个角点坐标对车牌区域进行矫正；

S3，训练LPS/CR-NET(车牌的字符分割和字符识别网络)车牌字符检测器，并使用训练好的车牌字符检测器检测出车牌中各字符的包围框及类别。

本步骤用由YOLO-VOC改进得到的LPS/CR-NET对经矫正的车牌进行字符分割与识别。LPS/CR-NET车牌字符检测器为现有技术，为方便实施参考期间，介绍实施例所采用LPS/CR-NET网络结构如下表所示，LPS/CR-NET训练过程具体如下：

表1 LPR/CR-NET结构表

#	Layer	Filters	Size	Input	Output
						1	Conv	32	3×3/1	240×80×3	240×80×32
2	Max		2×2/2	240×80×32	120×40×32
						3	Conv	64	3×3/1	120×40×32	120×40×64
4	Max		2×2/2	120×40×64	60×20×64
						5	Conv	128	3×3/1	60×20×64	60×20×128
6	Conv	64	1×1/1	60×20×128	60×20×64
						7	Conv	128	3×3/1	60×20×64	60×20×128
8	Max		2×2/2	60×20×128	30×10×128
						9	Conv	256	3×3/1	30×10×128	30×10×256
10	Conv	128	1×1/1	30×10×256	30×10×128
						11	Conv	256	3×3/1	30×10×128	30×10×256
12	Conv	512	3×3/1	30×10×256	30×10×512
						13	Conv	256	1×1/1	30×10×512	30×10×256
14	Conv	512	3×3/1	30×10×256	30×10×512
						15	Conv	380	1×1/1	30×10×512	30×10×380
16	detection

注：第15层的Filters＝(C+5)×A，C是字符类别数，A是用于检测字符的anchor对数；这里A采用5，C采用71，包括10个数字、24个字母(除I、O)及37个代表地域的汉字；anchor表示固定的参考框，负责检测与其交并比大于阈值(训练预设值，常用0.5或0.7)的目标；detection表示目标检测层。

S3-1，生成字符检测器的训练样本集；根据车牌的标注信息将车牌区域及字符标注信息从S1-2中制作的样本库中抽离出，将车牌图片变换到240*80大小，按照YOLO的训练数据集格式存储标注信息，形成用于字符检测训练的训练集；

S3-2，使用k-means聚类算法对车牌字符数据集中字符的高度和宽度进行聚类，求出5对anchors的宽度和高度；

S3-3，依据需要检测的字符类别数、使用的anchor个数、采用k-means求出的anchors大小设置网络参数；

S3-4，使用darknet深度学习框架训练LPS/CR-NET车牌字符检测器；

S3-5，使用训练好的LPS/CR-NET车牌字符检测器对S2检测出的车牌进行车牌字符分割与识别；

S4，车牌字符排序。

本发明利用字符间的水平距离与垂直距离对字符集进行排序，最终输出车辆图像的双车牌号码。

实施例对步骤S3-5的车牌字符检测结果进行排序，输出串联的车牌字符序列，运算流程如图3所示，具体步骤如下：

S4-1，设S3-5字符分割与识别出的字符有n个，计算这n个包围框的平均宽度

及高度

S4-2，按字符包围框的中心位置坐标的X坐标升序排列(包围框以x坐标值大小从左到右排列)，记第i个包围框为K_i，i＝1，…，n，则有x_i＜x_i+1(i＝1，…，n-1)，x_i为K_i的中心点X坐标，y_i为K_i的中心点Y坐标；

S4-3，设置字符的初始行位置；

假设车牌有两行字符，分别记为row1、row2，则将所有字符都归为row2；

S4-4，分离字符行：计算K_i、K_i+1的水平距离Δw_i，i+1＝x_i+1-x_i及垂直距离Δh_i，i+1＝y_i+1-y_i(i＝1，2，…n-1)，构造判别式：

注：P表示相邻字符垂直方向上的相对距离，用于判别K_i、K_i+1是否在不同行；b是偏置值，

在理想情况下应大于1，但当K_i、K_i+1在不同行时，两字符在水平方向上会相交，相交部分越多，两字符的垂直距离会越受倾斜因素影响，从而可能导致

小于给定的P阈值，所以为有效消除这种情况的影响，采取偏置值进行补偿；

若P>0.8且Δh_i，i+1＜0，则将K_i+1标记为row1；若P>0.8且Δh_i，i+1＞0，则将K_i标记为row1；

注：若K_i已在row1中，则跳入下一个循环i＝i+1，直至i＝n-1；

从右到左反向计算P值，更正邻近字符的行位置；计算K_i-1、K_i的水平距离Δw_i-1，i＝x_i-x_i-1及垂直距离Δh_i-1，i＝y_i-y_i-1(i＝n，n-1，…2)，计算P值，若P<0.7则将K_i-1归为K_i所属的行位置；

实施例中，本步骤的判别式中0.2、0.4、0.8等是根据实验所得的优选建议值；

S4-5，串联各行字符；

设str_row1、str_row2为空字符串，若K_i属于row1则将其串联到str_row1，否则串联到str_row2；

S4-6，输出车牌号码；若str_row1不为空，则输出str_row1和str_row2的串联结果，否则只输出str_row2。

由于str_row1、str_row2中的字符序列均是按水平位置排列，因此若str_row1中没有字符，则直接按照str_row2中字符的顺序将车牌字符输出；若str_row1中有字符，则输出str_row1和str_row2的串联结果。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。相应运行流程的系统装置也应当在本发明的保护范围内。

以上所述，为本发明的具体实施方式。其中本发明改进了MTCNN中的子网络ONet并采用车牌角点坐标实现了车牌矫正，从而为提高车牌识别的准确率作出了贡献。本发明所用网络都为轻量型网络，在有效降低车牌检测识别所耗时间的同时，也可以提高车牌的检测与识别准确率。

Claims (4)

1.一种基于深度学习的两地双车牌检测识别方法，其特征在于，包括以下步骤：

步骤S1，构建带车牌标注的车辆数据集，包括如下子步骤，

步骤S1-1，收集带有车辆的图片数据集，再利用预训练模型对收集到的图片数据集检测车辆目标并从原图片分割出车辆区域进行保存，获得车辆图片数据集；

步骤S1-2，对车辆图片数据集进行样本标注，样本标注内容包括车牌区域和字符区域并标注类型；

步骤S2，训练经改进的MTCNN车牌检测器，并使用训练好的车牌检测器定位图像中的车牌区域及车牌四个角点的坐标，然后使用车牌的四个角点坐标对车牌区域进行矫正；

所述改进的MTCNN车牌检测器中，使用MTCNN的子网络PNet、RNet网络提取及筛选候选车牌区域，再使用改进的子网络ONet对提取的候选车牌区域进行精细筛选，矩形框修正及角点定位；

步骤S3，训练LPS/CR-NET车牌字符检测器，并使用训练好的车牌字符检测器检测出车牌中各字符的包围框及类别；

步骤S4，车牌字符排序，包括对步骤S3-4的车牌字符检测结果进行排序，输出串联的车牌字符序列，包括如下子步骤，

步骤S4-1，设S3-5字符分割与识别出的字符有n个，计算这n个包围框的平均宽度

及高度

：

步骤S4-2，按字符包围框的中心位置坐标的X坐标升序排列，记第i个包围框为K_i，i＝1，...，n，x_i为K_i的中心点X坐标，y_i为K_i的中心点Y坐标；

步骤S4-3，设置字符的初始行位置，包括设车牌有两行字符，分别记为row1、row2，则将所有字符都归为row2；

步骤S4-4，分离字符行，包括计算K_i、K_i+1的水平距离Δw_i，i+1＝x_i+1-x_i及垂直距离Δh_i，i+1＝y_i+1-y_i，i＝1，2，...n-1，构造判别式：

P表示相邻字符垂直方向上的相对距离，用于判别K_i、K_i+1是否在不同行；b是偏置值，若P＞0.8且Δh_i，i+1＜0，则将K_i+1标记为row1；若P＞0.8且Δh_i，i+1＞0，则将K_i标记为row1；若K_i已在row1中，则跳入下一个循环i＝i+1，直至i＝n-1；

从右到左反向计算P值，更正邻近字符的行位置，包括计算K_i-1、K_i的水平距离Δw_i-1，i＝x_i-x_i-1及垂直距离Δh_i-1，i＝y_i-y_i-1，i＝n，n-1，...2，计算P值，若P＜0.7则将K_i-1归为K_i所属的行位置；

步骤S4-5，串联各行字符，设str_row1、str_row2为空字符串，若K_i属于row1则将其串联到str_row1，否则串联到str_row2；

步骤S4-6，输出车牌号码；若str_row1不为空，则输出str_row1和str_row2的串联结果，否则只输出str_row2。

2.根据权利要求1所述基于深度学习的两地双车牌检测识别方法，其特征在于：步骤S1-2中，将车牌的四个角点以左上角点为起点按顺时针方向依次标定，并使用这四个角点生成车牌区域矩形框。

3.根据权利要求1或2所述基于深度学习的两地双车牌检测识别方法，其特征在于：步骤S2中，所述改进的子网络ONet包括使用Conv层替代fully connect全连接层，以降低网络计算量及提高网络的运行速度。

4.一种基于深度学习的两地双车牌检测识别系统，其特征在于：用于实现如权利要求1至3所述的一种基于深度学习的两地双车牌检测识别方法。

Images