CN111353500A

CN111353500A - 双行车牌的自动识别方法

Info

Publication number: CN111353500A
Application number: CN202010114224.0A
Authority: CN
Inventors: 杨磊; 邱国庆; 魏敦楷
Original assignee: Shanghai Keygo Technologies Co ltd
Current assignee: Shanghai Keygo Technologies Co ltd
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2020-06-30
Anticipated expiration: 2040-02-25
Also published as: CN111353500B

Abstract

一种双行车牌的自动识别方法，通过对待测图像进行预处理后输入经过训练的用于双行车牌分类的车牌检测分类器和双行车牌端到端识别器，识别得到候选车牌号；然后利用车牌类别及对应编码规则对候选车牌号进行复核，实现双行车牌识别。本发明改进现有网络模型，识别阶段采用两个独立的卷积神经网络，分别提取上下两行车牌序列特征再拼接识别，避免了手动校正和分割拼接，自动化程度高、稳定性好。

Description

双行车牌的自动识别方法

技术领域

本发明涉及的是一种图像识别处理领域的技术，具体是一种双行车牌的自动识别方法。

背景技术

我国车牌从结构上主要分为单行车牌和双行车牌，双行车牌主要包括大型汽车后号牌、挂车号牌、武警车号牌、军车号牌、拖拉机号牌以及大部分摩托车号牌等。相较于单行车牌，双行车牌结构上较为复杂，主要体现在上下两行车牌的字符大小、数目均不一致，再由于环境噪声导致的车牌模糊、倾斜、遮挡等影响，传统的基于字符分割或者上下行切割线的双行车牌识别算法，稳定性差且精度不高。基于深度学习的双行车牌端到端识别，网络结构复杂，且需要大量双行车牌数据，适用性低。

发明内容

本发明针对现有技术采用的模型大多较为复杂，无法和单行车牌共有同一个网络结构，且识别之前需要对双行车牌进行手动分割拼接，很难实现稳定的识别的缺陷，提出一种双行车牌的自动识别方法，改进现有网络模型，识别阶段采用两个独立的卷积神经网络，分别提取上下两行车牌序列特征再拼接识别，避免了手动校正和分割拼接，自动化程度高、稳定性好。

本发明是通过以下技术方案实现的：

本发明涉及一种双行车牌的自动识别方法，通过对待测图像进行预处理后输入经过训练的用于双行车牌分类的车牌检测分类器和双行车牌端到端识别器，识别得到候选车牌号；然后利用车牌类别及对应编码规则对候选车牌号进行复核，实现双行车牌识别。

所述的预处理是指：根据实际情况，预设相应的转角和行切割线范围，对待测图像进行自动旋转、裁剪，得到包含一组包含两行车牌的图像。

所述的双行车牌端到端识别器包括两个神经网络分支，每个神经网络分支包括依次设置的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层，两个神经网络分支的输出端通过softmax层输出车牌及置信度信息。

所述的候选车牌号，通过将预处理后的两行车牌图像分别输入端到端识别器进行特征提取和序列拼接，得到车牌对应的序列特征，并进一步通过序列分类和识别，得到若干车牌号及其对应置信度和双行车牌对应的旋转校正角和上下切割线，以置信度最大的车牌号作为候选车牌号。

所述的双行车牌端到端识别器，分为训练阶段和识别阶段，其中：每个神经网络分支的训练通过对灰度化后的单行车牌进行特征提取，将得到的特征序列信息采用双向LSTM进行序列分类，再通过CTC损失函数对分类信息对齐，得到车牌及置信度信息得以实现；双行车牌端到端识别器的识别阶段通过对待测双行车牌进行预处理后进行特征提取，再将上下两行车牌的特征序列信息左右拼接，采用双向LSTM进行序列分类，再通过CTC损失函数对分类信息对齐，得到车牌号及置信度信息，通过softmax层合并一组车牌号及置信度信息相连并传输最终识别的车牌号及置信度信息。

所述的车牌类别及对应编码规则是指：《GA36-2018中华人民共和国机动车号牌》中规定的双行车牌的车辆类型与相应的车辆颜色及车牌号编码规则。

技术效果

本发明整体解决了双行车牌手动分割拼接的不稳定性以及拼接成单行车牌与实际车牌缩放比例不一致，导致双行车牌特征序列提取失真，识别不稳定的技术问题。

与现有技术相比，本发明避免了将双行车牌拼接为单行车牌过程中的不稳定性，采用预设旋转校正角和行切割线，实现高精度、自动化分割识别；双行车牌的特征序列提取精度高，通过将两行车牌分别输入两个独立的卷积网络层，再将得到的序列特征左右拼接，与单行车牌序列特征一致；训练成本低，采用数据量大、均匀度高的单行车牌进行训练，避免了训练阶段双行车牌手动分割拼接；通过检测得到的双行车牌颜色对车牌号码复核，提高准确性。

附图说明

图1为本发明双行车牌识别模块示意图；

图2为本发明识别流程图；

图3为实施例双行车牌端到端预处理组合示例图；

图中：(a)为原始图像；(b)为预处理后图像；(c)为预处理过程；

图4位双行车牌端到端识别流程图；

图5为实施例双行车牌端到端训练、识别示意图；

图中：(a)为单行车牌训练模型；(b)为双行车牌特征序列提取拼接。

具体实施方式

如图1和图2所示，为本实施例涉及一种双行车牌的自动识别方法，包括以下步骤：

步骤1)通过双行车牌检测分类器检测分类双行车牌：根据我国双行车牌类型，将双行车牌分two_white，two_yellow，two_green以及two_blue和two_black五种类型。

如图5所示，所述的双行车牌端到端识别器包括两个神经网络分支，每个神经网络分支包括依次设置的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层，两个神经网络分支对分割后的上下两行车牌分别进行特征提取，各自得到512通道的32×1的特征序列，再通过softmax层按照左右顺序将序列特征拼接，得到514×64×1的特征序列。

步骤2)训练双行车牌端到端的网络识别器：采用数据量较大的单行车牌，灰度化后，归一化到固定尺寸140×32，训练如图5(a)所示端到端的车牌识别模型；

所述的双行车牌端到端识别器的训练样本采用灰度化及归一化尺寸后的单行车牌及对应的车牌号标签，一般按省份均匀选取，其中的神经网络分支的训练参数设置为：

学习率：0.0001，batch_size:256；

第一卷积层：in＝1，out＝64，kernel size＝(3，3)，stride＝(1，1)，padding＝true；

第一池化层：kernel size＝(2，2)，stride＝2；

第二卷积层：in＝64，out＝128kernel size＝(3，3)，padding＝true；

第二池化层：kernel size＝(2，2)，stride＝2；

第三卷积层：in＝128，out＝256，kernel size＝(3，3)，padding＝true；

第四卷积层：in＝256out＝256，kernel size＝(3，3)，padding＝true；

第三池化层：kernel size＝(1，2)，stride＝(2，1)；

第五卷积层：in＝256out＝512，kernel size＝(3，3)，padding＝true；

第六卷积层：in＝512，out＝512，kernel size＝(3，3)，padding＝true；

第四池化层：kernel size(1，2)，stride＝(2，1)；

第七卷积层：in＝512，out＝512kernel size＝2，padding＝false。

步骤3)双行车牌灰度化同时归一化到140×64，分别设置旋转校正角和行切割线，旋转校正角θ_i∈(-30°,30°)，步长为3°，行切割线范围为h_j∈(0.2H,0.8H)，步长为0.1H，其中：(W,H)分别为图像的宽和高，具体步骤包括：

步骤3.1)按照

旋转双行车牌图像；

步骤3.2)根据行切割线h_j的范围将双行车牌分割为上下两行U_ij和D_ij，将U_ij和D_ij高度方向在保证单行车牌训练时高度的前提下缩放到32，得到UR_ij和DR_ij；

步骤3.3)将上下两行车牌UR_ij和DR_ij分别输入双行车牌检测分类器，提取到尺寸为512×32×1的上、下特征序列Seq_up和Seq_down，将Seq_up和Seq_down左右拼接得到尺寸为512×64×1Seq；

步骤3.4)双行车牌检测分类器根据特征序列Seq识别出的车牌号Plate_ij及对应的字符置信度之和Conf_ij；

步骤3.5)循环旋转校正角和行切割线并输入双行车牌端到端识别器中，得到车牌号和置信度的数组Plate_ij和Conf_ij，根据置信度最大索引，找到车牌号

及置信度

(当需要校正旋转校正角和双行车牌行切割线时，可以根据最大索引输出得到对应的旋转校正角和行分割线)；

步骤4)根据车牌检测的五种颜色类型及对应的车牌规则进行复核，当识别出来的车牌不满足上述规则，将对应的车牌及其置信度去除，再次选取最大置信度索引，直至满足车牌类型与车牌号命名规则。

所述的车牌规则具体包括：

①two_yellow为大型汽车后号牌、挂车号牌、低速车号牌，车牌号长度固定为7，号牌首字母为中文，其余为数字和字母，最后一位为数字、字母或中文’挂’；

②two_blue为轻便摩托车号牌，车牌号长度固定为7，号牌首字母为中文，其余为数字和字母；

③two_green为拖拉机号牌，车牌号长度固定为8，号牌首字母为中文，第2和第3位位数字，其余为数字和字母，最后一位为数字、字母或中文’学’；

④two_black为领馆、使馆摩托车号牌，领馆摩托号牌长度固定为7，号牌首字母为中文，其余为数字和字母，最后一位为数字、字母或中文’领’，馆摩托号牌；使馆摩托车号牌长度固定为6，号牌首字母为中文’使’，其余为数字和字母；

⑤two_white位警用摩托车、军车号牌。警用摩托车号牌长度固定为7，首字母为中文，其余为数字和字母，最后一位为中文’警’；军牌长度为8或者9，以‘WJ’开头，第三位为中文省份或数字。

本方法将双行车牌分割后的上下两行车牌分别通过卷积网络层提取特征序列，再将序列特征拼接为双行车牌对应的序列特征，避免了识别之前先进行双行车牌的分割拼接；采用预设旋转校正角和行切割线，自动校正和切割，再根据端到端识别结果选取最优。

经过具体实际实验，在实际道路监测的具体环境设置下，以10W左右单行车牌训练得到的识别模型，共测试各省份双行车牌共1000张，测试准确率：87.5％，旋转校正角和行切割线选取：95.3％。

与现有技术相比，本方法双行车牌的识别率有所提升，相较于上下双行拼接成单行再识别，直接采用分割后的车牌序列特征拼接，精度更高；双行车牌识别同时得到旋转校正角和行切割线，实现自动校正和切割，相较于传统基于传统图像处理的校正和分割，精度更高；训练阶段无需大量双行车牌数据，无需对双行车牌进行手动分割、拼接再标注，节省大量时间。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims

1.一种双行车牌的自动识别方法，其特征在于，通过对待测图像进行预处理后输入经过训练的用于双行车牌分类的车牌检测分类器和双行车牌端到端识别器，识别得到候选车牌号；然后利用车牌类别及对应编码规则对候选车牌号进行复核，实现双行车牌识别；

2.根据权利要求1所述的自动识别方法，其特征是，所述的预处理是指：根据实际情况，预设相应的转角和行切割线范围，对待测图像进行自动旋转、裁剪，得到包含一组包含两行车牌的图像。

3.根据权利要求1所述的自动识别方法，其特征是，所述的双行车牌端到端识别器，分为训练阶段和识别阶段，其中：每个神经网络分支的训练通过对灰度化后的单行车牌进行特征提取，将得到的特征序列信息采用双向LSTM进行序列分类，再通过CTC损失函数对分类信息对齐，得到车牌及置信度信息得以实现；双行车牌端到端识别器的识别阶段通过对待测双行车牌进行预处理后进行特征提取，再将上下两行车牌的特征序列信息左右拼接，采用双向LSTM进行序列分类，再通过CTC损失函数对分类信息对齐，得到车牌号及置信度信息，通过softmax层合并一组车牌号及置信度信息相连并传输最终识别的车牌号及置信度信息。

4.根据权利要求1所述的自动识别方法，其特征是，所述的候选车牌号，通过将预处理后的两行车牌图像分别输入端到端识别器两个神经网络分支对分割后的上下两行车牌分别进行特征提取，各自得到512通道的32×1的特征序列，再通过softmax层按照左右顺序将序列特征拼接，得到514×64×1的特征序列，进一步通过序列分类和识别，得到若干车牌号及其对应置信度和双行车牌对应的旋转校正角和上下切割线，以置信度最大的车牌号作为候选车牌号。

5.根据权利要求4所述的自动识别方法，其特征是，所述的旋转校正角θ_i∈(-30°,30°)，步长为3°，行切割线范围为h_j∈(0.2H,0.8H)，步长为0.1H。

6.根据权利要求4或5所述的自动识别方法，其特征是，所述的旋转校正角和上下切割线，通过以下方式设置：

步骤3.1)按照

旋转双行车牌图像；

步骤3.3)将上下两行车牌UR_ij和DR_ij分别输入双行车牌检测分类器，提取到尺寸为512×32×1的上、下特征序列Seq_up和Seq_down，将上、下特征序列Seq_up和Seq_down左右拼接得到尺寸为512×64×1的特征序列Seq；

及置信度

7.根据权利要求6所述的自动识别方法，其特征是，当需要校正旋转校正角和双行车牌行切割线时，根据最大索引输出得到对应的旋转校正角和行分割线。