CN110287959A - 一种基于再识别策略的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于再识别策略的车牌识别方法，属于智能交通技术领域。它通过训练一个用于车牌字符检测识别的多尺度深度卷积神经网络，对车牌图像进行识别，得到候选车牌字符，再对所有候选字符进行聚类，使得属于同一车牌的字符构成单独的序列集合，接着对各集合进行再识别条件匹配，然后对初次识别结果不想的车牌区域进行粗提取，并用一个轻量级的字符检测识别深度神经网络进行再识别，得到新的车牌字符构成的序列集合，最后将各集合分别串联成车牌识别结果。本发明通过采用上述技术减小误差累积所带来的影响，相比于逐张车牌定位识别过程具有更高的效率与准确率。

Description

一种基于再识别策略的车牌识别方法

技术领域

本发明涉及智能交通技术领域，具体设计一种基于再识别策略的车牌识别方法。

背景技术

自动车牌识别已经被研究了数十年，是一项融合图像处理、机器学习和模式识别等多项任务的技术。不可控的实际环境和多种多样的车牌制式是研究面临的主要挑战。随着智慧交通技术的发展，商用系统已将深度学习运用到了实际问题的解决方案中，并且宣布其车牌识别率高达99％。但是，文献(Y.Zhao,Z.Yu,and X.Li,“Evaluation methodologyfor license plate recognition systems and experimental results,”IETIntell.Transp.Syst.,vol.12,no.5,pp.375-385,May 2018.)测试了五款商用车牌识别系统，而实际测试结果显示车牌识别率仅在75％-92％。显然，测试结果与所宣传的指标有所出入，同时这也反映了实际非受限场景中的车牌识别任务是富有挑战的。

文献(M.Bar,“The proactive brain:using analogies and associations togenerate predictions,”Trends Cogn.Sci.,vol.11,no.7,pp.280–289,July.2007.)通过研究发现人类通过类比与联系进行预测识别。识别可以理解为一个再识别过程，即先模糊地通过类比确定目标的像什么，再通过探究认知的联系明确目标的具体类别。实际上，现有的三阶段车牌识别方法正是模仿了人类识别车牌的行为，将整个车牌识别过程分为车牌定位、字符分割和字符识别。其中，车牌定位属于初次识别，车牌字符分割与识别属于再识别。然而，这种三阶段的车牌识别方法限定了车牌必须逐张识别，且每一步都会累积误差，影响最终的识别。此外，车牌识别方法容易受到光照、分辨率、成像视角、阴影等环境因素的干扰。

为了克服传统三阶段车牌识别的缺陷，深度学习技术被用于车牌识别。基于深度学习的端到端的车牌识别方法使得车牌识别的准确率与鲁棒性进一步提高。文献(Q.Guo,F.Wang,J.Lei,D.Tu,and G.Li,“Convolutional feature learning and hybrid CNN-HMMfor scene number recognition,”Neurocomputing,vol.184,pp.78–90,Apr.2016.)提出一种混合CNN-HMM模型，将车牌识别视为序列处理问题。文献(H.Li,P.Wang,and C.Shen,“Towards End-to-End Car License Plates Detection and Recognition with DeepNeural Networks,”IEEE Trans.Intell.Transp.Syst.,to be published,doi:10.1109/TITS.2018.2847291.)融合了STN、CNN、BRNN和CTC来识别倾斜车牌。然而，大多数端到端车牌识别方法所研究的对象仅限于单行车牌，而实际场景中十分普遍的双行车牌超过了可识别范畴。发明专利(公开号：CN109165643A，名称：一种基于深度学习的车牌识别方法)用直接定位车牌字符代替定位车牌作为起始步骤，将传统的车牌识别三阶段相互关联，减小误差累积所带来的影响。该方法通过检测车牌字符本身，配合后续的字符筛选和排列组合操作完成车牌识别，不限制所能识别的车牌字符长度，适用于多种车牌制式的车牌，对车牌定位的准确率要求不高。但是，实际待识别图像中常包含尺度不一的多张车牌，而现有方法仍旧需要先定位车牌，然后对车牌逐张进行识别。

综上所述，目前车牌识别方法面临如下问题：1)现有方法需要先定位车牌，然后对定位得到的车牌逐张进行识别；2)实际待识别图像中车牌尺度大小不一，且常常包含多张车牌；3)多车牌识别的实时性与鲁棒性要求高。

发明内容

为克服现有技术的上述缺点，本发明提出一种基于再识别策略的车牌识别方法。

本发明的技术方案如下：

一种基于再识别策略的车牌识别方法，其特征在于，包括如下步骤：

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M及其轻量版本V，其中神经网络V的深度小于神经网络M；

步骤2：将待识别的图像I输入到车牌字符检测网络M中，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤3：对步骤2得到的候选车牌字符集合H，首先，将集合H中所有元素以外接矩形框r的形心为中心点，将外接矩形框扩大为原尺寸的三倍大小，所有外扩字符构成新集合H^*；然后，将集合H^*中所有相交的矩形框逐一进行合并，得到集合U＝{u_i|i＝1,2,3…,n_U}，其中，n_U表示集合U的元素个数；接着将集合U中所有矩形框以形心为中心点，保持高度不变，宽度扩展为原来的三倍，所有外扩矩形框构成新集合U^*；最后，将集合U^*中所有相交的矩形框逐一进行合并，得到车牌候选区集合Q＝{q_i|i＝1,2,3…,n_Q}，其中，n_Q表示集合Q的元素个数；

步骤4：根据步骤2得到的集合H和步骤3得到的集合Q，取i＝1,2,3…,n_Q，取j＝1,2,3…,n_H，对若且h_j∩q_i≠Φ，则将h_j加入新的集合L_i，其中q_i表示集合Q的第i个元素，h_j表示集合H中的第j个元素；在完成对集合Q的遍历后，将所有新构造的集合L_i加入新的集合，得到集合L＝{L_i|i＝1,2,3…,n_L}，其中n_L表示集合L的元素个数，n_L＝n_Q；

步骤5：对步骤4得到的集合L，对若L_i满足公式(1)，则将集合L_i加入集合F，否则，先从图像I上截取对应车牌子图，再将子图经倾斜矫正后输入到轻量级车牌字符检测网络V，得到候选车牌字符集合G＝{g_i|i＝1,2,3…,n_G}，若集合G满足公式(2)则将集合G加入集合F，否则不加入；

其中，N_Li表示集合L_i的字符个数，N_min表示最小数量阈值，t_j表示集合L_i中第j个字符的置信度，T_min表示最小置信度阈值；

其中，N_G表示集合G的字符个数，b_j表示集合G中第j个字符的置信度，B_min表示最小置信度阈值；

步骤6：对步骤5得到的集合F，逐一遍历集合元素，对每一元素，先将所包含的候选字符组合成车牌字符串s，再将s作为车牌识别结果加入集合S；

步骤7：返回由步骤6得到车牌识别结果S。

本发明的有益效果是：1)本发明用直接定位车牌字符代替定位车牌作为起始步骤，将传统的车牌识别三阶段相互关联，减小误差累积所带来的影响；2)本发明充分利用深度卷积神经网络在目标检测过程中的特性，对待识别图像中的所有车牌一次性识别，效率高；3)本发明在对初次识别结果不想的车牌区域粗提取后进行再识别，相比于逐张车牌定位识别过程具有更高的效率与准确率。

附图说明

图1为本发明的输入的待识别图像；

图2为本发明的经过步骤2处理的首次车牌字符检测结果可视化示意图；

图3为本发明的经过步骤3处理的车牌区域提取示意图；

图4为本发明的经过步骤5处理的子图再识别示意图。

具体实施方式

下面结合实施例来详细阐述本发明的基于再识别策略的车牌识别方法的具体实施方式。

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M及其轻量版本V，其中神经网络V的深度小于神经网络M；在本实例中，选择官方的YOLOv3神经网络结构训练得到模型M，由官方的Tiny-YOLOv3神经网络结构训练得到模型V；

步骤2：将待识别的图像I输入到车牌字符检测网络M中，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；在本实例中，输入神经网络的待识别的图像I如图1所示，车牌字符检测结果如图2所示；

步骤3：对步骤2得到的候选车牌字符集合H，首先，将集合H中所有元素以外接矩形框r的形心为中心点，将外接矩形框扩大为原尺寸的三倍大小，所有外扩字符构成新集合H^*；然后，将集合H^*中所有相交的矩形框逐一进行合并，得到集合U＝{u_i|i＝1,2,3…,n_U}，其中，n_U表示集合U的元素个数；接着将集合U中所有矩形框以形心为中心点，保持高度不变，宽度扩展为原来的三倍，所有外扩矩形框构成新集合U^*；最后，将集合U^*中所有相交的矩形框逐一进行合并，得到车牌候选区集合Q＝{q_i|i＝1,2,3…,n_Q}，其中，n_Q表示集合Q的元素个数；在本实例中，车牌区域提取示意图如图3所示；

步骤4：根据步骤2得到的集合H和步骤3得到的集合Q，取i＝1,2,3…,n_Q，取j＝1,2,3…,n_H，对若且h_j∩q_i≠Φ，则将h_j加入新的集合L_i，其中q_i表示集合Q的第i个元素，h_j表示集合H中的第j个元素；在完成对集合Q的遍历后，将所有新构造的集合L_i加入新的集合，得到集合L＝{L_i|i＝1,2,3…,n_L}，其中n_L表示集合L的元素个数，n_L＝n_Q；

步骤5：对步骤4得到的集合L，对若L_i满足公式(1)，则将集合L_i加入集合F，否则，先从图像I上截取对应车牌子图，再将子图经倾斜矫正后输入到轻量级车牌字符检测网络V，得到候选车牌字符集合G＝{g_i|i＝1,2,3…,n_G}，若集合G满足公式(2)则将集合G加入集合F，否则不加入；在本实例中，首次检测结果不满足条件(1)，因此提取车牌区域进行了再识别，再识别示意图如图4所示；

其中，N_Li表示集合L_i的字符个数，N_min表示最小数量阈值，t_j表示集合L_i中第j个字符的置信度，T_min表示最小置信度阈值；在本实例中，N_min取7，T_min取0.5；

其中，N_G表示集合G的字符个数，b_j表示集合G中第j个字符的置信度，B_min表示最小置信度阈值；在本实例中，B_min取0.7；

步骤6：对步骤5得到的集合F，逐一遍历集合元素，对每一元素，先将所包含的候选字符组合成车牌字符串s，再将s作为车牌识别结果加入集合S；在本实例中，S＝{“RRV1541”}；

步骤7：返回由步骤6得到车牌识别结果S。

Claims (1)

1.一种基于再识别策略的车牌识别方法，其特征在于，包括如下步骤：

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M及其轻量版本V，其中神经网络V的深度小于神经网络M；

步骤2：将待识别的图像I输入到车牌字符检测网络M中，输出候选车牌字符集合H＝{h_i|i＝1,2,3…,n_H}，其中，n_H表示集合H的元素个数，h_i表示集合H的第i个候选车牌字符，h_i是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；

步骤3：对步骤2得到的候选车牌字符集合H，首先，将集合H中所有元素以外接矩形框r的形心为中心点，将外接矩形框扩大为原尺寸的三倍大小，所有外扩字符构成新集合H^*；然后，将集合H^*中所有相交的矩形框逐一进行合并，得到集合U＝{u_i|i＝1,2,3…,n_U}，其中，n_U表示集合U的元素个数；接着将集合U中所有矩形框以形心为中心点，保持高度不变，宽度扩展为原来的三倍，所有外扩矩形框构成新集合U^*；最后，将集合U^*中所有相交的矩形框逐一进行合并，得到车牌候选区集合Q＝{q_i|i＝1,2,3…,n_Q}，其中，n_Q表示集合Q的元素个数；

步骤4：根据步骤2得到的集合H和步骤3得到的集合Q，取i＝1,2,3…,n_Q，取j＝1,2,3…,n_H，对若且h_j∩q_i≠Φ，则将h_j加入新的集合L_i，其中q_i表示集合Q的第i个元素，h_j表示集合H中的第j个元素；在完成对集合Q的遍历后，将所有新构造的集合L_i加入新的集合，得到集合L＝{L_i|i＝1,2,3…,n_L}，其中n_L表示集合L的元素个数，n_L＝n_Q；

步骤5：对步骤4得到的集合L，对若L_i满足公式(1)，则将集合L_i加入集合F，否则，先从图像I上截取对应车牌子图，再将子图经倾斜矫正后输入到轻量级车牌字符检测网络V，得到候选车牌字符集合G＝{g_i|i＝1,2,3…,n_G}，若集合G满足公式(2)则将集合G加入集合F，否则不加入；

其中，N_Li表示集合L_i的字符个数，N_min表示最小数量阈值，t_j表示集合L_i中第j个字符的置信度，T_min表示最小置信度阈值；

其中，N_G表示集合G的字符个数，b_j表示集合G中第j个字符的置信度，B_min表示最小置信度阈值；

步骤6：对步骤5得到的集合F，逐一遍历集合元素，对每一元素，先将所包含的候选字符组合成车牌字符串s，再将s作为车牌识别结果加入集合S；

步骤7：返回由步骤6得到车牌识别结果S。