CN110032999B - 一种汉字结构退化的低分辨率车牌识别方法 - Google Patents

Abstract

本发明公开了一种汉字结构退化的低分辨率车牌识别方法，步骤包括：1)构建VGG16网络，提取整个车牌的深度特征；2)将车牌特征矩阵转换为字符特征序列；3)将字符特征序列送入双向深度LSTM网络，输出66×T的车牌字符序列的归属概率矩阵；4)对输出的车牌字符序列的归属概率矩阵进行解码；5)对车牌汉字部分进行分割；6)对车牌汉字进行再识别的确认，获取候选的汉字模板，对车牌中的汉字再识别，取孪生网络输出的与候选的汉字模板相似度大的汉字为车牌汉字的输出结果，其它的字符结果则采用步骤4的结果。本发明的方法，识别准确率明显提高。

Description

一种汉字结构退化的低分辨率车牌识别方法

技术领域

本发明属于车牌识别技术领域，涉及一种汉字结构退化的低分辨率车牌识别方法。

背景技术

对于停车场或者收费站这类拍摄角度固定、车辆低速或者静止、车牌分辨率能够保证的情况，车牌识别能够做到实用化。但是，对于通过监控视频追踪快速移动的违章、肇事车辆的情况，由于抓拍到的车辆距离较远，只能得到低分辨率车牌；再加上因为拍摄视角引起的图像倾斜、字符模糊等问题，使得汉字结构严重退化，影响了车牌识别准确率，导致低分辨率车牌识别成为一个难点问题。

发明内容

本发明的目的是提供一种汉字结构退化的低分辨率车牌识别方法，解决现有技术中对于低分辨率车牌，由于汉字难识别造成整个车牌识别准确率低的问题。

本发明所采用的技术方案是，一种汉字结构退化的低分辨率车牌识别方法，按照以下步骤实施：

步骤1、构建VGG16网络，提取整个车牌的深度特征

将待识别的低分辨率车牌进行图像归一化，处理到m×n大小，归一化后的车牌图像记为车牌Plate＝[pla(i,j)]_m×n，将车牌Plate＝[pla(i,j)]_m×n输入VGG16 网络后，网络输出为N×T大小的车牌特征矩阵，记为F＝[f(i,j)]_N×T，这个车牌特征矩阵由N个T维行向量构成，或理解成是N个T维的车牌特征向量，此外，将这个特征矩阵F＝[f(i,j)]_N×T的列向量来观察，则是由T个N维列向量构成，或理解成是由T个N维的字符特征向量构成，对字符的特征提取共计N 维；

步骤2、将车牌特征矩阵转换为字符特征序列

将步骤1得到的车牌特征矩阵F＝[f(i,j)]_N×T的每一个列向量看成是某个字符的特征向量，则车牌特征矩阵F＝[f(i,j)]_N×T表示了T个N维的字符特征构成的字符特征序列，则将车牌特征矩阵F＝[f(i,j)]_N×T的列向量表示为字符特征序列：X＝[x₁,x₂,...,x_T]，x_t＝[f_1,t,f_2,t,...,f_N,t]^T，t＝1,2,...,T；

步骤3、将字符特征序列X＝[x₁,x₂,...,x_T]送入双向深度LSTM网络，

使用双向深度LSTM网络，作为分类器，输出字符特征序列的归属概率矩阵Y＝[y₁,y₂,...,y_T]，每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T，t＝1,2,...,T都是66维的归属概率向量，输出Y＝[y₁,y₂,...,y_T]是66×T的车牌字符序列的归属概率矩阵；

步骤4、对输出的车牌字符序列的归属概率矩阵进行解码

解码步骤如下：

4.1)取Y＝[y₁,y₂,...,y_T]中的每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T的最大值对应的字符序号是：y_t,max＝argmax{[p_1,t,p_2,t,...,p_66,t]^T}，t＝1,2,...,T   (1)

则输出的候选序列为：

y_max＝[y_1，max,y_2,max,...,y_T,max]   (2)

4.2)消除候选序列中的空格和重复字符；

4.3)如果步骤4.2)得到的车牌汉字的归属概率大于0.99，则输出识别结果；否则，转入步骤5，对车牌中的汉字进一步再识别；

步骤5、对车牌汉字部分进行分割；

步骤6、对车牌汉字进行再识别的确认。

本发明的有益效果是，对最低分辨率为16×50的实际拍摄到的整个车牌识别准确率达97％以上，汉字识别准确率达98.5％以上，优于目前的车牌识别软件和检索到的相关文献。

附图说明

图1是本发明方法中的车牌识别整体框图；

图2是本发明方法中的汉字再识别区域与候选模板示例；

图3是本发明方法中的汉字再识别孪生网络结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，依据LSTM循环神经网络对车牌进行无分割识别，可避免车牌字符分割误差累积，汉字识别结果TOP1到YOP2的准确率增量最大的特点，本发明提出了一种汉字结构退化的低分辨率车牌识别方法，基于LSTM 循环神经网络和Siamese孪生网络，按照以下步骤实施：

步骤1、构建VGG16网络，提取整个车牌的深度特征

将待识别的低分辨率车牌(最低分辨率为16×50)进行图像归一化，处理到m×n大小，这里优选m＝32，n＝100，归一化后的车牌图像记为车牌 Plate＝[pla(i,j)]_m×n，将车牌Plate＝[pla(i,j)]_m×n输入VGG16网络后，网络输出为 N×T大小的车牌特征矩阵，记为车牌特征矩阵F＝[f(i,j)]_N×T，这个车牌特征矩阵看成是由N个T维行向量构成，或理解成是N个T维的车牌特征向量，对于目前最多8位的车牌(按照国标，普通车的车牌是7位字符，新能源车是8位字符)，优选T＝26，目的是为了具有充分的冗余，平均每个字符能够被重复3次以上；此外，将这个车牌特征矩阵F＝[f(i,j)]_N×T的列向量来观察，则是由T个N维列向量构成，或理解成是由T个N维的字符特征向量构成，对字符的特征提取共计N维，优选N＝512，即对每个字符特征也有充分的描述；

VGG16网络为文献公开的深度学习网络，可在相关论文中检索到。

步骤2、将车牌特征矩阵转换为字符特征序列

将步骤1得到的车牌特征矩阵F＝[f(i,j)]_N×T的每一个列向量看成是某个字符的特征向量，则车牌特征矩阵F＝[f(i,j)]_N×T表示了T个N维的字符特征构成的字符特征序列，则将车牌特征矩阵F＝[f(i,j)]_N×T的列向量表示为字符特征序列：X＝[x₁,x₂,...,x_T]，x_t＝[f_1,t,f_2,t,...,f_N,t]^T，t＝1,2,...,T；

步骤3、将字符特征序列X＝[x₁,x₂,...,x_T]送入双向深度LSTM网络

通过步骤2得到字符特征序列X＝[x₁,x₂,...,x_T]后，使用双向深度LSTM网络，作为分类器，输出字符特征序列的归属概率矩阵Y＝[y₁,y₂,...,y_T]，(双向深度LSTM网络是文献公开的深度学习网络，可在相关论文中检索到)，

双向深度LSTM网络输出的字符特征序列的归属概率矩阵为 Y＝[y₁,y₂,...,y_T]，每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T，t＝1,2,...,T都是66维的归属概率向量，这66维分别为31个省份的标识汉字、24个字母、10个数字和1个空白，共66类标签；需要1个空白的标签是为了对每个字符之间的空白部分也作出预测，即输出Y＝[y₁,y₂,...,y_T]是66×T的车牌字符序列的归属概率矩阵；

步骤4、对输出的车牌字符序列的归属概率矩阵进行解码

因为步骤3输出的归属概率矩阵Y＝[y₁,y₂,...,y_T]中的每一列都是关于66 个字符类别的归属概率，因此，解码步骤如下：

4.1)取归属概率矩阵Y＝[y₁,y₂,...,y_T]中的每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T的最大值对应的字符序号是：

y_t,max＝argmax{[p_1,t,p_2,t,...,p_66,t]^T}，t＝1,2,...,T   (1)

则输出的候选序列为：

y_max＝[y_1，max,y_2,max,...,y_T,max]   (2)

4.2)消除候选序列中的空格和重复字符，

例如，y_max＝[y_1，max,y_2,max,...,y_T,max]对应的字符序列是‘京A--------1--B --0--0---11-’，去掉重复的字符和空格后，得到的可能识别结果是“京 A1B001”；

4.3)如果步骤4.2)得到的车牌汉字的归属概率大于0.99，则输出识别结果；否则，转入步骤5，对车牌中的汉字进一步再识别；

上述的步骤1-4称为“车牌的初识别”，在一些复杂情况下，还需要进行以下步骤5和6的“车牌的再识别”。

步骤5、对车牌汉字部分进行分割

对车牌Plate＝[pla(i,j)]_32×100进行投影计算：

如果是由7个字符构成的普通车牌，转步骤5.1)；如果是由8个字符构成的普通车牌，转步骤5.2)；

5.1)对普通车牌进行分割

按照国标的设计，以7个字符的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙，取

的范围，按照公式(4)计算得到分割点ps：

以分割点处设置垂直的分割线，分割出由汉字和邻近一个字符构成的汉字再识别区域，直接转入步骤6；

5.2)对新能源车牌进行分割

按照国标的设计，以8个字符的新能源车牌的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙，取

的范围，按照公式(5)计算得到分割点ps：

以分割点处设置垂直的分割线，分割出由汉字和邻近一个字符构成的汉字再识别区域，记作R_C，转入步骤6；

步骤6、对车牌汉字进行再识别的确认

6.1)获取候选的汉字模板

参照图2，按照步骤4，再次计算得到概率次大的车牌识别结果，将概率最大(TOP1)和概率次大(TOP2)的两个车牌识别结果的汉字及相邻的字符，按照车牌国标规定的汉字、字符的字体和大小构造相对应的汉字模板，记TOP1汉字模板为M₁，TOP2汉字模板为M₂；

6.2)计算汉字区域与汉字模板的相似度

参照图3，选择一个孪生网络(孪生网络在相关的文献中可以检索到)，先将TOP1汉字模板为M₁与待识别汉字区域R_C输入网络，输出汉字区域R_C与 TOP1汉字模板M₁的相似度，记作S₁；之后，再将TOP2字模板为M₂与待识别汉字区域R_C输入网络，输出汉字区域R_C与TOP2汉字模板M₂的相似度，记作S₂；

孪生网络训练时，正样本为低分辨率车牌和候选汉字模板中同属于一个字的汉字图像组成的图像对，负样本为汉字图像对不是同一个汉字组成的样本对；

6.3)取步骤6.2)计算得到的两个相似度S₁和S₂，按照下面公式计算，得到结果M*：

6.4)将M*替换待识别的汉字区域R_C为车牌汉字的输出结果，其它的字符结果则采用步骤4.2)的结果。

至此，完成对低分辨率车牌的自动识别。

Claims (7)

1.一种汉字结构退化的低分辨率车牌识别方法，其特征在于，按照以下步骤实施：

步骤1、构建VGG16网络，提取整个车牌的深度特征

将待识别的低分辨率车牌进行图像归一化，处理到m×n大小，归一化后的车牌图像记为Plate＝[pla(i,j)]_m×n，将车牌Plate＝[pla(i,j)]_m×n输入VGG16网络后，网络输出为N×T大小的车牌特征矩阵，记为F＝[f(i,j)]_N×T，这个车牌特征矩阵由N个T维行向量构成，即N个T维的车牌特征向量，此外，将这个车牌特征矩阵F＝[f(i,j)]_N×T的列向量来观察，则是由T个N维列向量构成，即T个N维的字符特征向量构成，对字符的特征提取共计N维；

步骤2、将车牌特征矩阵转换为字符特征序列

将步骤1得到的车牌特征矩阵F＝[f(i,j)]_N×T的每一个列向量看成是某个字符的特征向量，车牌特征矩阵F＝[f(i,j)]_N×T表示了T个N维的字符特征构成的字符特征序列，则将车牌特征矩阵F＝[f(i,j)]_N×T的列向量表示为字符特征序列：X＝[x₁,x₂,...,x_T]，x_t＝[f_1,t,f_2,t,...,f_N,t]^T，t＝1,2,...,T；

步骤3、将字符特征序列X＝[x₁,x₂,...,x_T]送入双向深度LSTM网络，

使用双向深度LSTM网络，作为分类器，输出字符特征序列的归属概率矩阵Y＝[y₁,y₂,...,y_T]，每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T，t＝1,2,...,T都是66维的归属概率向量，输出归属概率矩阵Y＝[y₁,y₂,...,y_T]是66×T的车牌字符序列的归属概率矩阵；

步骤4、对输出的车牌字符序列的归属概率矩阵进行解码

解码步骤如下：

4.1)取归属概率矩阵Y＝[y₁,y₂,...,y_T]中的每个y_t＝[p_1,t,p_2,t,...,p_66,t]^T的最大值对应的字符序号是：y_t,max＝argmax{[p_1,t,p_2,t,...,p_66,t]^T}，t＝1,2,...,T(1)

则输出的候选序列为：

y_max＝[y_1，max,y_2,max,...,y_T,max]            (2)

4.2)消除候选序列中的空格和重复字符；

4.3)如果步骤4.2)得到的车牌汉字的归属概率大于0.99，则输出识别结果；

否则，转入步骤5，对车牌中的汉字进一步再识别；

步骤5、对车牌汉字部分进行分割；

步骤6、对车牌汉字进行再识别的确认。

2.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤1中，m＝32，n＝100。

3.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤1中，对于目前最多8位的车牌，T＝26。

4.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤1中，N＝512。

5.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤3中，66维分别为31个省份的标识汉字、24个字母、10个数字和1个空白，共66类标签。

6.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤5中，具体过程如下，

对车牌Plate＝[pla(i,j)]_32×100进行投影计算：

如果是由7个字符构成的普通车牌，转步骤5.1)；如果是由8个字符构成的普通车牌，转步骤5.2)；

5.1)对普通车牌进行分割

按照国标的设计，以7个字符的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙，取

的范围，按照公式(4)计算得到分割点ps：

以分割点处设置垂直的分割线，分割出由汉字和邻近一个字符构成的汉字再识别区域，直接转入步骤6；

5.2)对新能源车牌进行分割

按照国标的设计，以8个字符的新能源车牌的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙，取

的范围，按照公式(5)计算得到分割点ps：

以分割点处设置垂直的分割线，分割出由汉字和邻近一个字符构成的汉字再识别区域，记作R_C，转入步骤6。

7.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法，其特征在于：所述的步骤6中，具体过程如下，

6.1)获取候选的汉字模板

按照步骤4，再次计算得到概率次大的车牌识别结果，将概率最大TOP1和概率次大TOP2的两个车牌识别结果的汉字及相邻的字符，按照车牌国标规定的汉字、字符的字体和大小构造相对应的汉字模板，记TOP1汉字模板为M₁，TOP2汉字模板为M₂；

6.2)计算汉字区域与汉字模板的相似度

选择一个孪生网络，先将TOP1汉字模板为M₁与待识别汉字区域R_C输入网络，输出汉字区域R_C与TOP1汉字模板M₁的相似度，记作S₁；之后，再将TOP2字模板为M₂与待识别汉字区域R_C输入网络，输出汉字区域R_C与TOP2汉字模板M₂的相似度，记作S₂；

孪生网络训练时，正样本为低分辨率车牌和候选汉字模板中同属于一个字的汉字图像组成的图像对，负样本为汉字图像对不是同一个汉字组成的样本对；

6.3)取步骤6.2)计算得到的两个相似度S₁和S₂，按照下面公式计算，得到结果M*：

6.4)将M*替换待识别的汉字区域R_C为车牌汉字的输出结果，其它的字符结果则采用步骤4.2)的结果。

Images