CN110288031A - 一种基于序列学习的车牌识别方法 - Google Patents

Abstract

一种基于序列学习的车牌识别方法，属于智能交通技术领域。它通过一个用于字符检测识别的深度神经网络，将车牌图像换为由候选字符构成的序列，然后输入训练得到的序列转换模型，得到新的字符索引序列，最后按索引重组原候选字符，得到车牌识别结果。本发明通过采用上述技术得到的基于序列学习的车牌识别方法，使机器自主学习车牌字符的取舍与排列组合规则，减轻了人工设计启发式规则的压力，借助大量的数据样本学习经验，序列模型能在多制式车牌的识别问题上更加灵活。相比于传统的序列处理方法，诸如隐马尔科夫，本发明能在更长时的依赖中找到序列元素的联系，取得更好的序列转换结果。

Description

一种基于序列学习的车牌识别方法

技术领域

本发明涉及智能交通技术领域，具体设计一种基于序列学习的车牌识别方法。

背景技术

自动车牌识别是一项融合图像处理、机器学习和模式识别等多项任务的技术。经过数十年的发展，车牌识别技术已经步入大规模商用阶段，其应用领域包括公共场所门禁、交通卡口监控和交通路口监控等。

随着智慧交通技术的发展，商用车牌识别系统已将深度学习运用到了实际问题的解决方案中，并且宣布其车牌识别率高达99％。文献(Y.Zhao,Z.Yu,and X.Li,“Evaluationmethodology for license plate recognition systems and experimental results,”IET Intell.Transp.Syst.,vol.12,no.5,pp.375-385,May 2018.)测试了五款商用车牌识别系统，而实际测试结果显示车牌识别率仅在75％-92％。显然，测试结果与所宣传的指标有所出入反映出车牌识别技术仍有其研究价值，而多种多样的车牌制式是相关研究面临的主要挑战之一。

传统的车牌识别方法将车牌识别分为车牌定位、字符分割和字符识别三个阶段。然而，对于不同制式的车牌，需要制定不同的字符分割方案，而分割时选择错误的字符分割方案意味着字符分割失败。尽管遍历所有的分割方案后再选出最优的分割方案是一个优化选择，但是这带来了极大的资源浪费。此外，字符分割方法受诸多因素的影响，如环境、定位情况、车牌清晰度等。

基于深度学习的车牌识别方法克服了部分传统三阶段车牌识别的缺陷。虽然部分研究着力于用深度学习技术提高各分阶段的效果，但是该类方法忽略了三阶段之间存在的联系。文献(Q.Guo,F.Wang,J.Lei,D.Tu,and G.Li,“Convolutional feature learningand hybrid CNN-HMM for scene number recognition,”Neurocomputing,vol.184,pp.78–90,Apr.2016.)提出一种混合CNN-HMM模型，将车牌识别视为序列处理问题，首先对车牌字符进行过分割，然后将各分割部分输入到CNN进行识别，得到冗余的识别序列，最后采用传统的HMM处理冗余序列，得到最终的识别结果。文献(H.Li,P.Wang,and C.Shen,“Towards End-to-End Car License Plates Detection and Recognition with DeepNeural Networks,”IEEE Trans.Intell.Transp.Syst.,to be published,doi:10.1109/TITS.2018.2847291.)融合了STN、CNN、BRNN和CTC来识别倾斜车牌，其中STN用于矫正倾斜车牌，CNN用于提取特征以辅助车牌检测，BRNN与CTC则将车牌图像作为序列进行识别。然而，大多数端到端车牌识别方法所研究的对象仅限于单行车牌，而实际场景中十分普遍的双行车牌超过了可识别范畴。发明专利(公开号：CN109165643A，名称：一种基于深度学习的车牌识别方法)用定位车牌字符代替定位车牌作为起始步骤，将传统的车牌识别三阶段相互关联，减小误差累积所带来的影响。该方法通过检测车牌字符本身，配合后续的字符筛选和排列组合操作完成车牌识别，不限制所能识别的车牌字符长度，适用于多种车牌制式的车牌，对车牌定位的准确率要求不高。但是，所有检测到的候选字符需要用过人工启发式方法进行后续处理，而不同制式的车牌需要设置不同的人工启发式规则，鲁棒性不够高。

综上所述，目前车牌识别方法面临如下问题：1)多种多样的车牌制式是相关研究面临的主要挑战之一；2)基于字符检测的车牌识别方法存在漏检与多检情况；3)人工启发式方法虽然高效准确，但是启发式规则的设计繁杂，且需要对不同制式的车牌采用不同的策略。

发明内容

为克服现有技术的上述缺点，本发明提出一种基于序列学习的车牌识别方法。首先使用深度学习训练一个车牌字符检测模型，再使用深度学习训练得到一个Sequence-to-Sequence模型，然后将待识别的车牌图像编码成由候选车牌字符构成的序列，接着使用训练的序列转换模型将编码序列转换为字符索引序列，最后按解码序列翻译得到车牌识别结果。

本发明的技术方案如下：

一种基于序列学习的车牌识别方法，其特征在于，包括如下步骤：

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签C，C∈D，D为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M_C；

步骤2：训练用于序列转换的Sequence-to-Sequence模型M_S，具体步骤为：

步骤2.1：将待训练的图像I输入到用于车牌字符检测的深度卷积神经网络模型M_C，编码得到候选车牌字符构成的序列X＝{x₁,x₂,…,x_T}，其中x_i表示编码序列的第i个字符，1≤i≤T，T表示编码序列的长度，x_i是由构成的六元组，x、y、w、h分别表示字符矩形框的左上角横坐标、左上角纵坐标、宽度、高度，c表示字符的类别编号，c∈D，D为字符索引表，t表示字符的类别置信度，W和H分别表示图像I的宽度与高度；

步骤2.2：首先构造索引字典V＝{0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19}；然后为编码序列X标注目标解码序列Y＝{y₁,y₂,…,y_L}，其中y_i表示解码序列的第i个元素，1≤i≤L，L表示解码序列的长度，L＝T，y_i是x_i在实际车牌号码S中的索引值，y_i∈V，若则令y_i＝19；

步骤2.3：首先在编码序列X末尾加上结束字符E_<EOS>＝(0,0,0,0,0)，在解码序列Y末尾加上结束字符D_<EOS>＝0；然后将X加入训练样本集X_t，将Y加入训练样本集Y_t；

步骤2.4：对所有的训练图像重复步骤2.1至步骤2.3；

步骤2.5：首先设计一个两层的LSTM模型，其中每层设置128个隐藏单元；该两层的LSTM模型分为编码器和解码器两部分，将上一步骤得到的训练样本集Ψ＝＜X_t,Y_t＞按公式(1)训练Sequence-to-Sequence模型；

其中，o为编码器学习到的单一序列样本X的规则化表示，p(y_i|o,y₁,...,y_i-1)为解码器得到的特定序列元素y_i的概率，y_i∈V，p(y₁,...,y_L|x₁,...,x_T)为将序列X转换为序列Y的概率，θ为所训练Sequence-to-Sequence模型M_S的模型参数；

步骤3：将待识别的图像G输入到车牌字符检测网络M_C，编码得到候选车牌字符构成的序列X_G＝{u₁,u₂,…,u_Nx}，其中u_i表示序列X_G的第i个字符，1≤i≤Nx，Nx表示序列X_G的长度；

步骤4：将步骤3得到的序列X_G输入步骤2得到的Sequence-to-Sequence模型M_S，得到转换序列Y_G＝{v₁,v₂,…,v_Ny}，其中v_i表示序列Y_G的第i个字符，1≤i≤Ny，Ny表示序列Y_G的长度；

步骤5：参照字符索引表D、序列索引字典V和步骤3得到的序列X_G，将步骤5得到的转换序列Y_G进行翻译，具体步骤为：

步骤5.1：构建车牌识别字符串占位集合S，并补充与X_G相同元素个数的空字符C_NULL，使得S＝{s_j|j＝1,2,…,Nx,s_j＝C_NULL}，其中s_j表示字符集合S的第j个字符，初始化为C_NULL；

步骤5.2：遍历序列X_G和Y_G，对j＝1,2,…,Nx，若k_j<Ny，k_j<Nx且k_j≠19，，则在字符字典D中查找g_j所代表的字符a，并用a替换集合S中的第k_j位元素；其中，g_i为序列X_G的第j个元素，k_j为序列Y_G的第j个元素；

步骤5.3：删去集合S中所有的C_NULL后，将集合所有元素按需组成字符串Z；

步骤6：返回由步骤5得到车牌识别结果Z。

本发明的有益效果是：1)基于深度学习技术，通过训练序列模型使机器自主学习车牌字符的取舍与排列组合规则，减轻了人工设计启发式规则的压力；2)通过大量的数据样本学习，序列模型在多制式车牌的识别问题上更加灵活；3)相比于传统的序列处理方法，诸如隐马尔科夫，本发明能在更长时的依赖中找到序列元素的联系，取得更好的序列转换结果。

附图说明

图1为本发明的车牌识别效果示意图；

图2为本发明的部分序列模型训练样本示意图；

图3为本发明的待测试的车牌图像；

图4为本发明的经过步骤3处理的编码序列；

图5为本发明的经过步骤4处理的解码序列。

具体实施方式

本发明示意图如图1所示，下面结合实施例来详细阐述本发明的基于再识别策略的车牌识别方法的具体实施方式。

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签C，C∈D，D为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M_C；在本实例中，选择官方的YOLOv3神经网络结构训练得到模型M_C；

步骤2：训练用于序列转换的Sequence-to-Sequence模型M_S，具体步骤为：

步骤2.1：将待训练的图像I输入到车牌字符检测网络M_C，编码得到候选车牌字符构成的序列X＝{x₁,x₂,…,x_T}，其中x_i表示编码序列的第i个字符，1≤i≤T，T表示编码序列的长度，x_i是由构成的六元组，x、y、w、h分别表示字符矩形框的左上角横坐标、左上角纵坐标、宽度、高度，c表示字符的类别编号，c∈D，D为字符索引表，t表示字符的类别置信度，W和H分别表示图像I的宽度与高度；

步骤2.2：首先构造索引字典V＝{0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19}；然后为编码序列X标注目标解码序列Y＝{y₁,y₂,…,y_L}，其中y_i表示解码序列的第i个元素，1≤i≤L，L表示解码序列的长度，L＝T，y_i是x_i在实际车牌号码S中的索引值，y_i∈V，若则令y_i＝19；

步骤2.3：首先在编码序列X末尾加上结束字符E_<EOS>＝(0,0,0,0,0)，在解码序列Y末尾加上结束字符D_<EOS>＝0；然后将X加入训练样本集X_t，将Y加入训练样本集Y_t；

步骤2.4：对所有的训练图像重复步骤2.1至步骤2.3；在本实例中，序列模型的部分训练样本如图2所示；

步骤2.5：首先设计一个两层的LSTM模型，其中每层设置128个隐藏单元；该两层的LSTM模型分为编码器和解码器两部分，将上一步骤得到的训练样本集Ψ＝＜X_t,Y_t＞按公式(1)训练Sequence-to-Sequence模型；

其中，o为编码器学习到的单一序列样本X的规则化表示，p(y_i|o,y₁,...,y_i-1)为解码器得到的特定序列元素y_i的概率，y_i∈V，p(y₁,...,y_L|x₁,...,x_T)为将序列X转换为序列Y的概率，θ为所训练Sequence-to-Sequence模型M_S的模型参数；

步骤3：将待识别的图像G输入到车牌字符检测网络M_C，编码得到候选车牌字符构成的序列X_G＝{u₁,u₂,…,u_Nx}，其中u_i表示序列X_G的第i个字符，1≤i≤Nx，Nx表示序列X_G的长度；在本实例中，待识别车牌图像如图3所示，得到的编码序列如图4所示；

步骤4：将步骤3得到的序列X_G输入步骤2得到的Sequence-to-Sequence模型M_S，得到转换序列Y_G＝{v₁,v₂,…,v_Ny}，其中v_i表示序列Y_G的第i个字符，1≤i≤Ny，Ny表示序列Y_G的长度；在本实例中，转换序列如图5所示；

步骤5：参照字符索引表D、序列索引字典V和步骤3得到的序列X_G，将步骤5得到的转换序列Y_G进行翻译，具体步骤为：

步骤5.1：构建车牌识别字符串占位集合S，并补充与X_G相同元素个数的空字符C_NULL，使得S＝{s_j|j＝1,2,…,Nx,s_j＝C_NULL}，其中s_j表示字符集合S的第j个字符，初始化为C_NULL；在本实例中，C_NULL＝‘-’，S＝{‘-’,‘-’,‘-’,‘-’,‘-’,‘-’}；

步骤5.2：遍历序列X_G和Y_G，对j＝1,2,…,Nx，若k_j<Ny，k_j<Nx且k_j≠19，，则在字符字典D中查找g_j所代表的字符a，并用a替换集合S中的第k_j位元素；其中，g_i为序列X_G的第j个元素，k_j为序列Y_G的第j个元素；

步骤5.3：删去集合S中所有的C_NULL后，将集合所有元素按需组成字符串Z；在本实例中，Z＝“0321ER”；

步骤6：返回由步骤5得到车牌识别结果Z。

Claims (3)

1.一种基于序列学习的车牌识别方法，其特征在于包括如下步骤：

步骤1：首先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签C，C∈D，D为字符索引表；然后基于准备的数据集训练用于车牌字符检测的深度卷积神经网络模型M_C；

步骤2：训练用于序列转换的Sequence-to-Sequence模型M_S；

步骤3：将待识别的图像G输入到用于车牌字符检测的深度卷积神经网络模型M_C，编码得到候选车牌字符构成的序列X_G＝{u₁,u₂,…,u_Nx}，其中u_i表示序列X_G的第i个字符，1≤i≤Nx，Nx表示序列X_G的长度；

步骤4：将步骤3得到的序列X_G输入步骤2得到的Sequence-to-Sequence模型M_S，得到转换序列Y_G＝{v₁,v₂,…,v_Ny}，其中v_i表示序列Y_G的第i个字符，1≤i≤Ny，Ny表示序列Y_G的长度；

步骤5：参照字符索引表D、序列索引字典V和步骤3得到的序列X_G，将步骤5得到的转换序列Y_G进行翻译；

步骤6：返回由步骤5得到车牌识别结果Z。

2.根据权利要求1所述的一种基于序列学习的车牌识别方法，其特征在于，所述步骤2中的训练用于序列转换的Sequence-to-Sequence模型M_S，具体步骤如下：

步骤2.1：将待训练的图像I输入到用于车牌字符检测的深度卷积神经网络模型M_C，编码得到候选车牌字符构成的序列X＝{x₁,x₂,…,x_T}，其中x_i表示编码序列的第i个字符，1≤i≤T，T表示编码序列的长度，x_i是由构成的六元组，x、y、w、h分别表示字符矩形框的左上角横坐标、左上角纵坐标、宽度、高度，c表示字符的类别编号，c∈D，D为字符索引表，t表示字符的类别置信度，W和H分别表示图像I的宽度与高度；

步骤2.2：首先构造索引字典V＝{0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19}；然后为编码序列X标注目标解码序列Y＝{y₁,y₂,…,y_L}，其中y_i表示解码序列的第i个元素，1≤i≤L，L表示解码序列的长度，L＝T，y_i是x_i在实际车牌号码S中的索引值，y_i∈V，若则令y_i＝19；

步骤2.3：首先在编码序列X末尾加上结束字符E_<EOS>＝(0,0,0,0,0)，在解码序列Y末尾加上结束字符D_<EOS>＝0；然后将X加入训练样本集X_t，将Y加入训练样本集Y_t；

步骤2.4：对所有的训练图像重复步骤2.1至步骤2.3；

步骤2.5：首先设计一个两层的LSTM模型，其中每层设置128个隐藏单元；该两层的LSTM模型分为编码器和解码器两部分，将上一步骤得到的训练样本集Ψ＝＜X_t,Y_t＞按公式(1)训练Sequence-to-Sequence模型；

其中，o为编码器学习到的单一序列样本X的规则化表示，p(y_i|o,y₁,...,y_i-1)为解码器得到的特定序列元素y_i的概率，y_i∈V，p(y₁,...,y_L|x₁,...,x_T)为将序列X转换为序列Y的概率，θ为所训练Sequence-to-Sequence模型M_S的模型参数。

3.根据权利要求1所述的一种基于序列学习的车牌识别方法，其特征在于，所述步骤5具体步骤如下：

步骤5.1：构建车牌识别字符串占位集合S，并补充与X_G相同元素个数的空字符C_NULL，使得S＝{s_j|j＝1,2,…,Nx,s_j＝C_NULL}，其中s_j表示字符集合S的第j个字符，初始化为C_NULL；

步骤5.2：遍历序列X_G和Y_G，对j＝1,2,…,Nx，若k_j<Ny，k_j<Nx且k_j≠19，，则在字符字典D中查找g_j所代表的字符a，并用a替换集合S中的第k_j位元素；其中，g_i为序列X_G的第j个元素，k_j为序列Y_G的第j个元素；

步骤5.3：删去集合S中所有的C_NULL后，将集合S所有元素按需组成字符串Z。