CN113792739B - 一种通用型车牌文本识别方法 - Google Patents

Abstract

本发明公开了一种通用型车牌文本识别方法，首先将车牌图片传入训练完成的基于四边形检测框的车牌字符检测网络，得到相应车牌中的字符检测框；接着再将字符检测框依次输入至训练完成的车牌字符识别网络，得到框内的字符信息；然后对得到的车牌文本进行语义恢复，即基于空间坐标的字符铰接与重排算法，得到完整正序的车牌文本内容；最后通过字典过滤算法，删除非车牌规范的文本内容，得到准确的车牌信息。

Description

一种通用型车牌文本识别方法

技术领域

本发明属于车牌文本识别技术领域，更为具体地讲，涉及一种通用型车牌文本识别方法。

背景技术

在计算机视觉中的车牌文本识别领域，目前多使用自然场景文本识别(STR)，其通过对图片中的文本进行检测，再将检出文本进行识别，二者串联起来即为完整的STR任务。相比目前应用成熟的光学字符文本识别仅对于文档文本检测识别，自然场景文本识别模型具有复杂光照、遮挡、立体、多视角、字体等优化，即具备对真实场景的处理能力。

Wenhao He等人对现有的目标检测网络进行了定义，将现有目标检测网络分为间接回归和直接回归两种类型。间接回归目标检测模型为大多数基于CNN的目标检测模型像RCNN系列、SSD、Multi-Box等，模型的回归任务通过预测proposal和groundtruth的偏置完成。直接回归检测模型跳过proposal部分，直接对某点输出对目标坐标或形状的预测，可以以相对该点的偏置形式输出。其提出的检测框生成方案区别于基于anchor的回归方法，而是将测框定义为四个顶点相对中心点的偏移。Minghui Liao等人首先设计了两种boundingbox的表达方式，分别是四边形和旋转矩形，然后对SSD目标检测模型做了一些修改，如更换卷积核尺寸、默认bounding box长宽比、困难样本挖掘中正负样本比例等，最后将CRNN作为文本识别模型，与SSD联合组成了端对端的文本识别模型。

但针对车牌文本检测识别场景，其具备不规则、不连续、语义强关联的特点。车牌文本字体形状、大小、颜色、排列等不规则，尤其对于复合双层车牌还应考虑上下位置，传统识别方法只能基于不同车牌类型进行单点调整，没有统一通用的识别模型。同时，车牌文本的语义信息极为关键，传统识别方法对于不同类型的车牌不能准确得到其文本内容，且车牌字符中存在的易错字符，即缺失车牌文本语义恢复与错误滤除，这也将影响最终识别结果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通用型车牌文本识别方法，适用包括单层、多层等在内的各种类型车牌，通用性较强，同时对存在角度倾斜的车牌图片也有较高的检测识别精度。

为实现上述发明目的，本发明一种通用型车牌文本识别方法，其特征在于，包括以下步骤：

(1)、车牌图片预处理；

车牌图片预处理：将原始车牌图片的四个边按比例扩张，保证原始车牌完整性；

(2)、搭建车牌文本识别网络；

(2.1)、搭建车牌字符检测网络；

保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；

(2.2)、搭建车牌字符识别网络；

搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；

其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；

全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；

输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；

(3)、获取车牌字符检测框与框内字符信息；

将预处理完成后的车牌图片输入至车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为B_i，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至车牌字符识别网络，得到框内的字符信息；

(4)、车牌文本语义恢复；

(4.1)、标记车牌图片的字符检测框；

将每个字符检测框按四个顶点坐标的左上顶点为起始点，顺时针进行坐标标记，其中，B_i的坐标标记为：{(x_i1,y_i1),(x_i2,y_i2),(x_i3,y_i3),(x_i4,y_i4)}；

(4.2)、标记各字符检测框的中位线与边界；

以字符检测框B_i的顶点(x_i1,y_i1)与(x_i4,y_i4)的连线构成左边界，记为l_i；

以字符检测框B_i的顶点(x_i2,y_i2)与(x_i3,y_i3)的连线构成右边界，记为r_i；

然后取左边界中点为

与右边界中点为/>

的连线构成中位线m_i，记中位线长度为|m_i|，其中，|m_i|的计算公式为：

(4.3)、延长中位线；

(4.3.1)、计算所有字符检测框的中位线的平均值

(4.3.2)、设置各字符检测框B_i的中位线缩放比为α_i，且

γ为可调参数；

(4.3.3)、将各字符检测框B_i的中位线按照各自的缩放比在其左右各延长

比例，延长后中位线的左右顶点记为s′_i与e′_i；

(4.3.4)、以左顶点s′_i与右顶点e′_i的连线构成延长后的中位线，记为m′_i；

(4.4)、字符铰接；

(4.4.1)、任取一个字符检测框B_i的中位线m′_i，判定m′_i与其中一个字符检测框的左边界l_j或右边界r_j是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界l_i’与r_i’，并计算字符铰接框的延长后的中位线m_i’；然后以字符铰接框的中位线m_i’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤(4.4.2)；

(4.4.2)、判断m′_i与下一个字符检测框是否相交，如果相交，则按照步骤(4.4.1)所述方法，进行相交后的处理，然后以此类推，直到判断完所有的字符检测框；

(4.4.3)、当字符检测框B_i的中位线m′_i与所有的字符检测框都不相交时，则直接将字符检测框B_i更名为字符铰接框；

(4.4.4)、对于得到的字符铰接框，根据(4.4.1)铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合(3)中字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；

(4.5)、字符铰接框重排

(4.5.1)、确定字符串铰接框的水平顺序；

任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其记为字符串铰接框；同理按照步骤(4.4.4)所述方法得到此层的字符串铰接框内文本内容与水平顺序；

(4.5.2)、确定字符串铰接框的垂直顺序；

根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；

(4.5.3)、重排

根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，其中，W_i为车牌第i层的文本内容；

(5)、字典过滤；

(5.1)、建立车牌字典库；

建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；

(5.2)字典库匹配与过滤

遍历字符串铰接框集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，将每个元素W_i依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果；若T中字符串铰接框W_i与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，从而得到准确的车牌文本信息；若W_i与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。

本发明的发明目的是这样实现的：

本发明一种通用型车牌文本识别方法，首先将车牌图片传入训练完成的基于四边形检测框的车牌字符检测网络，得到相应车牌中的字符检测框；接着再将字符检测框依次输入至训练完成的车牌字符识别网络，得到框内的字符信息；然后对得到的车牌文本进行语义恢复，即基于空间坐标的字符铰接与重排算法，得到完整正序的车牌文本内容；最后通过字典过滤算法，删除非车牌规范的文本内容，得到准确的车牌信息。

同时，本发明一种通用型车牌文本识别方法还具有以下有益效果：

1、对于车牌字符的检测，本发明基于TextBoxes++模型构建车牌文本的字符检测模型，其字符检出框为四边形，能更好提高检测粒度，以更细的粒度完全包裹车牌字符目标，特别针对车牌图片存在倾斜情况，能提升检出车牌字符的完整性。对于车牌字符识别，本发明设计了全卷积神经网络的字符识别模型，其结构简单，计算量少；且基于车牌中字符偏瘦长特性，采用了3×1尺寸的不规则卷积核；同时采用Coarse-to-fine结构，先对前景(字符部分)与背景进行二分类，然后对判定为前景类别的部分进行字符的多分类，且引入了Focal损失函数以解决车牌字符样本的分布不均问题。

2、由于字符检测模型检出的字符只有空间几何信息，其相对顺序不确定，尤其对于复合双层车牌，存在上下层信息对应关系，需恢复出完整的语义信息。针对车牌文本具有的强的空间特征与语义信息，本发明设计了无监督的基于几何学的字符空间铰接与重排算法，其仅基于字符检测框坐标进行操作，具有速度快，占用空间小的特点，能较好地通用于单层，多层车牌，得到车牌字符的内部关系，恢复车牌语义信息。

3、考虑车牌文本误检情况，本专利先验地设置车牌字典，利用字典辅助筛选符合规范的文本，过滤删除错误内容，得到准确的车牌文本信息。通过上述字符铰接，重排与字典过滤，可对单层，多层等通用型车牌都恢复得到准确的车牌信息。

附图说明

图1是本发明一种通用型车牌文本识别方法流程图；

图2是车牌字符检测网络的结构图；

图3是车牌字符识别网络的结构图；

图4是IOU计算中四边形标定框外接矩形与矩形预选框示意图；

图5是车牌字符检测框的输出结果图；

图6是字符检测框的中位线与边界示意图；

图7是字符检测框中位线延长后示意图；

图8是字符铰接示意图；

图9是车牌字符铰接效果图，其中(a)为字符检测框中位线延长线对应其它框左右边界的相交情况，(b)为铰接完成后的得到的多个字符铰接框效果；

图10是字符重排示意图；

图11是本专利的通用型文本识别方法的结果图，其中(a)是传入的车牌原图，(b)是整体识别结果；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

在本实施例中，如图1所示，本发明一种通用型车牌文本识别方法，包括以下步骤：

S1、车牌图片预处理；

车牌图片预处理：将原始车牌图片的四个边按比例扩张，尺寸大小为300*300，保证原始车牌完整性；

S2、搭建车牌文本识别网络；

车牌文本识别网络由车牌字符检测网络与车牌字符识别网络构成。

S2.1、搭建车牌字符检测网络；

本实施例基于TextBoxes++模型结构进行字符检测，如图2所示，首先保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；

S2.2、搭建车牌字符识别网络；

如图3所示，搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；

其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；

全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；

输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；

下面我们对车牌文本识别网络的训练进行描述，训练过程中选取基于S1预处理后两个通用的车牌数据集，记为第一车牌数据集和第二车牌数据集；

利用第一车牌数据集训练车牌字符检测网络；

1)、车牌图片字符标定

选取第一车牌数据集，并对其中的所有车牌的每个字符进行标定，将每个字符标定为四边形框，得到所有字符的标定框；记其中一个字符的四边形标定框为g＝(x_g1,y_g1,x_g2,y_g2,x_g3,y_g3,x_g4,y_g4)，其中，x_g1,y_g1,x_g2,y_g2,x_g3,y_g3,x_g4,y_g4为标定框四个顶点坐标，左上为起点，顺时针排布；

2)、特征层中预选框的生成；

将步骤1)中完成字符标定的第一车牌数据集输入至S2.1中车牌字符检测网络，在网络的每个特征层中依据各层尺度生成多个矩形预选框，其中，对于第i层特征层的第j个矩形预选框表示为(x_ij,y_ij,w_ij,h_ij)，x_ij,y_ij,w_ij,h_ij分别为此矩形预选框的中心点坐标与宽高；

利用如下公式计算此矩形预选框的四个顶点坐标，以左上的顶点为起点，顺时针排布，依次记为(x_ij1,y_ij1),(x_ij2,y_ij2),(x_ij3,y_ij3),(x_ij4,y_ij4)；

由此，得到第i层特征层的第j个矩形预选框，记为

d＝(x_ij,y_ij,w_ij,h_ij,x_ij1,y_ij1,x_ij2,y_ij2,x_ij3,y_ij3,x_ij4,y_ij4)

3)四边形标定框与矩形预选框的匹配

基于IOU对2)中生成的多个矩形预选框与1)中的车牌字符四边形标定框进行匹配；在本实施例中，如图4所示，为方便操作，此处IOU对应的车牌字符四边形标定框取其外接接矩形进行计算。

其中，A表示四边形标定框外接矩形内像素点的个数，B为矩形预选框内像素点的个数；

设定匹配的IOU阈值为IOU_threshold，如果满足IOU＞IOU_threshold，则表示矩形预选框表示匹配成功，可代入后续计算；否则，舍弃；

4)、特征层中字符预测框生成

在S2.1车牌字符检测网络的6层特征层中，根据3)将每个特征层中生成的预选框d与标定框g进行匹配，若匹配成功则在对应第i层特征层输出预选框d与标定框g四个顶点的偏差值与对应类别置信度，如下表示

(Δx_i1,Δy_i1,Δx_i2,Δy_i2,Δx_i3,Δy_i3,Δx_i4,Δy_i4,c)，i∈{1…6}

其中Δx_i1,Δy_i1,Δx_i2,Δy_i2,Δx_i3,Δy_i3,Δx_i4,Δy_i4为在i特征层匹配上的预选框d与标定框g四个顶点坐标差值，c为对应类别的置信度，再由如下公式，在第i层特征层中，从预选框d转换得到的预测框，记为q。

x_qn＝x_ijn+w_ij×Δx_in,n＝1,2,3,4

y_qn＝y_ijn+h_ij×Δy_in,n＝1,2,3,4

即预测框为q＝(x_q1,y_q1,x_q2,y_q2,x_q3,y_q3,x_q4,y_q4)，其中x_q1,y_q1,x_q2,y_q2,x_q3,y_q3,x_q4,y_q4为预测框四个顶点坐标,以左上的顶点为起点，顺时针排布。

5)、车牌字符检测网络损失函数

车牌字符检测网络的损失函数如下表示

其中，x为是否匹配的指示值，即依据3)匹配准则，若预选框与标定目标框匹配，则x＝1,不匹配则x＝0；c为分类置信度；q为预测框四个顶点坐标；g为标定框四个顶点坐标；分类损失L_conf采用Softmax损失函数；回归损失L_loc采用Smooth_L1损失函数，α为比例系数，此处取值0.2；N为依据3)匹配成功的预选框个数。

6)、车牌字符检测框的输出

由车牌字符检测网络的6个特征层可得到不同尺度的预选框，接着依据3)对预测框进行匹配，再由4)得到各个特征层中的车牌预测框，然后代入5)损失函数进行学习与迭代，使得网络收敛。在6个特征层中均输出字符检测框，即车牌的每个字符会得到多个检测框，最后再利用NMS非极大抑制方法进行后处理，对每个字符得到唯一的检测框。

在本实施例中，得到各个车牌字符的检测框为四边形检测框，以更细的粒度完全包裹车牌字符目标，特别针对于有一定角度倾斜的车牌图片，能有效提升检出车牌字符的完整性，车牌字符检测效果如图5所示。

利用第二车牌数据集训练车牌字符识别网络；

首先将第二车牌数据集传入上述训练完成的车牌字符检测网络，得到第二车牌数据集中每个车牌的字符检测框。然后将这些字符检测框传入S2.2车牌字符识别网络。考虑到实际车牌号存在由A到Z逐次减少的情况，其使得前景字母样本中分部不均，即在前景背景二分类中使用Focal Loss的带调制交叉熵损失函数，以解决样本分布不均问题；在字符多分类中使用Softmax损失函数，反复迭代学习，直至网络收敛，得到训练完成的车牌字符识别网络。

S3、获取车牌字符检测框与框内字符信息；

将预处理完成后的车牌图片输入至S2.1车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为B_i，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至S2.2车牌字符识别网络，得到框内的字符信息；

S4、车牌文本语义恢复；

S4.1、标记车牌图片的字符检测框；

将S3中得到的每个字符检测框B_i按四个顶点坐标的左上顶点为起始点，顺时针进行坐标标记，即B_i的坐标标记为：{(x_i1,y_i1),(x_i2,y_i2),(x_i3,y_i3),(x_i4,y_i4)}；

S4.2、标记各字符检测框的中位线与边界；

如图6所示，以字符检测框B_i的顶点(x_i1,y_i1)与(x_i4,y_i4)的连线构成左边界，记为l_i；以字符检测框B_i的顶点(x_i2,y_i2)与(x_i3,y_i3)的连线构成右边界，记为r_i；

然后取左边界中点为

与右边界中点为

的连线构成中位线m_i，记中位线长度为|m_i|，其中，|m_i|的计算公式为：

S4.3、延长中位线；

S4.3.1、计算所有字符检测框的中位线的平均值

/>

S4.3.2、设置各字符检测框B_i的中位线缩放比为α_i，且

γ为可调参数，此处取值0.2；

S4.3.3、将各字符检测框B_i的中位线按照各自的缩放比在其左右各延长

比例，如图7所示，延长后中位线的左右顶点记为s′_i与e′_i；

S4.3.4、以左顶点s′_i与右顶点e′_i的连线构成延长后的中位线，记为m′_i；

S4.4、字符铰接；

S4.4.1、任取一个字符检测框B_i的中位线m′_i，判定m′_i与其中一个字符检测框的左边界l_j或右边界r_j是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界l_i’与r_i’，如图8所示，接着计算字符铰接框的延长后的中位线m_铰接’；然后以字符铰接框的中位线m_铰接’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤S4.4.2；

S4.4.2、选取此字符铰接框的下一个字符检测框，按照步骤S4.4.1所述方法进行相交判定与铰接，直到判断完所有的字符检测框；

S4.4.3、当字符检测框B_i的中位线m′_i与所有的字符检测框都不相交时，则直接将字符检测框B_i更名为字符铰接框；

S4.4.4、对于得到的字符铰接框，根据S4.4.1铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合S3中车牌字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；

在本实施例中，字符铰接的效果图9所示，其中(a)为字符检测框中位线延长线对应其它框左右边界的相交情况，(b)为铰接完成后的得到的多个字符铰接框效果。

S4.5、字符重排

S4.5.1、确定字符串铰接框的水平顺序；

任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框参照S4.4再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其更名为字符串铰接框；同理按照步骤S4.4.4所述方法得到此层的字符串铰接框内文本内容与水平顺序；

S4.5.2、确定字符串铰接框的垂直顺序；

根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；

S4.5.3、重排

如图10所示，根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，其中，W_i为车牌第i层的文本内容；

S5、字典过滤；

考虑到完成语义恢复的车牌文本中存在不符合车牌规范的内容，本发明设计了车牌文本字典过滤算法，删除错误文本，只保留符合车牌文本规则的文本内容。

S5.1、建立车牌字典库；

建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；其中C1为“川”，“京”，“沪”等省份汉字，C2为A到Z字母区域编号，C3为A到Z字母，0到9数字和“学”，“警”等特殊字符组成的牌号。

S5.2、字典库匹配与过滤

遍历字符串铰接框集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，将每个元素W_i依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果。若T中字符串铰接框W_i与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，若W_i与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。由此可得到准确的车牌文本信息。

至此，对传入的车牌图片，首先由车牌字符检测网络与识别网络，得到单个字符信息，然后进行字符铰接与重排，恢复车牌文本语义，最后通过字典过滤删除错误内容，可得到准确的车牌文本信息。本专利通用型文本识别结果如图11所示，(a)为传入的原始车牌图片，(b)为经过字符检测，识别，语义恢复后的车牌文本输出结果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种通用型车牌文本识别方法，其特征在于，包括以下步骤：

(1)、车牌图片预处理；

车牌图片预处理：将原始车牌图片的四个边按比例扩张，保证原始车牌完整性；

(2)、搭建车牌文本识别网络；

(2.1)、搭建车牌字符检测网络；

保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；

(2.2)、搭建车牌字符识别网络；

搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；

其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；

全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；

输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；

(3)、获取车牌字符检测框与框内字符信息；

将预处理完成后的车牌图片输入至车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为B_i，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至车牌字符识别网络，得到框内的字符信息；

(4)、车牌文本语义恢复；

首先根据检出的字符检测框的位置信息，无监督地将邻近的字符检测框进行“铰接”，形成字符铰接框；然后通过对各个字符铰接框坐标信息进行空间上的重排，遵循从左到右、从上到下的顺序，从而恢复出正序的车牌文本语义信息；

(5)、字典过滤；

(5.1)、建立车牌字典库；

建立车牌字典库，具体分为省份编号C₁，区域编号C₂，牌号C₃的三个语料库；

(5.2)字典库匹配与过滤

遍历字符串铰接框集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，其中，W_i为车牌第i层的文本内容；将每个元素W_i依次与C₁，C₂，C₃三个语料库进行匹配，并记录匹配结果；若T中字符串铰接框W_i与C₁，C₂，C₃任一语料库匹配成功，则表明其符合车牌规范，从而得到准确的车牌文本信息；若W_i与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。

2.根据权利要求1所述的一种通用型车牌文本识别方法，其特征在于，所述步骤(4)中车牌文本语义恢复的具体过程为：

(4.1)、标记车牌图片的字符检测框；

将每个字符检测框按四个顶点坐标的右上顶点为起始点，顺时针进行坐标标记，其中，B_i的坐标标记为：{(x_i1,y_i1),(x_i2,y_i2),(x_i3,y_i3),(x_i4,y_i4)}；

(4.2)、标记各字符检测框的中位线与边界；

以字符检测框B_i的顶点(x_i1,y_i1)与(x_i4,y_i4)的连线构成左边界，记为l_i；

以字符检测框B_i的顶点(x_i2,y_i2)与(x_i3,y_i3)的连线构成右边界，记为r_i；

然后取左边界中点为

与右边界中点为/>

的连线构成中位线m_i，记中位线长度为|m_i|，其中，|m_i|的计算公式为：

(4.3)、延长中位线；

(4.3.1)、计算所有字符检测框的中位线的平均值

(4.3.2)、设置各字符检测框B_i的中位线缩放比为α_i，且

γ为可调参数；

(4.3.3)、将各字符检测框B_i的中位线按照各自的缩放比在其左右各延长

比例，延长后中位线的左右顶点记为s′_i与e′_i；

(4.3.4)、以左顶点s′_i与右顶点e′_i的连线构成延长后的中位线，记为m′_i；

(4.4)、字符铰接；

(4.4.1)、任取一个字符检测框B_i的中位线m′_i，判定m′_i与其中一个字符检测框的左边界l_j或右边界r_j是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界l_i’与r_i’，并计算字符铰接框的延长后的中位线m_铰接’；然后以字符铰接框的中位线m_铰接’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤(4.4.2)；

(4.4.2)、选取此字符铰接框的下一个字符检测框，按照步骤(4.4.1)所述方法进行相交判定与铰接，直到判断完所有的字符检测框；

(4.4.3)、当字符检测框B_i的中位线m′_i与所有的字符检测框都不相交时，则直接将字符检测框B_i更名为字符铰接框；

(4.4.4)、对于得到的字符铰接框，根据(4.4.1)铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合(3)中字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；

(4.5)、字符铰接框重排

(4.5.1)、确定字符串铰接框的水平顺序；

任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其记为字符串铰接框；同理按照步骤(4.4.4)所述方法得到此层的字符串铰接框内文本内容与水平顺序；

(4.5.2)、确定字符串铰接框的垂直顺序；

根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；

(4.5.3)、重排

根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W₁,W₂,W₃,…,W_i,…,W_N}，其中，W_i为车牌第i层的文本内容。

Images