CN113792739B - 一种通用型车牌文本识别方法 - Google Patents

一种通用型车牌文本识别方法 Download PDF

Info

Publication number
CN113792739B
CN113792739B CN202110980563.1A CN202110980563A CN113792739B CN 113792739 B CN113792739 B CN 113792739B CN 202110980563 A CN202110980563 A CN 202110980563A CN 113792739 B CN113792739 B CN 113792739B
Authority
CN
China
Prior art keywords
character
license plate
frame
layer
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110980563.1A
Other languages
English (en)
Other versions
CN113792739A (zh
Inventor
康波
秦传鉴
郑登梅
李云霞
王冰峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110980563.1A priority Critical patent/CN113792739B/zh
Publication of CN113792739A publication Critical patent/CN113792739A/zh
Application granted granted Critical
Publication of CN113792739B publication Critical patent/CN113792739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种通用型车牌文本识别方法，首先将车牌图片传入训练完成的基于四边形检测框的车牌字符检测网络，得到相应车牌中的字符检测框；接着再将字符检测框依次输入至训练完成的车牌字符识别网络，得到框内的字符信息；然后对得到的车牌文本进行语义恢复，即基于空间坐标的字符铰接与重排算法，得到完整正序的车牌文本内容；最后通过字典过滤算法，删除非车牌规范的文本内容，得到准确的车牌信息。

Description

一种通用型车牌文本识别方法
技术领域
本发明属于车牌文本识别技术领域，更为具体地讲，涉及一种通用型车牌文本识别方法。
背景技术
在计算机视觉中的车牌文本识别领域，目前多使用自然场景文本识别(STR)，其通过对图片中的文本进行检测，再将检出文本进行识别，二者串联起来即为完整的STR任务。相比目前应用成熟的光学字符文本识别仅对于文档文本检测识别，自然场景文本识别模型具有复杂光照、遮挡、立体、多视角、字体等优化，即具备对真实场景的处理能力。
Wenhao He等人对现有的目标检测网络进行了定义，将现有目标检测网络分为间接回归和直接回归两种类型。间接回归目标检测模型为大多数基于CNN的目标检测模型像RCNN系列、SSD、Multi-Box等，模型的回归任务通过预测proposal和groundtruth的偏置完成。直接回归检测模型跳过proposal部分，直接对某点输出对目标坐标或形状的预测，可以以相对该点的偏置形式输出。其提出的检测框生成方案区别于基于anchor的回归方法，而是将测框定义为四个顶点相对中心点的偏移。Minghui Liao等人首先设计了两种boundingbox的表达方式，分别是四边形和旋转矩形，然后对SSD目标检测模型做了一些修改，如更换卷积核尺寸、默认bounding box长宽比、困难样本挖掘中正负样本比例等，最后将CRNN作为文本识别模型，与SSD联合组成了端对端的文本识别模型。
但针对车牌文本检测识别场景，其具备不规则、不连续、语义强关联的特点。车牌文本字体形状、大小、颜色、排列等不规则，尤其对于复合双层车牌还应考虑上下位置，传统识别方法只能基于不同车牌类型进行单点调整，没有统一通用的识别模型。同时，车牌文本的语义信息极为关键，传统识别方法对于不同类型的车牌不能准确得到其文本内容，且车牌字符中存在的易错字符，即缺失车牌文本语义恢复与错误滤除，这也将影响最终识别结果。
发明内容
本发明的目的在于克服现有技术的不足，提供一种通用型车牌文本识别方法，适用包括单层、多层等在内的各种类型车牌，通用性较强，同时对存在角度倾斜的车牌图片也有较高的检测识别精度。
为实现上述发明目的，本发明一种通用型车牌文本识别方法，其特征在于，包括以下步骤：
(1)、车牌图片预处理；
车牌图片预处理：将原始车牌图片的四个边按比例扩张，保证原始车牌完整性；
(2)、搭建车牌文本识别网络；
(2.1)、搭建车牌字符检测网络；
保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；
(2.2)、搭建车牌字符识别网络；
搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；
其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；
全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；
输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；
(3)、获取车牌字符检测框与框内字符信息；
将预处理完成后的车牌图片输入至车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为Bi，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至车牌字符识别网络，得到框内的字符信息；
(4)、车牌文本语义恢复；
(4.1)、标记车牌图片的字符检测框；
将每个字符检测框按四个顶点坐标的左上顶点为起始点，顺时针进行坐标标记，其中，Bi的坐标标记为：{(xi1,yi1),(xi2,yi2),(xi3,yi3),(xi4,yi4)}；
(4.2)、标记各字符检测框的中位线与边界；
以字符检测框Bi的顶点(xi1,yi1)与(xi4,yi4)的连线构成左边界，记为li；
以字符检测框Bi的顶点(xi2,yi2)与(xi3,yi3)的连线构成右边界，记为ri；
然后取左边界中点为
Figure BDA0003228893170000031
与右边界中点为
Figure BDA0003228893170000032
的连线构成中位线mi，记中位线长度为|mi|，其中，|mi|的计算公式为：
Figure BDA0003228893170000033
(4.3)、延长中位线；
(4.3.1)、计算所有字符检测框的中位线的平均值
Figure BDA0003228893170000034
Figure BDA0003228893170000035
(4.3.2)、设置各字符检测框Bi的中位线缩放比为αi，且
Figure BDA0003228893170000036
γ为可调参数；
(4.3.3)、将各字符检测框Bi的中位线按照各自的缩放比在其左右各延长
Figure BDA0003228893170000037
比例，延长后中位线的左右顶点记为s′i与e′i；
Figure BDA0003228893170000038
Figure BDA0003228893170000039
(4.3.4)、以左顶点s′i与右顶点e′i的连线构成延长后的中位线，记为m′i；
(4.4)、字符铰接；
(4.4.1)、任取一个字符检测框Bi的中位线m′i，判定m′i与其中一个字符检测框的左边界lj或右边界rj是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界li’与ri’，并计算字符铰接框的延长后的中位线mi’；然后以字符铰接框的中位线mi’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤(4.4.2)；
(4.4.2)、判断m′i与下一个字符检测框是否相交，如果相交，则按照步骤(4.4.1)所述方法，进行相交后的处理，然后以此类推，直到判断完所有的字符检测框；
(4.4.3)、当字符检测框Bi的中位线m′i与所有的字符检测框都不相交时，则直接将字符检测框Bi更名为字符铰接框；
(4.4.4)、对于得到的字符铰接框，根据(4.4.1)铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合(3)中字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；
(4.5)、字符铰接框重排
(4.5.1)、确定字符串铰接框的水平顺序；
任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其记为字符串铰接框；同理按照步骤(4.4.4)所述方法得到此层的字符串铰接框内文本内容与水平顺序；
(4.5.2)、确定字符串铰接框的垂直顺序；
根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；
(4.5.3)、重排
根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W1,W2,W3,…,Wi,…,WN}，其中，Wi为车牌第i层的文本内容；
(5)、字典过滤；
(5.1)、建立车牌字典库；
建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；
(5.2)字典库匹配与过滤
遍历字符串铰接框集合T＝{W1,W2,W3,…,Wi,…,WN}，将每个元素Wi依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果；若T中字符串铰接框Wi与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，从而得到准确的车牌文本信息；若Wi与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。
本发明的发明目的是这样实现的：
本发明一种通用型车牌文本识别方法，首先将车牌图片传入训练完成的基于四边形检测框的车牌字符检测网络，得到相应车牌中的字符检测框；接着再将字符检测框依次输入至训练完成的车牌字符识别网络，得到框内的字符信息；然后对得到的车牌文本进行语义恢复，即基于空间坐标的字符铰接与重排算法，得到完整正序的车牌文本内容；最后通过字典过滤算法，删除非车牌规范的文本内容，得到准确的车牌信息。
同时，本发明一种通用型车牌文本识别方法还具有以下有益效果：
1、对于车牌字符的检测，本发明基于TextBoxes++模型构建车牌文本的字符检测模型，其字符检出框为四边形，能更好提高检测粒度，以更细的粒度完全包裹车牌字符目标，特别针对车牌图片存在倾斜情况，能提升检出车牌字符的完整性。对于车牌字符识别，本发明设计了全卷积神经网络的字符识别模型，其结构简单，计算量少；且基于车牌中字符偏瘦长特性，采用了3×1尺寸的不规则卷积核；同时采用Coarse-to-fine结构，先对前景(字符部分)与背景进行二分类，然后对判定为前景类别的部分进行字符的多分类，且引入了Focal损失函数以解决车牌字符样本的分布不均问题。
2、由于字符检测模型检出的字符只有空间几何信息，其相对顺序不确定，尤其对于复合双层车牌，存在上下层信息对应关系，需恢复出完整的语义信息。针对车牌文本具有的强的空间特征与语义信息，本发明设计了无监督的基于几何学的字符空间铰接与重排算法，其仅基于字符检测框坐标进行操作，具有速度快，占用空间小的特点，能较好地通用于单层，多层车牌，得到车牌字符的内部关系，恢复车牌语义信息。
3、考虑车牌文本误检情况，本专利先验地设置车牌字典，利用字典辅助筛选符合规范的文本，过滤删除错误内容，得到准确的车牌文本信息。通过上述字符铰接，重排与字典过滤，可对单层，多层等通用型车牌都恢复得到准确的车牌信息。
附图说明
图1是本发明一种通用型车牌文本识别方法流程图；
图2是车牌字符检测网络的结构图；
图3是车牌字符识别网络的结构图；
图4是IOU计算中四边形标定框外接矩形与矩形预选框示意图；
图5是车牌字符检测框的输出结果图；
图6是字符检测框的中位线与边界示意图；
图7是字符检测框中位线延长后示意图；
图8是字符铰接示意图；
图9是车牌字符铰接效果图，其中(a)为字符检测框中位线延长线对应其它框左右边界的相交情况，(b)为铰接完成后的得到的多个字符铰接框效果；
图10是字符重排示意图；
图11是本专利的通用型文本识别方法的结果图，其中(a)是传入的车牌原图，(b)是整体识别结果；
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
在本实施例中，如图1所示，本发明一种通用型车牌文本识别方法，包括以下步骤：
S1、车牌图片预处理；
车牌图片预处理：将原始车牌图片的四个边按比例扩张，尺寸大小为300*300，保证原始车牌完整性；
S2、搭建车牌文本识别网络；
车牌文本识别网络由车牌字符检测网络与车牌字符识别网络构成。
S2.1、搭建车牌字符检测网络；
本实施例基于TextBoxes++模型结构进行字符检测，如图2所示，首先保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；
S2.2、搭建车牌字符识别网络；
如图3所示，搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；
其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；
全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；
输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；
下面我们对车牌文本识别网络的训练进行描述，训练过程中选取基于S1预处理后两个通用的车牌数据集，记为第一车牌数据集和第二车牌数据集；
利用第一车牌数据集训练车牌字符检测网络；
1)、车牌图片字符标定
选取第一车牌数据集，并对其中的所有车牌的每个字符进行标定，将每个字符标定为四边形框，得到所有字符的标定框；记其中一个字符的四边形标定框为g＝(xg1,yg1,xg2,yg2,xg3,yg3,xg4,yg4)，其中，xg1,yg1,xg2,yg2,xg3,yg3,xg4,yg4为标定框四个顶点坐标，左上为起点，顺时针排布；
2)、特征层中预选框的生成；
将步骤1)中完成字符标定的第一车牌数据集输入至S2.1中车牌字符检测网络，在网络的每个特征层中依据各层尺度生成多个矩形预选框，其中，对于第i层特征层的第j个矩形预选框表示为(xij,yij,wij,hij)，xij,yij,wij,hij分别为此矩形预选框的中心点坐标与宽高；
利用如下公式计算此矩形预选框的四个顶点坐标，以左上的顶点为起点，顺时针排布，依次记为(xij1,yij1),(xij2,yij2),(xij3,yij3),(xij4,yij4)；
Figure BDA0003228893170000081
Figure BDA0003228893170000082
由此，得到第i层特征层的第j个矩形预选框，记为
d＝(xij,yij,wij,hij,xij1,yij1,xij2,yij2,xij3,yij3,xij4,yij4)
3)四边形标定框与矩形预选框的匹配
基于IOU对2)中生成的多个矩形预选框与1)中的车牌字符四边形标定框进行匹配；在本实施例中，如图4所示，为方便操作，此处IOU对应的车牌字符四边形标定框取其外接接矩形进行计算。
Figure BDA0003228893170000083
其中，A表示四边形标定框外接矩形内像素点的个数，B为矩形预选框内像素点的个数；
设定匹配的IOU阈值为IOUthreshold，如果满足IOU＞IOUthreshold，则表示矩形预选框表示匹配成功，可代入后续计算；否则，舍弃；
4)、特征层中字符预测框生成
在S2.1车牌字符检测网络的6层特征层中，根据3)将每个特征层中生成的预选框d与标定框g进行匹配，若匹配成功则在对应第i层特征层输出预选框d与标定框g四个顶点的偏差值与对应类别置信度，如下表示
(Δxi1,Δyi1,Δxi2,Δyi2,Δxi3,Δyi3,Δxi4,Δyi4,c)，i∈{1…6}
其中Δxi1,Δyi1,Δxi2,Δyi2,Δxi3,Δyi3,Δxi4,Δyi4为在i特征层匹配上的预选框d与标定框g四个顶点坐标差值，c为对应类别的置信度，再由如下公式，在第i层特征层中，从预选框d转换得到的预测框，记为q。
xqn＝xijn+wij×Δxin,n＝1,2,3,4
yqn＝yijn+hij×Δyin,n＝1,2,3,4
即预测框为q＝(xq1,yq1,xq2,yq2,xq3,yq3,xq4,yq4)，其中xq1,yq1,xq2,yq2,xq3,yq3,xq4,yq4为预测框四个顶点坐标,以左上的顶点为起点，顺时针排布。
5)、车牌字符检测网络损失函数
车牌字符检测网络的损失函数如下表示
Figure BDA0003228893170000091
其中，x为是否匹配的指示值，即依据3)匹配准则，若预选框与标定目标框匹配，则x＝1,不匹配则x＝0；c为分类置信度；q为预测框四个顶点坐标；g为标定框四个顶点坐标；分类损失Lconf采用Softmax损失函数；回归损失Lloc采用SmoothL1损失函数，α为比例系数，此处取值0.2；N为依据3)匹配成功的预选框个数。
6)、车牌字符检测框的输出
由车牌字符检测网络的6个特征层可得到不同尺度的预选框，接着依据3)对预测框进行匹配，再由4)得到各个特征层中的车牌预测框，然后代入5)损失函数进行学习与迭代，使得网络收敛。在6个特征层中均输出字符检测框，即车牌的每个字符会得到多个检测框，最后再利用NMS非极大抑制方法进行后处理，对每个字符得到唯一的检测框。
在本实施例中，得到各个车牌字符的检测框为四边形检测框，以更细的粒度完全包裹车牌字符目标，特别针对于有一定角度倾斜的车牌图片，能有效提升检出车牌字符的完整性，车牌字符检测效果如图5所示。
利用第二车牌数据集训练车牌字符识别网络；
首先将第二车牌数据集传入上述训练完成的车牌字符检测网络，得到第二车牌数据集中每个车牌的字符检测框。然后将这些字符检测框传入S2.2车牌字符识别网络。考虑到实际车牌号存在由A到Z逐次减少的情况，其使得前景字母样本中分部不均，即在前景背景二分类中使用Focal Loss的带调制交叉熵损失函数，以解决样本分布不均问题；在字符多分类中使用Softmax损失函数，反复迭代学习，直至网络收敛，得到训练完成的车牌字符识别网络。
S3、获取车牌字符检测框与框内字符信息；
将预处理完成后的车牌图片输入至S2.1车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为Bi，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至S2.2车牌字符识别网络，得到框内的字符信息；
S4、车牌文本语义恢复；
S4.1、标记车牌图片的字符检测框；
将S3中得到的每个字符检测框Bi按四个顶点坐标的左上顶点为起始点，顺时针进行坐标标记，即Bi的坐标标记为：{(xi1,yi1),(xi2,yi2),(xi3,yi3),(xi4,yi4)}；
S4.2、标记各字符检测框的中位线与边界；
如图6所示，以字符检测框Bi的顶点(xi1,yi1)与(xi4,yi4)的连线构成左边界，记为li；以字符检测框Bi的顶点(xi2,yi2)与(xi3,yi3)的连线构成右边界，记为ri；
然后取左边界中点为
Figure BDA0003228893170000101
与右边界中点为
Figure BDA0003228893170000102
的连线构成中位线mi，记中位线长度为|mi|，其中，|mi|的计算公式为：
Figure BDA0003228893170000103
S4.3、延长中位线；
S4.3.1、计算所有字符检测框的中位线的平均值
Figure BDA0003228893170000104
Figure BDA0003228893170000105
S4.3.2、设置各字符检测框Bi的中位线缩放比为αi，且
Figure BDA0003228893170000106
γ为可调参数，此处取值0.2；
S4.3.3、将各字符检测框Bi的中位线按照各自的缩放比在其左右各延长
Figure BDA0003228893170000107
比例，如图7所示，延长后中位线的左右顶点记为s′i与e′i；
Figure BDA0003228893170000111
Figure BDA0003228893170000112
S4.3.4、以左顶点s′i与右顶点e′i的连线构成延长后的中位线，记为m′i；
S4.4、字符铰接；
S4.4.1、任取一个字符检测框Bi的中位线m′i，判定m′i与其中一个字符检测框的左边界lj或右边界rj是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界li’与ri’，如图8所示，接着计算字符铰接框的延长后的中位线m铰接’；然后以字符铰接框的中位线m铰接’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤S4.4.2；
S4.4.2、选取此字符铰接框的下一个字符检测框，按照步骤S4.4.1所述方法进行相交判定与铰接，直到判断完所有的字符检测框；
S4.4.3、当字符检测框Bi的中位线m′i与所有的字符检测框都不相交时，则直接将字符检测框Bi更名为字符铰接框；
S4.4.4、对于得到的字符铰接框，根据S4.4.1铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合S3中车牌字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；
在本实施例中，字符铰接的效果图9所示，其中(a)为字符检测框中位线延长线对应其它框左右边界的相交情况，(b)为铰接完成后的得到的多个字符铰接框效果。
S4.5、字符重排
S4.5.1、确定字符串铰接框的水平顺序；
任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框参照S4.4再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其更名为字符串铰接框；同理按照步骤S4.4.4所述方法得到此层的字符串铰接框内文本内容与水平顺序；
S4.5.2、确定字符串铰接框的垂直顺序；
根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；
S4.5.3、重排
如图10所示，根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W1,W2,W3,…,Wi,…,WN}，其中，Wi为车牌第i层的文本内容；
S5、字典过滤；
考虑到完成语义恢复的车牌文本中存在不符合车牌规范的内容，本发明设计了车牌文本字典过滤算法，删除错误文本，只保留符合车牌文本规则的文本内容。
S5.1、建立车牌字典库；
建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；其中C1为“川”，“京”，“沪”等省份汉字，C2为A到Z字母区域编号，C3为A到Z字母，0到9数字和“学”，“警”等特殊字符组成的牌号。
S5.2、字典库匹配与过滤
遍历字符串铰接框集合T＝{W1,W2,W3,…,Wi,…,WN}，将每个元素Wi依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果。若T中字符串铰接框Wi与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，若Wi与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。由此可得到准确的车牌文本信息。
至此，对传入的车牌图片，首先由车牌字符检测网络与识别网络，得到单个字符信息，然后进行字符铰接与重排，恢复车牌文本语义，最后通过字典过滤删除错误内容，可得到准确的车牌文本信息。本专利通用型文本识别结果如图11所示，(a)为传入的原始车牌图片，(b)为经过字符检测，识别，语义恢复后的车牌文本输出结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种通用型车牌文本识别方法，其特征在于，包括以下步骤：
(1)、车牌图片预处理；
车牌图片预处理：将原始车牌图片的四个边按比例扩张，保证原始车牌完整性；
(2)、搭建车牌文本识别网络；
(2.1)、搭建车牌字符检测网络；
保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；
(2.2)、搭建车牌字符识别网络；
搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；
其中，对于卷积层B1与B2均采用三层卷积，且每层卷积后接池化操作，使用ReLu激活函数，最后加入Batch Normalization层；在B1、B2的第三层卷积中均采用3*1的卷积核；
全连接层C1与C2同样使用卷积形式，并采用3*3卷积核且保证输入输出通道相同；
输出层O1的输出通道为2，表示前景或背景；输出层O2的输出通道为76，表示车牌字符信息；
(3)、获取车牌字符检测框与框内字符信息；
将预处理完成后的车牌图片输入至车牌字符检测网络，从而得到标记每个车牌字符的字符检测框，记为Bi，i＝1,2,…,N，N表示车牌的字符个数；再将字符检测框依次输入至车牌字符识别网络，得到框内的字符信息；
(4)、车牌文本语义恢复；
首先根据检出的字符检测框的位置信息，无监督地将邻近的字符检测框进行“铰接”，形成字符铰接框；然后通过对各个字符铰接框坐标信息进行空间上的重排，遵循从左到右、从上到下的顺序，从而恢复出正序的车牌文本语义信息；
(5)、字典过滤；
(5.1)、建立车牌字典库；
建立车牌字典库，具体分为省份编号C1，区域编号C2，牌号C3的三个语料库；
(5.2)字典库匹配与过滤
遍历字符串铰接框集合T＝{W1,W2,W3,…,Wi,…,WN}，其中，Wi为车牌第i层的文本内容；将每个元素Wi依次与C1，C2，C3三个语料库进行匹配，并记录匹配结果；若T中字符串铰接框Wi与C1，C2，C3任一语料库匹配成功，则表明其符合车牌规范，从而得到准确的车牌文本信息；若Wi与三个语料库都不匹配，则其不符合车牌规范，进行过滤删除。
2.根据权利要求1所述的一种通用型车牌文本识别方法，其特征在于，所述步骤(4)中车牌文本语义恢复的具体过程为：
(4.1)、标记车牌图片的字符检测框；
将每个字符检测框按四个顶点坐标的右上顶点为起始点，顺时针进行坐标标记，其中，Bi的坐标标记为：{(xi1,yi1),(xi2,yi2),(xi3,yi3),(xi4,yi4)}；
(4.2)、标记各字符检测框的中位线与边界；
以字符检测框Bi的顶点(xi1,yi1)与(xi4,yi4)的连线构成左边界，记为li；
以字符检测框Bi的顶点(xi2,yi2)与(xi3,yi3)的连线构成右边界，记为ri；
然后取左边界中点为
Figure FDA0004117102200000021
与右边界中点为
Figure FDA0004117102200000022
的连线构成中位线mi，记中位线长度为|mi|，其中，|mi|的计算公式为：
Figure FDA0004117102200000023
(4.3)、延长中位线；
(4.3.1)、计算所有字符检测框的中位线的平均值
Figure FDA0004117102200000024
Figure FDA0004117102200000031
(4.3.2)、设置各字符检测框Bi的中位线缩放比为αi，且
Figure FDA0004117102200000032
γ为可调参数；
(4.3.3)、将各字符检测框Bi的中位线按照各自的缩放比在其左右各延长
Figure FDA0004117102200000033
比例，延长后中位线的左右顶点记为s′i与e′i；
Figure FDA0004117102200000034
Figure FDA0004117102200000035
(4.3.4)、以左顶点s′i与右顶点e′i的连线构成延长后的中位线，记为m′i；
(4.4)、字符铰接；
(4.4.1)、任取一个字符检测框Bi的中位线m′i，判定m′i与其中一个字符检测框的左边界lj或右边界rj是否相交，如果相交，则将这两个字符检测框对应顶点相连，形成字符铰接框，再标记字符铰接框的左右边界li’与ri’，并计算字符铰接框的延长后的中位线m铰接’；然后以字符铰接框的中位线m铰接’为基准，继续判断与下一个字符检测框是否相交，并以此类推，直到判断完所有的字符检测框；否则，进入步骤(4.4.2)；
(4.4.2)、选取此字符铰接框的下一个字符检测框，按照步骤(4.4.1)所述方法进行相交判定与铰接，直到判断完所有的字符检测框；
(4.4.3)、当字符检测框Bi的中位线m′i与所有的字符检测框都不相交时，则直接将字符检测框Bi更名为字符铰接框；
(4.4.4)、对于得到的字符铰接框，根据(4.4.1)铰接过程中中位线延长线与左或右边界的相交情况，判定字符铰接框内字符的前后顺序，再结合(3)中字符识别网络识别得到的字符检测框内字符信息，得到字符铰接框内的文本内容与正确的前后顺序；
(4.5)、字符铰接框重排
(4.5.1)、确定字符串铰接框的水平顺序；
任取一个字符铰接框，判定其延长后的中位线与其它字符铰接框的左边界或有边界是否相交，若相交，则认为这两个字符铰接框在同一层，并将这两个字符铰接框再次进行铰接，得到字符串铰接框；若无相交，表明此字符铰接框单独为一层，将其记为字符串铰接框；同理按照步骤(4.4.4)所述方法得到此层的字符串铰接框内文本内容与水平顺序；
(4.5.2)、确定字符串铰接框的垂直顺序；
根据不同层的字符串铰接框，计算各框垂直坐标，按顺序进行由上至下垂直方向的排布，再结合(3)中字符识别网络得到的字符检测框内字符信息，得到车牌不同层的文本内容与垂直顺序；
(4.5.3)、重排
根据车牌每一层文本的水平顺序与车牌不同层文本的垂直顺序，先按照从上至下、再按照从左至右顺序，得到各个字符串铰接框的顺序与其框内的内容，即为车牌的正序文本内容；最后将重排完成的字符串铰接框记为集合T＝{W1,W2,W3,…,Wi,…,WN}，其中，Wi为车牌第i层的文本内容。
CN202110980563.1A 2021-08-25 2021-08-25 一种通用型车牌文本识别方法 Active CN113792739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980563.1A CN113792739B (zh) 2021-08-25 2021-08-25 一种通用型车牌文本识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980563.1A CN113792739B (zh) 2021-08-25 2021-08-25 一种通用型车牌文本识别方法

Publications (2)

Publication Number Publication Date
CN113792739A CN113792739A (zh) 2021-12-14
CN113792739B true CN113792739B (zh) 2023-05-30

Family

ID=79182126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980563.1A Active CN113792739B (zh) 2021-08-25 2021-08-25 一种通用型车牌文本识别方法

Country Status (1)

Country Link
CN (1) CN113792739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346206B (zh) * 2022-10-20 2023-01-31 松立控股集团股份有限公司 基于改进超分辨的深度卷积特征识别的车牌检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354573A (zh) * 2015-12-15 2016-02-24 重庆凯泽科技有限公司 一种集装箱车牌识别方法及系统
CN105719488A (zh) * 2014-12-02 2016-06-29 杭州海康威视数字技术股份有限公司 车牌的识别方法、装置以及用于车牌识别的摄像机、系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418726B2 (ja) * 2004-10-01 2010-02-24 日本電信電話株式会社 文字列探索装置、探索方法およびこの方法のプログラム
CN101833859B (zh) * 2010-05-14 2012-05-23 山东大学 基于虚拟线圈的自触发车牌识别方法
CN102509112A (zh) * 2011-11-02 2012-06-20 珠海逸迩科技有限公司 车牌识别方法及其识别系统
CN108509954A (zh) * 2018-04-23 2018-09-07 合肥湛达智能科技有限公司 一种实时交通场景的多车牌动态识别方法
CN108898138A (zh) * 2018-05-30 2018-11-27 西安理工大学 基于深度学习的场景文本识别方法
CN109800762A (zh) * 2019-01-28 2019-05-24 安阳工学院 一种基于动态匹配因子的模糊车牌识别算法
CN111062408B (zh) * 2019-10-23 2023-04-18 杭州云栖智慧视通科技有限公司 一种基于深度学习的模糊车牌图像超分辨率重建方法
CN112329758B (zh) * 2020-11-04 2024-09-20 深圳市极致科技股份有限公司 基于车牌的模糊匹配方法、装置，电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719488A (zh) * 2014-12-02 2016-06-29 杭州海康威视数字技术股份有限公司 车牌的识别方法、装置以及用于车牌识别的摄像机、系统
CN105354573A (zh) * 2015-12-15 2016-02-24 重庆凯泽科技有限公司 一种集装箱车牌识别方法及系统

Also Published As

Publication number Publication date
CN113792739A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN111914834A (zh) 图像识别方法、装置、计算机设备和存储介质
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN107680113A (zh) 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN107273870A (zh) 一种监控场景下融合上下文信息的行人位置检测方法
CN116664643B (zh) 基于SuperPoint算法的铁路列车图像配准方法及设备
CN110929621B (zh) 一种基于拓扑信息细化的道路提取方法
CN107622239A (zh) 一种层次化局部结构约束的遥感图像指定建筑区检测方法
CN115862045B (zh) 基于图文识别技术的病例自动识别方法、系统、设备及存储介质
CN115565043A (zh) 结合多表征特征以及目标预测法进行目标检测的方法
CN113792739B (zh) 一种通用型车牌文本识别方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN113903043A (zh) 一种基于孪生度量模型的印刷汉字字体识别方法
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN110414386B (zh) 基于改进scnn网络的车道线检测方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN114937153B (zh) 弱纹理环境下基于神经网络的视觉特征处理系统及方法
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN107766838B (zh) 一种视频场景切换检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant