CN112308061A - 一种车牌字符排序方法、识别方法及装置 - Google Patents

一种车牌字符排序方法、识别方法及装置 Download PDF

Info

Publication number
CN112308061A
CN112308061A CN202011318024.3A CN202011318024A CN112308061A CN 112308061 A CN112308061 A CN 112308061A CN 202011318024 A CN202011318024 A CN 202011318024A CN 112308061 A CN112308061 A CN 112308061A
Authority
CN
China
Prior art keywords
license plate
character
rectangular frame
characters
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011318024.3A
Other languages
English (en)
Other versions
CN112308061B (zh
Inventor
邓练兵
余大勇
方文佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202011318024.3A priority Critical patent/CN112308061B/zh
Publication of CN112308061A publication Critical patent/CN112308061A/zh
Application granted granted Critical
Publication of CN112308061B publication Critical patent/CN112308061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种车牌字符排序方法、识别方法及装置，字符排序方法包括：收集车牌图片；对收集的车牌图片的字符进行位置标定形成n个字符区域矩形框；计算n个字符区域矩形框的平均宽度
Figure DDA0002790172500000011
及平均高度
Figure DDA0002790172500000012
按字符区域矩形框的中心位置坐标的水平方向x坐标升序排列；默认所有字符在第二行；计算任意相邻两个字符区域矩形框Ki和Kj的水平距离及垂直距离构造判别式；判断Kj和Ki是否在第一行，计算Ki－1，Ki的水平距离及垂直距离，判断Ki－1是否在Ki所在的行位置；串联第一行和第二行的字符，输出车牌号。这种车牌字符排序方法，可以对不只有一行字符的车牌进行识别，并输出串联的车牌号，有效排除了位置异常的字符，提高车牌识别效果。

Description

一种车牌字符排序方法、识别方法及装置
技术领域
本发明涉及车牌识别技术领域，具体涉及一种车牌字符排序方法、识别方法及装置。
背景技术
由于车牌形式的多样化，有一些车牌的字符不再只有一行，在车牌字符可能为一行或两行的情况下，现有技术中基于序列标签训练的深度学习方法不再有效，车牌识别算法受到限制。因此，如何实现车牌字符不只在一行上的车牌的识别是目前亟需解决的技术问题。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的车牌识别方法难以对不只有一行字符的车牌进行识别的缺陷，从而提供一种车牌字符排序方法。
为解决上述技术问题，本发明的技术方案如下：
第一方面，一种车牌字符排序方法，包括：
收集车牌图片；
采用矩形框对收集的所述车牌图片的字符进行位置标定，形成n个字符区域矩形框；
计算n个字符区域矩形框的平均宽度
Figure BDA0002790172480000011
及平均高度
Figure BDA0002790172480000012
按字符区域矩形框的中心位置坐标的水平方向x坐标升序排列；记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标；
默认所有字符在第二行；
计算任意相邻两个字符区域矩形框Ki和Kj的水平距离Δwi,j＝xj-xi及垂直距离Δhi,j＝yj-yi(i＝1，2，...，n－1，j＝i+1)，构造判别式；
Figure BDA0002790172480000021
Figure BDA0002790172480000022
其中，P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行；
计算Ki－1，Ki的水平距离Δwi-1,i＝xi-xi-1及垂直距离Δhi-1,i＝yi-yi-1，(i＝1，2，...，n－1，j＝i+1)，计算P；若P＜0.7，则Ki－1在Ki所在的行位置；
串联第一行和第二行的字符，输出车牌字符。
第二方面，一种车牌字符识别方法，包括：
获取车辆图片；
采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；
根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；
采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；
采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；
采用上述所述的车牌字符排序方法对多个所述字符区域矩形框进行排序；
根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
进一步地，所述采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框的步骤中，以带有车牌的车辆图片中车牌左上角的角点为起始点按顺时针或逆时针方向形成车牌区域矩形框。
进一步地，所述预先训练的LPS/CR－NET网络模型的训练步骤包括：
构建车牌数据集；
基于所述车牌数据集C训练LPS/CR－NET字符分割与识别的网络模型结构，并在车牌图片中定位各个字符的位置并识别各个字符；
根据包含多张车牌测试图片的车牌测试集对LPS/CR－NET的各训练模型进行网络测试，计算各个LPS/CR－NET网络模型权重文件的车牌识别准确率，保留正确率表现最高的LPS/CR－NET网络模型权重文件。
第三方面，一种车牌字符排序装置，包括：
采集模块，用于采集车牌图片；
字符框标定模块，用于采用矩形框对所述车牌图片的各个字符分别进行位置标定，形成n个字符区域矩形框；
第一计算模块，用于计算n个字符区域矩形框的平均宽度
Figure BDA0002790172480000031
及平均高度
Figure BDA0002790172480000032
排列模块，用于根据n个字符区域矩形框的中心位置坐标的水平方向x坐标，对n个字符区域矩形框进行升序排列；
第二计算模块，用于计算任意相邻两个字符区域矩形框的水平距离及垂直距离；
第一判断模块，用于根据所述第二计算模块得到的计算结果及预先设置的判别式，判断字符区域矩形框所在行数；
第三计算模块，计算已经确定所在行数的字符区域矩形框字符区域矩形框和与其相邻的前一个字符区域矩形框的水平距离及垂直距离；
第二判断模块，用于根据所述第三计算模块得到的计算结构及预先设置的判别式，判断已确定所在行数的字符区域矩形框的前一个字符区域矩形框的行数；
输出模块，用于串联第一行和第二行的字符并输出车牌号。
进一步地，所述预先设置的判别式为：
Figure BDA0002790172480000041
Figure BDA0002790172480000042
其中，记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标；P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行。
第四方面，一种车牌字符识别装置，包括：
获取模块，用于获取车辆图片；
车牌标定模块，用于采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；
车牌截取模块，用于根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；
车牌字符标定模块，用于采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；
车牌字符识别模块，通过预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；
车牌字符排序模块，通过上述权利要求1中所述的车牌字符排序方法对多个所述字符区域矩形框进行排序；
车牌字符输出模块，根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
第五方面，一种电子设备，包括：存储器、处理器以及储存在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的车牌字符排序方法或如上所述的车牌字符识别方法。
第六方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如上所述的车牌字符排序方法或如上所述的车牌字符识别方法。
本发明技术方案，具有如下优点：
1.本发明提供的车牌字符排序方法，先采用矩形框对车牌图片中的各个字符进行位置标定，分割形成n个相互独立的字符区域矩形框，然后按照字符区域矩形框的中心位置坐标的水平坐标对n个字符区域矩形框进行升序排序，接着根据字符区域矩形框的平均宽度、垂直距离和字符区域矩形框的平均高度之间的关系，判断相应的字符区域矩形框是否移到第一行，再判断位于第一行的字符区域矩形框的前一个字符区域矩形框是否在第一行，最后串联位于第一行和第二行的字符，输出车牌号。这种车牌字符排序方法可以在车牌字符可能为一行或两行的情况下有效地进行车牌字符识别，最终输出的是串联起来的车牌号，而不是各个孤立的字符，同时也有效排除了位置异常的字符及提高车牌识别效果。
2.本发明提供的车牌字符识别方法，先从车牌图片中截取车牌图片，再从车牌图片上截取字符区域，然后采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；之后采用上述实施例所述的车牌字符排序方法对车牌字符进行排序，最后输出串联的车牌号。这种车牌字符识别方法不仅能有效识别车牌上的字符，而且可以输出串联的车牌号，而不是输出各个孤立的字符，可以实现车牌字符位于一行或两行情况下的车牌字符识别，同时还有效排除了位置异常的字符及提高车牌识别效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的车牌字符排序方法的实现流程图；
图2为本发明实施例二提供的车牌字符识别方法的实现流程图；
图3为本发明实施例中Yolov3－tiny车牌目标检测网络训练模型图；
图4为本发明实施例中LPS/CR－NET字符分割识别网络模型的结构图；
图5为本发明实施例三提供的车牌字符排序装置的结构示意图；
图6为本发明实施例四提供的车牌字符识别装置的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，如图1所示的一种车牌字符排序方法，应用于车牌字符位于一行或两行的车牌识别应用场景中，具体包括以下步骤：
步骤S10，收集车牌图片。具体的，可以直接收集车牌字符有两行的车牌图片，或者从车牌字符有两行的车辆图片中的截取车牌图片，考虑到内地车牌字符有两行的车牌较少，为有效识别出车牌字符有两行的车牌，同时收集香港、澳门的车牌，收集的车牌中除了包括两行字符的车牌之外，还收集仅有一行字符的车牌，以提高车牌识别效果。
步骤S20，采用矩形框对收集的所述车牌图片的字符进行位置标定，形成n个字符区域矩形框。具体的，在标定车牌图片上的字符区域矩形框的过程中，以车牌图片中字符区域左上角的角点为起始点按顺时针或逆时针方向形成字符区域矩形框。
步骤S30，计算n个字符区域矩形框的平均宽度
Figure BDA0002790172480000061
及平均高度
Figure BDA0002790172480000062
步骤S40，按字符区域矩形框的中心位置坐标的水平方向x坐标升序排列。记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标，n为大于1的正整数。
步骤S50，默认所有字符在第二行。
步骤S60，计算任意相邻两个字符区域矩形框Ki和Kj的水平距离Δwi,j＝xj-xi及垂直距离Δhi,j＝yj-yi(i＝1，2，...，n－1，j＝i+1)，构造判别式：
Figure BDA0002790172480000071
Figure BDA0002790172480000072
其中，P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行；
步骤S70，计算Ki－1，Ki的水平距离Δwi-1,i＝xi-xi-1及垂直距离Δhi-1,i＝yi-yi-1，(i＝1，2，...，n－1，j＝i+1)，计算P；若P＜0.7，则Ki－1在Ki所在的行位置。
步骤S80，串联第一行和第二行的字符，输出车牌字符。
这种车牌字符排序方法，先采用矩形框对车牌图片中的各个字符进行位置标定，分割形成n个相互独立的字符区域矩形框，然后按照字符区域矩形框的中心位置坐标的水平坐标对n个字符区域矩形框进行升序排序，接着根据字符区域矩形框的平均宽度、垂直距离和字符区域矩形框的平均高度之间的关系，判断相应的字符区域矩形框是否移到第一行，再判断位于第一行的字符区域矩形框的前一个字符区域矩形框是否在第一行，最后串联位于第一行和第二行的字符，输出车牌号。这种车牌字符排序方法可以在车牌字符可能为一行或两行的情况下有效地进行车牌字符识别，最终输出的是串联起来的车牌号，而不是各个孤立的字符，同时也有效排除了位置异常的字符及提高车牌识别效果。
实施例二，如图2所示的一种车牌字符识别方法，具体包括如下步骤：
步骤B10，获取车辆图片。
步骤B20，采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框。
步骤B30，根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片。
步骤S40，采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框。具体的，以带有车牌的车辆图片中车牌左上角的角点为起始点按顺时针或逆时针方向形成车牌区域矩形框。
步骤B50，采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果。
步骤B60，采用上述实施例一中所述的车牌字符排序方法对多个所述字符区域矩形框进行排序。
步骤B70，根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
这种车牌字符识别方法，先从车牌图片中截取车牌图片，再从车牌图片上截取字符区域，然后采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；之后采用上述实施例所述的车牌字符排序方法对车牌字符进行排序，最后输出串联的车牌号。这种车牌字符识别方法不仅能有效识别车牌上的字符，而且可以输出串联的车牌号，而不是输出各个孤立的字符，可以实现车牌字符位于一行或两行情况下的车牌字符识别，同时还有效排除了位置异常的字符及提高车牌识别效果。
具体的，步骤B50中所述预先训练的LPS/CR－NET网络模型的训练步骤包括：
步骤B501，构建车牌数据集。
步骤B502，基于所述车牌数据集训练LPS/CR－NET字符分割与识别的网络模型结构，并在车牌图片中定位各个字符的位置并识别各个字符。
步骤B503，根据包含多张车牌测试图片的车牌测试集对LPS/CR－NET的各训练模型进行网络测试，计算各个LPS/CR－NET网络模型权重文件的车牌识别准确率，保留正确率表现最高的LPS/CR－NET网络模型权重文件。
具体的，这种车牌字符识别方法，先采用基于卷积神经网络对车牌识别模型进行训练，车牌识别模型的训练过程主要包括两个阶段：1)训练阶段，2)测试阶段。
在训练阶段，先基于车牌车辆数据集训练yolov3－tiny目标检测网络，实现在车辆图片中定位车牌区域；然后，基于车牌数据集训练LPS/CR－NET字符分割与识别的目标检测网络，实现在车牌图像块中定位各字符块位置及识别各字符。
在测试阶段，首先利用车牌车辆测试集对yolov3－tiny的各训练模型进行精度计算，然后保留精度最好的yolov3－tiny模型权重文件；其次，利用车牌测试集对LPS/CR－NET的各训练模型进行精度评定，初步确定精度较好的几个权重模型；然后基于yolov3－tiny的双车牌检测结果和字符排序算法，计算各个初步确定的LPS/CR－NET模型权重下车辆图片的双车牌识别正确率和精度，保留正确率表现最高的LPS/CR－NET模型权重。与现有技术相比，所提出的算法已经表现出显著的性能改进。
这种算法采用轻量yolov3－tiny进行车辆的双车牌检测，为电子围网监控视频的车牌识别提供了一个快速、高效的车牌定位方法，同时构造的车牌字符排序方法综合考虑了带有双行字符的车牌字符排序问题、字符位置异常问题，有效提高了双车牌识别精度。
在基于车牌车辆数据集训练yolov3－tiny网络模型结构和基于车牌数据集训练LPS/CR－NET字符分割与识别的网络模型结构，并最终确定正确率表现最高的LPS/CR－NET网络模型权重文件的操作流程如下：
A)将车牌车辆数据集和车牌数据集中的数据均转为标准YOLO系列常用的数据格式；
B)分别采用K－means聚类算法获取各自的anchor锚定值；
C)Yolov3－tiny车牌目标检测网络训练，网络结构如图3所示；
D)Yolov3－tiny网络测试，计算车辆图片的车牌正确检出率，确定模型权重，其中车牌正确检出率LPobj_accuracy表示为：
Figure BDA0002790172480000101
ncorrect表示车辆被成功检出所有车牌的车辆图片数，Npicture表示车辆图片总数。
E)LPS/CR－NET字符分割识别网络训练，网络结构如图4所示；
F)LPS/CR－NET网络测试，计算车牌字符完全分割识别准确率，初步筛选模型权重，车牌字符完全分割识别准确率LPCH_accutacy表示为：
Figure BDA0002790172480000102
其中，ncorrect表示车牌图片中所有字符全部成功识别的车牌数，Npicture表示车牌图片总数。
G)联合Yolov3－tiny网络确定LPS/CR－NET网络模型权重。首先，通过Yolov3－tiny网络检测出车牌区域；然后将检测出的车牌区域输入到LPS/CR－NET进行字符分割与识别；对字符分割识别结果进行字符排序，输出车牌号；若车牌预测框与真值的IoU大于0.5且车牌号一致，则该车牌预测识别成功；再者，若车辆中的所有车牌识别成功，则该车辆图片识别成功；计算车辆图片识别正确率。确定正确率最高的LPS/CR－NET网络模型权重。
在模型训练过程中，Yolov3－tiny采用本项目制作的车辆图片数据集进行双车牌目标检测，网络训练阶段共迭代100000次，图片输入大小为416＊416，batch批尺寸8，权重损失参数为5e－4，动量为0.9，学习率初始化为0.001，33000、66000次迭代后衰减为0.0001、0.00001，两个yolos输出层的anchors参数如下所示；
#16
【yolo】
mask＝5，6，7，8，9
anchors＝65，27，54，44，80，38，79，53，105，46，113，36，132，46，104，62，131，58，134，80；
#23
【yolo】
mask＝0，1，2，3，4
anchors＝65，27，54，44，80，38，79，53，105，46，113，36，132，46，104，62，131，58，134，80。
LPS/CR－NET采用本项目制作的车牌图片数据集进行字符分割与识别，网络训练阶段共迭代60000次，图片输入大小为240＊80，batch批尺寸32，权重损失参数为5e－4，动量为0.9，学习率初始化为0.001，100、48000、54000次迭代后分别为0.01、0.001、0.0001，region输出层的anchors参数如下所示；
【region】
anchors＝2.9195，5.2152，3.6705，4.3885，5.7145，3.5746，4.3904，4.8669，3.7476，5.7960。
在测试过程中，在Python版本3.6进行，Python版本3.6安装有以下模块，pytorch，opencv，numpy，os，time，pickle，xml，imutils等。Windows操作系统。配置了Windows环境下的Darknet配置。由于Yolov3－tiny和LPS/CR－NET都是yolo系列目标检测网络算法，因此采用darknet配置环境实现这两个网络的训练。
为了对检测结果进行定量的精度评价，主要采用车牌的precision、recall、accuracy作为评价指标来进行评价。召回率recall和准确率precision的计算公式如下：
Figure BDA0002790172480000111
Figure BDA0002790172480000112
其中，TPi表示第i张图片正确识别的车牌个数，FPi表示第i张表示第i张图片误识别的车牌数据个数，TNi表示第i张图片漏检测的车牌数据个数。
Accuracy则定义为：
Figure BDA0002790172480000121
其中，ncorrect表示车牌图片中所有字符全部成功识别的车牌数，Npicture表示车牌图片总数。
Figure BDA0002790172480000122
实施例三，如图5所示还提供了一种车牌字符排序装置，包括采集模块10、字符框标定模块20、第一计算模块30、排列模块40、第二计算模块50、第一判断模块60、第三计算模块70、第二判断模块80和输出模块90。其中，采集模块10用于采集车牌图片；字符框标定模块20用于采用矩形框对所述车牌图片的各个字符分别进行位置标定，形成n个字符区域矩形框；第一计算模块30用于计算n个字符区域矩形框的平均宽度
Figure BDA0002790172480000123
及平均高度
Figure BDA0002790172480000124
排列模块40用于根据n个字符区域矩形框的中心位置坐标的水平方向x坐标，对n个字符区域矩形框进行升序排列，n为大于1的正整数；第二计算模块50用于计算任意相邻两个字符区域矩形框的水平距离及垂直距离；第一判断模块60用于根据所述第二计算模块得到的计算结果及预先设置的判别式，判断字符区域矩形框所在行数；第三计算模块70计算已经确定所在行数的字符区域矩形框字符区域矩形框和与其相邻的前一个字符区域矩形框的水平距离及垂直距离；第二判断模块80用于根据所述第三计算模块得到的计算结构及预先设置的判别式，判断已确定所在行数的字符区域矩形框的前一个字符区域矩形框的行数；输出模块90用于串联第一行和第二行的字符并输出车牌号。
这种车牌字符排序装置，采用上述实施例一所述的车牌字符排序方法，先采用字符框标定模块20对车牌图片中的各个字符进行位置标定，分割形成n个相互独立的字符区域矩形框，然后通过第一计算模块30计算n个字符区域矩形框的平均宽度
Figure BDA0002790172480000133
及平均高度
Figure BDA0002790172480000134
接着排列模块40按照字符区域矩形框的中心位置坐标的水平坐标对n个字符区域矩形框进行升序排序；再着第二计算模块50和第一判断模块60根据字符区域矩形框的平均宽度、垂直距离和字符区域矩形框的平均高度之间的关系，判断相应的字符区域矩形框是否移到第一行，再通过第三计算模块70和第二判断模块80判断位于第一行的字符区域矩形框的前一个字符区域矩形框是否在第一行，最后输出模块90串联位于第一行和第二行的字符，输出车牌号。这种车牌字符排序装置可以在车牌字符可能为一行或两行的情况下有效地进行车牌字符识别，最终输出的是串联起来的车牌号，而不是各个孤立的字符，同时也有效排除了位置异常的字符及提高车牌识别效果。
所述预先设置的判别式为：
Figure BDA0002790172480000131
Figure BDA0002790172480000132
其中，记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标；P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行。
实施例四，如图6所示的一种车牌字符识别装置，包括获取模块100、车牌标定模块200、车牌截取模块300、车牌字符标定模块400、车牌字符识别模块500、车牌字符排序模块600、车牌字符输出模块700。其中，获取模块100用于获取车辆图片；车牌标定模块200用于采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；车牌截取模块300用于根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；车牌字符标定模400用于采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；车牌字符识别模块500通过预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；车牌字符排序模块600通过上述实施例一所述的车牌字符排序方法对多个所述字符区域矩形框进行排序；车牌字符输出模块700用于根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
实施例五，一种电子设备，包括：存储器、处理器以及储存在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例一所述的车牌字符排序方法或实施例二中所述的车牌字符识别方法。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车牌字符排序方法或车牌字符识别方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车牌字符排序方法或车牌字符识别方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种车牌字符排序方法，其特征在于，包括：
收集车牌图片；
采用矩形框对收集的所述车牌图片的字符进行位置标定，形成n个字符区域矩形框；
计算n个字符区域矩形框的平均宽度
Figure FDA0002790172470000013
及平均高度
Figure FDA0002790172470000014
按字符区域矩形框的中心位置坐标的水平方向x坐标升序排列；记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标；
默认所有字符在第二行；
计算任意相邻两个字符区域矩形框Ki和Kj的水平距离Δwi,j＝xj-xi及垂直距离Δhi,j＝yj-yi(i＝1，2，...，n－1，j＝i+1)，构造判别式；
Figure FDA0002790172470000011
Figure FDA0002790172470000012
其中，P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行；
计算Ki－1，Ki的水平距离Δwi-1,i＝xi-xi-1及垂直距离Δhi-1,i＝yi-yi-1，(i＝1，2，...，n－1，j＝i+1)，计算P；若P＜0.7，则Ki－1在Ki所在的行位置；
串联第一行和第二行的字符，输出车牌字符。
2.一种车牌字符识别方法，其特征在于，包括：
获取车辆图片；
采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；
根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；
采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；
采用预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；
采用上述权利要求1中所述的车牌字符排序方法对多个所述字符区域矩形框进行排序；
根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
3.根据权利要求2所述的车牌字符识别方法，其特征在于，所述采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框的步骤中，以带有车牌的车辆图片中车牌左上角的角点为起始点按顺时针或逆时针方向形成车牌区域矩形框。
4.根据权利要求2所述的车牌字符识别方法，其特征在于，所述预先训练的LPS/CR－NET网络模型的训练步骤包括：
构建车牌数据集；
基于所述车牌数据集C训练LPS/CR－NET字符分割与识别的网络模型结构，并在车牌图片中定位各个字符的位置并识别各个字符；
根据包含多张车牌测试图片的车牌测试集对LPS/CR－NET的各训练模型进行网络测试，计算各个LPS/CR－NET网络模型权重文件的车牌识别准确率，保留正确率表现最高的LPS/CR－NET网络模型权重文件。
5.一种车牌字符排序装置，其特征在于，包括：
采集模块，用于采集车牌图片；
字符框标定模块，用于采用矩形框对所述车牌图片的各个字符分别进行位置标定，形成n个字符区域矩形框；
第一计算模块，用于计算n个字符区域矩形框的平均宽度
Figure FDA0002790172470000021
及平均高度
Figure FDA0002790172470000022
排列模块，用于根据n个字符区域矩形框的中心位置坐标的水平方向x坐标，对n个字符区域矩形框进行升序排列；
第二计算模块，用于计算任意相邻两个字符区域矩形框的水平距离及垂直距离；
第一判断模块，用于根据所述第二计算模块得到的计算结果及预先设置的判别式，判断字符区域矩形框所在行数；
第三计算模块，计算已经确定所在行数的字符区域矩形框字符区域矩形框和与其相邻的前一个字符区域矩形框的水平距离及垂直距离；
第二判断模块，用于根据所述第三计算模块得到的计算结构及预先设置的判别式，判断已确定所在行数的字符区域矩形框的前一个字符区域矩形框的行数；
输出模块，用于串联第一行和第二行的字符并输出车牌号。
6.根据权利要求5所述的车牌字符排序装置，其特征在于，所述预先设置的判别式为：
Figure FDA0002790172470000031
Figure FDA0002790172470000032
其中，记第i个字符区域矩形框为Ki，i＝＝1，...，n；xi为Ki的中心点的水平方向x坐标；P>0.8且Δhi,j<0，则将Kj在第一行；若P＞0.8且Δhi,j≥0，则将Ki在第一行。
7.一种车牌字符识别装置，其特征在于，包括：
获取模块，用于获取车辆图片；
车牌标定模块，用于采用矩形框对车辆图片中的车牌的位置进行位置标定，得到车牌区域矩形框；
车牌截取模块，用于根据所述车牌区域矩形框，从所述车辆图片中截取车牌图片；
车牌字符标定模块，用于采用矩形框对所述车牌图片中的多个字符分别进行位置标注，得到多个字符区域矩形框；
车牌字符识别模块，通过预先训练的LPS/CR－NET网络模型识别每个所述字符区域矩形框内的字符的类别，得到字符类别识别结果；
车牌字符排序模块，通过上述权利要求1中所述的车牌字符排序方法对多个所述字符区域矩形框进行排序；
车牌字符输出模块，根据所述字符区域矩形框的排序结果和每一个所述字符区域矩形框内的字符类别识别结果，输出车牌号。
8.一种电子设备，其特征在于，包括：存储器、处理器以及储存在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的车牌字符排序方法或权利要求2－4中任意一项所述的车牌字符识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1所述的车牌字符排序方法或权利要求2－4中任意一项所述的车牌字符识别方法。
CN202011318024.3A 2020-11-20 2020-11-20 一种车牌字符识别方法及装置 Active CN112308061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318024.3A CN112308061B (zh) 2020-11-20 2020-11-20 一种车牌字符识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318024.3A CN112308061B (zh) 2020-11-20 2020-11-20 一种车牌字符识别方法及装置

Publications (2)

Publication Number Publication Date
CN112308061A true CN112308061A (zh) 2021-02-02
CN112308061B CN112308061B (zh) 2022-04-05

Family

ID=74335489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318024.3A Active CN112308061B (zh) 2020-11-20 2020-11-20 一种车牌字符识别方法及装置

Country Status (1)

Country Link
CN (1) CN112308061B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723408A (zh) * 2021-11-02 2021-11-30 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质
CN113723408B (zh) * 2021-11-02 2022-02-25 上海仙工智能科技有限公司 一种车牌识别方法及其系统、可读存储介质

Also Published As

Publication number Publication date
CN112308061B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN107944450B (zh) 一种车牌识别方法及装置
US8792722B2 (en) Hand gesture detection
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
US11288548B2 (en) Target detection method and apparatus, and computer device
US20120027263A1 (en) Hand gesture detection
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN109598298B (zh) 图像物体识别方法和系统
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
CN111046746A (zh) 一种车牌检测方法及装置
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN113011435A (zh) 目标对象的图像处理方法、装置及电子设备
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN112308061B (zh) 一种车牌字符识别方法及装置
CN110826364B (zh) 一种库位识别方法及装置
JP7396076B2 (ja) 番号認識装置、方法及び電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant