CN112560856A - 车牌检测识别方法、装置、设备及存储介质 - Google Patents

车牌检测识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112560856A
CN112560856A CN202011508949.4A CN202011508949A CN112560856A CN 112560856 A CN112560856 A CN 112560856A CN 202011508949 A CN202011508949 A CN 202011508949A CN 112560856 A CN112560856 A CN 112560856A
Authority
CN
China
Prior art keywords
target candidate
license plate
frame
candidate frame
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011508949.4A
Other languages
English (en)
Other versions
CN112560856B (zh
Inventor
陈庆伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Shenzhen Saiante Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Saiante Technology Service Co Ltd filed Critical Shenzhen Saiante Technology Service Co Ltd
Priority to CN202011508949.4A priority Critical patent/CN112560856B/zh
Publication of CN112560856A publication Critical patent/CN112560856A/zh
Application granted granted Critical
Publication of CN112560856B publication Critical patent/CN112560856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车牌检测识别方法、装置、设备及存储介质，该方法包括：获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框；计算每个目标候选框与预设标注框的重合度；采用修正因子对重合度进行修正，获得修正结果；将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。通过上述方式，本发明能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。

Description

车牌检测识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种车牌检测识别方法、装置、设备及存储介质。
背景技术
随着现代科技的进步，道路交通、停车场所等相关车辆管理系统都朝着智能化和数字化的方向发展，作为这些系统智能化的一个重要核心，车牌自动识别系统起着至关重要的作用。
车牌自动识别中的首要任务就是车牌的检测。现有的检测方法有传统的特征提取(如HOG、LBP、SIFT等)以及基于深度学习的检测网络(如Faster RCNN、YOLO等)。但是传统的检测方法准确率低，且严重依赖于特征的设计，已逐渐被深度学习的检测网络所取代。基于深度学习的检测网络(如Faster RCNN、YOLO)中对于判定检测框最重要的指标IoU就是用于衡量检测框与标注框的差异。现有的IoU算法及其迭代版本GIoU、DIoU、CIoU只考虑检测框与标注框的交集，而并无考虑检测框与标注框之间的大小问题，这对于普通物体检测都有很好的效果，但对于车牌检测这一特定场景并非完美，当检测框偏小时，会导致车牌字符的边缘信息丢失，如“E”、“T”、“L”这类字符因丢失边缘信息而误识别为“F”、“1”、“1”，严重影响后续车牌的准确识别。
发明内容
本发明提供一种车牌检测识别方法、装置、设备及存储介质，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车牌检测识别方法，包括：
获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框；
计算每个所述目标候选框与预设标注框的重合度；
采用修正因子对所述重合度进行修正，获得修正结果；
将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框，当所述修正结果小于所述预设阈值时，删除所述目标候选框。
根据本发明的一个实施例，所述计算每个所述目标候选框与预设标注框的重合度的步骤包括：
计算所述目标候选框与所述预设标注框的交集的面积以及并集的面积；
计算所述交集的面积与所述并集的面积的比率，获得所述重合度。
根据本发明的一个实施例，所述采用修正因子对所述重合度进行修正，获得修正结果的步骤包括：
构造所述目标候选框与所述预设标注框的最小包围框；
计算所述目标候选框的面积与所述最小包围框的面积的比率，获得所述修正因子；
采用修正因子对所述重合度进行修正，获得所述修正结果。
根据本发明的一个实施例，在所述获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框的步骤之前，还包括：
采用图像识别方法对待检测图片进行识别，定位所述待检测图片中的车辆区域；
将所述车辆区域输入预训练的深度学习卷积神经网络中，对所述车辆区域进行特征提取和计算，生成一系列候选框以及所述候选框可能含有车牌区域的概率；
将所述概率与预设概率阈值进行比对，当所述概率大于或等于所述预设概率阈值时，将所述候选框确定为目标候选框并保留，当所述概率小于所述预设概率阈值时，删除所述候选框。
根据本发明的一个实施例，在所述采用图像识别方法对待检测图片进行识别，定位所述待检测图片中的车辆区域的步骤之前，还包括：
从采集的视频数据中获取一系列待检测图片；
对所述待检测图片进行降噪、锐化处理。
根据本发明的一个实施例，在所述将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框的步骤之后，还包括：
对所述目标候选框中的车牌区域进行字符分割，获得单独的字体块；
对所述字体块进行字符识别。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种车牌检测识别装置，包括：
获取模块，用于获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框；
计算模块，用于计算每个所述目标候选框与预设标注框的重合度；
修正模块，用于采用修正因子对所述重合度进行修正，获得修正结果；
比对模块，用于将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框，当所述修正结果小于所述预设阈值时，删除所述目标候选框。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的车牌检测识别方法。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述车牌检测识别方法的程序文件。
本发明的有益效果是：通过采用修正因子对重合度进行修正，关注目标候选框与预设标注框的大小问题，鼓励目标候选框往偏大的方向发展，相对于传统的IoU算法对目标候选框和预设标注框的大小无偏倚的现象，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
附图说明
图1是本发明第一实施例的车牌检测识别方法的流程示意图；
图2是本发明实施例中步骤S102的流程示意图；
图3是本发明实施例中步骤S103的流程示意图；
图4是本发明实施例中最小包围框的结构示意图；
图5是本发明第二实施例的车牌检测识别方法的流程示意图；
图6是本发明第三实施例的车牌检测识别方法的流程示意图；
图7是本发明第四实施例的车牌检测识别方法的流程示意图；
图8是本发明实施例的车牌检测识别装置的结构示意图；
图9是本发明实施例的计算机设备的结构示意图；
图10是本发明实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S101：获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框。
在步骤S101中，深度学习卷积神经网络包括：Faster RCNN、YOLO，其中，YOLO采用单个卷积神经网络来预测多个边界框和类别概率。在一实施例中，YOLO神经网络结构包括24个用于提取特征的卷积层和2个用于预测输出概率和坐标的全连接层，另一实施例中，为了提高检测速度，在卷积层中使用较少的滤波器，YOLO神经网络结构包括9个卷积层和2个全连接层。对于卷积层主要采用1*1的卷积核进行降维，后面紧跟3*3的卷积核。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x,0.1x)，但是最后一层却采用线性激活函数。
Faster RCNN使用RPN(Region Proposal Network)网络取代了选择性搜索(Selective Search)，不仅速度得到了大大提高，而且还获得了更加精确的结果。FasterRCNN神经网络结构由两大模块组成：PRN候选框提取模块以及Fast RCNN检测模块。其中，RPN网络是全卷积神经网络，用于提取候选框；Fast RCNN基于RPN网络提取的proposal检测并识别proposal中的目标。
相对于Faster RCNN，YOLO处理图像简单直接。YOLO采用一个卷积神经网络来实现检测，是单管道策略，其训练与预测都是端到端，所以YOLO比较简洁且速度快。由于YOLO是对整张图片做卷积，所以其在检测目标有更大的视野，不容易对背景误判。
在其他实施例中，在步骤S101中还包括采用一系列包含车牌区域的图像对深度学习卷积神经网络进行训练。
步骤S102：计算每个目标候选框与预设标注框的重合度。
在步骤S102中，进一步地，请参见图2，还包括以下步骤：
S1021：计算目标候选框与预设标注框的交集的面积以及并集的面积。
在步骤S1021中，交集为目标候选框与预设标注框的重叠区域的面积，并集为目标候选框的面积与预设标注框的面积作和之后再与重叠区域的面积作差。
S1022：计算交集的面积与并集的面积的比率，获得重合度。
在步骤S1022中，重合度按照如下公式进行计算：
Figure BDA0002845774030000061
其中，IoU表示重合度，P表示目标候选框，T表示预设标注框。
步骤S103：采用修正因子对重合度进行修正，获得修正结果。
在步骤S103中，进一步地，请参见图3，还包括以下步骤：
S1031：构造目标候选框与预设标注框的最小包围框。
在步骤S1031中，最小包围框即为能够包围目标候选框与预设标注框的最小区域，如图4所示，其中，P表示目标候选框，T表示预设标注框，C表示最小包围框。
S1032：计算目标候选框的面积与最小包围框的面积的比率，获得修正因子。
在步骤S1032中，修正因子按照如下公式进行计算：
Figure BDA0002845774030000062
其中，Psize表示修正因子，P表示目标候选框的面积，C表示最小包围框的面积，Psize的值域为(0，1]。
S1033：采用修正因子对重合度进行修正，获得修正结果。
在步骤S1033中，修正结果为修正因子与重合度的乘积，修正结果按照如下公式进行计算：
Figure BDA0002845774030000063
PIoU为修正结果，值域为(0，1]。
在该实施例中，计算修正结果PIoU可以分为以下情况：
(1)目标候选框与预设标注框无交集时，IoU＝0，PIoU＝0，此时，目标候选框与预设标注框的大小对检测结果无影响；
(2)目标候选框与预设标注框有交集时，包括以下两种情况：①目标候选框的尺寸大于预设标注框的尺寸，②预设标注框的尺寸大于目标候选框的尺寸，在这两种情况下，IoU相同，C相同，但P1>P2，因此Psize1>Psize2，从而有PIoU1>PIoU2，所以，在IoU相同情况下目标候选框较大的进行奖励，提升IoU值；
(3)目标候选框包含预设标注框时，Psize＝1，因此IoU＝PIoU，目标候选框偏大，不做处理，对检测结果无影响；
(4)预设标注框包含目标候选框时，0<Psize<1，因此IoU>PIoU，目标候选框偏小，对目标候选框进行惩罚，降低IoU值。
因此，相对于传统的IoU算法对目标候选框和预设标注框的大小无偏倚的现象，本实施例PIoU关注目标候选框与预设标注框的大小问题，鼓励目标候选框往偏大的方向发展。
步骤S104：将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。
在步骤S104中，将修正结果与预设阈值进行比对，对修正结果进行筛选，进一步提高车牌检测识别的准确率。
本发明第一实施例的车牌检测识别方法通过采用修正因子对重合度进行修正，关注目标候选框与预设标注框的大小问题，鼓励目标候选框往偏大的方向发展，相对于传统的IoU算法对目标候选框和预设标注框的大小无偏倚的现象，能够防止车牌字符的边缘信息丢失，有效提高车牌检测识别的准确率。
图5是本发明第二实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：
步骤S501：采用图像识别方法对待检测图片进行识别，定位待检测图片中的车辆区域。
在步骤S501中，图像识别方法主要包括信息的获取、预处理、特征抽取和选择、分类识别。其中，信息的获取是指通过传感器将光或声音等信息转化为电信息。预处理主要是指图像处理中的去噪、平滑、变换、增强等的操作，从而加强图像的重要特征。分类识别是指根据特征抽取和选择结果对被识别对象进行分类。该步骤将后续的检测区域定位于车辆区域，缩小了检测范围，进一步提高了车牌检测识别的计算效率和准确率。
步骤S502：将车辆区域输入预训练的深度学习卷积神经网络中，对车辆区域进行特征提取和计算，生成一系列候选框以及候选框可能含有车牌区域的概率。
在步骤S502中，以深度学习卷积神经网络为YOLO为例进行是说明，(1)将车辆区域调整至预设大小；(2)将调整后的车辆区域进行划分，划分为S*S个网格；(3)将网格输入到预训练的深度学习卷积神经网络中，对每个网格进行车牌中心点检测，设置每个网格预测可能含有车牌区域的数目为B，(4)根据每个网格内检测到的车牌中心点，针对每个网格预测B个5维度的向量，该向量为可能含有车牌区域的位置信息以及可能含有车牌区域的置信度，共得到S*S*B*5个向量，每个向量包括：中心点的横坐标X和纵坐标Y，待检测图片的宽度W和高度H，以及可能含有车牌区域的概率C，(5)将每个5维度的向量记为一个候选框。
步骤S503：将概率与预设概率阈值进行比对，当概率大于或等于预设概率阈值时，将候选框确定为目标候选框并保留，当概率小于预设概率阈值时，删除候选框。
在步骤S503中，将可能含有车牌区域的概率较大的候选框筛选出来并保留，进一步提高了车牌检测识别的准确率。
步骤S504：获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框。
在本实施例中，图5中的步骤S504和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S505：计算每个目标候选框与预设标注框的重合度。
在本实施例中，图5中的步骤S505和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S506：采用修正因子对重合度进行修正，获得修正结果。
在本实施例中，图5中的步骤S506和图1中的步骤S103类似，为简约起见，在此不再赘述。
步骤S507：将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。
在本实施例中，图5中的步骤S507和图1中的步骤S104类似，为简约起见，在此不再赘述。
本发明第二实施例的车牌检测识别方法在第一实施例的基础上，通过定位车辆区域，提高了车牌检测的计算效率和准确率，经过车辆区域的划分后，再经过一次计算即可检测出所有可能的车牌中心点，预测出所有可能含的车牌区域，无需反复比对，有效提高了计算效率和检测准确率。
图6是本发明第三实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图6所示的流程顺序为限。如图6所示，该方法包括步骤：
步骤S601：从采集的视频数据中获取一系列待检测图片。
步骤S602：对待检测图片进行降噪、锐化处理。
在步骤S602中，对待检测图片进行降噪、锐化等预处理，能够提高待检测图片的质量，进一步提高车牌识别的精确度。
步骤S603：采用图像识别方法对待检测图片进行识别，定位待检测图片中的车辆区域。
在本实施例中，图6中的步骤S603和图5中的步骤S501类似，为简约起见，在此不再赘述。
步骤S604：将车辆区域输入预训练的深度学习卷积神经网络中，对车辆区域进行特征提取和计算，生成一系列候选框以及候选框可能含有车牌区域的概率。
在本实施例中，图6中的步骤S604和图5中的步骤S502类似，为简约起见，在此不再赘述。
步骤S605：将概率与预设概率阈值进行比对，当概率大于或等于预设概率阈值时，将候选框确定为目标候选框并保留，当概率小于预设概率阈值时，删除候选框。
在本实施例中，图6中的步骤S605和图5中的步骤S503类似，为简约起见，在此不再赘述。
步骤S606：获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框。
在本实施例中，图6中的步骤S606和图5中的步骤S504类似，为简约起见，在此不再赘述。
步骤S607：计算每个目标候选框与预设标注框的重合度。
在本实施例中，图6中的步骤S607和图5中的步骤S505类似，为简约起见，在此不再赘述。
步骤S608：采用修正因子对重合度进行修正，获得修正结果。
在本实施例中，图6中的步骤S608和图5中的步骤S506类似，为简约起见，在此不再赘述。
步骤S609：将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。
在本实施例中，图6中的步骤S609和图1中的步骤S507类似，为简约起见，在此不再赘述。
本发明第三实施例的车牌检测识别方法在第二实施例的基础上，通过对待检测图片进行预处理，提高待检测图片的质量，进一步提高车牌识别的精确度。
图7是本发明第四实施例的车牌检测识别方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图7所示的流程顺序为限。如图7所示，该方法包括步骤：
步骤S701：获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框。
在本实施例中，图7中的步骤S701和图1中的步骤S101类似，为简约起见，在此不再赘述。
步骤S702：计算每个目标候选框与预设标注框的重合度。
在本实施例中，图7中的步骤S702和图1中的步骤S102类似，为简约起见，在此不再赘述。
步骤S703：采用修正因子对重合度进行修正，获得修正结果。
在本实施例中，图7中的步骤S703和图1中的步骤S103类似，为简约起见，在此不再赘述。
步骤S704：将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。
在本实施例中，图7中的步骤S704和图1中的步骤S104类似，为简约起见，在此不再赘述。
步骤S705：对目标候选框中的车牌区域进行字符分割，获得单独的字体块。
在步骤S705中，首先对车牌区域进行灰度化、二值化、取轮廓、找外接矩形和截取图块处理，实现字符分割，获得单独的字体块。
步骤S706：对字体块进行字符识别。
在步骤S706中，将字体块输入训练好的ANN(Artificial neural networks)神经网络进行字符识别。
本发明第四实施例的车牌检测识别方法在第一实施例的基础上，对目标候选框中的车牌区域的字符进行识别，实现车牌的精确识别。
图8是本发明实施例的车牌检测识别装置的结构示意图。如图8所示，该装置80包括获取模块81、计算模块82、修正模块83和比对模块84。
获取模块81，用于获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框。
计算模块82，用于计算每个目标候选框与预设标注框的重合度。
修正模块，用于采用修正因子对重合度进行修正，获得修正结果；
比对模块，用于将修正结果与预设阈值进行比对，当修正结果大于或等于预设阈值时，保留并输出目标候选框，当修正结果小于预设阈值时，删除目标候选框。
请参阅图9，图9为本发明实施例的计算机设备的结构示意图。如图9所示，该计算机设备90包括处理器91及和处理器91耦接的存储器92。
存储器92存储有用于实现上述任一实施例所述的车牌检测识别方法的程序指令。
处理器91用于执行存储器92存储的程序指令以检测识别车牌。
其中，处理器91还可以称为CPU(Central Processing Unit，中央处理单元)。处理器91可能是一种集成电路芯片，具有信号的处理能力。处理器91还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图10，图10为本发明实施例的计算机可读存储介质的结构示意图。本发明实施例的计算机可读存储介质存储有能够实现上述所有方法的程序文件11，其中，该程序文件11可以以软件产品的形式存储在上述计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种车牌检测识别方法，其特征在于，包括：
获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框；
计算每个所述目标候选框与预设标注框的重合度；
采用修正因子对所述重合度进行修正，获得修正结果；
将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框，当所述修正结果小于所述预设阈值时，删除所述目标候选框。
2.根据权利要求1所述的方法，其特征在于，所述计算每个所述目标候选框与预设标注框的重合度的步骤包括：
计算所述目标候选框与所述预设标注框的交集的面积以及并集的面积；
计算所述交集的面积与所述并集的面积的比率，获得所述重合度。
3.根据权利要求1所述的方法，其特征在于，所述采用修正因子对所述重合度进行修正，获得修正结果的步骤包括：
构造所述目标候选框与所述预设标注框的最小包围框；
计算所述目标候选框的面积与所述最小包围框的面积的比率，获得所述修正因子；
采用修正因子对所述重合度进行修正，获得所述修正结果。
4.根据权利要求1所述的方法，其特征在于，在所述获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框的步骤之前，还包括：
采用图像识别方法对待检测图片进行识别，定位所述待检测图片中的车辆区域；
将所述车辆区域输入预训练的深度学习卷积神经网络中，对所述车辆区域进行特征提取和计算，生成一系列候选框以及所述候选框可能含有车牌区域的概率；
将所述概率与预设概率阈值进行比对，当所述概率大于或等于所述预设概率阈值时，将所述候选框确定为目标候选框并保留，当所述概率小于所述预设概率阈值时，删除所述候选框。
5.根据权利要求4所述的方法，其特征在于，在所述采用图像识别方法对待检测图片进行识别，定位所述待检测图片中的车辆区域的步骤之前，还包括：
从采集的视频数据中获取一系列待检测图片；
对所述待检测图片进行降噪、锐化处理。
6.根据权利要求1所述的方法，其特征在于，在所述将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框的步骤之后，还包括：
对所述目标候选框中的车牌区域进行字符分割，获得单独的字体块；
对所述字体块进行字符识别。
7.一种车牌检测识别装置，其特征在于，包括：
获取模块，用于获取预训练的深度学习卷积神经网络输出的多个包含车牌区域的目标候选框；
计算模块，用于计算每个所述目标候选框与预设标注框的重合度；
修正模块，用于采用修正因子对所述重合度进行修正，获得修正结果；
比对模块，用于将所述修正结果与预设阈值进行比对，当所述修正结果大于或等于所述预设阈值时，保留并输出所述目标候选框，当所述修正结果小于所述预设阈值时，删除所述目标候选框。
8.一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的车牌检测识别方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的车牌检测识别方法的程序文件。
CN202011508949.4A 2020-12-18 2020-12-18 车牌检测识别方法、装置、设备及存储介质 Active CN112560856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011508949.4A CN112560856B (zh) 2020-12-18 2020-12-18 车牌检测识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011508949.4A CN112560856B (zh) 2020-12-18 2020-12-18 车牌检测识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112560856A true CN112560856A (zh) 2021-03-26
CN112560856B CN112560856B (zh) 2024-04-12

Family

ID=75031717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011508949.4A Active CN112560856B (zh) 2020-12-18 2020-12-18 车牌检测识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112560856B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033522A (zh) * 2021-05-25 2021-06-25 风脉能源（武汉）股份有限公司 基于视觉检测塔筒晃动的标记物识别方法
CN114444895A (zh) * 2021-12-31 2022-05-06 深圳云天励飞技术股份有限公司 清洁质量评估方法及相关设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166226A (ja) * 1997-08-25 1999-03-09 Toshiba Corp 車両のナンバプレート認識装置
CN105224956A (zh) * 2015-10-16 2016-01-06 深圳市捷顺科技实业股份有限公司 一种基于多特征融合的车牌类别识别方法及系统
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
CN108446696A (zh) * 2018-02-09 2018-08-24 杭州雄迈集成电路技术有限公司 一种基于深度学习的端到端车牌识别方法
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN110287959A (zh) * 2019-06-27 2019-09-27 浙江工业大学 一种基于再识别策略的车牌识别方法
CN110490135A (zh) * 2019-08-20 2019-11-22 上海眼控科技股份有限公司 车辆年检方法、装置、计算机设备和存储介质
CN110766009A (zh) * 2019-10-31 2020-02-07 深圳市捷顺科技实业股份有限公司 尾牌识别方法、装置以及计算机可读存储介质
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置
CN110969164A (zh) * 2019-12-20 2020-04-07 湖南千视通信息科技有限公司 基于深度学习端对端的低照度成像车牌识别方法及装置
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111797829A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种车牌检测方法、装置、电子设备和存储介质
CN111985482A (zh) * 2020-07-29 2020-11-24 河海大学 一种基于深度学习的多模式多场景的自动车牌识别方法
US20220207889A1 (en) * 2020-12-29 2022-06-30 Streamax Technology Co., Ltd. Method for recognizing vehicle license plate, electronic device and computer readable storage medium

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166226A (ja) * 1997-08-25 1999-03-09 Toshiba Corp 車両のナンバプレート認識装置
CN105224956A (zh) * 2015-10-16 2016-01-06 深圳市捷顺科技实业股份有限公司 一种基于多特征融合的车牌类别识别方法及系统
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN108446696A (zh) * 2018-02-09 2018-08-24 杭州雄迈集成电路技术有限公司 一种基于深度学习的端到端车牌识别方法
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法
CN110287959A (zh) * 2019-06-27 2019-09-27 浙江工业大学 一种基于再识别策略的车牌识别方法
CN110490135A (zh) * 2019-08-20 2019-11-22 上海眼控科技股份有限公司 车辆年检方法、装置、计算机设备和存储介质
CN110766009A (zh) * 2019-10-31 2020-02-07 深圳市捷顺科技实业股份有限公司 尾牌识别方法、装置以及计算机可读存储介质
CN110969164A (zh) * 2019-12-20 2020-04-07 湖南千视通信息科技有限公司 基于深度学习端对端的低照度成像车牌识别方法及装置
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111797829A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种车牌检测方法、装置、电子设备和存储介质
CN111985482A (zh) * 2020-07-29 2020-11-24 河海大学 一种基于深度学习的多模式多场景的自动车牌识别方法
US20220207889A1 (en) * 2020-12-29 2022-06-30 Streamax Technology Co., Ltd. Method for recognizing vehicle license plate, electronic device and computer readable storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAIF, NAZMUS，等: "Automatic License Plate Recognition System for Bangla License Plates using Convolutional Neural Network", 《TENCON 2019 - 2019 IEEE REGION 10 CONFERENCE (TENCON)》, pages 925 - 930 *
泮洪杰: "非特定场景下车牌定位与污损车牌图像修复技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 6, pages 034 - 723 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033522A (zh) * 2021-05-25 2021-06-25 风脉能源（武汉）股份有限公司 基于视觉检测塔筒晃动的标记物识别方法
CN114444895A (zh) * 2021-12-31 2022-05-06 深圳云天励飞技术股份有限公司 清洁质量评估方法及相关设备

Also Published As

Publication number Publication date
CN112560856B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN108090456B (zh) 识别车道线模型的训练方法、车道线识别方法及装置
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
CN106156766B (zh) 文本行分类器的生成方法及装置
Lu et al. Scene text extraction based on edges and support vector regression
CN110276342B (zh) 车牌辨识方法以及其系统
CN110647829A (zh) 一种票据的文本识别方法及系统
Zheng et al. A cascaded method for text detection in natural scene images
CN109389115B (zh) 文本识别方法、装置、存储介质和计算机设备
CN112560856B (zh) 车牌检测识别方法、装置、设备及存储介质
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN110580499A (zh) 基于众包重复标签的深度学习目标检测方法及系统
CN113705617A (zh) 点云数据的处理方法、装置、计算机设备和存储介质
CN116109907B (zh) 目标检测方法、装置、电子设备及存储介质
CN111325199B (zh) 一种文字倾斜角度检测方法及装置
CN112464938B (zh) 车牌检测识别方法、装置、设备及存储介质
CN114445716B (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN112241736A (zh) 一种文本检测的方法及装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN115439733A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN110826488B (zh) 一种针对电子文档的图像识别方法、装置及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant