CN112101274B - 一种车牌识别方法、装置、设备及可读存储介质 - Google Patents
一种车牌识别方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112101274B CN112101274B CN202011014630.6A CN202011014630A CN112101274B CN 112101274 B CN112101274 B CN 112101274B CN 202011014630 A CN202011014630 A CN 202011014630A CN 112101274 B CN112101274 B CN 112101274B
- Authority
- CN
- China
- Prior art keywords
- license plate
- label
- layer
- image
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种车牌识别方法、装置、设备及可读存储介质,该方法包括:获取车牌图像;利用识别模型对车牌图像进行识别,得到车牌标签;其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签;解析车牌标签,得到车牌号和车牌颜色。在该方法中,将普通车牌的颜色作为车牌标签中的组成成分,无需提取出车牌的前景和背景,直接将车牌图像输入至一个识别模型中进行识别,便可同时完成车牌号识别和车牌颜色识别。由于无需区分前景和背景,可避免因划分前景和背景而带来的性能损耗,可有效提高车牌识别性能。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种车牌识别方法、装置、设备及可读存储介质。
背景技术
车牌识别的识别结果可以实现停车场收费管理,交通流量控制指标测量,车辆定位,汽车防盗,高速公路超速自动化监管等等功能。即车牌识别对于维护交通安全和城市治安,防止交通堵塞,实现交通自动化管理有着现实的意义。
在实际应用中,一般要求车牌识别不仅要识别出车牌号,还需识别出车牌颜色。目前,大多数既能识别颜色又能识别车牌号码的识别方法,多基于传统的图像处理,即将原始彩色图像投影到HSI空间,根据不同车牌在HSI空间的不同分布进行初步识别,接着提取出车牌的前景和背景,并根据各自的颜色信息分别利用不同的识别模型再次进行识别(一个模型识别车牌颜色,一个模型识别车牌号),最后将两个不同识别模型的结果进行综合。此类方法中,由于需要进行前景和背景提取,以便分别利用不同的识别模型进行识别处理,在复杂室外环境下进行车牌识别,性能会因颜色过于复杂而降低识别性能。
综上所述,如何有效地提高车牌识别性能等问题,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种车牌识别方法、装置、设备及可读存储介质,将普通车牌的颜色作为车牌标签中的组成成分,无需提取出车牌的前景和背景,直接将车牌图像输入至一个识别模型中进行识别,便可同时完成车牌号识别和车牌颜色识别。另外,由于无需区分前景和背景,可避免因划分前景和背景而带来的性能损耗,即本发明实施例所提供的车牌识别方法可有效提高车牌识别性能。
为解决上述技术问题,本发明提供如下技术方案:
一种车牌识别方法,包括:
获取车牌图像;
利用识别模型对所述车牌图像进行识别,得到车牌标签;其中,所述车牌标签为特殊车牌标签或普通车牌标签,所述普通车牌标签包括颜色标签和普通车牌号标签,所述特殊车牌标签包括特殊车牌号标签;
解析所述车牌标签,得到车牌号和车牌颜色。
优选地,若所述车牌标签为所述普通车牌标签,相应地,解析所述车牌标签,得到车牌号和车牌颜色,包括:
对所述颜色标签进行解析,得到所述车牌颜色;
对所述普通车牌号标签进行解析,得到所述车牌号。
优选地,若所述车牌标签为所述特殊车牌标签,相应地,所述解析所述车牌标签,得到车牌号和车牌颜色,包括:
对所述特殊车牌标签进行解析,得到所述车牌号;
利用所述车牌号,并参照特殊车牌颜色规则,确定所述车牌颜色。
优选地,所述利用识别模型对所述车牌图像进行识别,得到车牌标签,包括:
对所述车牌图像进行缩放处理,得到特定大小的目标车牌图像;所述特定大小为训练所述识别模型过程中,对训练样本进行统计而确定的;
将所述目标车牌图像输入至所述识别模型进行识别,得到所述车牌标签。
优选地,所述获取车牌图像,包括:
获取初始图像;
对所述初始图像进行车牌检测,得到检测结果;
利用所述检测结果对所述初始图像进行裁剪,得到所述车牌图像。
优选地,所述利用识别模型对所述车牌图像进行识别,得到车牌标签,包括:
利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签。
优选地,所述利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签,包括:
利用所述识别模型中的深度卷积神经网络对所述车牌图像进行车牌序列特征提取;
基于连接时序分类的最优路径进行车牌序列解码,得到所述车牌标签。
一种车牌识别装置,包括:
车牌图像获取模块,用于获取车牌图像;
车牌标签获取模块,用于利用识别模型对所述车牌图像进行识别,得到车牌标签;其中,所述车牌标签为特殊车牌标签或普通车牌标签,所述普通车牌标签包括颜色标签和普通车牌号标签,所述特殊车牌标签包括特殊车牌号标签;
结果解析模块,用于解析所述车牌标签,得到车牌号和车牌颜色。
一种车牌识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述车牌识别方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述车牌识别方法的步骤。
应用本发明实施例所提供的方法,获取车牌图像;利用识别模型对车牌图像进行识别,得到车牌标签;其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签;解析车牌标签,得到车牌号和车牌颜色。
普通车牌的车牌号一般比特殊车牌的车牌号少一位。且特殊车牌根据车牌颜色规则可以基于车牌号而确定。基于此,在本方法中,将普通车牌的颜色作为车牌标签中的颜色标签。具体的,在获得车牌图像之后,无需对车牌图像进行颜色识别,区分前景和背景,可利用识别模型对车牌图像直接进行识别,得到车牌标签。其中,车牌标签分普通车牌标签和特殊车牌标签,特殊车牌标签包括特殊车牌号标签。最后,对车牌标签进行解析,即可得到车牌号和车牌颜色。可见,在本方法中,将普通车牌的颜色作为车牌标签中的组成成分,无需提取出车牌的前景和背景,直接将车牌图像输入至一个识别模型中进行识别,便可同时完成车牌号识别和车牌颜色识别。由于无需区分前景和背景,可避免因划分前景和背景而带来的性能损耗,即本方法可有效提高车牌识别性能。另外,由于一个识别模型即可完成车牌号识别和车牌颜色识别,还可降低对软硬件的性能要求,如可在嵌入式设备中进行应用。
相应地,本发明实施例还提供了与上述车牌识别方法相对应的车牌识别装置、设备和可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种车牌识别方法的实施流程图;
图2为本发明实施例中一种车牌类型示例示意图;
图3为本发明实施例中一种训练样本大小的统计示意图;
图4为一种稠密块的具体结构示意图;
图5为本发明实施例中一种车牌识别装置的结构示意图;
图6为本发明实施例中一种车牌识别设备的结构示意图;
图7为本发明实施例中一种车牌识别设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例中一种车牌识别方法的流程图,该方法包括以下步骤:
S101、获取车牌图像。
其中,车牌图像即车牌对应图像,在本实施例中对于车牌图像中的车牌本身的颜色,车牌号内容,车牌是否有污损、变形、倾斜、反光、逆光、曝光、过暗、阴阳牌等均不做限定。
可通过从可读存储介质中读取已存储的车牌图像的方式,获取车牌图像;也可通过接收上层应用或其他应用发送车牌图像的方式,获得车牌图像;也可以利用图像采集设备采集车牌图像的方式,获得车牌图像;还可以对包含有车牌的图像进行车牌检测,进而得到车牌图像。即在本发明实施例中,对于车牌图像的获取方式并不做限定。
在本发明的一种具体实施方式中,S101获取车牌图像的过程,具体包括:
步骤一、获取初始图像;
步骤二、对初始图像进行车牌检测,得到检测结果;
步骤三、利用检测结果对初始图像进行裁剪,得到车牌图像。
为便于描述,下面将上述三个步骤结合起来进行说明。
其中,初始图像可以为路况采集、违章取证、红绿灯监控等场景下得到的有车牌的初始图像。本实施例对初始图像中车牌的数量、种类等均不作限定。
得到初始图像之后,便可对初始图像进行车牌检测,得到关于车牌在图像中的相对位置的检测结果。即,本文中的车牌检测,即检测出车牌的相对位置。
然后,基于检测结果,便可对初始图像进行裁剪,得到车牌对应部分,即得到车牌图像。
需要说明的是,该车牌图像可对应不同颜色,不同种类车牌对应的车牌。具体的,对于车牌识别方法所支持的车牌种类包括但不限于如图2所示的车牌种类。在图2中,左侧显示的蓝牌、黄牌、绿/黄绿牌、黑牌、白牌是以颜色作为类别划分车牌种类的示例,实际并不局限于图中所示车牌种类区分和类别,右侧车牌仅是对应颜色车牌的一种示例,实际并不局限于图中所示车牌。
获取到车牌图像之后,便可执行步骤S102的操作。
S102、利用识别模型对车牌图像进行识别,得到车牌标签。
其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签。
需要说明的是,国内的普通车牌长度为7位,特殊车牌长度为8位。其中,特殊车牌对应新能源汽车、武警汽车以及应急车辆。而特殊车牌的不同颜色号牌中有特殊的字母标识。
也就是说,在本实施例中,将国内普通车牌的颜色作为车牌标签中的一个标签(若用1位来表示,即普通车牌标签的长度为8位),而原本长度就是8位的新能源、武警以及应急车牌的车牌标签保持不变。即,在本实施例中,车牌标签分为特殊车牌标签和普通车牌标签,二者的位数相同,其中普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签。
可见,无论是普通车牌标签还是特殊车牌标签,他们的位数可保持一致。因此,在本实施例中,可在同一个识别模型中同时解决车牌号识别,以及车牌颜色识别。对于识别模型,可选择基于机器学习、深度学习等能够通过训练,使得输入为车牌图像,输出为车牌标识的任意一种模型即可,在本实施例中对识别模型本身的架构、原理等均不做限定。
下面以国内车牌长度和颜色规则为例,对识别模型进行详细说明,其他国家和地区的车牌号、颜色识别可参照于此,在此不再一一赘述。
具体的,在识别模型的特征提取部分,设置颜色特征和车牌号特征提取(颜色提取和车牌特征提取可不限定先后顺序,另外,若基于所提取的车牌特征得到的车牌号为8位,还可省去颜色提取环节),将输出位数固定为8位。
若进行特征提取,所提取到的车牌号长度为8位(即特殊车牌),则识别模型直接将车牌号输出,对应本文中的特殊车牌标签;若进行特征提取,所提取到的车牌号长度为7位(即普通车牌),则用提取到的颜色特征对7位车牌进行补充,补充至8位,即识别模型输出也为8位(7位车牌号+1位颜色),对应本文中的普通车牌标签。其中,颜色特征可具体为进行图像空间转换后,用色调表征颜色特征;车牌号特征可具体为基于像素的空间分布信息进行处理,而得到。当然,这里描述的仅是其中一种示例,采用其他常用的颜色或车牌号特征提取方式也可达到相应效果。
还需要说明的是,在训练识别模型时,训练样本为标注了准确的车牌号标签和颜色标签的样本,识别模型训练输出结果为如上文所述的车牌标签。即,通过比对车牌标签与样本标注的车牌号标签、颜色标签,便可确定当前的训练效果。
在本发明的一种具体实施方式中,为了提高识别模型对车牌图像进行识别的准确率,可对车牌图像进行缩放处理,对车牌图像大小进行标准化。具体的实现过程,包括:
步骤一、对车牌图像进行缩放处理,得到特定大小的目标车牌图像;特定大小为训练识别模型过程中,对训练样本进行统计而确定的;
步骤二、将目标车牌图像输入至识别模型进行识别,得到车牌标签。
在训练识别模型过程中,可对不同大小的训练样本的识别结果进行统计后,然后选出识别效果较为准确的训练样本大小,将该训练样本大小作为特定大小。
举例说明:可参照图3,图3为本发明实施例中一种训练样本大小的统计示意图。即基于样本训练大小统计示意图确定出特定大小,从图3可见,训练样本的高和宽的峰值大概在48和128,因此可设置特定大小为:128*48(像素)。
在获取到车牌图像后,可对车牌图像进行放大或缩小处理,得到与特定大小相同的目标车牌图像,然后再将其输入至识别模型中进行识别处理。
S103、解析车牌标签,得到车牌号和车牌颜色。
在本实施例中,该车牌标签可以为普通车牌标签,也可以为特殊车牌标签。对于不同的车牌标签,可采用不同的解析方式来对车牌标签进行解析,进而得到车牌号和车牌颜色。具体的解析方式包括但不限于以下方式:
方式1:若车牌标签为普通车牌标签,相应地,步骤S102解析车牌标签,得到车牌号和车牌颜色,包括:
步骤一、对颜色标签进行解析,得到车牌颜色;
步骤二、对普通车牌号标签进行解析,得到车牌号。
也就是说,若车牌标签具体为普通车牌标签时,则可对普通车牌标签中的颜色标签进行解析,得到车牌颜色;对普通车牌号标签进行解析,得到车牌号。
举例说明:可在车牌标签中用一位标示对应表示车牌号的一位编号,则普通车牌号标签共7位标示;在车牌标签中用一位标示车牌颜色,即颜色标签对应普通车牌标签中的一位。具体的,可将普通车牌标签的任意七位(如前七位,后七位,或两端各选几位共计七位)标示普通车牌号标签,将普通车牌标签中余下的一位标示颜色标签。在进行解析时,则可直接将相应七位的标识确定为车牌号,对余下的一位的标识(该标识可以为字母,也可以为数字或其他符号)进行解析,得到车牌颜色(如,1代表蓝色,2代表黄色)。
方式2:若车牌标签为特殊车牌标签,相应地,步骤S102解析车牌标签,得到车牌号和车牌颜色,包括:
步骤一、对特殊车牌标签进行解析,得到车牌号;
步骤二、利用车牌号,并参照特殊车牌颜色规则,确定车牌颜色。
对特殊车牌标签进行解析,得到车牌号。这里的特殊车牌标签的位数可以为特殊车牌的车牌长度,如可具体为8位。具体的,参照国内现有的特殊车牌颜色规则,如果解析得到的车牌号中的第1位字符为:W,则相应的车牌颜色为白色(即武警车牌);如果解析得到的车牌号中的第8位字符为:急,则相应的车牌颜色为白色(即应急车牌);若第1位字符非W,第8位也非急,则为新能源车牌,相应地,在第8位为字符:D,则相应的车牌颜色为黄绿色(新能源大车);若第8位为字符:F,则车牌颜色为绿色(新能源小车)。
需要说明的是,本实施例对车牌识别方法的具体应用场景并不做限定。即本实施例所提供的车牌识别方法,可以针对电警、卡口、ETC、车辆进出口(如车库的进出口,道路进出口)、执法记录仪/智查通、行车记录仪、布控球等需要识别出车辆号和车牌颜色的应用场景中。
应用本发明实施例所提供的方法,获取车牌图像;利用识别模型对车牌图像进行识别,得到车牌标签;其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签;解析车牌标签,得到车牌号和车牌颜色。
普通车牌的车牌号一般比特殊车牌的车牌号少一位。且特殊车牌根据车牌颜色规则可以基于车牌号而确定。基于此,在本方法中,将普通车牌的颜色作为车牌标签中的颜色标签。具体的,在获得车牌图像之后,无需对车牌图像进行颜色识别,区分前景和背景,可利用识别模型对车牌图像直接进行识别,得到车牌标签。其中,车牌标签分普通车牌标签和特殊车牌标签,特殊车牌标签包括特殊车牌号标签。最后,对车牌标签进行解析,即可得到车牌号和车牌颜色。可见,在本方法中,将普通车牌的颜色作为车牌标签中的组成成分,无需提取出车牌的前景和背景,直接将车牌图像输入至一个识别模型中进行识别,便可同时完成车牌号识别和车牌颜色识别。由于无需区分前景和背景,可避免因划分前景和背景而带来的性能损耗,即本方法可有效提高车牌识别性能。另外,由于一个识别模型即可完成车牌号识别和车牌颜色识别,还可降低对软硬件的性能要求,如可在嵌入式设备中进行应用。
为便于本领域技术人员更好地理解本实施例所提供的技术方案的效果,将本实施例所提供的车牌识别方法在国内三个不同场景下的数据集进行了测试,均可同时得到车牌号和车牌颜色的识别结果。对于识别精度:输入累计14472张车牌图像的识别精度为100%,车牌颜色识别精度100%;输入累计18893张车牌图像的车牌号识别精度为99.96%,车牌颜色识别精度99.98%;输入累计14692张新能源车牌图像的车牌号识别精度为99.95%,车牌颜色识别精度100%。对应识别速度:在海思3519A/3559A量化后的模型推断该车牌识别方法的识别速度可达85帧每秒(FPS)。
需要说明的是,基于上述实施例,本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考,相应的有益效果也可相互参照,在本文的优选/改进实施例中不再一一赘述。
考虑到,相关车牌识别算法基本都使用卷积神经网络(CNN)+长短时循环神经网络(LSTM)进行车牌识别,但长短时循环神经网络(LSTM)在嵌入式设备中支持的并不是很好且耗时严重,导致现在许多算法不能实现落地应用,且在复杂场景中车牌识别精度会急剧下降。
针对以上缺点本发明在上述实施例的基础上,提出了一种基于稠密网络(DenseNet)变种的车牌识别算法(Dense69),即一种具体的识别模型,可不需要添加长短时循环神经网络(LSTM)进行序列预测;而是在一个稠密块中将跨层连接从头进行到尾,加强了信息的流动和特征的多级综合高效利用,减轻了梯度的反传消失,可使用更少的参数来达到相同的效果;它足够轻量,能够实时的运行在各种平台和设备上。即,上述步骤S102可具体包括:利用基于稠密网络的识别模型对车牌图像进行识别,得到车牌标签。其中,在基于稠密网络的识别模型中,稠密块的具体结构可参照图4。
在Dense69中,需具有颜色特征提取和车牌号特征提取的特征提取功能部分,且Dense69的输出为8位。预先用训练样本进行训练,得到可用的Dense69。具体的识别过程,包括:
步骤一、利用识别模型中的深度卷积神经网络对车牌图像进行车牌序列特征提取;
步骤二、基于连接时序分类的最优路径进行车牌序列解码,得到车牌标签。
即,不同机器学习算法的主要区别在于前向网络、损失函数以及参数学习算法的设计。在本实施例中采用的前向网络为改进版本的DenseNet,层数为69层,如表1所示:
表1
其中,Convolution(卷积)、Pooling(池化)、Dense Block(稠密块)、TransitionLayer(过渡层)、Transpose/Reshape(转置/重组)、WrapCTC Loss(WrapCTC损失)、CTCGreedyDecoder(CTC贪婪解码)、stride(步长)、conv(卷积)、dropout(丢弃层)、averagepool(平均池化)、output channel(输出通道数)、calculate loss and acc(计算损失和准确率)。
该识别模型通过深度卷积神经网络进行车牌序列特征提取、基于CTC的最优路径进行车牌序列解码;网络输入(即车牌图像)的特定大小可通过统计所有训练样本的宽和高得到。输出大小为24*81,分别为卷积神经网络提取的特征序列数和需要进行分类的类别数。
在训练该识别模型的过程中,可采用参数学习算法Adam,损失函数为CTC Loss,将车牌图像大小都缩放到128×48。并在送入识别模型中的网络前,对车牌图像进行标准化处理(如减均值,除标准差),参数初始化服从均值为0、标准差为0.1的截断正态分布,Batch(批量)的大小为64。
特别地,可将卷积层输出特征图的高度设置为3,以便更好地对单行车牌和双行车牌均可进行有效识别。还可设置输出序列的时间步长变为:24(车牌长度的三倍),以便提高车牌检测的准确地。
相应于上面的方法实施例,本发明实施例还提供了一种车牌识别装置,下文描述的车牌识别装置与上文描述的车牌识别方法可相互对应参照。
参见图5所示,该装置包括以下模块:
车牌图像获取模块101,用于获取车牌图像;
车牌标签获取模块102,用于利用识别模型对车牌图像进行识别,得到车牌标签;其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签;
结果解析模块103,用于解析车牌标签,得到车牌号和车牌颜色。
应用本发明实施例所提供的装置,获取车牌图像;利用识别模型对车牌图像进行识别,得到车牌标签;其中,车牌标签为特殊车牌标签或普通车牌标签,普通车牌标签包括颜色标签和普通车牌号标签,特殊车牌标签包括特殊车牌号标签;解析车牌标签,得到车牌号和车牌颜色。
普通车牌的车牌号一般比特殊车牌的车牌号少一位。且特殊车牌根据车牌颜色规则可以基于车牌号而确定。基于此,在本装置中,将普通车牌的颜色作为车牌标签中的颜色标签。具体的,在获得车牌图像之后,无需对车牌图像进行颜色识别,区分前景和背景,可利用识别模型对车牌图像直接进行识别,得到车牌标签。其中,车牌标签分普通车牌标签和特殊车牌标签,特殊车牌标签包括特殊车牌号标签。最后,对车牌标签进行解析,即可得到车牌号和车牌颜色。可见,在本装置中,将普通车牌的颜色作为车牌标签中的组成成分,无需提取出车牌的前景和背景,直接将车牌图像输入至一个识别模型中进行识别,便可同时完成车牌号识别和车牌颜色识别。由于无需区分前景和背景,可避免因划分前景和背景而带来的性能损耗,即本装置可有效提高车牌识别性能。另外,由于一个识别模型即可完成车牌号识别和车牌颜色识别,还可降低对软硬件的性能要求,如可在嵌入式设备中进行应用。
在本发明的一种具体实施方式中,若车牌标签为普通车牌标签,相应地,结果解析模块103,具体用于对颜色标签进行解析,得到车牌颜色;对普通车牌号标签进行解析,得到车牌号。
在本发明的一种具体实施方式中,若车牌标签为特殊车牌标签,相应地,结果解析模块103,具体用于对特殊车牌标签进行解析,得到车牌号;利用车牌号,并参照特殊车牌颜色规则,确定车牌颜色。
在本发明的一种具体实施方式中,车牌标签获取模块102,具体用于对车牌图像进行缩放处理,得到特定大小的目标车牌图像;特定大小为训练识别模型过程中,对训练样本进行统计而确定的;将目标车牌图像输入至识别模型进行识别,得到车牌标签。
在本发明的一种具体实施方式中,车牌图像获取模块101,具体用于获取初始图像;对初始图像进行车牌检测,得到检测结果;利用检测结果对初始图像进行裁剪,得到车牌图像。
在本发明的一种具体实施方式中,车牌标签获取模块102,用于利用基于稠密网络的识别模型对车牌图像进行识别,得到车牌标签。
在本发明的一种具体实施方式中,车牌标签获取模块102,用于利用识别模型中的深度卷积神经网络对车牌图像进行车牌序列特征提取;基于连接时序分类的最优路径进行车牌序列解码,得到车牌标签。
相应于上面的方法实施例,本发明实施例还提供了一种车牌识别设备,下文描述的一种车牌识别设备与上文描述的一种车牌识别方法可相互对应参照。
参见图6所示,该车牌识别设备包括:
存储器332,用于存储计算机程序;
处理器322,用于执行计算机程序时实现上述方法实施例的车牌识别方法的步骤。
具体的,请参考图7,图7为本实施例提供的一种车牌识别设备的具体结构示意图,该车牌识别设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中,存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储器332通信,在车牌识别设备301上执行存储器332中的一系列指令操作。
车牌识别设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341。
上文所描述的车牌识别方法中的步骤可以由车牌识别设备的结构实现。
相应于上面的方法实施例,本发明实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种车牌识别方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的车牌识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
本领域技术人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
Claims (8)
1.一种车牌识别方法,其特征在于,包括:
获取车牌图像;
利用识别模型对所述车牌图像进行识别,得到车牌标签;其中,所述车牌标签为特殊车牌标签或普通车牌标签,所述普通车牌标签包括颜色标签和普通车牌号标签,所述特殊车牌标签包括特殊车牌号标签;
解析所述车牌标签,得到车牌号和车牌颜色;
所述利用识别模型对所述车牌图像进行识别,得到车牌标签,包括:
利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签,所述基于稠密网络的识别模型是在一个稠密块中将跨层连接从头进行到尾,不需要添加长短时循环神经网络进行序列预测,所述基于稠密网络的识别模型的网络架构为:第一卷积层、池化层、第一稠密块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块、第二卷积层、转置层/重组层、WrapCTC损失层/CTC贪婪解码层依次连接,其中,所述第一稠密块、所述第二稠密块、所述第三稠密块和所述第四稠密块分别对应的输出通道数并不相同,所述第一过渡层、所述第二过渡层和所述第三过渡层分别对应的输出通道数并不相同,所述第一卷积层和所述第二卷积层分别对应的输出通道数并不相同,所述转置层/重组层的关系为先转置后重组,所述WrapCTC损失层/CTC贪婪解码层的关系为并行关系;
所述利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签,包括:
利用所述识别模型中的深度卷积神经网络对所述车牌图像进行车牌序列特征提取;
基于连接时序分类的最优路径进行车牌序列解码,得到所述车牌标签。
2.根据权利要求1所述的车牌识别方法,其特征在于,若所述车牌标签为所述普通车牌标签,相应地,解析所述车牌标签,得到车牌号和车牌颜色,包括:
对所述颜色标签进行解析,得到所述车牌颜色;
对所述普通车牌号标签进行解析,得到所述车牌号。
3.根据权利要求1所述的车牌识别方法,其特征在于,若所述车牌标签为所述特殊车牌标签,相应地,所述解析所述车牌标签,得到车牌号和车牌颜色,包括:
对所述特殊车牌标签进行解析,得到所述车牌号;
利用所述车牌号,并参照特殊车牌颜色规则,确定所述车牌颜色。
4.根据权利要求1所述的车牌识别方法,其特征在于,所述利用识别模型对所述车牌图像进行识别,得到车牌标签,包括:
对所述车牌图像进行缩放处理,得到特定大小的目标车牌图像;所述特定大小为训练所述识别模型过程中,对训练样本进行统计而确定的;
将所述目标车牌图像输入至所述识别模型进行识别,得到所述车牌标签。
5.根据权利要求1所述的车牌识别方法,其特征在于,所述获取车牌图像,包括:
获取初始图像;
对所述初始图像进行车牌检测,得到检测结果;
利用所述检测结果对所述初始图像进行裁剪,得到所述车牌图像。
6.一种车牌识别装置,其特征在于,包括:
车牌图像获取模块,用于获取车牌图像;
车牌标签获取模块,用于利用识别模型对所述车牌图像进行识别,得到车牌标签;其中,所述车牌标签为特殊车牌标签或普通车牌标签,所述普通车牌标签包括颜色标签和普通车牌号标签,所述特殊车牌标签包括特殊车牌号标签;所述利用识别模型对所述车牌图像进行识别,得到车牌标签,包括:利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签,所述基于稠密网络的识别模型是在一个稠密块中将跨层连接从头进行到尾,不需要添加长短时循环神经网络进行序列预测,所述基于稠密网络的识别模型的网络架构为:第一卷积层、池化层、第一稠密块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块、第二卷积层、转置层/重组层、WrapCTC损失层/CTC贪婪解码层依次连接,其中,所述第一稠密块、所述第二稠密块、所述第三稠密块和所述第四稠密块分别对应的输出通道数并不相同,所述第一过渡层、所述第二过渡层和所述第三过渡层分别对应的输出通道数并不相同,所述第一卷积层和所述第二卷积层分别对应的输出通道数并不相同,所述转置层/重组层的关系为先转置后重组,所述WrapCTC损失层/CTC贪婪解码层的关系为并行关系;所述利用基于稠密网络的识别模型对所述车牌图像进行识别,得到所述车牌标签,包括:利用所述识别模型中的深度卷积神经网络对所述车牌图像进行车牌序列特征提取;基于连接时序分类的最优路径进行车牌序列解码,得到所述车牌标签;
结果解析模块,用于解析所述车牌标签,得到车牌号和车牌颜色。
7.一种车牌识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述车牌识别方法的步骤。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述车牌识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011014630.6A CN112101274B (zh) | 2020-09-24 | 2020-09-24 | 一种车牌识别方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011014630.6A CN112101274B (zh) | 2020-09-24 | 2020-09-24 | 一种车牌识别方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112101274A CN112101274A (zh) | 2020-12-18 |
CN112101274B true CN112101274B (zh) | 2023-02-10 |
Family
ID=73755315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011014630.6A Active CN112101274B (zh) | 2020-09-24 | 2020-09-24 | 一种车牌识别方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112101274B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114694385B (zh) * | 2020-12-25 | 2023-04-28 | 富联精密电子(天津)有限公司 | 停车管理方法、装置、系统、电子设备及存储介质 |
CN113326843B (zh) * | 2021-06-17 | 2022-11-18 | 讯飞智元信息科技有限公司 | 车牌识别方法、装置、电子设备和可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086778A (zh) * | 2018-07-27 | 2018-12-25 | 北京以萨技术股份有限公司 | 一种基于卷积神经网络的车牌去模糊识别方法 |
CN109508717A (zh) * | 2018-10-09 | 2019-03-22 | 苏州科达科技股份有限公司 | 一种车牌识别方法、识别装置、识别设备及可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303803A (zh) * | 2008-06-11 | 2008-11-12 | 北京中星微电子有限公司 | 一种车牌识别的方法和系统 |
CN108154160B (zh) * | 2017-12-27 | 2020-02-21 | 苏州科达科技股份有限公司 | 车牌颜色识别方法及系统 |
CN108564088A (zh) * | 2018-04-17 | 2018-09-21 | 广东工业大学 | 车牌识别方法、装置、设备及可读存储介质 |
CN109086722B (zh) * | 2018-08-06 | 2021-04-13 | 汉王科技股份有限公司 | 混合车牌识别方法、装置、电子设备 |
CN110399880A (zh) * | 2019-07-31 | 2019-11-01 | 深圳市捷顺科技实业股份有限公司 | 一种车牌字符及车牌类别的识别方法、装置及设备 |
CN111539425A (zh) * | 2020-04-24 | 2020-08-14 | 江震宇 | 一种车牌识别方法、存储介质及电子设备 |
-
2020
- 2020-09-24 CN CN202011014630.6A patent/CN112101274B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086778A (zh) * | 2018-07-27 | 2018-12-25 | 北京以萨技术股份有限公司 | 一种基于卷积神经网络的车牌去模糊识别方法 |
CN109508717A (zh) * | 2018-10-09 | 2019-03-22 | 苏州科达科技股份有限公司 | 一种车牌识别方法、识别装置、识别设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112101274A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Research on small target detection in driving scenarios based on improved yolo network | |
CN103996041B (zh) | 一种基于匹配的车辆颜色识别方法和系统 | |
CN112101274B (zh) | 一种车牌识别方法、装置、设备及可读存储介质 | |
CN112016556B (zh) | 多类型车牌识别方法 | |
CN103413147A (zh) | 一种车牌识别方法和系统 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN109670450B (zh) | 一种基于视频的人车物检测方法 | |
CN112580643A (zh) | 一种基于深度学习的车牌识别方法、装置及存储介质 | |
CN106295645A (zh) | 一种车牌字符识别方法和装置 | |
CN112200193B (zh) | 基于多属性融合的分布式车牌识别方法、系统、装置 | |
CN112115800A (zh) | 一种基于深度学习目标检测的车辆组合识别系统及方法 | |
CN111832519A (zh) | 一种两/三轮车的违法行为的识别管理方法和系统 | |
CN111444843A (zh) | 一种多模态驾驶员及车辆违法行为监测方法及系统 | |
CN103679209B (zh) | 基于稀疏理论的字符识别方法 | |
CN113762144A (zh) | 一种基于深度学习的黑烟车检测方法 | |
CN112818826A (zh) | 目标识别方法及装置、电子设备及存储介质 | |
CN116778460A (zh) | 一种基于图像识别的疲劳驾驶识别方法 | |
CN109190451B (zh) | 基于lfp特征的遥感图像车辆检测方法 | |
CN107622667B (zh) | 一种变造车牌号码检测方法及系统 | |
CN116091964A (zh) | 高位视频场景解析方法以及系统 | |
Rahmani et al. | IR-LPR: A Large Scale Iranian License Plate Recognition Dataset | |
CN115131776B (zh) | 一种融合新能源汽车特征的车牌图像字符分类识别方法 | |
CN111027365A (zh) | 基于人脸对象位置分析的定位方法 | |
CN112802338B (zh) | 一种基于深度学习的高速公路实时预警方法及系统 | |
CN115375978B (zh) | 行为信息的确定方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |