CN111860539B - 一种车牌颜色的识别方法、装置及介质 - Google Patents

一种车牌颜色的识别方法、装置及介质 Download PDF

Info

Publication number
CN111860539B
CN111860539B CN202010699393.5A CN202010699393A CN111860539B CN 111860539 B CN111860539 B CN 111860539B CN 202010699393 A CN202010699393 A CN 202010699393A CN 111860539 B CN111860539 B CN 111860539B
Authority
CN
China
Prior art keywords
character
target
license plate
color
infrared picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010699393.5A
Other languages
English (en)
Other versions
CN111860539A (zh
Inventor
王凯启
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010699393.5A priority Critical patent/CN111860539B/zh
Publication of CN111860539A publication Critical patent/CN111860539A/zh
Application granted granted Critical
Publication of CN111860539B publication Critical patent/CN111860539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种车牌颜色的识别方法、装置及介质,该方法包括:预先获取各车牌颜色与各字符信息之间的对应关系;获取目标车牌的目标红外图片;通过目标红外图片确定目标车牌的字符信息;根据对应关系确定字符信息对应的车牌颜色。由于获取了目标车牌的红外图片,因此可以通过红外图片确定目标车牌的字符信息,然后根据对应关系就可以确定该字符信息对应的车牌颜色。虽然红外图片为灰度图,会丢失大量的颜色信息,但是因为车牌的字符颜色为黑色或白色,所以字符信息丢失的概率较低,因此该方法通过红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。

Description

一种车牌颜色的识别方法、装置及介质
技术领域
本申请涉及车牌识别领域,特别是涉及一种车牌颜色的识别方法、装置及介质。
背景技术
随着我国车辆保有量与交通出行量不断增长,交通管理的工作任务也日渐繁重。
近年来,随着人工智能的飞速发展,智能交通监管系统应运而生并且逐渐取代人工交通监管。其中车牌识别是智能交通监管系统中可以实现的一项重要技术。目前的车牌识别技术,在白天以及夜晚光照条件适宜的情况下,利用基于深度学习方法搭建的神经网络来进行车牌的颜色信息识别和字符信息识别已经达到了一个很高的水平。但是考虑到夜晚在高速上使用白光曝光时会遮挡视线造成危险以及在城市繁华地域使用白光曝光会造成影响严重的光污染,因此采用红外补光得到车牌的红外图片来进行识别,其中红外图片为灰度图。由于红外图片丢失了大量的颜色信息,在利用基于深度学习的神经网络判断车牌颜色时准确率较低,无法达到令人满意的效果。
由此可见,如何根据车牌的红外图片来判断车牌颜色类别是本领技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种车牌颜色的识别方法,用于根据车牌的红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。此外,本申请的目的还提供一种车牌颜色的识别装置及介质。
为解决上述技术问题,本申请提供一种车牌颜色的识别方法,包括:
预先获取各车牌颜色与各字符信息之间的对应关系;
获取目标车牌的目标红外图片;
通过所述目标红外图片确定所述目标车牌的字符信息;
根据所述对应关系确定所述字符信息对应的车牌颜色。
优选地,所述字符信息包括字符颜色、单双层类型、字符位置以及字符类别,所述通过所述目标红外图片确定所述目标车牌的字符信息具体为:
搭建并训练基于深度学习的类型判断网络与字符识别网络;所述类型判断网络的输入信号为车牌的红外图片,输出信号为字符颜色与单双层类型,所述字符识别网络的输入信号为所述红外图片,输出信号为字符位置与字符类别;
将所述目标红外图片输入所述类型判断网络以得到目标字符颜色与目标单双层类型;
当所述目标车牌为单层车牌时,将所述目标红外图片输入所述字符识别网络以得到目标字符位置与目标字符类别;
当所述目标车牌为双层车牌时,将所述目标红外图片分为上下两层图片,将下层图片输入所述字符识别网络以得到所述下层图片的目标字符位置与目标字符类别,根据所述下层图片的目标字符位置确定上层图片的目标字符位置,将所述上层图片的目标字符位置所对应的图片部分输入所述字符识别网络以得到所述上层图片的目标字符类别。
优选地,训练所述字符识别网络时使用的样本红外图片的字符颜色一致,所述字符颜色包括黑色或白色,在所述当所述目标车牌为单层车牌时,将所述目标红外图片输入所述字符识别网络以得到目标字符位置与目标字符类别之前,还包括:
当所述目标字符颜色与所述样本红外图片的字符颜色不一致时,对所述目标红外图片进行反色处理。
优选地,所述字符识别网络的输出信号还包括各字符的置信度,该方法还包括:
设置第一置信度阈值与个数阈值;
获取所述目标红外图片的各字符的置信度;
获取所述目标红外图片的第一字符个数,所述第一字符个数为置信度大于所述第一置信度阈值的字符个数;
当所述目标红外图片的所述第一字符个数小于所述个数阈值或所述字符信息中汉字个数不符合车牌汉字规则或汉字位置不符合所述车牌汉字规则时,对所述目标红外图片进行反色处理以得到反色红外图片;
将所述反色红外图片输入所述字符识别网络以得到所述反色红外图片的目标字符位置、目标字符类别以及各字符的置信度;
获取所述反色红外图片的所述第一字符个数;
当所述目标红外图片的所述第一字符个数大于所述反色红外图片的所述第一字符个数时,将所述目标红外图片的目标字符位置与目标字符类别作为最终字符信息;
当所述目标红外图片的所述第一字符个数小于所述反色红外图片的所述第一字符个数时,将所述反色红外图片的目标字符位置与目标字符类别作为最终字符信息,并且改变所述目标字符颜色。
优选地,还包括:
设置第二置信度阈值;
当所述最终字符信息的所述字符个数大于所述个数阈值,且最后一位字符的置信度小于所述第二置信度阈值时,舍去所述最后一位字符;
当所述最终字符信息的所述字符个数大于所述个数阈值,第一位字符的置信度小于所述第二置信度阈值且所述第一位字符不为汉字时,舍去所述第一位字符。
优选地,还包括:
当所述最终字符信息不符合字符编写规则时,对所述最终字符信息进行修正。
优选地,所述字符识别网络的结构为CNN+LSTM+CTC。
为解决上述技术问题,本申请提供一种车牌颜色的识别装置,包括:
第一获取模块,用于预先获取各车牌颜色与各字符信息之间的对应关系;
第二获取模块,用于获取目标车牌的目标红外图片;
第一确定模块,用于通过所述目标红外图片确定所述目标车牌的字符信息;
第二确定模块,用于根据所述对应关系确定所述字符信息对应的车牌颜色。
为解决上述技术问题,本申请还提供一种车牌颜色的识别装置,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述车牌颜色的识别方法的步骤。
为解决上述技术问题,本申请提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述车牌颜色的识别方法的步骤。
本申请所提供的一种车牌颜色的识别方法,预先获取了各车牌颜色与各字符信息的对应关系。由于获取了目标车牌的红外图片,因此可以通过红外图片确定目标车牌的字符信息。然后根据所述对应关系就可以确定该字符信息对应的车牌颜色。虽然红外图片为灰度图,会丢失大量的颜色信息,但是因为车牌的字符颜色为黑色或白色,所以字符信息丢失的概率较低,因此该方法没有直接利用红外图片的颜色信息,而是通过红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车牌颜色的识别方法的流程图;
图2为本申请实施例提供的一种车牌颜色的识别装置的结构图;
图3为本申请实施例提供的另一种车牌颜色的识别装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种车牌颜色的识别方法、装置及介质。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
需要说明的是,本申请中提到的红外图片为灰度图,通常由红外灯辐射红外线实现红外补光,再使用可以感受红外光的摄像机接收车牌反射回的红外线而生成的。该红外图片可以在白天通过红外补光得到,也可以在晚上通过红外补光得到。该方法的使用场景包括但不限于夜晚的高速路段以及城市的繁华地区的路段。
图1为本申请实施例提供的一种车牌颜色的识别方法的流程图,如图1所示,该方法包括:
S10:预先获取各车牌颜色与各字符信息之间的对应关系。
在具体实施中,该车牌颜色的识别方法需基于硬件设备实现,硬件设备中通常包括存储设备,可以通过存储设备存储以上对应关系。需要说明的是,车牌颜色通常包括蓝色、黄色、黑色、绿色等,车牌颜色会根据使用该车牌的车辆类型以及车辆用途等来决定。而车牌的字符信息可以反映使用该车牌的车辆类型以及车辆用途等,因此车牌颜色与字符信息之间存在对应关系,且当字符信息确定之后,车牌颜色是唯一的。表1为部分车牌颜色与字符信息之间的对应关系表,具体的表1出示了车牌颜色与字符颜色、单双层类型、字符位置、字符类别之间的对应关系。具体的表1中的数据可根据国家相关规定得到。
表1
如表1所示,括号中逗号之前表示车牌颜色,逗号之后表示车牌的字符位数,需要说明的是车牌的字符位数可以根据字符位置得到。可以理解的是,各车牌颜色与各字符信息之间的对应关系会随着车牌类型的增加或修改而增加或修改,例如表1中包含目前新增新能源车牌,新能源车牌颜色为绿色,包含8位字符,第一位为汉字,第三位为D或F,该对应关系也需对应增加。
S11:获取目标车牌的目标红外图片。
在具体实施中,使用红外灯对目标车牌进行红外补光,利用可感受红外光的摄像机接收目标车牌所反射的红外线以生成目标红外图片。执行该方法的硬件设备中的处理器获取该目标红外图片。
需要说明的是,本实施例对于红外补光时红外灯的辐射强度没有限定,对于红外灯以及摄像机的类型以及型号没有具体限制,可根据实际情况进行选择。
S12:通过目标红外图片确定目标车牌的字符信息。
因为获取了目标红外图片,所以处理器可以通过图像处理方法来确定目标车牌的字符信息。
需要说明的是,本实施例对于所采用的图像处理方法的类型不作限制。可以使用传统的图像处理方法,对红外图片的车牌进行字符分割后使用模板匹配以得到字符信息,或者将红外图片输入基于深度学习的神经网络,以获取该神经网络输出的字符信息,可根据实际情况进行选择。
S13:根据对应关系确定字符信息对应的车牌颜色。
在具体实施中,处理器根据存储的对应关系来确定由上一步骤得到的字符信息所对应的车牌颜色,该车牌颜色即为目标车牌的车牌颜色。
本申请所提供的一种车牌颜色的识别方法,预先获取了各车牌颜色与各字符信息的对应关系。由于获取了目标车牌的红外图片,因此可以通过红外图片确定目标车牌的字符信息。然后根据所述对应关系就可以确定该字符信息对应的车牌颜色。虽然红外图片为灰度图,会丢失大量的颜色信息,但是因为车牌的字符颜色为黑色或白色,所以字符信息丢失的概率较低,因此该方法没有直接利用红外图片的颜色信息,而是通过红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。
在上述实施例的基础上,本实施例中,字符信息包括字符颜色、单双层类型、字符位置以及字符类别,S12具体为:
搭建并训练基于深度学习的类型判断网络与字符识别网络;类型判断网络的输入信号为车牌的红外图片,输出信号为字符颜色与单双层类型,字符识别网络的输入信号为红外图片,输出信号为字符位置与字符类别;
将目标红外图片输入类型判断网络以得到目标字符颜色与目标单双层类型;
当目标车牌为单层车牌时,将目标红外图片输入字符识别网络以得到目标字符位置与目标字符类别;
当目标车牌为双层车牌时,将目标红外图片分为上下两层图片,将下层图片输入字符识别网络以得到下层图片的目标字符位置与目标字符类别,根据下层图片的目标字符位置确定上层图片的目标字符位置,将上层图片的目标字符位置所对应的图片部分输入字符识别网络以得到上层图片的目标字符类别。
在具体实施中,首先搭建基于深度学习的类型判断网络与字符识别网络,然后将准备好的车牌的样本红外图片作为类型判断网络与字符识别网络的训练数据,对神经网络进行训练以达到使用要求。其中类型判断网络的输出信号为字符颜色与单双层类型,字符识别网络的输出信号为字符位置与字符类别。然后将目标红外图片输入训练好的类型判断网络以得到目标字符颜色与目标单双层类型。之后根据类型判断网络输出的目标单双层类型确定目标车牌的单双层类型,当目标车牌为单层车牌时,将目标红外图片直接输入字符识别网络以得到目标字符位置与目标字符类别,当目标车牌为双层车牌时,将目标红外图片分为上下两层图片,然后将下层图片输入字符识别网络以得到下层图片的目标字符位置与目标字符类别,根据下层图片的目标字符位置确定上层图片的目标字符位置,将上层图片的目标字符位置所对应的图片部分输入字符识别网络以得到上层图片的目标字符类别,如此减少了字符的背景干扰,使得识别结果的准确率可以大大提升。最后根据得到的目标字符颜色、目标单双层类型、目标字符位置以及目标字符类别作为字符信息来确定车牌颜色。对于双层车牌,上层图片的目标字符位置与目标字符类别和下层图片的目标字符位置与目标字符类别都作为字符信息来确定车牌颜色。
相较于使用传统的图像处理方法,使用基于深度学习神经网络来处理图像得到的识别结果更加准确,且相较于传统图像处理方法,基于深度学习的神经网络更易适应车牌类型的增加或更改,只需重新选取样本红外图片对神经网络进行训练即可,而传统图像处理方法在面对车牌类型的增加或更改时,相应的算法需重新编写,且随着车牌类型的增加,算法的编写将相当复杂困难,且识别效果也会降低。
需要说明的是,目前的车牌中,字符颜色为黑色或白色,单双层类型包括单层与双层,上述字符位置指字符位于车牌字符的第几位,当车牌为双层车牌时还包括位于上层还是下层,该字符类别具体到字符为1、3、E、京或警等。本实施例对类型判断网络与字符识别网络的具体结构没有限制,可根据实际情况进行选择。作为一种优选地实施方式,字符识别网络的结构为CNN(Convolutional Neural Network,卷积神经网络)+LSTM(Long-ShortTerm Memory,长短期记忆神经网络)+CTC(Connectionist Temporal Classification,时序分类)。在多次实验后,发现此结构的神经网络对于字符识别的准确率较高,因此字符识别网络采用此结构。
进一步的,训练字符识别网络时使用的样本红外图片的字符颜色一致,字符颜色包括黑色或白色,在当目标车牌为单层车牌时,将目标红外图片输入字符识别网络以得到目标字符位置与目标字符类别之前,还包括:
当目标字符颜色与样本红外图片的字符颜色不一致时,对目标红外图片进行反色处理。
在具体实施中,首先确定样本红外图片的字符颜色,即黑色或白色,下文以黑色为例进行说明。在选取用于训练字符识别网络的样本红外图片时,首先判断该红外图片的字符颜色是否为黑色,如果不为黑色则对该红外图片进行反色处理,然后作为样本红外图片,如果该红外图片的字符颜色为黑色,则直接作为样本红外图片。然后利用得到的样本图片对字符识别网络进行训练。将目标红外图片输入到字符识别网络之前,先通过类型判断网络输出的目标字符颜色判断目标字符颜色是否为黑色,如果不为黑色,对目标红外图片进行反色处理之后再输入字符识别网络以得到目标字符位置与目标字符类别,如果目标字符颜色为黑色则直接输入字符识别网络以得到目标字符位置与目标字符类别。
将样本红外图片的字符颜色统一为黑色,并且将目标红外图片的字符颜色也变为黑色输入字符识别网络,如此消除了字符颜色不一致对识别结果的影响,使得识别结果中的字符位置与字符类别的准确率大大提升。
需要说明的是,本实施例对于样本红外图片的字符颜色不作限制,可以为黑色也可以为白色,可根据实际情况进行选择。
在以上实施例的基础上,本实施例中,字符识别网络的输出信号还包括各字符的置信度,该方法还包括:
设置第一置信度阈值与个数阈值;
获取目标红外图片的各字符的置信度;
获取目标红外图片的第一字符个数,第一字符个数为置信度大于第一置信度阈值的字符个数;
当目标红外图片的第一字符个数小于个数阈值或字符信息中汉字个数不符合车牌汉字规则或汉字位置不符合车牌汉字规则时,对目标红外图片进行反色处理以得到反色红外图片;
将反色红外图片输入字符识别网络以得到反色红外图片的目标字符位置、目标字符类别以及各字符的置信度;
获取反色红外图片的第一字符个数;
当目标红外图片的第一字符个数大于反色红外图片的第一字符个数时,将目标红外图片的目标字符位置与目标字符类别作为最终字符信息;
当目标红外图片的第一字符个数小于反色红外图片的第一字符个数时,将反色红外图片的目标字符位置与目标字符类别作为最终字符信息,并且改变目标字符颜色。
在具体实施中,当目标红外图片的各字符的置信度较低时,置信度大于第一置信度阈值的字符个数小于个数阈值时,即第一字符个数小于个数阈值或字符信息中汉字个数不符合车牌汉字规则或汉字位置不符合车牌汉字规则时,可能是由类型判断网络输出的目标字符颜色出现识别错误导致。汉字个数或汉字位置不符合车牌汉字规则包括但不限于字符信息中出现多个汉字或者在中间位置出现了汉字的情况。因此对目标红外图片进行反色处理得到反色红外图片,然后获取反色红外图片的第一字符个数并与目标红外图片的第一字符个数进行比较,当目标红外图片的第一字符个数大于反色红外图片的第一字符个数时,将目标红外图片的目标字符位置与目标字符类别作为最终字符信息,用于确定车牌颜色。当目标红外图片的第一字符个数小于反色红外图片的第一字符个数时,将反色红外图片的目标字符位置与目标字符类别作为最终字符信息,并且改变目标字符颜色,用于确定车牌颜色。如此可以降低类型判断网络对于字符颜色的识别错误对字符识别网络所带来的影响,提高了字符识别网络的识别结果的准确率,因此也使得所确定的车牌颜色更加准确。下面对几种特殊车牌类型的车牌颜色的识别进行说明以及分析:
需要说明的是,下面四个例子的第一置信度阈值均为0.9,个数阈值均为5。
1、类型判断网络输出:字符黑色,单层;
字符识别网络输出:浙AF12345,第一字符个数为8;
车牌颜色识别结果:渐变绿色;
分析:8位字符,单层且字符颜色为黑色,为典型的新能源车牌。
2、类型判断网络输出:字符白色,双层;
字符识别网络输出:皖0123456,第一字符个数为7;
车牌颜色识别结果:绿色;
分析:8位字符,双层且字符颜色为白色,为典型的农用车牌。
3、类型判断网络输出:字符白色,单层;
字符识别网络输出:粤Z1234澳,第一字符个数为7;
车牌颜色识别结果:黑色;
分析:7位字符,单层且字符颜色为白色,通常情况下车牌颜色为蓝色,但注意到前两位为粤Z,末位为澳,车牌颜色识别结果为黑色,为港澳车牌。
4、类型判断网络输出:字符白色,单层;
目标红外图片对应的字符识别网络输出:浙A1234,第一字符个数:4;
第一反色红外图片对应的字符识别网络输出:浙A1235警,第一字符个数为6;
车牌颜色识别结果:白色;
分析:目标红外图片的第一字符个数小于个数阈值,因此对目标红外图片进行反色处理以得到反色红外图片,将其输入字符识别网络得到输出结果:浙A1235警,可以看出,反色处理后警字在灰度图中显示为黑色才能被字符识别网络正常识别出来,并且其他字符的可信度也增加了,证明之前的字符颜色判断错误,应该为黑色,最后根据字符信息判断出车牌颜色为白色。
需要说明的是,本实施例对于第一置信度阈值与个数阈值的具体值不作限定,可根据实际情况进行选择,如第一置信度阈值为0.9,个数阈值为5。
在以上实施例的基础上,字符识别网络的输出信号还包括各字符的置信度,该方法还包括:
设置第二置信度阈值;
当最终字符信息的第一字符个数大于个数阈值,且最后一位字符的置信度小于第二置信度阈值时,舍去所述最后一位字符;
当最终字符信息的第一字符个数大于个数阈值,第一位字符的置信度小于第二置信度阈值且第一位字符不为汉字时,舍去第一位字符。
在具体实施中,考虑到字符识别网络在识别过程中可能受车牌边框的影响,进而可能会造成第一位或末位误识别一位的情况,例如最终字符信息为:浙AF123211、字符黑色、单层,前8位字符的置信度均大于0.9,最后一位字符的置信度为0.1,此时认为字符识别网络误识别一位字符,将最后一位字符舍去,最终字符信息修正为浙AF12321。而当最终字符信息为:冀AF43210、字符黑色、单层,后7位字符置信度大于0.9,第一位字符置信度为0.3,此时考虑到如果把第一位舍去,显然不符合车牌编写规则,最终字符信息不作修正,依然为冀AF43210,第一字符置信度阈值过低可能由于目标红外图片拍摄不佳导致或者车牌有异物遮挡导致。
需要说明的是,本实施例对于第二置信度阈值的具体值不作限制,可根据实际情况进行选择,显然第二置信度阈值小于第一置信阈值。
进一步的,当最终字符信息不符合字符编写规则时,对最终字符信息进行修正。
在具体实施中,当最终字符信息不符合目前车牌的字符编写规则时,对最终字符信息进行修正。需要说明的是,字符编写规则按照目前的国家规定来确定,可以理解的是当国家规定发生变化时,字符编写规则也需随之变化。例如当最终字符信息为单层的“浙012345”,不符合字符编写规则,根据相似字符对应关系会被修正为“浙D12345”。其中相似字符对应关系包括但不限于0与D以及8与B。再比如,新能源车牌第三位为D或F,当判定该车牌为新能源车牌后,第三位为其它字符时,对其进行修正。例如港澳车牌前两位为粤Z,末位为港或澳,当前两位输出为粤2时,将其修正为粤Z,或者末位不为港或澳时,将末位修正为港或澳。如此进一步提高了车牌颜色识别的准确率。
在上述实施例中,对于车牌颜色的识别方法进行了详细描述,本申请还提供车牌颜色的识别装置对应的实施例。需要说明的是,本申请从两个角度对装置部分的实施例进行描述,一种是基于功能模块的角度,另一种是基于硬件的角度。
图2为本申请实施例提供的一种车牌颜色的识别装置的结构图,如图2所示,该装置包括:
第一获取模块10,用于预先获取各车牌颜色与各字符信息之间的对应关系;
第二获取模块11,用于获取目标车牌的目标红外图片;
第一确定模块12,用于通过目标红外图片确定目标车牌的字符信息;
第二确定模块13,用于根据对应关系确定字符信息对应的车牌颜色。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请所提供的一种车牌颜色的识别装置,预先获取了各车牌颜色与各字符信息的对应关系。由于获取了目标车牌的红外图片,因此可以通过红外图片确定目标车牌的字符信息。然后根据所述对应关系就可以确定该字符信息对应的车牌颜色。虽然红外图片为灰度图,会丢失大量的颜色信息,但是因为车牌的字符颜色为黑色或白色,所以字符信息丢失的概率较低,因此该方法没有直接利用红外图片的颜色信息,而是通过红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。
图3为本申请另一实施例提供的另一种车牌颜色的识别装置的结构图,如图3所示,该装置包括:存储器20,用于存储计算机程序;
处理器21,用于执行所述计算机程序时实现如上述实施例中的车牌颜色的识别方法的步骤。
本实施例提供的车牌颜色的识别装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器20至少用于存储以下计算机程序201,其中,该计算机程序被处理器21加载并执行之后,能够实现前述任一实施例公开的车牌颜色的识别方法的相关步骤。另外,存储器20所存储的资源还可以包括操作系统202和数据203等,存储方式可以是短暂存储或者永久存储。其中,操作系统202可以包括Windows、Unix、Linux等。
在一些实施例中,车牌颜色的识别装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解,图3中示出的结构并不构成对车牌颜色的识别装置的限定,可以包括比图示更多或更少的组件。
本申请实施例提供的一种车牌颜色的识别装置,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如下方法:一种车牌颜色的识别方法。
本申请所提供的另一种车牌颜色的识别装置,预先获取了各车牌颜色与各字符信息的对应关系。由于获取了目标车牌的红外图片,因此可以通过红外图片确定目标车牌的字符信息。然后根据所述对应关系就可以确定该字符信息对应的车牌颜色。虽然红外图片为灰度图,会丢失大量的颜色信息,但是因为车牌的字符颜色为黑色或白色,所以字符信息丢失的概率较低,因此该方法没有直接利用红外图片的颜色信息,而是通过红外图片中的字符信息来确定目标车牌的车牌颜色,使得车牌颜色的识别准确率大大提升。
最后,本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的车牌颜色的识别方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种车牌颜色的识别方法,其特征在于,包括:
预先获取各车牌颜色与各字符信息之间的对应关系;
获取目标车牌的目标红外图片;
通过所述目标红外图片确定所述目标车牌的字符信息;所述字符信息包括字符颜色、单双层类型、字符位置以及字符类别;
根据所述对应关系确定所述字符信息对应的车牌颜色;
其中,所述通过所述目标红外图片确定所述目标车牌的字符信息,包括:搭建并训练基于深度学习的类型判断网络与字符识别网络;所述字符识别网络的输出信号还包括各字符的置信度,该方法还包括:
设置第一置信度阈值与个数阈值;
获取所述目标红外图片的各字符的置信度;
获取所述目标红外图片的第一字符个数,所述第一字符个数为置信度大于所述第一置信度阈值的字符个数;
当所述目标红外图片的所述第一字符个数小于所述个数阈值或所述字符信息中汉字个数不符合车牌汉字规则或汉字位置不符合所述车牌汉字规则时,对所述目标红外图片进行反色处理以得到反色红外图片;
将所述反色红外图片输入所述字符识别网络以得到所述反色红外图片的目标字符位置、目标字符类别以及各字符的置信度;
获取所述反色红外图片的所述第一字符个数;
当所述目标红外图片的所述第一字符个数大于所述反色红外图片的所述第一字符个数时,将所述目标红外图片的目标字符位置与目标字符类别作为最终字符信息;
当所述目标红外图片的所述第一字符个数小于所述反色红外图片的所述第一字符个数时,将所述反色红外图片的目标字符位置与目标字符类别作为最终字符信息,并且改变目标字符颜色;所述目标字符颜色为将所述目标红外图片输入所述类型判断网络得到的字符颜色。
2.根据权利要求1所述的车牌颜色的识别方法,其特征在于,所述字符信息包括字符颜色、单双层类型、字符位置以及字符类别,所述通过所述目标红外图片确定所述目标车牌的字符信息具体为:
搭建并训练基于深度学习的类型判断网络与字符识别网络;所述类型判断网络的输入信号为车牌的红外图片,输出信号为字符颜色与单双层类型,所述字符识别网络的输入信号为所述红外图片,输出信号为字符位置与字符类别;
将所述目标红外图片输入所述类型判断网络以得到目标字符颜色与目标单双层类型;
当所述目标车牌为单层车牌时,将所述目标红外图片输入所述字符识别网络以得到目标字符位置与目标字符类别;
当所述目标车牌为双层车牌时,将所述目标红外图片分为上下两层图片,将下层图片输入所述字符识别网络以得到所述下层图片的目标字符位置与目标字符类别,根据所述下层图片的目标字符位置确定上层图片的目标字符位置,将所述上层图片的目标字符位置所对应的图片部分输入所述字符识别网络以得到所述上层图片的目标字符类别。
3.根据权利要求2所述的车牌颜色的识别方法,其特征在于,训练所述字符识别网络时使用的样本红外图片的字符颜色一致,所述字符颜色包括黑色或白色,在所述当所述目标车牌为单层车牌时,将所述目标红外图片输入所述字符识别网络以得到目标字符位置与目标字符类别之前,还包括:
当所述目标字符颜色与所述样本红外图片的字符颜色不一致时,对所述目标红外图片进行反色处理。
4.根据权利要求1所述的车牌颜色的识别方法,其特征在于,还包括:
设置第二置信度阈值;
当所述最终字符信息的所述字符个数大于所述个数阈值,且最后一位字符的置信度小于所述第二置信度阈值时,舍去所述最后一位字符;
当所述最终字符信息的所述字符个数大于所述个数阈值、第一位字符的置信度小于所述第二置信度阈值且所述第一位字符不为汉字时,舍去所述第一位字符。
5.根据权利要求4所述的车牌颜色的识别方法,其特征在于,还包括:
当所述最终字符信息不符合字符编写规则时,对所述最终字符信息进行修正。
6.根据权利要求2-5任意一项所述的车牌颜色的识别方法,其特征在于,所述字符识别网络的结构为CNN+LSTM+CTC。
7.一种车牌颜色的识别装置,其特征在于,包括:
第一获取模块,用于预先获取各车牌颜色与各字符信息之间的对应关系;
第二获取模块,用于获取目标车牌的目标红外图片;
第一确定模块,用于通过所述目标红外图片确定所述目标车牌的字符信息;所述字符信息包括字符颜色、单双层类型、字符位置以及字符类别;
第二确定模块,用于根据所述对应关系确定所述字符信息对应的车牌颜色;
其中,所述第一确定模块,具体用于:搭建并训练基于深度学习的类型判断网络与字符识别网络;所述字符识别网络的输出信号还包括各字符的置信度,该车牌颜色的识别装置,还用于:
设置第一置信度阈值与个数阈值;
获取所述目标红外图片的各字符的置信度;
获取所述目标红外图片的第一字符个数,所述第一字符个数为置信度大于所述第一置信度阈值的字符个数;
当所述目标红外图片的所述第一字符个数小于所述个数阈值或所述字符信息中汉字个数不符合车牌汉字规则或汉字位置不符合所述车牌汉字规则时,对所述目标红外图片进行反色处理以得到反色红外图片;
将所述反色红外图片输入所述字符识别网络以得到所述反色红外图片的目标字符位置、目标字符类别以及各字符的置信度;
获取所述反色红外图片的所述第一字符个数;
当所述目标红外图片的所述第一字符个数大于所述反色红外图片的所述第一字符个数时,将所述目标红外图片的目标字符位置与目标字符类别作为最终字符信息;
当所述目标红外图片的所述第一字符个数小于所述反色红外图片的所述第一字符个数时,将所述反色红外图片的目标字符位置与目标字符类别作为最终字符信息,并且改变目标字符颜色;所述目标字符颜色为将所述目标红外图片输入所述类型判断网络得到的字符颜色。
8.一种车牌颜色的识别装置,其特征在于,包括存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的车牌颜色的识别方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的车牌颜色的识别方法的步骤。
CN202010699393.5A 2020-07-20 2020-07-20 一种车牌颜色的识别方法、装置及介质 Active CN111860539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699393.5A CN111860539B (zh) 2020-07-20 2020-07-20 一种车牌颜色的识别方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699393.5A CN111860539B (zh) 2020-07-20 2020-07-20 一种车牌颜色的识别方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111860539A CN111860539A (zh) 2020-10-30
CN111860539B true CN111860539B (zh) 2024-05-10

Family

ID=73001112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699393.5A Active CN111860539B (zh) 2020-07-20 2020-07-20 一种车牌颜色的识别方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111860539B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223156A (ja) * 1993-01-25 1994-08-12 Nippon Signal Co Ltd:The ナンバープレート抽出装置
JP2011113440A (ja) * 2009-11-30 2011-06-09 Fujitsu Ltd ナンバープレート認識プログラムおよびナンバープレート認識装置
CN103207992A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技(苏州)有限公司 车辆牌照字符和颜色联合识别方法
CN104573656A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于连通区域信息的车牌颜色判断方法
CN105405298A (zh) * 2015-12-24 2016-03-16 浙江宇视科技有限公司 一种车牌标识的识别方法和装置
CN105512600A (zh) * 2014-09-28 2016-04-20 江苏省兴泽实业发展有限公司 一种基于互信息与特征提取的车牌识别方法
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置
CN107403176A (zh) * 2017-03-29 2017-11-28 北京粉笔未来科技有限公司 文本图片中文字背景反色的检测方法和装置
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN107817679A (zh) * 2016-08-24 2018-03-20 南京理工大学 基于红外与可见光融合跟踪的舰船水炮控制系统及方法
CN108154160A (zh) * 2017-12-27 2018-06-12 苏州科达科技股份有限公司 车牌颜色识别方法及系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
CN110070082A (zh) * 2019-04-22 2019-07-30 苏州科达科技股份有限公司 车牌识别方法、装置、设备及存储介质
CN110490186A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110956169A (zh) * 2018-09-27 2020-04-03 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615815B (zh) * 2017-03-03 2018-02-21 群光電能科技股份有限公司 雲端跨區車牌辨識系統

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223156A (ja) * 1993-01-25 1994-08-12 Nippon Signal Co Ltd:The ナンバープレート抽出装置
JP2011113440A (ja) * 2009-11-30 2011-06-09 Fujitsu Ltd ナンバープレート認識プログラムおよびナンバープレート認識装置
CN103207992A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技(苏州)有限公司 车辆牌照字符和颜色联合识别方法
CN105512600A (zh) * 2014-09-28 2016-04-20 江苏省兴泽实业发展有限公司 一种基于互信息与特征提取的车牌识别方法
CN104573656A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于连通区域信息的车牌颜色判断方法
CN105405298A (zh) * 2015-12-24 2016-03-16 浙江宇视科技有限公司 一种车牌标识的识别方法和装置
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置
CN107817679A (zh) * 2016-08-24 2018-03-20 南京理工大学 基于红外与可见光融合跟踪的舰船水炮控制系统及方法
CN107403176A (zh) * 2017-03-29 2017-11-28 北京粉笔未来科技有限公司 文本图片中文字背景反色的检测方法和装置
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
CN108154160A (zh) * 2017-12-27 2018-06-12 苏州科达科技股份有限公司 车牌颜色识别方法及系统
CN110490186A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110956169A (zh) * 2018-09-27 2020-04-03 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN110070082A (zh) * 2019-04-22 2019-07-30 苏州科达科技股份有限公司 车牌识别方法、装置、设备及存储介质
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汽车牌照号码识别中反色判断的新方法;郑伯川, 叶修梓, 张三元;计算机工程(第06期);全文 *
视频图像车牌颜色辨别方法;王祖龙;谢红;;应用科技(第01期);全文 *

Also Published As

Publication number Publication date
CN111860539A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN103093181B (zh) 一种车牌图像定位的方法和装置
US20210158699A1 (en) Method, device, readable medium and electronic device for identifying traffic light signal
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN107273896A (zh) 一种基于图像识别的车牌检测识别方法
CN107679531A (zh) 基于深度学习的车牌识别方法、装置、设备及存储介质
US11941891B2 (en) Method for detecting lane line, vehicle and computing device
CN107122777A (zh) 一种基于视频文件的车辆分析系统及分析方法
KR20210078530A (ko) 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체
CN104751142A (zh) 一种基于笔划特征的自然场景文本检测算法
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
CN109255350A (zh) 一种基于视频监控的新能源车牌检测方法
CN108109133B (zh) 一种基于数字图像处理技术的蚕卵自动计数方法
CN106096601A (zh) 一种自动检测票据中字符类型的方法和系统
CN112149476A (zh) 目标检测方法、装置、设备和存储介质
CN108830131A (zh) 基于深度学习的交通目标检测与测距方法
CN113297939B (zh) 障碍物检测方法、系统、终端设备及存储介质
CN110909674A (zh) 一种交通标志识别方法、装置、设备和存储介质
CN111860539B (zh) 一种车牌颜色的识别方法、装置及介质
CN111950469A (zh) 一种道路标识检测方法、系统、设备和介质
CN110751150A (zh) 一种基于fpga的二值神经网络车牌识别方法及系统
Huang et al. Chinese license plate detection based on deep neural network
CN111241916A (zh) 一种交通标志识别模型的建立方法
CN116091964A (zh) 高位视频场景解析方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant