CN111639598A - 车牌识别方法、车牌识别装置、车牌识别设备及存储介质 - Google Patents

Abstract

本发明公开了一种车牌识别方法、车牌识别装置、车牌识别设备及存储介质，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

Description

车牌识别方法、车牌识别装置、车牌识别设备及存储介质

技术领域

本发明涉及道路交通技术领域，特别是涉及一种车牌识别方法、车牌识别装置、车牌识别设备及存储介质。

背景技术

现如今，我国车辆保有量和交通出行量不断增长，道路交通管理的工作任务日渐繁重。在人工智能发展迅猛的今天，智能交通系统应运而生，并逐步取代传统人工监管，成为当前交通监管的主流系统。其以车牌识别、人脸识别、路况采集、违章取证、红绿灯监管等多种功能为一体，通过数字化管理实现信息交互，有效地解决了交通管理领域诸多棘手问题。

在目前的硬件条件下，车牌号码是车辆最为关键的身份信息。非现场违章检测管理系统根据车辆违章行为与车牌号码，生成正确的违章记录。而部分驾驶员为了在违章行驶中逃避处罚，故意使用光盘、宣传单、手套等物体，将车牌进行遮挡，导致车牌无法被正确识别。另外，由于人为或非人为的原因，造成了车牌的污损，也导致了车牌无法被正确识别。这些行为扰乱了交通管理的正常秩序，对交通安全造成了极大的隐患。

相关法条规定，“机动车号牌应当按照规定悬挂并保持清晰、完整，不得故意遮挡、污损”。然而，现有技术中还未有对车牌是遮挡还是污损的情况进行判断的方案。

发明内容

本发明的目的是提供一种车牌识别方法、车牌识别装置、车牌识别设备及存储介质，用于在识别车牌号码的基础上对车牌遮挡、污损情况进行判别，从而有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

为解决上述技术问题，本发明提供一种车牌识别方法，包括：

获取待检测车辆的车牌区域图；

将所述车牌区域图输入预先训练的第一分类模型，得到所述待检测车辆的遮挡污损识别结果；其中，所述遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；

将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果；

分析确定所述字符识别结果中未识别到的字符；

将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果；

输出所述车牌识别结果。

可选的，所述获取待检测车辆的车牌区域图，具体包括：

获取所述待检测车辆的车辆图像，在所述车辆图像中确定车牌感兴趣区域图；

将所述车牌感兴趣区域图输入预先训练的目标检测模型，得到所述车牌区域图。

可选的，在所述将所述车牌区域图输入预先训练的第一分类模型之前，还包括：

按比例对所述车牌区域图进行扩边处理，得到车牌扩边图；

将所述车牌扩边图输入预先训练的第二分类模型，得到所述车牌扩边图的是非车牌检测结果；

判读所述是非车牌检测结果是否为是车牌；

如果是，则进入所述将所述车牌区域图输入预先训练的第一分类模型的步骤。

可选的，在所述将所述车牌区域图输入预先训练的第一分类模型之前，还包括：

判断遮挡污损车牌检测开关状态是否为开启；

如果是，则进入所述将所述车牌区域图输入预先训练的第一分类模型的步骤；

如果否，则进入所述将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果的步骤。

可选的，所述分析确定所述字符识别结果中未识别到的字符，具体包括：

依据所述车牌区域图识别得到所述待检测车辆的车牌类型；

根据所述车牌类型确定所述待检测车辆的车牌字符组合规则；

根据所述车牌字符组合规则确定所述待检测车牌的非汉字字符的位置；

当所述字符识别结果的第一位汉字字符的置信度小于预设汉字置信度阈值时，确定所述第一位汉字字符为未识别到的字符；

确定所述字符识别结果中除所述第一位汉字字符和最后一位字符的剩余字符中置信度小于预设非汉字字符置信度阈值的非汉字字符为未识别到的字符；

当所述最后一位字符为汉字字符时，根据与所述汉字字符对应的识别规则及所述预设汉字置信度阈值判断所述最后一位字符是否为未识别到的字符；

当所述最后一位字符为非汉字字符且所述最后一位字符的置信度小于所述预设非汉字字符置信度阈值时，确定所述最后一位字符为未识别到的字符。

可选的，所述将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果，具体包括：

当所述遮挡污损识别结果为正常车牌时，则以所述字符识别结果为所述车牌识别结果；

当所述遮挡污损识别结果为遮挡车牌时，将所述字符识别结果中未识别到的字符用第一符号代替，得到所述车牌识别结果；

当所述遮挡污损识别结果为污损车牌时，将所述字符识别结果中未识别到的字符用第二符号代替，得到所述车牌识别结果。

可选的，所述第一分类模型具体为卷积神经网络模型。

为解决上述技术问题，本发明还提供一种车牌识别装置，包括：

获取单元，用于获取待检测车辆的车牌区域图；

遮挡污损识别单元，用于将所述车牌区域图输入预先训练的第一分类模型，得到所述待检测车辆的遮挡污损识别结果；其中，所述遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；

字符识别单元，用于将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果；

分析单元，用于分析确定所述字符识别结果中未识别到的字符；

汇总单元，用于将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果；

输出单元，用于输出所述车牌识别结果。

为解决上述技术问题，本发明还提供一种车牌识别设备，包括：

存储器，用于存储指令，所述指令包括上述任意一项所述车牌识别方法的步骤；

处理器，用于执行所述指令。

为解决上述技术问题，本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述车牌识别方法的步骤。

本发明所提供的车牌识别方法，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。本发明还提供一种车牌识别装置、车牌识别设备及存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车牌识别方法的流程图；

图2为本发明实施例提供的另一种车牌识别方法的流程图；

图3为本发明实施例提供的一种图1中步骤S104的具体实施方式的流程图；

图4为本发明实施例提供的一种车牌识别装置的结构示意图；

图5为本发明实施例提供的一种车牌识别设备的结构示意图。

具体实施方式

本发明的核心是提供一种车牌识别方法、车牌识别装置、车牌识别设备及存储介质，用于在识别车牌号码的基础上对车牌遮挡、污损情况进行判别，从而有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种车牌识别方法的流程图。

如图1所示，本发明实施例提供的车牌识别方法包括：

S101：获取待检测车辆的车牌区域图。

车牌区域图即包含了车牌(或包含其周边少量区域的)的图像。

在道路监控过程中，直接获取的是车辆图像，在一次完整的车牌识别流程中，车辆图像为首个输入数据。则步骤S101具体可以包括：

获取待检测车辆的车辆图像，在车辆图像中确定车牌感兴趣区域图；

将车牌感兴趣区域图输入预先训练的目标检测模型，得到车牌区域图。

其中，车牌感兴趣区域图可以为车头图像或车尾图像。预先利用已知车牌感兴趣区域位置的车辆图像训练目标检测模型。目标检测模型可以采用由传统特征提取(如，方向梯度直方图HOG)、机器学习分类器(如，支持向量机分类器)构成目标检测模型，优选采用由卷积神经网络模型、回归器、分类器构成的深度学习目标检测模型，可以适应各种复杂的环境，鲁棒性高，误判率低。

将车牌感兴趣区域图输入目标检测模型后，得到按置信度大小排序的多个车牌区域图，可以选择前三个车牌区域图进行下述步骤。

S102：将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果。

其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌。

S103：将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果。

步骤S102和步骤S103之间无顺序关系，也可以同时进行。

由于遮挡污损判断是相较于现有技术增加的判断流程，增加了车牌识别过程的计算，故在步骤S102将车牌区域图输入预先训练的第一分类模型之前，还可以包括：

判断遮挡污损车牌检测开关状态是否为开启；

如果是，则进入步骤S102；

如果否，则进入步骤S103。

为适应各种复杂的环境，进行有效的遮挡、污损分类，第一分类模型优选采用卷积神经网络模型。

预先采用遮挡车牌的样本和污损车牌的样本训练第一分类模型，为了解决样本少的难题，使用数据增强技术，如添加随机噪声、仿射变换、随机剪裁、改变对比度，使得样本更丰富、更具有普遍性，进而使得模型具备更好的泛化性。

第一分类模型的输出的遮挡污损识别结果可以为遮挡污损标志位的形式，如遮挡污损标志位为0表示正常车牌，遮挡污损标志位为1表示遮挡车牌，遮挡污损标志位为2表示污损车牌。

第一分类模型的分类置信度向量共三个元素，依次表示正常、遮挡和污损，其和为1。分类置信度向量中值最大的元素，对应了分类结果，根据上述对应规则，可得到遮挡污损标志位的具体值。例如，假设分类置信度为[0.002,0.990,0.008]，最大值为0.99，则分类结果为遮挡，遮挡污损标志位为1。

字符识别模型具体可以由卷积神经网络、长短期记忆模型和CTC构成。字符识别模型的训练过程可以参考现有的车牌字符识别模型的训练方法。利用字符识别模型进行车牌字符识别，将车牌区域图输入字符识别模型，输出字符识别结果，包含字符索引、字符置信度、字符位置。其中，对于在车牌中可能出现的所有字符预先制定字符索引，如均用数字表示；字符置信度为一个识别到的字符结果的置信度；字符位置为一个字符在车牌全体字符中的相对位置。需要说明的是，即使由于车牌遮挡或污损导致字符未识别到时，字符识别结果也应包含车牌所有字符，未识别到的字符的置信度低于预设阈值。

S104：分析确定字符识别结果中未识别到的字符。

S105：将未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果。

S106：输出车牌识别结果。

在具体实施中，对于步骤S104来说，根据步骤S103输出的字符识别结果，根据各字符所对应的字符置信度和相应的阈值的大小关系确定其是否为未识别到的字符。

步骤S105包括：

当遮挡污损识别结果为正常车牌时，则以字符识别结果为车牌识别结果；

当遮挡污损识别结果为遮挡车牌时，将字符识别结果中未识别到的字符用第一符号代替，得到车牌识别结果；

当遮挡污损识别结果为污损车牌时，将字符识别结果中未识别到的字符用第二符号代替，得到车牌识别结果。

其中，第一符号可以为“#”，即对于遮挡车牌上未识别到的字符，用“#”表示。第二字符可以为“*”，即对于污损车牌上未识别到的字符，用“*”表示。

遮挡污损车牌识别结果的汇总的具体方式是基于字符数进行分类讨论，根据汉字字符的遮挡污损情况、字符间距与字符置信度，确定未识别到的字符的位置，进而确定遮挡污损位置，输出车牌识别结果。

假设待检测车牌的真实车牌号码为“浙A12345”。

当待检测车牌的遮挡污损识别结果为正常车牌，即遮挡污损标志位为0时，进入正常车牌的字符识别结果汇总分支，输出的车牌识别结果为“浙A12345”。

当待检测车牌的遮挡污损识别结果为遮挡车牌，即遮挡污损标志位为1时，进入遮挡污损车牌的字符识别结果汇总分支，输出的车牌识别结果中未识别到的字符用“#”代替，如“浙A##345”。

当待检测车牌的遮挡污损识别结果为污损车牌，即遮挡污损标志位为2时，进入遮挡污损车牌识别结果汇总分支，输出的车牌识别结果中未识别到的字符用“*”代替，如“浙A**345”。

本发明实施例提供的车牌识别方法，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

图2为本发明实施例提供的另一种车牌识别方法的流程图。

为提高检测正确率，如图2所示，在上述实施例的基础上，在本发明实施例提供的车牌识别方法中，在步骤S102将车牌区域图输入预先训练的第一分类模型之前，还包括：

S201：按比例对车牌区域图进行扩边处理，得到车牌扩边图。

S202：将车牌扩边图输入预先训练的第二分类模型，得到车牌扩边图的是非车牌检测结果。

S203：判读是非车牌检测结果是否为是车牌；如果是，则进入步骤S102；如果否，则结束。

按比例对车牌区域图进行扩边处理，具体为基于车牌感兴趣区域图，对目标检测模型输出的车牌区域图进行边缘扩大，从而保证车牌区域图中包含完整的“车牌”。

在实际应用中，由于某些车辆的外表除车牌外还设有其他具有数字的类似车牌的装置，如公交车上的LED显示屏，可能会被误识别为车辆区域图，故在进行车牌的遮挡污损识别和车牌字符识别之前，增加对车牌区域图是非车牌的判断，有助于避免后续进行一系列错误无用的车牌识别计算。

在具体实施中，可以预先设置第二分类模型输出结果为是非车牌标志位，预先设定当是非车牌标志位为1时表示“是车牌”，为0时表示“非车牌”。只有检测到是非车牌标志位为1时才进入步骤S102。

图3为本发明实施例提供的一种图1中步骤S104的具体实施方式的流程图。

由于不同类型的车辆具有不同颜色、排布顺序的车牌，为了识别不同类型的车牌，在上述实施例的基础上，如图3所示，步骤S104：分析确定字符识别结果中未识别到的字符，具体包括：

S301：依据车牌区域图识别得到待检测车辆的车牌类型；

S302：根据车牌类型确定待检测车辆的车牌字符组合规则。

在具体实施中，可以通过预先训练的第五分类模型进行待检测车辆的车牌类型的识别。第五分类模型是一个多任务多分类模型，属于基础的卷积神经网络，得到三个分类结果，即颜色、正反色、单双层。综合此三个分类结果，基于车牌固有的特征，确定车牌类型(蓝牌、单层黄牌、双层黄牌、绿牌等等)。

进而根据车牌类型可以确定待检测车辆的车牌字符组合规则，以便后续进行字符识别。如检测到车牌类型为蓝牌，则字符识别结果应包括纵向一字排布的1位汉字字符和6位非汉字字符。如检测到车牌类型为双层黄牌，则字符识别结果应包括上下两排字符，上排字符包括1位汉字字符和1位非汉字字符，下排字符包括5位非汉字字符。如检测到车牌类型为绿牌，则字符识别结果应包括纵向一字排布的1位汉字字符和7位非汉字字符。

S303：根据车牌字符组合规则确定待检测车牌的非汉字字符的位置。

根据车牌字符组合规则，结合字符识别结果，即可快速确定缺失字符的位置。

预先设定汉字字符置信度阈值Chn_Thresh。

计算非汉字字符置信度阈值Score_Thresh，非汉字字符置信度阈值Score_Thresh是字符置信度均值Score_Mean与定值x∈(0，1)的乘积。其中，非汉字字符置信度阈值Score_Mean等于步骤S103中的第二分类网络输出的字符识别结果中各字符置信度之和除以字符个数，定值x∈(0，1)是一个超参数，可以根据情况进行调整。

可以根据不同的检测时间段或光照条件设置不同的汉字字符置信度阈值Chn_Thresh和不同的非汉字字符置信度阈值Score_Thresh。

定义“非汉字字符遮挡污损条件”，其包括：

a.字符置信度低于非汉字字符置信度阈值Score_Thresh；

b.字符为非汉字。

S304：当字符识别结果的第一位汉字字符的置信度小于预设汉字置信度阈值时，确定第一位汉字字符为未识别到的字符。

当字符识别结果的第一位汉字字符的置信度小于预设汉字置信度阈值Chn_Thresh时，认为第一位汉字字符被遮挡或污损，为未识别到的字符。

S305：确定字符识别结果中除第一位汉字字符和最后一位字符的剩余字符中置信度小于预设非汉字字符置信度阈值的非汉字字符为未识别到的字符。

字符识别结果中除第一位汉字字符和最后一位字符的剩余字符应均为非汉字字符，若其中出现汉字字符，或置信度低于非汉字字符置信度阈值Score_Thresh的字符时，均说明该字符被遮挡或污损，为未识别到的字符。

S306：当最后一位字符为汉字字符时，根据与汉字字符对应的识别规则及预设汉字置信度阈值判断最后一位字符是否为未识别到的字符。

S307：当最后一位字符为非汉字字符且最后一位字符的置信度小于预设非汉字字符置信度阈值时，确定最后一位字符为未识别到的字符。

车牌最后一位有多种不同情况，从检测结果上看分为汉字字符和非汉字字符。当检测到汉字字符时，有可能是识别到的汉字字符，也有可能是因为识别错误导致出现了汉字字符。

当最后一位为汉字字符时，可以结合车牌类型、第一位汉字字符以及汉字字符置信度阈值Chn_Thresh进行判断。如最后一位字符识别为汉字“港”，若第一位汉字字符为“粤”且字符置信度大于汉字字符置信度阈值Chn_Thresh时，则认为该字符识别正确，否则则认为是未识别到的字符。如最后一位字符识别为汉字“澳”，若第一位汉字字符为“粤”且字符置信度大于汉字字符置信度阈值Chn_Thresh时，则认为该字符识别正确，否则则认为是未识别到的字符。如最后一位字符识别为“学”，若车牌类型为单层黄牌且字符置信度大于汉字字符置信度阈值Chn_Thresh时，则认为该字符识别正确，否则则认为是未识别到的字符。以此类推。

当最后一位字符为非汉字字符时，则直接将其置信度与非汉字字符置信度阈值Score_Thresh进行对比得到判别结果。

经过上述实施例所述的在步骤S104中未识别到的字符的确定，进行步骤S105的将未识别到的字符用与遮挡污损识别结果对应的符号代替的流程，具体根据车牌字符组合规则确定标准字符数，当识别到的字符数小于标准字符数时，根据已识别到的字符的排布位置确定未识别到的字符的位置。

例如，当车牌类型为蓝牌时，标准字符应包含纵向一字排布的1位汉字字符和6位非汉字字符，共7位字符，当识别到5个字符时，首先检测第一位汉字字符是否未识别到，如果是则用与遮挡污损识别结果对应的符号代替；然后检测字符间距是否异常。如果字符间距异常，则认为遮挡污损字符位于间距异常的两个字符的中间，从而在在间距异常的两个字符中间插入与遮挡污损识别结果对应的符号。

如果字符识别结果间距异常，先考虑汉字字符是否遮挡或污损。若汉字字符的置信度低于汉字字符置信度阈值Chn_Thresh，则认为汉字字符被遮挡或污损。

若汉字字符的置信度高于Chn_Thresh，则认为汉字字符无遮挡或污损。下面考虑置信度最低的非汉字字符Char_lowest，考虑其两侧字符的置信度大小，遵守“遮挡、污损字符更靠近置信度低的字符”的一般性假设，若其左侧字符置信度低于其右侧字符置信度，则在该非汉字字符Char_lowest的左侧插入与遮挡污损识别结果对应的符号，反之，则在该非汉字字符Char_lowest的右侧插入与遮挡污损识别结果对应的符号。

最后，考虑非汉字字符中的每一个字符是否符合“非汉字字符遮挡污损条件”，若符合，则用与遮挡污损识别结果对应的符号替代。

上文详述了车牌识别方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的车牌识别装置、车牌识别设备及存储介质。

图4为本发明实施例提供的一种车牌识别装置的结构示意图。

如图4所示，本发明实施例提供的车牌识别装置包括：

获取单元401，用于获取待检测车辆的车牌区域图；

遮挡污损识别单元402，用于将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；

字符识别单元403，用于将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；

分析单元404，用于分析确定字符识别结果中未识别到的字符；

汇总单元405，用于将未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果；

输出单元406，用于输出车牌识别结果。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图5为本发明实施例提供的一种车牌识别设备的结构示意图。

如图5所示，本发明实施例提供的车牌识别设备包括：

存储器510，用于存储指令，所述指令包括上述任意一项实施例所述的车牌识别方法的步骤；

处理器520，用于执行所述指令。

其中，处理器520可以包括一个或多个处理核心，比如3核心处理器、8核心处理器等。处理器520可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器520也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器520可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器520还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器510可以包括一个或多个存储介质，该存储介质可以是非暂态的。存储器510还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器510至少用于存储以下计算机程序511，其中，该计算机程序511被处理器520加载并执行之后，能够实现前述任一实施例公开的车牌识别方法中的相关步骤。另外，存储器510所存储的资源还可以包括操作系统512和数据513等，存储方式可以是短暂存储或者永久存储。其中，操作系统512可以为Windows。数据513可以包括但不限于上述方法所涉及到的数据。

在一些实施例中，车牌识别设备还可包括有显示屏530、电源540、通信接口550、输入输出接口560、传感器570以及通信总线580。

本领域技术人员可以理解，图5中示出的结构并不构成对车牌识别设备的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的车牌识别设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的车牌识别方法，效果同上。

需要说明的是，以上所描述的装置、设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。

为此，本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现如车牌识别方法的步骤。

该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例中提供的存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的车牌识别方法的步骤，效果同上。

以上对本发明所提供的一种车牌识别方法、车牌识别装置、车牌识别设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：

获取待检测车辆的车牌区域图；

将所述车牌区域图输入预先训练的第一分类模型，得到所述待检测车辆的遮挡污损识别结果；其中，所述遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；

将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果；

分析确定所述字符识别结果中未识别到的字符；

将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果；

输出所述车牌识别结果。

2.根据权利要求1所述的车牌识别方法，其特征在于，所述获取待检测车辆的车牌区域图，具体包括：

获取所述待检测车辆的车辆图像，在所述车辆图像中确定车牌感兴趣区域图；

将所述车牌感兴趣区域图输入预先训练的目标检测模型，得到所述车牌区域图。

3.根据权利要求1所述的车牌识别方法，其特征在于，在所述将所述车牌区域图输入预先训练的第一分类模型之前，还包括：

按比例对所述车牌区域图进行扩边处理，得到车牌扩边图；

将所述车牌扩边图输入预先训练的第二分类模型，得到所述车牌扩边图的是非车牌检测结果；

判读所述是非车牌检测结果是否为是车牌；

如果是，则进入所述将所述车牌区域图输入预先训练的第一分类模型的步骤。

4.根据权利要求1所述的车牌识别方法，其特征在于，在所述将所述车牌区域图输入预先训练的第一分类模型之前，还包括：

判断遮挡污损车牌检测开关状态是否为开启；

如果是，则进入所述将所述车牌区域图输入预先训练的第一分类模型的步骤；

如果否，则进入所述将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果的步骤。

5.根据权利要求1所述的车牌识别方法，其特征在于，所述分析确定所述字符识别结果中未识别到的字符，具体包括：

依据所述车牌区域图识别得到所述待检测车辆的车牌类型；

根据所述车牌类型确定所述待检测车辆的车牌字符组合规则；

根据所述车牌字符组合规则确定所述待检测车牌的非汉字字符的位置；

当所述字符识别结果的第一位汉字字符的置信度小于预设汉字置信度阈值时，确定所述第一位汉字字符为未识别到的字符；

确定所述字符识别结果中除所述第一位汉字字符和最后一位字符的剩余字符中置信度小于预设非汉字字符置信度阈值的非汉字字符为未识别到的字符；

当所述最后一位字符为汉字字符时，根据与所述汉字字符对应的识别规则及所述预设汉字置信度阈值判断所述最后一位字符是否为未识别到的字符；

当所述最后一位字符为非汉字字符且所述最后一位字符的置信度小于所述预设非汉字字符置信度阈值时，确定所述最后一位字符为未识别到的字符。

6.根据权利要求1所述的车牌识别方法，其特征在于，所述将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果，具体包括：

当所述遮挡污损识别结果为正常车牌时，则以所述字符识别结果为所述车牌识别结果；

当所述遮挡污损识别结果为遮挡车牌时，将所述字符识别结果中未识别到的字符用第一符号代替，得到所述车牌识别结果；

当所述遮挡污损识别结果为污损车牌时，将所述字符识别结果中未识别到的字符用第二符号代替，得到所述车牌识别结果。

7.根据权利要求1所述的车牌识别方法，其特征在于，所述第一分类模型具体为卷积神经网络模型。

8.一种车牌识别装置，其特征在于，包括：

获取单元，用于获取待检测车辆的车牌区域图；

遮挡污损识别单元，用于将所述车牌区域图输入预先训练的第一分类模型，得到所述待检测车辆的遮挡污损识别结果；其中，所述遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；

字符识别单元，用于将所述车牌区域图输入预先训练的字符识别模型，得到所述待检测车辆的字符识别结果；

分析单元，用于分析确定所述字符识别结果中未识别到的字符；

汇总单元，用于将所述未识别到的字符用与所述遮挡污损识别结果对应的符号代替，得到所述待检测车辆的车牌识别结果；

输出单元，用于输出所述车牌识别结果。

9.一种车牌识别设备，其特征在于，包括：

存储器，用于存储指令，所述指令包括权利要求1至7任意一项所述车牌识别方法的步骤；

处理器，用于执行所述指令。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述车牌识别方法的步骤。

Images