CN110490186B - 车牌识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种车牌识别方法、装置及计算机可读存储介质，属于智能交通技术领域。该方法包括：获取图像中车牌粗选区域，并利用卷积神经网络CNN提取车牌粗选区域内的特征信息，特征信息包括多个特征序列；基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息；基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息。由此可见，本发明实施例不需要通过对车牌粗选区域进行分割以得到多个字符区域来识别车牌，有效避免了场景因素对字符分割的影响，也即避免了场景因素对车牌识别的干扰，提升了车牌识别方法的通用性和准确性。

Description

车牌识别方法、装置及存储介质

技术领域

本发明涉及智能交通技术领域，特别涉及一种车牌识别方法、装置及计算机可读存储介质。

背景技术

车牌是车辆的“身份证”，是区别于其他车辆的重要标识信息。在当前的智能交通领域，可以在卡口、停车场或街道等诸多场景中设置监控设备，通过监控设备获取场景内包含有车辆的车牌的图像，进而对该图像中的车牌进行识别。

相关技术中车牌识别主要可以总结为三个步骤，分别为车牌区域检测、字符分割以及字符识别。当通过上述三个步骤进行车牌识别时，由于受到场景因素的影响，例如天气、光照、监控设备倾斜、车牌倾斜等，因此，字符分割的准确性难以保证，从而导致识别的字符以及字符的位置信息的准确性较低。

发明内容

本发明实施例提供了一种车牌识别方法、装置及计算机可读存储介质，可以用于解决相关技术中车牌中字符以及字符的位置信息的识别准确性较低的问题。所述技术方案如下：

第一方面，提供了一种车牌识别方法，所述方法包括：

获取图像中的车牌粗选区域，并利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息，所述特征信息包括多个特征序列；

基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息；

基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息。

可选地，所述基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息，包括：

通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

可选地，所述基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码之前，还包括：

判断所述多个字符组成的字符串是否为预设字符串；

若所述多个字符组成的字符串为预设字符串，则确定所述车牌粗选区域内不包含车牌；

若所述多个字符组成的字符串不为预设字符串，则执行基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码的步骤。

可选地，所述通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息，包括：

对于所述多个特征序列中的任一特征序列A，确定所述特征序列A的权值和除所述特征序列A之外其余每个特征序列的权值，所述特征序列A的权值大于所述其余每个特征序列的权值；

基于所述特征序列A、所述特征序列A的权值、所述其余每个特征序列和所述其余每个特征序列的权值确定所述特征序列A的语义信息；

对所述特征序列A的语义信息进行解码识别，得到所述特征序列A对应的字符；

基于所述特征序列A的权值确定所述特征序列A对应的字符在所述车牌粗选区域内的位置信息。

可选地，所述利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息之后，还包括：

基于所述多个特征序列，利用所述CNN确定所述车牌粗选区域在第一分类标签下的第一概率值以及所述车牌粗选区域在多个第二分类标签下的第二概率值，其中，所述第一分类标签用于指示所述车牌粗选区域内不包含车牌，所述第二分类标签用于指示车牌种类；

若确定得到的多个第二概率值中不存在大于所述第一概率值的第二概率值，则将所述车牌粗选区域确定为不包含车牌的区域；

若确定得到的多个第二概率值中存在大于所述第一概率值的第二概率值，则将所述多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为所述车牌粗选区域内包含的车牌所属的车牌粗选种类。

可选地，所述基于确定的多个字符所述车牌粗选区域内包含的车牌的车牌号码，包括：

基于所述多个字符、所述每个字符的位置信息和所述车牌粗选种类，确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码。

可选地，所述基于所述多个字符、所述每个字符的位置信息和所述车牌粗选种类，确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码，包括：

基于所述每个字符的位置信息确定所述车牌粗选区域内包含的车牌的车牌号码格式；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式相同，则将所述车牌粗选种类确定为所述车牌实际种类；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式不同，则基于所述车牌号码格式，对所述车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为所述车牌实际种类；

基于所述车牌实际种类对所述多个字符进行纠错；

将纠错后的多个字符确定为所述车牌号码。

可选地，所述确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码之后，还包括：

判断属于所述车牌实际种类的车牌号码中是否包含有子段和主段，所述子段和所述主段均指所述车牌号码中连续的字符串，所述主段包含的字符数大于所述子段包含的字符数，或者，所述主段包含的字符所占区域的尺寸大于所述子段包含的字符所占区域的尺寸；

若属于所述车牌实际种类的车牌号码中包含有子段和主段，则基于所述每个字符的位置信息以及所述车牌实际种类对应的预设格式，将所述车牌号码划分为子段和主段。

可选地，所述确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码之后，还包括：

获取所述车牌实际种类对应的车牌颜色信息和所属区域信息；

输出所述车牌号码、所述车牌号码中每个字符的位置信息、所述车牌颜色信息和所述区域信息。

第二方面，提供了一种车牌识别装置，所述装置包括：

获取模块，用于获取图像中的车牌粗选区域，并利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息，所述特征信息包括多个特征序列；

第一确定模块，用于基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息；

第二确定模块，用于基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息。

可选地，所述第一确定模块包括：

处理子模块，用于通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

可选地，所述装置还用于：

判断所述多个字符组成的字符串是否为预设字符串；

若所述多个字符组成的字符串为预设字符串，则确定所述车牌粗选区域内不包含车牌；

若所述多个字符组成的字符串不为预设字符串，则执行所述基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码的步骤。

可选地，所述处理子模块具体用于：

对于所述多个特征序列中的任一特征序列A，确定所述特征序列A的权值和除所述特征序列A之外其余每个特征序列的权值，所述特征序列A的权值大于所述其余每个特征序列的权值；

基于所述特征序列A、所述特征序列A的权值、所述其余每个特征序列和所述其余每个特征序列的权值确定所述特征序列A的语义信息；

对所述特征序列A的语义信息进行解码识别，得到所述特征序列A对应的字符；

基于所述特征序列A的权值确定所述特征序列A对应的字符在所述车牌粗选区域内的位置信息。

可选地，所述装置还用于：

基于所述多个特征序列，利用所述CNN模型确定所述车牌粗选区域在第一分类标签下的第一概率值以及所述车牌粗选区域在多个第二分类标签下的第二概率值，其中，所述第一分类标签用于指示所述车牌粗选区域内不包含车牌，所述第二分类标签用于指示车牌种类；

若确定得到的多个第二概率值中不存在大于所述第一概率值的第二概率值，则将所述车牌粗选区域确定为不包含车牌的区域；

若确定得到的多个第二概率值中存在大于所述第一概率值的第二概率值，则将所述多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为所述车牌粗选区域内包含的车牌所属的车牌粗选种类。

可选地，所述第二确定模块包括：

确定子模块，用于基于所述多个字符、所述每个字符的位置信息和所述车牌粗选种类确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码。

可选地，所述确定子模块具体用于：

基于所述每个字符的位置信息确定所述车牌粗选区域内包含的车牌的车牌号码格式；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式相同，则将所述车牌粗选种类确定为所述车牌实际种类；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式不同，则基于所述车牌号码格式，对所述车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为所述车牌实际种类；

基于所述车牌实际种类对所述多个字符进行纠错；

将纠错后的多个字符确定为所述车牌号码。

可选地，所述第二确定模块还包括：

判断子模块，用于判断属于所述车牌实际种类的车牌号码中是否包含有子段和主段，所述子段和所述主段均指车牌号码中连续的字符串，所述主段包含的字符数大于所述子段包含的字符数，或者，所述主段包含的字符所占区域的尺寸大于所述子段包含的字符所占区域的尺寸；

划分子模块，用于若属于所述车牌实际种类的车牌号码中包含有子段和主段，则基于所述每个字符的位置信息以及所述车牌实际种类对应的预设格式，将所述车牌号码划分为子段和主段。

可选地，所述第二确定模块还用于：

获取所述车牌实际种类对应的车牌颜色信息和所属区域信息；

输出所述车牌号码、所述车牌号码中每个字符的位置信息、所述车牌颜色信息和所述区域信息。

第三方面，提供一种车牌识别装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第一方面所述的任一项方法。

第四方面，提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述任一项的方法。

本发明实施例提供的技术方案带来的有益效果是：获取图像中的车牌粗选区域，并利用CNN模型提取车牌粗选区域内的特征信息，特征信息可以包括多个特征序列，基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息，之后，可以基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于每个字符的位置信息确定车牌号码中相应字符的位置信息。也即是，在本发明实施例中，可以直接通过从车牌粗选区域提取的特征序列来确定多个字符以及多个字符中每个字符，进而根据确定的多个字符和每个字符的位置信息来确定车牌号码以及车牌号码中相应字符的位置信息，而不需要通过对车牌粗选区域进行分割以得到多个字符区域来识别车牌，由于不必再进行字符分割，因此，避免了场景因素对字符分割的影响，也即避免了场景因素对车牌识别的干扰，提升了车牌识别的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车牌识别方法的系统架构图；

图2是本发明实施例提供的一种车牌识别方法的流程图；

图3是本发明实施例提供的一种车牌识别方法的流程图；

图4是本发明实施例提供的一种车牌识别装置结构示意图；

图5是本发明实施例提供的一种用于车牌识别的终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在对本发明实施例进行详细的解释说明之前，先对本发明实施例涉及的应用场景予以介绍。

当前，车牌识别技术已经被广泛的应用于智能交通领域中。在实际应用中，可以通过在卡口、停车场以及道路等诸多场景中设置监控设备进行图像采集，并对图像中的车牌进行识别以获取车牌信息。其中，监控设备通常需要在不同的复杂场景下工作，因此，通过监控设备采集到的图像的质量也会受到场景因素的影响。例如，设置在卡口或道路中的监控设备会受到天气、光照等因素的影响，从而导致采集到的图像会不清晰，再例如，设置各种场景中的监控设备可能会因为外力作用发生倾斜，这样，通过该监控设备采集到的图像中的车辆和车牌也可能会发生倾斜。除此之外，监控设备还可以在很多不同的场景下进行图像采集，而本发明实施例中提供的车牌识别方法即可以用来对监控设备在任意场景下采集到的图像中包括的车牌进行识别。

接下来对本发明实施例涉及的系统架构进行介绍。

图1是本发明实施例提供的一种车牌识别方法的系统架构图。如图1所示，该系统中可以包括监控设备101和终端102。

其中，监控设备101与终端102建立有通信连接，通过该通信连接，监控设备101可以将采集到的图像发送至终端102。终端102在接收到监控设备发送的图像时，可以对图像中车牌进行识别，并输出最终的识别结果。

需要说明的是，监控设备101可以为CCD(Charge Coupled Device，电荷耦合器件)摄像机，也可以为其他可以进行图像采集并可以与终端102进行通信的摄像头。终端102可以为台式计算机、便携式电脑、网络服务器等计算机设备。

接下来对本发明实施例提供的车牌识别方法进行介绍。

图2是本发明实施例提供的一种车牌识别方法的流程图。该方法可以应用于图1所示的终端中，如图2所示，该方法包括以下步骤：

步骤201：获取图像中的车牌粗选区域，并利用CNN模型提取车牌粗选区域内的特征信息。

其中，车牌粗选区域是指图像中可能包含有车牌的区域，也即，该车牌粗选区域内可能包含有车牌，也可能不包含有车牌，车牌粗选区域内的特征信息可以包括多个特征序列。

步骤202：基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息。

其中，车牌粗选区域内可能包含有车牌号，通常，车牌号由多个字符组成，对车牌粗选区域内的多个字符进行识别，可以得到组成车牌号的多个字符。当然，车牌粗选区域内也可能不包含有车牌号，在这种情况下，基于该多个特征序列确定的多个字符可以是用于指示该车牌粗选区域内不包含有车牌的预设字符串。其中，字符可以是英文字符、数字以及其他特殊字符。

步骤203：基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息。

本发明实施例提供的技术方案带来的有益效果是：获取图像中的车牌粗选区域，并利用CNN模型提取车牌粗选区域内的特征信息，特征信息可以包括多个特征序列，基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息，之后，可以基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于每个字符的位置信息确定车牌号码中相应字符的位置信息。也即是，在本发明实施例中，可以直接通过从车牌粗选区域提取的特征序列来确定多个字符以及多个字符中每个字符，进而根据确定的多个字符和每个字符的位置信息来确定车牌号码以及车牌号码中相应字符的位置信息，而不需要通过对车牌粗选区域进行分割以得到多个字符区域来识别车牌，由于不必再进行字符分割，因此，避免了场景因素对字符分割的影响，也即避免了场景因素对车牌识别的干扰，提升了车牌识别的准确性。

图3是本发明实施例提供的一种车牌识别方法的流程图，该方法可以应用于图1所示的终端中，如图3所示，该方法包括以下步骤：

步骤301：获取图像中的车牌粗选区域。

在本发明实施例中，终端可以使用深度学习方法来从图像中检测车牌粗选区域。具体的，终端可以采用诸如FRCNN模型从图像中检测车牌粗选区域。其中，FRCNN模型是在RCNN(Region-Based Convolutional Neural Networks，基于区域的卷积神经网络)模型上发展起来的一种用于目标检测的模型。当通过FRCNN模型进行目标检测时，检测过程主要分为候选区域生成、特征提取、分类和位置精修4个基本步骤。通常，FRCNN模型可以包括多个卷积层和多个全连接层。

在检测车牌粗选区域时，终端可以将通过监控设备获取到的图像作为输入图像，其中，第一个卷积层可以对输入的图像包括的多个像素点的像素值进行卷积运算，并输出卷积运算结果，作为下一个卷积层的输入值。以此类推，前一个卷积层的输出值作为下一个卷积层的输入值，直到最后一个卷积层基于前一个卷积层的输出值确定得到多个候选区域。之后，将该确定得到的多个候选区域作为第一全连接层的输入值，对于该多个候选区域中的每个候选区域，全连接层可以判别该候选区域是否为待检测的车牌粗选区域，并确定该候选区域的位置坐标。最后，通过最后一个全连接层输出该候选区域为车牌粗选区域的概率和不为车牌粗选区域的概率，以及该候选区域的位置坐标。

由上述描述可知，通过FRCNN检测到的车牌粗选区域实际上是候选区域中用于指示该候选区域为车牌粗选区域的概率值较大的候选区域，也就是说，该候选区域在很大概率上包含有车牌，但是在一定的概率上也有可能不包含车牌，因此，通过FRCNN检测得到的车牌粗选区域实际上是指图像中可能包含有车牌的区域。进一步地，若该车牌粗选区域中包含有车牌，那么，在该车牌粗选区域中将包含有组成车牌号的字符信息以及车牌纹理等信息，基于此，终端在获取到车牌粗选区域之后，可以进一步地通过以下步骤来对该车牌粗选区域进行处理，从而对该车牌粗选区域内的车牌进行识别。

还需要说明的是，监控设备获取的一幅图像中可能会包含有多个车牌，或者是，图像中可能包含有多个疑似车牌的区域，因此，在该图像中获取的车牌粗选区域的数量也可能有多个。在本发明实施例中，将以获取到的车牌粗选区域的数量为1个为例来进行解释说明。对于车牌粗选区域为多个的情况，对于该多个车牌粗选区域中的每个车牌粗选区域均可以按照以下方法进行处理。

另外，在本发明实施例中，FRCNN模型是预先通过多个训练样本训练得到的模型。其中，多个训练样本中可以包括监控设备采集的不同国家不同地区的车辆的图像，这样，训练得到的FRCNN模型将可以对不同国家、不同地区的车辆图像中的车牌区域进行检测。

可选地，上述主要介绍了通过FRCNN模型从图像中获取车牌粗选区域的具体实现过程。当然，在本发明实施例中，终端也可以通过诸如YOLO模型、Fast-R-CNN模型等其他用于目标检测的模型从该图像中获取车牌粗选区域，本发明实施例对此不做具体限定。

步骤302：利用CNN模型提取车牌粗选区域内的特征信息，该特征信息包括多个特征序列。

在获取到车牌区域之后，终端可以将该车牌区域作为CNN模型的输入，进而通过CNN模型提取车牌区域内的特征信息。其中，该特征信息主要包括用于指示车牌区域内的多个字符的多个特征序列。

其中，CNN模型可以按照从左到右从上到下的顺序对车牌区域内的特征信息进行提取，从而按照提取顺序输出多个特征序列。

其中，在一种可能的实现方式中，终端可以将获取到的车牌区域归一化至指定尺寸，然后再将该指定尺寸的车牌区域输入至CNN模型。例如，该指定尺寸可以为180*60，当然，也可以为其他尺寸，本发明实施例在此不做具体限定。

步骤303：通过Focus-Attention模型对多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

当通过CNN模型从车牌区域内提取到多个特征序列之后，终端可以通过Focus-Attention模型对多个特征序列进行处理，从而输出每个特征序列对应的字符和每个字符的位置信息。

其中，Focus-Attention模型是在Attention模型的基础上引入Focus机制的一种模型。也即，利用训练样本中车牌中每个字符的中心点坐标或每个字符的外接矩形框的坐标作为额外的监督信息，来对Attention模型进行训练，从而得到Focus-Attention模型，这样，当利用Focus-Attention模型对多个特征序列进行处理时，可以使其在输出识别字符的同时，可以更加准确的输出每个字符的位置信息。

需要说明的是，终端可以将多个特征序列作为Focus-Attention模型的输入值，之后，Focus-Attention模型可以按照多个特征序列的输出顺序，逐一对多个特征序列中的每个特征序列进行处理，最后按照该顺序，输出识别得到的多个字符以及每个字符的位置信息。具体的，在本发明实施例中，将以该多个特征序列中的任一特征序列A为例来说明Focus-Attention模型对其进行处理的具体过程。

其中，对于多个特征序列中的任一特征序列A，终端可以确定特征序列A的权值和除特征序列A之外其余每个特征序列的权值，特征序列A的权值大于其余每个特征序列的权值；基于特征序列A、特征序列A的权值、其余每个特征序列和其余每个特征序列的权值确定特征序列A的语义信息；对特征序列A的语义信息进行解码识别，得到特征序列A对应的字符；基于特征序列A的权值确定特征序列A对应的字符在车牌粗选区域内的位置信息。

具体的，在本发明实施例中，由于Focus-Attention模型是利用车牌内每个字符的位置信息作为监督信息训练得到的模型，因此，在确定特征序列A的权值之后，一方面，可以基于确定的特征序列A对应的权值和其他每个特征序列A的权值来确定特征序列A的语义信息，进而对该语义信息进行解码识别，从而得到特征序列A对应的字符。另一方面，则可以通过该特征序列A的权值反向推算该特征序列A对应的字符在车牌粗选区域内的位置信息。最终，Focus-Attention模型可以输出识别得到的该特征序列A对应的字符以及确定的该特征序列A对应的字符的位置信息。

其中，字符的位置信息可以是指字符的中心点坐标，也可以是指字符的外接矩形框的中心点坐标，本发明实施例对此不做具体限定。

步骤304：基于多个特征序列确定车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

当终端通过CNN模型从车牌粗选区域中提取到多个特征序列之后，终端还可以基于该多个特征序列确定该车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

其中，终端可以基于多个特征序列，利用CNN模型确定车牌粗选区域在多个分类标签下的概率值，并将确定得到的多个概率值中最大概率值对应的分类标签所指示的车牌种类确定为该车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

具体的，CNN模型可以是根据不同国家和地区的车牌样本训练得到的模型，并且，训练得到的CNN模型中包括多个分类标签，每个分类标签用于指示一个车牌种类。终端可以将多个特征序列进行softmax归一化处理，并根据归一化结果确定车牌属于每个分类标签的概率值，之后，终端可以将最大概率值对应的分类标签所指示的车牌种类确定为该车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

可选地，在本发明实施例中，终端在训练CNN模型时，还可以在训练样本中加入不包含有车牌的非车牌区域，从而使得训练得到的CNN模型能够对非车牌区域进行过滤。在这种情况下，当基于多个特征序列确定车牌粗选区域内可能包含的车牌所属的车牌粗选种类时，终端可以基于多个特征序列，利用CNN确定车牌粗选区域在第一分类标签下的第一概率值以及车牌粗选区域在多个第二分类标签下的第二概率值，其中，第一分类标签用于指示车牌粗选区域内不包含车牌，第二分类标签用于指示车牌种类；若确定得到的多个第二概率值中不存在大于第一概率值的第二概率值，则将车牌粗选区域确定为不包含车牌的区域；若确定得到的多个第二概率值中存在大于第一概率值的第二概率值，则将多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

具体的，由于在训练CNN模型时，加入了非车牌区域的训练样本，因此，当CNN模型对车牌粗选区域内的多个特征序列进行处理时，不仅可以输出该车牌粗选区域在第一分类标签下的第一概率值，还可以输出该车牌粗选区域在第二分类标签下的第二概率值。其中，第一分类标签该车牌粗选区域内不包含车牌，而第二分类标签用于指示该车牌粗选区域内可能包含的车牌所属的车牌种类。也就是说，CNN模型通过对多个特征序列进行处理，不仅可以输出该车牌粗选区域内不包含车牌的第一概率值，还可以输出该车牌粗选区域内可能包含的车牌属于每个车牌种类的第二概率值。这样，终端在得到第一概率值和多个第二概率值之后，则可以根据该第一概率值和多个第二概率值来确定该车牌粗选区域是否为非车牌区域。

其中，终端可以将第一概率值和多个第二概率值进行比较。若第一概率值比多个第二概率值中的任一个第二概率值均大，则说明该车牌粗选区域属于第一分类标签，也即，该车牌粗选区域内不包含有车牌。此时，终端可以结束对该车牌粗选区域的后续处理操作。若多个第二概率值中存在大于第一概率值的第二概率值，则说明该车牌粗选区域内可能包含有车牌，此时，则可以将多个第二概率值中最大概率值对应的第二分类标签作为该车牌粗选区域的最终分类结果，而该最大概率值对应的第二分类标签所指示的车牌种类也就是该车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

需要说明的是，在本发明实施例中，该步骤为可选步骤。若终端执行该步骤，则当通过步骤302从车牌区域中提取得到多个特征序列之后，终端可以先根据该多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息，然后在基于该多个特征序列确定该车牌粗选区域内可能包含的车牌所属的车牌粗选种类。或者，终端也可以先基于该多个特征序列确定该车牌粗选区域内可能包含的车牌所属的车牌粗选种类，然后在根据该多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息。或者，终端可以同时执行上述两个操作。也即是，在本发明实施例中，若终端执行该步骤，则终端可以先执行步骤303和步骤304中的任一个，也可以同时执行这两个步骤。

步骤305：判断多个字符组成的字符串是否为预设字符串。

在本发明实施例中，考虑到诸如FRCNN模型、YOLO模型等用于目标检测的模型检测得到的车牌粗选区域很可能并不包括车牌，也即，车牌粗选区域很可能是非车牌区域，因此，为了对该车牌粗选区域进行进一步的验证，终端在训练Focus-Attention模型时，还可以在训练样本中加入非车牌区域，从而使得训练得到的Focus-Attention模型可以对不包含有车牌的非车牌区域进行过滤。在这种情况下，当通过Focus-Attention模型对该车牌粗选区域内的多个特征序列进行处理时，若Focus-Attention模型识别出该车牌粗选区域内不包含有车牌，则可以输出由多个字符组成的预设字符串，否则，Focus-Attention模型可以按多个特征序列的顺序输出识别得到的多个字符和每个字符的位置信息。基于此，当Focus-Attention模型输出多个字符之后，终端可以判断Focus-Attention模型输出的由多个字符组成的字符串是否为预设字符串，以此来判断该车牌粗选区域是否包含有车牌。

若Focus-Attention模型输出的由多个字符组成的字符串为预设字符串，则终端可以执行步骤306，否则，终端可以执行步骤307。

步骤306：确定车牌粗选区域内不包括车牌。

若Focus-Attention模型输出的由多个字符组成的字符串为预设字符串，则可以确定该车牌粗选区域内不包含车牌，此时，终端可以结束对该车牌粗选区域的后续操作。

需要说明的是，步骤305和步骤306为可选步骤，若本发明实施例中的Focus-Attention模型的训练样本中包括非车牌区域的训练样本，则在通过Focus-Attention模型对多个特征序列进行处理之后，可以执行步骤305，否则，终端在执行完步骤304之后，可以不执行步骤305和306，而直接执行步骤307。

步骤307：基于确定的多个字符确定车牌粗选区域内包含的车牌的车牌号码，并基于每个字符的位置信息确定车牌号码中相应字符的位置信息。

若Focus-Attention模型输出的由多个字符组成的字符串不为预设字符串，则说明该车牌粗选区域内可能包含有车牌。在这种情况下，若终端不执行步骤304，则在该步骤中，终端可以直接将输出的多个字符组成的字符串确定为车牌粗选区域内包含的车牌的车牌号码，并将输出的每个字符的位置信息确定车牌号码中相应字符的位置信息。

若终端执行步骤304，则在该步骤中，终端可以基于确定的多个字符、每个字符的位置信息和车牌粗选种类确定车牌粗选区域内包含的车牌的车牌实际种类和车牌号码。

其中，终端可以基于每个字符的位置信息确定车牌粗选区域内可能包含的车牌的车牌号码格式；若车牌号码格式与车牌粗选种类对应的预设格式相同，则将车牌粗选种类确定为车牌实际种类；若车牌号码格式与车牌粗选种类对应的预设格式不同，则基于车牌号码格式，对车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为车牌实际种类；基于车牌实际种类对多个字符进行纠错；将纠错后的多个字符确定为车牌号码。

具体的，对于Focus-Attention模型按顺序输出的多个字符所组成的字符串，终端可以根据每个字符的位置信息，计算相邻两个字符之间的间距。之后，终端可以从该间距中查找大于预设间距的间距，并确定查找到的间距所对应的两个字符，将字符串从查找到的两个字符之间进行划分，得到多个字段以及每个字段所包含的字符数，也即车牌的车牌号码格式。

例如，假设Focus-Attention模型按顺序输出的多个字符所组成的字符串为“沪B12345”，终端可以计算“沪”与“B”之间的间距、“B”与“1”之间的间距、“1”与“2”之间的间距，“2”与“3”之间的间距、“3”与“4”之间的间距以及“4”与“5”之间的间距。之后，终端可以将上述确定得到的每个间距和预设间距进行比较，得到“B”和“1”之间的间距大于该预设间距。将该字符串从“B”和“1”之间进行划分，得到两个字段，分别为“沪B”和“12345”，且第一个字段的字符数为2，第二字段的字符数为5，此时，可以确定车牌号码格式为2-5格式。

当确定车牌粗选区域内的可能包含的车牌的车牌号码格式之后，终端可以获取车牌粗选种类对应的预设格式，其中，该预设格式是指该种类车牌的车牌号码的正确格式。当获取到预设格式之后，终端可以将该预设格式和根据字符位置信息确定的车牌号码格式进行比较。若二者相同，则说明当前确定的车牌粗选种类的车牌号码格式与实际确定的车牌号码格式是匹配的，由此可知，该车牌粗选种类是正确的，此时，可以将该车牌粗选种类确定为车牌实际种类。若二者不相同，则说明当前确定的车牌粗选种类的车牌号码格式与实际确定的车牌号码格式是不匹配的，由此可知，该车牌粗选种类并不准确，此时，则可以对该车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为车牌实际种类。

例如，假设当前确定的车牌号码格式为2-5格式，若获取的车牌粗选种类的预设格式也是2-5格式，则说明二者是匹配的，此时则可以直接将该车牌粗选种类确定车牌实际种类。若获取的车牌粗选种类对应的预设格式则为3-4格式，则说明二者不匹配，该车牌粗选种类是不准确的，此时，则可以对该车牌粗选种类进行校正。

具体的，终端在确定车牌号码格式与预设格式不同时，可以从该车牌粗选种类所在的车牌组中获取对应的预设格式与确定的车牌号码格式相同的车牌种类，并将获取的车牌种类作为车牌实际种类。其中，车牌组是按照车牌纹理特征等对车牌种类进行分类得到的组，每个车牌组中包括的车牌种类具有相同或相似的纹理特征。

需要说明的是，由于CNN模型是通过车牌区域内的纹理特征来确定车牌粗选种类的，因此，当车牌粗选种类对应的预设格式与确定的车牌号码格式不相同时，可以确定该车牌粗选区域内的车牌号码格式与该车牌粗选种类的车牌号码格式不匹配，但是，该车牌粗选区域内可能包含的车牌的纹理特征与该车牌粗选种类的纹理特征是相匹配的，在此基础上，终端可以从与该车牌粗选种类具有相同或相似纹理特征的车牌种类中选择车牌号码格式与确定的车牌号码格式也相同的车牌种类，从而得到纹理特征和车牌号码格式均匹配的更为准确的车牌实际种类。

当确定车牌实际种类之后，终端可以进一步地根据车牌实际种类对Focus-Attention模型按顺序输出的多个字符进行纠错，从而将纠错后的多个字符组成的字符串确定为车牌号码。

具体的，在某些国家或地区的车牌中存在某些易混淆的字符。例如，部分国家的车牌中，字符“O”和“0”较为形似，字符“I”和字符“1”较为形似。在这种情况下，若单纯通过Focus-Attention模型来识别这些字符，往往会难以区分，从而得到错误的识别结果。基于此，终端在确定车牌实际种类之后，可以判断多个字符中是否存在易混淆字符，若存在易混淆字符，则终端可以确定该易混淆字符所在的字段或者是在该字符串中的位置。之后，终端可以获取该车牌实际种类的车牌号码格式中相应字段或相应位置处的字符的字符类型，并根据获取的字符类型对多个字符中的易混淆字符进行纠错。其中，易混淆字符是指预设字符对中包括的字符，该预设字符对中包括至少两个字符，且该至少两个字符形似，但字符类型不同。

例如，假设车牌实际种类对应的车牌号码格式为2-5，该多个字符中存在易混淆字符“0”，该易混淆字符位于字符串的第一字段的第二个位置上，且在车牌实际种类的车牌号码中，第一字段的第二个位置上的字符的字符类型应为英文。由此可知，该易混淆字符是一个错误的字符，此时，终端可以将该易混淆字符纠正为其所在的预设字符对中与其形似的字符类型为英文的字符“O”。

在本发明实施例中，终端可以采用上述方法，将识别得到的多个字符和车牌粗选种类进行相互校验，从而得到更为准确的车牌种类和车牌号码，这样，根据该车牌种类和车牌号码确定的车牌信息也将更加准确。

可选地，在本发明实施例中，终端在确定车牌粗选区域内包含的车牌的车牌实际种类和车牌号码之后，还可以基于车牌实际种类和每个字符的位置信息，将车牌号码划分为主段和子段。

其中，终端可以判断属于车牌实际种类的车牌号码中是否包含有子段和主段，子段和主段均指车牌号中连续的字符串，主段包含的字符数大于子段包含的字符数，或者，主段包含的字符所占区域的尺寸大于子段包含的字符所占区域的尺寸；若属于车牌实际种类的车牌号码中包含有子段和主段，则基于每个字符的位置信息以及车牌实际种类对应的预设格式，将车牌号码划分为子段和主段。

具体的，终端可以从车牌种类与指示信息的对应关系中获取该车牌实际种类对应的指示信息，其中该指示信息用于指示对应种类的车牌的车牌号码是否存在主段和子段之分。之后，若终端基于获取的指示信息确定该车牌实际种类的车牌号码中不存在子段和主段之分，那么，终端可以直接将Focus-Attention模型按顺序输出的多个字符组成的字符串作为车牌信息的一部分输出。若终端确定该车牌实际种类的车牌号中存在子段和主段之分，那么，终端可以按照车牌实际种类对应的预设格式，将车牌号码按照每个字符的位置信息进行划分，得到该车牌号码的子段和主段，最后，将该车牌号码按照划分的子段和主段输出。

可选地，在确定车牌粗选区域内包含的车牌的车牌实际种类和车牌号码之后，还可以获取车牌实际种类对应的车牌颜色信息和所属区域信息，之后，终端可以将车牌颜色信息和该区域信息与车牌号码、车牌号码中每个字符的位置信息一起进行输出显示。

具体的，终端中可以存储有车牌种类对应的车牌颜色信息和车牌所属区域信息，终端可以获取车牌实际种类对应的颜色信息和车牌所属的区域信息。其中，车牌所属的区域信息可以包括该车牌所属的国家、城市等信息。

可选地，终端还可以存储有更多能够根据车牌种类进行确认的车牌信息，以便终端能够根据车牌种类将其输出，从而尽可能多的满足用户需求。

在本发明实施例中，终端可以获取图像中的车牌粗选区域，并利用CNN模型提取车牌粗选区域内的特征信息，特征信息可以包括多个特征序列，基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息，以及基于多个特征序列确定车牌粗选区域内可能包含的车牌所属的车牌粗选种类，之后，可以基于确定的多个字符、每个字符的位置信息和车牌粗选种类确定车牌信息。也即是，在本发明实施例中，可以直接通过从车牌粗选区域提取的特征序列来确定多个字符、每个字符的位置信息和车牌粗选种类，进而将确定的多个字符、每个字符的位置信息和车牌粗选种类结合来确定车牌信息，而不需要通过对车牌粗选区域进行分割以得到多个字符区域来识别车牌，由于不必再进行车牌区域分割，因此，也就不需要根据特定场景来调整图像处理参数，有效避免了场景因素对车牌识别的干扰，从而提升了车牌识别方法的通用性和准确性。

另外，在本发明实施例中，在原有的Attention模型的基础上引入了Focus机制，利用车牌中每个字符的位置信息作为监督信息来训练Attention模型，得到的Focus-Attention模型不仅可以对车牌粗选区域内的字符进行识别，还可以精确的输出每个字符的位置信息，基于每个字符的位置信息对识别的字符和车牌种类进行完善，进一步的提升了复杂场景下车牌的识别效果。

参见图4，本发明实施例提供了一种车牌识别装置400，该装置400包括：

获取模块401，用于获取图像中的车牌粗选区域，并利用卷积神经网络CNN提取车牌粗选区域内的特征信息，特征信息包括多个特征序列；

第一确定模块402，用于基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息；

第二确定模块403，用于基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息。

可选地，第一确定模块402包括：

处理子模块，用于通过基于聚焦机制的注意力Focus-Attention模型对多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

可选地，该装置400还用于

判断多个字符组成的字符串是否为预设字符串；

若多个字符组成的字符串为预设字符串，则确定车牌粗选区域内不包含车牌；

若多个字符组成的字符串不为预设字符串，则触发所述第二确定模块基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码。

可选地，处理子模块具体用于：

对于多个特征序列中的任一特征序列A，确定特征序列A的权值和除特征序列A之外其余每个特征序列的权值，特征序列A的权值大于其余每个特征序列的权值；

基于特征序列A、特征序列A的权值、其余每个特征序列和其余每个特征序列的权值确定特征序列A的语义信息；

对特征序列A的语义信息进行解码识别，得到特征序列A对应的字符；

基于特征序列A的权值确定特征序列A对应的字符在车牌粗选区域内的位置信息。

可选地，该装置400还用于：

基于多个特征序列，利用CNN确定车牌粗选区域在第一分类标签下的第一概率值以及车牌粗选区域在多个第二分类标签下的第二概率值，其中，第一分类标签用于指示车牌粗选区域内不包含车牌，第二分类标签用于指示车牌种类；

若确定得到的多个第二概率值中不存在大于第一概率值的第二概率值，则将车牌粗选区域确定为不包含车牌的区域；

若确定得到的多个第二概率值中存在大于第一概率值的第二概率值，则将多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为车牌粗选区域内可能包含的车牌所属的车牌粗选种类。

可选地，第二确定模块403包括：

基于多个字符、每个字符的位置信息和车牌粗选种类确定车牌粗选区域内包含的车牌的车牌实际种类和车牌号码。

可选地，确定子模块具体用于：

基于每个字符的位置信息确定车牌粗选区域内包含的车牌的车牌号码格式；

若车牌号码格式与车牌粗选种类对应的预设格式相同，则将车牌粗选种类确定为车牌实际种类；

若车牌号码格式与车牌粗选种类对应的预设格式不同，则基于车牌号码格式，对车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为车牌实际种类；

基于车牌实际种类对多个字符进行纠错；

将纠错后的多个字符确定为车牌号码。

可选地，第二确定模块403还包括：

判断子模块，用于判断属于车牌实际种类的车牌号码中是否包含有子段和主段，子段和主段均指车牌号码中连续的字符串，主段包含的字符数大于子段包含的字符数，或者，主段包含的字符所占区域的尺寸大于子段包含的字符所占区域的尺寸；

划分子模块，用于若属于车牌实际种类的车牌号码中包含有子段和主段，则基于每个字符的位置信息以及车牌实际种类对应的预设格式，将车牌号码划分为子段和主段。

可选地，第二确定模块402还用于：

获取车牌实际种类对应的车牌颜色信息和所属区域信息；

输出车牌号码、车牌号码中每个字符的位置信息、车牌颜色信息和区域信息。

综上所述，在本发明实施例中，终端可以获取图像中的车牌粗选区域，并利用CNN模型提取车牌粗选区域内的特征信息，特征信息可以包括多个特征序列，基于多个特征序列确定车牌粗选区域内的多个字符和每个字符的位置信息，之后，可以基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于每个字符的位置信息确定车牌号码中相应字符的位置信息。也即是，在本发明实施例中，可以直接通过从车牌粗选区域提取的特征序列来确定多个字符以及多个字符中每个字符，进而根据确定的多个字符和每个字符的位置信息来确定车牌号码以及车牌号码中相应字符的位置信息，而不需要通过对车牌粗选区域进行分割以得到多个字符区域来识别车牌，由于不必再进行字符分割，因此，避免了场景因素对字符分割的影响，也即避免了场景因素对车牌识别的干扰，提升了车牌识别的准确性。

需要说明的是：上述实施例提供的车牌识别装置在进行车牌识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车牌识别装置与车牌识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端可以为图1所述系统架构中的终端。其中，该终端500可以是：工业电脑、工控机、笔记本电脑、台式电脑、智能手机或平板电脑等。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的车牌识别方法。

在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或欧盟的伽利略系统的定位组件。

电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

也即是，本发明实施例不仅提供了一种车牌识别装置，该装置可以应用于上述终端500中，包括处理器和用于存储处理器可执行指令的存储器，其中，处理器被配置为执行图2和图3所示的实施例中车牌识别方法，而且，本发明实施例还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时可以实现图2和图3所示的实施例中车牌识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种车牌识别方法，其特征在于，所述方法包括：

获取图像中的车牌粗选区域，并利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息，所述特征信息包括多个特征序列；

基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息；

基于确定的多个字符、所述每个字符的位置信息和所述车牌粗选区域内包含的车牌所属的车牌粗选种类，确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息，所述车牌粗选种类是基于所述多个特征序列确定的；

判断属于所述车牌实际种类的车牌号码中是否包含有子段和主段，所述子段和所述主段均指所述车牌号码中连续的字符串，所述主段包含的字符数大于所述子段包含的字符数，或者，所述主段包含的字符所占区域的尺寸大于所述子段包含的字符所占区域的尺寸；

若属于所述车牌实际种类的车牌号码中包含有子段和主段，则基于所述每个字符的位置信息以及所述车牌实际种类对应的预设格式，将所述车牌号码划分为子段和主段。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息，包括：

通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码之前，还包括：

判断所述多个字符组成的字符串是否为预设字符串；

若所述多个字符组成的字符串为预设字符串，则确定所述车牌粗选区域内不包含车牌；

若所述多个字符组成的字符串不为预设字符串，则执行所述基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码的步骤。

4.根据权利要求2所述的方法，其特征在于，所述通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息，包括：

对于所述多个特征序列中的任一特征序列A，确定所述特征序列A的权值和除所述特征序列A之外其余每个特征序列的权值，所述特征序列A的权值大于所述其余每个特征序列的权值；

基于所述特征序列A、所述特征序列A的权值、所述其余每个特征序列和所述其余每个特征序列的权值确定所述特征序列A的语义信息；

对所述特征序列A的语义信息进行解码识别，得到所述特征序列A对应的字符；

基于所述特征序列A的权值确定所述特征序列A对应的字符在所述车牌粗选区域内的位置信息。

5.根据权利要求1-4任一所述的方法，其特征在于，所述利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息之后，还包括：

基于所述多个特征序列，利用所述CNN模型确定所述车牌粗选区域在第一分类标签下的第一概率值以及所述车牌粗选区域在多个第二分类标签下的第二概率值，其中，所述第一分类标签用于指示所述车牌粗选区域内不包含车牌，所述第二分类标签用于指示车牌种类；

若确定得到的多个第二概率值中不存在大于所述第一概率值的第二概率值，则将所述车牌粗选区域确定为不包含车牌的区域；

若确定得到的多个第二概率值中存在大于所述第一概率值的第二概率值，则将所述多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为所述车牌粗选区域内包含的车牌所属的车牌粗选种类。

6.根据权利要求1所述的方法，其特征在于，所述基于确定的多个字符、所述每个字符的位置信息和所述车牌粗选区域内包含的车牌所属的车牌粗选种类，确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码，包括：

基于所述每个字符的位置信息确定所述车牌粗选区域内包含的车牌的车牌号码格式；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式相同，则将所述车牌粗选种类确定为所述车牌实际种类；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式不同，则基于所述车牌号码格式，对所述车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为所述车牌实际种类；

基于所述车牌实际种类对所述多个字符进行纠错；

将纠错后的多个字符确定为所述车牌号码。

7.根据权利要求1所述的方法，其特征在于，所述确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码之后，还包括：

获取所述车牌实际种类对应的车牌颜色信息和所属区域信息；

输出所述车牌号码、所述车牌号码中每个字符的位置信息、所述车牌颜色信息和所述区域信息。

8.一种车牌识别装置，其特征在于，所述装置包括：

获取模块，用于获取图像中的车牌粗选区域，并利用卷积神经网络CNN模型提取所述车牌粗选区域内的特征信息，所述特征信息包括多个特征序列；

第一确定模块，用于基于所述多个特征序列确定所述车牌粗选区域内的多个字符和每个字符的位置信息；

第二确定模块，用于基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码，并基于所述每个字符的位置信息确定所述车牌号码中相应字符的位置信息；

所述第二确定模块包括：

确定子模块，用于基于所述多个字符、所述每个字符的位置信息和所述车牌粗选种类，确定所述车牌粗选区域内包含的车牌的车牌实际种类和车牌号码；

所述第二确定模块还包括：

判断子模块，用于判断属于所述车牌实际种类的车牌号码中是否包含有子段和主段，所述子段和所述主段均指车牌号码中连续的字符串，所述主段包含的字符数大于所述子段包含的字符数，或者，所述主段包含的字符所占区域的尺寸大于所述子段包含的字符所占区域的尺寸；

划分子模块，用于若属于所述车牌实际种类的车牌号码中包含有子段和主段，则基于所述每个字符的位置信息以及所述车牌实际种类对应的预设格式，将所述车牌号码划分为子段和主段。

9.根据权利要求8所述的装置，其特征在于，所述第一确定模块包括：

处理子模块，用于通过基于聚焦机制的注意力Focus-Attention模型对所述多个特征序列中的每个特征序列进行处理，得到每个特征序列对应的字符和每个字符的位置信息。

10.根据权利要求9所述的装置，其特征在于，所述装置还用于：

判断所述多个字符组成的字符串是否为预设字符串；

若所述多个字符组成的字符串为预设字符串，则确定所述车牌粗选区域内不包含车牌；

若所述多个字符组成的字符串不为预设字符串，则触发所述第二确定模块基于确定的多个字符确定所述车牌粗选区域内包含的车牌的车牌号码的步骤。

11.根据权利要求9所述的装置，其特征在于，所述处理子模块具体用于：

对于所述多个特征序列中的任一特征序列A，确定所述特征序列A的权值和除所述特征序列A之外其余每个特征序列的权值，所述特征序列A的权值大于所述其余每个特征序列的权值；

基于所述特征序列A、所述特征序列A的权值、所述其余每个特征序列和所述其余每个特征序列的权值确定所述特征序列A的语义信息；

对所述特征序列A的语义信息进行解码识别，得到所述特征序列A对应的字符；

基于所述特征序列A的权值确定所述特征序列A对应的字符在所述车牌粗选区域内的位置信息。

12.根据权利要求8-11任一所述的装置，其特征在于，所述装置还用于：

基于所述多个特征序列，利用所述CNN模型确定所述车牌粗选区域在第一分类标签下的第一概率值以及所述车牌粗选区域在多个第二分类标签下的第二概率值，其中，所述第一分类标签用于指示所述车牌粗选区域内不包含车牌，所述第二分类标签用于指示车牌种类；

若确定得到的多个第二概率值中不存在大于所述第一概率值的第二概率值，则将所述车牌粗选区域确定为不包含车牌的区域；

若确定得到的多个第二概率值中存在大于所述第一概率值的第二概率值，则将所述多个第二概率值中最大概率值对应的第二分类标签所指示的车牌种类确定为所述车牌粗选区域内包含的车牌所属的车牌粗选种类。

13.根据权利要求8所述的装置，其特征在于，所述确定子模块具体用于：

基于所述每个字符的位置信息确定所述车牌粗选区域内包含的车牌的车牌号码格式；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式相同，则将所述车牌粗选种类确定为所述车牌实际种类；

若所述车牌号码格式与所述车牌粗选种类对应的预设格式不同，则基于所述车牌号码格式，对所述车牌粗选种类进行校正，并将校正后的车牌粗选种类确定为所述车牌实际种类；

基于所述车牌实际种类对所述多个字符进行纠错；

将纠错后的多个字符确定为所述车牌号码。

14.根据权利要求8所述的装置，其特征在于，所述第二确定模块还用于：

获取所述车牌实际种类对应的车牌颜色信息和所属区域信息；

输出所述车牌号码、所述车牌号码中每个字符的位置信息、所述车牌颜色信息和所述区域信息。

15.一种车牌识别装置，其特征在于，所述装置包括

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

Images