CN111652230A - 车牌识别方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种车牌识别方法、电子设备及存储介质。该方法包括：获取车牌图像；对车牌图像进行第一分割处理，得到分割处理结果；基于分割处理结果，确定车牌图像中的字符边界，并利用字符边界得到车牌图像的车牌倾斜角度；基于车牌倾斜角度对车牌图像中的车牌进行角度矫正；利用车牌识别模型对经矫正的车牌图像进行识别，得到车牌的字符识别结果。通过上述方式，本申请能够使车牌的字符识别结果更加准确。

Description

车牌识别方法、电子设备及存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种车牌识别方法、电子设备及存储介质。

背景技术

目前，车牌识别技术在交通管理方面发挥着越来越重要的作用。例如，高速公路收费管理、超速违章自动拍照、停车场管理、小区进出车辆管理、交通数据采集等系统中都需要对车牌进行识别，以根据字符识别结果对车辆进行管理。然而，现有的车牌识别方法得到的字符识别结果准确性不够高。

发明内容

本申请提供一种车牌识别方法、电子设备及存储介质，能够解决现有的车牌识别方法得到的字符识别结果准确性不够高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种车牌识别方法，该方法包括：获取车牌图像；对车牌图像进行第一分割处理，得到分割处理结果；基于分割处理结果，确定车牌图像中的字符边界，并利用字符边界得到车牌图像的车牌倾斜角度；基于车牌倾斜角度对车牌图像中的车牌进行角度矫正；利用车牌识别模型对经矫正的车牌图像进行识别，得到车牌的字符识别结果。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

上述方案，可基于车牌图像的第一分割处理结果，确定车牌图像中的字符边界，并利用字符边界得到车牌图像的车牌倾斜角度，而且利用字符边界实现车牌倾斜角度的确定，能够提高车牌倾斜角度的准确率，进而基于车牌倾斜角度对车牌图像进行角度矫正，并利用车牌识别模型对经矫正后的车牌图像进行识别得到的车牌字符结果更加准确。

附图说明

图1是本申请车牌识别方法第一实施例的流程示意图；

图2是图1中S110的具体流程示意图；

图3是图2中S112的具体流程示意图；

图4是图1中S130的一具体流程示意图；

图5是图1中S130的另一具体流程示意图；

图6是图1中S130的又一具体流程示意图；

图7是图6中S234的具体流程示意图；

图8是图7中S2342的具体流程示意图；

图9是图6中S235的具体流程示意图；

图10是本申请车牌识别模型一实施例的结构示意图；

图11是本申请车牌识别方法第二实施例的流程示意图；

图12是本申请车牌识别方法第三实施例的流程示意图；

图13是图12中S420的一具体流程示意图；

图14是本申请中经裁剪图像一获取方式示意图；

图15是本申请车牌识别模型结果示意图；

图16是本申请电子设备一实施例的结构示意图；

图17是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请车牌识别方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

S110：获取车牌图像。

本实施例中，该车牌图像可以理解为包含车牌的图像，一般可以对包含车辆的图像进行裁剪得到主要包含车牌区域的图像，由此，可专门地对图像中的车牌区域进行后续处理，进而识别得到车牌中的内容。下面示范性举例车牌图像的获取方式，可以理解的是，在其他实施例中，可通过其他方式获得车牌图像，本申请对车牌图像的获取方式不做具体限定。

参阅图2，S110可以包括：

S111：利用车辆检测模型对采集得到的原始图像进行车辆检测，得到原始图像中的车辆区域。

其中，该原始图像可以是通过具有拍摄功能的器件或设备直接采集得到的，也可以是从具有拍摄功能的器件或设备采集到的视频中提取出的。在一具体实施方式中，该原始图像可以为电警卡口的图像。

车辆检测模型可以为预先训练好的车辆检测模型，在一具体实施例中，该车辆检测模型可以为yolov3。该车辆检测模型可对原始图像进行检测，得到原始图像中车辆的位置，也即原始图像中的车辆区域。

S112：基于原始图像中的车辆区域，获取车辆图像。

车辆图像可以为原始图像中的车辆区域、原始图像中的车辆区域的偏下部分区域(例如下半部分区域)。在一具体实施方式中，可对原始图像中的车辆区域进行裁剪得到原始图像中车辆区域的下半部分区域，作为车辆图像。一般来说，机动车车牌位于车辆的下半部分，因此将原始图像中车辆区域的下半部分区域作为车辆图像能够使得后续对车牌的检测更加有效。

为避免检测误差导致实际的车辆区域与检测到的车辆区域不完全相符，而导致原始图像中车辆的车牌部分被裁剪掉的情况发生，因此在本申请另一具体实施方式中，可先对原始图像中的车辆区域进行扩充，再对扩充后的车辆区域进行裁剪，具体方法如下：

参阅图3，S112可以包括：

S1121：将原始图像中的车辆区域向外扩充预设比例，得到扩充后的车辆区域。

在一具体实施方式中，扩充的预设比例可以为车辆区域高度的10％，当然在其他实施方式中，预设比例也可以按照其他规则设定，在此不作具体限定。

S1122：将扩充后的车辆区域按照预设宽高比进行裁剪，得到车辆图像。

在一具体实施方式中，预设宽高比可以为1:1，当然在其他实施方式中，预设宽高比也可以按照其他规则设定，在此不作具体限定。其中，可按照预设宽高比1:1对扩充后的车辆区域的上半部分区裁剪掉，保留扩充后的车辆区域的下半部分。

S113：利用车牌检测模型对车辆图像进行车牌检测，得到车辆图像中的车牌信息。

车牌检测模型可以但不限于为yolov2，其可以对车辆图像进行车牌检测，得到车辆图像中的车牌信息。其中，车牌信息可以包括车牌的位置，在其他具体实施方式中，车牌信息还可以包括车牌的类别、车牌的类别置信度等。其中，车牌类别可以包括黄牌、蓝牌、绿牌等。

S114：基于车牌信息，从车辆图像中获取车牌图像。

在一具体实施方式中，可直接基于车牌的位置信息对车辆图像进行裁剪，并将裁剪得到的图像作为车牌图像。

在另一具体实施方式中，可先对车辆图像中车牌对应的区域进行扩边，再对车辆图像中经扩边的车牌区域进行裁剪。可选地，将车牌图像中对应车牌的类别置信度大于预设置信阈值的区域进行扩边，将经扩边的区域作为车牌图像。具体而言，可先将车牌图像中对应车牌的类别置信度大于预设置信度阈值的区域进行扩边，然后将车牌图像中经扩边的区域裁剪出来作为车牌图像。

S120：对车牌图像进行第一分割处理，得到分割处理结果。

其中，对车牌图像进行第一分割处理的方式有多种，可以但不限于为全局分割处理、局部分割处理。

S130：基于分割处理结果，确定车牌图像中的字符边界，并利用字符边界得到车牌图像中的车牌倾斜角度。

本步骤中，字符边界是指车牌图像中单个车牌字符的边界，其确定方式有多种，例如，基于字符的连通域确定字符边界。可以理解的是，在其他实施例中，可通过其他方式获得车牌图像，本申请对字符边界的确定方式不做具体限定。下面以基于字符的连通域确定字符边界的方法为例进行说明，具体如下：

参阅图4，S130中基于分割处理结果，确定车牌图像中的字符边界可以包括：

S131：基于分割处理结果，得到车牌图像中各字符的连通域。

可通过连通域标记算法找到车牌图像中字符的连通域，例如四邻域标记算法、八邻域标记算法等。

S132：将连通域的边界作为对应的字符边界。

可将每个字符的连通域边界作为对应的字符边界。可选地，字符边界为字符上边界和/或字符下边界。可将连通域的上边界作为字符上边界，将连通域的下边界作为字符下边界。

利用字符边界确定车牌倾斜角度的方式可以有多种，例如可以通过车牌图像中某一部分字符边界来确定车牌倾斜角度，或者可以通过车牌图像中全部字符边界来确定车牌倾斜角度等。

下面以通过车牌图像中全部字符边界来确定车牌倾斜角度为例进行说明，参阅图5，S130中利用字符边界得到车牌图像中的车牌倾斜角度可以包括：

S133：获取车牌图像中各字符边界的第一倾斜信息。

可选地，第一倾斜信息包括第一斜率和第一截距。其中，第一斜率可以为字符边界的斜率，第一截距可以为字符边界的截距。第一斜率具体可以为字符上边界和/或字符下边界的斜率，第一截距具体可以为字符上边界和/或字符下边界的截距。当第一斜率为字符上边界的斜率时，第一截距为字符上边界的截距；当第一斜率为字符下边界的斜率时，第一截距为字符下边界的截距；当第一斜率为字符上边界和下边界的斜率时，第一截距为字符上边界和下边界的截距。

以字符1和字符2为例进行说明，字符1的第一斜率信息为(k₁,b₁)，其中k₁为字符1上边界和/或下边界的第一斜率，b₁为字符1上边界和/或下边界的第一截距；字符2的第一斜率信息为(k₂,b₂)，其中k₂为字符2上边界和/或下边界的第一斜率，b₂为字符2上边界和/或下边界的第一截距。其中，此处第一斜率信息的表示方式仅为示例，其还可以为其他表示方式，在此不作限定。

S134：基于第一倾斜信息，得到车牌图像的车牌倾斜角度。

本步骤中车牌图像的车牌倾斜角度的具体计算方法可参考后面的实施例。

参阅图6，在另一具体实施方式中，S130中利用字符边界得到车牌图像中的车牌倾斜角度可以包括：

S233：获取车牌图像中各字符边界的第一倾斜信息。

本步骤详细描述请参考S133，在此不再重复。

S234：基于第一倾斜信息，判断车牌图像中的字符倾斜分布是否在预设分布范围内。

若是，则执行S235；若否，则执行S236。

可以理解的是，字符倾斜分布为字符的倾斜程度的分布情况。其中，表示字符的倾斜程度的方法有多种，例如，可利用字符对应的第一倾斜信息(即字符边界的第一倾斜信息)来表示字符的倾斜程度，基于此，字符倾斜分布可以为字符边界的第一倾斜信息的分布情况，例如第一斜率分布情况，和/或第一截距分布情况。

当然，在本申请其他实施方式中，字符的倾斜程度还可以用其他方法表示，在此不作具体限定。

参阅图7，当字符倾斜分布为字符边界的第一倾斜信息的分布情况时，S234可以包括以下子步骤：

S2341：分别将车牌图像中每相邻两个字符作为一字符组，统计字符组中每个字符的第一倾斜信息，得到字符组的第二倾斜信息。

可选地，第二倾斜信息包括第二斜率和第二截距。其中第二斜率可通过当前字符组中两相邻字符的第一斜率计算得到，第二截距可通过当前字符组中两相邻字符对应的第一截距计算得到。

在一具体实施方式中，S2341中字符组对应第一预设边界的第二倾斜信息具体计算方式如下：

获取字符组中的第一斜率的均值和第一截距的均值，以作为字符组对应的第二斜率和第二截距。

可计算字符组中两字符上边界的第一斜率均值和/或下上边界的第一斜率均值作为该字符组对应的第二斜率，计算字符组中两字符边界的第一截距均值和/或下上边界的第一截距均值作为该字符组对应的第二截距。

仍以字符组(字符1，字符2)为例进行说明，该字符组对应的第二斜率为

对应的第二截距为

S2342：统计第二倾斜信息与每个字符的第一倾斜信息之间的差值均在预设差值范围内的字符组数量。

其中，字符组的第二倾斜信息与每个字符的第一倾斜信息之间的差值可以包括字符组对应的第二斜率分别与每个字符的第一斜率之间的差值，以及字符组对应的第二截距分别与每个字符的第一截距之间的差值。

举例说明，现车牌图像中有字符i(i＝1,…,7)，且字符i对应第一倾斜信息(k_i,b_i)，字符组(字符1，字符2)的第二倾斜信息与字符i的第一倾斜信息之间的差值可以包括

和

参阅图8，S2342可以包括以下子步骤:

S23421：判断每个字符组是否满足以下条件：第二斜率与每个字符的第一斜率之间的第一差值均在预设斜率范围内，且第二截距与每个字符的第一截距之间的第二差值均在预设截距范围内。

仍以一个字符组(字符1，字符2)进行说明，判断(字符1，字符2)与字符i的第一斜率之间的第一差值是否均在预设斜率范围内，也即判断

是否在预设斜率范围内；判断(字符1，字符2)与字符i的第一截距之间的第一差值是否均在预设截距范围内，也即判断

是否在预设截距范围内。

S23422：统计满足条件的字符组数量。

当找到一满足条件的字符组时，将满足条件的字符组数量加1，以此方式得到最终的满足条件的字符组数量。当然，在其他实施例中，也可以通过其他方式统计满足条件的字符组数量，在此不作具体限定。

S2343：判断字符组数量是否大于预设数量阈值。

在具体实施方式中，预设数量阈值可以为3、4等，当然，出于对精度等因素的考虑，也可以将预设数量阈值设为其他值。

若是，则执行S2344。

S2344：确定字符倾斜分布在预设分布范围内。

S235：基于第一倾斜信息，得到车牌图像的车牌倾斜角度。

参阅图9，S235可以包括：

S2351：在与每个字符的第一倾斜信息之间的差值均在预设差值范围内的至少一个第二倾斜信息中，选择与每个字符的差值之和最小的第二倾斜信息作为车牌图像中的车牌边界的倾斜信息。

举例说明，现有与每个字符的第一倾斜信息之间的差值均在预设差值范围内的第二倾斜信息(k_m1,b_m1)、(k_m2,b_m2)和(k_m3,b_m3)，其中(k_m2,b_m2)与每个字符的差值之和最小，则将(k_m2,b_m2)作为车牌图像中的车牌边界的倾斜信息。

当然，在其他实施例中，也可以在与每个字符的第一倾斜信息之间的差值均在预设差值范围内的至少一个第二倾斜信息中，选择与每个字符的差值的均值最小的第二倾斜信息作为车牌图像中的车牌边界的倾斜信息，在此不作具体限定。

S2352：利用车牌图像中的车牌边界的倾斜信息，得到车牌倾斜角度。

具体可利用车牌边界的倾斜信息包括的截距和斜率，计算出车牌倾斜角度。

S236：对车牌图像进行第二分割处理，得到新的分割结果。

在车牌图像的字符倾斜分布没有在预设分布范围内时，进一步对车牌图像第二分割处理，以得到新的分割结果。其中，第二分割处理的精度大于第一分割处理的精度。在一具体实施方式中，第一分割处理为全局阈值分割处理，第二分割处理为局部阈值分割处理。

执行完本步骤之后，可重复执行S130，直至得到车牌图像中的车牌倾斜角度。

S140：基于车牌倾斜角度对车牌图像中的车牌进行角度矫正。

本步骤中，可利用图像旋转变换对车牌图像中的车牌进行角度矫正。在一具体实施例中，可直接基于车牌倾斜角度对车牌图像中的车牌进行角度矫正，在另一具体实施例中，可在判断出车牌倾斜角度大于预设角度阈值的情况下，基于车牌倾斜角度对车牌图像中的车牌进行角度矫正。

S150：利用车牌识别模型对经矫正的车牌图像进行识别，得到车牌的字符识别结果。

本申请车牌识别模型一实施例的结构示意图请参阅图10，如图10所示，车牌识别模型包括卷积神经网络(CNN)、循环神经网络(RNN)、全连接层、softmax层、翻译(Transcription)层。具体通过该车辆识别模型进行识别的方法请参考后面的实施例。

通过上述实施例的实施，本申请可基于车牌图像的第一分割处理结果，确定车牌图像中的字符边界，并利用字符边界得到车牌图像的车牌倾斜角度，而且利用字符边界实现车牌倾斜角度的确定，能够提高车牌倾斜角度的准确率，进而基于车牌倾斜角度对车牌图像进行角度矫正，并利用车牌识别模型对经矫正后的车牌图像进行识别得到的车牌字符结果更加准确。

图11是本申请车牌识别方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图11所示的流程顺序为限。本实施例是对上述第一实施例的进一步扩展，如图11所示，在S140之前，本实施例可以包括：

S310：判断车牌倾斜角度是否大于0。

若是，则执行S320；若否，则执行S330。

S320：保留车牌倾斜角度。

当车牌倾斜角度大于0时，保留车牌倾斜角度，后续可直接基于该车牌倾斜角度对车牌图像中车牌进行角度矫正，当然，也可以在判断出该车牌倾斜角度大于预设角度阈值的情况下，才基于该车牌倾斜角度对车牌图像中的车牌进行角度矫正。

S330：对车牌图像进行拉冬变换，得到新的车牌倾斜角度。

当车牌倾斜角度等于0时，对车牌图像进行拉冬变换得到新的车牌倾斜角度。拉冬变换的计算精度更高，但是其计算车牌倾斜角度的耗时较长，因此，在通过第一分割处理、第二分割处理得到没有得到合适的车牌倾斜角度的情况下，再通过拉冬变换计算车牌倾斜角度，能够减少计算过程的耗时。

后续在基于车牌倾斜角度对车牌图像中的车牌进行角度矫正的过程中，可直接基于该新的车牌倾斜角度对车牌图像中的车牌进行角度矫正，也可以在新的车牌倾斜角度大于预设角度阈值的情况下，才基于该新的车牌倾斜角度对车牌图像中的车牌进行角度矫正。

图12是本申请车牌识别方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图12所示的流程顺序为限。本实施例是对上述第一实施例的进一步扩展，如图12所示，在S150之前，本实施例可以包括：

S410：利用车牌图像中车牌的类别，判断车牌图像包含单层字符还是双层字符。

车牌图像中车牌的类别可通过上述第一实施例中S113得到。一般来说，蓝牌、绿牌中包含单层字符，黄牌中包含双层字符。故可通过车牌图像中车牌的类别来判断车牌图像中包含单层字符还是双层字符。

S420：对经矫正的车牌图像进行纹理检测，以确定车牌中的字符行边界。

所谓纹理检测，也即对经矫正的车牌图像进行纹理特征投影。其中，水平纹理检测可以为纹理特征在水平方向上的投影，垂直纹理检测可以为纹理特征在垂直方向上的投影。可以理解的是，车牌图像中存在字符的区域对应的投影值更大，因此可通过经矫正的车牌图像的纹理检测得到的投影值确定车牌中的字符行的边界，即字符行边界。

可选地，字符行边界包括字符行的上边界、下边界、左边界和右边界。对经矫正的车牌图像进行水平纹理检测，以确定车牌中字符行的上边界和下边界，并对经矫正的车牌图像进行垂直纹理检测，以确定车牌中字符行的左边界和右边界。

下面对经矫正的车牌图像进行垂直纹理检测，以确定车牌中字符行的左边界和右边界的过程进行举例说明:

对经矫正的车牌图像进行逐列扫描，得到每列在水平方向(x轴方向)上的投影值，进而得到其在水平方向上的投影图像，投影图像可参阅图13，如图13所示，投影图像中包括多个区域，将投影图像中每个区域第一个大于预设投影阈值的位置作为字符区域的左边界，以每个第一个小于预设投影阈值的位置作为字符区域的右边界，以此方式从左到右依次寻找，以找到所有的左边界和右边界，进而得到所有的字符区域，然后基于该投影图像中的峰谷投影值，滤除掉得到的字符区域中宽高比不满足条件的区域，并将未被过滤掉的区域作为车牌的字符区域，然后将最左的车牌的字符区域的左边界作为车牌字符行的左边界，将最右的车牌的字符区域的右边界作为车牌字符行的右边界。

若车牌图像包含单层字符，S420中对经矫正的车牌图像进行水平纹理检测，以确定车牌中的字符行的上边界和下边界，可以包括：

基于车牌的中心位置，分别向上和向下进行水平纹理检测，得到字符行的上边界和下边界。

可基于车牌的中心位置，同时向上和向下逐行进行水平纹理检测，得到字符行的上边界和下边界。具体而言，可对车辆图像向上和向下进行逐行扫描，得到车辆图像在垂直方向(y轴方向)上的投影值，若当前次扫描得到的投影值大于车辆图像在垂直方向上的平均投影值，则认为还未扫描到车辆图像的边界，继续向上和向下进行扫描，直到当前次扫描得到的投影值小于车辆图像在垂直方向上的平均投影值，此时认为当前扫描位置为车辆图像的上/下边界。

在其他实施例中，向上和向下的水平纹理检测也可以不同时进行。其中，车牌的中心位置可以根据上述第一实施例中通过车牌检测模型得到的车牌图像中的车牌位置得到。

若车牌图像包含双层字符，S420中对经矫正的车牌图像进行水平纹理检测，以确定车牌中的字符行的上边界和下边界，可以包括：

基于车牌的中心位置，分别向上和向下进行水平纹理检测，得到下层字符行的上边界和下边界，并基于下层字符行的上边界与车牌的上边界之间区域的中心位置，分别向上和向下进行水平纹理检测，得到上层字符行的上边界和下边界。

包含双层字符的车牌图像中每层字符的水平纹理检测过程与S421类似，在此不再重复。

S430：基于字符行边界，对经矫正的车牌图像进行裁剪，以得到经裁剪图像。

若车牌图像包含单层字符，将字符行边界在经矫正的车牌图像中对应的区域进行裁剪，以得到经裁剪图像。

若车牌图像包含双层字符，则将上层字符行边界、下层字符行边界分别在经矫正的车牌图像中对应的区域进行裁剪，得到上层字符区域和下层字符区域，将上层字符区域进行尺寸变换后与下层字符区域进行拼接得到经裁剪图像。

一般来说，包含双层字符的车牌图像中上层字符的尺寸小于下层字符的尺寸，因此在裁剪得到上层字符区域和下层字符区域后，可根据下层字符区域的尺寸调整上层字符区域的尺寸，当然，也可以根据上层字符区域的尺寸调整下层字符区域的尺寸，然后再对调整后的上层字符区域和下层字符区域进行拼接成单层字符图像，即经裁剪图像。

对上述获得经裁剪图像的过程进行举例说明，如图14所示，基于车牌图像中车牌类别确定车牌图像包含的字符行层数，基于字符行层数确定车牌图像中字符行边界，基于字符行边界从车牌图像中裁剪出字符区域，作为经裁剪图像送入车牌识别模型进行识别。

在此基础上，利用车牌识别模型对经矫正的车牌图像进行识别可以包括：利用车牌识别模型对经裁剪图像进行识别。车牌识别模型对经裁剪图像进行识别得到的最终结果请参阅图15，如图15所示，首先通过卷积神经网络提取经矫正的车牌图像的特征，然后经过循环神经网络得到识别特征，接着经过全连接层再次对识别特征进行处理，然后经过softmax层对处理过的识别特征进行分类得到分类结果，然后通过翻译层将分类结果中空格和相邻两个一样字符过滤掉其中一个，得到最终的识别结果，即车牌的字符识别结果。

通过本实施例的实施，本申请没有对经矫正的车牌图像直接进行识别，而是先对经矫正的车牌图像进行纹理检测确定字符行边界，并根据确定的字符行边界对经矫正的车牌图像进行裁剪，得到经裁剪图像，再利用车牌识别模型对经裁剪图像进行识别，从而能够使得最终得到的车牌字符识别结果更加准确。并且包含双层字符的车牌图像中的字符区域转换成单层字符区域再进行识别的方式，能够使得包含单/双层字符的车牌图像的识别可以使用同一车牌识别模型，实现了车牌图像识别的多batch。

图16是本申请电子设备一实施例的结构示意图。如图16所示，该电子设备包括处理器510、与处理器耦接的存储器520。

其中，存储器520存储有用于实现上述任一实施例的方法的程序指令；处理器510用于执行存储器520存储的程序指令以实现上述方法实施例的步骤。其中，处理器510还可以称为CPU(Central Processing Unit，中央处理单元)。处理器510可能是一种集成电路芯片，具有信号的处理能力。处理器510还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图17是本申请存储介质一实施例的结构示意图。如图17所示，本申请实施例的存储介质600存储有程序指令610，该程序指令610被执行时实现本申请上述实施例提供的方法。其中，该程序指令610可以形成程序文件以软件产品的形式存储在上述存储介质600中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质600包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种车牌识别方法，其特征在于，包括：

获取车牌图像；

对所述车牌图像进行第一分割处理，得到分割处理结果；

基于所述分割处理结果，确定所述车牌图像中的字符边界，并利用所述字符边界得到所述车牌图像的车牌倾斜角度；

基于所述车牌倾斜角度对所述车牌图像中的车牌进行角度矫正；

利用车牌识别模型对经矫正的所述车牌图像进行识别，得到所述车牌的字符识别结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述分割处理结果，确定所述车牌图像中的字符边界，包括：

基于所述分割处理结果，得到所述车牌图像中各字符的连通域；

将所述连通域的边界作为对应的所述字符边界；

所述利用所述字符边界得到所述车牌图像的车牌倾斜角度，包括：

获取所述车牌图像中各字符边界的第一倾斜信息，其中，所述字符边界为字符上边界和/或字符下边界；

基于所述第一倾斜信息，得到所述车牌图像的车牌倾斜角度。

3.根据权利要求2所述的方法，其特征在于，在所述基于所述第一倾斜信息，得到所述车牌图像的车牌倾斜角度之前，还包括：

基于所述第一倾斜信息，判断所述车牌图像中的字符倾斜分布是否在预设分布范围内；

若是，则执行所述基于所述第一倾斜信息，得到所述车牌图像的车牌倾斜角度；

若否，则对所述车牌图像进行第二分割处理，得到新的分割结果，并重新执行所述基于所述分割处理结果，确定所述车牌图像中的字符边界的步骤，并利用所述字符边界得到所述车牌图像的车牌倾斜角度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一倾斜信息，判断所述车牌图像中的字符倾斜分布是否在预设分布范围内，包括：

分别将所述车牌图像中每相邻两个字符作为一字符组，统计所述字符组中每个所述字符的所述第一倾斜信息，得到所述字符组的第二倾斜信息；

统计所述第二倾斜信息与每个所述字符的第一倾斜信息之间的差值均在预设差值范围内的字符组数量；

若所述字符组数量大于预设数量阈值，则确定所述字符倾斜分布在所述预设分布范围内；

所述基于所述第一倾斜信息，得到所述车牌图像的车牌倾斜角度，包括：

在与每个所述字符的第一倾斜信息之间的差值均在所述预设差值范围内的至少一个第二倾斜信息中，选择与每个所述字符的差值之和最小的所述第二倾斜信息作为所述车牌图像中的车牌边界的倾斜信息；

利用所述车牌图像中的所述车牌边界的倾斜信息，得到所述车牌倾斜角度。

5.根据权利要求4所述的方法，其特征在于，所述第一分割处理为全局阈值分割处理，所述第二分割处理为局部阈值分割处理；

所述第一倾斜信息包括第一斜率和第一截距，所述第二倾斜信息包括第二斜率和第二截距；

所述统计所述字符组中每个字符对应的所述第一倾斜信息，得到所述字符组对应的第二倾斜信息，包括：

获取所述字符组中的所述第一斜率的均值和所述第一截距的均值，以作为所述字符组对应的第二斜率和第二截距；

所述统计所述第二倾斜信息与每个字符的第一倾斜信息之间的差值均在预设差值范围内的字符组数量，包括：

判断每个所述字符组是否满足以下条件：所述第二斜率与每个所述字符的第一斜率之间的所述第一差值均在所述预设斜率范围内，且所述第二截距与每个所述字符的第一截距之间的第二差值均在所述预设截距范围内；

统计满足条件的字符组数量。

6.根据权利要求1所述的方法，其特征在于，在所述基于所述车牌倾斜角度对所述车牌图像中的车牌进行角度矫正之前，还包括：

判断所述车牌倾斜角度是否大于0；

若是，则保留所述车牌倾斜角度；

若否，则对所述车牌图像进行拉冬变换，得到新的所述车牌倾斜角度；

和/或，所述基于所述车牌倾斜角度对所述车牌图像中的车牌进行角度矫正，包括：

若所述车牌倾斜角度大于预设角度阈值，则基于所述车牌倾斜角度对所述车牌图像中的车牌进行角度矫正。

7.根据权利要求1所述的方法，其特征在于，在所述利用车牌识别模型对经矫正的所述车牌图像进行识别之前，还包括：

对经矫正的所述车牌图像进行纹理检测，以确定所述车牌中的字符行边界；

基于所述字符行边界，对所述经矫正的车牌图像进行裁剪，以得到经裁剪图像；

所述利用车牌识别模型对经矫正的所述车牌图像进行识别包括：

利用所述车牌识别模型对所述经裁剪图像进行识别。

8.根据权利要求7所述的方法，其特征在于，所述纹理检测包括水平纹理检测和垂直纹理检测，所述字符行边界包括字符行的上边界、下边界、左边界和右边界，

所述对经矫正的所述车牌图像进行纹理检测，以确定所述车牌中的字符行边界包括：

对所述经矫正的车牌图像进行所述水平纹理检测，以确定所述车牌中字符行的上边界和下边界，并对所述经矫正的车牌图像进行所述垂直纹理检测，以确定所述车牌中字符行的左边界和右边界。

9.根据权利要求8所述的方法，其特征在于，在所述对所述经矫正的车牌图像进行纹理检测之前，还包括：

利用所述车牌图像所属的车牌类别，判断所述车牌图像包含单层字符还是双层字符；

所述对所述经矫正的车牌图像进行所述水平纹理检测，以确定所述车牌中字符行的上边界和下边界包括：

若所述车牌图像包含所述单层字符，则基于车牌的中心位置，分别向上和向下进行水平纹理检测，得到所述字符行的上边界和下边界；

若所述车牌图像包含所述双层字符，则基于所述车牌的中心位置，分别向上和向下进行所述水平纹理检测，得到下层字符行的上边界和下边界，并基于所述下层字符行的上边界与所述车牌的上边界之间区域的中心位置，分别向上和向下进行所述水平纹理检测，得到上层字符行的上边界和下边界。

10.根据权利要求9所述的方法，其特征在于，所述基于所述字符行边界，对所述经矫正的车牌图像进行裁剪，以得到经裁剪图像，包括：

若所述车牌图像包含单层字符，则将所述字符行边界在经矫正的车牌图像中对应的区域进行裁剪，以得到经裁剪图像；

若所述车牌图像包含双层字符，则将所述上层字符行边界、下层字符行边界分别在经矫正的车牌图像中对应的区域进行裁剪，得到上层字符区域和下层字符区域，将所述上层字符区域进行尺寸变换后与所述下层字符区域进行拼接得到经裁剪图像。

11.根据权利要求1所述的方法，其特征在于，所述获取车牌图像，包括：

利用车辆检测模型对采集得到的原始图像进行车辆检测，得到所述原始图像中的车辆区域；

基于所述原始图像中的车辆区域，获取车辆图像；

利用车牌检测模型对所述车辆图像进行车牌检测，得到所述车辆图像中的车牌信息；

基于所述车牌信息，从所述车辆图像中获取所述车牌图像。

12.根据权利要求11所述的方法，其特征在于，

基于所述原始图像中的车辆区域，获取车辆图像，包括：

将所述原始图像中的车辆区域向外扩充预设比例，得到扩充后的车辆区域；

将所述扩充后的车辆区域按照预设宽高比进行裁剪，得到所述车辆图像；

所述车牌信息包括车牌的类别置信度，所述基于所述车牌信息，从所述车辆图像中获得车牌图像，包括：

将所述车辆图像中对应所述车牌的类别置信度大于预设置信度阈值的区域进行扩边，将经扩边的区域作为所述车牌图像。

13.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-12中任一项所述的方法。

14.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-12中任一项所述的方法。

Images