CN114202753A - 车牌识别方法、装置和系统 - Google Patents

Abstract

一种车牌识别方法、装置和系统，涉及计算机视觉和图像处理领域，有助于达到以较高的准确率同时识别多个地域车牌的目的。该车牌识别方法包括：在车牌识别系统中预存多个车牌识别模型，其中，不同的车牌识别模型专门针对不同地域的车牌图像进行训练，当需要对车牌进行识别时，从车辆图像中获取车牌图像，然后根据车牌图像与地域的对应关系，选择与之对应的识别模型进行车牌识别，从而提高车牌识别的准确率。

Description

车牌识别方法、装置和系统

技术领域

本申请涉及计算机视觉和图像处理技术领域，尤其涉及车牌识别方法、装置和系统。

背景技术

一方面，随着交通事业的迅速发展、城市化进程的不断深入，城市汽车数量的逐年增加，车牌识别逐渐成为交通领域的主要业务之一；通过使用智能算法进行车牌识别实现智能化交通监控是未来道路交通的发展趋势。

另一方面，伴随着不同地区或国家互通越来越深入，不同地区或国家的车辆混开也越来越频繁和常见。例如，在中国，有些车为了可以在大陆、香港或澳门地区混开，会同时悬挂大陆、香港或澳门等多个地区的车牌，此时，会存在某个地区(如大陆)出现多个不同地区的车牌的现象。又例如，在其他一些地域，多个国家之间的车辆也可以互相进入对方国家，因此，也存在在一个国家同时出现不同国家车牌的现象。

面对上述现象，同时识别多个不同地区或国家的车牌相应成了交通业务上的关键需求。

发明内容

本申请提供的车牌识别方法、装置和系统实施例，有助于达到以较高的准确率识别多个地域车牌的目的。

本申请提供如下技术方案：

第一方面，本申请提供了一种车牌识别方法，该方法包括：首先，从车辆图像中获取一个或多个车牌图像，以及第一车牌图像的第一地域类别。其中，第一车牌图像为上述一个或多个车牌图像中的一个；第一地域类别为预设的多个地域类别中的一种。然后，从预存的多个车牌识别模型中选择第一车牌识别模型识别第一车牌图像得到第一车牌内容。其中，第一车牌识别模型是采用归属地为第一地域类别的车牌图像训练得到的。

通过本申请实施例的第一方面，在识别车牌内容之前，先对从车辆图像中检测到的车牌图像按照预设的地域类别分类，再从预先训练的多个与地域相关的车牌识别模型中，选择与车牌图像的地域类别相对应的车牌识别模型来识别该车牌图像的内容。可见，本申请实施例的第一方面避免采用同一个车牌识别模型来识别不同地域的车牌，从而达到以较高的准确率同时识别多个地域车牌的目的。

结合第一方面，在第一种可能的实现方式中，上述从车辆图像中获取一个或多个车牌图像，以及第一车牌图像的第一地域类别的过程，包括：采用具备车牌检测和分类能力的车牌检测模型处理车辆图像，得到车辆图像中一个或多个车牌图像，以及所述一个或多个车牌图像中每个车牌图像的地域类别。其中，第一车牌图像的地域类别为第一地域类别。在这种实现方式下，采用同一个模型完成第一车牌图像的检测和按地域分类的功能，因而计算效率较高，适用于计算资源紧张或者有实时计算要求的场景。

结合第一方面，在第二种可能的实现方式中，上述从车辆图像中获取一个或多个车牌图像，以及第一车牌图像的第一地域类别的过程，包括：首先采用仅具备车牌检测能力的车牌检测模型处理车辆图像，得到该车辆图像中的一个或多个车牌图像。然后采用车牌分类模型处理第一车牌图像，得到第一车牌图像的第一地域类别。在这种实现方式下，采用车牌检测模型完成车牌检测，然后采用专门的车牌分类模型将检测得到的第一车牌图像按地域分类。这种方式得到的地域分类结果更准，从而可以提升最终车牌识别的准确率。

结合第一方面，在第三种可能的实现方式中，从车辆图像中获取一个或多个车牌图像，以及第一车牌图像的第一地域类别的过程，包括：首先采用具备车牌检测和分类能力的车牌检测模型处理车辆图像，得到该车辆图像中的一个或多个车牌图像；以及所述一个或多个车牌图像中每个车牌图像的地域类别。其中，第一车牌图像的地域类别为第二地域类别，该第二地域类别为预设的多个地域类别中的一种。然后，采用车牌分类模型处理第一车牌图像，得到第一车牌图像的第三地域类别，该第三地域类别也为预设的多个地域类别中的一种。最后，从上述第二地域类别和第三类别中选择置信度值较高的一个作为所述第一地域类别，即最终确定的第一车牌图像的地域类别为第一地域类别。所述第三种实现方式分别采用了上述第一种和第二种实现方式得到第一车牌图像的两个地域分类结果，然后取所述两个结果中更准确的(置信度值更高的)作为第一车牌图像的地域类别，因此该方式又可以得到相比上述第二种实现方式下进一步准确的地域分类结果，也因此可以更进一步提升车牌识别的准确率。

可选地，上述车牌识别方法可以在识别第一车牌图像之前，判断第一车牌图像的地域类别是否属于预设的目标地域。如果判断的结果为是，则识别第一车牌图像得到第一车牌内容。否则，不识别第一车牌图像。在有些只需要识别目标地域车牌的场景下，这种方式可以降低系统的计算量。

可选地，为了便于交通管理人员查看识别的车牌内容结果，上述车牌识别方法可以以声音、图像或者文字等形式在本地输出第一车牌内容。或者，上述车牌识别方法还可以将第一车牌内容发送到另一个设备上。

可选地，上述车牌识别方法可以对上述一个或多个车牌图像的每个车牌图像，都采取如上述对第一车牌图像同样的处理方式，得到每个车牌图像的车牌内容；也可以选择上述一个或多个车牌图像的一部分车牌图像进行上述处理得到部分车牌图像的车牌内容。

可选的，上述预存的多个车牌识别模型还包括第二车牌识别模型，该模型是采用归属地为第二地域类别的车牌图像训练得到的。其中，所述第二地域类别也是预设的多个地域类别中的一种。

第二方面，本申请提供一种车牌识别系统，该车牌识别系统可以用于执行上述第一方面提供的任一种方法。该车牌识别系统包括处理器和图像采集器。

图像采集器用于采集车辆图像，并通过物理接口(例如USB接口，系统总线等)，或者网络(例如有线网络、或者无线网络)将所采集的车辆图像发送给处理器。

处理器用于接收车辆图像，并对车辆图像执行上述本申请第一方面提供的车牌识别方法。具体地，处理器对车辆图像的处理过程和处理结果请参考上述第一方面提供的车牌识别方法的介绍，在此不再赘述。

第三方面，本申请提供了一种车牌识别装置，该计算机设备可以用于执行上述第一方面提供的任一种方法。

结合第三方面，在一种可能的实现中，该车牌识别装置包括车牌检测分类单元，以及车牌识别单元。

车牌检测分类单元用于从车辆图像中获取一个或多个车牌图像，以及获取第一车牌图像的第一地域类别。其中，第一车牌图像为上述一个或多个车牌图像中的一个；第一地域类别为预设的多个地域类别中的一种。

车牌识别单元用于从预存的多个车牌识别模型中选择第一车牌识别模型来识别该第一车牌图像得到第一车牌内容。其中，第一车牌识别模型是采用归属地为第一地域的车牌图像训练得到的。

可选地，当车牌检测分类单元从车辆图像中获取的车牌图像的数量为多个时，车牌检测分类单元还用于获取第二车牌图像的第二地域类别。其中，第一车牌图像是上述多个车牌图像中的一个；第一地域类别也是预设的多个地域类别中的一种。此时，车牌识别单元还用于从预存的多个车牌识别模型中选择第二车牌识别模型来识别第二车牌图像得到第二车牌内容。其中，第二车牌识别模型是采用归属地为第二地域的车牌图像训练得到的。

可选地，本申请实施例提供的车牌识别装置还包括判断单元，用于判断上述第一车牌图像的第一地域类别是否属于预设的目标地域。当判断单元判断所述第一地域类别是属于预设的目标地域时，车牌识别单元才会识别第一车牌图像的内容；反之，车牌识别单元不会识别第一车牌图像的内容。

可选地，本申请实施例提供的车牌识别装置还包括输出单元，用于以声音、图像或者文字的形式输出上述第一车牌内容，以便于交通管理人员查看车牌识别的结果。

可选地，本申请实施例提供的车牌识别装置还包括收发单元，用于通过物理接口或者网络接收车辆图像。该收发单元还用于通过物理接口，或者网络将上述第一车牌的内容发送到另一个设备上。

结合第三方面，在另一种可能的实现中，该车牌识别装置包括：存储器和一个或多个处理器；存储器和处理器耦合。上述存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当该计算机指令被车牌识别装置执行时，使得车牌识别装置执行如第一方面及其任一种可能的实现方式所述的车牌识别方法。

第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当该计算机指令在车牌识别系统上运行时，使得车牌识别系统实现如第一方面提供的任一种可能的实现方式所述的车牌识别方法。

第五方面，本申请提供一种计算机程序产品，当该计算机程序产品在车牌识别系统上运行时，使得车牌识别系统实现如第一方面提供的任一种可能的设计方式所述的车牌识别方法。

本申请中第二方面到第五方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第五方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

附图说明

图1为本申请实施例提供的车牌识别系统的一种硬件结构图。

图2为本申请实施例提供的车牌识别系统的一种构成示意图。

图3为本申请实施例提供的车牌识别系统的另一种构成示意图。

图4为本申请实施例提供的第一种车牌识别方法的流程示意图。

图5为本申请实施例提供的第二种车牌识别方法的流程示意图。

图6为本申请实施例提供的第三种车牌识别方法的流程示意图。

图7为本申请实施例提供的车牌识别装置的逻辑单元示意图。

具体实施方式

下面将结合各个附图对本申请技术方案的实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

本申请实施例提供一种车牌识别方法、装置和系统。

车牌识别系统对车辆图像执行车牌检测得到一个或多个车牌图像，并对车牌图像按地域分类得到车牌图像的地域类别，然后从多个车牌识别模型中选择与车牌图像对应的识别模型来识别对应的车牌图像得到车牌内容，最终可以得到所述车辆图像中一个或多个车牌图像的内容。

如图1所示为本申请实施例提供的车牌识别系统的硬件结构，该系统包括处理器11、存储器12。

处理器11是车牌识别系统10的控制中心，可以是一个通用中央处理单元(centralprocessing unit，CPU)，也可以是其他通用或专用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。作为一个示例，处理器11可以包括一个或多个CPU，例如图1中所示的CPU 0和CPU 1。

处理器11用于执行下述本申请实施例提供的车牌识别方法。

存储器12，可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器12可以独立于处理器11，也可以通过总线与处理器11相连接，还可以和处理器11集成在一起。

存储器12用于存储数据、指令或者程序代码。处理器11调用并执行存储器12中存储的指令或程序代码时，能够实现本申请实施例提供的车牌识别方法。

可选地，该车牌识别系统10还可以包括图像采集器13。

图像采集器13可以是拥有CCD、CMOS等传感器的成像设备，也称摄像头/摄像机；用于采集车辆图像，并将采集的图像数据发送给其他器件(例如处理器11)处理。其物理形态例如是专用摄像机、手机、IPAD等，只要拥有拍摄图像或者视频的功能即可。

可选地，该车牌识别系统10还可以包括收发器14。

收发器14，可以是收发电路，用于与其它设备或通信网络通信；用于将处理器11识别得到的车牌内容发送到其他设备上。当车牌识别系统10上没有图像采集器13时，收发器14还可以用于接收车辆图像，并将接收的车辆图像发送给处理器11处理。

上述车牌识别系统10中的处理器11、存储器12、图像采集器13以及收发器14可以集成在一个设备上，如图2所示，车牌识别系统10可以是摄像机，这种拥有设备功能的摄像机也可以称为智能摄像机。这种情况下，上述车牌识别方法可以在智能摄像机内运行。

上述车牌识别系统10中的处理器11、存储器12、图像采集器13以及收发器14也可以分布在多个设备上，在这种情况下，如图3所示，车牌识别系统10可以包括摄像机和计算设备；其中，图像采集器13可以集成在摄像机上，处理器11、存储器12和收发器14可以集成在计算设备上。摄像机和计算设备之间可以通过物理接口连接，也可以通过有线或者无线网络连接。这种情况下，上述车牌识别方法在计算设备内运行。

通过上述提供的车牌识别系统，可以对从车辆图像中检测得到的一个或多个车牌图像按地域分类，并从多个车牌识别模型中选择与车牌图像的地域类别对应的识别模型来识别该车牌图像，最终得到所述车辆图像中一个或多个车牌图像的内容，从而可以达到以较高的准确率同时识别多个地域的车牌的目的。本发明实施例中所谓的多个地域是指多个行政地域，例如可以是一个国家的多个地区，也可以是多个国家。其中，上述多个地域中每个地域有不同于其他地域的车牌制作标准，因而不同地域的车牌图像在字符间隔，字符范围/数量，大小，格式，以及背景的颜色等等方面具有不同的特征。

需要指出的是，图1中示出的结构并不构成对该车牌识别系统10的限定，除图1所示部件之外，该车牌识别系统10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置；上述对车牌识别系统10的描述也仅为示例性说明，并不构成对本实施例的限定。

下面结合附图4-附图6对本申请实施例提供的车牌识别方法进行描述。

参考图4为本申请实施例提供的第一种车牌识别方法的流程示意图，该车牌识别方法包括以下但不限于以下步骤：

S201、从车辆图像中得到一个或多个车牌图像，以及每个车牌图像的地域类别。

车辆图像一般是由架设在道路附近的图像采集器所采集到的图像。本实施例假设车辆图像是由架设在深圳某道路上的监控摄像头采集到的该路面的图像。其中，该摄像头所采集的车辆图像中可能包含一个或多个车辆，也可能不包含车辆(例如在夜晚没有车辆经过时采集到的图像)；如果包含车辆，则车辆上悬挂的车牌中，可能包含大陆、香港以及澳门三个地区的车牌中一个或多个。此外，所采集的车辆图像可能是监控摄像头在拍照模式下定期或者在一定触发条件下(例如检测到有车辆时)抓拍得到的图像，也可能监控摄像头在录像模式下采集的视频，然后从采集的视频中抽取的一幅图像。

首先，处理器需要获取车辆图像。

如果处理器位于上述监控摄像头所属的设备上(例如所述监控摄像头是智能摄像机)，那么可以通过物理通道(例如智能摄像机的总线)实时接收摄像头采集的车辆图像；处理器也可以从本地读取由所述智能摄像机历史采集并存储在本地的车牌图像；处理器还可以通过网络或者物理接口接收其他设备(例如另一台摄像机)发送的车辆图像。

如果处理器和所述监控摄像头在不同的设备上，例如处理器位于服务器上，那么可以通过网络或者物理接口实时接收由所述监控摄像头所在的设备发送的车辆图像；同理，这种情况下，处理器也可以读取本地存储的车辆图像。

然后，处理器使用预先训练生成的车牌检测模型处理所获取的车辆图像(将车辆图像作为车牌检测模型的输入)，该模型经过计算后的输出即为从车辆图像中检测到的一个或多个车牌的位置、以及每个车牌的地域类别。其中，上述车牌的位置是指车牌图像在车辆图像中的位置，因此，处理器可以根据所述一个或多个车牌的位置，从车辆图像中裁剪得到对应的一个或多个车牌图像。

上述车牌检测模型输出的车牌的地域类别可以是大陆、香港和澳门中一个或多个地域类别的标识及其置信度值，处理器可以选择其中置信度值最高的地域类别来作为车牌图像的地域类别。当车牌检测模型输出的一个或多个地域类别的置信度值都不高时，可以将对应车牌图像的地域类别设置为预设的无效值，例如NULL。

可以理解的是，如果车辆的图像中不包含车辆(车牌)，或者所采用的目标检测算法没有检测出车牌时，上述车牌监测模型所输出的车牌的位置的数量为0，或者输出结果为空。

此外，可选地，由于车辆图像通常是在各种不同的环境中采集的，因而光照条件变化较大，例如有些图像是在阴雨天拍摄的，因而可能较暗，对比度较低，因此在上述使用车牌检测模型处理车辆图像之前，处理器可以先对车辆图像进行预处理，例如色彩校正，图像滤波，灰度化，二值化处理等，以降低光照条件的影响，提高车辆图像的对比度并消除图像中的噪声，以便于提升后续车牌检测和分类的效率和准确度。预处理可以由图像信号处理(ISP)的芯片执行。

由上述可知，本方法中的车牌检测模型同时具备车牌检测(获得车牌图像)和分类(确定车牌所归属的地域)的功能，该模型的生成过程可分为如下两步：

(1)收集并标注训练样本。具体地，根据车牌检测的需求，收集并标注车辆图像得到训练样本。例如，在本例中，车牌检测的需求是从悬挂了大陆、香港以及澳门三个地区中的一种或多种车牌的车辆图像中检测出车牌，并将检测到的车牌按照上述三个地区分类。在上述的这种车牌检测需求下，需要收集上述三个地区车牌的车辆图像样本，例如可以通过上述架设在深圳某道路上的监控摄像头来收集这些样本，然后标注出每个图像样本中的每个车牌的位置、以及每个车牌的地域类别。

(2)采用上述收集并标注的车辆图像样本训练即可得到满足上述车牌检测需求的车牌检测模型；其中，训练所采用的算法，可以为fast-RCNN，SSD，YOLO等。

S202、根据第一车牌图像的地域类别选择对应的车牌识别模型，使用所选择的车牌识别模型识别第一车牌图像得到车牌内容。

如前述，由于不同地区车牌图像在字符间隔，大小、字体，字符范围/数量、以及背景的颜色等等方面具有不同的特征，例如香港地区车牌的字符中没有中文汉字，且数量可以是1～8位；而大陆地区的车牌的字符包括中文汉字，且数量为7-8位；澳门地区车牌的特征是字符之间有短线连接符；还有一些地区的车牌的特征是背景不是纯色，可能会有一些图案等。因此，如果采用同一种识别模型去识别具有不同特征的多个地区的车牌，很可能会造成识别准确率低的问题。

因而，为了提升识别多个地区的车牌的准确率，本申请实施例对不同地区的车牌图像使用不同的识别模型来识别其内容(这也是步骤S201中需要对车牌图像按地域分类的原因)，因此，处理器需要预先训练一个或多个适应不同地区车牌图像的识别模型，例如每个识别模型对应一个地区；在本例中，处理器需要训练适应大陆、香港以及澳门三个地区的车牌识别模型。

然后，如果要识别步骤S201中检测得到一个或多个车牌图像中的任意某个车牌图像，例如得到第一车牌图像，则需要从预先训练生成的上述三个车牌识别模型中选择与第一车牌图像的地域类别对应的识别模型，例如如果第一车牌图像的地域类别为香港，则选择适应香港地区的识别模型，然后使用该识别模型来识别第一车牌图像，以便识别出车牌的具体内容。

可以理解的是，如果第一车牌图像的地域类别为无效值，可以直接输出无效的结论，也可以按预设的规则从多个地区的车牌识别模型中选择一个缺省的识别模型用于识别第一车牌图像，例如可以设置：对所有地域类别为无效的车牌图像，都采用大陆地区的识别模型来识别其内容。

由于采集的距离的远近以及采集的角度的原因，上述被处理的第一车牌图像可能是倾斜的，或者分辨率较低。因此，可选的，为了进一步提升识别的准确率，在识别第一车牌图像之前，也可以对其进行预处理，例如调整其方向和大小，具体地，可以调整车牌倾斜度或者分辨率；以及对其亮度和对比度做归一化处理等。

此外，上述预先训练生成三个地区的车牌识别模型的过程类似步骤S201中介绍的车牌检测模型的训练过程。首先根据车牌识别的需求，收集需要训练的地区的车牌图像样本并标注出其车牌内容。本例中，需要收集并标注大陆、香港以及澳门三个地区的车牌图像样本，然后使用其中大陆地区的车牌图像样本训练得到大陆地区车牌识别模型；同理，可以分别得到香港、澳门地区车牌识别模型。其中，训练所采用的算法可以为VGG，ResNet，MobileNet等。

需要说明的是，当步骤S201中检测得到车牌图像的数量大于1个时，本申请实施例可以对步骤S202执行多次，以便于对检测出来多个车牌图像中的所有或部分车牌图像，都采取如上述对第一车牌图像同样的处理方式，得到所有或部分车牌图像的车牌内容。可以理解的是，如果步骤S202执行多次，本申请实施例可以根据实际的计算资源和识别的时间需求，选择依次执行，或者并行执行。

还需要说明的是，对于同时悬挂了多个地区车牌的车辆，有些情况下，可能只需要对其中某个特定地区的车牌进行识别。例如，对于同时悬挂了大陆和香港地区车牌的车辆，如果在大陆地区行驶，可以根据实际需求选择只识别大陆地区车牌的内容。因此，可选地，在上述流程中，可以预设需要进行车牌识别的目标地域，然后在执行步骤S202之前，先判断第一车牌图像的地域类别是否属于预设的目标地域，如果是，则执行步骤S202，否则，不执行步骤S202。

此外，为了方便管理员(例如交通管理人员)获取本申请实施例得到的车牌识别结果，在上述流程中，在步骤S202之后，可以输出步骤S202识别得到的车牌内容。具体地，可以将步骤S202中识别的得到的一个或多个车牌内容全部输出，还可以根据预设的规则选择其中的一个或多个车牌内容输出。例如如果识别得到M个车牌的内容，则输出的车牌内容的数量可以是M个，也可以是小于M个。在车牌内容的输出形式上，可以以文字形式输出，还可以以图表、图像或音频的方式输出，本发明对车牌内容的输出方式、以及形式(顺序，排列位置等)不做限定。

在完成上述车牌内容输出后，管理员可以通过客户端登录到执行本方法的处理器所在的设备(例如摄像机，或者服务器)上，获取识别的结果。

此外，在本申请实施例还可以将识别的车牌内容发送到另一个设备上，以方便管理员查看。例如，如果执行本方法的处理器在在摄像机内，则可以将识别到的车牌内容发送到云端的服务器上，再由管理员直接到服务器查看结果，或者通过客户端登录到该服务器上查看结果。

上述本申请实施例提供的第一种车牌识别方法，通过对车辆图像执行车牌检测和分类得到一个或多个车牌图像以及其地域类别，然后从预先训练的多个车牌识别模型中选择与车牌图像的地域类别对应的识别模型来识别该车牌图像得到车牌内容，最终通过该方法可以得到所述车辆图像中一个或多个车牌图像的车牌内容。因此，通过本申请实施例的第一种车牌识别方法，可以达到以较高的准确率同时识别多个地域的车牌的目的。

在上述介绍的第一种车牌识别方法中，车牌图像的地域类别是在采用车牌检测模型处理车辆图像得到车牌图像时，对车牌图像按预设的地域类别做分类得到的，除这种实现方式之外，本申请实施例还提供了如图5所示的第二种车牌识别方法中的实现方式，即采用单独训练的车牌分类模型来得到车牌图像的地域类别，下面对本申请实施例提供的第二种车牌识别方法进行介绍，该方法包括以下但不限于以下步骤：

S301、从车辆图像中得到一个或多个车牌图像。

与上述第一种车牌识别方法相比，本方法的车牌检测模型只有车牌检测的功能，没有车牌分类的功能。因此，在本步骤中，对车辆图像执行车牌检测后，输出车辆图像中一个或多个车牌的位置，而不会输出车牌的地域类别。

因此，本方法中在对车牌检测模型训练时，其训练样本可以只标注每个车牌图像在车辆图像中的位置，而不需要标注车牌的地域类别。

S302、对第一车牌图像分类得到第一车牌图像的地域类别。

第一车牌图像是步骤S301中检测得到的一个或多个车牌图像的任意一个。

使用预先训练的车牌分类模型处理第一车牌图像(即将第一车牌图像作为车牌分类模型的输入)，即可得到第一车牌图像的地域类别。

预先训练得到车牌分类模型的过程，类似上述第一种车牌识别方法中对车牌检测模型训练的描述。首先需要明确车牌分类的需求，即需要执行分类的车牌图像所涉及的地域类别范围，然后收集对应地域的车牌图像样本并标注出每个样本对应的地域类别。再使用这些标注的样本进行训练可得到车牌分类模型。其中训练所采用的算法可以为VGG，ResNet，MobileNet等。可以看出，本步骤的分类可以不需要识别车牌的具体内容。

S303、根据第一车牌图像的地域类别选择相应的车牌识别模型，使用所选择的车牌识别模型识别第一车牌图像得到车牌内容。

与上述步骤S202一致，因此不再赘述。

本申请实施例提供的第二种车牌识别方法，因为采用了单独训练的车牌分类模型对车牌图像进行分类，因此可以取得更准确的地域分类结果(地域类别)，也因此使得最终的车牌识别结果更准确。

参考图6，本申请实施例还提供了第三种车牌识别方法，在该方法中，同时采用了上述第一种和第二种车牌识别方法中的车牌图像的分类方式，然后选择上述两种分类结果中更准确的结果作为最终的分类结果。下面对第三种车牌识别方法进行介绍，该方法包括以下但不限于以下步骤：

S401、从车辆图像中得到一个或多个车牌图像，以及每个车牌图像的第一地域类别。

参见步骤S201中的描述，不再赘述。

但需要说明的是，为了与下述步骤S402中得到的地域类别相区分，将本步骤中得到的地域类别称为第一地域类别。

S402、对第一车辆图像分类得到第一车牌图像的第二地域类别。

参见步骤S302中的描述，不再赘述。将本步骤中得到的地域类别称为第二地域类别。

S404、融合第一车牌图像的第一地域类别和第二地域类别，得到第一车牌图像的最终地域类别。

融合上述第一地域类别和第二地域类别的方式可以为：如果第一地域类别和第二地域类别都为有效值，则选择其中置信度值高的地域类别作为最终地域类别；如果第一地域类别和第二地域类别中有一个为无效值，则选择其中为有效值的地域类别作为最终地域类别；如果第一地域类别和第二地域类别都为无效值，则最终地域类别也为无效值。

S405、根据第一车牌图像的最终地域类别选择相应的车牌识别模型，使用所选择的车牌识别模型识别第一车牌图像得到车牌内容。

参见步骤类似S202中的描述，不再赘述，但需要说明的是，这里是基于将第一车牌图像的最终地域类别来选择相应的车牌识别模型的。

本申请实施例提供的第三种车牌识别方法，采用两个模型分别对车牌图像进行地域分类，并对两个模型得到的地域分类结果进行融合取其中的分类更准确的地域类别，因而可以取得比第一种和第二种车牌识别方法中更准确的地域分类结果，也因此可以使得最终的车牌识别结果也更加准确。

本申请实施例提供的上述三种车牌识别方法，在识别车牌内容之前，先对车牌图像按照预设的地域类别分类，再从预先训练的多个与地域相关的车牌识别模型中选择相应的识别模型来识别车牌内容，从而可以解决同时识别多个地域车牌时准确率低的问题。

在实际应用中，本申请实施例提供的方法也可以对车牌图像按照其他的维度分类。在一种可能的场景中，可以对车牌图像按照车辆类型分类，例如按照卡车车牌，小轿车车牌，新能源车车牌等分类。不同类型的车牌图像通常在字符颜色、背景颜色、字符数量和范围上具有不同的特征。以大陆地区为例，卡车车牌通常是黄底黑字，小轿车车牌通常是蓝底白字，新能源车车牌通常是绿底黑字等。可以理解的是，正是因为不同类别的车牌具有不同的图像特征，只采用一种识别模型同时识别不同特征的车牌，通常准确率不高。因此，通过本申请实施例提供的方法，通过预先训练针对不同类别车牌图像的识别模型，然后再对车牌图像识别之前，先对其按预设的类别分类，再选取对应类别的识别模型，可以有效解决同时识别不同类别的车牌时识别准确率低的问题。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

如图7所示为本申请实施例提供的一种车牌识别装置的逻辑单元示意图。该车牌识别装置可以是上述车牌识别系统10中包含处理器11的设备，例如可以是图2中所示的摄像机，或者图3中所示的计算设备。此车牌识别装置用于执行上述车牌识别方法，例如用于执行图4、图5或图6所示的方法。其中，该车牌识别装置可以包括车牌检测分类单元701，以及车牌识别单元702。由于车牌识别装置可以执行上述车牌识别方法，由于在方法实施例中已经对识别的过程做了详细的说明，因此下面仅对车牌识别装置的结构和功能做简要说明，具体内容可以参考前述车牌识别方法实施例的内容。

车牌检测分类单元701用于从车辆图像中获取一个或多个车牌图像，以及获取第一车牌图像的第一地域类别。其中，第一车牌图像为所述一个或多个车牌图像中的一个；第一地域类别为预设的多个地域类别中的一种。

车牌识别单元702用于从预存的多个车牌识别模型中选择第一车牌识别模型来识别该第一车牌图像得到第一车牌内容。其中，第一车牌识别模型是采用归属地为第一地域的车牌图像样本训练得到的。可选地，当车牌检测分类单元701从车辆图像中获取的车牌图像大于一个时，车牌检测分类单元701还用于获取第二车牌图像的第二地域类别。其中，第二车牌图像为上述多个车牌图像中的一个；第二地域类别为预设的多个地域类别中的一种。此时，车牌识别单元702还用于从预存的多个车牌识别模型中选择第二车牌识别模型，并使用此第二车牌识别模型识别该第二车牌图像得到第二车牌内容。其中，第二车牌识别模型是采用归属地为第二地域的车牌图像训练得到的。

可选地，上述车牌识别装置还包括判断单元703，用于判断上述第一车牌图像的第一地域类别是否属于预设的目标地域。当判断单元703判断的结果为是时，车牌识别单元702才会识别第一车牌图像的内容。反之，当判断单元703判断的结果为否时，车牌识别单元702不会识别第一车牌图像的内容。

可选地，上述车牌识别装置还包括输出单元704，用于以声音、图像或者文字的形式输出上述第一车牌内容，以便于交通管理人员查看车牌识别的结果。

可选地，上述车牌识别装置还包括收发单元705，可以用于通过物理接口(例如USB接口，系统总线等)，或者网络(例如有线、或者无线网络)接收车辆图像。收发单元705还可以用于通过物理接口，或者网络将上述第一车牌的内容发送到另一个设备上。

结合图4-图6，上述车牌识别装置的逻辑单元的功能与图4-图6所示的方法中的步骤相呼应。具体地，车牌检测分类单元701用于实现图4所示实施例中的步骤S201；或者用于实现图5所示实施例中的步骤S301-S302；或者用于实现图6所示实施例中的步骤S401-S403。车牌识别单元702用于实现图4所示实施例中的步骤S202；或者用于实现图5所示实施例中的步骤S303；或者用于实现图6所示实施例中的步骤S404。

作为一个示例，结合图1，车牌识别装置中的车牌检测分类单元701、车牌识别单元702、判断单元703以及输出单元704实现的功能与图1中的处理器11的功能相同。收发单元705实现的功能与图1中的收发器14的功能相同。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。此外，上述提供的任一种处理器或计算机设备的解释以及有益效果的描述均可参考上述对应的方法实施例，不再赘述。

本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在车牌识别系统或者计算机设备上运行时，该车牌识别系统或者计算机设备执行上述方法实施例所示的方法流程中车牌识别系统或者计算机设备执行的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (17)

1.一种车牌识别方法，其特征在于，包括：

从第一车辆图像中获取N个车牌图像，所述N大于等于1；获取第一车牌图像的第一地域类别，所述第一车牌图像为所述N个车牌图像中的一个；

从多个车牌识别模型中选择与所述第一地域类别对应的第一车牌识别模型，使用所述第一车牌识别模型识别所述第一车牌图像得到第一车牌内容；所述第一车牌识别模型是采用归属地为所述第一地域类别的车牌图像得到的。

2.如权利要求1所述的方法，其特征在于，还包括：

获取第二车牌图像的第二地域类别；所述第二车牌图像为所述N个车牌图像中的一个；所述N大于等于2；所述第二车牌图像与所述第一车牌图像不同；

从多个车牌识别模型中选择与所述与第二地域类别对应的第二车牌识别模型，使用所述第二车牌识别模型识别所述第二车牌图像得到第二车牌内容；所述第二车牌识别模型是采用归属地为所述第二地域类别的车牌图像训练得到的。

3.如权利要求1或2所述的方法，其特征在于，还包括：

从第二车辆图像中获取M个车牌图像，所述M大于等于1；

获取第三车牌图像的第三地域类别；所述第三车牌图像为所述M个车牌图像中的一个，所述第三地域类别与所述第一地域类别不同；

从多个车牌识别模型中选择与所述第三地域类别对应的第三车牌识别模型，使用所述第三车牌识别模型识别所述第三车牌图像得到第三车牌内容；所述第三车牌识别模型是采用归属地为所述第三地域类别的车牌图像得到的。

4.如权利要求1或2所述的方法，其特征在于，还包括：

以声音，或者图像，或者文字的形式输出所述第一车牌内容；或者将所述第一车牌内容发送到另一个设备上。

5.如权利要求1或2所述的方法，其特征在于，所述获取第一车牌图像的第一地域类别，包括：

使用分类算法处理所述第一车牌图像，按照所述第一车牌图像的特征与地域类别的对应关系，得到所述第一车牌图像所对应的第一地域类别；所述第一地域类别为预设的多个地域类别中的一种。

6.如权利要求1或2所述的方法，其特征在于，所述从第一车辆图像中获取N个车牌图像，获取第一车牌图像的第一地域类别，包括：

使用目标检测算法处理所述第一车辆图像，得到所述N个车牌图像中每个车牌的地域类别，以及所述N个车牌图像；其中，所述第一车牌图像的地域类别为所述第一地域类别；所述第一地域类别为预设的多个地域类别中的一种。

7.如权利要求1或2所述的方法，其特征在于，所述从第一车辆图像中获取N个车牌图像，获取第一车牌图像的第一地域类别，包括：

使用目标检测算法处理所述第一车辆图像，得到所述N个车牌图像中每个车牌的地域类别，以及所述N个车牌图像；其中，所述第一车牌图像的地域类别为第二地域类别；所述第二地域类别为预设的多个地域类别中的一种；

使用分类算法处理所述第一车牌图像，得到所述第一车牌图像的第三地域类别；所述第三地域类别为预设的多个地域类别中的一种；

选择所述第二地域类别和第三地域类别中置信度值较高的地域类别作为所述第一地域类别。

8.如权利要求1或2所述的方法，其特征在于，在所述从多个车牌识别模型中选择与所述第一地域类别对应的第一车牌识别模型，使用所述第一车牌识别模型识别所述第一车牌图像得到第一车牌内容之前，还包括：

判断所述第一车牌图像的第一地域类别属于预设的目标地域。

9.一种车牌识别装置，其特征在于，所述车牌识别装置包括：车牌检测分类单元以及车牌识别单元；

所述车牌检测分类单元，用于从第一车辆图像中获取N个车牌图像，以及获取第一车牌图像的第一地域类别；所述N大于等于1，所述第一车牌图像为所述N个车牌图像中的一个；

所述车牌识别单元，用于从预存的多个车牌识别模型中选择第一车牌识别模型识别所述第一车牌图像得到第一车牌内容；所述第一车牌识别模型是采用归属地为所述第一地域的车牌图像训练得到的。

10.如权利要求9所述的车牌识别装置，其特征在于：

所述车牌检测分类单元还用于获取第二车牌图像的第二地域类别；所述N大于1，所述第二车牌图像为所述N个车牌图像中的一个；所述第二车牌图像与所述第一车牌图像不同；

所述车牌识别单元还用于从预存的多个车牌识别模型中选择第二车牌识别模型识别所述第二车牌图像得到第二车牌内容；所述第二车牌识别模型是采用归属地为所述第二地域的车牌图像训练得到的。

11.如权利要求9或10所述的车牌识别装置，其特征在于：

所述车牌检测分类单元，还用于从第二车辆图像中获取M个车牌图像，所述M大于等于1；

所述车牌检测分类单元，还用于获取第三车牌图像的第三地域类别；所述第三车牌图像为所述M个车牌图像中的一个；所述第三地域类别与所述第一地域类别不同；

所述车牌识别单元，还用于从预存的多个车牌识别模型中选择第三车牌识别模型识别所述第三车牌图像得到第三车牌内容；所述第三车牌识别模型是采用归属地为所述第三地域的车牌图像训练得到的。

12.如权利要求9或10所述的车牌识别装置，其特征在于，所述车牌识别装置还包括输出单元；

所述输出单元用于以声音，或者图像，或者文字的形式输出所述第一车牌内容。

13.如权利要求9或10所述的车牌识别装置，其特征在于，所述车牌识别装置还包括收发单元；

所述收发单元用于通过物理接口或者网络将所述第一车牌内容发送到另一个设备上；

所述收发单元还用于通过物理接口或者网络接收所述车辆图像。

14.如权利要求9或10所述的车牌识别装置，其特征在于，所述车牌识别装置还包括判断单元；

所述判断单元用于在所述车牌识别单元从预存的多个车牌识别模型中选择第一车牌识别模型识别所述第一车牌图像得到第一车牌内容之前，判断所述第一地域类别属于预设的目标地域。

15.一种车牌识别系统，其特征在于，包括图像采集器和车牌识别装置；

所述图像采集器用于采集车辆图像，还用于将所述车辆图像通过物理接口或者网络发送给所述车牌识别装置；

所述车牌识别装置用于执行如权利要求1-8中任意一项所述的车牌识别方法。

16.一种车牌识别装置，其特征在于，包括：存储器和一个或多个处理器；所述存储器和所述处理器耦合；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述计算机设备执行时，使得所述计算机设备执行如权利要求1-8中任一项所述的车牌识别方法。

17.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在车牌识别系统上运行时，使得所述车牌识别系统实现如权利要求1-8中任意一项所述的车牌识别方法。

Images