CN113723402A - 图像处理及网络训练方法、装置、设备和存储介质 - Google Patents

Abstract

本公开实施例提出了一种图像处理方法、装置、电子设备和计算机存储介质中，该方法包括：获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；基于预设的文本文件，生成至少一个车牌文本图；将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

Description

图像处理及网络训练方法、装置、设备和存储介质

技术领域

本公开涉及计算机视觉处理技术，尤其涉及一种图像处理及车牌识别网络的训练方法、装置、电子设备和计算机存储介质。

背景技术

在相关技术中，对于不同国家的车牌，其车牌号的构成形式有所差异，特别是在车牌号的布局、车牌的背景等方面也有着比较大的差异。基于数据隐私安全的考虑，有些情况下难以采集到大量的车牌图像，以用于进行车牌识别网络的训练；不利于提升车牌识别网络的车牌文本识别能力。

发明内容

本公开实施例期望提供图像处理的技术方案。

本公开实施例提供了一种图像处理方法，所述方法包括：

获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；

基于预设的文本文件，生成至少一个车牌文本图；

将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

在一些实施例中，所述将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像，包括：

在所述车牌文本图为一个的情况下，将所述车牌文本图添加到所述预留区域，得到所述车牌图像。

在一些实施例中，在所述车牌文本图包括多个的情况下，所述预留区域包括与所述车牌文本图的类型对应的多个预留子区域；

所述将预先获取的至少一个车牌文本图添加到所述预留区域，得到车牌图像，包括：

按照所述多个车牌文本图中的每个车牌文本图的类型，将所述每个车牌文本图添加到类型相对应的所述预留子区域中，得到所述车牌图像。

在一些实施例中，在得到所述车牌图像后，所述方法还包括：

生成车牌文本图的标注信息。

在一些实施例中，所述标注信息包括车牌文本图的检测框以及车牌文本信息，

所述生成车牌文本图的标注信息，包括：

获取所述背景模板中所述预留区域的位置信息、所述车牌文本图的尺寸信息以及文字信息；

基于获取到的所述位置信息以及尺寸信息，确定生成的所述车牌图像中的车牌文本图的检测框；

基于获取到的所述文字信息，确定生成的所述车牌图像中的车牌文本信息。

在一些实施例中，所述文本文件包括通用字符以及车牌所属国语言的字符；其中，所述通用字符包括阿拉伯数字与英文字符，所述车牌所属国语言为除英语之外的其它语言。

在一些实施例中，所述预留区域包括通用字符预留子区域和车牌所属国语言预留子区域，所述车牌所属国语言预留子区域位于所述通用字符预留子区域的上方，所述通用字符预留子区域包括阿拉伯数字预留子区域和英文字符预留子区域。

本公开实施例还提供了一种车牌识别网络的训练方法，所述方法包括：

获取样本图像和车牌文本图的标注信息，所述样本图像是根据上述任意一种图像处理方法得到的所述车牌图像；

根据所述样本图像和所述车牌文本图的标注信息，训练所述车牌识别网络。

本公开实施例还提供了一种图像处理装置，所述装置包括：

第一获取模块，用于获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；

处理模块，用于基于预设的文本文件，生成至少一个车牌文本图；将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

在一些实施例中，所述处理模块，具体用于在所述车牌文本图为一个的情况下，将所述车牌文本图添加到所述预留区域，得到所述车牌图像。

在一些实施例中，在所述车牌文本图包括多个的情况下，所述预留区域包括与所述车牌文本图的类型对应的多个预留子区域；

所述处理模块，具体用于按照所述多个车牌文本图中的每个车牌文本图的类型，将所述每个车牌文本图添加到类型相对应的所述预留子区域中，得到所述车牌图像。

在一些实施例中，所述处理模块，还用于在得到所述车牌图像后，生成车牌文本图的标注信息。

在一些实施例中，所述标注信息包括车牌文本图的检测框以及车牌文本信息；

所述处理模块，具体用于：

获取所述背景模板中所述预留区域的位置信息、所述车牌文本图的尺寸信息以及文字信息；

基于获取到的所述位置信息以及尺寸信息，确定生成的所述车牌图像中的车牌文本图的检测框；

基于获取到的所述文字信息，确定生成的所述车牌图像中的车牌文本信息。

在一些实施例中，所述文本文件包括通用字符以及车牌所属国语言的字符；其中，所述通用字符包括阿拉伯数字与英文字符，所述车牌所属国语言为除英语之外的其它语言。

在一些实施例中，所述预留区域包括通用字符预留子区域和车牌所属国语言预留子区域，所述车牌所属国语言预留子区域位于所述通用字符预留子区域的上方，所述通用字符预留子区域包括阿拉伯数字预留子区域和英文字符预留子区域。

本公开实施例还提供了一种车牌识别网络的训练装置，所述装置包括：

第二获取模块，用于获取样本图像和车牌文本图的标注信息，所述样本图像是根据上述任意一种图像处理方法得到的所述车牌图像；

训练模块，用于根据所述样本图像和所述车牌文本图的标注信息，训练所述车牌识别网络。

本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行上述任意一种图像处理方法或上述任意一种车牌识别网络的训练方法。

本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种图像处理方法或上述任意一种车牌识别网络的训练方法。

本公开实施例中，获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；基于预设的文本文件，生成至少一个车牌文本图；将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

可以看出，本公开实施例无需采集大量的真实车牌图像，而是可以将车牌文本图与车牌的背景模板进行合成，从而生成车牌的图像；如此，在无需大量采集车牌的图像的情况下，可以生成大量的车牌的图像，有利于对车牌识别网络进行高质量地训练，从而有利于提升车牌识别网络的车牌文本识别能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例的图像处理方法的流程图；

图2A为本公开实施例中第一种车牌的背景模板的示意图；

图2B为本公开实施例中第二种车牌的背景模板的示意图；

图2C为本公开实施例中第三种车牌的背景模板的示意图；

图3A为本公开实施例中针对图2A提出的第一个车牌文本图；

图3B为本公开实施例中针对图2A提出的第二个车牌文本图；

图3C为本公开实施例中针对图2A提出的第三个车牌文本图；

图3D为本公开实施例中针对图2A提出的第四个车牌文本图；

图3E为本公开实施例中在图2A的基础上通过叠加图3A至图3D得出的车牌的图像；

图4A为本公开实施例中针对图2B提出的第一个车牌文本图；

图4B为本公开实施例中针对图2B提出的第二个车牌文本图；

图4C为本公开实施例中针对图2B提出的第三个车牌文本图；

图4D为本公开实施例中针对图2B提出的第四个车牌文本图；

图4E为本公开实施例中在图2B的基础上通过叠加图4A至图4D得出的车牌的图像；

图5为本公开实施例中10种不同类型沙特车牌的背景模板的示意图；

图6为本公开实施例的车牌识别网络的训练方法的流程图；

图7A为本公开实施例的车牌文本图的检测模型的训练方法的流程图；

图7B为本公开实施例的车牌号文本的识别模型的训练方法的流程图；

图8为本公开实施例的图像处理装置的结构示意图；

图9为本公开实施例的车牌识别网络的训练装置的结构示意图；

图10为本公开实施例的电子设备的结构示意图。

具体实施方式

以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。

需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。

例如，本公开实施例提供的图像处理方法和车牌识别网络的训练方法包含了一系列的步骤，但是本公开实施例提供的图像处理方法和车牌识别网络的训练方法不限于所记载的步骤，同样地，本公开实施例提供的图像处理装置和车牌识别网络的训练装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端、服务器等电子设备可以包括用于执行指令的程序模块。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在相关技术中，车牌识别是指对摄像机拍摄到的车牌图像自动识别的技术，在对车牌图像识别后，可以将图像识别得到的(包含车牌号码的)数据信号传输给数据中心；车牌识别技术可以应用于停车场、称重管理、汽车4S店、高速公路收费口、车辆检测站等场景，示例性地，可以采用车牌识别一体机实现车牌识别，车牌识别一体机可以实现数据采集、车辆管理等功能。

近年来，基于深度学习方法的车牌识别方案陆续出现，逐渐取代了传统的以图像处理为主的识别方式，可以提供比较高的识别精确率。然而，深度学习方法总是依赖大量的训练数据，以用于进行车牌识别网络的训练；当训练数据的数量无法达到要求时，车牌识别网络的识别准确性较低，甚至无法对车牌识别网络进行验证。

一些国家的车牌上不仅记载了车牌号，还记载了除车牌号外的其它内容，针对这些国家的车牌，需要设计特定的车牌识别方案，如何提高车牌识别的准确性，是亟待解决的技术问题；例如，国外的一些车牌不仅记载有阿拉伯数字和英文字母组成的车牌号，还记载了其它内容，例如该国对应的文字；在相关技术中，车牌识别网络的训练过程依赖于大量真实数据(车牌图像)的采集；然而，基于数据隐私安全的考虑，有些情况下难以采集到某些国家的大量的车牌图像，进而，不利于提升车牌识别网络的识别准确性。

针对上述技术问题，在本公开的一些实施例中，提出了一种图像处理方法，本公开实施例可以应用于智能视频分析、智慧交通等场景。

图1为本公开实施例的图像处理方法的流程图，如图1所示，该流程可以包括：

步骤101：获取车牌的背景模板；背景模板用于表征车牌图像中除车牌文本图之外的背景图像，背景模板中包括至少一个车牌文本图的预留区域。

这里，不同的车牌中车牌文本图的区域和背景图像的区域可以是不同的，因此，不同车牌的背景模板可以是不同。下面通过附图说明不同车牌的背景模板。

图2A为本公开实施例中第一种车牌的背景模板的示意图，图2A中，第一种车牌的背景模板包括4个车牌文本图的预留子区域以及第一背景图像区域200，4个车牌文本图的预留子区域包括第一车牌文本图的预留子区域201、第二车牌文本图的预留子区域202、第三车牌文本图的预留子区域203和第四车牌文本图的预留子区域204。本实施例中的4个预留子区域被所述第一背景图像区域200分隔，呈两列分设于所述背景模板的两侧。

图2B为本公开实施例中第二种车牌的背景模板的示意图，图2B中，第二种车牌的背景模板的区域包括4个车牌文本图的预留子区域以及第二背景图像区域209，4个车牌文本图的预留子区域包括第五车牌文本图的预留子区域205、第六车牌文本图的预留子区域206、第七车牌文本图的预留子区域207和第八车牌文本图的预留子区域208。本实施例中的4个预留子区域呈两行两列的方式设置在所述背景模板的一侧，所述第二背景图像区域209设于所述背景模板的另一侧。

图2C为本公开实施例中第三种车牌的背景模板的示意图，图2C中，第三种车牌的背景模板的区域包括车牌文本图的第九预留子区域210。即，本实施方式中的背景模板的背景图像为空的。

步骤102：基于预设的文本文件，生成至少一个车牌文本图。

这里，文本文件可以反映车牌号文本的内容；在一些实施例中，可以基于预先准备的字体文件以及随机生成的文本文件，生成至少一个车牌号文本；根据至少一个车牌号文本生成至少一个车牌文本图；这里，预先准备的字体文件可以是使用车牌字体所需提供的文件。

在一些实施例中，随机生成的文本文件可以包括以下至少一类文本：阿拉伯数字、车牌所属国语言的字符；随机生成的车牌号文本还可以包括除车牌所属国外其它国家的语言的字符；例如，对中国车牌而言，随机生成的车牌号文本可以包括：阿拉伯数字、中文字符、以及英文字符等。

在一些实施例中，随机生成的文本文件可以包括通用字符以及车牌所属国语言的字符；其中，通用字符包括阿拉伯数字与英文字符，车牌所属国语言为除英语之外的其它语言。

步骤103：将生成的至少一个车牌文本图添加到预留区域，得到车牌图像。

本公开实施例中，在得到至少一个车牌文本图后，可以将至少一个车牌文本图叠加到背景模板的预留区域，从而实现背景模板与至少一个车牌文本图的图像合成，从而得到车牌的图像；可以理解地，车牌图像不仅包括上述背景图像，还包括车牌文本图。

在实际应用中，步骤101至步骤103可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。

可以看出，本公开实施例无需采集大量的真实车牌图像，而是可以将车牌文本图与车牌的背景模板进行合成，从而生成车牌的图像；如此，在无需大量采集车牌的图像的情况下，可以生成大量的车牌的图像，有利于对车牌识别网络进行高质量地训练，从而有利于提升车牌识别网络的车牌文本识别能力。

本公开的一些实施例中，上述预留区域可以包括通用字符预留子区域和车牌所属国语言预留子区域，车牌所属国语言预留子区域位于通用字符预留子区域的上方，通用字符预留子区域包括阿拉伯数字预留子区域和英文字符预留子区域。

示例性地，参照图2A，第一车牌文本图的预留子区域201和第三车牌文本图的预留子区域203为车牌所属国语言预留子区域，第二车牌文本图的预留子区域202为阿拉伯数字预留子区域，第四车牌文本图的预留子区域204为英文字符预留子区域。

示例性地，参照图2B，第五车牌文本图的预留子区域205和第七车牌文本图的预留子区域207为车牌所属国语言预留子区域，第六车牌文本图的预留子区域206为阿拉伯数字预留子区域，第八车牌文本图的预留子区域208为英文字符预留子区域。

本公开的一些实施例中，在车牌文本图为一个的情况下，可以将车牌文本图添加到所述预留区域，得到车牌图像。

本公开的一些实施例中，在车牌文本图包括多个的情况下，预留区域可以包括与车牌文本图的类型对应的多个预留子区域。示例性地，对于特定国家的车牌而言，上述至少一个车牌文本图的预留区域可以包括：阿拉伯数字预留子区域、车牌所属国语言预留子区域和英文字符预留子区域。

相应地，在车牌文本图包括多个的情况下，可以按照多个车牌文本图中的每个车牌文本图的类型，将每个车牌文本图添加到类型相对应的预留子区域中，得到车牌图像。

本公开实施例中，每个车牌文本图的类型可以在生成每个车牌文本图时确定，在实际应用中，可以根据用于生成车牌文本图的车牌号文本的类型，确定车牌文本图的类型；示例性地，如果采用阿拉伯数字文本生成车牌文本图，则车牌文本图的类型为阿拉伯数字图像；如果采用特定国家语言的字符生成车牌文本图，则车牌文本图的类型为特定国家语言的字符的图像。

示例性地，针对图2A所示的背景模板，可以生成图3A至图3D所示的四个车牌文本图，其中，图3A和图3C为特定国家语言的字符的图像，图3B为阿拉伯数字图像，图3D为英文字符的图像；在生成图3A至图3D所示的四个车牌文本图后，可以按照图3A至图3D所示的四个车牌文本图的类型，将图3A至图3D所示的四个车牌文本图添加到图2A的四个预留子区域中，得到图3E所示的车牌图像。

示例性地，针对图2B所示的背景模板，可以生成图4A至图4D所示的四个车牌文本图，其中，图4A和图4C为特定国家语言的字符的图像，图4B为阿拉伯数字图像，图4D为英文字符的图像；在生成图4A至图4D所示的四个车牌文本图后，可以按照图4A至图4D所示的四个车牌文本图的类型，将图4A至图4D所示的四个车牌文本图添加到图2B的四个预留子区域中，得到图4E所示的车牌图像。

可以看出，在车牌文本图为一个或多个的情况下，本公开实施例在无需大量采集车牌的图像的情况下，可以生成大量的车牌的图像，有利于对车牌识别网络进行高质量地训练。

下面通过一个应用场景示例性地说明本公开实施例的技术方案。

在实际应用中，可以预先准备各种类型的车牌的背景模板，图5中，模板001至模板010表示10种不同类型车牌的背景模板。

针对图5中任一类型车牌的背景模板，可以确定并记录各类车牌文本图对应的预留子区域，以便于后续进行准确地图像叠加。

本公开实施例中，可以通过计算机程序自动生成大量的车牌的图像，在实际应用中，计算机程序可以循环执行以下步骤：

步骤A1：在图5所示的背景模板中随机选择一种背景模板。

步骤A2：基于预设的文本文件随机生成车牌号文本，并根据车牌号文本生成车牌文本图。

步骤A3：将步骤A2生成的车牌文本图添加到随机选择的背景模板的预留区域，得到车牌图像。

可以理解地，本公开实施例可以在不依赖于采集真实车牌图像的情况下，通过循环执行步骤A1至步骤A3，可以不断生成车牌的图像，从而获取到用于车牌识别网络的大量的训练数据。

进一步地，针对各个国家的车牌，可以设置相应的背景模板，从而，基于前述实施例记载的内容，可以生成相应国家的车牌的图像，即，本公开实施例可以实现各个国家的车牌图像的生成，适用范围较广。

在本公开的一些实施例中，还可以生成车牌文本图的标注信息。

这里，车牌文本图的标注信息可以包括车牌文本图的检测框以及车牌文本信息。车牌文本图的检测框表示车牌文本图的真实位置，车牌文本信息表示真实的车牌号文本。

可以理解地，通过生成车牌文本图的标注信息，有利于对车牌识别网络进行训练。

在一些实施例中，生成车牌文本图的标注信息，可以包括：获取所述背景模板中所述预留区域的位置信息、所述车牌文本图的尺寸信息以及文字信息；基于获取到的所述位置信息以及尺寸信息，确定生成的车牌图像中的车牌文本图的检测框；基于获取到的所述文字信息，确定生成的所述车牌图像中的车牌文本信息。

在实际应用中，在生成背景模板时，可以确定预留区域的位置；并且，预先获取的车牌文本图的尺寸信息是已知的信息。示例性地，车牌文本图的尺寸信息可以包括车牌文本图的宽度和高度。

在实际应用中，由于车牌文本图是根据文本文件生成的，因此，可以直接将预设的文本文件作为车牌文本图的文字信息。

基于前述实施例记载的图像处理方法，本公开实施例还提出了一种车牌识别网络的训练方法。

图6为本公开实施例的车牌识别网络的训练方法的流程图，如图6所示，该流程可以包括：

步骤601：获取样本图像和车牌文本图的标注信息，样本图像是根据上述任意一种图像处理方法得到的车牌图像。

步骤602：根据样本图像和车牌文本图的标注信息，训练车牌识别网络。

在一些实施例中，车牌识别网络可以包括车牌文本图的检测模型和车牌号文本的识别模型，其中，车牌文本图的检测模型用于在车牌的图像中检测车牌文本图的位置，车牌号文本的识别模型用于在车牌文本图中识别车牌号文本。

本公开实施例并不对车牌文本图的检测模型的网络结构进行限定，车牌文本图的检测模型的网络结构可以是两阶段检测网络结构，例如，车牌文本图的检测模型的网络结构为快速区域卷积神经网络(Faster-Regions with Convolutional Neural Network，Faster RCNN)等；车牌文本图的检测模型的网络结构也可以是单阶段检测网络结构，例如，车牌文本图的检测模型的网络结构为RetinaNet等。

车牌号文本的识别模型的网络结构可以是区域卷积神经网络(Regions withConvolutional Neural Network，RCNN)等。

下面通过附图示例性地说明上述车牌文本图的检测模型的训练过程。

图7A为本公开实施例的车牌文本图的检测模型的训练方法的流程图，如图7所示，该流程可以包括：

步骤71：获取样本图像。

步骤72：将样本图像输入至车牌文本图的检测模型；利用车牌文本图的检测模型对样本图像进行检测，得到样本图像的检测结果。

步骤73：根据样本图像的检测结果和样本图像中标注的车牌文本图的检测框，调整车牌文本图的检测模型的网络参数值。

本公开实施例中，可以根据样本图像的检测结果和样本图像中标注的车牌文本图的检测框确定车牌文本图的检测模型的损失，然后根据车牌文本图的检测模型的损失，调整车牌文本图的检测模型的网络参数值。

步骤74：判断网络参数值调整后的车牌文本图的检测模型是否满足第一训练结束条件，如果否，则重新执行步骤71至步骤74；如果是，则执行步骤75。

本公开实施例中，第一训练结束条件可以是训练车牌文本图的检测模型时的迭代次数达到第一设定次数，或者，网络参数值调整后的车牌文本图的检测模型的损失小于第一设定损失；这里，第一设定次数和第一设定损失可以是预先设置的。

步骤75：将网络参数值调整后的车牌文本图的检测模型作为训练完成的车牌文本图的检测模型。

在实际应用中，步骤71至步骤75可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

可以看出，本公开实施例可以在无需采集真实的车牌的图像的基础上，生成的车牌的图像，进而对车牌文本图的检测模型进行训练。

在一些实施例中，在得到训练完成的车牌文本图的检测模型后，还可以对车牌文本图的检测模型的性能进行测试；本公开实施例中，训练完成的车牌文本图的检测模型的精确率(precision)和召回率(recall)均大于85％。

在本公开的一些实施例中，可以根据车牌图像中的车牌文本信息，对车牌号文本的识别模型进行训练。本公开实施例中，上述车牌文本信息与上述车牌文本图的检测框形成一一对应关系，即，对于车牌的图像中的每个车牌文本图的检测框，均存在对应的车牌文本信息。

下面通过附图示例性地说明上述车牌号文本的识别模型的训练过程。

图7B为本公开实施例的车牌号文本的识别模型的训练方法的流程图，如图7B所示，该流程可以包括：

步骤701：获取用于训练车牌号文本的识别模型的样本车牌文本图。

在一个示例中，样本车牌文本图可以包括步骤102中预先获取的车牌文本图；在另一个示例中，样本车牌文本图可以包括利用训练完成的车牌文本图的检测模型对任意图像进行检测而得到的车牌文本图；当然，在其它示例中，也可以通过其它方式获取样本车牌文本图。

步骤702：将样本车牌文图输入至车牌号文本的识别模型；利用车牌号文本的识别模型对样本车牌文图进行识别，得到样本车牌文图的识别结果。

步骤703：根据样本车牌文图的识别结果和上述车牌图像中的车牌文本信息，调整车牌号文本的识别模型的网络参数值。

本公开实施例中，可以根据样本车牌文图的识别结果和上述车牌图像中的车牌文本信息确定车牌号文本的识别模型的损失，然后根据车牌号文本识别模型的损失，调整车牌号文本的识别模型的网络参数值。

步骤704：判断网络参数值调整后的车牌号文本的识别模型是否满足第二训练结束条件，如果否，则重新执行步骤701至步骤704；如果是，则执行步骤705。

本公开实施例中，第二训练结束条件可以是训练车牌号文本的识别模型时的迭代次数达到第二设定次数，或者，网络参数值调整后的车牌号文本的识别模型的损失小于第二设定损失；这里，第二设定次数和第二设定损失可以是预先设置的。

步骤705：将网络参数值调整后的车牌号文本的识别模型作为训练完成的车牌号文本的识别模型。

在实际应用中，步骤701至步骤705可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

在一些实施例中，在得到训练完成的车牌号文本的识别模型后，还可以对车牌号文本的识别模型的性能进行测试；本公开实施例中，训练完成的车牌号文本的识别模型的准确率(accuracy)大于90％。

当然，在另外的一些实施例中，在利用训练完成的车牌文本图的检测模型对任意图像进行检测后，可以得到上述任意图像中车牌文本图的检测框后，然后，可以利用光学字符识别(Optical Character Recognition，OCR)方法对上述任意图像中车牌文本图的检测框内的图像进行文本识别，得到待处理车牌图像中车牌号文本。OCR是指利用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料的图像文件进行分析处理，获取文字及版面信息的过程。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

在前述实施例提出的图像处理方法的基础上，本公开实施例提出了一种图像处理装置。

图8为本公开实施例的图像处理装置的组成结构示意图，如图8所示，该装置可以包括第一获取模块800和处理模块801，其中，

第一获取模块800，用于获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；

处理模块801，用于基于预设的文本文件，生成至少一个车牌文本图；将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

在一些实施例中，所述处理模块801，具体用于在所述车牌文本图为一个的情况下，将所述车牌文本图添加到所述预留区域，得到所述车牌图像。

在一些实施例中，在所述车牌文本图包括多个的情况下，所述预留区域包括与所述车牌文本图的类型对应的多个预留子区域；

所述处理模块801，具体用于按照所述多个车牌文本图中的每个车牌文本图的类型，将所述每个车牌文本图添加到类型相对应的所述预留子区域中，得到所述车牌图像。

在一些实施例中，所述处理模块801，还用于在得到所述车牌图像后，生成车牌文本图的标注信息。

在一些实施例中，所述标注信息包括车牌文本图的检测框以及车牌文本信息；

所述处理模块801，具体用于：

获取所述背景模板中所述预留区域的位置信息、所述车牌文本图的尺寸信息以及文字信息；

基于获取到的所述位置信息以及尺寸信息，确定生成的所述车牌图像中的车牌文本图的检测框；

基于获取到的所述文字信息，确定生成的所述车牌图像中的车牌文本信息。

在一些实施例中，所述文本文件包括通用字符以及车牌所属国语言的字符；其中，所述通用字符包括阿拉伯数字与英文字符，所述车牌所属国语言为除英语之外的其它语言。

在一些实施例中，所述预留区域包括通用字符预留子区域和车牌所属国语言预留子区域，所述车牌所属国语言预留子区域位于所述通用字符预留子区域的上方，所述通用字符预留子区域包括阿拉伯数字预留子区域和英文字符预留子区域。

在前述实施例提出的车牌识别网络的训练方法的基础上，本公开实施例提出了一种车牌识别网络的训练装置。

图9为本公开实施例的图像处理装置的组成结构示意图，如图9所示，该装置可以包括第二获取模块900和训练模块901，其中，

第二获取模块900，用于获取样本图像和车牌文本图的标注信息，所述样本图像是根据上述任意一种图像处理方法得到的所述车牌图像；

训练模块901，用于根据所述样本图像和所述车牌文本图的标注信息，训练所述车牌识别网络。

实际应用中，第一获取模块800、处理模块801、第二获取模块900和训练模块901均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

具体来讲，本实施例中的一种图像处理方法或车牌识别网络的训练方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法或车牌识别网络的训练方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种图像处理方法或车牌识别网络的训练方法。

基于前述实施例相同的技术构思，参见图10，其示出了本公开实施例提供的一种电子设备10，可以包括：存储器1001和处理器1002；其中，

所述存储器1001，用于存储计算机程序和数据；

所述处理器1002，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种图像处理方法或任意一种车牌识别网络的训练方法。

在实际应用中，上述存储器1001可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1002提供指令和数据。

上述处理器1002可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；

基于预设的文本文件，生成至少一个车牌文本图；

将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

2.根据权利要求1所述的方法，其特征在于，所述将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像，包括：

在所述车牌文本图为一个的情况下，将所述车牌文本图添加到所述预留区域，得到所述车牌图像。

3.根据权利要求1所述的方法，其特征在于，在所述车牌文本图包括多个的情况下，所述预留区域包括与所述车牌文本图的类型对应的多个预留子区域；

所述将预先获取的至少一个车牌文本图添加到所述预留区域，得到车牌图像，包括：

按照所述多个车牌文本图中的每个车牌文本图的类型，将所述每个车牌文本图添加到类型相对应的所述预留子区域中，得到所述车牌图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，在得到所述车牌图像后，所述方法还包括：

生成车牌文本图的标注信息。

5.根据权利要求4所述的方法，其特征在于，所述标注信息包括车牌文本图的检测框以及车牌文本信息；

所述生成车牌文本图的标注信息，包括：

获取所述背景模板中所述预留区域的位置信息、所述车牌文本图的尺寸信息以及文字信息；

基于获取到的所述位置信息以及尺寸信息，确定生成的所述车牌图像中的车牌文本图的检测框；

基于获取到的所述文字信息，确定生成的所述车牌图像中的车牌文本信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述文本文件包括通用字符以及车牌所属国语言的字符；其中，所述通用字符包括阿拉伯数字与英文字符，所述车牌所属国语言为除英语之外的其它语言。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述预留区域包括通用字符预留子区域和车牌所属国语言预留子区域，所述车牌所属国语言预留子区域位于所述通用字符预留子区域的上方，所述通用字符预留子区域包括阿拉伯数字预留子区域和英文字符预留子区域。

8.一种车牌识别网络的训练方法，其特征在于，所述方法包括：

获取样本图像和所述样本图像中包括的车牌文本图的标注信息，所述样本图像是根据权利要求1至7任一项得到的所述车牌图像；

根据所述样本图像和所述车牌文本图的标注信息，训练所述车牌识别网络。

9.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取车牌的背景模板；所述背景模板用于表征车牌图像中除车牌文本图之外的背景图像，所述背景模板中包括至少一个车牌文本图的预留区域；

处理模块，用于基于预设的文本文件，生成至少一个车牌文本图；将生成的所述至少一个车牌文本图添加到所述预留区域，得到车牌图像。

10.一种车牌识别网络的训练装置，其特征在于，所述装置包括：

第二获取模块，用于获取样本图像和所述样本图像中包括的车牌文本图的标注信息，所述样本图像是根据权利要求1至7任一项得到的所述车牌图像；

训练模块，用于根据所述样本图像和所述车牌文本图的标注信息，训练所述车牌识别网络。

11.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行权利要求1至8任一项所述的方法。

12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。

Images