CN112560551A - 用于车牌识别的系统、方法和设备 - Google Patents

Abstract

提出一种用于车牌识别的方法、设备和系统，以提供一种对图像的分辨率具有较低要求有效的LPR方式。一种用于车牌识别的系统(100)包括被配置成捕获车辆(50)的图像的第一设备(10)，和第二设备(20)，所述第二设备(20)被配置成从所述车辆(50)的所述图像获得车牌(60)的图像，使用模型识别所述车牌(60)，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。因为使用车牌的所产生的有标注图像训练所述模型，所以可省略费时的手动标注，这节省了时间且改进了效率。利用良好训练且精确标注的模型，甚至可基于较低分辨率的图像识别车牌。

Description

用于车牌识别的系统、方法和设备

技术领域

本发明涉及对象识别技术，且更具体地说涉及一种用于车牌识别(license platerecognition，LPR)的系统、方法和设备。

背景技术

LPR是从图像识别车牌，分区且识别字符的技术。传统LPR技术需要高图像分辨率，且校正识别速率并不高。

发明内容

在一种解决车牌识别问题的解决方案中，提供一种具有较低图像分辨率要求的有效的LPR方式。

根据本公开的第一方面，提供一种用于车牌识别的系统，其包含：

-第一设备，其被配置成：捕获车辆的图像，从车辆的图像获得车辆的车牌的图像，且将车牌的图像发送到第二设备；

-第二设备，其被配置成使用模型从车牌的所述图像识别车辆的车牌，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

根据本公开的第二方面，提供一种用于车牌识别的方法，其可由本公开的第二设备执行，且包含：

-接收车辆的车牌的图像；

-使用模型从车牌的所述图像识别车牌，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

根据本公开的第三方面，提供一种用于车牌识别的设备，其包含：

-接收模块，其被配置成接收车辆的车牌的图像；

-识别模块，其被配置成使用模型从车牌的所述图像识别车牌，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

根据本公开的第四方面，提供一种用于车牌识别的设备，其包含：

-至少一个处理器；以及

-至少一个存储器，其联接到所述至少一个处理器，用于存储计算机可执行指令，所述计算机可执行指令在执行时致使所述至少一个处理器执行上述第二方面的方法。

根据本公开的第五方面，提供一种计算机可读存储介质，其存储可执行指令，所述可执行指令在由计算机执行时使计算机能够执行上述第二方面的方法。

利用所提供的解决方案，因为使用所产生的车牌的有标注图像训练所述模型，所以可省略费时的手动标注，这节省了时间且改进了效率。利用良好训练且精确标注的模型，甚至可基于较低分辨率的图像识别车牌。

在本公开的实施例中，现场的图像来自与车辆的图像所来自的现场相同或类似类型的现场，这将改进当使用模型来识别类似/相同类型的现场中的图像中的对象时所述模型的准确性，且识别成功率可增加。

在本公开的实施例中，当从车牌的图像识别车辆的车牌时，所述程序可包含以下步骤：

-从车牌的图像识别车牌上的字符；

-识别车牌上的字符的布置格式；

-获得车牌上每一字符的位置；

-以所识别的布置格式且根据所获得的每一字符的位置布置所识别字符。

在识别了车牌上的每一字符的情况下，且在对字符的布置进行后处理的情况下，可成功地识别车牌。

在本公开的实施例中，经由边界框从车牌的图像识别车牌上的每一字符；且如果车牌的一侧上的任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义阈值，则确定识别结果无效。因此，可对车牌识别的结果进行双重检查以避免错误结果且改进LPR的准确性。

根据本公开的第六方面，提供一种用于模型训练的方法，其包含：

-获得第一图像，其中每一第一图像含有第一对象；

-确定第一对象的布置格式；

-基于第一图像和布置格式产生第一对象的组合的第二图像；

-将所述第二图像放置在与所述第二图像的对比度高于预定义阈值的背景的第三图像中。

-确定所述第二图像在第三图像中的第一位置；

-用现场的第四图像替换第三图像中的所述背景的部分以产生第五图像；

-使第五图像与第一位置相关；

-使用第五图像来训练模型。

根据本公开的第七方面，提供一种用于模型训练的设备，其可包含：

-图像获得模块，其被配置成获得第一图像，其中每一第一图像含有第一对象；

-图像产生模块，其被配置成基于第一图像和布置格式产生第一对象的组合的第二图像；将所述第二图像放置在与所述第二图像的对比度高于预定义阈值的背景的第三图像中；确定所述第二图像在第三图像中的第一位置；用现场的第四图像替换第三图像中的背景的部分以产生第五图像；使第五图像与第一位置相关；

-训练模块，其被配置成使用所述第一图像和第一位置的信息来训练模型。

根据本公开的第八方面，提供一种用于模型训练的设备，其可包含：

-至少一个处理器；以及

-至少一个存储器，其联接到所述至少一个处理器，用于存储计算机可执行指令，所述计算机可执行指令在执行时致使所述至少一个处理器执行第六方面的方法。

根据本公开的第九方面，提供一种计算机可读介质，其存储可执行指令，所述可执行指令在由计算机执行时使计算机能够执行第六方面的方法。

利用所提供的解决方案，产生而非收集用于训练模型的图像，可灵活地设定对象和布置格式的组合且覆盖尽可能多的情境，这将使训练模型可适用于多种多样的情境和图像，因此经由训练模型的识别结果可更精确和有效。在高对比度背景的情况下，可容易地发现边界框，这将缩短训练时间且增加训练模型的准确性。

在本公开的实施例中，对于第二图像中的每一第一对象，可检测到第一对象在所述第二图像中的第二位置，且可产生所述第二位置的信息，可用所述第二图像中的每一第一对象的识别符和相应第二位置的信息对第五图像进行标注。

利用所提供的解决方案，可省略费时的手动标注，这节省了时间且改进了效率。利用良好训练且精确标注的模型，甚至可基于较低分辨率的图像识别车牌。

附图说明

通过参考以下结合附图进行的对本发明技术的实施例的描述，本发明技术的上文所提到的属性和其它特征及优点以及其实现方式将变得更显而易见，且本发明技术自身将得到更好理解，在附图中：

图1描绘本公开的用于车牌识别的系统。

图2A和图2B描绘本公开的车牌识别的流程图。

图2C展示车辆的图像中的车牌的图像的识别。

图2D展示车牌的图像中的字符的识别。

图3描绘模型训练的流程图。

图4展示训练车牌的模型的图像产生过程。

图5A～5F展示经产生用于训练模型的图像。

图6A展示一排车牌的图像。

图6B展示两排车牌的图像。

图7A展示字符的原始图像。

图7B展示FIG7A中展示的字符的检测到的轮廓。

图8展示含有标注的信息的.txt文件的结构。

图9描绘车牌模型训练和车牌识别的流程图。

图10A和图10B描绘显示本公开的用于车牌识别的设备的示例性实施例的框图。

图11A和图11B描绘显示本公开的用于模型训练的设备的示例性实施例的框图。

参考标号：

100，用于车牌识别的系统

10，用以捕获车辆的图像的第一设备

20，通信服务器

30，用于车牌识别的第二设备

40，用于模型训练的第三设备

50，车辆

60，车辆50的车牌

200，用于车牌识别的方法

S201～S206、S2051～S2054，方法200的步骤

300：用于模型训练的方法

S301～S312，方法300的步骤

41：字符的图像

42：车牌的图像

43：背景的图像

44：背景中的车牌的图像

45：现场的图像

46：现场的图像中的车牌的图像

47：具有添加的噪声的现场的图像中的车牌的图像

900：用于模型训练和车牌识别的方法

901：现场的图像

902：字符的图像

903：产生车牌的图像并标注所产生图像

904：车牌的有标注图像

905：预训练模型

906：训练用于车牌识别的模型

907：用于车牌识别的经训练模型

908：车辆50的所捕获图像

909：从所捕获图像检测车牌60，且从车牌90的图像检测数字和字母

910：检测到的字符

911：后处理

912：经识别的车牌

301：接收模块

302：识别模块

303：至少一个存储器

304：至少一个处理器

305：通信模块

401：图像获得模块

402：图像产生模块

403：训练模块

404：至少一个存储器

405：至少一个处理器

406：通信模块

具体实施方式

在下文中，详细描述本发明技术的上述特征和其它特征。参考图式描述各种实施例，其中相同的参考标号贯穿全文用于指代相同的元件。在以下描述中，出于解释的目的，阐述众多具体细节以便提供对一个或多个实施例的透彻理解。可注意到，所说明的实施例意图解释而非限制本发明。明显的是，可以在没有这些具体细节的情况下实践此类实施例。

当介绍本公开的各种实施例的要素时，冠词“一”和“所述”旨在表示存在所述要素中的一个或多个。术语“包括”、“包含”和“具有”希望是包含性的且意味着可能存在除了所列要素之外的额外要素。

在下文中已参考图1到7详细描述了本发明技术。

通过介绍，图1描绘本公开的用于车牌识别的系统100。系统100可包含：第一设备10，其捕获某一地点内车辆的图像，例如街道上停放的车辆。图1展示车辆50，第一设备10拍摄车辆50的图像，接着系统100中的第二设备20尝试从第一设备捕获的图像识别车牌60。第一设备10可安装在图1中所示的灯杆上，在某一高度(例如，9米)处。第一设备10还可安装在建筑物等上，这取决于待监测的地点。在本公开的实施例中，可以小至40度的角度α和从第一设备10的相机到车牌60的长达20米的距离d来识别车牌60。

本文中所描述的图像还可被描述为图片或数据集。数据集是经过标注的图片的一组图像。

在本公开的实施例中，车辆的图像可经由系统100中的通信服务器20发送到第二设备30。任选地，通信服务器20和第二设备30可部署在云上。相比而言，第一设备10部署在边缘侧上。第二设备30部署在云上可保证第二设备30有足够的计算资源来执行车牌识别。

在本公开的实施例中，在捕获车辆50的图像(记录为“第一图像”)之后，第一设备10可检测第一图像中是否存在车牌。如果是，则第一设备10可获得车牌(即，车辆60的车牌60)的图像(记录为“第二图像”)，且将其发送到第二设备30。在接收第二图像之后，第二设备30可使用利用车牌的有标注图像训练的模型从第二图像识别车辆50的车牌60。

在本公开的实施例中，系统100可包含第三设备40，其也可部署在云上。第三设备40训练用于识别车辆的车牌的模型。任选地，第三设备40和第二设备30可实施于相同装置中或单独装置中。

现参考图2，描绘本公开的车牌识别的流程图。方法200可包含以下步骤：

S201：捕获车辆50的图像。

在此步骤中，第一设备10捕获车辆50的图像。图2C展示车辆50的图像。

S202：从车辆50的图像获得车牌60的图像。在图2C中，车牌60周围的边界框内的图像是车牌60的图像(记录为“第二图像”)。

在此步骤中，第一设备10尝试从车辆50的所捕获图像检测车牌60。如果检测到，则第一设备10从车辆50的图像获得车牌60的图像。

代替于直接发出车辆的图像，第一设备10首先确定车辆50的图像中是否存在车牌、如果是，则从车辆50的图像进一步获得检测到的车牌60的图像，这可减小待发射的图像文件的大小，且利用边缘侧的预处理，云上的处理负载可显著减小。

S203：将车牌60的图像发送到通信服务器20。

在此步骤中，第一设备10发出车牌的图像。在图2中展示的本公开的实施例中，第一设备10经由例如MQTT(消息排队遥测传输)接收服务器等通信服务器20将图像发送到第二设备30。在本公开的另一实施例中，第一设备10可将图像直接发送到第二设备30。

S204：将车牌60的图像发送到第二设备30。

在此步骤中，通信服务器20将车牌60的图像发送到第二设备30。

S205：识别车辆50的车牌60。

在此步骤中，第二设备识别车牌60。其可识别车牌60上的字符(包含但不限于字母和/或数字)，且以正确的次序组织所述字符。此步骤的细节可参考图3和相关描述。

S206：确定识别结果是否有效。

在步骤S205中识别车辆50的车牌60之后，任选地，可执行后处理以确定识别结果是否有效，此步骤的细节稍后将进行介绍。

现参考图3，描绘上述步骤S205的详细流程图。步骤S205可包含以下子步骤：

S2051：从第二图像识别车辆50的车牌60上的字符。

在此步骤中，第二设备30识别车牌60上的每一字符，如图2D所示，每一所识别字符周围存在边界框。第二设备30可使用车牌的模型用于车牌识别。

S2052：识别车牌60上的字符的布置格式。

在识别每一字符之后，所有字符应以正确的格式布置。如此，在此步骤中，第二设备30识别字符的布置格式。举香港的车牌为例，存在一排(图6A中展示)和两排(图6B中展示)车牌。对于香港使用的车牌60，必须确定所述车牌为一排还是两排车牌。

可执行例如霍夫变换等特征提取以确定车牌60上的字符的布置格式。且如果车牌60分成两个部分，则每一部分呈一排。

S2053：获得车牌60上的每一字符的位置。

在此步骤中，第二设备30可计算每一字符的位置。举例来说，如果执行霍夫变换，则x坐标可用于获得一排中每一字符的位置。

S2054：以所识别的布置格式且根据所获得的每一字符的位置布置所识别字符。

在此步骤中，第二设备30可根据所识别的布置格式和字符位置布置所识别字符。

在步骤S206中，可执行后处理以确定识别结果是否有效。为了避免数字和字符的随机定序和其它错误的识别结果，可执行以下处理。后处理可包含a)定序b)抑制和c)交叉检查。

a)定序

如果执行霍夫变换以确定车牌60上的字符的布置格式，则可针对每一排执行例如NMS(非最大抑制)等局部最大值搜索。可设定半径阈值用于NMS执行。举香港的车牌为例，如果车牌60为一排车牌且字符的数目超出7或小于3，则识别结果将确定为无效且可被忽略；如果车牌60为两排车牌且每一排中字符的数目较少(不应少于1)，则识别结果将确定为无效，或者此排将被放弃。可按需要改变关于字符数目的阈值的设定。并且，如果车牌60为两排车牌，则还可确定上排是否短于下排。如果否，则识别结果可确定为无效。

b)抑制：

因为用于车牌识别的模型无法达到完美，所以可执行失配抑制来抑制车牌的边缘上的失配。

任选地，如果车牌60的一侧上任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义值，则识别结果可确定为无效。所述比率可设定为30％或其它值，且可按需要改变。

任选地，可检查字符的斜率。取出车牌60中的一字符，且与剩下的字符形成一排。如果取出的字符在该排上，则识别结果可确定为有效。

c)交叉检查：

可执行具有字符识别的交叉检查。可计算每一字符的得分，可设定阈值sc。如果所有字符的得分的平均值加上sc大于每一字符的最大得分，则识别结果可确定为有效。

通过此方式，车牌的失配可减小到小于10％但仍存在其无法工作的一些情形(比如，如果第二图像中不存在车牌，或字符得分归因于障碍物或模糊而太低，或如果第二图像中存在一辆以上轿车)。

在上述步骤S205中，第二设备20使用模型识别车牌60。获得足够的数据来训练比如用于车牌识别的模型的AI(人工智能)模型常常是一项巨大的挑战。数据收集通常花费大量工作量。即使搜集了数据，仍花费许多工作量对每一数据项进行恰当地标记使得可恰当地训练所述模型。当前AI模型训练依赖于手动数据搜集和标记技术。此手动过程的部分可能已自动化，但总体方法仍非常麻烦且费时。

在本公开的实施例中，可使用车牌的有标注图像训练所述模型，且可基于字符的图像和现场的图像产生有标注图像。可容易地获得正确地标注大量数据的优点，且在正确地标注足够数据的情况下，所训练的模型可更精确，因此车牌识别的正确率可较高。

值得一提的是，模型训练所述可不仅用于车牌识别，而且用于其它AI模型训练。图3描绘可由上文所提及的第三设备40执行的模型训练的流程图。参考图3，用于模型训练的方法300可包含以下步骤，且可在例如python脚本等计算机程序的控制下执行所述步骤，以产生图像并自动添加标注。

S301：获得第一图像。

在此步骤中，第三设备40可获得第一图像，其中的每一个含有第一对象，例如车牌上的字符。

不同国家或地区具有字符的不同模板和字体。可根据其中实行对象识别的国家或地区获得子部分的图像。

S302：确定第一对象的布置格式，例如一排或两排车牌。

S303：基于第一图像和第一对象的布置格式产生第一对象的组合的第二图像。

S304：将第二图像放置在与所述第二图像的对比度高于预定义阈值的背景的第三图像中。

此针对背景的第三图像的要求是用于识别对象的限界，其必须在训练期间习得。如果例如使用黑背景，则必须习得这一点以基于非黑度识别目标的位置，这对于真实背景上对象的真实图像将显而易见不起作用。

可在将第二图像42放置在第三图像中之前执行一些种类的变换，例如旋转、收缩等。

S305：确定第二图像在第三图像中的位置。

S306：用现场的第四图像替换第三图像中的背景的部分以产生第五图像。

现场的第三图像和第四图像的尺寸可对于位置确定和图像替换是相同的。

S306’：将噪声添加到第五图像以产生第六图像。

这是任选步骤。

S307：使第五图像/第六图像与位置相关。

与位置的相关可用于模型训练，以知晓待识别的对象的位置。

S308：使用第五图像/第六图像来训练模型。

值得一提的是，上述程序仅描述一个图像的产生过程。为了训练模型，通常要产生数百/数千个图像。且现场的图像的数目应足够大以避免在训练期间被记住。任选地，可从开放式数据库收集或从市售数据库购买或在待识别对象所处的现场处捕获现场的第四图像。还可经由裁剪、合成和其它种类的编辑处理有限数目的图像以产生大量图像。

除产生大量图像外，为了模型训练，还可将标注添加到图像。以传统方式，可能花费约1分钟来手动地对每一图像进行标记，这很耗时。此处，自动标注可在短时间内进行，且比手动标注更精确。因此，方法300可进一步包含以下添加标注的步骤：

对于第二图像中的每一第一对象，检测第二图像中的第一对象的第二位置，且产生所述第二位置的信息，接着用第二图像中每一第一对象的识别符和相应第二位置的信息标注第五图像。参看图7A、图7B和图8详细呈现添加标注的实例。

图4展示训练车牌的模型(上文所提及的第二模型的实例)的图像产生过程。可由例如脚本等计算机程序执行产生过程。本文中，我们将脚本命名为gen.py。脚本gen.gy可利用随机组织的字符绘制1000+车牌。(以脚本的代码的形式，所产生图像的数目可改变)。

图5A～5F展示经产生用于训练车牌的模型的图像。图5A中展示的图像的训练模型的预期输出为HH412RFP，对于图5B为FB78PFD，对于图5C为JW01GAI，对于图5D为AM46KVG，对于图5E为XG86KI0，对于图5F为XH07NY0。然而，对于图5C～图5F，训练模型无法识别车牌。对于图5C原因是，图像中展示的车牌部分截断，对于图5D原因是图像中展示的车牌太小，对于图5E原因是图像中展示的车牌太大，对于图5F原因是完全不存在车牌。

现参考图4，首先，产生车牌上的字符。如果将要产生香港的车牌，则可使用香港字体以保证车牌识别的准确性。可随机布置字符。对于一排车牌，可使用命名为“generate_code()”的API；对于两排车牌，可使用命名“generatge_code_two_line()”的API，对于上排的2个字母和下排的4个数字可使用固定格式。

接着，产生含有所产生的字符的车牌的图像42。对于一排车牌，可使用API“generate_plate(font_height，char_ims)”，其接受两个参数：“font_height”，指示字体的高度(车牌上的所有字符应具有相同高度)；以及“char_ims”，指示可通过PIL转换为numpy的字体图像。对于两排车牌，可使用API“generate_two_line_plate(font_height，char_ims)”，两个参数具有与API“generate_plate(font_height，char_ims)”中的参数相同的含义，且两排车牌上的字符的宽度相同，而一排车牌上的宽度可不同。

接下来，可产生现场的图像45，且车牌的图像42可合并到现场的图像45中。车牌的图像42可围绕随机轴线旋转以获得车牌的不同外观，接着可产生现场的图像45中的车牌的图像46。

API“generate_bg(num_bg_images)”可用于产生现场的图像45且接收现场的图像的数目(其也是待产生的车牌的总数)作为参数。

API

“make_affine_transform(from_shape，to_shape，min_scale，max_scale，scale_variation＝1.0，rotation_variation＝1.0，translation_variation＝1.0)：”可用于作出变换且获得现场的图像中的车牌的边界框。其接收5个参数且传回现场的图像45中的车牌的图像46，以及现场的图像45中的车牌的边界框。参数“from_shape”指示车牌的形状，“to_shape”指示现场的形状，这两个参数用于产生边界框。参数“min_scale”、“max_scale”和“scale_variation”指示现场的图像45中的车牌的图像46的尺度范围。参数“Rotation_variation”和“translation_variation”指示现场的图像46中的车牌的图像45的旋转和平移范围。

API numpy.random，normal(scale，size)可用于产生噪声。参数“scale”指示噪声的密度。在被添加噪声之后，可产生具有添加的噪声的现场的图像中的车牌的图像47。

介绍车牌的图像产生，图6A展示一排车牌的图像，且图6B展示两排车牌的图像。

现将介绍车牌的自动标注。相比于手动标注，自动标注节省时间和劳动力。根据使用人造图像来训练神经网络(例如Mask-RCNN)的测试，可获得非常良好的结果。可在小于5分钟内产生和标注50,000个图像。以下为关于Mask R-CNN的标注和训练的实例。

Mask R-CNN为例项分段模型，其不仅可检测对象而且可逐像素识别任何对象的位置。Mask R-CNN训练起来较简单且相对于较快R-CNN仅增加小开销，且其在每个任务上都胜过所有现有单模型条目。

为了训练Mask R-CNN，第一标注应添加到图像。以传统方式，可能花费约1分钟来手动地对每一图像进行标记，这很耗时。此处，自动标注可在短时间内进行，且比手动标注更精确。以下展示自动标注如何工作。

所产生的每一图像由现场和对象组成。在合并现场和对象之前，可获得现场的图像中的对象的位置。接着，可与对象相关地保存对象的位置。此处，所保存位置的格式可以是二进制图像且用于提取轮廓。

API“skimage.measure.find_contours()”可用于检测对象的位置，此处取对象的轮廓为例，且最外轮廓可准确地定位对象，这刚好就是Mask-RCNN中我们所需要的，如图7A和图7B中所示。

基于最外轮廓，可针对每一对象产生标注。标注可记录在.txt文件(label_data.txt，如图9所示)中，其为Mask R-CNN的输入。且以下为label_data.txt的结构(每一排针对每一图像)：

“image_name number_of_object name_of_first_object number_of_point x1，x2，x3，...，y1，y2，y3，...name_of_second_object number_of_point x1，x2，x3，...，y1，y2，y3，...”

所产生图像可存储到被命名为“test_number_plate”的文件夹和被命名为“mask_Bigscale_number_plate”的另一文件夹中。第一文件夹可含有所产生图像的数据集，且第二文件夹可含有车牌的图像上的字符的位置。

现参考图9，描绘模型训练和车牌识别的示范性过程900。

现场的图像901和字符的图像902是框903的两种输入。在框903处，产生和标注车牌的图像，接着由框903输出车牌的有标注图像904。

车牌的有标注图像904和预训练模型905是框906的两个输入。在框906处，训练用于车牌识别的模型，且输出经训练模型907。

车辆50的经训练模型907和所捕获图像908是框909的两个输入。在框909处，从所捕获图像908识别车牌60，且从车牌90的图像检测数字和字母。

作为框909的输出，检测到的字符910由框911进行后处理，且输出经识别的车牌912。

图10A描绘显示本公开的第二设备30的示例性实施例的框图。参看图10A，第二设备30可包含：

-接收模块301，被配置成接收车辆50的车牌60的图像；

-识别模块302，被配置成使用模型从车牌60的图像识别车牌60，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生有标注图像。

任选地，现场的图像来自与第一图像所来自的现场相同或类似类型的现场。

任选地，识别模块302被进一步配置成：

-从车牌60的图像识别车牌60上的字符；

-识别车牌60上的字符的布置格式；

-获得车牌60上的每一字符的位置；

-以所识别的布置格式且根据所获得的每一字符的位置布置所识别字符。

任选地，当从车牌60的图像识别车牌60上的字符时，识别模块303被进一步配置成：经由边界框从车牌60的图像识别车牌60上的每一字符；识别模块302被进一步配置成：如果车牌60的一侧上的任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义阈值，则确定识别结果无效。

图10B描绘显示本公开的第二设备30的示例性实施例的另一框图。参看图10B，第二设备30可包含：

-至少一个存储器204，被配置成存储指令；

-至少一个处理器205，联接到所述至少一个存储器204，且在执行可执行指令时被配置成执行由第二设备30执行的步骤。

任选地，第二设备30还可包含通信模块305，被配置成从/向通信服务器20/第一设备10发射/接收图像、数据等。所述至少一个处理器304、所述至少一个存储器303和通信模块305可经由总线连接或彼此直接连接。

值得一提的是，模块301和302可以是包含指令的软件模块，所述指令存储在所述至少一个存储器303中，当由所述至少一个处理器304执行时执行方法200。

图11A描绘显示本公开的第三设备40的示例性实施例的框图。参看图11A，第三设备40可包含：

-图像获得模块401，被配置成获得第一图像，其中每一第一图像含有第一对象；

-图像产生模块402，其＝被配置成基于第一图像和布置格式产生第一对象的组合的第二图像；将第二图像放置在与第二图像的对比度高于预定义阈值的背景的第三图像中；确定第二图像在第三图像中的第一位置；用现场的第四图像替换第三图像中的背景的部分以产生第五图像；使第五图像与第一位置相关；

-训练模块403，被配置成使用第一图像和第一位置的信息来训练模型。

任选地，图像产生模块402被进一步配置成：

-对于第二图像中的每一第一对象，检测第二图像中的第一对象的第二位置；产生所述第二位置的信息；

-当标注第五图像时，用第二图像中的每一第一对象的识别符和相应第二位置的信息标注第五图像。

图11B描绘显示本公开的第三设备40的另一示例性实施例的框图。参看图11B，第三设备40可包含：

-至少一个存储器404，被配置成存储可执行指令；

-至少一个处理器405，联接到所述至少一个存储器404且在执行所述可执行指令时被配置成执行方法300。

任选地，第三设备40还可包含I/O端口406，其被配置成接收输入和发送输出。所述至少一个处理器405、所述至少一个存储器404和I/O端口406可经由总线连接或彼此直接连接。

值得一提的是，上述模块401～403可以是包含指令的软件模块，所述指令存储在所述至少一个存储器404中，当由所述至少一个处理器405执行时执行方法300。

本公开中还提供一种计算机可读介质，其存储可执行指令，所述可执行指令在由计算机执行时使计算机能够执行本公开中提供的方法中的任一个。

计算机程序正由至少一个处理器执行且执行本公开中提供的方法中的任一个。

虽然已参考某些实施例详细地描述了本发明技术，但应了解，本发明技术不限于那些精确的实施例。实际上，鉴于描述用于实践本发明的示例性模式的本公开，在不脱离本发明的范围和精神的情况下，所属领域的技术人员能进行许多修改和变化。因此，本发明的范围由所附权利要求书指示，而非由前文描述指示。落入权利要求书的等效含义和范围内的所有改变、修改和变化将被认为在权利要求书的范围内。

Claims (19)

1.一种用于车牌识别的系统(100)，其包括：

第一设备(10)，其被配置成：

捕获车辆(50)的图像，

从所述车辆(50)的所述图像获得所述车辆(50)的车牌(60)的图像，且

将所述车牌(60)的所述图像发送到第二设备(20)；

所述第二设备(20)，其被配置成使用模型从所述车牌(60)的所述图像识别所述车辆(50)的所述车牌(60)，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

2.根据权利要求1所述的系统(100)，其中现场的图像来自与所述车辆(50)的所述图像所来自的现场相同或类似类型的现场。

3.根据权利要求1所述的系统(100)，其中当所述第二设备(30)从所述车牌(60)的所述图像识别所述车辆(50)的所述车牌(60)时，其被进一步配置成：

从所述车牌(60)的所述图像识别所述车牌(60)上的字符；

识别所述车牌(60)上的字符的布置格式；

获得所述车牌(60)上的每一字符的位置；

以所识别的布置格式且根据所获得的每一字符的所述位置布置所识别字符。

4.根据权利要求3所述的系统(100)，其中

当所述第二设备(30)从所述车牌(60)的所述图像识别所述车牌(60)上的字符时，所述第二设备(30)被进一步配置成：经由边界框从所述车牌(60)的所述图像识别所述车牌(60)上的每一字符；

所述第二设备(30)被进一步配置成：如果所述车牌(60)的一侧上的任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义阈值，则确定识别结果无效。

5.一种用于车牌识别的方法(200)，其包括：

接收(S204)车辆(50)的车牌(60)的图像；

使用模型从所述车牌(60)的所述图像识别(S205)所述车牌(60)，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

6.根据权利要求5所述的方法(200)，其中现场的图像来自与所述第一图像所来自的现场相同或类似类型的现场。

7.根据权利要求1所述的方法(200)，其中从所述车牌(60)的所述图像识别(S205)所述车牌(60)进一步包括：

从所述车牌(60)的所述图像识别(S2051)所述车牌(60)上的字符；

识别(S2052)所述车牌(60)上的字符的布置格式；

获得(S2053)所述车牌(60)上的每一字符的位置；

以所识别的布置格式且根据所获得的每一字符的所述位置布置(S2054)所识别字符。

8.根据权利要求7所述的方法(200)，其中

从所述车牌(60)的所述图像识别(S2051)所述车牌(60)上的字符进一步包括：经由边界框从所述车牌(60)的所述图像识别所述车牌(60)上的每一字符；

所述方法(200)进一步包括：如果所述车牌(60)的一侧上的任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义阈值，则确定(S206)识别结果无效。

9.一种用于车牌识别的第二设备(30)，其包括：

接收模块(301)，其被配置成接收车辆(50)的车牌(60)的图像；

识别模块(302)，其被配置成使用模型从所述车牌(60)的所述图像识别所述车牌(60)，其中使用车牌的有标注图像训练所述模型，且基于字符的图像和现场的图像产生所述有标注图像。

10.根据权利要求9所述的第二设备(30)，其中现场的图像来自与所述第一图像所来自的现场相同或类似类型的现场。

11.根据权利要求9所述的第二设备(30)，其中所述识别模块(302)被进一步配置成：

从所述车牌(60)的所述图像识别所述车牌(60)上的字符；

识别所述车牌(60)上的字符的布置格式；

获得所述车牌(60)上的每一字符的位置；

以所识别的布置格式且根据所获得的每一字符的所述位置布置所识别字符。

12.根据权利要求11所述的第二设备(30)，其中

当从所述车牌(60)的所述图像识别所述车牌(60)上的字符时，所述识别模块(303)被进一步配置成：经由边界框从所述车牌(60)的所述图像识别所述车牌(60)上的每一字符；

所述识别模块(302)被进一步配置成：如果所述车牌(60)的一侧上的任何字符的边界框的高度与所有字符的边界框的平均高度的比率高于预定义阈值，则确定识别结果无效。

13.一种用于车牌识别的第二设备(30)，其包括：

至少一个处理器(304)；以及

至少一个存储器(303)，其联接到所述至少一个处理器(304)，用于存储计算机可执行指令，所述计算机可执行指令在执行时致使所述至少一个处理器(304)执行根据权利要求5到8中任一权利要求所述的方法。

14.一种用于模型训练的方法(300)，其包括：

获得(S301)第一图像，其中每一第一图像含有第一对象；

确定(S302)所述第一对象的布置格式；

基于所述第一图像和所述布置格式产生(S303)所述第一对象的组合的第二图像；

将所述第二图像放置(S304)在与所述第二图像的对比度高于预定义阈值的背景的第三图像中；

确定(S305)所述第二图像在所述第三图像中的第一位置；

用现场的第四图像替换(S306)所述第三图像中的所述背景的部分以产生第五图像；

使所述第五图像与所述第一位置相关(S307)；

使用(S308)所述第五图像来训练模型。

15.根据权利要求14所述的方法(300)，其进一步包括：

针对所述第二图像中的每一第一对象，

检测所述第二图像中的所述第一对象的第二位置；

产生所述第二位置的信息；

用所述第二图像中的每一第一对象的识别符和相应第二位置的信息标注所述第五图像。

16.一种用于模型训练的第三设备(40)，其包括：

图像获得模块(401)，其被配置成获得第一图像，其中每一第一图像含有第一对象；

图像产生模块(402)，其被配置成：

基于所述第一图像和所述布置格式产生所述第一对象的组合的第二图像；

将所述第二图像放置在与所述第二图像的对比度高于预定义阈值的背景的第三图像中；

确定所述第二图像在所述第三图像中的第一位置；

用现场的第四图像替换所述第三图像中的所述背景的部分以产生第五图像；

使所述第五图像与所述第一位置相关；

训练模块(403)，其被配置成使用所述第一图像和所述第一位置的信息来训练模型。

17.根据权利要求16所述的第三设备(40)，其中所述图像产生模块(402)被进一步配置成：

针对所述第二图像中的每一第一对象，

检测所述第二图像中的所述第一对象的第二位置；

产生所述第二位置的信息；

当标注所述第五图像时，用所述第二图像中的每一第一对象的识别符和相应第二位置的信息标注所述第五图像。

18.一种用于模型训练的第三设备(40)，其包括：

至少一个处理器(405)；以及

至少一个存储器(404)，其联接到所述至少一个处理器(405)，用于存储计算机可执行指令，所述计算机可执行指令在执行时致使所述至少一个处理器(405)执行根据权利要求14或15所述的方法。

19.一种计算机可读介质，其存储可执行指令，所述可执行指令在由计算机执行时使所述计算机能够执行根据权利要求5～8、14和15中任一权利要求所述的方法。

Images