CN113971627B - 一种车牌图片生成方法及装置 - Google Patents

Abstract

本申请涉及图像处理领域，公开了一种车牌图片生成方法及装置，用以解决现有技术中生成每种样式的车牌图片均需制作该样式的车牌模板、以及基于车牌模板生成的车牌图片不真实的问题。该方法包括：获取第一车牌图片中目标字符的目标字符图片；将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征；将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片；在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片。

Description

一种车牌图片生成方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种车牌图片生成方法及装置。

背景技术

车牌识别在车辆管理中具有广泛应用，例如在停车场出入口安装车牌识别设备可实现对车辆的自动管理；交通监管部门利用车牌识别设备可以将违章车辆的车牌号高效地输入违章处理系统；另外在道路的起止点安装车牌识别设备，还可以计算车辆通过道路的平均时间、监测道路的拥堵状况等。

车牌识别设备的核心是车牌识别模型，目前训练一个完备的车牌识别模型需要大量的车牌图片支撑，收集车牌图片需要耗费大量人力物力、成本较高。并容易出现收集的车牌图片分布不均衡(如地域分布不均衡)，导致训练得到的车牌识别模型对某些车牌识别效果不佳。而目前车牌图片生成服务都是基于固定模板实现的，这种车牌图片生成方式需要提供底板、字体等车牌的基本元素，然后将根据字体等基本元素生成的字符，以固定规则贴进底板之中，生成车牌图片。如图1所示为基于模板生成的车牌图片示例。

基于模板生成车牌图片，模板的样式限制了可以生成车牌的样式。当发布新的车牌或者迁移到另一个国家则需要制作新的模板，工作量较大，通常只能适用于部分国家的特定车牌生成服务，具有很大的局限性。另外，由于通过模板生成的车牌图片没有任何噪音干扰，如果直接将生成的车牌图片用于车牌识别模型的训练，在真实的环境下车牌识别模型的精度通常较低，识别效果不理想。如图2所示，虽然可以利用循环生成对抗网络(cyclegenerative adversarial nets，cycleGAN)对模板制作的车牌图片向真实的车牌图片进行风格迁移，在模板制作的车牌图片中增加一些模糊，使车牌图片更加自然，接近真实。但风格迁移后的车牌图片仍然缺少真实车牌图片中存在的倾斜、阴影等噪声，和真实车牌图片仍有一定区别。

发明内容

本申请实施例提供一种车牌图片生成方法及装置，用以解决现有技术中生成每种样式的车牌图片均需制作该样式的车牌模板、以及基于车牌模板生成的车牌图片不真实的问题。

第一方面，本申请实施例提供了一种车牌图片生成方法，该方法包括：获取第一车牌图片中目标字符的目标字符图片；将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征；将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片；在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片。可选的，所述目标特征可以包括背景颜色、字符颜色、字体、倾斜、阴影、噪声中的一项或多项。

采用上述方法，可以利用在真实车牌图片中的字符截图的特征生成新的字符图片，能够保持真实车牌图片中的阴影、倾斜等特征，相对于模板或cycleGAN生成的车牌图片会更加真实；同时直接基于某一真实的车牌图片进行同样式的车牌图片的生成，可有效摆脱模板的限制，避免基于模板进行车牌图片生成的局限性。

在一个可能的设计中，所述方法还包括：将所述第二车牌图片输入到风格融合模型进行处理，得到风格融合后的第二车牌图片，其中所述风格融合模型用于将贴入所述第一车牌图片中的所述替换字符图片，以所述第一车牌图片的风格融入所述第一车牌图片中。

上述设计中，通过风格融合模型对第二车牌图片进行处理，有利于进一步消除替换字符图片与第一车牌图片背景颜色、阴影、噪声等特征间存在的差异，得到更加真实的第二车牌图片。

在一个可能的设计中，所述特征提取模型和所述字符图片生成模型可以是基于多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组训练得到的，其中所述第一样本字符图片和所述第二样本字符图片对应的样式相同。

上述设计中，基于大量由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组，对特征提取模型和字符图片生成模型进行联合训练，有利于得到准确的特征提取模型和字符图片生成模型。

在一个可能的设计中，所述风格融合模型是基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到的，其中每对贴图样本车牌图片和真实车牌图片对应的车牌号相同、且所述贴图样本车牌图片由与所述真实车牌图片同样式的其它真实车牌图片贴入与所述车牌号对应的字符图片得到。

上述设计中，基于大量由贴图样本车牌图片和真实车牌图片构成的样本对对风格融合模型进行训练，有利于得到准确的风格融合模型。

在一个可能的设计中，所述获取第一车牌图片中目标字符的目标字符图片，包括：识别所述第一车牌图片中目标字符的位置；根据识别到的位置框选所述第一车牌图片中的所述目标字符，获取目标字符图片。可选的，所述框选所述第一车牌图片中的所述目标字符之后，还可以根据调整指令，调整用于框选所述目标字符的字符框的位置和/或大小。

上述设计中，当字符框框选目标字符不准确时，用户可以通过下发调整指令，调整用于框选目标字符的字符框的位置和/或大小，可以有效避免字符框框选目标字符不准确的问题。

在一个可能的设计中，所述方法还包括：当确定用户指示需要变换字符风格时，在所述目标特征中额外增加噪声。

上述设计中，可以在提取的目标特征中额外增加噪声，让生成的替换字符图片与获取到的目标字符图片的风格有一定的差异，从而增加生成的车牌图片的多样性，使得生成的车牌图片更真实。

第二方面，本申请实施例提供了一种车牌图片生成装置，包括用于执行上述第一方面或者第一方面的任一种可能的设计中各个步骤的单元。

第三方面，本申请实施例提供了一种车牌图片生成装置，包括处理器和存储器，其中所述存储器用于存储计算机程序或指令，所述处理器用于调用所述存储器中存储的计算机程序或指令，执行上述第一方面或者第一方面的任一种可能的设计中所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质具有用于执行上述第一方面或者第一方面的任一种可能的设计中所述的方法的计算机程序或指令。

第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被执行时，可以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法。

第六方面，本申请还提供一种芯片，所述芯片用于读取存储器中存储的计算机程序或指令，以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法，所述存储器可以集成于所述芯片中，或者所述芯片与所述存储器耦合。

上述第二方面至第六方面所能达到的技术效果请参照上述第一方面所能达到的技术效果，这里不再重复赘述。

附图说明

图1为本申请实施例提供的模板生成的车牌图片示意图；

图2为本申请实施例提供的cycleGAN处理后的车牌图片示意图；

图3为本申请实施例提供的字符图片示意图；

图4为本申请实施例提供的车牌图片生成过程示意图；

图5为本申请实施例提供的贴图车牌示意图；

图6为本申请实施例提供训练模型过程示意图；

图7为本申请实施例提供的车牌图片生成过程示意图；

图8为本申请实施例提供的目标字符图片获取示意图；

图9为本申请实施例提供的第二车牌图片生成过程示意图；

图10为本申请实施例提供的车牌图片风格融合效果示意图；

图11为本申请实施例提供的单张车牌图片生成流程示意图；

图12为本申请实施例提供的显示界面示意图；

图13为本申请实施例提供的批量车牌图片生成过程示意图；

图14为本申请实施例提供的车牌图片生成装置示意图之一；

图15为本申请实施例提供的车牌图片生成装置示意图之二。

具体实施方式

本申请提供一种车牌图片生成方法及装置，旨在解决现有技术中生成每种样式的车牌图片均需制作该样式的车牌模板、以及基于车牌模板生成的车牌图片不真实的问题。

本申请提供的车牌图片生成方案，可以用于满足车牌识别模型训练对大量车牌图片样本的需求。示例的：国家新发行一类车牌，或某一园区对园区内运行车辆发行一类场内车牌后，面临着对悬挂新车牌的车辆停车、超速监控等管理需求，需要车牌识别设备能够识别车辆悬挂的新车牌。而为了使车牌识别设备能够实现识别车辆悬挂的新车牌，需要大量新发行的车牌图片，对车牌识别设备的核心车牌识别模型进行训练，采用本申请提供的车牌图片方案，通过采集一张或多张新发行的车牌图片，即可生成大量真实性较高的新发行的车牌图片，满足车牌识别模型的训练需求。

在介绍本申请实施例之前，首先对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

1)、字符，在本申请实施例中，字符可以是字母、数字、运算符号、标点符号和其他符号等。例如：字符可以为A、B、C等字母，也可以为1、2、3等数字，还可以为—、/等符号。

2)、字符图片，在本申请实施例中，字符图片通常是指车牌或车牌图片中字符的图片，如图3所示，可以通过在车牌图片中框选某一字符，并将框选该字符的字符框所框选的图片作为该字符的字符图片。

3)、级联/联合，本申请涉及的级联/联合，也可以称为模型级联/联合，用于将不同模型连接在一起进行数据处理，即将一个模型的输出作为另一个模型的全部或部分输入。例如A模型和B模型级联/联合，即将A模型的输出作为B模型的部分或全部输入，A模型和B模型级联后的数据处理过程为：数据X₁输入到A模型，A模型对数据X₁进行处理，得到数据Y₁输出，数据Y₁+数据Y₂输入到B模型，B模型对数据Y₁+数据Y₂进行处理，得到数据Z₁；可选的，也可能是数据X₁输入到A模型，A模型对数据X₁进行处理，得到数据Y₁输出，数据Y₁输入到B模型，B模型对数据Y₁进行处理，得到数据Z₁。

另外，需要理解，在本申请实施例中，至少一个还可以描述为一个或多个，多个可以是两个、三个、四个或者更多个，本申请不做限制。在本申请实施例中，“/”可以表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；“和/或”可以用于描述关联对象存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。为了便于描述本申请实施例的技术方案，在本申请实施例中，可以采用“第一”、“第二”等字样对功能相同或相似的技术特征进行区分。该“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。在本申请实施例中，“示例性的”或者“例如”等词用于表示例子、例证或说明，被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。

下面将结合附图，对本申请实施例进行详细描述。

参照图4所示，为本申请实施例提供的一种系统架构示意图，该系统架构中可以包括：数据采集设备、数据库、训练设备、执行设备及数据存储系统等。

数据采集设备，可以用于对由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组进行采集或生成，并将采集或生成的样本组存入数据库。需要说明的是，同一样本组中，第一样本字符图片和第二样本字符图片对应的样式相同(如可以均对应中国小型机动车的蓝底白字样式)。示例的：数据采集设备可以生成多个样式相同的车牌图片(如基于车牌模板生成多个样式为蓝底白字的车牌图片)或接收用户上传的多个样式相同的车牌图片，在所述多个车牌图片中任意选取两个字符的字符图片，作为样本组中的第一样本字符图片和第二样本字符图片，并标注第二样本字符图片对应的第二样本字符，即可获得一个样本组。其中对于第二样本字符图片对应的第二样本字符的标注可以是人为标注，也可以是数据采集设备通过对第二样本字符图片中的字符识别确定，还可以是数据采集设备根据第二样本字符图片对应的车牌图片生成时采用的字符串(即车牌号)确定。例如：第二样本字符图片为第二样本车牌图片中第一个字符的字符图片，数据采集设备生成第二样本车牌图片采用的字符串为ASDFGHJ，则确定该第二样本字符图片对应的第二样本字符为“A”。

当然，数据采集设备也可以采集多个样式相同的车牌图片，并基于采集的多个样式相同的图片，生成由第一样本字符图片、第二样本字符图片以及第二样本字符构成的样本组，本申请实施例中对数据采集设备采集或生成由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组的方式不限定。

另外，数据采集设备还可以用于对贴图样本车牌图片和真实车牌图片构成的样本对进行采集或生成，并将采集或生成的样本对存入数据库。其中，每对贴图样本车牌图片和真实车牌图片对应的车牌号相同、且所述贴图样本车牌图片由与所述真实车牌图片同样式的其它真实车牌图片贴入与所述车牌号对应的字符图片得到。示例的：如图5所示，通过其他真实车牌图片(京A·AAAAA)贴入字符图片(5)得到贴图车牌图片(京A·AAAA5)。

训练设备基于数据库中维护的多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组得到特征提取模型和字符图片生成模型，基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到风格融合模型。训练设备如何基于数据库中维护的多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组得到特征提取模型和字符图片生成模型，以及如何基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到风格融合模型，详见下述实施例中的描述。

作为一种示例：如图6所示，数据采集设备可以接收用户上传的多个样式相同的车牌图片，并可以识别(如通过内置的文字识别模型识别)每张车牌中的字符，并显示识别到的字符内容和框选字符的字符框，供用户进行查验，用户发现框选字符的字符框存在漏检或者字符框对字符框选不准确等问题时，还可以手动调整框选字符的字符框的位置和/或大小等，以保证字符框框选的准确性。对用户上传的多个车牌图片查验通过后，数据采集设备可以在所述多个车牌图片中任意选取两个字符的字符图片，作为样本组中的第一样本字符图片和第二样本字符图片，并根据第二样本字符图片对应的字符内容，标注第二样本字符图片对应的第二样本字符，用于训练设备对特征提取模型和字符图片生成模型的训练；数据采集设备还可以基于所述多个车牌图片和所述多个车牌图片中的字符图片，构造贴图样本车牌图片，将构造的贴图样本车牌图片与相应的真实车牌图片结合构成对风格融合模型训练的样本对，用于训练设备对风格融合模型的训练。

训练设备得到的特征提取模型、字符图片生成模型、风格融合模型可以应用于不同的系统或设备，以应用到图4中执行设备为例，执行设备可以通过特征提取模型提取目标字符图片的目标特征，通过字符图片生成模型根据提取的目标特征及替换字符，得到替换字符图片等。

在数据存储系统中存储有执行设备运行所需的数据、代码等，执行设备可以调用数据存储系统中的数据、代码等，也可以将数据、指令等存入数据存储系统中。

值得注意的，图4仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图4中，数据存储系统相对执行设备是外部存储器，在其它情况下，也可以将数据存储系统置于执行设备中。其中，训练设备可以为个人电脑(personal computer，PC)、笔记本电脑、服务器等设备，执行设备可以为平板电脑、个人电脑、笔记本电脑、服务器等设备，在部分情况下，训练设备和执行设备也可以是同一设备。

【实施例一】

图7为本申请实施例提供一种车牌图片生成过程示意图，该过程包括：

S701：执行设备获取第一车牌图片中目标字符的目标字符图片。

当用户需要生成某一样式的车牌图片时，用户可以通过图像采集设备，采集一张该样式的真实车牌图片，并将采集的真实车牌图片(即第一车牌图片)上传至执行设备。示例的：当用户需要生成样式为蓝底黑字的车牌图片时，用户可以通过照相机对某一样式为蓝底黑字的真实车牌进行拍照，采集样式为蓝底黑字的真实车牌的车牌图片，并将采集的真实车牌图片上传至执行设备。

对于目标字符，在一种可能的实施中，用户可以设置第一车牌图片中目标字符的位置。例如：用户可以设置目标字符为车牌图片中从左到右的第4个字符。执行设备可以检测第一车牌图片中存在的多个字符，并将第一车牌图片中从左到右的第4个字符作为目标字符，并获取目标字符的目标字符图片。示例的：如图8所示，执行设备在第一车牌图片中从左到右依次识别到字符京、A、·、1、2、3、4、5，执行设备将从左到右的第4个字符“1”确定为目标字符，并获取目标字符的目标字符图片。

在另一种可能的实施中，执行设备也可以在识别第一车牌图片中存在的多个字符后，分别显示框选所述多个字符的字符框供用户选择，将用户选择的字符或字符框对应的字符作为目标字符，并获取目标字符的目标字符图片。

需要说明的是，在本申请实施例中，执行设备可以采用光学字符识别(opticalcharacter recognition，OCR)等方法识别车牌图片中的字符，并将框选字符的字符框在车牌图片中所框选的图片作为字符的字符图片。

另外，在本申请实施例中，在执行设备显示框选目标字符的字符框后，用户还可以通过拖拽字符框等操作，向执行设备发送调整指令，调整框选目标字符的字符框的位置和/或大小，避免字符框框选目标字符不准确的问题。

S702：所述执行设备将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征。

S703：所述执行设备将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片。

对于特征提取模型和字符图片生成模型，训练设备可以采用联合训练的方式，同时训练特征提取模型和字符图片生成模型。具体的，在通过由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组，对特征提取模型和字符图片生成模型进行联合训练时，训练设备可以将第一样本字符图片输入到特征提取模型，得到特征提取模型输出的特征预测值，并将所述特征预测值和所述第二样本字符输入到字符图片生成模型中，得到字符图片生成模型输出的第二样本字符图片预测值。根据输出的第二样本字符图片预测值和样本组中真实的第二样本字符图片，通过损失函数(loss function)可以计算特征提取模型和字符图片生成模型的损失(loss)，loss越高表示通过特征提取模型和字符图片生成模型输出的第二样本字符图片预测值与真实第二样本字符图片的差异越大，特征提取模型和字符图片生成模型根据loss调整特征提取模型和字符图片生成模型中的参数，如采用随机梯度下降法更新特征提取模型和字符图片生成模型中神经元的参数，那么对特征提取模型和字符图片生成模型的训练过程就变成了尽可能缩小这个loss的过程。通过数据库中的样本组不断对特征提取模型和字符图片生成模型进行训练，当这个loss缩小至预设范围，即可得到训练完成的特征提取模型和字符图片生成模型。其中特征提取模型、字符图片生成模型可选为前向神经网络、卷积神经网络、循环神经网络、深度神经网络、贝叶斯神经网络等。

另外，需要理解的是在本申请实施例中，模型输入或输出的图片或字符等通常以图片或字符对应的矩阵或向量的形式存在。示例的：对于图片可以图片中每个像素点对应的像素值构成的像素值矩阵表示，对于字符可以用字符对应的向量表示，如对于字符“0”采用向量“0001”表示、对于字符“1”采用向量“0002”表示、对于字符“A”采用向量“0010”表示等。

基于训练完成的特征提取模型，执行设备可以将目标字符图片输入到特征提取模型进行处理，得到目标字符图片的目标特征。其中，所述目标特征可以包括背景颜色、字符颜色、字体、倾斜、阴影、噪声等中的一项或多项。

基于训练完成的字符图片生成模型，执行设备可以将目标字符的目标特征和替换字符输入到字符图片生成模型进行处理，得到替换字符图片，其中替换字符可以由用户输入，也可以由执行设备随机生成。

另外，为了增加生成的替换字符图片的真实性与多样性，当用户指示需要变换字符风格时，执行设备还可以在目标字符图片的目标特征中额外增加噪声，使得生成的替换字符图片与目标字符图片的风格存在差异，增加真实性和多样性。

S704：所述执行设备在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片。

如图9所示，执行设备可以在第一车牌图片中目标字符图片的位置贴入替换字符图片，令替换字符图片覆盖第一车牌图片中的目标字符图片，得到第二车牌图片，即得到新的车牌图片。

将替换字符图片贴入第一车牌图片中得到的第二车牌图片，通常面临着贴入的替换字符图片与第一车牌图片的背景颜色、阴影、噪声等特征存在差异，替换字符图片并不能很好的融入第一车牌图片的问题。如图10所示，图10中的左侧车牌图片为将K的字符图片(图中从左到右第1个K)贴入某一车牌图片得到的，可以看出第1个K和其它字符还存在一些差异。

为了得到更加真实的车牌图片，执行设备可以通过风格融合模型对第二车牌图片进行处理，消除替换字符图片与第一车牌图片的背景颜色、阴影、噪声等特征存在的差异，得到更加真实的第二车牌图片。

具体的，训练设备在对风格融合模型进行训练时，将贴图样本车牌图片和真实车牌图片构成的样本对中的贴图样本车牌图片输入到风格融合模型，得到风格融合模型输出的真实车牌图片预测值。根据风格融合模型输出的真实车牌图片预测值与样本对中真实车牌图片，通过损失函数(loss function)可以计算风格融合模型的损失(loss)，loss越高表示风格融合模型输出的真实车牌图片预测值与真实车牌图片的差异越大，风格融合模型根据loss调整风格融合模型中的参数，如采用随机梯度下降法更新风格融合模型中神经元的参数，那么对风格融合模型的训练过程就变成了尽可能缩小这个loss的过程。通过数据库中的样本对不断对风格融合模型进行训练，当这个loss缩小至预设范围，即可得到训练完成的风格融合模型。其中风格融合模型可选为前向神经网络、卷积神经网络、循环神经网络、深度神经网络、贝叶斯神经网络等。

基于训练完成的风格融合模型，执行设备可以将第二车牌图片输入到风格融合模型进行处理，消除替换字符图片与第一车牌图片的背景颜色、阴影、噪声等特征存在差异，得到风格融合后的第二车牌图片，也即得到更加真实的第二车牌图片。如图10所示，经过风格融合模型处理后的车牌图片(图10中的右侧车牌图片)，相对未经过风格融合模型处理的车牌图片(图10中的左侧车牌图片)，车牌图片整体上一致，更加和谐。

另外，需要理解的是，在本申请实施例中，第一车牌图片中的目标字符可以有一个也可以有多个，当第一车牌图片中存在多个目标字符需要被替换时，针对每个目标字符，在目标字符的位置贴入与目标字符对应的替换字符图片的过程，可以参照图7所示的过程，重复之处不再进行赘述。

参照图11所示，为本申请实施例提供的一种单张车牌图片生成流程示意图，用户向执行设备上传车牌图片，执行设备检测车牌图片中的字符。参照如图12所示的显示界面示意图，执行设备检测车牌图片中的字符后，可以显示用于框选字符的字符框和用于输入替换字符的输入框，用户可以通过选择(如点击)字符或字符框，确定目标字符，并在输入框中输入新的替换字符。另外，在执行设备显示用于框选字符的字符框和用于输入替换字符的输入框后，如果框选字符的字符框存在漏检或者字符框对字符框选不准确的问题，用户还可以手动调整框选字符的字符框的位置和/或大小等，以保证字符框框选的准确性。

确定目标字符后，执行设备获取车牌图片中目标字符的目标字符图片，通过特征提取模型对目标字符图片进行处理，得到目标字符图片的目标特征，将用户在文本框中输入的替换字符和目标特征输入到字符图片生成模型，生成替换字符的替换字符图片，并在用户上传的车牌图片中目标字符图片的位置贴入替换字符图片，得到新的车牌图片(贴图车牌图片)。可选的，执行设备还可以将新的车牌图片输入到风格融合模型进行处理，得到整体上一致，更加和谐的新车牌图片。

另外，为了更好的满足车牌识别模型训练对车牌图片的需求，如图13所示，在本申请实施例中，用户也可以同时向执行设备上传大量的第一车牌图片(真实车牌图片)，并输入需要生成的车牌数量，另外用户还可以选择变换生成的替换字符的字符风格，执行设备可以随机选取真实车牌图片的字符作为目标字符，并随机或按照一定规则生成替换字符，对真实车牌图片的目标字符进行替换，生成符合用户需求数量的第二车牌图片，用于车牌识别模型的训练。生成符合用户需求数量的第二车牌图片后，执行设备还可以显示部分或全部生成的第二车牌图片供用户查验生成的第二车牌图片的质量等。

【实施例二】

上述主要从方法流程的角度对本申请提供的方案进行了介绍，下述将从硬件或逻辑划分模块的角度对本申请实施例的技术方案进行详细阐述。可以理解的是，为了实现上述功能，装置可以包括执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在采用集成的单元的情况下，图14示出了本申请实施例中所涉及的车牌图片生成装置的可能的示例性框图，该车牌图片生成装置1400可以以软件模块或硬件模块的形式存在。车牌图片生成装置1400可以包括：获取单元1401、生成单元1402以及融合单元1403。

具体地，在一个实施例中，获取单元1401，用于获取第一车牌图片中目标字符的目标字符图片；生成单元1402，用于将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征；将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片；以及在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片。

在一种可能的设计中，所述装置还包括：融合单元1403，用于将所述第二车牌图片输入到风格融合模型进行处理，得到风格融合后的第二车牌图片，其中所述风格融合模型用于将贴入所述第一车牌图片中的所述替换字符图片，以所述第一车牌图片的风格融入所述第一车牌图片中。

在一种可能的设计中，所述特征提取模型和所述字符图片生成模型是基于多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组训练得到的，其中所述第一样本字符图片和所述第二样本字符图片对应的样式相同。

在一种可能的设计中，所述风格融合模型是基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到的，其中每对贴图样本车牌图片和真实车牌图片对应的车牌号相同、且所述贴图样本车牌图片由与所述真实车牌图片同样式的其它真实车牌图片贴入与所述车牌号对应的字符图片得到。

在一种可能的设计中，所述获取单元1401获取第一车牌图片中目标字符的目标字符图片时，具体用于：识别所述第一车牌图片中目标字符的位置；根据识别到的位置框选所述第一车牌图片中的所述目标字符，获取目标字符图片。

在一种可能的设计中，所述获取单元1401还用于：在框选所述第一车牌图片中的所述目标字符之后，根据调整指令，调整用于框选所述目标字符的字符框的位置和/或大小。

在一种可能的设计中，所述目标特征可以但不限于包括以下中的一项或多项：背景颜色、字符颜色、字体、倾斜、阴影、噪声。

在一种可能的设计中，所述生成单元1402，还用于：当确定用户指示需要变换字符风格时，在所述目标特征中额外增加噪声。

基于上述车牌图片生成方法，本申请实施例还提供一种车牌图片生成装置，如图15所示，所述车牌图片生成装置1500包括存储器1501和处理器1502，所述存储器1501和所述处理器1502之间相互连接，可选的，所述存储器1501与所述处理器1502之间可以通过总线相互连接；所述总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

所述车牌图片生成装置1500在实现车牌图片生成方法时，所述存储器，存储有计算机程序或指令；所述处理器，用于调用所述存储器中存储的计算机程序或指令，执行上述图7所示的方法流程。

作为本实施例的另一种形式，提供一种计算机可读存储介质，其上存储有程序或指令，该程序或指令被执行时可以执行上述方法实施例中的车牌图片生成方法。

作为本实施例的另一种形式，提供一种包含指令的计算机程序产品，该指令被执行时可以执行上述方法实施例中的车牌图片生成方法。

作为本实施例的另一种形式，提供一种芯片，所述芯片可以与存储器耦合，用于调用存储器中存储的计算机程序产品，以实现上述方法实施例中的车牌图片生成方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种车牌图片生成方法，其特征在于，包括：

获取第一车牌图片中目标字符的目标字符图片；

将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征；

将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片；

在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片；

其中，所述特征提取模型和所述字符图片生成模型是基于多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组训练得到的，其中所述第一样本字符图片和所述第二样本字符图片对应的样式相同，所述样本组基于多个样式相同的车牌图片生成；所述第一车牌图片为真实车牌图片。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第二车牌图片输入到风格融合模型进行处理，得到风格融合后的第二车牌图片，其中所述风格融合模型用于将贴入所述第一车牌图片中的所述替换字符图片，以所述第一车牌图片的风格融入所述第一车牌图片中。

3.如权利要求2所述的方法，其特征在于，所述风格融合模型是基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到的，其中每对贴图样本车牌图片和真实车牌图片对应的车牌号相同、且所述贴图样本车牌图片由与所述真实车牌图片同样式的其它真实车牌图片贴入与所述车牌号对应的字符图片得到。

4.如权利要求1所述的方法，其特征在于，所述获取第一车牌图片中目标字符的目标字符图片，包括：

识别所述第一车牌图片中目标字符的位置；

根据识别到的位置框选所述第一车牌图片中的所述目标字符，获取目标字符图片。

5.如权利要求4所述的方法，其特征在于，所述框选所述第一车牌图片中的所述目标字符之后，所述方法还包括：

根据调整指令，调整用于框选所述目标字符的字符框的位置和/或大小。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述目标特征包括以下中的一项或多项：

背景颜色、字符颜色、字体、倾斜、阴影、噪声。

7.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

当确定用户指示需要变换字符风格时，在所述目标特征中额外增加噪声。

8.一种车牌图片生成装置，其特征在于，包括：

获取单元，用于获取第一车牌图片中目标字符的目标字符图片；

生成单元，用于将所述目标字符图片输入到特征提取模型进行处理，得到所述目标字符图片的目标特征；将所述目标特征以及替换字符输入到字符图片生成模型进行处理，得到替换字符图片；以及在所述第一车牌图片中所述目标字符图片的位置贴入所述替换字符图片，得到第二车牌图片；

其中，所述特征提取模型和所述字符图片生成模型是基于多个由第一样本字符图片、第二样本字符以及第二样本字符图片构成的样本组训练得到的，其中所述第一样本字符图片和所述第二样本字符图片对应的样式相同，所述样本组基于多个样式相同的车牌图片生成；所述第一车牌图片为真实车牌图片。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

融合单元，用于将所述第二车牌图片输入到风格融合模型进行处理，得到风格融合后的第二车牌图片，其中所述风格融合模型用于将贴入所述第一车牌图片中的所述替换字符图片，以所述第一车牌图片的风格融入所述第一车牌图片中。

10.如权利要求9所述的装置，其特征在于，所述风格融合模型是基于多个由贴图样本车牌图片和真实车牌图片构成的样本对训练得到的，其中每对贴图样本车牌图片和真实车牌图片对应的车牌号相同、且所述贴图样本车牌图片由与所述真实车牌图片同样式的其它真实车牌图片贴入与所述车牌号对应的字符图片得到。

11.如权利要求8所述的装置，其特征在于，所述获取单元获取第一车牌图片中目标字符的目标字符图片时，具体用于：

识别所述第一车牌图片中目标字符的位置；

根据识别到的位置框选所述第一车牌图片中的所述目标字符，获取目标字符图片。

12.如权利要求11所述的装置，其特征在于，所述获取单元还用于：

在框选所述第一车牌图片中的所述目标字符之后，根据调整指令，调整用于框选所述目标字符的字符框的位置和/或大小。

13.如权利要求8-12中任一项所述的装置，其特征在于，所述目标特征包括以下中的一项或多项：

背景颜色、字符颜色、字体、倾斜、阴影、噪声。

14.如权利要求8-12中任一项所述的装置，其特征在于，所述生成单元，还用于：

当确定用户指示需要变换字符风格时，在所述目标特征中额外增加噪声。

15.一种车牌图片生成装置，其特征在于，包括处理器和存储器；

所述存储器，存储有计算机程序或指令；

所述处理器，用于调用所述存储器中存储的计算机程序或指令，以执行如权利要求1-7中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被车牌图片生成装置执行时，实现如权利要求1-7中任一项所述的方法。