CN114155408A - 图像生成方法、装置与电子设备 - Google Patents

Abstract

本公开提供一种图像生成方法、装置与电子设备。图像生成方法包括：获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。本公开实施例可以自动批量生成大量不同的带标签的训练图像。

Description

图像生成方法、装置与电子设备

技术领域

本公开涉及计算机图像处理领域，具体而言，涉及一种能够批量生成训练图像的图像生成方法、装置与电子设备。

背景技术

随着图像处理技术的快速发展，如何对样本图像数据进行增强，在实际工业项目中解决样本图像分布不均衡的问题时十分重要。比如，在进行计算机图像检测分类时，若某一类型的样本图像的数量较少，使图像检测分类模型对该类型的样本图像的训练较少，会导致在进行某一相关图像的检测分类时出现错误的检测分类结果，即降低模型的分类准确度。

为了准确训练图像检测分类模型，需要用到大量的有标记图像作为训练图像，而获取充足的训练图像是一份耗时耗力的工作。人工标记训练数据是获得有标签数据图像的一种常见手段，但是，这种方式的人工成本和时间成本巨大。此外，相关技术中还存在对有标签图像进行加噪声、扭曲等处理以生成新的有标签图像的技术，但是这种方式生成的新的训练图像容易产生过拟合风险，导致生成的图片中的目标物体和标签对应的真实物体差距较大，无法训练模型识别各种正常形态下的真实物体。

因此，如何大批量生成足够的带有标签的真实的训练图像成为一个重要的研究课题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像生成方法、装置与电子设备，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的训练图像增强技术中时间成本高、人力成本高、训练图像质量差的问题。

根据本公开实施例的第一方面，提供一种图像生成方法，包括：获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

在本公开的一种示例性实施例中，至少一个所述预设前景控件为响应图像生成指令自动生成和/或为人工添加，所述预设背景控件为响应图像生成指令自动生成或为人工添加。

在本公开的一种示例性实施例中，还包括：响应所述图像生成指令，确定目标图像的前景种类、背景种类、前景数量范围；根据所述前景数量范围生成第一数量个所述预设前景控件，并根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息；根据所述背景种类生成所述预设背景控件的所述背景描述信息。

在本公开的一种示例性实施例中，所述前景属性值至少包括所述预设前景控件的尺寸，所述根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息包括：根据所述前景种类确定每个所述预设前景控件的目标前景种类；在所述第一数量大于一时，根据每个所述预设前景控件的所述目标前景种类确定所述多个预设前景控件的尺寸比例关系；根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标；根据每个所述预设前景控件的所述目标前景种类生成每个所述预设前景控件的所述前景描述信息，根据每个所述预设前景控件的尺寸生成每个所述预设前景控件的所述前景属性值，记录每个所述预设前景控件的所述坐标。

在本公开的一种示例性实施例中，所述图像生成指令包括前景交叠信息，所述根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标包括：在所述前景交叠信息为预设前景控件均不交叠时，根据所述尺寸比例关系以及所述目标区域的尺寸确定当第一数量个所述预设前景控件在不交叠的情况下设置在所述目标区域中时，每个所述预设前景控件的尺寸；在所述前景交叠信息为至少两个预设前景控件存在交叠时，确定存在交叠关系的多个目标预设前景控件，根据所述前景交叠信息确定每两个所述目标预设前景控件的交叠比例和遮挡关系；根据所述交叠比例、所述遮挡关系、所述尺寸比例关系和所述目标区域的尺寸，确定每个所述预设前景控件的尺寸。

在本公开的一种示例性实施例中，所述根据所述前景描述信息在素材库中选择前景素材包括：根据所述前景描述信息确定每个所述预设前景控件的目标前景种类；在所述素材库中确定所述目标前景种类或所述目标前景种类的子种类的目标素材；在所述目标素材中随机选择所述前景素材。

在本公开的一种示例性实施例中，所述根据所述背景素材和调整后的所述前景素材生成目标图像包括：获取所述背景素材和一或多个所述前景素材的图像参数，所述图像参数至少包括颜色信息和明暗信息；根据所述背景素材和一或多个所述前景素材的所述图像参数生成所述目标图像的目标图像参数；将所述一或多个前景素材设置在所述背景素材的前方，并根据所述目标图像参数调节所述背景素材和所述前景素材的图像参数；根据调节所述图像参数后的所述背景素材和所述前景素材生成所述目标图像。

根据本公开实施例的第二方面，提供一种图像生成装置，包括：前景信息获取模块，设置为获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；前景生成模块，设置为根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；背景生成模块，设置为获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；图像融合模块，设置为根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的图像生成方法。

本公开实施例通过自动识别预设前景控件的信息和预设背景控件的信息以自动生成目标图片，能够快速批量的基于多个自动或手动生成的大量预设前景控件和预设背景控件而批量生成带有标签的模型训练图像，进而提高训练图像的生成效率；此外，由于基于前景素材和背景素材生成目标图像，因此，可以克服相关技术中对现有图像变形、扭曲而实现训练样本增强导致的训练图像与模型在实际应用中常见的图像相差较大的问题，可以更有效地提升模型的识别准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开示例性实施例中图像生成方法的流程图。

图2是本公开一个实施例中自动生成预设前景控件的流程图。

图3是本公开一个实施例中步骤S22的子流程图。

图4是本公开一个实施例中步骤S223的子流程图。

图5是本公开一个实施例中人工设置的预设前景控件和预设背景控件的示意图。

图6是本公开一个实施例中步骤S12的流程图。

图7是本公开一个实施例中步骤S14的流程图。

图8是本公开一个实施例中处理人工生成的预设前景控件和预设背景控件的过程示意图。

图9是本公开示例性实施例中一种图像生成装置的方框图。

图10是本公开示例性实施例中一种电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图对本公开示例实施方式进行详细说明。

图1是本公开示例性实施例中图像生成方法的流程图。

参考图1，图像生成方法100可以包括：

步骤S11，获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；

步骤S12，根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；

步骤S13，获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；

步骤S14，根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

本公开实施例通过自动识别预设前景控件的信息和预设背景控件的信息以自动生成目标图片，能够快速批量的基于多个自动或手动生成的大量预设前景控件和预设背景控件而批量生成带有标签的模型训练图像，进而提高训练图像的生成效率；此外，由于基于前景素材和背景素材生成目标图像，因此，可以克服相关技术中对现有图像变形、扭曲而实现训练样本增强导致的训练图像与模型在实际应用中常见的图像相差较大的问题，可以更有效地提升模型的识别准确度。

下面，对图像生成方法100的各步骤进行详细说明。

在步骤S11，获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息。

在本公开实施例中，预设前景控件既可以为自动随机生成，也可以由人工添加生成。

图2是本公开一个实施例中自动生成预设前景控件的流程图。

参考图2，在一个实施例中，自动生成预设前景控件的方法200可以包括：

步骤S21，响应所述图像生成指令，确定目标图像的前景种类、背景种类、前景数量范围；

步骤S22，根据所述前景数量范围生成第一数量个所述预设前景控件，并根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息；

步骤S23，根据所述背景种类生成所述预设背景控件的所述背景描述信息。

在本公开实施例中，一个图像生成指令对应的目标图像的数量既可以为一个也可以为多个，或者，为一个种类的多个目标图像，或者，为多个种类的多个目标图像。在图2所示实施例中，以一个目标图像为例进行说明。

在步骤S21，目标图像的前景种类可以为单个种类，也可以为多个种类。例如，如果想要生成用于训练猫科动物的数据分类模型的目标图像，可以将全部目标图像的全部前景种类均设置为猫科动物。或者，也可以添加其他的前景种类作为干扰项，以训练数据分类模型对多个物体中猫科动物的识别能力，例如，将目标图像的前景种类设置为猫科动物、水果、犬科动物、爬行动物四种，进而生成包含干扰项的目标图像。

每个目标图像的前景数量范围可以为大于等于1的整数。例如，可以设置前景数量范围为1，对应的前景种类的数量为1；或者，设置前景数量范围为5～15，设置前景种类为A、B、C、D、E五种。其中，不同的前景种类可以为同一个大类的下级分类，也可以为不同大类，例如A、B、C、D、E五个种类既可以设置为哈士奇、阿拉斯加、拉布拉多、边境牧羊犬、雪纳瑞等五种犬类，也可以为2种犬科动物、3种猫科动物等。每个目标图像的前景种类和前景数量范围可以由本领域技术人员根据训练目的自行设置，本公开对此不作特殊限制。

为了提高模型训练的实际应用性，背景种类可以包括与前景种类相匹配的场景、背景。例如，如果根据训练目标确定前景种类是犬类，背景可以为家居、商场、地铁、街道、公园等等前景种类可能出现的场景。如果某些前景种类作为干扰项存在，则背景种类可以根据主要训练目标设置，例如，训练目标是家猫，干扰项是大型猫科动物，则仍然可以将背景种类设置为家猫出现的场景，而非大型猫科动物所在的草原、森林等。在一些实施例中，为了其他训练目的，还可以将背景种类设置为纯色、几何图案等，本公开对此不作特殊限制。

确定目标图像的前景种类、背景种类、前景数量范围的基准，既可以依据人工输入的设置信息来生成，也可以基于训练目标与前景种类或背景种类的预设对应关系随机确定。例如，可以预先设置猫科动物自动对应若干子类，每个子类又分别对应若干小类，无论训练目标被设置为何种等级，均可以找到对应的同级别的种类，或者对应的子级别的小类，从而实现对同级别、子级别的前景种类的随机匹配。

在步骤S22，可以根据前景数量范围随机生成第一数量作为预设前景控件的数量。前景属性至少可以包括前景素材的尺寸。该尺寸例如为前景素材最大边界对应的矩形框，或者前景素材的最大高度和最大宽度。

图3是本公开一个实施例中步骤S22的子流程图。

参考图3，在一个实施例中，前景属性值至少包括预设前景控件的尺寸，步骤S22可以包括：

步骤S221，根据所述前景种类确定每个所述预设前景控件的目标前景种类；

步骤S222，在所述第一数量大于一时，根据每个所述预设前景控件的所述目标前景种类确定所述多个预设前景控件的尺寸比例关系；

步骤S223，根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标；

步骤S224，根据每个所述预设前景控件的所述目标前景种类生成每个所述预设前景控件的所述前景描述信息，根据每个所述预设前景控件的尺寸生成每个所述预设前景控件的所述前景属性值，记录每个所述预设前景控件的所述坐标。

在图3所示实施例中，目标前景种类既可以为该前景种类本身，也可以为根据图像生成指令选择的前景种类的子类别。例如，当前景种类为猫科动物，预设前景控件的第一数量为3时，可以为3个预设前景控件设置猫、狮子、虎三种目标前景种类。然后，根据每种猫科动物的预设尺寸比例关系确定每个预设前景控件的尺寸比例。例如猫、狮子、虎的常规尺寸比例是1:20:23(数字仅为示例)，可以直接应用该常规尺寸比例限制预设前景控件的尺寸比例，以增加真实性，也可以在干扰目的下，将三个预设前景控件的尺寸比例设置为1:1:1。

然后，根据目标区域的尺寸，确定能够在目标区域中完整容纳该第一数量个预设前景控件时，每个预设前景控件的尺寸。在一个实施例中，预设前景控件可以存在交叠关系，交叠关系可以存在于任意两个或多个预设前景控件之间，交叠关系、交叠比例可以通过图像生成指令确定。

图4是本公开一个实施例中步骤S223的子流程图。

参考图4，在一个实施例中，图像生成指令包括前景交叠信息，步骤S223包括：

步骤S2231，在所述前景交叠信息为预设前景控件均不交叠时，根据所述尺寸比例关系以及所述目标区域的尺寸确定当第一数量个所述预设前景控件在不交叠的情况下设置在所述目标区域中时，每个所述预设前景控件的尺寸；

步骤S2232，在所述前景交叠信息为至少两个预设前景控件存在交叠时，确定存在交叠关系的多个目标预设前景控件，根据所述前景交叠信息确定每两个所述目标预设前景控件的交叠比例和遮挡关系；

步骤S2233，根据所述交叠比例、所述遮挡关系、所述尺寸比例关系和所述目标区域的尺寸，确定每个所述预设前景控件的尺寸。

在图4所示实施例中，如果均不交叠，则首先将预设前景控件中尺寸比例最大的预设前景控件设置为默认尺寸，按照尺寸比例关系确定其他预设前景控件的尺寸。然后设置该最大预设前景控件的坐标，顺次设置其他预设前景控件的坐标，使各预设前景控件在目标区域中不交叠。如果无法实现，则按照设定比例或设置值降低该最大预设前景控件的尺寸，按照尺寸比例关系重新确定其他预设前景控件的尺寸，重新确定全部预设前景控件的坐标，直至目标区域中能够容纳全部预设前景控件不交叠地存在。

如果前景交叠信息显示至少两个预设前景控件存在交叠，首先随机确定存在交叠关系的目标预设前景控件，然后在这些存在交叠关系的目标预设前景控件中，确定每两个目标预设前景控件的交叠比例和遮挡关系。如果前景交叠信息指定了交叠比例，可以按照该交叠比例设置，如果前景交叠信息没有指定交叠比例，则在预设范围内随机确定交叠比例，该预设范围例如为30％～70％。交叠比例例如可以设置为被遮挡的目标预设前景控件的被遮挡面积占该目标预设前景控件的全部尺寸内面积(即宽*高)的比例。

遮挡关系可以随机确定，也可以根据图像生成指令的设置确定。例如，当存在A、B、C三个目标预设前景控件，且前景交叠信息为交叠40％时，可以随机设置A、B交叠40％，A遮挡B的尺寸内面积的40％，或者，同时设置A、C交叠，A遮挡C的尺寸内面积的40％。交叠关系也可以在三个或三个以上预设前景控件中产生，具体的设置指令和交叠比例关系可以由本领域技术人员根据训练目标自行设置。

确定预设前景控件的交叠比例和遮挡关系后，就可以将预设前景控件中尺寸比例最大的预设前景控件设置为默认尺寸，按照尺寸比例关系确定其他预设前景控件的尺寸。然后按照交叠比例和遮挡关系排布全部预设前景控件，使每个预设前景控件均能够在满足上述交叠比例和遮挡关系的情况下生成于目标区域中。确定预设前景控件的过程例如为随机过程。如果通过计算最终无法实现，则按照设定比例或设置值降低该最大预设前景控件的尺寸，按照尺寸比例关系重新确定其他预设前景控件的尺寸，重新确定全部预设前景控件的坐标，直至目标区域中能够容纳全部预设前景控件均按照上述交叠比例和遮挡关系存在。

除了预设前景控件之间相互遮挡，也可以设置预设前景控件只有部分显露于目标区域中等其他信息。在本公开实施例中，图像生成指令还可以添加其他对预设前景控件的限制条件，此时方法200可以依据这些设置来生成预设前景控件，本公开对预设前景控件的限制条件不作特殊限制。

在步骤S224，根据每个预设前景控件的目标前景种类生成每个预设前景控件的前景描述信息，根据每个预设前景控件的尺寸生成每个预设前景控件的前景属性值，记录每个预设前景控件的坐标。前景描述信息还可以记录其他来自于图像生成指令的限制条件，前景属性值还可以包含预设前景控件的其他信息，本公开不以此为限。

生成预设前景控件后，可以在步骤S23生成预设背景控件，并根据背景种类记录预设背景控件的背景描述信息。在一些实施例中，一个预设背景控件只有一个背景种类，在另一些实施例中，一个预设背景控件可能存在多个背景种类，例如圣诞节场景中，可能存在白雪、黑夜、星星、月亮四个背景种类，则可以将这四个背景种类的相对位置关系记录在背景描述信息中，相对位置关系既可以为根据预设对应关系(例如白雪在图片下方，蓝天、白云和黑夜在图片上方，白云仅能出现在蓝天所在区域)确定，也可以随机确定(例如白云被设置为仅能出现在蓝天中，但是白云的具体位置可以随机确定)。背景种类的数量、相对位置关系可以有多种自动设置方案，本公开对此不作特殊限制。

在本公开的其他实施例中，也可以由人工在目标区域中设置预设前景控件和预设背景控件。例如，人工在目标区域中通过拖拽、输入尺寸等操作绘制预设前景控件的矩形框，并设置和调整预设前景控件的目标前景种类、交叠关系、遮挡关系等前景描述信息，然后，人工设置预设背景控件，并输入预设背景控件的背景描述信息等。

在一个实施例中，人工生成预设前景控件和预设背景控件的过程例如可以为标注人员在画板图像上进行布局，在相应的位置上画出任意大小的矩形标签，在矩形标签中写上前景素材名称和前景属性值(如旋转角度等)，在没有标签的任意位置写入背景或者场景的名称和属性。

图5是本公开一个实施例中人工设置的预设前景控件和预设背景控件的示意图。

参考图5，在目标区域500中，存在多个预设前景控件51以及预设背景控件52。多个预设前景控件51体现为矩形框，该矩形框的尺寸为预设前景控件51的尺寸，该矩形框的中心点坐标为预设前景控件51的坐标。在图5所示实施例中，多个预设前景控件51不存在交叠关系，其上记录有前景种类、前景描述信息等文字信息。预设背景控件52中，通过文字形式记录背景种类、属性等背景描述信息，其中属性可以用于记录背景描述信息的分辨率、素材选择限制等无法通过背景种类体现的素材限制信息。

自动或手动生成预设前景控件和预设背景控件后，可以保存该目标图片与预设前景控件、预设背景控件的对应关系，由后续的目标图像生成方法来自动解析该预设前景控件、预设背景控件，并生成目标图像。

在步骤S12，根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中。

素材库可以包括与多个前景种类和背景种类对应的图片。例如，可以在素材库的猫科动物-猫的子目录下，存储多种形态、多种颜色的猫的图片，以作为图片素材；在素材库的白雪目录下，存储多种厚度、多种颜色、多种形态的积雪、飘雪图片，以作为图片素材等。素材库中的图片既可以作为前景素材，也可以作为背景素材，素材库本身不对素材的使用场景进行限制。

图6是本公开一个实施例中步骤S12的流程图。

参考图6，在一个实施例中，步骤S12可以包括：

步骤S121，根据所述前景描述信息确定每个所述预设前景控件的目标前景种类；

步骤S122，在所述素材库中确定所述目标前景种类或所述目标前景种类的子种类的目标素材；

步骤S123，在所述目标素材中随机选择所述前景素材。

在图6所示实施例中，无论预设前景控件是自动生成还是人工生成，均保存为同一格式。可以通过文本识别等方式解析预设前景控件的目标前景种类，可能同时需要解析其他前景描述信息的限制条件，然后，根据解析后的前景描述信息，在素材库的对应目录中随机选择素材图片。例如，当目标前景种类是狗时，可以确定素材库中的“狗”目录下还存在多种犬类的子种类，例如金毛犬、拉布拉多犬等，也可以存在“奔跑”、“进食”等多种标签。既可以将“狗”目录下的全部图片设置为目标素材，也可以将金毛犬、拉布拉多犬的子种类的图片设置为目标素材，还可以将“狗-奔跑”标签下的素材图片作为目标素材。具体选择何种目标素材，既可以由预设前景控件的前景描述信息决定，也可以在选择素材时随机确定。确定目标素材后，就可以在目标素材中随机为当前预设前景控件选择前景素材。

然后，按照该预设前景控件的前景属性值调整该前景素材。重复上述步骤，直至设置完全部预设前景控件。在这期间，可以按照预设前景控件中的前景描述信息中的遮挡关系调整前景素材的层次。

在步骤S13，获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材。

选择背景素材的步骤和选择前景素材相同，根据背景描述信息确定背景种类，根据背景种类在素材库中选择背景素材。当背景种类存在多个时，按照背景描述信息中记载的各背景种类对应的背景素材的相对位置关系或者坐标，在预设背景控件的尺寸区域内排布多个背景素材。一般情况下，预设背景控件的尺寸可以等于目标区域的尺寸，无需调整预设背景控件的尺寸。但是在一些情况下，例如预设背景控件仅包括一个背景种类即仅对应一个背景素材时，在背景素材的默认尺寸相对于目标区域较大或较小时，可以调整背景素材的尺寸，以使最大的背景素材或单一背景素材的最大尺寸能够等于目标区域的宽或者高，即尽量保证背景素材能够覆盖或填充目标区域或背景素材组合后能够覆盖或填充目标区域。需要注意的是，背景素材的层次需要被设置在前景素材之下。

在步骤S14，根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

为了防止背景素材和前景素材的融合生硬，在本公开实施例中，需要对背景素材和前景素材进行集中调整。

图7是本公开一个实施例中步骤S14的流程图。

参考图7，在一个实施例中，步骤S14可以包括：

步骤S141，获取所述背景素材和一或多个所述前景素材的图像参数，所述图像参数至少包括颜色信息和明暗信息；

步骤S142，根据所述背景素材和一或多个所述前景素材的所述图像参数生成所述目标图像的目标图像参数；

步骤S143，将所述一或多个前景素材设置在所述背景素材的前方，并根据所述目标图像参数调节所述背景素材和所述前景素材的图像参数；

步骤S144，根据调节所述图像参数后的所述背景素材和所述前景素材生成所述目标图像。

在图7所示实施例中，根据背景素材和前景素材的图像参数生成目标图像的目标图像参数的过程例如可以提取每个素材图片的亮度信息。用Y表示素材图片的亮度，R/G/B表示素材图片的三通道的像素值，首先根据公式(1)计算每个素材图片的亮度：

Y＝(0.299*R)+(0.587*G)+(0.114*B) (1)

然后，根据每个素材图片(无论是前景素材还是背景素材)的亮度得到目标图像的亮度，用Y(融合后)表示融合后的目标图像的亮度，N表示预设前景控件的数量，即第一数量，有：

并根据融合后的目标图像的亮度调整各素材图片的颜色：

然后，根据各前景素材和背景素材生成目标图像，并根据前景素材的前景描述信息生成目标图像的标签。需要说明的是，可以在预设前景控件的前景描述信息中记录将哪个预设前景控件(即训练目标)的标签设置为目标图像的标签，无需将全部预设前景控件的标签均设置为目标图像的标签。

本公开实施例的方法在预设前景图像和预设背景图像均为人工生成时，可以简要概括为：

1.将标注人员画好的图像首先经过图像处理技术(如OPENCV技术)找到矩形的位置，将矩形图像信息(矩形坐标、矩形图像数据等)进行保存，并将该矩形图像在画板上清除；

2.将去掉矩形标签的图像和保存的矩形标签图像，使用图像文本识别技术(如OCR技术)，识别出分类文本(素材种类)和属性文本；

3.根据分类文本(素材种类)去素材库对应的类别中随机选择一张素材图片，如果属性有分类要求，则从图像库中继续搜索更细的分类，并从中随机挑选一张素材图片；

4.按照属性的要求利用图像处理技术(如OPENCV技术)对素材图片进行处理；

5.利用图像融合技术，将背景素材和矩形标签图(前景素材)，按照矩形框体现的布局进行融合；

6.随机选择其他图片，重复进行上述1至5的操作，即可生成大量新的有标注训练样本。

图8是本公开一个实施例中处理人工生成的预设前景控件和预设背景控件的过程示意图。

参考图8，在步骤S81，人工部署智能标签，添加多个预设前景控件51和预设背景控件52。在步骤S82，分割预设前景控件51和预设背景控件52，通过文字识别和查询素材库确定前景素材和背景素材。在步骤S83，调整前景素材81和背景素材82。在步骤S84，融合图像，并调整每个前景素材81和每个背景素材82的颜色、亮度，调整整个目标图像的颜色、亮度，进而生成目标图像。

通过经过图像文本识别技术识别出标签中的文本，自动找到文字对应的图像数据集，然后随机挑选图像并放入标签所在的位置，可以增强图像数据的多样性，特别适合于数据集无法获取或者采集困难的场景，提高图像识别等模型训练的准确性。

通过本公开实施例的方法，可以大批量自动生成携带有训练目标的标签、训练目标的图像的目标图像。相比于现有技术中使用人工标注生产训练图像的低效，和采用几何操作如翻转、旋转等和颜色变换如噪声、模糊等进行单样本图像数据增强以生成训练图像的方法，本公开实施例能够在极大提高训练图像的生成速度、生成数量的同时，有效提高训练图像的质量，避免不合格的训练图像无法准确训练模型识别正常图像。此外，通过丰富的素材图片生成训练图像，也可以避免相关的图像增强技术存在的素材种类过少、训练内容单一的问题，改善样本图像分布不均衡的问题。

对应于上述方法实施例，本公开还提供一种图像生成装置，可以用于执行上述方法实施例。

图9是本公开示例性实施例中一种图像生成装置的方框图。

参考图9，图像生成装置900可以包括：

前景信息获取模块91，设置为获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；

前景生成模块92，设置为根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；

背景生成模块93，设置为获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；

图像融合模块94，设置为根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

在本公开的一种示例性实施例中，至少一个所述预设前景控件为响应图像生成指令自动生成和/或为人工添加，所述预设背景控件为响应图像生成指令自动生成或为人工添加。

在本公开的一种示例性实施例中，还包括控件生成模块95，控件生成模块95设置为：响应所述图像生成指令，确定目标图像的前景种类、背景种类、前景数量范围；根据所述前景数量范围生成第一数量个所述预设前景控件，并根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息；根据所述背景种类生成所述预设背景控件的所述背景描述信息。

在本公开的一种示例性实施例中，所述前景属性值至少包括所述预设前景控件的尺寸，控件生成模块95设置为：根据所述前景种类确定每个所述预设前景控件的目标前景种类；在所述第一数量大于一时，根据每个所述预设前景控件的所述目标前景种类确定所述多个预设前景控件的尺寸比例关系；根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标；根据每个所述预设前景控件的所述目标前景种类生成每个所述预设前景控件的所述前景描述信息，根据每个所述预设前景控件的尺寸生成每个所述预设前景控件的所述前景属性值，记录每个所述预设前景控件的所述坐标。

在本公开的一种示例性实施例中，所述图像生成指令包括前景交叠信息，控件生成模块95设置为：在所述前景交叠信息为预设前景控件均不交叠时，根据所述尺寸比例关系以及所述目标区域的尺寸确定当第一数量个所述预设前景控件在不交叠的情况下设置在所述目标区域中时，每个所述预设前景控件的尺寸；在所述前景交叠信息为至少两个预设前景控件存在交叠时，确定存在交叠关系的多个目标预设前景控件，根据所述前景交叠信息确定每两个所述目标预设前景控件的交叠比例和遮挡关系；根据所述交叠比例、所述遮挡关系、所述尺寸比例关系和所述目标区域的尺寸，确定每个所述预设前景控件的尺寸。

在本公开的一种示例性实施例中，前景生成模块92设置为：根据所述前景描述信息确定每个所述预设前景控件的目标前景种类；在所述素材库中确定所述目标前景种类或所述目标前景种类的子种类的目标素材；在所述目标素材中随机选择所述前景素材。

在本公开的一种示例性实施例中，图像融合模块94设置为：获取所述背景素材和一或多个所述前景素材的图像参数，所述图像参数至少包括颜色信息和明暗信息；根据所述背景素材和一或多个所述前景素材的所述图像参数生成所述目标图像的目标图像参数；将所述一或多个前景素材设置在所述背景素材的前方，并根据所述目标图像参数调节所述背景素材和所述前景素材的图像参数；根据调节所述图像参数后的所述背景素材和所述前景素材生成所述目标图像。

由于装置900的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如本公开实施例所示的方法。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种图像生成方法，其特征在于，包括：

获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；

根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；

获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；

根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

2.如权利要求1所述的图像生成方法，其特征在于，至少一个所述预设前景控件为响应图像生成指令自动生成和/或为人工添加，所述预设背景控件为响应图像生成指令自动生成或为人工添加。

3.如权利要求2所述的图像生成方法，其特征在于，还包括：

响应所述图像生成指令，确定目标图像的前景种类、背景种类、前景数量范围；

根据所述前景数量范围生成第一数量个所述预设前景控件，并根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息；

根据所述背景种类生成所述预设背景控件的所述背景描述信息。

4.如权利要求3所述的图像生成方法，其特征在于，所述前景属性值至少包括所述预设前景控件的尺寸，所述根据所述前景种类生成每个所述预设前景控件的所述前景属性值、所述坐标和所述前景描述信息包括：

根据所述前景种类确定每个所述预设前景控件的目标前景种类；

在所述第一数量大于一时，根据每个所述预设前景控件的所述目标前景种类确定所述多个预设前景控件的尺寸比例关系；

根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标；

根据每个所述预设前景控件的所述目标前景种类生成每个所述预设前景控件的所述前景描述信息，根据每个所述预设前景控件的尺寸生成每个所述预设前景控件的所述前景属性值，记录每个所述预设前景控件的所述坐标。

5.如权利要求4所述的图像生成方法，其特征在于，所述图像生成指令包括前景交叠信息，所述根据所述尺寸比例关系以及所述目标区域的尺寸，确定所述多个预设前景控件的尺寸以及所述坐标包括：

在所述前景交叠信息为预设前景控件均不交叠时，根据所述尺寸比例关系以及所述目标区域的尺寸确定当第一数量个所述预设前景控件在不交叠的情况下设置在所述目标区域中时，每个所述预设前景控件的尺寸；

在所述前景交叠信息为至少两个预设前景控件存在交叠时，确定存在交叠关系的多个目标预设前景控件，根据所述前景交叠信息确定每两个所述目标预设前景控件的交叠比例和遮挡关系；

根据所述交叠比例、所述遮挡关系、所述尺寸比例关系和所述目标区域的尺寸，确定每个所述预设前景控件的尺寸。

6.如权利要求1所述的图像生成方法，其特征在于，所述根据所述前景描述信息在素材库中选择前景素材包括：

根据所述前景描述信息确定每个所述预设前景控件的目标前景种类；

在所述素材库中确定所述目标前景种类或所述目标前景种类的子种类的目标素材；

在所述目标素材中随机选择所述前景素材。

7.如权利要求1所述的图像生成方法，其特征在于，所述根据所述背景素材和调整后的所述前景素材生成目标图像包括：

获取所述背景素材和一或多个所述前景素材的图像参数，所述图像参数至少包括颜色信息和明暗信息；

根据所述背景素材和一或多个所述前景素材的所述图像参数生成所述目标图像的目标图像参数；

将所述一或多个前景素材设置在所述背景素材的前方，并根据所述目标图像参数调节所述背景素材和所述前景素材的图像参数；

根据调节所述图像参数后的所述背景素材和所述前景素材生成所述目标图像。

8.一种图像生成装置，其特征在于，包括：

前景信息获取模块，设置为获取目标区域中一或多个预设前景控件的坐标、前景属性值和前景描述信息；

前景生成模块，设置为根据所述前景描述信息在素材库中选择前景素材，根据所述前景属性值调整所述前景素材，并将调整后的所述前景素材按照所述坐标设置在所述目标区域中；

背景生成模块，设置为获取所述目标区域中预设背景控件的背景描述信息，根据所述背景描述信息在所述素材库中选择背景素材；

图像融合模块，设置为根据所述背景素材和调整后的所述前景素材生成目标图像，对所述目标图像添加包括所述前景描述信息的标签。

9.一种电子设备，其特征在于，包括：

存储器；以及

耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-7任一项所述的图像生成方法。

10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1-7任一项所述的图像生成方法。

Images