CN110163829A - 图像生成方法、装置和计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种图像生成方法、装置和计算机可读存储介质，涉及图像处理技术领域。本公开的方法包括：将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息；判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标；若存在，则调整重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值；根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

Description

图像生成方法、装置和计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像生成方法、装置和计算机可读存储介质。

背景技术

随着深度学习技术的发展，使用机器为图像自动生成多种图像描述成为了可能。图像生成(Image generator)技术基于图像中已有信息，利用计算机视觉技术还原图像中的缺失部分或生成具有原图内容或艺术风格的图像。

目前的图像生成算法，一般是针对单张图像进行处理，例如对图像进行旋转、缩放、改变颜色等，或者是根据一张图像生成相似的图像等方法。

发明内容

发明人发现：目前的图像生成算法很少应用于多张图像融合成一张图像的场景。即使有一些将一张图像作为背景与另一张图像进行合成的方案，也需要人工筛选图像并赋予目标标签信息，以使图像按照预定的位置和方式进行融合。目前没有自动根据多张图像，生成一张图像，并且生成图像更加接近真实的多目标图像的方案。

本公开所要解决的一个技术问题是：自动根据多张图像生成一张多目标图像，提高生成图像的准确性和真实性。

根据本公开的一些实施例，提供的一种图像生成方法，包括：将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息；判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标；若存在，则调整重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值；根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

在一些实施例中，检测第一图像中目标的位置信息和第二图像中目标的位置信息包括：确定第一图像中目标的感兴趣区域，根据第一图像中目标的感兴趣区域的坐标信息确定第一图像中目标的位置信息；确定第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定第二图像中目标的位置信息。

在一些实施例中，根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像包括：提取第一图像的感兴趣区域的图像；根据第一图像的感兴趣区域对应的调整后的位置信息，确定第一图像的目标在第二图像中相对应的位置信息；将第一图像的感兴趣区域的图像移动至第二图像中相对应的位置，从训练完成的生成网络输出第三图像。

在一些实施例中，判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标包括：根据第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下第一图像的目标在第二图像中相对应的坐标信息；根据第一图像的目标在第二图像中相对应的坐标信息，以及第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。

在一些实施例中，调整重叠面积超过阈值的目标的位置包括：根据预设的方向和位移，调整重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。

在一些实施例中，该方法还包括：获取训练图像样本，训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，第三样本为第一样本中目标和第二样本中目标的合并拍摄图像；将训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像；将生成的图像和对应的第三样本输入判别网络进行比对；根据比对结果调整生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

根据本公开的另一些实施例，提供的一种图像生成装置，包括：目标检测模块，用于将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息；位置判断模块，用于判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标；位置调整模块，用于在存在重叠面积超过阈值的目标的情况下，调整重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值；图像融合模块，用于根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

在一些实施例中，目标检测模块用于确定第一图像中目标的感兴趣区域，根据第一图像中目标的感兴趣区域的坐标信息确定第一图像中目标的位置信息；确定第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定第二图像中目标的位置信息。

在一些实施例中，图像融合模块用于提取第一图像的感兴趣区域的图像；根据第一图像的感兴趣区域对应的调整后的位置信息，确定第一图像的目标在第二图像中相对应的位置信息；将第一图像的感兴趣区域的图像移动至第二图像中相对应的位置，从训练完成的生成网络输出第三图像。

在一些实施例中，位置判断模块用于根据第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下第一图像的目标在第二图像中相对应的坐标信息；根据第一图像的目标在第二图像中相对应的坐标信息，以及第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。

在一些实施例中，位置调整模块用于根据预设的方向和位移，调整重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。

在一些实施例中，该装置还包括：训练模块，用于获取训练图像样本，训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，第三样本为第一样本中目标和第二样本中目标的合并拍摄图像；将训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像；将生成的图像和对应的第三样本输入判别网络进行比对；根据比对结果调整生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

根据本公开的又一些实施例，提供的一种图像生成装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行如前述任意实施例的图像生成方法。

根据本公开的再一些实施例，提供的一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的图像生成方法。

本公开检测第一图像中目标的位置信息和第二图像中目标的位置信息，判断融合后是否存在重叠面积超过阈值的目标；若存在，则调整这些目标的位置，以便使目标的重叠面积低于阈值，进而根据调整后的目标的位置信息进行融合，得到第三图像。本公开的方案可以自动根据第一图像和第二图像生成包含多个目标的第三图像，生成网络是采用大量数据训练完成的，提高了第三图像的准确性。根据目标的重叠情况对目标进行调整，可以使目标的重叠情况更加符合真实情况，进一步提高了生成图像的准确性和真实性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开的一些实施例的图像生成方法的流程示意图。

图2A示出本公开的一些实施例的图像生成过程中确定图像中目标的示意图。

图2B示出本公开的一些实施例的图像生成过程中确定重叠面积的示意图。

图2C示出本公开的一些实施例的图像生成过程中调整目标位置的示意图。

图2D示出本公开的一些实施例的图像生成过程中得到融合后图像的示意图。

图3示出本公开的另一些实施例的图像生成方法的流程示意图。

图4示出本公开的一些实施例的图像生成装置的结构示意图。

图5示出本公开的另一些实施例的图像生成装置的结构示意图。

图6示出本公开的又一些实施例的图像生成装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开提出一种图像生成方法，可以根据多张图像生成一张多目标图像，下面结合图1描述本公开的一些实施例。

图1为本公开图像生成方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S108。

在步骤S102中，将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息。

生成网络的训练过程，将在后续实施例中进行描述。在一些实施例中，在生成网络中可以执行以下过程：确定第一图像中目标的感兴趣区域(RoI)，根据第一图像中目标的感兴趣区域的坐标信息确定第一图像中目标的位置信息。确定第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定第二图像中目标的位置信息。

例如，生成网络可以包括图像分割子网络和图像融合子网络。将第一图像输入图像分割子网络，可以确定第一图像中的目标的感兴趣区域，并提取第一图像的感兴趣区域的图像。图像分割子网络可以确定第一图像中目标的边界框(Bounding Box)作为感兴趣区域，以及边界框对应坐标信息。可以利用第一图像的掩膜(Mask)提取第一图像的感兴趣区域的图像。同理，将第二图像输入图像分割子网络，可以确定第二图像中的目标的感兴趣区域。图像分割子网络例如为 U-Net，U-net架构把Encoder(编码器)与Decoder(解码器)的各个对称层直接相连(各层输出跳跃连接到对称层的输入)，由若干个卷积层(conv)、非线性激活层(lrelu)组成，卷积核相关参数设置可根据实际情况调整。图像分割子网络还可以是Mask-RCNN网络等。

在步骤S104中，判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标。

生成网络还可以包括目标调整子网络，用于判断第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标。在一些实施例中，根据第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下第一图像的目标在第二图像中相对应的坐标信息；根据第一图像的目标在第二图像中相对应的坐标信息，以及第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。例如，第一图像中目标的感兴趣区域的坐标，可以和融合后第一图像中目标在第三图像中的坐标相同。例如，根据第一图像的感兴趣区域的坐标信息和第二图像的感兴趣区域的坐标信息计算任意两个目标的重叠面积，确定是否存在重叠面积超过阈值的目标。阈值可以根据实际需求确定，例如，如果需要目标之间完全没有重叠，可以将阈值设置为0。

在步骤S106中，若存在，则调整重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值。

在一些实施例中，根据第二图像中目标的感兴趣区域对应的坐标信息，确定不存在重叠面积超过阈值的目标的情况下，第一图像中目标的感兴趣区域对应的坐标信息，从而调整第一图像中目标的感兴趣区域的坐标信息。

在一些实施例中，根据预设的方向和位移，调整重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。可以根据预设的方向和位移，调整第一图像的目标的感兴趣区域的位置信息，重新判断根据调整后的第一图像的目标的感兴趣区域的位置信息和第二图像的目标的感兴趣区域的位置信息将第一图像和第二图像融合的情况下，是否存在重叠面积超过阈值的目标，如果存在则继续按照预设的方向和位移，调整第一图像的目标的感兴趣区域的位置信息，直至第一图像和第二图像融合的情况下，目标的重叠面积低于阈值。即目标位置调整和目标重叠的判断是一个循环过程，按照预设的方向和位移，每次调整后都重新检测目标的重叠情况，如果不符合目标的重叠面积低于阈值的条件，则重新调整目标的位置。通过不断调整目标位置，直至满足目标的重叠面积低于阈值的条件。

在一些实施例中，图像生成方法包括以下步骤。(1)将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息。(2)判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标；如果存在，则执行步骤(3)，否则，执行步骤(4)。(3)根据预设的方向和位移，调整重叠面积超过阈值的目标的位置信息；返回步骤(2)重新开始执行。进一步， (4)根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

在另一些实施例中，图像生成方法包括：(1)将第一图像和第二图像分别输入生成网络中的图像分割子网络，确定第一图像中目标的感兴趣区域和第二图像中目标的感兴趣区域，并提取第一图像的感兴趣区域的图像；(2)根据第一图像中目标的感兴趣区域和第二图像中目标的感兴趣区域的位置信息，确定在第一图像和第二图像融合的情况下，是否存在重叠面积超过阈值的目标。如果存在，则执行步骤(3)，否则执行步骤(4)；(3)根据预设的方向和位移，调整第一图像中目标的感兴趣区域的位置信息；返回步骤(2)重新开始执行；(4)将调整后的第一图像的感兴趣区域的位置信息输入图像融合子网络，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

在第一图像和第二图像中均包含多个目标的情况下，可以查询第一图像中各个目标分别与第二图像中各个目标的重叠面积，进而分别调整重叠面积超过阈值的目标的位置信息。

在步骤S108中，根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

目标调整子网络可以将调整后的目标的位置信息发送至图像融合子网络。将第一图像的感兴趣区域的图像、对应的调整后的位置信息和第二图像输入图像融合子网络进行融合。

在一些实施例中，根据第一图像的感兴趣区域对应的调整后的位置信息，确定第一图像的目标在第二图像中相对应的位置信息；将第一图像的感兴趣区域的图像移动至第二图像中相对应的位置，从训练完成的生成网络输出第三图像。可以在将图像输入生成网络之前，对图像的大小和分辨率进行调整，将第一图像和第二图像的大小和分辨率调整一致。可以使感兴趣区域的图像在第一图像中的坐标与移动到第二图像后在第二图像中的坐标相同。

在一些实施例中，可以将第一图像的感兴趣区域的图像的像素值与第二图像的像素值进行加权，得到第三图像。可以将第二图像中与第一图像的感兴趣区域对应的位置的像素设置为0，之后再进行第一图像的感兴趣区域的图像的像素值与第二图像的像素值的加权。例如，根据公式r＝α*U(x)+β*y，将第一图像的感兴趣区域的图像的像素值与第二图像的像素值进行加权。r表示第三图像的像素矩阵，U(x)表示第一图像的感兴趣区域的图像的像素矩阵，y表示第二图像的像素矩阵，y中与第一图像的感兴趣区域对应的位置的像素可以设置为0。α表示U(x)的权重，β表示y的权重，可以令β为1-α。

图像融合子网络也可以采取其他的融合算法，例如，泊松编辑算法等。上述实施例的方法更加简便，计算量更少。本领域技术人员可以理解，上述过程中也可以提取第二图像的目标的感兴趣区域，将第二图像的感兴趣区域的图像与第一图像进行融合。

如图2A～2D所示为根据第一图像中目标的位置信息和第二图像中目标的位置信息调整目标，生成第三图像的示意图。如图2A所示，第一图像中目标和第二图像中目标，可以分别获取两者的感兴趣区域 RoI1，RoI2的坐标信息。根据RoI1，RoI2的坐标信息判断将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标，如图 2B所示，存在重叠面积超过阈值的目标。调整第一图像RoI1对应的坐标信息，使第一图像与第二图像融合的情况下，不存在重叠面积超过阈值的目标，如图2C所示，例如按照箭头方向向左移动RoI1的位置。将第一图像与第二图像按照调整后的RoI1对应的坐标信息和RoI2的坐标信息进行融合，得到第三图像，如图2D所示。

上述实施例的方法检测第一图像中目标的位置信息和第二图像中目标的位置信息，判断融合后是否存在重叠面积超过阈值的目标；若存在，则调整这些目标的位置，以便使目标的重叠面积低于阈值，进而根据调整后的目标的位置信息进行融合，得到第三图像。上述实施例的方案可以自动根据第一图像和第二图像生成包含多个目标的第三图像，生成网络是采用大量数据训练完成的，提高了第三图像的准确性。根据目标的重叠情况对目标进行调整，可以使目标的重叠情况更加符合真实情况，进一步提高了生成图像的准确性和真实性。

上述实施例中的方案可以采用训练完成的生成网络实现，生成网络可以包括图像分割子网络、图像融合子网络。下面描述对生成网络进行训练的一些实施例。

图3为本公开图像生成方法另一些实施例的流程图。如图3所示，该实施例的方法包括：步骤S302～S308。

在步骤S302中，获取训练图像样本。训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，第三样本为第一样本中目标和第二样本中目标的合并拍摄图像。

例如，第一样本包括目标1，第二样本包括目标2，则第三样本为将目标1和目标2放在同一背景下合并拍摄的图像。为了模拟真实场景，使训练完成的生成网络生成的图像更加准确，可以针对同一目标拍摄不同的角度作为训练样本。可以对第一样本和第二样本进行预处理，使图像的大小、分辨率等保持一致。

在步骤S304中，将训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像。

待训练的生成网络中图像分割子网络可以提取第一样本中目标的感兴趣区域图像，图像融合子网络，将第一样本中目标的感兴趣区域图像与第二样本进行融合，得到生成的图像。为了简化训练的过程，可以使第一样本中目标的位置和第二样本中目标的位置，符合融合后重叠面积不超过阈值的条件，这样可以减少对生成网络中目标位置进行调整的模块的训练，仅对图像分割子网络和图像融合子网络进行训练。进一步，图像融合子网络在采用公式r＝α*U(x)+β*y，并且α和β不需要调整的情况下，生成网络的训练过程，主要包括对图像分割子网络的训练。

在步骤S306中，将生成的图像和对应的第三样本输入判别网络进行比对。

判别网络与生成网络组成生成对抗网络，判别网络将生成的图像和对应的第三样本进行比对，输出真假等判别结果。

在步骤S308中，根据比对结果调整生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

生成对抗网络的目标函数例如根据以下公式进行设置。

其中，D(·)表示判别网络，G(·)表表示生成网络，z～pdata(z)表示z服从训练图像样本中的多目标图像分布pdata(z)，r～pr(r)表示r 服从先验分布pr(r)，r表示生成的图像，E[·]表示求数学期望。当生成网络和判别网络满足上述目标函数的情况下，表示网络训练完成。

上述实施例的方案采用大量训练样本对生成网络进行训练，并采用判别网络对生成网络的生成结果与真实图像进行比对，使得生成网络生成的图像更加接近真实图像，提高了多目标图像生成的准确性和真实性。

本公开还提供一种图像生成装置，下面结合图4进行描述。

图4为本公开图像生成装置的一些实施例的结构图。如图4所示，该实施例的装置40包括：目标检测模块402，位置判断模块404，位置调整模块406，图像融合模块408。

目标检测模块402用于将第一图像和第二图像输入训练完成的生成网络，检测第一图像中目标的位置信息和第二图像中目标的位置信息。

在一些实施例中，目标检测模块402用于确定第一图像中目标的感兴趣区域，根据第一图像中目标的感兴趣区域的坐标信息确定第一图像中目标的位置信息；确定第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定第二图像中目标的位置信息。

位置判断模块404用于判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将第一图像与第二图像融合的情况下，是否存在重叠面积超过阈值的目标。

在一些实施例中，位置判断模块404用于根据第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下第一图像的目标在第二图像中相对应的坐标信息；根据第一图像的目标在第二图像中相对应的坐标信息，以及第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。

位置调整模块406用于在存在重叠面积超过阈值的目标的情况下，调整重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值。

在一些实施例中，位置调整模块406用于根据预设的方向和位移，调整重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。

图像融合模块408用于根据调整后的目标的位置信息，将第一图像与第二图像进行融合，从训练完成的生成网络输出第三图像。

在一些实施例中，图像融合模块408用于提取第一图像的感兴趣区域的图像；根据第一图像的感兴趣区域对应的调整后的位置信息，确定第一图像的目标在第二图像中相对应的位置信息；将第一图像的感兴趣区域的图像移动至第二图像中相对应的位置，从训练完成的生成网络输出第三图像。

在一些实施例中，图像生成装置40还包括：训练模块410，用于获取训练图像样本，训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，第三样本为第一样本中目标和第二样本中目标的合并拍摄图像；将训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像；将生成的图像和对应的第三样本输入判别网络进行比对；根据比对结果调整生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

本公开的实施例中的图像生成装置可各由各种计算设备或计算机系统来实现，下面结合图5以及图6进行描述。

图5为本公开图像生成装置的一些实施例的结构图。如图5所示，该实施例的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的图像生成方法。

其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序 (Boot Loader)、数据库以及其他程序等。

图6为本公开图像生成装置的另一些实施例的结构图。如图6所示，该实施例的装置60包括：存储器610以及处理器620，分别与存储器510以及处理器520类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610 和处理器620之间例如可以通过总线660连接。其中，输入输出接口 630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种图像生成方法，包括：

将第一图像和第二图像输入训练完成的生成网络，检测所述第一图像中目标的位置信息和所述第二图像中目标的位置信息；

判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将所述第一图像与所述第二图像融合的情况下，是否存在重叠面积超过阈值的目标；

若存在，则调整所述重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值；

根据调整后的目标的位置信息，将所述第一图像与所述第二图像进行融合，从所述训练完成的生成网络输出第三图像。

2.根据权利要求1所述的图像生成方法，其中，

所述检测第一图像中目标的位置信息和第二图像中目标的位置信息包括：

确定所述第一图像中目标的感兴趣区域，根据第一图像中目标的感兴趣区域的坐标信息确定所述第一图像中目标的位置信息；

确定所述第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定所述第二图像中目标的位置信息。

3.根据权利要求2所述的图像生成方法，其中，

所述根据调整后的目标的位置信息，将所述第一图像与所述第二图像进行融合，从所述训练完成的生成网络输出第三图像包括：

提取所述第一图像的感兴趣区域的图像；

根据第一图像的感兴趣区域对应的调整后的位置信息，确定所述第一图像的目标在所述第二图像中相对应的位置信息；

将所述第一图像的感兴趣区域的图像移动至所述第二图像中相对应的位置，从所述训练完成的生成网络输出第三图像。

4.根据权利要求2所述的图像生成方法，其中，

所述判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将所述第一图像与所述第二图像融合的情况下，是否存在重叠面积超过阈值的目标包括：

根据所述第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下所述第一图像的目标在所述第二图像中相对应的坐标信息；

根据所述第一图像的目标在所述第二图像中相对应的坐标信息，以及所述第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。

5.根据权利要求2所述的图像生成方法，其中，

所述调整所述重叠面积超过阈值的目标的位置包括：

根据预设的方向和位移，调整所述重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。

6.根据权利要求1-5任一项所述的图像生成方法，还包括：

获取训练图像样本，所述训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，所述第三样本为所述第一样本中目标和所述第二样本中目标的合并拍摄图像；

将所述训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像；

将所述生成的图像和对应的第三样本输入判别网络进行比对；

根据比对结果调整所述生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

7.一种图像生成装置，包括：

目标检测模块，用于将第一图像和第二图像输入训练完成的生成网络，检测所述第一图像中目标的位置信息和所述第二图像中目标的位置信息；

位置判断模块，用于判断按照第一图像中目标的位置信息和第二图像中目标的位置信息将所述第一图像与所述第二图像融合的情况下，是否存在重叠面积超过阈值的目标；

位置调整模块，用于在存在重叠面积超过阈值的目标的情况下，调整所述重叠面积超过阈值的目标的位置，以使目标的重叠面积低于阈值；

图像融合模块，用于根据调整后的目标的位置信息，将所述第一图像与所述第二图像进行融合，从所述训练完成的生成网络输出第三图像。

8.根据权利要求7所述的图像生成装置，其中，

所述目标检测模块用于确定所述第一图像中目标的感兴趣区域，根据第一图像中目标的感兴趣区域的坐标信息确定所述第一图像中目标的位置信息；确定所述第二图像中目标的感兴趣区域，根据第二图像中目标的感兴趣区域的坐标信息确定所述第二图像中目标的位置信息。

9.根据权利要求8所述的图像生成装置，其中，

所述图像融合模块用于提取所述第一图像的感兴趣区域的图像；根据第一图像的感兴趣区域对应的调整后的位置信息，确定所述第一图像的目标在所述第二图像中相对应的位置信息；将所述第一图像的感兴趣区域的图像移动至所述第二图像中相对应的位置，从所述训练完成的生成网络输出第三图像。

10.根据权利要求8所述的图像生成装置，其中，

所述位置判断模块用于根据所述第一图像中目标的感兴趣区域的坐标信息，确定融合的情况下所述第一图像的目标在所述第二图像中相对应的坐标信息；根据所述第一图像的目标在所述第二图像中相对应的坐标信息，以及所述第二图像中目标的感兴趣区域的坐标信息，判断是否存在重叠面积超过阈值的目标。

11.根据权利要求8所述的图像生成装置，其中，

所述位置调整模块用于根据预设的方向和位移，调整所述重叠面积超过阈值的目标中的第一图像的目标的感兴趣区域的位置信息。

12.根据权利要求7-11任一项所述的图像生成装置，还包括：

训练模块，用于获取训练图像样本，所述训练图像样本包括多个训练样本组，训练样本组包含第一样本、第二样本和第三样本，所述第三样本为所述第一样本中目标和所述第二样本中目标的合并拍摄图像；将所述训练样本组中第一样本和第二样本输入待训练的生成网络，得到生成的图像；将所述生成的图像和对应的第三样本输入判别网络进行比对；根据比对结果调整所述生成网络的参数，并重新根据第一样本和第二样本生成图像，直至满足预设的目标函数。

13.一种图像生成装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-6任一项所述的图像生成方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。