CN111614911A - 图像生成方法和装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像生成方法，包括：获取原始图像集合，原始图像集合中包括至少两帧图像，识别原始图像集合中的图像的前景区域和背景区域，前景区域为所述图像中的主体所在区域，背景区域为所述图像中前景区域之外的其他区域；基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合；确定更新图像集合对应的插值参数，基于插值参数对更新图像集合中的图像进行插值生成插值图像。本申请还公开了一种图像生成装置、电子设备以及计算机可读存储介质。本申请可生成前景部分发生自适应变化的图像。

Description

图像生成方法和装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像生成方法和装置、电子设备以及计算机可读存储介质。

背景技术

近年来，随着计算机技术的快速发展，图像处理技术日渐多样化，对图像的编辑包括抠图，颜色变化，抖动等特效，应用在不同的场景，如电子相册编辑、视频生成等，通过多张图像生成新的图像也是一种常用的图像处理方式。

传统的通过多张图像生成新的图像的方法，通常只获取多张不同图像的局部区域或全部区域进行拼接，这种方式合成的图像内容单一，不具有自适应性。

发明内容

本申请实施例提供一种图像生成方法和装置、电子设备以及计算机可读存储介质，利用图像间的相关性，区分前景区域和背景区域，可生成前景部分发生自适应变化的图像。

一种图像生成方法，包括：

获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

一种图像生成装置，包括：

获取模块，用于获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别模块，用于识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

更新模块，用于基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

插值模块，用于确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

上述图像生成方法、装置、电子设备以及计算机可读存储介质，利用图像间的相关性，根据插值生成新的图像，同时区分前景区域和背景区域，在插值前根据图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，提高待插值图像的背景的一致性，可生成前景部分发生位置，姿态和形状自适应变化的图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像生成方法的应用环境图；

图2为一个实施例中图像生成方法的流程示意图；

图3为一个实施例中对插值图像进行融合得到目标图像的示意图；

图4为另一个实施例中对插值图像进行融合得到目标图像的示意图；

图5为一个实施例中生成插值图像的流程示意图；

图6为一个实施例中前向运动矢量和后向运动矢量的示意图；

图6A为一个实施例中前向运动矢量和后向运动矢量的示意图；

图7为一个实施例中插值块的映射运动矢量的示意图；

图8为一个实施例中图像生成系统的示意图；

图9为一个实施例中图像生成装置的结构框图；

图10为一个实施例中电子设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像生成方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110获取原始图像集合，原始图像集合中包括至少两帧图像，将包括原始图像集合的图像生成请求发送至服务器120，服务器120识别原始图像集合中的图像的前景区域和背景区域，基于原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；确定更新图像集合对应的插值参数，基于插值参数对所述更新图像集合中的图像进行插值生成插值图像，服务器120将插值图像返回终端110。其中终端110可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以从服务器下载、应用各类型的图像资源。其中服务器120可以为一个服务器或服务器集群。

在一些实施例中，图像生成方法可以应用于终端110，由终端110直接执行上述步骤生成插值图像。

图2为一个实施例中图像生成方法的流程图。图2所示的图像生成方法可应用于上述终端110或服务器120中，包括：

步骤202，获取原始图像集合，原始图像集合中包括至少两帧图像。

其中，原始图像集合中包括至少两帧图像，可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的图像，电子相册中的图像等。原始图像集合中的图像的分辨率可以相同或不同。

具体地，原始图像集合中的各个图像可以是时间上连续的图像，如连续的拍摄时间拍摄的图像，或多媒体视频中截取的一段时间间隔对应的图像。也可以是图像内容上连续的图像，如原始图像集合中的各个图像包括相同的主体。原始图像集合中的各个图像中的前景和背景可以相同或不同。

在一个实施例中，原始图像集合中包括背景不变，前景向一个方向移动变化的同分辨率图像，如水平移动或垂直移动变化的同分辨率图像。

在一个实施例中，步骤202之后，还包括：调整原始图像集合中的图像的分辨率，使得原始图像集合中的图像的分辨率一致。

具体地，当原始图像集合中的图像的分辨率不同时，可从中选择一个目标图像，将目标图像的分辨率作为目标分辨率，将原始图像集合中的各个图像进行上采样或下采样调整为目标分辨率。或根据原始图像集合中的各个图像的分辨率，计算得到目标分辨率，目标分辨率的范围在原始图像集合中图像的最大分辨率和最小分辨率之间，或获取预先配置的任意的目标分辨率。当原始图像集合中的图像的分辨率相同时，也可以通过上采样或下采样调整原始图像集合中的图像的分辨率至目标分辨率。其中目标分辨率的确定可以受到网络质量的影响或终端的性能影响。

本实施例中，通过将原始图像集合中的图像的分辨率调整为一致，便于后续进行插值，提高了图像处理的效率。

步骤204，识别原始图像集合中的图像的前景区域和背景区域，前景区域为图像中的主体所在区域，背景区域为图像中前景区域之外的其他区域。

其中，前景区域为图像中的主体所在的区域，主体一般为发生形状，姿态，颜色或位置变化的区域，但不限于此。主体可以是指各种对象，如人、花、猫、狗、牛、蓝天、白云等。背景区域为图像中背景所在的区域，背景区域为图像中前景区域之外的其他区域，其中背景区域可以是运动幅度小于预设阈值的区域或次要对象对应的区域，但不限于此。

具体地，可以通过前景背景判别算法识别原始图像集合中的图像得到前景区域和背景区域，其中前景区域和背景区域可以自适应的识别或通过接收作用于图像中的操作设定。可以通过主体检测(salient object detection)识别主体所在的区域，从而确定前景区域，主体检测是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域，感兴趣区域称为主体区域。其中前景区域和背景区域可以是规则的形状区域或与前景背景直接匹配的轮廓区域。在一个实施例中，可以通过神经网络训练得到的前景背景判别模型识别原始图像集合中的图像的前景区域和背景区域。

步骤206，基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合。

其中，前景区域变化和/或背景区域变化是指比较两帧图像或多个图像中的前景区域和/或背景区域，计算得到的变化幅度。其中前景区域变化和/或背景区域变化的确定可以基于原始图像集合中的所有图像的前景区域和/或背景区域，也可以基于原始图像集合中的图像组分别计算，得到各个图像组对应的前景区域变化和/或背景区域变化。其中图像组可以是将原始图像分组形成的，同一个图像组内的图像进行插值生成插值图像，在插值时只参考同一个图像组内的图像的相关性。

具体地，可以按原始图像集合中图像的时间先后顺序依次计算相邻图像的前景区域变化和/或背景区域变化，统计各个相邻图像的前景区域变化和/或背景区域变化得到目标前景区域变化和/或目标背景区域变化，当目标前景区域变化和/或目标背景区域变化大于预设阈值时，将原始图像集合中各个图像的背景区域替换为预设图像。在一个实施例中，根据图像的时间先后顺序，将预设数量的图像进行分组得到图像组，以图像组为单位计算各个图像组对应的前景区域变化和/或背景区域变化，将前景区域变化和/或背景区域变化超过预设变化阈值的图像组中的图像的背景区域替换为预设图像，其中各个图像组对应的背景替换预设图像可以不同，可以从图像组中筛选目标图像，将目标图像的背景区域作为图像组进行背景区域替换的预设图像。

在一个实施例中，将原始图像集合具有相似背景区域的图像组合形成对应的图像组，由于图像组中的图像的背景区域相似，当各个图像组对应的背景区域小于预设变化阈值时，则无需替换背景区域就可直接进行插值。

步骤208，确定更新图像集合对应的插值参数，基于插值参数对更新图像集合中的图像进行插值生成插值图像。

其中，插值参数是用于确定插值过程，影响插值图像结果的参数，对于不同的插值算法可以为不同的插值参数。如对于模型类的插值算法，插值参数可以是模型参数，对于受到时间影响的插值算法，插值参数可以是插值时间信息，对于受到光照影响的插值算法，插值参数可以是当照信息，对于存在权重的插值算法，插值参数可以是插值权重信息等。在一个实施例中，插值参数为插值时间相位，插值时间相位是指将两帧图像的变化幅度等分为N份，其中每一份表示一个相位，其中N可以自定义。其中变化幅度可以是前景变化幅度、背景变化幅度或特定区域的变化幅度。如可以根据图像的前景的变化幅度来自定义N的数量，如两帧图像的前景的变化幅度与N的数值大小成正比关系，变化幅度大，则需要多个插值时间相位才能从第一前景变为第二前景。如果前景的变化幅度小，则只需经过较少的插值时间相位就能快速从第一前景变为第二前景。根据前景的变化幅度确定插值时间相位，体现了对图像前景的关注度，使得插值图像更符合人眼感兴趣度。

如第一图像对应第一前景，第二图像对应第二前景，N为3，则插值时间相位可以为1/3、2/3，表示第一图像的第一前景经过两个时间相位的变化，成为第二前景。插值图像是根据两帧待插值图像采用插值算法进行插值得到的图像，待插值图像可以是更新图像集合中的任意两帧图像。

具体地，当更新图像集合中只有2个图像时，则只需根据插值次数确定对应的插值时间相位，可以为一个或多个。对相同的2个图像可以确定多个不同的插值时间相位，进行多次插值。当更新图像集合中包括多个图像时，则需要根据插值图像和插值次数，确定对应的多个插值时间相位。每个新生成的插值图像都对应一个插值时间相位。在一个实施例中，插值方法包括MEMC(Motion Estimate and Motion Compensation，运动估计和运动补偿)，光流法，神经网络或其他任意FRC(Frame Rate Conversion，帧率转换)技术。在一个实施例中，基于插值时间相位对更新图像集合中的图像进行多次插值时，每次插值选择对应的插值方法，多个插值图像可以是通过不同的插值方法生成的。在一个实施例中，计算待插值图像的前景的复杂度、检测前景中的人脸区域得到检测结果，根据前景的复杂度和检测结果选择对应的目标插值算法，如当前景中存在面部时，可采用复杂度高的插值算法以保证插值图的面部的纹理细节与逼真度。在一个实施例中，在电子相册的制作过程中，上述方法用于图像编辑，利用已有照片形成新的插值照片。

本实施例中的图像生成方法，获取原始图像集合，原始图像集合中包括至少两帧图像，识别原始图像集合中的图像的前景区域和背景区域，基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合，确定更新图像集合对应的插值参数，基于插值参数对更新图像集合中的图像进行插值生成插值图像，利用图像间的相关性，根据插值生成新的图像，同时区分前景区域和背景区域，在插值前根据图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，提高待插值图像的背景的一致性，可生成前景部分发生位置，姿态和形状自适应变化的图像。

在一个实施例中，步骤206包括：根据原始图像集合中的图像的前景区域和/或背景区域，计算前景区域变化和/或背景区域变化，当前景区域变化超过预设变化阈值，和/或背景区域变化超过预设变化阈值时，将原始图像集合中各个图像的背景区域替换为预设图像，当前景区域变化小于预设变化阈值且背景区域变化小于预设变化阈值时，保留原始图像集合中各个图像的背景区域。

具体地，计算前景区域变化和/或背景区域变化的方式可采用上述实施例中的任意方式。在一个实施例中，可识别原始图像集合中的各个图像是否存在背景切换，如果原始图像集合中的各个图像不存在背景切换，则说明原始图像集合中的各个图像都属于同一个背景，只是可能存在细微的变化，在这种情况下，如果原始图像集合中的各个图像存在时间先后关系，则获取起始时间对应的第一图像，获取终止时间对应的第二图像，计算第一图像和第二图像的前景区域变化和/或背景区域变化，当前景区域变化和/或背景区域变化超过预设变化阈值时，将原始图像集合中的各个图像的背景区域替换为预设图像。其中预设图像可以为第一图像对应的背景区域或第二图对应的背影区域，或预设空白图像。当原始图像集合中存在多个图像时，只需要抽取2个代表性的图像便可确定是否进行背景替换，简单高效。在一个实施例中，获取背景切换的图像点，获取背景切换的图像点对应的前向图像和后向图像，计算前向图像和后向图像之间的前景区域变化和/或背景区域变化，当任意一个背景切换的图像点对应的前景区域变化和/或背景区域变化超过预设阈值时，将原始图像集合中的各个图像的背景区域替换为预设图像。

本实施例中，通过前景区域变化和/或背景区域变化，在前景区域变化和/或背景区域变化超过预设变化阈值时，将原始图像集合中的各个图像的背景区域替换为预设图像，使得各个图像的背景区域保持一致，从而减少背景在后续插值过程中对前景的影响，提高了插值图像中前景生成的准确度。

在一个实施例中，原始图像集合包括至少3个图像，步骤208包括：将原始图像集合的图像划分为不同的图像组，每个图像组包括前向图像和后向图像，

确定各个图像组对应的插值时间相位；基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像。

具体地，其中插值图像表示从前向图像变化为后向图像的过程中的插值时间相位对应的图像，可以对原始图像集合的图像进行任意的两两组合形成不同的图像组。在插值过程中，以图像组为单位，得到的插值图像考虑同一个图像组中的图像的相关性。

当原始图像集合的图像存在时间上的先后顺序时，可按时间先后顺序，依次两两组合划分为多个图像组，图像组中前向图像对应的第一时间在后向图像对应的第二时间之前。当原始图像集合的图像不存在时间上的先后顺序时，可以将背景区域相似的图像两两组合划分为同一个图像组。

确定各个图像组对应的插值时间相位，一个图像组可以对应一个或多个插值时间相位，当一个图像组对应多个插值时间相位时，可以基于两帧图像插值得到不同插值时间相位对应的多个插值图像，可以按插值时间相位从小到大的顺序将多个插值图像进行排序，插入前向图像和后面图像之间，形成插值视频。

不同的图像组也对应一个或多个插值图像，从而不同图像组对应的插值图像，也可以按预设规则排序，形成插值视频。

在一个实施例中，在为各个图像组确定插值时间相位时，可以根据图像组中的图像的特征进行确定，提高了插值时间相位确定的自适应性与准确性。

本实施例中，通过可以根据需要通过不同的规则对原始图像集合中的图像进行分组，确定各个图像组对应的插值时间相位，以图像组为单位进行插值，提高了插值图像与需求的匹配性，并且高效便利。

在一个实施例中，各个图像组对应的插值时间相位相同或各个图像组对应的插值时间相位不完全相同。

具体地，不同的图像组中的图像不同，即使采用相同的插值时间相位得到的插值图像也不同，对各个不同的图像组采用相同的插值时间相位可以体现不同的图像间在同一个时间相位的状态。各个图像组对应的插值时间相位不完全相同包括各个图像组对应的插值时间相位完全不相同，或各个图像组对应的插值时间相位中有部分相同，如图像组包括Y1，Y2和Y3，其中Y1，Y2，Y3对应的插值时间相位分别为t1，t2，t3，其中t1，t2，t3可以完全相同，t1，t2，t3可以完全不同，t1，t2，t3也可以部分相同，部分不同。

本实施例中，由于各个图像组不同，各个图像组包括的图像也不完全相同，可以实现一个前景主体在图像中不同位置的合成插值图像，并且灵活设置各个图像组的插值时间相位，得到不同需求的插值图像。

在一个实施例中，原始图像集合包括以预设时间间隔拍摄的图像，步骤208中将原始图像集合的图像划分为不同的图像组包括：按拍摄时间先后顺序从原始图像集合中选取前向图像和后向图像组成不同的图像组，前向图像的拍摄时间先于后向图像的拍摄时间。

具体地，如以预设时间间隔拍摄的图像分别为A1,A2,A3，则可根据A1,A2组成图像组，进行多插值时间相位的插值得到a1,a2,a3……an，可根据A2,A3组成图像组，进行多插值时间相位的插值得到b1,b2,b3……bm，可以将A1,a1,a2,a3……an，A2,b1,b2,b3……bm，A3形成视频，也可以将A1,a1,a2,a3……an，A2,b1,b2,b3……bm，A3进行合成输出一个图像。

在一个实例中，在长曝光拍照中，为了节省功耗，可以间隔固定时间进行图像的拍摄，并通过上述方法，进行多相位的图像合成，使输出图像具有长曝光类似的效果。

在一个实例中，基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像之后，还包括：将各个图像组对应的插值图像进行融合得到目标图像。

具体地，不同的图像组中的图像不同，从而得到的插值图像也不同，插值图像中前景的状态也不同，其中状态包括位置、颜色、形状中的至少一种。具体的融合算法可自定义。在融合时，可以将原始图像集合中的图像也参与融合。如图3所示为一个具体的实例中，将(图1，图2)、(图1、图3)，(图2、图4)分别进行插值后得到插值1、插值2、插值3，再将图1、插值1、插值2、插值3进行融合得到目标图像的示意图。

本实施例中，将各个图像组对应的插值图像进行融合得到目标图像，目标图像中可包括多个不同位置、形状、颜色的前景，生成在一张图中，便于比较不同状态下的前景。

在一个实施例中，基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像之后，还包括：将各个插值图像插入对应的图像组，得到更新图像组，确定各个更新图像组的顺序，按照顺序依次将各个更新图像组拼接形成视频。

具体地，更新图像组的顺序可以根据各个图像组中的图像的时间先后顺序确定，或按各个图像组的变化规律确定，使得排序后的各个图像组是依次变化的图像组。由于以图像组为单位进行插值，从而得到的插值图像是体现了图像组中的前向图像至后向图像之间变化状态的图像，将插值图像插入对应的各个图像组，使得各个图像组中的图像之间体现前景的变化，进一步的再按各个排序的图像组进行拼接形成视频。

本实施例中，可以生成前景依次连续变化的视频，通过播放视频能直观的观察前景的变化趋势与变化状态。

在一个实施例中，步骤208包括：对更新图像集合中的同一个图像组确定不同的插值时间相位；分别根据不同的插值时间相位对同一个图像组进行插值得到不同的插值图像。

具体地，对同一个图像组通过不同的插值时间相位插值，能得到针对同一个前向图像到同一个后向图像过程中，前景的状态依次不断变化的插值图像，如插值时间相位不断变大，则生成的插值图像体现了从前向图像的前景不断的变化过渡到后向图像的前景的变化过程。可以按插值时间相位从小到大的顺序依次将各个插值图像排序，生成视频，通过播放视频可以直观的观察前景的变化趋势与变化状态。如上传同一个用户第一时间对应的第一人脸图像，第二时间对应的第二人脸图像，通过不同的插值时间相位对第一人脸图像和第二人脸图像进行插值，得到多个插值图像，按插值时间相位从小到大的顺序依次对多个插值图像排序，并将排序结果插入第一人脸图像和第二人脸图像之间，生成视频，此视频播放过程中可以体现用户的从第一时间到第二时间相貌的变化过程。

在一个实施例中，分别根据不同的插值时间相位对同一个图像组进行插值得到不同的插值图像之后，还包括：对同一个图像组进行插值得到不同的插值图像进行融合得到目标图像。

具体地，同一个图像组中的图像相同，但由于插值时间相位从而得到的插值图像也不同，插值图像中前景的状态也不同，其中状态包括位置、颜色、形状中的至少一种。具体的融合算法可自定义。在融合时，可以将原始图像集合中的图像也参与融合。如图4所示为一个具体的实例中，将(图1，图2)分别基于第一插值时间相位、第二插值时间相位、第三插值时间相位插值得到插值1、插值2、插值3，再将图1、插值1、插值2、插值3进行融合得到目标图像的示意图。

本实施例中，将同一个图像组基于插值时间相位得到的不同的插值图像进行融合得到目标图像，目标图像中可包括多个不同位置、形状、颜色的前景，生成在一张图中，便于比较不同状态下的前景。

在一个实施例中，步骤208之后，还包括：将插值图像插入原始图像集合，返回步骤204。

具体地，得到的插值图像可以加入原始图像集合中，与原始图像集合中的其它图像形成待插值图像，用于后续进一步的进行插值运算。如原始图像集合中包括图像A1和A2，对A1和A2进行插值得到图像A3，则可以将A3插入原始图像集合，得到{A1、A3、A2}，可以识别{A1、A3、A2}中的图像的前景区域和背景区域，根据{A1、A3、A2}中的图像的前景区域变化和/或背景区域变化对A1、A3、A2进行背景区域更新，得到更新图像集合，再进行后续的插值步骤。

本实施例中，通过将插值图像插入原始图像集合，作为后续的待插值图像进行进一步的插值，可以得到原始图像与插值图像之间的变化状态的图像，使得前景的变化状态更连续，过渡性更精细。

在一个实施例中，如图5所示，步骤208包括：

步骤208A，从更新图像集合中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位。

具体地，目标插值时间相位为对前向图像和后向图像中的前景变化幅度等分为N份，将其中的一份作为目标插值时间相位，如划分为10份，将3/10作为目标插值时间相位。

步骤208B，对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量。

具体地，对前向图像和后向图像进行分块，块大小可自定义，按块进行遍历，寻找前向图像中每个块在后向图像中的最佳匹配块，以确定前向图像每个块相对于后向图像的运动矢量，得到前向运动矢量。按块进行遍历，寻找后向图像中每个块在前向图像中的最佳匹配块，以确定后向图像每个块相对于前向图像的运动矢量，得到后向运动矢量。如图6所示，为一个实施例中前向运动矢量和后向运动矢量的示意图。在一个实施例中，可以对前向运动矢量和后向运动矢量进行修正，修正时可参考邻近块的运动矢量。如图6A所示，为一个实施例中修正后的前向运动矢量和后向运动矢量示意图。

步骤208C，根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量。

具体地，前向映射运动矢量用于表示插值块相对于前向图像的运动矢量，后向映射运动矢量用于表示插值块相对于后向图像的运动矢量。如前向运动矢量是将前向图像中的块映射到后向图像中，在将第一前向运动矢量对应的前向图像中的块映射到后向图像的过程中会穿过插值图像，穿过插值图像中的第一插值块，则第一前向运动矢量是第一插值块对应的目标运动矢量，将第一插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量。如第一前向运动矢量为(3，-9)，目标插值时间相位为1/3，则进行映射和校正后，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。

同样，后向运动矢量是将后向图像中的块映射到前向图像中，在将第一后向运动矢量对应的后向图像中的块映射到前向图像的过程中会穿过插值图像，穿过插值图像中的第二插值块，则第一后向运动矢量是第二插值块对应的目标运动矢量，将第二插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量。如第二后向运动矢量为(-3，9)，目标插值时间相位为1/3，则进行映射和校正后，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。如图7所示，为前向映射运动矢量和后向映射运动矢量的示意图。

如果一个插值块有多个前向运动矢量和多个后面运动矢量穿过，则所有穿过的运动矢量进行映射和校正后得到的前向映射运动矢量和后向映射运动矢量，都作为这个插值块对应的候选的前向映射运动矢量和后向映射运动矢量。可以从候选的前向映射运动矢量和后向映射运动矢量中确定这个插值块对应的目标前向映射运动矢量和目标后向映射运动矢量，具体的筛选方法可自定义，如通过计算前向映射运动矢量和后向映射运动矢量对应的匹配块的匹配误差得到。

步骤208D，根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像。

具体地，通过前向映射运动矢量得到插值块在前向图像中的第一插值像素值，通过后向映射运动矢量得到插值块在后向图像中的第二插值像素值，通过对第一插值像素值和第二插值像素值进行加权得到插值块的插值像素值，其中加权系数的确定可自定义，从而最终生成插值图像。

本实施例中，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量。

在一个实施例中，步骤208之后，还包括：获取预设图像，识别插值图像中的背景区域，将背景区域替换为预设图像。

具体地，预设图像可以为原始图像集合中的任一图像，或预先配置的图像，通过对插值图像替换背景，背景可以指定任意的图像实现了插值图像内容的灵活配置性。

本实施例中，生成的插值图像不仅仅是前景变化的图像，还可任意的更换背景，进一步提高了图像生成的灵活性。

在一个实例中，对最终输出的插值图像可以经过上下采样修改分辨率，可以并行，同时输出多路插值图像。

在一个具体的实施例中，提供一种图像生成方法，通过如图8所示的系统生成图像，具体过程如下：

1、输入原始图像集合，原始图像集合中的图像可以为2个或多个。

2、原始图像集合中的图像的分辨率可以不同，当分辨率不同时，经过上下采样模块，将分辨率变为一致，当分辨率相同时，可以经过上下采样模块，也可以不经过，且上下采样后的图像分辨率可以与原图分辨率不同。

3、经过上个步骤处理的图像输入前景背景判别器，前景为图像中主要物体，背景为图像中次要物体，其中主要物体多为输入的两幅或多幅图像中发生形状，姿态，颜色或位置变化的区域，但不限于此，背景多为输入的两幅或多幅图像中未发生形状变化的区域。在前景背景判别器中，前景和背景区域可以人工设定，也可以自行判别。基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合。

4、经过上个步骤处理的图像输入图像生成选择器，设定待生成的图像相对于待插值的两幅图像所处的插值时间相位。若输入图像超过两幅，则需要指定多个待生成的图像的插值时间相位。

5、经过上个步骤处理的图像输入图像生成器，根据指定插值时间相位，进行插值形成插值图像。若输入两幅图像，可以进行不同插值时间相位插值输出多幅插值图像，对多幅插值图像进行合成；若输入多幅图像，针对不同的图像组插值生成多幅插值图像，或进行不同插值时间相位插值输出多幅插值图像，再进行合成，合成图像中可以包含或不包含原始图像

6、经过上个步骤处理的图像输入背景生成器，对于图像生成器的结果，可以替换背景，背景可以指定任意其他图像。

7、最终输出的图像可以经过上下采样修改分辨率，该系统可以并行，同时输出多路插值图像。

本实施例中，通过图像生成系统中各个处理部件的配合，对输入的图像进行前景背景判别，并在插值前根据图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，提高待插值图像的背景的一致性，可生成前景部分发生位置，姿态和形状自适应变化的图像。

应该理解的是，虽然图2、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像生成装置900的结构框图。如图9所示，一种图像生成装置900，包括：获取模块902、识别模块904、更新模块906和插值模块908。其中：

获取模块902，用于获取原始图像集合，原始图像集合中包括至少两帧图像。

识别模块904，用于识别原始图像集合中的图像的前景区域和背景区域，前景区域为所述图像中的主体所在区域，背景区域为所述图像中前景区域之外的其他区域。

更新模块906，用于基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合。

插值模块908，用于确定更新图像集合对应的插值参数，基于插值参数对更新图像集合中的图像进行插值生成插值图像。

本实施中的图像生成装置900，获取原始图像集合，原始图像集合中包括至少两帧图像，识别原始图像集合中的图像的前景区域和背景区域，基于原始图像集合中图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，得到更新图像集合，确定更新图像集合对应的插值参数，基于插值参数对更新图像集合中的图像进行插值生成插值图像，利用图像间的相关性，根据插值生成新的图像，同时区分前景区域和背景区域，在插值前根据图像的前景区域变化和/或背景区域变化对原始图像集合中的图像的背景区域更新，提高待插值图像的背景的一致性，可生成前景部分发生位置，姿态和形状自适应变化的图像。

在一个实施例中，所述图像生成装置900还包括：

调整模块，用于调整原始图像集合中的图像的分辨率，使得原始图像集合中的图像的分辨率一致。

本实施中的图像生成装置900，通过将原始图像集合中的图像的分辨率调整为一致，便于后续进行插值，提高了图像处理的效率。

在一个实施例中，更新模块906还用于根据原始图像集合中的图像的背景区域，计算前景区域变化和/或背景区域变化，当前景区域变化和/或背景区域变化超过预设变化阈值时，将原始图像集合中各个图像的背景区域替换为预设图像，当前景区域变化且背景区域变化小于预设变化阈值时，保留原始图像集合中各个图像的背景区域。

本实施中的图像生成装置900，通过前景区域变化和/或背景区域变化，在前景区域变化和/或背景区域变化超过预设变化阈值时，将原始图像集合中的各个图像的背景区域替换为预设图像，使得各个图像的背景区域保持一致，从而减少背景在后续插值过程中对前景的影响，提高了插值图像中前景生成的准确度。

在一个实施例中，所述原始图像集合包括至少3个图像，插值模块908还用于将原始图像集合的图像划分为不同的图像组，每个图像组包括前向图像和后向图像，确定各个图像组对应的插值时间相位，基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像。

本实施例中，通过可以根据需要通过不同的规则对原始图像集合中的图像进行分组，确定各个图像组对应的插值时间相位，以图像组为单位进行插值，提高了插值图像与需求的匹配性，并且高效便利。

在一个实施例中，各个图像组对应的插值时间相位相同或各个图像组对应的插值时间相位不完全相同。

本实施例中，由于各个图像组不同，各个图像组包括的图像也不完全相同，可以实现一个前景主体在图像中不同位置的合成插值图像，并且灵活设置各个图像组的插值时间相位，得到不同需求的插值图像。

在一个实施例中，原始图像集合包括以预设时间间隔拍摄的图像，插值模块908还用于按拍摄时间先后顺序从原始图像集合中选取前向图像和后向图像组成不同的图像组，前向图像的拍摄时间先于所述后向图像的拍摄时间。

在一个实施例中，装置还包括：

第一融合模块，用于将各个图像组对应的插值图像进行融合得到目标图像。

本实施例中，将各个图像组对应的插值图像进行融合得到目标图像，目标图像中可包括多个不同位置、形状、颜色的前景，生成在一张图中，便于比较不同状态下的前景。

在一个实施例中，装置还包括：

视频生成模块，用于将各个插值图像插入对应的图像组，得到更新图像组，确定各个更新图像组的顺序，按照顺序依次将各个更新图像组拼接形成视频。

本实施例中，可以生成前景依次连续变化的视频，通过播放视频能直观的观察前景的变化趋势与变化状态

在一个实施例中，插值模块908还用于对更新图像集合中的同一个图像组确定不同的插值时间相位，分别根据不同的插值时间相位对同一个图像组进行插值得到不同的插值图像。

在一个实施例中，装置还包括：

第二融合模块，用于对同一个图像组进行插值得到不同的插值图像进行融合得到目标图像。

本实施例中，将同一个图像组基于插值时间相位得到的不同的插值图像进行融合得到目标图像，目标图像中可包括多个不同位置、形状、颜色的前景，生成在一张图中，便于比较不同状态下的前景。

在一个实施例中，装置还包括：

插入模块，用于将所述插值图像插入所述原始图像集合，返回识别模块。

本实施例中，通过将插值图像插入原始图像集合，作为后续的待插值图像进行进一步的插值，可以得到原始图像与插值图像之间的变化状态的图像，使得前景的变化状态更连续，过渡性更精细。

在一个实施例中，插值模块908还用于从更新图像集合中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位，对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量，根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像。

本实施例中，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量。

在一个实施例中，装置还包括：

背景替换模块，用于获取预设图像，识别插值图像中的背景区域，将背景区域替换为预设图像。

本实施例中，生成的插值图像不仅仅是前景变化的图像，还可任意的更换背景，进一步提高了图像生成的灵活性。

关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。

本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像生成方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像生成方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像生成方法，其特征在于，包括：

获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合，包括：

根据原始图像集合中的图像的前景区域和/或背景区域，计算前景区域变化和/或背景区域变化；

当所述前景区域变化超过预设变化阈值，和/或背景区域变化超过预设变化阈值时，将原始图像集合中各个图像的背景区域替换为预设图像；

当所述前景区域变化小于预设变化阈值且背景区域变化小于预设变化阈值时，保留所述原始图像集合中各个图像的背景区域。

3.根据权利要求1所述的方法，其特征在于，所述原始图像集合包括至少3个图像，所述确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像包括：

将所述原始图像集合的图像划分为不同的图像组，每个图像组包括前向图像和后向图像；

确定各个图像组对应的插值时间相位；

基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像。

4.根据权利要求3所述的方法，其特征在于，所述各个图像组对应的插值时间相位相同或所述各个图像组对应的插值时间相位不完全相同。

5.根据权利要求3所述的方法，其特征在于，所述原始图像集合包括以预设时间间隔拍摄的图像，所述将所述原始图像集合的图像划分为不同的图像组包括：

按拍摄时间先后顺序从原始图像集合中选取前向图像和后向图像组成不同的图像组，所述前向图像的拍摄时间先于所述后向图像的拍摄时间。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像之后，还包括：

将各个图像组对应的插值图像进行融合得到目标图像。

7.根据权利要求3至5中任一项所述的方法，其特征在于，所述基于各个图像组对应的插值时间相位对对应的图像组中的图像进行插值，得到各个图像组对应的插值图像之后，还包括：

将各个插值图像插入对应的图像组，得到更新图像组；

确定各个更新图像组的顺序，按照顺序依次将各个更新图像组拼接形成视频。

8.根据权利要求1至5中任一项所述的方法，其特征在于，确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像，包括：

对所述更新图像集合中的同一个图像组确定不同的插值时间相位；

分别根据不同的插值时间相位对所述同一个图像组进行插值得到不同的插值图像。

9.根据权利要求8所述的方法，其特征在于，所述分别根据不同的插值时间相位对所述同一个图像组进行插值得到不同的插值图像之后，还包括：

对所述同一个图像组进行插值得到不同的插值图像进行融合得到目标图像。

10.根据权利要求1所述的方法，其特征在于，所述基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像之后，还包括：

将所述插值图像插入所述原始图像集合；

返回所述识别所述原始图像集合中的图像的前景区域和背景区域的步骤。

11.根据权利要求1所述的方法，其特征在于，所述确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像，包括：

从所述更新图像集合中确定前向图像和后向图像，确定所述前向图像和后向图像对应的目标插值时间相位；

对所述前向图像和后向图像进行前向运动估计得到前向运动矢量；

对所述前向图像和后向图像进行后向运动估计得到后向运动矢量；

根据所述目标插值时间相位对所述前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；

根据所述前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值；

根据各个插值块生成插值图像。

12.根据权利要求1所述的方法，其特征在于，所述确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像之后，还包括：

获取预设图像，识别所述插值图像中的背景区域；

将所述背景区域替换为所述预设图像。

13.一种图像生成装置，其特征在于，包括：

获取模块，用于获取原始图像集合，所述原始图像集合中包括至少两帧图像；

识别模块，用于识别所述原始图像集合中的图像的前景区域和背景区域，所述前景区域为所述图像中的主体所在区域，所述背景区域为所述图像中前景区域之外的其他区域；

更新模块，用于基于所述原始图像集合中图像的前景区域变化和/或背景区域变化对所述原始图像集合中的图像的背景区域更新，得到更新图像集合；

插值模块，用于确定所述更新图像集合对应的插值参数，基于所述插值参数对所述更新图像集合中的图像进行插值生成插值图像。

14.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述方法的步骤。

Images