CN110189248B - 图像融合方法及装置、存储介质、电子设备 - Google Patents

图像融合方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN110189248B
CN110189248B CN201910411369.4A CN201910411369A CN110189248B CN 110189248 B CN110189248 B CN 110189248B CN 201910411369 A CN201910411369 A CN 201910411369A CN 110189248 B CN110189248 B CN 110189248B
Authority
CN
China
Prior art keywords
image
face
dimensional
template
template image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910411369.4A
Other languages
English (en)
Other versions
CN110189248A (zh
Inventor
赵艳丹
曹玮剑
曹煊
曹赟
葛彦昊
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910411369.4A priority Critical patent/CN110189248B/zh
Publication of CN110189248A publication Critical patent/CN110189248A/zh
Application granted granted Critical
Publication of CN110189248B publication Critical patent/CN110189248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种图像融合方法及装置、电子设备、存储介质；涉及图像处理技术领域。所述图像融合方法包括：获取模板图像中人脸的三维姿态；根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像；将所述第二图像和所述模板图像进行融合得到目标图像。本公开可以在待融合图像和模板图像中的人脸姿态不一致时，仍能够生成较好的图像融合结果。

Description

图像融合方法及装置、存储介质、电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像融合方法、图像融合装置、电子设备以及计算机可读存储介质。
背景技术
图像融合技术是计算机视觉中的一种关键技术，有着广泛的应用场景。以人脸图像融合为例，其主要是将待融合图像和模板图像进行人脸融合，从而使融合得到的目标图像同时具有待融合图像中的人脸外貌特征和目标照片中的人物形象(比如军装形象、古装形象等)特征。
然而，现有技术中的很多人脸融合技术只有在待融合图像和模板图像中的人脸姿态一致(例如都是正脸或都是侧脸)的情况下才能够得到较好的融合效果，当姿态不一致时，这些技术可能无法生成自然的融合结果，甚至出现扭曲和偏移等明显瑕疵。
因此，提供一种在待融合图像和模板图像中的人脸姿态不一致时，仍具有较好的融合效果的图像融合方法是非常必要的。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像融合方法、图像融合装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在待融合图像和模板图像中的人脸姿态不一致时，人脸融合效果不佳的问题。
根据本公开的第一方面，提供一种图像融合方法，包括：
获取模板图像中人脸的三维姿态；
根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；
获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像；
将所述第二图像和所述模板图像进行融合得到目标图像。
在本公开的一种示例性实施例中，所述获取模板图像中人脸的三维姿态，包括：
对所述模板图像进行人脸特征点识别；
根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态，包括：
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，包括：
获取所述待融合图像中人脸的三维姿态；
根据所述模板图像中人脸的三维姿态和所述待融合图像中人脸的三维姿态计算姿态调整参数；
根据所述姿态调整参数对所述待融合图像中的人脸进行三维姿态调整。
在本公开的一种示例性实施例中，所述获取所述待融合图像中人脸的三维姿态，包括：
对所述待融合图像进行人脸特征点识别；
根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态，包括：
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述指定特征点包括：人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点。
在本公开的一种示例性实施例中，所述基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，包括：
根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一参考线和第二参考线；其中，所述第一参考线和第二参考线相交；
根据所述模板图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一参考线和所述第二参考线；
调整所述第一图像，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。
在本公开的一种示例性实施例中，所述人脸包括第一区域和第二区域；所述基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，包括：
根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的所述第一区域和第二区域的比例；
根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例；
调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致。
在本公开的一种示例性实施例中，在对待融合图像中的人脸进行三维姿态调整之前，所述方法还包括：
确定所述模板图像中人脸所在区域；
确定所述待融合图像中人脸所在区域；
将所述模板图像中人脸所在区域的颜色信息迁移到所述待融合图像中人脸所在区域。
在本公开的一种示例性实施例中，将所述第二图像和所述模板图像进行融合得到目标图像，包括：
在所述模板图像的人脸区域和第二图像的人脸区域分别选取源特征点，并基于形变参数以及所述源特征点确定目标特征点；
根据所述模板图像的源特征点以及所述目标特征点对所述模板图像的人脸区域进行仿射变换，得到第三图像；
根据所述第二图像的源特征点以及所述目标特征点对所述第二图像的人脸区域进行仿射变换，得到第四图像；
将所述第三图像和所述第四图像进行融合得到所述目标图像。
在本公开的一种示例性实施例中，将所述第三图像和所述第四图像进行融合得到所述目标图像，包括：
根据融合参数，将所述第四图像中的人脸区域融合到所述第三图像中的人脸区域，得到第五图像；
生成融合掩膜，基于所述融合掩膜将所述第五图像融合到所述模板图像，得到所述目标图像；其中，所述融合掩膜与所述模板图像大小一致且在所述第五图像中人脸区域边界处渐变模糊。
根据本公开的第二方面，提供一种图像融合装置，包括：
三维姿态获取模块，用于获取模板图像中人脸的三维姿态；
三维姿态调整模块，用于根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；
二维姿态调整模块，用于获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像；
图像融合模块，用于将所述第二图像和所述模板图像进行融合得到目标图像。
在本公开的一种示例性实施例中，所述三维姿态获取模块包括：
特征点提取单元，用于对所述模板图像进行人脸特征点识别；
三维姿态确定单元，用于根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态确定单元通过下述步骤根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态：获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；根据所述三维变换参数确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态调整模块包括：
三维姿态获取单元，用于获取所述待融合图像中人脸的三维姿态；
调整参数计算单元，用于根据所述模板图像中人脸的三维姿态和所述待融合图像中人脸的三维姿态计算姿态调整参数；
三维姿态调整单元，用于根据所述姿态调整参数对所述待融合图像中的人脸进行三维姿态调整。
在本公开的一种示例性实施例中，所述三维姿态获取单元通过下述步骤获取所述待融合图像中人脸的三维姿态：对所述待融合图像进行人脸特征点识别；根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态获取单元通过下述步骤根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态：获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；根据所述三维变换参数确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述指定特征点包括：人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点。
在本公开的一种示例性实施例中，所述二维姿态调整模块包括：
第一方向确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一参考线和第二参考线；其中，所述第一参考线和第二参考线相交；
第二方向确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一参考线和所述第二参考线；
方向调整单元，用于调整所述第一图像，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。
在本公开的一种示例性实施例中，所述人脸包括第一区域和第二区域；所述二维姿态调整模块包括：
第一比例确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的所述第一区域和第二区域的比例；
第二比例确定单元，用于根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例；
比例调整单元，用于调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致。
在本公开的一种示例性实施例中，所述装置还包括：
第一区域确定模块，用于确定所述模板图像中人脸所在区域；
第二区域确定模块，用于确定所述待融合图像中人脸所在区域；
颜色信息迁移模块，用于将所述模板图像中人脸所在区域的颜色信息迁移到所述待融合图像中人脸所在区域。
在本公开的一种示例性实施例中，所述图像融合模块包括：
目标特征点确定单元，用于在所述模板图像的人脸区域和第二图像的人脸区域分别选取源特征点，并基于形变参数以及所述源特征点确定目标特征点；
第一仿射变换单元，用于根据所述模板图像的源特征点以及所述目标特征点对所述模板图像的人脸区域进行仿射变换，得到第三图像；
第二仿射变换单元，用于根据所述第二图像的源特征点以及所述目标特征点对所述第二图像的人脸区域进行仿射变换，得到第四图像；
第一融合单元，用于将所述第三图像和所述第四图像进行融合得到所述目标图像。
在本公开的一种示例性实施例中，所述第一融合单元通过下述步骤将所述第三图像和所述第四图像进行融合得到所述目标图像：根据融合参数，将所述第四图像中的人脸区域融合到所述第三图像中的人脸区域，得到第五图像；生成融合掩膜，基于所述融合掩膜将所述第五图像融合到所述模板图像，得到所述目标图像；其中，所述融合掩膜与所述模板图像大小一致且在所述第五图像中人脸区域边界处渐变模糊。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的图像融合方法中，在根据模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整的基础上，进一步对待融合图像中的人脸进行二维姿态微调，从而确保待融合图像中人脸和模板图像中人脸的姿态一致，进而使得人脸融合结果更加自然，同时避免出现扭曲和偏移等瑕疵。此外，由于减少了对于待融合图像中人脸的姿态的限制，因此相比于现有技术可以无需增加过多的取像姿态引导信息，进而可以在优化用户体验的同时减少计算资源的消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种图像融合方法及装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的图像融合方法的流程图；
图4示意性示出了根据本公开的一个实施例中获取模板图像中人脸三维姿态的步骤的流程图；
图5示意性示出了根据本公开的一个实施例中人脸特征点的示意图；
图6示意性示出了根据本公开的一个实施例中获取模板图像中人脸三维姿态的步骤的流程图；
图7示意性示出了根据本公开的一个实施例中对待融合模板图像中人脸三维姿态进行调整的步骤的流程图；
图8示意性示出了根据本公开的一个实施例中人脸在三维空间内的角度示意图；
图9示意性示出了根据本公开的一个实施例中进行二维方向对齐的步骤的流程图；
图10示意性示出了根据本公开的一个实施例中指定特征点的示意图；
图11示意性示出了根据本公开的一个实施例中确定人脸水平方向和垂直方向的示意图；
图12示意性示出了根据本公开的一个实施例中确定人脸左右脸比例的示意图；
图13示意性示出了根据本公开的一个实施例中确定人脸左右脸比例的示意图；
图14示意性示出了根据本公开的一个实施例中进行颜色信息迁移的步骤的流程图；
图15示意性示出了根据本公开的一个实施例中进行图像变形的步骤的流程图；
图16示意性示出了根据本公开的一个实施例中进行图像融合的步骤的流程图；
图17示意性示出了根据本公开的一个实施例的图像融合方法的流程图；
图18示意性示出了根据本公开的一个实施例中待融合图像实例图；
图19示意性示出了根据本公开的一个实施例中模板图像实例图；
图20示意性示出了根据本公开的一个实施例中目标图像实例图；
图21示意性示出了根据本公开的一个实施例中对比图像实例图；
图22示意性示出了根据本公开的一个实施例的图像融合装置的框图；
图23示意性示出了根据本公开的一个实施例的图像融合方法的一种场景示意图；
图24示意性示出了根据本公开的一个实施例的图像融合方法的另一种场景示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像融合方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像融合方法一般由服务器105执行，相应地，图像融合装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的图像融合方法也可以由终端设备101、102、103执行，相应的，图像融合装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将待融合图像上传至服务器105，服务器通过本公开实施例所提供的图像融合方法将待融合图像中的人脸融合到模板图像得到目标图像，并将目标图像传输给终端设备101、102、103等。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3～图17所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
在图像融合技术中的人脸融合中，主要是将包含用户人脸的待融合图像中的脸部区域融合到包含模板人脸的模板图像中，以替换模板图像中的模板人脸；例如，将待融合图像中的脸部区域的像素点迁移到模板图像中对应的脸部区域。通过如Alpha Blending融合方法或者泊松融合方法等，可以将融合的人脸的边界隐形，使得融合的人脸可以和模板图像中的背景和谐地融为一体。这些方法可以支持用户人脸和模板人脸姿态相差不大时的人脸融合。
然而，在很多情况下用户拍照得到的待融合图像中人脸方向很难达到与模板人脸一致。由于人脸是三维立体结构，当姿态不一致时人脸融合结果会显的不自然或者出现其他问题。例如，当模板图像中的人脸是侧脸且待融合图像中的人脸是正脸时，由于模板图像中的侧脸有部分区域是不可见的，比如被挡住一侧鼻子，而待融合图像中的所有正脸区域都会融合到模板图像中，此时，模板图像中的侧脸与待融合图像中的正脸之间的人脸特征点会有偏差，强行进行融合会造成扭曲和偏移等瑕疵。
发明人尝试基于人脸姿态估计技术，对模板图像中的模板人脸的三维姿态和待融合图像中的用户人脸的三维姿态进行估计，然后再将用户人脸的姿态和模板人脸的姿态对齐，重新渲染生成的人脸；这样可以在很大程度上改善上述问题。但是，人脸姿态估计算法总是存在一定误差的，基于此技术的人脸融合结果仍然可能存在视觉上不自然的问题。
此外，还可以在应用程序中增加一些引导信息，提示用户以特定的姿态拍照从而使得取得的待融合图像中的用户人脸与模板人脸的姿态一致。例如，提示用户正视摄像头或者增加正面人脸框等辅助信息，引导用户使用正脸图像来进行融合。但这样使得用户的拍照姿态受限，不利于提升用户体验；同时，增加这些引导信息也会带来计算资源的消耗。
基于上述一个或多个问题，本示例实施方式提供了一种图像融合方法。该图像融合方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该图像融合方法可以包括以下步骤S310至步骤S340：
步骤S310.获取模板图像中人脸的三维姿态。
步骤S320.根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像。
步骤S330.获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像；
步骤S340.将所述第二图像和所述模板图像进行融合得到目标图像。
在本示例实施方式所提供的图像融合方法中，在根据模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整的基础上，进一步对待融合图像中的人脸进行二维姿态微调，从而确保待融合图像中人脸和模板图像中人脸的姿态一致，进而使得人脸融合结果更加自然，同时避免出现扭曲和偏移等瑕疵。此外，由于减少了对于待融合图像中人脸的姿态的限制，因此相比于现有技术可以无需增加过多的取像姿态引导信息，进而可以在优化用户体验的同时减少计算资源的消耗。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，获取模板图像中人脸的三维姿态。
本示例实施方式中，模板图像可以为预先选取的包括人脸的图像，例如模板图像可以是儿童照、军装照、古装照、卡通照等等，也可以是用户自定义的图像。模板图像可以是由服务商直接指定的一张图像，也可以是用户从多张模板图像中选择的一张图像。根据执行本示例实施方式中方法的终端的不同，模板图像可以是客户端向服务器发送请求之后，服务器回传给客户端的图像；也可以是存储在服务器本地的图像；还可以是客户端向服务器上传的图像等。模板图像中可以包含一张或多张人脸作为前景部分，还可以包括其他的内容作为背景部分，其中，该人脸可以是正面的人脸(即正脸)，或者其他任意角度的人脸(如侧脸)等。本示例性实施例中对于这些均不做特殊限定。
本示例实施方式中，可以通过多种方式获取模板图像中人脸的三维姿态。例如，参考图4所示，可以通过下述步骤S410以及步骤S420获取模板图像中人脸的三维姿态。其中：
在步骤S410中，对所述模板图像进行人脸特征点识别，将识别出的特征点记为L1。
本示例实施方式中，人脸特征点是指可以用于体现出人脸的轮廓以及纹理特征的一些像素点。参考图5所示，人脸特征点例如可以是人脸中五官特征点；其中五官可以包括脸型、眉毛、眼睛、鼻子和嘴。在一些示例性实施例中，人脸特征点也可以是灰度值与周边像素的灰度值的差异在预设范围内的像素点。人脸特征点的个数可以是106个、83个或68个等，具体个数可以根据实际需要进行灵活设置。本示例实施方式中，可以采用如ASM(ActiveShape Model，主动形状模型)特征提取算法、CPR(Cascaded Pose Regression，级联姿势回归)特征提取算法、FAST(Features from Accelerated Segment Test)特征提取算法或者基于深度学习的方法提取模板图像中的人脸特征点；且本示例性实施例中并不以此为限。
在步骤S420中，根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态，将确定的三维姿态记为P1。例如，参考图6所示，可通过下述步骤S610至步骤S630确定模板图像中人脸的三维姿态。其中：
在步骤S610中，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息。例如，可以通过对多个用户各自不同表情的样本人脸图像进行人脸特征点检测，得到二维坐标集合，并根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合，然后根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底，此时可以根据第一基底和第二基底构建预设三维人脸基底。在获取预设三维人脸基底之后，则可以将其映射在二维平面内，并获取其在二维平面内的映射坐标信息。
在步骤S620中，将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数。例如，可以获取映射坐标信息和二维坐标信息之间的偏差，根据偏差对预设三维人脸基底进行三维变换，以便获取偏差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。
在步骤S630中，根据所述三维变换参数确定所述模板图像中人脸的三维姿态。例如，可以根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角，并根据俯仰角、偏航角和翻滚角确定人脸在三维空间中不同方向上的旋转角度，根据旋转角度确定二维人脸图像中的人脸姿态等。
本领域技术人员容易理解的是，在本公开的其他示例性实施例中，也可以采用其他方法进行人脸三维姿态估计，例如，在二维坐标系下，通过几何方法计算显著的特征点之间相互的距离和比例关系，推算出人脸的三维姿态等；这些同样属于本公开的保护范围。
在步骤S320中，根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像。
本示例实施方式中，待融合图像可以包含一张或多张人脸作为前景部分，还可以包括其他的内容作为背景部分，其中，该人脸可以是正面的人脸(即正脸)，或者任意角度的人脸(即侧脸)等。待融合图像可以是用户通过图像采集设备自行采集获得，也可以通过其他途径获取。本示例性实施例中对于这些均不做特殊限定。
参考图7所示，本示例实施方式中可以通过如图7所示的步骤S710至步骤S730对待融合图像中的人脸进行三维姿态调整。其中：
在步骤S710中，获取所述待融合图像中人脸的三维姿态。本示例实施方式中，可以通过多种方式获取待融合图像中人脸的三维姿态。例如，与上述步骤S410以及步骤S420类似，本示例实施方式中可以首先对所述待融合图像进行人脸特征点识别，将识别出的特征点记为L2。其次，根据所述人脸特征点L2的二维坐标信息确定所述待融合图像中人脸的三维姿态，将确定的三维姿态记为P2；举例而言：首先获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；然后将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；最后根据所述三维变换参数确定所述待融合图像中人脸的三维姿态。由于上述过程与步骤S610至步骤S630类似，因此此处不再重复赘述。
在步骤S720中，根据所述模板图像中人脸的三维姿态和所述待融合图像中人脸的三维姿态计算姿态调整参数。
参考图8所示，人脸的三维姿态可以通过在三维空间中的X轴、Y轴以及Z轴方向上的旋转角度来进行表示；其中，Roll为滚转角，表示人脸在X轴上旋转的角度；Pitch为俯仰角，表示人脸在Y轴上旋转的角度；Yaw为偏航角，表示人脸在Z轴上旋转的角度。例如，所述模板图像中人脸的三维姿态在三维空间中的X轴、Y轴以及Z轴方向上的旋转角度分别为x1角度、y1角度以及z1角度；所述待融合图像中人脸的三维姿态在三维空间中的X轴、Y轴以及Z轴方向上的旋转角度分别为x2角度、y2角度以及z2角度。进而，可以根据角度x1、y1、z1以及角度x2、y2、z2计算姿态调整参数，例如，姿态调整参数为在X轴方向上旋转x3角度、在Y轴方向上旋转y3角度以及在Z轴方向上旋转的z3角度。
在步骤S730中，根据所述姿态调整参数对所述待融合图像中的人脸进行三维姿态调整。
在得到姿态调整参数之后，可以将姿态调整参数应用到待融合图像中的人脸区域，控制待融合图像中的人脸在三维空间的X轴方向上旋转x3角度、在Y轴方向上旋转的y3角度以及在Z轴方向上旋转的z3角度，进而与模板图像中人脸的三维姿态一致。例如，当待融合图像中的人脸为正脸，且模板图像中的人脸为侧脸时，为了使得待融合图像中人脸的姿态与模板图中人脸姿态一致，可以基于模板图像中侧脸在三维空间中相对于正脸的姿态调整参数，对待融合图像中的正脸进行旋转，得到第一图像；第一图像中的人脸为侧脸。
进一步的，在通过对待融合图像中的人脸进行三维姿态调整得到第一图像之后，还可以对第一图像中人脸进行预处理，例如通过亮度调节方式，使得第一图像中人脸上的光照环境保持与模板图像相当等。此外，在本公开的其他示例性实施例中，也可以通过其他方式对待融合图像中的人脸进行三维姿态调整，例如，通过基于BFM(Basel Face Model，贝塞尔人脸模型)的人脸三维姿态调整方法对待融合图像中的人脸进行三维姿态调整等，本示例性实施例中并不以此为限。
在步骤S330中，获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像。
在上述步骤S320中，虽然对待融合图像中的人脸进行了三维姿态调整；但由于人脸姿态估计算法总是存在一定误差的，因此在三维姿态调整之后，也无法确保第一图像中的人脸和模板图像中人脸的姿态一致，进而导致人脸融合结果仍然可能存在视觉上不自然的问题。经过发明人的实践以及实验发现，滚转角(Yaw)误差以及偏航角(Roll)误差更容易在融合结果被观察到。而这两个姿态角度误差则可以在本步骤中通过二维姿态调整解决。
参考图9所示，本示例实施方式中，可以通过下述步骤S910至步骤S930对所述第一图像中人脸进行二维姿态调整。其中：
在步骤S910中，根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一参考线和第二参考线；其中，所述第一参考线和第二参考线相交。
参考图10所示，本示例实施方式中，所述指定特征点可以包括人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点；指定特征点可以是中上述步骤中提取到的人脸特征点中选取，也可以直接从人脸区域中提取。当然在本公开的其他示例性实施例中，也可以选择其他特征点作为指定特征点，例如，选择嘴唇中心点、双眼中心点等；这同样属于本公开保护范围。
本示例实施方式中，以所述第一参考线为人脸水平方向、第二参考线为人脸垂直方向为例，通过上述四个特征点，即可以确定人脸的水平方向和垂直方向。例如，参考图11所示，通过上述四个指定特征点中的人脸轮廓左起点以及人脸轮廓右起点的连线可以确定人脸水平方向，通过上述四个指定特征点中的鼻梁中心点以及下巴点的连线可以确定人脸垂直方向。当然在本公开的其他示例性实施例中，也可以选择其他方向的连线作为上述第一参考线和第二参考线，这同样属于本公开保护范围。
在步骤S920中，根据所述模板图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一参考线和所述第二参考线。该步骤与上述步骤S910流程类似，因此此处不再重复赘述。
在步骤S930中，调整所述第一图像，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。
本示例实施方式中，可以将一个或多个上述指定特征点固定，并调整其他指定特征点，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。例如，将第一图像中的人脸鼻梁中心点固定，调整第一图像中的人脸轮廓左起点、人脸轮廓右起点以及下巴点，使得第一图像中人脸和模板图像中人脸的第一参考线对齐以及使得第一图像中人脸和模板图像中人脸的第二参考线对齐。在调整完指定特征点之后，可以对其他第一图像人脸区域的其他像素点进行仿射变换，完成方向对齐。
参考图12所示，本示例实施方式中，还可以通过下述步骤S1210至步骤S1230对所述第一图像中人脸继续进行二维姿态调整。其中：
在步骤S1210中，根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的所述第一区域和第二区域的比例。
参考图10所示，本示例实施方式中，所述指定特征点可以包括人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点。当然在本公开的其他示例性实施例中，也可以选择其他特征点作为指定特征点，例如，选择嘴唇中心点、双眼中心点等；这同样属于本公开保护范围。
以第一区域为左脸区域、第二区域为右脸区域为例，本示例实施方式中，通过上述四个特征点，可以确定人脸的左右脸的面积比例。例如，参考图13所示，可以获取人脸轮廓左起点到鼻梁中心点之间的距离S1以及人脸轮廓右起点到鼻梁中心点之间的距离S2，进而通过距离S1和距离S2之间的比例表示左右脸比例。当然在本公开的其他示例性实施例中，也可以通过其他方式确定左右脸比例，例如，通过左侧指定特征点为顶点构成的多边形的面积与右侧指定特征点为顶点构成的多边形的面积之间的比例确定左右脸比例等；这些同样属于本公开保护范围。此外，在本公开的其他示例性实施例中，第一区域和第二区域也可以为通过其他方式划分的两个区域，本示例性实施例中并不以此为限。
在步骤S1220中，根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例。该步骤与上述步骤S1210流程类似，因此此处不再重复赘述。
在步骤S1230中，调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致。
本示例实施方式中，可以将一个或多个上述指定特征点固定，并调整其他指定特征点，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致。以第一区域为左脸区域、第二区域为右脸区域为例，可以将第一图像中的人脸鼻梁中心点固定，调整第一图像中的人脸轮廓左起点、人脸轮廓右起点以及下巴点，使所述第一图像中人脸的左脸区域和右脸区域的比例和所述模板图像中人脸的左脸区域和右脸区域的比例一致。在调整完指定特征点之后，可以对其他第一图像人脸区域的其他像素点进行仿射变换，完成左右脸比例的调整。
在本公开的一些示例性实施例中，还可以在通过调整指定特征点，实现方向对齐和左右脸比例调整之后，再一次性对第一图像人脸区域的其他像素点进行仿射变换，完成二维姿态的调整；这样则可以减少一次仿射变换运算，从而提升运算速度，减少计算资源消耗。
本示例实施方式中，对于待融合图像和模板图像的融合，可以包括姿态调整、颜色迁移以及融合优化；其中融合优化又包括形变步骤以及融合优化步骤。在上述步骤中已经对姿态调整进行了详细的介绍。颜色迁移主要是指将模板图像中人脸所在区域的颜色信息迁移到待融合图像中人脸所在区域，颜色迁移可以在姿态调整之前进行，也可以在姿态调整之后进行，还可以在形变步骤之后进行，本示例性实施例中对此不做特殊限定。参考图14所示，以在对待融合图像中的人脸进行三维姿态调整之前进行颜色信息迁移为例，本示例实施方式中的方法还可以包括步骤S1410至步骤S1430。其中：
在步骤S1410中，确定所述模板图像中人脸所在区域。举例而言，参考图5所示，人脸特征点例如可以是人脸中五官特征点；在通过特征提取算法提取到模板图像中的人脸特征点之后，可以将以五官特征点为顶点构成的面积最大的多边形确定为模板图像中人脸所在区域Ω1。
在步骤S1420中，确定所述待融合图像中人脸所在区域。举例而言，参考图5所示，人脸特征点例如可以是人脸中五官特征点；在通过特征提取算法提取到待融合图像中的人脸特征点之后，可以将以五官特征点为顶点构成的面积最大的多边形确定为待融合图像中人脸所在区域Ω2。
在步骤S1430中，将所述模板图像中人脸所在区域Ω1的颜色信息迁移到所述待融合图像中人脸所在区域Ω2。本公开中可以通过多种方式进行颜色信息迁移，本示例性实施例中对此不做特殊限定。下面举一例进行说明：
例如，首先将颜色空间由RGB通道转换至Lab(L表示明度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围)通道；转换之后，模板图像中人脸所在区域Ω1在L通道的灰度均值为μ1L、方差为σ1L，在a通道的灰度均值为μ1a、方差为σ1a，在b通道的灰度均值为μ1b、方差为σ1b。待融合图像中人脸所在区域Ω2在L通道的灰度均值为μ2L、方差为σ2L，在a通道的灰度均值为μ2a、方差为σ2a，在b通道的灰度均值为μ2b、方差为σ2b。则进行色彩迁移后，待融合图像中人脸所在区域Ω2中任意一像素点(x,y)处的Lab值如下：
L(x,y)＝(σ1L/σ2L)*(L(x,y)’-μ2L)+μ1L
a(x,y)＝(σ1a/σ2a)*(a(x,y)’-μ2a)+μ1a
b(x,y)＝(σ1b/σ2b)*(b(x,y)’-μ2b)+μ1b
其中，L(x,y)’、a(x,y)’以及b(x,y)’为颜色信息迁移前，待融合图像中人脸所在区域Ω2中像素点(x,y)处的Lab值。
在步骤S340中，将所述第二图像和所述模板图像进行融合得到目标图像。参考图15所示，本示例实施方式中，该步骤可以包括下述步骤S1510至步骤S1540。其中：
在步骤S1510中，在所述模板图像的人脸区域和第二图像的人脸区域分别选取源特征点，并基于形变参数以及所述源特征点确定目标特征点。
本示例实施方式中，可以将模板图像中提取的人脸特征点L1作为模板图像的源特征点，将第二图像中提取的人脸特征点L2’作为第二图像的源特征点；则目标特征点L可以为L＝s*L1+(1-s)*L2’；其中，s为形变参数，是0到1之间的浮点数，可以用于表示形变的强度；例如，s越大，模板图像中人脸的形变强度越低、第二图像中人脸的形变强度越高；s越小，模板图像中人脸的形变强度越高、第二图像中人脸的形变强度越低。此外，在其他示例性实施例中，也可以选取人脸特征点之外的点作为源特征点，本示例性实施例中对此不做特殊限定。
在步骤S1520中，根据所述模板图像的源特征点以及所述目标特征点对所述模板图像的人脸区域进行仿射变换，得到第三图像。
在确定目标特征点之后，则可以以模板图像中提取的人脸特征点L1作为模板图像的源特征点，以确定的目标特征点L为目标特征点进行仿射变换。仿射变换可以通过一系列的原子变换的复合来实现，包括平移、缩放、翻转、旋转。本示例实施方式中，通过仿射变换可以保持在形变过程中，模板图像中人脸五官等关键特征的之间的相对位置关系不变。
在步骤S1530中，根据所述第二图像的源特征点以及所述目标特征点对所述第二图像的人脸区域进行仿射变换，得到第四图像。
在确定目标特征点之后，则可以以第二图像中提取的人脸特征点L2’作为第二图像的源特征点，以确定的目标特征点L为目标特征点进行仿射变换。仿射变换可以通过一系列的原子变换的复合来实现，包括平移、缩放、翻转、旋转。本示例实施方式中，通过仿射变换可以保持在形变过程中，第二图像中人脸五官等关键特征的之间的相对位置关系不变。
在步骤S1540中，将所述第三图像和所述第四图像进行融合得到所述目标图像。参考图16所示，本示例实施方式中可以通过下述步骤S1610以及步骤S1620得到所述目标图像。其中：
在步骤S1610中，根据融合参数，将所述第四图像中的人脸区域融合到所述第三图像中的人脸区域，得到第五图像。
举例而言，将第三图像记为F1，第三图像中人脸区域为前景部分，记为F1f，人脸区域之外的部分为背景部分，记为F1b。将第四图像记为F2，第四图像中人脸区域为前景部分，记为F2f，人脸区域之外的部分为背景部分，记为F2b。经过上述步骤S1510至步骤S1530的变形之后，第四图像的人脸区域F2b已经与第三图像的人脸区域F1b在形状上基本一致；因此，可以通过下述公式确定融合之后的得到的第五图像中的人脸区域F：
F＝m*F1f+(1-m)*F2f
其中，m为融合参数，是0到1之间的浮点数，可以用于表示融合时的透明度；例如，m越大，第三图像中人脸区域的透明度越高、第四图像中人脸区域的透明度越低；m越小，第三图像中人脸区域的透明度越低、第四图像中人脸区域的透明度越高。
在步骤S1620中，生成融合掩膜，基于所述融合掩膜将所述第五图像融合到所述模板图像，得到所述目标图像；其中，所述融合掩膜与所述模板图像大小一致且在所述第五图像中人脸区域边界处渐变模糊。
在将人脸区域进行融合之后，人脸区域与背景部分可能存在融合不和谐的问题。因此，本示例实施方式中，可以生成一融合掩膜M，其中融合掩膜M与模板照片的大小相同；并且，融合掩膜M在第五图像中人脸区域的边界处渐变模糊。例如，将第五图像中人脸区域记为Ω，则可以将融合掩膜M在Ω区域内的透明度赋值为1，即完全透明；将融合掩膜M中与Ω区域边界处的像素欧式距离大于阈值的区域的透明度赋值为0；将融合掩膜M的其余区域的透明度赋值为0～1，并且，距离Ω区域边界越近赋值越大，如赋值随与着Ω区域边界的距离线性变化。在生成融合掩膜M之后，则可以基于所述融合掩膜将所述第五图像融合到所述模板图像得到目标图像R，例如，R＝M*F+(1-M)*F1b。
在上述步骤中，对最后的融合优化过程进行了举例说明。但在本公开的其他示例性实施例中，也可以通过如泊松融合等其他方式进行融合优化，这同样属于本公开的保护范围。
参考图17所示，为本示例实施方式中方法的一个具体应用举例。其中，在步骤S1711中，获取待融合图像，待融合图像例如如图18所示；在步骤S1712中，获取模板图像，模板图像例如如图19所示；在步骤S1713中，对待融合图像进行人脸特征提取，得到人脸特征L1；在步骤S1714中，对模板图像进行人脸特征提取，得到人脸特征L2；在步骤S1715中，基于人脸特征L1确定人脸区域Ω1，并基于人脸特征L2确定人脸区域Ω2，然后将人脸区域Ω2中的颜色信息迁移到人脸区域Ω1；在步骤S1716中，基于人脸特征L1对待融合图像中人脸进行三维姿态估计，获取三维姿态P1；在步骤S1717中，基于人脸特征L2对模板图像中人脸进行三维姿态估计，获取三维姿态P2；在步骤S1718中，基于三维姿态P2以及三维姿态P1对待融合图像中人脸进行三维姿态调整，使得待融合图像中人脸的三维姿态为三维姿态P2；在步骤S1719中，对待融合图像中人脸与模板图像中人脸进行水平方向以及垂直方向的对齐，同时对待融合图像中人脸的左右脸比例进行调整，使得左右脸比例与模板图像中人脸一致，完成对待融合图像中人脸的二维姿态调整；在步骤S1720中，基于形变参数对待融合图像中人脸区域进行形变；在步骤S1721中，基于形变参数对模板图像中人脸区域进行形变；在步骤S1722中，基于融合参数，将待融合图像中人脸区域与模板图像中人脸区域进行融合；在步骤S1723中，通过融合掩模将人脸区域和模板图像的背景部分和谐的融合在一起，得到目标图像；目标图像例如如图20所示。参考图21，为未经过上述步骤S1719的二维姿态调整而融合得到的对比图像；可以看出，相比于通过本示例实施方式中方法得到的目标图像(图20)而言，对比图像存在融合不自然的问题；也即，通过本示例实施方式中的方法，可以使得人脸融合结果更加自然，同时避免出现扭曲和偏移等瑕疵。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种图像融合装置。该图像融合装置可以应用于一服务器或终端设备。参考图22所示，该图像融合装置2200可以包括三维姿态获取模块2210、三维姿态调整模块2220、二维姿态调整模块2230以及图像融合模块2240。其中：
三维姿态获取模块2210，用于获取模板图像中人脸的三维姿态；
三维姿态调整模块2220，用于根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；
二维姿态调整模块2230，用于获取所述模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对所述第一图像中人脸进行二维姿态调整，得到第二图像；
图像融合模块2240，用于将所述第二图像和所述模板图像进行融合得到目标图像。
在本公开的一种示例性实施例中，所述三维姿态获取模块2210包括：
特征点提取单元，用于对所述模板图像进行人脸特征点识别；
三维姿态确定单元，用于根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态确定单元通过下述步骤根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态：获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；根据所述三维变换参数确定所述模板图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态调整模块2220包括：
三维姿态获取单元，用于获取所述待融合图像中人脸的三维姿态；
调整参数计算单元，用于根据所述模板图像中人脸的三维姿态和所述待融合图像中人脸的三维姿态计算姿态调整参数；
三维姿态调整单元，用于根据所述姿态调整参数对所述待融合图像中的人脸进行三维姿态调整。
在本公开的一种示例性实施例中，所述三维姿态获取单元通过下述步骤获取所述待融合图像中人脸的三维姿态：对所述待融合图像进行人脸特征点识别；根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述三维姿态获取单元通过下述步骤根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态：获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；根据所述三维变换参数确定所述待融合图像中人脸的三维姿态。
在本公开的一种示例性实施例中，所述指定特征点包括：人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点。
在本公开的一种示例性实施例中，所述二维姿态调整模块2230包括：
第一方向确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一参考线和第二参考线；其中，所述第一参考线和第二参考线相交；
第二方向确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一参考线和所述第二参考线；
方向调整单元，用于调整所述第一图像，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。
在本公开的一种示例性实施例中，所述人脸包括第一区域和第二区域；所述二维姿态调整模块2230包括：
第一比例确定单元，用于根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的所述第一区域和第二区域的比例；
第二比例确定单元，用于根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例；
比例调整单元，用于调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致。
在本公开的一种示例性实施例中，所述装置还包括：
第一区域确定模块，用于确定所述模板图像中人脸所在区域；
第二区域确定模块，用于确定所述待融合图像中人脸所在区域；
颜色信息迁移模块，用于将所述模板图像中人脸所在区域的颜色信息迁移到所述待融合图像中人脸所在区域。
在本公开的一种示例性实施例中，所述图像融合模块2240包括：
目标特征点确定单元，用于在所述模板图像的人脸区域和第二图像的人脸区域分别选取源特征点，并基于形变参数以及所述源特征点确定目标特征点；
第一仿射变换单元，用于根据所述模板图像的源特征点以及所述目标特征点对所述模板图像的人脸区域进行仿射变换，得到第三图像；
第二仿射变换单元，用于根据所述第二图像的源特征点以及所述目标特征点对所述第二图像的人脸区域进行仿射变换，得到第四图像；
第一融合单元，用于将所述第三图像和所述第四图像进行融合得到所述目标图像。
在本公开的一种示例性实施例中，所述第一融合单元通过下述步骤将所述第三图像和所述第四图像进行融合得到所述目标图像：根据融合参数，将所述第四图像中的人脸区域融合到所述第三图像中的人脸区域，得到第五图像；生成融合掩膜，基于所述融合掩膜将所述第五图像融合到所述模板图像，得到所述目标图像；其中，所述融合掩膜与所述模板图像大小一致且在所述第五图像中人脸区域边界处渐变模糊。
上述图像融合装置中各模块或单元的具体细节已经在对应的图像融合方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
参考图23所示，为本公开示例性实施例中所提供的图像融合方法的一种场景示意图，其中，图像融合装置具体可以集成在平板电脑、手机、笔记本电脑或者台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中，该终端可以用于接收用户输入的图像融合指令，基于图像融合指令获取待融合图像，该待融合图像包含用户的人脸，例如，可以向服务器发送图像获取请求，并接收服务器基于返回的待融合图像；或者通过摄像头采集用户的图像，得到待融合图像；或者从本地存储的图像中选取待融合图像等。该终端可以向服务器请求模板图像，服务器响应终端的请求向终端回传模板图像(在一些示例性实施例中，模板图像也可以是存储在终端本地的图像)；终端在接收到模板图像之后，获取模板图像中人脸的三维姿态，接着根据模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；然后获取模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对第一图像中人脸进行二维姿态调整，得到第二图像；最后将第二图像和模板图像进行融合得到目标图像等。
参考图24所示，为本公开示例性实施例中所提供的图像融合方法的另一种场景示意图，其中，图像融合装置具体可以运行在具备储存单元并安装有处理器而具有运算能力的服务器中；服务器可以为单台服务器、也可以为多个服务器组成的服务器集群、还可以是云服务器等。图示中的终端可以用于接收用户输入的图像融合指令，基于图像融合指令获取待融合图像并发送至服务器，该待融合图像包含用户的人脸，例如，可以通过摄像头采集用户的图像，得到待融合图像；或者从本地存储的图像中选取待融合图像等。服务器在接收到待融合图像之后，对服务器本地存储模板图像(在一些示例性实施例中，模板图像也可以通过终端上传而获得)进行人脸三维姿态估计，接着根据模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；然后获取模板图像中人脸和第一图像中人脸的指定特征点，基于所述指定特征点对第一图像中人脸进行二维姿态调整，得到第二图像；接着将第二图像和模板图像进行融合得到目标图像，最后将目标图像回传给终端等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像融合方法，其特征在于，包括：
获取模板图像中人脸的三维姿态；
根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；
获取所述模板图像中人脸和第一图像中人脸的指定特征点；
根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一区域和第二区域的比例；
根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例；
调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致，得到第二图像；
将所述第二图像和所述模板图像进行融合得到目标图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述获取模板图像中人脸的三维姿态，包括：
对所述模板图像进行人脸特征点识别；
根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态。
3.根据权利要求2所述的图像融合方法，其特征在于，所述根据所述人脸特征点的二维坐标信息确定所述模板图像中人脸的三维姿态，包括：
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述模板图像中人脸的三维姿态。
4.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，包括：
获取所述待融合图像中人脸的三维姿态；
根据所述模板图像中人脸的三维姿态和所述待融合图像中人脸的三维姿态计算姿态调整参数；
根据所述姿态调整参数对所述待融合图像中的人脸进行三维姿态调整。
5.根据权利要求4所述的图像融合方法，其特征在于，所述获取所述待融合图像中人脸的三维姿态，包括：
对所述待融合图像进行人脸特征点识别；
根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态。
6.根据权利要求5所述的图像融合方法，其特征在于，所述根据所述人脸特征点的二维坐标信息确定所述待融合图像中人脸的三维姿态，包括：
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述待融合图像中人脸的三维姿态。
7.根据权利要求1所述的图像融合方法，其特征在于，所述指定特征点包括：人脸轮廓左起点、人脸轮廓右起点、鼻梁中心点以及下巴点。
8.根据权利要求1所述的图像融合方法，其特征在于，在获取所述模板图像中人脸和第一图像中人脸的指定特征点之后，所述方法还包括：
根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一参考线和第二参考线；其中，所述第一参考线和第二参考线相交；
根据所述模板图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一参考线和所述第二参考线；
调整所述第一图像，使所述第一图像中人脸和所述模板图像中人脸的第一参考线对齐以及使所述第一图像中人脸和所述模板图像中人脸的第二参考线对齐。
9.根据权利要求1所述的图像融合方法，其特征在于，在对待融合图像中的人脸进行三维姿态调整之前，所述方法还包括：
确定所述模板图像中人脸所在区域；
确定所述待融合图像中人脸所在区域；
将所述模板图像中人脸所在区域的颜色信息迁移到所述待融合图像中人脸所在区域。
10.根据权利要求1所述的图像融合方法，其特征在于，将所述第二图像和所述模板图像进行融合得到目标图像，包括：
在所述模板图像的人脸区域和第二图像的人脸区域分别选取源特征点，并基于形变参数以及所述源特征点确定目标特征点；
根据所述模板图像的源特征点以及所述目标特征点对所述模板图像的人脸区域进行仿射变换，得到第三图像；
根据所述第二图像的源特征点以及所述目标特征点对所述第二图像的人脸区域进行仿射变换，得到第四图像；
将所述第三图像和所述第四图像进行融合得到所述目标图像。
11.根据权利要求10所述的图像融合方法，其特征在于，将所述第三图像和所述第四图像进行融合得到所述目标图像，包括：
根据融合参数，将所述第四图像中的人脸区域融合到所述第三图像中的人脸区域，得到第五图像；
生成融合掩膜，基于所述融合掩膜将所述第五图像融合到所述模板图像，得到所述目标图像；其中，所述融合掩膜与所述模板图像大小一致且在所述第五图像中人脸区域边界处渐变模糊。
12.一种图像融合装置，其特征在于，包括：
三维姿态获取模块，用于获取模板图像中人脸的三维姿态；
三维姿态调整模块，用于根据所述模板图像中人脸的三维姿态对待融合图像中的人脸进行三维姿态调整，得到第一图像；
二维姿态调整模块，用于获取所述模板图像中人脸和第一图像中人脸的指定特征点，根据所述模板图像中人脸的指定特征点，确定所述模板图像中人脸的第一区域和第二区域的比例；根据所述第一图像中人脸的指定特征点，确定所述第一图像中人脸的所述第一区域和第二区域的比例；调整所述第一图像，使所述第一图像中人脸的所述第一区域和第二区域的比例与所述模板图像中人脸的所述第一区域和第二区域的比例一致，得到第二图像；
图像融合模块，用于将所述第二图像和所述模板图像进行融合得到目标图像。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的方法。
CN201910411369.4A 2019-05-16 2019-05-16 图像融合方法及装置、存储介质、电子设备 Active CN110189248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910411369.4A CN110189248B (zh) 2019-05-16 2019-05-16 图像融合方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411369.4A CN110189248B (zh) 2019-05-16 2019-05-16 图像融合方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN110189248A CN110189248A (zh) 2019-08-30
CN110189248B true CN110189248B (zh) 2023-05-02

Family

ID=67716645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411369.4A Active CN110189248B (zh) 2019-05-16 2019-05-16 图像融合方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN110189248B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599395B (zh) * 2019-09-17 2023-05-12 腾讯科技（深圳）有限公司 目标图像生成方法、装置、服务器及存储介质
CN110956592B (zh) * 2019-11-14 2023-07-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
TWI758662B (zh) * 2019-11-27 2022-03-21 國立中央大學 用於人臉辨識的訓練資料產生方法及資料產生裝置
US11170203B2 (en) 2019-11-27 2021-11-09 National Central University Training data generation method for human facial recognition and data generation apparatus
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
US11695718B2 (en) 2019-12-31 2023-07-04 Snap Inc. Post-capture processing in a messaging system
US11750546B2 (en) 2019-12-31 2023-09-05 Snap Inc. Providing post-capture media overlays for post-capture processing in a messaging system
US11164353B2 (en) * 2019-12-31 2021-11-02 Snap Inc. Layering of post-capture processing in a messaging system
CN111598813B (zh) * 2020-05-25 2023-05-19 抖音视界有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质
CN111652123B (zh) * 2020-06-01 2023-11-14 腾讯科技（深圳）有限公司 图像处理和图像合成方法、装置和存储介质
CN111861872A (zh) * 2020-07-20 2020-10-30 广州市百果园信息技术有限公司 图像换脸方法、视频换脸方法、装置、设备和存储介质
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112233018B (zh) * 2020-09-22 2023-01-06 天津大学 基于三维形变模型的参考图引导的人脸超分辨率方法
CN113837925A (zh) * 2021-09-02 2021-12-24 广州繁星互娱信息科技有限公司 人脸素材融合方法和装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876705A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 图像合成的方法、装置及计算机存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770649B (zh) * 2008-12-30 2012-05-02 中国科学院自动化研究所 一种人脸图像自动合成方法
CN105069746B (zh) * 2015-08-23 2018-02-16 杭州欣禾圣世科技有限公司 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN105741229B (zh) * 2016-02-01 2019-01-08 成都通甲优博科技有限责任公司 实现人脸图像快速融合的方法
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
CN106920274B (zh) * 2017-01-20 2020-09-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN108876886B (zh) * 2017-05-09 2021-07-27 腾讯科技（深圳）有限公司 图像处理方法、装置和计算机设备
CN109118233B (zh) * 2017-06-23 2022-04-19 百度在线网络技术（北京）有限公司 基于人脸识别的认证方法和装置
CN107316020B (zh) * 2017-06-26 2020-05-08 司马大大（北京）智能系统有限公司 人脸替换方法、装置及电子设备
CN108921795A (zh) * 2018-06-04 2018-11-30 腾讯科技（深圳）有限公司 一种图像融合方法、装置及存储介质
CN108985220B (zh) * 2018-07-11 2022-11-04 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876705A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 图像合成的方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN110189248A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110189248B (zh) 图像融合方法及装置、存储介质、电子设备
KR20210103435A (ko) 가상 객체 이미지 합성 방법, 장치, 전자 기기 및 저장 매체
CN110503703B (zh) 用于生成图像的方法和装置
JP7373554B2 (ja) クロスドメイン画像変換
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
US11308576B2 (en) Visual stylization on stereoscopic images
US9202309B2 (en) Methods and apparatus for digital stereo drawing
CN111294665B (zh) 视频的生成方法、装置、电子设备及可读存储介质
CN111832745B (zh) 数据增广的方法、装置及电子设备
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN113327278B (zh) 三维人脸重建方法、装置、设备以及存储介质
CN111008927B (zh) 一种人脸替换方法、存储介质及终端设备
CN112233212A (zh) 人像编辑与合成
KR102145220B1 (ko) 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN112330527A (zh) 图像处理方法、装置、电子设备和介质
CN111768356A (zh) 一种人脸图像融合方法、装置、电子设备及存储介质
EP4276754A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
KR20160144699A (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
US20200118333A1 (en) Automated costume augmentation using shape estimation
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
CN113766117B (zh) 一种视频去抖动方法和装置
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant