CN112257657A - 脸部图像融合方法及装置、存储介质、电子设备 - Google Patents
脸部图像融合方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN112257657A CN112257657A CN202011253172.1A CN202011253172A CN112257657A CN 112257657 A CN112257657 A CN 112257657A CN 202011253172 A CN202011253172 A CN 202011253172A CN 112257657 A CN112257657 A CN 112257657A
- Authority
- CN
- China
- Prior art keywords
- face
- fused
- template
- key points
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims description 50
- 238000013507 mapping Methods 0.000 claims description 44
- 230000001815 facial effect Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008602 contraction Effects 0.000 claims description 15
- 210000000697 sensory organ Anatomy 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 27
- 230000036544 posture Effects 0.000 description 61
- 230000008569 process Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 10
- 210000000887 face Anatomy 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种脸部图像融合方法及装置、存储介质、电子设备，涉及图像处理技术领域，该方法包括：根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。本公开提高了融合效率。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体而言，涉及一种脸部图像融合方法、脸部图像融合装置、计算机可读存储介质以及电子设备。
背景技术
将用户人脸图片移换到其他的人物或角色脸部模板图片中，从而生成兼具用户五官特征和模板角色外貌纹理信息的图片，该操作称为换脸或人脸融合。
目前的人脸融合或换脸方法，可以主要分为传统图像变换处理和深度学习模型生成两类。其中，传统图像变换处理，是通过手工地使用图像编辑工具进行脸部抠图和摆放；深度学习模型生成的方法，可以通过基于人脸检测与关键点定位结果的对人脸区域进行提取、变形对齐、颜色融合的二维图像变换处理的方法，在一定程度上实现人脸融合的自动化。
但是，上述方法存在如下缺陷：一方面，手工地使用图像编辑工具进行脸部抠图和摆放，对脸部轮廓和肤色适配的处理都比较粗糙，进而导致融合结果的精确度较低，且融合过程难以自动化实现；另一方面，二维图像变换处理的方法不能有效处理人脸姿态的差异性，非正脸姿态下的结果往往会出现五官扭曲过度的问题；再一方面，由于轮廓、姿态差异的影响，对应的脸部图像内容也差异较大，简单地融合会引起突兀的高亮和不正常的渐变色块效果。
因此，需要提供一种新的脸部图像融合方法及装置。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种脸部图像融合方法、脸部图像融合装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的融合结果的精确度较低的问题。
根据本公开的一个方面，提供一种脸部图像融合方法，包括：
根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
在本公开的一种示例性实施例中，所述脸部图像融合方法还包括：
提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点；
计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差；
根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。
在本公开的一种示例性实施例中，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，包括：
基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；
根据所述线性加权系数，对所述预设的三维人脸模型进行重建，得到重建后的三维人脸模型。
在本公开的一种示例性实施例中，所述重建后的三维人脸模型中，包括所述待融合脸的三维姿态信息以及人脸贴图信息；
其中，所述根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，包括：
根据所述待融合脸的三维姿态信息以及所述重建后的三维人脸模型，对空间三角面进行投影，得到所述待融合脸与所述人脸贴图信息中的三角面的对应关系；
基于所述待融合脸与所述人脸贴图信息中的三角面的对应关系，利用仿射变换将所述待融合脸中的纹理信息填充至所述人脸贴图信息中；
根据重建后的三维人脸模型、所述模板脸的三维姿态信息以及填充后的人脸贴图信息，生成与所述模板脸具有相近姿态的转脸图像。
在本公开的一种示例性实施例中，所述脸部图像融合方法还包括：
判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失空洞和/或侧脸纹理缺失；
在判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失和/或侧脸纹理缺失时，利用对称填充和/或空洞补全的方式对区域纹理缺失和/或侧脸纹理缺失的三角面进行修复。
在本公开的一种示例性实施例中，所述根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，包括：
提取所述模板脸的脸部关键点以及所述转脸图像的脸部关键点；
计算从所述模板脸的脸部关键点到所述转脸图像的脸部关键点之间的相似变换矩阵，并根据所述相似变换矩阵对所述转脸图像的脸部关键点以及所述模板脸的脸部关键点进行对齐；
根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
在本公开的一种示例性实施例中，所述根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分，包括：
根据预设的收缩比例系数以及所述待融合脸的脸部关键点，计算收缩版轮廓点；
根据所述收缩版轮廓点、所述对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
在本公开的一种示例性实施例中，所述脸部图像融合方法还包括：
根据所述收缩版轮廓点生成局部掩膜；
根据所述局部掩膜对所述第二版融合脸以及所述模板脸的背景肤色进行适配，得到目标融合结果。
在本公开的一种示例性实施例中，所述根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸，包括：
根据预设的形状融合参数以及所述关键点集进行形状融合；
根据预设的纹理融合参数以及与所述关键点集对应的三角剖分对应的三角形面片区域进行纹理融合；
根据形状融合结果、纹理融合结果以及所述转脸图像，生成所述第一版融合脸；
其中，所述预设的形状融合参数以及所述预设的纹理融合参数用于对所述第一版融合脸偏向于所述模板脸或者待融合脸的程度进行表征。
在本公开的一种示例性实施例中，所述将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸，包括：
获取包围所述模板脸的脸部关键点的凸包，以及与所述模板脸的脸部关键点的凸包对应的第一边缘点集；以及
获取包围所述第一版融合脸的脸部关键点的凸包，以及与所述第一版融合脸的脸部关键点的凸包对应的第二边缘点集；
计算所述第一边缘点集以及所述第二边缘点集之间的平面单应变换，得到所述单应性变换矩阵；
根据所述单应性变换矩阵将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
根据本公开的一个方面，提供一种脸部图像融合装置，包括：
转脸图像生成模块，用于根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
关键点集计算模块，用于根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
第一融合模块，用于根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
第二融合模块，用于将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的脸部图像融合方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的脸部图像融合方法。
本发明实施例提供的一种脸部图像融合方法及装置，一方面，通过根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与模板脸具有相近姿态的转脸图像；并根据模板脸的脸部关键点以及转脸图像的脸部关键点，计算模板脸与待融合脸的关键点集；再根据关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸，最后将第一版融合脸放回至模板脸的脸部区域处，得到第二版融合脸，解决了现有技术中由于手工地使用图像编辑工具进行脸部抠图和摆放，对脸部轮廓和肤色适配的处理都比较粗糙，进而导致融合结果的精确度较低，且融合过程难以自动化实现的问题，提高了融合脸的精确度，同时提高了融合效率；另一方面，通过根据模板脸的脸部关键点以及转脸图像的脸部关键点，计算模板脸与待融合脸的关键点集；再根据关键点集对模板脸和转脸图像进行融合生成第一版融合脸，解决了现有技术中由于二维图像变换处理的方法不能有效处理人脸姿态的差异性，非正脸姿态下的结果往往会出现五官扭曲过度的问题；再一方面，通过将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸，解决了现有技术中由于轮廓、姿态差异的影响，对应的脸部图像内容也差异较大，简单地融合会引起突兀的高亮和不正常的渐变色块效果的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本发明示例实施例的一种脸部图像融合方法的流程图。
图2示意性示出根据本发明示例实施例的一种基于ibug-68点得到的脸部图像示例图。
图3示意性示出根据本发明示例实施例的另一种脸部图像融合方法的流程图。
图4示意性示出根据本发明示例实施例的一种根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像的方法流程图。
图5根据本发明示例实施例的一种根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集的方法流程图。
图6示意性示出根据本发明示例实施例的另一种脸部图像融合方法的流程图。
图7示意性示出根据本发明示例实施例的一种待融合脸的示例图。
图8示意性示出根据本发明示例实施例的一种模板脸的示例图。
图9示意性示出根据本发明示例实施例的一种人脸融合结果的示例图。
图10示意性示出根据本发明示例实施例的一种脸部图像融合装置的框图。
图11示意性示出根据本发明示例实施例的一种用于实现上述脸部图像融合方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
将用户人脸图片移换到其他的人物或角色脸部模板图片中，从而生成兼具用户五官特征和模板角色外貌纹理信息的图片，该操作称为换脸或人脸融合。
最初的自动化人脸融合或换脸场景的输入是包含多个真实人脸的单张图片或多张单个真实人脸的图片，输出是将指定的源脸图像融合移换到目标脸位置后的结果图像。
随着影视、卡通动漫和游戏等文化娱乐产业的发展，包括角色扮演真人秀在内的各种真实或非真实角色，成为了人脸融合中热门的换脸目标模板。这些目标模板图的脸部区域有多样的风格以及多种不同的姿态。将用户人脸图自然地融合移换到模板脸中，能为用户生成个性化的平面形象，满足用户的虚拟扮演体验，增强代入感。
目前的人脸融合或换脸方法，可以主要分为传统图像变换处理和深度学习模型生成两类。
传统图像变换处理，早期的方法是手工地使用图像编辑工具进行脸部抠图和摆放，对脸部轮廓和肤色适配的处理都比较粗糙，且过程难以自动化实现。
随着人脸相关的机器学习技术的发展，基于人脸检测与关键点定位结果对人脸区域进行提取、变形对齐、颜色融合的二维图像变换处理方法被采用，一定程度上实现了人脸融合的自动化。但是，但该方法不能有效处理人脸姿态的差异性，非正脸姿态下的结果往往会出现五官扭曲过度的问题，且因轮廓、姿态差异影响，对应的脸部图像内容也差异较大，简单地使用泊松融合的效果也未能得到自然的结果，甚至会引入突兀的高亮和不正常的渐变色块效果。
基于三维人脸模型重建的方法需要对用户人脸进行脸部模型重建并投影到目标模板的位置中，并融合投影的脸部图像。但三维脸型与位姿投影参数的估计精度对结果有较大影响，虽然能一定程度上处理位姿变化，但引入了模型局限性导致的瑕疵，例如五官错位重影等问题，纹理融合上也存在与二维图像变换相似的问题。
深度学习方法通过训练图像生成模型完成换脸，有针对特定的源脸图像和目标脸图像进行训练的专用换脸模型，也有基于大量不同个体脸部数据训练的任意图像对换脸模型，深度模型对于训练数据能达到较好的换脸效果。但是，训练模型需要大量的专用脸或通用脸数据，对训练集以外的数据处理效果较差，目标个体脸部或风格的改变，都需要数据的重新采集，网络参数的重新训练与调优，大大增加了换脸功能部署的工作量和成本。
本示例实施方式中首先提供了一种脸部图像融合方法，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该脸部图像融合方法可以包括以下步骤：
步骤S110.根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
步骤S120.根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
步骤S130.根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
步骤S140.将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
上述脸部图像融合方法中，一方面，通过根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与模板脸具有相近姿态的转脸图像；并根据模板脸的脸部关键点以及转脸图像的脸部关键点，计算模板脸与待融合脸的关键点集；再根据关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸，最后将第一版融合脸放回至模板脸的脸部区域处，得到第二版融合脸，解决了现有技术中由于手工地使用图像编辑工具进行脸部抠图和摆放，对脸部轮廓和肤色适配的处理都比较粗糙，进而导致融合结果的精确度较低，且融合过程难以自动化实现的问题，提高了融合脸的精确度，同时提高了融合效率；
另一方面，通过根据模板脸的脸部关键点以及转脸图像的脸部关键点，计算模板脸与待融合脸的关键点集；再根据关键点集对模板脸和转脸图像进行融合生成第一版融合脸，解决了现有技术中由于二维图像变换处理的方法不能有效处理人脸姿态的差异性，非正脸姿态下的结果往往会出现五官扭曲过度的问题；
再一方面，通过将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸，解决了现有技术中由于轮廓、姿态差异的影响，对应的脸部图像内容也差异较大，简单地融合会引起突兀的高亮和不正常的渐变色块效果的问题。
以下，将结合附图对本发明示例实施例脸部图像融合方法中涉及的各步骤进行详细的解释以及说明。
首先，对本发明示例实施例的发明目的进行解释以及说明。
本发明示例实施例提供了一种支持多风格换脸模板的脸部图像融合方法，对于指定的不同风格和姿态的类人脸模板，包括但不限于真实或角色扮演真人秀的人脸、卡通角色脸以及游戏角色脸等，能快速地实现稳定自然的人脸融合效果；并且，在模板脸的预处理部分，可以使用脸部关键点检测和轻量的人工修正，便可自动化地实现后续的用户换脸流程。
进一步的，通过结合二维图像变换和三维人脸建模，能有效改善传统方法中因模板和用户脸姿态多样性导致的五官扭曲，纹理适配失真等问题。本方法与其他已有方法的不同点在于：
一方面，多风格模板预设与预处理，为了能快速有效实现对多风格模板的适配，需要对目标模板图像进行预设预处理，该预设预处理轻量快速，不需要深度学习方法的大量数据重新采集和模型重新训练调优的复杂流程。
另一方面，结合二维图像变换处理和三维人脸重建处理，有效处理不同肤色、大姿态的模板和输入用户脸，生成纹理和五官形状自然的融合结果。
其次，对本发明示例实施例涉及到的名词进行解释以及说明。
ibug-68，用于标注人脸的68点标记，具体可以参考图2所示。
以下，将对步骤S110-步骤S140进行解释以及说明。
在步骤S110中，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型。
在本示例实施例中，为了可以根据待融合脸的三维姿态信息对预设的三维人脸模型进行重建，首先需要计算待融合脸的三维姿态信息。具体的，参考图3所示，该脸部图像融合方法还可以包括步骤S310-步骤S330。其中：
在步骤S310中，提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点。
在步骤S320中，计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差。
在步骤S330中，根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。
以下，将对步骤S310-步骤S330进行解释以及说明。首先，采用机器学习或深度学习模型训练得到的通用人脸检测与关键点定位工具，得到用户人脸图片(待融合脸)的脸部关键点；其中，脸部关键点为ibug-68标准，脸部关键点包括脸部轮廓关键点以及五官关键点。进一步的，脸部轮廓关键点例如可以是图2中所示的标号为1-17标识的部分，五官关键点包括眉毛关键点(18-22，以及23-27)、鼻梁关键点(28-31)、鼻翼关键点(32-36)、眼睛关键点(37-42，以及43-48)、嘴唇关键点(外侧：49-60，内侧：61-68)。
其次，计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，再根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数；其中，三维人脸模型例如可以是预设的三维人脸可变模型3DMM(3D Morphable Models，人脸3D形变统计模型)，进一步的，人脸3D姿态可以使用一个2*4的参数矩阵Pm来模拟近似3D人脸的旋转平移在正交投影模型下的变换。因此，可以基于人脸的二维和三维关键点对应，通过投影误差建立参数的约束方程，并通过最小化投影误差计算得到姿态参数，具体可以如下公式(1)所示：
其中，Ereproject为投影误差，xi为待融合脸的脸部关键点，Xi为三维关键点。
此处需要补充说明的是，为了避免人脸轮廓和表情对待融合脸的三维姿态信息的影响，可以选用眼睛、眉毛、鼻梁以及鼻翼的关键点以及嘴巴外侧的关键点计算投影误差。进一步的，由于在待融合脸的三维姿态信息的估计中，需要用到三维人脸模型，但是一开始并没有与待融合脸对应的准确三维人脸模型，所以先用三维人脸模型的平均脸来近似用户脸的三维人脸模型；基于此，可以得到一个初步的三维姿态估计，也就是待融合脸的姿态参数；进一步的，结合该待融合脸的姿态参数，就可以估计线性加权系数，即得到比三维平均脸模型准确的重建后的三维人脸模型；最后，再根据重建后的三维人脸模型，得到待融合脸的三维姿态信息。
此处需要进一步补充说明的是，模板脸的三维姿态信息的计算过程与待融合脸的姿态参数的计算过程类似，此处不再赘述。
进一步的，当得到上述待融合脸的姿态参数后，可以根据待融合脸的姿态参数对预设的三维人脸模型进行重建。具体的可以包括：
首先，基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；然后，根据所述线性加权系数，对所述预设的三维人脸模型进行重建，得到重建后的三维人脸模型。
具体的，在三维人脸可以变模型的表示中，待融合脸(用户脸)的三维人脸模型是通过平均脸加上各个形变基的线性加权组合得到的，因此需要对三维人脸可变模型的线性加权系数进行估计。其中，结合正交投影模型，在已知三维与二维关键点的对应关系以及人脸的投影姿态的条件下，线性加权系数w可以通过求解线性最小二乘法来估计，具体可以吐下公式(2)所示：
其中，Ereproject为投影误差，xi为待融合脸的脸部关键点，Xi为三维关键点，M为三维人脸可变模型的平均脸，B为形变基。
基于此，即可根据线性加权系数以及上述姿态参数，对预设的三维人脸模型进行重建；其中，重建后的三维人脸模型中，包括待融合脸的三维姿态信息以及人脸贴图信息。此处需要补充说明的是，本发明示例实施例只需对预设的三维人脸模型进行重建，并不需要对模板脸的三维人脸模型进行重建；同时，模版脸为具有预设的不同风格的脸部模型，比如正脸、左偏转45度脸、右偏转45度脸、仰头脸或者低头脸等等，本示例对此不做特殊限制。
更进一步的，当得到重建后的三维人脸模型后，还需要根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像。具体的，参考图4所示，根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像可以包括步骤S410-步骤S430。其中：
在步骤S410中，根据所述待融合脸的三维姿态信息以及所述重建后的三维人脸模型，对空间三角面进行投影，得到所述待融合脸与所述人脸贴图信息中的三角面的对应关系；
在步骤S420中，基于所述待融合脸与所述人脸贴图信息中的三角面的对应关系，利用仿射变换将所述待融合脸中的纹理信息填充至所述人脸贴图信息中；
在步骤S430中，根据重建后的三维人脸模型、所述模板脸的三维姿态信息以及填充后的人脸贴图信息，生成与所述模板脸具有相近姿态的转脸图像。
进一步的，还可以包括：判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失空洞和/或侧脸纹理缺失；在判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失和/或侧脸纹理缺失时，利用对称填充和/或空洞补全的方式对区域纹理缺失和/或侧脸纹理缺失的三角面进行修复。
以下，将对步骤S410-步骤S430进行解释以及说明。具体的，贴图恢复的目标是基于用户人脸(待融合脸)中的人脸纹理信息恢复三维人脸模型的贴图，并且人脸贴图信息上的三角面片与模型网格三角面片有对应关系，使用上述流程估计的用户脸姿态(待融合脸的三维姿态信息)和用户脸三维模型(重建后的三维人脸模型)，对空间三角面进行投影得到人脸图像与贴图中三角面对应关系，然后使用仿射变换将人脸图中的纹理信息填充到人脸贴图信息中。
同时，对于因空间遮挡和面片视觉方向导致的贴图部分三角面区域纹理缺失空洞和侧脸纹理缺失，在贴图图像中使用对称填充和空洞补全进行自动修复。
在步骤S120中，根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集。
在本示例实施例中，参考图5所示，根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集可以包括步骤S510-步骤S530。其中：
在步骤S510中，提取所述模板脸的脸部关键点以及所述转脸图像的脸部关键点；
在步骤S520中，计算从所述模板脸的脸部关键点到所述转脸图像的脸部关键点之间的相似变换矩阵，并根据所述相似变换矩阵对所述转脸图像的脸部关键点以及所述模板脸的脸部关键点进行对齐；
在步骤S530中，根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
在本示例实施例中，首先，根据预设的收缩比例系数以及所述待融合脸的脸部关键点，计算收缩版轮廓点；其次，根据所述收缩版轮廓点、所述对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
以下，将对步骤S510-步骤S530进行解释以及说明。首先，对三维处理流程中得到的用户脸的转脸图像再进行一次人脸关键点定位，以确保在转脸图像上人脸关键点的语义信息是相匹配的。其中，由于ibug-68点的关键点标准在嘴唇开口处关键点分布不利于Delaunay三角剖分，因此需要将嘴唇和牙齿分开，通过基于原有点(待融合脸的脸部关键点)计算4个额外的嘴唇点，有利于唇齿纹理的自然融合，并且，此处不使用三维模型上标记的三维人脸关键点的投影结果，因为这些投影结果得到的图像关键点信息并非完全与ibug-68点标准匹配，特别地在人脸轮廓上容易有较大误差。
其次，为了能快速有效实现对多风格模板的适配，考虑到人脸融合玩法在实际场景中的目标模板一般是热门的角色脸部，预设模板脸的数量并对模板脸进行预处理得到模板脸的脸部关键点，能使后续用户换脸结果更稳定。其中，模板脸的预设以及预处理并不需要复杂的训练过程，只需采用ibug-68的方法标定获取多风格预设模板脸的脸部关键点即可。
然后，计算从模板脸的脸部关键点到转脸图像的脸部关键点之间的相似变换矩阵，并根据相似变换矩阵对转脸图像的脸部关键点以及模板脸的脸部关键点进行对齐。进一步的，基于上述流程，已有模板脸和对应的脸部关键点，以及转脸图像和对应的脸部关键点，即可计算转脸图像以及模板脸的关键点集，以及与关键点集对应的Delaunay三角剖分。
此处需要进一步补充说明的是，由于关键点定位时侧脸轮廓点结果容易不稳定，而边界纹理信息对后续泊松融合有较大的影响，因此对于人脸轮廓点，利用原有点(待融合脸的脸部关键点中的轮廓关键点)以及预设的收缩比例系数计算额外的收缩版轮廓点，避免边缘处引入无关纹理信息；然后再根据收缩版轮廓点、对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。其中，预设的收缩比例系数可以根据实际情况进行自行确定。
在步骤S130中，根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸。
在本示例实施例中，首先，根据关键点集以及三角剖分生成第一版融合脸，具体的可以包括：首先，根据预设的形状融合参数以及所述关键点集进行形状融合；其次，根据预设的纹理融合参数以及与所述关键点集对应的三角剖分对应的三角形面片区域进行纹理融合；最后，根据形状融合结果、纹理融合结果以及所述转脸图像，生成所述第一版融合脸；其中，所述预设的形状融合参数以及所述预设的纹理融合参数用于对所述第一版融合脸偏向于所述模板脸或者待融合脸的程度进行表征。
具体的，形状融合在模板脸的脸部关键点和转脸图像的脸部关键点上进行，纹理融合在Delaunay三角剖分后的对应三角面片上进行，通过形状融合参数α和纹理融合参数β设置融合结果偏向于模板脸或用户脸的程度，融合后的结果称为第一版融合脸。
在步骤S140中，将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
在本示例实施例中，将第一版融合脸放回至模板脸的脸部区域处，得到第二版融合脸可以包括：首先，获取包围所述模板脸的脸部关键点的凸包，以及与所述模板脸的脸部关键点的凸包对应的第一边缘点集；以及获取包围所述第一版融合脸的脸部关键点的凸包，以及与所述第一版融合脸的脸部关键点的凸包对应的第二边缘点集；然后，计算所述第一边缘点集以及所述第二边缘点集之间的平面单应变换，得到所述单应性变换矩阵；最后，根据所述单应性变换矩阵将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
具体的，要将融合脸放回模板脸的位置中，首先，需要获取包围模板脸的脸部关键点的凸包，并得到凸包的第一边缘点；同样地，获取包围第一版融合脸的脸部关键点的凸包和对应的第二边缘点，再计算第一边缘点集以及第二边缘点集之间的平面单应变换，得到单应性变换矩阵。
进一步的，当得到上述单应性变换矩阵后，可以基于该单应性变换矩阵将第一版融合脸映射放回模板脸位置，得到第二版融合脸。进一步的，为了可以使得第二版融合脸可以适配末班的背景肤色，该人脸图像融合方法还可以包括：根据所述收缩版轮廓点生成局部掩膜；根据所述局部掩膜对所述第二版融合脸以及所述模板脸的背景肤色进行适配，得到目标融合结果。具体的，基于收缩版轮廓点生成局部掩膜，结合局部掩膜使用泊松融合方法完成放回脸图片(第二版融合脸)与模板脸的背景肤色的自然过渡适配，得到最后的人脸融合结果。
以下，结合图6对本发明示例实施例的脸部图像融合方法进行进一步的解释以及说明。参考图6所示，该脸部图像融合方法可以包括以下步骤：
步骤S610，模板图片预设与预处理：
具体的，针对需要进行换脸玩法的多风格目标模板图进行预先选定，预处理工作为基于ibug-68关键点标准对其中的脸部图片进行标注。首先使用人脸检测与关键点定位工具进行初步处理，并对处理有问题的结果进行修正。
步骤S620，用户人脸检测与关键点定位：
具体的，采用机器学习或深度学习模型训练得到的通用人脸检测与关键点定位工具，得到用户人脸图片的人脸位置和关键点信息，关键点为ibug-68标准。
步骤S630，三维处理流程，模板脸和用户脸的三维姿态估计，用户脸三维形状与纹理重建，投影得到模板脸姿态下的脸部渲染图(转脸图像)：
具体的，三维处理流程的目标是生成用户人脸图转脸到换脸模板姿态下的二维脸图像，目的是为二维处理流程提供一对姿态相似的目标模板脸图片和用户脸图片。大姿态差异下进行二维处理流程会导致五官扭曲和纹理错位等问题，但二维流程的图像变形与融合对于姿态相似的脸部图片融合效果较为稳定。因此加入三维人脸重建流程完成上述目标。
首先，估计人脸3D姿态。本方法中，人脸3D姿态使用一个2*4的参数矩阵P_m近似3D人脸的旋转平移在正交投影模型下的变换。基于人脸的二维和三维关键点对应，可以通过投影误差建立参数的约束方程，并通过最小化投影误差计算得到姿态参数。本文选用三维人脸可变模型平均脸的三维关键点，与模板脸和用户脸的二维关键点组合分别计算对应的模板脸姿态和用户脸姿态。为了避免人脸轮廓和表情对姿态的影响，选用眼睛、眉毛、鼻子的关键点和嘴巴外侧的两个关键点计算投影误差。
其次，估计三维人脸可变模型的形状参数。在三维人脸可变模型的表示中，用户脸的三维模型是通过平均脸加上各个形变基的线性加权组合得到的，现在要估计的就是这些线性加权的系数。结合正交投影模型，在已知三维与二维关键点对应关系以及人脸的投影姿态的条件下，这些线性加权系数也可以通过求解线性最小二乘来估计。本方法中只需对用户脸进行三维人脸重建。
最后，用户人脸模型贴图恢复。贴图恢复的目标是基于用户人脸图中的人脸纹理信息恢复三维人脸模型的贴图。纹理贴图上的三角面片与模型网格三角面片有对应关系，使用上述流程估计的用户脸姿态和用户脸三维模型，对空间三角面进行投影得到人脸图像与贴图中三角面对应关系，然后使用仿射变换将人脸图中的纹理信息填充到贴图中。对于因空间遮挡和面片视觉方向导致的贴图部分三角面区域纹理缺失空洞和侧脸纹理确实，在贴图图像中使用对称填充和空洞补全进行自动修复。
进一步的，渲染用户脸在模板脸姿态下的转脸图像。在具备模板脸姿态，用户脸三维模型和贴图信息后，通过正交投影渲染出用户脸在模板脸姿态下的转脸图像。
步骤S640，二维处理流程，基于人脸关键点与三角剖分的人脸融合，基于局部掩膜的人脸映射对齐与替换，肤色融合：
具体的，二维处理流程以模板脸图像和三维处理流程得到的用户脸转脸图像为输入，设计二维图像上的鲁棒处理方法。
首先，人脸关键点增强与对齐预处理。首先对用户脸转脸图像再进行一次人脸关键点定位。ibug-68点的关键点标准在嘴唇开口处关键点分布不利于Delaunay三角剖分将嘴唇和牙齿分开，通过基于原有点计算4个额外的嘴唇点，有利于唇齿纹理的自然融合。另外，关键点定位时侧脸轮廓点结果容易不稳定，而边界纹理信息对后续泊松融合有较大的影响，因此对于人脸轮廓点，利用原有点计算额外的收缩版轮廓点，避免边缘处引入无关纹理信息。对齐预处理，基于二维关键点，计算从用户转脸图像到模板脸图像的相似变换进行对齐。
其次，基于关键点和Delaunay三角剖分的人脸形状与纹理融合。形状融合在模板脸图像关键点和用户转脸图像关键点上进行，纹理融合在Delaunay三角剖分后的对应三角面片上进行，通过形状融合参数α和纹理融合参数β设置融合结果偏向于模板脸或用户脸的程度。融合后的结果称为第一版融合脸。
然后，融合脸放回模板。要将融合脸放回模板脸的位置中，获取包围模板脸关键点的凸包，并得到凸包的边缘点，同样地获取包括第一版融合脸关键点的凸包和对应的边缘点，计算两个凸包边缘点集之间的平面单应变换，基于该单应变换将第一版融合脸映射放回模板脸位置。
最后，背景肤色适配。基于收缩版轮廓点生成局部掩膜，结合局部掩膜使用泊松融合方法完成放回脸图片与模板脸背景肤色的自然过渡适配，得到最后的人脸融合结果。
其中，最终得到的人脸融合结果可以参考图7-图9所示。其中，图7为待融合人脸图像，图8为模板脸，图9为人脸融合结果。
本发明示例实施例提供的人脸图像融合方法，至少具有以下优点：
一方面，可以解决现有技术中由于三维脸型与位姿投影参数的估计精度对结果有较大影响，虽然能一定程度上处理位姿变化，但引入了模型局限性导致的瑕疵，例如五官错位重影等问题，纹理融合上也存在与二维图像变换相似的问题。
另一方面，还可以解决现有技术中由于深度模型对于训练数据能达到较好的换脸效果，但是训练模型需要大量的专用脸或通用脸数据，对训练集以外的数据处理效果较差，目标个体脸部或风格的改变，都需要数据的重新采集，网络参数的重新训练与调优，大大增加了换脸功能部署的工作量和成本的问题。
再一方面，本发明支持快速适配多风格模板的脸部图像融合，结合二维与三维处理流程优化，能生成适应模板和用户人脸多样姿态与肤色差异的自然融合结果。
本发明示例实施例还提供了一种脸部图像融合装置。参考图10所示，该脸部图像融合装置可以包括转脸图像生成模块1010、关键点集计算模块1020、第一融合模块1030以及融合模块1040。其中：
转脸图像生成模块1010可以用于根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
关键点集计算模块1020可以用于根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
第一融合模块1030可以用于根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
第二融合模块1040可以用于将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
在本公开的一种示例性实施例中，所述脸部图像融合装置还包括：
脸部关键点提取模块，可以用于提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点；
投影误差计算模块，可以用于计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差；
姿态参数计算模块，可以用于根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。
在本公开的一种示例性实施例中，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，包括：
基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；
根据所述线性加权系数，对所述预设的三维人脸模型进行重建，得到重建后的三维人脸模型。
在本公开的一种示例性实施例中，所述重建后的三维人脸模型中，包括所述待融合脸的三维姿态信息以及人脸贴图信息；
其中，所述根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，包括：
根据所述待融合脸的三维姿态信息以及所述重建后的三维人脸模型，对空间三角面进行投影，得到所述待融合脸与所述人脸贴图信息中的三角面的对应关系；
基于所述待融合脸与所述人脸贴图信息中的三角面的对应关系，利用仿射变换将所述待融合脸中的纹理信息填充至所述人脸贴图信息中；
根据重建后的三维人脸模型、所述模板脸的三维姿态信息以及填充后的人脸贴图信息，生成与所述模板脸具有相近姿态的转脸图像。
在本公开的一种示例性实施例中，所述脸部图像融合装置还可以包括：
判断模块，可以用于判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失空洞和/或侧脸纹理缺失；
修复模块，可以用于在判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失和/或侧脸纹理缺失时，利用对称填充和/或空洞补全的方式对区域纹理缺失和/或侧脸纹理缺失的三角面进行修复。
在本公开的一种示例性实施例中，所述根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，包括：
提取所述模板脸的脸部关键点以及所述转脸图像的脸部关键点；
计算从所述模板脸的脸部关键点到所述转脸图像的脸部关键点之间的相似变换矩阵，并根据所述相似变换矩阵对所述转脸图像的脸部关键点以及所述模板脸的脸部关键点进行对齐；
根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
在本公开的一种示例性实施例中，所述根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分，包括：
根据预设的收缩比例系数以及所述待融合脸的脸部关键点，计算收缩版轮廓点；
根据所述收缩版轮廓点、所述对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
在本公开的一种示例性实施例中，所述脸部图像融合装置还可以包括：
局部掩膜生成模块，可以用于根据所述收缩版轮廓点生成局部掩膜；
背景肤色适配模块，可以用于根据所述局部掩膜对所述第二版融合脸以及所述模板脸的背景肤色进行适配，得到目标融合结果。
在本公开的一种示例性实施例中，所述根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸，包括：
根据预设的形状融合参数以及所述关键点集进行形状融合；
根据预设的纹理融合参数以及与所述关键点集对应的三角剖分对应的三角形面片区域进行纹理融合；
根据形状融合结果、纹理融合结果以及所述转脸图像，生成所述第一版融合脸；
其中，所述预设的形状融合参数以及所述预设的纹理融合参数用于对所述第一版融合脸偏向于所述模板脸或者待融合脸的程度进行表征。
在本公开的一种示例性实施例中，所述将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸，包括：
获取包围所述模板脸的脸部关键点的凸包，以及与所述模板脸的脸部关键点的凸包对应的第一边缘点集；以及
获取包围所述第一版融合脸的脸部关键点的凸包，以及与所述第一版融合脸的脸部关键点的凸包对应的第二边缘点集；
计算所述第一边缘点集以及所述第二边缘点集之间的平面单应变换，得到所述单应性变换矩阵；
根据所述单应性变换矩阵将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
上述脸部图像融合装置中各模块的具体细节已经在对应的脸部图像融合方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130以及显示单元1140。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1110可以执行如图1中所示的步骤S110：根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；步骤S120：根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；步骤S130：根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；步骤S140：将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。
存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
Claims (13)
1.一种脸部图像融合方法，其特征在于，包括：
根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
2.根据权利要求1所述的脸部图像融合方法，其特征在于，所述脸部图像融合方法还包括：
提取所述待融合脸的脸部关键点；其中，所述待融合脸的脸部关键点包括脸部轮廓关键点以及五官关键点；
计算所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差；
根据所述待融合脸的脸部关键点以及所述预设的三维人脸模型的平均脸的关键点之间的投影误差，计算所述待融合脸的姿态参数。
3.根据权利要求2所述的脸部图像融合方法，其特征在于，根据待融合脸的姿态参数对预设的三维人脸模型进行重建，包括：
基于预设的正交投影模型以及所述姿态参数，计算所述预设的三维人脸模型的线性加权系数；
根据所述线性加权系数，对所述预设的三维人脸模型进行重建，得到重建后的三维人脸模型。
4.根据权利要求1所述的脸部图像融合方法，其特征在于，所述重建后的三维人脸模型中，包括所述待融合脸的三维姿态信息以及人脸贴图信息；
其中，所述根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，包括：
根据所述待融合脸的三维姿态信息以及所述重建后的三维人脸模型，对空间三角面进行投影，得到所述待融合脸与所述人脸贴图信息中的三角面的对应关系；
基于所述待融合脸与所述人脸贴图信息中的三角面的对应关系，利用仿射变换将所述待融合脸中的纹理信息填充至所述人脸贴图信息中；
根据重建后的三维人脸模型、所述模板脸的三维姿态信息以及填充后的人脸贴图信息，生成与所述模板脸具有相近姿态的转脸图像。
5.根据权利要求4所述的脸部图像融合方法，其特征在于，所述脸部图像融合方法还包括：
判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失空洞和/或侧脸纹理缺失；
在判断所述人脸贴图信息中的三角面中是否存在区域纹理缺失和/或侧脸纹理缺失时，利用对称填充和/或空洞补全的方式对区域纹理缺失和/或侧脸纹理缺失的三角面进行修复。
6.根据权利要求1所述的脸部图像融合方法，其特征在于，所述根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，包括：
提取所述模板脸的脸部关键点以及所述转脸图像的脸部关键点；
计算从所述模板脸的脸部关键点到所述转脸图像的脸部关键点之间的相似变换矩阵，并根据所述相似变换矩阵对所述转脸图像的脸部关键点以及所述模板脸的脸部关键点进行对齐；
根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
7.根据权利要求6所述的脸部图像融合方法，其特征在于，所述根据对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分，包括：
根据预设的收缩比例系数以及所述待融合脸的脸部关键点，计算收缩版轮廓点；
根据所述收缩版轮廓点、所述对齐后的转脸图像的脸部关键点以及模板脸的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集，以及与所述关键点集对应的三角剖分。
8.根据权利要求7所述的脸部图像融合方法，其特征在于，所述脸部图像融合方法还包括：
根据所述收缩版轮廓点生成局部掩膜；
根据所述局部掩膜对所述第二版融合脸以及所述模板脸的背景肤色进行适配，得到目标融合结果。
9.根据权利要求1所述的脸部图像融合方法，其特征在于，所述根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸，包括：
根据预设的形状融合参数以及所述关键点集进行形状融合；
根据预设的纹理融合参数以及与所述关键点集对应的三角剖分对应的三角形面片区域进行纹理融合；
根据形状融合结果、纹理融合结果以及所述转脸图像，生成所述第一版融合脸；
其中，所述预设的形状融合参数以及所述预设的纹理融合参数用于对所述第一版融合脸偏向于所述模板脸或者待融合脸的程度进行表征。
10.根据权利要求1所述的脸部图像融合方法，其特征在于，所述将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸，包括：
获取包围所述模板脸的脸部关键点的凸包，以及与所述模板脸的脸部关键点的凸包对应的第一边缘点集；以及
获取包围所述第一版融合脸的脸部关键点的凸包，以及与所述第一版融合脸的脸部关键点的凸包对应的第二边缘点集；
计算所述第一边缘点集以及所述第二边缘点集之间的平面单应变换，得到所述单应性变换矩阵；
根据所述单应性变换矩阵将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
11.一种脸部图像融合装置，其特征在于，包括：
转脸图像生成模块，用于根据待融合脸的姿态参数对预设的三维人脸模型进行重建，并根据重建后的三维人脸模型以及模板脸的三维姿态信息，生成与所述模板脸具有相近姿态的转脸图像，其中，所述模板脸为预设的不同风格的脸部模型；
关键点集计算模块，用于根据所述模板脸的脸部关键点以及所述转脸图像的脸部关键点，计算所述转脸图像与所述待融合脸的关键点集；
第一融合模块，用于根据所述关键点集对所述模板脸和所述转脸图像进行融合生成第一版融合脸；
第二融合模块，用于将所述第一版融合脸放回至所述模板脸的脸部区域处，得到第二版融合脸。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的脸部图像融合方法。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的脸部图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011253172.1A CN112257657B (zh) | 2020-11-11 | 2020-11-11 | 脸部图像融合方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011253172.1A CN112257657B (zh) | 2020-11-11 | 2020-11-11 | 脸部图像融合方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112257657A true CN112257657A (zh) | 2021-01-22 |
| CN112257657B CN112257657B (zh) | 2024-02-27 |
Family
ID=74265346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011253172.1A Active CN112257657B (zh) | 2020-11-11 | 2020-11-11 | 脸部图像融合方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112257657B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| CN112967364A (zh) * | 2021-02-09 | 2021-06-15 | 咪咕文化科技有限公司 | 一种图像处理方法、装置及设备 |
| CN113240814A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113643397A (zh) * | 2021-08-05 | 2021-11-12 | 广州帕克西软件开发有限公司 | 一种基于人脸识别的虚拟试妆方法 |
| CN114677743A (zh) * | 2022-04-08 | 2022-06-28 | 湖南四方天箭信息科技有限公司 | 人脸摆正方法、装置、计算机设备和存储介质 |
| CN116596752A (zh) * | 2023-07-19 | 2023-08-15 | 腾讯科技（深圳）有限公司 | 脸部图像替换方法、装置、设备及存储介质 |
| CN116977417A (zh) * | 2023-06-30 | 2023-10-31 | 北京百度网讯科技有限公司 | 位姿估计方法、装置、电子设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及系统 |
| US20150350509A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN107945267A (zh) * | 2017-12-13 | 2018-04-20 | 四川川大智胜软件股份有限公司 | 一种用于人脸三维模型纹理融合的方法和设备 |
| CN108205797A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN108921795A (zh) * | 2018-06-04 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像融合方法、装置及存储介质 |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| CN109766857A (zh) * | 2019-01-16 | 2019-05-17 | 嘉兴学院 | 一种基于语义对齐多区域模板融合的三维人脸识别方法 |
| CN110348496A (zh) * | 2019-06-27 | 2019-10-18 | 广州久邦世纪科技有限公司 | 一种人脸图像融合的方法及系统 |
| CN110647782A (zh) * | 2018-06-08 | 2020-01-03 | 北京信息科技大学 | 三维人脸重建与多姿态人脸识别方法及装置 |
| CN110675489A (zh) * | 2019-09-25 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
| US20200258206A1 (en) * | 2017-11-22 | 2020-08-13 | Tencent Technology (Shenzhen) Company Limited | Image fusion method and device, storage medium and terminal |
| CN111768477A (zh) * | 2020-07-06 | 2020-10-13 | 网易（杭州）网络有限公司 | 三维人脸表情基建立方法及装置、存储介质及电子设备 |
-
2020
- 2020-11-11 CN CN202011253172.1A patent/CN112257657B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及系统 |
| US20150350509A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Scene Motion Correction In Fused Image Systems |
| CN108205797A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| US20200258206A1 (en) * | 2017-11-22 | 2020-08-13 | Tencent Technology (Shenzhen) Company Limited | Image fusion method and device, storage medium and terminal |
| CN107945267A (zh) * | 2017-12-13 | 2018-04-20 | 四川川大智胜软件股份有限公司 | 一种用于人脸三维模型纹理融合的方法和设备 |
| CN108921795A (zh) * | 2018-06-04 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像融合方法、装置及存储介质 |
| CN110647782A (zh) * | 2018-06-08 | 2020-01-03 | 北京信息科技大学 | 三维人脸重建与多姿态人脸识别方法及装置 |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| CN109766857A (zh) * | 2019-01-16 | 2019-05-17 | 嘉兴学院 | 一种基于语义对齐多区域模板融合的三维人脸识别方法 |
| CN110348496A (zh) * | 2019-06-27 | 2019-10-18 | 广州久邦世纪科技有限公司 | 一种人脸图像融合的方法及系统 |
| CN110675489A (zh) * | 2019-09-25 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
| CN111768477A (zh) * | 2020-07-06 | 2020-10-13 | 网易（杭州）网络有限公司 | 三维人脸表情基建立方法及装置、存储介质及电子设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766215A (zh) * | 2021-01-29 | 2021-05-07 | 北京字跳网络技术有限公司 | 人脸融合方法、装置、电子设备及存储介质 |
| CN112967364A (zh) * | 2021-02-09 | 2021-06-15 | 咪咕文化科技有限公司 | 一种图像处理方法、装置及设备 |
| CN113240814A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113643397A (zh) * | 2021-08-05 | 2021-11-12 | 广州帕克西软件开发有限公司 | 一种基于人脸识别的虚拟试妆方法 |
| CN114677743A (zh) * | 2022-04-08 | 2022-06-28 | 湖南四方天箭信息科技有限公司 | 人脸摆正方法、装置、计算机设备和存储介质 |
| CN116977417A (zh) * | 2023-06-30 | 2023-10-31 | 北京百度网讯科技有限公司 | 位姿估计方法、装置、电子设备及存储介质 |
| CN116596752A (zh) * | 2023-07-19 | 2023-08-15 | 腾讯科技（深圳）有限公司 | 脸部图像替换方法、装置、设备及存储介质 |
| CN116596752B (zh) * | 2023-07-19 | 2023-12-08 | 腾讯科技（深圳）有限公司 | 脸部图像替换方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112257657B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112257657B (zh) | 脸部图像融合方法及装置、存储介质、电子设备 | |
| US11961325B2 (en) | Image processing method and apparatus, computer-readable medium, and electronic device | |
| KR20210103435A (ko) | 가상 객체 이미지 합성 방법, 장치, 전자 기기 및 저장 매체 | |
| CN111768477B (zh) | 三维人脸表情基建立方法及装置、存储介质及电子设备 | |
| US9679192B2 (en) | 3-dimensional portrait reconstruction from a single photo | |
| US11961200B2 (en) | Method and computer program product for producing 3 dimensional model data of a garment | |
| US9036898B1 (en) | High-quality passive performance capture using anchor frames | |
| US8390628B2 (en) | Facial animation using motion capture data | |
| Zhou et al. | Parametric reshaping of human bodies in images | |
| CN110599605A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN107564080B (zh) | 一种人脸图像的替换系统 | |
| CN112669447A (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
| CN107657664B (zh) | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 | |
| JP2002133446A (ja) | 顔画像処理方法およびシステム | |
| CN113269862A (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
| KR20120072128A (ko) | 디지털 클론 생성 장치 및 방법 | |
| JP2002123837A (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
| US10885708B2 (en) | Automated costume augmentation using shape estimation | |
| CN115496864B (zh) | 模型构建方法、重建方法、装置、电子设备及存储介质 | |
| CN115861525A (zh) | 基于参数化模型的多视图人脸重建方法 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| CN111599002A (zh) | 用于生成图像的方法和装置 | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |