CN112734890B - 基于三维重建的人脸替换方法及装置 - Google Patents
基于三维重建的人脸替换方法及装置 Download PDFInfo
- Publication number
- CN112734890B CN112734890B CN202011529456.9A CN202011529456A CN112734890B CN 112734890 B CN112734890 B CN 112734890B CN 202011529456 A CN202011529456 A CN 202011529456A CN 112734890 B CN112734890 B CN 112734890B
- Authority
- CN
- China
- Prior art keywords
- face
- target
- dimensional
- driving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 230000005012 migration Effects 0.000 claims abstract description 9
- 238000013508 migration Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 210000000887 face Anatomy 0.000 description 12
- 230000009471 action Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于三维重建的人脸替换方法及装置，通过在三维人脸模型上实现人脸对齐和图像融合，再渲染成二维图像，从而有效解决少量人脸图像实现任意角度旋转换脸的需要，人脸替换重点是需要保证替换后的人脸不改变目标人脸的五官结构，同时需要表达出源人物的面部表情以及位姿。本发明基于三维重建得到人脸3D模型，在三维空间做人脸对齐，解决大角度旋转造成的替换前后人脸视角相差较大，无法有效配准对齐的问题。三维人脸重建选用3DMM模型，构建的特征向量可以实现人脸结构和表情特征的解耦分离，分别提取替换前人脸的表情特征和替换人脸的结构，组合成新的3D人脸特征，完成人脸3D模型上的表情迁移。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于三维重建的人脸替换方法及装置。
背景技术
近年来，AI换脸技术快速发展，通过生成对抗网络(GAN)能够逼真的产生真人照片级别的人脸图像，所呈现的结果也令人耳目一新。AI换脸技术不仅能够重建出指定人像的任意照片，同时能够把一个人的面部表情移植到另一个人脸上。但现有技术实现中仍然存在一些棘手的问题难以解决。
基于生成对抗网络(GAN)现有的模型，需要通过用源人物和目标人物的几百张照片(越多越好)训练模型分别识别、还原两人面部的能力，无法在小样本上工作，意味着无法凭一两张照片替换任意两个人的脸部；模型的训练过程也需要消耗大量资源。另一方面基于单张人脸图像的换脸实现，可以根据给定的动作驱动图中的人“动起来”，但是图中人脸的动作范围有限，大角度的转动会导致人脸结构的异常失真。
发明内容
为此，本发明提供一种基于三维重建的人脸替换方法及装置，通过任意目标人物的一到两张人脸二维图像，实现源人物人脸图像的面部替换，同时保持源人物的动作表情。
为了实现上述目的，本发明提供如下技术方案：基于三维重建的人脸替换方法，包括以下步骤：
步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
步骤四、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
步骤五、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。
作为基于三维重建的人脸替换方法的优选方案，所述人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
作为基于三维重建的人脸替换方法的优选方案，步骤二中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
作为基于三维重建的人脸替换方法的优选方案，步骤四中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正。
本发明还提供一种基于三维重建的人脸替换装置，包括：
单张人脸图像三维重建模块，用于输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
3D人脸对齐模块，用于分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
表情迁移模块，用于分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
图像融合模块，用于通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
替换图像生成模块，用于根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。
作为基于三维重建的人脸替换装置的优选方案，单张人脸图像三维重建模块采用的人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
作为基于三维重建的人脸替换装置的优选方案，3D人脸对齐模块中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
作为基于三维重建的人脸替换装置的优选方案，图像融合模块中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正。
本发明具有如下优点：通过输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建目标人脸和驱动人脸的3DMM模型参数，估算目标人脸和驱动人脸的差异特征向量；分别将目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；根据二维投影渲染算法，将融合点云纹理色彩信息仿射变换到与驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。本发明能够通过目标人物的一两张人脸照片实现任意旋转角度及复杂表情的换脸，快速实现任意人脸的替换需要；同时保持源人物的动作表情，人脸替换过程不需要大量目标人脸的图像输入，也无需对目标人脸增加额外的模型训练成本。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的基于三维重建的人脸替换方法流程图；
图2为本发明实施例中提供的基于三维重建的人脸替换方法实践示意图；
图3为本发明实施例中提供的基于三维重建的人脸替换装置示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，提供一种基于三维重建的人脸替换方法，包括以下步骤：
S1、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
S2、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
S3、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
S4、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
S5、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。
本实施例中，通过在三维人脸模型上实现人脸对齐和图像融合，再渲染成二维图像，从而有效解决少量人脸图像实现任意角度旋转换脸的需要，人脸替换重点是需要保证替换后的人脸不改变目标人脸的五官结构，同时需要表达出源人物的面部表情以及位姿。本发明基于三维重建得到人脸3D模型，在三维空间做人脸对齐，解决大角度旋转造成的替换前后人脸视角相差较大，无法有效配准对齐的问题。三维人脸重建选用3DMM模型，构建的特征向量可以实现人脸结构和表情特征的解耦分离，分别提取替换前人脸的表情特征和替换人脸的结构，组合成新的3D人脸特征，完成人脸3D模型上的表情迁移。
具体的，基于单张图片的人脸三维重建模型3DMM，首先预制一套标准的平均人脸3D形状，通过估算目标图像中人脸与标准人脸的差异特征向量，使用线性表示方法恢复出目标的3D人脸结构。
三维人脸模型表示采用公式为：
差异特征向量分为形状和表情两部分系数，其中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
本实施例中使用的3DMM模型使用卷积神经网络学习生成，在公开数据集上预训练得到。输入目标人脸和驱动人脸的二维照片，分别重建两个人脸的3DMM模型参数，实现对应单张人脸图像的三维人脸重建。
具体的，3D人脸对齐本身是本领域技术人员知悉的技术，传统运用在三维重建领域，并未在二维图像换脸方面使用。本实施例借助三维重建算法模型分别将目标图像人脸和驱动图像人脸重建成三维点云X，及计算出来的位姿参数P；通过仿射变换，计算相对旋转矩阵，将两个3D人脸的空间位置旋转对齐。
本实施例的S2中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
二维空间人脸对齐只能做到面内旋转(垂直平面的旋转轴)，不能解决绕平行画面旋转轴旋转人脸造成的遮挡变形；三维空间的仿射变换能够有效解决人脸任意角度旋转后对齐的变形和遮挡问题。
具体的，神经网络预测得到3DMM特征向量独立不相关，使得其中的结构特征和表情特征解耦合，因此本实施例中的表情迁移通过重组学习得到的目标人脸和驱动人脸的3DMM特征向量系数来实现。分别取目标人脸的结构特征部分αi和驱动人脸的表情特征部分βi，二者重新组合成一组新的人脸3DMM特征向量系数，达到保留目标人物脸型结构，同时迁移表现出驱动人脸的面部表情动作信息，用于后续的图像渲染操作。
具体的，新合成的三维人脸需要还原到原驱动人脸对应的二维位姿，并和原图像背景融合，传统的二维图像融合方法效果不佳，在融合边界区域较为模糊或者颜色过渡不够自然。
而3DMM重建出来的三维人脸已经进行了3D稠密对齐，即所有的三维人脸都能用相同的点云数来表示，且相同序号的点代表相同的语义。通过UV坐标展开算法，在重建的3D点云中，采样65536(256*256)个点，建立映射表，将其展平投影在256*256分辨率的UV坐标系平面上。不同人脸图像得到的UV图像，无论脸型长相差异有多大，每个像素表示的人脸结构语义都相同，在UV图像上做融合，不仅能够保证人脸五官结构位置的对齐，而且能避免二维投影人脸的遮挡干扰。
具体的，通过将3D人脸模型的纹理色彩在UV坐标系展开成256*256分辨率的图像，保证两张人脸关键点在每个像素位置能够精准一一对应；在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正，既保证了融合位置的匹配准确，又能达到融合边界自然过渡的需要。融合生成纹理色彩图像，经过UV坐标系逆变换，重新得到三维空间坐标系的点云纹理色彩信息。根据二维投影渲染算法，将三维人脸模型经过仿射变换到与驱动人脸二维图像相同的尺度和角度，渲染回原图像中对应区域。最终完成任意两张大角度变换二维人脸的替换算法实现。
参见图3，本发明还提供一种基于三维重建的人脸替换装置，包括：
单张人脸图像三维重建模块1，用于输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
3D人脸对齐模块2，用于分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
表情迁移模块3，用于分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
图像融合模块4，用于通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
替换图像生成模块5，用于根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。
本实施例中，单张人脸图像三维重建模块1采用的人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
3D人脸对齐模块2中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
图像融合模块4中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正。
需要说明的是，本实施例中的基于三维重建的人脸替换装置是对应基于三维重建的人脸替换方法的产品实施，具体的技术细节与方法实施例一致，在此不再赘述。
整体而言，本发明通过输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建目标人脸和驱动人脸的3DMM模型参数，估算目标人脸和驱动人脸的差异特征向量；分别将目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；根据二维投影渲染算法，将融合点云纹理色彩信息仿射变换到与驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换。本发明能够通过目标人物的一两张人脸照片实现任意旋转角度及复杂表情的换脸，快速实现任意人脸的替换需要；同时保持源人物的动作表情，人脸替换过程不需要大量目标人脸的图像输入，也无需对目标人脸增加额外的模型训练成本。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (4)
1.基于三维重建的人脸替换方法，其特征在于，包括以下步骤：
步骤一、单张人脸图像三维重建：输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
步骤二、3D人脸对齐：分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
步骤三、表情迁移：分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
步骤四、图像融合：通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
步骤五、替换图像生成：根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换；
步骤四中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正；
所述人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
2.根据权利要求1所述的基于三维重建的人脸替换方法，其特征在于，步骤二中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
3.基于三维重建的人脸替换装置，其特征在于，包括：
单张人脸图像三维重建模块，用于输入目标人脸和驱动人脸的二维照片，采用人脸三维重建模型3DMM分别重建所述目标人脸和驱动人脸的3DMM模型参数，估算所述目标人脸和驱动人脸的差异特征向量；
3D人脸对齐模块，用于分别将所述目标人脸和驱动人脸重建成三维点云，计算出目标人脸和驱动人脸的位姿参数；通过仿射变换，计算目标人脸和驱动人脸的旋转矩阵，将目标人脸和驱动人脸的空间位置旋转对齐；
表情迁移模块，用于分别获取目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数，将所述目标人脸的结构特征向量系数和驱动人脸的表情特征向量系数重新组合成一组新的人脸3DMM特征向量系数；
图像融合模块，用于通过UV坐标展开算法，在目标人脸和驱动人脸重建后的三维点云中进行采样，建立映射表，将采样点展平投影在UV坐标系平面上获得三维空间坐标系的融合点云纹理色彩信息；
替换图像生成模块，用于根据二维投影渲染算法，将所述融合点云纹理色彩信息仿射变换到与所述驱动人脸二维图像相同的尺度和角度，然后渲染回目标图像中的对应区域，完成目标人脸和驱动人脸的替换；
图像融合模块中，在UV坐标系中采用以眼睛、鼻子和嘴巴整体为中心区域的距离加权算法，将目标人脸中心区域与驱动人脸的边缘轮廓区域的UV纹理图像进行融合，并进行颜色校正；
单张人脸图像三维重建模块采用的人脸三维重建模型3DMM的表示公式为：
式中，表示平均人脸模型；si表示形状对应的主成分分析部分，αi表示相应的系数；ei表示表情对应的主成分分析部分，βi表示相应的系数。
4.根据权利要求3所述的基于三维重建的人脸替换装置，其特征在于，3D人脸对齐模块中，所述位姿参数包括目标人脸和驱动人脸相对于标准正面人脸坐标系的位移及旋转角度，所述目标人脸的位姿参数构成变换矩阵Ptarget，所述驱动人脸的位姿参数构成变换矩阵Psource；将目标人脸记为Xtarget，将驱动人脸记为Xsource，对齐操作的方式为：Ptarget*Xtarget＝Psource*Xsource。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529456.9A CN112734890B (zh) | 2020-12-22 | 2020-12-22 | 基于三维重建的人脸替换方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529456.9A CN112734890B (zh) | 2020-12-22 | 2020-12-22 | 基于三维重建的人脸替换方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734890A CN112734890A (zh) | 2021-04-30 |
| CN112734890B true CN112734890B (zh) | 2023-11-10 |
Family
ID=75605735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529456.9A Active CN112734890B (zh) | 2020-12-22 | 2020-12-22 | 基于三维重建的人脸替换方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734890B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991484B (zh) * | 2021-04-28 | 2021-09-03 | 中科计算技术创新研究院 | 智能人脸编辑方法、装置、存储介质及设备 |
| CN113240814A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113239857B (zh) * | 2021-05-27 | 2023-11-03 | 京东科技控股股份有限公司 | 视频合成方法及其装置 |
| CN114007099A (zh) * | 2021-11-04 | 2022-02-01 | 北京搜狗科技发展有限公司 | 一种视频处理方法、装置和用于视频处理的装置 |
| CN114373041B (zh) * | 2021-12-15 | 2024-04-02 | 聚好看科技股份有限公司 | 一种三维重建方法及设备 |
| CN116739893A (zh) * | 2023-08-14 | 2023-09-12 | 北京红棉小冰科技有限公司 | 一种换脸方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107316020A (zh) * | 2017-06-26 | 2017-11-03 | 司马大大（北京）智能系统有限公司 | 人脸替换方法、装置及电子设备 |
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN110266940A (zh) * | 2019-05-29 | 2019-09-20 | 昆明理工大学 | 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法 |
| CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN111476709A (zh) * | 2020-04-09 | 2020-07-31 | 广州华多网络科技有限公司 | 人脸图像处理方法、装置及电子设备 |
-
2020
- 2020-12-22 CN CN202011529456.9A patent/CN112734890B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107316020A (zh) * | 2017-06-26 | 2017-11-03 | 司马大大（北京）智能系统有限公司 | 人脸替换方法、装置及电子设备 |
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN110266940A (zh) * | 2019-05-29 | 2019-09-20 | 昆明理工大学 | 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法 |
| CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN111476709A (zh) * | 2020-04-09 | 2020-07-31 | 广州华多网络科技有限公司 | 人脸图像处理方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 基于单张人脸图像三维形状模型重建;牛晓霞等;计算机仿真;28(04);第230-233页 * |
| 王一丁.工业图像处理.西安电子科技大学出版社,2018,第60-61页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734890A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734890B (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN109584353B (zh) | 一种基于单目视频重建三维人脸表情模型的方法 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| EP3971841A1 (en) | Three-dimensional model generation method and apparatus, and computer device and storage medium | |
| CN109035388A (zh) | 三维人脸模型重建方法及装置 | |
| Fyffe et al. | Multi‐view stereo on consistent face topology | |
| CN107657664B (zh) | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 | |
| CN110853119B (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
| CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| CN110660076A (zh) | 一种人脸交换方法 | |
| CN113012293A (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN107358645A (zh) | 产品三维模型重建方法及其系统 | |
| CN115953513A (zh) | 一种可驱动三维人头模型重建方法、装置、设备及介质 | |
| Ye et al. | 3d morphable face model for face animation | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
| CN114742954A (zh) | 一种构建大规模多样化人脸图片和模型数据对的方法 | |
| CN115830241A (zh) | 一种基于神经网络的真实感三维人脸纹理重建方法 | |
| CN115761801A (zh) | 一种基于视频时序信息的三维人体姿态迁移方法 | |
| CN111611997B (zh) | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 | |
| CN115761116A (zh) | 一种基于单目相机的透视投影下三维人脸重建方法 | |
| CN112884642B (zh) | 一种基于人脸识别技术的实时面部老化模拟方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |