CN117593442A - 一种基于多阶段细粒度渲染的人像生成方法 - Google Patents
一种基于多阶段细粒度渲染的人像生成方法 Download PDFInfo
- Publication number
- CN117593442A CN117593442A CN202311600566.3A CN202311600566A CN117593442A CN 117593442 A CN117593442 A CN 117593442A CN 202311600566 A CN202311600566 A CN 202311600566A CN 117593442 A CN117593442 A CN 117593442A
- Authority
- CN
- China
- Prior art keywords
- neural network
- trained
- face
- network generator
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 121
- 238000012549 training Methods 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 8
- 230000004660 morphological change Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- WHHGLZMJPXIBIX-UHFFFAOYSA-N decabromodiphenyl ether Chemical compound BrC1=C(Br)C(Br)=C(Br)C(Br)=C1OC1=C(Br)C(Br)=C(Br)C(Br)=C1Br WHHGLZMJPXIBIX-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明属于视频处理领域，公开了一种基于多阶段细粒度渲染的人像生成方法，包括S1，获取训练好的第一神经网络生成器、第二神经网络生成器和第三神经网络生成器；S2，基于训练好的第二神经网络生成器获取第一2D嘴部序列；S3，基于训练好的第一神经网络生成器获取第一伪2D人脸视频；S4，将第一2D嘴部序列和第一伪2D人脸视频输入到训练好的第三神经网络生成器中，得到渲染好的人脸视频。本发明可以精确地捕捉嘴部的形态变化，使生成的人像在嘴部动作方面更加逼真。
Description
技术领域
本发明涉及视频处理领域，尤其涉及一种基于多阶段细粒度渲染的人像生成方法。
背景技术
随着图像及视频处理技术的发展，可以基于3D可变形人脸模型(3DMM)渲染生成2D人像视频，在保证目标身份不变的前提下，保持3D和2D人脸序列嘴型以及面部表情的一致性，以及生成人像的真实性。现有技术中，借助深度神经网络，以目标人像的单张或多张人脸图像(即视频)作为输入源，通过3DMM系数直接在隐空间中控制目标人像序列的渲染生成。然而，此类方案存在嘴部区域生成模糊的质量问题。
发明内容
本发明的目的在于公开一种基于多阶段细粒度渲染的人像生成方法，解决背景技术中提出的问题。
为了达到上述目的，本发明提供如下技术方案：
本发明提供了一种基于多阶段细粒度渲染的人像生成方法，包括：
S1，获取训练好的第一神经网络生成器、第二神经网络生成器和第三神经网络生成器；
S2，基于训练好的第二神经网络生成器获取第一2D嘴部序列；
S3，基于训练好的第一神经网络生成器获取第一伪2D人脸视频；
S4，将第一2D嘴部序列和第一伪2D人脸视频输入到训练好的第三神经网络生成器中，得到渲染好的人脸视频。
优选地，获取训练好的第一神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一3D人脸视频和第一2D人脸背景视频输入到第一神经网络生成器中，渲染得到第一视频；
将第一视频输入到第一神经网络判别器中，采用生成对抗方式对第一神经网络生成器进行训练，得到训练好的第一神经网络生成器。
优选地，获取训练好的第二神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到第二神经网络生成器中，生成第二2D嘴部序列；
将第二2D嘴部序列输入到第二神经网络判别器中，采用生成对抗方式对第二神经网络生成器进行训练，得到训练好的第二神经网络生成器。
优选地，获取训练好的第三神经网络生成器，包括：
获取第一3DMM系数；
基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列；
基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频；
将第三2D嘴部序列和第二伪2D人脸视频输入到第三神经网络生成器中，得到第二视频；
将第二视频输入到第三神经网络判别器中，采用生成对抗方式对第三神经网络生成器进行训练，得到训练好的第三神经网络生成器。
优选地，获取第一3DMM系数，包括：
对用于训练的第一2D人脸视频输入到预先训练完成的特征提取器模型中，输出第一2D人脸视频的人脸特征向量；
将所述人脸图像输入预先训练完成的回归器模型中，输出第一2D人脸视频所对应的第一3DMM系数。
优选地，基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列，包括：
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到训练好的第二神经网络生成器中，生成第三2D嘴部序列。
优选地，基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频，包括：
基于第一3DMM系数构造第一伪3DMM系数；
对第一伪3DMM系数进行可微分渲染，得到第一伪3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一伪3D人脸视频和第一2D人脸背景视频输入到训练好的第一神经网络生成器中，渲染得到第二伪2D人脸视频。
优选地，基于第一3DMM系数构造第一伪3DMM系数，包括：
将用于构造第一伪3DMM系数的第一3DMM系数表示为A；
在包含多个用于训练的第一2D人脸视频的训练集中随机选取一个第一2D人脸视频，对选取的第一2D人脸视频获取对应的第一3DMM系数，将得到的第一3DMM系数表示为B；
用B的人脸表情参数以及控制嘴部张合的人脸姿态参数替换A的人脸表情参数以及控制嘴部张合的人脸姿态参数，得到第一伪3DMM系数。
有益效果：
(1)高保真人像生成：传统的人像生成方法可能无法捕捉到人脸的细微特征和表情变化，导致生成的人像缺乏真实感。本发明的多阶段细粒度渲染方法允许生成高度逼真的人像，准确呈现人脸的皱纹、细节和色彩变化，从而在人像生成领域实现了质的飞跃。
(2)准确的嘴型和面部细节：由于嘴部是表情和语音交流的重要组成部分，本发明特别注重嘴型的生成准确性。通过将嘴部区域单独提取出来，然后采用3D可变形人脸模型(3DMM)结合多阶段渲染，本发明可以精确地捕捉嘴部的形态变化，使生成的人像在嘴部动作和面部细节方面更加逼真。
(3)创造性的技术进步：本发明在人像生成领域引入了多阶段细粒度渲染方法，填补了现有方法在细节保真度方面的空白。通过将3DMM与渲染技术相结合，本发明创造性地解决了传统方法中存在的细节模糊和真实感不足的问题，从而在技术上取得了重大突破。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于多阶段细粒度渲染的人像生成方法的一种示意图。
图2为本发明获取训练好的第一神经网络生成器的过程的一种示意图。
图3为本发明获取训练好的第二神经网络生成器的过程的一种示意图。
图4为本发明获取第二伪2D人脸视频的过程的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示的一种实施例，本发明提供了一种基于多阶段细粒度渲染的人像生成方法，包括：
S1，获取训练好的第一神经网络生成器、第二神经网络生成器和第三神经网络生成器；
S2，基于训练好的第二神经网络生成器获取第一2D嘴部序列；
S3，基于训练好的第一神经网络生成器获取第一伪2D人脸视频；
S4，将第一2D嘴部序列和第一伪2D人脸视频输入到训练好的第三神经网络生成器中，得到渲染好的人脸视频。
上述实施方式具有如下的进步：
高保真人像生成：传统的人像生成方法可能无法捕捉到人脸的细微特征和表情变化，导致生成的人像缺乏真实感。本发明的多阶段细粒度渲染方法允许生成高度逼真的人像，准确呈现人脸的皱纹、细节和色彩变化，从而在人像生成领域实现了质的飞跃。
准确的嘴型和面部细节：由于嘴部是表情和语音交流的重要组成部分，本发明特别注重嘴型的生成准确性。采用3D可变形人脸模型(3DMM)结合多阶段渲染，本发明可以精确地捕捉嘴部的形态变化，使生成的人像在嘴部动作和面部细节方面更加逼真。
创造性的技术进步：本发明在人像生成领域引入了多阶段细粒度渲染方法，填补了现有方法在细节保真度方面的空白。通过将3DMM与渲染技术相结合，本发明创造性地解决了传统方法中存在的细节模糊和真实感不足的问题，从而在技术上取得了重大突破。
提升社交媒体和虚拟交互体验：随着社交媒体和虚拟交互的普及，人们越来越需要逼真的人像生成技术来创造更加引人入胜的内容。本发明提供的高保真人像生成方法将显著提升用户在社交媒体平台上的内容创作体验，同时在虚拟交互中创造更加身临其境的沉浸式体验。
经济效益：本发明的多阶段细粒度渲染方法可以显著降低人工制作逼真人像所需的时间和成本。相较于传统的手工绘制或复杂的图像编辑软件，本发明能够在短时间内生成高质量的人像，从而为创作者和生产者节省了大量资源。
总体上，本发明的多阶段细粒度渲染人像生成方法引入了创新性的技术解决方案，显著提升了人像生成的质量和效率。通过捕捉细微的面部特征和嘴部动作，本发明为社交媒体、虚拟交互和其他领域带来了丰富的应用前景，同时也为技术发展和经济增长作出了积极的贡献。
优选地，如图2所示，获取训练好的第一神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一3D人脸视频和第一2D人脸背景视频输入到第一神经网络生成器中，渲染得到第一视频；
将第一视频输入到第一神经网络判别器中，采用生成对抗方式对第一神经网络生成器进行训练，得到训练好的第一神经网络生成器。
具体的，基于第一2D人脸视频生成第一2D人脸背景视频，包括：
采用人脸检测器对第一2D人脸视频进行关键点检测，获得第一2D人脸视频中的人脸关键点；
基于人脸关键点获取第一2D人脸视频中的嘴部区域；
抠除第一2D人脸视频中的嘴部区域，得到第一2D人脸背景视频。
具体的，人脸检测器采用现有的RetinaFace模型。
具体的，采用生成对抗方式对第一神经网络生成器进行训练，包括：
计算获得的第一视频与用于训练的第一2D人脸视频的L1损失和感知损失；
L1损失表示为：其中/>和y表示渲染重建得到的第一视频中的人脸和用于训练的第一2D人脸视频中的人脸，感知损失表示为/> 其中φ()表示多层神经网络VGG19，用于图像的特征提取。
基于L1损失和感知损失对第一神经网络生成器的参数进行优化，直至到第一神经网络生成器的参数收敛。
优选地，如图3所示，获取训练好的第二神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到第二神经网络生成器中，生成第二2D嘴部序列；
将第二2D嘴部序列输入到第二神经网络判别器中，采用生成对抗方式对第二神经网络生成器进行训练，得到训练好的第二神经网络生成器。
具体的，将第一3D人脸视频输入到第二神经网络生成器中，生成第二2D嘴部序列，包括：
对第一3D人脸视频进行正面截取，获得第一3D人脸视频中的每一帧的正面人脸图像；
采用人脸检测器对正面人脸图像进行关键点检测，获得正面人脸图像中的人脸关键点；
基于人脸关键点获取正面人脸图像中的嘴部区域；
抠除正面人脸图像中的嘴部区域，得到第二2D嘴部图像；
由所有的第二2D嘴部图像组成第二2D嘴部序列。
具体的，采用生成对抗方式对第二神经网络生成器进行训练，包括：
计算获得的第二2D嘴部序列与第一3D人脸视频中的图像帧中的嘴部的L1损失和感知损失；计算的过程与对第一神经网络生成器进行训练时的计算过程相同，只需要把相应的参数进行替换即可；
基于L1损失和感知损失对第二神经网络生成器的参数进行优化，直至到第二神经网络生成器的参数收敛。
优选地，获取训练好的第三神经网络生成器，包括：
获取第一3DMM系数；
基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列；
基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频；
将第三2D嘴部序列和第二伪2D人脸视频输入到第三神经网络生成器中，得到第二视频；
将第二视频输入到第三神经网络判别器中，采用生成对抗方式对第三神经网络生成器进行训练，得到训练好的第三神经网络生成器。
优选地，获取第一3DMM系数，包括：
对用于训练的第一2D人脸视频输入到预先训练完成的特征提取器模型中，输出第一2D人脸视频的人脸特征向量；
将所述人脸图像输入预先训练完成的回归器模型中，输出第一2D人脸视频所对应的第一3DMM系数。
在另一种实施方式中，可以通过单目3D人脸重建方法DECA获取第一2D人脸视频的第一3DMM系数。
优选地，基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列，包括：
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到训练好的第二神经网络生成器中，生成第三2D嘴部序列。
优选地，如图4所示，基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频，包括：
基于第一3DMM系数构造第一伪3DMM系数；
对第一伪3DMM系数进行可微分渲染，得到第一伪3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一伪3D人脸视频和第一2D人脸背景视频输入到训练好的第一神经网络生成器中，渲染得到第二伪2D人脸视频。
具体的，采用生成对抗方式对第三神经网络生成器进行训练，包括：
计算获得的第二视频与用于训练的第一2D人脸视频的的L1损失和感知损失；计算的过程与对第一神经网络生成器进行训练时的计算过程相同，只需要把相应的参数进行替换即可；
基于L1损失和感知损失对第三神经网络生成器的参数进行优化，直至到第三神经网络生成器的参数收敛。
优选地，基于第一3DMM系数构造第一伪3DMM系数，包括：
将用于构造第一伪3DMM系数的第一3DMM系数表示为A；
在包含多个用于训练的第一2D人脸视频的训练集中随机选取一个第一2D人脸视频，对选取的第一2D人脸视频获取对应的第一3DMM系数，将得到的第一3DMM系数表示为B；
用B的人脸表情参数以及控制嘴部张合的人脸姿态参数替换A的人脸表情参数以及控制嘴部张合的人脸姿态参数，得到第一伪3DMM系数。
具体的，基于训练好的第二神经网络生成器获取第一2D嘴部序列，包括：
获取需要进行三维重建的人脸视频；
获取需要进行三维重建的人脸视频所对应的第二3DMM系数；
对第二3DMM系数进行可微分渲染，得到第二3D人脸视频；
将第二3D人脸视频输入到训练好的第二神经网络生成器中，生成第一2D嘴部序列。
具体的，基于训练好的第一神经网络生成器获取第一伪2D人脸视频，包括：
获取需要进行三维重建的人脸视频；
获取需要进行三维重建的人脸视频所对应的第二3DMM系数；
基于第二3DMM系数构造第二伪3DMM系数；
对第二伪3DMM系数进行可微分渲染，得到第二伪3D人脸视频；
基于需要进行三维重建的人脸视频生成第二2D人脸背景视频；
将第二伪3D人脸视频和第二2D人脸背景视频输入到训练好的第一神经网络生成器中，渲染得到第一伪2D人脸视频。
优选地，特征提取器模型为FaceNet模型。
优选地，回归器模型为卷积神经网络。
优选地，第一神经网络生成器、第二神经网络生成器和第三神经网络生成器均为UNet网络。
优选地，第一神经网络生成器、第二神经网络生成器和第三神经网络生成器还可以是与UNet网络的结构类似的其它神经网络。
优选地，第一神经网络判别器、第二神经网络判别器、第三神经网络判别器均为PatchGAN网络。
优选地，第一神经网络判别器、第二神经网络判别器、第三神经网络判别器还可以是与PatchGAN网络的结构类似的其它神经网络。
优选地，三维可变形人脸模型(3DMM)采用FLAME模型，其表达式为：
其中S表示3D人脸，表示平均人脸，sα，sβ和sγ分别表示人脸形状、人脸表情和人脸姿态；αi、βi、γi分别表示sα、sβ、sγ的权重；m、n、l分别表示人脸形状、人脸表情和人脸姿态的总数。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种基于多阶段细粒度渲染的人像生成方法，其特征在于，包括：
S1，获取训练好的第一神经网络生成器、第二神经网络生成器和第三神经网络生成器；
S2，基于训练好的第二神经网络生成器获取第一2D嘴部序列；
S3，基于训练好的第一神经网络生成器获取第一伪2D人脸视频；
S4，将第一2D嘴部序列和第一伪2D人脸视频输入到训练好的第三神经网络生成器中，得到渲染好的人脸视频。
2.根据权利要求1所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，获取训练好的第一神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一3D人脸视频和第一2D人脸背景视频输入到第一神经网络生成器中，渲染得到第一视频；
将第一视频输入到第一神经网络判别器中，采用生成对抗方式对第一神经网络生成器进行训练，得到训练好的第一神经网络生成器。
3.根据权利要求2所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，获取训练好的第二神经网络生成器，包括：
获取第一3DMM系数；
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到第二神经网络生成器中，生成第二2D嘴部序列；
将第二2D嘴部序列输入到第二神经网络判别器中，采用生成对抗方式对第二神经网络生成器进行训练，得到训练好的第二神经网络生成器。
4.根据权利要求3所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，获取训练好的第三神经网络生成器，包括：
获取第一3DMM系数；
基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列；
基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频；
将第三2D嘴部序列和第二伪2D人脸视频输入到第三神经网络生成器中，得到第二视频；
将第二视频输入到第三神经网络判别器中，采用生成对抗方式对第三神经网络生成器进行训练，得到训练好的第三神经网络生成器。
5.根据权利要求2-4任一项所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，获取第一3DMM系数，包括：
对用于训练的第一2D人脸视频输入到预先训练完成的特征提取器模型中，输出第一2D人脸视频的人脸特征向量；
将所述人脸图像输入预先训练完成的回归器模型中，输出第一2D人脸视频所对应的第一3DMM系数。
6.根据权利要求4所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，基于第一3DMM系数和训练好的第二神经网络生成器生成第三2D嘴部序列，包括：
对第一3DMM系数进行可微分渲染，得到第一3D人脸视频；
将第一3D人脸视频输入到训练好的第二神经网络生成器中，生成第三2D嘴部序列。
7.根据权利要求6所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，基于第一3DMM系数和训练好的第一神经网络生成器生成第二伪2D人脸视频，包括：
基于第一3DMM系数构造第一伪3DMM系数；
对第一伪3DMM系数进行可微分渲染，得到第一伪3D人脸视频；
获取用于训练的第一2D人脸视频；
基于第一2D人脸视频生成第一2D人脸背景视频；
将第一伪3D人脸视频和第一2D人脸背景视频输入到训练好的第一神经网络生成器中，渲染得到第二伪2D人脸视频。
8.根据权利要求7所述的一种基于多阶段细粒度渲染的人像生成方法，其特征在于，基于第一3DMM系数构造第一伪3DMM系数，包括：
将用于构造第一伪3DMM系数的第一3DMM系数表示为A；
在包含多个用于训练的第一2D人脸视频的训练集中随机选取一个第一2D人脸视频，对选取的第一2D人脸视频获取对应的第一3DMM系数，将得到的第一3DMM系数表示为B；
用B的人脸表情参数以及控制嘴部张合的人脸姿态参数替换A的人脸表情参数以及控制嘴部张合的人脸姿态参数，得到第一伪3DMM系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311600566.3A CN117593442B (zh) | 2023-11-28 | 2023-11-28 | 一种基于多阶段细粒度渲染的人像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311600566.3A CN117593442B (zh) | 2023-11-28 | 2023-11-28 | 一种基于多阶段细粒度渲染的人像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117593442A true CN117593442A (zh) | 2024-02-23 |
| CN117593442B CN117593442B (zh) | 2024-05-03 |
Family
ID=89921598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311600566.3A Active CN117593442B (zh) | 2023-11-28 | 2023-11-28 | 一种基于多阶段细粒度渲染的人像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593442B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110677598A (zh) * | 2019-09-18 | 2020-01-10 | 北京市商汤科技开发有限公司 | 视频生成方法、装置、电子设备和计算机存储介质 |
| CN111243626A (zh) * | 2019-12-30 | 2020-06-05 | 清华大学 | 一种说话视频生成方法及系统 |
| CN112330781A (zh) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | 生成模型和生成人脸动画的方法、装置、设备和存储介质 |
| CN113066171A (zh) * | 2021-04-20 | 2021-07-02 | 南京大学 | 一种基于三维人脸形变模型的人脸图像生成方法 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| WO2021232690A1 (zh) * | 2020-05-18 | 2021-11-25 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN114241558A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技（深圳）有限公司 | 模型的训练方法、视频生成方法和装置、设备、介质 |
| CN114255496A (zh) * | 2021-11-30 | 2022-03-29 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN114299573A (zh) * | 2021-12-23 | 2022-04-08 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114529785A (zh) * | 2022-02-22 | 2022-05-24 | 平安科技（深圳）有限公司 | 模型的训练方法、视频生成方法和装置、设备、介质 |
| CN114782610A (zh) * | 2022-04-25 | 2022-07-22 | 北京影数科技有限公司 | 一种结合神经纹理的可操控3d人脸重建方法及系统 |
| CN115187704A (zh) * | 2022-06-17 | 2022-10-14 | 平安科技（深圳）有限公司 | 虚拟主播生成方法、装置、设备及存储介质 |
| CN115393480A (zh) * | 2022-06-20 | 2022-11-25 | 清华大学 | 基于动态神经纹理的说话人合成方法、装置和存储介质 |
| CN115908659A (zh) * | 2022-11-25 | 2023-04-04 | 西安交通大学 | 一种基于生成对抗网络的说话人脸合成方法和装置 |
| CN116152399A (zh) * | 2021-11-22 | 2023-05-23 | 广州视源电子科技股份有限公司 | 三维人脸形状生成方法、装置、设备及存储介质 |
| WO2023193474A1 (zh) * | 2022-04-08 | 2023-10-12 | 马上消费金融股份有限公司 | 信息处理方法、装置、计算机设备及存储介质 |
| CN116958430A (zh) * | 2023-07-21 | 2023-10-27 | 咪咕文化科技有限公司 | 一种人脸建模方法、装置、设备及介质 |
| CN117036583A (zh) * | 2022-10-13 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、存储介质及计算机设备 |
-
2023
- 2023-11-28 CN CN202311600566.3A patent/CN117593442B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110677598A (zh) * | 2019-09-18 | 2020-01-10 | 北京市商汤科技开发有限公司 | 视频生成方法、装置、电子设备和计算机存储介质 |
| US20210357625A1 (en) * | 2019-09-18 | 2021-11-18 | Beijing Sensetime Technology Development Co., Ltd. | Method and device for generating video, electronic equipment, and computer storage medium |
| CN111243626A (zh) * | 2019-12-30 | 2020-06-05 | 清华大学 | 一种说话视频生成方法及系统 |
| WO2021232690A1 (zh) * | 2020-05-18 | 2021-11-25 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN112330781A (zh) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | 生成模型和生成人脸动画的方法、装置、设备和存储介质 |
| CN113066171A (zh) * | 2021-04-20 | 2021-07-02 | 南京大学 | 一种基于三维人脸形变模型的人脸图像生成方法 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| CN116152399A (zh) * | 2021-11-22 | 2023-05-23 | 广州视源电子科技股份有限公司 | 三维人脸形状生成方法、装置、设备及存储介质 |
| CN114255496A (zh) * | 2021-11-30 | 2022-03-29 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN114241558A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技（深圳）有限公司 | 模型的训练方法、视频生成方法和装置、设备、介质 |
| CN114299573A (zh) * | 2021-12-23 | 2022-04-08 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114529785A (zh) * | 2022-02-22 | 2022-05-24 | 平安科技（深圳）有限公司 | 模型的训练方法、视频生成方法和装置、设备、介质 |
| WO2023193474A1 (zh) * | 2022-04-08 | 2023-10-12 | 马上消费金融股份有限公司 | 信息处理方法、装置、计算机设备及存储介质 |
| CN114782610A (zh) * | 2022-04-25 | 2022-07-22 | 北京影数科技有限公司 | 一种结合神经纹理的可操控3d人脸重建方法及系统 |
| CN115187704A (zh) * | 2022-06-17 | 2022-10-14 | 平安科技（深圳）有限公司 | 虚拟主播生成方法、装置、设备及存储介质 |
| CN115393480A (zh) * | 2022-06-20 | 2022-11-25 | 清华大学 | 基于动态神经纹理的说话人合成方法、装置和存储介质 |
| CN117036583A (zh) * | 2022-10-13 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、存储介质及计算机设备 |
| CN115908659A (zh) * | 2022-11-25 | 2023-04-04 | 西安交通大学 | 一种基于生成对抗网络的说话人脸合成方法和装置 |
| CN116958430A (zh) * | 2023-07-21 | 2023-10-27 | 咪咕文化科技有限公司 | 一种人脸建模方法、装置、设备及介质 |
Non-Patent Citations (5)
| Title |
|---|
| GECER B, PLOUMPIS S, KOTSIA I, ET AL.: "Ganfit: Generative adversarial network fitting for high fidelity 3d face reconstruction", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2019 (2019-12-31), pages 1155 - 1164 * |
| GENG Z, CAO C, TULYAKOV S: "3d guided fine-grained face manipulation", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2019 (2019-12-31), pages 9821 - 9830 * |
| 帅霞;付敬奇;张云剑;: "基于3DMM的视频流立体人脸识别算法研究", 仪表技术, no. 11, 15 November 2017 (2017-11-15), pages 15 - 17 * |
| 晏轶超, 程宇豪, 陈琢等: "基于神经网络的生成式三维数字人研究综述:表示、渲染与学习", 中国科学:信息科学, vol. 53, no. 10, 13 October 2023 (2023-10-13), pages 1858 - 1891 * |
| 高翔;黄法秀;刘春平;陈虎;: "3DMM与GAN结合的实时人脸表情迁移方法", 计算机应用与软件, no. 04, 12 April 2020 (2020-04-12), pages 119 - 126 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117593442B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8437514B2 (en) | Cartoon face generation | |
| CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
| CN110634108A (zh) | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| US12112418B2 (en) | Volumetric capture and mesh-tracking based machine learning 4D face/body deformation training | |
| CN113486700A (zh) | 一种教学场景下基于注意力机制的面部表情分析方法 | |
| CN113807265A (zh) | 一种多样化的人脸图像合成方法及系统 | |
| Huang et al. | Parametric implicit face representation for audio-driven facial reenactment | |
| Tan et al. | Style2talker: High-resolution talking head generation with emotion style and art style | |
| CN117593442B (zh) | 一种基于多阶段细粒度渲染的人像生成方法 | |
| CN112396694A (zh) | 一种基于单目摄像头的3d人脸视频生成方法 | |
| CN115908662B (zh) | 说话人视频的生成模型训练和使用方法、装置及设备 | |
| Zhang et al. | Hierarchical Feature Warping and Blending for Talking Head Animation | |
| CN116524087A (zh) | 融合神经辐射场的音频驱动的说话人视频合成方法及系统 | |
| Yu et al. | Confies: Controllable neural face avatars | |
| CN114549288A (zh) | 一种基于深度学习的素描风景图生成方法 | |
| Wang et al. | Expression-aware neural radiance fields for high-fidelity talking portrait synthesis | |
| Zhang et al. | Neural modeling of portrait bas-relief from a single photograph | |
| CN106097373B (zh) | 一种基于分部式稀疏成分分析模型的笑脸合成方法 | |
| Wang et al. | Uncouple generative adversarial networks for transferring stylized portraits to realistic faces | |
| CN113345077B (zh) | 基于PIFu和3D-GAN改进的秦腔人物三维模型重建的方法 | |
| Liu et al. | A Novel Double-Tail Generative Adversarial Network for Fast Photo Animation | |
| CN117975536A (zh) | 一种人脸密集特征点检测与表情参数捕捉方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |