CN111882643A - 三维人脸构建方法、装置和电子设备 - Google Patents
三维人脸构建方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111882643A CN111882643A CN202010798495.2A CN202010798495A CN111882643A CN 111882643 A CN111882643 A CN 111882643A CN 202010798495 A CN202010798495 A CN 202010798495A CN 111882643 A CN111882643 A CN 111882643A
- Authority
- CN
- China
- Prior art keywords
- face
- texture
- image
- dimensional
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明提供了一种三维人脸构建方法、装置和电子设备。其中，该方法包括：获取人脸图像；确定人脸图像的人脸特征向量和3DMM系数；将3DMM系数输入3DMM模型中，输出人脸图像的第一人脸纹理和三维人脸形状；将第一人脸纹理和人脸特征向量输入至纹理优化模型中，输出第二人脸纹理；基于三维人脸形状和第二人脸纹理构建人脸图像的目标三维人脸。将第一人脸纹理和人脸特征向量输入至纹理优化模型中，对较为粗糙的第一人脸纹理进行优化，第二人脸纹理具有更为精细的纹理结构，基于第二人脸纹理构建的目标三维人脸因此具有更高的真实度，并且三维人脸构建的过程中无需采集大规模的包含高清人脸纹理的数据集用于训练，节约了金钱与人力资源。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种三维人脸构建方法、 装置和电子设备。
背景技术
在计算机视觉领域，从单张人脸图片中重建三维人脸的形状和纹理是 一个重要的研究课题。基于3DMM(3D Morphable Model，三维人脸可变 性模型)的方法可以成功从单张人脸图片中重建三维人脸，一般来说，该 方法需要使用几百个人脸扫描模型基于PCA(Principal Components Analysis， 主成分分析)方法构建静态人脸形状和纹理模型。
然而，基于3DMM及其变体的方法虽然能够从单张人脸图片上重建人 脸的三维形状和纹理信息，但是其重建的人脸纹理的真实度却不够高。主 要原因是3DMM方法在实验室环境下采集的少量三维人脸数据进行建模， 该方法在复杂光照条件等不受控制的情况下表现不佳。如果想要在复杂光 照条件下重建高清的人脸纹理信息，需要采集一个大规模的包含高清人脸 纹理的数据集，采集这样一个数据集需要消耗大量的金钱与人力，对一般人员来说难以实现。
发明内容
有鉴于此，本发明的目的在于提供一种三维人脸构建方法、装置和电 子设备，以提高三维人脸的真实度，并且节约金钱与人力资源。
第一方面，本发明实施例提供了一种三维人脸构建方法，方法包括： 获取人脸图像；确定人脸图像的人脸特征向量和三维人脸可变性3DMM系 数；将3DMM系数输入预先设定的3DMM模型中，输出人脸图像的第一 人脸纹理和三维人脸形状；将第一人脸纹理和人脸特征向量输入至预先训 练完成的纹理优化模型中，输出第二人脸纹理；其中，纹理优化模型包括 至少一个图卷积网络；基于三维人脸形状和第二人脸纹理构建人脸图像的 目标三维人脸。
在本发明较佳的实施例中，上述确定人脸图像的人脸特征向量和三维 人脸可变性3DMM系数的步骤，包括：将人脸图像输入预先训练完成的特 征提取器模型中，输出人脸图像的人脸特征向量；将人脸图像输入预先训 练完成的回归器模型中，输出人脸图像的三维人脸可变性3DMM系数。
在本发明较佳的实施例中，上述纹理优化模型包括图卷积解码器、图 卷积优化器和图卷积结合网络；上述将第一人脸纹理和人脸特征向量输入 至预先训练完成的纹理优化模型中，输出第二人脸纹理的步骤，包括：将 人脸特征向量输入至图卷积解码器，输出第一三维网格；将第一人脸纹理 输入至图卷积优化器，输出第二三维网格；将第一三维网格和第二三维网 格输入至图卷积结合网络，输出第二人脸纹理。
在本发明较佳的实施例中，上述纹理优化模型通过下述步骤训练：基 于预设的人脸样本图像集确定当前人脸样本图像；确定当前人脸样本图像 的人脸特征向量和3DMM系数；将当前人脸样本图像的3DMM系数输入 预先设定的3DMM模型中，输出当前人脸样本图像的第一人脸样本纹理和 三维人脸样本形状；将当前人脸样本图像的第一人脸样本纹理和人脸特征 向量输入至纹理优化模型中，输出当前人脸样本图像的第二人脸样本纹理； 基于当前人脸样本图像的第二人脸样本纹理计算纹理优化模型的逐顶点损 失值；基于逐顶点损失值调整纹理优化模型的参数；重复执行训练，直至 训练的次数达到预设次数阈值或逐顶点损失值收敛为止。
在本发明较佳的实施例中，上述方法还包括：确定当前人脸样本图像 的姿态系数和光照系数；将第二人脸样本纹理、三维人脸样本形状、姿态 系数和光照系数输入预先设定的渲染器中，输出渲染图像；将渲染图像和 当前人脸样本图像输入至判别器中，输出判别结果；基于判别结果计算网 络损失值；其中，网络损失值至少包括以下之一：身份保持损失值、逐像 素损失值和对抗损失值；基于网络损失值调整纹理优化模型和判别器的参 数；重复执行训练，直至训练的次数达到预设第二次数阈值或网络损失值 收敛为止。
在本发明较佳的实施例中，上述确定当前人脸样本图像的姿态系数和 光照系数的步骤，包括：将当前人脸样本图像输入预先训练完成的回归器 模型中，输出当前人脸样本图像的姿态系数和光照系数。
在本发明较佳的实施例中，上述判别结果包括：第一判别值和第二判 别值，其中，第一判别值用以表征渲染图像和当前人脸样本图像属于真实 人脸图像的样本分布，第二判别值用以表征渲染图像和当前人脸样本图像 不属于真实人脸图像的样本分布。
在本发明较佳的实施例中，上述于判别结果计算网络损失值的步骤， 包括：如果判别结果为第二判别值，基于渲染图像和当前人脸样本图像计 算网络损失值。
在本发明较佳的实施例中，上述3DMM系数包括身份系数、表情系数 和纹理系数。
第二方面，本发明实施例还提供一种三维人脸构建装置，装置包括： 人脸图像获取模块，用于获取人脸图像；人脸特征向量和3DMM系数确定 模块，用于确定人脸图像的人脸特征向量和三维人脸可变性3DMM系数； 第一人脸纹理和三维人脸形状确定模块，用于将3DMM系数输入预先设定 的3DMM模型中，输出人脸图像的第一人脸纹理和三维人脸形状；第二人 脸纹理确定模块，用于将第一人脸纹理和人脸特征向量输入至预先训练完 成的纹理优化模型中，输出第二人脸纹理；其中，纹理优化模型包括至少 一个图卷积网络；目标三维人脸构建模块，用于基于三维人脸形状和第二 人脸纹理构建人脸图像的目标三维人脸。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器， 存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机 可执行指令以实现上述的三维人脸构建方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可 读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用 和执行时，计算机可执行指令促使处理器实现上述的三维人脸构建方法的 步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种三维人脸构建方法、装置和电子设备，将 3DMM模型输出的人脸图像的第一人脸纹理和该人脸图像的人脸特征向量 输入至纹理优化模型中，对较为粗糙的第一人脸纹理进行优化，纹理优化 模型输出的第二人脸纹理具有更为精细的纹理结构，基于第二人脸纹理构 建的目标三维人脸因此具有更高的真实度，并且三维人脸构建的过程中无 需采集大规模的包含高清人脸纹理的数据集用于训练，节约了金钱与人力资源。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征 和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述 技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1为本发明实施例提供的一种三维人脸构建方法的流程图；
图2为本发明实施例提供的另一种三维人脸构建方法的流程图；
图3为本发明实施例提供的一种三维人脸构建方法的示意图；
图4为本发明实施例提供的一种3DMM模型的训练方法的示意图；
图5为本发明实施例提供的一种的三维人脸构建方法的流程示意图；
图6为本发明实施例提供的一种三维人脸构建方法的重建结果示意图；
图7为本发明实施例提供的一种纹理优化模型的训练方法的流程图；
图8为本发明实施例提供的一种的纹理优化模型的训练方法的流程示 意图；
图9为本发明实施例提供的一种三维人脸构建装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附 图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
目前，通过使用神经网络预测3DMM系数来重建三维人脸的方法取得 了较好的效果，然而存在一些缺点：该方法生成的纹理不够真实，受到 3DMM模型表达能力的限制；对于一些能够生成高清纹理的方法，需要采 集大规模的包含面部纹理信息的数据集。基于此，本发明实施例提供的一 种三维人脸构建方法、装置和电子设备，该技术可以应用于客户端、服务 端、电脑、手机、平板电脑等可以实现人机交互的电子设备上，尤其可以 适用于手机游戏场景中。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维 人脸构建方法进行详细介绍。
本实施例提供了一种三维人脸构建方法，参见图1所示的一种三维人 脸构建方法的流程图，该三维人脸构建方法包括如下步骤：
步骤S102，获取人脸图像。
为了建立三维人脸，首先需要获取二维的人脸图像，本实施例中的人 脸图像可以为包含人脸的图片，由照相机直接采集；也可以由摄像机对人 脸拍摄人脸视频，之后从人脸视频中提取包含人脸的视频帧作为人脸图像。 人脸图像的颜色不做限定，人脸图像可以为彩色图像，也可以为黑白或者 灰度图像，只需保证人脸图像包含人脸，且为二维图像即可。其中，二维 图像是指不包含深度信息的平面图像。
步骤S104，确定人脸图像的人脸特征向量和三维人脸可变性3DMM系 数。
在获取人脸图像后，需要确定人脸图像的人脸特征向量和3DMM系数。 其中，人脸特征向量可以以向量的形式记录人脸图像的特征，3DMM系数 用于由3DMM模型进行三维人脸的构建，3DMM模型由网格(Mesh)组 成，3DMM模型的每一维系数控制人脸的局部的变化。本实施例中的网格 一般指三角网格。三角网格可以由在三维空间中的顶点及三个顶点间的三 角面片组成。每个顶点除了位置坐标以外，还可以包含颜色、法线等信息。 3DMM系数包括身份系数、表情系数和纹理系数，可以理解为3DMM模型 中关于身份、表情和纹理的加权值。
人脸图像的人脸特征向量均可以通过深度学习的方式确定。深度学习 是一种由大规模神经元构成的机器学习算法，由于可以很好地解决复杂的 非线性问题，目前广泛的应用于在计算机视觉、语音识别、自然语言处理 等多个领域。
步骤S106，将3DMM系数输入预先设定的3DMM模型中，输出人脸 图像的第一人脸纹理和三维人脸形状。
将3DMM系数输入预先设定的3DMM模型中，3DMM模型可以根据 身份系数、表情系数和纹理系数输出人脸图像的第一人脸纹理和三维人脸 形状。
3DMM模型是一种基于PCA方法建模的静态人脸形状和纹理模型。 PCA方法是一种统计分析、简化数据集的方法。它利用正交变换来对一系 列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关 变量的值，这些不相关变量称为主成分(Principal Components)。
由于3DMM模型是基于在实验室环境下采集的少量三维人脸数据进行 建模的，第一人脸纹理在复杂光照条件等不受控制的情况下真实性不够高， 因此可以对第一人脸纹理进行优化。
步骤S108，将第一人脸纹理和人脸特征向量输入至预先训练完成的纹 理优化模型中，输出第二人脸纹理；其中，纹理优化模型包括至少一个图 卷积网络。
虽然第一人脸纹理缺乏细节，但在整体上有合理的肤色等信息。因此 对第一人脸纹理进行优化的具体方式可以为通过纹理优化模型进行优化， 纹理优化模型包括至少一个图卷积网络，通过纹理优化模型包含的图卷积 网络以及事先采集的人脸图像的人脸特征向量，可以对第一人脸纹理进行 优化，将面部细节从图像引入三维人脸，图卷积网络可以解码更多的图像 特征，并将RGB(Red Green Blue，红绿蓝)值传播到面部三维网格的顶点 上。
其中，RGB是一种颜色模型，通过将红(Red)、绿(Green)、蓝(Blue) 三原色的色光以不同的比例相加，以合成产生各种色彩光。纹理优化模型 输出到人脸图像的第二人脸纹理。第二人脸纹理与第一人脸纹理相比，具 有更多的更精细的面部纹理。
步骤S110，基于三维人脸形状和第二人脸纹理构建人脸图像的目标三 维人脸。
在获得具有更精细的面部纹理的第二人脸纹理后，可以根据三维人脸 形状和第二人脸纹理构建人脸图像的目标三维人脸。上述目标三维人脸因 此具有更高的真实度。
本发明实施例提供的一种三维人脸构建方法，将3DMM模型输出的人 脸图像的第一人脸纹理和该人脸图像的人脸特征向量输入至纹理优化模型 中，对较为粗糙的第一人脸纹理进行优化，纹理优化模型输出的第二人脸 纹理具有更为精细的纹理结构，基于第二人脸纹理构建的目标三维人脸因 此具有更高的真实度，并且三维人脸构建的过程中无需采集大规模的包含 高清人脸纹理的数据集用于训练，节约了金钱与人力资源。
本实施例提供了另一种三维人脸构建方法，该方法在上述实施例的基 础上实现；本实施例重点描述确定人脸图像的人脸特征向量和三维人脸可 变性3DMM系数的具体实施方式。如图2所示的另一种三维人脸构建方法 的流程图，本实施例中的三维人脸构建方法包括如下步骤：
步骤S202，获取人脸图像。
步骤S204，将人脸图像输入预先训练完成的特征提取器模型中，输出 人脸图像的人脸特征向量。
参见图3所示的一种三维人脸构建方法的示意图，图3中详细说明了 如何构建三维人脸，这里需要说明的是，图3中的部分模块用于训练神经 网络，在实际使用构建三维人脸时并不发挥作用。因此，图3中的模块并 非全部用于构建三维人脸。
本实施例中的特征提取器模型可以为FaceNet模型，本实施例中 FaceNet模型是一个由一系列卷积层构成的卷积神经网络，FaceNet模型是 一个预训练的模型，可以作为人脸特征提取器使用。如图3所示，可以将 人脸图像I输入特征提取器(FaceNet模型)中，通过FaceNet模型可以快 速准确地提取人脸图像的人脸特征向量。
步骤S206，将人脸图像输入预先训练完成的回归器模型中，输出人脸 图像的三维人脸可变性3DMM系数。
如图3所示，可以将人脸图像I输入回归器模型中，通过回归器模型输 出人脸图像的3DMM系数。本实施例中的回归器模型可以是一个由一系列 卷积层构成的卷积神经网络，回归器模型的输入的二维人脸图像 
输出为3DMM系数(包括身份系数
表情系数
和纹理系数
)。通过3DMM系数，可以生成人脸的三维表示，即三 维人脸网格中每个顶点的坐标和每个顶点的颜色。
本发明实施例提供的上述方法，通过特征提取器模型提取人脸特征向 量，通过回归器提取3DMM系数，可以准确、快速地确定人脸特征向量和 3DMM系数，为之后的三维人脸的构建和优化打下基础。
步骤S208，将3DMM系数输入预先设定的3DMM模型中，输出人脸 图像的第一人脸纹理和三维人脸形状。
一般来说，3DMM系数包括身份系数ci、表情系数ce和纹理系数ct。给 定这三者，3DMM模型输出的人脸的形状S和纹理T可以分别表示为：
S＝Smean+ciIbase+ceEbase；T＝Tmean+ctTbase；
其中，Smean和Tmean分别表示平均人脸形状和纹理，Ibase、Ebase和Tbase则分别表示身份、表情和纹理的PCA基。Ibase、Ebase和Tbase可以是指从多 个三维人脸数据(mesh)中提取的基准值。Ibase、Ebase和Tbase均包含多组 基准值，每组基准值对应的身份系数ci、表情系数ce和纹理系数ct也包含多 个值，而非单个值。
通过3DMM模型建立三维人脸，可以避免采集包含面部纹理的大规模 数据集，从单张图片中重建三维人脸形状及高清的人脸纹理信息。在训练 3DMM模型的步骤中，可以通过训练神经网络从人脸图像中回归3DMM系 数，并通过使生成的结果拟合输入的人脸图像来进行训练。参见图4所示 的一种3DMM模型的训练方法的示意图，具体的训练方式可以为：将人脸 图像I输入到卷积神经网络中，得到3DMM系数；通过3DMM模型，将 3DMM系数还原为目标三维人脸，包括形状和纹理；将目标三维人脸投影 到输入图像I中得到I'；通过最小化输入图像I与投影图像I'之间的差异来 训练卷积神经网络。
此外，本实施例使用的3DMM模型可以为BFM(Basel Face Model) 模型，本实施例中BFM模型的人脸网格包括35709个顶点和70789个三角 面片。
步骤S210，将第一人脸纹理和人脸特征向量输入至预先训练完成的纹 理优化模型中，输出第二人脸纹理；其中，纹理优化模型包括至少一个图 卷积网络。
如图3所示，图3中的粗糙度纹理T即第一人脸纹理，可以将第一人 脸纹理T和人脸特征向量输入纹理优化模块(即纹理优化模型)中。本实 施例中的纹理优化模型可以包括3个图卷积网络，分别是：图卷积解码器、 图卷积优化器和图卷积结合网络；上述3个图卷积网络可以通过下述步骤 A1-步骤A3确定人脸图像的第二人脸纹理：
步骤A1，将人脸特征向量输入至图卷积解码器，输出第一三维网格。
图卷积解码器可以由多个图卷积网络层构成，图卷积解码器的输入可 以是FaceNet模型从人脸图像提取的人脸特征向量，图卷积解码器的输出可 以是由35709个顶点和70789个三角面片组成的第一三维网格。
步骤A2，将第一人脸纹理输入至图卷积优化器，输出第二三维网格。
图卷积优化器也可以由多个图卷积网络层组成，图卷积优化器的输入 可以是由3DMM生成的粗略的纹理(顶点颜色)，即第一人脸纹理T，图卷 积优化器的输出可以是由35709个顶点和70789个三角面片组成的第二三 维网格。
步骤A3，将第一三维网格和第二三维网格输入至图卷积结合网络，输 出第二人脸纹理。
图卷积结合网络即图3中的结合网络，图卷积结合网络可以将第一三 维网格和第二三维网格作为输入，经过图卷积结合网络中的图卷积网络层 得到整个纹理优化模型最后的输出，图卷积结合网络可以输出优化后的精 细的人脸纹理，即第二人脸纹理T'。
本发明实施例提供的上述方法，纹理优化模型包括图卷积解码器、图 卷积优化器和图卷积结合网络；通过纹理优化模型可以结合人脸特征向量 和粗糙的第一人脸纹理，输出精细的第二人脸纹理，实现对人脸纹理的优 化，从而提高三维人脸构建的真实性。
步骤S212，基于三维人脸形状和第二人脸纹理构建人脸图像的目标三 维人脸。
本发明实施例的三维人脸构建方法的整体流程可以参见图5所示的一 种的三维人脸构建方法的流程示意图，其流程如下：加载预训练的回归器、 特征提取器和纹理优化模块；加载任意的一张人脸图像；使用人脸特征提 取器提取人脸图像的特征向量；使用回归器回归3DMM系数等；通过3DMM 模型将3DMM系数还原为三维人脸形状和粗略的纹理；将粗略的纹理 和人脸特征向量输入到纹理优化模块中，生成精细的纹理；将三维人脸形 状和精细的纹理作为最终结果输出。
本发明实施例的三维人脸构建方法得到的三维人脸重建结果可以参见 图6所示的一种三维人脸构建方法的重建结果示意图，如图6所示，图6 中的上方为输入的人脸图像，下方为三维人脸构建方法的重建结果，可以 看出，三维人脸构建方法的重建结果具有较高的真实度和较为精细的纹理 效果。
综上，本发明实施例提供的上述方法的算法框架是以由粗到精的方式 构成的。首先使用卷积神经网络预测3DMM系数，并以此生成一个重建的 三维人脸。将3DMM方法得到的人脸纹理作为粗略的结果，然后使用图卷 积网络进一步优化，得到最终精细的人脸纹理。本发明实施例可以提高重 建的三维人脸纹理的真实度，无需采集大量三维人脸数据就可以生成高清 人脸纹理。
本实施例还提供了一种纹理优化模型的训练方法，该方法在上述实施 例的基础上实现。本实施例中包含四个神经网络模块，其中两个是预训练 的神经网络，分别是用于回归3DMM系数、人脸姿态和光照系数的回归器 模型，以及用于提取人脸特征向量的特征提取器模型。另外两个是需要训 练的神经网络，分别是用于优化人脸纹理的纹理优化模型，以及一个判别 器模块。训练数据来自于公开的人脸图像数据集。
如图7所示的一种纹理优化模型的训练方法的流程图，本实施例中的 纹理优化模型的训练方法包括如下步骤：
步骤S702，基于预设的人脸样本图像集确定当前人脸样本图像。
人脸样本图像集包含多个人脸样本图像，人脸样本图像为二维图像， 且无需保证人脸样本图像为高清图像。从人脸样本图像集中选择一张人脸 样本图像集作为当前人脸样本图像集，用于训练纹理优化模型。
步骤S704，确定当前人脸样本图像的人脸特征向量和3DMM系数。步 骤S704与前述实施例中的步骤S104、步骤S204和步骤S206类似，这里 不再赘述。
步骤S706，将当前人脸样本图像的3DMM系数输入预先设定的3DMM 模型中，输出当前人脸样本图像的第一人脸样本纹理和三维人脸样本形状。 步骤S706与前述实施例中的步骤S106和步骤S208类似，这里不再赘述。
步骤S708，将当前人脸样本图像的第一人脸样本纹理和人脸特征向量 输入至纹理优化模型中，输出当前人脸样本图像的第二人脸样本纹理。步 骤S708与前述实施例中的步骤S108和步骤S210类似，这里不再赘述。
步骤S710，基于当前人脸样本图像的第二人脸样本纹理计算纹理优化 模型的逐顶点损失值。
逐顶点损失计算的是由3DMM生成的粗略的纹理和纹理优化模块生成 的精细纹理之间的差异。该项损失函数存在的意义是作为神经网络训练初 步阶段的“热身”，以辅助神经网络训练，其权重在训练阶段会逐步降低。其 公式表示如下：
其中，x表示由3DMM生成的粗略的纹理(即第一人脸样本纹理)，x′表 示纹理优化模块生成的精细纹理(即第二人脸样本纹理)。N指的是网格的 顶点数量，纹理是以每个顶点的颜色值(RGB)来表示的。
步骤S712，基于逐顶点损失值调整纹理优化模型的参数。
纹理优化模型可以根据逐顶点损失值的大小，逐步调整调整纹理优化 模型的参数，以使调整后的纹理优化模型的逐顶点损失值趋于收敛。
步骤S714，重复执行训练，直至训练的次数达到预设次数阈值或逐顶 点损失值收敛为止。
在根据当前人脸样本图像计算出逐顶点损失值，并调整纹理优化模型 的参数之后，可以继续执行基于预设的人脸样本图像集确定当前人脸样本 图像的训练步骤，继续调整纹理优化模型的参数，直至训练的次数达到预 设次数阈值或逐顶点损失值收敛为止。其中，预设次数阈值可以为3次， 意味着如果调整纹理优化模型的参数的次数达到3次，则训练纹理优化模 型的步骤结束，即“热身阶段”结束。
本发明实施例提供的上述方法，可以通过“热身阶段”训练纹理优化模 型，调整纹理优化模型的参数，当训练的次数达到预设次数阈值或逐顶点 损失值收敛停止训练，训练后的纹理优化模型具有更高的优化粗糙的第一 人脸纹理的效率。
热身阶段结束之后，可以继续通过步骤B1-步骤B6调整纹理优化模型 的参数：
步骤B1，确定当前人脸样本图像的姿态系数和光照系数。
如图3所示，姿态系数和光照系数可以由回归器模块通过下述步骤回 归：将当前人脸样本图像输入预先训练完成的回归器模型中，输出当前人 脸样本图像的姿态系数和光照系数。
回归器可以输出人脸姿态
光照系数
人脸姿态包括三 个旋转角度和三个坐标轴上的位移，光照系数包括三个场景照明的球谐系 数向量，每个球谐系数向量包括9个数值。
步骤B2，将第二人脸样本纹理、三维人脸样本形状、姿态系数和光照 系数输入预先设定的渲染器中，输出渲染图像。
渲染器可以根据给定的三维人脸网格(包括顶点的坐标、颜色和三角 面片的定义)以及光照系数，生成三维人脸在二维空间上的投影(渲染图 像)。
步骤B3，将渲染图像和当前人脸样本图像输入至判别器中，输出判别 结果。
为了提高生成结果的真实性，还可以采取生成式对抗网络的思路，设 计一个判别器网络。
判别器由多个卷积网络层构成，判别器将二维图片(即渲染图像和当 前人脸样本图像)作为输入，输出是一个矢量值，即判别结果。判别结果 包括：第一判别值和第二判别值，其中，第一判别值用以表征渲染图像和 当前人脸样本图像属于真实人脸图像的样本分布，第二判别值用以表征渲 染图像和当前人脸样本图像不属于真实人脸图像的样本分布。
在训练阶段，当输入的图片来自于真实的人脸图像时(即渲染图像和 当前人脸样本图像属于真实人脸图像的样本分布)，其期望输出为1(1为 第一判别值)；当输入的图片来自于渲染器渲染的图像时(即渲染图像和当 前人脸样本图像不属于真实人脸图像的样本分布)，其期望输出为0(2位 第二判别值)。
判别器接收来自生成器(即纹理优化模型)生成的数据(本发明为渲 染图片R’)，或是真实样本(本发明为输入图像I)，并且学习将两者区分开 来。当判别器接收到来自生成器生成的数据时，它要学习输出0，当判别器 接收到真实样本时，它要学习输出1。而生成器则要学习骗过判别器，即生 成器要学习让生成的数据尽量被判别器识别为真实样本。最终目的是让生 成器生成的数据接近真实样本。
步骤B4，基于判别结果计算网络损失值；其中，网络损失值至少包括 以下之一：身份保持损失值、逐像素损失值和对抗损失值。
当判别结果为第二判别值(一般为0)时，说明渲染图像和当前人脸样 本图像不属于真实人脸图像的样本分布，此时需要调整纹理优化模型和判 别器的参数。在调节参数之前，可以基于渲染图像和当前人脸样本图像计 算网络损失值。
以网络损失值包括身份保持损失值、逐像素损失值和对抗损失值为例。 身份保持损失目的是最小化输入图片和渲染图片之间的特征向量的差异， 其公式表达为：
其中，x表示输入的人脸图 像，x′表示渲染图像，F(·)代表了特征提取器。
逐像素损失值计算的则是输入的人脸图片和渲染图片之间的差值，其 公式表达为：
其中，x表示输入的人脸图 像，x′表示渲染图像，Mproj表示三维人脸网格在二维图片中能够投影到的 区域，Mface表示输入图像中的脸部区域。
对于对抗损失，其公式表达可以为：
其中，x表示输入的人脸图像，x′表 示渲染图像，
表示在x和x′之间随机采样的数据。D指判别器， 
的是数据分布，例如
表示x′采样自R′；λ代表一个权重，λ可以＝10。 
表示能量函数。
表示求微分。
步骤B5，基于网络损失值调整纹理优化模型和判别器的参数。
步骤B6，重复执行训练，直至训练的次数达到预设第二次数阈值或网 络损失值收敛为止。
根据计算得到的网络损失值，可以调整纹理优化模型和判别器的参数。 当训练的次数达到预设第二次数(第二次数可以为50、100次等)或者网 络损失值收敛，则停止纹理优化模型和判别器的训练。
本发明实施例的纹理优化模型的训练方法的整体流程可以参见图8所 示的一种的纹理优化模型的训练方法的流程示意图，可以通过步骤1-步骤 执行：
步骤1，加载预训练的回归器和特征提取器，随机初始化纹理优化模块 和判别器；
步骤2，加载训练数据集中的一张人脸图像；
步骤3，使用人脸特征提取器提取人脸图像的特征向量；
步骤4，使用回归器回归3DMM系数、姿态及光照系数；
步骤5，通过3DMM模型将3DMM系数还原为三维人脸形状和粗略的 纹理；
步骤6，将粗略的纹理和人脸特征向量输入到纹理优化模块中，生成精 细的纹理；
步骤7，如果还处于“热身”阶段，则计算粗略纹理和精细纹理之间的逐 像素损失，并通过梯度反向传播方法训练纹理优化模块，整个训练过程的 前三轮为“热身”阶段；
步骤8，将三维人脸形状、纹理、姿态及光照系数输入到渲染器中，生 成渲染的图像；
步骤9，将输入的人脸图像和渲染的图像输入到判别器中；
步骤10，计算身份保持损失、逐顶点损失和对抗损失，并梯度反向传 播方法训练纹理优化模块和判别器；
步骤11，判断网络的损失函数是否收敛，如果未收敛，则重复2到10 的步骤，如果已收敛，则完成训练并结束。
需要说明的是，上述各方法实施例均采用递进的方式描述，每个实施 例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的 部分互相参见即可。
对应于上述方法实施例，本发明实施例提供了一种三维人脸构建装置， 如图9所示的一种三维人脸构建装置的结构示意图，该三维人脸构建装置 包括：
人脸图像获取模块91，用于获取人脸图像；
人脸特征向量和3DMM系数确定模块92，用于确定人脸图像的人脸特 征向量和三维人脸可变性3DMM系数；
第一人脸纹理和三维人脸形状确定模块93，用于将3DMM系数输入预 先设定的3DMM模型中，输出人脸图像的第一人脸纹理和三维人脸形状；
第二人脸纹理确定模块94，用于将第一人脸纹理和人脸特征向量输入 至预先训练完成的纹理优化模型中，输出第二人脸纹理；其中，纹理优化 模型包括至少一个图卷积网络；
目标三维人脸构建模块95，用于基于三维人脸形状和第二人脸纹理构 建人脸图像的目标三维人脸。
本发明实施例提供的一种三维人脸构建装置，将3DMM模型输出的人 脸图像的第一人脸纹理和该人脸图像的人脸特征向量输入至纹理优化模型 中，对较为粗糙的第一人脸纹理进行优化，纹理优化模型输出的第二人脸 纹理具有更为精细的纹理结构，基于第二人脸纹理构建的目标三维人脸因 此具有更高的真实度，并且三维人脸构建的过程中无需采集大规模的包含 高清人脸纹理的数据集用于训练，节约了金钱与人力资源。
上述人脸特征向量和3DMM系数确定模块，用于将人脸图像输入预先 训练完成的特征提取器模型中，输出人脸图像的人脸特征向量；将人脸图 像输入预先训练完成的回归器模型中，输出人脸图像的三维人脸可变性 3DMM系数。
上述纹理优化模型包括图卷积解码器、图卷积优化器和图卷积结合网 络；上述第二人脸纹理确定模块，用于将人脸特征向量输入至图卷积解码 器，输出第一三维网格；将第一人脸纹理输入至图卷积优化器，输出第二 三维网格；将第一三维网格和第二三维网格输入至图卷积结合网络，输出 第二人脸纹理。
上述装置还包括纹理优化模型训练模块，用于基于预设的人脸样本图 像集确定当前人脸样本图像；确定当前人脸样本图像的人脸特征向量和 3DMM系数；将当前人脸样本图像的3DMM系数输入预先设定的3DMM 模型中，输出当前人脸样本图像的第一人脸样本纹理和三维人脸样本形状； 将当前人脸样本图像的第一人脸样本纹理和人脸特征向量输入至纹理优化 模型中，输出当前人脸样本图像的第二人脸样本纹理；基于当前人脸样本 图像的第二人脸样本纹理计算纹理优化模型的逐顶点损失值；基于逐顶点 损失值调整纹理优化模型的参数；重复执行训练，直至训练的次数达到预 设次数阈值或逐顶点损失值收敛为止。
上述纹理优化模型训练模块，还用于确定当前人脸样本图像的姿态系 数和光照系数；将第二人脸样本纹理、三维人脸样本形状、姿态系数和光 照系数输入预先设定的渲染器中，输出渲染图像；将渲染图像和当前人脸 样本图像输入至判别器中，输出判别结果；基于判别结果计算网络损失值； 其中，网络损失值至少包括以下之一：身份保持损失值、逐像素损失值和 对抗损失值；基于网络损失值调整纹理优化模型和判别器的参数；重复执行训练，直至训练的次数达到预设第二次数阈值或网络损失值收敛为止。
上述纹理优化模型训练模块，用于将当前人脸样本图像输入预先训练 完成的回归器模型中，输出当前人脸样本图像的姿态系数和光照系数。
上述判别结果包括：第一判别值和第二判别值，其中，第一判别值用 以表征渲染图像和当前人脸样本图像属于真实人脸图像的样本分布，第二 判别值用以表征渲染图像和当前人脸样本图像不属于真实人脸图像的样本 分布。
上述纹理优化模型训练模块，用于如果判别结果为第二判别值，基于 渲染图像和当前人脸样本图像计算网络损失值。
上述3DMM系数包括身份系数、表情系数和纹理系数。
本发明实施例还提供了一种电子设备，用于运行上述三维人脸构建方 法；参见图10所示的一种电子设备的结构示意图，该电子设备包括存储器 100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一 条或多条计算机指令被处理器101执行，以实现上述三维人脸构建方法。
进一步地，图10所示的电子设备还包括总线102和通信接口103，处 理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至 少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实 现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广 域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总 线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图 10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现 过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路 或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中 央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor， 简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、 专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编 程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑 器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本 发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处 理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公 开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处 理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器， 闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存 器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储 介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执 行时，计算机可执行指令促使处理器实现上述三维人脸构建方法，具体实 现可参见方法实施例，在此不再赘述。
本发明实施例所提供的三维人脸构建方法、装置和电子设备的计算机 程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的 指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例， 在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直 接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对 于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的 具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电 子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分 步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、 “右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所 示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示 或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作， 因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用 于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用 以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于 此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利 要求的保护范围为准。
Claims (12)
1.一种三维人脸构建方法，其特征在于，所述方法包括：
获取人脸图像；
确定所述人脸图像的人脸特征向量和三维人脸可变性3DMM系数；
将所述3DMM系数输入预先设定的3DMM模型中，输出所述人脸图像的第一人脸纹理和三维人脸形状；
将所述第一人脸纹理和所述人脸特征向量输入至预先训练完成的纹理优化模型中，输出第二人脸纹理；其中，所述纹理优化模型包括至少一个图卷积网络；
基于所述三维人脸形状和所述第二人脸纹理构建所述人脸图像的目标三维人脸。
2.根据权利要求1所述的方法，其特征在于，确定所述人脸图像的人脸特征向量和三维人脸可变性3DMM系数的步骤，包括：
将所述人脸图像输入预先训练完成的特征提取器模型中，输出所述人脸图像的人脸特征向量；
将所述人脸图像输入预先训练完成的回归器模型中，输出所述人脸图像的三维人脸可变性3DMM系数。
3.根据权利要求1所述的方法，其特征在于，所述纹理优化模型包括图卷积解码器、图卷积优化器和图卷积结合网络；
将所述第一人脸纹理和所述人脸特征向量输入至预先训练完成的纹理优化模型中，输出第二人脸纹理的步骤，包括：
将所述人脸特征向量输入至所述图卷积解码器，输出第一三维网格；
将所述第一人脸纹理输入至所述图卷积优化器，输出第二三维网格；
将所述第一三维网格和所述第二三维网格输入至所述图卷积结合网络，输出第二人脸纹理。
4.根据权利要求1所述的方法，其特征在于，所述纹理优化模型通过下述步骤训练：
基于预设的人脸样本图像集确定当前人脸样本图像；
确定所述当前人脸样本图像的人脸特征向量和3DMM系数；
将所述当前人脸样本图像的3DMM系数输入预先设定的3DMM模型中，输出所述当前人脸样本图像的第一人脸样本纹理和三维人脸样本形状；
将所述当前人脸样本图像的第一人脸样本纹理和人脸特征向量输入至所述纹理优化模型中，输出所述当前人脸样本图像的第二人脸样本纹理；
基于所述当前人脸样本图像的第二人脸样本纹理计算所述纹理优化模型的逐顶点损失值；
基于所述逐顶点损失值调整所述纹理优化模型的参数；
重复执行所述训练，直至所述训练的次数达到预设次数阈值或所述逐顶点损失值收敛为止。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定所述当前人脸样本图像的姿态系数和光照系数；
将所述第二人脸样本纹理、三维人脸样本形状、姿态系数和光照系数输入预先设定的渲染器中，输出渲染图像；
将所述渲染图像和所述当前人脸样本图像输入至判别器中，输出判别结果；
基于所述判别结果计算网络损失值；其中，所述网络损失值至少包括以下之一：身份保持损失值、逐像素损失值和对抗损失值；
基于所述网络损失值调整所述纹理优化模型和所述判别器的参数；
重复执行所述训练，直至所述训练的次数达到预设第二次数阈值或所述网络损失值收敛为止。
6.根据权利要求5所述的方法，其特征在于，确定所述当前人脸样本图像的姿态系数和光照系数的步骤，包括：
将所述当前人脸样本图像输入预先训练完成的回归器模型中，输出所述当前人脸样本图像的姿态系数和光照系数。
7.根据权利要求5所述的方法，其特征在于，所述判别结果包括：第一判别值和第二判别值，其中，所述第一判别值用以表征所述渲染图像和所述当前人脸样本图像属于真实人脸图像的样本分布，所述第二判别值用以表征所述渲染图像和所述当前人脸样本图像不属于真实人脸图像的样本分布。
8.根据权利要求7所述的方法，其特征在于，基于所述判别结果计算网络损失值的步骤，包括：
如果所述判别结果为所述第二判别值，基于所述渲染图像和所述当前人脸样本图像计算网络损失值。
9.根据权利要求1所述的方法，其特征在于，所述3DMM系数包括身份系数、表情系数和纹理系数。
10.一种三维人脸构建装置，其特征在于，所述装置包括：
人脸图像获取模块，用于获取人脸图像；
人脸特征向量和3DMM系数确定模块，用于确定所述人脸图像的人脸特征向量和三维人脸可变性3DMM系数；
第一人脸纹理和三维人脸形状确定模块，用于将所述3DMM系数输入预先设定的3DMM模型中，输出所述人脸图像的第一人脸纹理和三维人脸形状；
第二人脸纹理确定模块，用于将所述第一人脸纹理和所述人脸特征向量输入至预先训练完成的纹理优化模型中，输出第二人脸纹理；其中，所述纹理优化模型包括至少一个图卷积网络；
目标三维人脸构建模块，用于基于所述三维人脸形状和所述第二人脸纹理构建所述人脸图像的目标三维人脸。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述的三维人脸构建方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至9任一项所述的三维人脸构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798495.2A CN111882643A (zh) | 2020-08-10 | 2020-08-10 | 三维人脸构建方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798495.2A CN111882643A (zh) | 2020-08-10 | 2020-08-10 | 三维人脸构建方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882643A true CN111882643A (zh) | 2020-11-03 |
Family
ID=73211999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010798495.2A Withdrawn CN111882643A (zh) | 2020-08-10 | 2020-08-10 | 三维人脸构建方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882643A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396693A (zh) * | 2020-11-25 | 2021-02-23 | 上海商汤智能科技有限公司 | 一种面部信息的处理方法、装置、电子设备及存储介质 |
| CN112419455A (zh) * | 2020-12-11 | 2021-02-26 | 中山大学 | 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质 |
| CN112669447A (zh) * | 2020-12-30 | 2021-04-16 | 网易（杭州）网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
| CN113177879A (zh) * | 2021-04-30 | 2021-07-27 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN113421335A (zh) * | 2021-07-21 | 2021-09-21 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备和存储介质 |
| CN113723317A (zh) * | 2021-09-01 | 2021-11-30 | 京东科技控股股份有限公司 | 3d人脸的重建方法、装置、电子设备和存储介质 |
| CN113963110A (zh) * | 2021-10-11 | 2022-01-21 | 北京百度网讯科技有限公司 | 纹理图生成方法、装置、电子设备及存储介质 |
| CN116342782A (zh) * | 2023-03-31 | 2023-06-27 | 北京百度网讯科技有限公司 | 生成虚拟形象渲染模型的方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410133A (zh) * | 2018-09-30 | 2019-03-01 | 北京航空航天大学青岛研究院 | 一种基于3dmm的人脸纹理修复方法 |
| CN111028343A (zh) * | 2019-12-16 | 2020-04-17 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
-
2020
- 2020-08-10 CN CN202010798495.2A patent/CN111882643A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410133A (zh) * | 2018-09-30 | 2019-03-01 | 北京航空航天大学青岛研究院 | 一种基于3dmm的人脸纹理修复方法 |
| CN111028343A (zh) * | 2019-12-16 | 2020-04-17 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| JIANGKE LIN: "《Towards High-Fidelity 3D Face Reconstruction from In-the-wild Images Using Graph Convolutional Networks 》", 《HTTPS://ARXIV.ORG/PDF/2003.05653.PDF》, pages 2 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396693A (zh) * | 2020-11-25 | 2021-02-23 | 上海商汤智能科技有限公司 | 一种面部信息的处理方法、装置、电子设备及存储介质 |
| CN112419455A (zh) * | 2020-12-11 | 2021-02-26 | 中山大学 | 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质 |
| CN112419455B (zh) * | 2020-12-11 | 2022-07-22 | 中山大学 | 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质 |
| CN112669447A (zh) * | 2020-12-30 | 2021-04-16 | 网易（杭州）网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
| CN112669447B (zh) * | 2020-12-30 | 2023-06-30 | 网易（杭州）网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
| CN113177879A (zh) * | 2021-04-30 | 2021-07-27 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
| CN113421335A (zh) * | 2021-07-21 | 2021-09-21 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备和存储介质 |
| CN113723317A (zh) * | 2021-09-01 | 2021-11-30 | 京东科技控股股份有限公司 | 3d人脸的重建方法、装置、电子设备和存储介质 |
| CN113723317B (zh) * | 2021-09-01 | 2024-04-09 | 京东科技控股股份有限公司 | 3d人脸的重建方法、装置、电子设备和存储介质 |
| CN113963110A (zh) * | 2021-10-11 | 2022-01-21 | 北京百度网讯科技有限公司 | 纹理图生成方法、装置、电子设备及存储介质 |
| CN113963110B (zh) * | 2021-10-11 | 2022-10-25 | 北京百度网讯科技有限公司 | 纹理图生成方法、装置、电子设备及存储介质 |
| CN116342782A (zh) * | 2023-03-31 | 2023-06-27 | 北京百度网讯科技有限公司 | 生成虚拟形象渲染模型的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882643A (zh) | 三维人脸构建方法、装置和电子设备 | |
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| WO2021174939A1 (zh) | 人脸图像的获取方法与系统 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN111462206B (zh) | 一种基于卷积神经网络的单目结构光深度成像方法 | |
| CN104424634B (zh) | 对象跟踪方法和装置 | |
| CN111598998A (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
| Wynn et al. | Diffusionerf: Regularizing neural radiance fields with denoising diffusion models | |
| Kolesnikov et al. | PixelCNN models with auxiliary variables for natural image modeling | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN112927354B (zh) | 基于实例分割的三维重建方法、系统、存储介质及终端 | |
| CN110517352B (zh) | 一种物体的三维重建方法、存储介质、终端及系统 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN108596919A (zh) | 一种基于深度图的自动图像分割方法 | |
| CN113723317B (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN113808277B (zh) | 一种图像处理方法及相关装置 | |
| CN111192226A (zh) | 一种图像融合去噪方法及装置、系统 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN111862278A (zh) | 一种动画获得方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201103 |
|
| WW01 | Invention patent application withdrawn after publication |