CN112614229B - 基于深度学习的人脸重建方法和装置 - Google Patents

基于深度学习的人脸重建方法和装置 Download PDF

Info

Publication number
CN112614229B
CN112614229B CN202011598566.0A CN202011598566A CN112614229B CN 112614229 B CN112614229 B CN 112614229B CN 202011598566 A CN202011598566 A CN 202011598566A CN 112614229 B CN112614229 B CN 112614229B
Authority
CN
China
Prior art keywords
face
neural network
texture
deep
dimensional geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011598566.0A
Other languages
English (en)
Other versions
CN112614229A (zh
Inventor
徐枫
王至博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011598566.0A priority Critical patent/CN112614229B/zh
Publication of CN112614229A publication Critical patent/CN112614229A/zh
Application granted granted Critical
Publication of CN112614229B publication Critical patent/CN112614229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种基于深度学习的人脸重建方法和装置，涉及图像处理技术领域，其中，方法包括：获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

Description

基于深度学习的人脸重建方法和装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的人脸重建方法和装置。
背景技术
人脸三维重建在人脸动画以及人脸跟踪中有重要的应用。在人脸动画领域，高精度的人脸几何和纹理对于人脸动画的结果非常重要，使用高精度的几何和纹理，可以使得人物动画更加具有真实感。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于深度学习的人脸重建方法，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。
本申请的第二个目的在于提出一种基于深度学习的人脸重建装置。
为达上述目的，本申请第一方面实施例提出了一种基于深度学习的人脸重建方法，包括：
获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。
本申请实施例的基于深度学习的人脸重建方法，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。
在本申请的一个实施例中，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。
在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。
在本申请的一个实施例中，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：
提取所述人脸视频的每个视频帧；
对所述视频帧进行人脸识别，获取人脸图像；
对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。
在本申请的一个实施例中，所述基于深度学习的人脸重建方法，还包括：
通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；
根据所述人脸图片生成所述人脸多视角图片数据集。
为达上述目的，本申请第二方面实施例提出了一种基于深度学习的人脸重建装置，包括：
第一获取模块，用于获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
训练模块，用于通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
处理模块，用于将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。
本申请实施例的基于深度学习的人脸重建装置，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。
在本申请的一个实施例中，所述训练模块，具体用于：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。
在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。
在本申请的一个实施例中，所述处理模块，具体用于：提取所述人脸视频的每个视频帧；对所述视频帧进行人脸识别，获取人脸图像；对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。
在本申请的一个实施例中，所述的装置，还包括：第二获取模块，用于通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；生成模块，用于根据所述人脸图片生成所述人脸多视角图片数据集。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于深度学习的人脸重建方法的流程示意图；
图2为本申请实施例所提供的基于深度学习的人脸重建的示例图；
图3本申请实施例所提供的一种基于深度学习的人脸重建装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于深度学习的人脸重建方法和装置。
图1为本申请实施例所提供的一种基于深度学习的人脸重建方法的流程示意图。
如图1所示，该基于深度学习的人脸重建方法包括以下步骤：
步骤101，获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图。
在本申请实施例中，通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；根据人脸图片生成所述人脸多视角图片数据集。
步骤102，通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络。
在本申请实施例中，深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。
具体地，深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
在本申请实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面UV空间中。
步骤103，将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。
在本申请实施例中，将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图，包括：提取脸视频的每个视频帧；对视频帧进行人脸识别，获取人脸图像；对人脸图像进行特征提取，获取人脸三维几何和纹理图。
具体地，建立一个多视角人脸图片数据集，通过多视角重建，获得高精度人脸三维几何和纹理；训练一个从人脸图片映射到人脸三维几何和纹理的深度神经网络，其中几何和纹理表示在UV图片上；在使用时，输入一段视频序列，可以重建出每一帧的高精度几何与纹理。
具体地，如图2所示，通过多视角图片三维重建方法对数据集中的人脸进行重建，得到大量的人脸高精度三维几何与纹理。利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维网格模型，将人脸的几何和纹理都表示在这同一拓扑的三维网格模型的UV坐标空间之中。
利用数据集中的高精度人脸数据，使用一个深度神经网络，训练一个从人脸图片到高精度人脸几何和纹理。训练时的输入为多视角图片，输出为几何和纹理的UV图。使用网络输出和对应的强监督信号之间的L1误差作为强监督训练误差。同时，要求不同视角图片输入下，得到的几何和纹理的UV图之间的L1误差相等，这样可以使得网络对于不同视角下的人脸重建具有一致性。
利用训练好的网络，对用户输入的一段视频序列进行处理，得到该视频中每一帧的高精度几何和纹理，这些结果同样以UV贴图的形式呈现。
本申请实施例的基于深度学习的人脸重建方法，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。
为了实现上述实施例，本申请还提出一种基于深度学习的人脸重建装置。
图3为本申请实施例提供的一种基于深度学习的人脸重建装置的结构示意图。
如图3所示，该基于深度学习的人脸重建装置包括：第一获取模块310、训练模块320和处理模块330。
第一获取模块310，用于获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图。
训练模块320，用于通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络。
处理模块330，用于将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。
在本申请的一个实施例中，所述训练模块320，具体用于：所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。
在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。
在本申请的一个实施例中，所述处理模块330，具体用于：提取所述人脸视频的每个视频帧；对所述视频帧进行人脸识别，获取人脸图像；对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。
在本申请的一个实施例中，所述的装置，还包括：第二获取模块，用于通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；生成模块，用于根据所述人脸图片生成所述人脸多视角图片数据集。
本申请实施例的基于深度学习的人脸重建装置，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。
需要说明的是，前述对基于深度学习的人脸重建方法实施例的解释说明也适用于该实施例的基于深度学习的人脸重建装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于深度学习的人脸重建方法，其特征在于，包括：
获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图；
其中，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等；
其中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。
2.如权利要求1所述的方法，其特征在于，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：
提取所述人脸视频的每个视频帧；
对所述视频帧进行人脸识别，获取人脸图像；
对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。
3.如权利要求1所述的方法，其特征在于，还包括：
通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；
根据所述人脸图片生成所述人脸多视角图片数据集。
4.一种基于深度学习的人脸重建装置，其特征在于，包括：
第一获取模块，用于获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
训练模块，用于通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
处理模块，用于将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图；
其中，所述训练模块，具体用于：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等；
其中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。
5.如权利要求4所述的装置，其特征在于，所述处理模块，具体用于：
提取所述人脸视频的每个视频帧；
对所述视频帧进行人脸识别，获取人脸图像；
对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。
6.如权利要求4所述的装置，其特征在于，还包括：
第二获取模块，用于通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；
生成模块，用于根据所述人脸图片生成所述人脸多视角图片数据集。
CN202011598566.0A 2020-12-29 2020-12-29 基于深度学习的人脸重建方法和装置 Active CN112614229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011598566.0A CN112614229B (zh) 2020-12-29 2020-12-29 基于深度学习的人脸重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598566.0A CN112614229B (zh) 2020-12-29 2020-12-29 基于深度学习的人脸重建方法和装置

Publications (2)

Publication Number Publication Date
CN112614229A CN112614229A (zh) 2021-04-06
CN112614229B true CN112614229B (zh) 2022-09-09

Family

ID=75249065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598566.0A Active CN112614229B (zh) 2020-12-29 2020-12-29 基于深度学习的人脸重建方法和装置

Country Status (1)

Country Link
CN (1) CN112614229B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674373B (zh) * 2021-07-02 2024-04-26 清华大学 基于深度学习的真实感人脸渲染方法
CN113689540B (zh) * 2021-07-22 2024-04-23 清华大学 基于rgb视频的物体重建方法和装置
CN114399574B (zh) * 2021-12-08 2024-06-25 清华大学 为单个人脸扫描数据生成带细节表情动画的方法和装置
CN114973355B (zh) * 2022-05-05 2024-08-20 清华大学 人脸嘴部重建方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维人脸表情获取及重建技术综述;王珊等;《系统仿真学报》;20180731;第30卷(第07期);第2423-2440页 *

Also Published As

Publication number Publication date
CN112614229A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112614229B (zh) 基于深度学习的人脸重建方法和装置
Wu et al. Dove: Learning deformable 3d objects by watching videos
CN110263732B (zh) 多尺度目标检测方法及装置
CN113689540B (zh) 基于rgb视频的物体重建方法和装置
CN101256224B (zh) 确定或匹配用于磁场均匀化的填隙片的方法及磁共振设备
CN109829969A (zh) 一种数据获取方法、装置及存储介质
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN108765265B (zh) 图像处理方法、装置、终端设备和存储介质
CN112907736B (zh) 基于隐式场的十亿像素场景人群三维重建方法和装置
CN112669429A (zh) 图像扭曲渲染方法及装置
CN108875539A (zh) 表情匹配方法、装置和系统及存储介质
CN110443874A (zh) 基于卷积神经网络的视点数据生成方法和装置
CN116402865A (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
CN112529794A (zh) 高动态范围结构光三维测量方法、系统及介质
CN113033442A (zh) 基于StyleGAN的高自由度人脸驱动方法和装置
CN113327319A (zh) 一种复杂场景建模方法、装置、服务器及可读存储介质
US20070263916A1 (en) Three-Dimensional Reconstruction of an Object from Projection Photographs
CN110427978B (zh) 面向小样本学习的变分自编码器网络模型和装置
CN115170401A (zh) 图像补全方法、装置、设备及存储介质
US12033672B1 (en) Methods and systems for generating interactive composite media assets comprising common objects
CN113096144B (zh) 基于神经网络的动态人体自由视点视频的生成方法和装置
CN112633113B (zh) 跨摄像头的人脸活体检测方法及系统
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
CN112837389B (zh) 一种对象模型构建方法、装置及电子设备
CN112652056B (zh) 一种3d信息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant