CN110717978B - 基于单张图像的三维头部重建方法 - Google Patents

基于单张图像的三维头部重建方法 Download PDF

Info

Publication number
CN110717978B
CN110717978B CN201911098677.2A CN201911098677A CN110717978B CN 110717978 B CN110717978 B CN 110717978B CN 201911098677 A CN201911098677 A CN 201911098677A CN 110717978 B CN110717978 B CN 110717978B
Authority
CN
China
Prior art keywords
hair
model
loss
face
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911098677.2A
Other languages
English (en)
Other versions
CN110717978A (zh
Inventor
齐越
程利刚
杜文祥
包永堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beihang University
Beihang University
Original Assignee
Qingdao Research Institute Of Beihang University
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beihang University, Beihang University filed Critical Qingdao Research Institute Of Beihang University
Publication of CN110717978A publication Critical patent/CN110717978A/zh
Application granted granted Critical
Publication of CN110717978B publication Critical patent/CN110717978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于单张图像的三维头部重建方法，属于计算机视觉领域，本发明使用单张正面的人脸照片作为输入，通过使用深度学习的方法，从人脸照片中回归特征信息进行三维人脸重建；对人脸模型进行补齐得到完整的头部模型；使用深度学习的方法进行头发区域的分割；获取头发区域部分的方向图；使用深度学习的方法进行发丝信息的回归；根据回归得到的发丝信息进行发丝数据库的匹配，从而完成头发重建；将头发模型坐标系与头发模型坐标系对齐，得到完整的三维头部模型。相较于以往的三维重建头部的方法，可以达到自动化进行三维人脸、头发重建，并且能够达到较为逼真的重建效果，以此为基础可以使三维模型得到更加丰富的应用。

Description

基于单张图像的三维头部重建方法
技术领域
本发明属于计算机视觉领域。
背景技术
随着虚拟现实技术的发展，人体重建已经成为计算机图形学及动画领域一个热点。而人体的头部与其他人体部位相比，具有着更多的表情以及发型样式，因此三维头部重建也是计算机图形学及动画领域的一个难点。而现阶段使用到的大部分三维模型仍然是艺术家们使用手工进行建模，虽然通过这种方法得到的模型较为精细，可以达到栩栩如生的效果，但是其缺点也显而易见，整个建模过程需要耗费大量的人力以及时间。因此寻找一种适用性强、对环境依赖少、自动化程度高的人体头部重建方法显得极为重要。
近年来，有许多研究员对基于图像进行重建的方法进行了探索，涌现出了许多优秀的成果，使用基于图像的方法进行重建便是其中之一。与普通重建的方法相比，基于照片建模所需要的成本相对较小，因此在游戏制作，影视制作、场景重现中占有的地位越来越重。目前已有很多较为成熟的基于照片的人脸重建及头发重建方法，如基于人脸形变模型(3D Morphable Model,以下简写3DMM)等。相较于其他方法，由于图像容易获得，对软硬件要求较少，因此使用图像进行重建的方法有很大的研究价值以及适用性。
在现有基于单张图像进行三维人脸重建的方法中，一种方法是对输入的人脸图像进行68个人脸特征点检测，通过与标准人脸形变模型(3DMM)中的对应特征点进行投影方程的求解，最后通过求解最优化能量函数的方法对3DMM系数进行求解，进行完成人脸重建。然而由于人脸结构的复杂性，会不可避免的在照片中存在遮挡，尤其是侧脸部分的特征点往往会被遮挡，因此对检测到的人脸特征点往往存在误差，导致最后求解得到的3DMM系数并不准确，得不到准确的人脸模型。
另外，现有基于单张图像进行头发重建的方法中，由于头发结构的复杂性，单纯从图像中并不能得到更多关于头发生长方向、结构的信息。为了解决这种问题，一种重建方法是通过额外添加辅助信息(如头发生长信息、发丝结构信息)进行头发的重建，这种方法虽然可以较好的恢复出头发的结构，然而其重建效果极大的依赖其额外的辅助信息，并且由于需要添加辅助信息，因此在重建方面并不能实现自动化的效果，重建效率上存在缺陷。
与此同时，也有基于深度学习进行自动化头发重建的方法，在进行神经网络训练的时候，为了保证能够涵盖大部分发型，这种方法通过构建超大规模的头发数据库进行神经网络的训练，然后直接端到端的重建出头发模型，最后通过插值等方法来使得头发模型更加稠密化。然而由于头发结构的复杂及神经网络特点，即便构造了超大规模的头发数据库也难以覆盖所有头发模型的特点，而且直接从神经网络中得到的头发模型只能在整体轮廓上符合重建的要求，在头发的局部区域仍然会存在误差，无法做到与输入图像中较为相似的效果。
发明内容
本发明针对现有基于单张图像进行三维人脸重建方法存在人脸模型误差大及不能实现自动化的效果的问题，提出一种方法，可以自动、完整地从单张人脸照片中重建出更加精确的三维头部模型，并采用如下技术方案予以实现：
一种基于单张图像的三维头部重建方法，包括以下步骤：
步骤A、对输入照片进行裁剪；
步骤B、设计并搭建R3M(ResNet-3DMM)神经网络；
步骤C、将步骤A中得到的人脸照片输入步骤B中训练好的网络，回归得到人脸形变模型的系数，完成三维人脸的重建，使用网格补全算法对三维人脸模型进行补齐，生成完整的头部模型；
步骤D、设计并搭建PSP-HairNet卷积神经网络；
步骤E、将原始照片进行尺寸修改后，输入步骤D中训练好的PSP-HairNet神经网络，得到头发区域的图像；
步骤F、获得头发区域中的每个像素的方向信息，生成方向图。
步骤G、获得更多样本的USC-P头发模型数据库，并使用USC-P头发模型数据库生成方向图-头发模型数据集，设计并搭建Hair-Re卷积神经网络，使用生成的方向图-头发模型数据集对网络进行训练；
步骤H、将步骤F中的得到的方向图输入步骤G中训练好的Hair-Re神经网络，回归得到头发模型；
步骤I、将步骤H中得到头发模型进行聚类，得到头发模型的关键发丝，通过将关键发丝与头发数据库中的发丝进行匹配，获取匹配到的头发模型；
步骤J、利用步骤I中得到的头发模型构造三维方向场，对头发模型的方向信息进行融合，生长出最终的三维头发模型；
步骤K、将步骤C中得到的三维头部模型与步骤J中得到的头发模型统一到同一坐标系下，并完成渲染展示。
进一步地，所述步骤B中用于回归3DMM系数的网络结构，及其使用到的损失函数如下：
LossR3M＝a·Loss3DMM+b·Losslandmarks
其中，Loss3DMM为关于3DMM系数的Loss函数，Losslandmark为根据3DMM系数重建出人脸模型的68个人脸特征点Loss函数，a,b为两个Loss函数所占的权重；
Loss3DMM＝||(αpred-αGT)·w1||2
Losslandmark＝||(vpred-vGT)·w2||2
其中，αpred表示预测得到3DMM系数，αGT表示该样本真实的3DMM系数，w1表示对应每个系数采取不同的权重，vpred表示在得到3DMM系数αpred时，根据该系数重建出3DMM模型的68个人脸特征点，vGT表示该样本真实的68个人脸特征点，w2表示对应每个特征点采取不同的权重。
进一步地，步骤D中用于头发区域检测的网络结构，及其使用到的损失函数如下：
Lossmask＝||Maskpred-MaskGT||2
其中，Maskpred是预测得到头发区域，MaskGT是真实的头发区域。
进一步地，步骤G中用于回归头发模型的网络结构，及其使用到的损失函数：
Losshair＝||(Spred-SGT)·w||2
其中，Spred是预测得到头发模型信息，SGT是真实的头发模型信息。
进一步地，步骤I中对发丝进行聚类时采用如下距离公式：
d1＝α·H(s1,s2)+β·E(s1,s2)
其中，H(s1,s2)是两根发丝s1、s2的豪斯多夫距离，E(s1,s2)是两根发丝s1、s2的欧几里得距离，α，β为两个距离值所占的权重。
进一步地，所述用于回归3DMM系数的网络结构中，权重系数a取值为1，b取值为1。
进一步地，所述距离公式中，权重系数α取值为0.5，β取值为0.5。
与现有技术相比，本发明的优点和积极效果在于：
相比于已有通过检测人脸特征点进行求解3DMM系数的人脸重建技术，本方法使用深度学习的方法，进行卷积神经网络的搭建来进行人脸特征的提取，并使用较大规模的人脸数据库进行训练，通过使用深度学习的方法进行3DMM系数的求解，使得重建出的人脸较已有技术重建出的人脸更为精确。
相较于已有基于图像的头发重建技术，本方法完成了自动化的头发重建，并且达到了较为准确的重建结果。
附图说明
图1为本发明实施例基于单张图像的三维头部重建方法流程示意图；
图2为本发明实施例人脸重建模块的流程示意图；
图3为本发明实施例头发重建模块的流程示意图；
图4为本发明实施例得到人脸特征点的输入图像；
图5为本发明实施例通过深度学习从输入图像中得到的头发区域；
图6为本发明实施例从头发区域中提取的方向图；
图7为本发明实施例通过深度学习从方向图中提取、聚类得到关键发丝信息。
图8为本发明实施例对自动化生成的头部模型和头发模型进行渲染的结果。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细地说明。
图1给出了本发明实施例基于单张图像进行三维头部重建的流程图，下面结合具体的实施方式进一步说明本发明。
本实施例提供一种基于单张图像的三维头部重建方法，实现过程如下：
1.基于单张照片的人脸重建
人脸重建模块的整体重建流程如图2所示：
(1.)对于输入的人脸图像使用dlib库等(此步骤仅用来进行人脸位置的粗略标定，也可更换成其他人脸特征点检测方法)，得到图像中的68个人脸特征点信息。针对特征点信息对图像进行裁剪，将人脸图像裁剪到256x256的大小(如图3所示)。
(2.)参照已有的三维人脸数据库300-LP，设计并搭建如图所示的R3M(ResNet-50-3DMM)神经网络，该卷积神经网络使用Res50进行人脸特征的提取，然后接入反卷积层间进行人脸特征的提取，最后连接全连接层，输出3DMM系数。在训练的过程中，使用到的Loss函数如下：
LossR3M＝a·Loss3DMM+b·Losslandmarks (1)
其中，Loss3DMM为关于3DMM系数的Loss函数，Losslandmark为根据3DMM系数重建出人脸模型的68个人脸特征点Loss函数。a,b为两个Loss函数所占的权重。
Loss3DMM＝||(αpred-αGT)·w1||2 (2)
Losslandmark＝||(vpred-vGT)·w2||2 (3)
其中，αpred表示预测得到3DMM系数，αGT表示该样本真实的3DMM系数，w1表示对应每个系数采取不同的权重，vpred表示在得到3DMM系数αpred时，根据该系数重建出3DMM模型的68个人脸特征点，vGT表示该样本真实的68个人脸特征点，w2表示对应每个特征点采取不同的权重。
(3.)在步骤(2)完成神经网络的训练后，将步骤(1)中得到的人脸图像作为网络的输入，得到与输入图像对应的3DMM系数，根据3DMM系数完成三维人脸的重建。
(4.)在步骤(3)得到重建好的人脸模型后，使用网格补齐方法对人脸模型进行补齐，得到完整的头部模型。
基于单张照片的头发重建
头发重建模块的流程如图3所示：
(1.)设计并搭建用于分割头发区域的网络PSP-HairNet，网络结构如图所示，使用现有的Figaro头发图像数据库进行训练，使用到的Loss函数为：
Lossmask＝||Maskpred-MaskGT||2 (4)
其中，Maskpred是预测得到头发区域，MaskGT是真实的头发区域。
(2.)由于训练得到的PSP-HairNet网络需要采用固定尺寸的图像进行输入(在实验中输入图像的尺寸固定为256x256像素)，因此需要将原始图像按原宽、高比例进行尺寸的缩小或者放大，以达到网络输入的要求。将原始照片调整到固定尺寸后，作为PSP-HairNet网络的输入，得到完整的头发区域图像(如图5所示)，然后对头发区域使用Gabor滤波核进行滤波，得到头发区域中每个像素的方向信息，生成方向图(如图6所示)。
(3.)在已有的USC-HairSalon头发数据库上进行扩充，以发束为单位，使用旋转、平移等方法生成新的发束，构建更大规模的数据库，样本数量达到2160个的新头发模型数据库USC-P。并使用USC-P头发模型数据库生成方向图-头发模型数据集。设计并搭建Hair-Re卷积神经网络，使用生成的方向图-头发模型数据集对网络进行训练，使用到的Loss函数为：
Losshair＝||(Spred-SGT)·w||2 (5)
其中，Spred是预测得到头发模型信息，SGT是真实的头发模型信息。
(4.)使用网络生成的发丝作为参考，在实际使用的时候，对发丝进行聚类，得到关键发丝，使用的距离函数为：
d1＝α·H(s1,s2)+β·E(s1,s2) (6)
其中，H(s1,s2)是两根发丝s1、s2的豪斯多夫距离，E(s1,s2)是两根发丝s1、s2的欧几里得距离，α，β为两个距离值所占的权重。
通过对生成发丝进行聚类，得到符合整体结构发丝信息的关键发丝，如图7。
(5.)通过聚类得到的关键发丝与USC-P头发模型数据库中的发丝进行匹配，采用所述(6)公式作为距离公式，得到关键发丝与头发模型数据库中发丝距离最近的头发模型。最终筛选出3个较为合适的头发模型。
(6.)利用步骤(6)中得到的头发模型构造三维方向场，对头发模型的方向信息进行融合，生长出最终的三维头发模型。
3.模型组合以及渲染
(1.)在步骤1和步骤2完成重建得到人脸模型和头发模型后，由于重建三维头部模型和三维头发模型的尺度并不一致，因此需要将模型所在坐标系进行统一、对齐。在这个步骤中，由于USC-P中的头发模型依赖于其标准头部模型，因此只需要将其标准头部模型中的68个人脸特征点，与1步骤中重建得到的三维头部的68个人脸特征点进行匹配，计算出投影矩阵，便可将头部模型和头发模型统一到同一坐标系下。
(2.)在步骤(1.)准备好头部模型和头发模型后，使用OpenGL对其进行渲染，并对头发模型选择纹理信息，采用冯氏光照模型进行光照处理，得到最终与输入图像相近、较为真实的渲染结果。
在实验的过程中，实验使用的设备为：NVIDIA GeForce GTX1080、Intel(R)Core(TM)i7-6700CPU(3.40GHz，4cores)和32GB RAM，运行在Windows10 64位系统上。
本发明使用单张正面的人脸照片作为输入，通过使用深度学习的方法，从人脸照片中回归特征信息进行三维人脸重建；对人脸模型进行补齐得到完整的头部模型；使用深度学习的方法进行头发区域的分割；获取头发区域部分的方向图；使用深度学习的方法进行发丝信息的回归；根据回归得到的发丝信息进行发丝数据库的匹配，从而完成头发重建；将头发模型坐标系与头发模型坐标系对齐，得到完整的三维头部模型。相较于以往的三维重建头部的方法，可以达到自动化进行三维人脸、头发重建，并且能够达到较为逼真的重建效果，以此为基础可以使三维模型得到更加丰富的应用。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于单张图像的三维头部重建方法，其特征在于，包括以下步骤：
步骤A、对输入照片进行裁剪；
步骤B、设计并搭建R3M(ResNet-3DMM)神经网络；
步骤C、将步骤A中得到的人脸照片输入步骤B中训练好的网络，回归得到人脸形变模型的系数，完成三维人脸的重建，使用网格补全算法对三维人脸模型进行补齐，生成完整的头部模型；
步骤D、设计并搭建PSP-HairNet卷积神经网络；
步骤E、将原始照片进行尺寸修改后，输入步骤D中训练好的PSP-HairNet神经网络，得到头发区域的图像；
步骤F、获得头发区域中的每个像素的方向信息，生成方向图；
步骤G、获得更多样本的USC-P头发模型数据库，并使用USC-P头发模型数据库生成方向图-头发模型数据集，设计并搭建Hair-Re卷积神经网络，使用生成的方向图-头发模型数据集对网络进行训练；
步骤H、将步骤F中的得到的方向图输入步骤G中训练好的Hair-Re神经网络，回归得到头发模型；
步骤I、将步骤H中得到头发模型进行聚类，得到头发模型的关键发丝，通过将关键发丝与头发数据库中的发丝进行匹配，获取匹配到的头发模型；
步骤J、利用步骤I中得到的头发模型构造三维方向场，对头发模型的方向信息进行融合，生长出最终的三维头发模型；
步骤K、将步骤C中得到的三维头部模型与步骤J中得到的头发模型统一到同一坐标系下，并完成渲染展示；
所述步骤B中用于回归3DMM系数的网络结构，及其使用到的损失函数如下：
LossR3M＝a·Loss3DMM+b·Losslandmarks
其中，Loss3DMM为关于3DMM系数的Loss函数，Losslandmark为根据3DMM系数重建出人脸模型的68个人脸特征点Loss函数，a,b为两个Loss函数所占的权重；
Loss3DMM＝||(αpred-αGT)·w1||2
Losslandmark＝||(vpred-vGT)·w2||2
其中，αpred表示预测得到3DMM系数，αGT表示该样本真实的3DMM系数，w1表示对应每个系数采取不同的权重，vpred表示在得到3DMM系数αpred时，根据该系数重建出3DMM模型的68个人脸特征点，vGT表示该样本真实的68个人脸特征点，w2表示对应每个特征点采取不同的权重。
2.根据权利要求1中所述的基于单张图像的三维头部重建方法，其特征在于步骤D中用于头发区域检测的网络结构，及其使用到的损失函数如下：
Lossmask＝||Maskpred-MaskGT||2
其中，Maskpred是预测得到头发区域，MaskGT是真实的头发区域。
3.根据权利要求1中所述的基于单张图像的三维头部重建方法，其特征在于步骤G中用于回归头发模型的网络结构，及其使用到的损失函数：
Losshair＝||(Spred-SGT)·w||2
其中，Spred是预测得到头发模型信息，SGT是真实的头发模型信息。
4.根据权利要求1中所述的基于单张图像的三维头部重建方法，其特征在于步骤I中对发丝进行聚类时采用如下距离公式：
d1＝α·H(s1,s2)+β·E(s1,s2)
其中，H(s1,s2)是两根发丝s1、s2的豪斯多夫距离，E(s1,s2)是两根发丝s1、s2的欧几里得距离，α，β为两个距离值所占的权重。
5.根据权利要求2中所述的基于单张图像的三维头部重建方法，其特征在于所述用于回归3DMM系数的网络结构中，权重系数a取值为1，b取值为1。
6.根据权利要求4中所述的基于单张图像的三维头部重建方法，其特征在于所述距离公式中，权重系数α取值为0.5，β取值为0.5。
CN201911098677.2A 2019-07-16 2019-11-12 基于单张图像的三维头部重建方法 Active CN110717978B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019106416117 2019-07-16
CN201910641611.7A CN110379003A (zh) 2019-07-16 2019-07-16 基于单张图像的三维头部重建方法

Publications (2)

Publication Number Publication Date
CN110717978A CN110717978A (zh) 2020-01-21
CN110717978B true CN110717978B (zh) 2023-07-18

Family

ID=68253476

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910641611.7A Pending CN110379003A (zh) 2019-07-16 2019-07-16 基于单张图像的三维头部重建方法
CN201911098677.2A Active CN110717978B (zh) 2019-07-16 2019-11-12 基于单张图像的三维头部重建方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910641611.7A Pending CN110379003A (zh) 2019-07-16 2019-07-16 基于单张图像的三维头部重建方法

Country Status (1)

Country Link
CN (2) CN110379003A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129347B (zh) * 2021-04-26 2023-12-12 南京大学 一种自监督单视图三维发丝模型重建方法及系统
CN113538114B (zh) * 2021-09-13 2022-03-04 东莞市疾病预防控制中心 一种基于小程序的口罩推荐平台及方法
CN114723888B (zh) * 2022-04-08 2023-04-07 北京百度网讯科技有限公司 三维发丝模型生成方法、装置、设备、存储介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN105844706A (zh) * 2016-04-19 2016-08-10 浙江大学 一种基于单幅图像的全自动三维头发建模方法
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
包永堂 ; 齐越.基于图像的头发建模技术综述.《计算机研究与发展》.2018,全文. *

Also Published As

Publication number Publication date
CN110717978A (zh) 2020-01-21
CN110379003A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
Yang et al. DRFN: Deep recurrent fusion network for single-image super-resolution with large factors
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN105844706B (zh) 一种基于单幅图像的全自动三维头发建模方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110717978B (zh) 基于单张图像的三维头部重建方法
CN110443842A (zh) 基于视角融合的深度图预测方法
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
CN112837215B (zh) 一种基于生成对抗网络的图像形状变换方法
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN111583384A (zh) 一种基于自适应八叉树头发卷积神经网络的头发重建方法
CN110175529A (zh) 一种基于降噪自编码网络的三维人脸特征点定位方法
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN115428027A (zh) 神经不透明点云
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN111402403B (zh) 高精度三维人脸重建方法
Yeh et al. 2.5 D cartoon hair modeling and manipulation
CN111524226A (zh) 讽刺肖像画的关键点检测与三维重建方法
CN117745932A (zh) 一种基于深度融合约束的神经隐式曲面重建方法
Wang et al. PACCDU: Pyramid attention cross-convolutional dual UNet for infrared and visible image fusion
CN114758070A (zh) 基于跨域多任务的单张图像三维人体精细重建方法
Sheng et al. Facial geometry parameterisation based on partial differential equations
CN112686202B (zh) 一种基于3d重建的人头识别方法及系统
CN116934972B (zh) 一种基于双流网络的三维人体重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant