CN108399649A - 一种基于级联回归网络的单张图片三维人脸重建方法 - Google Patents
一种基于级联回归网络的单张图片三维人脸重建方法 Download PDFInfo
- Publication number
- CN108399649A CN108399649A CN201810179206.3A CN201810179206A CN108399649A CN 108399649 A CN108399649 A CN 108399649A CN 201810179206 A CN201810179206 A CN 201810179206A CN 108399649 A CN108399649 A CN 108399649A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- picture
- shape
- cascade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001815 facial effect Effects 0.000 title claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联回归网络的单张图片三维人脸重建方法,整体步骤为:一、数据准备:采集三维人脸数据,获取人脸图片的三维人脸形状点云;二、模型设计:构建包含两级多任务卷积神经网络的网络模型,并逐级回归人脸特征,然后提取改进形状特征;三、模型训练:分别对两级多任务卷积神经网络进行训练,获得多任务级联回归卷积神经网络M;四、模型测试:将图像I输入到多任务级联回归卷积神经网络M中,进行模型测试。本发明采用多任务级联回归卷积神经网络,逐级回归三维人脸形状、人脸特征点以及人脸姿态,同时改进了传统的特征提取方法,通过计算特征点的可见性,消除了二维人脸图片上特征点的混淆性,使得该方法对大姿态更加鲁棒。
Description
技术领域
本发明涉及一种三维人脸重建方法,尤其涉及一种基于级联回归网络的单张图片三维人脸重建方法。
背景技术
三维人脸重建的目标是根据输入的二维人脸图片,重建其相应的三维人脸形状。该技术广泛应用于人脸动画,人脸表情分析以及三维人脸识别等领域。目前关于三维人脸重建的代表方法有:
(1)基于三维人脸模型的单张图片三维人脸重建方法,主要技术手段为:基于二维人脸数据库采用SDM(Supervised Descent Method,监督下降方法)算法训练得到二维人脸特征点参数模型。基于单张正面照的进行人脸重建时,首先使用二维图片特征点参数模型提取人脸特征点;然后,根据三维人脸统计模型,使用学习因子自适应梯度下降法对能量函数进行迭代优化,得到统计模型参数化向量,即得到二维人脸图片对应的三维人脸模型。该方法的缺陷有:在大姿态下一些人脸特征点不可见,影响三维人脸形变模型的参数求解精度;另一方面,该方法仅仅用到了人脸特征点的信息,没有利用整张人脸图片的信息。
(2)基于深度神经网络的端到端三维人脸重建方法,主要技术手段为:采用3D面部形状子空间模型,并将3D面部作为一组形状和混合形状基线的线性组合,基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数,以及用于身份参数预测和表达参数预测的多任务学习损失函数。该方法一次性直接回归三维人脸统计模型的参数,没有对三维人脸形状进行逐级回归,因此对人脸的细节部分展现的不够完善。
(3)基于立体视觉的三维人脸重建方法,主要技术手段为:使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像,分别对两台摄像机的内、外参数矩阵进行标定。根据标定数据进行对极线校正和图像变换,然后利用Harris角点检测算子提取人脸特征点,并利用局部模板窗口方法以及极线约束进行初始匹配。从初始匹配集合出发,利用种子点增长算法得到稀疏匹配集合,利用稀疏匹配集合作为引导点,执行动态规划算法完成稠密匹配。根据标定数据和匹配关系计算人脸上实际物点的三维坐标,从而重建出人脸的三维点云。该方法没有对人脸特征点的三维坐标做进一步回归,所以鲁棒性较差。
基于现有的三维人脸重建方法仍然存在上述的各种问题,开发一种对大姿态更加鲁棒、可重构人脸细节的新方法将具有重要的现实意义。
发明内容
为了解决上述技术所存在的不足之处,本发明提供了一种基于级联回归网络的单张图片三维人脸重建方法。
为了解决以上技术问题,本发明采用的技术方案是:一种基于级联回归网络的单张图片三维人脸重建方法,整体步骤如下:
步骤一、数据准备:
a、用3D扫描仪采集三维人脸数据,包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及点云的三角关系;
b、将采集得到的人脸图片做人脸检测,裁剪人脸图片,同时根据人脸姿态对三维人脸形状点云做处理,得到对应于裁剪后人脸图片的三维人脸形状点云;
步骤二、模型设计:
a、构建包含两级多任务卷积神经网络(即第一级网络和第二级网络)的网络模型,并逐级回归三维人脸形状、人脸姿态以及人脸特征点;
b、向第一级网络输入一张100*100*3的人脸图片,同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态;
c、提取改进形状特征;
d、向第二级网络输入一张100*100*3的人脸图片,以及上一步提取的改进形状特征,回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差;
步骤三、模型训练:
a、训练第一级网络:向第一级网络输入一张100*100*3的人脸图片,和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态,计算欧氏距离损失,利用批次随机梯度下降方法更新网络参数;
b、当第一级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练;然后提取训练集二维人脸图片的改进形状特征;
c、训练第二级网络:向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征,和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差,计算欧式距离损失,利用批次随机梯度下降方法更新网络参数;
d、当第二级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练;
e、最终训练完成获得多任务级联回归卷积神经网络M;
步骤四、模型测试:
a、输入图像为包含人脸的图像I;
b、将图像I输入人脸检测器并获得人脸位置,并利用该人脸位置裁剪图像I获得人脸图像Img;
c、将图像Img输入到多任务级联回归卷积神经网络M中,获得三维人脸形状、人脸特征点以及人脸姿态;
d、根据计算得到的三维人脸形状以及三维点云的三角关系,用OpenGL渲染并显示三维人脸结构。
进一步地,步骤二及步骤三中提取改进形状特征的方法为:首先计算输入至第一级网络中人脸68个特征点的可见性,对于可见的特征点,将其投影到原来的二维人脸图片上,以该点为中心,用双线性插值的方法裁剪10*10大小的图片块;对于不可见的特征点,10*10大小的图片块直接填充为0;然后将这68个图片块拼接成100*100*3大小的图片,空余地方用0填充。
本发明采用多任务级联回归卷积神经网络,逐级回归三维人脸形状、人脸特征点以及人脸姿态,同时改进了传统的特征提取方法,通过计算特征点的可见性,消除了二维人脸图片上特征点的混淆性,使得该方法对大姿态更加鲁棒。
附图说明
图1为训练模型的整体框架图。
图2为人脸姿态解析图。
图3为改进形状特征的提取方法示意图。
图4为模型测试的整体步骤流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
一种基于级联回归网络的单张图片三维人脸重建方法,其整体步骤为:
步骤一、数据准备阶段:
a、用3D扫描仪采集三维人脸数据,包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及点云的三角关系等;
b、将采集得到的人脸图片做人脸检测,裁剪人脸图片,同时根据人脸姿态对三维人脸形状点云做处理,得到对应于裁剪后人脸图片的三维人脸形状点云;
步骤二、模型设计阶段:
a、该模型由两级多任务卷积神经网络组成,逐级回归三维人脸形状,人脸姿态以及人脸特征点;模型框架如图1所示;
b、向第一级网络输入一张100*100*3的人脸图片,同时回归预测三维人脸全部点的三维坐标(x,y,z),人脸68个特征点的三维坐标(x,y,z),以及人脸姿态(yaw,pitch,roll),其中yaw代表偏航角,pitch代表俯仰角,roll代表翻滚角,其具体含义详见图2;
c、提取改进形状特征:首先计算输入至第一级网络中人脸68个特征点的可见性。对于可见的特征点,将其投影到原来的二维人脸图片上,以该点为中心,用双线性插值的方法裁剪10*10大小的图片块;对于不可见的特征点,10*10大小的图片块直接填充为0。然后将这68个图片块拼接成100*100*3大小的图片(空余地方用0填充),具体过程如图3所示;
d、向第二级网络输入一张100*100*3的人脸图片,以及上一步提取的改进形状特征,回归三维人脸全部点的三维坐标残差(Δx,Δy,Δz)、人脸68个特征点的三维坐标残差(Δx,Δy,Δz)以及人脸姿态残差(Δyaw,Δpitch,Δroll);
步骤三、模型训练阶段:
a、训练第一级网络:向第一级网络输入一张100*100*3的人脸图片,和对应的三维人脸全部点的三维坐标(x,y,z),人脸68个特征点的三维坐标(x,y,z),以及人脸姿态(yaw,pitch,roll),计算欧氏距离损失,利用批次随机梯度下降方法更新网络参数;
b、当第一级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练。然后按照步骤二中的步骤c提取训练集二维人脸图片的改进形状特征;
c、训练第二级网络:向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征,和根据第一级预测结果得到的三维人脸全部点的三维坐标残差(Δx,Δy,Δz)、人脸68个特征点的三维坐标残差(Δx,Δy,Δz)、人脸姿态残差(Δyaw,Δpitch,Δroll),计算欧式距离损失,利用批次随机梯度下降方法更新网络参数;
d、当第二级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练;
e、最终训练完成获得多任务级联回归卷积神经网络M;
步骤四、模型测试阶段:
a、输入图像为包含人脸的图像I;
b、将图像I输入人脸检测器并获得人脸位置,并利用该人脸位置裁剪图像I获得人脸图像Img;
c、将图像Img输入到多任务级联回归卷积神经网络M中,获得三维人脸形状、人脸特征点以及人脸姿态;
d、根据计算得到的三维人脸形状以及三维点云的三角关系,用OpenGL渲染(也可以是其它三维渲染软件)并显示三维人脸结构。
上述步骤四应用的模型框架如图4所示。
本发明的技术效果为:使用本方法输入一张人脸图片,经过人脸检测后,可精确重建其三维结构,在3.40GHz CPU上达到32ms/每张图片。
本发明与现有技术相比,具有以下优势:
一、网络模型直接回归三维人脸形状:相比较其他方法回归三维人脸形变参数,可以更好地重构人脸细节部分;
二、多任务学习:同时回归三维人脸形状、三维人脸特征点坐标以及人脸角度,可以使得网络学习到更加鲁棒的特征,在测试集上表现更好;
三、改进的形状特征:改进了传统的特征提取方法(如Shape Index Feature),通过计算特征点的可见性,消除了二维人脸图片上特征点的混淆性,使得该方法对大姿态更加鲁棒。
上述实施方式并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换,也均属于本发明的保护范围。
Claims (2)
1.一种基于级联回归网络的单张图片三维人脸重建方法,其特征在于:所述方法的整体步骤如下:
步骤一、数据准备:
a、用3D扫描仪采集三维人脸数据,包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及点云的三角关系;
b、将采集得到的人脸图片做人脸检测,裁剪人脸图片,同时根据人脸姿态对三维人脸形状点云做处理,得到对应于裁剪后人脸图片的三维人脸形状点云;
步骤二、模型设计:
a、构建包含两级多任务卷积神经网络的网络模型,并逐级回归三维人脸形状、人脸姿态以及人脸特征点;
b、向第一级网络输入一张100*100*3的人脸图片,同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态;
c、提取改进形状特征;
d、向第二级网络输入一张100*100*3的人脸图片,以及上一步提取的改进形状特征,回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差;
步骤三、模型训练:
a、训练第一级网络:向第一级网络输入一张100*100*3的人脸图片,和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态,计算欧氏距离损失,利用批次随机梯度下降方法更新网络参数;
b、当第一级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练;然后提取训练集二维人脸图片的改进形状特征;
c、训练第二级网络:向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征,和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差,计算欧式距离损失,利用批次随机梯度下降方法更新网络参数;
d、当第二级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时,停止训练;
e、最终训练完成获得多任务级联回归卷积神经网络M;
步骤四、模型测试:
a、输入图像为包含人脸的图像I;
b、将图像I输入人脸检测器并获得人脸位置,并利用该人脸位置裁剪图像I获得人脸图像Img;
c、将图像Img输入到多任务级联回归卷积神经网络M中,获得三维人脸形状、人脸特征点以及人脸姿态;
d、根据计算得到的三维人脸形状以及三维点云的三角关系,用OpenGL渲染并显示三维人脸结构。
2.根据权利要求1所述的基于级联回归网络的单张图片三维人脸重建方法,其特征在于:所述步骤二及步骤三中提取改进形状特征的方法为:首先计算输入至第一级网络中人脸68个特征点的可见性,对于可见的特征点,将其投影到原来的二维人脸图片上,以该点为中心,用双线性插值的方法裁剪10*10大小的图片块;对于不可见的特征点,10*10大小的图片块直接填充为0;然后将这68个图片块拼接成100*100*3大小的图片,空余地方用0填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810179206.3A CN108399649B (zh) | 2018-03-05 | 2018-03-05 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810179206.3A CN108399649B (zh) | 2018-03-05 | 2018-03-05 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108399649A true CN108399649A (zh) | 2018-08-14 |
CN108399649B CN108399649B (zh) | 2021-07-20 |
Family
ID=63092294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810179206.3A Active CN108399649B (zh) | 2018-03-05 | 2018-03-05 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108399649B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146843A (zh) * | 2018-07-11 | 2019-01-04 | 北京飞搜科技有限公司 | 基于深度神经网络的目标检测方法及装置 |
CN109191411A (zh) * | 2018-08-16 | 2019-01-11 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
CN109285216A (zh) * | 2018-08-24 | 2019-01-29 | 太平洋未来科技(深圳)有限公司 | 基于遮挡图像生成三维人脸图像方法、装置及电子设备 |
CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
CN109559358A (zh) * | 2018-10-22 | 2019-04-02 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
CN109886341A (zh) * | 2019-02-25 | 2019-06-14 | 厦门美图之家科技有限公司 | 一种训练生成人脸检测模型的方法 |
CN109934129A (zh) * | 2019-02-27 | 2019-06-25 | 嘉兴学院 | 一种人脸特征点定位方法、装置、计算机设备及存储介质 |
CN110070595A (zh) * | 2019-04-04 | 2019-07-30 | 东南大学 | 一种基于深度学习的单张图像3d对象重建方法 |
CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
CN110188615A (zh) * | 2019-04-30 | 2019-08-30 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
CN110543845A (zh) * | 2019-08-29 | 2019-12-06 | 四川大学 | 一种三维人脸的人脸级联回归模型训练方法及重建方法 |
CN110569768A (zh) * | 2019-08-29 | 2019-12-13 | 四川大学 | 人脸模型的构建方法、人脸识别方法、装置及设备 |
CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
CN110717405A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技(深圳)有限公司 | 人脸特征点定位方法、装置、介质及电子设备 |
CN110774583A (zh) * | 2019-10-25 | 2020-02-11 | 上海轩林信息技术有限公司 | 用于彩色3d打印辅助遗体面部整形的建模方法及其应用 |
WO2020037863A1 (zh) * | 2018-08-24 | 2020-02-27 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
CN112069992A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种基于多监督稠密对齐的人脸检测方法、系统及存储介质 |
CN112150608A (zh) * | 2020-09-07 | 2020-12-29 | 鹏城实验室 | 一种基于图卷积神经网络的三维人脸重建方法 |
CN112184912A (zh) * | 2020-09-29 | 2021-01-05 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
CN113128292A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种图像识别方法、存储介质及终端设备 |
CN114332914A (zh) * | 2021-11-29 | 2022-04-12 | 中国电子科技集团公司电子科学研究院 | 人员特征识别方法、装置和计算机可读存储介质 |
CN114842123A (zh) * | 2022-06-28 | 2022-08-02 | 北京百度网讯科技有限公司 | 三维人脸重建模型训练和三维人脸形象生成方法及装置 |
CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
WO2023082089A1 (zh) * | 2021-11-10 | 2023-05-19 | 中国科学院深圳先进技术研究院 | 一种三维重建方法、装置、设备及计算机存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100135541A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | Face recognition method |
CN104157010A (zh) * | 2014-08-29 | 2014-11-19 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
CN105096377A (zh) * | 2014-05-14 | 2015-11-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106447763A (zh) * | 2016-07-27 | 2017-02-22 | 扬州大学 | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 |
CN106803084A (zh) * | 2017-03-02 | 2017-06-06 | 中科视拓(北京)科技有限公司 | 一种基于端到端循环网络的面部特征点定位方法 |
CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
CN107491767A (zh) * | 2017-08-31 | 2017-12-19 | 广州云从信息科技有限公司 | 端到端的无约束人脸关键点检测方法 |
-
2018
- 2018-03-05 CN CN201810179206.3A patent/CN108399649B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100135541A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | Face recognition method |
CN105096377A (zh) * | 2014-05-14 | 2015-11-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
CN104157010A (zh) * | 2014-08-29 | 2014-11-19 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106447763A (zh) * | 2016-07-27 | 2017-02-22 | 扬州大学 | 一种融合稀疏形变模型与主成分回归算法的颜面照片三维重建方法 |
CN106803084A (zh) * | 2017-03-02 | 2017-06-06 | 中科视拓(北京)科技有限公司 | 一种基于端到端循环网络的面部特征点定位方法 |
CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
CN107491767A (zh) * | 2017-08-31 | 2017-12-19 | 广州云从信息科技有限公司 | 端到端的无约束人脸关键点检测方法 |
Non-Patent Citations (4)
Title |
---|
AMIN JOURABLOO等: "Large-pose Face Alignment via CNN-based Dense 3D Model Fitting", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
XIANGYU ZHU等: "Face Alignment Across Large Poses: A 3D Solution", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
柴秀娟等: "基于3D人脸重建的光照、姿态不变人脸识别", 《软件学报》 * |
欧阳宁等: "基于多任务学习的多姿态人脸重建与识别", 《计算机应用》 * |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146843A (zh) * | 2018-07-11 | 2019-01-04 | 北京飞搜科技有限公司 | 基于深度神经网络的目标检测方法及装置 |
CN109191411B (zh) * | 2018-08-16 | 2021-05-18 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
CN109191411A (zh) * | 2018-08-16 | 2019-01-11 | 广州视源电子科技股份有限公司 | 一种多任务图像重建方法、装置、设备和介质 |
US11170554B2 (en) | 2018-08-24 | 2021-11-09 | Beijing Bytedance Network Technology Co., Ltd. | Three-dimensional face image reconstruction method and device, and computer readable storage medium |
CN109285216A (zh) * | 2018-08-24 | 2019-01-29 | 太平洋未来科技(深圳)有限公司 | 基于遮挡图像生成三维人脸图像方法、装置及电子设备 |
WO2020037863A1 (zh) * | 2018-08-24 | 2020-02-27 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
CN109285216B (zh) * | 2018-08-24 | 2023-06-09 | 太平洋未来科技(深圳)有限公司 | 基于遮挡图像生成三维人脸图像方法、装置及电子设备 |
CN109215126A (zh) * | 2018-09-21 | 2019-01-15 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
CN109215126B (zh) * | 2018-09-21 | 2023-05-02 | 广州图语信息科技有限公司 | 基于低质量三维人脸点云的重构方法、装置及处理终端 |
CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
CN109389671B (zh) * | 2018-09-25 | 2020-09-22 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
CN109559358A (zh) * | 2018-10-22 | 2019-04-02 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
CN109559358B (zh) * | 2018-10-22 | 2023-07-04 | 天津大学 | 一种基于卷积自编码的图像样本升采样方法 |
CN109886341A (zh) * | 2019-02-25 | 2019-06-14 | 厦门美图之家科技有限公司 | 一种训练生成人脸检测模型的方法 |
CN109934129A (zh) * | 2019-02-27 | 2019-06-25 | 嘉兴学院 | 一种人脸特征点定位方法、装置、计算机设备及存储介质 |
CN110119676B (zh) * | 2019-03-28 | 2023-02-03 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
CN110070595A (zh) * | 2019-04-04 | 2019-07-30 | 东南大学 | 一种基于深度学习的单张图像3d对象重建方法 |
CN110070595B (zh) * | 2019-04-04 | 2020-11-24 | 东南大学深圳研究院 | 一种基于深度学习的单张图像3d对象重建方法 |
CN110188615A (zh) * | 2019-04-30 | 2019-08-30 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110188615B (zh) * | 2019-04-30 | 2021-08-06 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110309706A (zh) * | 2019-05-06 | 2019-10-08 | 深圳市华付信息技术有限公司 | 人脸关键点检测方法、装置、计算机设备及存储介质 |
CN110569768B (zh) * | 2019-08-29 | 2022-09-02 | 四川大学 | 人脸模型的构建方法、人脸识别方法、装置及设备 |
CN110569768A (zh) * | 2019-08-29 | 2019-12-13 | 四川大学 | 人脸模型的构建方法、人脸识别方法、装置及设备 |
CN110543845A (zh) * | 2019-08-29 | 2019-12-06 | 四川大学 | 一种三维人脸的人脸级联回归模型训练方法及重建方法 |
CN110717405A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技(深圳)有限公司 | 人脸特征点定位方法、装置、介质及电子设备 |
CN110717405B (zh) * | 2019-09-17 | 2023-11-24 | 平安科技(深圳)有限公司 | 人脸特征点定位方法、装置、介质及电子设备 |
CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
CN110619676B (zh) * | 2019-09-18 | 2023-04-18 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
CN110774583A (zh) * | 2019-10-25 | 2020-02-11 | 上海轩林信息技术有限公司 | 用于彩色3d打印辅助遗体面部整形的建模方法及其应用 |
CN113128292A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种图像识别方法、存储介质及终端设备 |
CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
CN111627101B (zh) * | 2020-05-22 | 2023-05-26 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
CN111951384B (zh) * | 2020-08-13 | 2024-05-28 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
CN112069992A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种基于多监督稠密对齐的人脸检测方法、系统及存储介质 |
CN112150608A (zh) * | 2020-09-07 | 2020-12-29 | 鹏城实验室 | 一种基于图卷积神经网络的三维人脸重建方法 |
CN112184912A (zh) * | 2020-09-29 | 2021-01-05 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
CN112184912B (zh) * | 2020-09-29 | 2024-02-20 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
CN112862949B (zh) * | 2021-01-18 | 2022-08-19 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
WO2023082089A1 (zh) * | 2021-11-10 | 2023-05-19 | 中国科学院深圳先进技术研究院 | 一种三维重建方法、装置、设备及计算机存储介质 |
CN114332914A (zh) * | 2021-11-29 | 2022-04-12 | 中国电子科技集团公司电子科学研究院 | 人员特征识别方法、装置和计算机可读存储介质 |
CN114842123B (zh) * | 2022-06-28 | 2022-09-09 | 北京百度网讯科技有限公司 | 三维人脸重建模型训练和三维人脸形象生成方法及装置 |
CN114842123A (zh) * | 2022-06-28 | 2022-08-02 | 北京百度网讯科技有限公司 | 三维人脸重建模型训练和三维人脸形象生成方法及装置 |
CN115761116B (zh) * | 2022-11-03 | 2023-08-18 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108399649B (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108399649A (zh) | 一种基于级联回归网络的单张图片三维人脸重建方法 | |
Grün et al. | Photogrammetric reconstruction of the great Buddha of Bamiyan, Afghanistan | |
CN109325437A (zh) | 图像处理方法、装置和系统 | |
CN110020633A (zh) | 姿态识别模型的训练方法、图像识别方法及装置 | |
CN110443842A (zh) | 基于视角融合的深度图预测方法 | |
CN108154104A (zh) | 一种基于深度图像超像素联合特征的人体姿态估计方法 | |
CN108121704A (zh) | 一种三维竣工验收系统 | |
KR20140142470A (ko) | 나무 모델과 숲 모델 생성 방법 및 장치 | |
CN105261062B (zh) | 一种人物分段建模方法 | |
CN106504317B (zh) | 一种三维模型的外观纹理提取方法及装置 | |
CN112530005B (zh) | 一种三维模型直线结构识别与自动修复方法 | |
CN106803084A (zh) | 一种基于端到端循环网络的面部特征点定位方法 | |
WO2021068061A1 (en) | System and method for generating 3d models from specification documents | |
CN109741268A (zh) | 一种针对壁画的破损图像补全方法 | |
CN109741438A (zh) | 三维人脸建模方法、装置、设备及介质 | |
CN101364311A (zh) | 大规模城市仿真中快速自动建立模型的方法 | |
CN110097091A (zh) | 训练与推理数据分布不一致条件下的图像细粒度识别方法 | |
CN110378047A (zh) | 一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法 | |
CN107578469A (zh) | 一种基于单张照片的3d人体建模方法及装置 | |
Ishikawa et al. | Semantic segmentation of 3D point cloud to virtually manipulate real living space | |
CN104978583B (zh) | 人物动作的识别方法及装置 | |
Rasoulzadeh et al. | Strokes2Surface: Recovering Curve Networks From 4D Architectural Design Sketches | |
CN102722906A (zh) | 一种基于特征的自顶向下从图像建模的方法 | |
CN115661367B (zh) | 基于照片采集的动态混合变形的建模方法及系统 | |
CN116310188A (zh) | 基于实例分割及建筑重构的虚拟城市生成方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |