CN110619676A - 一种基于神经网络的端到端的三维人脸重建方法 - Google Patents
一种基于神经网络的端到端的三维人脸重建方法 Download PDFInfo
- Publication number
- CN110619676A CN110619676A CN201910881246.7A CN201910881246A CN110619676A CN 110619676 A CN110619676 A CN 110619676A CN 201910881246 A CN201910881246 A CN 201910881246A CN 110619676 A CN110619676 A CN 110619676A
- Authority
- CN
- China
- Prior art keywords
- neural network
- dimensional
- face
- parameters
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于神经网络的端到端的三维人脸重建方法，属于三维人脸重建技术领域。该方法将多任务损失函数和融合神经网络应用到卷积神经网络中，提升人脸表情的重建效果，同时考虑了整个重建过程的语义信息，不只是单纯的回归人脸参数，同时也考虑到了相机姿态以及重建模型对整个重建误差的影响，使整个神经网络的准确率提升。本发明公开的三维人脸重建方法不仅能从图片中重建出三维人脸形状，还能在变化的光照情况下或者带有极端表情的人脸照片都可以进行三维恢复。
Description
技术领域
本发明涉及三维人脸重建技术领域，尤其涉及一种基于神经网络的端到端的三维人脸重建方法。
背景技术
由于三维信息是一个对视角的强不变量，所以把其应用到计算机视觉中是非常有益的。可以解决人脸图像的姿态、表情和光照变化问题。但是在这些方法中，理想情况下是用三维相机系统捕捉到三维信息，然而三维相机的高成本和有限的有效的传感范围限制了它们在实践中的适用性。所以在工业上，通过在任意光照下和任意相机参数下拍摄的照片进行人脸重建，具有普遍的意义。而且现在网络上有几乎百分之六十的图片都带有人脸图像，所以利用二维人脸图像重建出三维人脸形状的研究是非常具有广泛性的。
随着深度学习的发展，许多计算机视觉的问题，如物体检测和识别，图像分割，图像描述等问题都被卷积神经网络很好的解决了。神经网络可以学习到图像深层次的特征，所以图片中大姿态和遮挡等问题都可以通过学习得到很好的改善，因此，一些工作开始使用CNNs来估计三维形变模型(3DMM)系数或三维模型的包装函数来从单一的二维人脸图像中恢复相应的三维信息，重建出三维人脸模型。
但是现在的利用CNNs重建三维人脸的技术要么只关注参数本身的回归，没有考虑到整个参数的语义的信息，要么就是没有考虑到相机姿态以及重建模型对重建精度的影响，还有的方法需要大量的辅助工作，提升了方法的复杂程度。所以需要一种重建方法在考虑回归人脸参数的同时考虑语义信息、相机姿态以及重建模型对整个重建误差的影响，使重建的准确率提升。
发明内容
针对上述现有技术的不足，本发明提供一种基于神经网络的端到端的三维人脸重建方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于神经网络的端到端的三维人脸重建方法，其流程如图1所示，包括如下步骤：
步骤1：采集带有人脸的图片数据集，并获得该图片数据集对应的参数真值；
步骤2：处理获得的图片数据集，对带有人脸的区域进行旋转或缩放等操作对其进行数据增强，直至每个人包含大约90张不同姿态的图片，并将图片统一裁剪与缩放为120×120像素大小，将处理后的图片数据集按一定比例分成训练集和验证集；
步骤3：建立一种基于VGG-Face的带有融合神经网络的多任务回归网络模型；
步骤3.1：根据三维形变模型3DMM来确定重建模型和卷积神经网络需要回归的参数；
步骤3.1.1：采用经典的三维形变模型3DMM来表示三维人脸，其渲染的3D人脸形状它在一组PCA基上以线性组合的方式存储N个网格顶点的三维坐标，因此，3D人脸形状可以被表示为：
其中，S代表三维人脸，代表平均人脸，是3d人脸扫描与中性表情人脸偏差的形状主成分，是形状参数，是由扫描表情和中性表情之间的偏差训练的表情主成分，是表情参数，根据公开的人脸3DMM模型数据库Basel Face Model，可以得到公开的Aid，Aexp的参数值，所以重建三维面部点云的未知参数只有αid，αexp；
步骤3.1.2：用弱透视投影的方法将三维模型投影到二维图像平面上，从指定的视点生成二维人脸：
V(p)＝J×Pr×R×S+t2d
其中，V是模型构造和投影函数，得到模型二维顶点的位置，J为缩放系数，Pr为正交投影矩阵R为旋转角度构成的旋转矩阵包括pitch，yaw，roll三个角度，t2d为平移向量，弱透视投影中的未知参数为J，R(pitch，yaw，roll)包含三种角度和t2d；
步骤3.1.3：确定模型需要收集的所有参数p＝[J，pitch，yaw，roll，t2d，αid，αexp]T，一共有234个系数需要回归。
步骤3.2：考虑权重距离损失与顶点距离损失，根据估计的3DMM中各参数的重要性，确定神经网络的损失函数；
步骤3.2.1：权重距离损失函数：
根据估计的3DMM参数中各参数的重要性，推导出如下公式：
Q＝diag(q1，q2，...，q62)
其中，Q为重要性矩阵，其对角元素表示每个参数的重要性，pi为系数向量，第i个元素是预测出的参数，其余元素来自真实值V(·)为渲染后的三维形状稀疏特征点投影；在训练过程中，CNN首先着重学习缩放、旋转、平移等权重较大的系数，当误差减小后，CNN模型转向优化不太重要的参数，如形状和表达式参数，同时也保证了高优先级的系数满足要求；
步骤3.2.2：顶点距离损失函数：
通过优化拟合的和真实的3D人脸之间的顶点距离来优化损失函数：
E＝||V(p)-V(pg)||2
其中，V(·)是人脸重建和弱透视投影，此损失函数相比较于只计算顶点的距离损失，考虑到了每个顶点的语义信息。
步骤3.3：对VGG-Face模型进行改进，确定神经网络结构，如图2所示。
步骤3.3.1：基于经典的VGG-Face网络模型，搭建神经网络架构，该架构包含13个卷积层和5个池化层；
同时添加了两个关键组件：
组件1、子卷积神经网络fusion-CNN，它是第4池化层pool4和第5池化层pool5共同融合的VGG-Face的中间层的特征；
组件2、多任务学习损失函数，用于身份参数预测、相机姿态参数预测以及表情参数预测；
步骤3.3.2：在单个DNN架构中训练三种类型的神经层：
第一类神经层包括池化层4(Pool4)之前的所有神经层，其学习得是低级面部结构的通用特征，例如边缘和角落，这些层被两个任务共享；
第二类神经层包括融合CNN中的三个卷积层conv_b5和其下面的全连接层conv6、conv7、conv8，融合CNN融合了池化层4(pool4)经过步长为2的池化后的特征和池化层5(pool5)的特征，融合后的特征再输入三个全连接层，第二类神经网络被用来回归表情以及相机姿态表达式系数，最后得到表情向量以及相机姿态表达式系数总22维向量；
第三类神经层包括池化层4(Pool4)之后的所有原有的神经层，它更适合于预测身份参数这种特定特征的预测，最后的到身份参数向量40维；
其中，为了融合Pool4层和Pool5层的中间特征，将Conv6和Conv7的卷积核大小和步长分别设置为{5×5，2}和{1×1，1}，层Conv8用来减少特征的维度，从而降低了神经网络的复杂程度，最后的输出拼接为[f，R，t2d，αid，αexp]T是总数为62维的表达式系数向量，其中R的三个角度pitch，yaw，roll分别以3×3矩阵的方式回归，构成9维数据，只回归αid199维的前40维，和αexp的29维的前10维，其他需要回归的参数维度保持不变；
为了让矩阵相乘维度对应，我们把Aid，Aexp的第二维截取成和αid，αexp第一维相同的维度数量，同样也是从前面开始截取。
步骤4：将步骤2所述的训练集输入到建立的卷积神经网络中，对神经网络进行训练，得到神经网络的所有权值；
步骤4.1：以经典的VGG-Face16模型的参数初始化该网络的参数；
步骤4.2：采用Adam优化器设置初始学习率1e-3；
步骤4.3：应用权利要求4所述权重距离损失函数回归网络，把神经网络的两部分输出拼接到一起输入到权重距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为64；
步骤4.4：采用SGD优化器设置初始学习率1e-5；
步骤4.5：采用权利要求4所述顶点距离损失函数对整个网络进行微调，把神经网络的两部分输出拼接到一起输入到顶点距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为128；
步骤4.6：经过训练之后，得到神经网络的所有权值。
步骤5：将步骤4得到的权值代入训练好的多任务回归网络模型中，并输入验证集，得到验证集对应的特征参数的回归值，并对重建精确度进行评估；
步骤6：将人脸图片输入到步骤4得到神经网络中得到特征参数，把其输入到3DMM三维形变模型中，得到最终的三维人脸。
将人脸图片输入到步骤4得到神经网络中得到特征参数，带入3DMM公式后重建出有53215个点的三维点云，这样也保持了输出的三维点云与不减少回归参数时点云数量是一致的。
采用上述技术方案所产生的有益效果在于：
多任务损失函数和融合神经网络被应用到卷积神经网络中，用来提升人脸表情的重建效果，同时考虑了整个重建过程的语义信息，不只是单纯的回归人脸参数，同时也考虑到了相机姿态以及重建模型对整个重建误差的影响，使整个神经网络的准确率提升。此网络可以从二维图片中重建出三维人脸形状，甚至在变化的光照情况下或者带有极端表情的人脸照片都可以进行三维恢复。
附图说明
图1为本发明一种基于神经网络的端到端的三维人脸重建方法的流程图；
图2为本发明搭建的神经网络架构图；
图3为本发明实施例中输入的二维人脸图片以及其对应生成的三维人脸模型。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例的方法如下所述。
步骤1：采集带有人脸的图片数据集，并获得该图片数据集对应的参数真值；
本实施例采用的是300W-LP人脸数据集，其中包含7674个不同身份的61225张带有3DMM参数真实值的人脸图片。
步骤2：处理获得的300W-LP人脸图片数据集，对带有人脸的区域进行旋转或缩放等操作对其进行数据增强，直至每个人包含大约90张不同姿态的图片，并将图片统一裁剪与缩放为120×120像素大小，将处理后的图片数据集的百分之八十的636252张有7098个不同身份的图片作为训练集，百分之二十的51602张有576个不同身份的人做验证集；
步骤3：建立一种基于VGG-Face的带有融合神经网络的多任务回归网络模型；
步骤3.1：根据三维形变模型3DMM来确定重建模型和卷积神经网络需要回归的参数；
步骤3.1.1：采用经典的三维形变模型3DMM来表示三维人脸，其渲染的3D人脸形状它在一组PCA基上以线性组合的方式存储N个网格顶点的三维坐标，在本实施例中采用53215个网格顶点，因此，3D人脸形状可以被表示为：
其中，S代表三维人脸，代表平均人脸，是3d人脸扫描与中性表情人脸偏差的形状主成分，是形状参数，是由扫描表情和中性表情之间的偏差训练的表情主成分，是表情参数，根据公开的人脸3DMM模型数据库Basel Face Model，可以得到公开的Aid，Aexp的参数值，所以重建三维面部点云的未知参数只有αid，αexp；
步骤3.1.2：用弱透视投影的方法将三维模型投影到二维图像平面上，从指定的视点生成二维人脸：
V(p)＝J×Pr×R×S+t2d
其中，V是模型构造和投影函数，得到模型二维顶点的位置，J为缩放系数，Pr为正交投影矩阵R为旋转角度构成的旋转矩阵包括pitch，yaw，roll三个角度，t2d为平移向量，弱透视投影中的未知参数为J，R(pitch，yaw，roll)包含三种角度和t2d；
步骤3.1.3：确定模型需要收集的所有参数p＝[J，pitch，yaw，roll，t2d，αid，αexp]T，一共有234个系数需要回归。
步骤3.2：考虑权重距离损失与顶点距离损失，根据估计的3DMM中各参数的重要性，确定神经网络的损失函数；
步骤3.2.1：权重距离损失函数：
根据估计的3DMM参数中各参数的重要性，推导出如下公式：
Q＝diag(q1，q2，...，q62)
其中，Q为重要性矩阵，其对角元素表示每个参数的重要性，pi为系数向量，第i个元素是预测出的参数，其余元素来自真实值V(·)为渲染后的三维形状稀疏特征点投影；在训练过程中，CNN首先着重学习缩放、旋转、平移等权重较大的系数，当误差减小后，CNN模型转向优化不太重要的参数，如形状和表达式参数，同时也保证了高优先级的系数满足要求；
步骤3.2.2：顶点距离损失函数：
通过优化拟合的和真实的3D人脸之间的顶点距离来优化损失函数：
E＝||V(p)-V(pg)||2
其中，V(·)是人脸重建和弱透视投影，此损失函数相比较于只计算顶点的距离损失，考虑到了每个顶点的语义信息。
步骤3.3：对VGG-Face模型进行改进，确定神经网络结构，如图2所示。
步骤3.3.1：基于经典的VGG-Face网络模型，搭建神经网络架构，该架构包含13个卷积层和5个池化层；
同时添加了两个关键组件：
组件1、子卷积神经网络fusion-CNN，它是第4池化层pool4和第5池化层pool5共同融合的VGG-Face的中间层的特征；
组件2、多任务学习损失函数，用于身份参数预测、相机姿态参数预测以及表情参数预测；
步骤3.3.2：在单个DNN架构中训练三种类型的神经层：
第一类神经层包括池化层4(Pool4)之前的所有神经层，其学习得是低级面部结构的通用特征，例如边缘和角落，这些层被两个任务共享；
第二类神经层包括融合CNN中的三个卷积层conv_b5和其下面的全连接层conv6、conv7、conv8，融合CNN融合了池化层4(pool4)经过步长为2的池化后的特征和池化层5(pool5)的特征，融合后的特征再输入三个全连接层，第二类神经网络被用来回归表情以及相机姿态表达式系数，最后得到表情向量以及相机姿态表达式系数总22维向量；
第三类神经层包括池化层4(Pool4)之后的所有原有的神经层，它更适合于预测身份参数这种特定特征的预测，最后的到身份参数向量40维；
其中，为了融合Pool4层和Pool5层的中间特征，将Conv6和Conv7的卷积核大小和步长分别设置为{5×5，2}和{1×1，1}，层Conv8用来减少特征的维度，从而降低了神经网络的复杂程度，最后的输出拼接为[f，R，t2d，αid，αexp]T是总数为62维的表达式系数向量，其中R的三个角度pitchyaw，roll分别以3×3矩阵的方式回归，构成9维数据，只回归αid199维的前40维，和αexp的29维的前10维，其他需要回归的参数维度保持不变；
为了让矩阵相乘维度对应，我们把Aid，Aexp的第二维截取成和αid，αexp第一维相同的维度数量，同样也是从前面开始截取。
本实施例中，神经网络架构中不同层的具体参数如表1所示；
表1神经网络架构中不同层的具体参数
步骤4：将步骤2所述的训练集输入到建立的卷积神经网络中，对神经网络进行训练，得到神经网络的所有权值；
步骤4.1：以经典的VGG-Face16模型的参数初始化该网络的参数；
步骤4.2：采用Adam优化器设置初始学习率1e-3＝0.001；
步骤4.3：应用权利要求4所述权重距离损失函数回归网络，把神经网络的两部分输出拼接到一起输入到权重距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为64；
步骤4.4：采用SGD优化器设置初始学习率1e-5；
步骤4.5：采用权利要求4所述顶点距离损失函数对整个网络进行微调，把神经网络的两部分输出拼接到一起输入到顶点距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为128；
步骤4.6：如图2所示有两部分全连接层作为输出，把两部分输出拼接到一起输入损失函数中反向传播给神经网络经过训练之后，得到神经网络的所有权值。
步骤5：将步骤4得到的权值代入训练好的多任务回归网络模型中，并输入验证集，得到验证集对应的特征参数的回归值，并对重建精确度进行评估；
步骤6：将人脸图片输入到步骤4得到神经网络中得到特征参数，把其输入到3DMM三维形变模型中，得到最终的三维人脸。
将人脸图片输入到步骤4得到神经网络中得到特征参数，带入3DMM公式后重建出有53215个点的三维点云，这样也保持了输出的三维点云与不减少回归参数时点云数量是一致的。
本实施例中，输入的二维人脸图片以及其对应输出的三维人脸模型如图3所示。
Claims (7)
1.一种基于神经网络的端到端的三维人脸重建方法，其特征在于包括如下步骤：
步骤1：采集带有人脸的图片数据集，并获得该图片数据集对应的参数真值；
步骤2：处理获得的图片数据集，对带有人脸的区域进行旋转或缩放等操作对其进行数据增强，直至每个人包含大约90张不同姿态的图片，并将图片统一裁剪与缩放为120×120像素大小，将处理后的图片数据集按一定比例分成训练集和验证集；
步骤3：建立一种基于VGG-Face的带有融合神经网络的多任务回归网络模型；
步骤4：将步骤2所述的训练集输入到建立的卷积神经网络中，对神经网络进行训练，得到神经网络的所有权值；
步骤5：将步骤4得到的权值代入训练好的多任务回归网络模型中，并输入验证集，得到验证集对应的特征参数的回归值，并对重建精确度进行评估；
步骤6：将人脸图片输入到步骤4得到神经网络中得到特征参数，把其输入到3DMM三维形变模型中，得到最终的三维人脸。
2.根据权利要求1所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3的过程如下：
步骤3.1：根据三维形变模型3DMM来确定重建模型和卷积神经网络需要回归的参数；
步骤3.2：考虑权重距离损失与顶点距离损失，根据估计的3DMM中各参数的重要性，确定神经网络的损失函数；
步骤3.3：对VGG-Face模型进行改进，确定神经网络结构。
3.根据权利要求2所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3.1的过程如下：
步骤3.1.1：采用经典的三维形变模型3DMM来表示三维人脸，其渲染的3D人脸形状它在一组PCA基上以线性组合的方式存储N个网格顶点的三维坐标，因此，3D人脸形状可以被表示为：
其中，S代表三维人脸，代表平均人脸，是3d人脸扫描与中性表情人脸偏差的形状主成分，是形状参数，是由扫描表情和中性表情之间的偏差训练的表情主成分，是表情参数，根据公开的人脸3DMM模型数据库Basel Face Model，可以得到公开的Aid，Aexp的参数值，所以重建三维面部点云的未知参数只有αid，αexp；
步骤3.1.2：用弱透视投影的方法将三维模型投影到二维图像平面上，从指定的视点生成二维人脸：
V(p)＝∫×Pr×R×S+t2d
其中，V是模型构造和投影函数，得到模型二维顶点的位置，∫为缩放系数，Pr为正交投影矩阵R为旋转角度构成的旋转矩阵包括pitch，yaw，roll三个角度，t2d为平移向量，弱透视投影中的未知参数为∫，R(pitch，yaw，roll)包含三种角度，S和t2d；
步骤3.1.3：确定模型需要收集的所有参数p＝[∫，pitch，yaw，roll，t2d，αid，αexp]T，一共有234个系数需要回归。
4.根据权利要求2所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3.2的过程如下：
步骤3.2.1：权重距离损失函数：
根据估计的3DMM参数中各参数的重要性，推导出如下公式：
Q＝diag(q1，q2，…，q62)
其中，Q为重要性矩阵，其对角元素表示每个参数的重要性，pi为系数向量，第i个元素是预测出的参数，其余元素来自真实值V(·)为渲染后的三维形状稀疏特征点投影；在训练过程中，CNN首先着重学习缩放、旋转、平移等权重较大的系数，当误差减小后，CNN模型转向优化不太重要的参数，如形状和表达式参数，同时也保证了高优先级的系数满足要求；
步骤3.2.2：顶点距离损失函数：
通过优化拟合的和真实的3D人脸之间的顶点距离来优化损失函数：
E＝||V(p)-V(pg)||2
其中，V(·)是人脸重建和弱透视投影，此损失函数相比较于只计算顶点的距离损失，考虑到了每个顶点的语义信息。
5.根据权利要求2所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3.3的过程如下：
步骤3.3.1：基于经典的VGG-Face网络模型，搭建神经网络架构，该架构包含13个卷积层和5个池化层；
同时添加了两个关键组件：
组件1、子卷积神经网络fusion-CNN，它是第4池化层pool4和第5池化层pool5共同融合的VGG-Face的中间层的特征；
组件2、多任务学习损失函数，用于身份参数预测、相机姿态参数预测以及表情参数预测；
步骤3.3.2：在单个DNN架构中训练三种类型的神经层：
第一类神经层包括池化层4(Pool4)之前的所有神经层，其学习得是低级面部结构的通用特征，例如边缘和角落，这些层被两个任务共享；
第二类神经层包括融合CNN中的三个卷积层conv_b5和其下面的全连接层conv6、conv7、conv8，融合CNN融合了池化层4(pool4)经过步长为2的池化后的特征和池化层5(pool5)的特征，融合后的特征再输入三个全连接层，第二类神经网络被用来回归表情以及相机姿态表达式系数，最后得到表情向量以及相机姿态表达式系数总22维向量；
第三类神经层包括池化层4(Pool4)之后的所有原有的神经层，它更适合于预测身份参数这种特定特征的预测，最后的到身份参数向量40维；
其中，为了融合Pool4层和Pool5层的中间特征，将Conv6和Conv7的卷积核大小和步长分别设置为{5×5,2}和{1×1,1}，层Conv8用来减少特征的维度，从而降低了神经网络的复杂程度，最后的输出拼接为[f，R，t2d，αid，αexp]T是总数为62维的表达式系数向量，其中R的三个角度pitch，yaw，roll分别以3×3矩阵的方式回归，构成9维数据，只回归αid199维的前40维，和αexp的29维的前10维，其他需要回归的参数维度保持不变；
为了让矩阵相乘维度对应，我们把Aid，Aexp的第二维截取成和αid，αexp第一维相同的维度数量，同样也是从前面开始截取。
6.根据权利要求1所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤4的过程如下：
步骤4.1：以经典的VGG-Face16模型的参数初始化该网络的参数；
步骤4.2：采用Adam优化器设置初始学习率1e-3；
步骤4.3：应用权利要求4所述权重距离损失函数回归网络，把神经网络的两部分输出拼接到一起输入到权重距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为64；
步骤4.4：采用SGD优化器设置初始学习率1e-5；
步骤4.5：采用权利要求4所述顶点距离损失函数对整个网络进行微调，把神经网络的两部分输出拼接到一起输入到顶点距离损失函数进行反向传播，每一次输入到神经网络的图片数量大小设置为128；
步骤4.6：经过训练之后，得到神经网络的所有权值。
7.根据权利要求1所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤6的过程为：
将人脸图片输入到权利要求1所述步骤4得到神经网络中得到特征参数，带入3DMM公式后重建出有53215个点的三维点云，这样也保持了输出的三维点云与不减少回归参数时点云数量是一致的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881246.7A CN110619676B (zh) | 2019-09-18 | 2019-09-18 | 一种基于神经网络的端到端的三维人脸重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881246.7A CN110619676B (zh) | 2019-09-18 | 2019-09-18 | 一种基于神经网络的端到端的三维人脸重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619676A true CN110619676A (zh) | 2019-12-27 |
| CN110619676B CN110619676B (zh) | 2023-04-18 |
Family
ID=68923504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910881246.7A Active CN110619676B (zh) | 2019-09-18 | 2019-09-18 | 一种基于神经网络的端到端的三维人脸重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619676B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402403A (zh) * | 2020-03-16 | 2020-07-10 | 中国科学技术大学 | 高精度三维人脸重建方法 |
| CN111402401A (zh) * | 2020-03-13 | 2020-07-10 | 北京华捷艾米科技有限公司 | 一种获取3d人脸数据方法、人脸识别方法及装置 |
| CN111462108A (zh) * | 2020-04-13 | 2020-07-28 | 山西新华化工有限责任公司 | 一种基于机器学习的头面部产品设计工效学评估操作方法 |
| CN111583399A (zh) * | 2020-06-28 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、介质和电子设备 |
| CN111598218A (zh) * | 2020-05-08 | 2020-08-28 | Oppo广东移动通信有限公司 | 基于卷积神经网络的数据处理方法和装置、存储介质 |
| CN111754622A (zh) * | 2020-07-13 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 脸部三维图像生成方法及相关设备 |
| CN111951381A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建系统 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN112002009A (zh) * | 2020-08-04 | 2020-11-27 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
| CN112184912A (zh) * | 2020-09-29 | 2021-01-05 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN112396693A (zh) * | 2020-11-25 | 2021-02-23 | 上海商汤智能科技有限公司 | 一种面部信息的处理方法、装置、电子设备及存储介质 |
| CN112489216A (zh) * | 2020-11-27 | 2021-03-12 | 北京百度网讯科技有限公司 | 面部重建模型的评测方法、装置、设备及可读存储介质 |
| CN112529999A (zh) * | 2020-11-03 | 2021-03-19 | 百果园技术(新加坡)有限公司 | 一种参数估算模型的训练方法、装置、设备和存储介质 |
| CN112633191A (zh) * | 2020-12-28 | 2021-04-09 | 百果园技术(新加坡)有限公司 | 一种三维人脸重建的方法、装置、设备和存储介质 |
| CN112734911A (zh) * | 2021-01-07 | 2021-04-30 | 北京联合大学 | 基于卷积神经网络的单幅图像三维人脸重建方法及系统 |
| CN112734890A (zh) * | 2020-12-22 | 2021-04-30 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
| CN113240075A (zh) * | 2021-04-23 | 2021-08-10 | 西安电子科技大学 | 一种基于msvl的bp神经网络的构建和训练方法及系统 |
| CN113269862A (zh) * | 2021-05-31 | 2021-08-17 | 中国科学院自动化研究所 | 场景自适应的精细三维人脸重建方法、系统、电子设备 |
| CN115187705A (zh) * | 2022-09-13 | 2022-10-14 | 之江实验室 | 一种语音驱动人脸关键点序列生成方法及装置 |
| CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓（北京）科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
-
2019
- 2019-09-18 CN CN201910881246.7A patent/CN110619676B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN108399649A (zh) * | 2018-03-05 | 2018-08-14 | 中科视拓（北京）科技有限公司 | 一种基于级联回归网络的单张图片三维人脸重建方法 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
| CN112307848B (zh) * | 2019-08-01 | 2024-04-30 | 惠普发展公司，有限责任合伙企业 | 检测视频会议中的欺骗说话者 |
| CN111402401B (zh) * | 2020-03-13 | 2023-08-18 | 北京华捷艾米科技有限公司 | 一种获取3d人脸数据方法、人脸识别方法及装置 |
| CN111402401A (zh) * | 2020-03-13 | 2020-07-10 | 北京华捷艾米科技有限公司 | 一种获取3d人脸数据方法、人脸识别方法及装置 |
| CN111402403A (zh) * | 2020-03-16 | 2020-07-10 | 中国科学技术大学 | 高精度三维人脸重建方法 |
| CN111402403B (zh) * | 2020-03-16 | 2023-06-20 | 中国科学技术大学 | 高精度三维人脸重建方法 |
| CN111462108A (zh) * | 2020-04-13 | 2020-07-28 | 山西新华化工有限责任公司 | 一种基于机器学习的头面部产品设计工效学评估操作方法 |
| CN111598218A (zh) * | 2020-05-08 | 2020-08-28 | Oppo广东移动通信有限公司 | 基于卷积神经网络的数据处理方法和装置、存储介质 |
| CN111598218B (zh) * | 2020-05-08 | 2024-04-16 | Oppo广东移动通信有限公司 | 基于卷积神经网络的图像数据处理方法和装置、存储介质 |
| CN111583399A (zh) * | 2020-06-28 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、介质和电子设备 |
| CN111583399B (zh) * | 2020-06-28 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、介质和电子设备 |
| CN111754622A (zh) * | 2020-07-13 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 脸部三维图像生成方法及相关设备 |
| CN111754622B (zh) * | 2020-07-13 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 脸部三维图像生成方法及相关设备 |
| CN112002009A (zh) * | 2020-08-04 | 2020-11-27 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
| CN112002009B (zh) * | 2020-08-04 | 2022-10-28 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
| CN111951384B (zh) * | 2020-08-13 | 2024-05-28 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN111951381B (zh) * | 2020-08-13 | 2024-05-28 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建系统 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN111951381A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建系统 |
| CN112184912A (zh) * | 2020-09-29 | 2021-01-05 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
| CN112184912B (zh) * | 2020-09-29 | 2024-02-20 | 南京航空航天大学 | 一种基于参数化模型和位置图的多度量三维人脸重建方法 |
| CN112529999A (zh) * | 2020-11-03 | 2021-03-19 | 百果园技术(新加坡)有限公司 | 一种参数估算模型的训练方法、装置、设备和存储介质 |
| CN112396693A (zh) * | 2020-11-25 | 2021-02-23 | 上海商汤智能科技有限公司 | 一种面部信息的处理方法、装置、电子设备及存储介质 |
| CN112489216A (zh) * | 2020-11-27 | 2021-03-12 | 北京百度网讯科技有限公司 | 面部重建模型的评测方法、装置、设备及可读存储介质 |
| CN112489216B (zh) * | 2020-11-27 | 2023-07-28 | 北京百度网讯科技有限公司 | 面部重建模型的评测方法、装置、设备及可读存储介质 |
| CN112734890A (zh) * | 2020-12-22 | 2021-04-30 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| CN112734890B (zh) * | 2020-12-22 | 2023-11-10 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| WO2022143645A1 (zh) * | 2020-12-28 | 2022-07-07 | 百果园技术(新加坡)有限公司 | 三维人脸重建的方法、装置、设备和存储介质 |
| CN112633191A (zh) * | 2020-12-28 | 2021-04-09 | 百果园技术(新加坡)有限公司 | 一种三维人脸重建的方法、装置、设备和存储介质 |
| CN112734911A (zh) * | 2021-01-07 | 2021-04-30 | 北京联合大学 | 基于卷积神经网络的单幅图像三维人脸重建方法及系统 |
| CN112818860B (zh) * | 2021-02-02 | 2022-06-07 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
| CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
| CN113240075B (zh) * | 2021-04-23 | 2023-08-22 | 西安电子科技大学 | 一种基于msvl的bp神经网络的构建和训练方法及系统 |
| CN113240075A (zh) * | 2021-04-23 | 2021-08-10 | 西安电子科技大学 | 一种基于msvl的bp神经网络的构建和训练方法及系统 |
| CN113269862B (zh) * | 2021-05-31 | 2024-06-21 | 中国科学院自动化研究所 | 场景自适应的精细三维人脸重建方法、系统、电子设备 |
| CN113269862A (zh) * | 2021-05-31 | 2021-08-17 | 中国科学院自动化研究所 | 场景自适应的精细三维人脸重建方法、系统、电子设备 |
| CN115187705A (zh) * | 2022-09-13 | 2022-10-14 | 之江实验室 | 一种语音驱动人脸关键点序列生成方法及装置 |
| CN115761116A (zh) * | 2022-11-03 | 2023-03-07 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
| CN115761116B (zh) * | 2022-11-03 | 2023-08-18 | 云南大学 | 一种基于单目相机的透视投影下三维人脸重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619676B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619676B (zh) | 一种基于神经网络的端到端的三维人脸重建方法 | |
| US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
| Jackson et al. | Large pose 3D face reconstruction from a single image via direct volumetric CNN regression | |
| CN111428586B (zh) | 基于特征融合与样本增强的三维人体姿态估计方法 | |
| WO2019174377A1 (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| Lau et al. | Tactile mesh saliency | |
| US20230070008A1 (en) | Generating three-dimensional object models from two-dimensional images | |
| CN111062326A (zh) | 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 | |
| CN113011401B (zh) | 人脸图像姿态估计和校正方法、系统、介质及电子设备 | |
| CN112001859A (zh) | 一种人脸图像的修复方法及系统 | |
| CN112509106A (zh) | 文档图片展平方法、装置以及设备 | |
| CN113781659A (zh) | 一种三维重建方法、装置、电子设备及可读存储介质 | |
| JP2019091436A (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
| Xu et al. | Pik-fix: Restoring and colorizing old photos | |
| Jeon et al. | Struct-MDC: Mesh-refined unsupervised depth completion leveraging structural regularities from visual SLAM | |
| Abdulwahab et al. | Monocular depth map estimation based on a multi-scale deep architecture and curvilinear saliency feature boosting | |
| CN113888697A (zh) | 一种双手交互状态下的三维重建方法 | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN113066005A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN116342675B (zh) | 一种实时单目深度估计方法、系统、电子设备及存储介质 | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 | |
| CN114820899A (zh) | 一种基于多视角渲染的姿态估计方法和装置 | |
| WO2022139784A1 (en) | Learning articulated shape reconstruction from imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |