CN110298916B - 一种基于合成深度数据的三维人体重建方法 - Google Patents

Abstract

深度学习(Deep Learning)技术近年来在图形学及其三维人体重建(3D Human Reconstruction)领域有不错的成果，其中一些优秀的三维人体重建方法取得了很好的效果，但在精度和速度方面，仍有提升空间。本发明针对深度图进行三维人体重建，首先构建大规模的合成人体深度数据集；然后利用合成数据进行监督学习，其中选择了三维信息和二维信息作为监督条件约束人体参数的求解；最后通过迁移学习(Transfer Learning)的阈领域迁移，设计训练策略来使得网络对真实数据有更好的预测能力。

Description

一种基于合成深度数据的三维人体重建方法

技术领域

本发明涉及计算机视觉与图形学的三维人体重建领域，可以通过单张深度图进行三维人体的实时重建，重建出的人体能够准确的表达人体在场景中的姿势和体态信息。

背景技术

三维人体重建(3D Human Reconstruction)在游戏影视、虚拟试衣、安防监控等现实场景中有重要研究价值。总的来说，重建旨在利用采集数据来推断目标人体的状态信息。图片、深度图、点云往往作为原始输入数据，用单视图序列或多视图提供更多的三维信息来合理推断人体信息。而应用场景的需求不同也决定最后输出的数据形式各异。输出形式分为精确的人体表面拓扑结构和模板型光滑的人体表面结构两大类。不同的输入输出形式同时也影响算法选择的多样性。

三维人体动态重建从技术角度上可以分为三大类：基于多视立体的方法。每一帧独立重建，通过传统的立体匹配，帧与帧之间的结果没有相关性；基于三维模板的方法。通过骨架来驱动人体标准模型的形变，这样处理可以减低形变的参数空间，几十个参数就可以确定一个人体的姿势。或者通过均匀的离散采样，可以将表面定点的变量降低到几百个，通过几百个定点来驱动密集定点的形变；表面动态融合方法。应用单个相机单帧可以获取到人体部分深度信息，而要获取人体完整的信息则需要捕获到人体在运动时其他角度的深度信息，多个视角的信息动态融合以此得到完整的人体结构。

深度学习在人体三维重建，尤其是在基于三维模板变形的方法中有较好的实践成果。基于深度学习的三维人体重建任务需要利用大量复杂的数据进行线下训练，但在运行(测试)阶段，在毫秒级内就能够预测出准确的人体模型。所以，与传统方法相比，基于深度学习的三维重建速度快，能适应不同复杂的场景背景，准确率高。基于RGB图片的重建已经取得较为成熟的成果，而深度信息比RGB信息更能够反应出人体的空间信息，因此，利用深度图来进行人体三维重建理论上可以更好进行人体的实时估计。

本发明基于卷积神经网络为基础，搭建了一个利用单张深度图进行人体三维重建的网络框架，选择并设计了几个合理的监督条件来约束人体的参数估计过程。由于缺乏公开的人体深度相关的数据集，本发明利用人体三维模板和图形学渲染技术构建了百万级别的的人体深度图数据集，利用合成数据进行训练可以得到精确的重建结果。最后利用迁移学习中的阈迁移技术，使得网络能够对从深度相机中获取的真实深度图进行准确的人体参数预测。

发明内容：

本发明利用单张深度图，基于深度卷积神经网络及迁移学习，输出能够代表人体实时状态的姿势信息和体态信息，通过稀疏的人体参数进行最后的模板变形得到最后的人体三维网络模型。

本发明由三个部分组成，首先是人体深度数据集的构造，然后是基于深度卷积神经网络结构的设计，最后是利用迁移学习来减小合成数据与真实数据的预测误差。

1.人体深度图数据集构造

人体模型采用SMPL(Skinned Multi-Person Linear Model)可变性模板人体为基础，通过一组85维的人体参数数据来控制模板变形得到任意状态人体，其中72个人体姿势数据来控制人体的运动状态，10个人体体态数据来表达人体的高矮胖瘦等体态信息，3个相机数据来控制人体在图片中的空间位置。

通过约束每个参数的大小可以得到任意正常状态的人体三维网格模型，利用计算机图形学渲染技术，将三维模型投影得到二维的人体深度图，如图1所示。

2.基于卷积神经网络的三维人体参数估计网络的搭建

基于卷积神经网络的三维人体参数估计网络的搭建由两个部分组成：人体参数估计网络的设计，以及监督条件的选择和设计。

2.1人体参数估计网络的设计

三维人体参数估计网络使用了ResNet-50残差网络作为特征提取的基础结构，得到的特征通过回归模块的3次调整，得到最后的人体参数数据，如图2所示。

网络的输入大小为224×224×3，首先经过一层卷积核大小为7×7、步长为2的深度为64的卷积层，得到64个112×112的特征图。接着将此特征图进行下采样，送入一个池化大小为3×3，步长为2的最大池化层，得到一组64×56×56的特征图。

然后将特征图送入4组卷积模块进行特征提取。四组卷积模块有着相同的残差块结构，只是每组的超参数变量设置不同。网络结构细节见表1。

第一组卷积模块包括3个相同的残差块组成，每个残差块主路径有3个卷积层构成，第一层的卷积核大小为1×1，积核个数是64；第二层的卷积核大小为3×3，卷积核个数是64；第三层的卷积核大小为1×1，卷积核个数是256。分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是256。再将两个路径的结果相加由ReLU激活输出。在第一个残差块的的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1。

第二组卷积模块包括4个相同的残差块组成，每个残差块主路径有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是128；第二层的卷积核大小为3×3，卷积核个数是128；第三层的卷积核大小为1×1，卷积核个数是512。分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是512。再将两个路径的结果相加由ReLU激活输出。在第一个残差块的的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1。

第三组卷积模块包括6个相同的残差块组成，每个残差块有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是256；第二层的卷积核大小为3×3，卷积核个数是256；第三层的卷积核大小为1×1，卷积核个数是1024。分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是1024。再将两个路径的结果相加由ReLU激活输出。在第一个残差块的的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1。

第四组卷积模块包括3个相同的残差块组成，每个残差块有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是512；第二层的卷积核大小为3×3，卷积核个数是512；第三层的卷积核大小为1×1，卷积核个数是2048。分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是2048。在第一个残差块的的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1。

接着，将得到的特征进行平均池化，得到一个1×1×2048的向量，将向量铺平乘一个大小为2048的一维向量，送入一个大小为1000的全连接层，最后得到一个大小为1000的特征。

表1三维人体参数估计网络卷积层结构

得到的特征如果直接进行参数预测会得到误差较大的结果，这里采用三次回归的策略进行参数预测。具体地，将卷积网络得到的1000维的向量与当前的人体参数直接拼接得到一个1085维度的向量，之后送入维度分别为1024,1024,85的三层全连接层，将得到的85维度向量再与之前的1000维的卷积特征拼接，再次送入三层全连接层，这样迭代三次，将第三次的结果作为最后的人体参数预测结果。不直接预测参数值而预测参数值的差值可以得到更好的结果。

2.2监督条件的选择和设计

考虑到速度和准确性，本发明采用了人体参数监督，三维关节点监督，二维关节点监督，人体Mask监督。

2.2.1人体参数监督

由于应用合成数据进行训练，所以SMPL模型及其对应的人体参数是已知的，采用人体参数直接来约束网络训练是最直接的监督手段。人体参数分为姿势参θ数和体态参数β，将预测值与真实值作均方误差，见公式1

其中，β_i和θ_i代表的是第i个深度图的人体姿势参数和体态参数的预测值，

和

代表的是第i个深度图的人体姿势参数和体态参数的真实标签值。

2.2.2三维关节点监督

得到了人体的参数信息后，可以通过模板变形得到特定姿势θ^*和体态β^*下的三维人体网格模型M(θ^*,β^*)，如果直接将三维网格的点左边进行监督，计算量将会非常大，这里可以选择三维关节点信息进行监督。人体模型M(θ^*,β^*)的24个关节点的信息可以通过已知的回归量求得，同样将预测值X_i与真实值

的均方误差作为人体结构的第二个监督约束，见公式(2)

2.2.3二维关节点监督

人体模型M(θ,β)三维关节点可以在得到的相机参数下投影，获取二维关节点信息，来强化人体结构的空间约束。采用弱透视相机模型，在相机尺度

下，获取到角-轴表达的全局旋转

和平移

投影X(θ,β)获取方式见式(3)

x＝sΠ(RX(θ,β))+t 式(3)

其中Π代表正交投影。

二维关节监督形式与式(2)相似，这里只计算二维的值。

2.2.4人体Mask监督

除了以上信息的监督外，本发明提出了一种新的Mask监督的方法。传统的Mask的获取是通过图形学渲染技术离线获取得到，是不可微分的，不能直接应用到神经网络的训练中。而现今的可微分的渲染技术实现的难度比较大，所以本发明设计了一个基于深度学习的Mask预测的方法。

Mask预测基于卷积神经网络，把SMPL人体模板的体态基的二维图片作为基础信息，利用人体参数来引导Mask的预测。

首先，将10个人体体态基模型的10张正面渲染深度图和10张背面深度图作为神经网络的输入，尺度为256×256×20的原始数据通过5组卷积和池化获得8×8×512大小深度图的特征。然后进行5次反卷积，使得特征图的宽和高还原到原始输入的宽高大小，最后经过一个1×1的卷积进行降维，输出即目标的Mask图片，详细细节见表2。在这个过程中，与传统卷积不同的是，本发明将人体参数先进行一次全连接层的计算，将计算的结构作为卷积核的参数，如图3所示。这样的设计可以使得人体参数对提取的特征和Mask的估计进行引导，得到更加精确的Mask预测结构。

表2人体Mask预测网络结构

3.合成数据与真实数据的域迁移训练

由于训练过程采用的全是通过图形学渲染出来的合成数据，合成数据十分理想化，而用深度相机获取到的深度图常常会有噪声和缺失，直接用合成数据训练好的网络来测试真实数据效果往往不太理想。所以，本发明采用迁移学习中的域迁移手段来增强网络的适应能力，减小合成数据与真实数据的差距。域迁移的训练策略以ADDA(AdversarialDiscriminative Domain Adaption)为基础，先学习一个源域的映射M_s，一个源域的分类器(或回归模块)C_s。由于源域的数据有标签，可以轻易地学习到M_s和C_s。假设是分类器是共享的，也就是说目标域分类器(或回归模块)C_t＝C_s，相当于在映射后的子空间内，源域和目标域有着相同的分布。因此，只需要学习目标域映射M_t,为了获得M_t，需要定义一个域分类器D，借鉴GAN网络的思想，优化D的目标函数见式(5)：

训练策略如图4所示，分为3个部分：

首先，将带有标签的合成数据看作源域进行训练,进行传统的监督训练，得到M_s和C_s，如式(4)。其中，C(M_s(x_s))代表源域的输出，根据网络输出和标签计算损失；

接着，保持M_s和C不变，用M_s初始化M_t，并交替优化第式(5)和式(6)，获得D和M_t；

最后，目标域的真实深度图直接通过M_t和C获得预测的标签。

附图说明

图1为人体深度图数据集构造原理图。

图2为人体参数估计的网络结构图。

图3为人体Mask预测的网络结构图。

图4为迁移学习训练策略示意图。

具体实施方式

本发明实施分为两个阶段：数据准备阶段，训练阶段和测试阶段。

数据准备阶段：随机生成一百万组人体参数集合，利用SMPL可变性模板进行人体形变得到三维人体模型，之后通过渲染得到二维的人体深度图。由此得到的带有人体二维关节点、三维关节点和人体参数标签的深度图数据作为训练数据。同时，用深度相机(如kinect相机)获取一万张真实的包含人体的深度图。

训练阶段：包括Mask预测网络的训练和人体参数估计网络的训练。Mask预测网络利用公开的二维人体数据集以本发明提出的网络进行监督训练，训练完成后固定网络参数，把整个模块加入到人体参数估计网络中，作为其中的一个损失函数。之后用准备好的合成深度数据进行监督训练。训练策略如上文所示，用合成数据和真实数据进行训练，得到最终的网络模型。

测试阶段：用深度相机(如kinect相机)拍取深度图，将深度图作为整个网络的输入进行预测，得到最后的人体参数。利用SMPL模型得到相应的人体三维网格模型。

Claims (1)

1.一种基于合成深度数据的三维人体重建方法，其特征在于：

步骤1、人体深度图数据集构造：(1)人体模型采用SMPL可变性模板人体为基础，通过一组85维的人体参数数据来控制模板变形得到任意状态人体，其中72个人体姿势数据来控制人体的运动状态，10个人体体态数据来表达人体的高矮胖瘦体态信息，3个相机数据来控制人体在图片中的空间位置；(2)通过约束每个参数的大小可以得到任意正常状态的人体三维网格模型，利用计算机图形学渲染技术，将三维模型投影得到二维的人体深度图；

步骤2、基于卷积神经网络的三维人体参数估计网络的搭建，包括以下三个子步骤：

步骤2.1、使用ResNet-50残差网络作为特征提取的基础结构，得到的特征通过回归模块的3次调整，得到最后的人体参数数据；网络的输入大小为224×224×3，首先经过一层卷积核大小为7×7、步长为2的深度为64的卷积层，得到64个112×112的特征图；接着将此特征图进行下采样，送入一个池化大小为3×3，步长为2的最大池化层，得到一组64×56×56的特征图；然后将特征图送入4组卷积模块进行特征提取；四组卷积模块的超参数设置如下：

第一组卷积模块包括3个相同的残差块组成，每个残差块主路径有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数为64；第二层的卷积核大小为3×3，卷积核个数为64；第三层的卷积核大小为1×1，卷积核个数为256；分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数为256；再将两个路径的结果相加由ReLU激活输出；在第一个残差块的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1；

第二组卷积模块包括4个相同的残差块组成，每个残差块主路径有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是128；第二层的卷积核大小为3×3，卷积核个数是128；第三层的卷积核大小为1×1，卷积核个数是512；分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是512；再将两个路径的结果相加由ReLU激活输出；在第一个残差块的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1；

第三组卷积模块包括6个相同的残差块组成，每个残差块有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是256；第二层的卷积核大小为3×3，卷积核个数是256；第三层的卷积核大小为1×1，卷积核个数是1024；分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是1024；再将两个路径的结果相加由ReLU激活输出；在第一个残差块的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1；

第四组卷积模块包括3个相同的残差块组成，每个残差块有3个卷积层构成，第一层的卷积核大小为1×1，卷积核个数是512；第二层的卷积核大小为3×3，卷积核个数是512；第三层的卷积核大小为1×1，卷积核个数是2048；分支路径同样是卷积层，其卷积核大小为1×1，卷积核个数是2048；在第一个残差块的主路径和分支路径第一个卷积层步长设置为2，其他层步长全部设置为1；接着，将得到的特征进行平均池化，得到一个1×1×2048的向量，将向量铺平乘一个大小为2048的一维向量，送入一个大小为1000的全连接层，最后得到一个大小为1000的特征；得到的特征采用三次回归的策略进行参数预测；具体地，将卷积网络得到的1000维的向量与当前的人体参数直接拼接得到一个1085维度的向量，之后送入维度分别为1024,1024,85的三层全连接层，将得到的85维度向量再与之前的1000维的卷积特征拼接，再次送入三层全连接层，迭代三次，将第三次的结果作为最后的人体参数预测结果；

步骤2.2、采用了人体参数监督，三维关节点监督，二维关节点监督，人体Mask监督进行训练：

(1)采用SMPL对应的人体参数直接来约束网络训练，人体参数分为姿势参θ数和体态参数β，将预测值与真实值作均方误差，见公式(1)

其中，β_i，θ_i代表的是第i个深度图的人体姿势参数和体态参数的预测值，

代表的是第i个深度图的人体姿势参数和体态参数的真实标签值；

(2)得到了人体的参数信息后，通过模板变形得到特定姿势θ^*和体态β^*下的三维人体网格模型M(θ^*，β^*)，利用三维关节点信息进行监督；人体模型M(θ^*，β^*)的24个关节点的信息可以通过已知的回归量求得，同样将预测值X_i与真实值

的均方误差作为人体结构的第二个监督约束，见公式(2)

(3)利用相机参数下投影人体模型M(θ，β)三维关节点获取二维关节点信息，来强化人体结构的空间约束；采用弱透视相机模型，在相机尺度

下，获取到角-轴表达的全局旋转

和平移

投影X(θ，β)的获取见式(3)

其中Π代表正交投影；二维关节监督形式与式(2)相似，这里只计算二维的值；

(4)利用人体Mask监督：首先，将10个人体体态基模型的10张正面渲染深度图和10张背面深度图作为神经网络的输入，256×256×20的原始数据通过5组卷积和池化获得8×8×512大小深度图的特征然后进行5次反卷积，使得特征图的宽和高还原到原始输入的宽高大小，最后经过一个1×1的卷积进行降维，输出即目标的Mask图片；

步骤3、合成数据与真实数据的域迁移训练：

域迁移的训练策略以ADDA为基础，训练策略分为3个部分：首先，将带有标签的合成数据看作源域进行训练，进行传统的监督训练来优化，其目标函数如式(4)，得到源域的映射M_s和分类器C_s，式(4)中C_s(M_s(x_s))代表源域的输出，根据网络输出和标签计算损失；

接着，把真实深度图看作目标域，保持M_s和C_s不变，用M_s初始化目标域映射M_t，并交替优化第式(5)和式(6)，获得域分类器D和目标域映射M_t；

最后，目标域的真实深度图直接通过M_t和C_s获得预测的标签。

Images