CN105321205B - 一种基于稀疏关键点的参数化人体模型重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏关键点的参数化人体模型重建方法，该方法包括以下步骤：深度获取、自动关键点寻找、关键点辅助重建。该方法的目的是从用户输入的人体深度数据上自动地提取出稀疏的关键点，并根据这些关键点的位置重建出参数化人体模型。本发明生成的参数化人体模型可以作为虚拟试衣、虚拟现实和游戏等重要应用的输入。

Description

一种基于稀疏关键点的参数化人体模型重建方法

技术领域

本发明属于计算机视觉技术领域，特别涉及到一种基于稀疏关键点的参数化人体模型重建方法。

背景技术

重建人体三维模型是计算机视觉中的重要问题之一，拥有很多潜在的应用。例如，我们可以在重建得到的网格模型上进行自动的人体身材测量，设计相应的服装。或将重建的模型作为用户的替身应用在电子游戏，远程会议中。受到强烈的需求推动，近年来学术界涌现出了很多关于人体重建的工作。这些工作根据是否用参数化模型表示重建出的结果可以被分为两类。非参数化的重建算法中代表性的如LiHao在2013年提出的“3D SelfPortrait”算法，通过将不同视角下扫描得到的三维点云进行注册，进而重建成水密的网格。这类算法重建的模型能够捕捉人体的几何细节，但是受到生成模型的非参数化形式限制，非参数化的重建算法不利于某些应用。例如在计算机动画中，即使对非参数化模型使用最先进的变形算法也不能准确地模拟肌肉产生的变形。再例如电子游戏中经常需要对模型的身材进行调整，使用非参数化模型很难产生自然的身材变形。相对的，参数化模型不像前者能够精确重现用户身体上如头发、衣物的几何细节，但其抗噪声能力强，而且可以将模型的外形与用户的身材、姿态等参数联系起来，从而非常容易满足应用需要。最近，PengGuan在2013年提出了直接用模型的参数进行高效高质量的衣物仿真的“DRAPE”算法，这使得快速地自动重建出参数化模型的需求大大提升。

现存的参数化模型重建方法中，ShizheZhou在2010年提出了“ParametricReshaping of Human Bodies in Images”，一种从单幅图像中重建出参数化模型的算法。该算法可以为不同的对象重建出参数化模型。但需要比较繁重的人工交互以确定人体的姿态并给出模型顶点与图像上轮廓的对应关系。此外，虽然人体的图像非常容易获取，但同时也丢失了人体的尺度信息。这意味着该方法输出的模型不能正确地反映人体的身材。相对的，深度数据提供了3D信息，可以真实地反映人体的尺度信息。DragomirAnguelov在2005年提出的“SCAPE”算法可以从高精度的三维人体扫描数据中恢复参数化模型。用户需要手动在深度数据上标记与模型之间的对应关系，之后使用一个基于优化的框架计算深度数据与模型之间的稠密对应关系，并根据稠密对应关系重建参数模型。Alexander Weiss在2012年提出的“Home 3D Body Scan from Noisy Image and Range data”借助非刚性注册的方法迭代地优化深度数据和网格之间的稠密对应关系，完成了全自动地从含有噪声的深度数据中重建参数化模型的目标。由于寻找稠密对应的过程比较耗时，需要计算接近一个小时的时间得到目标参数化模型。

上述领域的一些最新成果为我们开发自动从深度数据重建参数化模型的方法提供了坚实的技术基础。这些方法也为开发一种高质量、低成本的参数化人体模型获取方法和系统提供了技术支撑。

发明内容

本发明所要解决的主要技术问题是针对现存的参数化模型重建算法的需要人工交互和低效率的问题提出一种自动而且高效的解决方法和系统。该方法可以高效地在输入的深度数据上自动计算稀疏的关键点，并根据这些关键点的位置快速重建出参数化人体模型。

为了实现本发明的目的，我们依赖以下技术方案，它包括以下步骤：

(1)深度获取：使用深度扫描设备(Kinect)扫描人体的正面，并剔除属于背景和地面的区域。得到孤立的人体深度数据。

(2)自动关键点寻找：使用基于随机蕨(Random fern)的回归算法自动计算深度数据上的稀疏关键点。

(3)关键点辅助重建：将稀疏关键点与模型网格之间的对应关系作为约束，使用优化算法重建出参数化人体模型。

采用以上技术方案的基础上，本发明还可以采用以下进一步的方案：

在步骤(2)中，对每个输入的深度数据，随机初始P个关键点坐标，使用q个不同方向光源将深度数据绘制成q个阴影图。对每张阴影图随机采样每个关键点周围的M个像素灰度，并对每张阴影图计算所有像素之间的灰度差异。将得到的MPq个灰度差异作为随机蕨回归算法的输入特征。

在步骤(2)中，合成N个不同姿态和身材，注册好的人体网格。并提取每个网格上准确的P个关键点坐标，组成目标关键点位置向量。接着对每个网格，随机生成初始关键点位置向量S₀。将差异向量ΔS＝S-S₀作为训练随机蕨回归算法的回归目标。

在步骤(2)中，训练随机蕨回归模型，并使用Ensemble Learning方法将多个随机蕨回归模型的结果进行综合：将训练过程重复T次，每次Random fern训练结束，用训练结果更新每个训练样本的初始关键点位置向量：之后用新的初始关键点位置重新训练。测试时，从输入深度数据提取特征，输入训练好的Random fern回归模型，计算关键点位置。

在步骤(3)中，如图2所示，使用两步线性最小二乘优化算法交替迭代求解姿势参数t和身材参数β。每次迭代过程包括4个模块：(a)计算目标网格顶点Y与姿态参数t的线性关系：Y(t)＝ct+d；(b)使用步骤(2)计算得到的稀疏关键点约束关于姿态参数t的重建误差能量，优化姿态参数t。(c)计算目标网格顶点Y与身材参数β的线性关系：Y(β)＝fβ+g。(d)使用步骤(2)计算得到的稀疏关键点约束关于身材参数β的重建误差能量，优化姿态参数β。

在步骤(3)中的(a)、(c)两个模块，使用矩阵预分解加速目标网格顶点Y与姿态参数t的线性关系Y(t)＝ct+d以及目标网格顶点Y与身材参数β的线性关系Y(β)＝fβ+g的系数求解。

本发明的有益效果为：本方法使用基于回归的方法自动地在输入深度数据上寻找稀疏关键点，与传统的使用基于优化的方法寻找深度图与网格的稠密对应关系相比，我们的方法不需要任何人工交互进行初始化。更重要的是本发明所述的基于回归的方法不需要求解大型优化问题，而只需要进行简单的向量加法和查表就可以得到稀疏关键点，大大提高了算法效率。另一方面，在进行参数化模型重建的过程中，使用了预分解技术解决了迭代过程中需要重复进行大型矩阵分解的问题，进一步提高了算法效率。总的来说，本发明所述算法平均消耗3.5秒进行模型重建，与传统方法接近一小时相比，效率得到了显著的提升，而重建准确度却能够与传统方法持平。

附图说明

图1为基于稀疏关键点的参数化人体模型重建方法流程图。

图2为关键点辅助重建方法流程图。

图3为人体区域划分图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明:

参照图1，表示基于稀疏关键点的参数化人体模型重建方法流程图，图中表示的步骤为：

1深度获取：将kinect摆放在用户正面，另kinect电动马达旋转54度，过程中拍摄10张深度图。使用KinectFusion流程将深度图拼接成光滑网格。对该网格删除属于地面的顶点，删除距离kinect摄像头距离超过1.5m的顶点达到剔除背景的目的。

2自动关键点寻找：参照图1，这个步骤分为两步：(a)离线构造训练样本数据并训练Random fern回归模型；(b)在线输入深度数据到训练好的Random fern模型进行测试。

(a)构造训练样本数据并训练随机蕨回归模型：

合成N个不同姿态和身材的人体网格，本发明所述实施例中N＝171，并提取每个网格上准确的P个关键点坐标，P＝30，组成目标关键点位置向量。接着对每个网格，随机生成初始关键点位置向量S₀。将差异向量ΔS＝S-S₀作为训练Random fern回归算法的回归目标。使用q(q＝5，我们将人体模型重心作为原点，将5个光源设置为(0,0,1)，(1,0,1)，(0,1,1)，(-1,0,1)，(0,-1,1)。并将所有光源的照射方向都指向原点)个不同方向光源将该网格绘制成阴影图。对每张阴影图随机采样每个初始关键点周围的M(M＝15)个像素灰度，并对每张阴影图计算所有像素之间的灰度差异。将得到的MPq个灰度差异作为随机蕨回归算法的输入特征向量F。由(F,ΔS)组成一个训练样本。

将所有训练样本输入随机蕨回归模型训练，将训练过程重复T次，本实施例中T＝5000，使用Ensemble Learning方法将多个随机蕨回归模型的结果进行综合：每次Randomfern训练结束，用训练结果更新每个训练样本的初始关键点位置向量：S_t+1＝S_t+ΔS_t。之后用新的初始关键点位置重新训练。

(b)输入深度数据到训练好的随机蕨模型进行测试：测试时，使用q个不同方向光源将步骤(1)中得到的深度数据制成阴影图。对每张阴影图随机生成初始关键点位置，并采样每个初始关键点周围的M个像素灰度，并对每张阴影图计算所有像素之间的灰度差异。将得到的MPq个灰度差异作为随机蕨回归算法的输入特征，输入训练好的随机蕨回归模型，计算关键点位置。

3关键点辅助重建：使用SCAPE模型对人体进行表示。设人体网格模型共含有N个顶点和K个三角面。对于模板网格上第k个三角面上的第j条边v_j,k，姿态参数t确定了一个旋转矩阵R^k(t)，身材参数β确定了一个仿射变换矩阵S^k(β)。Diff_j,k为3×3N差分矩阵，指定了目标网格上与v_j,k对应的边。SCAPE模型使用姿态参数t和身材参数β表示人体。与通过最小化能量方程：

确定人体网格模型的顶点位置向量Y。

参照图2，使用两步优化算法交替迭代求解姿态参数t和身材参数β。每次迭代过程包括4个模块：(a)计算目标网格顶点Y与姿态参数t的线性关系：Y(t)＝ct+d；(b)使用步骤(2)计算得到的稀疏关键点约束关于姿态参数t的重建误差能量，优化姿态参数t。(c)计算目标网格顶点Y与身材参数β的线性关系：Y(β)＝fβ+g。(d)使用步骤(2)计算得到的稀疏关键点约束关于身材参数β的重建误差能量，优化姿态参数β。

(a)计算目标网格顶点Y与姿态参数t的线性关系：固定身材参数β为上一次迭代的结果。参照图3，将人体网格划分为S个区域，对于每个区域内的三角形k，用一个3维向量t_s＝(t₁,t₂,t₃)_s确定对应的旋转矩阵:

其中，

将待优化姿态参数表示为一个长度为3S的向量t＝{t_s|p＝1..S}。将能量方程(1)重新写作：

E(Y)＝||Mt+m-Diff·Y||²…(2)

最小化能量方程(2)得到顶点位置Y关于姿态参数t的线性解析表达：

Y＝ct+d

c＝(Diff^T·Diff)^-1Diff^TM

d＝(Diff^T·Diff)^-1Diff^Tm

Diff在迭代过程中是不变的，在进入迭代前对Diff^T·Diff进行一次预分解，在迭代过程中可以快速更新系数c和d。

(b)使用步骤(2)计算得到的稀疏关键点约束关于姿态参数t的重建误差能量，优化姿态参数：将步骤(2)深度图上找到的2D关键点反投影到3D空间。根据已知这些关键点与目标网格上指定顶点的对应关系，构造拟合能量方程:

其中，和表示相邻的人体区域。y_j表示与第j个关键点u_j对应的网格顶点。通过最小化能量方程(3)得到姿态参数t。

(c)计算目标网格顶点Y与身材参数β的线性关系：固定姿态参数t为上一次迭代的结果。将待优化身材参数表示为一个长度为L(L＝30)的向量β。令S^k(β)＝reshape[(Uβ+μ)_k]_3×3表示第k个三角面的仿射变换矩阵。其中，μ和U表示SCAPE模型中身材的PCA系数，分别为长度为9K的向量和为9K×L的矩阵。将能量方程(1)重新写作：

E(Y)＝||AUβ+Aμ-T·Diff·Y||²…(4)

最小化能量方程(4)得到顶点位置Y关于身材参数β的线性解析表达：

Y＝fβ+g

f＝(Diff^T·Diff)^-1Diff^TT^TAU

g＝(Diff^T·Diff)^-1Diff^TT^TAβ

Diff在迭代过程中是不变的，在进入迭代前对Diff^T·Diff进行一次预分解，在迭代过程中可以快速更新系数f和g。

(d)使用步骤(2)计算得到的稀疏关键点约束关于身材参数β的重建误差能量，优化姿态参数：将步骤(2)深度图上找到的2D关键点反投影到3D空间。根据已知这些关键点与目标网格上指定顶点的对应关系，构造拟合能量方程:

其中Λ＝diag(1/σ₁ ²,1/σ₂ ²,...,1/σ_L ²)，其中σ_i ²表示SCAPE模型身材系数U对应的特征值。通过最小化能量方程(5)得到身材参数β。

Claims (7)

1.一种基于稀疏关键点的参数化人体模型重建方法，其特征在于，包括以下步骤：

(1)深度获取：使用深度扫描设备扫描人体的正面，并剔除属于背景和地面的区域，得到孤立的人体深度数据；

(2)自动关键点寻找：在人体上定义P个关键点，使用基于随机蕨的回归算法自动计算对应输入深度数据上的稀疏关键点；

(3)关键点辅助重建：将稀疏关键点与模型网格顶点Y之间的对应关系作为约束，交替使用线性最小二乘优化算法重建出参数化人体模型的姿态参数t和身材参数β，其中，在优化姿态参数t时，利用网格顶点Y与姿态参数t的线性关系Y(t)＝ct+d建立线性方程，c、d为线性方程系数，在优化身材参数β时，利用网格顶点Y与身材参数β的线性关系Y(β)＝fβ+g建立线性方程，f、g为线性方程系数。

2.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于在步骤(2)中，对每个输入的深度数据，使用q个不同方向光源将深度数据绘制成q个阴影图，对每张阴影图随机采样每个关键点周围的M个像素灰度，并对每张阴影图计算所有像素之间的灰度差异；将得到的MPq个灰度差异作为随机蕨回归算法的输入特征。

3.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于在步骤(2)中，使用SCAPE算法生成人体网格模型，对每个人体网格，给予不同的姿态和身材参数，得到N个不同的人体网格模型，用作训练随机蕨回归算法的训练数据。

4.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于在步骤(2)中，提取每个作为训练数据的人体网格上准确的P个关键点坐标，组成目标关键点位置向量S；对每个网格，随机生成初始关键点位置向量S₀；将差异向量ΔS＝S-S₀作为训练随机蕨回归算法的回归目标。

5.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于在步骤(2)中，训练随机蕨回归模型，并使用Ensemble Learning方法将多个随机蕨回归模型的结果进行综合：将训练过程重复T次，每次随机蕨训练结束，用训练结果更新每个训练样本的初始关键点位置向量：S_t+1＝S_t+ΔS_t，之后用新的初始关键点位置重新训练。

6.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于：在步骤(3)中，使用两步优化算法交替迭代求解人体姿态参数t和身材参数β。

7.根据权利要求1所述的一种基于稀疏关键点的参数化人体模型重建方法，其特征在于：在步骤(3)中，使用矩阵预分解加速目标网格顶点Y与姿态参数t的线性关系Y(t)＝ct+d中线性方程系数c、d的计算，及目标网格顶点Y与身材参数β的线性关系Y(β)＝fβ+g中线性方程系数f、g的计算。