CN103268629A - 三维人体形态和姿态的无标记点实时复原方法 - Google Patents

Abstract

本发明涉及一种三维人体形态和姿态的无标记点实时复原方法。该方法面向单目深度视频，借助人体参数化模型，完成人体形态和姿态的实时复原。其步骤包括：1）人体参数化模型提取。该模型分解为形态变形子模型和姿态变形子模型两个部分。使用人体库训练该模型，求解出部分参数：求解出形态变形子模型的特征向量参数；求解出姿态变形子模型的线性蒙皮变形中各刚性块的权重；2），人体形态离线复原。3）人体姿态在线复原。通过线性变分方法，实时地求取姿态变形子模型的线性蒙皮变形中各刚性块的变换。从而，在线复原出人体的姿态。

Description

三维人体形态和姿态的无标记点实时复原方法

技术领域

本发明隶属于一般的图像数据处理领域，关注的是三维人体形态和姿态的复原问题，涉及的是不使用标记点、实时的三维人体复原方法。

背景技术

三维人体形态和姿态的复原是一般的图像数据处理领域的一个重要问题，是重建逼真的个性化虚拟人的关键技术，也是人体重建、处理等诸多应用问题的重要基础。

虚拟人（也称为化身）的个性化建模是指在计算机虚拟场景中创建虚拟人的三维几何模型，重建出的虚拟人不仅具有人个体的形态特性，而且具有个体的姿态特性。那么对虚拟人进行个性化建模，不仅要逼真地建立人的几何外形（即形态复原）；更要复原出人体的运动（简称为姿态复原）。

本发明进一步推进了个性化虚拟人的复原方法，无需标记点，即可实时地复原出目标人体的形态和姿态信息。该方法面向单目深度视频相机获取的深度图像序列，借助人体参数化模型，完成人体形态和姿态的实时复原。

以Kinect等为代表的新型深度视频相机提供了全新的基于深度视频的数据获取方式。与之前的动作捕捉技术不同，数据获取不需要通过在被捕捉对象的身体部位安置多个标记（感应点）来完成动作捕捉。从而，它具有非接触式、成本低（不依赖特殊设备）和智能化等优点。Kinect等设备硬件技术的发展使得数据获取设备便宜（2013年市场价约1200元人民币）而且便捷，为虚拟人的建模奠定了硬件基础。但是Kinect扫描得到的原始数据是不完整的、充满噪声且无配准，因此高度不可用。

本发明将使用人体参数化模型克服原始深度数据的缺陷。深度数据是物体表面特征的低层次的采样信息，而人体参数化模型是人体建模的高层次的认识。低层次信息是提供高层次先验知识的个性化基础，高层次先验知识能够有效消除低层次信息带来的不确定性。受扫描数据的不完整性和噪声的影响，我们发现个性化虚拟人重建中满足的先验在扫描数据中表现为“接近”满足的先验，因此可以通过找到“接近”满足的先验构建约束——在满足先验知识等语义信息的前提下尽可能地逼近真实数据。这有别于传统虚拟人重建过程中使用的约束，传统的重建约束主要是最小化拟合误差，即在重建过程中使重建结果尽可能地忠实于原始数据，但对原始深度数据不能生成有意义的重建结果。

根据专利文献检索，与本发明相关的有美国专利US 8139067 B2与US 20110210915 A1。US 8139067 B2专利主要用于无标记点的人体复原，但不能达到实时的效果，面向的数据是高质量的点云，不是高不可用的粗糙深度视频；US 20110210915专利可处理深度数据，但其工作目的是人体姿态的估计，即确定人体深度数据的关节分割，估算出人体的姿态。因此，尚未见到面向深度视频的人体的形态和姿态实时复原的有关报道。

发明内容

本发明提出一种三维人体形态和姿态的无标记点实时复原方法。面向单目深度相机获取的深度视频序列，该方法使用从三维人体库分析出的人体参数化模型，基于深度视频实时复原出人体的形态和姿态。

本发明从单目深度视频实时复原三维人体的形态和姿态，其工作流程（图1）包括人体参数化模型提取、人体形态离线复原与姿态在线复原等三个步骤：第一步，分析预先建立的人体数据库，提取出人体参数化模型；第二步，在人体参数化模型的约束下建立目标人体的形态；第三步，快速地将人体形态模型匹配到深度视频序列，在线实时复原出目标人体的姿态。

第一步，人体参数化模型提取。通过分析预先建立的人体库，提出一种人体数据参数的建模模型，即人体参数化模型。该模型基于人体库，考虑在姿态和形态上的差异，描述了单个人体的变形过程。具体步骤（图2）如下：

1.1 构建人体参数化模型，该模型包括人体的形态变形和姿态变形两个部分。形态变形子模型刻画了形态变化带来的多样性，并用主元素分析方法进行化简；姿态变形子模型用线性蒙皮变形表示，分解为人体中|B|（bone,人体刚性部件）个刚性块的变换和权重乘积的求和。具体的求解如下：

给定三角形模板M，它将被注册到人体库中姿态为p的人体对象s（简写为网格模型M^sp）。人体参数化模型分解为形态变形子模型和姿态变形子模型两部分，分别为：

a）形态变形子模型Θ：它形式化表示为

，其中，μ表示了平均人体形态，U为人体形态变形空间经主元素分析所求解出的特征向量，θ为刻画个性化对象的线性参数；

b）姿态变形子模型Q：以特定人体对象s为例，权重w_ij表示了第i个顶点上第j个刚性块的权重，

和

为j刚性块相对于标准静态姿态r下顶点v_i ^r的旋转和平移变换。那么，顶点

的线性蒙皮变形可表示为：

，其中

表示：。

1.2 用已经构建的人体库训练该模型，求解出部分参数，包括：人体形态变形空间经主元素分析所求解出的特征向量U与平均人体形态参数μ，姿态变形子模型的线性蒙皮变形中各刚性块的权重w；

1.3 针对需要生成的人体模型，通过输入数据和已经求解出的部分参数，套用构建的人体参数化模型，通过非线性优化方法，求解出目标人体模型。

对于M的第k个三角形(v_k1, v_k2, v_k3)，在形态和姿态变形子模型共同作用下，进行梯度变形，则将M与M^sp注册在一起，注册公式为：

$\underset{v_1,...,v_{\left|V\right|}}{\arg \min }{\mathrm{\Σ}}_k{\mathrm{\Σ}}_{n=\mathrm{2,3}}\left|\right|Q_k^{\mathrm{sp}}{\mathrm{\Θ}}_k^{\mathrm{sp}}\left(\mathrm{\θ}\right)(v_{\mathrm{kn}}-v_{k1})-(v_{\mathrm{kn}}-v_{k1})\left|\right|$

其中，

为

因为根据输入的数据所求解出模型一定符合人体参数化模型的约束，那么，就能够面向输入的数据，生成出合理的人体模型。从某种意义上而言，即通过一个优化过程，在人体参数化模型的约束下，根据输入数据求解合理的人体形态和姿态。

第二步，人体形态离线复原。通过等价主元素分析变换方法，使用身高、体重、性别等三个显著约束，采用深度视频相机构建的静态三维模板，从而，能够离线复原出人体对象s的个性化对象的线性参数θ。复原出目标人体形态。

第三步，人体姿态在线复原。在人体参数化模型的约束下，利用已经求取的形态变形子模型参数和姿态变形子模型的线性蒙皮变形中各刚性块的权重，面向深度视频相机采集的深度视频序列，通过线性变分方法，实时地求取姿态变形子模型的线性蒙皮变形中各刚性块的变换。从而，在线复原出人体的姿态。

所述线性变分方法的线性变分函数描述了复原出三维人体的姿态的如下特征：1）复原出的人体与输入深度数据的拟合程度；2）相邻刚性块在关节连接处的一致性；3）各刚性块自身运动的惯性；4）某些特殊刚性块（包括大腿、小腿、脚、大臂、小臂等块）自身主轴运动方向的稳定性。求解变换t时刻下的旋转矩阵R和平移向量T的具体公式如下：

$\begin{array}{c}\underset{R,T}{\min }{\mathrm{\Σ}}_{i=1}^{\left|V\right|}\{{\left|\right|{\hat{v}}_1^t-{\mathrm{\Σ}}_{j=1}^{\left|B\right|}{w}_{\mathrm{ij}}(R_j^t{v}_i^r+T_j^t)\left|\right|}^2+\\ {\mathrm{\α}}_1{\mathrm{\Σ}}_{j=1}^{\left|B\right|}{\mathrm{\Σ}}_{l=1}^{\left|B\right|}\left({\left|\right|R_j^t{v}_i^r+T_j^t-R_l^t{v}_i^r-T_l^t\left|\right|}^2\right)+\\ {\mathrm{\α}}_2{\mathrm{\Σ}}_{j=1}^{\left|B\right|}{\left|\right|R_j^t-R_{j_{\mathrm{parent}}}^t{R}_{j_{\mathrm{local}}}^t\left|\right|}^2+\\ {\mathrm{\α}}_3{\mathrm{\Σ}}_{j=1}^{\left|B\right|}{\left|\right|R_j^t{d}_j^t-R_{j_{\mathrm{parent}}}^t{d}_j^t\left|\right|}^2\}\end{array}$

其中，α₁、α₂和α₃分别设置为10、5和1。

为深度点云中与变形后顶点

距离最近的顶点。各刚性块自身运动的旋转惯性为

，根据人体刚性块的层次结构，其上一层的父刚性块的旋转变换则为

；那么，基于人体刚性块的旋转传递原理，

与

在理论上应该是相等的。通过观察，我们发现，特殊刚性块具有一个稳定的主轴方向d，在该主轴方向上，该特殊刚性块及其父刚性块的旋转投影也是一致的。

由于该线性变分函数的变量只有各刚性块的变换，故可以实时求解出旋转矩阵R和平移向量T来，从而完成人体姿态的在线复原。

有益效果：本发明公开了一种三维人体形态和姿态的无标记点实时复原方法。与已有方法相比，本发明具有以下优点：1）首次实现了面向深度视频序列的人体形态和姿态的实时复原，有效推动了个性化虚拟人的建模技术；2）该实时计算是通过线性变分方法来实现的，在人体参数化模型中，使用线性蒙皮变形来表示姿态变形子模型，并预先求取了线性蒙皮的权重和人体参数化模型的形态参数，从而保证人体形态的在线复原。

附图说明

图1为本发明的工作流程图；

图2为本发明提出的人体参数化模型的工作原理示意图。

具体实施方式

图1为本发明的工作流程图，如图所示，本发明的具体实施方式包括以下步骤：

第一步：人体参数化模型提取。该模型进一步分解为形态变形子模型和姿态变形子模型两个组成部分。并使用已经构建的人体库训练该模型，求解出部分参数；

1.1构建人体参数化模型，该模型包括人体的形态变形和姿态变形两个部分。形态变形子模型刻画了形态变化带来的多样性，并用主元素分析方法进行化简；姿态变形子模型用线性蒙皮变形表示，分解为人体中|B|（bone,人体刚性部件）个刚性块的变换和权重乘积的求和；

1.2用已经构建的人体库训练该模型，求解出部分参数，包括：形态变形子模型的主元素分析后的特征向量U与平均人体形态参数μ，姿态变形子模型的线性蒙皮变形中各刚性块的权重w；

1.3 针对需要生成的人体模型，通过输入数据和已经求解出的部分参数，套用构建的人体参数化模型，通过非线性优化方法，求解出目标人体模型。

第二步：人体形态离线复原。通过等价主元素分析变换方法，使用身高、体重、性别等三个显著约束，采用深度视频相机构建的静态三维模板，从而，能够离线复原出人体对象s的个性化对象的线性参数θ。复原出目标人体形态。

第三步：人体姿态在线复原。在人体参数化模型的约束下，利用已经求取的形态变形子模型参数和姿态变形子模型的线性蒙皮变形中各刚性块的权重，面向深度视频相机采集的深度视频序列，通过线性变分方法，实时地求取姿态变形子模型的线性蒙皮变形中各刚性块的变换。从而，在线复原出人体的姿态。

Claims (4)

1.三维人体形态和姿态的无标记点实时复原方法，面向单目深度视频相机获取的深度图像序列，借助人体参数化模型，完成人体形态和姿态的实时复原，其特征在于，该方法包括以下步骤：

第一步、人体参数化模型提取，通过分析预先建立的人体库，提出一种人体数据参数的建模模型，即人体参数化模型；

第二步、人体形态离线复原，通过等价主元素分析变换方法，使用身高、体重、性别三个显著约束，采用深度视频相机构建的静态三维模板，离线复原出人体对象s的个性化对象的线性参数θ，复原出目标人体形态；

第三步，人体姿态在线复原，在人体参数化模型的约束下，利用已经求取的形态变形子模型参数和姿态变形子模型的线性蒙皮变形中各刚性块的权重，面向深度视频相机采集的深度视频序列，通过线性变分方法，实时地求取姿态变形子模型的线性蒙皮变形中各刚性块的变换，从而，在线复原出人体的姿态；

所述第一步具体包括：

1.1 构建人体参数化模型，该模型包括人体的形态变形和姿态变形两个部分，形态变形子模型刻画了形态变化带来的多样性，并用主元素分析方法进行化简；姿态变形子模型用线性蒙皮变形表示，分解为人体中人体刚性部件个刚性块的变换和权重乘积的求和；

1.2 用已经构建的人体库训练该模型，求解出参数，包括：人体形态变形空间经主元素分析所求解出的特征向量U与平均人体形态参数μ，姿态变形子模型的线性蒙皮变形中各刚性块的权重w；

1.3 针对需要生成的人体模型，通过输入数据和已经求解出的参数，套用构建的人体参数化模型，通过非线性优化方法，求解出目标人体模型。

2.根据权利要求1所述的三维人体形态和姿态的无标记点实时复原方法，其特征在于，所述的构建人体参数化模型，具体求解如下：

给定三角形模板M，被注册到人体库中姿态为p的人体对象s，简写为网格模型M ^sp ，人体参数化模型分解为形态变形子模型和姿态变形子模型两部分，分别为：

a）形态变形子模型Θ：它形式化表示为                                                

，其中，μ表示了平均人体形态，U为人体形态变形空间经主元素分析所求解出的特征向量，θ为刻画个性化对象的线性参数；

b）姿态变形子模型Q：以特定人体对象s为例，权重w _ij 表示了第i个顶点上第j个刚性块的权重，和

为j刚性块相对于标准静态姿态r下顶点v_i ^r的旋转和平移变换，顶点

的线性蒙皮变形可表示为：

。

3.根据权利要求1所述的三维人体形态和姿态的无标记点实时复原方法，其特征在于，所述线性变分方法的线性变分函数描述了复原出三维人体的姿态的如下特征：1）复原出的人体与输入深度数据的拟合程度；2）相邻刚性块在关节连接处的一致性；3）各刚性块自身运动的惯性；4）特殊刚性块，包括大腿、小腿、脚、大臂、小臂块，自身主轴运动方向的稳定性。

4.根据权利要求1所述的三维人体形态和姿态的无标记点实时复原方法，其特征在于，所述人体姿态在线复原，具体计算过程为：求解变换t时刻下的旋转矩阵R和平移向量T的具体公式如下：

其中，

、

和分别设置为10、5和1，

为深度点云中与变形后顶点

距离最近的顶点，各刚性块自身运动的旋转惯性为

，根据人体刚性块的层次结构，其上一层的父刚性块的旋转变换则为

；基于人体刚性块的旋转传递原理，

与在理论上是相等的，特殊刚性块具有一个稳定的主轴方向d，在该主轴方向上，该特殊刚性块及其父刚性块的旋转投影也是一致的，线性变分函数的变量只有各刚性块的变换，实时求解出旋转矩阵R和平移向量T，从而完成人体姿态的在线复原。

Images