CN103578120B - 保持时序平稳与低秩结构特性的三维人体运动数据补全方法 - Google Patents

Abstract

本发明公开一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法。该方法基于三维人体运动具有保持时序平稳的特性和三维人体运动数据具有的低秩结构特性，首先，将一段待补全的三维人体运动序列表示成三维运动数据矩阵形式；接着，根据该运动数据矩阵设置相应的二值掩码矩阵和平滑约束矩阵；然后，采用增广拉格朗日数乘方法优化求解一个保存时序平稳与低秩结构特性的鲁棒低秩矩阵填充数学模型；最后，依据优化结果对原三维人体运动数据进行补全，从而实现对不完整的三维人体运动数据的补全。该方法可以再不需要数据库支持下，快速地实现对单段三维人体运动序列的快速补全，与此同时，对噪声具有一定的抵抗能力。

Description

保持时序平稳与低秩结构特性的三维人体运动数据补全方法

技术领域

本发明涉及三维人体运动数据补全、低秩矩阵填充，尤其涉及一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法。

背景技术

三维人体运动数据获取与生成技术能够直接应用于虚拟现实、三维角色动画制作、人机交互、人体运动仿真、体育训练分析、医疗运动康复等领域，能够为上述领域的研究与应用提供精确、真实的三维人体运动数据支持，具有重要的研究与应用价值。

然而，即使是目前商用的三维人体运动捕获设备，由于受到表演者人体肢体自遮挡、服饰的遮挡等原因，常常会出现人体部分标记点缺失的现象。为了解决这个问题，近年来各种各样的三维人体运动数据补全方法被提出。

最常用的插值法是利用线性或样条插值函数，对三维人体运动数据曲线进行插值。这种方法的特点是简单快速，适合短时间的运动缺失，对超过0.5秒以上的运动缺失无法进行准确的补全。

以卡尔曼滤波为代表的线性动态系统法，将人体姿态变迁过程用线性或非线性的动态系统进行建模，利用构建的模型对缺失的数据进行预测。

近年来，随着三维运动捕获设备的普及，各种三维数据越来越容易获得，采用数据库驱动的方法变得流行。这类方法是通过对数据库中现有的三维人体姿态进行检索和内在时刻关系挖掘，来对缺失的数据进行预测或过滤。例如，ChaiJ.X.和HodginsJ.K.提出在数据库支持的基础上，利用少量人体标记点来估计完整的人体姿态。LiuH.等人提出基于样例的三维人体运动数据去噪，并将其应用到三维人体运动数据的补全。

虽然目前采用数据库驱动的方法在三维人体运动数据补全上，性能是非常好的，但是由于这类方法无法生成数据库中没有出现过的运动类型，缺乏数据自适应学习能力，因此还是存在一定的局限性。为了克服这个问题，Lai等人将传统的三维人体运动数据处理问题转换为一种低秩矩阵填充问题，实现了在不需要数据库支持的情况下，进行三维人体运动数据的补全和去噪功能。在Lai等人的工作中，只考虑到了三维人体运动数据的低秩结构特性，同时他们的模型采用的是SVT方法进行优化求解，速度上存在一定的不足。

在已有的低秩矩阵优化问题求解方法中，除了Lai等人所使用的SVT方法，目前还有包括AcceleratedProximalGradient(APG)和AugmentedLagrangeMultiplier(ALM)等方法。在林等人的论文《TheaugmentedLagrangemultipliermethodforexactrecoveryofcorruptedlow‐rankmatrices》中，对不同的优化求解方法进行了详细的对比分析，发现ALM方法无论是在速度还是性能上都较其他方法更好。

与前面所提的方法不同，本方法不仅将三维人体运动数据所具有的低秩结构特性考虑进来，同时还将三维人体运动所具有的时序平滑性约束考虑进来，通过同时引入低秩约束与时序平稳性约束，将传统的三维人体运动数据补全问题转为优化求解一个保存时序平稳与低秩结构特性的鲁棒低秩矩阵填充数学模型。与Lai的方法不同，本方法采用增广拉格朗日数乘方法（ALM）进行优化求解，运算速度比Lai的方法要更加快，同时运算结果更加稳定鲁棒。

发明内容

本发明的目的是克服现有技术的不足，提供一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法。

一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法包括如下步骤：

1)从公共的三维人体运动数据集CMU人体运动数据集中选择出4段人体运动数据，包括走，跳，舞蹈和太极，或者通过动作捕获系统进行捕获人体运动数据，包括走，跑和跳，得到待补全的三维人体运动数据；

2)将待补全的三维人体运动序列表示成三维运动数据矩阵X：X＝[f₁,f₂,...,f_n]∈R^3k×n，其中，f_i表示第i个人体姿态所有关节点三维坐标构成的姿态特征向量f_i＝[x_i1,y_i1,z_i1,...,x_ik,y_ik,z_ik]^T，x_ij是第i个人体姿态中第j个关键点的x坐标值，y_ij是第i个人体姿态中第j个关键点的y坐标值，z_ij是第i个人体姿态中第j个关键点的z坐标值，k是一个人体姿态包含的关节点数，n是整段待补全人体运动序列中人体姿态的个数；

3)根据待补全的三维运动数据矩阵X中数据项是否已经观测到，设置二值掩码矩阵Ω，规则如下：

4)根据待补全的三维运动数据矩阵X的矩阵规模，生成具有相同行数的平滑约束矩阵O：

5)采用增量拉格朗日乘数法，优化求解如下一个保存时序平稳与低秩结构特性的目标函数：

其中，||·||_*是矩阵的核范数，||·||₁是矩阵的l₁范数，是平方的Frobenius范数，Y是期望补全后的纯净的三维运动数据矩阵，E是原三维运动数据矩阵中包含的噪声，α和β是正则化系数参数；

6)根据目标函数3优化求解得到的Y，若只对X中缺失的数据项部分进行补全，则补全规则如下：

若不仅需要对X中缺失的数据项部分进行补全，同时过滤掉在X中所包含的可能噪声数据，则补全规则如下：

$\tilde{X}=Y---5$

其中，是最终返回的补全后的完整三维人体运动数据矩阵，从而实现对不完整三维人体运动数据的补全。

本发明与现有技术相比具有的有益效果是，该方法可以再不需要数据库支持下，快速地实现对单段三维人体运动序列的快速补全，与此同时，对噪声具有一定的抵抗能力。

附图说明

图1是本发明在随机缺失情况下，不同方法在走人体运动数据补全性能对比；

图2是本发明在随机缺失情况下，不同方法在跳人体运动数据补全性能对比；

图3是本发明在随机缺失情况下，不同方法在舞蹈人体运动数据补全性能对比；

图4是本发明在随机缺失情况下，不同方法在太极人体运动数据补全性能对比；

图5是本发明在规则缺失情况下，不同方法在走人体运动数据补全性能对比；

图6是本发明在规则缺失情况下，不同方法在跳人体运动数据补全性能对比；

图7是本发明在规则缺失情况下，不同方法在舞蹈人体运动数据补全性能对比；

图8是本发明在规则缺失情况下，不同方法在太极人体运动数据补全性能对比；

图9不同方法在采集到的走序列上的关键帧补全结果比较；

图10不同方法在采集到的跑序列上的关键帧补全结果比较；

图11不同方法在采集到的跳序列上的关键帧补全结果比较。

具体实施方式

一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法包括如下步骤：

1)从公共的三维人体运动数据集CMU人体运动数据集中选择出4段人体运动数据，包括走，跳，舞蹈和太极，或者通过动作捕获系统进行捕获人体运动数据，包括走，跑和跳，得到待补全的三维人体运动数据；

2)将待补全的三维人体运动序列表示成三维运动数据矩阵X：X＝[f₁,f₂,...,f_n]∈R^3k×n，其中，f_i表示第i个人体姿态所有关节点三维坐标构成的姿态特征向量f_i＝[x_i1,y_i1,z_i1,...,x_ik,y_ik,z_ik]^T，xi_j是第i个人体姿态中第j个关键点的x坐标值，yi_j是第i个人体姿态中第j个关键点的y坐标值，zi_j是第i个人体姿态中第j个关键点的z坐标值，k是一个人体姿态包含的关节点数，n是整段待补全人体运动序列中人体姿态的个数；

3)根据待补全的三维运动数据矩阵X中数据项是否已经观测到，设置二值掩码矩阵Ω，规则如下：

4)根据待补全的三维运动数据矩阵X的矩阵规模，生成具有相同行数的平滑约束矩阵O：

5)采用增量拉格朗日乘数法，优化求解如下一个保存时序平稳与低秩结构特性的目标函数：

其中，||·||_*是矩阵的核范数，||·||₁是矩阵的l₁范数，是平方的Frobenius范数，Y是期望补全后的纯净的三维运动数据矩阵，E是原三维运动数据矩阵中包含的噪声，α和β是正则化系数参数；

6)根据目标函数3优化求解得到的Y，若只对X中缺失的数据项部分进行补全，则补全规则如下：

若不仅需要对X中缺失的数据项部分进行补全，同时过滤掉在X中所包含的可能噪声数据，则补全规则如下：

$\tilde{X}=Y---5$

其中，是最终返回的补全后的完整三维人体运动数据矩阵，从而实现对不完整三维人体运动数据的补全。

实施例1

从公共的三维人体运动数据集CMU人体运动数据集中选择出4段人体运动，包括走，跳，舞蹈和太极。由于CMU数据集中的数据绝大部分是比较纯净和完整的运动序列，因此，我们模拟现实噪声情况，生成两种不同的缺失数据：

a）随机缺失数据，采用随机丢失40%数据项的方式生成；

b）规则缺失数据，规则化地丢失30%的数据，每次丢失持续60帧，包含10个不同的标记点。

将本专利所提出的方法与现有的其他三维人体运动数据补全方法：线性插值方法（Linear），样条插值方法（Spline），线性动态系统方法(Dynammo)和Lai等人所提的低秩方法（SVT），进行对比。采用根平均方差作为度量，比较不同方法的补全效果。

对于本发明方法中参数α＝1，β＝100，不同方法在各个运动类型上的对比结果分别显示在图1～8中。对比结果中使用均方根误差（RMSE）作为评判补全结果的方法，当均方根误差值较小时，表明补全结果更加趋于真实数据，性能更好。本发明方法不仅拥有较小的均方根误差值，同时对于所有帧数的均方根误差值的方差也比较小，这表明了本发明方法处理的结果非常稳定。

实施例2

采用魔神公司的MotionAnalysisEagle‐4数字实时捕获系统，采集包含三段包含走(walk)，跑(run)和跳(jump)的人体运动序列，总计3178帧。参数设置同上一实例，不同方法的对比结果，以关键帧的形式，分别显示在图9～11。结果表明，与待补全的三维运动数据相比时，本发明方法的输出结果能够正确补全数据，并且即使在处理长时间的缺失点时，补全结果依然正确，不会出现方法失效的情况。

Claims (1)

1.一种保持时序平稳与低秩结构特性的三维人体运动数据补全方法，其特征在于包括如下步骤：

1)从公共的三维人体运动数据集CMU人体运动数据集中选择出4段人体运动数据，包括走，跳，舞蹈和太极，或者通过动作捕获系统进行捕获人体运动数据，包括走，跑和跳，得到待补全的三维人体运动数据；

2)将待补全的三维人体运动序列表示成三维运动数据矩阵X：X＝[f₁,f₂,...,f_n]∈R^3k×n，其中，f_i表示第i个人体姿态所有关节点三维坐标构成的姿态特征向量f_i＝[x_i1,y_i1,z_i1,...,x_ik,y_ik,z_ik]^T，x_ij是第i个人体姿态中第j个关键点的x坐标值，y_ij是第i个人体姿态中第j个关键点的y坐标值，z_ij是第i个人体姿态中第j个关键点的z坐标值，k是一个人体姿态包含的关节点数，n是整段待补全人体运动序列中人体姿态的个数；

3)根据待补全的三维运动数据矩阵X中数据项是否已经观测到，设置二值掩码矩阵Ω，规则如下：

4)根据待补全的三维运动数据矩阵X的矩阵规模，生成具有相同行数的平滑约束矩阵O：

5)采用增量拉格朗日乘数法，优化求解如下一个保存时序平稳与低秩结构特性的目标函数：

其中，||·||_*是矩阵的核范数，||·||₁是矩阵的l₁范数，是平方的Frobenius范数，Y是期望补全后的纯净的三维运动数据矩阵，E是原三维运动数据矩阵中包含的噪声，α和β是正则化系数参数；

6)根据目标函数3优化求解得到的Y，若只对X中缺失的数据项部分进行补全，则补全规则如下：

若不仅需要对X中缺失的数据项部分进行补全，同时过滤掉在X中所包含的可能噪声数据，则补全规则如下：

$\tilde{X}=Y---5$

其中，是最终返回的补全后的完整三维人体运动数据矩阵，从而实现对不完整三维人体运动数据的补全。