CN103020984B - 基于稀疏表达的三维人体运动数据补全方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表达的三维人体运动数据补全方法。本方法基于任意一个三维人体姿态在过完备样本字典中其重建表达系数都具有稀疏性的特点，首先利用采集到的包含各种运动类型的完整三维人体姿态构建一个过完备样本字典；接着按照不完整三维人体姿态中已知标记点集与缺失标记点集，将划分已知部分姿态和缺失部分姿态，划分为和；然后，计算已知标记点集所对应的已知部分姿态在对应的已知部分过完备样本字典下的稀疏表达系数；最后，根据计算得到的和已知的计算缺失部分姿态

Description

基于稀疏表达的三维人体运动数据补全方法

技术领域

本发明涉及数据补全，稀疏表达，尤其涉及基于稀疏表达的三维人体运动数据补全方法。

背景技术

三维人体运动数据被广泛应用到影视娱乐，电视广告，计算机游戏等领域，带来巨大的经济效益。然而，即使是目前商用的三维人体运动捕获设备，由于受到表演者人体肢体自遮挡、服饰的遮挡等原因，常常会出现人体部分标记点缺失的现象。为了解决这个问题，近年来各个各样的三维人体运动数据补全算法被提出，这些方法大致可以划分为如下几类：

1）插值法

利用线性或样条插值函数，对三维人体运动数据曲线进行插值。这种方法的特点是简单快速，适合短时间的运动缺失，对超过0.5秒以上的运动缺失无法进行准确的补全。

2）模型驱动法

Herda等人提出通过对人体骨架跟踪的方法，利用时序关系和运动力学来预测缺失的运动数据，Van在此基础上提出了一个全自动的人体骨架跟踪和骨架系统。

3）数据库驱动的方法

这类方法是通过对数据库中现有的三维人体姿态进行检索和内在时刻关系挖掘，来对缺失的数据进行预测或过滤。例如，Chai J.X.和Hodgins J.K.提出在数据库支持的基础上，利用少量人体标记点来估计完整的人体姿态。Liu H.等人提出基于样例的三维人体运动数据去噪，并将其应用到三维人体运动数据的补全。

4）隐变量法

这类方法是利用离散隐状态对人体运行姿态进行建模，学习非线性二值表达。

5）线性动态系统法

这类方法的典型是利用卡尔曼滤波的方法，将人体姿态变迁过程用线性或非线性的动态系统进行建模，利用构建的模型对缺失的数据进行预测。

本文所提出的方法与上面提到的传统方法不同，本方法从数据表达的角度来看待运动数据补全这个问题，将其转换为求解最优稀疏表达系数问题。稀疏表达的核心是基于数据存在稀疏性表达的前提，通过求解l₁范数约束的最优化问题，来计算得到该稀疏表达系数。Wright和马毅等人将稀疏表达应用到人脸识别中，取得了令人瞩目的成功。目前，稀疏表达已经被扩展应用到图像识别、标注、检索，图像去噪和压缩，音频数据识别等领域。受这些相关研究的启发，本文将该算法首次应用到三维人体运动数据补全应用中，利用姿态的稀疏表达特征，从而实现对缺失数据的补全。

发明内容

本发明的目的是克服现有技术的不足，提供基于稀疏表达的三维人体运动数据补全方法。基于稀疏表达的三维人体运动数据补全方法于包括如下步骤：

1)利用采集得到的包含各种运动类型的完整的三维人体姿态，以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达，构建一个过完备样本字典Φ=[f₁,f₂,...,f_N]∈R^3k×N,N》3k，其中f_i∈R^3k为第i个完整的三维人体姿态，k为人体姿态中所包含的标记点数目，N为该样本字典中所包含的姿态数目；

2)对不完整的三维人体姿态f_i，按照已知标记点集和缺失标记点集划分为已知部分姿态f_io和缺失部分姿态f_im，同样，对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φ_o和缺失部分过完备样本字典Φ_m；

3)计算已知标记点集所对应的已知部分姿态f_io在对应的已知部分过完备样本字典Φ_o下的稀疏表达系数，计算公式如下：

$\underset{x}{\min }{\left|\right|{\mathrm{\Φ}}_{o}x-f_{\mathrm{io}}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x\left|\right|}_1---1$

其中，x为稀疏表达系数，λ是稀疏正则化参数，||·||₁为矩阵和向量的l₁范数；

4)根据得到的稀疏表达系数x^*=x，对不完整三维人体运动数据中缺失部分姿态f_im进行预测补全，计算公式如下：

f_im=Φ_mx^*            2

从而实现对不完整三维人体运动数据的补全。

本发明与现有技术相比具有的有益效果是，算法稳定，运算快速，易于实现，能够快速准确地进行三维人体运动数据补全。

附图说明

图1是人体姿态在由800个三维人体姿态构成的过完备样本字典下的表达系数；

图2是本发明在具有重复性运动人体数据测试下，不同过完备样本字典大小情况下，方法性能对比；

图3是本发明在具有重复性运动人体数据测试下，不同缺失帧长度情况下，方法性能对比；

图4是本发明在具有重复性运动人体数据测试下，不同缺失标记点数目情况下，方法性能对比；

图5是本发明在复杂运动人体数据测试下，不同过完备样本字典大小情况下，方法性能对比；

图6是本发明在复杂运动人体数据测试下，不同不同缺失帧长度情况下，方法性能对比；

图7是本发明在复杂运动人体数据测试下，不同缺失标记点数目情况下，方法性能对比。

具体实施方式

基于稀疏表达的三维人体运动数据补全方法于包括如下步骤：

1)利用采集得到的包含各种运动类型的完整的三维人体姿态，以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达，构建一个过完备样本字典Φ=[f₁,f₂,...,f_N]∈R^3k×N,N》3k，其中f_i∈R^3k为第i个完整的三维人体姿态，k为人体姿态中所包含的标记点数目，N为该样本字典中所包含的姿态数目；

2)对不完整的三维人体姿态f_i，按照已知标记点集和缺失标记点集划分为已知部分姿态f_io和缺失部分姿态f_im，同样，对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φ_o和缺失部分过完备样本字典Φ_m；

3)计算已知标记点集所对应的已知部分姿态f_io在对应的已知部分过完备样本字典Φ_o下的稀疏表达系数，计算公式如下：

$\underset{x}{\min }{\left|\right|{\mathrm{\Φ}}_{o}x-f_{\mathrm{io}}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x\left|\right|}_1---1$

其中，x为稀疏表达系数，λ是稀疏正则化参数，||·||₁为矩阵和向量的l₁范数；

4)根据得到的稀疏表达系数x^*=x，对不完整三维人体运动数据中缺失部分姿态f_im进行预测补全，计算公式如下：

f_im=Φ_mx^*            2

从而实现对不完整三维人体运动数据的补全。

实施例1

要对具有重复性运动的三维人体运行数据和不具有重复性运动的复杂的三维人体运动数据进行数据补全。如图1所示为一个三维人体姿态在由800个三维人体姿态构成的过完备样本字典下的稀疏表达系数，图2、图3和图4是本算法在具有重复性运动人体数据测试下，不同大小样本字典、不同缺失帧长度和不同缺失标记点下的性能对比；图5、图6和图7是本算法在复杂运动人体数据测试下，不同大小样本字典、不同缺失帧长度和不同缺失标记点下的性能对比结果。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下：

1）使用CMU大学提供的三维人体运动数据，先进行数据预处理，将所有数据从BVH格式转化为TRC格式，同时对每个姿态进行旋转和平移变换，统一所有姿态的朝向和消除平移旋转因素的影响。

2）将预处理后所得到的三维人体姿态划分为训练集与测试集，对测试集中的三维人体姿态随机生成缺失数据，作为不完整的三维人体姿态输入，而将训练集中数据构成过完备样本字典。

3）采用l1-ls求解器计算求解稀疏表达公式（1），实施实例中，我们设置稀疏正则项参数λ为0.1，不完整姿态中可见部分标记点的稀疏表达系数。如图1所示的是一个人体姿态在由800个三维人体姿态构成的过完备样本字典中的表达系数。从图1可见该表达具有稀疏性，符合算法的假设。

4）利用上面求解得到的稀疏表达系数，利用公式（2）计算缺失标记点信息，从而实现对不完整三维人体姿态的补全。

5）选择具有重复性运动的姿态序列，分别构造长度为300,600,900,1200,1500和1800的不同长度的训练集，设置缺失帧长度从30到300帧不同长度，以及缺失标记点数从5到30个，分别测试算法在这几个因素下的性能变化情况。测试结果如图2、图3和图4所示。

6）同上面步骤（5），选择不具有重复性运行的复杂的姿态序列，按照同样的方式，测试在不同训练数据集大小，不同缺失帧长度和不同缺失标记点数的情况下，算法的性能变化情况。测试结果如图5、图6和图7所示。

Claims (1)

1.一种基于稀疏表达的三维人体运动数据补全方法，其特征在于包括如下步骤：

1)利用采集得到的包含各种运动类型的完整的三维人体姿态，以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达，构建一个过完备样本字典Φ=[f₁,f₂,...,f_N]∈R^3k×N,N》3k，其中f_i∈R^3k为第i个完整的三维人体姿态，k为人体姿态中所包含的标记点数目，N为该样本字典中所包含的姿态数目；

2)对不完整的三维人体姿态f_i，按照已知标记点集和缺失标记点集划分为已知部分姿态f_io和缺失部分姿态f_im，同样，对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φ_o和缺失部分过完备样本字典Φ_m；

3)计算已知标记点集所对应的已知部分姿态f_io在对应的已知部分过完备样本字典Φ_o下的稀疏表达系数，计算公式如下：

$\underset{x}{\min }{\left|\right|{\mathrm{\Φ}}_{o}x-f_{\mathrm{io}}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x\left|\right|}_1---1$

其中，x为稀疏表达系数，λ是稀疏正则化参数，||·||₁为矩阵和向量的l₁范数；

4)根据得到的稀疏表达系数x^*=x，对不完整三维人体运动数据中缺失部分姿态f_im进行预测补全，计算公式如下：

f_im=Φ_mx^*            2

从而实现对不完整三维人体运动数据的补全。