CN101794457B - 基于样例的区分式三维运动恢复方法 - Google Patents

Abstract

本发明公开了一种基于样例的区分式三维运动恢复的方法。本方法利用对人体轮廓提取特征表达，在包含有已知三维姿态的人体轮廓特征的样例数据库中，查找最接近的轮廓特征，将其对应的多个候选三维姿态返回，经过姿态序列优化处理，返回每帧的最终姿态，将最终姿态相连接，就恢复出人体三维运动。在实施本方法的过程中，使用占位图轮廓特征来描述轮廓。对每个轮廓，从数据库中返回k个检索结果，作为候选姿态。使用动态规划和反向回溯算法，来寻找一条最佳的三维姿态路径。将当前时刻的最佳姿态与Δt时间内所显示过的最佳姿态进行加权平均，得到最终的三维姿态。方法稳定快速，易于实现，能够实时恢复得到人体三维运动，结果准确自然，获得很好的效果。

Description

基于样例的区分式三维运动恢复方法

技术领域

本发明涉及视频与图像处理领域，尤其涉及一种基于样例的区分式三维运动恢复方法。

背景技术

区分式方法直接通过一些用于训练的已知真实姿态的图像样本学习得到从图像特征空间到三维姿态空间的映射。这个映射可能是一个基于例子的数据库，也可能是一个函数回归。在2000年R.Rosales和S.Sclaroff发表于CVPR的论文《Inferring body pose without tracking body parts》和2006年A.Agarwal等人发表在IEEE Transaction Pattern Analysis的论文《Recovering 3d human pose frommonocular images》中，提到基于函数回归的方法，通过训练数据学习到一个从图像特征空间到三维姿态空间的函数映射，并以此来计算新的图像特征所对应的三维姿态。基于样例数据库的方法和本章内容直接相关，其通过在数据库中检索图像特征来对每帧寻找可能的三维姿态，并通过时序上的连续性等约束保证恢复出的姿态序列的连续性和平滑性。例如，Ren等人2005年在ACMTransaction Graph发表的《Learning silhouette features for control of human motion》中使用三个相机从不同视角进行拍摄单人舞者的舞蹈图像，特征向量在先验数据库中进行搜索，确定身体的朝向和三维姿态，并且利用一个事先设定好的双人舞蹈的动作耦合，获得舞伴的舞蹈姿态，再将舞者和舞伴的运动都渲染出来。R.Poppe在CVPR2007年发表的《Evaluating example-based pose estimation：Experiments on the humaneva sets》则从图像中人体的梯度直方图特征(Histogramof Gradients)恢复三维姿态。Howe在2007发表在Image Vision Compute的《Silhouette lookup for monocular 3d pose tracking》，使用轮廓边缘的切线角度序列以及Hausdorff距离进行轮廓检索，并使用马尔科夫链模型来保证运动在时序上的连续性。

区分式方法的优点是计算速度很快，但准确度往往不及生成式方法。因此区分式方法特别适合用于人机交互等追求速度而对准确率要求不很高的应用中。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于样例的区分式三维运动恢复方法。

基于样例的区分式三维运动恢复的方法包括如下步骤：

1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓，将轮廓所占的最小矩形包围盒区域，水平和垂直划分成若干方格，统计在每个独立方格中前景像素所占的比例，依次连接起来构成特征向量，作为人体轮廓特征；

2)利用每帧获得的人体轮廓特征，与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较，计算两者间的欧式距离，即根方差，求得欧式距离最小的k个，得到k个最接近的人体轮廓特征，根据人体轮廓特征查找样例数据库，最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态，作为k个候选姿态；

3)对每帧t的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重，b_ti是回溯指针；

4)计算h_T＝arg min_iω_Ti，然后从t＝T-1到t＝1，反向回溯计算h_t＝b_t，ht，确定从t＝1到t＝T的最佳路径h₁，h₂，...，h_T，其中h_i表示第i帧的候选姿态中被选中为最终姿态的序号，得到全局最优的三维姿态序列其中

为第t帧的第h_i个候选姿态；

5)将得到的当前T时刻的全局最优的三维姿态和前Δt时间内所显示过的最佳姿态进行加权平均，得到最终的三维姿态

从而实现基于样例的区分式三维运动恢复。

所述的一种基于样例的区分式三维运动恢复的方法，其特征在于，所述的对每帧t的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重值，b_ti是回溯指针步骤包括：对每帧t的第i个候选姿态保存两个变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重，b_ti是回溯指针，算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径，确定每个节点的ω_ti和b_ti值的计算公式如下：

b_ti＝arg min_l(ω_t-1，l+||p_t-1，l-p_ti||)                               1

${\mathrm{\ω}}_{\mathrm{ti}}=({\mathrm{\ω}}_{t-1,b_{\mathrm{ti}}}+||p_{t-1,b_{\mathrm{ti}}}-p_{\mathrm{ti}}|\left|\right)---2$

其中，ω_t-1，l表示终点为p_t-1，l的所有可能路径中，总权重最小的路径的总权重值。

对每帧t的k个候选姿态都执行上面这一操作，确定每个候选姿态的ω_ti和b_ti。

本发明与现有技术相比具有的有益效果是，算法稳定，运算快速，易于实现，能够做到实时恢复得到人体三维运动，结果准确自然。

附图说明

图1是动态规划算法对历史路径的改变；

图2是实施例一所得到的一段三维运动姿态恢复结果。

具体实施方式

基于样例的区分式三维运动恢复的方法包括如下步骤：

1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓，将轮廓所占的最小矩形包围盒区域，水平和垂直划分成若干方格，统计在每个独立方格中前景像素所占的比例，依次连接起来构成特征向量，作为人体轮廓特征；

2)利用每帧获得的人体轮廓特征，与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较，计算两者间的欧式距离，即根方差，求得欧式距离最小的k个，得到k个最接近的人体轮廓特征，根据人体轮廓特征查找样例数据库，最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态，作为k个候选姿态；

3)对每帧t的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重，b_ti是回溯指针；

4)计算h_T＝arg min_iω_Ti，然后从t＝T-1到t＝1，反向回溯计算h_t＝b_t，ht，确定从t＝1到t＝T的最佳路径h₁，h₂，...，h_T，其中h_i表示第i帧的候选姿态中被选中为最终姿态的序号，得到全局最优的三维姿态序列

其中

为第t帧的第h_i个候选姿态；

5)将得到的当前T时刻的全局最优的三维姿态和前Δt时间内所显示过的最佳姿态进行加权平均，得到最终的三维姿态

从而实现基于样例的区分式三维运动恢复。

2.根据权利要求1所述的一种基于样例的区分式三维运动恢复的方法，其特征在于，所述的对每帧t的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重值，b_ti是回溯指针步骤包括：对每帧t的第i个候选姿态保存两个变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重，b_ti是回溯指针，算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径，确定每个节点的ω_ti和b_ti值的计算公式如下：

b_ti＝arg min_l(ω_t-1，l+||p_t-1，l-p_ti||)                        1

${\mathrm{\ω}}_{\mathrm{ti}}=({\mathrm{\ω}}_{t-1,b_{\mathrm{ti}}}+||p_{t-1,b_{\mathrm{ti}}}-p_{\mathrm{ti}}|\left|\right)---2$

其中，ω_t-1，l表示终点为p_t-1，l的所有可能路径中，总权重最小的路径的总权重值。

对每帧t的k个候选姿态都执行上面这一操作，确定每个候选姿态的ω_ti和b_ti。

实施例1

要对一段真实人体运动视频恢复三维运动。如图2所示为人体运动视频中的几个代表帧与姿态恢复结果对应图。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下：

1.视频捕捉场景布置

在室内，布置一个蓝幕背景，使用2个摄像头，其中一个在运动人物的正前面与人等高水平方向，另外一个在侧面大约45度角与人等高位置，调整摄像头姿态，使得人体在捕获区域中。

2.场景背景建模

先连续拍摄100帧纯视频捕获场景图像B_i，计算

平均背景图像B，作为场景的背景模型。

3.视频序列轮廓提取

对从摄像头中获取到的视频图像序列每一帧I，计算前景图像F＝I-B，然后经过形态学处理，去除噪声，得到比较好的前景人体轮廓。

4.利用占位图轮廓特征来描述视频帧提取到的人体轮廓

将前景人体轮廓所占的最小矩形包围盒区域，水平和垂直划分成12×8的小方格，统计在每个独立方格中前景像素所占的比例，最后将这些比例值，依次连接起来构成特征向量，作为人体轮廓特征。

5.候选姿态查找

在数据库中存储了三维姿态实验动作类型，包括上肢伸展、打拳、踢腿、游泳(蛙泳、自由泳、仰泳、碟泳4种泳姿)，以及三维姿态对应图像的人体轮廓特征。利用每帧获得的轮廓特征，计算与数据库中存在的人体轮廓特征的欧式距离，从数据库中查找最接近的轮廓特征(即距离最小的轮廓特征)，返回k个最接近的轮廓特征所对应的三维姿态，作为候选姿态，其中k取8。

6.姿态序列优化

对每帧t的k个候选姿态，利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_ti和b_ti，其中ω_ti是终点为p_ti的所有可能路径中总权重最小的路径的总权重，b_ti是回溯指针。计算公式如下所示：

b_ti＝arg min_l(ω_t-1，l+||p_t-1，l-p_ti||)                              1

${\mathrm{\ω}}_{\mathrm{ti}}=({\mathrm{\ω}}_{t-1,b_{\mathrm{ti}}}+||p_{t-1,b_{\mathrm{ti}}}-p_{\mathrm{ti}}|\left|\right)---2$

通过反向回溯确定从t＝1(开始时刻)到t＝T(当前)的最佳路径h₁，h₂，...，h_T(其中h_i表示第i帧的候选姿态中被选中为最终姿态的序号)，从而得到

(其中p_ti为第t帧的第i个候选姿态)就是全局最优的三维姿态序列。

7.动态规划算法的实时性和平滑性处理

将得到的当前T时刻的全局最优的三维姿态和前Δt(取Δt＝1)时间内所显示过的最佳姿态进行加权平均，使姿态序列的显示达到平滑自然，得到最终的三维姿态

并将

实时显示出来，从而实现实时地基于样例的区分式三维运动恢复。

Claims (2)

1.一种基于样例的区分式三维运动恢复的方法，其特征在于包括如下步骤：

1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓，将轮廓所占的最小矩形包围盒区域，水平和垂直划分成若干方格，统计在每个独立方格中前景像素所占的比例，依次连接起来构成特征向量，作为人体轮廓特征；

2)利用每帧获得的人体轮廓特征，与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较，计算两者间的欧式距离，即根方差，求得欧式距离最小的k个，得到个最接近的人体轮廓特征，根据人体轮廓特征查找样例数据库，最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态，作为k个候选姿态；

3)对t时刻的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_t，i和b_t，i，其中ω_t，i是终点为p_t，i的所有可能路径中总权重最小的路径的总权重，b_t，i是回溯指针；

4)计算然后从t＝T-1到t＝1，反向回溯计算h_t＝b_t，ht，确定从t＝1到t＝T的最佳路径h₁，h₂，...，h_T，其中h_i表示第i帧的候选姿态中被选中为最终姿态的序号，得到全局最优的三维姿态序列

其中

为第t帧的第h_i个候选姿态；

5)将得到的当前T时刻的全局最优的三维姿态和前Δt时间内所显示过的最佳姿态进行加权平均，得到最终的三维姿态

从而实现基于样例的区分式三维运动恢复。

2.根据权利要求1所述的一种基于样例的区分式三维运动恢复的方法，其特征在于，所述的对每帧t的k个候选姿态，分别利用动态规划算法，进行前向搜索，计算确定对第i个候选姿态的变量ω_t，i和b_t，i，其中ω_t，i是终点为p_t，i的所有可能路径中总权重最小的路径的总权重值，b_t，i是对应的回溯指针，步骤包括：对每帧t的第i个候选姿态保存两个变量ω_t，i和b_t，i，算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径，确定每个节点的ω_t，i和b_t，i值的计算公式如下：

b_t，i＝argmin_l(ω_t-1，l+||p_t-1，l-p_t，i ||)                        (1)

${\mathrm{\ω}}_{t,i}=({\mathrm{\ω}}_{t-1,b_{t,i}}+||p_{t-1,b_{t,i}}-p_{t,i}|\left|\right)---\left(2\right)$

其中，ω_t-1，l表示终点为p_t-1，l的所有可能路径中，总权重最小的路径的总权重值，对每帧t的k个候选姿态都执行上面这一操作，确定每个候选姿态的ω_t，i和b_t，i。

Images