CN102819849A - 基于外观约束双阶段优化的人体上半身三维运动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于外观约束双阶段优化的单目视频人体上半身三维运动跟踪方法。该方法首先根据肢体纹理不变性约束在透视成像模型下建立姿态求解的目标函数，然后由双阶段约束迭代优化求得全局姿态，其它关节的姿态先根据上半身肢体模型深度遍历由纹理不变约束建立目标函数，然后采用Lucas-Kanade光流法优化求得。本发明使用方法简单，跟踪到的人体上半身姿态精确，能够广泛应用于人机交互、互动娱乐、智能监控、医疗诊断等领域。

Description

基于外观约束双阶段优化的人体上半身三维运动跟踪方法

【技术领域】

本发明涉及计算机视觉和视频处理领域，特别涉及基于单目视频的人体上半身三维运动姿态跟踪方法。

【背景技术】

基于视频的人体运动跟踪能够广泛应用于人机交互、互动娱乐、智能监控等多个领域。相比较于双目或多目视频跟踪而言，单目视频下的人体三维运动跟踪由于只需一个摄像头就可以进行运动姿态捕获，因而使用更加方便、成本更加低廉。

目前，常用的单目视频下的人体三维运动跟踪主要采用基于学习的方法。该方法存在以下缺点：1)采用统计学习需要大量的训练样本，而且恢复的人体姿态不确定性较大。2)统计学习跟踪的效果完全依赖于训练样本，由于人体运动的不确定性，因而由某种样本集训练出来的算法难以适用于所有的人体运动，算法不能泛化。

【发明内容】

鉴于此，本发明的目的在于提供一种实时高效的人体上半身三维运动跟踪方法。本方法根据肢体外观不变性约束建立目标函数，采用双阶段优化算法对该目标函数优化，求得人体上半身三维运动姿态。

为达到上述目的，本发明采用以下技术方案：

1、在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型。

2、在肢体纹理不变约束基础上，根据透视投影模型建立人体三维运动姿态提取的目标函数。

3、建立目标函数的双阶段优化算法，在跟踪过程中，利用当前帧图像信息通过该优化算法得到目标函数的极小值，从而得到人体上半身的运动姿态。

与现有技术相比，本发明具有以下显著优势：

1、该发明在透视成像模型下采用外观约束双阶段优化，可以跟踪任意视点下人体三维运动姿态。

2、该发明对于成像设备及跟踪人体没有特殊要求，即可以在各种单目视频摄像机下对任意人的三维运动进行跟踪。

3、该发明使用设备简单，只需一个摄像头就可以进行三维运动跟踪，应用十分广泛。

【附图说明】

图1是本发明采用的人体上半身肢体模型图；

图2是人体上半身跟踪流程图；

图3是人体上半身关节及肢体模板手工标定结果示意图；

图4是本发明应用于单目视频人体上半身三维跟踪结果图；

【具体实施方式】

下面结合附图及具体实施方式对本发明作进一步详细描述。

我们将人体上半身看成是一种树型模型，如图1所示该肢体模型由8个关节点及7个身体段组成，其中根节点为人体的胸部关节。模型中的线段(人体骨骼段)长度根据人体测量学得到，为一相对比例长度，在应用中应该根据实际测量值设置。

具体的人体上半身运动跟踪流程如图2所示，现具体介绍每一步的实现细节：

1、手工标定初始帧，可以得到以下参数：各肢体长度及各关节在局部坐标系中的坐标，各模板中像素灰度值及其在局部坐标系下的坐标。在初始帧中要求被跟踪人体与成像面平行，一个标定结果见图3。

2、在其它帧的跟踪过程中，采用模板配准的方法，即先根据透视成像模型建立姿态估算目标函数，然后采用迭代优化该函数得到人体运动姿态，实现如下：

全局姿态估算所用模板为左右胸肢体，根据像素的局部坐标与全局坐标的关系建立方程如下：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\α}\cos \mathrm{\β}& -\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}\\ \sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& -\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\sin \mathrm{\γ}& \cos \mathrm{\β}\cos \mathrm{\γ}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]+\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]---\left(1\right)$

其中[x_l，y_l，z_l]^T为该像素点旋转前的三维坐标，由第一步标定得到，[x_r，y_r，z_r]^T为根关节在三维空间中的坐标，[x_c，y_c，z_c]^T为该像素点在成像空间中的三维坐标。根据透视投影模型，该像素旋转后其在图像上的坐标为

$\left[\begin{array}{c}u\\ v\end{array}\right]=\frac{1}{s}\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]---\left(2\right)$

其中[u，v]^T为该像素投影到成像面上的坐标，s为可变因子，满足s＝z_c·ds，ds表示相对于一个单位z变化量对应的s变化量。将式(1)代入式(2)得：

$u=\frac{[cos\mathrm{\α}\cos \mathrm{\β}\·x_l+(-\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(\sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+s_r\·x]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+s_r}$

$v=\frac{[\sin \mathrm{\α}\cos \mathrm{\β}\·x_l+(\cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(-\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+s_r\·y]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+s_r}$

其中(x，y，s_r，α，β，γ)为待估算的全局参数(x，y为胸部关节在图像上的坐标，s_r为胸部关节对应的可变因子，α，β，γ为胸部关节分别绕z轴，y轴，x轴旋转欧拉角)，(x_l，y_l，z_l)为模板中像素点在根关节局部坐标系中的局部坐标。定义形变模型如下：

$W(x;p)=\left[\begin{array}{c}{W}_x(x;p)\\ W_y(x;p)\end{array}\right]=\left[\begin{array}{c}u\\ v\end{array}\right]---\left(4\right)$

其中(u，v)定义如式(3)，p＝[x，y，s_r，α，β，γ]^T，x为模板中的像素。根据像素灰度不变性约束定义以下目标函数：

$\underset{x}{\mathrm{\Σ}}{[I\left(W(x;p)\right)-T\left(x\right)]}^2---\left(5\right)$

其中T(x)为模板中的像素x灰度值，I(W(x；p))为模板像素x根据形变模型W(x；p)映射到当前帧图像上的灰度值。

故最优全局姿态为满足下式的姿态：

$\hat{p}=\underset{p}{\min }\underset{x}{\mathrm{\Σ}}{[I\left(W(x;p)\right)-T\left(x\right)]}^2---\left(6\right)$

3、全局姿态双阶段优化

步骤1：假定参数ds值，利用Lucas-Kanade光流法迭代求得使式(5)为最小值的全局姿态p；

步骤2：假定全局姿态p，利用Lucas-Kanade光流法迭代求得使式(5)为最小值的参数ds；

步骤3：重复步骤1和步骤2直至收敛。

4、其它关节局部姿态优化

其它关节的局部姿态估算方法与全局姿态估算方法类似，所用模板为该关节旋转带动的肢体(如计算右肘关节姿态则模板为右前臂)。由上面可知，模板中某一像素点旋转后其在三维空间中的坐标可以由式(1)计算得到，但在计算关节局部姿态时，[x_r，y_r，z_r]^T为当前帧下该关节在运动链中父节点旋转后其在三维空间中的坐标，根据前向运动学知识可知由式(1)可以计算得到，以右肘关节姿态恢复为例说明其计算过程。

在估算右肘关节的局部姿态时右肩关节的姿态已估算完，可得右肩关节相对于基坐标系的旋转矩阵为R_rs以及右肩关节在成像三维空间中的坐标为[x_rs，y_rs，z_rs]^T，则根据式(1)可计算右肘关节在三维空间中的坐标[x_re，y_re，z_re]^T如下：

$\left[\begin{array}{c}{x}_{\mathrm{re}}\\ y_{\mathrm{re}}\\ z_{\mathrm{re}}\end{array}\right]=R_{\mathrm{rs}}\·\left[\begin{array}{c}0\\ -L\\ 0\end{array}\right]+\left[\begin{array}{c}{x}_{\mathrm{rs}}\\ y_{\mathrm{rs}}\\ z_{\mathrm{rs}}\end{array}\right]---\left(7\right)$

其中[0，-L，0]^T为初始状态下右肘关节在右肩局部坐标系中的坐标(初始化时得到)，L为右上臂的长度。

采用同样方法可得

$u=\frac{[cos\mathrm{\α}\cos \mathrm{\β}\·x_l+(-\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(\sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+x_{\mathrm{re}}]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+z_{\mathrm{re}}\·\mathrm{ds}}$

$v=\frac{[\sin \mathrm{\α}\cos \mathrm{\β}\·x_l+(\cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(-\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+y_{\mathrm{re}}]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+z_{\mathrm{re}}\·\mathrm{ds}}$

其中[x_re，y_re，z_re]^T为根据式(7)计算得到的右肘关节在三维空间中的坐标，(α，β，γ)为待恢复的右肘关节局部坐标系相对于基坐标系的旋转欧拉角。

采用Lucas-Kanade光流法可以得到其它关节的局部姿态。

将本方法应用于基于单目视频的人体三维运动姿态提取结果见图4，其中图4(a)为跟踪视频帧，4(b)为采用本方法求得的人体上半身三维姿态，4(c)为提取的人体上半身三维姿态从不同视点观察的结果。

Claims (3)

1.一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法。其特征在于包括以下步骤：

a)在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型。

b)在肢体纹理不变约束基础上，根据透视投影模型建立人体三维运动姿态提取的目标函数。

c)建立目标函数的双阶段优化算法，在跟踪过程中，利用当前帧图像信息通过该优化算法得到目标函数的极小值，从而得到人体上半身的运动姿态。

d)根据树型深度遍历建立其它关节姿态求解的目标函数，利用Lucas-Kanade光流法优化该目标函数求得其它关节的姿态。

2.根据权利要求1所述的一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法，其特征在于：所述步骤b)中建立以下像素点投影方程，构建目标函数。

$u=\frac{[cos\mathrm{\α}\cos \mathrm{\β}\·x_l+(-\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(\sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+s_r\·x]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+s_r}$

$v=\frac{[\sin \mathrm{\α}\cos \mathrm{\β}\·x_l+(\cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(-\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+s_r\·y]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+s_r}$

3.根据权利要求1所述的一种基于外观不变约束双阶段优化的人体上半身三维运动跟踪方法，其特征在于：所述步骤d)中建立其它肢体中像素点投影方程，构建目标函数。

$u=\frac{[cos\mathrm{\α}\cos \mathrm{\β}\·x_l+(-\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(\sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+x_{\mathrm{re}}]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+z_{\mathrm{re}}\·\mathrm{ds}}$

$v=\frac{[\sin \mathrm{\α}\cos \mathrm{\β}\·x_l+(\cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ})\·y_l+(-\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ})\·z_l+y_{\mathrm{re}}]}{(-\sin \mathrm{\β}\·x_l+\cos \mathrm{\β}\sin \mathrm{\γ}\·y_l)\·\mathrm{ds}+z_{\mathrm{re}}\·\mathrm{ds}}$

Images