CN102479386A - 基于单目视频的人体上半身三维运动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于单目视频的人体上半身三维运动跟踪方法。该方法首先由匹配sift特征点根据胸部形状不变性计算得到胸部关节在图像上的坐标、可变因子、旋转欧拉角等，然后根据上半身骨骼模型采用深度遍历的方法求得人体左右上臂及前臂的旋转姿态，方法是根据匹配特征点在局部坐标系下的坐标以及旋转后的坐标根据逆向运动学建立方程，解该方程则可求得旋转欧拉角。本发明使用方法简单，跟踪到的人体上半身姿态精确，能够广泛应用于人机交互、互动娱乐、智能监控、医疗诊断等领域。

Description

基于单目视频的人体上半身三维运动跟踪方法

【技术领域】

本发明涉及计算机视觉和视频处理领域，特别涉及基于单目视频的人体三维运动姿态恢复方法。

【背景技术】

基于视频的人体三维运动跟踪在人机交互、互动娱乐、智能监控、医疗诊断等领域具有极大的应用价值。不同于双目或多目视频人体运动跟踪，单目视频跟踪只需要一个摄像头进行人体运动捕捉，不需要摄像机标定，因而具有使用方便、应用广泛的特点。

目前，常用的单目视频下的人体三维运动跟踪主要采用基于学习的方法。该方法存在以下缺点：1)采用统计学习需要大量的训练样本，而且恢复的人体姿态不确定性较大。2)统计学习跟踪的效果完全依赖于训练样本，由于人体运动的不确定性，因而由某种样本集训练出来的算法难以适用于所有的人体运动，算法不能泛化。

【发明内容】

鉴于此，本发明的目的在于提供一种简单精确的人体上半身三维运动跟踪方法。本方法首先由匹配sift特征点根据胸部形状不变性计算得到胸部关节在图像上的坐标、可变因子、旋转欧拉角等。然后根据上半身骨骼模型采用层次化的方法求得人体左右上臂及前臂的旋转欧拉角。

为达到上述目的，本发明采用以下技术方案：

1、在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型及各肢体段中的sift特征。

2、在跟踪过程中，得到被跟踪帧与初始帧中的匹配sift特征，根据透视投影模型在骨骼长度不变性约束下建立一个非线性方程组，由该非线性方程组通过数值方法得到胸部关节的三维位置及旋转姿态。

3、根据正向运动学计算得到左右肩关节在图像上的坐标、旋转后在摄像机成像空间下的三维坐标。

4、根据树型深度遍历由匹配到的sift特征采用逆向运动学依次恢复左右上臂、左右前臂的旋转欧拉角。

与现有技术相比，本发明具有以下显著优势：

1、方法简单，不需要进行样本训练，算法易于泛化，能够广泛应用于各种人体运动跟踪。

2、跟踪得到的人体三维运动姿态精度高。由于从二维关节位置恢复三维运动姿态是根据透视投影模型及逆向运动学得到的，算法本身就是成像过程的逆操作，因而跟踪到的人体运动姿态精度较高。

3、该发明对于成像设备没有特别要求(比如有些算法需要摄像机为深度摄像机)，只要有一个webcam就可以进行运动跟踪，能够广泛应用于人机交互、互动娱乐、虚拟现实等领域。

【附图说明】

图1是本发明采用的人体上半身骨骼模型图；

图2是人体上半身跟踪顶层流程图；

图3是人体左右臂跟踪二级流程图；

图4是人体上半身关节及肢体模板手工标定结果示意图；

图5是本发明应用于单目视频人体上半身三维跟踪结果图；

【具体实施方式】

下面结合附图及具体实施方式对本发明作进一步详细描述。

我们将人体上半身看成是一种树型棍状模型，如图1所示该骨骼模型由8个关节点及7个身体段组成，其中J₀为树型结构的根节点，对应人体的胸部关节。模型中的线段(人体骨骼段)长度根据人体测量学得到，为一相对比例长度，在应用中应该根据实际测量值设置。

我们采用的透视投影成像模型如下：

$\left(\begin{array}{c}u\\ v\end{array}\right)=\frac{1}{s}\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\end{array}\right)---\left(1\right)$

其中(x，y，z)为某点在三维空间中的坐标值，(u，v)为该点在二维成像面上的坐标值。参数s为一比例因子，由s＝z/f求得，其中z为该点在三维空间中的z坐标值，f为摄像机焦距。从方程(1)可知，当z发生变化时，s值将线性发生变化，s的变化量ds相对于z值的变化量dz表示为：T(dz)＝ds。

具体的人体上半身运动跟踪流程如图1和图2所示，现具体介绍每一步的实现细节：

1、初始帧中手工标定人体上半身各个关节在图像上的位置以及肢体模板大小。在初始帧中要求被跟踪人体与成像面垂直站立，故在此状态下，上半身各个关节绕x轴，y轴的旋转欧拉角都为零。同时可以得到在各个肢体内的sift特征，这些sift特征其在局部坐标系的坐标可以根据逆运动学方程得到。一个标定结果见图4。

2、在其它帧的跟踪过程中，先利用sift特征点匹配算法得到当前帧与初始帧相匹配的sift特征，然后采用最小中值平方法进行误匹配特征点过滤，最后根据特征点局部坐标与全局坐标之间的转换关系建立一个非线性方程组，由这个非线性方程组求得胸部关节的位姿，实现如下：

胸部关节J₀的位姿以表示，其中

为胸部关节在摄像机成像空间下的三维坐标，α，β，γ为胸部关节分别绕z轴，y轴，x轴旋转欧拉角。

根据特征点的局部坐标与全局坐标的关系建立方程如下：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\α}\cos \mathrm{\β}& -\sin \mathrm{\α}\cos \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\γ}+\cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}\\ \sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}& -\cos \mathrm{\α}\sin \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\sin \mathrm{\γ}& \cos \mathrm{\β}\cos \mathrm{\γ}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ 0\end{array}\right]---\left(2\right)$

$\⇒\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\left[\begin{array}{c}{x}_l\cos \mathrm{\α}\cos \mathrm{\β}-y_l\sin \mathrm{\α}\cos \mathrm{\γ}+y_l\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\\ x_l\sin \mathrm{\α}\cos \mathrm{\β}+y_l\cos \mathrm{\α}\cos \mathrm{\γ}+y_l\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\\ -x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ}\end{array}\right]$

其中(x_l，y_l)为该特征点在局部坐标系下坐标，由第一步计算得到。(x_r，y_r，z_r)为该特征点旋转后在局部坐标系下的坐标，x_r，y_r满足下式

$\left\{\begin{array}{c}{x}_r=J_f^x-J_r^x\\ y_r=J_f^y-J_r^y\end{array}\right.---\left(3\right)$

为特征点旋转后在三维空间中的x，y坐标，满足下式

$\left\{\begin{array}{c}{J}_f^x=(s+\mathrm{\Δs})\·J_i^x=(s+\mathrm{\Δz}\·\mathrm{ds})\·J_i^x=(s+z_r\·\mathrm{ds})\·J_i^x\\ J_f^y=(s+\mathrm{\Δs})\·J_i^y=(s+\mathrm{\Δz}\·\mathrm{ds})\·J_i^y=(s+z_r\·\mathrm{ds})\·J_i^y\end{array}\right.---\left(4\right)$

其中

为匹配特征点在当前帧中图像下的坐标(以图像中心为原点)，Δz为特征点与胸部关节J₀在三维空间中z坐标的差值(也就是特征点旋转后在局部坐标系下的z坐标z_r)，根据式(2)满足下式：

z_r＝-x_lsinβ+y_lcosβsinγ                                        (5)

胸部关节J₀在三维空间中的x，y坐标

根据式(1)如下：

$\left\{\begin{array}{c}{J}_r^x=s\·x\\ J_r^y=s\·y\end{array}\right.---\left(6\right)$

其中(x，y)为胸部关节J₀在图像上的坐标。

将式(4)、式(6)代入式(3)有：

$\left\{\begin{array}{c}{x}_r=J_f^x-J_r^x=(s+z_r\·\mathrm{ds})\·J_i^x-s\·x=[s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^x-s\·x\\ y_r=J_f^y-J_r^y=(s+z_r\·\mathrm{ds})\·J_i^y-s\·y=[s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^y-s\·y\end{array}\right.---\left(7\right)$

将式(7)代入式(2)有如下方程组

$\left\{\begin{array}{c}[s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^x-s\·x=x_l\cos \mathrm{\α}\cos \mathrm{\β}-y_l\sin \mathrm{\α}\cos \mathrm{\γ}+y_l\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\\ [s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^y-s\·y=x_l\sin \mathrm{\α}\cos \mathrm{\β}+y_l\cos \mathrm{\α}\cos \mathrm{\γ}+y_l\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\end{array}\right.---\left(8\right)$

则根据上面可知，一个匹配的特征点可以建立如式(8)的两个方程，由于共有6个未知量(x，y，s，α，β，γ)，故有三个匹配特征点就可以惟一确定。由于sift匹配特征点的误匹配，需要采用最小中值平方法进行误匹配点过滤，得到最优的六个参数。

3、其它关节旋转欧拉角计算

按照图3采用深度遍历求其它关节的旋转姿态，即先求左肩关节的姿态再求左肘关节的姿态。在第二步我们计算得到了胸部关节的旋转角度，故根据正向运动方程可以得到左肩关节、右肩关节在图像上的坐标、对应的比例因子s、其在摄像机成空间下的x，y坐标。在该关节所附属的肢体中的匹配sift特征旋转后其在该关节局部坐标系的坐标(x_r，y_r，z_r)根据骨骼长度不变性可以求得，具体方法可以参见Beiji Zou，Shu Chen，et al.Automatic Reconstruction of 3D HumanMotion Pose from Uncalibrated Monocular Video Sequences based on MarkerlessHuman Motion Tracking.Pattern Recognition，2009，42(7)：1559-1571。

已知特征点未旋转前在局部坐标系下的坐标(x_l，y_l)及旋转后在局部坐标系下的坐标(x_r，y_r，z_r)。该特征点满足以下等式：

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=R_i^{i-1}{}_{i-1}{}^{0}R\left[\begin{array}{c}{x}_l\\ y_l\\ 0\end{array}\right].$

其中

为当前待求关节相对于胸部关节坐标系的旋转矩阵，

为所求的旋转矩阵，由于上臂及前臂在y轴上的旋转为0，即欧拉角β＝0，故

为下式：

$R_i^{i-1}=\left[\begin{array}{ccc}\cos \mathrm{\α}& -\sin \mathrm{\α}& 0\\ \sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\γ}& -\sin \mathrm{\γ}\\ 0& \sin \mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]$

$\⇒R_{i-1}^i=\left[\begin{array}{ccc}\cos \mathrm{\α}& -\sin \mathrm{\α}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\γ}\\ \sin \mathrm{\α}& \cos \mathrm{\α}\cos \mathrm{\γ}& -\cos \mathrm{\α}\sin \mathrm{\γ}\\ 0& \sin \mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]$

因此

$\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=R_{i-1}^0\left[\begin{array}{ccc}\cos \mathrm{\α}& -\sin \mathrm{\α}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\γ}\\ \sin \mathrm{\α}& \cos \mathrm{\α}\cos \mathrm{\γ}& -\cos \mathrm{\α}\sin \mathrm{\γ}\\ 0& \sin \mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ 0\end{array}\right]$

$\⇒{\left[R_{i-1}^0\right]}^{-1}\left[\begin{array}{c}{x}_r\\ y_r\\ z_r\end{array}\right]=\left[\begin{array}{c}{x}_l\cos \mathrm{\α}-y_l\sin \mathrm{\α}\cos \mathrm{\γ}\\ x_l\sin \mathrm{\α}+y_l\cos \mathrm{\α}\cos \mathrm{\γ}\\ y_l\sin \mathrm{\γ}\end{array}\right]$

令

则上式变为

解上式就可以求得该关节在该特征点下的旋转欧拉角。

将该关节依附的肢体中的外观模型根据计算得到的旋转欧拉角再投影到图像上得到形变模板，进行模板匹配，如果相似度大于一定阈值则将在该特征点下得到的旋转欧拉角作为该关节的旋转欧拉角，否则取下一个匹配特征点进行姿态提取，并重复这个过程。

将本方法应用于基于单目视频的人体三维运动姿态提取结果见图5，其中图5(a)为跟踪视频帧，5(b)为采用本方法求得的人体上半身三维姿态，5(c)为提取的人体上半身三维姿态从不同视点观察的结果。

Claims (3)

1.一种利用sift特征匹配进行人体上半身三维运动跟踪的方法。其特征在于包括以下步骤：

a)在初始帧中运动人体处于直立姿态，由手工标定出人体上半身各关节在图像中的位置，得到人体外观模型及各肢体段中的sift特征。

b)在跟踪过程中，得到被跟踪帧与初始帧中的匹配sift特征，根据透视投影模型在骨骼长度不变性约束下建立一个非线性方程组，由该非线性方程组通过数值方法得到胸部关节的三维位置及旋转姿态。

c)根据正向运动学计算得到左右肩关节在图像上的坐标、旋转后在摄像机成像空间下的三维坐标。

d)根据树型深度遍历由匹配到的sift特征采用逆向运动学依次恢复左右上臂、左右前臂的旋转欧拉角。

2.根据权利要求1所述的一种利用sift特征匹配进行人体上半身三维运动跟踪的方法，其特征在于：所述步骤b)中建立以下非线性方程组，利用三组匹配特征点求解。

$\left\{\begin{array}{c}[s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^x-s\·x=x_l\cos \mathrm{\α}\cos \mathrm{\β}-y_l\sin \mathrm{\α}\cos \mathrm{\γ}+y_l\cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\\ [s+(-x_l\sin \mathrm{\β}+y_l\cos \mathrm{\β}\sin \mathrm{\γ})\·\mathrm{ds}]\·J_i^y-s\·y=x_l\sin \mathrm{\α}\cos \mathrm{\β}+y_l\cos \mathrm{\α}\cos \mathrm{\γ}+y_l\sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}\end{array}\right.$

3.根据权利要求1所述的一种利用sift特征匹配进行人体上半身三维运动跟踪的方法，其特征在于：所述步骤d)中建立以下方程组，求得其它关节的旋转欧拉角。

$\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]=\left[\begin{array}{c}{x}_l\cos \mathrm{\α}-y_l\sin \mathrm{\α}\cos \mathrm{\γ}\\ x_l\sin \mathrm{\α}+y_l\cos \mathrm{\α}\cos \mathrm{\γ}\\ y_l\sin \mathrm{\γ}\end{array}\right]$

Images