CN102074034B - 多模型人体运动跟踪方法 - Google Patents

Abstract

本发明公开了一种多模型人体运动跟踪方法，它涉及图像处理技术领域。主要解决现有方法无法很好解决人体运动歧义性、时间复杂度高和单纯增加运动模型无法获得良好三维人体姿态估计的问题。其步骤为：(1)输入人体运动视频图像，获得人体侧影及其边缘、骨架线；(2)检测人体关节点位置；(3)使用岭回归方法训练运动模型；(4)初始化模型集合M₁；(5)运行交互式多模型算法，获得人体运动姿态；(6)激活满足激活条件的运动模型，终止满足终止条件的运动模型。本发明具有时间复杂度低，跟踪效果好的优点，具有较高的费效比，可应用于体育训练和动画制作等领域。

Description

多模型人体运动跟踪方法

技术领域

本发明属于图像处理技术领域，涉及人体运动跟踪，特别是一种多模型的人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。

背景技术

人体运动跟踪的主要任务是从图像检测出人体，定位人体部分，然后识别出人体运动姿态，最终重建三维人体运动。由于获得的视频或者图像序列都是三维场景在二维图像上的投影，缺失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像的质量也无法保证，这使得从无标记单目视频中恢复人体运动姿态的工作困难重重。但是，由于基于单目视频的人体运动跟踪在医学治疗、运动捕捉、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。

基于视频的人体运动分析的方法主要分为两大类：基于模型的人体运动跟踪和基于学习的人体运动跟踪。

(1)基于模型的人体运动跟踪

现有的基于模型的人体运动跟踪大部分都是使用确定性或者随机性的优化方法，在高维的状态空间中搜索最优的状态。该方法的主要研究有：

法国国家信息与自动化研究所(INRIA)的C.Sminchisescu采用基于模型的方法在单目相机人体运动估计方面做了大量工作，从人体模型到搜索策略的一系列研究，大部分属于产生式方法。

美国布朗大学M.J.Black教授领导的视觉组主要致力于人体运动估计和人体手势、行为和面部表情的重构，目的是将人体运动的估计和理解应用于多媒体研究和新颖的用户界面中。在人体运动估计方面，该研究组用贝叶斯框架获得人体统计信息，对3D人体运动进行随机跟踪。目前该研究组为评价链接人体运动方法创建了一个同步视频和运动捕捉数据集：HumanEva数据集。HumanEva是多摄像机获得的数据资料，不仅包含多种运动的视频序列，而且还包含相应的地面实况Ground Truth，为人体运动跟踪方法的定量比较提供了依据。

Deutscher et al.使用边界和侧影作为图像特征构建加权函数，应用退火粒子滤波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的获得人体模型，应用扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人体运动参数。

(2)基于学习的人体运动跟踪

该方法首先提取精确的图像特征，然后学习图像特征与运动捕捉数据之间的映射，最后直接使用人体特征恢复三维姿态。在该方面的深入研究有：

法国国家信息与自动化研究所(INRIA)的主要项目LEAR(Learning for Vision)中很重要的部分就是对人的运动进行检测和运动分析，A.Agarwal在研究中做出了巨大的贡献，他采用shape context等鲁棒性好的描述子描述人体侧影，然后学习运动捕捉数据与人体侧影之间的关系，最后根据人体侧影特征重建三维人体运动。

加拿大多伦多大学计算机系C.Sminchisescu研究组：2004年以来，C.Sminchisescu的人体运动分析研究方法逐渐从产生式向判别式转变，通过分层编码和半监督学习适应多层级的变化，处理复杂背景下3D姿态类的可变性，采用稀疏的方法恢复3D人体姿态。

Urtasun et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。Sigal et al.提出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型和似然函数；为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。

基于模型的人体运动跟踪和基于学习的人体运动跟踪各有优劣：

基于模型的方法：优点是该方法有具体的人体模型模拟人体，并且可以使用先验知识指导运动姿态的预测；缺点是使用优化的方法在搜索最优结果时，很容易陷入局部最优值，时间复杂度高，并且无法从根本上解决人体运动的二义性，遮挡发生的情况下，人体运动精确恢复无法得到保证；

基于学习的方法：优点是使用训练得到的运动映射，增加了跟踪的准确性和稳定性；缺点是单个的运动模型只能拟合一个运动模式，不能适应人体运动的多变性，提取精确的图像特征也要花费大量的时间。

发明内容

本发明的目的在于克服现有方法不足，提出了一种基于可能模型集-变结构多模型LMS-VSMM的人体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪的精确度，同时降低单帧跟踪的时间，提高费效比。

实现本发明目的的技术思路是：汲取上述两种方法的优点，采用基于模型方法的大框架，建立人体骨架模型，采用基于学习的方法，使用运动捕捉数据直接训练人体运动模型指导人体运动姿态的预测。为了解决基于学习方法的缺点，前人已经尝试使用交互式多模型算法IMM完成人体运动跟踪，对特定的人体运动模式使用精心挑选的运动模型集获得较好的跟踪效果，但在实际的应用中，由于较小的运动模型集合无法解决人体运动模式的复杂性和多变性，简单的增加运动模型的数量是不可行的，不仅会增加运算了解决该困境，本发明采用基于可能模型集的变结构多模型方法进行人体运动跟踪。概括地说本发明是在检测人体关节点位置的基础上，通过使用运动捕捉数据训练的运动模型，结合LMS-VSMM算法框架来解决人体运动跟踪问题。其具体实现步骤包括如下：

(1)人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影进行细化处理；

(2)根据处理后的人体视频图像，进行如下关节点检测：

2a)使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多时的圆心作为头节点；

2b)选取人体侧影重心为根节点；

2c)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；

2d)使用粒子滤波检测手、肘、肩关节点位置；

2e)使用下肢长度检测膝、脚关节点位置；

(3)从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采用岭回归方法训练运动模型方程的状态转移矩阵Fⁱ，并计算该运动模型的噪声w_k协方差，获得的运动模型集合称为总运动模型集M＝{m₁，m₂，m₃，m₄，m₅，m₆}，其中m₁表示僵硬的行走模型，m₂表示行走模型，m₃表示平衡行走模型，m₄表示Jack跳模型，m₅表示跳跃模型，m₆表示下蹲模型；

(4)将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运行交互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为初始当前模型集合M₁；

(5)以k时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；

(6)根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值大小满足设定的运动模型激活规则，记此时刻为k₀，记当前模型集合为M_o，记激活运动模型M_n，执行以下步骤(7)，否则，输出人体运动姿态估计，执行步骤(5)；

(7)将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态，将模型集合M_o和激活运动模型M_n合并为新的当前模型集合M_k；

(8)根据新的当前模型，重新执行上述交互式多模型一个周期，若当前模型集合M_k中运动模型的模型概率小于10^-4，则终止该运动模型，输出人体运动姿态估计，并返回执行上述步骤(5)；否则，输出人体运动姿态估计，执行步骤(8)。

本发明与现有的技术相比具有以下优点：

1、本发明由于使用粒子滤波和下肢长度信息预测人体关节点，获得了更精确的人体关节点图像位置，并作为图像特征输入LMS-VSMM跟踪框架，算法简单，时间复杂度低；

2、本发明由于直接使用运动捕捉数据训练运动模型，而不是学习运动捕捉视频的图像特征和运动捕捉数据之间的关系，消除了图像噪声的影响，提高了运动模型的精确性和稳定性，使得估计结果更加符合人体运动规律；

3、本发明由于在执行过程中，只有与当前运动模式匹配程度较好的运动模型起作用，而不是总运动模型集的每个运动模型都在起作用，减少了不相关运动模型的个数，不仅缩短了运行时间，而且降低了不相关运动模型的恶意竞争程度，提高了人体运动跟踪的精确度。

附图说明

图1是本发明多模型人体运动跟踪方法总流程图；

图2是本发明的人体运动图像预处理子流程图；

图3是本发明的人体关节点检测子流程图；

图4是本发明实验关节点模板提取图；

图5是本发明实验使用的3D人体骨架模型图；

图6是本发明仿真实验的总运动模型集拓扑图；

图7是本发明肢节投影角度变化示例图；

图8是本发明仿真实验的关节点检测结果图；

图9是本发明仿真实验的三维跟踪结果图；

图10是本发明仿真实验的模型概率结果图；

图11是本发明仿真实验3D结果投影与检测关节点的误差图。

具体实施方式

参照图1，本发明多模型人体运动跟踪方法，具体实现过程如下：

步骤1，对输入的视频图像作预处理，获得人体侧影及其外轮廓、骨架线。

参照图2，本步骤的具体实现如下：

1.1)采用最小平方中值LMedS方法获取背景图像Back，设I是N帧的输入图像序列，则背景图像Back在(x，y)处的像素值Back_x，y为：

${\mathrm{Back}}_{x,y}=\arg \underset{p}{\min }\underset{t}{\mathrm{med}}{\left|\right|I_{x,y}^t-p\left|\right|}^2---\left(\text{1}\right)$

其中，t＝1，2，...，N，p为背景图象在(x，y)位置的像素值，med为中值函数，公式Back_x，y所有解合成的图像记为背景图像Back；

1.2)获取人体运动图像，并与背景图像做像素差，获得背景差图像；

1.3)采用形态学方法清除背景差图像中的分割噪声，得到清晰的人体侧影；

1.4)采用边缘跟踪算法获得人体侧影外轮廓；细化人体侧影，得到人体侧影的骨架线。

步骤2：对预处理后的人体视频图像，进行关节点检测。

参照图3，本步骤具体实现如下：

2.1)使用同心圆模板沿着骨架线搜索，将落入圆环的人体侧影轮廓点最多时的圆心作为头节点；

2.2)选取人体侧影重心部位为根节点，将所有人体侧影点x坐标值的算术平均值作为根节点的x坐标，将y坐标值的算术平均值作为根节点的y坐标；

2.3)将3D人体骨架模型以根节点为基准在视频图像上投影，得到人体躯干中心点、锁骨关节点和左右臀部关节点；

2.4)使用粒子滤波检测手、肘、肩关节点位置：

2.4a)根据关节点位置，生成以关节点为中心的矩形框，肩、肘、手关节点的矩形框大小分别为：17×17，11×11，23×21，具体形状如图4所示，记矩形框中像素的不变距特征phi_t为关节点先验特征；

2.4b)采用二阶自回归模型更新前一时刻获得的关节点位置：

${\hat{x}}_t={\mathrm{Ax}}_{t-1}+{\mathrm{Bv}}_{t-1}+{\mathrm{Cw}}_t---\left(1\right)$

其中，x_t-1是肩、肘、手关节点图像坐标位置，

是关节点位置的更新，A和B为单位矩阵，v_t-1是关节点的移动速度，v_t-1＝(x_t-1-x_t-3)/2，C与移动速度v_t-1相等，w_t是[-1，1]之间的一个随机数；

2.4c)检测关节点x_t时，更新N_s次关节点位置，更新一次获得一个采样粒子，N_s的计算公式如下：

其中，

分别是速度v_t-1的x轴和y轴分量，粒子数加10是为了防止速度分量为零的情况；

2.4d)根据2.4a)步给出的矩形框大小，获得以采样粒子为中心的模板图像，计算采样粒子i的不变距特征

的权重Weight_i：

${\mathrm{Weight}}_i=-\exp (1-\frac{{\mathrm{phi}}_p^i\·{\mathrm{phi}}_t^T}{\mathrm{norm}\left({\mathrm{phi}}_p^i\right)\×\mathrm{norm}\left({\mathrm{phi}}_t\right)}),i\≤N_s---\left(4\right)$

其中，

是第i个采样粒子不变距特征，phi_t为采样粒子对应关节点的关节点先验特征，norm为2范数，归一化权重向量，使得

2.4e)关节点x_t的位置计算公式如下：

$x_t=\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{\mathrm{particle}}_i\×{\mathrm{Weight}}_i---\left(5\right)$

其中，particle_i表示第i个采样粒子的图像位置；

2.4f)根据关节点位置，重新计算当前关节点的先验特征。

2.5)使用下肢长度检测膝和脚关节点位置：

2.5a)根据前一帧的结果计算左大腿和右大腿的长度；

2.5b)根据前两帧的结果预测膝关节的位置：

$P_{\mathrm{Knee}}^k=2\×P_{\mathrm{Knee}}^{k-1}-P_{\mathrm{Knee}}^{k-1}---\left(6\right)$

其中，

表示k时刻膝关节的位置；

2.5c)若左膝的预测位置在右膝的左边或者右边，则以左臀点为圆心，以左大腿长度为半径，从侧影左侧或者右侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为左膝节点，同时，以右臀点为圆心，以右大腿长度为半径，从侧影右侧或者左侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为右膝节点；

2.5d)用与膝关节点的相同检测方法检测脚关节点。

步骤3：对运动模型进行训练，获得总运动模型集合M。

实验中应用到多种运动模型，如僵硬的行走模型m₁，行走模型m₂，手臂伸展保持平衡行走模型m₃，Jack跳模型m₄，跳跃模型m₅和下蹲模型m₆，本发明采用行走模型m₂，但不局限于该运动模型，其训练步骤如下：

3.1)从卡耐基梅隆大学CMU运动捕捉数据库中选取行走模式的捕捉数据，提取需要的关节角度，转化为四元数表示，组成训练数据对

3.2)设

表示行走模型m₂的运动模型方程，

表示行走模型的人体运动参数，F²表示运动模型方程的状态转移矩阵，

表示运动模型的噪声；

3.3)F²根据下式计算：

$F^2=\arg \underset{F^2}{\min }\{\underset{k=1}{\overset{114}{\mathrm{\Σ}}}{\left|\right|F^2{x}_k^2-x_{k+1}^2\left|\right|}^2+R\left(F^2\right)\}---\left(7\right)$

其中，R(F²)＝λ||F²||²，λ为规则化因子，在本发明的实验中λ＝0.1；

所有运动模型都按上述步骤训练，最终获得总运动模型集M＝{m₁，m₂，m₃，m₄，m₅，m₆}。

步骤4：初始化当前模型M₁。

将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，将交互式多模型运行十个周期，计算各模型群的模型群概率，选择概率最大的模型群作为初始当前模型集合M₁。

步骤5：使用交互式多模型算法计算人体运动姿态估计。

首先设计交互式多模型算法中模型的状态方程和量测方程，然后以k时刻人体关节点作为输入，经过模型条件初始化、模型条件滤波、模型概率更新和状态估计融合四步，最终获得人体运动姿态估计，具体实施步骤如下：

5.1)选择包含3个模型的交互式多模型算法，设模型i的系统状态方程和量测方程如下：

$x_{k+1}^i=F^i{x}_k^i+w_k^i,i=\mathrm{1,2,3}---\left(8\right)$

$z_k=H\left(x_k^i\right)+v_k---\left(9\right)$

其中，

为模型i的状态向量，Fⁱ为状态转移矩阵，与步骤4中所训练的运动模型状态转移方程相同，

为状态噪声，Q₁，L，Q₉为用四元数表示的人体关节点的旋转角度，T₀，Q₀，L，Q₉所对应的关节点位置如图5所示，其中，T₀表示人体在全局坐标系的整体位移，Q₀表示全局坐标系的旋转角度，Q₁表示左臀关节点的旋转角度，Q₂表示左膝关节点的旋转角度，Q₃表示右臀关节点的旋转角度，Q₄表示右膝关节点的旋转角度，Q₅表示左肩关节点的旋转角度，Q₆表示左肘关节点的旋转角度，Q₇表示右肩关节点的旋转角度，Q₈表示右肘关节点的旋转角度，Q₉表示颈部关节点的旋转角度；z_k是k时刻人体关节点图像位置，共34维；H(x_k)为量测转移矩阵，v_k为量测噪声；

5.2)模型条件初始化

考虑每个模型的滤波器都有可能成为当前有效的系统模型滤波器，每个模型滤波器的初始条件都是前一时刻各模型滤波结果的加权和，权值为相应的模型概率，分别计算混合概率和混合估计，实施步骤如下：

5.2a)计算混合概率

记k-1时刻的匹配模型是

而k时刻的匹配模型是

以k-1时刻的信息Z^k-1为条件的混合概率是：

$u_{k-1|k-1}^{(i,j)}=P\left(m_{k-1}^i\right|m_k^j,Z^{k-1})=\frac{1}{{\stackrel{\‾}{c}}_j}{\mathrm{\π}}_{\mathrm{ij}}{u}_{k-1}^i---\left(10\right)$

其中

为归一化常数，为k-1时刻匹配模型

的概率，π_ij为匹配模型

到匹配模型

的转移概率，Z^k-1＝{z₁，z₂，L，z_k-1}；

5.2b)计算混合估计

对k时刻的匹配模型

重初始化状态

及其误差协方差矩阵

的混合估计分别为：

${\hat{\hat{x}}}_{k-1|k-1}^j=E\left(x_{k-1}\right|m_k^j,Z^{k-1})=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\hat{x}}_{k-1|k-1}^i{u}_{k-1|k-1}^{(i,j)}---\left(11\right)$

${\hat{P}}_{k-1|k-1}^j=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}[P_{k-1|k-1}^i+({\hat{x}}_{k-1|k-1}^i-{\hat{\hat{x}}}_{k-1|k-1}^j){({\hat{x}}_{k-1|k-1}^i-{\hat{\hat{x}}}_{k-1|k-1}^j)}^T]u_{k-1|k-1}^{(i,j)}---\left(12\right)$

其中，表示匹配模型

对人体运动姿态的估计，表示混合概率；

5.3)计算人体姿态估计

及其误差协方差

残差及其协方差

量测z_k与匹配模型

匹配的似然函数

滤波增益

和人体运动姿态估计更新

及其误差协方差阵

5.3a)将重初始化的状态与协方差阵按混合估计即和

代入匹配模型

的滤波器，获得状态估计

及其误差协方差

${\hat{x}}_{k|k-1}^j=F^j{\hat{\hat{x}}}_{k-1|k-1}^j---\left(13\right)$

$P_{k|k-1}^j=F^j{\hat{P}}_{k-1|k-1}^j{\left(F^j\right)}^T+Q_{k-1}^j---\left(14\right)$

其中，

表示匹配模型

的噪声协方差。

5.3b)将重初始化的状态

代入量测转移矩阵H(·)，计算量测残差

及其协方差阵

$S_k^j=h_k{P}_{k|k-1}^j{\left(h_k\right)}^T+R_k^j---\left(16\right)$

其中，z_k表示k时刻的量测，

表示匹配模型

的量测噪声协方差，h_k表示量测矩阵H的Jacobian矩阵。

5.3c)在高斯假设下，将残差及其协方差阵

代入下式，计算量测z_k与匹配模型匹配的似然函数

${\mathrm{\Λ}}_k^j=p\left(z_k\right|m_k^j,Z^{k-1})$

$\≈p\left[z_k\right|m_k^j,{\hat{\hat{x}}}_{k-1|k-1}^j,S_k^j\left({\hat{P}}_{k-1|k-1}^j\right)]---\left(17\right)$

其中，

表示匹配模型

的量测预测残差。

5.3d)将状态估计

及其误差协方差

残差

及其协方差阵代入下式，计算滤波增益

人体运动姿态估计更新

及其误差协方差阵

$K_k^j=P_{k|k-1}^j{\left(h_k\right)}^T{\left(S_k^j\right)}^{-1}---\left(18\right)$

$P_{k|k}^j=P_{k|k-1}^j-K_k^j{S}_k^j{\left(K_k^j\right)}^T---\left(20\right)$

5.4)模型概率更新

根据步骤5.3c)得到的似然函数

计算k时刻匹配模型

的概率

$u_k^j=P\left(m_k^j\right|Z^k)=\frac{1}{c}{\mathrm{\Λ}}_k^j{\stackrel{\‾}{c}}_j---\left(21\right)$

其中为归一化常数，而 $c=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\Λ}}_k^j{\stackrel{\‾}{c}}_j.$

5.5)状态估计融合

根据步骤5.3d)计算得到的匹配模型

状态估计

和步骤5.4)得到的匹配模型概率

计算k时刻的人体运动姿态估计和人体运动姿态估计误差协方差阵：

5.5a)利用下式对k时刻的人体运动姿态

进行估计：

${\hat{x}}_{k|k}=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\hat{x}}_{k|k}^j{u}_k^j---\left(22\right)$

其中，

为k时刻匹配模型

的人体运动姿态估计，

为k时刻匹配模型

的概率。

5.5b)利用下式计算k时刻的人体运动姿态估计误差协方差阵P_k|k：

$P_{k|k}=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}[P_{k|k}^j+({\hat{x}}_{k|k}-{\hat{x}}_{k|k}^j){({\hat{x}}_{k|k}-{\hat{x}}_{k|k}^j)}^T]u_k^j---\left(23\right)$

其中，

为k时刻匹配模型

的人体运动姿态估计误差协方差，

表示k时刻人体运动姿态估计。

步骤6：运动模型激活。

根据人体关节点位置，计算四肢关节点在图像上的投影角度变化比值，运动模型的拓扑关系如图6所示，肢节投影角度变化如图7所示，若投影角度值满足如下激活模型规则，则记k₀＝k，记当前模型集合为M_o，记新激活的运动模型为M_n，执行步骤7，否则，输出人体运动姿态估计，执行上述步骤5。

假设当前运动模型为运动模型m₂，则：

6.1)当大部分下肢的投影角度变化是上一时刻投影角度变化的t1倍时0.8＜t1＜1.2，需要激活的模型由下面规则决定：

6.1a)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的1.8倍，激活平衡行走模型m₃；

6.1b)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0.8倍，激活僵硬的行走模型m₁；

6.1c)若6.1a)和6.1b)两条均不满足，则不采取任何操作；

6.2)当大部分下肢的投影角度变化是上一时刻投影角度变化的t2倍时t2＞1.8，需要激活的模型由下面规则决定：

6.2a)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的3.5倍，激活Jack跳模型m₄；

6.2b)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0.5倍时，激活下蹲模型m₆；

6.2c)若6.2a)和6.2b)两条均不满足，则激活跳跃模型m₅。

步骤7：新激活模型滤波初始化。

记当前模型集合为M_k，模型滤波初始化如下：

7.1)新激活运动模型m_i的概率初始化为：

$\widehat{\mathrm{\μ}}\left(m_i\right|M_n,Z^k)=\max \left(\widehat{\mathrm{\μ}}\left(m_j\right|M_o,Z^k)\right)---\left(24\right)$

归一化当前模型M_k中模型概率

表示原当前模型M_o中模型m_j的概率估计；

7.2)将预测误差协方差初始化为运动模型的噪声协方差；

7.3)选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；

7.4)将原模型集合M_o和新激活的候选模型M_n合并为新的当前模型集合M_k。

步骤8：运动模型终止。

根据新的当前模型，重新执行上述交互式多模型一个周期，若当前模型集合M_k中的运动模型m_i的模型概率小于10^-4，则终止该运动模型，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计步骤；否则，输出人体运动姿态估计，并继续执行该步骤。

本发明的效果可以通过以下仿真实验进一步说明：

1)仿真实验所用数据

仿真实验中，训练运动模型所使用的数据从CMU运动捕捉数据库中获得。

实验中使用的人体运动视频是自拍视频，视频图像大小为320×240，视频序列中包含的人体运动有：1-120帧的踏步，121-250帧的手挥舞和跨步，251-390帧的Jack跳，391-450帧下蹲。

2)仿真内容

2.1)从输入视频序列中检测人体关节点位置，实验结果如图8所示，其中输入的视频序列如图8(a)所示，人体关节点检测结果如图8(b)所示；

2.2)采用多模型方法对视频序列中的人体运动进行跟踪，3D跟踪结果如图9所示，其中输入的视频序列如图9(a)所示，本发明多模型跟踪方法的3D跟踪结果如图9(b)所示；本发明多模型算法中运动模型的模型概率变化如图10所示，其中僵硬的行走模型m₁的模型概率变化如图10(a)所示，行走模型m₂的模型概率变化如图10(b)所示，手臂伸展保持平衡行走模型m₃的模型概率变化如图10(c)所示，Jack跳模型m₄的模型概率变化如图10(d)所示，跳跃模型m₅的模型概率变化如图10(e)所示，下蹲模型m₆的模型概率变化如图10(f)所示；本发明实验的跟踪误差如图11所示。

3)仿真结果分析

从图8中可知：本发明提出的人体关节点检测方法精确的定位了人体关节点位置。

从图9中可知：本发明多模型跟踪方法的人体运动姿态估计结果与真实的人体运动姿态基本相同，有效的解决了人体运动跟踪的歧义性问题，提高了跟踪的精确性和稳定性。

从图10中可知：每个时刻都只有一个运动模型起到主要作用，当运动模型和人体运动模式相似时，运动模型的模型概率较大，当人体运动模式发生变化时，起主要作用的运动模型随之发生变化，本发明的运动模型激活规则很好的完成了运动模型激活任务。

从图11中可知：本发明的多模型方法平均误差在1cm左右，可见使用本发明的多模型方法跟踪结果的投影误差较小。

本发明的仿真实验在Matlab上编译完成，执行环境为Windows框架下的HP工作站，运行速度为23帧/秒，达到实时跟踪要求，时间复杂度低。

本发明使用多模型方法进行人体运动跟踪，采用运动捕捉数据训练得到的运动模型作为滤波器的状态方程，减少了人体运动歧义性的影响；模型跳转规则的使用不仅解决了小运动模型集合无法准确跟踪复杂人体运动的问题，而且避免了同时使用大量运动模型带来的不必要的竞争；关节点检测算法检测效果比较准确，并且消耗的运行时间较少；跟踪每帧时，只使用与当前运动模式相容的运动模型，而不是总运动模型集，降低了时间复杂度。仿真结果表明，该跟踪方法准确的得到了三维的姿态恢复，减少了人体运动歧义性，降低了时间复杂度。

Claims (3)

1.一种多模型人体运动跟踪方法，包括：

(1)输入人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影进行细化处理；

(2)根据处理后的人体视频图像，进行如下关节点检测：

2a)使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多时的圆心作为头节点；

2b)选取人体侧影重心为根节点；

2c)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；

2d)使用粒子滤波检测手、肘、肩关节点位置；

2e)使用下肢长度检测膝、脚关节点位置；

(3)从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采用岭回归方法训练运动模型方程的状态转移矩阵Fⁱ，并计算该运动模型的噪声w_k协方差，获得的运动模型集合称为总运动模型集M＝{m₁,m₂,m₃,m₄,m₅,m₆}，其中m₁表示僵硬的行走模型，m₂表示行走模型，m₃表示平衡行走模型，m₄表示Jack跳模型，m₅表示跳跃模型，m₆表示下蹲模型；

(4)将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运行交互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为初始当前模型集合M₁；

(5)以k时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；

(6)根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值大小满足设定的运动模型激活规则，记此时刻为k₀，记当前模型集合为M_o，记激活运动模型M_n，执行以下步骤(7)，否则，输出人体运动姿态估计，执行步骤(5)；

(7)将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态，将当前模型集合M_o和激活运动模型M_n合并为新的当前模型集合M_k；

(8)根据新的当前模型，重新执行上述交互式多模型一个周期，若当前新的模型集合M_k中运动模型的模型概率小于10^-4，则终止该运动模型，输出人体运动姿态估计，并返回执行上述步骤(5)；否则，输出人体运动姿态估计，执行步骤(8)；

上述步骤2d)所述的使用粒子滤波检测手、肘、肩关节点位置，按如下步骤进行：

2.1)根据关节点位置，生成以关节点为中心的矩形框，肩、肘、手关节点的矩形框大小分别为：17×17，11×11，23×21，记矩形框中像素的不变距特征phi_t为关节点先验特征；

2.2)采用二阶自回归模型更新前一时刻获得的关节点位置：

${\hat{x}}_t=A{x}_{t-1}+B{v}_{t-1}+C{w}_t---\left(1\right)$

其中，x_t-1是肩、肘、手关节点图像坐标位置，

是关节点位置的更新，A和B为单位矩阵,v_t-1是关节点的移动速度，v_t-1＝(x_t-1-x_t-3)/2，C与移动速度v_t-1相等，w_t是[-1,1]之间的一个随机数；

2.3)检测关节点x_t时，更新N_s次关节点位置，更新一次获得一个采样粒子，N_s的计算公式如下：

$N_s=\mathrm{floor}(2\×v_{t-1}^x\×v_{t-1}^y)+10,$ 其中 $v_{t-1}=[v_{t-1}^x,v_{t-1}^y]---\left(2\right)$

其中，分别是速度v_t-1的x轴和y轴分量，粒子数加10是为了防止速度分量为零的情况；

2.4)根据2.1)步给出的矩形框大小，获得以采样粒子为中心的模板图像，计算采样粒子i的不变距特征

的权重Weight_i：

${\mathrm{Weight}}_i=-\exp (1-\frac{{\mathrm{phi}}_p^i\·{\mathrm{phi}}_t^T}{\mathrm{norm}\left({\mathrm{phi}}_p^i\right)\×\mathrm{norm}\left({\mathrm{phi}}_t\right)}),i\≤N_s---\left(3\right)$

其中，

是第i个采样粒子不变距特征，phi_t为采样粒子对应关节点的关节点先验特征，norm为2范数，归一化权重向量，使得

2.5)关节点x_t的位置计算公式如下：

$x_t=\underset{i=1}{\overset{N_s}{\mathrm{\Σ}}}{\mathrm{particle}}_i\×{\mathrm{Weight}}_i---\left(4\right)$

其中，particle_i表示第i个采样粒子的图像位置；

2.6)根据关节点位置，重新计算当前关节点的先验特征。

2.根据权利要求1所述的多模型人体运动跟踪方法，其中步骤2e)所述的使用下肢长度检测膝和脚关节点位置，按如下步骤进行：

2e1)根据前一帧的结果计算左大腿和右大腿的长度；

2e2)根据前两帧的结果预测膝关节的位置：

$P_{\mathrm{Knee}}^k=2\×P_{\mathrm{Knee}}^{k-1}-P_{\mathrm{Knee}}^{k-2}---\left(5\right)$

其中，

表示k时刻膝关节的位置；

2e3)若左膝的预测位置在右膝的左边或者右边，则以左臀点为圆心，以左大腿长度为半径，从侧影左侧或者右侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为左膝节点，同时，以右臀点为圆心，以右大腿长度为半径，从侧影右侧或者左侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为右膝节点；

2e4)用与膝关节点的相同检测方法检测脚关节点。

3.根据权利要求1所述的多模型人体运动跟踪方法，其中步骤(6)中所述的模型激活规则，包括：

6.1)当大部分下肢的投影角度变化是上一时刻投影角度变化的t1倍时0.8<t1<1.2，需要激活的模型由下面规则决定：

6.1a)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的1.8倍，激活平衡行走模型m₃；

6.1b)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0.8倍，激活僵硬的行走模型m₁；

6.1c)若6.1a)和6.1b)两条均不满足，则不采取任何操作；

6.2)当大部分下肢的投影角度变化是上一时刻投影角度变化的t2倍时t2>1.8，需要激活的模型由下面规则决定：

6.2a)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的3.5倍，激活Jack跳模型m₄；

6.2b)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0.5倍时，激活下蹲模型m₆；

6.2c)若6.2a)和6.2b)两条均不满足，则激活跳跃模型m₅。

Images