CN101789125B - 一种无标记单目视频人体骨架运动跟踪方法 - Google Patents

Abstract

一种无标记单目视频人体骨架运动跟踪方法。其步骤如下：(1)视频图像预处理，得到背景和人体分离的二值图像；(2)二值图像距离变换，得到几何骨架；(3)几何骨架处理，寻找其端点及拐点，作为几何骨架的关键点；(4)根据预设的人体骨骼模型中人体关节的相对位置关系，对几何骨架关键点进行人体关节语义的标识；(5)对成功标识为人体关节的每个点，使用稀疏特征集光流跟踪的方法，在后继帧中找到对应的匹配点；(6)对跟踪结果中的失效部分，采用粒子滤波的方法，估计该失效部分可能的状态，恢复跟踪过程。本发明可实现单目视频中人体运动的无标记、自动跟踪，有效解决因环境变化及遮挡等因素造成的跟踪丢失问题，保证人体运动跟踪的快速与稳定性。

Description

一种无标记单目视频人体骨架运动跟踪方法

技术领域：

本发明属于计算机视觉领域，特别涉及一种无标记单目视频人体骨架运动跟踪方法。

背景技术：

人体骨架提取与跟踪是人体运动分析的一个重要方法。现有的骨架提取与跟踪方法主要是带标记点(marker)的方法，比如目前商用较为广泛的Vicon公司的MoCap运动获取系统，即要求实验人员配带各种特定的外部设备，这种方法限制了它的适用范围和灵活性，同时也增加了成本。

Pedram Azad等在文献”Robust Real-time Stereo-based Markerless Human MotionCapture”中提出一种基于双目匹配的无标记人体运动捕获方法，该方法利用肤色及衣服颜色的特殊性，作为滤波器中似然函数所选择的参数，进行人体的定位与跟踪，实现了对人体上半身运动的实时跟踪。但是，该方法要求使用特定的双目相机所摄取的视频作为输入，也有一定的局限性。

发明专利CN 101246602A“基于几何骨架的人体姿态重建方法”中，只提取了第一帧图像的骨架，然后通过跟踪点的方法找到后续图像中的关节，但并没有对跟踪出现丢失或者错误的情况做处理，由于环境的多变性及各种遮挡的存在，跟踪很难持续下去，在短时间内跟踪中断的可能性很大。

本发明根据人体骨架的生理特征，对原始图像进行处理得到几何骨架，结合自定义的人体骨骼模型，自动提取并标记人体骨架，并依据视频连续帧之间的时空相关性，进行骨架的运动跟踪，对于跟踪中出现的丢失、错误现象，使用滤波的方法来估计正确的位置，以恢复跟踪状态。本方法保证了整个人体骨架提取与跟踪的自动完成，不需要各种人为的标记设备，降低了实验成本，扩大了方法的适用范围。同时，本方法结合了图像特征跟踪与滤波估计各自的特点，保证了跟踪过程的快速与稳定性。

发明内容：

本发明的目的是提出一种无标记单目视频人体骨架获取及运动跟踪方法，通过与标准骨骼模型比对获得人体骨架的关节点，利用帧间的时空相关性恢复可能中断的跟踪，使得人体运动跟踪更加稳定持久、灵活方便，并且有效降低实验成本。

本发明提出的一种无标记单目视频人体骨架运动获取方法，包括以下步骤：

1、图像预处理：使用背景差的方法对相机采集的视频图像进行预处理，提取出前景；使用基于轮廓多边形的方法，对前景进行优化。

2、采用距离变换的方法得到前景物体的几何骨架。

3、求取几何骨架的关键点：以求线条拐点和端点的方法得到曲线骨架上的特征点，按照距离最近的原则将特征点分组，取各组中点为曲线骨架的关键点。

4、寻找与自定义骨骼模型模板匹配的几何骨架，标记关节点：根据关键点的数目及相对位置判断是否属于人体特定姿态下的关节点数目及拓扑关系，若符合要求，即找到人体特定姿态下的骨架，通过关节间拓扑结构，得到线棍骨架；否则，重复步骤1-4，直到找到人体特定姿态骨架为止。

5、基于稀疏特征点集光流方法的关节点跟踪：对已确定关节点的先前帧，根据关节点在原始彩色图像中的位置，计算这些关节点到后继帧的光流矢量，找到与其对应的后继帧中的关节点。对于后继帧中根据光流方法求得的每个关节点，按照人体关节点的约束，判断跟踪正确性；按照当前帧速下人体运动速度的约束，判断跟踪正确性。

6、局部粒子滤波：对于判断不正确的关节点，使用粒子滤波的方法，从前一帧中的这些已知关节点及当前帧中的图像特征，估计当前帧中这些关节点的可能位置。

附图说明：

图1为无标记单目视频人体骨架运动跟踪流程示意图。

图2为图像预处理过程中相关步骤的效果图；图2a为背景去除、前景填充后的效果图，图2b为对前景轮廓进行多边形逼近的效果图。

图3为通过距离变换得到的几何骨架图，图3a为进行距离变换的输入二值图像，图3b为得到的几何骨架图。

图4a为自定义的人体标准骨骼模型；图4b为成功标记关节的几何骨架，图中圆球的颜色代表了不同的人体关节名称。

图5a、图5b、图5c、图5d为实验效果示意图，左侧列为经过图像预处理后的二值图像，中间列为通过几何变换得到的几何骨架，右侧列为通过跟踪与估计得到的关节点按人体结构连接后的骨架图。

具体实施方法：

为了更好的理解本发明的技术方案，以下结合附图和实施示例做进一步详细叙述。

1、图像预处理的方法和过程如下：

1)将相机采集的原始图像由RGB的表示形式转换为由表示亮度的Y分量和表示色度的Hue分量表示，以减少在分离前景时阴影所造成的影响，其转换公式如下：

Y＝0.299*R+0.587*G+0.114*B

令 $I=\max (R,G,B),S=\left\{\begin{array}{ccc}(I-\min (R,G,B))/I& \mathrm{if}& I\≠0\\ 0& \mathrm{otherwise}& \end{array}\right.$

if S≠0，令delta＝max(R，G，B)-min(R，G，B)

则 $\mathrm{Hue}=\left\{\begin{array}{cc}(G-B)*60/\mathrm{delta}& \mathrm{if\; I}=R\\ 120+(B-R)*60/\mathrm{delta}& \mathrm{if\; I}=G\\ 240+(R-G)*60/\mathrm{delta}& \mathrm{if\; I}=B\end{array}\right.$

若Hue＜0，则Hue＝Hue+360；

2)采集一定数量的背景图像，统计背景像素点的亮度色度均值及背景图像像素点总的亮度色度方差，以动态的取得使用背景差的方法分离前景时所使用的阈值。采集分辨率为W*H大小的N张背景图像，所要得到的背景统计结果按如下公式计算：

I_X(i，j)表示像素(i，j)点的X(亮度Y或色度Hue)分量的值，E_X(i，j)表示(i，j)像素点的X(亮度Y或色度Hue)分量的均值，D_X表示背景图像X(亮度Y或色度Hue)分量的方差，计算公式如下：

$E_X(i,j)=\underset{N}{\mathrm{\Σ}}{I}_X(i,j)/N$

$D_X=\underset{W*H}{\mathrm{\Σ}}\underset{N}{\mathrm{\Σ}}\left(I_X(i,j)-E_X(i,j)\right)/N*W*H$

3)取常数K₁，K₂，K₃，令I_X(i，j)表示图像(i，j)像素点X(亮度Y或色度Hue)分量的值，按如下规则分离背景与前景：

令DeltaY＝|I_Y(i，j)-E_Y(i，j)|，DelatHue＝|I_Hue(i，j)-E_Hue(i，j)|，

${\mathrm{\σ}}_Y=\sqrt{D_Y},{\mathrm{\σ}}_{\mathrm{Hue}}=\sqrt{D_{\mathrm{Hue}}}$

若DeltaY＜K₁σ_Y，则点P(i，j)∈background；

若K₁σ_Y≤DeltaY＜K₂σ_Y，则分以下两种情况：

a.若DelatHue＜2*K₁σ_Hue，则点P(i，j)∈background；

b.若DeltaHue≥2*K₁σ_Hue，则点 $P(i,j)\∉\mathrm{background};$

若K₂σ_Y≤DeltaY＜K₃σ_Y，则分以下两种情况：

a.若DelatHue＜K₁σ_Hue，则点P(i，j)∈background；

b.若DelatHue≥K₁σ_Hue，则点 $P(i,j)\∉\mathrm{background};$

若DelatY≥K₃σ_Y，则点 $P(i,j)\∉\mathrm{background}.$

4)求出前景轮廓所围区域面积，对于外层轮廓，如果所围面积小于预设定的阈值，说明此区域是噪声区域，并非真实的前景区域，判断为背景区域，反之，说明是前景区域；对于内层轮廓，如果所围面积小于预设定的阈值，说明此区域是由于噪声而产生的空洞，并非真实的洞，判断为前景区域，反之，说明是图像原有的洞，是背景区域。

5)对于图像的背景区域，以全黑色填充，前景区域按照原始采集图像的颜色值不变，得到的图像为彩色前景图像；对背景区域按全黑色填充，前景区域按照全白色填充得到二值前景图像。

6)对二值前景图像的的白色部分的轮廓进行多边形逼近，消除不规则边缘，给定一轮廓点序列V，令DPbasic(V，m，n)用于减化子轮廓V_m到V_n，DPbasci(V，m，n)规则如下：

Step1.找到距直线

最远的顶点V_P

Step2.如果 $\mathrm{dis}\tan \mathrm{ce}(V_P,\stackrel{\‾}{V_m{V}_M})>\mathrm{\ϵ},$ 则

a)DPbasic(V，m，p)；

b)DPbasic(V，p，n)；

否则，输出

2、采用距离变换的方法得到几何骨架的方法如下：

输入：二值图像I及空骨架S。

Step1.对二值图像I进行距离变换DT；

Step2.计算DT的梯度及其模|▽DT|；

Step3.通过|▽DT|得到一个极值点集合C，取其中距离变换最大的极值点s作为起始点，将集合C中的其余点组成终点集E；

Step4.搜索从起始点s开始到E中所有点的梯度最短路径R_G(s，e_i)，e_i∈E，这些路径组成候选骨架枝干集合B；

Step5.选取B中像素点最多的枝干路径R_m，删除R_m上已经在骨架S上的像素，将剩余部分作为一个分支加入S中，并把R_m从B中删除；

Step6.重复执行Step5，直到B为空。

输出：S。

3、求取几何骨架关键点的步骤如下：

1)以一定的精度求得几何骨架上的端点和拐点；

2)根据这些点的相对距离对点进行分组，每一组中的点相对距离都小于给定的阈值，即每一组的点位置都相近；

3)求出每组点的均值点，即为该几何骨架的关键点。设第i组有N_i个点，则该组的均值点为：

$\left\{\begin{array}{c}\stackrel{\‾}{P}.x=\underset{N_i}{\mathrm{\Σ}}{P}_j.x/N_i\\ \stackrel{\‾}{P}.y=\underset{N_i}{\mathrm{\Σ}}{P}_j.y/N_i\end{array}\right.,j=\mathrm{1,2},\·\·\·,N_i$

4、寻找与自定义骨骼模型模板相匹配的几何骨架的方法和步骤如下：

1)自定义一个人体站立及双臂侧开姿态下包含以下15个主要关节的人体骨骼模型，人体各肢体之间的长度比例在正常人体生理长度比例范围，所包含的15个关节点指：头、颈、左肩、右肩、左肘、右肘、左手、右手、腰、左髋、右髋、左膝、右膝、左脚、右脚。自定义模型的示意图如图4a所示，各部分的比例关系如下表所示；

身体部分	相对长度
		头长	1
肩宽	1.8
		上臂长	1
躯干长	3
		前臂长	1.1
髋宽	1.2
		大腿长	2
小腿长	2

2)判断几何骨架的关键点的数目及相对位置关系是否符合规定姿态下人体关节的相对关系以及数目是否正确，当满足以下条件时，即说明找到了特定姿态下的人体骨架，条件如下：

a)关键点的凸包点数有且只有5个，并且大致成一个对称五边形分布，最高的点为头部，次高的两点依次为左右手部关节，低处的两点依次为左右脚部关节；

b)将凸包外的剩余关键点，按照高度值y分为两组，y值较小即从图像上来看较高的一组点，按照与头部，左手，右手的关系及上肢关节点间的相互关系确定上肢的颈部，肩部，肘部关节点；下肢关节点按相同的方法确定。

5、以上步骤找到了第一个标记有关节的模板骨架，以该骨架中已标记的关节点为依据，按照稀疏特征集光流方法跟踪后继续帧中对应关节点的位置。

按照稀疏特征集光流方法，对于已标记的关节J^t(u_x，u_y)点，稀疏特征集光流方法按照如下原理公式寻找后继帧中的对应点，对于后继帧中的点J^t+1(u_x+δ_x，u_y+δ_y)，若其在以下公式中使得ε(δ_x，δ_y)最小，则该点就认为是后继帧中通过与先前帧已标记的关节点J_t-1(u_x，u_y)对应匹配的点，ε(δ_x，δ_y)的计算公式如下：

$\mathrm{\ϵ}({\mathrm{\δ}}_x+{\mathrm{\δ}}_y)=\underset{x=u_x-{\mathrm{\ω}}_x}{\overset{u_x+{\mathrm{\ω}}_x}{\mathrm{\Σ}}}\underset{y=u_y-{\mathrm{\ω}}_y}{\overset{u_y+{\mathrm{\ω}}_y}{\mathrm{\Σ}}}{(I_t\left(P(x,y)\right)-I_{t+1}\left(P(x+{\mathrm{\δ}}_x,y+{\mathrm{\δ}}_y)\right))}^2$

其中，[-ω_x，ω_x]|-ω_y，ω_y」是一个动态的图像搜索区域，I_t(P(x，y))表示在第t帧中，点P(x，y)的像素值。

获得整个骨架的对应关节点后，对跟踪到的每一个骨架关节点，按照人体生理特征的约束判断其正确性，对于新求得的关节点与人体结构相矛盾的，记为失败跟踪的点；计算跟踪得到的关节点与其对应先前帧中的关节点在图像上的距离，判断在当前帧速下，该运动距离是否在人体运动速度限制内，若超出范围，则记为跟踪失败的点。

对于跟踪失败的点，按照粒子滤波的方法，对前一帧这些关节点的状态与当前帧中所得到的图像特征，估计这些关节点在当前帧中的可能位置。

Claims (3)

1.一种无标记单目视频人体骨架运动跟踪实现方法，包括以下步骤：

1)图像预处理：使用背景差的方法对相机采集的视频图像进行预处理，提取出前景；使用基于轮廓多边形的方法，对前景进行优化；

其采用的图像预处理过程包括：

1.1)在使用背景差的方法对相机采集的视频图像进行预处理时，将原始采集的RGB图像转换为亮度Y和色度Hue，分别统计出背景图像中这两个分量的均值与方差，依据统计结果设定动态阈值划分图像中的前景部分与背景部分；

1.2)求出前景轮廓所围区域面积，对于外层轮廓，如果所围面积小于预设定的阈值，说明此区域是噪声区域，并非真实的前景区域，判断为背景区域，反之，说明是前景区域；对于内层轮廓，如果所围面积小于预设定的阈值，说明此区域是由于噪声而产生的空洞，并非真实的洞，判断为前景区域，反之，说明是图像原有的洞，是背景区域；

1.3）对背景区域按全黑色填充，前景区域按照全白色填充得到二值图像；

2)采用距离变换的方法对二值图像进行处理，得到几何骨架；

3)求取关键点：求得几何骨架线的端点和拐点作为所述几何骨架的特征点，对所有特征点按相对距离的远近分组，两点距离小于预设阈值的分为一组，对每一组中的点，分别求得其x,y坐标的均值

点

为几何骨架的关键点；

4)根据自定义的人体骨骼模型对几何骨架的关键点进行关节点语义标识：根据关键点的数目及相对位置判断是否符合自定义的人体特定姿态下骨骼模型的关节点数目及拓扑关系；若符合要求，即找到人体特定姿态下的骨架，通过关节间拓扑结构，得到线棍骨架；否则，重复步骤1)-4)，直到找到人体特定姿态骨架为止；

5)关节点位置的跟踪：对根据自定义的人体骨骼模型得到的带标记骨架中的各关节点采用稀疏特征点集的光流跟踪方法，确定后继帧中与之相匹配的关节点的位置，使后继帧中的关节点得到更新；对每个由光流跟踪得到的匹配的关节点，判断该匹配得到的关节点与邻近的关节点的相互位置是否与人体的骨骼结构矛盾，若矛盾则该关节点跟踪失败，判断相匹配的两关节点间的移动距离在当前的帧速下，是否符合人体正常的运动速度限制，若超越人体正常的运动速度范围则该关节点跟踪失败；

6)粒子滤波估计：对于步骤5)中判断为跟踪失败的关节点，采用粒子滤波的方法，估计跟踪失败的关节点在后继帧中的状态，得到这些关节点在后继帧中的位置，更新后继帧中的关节点。

2.如权利要求1所述的无标记单目视频人体骨架运动跟踪实现方法，根据自定义的人体骨骼模型对几何骨架的关键点进行关节点语义标识，包括：

1)自定义一个标准骨骼模型，其姿态为正向站立、双臂侧张，包含15个人体主要关节点：头、颈、左肩、右肩、左肘、右肘、左手、右手、腰、左髋、右髋、左膝、右膝、左脚、右脚，关节之间的长度比例关系按照人体肢体的比例关系定义，该比例符合正常人体的生理学特征，其比例关系如下表所示；

身体部分 相对长度 头长 1 肩宽 1.8 上臂长 1 躯干长 3 前臂长 1.1 髋宽 1.2 大腿长 2 小腿长 2

2)在未得到与自定义的骨骼模型相匹配的骨架时，对每帧图像的几何骨架求得关键点后，根据关键点的数目及相对位置判断是否符合自定义的人体特定姿态下骨骼模型的关节点数目及拓扑关系，若不符合，继续对后继帧的几何骨架关键点进行判断，直到找到与自定义的骨骼模型相匹配的几何骨架为止；

3)对匹配成功的几何骨架上的关键点，按照自定义的骨骼模型，进行人体关节点的语义标识，得到初始的有关节点意义的骨架。

3.如权利要求1所述的无标记单目视频人体骨架运动跟踪实现方法，对根据自定义的人体骨骼模型得到的带标记骨架中的各关节点采用稀疏特征点集的光流跟踪方法，确定后继帧中与之相匹配的关节点的位置，包括：

在进行骨架关节点跟踪时，只计算已完成关节标识的关节点的光流矢量，找到这些关节点在后继帧中的对应关节点。

Images