CN107403436B - 一种基于深度图像的人物轮廓快速检测与跟踪方法 - Google Patents

Abstract

本发明涉及深度图像的实时人物轮廓检测与跟踪的技术领域，更具体地，涉及一种基于深度图像的人物轮廓快速检测与跟踪方法。一种基于深度图像的人物轮廓快速检测与跟踪方法，其特征在于，包括人物轮廓快速检测和人物轮廓掩模实时跟踪步骤，所述的人物轮廓快速检测步骤如下：S1.通过人物运动确定背景区域；S2.背景模型更新策略依据背景区域深度图像像素值变化的大小与方向进行更新；S3.通过背景减除得到人物轮廓区域，并依赖其区域再次进行背景更新；所述的人物轮廓掩模实时跟踪步骤如下：S4.基于深度信息对人物轮廓掩模区域进快速分割；S5.对分割后轮廓进行基于轮廓掩模重叠性跟踪；S6.重检测策略。

Description

一种基于深度图像的人物轮廓快速检测与跟踪方法

技术领域

本发明涉及深度图像的实时人物轮廓检测与跟踪的技术领域，更具体地，涉及一种基于深度图像的人物轮廓快速检测与跟踪方法。

背景技术

如今，人机交互技术正在迅猛发展，其中人体的姿态分析是人机交互中领域中不可或缺的部分。而在深度图像中提取人体轮廓对姿态分析有重要的意义，通过深度图像的人物轮廓信息有利于对人体骨骼点的分析，进而进行进行体感游戏、虚拟试衣等应用的二次开发。目前，在这一领域的商用的算法有微软公司开发KinectV2 SDK与Primesense公司开发的NITE2算法，二者能够在深度图像中提取人物轮廓并计算出人物骨骼点位置，算法运行时间为30fps。但是，二者在场景复杂的情况下均有不足，KinectV2 SDK在人物距离深度摄像机较近时(<1.5m)时提取的人体掩模容易出现噪声，人物在场景中触碰物体，如椅子、桌子等，容易出现掩模突变缺失或增长现象，进行人物间交换位置时，人物ID信息容易错乱等问题。并且KinectV2 SDK对计算资源要求过高，要求支持DirectX 11.0以后的GPU，像笔记本这种没有装载NVIDIA GeForce和AMD Radeon外置GPU的情况下，很多笔记本无法运行。NITE2算法对于复杂场景中人物靠近或者触碰物体也存在掩模突变缺失或增长现象，会对人体骨骼点识别造成影响。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于深度图像的人物轮廓快速检测与跟踪方法，本方法通过人物简单运动，形成稳定的背景模型，进行背景减除得到人物轮廓，并且不容易受到场景物体干扰。而后，通过对轮廓分割，以对轮廓掩模进行实时跟踪，对人物之间交换位置有良好的效果。

本发明的技术方案是：一种基于深度图像的人物轮廓快速检测与跟踪方法，其中，包括人物轮廓快速检测和人物轮廓掩模实时跟踪步骤，所述的人物轮廓快速检测步骤如下：

S1.通过人物运动确定背景区域；

S2.背景模型更新策略依据背景区域深度图像像素值变化的大小与方向进行更新；

S3.通过背景减除得到人物轮廓区域，并依赖其区域再次进行背景更新；

所述的人物轮廓掩模实时跟踪步骤如下：

S4.基于深度信息对人物轮廓掩模区域进快速分割；

S5.对分割后轮廓进行基于轮廓掩模重叠性跟踪；

S6.重检测策略。

本发明中，本方法对动态场景进行建模，解决人物间与场景中物体触碰时掩模突变的问题，提高人物间交换位置时，ID信息的准确性，本方法在KinectV2与Xtion等主流深度图传感器上有良好的适应性，并在计算资源为corei5 CPU的电脑笔记本上平均速率大于30fps，无须使用GPU。

进一步的，所述的步骤S1中，背景区域确定的方法为：首先通过帧间差找出人物运动区域，再通过填充确定完整人物区域，从而反向确定背景区域。

所述的步骤S2中，背景更新方法为：当得到上述的运动人物区域后，可以对此之外的区域进行背景更新。

所述的步骤S3中，利用人体掩模进行背景更新的方法为：当得到人体的掩模和运动掩模后，对此的的区域进行或操作，得到了人物的大致区域，对其剩余的区域，认为是背景，对其应用上述的背景更新方法进行背景更新。

所述的步骤S4中，基于深度信息对人物轮廓掩模区域进快速分割方法为：对于尺度比较大的掩模，进行逐行扫描，对扫描到的掩模上的选取一个像素点，对其四邻域进行检测，如果四邻域中，存在至少一个像素点对应的深度值域对于选取的像素点的差比较大，可以认为这个像素点是一个分界点，视为一个边缘点，作为分割。

本发明利用深度摄像机获取深度图像，通过人物简单运动，形成稳定的背景模型，进行背景减除得到人物轮廓。而后，通过对轮廓分割，以对轮廓掩模进行实时跟踪。本发明利用深度图像距离特性与人物运动特性对动态场景背景进行快速建模，利用前景掩模二维重叠性进行跟踪，提出了一种在深度图像中能够达到实时的，稳定的，抗干扰的人物轮廓快速检测与跟踪的解决方案。

与现有技术相比，有益效果是：本发明通过人物简单运动，得到稳定的背景模型，并能区分场景中运动的人物与突变的物体，对背景模型进行实时更新，适应动态背景建模。本发明提出了深度图像中人物掩模的分割算法，能够快速找到人物间的边界，可满足实时性要求。本发明提出基于深度图像检测的人体掩模的实时跟踪算法，算法利用深度图像中人物轮廓在视频序列中的重叠区域，实现实时人物轮廓跟踪，并且该算法对于人物间的交互有良好的适应性。

附图说明

图1为本发明深度图像中动态背景建模的流程图；

图2为本发明人物运动帧间差图；

图3为本发明运动中的完整人物图；

图4为本发明场景背景图。

图5为本发明人物掩模图。

图6为本发明基于深度图像的人物轮廓掩模实时跟踪算法流程图。

图7为本发明基于深度图像的掩模分割效果图。

图8为本发明基于掩模重叠跟踪法示意图1。

图9为本发明基于掩模重叠跟踪法示意图2。

图10为本发明基于掩模重叠跟踪法示意图3。

图11为本发明双人接触效果图。

图12为本发明基于掩模重叠跟踪法示意图4。

图13为本发明基于掩模重叠跟踪法示意图5。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

一种基于深度图像的人物轮廓快速检测，流程图如图1所示，其中，包括：

1)通过人物运动确定背景区域；

2)背景模型更新策略依据背景区域深度图像像素值变化的大小与方向进行更新；

3)通过背景减除得到人物轮廓区域，并依赖其区域再次进行背景更新；

所述的步骤1)中背景区域确定的方法为：

首先通过帧间差找出人物运动区域，再通过填充确定完整人物区域，从而反向确定背景区域。详细步骤如下：

定义两个示性数与求解运动像素图P_move和定义

I_move(x,y)∈P_move，提出公式：

I_m(x,y)＝abs(I_i(x,y)-I_i-1(x,y)) (3)

上式中公式(1)的JMove()示性函数用于判断通过帧差法公式(3)计算得到运动像素的差值是否大于阈值d₁，如果大于阈值d₁，我们则认为这是运动像素，否则不是。公式(2)的JBg()示性函数用于判断通过差值法公式(4)计算得到的该像素值是否大于阈值d₂，如果大于阈值d₂，就认为这个点不是背景点。公式(5)通过两个示性函数值的与运算并乘上I_w＝255，得到一个二值化的运动像素图P_move(如图2所示)，该P_move图将用于建模的初级阶段，而得到的二值化的运动图的目的是指示运动的情况，并且应用二值化图像的特性，有利于往后进行降噪的操作，并有降维的效果。为了得到运动人物所在的完整区P_{moving_people}图(如图3所示)，即运动人物图，人物图以外的黑色区域即背景区域。我们可以进行以下操作：

Region(P_move)＝BoundingBox(FindContour(P_move)) (8)

P_{moving_people}(x,y)＝{(x,y)|(x,y)∈Region(P_move)} (9)

其中我们定义u为滤波器，u对图像P_move的数字图像中里的形态学的开运算，即公式(7)，也就是先用滤波器对其进行腐蚀，再对其进行膨胀。FindContour()是OpenCV一个函数，用于计算出连通分离轮廓，我们利用公式(8)得到其区域。BoundingBox()是OpenCV里的函数，可以用对轮廓找到其矩形区域，Region就是矩形域的集合。利用公式(9)得到完整的人物图。形态学的开运算可以用来消除移动的小物体，例如噪声，一些移动的物体，并且可以在平滑较大物体边界同时部明显改变其面积。

所述的步骤2)中背景更新方法为：

当得到上述的运动人物区域后，我们可以对此之外的区域进行背景更新。背景的像素值通常不容易发生变化，时间比较长都为一个较为稳定的值。这里我们将引入一个背景分数图P_{bg_score}去衡量这种变化，这个分数图对应于背景图P_bg，指示对应位置背景图像素的分数。分数高则说明在背景图对应位置上的像素值命中率高，分数高使得背景图就不容易发生改变，认为是一个坚固的背景。而分数低的值，对于背景图相对位置的像素点容易被改变，相对没那么坚固。而我们对于背景模型的像素值的更新依赖于这个分数图，对于某个像素值的更新，我们使用如下的公式(10)进行更新：

type∈{bg,move,bg_score}，其中MAXScore是分数的最大值，I为像素值，I_i为当前帧P_i的像素值。有背景更新的公式可以看出，分数越高背景像素就越难改变，分数越低，背景像素点就越容易朝着新的像素值方向去改变。这里我们定义一个背景命中图P_{bg_init}，其实定义为公式(12)(13)，分数的更新公式(11)如下：

I_{bg_score}＝I_{bg_score}+I_{bg_hit}·C (11)

其中，C是一个常数，d是一个判断是否是背景像素值的一个阈值。分数更新的原理是，让分数变长地增长。当某一帧的某个像素位置的值和背景模型该位置的值相差不大，我们给予一个基本的奖励分，当一系列帧的某个位置像素值都与背景图像该位置的像素值相差不大，我们可以认为这几帧连续命中，给予梯度式的奖励，奖励分数越来越多。图4展示了算法通过人物运动计算得到的背景模型。

所述的步骤3)中利用人体掩模进行背景更新的方法为：

当我们得到人体的掩模和运动掩模后，我们对此的的区域进行或操作，得到了人物的大致区域，对其剩余的区域，我们认为是背景，对其应用上述的背景更新方法进行背景更新。图5为人物掩模，通过掩模能够在深度图像出的到人体的轮廓。

一种基于深度图像的人物轮廓掩模实时跟踪算法，流程图如图6所示，其中，包括：

1)基于深度信息对人物轮廓掩模区域进快速分割；

2)对分割后轮廓进行基于轮廓掩模重叠性跟踪；

3)重检测策略

所述的步骤1)中基于深度信息对人物轮廓掩模区域进快速分割方法为：

对于尺度比较大的掩模，进行逐行扫描，对扫描到的掩模上的选取一个像素点，对其四邻域进行检测，如果四邻域中，存在至少一个像素点对应的深度值域对于选取的像素点的差比较大，我们可以认为这个像素点是一个分界点，视为一个边缘点，作为分割。公式(14)为分割公式，我们令

其中P_i为当前帧，I_i为当前帧像素值，P_mask为掩模。I_i(u,v)是像素I_i的四邻域。ζ是一个经验值，建议取值30，现实意义代表30mm。

图7(a)为人体分割前的混合掩模，图7(b)为分割后的掩模图，从图中，我们可以看到分割后，人物间出现了一条黑线，这是人物间的边界线。

所述的步骤2)中对分割后轮廓进行基于轮廓掩模重叠性跟踪方法为：

当我们得到上述检测掩模后，若对其给予一个颜色标签，当是检测摄像机前出现了N个掩模，对应就有N个颜色标签。当下一帧出现时，若也检测到N个掩模，我们需要对去做匹配。匹配的方案的就利用掩模间的重叠面积进行区分，若一个掩模A在上一帧被标注的颜色为红色，而当前帧，出现一个掩模B与上一帧A掩模有像素重叠，并且有一定数量像素的重叠，以去除噪声的影响。这时我们可以认为当前帧的掩模B应该被标注为红色。图8为当前掩模B匹配上一帧的掩模A，所以当前B的标签也给予红色。

若一个掩模A在上一帧被标注的颜色为红色，一个掩模B在上一帧被标注成蓝色。在当前帧中，出现一个掩模C，这个掩模与掩模A与掩模B均有重叠，此时，有可能出现以下3种情况。

①掩模C占据掩模A的面积远大于掩模B，这时给予掩模C标注红色，由于人物的运动基本上是连续的，当摄像机帧数达到30帧每秒时，摄像机对于人物运动捕捉足够快，对于同一个人物，他们有重叠较多的掩模区域的可能性时十分大的。对应掩模C占据掩模B的面积远大与掩模A，这时给予掩模C标注蓝色，即图9所示。

②掩模C占据掩模A与掩模B的面积相当，并且掩模C的面积为掩模A与掩模B的和，这时我们认为掩模C中存在两个人物，需要对掩模C进行分割，同理可推两人以上的情况。这种情况的出现一般由于人物在深度图像中连通起来，形成一个连通体，像素区域发生突变，形成一个包含上一帧两个人的一个联合区域。如图10所示，图11为真实情况下，人物掩模的分割效果。

③掩模C没有占据上一帧任何一个有颜色标签的掩模，或者占据的上一帧某个掩模极其小的部分，我们可以为这一个掩模C需要赋予一个新的掩模标签，如图11所示。

所述的步骤3)中重检测策略实现方法为：

人物重检测指人物被物体或者他人完全遮挡或者几乎完全遮挡，而暂时丢失，但人物并未离开摄像机可视范围，这时需要对人物进行重检测。一个重要应用场景就是人物互相交换位置，处于被遮挡的人物会消失在画面中而再出现，这种情况在体感游戏中常发生，我们需要对此重检测。我们将人物轮廓状态分为3种，“0”代表“在线”状态，是人物被跟踪到，“1”代表“遮挡”状态，遮挡状态下，人物A被人物B遮挡住，仍然是一种激活的状态，激活状态下，再此被识别的权重会有所增加，“2”代表“离开”状态。人物掩模无法找到上帧“在线”的人物掩模匹配，触发重检测机制，对于还处于生存期的人物模型，即“遮挡”和“离开”状态下的人物模型，对其进行匹配，匹配原则是考虑点云平均深度与形心位置的加权值小于某个阈值，我们可以认为这是同一个人物。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于深度图像的人物轮廓快速检测与跟踪方法，其特征在于，包括人物轮廓快速检测和人物轮廓掩模实时跟踪步骤，所述的人物轮廓快速检测步骤如下：

S1.通过人物运动确定背景区域；

S2.得到步骤S1背景区域后，依据背景区域深度图像像素值变化的大小与方向进行更新；背景更新方法为：当得到人物运动区域后，对此之外的区域进行背景更新；背景的像素值通常不容易发生变化，时间比较长都为一个较为稳定的值；这里将引入一个背景分数图P_{bg_score}去衡量这种变化，这个分数图对应于背景图P_bg，指示对应位置背景图像素的分数；分数高则说明在背景图对应位置上的像素值命中率高，分数高使得背景图就不容易发生改变，认为是一个坚固的背景；而分数低的值，对于背景图相对位置的像素点容易被改变，相对没那么坚固；而对于背景模型的像素值的更新依赖于这个分数图，对于某个像素值的更新，使用如下的公式(10)进行更新：

type∈{bg,move,bg_score}，其中MAXScore是分数的最大值，I为像素值，I_i为当前帧P_i的像素值；P_move表示运动像素图；

S3.通过背景减除得到人物轮廓掩模区域，并依赖其区域再次进行背景更新；

所述的人物轮廓掩模实时跟踪步骤如下：

S4.基于深度信息对人物轮廓掩模区域进行快速分割；

S5.对分割后轮廓进行基于轮廓掩模以及基于时序的连通区域重叠区域面积计算的跟踪；

S6.人物被物体或者他人完全遮挡或者几乎完全遮挡，而暂时丢失，但人物并未离开摄像机可视范围，对人物进行重检测。

2.根据权利要求1所述的一种基于深度图像的人物轮廓快速检测与跟踪方法，其特征在于：所述的步骤S1中，背景区域确定的方法为：首先通过帧间差找出人物运动区域，再通过填充确定完整人物区域，从而反向确定背景区域。

3.根据权利要求1所述的一种基于深度图像的人物轮廓快速检测与跟踪方法，其特征在于：所述的步骤S3中，利用人物轮廓掩模进行背景更新的方法为：当得到人物轮廓掩模和运动掩模后，对人物轮廓掩模和运动掩模区域进行或操作，得到了人物的大致区域，对其剩余的区域，认为是背景，对其应用上述的背景更新方法进行背景更新。

4.根据权利要求1所述的一种基于深度图像的人物轮廓快速检测与跟踪方法，其特征在于：所述的步骤S4中，基于深度信息对人物轮廓掩模区域进行快速分割方法为：对于尺度比较大的掩模，进行逐行扫描，对扫描到的掩模上的选取一个像素点，对其四邻域进行检测，如果四邻域中，存在至少一个像素点对应的深度值域对于选取的像素点的差比较大，可以认为这个像素点是一个分界点，视为一个边缘点，作为分割。

Images