CN107180435A - 一种适用于深度图像的人体目标跟踪方法 - Google Patents

Abstract

本发明提出了一种适用于深度图像的人体目标跟踪方法。本发明首先利用人体目标深度值，基于阈值判断设计一种目标模板更新方法。其次，通过计算Kalman滤波器的预测位置与当前跟踪框的质心位置距离，判断跟踪是否受障碍物干扰而使跟踪框跳变，设计一种障碍物屏蔽方法，消除障碍物区域对跟踪的干扰。然后通过人体目标检测的方法实现再跟踪。最后基于阈值判断，设计屏蔽障碍物解除的机制，使深度相机改变视角后，解除视角改变前的障碍物区域屏蔽。本发明使得深度图像中人体目标的跟踪成功率有明显的提高。

Description

一种适用于深度图像的人体目标跟踪方法

技术领域

本发明属于计算机视觉领域，涉及一种针对深度图像的人体目标跟踪的方法。

背景技术

在智能机器人、智能监控和无人车等的现代人工智能领域，人体目标检测与跟踪是一个关键的技术环节，对智能设备的控制决策起着至关重要的作用。因此人体目标检测与跟踪一直是计算机视觉领域的研究热点。

以微软Kinect为代表的深度信息传感器，能以较高分辨率和帧率获取深度图像序列，深度图像有着能提供距离信息、抗光照干扰能力强等的优势，在可移动的智能机器人控制中有着难以替代的作用。

卡尔曼滤波器(Kalman Filter)是一种基于被估计信息数学模型的递推滤波算法。根据对系统建立的状态模型与观测模型，Kalman滤波器可以由系统前一时刻的状态预测和估计下一时刻的状态，在目标跟踪中能起到目标位置预测的作用。该算法可靠性较高，被广泛应用于飞行器制导、无人设备控制等领域。

均值飘移(MeanShift)算法是一种基于目标颜色分布信息的半自动图像目标跟踪算法。在没有严重背景干扰的情况下，该算法能较稳定的跟踪图像序列中的运动人体。由于大多数实际情况中，人体目标跟踪过程很可能存在诸如大面积背景干扰、大面积遮挡等的问题。因此多将Kalman滤波器与MeanShift算法相结合，来解决这些问题。但是由于深度图像的特殊性，该组合方法应用到深度图像时存在以下问题：1)当人体目标靠近障碍物时，跟踪框会跳变至障碍物区域造成跟踪失败，且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。2)当人体目标较跟踪初始时刻远离深度相机，深度值改变后，在人体目标附近像素区域出现较靠近深度相机的障碍物时，跟踪框会跳变至障碍物区域，造成跟踪过失败，且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。

发明内容

为了应对上面提到的问题,本发明在传统Kalman-MeanShift组合算法基础上提出一种用于深度图像的人体目标跟踪方法。

为了实现以上目的，本发明方法主要包括以下步骤：

(1)首先针对待跟踪目标，手动初始化MeanShift跟踪区域，得到初始跟踪区域质心；

(2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；

(3)对每一帧的跟踪，将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差大于设定阈值D1，更新目标直方图模板为当前跟踪区域的直方图；

(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；

(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，障碍物被屏蔽；

(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；

(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离大于设定阈值D3，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。

本发明具有如下有益效果：

1、当人体目标与深度相机的距离改变后，跟踪区域的颜色分布直方图与初始时刻的模板匹配较差，在适当更新模板后，各帧的跟踪区域与模板匹配度好，降低跟踪被其他物体干扰的可能性。

2、人体目标靠近障碍物时，跟踪框会跳变至障碍物区域，增加的障碍物屏蔽机制能有效抑制再跟踪后的各帧里，跟踪框继续跳变。

3、对于靠近障碍物造成的跟踪框跳变，人体目标检测机制能有效、准确的实现再跟踪。

4、当深度相机视角改变时，原本屏蔽的区域已经不是障碍物区域，此时响应的障碍物屏蔽解除机制能避免屏蔽区域对后续跟踪的影响。

附图说明

图1改进Kalman-MeanShift算法流程图。

具体实施方式

下面结合附图描述本发明改进Kalman-MeanShift算法的深度图像人体目标跟踪方法。

图1为改进算法流程图，主要包括以下几个步骤：

(1)首先针对待跟踪目标，初始化MeanShift跟踪区域，得到初始跟踪区域质心；

(2)对跟踪框质心运动轨迹建立相关运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；

(3)将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差较大则表明当前的目标区域深度值较初始时刻变化较大，此时更新目标直方图模板为当前跟踪区域的直方图；

(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置距离过大，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；

(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，，障碍物被屏蔽；

(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；

(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离较大，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。

下面逐一对各步骤进行详细说明。

步骤一，模板更新

(一)基于人体目标深度值的模板更新方法

MeanShift是一种基于模板匹配思想的跟踪算法。跟踪初始化后，初始帧的目标区域颜色分布直方图即为跟踪过程中的模板。在深度图像中，由于人体运动，人体目标区域的深度值会发生变化，因此初始帧的目标模板在深度图像中不能作为整个跟踪过程的模板，模板更新方法旨在让人体目标远离或者靠近深度相机时，都有相应的模板用来进行准确跟踪，其实现思想即设定阈值，实时比较当前帧的跟踪区域深度与模板深度，若二者相差大于阈值，就更新当前跟踪区域为新的模板，具体过程如下：

1)记录初始帧跟踪模板区域质心位置的深度值P_ini；

2)在每一帧的跟踪过程中，计算当前跟踪区域质心位置深度值P_cur与模板区域质心位置深度值P_ini之差；

3)设定深度差阈值D₁，若在某一帧中，当前跟踪区域质心位置深度值与模板区域质心深度值差值过大，即当

|P_ini-P_cur|＞D₁ (1)

成立，则更新目标模板，用当前跟踪区域颜色直方图作为新的模板同时重置P_ini的值为新的模板区域质心位置深度值。

步骤二，障碍物屏蔽

(一)障碍物干扰判断

在跟踪开始之前，建立线性的运动模型，用于跟踪过程中Kalman滤波器对目标质心位置的预测。跟踪过程中，可以利用Kalman滤波器预测位置与当前跟踪区域的质心位置的距离作为障碍物是否干扰跟踪的判断。一般情形下，相邻帧间人体运动的位置变化比较小，并且Kalman滤波器的预测位置与MeanShift跟踪质心比较接近，但当目标靠近障碍物，跟踪框质心会瞬间偏离，而Kalman滤波器预测位置在两帧间不会出现大幅移动，因此如果在某一帧中，Kalman滤波器预测位置y1与当前跟踪框质心位置y₂过大，即当

Dis(y₁,y₂)＞D₂ (2)

成立，则认为人体目标正在受障碍物干扰且已经发生跳变，此时认定跳变后的区域为障碍物区域。

(二)障碍物屏蔽方法

障碍物屏蔽即让MeanShift在后续跟踪过程中不再将目标区域收敛到障碍物区域，因此屏蔽的具体做法是在障碍物区域覆盖一块掩膜，将其与附近区域像素区分开。

步骤三，目标检测再跟踪

(一)基于机器学习的再跟踪方法

屏蔽障碍物后需要再跟踪的步骤，来进行后续的跟踪。由于靠近障碍物造成的跳变是由障碍物与人体目标的深度值过于接近引起的，因此在跳变发生前，跟踪框就有小幅度的偏差，Kalman滤波器的预测位置已然不够准确，所以利用目标检测的方法来实现再跟踪。用事先由多种深度、多种姿态、多种角度下的大量深度图像人体数据集训练好的能应用于一般情形下深度图像人体检测的分类器重新检测出人体区域，将检测得到的区域作为新的跟踪区域，就完成了再跟踪。

步骤四，障碍物屏蔽解除

对于静态背景而言，障碍物屏蔽能一直生效且不影响正常跟踪，而对于深度相机会改变视角的动态背景，在深度相机视角改变后，障碍物已经不在被屏蔽的区域，因此在这种情形下需要解除障碍物屏蔽。无论视角如何改变，被跟踪的人体目标应该始终在深度相机视角内，因此，判断是否需要解除障碍物即判断人体目标是否远离屏蔽区域即可，给定阈值，在屏蔽机制响应后的各帧中，计算当前跟踪区域质心位置y₂与屏蔽区域质心位置y_s的距离，若距离过大，即当

Dis(y₂,y_s)＞D₃ (2)

成立，则认为人体目标已远离障碍物区域，可以解除屏蔽。

实验表明，改进后的Kalman‐MeanShift算法针对深度图像的人体目标跟踪具有很高的可行性，跟踪成功率较传统方法有明显的提高。

Claims (1)

1.一种适用于深度图像的人体目标跟踪方法,其特征在于在深度图像中能避免传统Meanshift-Kalman跟踪方法在跟踪过程中可能导致的跟踪框跳变现象，该方法具体包括以下步骤：

(1)首先针对待跟踪目标，手动初始化MeanShift跟踪区域，得到初始跟踪区域质心；

(2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；

(3)对每一帧的跟踪，将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差大于设定阈值D1，更新目标直方图模板为当前跟踪区域的直方图；

(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；

(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，障碍物被屏蔽；

(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；

(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离大于设定阈值D3，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。