CN104794737A - 一种深度信息辅助粒子滤波跟踪方法 - Google Patents

Abstract

本发明公开了一种深度信息辅助粒子滤波跟踪方法，通过带深度传感器的摄像头如Kinect摄像头对图像进行采集，获取RGB以及深度数据。跟踪时，首先在第一帧选取一个跟踪目标，获得跟踪区域窗口大小，依据选取目标RGB信息，中心点深度值以及整个区域深度数据对跟踪目标进行特征建模,并按上述方法继续下一帧图像的建模。根据粒子在不同位置的不同深度值，以及第一帧的深度值，即可算出每一个粒子所描述区域的窗口大小，从而得到区域特征。按与第一帧同样方式进行建模，并与第一帧特征进行比较，最终得到最佳粒子区域。从而实现结合深度信息的粒子滤波跟踪。本发明根据采集到的RGB-D信息，即颜色及深度信息，提升目标跟踪下的准确性和鲁棒性。

Description

一种深度信息辅助粒子滤波跟踪方法

技术领域

本发明属于计算机视觉和模式识别技术领域，尤其涉及一种深度辅助粒子滤波跟踪方法。

背景技术

计算机视觉是近年来快速发展的领域之一。他的研究目的是使计算机可以代替人类的感官，对所处环境进行感知并作出相应的判断处理。随着科学技术的发展，计算机视觉领域的应用越来越广泛，无论是在军工或是民用方面。现在为了构建安全社会，监控摄像头越来越多的被安装到了大街小巷。这些监控系统依靠摄像头，可以对感兴趣的目标进行跟踪，但是怎样进行更好更精确的跟踪，是研究者们非常感兴趣的研究点。目标追踪的基本思想是在序列图像中，根据视频序列，目标在时间和空间上的相关性，从而确定目标在每一帧的位置和姿态。目标跟踪是一项所学科融合的复杂课题。他无论在军工还是民用方面都有很广的应用前景。目标跟踪研究的应用范围很广。除了上面提到的还可以用在视频压缩，裸眼3D技术中，为了给其他处理让出足够的时间，目标跟踪对时间性的要求也越来越高。但是由于许多客观因素的影响，依然没有一种可以应用于各种场景，并且实时性以及鲁棒性都很卓越的非常成熟的跟踪方法被提出。研究的难点在于：1.三维世界的信息被投影到了二维的相机上，造成了信息的丢失；2.计算机处理速度影响实时性；3，光照的不均衡以及物体的遮挡等。

在目标跟踪中，一个目标被很好的跟踪的定义为，在每一帧图像中目标的位置和形状都能被准确快速的推定。所以在目标追踪中，确定目标的位置信息和形态信息尤为关键。目标跟踪的方法，大致可以分为三种：一.使用卡尔曼(kalman Filter)滤波器或者粒子滤波器(particleFilter)的基于滤波理论的目标跟踪方法即粒子滤波跟踪算法，该算法将目标跟踪问题转化为概率密度函数的最优估计问题来跟踪目标，该算法具体包括初始化粒子、移动粒子、直方图计算、相似性计算、重采样等几个步骤，其中移动粒子的步骤可以使用粒子的一阶运动方程x_t＝Ax_t-1+Bw_t-1或者二阶x_t＝Ax_t-2+Bx_t-1+Cw_t-1来进行粒子的移动，它表示粒子的这一时刻的位置与上一时刻或者上上时刻的位置再加上一个扰动系数w有关，然而这一类跟踪方法计算量大耗时多，实时性有待提升；二.采用概率密度之间的相似性函数度量目标和候选目标中间的相似性通过梯度下降算法推导出Mean-shift向量从而对目标进行跟踪的基于Mean-shift的目标跟踪方法，这类跟踪方法计算量相对减小，但是无法解决目标的遮挡问题；三.将目标的跟踪问题转化为泛函优化问题，通过偏微分方程的求解得到泛函的极值，从而对目标进行跟踪的基于偏微分方程的目标跟踪方法，这类方法的计算量也比较大。

GPU全称Graphics Processing Unit，即计算图形处理器。他的引入使得传统的CPU的计算受到了挑战，GPU在浮点数据上的处理能力以及并行操作性是惊人的。所以目前怎样在GPU上编写高效的并行程序也是一个研究热点。

发明内容

本发明的目的在于克服传统粒子滤波算法中从三维到二维图像平面投影所造成的信息损失，提供了一种3D的目标跟踪方法，使得跟踪的鲁棒性得到了很大的提升。

本发明具体采用如下技术方案：

一种深度信息辅助粒子滤波跟踪方法，其流程如图1所示，主要包括以下步骤：

步骤1：使用带有深度传感器的摄像头为前端，获取目标区域第一帧的RGB-D图像数据；所述深度传感器能够探测并记录目标距该深度传感器的直线距离，所述RBG-D图像数据包括图像的RGB数据及图像中每一像素点对应目标所在空间位置距深度传感器的距离信息D；

步骤2：在第一帧图像中手动选择跟踪目标，并根据目标的RGB-D特征进行建模；手动选择跟踪目标所在区域并定义为跟踪窗口H₁，所述跟踪窗口的中心像素点深度为D₁，所述深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方向阈值D_th＝[0.7D₁,1.3D₁]，根据阈值D_th定义窗口区域内第i个像素点的深度方向权重ω_z，i：

${\mathrm{\ω}}_{z,i}=\left\{\begin{array}{cc}1,\mathrm{when}& D_i\∈D_{\mathrm{th}}\\ 0,\mathrm{when}& D_i\∉D_{\mathrm{th}}\end{array}\right.,$

其中，D_i是跟踪窗口区域内第i个像素点的深度值；对跟踪窗口内的区域做深度信息加权每个像素点的颜色信息I_i乘以该像素点的深度方向权重ω_z,i即得该像素点的深度信息加权值跟踪窗口区域的深度信息加权颜色矩阵为记Histo_based为跟踪窗口区域深度信息加权矩阵φ的统计直方图，即Histo_based为跟踪窗口区域的RGB-D特征模型；

步骤3：通过所述前端获取第二帧的RGB-D图像数据；

步骤4：采用粒子滤波跟踪算法，初始化N个粒子进行移动采样，粒子的新位置定义为，(x_j,y_j),j＝1,…,N；

步骤5：基于所述目标区域H₁的形状及其中心点的深度D₁，利用相似三角形原理，把每个粒子以自身坐标为中心扩展成一个粒子区域，每个粒子区域的形状与所述目标区域H₁的形状一致，每个粒子区域的边长与所述目标区域H₁的对应边长的比值等于所述粒子区域的中心粒子的深度与所述目标区域H₁的中心点深度D₁的比值；

步骤6：按照步骤2所述方法计算所述N个粒子区域的RGB-D特征并建模，得到每个粒子区域的RGB-D特征模型Histo_candidate,j,j＝1,…,N,；计算每个粒子区域的RGB-D特征模型与所述的第一帧图像中跟踪窗口区域的RGB-D特征模型Histo_based的相似度；

步骤7：从所述N个相似度中选出相似度最大值所对应的粒子区域，并将该区域对应的粒子位置按照粒子滤波算法进行粒子重采样，得跟踪目标在第二帧图像中的具体区域；

步骤8：若所述前端获得了第三帧及后续图像，则对每一帧图像依次按步骤3至步骤7所述方法进行操作，得跟踪目标在每一帧图像中的具体位置；若无则后续图像则退出执行，完成目标跟踪。

本发明的有益效果是：

本方法实现了3D方向上的目标跟踪，使得跟踪效果更好，鲁棒性更强，并且在一个实时的系统上得以实现，更好更快的获得运动目标的各种物理参数，从而为实现对目标的运动行为的掌握与理解，留下更多的时间。

附图说明

图1本发明提出基于深度信息的深度辅助粒子滤波方法基本流程；

图2本发明实施例提供的跟踪方法与传统的粒子滤波算法进行目标跟踪后的效果图；

图3本发明实施例提供的跟踪方法与传统的粒子滤波算法进行目标跟踪后的精度曲线对比图；

图4本实施例提供的跟踪方法与传统的粒子滤波算法的耗时对比图；

图5本实施例中深度图与颜色示意图；

图6本实施例中N个粒子的采样图。

具体实施方式

下面结合附图和实施例对本发明做进一步描述。

实施例

本实施例提供一种深度信息辅助粒子滤波跟踪方法，其流程如图1所示，该方法包含以下步骤：

步骤1：使用带深度传感器的摄像头前端，例如Kinect摄像头；Kinect是一种体感游戏摄像头，可以传输丰富的视频数据，其基座和感应器之间有一个电动的马达，通过程序能够调整俯仰角度，在上面的感应器中有一个红外线发射器，一个彩色摄像头，一个红外接收器；其中彩色摄像头，用来收集RGB数据，而红外线发射器和红外线接收器构成的3D结构光深度感应器用来获取深度数据；总的来说Kinect摄像头可以获得三种图像信息：1.RGB图像颜色数据；2.图像深度信息数据；3.图像骨骼信息；

在本实施例中，运用RGB图像颜色信息和图像深度信息数据构成的3D信息进行辅助跟踪，将获得的颜色以及深度数据传输到PC端进行进一步处理；

步骤2：在第一帧图像中手动选择跟踪目标所在区域并定义为跟踪窗口H₁，本实施例中跟踪目标为矩形目标，故跟踪窗口H₁为矩形窗口；所述跟踪窗口的中心像素点深度为D₁，所述深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方向阈值D_th＝[0.7D₁,1.3D₁]，根据阈值D_th定义窗口区域内第i个像素点的深度方向权重ω_z,i：

${\mathrm{\ω}}_{z,i}=\left\{\begin{array}{cc}1,\mathrm{when}& D_i\∈D_{\mathrm{th}}\\ 0,\mathrm{when}& D_i\∉D_{\mathrm{th}}\end{array}\right.,$

其中，D_i是跟踪窗口区域内第i个像素点的深度值，可从深度传感器传出数据中得到；如图5所示，其下图浅色区域是深度权值等于1的部分，深色区域为深度权值等于0的部分，这样就实现了跟踪目标与背景的分开；对跟踪窗口内的区域做深度信息加权：每个像素点的颜色信息乘以该像素点的深度方向权重即得该像素点的深度信息加权值；跟踪窗口区域经加权后得深度信息加权颜色矩阵：

其中，M×L为跟踪窗口图像大小，其单位为像素个数，I_x,y为跟踪窗口内坐标为(x,y)的像素的颜色信息；记Histo_based为跟踪窗口区域深度信息加权矩阵Ω_M×L的统计直方图，即Histo_based为跟踪窗口区域的RGB-D特征模型；

步骤3：使用摄像头加深度传感器为前端获取接下来一帧的RGB-D数据，并传输到PC端；

步骤4：根据粒子滤波跟踪原理，初始化N个粒子进行移动采样，第i个粒子的新位置定义为(x_j,y_j),j＝1,…,N，粒子扩展出的窗口区域如图6所示；

步骤5：从前端传出的数据中根据第i个粒子新位置(x_j,y_j)得到所在位置的深度信息D_i，通过相似三角形原理，计算每一个粒子对应的的粒子区域大小H_j；

步骤6：按照步骤2所述方法计算所述N个粒子区域的RGB-D特征并建模，得到每个粒子区域的RGB-D特征模型Histo_candidate,j,j＝1,…,N,；计算每个粒子区域的RGB-D模型特征与所述的第一帧图像中跟踪窗口区域的RGB-D特征模型Histo_based的相似度；

步骤7：从所述N个相似度中选出相似度最大值所对应的那个粒子区域，并将该区域对应的粒子位置按照粒子滤波算法进行粒子重采样，得跟踪目标在第二帧图像中的具体区域；

步骤8：若所述前端获得了第三帧即后续图像，则对每一帧图像依次按步骤3至步骤7所述方法进行操作，得跟踪目标在每一帧图像中的具体位置；若无则后续图像则退出执行，完成目标跟踪。

本发明实施例提供的跟踪方法与传统的粒子滤波算法进行目标跟踪后的效果对比如图2所示；本发明实施例提供的跟踪方法与传统的粒子滤波算法进行目标跟踪后的精度曲线对比如图3所示；本实施例提供的跟踪方法与传统的粒子滤波算法的耗时对比如图4所示；由图2、3、4可知，相比于传统的粒子滤波跟踪算法，本发明提供的深度信息辅助粒子滤波跟踪方法在跟踪效果、时间成本及跟踪精度上均有较大优势。

Claims (3)

1.一种深度信息辅助粒子滤波跟踪方法，主要包括以下步骤：

步骤1：使用带有深度传感器的摄像头为前端，获取目标区域第一帧的RGB-D图像数据；所述深度传感器能够探测并记录目标距该深度传感器的直线距离，所述RBG-D图像数据包括图像的RGB数据及图像中每一像素点对应目标所在空间位置距深度传感器的距离信息D；

步骤2：在第一帧图像中手动选择跟踪目标，并根据目标的RGB-D特征进行建模；手动选择跟踪目标所在区域并定义为跟踪窗口H₁，所述跟踪窗口的中心像素点深度为D₁，所述深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方向阈值D_th，根据阈值D_th定义窗口区域内第i个像素点的深度方向权重ω_z,i：

${\mathrm{\ω}}_{z,i}=\left\{\begin{array}{cc}1,\mathrm{when}& D_i\∈D_{\mathrm{th}}\\ 0,\mathrm{when}& D_i\∉D_{\mathrm{th}}\end{array}\right.$

其中，D_i是跟踪窗口区域内第i个像素点的深度值；对跟踪窗口内的区域做深度信息加权每个像素点的颜色信息I_i乘以该像素点的深度方向权重ω_z,i即得该像素点的深度信息加权值跟踪窗口区域的深度信息加权颜色矩阵为记Histo_based为跟踪窗口区域深度信息加权矩阵φ的统计直方图，即Histo_based为跟踪窗口区域的RGB-D特征模型；

步骤3：通过所述前端获取第二帧的RGB-D图像数据；

步骤4：采用粒子滤波跟踪算法，初始化N个粒子并进行移动采样；

步骤5：把每个粒子以自身坐标为中心扩展成一个粒子区域；

步骤6：按照步骤2所述方法计算所述N个粒子区域的RGB-D特征并建模，得到每个粒子区域的RGB-D特征模型Histo_candidate,j,j＝1,…,N,；计算每个粒子区域的RGB-D特征模型与所述的第一帧图像中跟踪窗口区域的RGB-D特征模型Histo_based的相似度；

步骤7：从所述N个相似度中选出相似度最大值所对应的粒子区域，并将该区域对应的粒子位置按照粒子滤波算法进行粒子重采样，得跟踪目标在第二帧图像中的具体区域；

步骤8：若所述前端获得了第三帧及后续图像，则对每一帧图像依次按步骤3至步骤7所述方法进行操作，得跟踪目标在每一帧图像中的具体位置；若无则后续图像则退出执行，完成目标跟踪。

2.根据权利要求1所述的深度信息辅助粒子滤波跟踪方法，其特征在于，所述设置深度方向阈值D_th＝[0.7D₁,1.3D₁]。

3.根据权利要求1所述的深度信息辅助粒子滤波跟踪方法，其特征在于，具体采用以下方法实现步骤5所述的粒子区域的扩展：

基于所述目标区域H₁的形状及其中心点的深度D₁，利用相似三角形原理，把每个粒子以自身坐标为中心扩展成一个粒子区域，即每个粒子区域的形状与所述目标区域H₁的形状一致，且每个粒子区域的边长与所述目标区域H₁的对应边长的比值等于所述粒子区域的中心粒子的深度与所述目标区域H₁的中心点深度D₁的比值。