CN106952294A - 一种基于rgb‑d数据的视频跟踪方法 - Google Patents

Abstract

本发明公开一种基于RGB‑D数据的视频跟踪方法，包括：获取目标数据并建立实时更新的自适应深度信息模板；使用基于深度信息模板的融合RGB‑D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置；使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度；启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。采用本发明的技术方案,提升了跟踪算法在存在遮挡，复杂背景等挑战因素下的跟踪鲁棒性和精度。

Description

一种基于RGB-D数据的视频跟踪方法

技术领域

本发明属于计算机视觉和视频跟踪领域，尤其涉及一种基于RGB-D数据的视频跟踪方法。

背景技术

目标跟踪是估计目标对象在一系列视频图像序列中的状态，在许多机器视觉相关的应用领域，诸如运动分析，活动识别等，都扮演着非常重要的角色。众多相关研究人员针对不同场景下的不同的视频跟踪需求，提出了多种基于视频的目标对象跟踪方法。然而在实际应用环境中，存在许多使目标跟踪问题的处理，变得异常困难的不可控因素，譬如遮挡，表观模型形变，光照变化不均匀等等。所以，开发出一个健壮，通用，鲁棒的视频跟踪算法，已经成为机器视觉领域中的一个难题。

现今跟踪算法数量众多，性能各异，但大体上主要分为生成式与判别式两大类。生成式算法是在目标周围寻找与目标特征最匹配的算法。比如传统的mean-shift算法，基于直方图统计的方法，等等。判别式算法则是将跟踪过程看成典型的二分类问题，通过局部搜索，判断待搜索对象是目标块还是背景块，从而进行目标区分。比如基于Boots-trapping分类器的跟踪算法^[]，基于多例学习的跟踪算法^[]等等。近年来，一些结合了二者的优点，融合这两类方法思想的方法被提出，跟踪算法研究也取得了进一步的发展。

其中，具有代表性的典型算法是2013年K.Zhang等提出的基于目标上下文灰度特征的快速时空上下文学习跟踪方法，简称STC方法^[]。该方法利用目标对象及其邻域组成的上下文信息的灰度特征，在预定义范围内进行特征相似性搜索匹配实现目标和背景分离。其中，预定义搜索范围，可基于自适应学习进行尺度自适应更新。该方法具有鲁棒性高，速度快的优势，并且在自适应处理局部遮挡方面表现出较为不错的效果；然而在存在复杂背景杂波，连续遮挡及交叉遮挡等情况下，表现效果不佳。

2014年，基于STC的跟踪算法，徐等提出了WSTC(weighted spatio-temoporalcontextlearninging)，即权重时空上下文学习算法。该算法通过计算前后帧的光流信息，对上下文信息进行分级，提升了STC算法中基于上下文的前景和背景的分离效果，在一定程度上解决了目标跟踪受背景杂波干扰的问题。然而，仅仅基于彩色上下文特征信息，难以解决因完全遮挡，交叉遮挡等严重遮挡导致的目标丢失问题，且当出现与目标彩色特征极其相似的背景时，该方法表现也不尽如人意。

近几年，随着深度传感器如微软的kinect^[]设备的出现，深度信息开始逐渐被引入计算机视觉领域。但由于基于kinect相关设备的跟踪算法还处于起步阶段，多数算法的研究目标单一不具有普适性，且深度数据的采集精度方面尚不完全，因而相关的较为成熟且具有普适性的跟踪算法还较为少见，而融合RGB-D数据的跟踪算法就更为稀少。2015年Zhaoyun Chen等人^[]在二维上下文特征信息的基础上引入深度信息，提出了三维空间上下文信息模型，实现了三维空间的快速上下文学习跟踪算法(CD)。该算法通过建立三维空间的上下文信息，进一步增强了上下文算法中，上下文信息区分目标和背景的能力。事实上，基于深度信息辅助的目标跟踪研究方兴未艾，更多的具有普遍意义的应用深度信息的跟踪算法尚有待提出。

发明内容

为了能够更好解决在跟踪过程中，跟踪目标在受到严重遮挡，复杂背景变化等因素干扰的条件下，导致目标丢失的问题，本发明在快速时空上下文学习(STC)算法的基础上，通过建立融合深度和彩色信息的上下文模型和基于深度时域的遮挡检测处理机制，提出了一个新的融合RGB-D信息的改进时空上下文学习的跟踪方法，提升了跟踪算法在存在遮挡，复杂背景等挑战因素下的跟踪鲁棒性和精度。

一种基于RGB-D数据的视频跟踪方法包括：

步骤(1)、获取目标数据并建立实时更新的自适应深度信息模板；

步骤(2)、使用基于深度信息模板的融合RGB-D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置；

步骤(3)、使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度；

步骤(4)、启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。

作为优选，步骤(1)包括以下步骤：

目标自适应深度信息模板初始化

在第一帧中，基于groundtruth得到boundingbox内的深度区间范围[d1,d2]，尺度S₁＝(h₁,w₁)，其中h₁是boundingbox的高度，是boundingbox的宽度，考虑以区间范围[d1,d2]为横轴，建立深度信息直方图，柱状图个数为n₁，并分别计数各区间范围内的像素个数，记为t_k,k∈{1,2...n₁}，计算公式如下：

其中，maxt_k的深度范围记为[d1',d2']，

如果rateM＞＝c，c是常数，则定义D₁＝[d1',d2']，即为初始化深度信息模板，

如果rateM＜c，则需要对该范围进行一定程度的放缩，即

D₁＝[d1”,d2”]＝[max(d1'-k'×η,d1),min(d2'+k'×η,d2)]＝[d1₁,d2₁] (2)

其中η是常数，k'从1开始，运行数次直到rateM≥c，此时，算法停止。最终得到初始化的深度信息模板D₁＝[d1₁,d2₁]。

深度信息模板自适应更新

第一帧计算结束后，在之后每帧跟踪计算结束时，根据当前跟踪目标boundingbox内的深度分布情况，对深度信息模板D_t(D_t是第t帧的深度信息模板)进行更新，当获取第t帧时，boundingbox内深度分布均值为avg_t，并计算前后两帧均值深度差，定义为dvg_t-1

dvg_t-1＝avg_t-avg_t-1 (3)

由于目标物体在连续n帧的运动具有连续性，同向性，且可能会出现偶然跳变的情况，所以依据目标的移动情况，定义更新后的深度信息模板如下，则更新后的深度信息模板有

作为优选，步骤(2)具体为：

基于融合RGB-D信息的时空上下文模型，并且在根据上下文模型运算计算得到目标位置之前，需要得到自适应深度信息模板，并基于模板信息，动态更新上下文范围，计算深度权重和彩色权重，建立融合深度和彩色信息的改良时空权重上下文模型，之后将计算出的权重转换为概率图，并计算出目标位置。

根据以上所述，需要计算出一个用以评估目标物体可能位置的概率置信图(aconfidence map)

c(x)＝P(x|o) (5)

其中x∈R²是目标位置，o定义目标在场景中的存在，在最近的帧(In-currentframe)中,目标的位置x^*是给定的，局部上下文特征定义X^c＝{c(z)＝(B(z),z)|z∈Ω_c(x^*)}，B(z)定义了在位置z的上下文的表征情况，即融合RDB-D信息的上下文模型，Ω_c(x^*)是位置x^*的近邻,通过边缘联合概率P(x,c(z)|o)，推导出目标物体可能出现位置的概率置信图函数

其中，P(c(z)|o)是目标对象的空间上下文先验概率，P(x|c(z),o)模型定义了目标物体位置和它上下文的空间关系，最终通过计算求得概率置信图，进而就得目标物体的位置，

定义融合RGB-D数据的改良上下文模型：

P(c(z)|o)＝c₁*I(z)w_σ(z-x^*)+c₂*Dw(c1,c2为常数) (7)

其中I(g)上下文的是图像灰度值，w_σ(z-x^*)是高斯权重函数。

定义深度权重矩阵Dw

P(x|c(z),o)＝h^sc(x-z)(9)，h^sc(x-z)是一个关于目标位置x到它局部上下文的相对距离和方向的函数，即空间上下文模型，并进行实时更新

其中ρ是学习参数，

之后依据上述公式，计算置信图，并用Fast FourierTransform(FFT)和卷积计算进行化简

最后根据上述结果计算得到目标在第t帧的位置。

作为优选，步骤(3)具体为：

在步骤(2)中得到当前目标的位置之后，需要根据相应信息，计算当前帧的目标的尺度，即，

定义目标物体尺度(groundtruth)S_t＝(h_t,w_t)，其中h_t是，boundingbox的高度，w_t是boundingbox的宽度，初始时，可根据深度信息模板D₁,可划定出一个泛目标尺度范围，记为R₁＝(h′₁,w′₁)，h′₁，w′₁分别是第一帧上下文计算中的模糊高度和模糊宽度，可以得到在第一帧，实际尺度和模糊尺度的比值为

其中，S_t是估算目标在第t帧的目标尺度，R_t是求得目标在第t帧的模糊尺度，

同时为了防止目标出现异常情况，又通过权重分离的形式，对模型做了改进得到公式(13)，以增强了尺度变化计算的稳定性，

作为优选，步骤(4)具体为

根据步骤2和步骤3可以得到目标在第t帧boundingbox的位置和尺度，根据boundingbox对应的深度图，可以求得boundingbox内，像素点的个数n_t，同时依据第t帧，深度信息模板D_t＝[d1_t,d2_t]，计算boundingbox内, 的像素点的个数，记为u_t

定义每帧boundingbox的遮挡率：

对于boundingbox内的跟踪目标来说，其在boundingbox内的占比是相对稳定的，因而可取常数σ，当时，仍采用上文跟踪算法得到的结果，当时，此时推断boundingbox内的遮挡已经对跟踪结果产生了不可避免的影响，此时启用遮挡处理算法，

由于物体在连续帧的运动模型具有一致性，且运动轨迹具有连续性，因此，根据连续数帧，目标对象的移动动量和运动轨迹，估算被遮挡的第t帧目标的位置和状态，

定义第t帧的轨迹位移：

则推测当前第t帧，被遮挡的目标的实际位置：

当遮挡率时，舍弃当前帧的计算结果，因而当前帧的尺度保留为上一帧的尺度，同时保留上一帧的尺度S，更新参数φ和深度模板更新变化量dvg

S_t＝S_t-1

φ_t＝φ_t-1

dvg_t-1＝dvg_t-2 (18)

附图说明

图1为本发明基于RGB-D数据的视频跟踪方法的流程图。

具体实施方式

如图1所示，本发明实施例提供一种基于RGB-D数据的视频跟踪方法，以视频序列的深度图和彩色图为输入数据，并在视频序列的第一帧中对跟踪目标进行指定，依次计算除第一帧外，跟踪目标在视频序列每帧中的位置。跟踪结果表示为目标在图像中的boundingbox的位置与大小。本发明的目标跟踪流程的步骤依序分别为：获取目标数据并建立实时更新的自适应深度信息模板；使用基于深度信息模板的融合RGB-D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置；使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度；启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。具体包括如下步骤：

步骤(1)、获取目标数据并建立实时更新的目标自适应深度信息模板。

目标自适应深度信息模板，定义了跟踪目标在每一帧中的深度可信范围，是本发明的跟踪算法的基础。

A.目标自适应深度信息模板初始化

在第一帧中，基于groundtruth，我们可得到boundingbox内的深度区间范围[d1,d2]，尺度S₁＝(h₁,w₁)，其中h₁是boundingbox的高度，是boundingbox的宽度。但是[d1,d2]并不是真正意义上目标对象所处的深度信息范围，我们需要在此基础上估算出一个可信的目标深度取值范围，并定义其为目标对象的初始化深度信息模板D₁。估算可信深度范围的原则是保证boundingbox内超过50％的象素点落在深度信息模板范围内(因为对于给定groundtruth而言，跟踪目标所占比通常都远高于0.5)。

在具体实现上，考虑以区间范围[d1,d2]为横轴，建立深度信息直方图，柱状图个数为n₁，并分别计数各区间范围内的像素个数，记为t_k,k∈{1,2...n₁}，计算公式如下：

maxt_k的深度范围记为[d1',d2']。如果rateM＞＝c，(c是常数通常取0.5)，则定义D₁＝[d1',d2']，即为初始化深度信息模板。

如果rateM＜c，则需要对该范围进行一定程度的放缩。

D₁＝[d1”,d2”]＝[max(d1'-k'×η,d1),min(d2'+k'×η,d2)]＝[d1₁,d2₁] (2)

其中η是常数，k'从1开始，运行数次直到rateM≥c，此时，算法停止。最终得到初始化的深度信息模板D₁＝[d1₁,d2₁]。

B.深度信息模板自适应更新

第一帧计算结束后，我们在之后每帧跟踪计算结束时(且遮挡检测机制检测通过)，根据当前跟踪目标boundingbox内的深度分布情况，对深度信息模板D_t(D_t是第t帧的深度信息模板)进行更新。我们获取第t帧时，boundingbox内深度分布均值为avg_t，并计算前后两帧均值深度差，定义为dvg_t-1

dvg_t-1＝avg_t-avg_t-1 (3)

由于目标物体在连续n帧的运动具有连续性，同向性，且可能会出现偶然跳变的情况，所以我们依据目标的移动情况，定义更新后的深度信息模板如下，则更新后的深度信息模板有

步骤(2)、使用基于深度信息模板的融合RGB-D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置。在STC跟踪算法中，作者通过计算跟踪目标的RGB时空上下文,获得相应彩色权重，将上下文信息转换为概率置信图，最终通过计算概率图，得到目标位置。本发明在此部分运行过程与STC算法近似，但是不同在于，本发明是基于融合RGB-D信息的时空上下文模型，并且在根据上下文模型运算计算得到目标位置之前，需要得到自适应深度信息模板，并基于模板信息，动态更新上下文范围，计算深度权重和彩色权重，建立融合深度和彩色信息的改良时空权重上下文模型。之后计算近似STC算法，同样需将计算出的权重转换为概率图，并计算出目标位置。

根据上文所述，对于本发明需计算出一个用以评估目标物体可能位置的概率置信图(a confidence map)

c(x)＝P(x|o) (5)

其中x∈R²是目标位置，o定义目标在场景中的存在。在最近的帧(In-currentframe)中,目标的位置x^*是给定的。局部上下文特征定义X^c＝{c(z)＝(B(z),z)|z∈Ω_c(x^*)}，这里B(z)定义了在位置z的上下文的表征情况，在本发明中即融合RDB-D信息的上下文模型，Ω_c(x^*)是位置x^*的近邻,通过边缘联合概率P(x,c(z)|o)，推导出目标物体可能出现位置的概率置信图函数

其中，P(c(z)|o)是目标对象的空间上下文先验概率。P(x|c(z),o)模型定义了目标物体位置和它上下文的空间关系。最终通过计算求得概率置信图，进而就得目标物体的位置。

本方案中，为了更好地区分上下文中的目标和背景，我们引入深度信息对跟踪算法模型进行改良。由于我们并不清楚当前帧目标实际情况，因而采用上一帧D_t-1＝[d1_t-1,d2_t-1]的先验深度模板信息。为了利用深度信息和深度信息模板，融合计算深度和彩色权重，实现对目标和背景的分离，建立融合RGB-D的信息的上下文模型，我们定义融合RGB-D数据的改良上下文模型：

P(c(z)|o)＝c₁*I(z)w_σ(z-x^*)+c₂*Dw(c1,c2为常数) (7)

其中I(g)上下文的是图像灰度值，w_σ(z-x^*)是高斯权重函数。

定义深度权重矩阵Dw

P(x|c(z),o)＝h^sc(x-z)(9)。h^sc(x-z)是一个关于目标位置x到它局部上下文的相对距离和方向的函数，即空间上下文模型，并进行实时更新

其中ρ是学习参数。

之后依据上述公式，计算置信图，并用Fast FourierTransform(FFT)和卷积计算进行化简

最后根据上述结果计算得到目标在第t帧的位置。

步骤(3)、使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度。在步骤(2)中得到当前目标的位置之后，需要根据相应信息，计算当前帧的目标的尺度。在STC算法中，目标对象在当前帧的尺度，是依据基于彩色上下文模型计算所得的置信图和若干帧前的目标对象的尺度得到的。但STC上下文模型基于彩色上下文特征信息，在对目标特征的模拟上，比起本模型存在一定差距，因而计算结果比之本发明算法模型存在一定的差距。所以，本发明希望利用深度信息本身的优势，建立一种新的基于深度信息及深度信息模板的，计算跟踪目标尺度的方法，以求使目标尺度计算达到较优的效果。依据的优化原则是：满足深度信息模板的像素集合内，对应目标的像素总和占总像素之比，在相邻帧间的各个方向变化保持稳定。

定义目标物体尺度(groundtruth)S_t＝(h_t,w_t)，其中h_t是，boundingbox的高度，w_t是boundingbox的宽度。初始时，可根据深度信息模板D₁,可划定出一个泛目标尺度范围，记为R₁＝(h′₁,w′₁)，h′₁，w′₁分别是第一帧上下文计算中的模糊高度和模糊宽度，可以得到在第一帧，实际尺度和模糊尺度的比值为

由于目标物体在连续n帧的运动连续性,φ数值具有稳定变化性，我们可通过这个性质，计算第t帧的目标尺度。其中S_t是估算目标在第t帧的目标尺度，R_t是求得目标在第t帧的模糊尺度(模糊尺度是目标在上下文计算中，依据深度信息模板划分出的目标大概的尺度)。

同时为了防止目标出现异常情况，我们又通过权重分离的形式，对模型做了改进得到公式(13)，增强了尺度变化计算的稳定性。

步骤(4)、启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。本发明在保有跟踪算法传统流程的基础上，引入了一种基于深度时域变化的遮挡检测和处理机制，用以处理在目标处于严重遮挡的场景下，出现跟踪丢失的情况。

在深度图I中，对于boundingbox内,每个像素如果有则说明该点为跟踪目标的一部分(由于boundingbox本身范围的限制，绝大多数I_xy应为目标的一部分)。当时(c＞0且为常数)，基于深度差的定义，则该点很可能为遮挡点。显然，当的数量超过一定数目时，由此产生的遮挡范围便会严重影响到跟踪的结果，必然也会影响到跟踪的准确性。

根据上文所述，我们可以得到目标在第t帧boundingbox的位置和尺度。根据boundingbox对应的深度图，我们可以求得boundingbox内，像素点的个数n_t。同时依据第t帧，深度信息模板D_t＝[d1_t,d2_t]，计算boundingbox内,的像素点的个数，记为u_t。

定义每帧boundingbox的遮挡率：

对于boundingbox内的跟踪目标来说，其在boundingbox内的占比是相对稳定的，因而我们可取常数σ，当时，仍采用上文跟踪算法得到的结果，当时，此时我们推断boundingbox内的遮挡已经对跟踪结果产生了不可避免的影响，此时启用遮挡处理算法。

由于物体(或者人体)在连续帧的运动模型具有一致性，且运动轨迹具有连续性，因此，根据连续数帧，目标对象的移动动量和运动轨迹，可以估算被遮挡的第t帧，目标的位置和状态。

定义第t帧的轨迹位移：

则我们推测当前第t帧，被遮挡的目标的实际位置：

当遮挡率时，我们舍弃当前帧的计算结果，因而我们当前帧的尺度保留为上一帧的尺度，同时保留上一帧的尺度S，更新参数φ和深度模板更新变化量dvg。

S_t＝S_t-1

φ_t＝φ_t-1

dvg_t-1＝dvg_t-2 (18)

已将上述方案应用于Princeton RGB-D数据集，并使用其中20组RGB-D数据进行评价，涵盖包括heavy Occlusion(遮挡),Cross shade(交叉遮挡),Background clutter(背景杂波),Scale variation(尺度变化),drastic deformation(剧烈形变)，总计3260帧。选取了近年来效果较好的数组基于RGB信息跟踪算法进行对比试验，分别是STC，circulantstructure tracker以及Compressive tracke。所有实验结果运行在I7 4790CPU和8G RAM。

当前最流行的两种跟踪算法评价标准：中心位置误差(center location errorCLE)和跟踪成功率(Success rate SR),所有的实验结果依赖于算法计算出的结果以及对应帧标定的groundtruth。

其中center location error是对应每帧，跟踪实验得到的目标中心点到groundtruth标定的目标中心点的距离。而SR是基于定义，其中是第i帧目标boundingbox，是第i帧groundtruth的boundingbox,完全重合时为1，完全不重合为0，部分重合则score在0-1之间。即score＞0.5视频帧数与总视频帧数的比值，score的计算公式：

包含本发明算法在内的四组算法的量化结果见表1。从表1我们可以看出，因为在计算过程中引入了深度信息数据，本发明算法比起其他算法在跟踪精度上有了较大的提升。20组数据，在SR的对比实验中，本发明算法有12组数据SR超过了0.5，有6组超过了0.85，甚至有1组精度达到了100％，20组数据种有18组的SR高于其他算法。而在CLE的实验对比中，20组中数据，本发明算法有16组比起其他算法效果要好，其中误差在20以内的有9组，10以内有3组，还有一组误差接近1。平均CE相比其他算法，提升明显。其中涉及到Cross shade和Occasion的场景，本发明的算法比起其他算法性能上都有了较为明显的提升。从这可以看出，本发明算法，在处理遮挡频繁出现的场景，比起其他基于RGB数据的跟踪算法，有较为明显的优势。此外，在附加了deformation和background clutter的情况下，本发明算法也能保持较高的精度，凸显了本发明在面对复杂场景和严重遮挡时较强的鲁棒性。以下我们将根据跟踪干扰因素的情况，分析实验。

表1若干算法在多组视频序列上的实验结果对比

本发明通过引入深度信息对STC算法的上下文特征加以扩展，提出了一种新的基于RGB-D信息融合的改进的时空上下文学习模型；该模型可借助鲁棒的深度实时更新模板，对彩色上下文模板，乃至整个融合模型进行实时更新，在此基础上，实现了融合深度和彩色信息的目标跟踪算法。相比原有的STC算法，本发明在上下文定义方面，提出了融合深度信息的时空上下文特征，强化了对目标的全局特征表示能力；在尺度更新方面，提出了新的基于深度信息的尺度更新模板，提升了目标尺度定义精度；在上下文学习机制方面，提出了基于深度更新机制的融合模型更新方法，提升了学习效果。此外，本发明创造性地提出了目标实时遮挡检测及量化方法，并在此基础上，对跟踪模型进行遮挡自适应更新，实现了面向遮挡的目标跟踪算法。实验表明，本发明在目标出现严重遮挡，交叉遮挡等复杂遮挡情况时，跟踪实验效果远高于传统跟踪算法，展现出了较为优异的性能，甚至在存在复杂的背景杂波和形变的情况下，依然能保持较为不错的性能，实验效果稳定。

Claims (5)

1.一种基于RGB-D数据的视频跟踪方法，其特征在于，包括：

步骤(1)、获取目标数据并建立实时更新的自适应深度信息模板；

步骤(2)、使用基于深度信息模板的融合RGB-D信息的改良上下文模型的跟踪算法，计算当前帧的目标位置；

步骤(3)、使用基于深度信息模板的尺度更新算法，计算当前帧的目标对象尺度；

步骤(4)、启用基于深度时域变化估算的遮挡检测及处理机制，判断上一步跟踪结果的正确性，并根据判断结果进行处理。

2.如权利要求1所述的基于RGB-D数据的视频跟踪方法，其特征在于，步骤(1)包括以下步骤：

目标自适应深度信息模板初始化

在第一帧中，基于groundtruth得到boundingbox内的深度区间范围[d1,d2]，尺度S₁＝(h₁,w₁)，其中h₁是boundingbox的高度，是boundingbox的宽度，考虑以区间范围[d1,d2]为横轴，建立深度信息直方图，柱状图个数为n₁，并分别计数各区间范围内的像素个数，记为t_k,k∈{1,2...n₁}，计算公式如下：

其中，maxt_k的深度范围记为[d1',d2']，

如果rateM＞＝c，c是常数，则定义D₁＝[d1',d2']，即为初始化深度信息模板，

如果rateM＜c，则需要对该范围进行一定程度的放缩，即

D₁＝[d1”,d2”]＝[max(d1'-k'×η,d1),min(d2'+k'×η,d2)]＝[d1₁,d2₁] (2)

其中η是常数，k'从1开始，运行数次直到rateM≥c，此时，算法停止。最终得到初始化的深度信息模板D₁＝[d1₁,d2₁]。

深度信息模板自适应更新

第一帧计算结束后，在之后每帧跟踪计算结束时，根据当前跟踪目标boundingbox内的深度分布情况，对深度信息模板D_t(D_t是第t帧的深度信息模板)进行更新，当获取第t帧时，boundingbox内深度分布均值为avg_t，并计算前后两帧均值深度差，定义为dvg_t-1

dvg_t-1＝avg_t-avg_t-1 (3)

由于目标物体在连续n帧的运动具有连续性，同向性，且可能会出现偶然跳变的情况，所以依据目标的移动情况，定义更新后的深度信息模板如下，则更新后的深度信息模板有

3.如权利要求1所述的基于RGB-D数据的视频跟踪方法，其特征在于，步骤(2)具体为：

基于融合RGB-D信息的时空上下文模型，并且在根据上下文模型运算计算得到目标位置之前，需要得到自适应深度信息模板，并基于模板信息，动态更新上下文范围，计算深度权重和彩色权重，建立融合深度和彩色信息的改良时空权重上下文模型，之后将计算出的权重转换为概率图，并计算出目标位置。

根据以上所述，需要计算出一个用以评估目标物体可能位置的概率置信图(aconfidence map)

c(x)＝P(x|o) (5)

其中x∈R²是目标位置，o定义目标在场景中的存在，在最近的帧(In-current frame)中,目标的位置x^*是给定的，局部上下文特征定义X^c＝{c(z)＝(B(z),z)|z∈Ω_c(x^*)}，B(z)定义了在位置z的上下文的表征情况，即融合RDB-D信息的上下文模型，Ω_c(x^*)是位置x^*的近邻,通过边缘联合概率P(x,c(z)|o)，推导出目标物体可能出现位置的概率置信图函数

其中，P(c(z)|o)是目标对象的空间上下文先验概率，P(x|c(z),o)模型定义了目标物体位置和它上下文的空间关系，最终通过计算求得概率置信图，进而就得目标物体的位置，

定义融合RGB-D数据的改良上下文模型：

P(c(z)|o)＝c₁*I(z)w_σ(z-x^*)+c₂*Dw(c1,c2为常数) (7)

其中I(g)上下文的是图像灰度值，w_σ(z-x^*)是高斯权重函数。

定义深度权重矩阵Dw

P(x|c(z),o)＝h^sc(x-z)(9)，h^sc(x-z)是一个关于目标位置x到它局部上下文的相对距离和方向的函数，即空间上下文模型，并进行实时更新

其中ρ是学习参数，

之后依据上述公式，计算置信图，并用Fast Four ierTransform(FFT)和卷积计算进行化简

最后根据上述结果计算得到目标在第t帧的位置。

4.如权利要求1所述的基于RGB-D数据的视频跟踪方法，其特征在于，步骤(3)具体为：

在步骤(2)中得到当前目标的位置之后，需要根据相应信息，计算当前帧的目标的尺度，即，

定义目标物体尺度(groundtruth)S_t＝(h_t,w_t)，其中h_t是，boundingbox的高度，w_t是boundingbox的宽度，初始时，可根据深度信息模板D₁,可划定出一个泛目标尺度范围，记为R₁＝(h′₁,w′₁)，h′₁，w′₁分别是第一帧上下文计算中的模糊高度和模糊宽度，可以得到在第一帧，实际尺度和模糊尺度的比值为

其中，S_t是估算目标在第t帧的目标尺度，R_t是求得目标在第t帧的模糊尺度，

同时为了防止目标出现异常情况，又通过权重分离的形式，对模型做了改进得到公式(13)，以增强了尺度变化计算的稳定性，

5.如权利要求1所述的基于RGB-D数据的视频跟踪方法，其特征在于，步骤(4)具体为

根据步骤2和步骤3可以得到目标在第t帧boundingbox的位置和尺度，根据boundingbox对应的深度图，可以求得boundingbox内，像素点的个数n_t，同时依据第t帧，深度信息模板D_t＝[d1_t,d2_t]，计算boundingbox内,的像素点的个数，记为u_t

定义每帧boundingbox的遮挡率：

对于boundingbox内的跟踪目标来说，其在boundingbox内的占比是相对稳定的，因而可取常数σ，当时，仍采用上文跟踪算法得到的结果，当时，此时推断boundingbox内的遮挡已经对跟踪结果产生了不可避免的影响，此时启用遮挡处理算法，

由于物体在连续帧的运动模型具有一致性，且运动轨迹具有连续性，因此，根据连续数帧，目标对象的移动动量和运动轨迹，估算被遮挡的第t帧目标的位置和状态，

定义第t帧的轨迹位移：

则推测当前第t帧，被遮挡的目标的实际位置：

当遮挡率时，舍弃当前帧的计算结果，因而当前帧的尺度保留为上一帧的尺度，同时保留上一帧的尺度S，更新参数φ和深度模板更新变化量dvg

S_t＝S_t-1

φ_t＝φ_t-1

dvg_t-1＝dvg_t-2 (18) 。