CN104794733A - 对象跟踪方法和装置 - Google Patents

Abstract

提供了对象跟踪方法和装置。对象跟踪方法可以包括：获得图像序列；预测被跟踪对象的候选目标区域；确定候选目标区域的深度加权图；获得目标模板，其中目标模板用特征的概率密度分布表示；对位置在候选目标区域中滑动的候选目标，用特征的概率密度分布表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；基于目标模板的概率密度表示和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图；基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

Description

对象跟踪方法和装置

技术领域

本发明涉及图像处理，更具体地涉及计算机视觉技术中的对象跟踪方法和装置。

背景技术

目前，在计算机视觉技术领域，对象跟踪是很多应用非常重要，例如，人机交互控制系统，用户监视系统，车辆辅助驾驶系统等，这里涉及到手势跟踪、行人跟踪、车辆跟踪等。

以手势跟踪为例，手势控制系统对用户来说，尤其方便。一个有效的手势识别系统将能提供自然且有效的交互方式。而在手势识别系统中，非常重要且关键的一部分就是手的跟踪。

为了方便用户操作，手跟踪系统不应该要求用户穿戴任何特殊的设备，如特殊手套，彩色标志物等。同时，手是非刚性物体，具有运动快、易变形、自遮挡等特点，因此手跟踪技术是一项非常具有挑战性的工作。。

目前，手跟踪技术主要采用颜色特征进行跟踪。众所周知，颜色信息容易受到光照变化和背景颜色的影响，从而降低跟踪系统的鲁棒性。另外，跟踪系统还容易因受到部分遮挡或跟踪物体形态变化的影响而造成跟踪性能下降。为了提高跟踪系统的鲁棒性，目前已有很多专利和文章针对这方面进行了研究改进。

美国专利申请公开US20110211754A1公开了一种跟踪方法，该跟踪方法通过结合彩色图像和深度图像进行物体跟踪。在该发明中，分别在彩色图像和深度图像上进行物体跟踪，最终跟踪结果由彩色图像和深度图像上的跟踪结果共同决定。跟踪过程中所用的特征主要有深度信息，颜色信息和颜色运动信息，跟踪核则是融合多种特征形成，其中包括a)形状模型，如采用椭圆模型代表手的形状；b)根据手的最新位置生成相应的颜色直方图；c)采用平均深度值信息对跟踪手当前的深度值进行预测；d)更新背景模型。在该技术，由于彩色图像上的跟踪结果仍然容易受到光照条件的影响，因此在光照条件较差的情况下，跟踪结果主要取决于深度图像上的跟踪，另外，深度图上的跟踪结果主要依靠深度阈值进行判定，鲁棒性可能较差。

在作者为QIAO Bing,LI Zhicheng,HU Peng的、发表于期刊information andcontrol的标题为“Object Tracking Algorithm Based on Camshift with Dual ROIand Velocity Information Fusion”的文章中，提出了一种技术，其中为了防止跟踪物体受周围背景色的影响而导致跟踪失败，将单个ROI区域划分为两个ROI子区域，一个区域作为主要跟踪区域，而另一个区域作为附加跟踪区域。在该文章中，两个camshift跟踪器分别进行跟踪。该文章当跟踪物体与周围背景颜色完全相似时，该跟踪方法可能出现错误。

发明内容

根据本发明的一个方面，提供了一种对象跟踪方法，可以包括：获得灰度图像序列和获得相关联的深度图像序列；在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域；确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率；获得目标模板，其中目标模板用特征的概率密度分布表示；对位置在候选目标区域中滑动的候选目标，用特征的概率密度分布表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；基于目标模板的概率密度表示和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图；基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

根据本发明的另一方面，提供了一种对象跟踪装置，可以包括：图像获得部件，获得灰度图像序列和获得相关联的深度图像序列；候选目标区域预测部件，在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域；深度加权确定部件，确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率；目标模板获得部件，用于获得部件模板，其中目标模板用特征的概率密度表示；候选目标表示部件，对位置在候选目标区域中滑动的候选目标，用特征的概率密度来表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；置信度图获得部件，基于目标模板和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图；以及对象定位部件，基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

利用根据本发明实施例的对象跟踪方法和对象跟踪装置，在估计候选目标的各个特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权，与现有技术中分离地单独考虑深度信息或仅仅将深度信息用作阈值来进行不适当目标候选的过滤相比，能够在整个跟踪过程中自然地而且紧密地将深度信息结合到对象跟踪中，从而提高信息的利用率，提高跟踪的准确性。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景的示意图。

图2示出了根据本发明实施例的对象跟踪装置100的配置框图。

图3示出了根据本发明一个实施例的对象跟踪方法200的总体流程图。

图4示意性示出了针对候选目标空间区域计算得到的深度加权图的示意图。

图5(a)和(b)示意性示出了对于为分块示例图，如何根据跟踪子模板对候选跟踪区域进行划分。

图6(a)-(g)示意性地示出了基于分块和深度加权的对象跟踪方法的示意图。

图7(a)示意地示出了目标模板的划分以及目标模板与子目标模板之间的关系，图7(b)示意性地示出了子目标模板的独立更新。

图8示出了适于用来实现本发明实施方式的示例性计算系统600的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

将以下述顺序进行描述

1、应用情景示例

2、对象跟踪装置配置示例

3、对象跟踪方法的第一实施例

4、对象跟踪方法的第二实施例

5、对象跟踪方法的第三实施例

6、用于进行对象跟踪的计算系统

在下面的描述中，以跟踪对象为手进行说明，不过这仅为示例，实际上，本发明可以应用于跟踪任何对象。

1、应用情景示例

图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景的示意图。如图1所示，一部摄像机放置于计算机上方，用户站立于摄像机范围内。当用户在摄像机范围内移动他/她的手时，计算机能计算出手的真实位置信息，以达到对手实时跟踪的目的，手在不同时刻的位置点如图1中的圆点所示。

优选地，该摄像机能进行彩色图和深度图的采集，例如为双目相机。如本领域人员公知的，深度图像(Depth image)是图像中的像素点的值为深度的图像。相比于灰度图像，深度图像具有物体的深度（距离）信息，因此特别适合于需要立体信息的各种应用。另外，如公知的，一个像素点的深度值和视差值之间具有简单的换算关系，因此本发明的深度信息的含义是广义的，包括视差信息。

需要说明的是，图1只是一个示意性示例，用于跟踪手的设备不限于计算机，可以是例如游戏机，投影仪，电视机等等。

2、对象跟踪装置配置示例

下面参考图2描述根据本发明实施例的对象跟踪装置的配置示例。

图2示出了根据本发明实施例的对象跟踪装置100的配置框图。

如图2所示，对象跟踪装置100可以包括图像获得部件110、候选目标区域预测部件120、深度加权确定部件130、目标模板获得部件140、候选目标表示部件150、置信度图获得部件160、对象定位部件170。

图像获得部件110用于获得灰度图像序列和获得相关联的深度图像序列，例如接收来自双目相机的彩色图像和深度图像。

候选目标区域预测部件120用于在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域。

深度加权确定部件130用于确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率。

目标模板获得部件140用于获得目标模板，其中目标模板是用特征的概率密度表示的。

候选目标表示部件150用于对位置在候选目标区域中滑动的候选目标，用特征的概率密度来表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权。

置信度图获得部件160用于基于目标模板和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图。

对象定位部件170用于基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

可选地而非必需地，对象跟踪装置100还可以包括目标模板更新部件，用于评估对象定位部件170的跟踪结果，并在适当时进行目标模板更新。

需要说明的是，上述对象跟踪装置100的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以与成像设备例如照相机来通信，以便对照相机拍摄获得的彩色图像和/或立体图像进行处理来得到对象跟踪结果，以及可选地还可以根据对象跟踪结果对所运行的应用进行控制。另外，对象跟踪装置100的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，对象跟踪装置100的各个部件也可以利用软件和硬件的结合来实现。

需要说明的是，图2中所示的箭头只表示两个部件的功能之间存在逻辑关系，两个部件之间可以直接或者间接地操作性地连接。另外，即便图2中的某两个部件之间未示出某方向的箭头连接，但是这并不表明两者之间必然不存在该方向的逻辑关系，相反，两者之间可以存在操作性的连接关系，例如对象定位部件170和目标模板更新部件180和图像输入部件110之间可以存在逻辑关联，其中对象定位部件170和目标模板更新部件180在操作过程中可能需要利用图像输入部件110所输入的一帧或多帧图像。

上述对象跟踪装置100中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述图像获得部件110、候选目标区域预测部件120、深度加权确定部件130、目标模板表示部件140、候选目标表示部件150、置信度图获得部件160、对象定位部件170可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将图像获得部件110、候选目标区域预测部件120、深度加权确定部件130、目标模板表示部件140、候选目标表示部件150、置信度图获得部件160、对象定位部件170进一步拆分为更小的单元来实现他们各自的功能和操作。

另外，需要说明的是，图2中所示的结构并不是排他式的，相反对象跟踪装置100可以包括其他部件，例如显示部件，用于例如显示对象定位部件170处理后的结果，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等。

3、对象跟踪方法的第一实施例

下面详细描述对象跟踪装置100的各部件的功能和操作的示例。如前所述，将以手为跟踪对象进行说明。

图3示出了根据本发明一个实施例的对象跟踪方法200的总体流程图。

如图3所示，在步骤S210中，图像获得部件110获得灰度图像序列和获得相关联的深度图像序列。

例如可以通过双目相机、多目相机、立体相机拍摄图像，然后输入到图像获得部件110。输入到图像获得部件110的图像可以仅包括RGB彩色图像，然后由图像获得部件110基于所获得的RGB彩色图像（如左图像和右图像）来匹配得到深度图像。替代地，也可以将既包括RGB彩色图像也包括相关联的深度图像的图像序列输入到图像获得部件。

可选地，替代在本地直接从相机输入图像，也可以通过有线网络或者无线网络从远程接收图像。

需要说明的是，在本说明书中，以双目相机作为立体摄像机的例子，不过本发明也可以应用其他类型的立体摄像机，例如使用主动发射红外光来辅助生成立体信息的立体摄像机。这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间(Time of Flight,TOF)技术的类型，或者基于结构光(structured light)的类型等等。

在步骤S220中，在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域。

通过预测被跟踪对象的候选目标区域，以便后续在该预测得到的候选目标区域内来搜索对象，能够降低处理，提高跟踪的实时性，同时可以增强系统的鲁棒性。

例如，可以根据对象的先前运动信息例如速度、加速度等，预测对象在输入图像中的候选出现区域。

具体地，例如，在局部范围内，手运动近似于匀速运动，如果以运动速度作为预测依据，那么在当前图像中，手可能出现的位置可以基于公式(8)和(9)来计算。目前，较常用的运动预测方法有kalman滤波、粒子滤波等，本实施例可以使用任何一种预测方法。

$\left\{\begin{array}{c}{S}_{x,t}=S_{x,t-1}+V_{x,t-1}*\mathrm{\Δt}\\ S_{y,t}=S_{y,t-1}+V_{y,t-1}*\mathrm{\Δt}\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}{V}_{x,t-1}=\frac{(S_{x,t-1}-S_{x.t-2})}{\mathrm{\Δt}}\\ V_{y,t-1}=\frac{(S_{y,t-1}-S_{y,t-2})}{\mathrm{\Δt}}\end{array}\right.---\left(2\right)$

在公式(1)中，(S_x,t-1,S_y,t-1)为在上一帧中（t-1时刻）手的位置点的横坐标和纵坐标，(S_x,t,S_y,t)为在当前图像（t时刻）中，手可能出现的位置点的横坐标和纵坐标。Δt为连续两帧之间的时间间隔。公式(2)示出了运动速度计算公式。

在另一个示例中，位置区域的预测还包括深度（或距离）的预测。在这种情况下，上述公式(1)和(2)分别变为下面的公式（3）和（4）。

$\left\{\begin{array}{c}{S}_{x,t}=S_{x,t-1}+V_{x,t-1}*\mathrm{\Δt}\\ S_{y,t}=S_{y,t-1}+V_{y,t-1}*\mathrm{\Δt}\\ S_{z,t}=S_{z,t-1}+V_{z,t-1}*\mathrm{\Δt}\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}{V}_{x,t-1}=\frac{(S_{x,t-1}-S_{x,t-2})}{\mathrm{\Δt}}\\ V_{y,t-1}=\frac{(S_{y,t-1}-S_{y,t-2})}{\mathrm{\Δt}}\\ V_{z,t-1}=\frac{(S_{z,t-1}-S_{z,t-2})}{\mathrm{\Δt}}\end{array}\right.---\left(4\right)$

通过候选区域的预测，不仅可以降低处理时间，同时可以增强系统的鲁棒性。

在步骤S230中，确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率。

该步骤旨在从深度的视角，估计各个像素属于被跟踪对象的概率。

在一个示例中，确定候选目标区域的深度加权图可以包括：

首先，预测被跟踪对象在当前帧中的代表性深度值depth_object；

然后，根据下述公式（5）来计算候选目标区域中的像素i属于被跟踪对象的概率：

$v\left(i\right)=\frac{\min ({\mathrm{depth}}_{\mathrm{object}},\mathrm{depth}\left(i\right))}{\max ({\mathrm{depth}}_{\mathrm{object}},\mathrm{depth}\left(i\right))}---\left(5\right)$

其中i表示位于候选目标区域中的像素的编号，depth(i)表示像素i的深度值或像素i的局部区域的平滑深度值，min(depth_object,depth(i))表示depth(i)与depth_object中取值较小的数值；max(depth_object,depth(i))表示depth(i)与depth_object中取值较大的数值。这里像素i的局部区域的平滑深度值是考虑某些情况下由于噪声的影响，像素i自身的深度值可能并不真实准确地反映该位置处的真实深度，这时可以通过基于像素i周围区域的像素的深度值来平滑像素i的深度值，从而降低噪声的影响。在另一示例中，可以根据下述公式6来计算候选目标区域中的像素i属于被跟踪对象的概率：

$v\left(i\right)=k\left({\left|\right|\frac{\mathrm{depth}\left(i\right)-{\mathrm{depth}}_{\mathrm{object}}}{h^{\mathrm{depth}}}\left|\right|}^2\right)---\left(6\right)$

其中i表示位于候选目标区域中的像素的编号，depth(i)表示像素i的深度值或像素i的局部区域的平滑深度值，h^depth表示相对于中心点depth_object的带宽，k(·)表示核函数，例如可以是高斯函数。

作为预测被跟踪对象在当前帧中的代表性深度值depth_object的方法的示例，例如，可以将被跟踪对象在紧挨着的先前一帧或多帧图像中的平均深度值作为代表性深度值depth_object。在另一个示例中，可以将被跟踪对象在紧挨着的先前一帧或多帧图像中的取值频率最高的深度值作为代表性深度值depth_object。在另一个示例中，可以将当前帧的候选目标区域的平均深度值作为代表性深度值depth_object。在另一个示例中，可以将当前帧的候选目标区域中取值频次最高的深度值作为代表性深度值depth_object。

在另一个示例中，可以诸如利用前述公式（3）中的第三等式、公式（4）中的第三等式来通过基于历史信息获得的手在深度方向上的运动速度来估计手在当前帧中的深度值，作为代表性深度值depth_object。

图4示意性示出了针对候选目标空间区域计算得到的深度加权图的示意图。

在步骤S240中，获得目标模板，其中目标模板用特征的概率密度分布表示。

对于一个目标模板，可以用各种形式来表征。

例如最简单的，可以利用灰度图像的各个像素的RGB颜色特征来直接表示，即该目标模板。

在一个示例中，像素的特征是RGB颜色特征分量，或者说图像像素的值域是RGB颜色空间。

为了用特征空间中的各个特征的概率密度分布来表示目标模板，在一个具体示例中，可以将各个特征离散化，从而用特征空间中的特征值的概率来表示目标模板。

例如，对于三维RGB特征空间，将特征空间化分割为m个空间柱(俗称bin)，例如如果将R特征取值范围划分为a个区间，将G特征取值范围划分为b个区间，将B特征取值范围划分为c个区间，则将得到m=a*b*c个bin，也可以说特征空间中的特征值的个数（也就是bin的个数）为m。然后，可以通过统计落入各个bin（或者说，取相应特征值）中的像素的个数来表征目标模板。

设函数b(.)为区间量化函数，用于将位于x_i（二维空间中的坐标）的像素关联到量化后的特征空间中的空间柱bin，在一个示例中目标模板可以用特征空间中的各个特征值u=1…m(也可以说各个空间柱)的概率来表示，这称为目标模板表示或目标模板描述，如下面的公式(7)所示。

$q_u=C_q\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i\right)-u]*(k\left({\left|\right|\frac{x_i-x_0}{h}\left|\right|}^2\right)*v\left(i\right)))---\left(7\right)$

其中x₀表示目标区域的中心位置，一般取零，u为特征值编号，u=1…m，m如上所述表示特征空间的特征值的可能取值的总数，q_u是目标模板的特征空间的第u个特征值的概率，N为目标模板对应区域的像素点总数，i为候选目标中的像素编号，x_i是第i个像素的二维坐标，一般为归一化后的像素位置，因此上述x₀一般取零，h是相对于中心点的带宽，表示目标模板对应区域的大小，C_q为归一化系数，b(·)如前所述表示区间量化函数；δ表示Kroneckerdelta函数，其中如果b(x_i)=u，δ取值为1，否则为零；v(i)为第i个像素的深度加权值。

其中归一化系数C_q可以基于下面的公式(8)计算

$C_q=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x_i-x_0}{h}\left|\right|}^2\right)*v\left(i\right)}---\left(8\right)$

k(·)表示二维空间加权核函数，其目的是，对像素基于二维空间信息进行加权，认为由于遮挡或背景的影响，目标模板中心附近的像素比其它像素更可靠，因此对中心的像素给较大的权值，而对远离中心的像素给较小的权值。在一个示例中，核函数为高斯函数。

这样，可以计算得到目标模板的表示q=（q₁,...,q_u,…,q_m）。

关于此基于核的对象跟踪的技术和模板表示可以参考2003年发表于Pattern Analysis and Machine Intelligence,IEEE Transactions on(Volume:25,Issue:5)上的标题为“Kernel-based object tracking”的文章中的介绍。

需要说明的是，前面用RGB颜色特征为例来说明描述对象像素的特征，不过这仅为示例。可以视情况添加其它特征，或者用其它特征来代替RGB颜色特征。

例如，在一个示例中，表示对象的各个特征包括灰度信息中的颜色特征分量、灰度信息的梯度特征分量、深度图像中的梯度特征分量。在这种情况下，可以用这样的颜色特征分量、灰度信息的梯度特征分量、深度图像中的梯度特征分量的概率密度分布来表示目标模板。通过基于包括灰度信息中的颜色特征分量、灰度信息的梯度特征分量、深度图像中的梯度特征分量的特征集合来得出目标模板，相比于仅仅基于RGB颜色特征来得出目标模板的情况，信息量更加丰富，梯度特征分量更能体现手部的轮廓特征如方向特征，因此更加能够对抗噪声的影响，增强跟踪的准确性。

在一个示例中，对于特征包括灰度信息中的颜色特征分量、灰度信息的梯度特征分量、深度图像中的梯度特征分量的情况，如前面以RGB为例说明通过离散化特征来得到特征直方图那样，也可以将各个特征离散化，从而用特征空间中的特征值的概率来表示目标模板。例如，假设L维特征空间，将每一维特征i(i=1…L)的取值范围划分为n_i个区间，以将特征空间化分割为m个空间柱(即bin)，则将得到m=n₁*n₂,…*ni,…*n_L个bin。然后，可以例如基于公式(7)通过统计落入各个bin（或者说，取相应特征值）中的像素的个数来表征目标模板。

关于目标模板对应的区域，例如可以是从起始帧中手动确定一个包含跟踪目标的区域，例如矩形区域或者椭圆区域。然后对该区域中的像素通过进行上述分析统计来获得目标模板，并存储于预定存储区域。

在对后续帧的跟踪过程中，可以利用一个区域大小与目标模板的大小相同的窗口在例如步骤S220中得到的候选目标区域中滑动，将每个窗口框定的候选目标与目标模板进行匹配，来进行目标定位。

在定位成功后，可以基于最新定位到的候选目标来更新目标模板并存储。

回到图3，在步骤S250中，对位置在候选目标区域中滑动的候选目标，用特征的概率密度分布表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权。

如前所述，可以将大小与目标模板大小相同的窗口在候选目标区域上滑动，窗口定位到的区域作为候选目标，分析候选目标内的像素，来得到候选目标的表示。

下面给出候选目标的表示的示例。

对候选目标的表示与目标模板的表示类似，即对于同样的特征空间，得到在候选目标中的概率密度分布。

这里重要的方面在于，在估计候选目标的各个特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权。

假设候选目标的中心位置是y，候选目标可以表示为：p(y)=（p₁(y),...,p_u(y),…,p_m(y)）。

其中所述候选目标的特征空间的特征值的概率p_u(y)可以用下面的公式(9)计算：

$P_u\left(y\right)=C_P\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i\right)-u]*(k\left({\left|\right|\frac{x_i-y}{h}\left|\right|}^2\right)*v\left(i\right)))---\left(9\right)$

其中如前所述，y表示候选目标的中心位置，u为特征值编号，u=1…m，m表示特征空间的特征值的可能取值的总数，P_u(y)是候选目标中的特征空间的第u个特征值的概率，N为候选目标的像素点总数，i为候选目标中的像素编号，x_i是第i个像素的二维坐标，h是相对于中心点y的带宽，C_P为归一化系数，b(·)表示区间量化函数，δ表示Kronecker delta函数，k(·)表示二维空间加权核函数，v(i)为第i个像素的深度加权值。

这里的深度加权值v(i)可以是在先前的步骤S230中得到的。例如基于先前公式（5）或（6）计算得到的。

在本示例中，像素的深度加权值和二维空间位置同时用来在特征空间的特征值的概率计算中对于该像素进行加权，能够自然地而且紧密地将深度信息结合到对象跟踪中，而不是如现有技术中那样分离地单独考虑深度信息，或仅仅将深度信息用作阈值来进行不适当目标候选的过滤。

回到图3，在步骤S260中，基于目标模板的概率密度表示和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图。

在一个示例中，可以将目标模板和候选目标视为两个m维向量，即候选目标为p(y)=（p₁(y),...,p_u(y),…,p_m(y)），目标模板为q=（q₁,...,q_u,…,q_m），然后基于此两向量之间的Bhattacharyya系数来度量目标模板和选目标之间的相似度。具体地，可以参考前述标题为“Kernel-based object tracking”的文章中的技术，根据下述公式(10)来计算候选目标与目标模板之间的相似度。

$\mathrm{\ρ}\left(y\right)\≡\mathrm{\ρ}(p\left(y\right),q)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y\right)q_u}---\left(10\right)$

公式(10)具有直观的物理含义，即可以视为m维向量 和之间所成角度的余弦值，而且也可以视为这两个向量之间的相关性度量。

这样，可以计算得到位置y处的候选目标与目标模板之间的相似度。

如此，通过用于选择候选目标的滑动窗口在候选目标区域上滑动，也即通过变更候选目标的位置y，来得到各个位置y处的候选目标，然后对各个候选目标都可以如上述步骤S250中的操作来得到候选目标表示，并进而可以计算得到目标模板和候选目标之间的相似度，由此循环下去，一直到遍历完毕候选目标区域，则可求得候选目标区域的置信度图，各个位置的置信度反映了各个位置是当前帧中目标位置的可能性。

回到图3，在步骤S270中，基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

下面以基于公式(10)的相似度函数的定位跟踪目标过程作为例子进行描述。

在当前帧的候选目标区域中搜索目标一个开始点，设为y₀，y₀例如可以为候选目标区域的左上角点的位置，或者候选目标区域的中心点位置等等。这样基于泰勒展开，公式（10）可以表示为公式（11）

$\mathrm{\ρ}(p\left(y\right),q)\≈\frac{1}{2}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)q_u}+\frac{1}{2}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(11\right)$

将公式(7)和(9)代入公式(11)得到了公式(12)

$\mathrm{\ρ}(p\left(y\right),q)\≈\frac{1}{2}\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i*(k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)*v\left(i\right))---\left(12\right)$

其中

$w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{q_u}{P_u\left(y_0\right)}}\mathrm{\δ}[b\left(x_i\right)-u]---\left(13\right)$

因此，要最大化候选目标和目标模板之间的相似度，应该最大化公式(11)中的第二项。

这里，可以通过均值漂移方法递归地从位置y0移动到下一位置y1，然后进行遍历，找到最大化候选目标和目标模板之间相似度的候选目标区域中的位置点，作为对象在当前帧中的位置点。

前述示例的对象跟踪方法在估计候选目标的各个特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权，与现有技术中分离地单独考虑深度信息或仅仅将深度信息用作阈值来进行不适当目标候选的过滤相比，能够在整个跟踪过程中自然地而且紧密地将深度信息结合到对象跟踪中，从而提高信息的利用率，提高跟踪的准确性，即便在跟踪对象与周围背景颜色完全相似时，也能够正确跟踪到对象。

需要说明的是，图4中所示的步骤顺序仅为示例，实际上可以不按照图4所示的顺序进行操作，例如确定像素的深度加权信息的操作（步骤S230）可以在步骤S250中进行。

4、对象跟踪方法的第二实施例

在前述对象跟踪方法的第一实施例中，目标模板和候选目标是与对象的整体对应的，在下面的第二实施例的对象跟踪方法中，将目标模板和候选目标分块，得到了多个子目标模板和子候选目标，并且针对一个分块对（即子目标模板和对应的子候选目标），利用第一实施例的对象跟踪方法来计算两者的相似度，并且基于各个子模板与对应子候选目标的相似度来得到整个目标模板和候选目标之间的相似度。

具体地，在一个示例中，目标模板由各个子模板组成，对于候选目标，按照将目标模板划分为各个子目标模板的方式，将候选目标划分为各个子候选目标。

图5(a)和(b)示意性示出了对于为分块示例图，如何根据跟踪子模板对候选跟踪区域进行划分。图5(a)为手的跟踪模板，该跟踪模板有大小相等的6个子模板构成。这只是一个示例，子模板数量的设定可以依赖跟踪物体的特性而不同。(dx,dy)表示每个子模板中心点（标号1指示的点）和跟踪模板中心点（标号2指示的点）之间的距离偏移量。可以根据(dx,dy)关系式，在图5(b)中，将候选目标（图5(b)中的位于候选目标区域中的由虚线框指示的部分）划分为与子模板相对应的多个子区域块。

在一个示例中，与前述整体目标模板和候选目标的处理类似，对于各个子模板和各个子候选目标，可以分别用各个特征值的概率来表示，其中每个特征值的概率通过统计相关联的区域内的取该特征值的像素的数目来估计，其中，在估计子候选目标的各个特征值的概率过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权。

例如，此时，子目标模板t的特征的概率密度可以用下面的公式(14)计算：

$q_u^t=C_q^t\underset{i=1}{\overset{N^t}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i^t\right)-u]*(k\left({\left|\right|\frac{x_i^t-y^t}{h^t}\left|\right|}^2\right)*v\left(i^t\right)))---\left(14\right)$

其中t为子目标模板的编号，u为特征值编号，u=1…m，m表示特征空间的特征值的可能取值的总数，是子目标模板中的第u个特征值的概率，N^t为子目标模板t的像素点总数，i为子目标模板t中像素的编号，x_i ^t是子目标模板t中的像素i的二维坐标，h^t是相对于中心点x₀ ^t的带宽，C_q ^t为归一化系数，b(·)表示区间量化函数，δ表示Kronecker delta函数，k(·)表示二维空间加权核函数。

子候选目标t的特征的概率密度可以用下面的公式(15)计算：

$P_u^t\left(y^t\right)=C_P^t\underset{i=1}{\overset{N^t}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i^t\right)-u]*(k\left({\left|\right|\frac{x_i^t-y^t}{h^t}\left|\right|}^2\right)*v\left(i^t\right)))---\left(15\right)$

其中t为子候选目标的编号，y^t表示子候选目标t的中心位置，u为特征值编号，u=1…m，m表示特征的特征值的可能取值的总数，是子候选目标中的第u个特征值的概率，N^t为子候选目标t的像素点总数，i为子候选目标t中像素的编号，x_i ^t是子候选目标t中的像素i的二维坐标，h^t是相对于中心点y^t的带宽，C_P ^t为归一化系数，b(·)表示区间量化函数，δ表示Kroneckerdelta函数，k(·)表示二维空间加权核函数，v(i^t)为子候选目标t中的像素i的深度加权值。

然后，基于子目标模板和对应子候选目标的概率密度表示，计算子目标模板和对应子候选目标之间的相似度ρ^t。计算方法可以与前文关于第一实施例的对象跟踪方法中计算目标模板和候选目标的相似度的方法相同，这里不再赘述。

基于各个子目标模板和对应子候选目标之间的相似度ρ^t，计算候选目标和目标模板之间的相似度ρ(y)。

在一个示例中，候选目标和目标模板之间的相似度ρ(y)可以按照公式(16)的方法计算。

$\mathrm{\ρ}\left(y\right)=\underset{t=1}{\overset{S}{\mathrm{\Σ}}}{\mathrm{\λ}}^t{\mathrm{\ρ}}^t={\mathrm{\λ}}^1{\mathrm{\ρ}}^1+{\mathrm{\λ}}^2{\mathrm{\ρ}}^2+\·\·\·+{\mathrm{\λ}}^S{\mathrm{\ρ}}^S---\left(16\right)$

其中，t表示子目标模板和子候选目标编号，S表示子目标模板和子候选目标的个数，λ表示每个子区域的权重，表征子区域对于目标跟踪结果所起到的作用的重要程度，在一个示例中，可以设置不过这不是必需的；ρ^t表示子目标模板和对应子候选目标之间的相似度。

与第一实施例类似地，可以通过窗口在候选目标区域中的滑动来变换候选目标的位置，得到各个位置的候选目标，然后对该候选目标进行划分得到子候选目标，对子候选目标进行概率密度表示，计算子候选目标和目标模板之间的相似度，进而得到候选目标和目标模板之间的相似度，如此循环进行，遍历整个候选目标区域，得到候选目标区域的置信度图在置信度图上，在前景区域(目标物体)上的像素点具有较大置信度值，而背景区域像素点则具有较小置信度值。因此通过查找置信度图上的最大概率分布点就得到了当前帧中的目标位置。

图6(a)-(g)示意性地示出了基于分块和深度加权的对象跟踪方法的示意图，其中的(a)示出了候选目标区域的灰度图像，其中标号1指示候选目标，虚线指示该候选目标的划分；其中的(b)指示该候选目标区域的深度图像，其中的(c)指示从灰度图像得到的特征包括颜色特征和梯度特征，其中的(d)指示得到的候选目标区域的深度加权图，其中的(e)目标模板的灰度图像、以及目标模板的划分示意，由此得到的由各个子目标模板表示得到的目标模板表示；其中的(f)指示得到的候选目标区域的置信度图，其中的(g)指示候选目标区域中定位到的手的位置点。

利用根据第二实施例的方法，对目标模板和候选目标进行分块，每个子候选目标的权重可以不同，在一个示例中，如果根据历史信息先前的子候选目标与子目标模板之间的相似度较低，则可以为该子候选目标设置较低的权重。这样，例如，在某个分块被遮挡的情况下，该分块与子目标模板之间的相似度会较低，进而该分块的权重会设置得较低，从而可以降低遮挡区域对总体候选目标与目标模板之间相似度的影响；另外，在计算子候选目标的概率密度表示中，自然地且紧密地融合了像素的深度加权信息，从而在某个分块的深度与预测的手的深度相差较大时，会对该分块中的像素给予较低的深度加权，从而评估出该分块属于手的对应分块的概率较低，由此降低了局部遮挡对于手部跟踪的影响。利用第二实施例的结合了紧密融合深度加权的基于分块的跟踪方法，即便在跟踪对象与周围背景颜色充分相似且存在局部遮挡的情况下，也可以正确跟踪到对象。

5、对象跟踪方法的第三实施例

在对象跟踪方法的第三实施例中，还包括目标模板更新步骤。

在一个示例中，在不对目标模板和候选目标进行分块的情况下，在满足更新条件的情况下，根据下述公式(17)对目标模板进行更新。

q_f=(1-α)*q_f-1+α*p_cur(17)

其中，q_f为更新后的目标模板，q_f-1是上一帧后得到的目标模板（也即当前帧中寻找目标时使用的目标模板），p_cur是在当前帧定位到的候选目标的概率密度表示，α为调整系数，其中1≥α≥0。在一个示例中，当目标模板与候选目标的相似度低于预定阈值后，不对目标模板进行更新，即α=0。在另一个示例中，目标模板与候选目标的相似度越大，α随之越大。

在另一个示例中，在对目标模板和候选目标进行分块的情况下，更新目标模板包括独立更新各个子目标模板，其中仅当定位到的子候选目标满足预定更新条件时，才利用该子候选目标更新对应的子目标模板。

例如，第k个子模板可按照下式(18)进行更新。

q_f ^k=(1-α)*_q ^k _f-1+α*_p ^k _cur(18)

其中，q_f ^k为更新后的子目标模板k，q^k _f-1是上一帧后得到的子目标模板（也即当前帧中寻找目标时使用的子目标模板），p^k _cur是在当前帧定位到的子候选目标的概率密度表示，α为调整系数，其中1≥α≥0。在一个示例中，当子候选目标与子目标模板的相似度低于预定阈值（例如，0.5）时，不对子目标模板进行更新，即α=0。在另一个示例中，子目标模板与子候选目标的相似度越大，α随之越大。

在本示例中，手跟踪模板的更新不是通过整体模板更新完成，而是对每个子模板进行分别更新，子模板的更新过程独立完成。

图7(a)示意地示出了目标模板的划分以及目标模板与子目标模板之间的关系，图7(b)示意性地示出了子目标模板的独立更新，图7(b)中，由于候选目标上出现了部分遮挡，该遮挡区域对应的分块与子目标模板之间的相似度较低，低于预定阈值，则将不基于该子候选目标更新对应的子目标模板，这样遮挡物体产生的噪声将不被引入跟踪模板中，从而有效阻止跟踪漂移现象的发生。

在另一个示例中，每个子模板所对应的权重系数λ也需要被更新，在(t+1)时刻（即在当前时刻之后的时刻），所第k个子模板所使用的权重系数λ通过公式(19)计算得到。

${\mathrm{\λ}}_{t+1}^k=(1-\mathrm{\β}){\mathrm{\λ}}_t^k+\mathrm{\β}*\mathrm{\ρ}(p_t^k\left(y\right),q^k)---\left(19\right)$

在公式(19)中，ρ是子目标模板和子候选目标之间的相似度，β是一个比例调整系数。由此能够基于当前时刻的子候选目标与子目标模板的相似度，来调整子目标模板的权重系数，供下一时刻使用。

在通常情况下，当在跟踪目标上出现了部分遮挡时，被遮挡部分对于目标的跟踪将起到负面影响，而本发明实施例采用分块及加权的方式能有效防止部分遮挡造成的负面影响。当跟踪目标表面出现了部分遮挡的情况下，该部分的可信度较低，如图7(b)所示，因此通过相似度计算得到的该部分所对应的权值将被降低，这样该部分的跟踪结果对于整个目标跟踪结果影响将减小。当手穿过遮挡物体时，原来被遮挡部分的加权系数又被升高。因此在跟踪过程中，虽然跟踪物体上出现了部分遮挡，但并不影响跟踪结果。

可见，当子候选目标与子目标模板相似度低时，能够既不基于该子候选目标更新子目标模板，同时降低子目标模板的权重，由此能够有效降低部分遮挡对跟踪的影响。

6、用于进行对象跟踪的计算系统

本发明还可以通过一种用于进行对象跟踪的计算系统来实施。图8示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图8所示，计算系统600可以包括：CPU（中央处理单元）601、RAM（随机存取存储器）602、ROM（只读存储器）603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与系统总线604耦合的有CPU601、RAM602、ROM603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器608耦合，以及显示器614与显示控制器609耦合。应当理解，图8所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介

质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，前面描述中，跟踪对象示例为手，不过这仅为示例，跟踪对象可以为人脸、整个人体、其它能动的物体等等。

再例如，前面描述中，以颜色特征和灰度特征为例说明了特征评估、特征选择和模板构建，不过这仅为示例。实际上，所采用的特征没有限制，可以为形状特征、轮廓特征、面积特征等等。

再例如，前面的描述中，以将特征的特征值离散化说明了特征值的概率的计算，不过在连续型取值的特征的概率密度可求得的情况下，也可以应用连续型取值的特征的概率密度。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种对象跟踪方法，包括：

获得灰度图像序列和获得相关联的深度图像序列；

在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域；

确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率；

获得目标模板，其中目标模板用特征的概率密度分布表示；

对位置在候选目标区域中滑动的候选目标，用特征的概率密度分布表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；

基于目标模板的概率密度表示和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图；以及

基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。

2.如权利要求1的对象跟踪方法，所述候选目标的特征空间的特征值的概率用下面的公式计算：

$P_u\left(y\right)=C_P\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i\right)-u]*(k\left({\left|\right|\frac{x_i-y}{h}\left|\right|}^2\right)*v\left(i\right)))$

其中y表示候选目标的中心位置，u为特征值编号，u=1…m，m表示特征空间的特征值的可能取值的总数，P_u(y)是候选目标中的特征空间的第u个特征值的概率，N为候选目标的像素点总数，i为候选目标中的像素编号，x_i是第i个像素的二维坐标，h是相对于中心点y的带宽，C_P为归一化系数，b(·)表示区间量化函数，δ表示Kronecker delta函数，k(·)表示二维空间加权核函数，v(i)为第i个像素的深度加权值。

3.如权利要求1的对象跟踪方法，其中目标模板由各个子模板组成，

对于候选目标，按照将目标模板划分为各个子目标模板的方式，将候选目标划分为各个子候选目标，

其中，对于各个子模板和各个子候选目标，分别用各个特征值的概率来表示，其中每个特征值的概率通过统计相关联的区域内的取该特征值的像素的数目来估计，在估计子候选目标的各个特征值的概率过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权，

基于子目标模板和对应子候选目标的概率密度表示，计算子目标模板和对应子候选目标之间的相似度；以及

基于各个子候选目标与各个子目标模板之间的相似度，计算候选目标和目标模板之间的相似度，。

4.根据权利要求3的对象跟踪方法，所述子候选目标的特征的概率密度用下面的公式计算：

$P_u^t\left(y^t\right)=C_P^t\underset{i=1}{\overset{N^t}{\mathrm{\Σ}}}\left(\mathrm{\δ}\right[b\left(x_i^t\right)-u]*(k\left({\left|\right|\frac{x_i^t-y^t}{h^t}\left|\right|}^2\right)*v\left(i^t\right)))$

其中t为子候选目标的编号，y^t表示子候选目标t的中心位置，u为特征值编号，u=1…m，m表示特征空间的特征值的可能取值的总数，是子候选目标中的第u个特征值的概率，N^t为子候选目标t的像素点总数，i为子候选目标t中像素的编号，x_i ^t是子候选目标t中的像素i的二维坐标，h^t是相对于中心点y^t的带宽，C_P ^t为归一化系数，b(·)表示区间量化函数，δ表示Kronecker delta函数，k(·)表示二维空间加权核函数，v(i^t)为子候选目标t中的像素i的深度加权值。

5.根据权利要求1的对象跟踪方法，所述确定候选目标区域的深度加权图包括：

预测被跟踪对象在当前帧中的代表性深度值depth_object；

根据下述公式来计算候选目标区域中的像素i属于被跟踪对象的概率：

$v\left(i\right)=\frac{\min ({\mathrm{depth}}_{\mathrm{object}},\mathrm{depth}\left(i\right))}{\max ({\mathrm{depth}}_{\mathrm{object}},\mathrm{depth}\left(i\right))}$

其中i表示位于候选目标区域中的像素的编号，depth(i)表示像素i的深度值或像素i的局部区域的平滑深度值，min(depth_object,depth(i))表示depth(i)与depth_object中取值较小的数值；max(depth_object,depth(i))表示depth(i)与depth_object中取值较大的数值。

6.根据权利要求1的对象跟踪方法，所述确定候选目标区域的深度加权图包括：

预测被跟踪对象在当前帧中的代表性深度值depth_object；

根据下述公式来计算候选目标区域中的像素i属于被跟踪对象的概率：

$v\left(i\right)=k\left({\left|\right|\frac{\mathrm{depth}\left(i\right)-{\mathrm{depth}}_{\mathrm{object}}}{h^{\mathrm{depth}}}\left|\right|}^2\right)$

其中i表示位于候选目标区域中的像素的编号，depth(i)表示像素i的深度值或像素i的局部区域的平滑深度值，h^depth表示相对于中心点depth_object的带宽。

7.根据权利要求5或6的对象跟踪方法，其中在所述基于各个子候选目标与各个子目标模板之间的相似度，计算候选目标和目标模板之间的相似度中，各个子目标模板具有对应的权重系数，

所述对象跟踪方法还包括：基于子候选目标与子目标模板之间的相似程度，来更新子目标模板对应的权重系数。

8.根据权利要求1的对象跟踪方法，所述表示对象的各个特征包括灰度信息中的颜色特征分量、灰度信息的梯度特征分量、深度图像中的梯度特征分量。

9.根据权利要求3的对象跟踪方法，在基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置之后，还包括：

更新目标模板，包括独立更新各个子目标模板，其中仅当定位到的子候选目标满足预定更新条件时，才利用该子候选目标更新对应的子目标模板。

10.一种对象跟踪装置，包括：

图像获得部件，获得灰度图像序列和获得相关联的深度图像序列；

候选目标区域预测部件，在当前灰度图像和深度图像的至少一个中预测被跟踪对象的候选目标区域；

深度加权确定部件，确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率；

目标模板获得部件，用于获得部件模板，其中目标模板用特征的概率密度表示；

候选目标表示部件，对位置在候选目标区域中滑动的候选目标，用特征的概率密度来表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；

置信度图获得部件，基于目标模板和候选目标的概率密度表示，计算目标模板和候选目标之间的相似度，从而得到候选目标区域的置信度图；以及

对象定位部件，基于候选目标区域的置信度图，定位被跟踪对象在当前图像中的位置。