CN102867311A - 目标跟踪方法和目标跟踪设备 - Google Patents

Abstract

提供一种目标跟踪方法，包括：连通域获取步骤，对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；初始目标确定步骤，在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；跟踪步骤，在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及目标位置确定步骤，在所述跟踪步骤识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。还相应地提供一种目标跟踪设备。

Description

目标跟踪方法和目标跟踪设备

技术领域

本发明涉及一种目标跟踪方法和目标跟踪设备。

背景技术

目标跟踪是图像分析和机器视觉领域中最重要的技术之一，在目标跟踪中最主要的难点在于，如何在连续的视频帧中关联目标，特别是，在目标对象的移动相对于帧速更快的情况下，目标跟踪更为困难，而且，如果在运动期间被跟踪的目标更改了朝向以致产生一定程度的形变，则更加增大这个问题的复杂度。

非专利文件1——Mathias Kolsch，Doctoral Dissertation“Vision BasedHand Gesture Interfaces for Wearable Computing and Virtual Environments”，UNIVERSITY OF CALIFORNIA，Santa Barbara，2004，提出了一种在2D(2维)图像上采用块特征(Flocks of Features)的手跟踪方法。该方法在光流矢量计算的基础上采用了KLT跟踪器来跟踪多个特征点，同时使用了一种宽松的全局聚合限制来聚类光流矢量，以估算目标位置。在该方法中，肤色在特征聚合中起重要的作用，其将肤色概率密度函数用于特征点的补充。因此，如果手在运动中掠过与肤色相似的区域，例如脸，则其跟踪结果通常会偏离目标。

实际上，传统的2D跟踪技术不能很好地解决特征的稳定性差的问题以及解决特征间容易错误匹配等问题。与基于2D的目标跟踪技术相比，3D(3维)照相机可以为3D世界里的每个对象进一步提供深度信息，该深度信息能用来区别坐标系中Z轴方向上不同的对象，即使它们具有相似的色彩或形状。

图1包括图1A-图1D，示出了3D照相机的图像处理过程示意图。其中，以Prime Sense 3D照相机为例进行说明。

图1A示出示例的场景，图1B所示的Prime Sense 3D照相机采集图1A的场景，得到图1C所示的深度图像。深度图像的每个像素点均包含该像素点所对应的实际对象的深度坐标数据(深度值)，例如，如图1D所示的像素矩阵，该矩阵中的每个元素对应于深度图像中一个像素点，该元素的值代表世界坐标中与该像素点相对应的对象表面到照相机的距离，距离单位例如可以是毫米。

Prime Sense 3D照相机的测量深度值的技术原理在于，首先，图1B所示照相机通过红外光源投射出一组非可视的红外线组成的模式点到图1A所示场景的对象表面上，并通过CMOS传感器捕捉投射后的模式图像，然后处理器基于模式光中点的偏移，运用三角测量技术计算出对象表面上每个点的深度值。深度图像无颜色信息，但可以通过不同的方式可视化，例如灰度化，如图1C所示。混合深度数据流和图像流就可以产生彩色的3D图像，3D照相机可以同步地输出RGB图像流和相应的深度值流。

专利文件1——US 20100194741 A1，给出了一种在深度图像上利用光流来跟踪目标的方法。在该方法中，孤立区域中的每个像素点根据其对应的深度而被赋予灰度值，从而以灰度化的方式来产生“斑马(zebra)”模式，然后用光流算法来确定各个区域中每个像素点的新位置。虽然该方法使用了速度预测来平滑跟踪，但这种只依赖于单点跟踪结果自底向上的处理方法缺乏阻止误差传播的策略，因此该方法不能达到良好的平稳跟踪的结果，特别是在长时间进行复杂运动跟踪的情况下。

此外，上述现有技术也没有考虑到在跟踪目标期间如何确定目标在成像平面内的尺度缩放变化情况。即使有现有技术考虑到成像尺度的确定，其采用的估计缩放尺度变化的手段通常是概率块匹配，例如，在粒子滤波跟踪中通常产生一个随机扰动到当前状态(包括目标的尺度)，然后基于扰动后的块与扰动前的块间的相关系数计算扰动后的块的权重，最后用计算出的平均状态来确定其尺度大小。然而，这样的尺度处理方法不具有很高的可靠性，以致影响到最终的跟踪结果的准确性。

特别是在人机交互系统的情况下，其背景通常是任意且复杂的，并且对象的运动也是比较复杂的，不单有运动的方向和速度的变化，也存在运动对象自身形状的调整。特别是对长时间连续跟踪而言，如何在如此的环境下仍能够获得可靠并平稳的跟踪结果是非常重要并且有挑战性的事情。

发明内容

鉴于现有技术中存在的上述问题而做出本发明。本发明的实施例能够实现在深度图像的序列中跟踪目标以获取目标的位置，进一步优选地，本发明的实施例还能够获得成像平面内目标尺度的缩放大小。

为解决上述问题，本发明的实施例通过在深度图像上运用3DCCA(Three-Dimension Connected Component Analysis，三维连通域分析)技术来获得所有连通域的列表并从列表中最终确定出与跟踪目标相关联的目标连通域。3DCCA根据像素的连通性，通过分配相同的标识给近邻的像素点，从而把图像聚类为多个不同的连通域，在同一连通域内任意两个像素点在它们之间至少存在一条D-连通路径。通过深度图像上进行的3DCCA，能够从复杂的背景环境中区别出具有不同深度值的对象，并获得目标的掩码图像。

利用3DCCA技术，不仅能够有效地从复杂的背景中分离出对象，同时也能有助于通过利用目标的移动历史信息来估计目标的大致位置。基于目标所在连通域的预测结果，进一步在目标所在的连通域采用光流的方法来跟踪特征点以获得光流矢量，并从多个特征点的光流矢量中提取出最终的目标位置所在。

进一步地，3DCCA和深度信息还能够有助于确定目标在成像平面上的缩放尺度变化，即成像尺度。基于初始状态时目标的尺寸大小、初始状态时的深度信息、及当前深度信息，借助相似三角形理论，能够估计出当前目标的成像尺度。

根据本发明实施例的一个方面，提出了一种目标跟踪方法，包括：连通域获取步骤，对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；初始目标确定步骤，在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；跟踪步骤，在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及目标位置确定步骤，在所述跟踪步骤识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

根据本发明实施例的另一个方面，提出了一种目标跟踪设备，包括：连通域获取装置，用于对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；初始目标确定装置，用于在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；跟踪装置，用于在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及目标位置确定装置，用于在所述跟踪装置所识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

本发明实施例通过使用3DCCA(三维连通域分析)技术来分割出被跟踪目标对象所在的连通域，以之作为评估每个特征点光流跟踪结果的参考依据。本发明的实施例可以应用于各种人机交互应用系统，例如可以应用于诸如人机交互游戏、远程控制虚拟现实等等的技术方向。

通过本发明的实施例，能够解决基于深度照相机的人机交互应用中的目标跟踪问题，本发明实施例的实施对被跟踪的目标无特别要求，不需特殊标记或手套、既适用于显著确定外形的对象、也适用于非刚性对象，并能够实现实时处理并获得平稳及可靠的跟踪结果。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1包括图1A-图1D，示出了3D照相机的图像处理过程示意图，其中，图1A示出示例的场景，图1B示出采集图1A的场景的3D照相机，图1C示出图1A的场景的深度图像，图1D示出深度图像的像素矩阵。

图2示出根据本发明实施例的目标跟踪方法的总体流程图。

图3包括图3A和图3B，示出对示例深度图像执行3DCCA的示意性结果，其中，图3A示出示例性的深度图像，图3B示出对图3A所示深度图像执行3DCCA的示意性结果。

图4示出在示例图像中确定目标对象的示意性结果。

图5示出在跟踪阶段目标成像平面上缩放尺度计算的基本原理示意图。

图6包括图6A和图6B，示例性地示出在跟踪头部目标时头部目标成像尺度变化的示意结果。

图7示出按照本发明实施例的目标精确位置确定步骤的示意流程图。

图8包括图8A和图8B，示例性地示出跟踪目标为手时的跟踪结果示意图。

图9示出按照本发明实施例的目标跟踪设备的示意框图。

具体实施方式

下面结合附图描述本发明实施例。

图2示出根据本发明实施例的目标跟踪方法的总体流程图。如图2所示，该目标跟踪方法包括：连通域获取步骤S100，可以对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；初始目标确定步骤S200，可以在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；跟踪步骤S300，可以在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及目标位置确定步骤S400，可以在所述跟踪步骤识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

本发明实施例所处理的深度图像可以通过各种已知输入技术来输入，诸如从各种深度图像采集设备或存储设备读入、或通过网络获取等等，经过处理所得到的结果可以通过各种已知输出技术来输出，诸如直接转换为控制信息，或存储到各种存储设备、经由网络输出、或利用打印机打印出等等。

上述的连通域获取步骤S100和初始目标确定步骤S200可以大体上视为初始化阶段，初始化阶段可以选择深度图像序列中的起始的第一个深度图像进行处理，然而，不论选择针对哪个深度图像进行初始化阶段操作，初始化阶段操作所针对的深度图像可以称为初始深度图像。

上述的跟踪步骤S300和目标位置确定步骤S400可以大体上视为跟踪阶段，可以针对上述初始深度图像之后的作为后续深度图像的各个深度图像依次或按照一定间隔来进行循环处理，每次所处理的深度图像都可以视为当前的深度图像，所利用到的上一次处理的结果可以称为前次的结果，上一次的处理可能针对后续深度图像，也可能针对初始深度图像(在当前处理第一个后续深度图像的情况下)。

连通域获取步骤S100可以采用3DCCA手段来获取该深度图像中包含的CC(连通域)的列表。不论在初始化阶段还是跟踪阶段，都需要在深度图像上首先执行3DCCA操作以获取包含图中所有连通域信息的列表。3DCCA即三维连通域分析，针对输入的深度图像，从图像坐标系中的X轴、Y轴方向检测邻近点并将在Z轴上距离在一定范围内的邻近点像素分配给一个相同的数字编号，同样数字编号的像素将构成一连通域，因此3DCCA的输出可以是连通的形状组件的集合。通过在深度图像上的3DCCA操作，从3D照相机中得到的像素级的深度信息归并到较少数量的对象集，这些对象集能够用于标定出处于Z轴上不同深度的对象，并且能够用于执行其它的场景内容分析。

可以用于本发明实施例的一个具体的3DCCA实现算法如下所示，此算法通过在普遍应用的2DCCA基础上为适应3D图像数据而进行适应性更改而得到。

首先，3DCC(三维连通域)的定义如下：

如果2个3D点在XY平面上的投影相互邻近，且其深度变化不大于一定的阈值D_TH，则称该两点互为D-连通；

对于给定的2个3D点P和Q，如果存在一组3D点列表(P，p1，p2，...pN，Q)，该列表中任意两个相邻的点互为D-连通，则称该两点间存在D-连通路径；

如果一组3D点列表中任意两点均存在D-连通路径，则称该点列表为D-连通集；

对于一个3D点的D-连通集，如果对该集中每个点p，在XY平面上不存在p的近邻点能够在不破坏该集连通的条件的情况下加入到该连通集中，则称该D-连通集为最大D-连通集，即D-连通域。

找寻D-连通域，也就是最大程度找寻CC的3DCCA方法如下：

1.为每个点(x，y)赋予一个所属连通域(CC)的编号值，记为LABEL(x，y)；

2.定义深度差的阈值D_TH；

3.定义一个队列数据结构(先进先出)，记为QUEUE；

4.把所有的点LABEL(x，y)初始化为-1；

5.把当前连通域的编号cur_label设置为1；

6.开始找寻下一个LABEL为-1的CC的起点p-start，如果不存在这样的点则停止循环；

7.把LABEL(p_start)设为cur_label；

8.将点p_start放到队列QUEUE中；

9.如果QUEUE不为空，则重复执行下列步骤：

a.从队列中去除头结点p_head(x，y)；

b.对p_head的m个近邻点，依次：

i.如果LABEL(k)＞0，则跳到下一近邻点，k为m个近邻点的索引值；

ii如果第k个近邻点的深度与p_head深度差不大于D_TH，则将第k近邻点放到队列中并置LABEL(k)为curl_abel；

10.将cur_label递增1，从步骤6重复执行。

在上述算法中，点(x，y)的近邻点定义为坐标如下的点：(x-1，y-1)、(x-1，y)、(x-1，y+1)、(x，y-1)、(x，y+1)、(x+1，y-1)、(x+1，y)、(x+1，y+1)。如果近邻点的坐标位置超出图像范围之外(为负值或大于图像的分辨率)，则不进行处理。

图3包括图3A和图3B，示出对示例深度图像执行3DCCA的示意性结果。图3A示出示例性的深度图像，图中各像素点不同深浅灰度值代表不同的深度远近信息。图3B示出对图3A所示深度图像执行3DCCA的示意性结果，所得到的不同的连通域以不同的灰度(颜色)区分。由此可见，如果手伸出，则3DCCA能够成功地从身体和环境中分割出手的区域，如图3B中矩形框Q1所示。

3DCCA可通过算法优化来改进其执行效率，此外还可以根据实际的应用需求将3DCCA应用到局部区域以获取更高的效率。

在初始目标确定步骤S200中，由于处于初始化阶段，因此可通过外部输入来指定目标位置，简单地可以通过拉出方框来框住目标，或者，也可以通过一些实时的检测算子来检测识别出目标。由于此阶段中目标对象的位置是已知的，因此确定与目标相关联的CC可以通过简单地从CC列表里找到目标对象所在的那个CC。

此外，也可以通过一些启发式的准则来自动确定目标所在的CC，例如最近最大连通域原则。

图4示出在示例图像中确定目标对象的示意性结果。在图4中，矩形框Q2的白色区域表示目标是手的情况下与目标相关联的连通域。由于是初始阶段，因此如果目的是分割出图4中的手目标，则也可以通过在图4中划出所示的矩形框Q2，在矩形框Q2的区域内执行局部3DCCA操作即可。在图4中的矩形框Q2内，经过3DCCA后共有2个CC区域——手CC和背景CC，最近并具有较大面积的手CC是需要跟踪的目标所在的CC。

目标所在的CC确定后，可以得到目标的掩码图像。可以在与掩码图像相对应的灰度图像上(此处的灰度图像指深度图像通过可视化后得到的图像，该灰度图像使得能够用光流跟踪)，或者，从与掩码图像相对应的与深度图像同步的RGB彩色图中，选出n个特征点，以用于此后的光流跟踪。即，从所述对应的图像部分处于深度图像中或者与深度图像同步的彩色图像中中提取所述n个特征点。

在此的特征点可以指在灰度图(RGB彩色图也可通过去色操作转换为灰度图)上具有较大响应值的角点，诸如harris角点。n个特征点相互间隔不低于一定阈值(称为第一预定阈值)，相互间间隔最小距离限制用来确保任意两个特征点在空间上不至于过于靠近，从而确保各自跟踪结果有效。也就是，所述n个特征点相互间隔距离不低于第一预定阈值，并且所述n个特征点的每个是对于特定的跟踪算子区别于近邻像素点的角点。

可以利用开源项目OpenCV中的函数GoodFeaturesToTrack来选出符合要求的特征点。

此后，目标跟踪过程进入到跟踪阶段。

在跟踪阶段中，针对在初始深度图像之后输入的各个深度图像(后续深度图像)，首先执行3DCCA操作以获取各个深度图像的CC列表，然后确定目标CC。具体是，在所述跟踪步骤S300中，在后续深度图像的连通域列表的各个候选连通域中，寻找与目标的前次所确定位置加上运动预测后的状态变化结果相似度最高的候选连通域，作为所述目标当前所在的目标连通域。

在对于后续深度图像的序列中的当前所处理的深度图像，可以采用与针对初始深度图像所采用的手段相同的手段来执行3DCCA操作，以获取该当前深度图像的CC列表。然而，在确定目标CC的过程中，与初始化阶段不同，此时并不知道目标CC的位置，CC列表中的所有连通域均是目标候选连通域。在跟踪步骤S300中确定目标所在的CC是从CC列表中寻找到一个CC，该CC应当与被跟踪目标前次所在位置的基础上加上运动预测后的其状态变化的结果具有最相似的特征，即相似度最高。

所述相似度可以基于候选连通域的位置与目标的前次所确定位置加上在x轴、y轴、z轴方向的预测运动位移后所得的预测位置的位置差(与之对等是运动速度矢量差)、及候选连通域与前次所确定的目标连通域的面积差来确定。

在此的寻找目标CC可以视为目标CC的识别或目标CC的粗定位估计。由于深度图像上3DCCA将像素级的深度信息浓缩集中到了对象CC的列表，使得处理比目标在像素级上独立识别更为容易。可以采用简单的手段来寻找目标所在的CC，例如，可以通过如下的距离计算公式(1)来找到距前次的目标CC位置最相似的那个CC。

Di＝a*||Vi(n)-V(n-1)||+(1-a)*|Ai(n)-A(n-1)|       ...(1)

其中，||·||表示欧几里得范数算子，n为深度图像序列中的各帧深度图像的索引值，假定当前处理第n帧深度图像，i为当前第n帧深度图像中所获取的候选连通域的索引值，V(n-1)是前次第(n-1)帧深度图像的目标跟踪结果在x轴、y轴、z轴方向的速度矢量，Vi(n)是当前第n帧深度图像时假定第i个候选连通域为目标连通域时在x轴、y轴、z轴方向的运动速度矢量，A(n-1)是前次第(n-1)帧深度图像中目标连通域的面积，Ai(n)是当前第n帧第i个候选连通域的面积，a是权重，可以根据用户的体验或者实验统计分析的结果来确定，Di为当前第i个的候选CC与前次的目标CC之间的相似度度量距离。

可以认为，Di的值越小，则该候选连通域与前次的目标连通域之间的相似度越高，获得最小的Di值的第i个候选连通域为当前的目标连通域。

在寻找目标连通域的过程中，所考虑的目标状态不仅仅可以包括x轴、y轴、z轴方向的运动速度矢量及与目标相关联的CC面积，而且还可以包括其它与CC相对应的灰度或彩色图的特征量，例如，颜色直方图。

除此之外，来可以采用其它手段来确定目标CC，例如，可以采用机器学习方法来实现，具体地，可以通过训练分类器来识别出目标CC。在训练分类器的过程中，可以把速度矢量和连通域面积或其它特征量用作训练分类器时的输入。

在跟踪步骤S300之后，目标CC已经从对象级的列表中给出了目标位置的大致估计，优选地可进一步选择执行成像尺度确定步骤，以确定在所述跟踪步骤中识别的目标相对于在初始深度图像中的目标的成像尺度。当前跟踪目标成像尺度的计算，有助于更精确的描述目标的当前状态，特别是当跟踪的目标运动到和背景同等深度的位置时目标将是一个大范围CC中的局部部分，而不能完全孤立于四周从而与四周显著区分，此情况下更需目标成像尺度的计算以从大的CC中界定出目标所在的部分CC。

如果选择计算在跟踪阶段目标在成像平面上的尺度缩放变化，则需要计算出目标CC的平均深度值，并记录其初始状态下的平均深度及初始状态下的目标的成像尺寸。

图5示出在跟踪阶段目标成像平面上缩放尺度计算的基本原理示意图。

如图5所示，目标对象Obj放置在照相机Camera的左侧，在起始帧深度图像中的平均深度是d0，在后续的某帧第n帧(n是不为1的自然数)深度图像中的平均深度是dn。照相机Camera的右侧为成像平面Plan，当目标对象Obj距离照相机Camera的距离为d0(平均深度d0)时，在成像平面上的成像大小为S0，当目标对象Obj距离照相机Camera的距离为dn(平均深度dn)时，在成像平面上的成像大小为Sn。目标对象Obj的实际大小为H，当目标对象Obj距离照相机Camera的距离为d0时，其在dn处的投影大小为L(以相机所在位置为点光源进行的投影)。从而，根据相似三角形原理，S0/Sn＝L/H，而L/H＝dn/d0，因此从S0/Sn＝dn/d0可以导出计算目标在其所在位置的成像平面上的成像缩放尺度的公式(2)。

Sn＝S0*d0/dn            ...(2)

所述成像尺度确定步骤包括：通过公式(2)，Sn＝d0/dn*S0，来计算成像尺度，其中，dn为在所述跟踪步骤中识别的所述目标所在的目标连通域的平均深度，d0为初始深度图像中确定目标所在的目标连通域的平均深度，S0为初始深度图像中目标的成像大小，Sn为所述目标在该后续深度图像中的成像大小。

根据公式(2)计算图5所示的情况，如果图5中dn是d0的两倍，则dn位置上目标对象的成像大小Sn为在d0位置处时的成像大小S0的一半。显然该公式(2)的计算结果与人们的直观感受是一致的。

图6包括图6A和图6B，示例性地示出在跟踪头部目标时头部目标成像尺度变化的示意结果，图6A和图6B分别代表不同的帧，在图6A中用矩形框Q3示出跟踪目标，在图6B中用矩形框Q4示出跟踪目标，图6A所示的跟踪目标在图6B中成像尺度有所变化。

目标连通域的预测不仅给出了目标的大致位置及成像平面内的成像缩放尺度估计，而且也通过目标连通域给出了目标大致的形状描述，便于跟踪非刚性对象。

然后，在目标位置确定步骤S400，可以采取例如光流方法来获得更精确的目标定位点估计(在图像坐标中把目标略去尺寸大小而抽象为一个定位点，该点的位置用于表征目标在图像中的位置)。在本发明实施例中，目标对象级上的信息被用于目标位置的精确估计，这些信息不仅仅包括目标连通域的形状，而且还包括目标连通域内多点光流跟踪及中值特征的提取所共同表征出来的对象级的信息。

图7示出按照本发明实施例的目标精确位置确定步骤的示意流程图。

如图7所示，目标位置确定步骤S400可以包括：特征点跟踪步骤S420，可以在所述后续深度图像中，采用KLT跟踪器跟踪所述n个特征点；等级量化步骤S440，基于目标连通域的掩码图像信息来等级量化各个跟踪到的特征点，为各个跟踪到的特征点赋予权重；聚类步骤S460，聚类跟踪到的特征点并计算出聚类中心点以更新所述目标的当前位置。

在特征点跟踪步骤S420，可以采用KLT跟踪器来跟踪每个特征点以获取每个特征点在当前所处理的后续深度图像上的新的位置点，例如可以采用OpenCV的函数cvCalcOpticalFlowPyrLK来计算特征点的光流矢量，以获取特征点在该后续深度图像上所对应的新的位置。

在特征点跟踪步骤S420之后、等级量化步骤S440之前，还可以包括第一去除步骤，在跟踪到的特征点中，去除特征点跟踪中误差程度高于第二预定阈值的特征点。具体地，例如，在采用OpenCV的函数cvCalcOpticalFlowPyrLK来计算特征点的光流矢量的情况下，可以将最大误差参数(第二预定阈值)取值为1150，误差参数大于该值的跟踪结果(跟踪到的特征点)则去除掉，从而可以首先去除特征点光流跟踪中误差程度较高或者说相关性较低的跟踪到的特征点。本领域技术人员可以认识到，1150仅仅为第二预定阈值的一个例子，第二预定阈值还可以是诸如1100、1200的其它值。

在等级量化步骤S440，基于目标连通域的掩码图像信息，等级量化各个跟踪到的特征点，在进行了上述第一去除步骤的情况下，则是对经过第一去除而余下的各个跟踪到的特征点进行权重计算。可以采用的一种简单的处理方式为，如果跟踪到的特征点的新位置位于目标连通域的预测区域内，则赋权重为1，否则为0。

在等级量化步骤S440之后、聚类步骤S460之前，还可以包括第二去除步骤，在跟踪到的特征点中，去除与跟踪到的特征点的重心距离最大的预定比例数目的特征点。具体地，对当时存在的跟踪到的特征点，依据其各自权重，按重心位置计算方式计算出所余下的跟踪到的特征点的重心位置。然后，去除权重为0的特征点，然后，在剩下的跟踪到的特征点中，去除与重心距离较大的预定比例(比如15％)的特征点。本领域技术人员可以认识到，15％仅仅为预定比例的一个例子，预定比例还可以是诸如10％、20％的其它值。

在聚类步骤S460，根据存在的跟踪到的特征点(如果进行了上述第二去除步骤，则是经过上述第二去除操作而剩下的跟踪到的特征点)，计算出其聚类的中心点，该中心点到各个特征点具有最短的总长距离，将该聚类的中心点可以比较精确地作为目标跟踪的目标定位点。一个可用的聚类实施方式为为余下的m个(m为自然数)跟踪到的特征点编号，比如P1，P2，P3，...，Pm，假定第i个点为聚类的中心点，i为索引值，为1......m，计算出该第i个特征点到其余各特征点的距离总长Dti＝∑_j！＝i Pi Pj，最后，在i＝1......m之中，找到Dti为最小值时的特征点位置，作为最终聚类的中心点。以此时最终聚类的中心点位置作为所述目标的当前位置。

在每次的跟踪循环中，在上述操作之后，跟踪到的特征点数量可能会减少，因此在此可以补充新的特征点到特征点集合中，以满足下一帧深度图像跟踪所需数目的特征点。

也就是，在所述聚类步骤S460之后还可以包括补充步骤，用来补充新的特征点以使目标的特征点总数仍然为n，新的特征点位于所述目标内并且补充之后的n个特征点相互间隔距离不低于前述的第一预定阈值。

上述的具体的光流跟踪实现方法充分利用了预测到的目标连通域的形状信息，采用了从底层得到的像素点光流信息并结合上层的对象级信息，确保了跟踪结果的正确特别是对于非刚性目标跟踪结果的可信性。

图8包括图8A和图8B，示例性地示出跟踪目标为手时的跟踪结果示意图。在图8A中，矩形框Q5表示跟踪目标手，以e1为例的多个较小点表示跟踪到的特征点，较大的点T1表示目标定位点的估计结果。在图8B中，矩形框Q6表示跟踪目标手，以e2为例的较小点表示跟踪到的特征点，较大的点T2表示目标定位点的估计结果。

本发明还可以实施为一种目标跟踪设备，可以用来执行前述的目标跟踪方法。图9示出按照本发明实施例的目标跟踪设备的示意框图。

如图9所示，按照本发明实施例的目标跟踪设备包括：连通域获取装置100，可以用来执行前述的连通域获取步骤S100，用以对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；初始目标确定装置200，可以用来执行前述的初始目标确定步骤S200，用以在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；跟踪装置300，可以用来执行前述的跟踪步骤S300，用以在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及目标位置确定装置400，可以用来执行前述的目标位置确定步骤S400，用以在所述跟踪装置300识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

其中，所述n个特征点相互间隔距离不低于第一预定阈值，并且所述n个特征点的每个是对于特定的跟踪算子区别于近邻像素点的角点。

并且其中，从中提取所述n个特征点的所述对应的图像部分处于深度图像中或者与深度图像同步的彩色图像中。

所述跟踪装置300可以在后续深度图像的连通域列表的各个候选连通域中，寻找与目标的前次所确定位置加上运动预测后的状态变化结果相似度最高的候选连通域，作为所述目标当前所在的目标连通域。

按照本发明实施例的目标跟踪设备还可以包括：成像尺度确定装置，可以用于执行前述的成像尺度确定步骤，用于确定所述跟踪装置300识别的目标连通域相对于在初始深度图像中的目标的成像尺度。

其中，所述成像尺度确定装置可以通过Sn＝d0/dn*S0来计算成像尺度，其中，dn为所述跟踪装置300识别的所述目标所在的目标连通域的平均深度，d0为初始深度图像中确定目标所在的目标连通域的平均深度，S0为初始深度图像中目标的成像尺度，Sn为所述目标在该后续深度图像中的成像尺度。

其中，所述目标位置确定装置400可以包括：特征点跟踪装置，可以用于执行前述的特征点跟踪步骤S420，用以在所述后续深度图像中，采用KLT跟踪器跟踪所述n个特征点；等级量化装置，可以用于执行前述的等级量化步骤S440，用以基于目标连通域的掩码图像信息来等级量化各个跟踪到的特征点，为各个跟踪到的特征点赋予权重；聚类装置，可以用于执行前述的聚类步骤S460，用以聚类跟踪到的特征点并计算出聚类中心点以更新所述目标的当前位置。

其中，在所述特征点跟踪装置和所述等级量化装置之间，还可以包括第一去除装置，其可以用于执行前述的第一去除步骤，用以在跟踪到的特征点中，去除特征点跟踪中误差程度高于第二预定阈值的特征点；在所述等级量化装置和所述聚类装置之间，还可以包括第二去除装置，其可以用于执行前述的第二去除步骤，用以在跟踪到的特征点中，去除与跟踪到的特征点的重心距离最大的预定比例数目的特征点。

按照本发明实施例的目标跟踪设备还可以在所述聚类装置之后包括：补充装置，可以用于执行前述的补充步骤，用以补充新的特征点以使目标的特征点总数仍然为n，新的特征点位于所述目标内并且补充之后的n个特征点相互间隔距离不低于第一预定阈值。

按照本发明实施例的目标跟踪方法及目标跟踪设备，在深度图像上执行三维连通域分析以获取所有连通域列表，进行连通域运动预测，从连通域列表里识别出目标所在的连通域，并且还可以进行目标在成像平面上的成像尺度估计，提供了可靠的对象级的信息(目标连通域)，从而为在特征聚类处理中评估各个跟踪到的特征点提供了重要的参考信息，并且有助于在多特征点光流跟踪中实现对特征点的补充。通过连通域分割与多点跟踪的相互补充，有效地防止误差的传播，从而达到稳定跟踪的效果。

与非专利文件1相比，在本发明实施例中，目标对象的分割基于在深度图上进行的3DCCA操作及运动的连续性，从而避免在2D跟踪中受颜色干扰的问题，因此获得更加鲁棒的跟踪结果。

与专利文件1相比，本发明实施例通过确定与目标相关联的连通域，先粗估计出大致位置，在粗估计的基础上，应用光流的方法来获得更精确的位置。本发明的实施例结合了全局和局部的信息，应用了从上到下以及自底向上的处理，因此能够能比专利文件1中介绍的方法更容易地实现平稳跟踪。另外，由于连通域提供了形状边界信息，并且由于在连通域掩码对应的图像上采用了相互间隔不低于预定值的多特征点跟踪，反映出跟踪过程中目标的形状变化，因此，本发明实施例能够更容易地处理非刚性对象的跟踪。

而且，本发明实施例还可以基于深度信息和相似三角形理论而计算成像平面上目标的成像尺度，从而直接有利于更精确的目标表示及特征提取，更有利于平稳跟踪。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (10)

1.一种目标跟踪方法，包括：

连通域获取步骤，对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；

初始目标确定步骤，在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；

跟踪步骤，在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及

目标位置确定步骤，在所述跟踪步骤识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

2.按照权利要求1所述的目标跟踪方法，其中，

所述n个特征点相互间隔距离不低于第一预定阈值，并且所述n个特征点的每个是对于特定的跟踪算子区别于近邻像素点的角点。

3.按照权利要求2所述的目标跟踪方法，其中，

从中提取所述n个特征点的所述对应的图像部分处于深度图像中或者与深度图像同步的彩色图像中。

4.按照权利要求1所述的目标跟踪方法，其中，

在所述跟踪步骤中，在后续深度图像的连通域列表的各个候选连通域中，寻找与目标的前次所确定位置加上运动预测后的状态变化结果相似度最高的候选连通域，作为所述目标当前所在的目标连通域。

5.按照权利要求1所述的目标跟踪方法，其中，在所述跟踪步骤之后还包括：

成像尺度确定步骤，确定在所述跟踪步骤中识别的目标连通域相对于在初始深度图像中的目标的成像尺度。

6.按照权利要求5所述的目标跟踪方法，其中，所述成像尺度确定步骤包括：

通过Sn＝d0/dn*S0来计算成像尺度，其中，dn为在所述跟踪步骤中识别的所述目标所在的目标连通域的平均深度，d0为初始深度图像中确定目标所在的目标连通域的平均深度，S0为初始深度图像中目标的成像尺度，Sn为所述目标在该后续深度图像中的成像尺度。

7.按照权利要求1所述的目标跟踪方法，其中，所述目标位置确定步骤包括：

特征点跟踪步骤，在所述后续深度图像中，采用KLT跟踪器跟踪所述n个特征点；

等级量化步骤，基于目标连通域的掩码图像信息来等级量化各个跟踪到的特征点，为各个跟踪到的特征点赋予权重；

聚类步骤，聚类跟踪到的特征点并计算出聚类中心点以更新所述目标的当前位置。

8.按照权利要求7所述的目标跟踪方法，其中，

在所述特征点跟踪步骤之后所述等级量化步骤之前，还包括第一去除步骤，在跟踪到的特征点中，去除特征点跟踪中误差程度高于第二预定阈值的特征点；

在所述等级量化步骤之后所述聚类步骤之前，还包括第二去除步骤，在跟踪到的特征点中，去除与跟踪到的特征点的重心距离最大的预定比例数目的特征点。

9.按照权利要求7所述的目标跟踪方法，其中，在所述聚类步骤之后还包括：

补充步骤，补充新的特征点以使目标的特征点总数仍然为n，新的特征点位于所述目标内并且补充之后的n个特征点相互间隔距离不低于第一预定阈值。

10.一种目标跟踪设备，包括：

连通域获取装置，用于对输入的初始深度图像执行三维连通域分析，获取初始深度图像的连通域的列表；

初始目标确定装置，用于在初始深度图像中根据目标的已知的当前位置确定目标所在的目标连通域，并在该连通域对应的图像部分中确定n个特征点，n为自然数；

跟踪装置，用于在所述初始深度图像之后输入的后续深度图像中，执行三维连通域分析，在获取所述后续深度图像的连通域列表的各个候选连通域中，识别所述目标所在的目标连通域；以及

目标位置确定装置，用于在所述跟踪装置所识别的目标连通域中跟踪所述n个特征点以更新所述目标的当前位置。

Images