CN103810460A - 对象跟踪方法和装置 - Google Patents

Abstract

提供了对象跟踪方法和装置。其中，建立对象图，具有相似运动特征的一组对象被包括在一个对象图中，每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中每个顶点的弹性；建立对象组图，每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性；基于对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；基于对象图的顶点的弹性预测每个对象在下一帧中的位置范围；以及在跟踪时段内，基于所预测的每个对象组和每个对象的位置范围，在下一帧中检测对象。

Description

对象跟踪方法和装置

技术领域

本发明涉及对象跟踪方法和装置，更具体地，涉及基于双层弹性图进行对象跟踪的方法和装置。

背景技术

当前，对象跟踪技术广泛应用于各种领域中，比如可以应用于智能交通系统、图像捕捉系统、智能监控系统等等。简单来说，对象跟踪就是检测场景中的目标对象在所拍摄的场景的视频图像中的每帧中的位置。

现有技术中存在一些对象跟踪方法。例如，美国专利申请公开US20120070034A1中公开了用于检测和跟踪车辆的方法，该方法包括：运动对象检测阶段，在一系列输入的视频帧中检测候选对象；轨迹关联阶段，使用联合概率匹配框架将现有轨迹与候选对象相关联。

另外，美国专利US6295367B1公开了使用第一和第二对应性图跟踪对象在场景中的运动的方法，第一对应性图又称为对象对应性图，其包括表示要跟踪的对象在场景中的区域的多个节点。每条轨迹包括每个节点在连续的视频帧中的排序的序列。第二对应性图又称为轨迹对应性图，其包括多个节点，每个节点对应于第一对应性图中的至少一条轨迹。基于第一对应性图和第二对应性图累计对象的跟踪信息，从而跟踪对象。

在以上专利文献所公开的方法中，都以检测多个对象中的每个对象在场景中的轨迹为基础来进行跟踪。然而，在实际的运动场景中，常常由于噪声、遮挡、光照等等的影响（下文中统称为噪声影响），改变了运动对象的成像特征。举例而言，在前一场景中，有行人在路上行走，然而在下一场景中，由于行人行走到树木旁很可能被树木遮挡，导致难以在拍摄的场景图像中识别行人。或者，在强光的照射下，由于行进中的车辆产生的反光，可能难以在某些场景中识别出车辆，导致对象跟踪结果不准确或者速度较慢

发明内容

鉴于以上问题，提出了本发明。

本发明的目的之一是以高准确度进行对象跟踪。本发明的另一目的是提高对象跟踪的处理速度。

根据本发明的一个方面，提供了一种对象跟踪方法，该方法可以包括：建立对象图，其中在连续预定数量帧内具有相似运动特征的一组对象被包括在一个对象图中，每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中每个顶点的弹性；建立对象组图，其中每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性；基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；以及在跟踪时段内，基于所预测的每个对象组和每个对象的位置范围，在下一帧中检测对象。

在一个实施例中，每个对象的代表性运动特征可以包括每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，计算对象图中每个顶点的弹性可以包括：统计在所述预定数量帧中每个对象的相对位置和相对速度中的至少一个，计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性；以及每个对象组的代表性运动特征可以包括每个对象组的中心位置和平均速度中的至少一个，计算对象组图中每个顶点的弹性可以包括：统计在所述预定数量帧中每个对象组的中心位置和平均速度中的至少一个，计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。

在一个实施例中，基于所预测的每个对象组和每个对象的位置范围检测对象可以包括：统计在所述预定数量帧中每个对象组中的每个对象与该对象组的中心位置的相对位置关系；以所预测的对象组的位置范围作为对象组的中心位置的范围，根据所述相对位置关系，计算出对象组中的每个对象相对于该对象组的中心位置的相对位置范围，在下一帧中，以所计算的每个对象的相对位置范围中的每一点为中心，在所预测的每个对象的在下一帧中的位置范围内搜索对象。

在一个实施例中，该对象跟踪方法还可以包括：在检测时段内，在整个帧图像的范围内检测对象。

在一个实施例中，该对象跟踪方法还可以包括：基于检测对象的检测结果，以预定更新频率更新所述对象图和所述对象组图。

在一个实施例中，更新对象图可以包括更新对象图中的顶点的弹性或者对象图的合并、分裂，更新对象组图可以包括更新对象组图中的顶点的弹性或者基于对象图的合并、分裂的结果更新对象组图。

在一个实施例中，具有相似运动特征的一组对象可以包括差异值小于预定阈值的对象，对于任意两个对象，该差异值定义为D：D=w₁*D_m+w₂*D_l，其中D_m是对象之间的速度差，D_l是对象之间的位置差，w₁和w₂是分别分配给速度差和位置差的权重。

根据本发明的另一方面，提供了一种对象跟踪装置，该装置可以包括：对象图建立模块，配置为建立对象图，包括将在连续预定数量帧内具有相似运动特征的一组对象包括在一个对象图中，将每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中每个顶点的弹性；对象组图建立模块，配置为建立对象组图，包括将每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性；对象组位置范围预测模块，配置为基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；对象位置范围预测模块，配置为基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；检测模块，配置为在跟踪时段内，基于所述对象组位置范围预测模块预测的每个对象组的位置范围和所述对象位置范围预测模块预测的每个对象的位置范围，在下一帧中检测对象。

在一个实施例中，每个对象的代表性运动特征可以包括每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，所述对象图建立模块可以统计在所述预定数量帧中每个对象的相对位置和相对速度中的至少一个，计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性；以及每个对象组的代表性运动特征可以包括每个对象组的中心位置和平均速度中的至少一个，所述对象组图建立模块可以统计在所述预定数量帧中每个对象组的中心位置和平均速度中的至少一个，计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。

在一个实施例中，该对象跟踪装置还可以包括：相对位置关系统计模块，配置为统计在所述预定数量帧中每个对象组中的每个对象与该对象组的中心位置的相对位置关系。所述检测模块可以以所述对象组位置范围预测模块预测的对象组的位置范围作为对象组的中心位置的范围，根据所述相对位置计算模块统计的相对位置关系，计算出对象组中的每个对象相对于该对象组的中心位置的相对位置范围，并在下一帧中，以所计算的每个对象的相对位置范围中的每一点为中心，在所述对象位置范围预测模块预测的每个对象在下一帧中的位置范围内搜索对象。

根据本发明的另一方面，提供了一种监控系统，包括：图像提供装置，用于提供目标场景的连续帧的图像；对象跟踪装置，接收并分析图像提供装置提供的图像，根据分析结果进行对象跟踪；存储装置，存储对象跟踪装置的处理结果；以及显示设备，接收并显示该对象跟踪装置的对象跟踪结果。该对象跟踪装置可以包括：对象图建立模块，配置为建立对象图，包括将在该图像提供装置提供的连续预定数量帧内具有相似运动特征的一组对象包括在一个对象图中，将每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中每个顶点的弹性；对象组图建立模块，配置为建立对象组图，包括将每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性；对象组位置范围预测模块，配置为基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；对象位置范围预测模块，配置为基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；检测模块，配置为在跟踪时段内，基于所述对象组位置范围预测模块预测的每个对象组的位置范围和所述对象位置范围预测模块预测的每个对象的位置范围，在下一帧中检测对象。

根据本发明的实施例，根据对象组图和对象图的顶点的弹性分别预测每个对象组以及每个对象在下一帧中的位置范围，基于所预测的位置范围在下一帧中检测对象。由于对象组相对于单个对象来说更稳定并且具有更强的抵抗噪声的能力，所以基于对象组进行对象跟踪能够提高对象跟踪的准确性。另外，由于在预测的范围内进行检测对象，缩小了检测范围，所以可以提高跟踪处理的速度。

附图说明

图1是本发明可以应用的双层图的一个例示。

图2是描述根据本发明的一个实施例的对象跟踪方法的流程图。

图3是例示计算顶点弹性的一个具体示例方法的流程图。

图4是例示预测位置范围的示意图。

图5是描述确定搜索范围的一个具体示例方法的流程图。

图6是例示预测的对象组和对象的位置范围的示意图。

图7是示出图合并的一个例子的示意图。

图8是示出图分裂的一个例子的示意图。

图9是例示根据本发明的一个实施例的对象跟踪装置的框图。

图10是例示本发明可应用于的监控系统的一个实施例的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

首先，简要描述图的概念。在数学上，图是一组对象的抽象表示，其中对象之间存在联系，这些彼此联系的对象被抽象为顶点，这些对象之间的联系抽象为边，也即，边是连接顶点的直线或曲线。

本发明涉及双层图，图的层次代表对象之间的诸如位置或速度等的运动特征的相似度的范围。低层图也称为对象图，由具有相似运动特征的一组对象组成，每个对象构成该低层图中的一个顶点。高层图也称为对象组图，各个低层图中的每个对象组作为该高层图中的一个顶点。

图1是本发明可以应用的双层图的一个例示。在由相机等所拍摄的场景的画面中，检测到的对象可以包括图中以小矩形框表示的车辆。当然，无需说明，检测的对象不限于车辆，也可以是行人、交通标志等等。根据各个对象的运动特征的相似度，比如车辆的运动方向和速度，可以对车辆进行分组。例如，在图1中，在每个椭圆框内的车辆被划分为一组，则每个椭圆框作为一个低层图，其中的每个对象即每个小矩形框作为该低层图的一个顶点，各顶点之间的连线构成边。在此之上，每个椭圆即每个对象组又作为高层图的一个顶点，各对象组之间的连线构成边（未在图中示出高层图的边）。图1中的大矩形框代表整个双层图。

由于在可能受到噪声影响的系统中，对象组相对于单个对象而言具有更高的稳定性，所以本发明提出了以对象组为基础根据各对象相对于对象组的位置关系来检测跟踪对象的对象跟踪方法和装置，由此可以获得更高准确度。

以下，参考图2的流程图描述根据本发明的一个实施例的对象跟踪方法200。该方法200可以包括以下步骤：

在步骤201，建立对象图。其中在连续预定数量帧内具有相似运动特征的一组对象被包括在一个对象图中，每个对象作为该对象图的顶点。基于每个对象的代表性运动特征，计算对象图中每个顶点的弹性。

在步骤202，建立对象组图。其中每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性。

在步骤203，基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围。

在步骤204，基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围。

在步骤205，在跟踪时段内，基于所预测的每个对象组和每个对象的位置范围，在下一帧中检测对象。

由此，可以基于对象图和对象组图更准确地检测跟踪对象。

具体地，在一个实施例中，为了建立对象图，例如，可以通过连续采集目标场景的图像，对每一帧图像进行处理以检测其中存在的对象。例如，可以利用能够采集连续帧图像的相机来获得目标场景的图像。对象检测可以采用现有的图像处理和模式识别技术。例如，常用的检测方法包括基于AdaBoost分类器和Haar特征进行检测。每一帧的检测结果可以用一系列标识对象位置的矩形框来表示，当然，无需说明，可以采用其他标记来表示对象，比如圆形等等。

可以存储在每帧中检测到的对象的位置并跟踪对象的轨迹，并在达到预定帧数时，比如5帧时，通过分析各帧中对象的轨迹，基于对象的运动特征相似度而将对象分组。例如，在一个实施例中，可以基于各对象之间的距离远近、运动速度的相似度而将对象分组。也就是说，在该实施例中，当且仅当两对象的运动速度和空间位置都接近时，才将两个对象分为同一组。这是基于以下考虑：彼此距离接近且速度接近的两个对象，它们相对于场景中的其他对象具有更加紧密的联系。

例如，可以将对象的差异值表示为D=w₁*D_m+w₂*D_l，其中D_m是对象的速度差，D_l是对象的位置差，w₁和w₂是分别分配给速度差和位置差的权重，其中，0≤w₁≤1，0≤w₂≤1，w₁+w₂=1。例如，在一个实施例中，可以将w₁和w₂均取为0.5。但是w₁和w₂的取值不限于此，也不要求两者取值必须相同，本领域技术人员可以根据实际需要进行设置。

由此，对于差异值小于或等于预定阈值的对象，可以将它们分为同一组。同样，该预定阈值可以由本领域技术人员根据实际应用情况以及经验而设置。而且，组具有传递性，即，如果对象A和对象B属于同一组，对象B和对象C属于同一组，那么对象A和对象C也属于同一组。在分析完所有对象对之后，对象的分组就产生了。当然，分组方法不限于此。例如，预定帧数不限于5帧，本领域技术人员可以根据实际情况任意设置。而且，本领域技术人员很清楚，以上给出的关于差异值的计算方式仅仅是一个例子，本发明中差异值的计算方法不限于此。

如上所述，每组对象构成一个低层图，组中的每个对象是低层图的一个顶点。基于每个对象的诸如相对位置或者相对速度的代表性运动特征计算对象图中每个顶点的弹性。弹性是图的属性特征，用于衡量对象的运动特征的不确定性，可以用于估计对象的运动范围。

例如，可以通过统计在该预定数量帧中每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，作为低层图中的对象的代表性运动特征，计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性。

在此，参考图3的流程图给出计算顶点弹性的一个具体示例方法300，在该示例方法300中，采用对象相对于组中的其他对象的相对位置即距离来计算顶点弹性。该方法300包括：

在步骤301，计算各帧中当前对象到同组其他对象的相对距离，横向距离为DX_m,n，纵向距离为DY_m,n，其中m是帧的序号，n是其他对象的编号；

在步骤302，对考虑的所有帧计算DX_m,n和DY_m，n的标准差VX_n和VY_n如下：

${\mathrm{VX}}_n=\sqrt{\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{DX}}_{m,n}-\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{DX}}_{m,n}}{M})}^2}{M}},$ ${\mathrm{VY}}_n=\sqrt{\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{({\mathrm{DY}}_{m,n}-\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{DY}}_{m,n}}{M})}^2}{M}}$

其中M是考虑到的帧的总数；

在步骤303，对组中所有其他对象计算V_Xn和VY_n的均值

和

作为顶点的弹性E为

$\stackrel{\‾}{\mathrm{VX}}=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{VX}}_n}{N},$ $\stackrel{\‾}{V}\stackrel{\‾}{Y}=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{VY}}_n}{N}$

在步骤304，计算弹性模值

并计算该低层图的平均弹性模值作为所有顶点的弹性模值的均值。

当然，计算顶点弹性的方法不限于此，也可以采用对象的相对速度作为代表性运动特征来计算，计算方法与此示例方法类似，在此不再赘述。

为了建立对象组图并计算其顶点的弹性，如上所述，将每个低层图即每个对象组作为高层图的一个顶点。例如，在一个实施例中，可以计算组中的对象个数，由此统计在所述预定数量帧中每个对象组的所有对象的中心位置和平均速度中的至少一个，并计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。具体计算方法与计算低层图顶点的方法原理相同，在此不再赘述。

顶点的弹性是低层图和高层图的属性，代表了顶点位置的估计范围的不确定性。利用顶点的弹性，能够预测出顶点在下一帧的可能的位置范围。在此将基于图的顶点弹性进行对象的位置范围的预测称为图预测，将预测出的可能的位置范围称为预测位置范围。从而，可以不必在整幅图像内而是基于预测位置范围搜索对象，从而缩小搜索范围，提高跟踪处理的速度。

在如上所述得到对象组和对象的顶点弹性之后，可以进行图预测。具体地，在一个实施例中，可以基于对象组在当前帧中的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围，并且可以基于每个对象在当前帧中的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围。

至于如何基于对象组图或对象图中的顶点弹性来预测对象组或者对象的位置范围，可以采用许多现有的预测技术，比如卡尔曼滤波、线性运动方程等。为了简化对本发明的描述，不一一介绍各种方法，在此仅简单介绍一种递归运动方程(RMF)法。这种方法将对象在t时刻的位置用公式来表示，其中c_i是一个常量矩阵，f是用于计算的帧数。可以用这种方法来预测高层图中顶点的位置即对象组的中心的位置，然后再确定预测位置范围。预测位置范围的大小由高层图的顶点的弹性值来确定，比如可以分别以

和

作为半长轴和半短轴，以上述中心位置预测值为中心，生成椭圆形的范围，如图4中的椭圆形所示。本领域技术人员很清楚，预测位置范围不限于椭圆，其他形状也是可能的。这种图预测的方法同样适用于低层图中顶点位置的预测，即可用于在确定了对象组的预测位置范围之后，基于对象图的顶点的弹性确定每个对象的预测位置范围。

基于对象组和对象的预测位置范围，可以确定搜索范围，其中搜索范围是在下一帧中的要在其中搜索对象的范围。

以下，参考图5描述确定搜索范围的一个具体示例方法500的流程。

在步骤501，统计在该预定数量帧中每个对象组中的每个对象与该对象组的中心位置的相对位置关系。

比如，每个对象组的中心位置可以是该对象组中的所有对象的平均位置、重心位置，等等。由此，统计该对象组中的每个对象（例如对象的中心点、重心点等等）与该中心位置的距离、方向关系等等，作为该相对位置关系。

在步骤502，以所预测的对象组的位置范围作为对象组的中心位置的范围，根据所述相对位置关系，计算出对象组中的每个对象相对于该对象组的中心位置的相对位置范围。

如上所述，基于对象组图的顶点弹性，可以预测对象组的中心位置的范围，并且根据步骤501中统计的对象组中的每个对象相对于该中心位置的相对位置关系，可以确定每个对象（例如对象的中心点、重心点等等）相对于该中心位置的相对位置范围。例如，参考图6，实线的椭圆形是预测的某对象组的中心位置的范围，其中O为圆心，并且已确定该对象组中的某一对象A距离该对象组的中心位置的距离为D，则该对象A的相对位置范围如图6中的虚线椭圆所示，该椭圆与该实线椭圆具有相同的形状，并且其圆心O’与O的距离也为D。

在步骤503，在下一帧中，以所计算的每个对象的相对位置范围中的每一点为中心，在所预测的每个对象在下一帧中的位置范围内搜索对象。

如上所述，基于对象图的顶点弹性，可以预测对象的位置范围，而且，在步骤502中，已经确定了每个对象（例如对象的中心点、重心点等等）相对于对象组的相对位置范围。在此之上，可以以该相对位置范围中的每一点为中心，以基于顶点弹性所预测的对象的位置范围为范围，确定对象的搜索范围。例如，仍以图6为例，则对象的搜索范围以虚线的椭圆中（包括圆周上）的每一点为中心，以例如每个对象的弹性模值

和

作为半长轴和半短轴的所有椭圆，那么该搜索范围的最外侧轮廓为以虚线椭圆的圆周上的每一点为中心、以每个对象的

和作为半长轴和半短轴的所有椭圆所形成的轮廓（注意为了清楚例示，图6中仅示出了该轮廓的其中一个椭圆）。由此，在下一帧中，可以在所确定的搜索范围内搜索对象。同样，搜索范围不限于椭圆形。

由于在预测的搜索范围内而不是整幅图内搜索对象，所以可以大大提高搜索速度。并且由于采用对象组图进行预测，所以能够抵抗噪声以提供更准确的跟踪结果。

需要说明的是，步骤503不是必须的。也就是说，在一个实施例中，可以直接在基于对象组图预测的对象组的中心位置范围和每个对象与对象组的相对位置关系而确定的每个对象的相对位置范围内搜索对象。这仍能够保证对利用对象组图所带来的抗噪声性，并提高跟踪速度。

另一方面，通常，跟踪装置具有预定的检测/跟踪率，即在预定的若干帧中，当进行一次全图检测而在其余帧中进行跟踪时执行检测和执行跟踪的频率的比率。例如，对于检测/跟踪率是1:9的装置而言，在每连续的100帧图像中，对前10帧进行检测，其余90帧执行跟踪，那么10帧和9帧分别可以看作是检测时段和跟踪时段，并且检测时段和跟踪时段重复地交替出现。本领域技术人员很清楚，检测和跟踪时段不限于此，本领域技术人员可以根据需要人员设置。从而，在检测时段中，进行全图检测，在跟踪时段中，根据上述方法在基于对象组图和对象图的顶点弹性确定的搜索范围内检测（即跟踪）对象。

在得到新的检测结果（全图检测结果或者在搜索范围内的检测结果）之后，可以基于检测结果更新双层图。例如，可以以预定的更新频率（比如每隔10帧）更新对象图和对象组图。更新对象图或对象组图可以包括更新对象图或者对象图组中的顶点的弹性。同样，基于检测到的每个对象组和每个对象的代表性运动特征来进行对象图和对象组图的顶点弹性的更新。

另外，由于同一对象组中的运动的对象可能随着时间经过而变得不再具有相似的运动特征，那么在若干帧后原本属于同一对象组的对象可能不再属于该组，则相应的对象图可能需要分裂为两个或更多对象图。同样，原本属于不同组的对象在若干帧之后可能变得具有类似的运动特征，那么它们的对象图也可以被合并。以下简要介绍图的合并和分裂。

图合并：

如上所述，在更新对象图时，更新对象图的顶点的弹性。如果将任意两个低层图A、B的顶点的合集看成一个大的低层图C的顶点，在C的平均弹性模值小于或等于阈值E_merge，则可以将图A和B合并为图C。其中阈值E_merge可由本领域技术人员根据经验设置。图7示出了图合并的一个例子，其中两个低层图在经过若干帧之后被合并为一个低层图。

图分裂：

如果一个低层图C的平均弹性模值大于阈值E_split，则可能需要进行图分裂。同样，阈值E_split可由本领域技术人员根据经验设置。例如，可以将图C的顶点分成任意两个集合，分别构成两个低层图A₁和B₁。分别计算A₁和B₁的平均弹性模值，再相加得到对应于将C分裂为A₁、B₁这样的分裂结果的平均弹性模值和。然后依次取不同的分列方式A₂和B₂、A₃和B₃，......，计算相应的平均弹性模值和。对于所有可能的分裂，取平均弹性模值和最小的一种A_m、B_m，如果A_m和B_m各自的平均弹性模值都小于E_split，则A_m、B_m即为C的分裂结果，否则对平均弹性模值不小于E_split的低层图执行进一步分裂，直到不能分裂（比如低层图只有一个顶点）时为止。图8示出了图分裂的一个例子，其中一个低层图在经过若干帧之后分裂为两个低层图。

由此，基于低层图的分裂或合并结果，相应地更新高层图，比如更新高层图的顶点的弹性。

从而，接下来，可以基于已更新的低层图和/或高层图进行预测，根据预测结果在跟踪时段内检测对象，或者在检测时段内在全图检测对象，基于检测结果以预定频率进行更新，形成预测-检测-更新的循环。更新频率可以为例如每隔10帧更新一次，当然，该预定频率不限于此，本领域技术人员可以根据实际应用任意设置。

本发明的另一方面提供了对象跟踪装置。以下参考图9描述根据本发明的一个实施例的对象跟踪装置900。

如图9所示，该对象跟踪装置900可以包括：对象图建立模块901、对象组图建立模块902、对象组位置范围预测模块903、对象位置范围预测模块904和检测模块905。

该对象图建立模块901可以用于建立对象图。具体地，该对象图建立模块901可以将在连续预定数量帧内具有相似运动特征的一组对象包括在一个对象图中，将每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中每个顶点的弹性。

该对象组图建立模块902可以用于建立对象组图。具体地，该对象组图建立模块902可以将每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中每个顶点的弹性。

该对象组位置范围预测模块903可以用于基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围。

该对象位置范围预测模块904可以用于基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围。

该检测模块905可以用于在跟踪时段内，基于该对象组位置范围预测模块903预测的每个对象组的位置范围和该对象位置范围预测模块904预测的每个对象的位置范围，在下一帧中检测对象。

在一个实施例中，每个对象的代表性运动特征可以包括但不限于每个对象的相对位置和相对速度中的至少一个。例如，该对象图建立模块901可以通过统计在该预定数量帧中每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，作为低层图中的对象的代表性运动特征，并计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性。

类似地，每个对象组的代表性运动特征可以包括但不限于每个对象组的中心位置和平均速度中的至少一个。例如，该对象组图建立模块902可以通过统计在该预定数量帧中每个对象组的中心位置和平均速度中的至少一个，并计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。

在另一实施例中，该对象跟踪装置900还可以包括相对位置关系统计模块906（未在图中示出）。该相对位置关系统计模块906可以用于统计在所述预定数量帧中每个对象组中的每个对象与该对象组的中心位置的相对位置关系。该检测模块905可以以所述对象组位置范围预测模块预测的对象组的位置范围作为对象组的中心位置的范围，根据所述相对位置计算模块统计的相对位置关系，计算出对象组中的每个对象相对于该对象组的中心位置的相对位置范围，并在下一帧中，以所计算的每个对象的相对位置范围中的每一点为中心，在所述对象位置范围预测模块预测的每个对象在下一帧中的位置范围内搜索对象。

另外，该检测模块905还可以在检测时段内在整个帧图像的范围内检测对象。

在另一实施例中，该对象跟踪装置900还可以包括更新模块907（未在图中示出），用于基于该检测模块905检测到的对象，以预定更新频率更新所述对象图和所述对象组图。并且，该更新模块可以将更新的对象组图和对象图提供给对象组位置范围预测模块903以及对象位置范围预测模块904，以基于更新的对象组图和对象图分别预测对象组和对象的位置范围。

例如，该对象跟踪装置900可以应用于监控系统。图10示出了本发明可应用于的一个示例监控系统1000的框图。如图10所示，该监控系统1000可以包括：图像提供装置1001，比如摄像机等，用于提供目标场景的连续帧的图像；处理器（对象跟踪装置）1002，接收并分析图像提供装置提供的图像，根据分析结果进行对象跟踪；存储装置1003，用于存储处理器1002的分析结果及各种中间数据；以及显示设备1004，比如监视器等，用于显示处理器1002的对象跟踪结果。根据本发明对象跟踪装置900可以实现为该处理器1002的部分，并且诸如对象图、对象组图的顶点弹性的计算结果、对象和对象组的位置范围的预测结果以及对象的检测结果等得数据可以存储在存储装置1003中。

当然，根据本发明的实施例的对象跟踪方法200和对象跟踪装置900的应用不限于此，并且其还可以应用于车辆自动控制系统、相机自动对焦系统等等许多领域中。并且，取决于具体应用，本领域技术人员可以对该对象跟踪方法200和对象跟踪装置900进行适当的修改和变更。

以上描述了根据本发明的实施例的对象跟踪方法和装置，其中，建立对象图和对象组图，根据对象组图和对象图的顶点的弹性分别预测每个对象组以及每个对象在下一帧中的位置范围，基于所预测的位置范围在下一帧中检测对象。

由于对象组相对于单个对象来说更稳定并且具有更强的抵抗噪声的能力，所以基于对象组进行对象跟踪能够提高对象跟踪的准确性。另外，由于在预测的范围内进行检测对象，缩小了检测范围，所以可以提高跟踪处理的速度。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行，例如，基于对象组图的顶点的弹性预测对象组的位置范围以及基于对象图的顶点的弹性预测每个对象的位置范围的步骤可以同时进行或者可以按与以上所述相反的顺序进行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种对象跟踪方法，包括：

建立对象图，其中在连续的预定数量帧内具有相似运动特征的一组对象被包括在一个对象图中，每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中的每个顶点的弹性；

建立对象组图，其中每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中的每个顶点的弹性；

基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；

基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；以及

在跟踪时段内，基于所预测的每个对象组和每个对象的位置范围，在下一帧中检测对象。

2.如权利要求1所述的方法，其中每个对象的代表性运动特征包括每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，计算对象图中的每个顶点的弹性包括：统计在所述预定数量帧中每个对象的相对位置和相对速度中的至少一个，计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性；以及

其中每个对象组的代表性运动特征包括每个对象组的中心位置和平均速度中的至少一个，计算对象组图中的每个顶点的弹性包括：统计在所述预定数量帧中每个对象组的中心位置和平均速度中的至少一个，计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。

3.如权利要求2所述的方法，其中基于所预测的每个对象组和每个对象的位置范围检测对象包括：

统计在所述预定数量帧中每个对象组中的每个对象与该对象组的中心位置的相对位置关系；

以所预测的对象组的位置范围作为该对象组的中心位置的范围，根据所述相对位置关系，计算出对象组中的每个对象相对于该对象组的中心位置的相对位置范围，

在下一帧中，以所计算的每个对象的相对位置范围中的每一点为中心，在所预测的每个对象在下一帧中的位置范围内搜索对象。

4.如权利要求1所述的方法，还包括：

在检测时段内，在整帧图像中检测对象。

5.如权利要求1或4所述的方法，还包括：

基于检测对象的检测结果，以预定更新频率更新所述对象图和所述对象组图。

6.如权利要求5所述的方法，其中更新对象图包括更新对象图中的顶点的弹性或者对象图的合并、分裂，更新对象组图包括更新对象组图中的顶点的弹性或者基于对象图的合并、分裂的结果更新对象组图。

7.如权利要求1所述的方法，其中具有相似运动特征的一组对象包括差异值小于预定阈值的对象，对于任意两个对象，该差异值定义为D：

D=w₁*D_m+w₂*D_l，其中D_m是对象之间的速度差，D_l是对象之间的位置差，w₁和w₂是分别分配给速度差和位置差的权重。

8.一种对象跟踪装置，包括：

对象图建立模块，配置为建立对象图，包括将在连续预定数量帧内具有相似运动特征的一组对象包括在一个对象图中，将每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中的每个顶点的弹性；

对象组图建立模块，配置为建立对象组图，包括将每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中的每个顶点的弹性；

对象组位置范围预测模块，配置为基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；

对象位置范围预测模块，配置为基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；

检测模块，配置为在跟踪时段内，基于所述对象组位置范围预测模块预测的每个对象组的位置范围和所述对象位置范围预测模块预测的每个对象的位置范围，在下一帧中检测对象。

9.如权利要求8所述的对象跟踪装置，其中每个对象的代表性运动特征包括每个对象相对于同组中其他对象的相对位置和相对速度中的至少一个，所述对象图建立模块统计在所述预定数量帧中每个对象的相对位置和相对速度中的至少一个，计算所述相对位置和相对速度中的至少一个的方差，作为对象图中的顶点的弹性；以及

其中每个对象组的代表性运动特征包括每个对象组的中心位置和平均速度中的至少一个，所述对象组图建立模块统计在所述预定数量帧中每个对象组的中心位置和平均速度中的至少一个，计算所述中心位置和平均速度中的至少一个的方差，作为对象组图中的顶点的弹性。

10.一种监控系统，包括：

图像提供装置，用于提供目标场景的连续帧的图像；

对象跟踪装置，接收并分析图像提供装置提供的图像，根据分析结果进行对象跟踪；

存储装置，存储对象跟踪装置的处理结果；以及

显示设备，接收并显示该对象跟踪装置的对象跟踪结果，

其中该对象跟踪装置包括：

对象图建立模块，配置为建立对象图，包括将在该图像提供装置提供的连续预定数量帧内具有相似运动特征的一组对象包括在一个对象图中，将每个对象作为该对象图的顶点，基于每个对象的代表性运动特征计算对象图中的每个顶点的弹性；

对象组图建立模块，配置为建立对象组图，包括将每个对象图中的每个对象组作为所述对象组图中的顶点，基于每个对象组的代表性运动特征计算对象组图中的每个顶点的弹性；

对象组位置范围预测模块，配置为基于当前帧中的每个对象组的位置以及对象组图的顶点的弹性，预测每个对象组在下一帧中的位置范围；

对象位置范围预测模块，配置为基于当前帧中每个对象的位置以及对象图的顶点的弹性，预测每个对象在下一帧中的位置范围；

检测模块，配置为在跟踪时段内，基于所述对象组位置范围预测模块预测的每个对象组的位置范围和所述对象位置范围预测模块预测的每个对象的位置范围，在下一帧中检测对象。

Images