CN102054278A - 基于网格收缩的对象跟踪方法 - Google Patents

Abstract

本发明公开了基于网格收缩的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，通过目标选取、图像输入、计算网格参数跟踪区域网格化、计算节点与目标的距离、节点排序、网格收缩等步骤，经过一定次数的迭代之后，找到与目标距离最小的那个节点，即目标在当前图像的位置，从而实现对目标对象的跟踪。本发明方法既保证了全局搜索，又能满足实时应用场合中计算量小的要求，可以很好地实现对快速移动对象的跟踪以及在跟踪失败后自动恢复。

Description

基于网格收缩的对象跟踪方法

技术领域

本发明属于计算机图形图像处理技术领域。

背景技术

目前对象跟踪方法主要分为概率跟踪方法和确定性跟踪方法。

概率跟踪方法以粒子滤波为主要代表，如Nummiaro提出的一种自适应颜色滤波方法“An adaptive color-based particle filter”，Isard 提出的条件概率密度传播跟踪方法“CONDENSATION-Conditional density propagation for visual tracking”，以及P.H.Li的轮廓滤波法“Visual contour tracking based on particle filters”。这些概率跟踪方法的主要问题是方法需要用大量的样本数量才能很好地近似系统的后验概率密度，机器人面临的环境越复杂，描述后验概率分布所需要的样本数量就越多，算法的复杂度就越高，越不易实现。

与概率跟踪方法相比，确定性跟踪方法计算简单、易实现，很适合于实时对象的跟踪。基于均值漂移(Mean Shift, 简称MS)的跟踪方法是确定性跟踪方法的典型代表，它是一种有效的基于密度梯度上升的非参数统计迭代方法。 MS由Comaniciu等人在“Real-time tracking of non-rigid objects using mean shift”中首先将其应用到跟踪领域，并在“The variable bandwidth mean shift and data-driven scale selection”中进一步提出了可变窗宽的MS算子（VBDF）。Comaniciu随后在“Kernel-based object tracking”中对MS跟踪方法做了更进一步的改进，并总结了这种方法的实现框架。Yang在“Efficient mean-shift tracking via a new similarity measure”中采用另一个相似度测量方法来实现基于MS的跟踪，而Tu等人在“Online updating appearance generative mixture model for meanshift tracking”中利用期望最大化算法在线更新表观柱状图，一定程度提高了MS跟踪算法的精度和可靠性。

 Comaniciu等人的“Real-time tracking of non-rigid objects using mean shift”方法，使用目标与候选对象的相似度作为距离测量，通过迭代运算找到目标和候选对象相似函数的最大值，实现目标跟踪。但是，这种基于MS的方法是从假设的初始位置开始（也有根据运动向量带位置预测的MS，如“Kernel-based object tracking”），沿概率密度梯度方向搜索最佳匹配区域，因此，该方法容易陷入局部最优，跟踪快速移动对象时常常失败，且难以从失败中恢复。

发明内容

鉴于现有技术的缺点和不足，本发明的目的是设计一种基于网格收缩的对象跟踪方法，使之以目标与候选对象的相似度作为距离测量，通过迭代运算找到目标和候选对象相似函数的最大值的过程中，具有既保证了全局搜索（即全局最优），又能满足实时应用场合中计算量小的要求，可以很好地实现对快速移动对象的跟踪以及在跟踪失败后自动恢复的优点。

本发明的目的是通过如下的手段实现的。

基于网格收缩的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，包括如下流程：

（1）目标选取

通过运动目标检测方法自动提取或人机交互方法手动指定，从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息。

（2）图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像；将跟踪区域设置为整个图像；如果输入图像为空，则整个流程中止。

（3）计算网格参数

根据目标对象尺寸计算网格各参数，计算公式如下（其中，“/”表示“整除”）：

横向划分的节点数 =(图像宽度 / 目标对象宽度) + 1；

纵向划分的节点数 =(图像高度 / 目标对象高度) + 1； 

单元格的宽度 =  图像宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  图像高度 /（纵向划分的节点数 － 1）；

总的节点数 = 横向划分的节点数 × 纵向划分的节点数； 

横向、纵向划分的节点数和总的节点数，在一个跟踪过程中，即在下一图像输入之前保持不变。 

（4）跟踪区域网格化

计算单元格的宽度和高度，计算公式如下：

单元格的宽度 =  (跟踪区域的宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  (跟踪区域的高度 / （纵向划分的节点数 － 1）；

根据计算得到的单元格尺寸，将跟踪区域划分为由相同大小的单元格组成的网格；网格节点作为目标对象的候选位置；网格节点的索引编号从0开始，按照从上到下，从左倒右的顺序依次递增。

（5）计算节点与目标的距离

计算每个节点的表观统计信息，计算节点与目标的距离Ｄ，该距离定义为：

D = 1 － 两个表观统计信息矢量间夹角的余弦值。

（6）节点排序

按照节点与目标距离从小到大的顺序，将节点重新排序；如果头节点与目标的距离满足预设条件，则该节点为目标在当前图像的位置，跟踪完成，跳转到（2）输入下一帧图像进行跟踪；否则，继续；

（7）网格收缩

提取节点序列中的前四个节点，按照其索引从小到大排序，并依次记为P1，P2，P3，P4，距离最小的这4个节点组成的矩形区域为要进行下一次网格化的目标搜索区域跳转到（4）。

经过一定次数的迭代之后，找到与目标距离最小的那个节点，即目标在当前图像的位置，从而实现对目标对象的跟踪。

本发明的方法，与MS跟踪法，即“Real-time tracking of non-rigid objects using mean shift”中的方法相同，均使用目标与候选对象的相似度作为距离测量，通过迭代运算找到目标和候选对象相似函数的最大值，实现目标跟踪。但是，后者是从假设的初始位置开始（也有根据运动向量带位置预测的MS，如“Kernel-based object tracking”），沿概率密度梯度方向搜索最佳匹配区域，容易陷入局部最优，跟踪快速移动对象时常常失败，且难以从失败中恢复。而本发明方法则是基于全局搜索，并逐步缩小搜索范围，实现目标跟踪，因而可以克服以上MS方法的不足。需要说明的是，由于本发明方法只在每一次图像搜索开始时，进行全局范围内的有限次距离计算，因此，本发明方法既保证了全局搜索（即全局最优），又能满足实时应用场合中计算量小的要求。

附图说明

图1为图像网格化处理图。

图2为新的跟踪区域设置图。

图3为图2除外的其余四种节点分布情况图。

图4 为基于网格收缩的对象跟踪方法流程图。

具体实施方式

下面结合附图和对本发明作进一步说明。

基于本发明方法可实现很多不同的应用，图1的画面是一种简单的示意，有价值的应用是在需要在大量的动态或非动态图像资料中对目标物的搜寻，例如，可用于流体表面测速（如，泥石流表面测速），道路车辆跟踪及测速，空中飞行物跟踪及测速，“天网”视频中目标物的搜寻，行人跟踪及行为分析等。不失一般性，所述方法包括如下步骤：

（1）目标选取

从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息（如颜色、纹理、轮廓，或者它们的组合）。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。

（2）图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。将跟踪区域设置为整个图像。如果输入图像为空，则整个流程中止。

（3）计算网格参数

根据目标对象尺寸计算网格各参数，计算公式如下（其中，“/”表示“整除”）：

横向划分的节点数 =(图像宽度 / 目标对象宽度) + 1；

纵向划分的节点数 =(图像高度 / 目标对象高度) + 1； 

单元格的宽度 =  图像宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  图像高度 /（纵向划分的节点数 － 1）；

总的节点数 = 横向划分的节点数 × 纵向划分的节点数； 

因此，目标尺寸越大，单元格越大，节点数越少；目标尺寸越小，单元格越小，节点数越多。

需要说明的是，横向、纵向划分的节点数和总的节点数，在一个跟踪过程中，即在下一图像输入之前保持不变。而单元格的宽度和高度则由于跟踪区域的缩小快速减小，步骤（4）将体现这一过程。

（4）跟踪区域网格化

计算单元格的宽度和高度，计算公式如下：

单元格的宽度 =  (跟踪区域的宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  (跟踪区域的高度 / （纵向划分的节点数 － 1）；

根据计算得到的单元格尺寸，将跟踪区域划分为由相同大小的单元格组成的网格。网格化结果如图1所示。网格节点作为目标对象的候选位置。网格节点的索引编号从0开始，按照从上到下，从左倒右的顺序依次递增。

（5）计算节点与目标的距离

计算每个节点的表观统计信息，计算节点与目标的距离Ｄ，该距离定义为：

D = 1 － 两个表观统计信息矢量间夹角的余弦值

（6）节点排序

按照节点与目标距离从小到大的顺序，将节点重新排序。如果头节点与目标的距离满足设定条件，则该节点为目标在当前图像的位置，跟踪完成，跳转到（2）。否则，继续。

（7）网格收缩（设置新的跟踪区域）

提取节点序列中的前四个节点，按照其索引从小到大排序，并依次记为P1，P2，P3，P4，它们在图像区域的对应位置如图2所示。距离最小的这4个节点组成的矩形区域为要进行下一次网格化的目标搜索区域。其余四种节点分布情况如图3所示，同样，这些节点组成了新的跟踪区域。新的跟踪区域设置完成后，跳转到（4）。

本发明方法的技术流程图如图4所示。经过以上（3）-（6）的处理后，网格将收缩到一个更小的区域（一个单元格内），并作为下一次跟踪的搜索区域，因此，经过一定次数的迭代之后，可以找到与目标距离最小的那个节点，即目标在当前图像的位置，从而实现对目标对象的跟踪。

显然，所述预设条件：D = 1 － 两个表观统计信息矢量间夹角的余弦值≤Θ，Θ之值由具体跟踪对象的表观统计信息设定。

本发明方法可通过任何计算机程序设计语言（如C语言）编程实现，基于本方法的跟踪软件可在任何PC或者嵌入式系统中实现实时视频对象跟踪应用。

Claims (3)

1.基于网格收缩的对象跟踪方法，在已获取的图像中对选定目标进行跟踪处理，包括如下流程：

（1）目标选取

通过运动目标检测方法自动提取或人机交互方法手动指定，从选定的图像中选取要跟踪的目标对象，计算目标对象的表观统计信息；

（2）图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像；将跟踪区域设置为整个图像；如果输入图像为空，则整个流程中止；

（3）计算网格参数

根据目标对象尺寸计算网格各参数，其中，“/”表示“整除”：

横向划分的节点数 =(图像宽度 / 目标对象宽度) + 1；

纵向划分的节点数 =(图像高度 / 目标对象高度) + 1； 

单元格的宽度 =  图像宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  图像高度 /（纵向划分的节点数 － 1）；

总的节点数 = 横向划分的节点数 × 纵向划分的节点数； 

横向、纵向划分的节点数和总的节点数，在一个跟踪过程中，即在下一图像输入之前保持不变； 

（4）跟踪区域网格化

计算单元格的宽度和高度，计算公式如下：

单元格的宽度 =  (跟踪区域的宽度 /（横向划分的节点数 － 1 )；

单元格的高度 =  (跟踪区域的高度 / （纵向划分的节点数 － 1）；

根据计算得到的单元格尺寸，将跟踪区域划分为由相同大小的单元格组成的网格；网格节点作为目标对象的候选位置；网格节点的索引编号从0开始，按照从上到下，从左倒右的顺序依次递增；

（5）计算节点与目标的距离

计算每个节点的表观统计信息，计算节点与目标的距离Ｄ，该距离定义为：

D = 1 － 两个表观统计信息矢量间夹角的余弦值；

（6）节点排序

按照节点与目标距离从小到大的顺序，将节点重新排序；如果头节点与目标的距离满足预设条件，则该节点为目标在当前图像的位置，跟踪完成，跳转到（2）输入下一帧图像进行跟踪；否则，继续；

（7）网格收缩

提取节点序列中的前四个节点，按照其索引从小到大排序，并依次记为P1，P2，P3，P4，距离最小的这4个节点组成的矩形区域为要进行下一次网格化的目标搜索区域跳转到（4）；

经过一定次数的迭代之后，找到与目标距离最小的那个节点，即目标在当前图像的位置，从而实现对目标对象的跟踪。

2.根据权利要求1所述之基于网格收缩的对象跟踪方法，其特征在于，所述目标对象的表观统计信息为颜色、纹理、轮廓，或者其组合。

3.根据权利要求1所述之基于网格收缩的对象跟踪方法，其特征在于，所述预设条件：D = 1 － 两个表观统计信息矢量间夹角的余弦值≤Θ，Θ之值由具体跟踪对象的表观统计信息设定。

Images