CN104637052A - 基于目标引导显著性检测的对象跟踪方法 - Google Patents

Abstract

本发明提供了一种基于目标引导显著性检测的对象跟踪方法，属于计算机视觉技术领域。它能解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。主要步骤为：目标选取，从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。图像输入：在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像。再分别执行执行短时跟踪：目标引导显著性检测和目标定位。该方法利用灰度直方图将目标和场景的信息融合到显著性计算中，在短时跟踪失败的情况下首先根据这种显著性计算方法得到显著图，然后通过搜索计算最大目标置信度值对目标进行定位。

Description

基于目标引导显著性检测的对象跟踪方法

技术领域

本发明属于计算机视觉对象跟踪技术领域，特别涉及计算机图形图像处理技术领域。

背景技术

视觉对象跟踪是许多计算机视觉应用的基本和关键问题，如视频分析，智能监控，人机交互，行为识别等，尽管研究人员对此做出了大量的工作，但要在复杂的环境中实现实时稳定的对象跟踪仍然是极具挑战性的任务。

目前依赖检测或者学习的对象跟踪方法(如TLD,Tracking-Learning-Detection)受到越来越广泛的关注。这些方法通过学习某种分类器，如支持向量机、自举、随机森林，或者随机蕨等来发掘未知的数据和信息，进而增强其对目标及其场景变化的适应能力。在基础(短时)跟踪(如KLT、均值漂移、粒子滤波等)失败时，这些分类器则被用作检测器进行目标检测，以达到恢复跟踪的目的。为了保证分类器学习的准确性，同时又能尽可能的适应目标的变化，Babenko等提出了袋学习的思想和OMB方法(Online-MILBoost)，Kalal等提出了P-N(Positive-Negative)正负样例学习的方法。然而，这些方法仍然难以处理非刚性运动变化以及遮挡等问题。对此，霍夫森林提供了一种可能的解决方法。霍夫森林是一种融合霍夫变换的随机森林，它由多个决策树组成，每棵树将图像或者视频中的局部表观映射到它的叶节点中，而每个叶节点则包含在霍夫空间中的概率投票。由此，对象的定位或者检测被看作是寻求在霍夫图像中的概率极大值点。然而这样的检测过程十分耗时，因此基于霍夫森林的对象跟踪方法在实时性上远不及基于随机蕨的方法。此外，基于稀疏表示和学习的对象跟踪方法，由于其较稳定的跟踪性能受到越来越多的关注和研究，然而这些方法十分依赖样例模板，同样存在不小的失败风险，且计算结构复杂而难以满足实际实时性的要求。

一般情况下，场景越复杂，跟踪或者检测就变得越困难，由于计算资源的局限和效率的要求，对象表观模型不能过于复杂。实际上，除了目标本身以外，背景信息也是十分有用且重要的信息。Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协助，其对应实现的CAT跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一定的运动假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner等提出通过获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然而检测和匹配所有这些局部特征点的方法在计算上十分耗时。Thang等通过将PNT作为基础跟踪和同时增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与目标相似的对象，从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区域用以辅助跟踪，然而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不高。Godec等通过对场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的跟踪效果，但是该方法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此其应用有限。

因此，本发明提出一种新的对象跟踪方法。该方法利用灰度直方图将目标和场景的信息融合到显著性计算中，在短时跟踪失败的情况下首先根据这种显著性计算方法得到显著图，该显著图突出了更可能属于目标的图像区域，然后通过搜索计算最大目标置信度值对目标进行定位，并据此更新目标图像块及其归一化灰度直方图。

发明内容

本发明的目的是提供一种基于目标引导显著性检测的对象跟踪方法，它能有效地解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。

本发明的目的是通过以下技术方案来实现的：具体包括如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。设表示目标图像块Z_T的归一化灰度直方图，其中M_T为A_T的总量化级数，a_k表示A_T中第k个量化级数对应的直方图取值。

(2)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。

(3)执行短时跟踪

这里，短时跟踪采用基于归一化交叉互相关(NCC，Normalized Cross-Correlation)的方法。设候选图像块Z_c与目标图像块Z_T的归一化交叉互相关值为v_NCC(Z_c,Z_T)，短时跟踪过程为：在以上次确定的目标位置为中心的搜索区域内选择候选图像块并计算其与目标图像块的v_NCC值，搜索使v_NCC值最大的位置作为当前预测的目标位置。设阈值θ_NCC＝0.8，如果最大的v_NCC>θ_NCC，则目标定位成功，当前跟踪完成，跳转到(2)；否则，跳转到(4)。

(4)目标引导显著性检测

设表示整个图像的归一化灰度直方图，其中M_B为A_B的总量化级数，且M_B＝M_T，b_k表示A_B中第k个量化级数对应的直方图取值，则位置为(i,j)的像素的显著性值S(i,j)计算为：

$S(i,j)=(C\·\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\left(\right|I(i,j)-I(m,n)|\·\exp (1-\frac{{(i-m)}^2+{(j-n)}^2}{2{\mathrm{\σ}}^2})))\·(a_{\mathrm{\δ}\left(I(i,j)\right)}\·(1-b_{\mathrm{\δ}\left(I(i,j)\right)})),$

其中，W和H分别表示图像的宽和高；I(i,j)表示位置为(i,j)的像素的灰度值，I(m,n)表示位置为(m,n)的像素的灰度值；δ(I(i,j))表示灰度值为I(i,j)在灰度直方图中对应的级数；C为归一化因子， $C=\frac{1}{\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\exp (-\frac{{(i-m)}^2+{(j-n)}^2}{2{\mathrm{\σ}}^2})}.$

根据以上公式，计算图像中每个像素的显著性值，得到显著图G。在上面的显著性计算公式中，乘积项a_δ(I(i,j))是根据目标的归一化灰度直方图得到的属于目标的概率，而(1-b_δ(I(i,j)))则是根据整个图像的归一化灰度直方图计算得到的属于目标的概率，因此在这里的显著性计算中融合了目标的信息，即目标的信息实际上引导了显著性的计算。

(5)目标定位

设目标的宽和高分别为W_T和H_T，则位置为(i,j)对应的目标置信度值p(i,j)计算为：

$p(i,j)=\frac{1}{W_T\·H_T}\·\underset{m=i-W_T/2}{\overset{i+W_T/2}{\mathrm{\Σ}}}\underset{n=j-H_T/2}{\overset{j+H_T/2}{\mathrm{\Σ}}}\left(G(m,n)\right),$

其中，G(m,n)表示位置为(m,n)对应的显著性值。设p(i^*,j^*)表示最大的目标置信度值，则将当前目标的位置设置为(i^*,j^*)，从而完成对目标的定位，并据此更新目标图像块及其归一化灰度直方图。当前跟踪完成，跳转到(2)。

在跟踪过程中，短时跟踪主要用于完成在目标变化不大的情况下的跟踪任务；当短时跟踪失败后，则通过进行目标引导的显著性检测和搜索计算最大的目标置信度值重新对目标进行定位，从而恢复跟踪。

本发明的与现有技术相比的优点和积极效果：本发明提出一种基于目标引导显著性检测的对象跟踪方法。该方法利用灰度直方图将目标和场景的信息融合到显著性计算中，在短时跟踪失败的情况下首先根据这种显著性计算方法得到显著图，然后通过搜索计算最大目标置信度值对目标进行定位，并据此更新目标图像块及其归一化灰度直方图。结合跟踪的时序性特点，该方法可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定；同时由于使用的特征简单，且不需要进行复杂的机器学习过程，该方法实现简单，计算速度快。

附图说明

图1是本发明的流程图

具体实施方式

下面结合附图和实施例对本发明进一步说明。(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。设表示目标图像块Z_T的归一化灰度直方图，其中M_T为A_T的总量化级数，a_k表示A_T中第k个量化级数对应的直方图取值。

(2)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。

(3)执行短时跟踪

这里，短时跟踪采用基于归一化交叉互相关(NCC，Normalized Cross-Correlation)的方法。设候选图像块Z_c与目标图像块Z_T的归一化交叉互相关值为v_NCC(Z_c,Z_T)，短时跟踪过程为：在以上次确定的目标位置为中心的搜索区域内选择候选图像块并计算其与目标图像块的v_NCC值，搜索使v_NCC值最大的位置作为当前预测的目标位置。设阈值θ_NCC＝0.8，如果最大的v_NCC>θ_NCC，则目标定位成功，当前跟踪完成，跳转到(2)；否则，跳转到(4)。

(4)目标引导显著性检测

设表示整个图像的归一化灰度直方图，其中M_B为A_B的总量化级数，且M_B＝M_T，b_k表示A_B中第k个量化级数对应的直方图取值，则位置为(i,j)的像素的显著性值S(i,j)计算为：

$S(i,j)=(C\·\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\left(\right|I(i,j)-I(m,n)|\·\exp (1-\frac{{(i-m)}^2+{(j-n)}^2}{2{\mathrm{\σ}}^2})))\·(a_{\mathrm{\δ}\left(I(i,j)\right)}\·(1-b_{\mathrm{\δ}\left(I(i,j)\right)})),$

其中，W和H分别表示图像的宽和高；I(i,j)表示位置为(i,j)的像素的灰度值，I(m,n)表示位置为(m,n)的像素的灰度值；δ(I(i,j))表示灰度值为I(i,j)在灰度直方图中对应的级数；C为归一化因子， $C=\frac{1}{\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\exp (-\frac{{(i-m)}^2+{(j-n)}^2}{2{\mathrm{\σ}}^2})}.$

根据以上公式，计算图像中每个像素的显著性值，得到显著图G。在上面的显著性计算公式中，乘积项a_δ(I(i,j))是根据目标的归一化灰度直方图得到的属于目标的概率，而(1-b_δ(I(i,j)))则是根据整个图像的归一化灰度直方图计算得到的属于目标的概率，因此在这里的显著性计算中融合了目标的信息，即目标的信息实际上引导了显著性的计算。

(5)目标定位

设目标的宽和高分别为W_T和H_T，则位置为(i,j)对应的目标置信度值p(i,j)计算为：

$p(i,j)=\frac{1}{W_T\·H_T}\·\underset{m=i-W_T/2}{\overset{i+W_T/2}{\mathrm{\Σ}}}\underset{n=j-H_T/2}{\overset{j+H_T/2}{\mathrm{\Σ}}}\left(G(m,n)\right),$

其中，G(m,n)表示位置为(m,n)对应的显著性值。设p(i^*,j^*)表示最大的目标置信度值，则将当前目标的位置设置为(i^*,j^*)，从而完成对目标的定位，并据此更新目标图像块及其归一化灰度直方图。当前跟踪完成，跳转到(2)

在跟踪过程中，短时跟踪主要用于完成在目标变化不大的情况下的跟踪任务；当短时跟踪失败后，则通过进行目标引导的显著性检测和搜索计算最大的目标置信度值重新对目标进行定位，从而恢复跟踪。

本发明的方法可用于对象跟踪的各种场合，如智能视频分析，自动人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

以智能视频分析为例：智能视频分析包含许多重要的自动分析任务，如对象行为分析，视频压缩等，而这些工作的基础则是能够进行稳定的对象跟踪。可以采用本发明提出的跟踪方法实现，具体来说，首先基于归一化交叉互相关方法实现短时跟踪，用于完成在目标变化不大的情况下的跟踪任务；当短时跟踪失败后，则通过进行目标引导的显著性检测得到显著图，由于在显著性计算公式中融合了目标的信息，即目标的归一化灰度直方图信息，因此该显著图将突出更可能属于目标的图像区域；然后根据该显著图搜索计算最大的目标置信度值，并将其对应的位置作为当前目标的位置，从而实现对目标的重新定位，并据此更新目标图像块及其归一化灰度直方图，进而恢复跟踪。结合跟踪的时序性特点，该方法可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定；同时由于使用的特征简单，且不需要进行复杂的机器学习过程，该方法实现简单，计算速度快。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时对象跟踪应用。

Claims (1)

1.一种基于目标引导显著性检测的对象跟踪方法，包括如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定，设表示目标图像块Z_T的归一化灰度直方图，其中M_T为A_T的总量化级数，a_k表示A_T中第k个量化级数对应的直方图取值；

(2)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束；

(3)执行短时跟踪

这里短时跟踪采用基于归一化交叉互相关的方法，设候选图像块Z_c与目标图像块Z_T的归一化交叉互相关值为v_NCC(Z_c,Z_T)，短时跟踪过程为：在以上次确定的目标位置为中心的搜索区域内选择候选图像块并计算其与目标图像块的v_NCC值，搜索使v_NCC值最大的位置作为当前预测的目标位置；设阈值θ_NCC＝0.8，如果最大的v_NCC>θ_NCC，则目标定位成功，当前跟踪完成，跳转到(2)；否则，跳转到(4)；

(4)目标引导显著性检测

设表示整个图像的归一化灰度直方图，其中M_B为A_B的总量化级数，且M_B＝M_T，b_k表示A_B中第k个量化级数对应的直方图取值，则位置为(i,j)的像素的显著性值S(i,j)计算为：

$S(i,j)=(C\·\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\left(\right|I(i,j)-I(m,n)|\·\exp (-\frac{(i-m)2+{(j-n)}^2}{{2\mathrm{\σ}}^2})))\·(a_{\mathrm{\δ}\left(I(i,j)\right)}\·(1-b_{\mathrm{\δ}\left(I(i,j)\right)})),$

其中，W和H分别表示图像的宽和高；I(i,j)表示位置为(i,j)的像素的灰度值，I(m,n)表示位置为(m,n)的像素的灰度值；δ(I(i,j))表示灰度值为I(i,j)在灰度直方图中对应的级数；C为归一化因子， $C=\frac{1}{\underset{m=1}{\overset{W}{\mathrm{\Σ}}}\underset{n=1}{\overset{H}{\mathrm{\Σ}}}\exp (-\frac{{(i-m)}^2+{(j-n)}^2}{{2\mathrm{\σ}}^2})}$

根据以上公式，计算图像中每个像素的显著性值，得到显著图G，在上面的显著性计算公式中，乘积项a_δ(I(i,j))是根据目标的归一化灰度直方图得到的属于目标的概率，而(1-b_δ(I(i,j)))则是根据整个图像的归一化灰度直方图计算得到的属于目标的概率，因此在这里的显著性计算中融合了目标的信息，即目标的信息实际上引导了显著性的计算；

(5)目标定位

设目标的宽和高分别为W_T和H_T，则位置为(i,j)对应的目标置信度值p(i,j)计算为：

$p(i,j)=\frac{1}{W_T\·H_T}\·\underset{m=i-W_T/2}{\overset{i+W_T/2}{\mathrm{\Σ}}}\underset{n=j-H_T/2}{\overset{j+H_T/2}{\mathrm{\Σ}}}\left(G(m,n)\right),$

其中，G(m,n)表示位置为(m,n)对应的显著性值，设p(i^*,j^*)表示最大的目标置信度值，则将当前目标的位置设置为(i^*,j^*)，从而完成对目标的定位，并据此更新目标图像块及其归一化灰度直方图；当前跟踪完成，跳转到(2)。