CN104778699A - 一种自适应对象特征的跟踪方法 - Google Patents

Abstract

本发明提供了一种自适应对象特征的跟踪方法，属于计算机图形图像处理技术领域。它能有效地解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。该方法通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点信息，然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述目标的特征组合，并以此对目标建模；跟踪过程中，该方法首先根据目标灰度表构建与图像对应的霍夫表，然后通过目标模型搜索确定预测目标位置，接着在以该预测目标位置为中心的局部较小范围内搜索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，完成目标的定位。主要用于对象目标的跟踪。

Description

一种自适应对象特征的跟踪方法

技术领域

本发明属于计算机视觉对象跟踪技术领域，特别涉及计算机图形图像处理技术领域。

背景技术

视觉对象跟踪是许多计算机视觉应用的基本和关键问题，如视频分析，智能监控，人机交互，行为识别等，尽管研究人员对此做出了大量的工作，但要在复杂的环境中实现实时稳定的对象跟踪仍然是极具挑战性的任务。

由于基于在线学习的跟踪方法本质上更能够适应对象及其环境的变化，有利于完成长时间的跟踪任务，因此目前依赖检测或者学习的对象跟踪方法(如TLD,Tracking-Learning-Detection)受到越来越广泛的关注。这些方法通过学习某种分类器，如支持向量机、自举、随机森林，或者随机蕨等来发掘未知的数据和信息，进而增强其对目标及其场景变化的适应能力。在基础(短时)跟踪(如KLT、均值漂移、粒子滤波等)失败时，这些分类器则被用作检测器进行目标检测，以达到恢复跟踪的目的。为了保证分类器学习的准确性，同时又能尽可能的适应目标的变化，Babenko等提出了袋学习的思想和OMB方法(Online-MILBoost)，Kalal等提出了P-N(Positive-Negative)正负样例学习的方法。然而，这些方法仍然难以处理非刚性运动变化以及遮挡等问题。对此，霍夫森林提供了一种可能的解决方法，它是一种融合霍夫变换的随机森林，对象的定位或者检测被看作是寻求霍夫图像中的概率极大值点，然而该方法在实时性和持久性上有待进一步提高。此外，基于稀疏表示和学习的对象跟踪方法，由于其较稳定的跟踪性能受到越来越多的关注和研究，然而这些方法十分依赖样例模板，同样存在不小的失败风险，且计算结构复杂而难以满足实际实时性的要求。

一般情况下，场景越复杂，跟踪或者检测就变得越困难，由于计算资源的局限和效率的要求，对象表观模型不能过于复杂。实际上，除了目标本身以外，背景信息也是十分有用且重要的信息。Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协助，其对应实现的CAT跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一定的运动假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner等提出通过获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然而检测和匹配所有这些局部特征点的方法在计算上十分耗时。Thang等通过将PNT作为基础跟踪和同时增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与目标相似的对象，从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区域用以辅助跟踪，然而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不高。Godec等通过对场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的跟踪效果，但是该方法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此其应用有限。

因此，有必要研究开发一种可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定；同时由于使用的特征简单，且不需要进行复杂的机器学习过程的对象跟踪方法。

发明内容

本发明的目的是提供一种自适应对象特征的跟踪方法，它能有效地解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。

本发明的目的是通过以下技术方案来实现的：一种自适应对象特征的跟踪方法，包括如下步骤：

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。

步骤二、构建目标灰度表

目标灰度表的构建方法为：对目标图像块中的每一个像素点I，设该像素点灰度值在目标灰度直方图和背景灰度直方图中对应的量化级分别为a_k和g_k，则该像素点的权重w计算为w＝a_k/(a_k+g_k)；然后计算该像素点在目标图像块中的横坐标x和纵坐标y，以及与目标中心位置的横向距离dx和纵向距离dy；如果w>θ_T则根据该像素点的灰度值将其加入到目标灰度表中对应的像素点集中。设表示目标灰度表，H_T的总量化级数表示为M_T， $B_k={\left\{I_i^k\right\}}_{i=1...L},$ 其中L为B_k包含的像素点数目， $I_i^k=(x_i^k,y_i^k,{\mathrm{dx}}_i^k,{\mathrm{dy}}_i^k,b_i^k,$ $w_i^k)$ 表示B_k中第i个像素点，其中和分别表示在目标图像块中的横坐标和纵坐标，和分别表示与目标中心位置的横向距离和纵向距离，表示的灰度值，表示的权重，设表示目标图像块Z_T的归一化灰度直方图，其中N_T为A_T的总量化级数，设表示以目标图像块Z_T为中心的周围背景的归一化灰度直方图，其中N_G为A_G的总量化级数。

步骤三、特征选择与目标建模

设F＝{f_i}_i＝1...D表示特征集，其中D为F包含的特征数目，f_i表示F中的第i个特征，两点特征的提取方法为：在H_T中随机选择两个不同的像素点集B_i和B_j，i≠j，1≤i,j≤M_T；然后在B_i中随机选择一个像素点I_a，并在B_j中随机选择一个像素点I_b，I_a和I_b构成两点特征，该两点特征的特征值f计算为：

$f=\left\{\begin{array}{cc}1,& I_a\&GreaterEqual;I_b\\ 0,& I_a<I_b\end{array}\right.$

根据各个特征与类型c的互信息对所有特征进行排序，提取互信息最大的前K个特征构成目标特征集F_T＝{f_i}_i＝1...K用于目标建模。具体为，根据该特征集中各个特征对应在目标图像块中的取值将目标描述为一个K维的特征向量A_T＝(f₁,f₂,…,f_i,…,f_K)，其中f_i表示A_T的第i个特征值。

步骤四、图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束。

步骤五、构建霍夫表

霍夫表的构建方法为：设表示与图像对应的霍夫表，其中W_I和H_I分别表示图像的宽和高，q_i,j为在(i，j)位置上根据目标灰度表H_T确定的指向该位置的像素点数目，对图像中的每一个像素点，根据它的灰度在灰度表H_T中查找对应的像素点集B，然后对B包含的每一个像素点，若该像素点指向的目标中心位置为(i，j)，则对应将Q中的q_i,j加1。

步骤六、目标定位

对目标搜索区域内的每一个候选图像块Z，根据目标特征集F_T计算Z的特征向量 其中f_i ^Z表示A_Z的第i个特征值，则该候选图像块Z与目标的相似度S_Z计算为：

$S_Z=R\&CenterDot;\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}\mathrm{\&delta;}({f_i}^Z-f_i),$

其中为特征f_i与类型c的互信息，即 $I_{f_i}=I(f_i;c)=\underset{f_i\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f_i,c)\log \frac{p(f_i,c)}{p\left(f_i\right)p\left(c\right)},$ R为归一化因子， $R=\frac{1}{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}},\mathrm{\&delta;}({f_i}^z-f_i)=\left\{\begin{array}{cc}1,& {f_i}^Z=f_i\\ 0,& {f_i}^Z\&NotEqual;f_i\end{array}\right.,$ 将具有最大相似度的候选图像块所在的图像位置作为预测目标位置；然后，在以预测目标位置为中心的局部较小范围内搜索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，目标定位完成。

所述两点特征提取方法提取D个两点特征构成特征集F_T＝{f_i}_i＝1...D，其中f_i表示F_T中的第i个两点特征；对特征集中的每一个特征f，计算它与类型c的互信息I(f；c)，

$I(f;c)=\underset{f\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f,c)\log \frac{p(f,c)}{p\left(f\right)p\left(c\right)},$

其中V＝{0,1}，C＝{0,1}，这里c＝1表示目标，c＝0表示背景；p(f,c)＝p(f)p(c|f)，其中p(f)＝0.5，p(c|f)＝N_c/N_o，N_o表示在目标所在的背景搜索区域内参与计算的候选图像块的总数目；设f^T表示该特征对应在目标图像块中的取值，N_c为f≠f^T对应的候选图像块的数目。

跟踪过程中，目标灰度表用于提供构成两点特征所需的像素点信息和用于构建霍夫表，霍夫表则给出了各个对应的图像位置为目标中心位置的可能性；通过基于互信息的特征选择可以获得最佳的特征组合，并用于目标建模，该建模信息则进一步用于预测目标位置；最后根据该预测结果并结合霍夫表确定最终的目标位置，从而实现对目标对象的跟踪。

本发明与现有技术相比的优点和积极效果：

本发明通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点信息，然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述目标的特征组合，并以此对目标建模；由于采用了目标检测与霍夫变换的双重目标定位机制，本发明方法可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定；同时由于使用的特征简单，且不需要进行复杂的机器学习过程，该方法实现简单，计算速度快。

附图说明

图1为本发明的技术流程图。

实施例：

下面通过附图对本发明做进一步说明

以高速公路视频监控车辆超速检测为例，可以采用本发明提出的跟踪方法实现。首先通过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内各个车辆的图像区域，然后将这些图像区域作为目标进行跟踪。步骤如下：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。

(2)构建目标灰度表

目标灰度表将用于提供构成两点特征所需的像素点信息和用于构建霍夫表。设 表示目标灰度表，其中M_T为H_T的总量化级数，这里M_T＝256，B_k表示H_T中第k个灰度级对应的像素点集， $B_k={\left\{I_i^k\right\}}_{i=1...L},$ 其中L为B_k包含的像素点数目， $I_i^k=$ $(x_i^k,y_i^k,{\mathrm{dx}}_i^k,{\mathrm{dy}}_i^k,b_i^k,w_i^k)$ 表示B_k中第i个像素点，其中和分别表示在目标图像块中的横坐标和纵坐标，和分别表示与目标中心位置的横向距离和纵向距离，表示的灰度值，表示的权重。设 $A_T=(a_1,a_2,...,a_k,...{,a}_{N_T})$ 表示目标图像块Z_T的归一化灰度直方图，其中N_T为A_T的总量化级数，这里N_T＝32，a_k表示A_T中第k个量化级数对应的直方图取值；设表示以目标图像块Z_T为中心的周围背景的归一化灰度直方图，其中N_G为A_G的总量化级数，这里N_G＝N_T，g_k表示A_G中第k个量化级数对应的直方图取值。目标灰度表H_T的构建方法为：对目标图像块中的每一个像素点I，设该像素点灰度值在目标灰度直方图和背景灰度直方图中对应的量化级分别为a_k和g_k，则该像素点的权重w计算为w＝a_k/(a_k+g_k)；然后计算该像素点在目标图像块中的横坐标x和纵坐标y，以及与目标中心位置的横向距离dx和纵向距离dy；如果w>θ_T则根据该像素点的灰度值将其加入到目标灰度表中对应的像素点集中，这里权重阈值θ_T＝0.5。由此，目标灰度表中各个灰度级包含了用于预测目标中心位置的像素点信息。

(3)两点特征选择与目标建模

设F＝{f_i}_i＝1...D表示特征集，其中D为F包含的特征数目，f_i表示F中的第i个特征，这里为两点特征。一个两点特征的提取方法为：在H_T中随机选择两个不同的像素点集B_i和B_j，i≠j，1≤i,j≤M_T；然后在B_i中随机选择一个像素点I_a，并在B_j中随机选择一个像素点I_b，I_a和I_b构成两点特征，该两点特征的特征值f计算为：

$f=\left\{\begin{array}{cc}1,& I_a\&GreaterEqual;I_b\\ 0,& I_a<I_b\end{array}\right..$

按照以上两点特征提取方法提取D个两点特征构成特征集F_T＝{f_i}_i＝1...D，其中f_i表示F_T中的第i个两点特征。对特征集中的每一个特征f，计算它与类型c的互信息I(f；c)，

$I(f;c)=\underset{f\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f,c)\log \frac{p(f,c)}{p\left(f\right)p\left(c\right)},$

其中V＝{0,1}，C＝{0,1}，这里c＝1表示目标，c＝0表示背景；p(f,c)＝p(f)p(c|f)，其中p(f)＝0.5，p(c|f)＝N_c/N_o，N_o表示在目标所在的背景搜索区域内参与计算的候选图像块的总数目；设f^T表示该特征对应在目标图像块中的取值，N_c为f≠f^T对应的候选图像块的数目。根据各个特征与类型c的互信息对所有特征进行排序，提取互信息最大的前K个特征构成目标特征集F_T＝{f_i}_i＝1...K用于目标建模，这里K＝50。具体为，根据该特征集中各个特征对应在目标图像块中的取值将目标描述为一个K维的特征向量A_T＝(f₁,f₂,…,f_i,…,f_K)，其中f_i表示A_T的第i个特征值。

(4)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。

(5)构建霍夫表

霍夫表将给出各个对应的图像位置为目标中心位置的可能性。设表示与图像对应的霍夫表，其中W_I和H_I分别表示图像的宽和高，q_i,j为在(i，j)位置上根据目标灰度表H_T确定的指向该位置的像素点数目。霍夫表Q的构建方法为：对图像中的每一个像素点，根据它的灰度在灰度表H_T中查找对应的像素点集B，然后对B包含的每一个像素点，若该像素点指向的目标中心位置为(i，j)，则对应将Q中的q_i,j加1。因此，q_i,j的值越大则表明其对应位置为目标中心位置的可能性越大。

(6)目标定位

对目标搜索区域内的每一个候选图像块Z，根据目标特征集F_T计算Z的特征向量 其中f_i ^Z表示A_Z的第i个特征值，则该候选图像块Z与目标的相似度S_Z计算为：

$S_Z=R\&CenterDot;\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}\mathrm{\&delta;}({f_i}^Z-f_i),$

其中为特征f_i与类型c的互信息，即 $I_{f_i}=I(f_i;c)=\underset{f_i\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f_i,c)\log \frac{p(f_i,c)}{p\left(f_i\right)p\left(c\right)},$ R为归一化因子， $R=\frac{1}{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}},\mathrm{\&delta;}({f_i}^z-f_i)=\left\{\begin{array}{cc}1,& {f_i}^Z=f_i\\ 0,& {f_i}^Z\&NotEqual;f_i\end{array}\right..$ 将具有最大相似度的候选图像块所在的图像位置作为预测目标位置。然后，在以预测目标位置为中心的局部较小范围内(这里是10×10)搜索对应霍夫表Q中具有最大像素点数目的位置，并将其作为最终的目标位置，目标定位完成。最后，为了适应目标尺度的变化，这里采用在所确定的目标位置处以多个尺度提取候选图像块，并计算它们与目标的归一化交叉互相关值(NCC，NormalizedCross-Correlation)，将具有最大归一化交叉互相关值的候选图像块作为新的目标。当前跟踪完成，跳转到(2)。

具体来说，首先通过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内各个车辆的图像区域，然后将这些图像区域作为目标进行跟踪。对每一个这样的车辆目标，首先通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点信息，然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述目标的特征组合，并以此对目标建模；接着在运行时根据目标灰度表构建与图像对应的霍夫表，然后通过目标模型搜索确定预测目标位置，并在以该预测目标位置为中心的局部较小范围内搜索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，完成目标定位，从而实现对该车辆目标的跟踪。最后，根据车辆目标跟踪的结果计算车辆目标1秒钟运动的图像距离，并按照图像距离与实际距离的比例关系计算得到车辆在道路中的实际运动距离，进而得到车辆的行驶速度，如果车辆速度超过了高速公路的限速值，则认为该车辆已超速，完成车辆超速检测。

本发明的方法还可用于对象跟踪的其它应用场合，如智能视频分析，人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时对象跟踪应用。

Claims (2)

1.一种自适应对象特征的跟踪方法，包括如下步骤：

步骤一、目标选取；

从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定；

步骤二、构建目标灰度表；

目标灰度表的构建方法为：对目标图像块中的每一个像素点I，设该像素点灰度值在目标灰度直方图和背景灰度直方图中对应的量化级分别为a_k和g_k，则该像素点的权重w计算为w＝a_k/(a_k+g_k)；然后计算该像素点在目标图像块中的横坐标x和纵坐标y，以及与目标中心位置的横向距离dx和纵向距离dy；如果w>θ_T则根据该像素点的灰度值将其加入到目标灰度表中对应的像素点集中；设 $H_T=(B_1,B_2,...,B_k,...,B_{M_T})$ 表示目标灰度表，H_T的总量化级数表示为M_T， $B_k={\left\{I_i^k\right\}}_{i=1...L},$ 其中L为B_k包含的像素点数目， $I_i^k=(x_i^k,y_i^k,{\mathrm{dx}}_i^k,{\mathrm{dy}}_i^k,b_i^k,$ $w_i^k)$ 表示B_k中第i个像素点，其中和分别表示在目标图像块中的横坐标和纵坐标，和分别表示与目标中心位置的横向距离和纵向距离，表示的灰度值，表示的权重，设表示目标图像块Z_T的归一化灰度直方图，其中N_T为A_T的总量化级数，设表示以目标图像块Z_T为中心的周围背景的归一化灰度直方图，其中N_G为A_G的总量化级数；

步骤三、特征选择与目标建模；

设F＝{f_i}_i＝1...D表示特征集，其中D为F包含的特征数目，f_i表示F中的第i个特征，两点特征的提取方法为：在H_T中随机选择两个不同的像素点集B_i和B_j，i≠j，1≤i,j≤M_T；然后在B_i中随机选择一个像素点I_a，并在B_j中随机选择一个像素点I_b，I_a和I_b构成两点特征，该两点特征的特征值f计算为：

$f=\left\{\begin{array}{cc}1,& I_a\&GreaterEqual;I_b\\ 0,& I_a<I_b\end{array}\right.$

根据各个特征与类型c的互信息对所有特征进行排序，提取互信息最大的前K个特征构成目标特征集F_T＝{f_i}_i＝1...K用于目标建模；具体为，根据该特征集中各个特征对应在目标图像块中的取值将目标描述为一个K维的特征向量A_T＝(f₁,f₂,…,f_i,…,f_K)，其中f_i表示A_T的第i个特征值；

步骤四、图像输入；

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束；

步骤五、构建霍夫表；

霍夫表的构建方法为：设表示与图像对应的霍夫表，其中W_I和H_I分别表示图像的宽和高，q_i,j为在(i，j)位置上根据目标灰度表H_T确定的指向该位置的像素点数目，对图像中的每一个像素点，根据它的灰度在灰度表H_T中查找对应的像素点集B，然后对B包含的每一个像素点，若该像素点指向的目标中心位置为(i，j)，则对应将Q中的q_i,j加1；

步骤六、目标定位；

对目标搜索区域内的每一个候选图像块Z，根据目标特征集F_T计算Z的特征向量 其中表示A_Z的第i个特征值，则该候选图像块Z与目标的相似度S_Z计算为：

$S_Z=R\&CenterDot;\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}\mathrm{\&delta;}(f_i^Z-f_i),$

其中为特征f_i与类型c的互信息，即 $I_{f_i}=I(f_i;c)=\underset{f_i\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f_i,c)\log \frac{p(f_i,c)}{p\left(f_i\right)p\left(c\right)},$ R为归一化因子， $R=\frac{1}{\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{I}_{f_i}},\mathrm{\&delta;}({f_i}^z-f_i)=\left\{\begin{array}{cc}1,& {f_i}^Z=f_i\\ 0,& {f_i}^Z\&NotEqual;f_i\end{array}\right.,$ 将具有最大相似度的候选图像块所在的图像位置作为预测目标位置；然后，在以预测目标位置为中心的局部较小范围内搜索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，目标定位完成。

2.根据权利要求1所述的一种自适应对象特征的跟踪方法，其特征在于：所述两点特征提取方法提取D个两点特征构成特征集F_T＝{f_i}_i＝1...D，其中f_i表示F_T中的第i个两点特征；对特征集中的每一个特征f，计算它与类型c的互信息I(f；c)，

$I(f;c)=\underset{f\&Element;V}{\mathrm{\&Sigma;}}\underset{c\&Element;C}{\mathrm{\&Sigma;}}p(f,c)\log \frac{p(f,c)}{p\left(f\right)p\left(c\right)},$

其中V＝{0,1}，C＝{0,1}，这里c＝1表示目标，c＝0表示背景；p(f,c)＝p(f)p(c|f)，其中p(f)＝0.5，p(c|f)＝N_c/N_o，N_o表示在目标所在的背景搜索区域内参与计算的候选图像块的总数目；设f^T表示该特征对应在目标图像块中的取值，N_c为f≠f^T对应的候选图像块的数目。