CN105447435A - 对象跟踪方法和设备、跟踪特征选择方法 - Google Patents

Abstract

提供了一种对象跟踪方法和设备，以及用于对象跟踪的跟踪特征的选择方法。所述对象跟踪方法包括：根据对象在前一帧图像中的位置，生成训练样本；对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；针对每个特征，获取其在前预定数量帧图像中的统计信息；利用计算出的所述各个特征的值及其统计信息来确定该特征的可靠性；根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。通过该对象跟踪方法，能够在跟踪过程中不断地在线更新表现较差的特征，使得在跟踪过程始终采用能够较好地表达被跟踪对象的特征来跟踪对象，由此提高了对象跟踪的精确度。

Description

对象跟踪方法和设备、跟踪特征选择方法

技术领域

本发明总体涉及图像识别，更具体地涉及对象跟踪方法和设备，以及用于对象跟踪的跟踪特征的选择方法。

背景技术

对象跟踪技术在监控、人机交互、车载导航、视讯索引等众多领域中有着广泛的应用。众所周知，进行对象跟踪所使用的特征在跟踪过程中起着至关重要的作用。目前，研究者已经进行了大量的研究，并提出了诸如采用梯度特征、采用SIFT特征、采用SURT特征等的对象跟踪方法。在大多数这样的对象跟踪方法中所使用的特征都是人为预先设定的，并且在整个跟踪过程中是不变的。然而由于诸如光照等环境干扰因素的影响，以及由于被跟踪对象在运动过程中可能会产生形状、运动速度等的变化，因此，预先设定的固定特征在跟踪过程中并不总是能很好的表达被跟踪对象的信息。

发明内容

本发明的目的在于至少解决上述一个问题，具体而言，本发明的目的在于提出一种能够在跟踪过程中始终采用能够较好地表达被跟踪对象的特征来跟踪对象以提高对象跟踪的精确度的对象跟踪方法和设备、以及跟踪特征选择方法。

根据本发明一个方面的实施例，提供了一种对象跟踪方法，包括：根据对象在前一帧图像中的位置，生成训练样本；对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；针对每个特征，获取其在前预定数量帧图像中的统计信息；利用计算出的所述各个特征的值及其统计信息来确定该特征的可靠性；根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

根据本发明的另一方面的实施例，提供了一种对象跟踪设备，包括：样本产生单元，配置为根据对象在前一帧图像中的位置，生成训练样本；第一计算单元，配置为对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；统计单元，配置为针对每个特征，获取其在前预定数量帧图像中的统计信息；可靠性确定单元，配置为利用计算出的所述各个特征的值及其统计信息确定该特征的可靠性；特征选择单元，配置为根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及检测单元，配置为利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

根据本发明的第三方面的实施例，提供了一种用于对象跟踪的跟踪特征的选择方法，包括：根据对象在前一帧图像中的位置，生成训练样本；对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个跟踪特征的值；针对每个跟踪特征，获取其在前预定数量帧图像中的统计信息；利用计算出的所述各个跟踪特征的值及其统计信息确定该跟踪特征的可靠性；根据各个跟踪特征的可靠性，选择在当前帧图像中进行对象跟踪将采用的跟踪特征。

根据本发明实施例的对象跟踪和跟踪特征选择技术，能够在跟踪过程中不断地在线更新表现较差的特征，使得在跟踪过程始终采用能够较好地表达被跟踪对象的特征来跟踪对象，由此提高了对象跟踪的精确度。

附图说明

图1示出了根据本发明实施例的对象跟踪方法的流程图。

图2示出了在图像中生成的训练样本的示例性示意图。

图3a例示了对于一个正训练样本进行仿射变换后得到的多个示例性的仿射变换后的正训练样本，图3b例示了对于一个负训练样本进行仿射变换后得到的多个示例性的仿射变换后的负训练样本。

图4示出了一个泛哈尔特征的示例性示意图。

图5示出了多个泛哈尔特征的示例性示意图。

图6例示了正训练样本序列和负训练样本序列及特征在正训练样本序列和负训练样本序列上的高斯分布。

图7示出了根据本发明实施例的对象跟踪方法中、根据各个特征的可靠性重新确定在当前帧图像中进行对象跟踪将采用的特征的处理的流程图。

图8示出了特征更新过程的示例性示意图。

图9示出了根据本发明实施例的对象跟踪方法中、利用重新确定的特征确定对象在当前帧图像中的位置的处理的流程图。

图10例示了从当前帧图像的预定区域中选择多个候选图像块的示意图。

图11示出了根据本发明实施例的对象跟踪设备的功能配置框图。

图12示出了根据本发明实施例的对象跟踪系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

首先对根据本发明实施例的对象跟踪技术的基本思想进行简要的描述。如前所述，预先设定的固定特征在跟踪过程中并不总是能很好的表达被跟踪的目标对象的信息，因此在本发明的一个实施例中，当在每一帧图像中进行对象跟踪时，都先进行在线特征更新过程，然后采用更新后的特征在本帧图像中进行对象跟踪。具体的，当要在当前帧(例如第T帧)中进行对象跟踪时，首先判断目前用于进行跟踪的各个特征(即在前一帧(第T-1帧)中进行对象跟踪时采用的各个特征)是否适当，如果其中有些特征表现不佳，则用新的特征替换这些表现不佳的特征以进行特征的更新，随后利用更新后的特征在当前帧(第T帧)中进行对象跟踪。这样，通过在跟踪过程中不断地在线更新表现较差的特征，使得在跟踪过程始终采用能够较好地表达被跟踪对象的特征来跟踪对象，由此提高了对象跟踪的精确度。

图1示出了根据本发明实施例的对象跟踪方法的流程图。

如图1所示，在步骤S110，根据对象在前一帧图像中的位置，生成训练样本。

对象在图像中的位置可以通过任何适当的方式来表示，在本实施例中，采用所述对象的最小外接矩形框来表示该对象在图像中的位置区域。在该步骤中，将根据对象在前一帧图像中的位置区域处的图像块，在该前一帧图像中生成多个训练样本。

可以采用任何适当的方式来生成所述训练样本，例如可选的，可以在前一帧图像中，选取与对象在前一帧图像中的位置的距离小于第一距离的各个图像块，作为正训练样本；并选取与对象在前一帧图像中的位置的距离大于第二距离并小于第三距离的各个图像块，作为负训练样本，其中第二距离大于或等于所述第一距离。图2示出了在图像中生成的训练样本的示例性示意图。具体的，如图2所示，假设被跟踪对象是车辆，图中的矩形框表示该车辆在前一帧(第T-1帧)图像中的位置区域，该矩形框的中心点A表示车辆的中心。图2中还示出了以中心点A为圆心，分别以长度R1、R2和R3为半径的三个虚线圆C1，C2和C3。在该示例中，可以选取中心点在圆C1的区域内、与图中的矩形框相同大小的任意矩形框作为正训练样本；并选取中心点在圆C2和C3之间的区域内、与图中的矩形框相同大小的任意矩形框作为负训练样本。

另外，为了获得更多的训练样本，可选的，可以对于如上所述生成的正训练样本和负训练样本中的每个训练样本进行仿射变换，得到多个仿射变换后的训练样本。每个训练样本进行仿射变换后产生的训练样本的个数可以根据具体情况任意设定。图3a例示了对于一个正训练样本进行仿射变换后得到的多个示例性的仿射变换后的正训练样本，图3b例示了对于一个负训练样本进行仿射变换后得到的多个示例性的仿射变换后的负训练样本。

在步骤S120，对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值。

如前所述，目前，研究人员已经提出了采用诸如梯度特征、SIFT、SURF等各种特征的对象跟踪方法。在本发明的实施例中，可以采用任意所述特征进行对象跟踪。下文中，将以采用generalizedhaar(泛哈尔)特征为例进行说明。

泛哈尔特征是一种公知的常用梯度特征，用于表示图像中一系列小图像块内像素和的加权和。例如，一个泛哈尔特征i的值f_i可以通过表达式(1)来计算：

$f_i=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_k{p}_k...\left(1\right)$

其中，p_k表示小图像块k中的像素的和，θ_k是小图像块k的权重。权重值θ_k可以任意设定，例如，θ_k＝-1,0,1，并且对于图像中的一系列小图像块，大部分小图像块的权重设置为0，只有随机选择的若干小图像块的权重设置成-1或1。另外，对于任意小图像块k，应满足0<k_w≤w，0<k_h≤h，其中k_w,k_h分别是小图像块k的宽和高，w和h分别是图像的宽和高。

由于权重值为0的小图像块对于泛哈尔特征的值实际上没有任何贡献，因此也可以理解成一个泛哈尔特征由图像中若干个权重值不为零的小图像块形成。例如，图4示出了泛哈尔特征的示例性示意图，如图4所示，f_i为图中的5个小图像块内像素和的加权和，其中由实线指示的3个小图像块的权重值被设置成-1或1，由虚线指示的2个小图像块的权重值被设置成0，对于这一情形，也可以认为f_i是图中由实线指示的3个小图像块形成的泛哈尔特征的值。能够理解，对于一个图像，通过随机选择不同的小图像块(这些小图像块的权重值不为零)，可以得到多个泛哈尔特征。

在该步骤中，对于如图3a和3b所例示的每一个训练样本，计算在前一帧(第T-1帧)图像中跟踪对象所采用的各个特征的值。例如，假设在第T-1帧图像中跟踪对象时采用了如图5中所示的3个泛哈尔特征，则对于在步骤S110中生成的每一个训练样本，计算如图5所示的3个泛哈尔特征的值，即对于每一个所述训练样本计算与形成图5中所示的泛哈尔特征的图像块对应位置处的图像块内的像素和的加权和。

回到图1，在步骤S130，针对每个特征，获取其在前预定数量帧图像中的统计信息。

统计信息可以是任何适当的信息，在下文中，将以采用特征的高斯分布参数作为其统计信息为例进行描述。由于在跟踪过程中，在图像帧序列中的每一帧图像中跟踪的始终是同一个目标对象，因此在理想状态下，同一个泛哈尔特征在各个图像帧的各个正训练样本中的对应值应该是基本相同的，即满足高斯分布；而同一个泛哈尔特征在各个图像帧的各个负训练样本中的对应值虽然可能随背景图像的变化而有所不同，但也满足高斯分布，只是高斯分布的方差稍大而已。基于这一认识，在本实施例中，使用高斯分布表示每一个泛哈尔特征在时间序列上的分布。例如，如图6所示，图中左侧的两个图像帧序列分别是前预定数量帧图像的正训练样本序列和负训练样本序列，F_j表示图像帧的帧编号，i表示某一个泛哈尔特征，图中右侧则分别示出了该特征在正训练样本序列和负训练样本序列上的高斯分布。具体的，对于特征i，该特征在正训练样本序列上的高斯分布以及在负训练样本序列上的高斯分布可以通过表达式(2)表示：

P_p(f_i)＝G(μ_p,σ_p ²)_i

P_N(f_i)＝G(μ_N,σ_N ²)_i…(2)

其中，和是高斯分布的参数，分别表示特征i在正训练样本上的均值和方差，以及特征i在负训练样本上的均值和方差。

在步骤S140中，利用计算出的所述各个特征的值及其统计信息确定该特征的可靠性。

在该步骤S140中，首先将利用在步骤S120中计算出的各个特征的值，对所述各个特征中的每个特征在前预定数量帧图像上的高斯分布的参数(即均值和方差)进行更新。作为一种可选的方法，对于每个特征，可以如下面的表达式(3)所示，采用类似于卡尔曼滤波器的更新机制来更新该特征的高斯分布的参数：

$\begin{array}{c}{K}_t=\frac{P_{t-1}}{P_{t-1}+R}\\ {\mathrm{\&mu;}}_t={\mathrm{\&mu;}}_{t-1}+K(f_i-{\mathrm{\&mu;}}_{t-1})\\ {\mathrm{\&sigma;}}_t^2={\mathrm{\&sigma;}}_{t-1}^2+K({(f_i-{\mathrm{\&mu;}}_t)}^2-{\mathrm{\&sigma;}}_{t-1}^2)\\ P_t=(1-K_t)P_{t-1}\end{array}...\left(3\right)$

如表达式(3)所示的更新对于特征在正训练样本序列上的高斯分布和负训练样本序列上的高斯分布均适用，因此在该表达式(3)中没有对正负训练样本进行区分。具体的，在表达式(3)中，μ_t-1和μ_t分别表示更新前后特征i在训练样本上的均值，和分别表示更新前后特征i在训练样本上的方差，f_i是在步骤S120中计算出的特征值，K是卡尔曼增益，R是噪声协方差，P是误差协方差，R和P的初始值可以根据具体需要预先设定。

上述卡尔曼滤波器更新机制仅仅是一种示例，也可以采用任何其他适当的方式，利用步骤S120中计算出的各个特征的值更新每个特征的高斯分布的参数。例如，作为一种最直接的方法，可以如表达式(4)所示，根据均值和方差的数学含义，直接对高斯分布的均值和方差参数进行更新：

$\begin{array}{c}{\mathrm{\&mu;}}_t=\frac{({\mathrm{\&mu;}}_{t-1}+f_i)}{2}\\ {\mathrm{\&sigma;}}_t^2=\frac{{\mathrm{\&sigma;}}_{t-1}^2+{(f_i-{\mathrm{\&mu;}}_t)}^2}{2}\end{array}---\left(4\right)$

另外，在该步骤中，对于每个特征，可以针对每一个训练样本进行一次高斯分布参数的更新，也可以所有训练样本仅进行一次高斯分布参数的更新。例如，以特征m为例，在步骤S120中，对于步骤S110中生成的每一个训练样本，均计算了该特征m的值f_m；假设存在100个训练样本，则计算了100个f_m值。在该情况下，在该步骤S130中，可以对于这100个训练样本进行100次高斯分布参数的更新，即分别应用所述100个f_m值进行例如表达式(3)或(4)所示的更新计算，也可以计算出所述100个f_m值的平均值，并应用该平均值进行一次例如表达式(3)或(4)所示的更新计算。

在更新了每个特征的高斯分布参数后，对于每个特征，基于其更新后的高斯分布参数确定该特征的可靠性。

特征的可靠性反映利用该特征进行对象跟踪获得的跟踪结果的可信度。一个特征是否可靠可以从许多方面来衡量。例如，作为一个示例，可以采用特征的稳定性和可区分性来确定特征的可靠性。

特征稳定是指特征在整个对象跟踪过程中变化不大。如果一个特征是稳定的，那么其在正训练样本序列上的值的方差应该很小，并且其在负训练样本序列上的值的方差也应当较小。可区分性是指特征在正训练样本上的值和在负训练样本上的值的差别较大，即该特征是被跟踪对象所特有的，背景或其他对象不具有该特征，这样可以通过该特征容易地检测出被跟踪对象。如果一个特征是可区分的，那么其在正训练样本序列上的均值与在负训练样本序列上的均值的差应该较大。一种基于特征的稳定性和可区分性来确定该特征的可靠性V_f的示例方式如下所示：

$V_f=N_{\mathrm{\&sigma;}}\left({{{\mathrm{\&sigma;}}_p}^2,\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^p\right)+N_{\mathrm{\&sigma;}}({{\mathrm{\&sigma;}}_n}^2,{\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^n)+N_{\mathrm{\&mu;}}({({\mathrm{\&mu;}}_p-{\mathrm{\&mu;}}_n)}^2,{\mathrm{\&lambda;}}_{\mathrm{\&mu;}})...\left(5\right)$

其中，和分别表示某一特征在正训练样本上和负训练样本上的方差，μ_p和μ_n分别表示该特征在正训练样本和负训练样本上的均值， 和N_μ((μ_p-μ_n)²,λ_μ)均是归一化函数，分别用于将(μ_p-μ_n)²归一化到例如(0,1)的范围内，和λ_μ是相应的缩放因子。这三个归一化函数可以采用任意适当的函数表达式，只要和是递减函数、N_μ((μ_p-μ_n)²,λ_μ)是递增函数，或者和是递增函数、N_μ((μ_p-μ_n)²,λ_μ)是递增函数即可。作为一种示例，可以采用如下的函数表达式：

$\begin{array}{c}{N}_{\mathrm{\&sigma;}}({{\mathrm{\&sigma;}}_p}^2,{\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^p)=e^{-\frac{{{\mathrm{\&sigma;}}_p}^2}{{\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^p}}\\ N_{\mathrm{\&sigma;}}({{\mathrm{\&sigma;}}_n}^2,{\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^n)=e^{-\frac{{{\mathrm{\&sigma;}}_n}^2}{{\mathrm{\&lambda;}}_{\mathrm{\&sigma;}}^n}}\\ N_{\mathrm{\&mu;}}({({\mathrm{\&mu;}}_p-{\mathrm{\&mu;}}_n)}^2,{\mathrm{\&lambda;}}_{\mathrm{\&mu;}})=1-e^{-\frac{{({\mathrm{\&mu;}}_p-{\mathrm{\&mu;}}_n)}^2}{{\mathrm{\&lambda;}}_{\mathrm{\&mu;}}}}\end{array}...\left(6\right)$

缩放因子和λ_μ的取值取决于采用的具体函数表达式，并且如何确定这些缩放因子的值是本领域中公知的。此处，仅仅是为了说明的完整，简单描述确定表达式(6)中的缩放因子和λ_μ的示例方法。

假设用于形成某一特征的每个小图像块中的像素和p_l都满足p_l∈[s_min,s_max]，则该特征在包括正训练样本和负训练样本在内的各个样本中的值的范围都可以表示为：

$f_i=\underset{k=0}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_k{p}_k\&Element;[n_{-1}{s}_{\max },n_1{s}_{\max }]...\left(7\right)$

其中，n_-1和n₁分别是权重θ等于-1和1的图像块的个数。

令f_min＝n_-1s_max，f_max＝n₁s_max，则表达式(7)可以改写为：

f_i∈[f_min,f_max]…(8)

这样，该特征在各个训练样本中的均值的范围就可以表示为：

$\mathrm{\&mu;}=\frac{1}{M}\underset{s=1}{\overset{M}{\mathrm{\&Sigma;}}}{f}_i^s\&Element;[f_{\min },f_{\max }]...\left(9\right)$

其中，s为训练样本的编号，为特征i在训练样本s中的值。

而该特征在各个训练样本中的方差的范围则可以表示为：

${\mathrm{\&sigma;}}^2=\frac{1}{M}\underset{s=1}{\overset{M}{\mathrm{\&Sigma;}}}{(f_i^s-\mathrm{\&mu;})}^2\&Element;[0,{\left(\frac{f_{\max }-f_{\min }}{2}\right)}^2]=[0,{\mathrm{\&sigma;}}_{\max }^2]...\left(10\right)$

其中， ${\mathrm{\&sigma;}}_{\max }^2={\left(\frac{f_{\max }-f_{\min }}{2}\right)}^2$

缩放因子可以取如等式(10)所示的方差范围内的任意值，缩放因子λ_μ可以取如等式(9)中所示的均值范围[f_min,f_max]内的任意值。

以上举例说明了采用特征的稳定性和可区分性来确定特征的可靠性。在以上的描述中，通过特征在正训练样本序列上的值的方差及其在负训练样本序列上的值的方差的大小来判断该特征是否稳定，这仅仅是判断特征是否稳定的一种示例方法，也可以通过其他方式来判断特征是否稳定。例如，可以分别计算某一特征在正训练样本序列上的高斯分布概率之和，以及在负训练样本序列上的高斯分布概率之和，所述高斯分布概率之和越大，则说明该特征越稳定。同样，对于特征的可区分性，也可以通过除上文中描述的方式之外的其他方式来判断特征是否具有可区分性。例如，可以计算某一特征在正训练样本序列上的高斯分布概率之和与该特征在负训练样本序列上的高斯分布概率之和的比值，所述比值越大，则说明该特征的可区分性越好。

另一方面，上文中描述的采用特征的稳定性和可区分性来确定特征的可靠性仅仅是一种示例，事实上，也可以采用其他适当的因素来衡量特征的可靠性，例如可以仅采用稳定性或仅采用可区分性来确定特征的可靠性。

在步骤S150，根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征。

下面，将参考图7对该步骤中的处理进行详细的描述。

如图7所示，在步骤S710，按照可靠性对所述各个特征进行排序。

在该步骤，按照步骤S140中确定的各个特征的可靠性的高低对特征进行排序。例如，如果在步骤S140中采用表达式(5)确定了各个特征的可靠性，则在该步骤S710中可靠性越大的特征排序越靠前，可靠性越小的特征排序越靠后。

在步骤S720，剔除排在后预定位的特征。

由于排序靠后的特征可靠性较差，采用该特征进行对象跟踪的跟踪结果的可信度较差，因此，为了保证跟踪结果的精确性，可以剔除这些可靠性差的特征。

具体的，可以根据步骤S710得到的排序结果，剔除排在后预定位的特征。所述后预定位可以根据具体情况任意设定，例如可以是后三分之一的特征、后四分之一的特征、后五分之一的特征等等。

可选的，考虑到某一特征的可靠性较低有可能是由于获取的图像帧中存在噪声等其他干扰因素造成的，因此对于排序靠后的特征，可以不立即剔除这些特征，而是观察这些特征是否在一定时期的跟踪过程中始终可靠性较低，即在当前的排序以及在前预定数量帧图像中的跟踪中进行的对应排序中均排在后预定位，并且仅仅在这样的情况下才剔除这些特征。所述前预定数量帧图像的具体数量可以根据实际情况任意设定，例如可以是5帧、10帧、15帧等等。下面，将举例对此进行说明。

具体的，假设当前要在第T帧图像中跟踪目标对象，所述后预定位是后四分之一的特征，并且通过如上文中描述的各个步骤已经确定在第T-1帧图像中跟踪该目标对象所采用的12个特征的中的特征6-8的可靠性排序为第10-12位，即后四分之一。此时，不立即剔除特征6-8，而是看它们在一定时期的跟踪过程中，例如在前5帧(即第T-1帧到第T-5帧)图像的跟踪中的在线特征更新过程(更具体的，在线特征更新过程中的特征排序)中，是否也排序在第10-12位。假设，特征8在前5帧图像的跟踪中进行的对应排序中均排序在第10-12位，而特征6和7则并不是均排序在第10-12位，则仅剔除特征8。

在步骤S730，选取与被剔除的特征数量相等的特征来替换被剔除的所述特征。

在该步骤中，可以随机选取所述特征，也可以根据各种预定规则来选取所述特征，例如，可以通过计算各个特征的关联度选取与其关联度最大的特征。所述选取的特征可以从由预先生成的特征组成的特征池中抽取，也可以在该步骤生成。该选取的特征是与被剔除的特征相同类型的特征。例如，在上文中，以采用泛哈尔特征进行跟踪为例进行了描述，即被剔除的特征为泛哈尔特征，则在该步骤中选取与被剔除的泛哈尔特征数量相等的泛哈尔特征。所述选取的特征与未被剔除的特征形成在当前帧图像中进行对象跟踪将采用的特征。

图8示出了如图7所示的特征更新过程的示例性示意图。如图8所示，图中的第一行圆中的每一个圆代表一个在前一帧图像中跟踪对象所采用的特征，通过对这些特征进行步骤S140中的处理，即计算每个特征的可靠性，得到图中所示的第二行圆，其中圆越大，则其代表的特征的可靠性越高；反之，可靠性越低。通过对这些特征进行步骤S710中的处理，即按照可靠性对特征进行排序，得到图中所示的第三行圆。第三行圆上的虚线矩形框框选了本次排序位于后预定位(后两位)的特征。假设后两个特征中，仅最后一个特征在前预定数量帧图像中的跟踪中进行的对应排序中也排在后两位，则通过步骤S720，剔除该最后一个特征，并且通过步骤S730，随机选取了一个特征来替换该特征，由此得到图8中的第四行圆。

回到图1，在步骤S160，利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

如前文中所述，关于采用诸如泛哈尔特征的图像特征进行对象跟踪在本领域中已有大量的研究，因此在该步骤S160中，可以采用任何适当的方法根据重新确定的特征，确定所述对象在当前帧图像中的位置。此处，仅仅是为了说明的完整，参考图9对该步骤的具体处理进行简单的描述。显然，以下参考图9描述的仅仅是一种可能的示例实现方式，而并非对本发明的限制。

图9示出了根据本发明实施例的、利用重新确定的特征确定对象在当前帧图像中的位置的处理的流程图。

如图9所示，在步骤S910，从当前帧图像的预定区域中选择多个候选图像块，并对于每个候选图像块计算重新确定的各个特征的值。

所述预定区域是任意设置的感兴趣的区域，例如其可以是基于对象在前一帧中位置以及对象的运动信息估测的当前帧图像中包含该对象的区域、可以是对象在前一帧中的位置区域在当前帧中的对应位置区域、或者是比该对应位置区域大预定尺寸的区域，甚至可以是当前帧的整个区域。

如前所述，在本实施例中，采用对象的最小外接矩形框来表示该对象在图像中的位置区域。因此，在该步骤中选择的候选图像块实际上就是对象在当前帧图像中的候选位置区域处的图像块。可以按照任何预定的规则来选择多个所述图像块。可选的，为了尽可能获得所有可能的候选图像块，以免遗漏对象在当前帧图像中的位置区域处的图像块，在本实施例中，采用不同大小的滑动矩形框在当前帧图像的预定区域中滑动，直至遍历整个所述预定区域。更明确的说，假定选择了S种不同大小的滑动矩形框，则其中的每一种滑动矩形框都要被用来以预定步长在当前帧图像的预定区域内滑动直至遍历整个预定区域，其中该滑动矩形框每滑动到的一个位置处的图像块作为一个候选图像块。所选择的各种大小的滑动矩形框均应满足0<w≤I_w，0<h≤I_h，其中w和h分别是矩形框的宽和高，I_w,I_h分别是预定区域的宽和高。预定步长可以是一个像素，也可以是多个像素，其可以考虑运算量、跟踪精度、跟踪效率等因素根据具体情况来设定。

图10例示了如上所述从当前帧图像的预定区域中选择多个候选图像块的示意图。如图10所示，左侧图中的大矩形框为当前帧图像的预定区域，小矩形框为一个示例的滑动矩形框，右侧图中示出了通过滑动各种大小的滑动矩形框得到的多个候选图像块的示例。

在确定了候选图像块后，对于各个候选图像块计算所述重新确定的各个特征(泛哈尔特征)的值。该计算处理的具体操作与上文中描述的图1的步骤S120中的操作基本相同，此处不再详细说明。

在步骤S920，基于对于每个候选图像块计算得到的各个特征的值，确定所述对象在当前帧图像中的位置。

由于在本实施例中，采用对象的最小外接矩形框来表示该对象在图像中的位置区域，而候选图像块则是对象在当前帧图像中的候选位置区域处的图像块，因此该步骤中实际就是基于针对各个候选图像块计算得到的各个特征的值，确定与对象在当前帧图像中的位置区域对应的候选图像块。这一操作可以通过分类器来实现。

具体的，首先利用所述重新确定的特征构建分类器。如何构建分类器是本领域技术人员公知的，以下将简单介绍一种示例的构建方式。

根据前文中的记载可知，重新确定的各个特征的可靠性是不同的，为了提高跟踪的准确性，可以仅采用在图7的步骤S710中按照可靠性进行排序时排在前L位的特征来构建分类器。L的值可以根据具体情况来设定，例如L可以等于N/2，或者L可以是大于N/2并且小于N-M的值，其中N是重新确定的特征的总数，M是图7的步骤S720中所述的“后预定位”的数量。

另一方面，所构建的分类器可以是诸如SVM、adaboost、贝叶斯等各种适当的分类器。以采用朴素的贝叶斯分类器为例，可以构建如下的分类器：

$\begin{array}{c}C=\log \left(\frac{{\mathrm{\&Pi;}}_{i=1}^{L}P\left(f_i\right|y=1)P(y=1)}{{\mathrm{\&Pi;}}_{i=1}^{L}P\left(f_i\right|y=0)P(y=0)}\right)\\ =\underset{i}{\overset{L}{\mathrm{\&Sigma;}}}\left(\log \frac{P\left(f_i\right|y=0)}{P\left(f_i\right|y=0)}\right)\end{array}-...\left(11\right)$

其中，C是判定分数，y∈{0,1}是一个二分变量，表示训练样本的正负，1代表正训练样本，0代表负训练样本。这里假设正负训练样本的先验概率是一样的，即P(y＝1)＝P(y＝0)。

考虑到可靠性越高的特征对最后的判定分数C的影响越重要，可选的，可以将在图1的步骤S140中计算的各个特征的可靠性作为权重，由此构建如下的分类器：

$C=\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}\left(V_{f_i}\log \frac{P\left(f_i\right|y=1)}{P\left(f_i\right|y=0)}\right)...\left(12\right)$

其中，是特征i的可靠性。

在如上构建了分类器后，利用构建的分类器对多个候选图像块进行分类，以确定与对象在当前帧图像中的位置区域对应的候选图像块，由此确定对象在当前帧图像中的位置。具体的，如表达式(11)或(12)所示构建的分类器利用针对每个候选图像块计算得到的各个特征的值，对于多个候选图像块中的每个候选图像块计算判定分数C，其中判定分数C最高的候选图像块为与对象在当前帧图像中的位置区域对应的候选图形块，由此可以确定对象在当前帧图像中的位置。

以上描述了采用分类器来执行该步骤S920中的确定对象在当前帧图像中的位置的处理，这仅仅是一种示例的实现方式，也可以通过诸如模板匹配、状态空间建模等其他适当的方式来确定对象在当前帧图像中的位置。

以上已经参考图1描述了根据本发明实施例的对象跟踪方法。通过对于除跟踪起始帧之外的后续各帧进行该对象跟踪方法，可以持续地跟踪对象。而对于跟踪起始帧，预先在其中标记要跟踪的对象，因而不需要执行参考图1描述的对象跟踪方法。尽管如此，在该跟踪起始帧中，产生预定数量的特征当做在该起始帧中跟踪所述对象所采用的各个特征，从而在随后的第二帧中进行跟踪时，将这些产生的特征作为基础进行在线特征更新过程，并利用更新后的特征在该第二帧中进行对象跟踪过程。至于如何在该跟踪起始帧中产生所述预定数量的特征，既可以随机产生，也可以根据预先设定的规则来产生，例如，根据跟踪对象不同预先设定优选的跟踪特征等。在跟踪起始帧中产生的特征可以是如前所述的泛哈尔特征、SIFT、SURF等各种适当的特征，具体的，在本实施例中采用泛哈尔特征。

根据本发明实施例的上述对象跟踪方法，在跟踪过程中不断地在线更新表现较差的特征，使得在跟踪过程始终采用能够较好地表达被跟踪对象的特征来跟踪对象，由此提高了对象跟踪的精确度

下面参考图11描述根据本发明实施例的对象跟踪设备。

图11示出了根据本发明实施例的对象跟踪设备1100的功能配置框图。

如图11所示，对象跟踪设备1100可以包括：样本产生单元1110，配置为根据对象在前一帧图像中的位置，生成训练样本；第一计算单元1120，配置为对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；统计单元1130，配置为针对每个特征，获取其在前预定数量帧图像中的统计信息；可靠性确定单元1140，配置为利用计算出的所述各个特征的值及其统计信息确定该特征的可靠性；特征选择单元1150，配置为根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及检测单元1160，配置为利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

可选的，所述特征选择单元1150进一步包括：排序单元1151，配置为按照可靠性对所述各个特征进行排序；剔除单元1152，配置为剔除排在后预定位的特征；替换单元1153，配置为随机选取与被剔除的特征数量相等的特征来替换被剔除的所述特征。

可选的，所述检测单元1160进一步包括：第二计算单元1161，配置为从当前帧图像的预定区域中选择多个候选图像块，并对于每个候选图像块计算重新确定的各个特征的值；位置确定单元1162，配置为基于计算得到的各个特征的值，在当前帧图像中跟踪所述对象以确定所述对象在当前帧图像中的位置。

上述样本产生单元1110、第一计算单元1120、统计单元1130、可靠性确定单元1140、特征选择单元1150、检测单元1160、排序单元1151、剔除单元1152、替换单元1153、第二计算单元1161以及位置确定单元1162的具体功能和操作可以参考上述图1到图10的相关描述，此处不再重复描述。

下面参考图12描述根据本发明实施例的对象跟踪系统1200的总体硬件框图。如图12所示，定向跟踪系统1200可以包括：输入设备1210，用于从外部输入有关图像或信息，例如摄像机拍摄的图像帧序列等，该输入设备例如可以是键盘、鼠标、摄像机等等；处理设备1220，用于实施上述的按照本发明实施例的对象跟踪方法，或者实施为上述的对象跟踪设备，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1230，用于向外部输出实施上述对象跟踪过程所得到的结果，例如确定的对象的位置等等，该输出设备例如可以是显示器、打印机等等；以及存储设备1240，用于以易失或非易失的方式存储上述对象跟踪过程所涉及的诸如图像帧、训练样本、跟踪特征、跟踪特征的值、高斯分布的参数、跟踪特征的可靠性，等等，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种对象跟踪方法，包括：

根据对象在前一帧图像中的位置，生成训练样本；

对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；针对每个特征，获取其在前预定数量帧图像中的统计信息；

利用计算出的所述各个特征的值及其统计信息来确定该特征的可靠性；

根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及

利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

2.如权利要求1所述的对象跟踪方法，其中根据对象在前一帧图像中的位置生成训练样本进一步包括：

在前一帧图像中，选取与对象在前一帧图像中的位置的距离小于第一距离的各个图像块，作为正训练样本，

在前一帧图像中，选取与对象在前一帧图像中的位置的距离大于第二距离并小于第三距离的各个图像块，作为负训练样本，

其中第二距离大于或等于所述第一距离。

3.如权利要求2所述的对象跟踪方法，还包括步骤：对于正训练样本和负训练样本中的每个训练样本进行仿射变换，得到多个仿射变换后的训练样本。

4.如权利要求1所述的对象跟踪方法，其中在进行对象跟踪的起始帧中，产生预定数量的特征作为在该起始帧中跟踪所述对象所采用的各个特征。

5.如权利要求1所述的对象跟踪方法，其中所述统计信息为该特征的高斯分布参数，所述利用计算出的所述各个特征的值及其统计信息来确定该特征的可靠性包括：

利用计算出的所述各个特征的值更新每个特征的高斯分布参数；根据所述更新后的高斯分布参数确定该特征的可区分性和稳定性中的至少一种；

基于所述可区分性和/或稳定性确定该特征的可靠性。

6.如权利要求1所述的对象跟踪方法，其中根据各个特征的可靠性重新确定在当前帧图像中进行对象跟踪将采用的特征进一步包括：

按照可靠性对所述各个特征进行排序；

剔除在该排序以及在前预定数量帧图像中的跟踪中进行的对应排序中均排在后预定位的特征；

选取与被剔除的特征数量相等的特征来替换被剔除的特征。

7.如权利要求1所述的对象跟踪方法，其中所述利用所述重新确定的特征确定所述对象在当前帧图像中的位置进一步包括：

从当前帧图像的预定区域中选择多个候选图像块，并对于每个候选图像块计算所述重新确定的各个特征的值；

基于对于每个候选图像块计算得到的各个特征的值，确定所述对象在当前帧图像中的位置。

8.如权利要求7所述的对象跟踪方法，还包括：利用所述重新确定的特征构建分类器，并且

所述基于对于每个候选图像块计算得到的各个特征的值确定所述对象在当前帧图像中的位置进一步包括：

利用构建的分类器对所述多个候选图像块进行分类，以确定与对象在当前帧图像中的位置区域对应的候选图像块，并由此确定对象在当前帧图像中的位置。

9.一种对象跟踪设备，包括：

样本产生单元，配置为根据对象在前一帧图像中的位置，生成训练样本；

第一计算单元，配置为对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个特征的值；

统计单元，配置为针对每个特征，获取其在前预定数量帧图像中的统计信息；

可靠性确定单元，配置为利用计算出的所述各个特征的值及其统计信息确定该特征的可靠性；

特征选择单元，配置为根据各个特征的可靠性，重新确定在当前帧图像中进行对象跟踪将采用的特征；以及

检测单元，配置为利用所述重新确定的特征，确定所述对象在当前帧图像中的位置。

10.一种用于对象跟踪的跟踪特征的选择方法，包括：

根据对象在前一帧图像中的位置，生成训练样本；

对于每一个训练样本，计算在前一帧图像中跟踪所述对象所采用的各个跟踪特征的值；

针对每个跟踪特征，获取其在前预定数量帧图像中的统计信息；

利用计算出的所述各个跟踪特征的值及其统计信息确定该跟踪特征的可靠性；

根据各个跟踪特征的可靠性，选择在当前帧图像中进行对象跟踪将采用的跟踪特征。