CN106204632A - 基于多分类器融合的目标跟踪方法和系统 - Google Patents

Abstract

提供基于多分类器融合的目标跟踪方法和系统，该方法包括：对当前帧，利用已有融合分类器决定当前帧中的目标的位置，已有融合分类器通过利用系数来融合基于先前帧训练的单独分类器得到；基于目标的位置，找到目标，并获得包括目标的训练样本；基于训练样本，训练当前单独分类器；融合已有的融合分类器和当前单独分类器，得到最终的融合分类器；至少基于最终的融合分类器针对所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪到优化的步骤。选择分数至少与最终的融合分类器分别针对先前帧以及当前帧中的训练样本所测试得到的各个分类结果与预定分类结果的比较相关。

Description

基于多分类器融合的目标跟踪方法和系统

技术领域

本公开涉及机器学习和目标跟踪领域，更具体地，涉及一种基于多分类器融合的目标跟踪方法和系统。

背景技术

长期的目标跟踪是一个很有挑战的工作，其应用范围很广，包括视频监控、机器人、增强现实以及人机交互等等。构造能自适应地处理由不同光照、姿态变换、遮挡等原因造成的目标外观变化的一个目标跟踪模型是比较困难的。所以需要一种能实时适应跟踪过程中的目标外观的变化的在线学习跟踪的技术。

Han的2005年11月29日公告的题为“Fast Fourier TransformCorrelation Tracking Algorithm with Background Correction”的专利文件号US 6970577 B2中公开了一种基于快速傅里叶变换的目标跟踪方法，包括：为快速傅里叶变换相关性跟踪器识别出一个背景修正项；以及基于背景修正项的模型更正目标。该方案首先对模板图像进行快速傅里叶变换，然后做一个共轭转置，然后再计算测试样本的快速傅里叶变换，相乘得出响应图。具体地，该方案首先求解图像的像素值的平方图，然后计算快速傅里叶变换。

Avidan的2009年4月28日公告的题为“Tracking objects in videoswith adaptive classifiers”的美国专利号US 7526101 B2中公开了一种跟踪目标的方法包括：用一个强分类器生成一幅像素投票后的响应图；利用mean-shift作用于响应图求出最大响应，最大响应位置对应目标的位置；利用多分辨率下的目标更新强分类器。该方案使用一系列的弱分类器并逐帧更新，这些弱分类器最后构成一个强分类器用来把目标从背景中分离出来。

但是，仍然需要一种能实时适应跟踪过程中的目标外观的变化的在线学习跟踪的技术。

发明内容

分类器是机器学习领域中的概念，即，将输入的数据(例如图像)通过分类器得到响应结果(即，分类结果)，来表示该输入的数据属于哪一类(例如，图像识别)，其通常用训练的样本(例如多个图像)来训练得到。而分类器的分类准确性可以取决于训练的样本的多少以及分类器的自己的算法。一个好的分类器算法可以准确地进行机器识别、长期的目标跟踪等。

根据本公开的一个方面，提供一种一种基于多分类器融合的目标跟踪方法，包括：跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。

根据本公开的另一方面，提供一种一种基于多分类器融合的目标跟踪系统，包括：跟踪装置，被配置为进行跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得装置，被配置为进行样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练装置，被配置为进行训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合装置，被配置为进行融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化装置，被配置为进行优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较相关。

本发明涉及一种基于多分类器融合的目标跟踪算法，该算法基于求解线性回归问题，提出了一种在频域快速的训练方法，并且融合多个分类器的加权和得到最终的分类器且优化各个分类器的加权系数来得到优化的分类器。

本发明可以适合跟踪事先未知的目标，即无需事先知道要跟着的目标是什么，只需在目标的初始帧标记出要跟着的目标即可。此外，对于针对特定类型的目标跟踪，本发明可以在线训练每个目标的分类器和优化最终分类器，辅助离线分类器的分类性能。

附图说明

图1示出了应用本发明的各个实施例的示例硬件框图。

图2示出了根据本发明的一个实施例的基于多分类器融合的目标跟踪方法的示例流程图。

图3A和3B分别示意性地示出了对于初始帧和后续帧的获得包括要跟踪目标的图像块的样本的不同之处。

图4-图5示意性地示出了在训练时如何获得包括要跟踪目标的多个图像块的训练样本。

图6示意性地示出了预定分类结果(或称为标签)的示例分布图。

图7示意性地示出了预定分类结果(或称为标签)的物理含义。

图8-图9示意性地示出了在测试时如何获得包括要跟踪目标的多个图像块的测试样本。

图10示意性地示出了在测试时为了决定在当前帧中的要跟踪目标的位置而利用已有的融合分类器得到的示例的响应图像。

图11示意性地示出了融合分类器的系数更新的示例优化过程。

图12示意性地示出了包括删除多余单独分类器的融合分类器的系数更新的迭代的示例优化过程。

图13示出了根据本发明的另一实施例的基于多分类器融合的目标跟踪系统的示例框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了应用本发明的各个实施例的示例硬件框图。

应用本发明的各个实施例的示例硬件配置可以包含4个主要的硬件部分：用于拍摄得到图像的相机101、用于存储必要的数据的存储器102、用于进行数据处理的数字信号处理器103、以及用于实现其他功能的与应用相关的其他模块104。其中根据本发明的各个实施例的基于多分类器融合的目标跟踪的方法可以在数字信号处理器103上运行。相机101作为输入设备可以通过拍摄目标而采集彩色图或者灰度图，但这不是必须的，也可以通过事先在存储器102中存储彩色图或灰度图来将其输入到数字信号处理器103中。

分类器是通常用训练的样本(例如多个图像)来训练得到的。假设已经有了很多训练样本了，那么训练一个分类器的目标就是找到一个函数。

其中，粗体的z和w表示数组或矩阵的概念。z表示训练样本，其可以是多个样本，因此可以是数组或矩阵，而w表示分类器，其同样也是数组或矩阵。

可以使得下面的目标函数值最小

$\underset{w}{\min }\underset{i}{\mathrm{\Σ}}{(f\left(x_i\right)-y_i)}^2+\mathrm{\λ}{\left|\right|w\left|\right|}^2---\left(2\right)$

其中，(x_i,y_i)代表训练样本和其对应的分类结果(或称为标签)的集合，λ是一个正则化参数。这是一个线性回归问题，而且它有一个闭式的解：

w＝(X^TX+λI)^-1X^Ty (3)

其中，X是由所有训练样本组成的数据矩阵，y是相应的分类结果(或称为标签)构成的向量。

然而直接计算这个式子的计算过程是非常耗时的，因为矩阵的求逆过程的复杂度和计算量较高。本技术采用的一个解决方法是利用旋转偏移矩阵在频域内计算分类器的权重向量。

而另外，分类器的优化也是一个问题，本技术采用优化系数的方式融合多个分类器可以一定程度地解决这个问题。

以下将具体描述本发明的各个实施例。

图2示出了根据本发明的一个实施例的基于多分类器融合的目标跟踪方法的示例流程图。

图2所示的一种基于多分类器融合的目标跟踪方法200包括：跟踪步骤S201，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得步骤S202，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练步骤S203，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合步骤S204，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化步骤S205，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤S201-S205。该选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。

在此，为了避免混淆，术语“单独分类器”表示对于每个帧训练得到的分类器，而术语“融合分类器”表示对多个帧训练得到的单独分类器进行融合而得到的融合分类器。通常，可以利用系数加权和的方式来融合各个单独分类器以得到融合分类器。

在此，顺带提及，术语“测试”表示在一帧中利用已知分类器来计算测试样本的分类结果(或响应)，以与预定分类结果比较而找到要跟踪目标的当前位置，术语“训练”表示利用已知的目标的当前位置来训练一个新的分类器。同样，术语“测试样本”表示用来在该帧中利用已知分类器来找到要跟踪目标的当前位置的样本，术语“训练样本”表示用来利用已知的目标的当前位置来训练一个新的分类器的样本。

在此，注意，在优化步骤中，提到的“先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本”是可以用来训练针对每个帧的单独分类器的各个训练样本。而由于这些训练样本都是通过已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置而得到的，因此假设这些训练样本都应该包括真正的要跟踪目标。而且，假设一个完美的分类器应该在测试所有这些训练样本时都做出正确的决定，即都找到要跟踪目标的准确位置，即对这些训练样本进行测试得到的分类结果应该与预定分类结果相同。因此，利用“所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果”来验证最终的融合分类器对于各个帧的训练样本的测试的结果(即找到要跟踪目标的效果)与预定分类结果的相似程度，从而得知这种最终的融合分类器是否是比较完美的分类器、以及应该如何调整该融合分类器以达到比较完美的状态。

根据本发明的实施例，由于在跟踪步骤中实现了要跟踪目标的实时跟踪，而同时又在样本获得、训练、融合和优化步骤中优化了融合分类器，因此可以实现在线跟踪和学习优化的过程，达到跟踪和优化两不误。

另外，根据本发明的实施例，利用多个系数来融合在跟踪目标时训练的多个单独分类器以得到不同程度地利用了各个单独分类器的优势的最终的融合分类器、并通过检验得到的融合分类器对先前各帧的跟踪目标的跟踪效果来更新各个单独分类器的系数以充分且更有效地利用各个单独分类器的各自的优势，来得到优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

在一个实施例中，所述选择分数可以与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果、以及当前帧的帧号与先前的一个或多个帧的帧号的差值的函数相关。

由于当前帧的帧号与各个单独分类器所对应的先前帧的帧号相差越大，导致在很多帧之前的目标的位置与当前帧的目标的位置可能已经相距很远了，因此用最终的融合分类器验证相差越大的帧的训练样本时可能得到的误差越大。因此，制定选择分数时还考虑这种远近差距来抵消这种误差，可以得到更准确的选择分数以便更准确地确定改变哪个单独分类器的系数。

如此，根据本发明的实施例，可以除了考虑得到的融合分类器对先前各帧的跟踪目标的跟踪效果、还考虑当前帧的单独分类器与先前各帧之间的远近程度，来更准确地制定选择分数，以更有效地更新各个单独分类器的系数，来得到更优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

当然，除了考虑上述跟踪效果和/或远近程度以外，还可以考虑其他因素来制定选择分数，例如增加表示对各个单独分类器的喜好程度的系数、增加对跟踪效果的修正系数等。在此，不一一举例。

在一个实施例中，所述选择分数S_i可以用以下公式来表示：

S_i＝E(w_final,z_i)*L(Δt_i)，

其中，E(w_final,z_i)＝∑(f(z_i)-R_reg)，L(Δt_i)＝G(Δt_i)～N(0,σ²)

其中，w_final表示最终的融合分类器，E(w_final,z_i)表示最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本z_i所计算的各个分类结果f(z_i)与预定分类结果R_reg的比较结果，Δt_i表示当前帧的帧号与先前的一个或多个帧的帧号的差值，L(Δt_i)表示当前帧的帧号与先前的一个或多个帧的帧号的差值的函数，G(Δt_i)是一个高斯分布函数。最大的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器可以被选择为要增加系数，而最小的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器可以被选择为要减小系数(稍后参考图11所示)。

如此，通过更具体地且更准确地制定选择分数的函数，以更有效地更新各个单独分类器的系数，来得到更优化的融合分类器。

该方法200还可以包括：删除步骤S206(未示出)，当所述最终的融合分类器所融合的单独分类器的个数超过预定个数时，基于删除机制来删除单独分类器。该删除机制包括：如果删除该单独分类器、则最终的融合分类器的变化最小(稍后参考图12所示)。

如此，在融合分类器所融合的单独分类器的个数有限时，可以通过使得融合分类器的变化最小的删除机制来删除单独分类器，如此，以最小的代价来保持单独分类器的个数、并保持整个运算的计算量不会增加得太大。

在一个实施例中，所述最终的融合分类器的变化Δw可以用以下公式表示：

$\begin{array}{c}\mathrm{\Δw}=-{\mathrm{\β}}_r{w}_r+{\mathrm{\β}}_r{w}_{\max }\\ r=\arg \underset{r}{\min }{\left|\right|\mathrm{\Δw}\left|\right|}^2\end{array},$

其中，β_r是要删除的单独分类器的系数，w_r,w_max分别是要删除的单独分类器和拥有最大选择分数的单独分类器，其中，选择使得||Δw||²最小的单独分类器进行删除。

在一个实施例中，在跟踪步骤S201中，针对初始帧，所述在初始帧中的要跟踪目标的位置通过用户标记要跟踪目标的位置或者通过自动目标检测来得到(稍后参考图3A所示)。针对后续帧，所述要跟踪目标的位置通过利用已有的融合分类器对包括要跟踪目标的多个图像块的测试样本进行测试得到，其中，所述测试样本包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。测试样本可以包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块(稍后参考图8、9所示)。

由于在初始帧中，还没有训练出分类器，因此无法用分类器来自动跟踪得到目标的位置，因此，可以仅针对初始帧，通过用户标记要跟踪目标的位置或者通过自动目标检测来得到初始的目标的位置，即知道要跟踪的目标到底是什么。当然，初始的目标的位置还可以通过其他方式来获得，例如，特定对象的检测等。

在一个实施例中，所述训练样本可以是包括要跟踪目标的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块(稍后参考图4、5所示)。

在此，利用了将包括要跟踪目标的图像块进行逐步旋转偏移得到的多个图像块可以构成旋转矩阵，因此，可以利用旋转矩阵的特性来将分类器的分类结果的计算放置在频域上，并利用频域的快速计算方法、例如快速傅里叶算法，来减小运算量和运算复杂度。

在一个实施例中，在所述优化步骤S205中，所述预定分类结果的值可以具有如下特性：其中，图像块的中心离目标的位置越近，该预定分类结果的值越大(稍后参考图6所示)。在此，不使用简单的二进制(即在目标的位置处的图像块的分类结果是1，即表示是目标的现在位置，而只要不在目标的位置处的图像块的分类结果都是0，即表示都不是目标的现有位置)来表示预定分类结果，而是使用图像块的中心离目标的位置越近、该预定分类结果的值越大的预定分类结果，从而更好地表达了在离目标的位置的不同方向和距离处的图像块的分类结果的准确度，从而更准确地训练各个分类器并得到和优化更准确的融合分类器。

在一个实施例中，所述优化步骤S205可以是一个迭代过程，其将所述优化的融合分类器作为下一帧的已有的融合分类器来进行多次优化步骤，直到经过预定次数的优化步骤、或者优化的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果小于预定差值(稍后参考图12所示)。

如此，通过迭代过程来进行多次优化，以得到更加优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

如此，根据本发明的各个实施例，能够不同程度地得到准确且优化的融合分类器，从而准确地进行后续的目标跟踪和自动优化，实现目标跟踪的在线学习。

注意，接下来要介绍的示例仅是为了更好地说明本发明的各个实施例的具体内容，而不作为限制本发明的实施例必须为如下具体的步骤、公式、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。

训练分类器首先需要知道要跟踪的目标的位置。

图3A和3B分别示意性地示出了对于初始帧和后续帧的获得包括要跟踪目标的图像块的样本的不同之处。

图3A示出了对于初始帧的训练单独分类器的步骤。

在图3A的步骤311中，由于在初始帧中，还没有训练出分类器，因此无法用分类器来自动跟踪得到目标的位置，因此，为了获得在初始帧中的要跟踪目标的位置，可以通过用户自己标记要跟踪目标的位置或者通过自动目标检测来获得。

在图3A的步骤312中，具体地，对于在得知了要跟踪的目标的位置之后，本技术利用该目标的位置所在的矩形框提取一个图像块。图4-图5示意性地示出了在训练时如何获得包括要跟踪目标的多个图像块的训练样本。这个图像块可以是基于这个矩形框扩大ρ倍后的图像，如图4所示，这里ρ可以设置为2.5，当然其也可以是其他数值。如此，可以在图像块中包括除了目标本身的信息以外还有目标的周围的背景的信息，以便更好地区分是目标的特征和不是目标的特征。

在图3A的步骤312中，还对于这样的一个图像块，如图5所示，把基准的图像块作为正样本，通过旋转偏移这个基准图像而得到的其它图像块作为负样本。在这里，“旋转偏移(cyclic(circulant)shift，或称为循环移位)”是本领域的一个公知技术，指的是把序列的最后一个元素提前到第一个元素位置，然后顺序地把其他元素放到下一个位置。对于二维矩阵，可以先做行的旋转偏移，再做列的旋转偏移，或反之，先做列的旋转偏移，再做行的旋转偏移，结果是一样的。旋转偏移的具体概念也可以参考如下网页：http://en.wikipedia.org/wiki/Circular_shift，在此不详述。当然，这仅是示例，在这里，如图5所示，得到8个其他图像块作为负样本，当然该负样本的个数可以是除了8以外的其他任何数，例如，可以通过旋转偏移得到16个、24个等其他图像块作为负样本，当然为了方便矩阵计算，可以将该负样本的个数限定为8的倍数。

在图3A的步骤312中，通过使用这些旋转偏移的图像块，可以构造包括该基准图像块和所有旋转偏移后的图像块的一个旋转矩阵作为训练样本矩阵X。如此，可以利用训练样本矩阵的旋转矩阵特性来在频域上计算而减少计算量。旋转矩阵的特性可参考如下文献：R.M.Gray,Toeplitz and circulantmatrices:A review:now publishers inc,2006，在此不详述。

在图3A的步骤313中，针对如上所述得到的训练样本矩阵，训练一个初始帧的单独分类器。

为了简单起见，使用n×1的一个向量来表示一个图像块：

x⁰＝{x₁,x₂,...,x_n}^T (4)

其中，x⁰表示基准训练样本，把这个样本看成正训练样本，把它的旋转偏移构造的图像块作为负训练样本。这些负训练样本可以表示为

x⁺¹＝{x_n,x₁,...,x_n-1}^Tx⁺²＝{x_n-1,x_n,...,x_n-2}^T…… (5)

这样训练样本矩阵X就变成

而由于这恰恰就是一个旋转矩阵，旋转矩阵具有如下特性

$X=F^H\mathrm{diag}\left(\hat{x}\right)F---\left(7\right)$

其中F是离散傅里叶变换矩阵，是一个酉矩阵，满足F^HF＝I。是x的离散傅里叶变换，也就是说这样替换式子(3)中的X得到如下式子

如此，即对初始帧中的训练样本X训练得到了初始的单独分类器w。因此，可以利用旋转矩阵的特性来将分类器的分类结果的计算放置在频域上，并利用频域的快速计算方法、例如快速傅里叶算法，来减小运算量和运算复杂度。

在此，图6示意性地示出了预定分类结果(或称为标签)的示例分布图。如图6所示，这里使用一个连续的预定分类结果(标签)作为公式(8)中的预定分类结果y，而不是使用简单的二进制标签(即在目标的位置处的图像块的分类结果是1，即表示是目标的现在位置，而只要不在目标的位置处的图像块的分类结果都是0，即表示都不是目标的现有位置)。图7示意性地示出了预定分类结果(或称为标签)的物理含义。如图7所示，如果图像块的中心离目标的位置越近，则其预定分类结果的值(标签值)越大，反之，则预定分类结果的值(标签值越小)。在此，可以利用线性回归曲面来表示预定分类结果的值(标签值)的这种特性。这样能更好的表达不同旋转偏移下的训练样本的预定分类结果的值(标签值)的不同程度的准确度，而不是非黑即白。这种预定的分类结果(标签)可以是预先指定的，且一旦被指定，则在整个连续帧的范围内不变(如在本公开中应用的)。当然，这种预定分类结果(标签)也可以随着不同的帧而改变，以适应不同旋转偏移下的训练样本的改变的准确度。

如此，通过初始帧中的各个训练样本x以及与训练样本对应的预定分类结果y，得到了初始的对应于初始帧的单独分类器w。在此，由于这是初始帧，因此没有需要融合的其他帧的单独分类器，因此，在图3A的步骤314中，将该初始帧的单独分类器直接作为最终的融合分类器来进行后续帧的测试和训练。

图3B示出了对于后续帧的训练单独分类器和融合各单独分类器以及优化融合的分类器的步骤。

在步骤S321中，为了确定当前帧中要跟踪目标的当前位置，首先需要基于前一帧目标的位置提取若干图像块，作为当前帧的测试样本。在此，如果前一帧是初始帧，则可以基于前一帧中用户标出的目标的位置或者通过自动目标检测而得到的目标的位置来提取图像块；如果前一帧是除了初始帧以外的其他帧，则可以基于对前一帧进行测试之后得到的目标的位置(还将稍后详细描述)来提取图像块。

图8-图9示意性地示出了在测试时如何获得包括要跟踪目标的多个图像块的测试样本。由于已知在上一帧中的要跟踪目标的位置，因此假设当前帧与上一帧相比，当前帧中的目标通常不会移动太大的距离，因此，利用在上一帧中的要跟踪目标的位置来获得当前帧的测试样本，以期望在上一帧中的要跟踪目标的位置的附近找到当前帧中的目标的位置。另外，为了使得测试样本能够覆盖当前帧中要跟踪目标的当前位置(即，为了防止测试样本太小而无法覆盖与上一帧相比移动了一定距离的目标而导致检测不到目标)，所以在提取测试样本的图像块时也可以扩张标出在上一帧中的要跟踪目标的位置的矩形框的尺寸，如图8所示。在此，该扩张的程度ρ可以与图4中相同，这里ρ可以同样被设置为2.5，这样也保证训练样本和测试样本的图像块的大小相同，从而在计算上可以获得减少计算量的优势。

如此，如图8所示，将上一帧中的要跟踪目标的位置上的矩形框扩张ρ倍，得到基准的测试图像块。

同样，为了测试在不同位置的多个图像块，不需要通过滑动提取这些图像块，而是通过旋转偏移该基准的测试图像块来获取所有旋转偏移后的图像块作为测试样本，如图9所示，就像训练过程一样，获得包括基准图像块和所有旋转偏移后的图像块的一个旋转矩阵作为测试样本矩阵。而且还可以利用测试样本矩阵的旋转矩阵特性来在频域上计算而减少计算量。

如此，在步骤S322中，利用已有的分类器(在此，例如针对初始帧的单独分类器，而如果前一帧不是初始帧，则该已有的分类器可以是针对先前的所有帧的融合后的分类器或优化后的分类器)来确定当前帧中的要跟踪目标的位置(测试过程)。

具体地，可以利用已有的分类器(例如，初始帧的单独分类器或者针对先前的所有帧的融合后的分类器或优化后的分类器)一次计算旋转矩阵中的所有图像块(即测试样本)的响应。在此，术语“响应”表示将测试样本代入分类器中得到的分类结果，该分类结果可以与预定分类结果进行比较来判断当前的目标的位置。

例如，例如图9所示的测试的训练样本矩阵Z(即一种旋转矩阵)可以表示如下

每一行代表基于基准测试样本的旋转偏移的一个图像块，所以，利用已有的分类器w来计算对测试样本Z的响应f(z)就可以通过下面的式子一次算出：

f(z)＝C(z)w (10)

由于旋转矩阵的特性(7)，式子(10)又可以重新写成

如此，可以通过在频域内快速计算的响应图(即对不同旋转偏移位置处的不同图像块的所有响应(分类结果)组成的图)，如图10所示。图10示意性地示出了在测试时为了决定在当前帧中的要跟踪目标的位置而利用已有的融合分类器得到的示例的响应图像。于是，在响应图中的最大值所在的位置对应于一个旋转偏移的图像块的位置，而该旋转偏移的图像块的旋转偏移所在的位置即要跟踪目标相对于前一帧位置的偏移的位置(因为预定分类结果(标签)的曲面图中的最大值所在处即是中心的基准图像块所在的位置，而该基准图像块被预定为目标所在的图像块)，这样当前帧中的要跟踪目标的位置就是前一帧目标的位置加上这个偏移而得到的当前位置，如步骤S323所示。

然后，为了针对当前帧重新训练一个当前帧的单独分类器，可以基于利用已有的分类器进行一个新的测试过程而确定的当前帧中的目标的位置(如上所述)，再次通过相同的旋转偏移方式得到若干图像块作为训练样本，然后通过一个新的训练过程来利用基于该当前帧中的目标的位置的训练样本来训练一个新的当前帧的单独分类器，如图3B的步骤324-326所示。

具体地，为了获得训练样本，仍然可以如前所述根据当前帧中的目标的位置(此时，是通过新的测试过程确定的目标的位置，而不是初始帧中的用户标出的目标的位置)扩大得到基准图像块，以及将基准图像块进行旋转偏移得到若干旋转偏移的图像块，与基准图像块一起作为训练样本X。然后，根据上述公式(8)来得到当前帧的新的单独分类器w。

综上，简言之，对于初始帧，进行训练过程；对于后续帧，先进行测试过程，然后训练过程。

如此，得到了对初始帧的一个单独分类器和对当前帧的一个单独分类器，在步骤S327中，可以利用例如加权和的方式融合这两个单独分类器作为最终的融合分类器。

如果经过了若干帧之后，假设，已有了针对若干帧的一系列的单独分类器{w₁,w₂,...,w_n}。则利用加权和的方式融合这些单独分类器到一个最终的融合分类器w_final中：

$\begin{array}{cc}{w}_{\mathrm{final}}=\underset{i}{\mathrm{\Σ}}{\mathrm{\β}}_i{w}_i& s.t.\underset{i}{\mathrm{\Σ}}{\mathrm{\β}}_i=1\end{array}---\left(12\right)$

其中，为每个单独分类器w_i指定一个对应的系数β_i，这些系数的和被设置为1。通常，给新的单独分类器指定的系数可以初始地为0或其他值。

在步骤S328中，优化该融合分类器w_final中的每个单独分类器的系数β_i。

本技术提出了一个在线训练学习和优化的过程如图11所示。图11示意性地示出了融合分类器的系数更新的示例优化过程。

首先，基于各个单独分类器的选择分数挑选预定数量个(在此，例如1个)单独分类器来优化它的系数。在此，定义一个选择分数作为挑选单独分类器来优化系数的标准。在一个实施例中，选择分数的定义可以是：

S_i＝E(w_final,z_i)*L(Δt_i) (13)

其中，

$(w_{\mathrm{final}},z_i)=\underset{\mathrm{mn}}{\mathrm{\Σ}}{(f\left(z_i\right)-R_{\mathrm{reg}})}_{\mathrm{mn}}---\left(14\right)$

L(Δt_i)＝G(Δt_i)～N(0,σ²) (15)

其中，R_reg是预定分类结果的矩阵(即，标签矩阵)，G(Δt_i)是一个高斯分布函数。Δt_i表示当前帧的帧号和单独分类器的所对应的帧的帧号的差值。

对于新输入的图像块，可以选择新训练的单独分类器作为正分类器w₊，挑选有最小选择分数的一个单独分类器作为负分类器w_-。对于已有的融合分类器，可以挑选最大选择分数的单独分类器作为正分类器w₊，挑选最小选择分数的一个单独分类器作为负分类器w_-。拥有最大选择分数的单独分类器表示该单独分类器在该融合分类器中没有被足够重视，所以通过将其系数增加一点就可以减少总的误差值。同样，而拥有最小选择分数的单独分类器表示单独分类器在该融合分类器中已经被很好的表示了，不需要更多的重视了，所以就会减少其相应的系数。在此，由于各个系数的和被设定为1，因此，系数的增加的量和另一系数的减小的量可以是相同的。

在此，考虑了选择分数最大或最小的一个单独分类器来调整系数，但是实际上，可以考虑选择分数最大或最小的几个单独分类器来一起调整系数。例如，选择分数最大的一个单独分类器和选择分数第二大的一个单独分类器(总共两个单独分类器)被增加系数，选择分数最小的一个单独分类器和选择分数第二小的一个单独分类器(总共两个单独分类器)被增加系数。当然，在此，由于各个系数的和被设定为1，因此，系数的增加的量和另一系数的减小的量也可以是相同的。

注意，在该实施例中，在训练得到两个单独分类器时就开始上述融合单独分类器和优化融合的分类器，并在后续帧的确定目标的位置时采用该优化的融合分类器，这样可以每次都采用优化的分类器来得到较为准确的目标的位置以用于更为准确的优化，但是，也可以在训练得到多于两个单独分类器以后，才开始上述融合单独分类器和优化融合的分类器的过程，即，在后续帧的确定目标的位置时，仍然采用对应于前一帧训练的单独分类器，然后在预定个数的帧之后，再进行上述融合和优化，这样计算量较小，但优化的准确度有所损失。

如此，通过更具体地且更准确地制定选择分数的函数，以更有效地更新各个单独分类器的系数，来得到更优化的融合分类器。

根据本实施例，当新的图像帧输入后，利用已有的融合分类器(例如已经优化后的融合分类器)又可以测试得到目标的新的位置(即跟踪目标)，然后又基于目标的新的位置得到包括若干图像块的训练样本，以便训练出针对新的图像帧的新的单独分类器，然后又将该单独分类器融合到已有的融合分类器中得到最终的融合分类器，然后进行优化步骤，得到优化了各个系数的优化的融合分类器，以进行后续帧的测试、训练、融合、优化。随着跟踪的进行，将得到越来越优化的融合分类器，如此，在进行目标跟踪的同时不断进一步优化融合分类器，以得到更准确的目标跟踪和融合分类器优化，来实现越来越准确的在线学习跟踪。

另外一个需要解决的问题是随着跟踪的不断进行，单独分类器的数量会直线上升。在此，可以引入一个删除机制来限制融合分类器中的单独分类器的数量。可以选择在被删除之后使得最终(或优化)的融合分类器的变化最小的(一个或多个)单独分类器进行删除。即，先假设删除一个单独分类器，为了满足∑_iβ_i＝1，把删除掉的单独分类器的系数加到拥有最大选择分数的单独分类器上面。这样最终的融合分类器的变化可以写作：

$\begin{array}{c}\mathrm{\Δw}=-{\mathrm{\β}}_r{w}_r+{\mathrm{\β}}_r{w}_{\max }\\ r=\arg \underset{r}{\min }{\left|\right|\mathrm{\Δw}\left|\right|}^2\end{array}---\left(2\right)$

其中，β_r是要删除的单独分类器的系数，w_r,w_max分别是要删除的单独分类器和拥有最大选择分数的单独分类器。这里，对于每个单独分类器，都可以假设其被删除而得到最终的融合分类器的变化||Δw||²。然后，选择使得||Δw||²最小的单独分类器进行删除。

如此，以最小的代价来保持单独分类器的个数、并保持整个运算的计算量不会增加得太大。

最后，整个优化过程总结如图12所示。图12示意性地示出了包括删除多余单独分类器的融合分类器的系数更新的迭代的示例优化过程。

对于新来的图像帧，选择新训练的单独分类器作为正分类器，选择拥有最小选择分数的单独分类器作为负分类器。然后像图11所示的那样，做一次系数优化过程。对于既存的融合分类器(或初始帧的单独分类器)，选择拥有最大选择分数的单独分类器作为正分类器，选择拥有最小选择分数的单独分类器作为负分类器，然后做一次系数优化，以此类推进行迭代过程，以随着跟踪的进行而不断在线学习优化融合的分类器。最后当单独分类器数目超过一定数量时，删除掉使得最终融合分类器变化最小的单独分类器，以保持计算量不会变得太大。

图13示出了根据本发明的另一实施例的基于多分类器融合的目标跟踪系统1300的示例框图。

图13所示的系统1300包括：跟踪装置1301，被配置为进行跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；样本获得装置1302，被配置为进行样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；训练装置1303，被配置为进行训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；融合装置1304，被配置为进行融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；优化装置1305，被配置为进行优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤。该选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。

根据本发明的实施例，由于在跟踪步骤中实现了要跟踪目标的实时跟踪，而同时又在样本获得、训练、融合和优化步骤中优化了融合分类器，因此可以实现在线跟踪和学习优化的过程，达到跟踪和优化两不误。

另外，根据本发明的实施例，利用多个系数来融合在跟踪目标时训练的多个单独分类器以得到不同程度地利用了各个单独分类器的优势的最终的融合分类器、并通过检验得到的融合分类器对先前各帧的跟踪目标的跟踪效果来更新各个单独分类器的系数以充分且更有效地利用各个单独分类器的各自的优势，来得到优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

在一个实施例中，所述选择分数可以与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果、以及当前帧的帧号与先前的一个或多个帧的帧号的差值的函数相关。

如此，根据本发明的实施例，可以除了考虑得到的融合分类器对先前各帧的跟踪目标的跟踪效果、还考虑当前帧的单独分类器与先前各帧之间的远近程度，来更准确地制定选择分数，以更有效地更新各个单独分类器的系数，来得到更优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

当然，除了考虑上述跟踪效果和/或远近程度以外，还可以考虑其他因素来制定选择分数，例如增加表示对各个单独分类器的喜好程度的系数、增加对跟踪效果的修正系数等。在此，不一一举例。

在一个实施例中，所述选择分数S_i可以用以下公式来表示：

S_i＝E(w_final,z_i)*L(Δt_i)，

其中，E(w_final,z_i)＝∑(f(z_i)-R_reg)，L(Δt_i)＝G(Δt_i)～N(0,σ²)

其中，w_final表示最终的融合分类器，E(w_final,z_i)表示最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本z_i所计算的各个分类结果f(z_i)与预定分类结果R_reg的比较结果，Δt_i表示当前帧的帧号与先前的一个或多个帧的帧号的差值，L(Δt_i)表示当前帧的帧号与先前的一个或多个帧的帧号的差值的函数，G(Δt_i)是一个高斯分布函数。最大的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器可以被选择为要增加系数，而最小的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器可以被选择为要减小系数。

如此，通过更具体地且更准确地制定选择分数的函数，以更有效地更新各个单独分类器的系数，来得到更优化的融合分类器。

该系统1300还可以包括：删除装置1306(未示出)，被配置为进行删除步骤，当所述最终的融合分类器所融合的单独分类器的个数超过预定个数时，基于删除机制来删除单独分类器。该删除机制包括：如果删除该单独分类器、则最终的融合分类器的变化最小。

如此，在融合分类器所融合的单独分类器的个数有限时，可以通过使得融合分类器的变化最小的删除机制来删除单独分类器，如此，以最小的代价来保持单独分类器的个数、并保持整个运算的计算量不会增加得太大。

在一个实施例中，所述最终的融合分类器的变化Δw可以用以下公式表示：

$\begin{array}{c}\mathrm{\Δw}=-{\mathrm{\β}}_r{w}_r+{\mathrm{\β}}_r{w}_{\max }\\ r=\arg \underset{r}{\min }{\left|\right|\mathrm{\Δw}\left|\right|}^2\end{array},$

其中，β_r是要删除的单独分类器的系数，w_r,w_max分别是要删除的单独分类器和拥有最大选择分数的单独分类器，其中，选择使得||Δw||²最小的单独分类器进行删除。

在一个实施例中，跟踪装置1301还可以被配置为：针对初始帧，所述在初始帧中的要跟踪目标的位置通过用户标记要跟踪目标的位置或者通过自动目标检测来得到。跟踪装置1301还可以被配置为：针对后续帧，所述要跟踪目标的位置通过利用已有的融合分类器对包括要跟踪目标的多个图像块的测试样本进行测试得到，其中，所述测试样本包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。测试样本可以包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。

由于在初始帧中，还没有训练出分类器，因此无法用分类器来自动跟踪得到目标的位置，因此，可以仅针对初始帧，通过用户标记要跟踪目标的位置或者通过自动目标检测来得到初始的目标的位置，即知道要跟踪的目标到底是什么。当然，初始的目标的位置还可以通过其他方式来获得，例如，特定对象的检测等。

在一个实施例中，所述训练样本可以是包括要跟踪目标的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。

在此，利用了将包括要跟踪目标的图像块进行逐步旋转偏移得到的多个图像块可以构成旋转矩阵，因此，可以利用旋转矩阵的特性来将分类器的分类结果的计算放置在频域上，并利用频域的快速计算方法、例如快速傅里叶算法，来减小运算量和运算复杂度。

在一个实施例中，在所述优化装置1305进行的步骤中，所述预定分类结果的值可以具有如下特性：其中，图像块的中心离目标的位置越近，该预定分类结果的值越大。在此，不使用简单的二进制来表示预定分类结果，而是使用图像块的中心离目标的位置越近、该预定分类结果的值越大的预定分类结果，从而更好地表达了在离目标的位置的不同方向和距离处的图像块的分类结果的准确度，从而更准确地训练各个分类器并得到和优化更准确的融合分类器。

在一个实施例中，所述优化装置1305可以进行一个迭代过程，其将所述优化的融合分类器作为下一帧的已有的融合分类器来进行多次优化步骤，直到经过预定次数的优化步骤、或者优化的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果小于预定差值。

如此，通过迭代过程来进行多次优化，以得到更加优化的融合分类器，从而随着对后续帧的跟踪的不断进行而在进行目标跟踪的同时不断进一步优化融合分类器。

如此，根据本发明的各个实施例，能够不同程度地得到准确且优化的融合分类器，从而准确地进行后续的目标跟踪和自动优化，实现目标跟踪的在线学习。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于多分类器融合的目标跟踪方法，包括：

跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；

样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；

训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；

融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；

优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，

其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所测试得到的各个分类结果与预定分类结果的比较结果相关。

2.根据权利要求1所述的方法，其中，所述选择分数与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果、以及当前帧的帧号与先前的一个或多个帧的帧号的差值的函数相关。

3.根据权利要求2所述的方法，其中，所述选择分数S_i用以下公式来表示：

S_i＝E(w_final,z_i)*L(Δt_i)，

其中，E(w_final,z_i)＝∑(f(z_i)-R_reg)，L(Δ_ti)＝G(Δ_ti)～N(0,σ²)

其中，w_final表示最终的融合分类器，E(w_final,z_i)表示最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本z_i所计算的各个分类结果f(z_i)与预定分类结果R_reg的比较结果，Δt_i表示当前帧的帧号与先前的一个或多个帧的帧号的差值，L(Δt_i)表示当前帧的帧号与先前的一个或多个帧的帧号的差值的函数，G(Δt_i)是一个高斯分布函数，

其中，最大的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器被选择为要增加系数，而最小的预定数量个选择分数S_i所针对的帧所对应的预定数量个单独分类器被选择为要减小系数。

4.根据权利要求1所述的方法，还包括：

删除步骤，当所述最终的融合分类器所融合的单独分类器的个数超过预定个数时，基于删除机制来删除单独分类器，

其中，所述删除机制包括：如果删除该单独分类器、则最终的融合分类器的变化最小。

5.根据权利要求4所述的方法，其中，所述最终的融合分类器的变化Δw用以下公式表示：

Δw＝-β_rw_r+β_rw_max

$r=\arg \underset{r}{\min }{\left|\right|\mathrm{\Δw}\left|\right|}^2,$

其中，β_r是要删除的单独分类器的系数，w_r,w_max分别是要删除的单独分类器和拥有最大选择分数的单独分类器，其中，选择使得||Δw||²最小的单独分类器进行删除。

6.根据权利要求1所述的方法，其中，在跟踪步骤中，针对初始帧，所述在初始帧中的要跟踪目标的位置通过用户标记要跟踪目标的位置或者通过自动目标检测来得到；针对后续帧，所述要跟踪目标的位置通过利用已有的融合分类器对包括要跟踪目标的多个图像块的测试样本进行测试得到，其中，所述测试样本包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块，其中，所述测试样本包括当前帧中在上一帧的要跟踪目标的位置处的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。

7.根据权利要求1-3中的任一所述的方法，其中，所述训练样本包括要跟踪目标的图像块以及将其逐步旋转偏移得到的旋转偏移后的多个图像块。

8.根据权利要求7所述的方法，其中，在所述优化步骤中，所述预定分类结果的值具有如下特性：其中，图像块的中心离目标的位置越近，该预定分类结果的值越大。

9.根据权利要求1所述的方法，其中，所述优化步骤是一个迭代过程，其将所述优化的融合分类器作为下一帧的已有的融合分类器来进行多次优化步骤，直到经过预定次数的优化步骤、或者优化的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较结果小于预定差值。

10.一种基于多分类器融合的目标跟踪系统，包括：

跟踪装置，被配置为进行跟踪步骤，对于当前帧，利用已有的融合分类器来决定在所述当前帧中的要跟踪目标的位置，所述已有的融合分类器是通过利用一个或多个系数来融合基于先前的一个或多个帧训练的一个或多个单独分类器而得到的；

样本获得装置，被配置为进行样本获得步骤，基于所述要跟踪目标的位置，找到要跟踪的目标，并获得包括要跟踪目标的多个图像块的训练样本；

训练装置，被配置为进行训练步骤，基于在所述当前帧中包括要跟踪目标的多个图像块的训练样本，训练当前单独分类器；

融合装置，被配置为进行融合步骤，融合所述已有的融合分类器和所述当前单独分类器，以得到最终的融合分类器，其中，所述已有的融合分类器中的各个单独分类器分别具有各自的系数，且所述当前单独分类器具有一个初始系数；

优化装置，被配置为进行优化步骤，至少基于所述最终的融合分类器针对所融合的所有单独分类器的所有选择分数，选择要改变系数的单独分类器以得到改变系数之后的优化的融合分类器，用于下一帧的跟踪、样本获得、训练、融合和优化步骤，

其中，所述选择分数至少与所述最终的融合分类器分别针对先前的一个或多个帧以及当前帧中的包括要跟踪目标的训练样本所计算的各个分类结果与预定分类结果的比较相关。