CN105723419B - 对象追踪 - Google Patents

Abstract

本发明提供一种对象追踪方法和系统。所述方法可包括：获得用于追踪对象的分类器；获得在第一时间点处捕捉的第一图像；在所述第一图像中定义具有相同形状和不同尺度的第一组区域；计算所述第一组区域中的每一个的特征向量；以及基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的所述对象的所述尺度。通过使用所述方法，减小了用于追踪所述对象的计算负荷。

Description

对象追踪

技术领域

本发明总体上涉及对象追踪。

背景技术

现今，存在许多基于图像的对象追踪方法以追踪移动对象，如车辆和行人。这些对象追踪方法可用来追踪车辆周围的移动对象以提醒这些对象的驾驶员，从而防止碰撞。

发明内容

在一个实施方案中，提供一种对象追踪方法。所述方法可包括：获得用于追踪对象的分类器；获得在第一时间点处捕捉的第一图像；在所述第一图像中定义具有相同形状和不同尺度的第一组区域；计算所述第一组区域中的每一个的特征向量；以及基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的所述对象的所述尺度。

在一些实施方案中，第一组区域可具有相同中心点。在一些实施方案中，可基于在第一图像之前捕捉的第二图像中标识的对象的中心点来确定第一组区域的中心点。

在一些实施方案中，确定第一图像中的对象的尺度可包括：基于第一组区域中的每一个的特征向量和分类器来计算第一组区域中的每一个的响应值；以及基于所计算响应值来标识候选区域。

在一些实施方案中，所述方法可还包括：在第一图像中围绕候选区域的中心点选择多个点；基于所述多个点的位置将所述多个点划分成多个群组；从所述多个群组中的每一个选择一个点；在所述第一图像中分别定义与所述候选区域具有相同尺度的第二组区域，所述第二组区域以所述选定点为中心；计算所述第二组区域中的每一个的特征向量；基于所述第二组区域的特征向量和所述分类器来从所述第二组区域标识区域；在所述第一图像中分别定义与所述候选区域具有相同尺度的第三组区域，所述第三组区域以点群组为中心，所述点群组为所述多个群组中的一个并且包括所述所标识区域的所述中心点；计算所述第三组区域中的每一个的特征向量；以及基于所述第三组区域的特征向量和所述分类器来从所述第三组区域标识区域，并且将此区域作为所述对象。

在一些实施方案中，所述方法可还包括：在所述第一图像之后的后续图像上重复以上处理；以及如果在预定数目的连续图像中未追踪到所述对象，则确定所述对象丢失。

在一些实施方案中，所述方法可还包括：在所述第一图像中围绕从所述第三组区域标识的所述区域定义预定义区内的多个正样本和所述预定义区外的多个负样本；获得所述多个正样本和所述多个负样本的特征向量；以及基于所述多个正样本和所述多个负样本的所述特征向量来更新所述分类器。

在一个实施方案中，提供一种对象追踪系统。所述系统可包括：用于在第一时间点处捕捉第一图像的摄像机，和处理装置，所述处理装置被配置来：获得用于追踪对象的分类器；在所述第一图像中定义具有相同形状和不同尺度的第一组区域；计算所述第一组区域中的每一个的特征向量；以及基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的所述对象的所述尺度。

在一些实施方案中，第一组区域可具有相同中心点。在一些实施方案中，可基于在第一图像之前捕捉的第二图像中标识的对象的中心点来确定第一组区域的中心点。

在一些实施方案中，所述处理装置可还被配置来：基于第一组区域中的每一个的特征向量和分类器来计算第一组区域中的每一个的响应值；基于所述所计算响应值来标识候选区域；以及基于所述候选区域的所述尺度来确定所述对象的所述尺度。

在一些实施方案中，所述处理装置可还被配置来：在第一图像中围绕候选区域的中心点选择多个点；基于所述多个点的位置将所述多个点划分成多个群组；从所述多个群组中的每一个选择一个点；在所述第一图像中分别定义与所述候选区域具有相同尺度的第二组区域，所述第二组区域以所述选定点为中心；计算所述第二组区域中的每一个的特征向量；基于所述第二组区域的特征向量和所述分类器来从所述第二组区域标识区域；在所述第一图像中分别定义与所述候选区域具有相同尺度的第三组区域，所述第三组区域以点群组为中心，所述点群组为所述多个群组中的一个并且包括所述所标识区域的所述中心点；计算所述第三组区域中的每一个的特征向量；以及基于所述第三组区域的特征向量和所述分类器来从所述第三组区域标识区域，并且将此区域作为所述对象。

在一些实施方案中，所述处理装置可还被配置来：在所述第一图像之后的后续图像上重复以上处理；如果在预定数目的连续图像中未追踪到所述对象，则确定所述对象丢失。

在一些实施方案中，所述处理装置可还被配置来：在所述第一图像中围绕从所述第三组区域标识的所述区域来定义预定义区内的多个正样本和所述预定义区外的多个负样本；获得所述多个正样本和所述多个负样本的特征向量；以及基于所述多个正样本和所述多个负样本的所述特征向量来更新所述分类器。

在一个实施方案中，提供一种对象追踪系统。所述系统可包括：获得构件，其用于获得用于追踪对象的分类器；获得构件，其用于获得在第一时间点处捕捉的第一图像；定义构件，其用于在所述第一图像中定义具有相同形状和不同尺度的第一组区域；计算构件，其用于计算所述第一组区域中的每一个的特征向量；以及确定构件，其用于基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的所述对象的所述尺度。

附图说明

结合附图，本公开的上述和其它特征将从以下描述和所附权利要求书变得更充分明显。应理解，这些附图仅描绘根据本公开的若干实施方案，并且因此不应被视为对本公开范围的限制，将通过使用附图来更明确且更详细地描述本公开。

图1示出根据一个实施方案的对象追踪方法100的示意性流程图；

图2示意性地示出根据一个实施方案的具有相同形状和不同尺度的第一组区域的实例；

图3示意性地示出根据一个实施方案的四叉树均匀划分区域的实例；

图4示意性地示出根据一个实施方案的Haar特征的六种类型；

图5示意性地示出根据一个实施方案的划分成多个群组的多个点的实例；

图6示出根据一个实施方案的用于更新分类器的方法200的示意性流程图；以及

图7示意性地示出根据一个实施方案的对象追踪系统。

具体实施方式

在以下详细描述中，参考附图，所述附图形成详细描述的一部分。在附图中，类似符号通常标识类似部件，除非上下文另外指示。在详细描述、附图和权利要求书中描述的例示性实施方案并不意味着限制。在不脱离本文呈现的主题的精神或范围的情况下，可使用其它实施方案并且可做出其它改变。将容易理解的是，如本文中大体所描述和各图中所示出的本公开的各方面可以多种不同的配置加以布置、替换、组合和设计，所有这些不同的配置都被明确涵盖并且成为本公开的一部分。

应当注意的是，在描述和权利要求书中的术语“第一”、“第二”等用于区别相似元件的而不倾向于描述特定相继或时间次序。

图1示出根据一个实施方案的对象追踪方法100的示意性流程图。

参考图1，在S101中，获得用于追踪对象的分类器。

在一些实施方案中，分类器可为均值-方差模型在一些实施方案中，分类器可在对象追踪的初始轮次中被确定为(0,1,0,1)。在一些实施方案中，分类器可在对象追踪的先前轮次中被确定。在一些实施方案中，分类器可以与以下所述的分类器更新方法类似的方式来获得。

在S103中，获得在第一时间点处捕捉的第一图像。

在一些实施方案中，安装在车辆上的摄像机可用来捕捉帧序列，并且第一图像为在第一时间点处捕捉的帧。在一些实施方案中，可在均匀间隔时间点处获得帧序列中的图像，并且可连续地逐一处理所述图像。

在S105中，在第一图像中定义具有相同形状和不同尺度的第一组区域。

在一些实施方案中，第一组区域可具有相同中心点。在一些实施方案中，可基于大致覆盖第二图像中的所标识对象的区域的中心点来确定第一组区域的中心点。在一些实施方案中，第一组区域的形状可与第二图像中的区域的形状相同。在一些实施方案中，第二图像可为帧序列中的第一图像的先前帧。在一些实施方案中，第一图像和第二图像可以在同一帧序列中，并且第二图像在第一图像之前。

参考图2，示意性地示出第一组区域(203a、203b、203c和203d)的实例。第一组区域可以对应于在第二图像中所标识的对象201的中心点的相同位置(x1,y1)为中心。在一些实施方案中，第一组区域与对象201的尺度比可在0.85至1.15范围内变动，并且第一组区域的形状可维持与对象201相同。

在一些实施方案中，可基于第一图像的分辨率来确定第一组区域的数目。例如，可通过两个像素隔开第一组区域中的每两个相邻区域。

在S107中，计算第一组区域中的每一个的特征向量。

在一些实施方案中，第一组区域中的每一个的特征向量可为Haar特征向量，并且可如下计算Haar特征向量。

第一，可均匀划分第一组区域中的每一个。图3示出四叉树均匀划分区域的实例，并且将所述区域均匀地划分成4个尺度。

第二，将多个Haar特征应用于区域的每一尺度，以获得所述区域的特征响应。图4示出Haar特征的6种类型。每一Haar特征具有空白区和阴影区，所述空白区和阴影区分别具有对应权重。

可通过方程式(1)计算用于区域的每一尺度的特征响应f：

f＝(S₀×w₀+S₁×w₁)/(255×S₁) 方程式(1)

其中S₀和S₁分别表示阴影区和空白区中的像素的像素值的总和，并且w₀和w₁分别表示阴影区和空白区的权重。

在一些实施方案中，灰度像素的像素值可为灰度值。在一些实施方案中，可通过求出RGB值的总和来计算由RGB分量表示的像素的像素值。

区域的特征向量包括区域的所有尺度的特征响应。可通过方程式(2)计算特征向量的维度：

其中dim表示特征向量的维度，S表示样本被分成的尺度的数目，s表示第s尺度，并且f(s)表示应用在第s尺度上的Haar特征的数目。

例如，将图3中的区域分为4个尺度。将图4中的Haar特征h0～h5应用于尺度0以计算所述尺度的响应，将Haar特征h0～h5应用于尺度1以计算所述尺度的响应，将Haar特征h0～h3应用于尺度2以计算所述尺度的响应，并且将Haar特征h0～h2应用于尺度3以计算所述尺度的响应。因此，区域的特征向量的维度计算为6×1²+6×2²+4×3²+3×4²＝114。

在S109中，基于第一组区域中的每一个的特征向量和分类器来计算第一组区域中的每一个的响应值；并且在第一组区域当中标识具有最大响应值的候选区域。

在一些实施方案中，可通过方程式(3)来计算第一组区域中的每一个的响应值：

其中E表示区域的响应值，K表示负系数，dim表示特征向量的维度，f(t)表示区域的特征向量的第t维特征响应，并且μ_p(t)、μ_n(t)和表示分类器的第t维分量。

在一些实施方案中，可将K设定为-0.5。在一些实施方案中，将对象的尺度确定为第一图像中的候选区域的尺度。

由于基于响应值确定，候选区域在第一组区域当中最靠近对象，所以可将候选区域的尺度确定为第一图像中的对象的尺度。其后，在一些实施方案中，方法可还包括用于确定第一图像中的对象的位置的处理。

在S111中，在第一图像中围绕候选区域的中心点选择多个点；并且基于所述多个点的位置将所述多个点划分成多个群组。

应理解，第一图像中的对象的位置应靠近候选区域的位置。因此，围绕候选区域的中心点的点中的一个可为第一图像中的对象的中心。

在一些实施方案中，可选择以候选区域的中心点为中心的N^*M像素矩阵，在所述像素矩阵中，除对应于中心点的一个像素之外，可将每一像素定义为所述多个点中的一个。可基于像素的位置将N^*M像素矩阵划分成(N/i)^*(M/j)群组。应注意，可基于如图像分辨率、计算负荷、可接受误差率等的因素来确定N、M、i和j的详细数目。例如，如图5中所示，围绕候选区域的中心点定义12^*6个点，并且从围绕中心点的每三个相邻像素均匀地选择每一点。其后，将12^*6个点划分成3^*3个群组。

在S113中，在第一图像中定义与候选区域具有相同尺度的第二组区域，其中第二组区域中的每一个以从所述多个群组中的每一个选择的点为中心。

在一些实施方案中，第二组区域中的每一个可以对应群组的中心点为中心。在一些实施方案中，第二组区域可分别以对应群组中的其它点为中心。

在S115中，在第二组区域当中标识具有最大响应值的第一选定区域。

在一些实施方案中，可以与在S107中类似的方式计算第二组区域的特征向量。在一些实施方案中，可基于第二组区域的特征向量和分类器来以与在S109中类似的方式计算第二组区域的响应值。

由于在第二组区域当中第一选定区域具有最大响应值，所以应理解，对象的中心可很可能位于对应于第一选定区域的群组中。同样，通过较小的计算，实现位置的粗略检测。

在S117中，在第一图像中定义与候选区域具有相同尺度的第三组区域，其中第三组区域和第一选定区域以所述多个群中的同一个中的点为中心。

如以上所提及，定义第三组区域以确定点群组内的对象的中心，第一选定区域是从所述点群组中选择。

在S119中，在第三组区域当中标识具有最大响应值的第二选定区域。

在一些实施方案中，可以与在S107中类似的方式计算第三组区域的特征向量。在一些实施方案中，可基于第二组区域的特征向量和分类器来以与在S109中类似的方式计算第二组区域的响应值。

基于第二筛选过程来获得第二选定区域，因此第二选定区域可更精确地表示将要追踪的对象的位置。可通过控制第二组区域的数目和第三组区域的数目来将计算负荷控制在可接受范围内。在一些实施方案中，S117和S119可为任选的。第一选定区域可被当作第一图像中的对象的位置。

在一些实施方案中，第二选定区域的响应值可小于零，这通常意味着追踪对象可在第一图像中消失。然而，在一些状况下，可由于照明变化或运动模糊而引起第二选定区域的响应值小于零。为了排除这些影响因素并且提高追踪可靠性，当第一图像中的第二选定区域的响应值小于零时，应考虑预定数目的连续图像。在一些实施方案中，当第二选定区域的响应值小于零时，Kalman滤波器可用来预测第一图像中的对象的位置。

如图1中所示，在S121中，确定第二选定区域的响应值是否大于零。如果是，那么方法100转到S123。否则方法100转到S125。

在S123中，输出第二选定区域。

在一些实施方案中，在驾驶辅助系统中，可在屏幕上显示第二选定区域的尺度和位置，以提醒驾驶员第一图像中的对象的尺度和位置。

在S125中，确定在连续图像中是否存在具有小于零的响应值的预定数目的第二选定区域。如果是，那么方法100转到S127。否则方法100转到S129。

在一些实施方案中，可对帧序列的每一图像进行用以获得第二选定区域的以上处理。在一些实施方案中，计数器可用来计数连续图像中的具有小于零的响应值的第二选定区域的数目。如果后续图像中的第二选定区域的响应值小于零，那么计数器加一。如果后续图像中的第二选定区域的响应值大于零，那么重置计数器。

在S127中，使用Kalman滤波器来预测对应于第一图像中的对象的区域。

Kalman滤波器是用于对象追踪的众所周知的方法，并且在此未详细描述。

在S129中，停止追踪对象。

在一些实施方案中，预定数目可设定为八。如果计数器大于或等于八，那么确定追踪对象在第一图像中消失并且停止追踪所述对象。

在第一图像中获得第二选定区域后，第二选定区域和第一图像的信息可用来更新以上提及的分类器。

图6示出根据一个实施方案的用于更新分类器的方法200的示意性流程图。

参考图6，在S201中，在第一图像中定义围绕第二选定区域的多个正样本和多个负样本，其中所述多个负样本比所述多个正样本距离第二选定区域更远。

在一些实施方案中，将正样本和负样本的形状和尺度设定为与第二选定区域相同。在一些实施方案中，可通过方程式(4)来定义正样本和负样本的位置：

其中cx和cy表示第二选定区域的中心点的坐标，x和y表示正样本或负样本的中心点的坐标，并且w和h分别表示第二选定区域的宽度和高度。

在一些实施方案中，将正样本和负样本的数目设定为预定数目。例如，将正样本的数目设定为48，并且将负样本的数目设定为96。在一些实施方案中，正样本或负样本可随机分布在通过方程式(4)定义的区中。在一些实施方案中，正样本和负样本可均匀分布在通过方程式(4)定义的区中。

在S203中，获得多个正样本和多个负样本的特征向量。

在一些实施方案中，特征向量可为Haar特征向量，并且可以与在S107中类似的方式获得Haar特征向量。

在S205中，基于多个正样本和多个负样本的特征向量来更新分类器。

在一些实施方案中，可根据方程式(5)计算正样本和负样本的特征向量的均值和方差的平方：

其中n表示正样本或负样本的数目，μ_t表示n个特征向量的第i维的均值，表示n个特征向量的第i维的方差的平方，并且f_i(k)表示第k正样本或负样本的第i维的特征响应。

基于方程式(5)，可基于正样本和负样本的特征向量来获得第一图像的模型其中表示正样本的特征向量的均值和方差的平方，并且表示负样本的特征向量的均值和方差的平方。

其后，可使用正样本和负样本的均值和方差的平方来更新分类器。

在一些实施方案中，可根据方程式(6)来更新分类器：

其中表示分类器，表示从第一图像获得的模型，并且λ表示学习速率。

还可根据方程式(7)来更新学习速率λ：

0.01≤λ≤0.99 方程式(7)

其中id表示图像索引，并且E_k表示第k图像中的第二选定区域的响应值。

应注意，λ被设定为大于0.01并且小于0.99。在一些实施方案中，如果λ大于0.99，那么可将λ设定为0.99。在一些实施方案中，如果λ小于0.01，那么可将λ设定为0.01。

根据本公开的一个实施方案，提供对象追踪系统。在一些实施方案中，对象追踪系统可安装在车辆上以追踪车辆附近的移动对象。

参考图7，对象追踪系统600可包括摄像机601和处理装置603。摄像机601可用来捕捉图像序列。处理装置603可被配置来进行方法100的S101至S129，以标识第一图像中的对象的尺度和位置，并且进行方法200的S201至S205以更新分类器。在一些实施方案中，处理装置603可为CPU、GPU、DSP等，或其任何组合。在一些实施方案中，处理单元可为多个计算部件和其它部件的组合。

通过使用根据本公开的实施方案的方法和系统，可实时更新所追踪对象的尺度和位置，并且降低计算的复杂性。

系统的各方面的硬件实施方式与软件实施方式之间几乎没有区别；硬件或软件的使用通常是表示成本对效率折衷的设计选择。例如，如果实施者确定速度和准确度是最重要的，那么实施者可选择以硬件和/或固件车辆为主；如果灵活性是最重要的，那么实施者可选择以软件实施方式为主；或者，再一次可替代地，实施者可选择硬件、软件和/或固件的某个组合。

虽然本文已公开各种方面和实施方案，但是其它方面和实施方案将对本领域技术人员来说是明显的。本文所公开的各种方面和实施方案是出于说明的目的，并且不意图为限制，其中真实范围和精神由以上权利要求书指示。

Claims (10)

1.一种对象追踪方法，其特征在于，包括：

获得用于追踪对象的分类器；

获得在第一时间点处捕捉的第一图像；

在所述第一图像中定义具有相同形状和不同尺度的第一组区域；

计算所述第一组区域中的每一个的特征向量；

基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的对象的尺度；以及

确定所述第一图像中的对象的位置；

其中，基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的所述对象的所述尺度包括：

基于所述第一组区域中的每一个的特征向量和所述分类器来计算所述第一组区域中的每一个的响应值；

基于所述计算的响应值来标识候选区域，将所述候选区域的尺度确定为所述第一图像中的对象的尺度；

确定所述第一图像中的对象的位置包括：

在所述第一图像中围绕所述候选区域的中心点选择多个点，基于所述多个点的位置将所述多个点划分成多个群组；

从所述多个群组中的每一个选择一个点，在所述第一图像中分别定义与所述候选区域具有相同尺度的第二组区域，所述第二组区域中的每一个以从所述多个群组中的每一个选择的点为中心；以及

计算所述第二组区域中的每一个的特征向量，基于所述第二组区域的特征向量和所述分类器来从所述第二组区域标识第一选定区域，基于所述第一选定区域来确定所述对象的所述位置。

2.根据权利要求1所述的方法，其特征在于，其中所述第一组区域具有相同中心点。

3.根据权利要求1所述的方法，其特征在于，其中确定所述第一图像中的对象的位置还包括：

在所述第一图像中分别定义与所述候选区域具有相同尺度的第三组区域，所述第三组区域和所述第一选定区域以所述多个群组中的同一个群组中的点为中心；

计算所述第三组区域中的每一个的特征向量；以及

基于所述第三组区域的特征向量和所述分类器来从所述第三组区域标识第二选定区域，并且将所述第二选定区域作为所述对象的位置。

4.根据权利要求3所述的方法，其特征在于，其还包括：

在所述第一图像之后的后续图像上重复以上处理；以及

如果在预定数目的连续图像中未追踪到所述对象，则确定所述对象丢失。

5.根据权利要求3所述的方法，其特征在于，其还包括：

在所述第一图像中围绕从所述第三组区域标识的所述第二选定区域定义多个正样本和多个负样本；

获得所述多个正样本和所述多个负样本的特征向量；以及

基于所述多个正样本和所述多个负样本的所述特征向量来更新所述分类器。

6.一种对象追踪系统，其特征在于，包括：用于在第一时间点处捕捉第一图像的摄像机，和处理装置，所述处理装置被配置来：

获得用于追踪对象的分类器；

在所述第一图像中定义具有相同形状和不同尺度的第一组区域；

计算所述第一组区域中的每一个的特征向量；

基于所述分类器和所述第一组区域的所述特征向量来确定所述第一图像中的对象的尺度；以及

确定所述第一图像中的对象的位置；

其中，所述处理装置还被配置来：

基于所述第一组区域中的每一个的特征向量和所述分类器来计算所述第一组区域中的每一个的响应值；

基于所述计算的响应值来标识候选区域，将所述候选区域的尺度确定为所述第一图像中的对象的尺度；

确定所述第一图像中的对象的位置包括：

在所述第一图像中围绕所述候选区域的中心点选择多个点，基于所述多个点的位置将所述多个点划分成多个群组；

从所述多个群组中的每一个选择一个点，在所述第一图像中分别定义与所述候选区域具有相同尺度的第二组区域，所述第二组区域中的每一个以从所述多个群组中的每一个选择的点为中心；以及

计算所述第二组区域中的每一个的特征向量，基于所述第二组区域的特征向量和所述分类器来从所述第二组区域标识第一选定区域，基于所述第一选定区域来确定所述对象的所述位置。

7.根据权利要求6所述的系统，其特征在于，其中所述第一组区域具有相同中心点。

8.根据权利要求6所述的系统，其特征在于，其中所述处理装置还被配置来：

在所述第一图像中分别定义与所述候选区域具有相同尺度的第三组区域，所述第三组区域和所述第一选定区域以所述多个群组中的同一个群组中的点为中心；

计算所述第三组区域中的每一个的特征向量；以及

基于所述第三组区域的特征向量和所述分类器来从所述第三组区域标识第二选定区域，并且将所述第二选定区域作为所述对象的位置。

9.根据权利要求8所述的系统，其特征在于，其中所述处理装置还被配置来：

在所述第一图像之后的后续图像上重复以上处理；以及

如果在预定数目的连续图像中未追踪到所述对象，则确定所述对象丢失。

10.根据权利要求8所述的系统，其特征在于，其中所述处理装置还被配置来：

在所述第一图像中围绕从所述第三组区域标识的所述第二选定区域定义多个正样本和多个负样本；

获得所述多个正样本和所述多个负样本的特征向量；以及

基于所述多个正样本和所述多个负样本的所述特征向量来更新所述分类器。