CN103324932B - 基于视频的车辆检测跟踪方法和系统 - Google Patents

Abstract

本发明提供一种基于视频的车辆检测跟踪方法和系统，包括：输入包含车辆的视频；对视频中的所述车辆利用检测器进行检测，获得车辆检测结果，并根据所述车辆首次检测结果建立车辆的在线模型；对视频中的所述车辆进行跟踪，获得所述车辆跟踪结果；利用所述车辆的在线模型分别对同一帧的所述跟踪结果和所述检测结果进行置信度计算，通过所述置信度计算结果及所述跟踪结果和所述检测结果相互融合，获得最终的检测跟踪结果；利用所述最终的检测跟踪结果通过在线学习更新所述车辆的在线模型及所述检测器。本发明提供的基于视频的车辆检测跟踪方法和系统，以解决跟踪过程中车辆的形变和其它物体的遮挡问题。

Description

基于视频的车辆检测跟踪方法和系统

技术领域

本发明涉及智能交通监控技术领域，更为具体地，涉及一种基于视频的车辆检测跟踪方法和系统。

背景技术

随着计算机技术和图像处理技术的不断发展，基于视频技术的车辆检测与跟踪方法已成为智能交通系统的核心内容和关键技术，基于视频技术的检测与跟踪方法处理速度快、安装维护便捷且费用较低，并且监视范围广，可获取更多种类的交通参数。

但是，目前基于视频的车辆跟踪技术仍存在以下问题：

1)遮挡问题。交叉路口的行人与车辆或车辆之间经常发生的遮挡问题是影响车辆跟踪算法准确率的最大问题；

2)形变问题。车辆在行驶的过程中视频通常会发生尺寸变化，同时转弯也会导致车辆的形态变化，从而影响跟踪的稳定性。

2011年，Kalal Z、Mikolajczyk K和Matas J三人在IEEE Transactions onPattern Analysis and Machine Intelligence(IEEE模式分析与机器智能汇刊，2011)上发表了一篇Tracking-Learning-Detection(跟踪-学习-检测)论文，在该论文中提出了一种车辆跟踪技术。

图7为Tracking-Learning-Detection论文中给出的车辆跟踪流程图。如图1所示，该车辆跟踪技术采用传统的随机森林分类器检测和Median-Flow(平均流量)跟踪相结合的策略，同时通过在线学习完善跟踪，最终的车辆定位由检测和跟踪协同决定，达到较佳的跟踪状态。

这种跟踪方法解决了部分物体遮挡、车辆形态变化、尺度变化及运动变化等问题。但在实际情况下，交叉路口的车辆被遮挡后再次出现时，可能已经经过了较长的时间，此时车辆已经发生了左或右转弯，车辆的形态较遮挡前已经发生了很大程度的改变，很容易导致车辆再检测的失败。

因此，如何有效地解决跟踪过程中车辆的形变以及其它物体的遮挡问题，成为目前视频的车辆跟踪技术中亟需解决的一个难题。

发明内容

鉴于上述问题，本发明的目的是提供一种基于视频的车辆检测跟踪方法和系统，以解决跟踪过程中车辆的形变和其它物体的遮挡问题。

本发明提供的基于视频的车辆检测跟踪方法，包括：

输入包含车辆的视频；

对视频中的车辆利用检测器进行检测，获得车辆检测结果，并根据车辆首次检测结果建立车辆的在线模型；车辆的在线模型包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集；对视频中的所述车辆进行跟踪，用LK光流法对车辆光流估计，获得车辆跟踪结果；

利用车辆的在线模型分别对同一帧的跟踪结果和检测结果进行置信度计算，通过置信度计算结果及跟踪结果和检测结果相互融合，获得最终的检测跟踪结果；

利用最终的检测跟踪结果更新车辆的在线模型及检测器。

此外，优选方案是，在线负样本集由在线负样本构成，在线负样本为远离车辆区域的误识别样本；

真实样本集由真实样本构成，真实样本为检测跟踪融合结果的样本；

左转虚拟样本集由左转虚拟样本构成，左转虚拟样本为真实样本经虚拟左旋转获得；

右转虚拟样本集由右转虚拟样本构成，右转虚拟样本为真实样本经虚拟右旋转获得。

此外，优选方案是，在利用车辆的在线模型分别对跟踪结果和检测结果进行置信度计算的过程中，

样本置信度计算公式如下：

dP，dN分别表示待评估样本与在线模型中正负样本集的相似度最大值，样本相似程度采用归一化互相关(NCC)系数度量；

其中，conf(x_i)值越大，样本越像车辆，反之就越接近背景。

此外，优选方案是，在置信度计算结果及跟踪结果和检测结果相互融合的过程中，

如果conf(x^T)＞T_thr，则当前跟踪成功，否则当前跟踪失败；

如果conf(x^D)＞D_thr，则当前检测结果有效，否则当前检测结果无效；

其中，公式中T_thr和D_thr分别表示跟踪置信度的阈值和检测置信度的阈值。

此外，优选方案是，如果当前跟踪失败，当前检测有效，则输出当前检测结果为当前图像帧融合结果，并更新下一帧的跟踪初始框；

如果当前跟踪失败，当前检测无效，则视为车辆在当前图像帧中不可见；

如果当前跟踪成功，当前检测无效，则输出跟踪结果为当前图像帧的融合结果，同时启动在线学习；

如果当前跟踪成功，当前检测有效，则输出检测和跟踪样本置信度最高的结果为当前图像帧的融合结果，同时启动在线学习。

此外，优选方案是，车辆跟踪过程包括：

对待跟踪车辆区域进行初始化，以当前图像帧作为N帧图像分配其中的特征点；

利用LK光流跟踪法在第N+1帧图像中进行光流估计；

利用F-B Error(Forward-Backward Error，简称向前向后误差)对光流估计的结果进行初次过滤；

利用聚类策略对初次过滤结果进行二次过滤，以消除光流估计的结果中的孤立点；

根据二次过滤的结果确定待跟踪车辆区域的偏移量与缩放量；

根据偏移量和缩放量确定跟踪结果。

此外，优选方案是，检测器采用online Boosting检测器，根据online Boosting检测器检测结果对车辆进行检测器的在线训练，

在线训练基于Haar-like特征的在线boosting流程对车辆进行训练；以及，

选择训练正样本集和训练负样本集作为在线训练的训练样本集；其中，

训练正样本集由训练正样本构成，训练正样本为所述当前图像帧检测器识别为正确的结果中与当前图像帧融合结果重叠度较大的样本；

训练负样本集由训练负样本构成，训练负样本为所述当前图像帧检测器识别为正确的结果中与所述当前图像帧融合结果重叠度较小的样本。

此外，优选方案是，在对车辆进行检测的过程中，检测器采用Haar-like特征，并且通过在线学习车辆的新特征，对检测器进行在线模型的更新；其中，

利用online Boosting检测器对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定车辆检测区域内的初始检测结果，并对当前图像帧中的车辆区域附近产生的多个初始检测结果进行聚类分析，确定车辆检测区域内的优化检测结果。

另一方面，本发明还提供的基于视频的车辆检测跟踪系统，包括：

视频输入单元，用于输入包含车辆的视频；

检测单元，包括窗口遍历单元和后处理单元，其中，所述窗口遍历单元利用onlineBoosting检测器基于Haar-like特征对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定车辆检测区域内的初始检测结果；所述后处理单元对车辆检测区域附近产生的多个初始检测结果进行聚类分析，确定车辆检测区域内的优化检测结果，并根据车辆优化检测结果建立车辆的在线模型单元；车辆的在线模型单元包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集；

跟踪单元，用于利用LK光流法对车辆进行光流估计，并对光流估计结果进行初次过滤，利用聚类策略对初次过滤结果进行二次过滤，以消除光流估计的结果中的孤立点，确定跟踪结果；

检测跟踪融合单元，用于利用车辆的在线模型单元分别对跟踪结果和检测结果进行置信度计算，通过置信度计算结果及跟踪结果和检测结果相互融合，确定最终的检测跟踪结果，将最终的检测跟踪结果输入到跟踪结果输出单元；

在线学习单元，包括在检测器的在线训练单元和在线模型单元，用于根据最终的检测跟踪结果对车辆进行检测器的在线训练单元和在线模型单元的更新。

从上面的技术方案可知，本发明提供的基于视频的车辆检测跟踪方法和系统，能取得如下有益效果：

1)通过采用跟踪和Online Boosting检测相结合的机制，能够有效地解决跟踪过程中车辆的形变以及其它物体的遮挡问题；

2)通过跟踪过程中的在线学习获取车辆最新的外观特征，从而能够及时完善跟踪结果，达到最佳的跟踪状态；

3)特征点聚类方法能够提高跟踪过程中跟踪结果的准确性和有效性；

4)在线模型中增加虚拟旋转样本，能够提高车辆遮挡消失后再找回的准确率。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于视频的车辆检测跟踪方法流程图；

图2为根据本发明实施例的基于视频的车辆跟踪过程流程图；

图3为根据本发明实施例的车辆运行轨迹图；

图4-1为根据本发明实施例的车辆第n帧产生的正样本图；

图4-2为根据本发明实施例的车辆第n帧产生左转虚拟样本图；

图4-3为根据本发明实施例的车辆第n帧产生右转虚拟样本图；

图5为根据本发明实施例的基于视频的车辆检测跟踪系统框图；

图6为根据本发明实施例的基于视频的车辆跟踪单元框图；

图7为Tracking-Learning-Detection论文中的车辆跟踪流程图；

图8为根据本发明实施例的虚拟样本生成流程图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

以下将结合附图对本发明的具体实施例进行详细描述。

图1为根据本发明实施例的基于视频的车辆检测跟踪方法流程图，如图1所示，本发明提供的基于视频的车辆检测跟踪方法，采用跟踪和检测相结合的机制，并通过在线学习建立车辆的正样本，同时将在线学习的结果反作用于跟踪和检测，最终的车辆有定位由跟踪和检测协同决定。本发明的基于视频的车辆检测跟踪方法，包括：

S110：输入包含车辆的视频；

S120：对视频中的车辆利用检测器进行检测，获得车辆检测结果，并根据车辆首次检测结果建立车辆的在线模型；车辆的在线模型包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集；

S130：对视频中的所述车辆进行跟踪，用LK(Lucas Kanade)光流法对车辆光流估计获得车辆跟踪结果；

S140：利用车辆的在线模型分别对同一帧的跟踪结果和检测结果进行置信度计算，通过置信度计算结果及跟踪结果和检测结果相互融合，获得最终的检测跟踪结果；

S150：利用最终的检测跟踪结果通过在线学习更新车辆的在线模型及检测器；

S160：输出最终获得的检测跟踪结果。

在上述基于视频的车辆检测跟踪方法的步骤S120中，在检测过程中，包括窗口遍历过程和后处理过程，在窗口遍历过程利用online Boosting检测器基于Haar-like特征对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定车辆检测区域内的初始检测结果；在后处理过程对车辆检测区域附近产生的多个初始检测结果进行聚类分析，确定车辆检测区域内的优化检测结果，并根据车辆优化检测结果建立车辆的在线模型。

其中，车辆的在线模型包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集。

在线负样本集由在线负样本构成，在线负样本为远离车辆区域的误识别样本。真实样本集由真实样本构成，真实样本为检测跟踪融合结果的样本。左转虚拟样本集由左转虚拟样本构成，左转虚拟样本为真实样本经虚拟左旋转获得。右转虚拟样本集由右转虚拟样本构成，右转虚拟样本为真实样本经虚拟右旋转获得。

车辆检测的方法有很多种，经典的基于模板匹配的检测方法耗时较大，且匹配效果不佳；传统的基于机器学习的方法有多种分支，包括：Bayes网络分类器，决策树算法，聚类算法，SVM(支持向量机)算法等。这些车辆检测方法大多数都采用离线训练的方法，缺点是离线训练的样本有限，不能包含目标在真实场景中的最新形态，会导致检测器的鲁棒性不高。

本发明采用Online Boosting检测器对车辆进行检测，检测器采用Haar-like特征，这种方法简单有效且鲁棒性能高，而且通过在线学习获得车辆最新的特征，同时将检测器进行在线模型的更新，以达到更好的检测效果。

在上述基于视频的车辆检测跟踪方法的步骤S130中，图2为根据本发明实施例的基于视频的车辆跟踪过程流程图，如图2所示，跟踪过程包括：

S131：对待跟踪车辆区域进行初始化，以当前图像帧作为N帧图像分配其中的特征点；

S132：利用LK光流跟踪法在第N+1帧图像中进行光流估计；

S133：利用F-B Error对光流估计的结果进行初次过滤；

S134：利用聚类策略对初次过滤结果进行二次过滤，以消除光流估计的结果中的孤立点；

由于在步骤S132的光流估计过程中，会出现异常点，这些异常点的光流方向或者大小与主体点的运动趋势明显不一致；如果这些异常点参与到接下来的偏移量和缩放量的计算，很可能会导致误差的增加，因此要将这些孤立点区分出来。对此，在本步骤S134中引入了聚类策略，聚类是指通过对区域内的特征点的速度方向、大小进行统计，从而生成若干个分布组群，进而可以将那些与主体运动不一致的点(孤立点)过滤掉。

S135：根据二次过滤的结果确定待跟踪车辆区域的偏移量与缩放量；

S136：根据偏移量和缩放量确定跟踪结果。

从上述视频的车辆跟踪过程流程中，可以看出特征点和聚类策略能够提高跟踪过程中跟踪结果的准确性和有效性。

在上述基于视频的车辆检测跟踪方法步骤S150中，在线学习包括检测器的在线训练和在线模型的更新。

检测器采用online Boosting检测器，根据online Boosting检测器检测结果对车辆进行检测器的在线训练，在线训练基于Haar-like特征的在线boosting流程对车辆进行训练。。

Haar-like特征的优势为应用简单有效，并且在其他检测中已经得到了成功的应用，如Haar-like特征的AdaBoost算法在人脸检测中已经得到了成功的应用。

车辆在行驶的过程中，常常由于远离相机和车辆转弯等原因而发生尺度及形状变化，会大大影响跟踪的准确性和稳定性。因此需要在跟踪的同时对车辆进行不断地在线学习，以获取车辆最新的外观特征，将检测器进行不断的更新，从而及时完善跟踪，以达到最佳的状态。

在本发明的实施例中，选择训练正样本集和训练负样本集作为在线训练的训练样本集。

训练正样本集由训练正样本构成，训练正样本为当前图像帧检测器识别正确的结果中与当前图像帧的融合结果的重叠度较大的样本。为了增加训练样本的复杂度，提高检测器的鲁棒性，分别采用图像平移、加噪、旋转及尺度变化的方式对正样本进行处理，并将结果加入到正样本中进行训练。

训练负样本集由训练负样本构成，训练负样本为当前图像帧检测器识别为正确的结果中与当前图像帧融合结果重叠度较小的样本。

在线模型包括在线模型的车辆的在线正样本集和在线负样本集。在线正样本集包括车辆的在线真实样本集、车辆当前状态下的在线左转虚拟样本集和车辆当前状态下的在线右转虚拟样本集，左转虚拟样本集由左转虚拟样本构成，左转虚拟样本为真实样本经虚拟左旋转获得；右转虚拟样本集由右转虚拟样本构成，右转虚拟样本为真实样本经虚拟右旋转获得；并且左转虚拟样本和右转虚拟样本通过采用线性物体类重建虚拟纹理的方法产生。

在本发明的实施例中，在线模型记录了车辆出现至今所呈现的所有姿态以及车辆所处的周围的环境的变化情况，即包括正样本和负样本。在实际的跟踪过程中，每一帧只能得到车辆的一张真实正样本(即：检测跟踪融合结果的样本)和若干张代表附近环境的负样本(远离车辆区域的误识别样本)。当车辆发生遮挡后再出现时，很可能已经过了很长时间，此时车辆可能已经发生了很大的形变，即呈现出其他的姿态。如果姿态变化过大，待测样本与在线模型中的模板样本(正样本)之间匹配的一致性将降低，从而导致验证失败，即车辆无法再找回。

针对上述情况，通过对交叉路口的车辆行驶轨迹的分析，图4为根据本发明实施例的车辆运行轨迹图；如图4所示，本发明的实施例中在在线模型中除添加车辆的真实正样本①外，还加入了车辆在当前状态下的几种虚拟形变结果，左转虚拟样本②和右转虚拟样本③；如图4-1、图4-2和图4-3所示，图4-1、图4-2和图4-3分别为根据本发明实施例的车辆第n帧产生正样本图、左转虚拟样本图和右转虚拟样本图。

单一样本图像合成多个虚拟图像的方法很多，图8为根据本发明实施例的虚拟样本生成流程图，如图8所示，以生成右转30°虚拟样本为例：

(1)利用光流计算模板样本和转弯后的模板样本之间的变化向量：

其中，i_p为在当前行驶状态下的模板样本；

i_p,r为模板样本右转转弯行驶到30°的样本。

(2)计算车辆真实样本与模板样本之间的变化向量：

其中，i_n为车辆真实样本，即待旋转样本。

(3)根据步骤(1)和(2)的结果，计算出车辆真实样本到车辆右转虚拟样本之间的变化向量：

车辆真实样本的上的点经过变化向量的映射即得到车辆右转虚拟样本i_n,r。

从步骤S150中得知，在线模型中增加虚拟样本，能够提高车辆遮挡消失后再找回的准确率，并解决车辆跟踪过程中发生的形变，其它物体的遮挡以及遮挡后车辆由于转弯等发生形变的问题。

在上述基于视频的车辆检测跟踪方法步骤S140中，为了提高车辆判别的准确性，利用车辆的在线模型分别对跟踪结果和优化检测结果进行置信度计算。

样本置信度计算公式如下：

dP，dN分别表示待评估样本与在线模型中正负样本集的相似度最大值，样本相似程度采用归一化互相关(NCC)系数度量；

其中，conf(x_i)值越大，样本越像车辆，反之就越接近背景。

在步骤S140中，通过融合策略对置信度计算结果及跟踪结果和检测结果进行优化，确定对车辆的跟踪结果，其中，在确定对车辆的跟踪结果之后，还包括：根据跟踪结果更新检测器器和在线模型。

如果conf(x^T)＞T_thr，则当前跟踪成功，否则当前跟踪失败；

如果conf(x^D)＞D_thr，则当前检测结果有效，否则当前检测结果无效。

其中，公式中T_thr和D_thr分别表示跟踪置信度的阈值和检测置信度的阈值。

如果当前跟踪失败，当前检测有效，则输出当前检测结果为当前图像帧融合结果，并更新下一帧的跟踪初始框。

如果当前跟踪失败，当前检测无效，则视为车辆在当前图像帧中不可见。

如果当前跟踪成功，当前检测无效，则输出跟踪结果为所述当前图像帧的融合结果，同时启动在线学习。

如果当前跟踪成功，当前检测有效，则输出检测和跟踪样本置信度最高的结果为当前图像帧的融合结果，同时启动在线学习。

与上述基于视频的车辆检测跟踪方法相对应，本发明还提供一种基于视频的车辆检测跟踪系统。图5为根据本发明实施例的基于视频的车辆检测跟踪系统框图。

如图5所示，本发明还提供一种基于视频的车辆检测跟踪系统包括

视频输入单元510，用于输入包含车辆的视频。

检测单元530，包括窗口遍历单元531和后处理单元532；窗口遍历单元531利用online Boosting检测器基于Haar-like特征对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定车辆检测区域内的初始检测结果；后处理单元532对车辆检测区域附近产生的多个初始检测结果进行聚类分析，确定车辆检测区域内的优化检测结果，并根据车辆优化检测结果建立车辆的在线模型单元552；车辆的在线模型单元包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集。

跟踪单元520用于利用LK光流法对车辆进行光流估计，并对光流估计结果进行初次过滤，利用聚类策略对初次过滤结果进行二次过滤，以消除光流估计的结果中的孤立点，确定跟踪结果。

检测跟踪融合单元540，用于利用车辆的在线模型单元552分别对跟踪结果和检测结果进行置信度计算，通过置信度计算结果及跟踪结果和检测结果相互融合，确定最终的检测跟踪结果，将最终的检测跟踪结果输入到跟踪结果输出单元；

在线学习单元550包括检测器的在线训练单元551和在线模型单元552，用于根据最终的检测跟踪结果对车辆进行检测器的在线训练和在线模型单元的更新。

在跟踪结果输出单元560输出确定最终的检测跟踪结果。

其中，图6为根据本发明实施例的基于视频的车辆跟踪单元框图，如图6所示，跟踪单元520进一步包括：

初始化单元521，用于对待跟踪车辆区域进行初始化，以当前图像帧作为N帧图像分配其中的特征点；

光流估计单元522，用于利用LK光流跟踪法在第N+1帧图像中进行光流估计；

初次过滤单元523，用于根据F-B Error对光流估计的结果进行初次过滤；

聚光策略单元524，用于利用聚类策略对初次过滤结果进行二次过滤，以消除光流估计的结果中的孤立点；

由于在光流估计过程中，会出现异常点，这些异常点的光流方向或者大小与主体点的运动趋势明显不一致；如果这些异常点参与到接下来的偏移量和缩放量的计算，很可能会导致误差的增加，因此要将这些孤立点区分出来。对此，在本发明实施例中引入了聚类方法，聚类是指通过对区域内的特征点的速度方向、大小进行统计，从而生成若干个分布组群，进而可以将那些与主体运动不一致的点(孤立点)过滤掉。

偏移量与缩放量确定单元525，用于根据二次过滤单元中的结果确定待跟踪车辆区域的偏移量与缩放量；

跟踪结果单元526，用于输出最后的跟踪结果。

从上述视频的车辆跟踪单元520中，可以看出特征点和聚类策略能够提高跟踪过程中跟踪结果的准确性和有效性。

其中，检测单元530包括窗口遍历单元531和后处理单元532，窗口遍历单元531采用Online Boosting检测器对车辆进行检测，检测器采用的是Haar-like特征，这种检测方法简单有效且鲁棒性能高，建立车辆的在线模型单元，车辆的在线模型单元包括在线正样本集和在线负样本集，在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集。

在线负样本集由在线负样本构成，在线负样本为远离车辆区域的误识别样本；真实样本集由真实样本构成，所述真实样本为检测跟踪融合结果的样本；左转虚拟样本集由左转虚拟样本构成，左转虚拟样本为真实样本经虚拟左旋转获得；右转虚拟样本集由右转虚拟样本构成，右转虚拟样本为真实样本经虚拟右旋转获得。通过在线学习单元获得车辆最新的特征，并且将检测器进行在线更新，能够达到更好的检测效果。

其中，在线学习单元550进一步包括检测器的在线训练单元551和在线模型单元552；检测器的在线训练单元551中，基于Haar-like特征采用在线boosting流程对车辆进行在线训练。

Haar-like特征的优势为应用简单有效，并且在其他检测中已经得到了成功的应用。

车辆在行驶的过程中，常常由于远离相机和车辆转弯等原因而发生尺度及形状变化，会大大影响跟踪的准确性和稳定性。因此需要在跟踪的同时对车辆进行不断地在线学习，以获取车辆最新的外观特征，从而及时完善跟踪，以达到最佳的状态。

在本发明的实施例中，在线学习单元550的检测器的在线训练单元551选择训练正样本集和训练负样本集作为在线训练的训练样本集如下：

训练正样本集由训练正样本构成，训练正样本为当前图像帧检测器识别正确的结果中与当前图像帧融合结果重叠度较大的样本。

为了增加训练样本的复杂度，提高分类器的鲁棒性，分别采用图像平移、加噪、旋转及尺度变化的方式对正样本进行处理，并将结果加入到正样本中进行训练。

训练负样本集由训练负样本构成，训练负样本为当前图像帧检测器识别为正确的结果中与当前图像帧融合结果的重叠度较小的样本。

在线模型单元552包括在线正样本集和在线负样本集。车辆的在线正样本集包括车辆的在线真实样本集、车辆当前状态下的在线左转虚拟样本集和车辆当前状态下的在线右转虚拟样本集。左转虚拟样本集由左转虚拟样本构成，左转虚拟样本为真实样本经虚拟左旋转获得；右转虚拟样本集由右转虚拟样本构成，右转虚拟样本为真实样本经虚拟右旋转获得；左转虚拟样本和右转虚拟样本通过采用线性物体类重建虚拟纹理的方法产生的。

在本发明的实施例中，在线模型单元552记录了车辆出现至今所呈现的所有姿态以及车辆所处的周围的环境的变化情况，即包括正样本和负样本。在实际的跟踪过程中，每一帧只能得到车辆的一张真实正样本(即检测跟踪融合的样本)和若干张代表附近环境的负样本(远离车辆区域的误识别样本)。当车辆发生遮挡后再出现时，很可能已经过了很长时间，此时车辆可能已经发生了很大的形变，即呈现出其他的姿态。如果姿态变化过大，待测样本与在线模型单元552中的正样本之间匹配的一致性将降低，从而导致验证失败，即车辆无法再找回。

针对上述情况，通过对交叉路口的车辆行驶轨迹的分析，在根据聚类分析的结果对车辆进行在线模型单元552更新的过程中，在线模型单元中添加真实样本和虚拟样本。即在在线模型单元552中除添加车辆的真实样本外，还加入了车辆在当前状态下的几种虚拟形变结果，左转虚拟样本和右转虚拟样本。单一样本图像合成多个虚拟图像的方法很多，本文采用经典的线性物体类重建虚拟纹理的方法产生左转、右转的虚拟样本。

通过在线学习单元550，在线模型单元552中增加虚拟样本，能够提高车辆遮挡消失后再找回的准确率，并解决车辆跟踪过程中发生的形变，其它物体的遮挡以及遮挡后车辆由于转弯等发生形变的问题。

为了提高车辆判别的准确性，在线模型单元552分别对检测结果和跟踪结果分别进行置信度计算，样本置信度计算公式如下：

dP，dN分别表示待评估样本与在线模型中正负样本集的相似度最大值，样本相似程度采用归一化互相关(NCC)系数度量。

其中，conf(x_i)值越大，样本越像车辆，反之就越接近背景。

在置信度计算结果及跟踪结果和检测结果相互融合的过程中，

如果conf(x^T)＞T_thr，则当前跟踪成功，否则当前跟踪失败；

如果conf(x^D)＞D_thr，则当前检测结果有效，否则当前检测结果无效；

其中，公式中T_thr和D_thr分别表示跟踪置信度的阈值和检测置信度的阈值。

如果当前跟踪失败，当前检测有效，则输出当前检测结果为当前图像帧融合结果，并更新下一帧的跟踪初始框；

如果当前跟踪失败，当前检测无效，则视为车辆在当前图像帧中不可见；

如果当前跟踪成功，当前检测无效，则输出跟踪结果为当前图像帧的融合结果，同时启动在线学习单元550；

如果当前跟踪成功，当前检测有效，则输出所述检测和跟踪样本置信度最高的结果为所述当前图像帧的融合结果，同时启动在线学习单元550。

检测跟踪融合单元540利用融合方法使检测和跟踪的缺点进行相互弥补，能够有效地解决跟踪过程中车辆的形变以及其它物体的遮挡问题。

通过上述实施方式可以看出，本发明提供的基于视频的车辆检测跟踪方法和系统提出了一种Online Boosting检测和跟踪的方法相结合的策略，通过对锁定的跟踪车辆进行不断地学习，获取车辆最新的外观特征，并及时地更新及时的更新检测器和在线模型，从而完善跟踪，同时利用融合策略使检测、跟踪的缺点进行相互弥补，能够有效地解决跟踪过程中车辆的形变以及其它物体的遮挡问题。并且，本发明提出的改进光流法能够提高跟踪结果的准确性和有效性；同时，在跟踪过程中提出的在线模型中增加虚拟样本的方法，可以有效地提高车辆被遮挡消失后再出现情况下的跟踪有效率。

如上参照附图以示例的方式描述了根据本发明提出的基于视频的车辆检测跟踪方法和系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于视频的车辆检测跟踪方法和系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (11)

1.一种基于视频的车辆检测跟踪方法，包括：

输入包含车辆的视频；

对视频中的所述车辆利用检测器进行检测，获得车辆检测结果，并根据所述车辆首次检测结果建立车辆的在线模型，所述车辆的在线模型包括在线正样本集和在线负样本集，所述在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集，所述在线负样本集由在线负样本构成，所述在线负样本为远离车辆区域的误识别样本；所述真实样本集由真实样本构成，所述真实样本为检测跟踪融合结果的样本；所述左转虚拟样本集由左转虚拟样本构成，所述左转虚拟样本为真实样本经虚拟左旋转获得；所述右转虚拟样本集由右转虚拟样本构成，所述右转虚拟样本为真实样本经虚拟右旋转获得；

对视频中的所述车辆进行跟踪，用LK光流法对所述车辆进行光流估计，获得所述车辆跟踪结果；其中，利用聚类策略对初次过滤结果进行二次过滤，所述初次过滤结果为对所述车辆的帧图像光流估计的结果进行初次过滤得到的结果；

利用所述车辆的在线模型分别对同一帧的所述跟踪结果和所述检测结果进行置信度计算，通过所述置信度计算结果及所述跟踪结果和所述检测结果相互融合，获得最终的检测跟踪结果；

利用所述最终的检测跟踪结果通过在线学习更新所述车辆的在线模型及所述检测器。

2.如权利要求1所述的基于视频的车辆检测跟踪方法，其中，

在利用所述车辆的在线模型分别对所述跟踪结果和检测结果进行置信度计算的过程中，

样本置信度计算公式如下：

$conf\left(x_i\right)=\frac{dP\left(x_i\right)}{dP\left(x_i\right)+dN\left(x_i\right)},$

dP，dN分别表示待评估样本与在线模型中正负样本集的相似度最大值，样本相似程度采用归一化互相关(NCC)系数度量；

$dP\left(x_i\right)={\max }_{x_j\∈M^{+}}\left\{NCC(x_i,x_j)\right\}$

$dN\left(x_i\right)={\max }_{x_k\∈M^{-}}\left\{NCC(x_i,x_k)\right\}$

其中，conf(x_i)值越大，样本越像所述车辆，反之就越接近背景。

3.如权利要求2所述的基于视频的车辆检测跟踪方法，其中，

在所述置信度计算结果及所述跟踪结果和所述检测结果相互融合的过程中，

如果conf(x^T)＞T_thr，则当前跟踪成功，否则当前跟踪失败；

如果conf(x^D)＞D_thr，则当前检测结果有效，否则当前检测结果无效；

其中，公式中T_thr和D_thr分别表示跟踪置信度的阈值和检测置信度的阈值，

如果当前跟踪失败，当前检测有效，则输出当前检测结果为当前图像帧融合结果，并更新下一帧的跟踪初始框；

如果当前跟踪失败，当前检测无效，则视为车辆在所述当前图像帧中不可见；

如果当前跟踪成功，当前检测无效，则输出所述跟踪结果为所述当前图像帧的融合结果，同时启动所述在线学习；

如果当前跟踪成功，当前检测有效，则输出所述检测和跟踪样本置信度最高的结果为所述当前图像帧的融合结果，同时启动所述在线学习。

4.如权利要求1所述的基于视频的车辆检测跟踪方法，其中，

所述车辆跟踪过程包括：

对待跟踪车辆区域进行初始化，以当前图像帧作为N帧图像分配其中的特征点；

利用LK光流跟踪法在第N+1帧图像中进行光流估计；

利用F-B Error对所述光流估计的结果进行初次过滤；

利用聚类策略对所述初次过滤结果进行二次过滤，以消除所述光流估计的结果中的孤立点；

根据所述二次过滤的结果确定待跟踪车辆区域的偏移量与缩放量；

根据所述偏移量和缩放量确定跟踪结果。

5.如权利要求1所述的基于视频的车辆检测跟踪方法，其中，

所述检测器采用online Boosting检测器，根据所述online Boosting检测器检测结果对所述车辆进行检测器的在线训练，

所述在线训练基于Haar-like特征的在线boosting流程对所述车辆进行训练；以及，

选择训练正样本集和训练负样本集作为在线训练的训练样本集；其中，

所述训练正样本集由训练正样本构成，所述训练正样本为当前图像帧检测器识别为正确的结果中与所述当前图像帧融合结果重叠度较大的样本；所述训练负样本集由训练负样本构成，所述训练负样本为所述当前图像帧检测器识别为正确的结果中与所述当前图像帧融合结果重叠度较小的样本。

6.如权利要求5所述的基于视频的车辆检测跟踪方法，其中，

在对所述车辆进行检测的过程中，利用所述online Boosting检测器对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定车辆检测区域内的初始检测结果，并对当前图像帧中的所述车辆区域附近产生的多个初始检测结果进行聚类分析，确定车辆检测区域内的优化检测结果。

7.一种基于视频的车辆检测跟踪系统，包括：

视频输入单元，用于输入包含车辆的视频；

检测单元，包括窗口遍历单元和后处理单元；其中，

所述窗口遍历单元利用online Boosting检测器基于Haar-like特征对车辆检测区域内所有适合车辆尺寸的子窗口的视频输入进行分类，以确定所述车辆检测区域内的初始检测结果；

所述后处理单元对所述车辆检测区域附近产生的多个初始检测结果进行聚类分析，确定所述车辆检测区域内的优化检测结果，并根据所述车辆优化检测结果建立车辆的在线模型单元；所述车辆的在线模型单元包括在线正样本集和在线负样本集，所述在线正样本集包括真实样本集、左转虚拟样本集、右转虚拟样本集，所述在线负样本集由在线负样本构成，所述在线负样本为远离车辆区域的误识别样本；所述真实样本集由真实样本构成，所述真实样本为检测跟踪融合结果的样本；所述左转虚拟样本集由左转虚拟样本构成，所述左转虚拟样本为真实样本经虚拟左旋转获得；所述右转虚拟样本集由右转虚拟样本构成，所述右转虚拟样本为真实样本经虚拟右旋转获得；

跟踪单元中，用于利用LK光流法对所述车辆进行光流估计，并对所述光流估计结果进行初次过滤，利用聚类策略对所述初次过滤结果进行二次过滤，以消除所述光流估计的结果中的孤立点，确定跟踪结果；

检测跟踪融合单元，用于利用所述车辆的在线模型单元分别对所述跟踪结果和所述检测结果进行置信度计算，通过所述置信度计算结果及所述跟踪结果和所述检测结果相互融合，确定最终的检测跟踪结果，将所述最终的检测跟踪结果输入到所述跟踪结果输出单元；

在线学习单元，包括检测器的在线训练单元和在线模型单元，用于根据所述最终的检测跟踪结果对所述车辆进行检测器的在线训练单元和在线模型单元的更新。

8.如权利要求7所述的基于视频的车辆检测跟踪系统，其中，

在利用所述车辆的在线模型单元分别对所述跟踪结果和检测结果进行置信度计算的过程中，

样本置信度计算公式如下：

$conf\left(x_i\right)=\frac{dP\left(x_i\right)}{dP\left(x_i\right)+dN\left(x_i\right)},$

dP，dN分别表示待评估样本与在线模型中正负样本集的相似度最大值，样本相似程度采用归一化互相关(NCC)系数度量；

$dP\left(x_i\right)={\max }_{x_j\∈M^{+}}\left\{NCC(x_i,x_j)\right\}$

$dN\left(x_i\right)={\max }_{x_k\∈M^{-}}\left\{NCC(x_i,x_k)\right\}$

其中，conf(x_i)值越大，样本越像车辆，反之就越接近背景。

9.如权利要求7所述的基于视频的车辆检测跟踪系统，其中，

在所述检测跟踪融合单元中，所述置信度计算结果及所述跟踪结果和所述检测结果相互融合，

如果conf(x^T)＞T_thr，则当前跟踪成功，否则当前跟踪失败；

如果conf(x^D)＞D_thr，则当前检测结果有效，否则当前检测结果无效；

其中，公式中T_thr和D_thr分别表示跟踪置信度的阈值和检测置信度的阈值；

如果当前跟踪失败，当前检测有效，则输出当前检测结果为当前图像帧融合结果，并更新下一帧的跟踪初始框；

如果当前跟踪失败，当前检测无效，则视为车辆在所述当前图像帧中不可见；

如果当前跟踪成功，当前检测无效，则输出所述跟踪结果为当前图像帧的融合结果，同时启动所述在线学习单元；

如果当前跟踪成功，当前检测有效，则输出所述检测和跟踪样本置信度最高的结果为所述当前图像帧的融合结果，同时启动所述在线学习单元。

10.如权利要求7所述的基于视频的车辆检测跟踪系统，其中，所述跟踪单元进一步包括：

初始化单元，用于对待跟踪车辆区域进行初始化，以当前图像帧作为N帧图像分配其中的特征点；

光流估计单元，用于利用LK光流跟踪法在第N+1帧图像中进行光流估计；

初次过滤单元，用于根据F-B Error对所述光流估计的结果进行初次过滤；

聚类策略单元，用于利用聚类策略对所述初次过滤结果进行二次过滤，以消除所述光流估计的结果中的孤立点；

偏移量与缩放量确定单元，用于根据所述二次过滤的结果确定待跟踪车辆区域的偏移量与缩放量；

跟踪单元，用于根据所述偏移量和缩放量确定跟踪结果。

11.如权利要求7所述的基于视频的车辆检测跟踪系统，其中，

所述检测器的在线训练单元基于Haar-like特征的在线boosting流程对所述车辆进行在线学习；以及，

选择训练正样本集和训练负样本集作为在线训练的训练样本集；其中，

所述训练正样本集由训练正样本构成，所述训练正样本为当前图像帧检测器识别为正确的结果中与所述当前图像帧融合结果重叠度较大的样本；

所述训练负样本集由训练负样本构成，所述训练负样本为所述当前图像帧检测器识别为正确的结果中与所述当前图像帧融合结果重叠度较小的样本。