CN108932728A - 基于视觉监控的跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视觉监控的跟踪方法，其特征是，尺度更新模型建立包括如下步骤：采集交通视频数据；建立尺度的线性模型；利用最小二成法进行数据拟合，求取该线型模型的系数；估计目标中心坐标；求取尺度变化，更新跟踪框大小；所述跟踪框中心位置估计包括如下步骤：在某一帧中，选取距离跟踪框中心点最近的前m个点；建立这m个点与跟踪框中心点的距离关系；根据尺度模型建立下一帧中点到跟踪框中心点的距离关系；估计跟踪框中心点位置，得到跟踪框中心点位置的m个估计；对m个估计值再进行平均，得到下一帧跟踪框中心点的最终位置。优点：提高了跟踪框适应跟踪目标尺度变化的能力；保证跟踪矩形框更好地贴合目标，从而保证跟踪的准确性。

Description

基于视觉监控的跟踪方法

技术领域

本发明涉及一种基于视觉监控的跟踪方法，属于智能交通技术领域。

背景技术

随着我国经济的高速发展，我国汽车数量日益增多，但随之而来的交通问题也日益增多。交通事故、交通拥堵、尾气排放造成的环境污染等问题愈发明显，其中交通事故对人民生命财产安全危害最大，主要原因在于首先是国内混合型的交通现状，路面环境复杂；其次国内驾驶员的交通安全意识普遍薄弱，很多人不严格遵守交通规则；通过智能交通系统可以有效地规范司机行为，增强驾驶员的交通安全意识，缓解交通拥堵的问题，同时对交通事故的减少有着极大的促进作用。

在智能交通系统中，依托视觉监控的智能系统因其便利性、有效性、使用寿命长等特点被广泛应用。基于视觉的智能交通系统，是指通过计算机视觉方法对相机获得的图像序列进行自动分析，自动识别及理解等步骤，从而达到对路面情况进行自动监管的效果。在大范围路面监管系统中，我们对车辆或行人等进行跟踪，通过运动目标跟踪技术可以更准确地解读车辆或行人的行为，从而为后续的车辆或行人的行为判断提供基础。在对目标进行跟踪时，我们利用矩形框对其进行标记。但因为图像存在从三维到二维的成像变换，即目标在图像中会发生尺度变化和中心位置移动，所以如何改变矩形框的尺度和中心位置，实现目标的完美跟踪是一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种,解决了现有技术的跟踪框尺度变化不准确和偏移目标中心位置的问题，实现目标的完美追踪。

为解决上述技术问题，本发明提供一种基于视觉监控的跟踪方法，其特征是，包括尺度模型建立和跟踪框中心位置估计两部分；

所述尺度模型建立包括如下步骤：

步骤1-1：采集交通视频数据；

步骤1-2：建立尺度的线性模型；

步骤1-3：利用最小二成法进行数据拟合，求取该线型模型的系数。

步骤1-4：估计目标中心坐标；

步骤1-5：求取尺度变化，更新跟踪框大小；

所述跟踪框中心位置估计包括如下步骤：

步骤2-1：在某一帧中，选取距离跟踪框中心点最近的前m个点；

步骤2-2：建立这m个点与跟踪框中心点的距离关系；

步骤2-3：根据尺度模型建立下一帧中点到跟踪框中心点的距离关系；

步骤2-4：估计跟踪框中心点位置，得到跟踪框中心点位置的m个估计；

步骤2-5：对m个估计值再进行平均，得到下一帧跟踪框中心点的最终位置。

进一步的，所述步骤1-2和1-3：在任意一帧图像上建立x-y坐标系，坐标原点为图像的左上角，x轴为图像的长，y轴为图像的宽，统计y值下两条车道线之间所占的像素点个数n，结合道路两条车道线之间的实际宽度数据w，建立尺度随y的线性模型k＝ay+b，其中k＝n/w，即为变换系数大小，其中a和b为该线型模型的系数；

求解系数a、b：建立代价函数，使代价函数损失最小，如下式所示：

其中k_i表示不同y值对应的实际变换系数，i代表数据采样的次数，最小化拟合误差，求取拟合直线参数，得到最佳拟合直线。(原式为k＝ay+b，有ay+b-k＝0，因为采样数据分布在拟合直线附近，即ay_i+b-k_i≈0，等号不是完全成立，所以采用最优化方法，即最小化拟合误差，求取拟合直线参数，得到最佳拟合直线)。

进一步的，所述步骤1-4和1-5：视频序列中相邻两帧图像t帧与t+1帧，统计获得N_t、N_t+1个特征点，所述特征点是指图像中具有鲜明特性并能够有效反映图像本质特征、能够标识图像中目标物体的点，通过统计第t帧中N_t个点的y 值，求得均值作为该帧跟踪目标中心y值的估计；同理，得到第t+1帧跟踪目标中心y值估计

利用之前的线性模型估计N_t、N_t+1帧图像的尺度，求取出尺度缩放系数，

利用尺度缩放系数和上一帧跟踪框的长和宽，更新出当前帧跟踪框的长和宽，其中第t帧中，跟踪框的宽为w_t、高为h_t，第t+1帧中，跟踪框的宽为w_t+1、高为h_t+1。

进一步的，所述步骤2-1：在第t帧中，通过度量各特征点(所述特征点是指图像中具有鲜明特性并能够有效反映图像本质特征、能够标识图像中目标物体的点)到矩形框中心点的欧式距离，选取距离跟踪框中心点最近的前m个点，这些点的运动状态最接近跟踪框中心点，作为之后估计t+1帧中跟踪框中心点的主要判断依据。

进一步的，所述步骤2-2：在第t帧中，建立这m个特征点与跟踪框中心点的距离关系，

建立直角坐标系，这些特征点到跟踪框中心点的x方向距离矩阵与y方向距离矩阵

其中与分别代表第n个特征点的x坐标与y坐标，与分别代表跟踪框中心点的x坐标与y坐标；

对于第t+1帧，能够建立下式中的距离矩阵：

进一步的，根据尺度缩放系数s，得到相邻两帧目标大小的变化规律，第t+1 帧中这m个特征点与跟踪框中心点的距离关系，水平方向距离为竖直方向距离为如下式所示：

对上式进行展开变形，得到t+1帧跟踪框中心点的估计矩阵：

式中矩阵中的每一项代表第t帧中距离中心最近的前m个特征点对t+1 帧跟踪中心点的x坐标估计；则是对t+1帧跟踪中心点的y坐标估计。

进一步的，所述步骤2-5：

将前m个特征点对跟踪中心点的估计均值，作为第t+1帧跟踪中心点的最佳估计：

本发明所达到的有益效果：

(1)针对现有跟踪技术，本发明提出一种最小二乘拟合的跟踪框尺度更新模型，提高了跟踪框适应跟踪目标尺度变化的能力；

(2)针对现有跟踪技术，本发明提出跟踪框中心位置估计模型，解决了跟踪框中心位置偏移跟踪目标的问题，来保证跟踪矩形框更好地贴合目标，从而保证跟踪的准确性。

附图说明

图1是尺度模型建立流程示意图；

图2是跟踪框中心位置估计流程示意图；

图3是变换系数k与y值关系图；

图4是特征点与跟踪框中心点相对位置示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1和2所示，最小二乘拟合的跟踪框尺度更新模型：

在现实世界中，我们知道无论是两条车道线之间的实际距离，还是车辆的实际大小都是固定的，但是因为近大远小问题的存在，两条车道线之间的距离随着距离相机的远近而改变，而车辆的大小也随着车辆位置的改变而改变。

如果对同一场景进行直角坐标系建立，坐标原点为图像的左上角，x轴为图像的长，y轴为图像的宽，我们可以发现随着y值的增大，车辆宽度所占的像素点也随之增加，我们可以用一个函数来描述y与车辆宽度所占像素点n之间的关系，即：

n＝f(y) (1.1)

同时，我们将不同y值相对应的车辆的图像宽度和实际宽度之比定义为变换系数k，即：

k＝n/w (1.2)

其中w表示车辆的实际宽度；n表示车辆宽度所占的像素点数量。

通过合并(1.1)(1.2)，我们可以得到变换系数k与y之间的函数关系：

k＝f(y)/w (1.3)

从(1.3)式中我们可以发现，因为w为一常量(为物体的实际宽度)，所以变换系数k只与位置y有关，利用这个特性，我们可以利用其他参照物来找出变换系数k与y之间的统计规律，比如：实际间隔不变的两条车道线。

本实施例中，实地测量得到两条车道线之间的实际距离为3.38米，图像分辨率为1536*1024。为了阐释变换系数k与y之间的关系，本文在12处不同的y 值下统计两条车道线之间所占的像素点个数，如下表所示：

表1.1不同y值处变换系数对照表

表1.1的数据显示，变换系数通过车道线间所占像素点数与车道线间实际距离之比得到，我们可以粗略地发现随着y坐标的增加，变换系数也随之增加，为了更直观地体现数据之间的关系，我们以y值为横坐标，以变换系数为纵坐标，绘制散点图如图3所示：

由图3我们发现，变换系数k与y值呈现线性关系，我们可以通过一次函数对其进行直线拟合：

k＝ay+b (1.4)

其中a、b为待求解的系数。

为了求解系数a、b，我们可以建立代价函数，使代价函数损失最小，如式(1.5) 所示：

其中k_i表示不同y值对应的实际变换系数，此处n为12，i代表数据采样的次数。

根据表1.1中数据，解得a＝0.0019，b＝0.1631，最终可以得到变换系数k 与y值的函数关系为：

k＝0.0019y+0.1631 (1.6)

我们可以获得跟踪目标上特征点的信息，对视频序列中相邻两帧图像t与t+1 帧，我们分别可以获得N_t、N_t+1个点位置信息。通过统计第t帧中N_t个点的y值，求得均值作为该帧跟踪目标中心y值的估计；同理，得到第t+1帧跟踪目标中心y值估计

将式(1.7)得到的分别代入式(1.6)中，可以分别得到第t帧与第t+1 帧中跟踪目标的变换系数k_t、k_t+1。由式(1.2)可知，变换系数与跟踪目标图像宽度成正比，那么相邻两帧同一目标的尺度缩放系数s可以表示为：

其中n_t表示第t帧中跟踪目标的图像宽度，n_t+1表示第t+1帧中跟踪目标的图像宽度。

对于跟踪目标而言，通常利用最小外接矩形框来定位跟踪目标。假设已知第 t帧中，跟踪框的宽为w_t、高为h_t，那么第t+1帧中，跟踪框的宽与高可以表示为：

本发明提出的跟踪框尺度模型在实际跟踪过程中可以较好地贴近实际目标，随着目标由远及近地运动，跟踪框从小到大线性增加。

在实际跟踪过程中，未加入跟踪框尺度更新模型的矩形跟踪框不会随着跟踪目标位移变化自适应地调整矩形框大小，随着时间的推移将无法提供准确的目标位置等信息；而加入本文的跟踪框尺度模型之后，矩形跟踪框在跟踪目标的过程中随着目标尺寸的改变而改变，可以很好地贴近跟踪物体，从而提供良好的目标尺度与位置信息。

跟踪框中心位置估计模型：

在实际跟踪过程中，不仅需要考虑跟踪框的大小变化，还需要考虑跟踪框中心位置的变化，只有对这两者都进行准确地更新，才能确保跟踪的准确性。在TLD跟踪方法中通过分别统计相邻两帧之间对应特征点的水平位移与竖直位移的中值，作为跟踪框中心点的位置变化。利用TLD的跟踪框中心选取模型，有时会发生明显的跟踪框偏移现象，甚至出现跟踪框跟丢的情况发生，需要重新建立跟踪框中心点的更新模型才能有效地抑制跟踪框的偏移。

针对跟踪框偏移问题，结合尺度缩放系数s，本发明提出了一种跟踪框偏移抑制模型。在跟踪过程中，如图4所示，我们发现所有特征点与跟踪框中心点的相对位置始终是一致的，并且越靠近中心点的特征点，其运动状态越接近中心点。

在第t帧内，先选取距离中心点最近的前m个点，并建立这些特征点到跟踪框中心点的x方向距离矩阵与y方向距离矩阵：

其中与分别代表第m个特征点的x坐标与y坐标，与分别代表跟踪框中心点的x坐标与y坐标。

同样的，对于第t+1帧，我们也可以建立式(1.10)中的距离矩阵：

其中由于特征点与中心点之间相对位置不变，利用目标缩放系数s，可以建立相邻两帧之间距离矩阵的关系：

对式(1.12)进行展开变形，可以得到t+1帧跟踪框中心点的估计矩阵：

式(1.13)中矩阵中的每一项代表第t帧中距离中心最近的前m个特征点对t+1帧跟踪中心点的x坐标估计；则是对t+1帧跟踪中心点的y坐标估计。

接着将前m个特征点对跟踪中心点的估计均值，作为第t+1帧跟踪中心点的最佳估计：

本发明提出的跟踪框更新策略，能更好地预测跟踪框中心点位置，有效地抑制跟踪框偏移情况且适合复杂环境、复杂车况和长时跟踪，提高了跟踪的准确性和实用性。

下面我们利用跟踪精度T_a来描述跟踪过程中跟住目标的程度，具体表示如下：

其中S_t表示目标在跟踪框内的面积大小；S_r表示跟踪框面积大小。

表1.2一般情况下跟踪精度

表1.3遮挡情况下跟踪精度

表1.4起步情况下跟踪精度

表1.5拥堵情况下跟踪精度

表1.2～1.5表示不同路况下的目标跟踪精度，通过对比可以发现，TLD算法的跟踪精度随时间的推移不断地下降，而在路面环境复杂或目标特殊行为的情况下，甚至出现目标丢失的情况；而本发明算法的跟踪精度则相对稳定，即使在复杂路面环境下也能较好地进行目标跟踪。

为了更好地验证本发明算法的有效性，我们通过在不同场景下划定跟踪区域，统计进入该区域的单个目标的跟踪稳定度T_s，并计算出平均跟踪稳定度T_s以此来衡量算法的跟踪稳定性。跟踪稳定度表示如下：

其中N表示进入区域到离开区域之间的帧数，T_a表示某一帧对应的跟踪精度；K 表示跟踪目标总数。

表1.6算法平均跟踪稳定度比较

从表1.6中可以看出，本发明算法通过新的跟踪框更新策，在跟踪稳定性方面提升明显，在四种不同路况下均有不错的稳定表现：平均跟踪稳定度分别提高了19.5％、61.6％、44.9％及21.2％。另外实时性方面本文方法的平均处理速度在30帧/秒，可以满足应用需求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于视觉监控的跟踪方法，其特征是，包括尺度模型建立和跟踪框中心位置估计两部分；

所述尺度模型建立包括如下步骤：

步骤1-1：采集交通视频数据；

步骤1-2：建立尺度的线性模型；

步骤1-3：利用最小二成法进行数据拟合，求取该线型模型的系数。

步骤1-4：估计目标中心坐标；

步骤1-5：求取尺度变化，更新跟踪框大小；

所述跟踪框中心位置估计包括如下步骤：

步骤2-1：在某一帧中，选取距离跟踪框中心点最近的前m个点；

步骤2-2：建立这m个点与跟踪框中心点的距离关系；

步骤2-3：根据尺度模型建立下一帧中点到跟踪框中心点的距离关系；

步骤2-4：估计跟踪框中心点位置，得到跟踪框中心点位置的m个估计；

步骤2-5：对m个估计值再进行平均，得到下一帧跟踪框中心点的最终位置。

2.根据权利要求1所述的基于视觉监控的跟踪方法，其特征是，所述步骤1-2和1-3：在任意一帧图像上建立x-y坐标系，坐标原点为图像的左上角，x轴为图像的长，y轴为图像的宽，统计y值下两条车道线之间所占的像素点个数n，结合道路两条车道线之间的实际宽度数据w，建立尺度随y的线性模型k＝ay+b，其中k＝n/w，即为变换系数大小，其中a和b为该线型模型的系数；

求解系数a、b：建立代价函数，使代价函数损失最小，如下式所示：

其中k_i表示不同y值对应的实际变换系数，i代表数据采样的次数，最小化拟合误差，求取拟合直线参数，得到最佳拟合直线。

3.根据权利要求2所述的基于视觉监控的跟踪方法，其特征是，所述步骤1-4和1-5：视频序列中相邻两帧图像t帧与t+1帧，统计获得N_t、N_t+1个特征点，所述特征点是指图像中具有鲜明特性并能够有效反映图像本质特征、能够标识图像中目标物体的点，通过统计第t帧中N_t个点的y值，求得均值作为该帧跟踪目标中心y值的估计；同理，得到第t+1帧跟踪目标中心y值估计

利用之前的线性模型估计N_t、N_t+1帧图像的尺度，求取出尺度缩放系数，

利用尺度缩放系数和上一帧跟踪框的长和宽，更新出当前帧跟踪框的长和宽，其中第t帧中，跟踪框的宽为w_t、高为h_t，第t+1帧中，跟踪框的宽为w_t+1、高为h_t+1。

4.根据权利要求1所述的基于视觉监控的跟踪方法，其特征是，所述步骤2-1：在第t帧中，通过度量各特征点到矩形框中心点的欧式距离，选取距离跟踪框中心点最近的前m个点，这些点的运动状态最接近跟踪框中心点，作为之后估计t+1帧中跟踪框中心点的主要判断依据，所述特征点是指图像中具有鲜明特性并能够有效反映图像本质特征、能够标识图像中目标物体的点。

5.根据权利要求4所述的基于视觉监控的跟踪方法，其特征是，所述步骤2-2：在第t帧中，建立这m个特征点与跟踪框中心点的距离关系，

建立直角坐标系，这些特征点到跟踪框中心点的x方向距离矩阵与y方向距离矩阵

其中与分别代表第n个特征点的x坐标与y坐标，与分别代表跟踪框中心点的x坐标与y坐标；

对于第t+1帧，能够建立下式中的距离矩阵：

6.根据权利要求3或5所述的基于视觉监控的跟踪方法，其特征是，根据尺度缩放系数s，得到相邻两帧目标大小的变化规律，第t+1帧中这m个特征点与跟踪框中心点的距离关系，水平方向距离为竖直方向距离为如下式所示：

对上式进行展开变形，得到t+1帧跟踪框中心点的估计矩阵：

式中矩阵中的每一项代表第t帧中距离中心最近的前m个特征点对t+1帧跟踪中心点的x坐标估计；则是对t+1帧跟踪中心点的y坐标估计。

7.根据权利要求6所述的基于视觉监控的跟踪方法，其特征是，所述步骤2-5：

将前m个特征点对跟踪中心点的估计均值，作为第t+1帧跟踪中心点的最佳估计：