CN101950426A - 一种多摄像机场景下车辆接力跟踪方法 - Google Patents

Abstract

本发明公开了一种多摄像机场景下车辆接力跟踪方法。该方法利用了多摄像机协同工作，在复杂场景下实现了多个摄像机覆盖域内对车辆进行实时的持续跟踪。首先，对多摄像机获得的交通路面图像应用SIFT特征和RANSAC算法进行图像配准，并用L-M(Levenberg-Marquardt)算法优化RANSAC的变换矩阵，形成路面的全景图像；其次，提出一个基于Camshift算法和运动预测器的分层车辆跟踪方法，解决车辆交叠、部分遮挡和实时跟踪的问题；最后，提出基于交叠区域边界的多摄像机目标交接方法，当算法检测到目标进入两摄像机交叠区域时触发下一个摄像机进行车辆接力跟踪。本发明可广泛应用于室外场景中的智能监控系统或可疑车辆的持续跟踪系统，具有广阔的市场前景和应用价值。

Description

一种多摄像机场景下车辆接力跟踪方法

技术领域

本发明涉及智能视频监控系统中运动目标跟踪的方法，尤其涉及一种多摄像机场景下车辆接力跟踪方法。

背景技术

随着城市进程的加快，人们在加快道路基础设施的同时安装了大量的摄像机以扩大监控场景。然而，尽管多摄像机间存在很大的相关性，但呈现给用户的仅仅是不同监控器的分割场景，实际应用的监控系统也仅仅停留在单一摄像机相关算法的基础上。目前，基于多摄像机协同的监控技术和相关应用仍处于起步阶段，发展并不成熟因此，因此对多摄像机协同系统的开发是一个具有挑战性的课题。目前多摄像机跟踪方法主要包括：

1.基于摄像机标定的多摄像机跟踪算法

当摄像机的标定信息和三维环境坐标信息已知，通过一定的映射函数把这些信息统一映射到同一个坐标系下，最后由较为简单的一维参数就能得到正确的多摄像机之间的对应关系，进而采用传统的跟踪方法实现对运动目标的跟踪。该类算法需要精确度较高的监控设备，多用于比赛场景下例如足球、曲棍球等场地具有标线的运动员跟踪问题。

2.基于目标模型的多摄像机跟踪算法

该算法的基本思想是提取目标的仿射不变特征建立目标模型，在目标检测过程中，直接提取出目标的这种特征，与模型比对，得出目标的身份。但是由于光照条件变化和摄像机本身参数差异，在不同摄像机不同视野下同一目标车辆的基本特征已发生了变化，目标模型的建立和匹配过程复杂，难以实现跟踪算法的实时性。

3.基于特征融合的多摄像机跟踪算法

该方法是解决多摄像机目标跟踪中的主要方法，在研究最初阶段选用的是目标的一些简单特征，如颜色、轮廓、位置信息等，然后利用统计学或者概率等方法得出最后的对应关系。随着数字图像处理技术的发展，目标特征提取更加容易可靠，使得目标交接成功率大大提高。其中，Bradski Gary R.在《应用于感知用户界面的人脸和目标实时跟踪方法》(发表在1998年第四届IEEE计算机视觉应用研讨会，第214-219页)“Real Time Face and Object Tracking as a Component of a Perceptual User Interface”(the 4th IEEE Workshop on Applications of Computer Vision.1998，pp.214-219)中提出了提出的CamShift(continuously adaptive mean shift，持续自适应MeanShift)算法，是一种基于颜色特征的目标跟踪方法。它以Mean Shift算法为基础，加入自动更新模板的方法，当目标大小改变时可以自适应调整模板，以颜色直方图为目标模式，可以有效的解决目标变形和遮挡的问题，且运算效率较高。

然而，交通场景下的多摄像机跟踪的特点与难点包括：要求算法具有高鲁棒性和实时性以适应真实场景下的复杂环境和监控要求；已安装的摄像机设备精度不同，无法满足标定与精确特征提取的要求；如何充分利用已安装的硬件设备，花费最小的人力和物力实现多摄像机协同监控系统搭建工作。

发明内容

本发明解决的问题：为克服现有技术的不足，提供一种多摄像机场景下车辆跟踪方法和系统，主要应用于多摄像机间存在交叠视场区域的交通监控系统。该发明解决了摄像机交接过程中车辆唯一性身份确认问题，实现了复杂场景下车辆实时、准确的跟踪。

本发明的技术解决方案：一种多摄像机场景下车辆接力跟踪方法，其特征在于步骤如下：

(1)利用图像拼接算法，获得多摄像机监控场景的全景图像，具体实现如下：

步骤一：获取相邻摄像机场景图像，利用SIFT算法提取图像特征；

步骤二：找出相邻图像与基准图像特征点欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值σ，则接受这一对匹配点，完成相邻场景图像特征匹配；

步骤三：利用随机采样一致性算法(RANSAC)，剔除错误的匹配对；

步骤四：采用了L-M(Levenberg-Marquardt)算法优化透视矩阵，提高RANSAC算法对图像变换的准确率；

步骤五：根据两幅图像匹配点的位置，确定摄像机交叠区域。

(2)基于Camshift算法和运动预测器的分层目标接力跟踪方法，具体实现如下：

步骤一：当车辆进入第一个摄像机视场内，手动标记车辆区域后，应用CamShift算法进行车辆跟踪；

步骤二：当跟踪过程中遇到遮挡、重叠、会车等复杂情况导致Camshift算法的计算目标的跟踪框突然变大或者变小时，利用运动预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标。

(3)基于重叠区域边界的接力跟踪算法，具体实现如下：

当车辆从一个摄像机视野范围内进入另一个摄像机视野范围内时，将车辆的颜色特征信息作为查找模板，并将车辆的跟踪框大小也传递给下一个摄像机。基于改进的CamShift算法，同时引入车辆的运动信息。因此基于重叠区域边界，利用目标的颜色特征和运动信息设计一个综合目标交接算法如下：

设摄像机A和摄像机B的重叠边界为f(x)(相对于A的视野)，在摄像机A的视野中行驶的目标车辆O在到达重叠边界时的位置为o_A(x，f(x))，根据图像配准过程获得的位置变换矩阵为：

$M_{\mathrm{AB}}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]$

则目标车辆O在B中的位置o_B(x′，y′)可预测为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=M_{\mathrm{AB}}\left[\begin{array}{c}x\\ f\left(x\right)\\ w\left(x\right)\end{array}\right]$

其中w(x)为根据运动信息产生的调整因子。摄像机B在该预测位置附近采用Mean Shfit算法搜索匹配的目标区域，能显著降低搜索的时间，提高搜索的准确率。

摄像机A利用获得的目标车辆颜色直方图的反向投影进行跟踪，当车辆驶入摄像机A与下一个相邻摄像机B的交叠边界时触发摄像机B的检测操作，同时摄像机A将颜色特征传递给摄像机B，并预测车辆将在B的视野中出现的位置，摄像机B会在预测位置附近进行检测，一旦发现与上一个摄像机传递过来的颜色特征相同的区域则认定为跟踪目标，进行跟踪。

所述的一种多摄像机场景下车辆接力跟踪的方法，其特征在于：所述(2)中步骤二基于运动预测算法如下：

Camshift目标跟踪框采用椭圆表示法，计算跟踪区域的质心，也即椭圆的中心，并通过椭圆的方向表示目标车辆的车身方向。车辆在行驶过程中随着路面状况会改变行驶方向，表现在速度方向的改变和车身方向的调整。

设在t时车辆的质心为o_t(x(t)，y(t))，由于两帧之间时间很短，车道比较平滑，车辆的运动变化较小，根据车辆在前两帧的运动方式预测车辆在第三帧的位置。通过三个状态向量S(t-1)，S(t)，S(t+1)保存目标的运动信息，其中

S(t)＝(x，y，v_x，v_y，θ)

其中x，y分别为目标质心相对于水平轴和垂直轴的坐标，v_x，v_y分别为质心在某时刻的速率，θ为车辆的方向角，即是通过Camshift算法求出的椭圆区域的方向角。根据牛顿运动定律，物体的位置满足以下公式：

$x\left(t\right)=x(t-1)+v_x(t-1)\mathrm{\Δt}+\frac{1}{2}\mathrm{a\Δ}{t}^2$

因为两帧之间间隔较短，所以将车辆的运动近似看成匀速运动，则上式可写成

x(t)＝x(t-1)+v_x(t-1)Δt

当车辆在转弯或者换道的时候，车身方向会发生改变，但是连续两帧中车身方向的改变不会过大，设车辆的车身方向改变满足下式：

θ(t+1)-θ(t)＝k(θ(t)-θ(t-1))

θ(t+1)＝k(θ(t)-θ(t-1))+θ(t)

其中k为调整系数，根据前两帧目标信息预测下一帧目标的位置如下：

$\left[\begin{array}{c}x(t+1)\\ y(t+1)\\ v_x(t+1)\\ v_y(t+1)\\ \mathrm{\θ}(t+1)\end{array}\right]=\left[\begin{array}{ccccc}1& 0& T& 0& 0\\ 0& 1& 0& T& 0\\ 0& 0& 1/2& 0& 0\\ 0& 0& 0& 1/2& 0\\ 0& 0& 0& 0& k+1\end{array}\right]\left[\begin{array}{c}x\left(t\right)\\ y\left(t\right)\\ v_x\left(t\right)\\ v_y\left(t\right)\\ \mathrm{\θ}\left(t\right)\end{array}\right]+{\left[\begin{array}{c}0\\ 0\\ 1/2\\ 1/2\\ -k\end{array}\right]}^T\left[\begin{array}{c}x(t-1)\\ y(t-1)\\ v_x(t-1)\\ v_y(t-1)\\ \mathrm{\θ}(t-1)\end{array}\right]$

运动预测方法与Camshift算法构成一个分层跟踪方法。当Camshift算法的计算的跟踪框突然变大或者变小时，该预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标。当Camshift算法计算的椭圆角度变化过大时，该预测方法进行小范围校正，此时Camshift根据校正值重新计算跟踪框位置。

所述的一种多摄像机场景下车辆接力跟踪的方法，提炼出多摄像场景下车辆接力跟踪系统，该系统包括：同步控制模块、摄像机融合模块、车辆跟踪模块、数据存储模块。同步控制模块进行系统时间同步，并将时间同步信息返回给摄像机；通过图像预处理软件将图像通过网络传递给摄像机融合模块将背景图像进行融合，将离散的路面图像连接成一个全局图像；车辆跟踪模块在全局范围内对车辆进行跟踪；最终通过网络将视频、背景以及目标信息存储到数据存储模块。各模块均不存在子模块。

本发明与现有技术相比的优点在于：

(1)以车辆拼接技术为基础，无需实现复杂的摄像机标定，实现多摄像机场景的融合。该发明对多摄像机获得的交通路面图像应用SIFT特征和RANSAC算法进行图像配准的基础上，使用L-M(Levenberg-Marquardt)算法优化RANSAC的变换矩阵，形成路面的全景图像，提高了算法的精度；

(2)提出一个基于Camshift算法和运动预测器的分层车辆跟踪方法，解决车辆交叠、部分遮挡和实时跟踪的问题。同时，利用车辆的颜色特征、运动特征、图像变换特征三种特征相融合，保证相邻摄像机交接过程的准确性，实现真实场景下车辆的实时接力跟踪，扩大了跟踪区域。

(3)该发明提出了一种多摄像场景下车辆接力跟踪系统，该系统包括：同步控制模块、摄像机融合模块、车辆跟踪模块、数据存储模块，使该发明无需对现有道路已安装设备进行改造，花费最少的人力、物力最少的人力实现多摄像机协同监控系统搭建工作。

附图说明

图1为本发明多摄像机车辆接力跟踪方法流程图；

图2为改进车辆跟踪算法流程图；

图3为多摄像机车辆接力跟踪系统MCT(Multi-Camera Tracking System)模块示意图；

具体实施方式

如图1所示，本发明包含了提出了一种多摄像机场景下车辆接力跟踪方法，该方法首先利用图像拼接方法统一多摄像机视场，确定摄像机间的交叠区域；其次利用改进的车辆跟踪算法，对车辆进行跟踪；第三，当车辆驶入摄像机交叠区域后，判断是否为监控场景视场边界，如果到达视场边界则监控结束，如果没有到达边界则触发相邻摄像机目标进入，预测车辆在相邻视场中的位置，传递车辆特征；第四，当相邻摄像机发现运动目标，继续跟踪。

本发明一种多摄像机场景下车辆接力跟踪方法，具体步骤如下：

(1)利用图像拼接算法，获得多摄像机监控场景下的全景图像

步骤一：对监控场景背景图像生成SIFT特征点。

首先，检测尺度空间极值。通过高斯差分(DoG)算子在全尺度和图像位置上搜索以初步确定关键点位置和所在尺度。一幅图像在不同尺度下的尺度空间定义为图像I(x，y)与高斯核G(x，y，σ)的卷积：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

L(x，y，σ)＝G(x，y，σ)×I(x，y)

其中σ是尺度坐标。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。DoG算子定义为两个不同尺度的高斯核的差分，其具有计算简单的特点。

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

在图像的尺度空间内遍历所有的点，判断其与领域内点的大小关系，如果该点的值大于或小于领域内所有点的值，则该点为候选特征点。

其次，筛选特征点位置。由于DoG算子会产生较强的边缘响应，而边缘响应点并不一定是稳定的特征点，因此需要将不稳定的边缘响应点去除。同时也要去除对比度较低和稳定性差的特征点。

第三，特征点方向分配。利用关键点邻域像素的梯度方向分布特性为每个关键点指定模值m和方向θ，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)=\arctan \left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)$

第四，生成本地特征点描述符。将平面坐标系的坐标轴旋转到特征点的主方向，以确保旋转不变性。以特征点为中心取16×16的窗口，将该窗口分成16个4×4的小块，计算小块内各个点的梯度方向，并统计每个小块内8个方向上的累加值，形成一个种子点，每个种子点对应8个方向信息，则一个特征点就对应16×8＝128维的向量。

在待配准图像生成SIFT特征点之后，用kd-tree为所有特征点建立索引。kd-tree是一种由二叉搜索树推广而来的用于多维数据检索的树的结构形式，k指空间的维数即树中每一个结点是k维。每个非叶子结点生成一个分类超平面作为下一层结点的分辨器，在超平面左侧的结点在其左子树，在超平面右侧的点在其右子树。根结点作为第0层，第1层的分辨器为1mod k，其意义为以第0层的第一维数据为分辨器，第一维数据小于根结点第一维数据的放到左子树，第一维数据大于根结点的放到右子树。第i层的分辨器为i mod k.一般选择放入该子树的中值作为子树的根。

步骤二：将两幅图像中提取的SIFT特征点进行粗匹配。

将待配准图像的SIFT特征点构建kd-tree索引之后，为基准图像中的SIFT特征点搜索匹配特征点，采用特征向量的欧氏距离作为相似性度量，找出树中与基准图像特征点欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值σ，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但匹配更稳定可靠。但是，利用欧式距离进行关键点匹配的精度基本取决于比例阈值σ的大小，σ取值过大会出现较多错误匹配，σ取值过小则可能匹配特征点数量过少。σ的大小对不同的原始图像有所不同，因此很难靠单纯调节σ来获得合适的特征点匹配对。

步骤三：随机采样一致性算法(RANSAC)迭代求精去掉错误的匹配。本发明中RANSAC步骤如下：

1.重复N次随机采样；

2.随机选取4对匹配点(选取的4点应保证样本中的任意三点不共线)，线性地计算变换矩阵H；

3.计算每个匹配点经过矩阵变换后到对应匹配点的距离；

4.根据内点距离小于距离阈值t的原则计算H的内点，选取一个包含内点最多的点集，并在此内点域上重新估计投影变换矩阵H。

应用RANSAC算法对欧氏距离法粗匹配的特征点进行准确度检验，可以最大限度的减少噪声和外点的影响。

步骤四：为了提高RANSAC算法对图像变换的准确率，采用了L-M(Levenberg-Marquardt)算法优化透视矩阵。L-M算法又称阻尼最小二乘法，是对高斯-牛顿法的改良，其迭代公式推倒如下：

h_LM＝-[J(x)^T J(x)+μI]^-1 J(x)^T f(x)

其中μ＞0，I为单位矩阵，J(x)为f对x的雅克比行列式。在RANSAC算法中求两幅图像的特征点(x_i，y_i)，(x′_i，y′_i)对应的变换矩阵M满足：

[x′_i y′_i 1]^T＝M[x_i y_i 1]^T

通过L-M算法求得变换矩阵，使得所有特征点和与其匹配点之间的距离之和最小：

$F\left(M\right)=\underset{i}{\mathrm{\Σ}}[d^2(o_i^{\′}.{\mathrm{Mo}}_i)+d^2(o_i.M^{-1}{o}_i^{\′})]$

满足F(M)最小，这里d(x，y)表示点x到点y的距离。可以算出近似的Hessian矩阵H和加权梯度矢量b，其元素为：

$a_{\mathrm{kl}}=\mathrm{\Σ}\frac{\∂F\left(M\right)}{\∂m_k}\frac{\∂F\left(M\right)}{\∂m_l}$

$b_k=-\mathrm{\ΣF}\left(m\right)\frac{\∂F\left(M\right)}{\∂m_k}$

然后给参数估计值M加上一个修正值ΔM＝(A+λI)^-1b，其中λ是一个时变稳定性参数，随迭代步骤自动调节。将此过程一直迭代至误差F低于某一阈值。

为验证本发明提出的图像拼接算法，进行如下实验。实验的视频数据来自于美国交通部联邦高速公路管理局支持的下一代仿真(NGSIM)项目，采用其亚特兰大市桃树大街的主干道的视频，包含三条车道，拍摄时间为下午4:00至4:15。截取视频中的不同角度但具有交叠区域的多幅背景图像，验证算法的拼接准确率，如表1所示，改进后的拼接算法准确率明显提高。

表1

步骤五：确定摄像机交叠边界。提取某一摄像机背景图像中匹配成功的SIFT特征点所在位置的横坐标x_i计算特征点横坐标均值最终图像横坐标

时为触发边界，0#x

为交叠区域。

(2)本发明中基于运动预测器与Camshift算法的分层目标接力跟踪方法，流程如图2所示。改进算法以CamShift算法为基础，将图像由RGB颜色空间转化到HSV颜色空间进行后续处理。

步骤一，对进入第一个摄像机的车辆进行手动标记，采用CamShift算法进行跟踪。CamShift的算法首先在视频中选择初始搜索窗口，使窗口恰好包含整个跟踪目标，然后对窗口中每个像素的H通道上的值采样，从而得到目标的色调(Hue)直方图反向投影，将该直方图反向投影保存下来作为目标的颜色直方图模型。在跟踪过程中，对视频图像处理区域中的每一个像素，通过查询目标的颜色直方图模型，可以得到该像素为目标像素的概率，图像处理区域之外的其他区域作为概率为0的区域。经上述处理，视频图像转换为目标颜色概率分布图，也称为目标颜色投影图。

为计算搜索窗口的质心，设(x，y)为搜索窗口中的像素位置，I(x，y)是投影图中(x，y)处的像素值。定义搜索窗口的零阶矩M₀₀和一阶矩M₀₁，M₁₀分别如下：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)$

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)$

$M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)$

可以求得搜索窗口内的质心位置为：

$(x_c,y_c)=[\frac{M_{10}}{M_{00}},\frac{M_{01}}{M_{00}}]$

然后根据M₀₀调整搜索窗口的大小，并将搜索窗口的中心移动到质心，如果移动距离大于预设的固定阀值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整。直到窗口中心与质心间的移动距离小于预设的固定阀值，或者循环运算的次数达到某一最大值，认为收敛条件满足，进入下一帧图像进行新的目标搜索。在新的图像中，利用上一帧图像中最终得到的窗口质心位置，零阶矩M₀₀和二阶矩来设置新的搜索窗口的位置和尺寸。搜索窗口的二阶矩定义如下：

$M_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}I(x,y)$

$M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}I(x,y)$

$M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyI}(x,y)$

根据二阶矩可以求出目标的方向角：

$\mathrm{\θ}=\frac{1}{2}\arctan \left(\frac{2(M_{11}/M_{00}-x_c{y}_c)}{(M_{20}/M_{00}-x_c^2)-(M_{02}/M_{00}-y_c^2)}\right)$

CamShift采用椭圆形锁定跟踪目标，其椭圆的长轴和短轴分别表示如下：

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}}$

$w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}}$

其中各参数定义如下：

$a=M_{20}/M_{00}-x_c^2$

b＝2(M₁₁/M₀₀-x_cy_c)

$c=M_{02}/M_{00}-y_c^2$

获得计算结果之后，新的目标搜索的范围取略大于搜索窗口的范围。从公式中看出，CamShift跟踪算法根据上一步得到的M₀₀自适应的调整搜索窗口的大小，因而可以适应跟踪目标动态变形的情形。

步骤二，当Camshift算法的计算的跟踪框突然变大或者变小时，利用运动预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标。当Camshift算法计算的椭圆角度变化过大时，该预测方法进行小范围校正，此时Camshift根据校正值重新计算跟踪框位置。预测补充算法如下：

Camshift算法用一个椭圆表示目标，计算跟踪区域的质心，也即椭圆的中心，并通过椭圆的方向表示目标车辆的车身方向。车辆在行驶过程中随着路面状况会改变行驶方向，表现在速度方向的改变和车身方向的调整。

设在t时刻目标的质心为o_t(x(t)，y(t))，由于两帧之间时间很短，车道比较平滑，车辆的运动变化较小，我们认为学习车辆在前两帧的运动方式即可帮助预测车辆在第三帧的位置，因此通过三个状态向量保存目标的运动信息

S(t-1)＝(x，y，v_x，v_y，θ)

S(t)＝(x，y，v_x，v_y，θ)

S(t+1)＝(x，y，v_x，v_y，θ)

其中x，y分别为目标质心相对于水平轴和垂直轴的坐标，v_x，v_y分别为质心在某时刻的速率，θ为车辆的方向角，这里即是通过Camshift算法求出的椭圆区域的方向角。根据牛顿运动定律，物体的位置满足以下公式：

$x\left(t\right)=x(t-1)+v_x(t-1)\mathrm{\Δt}+\frac{1}{2}\mathrm{a\Δ}{t}^2$

因为两帧之间间隔较短，所以将车辆的运动近似看成匀速运动，则上式可写成

x(t)＝x(t-1)+v_x(t-1)Δt

当车辆在转弯或者换道的时候，车身方向会发生改变，但是连续两帧中车身方向的改变不会过大，设车辆的车身方向改变满足下式：

θ(t+1)-θ(t)＝k(θ(t)-θ(t-1))

θ(t+1)＝k(θ(t)-θ(t-1))+θ(t)

其中k为调整系数，根据前两帧目标信息预测下一帧目标的位置如下：

$\left[\begin{array}{c}x(t+1)\\ y(t+1)\\ v_x(t+1)\\ v_y(t+1)\\ \mathrm{\θ}(t+1)\end{array}\right]=\left[\begin{array}{ccccc}1& 0& T& 0& 0\\ 0& 1& 0& T& 0\\ 0& 0& 1/2& 0& 0\\ 0& 0& 0& 1/2& 0\\ 0& 0& 0& 0& k+1\end{array}\right]\left[\begin{array}{c}x\left(t\right)\\ y\left(t\right)\\ v_x\left(t\right)\\ v_y\left(t\right)\\ \mathrm{\θ}\left(t\right)\end{array}\right]+{\left[\begin{array}{c}0\\ 0\\ 1/2\\ 1/2\\ -k\end{array}\right]}^T\left[\begin{array}{c}x(t-1)\\ y(t-1)\\ v_x(t-1)\\ v_y(t-1)\\ \mathrm{\θ}(t-1)\end{array}\right]$

为验证本发明提出的车辆跟踪算法，进行如下实验。实验视频来源为AVSS 2007 IEEE国际会议的i-LIDS图像库，视频拍摄地点为英国某路段，图像为720＊576像素8位彩图，总图像数量为3500帧，视频采集速率为25HZ，采用改进的运动预测与Camshift相结合的跟踪算法对视频中的车辆进行跟踪，实验中令调整系数k＝1，其意义是车辆在将来一帧中车身方向的改变不会大于此帧中车身方向对于上一帧中车身方向的改变，因为两帧之间的时间间隔很短。实验结果如表2所示，在无遮挡直道、无遮挡弯道、有遮挡直道、有遮挡弯道四种情况下，均取得了较高的准确率，其中遮挡包含车辆间的遮挡和背景的遮挡两方面。实验结果证明加入运动预测器之后，算法能够根据车辆的运动信息控制跟踪框的移动方向，这样就不会出现运动状态明显不同的车辆但是却进行了误跟踪的情况。并且运动预测器对跟踪框的大小进行了控制，防止跟踪框突然变大(或者缩小)。

表2

(3)为保证车辆进入相邻摄像机的身份确认问题，本发明利用目标的颜色特征和运动信息融合的一个综合目标交接算法。

设摄像机A和摄像机B的重叠边界为f(x)(相对于A的视野)，在摄像机A的视野中行驶的目标车辆O在到达重叠边界时的位置为o_A(x，f(x))，根据图像配准过程获得的位置变换矩阵为：

$M_{\mathrm{AB}}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]$

则目标车辆O在B中的位置o_B(x′，y′)可预测为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=M_{\mathrm{AB}}\left[\begin{array}{c}x\\ f\left(x\right)\\ w\left(x\right)\end{array}\right]$

其中w(x)为根据运动信息产生的调整因子。

摄像机A利用获得的目标车辆颜色直方图的反向投影进行跟踪，当车辆驶入摄像机A与下一个相邻摄像机B的交叠边界时触发摄像机B的检测操作，同时摄像机A将颜色特征传递给摄像机B，并预测车辆将在B的视野中出现的位置，摄像机B会在预测位置附近进行检测，一旦发现与上一个摄像机传递过来的颜色特征相同的区域则认定为跟踪目标，进行跟踪。该方法能显著降低搜索的时间，提高搜索的准确率。若同时有多辆车辆进入视野，该方法也能取得较好的效果。

(4)基于一种多摄像机车辆接力跟踪方法，本发明提出多摄像机接力跟踪系统Multi-Camera Tracking System(MCT)。如图3所示，系统由同步控制模块、摄像机融合模块、车辆跟踪模块、数据存储模块几个部分组成。远端由多个摄像机监控路面情况，同步控制模块进行系统时间同步，并将时间同步信息返回给摄像机；通过图像预处理软件将图像通过网络传递给摄像机融合模块将背景图像进行融合，将离散的路面图像连接成一个全局图像；车辆跟踪模块在全局范围内对车辆进行跟踪；最终通过网络将视频、背景以及目标信息存储到数据存储模块。

Claims (3)

1.一种多摄像机场景下车辆接力跟踪的方法，其特征在于步骤如下：

(1)利用图像拼接算法，获得多摄像机监控场景的全景图像，具体实现如下：

(1.1)获取相邻摄像机场景图像，利用SIFT算法提取图像特征；

(1.2)找出相邻图像与基准图像特征点欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值σ，则接受这一对匹配点，完成相邻场景图像特征匹配；

(1.3)利用随机采样一致性算法RANSAC，剔除错误的匹配对；

(1.4)采用了L-M算法优化透视矩阵，提高RANSAC算法对图像变换的准确率；

(1.5)确定摄像机交叠边界，提取某一摄像机背景图像中匹配成功的SIFT特征点所在位置的横坐标x_i计算特征点横坐标均值

，最终图像横坐标x＝

时为触发边界，0#x

为交叠区域；

(2)基于Camshift算法和运动预测器的分层目标接力跟踪方法，具体实现如下：

(2.1)当车辆进入第一个摄像机视场内，手动标记车辆区域后，应用CamShift算法进行车辆跟踪；

(2.2)当跟踪过程中遇到遮挡、重叠、会车等复杂情况导致Camshift算法的计算目标的跟踪框突然变大或者变小时，利用运动预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标；

(3)基于重叠区域边界的接力跟踪算法，具体实现如下：

当车辆从一个摄像机视野范围内进入另一个摄像机视野范围内时，将车辆的颜色特征信息作为查找模板，并将车辆的跟踪框大小也传递给下一个摄像机；基于改进的CamShift算法，同时引入车辆的运动信息；因此基于重叠区域边界，利用目标的颜色特征和运动信息设计一个综合目标交接算法如下：

设摄像机A和摄像机B的重叠边界为f(x)——相对于A的视野，在摄像机A的视野中行驶的目标车辆O在到达重叠边界时的位置为o_A(x，f(x))，根据图像配准过程获得的位置变换矩阵为：

$M_{\mathrm{AB}}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]$

则目标车辆O在B中的位置o_B(x′，y′)可预测为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=M_{\mathrm{AB}}\left[\begin{array}{c}x\\ f\left(x\right)\\ w\left(x\right)\end{array}\right]$

其中w(x)为根据运动信息产生的调整因子；

摄像机A利用获得的目标车辆颜色直方图的反向投影进行跟踪，当车辆驶入摄像机A与下一个相邻摄像机B的交叠边界时触发摄像机B的检测操作，同时摄像机A将颜色特征传递给摄像机B，并预测车辆将在B的视野中出现的位置，摄像机B会在预测位置附近进行检测，一旦发现与上一个摄像机传递过来的颜色特征相同的区域则认定为跟踪目标，进行跟踪。

2.根据权利要求1所述的多摄像机场景下车辆接力跟踪的方法，其特征在于：所述(2.2)中基于运动预测算法如下：

Camshift目标跟踪框采用椭圆表示法，计算跟踪区域的质心，也即椭圆的中心，并通过椭圆的方向表示目标车辆的车身方向；车辆在行驶过程中随着路面状况会改变行驶方向，表现在速度方向的改变和车身方向的调整；

设在t时车辆的质心为o_t(x(t)，y(t))，由于两帧之间时间很短，车道比较平滑，车辆的运动变化较小，根据车辆在前两帧的运动方式预测车辆在第三帧的位置；通过三个状态向量S(t-1)，S(t)，S(t+1)保存目标的运动信息，其中

S(t)＝(x，y，v_x，v_y，θ)

其中x，y分别为目标质心相对于水平轴和垂直轴的坐标，v_x，v_y分别为质心在某时刻的速率，θ为车辆的方向角，即是通过Camshift算法求出的椭圆区域的方向角；根据牛顿运动定律，物体的位置满足以下公式：

$x\left(t\right)=x(t-1)+v_x(t-1)\mathrm{\Δt}+\frac{1}{2}\mathrm{a\Δ}{t}^2$

因为两帧之间间隔较短，所以将车辆的运动近似看成匀速运动，则上式可写成

x(t)＝x(t-1)+v_x(t-1)Δt

当车辆在转弯或者换道的时候，车身方向会发生改变，但是连续两帧中车身方向的改变不会过大，设车辆的车身方向改变满足下式：

θ(t+1)-θ(t)＝k(θ(t)-θ(t-1))

θ(t+1)＝k(θ(t)-θ(t-1))+θ(t)

其中k为调整系数，根据前两帧目标信息预测下一帧目标的位置如下：

$\left[\begin{array}{c}x(t+1)\\ y(t+1)\\ v_x(t+1)\\ v_y(t+1)\\ \mathrm{\θ}(t+1)\end{array}\right]=\left[\begin{array}{ccccc}1& 0& T& 0& 0\\ 0& 1& 0& T& 0\\ 0& 0& 1/2& 0& 0\\ 0& 0& 0& 1/2& 0\\ 0& 0& 0& 0& k+1\end{array}\right]\left[\begin{array}{c}x\left(t\right)\\ y\left(t\right)\\ v_x\left(t\right)\\ v_y\left(t\right)\\ \mathrm{\θ}\left(t\right)\end{array}\right]+{\left[\begin{array}{c}0\\ 0\\ 1/2\\ 1/2\\ -k\end{array}\right]}^T\left[\begin{array}{c}x(t-1)\\ y(t-1)\\ v_x(t-1)\\ v_y(t-1)\\ \mathrm{\θ}(t-1)\end{array}\right]$

运动预测方法与Camshift算法构成一个分层跟踪方法；当Camshift算法的计算的跟踪框突然变大或者变小时，该预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标；当Camshift算法计算的椭圆角度变化过大时，该预测方法进行小范围校正，此时Camshift根据校正值重新计算跟踪框位置。

3.根据权利要求1所述的多摄像机场景下车辆接力跟踪的方法，提炼出多摄像场景下车辆接力跟踪系统，该跟踪系统包括：同步控制模块、摄像机融合模块、车辆跟踪模块、数据存储模块；同步控制模块进行系统时间同步，并将时间同步信息返回给摄像机；通过图像预处理软件将图像通过网络传递给摄像机融合模块将背景图像进行融合，将离散的路面图像连接成一个全局图像；车辆跟踪模块在全局范围内对车辆进行跟踪；最终通过网络将视频、背景以及目标信息存储到数据存储模块。

Images