CN106204650A - 一种基于空地视频关联技术的车辆目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于空地视频关联技术的车辆目标跟踪算法，包括.图像的预处理，即将图像进行灰度化处理，得到灰度值；2.运动目标的检测，采用相邻帧间差分法对判断目标是否处于运动状态；3.时间轴的匹配，即通过设立参照点，实现地面视频与无人机视频的时间同步；4.运动目标的跟踪，采用MeanShift算法作为跟踪算法，最终空地视频的同步跟踪。

Description

一种基于空地视频关联技术的车辆目标跟踪方法

技术领域

本发明属于数字图像处理、智能交通信息处理技术领域，具体地说是一种基于空地视频关联技术的车辆目标跟踪方法。

背景技术

随着国家经济的发展以及汽车所有量的大幅度提高，为了满足居民的日常出行需求，各地道路设施的建设工作也都相继展开，这其中尤其以高速公路的建设最为显著。近年来，随着高速公路里程的迅速增加，虽然在很大程度上缓解了居民出行难的问题，但是随之而来的问题也很多，最突出的就当属高速交通监管困难的问题。

良好的交通监管是交通安全的生命线，根据以往的事故能够知道，很多的交通事故的发生都和交通监管的缺失有很大的关系，而高速公路更是由于其车速快的特点更是成为了很多特大型交通事故的重灾区。而在历次交通事故中，由于相对于一般的道路来说，高速公路的交通环境相对封闭，而且同时还存在路面通行车辆种类繁杂、路段通行秩序变化多样，且路面交通安全监管警力不足、监控手段过于单一等特点，这就对于事故的取证造成了很大的困难，结果就是在交通事故的责任判定上存在漏洞。同时，由于传统的固定式的监测手段的范围局限性高，受地面地形、环境的影响较大，这就会让很多驾驶员在驾驶中存在侥幸心理，即仅仅在通过监测点时才会规范自身驾驶行为，这使得驾驶员的驾驶行为不存在连续性，严重影响所记录数据的真实性，这使得对于特定车辆交通违章与交通事故的分析缺乏准确的数据支持。随着高速公路的不断发展，传统的监控手段已经无法满足需求，如今急需一种既能够针对特定目标进行跟踪同时也能加大监控范围的监控方法。

发明内容

本发明的目的是为了解决上述现有技术的不足为目的，提供了一种结合无人机监测平台的基于MeanShift算法的空地一体化视频监测同步跟踪算法，其能够很好的解决监控范围不足、监测手段单一、事故取证不足的缺点，提高高速公路交通监测的准确率与效率。

本发明的一种基于空地视频关联技术的车辆目标跟踪方法，包括以下几个步骤：

步骤一、图像预处理。

将得到的地面与无人机的视频图像进行灰度化处理。

步骤二、运动目标的检测。

采用相邻帧间差分法对运动车辆进行检测，判断追踪目标是否处于运动状态。

步骤三、时间轴的同步。

通过设置参照点实现地面监控设备与无人机监控设备的时间同步性。

步骤四、运动目标的跟踪。

在时间轴同步的基础上，采用MeanShift算法对目标进行跟踪，实现空地监控设备的协同监测跟踪。

本发明的优点在于：

(1)创造性的将MeanShift算法同时间轴同步操作结合在一起，为多平台同步追踪提供了一个很好的范例；

(2)将无人机平台与地面监控平台结合起来，在发挥了无人机监测范围广、阻碍少的优势的同时，也发挥了地面监控设备精确化的特点，优势互补，针对交通违法或者特定车辆达到了无死角的监控跟踪；

(3)在现有设备的基础上，通过该发明算法即可实现交通道路监管中多维同步监控，减少了研发新设备的费用，节约了成本；

(4)相比与传统的监测手段，本发明从结合无人机监测平台入手，同时运用图像处理、时间轴匹配以及MeanShift算法为主体的空地视频关联技术算法，在实现目标车辆跟踪的同时，最大程度的将无人机检测平台的监测范围广、受地面地形、环境影响小的特点与地面监控设备的监控精细化的特点结合起来，无论是在调查取证还是车辆数据分析等方面，都很大程度上弥补了传统监测手段的不足。

附图说明

图1a地面监控视频灰度化效果图；

图1b无人机视频灰度化效果图；

图2运动车辆检测效果图；

图3a地面监控视频参考点设置示意图；

图3b无人机视频参考点设置示意图；

图4 Bhattacharyya系数的几何意义；

图5车辆追踪效果示意图a；

图6车辆追踪效果示意图b。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于空地视频关联技术的车辆目标跟踪方法，包括以下几个步骤：

步骤一、图像预处理

地面监控设备采集道路中车辆运行视频，无人机采集同一时刻同样区域车辆运行视频，对道路监控视频和无人机监控视频进行图像预处理，转换效果如图1a和图1b所示，图像预处理是将视频中的图像序列由RGB颜色空间转换为灰度空间，采用的是彩色转灰度的整数算法，通过该算法，将视频中的图像全部灰度化，并以灰度值的形式存储起来，采用的转换公式为：

Gray＝(R*299+G*587+B*114+500)/1000 (1)

其中：Gray表示灰度值，R表示红色通道像素值大小，G表示绿色通道像素值大小，B表示蓝色通道像素值大小。

步骤二、运动目标检测

采用相邻帧间差分法进行运动车辆检测，相邻帧间差分法是将相邻两帧视频图像所对应的像素点进行一一相减，从而得到两帧图像颜色或者亮度的差值绝对值，再根据预先设定好的差分阈值确定视频图像中的运动目标，实现运动目标检测的具体步骤如下：

(1)假设视频图像大小为M×N，(x,y)对应视频图像中的任意一点，且0≤x≤M，0≤y≤N，用f_k-1(x,y)表示视频序列中该点的当前图像对应的前一帧的颜色值；

(2)设f_k(x,y)表示该点当前图像所对应图像的颜色值，M_k(x,y)代表两帧间的运动区域；

(3)选取T_threshold为差分阈值，对应的视频中的每个像素点均用当前帧颜色值减去前一帧颜色值，当所得差值绝对值大于差分阈值时，M_k(x,y)赋值为1，则判定该位置上存在运动目标，否则为0，则相邻帧间差分法可以由式(2)表示，图2为利用该方法进行运动目标检测的效果图：

$M_k(x,y)=\left\{\begin{array}{cc}1,& |f_k(x,y)-f_{k-1}(x,y)|>T_{threshold}\\ 0,& otherwise\end{array}\right.---\left(2\right)$

步骤三、时间轴匹配

时间轴匹配主要通过设立参照点，同时根据同一车辆在不同视频中的位置进行计算，实现该步的具体步骤如下：

(1)如图3a中两条红线所示，选取两个位置当做参考点，在地面固定检测器视频镜头中以红线表示；

(2)如图3b所示，同样的在无人机的视频镜头中设置两个参照点，设置的标准即两个参照点必须同步骤一中的两个参照点完全一致，同样以两条红线表示；

(3)进行视频关键帧匹配。

通过车辆距离视频中的两个参考点确定车辆在图像中的位置，同时以参考点为参照标志进行视频关键帧的匹配，即当同一车辆出现在同一参考点时即为视频的同一时刻，以图3a、图3b为例就是当同一辆车同时在两个视频中出现在point1，之后又同时经过point2，则完成两个视频的时间同步匹配。

步骤四、运动目标跟踪

在完成时间轴匹配的基础上的基础上，采用Meanshift算法进行车辆的跟踪。

MeanShift算法是目标跟踪领域的一个比较成熟的方法。通常，将基于MeanShift算法的目标跟踪问题描述为一个利用均值漂移向量进行目标跟踪的迭代过程。利用MeanShift算法进行目标跟踪是以目标物体的外部特征为基础，该算法采用颜色直方图作为描述物体的特征，利用Bhattacharyya系数(即巴氏系数)作为物体相似程度的度量标准，再利用均值漂移向量获取目标物体的位置。

在实际的目标跟踪过程中，MeanShift算法首先建立目标模型的描述，然后在后序图像序列中寻找与目标模型相匹配的候选区域。在搜寻过程中，不断计算均值漂移向量，更改搜索位置中心，通过巴氏系数定位目标物体的位置，以下为算法的具体步骤：

(1)目标模型建立。

描述一个目标，首先要选择合适的特征空间。通常利用核直方图建立跟踪目标的模板，也就是目标模型。在Mean Shift算法中，目标模型由当前图像帧中的目标模型和下一帧图像中的候选目标模型两种模型组成。在初始图像帧中，计算所有属于目标区域像素点特征值的概率，即利用特征概率密度函数来表示当前帧的目标模型，式(3)为目标模型的定义：

q＝{q_u},u＝1,…,m (3)

其中：q表示模型概率密度，u表示特征值大小，q_u表示目标模型，m表示核直方图个数。

设{x_i}，i＝1,2,…,n为目标的各个像素位置坐标集合，m为核直方图特征的个数，x₀为目标模板的中心坐标。用一个各向同性、且单调递减的凸核函数k(x)，这里选取Epanechnikov核函数对各点进行加权，其表达式为：

其中，c为常数。位置与目标模板中心的距离越近的像素点权重越大，这是因为靠近边界的像素值容易被遮挡或被背景干扰，所以与目标模板中心距离较远的点产生的影响越小。定义函数b:R²→{1,2,…,m}，b(x_i)是所有像素特征x_i在量化的特征空间的映射函数。概率特征u＝1,…,m，目标模型由式(5)表示：

$q_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(5\right)$

式中，δ(x)是Kronecker Delta函数，h为目标所在区域的窗口宽度，C是归一化因子，为了使得C应满足式(6)。

$C=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)}---\left(6\right)$

其中n表示目标像素点个数。

Mean Shift算法是从当前帧相邻的后一帧图像中原来的目标区域(即候选区域)开始执行迭代，对候选区域提取的核直方图特征称为目标候选模型。同理，设{x_i}，i＝1,2,…,n为候选区域中目标的各个像素位置坐标集合，y为中心坐标，使用相同的剖面核函数k(x)，核函数带宽为h，概率特征u＝1,2,…,m，则候选目标模型可以由式(7)表示：

$p_u\left(y\right)=C_h\underset{i=i}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(7\right)$

其中，C_h是归一化因子，使得且归一化因子满足式(8)，p_u候选目标模型其它参数定义与式(5)(6)相同。

$C_h=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)}---\left(8\right)$

(2)相似性函数。

相似性函数用来描述当前帧图像中目标模型和下一帧图像中的候选模型之间的相似程度，在理想情况下两个模型的概率分布应完全一致。在利用Mean Shift算法进行目标跟踪时，常使用Bhattacharyya系数来描述目标与候选目标的相似程度，该系数越大，目标与候选目标越近似，两个离散分布之间的距离越小。式(9)给出了Bhattacharyya系数ρ(y)的具体定义：

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}\[p\left(y\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y\right)q_u}---\left(9\right)$

Bhattacharyya系数可以有效地描述两个向量间的相似程度，尤其适用于衡量两直方图间的相似程度，该系数越大，说明两向量越接近。Bhattacharyya系数的几何意义是在多维空间中两个单位向量夹角的余弦函数值，图4为该系数的几何原理示意图。

在Mean Shift算法中，利用目标与候选目标间的距离来计算候选区域与当目标区域间的相似程度，具体的计算方法由式(10)给出：

$d\left(y\right)=\sqrt{1-\mathrm{\ρ}\[p\left(y\right),q\]}---\left(10\right)$

在式(9)中，d(y)越小表示两者越相似，即两区域间的距离越短。

(3)目标定位。

目标定位实际上就是从当前帧图像开始，分别计算当前帧图像以及后续几帧图像中候选区域的模型以及Bhattacharyya系数，使得Bhattacharyya系数ρ(y)最大的候选区域(与目标区域距离最小的区域)即目标在该帧图像中的位置。

由Mean Shift算法原理可知，在当前帧图像中搜索目标区域时，需要以目标在前一帧图像中的位置y₀为起始位置。设前一帧中目标真实位置为y₀，则在当前帧中以y₀为中心的候选目标的特征分布为{p_u(y₀)},u＝1,…,m。在当前帧将相似度函数ρ[p(y),q]在目标预测位置y₀附近泰勒展开，略去高阶项后可以获得ρ[p(y),q]的一阶线性近似，由式(11)表示：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_0\right)q_u}+\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(11\right)$

将式(9)代入式(11)得：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{n}{\Σ}}{w}_{i}k\left(\left|\right|\frac{y-x_i}{h}|{|}^2\right)---\left(12\right)$

其中w_i由式(13)给出：

$w_i=\underset{u=1}{\overset{m}{\Σ}}\mathrm{\δ}\[b\left(x_i\right)-u\]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(13\right)$

式(11)中第一项与y无关，为得到ρ[p(y),q]的最大值，第二项需要取最大值，而该项相当于在当前帧的y点处使用核函数k(x)进行概率密度估计，并利用函数w_i加权。因此，可以使用Mean Shift算法寻找邻域内该密度估计的极大值。在迭代中目标位置由y₀移动到新的位置y₁，迭代函数由式(14)给出：

$y_1=y_0+\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i(y_0-x_i)g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(14\right)$

其中g(x)＝-k′(x)。在得到目标的新位置y_i后，计算y_i与目标先前位置y_i-1的距离，如果||y_i-y_i-1||＜ε，则进行下一帧的运算，否则在新位置计算候选直方图，重复计算均值偏移向量，依此类推。其中ε为算法的停止阈值，将其设定为一个像素距离的大小。

在实例中，通过让特定车辆通过监控路段，实现对其的空地同步监控追踪。追踪效果图如图5、图6所示。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种基于空地视频关联技术的车辆目标跟踪方法，包括以下几个步骤：

步骤一、图像预处理；

无人机采集同一时刻同样区域车辆运行视频，对道路监控视频和无人机监控视频进行图像预处理，进行灰度化处理；

步骤二、运动目标的检测；

针对图像预处理后的道路监控与无人机监控视频，采用相邻帧间差分法对运动车辆进行检测，实现运动目标检测；

步骤三、时间轴的同步；

通过设置参照点实现地面监控设备与无人机监控设备的时间同步性；

步骤四、运动目标的跟踪；

在时间轴同步的基础上，对目标进行跟踪，实现空地监控设备的协同监测跟踪。

2.根据权利要求1所述的一种基于空地视频关联技术的车辆目标跟踪方法，所述的步骤一具体为：

将地面监控设备采集道路中车辆运行视频、无人机采集同一时刻同样区域车辆运行视频中的图像序列由RGB颜色空间转换为灰度空间，采用彩色转灰度整数算法，将视频中的图像全部灰度化，并以灰度值的形式存储起来，采用的转换公式为：

Gray＝(R*299+G*587+B*114+500)/1000 (1)

其中：Gray表示灰度值，R表示红色通道像素值大小，G表示绿色通道像素值大小，B表示蓝色通道像素值大小。

3.根据权利要求1所述的一种基于空地视频关联技术的车辆目标跟踪方法，所述的步骤二具体为：

(1)假设视频图像大小为M×N，(x,y)对应视频图像中的任意一点，且0≤x≤M，0≤y≤N，用f_k-1(x,y)表示视频序列中该点的当前图像对应的前一帧的颜色值；

(2)设f_k(x,y)表示该点当前图像所对应图像的颜色值，M_k(x,y)代表两帧间的运动区域；

(3)设T_threshold为差分阈值，对应的视频中的每个像素点均用当前帧颜色值减去前一帧颜色值，当所得差值绝对值大于差分阈值时，M_k(x,y)赋值为1，则判定该位置上存在运动目标，否则为0，则相邻帧间差分法由式(2)表示：

$M_k\left(x,y\right)=\left\{\begin{array}{cc}1,& |f_k\left(x,y\right)-f_{k-1}\left(x,y\right)|>T_{threshold}\\ 0,& otherwise\end{array}\right.---\left(2\right).$

4.根据权利要求1所述的一种基于空地视频关联技术的车辆目标跟踪方法，所述的步骤三具体为：

(1)在地面固定检测器视频镜头选取两个位置当做参考点，以红线表示；

(2)在无人机的视频镜头中选取两个位置当做参考点，其与地面固定检测器视频镜头中参考点位置相同，也以红线表示，

(3)进行视频关键帧匹配；

通过车辆距离视频中的两个参考点确定车辆在图像中的位置，同时以参考点为参照标志进行视频关键帧的匹配，即当同一车辆出现在同一参考点时即为视频的同一时刻，完成两个视频的时间同步匹配。

5.根据权利要求1所述的一种基于空地视频关联技术的车辆目标跟踪方法，所述的步骤四中，在完成时间轴匹配的基础上的基础上，采用Meanshift算法进行车辆的跟踪，具体包括：

(1)目标模型建立；

在初始图像帧中，计算所有属于目标区域像素点特征值的概率，利用特征概率密度函数表示当前帧的目标模型，式(3)为目标模型的定义：

q＝{q_u},u＝1,…,m (3)

其中：q表示模型概率密度，u表示特征值大小，q_u表示目标模型，m表示核直方图个数；

设{x_i}，i＝1,2,…,n为目标的各个像素位置坐标集合，m为核直方图特征的个数，x₀为目标模板的中心坐标；用一个各向同性、且单调递减的凸核函数k(x)，选取Epanechnikov核函数对各点进行加权，其表达式为：

其中，c为常数；定义函数b:R²→{1,2,…,m}，b(x_i)是所有像素特征x_i在量化的特征空间的映射函数；概率特征u＝1,…,m，目标模型由式(5)表示：

$q_u=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(5\right)$

式中，δ(x)是Kronecker Delta函数，h为目标所在区域的窗口宽度，C是归一化因子，为了使得C应满足式(6)；

$C=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_i-x_0}{h}\right|{|}^2)}---\left(6\right)$

其中n表示目标像素点个数；

设{x_i}，i＝1,2,…,n为候选区域中目标的各个像素位置坐标集合，y为中心坐标，使用相同的剖面核函数k(x)，核函数带宽为h，概率特征u＝1,2,…,m，则候选目标模型由式(7)表示：

$p_u\left(y\right)=C_h\underset{i=i}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]---\left(7\right)$

其中，C_h是归一化因子，使得且归一化因子满足式(8)：

$C_h=\frac{1}{\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)}---\left(8\right)$

(2)相似性函数；

Bhattacharyya系数ρ(y)为：

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}\[p\left(y\right),q\]=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y\right)q_u}---\left(9\right)$

利用目标与候选目标间的距离来计算候选区域与当目标区域间的相似程度，具体的计算方法由式(10)给出：

$d\left(y\right)=\sqrt{1-\mathrm{\ρ}\[p\left(y\right),q\]}---\left(10\right)$

(3)目标定位；

设前一帧中目标真实位置为y₀，则在当前帧中以y₀为中心的候选目标的特征分布为{p_u(y₀)},u＝1,…,m；在当前帧将相似度函数ρ[p(y),q]在目标预测位置y₀泰勒展开，略去高阶项后获得ρ[p(y),q]的一阶线性近似，由式(11)表示：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_0\right)q_u}+\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(11\right)$

将式(9)代入式(11)得：

$\mathrm{\ρ}\[p\left(y\right),q\]\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_0\right)q_u}+\frac{C_h}{2}\underset{i=1}{\overset{n}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(12\right)$

其中w_i由式(13)给出：

$w_i=\underset{u=1}{\overset{m}{\Σ}}\mathrm{\δ}\[b\left(x_i\right)-u\]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(13\right)$

采用Mean Shift算法寻找邻域内该密度估计的极大值；在迭代中目标位置由y₀移动到新的位置y₁，迭代函数由式(14)给出：

$y_1=y_0+\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i(y_0-x_i)g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(14\right)$

其中g(x)＝-k′(x)；在得到目标的新位置y_i后，计算y_i与目标先前位置y_i-1的距离，如果||y_i-y_i-1||＜ε，则进行下一帧的运算，否则在新位置计算候选直方图，重复计算均值偏移向量，依此类推，其中ε为停止阈值，将其设定为一个像素距离的大小。