CN104282020A - 一种基于目标运动轨迹的车辆速度检测方法 - Google Patents

Abstract

本发明公开了一种基于目标运动轨迹的车辆速度检测方法，包括步骤依次是目标分割、基于卡尔曼滤波的目标跟踪和速度计算，所述的目标分割主要采用帧间差分法和固定阈值法相结合，获得分割结果；所述的基于卡尔曼滤波的目标跟踪分为获得质心、建立运动模型、运动目标特征提取及更新状态向量，以获得目标运动轨迹；所述的速度计算方法主要涉及获得轨迹相关点信息、建立映射关系、速度计算及速度校正，其中映射关系建立主要是指图像中像素坐标到实际距离的转换，即计算出图像中每个像素点在实际坐标系中对应的实际距离，速度计算主要指依据速度计算公式用距离除以时间对车辆轨迹中提供的相关信息进行计算，并根据实际情况对计算结果进行校正。

Description

一种基于目标运动轨迹的车辆速度检测方法

技术领域

本发明属于智能交通技术领域，特别涉及一种基于目标运动轨迹的车辆速度检测方法。

背景技术

普遍存在的汽车超速行驶问题，不但增加了交通监管部门的工作难度，而且汽车超速引发的人员伤亡事故也时有发生。为此，需要对车辆行驶速度进行检测并能自动识别车牌号，使车辆管理进一步自动化、智能化。

要实现交通智能化，就要全面、准确的获取交通信息，包括车流量、车速、车型等实时交通参数信息。根据这些交通信息可以及时对交通事故进行处理，必要的时候要发出诱导信息来疏导交通。因此，在智能交通系统中，交通信息采集设备是实现智能化交通的基础，是智能交通管理技术能够实时、正确的控制和引导交通的前提。车速检测作为基于视频的交通信息采集技术的一部分，是目前交通领域的研究热点。

发明内容

本发明的目的是提供一种基于目标运动轨迹的车辆速度检测方法，以解决现有技术中利用道路监控视频检测车辆速度准确度不高的问题。

本发明的技术方案是，一种基于目标运动轨迹的车辆速度检测方法，所述的检测方法采用道路监控视频图像对车辆速度进行检测，包括的步骤，依次为车辆目标分割、基于卡尔曼滤波的车辆目标跟踪和车辆速度计算，

所述的车辆目标分割步骤包括用帧间差分法及固定阈值法进行运动目标分割，

所述的帧间差分法是指通过视频图像序列中相邻数帧中对应像素点进行差分运算来获得运动车辆目标轮廓的方法，其算法实现如下：

pDifImg[i]＝abs(pNowImg[i]-pBefImg[i]),i＝0...W*H   (1)

其中，

pDifImg[i]——帧差结果灰度值；

pNowImg[i]——当前帧图像灰度值；

pBefImg[i]——前N帧图像灰度值；

W——图像宽度；

H——图像高度。；

其中N＝3；

所述的固定阈值法的算法如下：

$\mathrm{pBinImg}\left[i\right]=\left\{\begin{array}{c}255,\mathrm{pDifImg}\left[i\right]>T\\ 0,\mathrm{pDifImg}\left[i\right]<T\end{array}\right.,i=0...W*H---\left(2\right)$

其中，

pBinImg[i]——某点分割结果；

T——分割阈值；

当所述像素点帧差结果大于设定的阈值T时，则将该点赋值为白点，即255，当该点帧差结果小于设定阈值T时，则将该点设置为黑点，即0；

其中T的取值根据多场景测试获得；

所述的基于卡尔曼滤波的车辆目标跟踪步骤包括步骤：获得运动车辆质心、建立运动模型、运动目标特征提取和更新状态向量，

所述的获得运动车辆质心的步骤包括：

逐行逐列扫描所述目标分割结果pBinImg，即分别横向及纵向累加其二值化结果，当结果满足式(3)时，即二值化累加结果由无到有，则确定有目标出现，记下该行位置k+1，作为目标的起始行位置y_istart，

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]=0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]>0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]>0\end{array}\right.---\left(3\right)$

当结果满足式(4)时，即二值化累加结果由有到无时，则表明目标消失，记下该行位置k+1，即为目标的终止行y_iend，同理，获得目标起始列x_istart及目标终止列x_iend，

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]>0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]=0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]=0\end{array}\right.---\left(4\right)$

获得运动车辆目标位置后，其质心位置计算方法如下：

$\left\{\begin{array}{c}x=\frac{x_{\mathrm{iend}}+x_{\mathrm{istart}}}{2}\\ y=\frac{y_{\mathrm{iend}}+y_{\mathrm{istart}}}{2}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}w=x_{\mathrm{iend}}-x_{\mathrm{istart}}\\ h=y_{\mathrm{iend}}-y_{\mathrm{istart}}\end{array}\right.---\left(6\right)$

式(5)和(6)中x、y为质心的横坐标及纵坐标，w、h为目标外接矩形的宽度及高度；

所述的建立运动模型步骤包括：

在获得了运动车辆目标质心及其外接矩形的宽度和宽度后，利用式(7)建立卡尔曼滤波理论运动模型，

s_t＝Fs_t-1+w_t-1

                (7)

z_t＝Hs_t+v_t

其中，s为系统状态向量，z为系统的观测向量，w_t-1和v_t分别为均值为0的高斯白噪声；

假设状态向量：

s_t＝[x_t,y_t,w_t,h_t,v_x,v_y]   (8)

观测向量：

z_t＝[x_t,y_t,w_t,h_t]   (9)

其中，x_t和y_t为运动车辆目标质心的横纵坐标，w_t和h_t为运动目标外接矩形的长和宽，v_x和v_y分别为运动车辆目标质心和外接矩形在x轴方向和y轴方向位移的速度；

将运动车辆目标近似为做匀速运动，假设速度为Δt，状态转移矩阵为

$F=\left[\begin{array}{cccccc}1& 0& 0& 0& \mathrm{\&Delta;t}& 0\\ 0& 1& 0& 0& 0& \mathrm{\&Delta;t}\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]---\left(10\right)$

观测矩阵为：

$H=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right]---\left(11\right)$

在建立了运动模型，定义了状态转移矩阵F，状态向量s_t和观测矩阵H后用卡尔曼滤波方法来预测运动车辆目标点质心和外接矩形的轨迹；

所述的运动目标特征提取步骤是选取两帧间运动车辆目标质心的距离函数、外接矩形的面积函数两者共同完成对运动目标特征的提取，即取，

第t帧的第m个运动目标的质心到第t+1帧第n个运动目标的质心的距离为：

$d=\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}---\left(12\right)$

第t帧的第m个运动目标的质心到第t+1帧第i个运动目标的质心的最大距离为：

$d_{\max }=\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}---\left(13\right)$

质心的距离函数为：

$L(m,n)=\frac{d}{d_{\max }}=\frac{\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}}{\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}}---\left(14\right)$

在对多目标跟踪时，因为运动目标的形变很微小或者没有，所以其外接矩形的面积也相对固定，通过对外接矩形的面积进行判断能很好的区分前后两帧运动物体是否为同一个，即

设第t帧的第m个运动目标外接矩形的面积与第t+1帧第n个运动目标外接矩形的面积差为：

$s=|s_t^m-s_{t+1}^n|---\left(15\right)$

第t帧的第m个运动目标外接矩形的面积与第t+1帧第i个运动目标外接矩形面积最大差为：

$s_{\max }=|s_t^m-s_{t+1}^i|---\left(16\right)$

外接矩形面积函数：

$s(m,n)=\frac{s}{s_{\max }}=\frac{|s_t^m-s_{t+1}^n|}{|s_t^m-s_{t+1}^i|}---\left(17\right)$

定义如下相似度函数：

G(m,n)＝αL(m,n)+βS(m,n)   (18)

其中α和β为权值，两者之和为1，

当G(m,n)越小两目标为同一物体的相似度越高；

所述的更新状态向量步骤包括：寻找相似度函数G(m,n)的最小值进行状态向量的更新，将下一帧中目标点的状态向量作为卡尔曼滤波器的输入，为预测下一帧该目标点的运动方向做准备，其中，

当第k时刻的目标a和第k+1时刻的目标b之间的相似度函数最小，则可确定这两个不同时刻的目标为同一目标，第k+1时刻目标b的特征值即可作为运动模型的输入；

所述的速度计算步骤包括获得轨迹相关点信息、建立映射关系、速度计算和速度校正步骤，

所述的轨迹相关点信息步骤将车辆目标运动轨迹由一系列表述运动目标的运动目标外接矩形的质心连接而成，其中，

记录视频各帧质心点空间坐标(position[i].x,position[i].y)及该点对应帧号F，获得像素坐标位置中某目标运动轨迹的距离及时间信息，通过建立像素坐标及实际坐标的映射关系表，获得某像素点对应的实际距离，进而计算出运动目标的速度。

所述的建立映射关系步骤包括标定映射点和建立映射表步骤，

所述的标定映射点，是通过确定摄像机的位置、内外参数和建立成像模型，来确定世界坐标系中的物体和它在图像平面上的成像之间的对应关系，

在实际应用场景中，由于车道分割线间距离已知，因此可通过对已知点进行标定，结合摄像机成像原理，进而获得所需映射关系；

所述的建立映射表，即

设某点在世界坐标系中的坐标为W(X,Y,Z)，由于相似三角形的比例关系可得其投影点I(x,y)，其中

$x=\frac{f*X}{f-Z},y=\frac{f*Y}{f-Z}---\left(19\right)$

f为投影点与世界坐标系的交点坐标；

式(19)中包含了变量的除法运算，属于非线性变换，当引入齐次坐标将其转换成线性矩阵进行计算，由此得出齐次坐标矩阵如式(20)

$Z\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(20\right)$

在车辆速度计算过程中，不需要知道车辆的高度信息，故将式(20)简化，得到如下的变换矩阵

$K\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ a_{20}& a_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(21\right)$

通过式(21)可获得世界坐标系中点(X,Y)的坐标表达式为

$\left\{\begin{array}{c}X=\frac{a_{00}x+a_{01}y+a_{02}}{a_{20}x+a_{21}y+1}\\ Y=\frac{a_{10}x+a_{11}y+a_{12}}{a_{20}x+a_{21}y+1}\end{array}\right.---\left(22\right)$

将已知距离点在图像坐标系中像素坐标及世界坐标系中的实际距离代入式(22)，求出像素距离与实际距离的映射关系，由此建立两坐标系对应关系表，即映射表MapTable[IMAGE_SIZE]，其中IMAGE_SIZE为图像宽度与高度的乘积，在后续计算过程中，当输入需要查询的目标点的像素坐标即可获得该点对应的实际距离；

所述的速度计算步骤是将运动车辆目标轨迹中各点空间位置代入所述的映射关系表上表，获得轨迹中各目标质心特征点代表的实际距离，

$\left\{\begin{array}{c}{\mathrm{Dis}}_i\left[i\right].x=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].x\\ {\mathrm{Dis}}_i\left[i\right].y=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].y\end{array}\right.---\left(23\right)$

其中，Dis_i[i].x、Dis_i[i].y为某点横向及纵向对应的实际距离，MapTable即为所述建立的映射表；

在直角坐标系中，用(x,y)描述跟踪点的空间位置，则通过运动目标跟踪轨迹起点及终点相关信息获取目标运动轨迹，设某目标起点为A,终点为B则可得如下信息：

$\left\{\begin{array}{c}{v}_x=\frac{X_B-X_A}{t}\\ v_y=\frac{Y_B-Y_A}{t}\\ t=\frac{F_B-F_A}{f}\end{array}\right.---\left(24\right)$

式(24)中，X及Y的值通过查找映射表获得，F为某点对应的帧号，f为采样频率即为25帧/s，

由式(24)获得运动目标的运动速度

$v=\sqrt{v_x^2+v_y^2}---\left(25\right)$

所述的速度校正步骤是当在某场景中如果计算出的车速普遍偏大或普遍偏小，则可能由于映射关系在计算过程中存在偏差，最终造成车辆速度不准确，故可根据实际情况对测得的速度进行校正，即

$v=\sqrt{v_x^2+v_y^2}+\mathrm{\&Delta;v}---\left(26\right)$

Δv为车速实际差。

所述的卡尔曼滤波方法的具体步骤如下：

(1)起始跟踪

a.初始化所有设置，扫描图像确定所有运动目标，并为每个目标建立跟踪窗口；

b.如果当前图像不是起始帧，对没有对应跟踪窗口的目标认定为新出现的目标，并建立跟踪窗口进行跟踪；

(2)目标轨迹关联

a.预测运动区域：在输入目标的状态向量后，启动卡尔曼滤波，对目标可能的运动区域进行预测；

b.计算相似度函数：在区域内将相似度函数最小的目标作为上一帧目标的延续；

c.精确判断：计算两待定目标的质心距离d和阈值λ的关系，确定待定目标是否为上一帧目标的延续；

如果d>λ，说明待定目标与上一帧运动目标非同一目标。则可能为上一帧的运动目标在该帧静止或上一帧运动目标离开了视频区域；

如果d<λ，则可以确定待定目标与上一帧目标为同一目标，可进行特征值的更新；

λ取值根据实际情况，取5个像素点；

(3)进入下一帧后，重复步骤(1)和(2)的处理过程，直到视频结束。

与现有技术相比，采用本发明具有以下的技术效果：

1、建立二维映射关系

目前较多的映射关系多为建立一维映射，即仅寻找像素坐标点与世界坐标系中纵坐标的对应关系。本发明通过摄像机成像原理及齐次方程建立某像素点与世界坐标系中横向及纵向的对应关系，获得更多的信息，为后续算法处理提供更高的准确率。

2、多特征跟踪

以往的目标跟踪系统往往选取一个特征进行提取，这样虽然能完成对目标的跟踪，但在同一场景中运动目标太多或运动轨迹太复杂的情况下会出现跟踪出错的情况。本发明选用两帧间质心的距离函数、外接矩形的面积函数两者共同完成多特征的目标跟踪方法，能够避免上述问题，提高目标跟踪的准确性。

3、强适应性检测

本发明利用基于跟踪的速度检测方法，由于跟踪算法的强适应性，有效克服了光线、抖动等环境条件对检测的干扰，同时映射关系采用二维映射，减少了获取距离时的误差，提高了速度计算的准确性。

附图说明

图1为本发明的速度检测方法原理流程示意图；

图2为本发明实施例中采用帧差法目标分割结果；

图3为本发明实施例中卡尔曼滤波的视频跟踪算法流程图；

图4为本发明实施例中卡尔曼滤波法获得的目标运动轨迹；

图5为本发明实施例中摄像机成像模型；

图6为本发明实施例中映射点标定；

图7为本发明实施例中纵坐标映射结果。

具体实施方式

本发明的基于目标运动轨迹的车辆速度检测方法，该方法包括3个步骤，依次为目标分割、基于卡尔曼滤波的目标跟踪和速度计算。具体实现如下：

一、目标分割

本方法采用帧间差分法及固定阈值法进行运动目标分割，其主要实现过程如下：

1帧间差分法

所谓帧间差分法是指通过视频图像序列中相邻数帧中对应像素点进行差分运算来获得运动目标轮廓的方法，其算法实现如下：

pDifImg[i]＝abs(pNowImg[i]-pBefImg[i]),i＝0...W*H   (1)

上式中，

pDifImg[i]——帧差结果灰度值；

pNowImg[i]——当前帧图像灰度值；

pBefImg[i]——前N帧图像灰度值；

W——图像宽度；

H——图像高度。

其中N的取值可根据实际情况选取，当N取值过小时，目标位移较小且计算量较大，不利于实时性检测；当N值过大时，目标位移较大，可能出现驶出检测视野的情况，本方法经过大量数据实验，发现当N＝3时具有较好的差分结果，故本方法中取N为3。

2固定阈值分割

目标分割过程中，可以采用动态阈值法或固定阈值法进行运动目标分割。动态阈值法每帧选取不同阈值进行目标分割，计算量较大。本发明应用的领域中，对实时性具有较高的要求，且针对实际情况采用固定阈值的目标分割方法足以满足需求，该方法具体实现过程如下：

$\mathrm{pBinImg}\left[i\right]=\left\{\begin{array}{c}255,\mathrm{pDifImg}\left[i\right]>T\\ 0,\mathrm{pDifImg}\left[i\right]<T\end{array}\right.,i=0...W*H---\left(2\right)$

上式中，

pBinImg[i]——某点分割结果；

T——分割阈值。

当该点帧差结果大于设定的阈值T时，则将该点赋值为白点，即255，当该点帧差结果小于设定阈值T时，则将该点设置为黑点，即0。其中T的取值根据多场景测试获得，本方法中取值50。使用该方法的目标分割结果如图2所示。

二基于卡尔曼滤波的目标跟踪

1获得质心

逐行逐列扫描上述目标分割结果pBinImg，即分别横向及纵向累加其二值化结果，当结果满足式(3)时，即二值化累加结果由无到有，则确定有目标出现，记下该行位置k+1，作为目标的起始行位置y_istart。

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]=0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]>0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]>0\end{array}\right.---\left(3\right)$

当结果满足式(4)时，即二值化累加结果由有到无时，则表明目标消失，记下该行位置k+1，即为目标的终止行y_iend，同理，获得目标起始列x_istart及目标终止列x_iend。

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]>0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]=0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]=0\end{array}\right.---\left(4\right)$

获得目标位置后，其质心位置计算方法如下：

$\left\{\begin{array}{c}x=\frac{x_{\mathrm{iend}}+x_{\mathrm{istart}}}{2}\\ y=\frac{y_{\mathrm{iend}}+y_{\mathrm{istart}}}{2}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}w=x_{\mathrm{iend}}-x_{\mathrm{istart}}\\ h=y_{\mathrm{iend}}-y_{\mathrm{istart}}\end{array}\right.---\left(6\right)$

上式中x、y为质心的横坐标及纵坐标，w、h为目标外接矩形的宽度及高度。

2建立运动模型

获得了运动目标质心及其外接矩形的宽度和宽度后，就可以利用下式建立卡尔曼滤波理论运动模型，

s_t＝Fs_t-1+w_t-1

                 (7)

z_t＝Hs_t+v_t

其中，s为系统状态向量，z为系统的观测向量，w_t-1和v_t分别为均值为0的高斯白噪声。

假设状态向量：

s_t＝[x_t,y_t,w_t,h_t,v_x,v_y]   (8)

观测向量：

z_t＝[x_t,y_t,w_t,h_t]   (9)

其中，x_t和y_t为运动目标质心的横纵坐标，w_t和h_t为运动目标外接矩形的长和宽，v_x和v_y分别为质心和外接矩形在x轴方向和y轴方向位移的速度。

由于本方法采用相邻3帧进行帧间差分法分割运动目标，故可近似认为目标做匀速运动，假设速度为Δt。如状态转移矩阵为

$F=\left[\begin{array}{cccccc}1& 0& 0& 0& \mathrm{\&Delta;t}& 0\\ 0& 1& 0& 0& 0& \mathrm{\&Delta;t}\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]---\left(10\right)$

观测矩阵为：

$H=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right]---\left(11\right)$

建立好运动模型，定义了状态转移矩阵F，状态向量s_t和观测矩阵H就可以用卡尔曼滤波方法来预测运动目标点质心和外接矩形的轨迹，进而实现运动目标的跟踪。

3运动目标特征提取

本方法选取两帧间质心的距离函数、外接矩形的面积函数两者共同完成对运动目标特征的提取。

第t帧的第m个运动目标的质心到第t+1帧第n个运动目标的质心的距离为：

$d=\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}---\left(12\right)$

第t帧的第m个运动目标的质心到第t+1帧第i个运动目标的质心的最大距离为：

$d_{\max }=\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}---\left(13\right)$

质心的距离函数为：

$L(m,n)=\frac{d}{d_{\max }}=\frac{\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}}{\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}}---\left(14\right)$

在对多目标跟踪时，运动目标的形变很微小或者没有所以其外接矩形的面积也相对固定，通过对外接矩形的面积进行判断能很好的区分前后两帧运动物体是否为同一个。

设第t帧的第m个运动目标外接矩形的面积与第t+1帧第n个运动目标外接矩形的面积差为：

$s=|s_t^m-s_{t+1}^n|---\left(15\right)$

第t帧的第m个运动目标外接矩形的面积与第t+1帧第i个运动目标外接矩形面积最大差为：

$s_{\max }=|s_t^m-s_{t+1}^i|---\left(16\right)$

外接矩形面积函数：

$s(m,n)=\frac{s}{s_{\max }}=\frac{|s_t^m-s_{t+1}^n|}{|s_t^m-s_{t+1}^i|}---\left(17\right)$

定义如下相似度函数：

G(m,n)＝αL(m,n)+βS(m,n)   (18)

其中α和β为权值，两者之和为1。由上述质心距离和外接矩形函数定义可知，G(m,n)越小两目标为同一物体的相似度越高。

4更新状态向量

本方法通过寻找相似度函数G(m,n)的最小值进行状态向量的更新，将下一帧中目标点的状态向量作为卡尔曼滤波器的输入，为预测下一帧该目标的运动方向做准备。

在计算过程中，当第k时刻的目标a和第k+1时刻的目标b之间的相似度函数最小，则可确定这两个不同时刻的目标为同一目标，所以第k+1时刻目标b的特征值即可作为运动模型的输入。

使用卡尔曼滤波的视频跟踪算法流程如图3所示。

算法具体实现步骤如下：

(1)起始跟踪

a.初始化所有设置，扫描图像确定所有运动目标，并为每个目标建立跟踪窗口；

b.如果当前图像不是起始帧，对没有对应跟踪窗口的目标认定为新出现的目标，并建立跟踪窗口进行跟踪。

(2)目标轨迹关联

a.预测运动区域：在输入目标的状态向量后，启动卡尔曼滤波，对目标可能的运动区域进行预测；

b.计算相似度函数：在区域内将相似度函数最小的目标作为上一帧目标的延续；

c.精确判断：计算两待定目标的质心距离d和阈值λ的关系，确定待定目标是否为上一帧目标的延续。

如果d>λ，说明待定目标与上一帧运动目标非同一目标。则可能为上一帧的运动目标在该帧静止或上一帧运动目标离开了视频区域。

如果d<λ，则可以确定待定目标与上一帧目标为同一目标，可进行特征值的更新。

λ取值根据实际情况，取5个像素点。

(3)进入下一帧后，重复步骤(1)和(2)的处理过程，直到视频结束。

使用该方法进行视频跟踪结果如图4所示。

三速度计算

1获得轨迹相关点信息

采用视频跟踪技术获得的目标运动轨迹是由一系列可以表述运动目标的特征点连接而成，上述跟踪方法中特征点是指目标外接矩形的质心。

在跟踪过程中记录各帧质心点空间坐标(position[i].x,position[i].y)及该点对应帧号F，则获得了像素坐标位置中某目标运动轨迹的距离及时间信息，在后续介绍中，通过建立像素坐标及实际坐标的映射关系表，即可获得某像素点对应的实际距离，进而计算出运动目标的速度。

2建立映射关系

1)标定映射点

标定映射点是指通过确定摄像机的位置、内外参数和建立成像模型，来确定世界坐标系中的物体和它在图像平面上的成像之间的对应关系。摄像机成像模型如图5所示。本方法利用摄像机的透视关系，几何推导出摄像机的图像坐标与实际坐标系的转换关系式。

在实际应用场景中，由于车道分割线间距离已知，因此可通过对已知点进行标定，结合摄像机成像原理，进而获得所需映射关系。某场景如图6所示，图中AB＝BC＝CD＝DE＝a，其中a的取值根据道路实际情况可能为6米、12米或15米，AA'＝BB'＝CC'＝DD'＝EE'＝b，其中b的取值根据国家对公路机动车道的宽度标准为3.5米—3.75米。即图像坐标中AA'、BB'、CC'、DD'、EE'、AB、BC、CD、DE及各点坐标位置已知，故找到其中对应关系即可求出所需的映射表。

2)建立映射表

设某点在世界坐标系中的坐标为W(X,Y,Z)，由于相似三角形的比例关系可得其投影点I(x,y)，其中

$x=\frac{f*X}{f-Z},y=\frac{f*Y}{f-Z}---\left(19\right)$

f为投影点与世界坐标系的交点坐标。

上式中由于包含了变量的除法运算，故其属于非线性变换，因此引入齐次坐标将其转换成线性矩阵进行计算。由此得出齐次坐标矩阵如下式

$Z\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(20\right)$

由于本方法中车辆速度计算过程中，不需要知道车辆的高度信息，故可将上式简化，得到如下的变换矩阵

$K\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ a_{20}& a_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(21\right)$

通过上式可获得世界坐标系中点(X,Y)的坐标表达式为

$\left\{\begin{array}{c}X=\frac{a_{00}x+a_{01}y+a_{02}}{a_{20}x+a_{21}y+1}\\ Y=\frac{a_{10}x+a_{11}y+a_{12}}{a_{20}x+a_{21}y+1}\end{array}\right.---\left(22\right)$

由图6及上述关系式，可将已知距离点在图像坐标系中像素坐标及世界坐标系中的实际距离代入上式，即可求出像素距离与实际距离的映射关系，由此可建立两坐标系对应关系表，即映射表MapTable[IMAGE_SIZE]，其中IMAGE_SIZE为图像宽度与高度的乘积，在后续计算过程中，仅需输入查询点的像素坐标即可获得该点对应的实际距离。由于式(22)中含有8个未知数，故在计算过程中至少代入4个已知点坐标进行求解，当代入点数量超过4个时，可通过拟合获得相应的数据，以提高计算精度。

使用该标定方法的特点是可同时获得图像中某点对应的横坐标及纵坐标信息，即获得二维映射关系，相比传统的获得一维映射关系有所改进。使用该方法对720*288大小的视频图像进行测试，其纵坐标计算结果如图7所示，从图中可以看出随着测试点逐渐远离视场，其对应的实际距离逐渐增大，与实际情况相符。

3速度计算

通过上述方法建立的映射关系表，将轨迹中各点空间位置代入上表，则可获得轨迹中各特征点代表的实际距离

$\left\{\begin{array}{c}{\mathrm{Dis}}_i\left[i\right].x=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].x\\ {\mathrm{Dis}}_i\left[i\right].y=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].y\end{array}\right.---\left(23\right)$

其中，Dis_i[i].x、Dis_i[i].y为某点横向及纵向对应的实际距离，MapTable即为上述建立过的映射表。

在直角坐标系中，用(x,y)描述跟踪点的空间位置，则通过运动目标跟踪轨迹起点及终点相关信息获取目标运动轨迹，设某目标起点为A,终点为B则可得如下信息：

$\left\{\begin{array}{c}{v}_x=\frac{X_B-X_A}{t}\\ v_y=\frac{Y_B-Y_A}{t}\\ t=\frac{F_B-F_A}{f}\end{array}\right.---\left(24\right)$

上式中，X及Y的值通过查找映射表获得，F为某点对应的帧号，f为采样频率即为25帧/s。

由上式可获得运动目标的运动速度

$v=\sqrt{v_x^2+v_y^2}---\left(25\right)$

4速度校正

在某场景中如果计算出的车速普遍偏大或普遍偏小，则可能由于映射关系在计算过程中存在偏差，最终造成车辆速度不准确，故可根据实际情况对测得的速度进行校正，即

$v=\sqrt{v_x^2+v_y^2}+\mathrm{\&Delta;v}---\left(26\right)$

Δv为车速实际差。

Claims (2)

1.一种基于目标运动轨迹的车辆速度检测方法，其特征在于，所述的检测方法采用道路监控视频图像对车辆速度进行检测，包括的步骤，依次为车辆目标分割、基于卡尔曼滤波的车辆目标跟踪和车辆速度计算，

所述的车辆目标分割步骤包括用帧间差分法及固定阈值法进行运动目标分割，

所述的帧间差分法是指通过视频图像序列中相邻数帧中对应像素点进行差分运算来获得运动车辆目标轮廓的方法，其算法实现如下：

pDifImg[i]＝abs(pNowImg[i]-pBefImg[i]),i＝0...W*H   (1)

其中，

pDifImg[i]——帧差结果灰度值；

pNowImg[i]——当前帧图像灰度值；

pBefImg[i]——前N帧图像灰度值；

W——图像宽度；

H——图像高度。；

其中N＝3；

所述的固定阈值法的算法如下：

$\mathrm{pBinImg}\left[i\right]=\left\{\begin{array}{c}255,\mathrm{pDifImg}\left[i\right]>T\\ 0,\mathrm{pDifImg}\left[i\right]<T\end{array}\right.,i=0...W*H---\left(2\right)$

其中，

pBinImg[i]——某点分割结果；

T——分割阈值；

当所述像素点帧差结果大于设定的阈值T时，则将该点赋值为白点，即255，当该点帧差结果小于设定阈值T时，则将该点设置为黑点，即0；

其中T的取值根据多场景测试获得；

所述的基于卡尔曼滤波的车辆目标跟踪步骤包括：获得运动车辆质心、建立运动模型、运动目标特征提取和更新状态向量，

所述的获得运动车辆质心的步骤包括：

逐行逐列扫描所述目标分割结果pBinImg，即分别横向及纵向累加其二值化结果，当结果满足式(3)时，即二值化累加结果由无到有，则确定有目标出现，记下该行位置k+1，作为目标的起始行位置y_istart，

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]=0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]>0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]>0\end{array}\right.---\left(3\right)$

当结果满足式(4)时，即二值化累加结果由有到无时，则表明目标消失，记下该行位置k+1，即为目标的终止行y_iend，同理，获得目标起始列x_istart及目标终止列x_iend，

$\left\{\begin{array}{c}\underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_k\left[i\right]>0\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}\mathrm{pBinIm}{g}_{k+1}\left[i\right]=0,k=\mathrm{0,1},...,H-2\\ \underset{i=0}{\overset{W}{\mathrm{\&Sigma;}}}p{\mathrm{BinImg}}_{k+2}\left[i\right]=0\end{array}\right.---\left(4\right)$

获得运动车辆目标位置后，其质心位置计算方法如下：

$\left\{\begin{array}{c}x=\frac{x_{\mathrm{iend}}+x_{\mathrm{istart}}}{2}\\ y=\frac{y_{\mathrm{iend}}+y_{\mathrm{istart}}}{2}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}w=x_{\mathrm{iend}}-x_{\mathrm{istart}}\\ h=y_{\mathrm{iend}}-y_{\mathrm{istart}}\end{array}\right.---\left(6\right)$

式(5)和(6)中x、y为质心的横坐标及纵坐标，w、h为目标外接矩形的宽度及高度；

所述的建立运动模型步骤包括：

在获得了运动车辆目标质心及其外接矩形的宽度和宽度后，利用式(7)建立卡尔曼滤波理论运动模型，

s_t＝Fs_t-1+w_t-1

                            (7)

z_t＝Hs_t+v_t

其中，s为系统状态向量，z为系统的观测向量，w_t-1和v_t分别为均值为0的高斯白噪声；

假设状态向量：

s_t＝[x_t,y_t,w_t,h_t,v_x,v_y]   (8)

观测向量：

z_t＝[x_t,y_t,w_t,h_t]   (9)

其中，x_t和y_t为运动车辆目标质心的横纵坐标，w_t和h_t为运动目标外接矩形的长和宽，v_x和v_y分别为运动车辆目标质心和外接矩形在x轴方向和y轴方向位移的速度；

将运动车辆目标近似为做匀速运动，假设速度为Δt，状态转移矩阵为

$F=\left[\begin{array}{cccccc}1& 0& 0& 0& \mathrm{\&Delta;t}& 0\\ 0& 1& 0& 0& 0& \mathrm{\&Delta;t}\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]---\left(10\right)$

观测矩阵为：

$H=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right]---\left(11\right)$

在建立了运动模型，定义了状态转移矩阵F，状态向量s_t和观测矩阵H后用卡尔曼滤波方法来预测运动车辆目标点质心和外接矩形的轨迹；

所述的运动目标特征提取步骤是选取两帧间运动车辆目标质心的距离函数、外接矩形的面积函数两者共同完成对运动目标特征的提取，

第t帧的第m个运动目标的质心到第t+1帧第n个运动目标的质心的距离为：

$d=\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}---\left(12\right)$

第t帧的第m个运动目标的质心到第t+1帧第i个运动目标的质心的最大距离为：

$d_{\max }=\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}---\left(13\right)$

质心的距离函数为：

$L(m,n)=\frac{d}{d_{\max }}=\frac{\sqrt{{(x_t^m-x_{t+1}^n)}^2+{(y_t^m-y_{t+1}^n)}^2}}{\sqrt{{(x_t^m-x_{t+1}^i)}^2+{(y_t^m-y_{t+1}^i)}^2}}---\left(14\right)$

在对多目标跟踪时，因为运动目标的形变很微小或者没有，所以其外接矩形的面积也相对固定，通过对外接矩形的面积进行判断能很好的区分前后两帧运动物体是否为同一个，即

设第t帧的第m个运动目标外接矩形的面积与第t+1帧第n个运动目标外接矩形的面积差为：

$s=|s_t^m-s_{t+1}^n|---\left(15\right)$

第t帧的第m个运动目标外接矩形的面积与第t+1帧第i个运动目标外接矩形面积最大差为：

$s_{\max }=|s_t^m-s_{t+1}^i|---\left(16\right)$

外接矩形面积函数：

$s(m,n)=\frac{s}{s_{\max }}=\frac{|s_t^m-s_{t+1}^n|}{|s_t^m-s_{t+1}^i|}---\left(17\right)$

定义如下相似度函数：

G(m,n)＝αL(m,n)+βS(m,n)   (18)

其中α和β为权值，两者之和为1，

当G(m,n)越小两目标为同一物体的相似度越高；

所述的更新状态向量步骤包括：寻找相似度函数G(m,n)的最小值进行状态向量的更新，将下一帧中目标点的状态向量作为卡尔曼滤波器的输入，为预测下一帧该目标点的运动方向做准备，其中，

当第k时刻的目标a和第k+1时刻的目标b之间的相似度函数最小，则可确定这两个不同时刻的目标为同一目标，第k+1时刻目标b的特征值即可作为运动模型的输入；

所述的速度计算步骤包括获得轨迹相关点信息、建立映射关系、速度计算和速度校正步骤，

所述的轨迹相关点信息步骤将车辆目标运动轨迹由一系列表述运动目标的运动目标外接矩形的质心连接而成，其中，

记录视频各帧质心点空间坐标(position[i].x,position[i].y)及该点对应帧号F，获得像素坐标位置中某目标运动轨迹的距离及时间信息，通过建立像素坐标及实际坐标的映射关系表，获得某像素点对应的实际距离，进而计算出运动目标的速度。

所述的建立映射关系步骤包括标定映射点和建立映射表步骤，

所述的标定映射点，是通过确定摄像机的位置、内外参数和建立成像模型，来确定世界坐标系中的物体和它在图像平面上的成像之间的对应关系，

在实际应用场景中，由于车道分割线间距离已知，因此可通过对已知点进行标定，结合摄像机成像原理，进而获得所需映射关系；

所述的建立映射表，即

设某点在世界坐标系中的坐标为W(X,Y,Z)，由于相似三角形的比例关系可得其投影点I(x,y)，其中

$x=\frac{f*X}{f-Z},y=\frac{f*Y}{f-Z}---\left(19\right)$

f为投影点与世界坐标系的交点坐标；

式(19)中包含了变量的除法运算，属于非线性变换，当引入齐次坐标将其转换成线性矩阵进行计算，由此得出齐次坐标矩阵如式(20)

$Z\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(20\right)$

在车辆速度计算过程中，不需要知道车辆的高度信息，故将式(20)简化，得到如下的变换矩阵

$K\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ a_{20}& a_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(21\right)$

通过式(21)可获得世界坐标系中点(X,Y)的坐标表达式为

$\left\{\begin{array}{c}X=\frac{a_{00}x+a_{01}y+a_{02}}{a_{20}x+a_{21}y+1}\\ Y=\frac{a_{10}x+a_{11}y+a_{12}}{a_{20}x+a_{21}y+1}\end{array}\right.---\left(22\right)$

将已知距离点在图像坐标系中像素坐标及世界坐标系中的实际距离代入式(22)，求出像素距离与实际距离的映射关系，由此建立两坐标系对应关系表，即映射表MapTable[IMAGE_SIZE]，其中IMAGE_SIZE为图像宽度与高度的乘积，在后续计算过程中，当输入需要查询的目标点的像素坐标即可获得该点对应的实际距离；

所述的速度计算步骤是将运动车辆目标轨迹中各点空间位置代入所述的映射关系表上表，获得轨迹中各目标质心特征点代表的实际距离，

$\left\{\begin{array}{c}{\mathrm{Dis}}_i\left[i\right].x=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].x\\ {\mathrm{Dis}}_i\left[i\right].y=\mathrm{MapTable}\left[\mathrm{position}\right[i].y*\mathrm{width}+\mathrm{position}[i].x].y\end{array}\right.---\left(23\right)$

其中，Dis_i[i].x、Dis_i[i].y为某点横向及纵向对应的实际距离，MapTable即为所述建立的映射表；

在直角坐标系中，用(x,y)描述跟踪点的空间位置，则通过运动目标跟踪轨迹起点及终点相关信息获取目标运动轨迹，设某目标起点为A,终点为B则可得如下信息：

$\left\{\begin{array}{c}{v}_x=\frac{X_B-X_A}{t}\\ v_y=\frac{Y_B-Y_A}{t}\\ t=\frac{F_B-F_A}{f}\end{array}\right.---\left(24\right)$

式(24)中，X及Y的值通过查找映射表获得，F为某点对应的帧号，f为采样频率即为25帧/s，

由式(24)获得运动目标的运动速度

$v=\sqrt{v_x^2+v_y^2}---\left(25\right)$

所述的速度校正步骤是当在某场景中如果计算出的车速普遍偏大或普遍偏小，则可能由于映射关系在计算过程中存在偏差，最终造成车辆速度不准确，故可根据实际情况对测得的速度进行校正，即

$v=\sqrt{v_x^2+v_y^2}+\mathrm{\&Delta;v}---\left(26\right)$

Δv为车速实际差。

2.如权利要求1所述的基于目标运动轨迹的车辆速度检测方法，其特征在于，所述的卡尔曼滤波方法的具体步骤如下：

(1)起始跟踪

a.初始化所有设置，扫描图像确定所有运动目标，并为每个目标建立跟踪窗口；

b.如果当前图像不是起始帧，对没有对应跟踪窗口的目标认定为新出现的目标，并建立跟踪窗口进行跟踪；

(2)目标轨迹关联

a.预测运动区域：在输入目标的状态向量后，启动卡尔曼滤波，对目标可能的运动区域进行预测；

b.计算相似度函数：在区域内将相似度函数最小的目标作为上一帧目标的延续；

c.精确判断：计算两待定目标的质心距离d和阈值λ的关系，确定待定目标是否为上一帧目标的延续；

如果d>λ，说明待定目标与上一帧运动目标非同一目标。则可能为上一帧的运动目标在该帧静止或上一帧运动目标离开了视频区域；

如果d<λ，则可以确定待定目标与上一帧目标为同一目标，可进行特征值的更新；

λ取值根据实际情况，取5个像素点；

(3)进入下一帧后，重复步骤(1)和(2)的处理过程，直到视频结束。