CN105354857A - 一种有立交桥遮挡的车辆轨迹匹配方法 - Google Patents

Abstract

本发明公开了一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，包括(1)检测立交桥边界，确定立交桥区域，利用Sobel边缘检测结合霍夫变换确定立交桥边缘；(2)对跟踪车辆提取梯度方向直方图特征，作为该车辆的模板特征；(3)根据当前跟踪车辆的行驶速度，估算出其行驶出立交桥的时间区间；(4)在立交桥的另一侧检测对应的跟踪车辆；本发明通过立交桥区域的检测，明确了车辆的驶出区域，进而缩小了驶出立交桥车辆的检测范围，降低了检测时间，同时得到的立交桥宽度数据可以用来估算车辆驶出立交桥的时间。

Description

一种有立交桥遮挡的车辆轨迹匹配方法

技术领域

本发明涉及一种有立交桥遮挡的车辆轨迹匹配方法，属于计算机视觉与数字图像处理技术领域。

背景技术

在城市交通问题的研究中，道路车流量数据、车辆时空轨迹数据对于探索车辆在城市道路中的运行规律，解决城市交通问题具有重要意义。随着无人机在民用市场的开放，利用无人机监控城市道路交通运行状况具有很大优势。无人机高空拍摄覆盖范围广，直观呈现交通运行状态，且采集并保存的道路交通运行视频对于提取车辆时空轨迹数据具有重大价值。但在城市路网中，立交桥的存在阻断了车辆在航拍视频中跟踪的连续性。车辆在驶入立交桥下后消失在画面中，此时目标丢失，当驶出立交桥后，车辆又重新出现在画面中。如何解决有立交桥遮挡的车辆轨迹匹配算法，对于精确统计车流量、保持车辆跟踪的连续性、提取连续的车辆时空轨迹数据至关重要。

发明内容

本发明所要解决的技术问题是提供一种能够解决有立交桥遮挡情况下的道路航拍视频车辆轨迹匹配方法。

一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，包括以下步骤：

(1)检测立交桥边界，确定立交桥区域，利用Sobel边缘检测结合霍夫变换确定立交桥边缘；

(2)对跟踪车辆提取梯度方向直方图(HOG)特征，作为该车辆的模板特征；

(3)根据当前跟踪车辆的行驶速度，估算出其行驶出立交桥的时间区间；

(4)在立交桥的另一侧检测对应的跟踪车辆。在立交桥的另一侧设定搜索区域，当视频处于步骤(3)估算出的车辆驶出时间区间时，在搜索区域内利用滑动窗口法结合模板匹配技术检测对应的跟踪车辆，将检测到的车辆坐标与之前驶入立交桥的坐标串联起来，实现车辆轨迹的匹配。

步骤(1)中所述的检测立交桥边界的具体步骤如下：

1a)根据车辆行驶方向确定Sobel边缘检测卷积模板。由于立交桥边缘方向与车辆行驶方向垂直，故若在航拍视频中车辆行驶方向为水平方向时(水平方向是指与航拍视频图像水平边缘平行的车辆行驶方向)，Sobel算子的卷积模板G_x为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

若航拍视频中车辆行驶方向为竖直方向时，Sobel算子的卷积模板G_y为：

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

1b)利用Sobel算子检测立交桥边缘，确定立交桥区域。对视频的一帧f(x,y)利用步骤1a)确定的卷积模板进行卷积运算，设定边缘阈值T得到边缘灰度图G：

G＝G_x*forG＝G_y*f

1c)将边缘灰度图利用Otsu阈值分割法转化为二值图像，采用霍夫变换检测直线，计算检测到直线的长度l_i，若l_i大于图像宽度的1/2，则该直线处于立交桥的边缘。将所有满足条件的直线延长，最终确定立交桥区域的边缘。

步骤(2)中所述的提取梯度方向直方图(HOG)特征的具体步骤如下：

2a)对待跟踪车辆图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到每个像素点的X、Y方向的梯度幅值G_x、G_y，则该像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；

2b)将待跟踪车辆图像整体划分成相同大小的单元格(Cell)，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图向量，方法为：

每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；如：一个单元格中的某个像素的梯度方向是10°，那么它属于0°～20°区间，在该区间上加上像素的梯度值，统计单元格内的所有像素，从而构成梯度方向直方图向量，是9维的，9个区间。随后将像素的梯度方向D映射到9个区间上，并以梯度幅值作为权值，构成单元格的梯度方向直方图向量H_i＝[h₁,h₂,...h₈,h₉]，其中h_i为每个区间的权值；

2c)将待跟踪车辆图像整体划分成包含多个相邻单元格的相同大小的矩形区块(Block)，区块间可以重叠。将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，n为区块内单元格的数量，采用L2-Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量F_i＝[f_i,f₂,...,f_m]，其中m＝n×9.

2d)将待跟踪车辆图像中所有的区块特征向量F_i串联起来构成梯度方向直方图特征向量，即所跟踪车辆的模板特征向量V_f；

步骤(3)中所述的估算车辆行驶出立交桥的时间区间的具体方法如下：

由车辆的跟踪数据可以实时估算出车辆在驶入桥下时的行驶速度v(pixels/frame)与加速度a(pixels/frame²)。假设车辆在立交桥下做匀加速运动，即以初始速度v、加速度a驶过桥下，根据步骤(1)得到的立交桥边缘直线，可以计算出桥宽为s，那么依据s＝vt+0.5at²可计算出驶出时刻t。将区间[t-fps,t+fps]作为车辆行驶出立交桥的时间区间，其中fps(frames/s)为视频的帧率。

步骤(4)中所述的检测对应跟踪车辆的具体步骤如下：

4a)在立交桥车辆驶出的一侧设定搜索区域；

4b)利用滑动窗口法遍历搜索区域，利用步骤(2)所述方法提取每个窗口的梯度方向直方图(HOG)特征向量

4c)计算模板特征向量V_f与滑动窗口特征向量的相似度d：

$d=1-\frac{\left|\right|V_f-V_f^i|{|}_{L2}}{\left|\right|V_f|{|}_{L2}}$

其中表示对向量V_f与的差采用L2-Norm的方式进行归一化，而||V_f||_L2表示对向量V_f本身进行L2-Norm归一化。

相似度最大的窗口即为所跟踪的车辆，将检测到的车辆坐标与驶入立交桥时的坐标串联起来实现跟踪车辆轨迹的匹配。

本发明的优点在于：

(1)本发明针对道路航拍视频中出现的立交桥遮挡影响车辆跟踪连续性的问题，通过在立交桥的另一侧检测对应的车辆，最后将坐标串联起来，实现了车辆轨迹的精确匹配，解决了立交桥的遮挡，保证了车辆跟踪的连续性；

(2)本发明采用基于梯度方向直方图特征(HOG)的模板匹配技术，通过提取滑动窗口内图像的HOG特征向量，与对应的车辆模板HOG特征向量进行匹配比对实现了对特定车辆的精确定位，提高了轨迹匹配的准确性与稳定性；

(3)本发明通过立交桥区域的检测，明确了车辆的驶出区域，进而缩小了驶出立交桥车辆的检测范围，降低了检测时间，同时得到的立交桥宽度数据可以用来估算车辆驶出立交桥的时间；

(4)本发明通过估算车辆驶出立交桥的时间，避免了相同车型的干扰，保证了车辆轨迹的正确匹配，提高了算法整体的鲁棒性。

附图说明

图1是本发明实施例提供的有立交桥遮挡的车辆轨迹匹配方法流程图；

图2是本发明实施例中检测立交桥边界的示意图；

图3是本发明实施例中提取车辆梯度方向直方图特征示意图；

图4是本发明实施例中在搜索区域内进行特征模板匹配的示意图；

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

图1展示了本发明提供的一种针对道路航拍视频的有立交桥遮挡的车辆轨迹匹配算法的执行流程图。在本发明中，车辆轨迹匹配指的是把同一车辆在驶入立交桥前的坐标和驶出立交桥的坐标连接起来，保证车辆轨迹跟踪的连续性，同时也确保车流量统计的正确。其中的关键技术在于如何能够在立交桥驶出的一侧准确地匹配到之前的车辆。本发明通过检测立交桥边界，确定立交桥区域，针对性地把图像区域分为两部分。在车辆驶出区域利用提取的HOG特征模板进行车辆模板匹配检测，从而将跟踪车辆对应起来。具体地，在本实施中，选用一段存在立交桥遮挡的道路航拍视频，拍摄高度为150m，视频分辨率为1920*1080像素。本实施例提供的一种针对有立交桥遮挡的车辆轨迹匹配算法的具体实施步骤如下：

步骤1：检测立交桥边界，确定立交桥区域

通过检测立交桥的边缘确定立交桥区域、立交桥的宽度，能够大体确定车辆驶出立交桥的位置和时间。检测立交桥边界的具体步骤如下：

1a)根据车辆行驶方向确定Sobel边缘检测卷积模板。由于立交桥边缘方向与车辆行驶方向垂直，故若车辆行驶方向为水平方向时，Sobel算子的卷积模板G_x为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

若车辆行驶方向为竖直方向时，Sobel算子的卷积模板G_y为：

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

1b)利用Sobel算子检测立交桥边缘，确定立交桥区域。对原图像f(x,y)利用步骤1a)确定的卷积模板进行卷积运算，设定边缘阈值T得到边缘灰度图G：

G＝G_x*forG＝G_x*f

本实施例选用的道路航拍视频中，车辆沿水平方向行驶，立交桥的边缘为竖直方向，故选取G_x卷积模板过滤掉水平边缘，得到边缘灰度图像。

1c)将边缘灰度图利用Otsu阈值分割法转化为二值图像(图2(a)所示)，采用霍夫变换检测直线，计算检测到直线的长度l_i，若l_i大于图像宽度的1/2，则该直线处于立交桥的边缘。，最终确定立交桥区域的边缘。图2(b)展示了延长后的立交桥边缘直线，由此可以确定立交桥的宽度。

步骤2：提取待跟踪车辆的梯度方向直方图特征(HOG)

梯度方向直方图属于稠密局部特征，对于物体的局部梯度信息具有良好的表征能力，具体提取步骤如下：

2a)对待跟踪车辆图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到每个像素点的X、Y方向的梯度幅值G_x、G_y，则该像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；

2b)将待跟踪车辆图像整体划分成相同大小的单元格(Cell)，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图向量，方法为：

每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；如：一个单元格中的某个像素的梯度方向是10°，那么它属于0°～20°区间，在该区间上加上像素的梯度值，统计单元格内的所有像素，从而构成梯度方向直方图向量，是9维的，9个区间。随后将像素的梯度方向D映射到9个区间上，并以梯度幅值作为权值，构成单元格的梯度方向直方图向量H_i＝[h₁,h₂,...h₈,h₉]，其中h_i为每个区间的权值；

2c)将待跟踪车辆图像整体划分成包含多个相邻单元格的相同大小的矩形区块(Block)，区块间可以重叠。将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，n为区块内单元格的数量，采用L2-Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量F_i＝[f_i,f₂,...,f_m]，其中m＝n×9.

2d)将待跟踪车辆图像中所有的区块特征向量F_i串联起来构成梯度方向直方图特征向量，即所跟踪车辆的模板特征向量V_f；

在本实施例中，对于待跟踪车辆图片，归一化为40×24像素大小，设定单元格大小为4×4像素，区块大小为8×8像素，滑动步距为4像素，故最终HOG向量维数为36×45＝1620维，图3展示了本发明实施例中提取车辆梯度方向直方图特征示意图。

步骤3：估算车辆行驶出立交桥的时间区间

考虑到不同车辆之间的相似性，避免同一款车型造成的干扰，采用估算车辆驶出立交桥时间的方法来避免同样外表车辆造成的干扰。估算车辆行驶出立交桥的时间区间的具体方法如下：

由车辆的跟踪数据可以实时估算出车辆在驶入桥下时的行驶速度v(pixels/frame)与加速度a(pixels/frame²)。假设车辆在立交桥下做匀加速运动，即以初始速度v、加速度a驶过桥下，根据步骤(1)得到的立交桥边缘直线，可以计算出桥宽为s，那么依据s＝vt+0.5at²可计算出驶出时刻t。将区间[t-fps,t+fps]作为车辆行驶出立交桥的时间区间，其中fps(frames/s)为视频的帧率。

步骤4：检测对应的跟踪车辆

通过在车辆驶出一侧设定搜索区域，在搜索区域内检测对应的跟踪车辆，具体步骤如下：

4a)在立交桥车辆驶出的一侧设定搜索区域；

4b)利用滑动窗口法遍历搜索区域，利用步骤(2)所述方法提取每个窗口的梯度方向直方图特征向量

4c)计算模板特征向量V_f与滑动窗口特征向量的相似度d：

$d=1-\frac{\left|\right|V_f-V_f^i|{|}_{L2}}{\left|\right|V_f|{|}_{L2}}$

相似度最大的窗口即为所跟踪的车辆，将检测到的车辆坐标与驶入立交桥时的坐标串联起来实现跟踪车辆轨迹的匹配。如图4(a)所示，蓝色矩形框是待跟踪车辆，4(b)中的黄色矩形框为设定的搜索区域，绿色矩形框即为检测到的跟踪车辆。

Claims (5)

1.一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，包括以下步骤：

(1)检测立交桥边界，确定立交桥区域，利用Sobel边缘检测结合霍夫变换确定立交桥边缘；

(2)对跟踪车辆提取梯度方向直方图HOG特征，作为该车辆的模板特征；

(3)根据当前跟踪车辆的行驶速度，估算出其行驶出立交桥的时间区间；

(4)在立交桥的另一侧检测对应的跟踪车辆；在立交桥的另一侧设定搜索区域，当视频处于步骤(3)估算出的车辆驶出时间区间时，在搜索区域内利用滑动窗口法结合模板匹配技术检测对应的跟踪车辆，将检测到的车辆坐标与之前驶入立交桥的坐标串联起来，实现车辆轨迹的匹配。

2.根据权利要求1所述的一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，所述的步骤(1)具体包括：

1a)根据车辆行驶方向确定Sobel边缘检测卷积模板，若航拍视频中车辆行驶方向为水平方向时，水平方向是指与航拍视频图像水平边缘平行的车辆行驶方向，Sobel算子的卷积模板G_x为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

若航拍视频中车辆行驶方向为竖直方向时，Sobel算子的卷积模板G_y为：

$\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

1b)利用Sobel算子检测立交桥边缘，确定立交桥区域，对视频的一帧f(x,y)利用步骤1a)确定的卷积模板进行卷积运算，设定边缘阈值T得到边缘灰度图G：

G＝G_x*forG＝G_y*f

1c)将边缘灰度图利用Otsu阈值分割法转化为二值图像，采用霍夫变换检测直线，计算检测到直线的长度l_i，若l_i大于图像宽度的1/2，则该直线处于立交桥的边缘；将所有满足条件的直线延长，最终确定立交桥区域的边缘。

3.根据权利要求1所述的一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，所述的步骤(2)具体包括：

2a)对待跟踪车辆图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到每个像素点的X、Y方向的梯度幅值G_x、G_y，则该像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；

2b)将待跟踪车辆图像整体划分成相同大小的单元格，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图向量，方法为：

每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；根据单元格中的某个像素的梯度方向，判断梯度方向区间，在该区间上加上像素的梯度值，统计单元格内的所有像素，从而构成梯度方向直方图向量，直方图向量是9维的，9个区间；随后将像素的梯度方向D映射到9个区间上，并以梯度幅值作为权值，构成单元格的梯度方向直方图向量H_i＝[h₁,h₂,...h₈,h₉]，其中h_i为每个区间的权值；

2c)将待跟踪车辆图像整体划分成包含多个相邻单元格的相同大小的矩形区块，区块间能够重叠；将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，n为区块内单元格的数量，采用L2-Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量F_i＝[f_i,f₂,...,f_m]，其中m＝n×9；

2d)将待跟踪车辆图像中所有的区块特征向量F_i串联起来构成梯度方向直方图特征向量，即所跟踪车辆的模板特征向量V_f。

4.根据权利要求1所述的一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，所述的步骤(3)具体为，根据车辆的跟踪数据实时估算出车辆在驶入桥下时的行驶速度v与加速度a；假设车辆在立交桥下做匀加速运动，即以初始速度v、加速度a驶过桥下，根据步骤(1)得到的立交桥边缘直线，计算出桥宽为s，依据s＝vt+0.5at²计算出驶出时刻t；将区间[t-fps,t+fps]作为车辆行驶出立交桥的时间区间，其中fps为视频的帧率。

5.根据权利要求1所述的一种针对航拍视频的有立交桥遮挡的车辆轨迹匹配方法，所述的步骤(4)具体包括：

4a)在立交桥车辆驶出的一侧设定搜索区域；

4b)利用滑动窗口法遍历搜索区域，利用步骤(2)提取每个窗口的梯度方向直方图HOG特征向量

4c)计算模板特征向量V_f与滑动窗口特征向量的相似度d：

$d=1-\frac{\left|\right|V_f-V_f^i|{|}_{L2}}{\left|\right|V_f|{|}_{L2}}$

其中表示对向量V_f与的差采用L2-Norm的方式进行归一化，而‖V_f‖_L2表示对向量V_f本身进行L2-Norm归一化；

相似度最大的窗口即为所跟踪的车辆，将检测到的车辆坐标与驶入立交桥时的坐标串联，实现跟踪车辆轨迹的匹配。