CN107507298A - 一种多机位视频车辆行驶数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种多机位视频车辆轨迹数据采集方法及装置，该方法通过将多个机位的道路交通观测视频拼接为统一整体并建立统一坐标系，实现对完整车辆行驶数据的提取，解决了交通信息采集中难以处理多机位视频的问题。本发明包括以下几个步骤：选取各机位视频拼接点，确定拼接点原始图像坐标，确定拼接点道路坐标，确定拼接点拼接后图像坐标，计算图像变换矩阵，进行视频图像拼接，提取车辆数据。本发明方法设计简便，适用性强，易于编程实现，效率高，能有效处理多机位交通视频，实现车辆行驶数据完整提取及坐标化，极大方便了驾驶行为研究、交通现状分析、交通状态预测、交通管理等后续工作的进行。

Description

一种多机位视频车辆行驶数据采集方法及装置

技术领域

本发明涉及交通观测领域，尤其是涉及一种从道路交通视频中提取车辆行驶数据的方法及装置，可实现将多个机位的道路交通视频拼接为统一整体，并连续提取车辆轨迹、速度、加速度数据。

背景技术

车辆行驶数据是驾驶行为研究、交通现状分析、交通状态预测、交通管理等的重要基础。随着视频观测技术的进步，视频观测已成为车辆行驶数据采集的重要途径，而从视频中有效提取车辆行驶数据是其中的关键环节。当观测范围较大时，往往需要设置多个机位共同拍摄视频。同一辆车可能在多个机位的视频中先后出现，如果忽视各机位视频的关联性而分别独立处理，会破坏各机位视频中车辆行驶轨迹的连续性，为后续分析和研究带来困难。

由于不同机位的拍摄角度往往差别较大，如何统筹处理多机位视频并从中有效提取完整车辆行驶数据是目前的难题。现有方法一般是分别处理各个机位的视频，再尝试进行车辆比对和关联。这一方法中车辆比对难度大、效率低，且各机位视频坐标系不统一，坐标转换困难，往往很难得到较为完善的车辆行驶数据。

发明内容

发明目的：为了克服现有技术中的不足，本发明提供一种多机位视频车辆行驶数据采集方法及装置，可对多机位拍摄且相邻机位视频画面存在重合区域的道路视频统筹处理，实现将多机位视频拼接为统一整体，并建立统一坐标系统、提取完整车辆行驶数据。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种多机位视频车辆行驶数据采集方法，包括以下步骤：

在各机位视频画面中选取四个拼接点；所述四个拼接点形成的凸四边形区域为观测区域，所述各机位视频画面中相邻机位的视频画面存在重合区域，上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同；

建立各机位视频图像的原始图像坐标系，确定各个拼接点原始图像坐标；

建立道路坐标系，基于各拼接点间的实际距离信息确定各拼接点道路坐标；

建立拼接后图像坐标系，基于设定的图像像素与实际距离的换算关系计算各拼接点拼接后的图像坐标；

根据拼接点的原始图像坐标与拼接后的图像坐标计算各机位视频图像的透视变换矩阵；

逐帧读取各机位视频图像，对观测区域进行透视变换实现视频图像拼接；

从拼接后视频图像中提取车辆行驶数据。

进一步地，在各机位首视频起始时间不统一的情况下，在视频图像拼接之前还包括统一各机位首视频起始时间的步骤。

作为优选，所述统一各机位首视频起始时间的方法为：以首视频起始时间最晚的机位为基准，其余各机位首视频开头跳过提前的帧数使得所有机位首视频起始时间相同。

作为优选，各机位视频画面中所选取的四个拼接点为道路平面内的固定点。

作为优选，所述各机位视频图像的原始图像坐标系以各机位视频图像左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向；以鼠标点击的方式确定拼接点位置，记录鼠标点击位置图像坐标，作为各拼接点原始图像坐标。

作为优选，所述道路坐标以第一机位视频中左下角拼接点为坐标原点，原点指向右下角拼接点方向为x轴正方向，垂直x轴且指向画面上方为y轴正方向；基于拼接点间的距离和平面三角形边角关系公式确定各拼接点相对于左下角拼接点的坐标，再加上左下角拼接点本身的坐标，获得各拼接点的道路坐标；若所有拼接点的道路坐标中存在负值，则将各拼接点横、纵坐标分别减去横、纵坐标最小值。

作为优选，所述拼接后图像坐标系以拼接后矩形图像左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向；将各拼接点道路坐标除以设定的距离与像素的比值得到拼接后图像中各拼接点图像坐标。

作为优选，所述透视变换矩阵为其中8个未知参数根据各机位视频图像的4个拼接点原始图像坐标和4个拼接点变换后图像坐标代入公式求得。

作为优选，使用高斯混合背景及Camshift算法处理拼接后视频图像，识别并跟踪车辆，计算车辆不同时刻的位置、速度和加速度数据，完成车辆行驶数据提取。

一种多机位视频车辆行驶数据采集装置，包括：

拼接点选取模块，用于在各机位视频画面中选取四个拼接点；所述四个拼接点形成的凸四边形区域为观测区域，所述各机位视频画面中相邻机位的视频画面存在重合区域，上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同；

原始图像坐标确定模块，用于建立各机位视频图像的原始图像坐标系，确定各个拼接点原始图像坐标；

道路坐标确定模块，用于建立道路坐标系，基于各拼接点间的实际距离信息确定各拼接点道路坐标；

拼接后图像坐标确定模块，用于建立拼接后图像坐标系，基于设定的图像像素与实际距离的换算关系计算各拼接点拼接后的图像坐标；

图像变换矩阵计算模块，用于根据拼接点的原始图像坐标与拼接后的图像坐标计算各机位视频图像的透视变换矩阵；

视频拼接模块，用于逐帧读取各机位视频图像，对观测区域进行透视变换实现视频图像拼接；

以及，行驶数据提取模块，用于从拼接后视频图像中提取车辆行驶数据。

有益效果：本发明通过将多个机位的道路交通观测视频拼接为统一整体并建立统一坐标系，实现对完整车辆行驶数据的提取，解决了交通信息采集中难以处理多机位视频的问题。与现有技术相比，本发明方法设计简便，适用性强，易于编程实现，效率高，能有效处理多机位交通视频，实现车辆行驶数据完整提取及坐标化，极大方便了驾驶行为研究、交通现状分析、交通状态预测、交通管理等后续工作的进行。

附图说明

图1为本发明实施例的方法流程图；

图2为拼接点选取示意图；

图3为拼接点道路坐标计算示意图；

图4为本发明实施例的装置结构示意图。

具体实施方式

现结合附图和具体实施例对本发明作更进一步的说明。

本发明公开的一种多机位视频车辆行驶数据采集方法，主要包括选取各机位视频拼接点、确定拼接点原始图像坐标、确定拼接点道路坐标、确定拼接点拼接后图像坐标、计算图像变换矩阵、进行视频图像拼接和提取车辆行驶数据。在各机位首视频起始时间不统一的情况下，在视频图像拼接之前还包括统一各机位首视频起始时间。如图1所示，本发明实施例公开的一种多机位视频车辆行驶数据采集方法，具体实施步骤如下：

1)统一各机位首视频起始时间：

若各机位首视频起始时间相同，跳过本步骤；否则，以首视频起始时间最晚的机位为基准，其余各机位首视频开头跳过提前的帧数使得所有机位首视频起始时间相同。具体为：设总机位数为H(H为大于等于2的自然数)，其中首视频起始时间最晚的为机位h₀(1≤h₀≤H)，其他机位h(1≤h≤H,h≠h₀)首视频与之相比，起始时间提前了t_h(单位：秒)。各机位视频帧率必须相同或通过一定方法转换为相同，设为f(单位：帧/秒)。为统一起始时间，机位h首视频需要跳过的帧数为t_hf，然后分别读取下一帧图像，作为拼接后视频的第0帧，对应时刻为0时刻。若视频来源为网络传输的实时视频流，也要注意各视频时间的统一。

2)选取各机位视频拼接点：

在各机位视频画面中选取四个拼接点，形成的凸四边形区域为观测区域。上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同。拼接点为视频画面内的固定点，可以为原有点或人工标记点。

3)确定拼接点原始图像坐标：

建立各机位视频图像的原始图像坐标系，以鼠标点击的方式确定拼接点位置，记录鼠标点击位置图像坐标，作为各拼接点原始图像坐标。

4)确定拼接点道路坐标：

建立道路坐标系，基于拼接点间的距离和平面三角形边角关系公式确定各拼接点相对于左下角拼接点的坐标，再加上左下角拼接点本身的坐标，获得各拼接点的道路坐标。若所有拼接点的道路坐标中存在负值，则将各拼接点横、纵坐标分别减去横、纵坐标最小值。

5)确定拼接点拼接后图像坐标：

建立拼接后图像坐标系，将各拼接点道路坐标除以设定的距离与像素的比值得到拼接后图像中各拼接点图像坐标。设定拼接后图像中单位像素代表的实际距离为p(单位：米/像素)。拼接后图像相当于实际场景在道路平面内的正投影，故拼接后图像中各拼接点间实际距离与图像距离成正比，且比例为p。将步骤4)所得拼接点道路坐标除以p，可求得拼接后图像中各拼接点图像坐标(单位：像素)。

6)计算图像变换矩阵：

由于拼接点围成区域为观测区域，故拼接点为观测区域的边界点。计算步骤5)所得拼接点拼接后图像坐标中横坐标最大值与最小值最差，作为拼接后图像宽度；计算纵坐标最大值与最小值之差，作为拼接后图像高度。图像拼接是对各机位视频图像进行透视变换(将图像投影到另一个平面)，使各视频图像变为在道路平面内的正投影并组合成完整图像。透视变换公式为：

其中，(x,y)为图像中任一点原始图像坐标，(x′,y′)为该点变换后图像坐标，为透视变换矩阵。由公式(1)可得：

将4个拼接点的原始图像坐标(步骤3)得出)及变换后图像坐标(步骤5)得出)代入公式(2)，可求出其中的8个未知参数，获得透视变换矩阵。

7)进行视频图像拼接：

对经过步骤1)处理的各机位视频进行逐帧读取，通过步骤6)获得的矩阵，对读取的各帧图像进行透视变换，不断循环该步骤即可实现视频图像拼接。当读取完当前视频时，继续读取该机位下一视频，直至任意机位视频全部读取结束。

8)提取车辆行驶数据：

使用步骤5)中建立的拼接后图像坐标系，并建立同原点、同方向的道路坐标系。使用高斯混合背景及Camshift算法处理步骤7)获得的拼接后视频图像，识别并跟踪车辆，计算各车辆不同时刻的位置、速度、加速度数据，完成车辆行驶数据提取。

下面以采集南京一条快速路交织区的车辆行驶数据为例对本发明方法做进一步说明。观测方式为在路侧高楼顶部架设4台摄像机，分别拍摄道路不同区段的交通视频，相邻机位的视频画面存在一定的重合区域，各机位视频分辨率及帧率相同。具体实施方式包括以下步骤：

1)统一各机位首视频起始时间：

各视频帧率均为25帧/秒。共有4个机位，每个机位4个视频，共16个视频。各机位首视频起始时间分别为16:42、16:40、16:41、16:39，其中机位1首视频起始时间最迟，其他各机位首视频相对于机位1分别提前了120秒、60秒、180秒，则各机位首视频需要跳过的帧数分别为0帧、3000帧、1500帧、4500帧。读取各机位首视频下一帧图像，作为拼接后视频的第0帧，对应时刻为0时刻。

2)选取各机位视频拼接点：

在各机位视频中选取4个路灯底部作为拼接点，从左上角开始按逆时针顺序编号为1、2、3、4号拼接点，4个拼接点围成区域为观测区域。后一机位视频的1、2号拼接点与前一机位视频的4、3号拼接点对应。如图2所示，左图为机位1视频画面，右图为机位2视频画面，A～F为路灯编号，1～4为机位1拼接点，1′～4′为机位2拼接点。除第一机位的1、2拼接点和最后机位的3、4拼接点外，各拼接点均位于相邻机位视频画面重合区域内。

3)确定拼接点原始图像坐标：

以各机位视频图像左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向，建立原始图像坐标系。用鼠标依次单击各拼接点位置，记录鼠标位置图像坐标，作为各拼接点原始图像坐标。

4)确定拼接点道路坐标：

如图3所示，1～4为机位1拼接点，1′～4′为机位2拼接点，拼接时机位1拼接点4、3分别与机位2拼接点1′、2′重合。以机位1视频2号拼接点为坐标原点(用o表示)，原点指向3号拼接点方向为x轴正方向，垂直x轴且指向画面上方为y轴正方向，建立道路坐标系。

实地测量各拼接点间距离，设拼接点i、j间实地距离为d_ij(单位：米)，每个机位4个拼接点对应6个距离，任意确定其中5个距离(d₁₂、d₂₃、d₃₄、d₁₄、d₁₃、d₂₄)，可由平面三角形边角关系公式确定各拼接点相对于2号拼接点的坐标。如图3所示，以确定机位1的d₁₂、d₂₃、d₃₄、d₁₄、d₁₃为例，以∠ijk表示拼接点j、i连线与拼接点j、k连线构成的角(0≤∠ijk<π，∠ijk为弧度)，则

∠213＝arccos((d₁₂ ²+d₁₃ ²-d₂₃ ²)/(2d₁₂d₁₃)) (3)

∠214＝∠213+∠314 (5)

∠123＝arccos((d₁₂ ²+d₂₃ ²-d₁₃ ²)/(2d₁₂d₂₃)) (7)

∠12x＝∠123+∠32x (9)

∠42x＝∠423+∠32x (10)

上述各公式对机位2及之后的机位同样适用。唯一区别为机位1中∠32x为0，

而机位2及之后的机位为π-(前一机位∠432-当前机位∠123)。

再计算各拼接点道路坐标。若当前为第一机位，则2号拼接点坐标(0,0)，可得1号拼接点坐标(d₁₂cos∠12x,d₁₂sin∠12x)，3号拼接点坐标(d₂₃cos∠32x,d₂₃sin∠32x)，4号拼接点坐标(d₂₄cos∠42x,d₂₄sin∠42x)；若当前不为第一机位，则2号拼接点等同于前一视频的3号拼接点坐标，设其坐标(x₂,y₂)，可得1号拼接点坐标(d₁₂cos∠12x+x₂,d₁₂sin∠12x+y₂)，3号拼接点坐标(d₂₃cos∠32x+x₂,d₂₃sin∠32x+y₂)，4号拼接点坐标(d₂₄cos∠42x+x₂,d₂₄sin∠42x+y₂)。

计算所有拼接点最小横坐标x_min、最小纵坐标y_min，发现x_min<0、y_min<0，将各拼接点横、纵坐标分别减去x_min、y_min。

5)确定拼接点拼接后图像坐标：

设定拼接后图像为矩形，以该矩形左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向，建立拼接后图像坐标系(步骤4中各拼接点道路坐标若不存在负值，则拼接后的矩形图像左下角点对应道路坐标系左下角的原点，右上角的点对应道路坐标系最大横坐标和最大纵坐标所在的点；若各拼接点道路坐标若存在负值，将各拼接点道路坐标减去最小值后，相当于将道路坐标系向左下角平移，平移后的道路坐标系与拼接后图像坐标系的原点和x、y轴正方向一致)。设定拼接后图像中单位像素代表的实际距离为p，本例中取0.05米/像素。拼接后图像相当于实际场景在道路平面内的正投影，故拼接后图像中各拼接点间实际距离与图像距离成正比，且比例为p。将步骤4)所得坐标均除以0.05米/像素，得到各拼接点拼接后图像坐标(单位：像素)。

6)计算图像变换矩阵：

计算步骤5)所得拼接点拼接后图像坐标中横坐标最大值与最小值最差，作为拼接后图像宽度；计算纵坐标最大值与最小值之差，作为拼接后图像高度。对于各机位视频，将步骤3)得出的拼接点原始图像坐标和步骤5)得出的拼接点拼接后图像坐标代入公式(2)，联立求得公式(2)中8个未知数，得到各机位视频的透视变换矩阵。

7)进行视频图像拼接：

逐帧读取步骤1)得到的各机位视频，按步骤6)所得透视变换矩阵进行变换，获取拼接后图像。不断循环该步骤实现视频图像拼接。当读取完当前视频时，继续读取该机位下一视频，直至任意机位视频全部读取结束。

8)提取车辆行驶数据：

使用步骤5)中建立的图像坐标系，并建立同原点、同方向的道路坐标系。使用高斯混合背景及Camshift算法处理步骤7)获得的拼接后视频图像，识别并跟踪车辆，记录车辆不同时刻图像坐标，乘以0.05米/像素获得车辆道路坐标，不同时刻道路坐标组成车辆轨迹。计算车辆在相邻两帧图像中的位移与时间间隔的比值作为速度，计算车辆在相邻两帧图像中的速度变化与时间间隔的比值作为加速度，记录各车辆不同时刻的位置、速度、加速度数据，完成车辆行驶数据提取。

如图4所示，本发明实施例公开的一种多机位视频车辆行驶数据采集装置，包括拼接点选取模块、原始图像坐标确定模块、道路坐标确定模块、拼接后图像坐标确定模块、图像变换矩阵计算模块、视频拼接模块和行驶数据提取模块。其中，拼接点选取模块，用于在各机位视频画面中选取四个拼接点；所述四个拼接点形成的凸四边形区域为观测区域，所述各机位视频画面中相邻机位的视频画面存在重合区域，上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同；原始图像坐标确定模块，用于建立各机位视频图像的原始图像坐标系，确定各个拼接点原始图像坐标；道路坐标确定模块，用于建立道路坐标系，基于各拼接点间的实际距离信息确定各拼接点道路坐标；拼接后图像坐标确定模块，用于建立拼接后图像坐标系，基于设定的图像像素与实际距离的换算关系计算各拼接点拼接后的图像坐标；图像变换矩阵计算模块，用于根据拼接点的原始图像坐标与拼接后的图像坐标计算各机位视频图像的透视变换矩阵；视频拼接模块，用于逐帧读取各机位视频图像，对观测区域进行透视变换实现视频图像拼接；行驶数据提取模块，用于从拼接后视频图像中获取车辆行驶数据。各模块中具体方法的实现细节与前述多机位视频车辆行驶数据采集方法中一致，此次不再赘述。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对实施方式做出若干改动和润饰，这些改动和润饰也应视为本发明的保护范围。

Claims (10)

1.一种多机位视频车辆行驶数据采集方法，其特征是，包括以下步骤：

在各机位视频画面中选取四个拼接点；所述四个拼接点形成的凸四边形区域为观测区域，所述各机位视频画面中相邻机位的视频画面存在重合区域，上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同；

建立各机位视频图像的原始图像坐标系，确定各个拼接点原始图像坐标；

建立道路坐标系，基于各拼接点间的实际距离信息确定各拼接点道路坐标；

建立拼接后图像坐标系，基于设定的图像像素与实际距离的换算关系计算各拼接点拼接后的图像坐标；

根据拼接点的原始图像坐标与拼接后的图像坐标计算各机位视频图像的透视变换矩阵；

逐帧读取各机位视频图像，对观测区域进行透视变换实现视频图像拼接；

从拼接后视频图像中提取车辆行驶数据。

2.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，在视频图像拼接之前还包括统一各机位首视频起始时间的步骤。

3.根据权利要求2所述的一种多机位视频车辆行驶数据采集方法，其特征是，所述统一各机位首视频起始时间的方法为：以首视频起始时间最晚的机位为基准，其余各机位首视频开头跳过提前的帧数使得所有机位首视频起始时间相同。

4.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，各机位视频画面中所选取的四个拼接点为道路平面内的固定点。

5.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，所述各机位视频图像的原始图像坐标系以各机位视频图像左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向；以鼠标点击的方式确定拼接点位置，记录鼠标点击位置图像坐标，作为各拼接点原始图像坐标。

6.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，所述道路坐标以第一机位视频中左下角拼接点为坐标原点，原点指向右下角拼接点方向为x轴正方向，垂直x轴且指向画面上方为y轴正方向；基于拼接点间的距离和平面三角形边角关系公式确定各拼接点相对于左下角拼接点的坐标，再加上左下角拼接点本身的坐标，获得各拼接点的道路坐标；若所有拼接点的道路坐标中存在负值，则将各拼接点横、纵坐标分别减去横、纵坐标最小值。

7.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，所述拼接后图像坐标系以拼接后矩形图像左下角为原点，水平向右为x轴正方向，垂直向上为y轴正方向；将各拼接点道路坐标除以设定的距离与像素的比值得到拼接后图像中各拼接点图像坐标。

8.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，所述透视变换矩阵为其中8个未知参数根据各机位视频图像的4个拼接点原始图像坐标和4个拼接点变换后图像坐标代入公式求得。

9.根据权利要求1所述的一种多机位视频车辆行驶数据采集方法，其特征是，使用高斯混合背景及Camshift算法处理拼接后视频图像，识别并跟踪车辆，计算车辆不同时刻的位置、速度和加速度数据，完成车辆行驶数据提取。

10.一种多机位视频车辆行驶数据采集装置，其特征是，包括：

拼接点选取模块，用于在各机位视频画面中选取四个拼接点；所述四个拼接点形成的凸四边形区域为观测区域，所述各机位视频画面中相邻机位的视频画面存在重合区域，上一机位的右侧两个拼接点与下一机位的左侧两个拼接点对应实际道路上的位置点相同；

原始图像坐标确定模块，用于建立各机位视频图像的原始图像坐标系，确定各个拼接点原始图像坐标；

道路坐标确定模块，用于建立道路坐标系，基于各拼接点间的实际距离信息确定各拼接点道路坐标；

拼接后图像坐标确定模块，用于建立拼接后图像坐标系，基于设定的图像像素与实际距离的换算关系计算各拼接点拼接后的图像坐标；

图像变换矩阵计算模块，用于根据拼接点的原始图像坐标与拼接后的图像坐标计算各机位视频图像的透视变换矩阵；

视频拼接模块，用于逐帧读取各机位视频图像，对观测区域进行透视变换实现视频图像拼接；

以及，行驶数据提取模块，用于从拼接后视频图像中提取车辆行驶数据。