CN103985254B - 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 - Google Patents

Abstract

本发明涉及计算机应用技术和交通管理领域，具体涉及一种用于大场景交通监视的多视点视频融合及交通参数采集方法，所述融合方法包括各视点视频源视频采集及解码，相邻视点帧图像变换及拼接融合和多视点视频融合后帧图像渲染三大步骤。本方法通过对多路并行视频实时采集解码、视频帧变换配准及纹理映射，从而得到融合交通大场景视频；再通过对交通大场景图像序列中道路上纹理特征分析，得到区域各向道路交通排队长度、非机动车密度、交通流量、行程时间等用于交通分析评估的实时交通参数。

Description

一种用于大场景交通监视的多视点视频融合及交通参数采集方法

技术领域

本发明涉及计算机应用技术和交通管理领域，具体涉及一种用于大场景交通监视的多视点视频融合及交通参数采集方法。

背景技术

道路交通高点监控有助于交通管理者远程监视道路交通的实时状况，进而辅助交管部门有效管理指挥交通。但是，现有道路交通高点监控大多是通过在某场景高点架设一球机，通过人工远程控制驱动查看某局部区域交通情况，而难于同时整体监视大场景区域的交通状况，比如十字交叉口各个方向的交通态势。

现有城市交通时常出现交叉口信号灯控制常有出现一个方向处于绿灯相位而无车通行，对应的另一方向处于红灯相位却是有较长排队长度的车辆排队等待通行，这样导致城市道路交通资源浪费，整个区域的交通通行能力低下，违背了城市交通缓堵保畅的公众意愿。究其根源，现有机非混合相对突出的中国式城市交通，各类交通参数(尤其是道路交通中非机动的相关参数)，交通信号灯自适应控制缺失一种有效实时自动分析评估的手段，为信号灯控制策略优化提供有效支撑的科学依据。

发明内容

本发明的目的在于提供一种用于大场景交通监视的多视点视频融合及交通参数采集方法，解决现有技术中无法对大场景交通状况进行准确的监视，不能准确的对实时大场景交通状况进行评估的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种用于大场景交通监视的多视点视频融合方法，包括以下步骤：

步骤一，各视点视频源视频采集及解码：连接网络摄像机，获取摄像机监视场景内的视频数据，然后对每一个摄像机发送过来的数据包进行解码得到每一帧的视频图像；

步骤二，相邻视点帧图像变换及拼接融合：采集任意相邻网络摄像机的图像，设定相邻图像中重叠区域为ROI，然后对两个图像的ROI区域进行图像特征点检测与配准，根据匹配的特征点组计算得到两幅图像间的投影变换矩阵，根据部署的某一个摄像机的朝向设定一个世界坐标系，各个摄像机采集的图像在这个坐标系的基础上进行图像拼接前的图像变换均对应一个不同的投影变换矩阵；将投影变换矩阵作为参数，把其中一台摄像机的图像设为基准图像，利用双线性插值算法根据投影变换矩阵完成另一台摄像机图像的投影变换，将两幅图像映射到同一坐标系下，然后对重叠区域各图像的对应的像素点做加权求和，得到全景图像的重叠区域像素，非重叠区域的各图像，像素亮度保持不变；

步骤三，多视点视频融合后帧图像渲染：根据拼接场景的具体情况对图像进行裁剪，并把裁剪结果贴在场景模型之中，根据示范中交通监视场景，对拼接融合后的视频图像进行裁剪，结合静态场景3D建模，再将其作为纹理通过3D引擎渲染后，便得到区域交通包含四个方向的大场景超高分辨率实时视频，实现视点漫游，用于交通管理人员兼顾全局或局部便捷监视。

根据上述方法，对交通参数采集方法为：

1)依据大场景视频中的车道线，人工标定大场景视频的每一帧图像中车道区域，确定待检测图像区域，分为各断面i的机动车道区域Vi和非机动车道区域Fi；

2)在车道区域内各断面i从停车线开始每隔20个像素设置为一个小区域块j，再依据标定的摄像机参数确定各小区域对应物理道路距离L_j，计算每个小区域无车时的梯度幅值G_th-ij作为参考阈值，实时计算每帧中各小区域图像梯度幅值G_ij,并与阈值G_th-ij比较，如果从停车线开始连续多个小区域内G_ij-G_th-ij>20，则认为该小区域有车排队，从而判断出该断面方向车辆排队长度值d_i；

3)在大场景道路区域每个断面i每个车道k设置检测线圈LOOP_ik，线圈LOOP_ik位于距离对应停车线150米位置的车道中间，LOOP_ik宽度取道路宽度的2/3，长度取40个像素，通过混合高斯背景模型获得待检测图像区域实时背景，采用实时当前帧图像与背景做差值，依据差值是否大于20，得到该线圈有无车辆，并给机动车赋ID号c_k，若该线圈上从有车变为无车，则计算出该车道通过一辆车，每分钟统计通过数量，从而检测到该断面该车道分钟车流量Q_Vik；

4)针对在大场景道路区域每个断面i每个车道k，每个进入的机动车c_k，对应有一个检测分割出的目标方框对象，采用均值漂移算法meanshift实现对其在整个交通大场景中的跟踪；可以计算出机动车c_k在各对应路段L_n(n为区域中某路段的编号)上的行程时间T_kn；

5)通过混合高斯背景模型检测各非机动车道区域Fi前景区域面积与背景面积的比值，从而计算非机动车在各非机动车道区域Fi内的非机动车道路占用密度ρ_Fi；

6)根据获得交通参数中的流量Q_Vik、行程时间T_kn、车辆排队长度值d_i和非机动车道路占用密度ρ_Fi，对所监视的大场景交通状况进行评估和红绿灯调节。

更进一步的技术方案是，所检测出的实时交通参数实时显示在监视界面中。

与现有技术相比，本发明的有益效果是：本方法通过对多路并行视频实时采集解码、视频帧变换配准及纹理映射，从而得到融合交通大场景视频；再通过对交通大场景图像序列中道路上纹理特征分析，得到区域各向道路交通排队长度、非机动车密度、交通流量、行程时间等用于交通分析评估的实时交通参数。

附图说明

图1为本发明一个实施例的相邻两视点待拼接融合源图。

图2为图1所示的两个源图经过通道图像变换后的效果图。

图3为图2所示的效果图拼接后的效果图。

图4为六路视频源拼接示意图。

图5为交通大场景多视点视频拼接融合效果图。

图6为运动前景。

图7为实时交通参数在监视界面的显示位置。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明一种用于大场景交通监视的多视点视频融合方法的一个实施例：一种用于大场景交通监视的多视点视频融合方法，包括以下步骤：

步骤一，各视点视频源视频采集及解码：连接网络摄像机，获取摄像机监视场景内的视频数据，然后对每一个摄像机发送过来的数据包进行解码得到每一帧的视频图像，图1为任意相邻两视点待拼接融合源图，两张图像是通过解码对对应的场景摄像机采集到的视频数据进行解码后得到的图像帧数据；

以图1所示的源图为例，在其中选取的一个系统示范的实验图像，根据该算法计算得到的投影变换矩阵是

$H_1=\left[\begin{array}{ccc}5.81297696e-001& 3.10860610e+000& 2.79386426e+003\\ 1.11777015e-001& 4.51900721e+000& 2.65678003e+003\\ -9.96333620e-006& 1.02596649e-003& 1\end{array}\right]$

$H_2=\left[\begin{array}{ccc}-1.1427250e-001& 3.87730217e+000& \mathrm{1.563004.3}e+003\\ -1.36124718e+000& 5.26011801e+000& 4.46503320e+003\\ -1.64239100e-004& 1.19910808e-003& 1\end{array}\right]$

步骤二，相邻视点帧图像变换及拼接融合：采集任意相邻网络摄像机的图像，设定相邻图像中重叠区域为ROI，然后对两个图像的ROI区域进行图像特征点检测与配准，根据匹配的特征点组计算得到两幅图像间的投影变换矩阵，由于安装场景图像采集摄像机的点位与朝向均不相同，因此，我们根据部署的某一个摄像机的朝向设定一个世界坐标系，各个摄像采集的图像在这个坐标系的基础上进行图像拼接前的图像变换均对应一个不同的投影变换矩阵，如图2所示，为图1所示的两个源图经过通道图像变换后的效果图；将投影变换矩阵作为参数，把其中一台摄像机的图像设为基准图像，利用双线性插值算法根据投影变换矩阵完成另一台摄像机图像的投影变换，将两幅图像映射到同一坐标系下，然后对重叠区域各图像的对应的像素点做加权求和，得到全景图像的重叠区域像素，非重叠区域的各图像，像素亮度保持不变，如图3所示，为图2所示的效果图拼接后的效果图，依次类推，将大场景中各源图转换拼接，示意图如图4所示，分别对图中区域2,4,5,6与区域3进行上述两张图像的拼接处理。这样区域2,3,4,5,6便拼接成为了一张图像，最后把拼接结果与区域进行最后的图像拼接处理，这样便得到了6个相机监视场景的全景图像；

步骤三，多视点视频融合后帧图像渲染：根据拼接场景的具体情况对图像进行裁剪，并把裁剪结果贴在场景模型之中，根据示范中交通监视场景，对拼接融合后的视频图像进行裁剪，结合静态场景3D建模，再将其作为纹理通过3D引擎渲染后，便得到区域交通包含四个方向的大场景超高分辨率实时视频，实现视点漫游，用于交通管理人员兼顾全局或局部便捷监视，如图5所示，同时摄取6个源图，然后拼接融合得到交通大场景多视点视频拼接融合效果图。

根据本发明一种用于大场景交通监视的多视点视频融合方法，对交通参数采集方法为：

1)依据大场景视频中的车道线，人工标定大场景视频的每一帧图像中车道区域，确定待检测图像区域，分为各断面i的机动车道区域Vi和非机动车道区域Fi；

2)在车道区域内各断面i从停车线开始每隔20个像素设置为一个小区域块j，再依据标定的摄像机参数确定各小区域对应物理道路距离L_j，计算每个小区域无车时的梯度幅值G_th-ij作为参考阈值，实时计算每帧中各小区域图像梯度幅值G_ij,并与阈值G_th-ij比较，如果从停车线开始连续多个小区域内G_ij-G_th-ij>20，则认为该小区域有车排队，从而判断出该断面方向车辆排队长度值d_i；

3)在大场景道路区域每个断面i每个车道k设置检测线圈LOOP_ik，线圈LOOP_ik的位于距离对应停车线150米位置的车道中间，LOOP_ik宽度取道路宽度的2/3，长度取40个像素，通过混合高斯背景模型获得待检测图像区域的运动前景，如图6所示，采用实时当前帧图像与前景做差值，依据差值是否大于20，得到该线圈有无车辆，并给机动车赋ID号c_k，若该线圈上从有车变为无车，则计算出该车道通过一辆车，每分钟统计通过数量，从而检测到该断面该车道分钟车流量Q_Vik；

4)针对在大场景道路区域每个断面i每个车道k，每个进入的机动车c_k，对应有一个检测分割出的目标方框对象，采用均值漂移算法meanshift实现对其在整个交通大场景中的跟踪；可以计算出机动车c_k在各对应路段L_n(n为区域中某路段的编号)上的行程时间T_kn；

5)通过混合高斯背景模型检测各非机动车道区域Fi前景区域面积与背景面积的比值，从而计算非机动车在各非机动车道区域Fi内的非机动车道路占用密度ρ_Fi；

6)根据获得交通参数中的流量Q_Vik、行程时间T_kn、车辆排队长度值d_i和非机动车道路占用密度ρ_Fi，对所监视的大场景交通状况进行评估和红绿灯调节。

根据上述交通参数采集方法，所检测出的实时交通参数可以实时显示在监视界面中，以便监控人员直观的了解到实时的交通参数，进而人工参与调控。如图7所示，右下角方框内为实时分析出的交通参数，包括：流量、行程时间、车辆排队长度、非机动车密度。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (3)

1.一种用于大场景交通监视的多视点视频融合方法，其特征在于：包括以下步骤：

步骤一，各视点视频源视频采集及解码：连接网络摄像机，获取摄像机监视场景内的视频数据，然后对每一个摄像机发送过来的数据包进行解码得到每一帧的视频图像；

步骤二，相邻视点帧图像变换及拼接融合：采集任意相邻网络摄像机的图像，设定相邻图像中重叠区域为ROI，然后对两个图像的ROI区域进行图像特征点检测与配准，根据匹配的特征点组计算得到两幅图像间的投影变换矩阵，根据部署的某一个摄像机的朝向设定一个世界坐标系，各个摄像机采集的图像在这个坐标系的基础上进行图像拼接前的图像变换均对应一个不同的投影变换矩阵；将投影变换矩阵作为参数，把其中一台摄像机的图像设为基准图像，利用双线性插值算法根据投影变换矩阵完成另一台摄像机图像的投影变换，将两幅图像映射到同一坐标系下，然后对重叠区域各图像的对应的像素点做加权求和，得到全景图像的重叠区域像素，非重叠区域的各图像，像素亮度保持不变；

步骤三，多视点视频融合后帧图像渲染：根据拼接场景的具体情况对图像进行裁剪，并把裁剪结果贴在场景模型之中，根据示范中交通监视场景，对拼接融合后的视频图像进行裁剪，结合静态场景3D建模，再将其作为纹理通过3D引擎渲染后，便得到区域交通包含四个方向的大场景超高分辨率实时视频，实现视点漫游，用于交通管理人员兼顾全局或局部便捷监视。

2.根据权利要求1所述的一种用于大场景交通监视的多视点视频融合方法，其特征在于：还包括根据得到的大场景超高分辨率实时视频对交通参数进行采集，具体方法为：

1）依据大场景视频中的车道线，人工标定大场景视频的每一帧图像中车道区域，确定待检测图像区域，分为各断面i的机动车道区域Vi和非机动车道区域Fi；

2）在车道区域内各断面i从停车线开始每隔20个像素设置为一个小区域块j，再依据标定的摄像机参数确定各小区域对应物理道路距离L_j，计算每个小区域无车时的梯度幅值G_th-ij作为参考阈值，实时计算每帧中各小区域图像梯度幅值G_ij,并与阈值G_th-ij比较，如果从停车线开始连续多个小区域内G_ij-G_th-ij>20，则认为该小区域有车排队，从而判断出该断面方向车辆排队长度值d_i；

3）在大场景道路区域每个断面i每个车道k设置检测线圈LOOP_ik，线圈LOOP_ik位于距离对应停车线150米位置的车道中间，LOOP_ik宽度取道路宽度的2/3，长度取40个像素，通过混合高斯背景模型获得待检测图像区域实时背景，采用实时当前帧图像与背景做差值，依据差值是否大于20，得到该线圈有无车辆，并给机动车赋ID号c_k，若该线圈上从有车变为无车，则计算出该车道通过一辆车，每分钟统计通过数量，从而检测到该断面该车道分钟车流量Q_Vik；

4）针对在大场景道路区域每个断面i每个车道k，每个进入的机动车c_k，对应有一个检测分割出的目标方框对象，采用均值漂移算法meanshift实现对其在整个交通大场景中的跟踪；可以计算出机动车c_k在各对应路段L_n上的行程时间T_kn；

5）通过混合高斯背景模型检测各非机动车道区域Fi前景区域面积与背景面积的比值，从而计算非机动车在各非机动车道区域Fi内的非机动车道路占用密度；

6）根据获得交通参数中的流量Q_Vik、行程时间T_kn、车辆排队长度值d_i和非机动车道路占用密度，对所监视的大场景交通状况进行评估和红绿灯调节。

3.根据权利要求2所述的一种用于大场景交通监视的多视点视频融合方法，其特征在于：所检测出的实时交通参数实时显示在监视界面中。