CN103236160B - 基于视频图像处理技术的路网交通状态监测系统 - Google Patents

Abstract

本发明涉及一种基于视频图像处理技术的路网交通状态监测系统，属于交通工程领域。随着道路网不断的增加视频监控设备，难以对视频图像进行人工实时监控。本发明对视频图像进行处理，以从视频图像中得到有用的信息，对路网交通状态进行实时监测。路网交通状态监测系统包括摄像机视频信息获取模块，交通状态提取模块，视角转换模块，视频拼接模块，三维重建模块，以及多层次显示模块。监控人员根据需要选择路网交通状态全景显示，在监视器墙上对路网交通的全景状态进行监控，进一步地可对拥堵区域选择路段交通视频实时显示模式，也可以选择动画显示的模式，对感兴趣的路段的三维重建、全景拼接或者垂直视图进行观察，对交通紧急情况做出及时应对。

Description

基于视频图像处理技术的路网交通状态监测系统

技术领域

本发明属于交通工程领域，涉及一种基于视频图像处理技术的路网交通状态监测系统。

背景技术

道路网实时交通状态监测是交通管理中必不可少的一部分。随着道路网不断的增加视频监控设备，单纯靠人工去观察监控已经远远无法满足视频图像的海量增长。目前，多数大城市的交通监控中心已经接入了超过上千路甚至万路的视频图像，而监控人员数量有限，难以对这些视频图像进行人工实时监控。

目前，交通视频监控系统多采用将视频摄像机拍摄的实时图像直接显示在监视器(墙)上，为了让监控人员能够明白监控图像所在的地理位置和方向，仅在图像上增加地理位置和方向的文字表达，而不对实时视频图像做任何的处理。这样的显示方式并不能直观地表达出监控道路的地理位置和方向，监控人员很难以常用的“上北下南左西右东”地图显示规则进行监视。另外，当接入监控视频路数大于监视器墙上监视器的数量时，无法将全部的监控视频同时在监视器墙上进行集中显示，监控人员难以有效监视路网的交通状态。

另外，现有的交通状态监测系统，多采用固定检测器(磁感应线圈、微波检测器)采集时间平均速度和流量，再将交通状态以红黄绿的方式显示在地图上。这里需要强调的是，在地图上以颜色显示的速度是空间平均速度，无法由固定检测器直接采集。然而，通过视频图像处理技术能够自动分析视频数据，从中自动提取出车辆的空间平均速度、流量等重要信息，进而提取出交通状况信息。

因此，利用视频处理技术，能够在交通视频监测系统中提供一套直观、完整的路网交通状态实时视频监控系统，有效地及时发现路网中发生的各种异常交通现象。

发明内容

本发明目的在于提供一套路网交通状态视频监测系统，以完整、全面、实时、直观地显示出路网交通的状态，方便监控人员观察和监控。此外，也可以实时从视频中提取交通状态信息给公众出行者，从而优化他们的路径选择，有利于缓解整个交通系统压力，也有利于交通资源的有效使用。

为了解决上述问题，本发明采用如下技术方案：

一种基于视频图像处理技术的路网交通状态监测系统，包括摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储；其特征在于，还包括：

交通状态提取模块，提取摄像机视频信息获取模块中车辆与车流信息，并对交通状态进行判断，识别出监测道路的实时交通状况；

视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

视频拼接模块，将摄像机视频信息获取模块中的视频信息拼接为全景拼接图；

三维重建模块，将摄像机视频信息获取模块中获取的两个或多个摄像机的二维信号进行三维重建；

以及，多层次显示模块，包括路段交通视频实时显示模式、路网交通状态全景显示模式、路网交通状态三维动画显示模式。

摄像机视频信息获取模块中的道路监控摄像机采用现有的道路监控摄像机，或在需要重点监控地点的不同位置增设监控摄像机。

交通状态提取模块中，将摄像机视频信息获取模块中车辆与车流的流量、密度、速度进行提取，并利用模糊识别算法结合交通流理论进行交通状态判断，识别出监测道路的实时交通状态。

交通状态提取模块中，首先对摄像机视频信息获取模块中采集的每一帧视频流数据进行预处理，再初步判断出道路交通状况的稀疏程度；对于车流较稀疏的情况，对车辆进行检测与跟踪，若路面背景简单，利用背景提取模块进行计算，若路面背景复杂，利用动态背景提取模块进行计算；对于车流较密集的情况，采用运动场估计模块，得到运动流场；并最终得到交通状况数据。

路段交通视频实时显示模式包括路段单路视频显示、路段多路视频拼接显示和路口多路视频拼接显示模式。

路段交通视频显示模式显示的图像在图像显示装置中均为“上北、下南、左西、右东”的显示方式，并且视角为垂直俯视角度。

路网交通状态全景显示采用不同颜色表征不同交通状态，并将其叠加在全路网电子地图上。

一种采用路网交通状态监测系统进行路网交通状态监测的方法，其特征在于，采用摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储；

采用交通状态提取模块，提取摄像机视频信息获取模块中车辆与车流信息，并对交通状态进行判断，识别出监测道路的实时交通状况；

采用视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

采用视频拼接模块，将摄像机视频信息获取模块中的视频信息拼接为全景拼接图；

采用三维重建模块，将摄像机视频信息获取模块中获取的两个或多个摄像机的二维信号进行三维重建；

以及，在多层次显示模块中，根据不同需求选择路段交通视频实时显示模式、路网交通状态全景显示模式或路网交通状态三维动画显示模式对路网交通状态进行监测。

本发明采用上述技术方案，能够有效解决接入监控后中心的视频路数大于监视器数量，从而导致无法同时显示全部监控视频图像的问题；有效解决直接显示视频监控图像，监控人员难以对全部监控图像所在的地理位置和方向有直观的理解的问题；有效地从视频图像直接获得多级交通状态信息，进行路网交通状态的展示，便于监控人员对路网的交通状态进行实时监视。通过信息发布协助交通出行者了解交通状况和优化选择路径。

附图说明

图1为本发明基于视频图像处理技术的路网交通状态监测系统结构示意图；

图2为视频交通信息提取算法模块；

图3为基于背景模板的前景检测系统示意图；

图4为车辆角点及运动场估计效果示意图；

图5为多视频拼接流程图；

图6为多(双)摄像头三维重建示意图；

图7为单摄像机架设方式及新型视频显示方式和传统视频显示方式比较图；

图8为双摄像头架设方式及新型视频显示方式和传统视频显示方式比较图；

图9为多摄像头架设方式及新型视频显示方式和传统视频显示方式比较图；

图10为摄像机架设方式和新型视频显示及总体交通状态示意图。

具体实施方式

视频监测系统包括两部分，一为监测前端，二为管理后台。在需要监视的地方安装视频摄像机，一般称作为监测前端。监测前端功能包括采集以及对视频进行编码处理。然后通过视频电缆线或者网络将视频数据发送到监控中心，该端一般称作为视频监测管理后台。管理后台负责将接收到的视频数据解码并显示，从而达到实时监测的效果。

本发明侧重在管理后台，其整体系统结构模块见图1，该系统主要由摄像机视频信息获取模块、交通状态提取模块、视频拼接模块、视角转换模块、3D重建模块和多层次显示模块组成。

1.摄像机视频信息获取模块

摄像机视频信息获取模块从道路监控摄像机中获得视频信息，并对获取的信息进行存储。其中，道路监控摄像机可以采用城市道路、高速公路、国省干线公路、县乡道路等现有的监控摄像机。需要重点监控的地点、路段，可以在不同位置增加安装多个摄像机，以更为全面、准确地提供该地点、路段的交通状况。监控摄像机通过视频电缆线或者网络接入到监控中心后，为便于集中管理，将全部监控摄像机的属性进行标记，如位置、俯仰角、方位角、视频格式、分辨率等。

2.交通状态提取模块

交通状态提取模块能够自动将视频数据中车辆与车流(车队)的流量、密度、速度进行提取，并利用模糊识别算法结合交通流理论进行交通状态判断，识别出监测道路的实时交通状态，采用不同的颜色代表交通状态，并在显示器上展示路网交通状态。

交通状态提取模块的处理流程如图2所示。为了增强交通状态提取的鲁棒性和适应性，对不同的交通状况采取不同的视频图像处理技术。当实时采集的视频流数据输入交通状态提取模块时，首先通过预处理模块对每一帧数据进行预处理，对图像进行增强，补偿视频图像在采集、编码、传输中受到的背景噪声等原因干扰而造成的失真；通过提取基本的视频运动信息，如运动物体检测和车辆特征点检测，初步判断出交通流的稀疏程度，并且依据稀疏程度进行进一步处理。

如果车流较稀疏，则对经过该路段的单个车辆进行识别跟踪，获得路段的车辆总数、密度，每辆车的速度、位置。对每一个摄像机的视频画面，可以对路面进行标记，通过背景计算得到背景信息变化不大的路面，可以采用简单的路面背景建模，利用背景提取方法进行计算；如果路面状况变化比较大的地方(如果光线因素影响等)，采用动态背景建模方式对路面背景进行建模，利用动态背景提取模块进行计算。通过建立的路面模型，对路面上的前景目标进行检测，检测出路段的车辆总数、密度、每辆车的速度、位置等。

如果车流较密集，车辆之间遮挡情况比较严重，则通过获取车辆的特征点信息并且进行运动估计，得到道路上车队的总体运动场信息，从而获得车流的密度、速度信息。通过适当的图像学操作，如将图像对象的边界添加像素的操作(膨胀操作)，将图像对象的边缘的某些像素删除的操作(腐蚀操作)可以得到路面运动物体团块。

(1)背景提取方法

对于简单的背景，采用背景差分法提取背景，算法流程如图3所示。先将当前的视频帧图像从三通道的彩色图像转换为灰度单通道图像，然后与前背景图像相减，在得到的差值图像中做以下判断：如果差值图像中的点大于设定的阈值T，则认为该点为前景点，反之，则为背景点，并且利用当前图像信息更新背景图中相应点的信息。在以上分析中，背景图像是动态变化的，也可以采用当前帧图像的α倍加上以前背景图像的β倍(α、β由实际路面情况确定)，每处理一帧则将背景更新一次。

对于复杂的背景，采用自适应混合高斯背景提取模型，根据视频中的每个像素在时间域上的分布情况来构建各个像素的灰度分布模型，采用K个高斯函数的加权和来描述像素灰度值的多峰分布。而每个像素的相应的高斯分布的均值和方差参数，可以通过期望最大化算法来求取(Expectation-Maximizaiton算法)。相应模型获得后可以按照图3流程来进行前景目标检测和背景更新。

(2)运动场计算

运动场的计算采用光流估计方法。光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。传统的光流检测法具有很好的鲁棒性，但是对硬件的计算性能要求较高，本发明采用改进型类光流方法来计算车辆的运动场，在性能、实现复杂性和成本方面可以取得很好的平衡，可用于复杂环境下的路面物体运动场检测。本发明采用的改进型光流方法也称为稀疏光流估计方法，是指跟踪图像中指定的一组特征点，这些特征点可以是图像中某个区间的图像子集，也可以是经过变换后的特性信息。选择特征点的时候，需要注意选择具有运动不变特性的特征点，这样的图像识别跟踪将会是稳定和可靠的，由此而进行运动场计算是精确的。

本发明采用两类特征点来实现图像中的运动场的计算，第一类信息是图像中的子图像，第二类是图像的角点信息。通过在某个固定点附近提取出一个子图像，如车顶、车前挡风窗、车后视镜等，在随后的视频帧中按照道路的前进方向搜索最匹配这个子图的图像区域位置，从而可以找出该目标在后续帧中的位置，进而估算出运动场信息。这个方法实现简单，计算量小，在车流拥挤的时候应用能取得较好的效果。

另外，使用Harris定义的角点来描述这些特征点。定义的基础是图像灰度强度的二阶导数矩阵。考虑图像所有的像素点，图像的二阶导数即形成一副新的“二阶导数图像”，可用二维Hessian矩阵表示：

$H\left(p\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}I}{\∂x^2}& \frac{{\∂}^{2}I}{\∂x\∂y}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{\∂y^2}\end{array}\right]$

Harris定义的角点位于图像二阶导数的自相关矩阵有两个最大特征值的地方，这在本质上表示以此点为中心周围存在至少两个不同地方的纹理(或者边缘)，实际的角点是有至少两个边缘相交与一点产生的。之所以采用二阶导数是由于它对于均匀梯度不产生响应。

图4中显示了角点以及对这些角点的跟踪得到的运动场矢量。图中白色的线表示车沿路面运动产生的运动场矢量，白色的圆圈表示当前车辆的角点。在感兴趣区域的车辆被连续跟踪，角点的运动被转换成速度矢量，这些信息可以很好为视频信息处理所利用。

在实际运动场计算中，夜间车辆的细节无法观察，实际观察图像为车辆的前后大灯，我们将子图像匹配技术用于晚间车辆流分析，利用整体子图像的匹配来确定速度场。而将角点跟踪技术用于白天的车辆分析。

(3)交通状态计算

通过交通状态计算模块，将视频分析获取到的车辆总数、密度、单车速度、车队速度、位置等交通流信息，转换为交通状态结果。将车辆交通流信息表示为一个交通流信息矢量I_t＝[i₁，i₂，…，i_N]^T，其中i_k，k＝1，…，N表示为N个可用的交通流信息，交通流状态计算模型为f(I_t，I_o，W)，其中I_o为其他必要的信息，如时间，地点，和已知的信息(交通事件等)，W为交通流状态计算模块参数，交通流状态计算模型f(I_t，I_o，W)的输出为K个预先设定的交通状态s_k，k＝1，…K。

交通流状态计算模型的关键是确定参数W，可以通过训练得到。计算模型的训练主要目的是采用合适的数学模型，通过将一些采集的交通信息数据和交通状态数据输入到训练中，通过优化计算确定模型该采用的最优化参数W。虽然这里有很多数学模型可供选择，为了简单和保证系统输出稳定，本发明采用LS-SVM算法作为训练算法，优选采用高斯核函数，当然根据交通流状态矢量的变化可以适当改变SVM核函数的选择。

通过优化获得了最优参数W_opt以后，交通流状态的计算就是直接计算s＝f(I_t，I_o，W_opt)。通常情况下，只要摄像机在提取交通流参数的时候已经过必要的校准，那么通过优化计算得到的最优参数W_opt可以用在所有视频交通监测点交通状态计算系统上。如果某些监测点无法提供确切的摄像机架设参数，例如高度、垂直角度、水平角度等，可以针对具体的摄像机提供的交通流信息结合人工标定进行状态计算系统的重新训练，保证给出最优的结果。

3.视角转换模块

现实生活中的景物，由于观察距离及方位的不同在视觉上会引起不同的效果，也就是透视现象。通过透视变换，可以使画面正确地表现出物体远近之间的层次关系，使观察者获得立体、有深度的空间感觉。本发明将充分利用透视变换的这一优点，通过透视变换将视频的视角做一定变换，从而达到更好的监测效果。

透视变换实现的关键也是特征点配准。通过配准的特征点对计算Homography(单应性)变换矩阵，然后对整个图像进行坐标变换和像素插值运算。其关系如下：

$\left(\begin{array}{c}u\\ v\\ w\end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中x，y为图像的原始坐标，u，v，w为变换后的坐标，h_ij为变换矩阵系数。在特征点配准算法中，优选采用RANSAC(随机抽样一致性算法)算法。然后通过透视变换，实现视角的变换，转换到更为理想的垂直视角。

4.图像拼接模块

图像拼接是一项基于图像配准的数字图像处理技术。图像拼接技术的基本流程如图5所示。在本发明中，首先获取待拼接的图像，然后经过预处理(滤波等)，再进行统一坐标变换，即将所有图像序列变换到统一的坐标系中，不同的变换方式对应不同的拼接形式，接着进行图像配准和图像融合，最终得到全景拼接图。并将得到的全景图显示在屏幕中，从而可以从一张图像中显示多个摄像机所拍摄的多张图像，这样可以大大减轻监视画面显示数量的繁重任务。

图像配准即是寻找部分重叠的序列图像的重叠位置以及范围(也称图像对齐)。在本发明中采用两类的图像配准方法：

(1)局部对齐技术：即两幅图像对齐；

(2)全局对齐技术：即多幅图像的整体对齐，用以形成一幅大的无失真图像。

通过图5中流程图的各个步骤，可以将两幅或多幅图像拼接成一张全景图。在选择统一坐标时，具体选择最理想的一个视角作为统一坐标，然后拼接出全景图像。将视频中的每一帧图像都这样处理，便完成视频的拼接。

5.三维重建模块

由于采用普通摄像机拍摄到的图像是二维信号，相比我们肉眼看到的图像，缺乏了一个重要的信息——距离。三维重建就是用两个或多个摄像机来获取图像，根据摄像机之间的位置关系获得距离信息，测距是三维重建技术的关键核心，可以从图象中恢复出空间点三维坐标。采用三维重建技术，使用多个摄像机从不同视角拍摄的二维图像信息融合到一起，这样既有利于监控人员的观察，又避免了多个监控画面显示的繁杂。

在本发明中，首先对摄像机进行标定，校准和匹配，然后根据图6所示的空间关系，采用如下数学模型：

$Q=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& \frac{-1}{T_x}& \frac{c_x-c_x^{\′}}{T_x}\end{array}\right]---\left(2\right)$

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ y-c_y\\ f\\ \frac{-d+c_x-c_x^{\′}}{T_x}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]---\left(3\right)$

其中，T_x表示摄像机成像平面中心的距离，c_x和c_y表示立体坐标系中原点的偏移。利用摄像机的标定信息，可以求出上述模型的参数T_x，f，c_x，c_y，c′_x和c′_y，然后通过图像匹配可以获取参数d，从而获得目标的空间位置(X/W，Y/W，Z/W)。

本发明中三维重建所使用到了两个关键技术：摄像机的标定和校准，以及物体特征点的提取和匹配。摄像机标定和校准的任务就是要精确地获得摄像机的内外参数。摄像机定标一般需要一个特制的标定参照物(如棋盘图)，摄像机获取该物体的图像，通过图像分析来估计摄像机的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定(具体参见特征点的提取和匹配)，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，便可计算出摄像机的内外参数。其参数模型如下：

$s\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=I_{\mathrm{in}}{I}_{\mathrm{ex}}\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

$s\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_1\\ r_4& r_5& r_6& t_2\\ r_7& r_8& r_9& t_3\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中，s为缩放参数；I_in，I_ex分别为摄像机配准过程中的内部参数矩阵和外部参数矩阵；f_x，f_y分别表示像点到原点的斜率；u₀，v₀表示成像平面的中心；r_i，t_i分别表示旋转变换和平移变换的相关参数。完成摄像机的标定和校准之后，可以将现实情况中摄像机的各种干扰和偏差所带来的误差抑制到可行的范围内。使测距模型的条件接近理想条件，这样有助于提高测距的精度。

在该部分过程中，可以采用常用棋盘格标定方法。棋盘格是有规则的，特征点容易提取的平面图形。使用摄像机获取棋盘图的多张图像(大约20张左右)。这些图像要从各个不同的视角拍摄获得，从而有效地反映出摄像机成像的误差。通过这些图像，便可以完成对摄像机内外参数的精确计算。完成对摄像机的标定和校准之后，利用双目测距的原理，找到同一个点在不同图像中的对应位置。这可以利用特征点匹配的方法来实现，其中常用的特征有Harris，FAST，SIFT，SURF，MSER等等。本发明采用SIFT特征点，它具有鲁棒性强，精度高的优点，可用做自动配准。SIFT特征匹配算法主要包括两个阶段，一个是SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。SIFT特征的生成包括以下几个步骤：

1、构建尺度空间，检测极值点，获得尺度不变性；

2、特征点过滤并进行精确定位；

3、为特征点分配方向值；

4、生成特征描述子。

当两幅图像的SIFT特征向量生成以后，下一步就采用特征点特征向量的距离来作为两幅图像中特征点的相似性判定度量。取第一幅图的某个特征点，通过遍历找到第二幅图中的距离最近的两个特征点。在这两个特征点中，如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点。当然，在具体的匹配实现中，这样还是远远不够的。本发明通过一些算法用来排除误匹配的点，如区域限制算法，RANSAC(随机抽样一致性算法)。通过这些算法，可以有效地滤除无匹配点，从而使三维模型更加精准。

完成了三维重建后，用户可以在一定范围内，以任意视角观察监视区域。当然，监视的精度和角度的范围具体还跟摄像机的数量和安装分布有关。可以根据具体情况和用户的具体要求选择最佳地点安装摄像机，从而获取最佳效果。

6.多层次显示模块

本发明中，针对路网交通监控中心的不同需求，多层次显示模块可提供不同的显示模式，主要包括：(1)路段交通视频实时显示；(2)路网交通状态全景显示；(3)路网交通状态动画显示。

(1)路段交通视频实时显示

通常情况下的交通监控中心，将视频摄像机拍摄的实时图像直接显示在监视器(墙)上，仅在图像上增加地理位置和方向的文字表达，这样的显示方式并不能直观地表达出监控道路的地理位置和方向，监控人员很难以常用的“上北下南左西右东”地图显示规则进行监视和识认。本发明将监控摄像机的原始数据通过数据存储及处理装置进行视角转换，转换为“上北、下南、左西、右东”的显示方式，并且，视角均转换为垂直俯视角度。

其中，实时显示主要包括以下几种显示方式：

a、路段单路视频显示

监控摄像机架设在道路的路侧或者道路上方龙门架上，沿着道路方向进行拍摄，并实时的将监控图像传送回监控中心，在监视墙上进行显示。如图7a所示的道路状况及监控摄像机1的布置情况，传统的显示方式不对监控图像进行处理，效果如图7b所示，南北及东西方向架设的摄像头的显示效果没有差别，监控人员很难分辨。为了能够直观地显示出道路的方向，本发明对视频图像进行处理，并按照上北下南左西右东的方式进行显示。同时，可以将视频图像拍摄的透视角度进行处理，以垂直俯视角度进行显示，效果如图7c。

b、路段多路视频拼接显示

当一条路上有多个监控摄像机的时候，如图8a所示，传统的显示方式效果如图8b所示，无法清晰地显示路段的车流实际情况。本发明中，按照单路视频显示处理方式，将多路视频图像进行处理，以统一的方式进行拼接、连贯起来，再按照上北下南左西右东的方式进行显示，形成一个全路段的监视画面进行显示，效果如图8c。

c、路口多路视频拼接显示

当交叉路口有多个监控摄像机的时候，如图9a所示，传统的显示方式效果如图9b所示，难以有效地监控路口交通流情况。本发明中，按照单路视频显示处理方式，将多路视频图像进行处理，以统一的方式进行拼接、连贯起来，再按照上北下南左西右东的方式进行显示，形成一个全路段的监视画面进行显示，效果如图9c。

(2)路网交通状态全景显示

上述路段交通视频实时显示的方式，通常覆盖路段范围比较小，便于微观的交通流监测。为了能够进行宏观路网范围的交通流监测，如果将一个完整的路网用电子地图显示在监视器墙上，地图比例尺小导致难以展示道路交通状态的细节。因此，交通状态提取模块从摄像机视频信息获取模块中提取的交通状态信息，分为通畅、缓慢、拥堵等多种状态，并最终在监视器墙上显示。路网交通状态全景显示方式只将识别出的交通状态用“红、黄、绿”等多种颜色叠加在路段上(具体等级可以按照要求进行扩充)。一个简单的示例如图10所示，图10a中，路网上有多个监控摄像机，按照摄像机提取的交通状态，将不同的颜色代表交通状态，叠加在地图上，用以显示路网交通状态的全景，如图10b。

(3)路网交通状态动画显示

通过对视频图像中的每个车辆目标进行三维重建，分割和车型识别，可以用三维动画的形式来重现某个监控路段的车流情况。通过建立一个包含各类车型三维模型的数据库，将摄像机视频信息获取模块和三维重建模块得到的车辆的位置，速度信息输入到三维动画显示模块，可以重现路段交通流，并可以从各个不同角度进行展示。这可以用于某些重要的监测路段和地点，以逼真的方式进行交通状态显示。

以上为本发明的基于视频图像处理技术的路网交通状态监测系统的主要组成部分、工作原理及流程。在使用本系统时，一般情况下，监控人员可以先选择路网交通状态全景显示，在监视器墙上对路网交通的全景状态进行监控，若想对红色的区域，即拥堵的区域进行细致的查看，可对该区域选择路段交通视频实时显示模式；此时，也可以进一步选择动画显示的模式，对感兴趣的路段的三维重建、全景拼接或者垂直视图进行观察，并对交通紧急情况做出及时的应对。

Claims (8)

1.一种基于视频图像处理技术的路网交通状态监测系统，包括摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储；其特征在于，还包括：交通状态提取模块，提取摄像机视频信息获取模块中车辆与车流信息，并对交通状态进行判断，识别出监测道路的实时交通状况；

视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

视频拼接模块，将摄像机视频信息获取模块中的视频信息拼接为全景拼接图；

三维重建模块，将摄像机视频信息获取模块中获取的两个或多个摄像机的二维信号进行三维重建；

以及，多层次显示模块，包括路段交通视频实时显示模式、路网交通状态全景显示模式、路网交通状态三维动画显示模式。

2.根据权利要求1所述的路网交通状态监测系统，其特征在于：摄像机视频信息获取模块中的道路监控摄像机采用现有的道路监控摄像机，或在需要重点监控地点的不同位置增设监控摄像机。

3.根据权利要求1所述的路网交通状态监测系统，其特征在于：交通状态提取模块中，将摄像机视频信息获取模块中车辆与车流的流量、密度、速度进行提取，并利用模糊识别算法结合交通流理论进行交通状态判断，识别出监测道路的实时交通状态。

4.根据权利要求1所述的路网交通状态监测系统，其特征在于：交通状态提取模块中，首先对摄像机视频信息获取模块中采集的每一帧视频流数据进行预处理，再初步判断出道路交通状况的稀疏程度；对于车流较稀疏的情况，对车辆进行检测与跟踪，若路面背景简单，利用背景提取模块进行计算，若路面背景复杂，利用动态背景提取模块进行计算；对于车流较密集的情况，采用运动场估计模块，运动场的计算采用光流估计法，得到运动流场；并最终得到交通状况数据。

5.根据权利要求1所述的路网交通状态监测系统，其特征在于：路段交通视频实时显示模式包括路段单路视频显示、路段多路视频拼接显示和路口多路视频拼接显示模式。

6.根据权利要求1所述的路网交通状态监测系统，其特征在于：路段交通视频显示模式显示的图像在图像显示装置中均为“上北、下南、左西、右东”的显示方式，并且视角为垂直俯视角度。

7.根据权利要求1所述的路网交通状态监测系统，其特征在于：路网交通状态全景显示采用不同颜色表征不同交通状态，并将其叠加在全路网电子地图上。

8.一种采用权利要求1-7中任意一项所述的路网交通状态监测系统进行路网交通状态监测的方法，其特征在于，采用摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储；

采用交通状态提取模块，提取摄像机视频信息获取模块中车辆与车流信息，并对交通状态进行判断，识别出监测道路的实时交通状况；

采用视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

采用视频拼接模块，将摄像机视频信息获取模块中的视频信息拼接为全景拼接图；

采用三维重建模块，将摄像机视频信息获取模块中获取的两个或多个摄像机的二维信号进行三维重建；

以及，在多层次显示模块中，根据不同需求选择路段交通视频实时显示模式、路网交通状态全景显示模式或路网交通状态三维动画显示模式对路网交通状态进行监测。