CN103260013A - 基于视频图像处理技术的路网交通卫星地图视频显示系统 - Google Patents

Abstract

本发明涉及一种基于视频图像处理技术的路网交通卫星地图视频显示系统，属于交通工程领域。监控中心传统的显示方式是一个监视器显示一路视频图像。随着摄像机不断增加，有限的监视器无法同时显示全部视频；传统路网交通全景显示的方式是在电子地图上标注出摄像机，同时只能选择性的查看少量的路段视频，难以对全路网的交通状况进行直观的视频显示。本发明对视频图像进行处理，系统包括摄像机视频信息获取模块，视角转换模块，视频增强模块，卫星地图匹配模块。监控人员根据需要在监视器墙上对路网交通的全景进行视频监控，能够有效解决同时在交通监控中心的监视器墙上显示全部视频，并叠加在卫星地图上，便于监控人员对路网的交通状态进行实时监视。

Description

基于视频图像处理技术的路网交通卫星地图视频显示系统

技术领域

本发明属于交通工程领域，涉及一种基于视频图像处理技术的路网交通卫星地图视频显示系统。

背景技术

道路网实时交通监测是交通管理中必不可少的重要部分。各城市在道路两侧或龙门架上安装视频摄像机，并将视频图像接入到交通监控中心。目前，传统的方式是将每一路视频图像直接显示在一个监视器上。随着视频摄像机不断的增加，监控中心的监视器数量已经远远少于接入的视频图像路数，这导致在监控中心的监视墙上无法同时显示全部接入的视频图像，难以对全路网的交通状况进行直观的展示。通常，传统路网交通全景显示的方式是采用在电子地图上标注出摄像机的位置，需要查看某一地点的交通状态时，就调出该摄像机的图像，这种传统的方式同时只能选择性的查看少量的路段的交通状态。

另外，交通监控中心在的每个监视器直接显示视频摄像机拍摄的图像，仅在图像上叠加地理位置和方向的文字表达，而不对实时视频图像做任何的处理。这样的显示方式并不能直观地表达出所监控道路的地理位置和方向，监控人员很难以常用的“上北下南左西右东”地图显示规则进行监视。

因此，利用视频处理技术，能够在交通监控中心中为监控人员提供一套直观、完整的路网交通全景实时视频显示系统，有效地及时发现路网中发生的各种异常交通现象。

发明内容

本发明目的在于提供一套路网交通卫星地图视频显示系统，以完整、全面、实时、直观地显示出路网交通的状态，方便监控人员观察和监控。

为了解决上述问题，本发明采用如下技术方案：

一种基于视频图像处理技术的路网交通卫星地图视频显示系统，包括摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储，最后在交通监控中心进行路网交通显示；其特征在于，还包括：

视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

视频增强模块，将不同分辨率的摄像机获取的视频信息进行视频增强，使得分辨率低的视频信息能够达到较好的监视效果；

卫星地图匹配模块，将摄像机视频信息经过视角转换后的信息，与卫星地图进行匹配，按照“上北、下南、左西、右东”的显示方式，并且视角为垂直俯视角度。

本发明采用上述技术方案，能够有效解决接入交通监控中心的视频路数大于监视器数量，从而导致无法同时显示全部监控视频图像的问题；有效解决直接显示视频监控图像，监控人员难以对全部监控图像所在的地理位置和方向有直观的理解的问题，便于监控人员对路网的交通状态进行实时监视。

附图说明

图1为本发明基于视频图像处理技术的路网交通卫星地图视频显示系统结构示意图；

图2为透视变换示意图；

图3为双线性像素插值示意图；

图4为视角变换前后的视频图像示意图；

图5为图像增强模块结构图；

图6为视频与卫星图匹配后的显示；

图7为全路网视频与卫星图匹配后的显示示意图。

具体实施方式

路网交通卫星地图视频显示系统包括两部分，一为视频数据采集前端，二为路网交通显示平台。在需要监视的地方安装视频摄像机，一般称作为视频数据采集前端。视频数据采集前端功能包括采集以及对视频进行编码处理。然后通过视频电缆线或者网络将视频数据发送到交通监控中心，该端一般称作为路网交通显示平台。显示平台负责将接收到的视频数据解码，并与卫星地图进行匹配后显示，从而达到实时监测全路网交通的效果。

本发明侧重在路网交通显示平台，其整体系统结构模块见图1，该系统主要由摄像机视频信息获取模块、视角转换模块、视频增强模块、卫星地图匹配模块等主要模块组成。

1.摄像机视频信息获取模块

摄像机视频信息获取模块从道路监控摄像机中获得视频信息，并对获取的信息进行存储。其中，道路监控摄像机可以采用城市道路、高速公路、国省干线公路、县乡道路等现有的监控摄像机。如个别需要重点监控的地点、路段没有安装摄像机，可以新增安装，以更为全面、准确地提供该地点、路段的交通状况。监控摄像机通过视频电缆线或者网络接入到监控中心后，为便于集中管理，将全部监控摄像机的属性进行标记，如位置、俯仰角、方位角、视频格式、分辨率等。摄像机的位置信息将用在卫星地图匹配模块中；摄像机的俯仰角和方位角信息，将用在视角转换模块中；摄像机的视频格式和分辨率信息，将用在视频增强模块中。

2.视频编码模块

本发明中的视频编码模块将根据网络质量和容量，可以灵活选取适当的编码方式。视频编码模块可以根据不同需要配置不同的编码格式和编码质量。如H264，MPEG-4，H265等等。

编码模块的主要压缩方法有：

(1)帧间预测：通过具有运动补偿的帧间压缩编码技术减少视频的时间冗余；

(2)帧内预测：通过DCT变换或整数DCT变换减少视频的空间冗余；

(3)量化和熵编码：在信息表示方面减少统计冗余。

经过视频编码后的视频数据大大减少，可以满足实时传输。编码之后的码流将通过数据链路传输到视频解码端。

3.视频解码模块

视频解码模块接收数据链路中传过来的视频码流，并选择相应的解码器将其解码成图像帧。视频解码是视频编码的逆过程。其主要技术于编码端相似。主要步骤有：

(1)熵解码：解码原始码流；

(2)图像预测：包含帧间预测和帧内预测：

(3)反量化和反变换：计算残差，即真实图像和预测图像之间的差异；

(4)去块效应：消除图像预测所带来的块边缘效应。

4.视角转换模块

现实生活中的景物，由于观察距离及方位的不同在视觉上会引起不同的效果，也就是透视现象。通过透视变换，可以使画面正确地表现出物体远近之间的层次关系，使观察者获得立体、有深度的空间感觉。本发明将充分利用透视变换的这一优点，通过透视变换将视频的视角做一定变换，从而达到更好的监测效果。

透视变换实现的关键也是特征点配准。通过配准的特征点对计算Homography(单应性)变换矩阵，然后对整个图像进行坐标变换和像素插值运算。如图2所示的透视变换示意图中，设I为摄像机所拍摄的原始图像；I′为视角变换后的图像。I(x，y)、I(x′，y′)分别表示图像I和I′中，所在坐标(x，y)和(x′，y′)的像素值。图2中点A、B、C、D与点A′、B′、C′、D′的关系便是透视映射关系。其关系如下：

m′＝Hm

其中，H为透视变换矩阵，m、m′为坐标向量。

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

$m=\left[\begin{array}{c}x\\ y\\ l\end{array}\right],$ $m^{\text{\′}}=\left[\begin{array}{c}{\mathrm{wx}}^{\′}\\ {\mathrm{wy}}^{\′}\\ w\end{array}\right],w>0,$

1)转换矩阵H的计算

通过特制点匹配转换完成，为求解H矩阵，令

H＝[h₁h₂h₃]

因为向量m′和Hm有相同的方向，所以满足m′×Hm＝0。由于w不影响向量的方向，令w＝1，有

$\left\{\begin{array}{c}{y}^{\′}{\left(h_3\right)}^{T}m-{\left(h_2\right)}^{T}m=0\\ {\left(h_1\right)}^{T}m-x^{\′}{\left(h_3\right)}^{T}m=0\\ x{\left(h_3\right)}^{T}m-y^{\′}{\left(h_1\right)}^{T}m=0\end{array}\right.$

求出该方程的解即可计算出H。在实际的计算过程中，为了减少参考点的误差，本发明选用RANSAC(随机抽样一致性算法)算法筛选有效参考点。

2)视角转换

得到变换矩阵H之后，本发明可以将摄像头所拍摄的角度转换到俯瞰视角。针对图像I中的每个像素点，进行视角变换，求出每个像素点在图像I′中对应的位置

m′＝Hm

其中，m、m′中包含(x，y)和(x′，y′)。然后将图像I在(x，y)处的像素值拷贝到图像I′的(x′，y′)中。

3)像素插值

由于变换后图像会产生变形，会导致(x，y)和(x′，y′)并不是一一对应的关系，因此在图像I′中会产生这样的现象：有些点(x′，y′)对应着多个点(x，y)，而有些点(x′，y′)却没有(x，y)与之相映射。此外，计算出来的映射点(x′，y′)往往不是整数坐标点。为处理这些情况，本发明在生成视角变换图像时添加了像素插值的方法。插值的计算方式有很多，比较常用的有最近像素插值算法、双线性插值算法、双三次插值算法和分形算法的四种。为兼顾插值效果和计算速度，本发明优先选用双线性插值算法，该算法的插值过程如下：

如图3所示，图中点P₁、P₂、P₃、P₄为已知像素点，点R₁、R₂为中间计算参考点，点P为未知像素值点。为求解点P的像素值，可以通过如下步骤进行像素插值：

1.X方向插值：

$I\left(R_1\right)=\frac{x_2-x}{x_2-x_1}I\left(P_1\right)+\frac{x-x_1}{x_2-x_1}I\left(P_2\right)$

$I\left(R_2\right)=\frac{x_2-x}{x_2-x_1}I\left(P_4\right)+\frac{x-x_1}{x_2-x_1}I\left(P_3\right)$

2.Y方向插值：

$I\left(P\right)=\frac{y_2-y}{y_2-y_1}I\left(R_2\right)+\frac{y-y_1}{y_2-y_1}I\left(R_1\right)$

通过上述的像素插值，可以计算出经过视角变换之后的图像。

最终，通过上述步骤进行透视变换，可以实现视角的变换，转换到更为理想的垂直视角。如图4所示，传统的摄像机拍摄的视角a图，经过视角变换后得到直观清晰的鸟瞰图b图。

5.视频增强模块

由于摄像头拍摄环境的多变(如光照不足，或者过强，雾天，下雨等等情况)，很多时候获取到的图像质量比较差。本发明采用了视频增强模块对这些情况进行处理，获得更好的图像质量。

如图5所示，原始视频图像输入系统后，通过处理模式切换模块，将选择性输入到图像增强模块中进行处理。其中，处理模式切换模块会根据系统的工作信息，如天气特点和人工判断信息，选择适当的增强算法处理链。主要的处理方法如下：

1)去雾算法

由于雾的作用，摄像头获得的视频质量往往很差。在雾特别大的时候，甚至无法看清目标区域。本发明提出利用去雾算法，将在雾程度适中的情况下，大大提高图像的质量。该模块利用雾天大气散射物理模型，得出传递函数及大气光对图像的变质影响，根据雾天拍摄的图像的数学模型，进行反向处理，得到基本无雾的图像。雾天成像的物理模型：

J(x)＝I(x)T(x)+A(1-T(x))

其中，J(x)表示观察到的图像，I(x)表示假设没有大气颗粒散射时候的真实图像，A为大气光作用系数，T(x)＝exp(-βd(x))为大气散射传递函数，β为大气颗粒散射系数，d(x)为场景深度。利用观察到的图像J(x)，按照上述模型，对图像进行反处理，采用Guided ImageFiltering方法。

2)噪声消除

摄像机拍摄的视频在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，尤其在本发明涉及的应用中，由于下雨等影响，图像中会出现大点状的噪声点，严重影响图像的可看性和后续处理的效果。本发明采用中值滤波器，形态学噪声滤除器和小波去噪的方法进行处理。

3)直方图均衡

在光照不良和光照过强的环境下拍摄的视频图像会出现图像过暗或者过亮的问题，引起图像的细节丢失，影响到观看和后续处理。本发明利用在局部小区域中进行自适应直方图均衡，避免了整体图像直方图均衡中存在的部分细节丢失问题，改善图像质量。

根据实际情况，可以进一步加入各类图像增强的采用模块进入本系统中，通过适当改变处理模式切换模块，实现多功能的视频增强处理链。

6.卫星地图匹配模块

本发明中，改变传统的以电子地图为基础底图方式，以卫星地图为基础底图，在卫星地图的道路上叠加垂直视角的视频图像，在路网交通监控中心的显示墙上进行显示。本发明采用视频图像剪切，提取出感兴趣的空间范围；然后将视频图像与卫星地图进行匹配，并利用视频显示加速技术，显示全路网的交通信息。

(1)视频图像剪切

在卫星地图上叠加视频图像，必须保证适当范围内的图像进行叠加，视频中其余的，非感兴趣的部分必须进行删除。视频图像的剪切可以利用在配置系统时在图像上标记出特征点，这些特征点可以是人为规定的边界点，也可以通过图像处理得出的角点等，通过配置这些特征点，确定感兴趣图像的空间范围，在视频序列中删除此区间以往的内容。

(2)卫星地图预处理

为保证卫星地图显示具有较好的可视效果，匹配前，需要先将卫星地图上的道路进行去车辆处理，即把卫星地图道路上的车辆去除掉。通常，车辆的颜色与道路的颜色不同。因此，可以利用这种差异性，提取出车辆的影像，并用道路的颜色覆盖掉。这样得到的卫星地图道路就是没有任何车辆的道路。

(3)视频图像与卫星地图匹配

剪切的视频图像必需与卫星地图进行匹配，使得视频能很好地融合到卫星地图之上。由于视频图像和卫星地图是不同的方式拍摄而成，两幅图像间的坐标存在比较大的差异。因此，需要从每路视频图像中，剪切出道路车道范围内的视频图像，然后，根据地理信息与卫星地图上的道路进行匹配。匹配算法如下：

本发明采用线性变换来实现卫星图像和视频的匹配。在视频图像和卫星地图中，通过选择N个以上特征点(可以采用感兴趣区间的边角点)，设为(x_i，y_i)，i＝1，…，N为视频图像中的特征点，(x′_i，y′_i)，i＝1，…，N为对应特征点在卫星地图中的坐标。设计一个变换矩阵M，实现

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\end{array}\right]=M\left[\begin{array}{c}{x}_i\\ y_i\\ l\end{array}\right],i=1,\·\·\·,N$

其中最优变换矩阵M_opt通过一下二次型优化方法求出

$M_{\mathrm{opt}}=\underset{M}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|{\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\end{array}\right]-M\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]\left|\right|}_2^2\begin{array}{c}\\ \end{array}$

求得的最优变换矩阵M_opt后，通过坐标变换将视频融合到卫星地图上，如图6。

(4)视频显示加速

由于在卫星地图上进行叠加视频信息，当视频路数过大的时候，即同时要在卫星地图上叠加大量的视频信息，需要进行显示加速，方法如下：由于卫星地图作为底板信息，长时间不会发生改变，所以在大屏幕显示中，可以设定仅有视频显示区域和路网信息显示区域为活跃区域，在视频更新中，仅仅更新这些区域，提高刷屏速度和系统性能。

(5)路网交通视频实时显示

为了能够进行宏观路网范围的交通流监测，将一个完整的路网用卫星地图显示在监视器墙上，并将视频图像叠加在上面，能够得到全路网的交通信息，便于监控人员进行监视，如图7。

以上为本发明的基于视频图像处理技术的路网交通卫星地图视频显示系统的主要组成部分、工作原理及流程。在使用本系统时，一般情况下，监控人员可以先选择路网交通状态全景显示，在监视器墙上对路网交通的全景状态进行监控，若想对感兴趣的区域，即拥堵的区域进行细致的查看，可对该区域选择路段交通视频实时显示模式，并对交通紧急情况做出及时的应对。

Claims (6)

1.一种基于视频图像处理技术的路网交通卫星地图视频显示系统，包括摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与处理；其特征在于，还包括：

视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

视频增强模块，将不同分辨率的摄像机获取的视频信息进行视频增强，使得分辨率低的视频信息能够达到较好的监视效果；

卫星地图匹配模块，将摄像机视频信息经过视角转换后的信息，与卫星地图进行匹配，按照“上北、下南、左西、右东”的显示方式，并且视角为垂直俯视角度。

2.根据权利要求1所述的路网交通卫星地图视频显示系统，其特征在于：摄像机视频信息获取模块中的道路监控摄像机采用现有的道路监控摄像机，或在需要重点监控地点的不同位置增设监控摄像机。

3.根据权利要求1所述的路网交通卫星地图视频显示系统，其特征在于：视角转换模块中，将摄像机拍摄的视角，通过透视变换，转换到更为垂直视角。

4.根据权利要求1所述的路网交通卫星地图视频显示系统，其特征在于：视频增强模块中，针对摄像头拍摄环境的变化(如光照不足，或者过强，雾天，下雨等等情况)，采用去雾算法、噪声消除和直方图均衡，得到图像质量比较好的视频。

5.根据权利要求1所述的路网交通卫星地图视频显示系统，其特征在于：以卫星地图为基础底图，在卫星地图的道路上叠加垂直视角的视频图像，以“上北、下南、左西、右东”的显示方式，在路网交通监控中心的显示墙上进行显示。

6.一种采用权利要求1-5中任意一项所述的路网交通卫星地图视频显示系统进行路网交通状态监测的方法，其特征在于，采用摄像机视频信息获取模块，从道路监控摄像机中获得视频信息，并对获取的信息进行传输与存储；

采用视角转换模块，将摄像机视频信息获取模块中视频信息的视角统一转换为垂直视角；

采用视频增强模块，将不同分辨率的摄像机获取的视频信息进行视频增强，使得分辨率低的视频信息能够达到较好的监视效果；

采用卫星地图匹配模块，将摄像机视频信息经过视角转换后的信息，与卫星地图进行匹配，按照“上北、下南、左西、右东”的显示方式，并且视角为垂直俯视角度。

Images