CN103886566B - 一种恶劣天气下基于图像融合的城市交通调度系统及方法 - Google Patents

Abstract

本发明公开了一种恶劣天气下基于图像融合的城市交通调度系统及方法，系统包括交通调度中心和搭载在卫星上的合成孔径雷达及光学遥感雷达；交通调度中心包括用于对实时照片进行处理得到道路实时车流量等级的图像处理子中心和用于将道路的实时车流量等级发布给车辆群的信息发布子中心。方法包括卫星实时拍摄城市SAR图与PAN图的图像序列、图像传送与预处理、SAR图和PAN图的图像融合、道路车流量等级划分和道路信息发布等步骤。本发明利用图像融合对城市道路交通情况进行识别并评估每条道路车流量级别，通过交通调度中心实时广播信息给车辆，从而实现城市交通调度，有效防止因恶劣天气引起的交通拥堵。

Description

一种恶劣天气下基于图像融合的城市交通调度系统及方法

技术领域

本发明属于城市交通调度领域，是图像融合技术与基于城市地图交通调度技术的综合性应用，特别是涉及一种恶劣天气下基于图像融合的城市交通调度系统及方法。

背景技术

近两年来，雾霾天气频繁出现，车辆数量的飞速增长，道路交通事故频发，拥堵现象严重成为人们日益关注的焦点。以摄像机拍摄道路信息传统的交通调度及信息发布系统，由于受到雾霾影响，能见度大大下降，不能准确、及时地获得道路交通情况而面临着巨大的压力。

发明内容

针对现有技术存在的不足，本发明目的是提供一种恶劣天气下基于图像融合的城市交通调度系统及方法，能够降低恶劣天气下车辆拥挤的概率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种恶劣天气下基于图像融合的城市交通调度系统，包括交通调度中心和搭载在卫星上的合成孔径雷达及光学遥感雷达；合成孔径雷达及光学遥感雷达用于间隔一定的时间段连续地拍摄城市的实时照片，并将其传送给交通调度中心；交通调度中心包括用于对实时照片进行处理得到道路实时车流量等级的图像处理子中心和用于将道路的实时车流量等级发布给车辆群的信息发布子中心。

本发明的一种城市交通调度系统的方法，具体包括以下几个步骤：

步骤（1）、采集城市每个道路的经度坐标和纬度坐标；

步骤（2）、按一定的时间间隔合成孔径雷达及光学遥感雷达实时拍摄城市的SAR图和PAN图的图像序列，并发送给图像处理子中心；

步骤（3）、根据步骤（1）得到的每个道路的经度坐标和纬度坐标，对步骤（2）得到的图像序列进行分割，得到每条道路的SAR图和PAN图的图像序列；

步骤（4）、对分割后得到的SAR图和PAN图的图像序列进行预处理；

步骤（5）、对步骤（4）预处理后得到的图像序列中，同一时刻拍摄的SAR图和PAN图进行图像融合，得到融合后的图像序列；

步骤（6）、对步骤（5）中得到的图像序列进行处理，得到该道路实时的车流量等级；

步骤（7）、通过信息发布子中心将每条道路的车流量等级发布给车辆群。

步骤（4）中，SAR图和PAN图预处理的方法如下：

(1a)、当SAR图和PAN图分辨率不同时，以分辨率低的图像的分辨率为标准，对高分辨率图像进行重采样，得到分辨率相同的两类图像；

(1b)、对分辨率相同的SAR图和PAN图分别进行中值滤波，去除图像的噪声；

(1c)、将SAR图进行直方图匹配，使其与PAN图在色调和反差上相同：其中，S_M是直方图匹配后的SAR图像；SAR(I)是匹配前的SAR图像；σ_PAN和σ_SAR分别是PAN图像和SAR图像的标准差；μ_pan和μ_SAR则分别是PAN图像和SAR图像的均值。

步骤（5）中，对SAR图和PAN图进行图像融合的方法如下：

(2a)、用公式求出SAR图的纹理矩阵，G_0°、G_45°、G_90°、和G_135°分别对应方向θ的角度0°,45°,90°,135°时的灰度共生矩阵，Ent_0°、Ent_45°、Ent_90°和Ent_135°则是对应角度矩阵的熵，根据其纹理矩阵，得到SAR图的纹理图像；

(2b)、用四叉树分割与合并法对纹理图像进行区域划分，得到不规则特征区和规则特征区，根据区域特征一致性来判定区域是否分割或合并；区域特征一致性值的定义为：

其中，S_i是每一个子区域的像素点集合，R(S_i)为该区域S_i的区域特征一致性值，σ(I)是整幅图像的方差，d(S_i)和μ(S_i)分别是区域S_i的均值和方差，I(x,y)为像素点(x,y)的光强；如果一个区域的R(S_i)值低于预先设定的阈值ξ，则该区域的特征可以视为一致的，即不需要再分割，否则，该区域继续被分为四个子区域，直到每个区域都符合一致性条件，或者达到设定的最小区域大小；

(2c)、用平移不变离散小波变换对PAN图和SAR图进行图像分解，并对近似图像和细节图像采用不同的融合规则；近似图像的融合准则表示为：

a'_N为融合后的近似图像，a_N(P)和a_N(S)分别对应PAN图和SAR图的近似图像；M(p)表示一个值只有0和1的掩模图，0代表不规则特征区，1代表规则特征区；β₁和β₂分别PAN图和SAR图的权值，和则分别是a_N(P)和a_N(S)的方差；对于细节图像，采用的融合准则是取两者绝对值最大的系数作为最终的融合系数；

(2d)、根据融合后的小波系数逆变换，得到融合图像；

(2e)、根据上述步骤依次对不同时刻对应的SAR图和PAN图像进行融合，得到融合后的图像序列。

步骤（6）中，对图像序列进行处理得到该道路实时车流量等级的方法如下：

（3a）、利用连续图像序列之间的差分，得到图像中移动的区域，检测出道路中行驶的车辆；检测过程中，若第t+n'时刻与第t时刻之差所对应的移动的区域面积，小于第t时刻与第t-n'时刻之差中对应区域面积的1/4，即此刻有很多车辆停止前进，则认为行驶中的车辆遇到红灯停止，此时以第t时刻与第t-n'时刻之差得到的车辆为区域中的车辆，其中，n'为卫星拍摄图像序列的时间间隔；

（3b）、求出路口车道中车辆的总长度，然后用车道中车辆的总长度除以对应车道的总长度L'，结果为n，总长度是指两端路口的停止线之间的距离，根据n得到该车道上车流量级别L。

将路口的车流量分为四个级别，分别定义为：

当n<1/4时，道路情况为道路空闲，L=0；

当1/4≤n<1/3时，道路情况为道路正常，L=1；

当1/3≤n<2/3时，道路情况为一般拥堵，L=2；

当n≥2/3时，道路情况为严重拥堵，L=4。

步骤（7）中，通过信息发布子中心将每条道路的车流量等级发布给车辆群的方法如下：

(4a)、预存整个城市的道路线路图；

(4b)、根据车流量等级L对线路图着色，L=0的道路为白色，L=1的道路为淡绿色，L=2的道路为深绿色，L=4的道路为红色；

(4c)、将着了色的道路交通图通过信息发布子中心发布实时车流量等级，且实时地根据车流量等级进行颜色变化，使车辆群能够收到。本发明的有益效果如下：

本发明基于图像融合技术进行城市交通调度，避免了传统交通调度的低效率，提高了交通的流畅度，调度速度快，准确性强，效率高，受天气影响小；本发明的系统基于雷达拍摄的道路信息，受天气因素影响极小，算法效率高，图像融合效果好，让车辆群在第一时间了解到城市交通的信息，避开拥堵道路，有效缓解交通压力，降低道路交通事故的发生。

附图说明

图1为本发明的系统组成框图；

图2为本发明中城市交通调度方法的流程图；

图3为本发明中对SAR图和PAN图预处理的流程图；

图4为本发明中图像融合的流程图；

图5为本发明中车流量等级划分的流程图；

图6为本发明中道路信息发布的流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的基于图像融合的城市交通调度系统及方法以整个城市的交通情况为基础进行调度，速度快，准确性强，效率高，受天气影响小，在缓解交通压力、交通调度方面非常实用。

合成孔径雷达由于其成像原理的不同于光学遥感，可以穿透大气中的云雾等干扰获得地表信息，因此在雾霾，大雨等恶劣天气情况下具有重要的应用价值。

参见图1，本发明的一种恶劣天气下基于图像融合的城市交通调度系统，包括交通调度中心和搭载在卫星上的合成孔径雷达和光学遥感雷达。合成孔径雷达和光学遥感雷达可以间隔一定时间段连续拍摄城市的实时照片，并将其传送给交通调度中心。交通调度中心包括图像处理子中心和信息发布子中心，图像处理子中心对图像进行融合处理及车流量等级划分，信息发布子中心将道路的实时车流量等级发布给车辆群。

上述系统利用卫星对城市道路实时拍摄并发送给交通调度中心，通过图像融合和道路车流量划分，将道路信息发布给车流群。

参见图2，一种恶劣天气下基于图像融合的城市交通调度方法，包括如下步骤：

步骤（1）、采集城市每个道路的坐标，包括经度和纬度；

步骤（2）、通过同时搭载合成孔径雷达和光学遥感雷达的卫星，按一定时间间隔实时拍摄城市的SAR图和PAN图（为全色图像panchromatic image的缩写）的图像序列，发送给交通调度中心的计算机；

步骤（3）、根据步骤（1）的城市道路信息，对步骤（2）中计算机接收到的图像序列进行分割，得到每条道路的SAR图和PAN图的图像序列；

步骤（4）、对SAR图和PAN图进行预处理；

步骤（5）、对步骤（4）得到的图像中，同一时刻拍摄的SAR图和PAN图进行图像融合，得到融合后的图像序列；

步骤（6）、对步骤（5）中得到的图像序列进行处理，得到该道路实时的车流量等级；

步骤（7）、通过交通调度中心的电视电台将每条道路的车流量等级发布给车辆群，特别是车流量较大的道路，车辆群进行自主选择，避开交通拥挤的道路。

参见图3，步骤（4）中“对SAR图和PAN图进行预处理”是指：

(1a)、由于两类图像是同一卫星获取到的，方位向和距离向都是一样的，故图像没必要进行旋转矫正；

(1b)、两类图像是不同的雷达传感器获取到的，分辨率不同时需要进行处理，以分辨率低的图像的分辨率为标准，对高分辨率图像进行重采样，得到分辨率相同的两类图像；

(1c)、对SAR图和PAN图进行中值滤波（中值滤波为现有技术，此处不再赘述），去除图像的噪声；

(1d)、将SAR图进行直方图匹配，使其与PAN图在色调和反差上趋于相同：S_M是直方图匹配后的SAR图像；SAR(I)是匹配前的SAR图像；σ_PAN和σ_SAR分别是PAN图像和SAR图像的标准差；μ_pan和μ_SAR则分别是PAN图像和SAR图像的均值。

参见图4，步骤（5）中“对SAR图和PAN图进行图像融合，得到融合后的图像序列”是指：

(2a)、用公式求出SAR图的纹理矩阵，G_0°、G_45°、G_90°、和G_135°分别对应方向θ的角度0°,45°,90°,135°时的灰度共生矩阵，Ent_0°、Ent_45°、Ent_90°和Ent_135°则是对应角度矩阵的熵。根据其纹理矩阵，得到SAR图的纹理图像；

(2b)、用四叉树分割与合并法对纹理图像进行区域划分，得到不规则特征区和规则特征区，根据区域特征一致性来判定区域是否分割或合并。区域特征一致性值的定义为：

其中，S_i是每一个子区域的像素点集合，R(S_i)为该区域S_i的区域特征一致性值，σ(I)是整幅图像的方差，d(S_i)和μ(S_i)分别是区域S_i的均值和方差，I(x,y)为像素点(x,y)的光强。一个区域的特征一致性值越低，区域的一致性就越高。如果一个区域的R(S_i)值低于预先设定的阈值ξ，则该区域的特征可以视为一致的，即不需要再分割。否则，该区域继续被分为四个子区域，直到每个区域都符合一致性条件，或者达到设定的最小区域大小。

(2c)、用平移不变离散小波变换对PAN图和SAR图进行图像分解，并对近似图像和细节图像采用不同的融合规则。近似图像的融合准则表示为：

a_N(P)和a_N(S)分别对应PAN图和SAR图的近似图像；M(p)表示一个值只有0和1的掩模图，0代表不规则特征区，1代表规则特征区；β₁和β₂分别PAN图和SAR图的权值，和则分别是a_N(P)和a_N(S)的方差。对于细节图像，采用的融合准则是取两者绝对值最大的系数作为最终的融合系数。

(2d)、根据融合后的小波系数逆变换，得到融合图像。

(2e)、根据上述步骤依次对不同时刻对应的SAR图和PAN图像进行融合，得到融合后的图像序列。

参见图5，步骤（6）中“图像序列进行处理，得到该道路实时的车流量等级”是指：

（3a）、系统中预存路口的总长度信息，这里的总长度是指两端路口的停止线之间的距离；

（3b）、利用连续图像序列之间的差分，得到图像中移动的区域，检测出道路中行驶的车辆。检测过程中，若第t+n'时刻与第t时刻之差所对应的移动的区域面积，小于第t时刻与第t-n'时刻之差中对应区域面积的1/4，即此刻有很多车辆停止前进，则认为行驶中的车辆遇到红灯停止，此时以第t时刻与第t-n'时刻之差得到的车辆为区域中的车辆（n'为卫星拍摄图像序列的时间间隔）；

（3c）、求出路口车道中车辆的总长度，然后用车道中车辆的总长度除以对应车道的总长度L'，结果为n，根据n得到该车道上车流量级别L。将路口的车流量分为四个级别，分别定义为：

n	道路情况	L
			n<1/4	道路空闲	L=0
1/4≤n<1/3	道路正常	L=1
			1/3≤n<2/3	一般拥堵	L=2
n≥2/3	严重拥堵	L=4

参见图6，步骤（6）中“通过交通调度中心的电视电台将每条道路的车流量等级发布给车辆群”是指：

(4a)、预存整个城市的道路线路图；

(4b)、根据车流量等级L对线路图着色，L=0的道路为白色，L=1的道路为淡绿色，L=2的道路为深绿色，L=4的道路为红色；

(4c)、将着了色的道路交通图以电视频道的形式播出，且实时地根据车流量等级进行颜色变化，使车载电视能收到；

(4d)、对交通拥挤及严重拥挤的道路，交通调度中心的工作人员可以同时播报在电视和电台上，并可在电视上发布严重拥挤道路的融合图像。

本发明基于图像融合技术进行城市交通调度，避免了传统交通调度的低效率，提高了交通的流畅度，调度速度快，准确性强，效率高，受天气影响小。本发明提出了一种基于图像融合的城市交通调度的思想，不仅创新并丰富了城市交通调度的方法，同时提出了交通调度中心的概念与作用，能够大大提高道路交通情况的识别能力，加快信息播报的速度。本发明提出了一种恶劣天气下的城市交通调度系统，系统基于雷达拍摄的道路信息，受天气因素影响极小，算法效率高，图像融合效果好，让车辆群在第一时间了解到城市交通的信息，避开拥堵道路，有效缓解交通压力，降低道路交通事故的发生。本发明在目前以及将来的智能交通调度中具有极大的现实意义和应用价值。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种恶劣天气下基于图像融合的城市交通调度方法，城市交通调度系统包括交通调度中心和搭载在卫星上的合成孔径雷达及光学遥感雷达；

所述合成孔径雷达及光学遥感雷达用于按一定的时间间隔连续地拍摄城市的实时照片，并将其传送给交通调度中心；

所述交通调度中心包括用于对实时照片进行处理得到道路实时车流量等级的图像处理子中心和用于将道路的实时车流量等级发布给车辆群的信息发布子中心；

其特征在于，城市交通调度方法具体包括以下几个步骤：

步骤(1)、采集城市每个道路的经度坐标和纬度坐标；

步骤(2)、按一定的时间间隔通过所述合成孔径雷达及光学遥感雷达实时拍摄城市的SAR图像和PAN图像，得到待处理的图像序列，并发送给所述图像处理子中心；

步骤(3)、根据步骤(1)得到的每个道路的经度坐标和纬度坐标，对步骤(2)得到的待处理图像序列进行分割，得到每条道路的分割后的SAR图像和PAN图像的图像序列；

步骤(4)、对分割后得到的SAR图像和PAN图像的图像序列进行预处理，得到预处理后的图像序列；

步骤(5)、对步骤(4)得到的预处理后的图像序列中同一时刻拍摄的SAR图像和PAN图像进行图像融合，得到融合后的图像序列；

步骤(6)、对步骤(5)中得到的融合后的图像序列进行处理，得到该道路实时的车流量等级，对每条道路都进行以上步骤，得到每条道路的实时车流量等级；

步骤(7)、通过所述信息发布子中心将每条道路的车流量等级发布给车辆群。

2.根据权利要求1所述的恶劣天气下基于图像融合的城市交通调度方法，其特征在于，步骤(4)中，分割后的SAR图像和PAN图像预处理的方法如下：

(1a)、当分割后的SAR图像和PAN图像分辨率不同时，以分辨率低的图像的分辨率为标准，对高分辨率图像进行重采样，得到分辨率相同的两类图像；

(1b)、对分割后的分辨率相同的SAR图像和PAN图像分别进行中值滤波，去除图像的噪声；

(1c)、将滤波后的SAR图像进行直方图匹配，使其与滤波后的PAN图像在色调和反差上相同：其中，S_M是直方图匹配后的SAR图像；SAR(I)是匹配前的SAR图像；σ_PAN和σ_SAR分别是滤波后的PAN图像和SAR图像的标准差；μ_pan和μ_SAR则分别是滤波后的PAN图像和SAR图像的均值。

3.根据权利要求2所述的恶劣天气下基于图像融合的城市交通调度方法，其特征在于，步骤(5)中，对预处理后的SAR图像和PAN图像进行图像融合的方法如下：

(2a)、用公式求出预处理后的SAR图像的纹理矩阵，G_0°、G_45°、G_90°和G_135°分别对应方向θ的角度0°,45°,90°,135°时的灰度共生矩阵，Ent_0°、Ent_45°、Ent_90°和Ent_135°则是对应角度矩阵的熵，根据其纹理矩阵，得到预处理后的SAR图像的纹理图像；

(2b)、用四叉树分割与合并法对纹理图像进行区域划分，得到不规则特征区和规则特征区，根据区域特征一致性来判定划分后的区域是否分割或合并；区域特征一致性值的定义为：

$R\left(S_i\right)=\frac{d\left(S_i\right)}{\mathrm{\&sigma;}\left(I\right)};d\left(S_i\right)=\frac{1}{\left|S_i\right|}\underset{(x,y)\&Element;S_i}{\&Sigma;}{\left(I\right(x,y)-\mathrm{\&mu;}(S_i\left)\right)}^2;$ 其中，S_i是每一个子区域的像素点集合，R(S_i)为该子区域S_i的区域特征一致性值，|S_i|代表子区域像素点个数，σ(I)是整幅图像的方差，d(S_i)和μ(S_i)分别是子区域S_i的均值和方差，I(x,y)为像素点(x,y)的光强；如果一个子区域的R(S_i)值低于预先设定的阈值ξ，则该区域的特征可以视为一致的，即不需要再分割，否则，该子区域继续被分为四个更小的子区域，直到每个子区域都符合一致性条件，或者达到设定的最小区域大小；

(2c)、用平移不变离散小波变换对划分子区域后的PAN图像和SAR图像进行图像分解，并对近似图像和细节图像采用不同的融合规则；近似图像的融合准则表示为：

$a_N^{\&prime;}=\left\{\begin{array}{cc}{a}_N\left(P\right)& \begin{array}{cc}if& M\left(p\right)=0\end{array}\\ a_N\left(P\right)\&times;{\mathrm{\&beta;}}_1+a_N\left(S\right)\&times;{\mathrm{\&beta;}}_2& otherwise\end{array}\right.;$ a'_N为融合后的近似图像，a_N(P)和a_N(S)分别对应PAN图像和SAR图像的近似图像；M(p)表示一个值只有0和1的掩模图，0代表不规则特征区，1代表规则特征区；β₁和β₂分别为PAN图像和SAR图像的权值，和则分别是a_N(P)和a_N(S)的方差；对于细节图像，采用的融合准则是取两个权值中绝对值最大的作为最终的融合系数；

(2d)、根据融合后的小波系数逆变换，得到融合图像；

(2e)、根据上述步骤依次对不同时刻对应的预处理后的SAR图像和PAN图像进行融合，得到融合后的图像序列。

4.根据权利要求3所述的恶劣天气下基于图像融合的城市交通调度方法，其特征在于，步骤(6)中，对所述融合后的图像序列进行处理得到该道路实时车流量等级的方法如下：

(3a)、利用融合后的连续图像序列之间的差分，得到融合后的图像中移动的区域，检测出道路中行驶的车辆；检测过程中，若第t+n'时刻与第t时刻之差所对应的移动的区域面积，小于第t时刻与第t-n'时刻之差中对应区域面积的1/4，即此刻有很多车辆停止前进，则认为行驶中的车辆遇到红灯停止，此时以第t时刻与第t-n'时刻之差得到的车辆为雷达所拍摄到的道路区域中的车辆，其中，n'为雷达拍摄图像序列的时间间隔；

(3b)、求出道路中车辆的总长度，然后用道路中车辆的总长度除以对应道路的总长度L'，结果为n，所述道路总长度是指两端路口的停止线之间的距离，根据n得到该道路上车流量级别L。

5.根据权利要求4所述的恶劣天气下基于图像融合的城市交通调度方法，其特征在于，

将道路的车流量分为四个级别，分别定义为：

当n<1/4时，道路情况为道路空闲，L＝0；

当1/4≤n<1/3时，道路情况为道路正常，L＝1；

当1/3≤n<2/3时，道路情况为一般拥堵，L＝2；

当n≥2/3时，道路情况为严重拥堵，L＝4。

6.根据权利要求5所述的恶劣天气下基于图像融合的城市交通调度方法，其特征在于，步骤(7)中，通过所述信息发布子中心将每条道路的车流量等级发布给车辆群的方法如下：

(4a)、预存整个城市的道路线路图；

(4b)、根据车流量等级L对道路线路图着色，L＝0的道路为白色，L＝1的道路为淡绿色，L＝2的道路为深绿色，L＝4的道路为红色；

(4c)、将着了色的道路线路图通过所述信息发布子中心发布实时车流量等级，且实时地根据车流量等级进行颜色变化，使车辆群能够收到。