CN110111259B - 一种基于区域引导的多源图像融合方法 - Google Patents

Abstract

本发明提供了一种基于区域引导的多源图像融合方法，属于多源图像融合领域。本发明针对海岸区域面积的精确动态监测重大应用需求，利用区域引导的高频融合规则，合理地增强SAR图像的纹理和边界信息，有效克服传统融合图像的差异信息对比度低，目标与背景边界模糊的问题，利于实现海岛被淹面积的准确计算。

Description

一种基于区域引导的多源图像融合方法

技术领域

本发明属于多源图像融合领域，特别涉及一种基于区域引导的多源图像融合方法。

背景技术

遥感技术已经成为海岸带地理环境监测(土地利用/覆盖、土壤质量、植被、海岸线、水色、水深和水下地形及灾害)的重要手段之一。现有的遥感传感器主要包括光学传感器，扫描传感器和雷达传感器，其中合成孔径雷达(Synthetic Aperture Radar,SAR)在海岸带地理环境监测应用上具有独特优势。由于SAR图像反映的是其观测范围内目标的电磁散射特性和几何结构特征，可利用SAR的穿透性获取到部分潜水区域信息，但是图像整体缺少层次性，目标特性与光学图像差异较大，不符合人体视觉感知。而光学图像是光学传感器利用光反射成像的结果，因此具有丰富的色彩信息，较高的分辨率和图像对比度，但是图像无法体现被周围环境遮挡下的信息。SAR图像和光学图像的融合能够充分结合两者的互补信息，增强图像的可读性，最终获取同一场景下对目标更全面准确的描述。因此，基于多源图像数据融合来获取海岸带及其近海资源的环境信息是海岸监测重要技术手段。

现有的图像融合方法主要基于像素级融合和特征级融合。现有技术中，虽然能够在一定程度上保存源图像中的信息，增加图像数据内容和细节，但是存在着融合后的图像目标和细节模糊，边界不清楚、不精确等问题。而基于图像特征的融合方法，能够从源图像中提取图像特征作为融合信息，但是存在着融合图像中丢失许多源图像细节信息导致目标与背景边界模糊的问题。

发明内容

为了解决上述问题，本发明提出了一种基于区域引导的多源图像融合方法，利用像素级融合与图像区域特征信息结合的方法，在保留细节的同时，增强目标的感兴趣区域，提高融合图像边界的清晰度和对比度，利于被淹面积的准确计算，实现海岸区域面积动态监测。

一种基于区域引导的多源图像融合方法，包括以下步骤：

S1、获取SAR图像和光学图像，并根据所述SAR图像和光学图像在非下采样轮廓波变换中配置同样的分解尺度数量和分解方向数量；

S2、基于IHS变换将所述光学图像从RGB空间转换为IHS空间，得到I、H、S分量，提取所述光学图像的I分量得到灰度图像I_opt；

S3、对所述SAR图像和光学图像的灰度图像I_opt分别采用非下采样轮廓波变换进行多尺度和多方向分解，获取到SAR图像的低频子带图像L_SAR和高频子带图像H_SAR1,H_SAR2,...,H_SARn以及光学图像的低频子带图像L_opt和高频子带图像H_opt1,H_opt2,...,H_optn；

S4、确定分解得到的低频子带图像L_SAR和L_opt的融合权重，进行加权平均融合，得到融合图像的低频子图L_F；

S5、对高频子带图像H_SAR1,H_SAR2,...,H_SARn和H_opt1,H_opt2,...,H_optn根据区域引导规则对同一分解层次的子图分别进行融合，得到融合图像的高频子图H_F1,H_F2,...,H_Fn；

S6、对得到的融合图像的低频子图L_F和高频子图H_F1,H_F2,...,H_Fn进行非下采样轮廓波逆变换，生成灰度融合图像I_new；

S7、根据IHS逆变换，将I_new、H、S转换为融合图像。

进一步地，所述非下采样轮廓波变换中的多尺度滤波器和多方向滤波器分别配置为金字塔滤波器maxflat和方向滤波器dmaxflat7。

进一步地，所述步骤S2包括：

利用IHS三角变换公式将所述光学图像从RGB空间转换为IHS空间

I＝(R+G+B)/3

S＝1-min(R+B+G)/I

其中，

R、G、B分别表示所述光学图像的红、绿、蓝分量，I、H、S分别表示所述光学图像的亮度、色调、饱和度分量；

提取所述光学图像的I分量，得到灰度图像I_opt。

进一步地，所述步骤S4包括：

对分解得到的低频子带图像L_SAR和L_opt，根据自适应模糊逻辑规则计算融合权重，L_SAR和L_opt的加权系数分别为

n_b(x,y)＝1-n_t(x,y)

其中，L(x,y)表示低频子带图像在坐标位置(x,y)的系数，μ为低频子带图像的均值，δ为低频子带图像的方差，k＝1.5；融合得到融合图像的低频子图L_F

L_F(x,y)＝n_t(x,y)L_SAR(x,y)+n_b(x,y)L_opt(x,y)。

进一步地，所述步骤S5包括：

所述SAR图像基于非下采样轮廓波变换得到n张多尺度多方向频域子图H_SAR1,H_SAR2,...,H_SARn，计算每张子图中每个系数的区域标准方差并得到n张区域方差子图δ₁,δ₂,...,δ_n，计算所有方差子图中对应点的均值，得到均值方差图

计算均值方差图S的均值μ(S)和标准方差δ(S)，根据所述均值方差图S的均值和标准差设置阈值T₁＝σ(S)/2和T₂＝μ(S)+σ(S)，根据阈值T₁和T₂将所述SAR图像分类为高亮区、平滑区、纹理区三个区域；均值方差图的系数大于T₂的点属于高亮区，均值方差图小于T₁的点属于平滑区，介于T₁和T₂之间的点属于纹理区；

计算两幅高频子图相应分解层上对应局部区域的匹配度M

其中，w(x',y')表示加权系数，H_SAR和H_opt分别表示相应分解层上SAR和光学图像的高频系数，E_SAR和E_opt分别表示相应分解层上SAR和光学图像系数的区域能量值，计算公式分别为

其中，l×p定义区域大小；

设置匹配度阈值T，若高频系数的匹配度小于T，遵循选取能量值大的高频系数原则

其中，H_F(x,y)、H_SAR(x,y)、H_opt(x,y)分别表示相应分解层上融合图像、SAR图像、光学图像在坐标位置(x,y)的高频系数，Q表示纹理区域；

若高频系数的匹配度大于T，采用加权平均的微调方式，w_S＝1-w_l，

本发明的有益效果：本发明提供了一种基于区域引导的多源图像融合方法，在图像分解为多尺度和多方向的子图后，通过在像素融合规则的基础上结合区域特征信息合理加强融合图像的高频系数，获取清晰的海岸边界，充分突出SAR图像与光学图像的差异信息，增强了融合图像的对比度和清晰度，为准确地计算海岸被淹区域面积提供实现条件，且融合图像的较大的平均梯度和区域方差分别体现了更清晰的细节和更丰富的图像信息。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的SAR图像。

图3为本发明实施例的光学图像。

图4为本发明实施例的SAR图像分割图。

图5为本发明实施例的融合图像。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提出了一种基于区域引导的多源图像融合方法，通过以下步骤实现：

S1、获取SAR图像和光学图像，并根据SAR图像和光学图像在非下采样轮廓波变换中配置同样的分解尺度数量和分解方向数量。

本实施例中，获取的SAR图像如图2所示，获取的光学图像如图3所示，非下采样轮廓波(NSCT)变换中的多尺度滤波器和多方向滤波器分别配置为金字塔滤波器maxflat和方向滤波器dmaxflat7，根据已完全配准的SAR和光学图像的尺度设置同样的分解尺度数量为2，每级分解的方向数为8。

S2、基于IHS变换将光学图像从RGB空间转换为IHS空间，得到I、H、S分量，提取光学图像的I分量得到灰度图像I_opt。

本实施例中，利用IHS三角变换公式将光学图像从RGB空间转换为IHS空间

I＝(R+G+B)/3

S＝1-min(R+B+G)/I

其中，

R、G、B分别表示光学图像的红、绿、蓝分量，I、H、S分别表示光学图像的亮度、色调、饱和度分量；

提取光学图像的I分量，得到灰度图像I_opt。

S3、对SAR图像采用NSCT进行多尺度和多方向分解，获取到SAR图像的低频子带图像L_SAR和一系列高频子带图像H_SAR1,H_SAR2,...,H_SARn；对光学图像的灰度图像I_opt采用NSCT进行多尺度和多方向分解，获取到光学图像的低频子带图像L_opt和一系列高频子带图像H_opt1,H_opt2,...,H_optn。

S4、确定分解得到的低频子带图像L_SAR和L_opt的融合权重，进行加权平均融合，得到融合图像的低频子图L_F。

本实施例中，对分解得到的低频子带图像L_SAR和L_opt，根据自适应模糊逻辑规则计算融合权重，L_SAR和L_opt的加权系数分别为

n_b(x,y)＝1-n_t(x,y)

其中，L(x,y)表示低频子带图像在坐标位置(x,y)的系数，μ为低频子带图像的均值，δ为低频子带图像的方差，k＝1.5；融合得到融合图像的低频子图L_F

L_F(x,y)＝n_t(x,y)L_SAR(x,y)+n_b(x,y)L_opt(x,y)

S5、对高频子带图像H_SAR1,H_SAR2,...,H_SARn和H_opt1,H_opt2,...,H_optn根据区域引导规则对同一分解层次的子图分别进行融合，得到融合图像的高频子图H_F1,H_F2,...,H_Fn。

本实施例中，SAR图像基于NSCT得到n张多尺度多方向频域子图，计算每张子图中每个系数的区域标准方差并得到n张区域方差子图δ₁,δ₂,...,δ_n，计算所有方差子图中对应点的均值，得到均值方差图

计算均值方差图S的均值μ(S)和标准方差δ(S)，根据均值方差图S的均值和标准差设置阈值T₁＝σ(S)/2和T₂＝μ(S)+σ(S)，根据阈值T₁和T₂将SAR图像分类为高亮区、平滑区、纹理区三个区域；均值方差图的系数大于T₂的点属于高亮区，均值方差图小于T₁的点属于平滑区，介于T₁和T₂之间的点属于纹理区；如图4所示，黑色部分为高亮区，白色部分为平滑区，灰色部分为纹理区。

计算两幅高频子图相应分解层上对应局部区域的匹配度M

其中，w(x',y')表示加权系数，H_SAR和H_opt分别表示相应分解层上SAR和光学图像的高频系数，E_SAR和E_opt分别表示相应分解层上SAR和光学图像系数的区域能量值，计算公式分别为

其中，l×p定义了区域大小。

设置匹配度阈值T，若高频系数的匹配度M小于T，遵循选取能量值大的高频系数原则

其中，H_F(x,y)、H_SAR(x,y)、H_opt(x,y)分别表示相应分解层上融合图像、SAR图像、光学图像在坐标位置(x,y)的高频系数，Q表示纹理区域；根据公式，当高频系数能量值较大并且当前系数坐标位置属于SAR图像的纹理区域时，选取具有较大能量值的高频系数增加K倍作为融合图像的高频系数；当高频系数能量值较大，但是当前系数坐标位置不属于SAR图像的纹理区域时，直接选取具有较大能量值的高频系数作为融合图像的高频系数，若高频系数的匹配度M大于T，采用加权平均的微调方式，w_S＝1-w_l，

根据高频系数的匹配度M和T的大小，完成对融合图像的高频子图H_F1,H_F2,...,H_Fn的融合。

S6、对得到的融合图像的低频子图L_F和高频子图H_F1,H_F2,...,H_Fn进行非下采样轮廓波逆变换，生成灰度融合图像I_new。

本实施例中，对得到的融合图像的低频子图L_F和高频子图H_F1,H_F2,...,H_Fn进行NSCT逆变换，生成新的灰度融合图像I_new。

S7、根据IHS逆变换，将I_new、H、S转换为融合图像。

本实施例中，根据IHS和RGB颜色空间转换公式，将生成的I_new和步骤S2中得到的H、S分量转换为RGB空间彩色融合图像，如图5所示。融合图像不仅综合了光学图像的高分辨率信息和色彩信息，而且通过增强SAR图像中的信息使海岸线中的边界更加清晰，图像的对比度更高，差异信息更明显。

本实施例中，应用的参数信息见下表(1)中。

表(1)主要参数表

本实施例中，经过本发明方法最终得到的融合图像指标参数见下表(2)。

高频融合规则	平均梯度	区域方差
			最大值	11.0857	66.1361
区域能量	10.9341	65.9902
			提出方法	20.1421	75.9994

表(2)本发明实施例得到的融合图像指标参数表

本领域的普通技术人员将会意识到，这里的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于区域引导的多源图像融合方法，其特征在于，包括以下步骤：

S1、获取SAR图像和光学图像，并根据所述SAR图像和光学图像在非下采样轮廓波变换中配置同样的分解尺度数量和分解方向数量；

S2、基于IHS变换将所述光学图像从RGB空间转换为IHS空间，得到I、H、S分量，提取所述光学图像的I分量得到灰度图像I_opt；

具体包括：

利用IHS三角变换公式将所述光学图像从RGB空间转换为IHS空间

I＝(R+G+B)/3

S＝1-min(R+B+G)/I

其中，

R、G、B分别表示所述光学图像的红、绿、蓝分量，I、H、S分别表示所述光学图像的亮度、色调、饱和度分量；

提取所述光学图像的I分量，得到灰度图像I_opt；

S3、对所述SAR图像和光学图像的灰度图像I_opt分别采用非下采样轮廓波变换进行多尺度和多方向分解，获取到SAR图像的低频子带图像L_SAR和高频子带图像H_SAR1,H_SAR2,...,H_SARn以及光学图像的低频子带图像L_opt和高频子带图像H_opt1,H_opt2,...,H_optn；

S4、确定分解得到的低频子带图像L_SAR和L_opt的融合权重，进行加权平均融合，得到融合图像的低频子图L_F；

所述步骤S4包括：

对分解得到的低频子带图像L_SAR和L_opt，根据自适应模糊逻辑规则计算融合权重，L_SAR和L_opt的加权系数分别为

n_b(x,y)＝1-n_t(x,y)

其中，L(x,y)表示低频子带图像在坐标位置(x,y)的系数，μ为低频子带图像的均值，δ为低频子带图像的方差，k＝1.5；融合得到融合图像的低频子图L_F

L_F(x,y)＝n_t(x,y)L_SAR(x,y)+n_b(x,y)L_opt(x,y)；

S5、对高频子带图像H_SAR1,H_SAR2,...,H_SARn和H_opt1,H_opt2,...,H_optn根据区域引导规则对同一分解层次的子图分别进行融合，得到融合图像的高频子图H_F1,H_F2,...,H_Fn；

所述步骤S5包括：

所述SAR图像基于非下采样轮廓波变换得到n张多尺度多方向频域子图H_SAR1,H_SAR2,...,H_SARn，计算每张子图中每个系数的区域标准方差并得到n张区域方差子图δ₁,δ₂,...,δ_n，计算所有方差子图中对应点的均值，得到均值方差图

计算均值方差图S的均值μ(S)和标准方差δ(S)，根据所述均值方差图S的均值和标准差设置阈值T₁＝σ(S)/2和T₂＝μ(S)+σ(S)，根据阈值T₁和T₂将所述SAR图像分类为高亮区、平滑区、纹理区三个区域；均值方差图的系数大于T₂的点属于高亮区，均值方差图小于T₁的点属于平滑区，介于T₁和T₂之间的点属于纹理区；

计算两幅高频子图相应分解层上对应局部区域的匹配度M

其中，w(x',y')表示加权系数，H_SAR和H_opt分别表示相应分解层上SAR和光学图像的高频系数，E_SAR和E_opt分别表示相应分解层上SAR和光学图像系数的区域能量值，计算公式分别为

其中，l×p定义区域大小；

设置匹配度阈值T，若高频系数的匹配度小于T，遵循选取能量值大的高频系数原则

其中，H_F(x,y)、H_SAR(x,y)、H_opt(x,y)分别表示相应分解层上融合图像、SAR图像、光学图像在坐标位置(x,y)的高频系数，Q表示纹理区域；

若高频系数的匹配度大于T，采用加权平均的微调方式，w_S＝1-w_l，

S6、对得到的融合图像的低频子图L_F和高频子图H_F1,H_F2,...,H_Fn进行非下采样轮廓波逆变换，生成灰度融合图像I_new；

S7、根据IHS逆变换，将I_new、H、S转换为融合图像。

2.如权利要求1所述的基于区域引导的多源图像融合方法，其特征在于，所述非下采样轮廓波变换中的多尺度滤波器和多方向滤波器分别配置为金字塔滤波器maxflat和方向滤波器dmaxflat7。

Images