CN103679661A - 一种基于显著性分析的自适应遥感图像融合方法 - Google Patents

Abstract

本发明公开一种基于显著性分析的自适应遥感图像融合方法，属于遥感图像处理技术领域。实施过程包括：1)多光谱图像经IHS变换得到I、H、S分量；2)采用多尺度谱残差对全色遥感图像进行显著性分析得到显著区域和非显著区域；3)对显著区域采用基于加窗IHS变换的融合方法，非显著区域采用基于小波变换的融合方法；4)将得到的显著区域和非显著区域I分量合并，与多光谱图像的H、S分量经IHS逆变换得到融合图像。本发明通过基于显著性分析的自适应融合，对显著区域很好保留了空间分辨率与光谱信息，对非显著区域有效降低了光谱扭曲度，解决了遥感图像融合中不同区域对空间分辨率和光谱信息要求不同的问题，可用于环境监测、土地利用与农业调查等领域。

Description

一种基于显著性分析的自适应遥感图像融合方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于显著性分析的自适应遥感图像融合方法。

背景技术

遥感图像融合是指将不同传感器得到的具有不同观测特性的图像信息有选择、有策略的结合起来，以得到具有更优观测特性的新图像的方法，是很多遥感图像应用重要的预处理环节，在环境监测、土地利用、农业调查以及能源探测等多个领域都有着广泛的应用。

在目前的图像融合技术中，将多光谱图像与全色遥感图像进行融合是遥感图像融合较为普遍的选择。全色遥感图像(PAN：panchromatic image)清晰度较高，空间细节信息丰富，但光谱分辨率较低；多光谱图像(MS：multi-spectral image)光谱信息丰富，但空间分辨率较差。人们将两者进行图像融合，消除不必要的冗余，实现空间信息和光谱信息的互补，使得到的融合图像在保证空间分辨率的同时又较好的保留图像光谱信息。常用的图像融合方法有Brovey变换、IHS变换(IHS，Intensity-Hue-Saturation transformation)、离散小波变换(DWT，Discrete Wavelet Transformation)等。基于Brovey变换的融合方法属于线性加权法中的一种，计算简单，融合速度较快，但融合图像亮度较低，光谱畸变严重。与基于Brovey变换的融合方法相比，基于IHS变换的融合方法可以有效的提高融合后图像的空间分辨率，较好的保留全色图像的空间细节信息，在一定程度上改善光谱畸变，但融合效果易受全色遥感图像中噪声的影响。基于小波变换的融合方法具有多分辨率的特性，能够较好抑制光谱畸变，但在保留空间细节上表现一般，易产生分块效应。

在遥感图像中，不同区域对光谱分辨率和空间分辨率的要求有所不同。例如，城镇等区域需要较多的空间细节信息，要求图像有较高空间分辨率；农田、山地等区域则对图像的光谱分辨率的要求更高。而现有的图像融合方法都是对整幅图像做统一的处理，并没有针对区域的不同进行融合方法上的区分，导致融合后的图像不能很好的满足观察者的需求。

发明内容

针对以上技术中存在的问题，本发明提供了一种基于显著性分析的自适应遥感图像融合方法，通过基于多尺度谱残差的遥感图像显著性分析获得图像的显著区域和非显著区域，在显著区域采用基于加窗IHS变换的融合方法，提高显著区域的空间分辨率；在非显著区域采用基于小波变换的融合方法，保留更多光谱信息。本发明采用的技术方案包括以下几个步骤：

步骤一：多光谱图像经IHS变换得到I、H、S分量，I、H、S分量分别表征图像的亮度(Intention)、色度(Hue)和饱和度(Saturation)；

步骤二：通过多尺度谱残差方法对全色遥感图像进行显著性分析得到全色遥感图像的显著图，利用最大类间方差法对显著图进行阈值分割，分别得到显著区域和非显著区域的二值化模板；具体过程如下：

1)对全色遥感图像K分别在三个尺度下进行下采样得到K′_δ，δ=1，2,3；

2)将K′_δ进行二维傅里叶变换，分别得到三个尺度下的图像幅值谱A_δ和相位谱

；

3)对三个尺度下的全色遥感图像幅值谱A_δ分别取对数，得到三个尺度下对应的对数谱L_δ；

4)对L_δ进行5×5的均值滤波得到L′_δ，用L_δ减去L′_δ，分别得到三个尺度下幅值谱的残差信息R_δ；

5)将R_δ和

进行傅里叶逆变换，对逆变换的结果进行高斯滤波，分别得到三个尺度下的全色遥感图像特征图S_δ；

6)对三个尺度下的特征图S_δ进行跨尺度融合，得到显著图S；

7)采用最大类间方差法计算S的分割阈值，记为λ；用λ对显著图S进行二值分割，得到显著区域和非显著区域的二值化模板。

步骤三：多光谱图像的I分量与非显著区域模板相乘得到多光谱图像I分量的非显著区域，记为M；全色遥感图像与非显著区域模板相乘得到全色遥感图像的非显著区域，记为N；

步骤四：对M进行三层小波分解，提取M的低频分量，记为M_1；对N进行三层小波分解，提取N的高频分量，记为N_h；

步骤五：将M的低频分量M_1和N的高频分量N_h直接重组，将重组结果进行小波重构，得到融合图像亮度分量的非显著区域，记为I₁；

步骤六：多光谱图像的I分量与显著区域模板相乘得到多光谱图像I分量的显著区域，记为P；全色遥感图像与显著区域模板相乘得到全色遥感图像的显著区域，记为Q；对P和Q采用基于加窗IHS变换的融合方法，即对P和Q进行窗口大小为3×3的灰度值矩阵匹配，得到融合图像亮度分量的显著区域，记为I₂；具体过程如下：

1)构造一个3×3的矩阵，分别加在多光谱图像I分量的显著区域P和全色遥感图像的显著区域Q的对应位置上；

2)分别得到P和Q上的3×3窗口矩阵PW与QW；计算PW中所有元素的灰度均值，记为PW_M，计算QW中所有元素的灰度均值，记为QW_M；利用公式

得到灰度值矩阵匹配后的亮度矩阵，记为T，将T放在融合图像亮度分量显著区域的对应位置上；

3)遍历P和Q中所有元素，将每次得到的亮度矩阵T放在融合图像亮度分量显著区域的对应位置上，最终得到融合图像亮度分量的显著区域，记为I₂。

步骤七：将非显著区域I₁与显著区域I₂合并，得到最终的融合图像亮度分量，记为I′；

步骤八：将I′、H、S分量通过IHS逆变换得到融合图像。

与传统方法相比，本发明方法利用图像的显著信息自动的将图像分为显著区域和非显著区域，采用分区域的融合策略，较好的解决了遥感图像融合中不同区域对空间分辨率和光谱信息要求不同的问题。

附图说明

图1为本发明的流程图。

图2为本发明所使用的示例图片，(a)为多光谱图像的I分量，(b)为多光谱图像的H分量，(c)为多光谱图像的S分量。

图3为本发明所使用的多尺度谱残差分析原理图。

图4为本发明使用的示例图片，(a)为全色遥感图像，(b)为多光谱图像，(c)为显著区域的二值化分割图，(d)为非显著区域的二值化分割图。

图5为本发明所使用的非显著区域的图像融合原理图。

图6为示例图片采用本发明方法和其他方法生成的融合图像，(a)为基于Brovey变换的融合方法，(b)为基于IHS变换的融合方法，(c)为基于小波变换的融合方法，(d)为本文方法。

具体实施方式

下面结合附图对本发明进一步说明。图1显示了本发明方法的流程图，现介绍每一步实现细节。

步骤一：多光谱图像经IHS变换得到I、H、S分量，I、H、S分量分别表征图像的亮度(Intention)、色度(Hue)和饱和度(Saturation)。将图像由RGB空间变换到IHS空间的变换以及逆变换方法如下：

$\left[\begin{array}{c}I\\ V_1\\ V_2\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{3}& \frac{1}{3}& \frac{1}{3}\\ -\frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{6}}& \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{6}}& 0\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$H=\arctan \mathrm{\θ}\left(\frac{V_2}{V_1}\right)$

$S=\sqrt{{V_1}^2+{V_2}^2}$

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ 1& -\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ 1& \sqrt{2}& 0\end{array}\right]\×\left[\begin{array}{c}I\\ V_1\\ V_2\end{array}\right]$

其中V₁、V₂是中间变量。变换得到的I、H、S分量如图2所示。

步骤二：通过多尺度谱残差方法对全色遥感图像进行显著性分析得到全色遥感图像的显著图，利用最大类间方差法对显著图进行阈值分割，分别得到显著区域和非显著区域的二值化模板。多尺度谱残差分析原理图如图3所示，具体过程如下：

1)对全色遥感图像K(x，y)分别在三个尺度下进行下采样得到K′_δ(x，y)，δ=1，2,3；

2)将K′_δ(x，y)进行二维傅里叶变换，分别得到三个尺度下的图像幅值谱A_δ(μ，v)和相位谱

$F_{\mathrm{\δ}}(\mathrm{\μ},v)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}{I}_{\mathrm{\δ}}^{\′}(x,y)e^{-2\mathrm{\πi}(\mathrm{x\μ}+\mathrm{yv})}\mathrm{dxdy}$

$A_{\mathrm{\δ}}(\mathrm{\μ},v)=\sqrt{\mathrm{Re}{\left(F_{\mathrm{\δ}}(\mathrm{\μ},v)\right)}^2+\mathrm{Im}{\left(F_{\mathrm{\δ}}(\mathrm{\μ},v)\right)}^2}$

3)对三个尺度下的全色遥感图像的幅值谱A_δ(μ，v)取对数，得到三个尺度下对应的对数谱L_δ(μ，v)；

L_δ(μ，v)=log(A_δ(μ，v))

4)对L_δ(μ，v)进行5×5的均值滤波后得到L′_δ(μ，v)，用L_δ(μ，v)减去L′_δ(μ，v)，分别得到三个尺度下幅值谱的残差信息R_δ(μ，v)；

R_δ(μ，v)=L_δ(μ，v)-L′_δ(μ，v)

5)将R_δ(μ，v)和进行傅里叶逆变换，对逆变换的结果进行高斯滤波，分别得到三个尺度下的全色遥感图像特征图S_δ(x，y)；

$F_{\mathrm{\δ}}(x,y)=\underset{-\∞}{\overset{+\∞}{\∫}}\underset{-\∞}{\overset{+\∞}{\∫}}{F}_{\mathrm{\δ}}^{\′}(\mathrm{\μ},v)e^{2\mathrm{\πi}(\mathrm{x\μ}+\mathrm{yv})}\mathrm{dudv}$

$S_{\mathrm{\δ}}(x,y)=F_{\mathrm{\δ}}(x,y)*g(x,y)$

6)对三个尺度下的特征图S_δ进行跨尺度融合，得到显著图S；

7)采用最大类间方差法计算S的分割阈值，记为λ；用λ对显著图S进行二值分割，得到显著区域和非显著区域的二值化模板。如图4(c)，(d)所示；

步骤三：多光谱图像的I分量与非显著区域模板相乘得到多光谱图像I分量的非显著区域，记为M；全色遥感图像与非显著区域模板相乘得到全色遥感图像的非显著区域，记为N；

步骤四：对M进行三层小波分解，提取M的低频分量，记为M_1；对N进行三层小波分解，提取N的高频分量，记为N_h；

步骤五：将M的低频分量M_1和N的高频分量N_h直接重组，将重组结果进行小波重构，得到融合图像亮度分量的非显著区域，记为I₁。非显著区域的融合方法原理图如图5所示；

步骤六：多光谱图像的I分量与显著区域模板相乘得到多光谱图像I分量的显著区域，记为P；全色遥感图像与显著区域模板相乘得到全色遥感图像的显著区域，记为Q；对P和Q采用基于加窗IHS变换的融合方法，即对P和Q进行窗口大小为3×3的灰度值矩阵匹配，窗口遍历后得到融合图像亮度分量的显著区域，记为I₂。具体过程如下：

1)构造一个3×3的矩阵，分别加在多光谱图像I分量的显著区域P和全色遥感图像的显著区域Q的对应位置上；

2)分别得到P和Q上的3×3的窗口矩阵PW与QW；计算PW中所有元素的灰度均值，记为PW_M，计算QW中所有元素的灰度均值，记为QW_M；利用公式得到灰度值矩阵匹配后的亮度矩阵，记为T，将T放在融合图像亮度分量显著区域的对应位置上；

3)遍历P和Q中所有元素，将每次得到的亮度矩阵T放在融合图像亮度分量显著区域的对应位置上，最终得到融合图像亮度分量的显著区域，记为I₂。

步骤七：将非显著区域I₁与显著区域I₂合并，得到最终的融合图像亮度分量，记为I′

步骤八：将I′、H、S分量通过IHS逆变换得到融合图像。

本发明的效果可通过以下实验结果与分析进一步说明：

为了评价本发明方法的性能，我们设计了如下的对比实验，选取目前具有代表性的三种图像融合方法——基于Brovey变换的融合方法，基于IHS变换的融合方法，基于小波变换的融合方法方法与本发明方法进行性能对比。

1.实验数据

实验所用数据为已配准的1024×1024多光谱图像和全色遥感图像。

2.对比实验及实验评价指标

本发明方法对比了基于Brovey变换的融合方法，基于IHS变换的融合方法，基于小波变换的融合方法方法，从主观上分别对比了以上方法生成的融合图像，如图6所示；还对图像的显著区域、非显著区域以及全区域使用统计指标从客观上评价了这几种图像融合方法，如表1-3所示。均值、标准差和平均梯度指标反映融合图像的空间细节信息；光谱扭曲度、偏差指数标反映融合图像的光谱信息。其中，均值反映了图像的平均亮度，均值越接近128则图像的视觉效果越好；标准差描述了像素点的值与图像灰度均值的偏离程度，标准差越大，则视觉效果越好；平均梯度描述图像的清晰程度，平均梯度越大，图像纹理越清晰；光谱扭曲度描述了融合图像的失真程度，光谱扭曲度越小，表明融合图像失真程度越小；偏差指数描述融合图像和源图像的偏离程度，偏差指数越小，表明两幅图像越接近。均值、标准差、平均梯度、光谱扭曲度以及偏差指数分别定义如下：

$\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

$\mathrm{\σ}={\left(\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-\stackrel{\‾}{x})}^2\right)}^{\frac{1}{2}}$

$\mathrm{\Δ}=\left(\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{{({\mathrm{\Δ}}_x^2+{\mathrm{\Δ}}_y^2)}^{\frac{1}{2}}}{2}\right)$

$S=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|A_{\mathrm{ij}}-B_{\mathrm{ij}}|$

$S^{\′}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{|A_{\mathrm{ij}}-B_{\mathrm{ij}}|}{A_{\mathrm{ij}}+1}$

其中，Δ_x和Δ_y为图像在水平和竖直方向上的梯度；源图像为A，融合图像为B。

基于Brovey变换的融合方法，基于IHS变换的融合方法，基于小波变换的融合方法和本发明方法统计指标的比较如表1-3所示。

表1：显著区域融合评价

显著区域	均值	标准差	平均梯度	光谱扭曲度	偏差指数
						Brovey变换	35.41294	18.67377	9.16447	70.19335	0.65898
IHS变换	106.14866	55.75676	27.32273	29.73558	0.28335
						小波变换	105.34785	56.12307	27.55332	27.95113	0.26727
本文方法	104.80857	56.74800	27.99923	27.06764	0.25249

表2：非显著区域融合评价

非显著区域	均值	标准差	平均梯度	光谱扭曲度	偏差指数
						Brovey变换	19.96525	9.40182	2.74077	34.87791	0.64037
IHS变换	59.90934	28.18929	8.15496	11.24271	0.20803
						小波变换	54.86353	24.73784	8.26912	8.49053	0.15624
本文方法	54.90033	24.76558	8.26490	8.46954	0.15581

表3：全区域融合评价

全区域	均值	标准差	平均梯度	光谱扭曲度	偏差指数
						Brovey变换	23.04660	13.70683	4.02997	41.92226	0.64408
IHS变换	69.13268	41.01698	12.00178	14.93147	0.22305
						小波变换	64.93362	39.72236	12.13943	12.37233	0.17839
本文方法	64.85551	39.80761	12.22516	12.17929	0.17510

通过比较融合图像以及表中的统计指标可见，基于Brovey变换的融合方法得到的融合图像亮度低，空间分辨率和光谱分辨率损失严重。基于IHS变换的融合方法得到的融合图像亮度最适合人眼观察，较好的保持空间分辨率的同时减少了光谱信息的丢失。与基于IHS变换的融合方法比较，基于小波变换的融合方法很好的降低了光谱扭曲度，但对空间细节信息的保持较IHS变换方法稍差。在显著区域，本发明方法很好的保持了空间分辨率；在非显著区域，本发明方法显著的降低了光谱扭曲度。本发明方法采用分区域的融合策略，较好的解决了遥感图像融合中不同区域对空间分辨率和光谱信息要求不同的问题。

Claims (3)

1.一种基于显著性分析的自适应遥感图像融合方法，本方法首先通过基于多尺度谱残差的显著性分析获得遥感图像的显著区域和非显著区域，然后在显著区域采用基于加窗IHS变换的融合方法，提高显著区域的空间分辨率，在非显著区域采用基于小波变换的融合方法，保留更多光谱信息，其特征在于，包括以下步骤：

步骤一：多光谱图像经IHS变换得到I、H、S分量，I、H、S分量分别表征图像的亮度(Intention)、色度(Hue)和饱和度(Saturation)；

步骤二：通过多尺度谱残差方法对全色遥感图像进行显著性分析，得到全色遥感图像的显著图，利用最大类间方差法对显著图进行阈值分割，分别得到显著区域和非显著区域的二值化模板；

步骤三：多光谱图像的I分量与非显著区域模板相乘得到多光谱图像I分量的非显著区域，记为M；全色遥感图像与非显著区域模板相乘得到全色遥感图像的非显著区域，记为N；

步骤四：对M进行三层小波分解，提取M的低频分量，记为M_l；对N进行三层小波分解，提取N的高频分量，记为N_h；

步骤五：将M的低频分量M_l和N的高频分量N_h直接重组，将重组结果进行小波重构，得到融合图像亮度分量的非显著区域，记为I₁；

步骤六：多光谱图像的I分量与显著区域模板相乘得到多光谱图像I分量的显著区域，记为P；全色遥感图像与显著区域模板相乘得到全色遥感图像的显著区域，记为Q；对P和Q采用基于加窗IHS变换的融合方法，即对P和Q进行窗口大小为3×3的灰度值矩阵匹配，窗口遍历后得到融合图像亮度分量的显著区域，记为I₂；

步骤七：将非显著区域I₁与显著区域I₂合并，得到最终的融合图像亮度分量，记为I′；

步骤八：将I′、H、S分量进行IHS逆变换，得到最终的融合图像。

2.根据权利要求1所述的一种基于显著性分析的自适应遥感图像融合方法，其特征在于，所述步骤二具体过程为：

1)对全色遥感图像K分别在三个尺度下进行下采样得到K′_δ，δ=1,2,3；

2)将K′_δ进行二维傅里叶变换，分别得到三个尺度下的图像幅值谱A_δ和相位谱

；

3)对三个尺度下的全色遥感图像幅值谱A_δ分别取对数，得到三个尺度下对应的对数谱L_δ；

4)对L_δ进行5×5的均值滤波得到L′_δ，用L_δ减去L′_δ，分别得到三个尺度下幅值谱的残差信息R_δ；

5)将R_δ和

进行傅里叶逆变换，对逆变换的结果进行高斯滤波，分别得到三个尺度下的全色遥感图像特征图S_δ；

6)对三个尺度下的特征图S_δ进行跨尺度融合，得到显著图S；

7)采用最大类间方差法计算S的分割阈值，记为λ；用λ对显著图S进行二值分割，得到显著区域和非显著区域的二值化模板。

3.根据权利要求1所述的一种基于显著性分析的自适应遥感图像融合方法，其特征在于，所述步骤六具体过程为：

1)构造一个3×3的矩阵，分别加在多光谱图像I分量的显著区域P和全色遥感图像的显著区域Q的对应位置上；

2)分别得到P和Q上的3×3窗口矩阵PW与QW；计算PW中所有元素的灰度均值，记为PW_M，计算QW中所有元素的灰度均值，记为QW_M；利用公式得到灰度值矩阵匹配后的亮度矩阵，记为T，将T放在融合图像亮度分量显著区域的对应位置上；

3)遍历P和Q中所有元素，将每次得到的亮度矩阵T放在融合图像亮度分量显著区域的对应位置上，最终得到融合图像亮度分量的显著区域，记为I₂。

Images