CN103617597A

CN103617597A - 基于差值图像稀疏表示的遥感图像融合方法

Info

Publication number: CN103617597A
Application number: CN201310517977.6A
Authority: CN
Inventors: 焦李成; 刘芳; 戴金洪; 马文萍; 马晶晶; 王爽; 侯彪; 侯小瑾; 刘坤
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2014-03-05
Anticipated expiration: 2033-10-25
Also published as: CN103617597B

Abstract

本发明公开了一种基于差值图像稀疏表示的遥感图像融合方法，主要解决现有遥感图像融合方法光谱失真的问题。其实现步骤为：输入图像集并分别进行取块，获得图像块数据集；根据图像块数据集构造高低分辨率差值图像训练集；利用半对称字典训练方法对高低分辨率差值图像训练集进行训练得到训练字典；输入待融合低分辨率多光谱图像和高分辨率全色图像，计算待融合低分辨率差值图像；根据半对称字典图像超分辨方法对待融合低分辨率差值图像进行超分辨处理得到高分辨率差值图像，并对其进行逆变换，得到高分辨的多光谱图像。本发明与经典遥感图像融合方法相比，由于采用了基于差值图像的融合模型，减小了光谱失真，可用于目标识别。

Description

基于差值图像稀疏表示的遥感图像融合方法

技术领域

本发明属于图像处理技术领域，涉及遥感图像融合方法，可用于遥感图像后续的图像解译、目标检测、目标识别等。

背景技术

光学遥感传感器可以获得多种地表图片为农业生产，地球观测，气象预报等方面提供有用的信息。然而，绝大多数的光学遥感传感器并不同时提供空间和光谱的高分辨图像。例如：Ikonos遥感传感器和Quickbird遥感传感器获得图像是低分辨率多光谱图像和高分辨率全色图像。遥感图像融合技术的目的是为了得到高分辨率多光谱图像，以便为后续的理解和解译提供更准确、全面的信息，经典的遥感图像融合方法主要包括：

Tu等人提出的基于IHS变换的遥感图像融合方法，见A fast intensity-hue-saturation fu-sion techinque with spectral adjustment imagery,IEEE Geosci.Remote Sens.Lett.,vol.4,no.2,pp.309-312,Oct.2004，该方法直接用高分辨率全色图像的空间成分进行替代低分辨率多光谱图像的空间成分来获得高分辨率多光谱图像，往往引起严重的光谱失真。

Shah等人提出基本PCA和contourlet变换的联合加权的遥感图像融合方法，见Anefficient pan-sharpening method via a combined adaptive PCA approach and contourlets,IEEETrans,Geosci,Remote Sens.,vol.46,no.5,pp.1323-1335,May2008，该方法将高分辨率全色图像高通细节信息注入到低分辨多光谱图像中来获得高分辨率多光谱图像。该方法应用到遥感图像融合时，由于高分辨率全色图像灰度与高分辨多光谱图像灰度存在差异，导致融合后的光谱失真较为严重。

发明内容

本发明的目的在于针对已有技术的不足，提出了一种基于差值图像稀疏表示的遥感图像融合方法，以便减小遥感图像融合中的光谱失真，提高融合效果。

实现本发明目的技术关键是设计一种新的遥感图像融合模型，并利用现有的半对称字典训练方法对差值图像进行训练，其实现步骤包括如下：

（1）训练步骤

（1.1）输入N幅高分辨率多光谱图像，形成高分辨率多光谱图像集X_h,对该图像集X_h中每幅图像的1-4个通道分别进行取块,并将N幅图像同一通道的图像块进行合并，得到该高分辨率多光谱图像集第1通道的数据集X_hb、第2通道的数据集X_hg、第3通道的数据集X_hr、第4通道的数据集X_hn，N≥1；

（1.2）输入N幅高分辨率全色图像，形成高分辨率全色图像集X_p，对该图像集X_p中的图像进行取块，并将N幅图像的图像块进行合并，得到高分辨率全色图像数据集X_hp；

（1.3）对高分辨率多光谱图像集X_h的图像依次进行低通滤波、下采样和线性插值，得到N幅与高分辨率多光谱图像大小相同的低分辨率多光谱图像，记为低分辨率多光谱图像集X_q；

（1.4）对低分辨率多光谱图像集X_q中图像的1-4通道进行取块，并将N幅低分辨率多光谱图像同一通道的图像块进行合并，组成低分辨率多光谱图像第1通道的数据集X_qb、第2通道的数据集X_qg、第3通道的数据集X_qr、第4通道的数据集X_qn；

（1.5）根据（1）、（2）和（4）得到的数据集，计算1-4通道的高分辨率差值图像X_di以及低分辨率差值图像Y_di，i表示第几通道，i=1,2,3,4；

（1.6）利用k均值聚类方法对高分辨率差值图像X_di进行聚类，得到聚类后的高分辨率差值图像X_dim；根据高分辨率差值图像X_di聚类时每一列所属类别的标记，对低分辨率差值图像Y_di进行类别划分，得到聚类后的低分辨率差值图像Y_dim，k代表聚类类别数，m代表第几类，1≤m≤k；

（1.7）利用半对称字典训练方法对聚类后的高分辨率差值图像X_dim和聚类后的低分辨率差值图像Y_dim进行联合训练，得到聚类后高分辨率差值图像X_dim的稀疏表示字典D_xdim、聚类后低分辨率差值图像Y_dim的稀疏表示字典D_ydim以及匹配矩阵W_im。

（2）融合步骤

（2.1）输入需要融合的低分辨率多光谱图像I_q和高分辨率全色图像I_p,对该低分辨率多光谱图像I_q的1-4通道进行滑块，得到待融合的低分辨率多光谱图像块I_qBi；对该高分辨率全色图像I_p进行滑块，得到待融合的高分辨率全色图像块I_pB；

（2.2）根据下式计算待融合的低分辨率差值图像块I_dBi：

I_dBi＝I_pB-I_qBi；

（2.3）利用步骤（1.7）中训练得到的高分辨率差值图像稀疏表示字典D_xhim、低分辨率差值图像稀疏表示字典D_ydim以及匹配矩阵W_im，利用半对称字典图像超分辨方法对低分辨率差值图像I_dBi进行超分辨，得到融合高分辨率差值图像块F_di；

（2.4）对融合高分辨率差值图像块F_di进行逆变换，得到融合图像块F_Bi：

F_Bi＝I_pB-F_di；

（2.5）对融合图像块F_Bi进行滑块，得到融合后的高分辨率多光谱图像1-4通道的图像F_i，再将这四个通道图像F_i整合到一起，得到一幅融合的分辨率多光谱图像F。

本发明与现有的技术相比具有以下优点：

1.本发明的训练模型中利用差值图像进行训练，差值图像包含图像的细节信息，可以更好的利用图像的特性。

2.本发明针对遥感图像融合中存在的光谱失真问题，给出了在差值图像上进行融合的模型，有效的减少了融合图像的光谱失真。

3.本发明的训练字典由同类图像训练得到，能够更好的对图像进行稀疏表示和描述。

附图说明

图1是本发明的总流程图；

图2是本发明仿真使用的Ikonos遥感图像；

图3是本发明仿真使用的QuickBird遥感图像；

图4是用本发明和现有的两种方法对Ikonos遥感图像进行的融合的结果图；

图5是用本发明和现有的两种方法对QuickBird遥感图像进行的融合的结果图。

具体实施方式

参照图1，本发明的具体实现包括训练和融合两个阶段，步骤如下：

一、训练阶段

步骤1，对高分辨率多光谱图像集X_h进行取块，获得高分辨率多光谱图像数据集。

1a)输入N幅高分辨率多光谱图像，形成高分辨率多光谱图像集X_h；

1b)对该图像集X_h中每幅图像的1-4个通道分别进行取块,并将N幅图像同一通道的图像块进行合并，对每一通道的图像块分别取10000列组成该高分辨率多光谱图像集的第1通道的数据集X_hb、第2通道数据集X_hg、第3通道数据集X_hr和第4通道的数据集X_hn。

本步骤中高分辨多光谱图像四个通道取列的位置是相同的，取块窗口大小为7×7，重叠块为2个，N=12。

步骤2，对高分辨率全色图像集X_p进行取块，获得高分辨率全色图像数据集；

2a)输入N幅高分辨率全色图像，形成高分辨率全色图像集X_p；

2b)对该图像集X_p中的图像进行取块，并将N幅高分辨率全色图像的图像块进行合并，按照高分辨率图像块取列的位置，取10000列图像块，得到高分辨率全色图像数据集X_hp，取块窗口大小为7×7，重叠块为2个。

步骤3，对高分辨率多光谱图像集X_h进行处理，得到低分辨率多光谱图像集X_q。

对高分辨率多光谱图像集X_h的图像依次进行低通滤波、下采样和线性插值，得到N幅与高分辨率多光谱图像大小相同的低分辨率多光谱图像，记为低分辨率多光谱图像集X_q。

步骤4，对低分辨率多光谱图像集X_q进行取块，获得低分辨率多光谱图像数据集。

4a)对低分辨率多光谱图像集X_q中图像的1-4通道进行取块，并将N幅低分辨率多光谱图像同一通道的图像块进行合并；

4b)对每一通道分别按照高分辨率图像块取列的位置取10000列，组成低分辨率多光谱图像第1通道的数据集X_qb、第2通道的数据集X_qg、第3通道的数据集X_qr、第4通道的数据集X_qn,取块窗口大小为7×7，重叠块为2个。

步骤5，根据步骤1、步骤2和步骤4得到的数据集，计算1-4通道的高分辨率差值图像X_di以及低分辨率差值图像Y_di，i表示第几通道，i=1,2,3,4，即：

第1通道的高分辨率差值图像X_d1和低分辨率差值图像Y_d1为：

X_d1＝X_hp-X_hb；

Y_d1＝X_hp-X_qb；

第2通道的高分辨率差值图像X_d2和低分辨率差值图像Y_d2为：

X_d2＝X_hp-X_hg；

Y_d2＝X_hp-X_qg；

第3通道的高分辨率差值图像X_d3和低分辨率差值图像Y_d3为：

X_d3＝X_hp-X_hr；

Y_d3＝X_hp-X_qr；

第4通道的高分辨率差值图像X_d4和低分辨率差值图像Y_d4为：

X_d4＝X_hp-X_hn；

Y_d4＝X_hp-X_qn。

步骤6，获取聚类后的高分辨率差值图像X_dim和低分辨率差值Y_dim。

6a）利用k均值聚类方法对高分辨率差值图像X_di进行聚类，得到聚类后的高分辨率差值图像X_dim，并对聚类时高分辨率差值图像X_di每一列所属的类别进行标记；

6b）根据高分辨率差值图像X_di聚类时每一列所属类别的标记，对低分辨率差值图像Y_di进行类别划分，得到聚类后的低分辨率差值图像Y_dim，k代表聚类类别数，m代表第几类，1≤m≤k。

步骤7，利用半对称字典训练方法对聚类后的高分辨率差值图像X_dim和聚类后的低分辨率差值图像Y_dim进行联合训练，得到聚类后高分辨率差值图像X_dim的稀疏表示字典D_xdim、聚类后低分辨率差值图像Y_dim的稀疏表示字典D_ydim以及匹配矩阵W_im。

半对称字典训练方法的详细步骤参见《Semi-Coupled Dictionary Learning withApplication to Image Super-Resolution and Photo-SketchSynthesis》,Computer Vision andAattern Recognition,IEEE,pp.2216-2223,2012。

二、融合阶段

步骤8，对需要融合的低分辨率多光谱图像I_q和高分辨率全色图像I_p进行融合，得到融合后的高分辨率多光谱图像F。

8a）输入待融合的低分辨率多光谱图像I_q，对该图像1-4通道进行滑块，得到待融合的低分辨率多光谱图像块I_qBi，取块窗口大小为7×7，重叠块为2个；

8b)输入待融合的高分辨率全色图像I_p,对该图像进行滑块，得到待融合的高分辨率全色图像块I_pB,取块窗口大小为7×7，重叠块为2个；

8c）根据下式计算待融合的低分辨率差值图像块I_dBi：

I_dBi＝I_pB-I_qBi；

8d）利用步骤7中训练得到的高分辨率差值图像稀疏表示字典D_xhim、低分辨率差值图像稀疏表示字典D_ydim以及匹配矩阵W_im，利用半对称字典图像超分辨方法对低分辨率差值图像I_dBi进行超分辨，得到融合高分辨率差值图像块F_di；

8e）对融合高分辨率差值图像块F_di进行逆变换，得到融合图像块F_Bi：

F_Bi＝I_pB-F_di；

8f）对融合图像块F_Bi进行滑块，得到融合后的高分辨率多光谱图像1-4通道的图像F_i，再将这四个通道图像F_i整合到一起，得到一幅融合的分辨率多光谱图像F。

本发明的效果可以通过下面的实验仿真进一步说明：

1、实验条件与方法

硬件平台为：Intel(R)Core(TM)i5-3210MCPU2.50GHz、4GBRAM；

软件平台为：MATLABR2011a；实验中采用两组不同传感器的遥感图像，即Ikonos图像和QucickBird图像，图像大小均为256×256，两组遥感图像均来源于图像融合网站：http://www.glcf.umiacs.umd.edu./。Ikonos图像见图2中所示，其中图2(a)是Ikonos经过滤波、重采样和插值处理后分辨率为16m的低分辨率多光谱图像图像，图2(b)是Ikonos经过滤波、重采样和插值处理后分辨率为4m的高分辨率全色图像像图像，QuickBird图像见图3所示，其中图3(a)是QuickBird经过滤波、重采样和插值处理后分辨率为16m的低分辨率多光谱图像图像，图3(b)是QuickBird经过滤波、重采样和插值处理后分辨率为4m的高分辨率全色图像像图像。

实验时采用的对比方法是现有的两种遥感图像融合方法，其中：

方法1为GIHS方法，参见文章《A fast intensity-hue-saturation fusion techinque withspectral adjustment imagery》，IEEE Geosci.RemoteSen.Lett.,vol.4,no.2,pp.309-312,2004;

方法2为AWLP方法方法，参见文章《An efficient pan-sharpening method via a combinedadaptive PCA approach and contourlets》，IEEE Trans，Geosci.RemoteSens.,vol.46,no.5,pp.1323-1335,2008;

2、仿真内容与结果

仿真一：用本发明的方法与现有的两种遥感图像融合方法对图2（a）所示的Ikonos低分辨率多光谱图像图像和图2（b）所示的Ikonos高分辨率全色图像进行融合，融合结果见图4，其中：图4（a）是用现有方法1得到的融合结果图；图4（b）是用现有方法2得到的融合结果图；图4（c）是用本发明得到的融合结果图。

仿真二：用本发明的方法与现有的两种遥感图像融合方法对图3（a）所示的QuickBird低分辨率多光谱图像图像和图3（b）所示的QuickBird高分辨率全色图像进行融合，融合结果见图5，其中：图5（a）是用现有方法1得到的融合结果图；图5（b）是用现有方法2得到的融合结果图；图5（c）是用本发明得到的融合结果图。

3、实验结果

将本发明的融合结果与现有的两种遥感图像融合方法的融合结果进行比较，评价本发明的效果。

表1给出了Ikonos图像融合结果客观评价指标，

表2给出了QuickBird图像融合结果客观评价指标，

其中，加粗部分为最优值。

表1.Ikonos遥感图像融合结果客观评价指标

表1续

表2.QuickBird遥感图像融合结果客观评价指标

表1、表2中的bands为通道，CC为相关系数，RMSE为均方根误差，SAM为光谱角，ERGAS为相对整体维数综合误差。Q4为全局融合质量评价指标。

相关系数CC：表示融合图像与原始高分辨率多光谱图像的相似程度，其值越大，表明光谱失真越小。

均方根误差RMSE：表示融合图像与原始高分辨率多光谱图像灰度值的均方根误差，其值越小，说明融合效果越好。

光谱角SAM：表示真实的谱向量和估计的谱向量之间的光谱扭曲程度，其值越小，表明光谱失真越小，光谱角值为0表示没有光谱扭曲。

相对整体维数综合误差ERGAS：表示融合图像与原始高分辨率多光谱图像之间的光谱扭曲程度，反映了融合图像的整体质量，理想值为0。

全局融合质量评价指标Q4：取值范围为0～1，其值越大越好，当融合图像与原始高分辨率多光谱图像相同时，其值为1。

从表1、表2的客观指标来看，本发明的方法的客观指标除SAM指标存在一定的滞后现象外，各项指均优于方法1和方法2。

从图4、图5可见，现有方法1和方法2的融合结果图与本发明融合结果图相比光谱失真较为严重。本发明的融合结果图的光谱特性与原始高分辨率多光谱图像最相似，同时将全色图像的细节信息注入到融合结果图中，使得融合结果图细节信息更清晰，从而证明了本发明的有效性；

综上所述，本发明的方法应用于遥感图像融合能取得更好的融合结果。

Claims

1.一种基于差值图像稀疏表示的遥感图像融合方法，包括：

（1）训练步骤

（2）融合步骤

（2.2）根据下式计算待融合的低分辨率差值图像块I_dBi：

I_dBi＝I_pB-I_qBi；

F_Bi＝I_pB-F_di；

2.根据权利要求书1所述的基于差值图像稀疏表示的遥感图像融合方法，其中步骤

（1.5）中所述的计算1-4通道的高分辨率差值图像X_di和低分辨率差值图像Y_di，按如下公式计算：

第1通道的高分辨率差值图像X_d1和低分辨率差值图像Y_d1为：

X_d1＝X_hp-X_hb；

Y_x1＝X_hp-X_qb；

第2通道的高分辨率差值图像X_d2和低分辨率差值图像Y_d2为：

X_d2＝X_hp-X_hg；

Y_d2＝X_hp-X_qg；

第3通道的高分辨率差值图像X_d3和低分辨率差值图像Y_d3为：

X_d3＝X_hp-X_hr；

Y_d3＝X_hp-X_qr；

第4通道的高分辨率差值图像X_d4和低分辨率差值图像Y_d4为：

X_d4＝X_hp-X_hn；

Y_d4＝X_hp-X_qn。