CN107545554A - 一种基于导向滤波的两级遥感图像融合方法 - Google Patents
一种基于导向滤波的两级遥感图像融合方法 Download PDFInfo
- Publication number
- CN107545554A CN107545554A CN201710273675.7A CN201710273675A CN107545554A CN 107545554 A CN107545554 A CN 107545554A CN 201710273675 A CN201710273675 A CN 201710273675A CN 107545554 A CN107545554 A CN 107545554A
- Authority
- CN
- China
- Prior art keywords
- image
- pan
- steerable filter
- weight matrix
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于导向滤波的两级遥感图像融合方法,在两级操作中采用两种导向方式的导向滤波模型进行图像融合,对预处理后的图像先利用多通道导向滤波进行初步融合,后通过设计合适的增强模型利用单通道导向滤波对上述融合结果进行空间分辨率提高,最终融合原始的多光谱图像光谱信息和全色光图像的空间信息,得到高质量的融合图像,是一种适用于高分辨率星载多光谱与全色光图像融合的有效融合方法。
Description
技术领域
本发明涉及遥感图像的可视化增强处理技术,尤其是针对星载多光谱图像和全色光图像的图像融合方法。
背景技术
由于受到传感器物理特性等技术的限制,为了获得更高的光谱分辨率,常常要在一定程度上牺牲空间分辨率,而如果以获得更高的空间分辨率为首要目标,则必须以 降低光谱分辨率为代价。为了解决这一矛盾,遥感平台,例如QuickBird、WorldView-2、 GeoEye-1常常搭载不同特性的传感器来分别获取具有高空间分辨率的全色光图像和 高光谱分辨率的多光谱图像,组成具有互补性的图像数据集。通过融合这两类图像既 可以提高多光谱图像空间分辨率,又保留其多光谱特性。因此,它不仅仅是数据间的 简单复合,而是强调信息的优化,以突出有用的专题信息,消除或抑制无关的信息, 改善目标识别的图像环境等。
在过去几十年中,已出现许多遥感图像融合的方法,其中成分替换法、模型优化法和多分辨率分析法这三类方法是最常用的。经典的成分替换法有 Intensity-Hue-Saturation(IHS)、Gram Schmidt(GS)、Principal Component Analysis(PCA) 法等,由于全色光和多光谱图像间复杂的光谱响应,成分替换法将导致严重的光谱扭 曲。模型优化法是基于全色光图像、多光谱图像以及两者间关系建立恢复优化模型, 常用的方法有sparserepresentation(SR)等,由于遥感平台的光谱响应不同,这些假设 模型可能不适合所有卫星传感器,因此融合图像会产生空间和光谱失真。多分辨率分 析常用的方法有àtrouswavelet transformation(AWAT)和拉普拉斯金字塔(Laplacian pyramid)等,这类方法提取的空间细节可能与多光谱图像不匹配,因此,在融合图像 的空间扭曲是不可避免的。
发明内容
为了克服现有技术的不足,本发明提供一种基于导向滤波的两级图像融合方法,预处理阶段对原始多光谱图像进行上采样和进行图像间的直方图匹配,设计两种细节 注入模型,首先通过基于多通道导向滤波注入模型进行初步的图像融合来提高光谱分 辨率,再利用单通道导向滤波细节注入模型对上述融合结果进行空间分辨率的提高, 最终融合结果将同时具有高空间分辨率和高光谱分辨率。
本发明解决其技术问题所采用的技术方案包括以下步骤:
第一步,运用双三次插值法对包含N个波段的原始多光谱图像MSi进行上采样, 上采样后图像记为LMSi;
第二步,计算强度分量其中线性组合系数αi通过求解优化模型得到;将全色光图像PAN分别与INT和MSi进行直方图 匹配,匹配后图像分别记为PAN_I和PAN_LMSi;
第三步,在以像素k为中心的正方形窗口wk中,窗口大小为(2r+1)×(2r+1), 输出图像O由导向图像Q经过线性变换得到;
构建单通道导向滤波器用GF_S(·)表示,其中Q为单波段图像,为ak bk、在wj中的均值,wj是以像素j为中 心的正方形窗口,大小为(2r+1)×(2r+1),μk与分别为Q在wk的均值和方差,w为wk中包含的所有像素点个数,pj为输入 图像P在j处的像素值,为p在wk中的均值,ε是正则化系数;
构建多波段图像导向滤波器用GF_M(·)表示,其中Q为多波段图像,Σk为Q在wk的协方差矩阵,U是N阶单位阵,
第四步,运用GF_M(·)将PAN_I图像进行两层分解,ZMS1=GF_M(PAN_I,LMS),ZMS2=GF_M(ZMS1,LMS);该两层的细节信息为DP1=PAN_I-ZMS1, DP2=ZMS1-ZMS2;初步融合结果为
第五步,计算权重矩阵
第六步,对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H;ξi和H通过 单通道导向滤波获得各波段对应的权值矩阵Γi=GF_S(ξi,H);计算精确的权值矩阵 ΓGF=Γi当μi表示初步融合结果各波段的平均灰度值。精确的权 值矩阵ΓGF选择具有最高平均灰度值值的多光谱波段对应的权值矩阵,用于最终的 细节增强;
第七步,得到第i波段PAN_MSi和的差分图像将Ri同时作为导向图像和输入图像进行单波段导向滤波Xi=GF_S(Ri,Ri);用差分图像减 去滤波结果进行差分图像的空间细节信息提取DRi=Ri-Xi;利用权值矩阵ΓGF将空间 细节DRi调制后注入至初步融合结果中,最终融合图像记为其中⊙表示矩阵点乘运算。
本发明的有益效果是:在两级操作中采用两种导向方式的导向滤波模型进行图像融合,对预处理后的图像先利用多通道导向滤波进行初步融合,后通过设计合适的增 强模型利用单通道导向滤波对上述融合结果进行空间分辨率提高,最终融合原始的多 光谱图像光谱信息和全色光图像的空间信息,得到高质量的融合图像,是一种适用于 高分辨率星载多光谱与全色光图像融合的有效融合方法。
附图说明
图1是本发明的原理示意图;
图2是本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明包括以下步骤:
假设原始多光谱图像(MSi)包含N个波段,下标i=1,…,N,表示对应多波段图像的第i波段。
第一步、上采样多光谱图像
运用双三次插值法对原始多光谱图像进行上采样,上采样后图像记为LMSi。
第二步、直方图匹配
计算强度分量INT,INT可以由合适的上采样多光谱图像(LMSi)的线性组合模型估计:
其中线性组合系数通过求解下述优化模型得到:
将全色光图像(PAN)分别与INT和MSi进行直方图匹配,匹配后图像记为PAN_I 和PAN_LMSi,匹配,直方图匹配具体计算过程如下:
(3),(4)式中μP,μI,分别是全色光图像PAN,强度分量INT,上采样多光谱图像LMSi的均值,σP,σI,分别是全色光图像PAN,强度分量INT,上采样多光谱 图像LMSi的标准差。
第三步、导向滤波
导向滤波器原理参见IEEE Transactions on Pattern Analysis and MachineIntelligence,35(6):1397-1409,2013.
单通道导向滤波器包含一幅输入图像(P),一幅导向图像(Q)。滤波输出图像记 为O,在以像素k为中心的窗口wk中,这里采用正方形窗口,窗口半径记为r,窗口 大小为(2r+1)×(2r+1)。O由Q经过线性变换得到:
其中(ak,bk)是指在包含像素点j的第k个窗口wk中保持不变的一组线性系数。 具体计算公式如下:
其中μk与分别为Q在wk的均值和方差,w为wk中包含的所有像素点个数,pj为 输入图像在j处的像素值,为p在wk中的均值,ε是正则化系数。最终 滤波输出结果为:
其中为ak,bk在wj中的均值,wj为以像素j为中心的正方形窗口,大小为(2r+1)×(2r+1)。在本文中,用GF_S(·)来表示单通道导向 滤波操作,其中导向图像Q为单波段图像。
当导向图像为多波段图像时,导向滤波器线性模型可以改写为:
Qj是N×1向量,ak是N×1系数向量,T表示矩阵的转置,Oj和bk是标量。 多通道导向滤波模型为:
其中Σk为Q在wk的协方差矩阵,ε是正则化系数,U是N阶单位阵。在本文中, 用GF_M(·)来表示多通道导向滤波操作,其中导向图像Q为多波段图像。
第四步、初步融合
运用GF_M(·)滤波器将PAN_I图像进行两层分解:
ZMS1=GF_M(PAN_I,LMS) (13)
ZMS2=GF_M(ZMS1,LMS) (14)
其中,上采样LMS图像为多波段图像,分别用该层输入图像减去该层滤波结果, 得到该两层的细节信息:
DP1=PAN_I-ZMS1 (15)
DP2=ZMS1-ZMS2 (16)
初步融合结果为:
第五步、计算权重矩阵
N波段初步融合结果用来比较得到权重矩阵ξi
第六步、计算精确权值矩阵
对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H。
ξi和H通过单通道导向滤波获得权值矩阵。
Γi=GF_S(ξi,H) (19)
考虑到MS1图像的空间信息,权值矩阵要提高的空间分辨率同时降低光谱扭曲。精确的权值矩阵ΓGF选择具有最高平均值的多光谱波段对应的权值矩阵,用于最终 的细节增强。
ΓGF=Γi当
μk表示初步融合结果MS1各波段的平均灰度值。
第七步、细节增强
对第i波段,得到该波段PAN_MSi和的差分图像Ri。
将Ri同时作为导向图像和输入图像进行单波段导向滤波得到滤波结果。
Xi=GF_S(Ri,Ri) (22)
用差分图像减去滤波结果来提取差分图像的空间细节信息。
DRi=Ri-Xi (23)
利用权值矩阵ΓGF将空间细节DRi调制后注入至初步融合结果MS1中,最终融合图像记为MS2。
其中⊙表示矩阵点乘运算。
方法实施例:
采用真实GeoEye-1星载遥感多光谱图像和全色光图像,多光谱图像包含四个波段(MS1-MS4),分别是:蓝、绿、红、近红外波段,全色光图像(PAN)为单波段。多光 谱图像的空间分辨率为2.0m,大小为200行×200列。全色光图像空间分辨率为0.5m, 大小为800行×800列。实施本发明包括以下步骤:
第一步、上采样多光谱图像
由于全色光图像空间分辨率是多光谱图像空间分辨率的4倍,因此全色光图像的尺寸是多光谱图像的4倍,故需对多光谱图像上采样得到和全色光尺寸相同的图像。
这里运用双三次插值法对原始多光谱图像进行上采样,上采样后的多光谱图像记为LMSi,上采样后多光谱图像尺寸为800行×800列。
第二步、直方图匹配
计算强度分量INT。INT可以由合适的上采样多光谱图像(LMSi)线性组合模型估计。
其中线性组合系数通过求解下述优化模型得到:
s.t.α1≥0,...,αN≥0
利用公式(3)和(4),将全色光图像(PAN)分别与INT和MSi图像进行直方图匹配,匹配后图像记为PAN_I和PAN_LMSi。
第三步、导向滤波
用GF_S(·)来表示单通道导向滤波操作,其中输入图像和导向图像均为单波段图像。
用GF_M(·)来表示多通道导向滤波操作,其中输入图像为单波段图像,导向图像为多波段图像。
第四步、初步融合
运用GF_M(·)滤波器将PAN_I图像进行两层分解:
ZMS1=GF_M(PAN_I,LMS)
ZMS2=GF_M(ZMS1,LMS)
其中GeoEye-1卫星的上采样后四波段多光谱图像作为两层多通道导向滤波的输入图像,即LMS,第一层输入图像为PAN_I,第二层输入图像为第一层滤波的结果 ZMS1。在该两层上,分别用输入图像减去多通道导向滤波结果得到细节信息:
DP1=PAN_I-ZMS1
DP2=ZMS1-ZMS2
初步融合结果为:
第五步、计算权重矩阵
N波段初步融合结果(MS1)用来比较得到权重矩阵ξi。
第六步、计算精确权值矩阵
对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H。
H=PAN*L
其中L=[[-1,-1,-1],[-1,8,-1],[-1,-1,-1]],为3×3拉普拉斯滤波器,*代 表卷积运算。
ξi和H通过单通道导向滤波获得精确权值矩阵。
Γi=GF_S(ξi,H)
考虑到MS1图像的空间信息,权值矩阵要提高的空间分辨率同时降低光谱扭曲。精确的权值矩阵ΓGF选择具有最高平均灰度值的多光谱波段对应的权值矩阵,用于 最终的细节增强。
ΓGF=Γi当
其中μk表示初步融合结果MS1各波段的平均灰度值。
第七步、细节增强
对第i波段,得到该波段PAN_MSi和的差分图像Ri。
将Ri同时作为导向图像和输入图像进行单波段导向滤波得到滤波结果。
Xi=GF_S(Ri,Ri)
用差分图像减去滤波结果来提取差分图像的空间细节信息。
DRi=Ri-Xi
利用权值矩阵ΓGF将空间细节DRi调制后注入至初步融合结果MS1中,最终融合图像记为MS2。
其中⊙表示矩阵点乘运算。
Claims (1)
1.一种基于导向滤波的两级遥感图像融合方法,其特征在于包括下述步骤:
第一步,运用双三次插值法对包含N个波段的原始多光谱图像MSi进行上采样,上采样后图像记为LMSi;
第二步,计算强度分量其中线性组合系数αi通过求解优化模型得到;将全色光图像PAN分别与INT和MSi进行直方图匹配,匹配后图像分别记为PAN_I和PAN_LMSi;
第三步,在以像素k为中心的正方形窗口wk中,窗口大小为(2r+1)×(2r+1),输出图像O由导向图像Q经过线性变换得到;
构建单通道导向滤波器用GF_S(·)表示,其中Q为单波段图像,为akbk、在wj中的均值,wj是以像素j为中心的正方形窗口,大小为(2r+1)×(2r+1),μk与分别为Q在wk的均值和方差,|w|为wk中包含的所有像素点个数,pj为输入图像P在j处的像素值,为p在wk中的均值,ε是正则化系数;
构建多波段图像导向滤波器用GF_M(·)表示,其中Q为多波段图像,Σk为Q在wk的协方差矩阵,U是N阶单位阵,
第四步,运用GF_M(·)将PAN_I图像进行两层分解,ZMS1=GF_M(PAN_I,LMS),ZMS2=GF_M(ZMS1,LMS);该两层的细节信息为DP1=PAN_I-ZMS1,DP2=ZMS1-ZMS2;初步融合结果为
第五步,计算权重矩阵
第六步,对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H;ξi和H通过单通道导向滤波获得各波段对应的权值矩阵Γi=GF_S(ξi,H);计算精确的权值矩阵ΓGF=Γi当μi表示初步融合结果各波段的平均灰度值。精确的权值矩阵ΓGF选择具有最高平均灰度值值的多光谱波段对应的权值矩阵,用于最终的细节增强;
第七步,得到第i波段PAN_MSi和的差分图像将Ri同时作为导向图像和输入图像进行单波段导向滤波Xi=GF_S(Ri,Ri);用差分图像减去滤波结果进行差分图像的空间细节信息提取DRi=Ri-Xi;利用权值矩阵ΓGF将空间细节DRi调制后注入至初步融合结果中,最终融合图像记为其中⊙表示矩阵点乘运算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710273675.7A CN107545554A (zh) | 2017-04-25 | 2017-04-25 | 一种基于导向滤波的两级遥感图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710273675.7A CN107545554A (zh) | 2017-04-25 | 2017-04-25 | 一种基于导向滤波的两级遥感图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107545554A true CN107545554A (zh) | 2018-01-05 |
Family
ID=60966847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710273675.7A Pending CN107545554A (zh) | 2017-04-25 | 2017-04-25 | 一种基于导向滤波的两级遥感图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107545554A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537765A (zh) * | 2018-03-12 | 2018-09-14 | 西北工业大学 | 一种星载全色与多光谱图像融合方法 |
CN109523497A (zh) * | 2018-10-30 | 2019-03-26 | 中国资源卫星应用中心 | 一种光学遥感影像融合方法 |
CN109785281A (zh) * | 2018-12-31 | 2019-05-21 | 南京理工大学 | 基于光谱映射的灰度调幅的pansharpening方法 |
CN109993717A (zh) * | 2018-11-14 | 2019-07-09 | 重庆邮电大学 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
CN105761214A (zh) * | 2016-01-14 | 2016-07-13 | 西安电子科技大学 | 基于轮廓波变换与引导滤波的遥感图像融合方法 |
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN104809734B (zh) * | 2015-05-11 | 2018-07-27 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
-
2017
- 2017-04-25 CN CN201710273675.7A patent/CN107545554A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616261A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
CN104809734B (zh) * | 2015-05-11 | 2018-07-27 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
CN105761214A (zh) * | 2016-01-14 | 2016-07-13 | 西安电子科技大学 | 基于轮廓波变换与引导滤波的遥感图像融合方法 |
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
Non-Patent Citations (1)
Title |
---|
SHUTAO LI等: "Image Fusion with Guided Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537765A (zh) * | 2018-03-12 | 2018-09-14 | 西北工业大学 | 一种星载全色与多光谱图像融合方法 |
CN109523497A (zh) * | 2018-10-30 | 2019-03-26 | 中国资源卫星应用中心 | 一种光学遥感影像融合方法 |
CN109993717A (zh) * | 2018-11-14 | 2019-07-09 | 重庆邮电大学 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
CN109785281A (zh) * | 2018-12-31 | 2019-05-21 | 南京理工大学 | 基于光谱映射的灰度调幅的pansharpening方法 |
CN109785281B (zh) * | 2018-12-31 | 2022-09-13 | 南京理工大学 | 基于光谱映射的灰度调幅的pansharpening方法 |
CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545554A (zh) | 一种基于导向滤波的两级遥感图像融合方法 | |
Fu et al. | A variational pan-sharpening with local gradient constraints | |
CN110428387B (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
Cai et al. | Super-resolution-guided progressive pansharpening based on a deep convolutional neural network | |
Mei et al. | Spatial and spectral joint super-resolution using convolutional neural network | |
Yang et al. | Remote sensing image fusion based on adaptive IHS and multiscale guided filter | |
Shahdoosti et al. | Combining the spectral PCA and spatial PCA fusion methods by an optimal filter | |
CN104851077B (zh) | 一种自适应的遥感图像全色锐化方法 | |
CN109993717A (zh) | 一种结合引导滤波和ihs变换的遥感图像融合方法 | |
CN104616261B (zh) | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 | |
Li et al. | Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN102609930B (zh) | 一种基于多方向梯度场的图像融合方法 | |
Gastineau et al. | Generative adversarial network for pansharpening with spectral and spatial discriminators | |
Liu et al. | A practical pan-sharpening method with wavelet transform and sparse representation | |
CN113643197A (zh) | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 | |
Benzenati et al. | Generalized Laplacian pyramid pan-sharpening gain injection prediction based on CNN | |
Garzelli et al. | Panchromatic sharpening of remote sensing images using a multiscale Kalman filter | |
Zhong et al. | Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion | |
CN113793289A (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
CN117350923A (zh) | 基于GAN和Transformer的全色与多光谱遥感图像融合方法 | |
CN113284067B (zh) | 基于深度细节注入网络的高光谱全色锐化方法 | |
CN108537765A (zh) | 一种星载全色与多光谱图像融合方法 | |
Xing et al. | Wavefusion: Wavelet assistant fusion model for pan-sharpening | |
CN107622479B (zh) | 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180105 |
|
RJ01 | Rejection of invention patent application after publication |