CN109993717A - 一种结合引导滤波和ihs变换的遥感图像融合方法 - Google Patents
一种结合引导滤波和ihs变换的遥感图像融合方法 Download PDFInfo
- Publication number
- CN109993717A CN109993717A CN201811352698.8A CN201811352698A CN109993717A CN 109993717 A CN109993717 A CN 109993717A CN 201811352698 A CN201811352698 A CN 201811352698A CN 109993717 A CN109993717 A CN 109993717A
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral
- filtering
- panchromatic
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供了一种结合引导滤波和IHS变换的遥感图像融合方法,采用细节注入模型进行图像融合,对预处理后的图像先利用多尺度引导滤波得到细节信息,后通过设计相应的插入系数,最终将细节信息插入到上采样的多光谱图像中得到融合图像,最终融合图像保留了原来多光谱图像的光谱分辨率的同时,也具备了较高的空间分辨率,是一种适用于高分辨率遥感多光谱和全色图像融合的有效融合方法。
Description
技术领域
本发明涉及遥感图像的可视化增强处理技术,尤其是针对遥感多光谱图像 和全色图像的图像融合方法
背景技术
由于受到传感器物理特性等技术的限制,目前的遥感图像无法同时获得高空 间分辨率与高光谱分辨率,若获得较高的光谱分辨率,则常常需要牺牲一定的高 空间分辨率,反之亦然。为了解决这一问题,遥感平台经常需要搭载不同特性的 传感器来分别获取具有高空间分辨率的全色图像和高光谱分辨率的多光谱图像, 组成具有互补性的图像数据集。通过对互补数据集的处理即可得到同时具有高空 间分辨率和高光谱分辨率的遥感图像。然而,互补数据集的处理并不只是简单的 相加运算,由于互补数据集之间的相关性,互补数据集的处理更加强调信息的优 化,以突出游泳的专题信息,消除或抑制存在于互补数据集中的冗余信息,以提 高单幅图像的信息量。
在过去几十年中,已出现许多遥感图像融合的方法,主要包括成分替换法和 多尺度分析法。经典的成分替换方法有HIS(Intensity-Hue-Saturation)变换、 GS(GramSchmidt)变换、PCA(Principal Component Analysis)变换等,由于全色图 像和多光谱图像间复杂的光谱响应,成分替换法会伴随着严重的光谱扭曲。经典 的多尺度分析方法有ATWT(àtrous wavelet transform)和拉普拉斯金字塔 (Laplacian Pyramid)等,这类方法提取的空间细节可能与多光谱图像不匹配,因 此,融合图像存在一定的空间扭曲。近来,有学者提出了细节注入模型,并将主 成分替换以及多尺度分析都归在细节注入模型内,两者的区别主要在于细节信息 获取方式不同,前者是通过计算全色图像与多光谱图像强度分量之间的差别来获 取细节信息,而后者则是通过计算全色图像与降采样的全色图像来获取细节信息。
发明内容
为了克服现有技术的不足,本发明提供一种结合引导滤波和IHS变换的图 像融合方法,预处理阶段对原始多光谱图像进行上采样和进行图像间的直方图匹 配,设计多尺度引导滤波提取全色图像的空间信息,并将得到的空间信息通过细 节注入模型插入到上采样的多光谱图像中,由于保留了原多光谱图像的光谱信息, 融合图像将同时具有高空艰难分辨率和高光谱分辨率。
本发明解决其技术问题所采用的技术方案包括以下步骤:
第一步,运用双三次插值法对包含N波段的原始多光谱图像MSi进行上采样, 上采样后的图像记为MSi;
第二步,根据优化模型计算得到多光谱影像的强度分量
第三步,使用步骤102得到的强度分量I对全色影像进行直方图匹配,匹配 后的全色影像记为PAN;
第四步,构建引导滤波器,并将引导滤波算法记为G(·),对匹配后的全色影 像PAN进行多尺度滤波,得到全色影像的空间细节信息PD;
第五步,计算细节插入模型的插入系数
第六步,将步骤102得到的空间细节信息插入到上采样的多光谱影像中,得 到最终的融合影像MSi=MSi+giPD。
进一步的,步骤二具体为:根据公式计算多光谱的亮度分量, 并通过求解以下优化模型得到加权系数αi:
进一步的,步骤四具体如下所示:
4a)构建引导滤波器用G(·)表示引导滤波,其中ωk是 以像素k为中心的局部窗口,系数ak和bk通过最小化代价函数求解,ε为正则化 系数:
4b)对全色影像进行两层滤波分解:将直方图匹配后的全色影像PAN作为初 始引导滤波的输入影像,I分量作为引导影像,输出影像为全色影像的低频分量, 全色影像的空间信息则通过计算输入影像与输出影像的差值得到:
Pl=G(Pl-1,I)
PDl=Pl-1-Pl
其中,Pl是输入影像l次滤波的输出图像,Pl-1是输入影像l-1次滤波的输出 图像,当l为1时,Pl-1为直方图匹配后的全色影像,PDl是l次滤波得到的全色 影像高频信息。
进一步的,步骤六具体为通过公式得 到最终融合影像。其中,m表示多光谱影像的波段数MSj表示多光谱影像的第j个波段,MSj表示融合影像的第j个波段,PD为空间细节信息。
本发明的有益效果是:引导滤波可以充分挖掘图像之间的相关性,利用多光 谱的强度分量作为引导滤波对全色图像进行引导滤波,可以利用图像间的相关性, 减少细节信息的冗余性,从而避免信息的过度插入现象。采用细节注入模型可以 最大程度上的保留原有多光谱图像的光谱信息,从而在增强空间分辨率的同时保 持较高的光谱分辨率,得到高质量的融合图像,是一种适用于高分辨率多光谱图 像与全色图像融合的有效融合方法。
附图说明
图1为融合算法流程图
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不限于下述实施 例。
本发明包括以下步骤:
假设原始多光谱图像(MSi)包含N波段,下标i=1,2,...,N,表示对应多波段 图像的第i波段。
第一步、上采样多光谱图像
运用双三次插值法对原始多光谱图像进行上采样,得到与全色图像匹配的上 采样多光谱图像,并记为MSi。
第二步、计算多光谱图像的强度分量I
计算强度分量I,I可以由合适的上采样多光谱图像MSi的线性组合模型估 计得到:
其中线性组合系数可由求解以下优化模型得到:
第三步、直方图匹配
将全色图像(PAN)与第二步得到的强度分量I进行直方图匹配,匹配后的全 色图像记为PAN,直方图匹配具体计算过程如下:
式(3)中,μp、μI分别是全色图像PAN和强度分量I的均值,而δp、δI分别 是全色图像PAN和强度分量I的方差。
第四步、引导滤波
引导滤波器包含一幅输入图像Q,一幅引导图像P。滤波输出图像记为N, 用G(·)表示引导滤波。在以像素k为中心的窗口ωk中,本方法采用正方形窗口, 窗口半径为r,窗口大小为(2r+1)×(2r+1)。N由P经过线性变换得到:
其中,系数ak和bk通过最小化代价函数求解,ε为正则化系数:
对全色影像进行两层滤波分解:将直方图匹配后的全色影像PAN作为初始 引导滤波的输入影像,I分量作为引导影像,输出影像为全色影像的低频分量, 全色影像的空间信息则通过计算输入影像与输出影像的差值得到:
Pl=G(Pl-1,I) (6)
PDl=Pl-1-Pl (7)
其中,Pl是输入影像l次滤波的输出图像,Pl-1是输入影像l-1次滤波的输出 图像,当l为1时,Pl-1为直方图匹配后的全色影像,PDl是l次滤波得到的全色 影像高频信息。
第五步、细节插入模型
由于细节插入模型是将细节信息插入到上采样的多光谱图像的每个波段中, 模型公式如下所示:
MSi=MSi+giPD (8)
其中,插入系数应根据多光谱图像每个波段信息分别计算,即:
第六步、融合影像
由于第四步已得到细节信息,第五步得到了插入系数gi,故而融合影像MSi可由式(8)获得。
方法实施例:
采用资源三号卫星遥感多光谱图像和全色图像,多光谱图像包含红、蓝、绿 以及近红外4个波段,全色图像为单波段。多光谱图像的空间分辨率为5.8m, 大小为128×128,全色图像的空间分辨率为2m,大小为512×512。实施本发明 包括以下步骤:
第一步、上采样多光谱图像
由于全色图像的空间分辨率不同于多光谱图像空间分辨率,故采用的多光谱 图像和全色图像大小也不相同,需要将多光谱图像上采样得到和全色图像相同的 图像。
这里采用双三次插值法对原始多光谱图像进行上采样,上采样后的多光谱图 像记为MSi,上采样后的图像大小为512×512。
第二步、计算多光谱强度分量
计算强度分量I,I可以由合适的上采样多光谱图像MSi的线性组合模型估 计得到:
其中线性组合系数可由求解以下优化模型得到:
第三步、直方图匹配
利用公式(3),将全色图像与强度分量I进行直方图匹配,匹配后的图像记为 PAN。
第四步、引导滤波
用G(·)表示引导滤波,其中输入图像和引导图像均为单波段图像,使用引 导滤波对PAN进行多尺度滤波:
P1=G(PAN,I)
P2=G(P1,I)
其中,强度分量I作为引导滤波的引导图像,第一层滤波的输入影像为PAN, 第二层输入图像为第一层滤波结果P1。在该两层上,分别用输入图像减去多尺度 引导滤波输出即可得到细节信息:
PD1=PAN-P1
PD2=P1-P2
故细节信息为PD=PD1+PD2
第五步、计算插入系数
利用公式(9),得到多光谱图像各波段的插入系数gi
第六步、融合图像
利用公式(8),得到融合图像的各个波段信息。
Claims (4)
1.一种结合引导滤波和IHS变换的遥感图像融合方法,其特征在于,包括以下步骤:
101.运用双三次插值法对包含N波段的原始多光谱图像MSi进行上采样,上采样后图像记为MSi;
102.根据优化模型计算得到多光谱影像的强度分量
103.使用步骤102得到的强度分量I对全色影像进行直方图匹配,匹配后的全色影像记为PAN;
104.构建引导滤波器,并将引导滤波算法记为G(·),对匹配后的全色影像PAN进行多尺度滤波,得到全色影像的空间细节信息PD;
105.计算细节插入模型的插入系数
106.将步骤102得到的空间细节信息插入到上采样的多光谱影像中,得到最终的融合影像MSi=MSi+giPD。
2.根据权利要求1所述的结合引导滤波和IHS变换的遥感图像融合方法,其特征在于,所述步骤102具体为根据公式计算多光谱的亮度分量,并通过求解以下优化模型得到加权系数αi:
3.根据权利要求1所述的结合引导滤波和IHS变换的遥感图像融合方法,其特征在于,所述步骤104具体如下所示:
4a)构建引导滤波器Ni=akPi+bk 用G(·)表示引导滤波,其中ωk是以像素k为中心的局部窗口,系数ak和bk通过最小化代价函数求解,ε为正则化系数:
4b)对全色影像进行两层滤波分解:将直方图匹配后的全色影像PAN作为初始引导滤波的输入影像,I分量作为引导影像,输出影像为全色影像的低频分量,全色影像的空间信息则通过计算输入影像与输出影像的差值得到:
Pl=G(Pl-1,I)
PDl=Pl-1-Pl
其中,Pl是输入影像l次滤波的输出图像,Pl-1是输入影像l-1次滤波的输出图像,当l为1时,Pl-1为直方图匹配后的全色影像,PDl是l次滤波得到的全色影像高频信息。
4.根据权利要求1所述的结合引导滤波和IHS变换的遥感图像融合方法,其特征在于,所述步骤106具体为通过公式得到最终融合影像。其中,m表示多光谱影像的波段数MSj表示多光谱影像的第j个波段,MSj表示融合影像的第j个波段,PD为空间细节信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811352698.8A CN109993717A (zh) | 2018-11-14 | 2018-11-14 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811352698.8A CN109993717A (zh) | 2018-11-14 | 2018-11-14 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109993717A true CN109993717A (zh) | 2019-07-09 |
Family
ID=67128386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811352698.8A Pending CN109993717A (zh) | 2018-11-14 | 2018-11-14 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993717A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
CN110991463A (zh) * | 2019-11-04 | 2020-04-10 | 同济大学 | 一种超像素图引导下的多尺度引导滤波特征提取方法 |
CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
CN111539900A (zh) * | 2020-04-24 | 2020-08-14 | 河南大学 | 一种基于引导滤波的ihs遥感图像融合方法 |
CN111563866A (zh) * | 2020-05-07 | 2020-08-21 | 重庆三峡学院 | 一种多源遥感图像融合方法 |
CN111681171A (zh) * | 2020-06-15 | 2020-09-18 | 中国人民解放军军事科学院国防工程研究院 | 基于分块匹配的全色与多光谱图像高保真融合方法及装置 |
CN111696207A (zh) * | 2020-05-28 | 2020-09-22 | 电子科技大学 | 一种基于引导滤波的多基线dem融合方法 |
CN112528914A (zh) * | 2020-12-19 | 2021-03-19 | 东南数字经济发展研究院 | 一种细节信息逐步融入的卫星影像全色增强方法 |
CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
CN117253125A (zh) * | 2023-10-07 | 2023-12-19 | 珠江水利委员会珠江水利科学研究院 | 一种空-谱互注图像融合方法、系统及可读存储介质 |
CN117372276A (zh) * | 2023-12-04 | 2024-01-09 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN107545554A (zh) * | 2017-04-25 | 2018-01-05 | 西北工业大学 | 一种基于导向滤波的两级遥感图像融合方法 |
-
2018
- 2018-11-14 CN CN201811352698.8A patent/CN109993717A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN107545554A (zh) * | 2017-04-25 | 2018-01-05 | 西北工业大学 | 一种基于导向滤波的两级遥感图像融合方法 |
Non-Patent Citations (1)
Title |
---|
曲家慧,李云松,董文倩,郑毓轩,谢卫莹: "基于边缘保持滤波和结构张量的遥感图像融合", 《北京航空航天大学学报》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
CN110991463A (zh) * | 2019-11-04 | 2020-04-10 | 同济大学 | 一种超像素图引导下的多尺度引导滤波特征提取方法 |
CN110991463B (zh) * | 2019-11-04 | 2023-05-02 | 同济大学 | 一种超像素图引导下的多尺度引导滤波特征提取方法 |
CN111080567B (zh) * | 2019-12-12 | 2023-04-21 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 |
CN111539900A (zh) * | 2020-04-24 | 2020-08-14 | 河南大学 | 一种基于引导滤波的ihs遥感图像融合方法 |
CN111539900B (zh) * | 2020-04-24 | 2023-03-24 | 河南大学 | 一种基于引导滤波的ihs遥感图像融合方法 |
CN111563866A (zh) * | 2020-05-07 | 2020-08-21 | 重庆三峡学院 | 一种多源遥感图像融合方法 |
CN111563866B (zh) * | 2020-05-07 | 2023-05-12 | 重庆三峡学院 | 一种多源遥感图像融合方法 |
CN111696207A (zh) * | 2020-05-28 | 2020-09-22 | 电子科技大学 | 一种基于引导滤波的多基线dem融合方法 |
CN111696207B (zh) * | 2020-05-28 | 2022-10-11 | 电子科技大学 | 一种基于引导滤波的多基线dem融合方法 |
CN111681171A (zh) * | 2020-06-15 | 2020-09-18 | 中国人民解放军军事科学院国防工程研究院 | 基于分块匹配的全色与多光谱图像高保真融合方法及装置 |
CN111681171B (zh) * | 2020-06-15 | 2024-02-27 | 中国人民解放军军事科学院国防工程研究院 | 基于分块匹配的全色与多光谱图像高保真融合方法及装置 |
CN112528914A (zh) * | 2020-12-19 | 2021-03-19 | 东南数字经济发展研究院 | 一种细节信息逐步融入的卫星影像全色增强方法 |
CN114581347A (zh) * | 2022-01-24 | 2022-06-03 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
CN114581347B (zh) * | 2022-01-24 | 2024-03-12 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
CN117253125A (zh) * | 2023-10-07 | 2023-12-19 | 珠江水利委员会珠江水利科学研究院 | 一种空-谱互注图像融合方法、系统及可读存储介质 |
CN117253125B (zh) * | 2023-10-07 | 2024-03-22 | 珠江水利委员会珠江水利科学研究院 | 一种空-谱互注图像融合方法、系统及可读存储介质 |
CN117372276A (zh) * | 2023-12-04 | 2024-01-09 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
CN117372276B (zh) * | 2023-12-04 | 2024-03-08 | 长春理工大学 | 基于侧窗滤波的多光谱与全色图像融合的全色锐化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993717A (zh) | 一种结合引导滤波和ihs变换的遥感图像融合方法 | |
Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
CN113222835B (zh) | 基于残差网络的遥感全色和多光谱图像分布式融合方法 | |
CN102542549B (zh) | 基于压缩感知的多光谱与全色图像超分辨融合方法 | |
Zhang | Understanding image fusion | |
CN106251320B (zh) | 基于联合稀疏与结构字典的遥感图像融合方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN103208102B (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
González-Audícana et al. | A low computational-cost method to fuse IKONOS images using the spectral response function of its sensors | |
CN104851077B (zh) | 一种自适应的遥感图像全色锐化方法 | |
CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
CN107451984A (zh) | 一种基于混合多尺度分析的红外与可见光图像融合算法 | |
CN104867124B (zh) | 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法 | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
Ha et al. | A review of potential image fusion methods for remote sensing-based irrigation management: Part II | |
CN101930604B (zh) | 基于低频相关性分析的全色图像与多光谱图像融合方法 | |
CN106846289A (zh) | 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法 | |
CN105761234A (zh) | 一种基于结构稀疏表示的遥感影像融合方法 | |
Yang et al. | Remote sensing image fusion based on adaptively weighted joint detail injection | |
CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
CN109166089A (zh) | 一种对多光谱图像和全色图像进行融合的方法 | |
CN107545554A (zh) | 一种基于导向滤波的两级遥感图像融合方法 | |
CN113191325B (zh) | 一种图像融合方法、系统及其应用 | |
CN105825491A (zh) | 一种基于混合模型的图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190709 |