CN114708178A - 基于引导滤波与稀疏表示的遥感影像融合方法 - Google Patents
基于引导滤波与稀疏表示的遥感影像融合方法 Download PDFInfo
- Publication number
- CN114708178A CN114708178A CN202210356388.3A CN202210356388A CN114708178A CN 114708178 A CN114708178 A CN 114708178A CN 202210356388 A CN202210356388 A CN 202210356388A CN 114708178 A CN114708178 A CN 114708178A
- Authority
- CN
- China
- Prior art keywords
- image
- panchromatic
- multispectral
- low
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 62
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000005316 response function Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，属于遥感图像处理技术领域。本发明实现方法为：对多光谱影像进行非线性HSV变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量；根据提取的高频分量结构特征信息和低频分量信息，融合得到新的亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。本发明利用全色影像直接重构低频字典，减少了由于缺少理想影像训练字典带来的结果的不确定性。
Description
技术领域
本发明涉及一种基于引导滤波与稀疏表示的遥感影像融合方法，属于遥感图像处理技术领域。
背景技术
在遥感领域，由于传感器相关技术的限制，遥感卫星难以同时获取具有高空间分辨率和高光谱分辨率的遥感影像。光学遥感卫星获取的全色影像(PAN)具有高空间分辨率，能够体现地物细节信息，但缺少地物光谱与色彩信息，多光谱影像包含地物对不同波段的光谱特性，能够为地物目标的识别分类提供有效的色彩信息，但其空间分辨率相比全色影像较低，因此，需要利用全色影像对多光谱影像进行超分辨率融合处理以实现多光谱影像分辨率的提升，提高基于高分辨多光谱地面遥感图像的地面特征目标的分类识别能力
多光谱影像和全色影像的融合可以看作是多源图像融合，一般采用三种方法：1)直接对图像像素或在其他变换域执行融合的方法；其利用全色影像代替多光谱影像的强度信息或者第一主成分分量来实现的。2)基于多尺度分解的方法；其将通过全色图像的多分辨率分解得到的空间细节注入重采样的多光谱阶段来实现的。3)基于稀疏表示的方法；其通过求解超分辨率图像重建这个NP方法来实现的。方法1)的缺点为：没有考虑到全色影像和多光谱影像光谱响应之间的局部差异，因此可能会在融合图像中造成颜色失真。方法2)的缺点为：由于此方法涉及到信号滤波及像素级融合，所以融合结果容易出现混叠效应，会引起轮廓或纹理的偏移和模糊。且多尺度变换虽然在不同尺度提取各种空间结果，但是不能稀疏地表示低频分量，由于低频分量包含大量能量，这时如果直接用平均或最大值选取低频系数，则会降低融合效果。方法3)的缺点为：一是缺少高分辨率多光谱影像，字典建立困难。二是字典中atoms数量的限制使小尺度细节信息(细节信息)较难重构。
综上所述，设计一种运行时间短，光谱保真度高，并能有效提高空间分辨率的多光谱影像超分辨算法十分有必要。如何更好的提取全色影像空间细节，并在空间细节的注入过程中减少由于传感器光谱响应不同等原因带来的色彩混叠等现象，同时产生有利于人们目译及分类的遥感影像仍然是值得解决的关键问题。
发明内容
本发明主要目的是提供一种基于引导滤波与稀疏表示的遥感影像融合方法，对多光谱影像进行非线性HSV(六角锥体)变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，首先，对插值后的多光谱影像进行非线性HSV变换，得到非线性HSV变换后的多光谱影像，并对变换后提取的V分量与全色影像进行直方图匹配。其次，使用引导滤波的手段多次提取全色影像与多光谱影像亮度分量V的边缘细节信息，并通过稀疏表示对利用引导滤波提取的全色影像和多光谱影像的低频信息进行融合。最后，将提取后的高频分量结构特征信息和提取后的低频分量信息，融合得到亮度图像V'，并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。相比于HIS等算法，本发明运行时间短，光谱保真度高，并能有效提高空间分辨率。
本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，包括如下步骤：
步骤一、对多光谱影像(遥感影像)进行图像插值操作，使其扩大到与全色影像(遥感影像)相同的尺度，便于后续多光谱影像和全色影像间的融合操作。
图像插值操作包括最近邻插值，双线性插值，双三次插值。因为最近邻插值不会改变图像像素的辐射测量值，且当数据是偶对齐的时候，最近邻插值能够补偿插值后多光谱和全色影像之间的1.5像素位移，减小扩大后的多光谱影像与全色影像之间的系统性偏移，有助于保证最终融合结果的质量。作为优选，选择最近邻插值操作。
步骤二、对多光谱影像进行非线性HSV变换，得到非线性HSV变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率。
由于多光谱影像的亮度分量V的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化。根据如公式(1)(2)(3)所示的HSV变换模型，对多光谱影像进行非线性HSV变换，相比于其他变换能够使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比HIS等变换，非线性HSV变换引入更多的噪声。
V＝max(R,G,B) (1)
其中R表示图像的红色通道，G表示图像的绿色通道，B表示图像的蓝色通道，H表示色调，S表示饱和度，V表示亮度。
步骤三、对步骤二多光谱影像提取的V分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
根据公式(4)对步骤二多光谱影像提取的V分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
其中PAN是全色影像，μPAN和σPAN是全色影像的均值和方差，μV和σV是亮度分量的均值和方差，P是直方图匹配后的全色影像。
步骤四、利用引导滤波的结构转移特性，以全色影像(遥感影像)为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声。
对步骤二非线性HSV变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声。
q1＝a1I+b1 (5)
其中p为输入图像，I为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。
步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量V的边缘细节信息，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
对步骤二非线性HSV变换后的多光谱影像以及步骤三经直方图匹配后的全色影像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量V的边缘细节信息，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
q2＝a2p+b2 (8)
其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。
步骤六：针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤五，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取。
步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取。
步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量。
步骤7.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像。为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像。
步骤7.2、使用滑动窗口将步骤7.1获得的低频信息的影像划分为
大小的影像块，并将影像块变为n×1大小的列向量，将所得到的这些列向量组成特征矩阵。
步骤7.3、利用公式(11)通过字典学习算法求解字典。
其中β＝(α1，α2，...，αm)是影像的稀疏系数，DL为训练得到的低分辨率字典，XL为步骤7.2获得的影像矩阵，T为稀疏系数的稀疏度(稀疏系数中的非零值的个数)。
字典学习算法大体包括2类，一类是由一组参数和一套选取的含有参数的若干函数构成，用其近似表达信号。这类字典不需要存储整个字典，只需要存储相关参数信息即可，因此大大降低了存储量，但由于涉及的字典与原始信号无关，所以不具有适应性；另一类字典学习方法则是根据信号或图像特点进行训练学习得到的自适应字典。包括K-SVD算法、MOD字典学习算法等。鉴于K-SVD算法能更好的适用于不同特征的各类图像，具有适应性强的特点。
作为优选，选用K-SVD算法学习字典。步骤7.3具体实现方法如下：
7.3.1、字典初始化：从步骤7.2获得的特征矩阵中随机选取K个列向量作为初始字典的原子。
7.3.2、稀疏编码：利用公式(12)进行稀疏编码，获得稀疏系数。
x＝Dα (12)
其中D表示从7.3.1获得的字典，x是图像的特征矩阵；
7.3.3、字典更新：利用OMP算法逐列更新字典D并重复步骤7.3.2，同时利用式(13)计算误差矩阵，当收敛到指定误差时，停止更新，获得具有能表征低频分量信息的字典D。
其中Ek表示误差矩阵，dj表示字典D(d1，d2....dk)的第j列原子。
步骤7.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤7.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，
其中DL是步骤7.3获得的低分辨字典，ε是容许误差，yLF是图像的特征矩阵，α是待求解的稀疏系数。
步骤7.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤7.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数。并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取。
α＝max(α1,α2) (15)
其中α1和α2表示利用步骤7.4获得的全色影像和多光谱影像亮度分量在字典DL下获得的稀疏系数。
步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像V'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
h＝floor(H/60) (16)
f＝H/60-h (17)
p＝V*(1-S) (18)
q＝V*(1-f*S) (19)
t＝V*(1-(1-f)*S (20)
其中：floor表示向下取整。
有益效果：
1、本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，对多光谱影像进行非线性HSV变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，有利于光谱细节的保持。；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
2、本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法，利用全色影像直接重构低频字典的方法，避免由于缺少高分辨率多光谱影像而进行大量的猜测型假设，减少结果的不确定性。
附图说明
图1为本发明公开的一种基于引导滤波与稀疏表示的遥感影像融合方法流程图。
图2为本发明对多光谱影像进行非线性HSV变换提取的V分量。
图3为本发明对全色影像进行直方图变换后的图像。
图4为本发明应用全色图像对自身做引导滤波获得的低频与高频图像。
图5为本发明建立的低分辨率字典。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
如图1所示，本实施例公开的一种基于引导滤波与稀疏表示的遥感影像融合方法流程图，具体实现步骤如下：
步骤一、对多光谱影像(遥感影像)进行图像最近邻插值操作，使其扩大到与全色影像(遥感影像)相同的尺度，便于后续多光谱影像和全色影像间的融合操作。
步骤二、对多光谱影像进行非线性HSV变换，得到如图2所示的非线性HSV变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率。
由于多光谱影像的亮度分量V的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化。根据如公式(1)(2)(3)所示的HSV变换模型，对多光谱影像进行非线性HSV变换，相比于其他变换可以使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比HIS等变换，非线性HSV变换引入更多的噪声。
V＝max(R,G,B) (1)
其中R表示图像的红色通道，G表示图像的绿色通道，B表示图像的蓝色通道，H表示色调，S表示饱和度，V表示亮度。
步骤三、根据公式(4)对步骤二多光谱影像提取的V分量和全色影像间进行直方图匹配得到如图3所示的经直方图匹配的全色影像。减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真。
其中PAN是全色影像，μPAN和σPAN是全色影像的均值和方差，μV和σV是亮度分量的均值和方差，P是直方图匹配后的全色影像。
步骤四、利用引导滤波的结构转移特性，以全色影像(遥感影像)为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声。
对步骤二非线性HSV变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声。
q1＝a1I+b1 (5)
其中p为输入图像，I为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。
步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量V的边缘细节信息，得到如图4所示的高频细节图像以及低频图像，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
对步骤二非线性HSV变换后的多光谱影像以及步骤三经直方图匹配后的全色影像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量V的边缘细节信息，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度。
q2＝a2p+b2 (8)
其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。
步骤六：针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤五，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取。
步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取。
步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量。
步骤7.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像。为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像。
步骤7.2、使用滑动窗口将步骤7.1获得的低频信息的影像划分为
大小的影像块，并将影像块变为n×1大小的列向量，将所得到的这些列向量组成特征矩阵。
步骤7.3、利用KSVD字典学习算法求解公式(11)，得到如图5所示的字典。
其中β＝(α1，α2，...，αm)是影像的稀疏系数，DL为训练得到的低分辨率字典，XL为步骤7.2获得的影像矩阵，T为稀疏系数的稀疏度(稀疏系数中的非零值的个数)。
步骤7.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤7.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，
其中DL是步骤7.3获得的低分辨字典，ε是容许误差，yLF是图像的特征矩阵，α是待求解的稀疏系数。
步骤7.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤7.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数。并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取。
α＝max(α1,α2) (15)
其中α1和α2表示利用步骤7.4获得的全色影像和多光谱影像亮度分量在字典DL下获得的稀疏系数。
步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到亮度图像V'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
h＝floor(H/60) (16)
f＝H/60-h (17)
p＝V*(1-S) (18)
q＝V*(1-f*S) (19)
t＝V*(1-(1-f)*S (20)
其中：floor表示向下取整。
需要说明，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：包括如下步骤，
步骤一、对多光谱影像进行图像插值操作，使其扩大到与全色影像相同的尺度，便于后续多光谱影像和全色影像间的融合操作；
步骤二、对多光谱影像进行非线性HSV变换，得到非线性HSV变换后的亮度影像，降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率；
步骤三、对步骤二多光谱影像提取的V分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真；
步骤四、利用引导滤波的结构转移特性，以全色影像为引导图像，对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声；
步骤五、利用引导滤波的保边平滑特性，使用引导滤波的手段提取全色影像与多光谱影像亮度分量V的边缘细节信息，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度；
步骤六、针对多光谱影像亮度分量及全色影像引导滤波后的高频分量，重复迭代步骤四，对全色影像和多光谱影像的细节信息进行多次的提取，直至实现对全色影像的高频分量结构特征信息的有效提取；
步骤七、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，实现对全色影像及多光谱影像低频分量信息的有效提取；
步骤八：根据步骤六提取的高频分量结构特征信息和步骤七提取的低频分量信息，融合得到新的亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
2.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤二实现方法为，
由于多光谱影像的亮度分量V的主观感知比色彩分量的主观感知强烈，因此在图片和视频的数字表示上对色彩分量进行降采样，亮度分量不会进行任何退化；根据如公式(1)(2)(3)所示的HSV变换模型，对多光谱影像进行非线性HSV变换，相比于其他变换能够使融合后的图像会更加锐化，有利于降低后续操作带来的图像混叠，减小后续操作计算量，提高遥感影像融合效率，但相比HIS等变换，非线性HSV变换引入更多的噪声；
V＝max(R,G,B) (1)
(3)其中R表示图像的红色通道，G表示图像的绿色通道，B表示图像的蓝色通道，H表示色调，S表示饱和度，V表示亮度。
3.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤三实现方法为，
根据公式(4)对步骤二多光谱影像提取的V分量和全色影像间进行直方图匹配，减少多光谱影像和全色影像由于传感器光谱响应函数不一致而导致融合结果产生的光谱失真；
其中PAN是全色影像，μPAN和σPAN是全色影像的均值和方差，μV和σV是亮度分量的均值和方差，P是直方图匹配后的全色影像。
4.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤四实现方法为，
对步骤二非线性HSV变换后的多光谱影像，利用引导滤波的结构转移特性，以步骤三经直方图匹配后的全色影像为引导图像，根据公式(5)(6)(7)对多光谱影像的亮度分量做引导滤波，去除多光谱影像在HSV变换阶段产生的噪声；
q1＝a1I+b1 (5)
其中p为输入图像，I为引导图像，ε2是正则化参数，q为输出图像，a1和b1为(5)式的超参数。
5.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤五实现方法为，
对步骤二非线性HSV变换后的多光谱影像以及步骤三经直方图匹配后的全色影像，利用引导滤波的保边平滑特性，根据公式(8)(9)(10)所示的引导滤波公式提取全色影像与多光谱影像亮度分量V的边缘细节信息，并对全色影像与多光谱影像亮度分量V的边缘细节信息进行融合，且提取过程不依赖于滑块窗口的大小，提高提取速度；
q2＝a2p+b2 (8)
其中p为输入图像，ε2是正则化参数，q为输出图像，a2和b2为(8)式的超参数。
6.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤七所述稀疏表示方法实现方法如下：获取低频信息训练影像，将图像转变为特征矩阵，通过字典学习算法求解字典，求解全色影像和亮度分量在字典下的稀疏系数，根据稀疏系数融合并重构出低频分量；
步骤6.1、选择若干幅包含地铁沿线地物信息的全色影像作为训练影像，将其进行低通滤波并降采样至多光谱影像大小，以获得其相对应的低分辨训练影像；为了使融合前后的维度相同，将降采样至多光谱影像大小的低分辨率训练影像升采样至全色影像大小以获得高分辨的低频信息训练影像；
步骤6.2、使用滑动窗口将步骤6.1获得的低频信息的影像划分为
大小的影像块，并将影像块变为n×1大小的列向量，将所得到的这些列向量组成特征矩阵；
步骤6.3、利用公式(11)通过字典学习算法求解字典；
其中β＝(α1,α2,...,αm)是影像的稀疏系数，DL为训练得到的低分辨率字典，XL为步骤6.2获得的影像矩阵，T为稀疏系数的稀疏度(稀疏系数中的非零值的个数)；
字典学习算法大体包括2类，一类是由一组参数和一套选取的含有参数的若干函数构成，用其近似表达信号；这类字典不需要存储整个字典，只需要存储相关参数信息即可，因此大大降低存储量，但由于涉及的字典与原始信号无关，所以不具有适应性；另一类字典学习方法则是根据信号或图像特点进行训练学习得到的自适应字典，包括K-SVD算法、MOD字典学习算法；鉴于K-SVD算法能更好的适用于不同特征的各类图像，具有适应性强的特点；选用K-SVD算法学习字典；步骤6.3具体实现方法如下：
6.3.1、字典初始化：从步骤6.2获得的特征矩阵中随机选取K个列向量作为初始字典的原子；
6.3.2、稀疏编码：利用公式(12)进行稀疏编码，获得稀疏系数；
x＝Dα (12)
其中D表示从6.3.1获得的字典，x是图像的特征矩阵；
6.3.3、字典更新：利用OMP算法逐列更新字典D并重复步骤2，同时利用式(13)计算误差矩阵，当收敛到指定误差时，停止更新，获得具有能表征低频分量信息的字典D；
其中Ek表示误差矩阵，dj表示字典D(d1,d2....dk)的第j列原子；
步骤6.4、针对多光谱影像亮度分量及全色影像引导滤波后的低频分量，利用步骤6.2转换为特征矩阵，求解(14)式获得多光谱影像亮度分量及全色影像的稀疏系数，
其中DL是步骤6.3获得的低分辨字典，ε是容许误差，yLF是图像的特征矩阵，α是待求解的稀疏系数；
步骤6.5、根据式(15)所示的采用稀疏系数绝对值取最大的融合规则对步骤6.4获得的多光谱影像亮度分量及全色影像的稀疏系数进行重构得到新的稀疏系数；并根据式(12)重构出新的特征矩阵，以实现通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用多光谱影像和全色影像的低频特征信息，实现对全色影像及多光谱影像低频分量信息的有效提取；
α＝max(α1,α2) (15)
其中α1和α2表示利用步骤6.4获得的全色影像和多光谱影像亮度分量在字典DL下获得的稀疏系数。
7.如权利要求1所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：步骤八实现方法为，
根据步骤四提取的高频分量结构特征信息和步骤五提取的低频分量信息，融合得到亮度图像V'，并根据公式(16)(17)(18)(19)(20)(21)对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像；
h＝floor(H/60) (16)
f＝H/60-h (17)
p＝V*(1-S) (18)
q＝V*(1-f*S) (19)
t＝V*(1-(1-f)*S (20)
其中：floor表示向下取整。
8.如权利要求1、2、3、4、5、6和7所述的一种基于引导滤波与稀疏表示的遥感影像融合方法，其特征在于：对多光谱影像进行非线性HSV变换降低图像混叠，减小计算量；使用引导滤波的手段，对全色影像和多光谱影像的细节信息进行多次的提取，得到有效提取结构特征信息的细节影像；通过稀疏表示对全色影像和多光谱影像的低频信息进行融合，充分利用图像低频信息的能量，有利于光谱细节的保持。；根据提取的高频分量结构特征信息和低频分量信息，融合得到亮度图像V'，即基于引导滤波与稀疏表示实现遥感影像融合，显著提高多光谱影像的分辨率；并对亮度图像V'进行HSV空间逆变换，实现多光谱影像的超分辨成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210356388.3A CN114708178B (zh) | 2022-03-30 | 2022-03-30 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210356388.3A CN114708178B (zh) | 2022-03-30 | 2022-03-30 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708178A true CN114708178A (zh) | 2022-07-05 |
| CN114708178B CN114708178B (zh) | 2024-06-14 |
Family
ID=82172990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210356388.3A Active CN114708178B (zh) | 2022-03-30 | 2022-03-30 | 基于引导滤波与稀疏表示的遥感影像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708178B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761234A (zh) * | 2016-01-28 | 2016-07-13 | 华南农业大学 | 一种基于结构稀疏表示的遥感影像融合方法 |
| CN105893971A (zh) * | 2016-04-01 | 2016-08-24 | 上海理工大学 | 一种基于Gabor和稀疏表示的交通信号灯识别方法 |
| CN109064437A (zh) * | 2018-07-11 | 2018-12-21 | 中国人民解放军国防科技大学 | 一种基于引导滤波和在线字典学习的图像融合方法 |
| AU2020100179A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Optimization Details-Based Injection Model for Remote Sensing Image Fusion |
| CN111680752A (zh) * | 2020-06-09 | 2020-09-18 | 重庆工商大学 | 基于Framelet框架的红外与可见光图像融合方法 |
| CN112950518A (zh) * | 2021-03-19 | 2021-06-11 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
-
2022
- 2022-03-30 CN CN202210356388.3A patent/CN114708178B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761234A (zh) * | 2016-01-28 | 2016-07-13 | 华南农业大学 | 一种基于结构稀疏表示的遥感影像融合方法 |
| CN105893971A (zh) * | 2016-04-01 | 2016-08-24 | 上海理工大学 | 一种基于Gabor和稀疏表示的交通信号灯识别方法 |
| CN109064437A (zh) * | 2018-07-11 | 2018-12-21 | 中国人民解放军国防科技大学 | 一种基于引导滤波和在线字典学习的图像融合方法 |
| AU2020100179A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Optimization Details-Based Injection Model for Remote Sensing Image Fusion |
| CN111680752A (zh) * | 2020-06-09 | 2020-09-18 | 重庆工商大学 | 基于Framelet框架的红外与可见光图像融合方法 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
| CN112950518A (zh) * | 2021-03-19 | 2021-06-11 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708178B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN106709881B (zh) | 一种基于非凸低秩矩阵分解的高光谱图像去噪方法 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN109447922B (zh) | 一种改进的ihs变换遥感影像融合方法及系统 | |
| JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN111696043A (zh) | 一种三维fsrcnn的高光谱图像超分辨率重建算法 | |
| CN114881888A (zh) | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 | |
| Zhou et al. | PAN-guided band-aware multi-spectral feature enhancement for pan-sharpening | |
| Zhong et al. | Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion | |
| CN109859153B (zh) | 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法 | |
| Fuchs et al. | Hyspecnet-11k: A large-scale hyperspectral dataset for benchmarking learning-based hyperspectral image compression methods | |
| CN111275620B (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
| CN114708178B (zh) | 基于引导滤波与稀疏表示的遥感影像融合方法 | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN108921785B (zh) | 基于小波包的超分辨率重建方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN114638761B (zh) | 一种高光谱图像全色锐化方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |