CN116433548A - 一种基于多级信息提取的高光谱与全色图像融合方法 - Google Patents
一种基于多级信息提取的高光谱与全色图像融合方法 Download PDFInfo
- Publication number
- CN116433548A CN116433548A CN202310400842.5A CN202310400842A CN116433548A CN 116433548 A CN116433548 A CN 116433548A CN 202310400842 A CN202310400842 A CN 202310400842A CN 116433548 A CN116433548 A CN 116433548A
- Authority
- CN
- China
- Prior art keywords
- fusion
- residual
- hyperspectral
- image
- hsi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 84
- 230000000694 effects Effects 0.000 claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 33
- 230000003595 spectral effect Effects 0.000 claims description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000000746 purification Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 4
- 101150064138 MAP1 gene Proteins 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于多级信息提取的高光谱与全色图像融合方法，包括以下步骤；(1)图像预处理，对高光谱图像对应的彩色图像进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像；采用均值不变约束对LR‑HSI进行上采样操作，得到UP‑HIS；(2)设计残差活性因子：(3)设计局部残差融合模块：(4)多级信息提取融合，根据残差活性因子计算局部残差融合模块的残差学习能力，确定局部残差融合模块个数；对所采用的UP‑HSI为等间隔谱段抽取，最终输出重建的HR‑HSI。本发明使用多级光谱信息和特征图批量共享一个隐藏层状态，相互感知每个通道图的平均信息，同时完成特征提取和融合。能够提高光谱图像与全色图像的相关性，减少光谱失真。
Description
技术领域
本发明属于遥感图像融合技术领域，具体涉及一种基于多级信息提取的高光谱与全色图像融合方法。
背景技术
高光谱图像(Hyperspectral image,HSI)表征着物体表面电磁辐射的强弱信息，光谱技术能够获取物质中与光有关的信息，成像技术能够捕获目标物体的二维影像信息，采用光谱成像技术可以同时获取到目标的空间信息和光谱信息，得到三维光谱数据立方体，从而达到区分场景中不同物质的作用。传统的光谱成像技术使用二维平面探测器很难从单次拍摄中获得3D高光谱数据，在光谱分辨率、曝光时间、光谱能量利用率、信噪比等方面有相互限制的问题，通常一项指标的提高必然伴随着另一个指标的降低，这就使得光谱成像技术的发展与应用受到限制。在这种情况下，灵活的替代方案是同时获取同一静态场景的高空间分辨率低光谱分辨率的多光谱图像(High Resolution Multispectral Image,HR-MSI)和低空间分辨率高光谱分辨率的高光谱图像(Low Resolution HyperspectralImage,LR-HSI)，然后结合两者的优势，获得空间和光谱域的高分辨率(HR)图像。高光谱与全色图像融合技术不但能够定性定量的实现光谱分析技术，而且还能通过光学成像技术获取更加准确直观的目标状况图，为分析评估、检测监控、测量计算等应用提供了更多更为精确的信息。
近年来，有许多高光谱全色融合技术被提出。根据是否使用深度学习，这些方法可以大致分为两类。第一类是经典的传统方法，主要包括基于成分替换、基于多分辨率分析和基于变分优化的方法。第二类是近年来流行起来的深度学习方法。基于成分替换的方法使用全色图像替换新的变换域中高光谱图像的结构信息分量，然而，基成分替换的方法在替换光谱图像结构信息时丢失了部分光谱信息，因此融合结果往往会导致严重的光谱畸变和过度锐化。基于多分辨率分析的方法将一定尺度全色图像的空间信息注入到相应尺度的高光谱图像中，然后逆变换生成融合图像，基于多分辨率分析的方法可以在一定程度上解决基于成分替换方法的光谱失真问题。然而，在将结构信息注入到多分辨率全色图像的过程中，融合结果会使空间信息退化。基于变分优化的方法通过构造能量函数和设计模型函数的优化算法解决融合问题，但在优化过程中容易陷入局部优化解，导致最终融合图像质量结果达不到最优。基于深度学习的高光谱全色融合方法通过指定网络输入为LR-HSI和HR-MSI，设计网络模块进行特征提取和融合，得到所需的高光谱数据立方体。尽管深度学习在泛锐化方面取得了成功，但其只关注融合高空间分辨率高光谱图像(High ResolutionHyperspectral Image,HR-HSI)视觉效果和客观评价指标，忽略了运行时间问题。
西安理工大学申请的专利“基于深度细节注入网络的高光谱全色锐化方法”(公开号：CN113284067A，申请号202110602214.6，申请日：2021年05月31日)中公开了一种利用残差密集块提取高光谱与全色图像联合特征的方法。该方法把低分辨率的高光谱图像进行上采样并与全色图像进行联合，采用卷积提取浅层特征，采用残差密集块进行全局特征融合，解决了现有技术中存在的融合过程中细节提取不够所导致的融合效果受限的问题。该专利存在的不足是，多个卷积层和残差块的使用增大了网络参数，较长的运行时间使其无法满足实时成像的需求。
西安电子科技大学申请的专利“基于深度学习与矩阵分解的高光谱与全色图像融合方法”(公开号：CN110428387A，申请号201910619754.8，申请日：2019年07月10日)中公开了一种利用高频信息深度卷积网络学习高频细节特征的方法，该方法采用引导滤波增强超分辨率高光谱图像的边缘特征，构造优化方程融合低空间分辨率的高光谱图像、全色图像和先验图像，最后求解优化方程得到高光谱融合图像。该专利的不足是，没有考虑到不同尺度下高光谱图像的特征信息，容易造成光谱细节缺失；在优化过程中容易陷入局部优化解，并且对两类图像复杂的处理过程会产生较长的运行时间，不利于实时融合成像。
综上所述，虽然现有方法能够在高光谱与全色图像融合任务中取得不错的效果，但是没有考虑到高光谱图像的多级信息，所提取到的光谱特征并不全面，并且均需要大量的运行时间，无法完成实时融合的目标。因此，基于多级信息提取的高光谱与全色图像融合方法还有进步的空间。
发明内容
为了克服以上现有技术存在的问题，本发明的目的在于提供一种基于多级信息提取的高光谱与全色图像融合方法，使用多级光谱信息和特征图批量共享一个隐藏层状态，相互感知每个通道图的平均信息，同时完成特征提取和融合。在进行特征提取时，选择不同深度的LR-HSI和HR-MSI进行逐层细节特征提取，以提高光谱图像与全色图像的相关性，减少光谱失真。通过多级信息融合的方式，有效的解决了空间信息损失问题和光谱畸变问题。
为了实现上述目的，本发明采用的技术方案是：
一种基于多级信息提取的高光谱与全色图像融合方法，包括以下步骤；
(1)图像预处理，对高空间分辨率低光谱分辨率的多光谱图像(HR-MSI)进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像(LR-HSI)；采用均值不变约束对LR-HSI进行上采样操作，得到上采样的高分辨率高光谱图像UP-HSI(Upsampled high resolution hyperspectral image)；
(2)设计残差活性因子：
(3)设计局部残差融合模块：
(4)多级信息提取融合，根据残差活性因子计算局部残差融合模块的残差学习能力，确定局部残差融合模块个数；对所采用的UP-HSI等间隔谱段抽取，最终输出重建的HR-HSI。
所述步骤(1)具体为：
(1a)选取室内场景高光谱图像的CAVE数据集和真实场景高光谱图像的Harvard数据集，其中每组CAVE数据集包含高光谱图像HR-HSI且有对应的多光谱图像HR-MSI，每组Harvard数据集仅包含高光谱图像HR-HSI；
(1b)采用Nikon700相机的光谱响应曲线生成每组Harvard数据集高光谱图像对应的彩色图像(HR-MSI)；
(1c)采用遥感领域中常用的Word's Protocol规则，首先使用高斯模糊核对HR-HSI进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像(LR-HSI)；
(1d)采用双三次插值算法对获取的LR-HSI进行上采样操作，同时增加均值不变的约束条件，得到UP-HSI。
所述步骤(2)具体为：
(2a)定义残差活性因子η如下：
其中x表示残差学习模块的输入特征，f(x)表示残差模块拟合的映射，定义x一范数与f(x)一范数的比值为残差活性因子；
残差模块是通用提取特征的模块，残差融合模块是一个特有融合模块；残差活性因子可以用于判断通用的残差模块性能；
(2b)进一步刻画残差模块的学习活性，将η刻画为0到1.0之间的数如下所示：
那么，当残差活性因子η越接近1.0附近时，残差模块的学习活性就越强，残差学习模块退化的风险就越低。
所述步骤(3)具体为：
(3a)第一个局部残差融合模块以HR-MSI为输入，经过卷积操作输出特征图0，其余的局部残差模块输出图像与HR-MSI在通道维度上级联后经过卷积操作输出特征图0；
(3b)将特征图0与UP-HSI在通道维度上级联，并采用通道平均机制，计算出各自通道的均值，然后经过一个共享隐藏状态的全连接神经网络，为每个通道输出一个小系数，最后各个通道与相应的小系数相乘，完成通道信息感知，输出特征图1和特征图2；
(3c)将特征图1和特征图2在通道维度上级联，经过卷积进行特征提取和卷积改变通道数，然后与相同通道数的特征图0进行级联，再次使用卷积完成特征融合，输出特征融合图像。
所述步骤(4)具体为：
(4a)根据(2b)定义的残差活性因子计算(3a)中局部残差融合模块的残差学习能力，确定局部残差融合模块个数；
(4b)在(3b)中所采用的UP-HSI为等间隔谱段抽取；
(4c)采用提纯模块进行融合微调，提纯模块包含两组卷积操作，最后输出重建的HR-HSI。
所述(4a)中，对每次加入的局部残差融合模块计算残差活性因子n，当n的数值接近1时代表残差活性强，表示此时加入的局部残差融合模块有作用，以此为依据依次加入新的局部残差融合模块并根据计算的n确定个数。
本发明的有益效果：
1.本发明设计了一种以均值不变为约束的上采样方法，通过该条件约束双三次插值算法对LR-HSI上采样操作的过程；
2.本发明设计了一种用于判断残差模块活性的残差活性因子，可作为对残差模块个数使用的依据；
3.本发明设计了一种基于局部残差的融合模块用于特征提取和融合，该模块所使用的参数更少，特征提取和融合效果更好，可以实现以视频帧率重构高光谱图像；
4.本发明选择不同深度的LR-HSI级联HR-MSI，逐层进行细节特征提取，提高高光谱图像与彩色图像的相关性，减少光谱失真。
附图说明
图1为多级信息提取的高光谱与全色图像融合方法流程图。
图2为提取块细节示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1、图2所示：一种基于多级信息提取的高光谱与全色图像融合方法，包括以下步骤；
(1)图像预处理：
(1a)选取两种高光谱融合重建领域常用的公开数据集，包含32组室内场景高光谱图像的CAVE数据集和包含50组真实场景高光谱图像的Harvard数据集，其中每组CAVE数据集包含31个高光谱图像HR-HSI且有对应的多光谱图像HR-MSI，每组Harvard数据集仅包含31个高光谱图像HR-HSI；
(1b)采用Nikon700相机的光谱响应曲线生成每组Harvard数据集高光谱图像对应的彩色图像(HR-MSI)；
(1c)采用遥感领域中常用的Word's Protocol规则，首先使用7×7的高斯模糊核对HR-HSI进行滤波，该模糊核均值为0，方差为2，然后再高光谱图像的行和列两个方向也步长为r获取像素得到低分辨率高光谱图像(LR-HSI)；
(1d)采用双三次插值算法对获取的LR-HSI进行上采样操作，同时增加均值不变的约束条件，得到UP-HSI。
(2)设计残差活性因子：
(2a)定义残差活性因子η如下：
其中x表示残差学习模块的输入特征，f(x)表示残差模块拟合的映射，定义x一范数与f(x)一范数的比值为残差活性因子；
(2b)进一步刻画残差模块的学习活性，将η刻画为0到1.0之间的数如下所示：
那么，当残差活性因子η越接近1.0附近时，残差模块的学习活性就越强，残差学习模块退化的风险就越低；
(3)设计局部残差融合模块：
(3a)将局部残差融合模块的输出图像与HR-MSI在通道维度上级联，对于没有上一输入的第一个局部残差融合模块直接对HR-MSI处理，经过3×3的卷积操作输出特征图0；
(3b)将特征图0与UP-HSI在通道维度上级联，并采用通道平均机制，计算出各自通道的均值，然后经过一个共享隐藏状态的全连接神经网络，为每个通道输出一个小系数，最后各个通道与相应的小系数相乘，完成通道信息感知，输出特征图1和特征图2；
(3c)将特征图1和特征图2在通道维度上级联，经过3×3的卷积进行特征提取，再经过1×1的卷积改变通道数，然后与相同通道数的特征图0进行级联，再次使用3×3的卷积和1×1的卷积完成特征融合，输出特征融合图像；
(4)多级信息提取融合：
(4a)根据(2b)定义的残差活性因子计算(3a)中局部残差融合模块的残差学习能力，确定局部残差融合模块个数为5个；
(4b)在(3b)中所采用的UP-HSI为等间隔谱段抽取，第一个和第二个局部残差融合模块使用8通道的UP-HSI，第三个、第四个和第五个局部残差融合模块使用31通道的UP-HSI；对于包含31个谱段的数据集，等间隔抽取第1,5,9,13,17,21,25,29个通道的图像，共8个通道；
(4c)第五个局部残差融合模块的输出级联31个通道的UP-HSI，采用提纯模块进行融合微调，提纯模块包含两组3×3和1×1的卷积操作，最后输出重建的HR-HSI。
所述(4a)中，对每次加入的局部残差融合模块计算残差活性因子n，当n的数值接近1时代表残差活性强，表示此时加入的局部残差融合模块有作用，以此为依据依次加入新的局部残差融合模块并根据计算的n确定个数。
图1的原始输入为LR-HSI和HR-MSI，其中LR-HSI每一个通道的图像分辨率都较低，HR-MSI虽然有较高的空间分辨率，但是谱段数较少。通过网络进行特征提取及提纯融合，最终输出的HR-HSI既包含丰富的光谱通道信息，每一个通道图像又拥有较高的空间分辨率，能够完成高质量的融合。
图2为图1整体网络框架中的融合模块细节展示。
本发明基于多级信息提取的高光谱与全色图像融合是一种用于遥感图像泛锐化的轻量级方法，该网络可以以视频帧率重构高光谱图像以满足实时性要求。通过分析在现有融合网络中起着关键作用的残差模块的工作机制，定义了残差活性因子来确定所使用残差模块的能力，从而确定残差块的个数。基于该原理设计了一个轻量级融合网络，使用多级光谱信息和特征图批量共享一个隐藏层状态的方式增加光谱通道之间的相关性，相互感知每个通道图的平均信息，同时完成特征提取和融合。同时，选择不同深度的LR-HSI和HR-MSI逐层进行细节特征提取，提高光谱图像与全色图像的相关性，减少光谱失真。
根据上述原理，本发明的技术思路是，首先采用均值不变约束对LR-HSI进行上采样操作，等间隔抽取上采样的UP-HSI并与HR-MSI进行级联。定义残差活性因子来量化残差模块的学习能力，并根据残差活性因子选择所要使用的残差块数量。设计基于全局方差微调的轻量级残差约束块提取并融合LR-HSI的光谱特征信息和HR-MSI的空间结构信息。最后使用融合提纯网络进行微调和修正，输出最终的重建高分辨率高光谱图像。
本发明解决了现有高光谱融合算法在高光谱和全色图像融合过程中由于细节提取不足导致的纹理细节丢失问题，提高了重建高光谱图像的空间细节信息；
本发明解决了现有高光谱融合算法在高光谱和全色图像融合过程中由于对各个谱段图像特征提取不足导致的光谱失真问题，提高了重建高光谱图像的谱间细节信息；
本发明解决了基于深度学习高光谱融合方法中对残差块使用数量的问题，通过所设计的残差活性因子用以判断特征提取过程中选用残差块的数量，实现了融合网络的轻量化，提高了重建效率。
Claims (6)
1.一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，包括以下步骤；
(1)图像预处理，对高空间分辨率低光谱分辨率的多光谱图像(HR-MSI)进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像(LR-HSI)；采用均值不变约束对LR-HSI进行上采样操作，得到上采样的高分辨率高光谱图像UP-HSI；
(2)设计残差活性因子：
(3)设计局部残差融合模块：
(4)多级信息提取融合，根据残差活性因子计算局部残差融合模块的残差学习能力，确定局部残差融合模块个数；对所采用的UP-HSI等间隔谱段抽取，最终输出重建的HR-HSI。
2.根据权利要求1所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述步骤(1)具体为：
(1a)选取室内场景高光谱图像的CAVE数据集和真实场景高光谱图像的Harvard数据集，其中每组CAVE数据集包含高光谱图像HR-HSI且有对应的多光谱图像HR-MSI，每组Harvard数据集仅包含高光谱图像HR-HSI；
(1b)采用光谱响应曲线生成每组Harvard数据集高光谱图像对应的彩色图像(HR-MSI)；
(1c)采用遥感领域中的Word's Protocol规则，首先使用高斯模糊核对HR-HSI进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像(LR-HSI)；
(1d)采用双三次插值算法对获取的LR-HSI进行上采样操作，同时增加均值不变的约束条件，得到UP-HSI。
3.根据权利要求1所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述步骤(2)具体为：
(2a)定义残差活性因子η如下：
其中x表示残差学习模块的输入特征，f(x)表示残差模块拟合的映射，定义x一范数与f(x)一范数的比值为残差活性因子；
(2b)进一步刻画残差模块的学习活性，将η刻画为0到1.0之间的数如下所示：
那么，当残差活性因子η越接近1.0附近时，残差模块的学习活性就越强，残差学习模块退化的风险就越低。
4.根据权利要求1所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述步骤(3)具体为：
(3a)第一个局部残差融合模块以HR-MSI为输入，经过卷积操作输出特征图0，其余的局部残差模块输出图像与HR-MSI在通道维度上级联后经过卷积操作输出特征图0；
(3b)将特征图0与UP-HSI在通道维度上级联，并采用通道平均机制，计算出各自通道的均值，然后经过一个共享隐藏状态的全连接神经网络，为每个通道输出一个小系数，最后各个通道与相应的小系数相乘，完成通道信息感知，输出特征图1和特征图2；
(3c)将特征图1和特征图2在通道维度上级联，经过卷积进行特征提取和卷积改变通道数，然后与相同通道数的特征图0进行级联，再次使用卷积完成特征融合，输出特征融合图像。
5.根据权利要求4所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述步骤(4)具体为：
(4a)根据(2b)定义的残差活性因子计算(3a)中局部残差融合模块的残差学习能力，确定局部残差融合模块个数；
(4b)在(3b)中所采用的UP-HSI为等间隔谱段抽取；
(4c)采用提纯模块进行融合微调，提纯模块包含两组卷积操作，最后输出重建的HR-HSI。
6.根据权利要求5所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述(4a)中，对每次加入的局部残差融合模块计算残差活性因子n，当n的数值接近1时代表残差活性强，表示此时加入的局部残差融合模块有作用，以此为依据依次加入新的局部残差融合模块并根据计算的n确定个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310400842.5A CN116433548A (zh) | 2023-04-14 | 2023-04-14 | 一种基于多级信息提取的高光谱与全色图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310400842.5A CN116433548A (zh) | 2023-04-14 | 2023-04-14 | 一种基于多级信息提取的高光谱与全色图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433548A true CN116433548A (zh) | 2023-07-14 |
Family
ID=87082847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310400842.5A Pending CN116433548A (zh) | 2023-04-14 | 2023-04-14 | 一种基于多级信息提取的高光谱与全色图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433548A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
-
2023
- 2023-04-14 CN CN202310400842.5A patent/CN116433548A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726916A (zh) * | 2024-02-18 | 2024-03-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
| CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | 3-D quasi-recurrent neural network for hyperspectral image denoising | |
| Mei et al. | Pyramid attention network for image restoration | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| Hui et al. | Progressive perception-oriented network for single image super-resolution | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN111161146B (zh) | 一种由粗糙到精细的单张图像超分辨率重建方法 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| Liu et al. | A super resolution algorithm based on attention mechanism and srgan network | |
| CN111738954A (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN115512192A (zh) | 基于跨尺度的octave卷积网络的多光谱和高光谱图像融合方法 | |
| CN112184553A (zh) | 一种基于深度先验信息的高光谱图像超分辨率方法 | |
| CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 | |
| Qu et al. | A spatio-spectral fusion method for hyperspectral images using residual hyper-dense network | |
| Zhang et al. | Guided hyperspectral image denoising with realistic data | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| Wang et al. | Single image haze removal via attention-based transmission estimation and classification fusion network | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN112184552B (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| Liu et al. | Dual UNet low-light image enhancement network based on attention mechanism | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |