CN109636769B - 基于双路密集残差网络的高光谱和多光谱图像融合方法 - Google Patents

基于双路密集残差网络的高光谱和多光谱图像融合方法 Download PDF

Info

Publication number
CN109636769B
CN109636769B CN201811548135.6A CN201811548135A CN109636769B CN 109636769 B CN109636769 B CN 109636769B CN 201811548135 A CN201811548135 A CN 201811548135A CN 109636769 B CN109636769 B CN 109636769B
Authority
CN
China
Prior art keywords
hyperspectral
layer
network
image
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811548135.6A
Other languages
English (en)
Other versions
CN109636769A (zh
Inventor
易本顺
邱康
向勉
周安安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201811548135.6A priority Critical patent/CN109636769B/zh
Publication of CN109636769A publication Critical patent/CN109636769A/zh
Application granted granted Critical
Publication of CN109636769B publication Critical patent/CN109636769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法,通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。本发明通过双路密集残差网络可以更充分的利用高光谱和多光谱图像中的频域和空间纹理信息,在提高空间分辨率的同时抑制频谱失真,可用于卫星遥感、农业地质普查、医学成像、环境监控等领域。

Description

基于双路密集残差网络的高光谱和多光谱图像融合方法
技术领域
本发明属于图像处理技术领域,具体地涉及高光谱图像和同一场景下的多光谱图像融合的方法,可以应用于高光谱图像超分辨率重建。
背景技术
高光谱成像可以同时获得同一场景下的多幅不同频谱波段范围下的图像。相对于传统成像方式,高光谱图像包含丰富的频谱信息,广泛应用于卫星遥感、农业地质普查、医学成像、环境监控等领域。然而受成像传感器技术的限制,高光谱成像获得更丰富的频谱信息往往是以牺牲空间分辨率作为代价。因此有必要通过设计软件算法实现高光谱图像超分辨率重建技术。其中,通过融合高光谱图像和同一场景下的多光谱图像来实现高光谱图像超分辨率重建往往能获得更高的重建质量,因此是一种很有竞争力的方法。
现有的高光谱图像融合方法,如基于矩阵分解、基于张量分解的方法等,利用高光谱图像的稀疏性、非局部自相似性等先验特性建模,立足于待重建的输入数据求解超分辨率高光谱图像。这类方法往往算法复杂度高,过多依赖先验约束条件,算法适应性较差。随着高光谱成像技术的逐渐普及,高光谱成像数据越来越丰富,这就为基于深度学习的高光谱图像融合技术的发展提供了条件。然而现有的基于深度学习的高光谱图像融合方法还没有做到真正的端到端映射。输入数据往往需要经过预处理后再送入基于深度学习的融合模型,模型的输出往往需要经过后处理才能得到最终的重建结果。这就使得各步骤下的模型参数难以在一个统一的框架下训练,各步骤间参数匹配性较差。因此需要一种基于深度学习的高光谱和多光谱图像融合方法,实现真正的端到端映射。
发明内容
为了解决上述技术问题,本发明提供了一种基于双路密集残差网络的高光谱图像与多光谱图像融合方法,通过融合具有较低空间分辨率的高光谱图像和同一场景下的具有较高空间分辨率的高光谱图像来重建超分辨率高光谱图像。该方法实现了重建过程端到端映射,不需要任何预处理或后处理。
本发明所采用的技术方案是:一种基于双路密集残差网络的高光谱与多光谱图像融合方法,包括以下步骤:
步骤1,构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征;
步骤2,构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征;
步骤3,构建空频特征融合子网络,将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像;
步骤4,通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络,并利用训练数据集统一训练所有网络的模型参数;
步骤5,将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。
步骤1具体的具体实现方式如下,
步骤1.1,设置一个卷积层从输入多光谱图像提取浅层特征,该卷积层表示为:
FM0=σM0(WM0Y+BM0)
其中,WM0和BM0分别表示该卷积层滤波器和偏置,Y表示输入多光谱图像,FM0表示该卷积层输出的特征图,σM0表示激活函数;
步骤1.2,设置L层密集连接卷积层,其中第l(l=1,2,…L-1)个卷积层表示为
FM1=σM1(WM1FM0+BM1)
FMl=σMl(WMl(FM1,FM2…FMl-1)+BMl)
第L层的输出增加了残差连接,该卷积层输出为:
FML=FM1ML(WML(FM1,FM2…FML-1)+BML)
步骤1.3,通过密集连接卷积层提取的多层次频域纹理特征通过一个卷积层规整,该卷积层表示为:
FM=σML+1(WML+1FML+BML+1)。
进一步的,步骤2的具体实现方式如下,
步骤2.1,设置一个卷积层从输入高光谱图像提取浅层特征,该卷积层表示为:
FH0=σH0(WH0X+BH0)
其中,WH0和BH0分别表示该卷积层滤波器和偏置,X表示输入高光谱图像,FH0表示该卷积层输出的特征图,σH0表示激活函数;
步骤2.2,设置L层密集连接卷积层,其中第l(l=1,2,…L-1)个卷积层表示为
FH1=σH1(WH1FH0+BH1)
FHl=σHl(WHl(FH1,FH2…FHl-1)+BHl)
第L层的输出增加了残差连接,该卷积层输出为:
FHL=FH1HL(WHL(FH1,FH2…FHL-1)+BHL)
步骤2.3,通过密集连接卷积层提取的多层次空间纹理特征通过一个反卷积层上采样,该反卷积层表示为:
FH=σHL+1(WHL+1FHL+BHL+1)。
进一步的,步骤3的具体实现方式为,
从输入的高光谱和多光谱图像中提取的多层次纹理特征FH和FM堆叠后通过大小一个卷积层降维,然后通过全连接层输出得到超分辨率高光谱图像,该过程表示为:
Z=σ2(W21(W1(FH,FM)+B1)+B2)
其中,W1,B1表示特征融合子网络卷积层滤波器和偏置,W2,B2表示全连接层滤波器和偏置,σ1和σ2分别表示卷积层和全连接层激活函数。
进一步的,步骤4的具体实现方式如下,
步骤4.1,选取高分辨率高光谱图像构造用于训练网络参数的数据集,具体为:
i)原始高光谱图像{Zi}进行高斯模糊和下采样得到低分辨率高光谱图像{Xi};
ii)选择合适的频谱映射函数对原始高光谱图像{Zi}进行频域压缩得到高分辨率多光谱图像{Yi};
iii)将{Xi},{Yi},{Zi}分别进行多个角度的旋转,以对训练数据进行扩充得到训练数据集{Xi,Yi,Zi};
步骤4.2,将训练数据集送入融合网络,通过最小化如下均方差函数来优化网络参数:
Figure BDA0001909898590000031
其中N表示训练数据集样本总数,Net(·)表示高光谱/多光谱图像融合网络,Θ=(Θ123)表示网络参数,其中
Θ1=[(σM0,WM0,BM0),(σM1,WM1,BM1),…(σML,WML,BML)]
Θ2=[(σH0,WH0,BH0),(σH1,WH1,BH1),…(σHL,WHL,BHL)]
Θ3=[(σ1,W1,B1),(σ2,W2,B2)]。
进一步的,步骤1.1和步骤2.1中的激活函数使用参数修正线性单元(PReLU)作为激活函数。
进一步的,i)中使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Zi}进行高斯模糊和下采样得到低分辨率高光谱图像{Xi};iii)中的多个角度为0o,90o,180o,270。
本发明的优点和有益效果是:
本发明所述的一种基于双路密集残差网络的高光谱与多光谱图像融合机制通过双路密集残差网络更充分的利用高光谱和多光谱图像中的频域和空间纹理信息,在提高空间分辨率的同时抑制频谱失真。同时该网络实现了从输入低分辨率高光谱图像和高分辨率多光谱图像到输出超分辨率高光谱图像的端到端映射,不需要任何预处理或后处理。由于所有模型参数在统一的框架下训练,因而实现了更高的重建准确度。
附图说明
图1为本发明实施的流程图;
图2为本发明实施例的密集残差连接模块结构图;
图3为本发明实施例的高光谱/多光谱图像融合网络结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合图1实施流程图对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供的一种基于双路密集残差网络的高光谱和多光谱图像融合方法,具体步骤如下:
步骤1,构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征,用于构建子网络的密集残差连接模块结构如图2所示,具体过程为:
步骤1.1,设置一个卷积层从输入多光谱图像提取浅层特征,该卷积层包含64个3x3大小卷积核,该卷积层表示为:
FM0=σM0(WM0Y+BM0)
WM0和BM0分别表示该卷积层滤波器和偏置,Y表示输入多光谱图像,FM0表示该卷积层输出的特征图,σM0表示激活函数,本发明使用参数修正线性单元(PReLU)作为激活函数。
步骤1.2,设置L层密集连接卷积层,其中第l(l=1,2,…L-1)个卷积层表示为
FM1=σM1(WM1FM0+BM1)
FMl=σMl(WMl(FM1,FM2…FMl-1)+BMl)
第L层的输出增加了残差连接,该卷积层输出为:
FML=FM1ML(WML(FM1,FM2…FML-1)+BML)
步骤1.3,通过密集连接卷积层提取的多层次频域纹理特征通过一个3x3卷积层规整,该卷积层表示为:
FM=σML+1(WML+1FML+BML+1)
步骤2,构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征,具体过程为:
步骤2.1,设置一个卷积层从输入高光谱图像提取浅层特征,该卷积层包含64个3x3大小卷积核,该卷积层表示为:
FH0=σH0(WH0X+BH0)
WH0和BH0分别表示该卷积层滤波器和偏置,X表示输入高光谱图像,FH0表示该卷积层输出的特征图,σH0表示激活函数,本发明使用参数修正线性单元(PReLU)作为激活函数。
步骤2.2,设置L层密集连接卷积层,其中第l(l=1,2,…L-1)个卷积层表示为
FH1=σH1(WH1FH0+BH1)
FHl=σHl(WHl(FH1,FH2…FHl-1)+BHl)
第L层的输出增加了残差连接,该卷积层输出为:
FHL=FH1HL(WHL(FH1,FH2…FHL-1)+BHL)
步骤2.3,通过密集连接卷积层提取的多层次空间纹理特征通过一个3x3反卷积层上采样,该反卷积层表示为:
FH=σHL+1(WHL+1FHL+BHL+1)
步骤3:构建特征融合子网络,将频域深度特征与空间域深度特征进行堆叠并从中融合得到超分辨率高光谱图像。具体为:从输入的高光谱和多光谱图像中提取的多层次纹理特征FH和FM堆叠后通过大小为1x1的卷积层降维,然后通过全连接层输出得到超分辨率高光谱图像,该过程表示为:
Z=σ2(W21(W1(FH,FM)+B1)+B2)
其中,W1,B1表示特征融合子网络1X1卷积层滤波器和偏置,W2,B2表示全连接层滤波器和偏置,σ1和σ2分别表示1X1卷积层和全连接层激活函数。
步骤4:通过上述步骤1~3子网络构建端到端映射的高光谱/多光谱图像融合网络,网络结构如图3所示,并利用训练数据集统一训练所有网络的模型参数。具体过程为:
步骤4.1,选取高分辨率高光谱图像构造用于训练网络参数的数据集,具体为:
i)使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Zi}进行高斯模糊和下采样得到低分辨率高光谱图像{Xi};
ii)选择合适的频谱映射函数对原始高光谱图像{Zi}进行频域压缩得到高分辨率多光谱图像{Yi};
iii)将{Xi},{Yi},{Zi}分别进行0o,90o,180o,270o旋转以对训练数据进行扩充得到训练数据集{Xi,Yi,Zi};
步骤4.2,将训练数据集送入融合网络,通过最小化如下均方差函数来优化网络参数:
Figure BDA0001909898590000061
其中N表示训练数据集中样本总数,Net(·)表示高光谱/多光谱图像融合网络,Θ=(Θ123)表示网络参数,其中
Θ1=[(σM0,WM0,BM0),(σM1,WM1,BM1),…(σML,WML,BML)]
Θ2=[(σH0,WH0,BH0),(σH1,WH1,BH1),…(σHL,WHL,BHL)]
Θ3=[(σ1,W1,B1),(σ2,W2,B2)]
步骤5:将测试样本输入训练好的网络模型得到超分辨高光谱图像。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,本发明的应用范围适用但不限于高光谱图像超分辨率重建、多谱图像融合等图像处理领域。上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于双路密集残差网络的高光谱与多光谱图像融合方法,其特征在于,包括以下步骤:
步骤1,构建一个密集残差子网络从输入的具有较低空间分辨率的高光谱图像中提取不同层次的频域纹理特征;
步骤1具体的具体实现方式如下,
步骤1.1,设置一个卷积层从输入多光谱图像提取浅层特征,该卷积层表示为:
FM0=σM0(WM0Y+BM0)
其中,WM0和BM0分别表示该卷积层滤波器和偏置,Y表示输入多光谱图像,FM0表示该卷积层输出的特征图,σM0表示激活函数;
步骤1.2,设置L层密集连接卷积层,其中第l个卷积层表示为:
FM1=σM1(WM1FM0+BM1)
FMl=σMl(WMl(FM1,FM2…FMl-1)+BMl)
其中l=1,2,…L-1,第L层的输出增加了残差连接,该卷积层输出为:
FML=FM1ML(WML(FM1,FM2…FML-1)+BML)
步骤1.3,通过密集连接卷积层提取的多层次频域纹理特征通过一个卷积层规整,该卷积层表示为:
FM=σML+1(WML+1FML+BML+1);
步骤2,构建另一个对称的密集残差子网络从具有较高空间分辨率的同一场景下的多光谱图像中提取不同层次的空间纹理特征;
步骤2的具体实现方式如下,
步骤2.1,设置一个卷积层从输入高光谱图像提取浅层特征,该卷积层表示为:
FH0=σH0(WH0X+BH0)
其中,WH0和BH0分别表示该卷积层滤波器和偏置,X表示输入高光谱图像,FH0表示该卷积层输出的特征图,σH0表示激活函数;
步骤2.2,设置L层密集连接卷积层,其中第l个卷积层表示为:
FH1=σH1(WH1FH0+BH1)
FHl=σHl(WHl(FH1,FH2σFHl-1)+BHl)
其中l=1,2,…L-1,第L层的输出增加了残差连接,该卷积层输出为:
FHL=FH1HL(WHL(FH1,FH2…FHL-1)+BHL)
步骤2.3,通过密集连接卷积层提取的多层次空间纹理特征通过一个反卷积层上采样,该反卷积层表示为:
FH=σHL+1(WHL+1FHL+BHL+1);
步骤3,构建空频特征融合子网络,将步骤1中频域纹理特征与步骤2中的空间纹理特征进行堆叠并从中融合得到超分辨率高光谱图像;
步骤3的具体实现方式为,
从输入的高光谱和多光谱图像中提取的反卷积层FH和卷积层特征FM堆叠后通过大小一个卷积层降维,然后通过全连接层输出得到超分辨率高光谱图像,该过程表示为:
Z=σ2(W21(W1(FH,FM)+B1)+B2)
其中,W1,B1表示特征融合子网络卷积层滤波器和偏置,W2,B2表示全连接层滤波器和偏置,σ1和σ2分别表示卷积层和全连接层激活函数;
步骤4,通过上述3个子网络构建端到端映射的高光谱/多光谱图像融合网络,并利用训练数据集统一训练所有网络的模型参数;
步骤5,将测试样本输入训练好的融合网络模型得到超分辨高光谱图像。
2.根据权利要求1所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法,其特征在于:步骤4的具体实现方式如下,
步骤4.1,选取高分辨率高光谱图像构造用于训练网络参数的数据集,具体为:
i)原始高光谱图像{Zi}进行高斯模糊和下采样得到低分辨率高光谱图像{Xi};
ii)选择合适的频谱映射函数对原始高光谱图像{Zi}进行频域压缩得到高分辨率多光谱图像{Yi};
iii)将{Xi},{Yi},{Zi}分别进行多个角度的旋转,以对训练数据进行扩充得到训练数据集{Xi,Yi,Zi};
步骤4.2,将训练数据集送入融合网络,通过最小化如下均方差函数来优化网络参数:
Figure FDA0003613380180000031
其中N表示训练数据集样本总数,Net(·)表示高光谱/多光谱图像融合网络,Θ=(Θ123)表示网络参数,其中
Θ1=[(σM0,WM0,BM0),(σM1,WM1,BM1),…(σML,WML,BML)]
Θ2=[(σH0,WH0,BH0),(σH1,WH1,BH1),…(σHL,WHL,BHL)]
Θ3=[(σ1,W1,B1),(σ2,W2,B2)]。
3.根据权利要求1所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法,其特征在于:步骤1.1和步骤2.1中的激活函数使用参数修正线性单元PReLU作为激活函数。
4.根据权利要求2所述的一种基于双路密集残差网络的高光谱与多光谱图像融合方法,其特征在于:i)中使用均值为零、方差为3、大小为8x8的高斯卷积核对原始高光谱图像{Zi}进行高斯模糊和下采样得到低分辨率高光谱图像{Xi};iii)中的多个角度为0°,90°,180°,270°。
CN201811548135.6A 2018-12-18 2018-12-18 基于双路密集残差网络的高光谱和多光谱图像融合方法 Active CN109636769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811548135.6A CN109636769B (zh) 2018-12-18 2018-12-18 基于双路密集残差网络的高光谱和多光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811548135.6A CN109636769B (zh) 2018-12-18 2018-12-18 基于双路密集残差网络的高光谱和多光谱图像融合方法

Publications (2)

Publication Number Publication Date
CN109636769A CN109636769A (zh) 2019-04-16
CN109636769B true CN109636769B (zh) 2022-07-05

Family

ID=66075069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811548135.6A Active CN109636769B (zh) 2018-12-18 2018-12-18 基于双路密集残差网络的高光谱和多光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN109636769B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148103B (zh) * 2019-04-29 2020-12-25 中国科学院西安光学精密机械研究所 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN110706154B (zh) * 2019-08-28 2021-08-31 西北大学 一种基于层次化残差神经网络的图像超分辨率方法
CN110717947B (zh) * 2019-09-25 2021-04-27 北京理工大学 一种基于外部和内部训练的高质量光谱重构方法
CN111652039B (zh) * 2020-04-13 2023-04-18 上海海洋大学 基于残差网络和特征融合模块的高光谱遥感地物分类方法
CN113538226A (zh) * 2020-04-20 2021-10-22 华为技术有限公司 图像纹理增强方法、装置、设备及计算机可读存储介质
CN111882512B (zh) * 2020-07-20 2022-12-20 北京理工大学 基于深度学习的图像融合方法、装置、设备和存储介质
CN111882514B (zh) * 2020-07-27 2023-05-19 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN112734642B (zh) * 2021-01-12 2023-03-10 武汉工程大学 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN112927149B (zh) * 2021-02-18 2023-07-04 北京印刷学院 高光谱图像的空间分辨率增强方法、装置及电子设备
CN113096019B (zh) * 2021-04-28 2023-04-18 中国第一汽车股份有限公司 图像重建方法、装置、图像处理设备及存储介质
CN114240935B (zh) * 2022-02-24 2022-05-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种空频域特征融合的医学影像特征识别方法及装置
CN116309067B (zh) * 2023-03-21 2023-09-29 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN117314757B (zh) * 2023-11-30 2024-02-09 湖南大学 一种空谱频多域融合的高光谱计算成像方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN107463948A (zh) * 2017-07-13 2017-12-12 西安电子科技大学 基于双通道多特征融合网络的多光谱图像分类方法
CN107832797A (zh) * 2017-11-17 2018-03-23 西安电子科技大学 基于深度融合残差网的多光谱图像分类方法
CN108921087A (zh) * 2018-06-29 2018-11-30 国家计算机网络与信息安全管理中心 视频理解方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10088662B2 (en) * 2015-04-30 2018-10-02 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN107463948A (zh) * 2017-07-13 2017-12-12 西安电子科技大学 基于双通道多特征融合网络的多光谱图像分类方法
CN107832797A (zh) * 2017-11-17 2018-03-23 西安电子科技大学 基于深度融合残差网的多光谱图像分类方法
CN108921087A (zh) * 2018-06-29 2018-11-30 国家计算机网络与信息安全管理中心 视频理解方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《A Progressively Enhanced Network for Video Satellite Imagery Superresolution》;Jiang K et al;《IEEE》;20180917;全文 *
《Hyperspectral and multispectral Image Fusion via Deep Two-Branches Convolutional Neural Network》;Yang JX et al;《MDPI》;20180521;全文 *
《多光谱图像融合及其评价方法研究》;刘丽红;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130615(第2013年第06期);全文 *

Also Published As

Publication number Publication date
CN109636769A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636769B (zh) 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
JP6945953B2 (ja) 撮像システム及び画像処理の方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN109003239B (zh) 一种基于迁移学习神经网络的多光谱图像锐化方法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN115564692B (zh) 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN111738954B (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
Yang et al. License plate image super-resolution based on convolutional neural network
CN114463183A (zh) 基于频域和空域的图像超分辨率方法
CN111008936A (zh) 一种多光谱图像全色锐化方法
CN115984110A (zh) 一种基于Swin-Transformer的二阶光谱注意力高光谱图像超分辨率方法
CN115861083A (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN117474781A (zh) 一种基于注意力机制的高光谱与多光谱图像融合方法
Nathan et al. Light weight residual dense attention net for spectral reconstruction from RGB images
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
CN114429424B (zh) 一种适用于退化方式不定的遥感图像超分重建方法
CN114140359B (zh) 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant