CN111882512B - 基于深度学习的图像融合方法、装置、设备和存储介质 - Google Patents

基于深度学习的图像融合方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111882512B
CN111882512B CN202010715887.8A CN202010715887A CN111882512B CN 111882512 B CN111882512 B CN 111882512B CN 202010715887 A CN202010715887 A CN 202010715887A CN 111882512 B CN111882512 B CN 111882512B
Authority
CN
China
Prior art keywords
image
branch
fused
hyperspectral
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010715887.8A
Other languages
English (en)
Other versions
CN111882512A (zh
Inventor
陶然
李伟
胡婷
张蒙蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010715887.8A priority Critical patent/CN111882512B/zh
Publication of CN111882512A publication Critical patent/CN111882512A/zh
Application granted granted Critical
Publication of CN111882512B publication Critical patent/CN111882512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/22—Improving land use; Improving water use or availability; Controlling erosion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的图像融合方法、装置、设备和存储介质，该方法包括：获取待融合的高光谱图像和待融合的多光谱图像；将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；将二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；通过最小化第一支路的第一损失函数来训练第一支路，以及，最小化第二支路的第二损失函数来训练第二支路，直到训练次数达到设定次数阈值或第一损失函数且第二损失函数的函数值在设定函数值范围内；输出第二支路中重构的高分辨且高光谱图像，确定融合后的图像。实现了对高光谱图像的空间分辨率的提升。

Description

基于深度学习的图像融合方法、装置、设备和存储介质
技术领域
本发明涉及光学遥感图像分辨率增强技术领域，具体涉及一种基于深度学习的图像融合方法、装置、设备和存储介质。
背景技术
湿地具有防控海水、沉积营养、调节气候、保护海岸以及维护生态等重要价值，在保护生态平衡和维持人类生产方面发挥重要作用。其中，滨海湿地尤为重要，因为它是陆地和海洋生态系统的过渡地带，是自然力量与人类活动交互强烈的地带。植被作为滨海湿地的重要一员，不仅为人类生产和生活提供原料，还在湿地的气候监测、环境保护、生态维持和物种监护等领域发挥重要的作用。植被的类型和分布严重影响着湿地生态的平衡与健康，因此，滨海湿地植被的精准分类研究具有重要意义。
滨海湿地的植被通常呈大面积集中分布，因而具备天然的遥感监测优势。要实现湿地植被的精准分类，往往需要高空间且高光谱分辨率的遥感图像。然而，由于硬件设备的技术限制，单一传感器难以获取同时具备高空间和高光谱分辨率的图像。
发明内容
有鉴于此，提供一种基于深度学习的图像融合方法、装置、设备和存储介质，以解决相关技术中无法对高光谱图像进行空间分辨率提升的问题。
本发明采用如下技术方案：
第一方面，本申请实施例提供了一种基于深度学习的图像融合方法，该方法包括：
获取待融合的高光谱图像和待融合的多光谱图像，其中，所述待融合的高光谱图像和所述待融合的多光谱图像均为湿地图像；
将所述待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；
将所述二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将所述二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；
通过最小化第一支路的第一损失函数来训练所述第一支路，以及，最小化第二支路的第二损失函数来训练所述第二支路，直到训练次数达到设定次数阈值或所述第一损失函数且所述第二损失函数的函数值在设定函数值范围内；
输出所述第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
第二方面，本申请实施例提供了一种基于深度学习的图像融合装置，该装置包括：
图像获取模块，用于获取待融合的高光谱图像和待融合的多光谱图像，其中，所述待融合的高光谱图像和所述待融合的多光谱图像均为湿地图像；
重组模块，用于将所述待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；
输入模块，用于将所述二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将所述二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；
训练模块，用于通过最小化第一支路的第一损失函数来训练所述第一支路，以及，最小化第二支路的第二损失函数来训练所述第二支路，直到训练次数达到设定次数阈值或所述第一损失函数且所述第二损失函数的函数值在设定函数值范围内；
输出模块，用于输出所述第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
第三方面，本申请实施例提供了一种设备，该设备包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行本申请实施例第一方面所述的基于深度学习的图像融合方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的基于深度学习的图像融合方法中各个步骤。
本发明采用以上技术方案，通过将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式，这样可以将携带光谱信息的矩阵和携带空间信息的线性表示稀疏矩阵分离出来；另外，基于双支路融合网络，通过提取多光谱图像的空间信息和高光谱图像的光谱信息来重构高分辨的高光谱图像，应用神经网络实现对高光谱图像空间分辨率的提升，为滨海湿地植被的精准分类提供更有效的数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于深度学习的图像融合方法的流程图；
图2是本申请实施例中适用的一种三维图像重组为二维形式的示意图；
图3是本申请实施例中适用的一种无监督双支路网络的示意图；
图4是本申请实施例提供的一种基于深度学习的图像融合装置的结构示意图；
图5是本申请实施例提供的一种设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
首先对本申请实施例的可应用场景和基本概念进行说明，相对于多光谱图像而言，高光谱图像具有较高的光谱分辨率，能够提供不同材料的光谱特征，多光谱图像虽然具有较低的光谱分辨率，但是其空间分辨率往往由于高光谱图像，而单通道全色图像的空间分辨率更甚于多光谱图像的空间分辨率。因此，收集同一场景的全色、多光谱和高光谱图像，再利用融合技术产生高空间和光谱分辨率图像是解决硬件瓶颈对分辨率限制的一种有效手段。
光谱图像融合技术的发展和星载成像仪的进步密不可分。自1986年第一颗同时载有多光谱和全色图像传感器的卫星SPOT-1发射之后，全色锐化技术逐步发展起来。全色锐化是一种通过融合同一场景的多光谱和全色图像来增强多光谱图像的空间分辨率的方法。在过去的几十年里，已有大量的全色锐化算法被提出，其中代表性的方法有三类：主成分替换(Component substitution，CS)、多分辨率分析(Multiresolution analysis，MRA)和稀疏表示(Sparse representation，SR)。CS和MRA均是通过从全色图像中提取空间细节添加到多光谱图像中以增强多光谱图像的空间分辨率。具体而言，CS提取的空间细节是全色图像和多光谱图像各波段经过光谱变换所得的非零均值成分之间的像素级差异，而MRA则通过对全色图像进行线性空间变换数字滤波来提取空间细节。通常，CS能在空间上较好地锐化图像，而MRA融合的图像具有更好的光谱质量。图像SR意味着将图像建模为一个字典中某些元素的线性组合，这源于压缩感知理论。SR全色锐化方法将遥感成像过程建模为一个与压缩感知理论中的测量矩阵对应的线性变换，其中，高分辨的全色图像和低分辨的多光谱图像视为测量值，则可以利用稀疏正则化来重建高分辨的多光谱图像。
随着高光谱成像技术的出现，很多学者们将多光谱图像全色锐化方法引入高光谱和多光谱图像融合领域，用于提升高光谱图像的空间分辨率。但是由于高光谱图像具有比多光谱图像更丰富的光谱信息和更低的空间分辨率，应用传统的多光谱图像锐化技术来增强高光谱图像分辨率是一个更具有挑战性的选择，而且容易引起光谱失真。当然，也有专门针对高光谱和多光谱图像融合的研究，主要包括基于解混、Bayesian和深度学习的方法。Gross和Schott首次应用光谱解混成功实现了高光谱和全色图像的融合，在光谱响应函数和点扩展函数等相关传感器特性约束下，分别从高分辨和低分辨图像中获取高分辨率丰度矩阵和端元信息，而融合后的图像即为这两个矩阵的乘积。随后，学者们提出多种不同的方法，比如非负矩阵分解、耦合非负矩阵分解、字典学习和稀疏编码等，来提取端元和丰度矩阵，进而有效地融合高光谱和多光谱图像。由Eismann等人首次提出的基于最大后验估计的Bayesian方法，在使用高光谱全色或多光谱数据源提高所有高光谱波段图像的空间分辨率方面取得了突破。Bayesian方法的主要思想是在子空间上利用两个待融合图像的光谱信息实现融合，这种思想引领了很多后来者们研发多种有效的融合方案。现有的上述融合方法大都假定高和低分辨图像间的下采样函数是已知的，但是由于传感器误差和复杂的环境，这种假设总是有偏差的。
近年来，基于深度学习的图像超分辨技术取得了卓越的成效，其中大多是监督的，即利用深度神经网络学习高低分辨图像对之间的映射关系，并将学到的映射作用于低分辨图像，从而提升其分辨率。但是这种监督学习方法不适用于高光谱图像分辨率增强，因为监督学习需要大量的高低分辨数据对，对于高光谱图像这很难实现。此外，有研究指出，深度学习从数据集中学到的端到端映射函数普适性较差，因为不同的传感器的映射函数往往存在差异性，而且同一传感器拍摄的图像在不同波段的映射函数也可能存在差异。因此，近期，兴起了对基于无监督学习的高光谱和多光谱融合的研究。Sidorov和Hardeberg将Ulyanov等人提出的基于卷积神经网络(Convolutional neural network，CNN)的图像深度先验算法拓展到高光谱图像领域，实现了对高光谱图像的去噪、填充和超分重构。Qu等人提出了无监督的稀疏Dirichlet网络，实现了高光谱和多光谱图像的融合，从而重构出高分辨的高光谱图像。但是基于深度学习的高光谱图像分辨率增强算法的研究仍有待改进，因此，有必要继续深入研究基于深度学习的高光谱和多光谱图像融合，进而提升此类方法的性能。
实施例
图1为本发明实施例提供的一种基于深度学习的图像融合方法的流程图，该方法可以由本发明实施例提供的基于深度学习的图像融合装置来执行，该装置可采用软件和/或硬件的方式实现。参考图1，该方法具体可以包括如下步骤：
S101、获取待融合的高光谱图像和待融合的多光谱图像，其中，待融合的高光谱图像和待融合的多光谱图像均为湿地图像。
其中，光谱图像可以表示为多个基向量的线性组合，基向量包含了光谱信息，而线性表示的系数则包含了空间信息。具体的，Ils表示待融合的高光谱图像，也即，低分辨率的高光谱图像；Ihs表示待融合的多光谱图像，也即，高分辨的多光谱头像。其中，
Figure BDA0002591274920000061
M、N和B分别表示待融合的高光谱图像的行数、列数和波段数，m、n和b分别表示待融合的多光谱图像的行数、列数和波段数。通常情况下，m＞＞M、n＞＞N、B＞＞b，因为多光谱图像的空间分辨率往往高于高光谱图像，而其光谱分辨率低于高光谱图像。在一个具体的例子中，本申请的应用场景是对滨海湿地的图像进行融合。
S102、将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式。
其中，待融合的高光谱图像和待融合的多光谱图像均为三维数组形式，为了进行图像融合，需要分别重组为对应的二维矩阵形式。具体可以通过如下方式实现：将待融合的多光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第一波段数目个序列，将第一波段数目个序列横向依次排列，得到待融合的多光谱图像的二维矩阵形式；将待融合的高光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第二波段数目个序列，将第二波段数目个序列横向依次排列，得到待融合的高光谱图像的二维矩阵形式。
具体的，将高光谱图像Ils的每一个波段图像拉伸为一列，再将所得的B个长为MN的序列横向依次排列，则可生成Ils对应的二维形式
Figure BDA0002591274920000071
对多光谱图像Ihs进行同样的图像重组操作，得到对应的二维矩阵
Figure BDA0002591274920000072
在一个具体的例子中，第一波段数目为b，第二波段数目为B。
S103、将二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路。
在一个具体的例子中，第一支路为利用多光谱图像重构多光谱图像的支路，包含编码器、Bottleneck隐藏层和解码器，编码器是用于将高维图像映射到其低维表示的Bottleneck隐藏层，Bottleneck隐藏层则是从多光谱图像中提取空间信息，而解码器则是用于提取光谱信息，最终利用所提取的空间信息和光谱信息重构出逼近原始多光谱图像的多光谱图像。第二支路为利用高光谱图像重构多光谱图像的支路，与第一支路网络结构相同，且与第一支路共享编码器和Bottleneck隐藏层，其解码器则是用于提取高光谱图像的高光谱信息，联合解码器提取的高光谱信息和编码器提取的高空间信息重构出高分辨的高光谱图像，将该重构的高分辨高光谱图像与光谱响应矩阵相乘来重构与原始多光谱图像逼近的多光谱图像。其中，第二支路中间环节中重构的高分辨高光谱图像即为所需的最终融合结果。可选的，第一支路和第二支路的编码器和隐藏层相同，隐藏层满足Dirichlet分布；第一支路和第二支路的解码器不同。
S104、通过最小化第一支路的第一损失函数来训练第一支路，以及，最小化第二支路的第二损失函数来训练第二支路，直到训练次数达到设定次数阈值或第一损失函数且第二损失函数的函数值在设定函数值范围内。
具体的，将所得的
Figure BDA0002591274920000081
和
Figure BDA0002591274920000082
同时输入所提的双支路网络，交替训练两条支路，通过最小化第一支路的第一损失函数来训练第一支路，再通过最小化第二支路的第二损失函数来训练第二支路，直至训练次数达到设定次数阈值或者两个损失函数的函数值都基本稳定在设定函数值范围内。
示例性的，通过最小化第一支路的第一损失函数，以反向传播的方式更新第一支路中的第一网络参数来训练第一支路；最小化第二支路的第二损失函数来训练第二支路，包括：通过最小化第二支路的第二损失函数，以反向传播的方式更新第二支路中的第二网络参数来训练第二支路。反复交替执行最小化第一支路的第一损失函数和第二支路的第二损失函数的步骤。
S105、输出第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
可选的，输出第二支路中重构的二维矩阵形式的图像，对二维矩阵形式的图像执行重组的逆过程，得到高分辨率且高光谱的图像。
本发明采用以上技术方案，通过将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式，这样可以将携带光谱信息的矩阵和携带空间信息的线性表示稀疏矩阵分离出来；这样，基于双支路融合网络，通过提取多光谱图像的空间信息和高光谱图像的光谱信息来重构高分辨的高光谱图像，应用神经网络实现对高光谱图像空间分辨率的提升，为滨海湿地植被的精准分类提供更有效的数据。
为了使本申请的技术方案更容易理解，下面用一个具体的实现流程来进行说明。在得到二维矩阵形式的高光谱图像和多光谱图像后，假设高光谱图像中任一点的光谱向量可以表示成k个光谱基向量的线性组合，则二维矩阵形式的高光谱图像
Figure BDA0002591274920000091
可表示为
Figure BDA0002591274920000092
其中，
Figure BDA0002591274920000093
是携带空间信息的线性表示稀疏矩阵，满足非负性且和为1，也即，∑Sls＝1，
Figure BDA0002591274920000094
是携带光谱信息、由k个光谱基向量组成的矩阵。类似地，
Figure BDA0002591274920000095
可以表示为
Figure BDA0002591274920000096
其中，
Figure BDA0002591274920000097
示例性的，多光谱图像的光谱基矩阵为高光谱图像的光谱基矩阵和传感器光谱响应矩阵的乘积。高光谱图像和多光谱图像的光谱基之间存在关系Ψhs＝ΨlsF，其中，F表示与传感器有关的光谱响应矩阵。利用高光谱图像的光谱信息和多光谱图像的空间信息即可重构出高分辨的高光谱图像，即有X＝ShsΨls。由于Ψhs＝ΨlsF，所以容易通过高分辨高光谱图像X生成对应的高分辨多光谱图像，即
Figure BDA0002591274920000098
因此，本申请实施例提供了一种双支路融合网络，网络的具体设置为：强制Bottleneck隐藏层Shs满足Dirichlet分布以约束其非负性及和为1的先验；第一支路的第一损失函数为
Figure BDA0002591274920000099
其中，最小化
Figure BDA00025912749200000910
是为了使第一支路的重构输出逼近输入的高分辨多光谱图像，利于其空间信息Shs和光谱信息Ψhs的准确提取；E1(Shs)是Shs的熵函数，最小化熵是为了约束Shs的稀疏性；λ是正则化系数，用于控制对Shs稀疏性的约束力度；第二支路的第二损失函数为
Figure BDA00025912749200000911
其中，最小化
Figure BDA00025912749200000912
是为了使第二支路的重构输出逼近输入的高分辨多光谱图像，利于多光谱图像的空间信息Shs和高光谱图像光谱信息Ψls的准确提取。
将待融合的高光谱图像Ils和待融合的多光谱图像Ihs经过重组为对应的二维矩阵形式后输入该网络，训练到预设的停止条件，即可输出融合的高分辨高光谱图像X。具体的训练方式如下：
通过最小化
Figure BDA0002591274920000101
以反向传播的方式更新第一支路中的网络参数；再通过最小化
Figure BDA0002591274920000102
以反向传播的方式更新第二支路中的参数；反复交替执行上述第一支路和第二支路的网络参数更新的步骤，直至
Figure BDA0002591274920000103
和
Figure BDA0002591274920000104
的值基本不再降低或训练次数达到第一支路和第二支路预设的最大训练次数；输出支路2中间重构的二维形式图像X，再对其进行图像重组的逆过程，即可得到最终的融合结果
Figure BDA0002591274920000105
在一个具体的例子中，图2示出了一种三维图像重组为二维形式的示意图；图3示出了一种无监督双支路网络的示意图。参考图2，H表示表示图像的行数，W表示图像的列数，以及，C表示图像的波段数。若图像为高光谱图像，则H取值为M、W取值为N，以及，C取值为B；若图像为多光谱图像，则H取值为m，W取值为n，以及，C取值为b。参考图3，支路1为本申请实施例的第一支路，支路2为本申请实施例的第二支路。
本申请实施例中，预先构建的双支路网络共享同一个编码器，可进行交替训练，且二者最终的重构目标一致，将原始高光谱图像和多光谱图像紧密地联系起来，从而获得较好的融合结果。另外，这是一种无监督算法，无需大量的数据进行训练，避免了监督算法对数据量的需求以及应用场景的限制，具有实用性高的优点。
图4是本发明是实施例提供的一种基于深度学习的图像融合装置的结构示意图，该装置适用于执行本发明实施例提供给的一种基于深度学习的图像融合方法。如图4所示，该装置具体可以包括图像获取模块401、重组模块402、输入模块403、训练模块404和输出模块405。
其中，图像获取模块401，用于获取待融合的高光谱图像和待融合的多光谱图像，其中，待融合的高光谱图像和待融合的多光谱图像均为湿地图像；重组模块402，用于将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；输入模块403，用于将二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；训练模块404，用于通过最小化第一支路的第一损失函数来训练第一支路，以及，最小化第二支路的第二损失函数来训练第二支路，直到训练次数达到设定次数阈值或第一损失函数且第二损失函数的函数值在设定函数值范围内；输出模块405，用于输出第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
本发明采用以上技术方案，通过将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式，这样可以将携带光谱信息的矩阵和携带空间信息的线性表示稀疏矩阵分离出来；这样，基于双支路融合网络，通过提取多光谱图像的空间信息和高光谱图像的光谱信息来重构高分辨的高光谱图像，应用神经网络实现对高光谱图像空间分辨率的提升，为滨海湿地植被的精准分类提供更有效的数据。
可选的，重组模块402具体用于：
将待融合的多光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第一波段数目个序列，将第一波段数目个序列横向依次排列，得到待融合的多光谱图像的二维矩阵形式；
将待融合的高光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第二波段数目个序列，将第二波段数目个序列横向依次排列，得到待融合的高光谱图像的二维矩阵形式。
可选的，训练模块404具体用于：通过最小化第一支路的第一损失函数，以反向传播的方式更新第一支路中的第一网络参数来训练第一支路；
最小化第二支路的第二损失函数来训练第二支路，包括：通过最小化第二支路的第二损失函数，以反向传播的方式更新第二支路中的第二网络参数来训练第二支路。
可选的，训练模块404还用于：
反复交替执行最小化第一支路的第一损失函数和第二支路的第二损失函数的步骤。
可选的，输出模块405具体用于：
输出第二支路中重构的二维矩阵形式的图像；
对二维矩阵形式的图像执行重组的逆过程，得到高分辨率且高光谱的图像。
可选的，第一支路和第二支路的编码器和隐藏层相同，隐藏层满足Dirichlet分布；第一支路和第二支路的解码器不同。
可选的，多光谱图像的光谱基矩阵为高光谱图像的光谱基矩阵和传感器光谱响应矩阵的乘积。
本发明实施例提供的基于深度学习的图像融合装置可执行本发明任意实施例提供的基于深度学习的图像融合方法，具备执行方法相应的功能模块和有益效果。
本发明实施例还提供一种设备，请参阅图5，图5为一种设备的结构示意图，如图5所示，该设备包括：处理器510，以及与处理器510相连接的存储器520；存储器520用于存储计算机程序，所述计算机程序至少用于执行本发明实施例中的基于深度学习的图像融合方法；处理器510用于调用并执行所述存储器中的所述计算机程序；上述基于深度学习的图像融合方法至少包括如下步骤：获取待融合的高光谱图像和待融合的多光谱图像；将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；将二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；通过最小化第一支路的第一损失函数来训练第一支路，以及，最小化第二支路的第二损失函数来训练第二支路，直到训练次数达到设定次数阈值或第一损失函数且第二损失函数的函数值在设定函数值范围内；输出第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
本发明实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如本发明实施例中的基于深度学习的图像融合方法中各个步骤：获取待融合的高光谱图像和待融合的多光谱图像；将待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；将二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；通过最小化第一支路的第一损失函数来训练第一支路，以及，最小化第二支路的第二损失函数来训练第二支路，直到训练次数达到设定次数阈值或第一损失函数且第二损失函数的函数值在设定函数值范围内；输出第二支路中重构的高分辨且高光谱图像，确定融合后的图像。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的图像融合方法，其特征在于，包括：
获取待融合的高光谱图像和待融合的多光谱图像，其中，所述待融合的高光谱图像和所述待融合的多光谱图像均为湿地图像；
将所述待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；
将所述二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将所述二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；
通过最小化第一支路的第一损失函数来训练所述第一支路，以及，最小化第二支路的第二损失函数来训练所述第二支路，直到训练次数达到设定次数阈值或所述第一损失函数且所述第二损失函数的函数值在设定函数值范围内；
输出所述第二支路中重构的高分辨且高光谱图像，确定融合后的图像；
所述双支路网络的结构中：
所述第一支路为利用多光谱图像重构多光谱图像的支路，包含编码器、Bottleneck隐藏层和解码器，编码器是用于将高维图像映射到其低维表示的Bottleneck隐藏层，Bottleneck隐藏层用于从多光谱图像中提取空间信息，解码器用于提取光谱信息，最终利用所提取的空间信息和光谱信息重构出逼近原始多光谱图像的多光谱图像；
所述第二支路为利用高光谱图像重构多光谱图像的支路，与第一支路网络结构相同，且与所述第一支路共享编码器和Bottleneck隐藏层，其解码器用于提取高光谱图像的高光谱信息，联合解码器提取的高光谱信息和编码器提取的高空间信息重构出高分辨的高光谱图像，将该重构的高分辨高光谱图像与光谱响应矩阵相乘来重构与原始多光谱图像逼近的多光谱图像。
2.根据权利要求1所述的方法，其特征在于，将所述待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式，包括：
将所述待融合的多光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第一波段数目个序列，将所述第一波段数目个序列横向依次排列，得到所述待融合的多光谱图像的二维矩阵形式；
将所述待融合的高光谱图像的每一个波段按照从左到右以及从上到下的方式拉伸为第二波段数目个序列，将所述第二波段数目个序列横向依次排列，得到所述待融合的高光谱图像的二维矩阵形式。
3.根据权利要求1所述的方法，其特征在于，所述通过最小化第一支路的第一损失函数来训练所述第一支路，包括：通过最小化第一支路的第一损失函数，以反向传播的方式更新所述第一支路中的第一网络参数来训练所述第一支路；
所述最小化第二支路的第二损失函数来训练所述第二支路，包括：通过最小化第二支路的第二损失函数，以反向传播的方式更新所述第二支路中的第二网络参数来训练所述第二支路。
4.根据权利要求3所述的方法，其特征在于，还包括：
反复交替执行最小化第一支路的第一损失函数和第二支路的第二损失函数的步骤。
5.根据权利要求1所述的方法，其特征在于，所述输出所述第二支路中重构的高分辨且高光谱图像，确定融合后的图像，包括：
输出所述第二支路中重构的二维矩阵形式的图像；
对所述二维矩阵形式的图像执行重组的逆过程，得到高分辨率且高光谱的图像。
6.根据权利要求1所述的方法，其特征在于，所述第一支路和所述第二支路的编码器和隐藏层相同，隐藏层满足Dirichlet分布；所述第一支路和所述第二支路的解码器不同。
7.根据权利要求1所述的方法，其特征在于，所述多光谱图像的光谱基矩阵为所述高光谱图像的光谱基矩阵和传感器光谱响应矩阵的乘积。
8.一种基于深度学习的图像融合装置，其特征在于，包括：
图像获取模块，用于获取待融合的高光谱图像和待融合的多光谱图像，其中，所述待融合的高光谱图像和所述待融合的多光谱图像均为湿地图像；
重组模块，用于将所述待融合的高光谱图像和待融合的多光谱图像分别重组为对应的二维矩阵形式；
输入模块，用于将所述二维矩阵形式的多光谱图像输入至预先构建的双支路网络中的第一支路，将所述二维矩阵形式的高光谱图像输入预先构建的双支路网络中的第二支路；
训练模块，用于通过最小化第一支路的第一损失函数来训练所述第一支路，以及，最小化第二支路的第二损失函数来训练所述第二支路，直到训练次数达到设定次数阈值或所述第一损失函数且所述第二损失函数的函数值在设定函数值范围内；
输出模块，用于输出所述第二支路中重构的高分辨且高光谱图像，确定融合后的图像；
所述双支路网络的结构中：
所述第一支路为利用多光谱图像重构多光谱图像的支路，包含编码器、Bottleneck隐藏层和解码器，编码器是用于将高维图像映射到其低维表示的Bottleneck隐藏层，Bottleneck隐藏层用于从多光谱图像中提取空间信息，解码器用于提取光谱信息，最终利用所提取的空间信息和光谱信息重构出逼近原始多光谱图像的多光谱图像；
所述第二支路为利用高光谱图像重构多光谱图像的支路，与第一支路网络结构相同，且与所述第一支路共享编码器和Bottleneck隐藏层，其解码器用于提取高光谱图像的高光谱信息，联合解码器提取的高光谱信息和编码器提取的高空间信息重构出高分辨的高光谱图像，将该重构的高分辨高光谱图像与光谱响应矩阵相乘来重构与原始多光谱图像逼近的多光谱图像。
9.一种设备，其特征在于，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-7任一项所述的基于深度学习的图像融合方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于深度学习的图像融合方法中各个步骤。
CN202010715887.8A 2020-07-20 2020-07-20 基于深度学习的图像融合方法、装置、设备和存储介质 Active CN111882512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715887.8A CN111882512B (zh) 2020-07-20 2020-07-20 基于深度学习的图像融合方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715887.8A CN111882512B (zh) 2020-07-20 2020-07-20 基于深度学习的图像融合方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111882512A CN111882512A (zh) 2020-11-03
CN111882512B true CN111882512B (zh) 2022-12-20

Family

ID=73155964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715887.8A Active CN111882512B (zh) 2020-07-20 2020-07-20 基于深度学习的图像融合方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111882512B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187517A (zh) * 2021-12-14 2022-03-15 广州赋安数字科技有限公司 一种融合视频监控和遥感的异常目标检测方法及系统
CN115311187B (zh) * 2022-10-12 2023-01-24 湖南大学 基于内部和外部先验的高光谱融合成像方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法

Also Published As

Publication number Publication date
CN111882512A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Deng et al. Machine learning in pansharpening: A benchmark, from shallow to deep networks
Zhao et al. Hierarchical regression network for spectral reconstruction from RGB images
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Shi et al. Scalable convolutional neural network for image compressed sensing
CN110660038B (zh) 一种基于生成对抗网络的多光谱图像与全色图像融合方法
Bai et al. Deep learning methods for solving linear inverse problems: Research directions and paradigms
Wei et al. Spatiotemporal fusion of MODIS and Landsat-7 reflectance images via compressed sensing
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
US20130011051A1 (en) Coded aperture imaging
CN102708576A (zh) 基于结构字典的分块图像压缩感知重建方法
CN111882512B (zh) 基于深度学习的图像融合方法、装置、设备和存储介质
Das Hyperspectral image, video compression using sparse tucker tensor decomposition
CN114723631A (zh) 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置
CN111881920B (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
Song et al. Deep memory-augmented proximal unrolling network for compressive sensing
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
Han et al. Edge-Guided Remote Sensing Image Compression
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN116579966A (zh) 一种图像重建方法、装置、电子设备及存储介质
Chen et al. Prior image guided snapshot compressive spectral imaging
Seiffert ANNIE—Artificial Neural Network-based Image Encoder
Wu et al. Hyperspectral superresolution reconstruction via decomposition of low-rank and sparse tensor
CN109559357A (zh) 一种基于小波包阈值的图像块压缩感知重构方法
CN117980914A (zh) 用于以有损方式对图像或视频进行编码、传输和解码的方法及数据处理系统
Aidini et al. Compression of high-dimensional multispectral image time series using tensor decomposition learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant