CN113066030A - 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 - Google Patents

一种基于空谱融合网络的多光谱图像全色锐化方法及系统 Download PDF

Info

Publication number
CN113066030A
CN113066030A CN202110350298.9A CN202110350298A CN113066030A CN 113066030 A CN113066030 A CN 113066030A CN 202110350298 A CN202110350298 A CN 202110350298A CN 113066030 A CN113066030 A CN 113066030A
Authority
CN
China
Prior art keywords
information extraction
image
multispectral image
network
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110350298.9A
Other languages
English (en)
Other versions
CN113066030B (zh
Inventor
张凯
王安飞
张风
李卓林
盛志
刁文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110350298.9A priority Critical patent/CN113066030B/zh
Publication of CN113066030A publication Critical patent/CN113066030A/zh
Application granted granted Critical
Publication of CN113066030B publication Critical patent/CN113066030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，提供了一种基于空谱融合网络的多光谱图像全色锐化方法及系统。该方法包括：步骤(1)：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；步骤(2)：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；步骤(3)：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；步骤(4)：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。

Description

一种基于空谱融合网络的多光谱图像全色锐化方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于空谱融合网络的多光谱图像全色锐化方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
多光谱图像已经被很好的应用在环境监测、矿业和农业。由于传感器的硬件限制，光学遥感卫星通常只能测量一些低分辨率多光谱图像(LRMS)和高分辨率全色图像(PAN)。一般来说，灰度全色图像的特点是其拥有高空间分辨率并且其光谱分辨率较低，相反彩色多光谱图像的光谱分辨率很高但空间分辨率较低。图像融合技术可以将空间和光谱信息整合到全色图像和多光谱图像中，从而生成具有高空间分辨率和高光谱分辨率的遥感图像。锐化的目的是将光谱和空间信息融合在一起，以生成与全色图像大小相同的高分辨率多光谱图像。全色锐化在遥感图像处理任务中非常重要，在分割、分类、目标检测等应用中通常作为预处理步骤。在过去的时间里，各种全色锐化算法被提出来解决全色锐化这个问题。
目前，多光谱图像与全色图像融合技术主要可以分为两类：一类是利用成分替换(CS)。它包括在合适的域中转换MS图像，在该域中，成分之一被高分辨率PAN图像替换。在对其他成分进行上采样之后，整个集合将在原始域中进行逆变换。显然，PAN与被替换的成分相关性越高，引入的失真就越少。一个简单而快速的过程是基于强度-色相饱和度(IHS)变换的，只有在三个频段可用时才能使用。但是，可以定义一个通用的IHS变换(GIHS)，其中包括近红外(NIR)波段的响应。其他方法使用主成分分析(PCA)，Brovey变换和Gram-Schmidt光谱锐化。尽管这些技术准确地保留了空间信息，但是由于PAN和MS分量是在仅部分重叠的光谱范围内采集的，因此它们通常具有高光谱失真的特征。
另一种方法是将从全色图像中提取的高频细节信息注入多光谱图像的上采样版本中。通常基于细节注入的方法比基于成分替换的方法具有更好的光谱保真度。它们在如何从PAN提取空间细节以及如何将其注入MS中有所不同。这些方法依赖于具有移动不变性特征的冗余表示，例如Trous小波变换(ATWT)或拉普拉斯金字塔(LP)。
因此，针对现有技术中存在的不同，亟需要一种能够获取准确空间和光谱信息的多光谱图像全色锐化方法及系统。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于空谱融合网络的多光谱图像全色锐化方法及系统，其将逐级得到的空间信息和光谱信息使用能够逐像素取平均的融合块进行融合，从而更精确的合成特征图，获得准确的空间和光谱信息。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于空谱融合网络的多光谱图像全色锐化方法。
一种基于空谱融合网络的多光谱图像全色锐化方法，包括：
步骤(1)：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
步骤(2)：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
步骤(3)：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
步骤(4)：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
本发明的第二个方面提供一种基于空谱融合网络的多光谱图像全色锐化系统。
一种基于空谱融合网络的多光谱图像全色锐化系统，包括：
获取模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
光谱信息提取网络模块，其被配置为：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
空间信息提取网络模块，其被配置为：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
融合网络模块，其被配置为：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明将全色图像与多光谱图像分别置于两个端到端的网络中逐级处理，分别提取空间信息和光谱信息，使得本发明可以获得准确的空间和光谱信息，有利于后续图像处理技术的使用，提高了空间信息和光谱信息的利用率。
2、本发明将逐级得到的空间信息和光谱信息使用能够逐像素取平均的融合块进行融合，使得本发明可以更精确的合成特征图，进一步提高了信息利用率。
3、本发明采用能够逐像素取平均的融合块进行融合，提高信息的利用率，使得本发明比现有技术更加鲁棒，融合结果更加稳定。
4、本发明能获得准确的空间和光谱信息，可用于目标识别、地物分类和环境监测等遥感领域。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明基于空谱融合网络的多光谱图像全色锐化方法的流程图；
图2是本发明基于空谱融合网络的多光谱图像全色锐化方法的结构图；
图3(a)是本发明实施例中低空间分辨率的多光谱图像；
图3(b)是本发明实施例中高空间分辨率的全色图像；
图3(c)是本发明实施例中一幅参考图像；
图3(d)是本发明实施例中采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，为了解决现有技术中空间信息模糊和光谱扭曲的问题，以提高空间分辨率。本实施例提供了一种基于空谱融合网络的多光谱图像全色锐化方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
步骤(1)：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
步骤(2)：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
具体的，将低空间分辨率的多光谱图像输入光谱信息提取网络，输出逼近的全色图像；将高空间分辨率的全色图像输入空间信息提取网络，输出逼近的低分辨率多光谱图像。
示例的，每级光谱信息提取网络包括：两个卷积处理块，每个卷积处理块包括：32个3×3的滤波器，一个批量归一化函数BN和一个激活函数ReLU。每级空间信息提取网络包括：两个卷积处理块，每个卷积处理块包括：32个3×3的滤波器，一个批量归一化函数BN和一个激活函数ReLU。
步骤(3)：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
步骤(4)：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
作为一种或多种实施方式，步骤(2)之前包括：将低空间分辨率的多光谱图像进行四倍上采样操作得到与高空间分辨率的全色图像P尺寸相同的低空间分辨率的初始多光谱图像LM。
作为一种或多种实施方式，如图2所示，步骤(4)包括：
步骤(4-1)：将低空间分辨率的多光谱图像和高空间分辨率的全色图像输入融合网络的堆叠模块，得到第一融合特征图f1；
步骤(4-2)：将第一级光谱信息提取网络提取的第一多光谱图像特征图ms1、第一级空间信息提取网络提取的第一全色图像特征图pan1输入融合网络的第一融合块，计算第一多光谱图像特征图ms1和第一全色图像特征图pan1的平均值avg1；将得到的平均值avg1与第一融合特征图f1进行堆叠、卷积处理，得到第二融合特征图f2；
步骤(4-3)：将第二级光谱信息提取网络提取的第二多光谱图像特征图ms2、第二级空间信息提取网络提取的第二全色图像特征图pan2输入融合网络的第二融合块，计算第二多光谱图像特征图ms2和第二全色图像特征图pan2的平均值avg2；将得到的平均值avg2与第二融合特征图f2进行堆叠、卷积处理，得到第三融合特征图f3；
步骤(4-4)：将第三级光谱信息提取网络提取的第三多光谱图像特征图ms3、第三级空间信息提取网络提取的第三全色图像特征图pan3输入融合网络的第三融合块，计算第三多光谱图像特征图ms3和第三全色图像特征图pan3的平均值avg3；将得到的平均值avg3与第三融合特征图f3进行堆叠、卷积处理，得到第四融合特征图f4；
步骤(4-5)：对第四融合特征图f4进行两次卷积操作得到最终的高分辨率多光谱图像H。
为了进一步阐述本发明的技术方案，在此举一个例子：
S101：输入图像。
S101a：分别输入训练图像对：低空间分辨率的多光谱图像和高空间分辨率的全色图像；
本发明实施例中，采用GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像，低空间分辨率的多光谱图像大小为64×64×4，空间分辨率为8.0m，高空间分辨率的全色图像大小为256×256×4，空间分辨率为2.0m。
S101b：将64×64×4的低空间分辨率的多光谱图像进行四倍上采样得到与全色图像P尺寸相同的图像LM，即256×256×4；
S101c：将四倍上采样后的低分辨率多光谱图像与全色图像进行堆叠并通过32个3×3的滤波器，得到第一个融合块所需要的输入数据f1。
S102：分别通过空间信息提取网络和光谱信息提取网络提取有效的特征图，将逐级得到的特征图送入融合块进行融合。
S102a：初始全色图像经过两次卷积处理块处理得到特征图pan1∈R256*256*32，同样的，低分辨率多光谱图像经过两次卷积处理块处理得到特征图ms1∈R256*256*32，两个特征图堆叠后作为第一个融合块的输入f1∈R256*256*32；
S102b：将特征图pan1和特征图ms1在融合块中逐像素取平均值操作，再与特征图f1进行堆叠，通过32个3×3的滤波器得到下一个融合块的输入数据P∈R256*256*1；
S102c：特征图pan1在空间信息提取网络经过两次卷积处理块处理得到特征图pan2∈R256*256*32，特征图ms1在空间信息提取网络经过两次卷积处理块处理得到特征图ms2∈R256*256*32，两个特征图作为第二个融合块的输入数据；
S102d：将特征图pan2和特征图ms2在融合块中逐像素取平均值操作，再与特征图f2进行堆叠，通过32个3×3的滤波器得到下一个融合块的输入数据f3∈R256*256*32；
S102e：特征图pan2在空间信息提取网络经过两次卷积处理块处理得到特征图pan3∈R256*256*32，特征图ms2在空间信息提取网络经过两次卷积处理块处理得到特征图ms3∈R256*256*32，两个特征图作为第二个融合块的输入数据；
S102f：将特征图pan3和特征图ms3在融合块中逐像素取平均值操作，再与特征图f3进行堆叠，通过32个3×3的滤波器得到特征图f4∈R256*256*32。
S103：对特征图f4再进行两次32个3×3的滤波器操作得到最终高分辨率多光谱图像H∈R256*256*4。
S103a：将特征图pan3通过一次4个3×3的滤波器操作得到逼近的低分辨率多光谱图像LM'∈R256*256*4。
S103b：将特征图ms3通过一次3×3的滤波器操作得到逼近的全色图像P∈R256 *256*1。
本发明的效果可以通过以下仿真进一步说明。
1.仿真环境：
PyCharm Community Edition 2020.2.3x64,Window 10。
2.仿真内容：
仿真1：
用本发明对GeoEye-1卫星于2009年2月在澳大利亚霍巴特地区拍摄的低空间分辨率的多光谱和高空间分辨率的全色图像进行融合，结果如图3(a)-图3(d)所示，其中：
图3(a)是低空间分辨率的多光谱图像，大小为64×64×4，
图3(b)是高空间分辨率的全色图像，大小为256×256，
图3(c)是一幅参考图像，大小为256×256×4，
图3(d)为采用本发明对图3(a)和图3(b)进行融合后获得的高空间分辨率的多光谱图像，大小为256×256×4。
由图3(a)-图3(d)可见，图3(d)的空间纹理信息相比于图3(a)有明显提高，尤其在道路植被与房屋等细节部分，边缘更加清晰，与图3(b)相比，图3(d)的光谱信息更加丰富，由此可见，本发明能够对图3(a)和图3(b)进行较好的融合。
仿真2：
为了证明本发明的效果，分别用本发明的方法和现有技术BDSD变换法、AWLP变换法、Indusion方法、SVT算法、VPLGC、PNN、PanNet对图3(a)和图3(b)的待融合图像进行融合，并对融合结果进行客观指标评价，评价指标如下：
相关系数CC，表示光谱信息的保留程度，结果在区间[0,1]，相关系数越接近1，表示融合结果与参考图像越相似。
RMSE均方根误差，表示预测值与真实值偏差的平方与观测次数n比值的平方根，数值越小，融合结果越好。
2)全局综合误差指标ERG，越接近于1越好。
3)光谱弧度SAM，表示光谱的扭曲程度，越接近0，融合结果越好。
4)全局质量评估indexQ，表示图像在空间和光谱上的整体相似度，结果范围在区间[0,1]，全局质量评估指数越大，融合图像越与参考图像相似。
5)整体图像质量指数UIQI，表示融合图像与参考图像的接近程度，越接近1，融合结果越好。
根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。
表1.各类方法融合结果的客观评价
Figure BDA0003001971990000111
由表1可见，本发明的相关系数CC、全局质量评估indexQ和整体图像质量指数UIQI均大于现有技术的评价值，均方根误差RMSE、全局误差评分ERG和光谱弧度SAM均小于现有技术的评价值，以上评价值均优于现有技术的评价值，由此可以看出本发明的大部分客观评价指标均优于现有技术的客观评价指标。
实施例二
本实施例提供了一种基于空谱融合网络的多光谱图像全色锐化系统。
一种基于空谱融合网络的多光谱图像全色锐化系统，包括：
获取模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
光谱信息提取网络模块，其被配置为：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
空间信息提取网络模块，其被配置为：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
融合网络模块，其被配置为：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
具体的，本实施例的具体实施过程采用如下的步骤：
(1)输入图像：分别输入低空间分辨率的多光谱图像和高空间分辨率的全色图像；
(2)将低空间分辨率的多光谱图像进行四倍上采样操作得到与全色图像P尺寸相同的初始图像LM；
(3)搭建网络：网络架构主要分为三个部分：空间信息提取网络、光谱信息提取网络和融合网络；
(3a)空间信息提取网络的输入为全色图像P，输出为逼近的低分辨率多光谱图像LM'。中间采用6个卷积处理块共3组，进行空间信息的提取，每个卷积处理块包括32个3×3的滤波器，一个批量归一化函数Batch Normalization(BN)和一个激活函数RectifiedLinear Unit(ReLU)。每两个卷积处理块输出的特征图作为融合网络中的输入；
(3b)光谱信息提取网络的输入为上采样的低分辨率多光谱图像LM，输出为逼近的全色图像P'。中间采用6个卷积处理块共3组，进行光谱信息的提取，每个卷积处理块包括32个3×3的滤波器，一个批量归一化函数BN和一个激活函数ReLU。每两个卷积处理块输出的特征图作为融合网络中的输入；
(3c)融合网络中，首先将初始输入数据全色图像P和上采样的低分辨率多光谱图像LM进行堆叠得到f1，f1连接着三个相同的融合块，每个融合块包括一个平均值操作、堆叠和卷积操作，即对从空间信息提取网络得到的特征图pan和光谱信息提取网络得到的特征图ms进行逐像素取平均值操作：
Figure BDA0003001971990000131
在融合块中，取平均值操作后进行一次堆叠操作，堆叠的对象为上一层融合块的输出和平均值avg，若此融合块为融合网络第一个融合块，则堆叠对象为f1和平均值avg；
(4)全色图像经过两次卷积处理块处理得到特征图pan1，同样的，低分辨率多光谱图像经过两次卷积处理块处理得到特征图ms1，两个特征图作为第一个融合块的输入数据；
(5)将特征图pan1和特征图ms1在融合块中逐像素取平均值操作，再与特征图f1进行堆叠，通过32个3×3的滤波器得到下一个融合块的输入数据f2；
(6)特征图pan1在空间信息提取网络经过两次卷积处理块处理得到特征图pan2，特征图ms1在空间信息提取网络经过两次卷积处理块处理得到特征图ms2，两个特征图作为第二个融合块的输入数据；
(7)将特征图pan2和特征图ms2在融合块中逐像素取平均值操作，再与特征图f2进行堆叠，通过32个3×3的滤波器得到下一个融合块的输入数据f3；
(8)特征图pan2在空间信息提取网络经过两次卷积处理块处理得到特征图pan3，特征图ms2在空间信息提取网络经过两次卷积处理块处理得到特征图ms3，两个特征图作为第二个融合块的输入数据；
(9)将特征图pan3和特征图ms3在融合块中逐像素取平均值操作，再与特征图f3进行堆叠，通过32个3×3的滤波器得到特征图f4；
(10)对特征图f4再进行两次卷积得到最终的高分辨率多光谱图像H。
(11)构建损失函数用于同时训练空间信息提取网络、光谱信息提取网络和融合网络。损失函数由三部分组成，Loss1为初始高分辨率全色图像P和空间信息提取网络生成逼近的全色图像P'之间的损失，作用是使网络学习P'与P之间差异的空间信息，提高两者的空间信息相似性。Loss2为初始低分辨率多光谱图像LM和光谱信息提取网络生成逼近的多光谱图像LM'之间的损失，其作用是使网络学习两者之间的光谱信息差异，提高两者的光谱信息相似性。Loss3为最终生成的高分辨率多光谱图像H和参考图像GT之间的损失，保证生成的高分辨率多光谱图像H与参考图像GT的相似性。Loss为总的损失函数。
Figure BDA0003001971990000141
Figure BDA0003001971990000142
Figure BDA0003001971990000143
Loss＝Loss1+Loss2+Loss3
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，包括：
步骤(1)：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
步骤(2)：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
步骤(3)：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
步骤(4)：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
2.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，所述步骤(2)之前包括：将低空间分辨率的多光谱图像进行四倍上采样操作得到与高空间分辨率的全色图像P尺寸相同的低空间分辨率的初始多光谱图像LM。
3.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，所述步骤(4)包括：
步骤(4-1)：将低空间分辨率的多光谱图像和高空间分辨率的全色图像输入融合网络的堆叠模块，得到第一融合特征图f1；
步骤(4-2)：将第一级光谱信息提取网络提取的第一多光谱图像特征图ms1、第一级空间信息提取网络提取的第一全色图像特征图pan1输入融合网络的第一融合块，计算第一多光谱图像特征图ms1和第一全色图像特征图pan1的平均值avg1；将得到的平均值avg1与第一融合特征图f1进行堆叠、卷积处理，得到第二融合特征图f2；
步骤(4-3)：将第二级光谱信息提取网络提取的第二多光谱图像特征图ms2、第二级空间信息提取网络提取的第二全色图像特征图pan2输入融合网络的第二融合块，计算第二多光谱图像特征图ms2和第二全色图像特征图pan2的平均值avg2；将得到的平均值avg2与第二融合特征图f2进行堆叠、卷积处理，得到第三融合特征图f3；
步骤(4-4)：将第三级光谱信息提取网络提取的第三多光谱图像特征图ms3、第三级空间信息提取网络提取的第三全色图像特征图pan3输入融合网络的第三融合块，计算第三多光谱图像特征图ms3和第三全色图像特征图pan3的平均值avg3；将得到的平均值avg3与第三融合特征图f3进行堆叠、卷积处理，得到第四融合特征图f4；
步骤(4-5)：对第四融合特征图f4进行两次卷积操作得到最终的高分辨率多光谱图像H。
4.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，将低空间分辨率的多光谱图像输入光谱信息提取网络，输出逼近的全色图像。
5.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，将高空间分辨率的全色图像输入空间信息提取网络，输出逼近的低分辨率多光谱图像。
6.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，所述每级光谱信息提取网络包括：两个卷积处理块，每个卷积处理块包括：32个3×3的滤波器，一个批量归一化函数BN和一个激活函数ReLU。
7.根据权利要求1所述的基于空谱融合网络的多光谱图像全色锐化方法，其特征在于，每级空间信息提取网络包括：两个卷积处理块，每个卷积处理块包括：32个3×3的滤波器，一个批量归一化函数BN和一个激活函数ReLU。
8.一种基于空谱融合网络的多光谱图像全色锐化系统，其特征在于，包括：
获取模块，其被配置为：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；
光谱信息提取网络模块，其被配置为：将低空间分辨率的多光谱图像经过光谱信息提取网络进行逐级的信息提取；
空间信息提取网络模块，其被配置为：将高空间分辨率的全色图像经过空间信息提取网络进行逐级的信息提取；
融合网络模块，其被配置为：将每级光谱信息提取网络提取的多光谱图像特征图与每级空间信息提取网络提取的全色图像特征图取平均值，得到的平均值与融合网络逐层得到的特征图进行堆叠和卷积操作，最终得到高空间分辨率多光谱图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于空谱融合网络的多光谱图像全色锐化方法中的步骤。
CN202110350298.9A 2021-03-31 2021-03-31 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 Active CN113066030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350298.9A CN113066030B (zh) 2021-03-31 2021-03-31 一种基于空谱融合网络的多光谱图像全色锐化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350298.9A CN113066030B (zh) 2021-03-31 2021-03-31 一种基于空谱融合网络的多光谱图像全色锐化方法及系统

Publications (2)

Publication Number Publication Date
CN113066030A true CN113066030A (zh) 2021-07-02
CN113066030B CN113066030B (zh) 2022-08-02

Family

ID=76564979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350298.9A Active CN113066030B (zh) 2021-03-31 2021-03-31 一种基于空谱融合网络的多光谱图像全色锐化方法及系统

Country Status (1)

Country Link
CN (1) CN113066030B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140359A (zh) * 2021-12-08 2022-03-04 中国科学技术大学 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761506B1 (en) * 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN109785281A (zh) * 2018-12-31 2019-05-21 南京理工大学 基于光谱映射的灰度调幅的pansharpening方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761506B1 (en) * 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN109785281A (zh) * 2018-12-31 2019-05-21 南京理工大学 基于光谱映射的灰度调幅的pansharpening方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG ET AL.: "Fusion of Panchromatic and Multispectral Images Using Multiscale Convolution Sparse Decomposition", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
XIN LI ET AL.: "A Remote-Sensing Image Pan-Sharpening Method Based on Multi-Scale Channel Attention Residual Network", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140359A (zh) * 2021-12-08 2022-03-04 中国科学技术大学 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法
CN114140359B (zh) * 2021-12-08 2023-03-10 中国科学技术大学 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法

Also Published As

Publication number Publication date
CN113066030B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
CN111428781A (zh) 遥感影像地物分类方法及系统
Chen et al. Thick clouds removal from multitemporal ZY-3 satellite images using deep learning
Ye et al. FusionCNN: a remote sensing image fusion algorithm based on deep convolutional neural networks
Chen et al. Convolutional neural network based dem super resolution
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
Yahiaoui et al. Overview and empirical analysis of ISP parameter tuning for visual perception in autonomous driving
US20130129201A1 (en) Method for Pan-Sharpening Panchromatic and Multispectral Images Using Wavelet Dictionaries
CN109657081B (zh) 高光谱卫星遥感数据的分布式处理方法、系统及介质
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
Duan et al. Thick cloud removal of remote sensing images using temporal smoothness and sparsity regularized tensor optimization
CN113066037B (zh) 基于图注意力机制的多光谱与全色图像融合方法及系统
Wang et al. Cross-UNet: dual-branch infrared and visible image fusion framework based on cross-convolution and attention mechanism
Ahmed et al. PIQI: perceptual image quality index based on ensemble of Gaussian process regression
Garcia Freitas et al. On the application LBP texture descriptors and its variants for no-reference image quality assessment
CN112950685A (zh) 一种红外与可见光图像配准方法、系统及存储介质
Wang et al. Convolutional LSTM-based hierarchical feature fusion for multispectral pan-sharpening
Yin et al. Adaptive low light visual enhancement and high-significant target detection for infrared and visible image fusion
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
AU2015218184A1 (en) Processing hyperspectral or multispectral image data
Shi et al. A pansharpening method based on hybrid-scale estimation of injection gains
CN115063336B (zh) 一种全色与多光谱图像融合方法及其装置、介质
CN113850748A (zh) 点云质量的评估系统及方法
Yang et al. Sparse representation and SRCNN based spatio-temporal information fusion method of multi-sensor remote sensing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant