CN111008936B - 一种多光谱图像全色锐化方法 - Google Patents

一种多光谱图像全色锐化方法 Download PDF

Info

Publication number
CN111008936B
CN111008936B CN201911124585.7A CN201911124585A CN111008936B CN 111008936 B CN111008936 B CN 111008936B CN 201911124585 A CN201911124585 A CN 201911124585A CN 111008936 B CN111008936 B CN 111008936B
Authority
CN
China
Prior art keywords
image
convolution
layer
output
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911124585.7A
Other languages
English (en)
Other versions
CN111008936A (zh
Inventor
贺霖
奚达涵
朱嘉炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911124585.7A priority Critical patent/CN111008936B/zh
Publication of CN111008936A publication Critical patent/CN111008936A/zh
Application granted granted Critical
Publication of CN111008936B publication Critical patent/CN111008936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多光谱图像全色锐化方法，包括步骤：读取原始的多光谱图像和全色图像并进行预处理；从预处理后的图像中截取出图像块作为训练样本和测试样本；设计空间特征传输卷积模块；设计空间特征传输串级卷积神经网络：对模型各卷积层的权重和偏置进行随机初始化；输入训练样本，经过网络前向传播得到预测图像，计算预测图像与参照图像之间的损失函数值；对模型进行迭代优化直至损失函数值达到最小，得到权重和偏置的最优解；将权重和偏置的最优解加载至空间特征传输串级卷积神经网络模型中，输入测试样本进行全色锐化处理。本发明将全色锐化过程分为三个子过程，逐级地提升锐化效果，降低了每一级的锐化难度，有效地增强了全色锐化效果。

Description

一种多光谱图像全色锐化方法
技术领域
本发明涉及图像处理及深度学习领域，尤其涉及一种多光谱图像全色锐化方法。
背景技术
近年来，尽管随着遥感技术的不断发展，遥感图像的空间分辨率和光谱分辨率有了很大的提升，但这依然无法满足许多复杂遥感任务的要求。由于成像传感器的结构限制，遥感系统难以通过提升硬件技术来获得具有更高分辨率的遥感图像。为了解决这一难题，遥感领域引进了信号处理技术，这其中，全色锐化技术是最成功的技术之一。对于给定具有高光谱分辨率但空间分辨率较低的多光谱图像，以及具有高空间分辨率但只有单个光谱通道的全色图像，全色锐化技术能够通过融合前者的光谱信息和后者的空间信息，从而得到具有高空间分辨率的多光谱图像。
在过去的许多年里，研究人员提出了大量不同的全色锐化方法。其中较经典的方法主要有成分替代法和多分辨率分析法。成分替代法从光谱的角度来研究全色锐化问题，这种方法首先通过光谱变换将多光谱图像变换到某个空间域以分离其光谱成分和空间成分，然后使用全色图像替换变换结果的空间成分，再反变换回原始的空间域从而得到锐化图像。根据变换方法的不同，这一类方法主要包括光强、色调、饱和度变换法(IHS)、主成分分析变换法(PCA)和施密特正交变换法(GS)等。多分辨率分析法则是从几何或空间的角度来研究全色锐化问题。这种方法首先在多个分辨率下对全色图像进行分解以提取空间细节信息，随后将这些信息注入到多光谱图像中得到锐化结果。根据分解方法的不同，这一类方法主要包括小波变换(DWT)、拉普拉斯金字塔(LP)等。近年来，基于深度学习的方法在信号处理领域和遥感领域获得了很多关注。许多基于深度学习的全色锐化方法相继被提出，并且取得了优于传统的成分替代法以及多分辨率分析法的性能效果。现有的方法一般利用卷积神经网络端到端的学习能力，期望直接从低空间分辨率的多光谱图像中一步式地获得高空间分辨率的多光谱图像。然而，由于两者之间的分辨率差异相对较大，单过程的全色锐化难以实现较好的锐化效果。
发明内容
本发明的目的在于克服现有技术的不足，提供一种多光谱图像全色锐化方法。本发明首先设计一个空间特征传输卷积模块，该模块能够通过三维卷积同时处理空间信息和光谱信息，从而实现较好的空间和光谱保真度，此外，该模块还通过空间特征传输的方式进一步提高了空间细节重建效果。在此基础上，本发明使用所设计的空间特征传输卷积模块构建了一个空间特征传输串级卷积神经网络，该网络通过串联三个模块将全色锐化过程分为三个子过程，逐级地提升锐化效果，有效地降低了每一级的锐化难度，增强了全色锐化效果。
本发明的方案能够通过以下技术方案实现：
一种多光谱图像全色锐化方法，包括步骤：
读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；
从预处理后的图像中划分出不同的区域并按照特定的原则从所述区域中截取出图像块作为训练样本和测试样本；
设计空间特征传输卷积模块；
设计空间特征传输串级卷积神经网络：
使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重和偏置进行随机初始化；
输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；
判断损失函数值是否小于设定的阈值：
若损失函数值小于设定的阈值，则其达到最小，得到权重W和偏置B的最优解并进行保存；
否则使用自适应矩估计算法对模型进行迭代优化，更新权重W和偏置B；重复迭代过程直至损失函数值小于设定的阈值；
将权重和偏置的最优解加载至空间特征传输串级卷积神经网络模型中，输入测试样本进行全色锐化处理。
具体地，所述读取原始的多光谱图像和全色图像的步骤中，读取的原始的多光谱图像和全色图像满足以下关系：
h2＝rh1
w2＝rw1
其中，r表示全色图像与多光谱图像的空间分辨率之比，h1和w1分别表示原始多光谱图像的高和宽，h2和w2分别表示全色图像的高和宽。
具体地，对读取的图像数据进行预处理为：使用具有特定频率响应的滤波器对原始的多光谱图像和全色图像进行平滑滤波，对滤波结果进行下采样，使其空间分辨率降低r倍，得到退化的多光谱图像和全色图像，再根据多项式插值法对退化的多光谱图像进行尺度为r的上采样，恢复其空间分辨率。
具体地，所述获取训练样本和测试样本的步骤中，选择上采样处理后的多光谱图像的特定区域和退化的全色图像的对应位置作为训练区域，按照互不重叠的原则，以固定的取样间隔从训练区域中截取出图像块，随后打乱所截取的图像块的顺序，从中随机抽取出一定的比例作为训练样本；
选择上采样处理后的多光谱图像中与训练区域不同的另一区域，以及退化的全色图像的对应位置作为测试区域，从测试区域中截取子图像作为测试样本。
空间特征传输卷积模块接收待锐化的多光谱图像以及空间特征映射图作为输入，通过三维卷积同时处理空间信息和光谱信息，并以空间特征传输的方式进一步实现空间细节的重建。
具体地，所述设计空间特征传输卷积模块结构的步骤中，包括：
二维卷积层Conv1，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure BDA0002276417560000041
表示为
Figure BDA0002276417560000042
其中W1和B1分别表示该层卷积核的权重矩阵和偏置矩阵，
Figure BDA0002276417560000043
表示激活函数，这里选择线性整流函数，其表达式为
Figure BDA0002276417560000044
二维卷积层Conv2，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv1的输出
Figure BDA0002276417560000045
输出N个特征图
Figure BDA0002276417560000046
表示为
Figure BDA0002276417560000047
其中W2和B2分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
二维卷积层Conv3，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure BDA0002276417560000048
表示为
Figure BDA0002276417560000049
其中W3和B3分别表示该层卷积核的权重矩阵和偏置矩阵，这里同样选择线性整流函数作为激活函数。
二维卷积层Conv4，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv3的输出
Figure BDA0002276417560000051
输出N个特征图
Figure BDA0002276417560000052
表示为
Figure BDA0002276417560000053
其中W4和B4分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
三维卷积层Conv5，包含N个感受野为7×7×3的卷积核，用于执行三维卷积操作：输入待锐化的多光谱图像
Figure BDA0002276417560000054
输出N个特征图
Figure BDA0002276417560000055
表示为
Figure BDA0002276417560000056
其中W5和B5分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
空间特征传输层SFT，该层输入二维卷积层Conv2的输出
Figure BDA0002276417560000057
二维卷积层Conv4的输出
Figure BDA0002276417560000058
以及三维卷积层Conv5的输出
Figure BDA0002276417560000059
输出N个特征图
Figure BDA00022764175600000510
表示为
Figure BDA00022764175600000511
其中⊙和
Figure BDA00022764175600000512
分别表示对应通道逐像素相乘和相加，选择线性整流函数作为激活函数。
所述空间特征传输串级卷积神经网络模型由三个空间特征传输卷积模块串联而成，将全色锐化过程分为三个子过程进行处理，使用线性整流函数作为激活函数。
具体地，所述构建空间特征传输串级卷积神经网络模型的步骤中，包括：
拼接层Concat，表示为
Figure BDA00022764175600000513
其中
Figure BDA00022764175600000514
为输入的多光谱训练样本，
Figure BDA00022764175600000515
为输入的全色图像训练样本，
Figure BDA00022764175600000516
表示将两者在光谱维度进行拼接，C(i)表示该层输出的b+1个特征图；
二维卷积层S-Conv1，包含64个感受野为7×7的卷积核，用于执行二维卷积操作：输入品阶层Concat的输出C(i)，输出64个特征图
Figure BDA00022764175600000517
整个过程可以表示为
Figure BDA00022764175600000518
其中
Figure BDA00022764175600000519
和
Figure BDA00022764175600000520
分别表示该层卷积核的权重矩阵和偏置矩阵，选择线性整流函数作为激活函数；
二维卷积层S-Conv2，包含32个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv1的输出
Figure BDA0002276417560000061
输出32个特征图
Figure BDA0002276417560000062
整个过程可以表示为
Figure BDA0002276417560000063
其中
Figure BDA0002276417560000064
和
Figure BDA0002276417560000065
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
二维卷积层S-Conv3，包含8个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv2的输出
Figure BDA0002276417560000066
输出8个特征图
Figure BDA0002276417560000067
整个过程可以表示为
Figure BDA0002276417560000068
其中
Figure BDA0002276417560000069
和
Figure BDA00022764175600000610
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
空间特征传输卷积模块SFTConv Block-64，输入二维卷积层S-Conv1的输出
Figure BDA00022764175600000611
和多光谱训练样本
Figure BDA00022764175600000612
输出64个特征图
Figure BDA00022764175600000613
实现第一级全色锐化过程；
空间特征传输卷积模块SFTConv Block-32，输入二维卷积层S-Conv2的输出
Figure BDA00022764175600000614
和空间特征传输卷积模块SFTConv Block-64的输出
Figure BDA00022764175600000615
输出32个特征图
Figure BDA00022764175600000616
实现第二级全色锐化过程；
空间特征传输卷积模块SFTConv Block-8，输入二维卷积层S-Conv3的输出
Figure BDA00022764175600000617
和空间特征传输卷积模块SFTConv Block-32的输出
Figure BDA00022764175600000618
输出8个特征图
Figure BDA00022764175600000619
实现第三级全色锐化过程；
三维卷积层M-Conv4，包含1个感受野为1×1×1的卷积核，用于执行三维卷积操作，输入空间特征传输卷积模块SFTConv Block-8的输出
Figure BDA00022764175600000620
输出预测图像O(i)，整个过程可以表示为
Figure BDA00022764175600000621
其中
Figure BDA00022764175600000622
和
Figure BDA00022764175600000623
分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
进一步地，所述卷积神经网络模型训练时选用的均方误差损失函数表达式为：
Figure BDA0002276417560000071
其中，θ表示整个空间特征传输串级卷积神经网络的参数集合，Np表示每一次迭代输入的训练样本数，||·||F表示Frobenius范数。
本发明相较于现有技术，具有以下的有益效果：
1、本发明设计了一个空间特征传输卷积模块，该模块采用三维卷积对空间信息和光谱信息同时进行处理，能够得到较好的空间锐化效果和较高的光谱保真度，该模块还通过空间特征传输的方式进一步提高了空间细节的重建效果。
2、本发明通过设计的空间特征传输卷积模块构建了一个空间特征传输串级卷积神经网络，根据逐级锐化的思想，将全色锐化过程分为三个子过程进行处理，有效地降低了每一级的锐化难度，增强了全色锐化效果。
附图说明
图1为多光谱图像全色锐化方法的流程图。
图2为本发明实施例中空间特征传输卷积模块的结构图。
图3为本发明实施例中空间特征传输串级卷积神经网络模型的结构图。
图4为IKONOS多光谱参照图。
图5为采用双三次插值处理后的图像.
图6为采用自适应施密特正交变换法处理后的图像.
图7为采用基于àtrous的小波变换法处理后的图像.
图8为采用本实施例所述方法处理后的图像。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为一种多光谱图像全色锐化方法的流程图，包括步骤：
(1)读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；
在本实施例中，读取原始的多光谱图像
Figure BDA0002276417560000081
以及与其在时空相上配准的全色图像
Figure BDA0002276417560000082
其中b表示光谱通道数，h1和w1分别表示原始多光谱图像的高和宽，h2和w2分别表示全色图像的高和宽，原始多光谱图像和全色图像满足以下关系：
h2＝rh1
w2＝rw1
其中，r表示全色图像与多光谱图像的空间分辨率之比。
在本实施例中，对读取的图像数据进行预处理为：使用具有特定频率响应的滤波器对原始的多光谱图像
Figure BDA0002276417560000083
和全色图像
Figure BDA0002276417560000084
进行平滑滤波，对滤波结果进行下采样，使其空间分辨率降低r倍，得到退化的多光谱图像
Figure BDA0002276417560000085
和全色图像
Figure BDA0002276417560000086
根据多项式插值法对退化的多光谱图像
Figure BDA0002276417560000087
进行尺度为r的上采样，使退化的多光谱图像
Figure BDA0002276417560000088
的空间分辨率恢复为h1×w1，上采样结果标记为
Figure BDA0002276417560000089
(2)从预处理后的图像中划分出不同的区域，按照特定的原则从所述区域中截取出图像块作为训练样本和测试样本；
生成训练样本的具体方法为：选择上采样结果
Figure BDA00022764175600000810
的特定区域和退化的全色图像
Figure BDA0002276417560000091
的对应位置作为训练区域，按照互不重叠的原则，以固定的取样间隔从训练区域中截取出空间尺寸为33×33像素的图像块
Figure BDA0002276417560000092
和
Figure BDA0002276417560000093
随后打乱截取的图像块的顺序，从中随机抽取出一定的比例12800个图像块作为训练样本。
生成测试样本的具体方法为：选择上采样结果
Figure BDA0002276417560000094
中与训练区域不同的另一区域以及退化的全色图像
Figure BDA0002276417560000095
的对应位置作为测试区域，从测试区域中截取三张256×256的子图像作为测试样本。
(3)设计空间特征传输卷积模块SFTConv Block-N；
空间特征传输卷积模块接收待锐化的多光谱图像以及空间特征映射图两个输入，通过三维卷积同时处理空间信息和光谱信息，并以空间特征传输的方式进一步重建空间细节。
如图2所示为空间特征传输卷积模块的结构示意图，包括：
二维卷积层Conv1，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure BDA0002276417560000096
表示为
Figure BDA0002276417560000097
其中W1和B1分别表示该层卷积核的权重矩阵和偏置矩阵，
Figure BDA0002276417560000098
表示激活函数，这里选择线性整流函数，其表达式为
Figure BDA0002276417560000099
二维卷积层Conv2，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv1的输出
Figure BDA00022764175600000910
输出N个特征图
Figure BDA00022764175600000911
表示为
Figure BDA00022764175600000912
其中W2和B2分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
二维卷积层Conv3，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure BDA00022764175600000913
表示为
Figure BDA0002276417560000101
其中W3和B3分别表示该层卷积核的权重矩阵和偏置矩阵，这里同样选择线性整流函数作为激活函数。
二维卷积层Conv4，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv3的输出
Figure BDA0002276417560000102
输出N个特征图
Figure BDA0002276417560000103
表示为
Figure BDA0002276417560000104
其中W4和B4分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
三维卷积层Conv5，包含N个感受野为7×7×3的卷积核，用于执行三维卷积操作：输入待锐化的多光谱图像
Figure BDA0002276417560000105
输出N个特征图
Figure BDA0002276417560000106
表示为
Figure BDA0002276417560000107
其中W5和B5分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
空间特征传输层SFT，该层输入二维卷积层Conv2的输出
Figure BDA0002276417560000108
二维卷积层Conv4的输出
Figure BDA0002276417560000109
以及三维卷积层Conv5的输出
Figure BDA00022764175600001010
输出N个特征图
Figure BDA00022764175600001011
表示为
Figure BDA00022764175600001012
其中⊙和
Figure BDA00022764175600001013
分别表示对应通道逐像素相乘和相加，选择线性整流函数作为激活函数。
(4)构建空间特征传输串级卷积神经网络模型；
空间特征传输串级卷积神经网络模型由三个空间特征传输卷积模块串联而成，激活函数选用线性整流函数。
如图3所示为空间特征传输串级卷积神经网络模型的结构示意图，包括：
拼接层Concat，表示为
Figure BDA00022764175600001014
其中
Figure BDA00022764175600001015
为输入的多光谱训练样本，
Figure BDA00022764175600001016
为输入的全色图像训练样本，
Figure BDA00022764175600001017
表示将两者在光谱维度进行拼接，C(i)表示该层输出的b+1个特征图；
二维卷积层S-Conv1，包含64个感受野为7×7的卷积核，用于执行二维卷积操作：输入品阶层Concat的输出C(i)，输出64个特征图
Figure BDA0002276417560000111
整个过程可以表示为
Figure BDA0002276417560000112
其中
Figure BDA0002276417560000113
和
Figure BDA0002276417560000114
分别表示该层卷积核的权重矩阵和偏置矩阵，选择线性整流函数作为激活函数；
二维卷积层S-Conv2，包含32个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv1的输出
Figure BDA0002276417560000115
输出32个特征图
Figure BDA0002276417560000116
整个过程可以表示为
Figure BDA0002276417560000117
其中
Figure BDA0002276417560000118
和
Figure BDA0002276417560000119
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
二维卷积层S-Conv3，包含8个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv2的输出
Figure BDA00022764175600001110
输出8个特征图
Figure BDA00022764175600001111
整个过程可以表示为
Figure BDA00022764175600001112
其中
Figure BDA00022764175600001113
和
Figure BDA00022764175600001114
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
空间特征传输卷积模块SFTConv Block-64，输入二维卷积层S-Conv1的输出
Figure BDA00022764175600001115
和多光谱训练样本
Figure BDA00022764175600001116
输出64个特征图
Figure BDA00022764175600001117
实现第一级全色锐化过程；
空间特征传输卷积模块SFTConv Block-32，输入二维卷积层S-Conv2的输出
Figure BDA00022764175600001118
和空间特征传输卷积模块SFTConv Block-64的输出
Figure BDA00022764175600001119
输出32个特征图
Figure BDA00022764175600001120
实现第二级全色锐化过程；
空间特征传输卷积模块SFTConv Block-8，输入二维卷积层S-Conv3的输出
Figure BDA00022764175600001121
和空间特征传输卷积模块SFTConv Block-32的输出
Figure BDA00022764175600001122
输出8个特征图
Figure BDA00022764175600001123
实现第三级全色锐化过程；
三维卷积层M-Conv4，包含1个感受野为1×1×1的卷积核，用于执行三维卷积操作，输入空间特征传输卷积模块SFTConv Block-8的输出
Figure BDA00022764175600001124
输出预测图像O(i)，整个过程可以表示为
Figure BDA00022764175600001125
其中
Figure BDA00022764175600001126
和
Figure BDA00022764175600001127
分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
(5)使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重W和偏置B进行随机初始化；
(6)输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；
训练时选用的均方误差损失函数表达式为：
Figure BDA0002276417560000121
其中，θ表示整个空间特征传输串级卷积神经网络的参数集合，Np表示每一次迭代输入的训练样本数，||·||F表示Frobenius范数。
(7)判断损失函数值是否小于设定的阈值：
若损失函数值小于设定的阈值，则其达到最小，得到权重W和偏置B的最优解并进行保存；
否则使用自适应矩估计算法对模型进行迭代优化，更新权重W和偏置B；重复步骤(6)和步骤(7)直至损失函数值小于设定的阈值；
所设定的阈值为经验性的数值，可通过多次训练网络从而人为地进行估计。在本实施例中，阈值经验性地设定为0.0006。
(8)将权重W和偏置B的最优解加载到空间特征传输串级卷积神经网络模型中，输入测试样本，输出高空间分辨率的多光谱图像。
本实施例采用来自IKONOS卫星的多光谱图像和全色图像验证所述方法。所述的多光谱图像具有红、绿、蓝以及近红外四个通道并且空间尺寸为64×64，全色图像的空间尺寸为256×256，两者的分辨率之比为1:4。
图4为IKONOS多光谱参照图，图5为采用双三次插值处理后的图像，图6为采用自适应施密特正交变换法处理后的图像，图7为采用基于àtrous的小波变换法处理后的图像，图8为采用本实施例所述方法处理后的图像。与参考图相比可以餐厨，使用双三次插值处理后的结果锐化效果较差，图像存在严重的空间失真；相比之下，采用自适应施密特正交变换法的结果空间细节重建效果较好，但存在一定程度的光谱失真；与之相反，采用基于àtrous的小波变换法所得到的结果具有较好的光谱保真度，但在部分区域较为模糊；而使用本实施例的方法处理后的图像实现了最好的空间细节重建效果，同时具有最好的光谱保真度，与参考图更为接近。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种多光谱图像全色锐化方法，其特征在于，包括步骤：
读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；
从预处理后的图像中划分出不同的区域并按照特定的原则从所述区域中截取出小的图像块作为训练样本和测试样本；
设计空间特征传输卷积模块；
设计空间特征传输串级卷积神经网络：
使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重和偏置进行随机初始化；
输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；
判断损失函数值是否小于设定的阈值：
若损失函数值小于设定的阈值，则其达到最小，得到权重W和偏置B的最优解并进行保存；
否则使用自适应矩估计算法对模型进行迭代优化，更新权重W和偏置B；重复迭代过程直至损失函数值小于设定的阈值；
将权重和偏置的最优解加载至空间特征传输串级卷积神经网络模型中，输入测试样本进行全色锐化处理；
构建空间特征传输串级卷积神经网络模型的步骤中，包括：
拼接层Concat，表示为
Figure FDA0004043736990000011
其中
Figure FDA0004043736990000012
为输入的多光谱训练样本，
Figure FDA0004043736990000013
为输入的全色图像训练样本，
Figure FDA0004043736990000014
表示将两者在光谱维度进行拼接，C(i)表示该层输出的b+1个特征图；
二维卷积层S-Conv1，包含64个感受野为7×7的卷积核，用于执行二维卷积操作：输入拼接层Concat的输出C(i)，输出64个特征图
Figure FDA0004043736990000015
整个过程可以表示为
Figure FDA0004043736990000016
其中
Figure FDA0004043736990000017
和
Figure FDA0004043736990000018
分别表示该层卷积核的权重矩阵和偏置矩阵，选择线性整流函数作为激活函数；
二维卷积层S-Conv2，包含32个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv1的输出
Figure FDA0004043736990000021
输出32个特征图
Figure FDA0004043736990000022
整个过程可以表示为
Figure FDA0004043736990000023
其中
Figure FDA0004043736990000024
和
Figure FDA0004043736990000025
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
二维卷积层S-Conv3，包含8个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层S-Conv2的输出
Figure FDA0004043736990000026
输出8个特征图
Figure FDA0004043736990000027
整个过程可以表示为
Figure FDA0004043736990000028
其中
Figure FDA0004043736990000029
和
Figure FDA00040437369900000210
分别表示该层卷积核的权重矩阵和偏置矩阵，同样选择线性整流函数作为激活函数；
空间特征传输卷积模块SFTConv Block-64，输入二维卷积层S-Conv1的输出
Figure FDA00040437369900000211
和多光谱训练样本
Figure FDA00040437369900000212
输出64个特征图
Figure FDA00040437369900000213
实现第一级全色锐化过程；
空间特征传输卷积模块SFTConv Block-32，输入二维卷积层S-Conv2的输出
Figure FDA00040437369900000214
和空间特征传输卷积模块SFTConv Block-64的输出
Figure FDA00040437369900000215
输出32个特征图
Figure FDA00040437369900000216
实现第二级全色锐化过程；
空间特征传输卷积模块SFTConv Block-8，输入二维卷积层S-Conv3的输出
Figure FDA00040437369900000217
和空间特征传输卷积模块SFTConv Block-32的输出
Figure FDA00040437369900000218
输出8个特征图
Figure FDA00040437369900000219
实现第三级全色锐化过程；
三维卷积层M-Conv4，包含1个感受野为1×1×1的卷积核，用于执行三维卷积操作，输入空间特征传输卷积模块SFTConv Block-8的输出
Figure FDA00040437369900000220
输出预测图像O(i)，整个过程可以表示为
Figure FDA00040437369900000221
其中
Figure FDA00040437369900000222
和
Figure FDA00040437369900000223
分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数。
2.根据权利要求1所述的全色锐化方法，其特征在于，所述读取原始的多光谱图像和全色图像的步骤中，读取的原始的多光谱图像和全色图像满足以下关系：
h2＝rh1
w2＝rw1
其中，r表示全色图像与多光谱图像的空间分辨率之比，1和w1分别表示原始多光谱图像的高和宽，h2和w2分别表示全色图像的高和宽。
3.根据权利要求2所述的全色锐化方法，其特征在于，对读取的图像数据进行预处理为：使用具有特定频率响应的滤波器对原始的多光谱图像和全色图像进行平滑滤波，对滤波结果进行下采样，使其空间分辨率降低r倍，得到退化的多光谱图像和全色图像，再根据多项式插值法对退化的多光谱图像进行尺度为r的上采样，恢复其空间分辨率。
4.根据权利要求1所述的全色锐化方法，其特征在于，获取训练样本和测试样本的步骤中，选择上采样处理后的多光谱图像的特定区域和退化的全色图像的对应位置作为训练区域，按照互不重叠的原则，以固定的取样间隔从训练区域中截取出图像块，随后打乱所截取的图像块的顺序，从中随机抽取出一定的比例作为训练样本；
选择上采样处理后的多光谱图像中与训练区域不同的另一区域，以及退化的全色图像的对应位置作为测试区域，从测试区域中截取子图像作为测试样本。
5.根据权利要求1所述的全色锐化方法，其特征在于，所述设计空间特征传输卷积模块结构的步骤中，包括：
二维卷积层Conv1，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure FDA0004043736990000031
表示为
Figure FDA0004043736990000032
其中W1和B1分别表示该层卷积核的权重矩阵和偏置矩阵，
Figure FDA0004043736990000033
表示激活函数，这里选择线性整流函数，其表达式为
Figure FDA0004043736990000034
二维卷积层Conv2，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv1的输出
Figure FDA0004043736990000035
输出N个特征图
Figure FDA0004043736990000036
表示为
Figure FDA0004043736990000037
其中W2和B2分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数；
二维卷积层Conv3，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入空间特征映射图S(i)，输出N个特征图
Figure FDA0004043736990000041
表示为
Figure FDA0004043736990000042
其中W3和B3分别表示该层卷积核的权重矩阵和偏置矩阵，这里同样选择线性整流函数作为激活函数；
二维卷积层Conv4，包含N个感受野为7×7的卷积核，用于执行二维卷积操作：输入二维卷积层Conv3的输出
Figure FDA0004043736990000043
输出N个特征图
Figure FDA0004043736990000044
表示为
Figure FDA0004043736990000045
其中W4和B4分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数；
三维卷积层Conv5，包含N个感受野为7×7×3的卷积核，用于执行三维卷积操作：输入待锐化的多光谱图像
Figure FDA0004043736990000046
输出N个特征图
Figure FDA0004043736990000047
表示为
Figure FDA0004043736990000048
其中W5和B5分别表示该层卷积核的权重矩阵和偏置矩阵，该层不使用激活函数；
空间特征传输层SFT，该层输入二维卷积层Conv2的输出
Figure FDA0004043736990000049
二维卷积层Conv4的输出
Figure FDA00040437369900000410
以及三维卷积层Conv5的输出
Figure FDA00040437369900000411
输出N个特征图
Figure FDA00040437369900000412
表示为
Figure FDA00040437369900000413
其中⊙和
Figure FDA00040437369900000414
分别表示对应通道逐像素相乘和相加，选择线性整流函数作为激活函数。
6.根据权利要求1所述的全色锐化方法，其特征在于，所述卷积神经网络模型训练时选用的均方误差损失函数表达式为：
Figure FDA00040437369900000415
其中，θ表示整个空间特征传输串级卷积神经网络的参数集合，Np表示每一次迭代输入的训练样本数，||·||F表示Frobenius范数。
CN201911124585.7A 2019-11-18 2019-11-18 一种多光谱图像全色锐化方法 Active CN111008936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911124585.7A CN111008936B (zh) 2019-11-18 2019-11-18 一种多光谱图像全色锐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911124585.7A CN111008936B (zh) 2019-11-18 2019-11-18 一种多光谱图像全色锐化方法

Publications (2)

Publication Number Publication Date
CN111008936A CN111008936A (zh) 2020-04-14
CN111008936B true CN111008936B (zh) 2023-03-31

Family

ID=70112817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911124585.7A Active CN111008936B (zh) 2019-11-18 2019-11-18 一种多光谱图像全色锐化方法

Country Status (1)

Country Link
CN (1) CN111008936B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680781B (zh) * 2020-04-20 2023-07-25 北京迈格威科技有限公司 神经网络处理方法、装置、电子设备及存储介质
EP3944184A1 (en) * 2020-07-20 2022-01-26 Leica Geosystems AG Dark image enhancement
CN112528914B (zh) * 2020-12-19 2022-04-22 东南数字经济发展研究院 一种细节信息逐步融入的卫星影像全色增强方法
CN114638762B (zh) * 2022-03-24 2024-05-24 华南理工大学 一种可模块化的高光谱图像场景自适应全色锐化方法
CN114638761B (zh) * 2022-03-24 2024-07-09 华南理工大学 一种高光谱图像全色锐化方法、设备及介质
CN114972094A (zh) * 2022-05-30 2022-08-30 南京航空航天大学 一种基于全尺度回归的高通调制全色锐化方法及装置
CN117078563B (zh) * 2023-10-16 2024-02-02 武汉大学 启明星一号卫星高光谱图像全色锐化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003239A (zh) * 2018-07-04 2018-12-14 华南理工大学 一种基于迁移学习神经网络的多光谱图像锐化方法
CN109102469A (zh) * 2018-07-04 2018-12-28 华南理工大学 一种基于卷积神经网络的遥感图像全色锐化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003239A (zh) * 2018-07-04 2018-12-14 华南理工大学 一种基于迁移学习神经网络的多光谱图像锐化方法
CN109102469A (zh) * 2018-07-04 2018-12-28 华南理工大学 一种基于卷积神经网络的遥感图像全色锐化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HyperPNN: Hyperspectral Pansharpening via Spectrally Predictive Convolutional Neural Networks;Lin He et al.;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 》;第12卷(第8期);第1-2页 *

Also Published As

Publication number Publication date
CN111008936A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111008936B (zh) 一种多光谱图像全色锐化方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
EP3644270A1 (en) Image processing device, imaging device, image processing method, program, and storage medium
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN106920214B (zh) 空间目标图像超分辨率重建方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN115564692B (zh) 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN115861083B (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
Tang et al. Deep residual networks with a fully connected reconstruction layer for single image super-resolution
CN114529482A (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN114612297A (zh) 高光谱图像超分辨率重建方法及装置
CN117541475A (zh) 一种图像超分辨率方法、装置、系统及介质
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
Bratsolis et al. Comparison of optimized mathematical methods in the improvement of raster data and map display resolution of Sentinel-2 images
CN116228577A (zh) 一种基于互补融合网络的全色锐化方法
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
Xiao et al. Pixel-level image fusion
CN115994855A (zh) 可获得超分辨率融合图像的全色锐化方法
Yehia et al. An improved integrated intensity-hue-saturation with stationary wavelet transform multi-sensor image fusion approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant