CN115147279A - 基于选择性通道处理机制的轻量级遥感图像超分辨率方法 - Google Patents

基于选择性通道处理机制的轻量级遥感图像超分辨率方法 Download PDF

Info

Publication number
CN115147279A
CN115147279A CN202210784242.9A CN202210784242A CN115147279A CN 115147279 A CN115147279 A CN 115147279A CN 202210784242 A CN202210784242 A CN 202210784242A CN 115147279 A CN115147279 A CN 115147279A
Authority
CN
China
Prior art keywords
convolutional layer
column
channel selection
selection matrix
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210784242.9A
Other languages
English (en)
Other versions
CN115147279B (zh
Inventor
谢超
朱泓宇
鄢小安
汤浩
刘�英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202210784242.9A priority Critical patent/CN115147279B/zh
Publication of CN115147279A publication Critical patent/CN115147279A/zh
Application granted granted Critical
Publication of CN115147279B publication Critical patent/CN115147279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于选择性通道处理机制的轻量级遥感图像超分辨率方法，涉及遥感图像的处理，尤其是遥感图像的增强或复原，包括：对已有的样本图像变换操作并降采样，得到对应的高分辨率图像与低分辨率图像的训练集；初始化基于选择性通道处理机制的卷积神经网络，该网络将低分辨率遥感图像作为输入，并输出高分辨率遥感图像；在训练集上采用梯度下降法和反向传播算法，对构建的卷积神经网络进行迭代训练，得到参数优化后的卷积神经网络；利用参数优化后的神经网络模型，将低分辨率遥感图像作为输入，得到高分辨率遥感图像。相较于之前的方法，本发明参数量更少，模型运算效率更高，同时，可以得到高频部分更加清晰的、质量更高的超分辨率遥感图像。

Description

基于选择性通道处理机制的轻量级遥感图像超分辨率方法
技术领域
本发明属于遥感图像处理的技术领域，具体是一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法。
背景技术
遥感图像现在广泛运用于资源勘探、农林、军事、地理等各种领域当中，高分辨率图像对于信息的获取具有十分重要的意义。然而，遥感图像由于其在采集过程中，难免会受到遥感设备自身硬件配置的限制，和传输过程中存在的降质等因素的影响，难以获得高分辨率的遥感图像。因此，对低分辨率的遥感图像采用算法实现分辨率的提升，即超分辨率，具有十分重要的意义。
图像超分辨率重建技术由哈里斯等人在20世纪60年代首次提出。传统的超分辨率方法主要包括基于插值的方法、基于重建的方法和基于学习的方法。其中，基于插值的方法计算复杂度最低，广泛应用于对图像质量要求较低的场合；基于重建的方法通常包括建模部分和重建部分，其中较为著名的方法包括迭代反投影方法和最大后验概率估计方法。2014年，董超等人首次提出了一种基于深度学习的超分辨率重建方法。与以往基于其他技术的方法相比，该方法有了很大的改进。此后，学者们不断对基于深度学习的超分辨率方法进行改进和优化。
然而，由于先前大量的方法具有模型体积大，计算量大等特点，难以部署于手机和其他边缘设备，难以用于实际的工业界环境中。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法，本基于选择性通道处理机制的轻量级遥感图像超分辨率方法可以实现对低分辨率遥感图像进行超分辨率重建，提升了图像的分辨率，进而增强图像的显示效果，与此同时没有较大的模型体积和计算量，可以运用于实际的工业界环境当中。
为实现上述技术目的，本发明采取的技术方案为：
一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法，包含以下步骤：
(1)、构建训练集：
对已有遥感样本图像进行变换操作进而增加样本的容量与多样性，并对变换操作后得到的多张遥感样本图像进行降采样从而缩小图像尺寸，得到高分辨率遥感图像
Figure BDA0003731294480000011
以及对应的低分辨率遥感图像
Figure BDA0003731294480000021
并以此构建多组训练集
Figure BDA0003731294480000022
其中N代表训练集的样本数量；
(2)、初始化基于选择性通道处理机制的卷积神经网络：
(2.1)、采用模块一对输入的低分辨率遥感图像进行通道数量的提升，即，由原始的红、绿、蓝三通道图像扩充为一个具有64个通道的特征图；假设模块一表示为B1，输入的低分辨率遥感图像表示为ILR，输出特征图表示为F1，则所述模块一的处理过程表示为：
F1＝B1(ILR)；
其中模块一包括一个卷积层；模块一用于对输入的低分辨率图像ILR进行卷积运算与通道扩充，使其产生64通道的特征图F1；
(2.2)、采用模块二对模块一所输出的特征图F1进行深度处理，假设模块二表示为B2，输入的特征图表示为F1，输出的特征图表示为F2，则模块二的处理过程表示为：
F2＝B2(F1)+F1；
其中模块二包含六个选择性通道处理模块、一个特征图拼接层、两个卷积层和一个ReLU激活层；模块二用于对输入的特征图F1进行深度处理；
(2.3)、采用模块三对模块二所输出的特征图F2进行上采样操作，生成高分辨率图像并输出；假设模块三表示为B3，输入的特征图表示为F2，输出的高分辨率图像表示为ISR；则模块三的处理过程表示为：
ISR＝B3(F2)；
其中模块三包括上采样模块，上采样模块包括一个卷积层和一个亚像素卷积层；
(3)、利用步骤(1)中构建的训练集
Figure BDA0003731294480000023
对步骤(2)中所初始化的基于选择性通道处理机制的卷积神经网络模型进行训练；
(4)、利用步骤(3)中训练好的模型，对低分辨率遥感图像进行重建：
首先，将低分辨率的遥感图像作为训练好的模型的输入，经过模型内参数的计算，得到高分辨率的遥感图像作为结果，并恢复低分辨率图像所丢失的高频信息。
作为本发明进一步改进的技术方案，所述选择性通道处理模块从前至后依次包括3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、相加层、差异化注意力模块和1×1卷积层；每个选择性通道处理模块还包括三个通道选择矩阵，三个通道选择矩阵分别对应选择性通道处理模块中的前三个3×3卷积层，每个通道选择矩阵均有2列，每列有64行。
作为本发明进一步改进的技术方案，所述步骤(3)中，即模型训练过程中，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
(a)、使用Gumbel Softmax函数，对每个通道选择矩阵进行运算处理，表达式为：
Figure BDA0003731294480000031
其中τ代表温度系数，c代表行序号，i和j均代表列序号，exp代表指数函数，CSM代表通道选择矩阵，G表示Gumbel噪声向量；
(b)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层；
(c)、将H1与第一个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第二个3×3卷积层和ReLU激活层；记为：
H2＝ReLU(Conv2(M1，1⊙H1))；
其中⊙表示元素对应位置相乘；M1，1表示第一个3×3卷积层对应的通道选择矩阵的第一列；Conv2表示第二个3×3卷积层；
(d)、将H2与第二个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第三个3×3卷积层和ReLU激活层；记为：
H3＝ReLU(Conv3(M2，1⊙H2))；
其中M2，1表示第二个3×3卷积层对应的通道选择矩阵的第一列；Conv3表示第三个3×3卷积层；
(e)、将H3与第三个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第四个3×3卷积层和ReLU激活层；记为：
H4＝ReLU(Conv4(M3，1⊙H3))；
其中M3，1表示第三个3×3卷积层对应的通道选择矩阵的第一列；Conv4表示第四个3×3卷积层；
(f)、将H1乘以第一个3×3卷积层对应的通道选择矩阵的第二列、H2乘以第二个3×3卷积层对应的通道选择矩阵的第二列以及H3乘以第三个3×3卷积层对应的通道选择矩阵的第二列的结果相加后再与H4相加，然后输入差异化注意力模块，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(M1，2⊙H1+M2，2⊙H2+M3，2⊙H3+H4))+Fin；
其中DCA表示差异化注意力模块；Conv1×1表示1×1卷积层；M1，2表示第一个3×3卷积层对应的通道选择矩阵的第二列；M2，2表示第二个3×3卷积层对应的通道选择矩阵的第二列；M3，2表示第三个3×3卷积层对应的通道选择矩阵的第二列。
作为本发明进一步改进的技术方案，所述步骤(3)中，即模型训练过程中，通道选择矩阵采用高斯分布进行初始化，τ以以下公式进行更新：
Figure BDA0003731294480000041
其中max表示两者取较大值，t表示训练阶段的数量；训练过程采用L1损失函数，使用梯度下降法对模型参数进行迭代；其优化器采用Adam，与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；其初始学习率设为0.0001，每400个训练阶段学习率衰减为之前的50％。
作为本发明进一步改进的技术方案，所述步骤(4)中，即模型推理过程中，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
(a)、将通道选择矩阵的所有的行进行二值化；具体地，对于通道选择矩阵第c行的两个元素M[c，1]和M[c，2]，将两者较大的设为1，而较小的设为0；
(b)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层；
(c)、取第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H2＝ReLU(Conv2d(H1[M1，1(1)]，w2[M1，1(1)]))；
其中Conv2d表示二维卷积层；[M1，1(1)]表示第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H1[M1，1(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w2[M1，1(1)]表示第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w2表示第二个3×3卷积层的卷积核权重；
(d)、取第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H3＝ReLU(Conv2d(H2[M2，1(1)]，w3[M2，1(1)]))；
其中[M2，1(1)]表示第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H2[M2，1(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w3[M2，1(1)]表示第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w3表示第三个3×3卷积层的卷积核权重；
(e)、取第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H4＝ReLU(Conv2d(H3[M3，1(1)]，w4[M3，1(1)]))；
其中[M3，1(1)]表示第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H3[M3，1(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w4[M3，1(1)]表示第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w4表示第四个3×3卷积层的卷积核权重；
(f)、取H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、H3中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道和H4进行相加操作，然后输入差异化注意力模块，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(H1[M1，2(1)]+H2[M2，2(1)]+H3[M3，2(1)]+H4))+Fin；
其中Conv1×1表示1×1卷积层；DCA表示差异化注意力模块；[M1，2(1)]表示第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H1[M1，2(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M2，2(1)]表示第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H2[M2，2(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M3，2(1)]表示第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H3[M3，2(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道。
本发明的有益效果为：
本发明具有轻量化的效果，模型参数量不超过1M，与此同时，可以在提升遥感图像分辨率的同时，恢复低分辨率图像所丢失的高频细节部分，使得地面的房屋、车辆、河流、森林等物体可以被更加清晰地观察。选择性通道处理机制，可以极大程度地避免多余的计算，提升算法的效率，并减小模型的参数量。
附图说明
图1为一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法整体设计流程图。
图2为选择性通道处理模块在训练过程中的设计流程图。
图3为选择性通道处理模块在推理过程中的设计流程图。
具体实施方式
下面结合说明书附图和实施例，清楚、完整地描述本发明方法的详细过程。
一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法，包含以下步骤：
步骤(1)、构建训练集：
对已有遥感样本图像进行变换操作进而增加样本的容量与多样性，并对变换操作后得到的多张遥感样本图像进行降采样从而缩小图像尺寸，得到高分辨率遥感图像
Figure BDA0003731294480000064
以及对应的低分辨率遥感图像
Figure BDA0003731294480000062
并以此构建多组训练集
Figure BDA0003731294480000063
其中N代表训练集的样本数量；
其中变换操作主要是从已有遥感样本图像中随机抽取图像，进行旋转90°和/或180°翻转，实现数据增强，进而增加样本的容量与多样性。降采样主要是使用双三次降采样方法对已有遥感样本图像进行降采样，从而缩小图像的尺寸。
步骤(2)、初始化基于选择性通道处理机制的卷积神经网络，如图1所示，具体包括：
步骤(2.1)、采用模块一对输入的低分辨率遥感图像进行通道数量的提升，即，由原始的红、绿、蓝三通道图像扩充为一个具有64个通道的特征图。假设模块一表示为B1，输入的低分辨率遥感图像表示为ILR，输出特征图表示为F1，则模块一的处理过程可以表示为：
F1＝B1(ILR)；
其中模块一包括一个卷积层；模块一用于对输入的低分辨率图像ILR进行卷积运算与通道扩充，使其产生64通道的特征图F1。
步骤(2.2)、采用模块二对模块一所输出的特征图F1进行深度处理，假设模块二表示为B2，输入的特征图表示为F1，输出的特征图表示为F2，则模块二的处理过程可以表示为：
F2＝B2(F1)+F1；
其中模块二用于对输入的特征图F1进行深度处理；其包含六个选择性通道处理模块、一个特征图拼接层、两个卷积层和一个ReLU激活层。
步骤(2.3)、采用模块三对模块二所输出的特征图F2进行上采样操作，生成高分辨率图像并输出；假设模块三表示为B3，输入的特征图表示为F2，输出的高分辨率图像表示为ISR；则模块三的处理过程可以表示为：
ISR＝B3(F2)；
其中模块三包括上采样模块，上采样模块包括一个卷积层和一个亚像素卷积层。
步骤(3)、利用步骤(1)中构建的训练集
Figure BDA0003731294480000071
对步骤(2)中所初始化的基于选择性通道处理机制的卷积神经网络模型进行训练。
其中选择性通道处理模块从前至后依次包括3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、相加层、差异化注意力模块和1×1卷积层；每个选择性通道处理模块还包括三个通道选择矩阵，三个通道选择矩阵分别对应选择性通道处理模块中的前三个3×3卷积层，每个通道选择矩阵均有2列，每列有64行。
步骤(3)中，即模型训练过程中，如图2所示，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
步骤(3.1)、使用Gumbel Softmax函数，对每个通道选择矩阵进行运算处理，表达式为：
Figure BDA0003731294480000072
其中τ代表温度系数，c代表行序号，i和j均代表列序号，exp代表指数函数，CSM代表通道选择矩阵，G表示Gumbel噪声向量，M代表通道选择矩阵。
步骤(3.2)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层。
步骤(3.3)、将H1与第一个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第二个3×3卷积层和ReLU激活层；记为：
H2＝ReLU(Conv2(M1，1⊙H1))；
其中⊙表示元素对应位置相乘；M1，1表示第一个3×3卷积层对应的通道选择矩阵的第一列；Conv2表示第二个3×3卷积层。
步骤(3.4)、将H2与第二个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第三个3×3卷积层和ReLU激活层；记为：
H3＝ReLU(Conv3(M2，1⊙H2))；
其中M2，1表示第二个3×3卷积层对应的通道选择矩阵的第一列；Conv3表示第三个3×3卷积层。
步骤(3.5)、将H3与第三个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第四个3×3卷积层和ReLU激活层；记为：
H4＝ReLU(Conv4(M3，1⊙H3))；
其中M3，1表示第三个3×3卷积层对应的通道选择矩阵的第一列；Conv4表示第四个3×3卷积层。
步骤(3.6)、将H1乘以第一个3×3卷积层对应的通道选择矩阵的第二列、H2乘以第二个3×3卷积层对应的通道选择矩阵的第二列以及H3乘以第三个3×3卷积层对应的通道选择矩阵的第二列的结果相加后再与H4相加，然后输入差异化注意力模块(DCA)，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(M1，2⊙H1+M2，2⊙H2+M3，2⊙H3+H4))+Fin；
其中DCA表示差异化注意力模块；Conv1×1表示1×1卷积层；M1，2表示第一个3×3卷积层对应的通道选择矩阵的第二列；M2，2表示第二个3×3卷积层对应的通道选择矩阵的第二列；M3，2表示第三个3×3卷积层对应的通道选择矩阵的第二列。
步骤(3)中，即模型训练过程中，通道选择矩阵采用高斯分布进行初始化，τ以以下公式进行更新：
Figure BDA0003731294480000081
其中max表示两者取较大值，t表示训练阶段的数量；训练过程采用L1损失函数，使用梯度下降法对模型参数进行迭代；其优化器采用Adam，与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；其初始学习率设为0.0001，每400个训练阶段学习率衰减为之前的50％。
步骤(4)、利用步骤(3)中训练好的模型，对低分辨率遥感图像进行重建。
首先，将低分辨率的遥感图像作为训练好的模型的输入，经过模型内参数的计算，得到高分辨率的遥感图像作为结果，并恢复低分辨率图像所丢失的高频信息。
在推理过程中，如图3所示，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
步骤(4.1)、将通道选择矩阵的所有的行进行二值化；具体地，对于通道选择矩阵第c行的两个元素M[c，1]和M[c，2]，将两者较大的设为1，而较小的设为0。
步骤(4.2)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层。
步骤(4.3)、取第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H2＝ReLU(Conv2d(H1[M1，1(1)]，w2[M1，1(1)]))；
其中Conv2d表示二维卷积层；[M1，1(1)]表示第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H1[M1，1(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w2[M1，1(1)]表示第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w2表示第二个3×3卷积层的卷积核权重。
步骤(4.4)、取第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H3＝ReLU(Conv2d(H2[M2，1(1)]，w3[M2，1(1)]))；
其中[M2，1(1)]表示第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H2[M2，1(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w3[M2，1(1)]表示第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w3表示第三个3×3卷积层的卷积核权重。
步骤(4.5)、取第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H4＝ReLU(Conv2d(H3[M3，1(1)]，w4[M3，1(1)]))；
其中[M3，1(1)]表示第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H3[M3，1(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w4[M3，1(1)]表示第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w4表示第四个3×3卷积层的卷积核权重。
步骤(4.6)、取H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、Hx中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道和H4进行相加操作，然后输入差异化注意力模块，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(H1[M1，2(1)]+H2[M2，2(1)]+H3[M3，2(1)]+H4))+Fin；
其中Conv1×1表示1×1卷积层；DCA表示差异化注意力模块；|M1，2(1)]表示第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H1[M1，2(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M2，2(1)]表示第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H2[M2，2(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M3，2(1)]表示第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H3[M3，2(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道。
本实施例中的神经网络、深度学习、梯度下降法、Adam优化器均为本领域的专用术语，为现有技术且不是本发明的主要改进点，故不再赘述。
本实施例通过搭建一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法，实现了遥感图像超分辨率重建，使得生成的遥感图像在分辨率、尺寸增加的同时，保持了基本的纹理、形状等细节要素，同时模型具有较小的参数量与计算量，适用于实际的工业界场景中。本实施例采用基于选择性通道处理机制的轻量级遥感图像超分辨率方法，可以选择性地处理对重建结果较为重要的通道，从而避免了多余的计算量，保证了模型的高效性。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (5)

1.一种基于选择性通道处理机制的轻量级遥感图像超分辨率方法，其特征在于：包含以下步骤：
(1)、构建训练集：
对已有遥感样本图像进行变换操作进而增加样本的容量与多样性，并对变换操作后得到的多张遥感样本图像进行降采样从而缩小图像尺寸，得到高分辨率遥感图像
Figure FDA0003731294470000011
以及对应的低分辨率遥感图像
Figure FDA0003731294470000012
并以此构建多组训练集
Figure FDA0003731294470000013
其中N代表训练集的样本数量；
(2)、初始化基于选择性通道处理机制的卷积神经网络：
(2.1)、采用模块一对输入的低分辨率遥感图像进行通道数量的提升，即，由原始的红、绿、蓝三通道图像扩充为一个具有64个通道的特征图；假设模块一表示为B1，输入的低分辨率遥感图像表示为ILR，输出特征图表示为F1，则所述模块一的处理过程表示为：
F1＝B1(ILR)；
其中模块一包括一个卷积层；
(2.2)、采用模块二对模块一所输出的特征图F1进行深度处理，假设模块二表示为B2，输入的特征图表示为F1，输出的特征图表示为F2，则模块二的处理过程表示为：
F2＝B2(F1)+F1；
其中模块二包含六个选择性通道处理模块、一个特征图拼接层、两个卷积层和一个ReLU激活层；
(2.3)、采用模块三对模块二所输出的特征图F2进行上采样操作，生成高分辨率图像并输出；假设模块三表示为B3，输入的特征图表示为F2，输出的高分辨率图像表示为ISR；则模块三的处理过程表示为：
ISR＝B3(F2)；
其中模块三包括上采样模块，上采样模块包括一个卷积层和一个亚像素卷积层；
(3)、利用步骤(1)中构建的训练集
Figure FDA0003731294470000014
对步骤(2)中所初始化的基于选择性通道处理机制的卷积神经网络模型进行训练；
(4)、利用步骤(3)中训练好的模型，对低分辨率遥感图像进行重建。
2.根据权利要求1所述的基于选择性通道处理机制的轻量级遥感图像超分辨率方法，其特征在于：所述选择性通道处理模块从前至后依次包括3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、3×3卷积层、ReLU激活层、相加层、差异化注意力模块和1×1卷积层；每个选择性通道处理模块还包括三个通道选择矩阵，三个通道选择矩阵分别对应选择性通道处理模块中的前三个3×3卷积层，每个通道选择矩阵均有2列，每列有64行。
3.根据权利要求2所述的基于选择性通道处理机制的轻量级遥感图像超分辨率方法，其特征在于：
所述步骤(3)中，即模型训练过程中，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
(a)、使用Gumbel Softmax函数，对每个通道选择矩阵进行运算处理，表达式为：
Figure FDA0003731294470000021
其中τ代表温度系数，c代表行序号，i和j均代表列序号，exp代表指数函数，CSM代表通道选择矩阵，G表示Gumbel噪声向量；
(b)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层；
(c)、将H1与第一个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第二个3×3卷积层和ReLU激活层；记为：
H2＝ReLU(Conv2(M1，1⊙H1))；
其中⊙表示元素对应位置相乘；M1，1表示第一个3×3卷积层对应的通道选择矩阵的第一列；Conv2表示第二个3×3卷积层；
(d)、将H2与第二个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第三个3×3卷积层和ReLU激活层；记为：
H3＝ReLU(Conv3(M2，1⊙H2))；
其中M2，1表示第二个3×3卷积层对应的通道选择矩阵的第一列；Conv3表示第三个3×3卷积层；
(e)、将H3与第三个3×3卷积层对应的通道选择矩阵的第一列相乘后，输入第四个3×3卷积层和ReLU激活层；记为：
H4＝ReLU(Conv4(M3，1⊙H3))；
其中M3，1表示第三个3×3卷积层对应的通道选择矩阵的第一列；Conv4表示第四个3×3卷积层；
(f)、将H1乘以第一个3×3卷积层对应的通道选择矩阵的第二列、H2乘以第二个3×3卷积层对应的通道选择矩阵的第二列以及H3乘以第三个3×3卷积层对应的通道选择矩阵的第二列的结果相加后再与H4相加，然后输入差异化注意力模块，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(M1，2⊙H1+M2，2⊙H2+M3，2⊙H3+H4))+Fin；
其中DCA表示差异化注意力模块；Conv1×1表示1×1卷积层；M1，2表示第一个3×3卷积层对应的通道选择矩阵的第二列；M2，2表示第二个3×3卷积层对应的通道选择矩阵的第二列；M3，2表示第三个3×3卷积层对应的通道选择矩阵的第二列。
4.根据权利要求3所述的基于选择性通道处理机制的轻量级遥感图像超分辨率方法，其特征在于：
所述步骤(3)中，即模型训练过程中，通道选择矩阵采用高斯分布进行初始化，τ以以下公式进行更新：
Figure FDA0003731294470000031
其中max表示两者取较大值，t表示训练阶段的数量；训练过程采用L1损失函数，使用梯度下降法对模型参数进行迭代；优化器采用Adam，与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β1设置为0.9，二阶矩估计的指数衰减率β2设置为0.999，保持数值稳定性的短浮点类型值ε设置为10-8；初始学习率设为0.0001，每400个训练阶段学习率衰减为之前的50％。
5.根据权利要求2所述的基于选择性通道处理机制的轻量级遥感图像超分辨率方法，其特征在于：
所述步骤(4)中，即模型推理过程中，假设选择性通道处理模块的输入为Fin，输出为Fout，则选择性通道处理模块的处理过程具体包括：
(a)、将通道选择矩阵的所有的行进行二值化；
(b)、将Fin输入选择性通道处理模块的第一个3×3卷积层和ReLU激活层；记为：
H1＝ReLU(Conv1(Fin))；
其中ReLU表示ReLU激活层，Conv1表示第一个3×3卷积层；
(c)、取第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H2＝ReLU(Conv2d(H1[M1，1(1)]，w2[M1，1(1)]))；
其中Conv2d表示二维卷积层；[M1，1(1)]表示第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H1[M1，1(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w2[M1，1(1)]表示第二个3×3卷积层中，与第一个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w2表示第二个3×3卷积层的卷积核权重；
(d)、取第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H3＝ReLU(Conv2d(H2[M2，1(1)]，w3[M2，1(1)]))；
其中[M2，1(1)]表示第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H2[M2，1(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w3[M2，1(1)]表示第三个3×3卷积层中，与第二个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w3表示第三个3×3卷积层的卷积核权重；
(e)、取第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核，与H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道，进行卷积与激活操作；记为：
H4＝ReLU(Conv2d(H3[M3，1(1)]，w4[M3，1(1)]))；
其中[M3，1(1)]表示第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置；H3[M3，1(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道；w4[M3，1(1)]表示第四个3×3卷积层中，与第三个3×3卷积层对应的通道选择矩阵中第一列为1的位置所指示的通道所对应的卷积核；w4表示第四个3×3卷积层的卷积核权重；
(f)、取H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道、H3中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道和H4进行相加操作，然后输入差异化注意力模块，再经过1×1卷积层的运算后，与输入Fin相加；记为：
Fout＝Conv1×1(DCA(H1[M1，2(1)]+H2[M2，2(1)]+H3[M3，2(1)]+H4))+Fin；
其中Conv1×1表示1×1卷积层；DCA表示差异化注意力模块；[M1，2(1)]表示第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H1[M1，2(1)]表示H1中被第一个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M2，2(1)]表示第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H2|M2，2(1)]表示H2中被第二个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道；[M3，2(1)]表示第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置；H3|M3，2(1)]表示H3中被第三个3×3卷积层对应的通道选择矩阵中第二列为1的位置所指示的通道。
CN202210784242.9A 2022-07-05 2022-07-05 基于选择性通道处理机制的轻量级遥感图像超分辨率方法 Active CN115147279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210784242.9A CN115147279B (zh) 2022-07-05 2022-07-05 基于选择性通道处理机制的轻量级遥感图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210784242.9A CN115147279B (zh) 2022-07-05 2022-07-05 基于选择性通道处理机制的轻量级遥感图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN115147279A true CN115147279A (zh) 2022-10-04
CN115147279B CN115147279B (zh) 2023-04-07

Family

ID=83409971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210784242.9A Active CN115147279B (zh) 2022-07-05 2022-07-05 基于选择性通道处理机制的轻量级遥感图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN115147279B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342572A1 (en) * 2018-04-02 2020-10-29 Tencent Technology (Shenzhen) Company Limited Image related processing method and apparatus, device and storage medium
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法
CN114037893A (zh) * 2021-10-29 2022-02-11 浙江工业大学 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342572A1 (en) * 2018-04-02 2020-10-29 Tencent Technology (Shenzhen) Company Limited Image related processing method and apparatus, device and storage medium
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法
CN114037893A (zh) * 2021-10-29 2022-02-11 浙江工业大学 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柏宇阳;朱福珍;: "改进的残差卷积神经网络遥感图像超分辨重建" *

Also Published As

Publication number Publication date
CN115147279B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN111652804B (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN113902658B (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN112884650B (zh) 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN115222614A (zh) 一种先验引导的多降质特征夜光遥感影像质量提升方法
CN113421187A (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN113888491A (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
Yang et al. MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution
CN113627487B (zh) 一种基于深层注意力机制的超分辨率重建方法
Dong et al. Remote sensing image super-resolution via enhanced back-projection networks
CN115147279B (zh) 基于选择性通道处理机制的轻量级遥感图像超分辨率方法
CN113538231B (zh) 一种基于像素分布估计的单张图像超分辨重建系统及方法
CN115861062A (zh) 多尺度学习小波注意力机制网络及图像超分辨率重建方法
CN114140317A (zh) 一种基于级联生成对抗网络的图像动漫化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant