CN113902650A - 基于平行深度学习网络架构的遥感影像锐化方法 - Google Patents

基于平行深度学习网络架构的遥感影像锐化方法 Download PDF

Info

Publication number
CN113902650A
CN113902650A CN202111481416.6A CN202111481416A CN113902650A CN 113902650 A CN113902650 A CN 113902650A CN 202111481416 A CN202111481416 A CN 202111481416A CN 113902650 A CN113902650 A CN 113902650A
Authority
CN
China
Prior art keywords
image
network
remote sensing
multispectral
sharpening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111481416.6A
Other languages
English (en)
Other versions
CN113902650B (zh
Inventor
李林泽
唐攀攀
赵伶俐
赵鹏程
赵博
杨欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202111481416.6A priority Critical patent/CN113902650B/zh
Publication of CN113902650A publication Critical patent/CN113902650A/zh
Application granted granted Critical
Publication of CN113902650B publication Critical patent/CN113902650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空‑光谱之间的定量关系；S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征；S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本发明适用于多种遥感影像传感器，同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度，解决遥感影像快速、准确生产出锐化产品的问题。

Description

基于平行深度学习网络架构的遥感影像锐化方法
技术领域
本发明属于图像超分辨率/锐化处理技术领域，具体涉及一种基于平行深度学习网络架构的遥感影像锐化方法。
背景技术
具有高空间分辨率的多光谱遥感影像在土地利用/土地覆盖分类、目标检测和语义分割中起着重要的作用。然而，由于传感器的技术局限性和高成本，目前具有高空间分辨率的遥感图像可能无法用于支持区域/全球陆地表面的观测。虽然与多光谱遥感影像一同获取的全色影像具有更高的空间分辨率，但是缺乏丰富的光谱信息。为了同时利用全色影像精细的空间信息和多光谱影像丰富的光谱信息为社会生产生活服务，需要使用遥感影像锐化方法将两类影像进行融合处理，以生成具有丰富空间-光谱信息的更高分辨率的遥感产品。
目前最常使用的遥感影像锐化方法主要分为三种类型：1）基于组件替换的模型；2）基于多分辨率分析的模型； 3）基于优化学习的模型。其中，基于组件替换的模型具有计算速度快，并且易于实现的优点。基于组件替换的模型可以将多光谱遥感影像转换处理后的域分量之一替换为全色影像中的转换域分量，然后通过逆变换将混合的全色影像和多光谱影像的转换域分量重建为新的锐化影像。然而，虽然越来越多的频谱质量控制策略（例如部分替换和局部参数估计）用于基于组件替换的模型中以减少频谱失真的问题，但是由于频谱带宽不匹配，以及全色和多光谱遥感影像之间的转换域分量没有相同的波谱辐射特性，使用该类模型仍存在光谱信息差异的问题。
基于多分辨率分析的模型通常比基于组件替换的模型具有更好的频谱保真度。该类模型首先从全色遥感影像中提取空间结构信息，然后将其高频细节注入到多光谱影像中。然而，尽管基于多分辨率分析的模型可以减少全色和多光谱遥感影像之间光谱信息的差异，但是使用该类模型仍存在空间信息差异的问题。
基于优化学习的模型通常优于基于组件替换的模型和基于多分辨率分析的模型。该类模型将影像锐化过程视为没有唯一解的逆问题，并通过基于能量函数的能量最小化来重建锐化影像。现有基于深度卷积神经网络的遥感影像锐化模型快速发展，深度卷积神经网络的主要原理是建立低空间分辨率多光谱影像和高空间分辨率多光谱预测影像之间复杂的非线性功能映射。目前，基于深度卷积神经网络的遥感锐化模型已经从图像超分辨率网络发展到基于深度卷积神经网络的泛锐化模型，例如，残差网络或者多层次深度网络等。然而，尽管现有的基于深度卷积神经网络的遥感锐化模型表现出良好的性能，但是，针对不同传感器类型和复杂地物场景，其模型稳定性和锐化效果仍需要进一步提高。同时，对于高分辨率全色影像的空间细节特征仍需要进一步挖掘。
发明内容
本发明的目的是针对上述问题，提供基于平行深度学习网络架构的遥感影像锐化方法，可以适用于多种遥感影像传感器，同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度，解决利用遥感影像快速、准确生产出锐化产品的问题。
为达到上述目的，本发明采用了下列技术方案：
基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本发明将经过多层次深度卷积神经网络架构获取的光谱要素特征和经过多尺度深度卷积神经网络架构获取的纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且保留了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
进一步的，S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别的特征要素，并分别保留各级网络的处理结果。
进一步的，第一特征提取网络包括多层卷积层，第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 868742DEST_PATH_IMAGE001
（1），
其中，
Figure 486805DEST_PATH_IMAGE002
表示卷积处理，
Figure 445665DEST_PATH_IMAGE003
表示用于组成多光谱影像和全色影像的映射函数，
Figure 149178DEST_PATH_IMAGE004
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 366533DEST_PATH_IMAGE005
表示高空间分辨率的全色影像，
Figure 839103DEST_PATH_IMAGE006
表示残差结果，
Figure 218131DEST_PATH_IMAGE007
表示第一特征提取网络中第一次 卷积运算后得到的要素特征。
本发明经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱影 像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 914999DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 670465DEST_PATH_IMAGE005
的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。
进一步的，改进的递归网络包括多层卷积层，其中第一层卷积层的输入数据为第一特征提取网络的输出结果，对于改进的递归网络的其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，
所述改进的递归网络公式如下所示：
Figure 263121DEST_PATH_IMAGE009
（2）；
其中，
Figure 813051DEST_PATH_IMAGE010
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 491157DEST_PATH_IMAGE011
表示进行了 第n次卷积处理，
Figure 784735DEST_PATH_IMAGE012
表示用于组成多光谱影像和全色影像的映射函数；
所述多层次深度卷积神经网络架构通过建立多层次要素特征集合
Figure 982629DEST_PATH_IMAGE013
记录所述多 层次深度卷积神经网络架构要素特征的输出结果：
Figure 969040DEST_PATH_IMAGE014
（3），
其中，
Figure 400021DEST_PATH_IMAGE015
表示多层次要素特征集合，
Figure 231711DEST_PATH_IMAGE016
表示改进的递归网络中第n次卷积运算后 得到的要素特征，
Figure 533379DEST_PATH_IMAGE012
表示用于组成多光谱影像和全色影像的映射函数。
本发明通过多层次深度卷积神经网络架构可以增强低空间分辨率多光谱影像经 过上采样之后的高空间分辨率多光谱拟合影像
Figure 939959DEST_PATH_IMAGE017
和高空间分辨率的全色影像
Figure 327078DEST_PATH_IMAGE005
之 间的区域依赖性，同时也能保留影像从浅层到深层的多层次纹理信息。获取改进的递归网 络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征输出结果的积累可以迭 代和强化不同网络层级得到的光谱细节特征。
进一步的，S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、通过多尺度平行网络进行地物类型的特征提取，输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合；
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，作为所述第二特征提取网络的输入数据。本发明将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，可以增强不同土地覆盖类型的空间依赖性，并提取深层的纹理细节特征。
进一步的，多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，所述多尺度平行网络中的所有卷积层都处于平行关系。本发明经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。
进一步的，在多尺度平行网络中，输入数据是高空间分辨率的全色影像
Figure 228038DEST_PATH_IMAGE018
，经过 多尺度平行网络处理，输出结果包含高空间分辨率的全色影像
Figure 649792DEST_PATH_IMAGE018
的多尺度浅层要素特征 集合：
Figure 978005DEST_PATH_IMAGE019
（4），
其中，
Figure 852420DEST_PATH_IMAGE020
表示多尺度平行网络经过第s个卷积层卷积处理得到的要素特征，
Figure 42224DEST_PATH_IMAGE021
表示 第s个卷积层的卷积处理，
Figure 318484DEST_PATH_IMAGE018
表示高空间分辨率的全色影像，
Figure 817599DEST_PATH_IMAGE022
表示残差结果。
进一步的，在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行 网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据 为上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的 输出结果
Figure 179310DEST_PATH_IMAGE023
为：
Figure 422073DEST_PATH_IMAGE024
（5），
其中，
Figure 70616DEST_PATH_IMAGE023
表示多尺度要素特征集合，
Figure 475053DEST_PATH_IMAGE020
表示经过第s个卷积层卷积处理得到的要素 特征，
Figure 324060DEST_PATH_IMAGE025
表示卷积处理，
Figure 104934DEST_PATH_IMAGE003
表示用于组成多光谱影像和全色影像的映射函数。
进一步的，S3中的获取遥感影像锐化产品包括以下步骤：
S301、通过利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理， 输出结果保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 621366DEST_PATH_IMAGE026
和高空间分辨率的全色影像
Figure 196704DEST_PATH_IMAGE005
中的多层次光谱信息和多尺度纹理细节特征；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合 影像
Figure 283740DEST_PATH_IMAGE027
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终的遥感影像锐 化产品
Figure 602726DEST_PATH_IMAGE028
：
Figure 973664DEST_PATH_IMAGE029
（6），
其中，
Figure 719903DEST_PATH_IMAGE030
表示最终的遥感影像锐化产品，
Figure 809082DEST_PATH_IMAGE031
表示卷积处理，
Figure 915447DEST_PATH_IMAGE003
表示用于组成多 光谱影像和全色影像的映射函数，
Figure 406471DEST_PATH_IMAGE032
表示多层次要素特征集合，
Figure 589191DEST_PATH_IMAGE023
表示多尺度要素特征集 合，
Figure 181978DEST_PATH_IMAGE022
表示残差结果，
Figure 108345DEST_PATH_IMAGE033
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率 多光谱拟合影像。
本发明输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分 辨率多光谱拟合影像
Figure 719455DEST_PATH_IMAGE034
中的多层次光谱细节和多尺度纹理细节，不仅可以以高空间分 辨率反映不同土地覆盖类型的空间结构，而且能够从高空间分辨率的全色影像
Figure 590853DEST_PATH_IMAGE005
中注入 足够丰富的纹理细节信息。
进一步的，多层卷积神经网络中的第一层，输入数据是多层次要素特征集合
Figure 920203DEST_PATH_IMAGE032
和 多尺度要素特征集合
Figure 932152DEST_PATH_IMAGE023
的融合结果。
与现有的技术相比，本发明的优点在于：
1.本发明提出了一种基于平行深度学习网络架构的遥感影像锐化方法，通过获取多光谱遥感影像的光谱信息和全色影像的空间信息，为生产高空间-光谱分辨率的遥感锐化产品提供了新的方法，通过使用新型的平行深度学习网络架构研究多光谱影像和全色影像的复杂映射关系，并深度挖掘全色影像的空间纹理特征，可以更好的提高遥感锐化产品的空间分辨率和光谱信息精度；本发明将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合，两者缺一不可，可以解决目前遥感锐化产品存在的模型稳定性不足的问题；
2.本发明在多层次深度神经网络架构中构建了第一特征提取网络和改进的递归网络，可以增强多光谱影像对全色影像的空间-光谱依赖度，获取丰富的多层次光谱特征要素，能够最大程度减少遥感锐化产品的光谱失真度；
3.本发明在多尺度深度神经网络架构中构建了多尺度平行网络和第二特征提取网络，可以进一步增强多光谱影像对全色影像的空间依赖性，获取丰富的多尺度纹理细节特征要素，能够最大程度减少遥感锐化产品的空间失真度。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明的流程图；
图2是本发明多层次深度卷积神经网络架构流程图；
图3是本发明多尺度深度卷积神经网络架构流程图。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示，本实施例基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本实施例将光谱要素特征和纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
本实施例多层次深度卷积神经网络架构的流程图如图2所示，本实施例S1中的获得遥感全色影像在锐化过程中的光谱要素特征包括建立特征提取网络以捕获多光谱影像的浅层特征，以及对应全色影像的纹理细节，具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；其中，在第一特征提取网络之后建立改进的递归网络，可以增强多光谱影像和全色影像的区域依赖性，获取多层次光谱信息；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别特征要素的积累，并分别保留各级网络处理结果。
本实施例为了捕获遥感多光谱影像的浅层特征和相应全色影像的纹理细节，首先利用了多层卷积神经网络（CNN）即第一特征提取网络进行影像特征提取。在影像的预处理上，通过双三次插值对低空间分辨率的多光谱影像进行上采样处理，以保持与相应全色影像相同的空间分辨率。
本实施例第一特征提取网络包括多层卷积层，将全色影像和经历过上采样处理的多光谱影像堆叠处理，作为第一特征提取网络的输入数据，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 397769DEST_PATH_IMAGE035
（1），
其中，
Figure 922291DEST_PATH_IMAGE031
表示卷积处理，
Figure 942200DEST_PATH_IMAGE003
表示用于组成多光谱影像和全色影像的映射函数，
Figure 725217DEST_PATH_IMAGE036
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 514181DEST_PATH_IMAGE005
表示高空间分辨率的全色影像，
Figure 209605DEST_PATH_IMAGE037
表示残差结果，
Figure 716809DEST_PATH_IMAGE007
表示第一特征提取网络中第一次卷 积运算后得到的要素特征。
本实施例经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱 影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 788671DEST_PATH_IMAGE017
和高空间分辨率的全色影像
Figure 448453DEST_PATH_IMAGE005
的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。然而，简单的多层 卷积网络结构只能获得影像的浅层要素特征，不足以提取影像所包含的复杂地表覆盖类型 信息。随着网络深度的不断增加，深层的语义特征虽然可以得到补充，但浅层的纹理细节会 因此不断丢失。针对以上问题，本实施例在多层次深度神经网络架构中提出了一种改进的 递归网络，以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影 像
Figure 580357DEST_PATH_IMAGE038
和高空间分辨率的全色影像
Figure 574858DEST_PATH_IMAGE005
之间的区域依赖性，同时也能保留影像从浅层到 深层的多层次纹理信息。
本实施例改进的递归网络包括多层卷积层，第一层卷积层的输入数据为第一特征提取网络的输出结果，对于其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，用以迭代和强化不同网络层级得到的纹理细节，
所述改进的递归网络公式如下所示：
Figure 450410DEST_PATH_IMAGE039
（2）；
其中，
Figure 731743DEST_PATH_IMAGE010
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 34549DEST_PATH_IMAGE011
表示进行了 第n次卷积处理，
Figure 250766DEST_PATH_IMAGE012
表示用于组成多光谱影像和全色影像的映射函数；
所述多层次深度卷积神经网络架构通过建立要素特征集合
Figure 664430DEST_PATH_IMAGE015
记录所述多层次深 度卷积神经网络架构要素特征的输出结果：
Figure 282493DEST_PATH_IMAGE040
（3），
其中，
Figure 241353DEST_PATH_IMAGE041
表示多层次要素特征集合，
Figure 210446DEST_PATH_IMAGE016
表示改进的递归网络中第n次卷积运算后 得到的要素特征。
本实施例多尺度深度卷积神经网络架构的流程图如图3所示，本实施例在多尺度深度卷积神经网络架构中，使用了多尺度平行网络结构，即多个平行结构的卷积层。S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、为了提取复杂地物类型区域的空间结构和地物边缘特征，利用多尺度平行网络进行地物类型的特征提取，经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节；
S202、将多尺度平行网络的输出结果送入多尺度深度卷积神经网络架构下的第二特征提取网络中，作为该网络的输入数据。本实施例第二特征提取网络由多层卷积神经网络构成，本实施例多尺度平行网络之后设置了第二特征提取网络，采用第二特征提取网络可以增强全色影像的空间依赖性，并获取多种土地覆被类型之间更深的纹理特征。
本实施例多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波 器，多尺度平行网络中的所有卷积层都处于平行关系。本实施例经过多尺度平行网络处理， 输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。本实施例多尺 度平行网络中，输入数据是高空间分辨率的全色影像
Figure 162222DEST_PATH_IMAGE018
，经过多尺度平行网络处理，输出 结果是来自不同卷积层的合成特征要素，具体包含高空间分辨率的全色影像
Figure 900371DEST_PATH_IMAGE042
的多尺度 浅层要素特征集合：
Figure 279399DEST_PATH_IMAGE043
（4），
其中，
Figure 470209DEST_PATH_IMAGE044
表示经过第s个卷积层卷积处理得到的要素特征，
Figure 474943DEST_PATH_IMAGE021
表示第s个卷积层的 卷积处理，
Figure 67599DEST_PATH_IMAGE005
表示高空间分辨率的全色影像，
Figure 617529DEST_PATH_IMAGE006
表示残差结果。
本实施例在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网 络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为 上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的输 出结果
Figure 295635DEST_PATH_IMAGE023
为：
Figure 854792DEST_PATH_IMAGE045
（5），
其中，
Figure 52686DEST_PATH_IMAGE023
表示多尺度要素特征集合，
Figure 773517DEST_PATH_IMAGE044
表示经过第s个卷积层卷积处理得到的要素 特征，
Figure 938920DEST_PATH_IMAGE031
表示卷积处理，
Figure 770609DEST_PATH_IMAGE046
表示用于组成多光谱影像和全色影像的映射函数。
本实施例S3中的获取遥感影像锐化产品包括以下步骤：
S301、利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出 结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 337857DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 495169DEST_PATH_IMAGE005
中的多层次、多尺度光谱-纹理细节，不仅可以反映 不同土地覆盖类型的空间结构和光谱信息，而且能够从高空间分辨率的全色影像
Figure 411783DEST_PATH_IMAGE005
中注 入足够丰富的纹理细节；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合 影像
Figure 47164DEST_PATH_IMAGE047
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终需要获取的遥 感影像锐化产品
Figure 734497DEST_PATH_IMAGE048
：
Figure 797131DEST_PATH_IMAGE049
（6），
其中，
Figure 671546DEST_PATH_IMAGE050
表示卷积处理，
Figure 861350DEST_PATH_IMAGE003
表示用于组成多光谱影像和全色影像的映射函数，
Figure 137611DEST_PATH_IMAGE015
表 示多层次要素特征集合，
Figure 636725DEST_PATH_IMAGE023
表示多尺度要素特征集合，
Figure 998436DEST_PATH_IMAGE006
表示残差结果，
Figure 975620DEST_PATH_IMAGE017
表示低空间 分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
本实施例对于多层卷积神经网络中的第一层，输入要素为多层次深度神经网络架构和多尺度神经网络架构中获取的光谱特征要素和纹理细节特征要素的堆叠组合。
本实施例通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息。最后，通过利用重建网络的输出结果与输入的高分辨率多光谱拟合影像得到最终的高质量遥感影像锐化产品。
本实施例将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合，可以进一步提高基于深度卷积神经网络的遥感锐化产品的稳定性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，包括以下步骤：
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。
2.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为该网络的输入数据；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别的特征要素，并分别保留各级网络的处理结果。
3.根据权利要求2所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述第一特征提取网络包括多层卷积层，第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 287347DEST_PATH_IMAGE001
（1），
其中，
Figure 648927DEST_PATH_IMAGE002
表示卷积处理，
Figure 718514DEST_PATH_IMAGE003
表示用于组成多光谱影像和全色影像的映射函数，
Figure 916277DEST_PATH_IMAGE004
表 示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 729512DEST_PATH_IMAGE005
表示高 空间分辨率的全色影像，
Figure 696331DEST_PATH_IMAGE006
表示残差结果，
Figure 202399DEST_PATH_IMAGE007
表示第一特征提取网络中第一次卷积运算后 得到的要素特征。
4.根据权利要求2所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述改进的递归网络包括多层卷积层，改进的递归网络的第一层卷积层的输入数据为第一特征提取网络的输出结果，对于改进的递归网络的其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加；
所述改进的递归网络公式如下所示：
Figure 874076DEST_PATH_IMAGE008
（2）；
其中，
Figure 491003DEST_PATH_IMAGE009
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 312328DEST_PATH_IMAGE010
表示进行了第 n次卷积处理，
Figure 989297DEST_PATH_IMAGE011
表示用于组成多光谱影像和全色影像的映射函数；
所述多层次深度卷积神经网络架构通过建立多层次要素特征集合
Figure 161652DEST_PATH_IMAGE012
记录所述多层次 深度卷积神经网络架构要素特征的输出结果：
Figure 316690DEST_PATH_IMAGE013
（3），
其中，
Figure 507369DEST_PATH_IMAGE014
表示多层次要素特征集合，
Figure 355239DEST_PATH_IMAGE015
表示改进的递归网络中第n次卷积运算后得到 的要素特征，
Figure 749312DEST_PATH_IMAGE011
表示用于组成多光谱影像和全色影像的映射函数。
5.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、通过多尺度平行网络进行地物类型的特征提取，输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合；
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，作为所述第二特征提取网络的输入数据。
6.根据权利要求5所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于, 所述多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，所述多尺度平行网络中的所有卷积层都处于平行关系。
7.根据权利要求6所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在 于，在所述多尺度平行网络中，输入数据是高空间分辨率的全色影像
Figure 708040DEST_PATH_IMAGE016
，经过多尺度平行 网络处理，输出结果包含高空间分辨率的全色影像
Figure 503958DEST_PATH_IMAGE017
的多尺度浅层要素特征集合：
Figure 506418DEST_PATH_IMAGE018
（4），
其中，
Figure 653365DEST_PATH_IMAGE019
表示多尺度平行网络经过第s个卷积层卷积处理得到的要素特征，
Figure 415785DEST_PATH_IMAGE020
表示第s 个卷积层的卷积处理，
Figure 66209DEST_PATH_IMAGE021
表示高空间分辨率的全色影像，
Figure 990303DEST_PATH_IMAGE022
表示残差结果。
8.根据权利要求5所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，在所述第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；
经过多尺度深度卷积神经网络架构得到的输出结果
Figure 358967DEST_PATH_IMAGE023
为：
Figure 908766DEST_PATH_IMAGE024
（5），
其中，
Figure 944855DEST_PATH_IMAGE025
表示多尺度要素特征集合，
Figure 774271DEST_PATH_IMAGE019
表示经过第s个卷积层卷积处理得到的要素特 征，
Figure 895811DEST_PATH_IMAGE026
表示卷积处理，
Figure 33DEST_PATH_IMAGE027
表示用于组成多光谱影像和全色影像的映射函数。
9.根据权利要求1-8任一所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述S3中的获取遥感影像锐化产品包括以下步骤：
S301、利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果 保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 359470DEST_PATH_IMAGE028
和 高空间分辨率的全色影像
Figure 131424DEST_PATH_IMAGE029
中的多层次光谱信息和多尺度纹理细节特征；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 209102DEST_PATH_IMAGE030
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终的遥感影像锐化产 品
Figure 117015DEST_PATH_IMAGE031
：
Figure 862117DEST_PATH_IMAGE032
（6），
其中，
Figure 298915DEST_PATH_IMAGE033
表示最终的遥感影像锐化产品，
Figure 129467DEST_PATH_IMAGE034
表示卷积处理，
Figure 559180DEST_PATH_IMAGE003
表示用于组成多光谱 影像和全色影像的映射函数，
Figure 158789DEST_PATH_IMAGE035
表示多层次要素特征集合，
Figure 766488DEST_PATH_IMAGE036
表示多尺度要素特征集 合，
Figure 84337DEST_PATH_IMAGE022
表示残差结果，
Figure 68473DEST_PATH_IMAGE037
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨 率多光谱拟合影像。
10.根据权利要求9所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在 于，步骤S301中，所述多层卷积神经网络中的第一层，输入数据是多层次要素特征集合
Figure 771856DEST_PATH_IMAGE035
和多尺度要素特征集合
Figure 816035DEST_PATH_IMAGE038
的融合结果。
CN202111481416.6A 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法 Active CN113902650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481416.6A CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481416.6A CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Publications (2)

Publication Number Publication Date
CN113902650A true CN113902650A (zh) 2022-01-07
CN113902650B CN113902650B (zh) 2022-04-12

Family

ID=79025588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481416.6A Active CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Country Status (1)

Country Link
CN (1) CN113902650B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492527A (zh) * 2018-09-28 2019-03-19 南京航空航天大学 一种基于全色锐化技术的遥感图像亚像元定位方法
CN109801218A (zh) * 2019-01-08 2019-05-24 南京理工大学 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN110084747A (zh) * 2019-03-15 2019-08-02 南京航空航天大学 基于全色锐化技术支持下的空间引力模型亚像元定位方法
CN110222728A (zh) * 2019-05-15 2019-09-10 图灵深视(南京)科技有限公司 物品鉴别模型的训练方法、系统及物品鉴别方法、设备
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110807746A (zh) * 2019-10-30 2020-02-18 华南理工大学 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN111080567A (zh) * 2019-12-12 2020-04-28 长沙理工大学 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
US20210125308A1 (en) * 2018-05-22 2021-04-29 Airbus Ds Geo Sa Method for increasing the spatial resolution of a multispectral image from a panchromatic image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210125308A1 (en) * 2018-05-22 2021-04-29 Airbus Ds Geo Sa Method for increasing the spatial resolution of a multispectral image from a panchromatic image
CN109492527A (zh) * 2018-09-28 2019-03-19 南京航空航天大学 一种基于全色锐化技术的遥感图像亚像元定位方法
CN109801218A (zh) * 2019-01-08 2019-05-24 南京理工大学 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN110084747A (zh) * 2019-03-15 2019-08-02 南京航空航天大学 基于全色锐化技术支持下的空间引力模型亚像元定位方法
CN110222728A (zh) * 2019-05-15 2019-09-10 图灵深视(南京)科技有限公司 物品鉴别模型的训练方法、系统及物品鉴别方法、设备
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN110807746A (zh) * 2019-10-30 2020-02-18 华南理工大学 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
CN111080567A (zh) * 2019-12-12 2020-04-28 长沙理工大学 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LARABI MEA ET AL: "《Learning Image Downscaling for Pansharpening Using an Improved UNet》", 《IEEE》 *
YANG Y ET AL: "《PCDRN：Progressive Cascade Deep Residual Network for Pansharpening》", 《MDPI》 *
王甜甜: "《基于深度残差神经网络的多光谱图像全色锐化算法研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN113902650B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
Yang et al. Remote sensing image fusion based on adaptive IHS and multiscale guided filter
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
He et al. Spectral-fidelity convolutional neural networks for hyperspectral pansharpening
CN113222835A (zh) 基于残差网络的遥感全色和多光谱图像分布式融合方法
Wang et al. Spatiotemporal fusion of remote sensing image based on deep learning
Turnes et al. Atrous cGAN for SAR to optical image translation
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115018750A (zh) 中波红外高光谱及多光谱图像融合方法、系统及介质
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
Lei et al. Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion
CN113902650B (zh) 基于平行深度学习网络架构的遥感影像锐化方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
CN116433548A (zh) 一种基于多级信息提取的高光谱与全色图像融合方法
CN115082344A (zh) 基于细节注入的双分支网络全色锐化方法
CN110111254B (zh) 一种基于多级递归引导和渐进监督的深度图超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant