CN113902650B - 基于平行深度学习网络架构的遥感影像锐化方法 - Google Patents

基于平行深度学习网络架构的遥感影像锐化方法 Download PDF

Info

Publication number
CN113902650B
CN113902650B CN202111481416.6A CN202111481416A CN113902650B CN 113902650 B CN113902650 B CN 113902650B CN 202111481416 A CN202111481416 A CN 202111481416A CN 113902650 B CN113902650 B CN 113902650B
Authority
CN
China
Prior art keywords
image
network
remote sensing
multispectral
sharpening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111481416.6A
Other languages
English (en)
Other versions
CN113902650A (zh
Inventor
李林泽
唐攀攀
赵伶俐
赵鹏程
赵博
杨欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202111481416.6A priority Critical patent/CN113902650B/zh
Publication of CN113902650A publication Critical patent/CN113902650A/zh
Application granted granted Critical
Publication of CN113902650B publication Critical patent/CN113902650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤：S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空‑光谱之间的定量关系；S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征；S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本发明适用于多种遥感影像传感器，同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度，解决遥感影像快速、准确生产出锐化产品的问题。

Description

基于平行深度学习网络架构的遥感影像锐化方法
技术领域
本发明属于图像超分辨率/锐化处理技术领域，具体涉及一种基于平行深度学习网络架构的遥感影像锐化方法。
背景技术
具有高空间分辨率的多光谱遥感影像在土地利用/土地覆盖分类、目标检测和语义分割中起着重要的作用。然而，由于传感器的技术局限性和高成本，目前具有高空间分辨率的遥感图像可能无法用于支持区域/全球陆地表面的观测。虽然与多光谱遥感影像一同获取的全色影像具有更高的空间分辨率，但是缺乏丰富的光谱信息。为了同时利用全色影像精细的空间信息和多光谱影像丰富的光谱信息为社会生产生活服务，需要使用遥感影像锐化方法将两类影像进行融合处理，以生成具有丰富空间-光谱信息的更高分辨率的遥感产品。
目前最常使用的遥感影像锐化方法主要分为三种类型：1）基于组件替换的模型；2）基于多分辨率分析的模型； 3）基于优化学习的模型。其中，基于组件替换的模型具有计算速度快，并且易于实现的优点。基于组件替换的模型可以将多光谱遥感影像转换处理后的域分量之一替换为全色影像中的转换域分量， 然后通过逆变换将混合的全色影像和多光谱影像的转换域分量重建为新的锐化影像。然而，虽然越来越多的频谱质量控制策略（例如部分替换和局部参数估计）用于基于组件替换的模型中以减少频谱失真的问题，但是由于频谱带宽不匹配，以及全色和多光谱遥感影像之间的转换域分量没有相同的波谱辐射特性，使用该类模型仍存在光谱信息差异的问题。
基于多分辨率分析的模型通常比基于组件替换的模型具有更好的频谱保真度。该类模型首先从全色遥感影像中提取空间结构信息，然后将其高频细节注入到多光谱影像中。然而，尽管基于多分辨率分析的模型可以减少全色和多光谱遥感影像之间光谱信息的差异，但是使用该类模型仍存在空间信息差异的问题。
基于优化学习的模型通常优于基于组件替换的模型和基于多分辨率分析的模型。该类模型将影像锐化过程视为没有唯一解的逆问题，并通过基于能量函数的能量最小化来重建锐化影像。现有基于深度卷积神经网络的遥感影像锐化模型快速发展，深度卷积神经网络的主要原理是建立低空间分辨率多光谱影像和高空间分辨率多光谱预测影像之间复杂的非线性功能映射。目前，基于深度卷积神经网络的遥感锐化模型已经从图像超分辨率网络发展到基于深度卷积神经网络的泛锐化模型，例如，残差网络或者多层次深度网络等。然而，尽管现有的基于深度卷积神经网络的遥感锐化模型表现出良好的性能，但是，针对不同传感器类型和复杂地物场景，其模型稳定性和锐化效果仍需要进一步提高。同时，对于高分辨率全色影像的空间细节特征仍需要进一步挖掘。
发明内容
本发明的目的是针对上述问题，提供基于平行深度学习网络架构的遥感影像锐化方法，可以适用于多种遥感影像传感器，同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度，解决利用遥感影像快速、准确生产出锐化产品的问题。
为达到上述目的，本发明采用了下列技术方案：
基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本发明将经过多层次深度卷积神经网络架构获取的光谱要素特征和经过多尺度深度卷积神经网络架构获取的纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且保留了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别的特征要素，并分别保留各级网络的处理结果；
改进的递归网络包括多层卷积层，其中第一层卷积层的输入数据为第一特征提取网络的输出结果，对于改进的递归网络的其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，
所述改进的递归网络公式如下所示：
Figure 778189DEST_PATH_IMAGE001
（1）；
其中，
Figure 385888DEST_PATH_IMAGE002
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 234895DEST_PATH_IMAGE003
表示进行了第n次卷积处理，
Figure 812507DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数。
进一步的，第一特征提取网络包括多层卷积层，第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 266622DEST_PATH_IMAGE005
（2），
其中，
Figure 841960DEST_PATH_IMAGE006
表示卷积处理，
Figure 240580DEST_PATH_IMAGE007
表示用于组成多光谱影像和全色影像的映射函数，
Figure 559566DEST_PATH_IMAGE008
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 602609DEST_PATH_IMAGE009
表示高空间分辨率的全色影像，
Figure 676744DEST_PATH_IMAGE010
表示残差结果，
Figure 234764DEST_PATH_IMAGE011
表示第一特征提取网络中第一次卷积运算后得到的要素特征。
本发明经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 295124DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 254990DEST_PATH_IMAGE009
的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。
进一步的，所述多层次深度卷积神经网络架构通过建立多层次要素特征集合
Figure 735912DEST_PATH_IMAGE012
记录所述多层次深度卷积神经网络架构要素特征的输出结果：
Figure 250070DEST_PATH_IMAGE013
（3），
其中，
Figure 910858DEST_PATH_IMAGE012
表示多层次要素特征集合，
Figure 787548DEST_PATH_IMAGE014
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 344431DEST_PATH_IMAGE015
表示用于组成多光谱影像和全色影像的映射函数。
本发明通过多层次深度卷积神经网络架构可以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 877043DEST_PATH_IMAGE016
和高空间分辨率的全色影像
Figure 403840DEST_PATH_IMAGE017
之间的区域依赖性，同时也能保留影像从浅层到深层的多层次纹理信息。获取改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征输出结果的积累可以迭代和强化不同网络层级得到的光谱细节特征。
进一步的，S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、通过多尺度平行网络进行地物类型的特征提取，输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合；
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，作为所述第二特征提取网络的输入数据。本发明将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，可以增强不同土地覆盖类型的空间依赖性，并提取深层的纹理细节特征。
进一步的，多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，所述多尺度平行网络中的所有卷积层都处于平行关系。本发明经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。
进一步的，在多尺度平行网络中，输入数据是高空间分辨率的全色影像
Figure 275981DEST_PATH_IMAGE018
，经过多尺度平行网络处理，输出结果包含高空间分辨率的全色影像
Figure 800503DEST_PATH_IMAGE018
的多尺度浅层要素特征集合：
Figure 882728DEST_PATH_IMAGE019
（4），
其中，
Figure 88582DEST_PATH_IMAGE020
表示多尺度平行网络经过第s个卷积层卷积处理得到的要素特征，
Figure 877546DEST_PATH_IMAGE021
表示第s个卷积层的卷积处理，
Figure 133822DEST_PATH_IMAGE018
表示高空间分辨率的全色影像，
Figure 375447DEST_PATH_IMAGE010
表示残差结果。
进一步的，在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的输出结果
Figure 119412DEST_PATH_IMAGE022
为：
Figure 28463DEST_PATH_IMAGE023
（5），
其中，
Figure 957104DEST_PATH_IMAGE024
表示多尺度要素特征集合，
Figure 889288DEST_PATH_IMAGE020
表示经过第s个卷积层卷积处理得到的要素特征，
Figure 233682DEST_PATH_IMAGE006
表示卷积处理，
Figure 59555DEST_PATH_IMAGE007
表示用于组成多光谱影像和全色影像的映射函数。
进一步的，S3中的获取遥感影像锐化产品包括以下步骤：
S301、通过利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 831202DEST_PATH_IMAGE025
和高空间分辨率的全色影像
Figure 250682DEST_PATH_IMAGE009
中的多层次光谱信息和多尺度纹理细节特征；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 398767DEST_PATH_IMAGE026
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终的遥感影像锐化产品
Figure 344726DEST_PATH_IMAGE027
：
Figure 490537DEST_PATH_IMAGE028
（6），
其中，
Figure 194051DEST_PATH_IMAGE029
表示最终的遥感影像锐化产品，
Figure 444029DEST_PATH_IMAGE030
表示卷积处理，
Figure 385440DEST_PATH_IMAGE031
表示用于组成多光谱影像和全色影像的映射函数，
Figure 498889DEST_PATH_IMAGE032
表示多层次要素特征集合，
Figure 752016DEST_PATH_IMAGE033
表示多尺度要素特征集合，
Figure 241903DEST_PATH_IMAGE010
表示残差结果，
Figure 772242DEST_PATH_IMAGE034
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
本发明输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 322172DEST_PATH_IMAGE035
中的多层次光谱细节和多尺度纹理细节，不仅可以以高空间分辨率反映不同土地覆盖类型的空间结构，而且能够从高空间分辨率的全色影像
Figure 328174DEST_PATH_IMAGE036
中注入足够丰富的纹理细节信息。
进一步的，多层卷积神经网络中的第一层，输入数据是多层次要素特征集合
Figure 293856DEST_PATH_IMAGE012
和多尺度要素特征集合
Figure 741018DEST_PATH_IMAGE033
的融合结果。
与现有的技术相比，本发明的优点在于：
1.本发明提出了一种基于平行深度学习网络架构的遥感影像锐化方法，通过获取多光谱遥感影像的光谱信息和全色影像的空间信息，为生产高空间-光谱分辨率的遥感锐化产品提供了新的方法，通过使用新型的平行深度学习网络架构研究多光谱影像和全色影像的复杂映射关系，并深度挖掘全色影像的空间纹理特征，可以更好的提高遥感锐化产品的空间分辨率和光谱信息精度；本发明将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合，两者缺一不可，可以解决目前遥感锐化产品存在的模型稳定性不足的问题；
2.本发明在多层次深度神经网络架构中构建了第一特征提取网络和改进的递归网络，可以增强多光谱影像对全色影像的空间-光谱依赖度，获取丰富的多层次光谱特征要素，能够最大程度减少遥感锐化产品的光谱失真度；
3.本发明在多尺度深度神经网络架构中构建了多尺度平行网络和第二特征提取网络，可以进一步增强多光谱影像对全色影像的空间依赖性，获取丰富的多尺度纹理细节特征要素，能够最大程度减少遥感锐化产品的空间失真度。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明的流程图；
图2是本发明多层次深度卷积神经网络架构流程图；
图3是本发明多尺度深度卷积神经网络架构流程图。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示，本实施例基于平行深度学习网络架构的遥感影像锐化方法，包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系，以提高影像在锐化过程中的光谱信息保真度；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征，以提高影像在锐化过程中的纹理信息保真度；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品。本实施例将光谱要素特征和纹理要素特征进行融合，通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息，得到高质量的遥感影像锐化产品。
本实施例多层次深度卷积神经网络架构的流程图如图2所示，本实施例S1中的获得遥感全色影像在锐化过程中的光谱要素特征包括建立特征提取网络以捕获多光谱影像的浅层特征，以及对应全色影像的纹理细节，具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为改进的递归网络的输入数据；其中，在第一特征提取网络之后建立改进的递归网络，可以增强多光谱影像和全色影像的区域依赖性，获取多层次光谱信息；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别特征要素的积累，并分别保留各级网络处理结果。
本实施例改进的递归网络包括多层卷积层，第一层卷积层的输入数据为第一特征提取网络的输出结果，对于其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加，用以迭代和强化不同网络层级得到的纹理细节，
所述改进的递归网络公式如下所示：
Figure 524166DEST_PATH_IMAGE037
（1）；
其中，
Figure 689568DEST_PATH_IMAGE002
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 724520DEST_PATH_IMAGE003
表示进行了第n次卷积处理，
Figure 581181DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数。
本实施例为了捕获遥感多光谱影像的浅层特征和相应全色影像的纹理细节，首先利用了多层卷积神经网络（CNN）即第一特征提取网络进行影像特征提取。在影像的预处理上，通过双三次插值对低空间分辨率的多光谱影像进行上采样处理，以保持与相应全色影像相同的空间分辨率。
本实施例第一特征提取网络包括多层卷积层，将全色影像和经历过上采样处理的多光谱影像堆叠处理，作为第一特征提取网络的输入数据，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 472914DEST_PATH_IMAGE038
（2），
其中，
Figure 63295DEST_PATH_IMAGE006
表示卷积处理，
Figure 433097DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数，
Figure 182747DEST_PATH_IMAGE008
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 183064DEST_PATH_IMAGE009
表示高空间分辨率的全色影像，
Figure 57479DEST_PATH_IMAGE010
表示残差结果，
Figure 558867DEST_PATH_IMAGE011
表示第一特征提取网络中第一次卷积运算后得到的要素特征。
本实施例经过第一特征提取网络后，输出的要素特征包含了低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 38390DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 599822DEST_PATH_IMAGE009
的浅层纹理细节，以及两类影像在局部区域的空间-光谱关联信息。然而，简单的多层卷积网络结构只能获得影像的浅层要素特征，不足以提取影像所包含的复杂地表覆盖类型信息。随着网络深度的不断增加，深层的语义特征虽然可以得到补充，但浅层的纹理细节会因此不断丢失。针对以上问题，本实施例在多层次深度神经网络架构中提出了一种改进的递归网络，以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 961533DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 971339DEST_PATH_IMAGE009
之间的区域依赖性，同时也能保留影像从浅层到深层的多层次纹理信息。
本实施例多层次深度卷积神经网络架构通过建立要素特征集合
Figure 898844DEST_PATH_IMAGE012
记录所述多层次深度卷积神经网络架构要素特征的输出结果：
Figure 100018DEST_PATH_IMAGE039
（3），
其中，
Figure 417867DEST_PATH_IMAGE012
表示多层次要素特征集合，
Figure 464321DEST_PATH_IMAGE002
表示改进的递归网络中第n次卷积运算后得到的要素特征。
本实施例多尺度深度卷积神经网络架构的流程图如图3所示，本实施例在多尺度深度卷积神经网络架构中，使用了多尺度平行网络结构，即多个平行结构的卷积层。S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、为了提取复杂地物类型区域的空间结构和地物边缘特征，利用多尺度平行网络进行地物类型的特征提取，经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节；
S202、将多尺度平行网络的输出结果送入多尺度深度卷积神经网络架构下的第二特征提取网络中，作为该网络的输入数据。本实施例第二特征提取网络由多层卷积神经网络构成，本实施例多尺度平行网络之后设置了第二特征提取网络，采用第二特征提取网络可以增强全色影像的空间依赖性，并获取多种土地覆被类型之间更深的纹理特征。
本实施例多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，多尺度平行网络中的所有卷积层都处于平行关系。本实施例经过多尺度平行网络处理，输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。本实施例多尺度平行网络中，输入数据是高空间分辨率的全色影像
Figure 276025DEST_PATH_IMAGE009
，经过多尺度平行网络处理，输出结果是来自不同卷积层的合成特征要素，具体包含高空间分辨率的全色影像
Figure 382522DEST_PATH_IMAGE009
的多尺度浅层要素特征集合：
Figure 46721DEST_PATH_IMAGE019
（4），
其中，
Figure 365707DEST_PATH_IMAGE020
表示经过第s个卷积层卷积处理得到的要素特征，
Figure 408750DEST_PATH_IMAGE021
表示第s个卷积层的卷积处理，
Figure 482885DEST_PATH_IMAGE009
表示高空间分辨率的全色影像，
Figure 40905DEST_PATH_IMAGE010
表示残差结果。
本实施例在第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；经过多尺度深度卷积神经网络架构得到的输出结果
Figure 101265DEST_PATH_IMAGE024
为：
Figure 61131DEST_PATH_IMAGE040
（5），
其中，
Figure 10894DEST_PATH_IMAGE024
表示多尺度要素特征集合，
Figure 649686DEST_PATH_IMAGE020
表示经过第s个卷积层卷积处理得到的要素特征，
Figure 513737DEST_PATH_IMAGE006
表示卷积处理，
Figure 921585DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数。
本实施例S3中的获取遥感影像锐化产品包括以下步骤：
S301、利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 478468DEST_PATH_IMAGE008
和高空间分辨率的全色影像
Figure 338976DEST_PATH_IMAGE009
中的多层次、多尺度光谱-纹理细节，不仅可以反映不同土地覆盖类型的空间结构和光谱信息，而且能够从高空间分辨率的全色影像
Figure 475560DEST_PATH_IMAGE009
中注入足够丰富的纹理细节；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 410018DEST_PATH_IMAGE008
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终需要获取的遥感影像锐化产品
Figure 501251DEST_PATH_IMAGE027
：
Figure 255581DEST_PATH_IMAGE041
（6），
其中，
Figure 727013DEST_PATH_IMAGE006
表示卷积处理，
Figure 578295DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数，
Figure 8139DEST_PATH_IMAGE012
表示多层次要素特征集合，
Figure 453027DEST_PATH_IMAGE024
表示多尺度要素特征集合，
Figure 259309DEST_PATH_IMAGE010
表示残差结果，
Figure 965097DEST_PATH_IMAGE008
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
本实施例对于多层卷积神经网络中的第一层，输入要素为多层次深度神经网络架构和多尺度神经网络架构中获取的光谱特征要素和纹理细节特征要素的堆叠组合。
本实施例通过重建网络处理，输出结果不仅包含了不同土地覆盖类型的空间-光谱信息，而且获取了全色影像中丰富的纹理细节信息。最后，通过利用重建网络的输出结果与输入的高分辨率多光谱拟合影像得到最终的高质量遥感影像锐化产品。
本实施例将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合，可以进一步提高基于深度卷积神经网络的遥感锐化产品的稳定性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征：建立多层次深度卷积神经网络架构，获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系；
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征：建立多尺度深度卷积神经网络架构，获取遥感影像全色波段不同地物类型的纹理细节特征；
S3、获取遥感影像锐化产品：融合所述光谱要素特征和纹理要素特征，建立深度学习重建网络以获取遥感影像锐化产品；
所述S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括：
S101、使用双三次插值对原始多光谱影像进行上采样，使原始多光谱影像保持与对应全色影像相同的空间分辨率；
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合，并作为第一特征提取网络的输入数据；
S103、将第一特征提取网络的输出结果送入改进的递归网络，作为该网络的输入数据；
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络，增强不同级别的特征要素，并分别保留各级网络的处理结果；
所述改进的递归网络包括多层卷积层，改进的递归网络的第一层卷积层的输入数据为第一特征提取网络的输出结果，对于改进的递归网络的其它卷积层，输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加；
所述改进的递归网络公式如下所示：
Figure 846761DEST_PATH_IMAGE001
（1）；
其中，
Figure 374432DEST_PATH_IMAGE002
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 411658DEST_PATH_IMAGE003
表示进行了第n次卷积处理，
Figure 627876DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数。
2.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述第一特征提取网络包括多层卷积层，第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合，对于第一特征提取网络的其它层，输入要素均为上一层卷积操作之后的输出结果：
Figure 775960DEST_PATH_IMAGE005
（2），
其中，
Figure 394024DEST_PATH_IMAGE006
表示卷积处理，
Figure 602151DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数，
Figure 305665DEST_PATH_IMAGE007
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像，
Figure 257440DEST_PATH_IMAGE008
表示高空间分辨率的全色影像，
Figure 995589DEST_PATH_IMAGE009
表示残差结果，
Figure 374618DEST_PATH_IMAGE010
表示第一特征提取网络中第一次卷积运算后得到的要素特征。
3.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述多层次深度卷积神经网络架构通过建立多层次要素特征集合
Figure 565428DEST_PATH_IMAGE011
记录所述多层次深度卷积神经网络架构要素特征的输出结果：
Figure 55315DEST_PATH_IMAGE012
（3），
其中，
Figure 477331DEST_PATH_IMAGE011
表示多层次要素特征集合，
Figure 27261DEST_PATH_IMAGE002
表示改进的递归网络中第n次卷积运算后得到的要素特征，
Figure 705367DEST_PATH_IMAGE013
表示用于组成多光谱影像和全色影像的映射函数。
4.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤：
S201、通过多尺度平行网络进行地物类型的特征提取，输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合；
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络，作为所述第二特征提取网络的输入数据。
5.根据权利要求4所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述多尺度平行网络包括多个卷积层，且不同的卷积层具有唯一尺寸的滤波器，所述多尺度平行网络中的所有卷积层都处于平行关系。
6.根据权利要求5所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，在所述多尺度平行网络中，输入数据是高空间分辨率的全色影像
Figure 264525DEST_PATH_IMAGE014
，经过多尺度平行网络处理，输出结果包含高空间分辨率的全色影像
Figure 711687DEST_PATH_IMAGE014
的多尺度浅层要素特征集合：
Figure 166939DEST_PATH_IMAGE015
（4），
其中，
Figure 332341DEST_PATH_IMAGE016
表示多尺度平行网络经过第s个卷积层卷积处理得到的要素特征，
Figure 164031DEST_PATH_IMAGE017
表示第s个卷积层的卷积处理，
Figure 731278DEST_PATH_IMAGE014
表示高空间分辨率的全色影像，
Figure 357432DEST_PATH_IMAGE009
表示残差结果。
7.根据权利要求4所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，在所述第二特征提取网络中，第一层卷积层的输入数据是经过多尺度平行网络处理后的多尺度浅层要素特征集合，对于第二特征提取网络的其它卷积层，输入数据为上一层卷积层处理得到的要素特征输出结果；
经过多尺度深度卷积神经网络架构得到的输出结果
Figure 604322DEST_PATH_IMAGE018
为：
Figure 239703DEST_PATH_IMAGE019
（5），
其中，
Figure 989353DEST_PATH_IMAGE020
表示多尺度要素特征集合，
Figure 51987DEST_PATH_IMAGE016
表示经过第s个卷积层卷积处理得到的要素特征，
Figure 926402DEST_PATH_IMAGE006
表示卷积处理，
Figure 365474DEST_PATH_IMAGE013
表示用于组成多光谱影像和全色影像的映射函数。
8.根据权利要求1-7任一所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，所述S3中的获取遥感影像锐化产品包括以下步骤：
S301、利用多层卷积神经网络作为变化影像的重建网络，经过重建网络处理，输出结果保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 641734DEST_PATH_IMAGE007
和高空间分辨率的全色影像
Figure 140849DEST_PATH_IMAGE014
中的多层次光谱信息和多尺度纹理细节特征；
S302、结合低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像
Figure 502560DEST_PATH_IMAGE007
和经过网络训练得到的多层次、多尺度要素特征集合，得到最终的遥感影像锐化产品
Figure 981208DEST_PATH_IMAGE021
：
Figure 111975DEST_PATH_IMAGE022
（6），
其中，
Figure 516412DEST_PATH_IMAGE023
表示最终的遥感影像锐化产品，
Figure 365419DEST_PATH_IMAGE006
表示卷积处理，
Figure 880714DEST_PATH_IMAGE004
表示用于组成多光谱影像和全色影像的映射函数，
Figure 397146DEST_PATH_IMAGE011
表示多层次要素特征集合，
Figure 972484DEST_PATH_IMAGE018
表示多尺度要素特征集合，
Figure 308787DEST_PATH_IMAGE009
表示残差结果，
Figure 627773DEST_PATH_IMAGE007
表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
9.根据权利要求8所述的基于平行深度学习网络架构的遥感影像锐化方法，其特征在于，步骤S301中，所述多层卷积神经网络中的第一层，输入数据是多层次要素特征集合
Figure 733132DEST_PATH_IMAGE024
和多尺度要素特征集合
Figure 744951DEST_PATH_IMAGE018
的融合结果。
CN202111481416.6A 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法 Active CN113902650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481416.6A CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481416.6A CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Publications (2)

Publication Number Publication Date
CN113902650A CN113902650A (zh) 2022-01-07
CN113902650B true CN113902650B (zh) 2022-04-12

Family

ID=79025588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481416.6A Active CN113902650B (zh) 2021-12-07 2021-12-07 基于平行深度学习网络架构的遥感影像锐化方法

Country Status (1)

Country Link
CN (1) CN113902650B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3081590B1 (fr) * 2018-05-22 2020-06-19 Airbus Ds Geo Sa Procede d’augmentation de resolution spatiale d’une image multi-spectrale a partir d’une image panchromatique
CN109492527B (zh) * 2018-09-28 2019-09-10 南京航空航天大学 一种基于全色锐化技术的遥感图像亚像元定位方法
CN109801218B (zh) * 2019-01-08 2022-09-20 南京理工大学 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN110084747B (zh) * 2019-03-15 2023-04-07 南京航空航天大学 基于全色锐化技术支持下的空间引力模型亚像元定位方法
CN110222728B (zh) * 2019-05-15 2021-03-12 图灵深视(南京)科技有限公司 物品鉴别模型的训练方法、系统及物品鉴别方法、设备
CN110930315B (zh) * 2019-10-23 2022-02-11 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN110807746B (zh) * 2019-10-30 2023-03-21 华南理工大学 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
CN111080567B (zh) * 2019-12-12 2023-04-21 长沙理工大学 基于多尺度动态卷积神经网络的遥感图像融合方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111340711A (zh) * 2020-05-21 2020-06-26 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113902650A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN106910161B (zh) 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
Yang et al. Remote sensing image fusion based on adaptive IHS and multiscale guided filter
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
Jozdani et al. A review and meta-analysis of generative adversarial networks and their applications in remote sensing
He et al. Spectral-fidelity convolutional neural networks for hyperspectral pansharpening
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
CN113902650B (zh) 基于平行深度学习网络架构的遥感影像锐化方法
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
Qiao et al. Self-supervised depth super-resolution with contrastive multiview pre-training
CN115082344A (zh) 基于细节注入的双分支网络全色锐化方法
CN110111254B (zh) 一种基于多级递归引导和渐进监督的深度图超分辨率方法
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
CN113436094A (zh) 一种基于多视角注意力机制的灰度图像自动上色方法
Xu et al. Hyperspectral image super-resolution reconstruction based on image partition and detail enhancement
Xu et al. AS 3 ITransUNet: Spatial-Spectral Interactive Transformer U-Net with Alternating Sampling for Hyperspectral Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant