CN115187463A - 一种滑坡遥感影像集超分辨率重建方法和系统 - Google Patents

一种滑坡遥感影像集超分辨率重建方法和系统 Download PDF

Info

Publication number
CN115187463A
CN115187463A CN202211108488.0A CN202211108488A CN115187463A CN 115187463 A CN115187463 A CN 115187463A CN 202211108488 A CN202211108488 A CN 202211108488A CN 115187463 A CN115187463 A CN 115187463A
Authority
CN
China
Prior art keywords
remote sensing
super
image
training
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211108488.0A
Other languages
English (en)
Inventor
方留杨
刘天逸
蒲佳曦
李果
房锐
胡澄宇
李春晓
赵鑫
吴昊
李文
曾珍
贾志文
陈贺
叶咸
桂瑶俊
段兴铭
杜飞翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BROADVISION ENGINEERING CONSULTANTS
Original Assignee
BROADVISION ENGINEERING CONSULTANTS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BROADVISION ENGINEERING CONSULTANTS filed Critical BROADVISION ENGINEERING CONSULTANTS
Priority to CN202211108488.0A priority Critical patent/CN115187463A/zh
Publication of CN115187463A publication Critical patent/CN115187463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种滑坡遥感影像集超分辨率重建方法和系统，该方法包括：收集大量卫星遥感影像数据集与无人机遥感影像数据集；对收集的上述数据集进行整理重组，获得初步训练样本集与迁移学习样本集；构建基于ESRGAN的滑坡遥感影像超分辨率重建模型；进行初步训练，获取超分辨率重建模型初步训练权重；以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型。本发明利用已有公开遥感影像数据集中的低分辨率滑坡遥感影像，实现低分辨率滑坡遥感影像分辨率提升，缓解滑坡遥感影像集分辨率不足与样本集数量过少的问题。

Description

一种滑坡遥感影像集超分辨率重建方法和系统
技术领域
本发明属于交通灾害预警领域，涉及一种滑坡遥感影像集超分辨率重建方法和系统。
背景技术
近年来，滑坡灾害已成为我国最主要的自然灾害之一，由于受到滑坡灾害的影响，每年都会遭受大量的人员伤亡与巨大的经济损失。随着我国对地观测技术的进步，高分辨率遥感影像获取难度逐渐降低，滑坡识别技术自动化水平也在逐步提升。
目前，基于深度学习的滑坡识别方法已得到了广泛的应用，但这类方法普遍高度依赖大量的高质量滑坡遥感影像数据集。通常情况下，获取滑坡识别遥感样本集的方法有3种，第一种方法是在目标检测区域的同一景遥感影像或相邻遥感影像内进行采集；第二种方法是在不同传感器获取的目标检测区域附近进行样本采集；第三种方法是采用具有相似滑坡特征的公共样本集。
第一种方法中，同一景遥感影像提取的样本集会与目标区域特征高度相似，但这种方法无法解决数据集数量过少的问题，从而导致特征学习不完全或出现过拟合情况。
另外两种方法由于不同传感器具备不同传感元件的原因，获取的遥感影像集会包含不同分辨率遥感影像，比目标识别区域分辨率更高的样本集遥感影像具备更丰富的遥感影像特征，但是比目标识别区域分辨率更低的样本集遥感影像却不具备足够的特征用于特征学习。
因此，如何解决为低分辨率样本集遥感影像提供更丰富的细节，有效拓宽高分辨率滑坡数据集获取的路径，实现更多数据资源被充分利用，是本领域亟待解决的问题。
发明内容
为解决上述问题，本发明的目的在于提供一种滑坡遥感影像集超分辨率重建方法和系统，对滑坡遥感影像集进行超分辨率重建处理，该方法可以充分利用已有公开遥感影像数据集中的低分辨率滑坡遥感影像，实现低分辨率滑坡遥感影像分辨率提升，缓解滑坡遥感影像集分辨率不足与样本集数量过少的问题。
本发明具体方案如下：
一种滑坡遥感影像集超分辨率重建方法，包括如下步骤：
步骤（1）收集大量卫星遥感影像数据集与无人机遥感影像数据集；
步骤（2）对收集的上述数据集进行整理重组，获得初步训练样本集与迁移学习样本集；
步骤（3）构建基于ESRGAN的滑坡遥感影像超分辨率重建模型；
步骤（4）基于步骤（3）的模型进行初步训练，获取超分辨率重建模型初步训练权重；
步骤（5）以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型；
步骤（6）将待处理的影像输入到步骤（3）的滑坡遥感影像超分辨率重建模型中，滑坡遥感影像超分辨率重建模型加载步骤（5）的最终训练权重，获取超分辨率重建后影像，实现超分辨率重建。
充分利用已有公开遥感影像数据集中的低分辨率滑坡遥感影像，实现低分辨率滑坡遥感影像分辨率提升，为低分辨率样本集遥感影像提供更丰富的细节，有效拓宽高分辨率滑坡数据集获取的路径，实现更多数据资源被充分利用。
进一步地，步骤（1）中，部分数据进行遥感影像预处理与样本制作，具体为：对遥感影像进行辐射校正、几何校正、正射校正、几何配准、影像融合的预处理，以及滑坡区域影像裁剪的样本制作。
进一步地，步骤（2）中，根据数据集自身数据量情况进行数据集扩增，对数据集样本量情况进行分析，针对数据量过少的数据集进行数据扩增，数据扩增的方式包括亮度增强、亮度抑制、对比度增强、影像旋转、影像翻转。
进一步地，步骤（3）中，构建生成器、判别器、损失函数和内插模型，通过生成器进行浅层特征提取，进一步采用多层残差密集块结构进行密集特征提取，对尺度统一后的深层特征提取结果与浅层特征提取结果进行特征融合；
判别器采用相对平均判别器，提取经过生成器输出的伪影像与真实影像的影像特征，并比较相似程度，判别经过生成器输出的伪影像是否能达到真实影像的程度；通过损失函数将网络优化方向反馈给生成器与判别器。
进一步地，步骤（3）中，深层特征提取通过深层特征提取网络进行，深层特征提取网络中，N组基础模块包括多层残差密集块结构，密集块结构中的残差结构通过将输入信息或前一层卷积模块的输出信息分别叠加到当前特征提取网络后续的每一层卷积模块输入信息中，实现充分利用影像多层特征信息。
进一步地，步骤（4）中，以步骤（2）中所述初步训练样本集作为训练样本集，将训练样本集影像输入模型中，进行下采样操作，获取低分辨率训练集，将低分辨率训练集输入生成器中生成伪影像，通过判别器判断伪影像与真实影像的相似程度，每经过一个迭代，都会产生生成器与判别器的损失值，以损失值作为参考，以Adam作为优化器，实现模型内部参数优化；经过大量迭代，交替训练生成器和判别器，得到超分辨率重建模型初步训练权重。
进一步地，步骤（4）中，初步训练分为两个阶段，第一阶段面向PSNR的模型训练，第二阶段ESRGAN的训练模型，每个阶段具体包括以下步骤：
（4.1）将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
（4.2）将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
（4.3）分别计算两阶段中生成器与判别器的损失；
（4.4）通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化；
（4.5）重复上述步骤，直至到达迭代次数上限，获得初步训练权重。
进一步地，步骤（5）中，以步骤（2）中所述迁移学习训练样本集作为训练样本集，对步骤（4）中获得的初步训练权重进行微调，具体包括以下步骤：
（5.1）将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
（5.2）将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
（5.3）分别计算生成器与判别器的损失；
（5.4）通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化；
（5.5）重复上述步骤，直至到达迭代次数上限，获得最终训练权重。
另一方面，本发明还涉及一种滑坡遥感影像集超分辨率重建系统，包括采集器和处理器；
采集器收集大量卫星遥感影像数据集与无人机遥感影像数据集，处理器进行如下处理：
对收集的所述数据集进行整理重组，获得初步训练样本集与迁移学习样本集；构建基于ESRGAN的滑坡遥感影像超分辨率重建模型；基于构建的模型进行初步训练，获取超分辨率重建模型初步训练权重；以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型；将待处理低分辨率滑坡遥感影像集输入上述超分辨率重建模型中，实现滑坡遥感影像集超分辨率重建。
另一方面，本发明还涉及一种计算机系统，包括存储器、处理器以及在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述方法的步骤。
由此可见，与现有技术相比，本发明的有益效果具体如下：
本发明充分利用已有公开遥感影像数据集中的低分辨率滑坡遥感影像，实现低分辨率滑坡遥感影像分辨率提升，为低分辨率样本集遥感影像提供更丰富的细节，有效拓宽高分辨率滑坡数据集获取的路径，缓解滑坡遥感影像集分辨率不足与样本集数量过少的问题。
本发明基于生成对抗网络的影像超分辨率重建技术是基于深度学习方法下的影像分辨率提升方法，该方法会收集分析大量与待处理影像同类的影像特征，因此，重建后的影像具有更强的多样性，使重建后影像增加的信息更接近同类影像，传统的超分辨率重建技术通常只关注待处理的一景影像，以最近邻插值或其他插值方法实现影像分辨率提升；本发明采用整体内插模型结构，将面向PSNR模型、面向GAN模型加权串联起来，可以实现两阶段无缝训练，完成后再加入迁移学习训练，通过三次训练步骤实现更深层次的模型训练，实现更深层次的模型训练，重建后的影像特征相较于传统超分辨率重建方法更为丰富。
相较于背景技术中提到的三种滑坡数据集收集方法，本发明方法可以充分利用现有多源遥感影像数据，有效提高滑坡数据集数据量，缓解少量数据训练产生的过拟合情况，同时可以为低分辨率多源感影像数据提供更丰富的细节，为基于深度学习方法的多种任务提供更多的影像信息。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例系统的系统框图；
图2为本发明实施例滑坡遥感影像集超分辨率重建方法的流程图；
图3为本发明实施例滑坡遥感影像集超分辨率重建方法的示意图；
图4为本发明实施例滑坡遥感影像集超分辨率重建方法的生成器结构图；
图5为本发明实施例滑坡遥感影像集超分辨率重建方法的特征提取基础模块结构图；
图6为本发明实施例滑坡遥感影像集超分辨率重建方法的判别器结构图；
图7为本发明实施例滑坡遥感影像集超分辨率重建方法的内插模型结构示意图；
图8为本发明实施例滑坡遥感影像集超分辨率重建方法重建前后影像对比图。
具体实施方式
下面将结合本申请实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另外定义，本申请实施例中使用的技术术语或者科学术语应当为所属领域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发生变化。
如图1所示，本实施例的滑坡遥感影像集超分辨率重建系统，包括处理器、采集器、存储器和显示器。
其中，采集器采集无人机和地面站数据，采集大量卫星遥感影像数据集与无人机遥感影像数据集，卫星遥感影像数据通过遥感卫星采集，地面站处理后按照需求分发或申请获得，无人机遥感影像数据通过无人机采集获得。处理器对采集的数据进行处理。
存储器存储原始数据和处理结果，处理器也可以调用存储器的数据，显示器可以显示前后处理结果和处理过程。
上述的处理器可以是通用处理器，包括中央处理器、网络处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。
基于上述系统，本实施例的滑坡遥感影像集超分辨率重建方法，如图2与图3所示，包括以下步骤：
步骤（1）收集大量卫星遥感影像数据集与无人机遥感影像数据集，部分数据需要进行遥感影像预处理与样本制作工作。
其中，收集的数据集主要分为两类：公开数据集与自行采集数据集，自行采集数据集需要进行遥感影像预处理与样本制作工作；
对自行采集数据集需要进行遥感影像预处理与样本制作工作过程中，需对自行采集卫星遥感影像进行辐射校正、几何校正、正射校正、几何配准、影像融合等多种预处理，对预处理完成的遥感影像，通过目视识别方法搜索滑坡区域并裁剪目标区域影像，完成样本制作。
步骤（2）对收集获得的大量卫星遥感影像数据集与无人机遥感影像数据集进行整理重组。
整理重组的主要目的是为不同阶段的训练任务提供合适分辨率和内容的样本集，为此需构建初步训练样本集、迁移学习训练样本集、待处理样本集，训练样本集可以根据数据集自身数据量情况选择进行数据集扩增。具体数据集扩增方法可以是亮度调节、对比度调节、影像旋转、影像翻转、添加随机噪声、马赛克构图等其中一种或多种方法。
步骤（3）构建基于增强型超分辨率生成对抗网络（ESRGAN）的滑坡遥感影像集超分辨率重建模型。
构建的ESRGAN滑坡遥感影像集超分辨率重建模型，包括生成器、判别器、损失函数和内插模型。
如图4所示，生成器的主要结构包括浅层特征提取网络、深层特征提取网络、密集特征融合网络和上采样网络。
浅层特征提取网络包括一个卷积层Conv，实现从低分辨率影像中初步提取浅层特征。
深层特征提取网络是由N组基础模块串联构成，可以进一步对浅层特征进行密集特征提取。
密集特征融合网络是将尺度统一后的深层特征提取结果与浅层特征提取结果进行特征融合。
上采样网络包括依次连接的4倍上采样层、一个卷积层Conv、一个激活层LeakyRelu、一个卷积层Conv，其中，4倍上采样层由两个2倍上采样层组成，每个2倍上采样层包括依次连接的一个上采样层Interpolate、一个卷积层Conv、一个激活层LeakyRelu，当密集特征融合网络输出的特征融合影像输入到上采样网络中，数据依次经过上述多层网络处理，可以实现特征影像分辨率提升。
如图5所示，深层特征提取网络中N组基础模块包括多层残差密集块结构（Residual-in-Residual Dense Block，RRDB），RRDB结构由外而内分为全局残差结构与密集块结构，全局残差结构以每个密集块为基础单位，为每个信息传输分支添加缩放系数
Figure DEST_PATH_IMAGE001
，实现标准残差结构；多层残差密集块结构中的残差结构通过将输入信息或前一层卷积模块的输出信息分别叠加到当前特征提取网络后续的每一层卷积模块输入信息中，实现充分利用影像多层特征信息。
如图6所示，判别器将经过生成器输出的伪影像与真实影像分别通过VGG-19网络提取影像特征并比较相似程度，判别经过生成器输出的伪影像是否能达到真实影像的程度，比较相似程度过程以真实影像与伪影像间相对真实概率构建的相对平均判别器
Figure DEST_PATH_IMAGE002
作为主要参考指标，公式如下：
Figure DEST_PATH_IMAGE003
；
Figure DEST_PATH_IMAGE004
；
式中，
Figure DEST_PATH_IMAGE005
分别是真实影像与伪影像；
Figure DEST_PATH_IMAGE006
是小批量影像平均值；
Figure DEST_PATH_IMAGE007
是Sigmoid函数；
Figure DEST_PATH_IMAGE008
是判别器输出。
损失函数分为生成器损失函数与判别器损失函数；
生成器损失函数是用于反馈生成器训练情况好坏的重要参数，包括：内容损失、对抗损失、感知损失，生成器损失函数公式如下：
Figure DEST_PATH_IMAGE009
；
式中，
Figure DEST_PATH_IMAGE010
分别对应总体损失、内容损失、对抗损失、感知损失；
Figure DEST_PATH_IMAGE011
是平衡不同损失项的系数；
内容损失
Figure DEST_PATH_IMAGE012
通常指的是像素损失，即伪影像和真实影像的像素间损失。内容损失函数选用L1损失，L1损失计算公式如下：
Figure DEST_PATH_IMAGE013
；
式中，
Figure DEST_PATH_IMAGE014
表示伪影像
Figure DEST_PATH_IMAGE015
与真实影像
Figure DEST_PATH_IMAGE016
的1范数距离，
Figure DEST_PATH_IMAGE017
是输入的低分辨率影像；
对抗损失
Figure DEST_PATH_IMAGE018
是对抗性训练中产生的损失，公式如下：
Figure DEST_PATH_IMAGE019
；
感知损失
Figure DEST_PATH_IMAGE020
是通过特征提取网络提取伪影像与真实影像特征信息的特征差异损失，本实施例采用VGG-19激活层前的特征信息用于计算感知损失，公式如下：
Figure DEST_PATH_IMAGE021
；
式中，
Figure DEST_PATH_IMAGE022
表示VGG-19网络中第
Figure DEST_PATH_IMAGE023
个最大池化层之前的第
Figure DEST_PATH_IMAGE024
个卷积（激活前）的特征图；
Figure DEST_PATH_IMAGE025
和
Figure DEST_PATH_IMAGE026
是VGG网络的特征图维度。
判别器损失与生成器对抗损失对称，公式如下：
Figure DEST_PATH_IMAGE027
；
如图7所示，内插模型结构由面向GAN方法的模型、面向PSNR的模型两部分组成，通过为面向PSNR的模型与面向GAN方法的模型添加适当的权重，实现重建图像中噪声控制与感知质量的平衡，内插模型公式如下：
Figure DEST_PATH_IMAGE028
式中
Figure DEST_PATH_IMAGE029
分别是网络内插模型
Figure DEST_PATH_IMAGE030
，面向PSNR模型
Figure DEST_PATH_IMAGE031
，面向GAN模型
Figure DEST_PATH_IMAGE032
的参数；
Figure DEST_PATH_IMAGE033
是插值权重，
Figure DEST_PATH_IMAGE034
。
面向GAN的模型是由上述生成器、判别器、损失函数构成的模型；当损失函数只包括
Figure DEST_PATH_IMAGE035
时，构成面向PSNR的模型。
步骤（4）基于ESRGAN的滑坡遥感影像超分辨率重建模型进行初步训练，获取超分辨率重建模型初步训练权重。
以步骤（2）中所述初步训练样本集作为训练样本集，将训练样本集影像输入模型中，进行下采样操作，获取低分辨率训练集，将低分辨率训练集输入至生成器中生成伪影像，通过判别器判断伪影像与真实影像的相似程度，每经过一个迭代，都会产生生成器与判别器的损失值，以损失值作为参考，以Adam作为优化器，实现模型内部参数优化。经过大量迭代，交替训练生成器和判别器，得到超分辨率重建模型初步训练权重。
具体执行步骤（4）过程中，初步训练分为两个阶段，第一阶段为面向PSNR的模型训练，第二阶段为ESRGAN的训练模型，每个阶段具体可以包括以下步骤：
4.1、将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
4.2、将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
4.3、分别计算两阶段中生成器与判别器的损失，需要注意的是第一阶段中生成器损失
Figure DEST_PATH_IMAGE036
中仅包含内容损失，判别器损失为
Figure DEST_PATH_IMAGE037
；第二阶段中生成器损失
Figure 803875DEST_PATH_IMAGE036
中包含内容损失、对抗损失、感知损失，判别器损失为
Figure 517753DEST_PATH_IMAGE037
。
4.4、通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化。
4.5、重复上述步骤，直至到达迭代次数上限，获得初步训练权重。
步骤（5）以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型。
以步骤（2）中所述迁移学习训练样本集作为训练样本集，具体训练过程与步骤（4）中类似，但仅需要进行小批次迭代，对网络进行微调。
具体的，利用迁移学习训练样本集对步骤（4）中获得的初步训练权重进行微调，可以包括以下步骤：
5.1、将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
5.2、将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
5.3、分别计算生成器与判别器的损失，生成器损失
Figure 31911DEST_PATH_IMAGE036
中包含内容损失、对抗损失、感知损失，判别器损失为
Figure 709011DEST_PATH_IMAGE037
。
5.4、通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化。
5.5、重复上述步骤，直至到达迭代次数上限，获得最终训练权重。
应用时，使用步骤（5）训练完成的超分辨率重建模型对待处理影像进行超分辨率重建，获取超分辨率重建后影像。
可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述所示实施例的方法。
可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述所示实施例的方法。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述实施例的方法。
作为具体应用实例，本实施例的软件环境采用的操作系统为Windows10，使用Anaconda3搭建的python3.7的环境，主要基于Pytorch、BasicSR框架进行训练和应用。
基于本实施例的方法，具体按以下进行：
步骤（1）收集获取公开数据集与自行采集数据集。
公开数据集具体包括：
由草地、植被、山体等滑坡相关要素图片组成的公开数据集1，本实施例中采用数据量充足的DIV2K数据集、Flickr2K数据集、OST数据集作为公开数据集1主要来源，DIV2K数据集、Flickr2K数据集中图片分辨率至少达到2K，用于保证超分辨率重建细节内容学习，OST数据集具备图片多样性的特点，可用于提高公开数据集1丰富程度；
由卫星低分辨率遥感影像滑坡样本集组成的公开数据集2，这部分数据由大量过往多源滑坡遥感影像构成，本实施例中采用毕节滑坡数据集中的光学遥感影像，数据集中大多数遥感影像分辨率不超过300x300；
由无人机高分辨率遥感影像滑坡样本集组成的公开数据集3，本实施例中采用四川高精度航空影像集中的滑坡影像部分，数据集中影像分辨率均为1181x1181。
自行采集数据集具体包括：
由卫星低分辨率遥感影像滑坡样本集组成的自行采集数据集1，本实施例中采用由云南南景高速公路区域高分二号遥感影像中裁剪获得的滑坡影像。
步骤（2），对步骤（1）所述的公开数据集1、2、3与自行采集数据集1，共计4组数据集进行整理重组，构建训练样本集与待处理样本集；
训练样本集包括：由公开数据集1组成的初步训练样本集、由公开数据集3组成的迁移学习训练样本集；
待处理样本集包括：公开数据集2、自行采集数据集1。
本实施例中所述迁移学习训练样本集采用的四川高精度航空影像集中的滑坡影像部分仅有59张，数据量过少，因此，采用现有的亮度增强、亮度抑制、对比度增强、影像旋转、影像翻转数据扩增方法，以其中40张影像作为基础进行迁移学习训练样本集扩增，最终获得扩增后滑坡训练数据集276张。
步骤（3），主体框架参数基础模块数量采用23组，缩放系数
Figure DEST_PATH_IMAGE038
选用0.2，内插模型系数
Figure DEST_PATH_IMAGE039
选用0.6，所有参数适用于步骤（5）与步骤（6）。
步骤（4），基于ESRGAN的滑坡遥感影像超分辨率重建模型进行初步训练，获取超分辨率重建模型初步训练权重。
具体初步训练参数如表1所示。
表1初始权重训练参数
Figure DEST_PATH_IMAGE040
步骤（5），利用迁移学习训练样本集对步骤（4）中获得的初步训练权重进行微调。
具体初步训练参数如表2所示。
表2微调权重训练参数
Figure DEST_PATH_IMAGE041
采用步骤（5）中获得的最终权重构建模型，将待处理影像输入至网络模型中，最终获得超分辨率重建后的新影像集。
为了定量描述各方法下影像超分辨率重建质量，采用PSNR与SSIM作为评价指标。其中，PSNR指标数值越大，表示重建质量越好，SSIM指标越接近1，表示重建质量越好，具体如表3所示。
表3验证集评价结果
Figure DEST_PATH_IMAGE042
通过表3可以发现，基于内插模型下迁移学习的ESRGAN模型在PSNR与SSIM评价指标上均取得了最高的分数。相较于未改进网络结构的原始SRGAN模型PSNR和SSIM分别提升了0.48dB、0.03；相较于未采用内插模型下迁移学习的ESRGAN模型PSNR和SSIM分别提升了1.57dB、0.07。
通过定量分析，证明基于内插模型与高清滑坡影像集迁移学习的ESRGAN模型更适合于对低分辨率滑坡遥感影像集进行超分辨率重建，云南南景高速公路滑坡影像集（a）、毕节市滑坡影像集（b）~（e）部分重建结果如图8所示，（a）~（e）五组对比影像中，超分辨率重建后影像较好的还原了滑坡体内部纹理细节与分界边缘，影像周边植被与土壤纹理细节均得到较好的还原，提高了影像整体分辨率，满足为深度学习提供数据集的要求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种滑坡遥感影像集超分辨率重建方法，其特征在于：包括如下步骤：
步骤（1）收集大量卫星遥感影像数据集与无人机遥感影像数据集；
步骤（2）对收集的上述数据集进行整理重组，获得初步训练样本集与迁移学习样本集；
步骤（3）构建基于ESRGAN的滑坡遥感影像超分辨率重建模型；
步骤（4）基于步骤（3）的模型进行初步训练，获取超分辨率重建模型初步训练权重；
步骤（5）以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型；
步骤（6）将待处理的影像输入到步骤（3）的滑坡遥感影像超分辨率重建模型中，滑坡遥感影像超分辨率重建模型加载步骤（5）的最终训练权重，获取超分辨率重建后影像，实现超分辨率重建。
2.根据权利要求1所述的方法，其特征在于：步骤（1）中，部分数据进行遥感影像预处理与样本制作，具体为：对遥感影像进行辐射校正、几何校正、正射校正、几何配准、影像融合的预处理，以及滑坡区域影像裁剪的样本制作。
3.根据权利要求1所述的方法，其特征在于：步骤（2）中，根据数据集自身数据量情况进行数据集扩增，对数据集样本量情况进行分析，针对数据量过少的数据集进行数据扩增，数据扩增的方式包括亮度增强、亮度抑制、对比度增强、影像旋转、影像翻转。
4.根据权利要求1所述的方法，其特征在于：步骤（3）中，构建生成器、判别器、损失函数和内插模型，通过生成器进行浅层特征提取，进一步采用多层残差密集块结构进行密集特征提取，对尺度统一后的深层特征提取结果与浅层特征提取结果进行特征融合；
判别器采用相对平均判别器，提取经过生成器输出的伪影像与真实影像的影像特征，并比较相似程度，判别经过生成器输出的伪影像是否能达到真实影像的程度；通过损失函数将网络优化方向反馈给生成器与判别器。
5.根据权利要求4所述的方法，其特征在于：步骤（3）中，深层特征提取通过深层特征提取网络进行，深层特征提取网络中，N组基础模块包括多层残差密集块结构，密集块结构中的残差结构通过将输入信息或前一层卷积模块的输出信息分别叠加到当前特征提取网络后续的每一层卷积模块输入信息中，实现充分利用影像多层特征信息。
6.根据权利要求1所述的方法，其特征在于：步骤（4）中，以步骤（2）中所述初步训练样本集作为训练样本集，将训练样本集影像输入模型中，进行下采样操作，获取低分辨率训练集，将低分辨率训练集输入生成器中生成伪影像，通过判别器判断伪影像与真实影像的相似程度，每经过一个迭代，都会产生生成器与判别器的损失值，以损失值作为参考，以Adam作为优化器，实现模型内部参数优化；经过大量迭代，交替训练生成器和判别器，得到超分辨率重建模型初步训练权重。
7.根据权利要求6所述的方法，其特征在于：步骤（4）中，初步训练分为两个阶段，第一阶段面向PSNR的模型训练，第二阶段ESRGAN的训练模型，每个阶段具体包括以下步骤：
（4.1）将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
（4.2）将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
（4.3）分别计算两阶段中生成器与判别器的损失；
（4.4）通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化；
（4.5）重复上述步骤，直至到达迭代次数上限，获得初步训练权重。
8.根据权利要求1所述的方法，其特征在于：步骤（5）中，以步骤（2）中所述迁移学习训练样本集作为训练样本集，对步骤（4）中获得的初步训练权重进行微调，具体包括以下步骤：
（5.1）将训练样本集进行下采样操作，获得低分辨率训练样本集，将低分辨率训练样本集输入滑坡遥感影像超分辨率重建模型的生成器中，生成伪影像；
（5.2）将伪影像输入至判别器中，通过VGG-19网络分别对伪影像与原始训练样本集对应影像进行特征信息提取；
（5.3）分别计算生成器与判别器的损失；
（5.4）通过Adam优化器分析损失值，确定网络内权重优化方向，实现网络权重优化；
（5.5）重复上述步骤，直至到达迭代次数上限，获得最终训练权重。
9.一种滑坡遥感影像集超分辨率重建系统，其特征在于：包括采集器和处理器；
采集器收集大量卫星遥感影像数据集与无人机遥感影像数据集，处理器进行如下处理：
对收集的所述数据集进行整理重组，获得初步训练样本集与迁移学习样本集；构建基于ESRGAN的滑坡遥感影像超分辨率重建模型；基于构建的模型进行初步训练，获取超分辨率重建模型初步训练权重；以上述初步训练权重作为初始训练权重，基于ESRGAN的滑坡遥感影像超分辨率重建模型进行迁移学习训练，获取超分辨率重建模型最终权重，建立训练完成的超分辨率重建模型；将待处理低分辨率滑坡遥感影像集输入上述超分辨率重建模型中，实现滑坡遥感影像集超分辨率重建。
10.一种计算机系统，包括存储器、处理器以及在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述权利要求1至8中任一项所述方法的步骤。
CN202211108488.0A 2022-09-13 2022-09-13 一种滑坡遥感影像集超分辨率重建方法和系统 Pending CN115187463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211108488.0A CN115187463A (zh) 2022-09-13 2022-09-13 一种滑坡遥感影像集超分辨率重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211108488.0A CN115187463A (zh) 2022-09-13 2022-09-13 一种滑坡遥感影像集超分辨率重建方法和系统

Publications (1)

Publication Number Publication Date
CN115187463A true CN115187463A (zh) 2022-10-14

Family

ID=83524737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211108488.0A Pending CN115187463A (zh) 2022-09-13 2022-09-13 一种滑坡遥感影像集超分辨率重建方法和系统

Country Status (1)

Country Link
CN (1) CN115187463A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229287A (zh) * 2023-05-10 2023-06-06 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260557A (zh) * 2020-01-21 2020-06-09 中国工程物理研究院激光聚变研究中心 一种基于深度学习的远距离目标超分辨成像方法
CN113298718A (zh) * 2021-06-22 2021-08-24 云南大学 一种单幅图像超分辨率重建方法及系统
CN113487482A (zh) * 2021-07-01 2021-10-08 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113516591A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 一种遥感影像超分辨率重建方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260557A (zh) * 2020-01-21 2020-06-09 中国工程物理研究院激光聚变研究中心 一种基于深度学习的远距离目标超分辨成像方法
CN113298718A (zh) * 2021-06-22 2021-08-24 云南大学 一种单幅图像超分辨率重建方法及系统
CN113487482A (zh) * 2021-07-01 2021-10-08 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113516591A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 一种遥感影像超分辨率重建方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINTAO WANG .ETC: "ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION（ECCV）》 *
孙锐等: "基于通道注意力与迁移学习的红外图像超分辨率重建算法", 《光电工程》 *
方留杨等: "分块变化和GPU并行的遥感影像快速正射校正方法", 《航天返回与遥感》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229287A (zh) * 2023-05-10 2023-06-06 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法
CN116229287B (zh) * 2023-05-10 2023-07-21 中国科学院合肥物质科学研究院 基于复杂林地环境的遥感亚像元疫木检测方法

Similar Documents

Publication Publication Date Title
CN109255755B (zh) 基于多列卷积神经网络的图像超分辨率重建方法
CN113888550B (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN111986099A (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN102800074B (zh) 基于轮廓波变换的sar图像变化检测差异图生成方法
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN117830788A (zh) 一种多源信息融合的图像目标检测方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN114841961A (zh) 基于图像增强和改进YOLOv5的小麦赤霉病检测方法
CN117557774A (zh) 一种基于改进YOLOv8的无人机图像小目标检测方法
CN115187463A (zh) 一种滑坡遥感影像集超分辨率重建方法和系统
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN116363036A (zh) 基于视觉增强的红外与可见光图像融合方法
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN118212129A (zh) 基于双线性解混的高光谱遥感图像多源融合超分方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN117690019A (zh) 一种基于双域网络的sar图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221014