CN112052741A - 一种基于edsr技术的夜光遥感影像数据处理方法及系统 - Google Patents

一种基于edsr技术的夜光遥感影像数据处理方法及系统 Download PDF

Info

Publication number
CN112052741A
CN112052741A CN202010799554.8A CN202010799554A CN112052741A CN 112052741 A CN112052741 A CN 112052741A CN 202010799554 A CN202010799554 A CN 202010799554A CN 112052741 A CN112052741 A CN 112052741A
Authority
CN
China
Prior art keywords
edsr
remote sensing
image data
data processing
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010799554.8A
Other languages
English (en)
Inventor
陈嘉琪
陈仕琦
李天河
刘海韵
平学伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010799554.8A priority Critical patent/CN112052741A/zh
Publication of CN112052741A publication Critical patent/CN112052741A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于EDSR技术的夜光遥感影像数据处理方法及系统，处理方法包括如下步骤：筛选并卫星图像；对年度云量处于0～8％的卫星图像作预处理；训练EDSR模型；将预处理后的卫星图像作为EDSR模型的输入；EDSR模型输出结果，并提供处理系统。本发明在充分利用了夜光遥感图像数据的基础上，采用基于单图像超分辨率的增强深残差网络，进一步提高了卫星夜光影像数据的分辨率，对后续应用珞珈图像作分析有重要意义。

Description

一种基于EDSR技术的夜光遥感影像数据处理方法及系统
技术领域
本发明涉及一种夜光遥感影像数据处理方法及系统，尤其涉及一种基于EDSR技术的夜光遥感影像数据处理方法及系统。
背景技术
上世纪90年代后期以来，夜间照明(Nighttime Light，NTL)遥感卫星图像已被证明与多种社会经济参数相关，如城市化、地区生产总值和人口等。基于遥感手段获取的夜光遥感影像可以为人类活动相关的居民地和社会经济活动变化提供相对均匀、连续、多时相、空间位置明确的空间化信息，因而被广泛地应用于评估城市的经济与人口、电力消耗、建成区范围、碳排放和光污染等诸多方面。
目前应用于地表夜光观测的卫星较少，一种是美国国家航空航天局(NationalAeronautics and Space Administration，NASA)美国海洋和大气管理局国家地球物理数据中心(National Oceanic and Atmospheric Administration’s National GeophysicalData Center，NOAA/NGDC,提供的国防气象卫星计划的线性扫描业务系统(DefenseMeteorological Satellite Program’s Operational Linescan System，DMSP/OLS)数字影像数据，一种是NOAA/NGDC在2013年初发布了由国家极地-轨道合作伙伴(SuomiNational Polar-Orbiting Partnership，NPP)卫星携带的可见红外成像辐射仪系统(theVisible Infrared Imaging Radiometer Suite，VIIRS)感测到的新一代夜间光数据，还有一种是于2018年6月2日发射的珞珈一号卫星，作为全球首颗专业夜光遥感卫星，“珞珈一号”搭载了高灵敏度夜光相机，其精度达到地面分辨率130米，夜间能看见长江上所有亮灯的大桥，获取精度远高于当前美国卫星的夜景图片。与前两种数据源相比，珞珈一号夜间影像数据在成像质量、拍摄周期、拍摄精度上均有一定程度的提高，然而一定程度上火光、气体燃烧、火山和极光、背景噪声等问题仍未过滤干净。
发明内容
发明目的：本发明的第一目的为提供一种提高图像分辨率的基于EDSR技术的夜光遥感影像数据处理方法，本发明的第二目的为提供一种基于EDSR技术的夜光遥感影像数据处理系统。
技术方案：本发明的基于EDSR技术的夜光遥感影像数据处理方法，包括如下步骤：
(1)筛选并卫星图像；
(2)对年度云量处于0～8％的卫星图像作预处理；
(3)训练EDSR模型；
(4)将预处理后的卫星图像作为EDSR模型的输入；
(5)EDSR模型输出结果。
训练EDSR模型主要包括修改残差网络和设置多尺度模型：SRResnet(残差网络结构)的提出是为了解决high-level问题，而不能直接套用到low-level视觉(如超分辨)问题上，因而原始SRResnet结构中一些不必要的模块可以移除，从而提高网络训练效率；不同尺度下大部分参数都是共用的，保证模型在处理每一个单尺度超分辨下都能有很好的效果。
与SRResNet相比，EDSR最有意义的模型性能提升在于去除了SRResNet多余的模块，从而可以扩大模型的尺寸来提升结果质量。EDSR的网络结构如附图1所示。
进一步地，步骤(2)中，预处理包括辐射定标、拼接、裁剪、几何校正和大气校正。
步骤(2)的具体步骤如下：
对年度云量处于0～8％的卫星图像做辐射定标处理、大气校正、拼接和裁剪。
步骤(3)中，EDSR模型的训练包括修改残差网络和设置多尺度模型。
SRResnet(残差网络结构)的提出是为了解决high-level问题，而不能直接套用到low-level视觉(如超分辨)问题上，因而原始SRResnet结构中一些不必要的模块可以移除，从而提高网络训练效率；不同尺度下大部分参数都是共用的，保证模型在处理每一个单尺度超分辨下都能有很好的效果。
步骤(3)的具体步骤如下：
损失函数使用L1，移除SRResnet的批规范化处理和relu，残差缩放，得到EDSR的训练模型。
EDSR采用L1范数样式的损失函数来优化网络模型：在机器学习实践中，我们可能需要在神秘的L1和L2中做出选择。通常的两个决策为：1)L1范数vs L2范数的损失函数；2)L1正则化vs L2正则化。其中L1范数损失函数，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。
EDSR模型训练中，把目标值Yi与估计值f(xi)的绝对差值的总和S最小化，计算公式如下：
Figure BDA0002626885270000021
式中，n为像素点的个数。
由于批规范化层(BN层)消耗了与它前面的卷积层相同大小的内存，因而去掉这一操作后训练时可以节约大概40％的空间。相同的计算资源下，EDSR可堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。此外残差块过多会导致训练不稳定，因此此处采取residual scaling的方法，即残差块在相加前，经过卷积处理的一路乘以一个小数，这样可以保证训练更加稳定。
步骤(3)中，在训练时先训练0～50倍的上采样模型，接着用训练上采样模型得到的参数来初始化51～200倍的上采样模型。
步骤(2)中，预处理采用几何自系综方法：即测试时，把图像90度旋转以及翻转，总共有8种不同的图像，分别进训练完毕的EDSR网络再变换回原始位置，8张图像再取平均。该方法可使测试结果略有提高。
本发明的基于EDSR技术的夜光遥感影像数据处理系统，包括数据存储模块、数据处理模块和数据输出模块，数据处理模块用于对卫星图像进行筛选、预处理和EDSR模型训练，数据存储模块用于对筛选、预处理和EDSR模型训练后的卫星图像进行存储，所述数据输出模块用于从数据存储模块提取卫星图像并输出。
有益效果：与现有技术相比，本发明具有如下显著优点：采用基于单图像超分辨率的增强深残差网络，进一步提高了卫星夜光影像数据的分辨率，对后续应用珞珈图像作分析有重要意义。
附图说明
图1是原始残差网络，深度卷积残差网络以及EDSR残差网络的结构对比；
图2是本发明的总体流程图；
图3是EDSR模块的结构示意图；
图4(a)-(b)是上海市珞珈一号图像输入输出对比，图4(a)是上海市珞珈一号图像输入图，图4(b)是上海市珞珈一号图像输出图。
具体实施方式
下面结合实施例对本发明的技术方案作进一步说明。
如图1-3、图4(a)和图4(b)所示，本发明的基于EDSR技术的夜光遥感影像数据处理方法，包括如下步骤：
(1)从珞珈一号官网筛选并下载2018年12月份的上海市的珞珈图像；
(2)对下载好的年度云量处于0～8％的上海市原始珞珈图像作预处理，包括输入图像、辐射定标、裁剪、几何校正、大气校正等步骤；
(3)EDSR模型的训练：主要包括修改残差网络和设置多尺度模型：SRResnet(残差网络结构)的提出是为了解决high-level问题，而不能直接套用到low-level视觉(如超分辨)问题上，因而原始SRResnet结构中一些不必要的模块可以移除，从而提高网络训练效率；不同尺度下大部分参数都是共用的，保证模型在处理每一个单尺度超分辨下都能有很好的效果。
(4)将上述步骤(2)中预处理完毕的上海市珞珈一号图像作为步骤(3)中得到的EDSR模型的输入
(5)得到的(4)中EDSR模型的输出结果即为分辨率提高后的上海市珞珈一号数据。
对步骤(2)中对年度云量处于0～8％的上海市原始珞珈图像作预处理的具体步骤如下：
(2.1)对低云量珞珈一号影像做辐射定标处理；
(2.2)对步骤(2.1)所得影像作大气校正；
(2.3)对步骤(2.2)所得影像进行拼接和裁剪，得到训练样本城市即上海市的珞珈一号预处理影像。
对步骤(3)中对EDSR模型训练的具体步骤如下：
(3.1)实验数据的准备：实验数据用的是NTIRE2017超分辨率挑战赛提供的DIV2K，其中包括800张训练图像，100张验证图像以及100张测试图像，每张图像的分辨率都是2k。
(3.2)模型训练：损失函数用L1而不是L2，源码用torch7封装。此处采用与SRResnet较为相似的结构，但移除了批规范化处理(batch normalization,BN)BN和大多数relu(原本只存在于SRResnet模块中)，已知原始的ResNet最一般用来解决高层的计算机视觉问题，如分类和检测等，直接将其应用于类似超分辨率这样的低层计算机视觉问题，显然不是最优的。由于批规范化层(BN层)消耗了与它前面的卷积层相同大小的内存，因而去掉这一操作后训练时可以节约大概40％的空间。相同的计算资源下，EDSR可堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。此外残差块过多会导致训练不稳定，因此此处采取residual scaling的方法，即残差块在相加前，经过卷积处理的一路乘以一个小数(此处设置为0.1)，这样可以保证训练更加稳定。
最终确定训练版本包含B＝32个残差块，F＝256个通道。并且在训练*3，*4模型时，采用*2的预训练参数，即得到称之为EDSR的训练模型。
EDSR采用L1范数样式的损失函数来优化网络模型：在机器学习实践中，我们可能需要在神秘的L1和L2中做出选择。通常的两个决策为：1)L1范数vs L2范数的损失函数；2)L1正则化vs L2正则化。其中L1范数损失函数，也被称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)。总的说来，它是把目标值(Yi)与估计值(f(xi))的绝对差值的总和(S)最小化：
Figure BDA0002626885270000041
在训练时先训练低倍数的上采样模型，接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也更好。
(3.3)图像预处理：将测试图像减去DIV2K的总平均值。此处采用Geometric Self-ensemble(几何自系综)方法：即测试时，把图像90度旋转以及翻转，总共有8种不同的图像，分别进训练完毕的EDSR网络再变换回原始位置，8张图像再取平均。该方法可使测试结果略有提高。
本发明的基于EDSR技术的夜光遥感影像数据处理系统，包括数据存储模块、数据处理模块和数据输出模块，数据处理模块用于对卫星图像进行筛选、预处理和EDSR模型训练，数据存储模块用于对筛选、预处理和EDSR模型训练后的卫星图像进行存储，所述数据输出模块用于从数据存储模块提取卫星图像并输出。

Claims (9)

1.一种基于EDSR技术的夜光遥感影像数据处理方法，其特征在于，包括如下步骤：
(1)筛选并下载卫星图像；
(2)对年度云量处于0～8％的卫星图像作预处理；
(3)训练EDSR模型；
(4)将预处理后的卫星图像作为EDSR模型的输入；
(5)EDSR模型输出结果。
2.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于：步骤(2)中，所述预处理包括辐射定标、拼接、裁剪、几何校正和大气校正。
3.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于，步骤(2)的具体步骤如下：
对年度云量处于0～8％的卫星图像做辐射定标处理、大气校正、拼接和裁剪。
4.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于：步骤(3)中，所述EDSR模型的训练包括修改残差网络和设置多尺度模型。
5.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于，步骤(3)的具体步骤如下：损失函数使用L1，移除SRResnet的批规范化处理和relu，残差缩放，得到EDSR的训练模型。
6.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于：所述EDSR模型训练中，把目标值Yi与估计值f(xi)的绝对差值的总和S最小化，计算公式如下：
Figure FDA0002626885260000011
式中，n为像素点的个数。
7.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于：步骤(3)中，在训练时先训练0～50倍的上采样模型，接着用训练上采样模型得到的参数来初始化51～200倍的上采样模型。
8.根据权利要求1所述基于EDSR技术的夜光遥感影像数据处理方法，其特征在于：步骤(2)中，所述预处理采用几何自系综方法。
9.一种基于EDSR技术的夜光遥感影像数据处理系统，其特征在于：包括数据存储模块、数据处理模块和数据输出模块，数据处理模块用于对卫星图像进行筛选、预处理和EDSR模型训练，数据存储模块用于对筛选、预处理和EDSR模型训练后的卫星图像进行存储，所述数据输出模块用于从数据存储模块提取卫星图像并输出。
CN202010799554.8A 2020-08-11 2020-08-11 一种基于edsr技术的夜光遥感影像数据处理方法及系统 Withdrawn CN112052741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010799554.8A CN112052741A (zh) 2020-08-11 2020-08-11 一种基于edsr技术的夜光遥感影像数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010799554.8A CN112052741A (zh) 2020-08-11 2020-08-11 一种基于edsr技术的夜光遥感影像数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN112052741A true CN112052741A (zh) 2020-12-08

Family

ID=73602761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010799554.8A Withdrawn CN112052741A (zh) 2020-08-11 2020-08-11 一种基于edsr技术的夜光遥感影像数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN112052741A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782255A (zh) * 2022-06-16 2022-07-22 武汉大学 一种基于语义的夜光遥感影像高分辨率重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782255A (zh) * 2022-06-16 2022-07-22 武汉大学 一种基于语义的夜光遥感影像高分辨率重建方法

Similar Documents

Publication Publication Date Title
Jiang et al. Edge-enhanced GAN for remote sensing image superresolution
CN111310592B (zh) 一种基于场景分析和深度学习的检测方法
CN112365467B (zh) 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN108961199A (zh) 多源遥感数据时空融合方法及装置
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN112052741A (zh) 一种基于edsr技术的夜光遥感影像数据处理方法及系统
CN113705340B (zh) 一种基于雷达遥感数据的深度学习变化检测方法
CN110174714B (zh) 基于机器学习的街道空间日照时数批量化测量方法及系统
CN109344769A (zh) 一种基于遥感影像的光伏电站检测方法及系统
Huang et al. Black and Odorous Water Detection of Remote Sensing Images Based on Improved Deep Learning
CN112465710A (zh) 一种基于evi数据的夜间灯光数据校正方法
CN114782255B (zh) 一种基于语义的夜光遥感影像高分辨率重建方法
Zhang et al. Enhanced resolution of FY4 remote sensing visible spectrum images utilizing super-resolution and transfer learning techniques
CN116309225A (zh) 一种基于卷积神经网络的轻量化多光谱图像融合模型构建方法
CN115661451A (zh) 一种深度学习单帧红外弱小目标高分辨率分割方法
CN116342898A (zh) 一种冰风洞中翼型结冰区域检测方法、装置、设备和存储介质
CN114913430A (zh) 一种基于高分影像和Unet阴影检测的物体高度识别方法
CN114580573A (zh) 一种基于图像的云量、云状、天气现象反演装置及方法
CN112785629A (zh) 一种基于无监督深度光流网络的极光运动表征方法
Wang et al. A New Remote Sensing Change Detection Data Augmentation Method based on Mosaic Simulation and Haze Image Simulation
Fu et al. Super-Resolution Reconstruction of Remote Sensing Images Using Generative Adversarial Network With Shallow Information Enhancement
Liang et al. MCSDNet: Mesoscale Convective System Detection Network via Multi-scale Spatiotemporal Information
CN117853738B (zh) 一种用于对茶叶分级的图像处理方法及设备
CN116416364B (zh) 城市场景空间可变环境光照的数据采集与估计方法及装置
Sun et al. StGAN: A Novel Symbolic Signal Decomposition Base on GANs and Swin Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201208