CN114820304A - 基于改进srgan的超分辨率夜光图像重构方法 - Google Patents
基于改进srgan的超分辨率夜光图像重构方法 Download PDFInfo
- Publication number
- CN114820304A CN114820304A CN202210299339.0A CN202210299339A CN114820304A CN 114820304 A CN114820304 A CN 114820304A CN 202210299339 A CN202210299339 A CN 202210299339A CN 114820304 A CN114820304 A CN 114820304A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- improved
- noctilucent
- srgan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- DFPOZTRSOAQFIK-UHFFFAOYSA-N S,S-dimethyl-beta-propiothetin Chemical compound C[S+](C)CCC([O-])=O DFPOZTRSOAQFIK-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进SRGAN的超分辨率夜光图像重构方法，包括如下步骤：(1)筛选出年度云量在10％以下的夜光图像并下载；(2)对夜光图像进行预处理操作；(3)构建改进SRGAN网络模型；(4)构建总体损失函数并训练模型；(5)将预处理后的夜光图像输入模型，输出对应的高分辨率夜光重构图像。本发明在充分利用了夜光遥感图像数据的基础上，采用基于超分辨率的改进型残差网络，进一步提高了卫星夜光影像数据的分辨率，对后续应用夜光图像作分析有重要意义。
Description
技术领域
本发明涉及夜光遥感影像数据处理技术领域，尤其是一种基于改进SRGAN的超分辨率夜光图像重构方法。
背景技术
人们使用的遥感数据大多都来源于白天拍摄，光线充足，能够清楚地反映出地表情况，如城市建筑分布、植被覆盖范围、河流走向等等。同时，也存在着部分遥感数据是在夜间拍摄获取的。经济发展、科技进步，夜间的黑暗已然无法束缚人类，从蜡烛到日光灯再到霓虹灯，夜晚的人类社会也散发着夺目的光芒。当夜间无云时，利用遥感技术对地表进行观测，捕捉各种灯光、火点等可见光辐射源，便可形成夜光遥感数据。通过研究夜光数据可以了解人类活动、估算社会经济参数和监测油气田燃烧，总的来说，夜光数据方面的研究方向也很广泛。
目前研究中用的比较多的有两种夜光遥感数据：DMSP/OLS(DefenseMeteorological Satellite Program’s Operational Linescan System)和NPP/VIIRS(Suomi National Polar-Orbiting Partnership/the Visible Infrared ImagingRadiometer Suite)。DMSP/OLS是第一代夜光数据，在上个世纪，美国航天局NASA、海洋和大气管理局国家地球物理数据中心共同发布了国防气象卫星计划，而DMSP/OLS数据则是来源于此计划搭载的线性扫描系统传感器，分辨率约为1km，能清楚地反映灯光、火光等。NPP/VIIRS是第二代夜光数据，由美国国家极地-轨道合作伙伴卫星搭载的可见红外成像辐射仪探测所得，分辨率约500m，比DMSP/OLS更加精确。两种数据各有利弊，DMSP/OLS具有更长的时间序列(1992～2013年)，由不同的6颗卫星获取，分别是F10,F12,F14,F15,F16,F18，因为使用的卫星不同，存在着兼容性和稳定性问题，需要进行预处理手段才能使用。NPP/VIIRS则能反映更多的细节，但时间跨度就比不上DMSP/OLS。
发明内容
本发明所要解决的技术问题在于，提供一种基于改进SRGAN的超分辨率夜光图像重构方法，进一步提高了卫星夜光影像数据的分辨率，对后续应用夜光图像作分析有重要意义。
为解决上述技术问题，本发明提供一种基于改进SRGAN的超分辨率夜光图像重构方法，包括如下步骤：
(1)筛选出年度云量在10％以下的夜光图像并下载；
(2)对夜光图像进行预处理操作；
(3)构建改进SRGAN网络模型；
(4)构建总体损失函数并训练模型；
(5)将预处理后的夜光图像输入改进型SRGAN网络模型，输出对应的高分辨率夜光重构图像。
优选的，步骤(2)中，预处理操作包括辐射定标、大气校正、几何校正、去噪和去临时灯光。
优选的，步骤(2)中，对夜光图像进行预处理操作具体为：对夜光数据进行裁剪，加载全部栅格数据，将影像灰度值DN值小于0的值设置为0，转换坐标系为WGS1984，导入控制点周围的一些区域的稳定影像进行地理配准，在栅格计算器中输入公式进行辐射亮度转换：
其中，L为绝对辐射校正后的辐射亮度值，单位为W/(m2·sr·μm)，DN为影像灰度值。
优选的，步骤(3)中，改进SRGAN网络模型包括生成器和判别器，生成器学习真实样本分布用以生成高度相似的数据传递给判别器，判别器对生成的假样本进行二分类，判断是否为真实数据，用以指导生成器的训练。
优选的，步骤(3)中，生成器网络结构为：一层9×9的卷积层对输入图像提取特征，16层改进型残差卷积，每个残差块包括两个1×1卷积层和一个3×3卷积层，2次2倍反卷积缩放，tanh缩放，最后生成结果，移除增加网络参数量的批规一化层，在每个残差块以及判别器的浅层和深层后加入GCNet模块，激活函数选择为Leaky ReLU。
优选的，步骤(3)中，判别器网络结构为：浅层和深层均采用卷积层+Leaky ReLU的形式，并在后面加入GCNet模块，然后通过全连接层+Sigmoid得到二分类输出供生成器选择数据。
优选的，步骤(4)中，损失函数由生成对抗损失和均方误差损失MSE构成，生成对抗损失为
其中，
代表的是生成图像属于真正的高分辨率图像的概率，
代表的是重建生成的高清分辨率图像；
其中，W和H分别代表图像的宽和高，
代表高分辨率图像，ILR代表低分辨图像。
总体损失函数为
LALL＝LGAN+LMSE。
本发明的有益效果为：本发明对SRGAN模型的残差模块替换为了改进型残差模块，提高了网络的性能，实现了城市灯光发展与深度学习的结合应用，改进型SRGAN模型生成的夜光图像的分辨率更高；去除生成器网络中的批归一化层，降低了计算复杂度，减少计算复杂度可以大大缩减网络的训练和测试时间；提高夜光图像的分辨率可以拓展应用领域范围，在一些需要更高分辨率的领域如城市道路灯光的识别提取等得以应用。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的生成器结构示意图。
图3为本发明的判别器结构示意图。
图4为本发明的原始残差网络、深度卷积残差网络和改进型残差网络的结构对比示意图。
具体实施方式
如图1-4所示，一种基于改进SRGAN的超分辨率夜光图像重构方法，包括如下步骤：
(1)从NASA官网筛选并下载2020年2月份的深圳市的NPP图像；
(2)对下载好的年度云量处于10％以下的深圳市原始NPP图像作预处理，包括辐射定标、大气校正、几何校正、去噪和去临时灯光等步骤；
(3)构建改进SRGAN网络模型：主要包括使用改进型残差模块替换原始残差模块，去除掉不必要的BN层以提高网络训练效率，在生成器的每个残差模块、判别器的深层和浅层后都加入GCNet模块，使用DIV2K数据集训练模型；
(4)将上述步骤(2)中预处理完毕的深圳市NPP图像作为步骤(3)中得到的改进型SRGAN模型的输入；
(5)得到的(4)中改进型SRGAN模型的输出结果即为分辨率提高后的深圳市NPP数据。
对步骤(2)中对深圳市原始NPP图像作预处理的具体步骤如下：
(2.1)对低云量NPP影像做辐射定标处理；
(2.2)对NPP所得影像作大气校正；
(2.3)对BPP所得影像DN值小于0的值赋值为0，对临时灯光中DN值异常的点赋值为0；
(2.4)对步骤(2.3)所得影像进行裁剪，得到训练样本城市即深圳市的NPP预处理影像。
对步骤(3)中对改进型SRGAN模型训练的具体步骤如下：
(3.1)实验数据的准备：实验数据用的是公开数据集DIV2K，其中包括800张训练图像，100张验证图像以及100张测试图像，每张图像的分辨率都是2k。
(3.2)模型训练：损失函数由生成对抗损失和MSE损失共同组成：
LALL＝LGAN+LMSE
生成对抗损失：
其中，
代表的是生成图像属于真正的高分辨率图像的概率，
代表的是重建生成的高清分辨率图像；
MSE损失：
其中，W和H分别代表图像的宽和高，
代表高分辨率图像，ILR代表低分辨图像。
残差模块包含16个残差块，64个通道，并在后面设置GCNet模块。训练集图像被裁减为88*88，批采样大小为64，迭代次数设置为100，采用Adam优化器，学习率设置为0.0001，即得到称之为改进型SRGAN模型。
Claims (7)
1.一种基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，包括如下步骤：
(1)筛选出年度云量在10％以下的夜光图像并下载；
(2)对夜光图像进行预处理操作；
(3)构建改进SRGAN网络模型；
(4)构建总体损失函数并训练模型；
(5)将预处理后的夜光图像输入改进型SRGAN网络模型，输出对应的高分辨率夜光重构图像。
2.如权利要求1所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(2)中，预处理操作包括辐射定标、大气校正、几何校正、去噪和去临时灯光。
3.如权利要求1所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(2)中，对夜光图像进行预处理操作具体为：对夜光数据进行裁剪，加载全部栅格数据，将影像灰度值DN值小于0的值设置为0，转换坐标系为WGS1984，导入控制点周围的一些区域的稳定影像进行地理配准，在栅格计算器中输入公式进行辐射亮度转换：
其中，L为绝对辐射校正后的辐射亮度值，单位为W/(m2·sr·μm)，DN为影像灰度值。
4.如权利要求1所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(3)中，改进SRGAN网络模型包括生成器和判别器，生成器学习真实样本分布用以生成高度相似的数据传递给判别器，判别器对生成的假样本进行二分类，判断是否为真实数据，用以指导生成器的训练。
5.如权利要求4所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(3)中，生成器网络结构为：一层9×9的卷积层对输入图像提取特征，16层改进型残差卷积，每个残差块包括两个1×1卷积层和一个3×3卷积层，通过2次2倍反卷积缩放和tanh缩放，最后生成结果，移除增加网络参数量的批规一化层，在每个残差块以及判别器的浅层和深层后加入GCNet模块，激活函数选择为Leaky ReLU。
6.如权利要求4所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(3)中，判别器网络结构为：浅层和深层均采用卷积层+Leaky ReLU的形式，并在后面加入GCNet模块，然后通过全连接层+Sigmoid得到二分类输出供生成器选择数据。
7.如权利要求1所述的基于改进SRGAN的超分辨率夜光图像重构方法，其特征在于，步骤(4)中，损失函数由生成对抗损失和均方误差损失MSE构成，生成对抗损失为
其中，
代表的是生成图像属于真正的高分辨率图像的概率，
代表的是重建生成的高清分辨率图像；
其中，W和H分别代表图像的宽和高，
代表高分辨率图像，ILR代表低分辨图像。
总体损失函数为
LALL＝LGAN+LMSE。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299339.0A CN114820304A (zh) | 2022-03-25 | 2022-03-25 | 基于改进srgan的超分辨率夜光图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299339.0A CN114820304A (zh) | 2022-03-25 | 2022-03-25 | 基于改进srgan的超分辨率夜光图像重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820304A true CN114820304A (zh) | 2022-07-29 |
Family
ID=82531124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210299339.0A Pending CN114820304A (zh) | 2022-03-25 | 2022-03-25 | 基于改进srgan的超分辨率夜光图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820304A (zh) |
-
2022
- 2022-03-25 CN CN202210299339.0A patent/CN114820304A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Building a series of consistent night-time light data (1992–2018) in Southeast Asia by integrating DMSP-OLS and NPP-VIIRS | |
| WO2019200743A1 (zh) | 森林火灾预测方法、装置、计算机设备和存储介质 | |
| Ściężor | Effect of street lighting on the urban and rural night-time radiance and the brightness of the night sky | |
| Hu et al. | Correcting the saturation effect in dmsp/ols stable nighttime light products based on radiance-calibrated data | |
| CN115658776B (zh) | 联合多源数据生成全国1km碳排放空间分布图的方法 | |
| Pan et al. | Spatiotemporal dynamics of electricity consumption in China | |
| CN116245757B (zh) | 多模态数据的多场景通用性遥感影像云修复方法和系统 | |
| CN109491994B (zh) | Landsat-8卫星精选遥感数据集最简化筛选方法 | |
| CN115984603A (zh) | 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统 | |
| CN113570528B (zh) | 一种夜光遥感月度影像合成方法 | |
| CN110532918A (zh) | 基于时间序列遥感影像的离岸风电场时空属性确定方法 | |
| CN112669201B (zh) | 一种基于红外光的可见光云图转换方法、系统及其终端 | |
| CN112465710B (zh) | 一种基于evi数据的夜间灯光数据校正方法 | |
| CN114764752B (zh) | 一种基于深度学习的夜晚影像去雾算法 | |
| CN118115333A (zh) | 一种基于多源异构数据的区域碳排放估算方法 | |
| CN114820304A (zh) | 基于改进srgan的超分辨率夜光图像重构方法 | |
| CN114782255B (zh) | 一种基于语义的夜光遥感影像高分辨率重建方法 | |
| CN111696055A (zh) | 一种基于辐射校正的长时间序列夜光遥感图像的获取方法 | |
| CN115222837A (zh) | 真彩云图生成方法、装置、电子设备及存储介质 | |
| Wang et al. | Deep Learning-Based Method to Extend the Time Series of Global Annual Viirs-Like Nighttime Light Data | |
| CN112052741A (zh) | 一种基于edsr技术的夜光遥感影像数据处理方法及系统 | |
| Wang et al. | Satellite observations of urban greenery phenology in downtown Beijing at meter to kilometer scales | |
| CN107392959B (zh) | 一种森林火灾亚像元火点特性反演方法 | |
| CN116107966B (zh) | 连续夜光遥感数据异常判别及插补方法 | |
| CN117911887B (zh) | 基于Sentinel-2的森林火灾烟雾识别及火点检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |