CN114782255B - 一种基于语义的夜光遥感影像高分辨率重建方法 - Google Patents

一种基于语义的夜光遥感影像高分辨率重建方法 Download PDF

Info

Publication number
CN114782255B
CN114782255B CN202210680499.XA CN202210680499A CN114782255B CN 114782255 B CN114782255 B CN 114782255B CN 202210680499 A CN202210680499 A CN 202210680499A CN 114782255 B CN114782255 B CN 114782255B
Authority
CN
China
Prior art keywords
remote sensing
spatial
sensing image
resolution
luminous remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210680499.XA
Other languages
English (en)
Other versions
CN114782255A (zh
Inventor
巫兆聪
徐卫星
闫钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210680499.XA priority Critical patent/CN114782255B/zh
Publication of CN114782255A publication Critical patent/CN114782255A/zh
Application granted granted Critical
Publication of CN114782255B publication Critical patent/CN114782255B/zh
Priority to US18/204,366 priority patent/US20230410257A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明属于夜光遥感影像处理技术领域，公开了一种基于语义的夜光遥感影像高分辨率重建方法。本发明在夜光遥感影像高空间分辨率重建的过程中融合了灯光语义信息，将灯光语义信息作为重建过程中的约束信息，能够得到高空间分辨率夜光遥感影像，进而能够满足长时间历史数据分析和精细建模等应用的需求。

Description

一种基于语义的夜光遥感影像高分辨率重建方法
技术领域
本发明属于夜光遥感影像处理技术领域，更具体地，涉及一种基于语义的夜光遥感影像高分辨率重建方法。
背景技术
夜间灯光遥感作为发展活跃的一个重要分支，近年来受到越来越多来自自然科学领域和社会经济领域的关注。夜间灯光遥感所使用的夜间灯光遥感数据记录的地表灯光强度信息更直接反映人类活动差异，因而被广泛应用于人口估算、城市化进程研究、社会经济指标空间化估算、重大事件评估、生态环境评估、城市发展及其空间结构分析等领域。
目前，常用的开源全球尺度长周期观测的夜间灯光数据有两种，一种是美国国家航空航天局NASA美国海洋和大气管理局国家地球物理数据中心提供的国防气象卫星计划的线性扫描业务系统(Defense Meteorological Satellite Program's OperationalLine-Scan System，DMSP/OLS)数字影像数据，全球覆盖范围，天重访频次，空间分辨率3km。另一种是美国海洋和大气管理局国家地球物理数据中心(National Oceanic andAtmospheric Administration's National Geophysical Data Center，NOAA/NGDC)在2013年初发布的由国家极地-轨道合作伙伴(Suomi National Polar-OrbitingPartnership，NPP)卫星携带的可见红外成像辐射仪系统(the Visible Infrared ImagingRadiometer Suite，VIIRS)，NPP VIIRS夜光数据覆盖全球范围，每天全球成像一次，空间分辨率为500m。上述两种夜光数据均具有高时间分辨率，丰富的历史数据积累，但空间分辨率较低。空间分辨率上的不足限制了夜光数据在长时间历史数据分析和精细建模等领域的进一步精细化应用，无法满足现有相关应用的需求。
发明内容
本发明通过提供一种基于语义的夜光遥感影像高分辨率重建方法，解决现有技术中夜间灯光数据的空间分辨率较低的问题。
本发明提供一种基于语义的夜光遥感影像高分辨率重建方法，包括以下步骤：
步骤1：构建样本数据集；所述样本数据集包括若干组数据组，每组所述数据组均包括一个低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像和灯光语义信息；
步骤2：构建重建模型；
步骤3：利用所述样本数据集对所述重建模型进行训练和验证，得到优化后的重建模型；
步骤4：将待重建的低空间分辨率夜光遥感影像、与所述待重建的低空间分辨率夜光遥感影像对应的灯光语义信息作为所述优化后的重建模型的输入，所述优化后的重建模型输出分辨率重建后得到的高空间分辨率夜光遥感影像。
优选的，所述灯光语义信息包括不透水面数据和路网数据。
优选的，所述步骤1包括以下子步骤：
获取初始样本数据集，所述初始样本数据集包括低空间分辨率夜光遥感影像、高空间分辨率夜光遥感影像和灯光语义信息；
对所述初始样本数据集进行预处理；
对预处理后的数据进行空间配准。
优选的，对所述初始样本数据集进行预处理包括：
对所述低空间分辨率夜光遥感影像进行背景噪声去除和重采样的预处理；
对所述高空间分辨率夜光遥感影像进行异常值去除和背景噪声去除的预处理；
对所述不透水面数据进行拼接、裁剪和重采样的预处理；
对所述路网数据进行裁剪、筛选和矢量转栅格的预处理。
优选的，对数据进行空间配准后还包括：对空间配准后的数据组进行选取，得到比例为7:2:1的灯光密集样本、灯光稀疏样本和无灯光样本，以构成所述样本数据集；
其中，将有灯光覆盖的区域占影像总区域的比例大于等于1/3的样本定义为所述灯光密集样本，将有灯光覆盖的区域占影像总区域的比例小于1/3的样本定义为所述灯光稀疏样本，将完全没有灯光覆盖的样本定义为所述无灯光样本。
优选的，所述步骤2中，所述重建模型的网络架构模型采用Unet。
优选的，所述步骤3中，对所述重建模型进行训练时，将低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的灯光语义信息输入至所述重建模型，所述重建模型输出重建后的高空间分辨率夜光遥感影像；将所述重建后的高空间分辨率夜光遥感影像与样本数据集中的与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像进行对比，利用损失函数衡量两者之间的误差，所述损失函数最小时所述重建模型达到最优，保存模型参数，得到所述优化后的重建模型。
优选的，所述损失函数表示为：
Figure 28795DEST_PATH_IMAGE001
式中：
Figure 790077DEST_PATH_IMAGE002
Figure 509159DEST_PATH_IMAGE003
式中，
Figure 183DEST_PATH_IMAGE004
为重建后的高空间分辨率夜光遥感影像
Figure 120586DEST_PATH_IMAGE005
和样本数据集中作为对比 的高空间分辨率夜光遥感影像I的损失函数，
Figure 24957DEST_PATH_IMAGE005
为重建后的高空间分辨率夜光遥感影像，I为 样本数据集中作为对比的高空间分辨率夜光遥感影像；N为样本数据集中的样本数量，S为 多尺度损失的尺度层数，
Figure 889008DEST_PATH_IMAGE006
为L1损失，
Figure 234538DEST_PATH_IMAGE007
为低空间分辨率夜光遥感影像数据，
Figure 916056DEST_PATH_IMAGE008
为路网 数据，
Figure 651930DEST_PATH_IMAGE009
为不透水面数据；
Figure 709885DEST_PATH_IMAGE010
为第i个样本在第s尺度层上，输入低空间分辨率 夜光遥感影像数据
Figure 909922DEST_PATH_IMAGE007
、路网数据
Figure 637707DEST_PATH_IMAGE008
、不透水面数据
Figure 251091DEST_PATH_IMAGE009
后获得的重建后的高空间分辨率 夜光遥感影像；
Figure 456944DEST_PATH_IMAGE011
为第i个样本在第s尺度层上，样本数据集中作为对比的高空间分辨率夜 光遥感影像；
Figure 791716DEST_PATH_IMAGE012
为TV正则化损失，
Figure 80614DEST_PATH_IMAGE013
为TV正则化损失的权重超参；
Figure 525502DEST_PATH_IMAGE014
为重建后的高空间分辨率夜光遥感影像
Figure 862943DEST_PATH_IMAGE015
和样本数据集中作为对比的高 空间分辨率夜光遥感影像I的 L1损失，h为重建后的高空间分辨率夜光遥感影像
Figure 99889DEST_PATH_IMAGE015
的行数，w 为重建后的高空间分辨率夜光遥感影像
Figure 169476DEST_PATH_IMAGE015
的列数，c为重建后的高空间分辨率夜光遥感影像
Figure 491873DEST_PATH_IMAGE015
的通道数，
Figure 367425DEST_PATH_IMAGE016
为第k通道第i行第j列的高空间分辨率夜光遥感影像的重建结果，
Figure 599823DEST_PATH_IMAGE017
为 第k通道第i行第j列的样本数据集中作为对比的高空间分辨率夜光遥感影像，
Figure 699366DEST_PATH_IMAGE018
为
Figure 712322DEST_PATH_IMAGE019
；
Figure 63669DEST_PATH_IMAGE020
为重建后的高空间分辨率夜光遥感影像
Figure 278137DEST_PATH_IMAGE015
对应的TV正则化损失，
Figure 17423DEST_PATH_IMAGE021
为 第k通道第i行第j+1列的高空间分辨率夜光遥感影像的重建结果，
Figure 924199DEST_PATH_IMAGE022
为第k通道第i+1 行第j列的高空间分辨率夜光遥感影像的重建结果。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明针对低空间分辨率夜光遥感影像，首次提出结合灯光语义信息进行分辨率重建，得到高空间分辨率夜光遥感影像，为历史高空间分辨率夜光数据的获取提供了全新的数据来源，有利于夜光数据在精细化建模和分析等方面的应用。本发明中的灯光语义信息包括不透水面数据和路网数据，利用路网数据提供道路反射灯光的约束信息，利用不透水面数据提供人工建筑区域辐射灯光的约束信息，实现对夜光数据的高分辨率重建，使得重建结果具有更加丰富和准确的灯光辐射强度和灯光空间分布细节，得到能够满足精细化建模和分析等现有相关应用的需求的高空间分辨率夜光遥感影像。
附图说明
图1为本发明实施例提供的一种基于语义的夜光遥感影像高分辨率重建方法的流程图；
图2为夜光遥感影像重建前后的对比图；其中，图2 (a)为重建前的低空间分辨率夜光遥感影像；图2 (b)为重建后的高空间分辨率夜光遥感影像。
具体实施方式
研究发现不同语义的夜间灯光辐射具有显著的来源差异，同时，不同语义的夜间灯光辐射可以使用相应的数据加以描述。首先，卫星观测到的夜间灯光主要来自于道路，道路主要呈现线状特征，分布范围广，道路灯光主要以地面反射贡献为主，夜光辐射贡献度最大；对于道路灯光辐射，利用高分辨率路网数据进行描述。其次，是商业区、港口、码头、机场和居民区等人工建筑区域灯光辐射，这部分灯光主要以天空直射辐射和散射为主，商业区、港口、码头、机场的灯光辐射强，但辐射面积小，居民区的灯光辐射面积大，但是强度较弱，因此，商业区、港口、码头、机场和居民区人工建筑区域贡献另外一小部分灯光辐射，人工建筑区域灯光辐射利用高分辨率不透水面进行描述。
本发明基于上述理论，从夜间灯光辐射的语义出发，提出了一种基于语义的夜光遥感影像高分辨率重建方法，融合灯光语义信息，将灯光语义信息作为重建过程中的约束信息，得到高空间分辨率夜光遥感影像。具体的，本发明通过使用高分辨率路网数据提供道路反射灯光的约束信息和高分辨率不透水面数据提供人工建筑区域辐射灯光的约束信息，实现对夜光数据的高分辨率重建。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供一种基于语义的夜光遥感影像高分辨率重建方法，参见图1，包括以下步骤：
步骤1：构建样本数据集；所述样本数据集包括若干组数据组，每组所述数据组均包括一个低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像和灯光语义信息。
其中，所述灯光语义信息包括不透水面数据和路网数据。
具体的，所述步骤1包括以下子步骤：
（1.1）获取初始样本数据集，所述初始样本数据集包括低空间分辨率夜光遥感影像、高空间分辨率夜光遥感影像和灯光语义信息。
（1.2）对所述初始样本数据集进行预处理。
对所述低空间分辨率夜光遥感影像进行背景噪声去除和重采样的预处理；对所述高空间分辨率夜光遥感影像进行异常值去除和背景噪声去除的预处理；对所述不透水面数据进行拼接、裁剪和重采样的预处理；对所述路网数据进行裁剪、筛选和矢量转栅格的预处理。
（1.3）对预处理后的数据进行空间配准。
对低空间分辨率夜光遥感影像、高空间分辨率夜光遥感影像、不透水面数据、路网数据这四种数据进行空间配准，保持多源数据的空间位置一致。
优选的方案中，对数据进行空间配准后还包括：
（1.4）样本采集与分割。
对空间配准后的数据组进行选取，得到比例为7:2:1的灯光密集样本、灯光稀疏样本和无灯光样本，以构成所述样本数据集。其中，将有灯光覆盖的区域占影像总区域的比例大于等于1/3的样本定义为所述灯光密集样本，将有灯光覆盖的区域占影像总区域的比例小于1/3的样本定义为所述灯光稀疏样本，将完全没有灯光覆盖的样本定义为所述无灯光样本。
上述样本比例可以兼顾城市和城郊灯光分布的差异，同时无灯光区域样本的加入，有助于提高模型训练的鲁棒性。
样本大小优选为128*128像素，该大小不仅能够有效利用样本纹理信息，同时也能够发掘样本数据的深层语义信息。
步骤2：构建重建模型。
所述重建模型的网络架构模型采用Unet。
步骤3：利用所述样本数据集对所述重建模型进行训练和验证，得到优化后的重建模型。
对所述重建模型进行训练时，将低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的灯光语义信息输入至所述重建模型，所述重建模型输出重建后的高空间分辨率夜光遥感影像；将所述重建后的高空间分辨率夜光遥感影像与样本数据集中的与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像进行对比，利用损失函数衡量两者之间的误差，所述损失函数最小时所述重建模型达到最优，保存模型参数，得到所述优化后的重建模型。
已有重建算法中经常使用的损失函数是L1损失，该损失会导致重建的图像过于平滑而损失细节。本发明在L1基础上加入TV (The total variation )正则化损失和多尺度损失能够提高重建图像细节，得到更好的重建效果。
其中，所述损失函数表示为：
Figure 203871DEST_PATH_IMAGE001
式中：
Figure 473178DEST_PATH_IMAGE023
Figure 789890DEST_PATH_IMAGE024
式中，
Figure 574175DEST_PATH_IMAGE004
为重建后的高空间分辨率夜光遥感影像
Figure 595221DEST_PATH_IMAGE015
和样本数据集中作为对比 的高空间分辨率夜光遥感影像I的损失函数，
Figure 656717DEST_PATH_IMAGE015
为重建后的高空间分辨率夜光遥感影像，I为 样本数据集中作为对比的高空间分辨率夜光遥感影像；N为样本数据集中的样本数量，S为 多尺度损失的尺度层数，
Figure 737806DEST_PATH_IMAGE006
为L1损失，
Figure 743808DEST_PATH_IMAGE007
为低空间分辨率夜光遥感影像数据，
Figure 240649DEST_PATH_IMAGE025
为路网 数据，
Figure 221898DEST_PATH_IMAGE009
为不透水面数据；
Figure 270626DEST_PATH_IMAGE010
为第i个样本在第s尺度层上，输入低空间分辨率 夜光遥感影像数据
Figure 904870DEST_PATH_IMAGE007
、路网数据
Figure 64456DEST_PATH_IMAGE025
、不透水面数据
Figure 897282DEST_PATH_IMAGE009
后获得的重建后的高空间分辨率 夜光遥感影像；
Figure 992277DEST_PATH_IMAGE026
为第i个样本在第s尺度层上，样本数据集中作为对比的高空间分辨率夜 光遥感影像；
Figure 238451DEST_PATH_IMAGE012
为TV正则化损失，
Figure 811515DEST_PATH_IMAGE013
为TV正则化损失的权重超参；
Figure 764427DEST_PATH_IMAGE027
为重建后的高 空间分辨率夜光遥感影像
Figure 154957DEST_PATH_IMAGE028
和样本数据集中作为对比的高空间分辨率夜光遥感影像I的 L1 损失，h为重建后的高空间分辨率夜光遥感影像
Figure 498214DEST_PATH_IMAGE028
的行数，w为重建后的高空间分辨率夜光遥 感影像
Figure 265182DEST_PATH_IMAGE028
的列数，c为重建后的高空间分辨率夜光遥感影像
Figure 75530DEST_PATH_IMAGE028
的通道数，
Figure 777907DEST_PATH_IMAGE029
为第k通道第i 行第j列的高空间分辨率夜光遥感影像的重建结果，
Figure 467514DEST_PATH_IMAGE017
为第k通道第i行第j列的样本数 据集中作为对比的高空间分辨率夜光遥感影像，
Figure 710277DEST_PATH_IMAGE018
为
Figure 309885DEST_PATH_IMAGE030
；
Figure 42218DEST_PATH_IMAGE031
为重建后的高空间分辨 率夜光遥感影像
Figure 360067DEST_PATH_IMAGE028
对应的TV正则化损失，
Figure 203258DEST_PATH_IMAGE032
为第k通道第i行第j+1列的高空间分辨率夜 光遥感影像的重建结果，
Figure 985269DEST_PATH_IMAGE033
为第k通道第i+1行第j列的高空间分辨率夜光遥感影像的 重建结果。
步骤4：将待重建的低空间分辨率夜光遥感影像、与所述待重建的低空间分辨率夜光遥感影像对应的灯光语义信息作为所述优化后的重建模型的输入，所述优化后的重建模型输出分辨率重建后得到的高空间分辨率夜光遥感影像。
具体的，将历史多期低空间分辨率夜光遥感影像数据、路网数据、不透水面数据输入至训练好的重建模型，可获得重建后的高空间分辨率夜光遥感影像。
下面结合具体数据介绍本发明的实施步骤。
步骤1：获取中国区域的2012-2021年份NPP VIIRS低分辨率夜光数据(https://ladsweb.modaps.eosdis.nasa.gov/search/)，高分辨率不透水面数据(http://data.ess.tsinghua.edu.cn/gaia.html)和高分辨率路网数据(https://www.openstreetmap.org/)；同时，获取2018年云量小于10%的珞珈一号高分辨率夜光数据(http://59.175.109.173:8888/)。
步骤2：对珞珈一号数据、NPP VIIRS数据，不透水面数据、路网数据进行预处理。
具体的，对NPP VIIRS数据进行背景噪声去除、重采样预处理；对不透水面数据进行拼接、裁剪、重采样预处理；对路网数据进行裁剪、筛选、矢量转栅格预处理；对珞珈一号数据进行异常值去除，背景噪声去除预处理。此外，为了保持空间位置一致，对四种数据进行空间配准。
步骤3：利用配准后的2018年的珞珈一号数据、2018年的NPP VIIRS数据、对应的不透水面数据和路网数据采集样本构建数据集，样本大小为128*128像素。
步骤4：利用数据集训练重建模型。
本发明通过将表征灯光语义信息的多源数据作为额外约束引入模型的同时设置多尺度结构，从而提高训练精度和效率。
重建模型的网络架构模型采用U-net网络，模型实现基于Pytorch框架搭建。
利用L1范数损失函数优化模型，结果会出现模糊效果，因此，本发明在L1范数损失基础上加入融合多源数据的正则化项和多尺度损失来约束模型，提高夜光数据重建结果的质量。加入正则约束和多尺度损失后的损失函数如下：
Figure 763869DEST_PATH_IMAGE001
。
步骤5：将历史时期NPP VIIRS夜光（例如，中国区域的2012-2021年份NPP VIIRS低分辨率夜光数据），对应的不透水面数据和路网数据这三种数据输入至训练好的重建模型，获得历史长周期NPP VIIRS夜光高空间分辨率结果。
夜光遥感影像重建前后的对比图如图2所示，其中，图2(a)为重建前的低空间分辨率夜光遥感影像，图2(b)为重建后的高空间分辨率夜光遥感影像。可以明显的看到，本发明的重建效果很好，重建后的高空间分辨率夜光遥感影像具有非常丰富且准确的灯光辐射强度和灯光空间分布细节。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于语义的夜光遥感影像高分辨率重建方法，其特征在于，包括以下步骤：
步骤1：构建样本数据集；所述样本数据集包括若干组数据组，每组所述数据组均包括一个低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像和灯光语义信息；
步骤2：构建重建模型；所述重建模型的网络架构模型采用Unet；
步骤3：利用所述样本数据集对所述重建模型进行训练和验证，得到优化后的重建模型；
对所述重建模型进行训练时，将低空间分辨率夜光遥感影像，以及与该低空间分辨率夜光遥感影像空间位置一致的灯光语义信息输入至所述重建模型，所述重建模型输出重建后的高空间分辨率夜光遥感影像；将所述重建后的高空间分辨率夜光遥感影像与样本数据集中的与该低空间分辨率夜光遥感影像空间位置一致的高空间分辨率夜光遥感影像进行对比，利用损失函数衡量两者之间的误差，所述损失函数最小时所述重建模型达到最优，保存模型参数，得到所述优化后的重建模型；
步骤4：将待重建的低空间分辨率夜光遥感影像、与所述待重建的低空间分辨率夜光遥感影像对应的灯光语义信息作为所述优化后的重建模型的输入，所述优化后的重建模型输出分辨率重建后得到的高空间分辨率夜光遥感影像。
2.根据权利要求1所述的基于语义的夜光遥感影像高分辨率重建方法，其特征在于，所述灯光语义信息包括不透水面数据和路网数据。
3.根据权利要求2所述的基于语义的夜光遥感影像高分辨率重建方法，其特征在于，所述步骤1包括以下子步骤：
获取初始样本数据集，所述初始样本数据集包括低空间分辨率夜光遥感影像、高空间分辨率夜光遥感影像和灯光语义信息；
对所述初始样本数据集进行预处理；
对预处理后的数据进行空间配准。
4.根据权利要求3所述的基于语义的夜光遥感影像高分辨率重建方法，其特征在于，对所述初始样本数据集进行预处理包括：
对所述低空间分辨率夜光遥感影像进行背景噪声去除和重采样的预处理；
对所述高空间分辨率夜光遥感影像进行异常值去除和背景噪声去除的预处理；
对所述不透水面数据进行拼接、裁剪和重采样的预处理；
对所述路网数据进行裁剪、筛选和矢量转栅格的预处理。
5.根据权利要求3所述的基于语义的夜光遥感影像高分辨率重建方法，其特征在于，对数据进行空间配准后还包括：对空间配准后的数据组进行选取，得到比例为7:2:1的灯光密集样本、灯光稀疏样本和无灯光样本，以构成所述样本数据集；
其中，将有灯光覆盖的区域占影像总区域的比例大于等于1/3的样本定义为所述灯光密集样本，将有灯光覆盖的区域占影像总区域的比例小于1/3的样本定义为所述灯光稀疏样本，将完全没有灯光覆盖的样本定义为所述无灯光样本。
6.根据权利要求1所述的基于语义的夜光遥感影像高分辨率重建方法，其特征在于，所述损失函数表示为：
Figure 354164DEST_PATH_IMAGE001
式中：
Figure 705511DEST_PATH_IMAGE002
Figure 792415DEST_PATH_IMAGE003
式中，
Figure 875909DEST_PATH_IMAGE004
为重建后的高空间分辨率夜光遥感影像
Figure 48264DEST_PATH_IMAGE005
和样本数据集中作为对比的高 空间分辨率夜光遥感影像I的损失函数，
Figure 937723DEST_PATH_IMAGE005
为重建后的高空间分辨率夜光遥感影像，I为样本 数据集中作为对比的高空间分辨率夜光遥感影像；N为样本数据集中的样本数量，S为多尺 度损失的尺度层数，
Figure 144713DEST_PATH_IMAGE006
为L1损失，
Figure 727004DEST_PATH_IMAGE007
为低空间分辨率夜光遥感影像数据，
Figure 386656DEST_PATH_IMAGE008
为路网数 据，
Figure 79805DEST_PATH_IMAGE009
为不透水面数据；
Figure 610144DEST_PATH_IMAGE010
为第i个样本在第s尺度层上，输入低空间分辨率夜光 遥感影像数据
Figure 628915DEST_PATH_IMAGE007
、路网数据
Figure 510284DEST_PATH_IMAGE008
、不透水面数据
Figure 272703DEST_PATH_IMAGE009
后获得的重建后的高空间分辨率夜 光遥感影像；
Figure 923128DEST_PATH_IMAGE011
为第i个样本在第s尺度层上，样本数据集中作为对比的高空间分辨率夜 光遥感影像；
Figure 847221DEST_PATH_IMAGE012
为TV正则化损失，
Figure 215886DEST_PATH_IMAGE013
为TV正则化损失的权重超参；
Figure 250838DEST_PATH_IMAGE014
为重建后的高空间分辨率夜光遥感影像
Figure 286927DEST_PATH_IMAGE015
和样本数据集中作为对比的高空间分 辨率夜光遥感影像I的 L1损失，h为重建后的高空间分辨率夜光遥感影像
Figure 116343DEST_PATH_IMAGE015
的行数，w为重 建后的高空间分辨率夜光遥感影像
Figure 237882DEST_PATH_IMAGE015
的列数，c为重建后的高空间分辨率夜光遥感影像
Figure 76525DEST_PATH_IMAGE015
的 通道数，
Figure 435963DEST_PATH_IMAGE016
为第k通道第i行第j列的高空间分辨率夜光遥感影像的重建结果，
Figure 967438DEST_PATH_IMAGE017
为第 k通道第i行第j列的样本数据集中作为对比的高空间分辨率夜光遥感影像，
Figure 45116DEST_PATH_IMAGE018
为
Figure 953029DEST_PATH_IMAGE019
；
Figure 432552DEST_PATH_IMAGE020
为重建后的高空间分辨率夜光遥感影像
Figure 869349DEST_PATH_IMAGE021
对应的TV正则化损失，
Figure 699902DEST_PATH_IMAGE022
为第k通 道第i行第j+1列的高空间分辨率夜光遥感影像的重建结果，
Figure 818031DEST_PATH_IMAGE023
为第k通道第i+1行第j列 的高空间分辨率夜光遥感影像的重建结果。
CN202210680499.XA 2022-06-16 2022-06-16 一种基于语义的夜光遥感影像高分辨率重建方法 Active CN114782255B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210680499.XA CN114782255B (zh) 2022-06-16 2022-06-16 一种基于语义的夜光遥感影像高分辨率重建方法
US18/204,366 US20230410257A1 (en) 2022-06-16 2023-05-31 Semantics-based high resolution reconstruction method of nighttime light remote sensing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210680499.XA CN114782255B (zh) 2022-06-16 2022-06-16 一种基于语义的夜光遥感影像高分辨率重建方法

Publications (2)

Publication Number Publication Date
CN114782255A CN114782255A (zh) 2022-07-22
CN114782255B true CN114782255B (zh) 2022-09-02

Family

ID=82421890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210680499.XA Active CN114782255B (zh) 2022-06-16 2022-06-16 一种基于语义的夜光遥感影像高分辨率重建方法

Country Status (2)

Country Link
US (1) US20230410257A1 (zh)
CN (1) CN114782255B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228604B (zh) * 2023-05-09 2023-07-21 国家卫星海洋应用中心 一种适用于极地区域的卫星遥感光学影像匀色方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI515691B (zh) * 2014-10-08 2016-01-01 明新科技大學 現場動態情境重建之合成錄像拍製方法
CN109949222A (zh) * 2019-01-30 2019-06-28 北京交通大学 基于语义图的图像超分辨率重建方法
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法
CN111144340A (zh) * 2019-12-30 2020-05-12 中山大学 基于夜间灯光及高分辨率遥感影像的自然保护区人类活动自动监测方法及系统
CN113158899A (zh) * 2021-04-22 2021-07-23 中国科学院地理科学与资源研究所 基于遥感夜光暗目标增强技术的村镇发展状态测度方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN109522788B (zh) * 2018-09-30 2020-11-06 广州地理研究所 基于随机森林分类算法的城市范围提取方法、装置及电子设备
CN110675448B (zh) * 2019-08-21 2023-05-02 深圳大学 基于民航客机的地面灯光遥感监测方法、系统及存储介质
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111798383B (zh) * 2020-06-09 2022-06-14 武汉大学 一种高分辨率夜间灯光影像的增强方法
CN112052741A (zh) * 2020-08-11 2020-12-08 河海大学 一种基于edsr技术的夜光遥感影像数据处理方法及系统
CN112463846B (zh) * 2020-10-23 2021-08-03 西南林业大学 基于夜视灯光数据的人为活动影响力场的表达方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI515691B (zh) * 2014-10-08 2016-01-01 明新科技大學 現場動態情境重建之合成錄像拍製方法
CN109949222A (zh) * 2019-01-30 2019-06-28 北京交通大学 基于语义图的图像超分辨率重建方法
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法
CN111144340A (zh) * 2019-12-30 2020-05-12 中山大学 基于夜间灯光及高分辨率遥感影像的自然保护区人类活动自动监测方法及系统
CN113158899A (zh) * 2021-04-22 2021-07-23 中国科学院地理科学与资源研究所 基于遥感夜光暗目标增强技术的村镇发展状态测度方法

Also Published As

Publication number Publication date
US20230410257A1 (en) 2023-12-21
CN114782255A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN109919875B (zh) 一种高时频遥感图像特征辅助的居民地提取与分类方法
Bai et al. Recent land degradation and improvement in China
Wang et al. Consistency analysis and accuracy assessment of three global ten-meter land cover products in rocky desertification region—a case study of Southwest China
Zhang et al. Using long time series of Landsat data to monitor impervious surface dynamics: a case study in the Zhoushan Islands
CN116543312B (zh) 大范围河湖水质参数遥感反演样本库构建与更新方法
Zacharias et al. Large scale characterization of intertidal communities using a predictive model
Kahiu et al. Estimation of woody and herbaceous leaf area index in Sub‐Saharan Africa using MODIS data
Zhang et al. Multi-source precipitation data merging for heavy rainfall events based on cokriging and machine learning methods
Cao et al. Hourly remote sensing monitoring of harmful algal blooms (HABs) in Taihu Lake based on GOCI images
Fan et al. Understanding spatial-temporal urban expansion pattern (1990–2009) using impervious surface data and landscape indexes: a case study in Guangzhou (China)
CN114782255B (zh) 一种基于语义的夜光遥感影像高分辨率重建方法
CN116151610B (zh) 一种非均质城市下垫面承灾体风险暴露空间模拟方法
Freitas et al. Identification of a threshold minimum area for reflectance retrieval from thermokarst lakes and ponds using full-pixel data from Sentinel-2
Chen et al. Developing an intelligent cloud attention network to support global urban green spaces mapping
CN114241331B (zh) 以UAV为地面和Sentinel-2中介的湿地芦苇地上生物量遥感建模方法
Cao et al. Retrieval of suspended sediment concentrations in the Pearl River estuary using multi-source satellite imagery
Zhao et al. Mapping phragmites Australis aboveground biomass in the momoge wetland ramsar site based on Sentinel-1/2 images
Chen et al. Mapping of ecological environment based on Google earth engine cloud computing platform and landsat long-term data: A case study of the zhoushan archipelago
Huang et al. Estimating mangrove above-ground biomass at Maowei Sea, Beibu Gulf of China using machine learning algorithm with Sentinel-1 and Sentinel-2 data
Na et al. Hydrological regime monitoring and mapping of the Zhalong wetland through integrating time series Radarsat-2 and Landsat imagery
Snyder Studying stream morphology with airborne laser elevation data
Wang et al. Updatable dataset revealing decade changes in land cover types in Mongolia
CN113723000A (zh) 一种基于Sentinel数据与深度学习模型的农田土壤水分模拟方法
Wang et al. Processing methods for digital image data based on the geographic information system
CN109344769A (zh) 一种基于遥感影像的光伏电站检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant