CN115267941B - 一种高解析度真彩可见光模型生成、反演方法及其系统 - Google Patents

一种高解析度真彩可见光模型生成、反演方法及其系统 Download PDF

Info

Publication number
CN115267941B
CN115267941B CN202210904873.XA CN202210904873A CN115267941B CN 115267941 B CN115267941 B CN 115267941B CN 202210904873 A CN202210904873 A CN 202210904873A CN 115267941 B CN115267941 B CN 115267941B
Authority
CN
China
Prior art keywords
data
visible light
color visible
model
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210904873.XA
Other languages
English (en)
Other versions
CN115267941A (zh
Inventor
王卓阳
吴家豪
贾盛彬
崔传忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhitian Zhuhai Hengqin Meteorological Technology Co ltd
Original Assignee
Zhitian Zhuhai Hengqin Meteorological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhitian Zhuhai Hengqin Meteorological Technology Co ltd filed Critical Zhitian Zhuhai Hengqin Meteorological Technology Co ltd
Priority to CN202210904873.XA priority Critical patent/CN115267941B/zh
Priority to PCT/CN2022/116984 priority patent/WO2024021225A1/zh
Publication of CN115267941A publication Critical patent/CN115267941A/zh
Application granted granted Critical
Publication of CN115267941B publication Critical patent/CN115267941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/08—Adaptations of balloons, missiles, or aircraft for meteorological purposes; Radiosondes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种高解析度真彩可见光模型生成、反演方法及其系统，其能够快速可靠的转化成全球永昼真彩可见光波段反射率，利用原解析度的历史红外光数据的亮温数据生成历史红外光亮温标准分布模型；利用历史多通道亮温数据生成全盘二维亮温模型；将全盘二维亮温模型与原解析度红外光亮温标准分布模型进行相似度比对，识别出晴空区，在晴空区内的形成晴空掩膜；去除晴空信号，生成历史多通道云层卫星数据集；将历史多通道云层卫星数据集进行区域拆分，获取每个区域内的有效数据形成局部时间跨度数据集；将各个区域的局部时间跨度数据集内的二维亮温数据结合地理数据进行分布式训练，训练后整合得到原解析度的真彩可见光波段反射率模型。

Description

一种高解析度真彩可见光模型生成、反演方法及其系统
技术领域
本发明涉及大气遥感技术领域以及气象监测领域，具体而言，涉及一种高解析度真彩可见光模型生成、反演方法及其系统。
背景技术
气象卫星是人类监测天气的重要工具，自其诞生已有50余年。其中，24小时对特定大范围区域进行持续监测之地球同步轨道气象卫星所产生的图像，最能满足气象预报业务的需求。目前世界上正在运行的主流地球同步气象卫星有我国的风云-2H和风云-4A，美国的GOES-16和GOES-17，日本的向日葵8/9号，欧盟的Meteosat8和Meteosat11。
气象卫星通常使用电磁频谱对不同频段进行观察，包括可见光、近红外光和热红外光。其中可见光波长为0.4-0.7微米，近红外光为0.9-7.3微米，以及热红外光8.7-13.4微米。可见光卫星云图即白天气象卫星观测到之太阳可见光波段反射率所生成的卫星图像，分为真彩及黑白。通过具时空连续性之可见光卫星图像，气象预报人员可以清晰观测云块的形态、种类、排列和移动，从而监测各种天气系统/现象(如锋面、台风、温带气旋、东北冷涡、强对流、雾、沙尘暴以及空气污染等)的发展以及动态等。另一方面，红外光卫星云图包括近红外和热红外所拍摄的图像，专业气象人员可通过其来判断云的高度及类型，并计算陆地和地表水温度等气象海洋参数，也可侦测水汽臭氧等气体的浓度。
由于太阳照射下源自地球表面的可见光强度比红外线明显高，可见光波段反射率的空间解析度一般比红外线波段亮温数据高，前者可达500米，加上可见光信号直接反映阳光照射下云的轮廓，故气象预报员可直接通过其清晰精准地分辨出并追踪不同高度的云、雾以及污染物的位置。
在实施本发明过程中，发明人发现现有技术至少存在如下问题：
可见光源自太阳，因此真彩可见光波段反射率及对比度均受到太阳光角度的影响，在夜间更无法拍摄。对于处于黑夜之地区，预报员只能使用红外光卫星云图，通过“越冷越高”的大致合理假设，将亮温低之地方判断为云的位置。虽然红外光卫星云图全天候24小时均能拍摄，其亮度、对比度不受太阳光角度影响，唯当晚上地面冷却出现逆温时，地表温度可与低云/雾的温度相若，令气象预报员难以判断低云位置。气象业界目前也会通过以多种红外光通道数据进行融合生成伪色红外光卫星图像，根据颜色判定云的种类，唯此种伪色红外光卫星数据无法反映信号的真实颜色，令预报员无法分辨出非水汽的空气漂浮物(污染物、沙尘暴)，难以进行准确监测，业务能力受到一定局限。
现存公开技术包含通过搭载于极轨卫星上的特殊高敏仪器，通过探测地表反射月球之可见光强度生成夜间可见光卫星云图。然而，相对于静止地球同步卫星的大范围24小时监测，极轨卫星仅能对非常有限之地区每天进行2次左右的观测，加上来自月球的可见光受月相影响，故此种夜间可见光卫星反射率反演技术极度缺乏可靠性，未能满足气象预报人员的业务需求。
发明内容
本发明的目的在于提供一种高解析度真彩可见光模型生成、反演方法及其系统其能够克服背景技术中所述的技术问题，快速可靠的转化生成白天/夜间真彩可见光卫星云图。
本发明的实施例是这样实现的：
一种高解析度真彩可见光模型生成方法，该生成方法包括如下步骤：
将原解析度的历史红外光数据投影到地图坐标系统，预处理历史红外光数据中的亮温数据，生成原解析度的历史红外光亮温标准分布模型；
采集多通道卫星观测数据，并对多通道卫星观测数据进行预处理，形成全盘二维亮温模型；将全盘二维亮温模型与原解析度红外光亮温标准分布模型进行相似度比对，识别出晴空区，在晴空区内的形成晴空掩膜；去除晴空信号，生成历史多通道云层卫星数据集；
将历史多通道云层卫星数据集进行区域拆分，获取每个区域内的有效数据形成局部时间跨度数据集；将各个区域的局部时间跨度数据集内的二维亮温数据分成训练集、验证集和测试集，结合地理数据进行分布式训练，训练后整合得到原解析度的真彩可见光波段反射率模型。
在本发明的较佳实施例中，上述原解析度的历史红外光数据包括任意地球同步卫星所观测到的全盘范围数据。
在本发明的较佳实施例中，上述生成原解析度的历史红外光亮温标准分布模型包括如下步骤：
提取历史红外光数据中的红外光通道的亮温数据；
将同时期的亮温数据进行亮温值排序；
根据排序结果选择出晴空亮温数据；
根据晴空亮温数据构成二维亮温数据矩阵，生成原解析度红外光亮温标准分布模型。
在本发明的较佳实施例中，上述多通道卫星观测数据进行预处理，形成全盘二维亮温模型包括如下步骤：
将获取到的多通道卫星观测数据投影至地图坐标系统；
各通道卫星观测数据构建二维数据矩阵；
提取二维数据矩阵内的与历史红外光亮温标准分布模型的红外波段相同的全盘二维亮温模型。
在本发明的较佳实施例中，上述将全盘二维亮温模型与原解析度红外光亮温标准分布模型进行相似度比对，识别出晴空区，在晴空区内的形成晴空掩膜包括如下步骤：
使用N*N像素面积的滑动窗口，在滑动同时持续局部计算出SS I M值；
SS I M值大于0.85时，判定为晴空区。
在本发明的较佳实施例中，上述去除晴空信号，生成历史多通道云层卫星数据集包括：
将晴空掩膜内的历史真彩可见光卫星数据的反射率值替换成对应网格地貌的平均反射率；
将晴空掩膜内的红外光通道数据的亮温值替换成特定值；
重新整理各通道数据输出为历史多通道云层卫星数据集。
在本发明的较佳实施例中，上述形成局部时间跨度数据集中的有效数据获取方法为：提取标准正午时间前后三小时的历史多通道云层卫星数据集，并将该数据集平均分成4份，形成局部时间跨度数据集。
在本发明的较佳实施例中，上述局部时间跨度数据集的具体操作方法包括：
将红外光通道数据转化为0-255对应180K至320K亮温值的8位元数据，将其作为伪色图像的红通道；
将红外通道亮温数据转化为0-255对应180K至320K亮温值的8位元数据，将其作为伪色图像的绿通道；
将全球海拔高度数据转化为0-255对应-10米至4000米海拔的8位元数据，将其作为伪色图像的蓝通道；
将红通道、绿通道和蓝通道合并叠加生成伪色图像；
将多通道可见光反射率数据各自换算成各通道的8位元数据，按照颜色属性叠合成真彩可见光图像。
在本发明的较佳实施例中，上述分布式训练包括如下步骤：
将训练集、验证集和测试集以SSH协议传输至分布式训练节点；
每个节点以对抗神经网络pix2pi xHD进行训练建模，生成真彩可见光波段反射率模型。
一种高解析度真彩可见光模型反演方法，包括高解析度真彩可见光方法，该反演方法为：
通过真彩可见光波段反射率模型反演得到原解析度的局部区域真彩可见光反射率瓦片矩阵；
将晴空区内的像素值替换为对应区域内地貌反射率对应的色值，生成局部区域真彩可见光反射率瓦片；
将各局部区域真彩可见光反射率瓦片按照地理区域划分合并成真彩可见光云图，真彩可见光云图的空间分辨率不低于4公里。
在本发明的较佳实施例中，上述对于合并过程中，局部区域重叠的部分，采用平滑处理。
一种高解析度真彩可见光生成及其反演系统，该高解析度真彩可见光生成及其反演系统包括：
数据采集模块，用于获取原解析度的卫星数据，包括但不仅限于历史红外光数据、多通道卫星观测数据、地图坐标数据。
数据预处理模块，用于提取历史红外光数据、多通道卫星观测数据的亮温数据，并分别形成历史红外光亮温标准分布模型和全盘二维亮温模型；
晴空掩膜处理模块，用于同一时段同一区域内的历史红外光亮温标准分布模型和全盘二维亮温模型进行相似度比对，并识别出晴空区，并在晴空区内形成晴空掩膜；去除晴空信号后，生成历史多通道云层卫星数据集；
数据学习模块，采用分布式训练对各个节点的历史多通道云层卫星数据集进行学习，并形成原解析度的真彩可见光波段反射率模型；
数据反演模块，根据真彩可见光波段反射率模型反演得到局部真彩可见光反射率瓦片矩阵；将局部真彩可见光反射率瓦片矩阵按照地理区域划分合并成真彩可见光云图，并平滑处理重叠区域。
本发明实施例的有益效果是：本发明中的高解析度真彩可见光方法通过获取历史红外光数据得到同时间段同观测区域内的晴空状态下的地面红外信号亮温分布，然后将其与同时期同区域内的历史多通道卫星观测数据的红外光亮温分布进行纹理对比，识别出同时期同区域内的晴空信号并形成晴空掩膜；然后将区域内的地面红外光通道信号去除，防止后期机器学习或深度学习模型时，在无云的晚上将来自地面的红外光低亮温信号误判为有云区域而反演出虚假云层可见光反射率，有效抑制在晴空状态下出现假云的问题；在数据自动化学习阶段，采用分布式学习，有效减少单个模型复杂度、训练时间以及运行时间，提升准确度及运行效率，可在不牺牲解析度的前提下对全球区域进行可见光波段反射率反演，从而得到的真彩可见光波段反射率模型能够反演得到真彩可见光云图，实现高频、快速、稳定、可靠、高清及实时的全球全时段可见光波段反射率反演。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例高解析度真彩可见光模型的模型训练流程图；
图2为本发明实施例中地球同步卫星全盘覆盖范围概念图；
图3为本发明实施例中生成晴空红外光亮温标准分布模型范例(局部区域瓦片)；
图4为本发明实施例重叠式区域分解法与太阳时间间隔归类的示意图；
图5为本发明实施例的局部区域夜间B13红外光通道亮温数据所转换出的效果图；
图6为本发明实施例的系统数据处理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前虽然存在以历史红外光及可见光卫星云图数据对深度学习模型进行训练建模的技术，但相关技术仅将红外光卫星数据转换为黑白可见光卫星云图的技术。另外，本发明的发明人于复现相关技术时，发现该深度学习模型会将晚上晴空区降温明显所造成之红外光信号错误辨认为云信号，令晴空区出现云层，严重影响气象预报员及其他算法的判断。基于此，本实施例提供一种可靠度更高、解析度更高、快捷的真彩可见光模型生成、反演方法及其系统。
第一实施例
请参见图1，一种高解析度真彩可见光模型生成方法，该生成方法包括如下步骤：
S101：将原解析度的历史红外光数据投影到地图坐标系统，预处理历史红外光数据中的亮温数据，生成原解析度的历史红外光亮温标准分布模型。
本实施例中的原解析度的历史红外光数据获取通过气象卫星获取，气象卫星为任意地球同步卫星，包括但不限于任何红外光通道。在本发明实施例中，假设了于地球赤道上东经0度、东经90度、西经180度以及西经90度的上空分别存在4个从2015年6月起正常运作至今，与日本向日葵8/9号地球同步卫星相同技术规格和观测频率的气象卫星，依序为地球同步卫星C、D、A及B，具体全盘覆盖范围可参考图2。采用日本向日葵8/9号地球同步卫星B13红外光通道(下简称为B13)制作晴空红外光亮温标准分布模型。
具体操作如下：采用常规几何学公式，将卫星A、B、C及D的历史全盘B13数据按原最高分辨率(2公里)投影至麦卡托投影坐标系统。随后，分别将卫星A、B、C及D的历史数据按月归类，为各月份全盘观测范围中每一网格点进行历史B13亮温值排序，后取第5百分位的亮温作为晴空亮温，为卫星A、B、C及D之全盘观测范围构建成一二维亮温数据矩阵，作为各卫星不同月份之全盘原解析度晴空红外光亮温标准分布模型(可参考图3)。
虽然现有公开技术中存在数值预报的地面温度作为其中一个维度，然而全球数据预报模型精度目前仅为9公里，远远不及气象卫星的观测精度，导致生成之夜间可见光卫星图像中出现明显的大格点纹理，不仅影响美观也可令气象业者或程序无法准确判定云的种类。
S102：采集多通道卫星观测数据，并对多通道卫星观测数据进行预处理，形成全盘二维亮温模型；将全盘二维亮温模型与原解析度红外光亮温标准分布模型进行相似度比对，识别出晴空区，在晴空区内的形成晴空掩膜；去除晴空信号，生成历史多通道云层卫星数据集。
该步骤通过对红外大气窗口波段历史亮温数据进行统计分析，得出观测区域于不同季节中晴空状态下的地面红外信号亮温分布，并逐一将其与历史观测数据单一时次的同波段红外光通道亮温分布进行纹理比对，从而识别出每个单一历史观测时次的晴空区位置后，将区内之红外光通道信号去除，构成云层卫星观测数据集，避免机器学习或深度学习模型在无云的晚上将来自地面的红外光低亮温信号误判为有云区域而反演出虚假云层可见光反射率，有效抑制在晴空状态下出现假云问题。
具体操作方式如下：截取2016年至2021年期间卫星A、B、C及D所观测到所有时次的全盘B13亮温数据，采用常规几何学公式，按原最高分辨率将基数据投影至麦卡托投影坐标系统，将每个时次的全盘二维亮温模型及晴空红外光亮温标准分布模型均换算成8位元数据(0-255对应180K至320K的亮温值)，制作成两张灰阶图像。其后，使用一7x 7像素面积之滑动窗口，局部计算卫星A、B、C及D所有历史观测时次数据之B13亮温分布图像与相应月份之晴空红外光亮温标准分布模型图像的结构相似性指标SS I M)，其定义为：
Figure GDA0004114133800000101
其中，x为B13亮温分布图像色值，y为基于B13的晴空红外光亮温标准分布模型图像色值，μx为x的平均值；μy为y的平均值；
Figure GDA0004114133800000102
为x的方差，/>
Figure GDA0004114133800000103
为y之方差；σxy为x跟y的协方差；c1＝(k1L)2,c2＝(k2L)2，其中L＝255，k1＝0.01，k2＝0.03。
原则上当两者之间的SS I M值高于0.85时，就可判断滑动窗口所在地区为晴空区。本实施例选用SS I M值大于0.95时，判定为晴空区，随后持续滑动窗口，逐步构建出该时次之全盘范围晴空掩膜，并将B13原二维数据矩阵中位于晴空掩膜中的亮温值替换为400K。另外，截取2016年至2021年期间卫星A、B、C及D的B01、B02及B03频道作为历史真彩可见光卫星数据，其中B01为蓝色通道、B02为绿色通道、B03为红色通道，B12作为另一条红外光通道数据。其后，采用常规几何学公式，按原最高分辨率将B01、B02、B03及B12之历史基数据投影至麦卡托投影坐标系统，将B01、B02、B03及B12所有时次的数据制作成二维数据矩阵。
其后，根据每个时次的晴空掩膜所在之处，将晴空掩膜内B01、B02及B03之反射率值替换成该网格地貌的平均反射率，B12之亮温值替换为400K。经晴空信号处理后之B01、B02、B03、B12及B13，为历史全盘卫星云层观测数据集。
S103：将历史多通道云层卫星数据集进行区域拆分，获取每个区域内的有效数据形成局部时间跨度数据集；将各个区域的局部时间跨度数据集内的二维亮温数据分成训练集、验证集和测试集，结合地理数据进行分布式训练，训练后整合得到原解析度的真彩可见光波段反射率模型。
在现有技术中使用的针对单一局部区域以单一模型实现转换生成全球范围高解像度图像时，模型复杂度之高容易导致模型表现受影响，而有限的内存及算力也令其难以在短时间内生成高分辨率图像，基于此，本步骤引入了分布式学习方法。
该步骤使用经训练的分布式机器学习或深度学习模型集，实现不同地球同步卫星红外光通道观测数据快速转化成全球永昼真彩可见光波段反射率。该步骤根据太阳时间对各地球同步卫星之全盘监测范围进行重叠式区域分解，实现自动化历史数据筛选以及分布式机器及深度学习，有效减少单个模型复杂度、训练时间以及运行时间，提升准确度及运行效率，可在不牺牲解析度的前提下对全球区域进行可见光波段反射率反演。
具体实施方法如下：针对各地球同步气象卫星可观测全盘区域，根据特定时间间隔、地理范围，将该地区太阳正午时间前后指定时间跨度内的历史原解析度卫星数据及真彩可见光波段反射率分成若干组太阳时间区域数据集。随后，结合每个地理范围内之地理信息数据后，将每组太阳时间区域数据集分配至一训练集群中的指定训练节点，以机器学习或深度学习算法单独对每组区域数据集进行训练，得出若干个可利用局部红外光卫星观测数据及地理信息数据转换成局部原解析度真彩可见光波段反射率的模型。
本发明实施例中，以重叠型区域分解法将卫星A、B、C及D的全盘覆盖范围分别分解成12个局部区域，具体可参考图4卫星C的区域分解情况，卫星A、B及D之区域分解法则与卫星C大致相同。以卫星C为例，C1、C4、C7及C10的经度相同，故其太阳正午时间(标准正午时间)同为SNT1；C2、C5、C8及C11的经度相同，故其太阳正午时间(标准正午时间)同为SNT2；C3、C6、C9及C12的经度相同，故其太阳正午时间(标准正午时间)同为SNT3。
其后，为免模型表现受黑夜无光区影响，仅获取每个局部区域提取标准正午时间前后3小时的历史全盘卫星云层观测数据作为各局部地区的数据集，及后再将每个局部区域数据集按时间平均分成4个太阳时间局部数据集。
随后，按以下方法制作太阳时间局部图像集：将B12及B13之数据换算成8位元数据(0-255对应180K至320K的亮温值)，分别作为伪色图像的红及绿通道之值；将全球海拔高度数据换算为8位元数据(0-255对应-10米至4000米)，作为伪色图像的蓝通道，最后将三条通道合并叠加生成伪色图像。同时，将B01、B02及B03可见光反射率数据，分别换算成三个8位元(对应反射率阈值为0至1)，按其颜色属性叠合成真彩可见光图像。本实施例严格遵循《专利审查指南》要求，申请人可就该方案的图像数据处理部分补充提交处理过程中产生的彩色效果图，以方便理解。
最后，将每个太阳时间局部图像集中2016-2020年之图像划分为训练集、2021年之图像为验证集，2022年之图像为测试集，并将数据以SSH分别传输至共48个训练节点，并以对抗神经网络模型p ix2pixHD进行训练建模，训练出48个可根据太阳时间将B13、B12及海拔高度叠合成之伪色图像转换为真彩可见光卫星图像的模型。由于卫星A、B及D的区域分解方式、太阳时间归类、数据处理、分配与模型训练与卫星C相同，故共训练出192个p ix2pixHD转换模型。随后，按0-255线性对应0-1之反射率值，将图像的红、绿及蓝通道色值换算为红通道、绿通道及蓝通道之反射率，从而得到局部原解析度真彩可见光波段反射率的模型(请参见图5)。
本实施例还提出一种高解析度真彩可见光反演方法，能够通过真彩可见光波段反射率模型反演得到真彩可见光云图，该反演方法具体如下：
通过真彩可见光波段反射率模型反演得到原解析度的局部区域真彩可见光反射率瓦片矩阵；将晴空区内的像素值替换为对应区域内地貌反射率对应的色值，生成局部区域真彩可见光反射率瓦片；将各局部区域真彩可见光反射率瓦片按照地理区域划分合并成真彩可见光云图，真彩可见光云图的空间分辨率不低于4公里。对于合并过程中，局部区域重叠的部分，采用平滑处理。
一种高解析度真彩可见光生成及其反演系统，该高解析度真彩可见光生成及其反演系统包括：
201数据采集模块，用于获取原解析度的地球同步气象卫星数据。地球同步气象卫星数据包括但不仅限于历史红外光通道数据、多通道卫星观测数据、地图坐标数据；
202数据预处理模块，用于提取历史红外光通道数据、多通道卫星观测数据的亮温数据，并分别预处理后形成历史红外光亮温标准分布模型和全盘二维亮温模型；
203晴空掩膜处理模块，用于同一时段同一区域内的历史红外光亮温标准分布模型和全盘二维亮温模型进行相似度比对，并识别出晴空区，并在晴空区内形成晴空掩膜；去除晴空信号后，生成历史多通道云层卫星数据集；
204数据学习模块，将同单一时次观测时次中位于晴空掩膜范围内所需要红外光通道观测数据之数值以特定数值替代，并按通道分别输出成原解析度二维数据矩阵；采用分布式训练对各个节点的历史多通道云层卫星数据集进行学习，并形成原解析度的真彩可见光波段反射率模型；
该数据学习模块，用于将单一时次全盘红外光通道观测数据预处理模块所输出的各红外光通道原解析度二维亮温数据矩阵，按建立模型列阵时采用区域分解法进行分解，并根据观测时间将相应地理域范围所需要的红外光通道传输至搭载相应的区域转换模型的主机，转换为区域原解析度单一时次初步真彩可见光波段反射率；
205数据反演模块，根据真彩可见光波段反射率模型反演得到局部真彩可见光反射率瓦片矩阵；将局部真彩可见光反射率瓦片矩阵按照地理区域划分合并成真彩可见光云图，并平滑处理重叠区域。
数据反演模块的具体操作如下：
单一观测时次全球永昼高分辨率可见光波段反射率后处理模块，用于针对由单一时次可见光波段反射率反演模块生成的原解析度局部区域，真彩可见光卫星反射率瓦片矩阵，将相应单一时次晴空掩膜生成模块计算出之晴空无云区内之像素值更换为相应地貌的反射率的对应色值，生成最终单一时次原解析度区域真彩可见光波段反射率瓦片。最后，按区域分解法之地理划分，将所有区域真彩可见光波段反射率瓦片合并为空间分辨率不低于4公里的单一时次全球永昼真彩可见光波段反射率，局部区域之间重叠部分进行平滑处理。
本发明实施例的有益效果是：
(1)通过采用晴空掩膜的方式彻底抑制晴空假云问题，无需依赖月相或者数值预报数据就能够获取到夜间真彩可见光云图。
(2)采用分布式并行机器学习或深度学习模型集可有效减少单个模型复杂度、训练时间和运行时间，提升准确度及运行效率，在不牺牲解析度的前提下部署至全球范围，实现高频、快速、可靠、高清及单一时次的全球永昼可见光波段反射率反演，实现大范围高频、可靠及实时的可见光卫星反射率反演。
(3)采用原解析度数据进行处理，使得最终获取到空间分辨率不低于4公里的单一时次全球真彩可见光波段反射率模型，从而能够反演得到全时段的全球真彩可见光云图。
本发明中的高解析度真彩可见光方法通过获取历史红外光数据得到不同时间段的观测区域内的晴空状态下的地面红外信号亮温分布，然后将其与同时期同区域内的历史多通道卫星观测数据的红外光亮温分布进行纹理对比，识别出同时期同区域内的晴空信号并形成掩膜；然后将区域内的地面红外光通道信号去除，防止后期机器学习或深度学习模型时，在无云的晚上将来自地面的红外光低亮温信号误判为有云区域而反演出虚假云层可见光反射率，有效抑制在晴空状态下出现假云的问题；在数据自动化学习阶段，采用分布式学习，有效减少单个模型复杂度、训练时间以及运行时间，提升准确度及运行效率，可在不牺牲解析度的前提下对全球区域进行可见光波段反射率反演，从而得到的真彩可见光波段反射率模型能够反演得到真彩可见光云图，实现高频、快速、稳定、可靠、高清及实时的全球全时段可见光波段反射率反演。
本说明书描述了本发明的实施例的示例，并不意味着这些实施例说明并描述了本发明的所有可能形式。应理解，说明书中的实施例可以多种替代形式实施。附图无需按比例绘制；可放大或缩小一些特征以显示特定部件的细节。公开的具体结构和功能细节不应当作限定解释，仅仅是教导本领域技术人员以多种形式实施本发明的代表性基础。本领域内的技术人员应理解，参考任一附图说明和描述的多个特征可以与一个或多个其它附图中说明的特征组合以形成未明确说明或描述的实施例。说明的组合特征提供用于典型应用的代表实施例。然而，与本发明的教导一致的特征的多种组合和变型可以根据需要用于特定应用或实施。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高解析度真彩可见光模型生成方法，其特征在于，所述生成方法包括如下步骤：
将原解析度的历史红外光数据投影到地图坐标系统，预处理所述历史红外光数据中的亮温数据，生成原解析度的历史红外光亮温标准分布模型；采集多通道卫星观测数据，并对所述多通道卫星观测数据进行预处理，形成全盘二维亮温模型；将全盘二维亮温模型与所述原解析度的历史红外光亮温标准分布模型进行相似度比对，识别出晴空区，在所述晴空区内的形成晴空掩膜；去除晴空信号，生成历史多通道云层卫星数据集；
将所述历史多通道云层卫星数据集进行区域拆分，获取每个区域内的有效数据形成局部时间跨度数据集；将各个区域的所述局部时间跨度数据集内的二维亮温数据分成训练集、验证集和测试集，结合地理数据进行分布式训练，训练后整合得到原解析度的真彩可见光波段反射率模型。
2.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述生成原解析度的历史红外光亮温标准分布模型包括如下步骤：
将多个地球同步卫星获取到的红外光通道数据按2公里分辨率投影至地图坐标系统；
提取同区域同时期的所述历史红外光数据中的红外光通道的亮温数据；
将所述亮温数据进行亮温值排序；
根据排序结果选择出晴空亮温数据；
根据所述晴空亮温数据构成二维亮温数据矩阵，生成原解析度的历史红外光亮温标准分布模型。
3.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述多通道卫星观测数据进行预处理，形成全盘二维亮温模型包括如下步骤：
将获取到的所述多通道卫星观测数据投影至所述地图坐标系统；
各通道卫星观测数据构建二维数据矩阵；
提取所述二维数据矩阵内的与原解析度的历史红外光亮温标准分布模型的红外波段相同的全盘二维亮温模型。
4.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述将全盘二维亮温模型与原解析度的历史红外光亮温标准分布模型进行相似度比对，识别出晴空区，在所述晴空区内的形成晴空掩膜包括如下步骤：
使用N*N像素面积的滑动窗口，在滑动同时持续局部计算出SSIM值；
所述SSIM值大于0.85时，判定为晴空区。
5.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述去除晴空信号，生成历史多通道云层卫星数据集包括：
将晴空掩膜内的历史真彩可见光卫星数据的反射率值替换成对应网格地貌的平均反射率；
将晴空掩膜内的红外光通道数据的亮温值替换成特定值；
重新整理各通道数据输出为历史多通道云层卫星数据集。
6.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述形成局部时间跨度数据集中的有效数据获取方法为：提取标准正午时间前后三小时的历史多通道云层卫星数据集，并将该数据集平均分成4份，形成局部时间跨度数据集。
7.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述局部时间跨度数据集的具体操作方法包括：
将红外光通道数据转化为0-255对应180K至320K亮温值的8位元数据，将其作为伪色图像的红通道；
将红外通道亮温数据转化为0-255对应180K至320K亮温值的8位元数据，将其作为伪色图像的绿通道；
将全球海拔高度数据转化为0-255对应-10米至4000米海拔的8位元数据，将其作为伪色图像的蓝通道；
将所述红通道、绿通道和蓝通道合并叠加生成伪色图像；
将多通道可见光反射率数据各自换算成各通道的8位元数据，按照颜色属性叠合成真彩可见光图像。
8.根据权利要求1所述的高解析度真彩可见光模型生成方法，其特征在于，所述分布式训练包括如下步骤：
将训练集、验证集和测试集以SSH协议传输至分布式训练节点；
每个节点以对抗神经网络pix2pixHD进行训练建模，生成真彩可见光波段反射率模型。
9.一种高解析度真彩可见光模型反演方法，包括权利要求1-8任一所述的高解析度真彩可见光模型生成方法，其特征在于，所述反演方法为：
通过真彩可见光波段反射率模型反演得到原解析度的局部区域真彩可见光反射率瓦片矩阵；
将所述晴空区内的像素值替换为对应区域内地貌反射率对应的色值，生成局部区域真彩可见光反射率瓦片；
将各局部区域真彩可见光反射率瓦片按照地理区域划分合并成真彩可见光云图，所述真彩可见光云图的空间分辨率不低于4公里；对于合并过程中，局部区域重叠的部分，采用平滑处理。
10.一种高解析度真彩可见光生成及其反演系统，其特征在于，所述高解析度真彩可见光生成及其反演系统包括：
数据采集模块，用于获取原解析度的卫星气象数据；
数据预处理模块，用于提取所述卫星气象数据中的历史红外光数据、多通道卫星观测数据的亮温数据，并分别形成原解析度的历史红外光亮温标准分布模型和全盘二维亮温模型；
晴空掩膜处理模块，用于同一时段同一区域内的原解析度的历史红外光亮温标准分布模型和全盘二维亮温模型进行相似度比对，并识别出晴空区，并在所述晴空区内形成晴空掩膜；去除晴空信号后，生成历史多通道云层卫星数据集；
数据学习模块，采用分布式训练对各个节点的所述历史多通道云层卫星数据集进行学习，并形成原解析度的真彩可见光波段反射率模型；
数据反演模块，根据所述真彩可见光波段反射率模型反演得到局部真彩可见光反射率瓦片矩阵；将局部真彩可见光反射率瓦片矩阵按照地理区域划分合并成真彩可见光云图，并平滑处理重叠区域。
CN202210904873.XA 2022-07-29 2022-07-29 一种高解析度真彩可见光模型生成、反演方法及其系统 Active CN115267941B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210904873.XA CN115267941B (zh) 2022-07-29 2022-07-29 一种高解析度真彩可见光模型生成、反演方法及其系统
PCT/CN2022/116984 WO2024021225A1 (zh) 2022-07-29 2022-09-05 一种高解析度真彩可见光模型生成、反演方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210904873.XA CN115267941B (zh) 2022-07-29 2022-07-29 一种高解析度真彩可见光模型生成、反演方法及其系统

Publications (2)

Publication Number Publication Date
CN115267941A CN115267941A (zh) 2022-11-01
CN115267941B true CN115267941B (zh) 2023-05-23

Family

ID=83771109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210904873.XA Active CN115267941B (zh) 2022-07-29 2022-07-29 一种高解析度真彩可见光模型生成、反演方法及其系统

Country Status (2)

Country Link
CN (1) CN115267941B (zh)
WO (1) WO2024021225A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853949B (zh) * 2024-03-07 2024-05-14 南京信息工程大学 一种使用卫星云图识别冷锋的深度学习方法、系统
CN117933095A (zh) * 2024-03-20 2024-04-26 南京信息工程大学 一种基于机器学习的地表发射率实时反演及同化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104502999A (zh) * 2014-12-10 2015-04-08 中国科学院遥感与数字地球研究所 一种基于静止卫星多通道数据的昼夜云检测方法与装置
US9816863B1 (en) * 2014-09-26 2017-11-14 Harris Corporation Wind field vertical profile estimation using spectral radiance of multiband imagery and temperature profiles

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934700B1 (ko) * 2008-01-04 2009-12-31 부산대학교 산학협력단 밝기온도 표준편차 판정법에 의한 기상관측위성을 이용한안개 탐지시스템 및 그를 사용한 안개 탐지방법
CN103293084B (zh) * 2013-05-08 2015-09-30 南京大学 基于多光谱气象卫星信息的海雾全天时全天候反演方法
KR101429260B1 (ko) * 2013-07-30 2014-08-28 경일대학교산학협력단 적외 채널을 이용한 화산재 탐지방법 및 화산재의 특성값 도출방법
CN106997464A (zh) * 2017-04-07 2017-08-01 中国科学院遥感与数字地球研究所 一种高程辅助的云霾识别方法
CN108564608A (zh) * 2018-04-23 2018-09-21 中南大学 一种基于h8/ahi的白天雾快速提取的方法
CN108761484A (zh) * 2018-04-26 2018-11-06 江苏省气象台 一种基于多源卫星遥感数据的海雾监测方法
CN110308097A (zh) * 2019-07-05 2019-10-08 山东科技大学 一种卫星图像云检测方法及系统
CN113052201B (zh) * 2020-12-22 2022-10-11 中国人民解放军61540部队 一种基于深度学习的卫星云图云分类方法
CN112669201B (zh) * 2020-12-25 2023-09-12 知天(珠海横琴)气象科技有限公司 一种基于红外光的可见光云图转换方法、系统及其终端
CN113869157A (zh) * 2021-09-16 2021-12-31 中国科学院合肥物质科学研究院 一种基于可见光和红外云图的云分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9816863B1 (en) * 2014-09-26 2017-11-14 Harris Corporation Wind field vertical profile estimation using spectral radiance of multiband imagery and temperature profiles
CN104502999A (zh) * 2014-12-10 2015-04-08 中国科学院遥感与数字地球研究所 一种基于静止卫星多通道数据的昼夜云检测方法与装置

Also Published As

Publication number Publication date
WO2024021225A1 (zh) 2024-02-01
CN115267941A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN108445464B (zh) 基于机器学习的卫星雷达反演融合方法
CN115267941B (zh) 一种高解析度真彩可见光模型生成、反演方法及其系统
Venter et al. Hyperlocal mapping of urban air temperature using remote sensing and crowdsourced weather data
Miller et al. Short-term solar irradiance forecasting via satellite/model coupling
Cheng et al. Automated extraction of street lights from JL1-3B nighttime light data and assessment of their solar energy potential
CN103942420A (zh) 一种建筑物尺度的太阳能快速估算方法
CN109946235B (zh) 风云4a气象卫星多通道扫描成像辐射计的多层云反演方法
CN110068655A (zh) 一种天空地一体化大气监测系统
CN109375290B (zh) 一种基于机器学习的跨海大桥雾监测系统及其应用方法
CN113744249B (zh) 一种海洋生态环境损害调查方法
CN114663776A (zh) 一种基于gk-2a的高频空间自适应阈值火情遥感监测方法
CN113343777A (zh) 一种面向自然灾害应急响应的卫星快速规划方法及系统
CN109767465B (zh) 一种基于h8/ahi的白天雾快速提取的方法
Nex et al. 3D Solarweb: A solar cadaster in the Italian Alpine landscape
Zhong et al. Spatiotemporal dynamics evaluation of pixel-level gross domestic product, electric power consumption, and carbon emissions in countries along the belt and road
Zhang et al. Evaluation of the photovoltaic potential in built environment using spatial data captured by unmanned aerial vehicles
CN116245757B (zh) 多模态数据的多场景通用性遥感影像云修复方法和系统
CN116185616A (zh) 一种fy-3d mersi l1b数据自动化再处理方法
Kakooei et al. Spatial-Temporal analysis of urban environmental variables using building height features
US20220391626A1 (en) Method and device for locating an image recording of an object taken from a distance
CN116070735A (zh) 一种基于边长和方位向差规则的黄海绿潮分布区及其漂移预测初始场制作方法
Liu et al. Method of identifying the lengths of equivalent clear-sky periods in the time series of DNI measurements based on generalized atmospheric turbidity
CN107966747A (zh) 高精度的区域天气预测系统
CN113936009A (zh) 一种气象卫星洪涝监测的云阴影去除方法、装置及设备
LOTFIAN Urban climate modeling: case study of Milan city

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40082276

Country of ref document: HK