CN116644379A - 多源海面物理要素的机器学习融合方法、设备及介质 - Google Patents
多源海面物理要素的机器学习融合方法、设备及介质 Download PDFInfo
- Publication number
- CN116644379A CN116644379A CN202310626576.8A CN202310626576A CN116644379A CN 116644379 A CN116644379 A CN 116644379A CN 202310626576 A CN202310626576 A CN 202310626576A CN 116644379 A CN116644379 A CN 116644379A
- Authority
- CN
- China
- Prior art keywords
- data
- satellite
- fusion
- machine learning
- sea surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 43
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 abstract description 40
- 238000012545 processing Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 238000011160 research Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001262 western blot Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Environmental & Geological Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Atmospheric Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Computational Linguistics (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种多源海面物理要素的机器学习融合方法、设备及介质,涉及海洋数据处理技术领域,方法包括:获取多源数据和NWP模式数据/再分析数据;基于目标时刻和时间窗口从多源数据中提取出目标时刻卫星数据,然后进行混合得到混合卫星数据、进行插值得到标准卫星数据;以标准卫星数据作为学习目标,以卫星插值格点及相邻的NWP模式数据/再分析数据作为训练特征建立训练样本;将多个训练样本输入至XGBoost机器学习模型中进行训练,以得到风场数据融合模型;将待处理的NWP模式数据/再分析数据输入至风场数据融合模,得到融合风场。本发明通过训练得到融合模型后即可快速进行数据融合,操作简单,硬件要求低。
Description
本发明是发明名称为“多源海面物理要素的机器学习融合方法和模型”的分案申请,其中,母案的申请号为202210253149.5,申请日为2022.03.15。
技术领域
本发明涉及海洋数据处理技术领域,特别是涉及一种多源海面物理要素的机器学习融合方法、设备及介质。
背景技术
在海洋领域的研究中,数据融合必不可少,它为进一步分析海洋发展以及规律提供了强有力的数据支持。当前有许多数据融合算法被研究者提出并利用。以海面风场的数据融合为例,目前主要的融合方法有插值类融合算法和同化变分类融合算法。其中插值算法有Cressman插值、Kriging插值和时空加权分析,同化变分算法包括最优插值、三维变分等。凌征等通过Cressman插值融合了中国近海的卫星风场和沿岸气象站风场资料。Zhang等对包括SSM/I、TMI、QuikSCAT、AMSR-E等在内的多颗卫星海面风速数据进行了时空权重插值融合,产生了全球范围的自1987年至2006年的时间分辨率为12h、每天和每月的0.25°网格的风速。齐亚琳等对海洋二号卫星海面风场和NCEP数值风场资料进行融合,融合算法中同样采用时空权重插值。Yan等对多源散射计和辐射计风场与模式在分析风场金西行了融合研究,利用最优插值法建立了时间分辨率为6h,空间分辨率为0.25°的2000年至2015年的全球风场产品。
中国专利CN105975763A“一种多源海面风场的融合方法和装置”提供了一种涉及海面风场领域的风场融合方法及装置,该专利利用时空插值算法以及线性插值算法等方法对多个星载微波遥感器采集的海面风场数据和/或多个再分析气象海面风场数据进行数据融合。该发明能够发挥多源卫星的协同观测的优势,同时通过卫星遥感风场数据和再分析气象风场数据融合构建融合海面风场可以有效的提高海面风场的覆盖范围以及时空分辨率。
上述专利中的技术使用了传统插值方法,即每次进行融合风场时都需要进行插值操作,要对各个风场数据进行网格化处理,需要浪费大量的时间,同时处理风场数据所得到的中间网格数据也浪费了大量的空间,而对于传统插值方法来说,其对计算能力也有一定的要求,当硬件设备计算能力较差时,可能会伴随着数据融合时间的增大。
对于融合算法来说,不论是插值类融合算法,还是同化变分类融合算法,它们都可以基本解决海面风场融合的问题。但是在实际应用中,需要受到当前计算能力的制约,这些算法由于复杂计算过程,往往需要使用计算机集群,且较难实现实时化融合。
发明内容
本发明提供一种多源海面物理要素的数据融合方法、设备及介质,以解决现有技术存在的融合算法受计算能力的制约难以实现实时化融合的问题。
为实现上述目的,本申请提供了如下方案:
一种多源海面物理要素的机器学习融合方法,包括:
获取多源数据和NWP模式数据/再分析数据;所述多源数据包括HY-2B卫星、中法海洋卫星及MetOp-B卫星的海面风场数据;
选取0时和12时作为目标时刻,选取时间窗口为3小时,基于所述目标时刻和所述时间窗口,从所述多源数据中提取出目标时刻卫星数据;
对所述目标时刻卫星数据中HY-2B卫星、中法海洋卫星以及MetOp-B卫星的数据进行混合,以得到混合卫星数据;
采用反距离加权插值算法对所述混合卫星数据进行插值,以得到标准卫星数据;所述标准卫星数据为0.25°×0.25°的标准网格数据;
以所述标准卫星数据作为学习目标,以卫星插值格点及相邻的NWP模式数据/再分析数据作为训练特征,建立训练样本;
将多个训练样本输入至XGBoost机器学习模型中进行训练,以得到最优的XGBoost机器学习模型;所述最优的XGBoost机器学习模型为风场数据融合模型;
获取待处理的NWP模式数据/再分析数据;
将所述待处理的NWP模式数据/再分析数据输入至所述风场数据融合模型,以得到融合风场。
可选地,所述NWP模式数据/再分析数据为ERA-5再分析数据;所述ERA-5再分析数据的空间分辨率为0.25°×0.25°。
可选地,所述卫星插值格点相邻的NWP模式数据/再分析数据为卫星插值格点相邻5×5窗口的ERA-5值。
可选地,HY-2B卫星、中法海洋卫星及MetOp-B卫星的海面风场数据分别为:
HY-2B散射计L2B级数据、中法海洋卫星的L2B级数据以及MetOp-B卫星的海面风场数据。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述的方法的步骤。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开多源海面物理要素的机器学习融合方法、设备及介质,基于训练得到的最优的XGBoost机器学习模型作为风场数据融合模型;在应用中,直接将待处理的NWP模式数据/再分析数据输入至风场数据融合模型,即可得到融合风场,实现快速进行数据融合,操作简单,降低了硬件要求,同时该数据融合方法在一定程度上弱化了物理机制对于数据的影响,适用于几乎所有的海面物理要素。同时,在进行模型训练之前,对采集到的多源数据依次进行目标时刻的提取、多源数据混合以及反距离加权差值,从而得到0.25°×0.25°的标准网格数据,以标准卫星数据作为学习目标,以卫星插值格点及相邻的NWP模式数据/再分析数据作为训练特征建立训练样本,进而进行模型训练能够保证所构建的模型的精确度。另外,本发明方法在CPU平台上即可进行操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的多源海面物理要素的机器学习融合方法的流程图;
图2为本申请实施例提供的时间选取方法结构示意图;
图3为本申请实施例提供的特征工程的建立的结构示意图;
图4为本申请实施例提供的机器学习模型训练图;
图5为本申请实施例提供模型训练及推理过程框图;
图6为本申请实施例提供浮标风速检验。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
数值模式预报(NumericalWeatherPrediction,NWP)是根据海洋和大气实际情况,在一定初值和边值条件下,通过数值计算,求解描写天气演变过程的流体力学和热力学方程组,预报未来天气的方法,如欧洲中期天气预报中心(European Centre forMedium-RangeWeatherForecasts,ECMWF,简称EC)发布的模式预报产品等。大气再分析资料(Reanalysis Data)是一种利用资料同化方法把数值预报产品和多种观测资料融合起来而得到的综合资料,具有内容丰富、资料时间长和汇总了广泛观测资料等特点,如ECMWF发布的ERA-5再分析数据等。
请参阅图1,本发明的实施例提供一种多源海面物理要素的机器学习融合方法,包括:
S1:获取多源数据,并对获取的所述多源数据进行预处理。
具体的,本发明中的多源数据可以为卫星遥感数据、船舶数据或其它观测数据,以研究风场融合为例,本发明针对海面风场进行数据融合,研究中选取了三颗卫星来提供数据支持,分别为HY-2B卫星、中法海洋卫星(CFOSAT)以及MetOp-B卫星,但在实际应用中,可以选取任意可用的极轨卫星或同步卫星来提供数据支持,不仅限于上述三颗卫星。
其中对于HY-2B卫星来说,选取HY-2B散射计L2B级数据,其数据的时间跨度为12小时,空间分辨率为25km×25km。HY-2B散射计每天约有16轨数据,可覆盖全球90%的海域。现有技术使用ECMWF再分析风场数据、TAO和NDBC浮标实测数据,对HY-2B风场进行了总体质量分析。分析发现,在4m/s~24m/s风速区间内,HY-2B风速、风向RMSE分别优于2m/s和20°,能较好满足HY-2B散射计业务化应用的精度要求。
对于中法海洋卫星来说,采用成熟的CAST2000小卫星平台,设计寿命3年,运行于轨道高度521km、降交点地方时07:00AM的太阳同步轨道,探测数据分别传输至中法两国地面站,由两国地面应用系统接收并进行处理。该卫星在海洋动力环境业务监测、海洋灾害监测和预报预警、海洋科学研究中发挥重要作用。本发明中选取的CFOSAT卫星L2B级数据时间跨度为12小时,空间分辨率为12.5km×12.5km,其风速精度为1.5m/s,风向精度为20°。
对于MetOp-B卫星来说,欧洲航天局和欧洲气象卫星开发组织联合发射的MetOp-B代替MetOp-A作为主要的业务观测卫星,其提供的海面风场数据产品风速精度为2m/s,风速范围为0m/s~50m/s。本发明选取的MetOp-B风场数据空间分辨率为12.5km×12.5km。
对于融合风场的检验方法,选取了浮标数据选自离岸50km以上,具有连续风矢量观测能力的热带大气海洋观测计划(Tropical Atmosphere Ocean Array,TAO)浮标数据。该浮标具有较高的观测频率,每10分钟观测一次风速,风向。
请参阅图2,对于不同的环绕地球飞行的人造地球卫星来说,经过同一区域的时间可能有所不同。为了保证研究的科学性和合理性,本发明针对三颗不同的卫星数据进行了处理。通过对不同的卫星经过研究区域的时间统计分析得出,约在00UTC以及12UTC时刻经过目标区域,因此将0时和12时(所有时间均为世界统一时间)作为融合数据的目标时刻。同时为了保证数据量的充足,实验中选取时间窗口为3小时,即选取目标时刻前后各三小时内的卫星数据同等作为该目标时刻的卫星数据。
S2:将经过预处理的所述多源数据进行混合插值,得到与NWP模式数据/再分析数据相同分辨率的标准网格数据。
具体的,对多源卫星等遥感数据进行混合插值,得到与NWP模式数据/再分析数据等相同分辨率的标准网格数据。这一步骤只是用来训练融合模型,当融合模型训练完毕后进行数据融合的时候不需要插值。
本发明中选取的NWP模式数据/再分析数据为ERA-5再分析数据,但是在实际应用中不仅限于使用ERA-5再分析数据。ERA-5是欧洲中期天气预报中心对过去40-70年全球气候和天气的第五代再分析数据。目前的数据是从1950年开始的,分为1950-1978年的气候数据存储条目和1979年以后的。ERA-5提供了大量大气、海浪和陆地表面数量的每小时估计数。本发明选用的ERA-5再分析风场的空间分辨率为0.25°×0.25°。
以研究风场融合为例,对选取的HY-2B,CFOSAT以及MetOp-B卫星数据进行统一混合,本发明中将混合的卫星数据统一处理成为0.25°×0.25°的标准网格数据。在插值处理过程中,由于卫星数据之间分辨率的不同,即12.5km×12.5km及25km×25km不等,为了方便统一插值,本发明选择了反距离加权插值算法对混合卫星数据进行插值,得到0.25°×0.25°的标准网格数据,即与选择的ERA-5数据保持一致的网格数据。
S3:根据所述标准网格数据和所述NWP模式数据/再分析数据建立特征工程,获取目标融合模型所需训练样本。
具体的,以研究风场融合为例,经过插值处理后的卫星数据与ERA-5数据均为0.25°×0.25°的网格数据,本发明使用卫星插值风场数据作为学习目标,选取卫星插值格点及其周围(5×5窗口)的ERA-5值作为训练特征进行训练。如图3所示,图中左侧部门绿点表示卫星插值数据,周围5×5的格点为ERA-5数据,将周围5×5的ERA-5格点数据依次获取作为模型的输入,卫星插值数据作为模型的目标进行训练。
S4:将所述训练样本输入到所述目标融合模型进行训练,得到数据融合模型;根据所述数据融合模型对NWP模式数据/再分析数据进行推理,得到融合场。
请参阅图4,具体的,使用但不限于XGBoost等机器学习方法作为目标融合模型,以研究风场融合为例,获取到足量的训练样本后,选取XGBoost这一机器学习方法来进行模型的训练,最终获取到融合模型。
使用训练完毕的数据融合模型进行机器推理,快速高效的进行数据融合。
以研究风场融合为例,使用XGBoost机器学习方法生成融合模型后,使用融合模型对NWP模式数据/再分析数据进行推理,以此获取到融合风场。
本申请的多源海面物理要素的机器学习融合方法是指对于海面风、海浪、海标温度等物理要素,采用机器学习方法,训练从上述物理要素的数值预报/再分析数据,映射到该物理要素卫星遥感数据的模型。其主要目的是对于没有卫星遥感观测没有覆盖的区域,而只有数值预报/再分析数据的区域,直接从再分析数据中推理出全区域的融合数据,当模型学习能力达到一定的水平时,甚至可能通过模型推理得到高时间分辨率的融合数据,即在卫星未扫过区域的时间段内推理得到融合数据。
本发明提供的多源海面物理要素的数据融合方法及模型,既能够快速进行数据融合,又对硬件或计算能力要求不高,通过对多源卫星等遥感数据等进行混合插值处理得到标准网格数据以此作为学习目标,并利用机器学习方法或者深度学习方法将NWP模式数据/再分析数据作为输入,训练得到融合模型,根据NWP模式数据/再分析数据和卫星遥感数据的对应关系的模型(已训练好的机器学习模型),从NWP模式数据/再分析数据推理出卫星遥感数据。在数据融合过程中仅需CPU即可进行,无需再进行插值操作,对计算能力要求不高,可以实现高效快速融合。
本发明通过机器学习方法训练得到最终的数据融合模型,然后使用数据融合模型进行数据融合。相比于插值方法,机器学习方法的特点:精确;机器学习可以通过数据发现事物中线性或非线性规律,得到解决问题的精准方案。伴随着数据量的增大,其精准度会随之提高。自动化;机器学习在训练过程中无需人工干预,可以自动进行。速度快;机器学习在推理过程中可以几秒甚至几毫秒中产生结果,便于进行实时应用。本发明方法在CPU为Intel(R)Xeon(R)CPU E5-2690 v4@2.60GHz的平台上进行单一时刻数据融合仅需1.5s,而对于插值方法来说,可能需要计算机集群等设备才能够保证速度。
本发明并不局限于XGBoost某一种机器学习方法和现有的深度学习方法,也不局限于某一种卫星等遥感数据以及某一种特定NWP模式数据/再分析数据,对于一般的卫星遥感数据,一般的NWP模式数据/再分析数据均具有普遍适用性。
请参阅图5,本发明使用机器学习方法进行数据融合,包括模型训练以及模型推理两部分操作,图中上半部分为模型训练过程,在融合模型训练过程中,由于卫星等遥感数据的分辨率等问题,需要对卫星等遥感数据进行插值处理,以此与NWP模式数据/再分析数据保持分辨率同步,便于模型的训练,而当融合模型训练完毕后就进入到了模型推理过程,如图下半部分,从图中可以看出,在模型推理过程中并不涉及到插值问题,即直接将NWP模式数据/再分析数据作为模型的输入,模型的输出即为最终的数据融合结果。
请参阅图6,本发明提供的多源海面物理要素的数据融合方法在CPU平台上即可进行操作,以风场融合为例,在西北太平洋地区(0°~45°,100°~160°)进行单一时刻数据融合仅需1.5s即可完成。且对融合后的风场数据与浮标数据进行对比,结果显示,融合风场数据的风速相比较原始风场来说明显更加接近浮标数据,具体结果如图6,图中横坐标表示匹配样例,纵坐标表示风速,从图中可以看出,在黑框标记的部分,融合风场明显靠近浮标数据,该结果说明使用机器学习进行海面物理要素融合的方法在准确度方面是有效的。
综上,本发明所提出的使用机器学习来进行海面物理要素数据融合的方法在速度上比较传统方法更快,在准确度上较原始NWP模式数据/再分析数据更好,而且对硬件要求更低,虽然本发明仅以风场融合进行说明,但是本发明方法在海浪场,海表温度场等海面要素均适用。
本发明的另一个实施例提供一种多源海面物理要素的数据融合模型,一种多源海面物理要素的数据融合模型,所述数据融合模型根据所述的多源海面物理要素的机器学习融合方法训练所得。
本发明的另一个实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述多源海面物理要素的机器学习融合方法的步骤。
本发明的另一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现多源海面物理要素的机器学习融合方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种多源海面物理要素的机器学习融合方法,其特征在于,包括:
获取多源数据和NWP模式数据/再分析数据;所述多源数据包括HY-2B卫星、中法海洋卫星及MetOp-B卫星的海面风场数据;
选取0时和12时作为目标时刻,选取时间窗口为3小时,基于所述目标时刻和所述时间窗口,从所述多源数据中提取出目标时刻卫星数据;
对所述目标时刻卫星数据中HY-2B卫星、中法海洋卫星以及MetOp-B卫星的数据进行混合,以得到混合卫星数据;
采用反距离加权插值算法对所述混合卫星数据进行插值,以得到标准卫星数据;所述标准卫星数据为0.25°×0.25°的标准网格数据;
以所述标准卫星数据作为学习目标,以卫星插值格点及相邻的NWP模式数据/再分析数据作为训练特征,建立训练样本;
将多个训练样本输入至XGBoost机器学习模型中进行训练,以得到最优的XGBoost机器学习模型;所述最优的XGBoost机器学习模型为风场数据融合模型;
获取待处理的NWP模式数据/再分析数据;
将所述待处理的NWP模式数据/再分析数据输入至所述风场数据融合模型,以得到融合风场。
2.根据权利要求1所述的多源海面物理要素的机器学习融合方法,其特征在于,所述NWP模式数据/再分析数据为ERA-5再分析数据;所述ERA-5再分析数据的空间分辨率为0.25°×0.25°。
3.根据权利要求2所述的多源海面物理要素的机器学习融合方法,其特征在于,所述卫星插值格点相邻的NWP模式数据/再分析数据为卫星插值格点相邻5×5窗口的ERA-5值。
4.根据权利要求1所述的多源海面物理要素的机器学习融合方法,其特征在于,HY-2B卫星、中法海洋卫星及MetOp-B卫星的海面风场数据分别为:
HY-2B散射计L2B级数据、中法海洋卫星的L2B级数据以及MetOp-B卫星的海面风场数据。
5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的多源海面物理要素的机器学习融合方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的多源海面物理要素的机器学习融合方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310626576.8A CN116644379A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法、设备及介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310626576.8A CN116644379A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法、设备及介质 |
CN202210253149.5A CN114580561A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法和模型 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210253149.5A Division CN114580561A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法和模型 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116644379A true CN116644379A (zh) | 2023-08-25 |
Family
ID=81774520
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310626576.8A Pending CN116644379A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法、设备及介质 |
CN202210253149.5A Pending CN114580561A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法和模型 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210253149.5A Pending CN114580561A (zh) | 2022-03-15 | 2022-03-15 | 多源海面物理要素的机器学习融合方法和模型 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN116644379A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117150437A (zh) * | 2023-10-31 | 2023-12-01 | 航天宏图信息技术股份有限公司 | 多源卫星海面风场数据融合方法、装置、设备及介质 |
CN117609932A (zh) * | 2023-09-22 | 2024-02-27 | 宁波市气象网络与装备保障中心 | 一种海面能见度多源数据融合方法 |
CN117633712A (zh) * | 2024-01-24 | 2024-03-01 | 国家卫星海洋应用中心 | 一种基于多源数据的海表高度数据融合方法、装置及设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975763B (zh) * | 2016-04-29 | 2017-04-12 | 国家卫星海洋应用中心 | 一种多源海面风场的融合方法和装置 |
CN113988351A (zh) * | 2020-07-27 | 2022-01-28 | 海南省气象科学研究所 | 一种基于时空局部模型的数值模式气温预报产品释用方法 |
CN112308973A (zh) * | 2020-10-30 | 2021-02-02 | 无锡九方科技有限公司 | 基于机器学习的三维海洋要素场智能构建方法及系统 |
CN112800634B (zh) * | 2021-04-07 | 2021-06-25 | 水利部交通运输部国家能源局南京水利科学研究院 | 耦合干湿状态辨识与多源信息融合的降水估计方法及系统 |
CN113720310B (zh) * | 2021-08-31 | 2023-08-08 | 中煤科工集团重庆研究院有限公司 | 一种巷道摄影地质编录方法及系统 |
-
2022
- 2022-03-15 CN CN202310626576.8A patent/CN116644379A/zh active Pending
- 2022-03-15 CN CN202210253149.5A patent/CN114580561A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609932A (zh) * | 2023-09-22 | 2024-02-27 | 宁波市气象网络与装备保障中心 | 一种海面能见度多源数据融合方法 |
CN117609932B (zh) * | 2023-09-22 | 2024-05-24 | 宁波市气象网络与装备保障中心 | 一种海面能见度多源数据融合方法 |
CN117150437A (zh) * | 2023-10-31 | 2023-12-01 | 航天宏图信息技术股份有限公司 | 多源卫星海面风场数据融合方法、装置、设备及介质 |
CN117150437B (zh) * | 2023-10-31 | 2024-01-30 | 航天宏图信息技术股份有限公司 | 多源卫星海面风场数据融合方法、装置、设备及介质 |
CN117633712A (zh) * | 2024-01-24 | 2024-03-01 | 国家卫星海洋应用中心 | 一种基于多源数据的海表高度数据融合方法、装置及设备 |
CN117633712B (zh) * | 2024-01-24 | 2024-04-19 | 国家卫星海洋应用中心 | 一种基于多源数据的海表高度数据融合方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114580561A (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112905560B (zh) | 一种多源时空大数据深度融合的空气污染预测方法 | |
Ruwali et al. | Implementation of hybrid deep learning model (LSTM-CNN) for ionospheric TEC forecasting using GPS data | |
CN116644379A (zh) | 多源海面物理要素的机器学习融合方法、设备及介质 | |
Bentamy et al. | Gridded surface wind fields from Metop/ASCAT measurements | |
CN105975763B (zh) | 一种多源海面风场的融合方法和装置 | |
Doubrawa et al. | Satellite winds as a tool for offshore wind resource assessment: The Great Lakes Wind Atlas | |
CN102004856B (zh) | 高频观测资料实时数据的快速集合卡曼滤波同化方法 | |
CN113936142A (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
Badger et al. | Extrapolating satellite winds to turbine operating heights | |
CN104636608A (zh) | 一种modis卫星数据的直接同化方法 | |
Furevik et al. | Eight years of wind measurements from scatterometer for wind resource mapping in the Mediterranean Sea | |
CN111652404A (zh) | 一种全天气地表温度反演方法和系统 | |
CN112946784B (zh) | 一种基于深度学习的SuperDARN雷达对流图短期预报方法 | |
Ionescu et al. | DeePS at: A deep learning model for prediction of satellite images for nowcasting purposes | |
CN111597692B (zh) | 一种地表净辐射估算方法、系统、电子设备和存储介质 | |
CN114114358B (zh) | 一种基于多源卫星数据融合的北极海冰厚度空间分辨率改进方法 | |
Li et al. | Synergistic use of satellite observations and numerical weather model to study atmospheric occluded fronts | |
Bhushan et al. | Comparison of NYHOPS hydrodynamic model SST predictions with satellite observations in the Hudson River tidal, estuarine, and coastal plume region | |
Champenois et al. | Real-time reconstruction of 3D ocean temperature fields from reanalysis data and satellite and buoy surface measurements | |
Torres et al. | Simulation of storm surge in northeast coast of the US; a closer look at the wind forcing | |
Hay et al. | In Situ Validation of Altimetry and CFOSAT SWIM Measurements in a High Wave Environment | |
Kiyofuji et al. | A visualization of the variability of spawning ground distribution of Japanese common squid (Todarades pacificus) using Marine-GIS and satellite data sets | |
Zelenke | An empirical statistical model relating winds and ocean surface currents: Implications for short-term current forecasts | |
Anguelova et al. | First extensive whitecap database and its use to study whitecap fraction variability | |
Bakri et al. | Assessing offshore wind power resources in British Columbia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |