CN114935759A - 基于高频地波雷达观测的波浪场缺失值填补方法及系统 - Google Patents
基于高频地波雷达观测的波浪场缺失值填补方法及系统 Download PDFInfo
- Publication number
- CN114935759A CN114935759A CN202210514510.5A CN202210514510A CN114935759A CN 114935759 A CN114935759 A CN 114935759A CN 202210514510 A CN202210514510 A CN 202210514510A CN 114935759 A CN114935759 A CN 114935759A
- Authority
- CN
- China
- Prior art keywords
- wave
- model
- data
- missing
- frequency ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
- G01S13/958—Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了基于高频地波雷达观测的波浪场缺失值填补方法及系统,方法包括:获取高频地波雷达的波浪场信息;根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;根据所述波浪要素缺失值,建立近海海洋模型;根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。本发明提高了准确性,可广泛应用于数据处理技术领域。
Description
技术领域
本发明涉及数据处理技术领域,尤其是基于高频地波雷达观测的波浪场缺失值填补方法及系统。
背景技术
高频地波雷达(High-Frequance Surface Wave Radar,简称HFSWR)是海洋遥感的一种高科技手段,可实现大范围内海况信息的探测和海上运动目标的超视距监控和定位。
近年来,随着各沿海国家在沿海地区大力建设岸基HFSWR网组已监测,运用HFSWR反演波浪要素的已被证实具有良好的可靠性,逐步趋向成熟,向业务化发展。由于HFSWR工作原理是利用垂直极化高频(3~30MHz)电磁波在导电海洋表面绕射传播衰减小的特点和海洋表面对电波的散射机制,可实现对大范围内海况信息的探测和海上运动目标的超视距监控和定位,已成为近海波浪要素的主要观测之一。但在实际观测中,由于高频地波雷达常受外部因素干扰引起雷达回波缺失,导致所探测的波浪信息存在空间不连续问题。
波浪是海水最普遍运动形式之一,是物理海洋学的重要研究内容和海洋工程领域的重要参数。准确而实时的波浪数据,有助于船舶航行,渔业生产,海上石油开发,对港口水工建设,岸滩演变具有指导性的意义。现有的对离岸海域的波浪观测难度大,实测资料少,其技术缺点可概括为:
1.传统的波浪观测仪器主要有测波杆、声学测波仪、浮标、激光测波仪等设备。测波杆、声学测波仪及激光测波仪等仪器具有安装简便、观测精度较高、成本较低等优势,但需要固定平台、经常性维护、易受极端天气的影响且无法测量大范围区域。
2.波浪遥感观测主要利用高频地波雷达和卫星高度计。卫星高度计所观测的海浪参数具有空间分辨率大,重访周期长等缺点,难以针对目标海域进行实时监测等局限。相比卫星高度计而言,利用HFSWR反演目标海域海况信息所获得的数据量成本更低,时间频度更高,观测精度好。
然而,由于实际海况复杂,受电离层干扰、瞬态干扰、设备故障、电源故障等客观因素的影响,高频地波雷接收雷达回波信号所反演的波浪信息(波高,波向,波周期)会出现一定的时间上断续及空间不连续情况。同时,在数据收集过程中,除了技术上无法获取,还有数据获取代价太大、因保密或隐私问题造成的单元无回答等,都会影响数据的完整性。样本收集完成后,由于人为因素导致的数据缺失,亦或者数据有误、数据不可用也将间接造成数据的不完整或断续问题。
现有的技术尚未很好地解决HFSWR对波浪场观测要素的时间不连续和空间不连续问题,对长时段HFSWR缺失值填补技术还有待改进。
发明内容
有鉴于此,本发明实施例提供一种准确性高的,基于高频地波雷达观测的波浪场缺失值填补方法及系统。
本发明的一方面提供了一种基于高频地波雷达观测的波浪场缺失值填补方法,包括:
获取高频地波雷达的波浪场信息;
根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
根据所述波浪要素缺失值,建立近海海洋模型;
根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
可选地,所述获取高频地波雷达的波浪场信息,包括:
岸基高频地波雷达的岸边天线阵列向海域发射垂直极化短波后获取雷达回波信号;
使用全积分反演和拟合海浪频谱模型对所述雷达回波信号进行信号处理,从二阶雷达频谱中获取波浪场信息;
其中,所述波浪场信息包括但不限于雷达覆盖范围信息、反演获得的波高信息、波周期信息以及波向信息。
可选地,所述据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值,包括:
根据所述波浪场信息,统计不同波要素在岸基高频地波雷达的径向方向上的第一缺失值记录;
根据所述波浪场信息,统计不同观测位点上的第二缺失值记录;
根据所述波浪场信息,统计不同测量时刻的第三缺失值记录;
根据所述第一缺失值记录、所述第二缺失值记录和所述第三缺失值记录,确定波浪要素缺失值。
可选地,所述方法还包括对目标区域进行分块处理的步骤,该步骤包括:
获取目标海域的海图资料,提取出高频地波雷达覆盖范围的近岸海岸线资料和水深资料;
根据所述近岸海岸线资料和水深资料,划定浅水区域和深水区域;
获取所述目标海域的气象资料,提取高频地波雷达覆盖范围的风速资料;
根据所述风速资料,划定常风时段和极端风速时段。
可选地,所述根据所述波浪要素缺失值,建立近海海洋模型,包括:
将所述浅水区域作为近海波浪模型SWAN模型的研究区域,将所述深水区域作为海洋波浪模型WW3模型的研究区域,划分得到网格区域;
获取背景海况和气象资料,将所述背景海况和所述气象资料处理成对应网络分辨率精度;其中,所述背景海况和气象资料包括历史风场资料、历史流场资料以及模型运行时刻的初始浪场资料;
根据划分得到的网格区域,分别运行SWAN模型和WW3模型;
对所述SWAN模型和所述WW3模型进行参数调整,并对构建的模型进行定量评估,得到满足精度要求的近海海洋模型。
可选地,所述根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理,包括:
结合模型模拟值,对高频地波雷达的长期缺失值和短期缺失值作填补处理;其中,对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,对长期缺失时段作模型值插值处理;
其中,所述对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,包括:
将目标点位缺失时段记为空白值,建立季节性时序波浪要素信息模型;
对季节性时序波浪要素信息模型的数据进行滑动平均处理,得到目标点位波浪要素时间序列的基线;
以所述时间序列的基线进行数据的插值处理。
可选地,所述方法还包括构建基于信息熵的数据分类模型的步骤,该步骤包括:
获取初始数据,并对所述初始数据进行数据预处理,得到目标数据;
对所述目标数据提取目标特征;
根据所述目标特征,采用前馈神经网络构建的学习算法进行训练,构建基于信息熵的数据分类模型。
可选地,所述方法还包括构建波浪预报模型的步骤,该步骤包括:
根据所述基于信息熵的数据分类模型获取有效波高可信值的样本数据,构建训练样本集和验证集;
通过多层感知器模型和随机森林模型对所述训练样本集进行训练,输出有效波高数据作为第一层模型学习训练结果;
构建新的训练集,采用极端树模型对所述新的训练集进行训练,输出有效波高数据作为第二层模型学习训练结果;
根据所述第一层模型学习训练结果和所述第二层模型学习训练结果的验证结果,构建波浪预报模型。
本发明实施例的另一方面还提供了一种基于高频地波雷达观测的波浪场缺失值填补系统,包括:
第一模块,用于获取高频地波雷达的波浪场信息;
第二模块,用于根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
第三模块,用于根据所述波浪要素缺失值,建立近海海洋模型;
第四模块,用于根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
本发明实施例的另一方面还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明的实施例获取高频地波雷达的波浪场信息;根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;根据所述波浪要素缺失值,建立近海海洋模型;根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。本发明提高了准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的整体步骤流程图;
图2为本发明实施例提供的获取HFSWR波浪场信息的流程图;
图3为本发明实施例提供的波浪要素缺失值统计的流程图;
图4为本发明实施例提供的目标区域的分块过程的流程图;
图5为本发明实施例提供的建立近海海洋模型的流程图;
图6为本发明实施例提供的填补HFSWR浪场缺失值的流程图;
图7为本发明实施例提供的建立基于信息熵的数据分类模型的流程图;
图8为本发明实施例提供的集成机器学习的波浪预报模型的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对现有技术存在的问题,本发明的一方面提供了一种基于高频地波雷达观测的波浪场缺失值填补方法,包括:
获取高频地波雷达的波浪场信息;
根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
根据所述波浪要素缺失值,建立近海海洋模型;
根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
可选地,所述获取高频地波雷达的波浪场信息,包括:
岸基高频地波雷达的岸边天线阵列向海域发射垂直极化短波后获取雷达回波信号;
使用全积分反演和拟合海浪频谱模型对所述雷达回波信号进行信号处理,从二阶雷达频谱中获取波浪场信息;
其中,所述波浪场信息包括但不限于雷达覆盖范围信息、反演获得的波高信息、波周期信息以及波向信息。
可选地,所述据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值,包括:
根据所述波浪场信息,统计不同波要素在岸基高频地波雷达的径向方向上的第一缺失值记录;
根据所述波浪场信息,统计不同观测位点上的第二缺失值记录;
根据所述波浪场信息,统计不同测量时刻的第三缺失值记录;
根据所述第一缺失值记录、所述第二缺失值记录和所述第三缺失值记录,确定波浪要素缺失值。
可选地,所述方法还包括对目标区域进行分块处理的步骤,该步骤包括:
获取目标海域的海图资料,提取出高频地波雷达覆盖范围的近岸海岸线资料和水深资料;
根据所述近岸海岸线资料和水深资料,划定浅水区域和深水区域;
获取所述目标海域的气象资料,提取高频地波雷达覆盖范围的风速资料;
根据所述风速资料,划定常风时段和极端风速时段。
可选地,所述根据所述波浪要素缺失值,建立近海海洋模型,包括:
将所述浅水区域作为近海波浪模型SWAN模型的研究区域,将所述深水区域作为海洋波浪模型WW3模型的研究区域,划分得到网格区域;
获取背景海况和气象资料,将所述背景海况和所述气象资料处理成对应网络分辨率精度;其中,所述背景海况和气象资料包括历史风场资料、历史流场资料以及模型运行时刻的初始浪场资料;
根据划分得到的网格区域,分别运行SWAN模型和WW3模型;
对所述SWAN模型和所述WW3模型进行参数调整,并对构建的模型进行定量评估,得到满足精度要求的近海海洋模型。
可选地,所述根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理,包括:
结合模型模拟值,对高频地波雷达的长期缺失值和短期缺失值作填补处理;其中,对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,对长期缺失时段作模型值插值处理;
其中,所述对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,包括:
将目标点位缺失时段记为空白值,建立季节性时序波浪要素信息模型;
对季节性时序波浪要素信息模型的数据进行滑动平均处理,得到目标点位波浪要素时间序列的基线;
以所述时间序列的基线进行数据的插值处理。
可选地,所述方法还包括构建基于信息熵的数据分类模型的步骤,该步骤包括:
获取初始数据,并对所述初始数据进行数据预处理,得到目标数据;
对所述目标数据提取目标特征;
根据所述目标特征,采用前馈神经网络构建的学习算法进行训练,构建基于信息熵的数据分类模型。
可选地,所述方法还包括构建波浪预报模型的步骤,该步骤包括:
根据所述基于信息熵的数据分类模型获取有效波高可信值的样本数据,构建训练样本集和验证集;
通过多层感知器模型和随机森林模型对所述训练样本集进行训练,输出有效波高数据作为第一层模型学习训练结果;
构建新的训练集,采用极端树模型对所述新的训练集进行训练,输出有效波高数据作为第二层模型学习训练结果;
根据所述第一层模型学习训练结果和所述第二层模型学习训练结果的验证结果,构建波浪预报模型。
本发明实施例的另一方面还提供了一种基于高频地波雷达观测的波浪场缺失值填补系统,包括:
第一模块,用于获取高频地波雷达的波浪场信息;
第二模块,用于根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
第三模块,用于根据所述波浪要素缺失值,建立近海海洋模型;
第四模块,用于根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
本发明实施例的另一方面还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
下面结合说明书附图,对本发明的具体实现过程进行详细描述:
现有的技术尚未很好地解决HFSWR对波浪场观测要素的时间不连续和空间不连续问题,对长时段HFSWR缺失值填补技术还有待改进。本申请拟运用SVM算法,结合海浪模型,实现对HFSWR缺失值的填补,并基于信息熵的数据分类模型实现对数据可信度的分类,并通过集成机器学习的波浪预报模型,建立风-水深-流-海浪预报模型,并完成完整波浪场重构的系统。
本发明的技术路线步骤见图1,详细流程步骤如下:
第一步,获得HFSWR波浪场信息,技术流程见图2。
岸基HFSWR的岸边天线阵列向海域发射频率范围为(3MHz~30MHz)的垂直极化短波,并依据海面Bragg后向反射原理获取雷达回波信号。目前,对雷达回波的信号处理主要使用全积分反演和拟合海浪频谱模型从二阶雷达频谱中获取波要素信息。所获得的波浪场信息包括雷达覆盖范围及反演获得的波高、波周期、波向等信息。
第二步,波浪要素缺失值统计,技术流程见图3。
首先,基于所获得的目标海域历史HFSWR反演波要素信息,分别对不同波要素作岸基HFSWR径向方向上,各个观测位点,不同测量时刻的缺失值记录统计。其次,将数据进行筛选处理,剔除不合理数据,将其标定为缺失值。最后,对所有时间段内HFR各点的缺失值,对各位点数据,定义缺失数据在一小时的时间步长范围内短期缺失值,定义超过一小时时间步长的点位缺失值长时段缺失值。注意,由于雷达回波的信号易受客观因素影响导致某时刻某点位回波信号弱或无信号,一个观测点可以有多个长短期缺失时段。
第三步,目标区域分块处理,技术流场见图4。
HFSWR对波浪的反演,在水深较小区域,由于不再符合遥感观测技术沿用微幅波理论导出的深水波频散关系,潮间浅滩的波浪参数反演亦存在较大精度的误差。因此,通过获取目标海域的海图资料,提取出HFSWR覆盖范围的水深资料。根据HFR测量范围确定目标海域的位置,并获取相应范围的近岸海岸线资料、水深等资料,以20m水深处为分界线,记HFSWR覆盖海域的小于20m水深处定义为近海浅水区域,对水深大于20m处定义为深水区域。
同时,介于HFSWR提取和计算波理论的另一个局限性与最大波高有关,不同发射频率的雷达所反演的最大有效波高有理论截止值。例如,在欧洲马耳他海峡布设的13.5MHz频率SeaSondeHF雷达有效波高的理论截止值约为7.5m。对大波波高超过雷达发射频率定义的极限时,雷达频谱饱和,从而实际波高值被低估。而气候要素中的风是影响有效波高的最主要因素。因此,通过获取目标海域的气象资料,提取出HFSWR的覆盖范围的高精度风速资料。以地面10m处风速20.7m/s为界定(此时海面最大波高为7.5m),判断研究区域的风速,将HFSWR覆盖海域风速小于20.7m/s定为常风时段,大于20.7m/s定为极端风速时段。
第四步,建立近海海洋模型(SWAN,WW3),技术流程图如图5,具体步骤如下:
1.划分网格区域:首先,将上述第三步所划分的浅水区域作为近海波浪模型SWAN模型的研究区域,将深水区域作为海洋波浪模型WW3模型区域。在浅水区域,选用分辨率高的小网格在浅水区域建模,其中,可以选用与HFSWR近海分辨率一致或更高的非结构网格或结构网格。在深水区域,选用分辨率较高的较大网格在深水区域建模,WW3模型仅接受结构网格,其中,所选的网格需与HFSWR分辨率保持一致或更高。
2.获取背景海况、气象资料:所获取的背景海况、气象资料包括历史风场资料,历史流场资料,模型运行时刻的初始浪场资料,并处理成对应网格分辨率精度。
3.模型嵌套:用分辨率较高的近海网格运行SWAN模型,用较低分辨率海洋网格运行WW3海洋模式,并将SWAN模型嵌套至WW3模型中。
4.模型调参:根据已有的目标海域的研究资料,对模型进行调参。如已发表的论文,前人经验等。
5.模型评价:根据可获得的实测资料,如浮标、公开或可获得的卫星资料、已评估的目标海域范围内的HFSWR观测的海浪资料对模型进行评价。本申请采用相关系数r及均方根误差RMSE两个统计值为主要的指标对模型进行定量综合评估,公式如下:
相关系数r:
均方根误差RMSE:
式中,x,y分别为相同波浪要素,不同观测渠道获得的系列数据。相关系数r越大,均方根误差RMSE越小,表示模型模拟值与实测数据越接近,模型模拟精度越高。
第五步,填补HFSWR浪场缺失值,技术流程图如图6。
结合模型模拟值,对HFSWR的长期缺失值和短期缺失值作填补处理。其中,对HFSWR研究范围内不同的点的短期缺失时段作插值处理,对长期缺失时段作模型值插值处理。
由于高频地波雷达回波信号的缺失导致的反演的多个波浪要素信息同步缺失,对于变量时序无法找到不同属性关联。对于时间序列缺失值的插值填补,主要有均值、众数、随机样本插补、线性插值等。基于海浪要素有趋势且有季节性的数据特点,本申请选用基于滑动平均的插值填补方法,对短期缺失时段作插值处理。步骤如下:1.将目标点位缺失时段记为空白值,建立季节性时序波浪要素信息模型。2.对模型数据作滑动平均处理,得到目标点位波浪要素时间序列的基线。2.以时序基线作数据的插值处理。
然而,实际海洋波浪具有随机性,受海面风速风向随时变化的影响,其波高,波长和周期都是随机量。对HFSWR研究范围内缺失值而言,当数据缺失值占比增大,所有的填补方法误差都将增大,且无法通过算法弥补。而由于数据保密或隐私问题,高频地波雷达所反演的波浪要素可能存在长时段的缺失值。因此,对HFSWR研究范围内长期缺失时段作模型值插值处理。
第六步,建立基于信息熵的数据分类模型,技术流程图见下图7,步骤如下:
由于高频地波雷达反演波浪要素在浅水区域(不符合深水波频散关系,反演精度差)、远距离区域(存在距离限制,反演精度差)、相邻两雷达基站直线方向上、极端风速条件下(由于雷达发射频率导致的有效波高理论最大截止值,存在波浪要素低估的情况)反演精度存在较大的误差,且尚未有较好的改进方法。因此,为解决HFSWR采样数据及填补数据不准确问题,本文提出使用信息熵的机器学习网络模型,把数据归为浅水区异常值、远距离异常值、极端风速异常值、及可信值,实现信息捕获,提前为下一步机器学习探讨气象要素与波浪的映射关系作数据分类处理。
1.数据预处理。数据预处理包括数据清洗和数据归一化处理。数据清洗为去除其中的异常特征值,删除重复信息。本申请数据归一化处理采用最大-最小标准化方法。设minA和minA分别是属性A的最小值和最大值,将A的一个原始数据x通过最大-最小标准化映射到区间[0,1]的x′,则公式为:
2.特征提取。信息熵实际反应的是一个信息的不确定度。在一个随机事件中,某个事件发生的不确定度越大,熵也就越大,那我们要搞清楚所需要的信息量越大。由于信息熵擅长描述未知信息量,因此本申请根据信息熵对预处理后的数据做去冗余操作,并利用互信息矩阵提取主成分特征。
假定预处理后的数据集为D,特征分布空间为Ra×b。假定D内任意数据集Di=(di1,di2,...,dib),dij是描述数据i对应的第j个特征量,引入信息熵并得到各特征属性信息熵公式为:
引入互信息R(Di,Dj)=H(Di)+H(Dj)-H(Di,Dj),其中,H(Di,Dj)由di和dj联合概率所得;R(Di,Dj)是对熵的量化确定特征属性,可应用于非线性关系场合。对所有数据特征求解互信息,得到矩阵如下:
矩阵R内,R11,R22...,Rbb为自信息,其余为互信息,即Rij=Rji。假定互信息R的特征正序集合是r1,r2,...,rn,对应的特征向量是a1,a2,...,an。根据对称矩阵R特征值计算主成分维度公式为:
对排序靠前的若干个特征值求解维度和将suma与阈值比较,当suma超过判定阈值时,确定Aa=(a1,a2,...,aa)是主成分矩阵,再利用A′aD即可完成主成分特征提取。由于这种特征提取方法具有良好的非线性,能够有效处理非均匀分布的交叉覆盖信息。
3.基于机器学习的信息分类。综合考虑使用模型对数据的分类处理的时效性与精度,选用前馈神经网络(Single-hidden Layer Feed forward Network,SLFN)构建学习算法,具体分为输入,输出,和隐藏三个层次。SLNF算法将随机产生输入层和隐含层间的连接权值和隐含层神经元的阈值,且在训练过程中无需调整,只需要设置隐含层的神经元的个数,便可以获得唯一最优解,与传统的训练方法相比,该方法具有学习速率快、泛化性能好等优点。
假设输入数据量为q,输入样本为{(ei,ui),i∈[1,q]},输入向量为ei=[ei1,ei2,...,eiβ]T,定义ei的理想输出为ui=[ui1,ui2,...,uiβ]T。则可确定输入与输出的神经元数量为β和ε。则SLFN网络表达式为:
其中,N表示隐层所包含的神经元数量;ζi=[ζi1,ζi2,...,ζiβ]T、ξi=[ξi1,ζi2,...,ζiβ]T分别用于描述隐层i的神经元与输出、输入之间的加权值;Ji(x)是激活函数;δi为误差。根据各层的关系,可得隐层输出为:
其中,G是隐层输出;O是理想输出。引入正则化处理,构建Lagrange函数的正则模型为:
其中,η=[η1,η2,...,ηβ]T为Lagrange乘子,‖ζi‖2代表网络复杂性,‖Δi‖2代表学习偏差。计算可得网络输出加权如下:
如果网络中学习数据量超过N时,则U代表N×N阶矩阵;否则,U代表M×M阶矩阵。
4.评价指标。本申请选取Acc(Accuracy)、F-Measure和G-Mean三个指标来综合检验交叉覆盖信息捕获算法的性能。
Acc为总体分类精度,用于描述模型的捕获准确率,公式为:
其中,TP代表正确预测正分类结果,FP代表错误预测正分类结果,FP代表错误预测正分类结果,FN代表错误预测负分类结果。
F-Measure是常用于评价分类模型的好坏的指标,公式为:
其中,β是加权调和函数,P=TP/(TP+FP)表示分类精度,R=TP/(TP+TN)表示召回率。
G-Mean是用于描述正负类召回率的综合指标,当且仅当正负类的R指标均升高时,G-Mean才升高,对不平衡数据具有良好的鲁棒性,公式为:
第七步,集成机器学习的波浪预报模型:集成方法将集中机器学习技术组合成一个预测模型的元算法,以达到减小方差(bagging)、偏差(boosting)或改进预测(stacking)的效果。由于所获得的已填补HFSWR雷达数据量大,变量因素多,可能存在多个映射关系,本申请通过对选择Stacking方法建立波浪预报模型。以改进后HFR波浪场的数据为样本,通过集成学习建立风-水深-流-海浪预报模型。为便于理解,以下步骤以风速和有效波高的关系建立波浪预报模型。技术流程图见下图8,具体步骤如下:
1.建立训练样本集。首先,选择第六步通过信息熵分类的有效波高可信值作为总样本,并按照波高等级等比例分为10个样本集,其中7个样本作为训练集,3个样本集作为验证集。训练样本定义为其中,指与可信值有效波高对应的风速资料,指有效波高可信值数据。对不同的海况,按照有效波高等级/风速等级分为10个样本集,其中7个样本作为训练集,3个样本集作为验证集。
2.第一层模型学习训练。第一层模型分为两个个体学习器:多层感知器模型和随机森林模型。通过不同的学习器对样本集的训练,输出各个体学习器所预报的有效波高数据。
4.第二层模型学习训练。第二层模型所采用的个体学习器为极端树模型。
5.风速和有效波高单体映射关系预报模型验证。根据以上两层模型组成的风速对有效波高预报模型,投入验证集进行验证。本申请采用拟合优度R2对模型进行定量评估。
6.波浪多要素映射关系预报模型。通过逐步增加海流、水深等影响要素作为第一层模型输入训练集,建立风-水深-流-海浪影响机制,并建立多要素对目标海域的波浪预报模型。
7.波浪场数据重构及预测。对浅水异常值,远距离异常值,极端风速异常值分类的有效波高所对应的风速条件投入stacking集成机器学习的波浪预报算法中,将获得的预报结果与浅水异常值,远距离异常值,极端风速异常值分类的波浪要素(如有效波高)作对比,并对数据进行覆盖及模型重运行,提升模型响应机制结果的准确性和稳定性。
综上所述,本发明针对现有的高频地波雷达对波浪数据缺失的技术局限性,以及缺乏对目标海域波浪动力机制的探讨,提出了一套基于波浪数值模型及SVM算法的填补模型,并基于信息熵分类模型及集成机器学习建立了风-水深-流-海浪预报模型,完成完整波浪场重构的系统。具体优点如下:
1、多源数据互补:同步收集目标海域风、流、水深及可获取的波浪浮标等数据,建立近海数值模型swan及海洋数值模型WW3,对HFSWR长期缺失值进行填补及对比验证。
2、考虑长短缺失值HFSWR数据填补:根据目标点缺失数据的时间连续性,将其划分为长/短期缺失值。对长缺失值,使用波浪模型数据填补,对短期缺失值,使用SVM算法模型填补。
3、处理数据的合理性:使用基于信息熵的数据分类模型,将HFSWR数据分类,提高集成机器学习的波浪预报的输入样本集的可靠度。同时,讲异常数据样本集作为集成机器学习的对照数据,可进一步探讨HFSWR反演波浪要素的范围及局限。
4、集成机器学习的波浪预报:集成机器学习分为第一层模型及第二层模型,通过第一层模型输出第二层模型的训练集。对比单一的机器学习模型,可更深入探讨风、水深、流等对海浪的响应机制,大大提高了波浪要素预报的准确率和稳定性。(单一探讨风对波浪的响应机制时,可靠波浪杨素样本集对应风场要素样本集作为第一层模型的输入样本集,第一层模型输出结果作为第二层模型的输入样本集,由此建立风-波浪的响应机制及预报模型)。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,包括:
获取高频地波雷达的波浪场信息;
根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
根据所述波浪要素缺失值,建立近海海洋模型;
根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
2.根据权利要求1所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述获取高频地波雷达的波浪场信息,包括:
岸基高频地波雷达的岸边天线阵列向海域发射垂直极化短波后获取雷达回波信号;
使用全积分反演和拟合海浪频谱模型对所述雷达回波信号进行信号处理,从二阶雷达频谱中获取波浪场信息;
其中,所述波浪场信息包括但不限于雷达覆盖范围信息、反演获得的波高信息、波周期信息以及波向信息。
3.根据权利要求1所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值,包括:
根据所述波浪场信息,统计不同波要素在岸基高频地波雷达的径向方向上的第一缺失值记录;
根据所述波浪场信息,统计不同观测位点上的第二缺失值记录;
根据所述波浪场信息,统计不同测量时刻的第三缺失值记录;
根据所述第一缺失值记录、所述第二缺失值记录和所述第三缺失值记录,确定波浪要素缺失值。
4.根据权利要求1所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述方法还包括对目标区域进行分块处理的步骤,该步骤包括:
获取目标海域的海图资料,提取出高频地波雷达覆盖范围的近岸海岸线资料和水深资料;
根据所述近岸海岸线资料和水深资料,划定浅水区域和深水区域;
获取所述目标海域的气象资料,提取高频地波雷达覆盖范围的风速资料;
根据所述风速资料,划定常风时段和极端风速时段。
5.根据权利要求4所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述根据所述波浪要素缺失值,建立近海海洋模型,包括:
将所述浅水区域作为近海波浪模型SWAN模型的研究区域,将所述深水区域作为海洋波浪模型WW3模型的研究区域,划分得到网格区域;
获取背景海况和气象资料,将所述背景海况和所述气象资料处理成对应网络分辨率精度;其中,所述背景海况和气象资料包括历史风场资料、历史流场资料以及模型运行时刻的初始浪场资料;
根据划分得到的网格区域,分别运行SWAN模型和WW3模型;
对所述SWAN模型和所述WW3模型进行参数调整,并对构建的模型进行定量评估,得到满足精度要求的近海海洋模型。
6.根据权利要求1所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理,包括:
结合模型模拟值,对高频地波雷达的长期缺失值和短期缺失值作填补处理;其中,对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,对长期缺失时段作模型值插值处理;
其中,所述对高频地波雷达研究范围内不同的点的短期缺失时段作插值处理,包括:
将目标点位缺失时段记为空白值,建立季节性时序波浪要素信息模型;
对季节性时序波浪要素信息模型的数据进行滑动平均处理,得到目标点位波浪要素时间序列的基线;
以所述时间序列的基线进行数据的插值处理。
7.根据权利要求1所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述方法还包括构建基于信息熵的数据分类模型的步骤,该步骤包括:
获取初始数据,并对所述初始数据进行数据预处理,得到目标数据;
对所述目标数据提取目标特征;
根据所述目标特征,采用前馈神经网络构建的学习算法进行训练,构建基于信息熵的数据分类模型。
8.根据权利要求7所述的基于高频地波雷达观测的波浪场缺失值填补方法,其特征在于,所述方法还包括构建波浪预报模型的步骤,该步骤包括:
根据所述基于信息熵的数据分类模型获取有效波高可信值的样本数据,构建训练样本集和验证集;
通过多层感知器模型和随机森林模型对所述训练样本集进行训练,输出有效波高数据作为第一层模型学习训练结果;
构建新的训练集,采用极端树模型对所述新的训练集进行训练,输出有效波高数据作为第二层模型学习训练结果;
根据所述第一层模型学习训练结果和所述第二层模型学习训练结果的验证结果,构建波浪预报模型。
9.基于高频地波雷达观测的波浪场缺失值填补系统,其特征在于,包括:
第一模块,用于获取高频地波雷达的波浪场信息;
第二模块,用于根据所述波浪场信息进行波浪要素缺失值统计,确定波浪要素缺失值;
第三模块,用于根据所述波浪要素缺失值,建立近海海洋模型;
第四模块,用于根据所述近海海洋模型获取模型模拟值,根据所述模型模拟值对高频地波雷达的长期缺失值和短期缺失值作填补处理。
10.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210514510.5A CN114935759A (zh) | 2022-05-12 | 2022-05-12 | 基于高频地波雷达观测的波浪场缺失值填补方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210514510.5A CN114935759A (zh) | 2022-05-12 | 2022-05-12 | 基于高频地波雷达观测的波浪场缺失值填补方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114935759A true CN114935759A (zh) | 2022-08-23 |
Family
ID=82863720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210514510.5A Pending CN114935759A (zh) | 2022-05-12 | 2022-05-12 | 基于高频地波雷达观测的波浪场缺失值填补方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114935759A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115932838A (zh) * | 2022-12-12 | 2023-04-07 | 中山大学 | 一种基于神经网络的地波雷达与走航观测的数据校正方法 |
CN117875194A (zh) * | 2024-03-13 | 2024-04-12 | 青岛哈尔滨工程大学创新发展中心 | 基于少量实海观测数据的区域海浪场智能构建方法及系统 |
-
2022
- 2022-05-12 CN CN202210514510.5A patent/CN114935759A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115932838A (zh) * | 2022-12-12 | 2023-04-07 | 中山大学 | 一种基于神经网络的地波雷达与走航观测的数据校正方法 |
CN115932838B (zh) * | 2022-12-12 | 2023-11-21 | 中山大学 | 一种基于神经网络的地波雷达与走航观测的数据校正方法 |
CN117875194A (zh) * | 2024-03-13 | 2024-04-12 | 青岛哈尔滨工程大学创新发展中心 | 基于少量实海观测数据的区域海浪场智能构建方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Muir et al. | On the calculation of extreme wave heights: a review | |
Forristall | Wave crest distributions: Observations and second-order theory | |
CN114935759A (zh) | 基于高频地波雷达观测的波浪场缺失值填补方法及系统 | |
CN114611778B (zh) | 一种基于入库流量的水库水位预警方法及系统 | |
CN110967695A (zh) | 一种基于深度学习的雷达回波外推短临预报方法 | |
CN109886456B (zh) | 基于pca与混合核函数lssvr的泥石流预测方法 | |
Campos et al. | Nonlinear wave ensemble averaging in the Gulf of Mexico using neural networks | |
CN111352113A (zh) | 一种强对流天气短临预报方法及系统、存储介质和终端 | |
Bethel et al. | Forecasting hurricane-forced significant wave heights using a long short-term memory network in the Caribbean Sea | |
Rusu et al. | Local data assimilation scheme for wave predictions close to the Portuguese ports | |
Mahmoodi et al. | Outlier detection in ocean wave measurements by using unsupervised data mining methods | |
Mérigaud et al. | Ocean forecasting for wave energy production | |
Sylaios et al. | A fuzzy inference system for wind-wave modeling | |
Benassai et al. | Sea wave numerical simulations with COSMO-SkyMed© SAR data | |
Christou et al. | Examining a comprehensive dataset containing thousands of freak wave events: Part 1—description of the data and quality control procedure | |
CN116976227B (zh) | 一种基于lstm机器学习的风暴增水预报方法及系统 | |
Dayal et al. | Application of hybrid artificial neural network algorithm for the prediction of standardized precipitation index | |
CN115877483A (zh) | 一种基于随机森林和gru的台风路径预报方法 | |
CN112782690B (zh) | 星载雷达高度计的近岸非海洋波形检测分类方法及系统 | |
CN112632868B (zh) | 高频地波雷达观测径向流缺失值的填补修正方法及系统 | |
Meng et al. | Wind-sea and swell separation of 1D wave spectrum by deep learning | |
Kalra et al. | Derivation of coastal wind and wave parameters from offshore measurements of TOPEX satellite using ANN | |
CN117634325B (zh) | 资料受限河口区域极值事件识别和复合洪水灾害分析方法和系统 | |
Dariane et al. | Forecasting of rainfall using different input selection methods on climate signals for neural network inputs | |
CN112380984B (zh) | 一种基于遥感的盐沼植被缓流能力空间评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |