CN116484271A - 一种基于经验模态分解和深度学习的有效波高预警方法 - Google Patents
一种基于经验模态分解和深度学习的有效波高预警方法 Download PDFInfo
- Publication number
- CN116484271A CN116484271A CN202310267127.9A CN202310267127A CN116484271A CN 116484271 A CN116484271 A CN 116484271A CN 202310267127 A CN202310267127 A CN 202310267127A CN 116484271 A CN116484271 A CN 116484271A
- Authority
- CN
- China
- Prior art keywords
- wave height
- effective wave
- model
- data
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000013100 final test Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000003306 harvesting Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于模态分解和深度学习的有效波高预测方法。该方法采用经验模态分解方法对原始时间序列进行预处理分解得到各个模态;使用Transformer结构的编码器对各个模态的特征进行提取,Transformer结构的神经网络能够并行得捕获时间序列数据的全局特征,在加快模型训练和推理速度的同时仍然能够有效得对时间序列数据进行高效的特征提取;最后使用多层感知机根据提取到的高语义特征进行分类得到最终结果。
Description
技术领域
本发明涉及一种基于经验模态分解和深度学习的有效波高预警方法。
背景技术
海浪是一种重要的可再生能源能量。它们在水平面以下的功率流强度在0.1-0.3kW/m2到2-3kW/m2之间,比地表的风能高6级。此外,海洋波浪能比风能更可靠。尽管海浪发电技术尚未完全成熟,但是波浪发电未来的能源领域具有广阔的应用前景。海浪的有效波高(SWHs,Significant Wave Heights)是海洋环境的重要因素之一。实时捕获和提前预测出SWHs对于有效利用海浪能量来说是至关重要的。对于海洋发电装置而言,能够用来获取能量的SWHs存在一定的范围,当SWHs过低或者过高时,发电装置应当进行停机以减少对机械装置的损耗。对于海浪能量收集而言,准确得预测出SWHs具有重要意义。
海浪的有效波高(Significant Wave Heights,SWHs)是海洋环境的重要因素之一。对于海洋发电装置而言,能够用来获取能量的SWHs存在一定的范围,当SWHs过低或者过高时,发电装置应当进行停机以减少对机械装置的损耗。准确得预测出SWHs等级能够帮助海浪发电装置对不同等级的海浪做出及时的调整和应对,尽可能减少设备受到损害的可能性。实时捕获和预测SWHs等级对于海浪能量收集具有重要意义。
有效波高(significant wave height)是指按一定规则统计的实际波高值。由于海面波浪实际上是各种不同波高、周期、进行方向的多种波的无规则组合,因此一个波浪的波高值没有代表性。为此,在任一个由n个波浪组成的波群中,将波列中的波高由大到小依次排列,确定前n/3个波为有效波。有效波的波高和周期则等于这n/3个波的平均波高和平均周期。
经验模态分解(Empirical Mode Decomposition,EMD)方法依据数据自身的时间尺度特征来进行信号分解,无须预先设定任何基函数。EMD方法在理论上可以应用于任何类型的信号的分解,因而在处理非平稳及非线性数据上具有非常明显的优势,适合于分析非线性、非平稳信号序列,具有很高的信噪比。对数据信号进行EMD分解就是为了获得本征模函数,一个本征模函数必须满足以下两个条件:⑴函数在整个时间范围内,局部极值点和过零点的数目必须相等或最多相差一个;⑵在任意时刻点,局部最大值的包络(上包络线)和局部最小值的包络(下包络线)平均必须为零。
中国专利申请CN115659828A公开了一种波高预测模型及装置。该方法采用编解码结构的神学学习方法。编码器将波高有关的海洋多要素时间序列进行特征编码输出海洋多要素高维特征;解码器将得到的高维特征与零矩阵进行拼接后作为输入,输出对于波高的预测结果。该方法使用了空洞卷积和自注意力机制捕捉了波高时间序列的长时间相关性,实现了对有效波高的时序预测。但是该专利将波高时序序列预测作为机器学习中的回归问题,而在海洋能量收集领域更加关注的是对有效波高等级的预测,因此该方法对于海洋能量收集领域而言存在一定的局限性。
现有的有效波高预测方法主要可以分为三类:数值模拟方法、循环神经网络方法和卷积神经网络方法。以第三代波浪模型为代表的数值模拟预测方法,虽然能够从海洋动力学理论上推演海浪的未来变化趋势,但是其推演过程需要求解复杂的纳维尔-斯托克斯方程,这依赖于海量的历史数据集和算力。存在着计算资源消耗大运算时间长的问题,如预测未来2小时后的有效波高,可能数值模拟方法运算的时间就已经远远超过2小时,因此数值模拟的方法只是帮助科研人员理解海浪变化的工具,在实际中的应用价值不大。随着近年来深度学习的兴起,研究人员发现自然语言处理中处理文本序列的循环神经网络结构,也非常适用于气象预报等时间序列预测任务。已经有不少研究人员将循环神经网络模型应用到有效波高的预测当中,并且相比较于数值模拟方法而言其运算速度和准确度都有了显著提高。但是以LSTM以代表的循环神经网络,在网络结构上存在着天然的依赖性,当前神经元的输入依赖于上一个神经的输出,从而导致模型在训练和推理上无法做到并行,从而导致模型训练和推理的速度受到限制。因此对于对时效性要求很高的波高预测任务而言,仍然具有很大的局限性。
对于海浪能量收集任务而言,预测出一个准确的有效波高其实意义不大,更加关注的而是对海浪等级的划分,也就是对有波高进行一个范围判断,有效波高的预测任务就从回归问题转变成了分类问题,也就是时序序列分类问题。目前在对有效波高的时序序列分类问题研究相对匮乏,国内外相关研究不多。
现有方法对经验模态分解方法的应用普遍采用先将时序序列进行模态分解,将各个模态输入不同的模型分支分别进行预测后,再将各个模态的预测结果进行重新合并得到最终的预测结果。对于时序序列分类任务而言,对各个模态进行分别预测再合并得到预测序列再进行分类的这种方式是繁琐的和非必须的,也会使得模型变得更加复杂,并增加计算开销和降低模型推理速度。
发明内容
为解决以上现有技术存在的问题,本发明提出一种基于模态分解和深度学习的有效波高预测方法。该方法采用模经验模态分解方法对原始时间序列进行预处理分解得到各个模态;使用Transformer结构的编码器对各个模态的特征进行提取,Transformer结构的神经网络能够并行得捕获时间序列数据的全局特征,在加快模型训练和推理速度的同时仍然能够有效得对时间序列数据进行高效的特征提取;最后使用多层感知机根据提取到的高语义特征进行分类得到最终结果。
本发明可通过以下技术方案予以实现:
一种基于模态分解和深度学习的有效波高预测方法,包括以下步骤:
E.获取海面波高数据;
F.预处理海面波高数据;
G.根据波高阈值、输入时间序列长度、预测时间长度参数制作数据集;
H.根据数据集训练得到有效波高预警。
进一步地,所述步骤B)包括缺失值补全,获取到的有效波高数据存在缺失情况,对于这些缺失的数据,采用线性插值的方法进行补全,借助Python的SciPy库完成缺失数据的插值补全。
进一步地,所述步骤C)包括:
1)数据集划分:将完整的数据集序列按照时间顺序划分训练集和测试集,其中前75%的时间序列用作构建模型训练集,后25%用作构建模型测试集;
2)数据集构建:将长度为L原始时间序列,按照窗口大小wh划分成L-wh+1个时间序列数据,对于每个长度为wh的时间序列其分类标签由预测时间Lh,有效波高高阈值Ad,有效波高低阈值As三个参数决定,若/>大于Ad,则该时间序列的标签为1;若/>时刻的有效波高小于As,则该时间序列的标签为0;而介于Ad和As之间的时间序列数据被剔除,不作为模型的训练数据,根据窗口大小wh,预测时间Lh,有效波高高阈值Ad,有效波高低阈值As四个参数分别将原始的时间序列L构造成可供模型使用的四个数据集:高级别有效波高训练集、低级别有效波高训练集、高级别有效波高测试集和低级别有效波高测试集;
3)数据集均衡化:为避免高级别有效波高和低级别有效波高之间样本数量不均衡对模型训练和测试带来的影响,使用上采样/降采样方法对低级别有效波高数据进行处理,使得高级别和低级别有效波高之间的数据数量保持平衡;
4)数据混合和打乱:根据所述步骤3)操作得到得训练集和测试集后,将高级别有效波高训练集和低级别有效波高训练集进行混合和打乱后得到最终训练集;将高级别有效波高测试集和低级别有效波高测试集进行混合和打乱后得到最终测试集。
进一步地,所述步骤D)包括:
1)模型的输入输出:模型的输入为有效波高的历史时间序列
其输出为/>为高水平有效波高的概率p1和
为低水平有效波高的概率p2;
2)经验模态分解:对有效波高时间序列进行经验模态分解,得到多个本征模函数;再将预处理后的有效波高时间序列和本征模函数在通道上进行叠加,输入到模型的下一个阶段;
3)使用Transformer编码器进行特征提取:Transformer编码器模块接受原始时间序列数据和经过经验模态分解后的本征模函数作为特征输入,对于输入Transformer编码器的特征向量,首先经过多头自注意力进行编码,自注意力计算公式如下:
其中Q,K,V代表queries、keys、values三个矩阵,dk代表keys矩阵的维度;经过多头注意力处理后的特征向量再通过一维卷积、批量归一化、随机丢弃模块以及残差连接操作,进一步获得高层语义的时间序列特征;
4)特征分类器:该模块接受Transformer编码器提取到的高层语义的时间序列作为特征输入:首先使用全局平均池化操作将特征矩阵的维度进行降低;再通过稠密连接的前向传播网络进一步对特征进行处理和学习;并使用随机丢弃法对模型的泛化性进行增强;最后使用两层的全连接网络得到最终的预测结果;
5)对模型训练:
6)模型推理:模型训练完成之后输入有效波高时间序列,通过模型推理就可以得到对未来时刻有效波高的分类概率,并且根据模型推演结果对海上能量收集装置进行实时预警,保障海上设备和人员的安全。
进一步地,所述步骤4)中:深度学习模型采用两个Transformer编码器,每个Transformer编码器使用6个注意力模块,每个注意力模块的隐含层大小为6,每个Transformer编码器内部的一维卷积的输入输出通道数均为256,卷积核大小为1,使用的随机丢弃率为0.1;分类器中使用双层的前向传播网络,每层的神经元个数均为128,随机丢弃率设置为0.4,整个模型中的激活函数都使用线性整流函数。
进一步地,所述步骤5)中:模型训练的优化器使用Adam,批量大小设置为32,初始学习率设置为0.001;使用余弦消散学习调整策略,损失函数为多分类交叉熵损失(Categorical Cross-Entropy CCE),表达式如下:
式中C代表分类个数,C=2;tc代表该时间序列的真实分类;pc代表模型预测出的该时间序列为c类概率。
由于采用以上技术方案,本发明具有以下有益效果:
(1)本发明中提出的经验模态分解方法和Transformer编码器特征提取方法,不仅适用于有效波高的预警,也可以适用于其他时间序列数据的分类和预警任务;
(2)使用经验模态分解方法对原始的时间序列进行预处理,将原始复杂的时间序列分解成了多个规则的IMFs,能够消除各个分量的长期趋势波动。各个IMFs的频率都不相同,低频率的IMFs能够帮助模型掌握时间序列的长期趋势,高频率的IMFs则可以帮助模型学习到对预测精度影响较大的局部随机项;
(3)使用基于自注意力机制的Transformer编码器进行时间序列数据的特征提取,相比较于数值模式和循环神经网络,不仅可以有效降低逐点迭代式多步预测中的长程依赖问题和误差累积问题,还能充分利用GPU进行模型加速,在提升准确率的同时提高模型推理速度;
(4)针对使用有效波高进行能量收集问题,创新性得使用时间序列分类模型实现了对SWH的等级分类,在降低任务难度的同时,还能够对模型设计难度进行一定程度的简化。
附图说明
图1为本发明流程图;
图2为本发明数据预处理流程图;
图3为本发明Transformer编码器结构图;
图4为本发明模型结构图;
图5为不同的编码器的实验结果对比图;
图6为有无EMD特征的对比实验图。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式,本领域的技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。
参考图1所示,本发明的一种基于模态分解和深度学习的有效波高预测方法,包括如下步骤:
(1)数据获取
获取海面波高数据。本发明中使用的海面波高数据来自海岸数据信息计划(cdip,Coastal Data Information Program,主页https://cdip.ucsd.edu/),其数据范围从1975年至今,时间分辨率为30分钟。
(2)数据预处理和数据集划分(2.1)缺失值补全
获取到的有效波高数据存在缺失情况,需要进行必要的数据质量控制,对于这些缺失的数据,本发明采用线性插值的方法进行补全,借助Python的SciPy库完成缺失数据的插值补全。
(2.2)数据划分
将完整的数据集序列按照时间顺序划分训练集和测试集。其中前75%的时间序列用作构建模型训练集,后25%用作构建模型测试集。
(2.3)数据集构建
将长度为L原始时间序列,按照窗口大小wh划分成L-wh+1个时间序列数据.对于每个长度为wh的时间序列其分类标签由预测时间Lh,有效波高高阈值Ad,有效波高低阈值As三个参数决定.若/>大于Ad,则该时间序列的标签为1;若时刻的有效波高小于As,则该时间序列的标签为0;而介于Ad和As之间的时间序列数据将会被剔除,不作为模型的训练数据。
根据窗口大小wh,预测时间Lh,有效波高高阈值Ad,有效波高低阈值As四个参数将分别将原始的时间序列L构造成可供模型使用的四个数据集:高级别有效波高训练集、低级别有效波高训练集、高级别有效波高测试集、低级别有效波高测试集。
(2.4)数据集均衡化
为避免高级别有效波高和低级别有效波高之间样本数量不均衡对模型训练和测试带来的影响,使用上采样/降采样方法对低级别有效波高数据进行处理,使得高级别和低级别有效波高之间的数据数量保持平衡。
(2.5)数据混合和打乱
根据上述操作得到得训练集和测试集后,将高级别有效波高训练集和低级别有效波高训练集进行混合和打乱后得到最终训练集;将高级别有效波高测试集和低级别有效波高测试集进行混合和打乱后得到最终测试集。数据预处理的流程图如图2所示。
(3)有效波高预测模型
(3.1)模型输入输出
模型的输入为有效波高的历史时间序列其输出为/>为高水平有效波高的概率p1和/>为低水平有效波高的概率p2。
(3.2)经验模态分解
对有效波高时间序列进行经验模态分解,得到多个本征模函数(Intrinsic Mode Functions,IMFs)。再将预处理后的有效波高时间序列和IMFs在通道上进行叠加,输入到模型的下一个阶段。
相比较于原始的时间序列,IMFs更加规则,部分原因是上述特征可以强制消除各分量的长期趋势波动,使得IMFs变得更加稳定。此外,在分解过程中,随着频率由高到低逐渐降低,从原始时间序列数据中提取出对预测精度影响较大的局部细微随机项,这也将大大提高时间序列分类的性能。
(3.3)Transformer编码器
Transformer编码器模块接受原始时间序列数据和经过经验模态分解后的IMFs作为特征输入。对于输入Transformer编码器的特征向量,首先经过多头自注意力进行编码,自注意力计算公式如下:
其中Q,K,V代表queries、keys、values三个矩阵,dk代表keys矩阵的维度。
多头注意力机制能够通过矩阵运算捕获到输入时间序列的特征,克服了循环神经网络的长程依赖问题。经过多头注意力处理后的特征向量再通过一维卷积、批量归一化、随机丢弃等模块以及残差连接操作,能够进一步得获得高层语义的时间序列特征。Transformer编码器的结构如图3所示。
(3.4)特征分类器
特征分类器模块接受Transformer编码器提取到的高层语义的时间序列作为特征输入,为降低特征矩阵的维度,本发明使用全局平均池化操作将特征矩阵的维度进行降低;再通过稠密连接的前向传播网络进一步对特征进行处理和学习;并使用随机丢弃法对模型的泛化性进行增强;最后使用两层的全连接网络得到最终的预测结果。模型的整体结构图如图4所示。
(4)模型训练
本发明基于Python语言和Keras框架实现,在显存为8G的两块RTX3070显卡上进行GPU并行训练和测试。
深度学习模型采用两个Transformer编码器,每个Transformer编码器使用6头自注意力模块,每个注意力模块的隐含层大小为6。每个Transformer编码器内部的一维卷积的输入输出通道数均为256,卷积核大小为1,使用的随机丢弃率为0.1。分类器中使用双层的前向传播网络里,每层的的神经元个数均为为128,随机丢弃率设置为0.4。整个模型中的激活函数都使用线性整流函数(Rectified Linear Unit,ReLU)。
模型训练的优化器使用Adam,批量大小设置为32,初始学习率设置为0.001。使用余弦消散学习调整策略,损失函数为多分类交叉熵损失(Categorical Cross-EntropyCCE),表达式如下:
式中C代表分类个数,在本发明中C=2;tc代表该时间序列的真实分类;pc代表模型预测出的该时间序列为c类概率。
(5)模型推理
模型训练完成之后输入有效波高时间序列,通过模型推理就可以得到对未来时刻有效波高的分类概率,并且可以根据模型推演结果对海上能量收集装置进行实时预警,保障海上设备和人员的安全。
(6)实验结果
本方法采用了Transformer编码器对有效波高的时间序列进行特征提取,针对不同的编码器的实验结果如下:实验结果表明使用Transformer编码器的效果是最好的(如图5所示),其次是长短期记忆网络(Long Short-Term Memory,LSTM)。该实验结果能够证明Transformer编码器的特征提取能力。
本方法使用EMD特征增加模型的预测能力,如图6所示为有无EMD特征的对比实验。从实验结果上可以证明EMD特征能够有效增强模型对有效波高预测的能力。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于模态分解和深度学习的有效波高预测方法,其特征在于,包括以下步骤:
A.获取海面波高数据;
B.预处理海面波高数据;
C.根据波高阈值、输入时间序列长度、预测时间长度参数制作数据集;
D.根据数据集训练得到有效波高预警。
2.根据权利要求1所述的一种基于模态分解和深度学习的有效波高预测方法,其特征在于,所述步骤B)包括缺失值补全,获取到的有效波高数据存在缺失情况,对于这些缺失的数据,采用线性插值的方法进行补全,借助Python的SciPy库完成缺失数据的插值补全。
3.根据权利要求1所述的一种基于模态分解和深度学习的有效波高预测方法,其特征在于,所述步骤C)包括:
1)数据集划分:将完整的数据集序列按照时间顺序划分训练集和测试集,其中前75%的时间序列用作构建模型训练集,后25%用作构建模型测试集;
2)数据集构建:将长度为L原始时间序列,按照窗口大小wh划分成L-wh+1个时间序列数据,对于每个长度为wh的时间序列其分类标签由预测时间Lh,有效波高高阈值Ad,有效波高低阈值As三个参数决定,若/>大于Ad,则该时间序列的标签为1;若/>时刻的有效波高小于As,则该时间序列的标签为0;而介于Ad和As之间的时间序列数据被剔除,不作为模型的训练数据,根据窗口大小wh,预测时间Lh,有效波高高阈值Ad,有效波高低阈值As四个参数分别将原始的时间序列L构造成可供模型使用的四个数据集:高级别有效波高训练集、低级别有效波高训练集、高级别有效波高测试集和低级别有效波高测试集;
3)数据集均衡化:为避免高级别有效波高和低级别有效波高之间样本数量不均衡对模型训练和测试带来的影响,使用上采样/降采样方法对低级别有效波高数据进行处理,使得高级别和低级别有效波高之间的数据数量保持平衡;
4)数据混合和打乱:根据所述步骤3)操作得到得训练集和测试集后,将高级别有效波高训练集和低级别有效波高训练集进行混合和打乱后得到最终训练集;将高级别有效波高测试集和低级别有效波高测试集进行混合和打乱后得到最终测试集。
4.根据权利要求3所述的一种基于模态分解和深度学习的有效波高预测方法,其特征在于,所述步骤D)包括:
1)模型的输入输出:模型的输入为有效波高的历史时间序列其输出为/>为高水平有效波高的概率p1和/>为低水平有效波高的概率p2;
2)经验模态分解:对有效波高时间序列进行经验模态分解,得到多个本征模函数;再将预处理后的有效波高时间序列和本征模函数在通道上进行叠加,输入到模型的下一个阶段;
3)使用Transformer编码器进行特征提取:Transformer编码器模块接受原始时间序列数据和经过经验模态分解后的本征模函数作为特征输入,对于输入Transformer编码器的特征向量,首先经过多头自注意力进行编码,自注意力计算公式如下:
其中Q,K,V代表queries、keys、values三个矩阵,dk代表keys矩阵的维度;经过多头注意力处理后的特征向量再通过一维卷积、批量归一化、随机丢弃模块以及残差连接操作,进一步获得高层语义的时间序列特征;
4)特征分类器:该模块接受Transformer编码器提取到的高层语义的时间序列作为特征输入,首先使用全局平均池化操作将特征矩阵的维度进行降低;再通过稠密连接的前向传播网络进一步对特征进行处理和学习;并使用随机丢弃对模型的泛化性进行增强;最后使用两层的全连接网络得到最终的预测结果;
5)对模型训练:
6)模型推理:模型训练完成之后输入有效波高时间序列,通过模型推理就可以得到对未来时刻有效波高的分类概率,并且根据模型推演结果对海上能量收集装置进行实时预警,保障海上设备和人员的安全。
5.根据权利要求4所述的一种基于模态分解和深度学习的有效波高预测方法,其特征在于:所述步骤4)中:深度学习模型采用两个Transformer编码器,每个Transformer编码器使用6个注意力模块,每个注意力模块的隐含层大小为6,每个Transformer编码器内部的一维卷积的输入输出通道数均为256,卷积核大小为1,使用的随机丢弃率为0.1;分类器中使用双层的前向传播网络,每层的神经元个数均为128,随机丢弃率设置为0.4,整个模型中的激活函数都使用线性整流函数。
6.根据权利要求4所述的一种基于模态分解和深度学习的有效波高预测方法,其特征在于:所述步骤5)中:模型训练的优化器使用Adam,批量大小设置为32,初始学习率设置为0.001;使用余弦消散学习调整策略,损失函数为多分类交叉熵损失(Categorical Cross-Entropy CCE),表达式如下:
式中C代表分类个数,C=2;tc代表该时间序列的真实分类;pc代表模型预测出的该时间序列为c类概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310267127.9A CN116484271A (zh) | 2023-03-20 | 2023-03-20 | 一种基于经验模态分解和深度学习的有效波高预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310267127.9A CN116484271A (zh) | 2023-03-20 | 2023-03-20 | 一种基于经验模态分解和深度学习的有效波高预警方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116484271A true CN116484271A (zh) | 2023-07-25 |
Family
ID=87212801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310267127.9A Pending CN116484271A (zh) | 2023-03-20 | 2023-03-20 | 一种基于经验模态分解和深度学习的有效波高预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116484271A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117647808A (zh) * | 2024-01-25 | 2024-03-05 | 青岛哈尔滨工程大学创新发展中心 | 基于深度学习的非相参雷达相位解析波浪时历反演方法 |
CN118153640A (zh) * | 2024-05-13 | 2024-06-07 | 南京信息工程大学 | 一种基于改进卷积神经网络的多源卫星有效波高融合方法 |
-
2023
- 2023-03-20 CN CN202310267127.9A patent/CN116484271A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117647808A (zh) * | 2024-01-25 | 2024-03-05 | 青岛哈尔滨工程大学创新发展中心 | 基于深度学习的非相参雷达相位解析波浪时历反演方法 |
CN117647808B (zh) * | 2024-01-25 | 2024-04-30 | 青岛哈尔滨工程大学创新发展中心 | 基于深度学习的非相参雷达相位解析波浪时历反演方法 |
CN118153640A (zh) * | 2024-05-13 | 2024-06-07 | 南京信息工程大学 | 一种基于改进卷积神经网络的多源卫星有效波高融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112364779B (zh) | 信号处理与深-浅网络多模型融合的水声目标识别方法 | |
CN116484271A (zh) | 一种基于经验模态分解和深度学习的有效波高预警方法 | |
Shao et al. | Learning features from vibration signals for induction motor fault diagnosis | |
CN111242377B (zh) | 一种集成深度学习和数据去噪的短期风速预测方法 | |
CN111832812A (zh) | 一种基于深度学习的风电功率短期预测方法 | |
CN114169445A (zh) | 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统 | |
CN117096867A (zh) | 一种短期电力负荷预测方法、装置、系统及存储介质 | |
CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
CN116628605A (zh) | 一种基于ResNet和DSCAttention机制的窃电分类的方法及装置 | |
CN117033987A (zh) | 一种基于小波的风电场发电功率效率预测方法 | |
CN118227979A (zh) | 一种基于改进卷积神经网络利用热带太平洋次表层海温异常的预测enso方法 | |
CN116151464A (zh) | 一种光伏发电功率预测方法、系统及可存储介质 | |
CN113705405B (zh) | 一种核管道故障诊断方法 | |
CN116979533B (zh) | 融合自适应小波的自注意力风电场功率预测方法 | |
Sari et al. | Daily rainfall prediction using one dimensional convolutional neural networks | |
CN116826727B (zh) | 基于时序表征和多级注意力的超短期风电功率预测方法及预测系统 | |
CN117972337A (zh) | 基于多模态深度学习的农业气象灾害监测预测方法 | |
CN113361782A (zh) | 基于改进mkpls的光伏发电功率短期滚动预测方法 | |
CN117034055A (zh) | 一种基于L-Transformer短期光伏发电功率预测的方法 | |
CN116994040A (zh) | 一种基于图像识别的深远海风电PQDs分类方法及系统 | |
CN117134315A (zh) | 一种基于bert算法的配电变压器负荷预测方法及装置 | |
Sun et al. | Research on intelligent fault diagnosis method for rolling bearings based on multi-feature fusion of CWT-2D-CNN | |
Wang et al. | A Hybrid Prediction Method Based on MODWT-EMD for Time Series in Wireless Sensor Networks | |
CN117633456B (zh) | 基于自适应焦点损失的海上风电天气事件辨识方法和装置 | |
Dhingra | Solar PV power forecasting using machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |