CN110990462A - 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 - Google Patents
一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 Download PDFInfo
- Publication number
- CN110990462A CN110990462A CN201911294185.0A CN201911294185A CN110990462A CN 110990462 A CN110990462 A CN 110990462A CN 201911294185 A CN201911294185 A CN 201911294185A CN 110990462 A CN110990462 A CN 110990462A
- Authority
- CN
- China
- Prior art keywords
- fof2
- machine learning
- sequence
- column
- change rules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,通过提取电离层foF2时间序列在不同时间尺度上的变化规律,将原始时间序列根据半天、一天、半年、一年、十一年周期特性拆分为五组时间序列,同时将原始时间序列向前移动一个时刻,得到第六组序列,将所有六组序列作为机器学习输入参数,当前时刻的foF2观测值作为机器学习输出,训练模型实现下一时刻的foF2预测;结果表明,在相同机器学习超参数条件下,本发明采用的方法具有更高的foF2预测精度。
Description
技术领域
本发明属于空间天气学领域,尤其涉及一种用于提高电离层foF2机器学习 精度的时间序列数据处理方法。
背景技术
电离层受太阳周期性变化、地磁活动及粒子输运的共同作用,其分层结构 处于动态变化中,是一种非均匀色散各向异性且具有特殊电磁效应的媒质。短 波经电离层调制后呈现出复杂的电磁学规律。
F2层临界频率(foF2)是表征电离层特性最重要的参数之一,反应了电离 层对短波反射起主要作用的F2层的电子密度变化情况,foF2的准确预测可辅助 计算短波天波在未来一段时间的可用频率,对短波在突发自然灾害中的应急通 信具有重要现实意义。foF2的建模预测通常采用机器学习的方法,已经有文献 论述了方法的有效性,常规处理方法需要将表征foF2变化规律的太阳黑子数、 太阳10.7cm射电流量、地磁Ap指数等参数作为机器学习的输入,而这些参数 的测量、校正和更新需要持续一定时间,难以满足foF2预测的工程化应用。为 了避免多参数建模,有文献用基于机器学习的时间序列方法实现了foF2的预测, 但是对历史foF2序列仅作短期的平滑、差分处理,导致机器学习效率不高,预 测准确度有限。
发明内容
本发明的目的是提供一种用于提高电离层foF2机器学习精度的时间序列数 据处理方法,解决foF2建模中常用的机器学习方法存在的模型精度不够高的问 题。
为了解决上述问题,本发明所采用的技术方案是:
一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,包括以 下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为 f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有 观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变 化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列 为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为 f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为 f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为 f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为 f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时 刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行 训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后 的机器学习模型。
与现有技术相比,本发明的有益效果是:
本发明方法在不获取与foF2相关的太阳黑子数、太阳10.7cm射电流量、 地磁Ap指数等参数前提下,基于foF2时间序列特性,将序列按半天、一天、 半年、一年、十一年变化规律拆分为五组序列,并将原始序列向前平移一个时 刻形成第六组序列,共六维特征的序列作为机器学习输入、以当前时刻foF2作 为机器学习输出。如此作foF2时间序列数据处理,可在相同机器学习超参数条 件下,获得更好的序列预测精度。
具体实施方式
下面通过具体实施方式对本发明作进一步详细说明。其中不同实施方式中 类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描 述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的 认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材 料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显 示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本 领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中 的描述以及本领域的一般技术知识即可完整了解相关操作。
本发明涉及一种用于提高电离层foF2机器学习精度的时间序列预处理方 法,包括以下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为 f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有 观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变 化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列 为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为 f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为 f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为 f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为 f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时 刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行 训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后的 机器学习模型。
下面介绍一个具体的实施例:
以位于日本的YAMAGAWA电离层观测站foF2参数的机器学习建模预测为例, 说明发明的有效性。
foF2序列含1971-1990年共20年月24小时中值数据,常规时间序列数据 处理方法是使用foF2前n(n一般为1~3)个值预测下一时刻值,此处经实验, 使用前1时刻预测下一时刻时机器学习建模效果较好。利用python的 scikit-learn库调用机器学习模型,使用1971-1989年数据进行训练,1990年 数据进行测试。设置相同的模型参数,对比本文方法。以平均平方误差(MSE)、 均方根误差(RMSE)、相关系数(R)表征预测准确度。结果如表1-3所示,本 文方法的三个误差指标都优于普通时间序列。
表1两种序列处理方法相同机器学习模型foF2预测与实测MSE对比
表2两种序列处理方法相同机器学习模型foF2预测与实测RMSE对比
表3两种序列处理方法相同机器学习模型foF2预测与实测R对比
Claims (1)
1.一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,包括以下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后的机器学习模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294185.0A CN110990462B (zh) | 2019-12-16 | 2019-12-16 | 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294185.0A CN110990462B (zh) | 2019-12-16 | 2019-12-16 | 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110990462A true CN110990462A (zh) | 2020-04-10 |
CN110990462B CN110990462B (zh) | 2023-04-14 |
Family
ID=70094186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911294185.0A Active CN110990462B (zh) | 2019-12-16 | 2019-12-16 | 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110990462B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215409A (zh) * | 2020-09-24 | 2021-01-12 | 交控科技股份有限公司 | 一种轨道交通站点客流预测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060229813A1 (en) * | 2005-03-30 | 2006-10-12 | Tobiska William K | Ionospheric forecast system (IFS) |
CN106134464B (zh) * | 2009-12-17 | 2011-08-24 | 中国电子科技集团公司第二十二研究所 | 一种电离层参数短期预报的方法及装置 |
-
2019
- 2019-12-16 CN CN201911294185.0A patent/CN110990462B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060229813A1 (en) * | 2005-03-30 | 2006-10-12 | Tobiska William K | Ionospheric forecast system (IFS) |
CN106134464B (zh) * | 2009-12-17 | 2011-08-24 | 中国电子科技集团公司第二十二研究所 | 一种电离层参数短期预报的方法及装置 |
Non-Patent Citations (3)
Title |
---|
唐智灵等: "基于改进的深度置信网络的电离层F2层临界频率预测", 《计算机应用研究》 * |
奚迪龙等: "一种电离层f_0F_2和M(3000)F_2长期预测新方法", 《电波科学学报》 * |
孔庆颜等: "电离层f_0F_2参数提前24小时预测", 《空间科学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215409A (zh) * | 2020-09-24 | 2021-01-12 | 交控科技股份有限公司 | 一种轨道交通站点客流预测方法及系统 |
CN112215409B (zh) * | 2020-09-24 | 2024-01-30 | 交控科技股份有限公司 | 一种轨道交通站点客流预测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110990462B (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zang et al. | Hybrid method for short‐term photovoltaic power forecasting based on deep convolutional neural network | |
Duan et al. | A combined short-term wind speed forecasting model based on CNN–RNN and linear regression optimization considering error | |
CN110751094B (zh) | 一种基于gee综合遥感影像和深度学习方法的作物估产方法 | |
CN110046801B (zh) | 一种配电网电力系统的典型场景生成方法 | |
CN110956312B (zh) | 基于emd-cnn深度神经网络的光伏配电网电压预测方法 | |
CN109904878B (zh) | 一种多风电场发电时序模拟场景构建方法 | |
CN110084433A (zh) | 基于高斯混合模型的风电功率预测误差分段拟合方法 | |
Liu et al. | Improved transformer model for enhanced monthly streamflow predictions of the Yangtze River | |
CN111783631A (zh) | 一种基于稀疏表示的深度学习磁共振波谱重建方法 | |
Guermoui et al. | Potential assessment of the TVF-EMD algorithm in forecasting hourly global solar radiation: Review and case studies | |
CN110990462B (zh) | 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 | |
CN111506868B (zh) | 一种基于hht权值优化的超短期风速预测方法 | |
Luo et al. | Short-term load forecasting model of distribution transformer based on CNN and LSTM | |
CN115099461A (zh) | 基于双分支特征提取的太阳辐射预测方法及系统 | |
CN115759389A (zh) | 基于天气类型的相似日组合策略的日前光伏功率预测方法 | |
CN110533249B (zh) | 一种基于集成长短期记忆网络的冶金企业能耗预测方法 | |
CN110046756B (zh) | 基于小波去噪与Catboost的短时天气预报方法 | |
CN117710744A (zh) | 基于波段选择特征融合多注意力网络的高光谱图像分类方法 | |
CN117833216A (zh) | 基于混合神经网络的光伏电站发电功率预测方法及装置 | |
CN113627685A (zh) | 一种考虑风电上网负荷限制的风力发电机功率预测方法 | |
NL2033915B1 (en) | Monthly precipitation forecasting model with the temporal convolutional network | |
CN112598181A (zh) | 负荷预测方法、装置、设备和存储介质 | |
Puiu et al. | Principled data completion of network constraints for day ahead auctions in power markets | |
CN116579120A (zh) | 一种基于综合法的日风电出力序列场景生成方法 | |
CN116312860A (zh) | 基于监督迁移学习的农产品可溶性固形物预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |