CN110990462A - 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 - Google Patents

一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 Download PDF

Info

Publication number
CN110990462A
CN110990462A CN201911294185.0A CN201911294185A CN110990462A CN 110990462 A CN110990462 A CN 110990462A CN 201911294185 A CN201911294185 A CN 201911294185A CN 110990462 A CN110990462 A CN 110990462A
Authority
CN
China
Prior art keywords
fof2
machine learning
sequence
column
change rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911294185.0A
Other languages
English (en)
Other versions
CN110990462B (zh
Inventor
李章义
郭立新
赵延安
王大鹏
王晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHAANXI MONITORING STATION OF STATE RADIO MONITORING CENTER
Xidian University
Original Assignee
SHAANXI MONITORING STATION OF STATE RADIO MONITORING CENTER
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHAANXI MONITORING STATION OF STATE RADIO MONITORING CENTER, Xidian University filed Critical SHAANXI MONITORING STATION OF STATE RADIO MONITORING CENTER
Priority to CN201911294185.0A priority Critical patent/CN110990462B/zh
Publication of CN110990462A publication Critical patent/CN110990462A/zh
Application granted granted Critical
Publication of CN110990462B publication Critical patent/CN110990462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,通过提取电离层foF2时间序列在不同时间尺度上的变化规律,将原始时间序列根据半天、一天、半年、一年、十一年周期特性拆分为五组时间序列,同时将原始时间序列向前移动一个时刻,得到第六组序列,将所有六组序列作为机器学习输入参数,当前时刻的foF2观测值作为机器学习输出,训练模型实现下一时刻的foF2预测;结果表明,在相同机器学习超参数条件下,本发明采用的方法具有更高的foF2预测精度。

Description

一种用于提高电离层foF2机器学习精度的时间序列数据处理 方法
技术领域
本发明属于空间天气学领域,尤其涉及一种用于提高电离层foF2机器学习 精度的时间序列数据处理方法。
背景技术
电离层受太阳周期性变化、地磁活动及粒子输运的共同作用,其分层结构 处于动态变化中,是一种非均匀色散各向异性且具有特殊电磁效应的媒质。短 波经电离层调制后呈现出复杂的电磁学规律。
F2层临界频率(foF2)是表征电离层特性最重要的参数之一,反应了电离 层对短波反射起主要作用的F2层的电子密度变化情况,foF2的准确预测可辅助 计算短波天波在未来一段时间的可用频率,对短波在突发自然灾害中的应急通 信具有重要现实意义。foF2的建模预测通常采用机器学习的方法,已经有文献 论述了方法的有效性,常规处理方法需要将表征foF2变化规律的太阳黑子数、 太阳10.7cm射电流量、地磁Ap指数等参数作为机器学习的输入,而这些参数 的测量、校正和更新需要持续一定时间,难以满足foF2预测的工程化应用。为 了避免多参数建模,有文献用基于机器学习的时间序列方法实现了foF2的预测, 但是对历史foF2序列仅作短期的平滑、差分处理,导致机器学习效率不高,预 测准确度有限。
发明内容
本发明的目的是提供一种用于提高电离层foF2机器学习精度的时间序列数 据处理方法,解决foF2建模中常用的机器学习方法存在的模型精度不够高的问 题。
为了解决上述问题,本发明所采用的技术方案是:
一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,包括以 下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为 f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有 观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变 化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列 为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为 f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为 f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为 f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为 f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时 刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行 训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后 的机器学习模型。
与现有技术相比,本发明的有益效果是:
本发明方法在不获取与foF2相关的太阳黑子数、太阳10.7cm射电流量、 地磁Ap指数等参数前提下,基于foF2时间序列特性,将序列按半天、一天、 半年、一年、十一年变化规律拆分为五组序列,并将原始序列向前平移一个时 刻形成第六组序列,共六维特征的序列作为机器学习输入、以当前时刻foF2作 为机器学习输出。如此作foF2时间序列数据处理,可在相同机器学习超参数条 件下,获得更好的序列预测精度。
具体实施方式
下面通过具体实施方式对本发明作进一步详细说明。其中不同实施方式中 类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描 述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的 认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材 料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显 示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本 领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中 的描述以及本领域的一般技术知识即可完整了解相关操作。
本发明涉及一种用于提高电离层foF2机器学习精度的时间序列预处理方 法,包括以下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为 f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有 观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变 化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列 为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为 f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为 f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为 f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为 f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时 刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行 训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后的 机器学习模型。
下面介绍一个具体的实施例:
以位于日本的YAMAGAWA电离层观测站foF2参数的机器学习建模预测为例, 说明发明的有效性。
foF2序列含1971-1990年共20年月24小时中值数据,常规时间序列数据 处理方法是使用foF2前n(n一般为1~3)个值预测下一时刻值,此处经实验, 使用前1时刻预测下一时刻时机器学习建模效果较好。利用python的 scikit-learn库调用机器学习模型,使用1971-1989年数据进行训练,1990年 数据进行测试。设置相同的模型参数,对比本文方法。以平均平方误差(MSE)、 均方根误差(RMSE)、相关系数(R)表征预测准确度。结果如表1-3所示,本 文方法的三个误差指标都优于普通时间序列。
表1两种序列处理方法相同机器学习模型foF2预测与实测MSE对比
Figure BDA0002320048160000031
表2两种序列处理方法相同机器学习模型foF2预测与实测RMSE对比
Figure BDA0002320048160000032
Figure BDA0002320048160000041
表3两种序列处理方法相同机器学习模型foF2预测与实测R对比
Figure BDA0002320048160000042

Claims (1)

1.一种用于提高电离层foF2机器学习精度的时间序列数据处理方法,包括以下步骤:
第一步、获取foF2历年观测的月24小时中值数据序列,记为f(t)={f(t1),f(t2),f(t3),…,f(tn)},其中t为最小时间粒度(小时),整个序列含所有观测年中每个月24小时的foF2参数值;
第二步、根据foF2 12小时变化规律、1天变化规律、半年变化规律1年变化规律和11年变化规律,将数据序列拆分为五列。记thd为12小时,即第一列为f1(t)={f(t1-thd),f(t2-thd),f(t3-thd),…,f(tn-thd)};第二列为f2(t)={f(t1-2thd),f(t2-2thd),f(t3-2thd),…,f(tn-2thd)};第三列为f3(t)={f(t1-6·2thd),f(t2-6·2thd),f(t3-6·2thd),…,f(tn-6·2thd)};第四列为f4(t)={f(t1-12·2thd),f(t2-12·2thd),f(t3-12·2thd),…,f(tn-12·2thd)};第五列为f5(t)={f(t1-11·12·2thd),f(t2-11·12·2thd),f(t3-11·12·2thd),…,f(tn-11·12·2thd)};
第三步、将原始序列f(t)={f(t1),f(t2),f(t3),…,f(tn)}向前平移一个时刻th,th=1小时,得到第六列时间序列为f6(t)={f(t1-th),f(t2-th),f(t3-th),…,f(tn-th)};
第四步、以前三步所得的六列foF2序列作为机器学习模型的输入,当前时刻(原始序列)fout(t)={f(t1),f(t2),f(t3),…,f(tn)}作为机器学习的输出序列;
第五步、对所有序列进行归一化:fnew(t)=fn(t)/max[f(t)];
第六步、设定机器学习超参数,将第五步所得序列带入机器学习模型进行训练;
第七步、训练结束,输出下一时刻的foF2预测值,记为f(t+1),存档训练后的机器学习模型。
CN201911294185.0A 2019-12-16 2019-12-16 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法 Active CN110990462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911294185.0A CN110990462B (zh) 2019-12-16 2019-12-16 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911294185.0A CN110990462B (zh) 2019-12-16 2019-12-16 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法

Publications (2)

Publication Number Publication Date
CN110990462A true CN110990462A (zh) 2020-04-10
CN110990462B CN110990462B (zh) 2023-04-14

Family

ID=70094186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294185.0A Active CN110990462B (zh) 2019-12-16 2019-12-16 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法

Country Status (1)

Country Link
CN (1) CN110990462B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215409A (zh) * 2020-09-24 2021-01-12 交控科技股份有限公司 一种轨道交通站点客流预测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229813A1 (en) * 2005-03-30 2006-10-12 Tobiska William K Ionospheric forecast system (IFS)
CN106134464B (zh) * 2009-12-17 2011-08-24 中国电子科技集团公司第二十二研究所 一种电离层参数短期预报的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229813A1 (en) * 2005-03-30 2006-10-12 Tobiska William K Ionospheric forecast system (IFS)
CN106134464B (zh) * 2009-12-17 2011-08-24 中国电子科技集团公司第二十二研究所 一种电离层参数短期预报的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐智灵等: "基于改进的深度置信网络的电离层F2层临界频率预测", 《计算机应用研究》 *
奚迪龙等: "一种电离层f_0F_2和M(3000)F_2长期预测新方法", 《电波科学学报》 *
孔庆颜等: "电离层f_0F_2参数提前24小时预测", 《空间科学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215409A (zh) * 2020-09-24 2021-01-12 交控科技股份有限公司 一种轨道交通站点客流预测方法及系统
CN112215409B (zh) * 2020-09-24 2024-01-30 交控科技股份有限公司 一种轨道交通站点客流预测方法及系统

Also Published As

Publication number Publication date
CN110990462B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
Zang et al. Hybrid method for short‐term photovoltaic power forecasting based on deep convolutional neural network
Duan et al. A combined short-term wind speed forecasting model based on CNN–RNN and linear regression optimization considering error
CN110751094B (zh) 一种基于gee综合遥感影像和深度学习方法的作物估产方法
CN110046801B (zh) 一种配电网电力系统的典型场景生成方法
CN110956312B (zh) 基于emd-cnn深度神经网络的光伏配电网电压预测方法
CN109904878B (zh) 一种多风电场发电时序模拟场景构建方法
CN110084433A (zh) 基于高斯混合模型的风电功率预测误差分段拟合方法
Liu et al. Improved transformer model for enhanced monthly streamflow predictions of the Yangtze River
CN111783631A (zh) 一种基于稀疏表示的深度学习磁共振波谱重建方法
Guermoui et al. Potential assessment of the TVF-EMD algorithm in forecasting hourly global solar radiation: Review and case studies
CN110990462B (zh) 一种用于提高电离层foF2机器学习精度的时间序列数据处理方法
CN111506868B (zh) 一种基于hht权值优化的超短期风速预测方法
Luo et al. Short-term load forecasting model of distribution transformer based on CNN and LSTM
CN115099461A (zh) 基于双分支特征提取的太阳辐射预测方法及系统
CN115759389A (zh) 基于天气类型的相似日组合策略的日前光伏功率预测方法
CN110533249B (zh) 一种基于集成长短期记忆网络的冶金企业能耗预测方法
CN110046756B (zh) 基于小波去噪与Catboost的短时天气预报方法
CN117710744A (zh) 基于波段选择特征融合多注意力网络的高光谱图像分类方法
CN117833216A (zh) 基于混合神经网络的光伏电站发电功率预测方法及装置
CN113627685A (zh) 一种考虑风电上网负荷限制的风力发电机功率预测方法
NL2033915B1 (en) Monthly precipitation forecasting model with the temporal convolutional network
CN112598181A (zh) 负荷预测方法、装置、设备和存储介质
Puiu et al. Principled data completion of network constraints for day ahead auctions in power markets
CN116579120A (zh) 一种基于综合法的日风电出力序列场景生成方法
CN116312860A (zh) 基于监督迁移学习的农产品可溶性固形物预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant