CN114722909A - 一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 - Google Patents
一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 Download PDFInfo
- Publication number
- CN114722909A CN114722909A CN202210246804.4A CN202210246804A CN114722909A CN 114722909 A CN114722909 A CN 114722909A CN 202210246804 A CN202210246804 A CN 202210246804A CN 114722909 A CN114722909 A CN 114722909A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- neural network
- convolutional neural
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 claims description 3
- 101000988287 Senecio vernalis Homospermidine synthase 2 Proteins 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于神经网络技术领域,具体涉及一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,包括如下步骤,数据采集:采集太阳耀斑数据,并对其类别进行标注,完成模型训练所需数据集的构建;数据预处理:对数据进行预处理,通过不同的数据分割方法对太阳耀斑的不同类型进行划分,保证模型训练效果;模型构建:采用低维卷积神经网络搭建识别分类模型,输入训练数据,完成参数模型的搭建;模型保存:当模型的损失函数不再降低之后,保存模型;模型评估:通过不同的评价指标对保存后的模型进行性能评估,了解其性能。本发明通过两种不同的数据集分割方法:随机的和按时间顺序的用于提高模型预测的随机性和准确性。
Description
技术领域
本发明属于神经网络技术领域,具体涉及一种基于低维卷积神经网络的太阳耀斑时间序列分类方法。
背景技术
突然破裂电磁辐射是在太阳表面,以光速传播,在499.0秒内到达地球,有能力影响无线电通信系统,影响全球定位系统(GPS),中和空间设备,导致地球电力停电和宇航员的健康有害,当达到一定的大小。这种电磁爆发被称为太阳耀斑现象,当达到X级震级时,它会导致大规模的停电,造成的损失很容易超过数十亿美元的维修和数月的重建费用。因此,在考虑多个时间窗范围的情况下,建立准确可靠的太阳耀斑预报对于在任务危急情况下做出决策和采取保护措施是至关重要的。
现有技术存在的问题或者缺陷:基于机器学习(ML)算法对太阳耀斑进行预测的实验中,由于其本身的局限性和特征提取能力不足,导致太阳耀斑的预测准确率不高,同时在深层神经网络和大数据的巨大增长和硬件进步的背景下,基于深度神经网络对太阳耀斑的预测显得越来越急迫。
发明内容
基于此,本发明提供了一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,从GOES任务中获取1分钟平均x射线(0.1-0.8nm)时间序列数据,并根据时间进行手动数据的划分并完成数据标注。完成数据收集后,对数据进行预处理,预处理包括数据分割,归一化。将预处理后的数据输入搭建好的低维卷积神经网络进行网络模型的训练,待到模型损失函数不再下降,保存模型,完成模型构建,最后通过测试集和不同的评价指标对模型的性能进行评估说明。
本申请公开的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,包括如下步骤,
S1、数据采集:采集太阳耀斑数据,并对其类别进行标注,完成模型训练所需数据集的构建;
S2、数据预处理:对数据进行预处理,通过不同的数据分割方法对太阳耀斑的不同类型进行划分,保证模型训练效果;
S3、模型构建:采用低维卷积神经网络搭建识别分类模型,输入训练数据,完成参数模型的搭建;
S4、模型保存:当模型的损失函数不再降低之后,保存模型;
S5、模型评估:通过不同的评价指标对保存后的模型进行性能评估,了解其性能。
进一步的,所述步骤S1中,从GOES任务的数据库中获取1分钟平均x射线(0.1-0.8nm)时间序列数据,所述GOES任务是利用成像仪设备收集地球表面和大气的红外辐射和可见光太阳反射,以及利用声波设备收集大气温度、湿度剖面、表面和云顶温度以及臭氧分布。
进一步的,所述步骤S2中:包括数据分割和数据归一化处理。
其中表示第l层在索引i,j处的特征图k,xl-1表示第l-1层并为当前层的输入,是尺寸为(2N+1)×(2M+1)的核,S表示步长,P为边界的填充,每层后面有一个ReLU激活函数,4个最大池化层,一个全连接层和一个带有softmax激活函数的输出层,其公式分别如下:
进一步的,所述步骤S3中,还包括如下步骤:每个最大池化层后面都有一个dropout层,dropout概率为10%,用于正则化和避免模型过拟合,将训练数据输入分类模型中进行训练,通过四层卷积层输出相应的特征图,利用卷积层中的每个核与输入张量卷积,生成一个特征映射,最终在输出层通过softmax激活函数将输出映射到分类概率空间。
进一步的,所述步骤S4中,通过使用交叉熵损失函数进行训练,当模型的损失函数不再降低之后,保存模型,交叉熵损失函数公式如下:
进一步的,所述步骤S5中,通过不同的评价指标对保存后的模型进行性能评估,了解其相关的性能,其评价指标如下:
其中ACC为正确预测的数量的比率;PPV为不将负面事件标记为正的比率;TPR为找到所有正面事件的能力;F1为发现所有正面事件和不错误分类错误事件的能力;HSS1对总是预测负面事件的模型的改进;HSS2是一个技能得分;TSS为测量真实阳性和假阳性率之间的差异。而TP为真阳性,FN为假阴性,FP为假阳性,TN为真阴性,P为耀斑发生,N为耀斑未发生。
本发明与现有技术相比,具有的有益效果是:
本发明设计了一种基于低维卷积神经网络的太阳耀斑时间序列分类方法。方法仅根据23和24太阳周期的GOESx射线时间序列数据进行训练。通过重点训练两个模型用于太阳耀斑的预测,一个模型预测了X级太阳耀斑事件,另一个模型预测了M级太阳耀斑事件。在事件发生前,X和M模型根据不同的预测时间框架进行了训练,并通过两种不同的数据集分割方法:随机的和按时间顺序的用于提高模型预测的随机性和准确性。
附图说明
图1为本发明的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术发明进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请公开的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,如图1所示,包括如下步骤,
步骤S1中,数据采集:从GOES任务中获取1分钟平均x射线(0.1-0.8nm)时间序列数据。其中第一艘GOES-1在1975年发射,由美国国家海洋和大气管理局(NOAA)的国家气象卫星、数据和信息服务部门操作。而ALLGOES任务航天器是一颗位于约35800公里高度的地球同步卫星,它提供了完整的地球盘视图和无遮挡的太阳视图。主要的GOES任务是利用成像仪设备收集地球表面和大气的红外辐射和可见光太阳反射,以及利用声波设备收集大气温度、湿度剖面、表面和云顶温度以及臭氧分布。此外,GOES航天器搭载的空间环境3监测仪(SEM)由磁强计、x射线传感器、高能质子和阿尔法粒子探测器以及高能粒子传感器组成。在GOES上发现的x射线传感器(XRS)能够记录两个波段:0.05-0.4nm和0.1-0.8nm。同时当达到一定阈值时,长波波段(0.1-0.8nm)的幅值所定义的X射线通量等级:X、M、C等级分别为10-4、10-5、10-6。根据GOES x射线通量数据构成原始数据集,其原始数据集中GOES-10数据范围为1998年7月至2009年12月,GOES-14数据范围为2010年1月至2010年12月,GOES-15数据范围为2011年1月至2019年12月,将这三个数据源合并成一个1分钟平均x射线信号的按时间顺序排列的序列,分别涵盖了1998年7月至2009年12月和2010年1月至2019年12月的几乎全部太阳活动周期。
步骤S2中包括数据分割:通过X射线信号星发现所有的X和M太阳耀斑事件的相应阈值分别为1·10-4和1·10-5。为了分别为1、3、6、12、24、48、72、96小时不同预测帧的X和M太阳耀斑类创建两个单独的数据集,同时保留48小时的数据作为模型的输入,用GOES-15的最小标称值1e-9替换时间序列中出现的所有缺失值“99999”,然后对每一个发现的太阳耀斑事件高峰(分别为M或X),确认更高级别的事件没有提前12小时出现,也没有在高峰前97小时出现相同或更高级别的事件(高峰前1小时和预测帧96小时),并通过选择随机时间点,确认在12小时前或97小时前没有出现高于M类阈值的事件,从而选择一个无事件帧,以此消除带有主要标称最小值计数的帧。通过以上方式,事件/无事件帧的长度为144小时:96小时的预测帧和48小时的输入。最后X类集和M类集的事件帧总数分别为171和1522个事件,而无事件帧集计数1057个事件,同时将获取的数据集中选择均匀分布的样本将集合分割为训练集和测试集,即集合中的每个样本被选为训练或测试的概率相等,,将训练集输入模型中用于训练,实现参数调优,将测试集用于模型的性能评估。
每层后面有一个ReLU激活函数,4个最大池化层,一个全连接层和一个带有softmax激活函数的输出层,其公式分别如下:
此外,每个最大池化层后面都有一个dropout层,dropout概率为10%,用于正则化和避免模型过拟合。将训练数据输入分类模型中进行训练,通过四层卷积层输出相应的特征图,利用卷积层中的每个核与输入张量卷积,生成一个特征映射,最终在输出层通过softmax激活函数将输出映射到分类概率空间。
步骤S4模型保存:通过使用交叉熵损失函数进行训练,当模型的损失函数不再降低之后,保存模型,交叉熵损失函数公式如下:
步骤S5模型评估:通过不同的评价指标对保存后的模型进行性能评估,了解其相关的性能,其评价指标如下:
其中ACC为正确预测的数量的比率;PPV为不将负面事件标记为正的比率;TPR为找到所有正面事件的能力;F1为发现所有正面事件和不错误分类错误事件的能力;HSS1对总是预测负面事件的模型的改进;HSS2是一个技能得分;TSS为测量真实阳性和假阳性率之间的差异。而TP为真阳性,FN为假阴性,FP为假阳性,TN为真阴性,P为耀斑发生,N为耀斑未发生。
上面仅对本发明的较佳实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化,各种变化均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,其特征在于,包括如下步骤,
S1、数据采集:采集太阳耀斑数据,并对其类别进行标注,完成模型训练所需数据集的构建;
S2、数据预处理:对数据进行预处理,通过不同的数据分割方法对太阳耀斑的不同类型进行划分,保证模型训练效果;
S3、模型构建:采用低维卷积神经网络搭建识别分类模型,输入训练数据,完成参数模型的搭建;
S4、模型保存:当模型的损失函数不再降低之后,保存模型;
S5、模型评估:通过不同的评价指标对保存后的模型进行性能评估,了解其性能。
2.如权利要求1所述的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,其特征在于,所述步骤S1中,从GOES任务的数据库中获取1分钟平均x射线(0.1-0.8nm)时间序列数据,所述GOES任务是利用成像仪设备收集地球表面和大气的红外辐射和可见光太阳反射,以及利用声波设备收集大气温度、湿度剖面、表面和云顶温度以及臭氧分布。
3.如权利要求2所述的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,其特征在于,所述步骤S2中:包括数据分割和数据归一化处理。
4.如权利要求3所述的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,其特征在于,所述步骤S3中:利用低维卷积神经网络构建一个分类时间序列模型作为太阳耀斑的预测,模型由4个卷积层组成,其离散二维卷积公式如下:
其中表示第l层在索引i,j处的特征图k,xl-1表示第l-1层并为当前层的输入,是尺寸为(2N+1)×(2M+1)的核,S表示步长,P为边界的填充,每层后面有一个ReLU激活函数,4个最大池化层,一个全连接层和一个带有softmax激活函数的输出层,其公式分别如下:
5.如权利要求4所述的一种基于低维卷积神经网络的太阳耀斑时间序列分类方法,其特征在于,所述步骤S3中,还包括如下步骤:每个最大池化层后面都有一个dropout层,dropout概率为10%,用于正则化和避免模型过拟合,将训练数据输入分类模型中进行训练,通过四层卷积层输出相应的特征图,利用卷积层中的每个核与输入张量卷积,生成一个特征映射,最终在输出层通过softmax激活函数将输出映射到分类概率空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210246804.4A CN114722909A (zh) | 2022-03-14 | 2022-03-14 | 一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210246804.4A CN114722909A (zh) | 2022-03-14 | 2022-03-14 | 一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114722909A true CN114722909A (zh) | 2022-07-08 |
Family
ID=82238002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210246804.4A Pending CN114722909A (zh) | 2022-03-14 | 2022-03-14 | 一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114722909A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115828165A (zh) * | 2023-02-15 | 2023-03-21 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
-
2022
- 2022-03-14 CN CN202210246804.4A patent/CN114722909A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115828165A (zh) * | 2023-02-15 | 2023-03-21 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
CN115828165B (zh) * | 2023-02-15 | 2023-05-02 | 南京工大金泓能源科技有限公司 | 一种新能源智能微电网数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11315046B1 (en) | Machine learning-based disaster modeling and high-impact weather event forecasting | |
US9262723B2 (en) | Predicting climate data using climate attractors derived from a global climate model | |
CN110019595B (zh) | 一种多源气象数据集成方法及系统 | |
CN115688404B (zh) | 基于svm-rf模型的降雨型滑坡预警方法 | |
EP1851571A2 (en) | System and method for enhanced measure-correlate-predict for a wind farm location | |
Biard et al. | Automated detection of weather fronts using a deep learning neural network | |
CN111897030A (zh) | 一种雷暴预警系统及方法 | |
CN109782373A (zh) | 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 | |
Ashkboos et al. | Ens-10: A dataset for post-processing ensemble weather forecasts | |
CN111882128B (zh) | 基于tcn的汛期气候趋势预测方法 | |
Haggag et al. | Infrastructure performance prediction under climate-induced disasters using data analytics | |
Kuma et al. | Machine learning of cloud types in satellite observations and climate models | |
CN114722909A (zh) | 一种基于低维卷积神经网络的太阳耀斑时间序列分类方法 | |
Kanani et al. | An AI-enabled ensemble method for rainfall forecasting using long-short term memory | |
Pegion et al. | Understanding predictability of daily southeast US precipitation using explainable machine learning | |
CN116258279B (zh) | 基于综合赋权的滑坡易发性评价方法和装置 | |
Miller et al. | A preliminary assessment of using spatiotemporal lightning patterns for a binary classification of thunderstorm mode | |
Zhan et al. | Daily rainfall data construction and application to weather prediction | |
KR20190119082A (ko) | 기상 데이터의 통계 분석을 사용하여 경제 동향들을 예측하기 위한 시스템 및 방법 | |
Munir et al. | Early identification model for dengue haemorrhagic fever (DHF) outbreak areas using rule-based stratification approach | |
Socaci et al. | XNow: A deep learning technique for nowcasting based on radar products’ values prediction | |
Lorini et al. | Social media alerts can improve, but not replace hydrological models for forecasting floods | |
Gu et al. | A Stacking Ensemble Learning Model for Monthly Rainfall Prediction in the Taihu Basin, China. Water 2022, 14, 492 | |
Nguyen | Deep learning for tropical cyclone formation detection | |
AlDaweesh | Predicting Hourly Particulate Matter (PM 2.5) Concentrations Using Meteorological Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |