CN112016245A - 基于自注意力变形网络的磁暴预测方法、装置及存储介质 - Google Patents

基于自注意力变形网络的磁暴预测方法、装置及存储介质 Download PDF

Info

Publication number
CN112016245A
CN112016245A CN202010812020.4A CN202010812020A CN112016245A CN 112016245 A CN112016245 A CN 112016245A CN 202010812020 A CN202010812020 A CN 202010812020A CN 112016245 A CN112016245 A CN 112016245A
Authority
CN
China
Prior art keywords
attention
self
vector
output
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010812020.4A
Other languages
English (en)
Inventor
周文略
柯琪锐
翟懿奎
陈家聪
江子义
甘俊英
应自炉
王天雷
曾军英
徐颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010812020.4A priority Critical patent/CN112016245A/zh
Publication of CN112016245A publication Critical patent/CN112016245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于自注意力变形网络的磁暴预测方法、装置及存储介质，其中方法包括输入卫星磁测数据和太阳高能粒子数据；提取卫星磁测数据的第一特征；提取太阳高能粒子数据的第二特征；基于第一特征和第二特征进行分类得到地磁指数；第二特征提取模块包括设有多个编码子层的编码器和设有多个解码子层的解码器，每个编码子层包括第一多头自注意力结构和第一全连接前向网络；每个解码子层包括多头自注意力结构、第二多头自注意力结构和第二全连接前向网络处理。能实现准确的磁暴预测；能并行计算，减少计算复杂度，提高计算效率；使模型更具可解释性。

Description

基于自注意力变形网络的磁暴预测方法、装置及存储介质
技术领域
本发明涉及地磁预测领域，特别是基于自注意力变形网络的磁暴预测方法、装置及存储介质。
背景技术
地磁暴主要是由太阳耀斑爆发时向外辐射出大量紫外线、X射线等高能粒子流，并到达地球严重干扰地球磁场而引起的。地磁暴的发生会引起重大停电事故，干扰无线电通讯和卫星的运行，以及航空航海导航定位，因此对地磁暴的预报具有非常重要的科学和经济意义。太阳耀斑的爆发与多种因素有关，而这些因素又与地磁暴发生的预测存在着复杂的关系，其中的规律难以把握。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于自注意力变形网络的磁暴预测方法、装置及存储介质。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，基于自注意力变形网络的磁暴预测方法，包括以下步骤：
输入卫星磁测数据和太阳高能粒子数据；
提取卫星磁测数据的第一特征；
提取太阳高能粒子数据的第二特征；
基于所述第一特征和所述第二特征进行分类得到地磁指数；
其中，所述提取太阳高能粒子数据的第二特征包括以下步骤：
输入所述太阳高能粒子数据至编码器，使所述太阳高能粒子数据经过多个编码子层处理；其中在所述编码子层中，所输入的数据依次经过第一多头自注意力结构、第一全连接前向网络处理；
将所述编码器的输出输入至解码器，使所述编码器的输出经过多个解码子层处理，再经过最终线性变换层和softmax函数层处理得到所述第二特征；其中在所述解码子层中，所输入的数据依次经过掩膜式多头自注意力结构、第二多头自注意力结构和第二全连接前向网络处理。
根据本发明的第一方面，在所述第一多头自注意力结构中执行以下步骤：
步骤1a、使所输入的数据分别输入至三个不同的线性变换层得到第一Query向量、第一Key向量、第一Value向量；
步骤1b、将第一Query向量、第一Key向量和第一Value向量输入至放缩点积注意力结构中；
步骤1c、重复执行步骤1a和步骤1b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述第一多头自注意力结构的输出。
根据本发明的第一方面，在所述第一全连接前向网络结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
根据本发明的第一方面，在所述掩膜式多头自注意力结构执行以下步骤：
步骤2a、使所输入的数据分别输入至三个不同的线性变换层得到第二Query向量、第二Key向量、第二Value向量；其中所述第二Query向量、所述第二Key向量、所述第二Value向量中的未来数据用0覆盖；
步骤2b、将所述第二Query向量、所述第二Key向量和所述第二Value向量输入至放缩点积注意力结构中；
步骤2c、重复执行步骤2a和步骤2b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述掩膜式多头自注意力结构的输出。
根据本发明的第一方面，在所述第二多头自注意力结构执行以下步骤：
步骤3a、将第三Query向量、第三Key向量和第三Value向量输入至放缩点积注意力结构中；其中所述第三Query向量由上一个所述解码子层的输出线性变换而来，所述第三Key向量和所述第三Value向量由所述编码子层的输出线性变换而来；
步骤3b、重复执行步骤3b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述第二多头自注意力结构的输出。
根据本发明的第一方面，在所述放缩点积注意力结构中执行以下步骤：输出Attention(Q,K,V)，其中
Figure BDA0002631337820000041
其中Q为Query向量，K为Key向量，V为Value向量，T为Key向量乘方的次幂数，dk是调节参数。
根据本发明的第一方面，在所述第二全连接前向网络结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
根据本发明的第一方面，多个所述编码子层的输出的维度均相同；多个所述解码子层的输出的维度均相同。
本发明的第二方面，基于自注意力变形网络的磁暴预测装置，包括：
输入模块，用于输入卫星磁测数据和太阳高能粒子数据；
第一特征提取模块，用于提取卫星磁测数据的第一特征；
第二特征提取模块，用于提取太阳高能粒子数据的第二特征；
分类模块，用于基于所述第一特征和所述第二特征进行分类得到地磁指数；
其中，所述第二特征提取模块包括：
编码器，所述编码器包括用于处理输入的所述太阳高能粒子数据的多个编码子层；每个所述编码子层中包括第一多头自注意力结构和第一全连接前向网络；
解码器，所述解码器包括用于处理所述编码器的输出的多个解码子层、以及最终线性变换层和softmax函数层；每个所述解码子层包括掩膜式多头自注意力结构、第二多头自注意力结构和第二全连接前向网络。
本发明的第三方面，存储介质，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本发明第一方面所述的基于自注意力变形网络的磁暴预测方法。
上述方案至少具有以下的有益效果是：分别提取卫星磁测数据的第一特征以及提取太阳高能粒子数据的第二特征，最终通过分类器分类得到地磁指数；通过对磁暴预测模型的重复训练使其不断完善，从而实现了从前一时刻的卫星磁测数据以及太阳高能粒子数据得到未来时刻的地磁指数，从而实现了准确的磁暴预测。通过自注意力变形网络进行太阳高能粒子数据的第二特征的提取具有以下的优点：通过多个编码子层与多个解码子层实现并行计算，提高计算效率；计算实时的卫星磁测数据以及太阳高能粒子数据与未来时刻的地磁指数之间的关联所需的计算复杂度不随数据距离的增加而增加，减少计算复杂度；多头自注意力结构的每个头部能执行不同的任务，从而使模型更具可解释性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例基于自注意力变形网络的磁暴预测方法的流程图；
图2是本发明实施例基于自注意力变形网络的磁暴预测装置的结构图；
图3是图2中的第二特征提取模块的结构图；
图4是图3中的编码子层与解码子层的结构图；
图5是多头自注意力结构的结构图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1、图2和图3，本发明的一个实施例，提供了基于自注意力变形网络的磁暴预测方法，包括以下步骤：
步骤S100、输入卫星磁测数据和太阳高能粒子数据；
步骤S200、提取卫星磁测数据的第一特征；
步骤S300、提取太阳高能粒子数据的第二特征；
步骤S400、基于第一特征和第二特征进行分类得到地磁指数；
其中，步骤S300、提取太阳高能粒子数据的第二特征包括以下步骤：
输入太阳高能粒子数据至编码器10，使太阳高能粒子数据经过多个编码子层11处理；其中在编码子层11中，所输入的数据依次经过第一多头自注意力结构31、第一全连接前向网络32处理；
将编码器10的输出输入至解码器20，使编码器10的输出经过多个解码子层21处理，再经过最终线性变换层22和softmax函数层23处理得到第二特征；其中在解码子层21中，所输入的数据依次经过掩膜式多头自注意力结构33、第二多头自注意力结构34和第二全连接前向网络35处理。
在该实施例中，卫星磁测数据是常用的通过卫星测量得到的地球磁场数据。太阳高能粒子数据是对太阳活动产生的高能粒子流的观测数据，太阳活动产生的高能粒子流会对地球磁场产生影响。分别提取卫星磁测数据的第一特征以及提取太阳高能粒子数据的第二特征，最终通过分类器分类得到地磁指数；通过对磁暴预测模型的重复训练使其不断完善，从而实现了从前一时刻的卫星磁测数据以及太阳高能粒子数据得到未来时刻的地磁指数，从而实现了准确的磁暴预测。
通过自注意力变形网络进行太阳高能粒子数据的第二特征的提取具有以下的优点：通过多个编码子层11与多个解码子层21实现并行计算，提高计算效率；计算实时的卫星磁测数据以及太阳高能粒子数据与未来时刻的地磁指数之间的关联所需的计算复杂度不随数据距离的增加而增加，减少计算复杂度；多头自注意力结构的每个头部能执行不同的任务，从而使模型更具可解释性。
需要说明的是，卫星磁测数据的第一特征的提取可以通过常用的特征提取网络提取，例如LBP、HOG等算法；也可以采用和提取第二特征相同的编码器10-解码器20结果的自注意力变形网络。
参照图3，对于第二特征提取模块300，其包括编码器10和解码器20，编码器10具有六个编码子层11，解码器20具有六个解码子层21。其中，对于六个编码子层11，输入至第一个编码子层11的是太阳高能粒子数据，前一个编码子层11的输出作为后一个编码子层11的输入，另外最后一个编码子层11的输出会作为每个解码子层21的输入。对于每个解码子层21，前一个编码子层11的输出会作为后一个编码子层11的输入。
需要说明的是，自注意力变形网络是用于计算太阳高能粒子数据与第二特征的相关程度的。自注意力变形网络的注意力机制表示为将Query向量和Key向量-Value向量对映射到第二特征上，是对太阳高能粒子数据进行加权得到第二特征的，在该实施例中Value向量是由太阳高能粒子数据得到。而权重则由Query向量和Key向量决定的。另外，Query向量、Key向量和Value向量具体为矩阵向量。
参照图5，进一步，对于每个编码子层11，在第一多头自注意力结构31中执行以下步骤：
步骤1a、使所输入的数据分别输入至三个不同的线性变换层得到第一Query向量、第一Key向量、第一Value向量；
步骤1b、将第一Query向量、第一Key向量和第一Value向量输入至放缩点积注意力结构41中；其中，在放缩点积注意力结构41中，输出
Figure BDA0002631337820000091
其中Q为第一Query向量，K为第一Key向量，V为第一Value向量，T为第一Key向量乘方的次幂数，dk是调节参数；
步骤1c、重复执行步骤1a和步骤1b得到不同的多个放缩点积注意力结构41的输出，将多个放缩点积注意力结构41的输出进行拼接再线性变换，得到第一多头自注意力结构31的输出。需要说明的是为了得到不同的多个放缩点积注意力结构41的输出，每次重复执行步骤1a时线性变换的常量参数均不同，从而使每次执行步骤1a得到的第一Query向量、第一Key向量、第一Value向量均不同，进而能得到不同的多个放缩点积注意力结构41的输出。
另外，在同一个编码子层11中，第一多头自注意力结构31的输出作为第一全连接前向网络32结构的输入。
在第一全连接前向网络32结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
需要说明的是，对于每个编码子层11，都采用残差网络结构和网络正则化。
进一步，对于编码器10中的每个编码子层11，在掩膜式多头自注意力结构33执行以下步骤：
步骤2a、使所输入的数据分别输入至三个不同的线性变换层得到第二Query向量、第二Key向量、第二Value向量；其中第二Query向量、第二Key向量、第二Value向量中的未来数据用0覆盖；需要说明的是，由于掩膜式多头自注意力结构33执行的是生成过程，因此在时刻i的时候，对于对应大于i的时刻的数据是不知道结果的，只有对应小于i的时刻的数据是清楚的。则未来数据则是对应大于i的时刻的数据，不知道结果则可以通过用0覆盖以表示。
步骤2b、将第二Query向量、第二Key向量和第二Value向量输入至放缩点积注意力结构41中；其中，在放缩点积注意力结构41中，输出
Figure BDA0002631337820000101
其中Q为第二Query向量，K为第二Key向量，V为第二Value向量，T为第二Key向量乘方的次幂数，dk是调节参数；
步骤2c、重复执行步骤2a和步骤2b得到不同的多个放缩点积注意力结构41的输出，将多个放缩点积注意力结构41的输出进行拼接再线性变换，得到掩膜式多头自注意力结构33的输出。需要说明的是为了得到不同的多个放缩点积注意力结构41的输出，每次重复执行步骤2a时线性变换的常量参数均不同。
进一步，在第二多头自注意力结构34执行以下步骤：
步骤3a、将第三Query向量、第三Key向量和第三Value向量输入至放缩点积注意力结构41中；其中第三Query向量由上一个解码子层21的输出线性变换而来，第三Key向量和第三Value向量由编码子层11的输出线性变换而来；其中，在放缩点积注意力结构41中，输出
Figure BDA0002631337820000111
其中Q为第三Query向量，K为第三Key向量，V为第三Value向量，T为第二Key向量乘方的次幂数，dk是调节参数；
步骤3b、重复执行步骤3a得到不同的多个放缩点积注意力结构41的输出，将多个放缩点积注意力结构41的输出进行拼接再线性变换，得到第二多头自注意力结构34的输出。需要说明的是为了得到不同的多个放缩点积注意力结构41的输出，每次重复执行步骤2a时线性变换的常量参数均不同。
进一步，第二全连接前向网络35结构采用和第一全连接前向网络32结构相同的结构。在第二全连接前向网络35结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
进一步，多个编码子层11的输出的维度均相同；多个解码子层21的输出的维度均相同。这样能便于确保多个编码子层11的输出能连接，以及多个解码子层21的输出能连接。
需要说明的是，基于第一特征和第二特征进行分类得到地磁指数具体为：将第一特征和第二特征输入经训练的双向编码器10，然后将双向编码器10的输出作为地磁指数的判别特征输入至分类器，即可得到地磁指数。分类器可以采用常用的分类器，例如K-近邻分类器、朴素贝叶斯分类器、支持向量机、决策树算法等。
参照图2，本发明的另一个实施例，基于自注意力变形网络的磁暴预测装置，包括：
输入模块100，用于输入卫星磁测数据和太阳高能粒子数据；
第一特征提取模块200，用于提取卫星磁测数据的第一特征；
第二特征提取模块300，用于提取太阳高能粒子数据的第二特征；
分类模块400，用于基于第一特征和第二特征进行分类得到地磁指数；
其中，第二特征提取模块300包括：
编码器10，用于使输入的太阳高能粒子数据经过六个编码子层11处理；其中在编码子层11中，所输入的数据依次经过第一多头自注意力结构31、第一全连接前向网络32处理；
解码器20，用于使编码器10的输出经过六个解码子层21处理，再经过最终线性变换层22和softmax函数层23处理得到第二特征；其中在解码子层21中，所输入的数据依次经过掩膜式多头自注意力结构33、第二多头自注意力结构34和第二全连接前向网络35处理。
在该实施例中，分别提取卫星磁测数据的第一特征以及提取太阳高能粒子数据的第二特征，最终通过分类器分类得到地磁指数；通过对磁暴预测模型的重复训练使其不断完善，从而实现了从前一时刻的卫星磁测数据以及太阳高能粒子数据得到未来时刻的地磁指数，从而实现了准确的磁暴预测。
需要说明的是，对于六个编码子层11，输入至第一个编码子层11的是太阳高能粒子数据，前一个编码子层11的输出作为后一个编码子层11的输入，另外最后一个编码子层11的输出会作为每个解码子层21的输入。对于每个解码子层21，前一个编码子层11的输出会作为后一个编码子层11的输入。
另外，磁暴预测装置，应用如方法实施例所述的基于自注意力变形网络的磁暴预测方法，经各个模块的配合，能执行磁暴预测方法的各个步骤，具有相同的技术效果，在此不再详述。
本发明的又一个实施例，提供了存储介质，该存储介质存储有可执行指令，可执行指令能被计算机执行，使计算机执行如本发方法实施例所述的基于自注意力变形网络的磁暴预测方法。
存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.基于自注意力变形网络的磁暴预测方法，其特征在于，包括以下步骤：
输入卫星磁测数据和太阳高能粒子数据；
提取所述卫星磁测数据的第一特征；
提取所述太阳高能粒子数据的第二特征；
基于所述第一特征和所述第二特征进行分类得到地磁指数；
其中，所述提取太阳高能粒子数据的第二特征包括以下步骤：
输入所述太阳高能粒子数据至编码器，使所述太阳高能粒子数据经过多个编码子层处理；其中在所述编码子层中，所输入的数据依次经过第一多头自注意力结构、第一全连接前向网络处理；
将所述编码器的输出输入至解码器，使所述编码器的输出经过多个解码子层处理，再经过最终线性变换层和softmax函数层处理得到所述第二特征；其中在所述解码子层中，所输入的数据依次经过掩膜式多头自注意力结构、第二多头自注意力结构和第二全连接前向网络处理。
2.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述第一多头自注意力结构中执行以下步骤：
步骤1a、使所输入的数据分别输入至三个不同的线性变换层得到第一Query向量、第一Key向量、第一Value向量；
步骤1b、将所述第一Query向量、所述第一Key向量和所述第一Value向量输入至放缩点积注意力结构中；
步骤1c、重复执行步骤1a和步骤1b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述第一多头自注意力结构的输出。
3.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述第一全连接前向网络结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
4.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述掩膜式多头自注意力结构执行以下步骤：
步骤2a、使所输入的数据分别输入至三个不同的线性变换层得到第二Query向量、第二Key向量、第二Value向量；其中所述第二Query向量、所述第二Key向量、所述第二Value向量中的未来数据用0覆盖；
步骤2b、将所述第二Query向量、所述第二Key向量和所述第二Value向量输入至放缩点积注意力结构中；
步骤2c、重复执行步骤2a和步骤2b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述掩膜式多头自注意力结构的输出。
5.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述第二多头自注意力结构执行以下步骤：
步骤3a、将第三Query向量、第三Key向量和第三Value向量输入至放缩点积注意力结构中；其中所述第三Query向量由上一个所述解码子层的输出线性变换而来，所述第三Key向量和所述第三Value向量由所述编码子层的输出线性变换而来；步骤3b、重复执行步骤3b得到不同的多个所述放缩点积注意力结构的输出，将多个所述放缩点积注意力结构的输出进行拼接再线性变换，得到所述第二多头自注意力结构的输出。
6.根据权利要求2或4或5所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述放缩点积注意力结构中执行以下步骤：输出Attention(Q,K,V)，其中
Figure FDA0002631337810000031
其中Q为Query向量，K为Key向量，V为Value向量，T为Key向量乘方的次幂数，dk是调节参数。
7.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，在所述第二全连接前向网络结构中执行以下步骤：所输入的数据依次经过两个线性变换层和一个ReLU激活层。
8.根据权利要求1所述的基于自注意力变形网络的磁暴预测方法，其特征在于，多个所述编码子层的输出的维度均相同；多个所述解码子层的输出的维度均相同。
9.基于自注意力变形网络的磁暴预测装置，其特征在于，包括：
输入模块，用于输入卫星磁测数据和太阳高能粒子数据；
第一特征提取模块，用于提取卫星磁测数据的第一特征；
第二特征提取模块，用于提取太阳高能粒子数据的第二特征；
分类模块，用于基于所述第一特征和所述第二特征进行分类得到地磁指数；
其中，所述第二特征提取模块包括：
编码器，所述编码器包括用于处理输入的所述太阳高能粒子数据的多个编码子层；每个所述编码子层中包括第一多头自注意力结构和第一全连接前向网络；
解码器，所述解码器包括用于处理所述编码器的输出的多个解码子层、以及最终线性变换层和softmax函数层；每个所述解码子层包括掩膜式多头自注意力结构、第二多头自注意力结构和第二全连接前向网络。
10.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至8任一项所述的基于自注意力变形网络的磁暴预测方法。
CN202010812020.4A 2020-08-13 2020-08-13 基于自注意力变形网络的磁暴预测方法、装置及存储介质 Pending CN112016245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010812020.4A CN112016245A (zh) 2020-08-13 2020-08-13 基于自注意力变形网络的磁暴预测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010812020.4A CN112016245A (zh) 2020-08-13 2020-08-13 基于自注意力变形网络的磁暴预测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112016245A true CN112016245A (zh) 2020-12-01

Family

ID=73505994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010812020.4A Pending CN112016245A (zh) 2020-08-13 2020-08-13 基于自注意力变形网络的磁暴预测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112016245A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673366A (en) * 1996-01-05 1997-09-30 Maynard; Nelson C. System and method for geomagnetic and ionospheric forecasting
CN106971066A (zh) * 2017-03-16 2017-07-21 河南师范大学 基于神经网络模型预报地磁暴的方法
CN110175338A (zh) * 2019-05-31 2019-08-27 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
CN110188669A (zh) * 2019-05-29 2019-08-30 华南理工大学 一种基于注意力机制的空中手写字符轨迹恢复方法
CN110192206A (zh) * 2017-05-23 2019-08-30 谷歌有限责任公司 基于注意力的序列转换神经网络
CN110782008A (zh) * 2019-10-16 2020-02-11 北京百分点信息科技有限公司 深度学习模型的训练方法、预测方法和装置
CN110796160A (zh) * 2019-09-16 2020-02-14 腾讯科技（深圳）有限公司 一种文本分类方法、装置和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673366A (en) * 1996-01-05 1997-09-30 Maynard; Nelson C. System and method for geomagnetic and ionospheric forecasting
CN106971066A (zh) * 2017-03-16 2017-07-21 河南师范大学 基于神经网络模型预报地磁暴的方法
CN110192206A (zh) * 2017-05-23 2019-08-30 谷歌有限责任公司 基于注意力的序列转换神经网络
CN110188669A (zh) * 2019-05-29 2019-08-30 华南理工大学 一种基于注意力机制的空中手写字符轨迹恢复方法
CN110175338A (zh) * 2019-05-31 2019-08-27 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
CN110796160A (zh) * 2019-09-16 2020-02-14 腾讯科技（深圳）有限公司 一种文本分类方法、装置和存储介质
CN110782008A (zh) * 2019-10-16 2020-02-11 北京百分点信息科技有限公司 深度学习模型的训练方法、预测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VASWANI ASHISH ET AL.: "Attention is All you Need", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, pages 1 - 11 *
易世华 等: "基于地磁水平分量序列的磁暴自动识别", 地震地磁观测与研究, pages 37 - 41 *

Similar Documents

Publication Publication Date Title
Cai et al. Memory matching networks for one-shot image recognition
US8700552B2 (en) Exploiting sparseness in training deep neural networks
EP3627397A1 (en) Processing method and apparatus
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN111507521A (zh) 台区电力负荷预测方法及预测装置
EP4016331A1 (en) Neural network dense layer sparsification and matrix compression
CN115909036A (zh) 局部-全局自适应引导增强的车辆重识别方法及系统
CN115795065A (zh) 基于带权哈希码的多媒体数据跨模态检索方法及系统
Yeh et al. Interpretable multi-task learning for product quality prediction with attention mechanism
CN109697509B (zh) 处理方法及装置、运算方法及装置
Yin et al. Hardware-guided symbiotic training for compact, accurate, yet execution-efficient LSTM
CN112033406B (zh) 基于轻量级网络的导航方法、装置及存储介质
Mehrbani et al. Low‐rank isomap algorithm
CN112016245A (zh) 基于自注意力变形网络的磁暴预测方法、装置及存储介质
US20200117838A1 (en) Method for generating a set of shape descriptors for a set of two or three dimensional geometric shapes
CN112069717A (zh) 基于多模态表征学习的磁暴预测方法、装置及存储介质
WO2019076095A1 (zh) 处理方法及装置
Zhao et al. Financial Time Series Data Prediction by Combination Model Adaboost-KNN-LSTM
Dong et al. Improved swin transformer-based defect detection method for transmission line patrol inspection images
Liu Hardware-friendly model compression technique of DNN for edge computing
CN117058401B (zh) 复杂环境感知的高精度点云分类自适应下采样方法及装置
US20230222334A1 (en) Model quantization for software engineering tasks
Furuta et al. An Efficient Implementation of FPGA-based Object Detection Using Multi-scale Attention
CN117852542A (zh) 多模态命名实体识别方法、装置、存储介质及电子装置
Zhang et al. Stacked Denoising Autoencoders Based Poisson Regression For Count Data Modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination