CN114842681A - 一种基于多头注意力机制的机场场面航迹预测方法 - Google Patents

一种基于多头注意力机制的机场场面航迹预测方法 Download PDF

Info

Publication number
CN114842681A
CN114842681A CN202210777482.6A CN202210777482A CN114842681A CN 114842681 A CN114842681 A CN 114842681A CN 202210777482 A CN202210777482 A CN 202210777482A CN 114842681 A CN114842681 A CN 114842681A
Authority
CN
China
Prior art keywords
attention mechanism
aircraft
vector
training
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210777482.6A
Other languages
English (en)
Inventor
石潇竹
姜志乾
王尔申
陈平
刘云天
张明伟
鲍帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202210777482.6A priority Critical patent/CN114842681A/zh
Publication of CN114842681A publication Critical patent/CN114842681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本发明提供一种基于多头注意力机制的机场场面航迹预测方法，涉及航空器空中交通管理领域。该方法采取自注意力机制和前馈神经网络框架结构的多变量时序自注意力机制模型，通过自注意力机制提取航空器滑行轨迹特征，学习规律，并对未来一段时间内的航迹进行预测。同时，该方法利用多头注意力机制进行并行运算，提高运算效率。本发明对航空器滑行期间的未来轨迹进行预测，保证机场场面内滑行中航空器之间的飞行安全，为航空滑行轨迹预测算法提供一份参考。

Description

一种基于多头注意力机制的机场场面航迹预测方法
技术领域
本发明涉及一种机场场面航迹预测方法，特别是一种基于多头注意力机制的机场场面航迹预测方法。
背景技术
全球航空运输量不断增长，民航机场起降量迅速增长，机场场面运行愈发繁忙，机场建设规模也越来越大，建设多跑道机场，场面交通环境愈发复杂。机场场面运行管理面临许多尖锐亟待解决的安全、效率问题，例如滑行冲突、机坪交通事件等，需要能够实时、智能、准确的识别这些场面运行风险，并且能够对各种飞行区风险进行及时、准确的告警计算处理，给机场运行管理人员、管制员提供预警，使其进行处置，防止飞行区不安全事件发生，而其中最为重要的技术就是航空器滑行轨迹预测技术。
目前，现有航空器轨迹预测方法主要包括：基于航空器模型的航迹预测方法、根据BADA（Base of Aircraft Data）航空器基础资料及航空器滑行意图航迹预测法、基于卡尔曼滤波的轨迹预测方法、粒子滤波航迹预测方法以及基于深度学习的航迹滤波技术。上述方法主要分为两类思想，第一类是通过航空器在航行过程中的各种参数，如航空器自身参数、地理位置、航速、航向角等信息（包括飞行意图信息）建立运动学方程，从而构建航空器滑行轨迹。另一种主要采用概率的思想，通过航空器随机历史样本近似构建概率密度函数，并使用样本均值的方法进行最小方差计算，对航空器器的下一阶段滑行轨迹进行预测。随着深度学习技术的不断发展，循环神经网络（RNN）、长短期神经网络（LSTM）在时序预测方面都取得了很大的成效，并在轨迹预测方面得到了广泛应用。但RNN、LSTM模型也存在着一些问题，如：模型的计算是顺序计算，当前时刻的值依赖上一时刻的值，模型并行运算能力差。随着时序序列的增加，计算过程会发生信息丢失等情况。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多头注意力机制的机场场面航迹预测方法。
为了解决上述技术问题，本发明公开了一种基于多头注意力机制的机场场面航迹预测方法，包括以下步骤：
步骤1，获取航空器飞行过程中的状态信息参数，包括：地理位置信息即经纬度、飞行高度、速度信息、航向角信息以及时间信息；对状态信息参数进行预处理；
步骤2，使用预处理过的状态信息参数构建时间序列的训练集、验证集和测试集，分别用于训练多变量时序自注意力机制模型、验证训练结果以及对训练好的模型进行测试；
步骤3，将训练集和验证集输入多变量时序自注意力机制模型中进行训练；通过多头注意力机制并行计算，减少训练时间并优化深度学习中长序列预测中的梯度消失及梯度爆炸问题；
步骤4，将训练好的多变量时序自注意力机制模型用于下一时刻航空器的位置预测，输入测试集获得下一阶段航空器的位置信息
Figure 134841DEST_PATH_IMAGE001
。
本发明步骤1中所述状态信息参数，指航空器飞行时的数字信息，包括：航空器所在的经度、纬度、高度、速度、航向角以及获取信息之间的时间间隔；
设航空器在t时刻获取的状态信息参数
Figure 306059DEST_PATH_IMAGE002
表达为：
Figure DEST_PATH_IMAGE003
其中，
Figure 293869DEST_PATH_IMAGE004
表示
Figure 943156DEST_PATH_IMAGE005
时刻航空器的经度，
Figure 526453DEST_PATH_IMAGE006
表示
Figure 868573DEST_PATH_IMAGE005
时刻航空器的纬度，
Figure 152135DEST_PATH_IMAGE007
表示
Figure 339534DEST_PATH_IMAGE005
时刻航空器的高度，
Figure 777338DEST_PATH_IMAGE008
表示
Figure 24779DEST_PATH_IMAGE005
时刻航空器的飞行速度，
Figure 564345DEST_PATH_IMAGE009
表示
Figure 306167DEST_PATH_IMAGE005
时刻航空器的航向角，
Figure 349210DEST_PATH_IMAGE010
表示
Figure 282400DEST_PATH_IMAGE005
时刻获取到的状态信息与上一个时刻获取到数据的时间间隔；
则航空器在T时间段内采集到的历史数据由数据集
Figure 512524DEST_PATH_IMAGE011
表示：
Figure 838463DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
表示航空器在T时间内，第一时刻获取到的状态信息；
Figure 424427DEST_PATH_IMAGE014
表示航空器在T时间内，第二时刻获取到的状态信息；
Figure 262939DEST_PATH_IMAGE015
为T时间，第T时刻获取到的状态信息。
本发明步骤1中所述对状态信息参数进行预处理，方法包括：
对每个状态信息参数进行归一化处理，方法如下：
Figure 245939DEST_PATH_IMAGE016
其中，
Figure 595143DEST_PATH_IMAGE017
为归一化后的特征参数的值，
Figure 81619DEST_PATH_IMAGE018
为特征向量，
Figure 372923DEST_PATH_IMAGE019
为特征向量的最小值，
Figure 92486DEST_PATH_IMAGE020
为特征向量最大值。
本发明步骤3中所述的多变量时序自注意力机制模型，包括：
Figure 963490DEST_PATH_IMAGE021
个编码器、
Figure 320784DEST_PATH_IMAGE021
个解码器，N为大于等于1的整数（一般取值为6），以及连接编码器与解码器的连接层；其中，每个编码器由两个子层组成，包括：自注意力层及前馈神经网络层，两个子层中使用一个残差连接进行归一化操作；解码器与编码器结构相似，并在自注意力层及前馈神经网络层之间添加了一个注意力层，用于关注输入的航空器样本状态信息。
本发明步骤3中所述多变量时序自注意力机制模型，具体建模过程包括：
步骤3-1，采用位置编码的方法，解决航空器的状态信息参数中元素顺序序列问题；
步骤3-2，多变量时序自注意力机制模型下的自注意力机制计算；
步骤3-3，利用多头注意力机制进行并行运算；
步骤3-4，通过残差连接进行归一化处理，得出注意力层的输出，并作为前馈神经网络的输入；
步骤3-5，编码器子层输出；
步骤3-6，进入解码器部分进行解码输出；
步骤3-7，输出预测结果；
步骤3-8，根据训练集中下一阶段的真实信息，计算预测与真值之间的损失；通过反向传播调整多变量时序自注意力机制模型的权重参数；再次进入训练；直至完成训练。
本发明步骤3-1中，采用位置编码的方法，解决航空器历史状态信息参数
Figure 517410DEST_PATH_IMAGE002
中元素顺序序列问题，包括：
偶数位置采用正弦编码
Figure 458690DEST_PATH_IMAGE022
，奇数位置采用余弦编码
Figure 398965DEST_PATH_IMAGE023
，具体方法如下：
Figure 610765DEST_PATH_IMAGE024
Figure 712714DEST_PATH_IMAGE025
其中，
Figure 141290DEST_PATH_IMAGE026
表示样本中元素的位置，
Figure DEST_PATH_IMAGE027
为位置向量的维度，
Figure 88517DEST_PATH_IMAGE028
表示样本中元素的维度，其中
Figure 154824DEST_PATH_IMAGE028
的范围为
Figure DEST_PATH_IMAGE029
的整数。
本发明步骤3-2中，多变量时序自注意力机制模型下的自注意力机制计算，包括：
编码器中，将时间序列
Figure 145783DEST_PATH_IMAGE011
作为向量进行输入并进入自注意力层，同时通过将向量中每个样本点积训练过程中创建的3个训练矩阵
Figure 546809DEST_PATH_IMAGE030
，为每个样本生成三个诠释向量，即查询向量
Figure 579618DEST_PATH_IMAGE031
、键向量
Figure 280858DEST_PATH_IMAGE032
、值向量
Figure 239455DEST_PATH_IMAGE033
；注意力机制实现具体步骤如下：
步骤3-2-1，获取诠释向量
Figure 393356DEST_PATH_IMAGE034
：
Figure 952558DEST_PATH_IMAGE035
步骤3-2-2，计算得分函数
Figure 508304DEST_PATH_IMAGE036
：
Figure 575486DEST_PATH_IMAGE037
Figure 951104DEST_PATH_IMAGE038
其中，
Figure 325716DEST_PATH_IMAGE039
分别表示为
Figure 470389DEST_PATH_IMAGE040
向量的投影；
步骤3-2-3，优化训练梯度
Figure DEST_PATH_IMAGE041
Figure 974052DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
表示梯度因子；
步骤3-2-4，利用指数归一化函数进行标准化，并将标准化后的值与向量
Figure 790960DEST_PATH_IMAGE033
进行点积运算，获取自注意力机制输出
Figure 218531DEST_PATH_IMAGE044
，计算式表示为:
Figure DEST_PATH_IMAGE045
。
本发明步骤3-3中，利用多头注意力机制进行并行运算，包括：
利用
Figure 935820DEST_PATH_IMAGE046
个不同线性变换对
Figure 908586DEST_PATH_IMAGE047
和
Figure 993217DEST_PATH_IMAGE033
进行投影，并将不同注意力机制下获取的结果进行拼接，获取输出值，其中，n为大于1的整数，其表达式如下：
Figure 473746DEST_PATH_IMAGE048
Figure 858591DEST_PATH_IMAGE049
其中，
Figure 2258DEST_PATH_IMAGE050
分别表示了在第
Figure 839764DEST_PATH_IMAGE028
个注意力机制下的训练矩阵，concat表示对每个Attention结果的拼接，
Figure 592825DEST_PATH_IMAGE051
表示第
Figure 832177DEST_PATH_IMAGE028
个注意力机制下的结果，其中，
Figure 661593DEST_PATH_IMAGE028
为大于1的整数。
步骤3-4，通过残差连接进行归一化处理，得出注意力层的输出
Figure 737127DEST_PATH_IMAGE052
，并作为前馈神经网络的输入，其表达式为：
Figure 44612DEST_PATH_IMAGE053
其中，
Figure 653316DEST_PATH_IMAGE054
表示输入向量，
Figure 653633DEST_PATH_IMAGE055
，
Figure 200152DEST_PATH_IMAGE056
表示权重向量，
Figure DEST_PATH_IMAGE057
，
Figure 999743DEST_PATH_IMAGE058
表示偏置量。
步骤3-5，编码器子层输出，编码器由两个子层组成，分别为：多头自注意力和前馈神经网络；每两个子层中使用一个残差连接进行归一化操作；每个子层的输出
Figure DEST_PATH_IMAGE059
用下式表示:
Figure 666217DEST_PATH_IMAGE060
其中，
Figure 322589DEST_PATH_IMAGE061
表示输入值，
Figure 356404DEST_PATH_IMAGE062
表示上一层线性变化并激活后的输出；
Figure 271270DEST_PATH_IMAGE063
为层归一化，可表示为：
Figure 854567DEST_PATH_IMAGE064
其中，
Figure 196687DEST_PATH_IMAGE065
表示上一层输出，
Figure 27170DEST_PATH_IMAGE009
表示增益，
Figure 480148DEST_PATH_IMAGE066
为均值;
Figure 652372DEST_PATH_IMAGE067
为方差;
Figure 899814DEST_PATH_IMAGE068
表示偏置；
Figure 658953DEST_PATH_IMAGE069
表示一个数量级为
Figure 915622DEST_PATH_IMAGE070
的小数，其目的是为了防止方差为0时分母为0；
步骤3-6，进入解码器部分进行解码输出；在解码器中，输入矩阵
Figure 693086DEST_PATH_IMAGE071
来自第
Figure 891855DEST_PATH_IMAGE021
个编码器的输出，输入矩阵
Figure 387558DEST_PATH_IMAGE031
来自被屏蔽的多头注意力的输出；解码器的个数与编码器个数相同，在经过
Figure 667492DEST_PATH_IMAGE046
个解码器后，解码器输出一个目标向量；
步骤3-7，输出预测结果；在输出部分将解码器输出目标向量输入一个线性层及softmax层后获得下一阶段的位置信息；
步骤3-8，根据训练集中下一阶段的真实信息，计算预测与真值之间的损失
Figure 830620DEST_PATH_IMAGE072
，通过反向传播调整模型权重参数，再次进入训练；其中，损失函数可采用均方误差MSE，即预测值与真实值之差的平方和的平均值：
Figure 669132DEST_PATH_IMAGE073
其中，
Figure 386552DEST_PATH_IMAGE065
与
Figure 470177DEST_PATH_IMAGE074
分别表示第
Figure 487812DEST_PATH_IMAGE028
个预测值与第
Figure 513536DEST_PATH_IMAGE028
个真实值。
有益效果：
1.模型网络由注意力机制组成，完全使用自注意力与前馈神经网络对样本进行“自我学习”以及“自我调整”，省去先验知识处理步骤，且多头注意力机制使得模型并行效率增加，并行能力高于RNN、LSTM等算法，对预测问题有很好的解决效果。
2.航空器飞行过程中飞行参数时刻发生变化，对此，构建每一时刻的航空器运动方程困难。本发明采用深度学习对长序列进行预测的原理，跳过航空器运动学建模过程，实现对未来航空器航迹的预测。本方案具有实际参考价值。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明整体流程示意图。
图2为数据集处理流程示意图。
图3为多变量时序自注意力机制模型结构示意图。
图4为多头注意力机制结构示意图。
图5为多变量时序自注意力机制模型的模型训练损失曲线图。
图6为多变量时序自注意力机制模型预测轨迹曲线图。
图7为多变量时序自注意力机制模型预测误差曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，展示了本发明的整体流程图，接下来依照各个模块功能，按步骤对本发明进行详细说明。
步骤1、获取待预测的航空器的滑行数据，并对其进行数据预处理，数据处理方法如图2所示；
所述航空器的滑行数据是指航空器滑行时的状态信息，包括：航空器所在的经度、纬度、高度、速度、航向角、获取信息之间的时间间隔等。
设航空器在t时刻获取的状态信息
Figure 233100DEST_PATH_IMAGE002
可以表达为：
Figure 369683DEST_PATH_IMAGE075
其中，
Figure 726977DEST_PATH_IMAGE004
表示
Figure 923603DEST_PATH_IMAGE005
时刻航空器的经度，
Figure 864883DEST_PATH_IMAGE006
表示
Figure 70737DEST_PATH_IMAGE005
时刻航空器的纬度，
Figure 797384DEST_PATH_IMAGE007
表示
Figure 650065DEST_PATH_IMAGE005
时刻航空器的高度，
Figure 94953DEST_PATH_IMAGE008
表示
Figure 822606DEST_PATH_IMAGE005
时刻航空器的飞行速度，
Figure 403760DEST_PATH_IMAGE009
表示
Figure 207768DEST_PATH_IMAGE005
时刻航空器的航向角，
Figure 359526DEST_PATH_IMAGE010
表示
Figure 907182DEST_PATH_IMAGE005
时刻获取到的状态信息与上一个时刻获取到数据的时间间隔；
则航空器T时间段内采集到的历史数据可由数据集
Figure 592110DEST_PATH_IMAGE011
表示：
Figure 301440DEST_PATH_IMAGE012
其中，
Figure 940494DEST_PATH_IMAGE013
表示航空器在T时间内，第一时刻获取到的状态信息；
Figure 26262DEST_PATH_IMAGE014
表示航空器在T时间内，第二时刻获取到的状态信息；
Figure 565696DEST_PATH_IMAGE015
为T时间，第T时刻获取到的状态信息。
为了消除不同特征参数量纲之间带来的误差，便于模型训练，对每个参数信息进行归一化处理，方法如下：
Figure 711507DEST_PATH_IMAGE076
所述上式中：
Figure 352704DEST_PATH_IMAGE017
为归一化后的特征参数的值，
Figure 715597DEST_PATH_IMAGE018
为特征向量，
Figure 125850DEST_PATH_IMAGE019
为特征向量的最小值，
Figure 426250DEST_PATH_IMAGE020
为特征向量最大值。
步骤2、收集多个样本数据，将处理好的数据集，输入多变量时序自注意力机制模型进行预训练，多变量时序自注意力机制模型如图3所示，其基本过程如下：
步骤2.1、位置编码，由于序列具有顺序结构，因此为解决航空器历史状态信息中元素顺序序列问题，偶数位置采用正弦编码，奇数位置采用余弦编码。具体公式如下：
Figure 289164DEST_PATH_IMAGE024
Figure 467466DEST_PATH_IMAGE025
其中：
Figure 997805DEST_PATH_IMAGE026
表示样本中元素的位置，
Figure 219839DEST_PATH_IMAGE027
为位置向量的维度，
Figure 819316DEST_PATH_IMAGE028
表示样本中元素的维度，其中
Figure 784998DEST_PATH_IMAGE028
的范围为
Figure 920576DEST_PATH_IMAGE029
的整数。
步骤2.2、多变量时序自注意力机制模型下的自注意力（Attention）机制计算；
输入端编码器将时间序列
Figure 313511DEST_PATH_IMAGE011
作为向量进行输入并进入模型中的自注意力层，同时通过将向量中每个样本点积训练过程中创建的3个训练矩阵
Figure DEST_PATH_IMAGE077
，为每个样本生成三个诠释向量，即查询向量
Figure 869126DEST_PATH_IMAGE078
、键向量
Figure 372920DEST_PATH_IMAGE079
、值向量。注意力机制实现具体步骤如下：
步骤2.2.1、获取诠释向量
Figure 363003DEST_PATH_IMAGE080
Figure 192419DEST_PATH_IMAGE035
步骤2.2.2、计算得分函数
Figure 500910DEST_PATH_IMAGE081
Figure 73973DEST_PATH_IMAGE082
其中，
Figure 433411DEST_PATH_IMAGE083
分别表示为
Figure 918881DEST_PATH_IMAGE047
向量的投影。
步骤2.2.3、优化训练梯度
Figure 730979DEST_PATH_IMAGE084
其中，
Figure 825843DEST_PATH_IMAGE043
表示梯度因子。
步骤2.2.4、利用指数归一化函数进行标准化，并将标准化后的值与向量
Figure 774207DEST_PATH_IMAGE033
进行点积运算，保证在保持对当前样本关注度不变的情况下，降低对不重要样本的关注度，获取自注意力机制输出，计算式表示为:
Figure 696158DEST_PATH_IMAGE085
步骤2.3、利用多头注意力机制进行并行运算；
如图4所示，利用
Figure 995552DEST_PATH_IMAGE046
个不同线性变换对
Figure 910419DEST_PATH_IMAGE080
进行投影，并将不同注意力机制下获取的结果通过线性层进行线性组合后进行拼接，获取输出值，其表达式如下：
Figure 962557DEST_PATH_IMAGE086
Figure 304677DEST_PATH_IMAGE087
其中，
Figure 576521DEST_PATH_IMAGE088
分别表示了在第
Figure 29499DEST_PATH_IMAGE028
个注意力机制下的训练矩阵，concat表示对每个Attention结果的拼接，
Figure 201723DEST_PATH_IMAGE051
表示第
Figure 714744DEST_PATH_IMAGE028
个注意力机制下的结果。
步骤2.4、通过残差连接进行归一化处理，得出注意力层的输出，并作为前馈神经网络的输入。其表达式为：
Figure 988730DEST_PATH_IMAGE089
其中，
Figure 464973DEST_PATH_IMAGE054
表示输入向量，
Figure 508016DEST_PATH_IMAGE055
，
Figure 175626DEST_PATH_IMAGE056
表示权重向量，
Figure 936909DEST_PATH_IMAGE057
，
Figure 494141DEST_PATH_IMAGE058
表示偏置量。
步骤2.5、子层输出，编码器一般由两个子层(sublayer)组成，分别为：多头自注意力和前馈神经网络。每两个子层中都会使用一个残差连接进行归一化操作。每个子层的输出可以用下式表示:
Figure 391689DEST_PATH_IMAGE090
其中，
Figure 495781DEST_PATH_IMAGE061
表示输入值，
Figure 213201DEST_PATH_IMAGE062
表示上一层线性变化并激活后的输出；
Figure 811672DEST_PATH_IMAGE091
为层归一化，可表示为：
Figure 314460DEST_PATH_IMAGE092
其中，
Figure 340185DEST_PATH_IMAGE009
表示增益，
Figure 59748DEST_PATH_IMAGE066
为均值;
Figure 196332DEST_PATH_IMAGE067
为方差;
Figure 819205DEST_PATH_IMAGE068
表示偏置;
Figure 750252DEST_PATH_IMAGE069
表示一个很小的小数，其目的是为了防止方差为0时分母为0，一般的，
Figure 691532DEST_PATH_IMAGE093
的小数数量级在
Figure 631806DEST_PATH_IMAGE070
；
步骤2.6、进入解码器部分进行解码输出。在解码器中，输入矩阵
Figure 358454DEST_PATH_IMAGE094
来自第
Figure 742293DEST_PATH_IMAGE021
个编码器的输出，输入矩阵
Figure DEST_PATH_IMAGE095
来自被屏蔽的多头注意力的输出。解码器的个数与编码器个数相同，在经过
Figure 374131DEST_PATH_IMAGE021
个解码器后，解码器会输出一个目标向量。
步骤2.7、输出预测结果。在输出部分将解码器输出目标向量输入一个线性层及softmax层后获得下一阶段的位置信息。
步骤2.8、根据训练集中下一阶段的真实信息，计算预测与真值之间的损失，通过反向传播调整模型权重参数，再次进入训练。其中损失函数可采用均方误差（MSE），即预测值与真实值之差的平方和的平均值：
Figure 586938DEST_PATH_IMAGE096
其中，
Figure 699250DEST_PATH_IMAGE065
与
Figure 722832DEST_PATH_IMAGE074
分别表示第
Figure 655016DEST_PATH_IMAGE028
个预测值与第
Figure 920781DEST_PATH_IMAGE028
个真实值。
步骤3、将测试集输入已训练好的模型中，预测下一阶段航空器的位置信息
Figure 622021DEST_PATH_IMAGE001
。
实施例：
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1展示了本发明实现算法的各模块整体流程图，接下来依照各个模块功能，按步骤对本发明进行详细说明。
步骤1、获取待预测的航空器的滑行数据，并对其进行数据预处理，数据处理方法如图2所示；
所述航空器的滑行数据是指航空器滑行时的状态信息，包括：航空器所在的经度、纬度、高度、速度、航向角、获取信息之间的时间间隔等。表1展示了本实例中使用的部分航空器状态信息数据。
Figure DEST_PATH_IMAGE097
其中，经纬度的单位为°；高度单位为英尺；飞行速度单位为马赫；航向角的单位为°。由表1可知，航空器每个状态信息的采集时间为0.01 s/次。将所需参数中高度与速度转换为国际单位，其公式如下：
Figure 550925DEST_PATH_IMAGE098
Figure 439247DEST_PATH_IMAGE099
上述式子中，
Figure 774282DEST_PATH_IMAGE100
，
Figure 64449DEST_PATH_IMAGE101
表示的是转换后的高度与速度，单位分别为：m，m/s；
Figure 960992DEST_PATH_IMAGE102
，
Figure 336610DEST_PATH_IMAGE033
表示的是表1中的高度与速度，其单位分别是英尺及马赫。
设航空器在t时刻获取的状态信息
Figure 960489DEST_PATH_IMAGE002
可以表达为：
Figure 885589DEST_PATH_IMAGE103
其中，
Figure 202300DEST_PATH_IMAGE004
表示
Figure 815947DEST_PATH_IMAGE005
时刻航空器的经度，
Figure 977938DEST_PATH_IMAGE006
表示
Figure 226385DEST_PATH_IMAGE005
时刻航空器的纬度，
Figure 713998DEST_PATH_IMAGE007
表示
Figure 803222DEST_PATH_IMAGE005
时刻航空器的高度，
Figure 34483DEST_PATH_IMAGE008
表示
Figure 419328DEST_PATH_IMAGE005
时刻航空器的飞行速度，
Figure 61531DEST_PATH_IMAGE009
表示
Figure 899037DEST_PATH_IMAGE005
时刻航空器的航向角，
Figure 153563DEST_PATH_IMAGE010
表示
Figure 658494DEST_PATH_IMAGE005
时刻获取到的状态信息与上一个时刻获取到数据的时间间隔；
则航空器T时间段内采集到的历史数据可由数据集
Figure 222330DEST_PATH_IMAGE011
表示：
Figure 61979DEST_PATH_IMAGE104
其中，
Figure 369464DEST_PATH_IMAGE013
表示航空器在T时间内，第一时刻获取到的状态信息；
Figure 948475DEST_PATH_IMAGE014
表示航空器在
Figure DEST_PATH_IMAGE105
时间内，第二时刻获取到的状态信息；
Figure 135743DEST_PATH_IMAGE015
为
Figure 947841DEST_PATH_IMAGE105
时间，第
Figure 324595DEST_PATH_IMAGE105
时刻获取到的状态信息。在本实施例中，
Figure 289272DEST_PATH_IMAGE105
取值为20，即：输入
Figure 194911DEST_PATH_IMAGE011
为：
Figure 477993DEST_PATH_IMAGE106
输出
Figure 127280DEST_PATH_IMAGE107
为：
Figure 946463DEST_PATH_IMAGE108
以此类推，直至数据预测完毕。
为了消除不同特征参数量纲之间带来的误差，便于模型训练，对每个参数信息进行归一化处理，方法如下：
Figure 23003DEST_PATH_IMAGE109
所述上式中：
Figure 75273DEST_PATH_IMAGE017
为归一化后的特征参数的值，
Figure 511940DEST_PATH_IMAGE018
为特征向量，
Figure 434896DEST_PATH_IMAGE019
为特征向量的最小值，
Figure 698650DEST_PATH_IMAGE110
为特征向量最大值，
Figure 707057DEST_PATH_IMAGE021
为扩大倍数，采用扩大倍数的主要原因是便于观察航空器轨迹的变化。在本实例中，
Figure 947414DEST_PATH_IMAGE021
取值为100。
步骤2、将处理好的数据集输入到多变量时序自注意力机制模型中进行预训练，多变量时序自注意力机制模型如图3所示，其基本过程如下：
在本实例中，将模型参数设置4个编码器、4个解码器。其中，每个编码器由两个子层组成，包括：自注意力层及前馈神经网络层，两个子层中使用一个残差连接进行归一化操作；解码器与编码器结构相似，并在自注意力层及前馈神经网络层之间添加了一个注意力层，用于关注输入的航空器样本状态信息。
步骤2.1、位置编码，由于序列具有顺序结构，因此为解决航空器历史状态信息中元素顺序序列问题，偶数位置采用正弦编码，奇数位置采用余弦编码。具体公式如下：
Figure 724877DEST_PATH_IMAGE111
Figure 159532DEST_PATH_IMAGE112
其中：
Figure 655235DEST_PATH_IMAGE026
表示样本中元素的位置，
Figure 715595DEST_PATH_IMAGE027
为位置向量的维度，
Figure 596832DEST_PATH_IMAGE028
表示样本中元素的维度。本实例中，由输入信息长度为20可知，
Figure 451656DEST_PATH_IMAGE026
的范围为：
Figure 185388DEST_PATH_IMAGE113
，
Figure 49439DEST_PATH_IMAGE027
设置为512，则
Figure 785182DEST_PATH_IMAGE028
的范围为
Figure 76486DEST_PATH_IMAGE114
的整数。
输入端航空器状态信息
Figure 281203DEST_PATH_IMAGE011
作为向量进行输入并进入模型中的自注意力层，同时通过将向量中每个样本点积训练过程中创建的3个训练矩阵
Figure 180237DEST_PATH_IMAGE077
，为每个样本生成三个诠释向量，即查询向量
Figure 786799DEST_PATH_IMAGE078
、键向量
Figure 498272DEST_PATH_IMAGE079
、值向量
Figure DEST_PATH_IMAGE115
。注意力机制实现具体步骤如下：
步骤2.2.1、获取诠释向量
Figure 144279DEST_PATH_IMAGE080
Figure 818974DEST_PATH_IMAGE035
步骤2.2.2、计算得分函数
Figure 545622DEST_PATH_IMAGE116
Figure 427996DEST_PATH_IMAGE117
其中，
Figure 341725DEST_PATH_IMAGE083
分别表示为
Figure 570844DEST_PATH_IMAGE047
向量的投影。
步骤2.2.3、优化训练梯度
Figure 683156DEST_PATH_IMAGE118
其中，
Figure 205273DEST_PATH_IMAGE043
别表示梯度因子。
步骤2.2.4、利用指数归一化函数进行标准化，并将标准化后的值与向量
Figure 871878DEST_PATH_IMAGE033
进行点积运算，保证在保持对当前样本关注度不变的情况下，降低对不重要样本的关注度，获取自注意力机制输出，计算式表示为:
Figure 639108DEST_PATH_IMAGE119
步骤2.3、利用多头注意力机制进行并行运算；
多头注意力机制结构图如图4所示，在本实例中，选取4个不同线性变换对
Figure 340348DEST_PATH_IMAGE080
进行投影，并将不同注意力机制下获取的结果进行拼接，获取输出值，其表达式如下：
Figure 784099DEST_PATH_IMAGE120
Figure 452846DEST_PATH_IMAGE121
其中，
Figure 538614DEST_PATH_IMAGE088
分别表示了在第
Figure 845092DEST_PATH_IMAGE028
个注意力机制下的训练矩阵（
Figure 397428DEST_PATH_IMAGE122
），concat表示对每个Attention结果的拼接，
Figure 38625DEST_PATH_IMAGE051
表示第
Figure 882078DEST_PATH_IMAGE028
个注意力机制下的结果。
步骤2.4、通过残差连接进行归一化处理，得出注意力层的输出，并作为前馈神经网络的输入。其表达式为：
Figure 557910DEST_PATH_IMAGE123
其中，
Figure 592731DEST_PATH_IMAGE054
表示输入向量，
Figure 455645DEST_PATH_IMAGE055
，
Figure 883215DEST_PATH_IMAGE124
表示权重向量，
Figure 164286DEST_PATH_IMAGE057
，
Figure 386320DEST_PATH_IMAGE058
表示偏置量。
步骤2.5、子层输出，编码器一般由两个子层(sublayer)组成，分别为：多头自注意力和前馈神经网络。每两个子层中都会使用一个残差连接进行归一化操作。每个子层的输出可以用下式表示:
Figure 251376DEST_PATH_IMAGE090
其中，
Figure 951479DEST_PATH_IMAGE061
表示输入值，
Figure 75338DEST_PATH_IMAGE062
表示上一层线性变化并激活后的输出；
Figure 468273DEST_PATH_IMAGE091
为层归一化，可表示为：
Figure 571358DEST_PATH_IMAGE125
其中，
Figure 589999DEST_PATH_IMAGE009
表示增益，
Figure 563771DEST_PATH_IMAGE066
为均值;
Figure 878340DEST_PATH_IMAGE067
为方差;
Figure 468721DEST_PATH_IMAGE068
表示偏置;
Figure 759894DEST_PATH_IMAGE069
表示一个很小的小数，本实例中
Figure 119331DEST_PATH_IMAGE093
取值为
Figure 119648DEST_PATH_IMAGE070
；
步骤2.6、进入解码器部分进行解码输出。在解码器中，输入矩阵
Figure 682479DEST_PATH_IMAGE094
来自第4个编码器的输出，输入矩阵
Figure 59234DEST_PATH_IMAGE095
来自被屏蔽的多头注意力的输出。解码器的个数与编码器个数相同，在经过4个解码器后，解码器会输出一个目标向量。
步骤2.7、输出预测结果。在输出部分将解码器输出目标向量输入一个线性层及softmax层后获得下一阶段的位置信息。
步骤2.8、根据训练集中下一阶段的真实信息，计算预测与真值之间的损失，通过反向传播调整模型权重参数，再次进入训练。其中损失函数可采用均方误差（MSE），即预测值与真实值之差的平方和的平均值：
Figure 256866DEST_PATH_IMAGE126
其中，
Figure 162505DEST_PATH_IMAGE065
与
Figure 415894DEST_PATH_IMAGE074
分别表示第
Figure 65181DEST_PATH_IMAGE028
个预测值与第
Figure 382899DEST_PATH_IMAGE028
个真实值。当输出的
Figure 725018DEST_PATH_IMAGE127
函数值趋于一个稳定的小数时，模型达到收敛，模型训练完毕。如图5所示，为本实例训练过程中该模型损失函数的损失值曲线。其中，x轴表示该模型所用的训练集所训练的次数，y轴对应的是每次训练后的均方损失误差。由图5可知，训练集在3000轮后，损失值不再下降，趋于稳定。此时，模型训练完毕。
步骤3、将测试集输入已训练好的模型中，预测下一阶段航空器的位置信息
Figure 996862DEST_PATH_IMAGE128
。如图6所示，为该实例中航空器实际轨迹与预测轨迹结果。图6所展示的三维坐标系分别对应了飞行器的经度、纬度、高度坐标。其中，由星号所构成的航空器历史轨迹为航空器的实际位置轨迹，由圆点所构成的航空器轨迹为航空器的预测轨迹，即模型输出的轨迹序列。
如图7所示，为航空器预测位置与实际位置之间的误差曲线。其中，x轴表示对应航空器位置点的顺序，y轴对应了每个预测位置与实际位置的均方误差。在本次实例预测结果中，每个位置的均方误差最大不超过1。
具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于多头注意力机制的机场场面航迹预测方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，ROM）或随机存储记忆体（random access memory，RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备（可以是个人计算机，服务器，单片机。MUU或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种基于多头注意力机制的机场场面航迹预测方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，包括以下步骤：
步骤1，获取航空器飞行过程中的状态信息参数，包括：地理位置信息即经纬度、飞行高度、速度信息、航向角信息以及时间信息；对状态信息参数进行预处理；
步骤2，使用预处理过的状态信息参数构建时间序列的训练集、验证集和测试集，分别用于训练多变量时序自注意力机制模型、验证训练结果以及对训练好的模型进行测试；
步骤3，将训练集和验证集输入多变量时序自注意力机制模型中进行训练；通过多头注意力机制并行计算，减少训练时间并优化深度学习中长序列预测中的梯度消失及梯度爆炸问题；
步骤4，将训练好的多变量时序自注意力机制模型用于下一时刻航空器的位置预测，输入测试集获得下一阶段航空器的位置信息
Figure 762520DEST_PATH_IMAGE001
。
2.根据权利要求1所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤1中所述状态信息参数，指航空器飞行时的数字信息，包括：航空器所在的经度、纬度、高度、速度、航向角以及获取信息之间的时间间隔；
设航空器在t时刻获取的状态信息参数
Figure 678393DEST_PATH_IMAGE002
表达为：
Figure 694890DEST_PATH_IMAGE003
其中，
Figure 881283DEST_PATH_IMAGE004
表示
Figure 590613DEST_PATH_IMAGE005
时刻航空器的经度，
Figure 728202DEST_PATH_IMAGE006
表示
Figure 548391DEST_PATH_IMAGE005
时刻航空器的纬度，
Figure 635296DEST_PATH_IMAGE007
表示
Figure 266259DEST_PATH_IMAGE005
时刻航空器的高度，
Figure 641877DEST_PATH_IMAGE008
表示
Figure 983865DEST_PATH_IMAGE005
时刻航空器的飞行速度，
Figure 190856DEST_PATH_IMAGE009
表示
Figure 195983DEST_PATH_IMAGE005
时刻航空器的航向角，
Figure 855635DEST_PATH_IMAGE010
表示
Figure 470156DEST_PATH_IMAGE005
时刻获取到的状态信息与上一个时刻获取到数据的时间间隔；
则航空器在T时间段内采集到的历史数据由数据集
Figure 266073DEST_PATH_IMAGE011
表示：
Figure 238840DEST_PATH_IMAGE012
其中，
Figure 589050DEST_PATH_IMAGE013
表示航空器在T时间内，第一时刻获取到的状态信息；
Figure 803999DEST_PATH_IMAGE014
表示航空器在T时间内，第二时刻获取到的状态信息；
Figure 657686DEST_PATH_IMAGE015
为T时间，第T时刻获取到的状态信息。
3.根据权利要求2所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤1中所述对状态信息参数进行预处理，方法包括：
对每个状态信息参数进行归一化处理，方法如下：
Figure 535774DEST_PATH_IMAGE016
其中，
Figure 373280DEST_PATH_IMAGE017
为归一化后的特征参数的值，
Figure 391921DEST_PATH_IMAGE018
为特征向量，
Figure 631272DEST_PATH_IMAGE019
为特征向量的最小值，
Figure 691980DEST_PATH_IMAGE020
为特征向量最大值。
4.根据权利要求3所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3中所述的多变量时序自注意力机制模型，包括：
Figure 16783DEST_PATH_IMAGE021
个编码器、
Figure 573535DEST_PATH_IMAGE021
个解码器，以及连接编码器与解码器的连接层，其中，N为大于等于1的整数，每个编码器由两个子层组成，包括：自注意力层及前馈神经网络层，两个子层中使用一个残差连接进行归一化操作；解码器与编码器结构相似，并在自注意力层及前馈神经网络层之间添加了一个注意力层，用于关注输入的航空器样本状态信息。
5.根据权利要求4所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3中所述多变量时序自注意力机制模型，具体建模过程包括：
步骤3-1，采用位置编码的方法，解决航空器的状态信息参数
Figure 401813DEST_PATH_IMAGE002
中元素顺序序列问题；
步骤3-2，多变量时序自注意力机制模型下的自注意力机制计算；
步骤3-3，利用多头注意力机制进行并行运算；
步骤3-4，通过残差连接进行归一化处理，得出注意力层的输出，并作为前馈神经网络的输入；
步骤3-5，编码器子层输出；
步骤3-6，进入解码器部分进行解码输出；
步骤3-7，输出预测结果；
步骤3-8，根据训练集中下一阶段的真实信息，计算预测与真值之间的损失；通过反向传播调整多变量时序自注意力机制模型的权重参数；再次进入训练；直至完成训练。
6.根据权利要求5所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3-1中，采用位置编码的方法，解决航空器历史状态信息中元素顺序序列问题，包括：
偶数位置采用正弦编码
Figure 887284DEST_PATH_IMAGE022
，奇数位置采用余弦编码
Figure 433803DEST_PATH_IMAGE023
，具体方法如下：
Figure 794246DEST_PATH_IMAGE024
Figure 477031DEST_PATH_IMAGE025
其中，
Figure 133402DEST_PATH_IMAGE026
表示样本中元素的位置，
Figure 167218DEST_PATH_IMAGE027
为位置向量的维度，
Figure 65772DEST_PATH_IMAGE028
表示样本中元素的维度，其中
Figure 868643DEST_PATH_IMAGE028
的范围为
Figure 741921DEST_PATH_IMAGE029
的整数。
7.根据权利要求6所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3-2中，多变量时序自注意力机制模型下的自注意力机制计算，包括：
编码器中，将时间序列
Figure 748186DEST_PATH_IMAGE011
作为向量进行输入并进入自注意力层，同时通过将向量中每个样本点积训练过程中创建的3个训练矩阵
Figure 732322DEST_PATH_IMAGE030
，为每个样本生成三个诠释向量，即查询向量
Figure 904546DEST_PATH_IMAGE031
、键向量
Figure 886409DEST_PATH_IMAGE032
、值向量
Figure 691554DEST_PATH_IMAGE033
；注意力机制实现具体步骤如下：
步骤3-2-1，获取诠释向量
Figure 167797DEST_PATH_IMAGE034
：
Figure 945260DEST_PATH_IMAGE035
步骤3-2-2，计算得分函数
Figure 409608DEST_PATH_IMAGE036
：
Figure 639732DEST_PATH_IMAGE037
Figure 185246DEST_PATH_IMAGE038
其中，
Figure 551636DEST_PATH_IMAGE039
分别表示为
Figure 937618DEST_PATH_IMAGE040
向量的投影；
步骤3-2-3，优化训练梯度
Figure 169885DEST_PATH_IMAGE041
Figure 237198DEST_PATH_IMAGE042
其中，
Figure 474407DEST_PATH_IMAGE043
表示梯度因子；
步骤3-2-4，利用指数归一化函数进行标准化，并将标准化后的值与向量
Figure 296869DEST_PATH_IMAGE033
进行点积运算，获取自注意力机制输出
Figure 485274DEST_PATH_IMAGE044
，计算式表示为:
Figure 621857DEST_PATH_IMAGE045
。
8.根据权利要求7所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3-3中，利用多头注意力机制进行并行运算，包括：
利用
Figure 759577DEST_PATH_IMAGE046
个不同线性变换对
Figure 706936DEST_PATH_IMAGE047
和
Figure 133369DEST_PATH_IMAGE033
进行投影，并将不同注意力机制下获取的结果进行拼接，获取输出值，其中，n为大于1的整数，其表达式如下：
Figure 57332DEST_PATH_IMAGE048
Figure 315138DEST_PATH_IMAGE049
其中，
Figure 156100DEST_PATH_IMAGE050
分别表示了在第
Figure 69829DEST_PATH_IMAGE028
个注意力机制下的训练矩阵，concat表示对每个Attention结果的拼接，
Figure 344953DEST_PATH_IMAGE051
表示第
Figure 909795DEST_PATH_IMAGE028
个注意力机制下的结果，其中，
Figure 182644DEST_PATH_IMAGE028
为大于1的整数。
9.根据权利要求8所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3-4，通过残差连接进行归一化处理，得出注意力层的输出
Figure 396719DEST_PATH_IMAGE052
，并作为前馈神经网络的输入，其表达式为：
Figure 147638DEST_PATH_IMAGE053
其中，
Figure 832566DEST_PATH_IMAGE054
表示输入向量，
Figure 276317DEST_PATH_IMAGE055
，
Figure 226955DEST_PATH_IMAGE056
表示权重向量，
Figure 797876DEST_PATH_IMAGE057
，
Figure 88043DEST_PATH_IMAGE058
表示偏置量。
10.根据权利要求9所述的一种基于多头注意力机制的机场场面航迹预测方法，其特征在于，步骤3-5，编码器子层输出，编码器由两个子层组成，分别为：多头自注意力和前馈神经网络；每两个子层中使用一个残差连接进行归一化操作；每个子层的输出
Figure 951963DEST_PATH_IMAGE059
用下式表示:
Figure 124318DEST_PATH_IMAGE060
其中，
Figure 233351DEST_PATH_IMAGE061
表示输入值，
Figure 378024DEST_PATH_IMAGE062
表示上一层线性变化并激活后的输出；
Figure 412845DEST_PATH_IMAGE063
为层归一化，可表示为：
Figure 275759DEST_PATH_IMAGE064
其中，
Figure 188482DEST_PATH_IMAGE065
表示上一层输出，
Figure 453242DEST_PATH_IMAGE009
表示增益，
Figure 472013DEST_PATH_IMAGE066
为均值;
Figure 805911DEST_PATH_IMAGE067
为方差;
Figure 302752DEST_PATH_IMAGE068
表示偏置；
Figure 172750DEST_PATH_IMAGE069
表示一个数量级为
Figure 300106DEST_PATH_IMAGE070
的小数；
步骤3-6，进入解码器部分进行解码输出；在解码器中，输入矩阵
Figure 386880DEST_PATH_IMAGE071
来自第
Figure 687411DEST_PATH_IMAGE021
个编码器的输出，输入矩阵
Figure 395604DEST_PATH_IMAGE031
来自被屏蔽的多头注意力的输出；解码器的个数与编码器个数相同，在经过
Figure 506910DEST_PATH_IMAGE021
个解码器后，解码器输出一个目标向量；
步骤3-7，输出预测结果；在输出部分将解码器输出目标向量输入一个线性层及softmax层后获得下一阶段的位置信息；
步骤3-8，根据训练集中下一阶段的真实信息，计算预测与真值之间的损失
Figure 566133DEST_PATH_IMAGE072
，通过反向传播调整模型权重参数，再次进入训练；其中，损失函数可采用均方误差MSE，即预测值与真实值之差的平方和的平均值：
Figure 857306DEST_PATH_IMAGE073
其中，
Figure 747902DEST_PATH_IMAGE065
与
Figure 217060DEST_PATH_IMAGE074
分别表示第
Figure 311050DEST_PATH_IMAGE028
个预测值与第
Figure 156646DEST_PATH_IMAGE028
个真实值。
CN202210777482.6A 2022-07-04 2022-07-04 一种基于多头注意力机制的机场场面航迹预测方法 Pending CN114842681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210777482.6A CN114842681A (zh) 2022-07-04 2022-07-04 一种基于多头注意力机制的机场场面航迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210777482.6A CN114842681A (zh) 2022-07-04 2022-07-04 一种基于多头注意力机制的机场场面航迹预测方法

Publications (1)

Publication Number Publication Date
CN114842681A true CN114842681A (zh) 2022-08-02

Family

ID=82574027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210777482.6A Pending CN114842681A (zh) 2022-07-04 2022-07-04 一种基于多头注意力机制的机场场面航迹预测方法

Country Status (1)

Country Link
CN (1) CN114842681A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502777A (zh) * 2023-06-28 2023-07-28 四川大学 一种基于Transformer的四维航迹长时预测方法及其装置
CN116743286A (zh) * 2023-06-12 2023-09-12 广东技术师范大学 基于自注意力机制的无线信号接收强度预测方法及装置
CN117034755A (zh) * 2023-08-07 2023-11-10 兰州理工大学 一种融合多头注意力机制的冷轧钢力学性能预测方法
CN117114207A (zh) * 2023-10-23 2023-11-24 山东科技大学 一种海上人员漂移轨迹预测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508812A (zh) * 2018-10-09 2019-03-22 南京航空航天大学 一种基于深度记忆网络的航空器航迹预测方法
CN110930770A (zh) * 2019-11-06 2020-03-27 南京莱斯信息技术股份有限公司 一种基于管制意图和飞机性能模型的四维航迹预测方法
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
CN112397139A (zh) * 2020-11-13 2021-02-23 中山大学 一种通过序列预测抗体上结合位点的深度学习方法
CN112508085A (zh) * 2020-12-05 2021-03-16 西安电子科技大学 基于感知神经网络的社交网络链路预测方法
CN113158687A (zh) * 2021-04-29 2021-07-23 新声科技(深圳)有限公司 语义的消歧方法及装置、存储介质、电子装置
CN113505444A (zh) * 2021-09-09 2021-10-15 中国电子科技集团公司第二十八研究所 基于自注意力的多维度轨迹预测方法、装置
CN113537240A (zh) * 2021-07-09 2021-10-22 北方工业大学 一种基于雷达序列图像的形变区智能提取方法及系统
CN114117259A (zh) * 2021-11-30 2022-03-01 重庆七腾科技有限公司 一种基于双重注意力机制的轨迹预测方法及装置
CN114168845A (zh) * 2021-11-24 2022-03-11 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114219021A (zh) * 2021-12-06 2022-03-22 中国电子科技集团公司第十五研究所 基于卷积自注意力机制的航迹时间序列分类算法
CN114239935A (zh) * 2021-12-06 2022-03-25 中国电子科技集团公司第十五研究所 一种针对非均匀轨迹序列的预测方法
CN114639138A (zh) * 2022-02-17 2022-06-17 浙江大学 基于生成对抗网络的新生儿疼痛表情识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508812A (zh) * 2018-10-09 2019-03-22 南京航空航天大学 一种基于深度记忆网络的航空器航迹预测方法
CN110930770A (zh) * 2019-11-06 2020-03-27 南京莱斯信息技术股份有限公司 一种基于管制意图和飞机性能模型的四维航迹预测方法
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
CN112397139A (zh) * 2020-11-13 2021-02-23 中山大学 一种通过序列预测抗体上结合位点的深度学习方法
CN112508085A (zh) * 2020-12-05 2021-03-16 西安电子科技大学 基于感知神经网络的社交网络链路预测方法
CN113158687A (zh) * 2021-04-29 2021-07-23 新声科技(深圳)有限公司 语义的消歧方法及装置、存储介质、电子装置
CN113537240A (zh) * 2021-07-09 2021-10-22 北方工业大学 一种基于雷达序列图像的形变区智能提取方法及系统
CN113505444A (zh) * 2021-09-09 2021-10-15 中国电子科技集团公司第二十八研究所 基于自注意力的多维度轨迹预测方法、装置
CN114168845A (zh) * 2021-11-24 2022-03-11 电子科技大学 一种基于多任务学习的序列化推荐方法
CN114117259A (zh) * 2021-11-30 2022-03-01 重庆七腾科技有限公司 一种基于双重注意力机制的轨迹预测方法及装置
CN114219021A (zh) * 2021-12-06 2022-03-22 中国电子科技集团公司第十五研究所 基于卷积自注意力机制的航迹时间序列分类算法
CN114239935A (zh) * 2021-12-06 2022-03-25 中国电子科技集团公司第十五研究所 一种针对非均匀轨迹序列的预测方法
CN114639138A (zh) * 2022-02-17 2022-06-17 浙江大学 基于生成对抗网络的新生儿疼痛表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘瑜岚: "基于深度学习的目标航迹识别和预测研究", 《中国优秀博硕士学位论文全文数据库(硕士)社会科学Ⅰ辑》 *
徐瑞龙: "船舶航迹跟踪预测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
徐瑞龙等: "基于Transformer模型和Kalman滤波预测船舶航迹", 《计算机应用与软件》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116743286A (zh) * 2023-06-12 2023-09-12 广东技术师范大学 基于自注意力机制的无线信号接收强度预测方法及装置
CN116743286B (zh) * 2023-06-12 2024-01-30 广东技术师范大学 基于自注意力机制的无线信号接收强度预测方法及装置
CN116502777A (zh) * 2023-06-28 2023-07-28 四川大学 一种基于Transformer的四维航迹长时预测方法及其装置
CN116502777B (zh) * 2023-06-28 2023-09-19 四川大学 一种基于Transformer的四维航迹长时预测方法及其装置
CN117034755A (zh) * 2023-08-07 2023-11-10 兰州理工大学 一种融合多头注意力机制的冷轧钢力学性能预测方法
CN117114207A (zh) * 2023-10-23 2023-11-24 山东科技大学 一种海上人员漂移轨迹预测方法
CN117114207B (zh) * 2023-10-23 2024-02-06 山东科技大学 一种海上人员漂移轨迹预测方法

Similar Documents

Publication Publication Date Title
CN114842681A (zh) 一种基于多头注意力机制的机场场面航迹预测方法
Julian et al. Deep neural network compression for aircraft collision avoidance systems
Zeng et al. A deep learning approach for aircraft trajectory prediction in terminal airspace
CN114048889B (zh) 基于长短期记忆网络的飞行器轨迹预测的方法
CN110189304B (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN111695299B (zh) 一种中尺度涡轨迹预测方法
CN108764560A (zh) 基于长短期记忆神经网络的航空器场面轨迹预测方法
CN108805350B (zh) 基于多维蒙特卡洛理论的搜救范围预测方法
Pang et al. Bayesian spatio-temporal graph transformer network (b-star) for multi-aircraft trajectory prediction
CN112651437B (zh) 一种基于深度学习的空间非合作目标位姿估计方法
CN116229295A (zh) 基于融合卷积注意力机制的遥感图像目标检测方法
CN111310965A (zh) 一种基于lstm网络的飞行器航迹预测方法
CN112859898B (zh) 一种基于双通道双向神经网络的飞行器轨迹预测方法
CN112862171B (zh) 一种基于时空神经网络的航班到达时间预测方法
Pang et al. Probabilistic aircraft trajectory prediction considering weather uncertainties using dropout as Bayesian approximate variational inference
CN114152257A (zh) 基于注意力机制和环境感知lstm的船舶预测导航方法
CN112465199A (zh) 空域态势评估系统
Liu et al. Online multiple outputs least-squares support vector regression model of ship trajectory prediction based on automatic information system data and selection mechanism
CN112327903A (zh) 一种基于深度混合密度网络的航空器轨迹生成方法
CN116502777B (zh) 一种基于Transformer的四维航迹长时预测方法及其装置
Kovarik et al. Comparative analysis of machine learning and statistical methods for aircraft phase of flight prediction
CN113076686A (zh) 一种基于社会长短期记忆网络的航空器轨迹预测方法
CN116543603A (zh) 一种考虑空域态势和局部优化的航迹补全预测方法及装置
Ruppel et al. Transformers for object detection in large point clouds
CN113221450A (zh) 一种针对稀疏不均匀时序数据的航位预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220802

RJ01 Rejection of invention patent application after publication