CN113486938A

CN113486938A - 基于多分支时间卷积网络的重着陆的分析方法和装置

Info

Publication number: CN113486938A
Application number: CN202110720131.7A
Authority: CN
Inventors: 郑林江; 尚家兴; 李旭; 陈逢文; 王启星; 陈红年; 张锐祥
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2021-06-28
Filing date: 2021-06-28
Publication date: 2021-10-08
Anticipated expiration: 2041-06-28
Also published as: CN113486938B

Abstract

本申请提出了一种基于多分支时间卷积网络的重着陆的分析方法，该方法包括：获取原始参数数据和动态时间点；使用改进后的时间卷积网络对原始参数数据进行卷积操作生成每个参数的特征图；对特征图进行特征提取生成整体特征表示；使用整体特征表示对预设类别进行学习得到预设类别的参数层面以及每个参数的特征图所占的权重；根据参数层面以及每个参数的特征图所占的权重对整体特征表示中的特征图进行线性组合，得到最终的类激活映射图，根据类激活映射图对飞机重着陆进行分析。本发明为航空领域的安全事故或超限事件提供了新思路，为时间序列分类问题的可解释性工作提供了参考，还为飞行安全提供了技术借鉴，具有较好的理论和应用价值。

Description

基于多分支时间卷积网络的重着陆的分析方法和装置

技术领域

本申请涉及重着陆技术领域，尤其涉及一种基于多分支时间卷积网络的重着陆的分析方法和装置。

背景技术

飞行安全是民航业关注的核心问题。根据波音公司1959-2019年商用飞机事故的统计数据显示，在所有飞行阶段中，渐进和着陆阶段是最危险且易发生重大安全事故的阶段。如图2所示，着陆阶段的飞行时间只占整个飞行过程的1％，但事故发生率在这一阶段高达 24％。因此，保障着陆阶段的飞行安全尤为重要。针对着陆阶段的安全问题，大多数研究主要集中在发生率较高的超限事件上，如冲出跑道、重着陆、擦机尾等等；同时，还有部分工作研究飞行员操作对超限事件的影响。其中，重着陆(Hard Landing)作为一类发生频繁的超限事件，是指当飞机着陆的瞬间(一般用Touchdown表示)，起落架与地面产生的最大垂直载荷(垂直加速度)超过规定限度的事件。重着陆不仅会给乘客带来不好的飞行体验，同时可能造成飞机机体受损，增加严重安全事故的几率，给航空公司造成巨大的经济损失，甚至会严重威胁到旅客的生命安全。因此，研究重着陆事件具有重要的意义和价值。

快速存取记录仪(Quick Access Recorder,QAR)作为一种飞行数据记录装置，现已广泛安装于国内的各型商用客机，它实时记录了整个飞行阶段的飞机状态、飞行员操作以及环境因素等多项参数。QAR数据是一种典型的多参数高维度的时间序列数据，被广泛应用于飞机安全状态监测、飞行品质监控、事故调查等。目前，民航公司的航班每天产生大量QAR数据，并且一直呈快速增长的态势，与此同时，超限事件或安全事故也相应地快速增长。但是，专家对超限事件或安全事故原因的分析和解释仍然是根据经验手工处理和分析每个案例，这样的方式存在效率低下且缺乏客观数据支撑的缺点。随着飞行数据的快速增长，仅国内每天就会产生上万个航段的数据，手工分析将会大大增加飞行专家的工作量，不仅不能及时找出超限事件或安全事故的原因，且难以在海量数据中发现潜在的超限事件或安全事故的风险隐患。因此，如何利用先进的大数据、人工智能技术，提高飞行数据的分析处理能力，从而提升民航安全管理水平，是民航业的重点关注对象。此外，可解释性对安全事故或者超限事件的研究至关重要，航空公司和管理职能部门不仅关心是否会发生不安全事件，更关心为什么会发生，从而为飞行员培训、管理制度完善提供指引。可解释性的相关研究已经被广泛地应用在很多领域，如医疗、金融、灾害预测等等。因此，基于飞行数据的可解释性研究对于提高民航安全水平具有深远的意义。

QAR数据是典型的动态时序数据，由于QAR数据具有多个参数且每个参数采样频率不一样的特点，针对这样的多尺度时间序列数据，

当前重着陆的研究大致可以分为两类：基于管理学和心理学的重着陆研究和数据驱动的重着陆研究，

基于管理学和心理学从事重着陆研究的人员一般是飞行专家，他们对民航飞行有着深刻的理解，主要从心理学和管理学的角度分析重着陆的产生原因以及防止措施。石淼等将重着陆成因分成三大类，分别为天气原因、飞行员操作技术原因以及其他原因。李嘉华则将重着陆成因归纳为非稳定进近、飞行操纵不当以及环境或特殊天气条件下引起的误判，针对上述重着陆成因，提供了如何避免重着陆的措施以及心理层面的建议。

数据驱动的重着陆研究主要基于QAR数据，与基于管理学和心理学的研究相比，数据驱动的研究以真实数据为依据，结果往往更加客观，并能帮助飞行专家从数据中发现一些新的有用信息和知识。因此，基于QAR数据的研究近年来受到越来越多学者的重视。汪磊等人假设QAR数据的参数在着陆阶段服从正态分布，提出了重着陆风险定量评估模型，并将重着陆的风险定义为重着陆发生的概率与发生重着陆严重性的乘积，基于该风险值将重着陆划分为无重着陆、轻微、低、中、高五个等级。之后，汪磊等人又进一步完善了风险模型，同时将重着陆、冲出跑道以及擦机尾三类事件综合考虑。除此之外，基于方差分析和回归分析的方法分析了不同因素对重着陆的影响，并研究了长着陆、擦机尾以及飞行操作。除了上述统计和风险分析方法，支持向量机、神经网络等机器学习方法也被尝试用来解决重着陆问题。Hu等人采用支持向量机对重着陆进行预测，最终的预测准确率为 0.7-0.74；而Qiao等人利用RBF神经网络预测重着陆，用K-means聚类算法调整和优化 RBF神经网络的结果以提高预测准确率，该模型最终的准确率大概在0.7左右。童超等人利用QAR的时序特点提出了基于长短期记忆网络(LSTM)的重着陆预测框架，其预测准确性有了一定的提升；他们还用LSTM预测了飞机着陆速度。Lu和Zhu探索了一个用于重着陆预测的自回归预训练框架，自动提取有用的特征来表征着陆过程，最终微调预训练的ALM 模型以预测重着陆。

除此之外，Wang等人尝试利用马尔可夫链来预测和提前预警着陆安全事件。Li等人从数据挖掘的视角研究飞行安全，作者假设正常航段的QAR参数表现出相似的模式，而异常航段的QAR数据模式则不同，利用聚类和异常检测从QAR数据中找出飞行参数的异常曲线模式。他们对模型进行改进，使其能够发现异常的航段，并且还能找到航段中具体哪一飞行阶段发生异常。Janakiraman尝试使用深度时间多实例学习来解释航空安全事件，并以速度超限(High Speed Exceedance)事件为例进行解释。

目前，关于可解释性还没有统一的定义，从不同的侧面，对可解释性的理解往往不一样。一般来说，可解释性大致可从数据、机器学习模型以及领域相关的角度去理解，也就是说，利用可解释的模型进行数据分析，为领域专家或者大众提供易于理解的解释并且做出可预测的决策。就机器学习模型而言，目前的研究主要集中在interpretable机器学习(interpretable ML)和explainable机器学习(explainable ML)。其中，interpretable 机器学习模型本身对用户是透明的、可理解的并且可被解读；而explainable机器学习模型不具备interpretable机器学习模型这样的特征，需要借助外部简单且可解释的模型来为模型提供可解释性。在explainable机器学习的研究中，局部可解释性与模型无关解释(LIME)、决策树(ANN-DT)以及规则提取(DeepRED)是利用可解释且易于理解的方法或者模型来解释黑盒模型。然而，Rudin提倡在做高风险决策时使用可解释(interpretable) 的模型，他们概述了避免使用黑盒模型的关键原因，并提供了几个可解释模型应用的案例。KmeansNet结合经典的K-means和可微编程的方法，增强聚类算法的可解释性。

最近，注意力机制被广泛使用在各个领域，不仅可以提升模型的预测准确率，还可以增强模型的可解释性。可解释的多变量LSTM(IMV-LSTM)模型通过引入注意力机制提升LSTM 的可解释性。Wang等人基于卷积神经网络(CNN)和注意力机制提出序列特征提取器(CASFE)，以学习不同时间区间的潜在特征，其中，注意力机制的利用提升了卷积神经网络的可解释性。然而，针对注意力机制是否能提供解释的问题，Jain和Wallace针对各种自然语言处理任务进行了广泛的实验，旨在评估注意力权重为预测提供有意义的“解释”的程度，并发现标准的注意力模块不能提供有意义的解释。但是，Wiegreffe和Pinter对这一结论提出了质疑，并提出替代测试以确定何时/是否可以利用注意力机制提供解释。随后，Tutek 和

对注意力机制的可解释性进行了补充说明，证明在递归模型中，注意力机制可以提供可靠的解释。

除此之外，可视化手段是提供可解释的一种有效且易于理解的方法。在图像处理中，可视化高层卷积层的表示是对抽象特征提供解释的常用方法，比如SHAP、类激活映射(CAM)、基于梯度的类激活映射(GradCAM)和TCAV等等。可解释性研究近年来关注度不断提高，在KDD、ICDE、CIKM等数据挖掘领域顶级国际会议上都开设了相关的专题。就重着陆问题来说，目前还缺少相关的可解释性研究，因此该研究方向存在很大的探索空间。

QAR数据是一种典型的时间序列数据，因此重着陆问题可以被抽象为时间序列分类(TSC) 问题。近年来，卷积神经网络(CNN)和循环神经网络(RNN)被广泛应用在时间序列分类问题上。由于时间序列数据高维、量大和持续更新的特性，时间序列分类仍然是一个具有挑战性的方向。Zhao等人利用CNN发现并提取合适的内部结构以产生时间序列的深层特征。为了降低计算复杂度以支持模型在较大的时间序列数据集上进行分类，Dempster等人在 CNN的基础上，使用随机卷积核的简单线性分类器实现较高的准确性。Pelletier等人提出了时间卷积神经网络(TempCNN)的方法，它在时间维度上使用卷积以自动学习时间(和频谱)特征。作者将时间序列数据映射到类似图像的矩阵中，然后使用卷积神经网络训练模型。除此之外，SOCNN是一种多元异步时间序列回归的深层卷积网络体系结构，结合了自回归模型以及循环神经网络中的门控机制，通过卷积神经网络学习自回归中的权重进行预测。多尺度卷积神经网络(MCNN)利用多分支的卷积网络自动提取不同尺度和频率的特征，得到较好的特征表示提升时间序列分类准确率。

传统的RNN在学习时间序列数据的依存关系非常有效，但存在梯度消失的问题。而LSTM 解决了梯度消失的问题，并且可以学习到短期以及长期的历史信息。Karim等人使用LSTM 以及全卷积网络(FCN)有效地提取时间信息，并且两者处在并行的分支通道上提取特征，最终合并两个子通道上学习到的特征表示进行预测，提升了LSTM-FCN模型的性能；同时还探索了注意力机制在LSTM-FCN中的使用(ALSTM-FCN)，改善了时间序列分类的结果。之后，他们深入探究了LSTM-FCN和ALSTM-FCN的每个子模块来解释为什么LSTM-FCN和ALSTM-FCN 可以得到不错的分类结果。更进一步，他们还提出了MLSTM-FCN模型以适应多变量时间序列数据的分类，在模型的FCN模块中，增加了Squeeze-and-Excitation模块以提升分类的准确率。除了LSTM，时间卷积网络(TCN)和门控循环神经网络(GRU)也被应用在TSC上提升分类性能。

近年来，随着大数据、人工智能技术的快速发展，QAR数据的分析与利用受到越来越多的重视，相关工作取得了一定的进展。其中，针对重着陆问题，以QAR数据为驱动的相关研究主要包括方差分析(ANOVA)法、基于风险模型构建的方法、以及基于机器学习的方法。但是，这些研究普遍存在以下问题：

QAR数据带来的挑战。首先，QAR数据是航空公司的核心数据，涉及飞行员的隐私，大多数公司不会对外共享，使得大数据、人工智能相关的专业人员很难获取数据进行深入分析，因此相关研究在方法论层面还不够深入。其次，QAR数据参数繁多且为动态时序数据，分析需要考虑时间、空间等多个维度，且相关参数涉及飞行领域的专业知识，需要与飞行员和民航专家深入沟通才能深刻理解各个参数的内涵，研究的专业壁垒较高。第三，QAR原始数据为二进制数据，需译码之后才能使用，由于没有统一的译码规范，译码出来的数据存在不完整或者偏差的情况。最后，由于重着陆等超限事件或者事故发生概率很小，导致QAR数据样本偏斜严重，给研究带来一定的挑战。

可解释性不强。目前，大多数基于QAR数据的重着陆研究并不具备很好的可解释性。基于方差分析的研究主要采用相关性分析，仅揭示了重着陆浅层的因素，且依赖于手工计算的特征，对于一些潜在深层次因素难以发掘；风险评估模型可用于评估重着陆的风险，但是不能解释重着陆发生的原因；基于机器学习或深度学习方法的重着陆研究往往关注预测准确性，缺乏与飞行专家的沟通交流，未对模型的可解释性给予足够重视，导致结果缺乏实际指导意义。

预测/分类准确率不高。目前的研究大多采用传统的机器学习方法，并通过手工方式提取特征，所提取的特征往往是来自特定采样点的QAR参数测量值，缺乏对QAR数据动态时序特征的深度挖掘，因此不能达到很好的预测或分类效果。

针对现有研究存在的上述不足以及时间序列分类问题的发明或研究还处于关注预测/ 分类准确率的问题上，很少有发明或研究聚焦在可解释性上，尤其未见将深度学习方法与重着陆可解释相结合的相关研究。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于多分支时间卷积网络的重着陆的分析方法，解决了现有方法QAR数据难获得、参数繁多研究专业壁垒高和编译数据不完整的问题；同时也解决了现有方法可解释性不强、预测/分类准确性不高的技术问题，实现了充分学习每个参数的时间维度特征，提高重着陆的预测准确率的目的，通过借鉴图像可视化特征重要性的思路，将重着陆事件的解释细化到每个参数每个时刻的变化，为重着陆提供了较强的可解释性；同时为航空领域的安全事故或超限事件提供了新的思路，为时间序列分类问题的可解释性工作提供了参考，还为飞行安全提供了新的技术借鉴，具有较好的理论和应用价值。

本申请的第二个目的在于提出一种基于多分支时间卷积网络的重着陆的分析装置。

本申请的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种基于多分支时间卷积网络的重着陆的分析方法，包括：获取输入数据，包括原始参数数据和动态时间点；使用改进后的时间卷积网络对原始参数数据进行卷积操作生成每个参数的特征图；对特征图进行特征提取，生成整体特征表示；使用整体特征表示对预设类别进行学习，得到预设类别的参数层面以及每个参数的特征图所占的权重；根据参数层面以及每个参数的特征图所占的权重对整体特征表示中的特征图进行线性组合，得到最终的类激活映射图，以根据类激活映射图对飞机重着陆进行分析。

可选地，在本申请的一个实施例中，改进时间卷积网络，具体为对时间卷积网络的残差块进行改进，改进后的残差块包括扩张因果卷积层、归一化层、ReLu激活层、droput层，其中，

输入数据经过第一个扩张卷积层、第一个归一化层、ReLu激活层、第二个扩张卷积层、第二个归一化层、droput层，产生的结果与输入数据相加后再经过ReLu激活层得到最终输出。

可选地，在本申请的一个实施例中，特征提取，具体为对特征图进行全局平均池化，或在特征图中选取与动态时间点匹配的特征图的整体特征表示。

可选地，在本申请的一个实施例中，类激活映射图表示为：

其中，A_c是对分类c结果的解释，其值越大，对分类结果的影响越大，w_i表示第i个参数所占权重，w_ik表示第i个参数的第k个激活特征图所占权重，

表示被分为c类的第i个参数第k个激活特征图在时刻j的激活值，N(·)是归一化函数，将激活值转换成0到 1之间，由于每个参数采样频率不同，在1到8Hz之间变化，在时刻j的

有多个激活值，平均多个激活值得到最终的

为达上述目的，本发明第二方面实施例提出了一种基于多分支时间卷积网络的重着陆的分析装置，包括获取模块、处理模块，其中，

获取模块，用于获取输入数据，包括原始参数数据和动态时间点；

处理模块，用于根据动态时间点对原始参数数据进行处理，得到相应的类激活映射图。

可选地，在本申请的一个实施例中，处理模块，具体用于：

使用改进后的时间卷积网络对原始参数数据进行卷积操作生成每个参数的特征图；

对特征图进行特征提取，生成整体特征表示；

使用整体特征表示对预设类别进行学习，得到预设类别的参数层面以及每个参数的特征图所占的权重；

根据参数层面以及每个参数的特征图所占的权重对整体特征表示中的特征图进行线性组合，得到最终的类激活映射图，以根据类激活映射图对飞机重着陆进行分析。

可选地，在本申请的一个实施例中，训练处理模块，训练所用的损失函数为：

其中，y表示的是真实标签，包含正常着陆与重着陆的标签，

表示的是被模型预测的分类结果。

为了实现上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种基于多分支时间卷积网络的重着陆的分析方法和装置。

本申请实施例的基于多分支时间卷积网络的重着陆的分析方法、基于多分支时间卷积网络的重着陆的分析装置和非临时性计算机可读存储介质，解决了现有方法QAR数据难获得、参数繁多研究专业壁垒高和编译数据不完整的问题；同时也解决了现有方法可解释性不强、预测/分类准确性不高的技术问题，实现了充分学习每个参数的时间维度特征，提高重着陆的预测准确率的目的，通过借鉴图像可视化特征重要性的思路，将重着陆事件的解释细化到每个参数每个时刻的变化，为重着陆提供了较强的可解释性；同时为航空领域的安全事故或超限事件提供了新的思路，为时间序列分类问题的可解释性工作提供了参考，还为飞行安全提供了新的技术借鉴，具有较好的理论和应用价值。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种基于多分支时间卷积网络的重着陆的分析方法的流程图；

图2为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的致命事故和机上死亡人数百分比图；

图3a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN结构图；

图3b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN中残差块图；

图3c为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN中的残差连接的案例图；

图4为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的类激活映射图；

图5为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的IMTCN模型的框架结构图；

图6为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的IMTCN中的残差块图；

图7为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的MLSTM_FCN 模型的结构图；

图8a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的重着陆航段的激活映射图；

图8b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的重着陆航段的飞行参数可视化图；

图9a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个重着陆航段的激活映射图；

图9b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个重着陆航段的飞行参数可视化图；

图10为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个流程图；

图11为本申请实施例二所提供的基于多分支时间卷积网络的重着陆的分析装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于多分支时间卷积网络的重着陆的分析方法和装置。

图1为本申请实施例一所提供的一种基于多分支时间卷积网络的重着陆的分析方法的流程图。

如图1所示，该基于多分支时间卷积网络的重着陆的分析方法包括以下步骤：

步骤101，获取输入数据，包括原始参数数据和动态时间点；

步骤102，使用改进后的时间卷积网络对原始参数数据进行卷积操作生成每个参数的特征图；

步骤103，对特征图进行特征提取，生成整体特征表示；

步骤104，使用整体特征表示对预设类别进行学习，得到预设类别的参数层面以及每个参数的特征图所占的权重；

步骤105，根据参数层面以及每个参数的特征图所占的权重对整体特征表示中的特征图进行线性组合，得到最终的类激活映射图，以根据类激活映射图对飞机重着陆进行分析。

本申请实施例的基于多分支时间卷积网络的重着陆的分析方法，通过获取输入数据，包括原始参数数据和动态时间点；使用改进后的时间卷积网络对原始参数数据进行卷积操作生成每个参数的特征图；对特征图进行特征提取，生成整体特征表示；使用整体特征表示对预设类别进行学习，得到预设类别的参数层面以及每个参数的特征图所占的权重；根据参数层面以及每个参数的特征图所占的权重对整体特征表示中的特征图进行线性组合，得到最终的类激活映射图，以根据类激活映射图对飞机重着陆进行分析。由此，能够解决现有方法QAR数据难获得、参数繁多研究专业壁垒高和编译数据不完整的问题；同时也可以解决现有方法可解释性不强、预测/分类准确性不高的技术问题，实现充分学习每个参数的时间维度特征，提高重着陆的预测准确率的目的，通过借鉴图像可视化特征重要性的思路，将重着陆事件的解释细化到每个参数每个时刻的变化，为重着陆提供了较强的可解释性；同时为航空领域的安全事故或超限事件提供了新的思路，为时间序列分类问题的可解释性工作提供了参考，还为飞行安全提供了新的技术借鉴，具有较好的理论和应用价值。

进一步地，在本申请实施例中，改进时间卷积网络，具体为对时间卷积网络的残差块进行改进，改进后的残差块包括扩张因果卷积层、归一化层、ReLu激活层、droput层，其中，

给定多尺度时间序列数据输入X，其具有(N,n,e×T)的维度。其中N表示样本数目，n 是参数的数目，e分别代表每个参数的采样频率，T表示时间序列数据的最大的时间长度。对于第i个样本的输入X_i，其对应的标签Y_i可以通过第j个参数数据X_ij的计算方法得到：

Y_i＝I(m(X_ij)≥θ)

其中，m(·)是判断是否是超限事件或安全事故的条件函数，I(expr)是指数函数，当expr的结果为真则函数结果为1，反之，I(expr)为0。由于主要研究重着陆事件，本发明中的条件函数使用的是最大值函数max(·)。

用于本发明做分类问题的数据集S由N个样本组成，S＝{(X′_i,Y_i)|i＝1,2,...,N.}，其中，X′_i由除第j个用于做判断条件的参数之外的n-1个参数数据组成。而在数据集S上的任务就是将X′分类到对应的标签Y所指定的类别上，并提供被分到某类别上的概率，即多尺度时间序列分类。在多尺度时间序列分类问题的基础上，使用可视化特征重要性的方式，为时间序列对分类结果产生的影响提供解释，在本发明中即为重着陆事件提供解释。

时间卷积网络TCN结合了现代卷积架构并保持了网络的简单，还能在多个任务和数据集上达到甚至超过LSTM的结果。时间卷积网络的显著的特性有：输入任意长度的序列可以输出相同长度的序列，就像使用RNN一样；结构中的卷积是因果关系的，这意味着可以学习到过去到未来的历史信息而没有“遗漏”。可以使用深度网络(使用残差块增强)和扩张卷积来构建有效的长期历史记录，即网络可以从较远的过去预测未来的信息。

针对TCN的第一个特征，时间卷积网络使用了一维的全卷积网络FCN (Fully-Convolutional Network)；其中，每个隐藏层的长度与输入层的长度相同，并且通过添加长度为卷积核大小-1的零填充使下层的隐藏层的长度与上层的输入层或隐藏层相同。时间卷积网络的第二个特征是，时间卷积网络使用了因果卷积，此卷积在时间点t上的输出仅与当前时间的元素和上面一层输入层或隐藏层的元素有关，不涉及时间点t后的信息。TCN结构是由一维的全卷积网络和因果卷积组成。

此基础设计的主要缺点在于上文简单的因果卷积在有限的网络深度范围内只能获取线性时长的历史信息。为了获取较长的有效的历史记录，模型需要设置更深的网络或者使用更大的卷积核，这样的设置不仅增加了计算复杂度，而且将模型变得更加复杂。将现代卷积体系结构中的技术集成到了TCN中，以保持TCN模型的简单和获取较长历史信息的能力。其中，扩张卷积(又叫空洞卷积dilated convolutions)使用在TCN中能够获取指数级的感受野，即能获取指数级时长的历史信息，降低了TCN模型的复杂度。对于一维的序列输入x∈Rⁿ和一个卷积核f:{0,...,k-1}→R，在序列中的元素s上的扩张卷积操作可以定义为：

其中，d表示扩张因子，k为卷积核的尺度，而s-d·i表示能学习到的元素s前的历史信息的方向。扩张可以等价于在卷积核相邻的两个元素之间插入固定步长的空缺，空缺不参与卷积计算。当d等于1时，扩张卷积与正常的卷积是无异的；当使用较大扩张因子时，即d 很大时，在输出层的一个特征就能表示这个特征时刻之前的很大时间范围内的输入的信息，有效地扩大了卷积网络的感受野。根据

扩大TCN的感受野的方式有两种，分别是选择大的卷积核尺度k和增加扩张因子的大小d，这样能表示某一层的有效长度为(k-1)d。当使用扩张卷积时，随着网络深度增加，d呈指数级增长，即在网络中的第i层时d＝2ⁱ(需要注意的是i从0开始增加)。这样就可以保证卷积核能够有效地获取每个输入的信息，而使用越深的网络能表示越长的历史信息。

TCN中感受野的感受范围是由网络深度n、卷积核的尺度k以及扩张因子d共同决定，通过改变这三个超参数可以得到更深更大的TCN。时间序列数据是一种随着时间持续变化的数据，在训练学习这些数据时，TCN的稳定性变得很重要。而残差块包含一个具有一系列变换F的分支，该分支的输出和输入x进行相加，公式如下：

o＝Activation(x+F(x))

这使每层隐藏层有效地学习了等价映射的改变而不需要学习整个变换过程，这对深度网络提高效率和稳定性是非常有益的。在TCN的残差块内，有两层扩张因果卷积和两层非线性激活层ReLu(the rectified linear unit)。对卷积后的特征图进行归一化操作使用了权重归一化。为了防止训练时过拟合，在激活层之后加入了dropout层以正则化，随机删除一些神经元，并在每一次训练后整个通道置零。在标准的残差网络ResNet中输入直接加上残差函数的输出，在TCN中输入和输出可能具有不同的长度，使用1×1卷积确保逐元素相加的长度是一致。

TCN作为序列模型的优点：与RNN需要等待上一个时刻的信息处理完才能处理此刻的信息不一样的是，TCN使用卷积核可以并行处理不同时刻的信息；使用扩张因果卷积，TCN可以灵活地变更感受野的感受范围，易于适应不同的领域问题；由于TCN的反向传播路径与序列的时间方向不同，TCN可以有效避免梯度爆炸和梯度消失的问题；与LSTM 和GRU需要很多存储空间不同的是，TCN的每层共享同一个卷积核，反向传播仅与网络的深度有关，在训练过程中需要的存储空间更少；此外，TCN的输入可以是变长的。

进一步地，在本申请实施例中，特征提取，具体为对特征图进行全局平均池化，或在特征图中选取与动态时间点匹配的特征图的整体特征表示。

基于CNN中的全局平均池化GAP产生了类激活映射图CAM，一张特定类别图像的类激活映射图用于识别该类别的图片中某区域的特征，在最后一层卷积层后使用全局平均池化将卷积层中的每个特征图表示为只有一个值的特征表示(一个单元unit)，而后拼接这些特征表示进行训练以得到这些特征表示的权重。根据学习到的权重，将每个特征图进行线性组合产生最终的类激活映射图。这样一个简单的结构设计，可以清晰地反映图像分类中的特征重要性。

给定一张图片，f_k(x,y)表示在最后一层卷积层中第k个特征图在位置(x,y)的激活；对于第k个特征图，全局平均池化后的特征图结果可以表示为F_k，即∑_x,yf_k(x,y)。对于被分为类别c的图片，最终输入到softmax函数的是S_c，即

其中

表示被分为类别c后第k个单元的权重，也代表了第k个特征图的重要程度。最后，特征输出被分为类别c的概率P_c：

忽略偏差bias，在输入到softmax函数时将其设置为了0，这样设置对分类结果没有任何的影响。被分为类别c时的类激活映射图M_c，即特征重要性可以表示为：

M_c(x,y)直接反映了在(x,y)位置的特征被分为类别c的重要性，而S_c是用来计算被分为类别c的概率的得分，也可以表达为：

进一步地，在本申请实施例中，类激活映射图表示为：

有多个激活值，平均多个激活值得到最终的

例如，如果一个参数的采样频率为4Hz，则将每秒内的连续4个激活值做平均。

基于多分支时间卷积网络的可解释模型IMTCN，用于解决多尺度时间序列分类问题，并且提供可解释性。由于TCN获取长期历史信息的能力和相对简单的结构，使用TCN作为IMTCN模型的子模块以学习每个参数时间维度细粒度的信息。该网络基于CAM的思想学习到参数及时间层面的数据的权重以可视化中间层的特征图或者特征重要性来提供模型分类结果的可解释性。

IMTCN模型由输入层、TCN层、特征图处理层、全连接层、输出层以及激活映射六个部分组成。在图像目标检测与定位的任务中，一般对某类别的图像中的目标位置信息是未知的。例如，在众多包含狗的图片中，模型训练前对在图片中狗相关的位置信息(比如头)是未知的，而模型训练在确定是狗的分类的同时，定位了图片中狗相关的像素。针对重着陆问题，在对QAR数据样本分类的同时，定位到与分类结果相关性较高的时间及参数层面的信息，以此提供可解释性。针对这样的可解释问题可以忽略选取的不同时间区间对结果的影响，而当使用IMTCN模型进行重着陆预测时，需要注意时间区间的选取以消除其对分类结果的影响，一般选取重着陆发生瞬间几秒前或者完成着陆前的数据。为了同时满足重着陆的可解释与分类预测问题，对模型的输入引入动态时间点t。

除了动态时间点，IMTCN模型的输入层的输入主要包括具有不同采样频率的参数数据。使用原始的采样频率的数据可以保留更多时间层面的参数信息，大多数基于QAR数据的研究将参数数据重采样以保持参数的长度一致，而这样的处理方式会损失掉一部分数据信息。在TCN层，每个分支的时间卷积网络分别处理不同采样频率的参数以尽可能地学习到时间维度的信息。

在特征图处理层，根据所关注的问题是可解释还是分类预测问题，动态时间点t作为参考用来选取每个参数的K个一维特征图时刻t之前的特征表示，组成K个长度为e·t的一维特征图。此外，受CAM的思想的启发，通过全局平均池化以获取K个长度为e·t的一维特征图的特征表示，每个特征图产生一个特征表示以代表整个特征图的信息。基于这样的一个思路，通过调整卷积核尺度k和扩张因子大小d，TCN的输出层t时刻的特征表示可以表示整个输入层t时刻之前的信息。由于TCN中的卷积是具有因果关系的，因此，TCN的输出层t时刻的特征表示可以代表整个特征图的信息。在特征图处理层，提供了全局平均池化和TCN输出两种方式来获取代表整体的特征表示。两层全连接层接在特征图处理层之后，连接到输出层的类别分别学习该类别的时间及参数层面所占的权重，与长度为e·t的一维特征图共同生成激活映射图为时间序列分类提供可解释性。具体来说，第一层全连接层由每个参数的K个时间层面的特征表示组成，连接第二层连接层的特征表示单元(用一个单元提供解释，用一个以上的单元进行预测)训练以获取K个特征图对结果影响的权重；第二层全连接层的特征表示是参数层面的特征表示单元的拼接。

激活映射图是一种可视化特征重要性A的手段，为多尺度时间序列分类问题提供可解释性。A即是对分类结果的解释，其值越大，对分类结果的影响越大。由此可以使用此模型产生的激活映射图的结果以细化重着陆的分析。

其中，学习模型超参数使用的损失函数：

其中，y表示的是真实标签，也就是正常着陆与重着陆的标签，

表示的是被模型预测的分类结果。对公式

和公式Y_i＝I(m(X_ij)≥θ)中的 I(expr)和m(·)进行修改可以适用多分类问题。

图3a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN结构图。

如图3a所示，该基于多分支时间卷积网络的重着陆的分析方法的TCN结构是由一维的全卷积网络和因果卷积组成，每个隐藏层的长度与输入层的长度相同，并且通过添加长度为卷积核大小-1的零填充使下层的隐藏层的长度与上层的输入层或隐藏层相同，当使用扩张卷积时，随着网络深度增加，d呈指数级增长，即在网络中的第i层时d＝2ⁱ(需要注意的是i从0开始增加)。这样就可以保证卷积核能够有效地获取每个输入的信息，而使用越深的网络能表示越长的历史信息。

图3b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN中残差块图。

如图3b所示，该基于多分支时间卷积网络的重着陆的分析方法的TCN中常用的残差块，有两层扩张因果卷积和两层非线性激活层ReLu(the rectified linear unit)，对卷积后的特征图进行归一化操作使用权重归一化。为了防止训练时过拟合，在激活层之后加入了dropout 层以正则化，随机删除一些神经元，并在每一次训练后整个通道置零。在标准的残差网络 ResNet中输入直接加上残差函数的输出，但是，在TCN中输入和输出可能具有不同的长度，使用1×1卷积确保逐元素相加的长度是一致。

图3c为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的TCN中的残差连接的案例图。

如图3c所示，该基于多分支时间卷积网络的重着陆的分析方法的TCN，使用卷积核可以并行处理不同时刻的信息，可以灵活地变更感受野的感受范围，易于适应不同的领域问题，由于TCN的反向传播路径与序列的时间方向不同，可以有效避免梯度爆炸和梯度消失的问题，每层可以共享同一个卷积核。

图4为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的类激活映射图。

如图4所示，在该基于多分支时间卷积网络的重着陆的分析方法中，一张特定类别图像的类激活映射图用于识别该类别的图片中某区域的特征，在最后一层卷积层后使用全局平均池化将卷积层中的每个特征图表示为只有一个值的特征表示(一个单元unit)，而后拼接这些特征表示进行训练以得到这些特征表示的权重。根据学习到的权重，将每个特征图进行线性组合产生最终的类激活映射图，这样可以清晰地反映图像分类中的特征重要性。

图5为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的IMTCN模型的框架结构图。

如图5所示，该基于多分支时间卷积网络的重着陆的分析方法的IMTCN模型的框架结构图中，K@1*T表示有T个时长和1Hz采样频率的参数使用K个卷积核卷积后得到的 K个一维特征图，K@1*4T表示有T个时长和4Hz采样频率的参数使用K个卷积核卷积后得到的K个一维特征图。IMTCN模型由输入层、TCN层、特征图处理层、全连接层、输出层以及激活映射六个部分组成。使用IMTCN模型进行重着陆预测时，需要注意时间区间的选取以消除其对分类结果的影响，一般选取重着陆发生瞬间几秒前或者完成着陆前的数据。为了同时满足重着陆的可解释与分类预测问题，对模型的输入引入动态时间点t。IMTCN模型的输入层的输入主要包括具有不同采样频率的参数数据。

图6为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的IMTCN中的残差块图。

如图6所示，该基于多分支时间卷积网络的重着陆的分析方法的IMTCN中的残差块是由两个扩张因果卷积层、两个归一化层、一个ReLu激活层和一个dropout层组成，在其产生的结果与原始输入数据相加操作之后再经过ReLu激活层得到最终的输出。其中，每个分支的TCN的每层隐藏层都使用K个卷积核进行卷积操作，并且设置不同的卷积核尺度 k和扩张因子大小d(或堆叠TCN的隐藏层的深度)以使最后一层最近时刻的特征输出能够覆盖输入的历史信息，产生长度为e·T的K个一维的特征图。

使用的数据集是来自国内航空公司的A320机型的飞行记录，使用了33个参数，包括高度、起落架、飞机加速度和速度、风相关、油门、发动机、俯仰、横滚、方向舵和毛重等，如表一所示。经过变换处理后，除VRTG外，得到27个参数。282个重着陆样本和37 662个正常着陆样本根据VRTG分离出来。针对样本的类不平衡问题，上采样是常用的方法可以保证各类数据的平衡。为了避免282个重着陆样本全部在训练集或者测试集(全部在一起失去了训练的意义)，首先将原始数据集随机分为训练集和测试集，比例为7:3；其次，分别对训练集和测试集进行上采样以使在数据集中的正常着陆和重着陆的样本数量相同；最终组成了52 704样本量的训练集和22 590样本量的测试集。除了上采样，为损失函数添加权重以强化模型对样本少的特征进行学习，权重一般设置成样本量少的样本的数量与样本量多的样本的数量的比例。其中，本发明重着陆和正常着陆的权重分别为1和133.55。

表一

本发明所使用的实验环境配置如表二所示：

表二

IMTCN的输入不包含VRTG参数。IMTCN模型在研究重着陆事件时使用了27个并行的TCN子模块，每个TCN子模块堆叠了3个隐藏层，每一层隐藏层使用30个尺度k为7 的卷积核并且扩张因子d分别为1、2和4。上述的TCN模块相关参数的设置是基础性的，在下文的对比实验中会有不同的设置。为了解释重着陆事件，对于正常着陆的样本输入，动态时间点t被设置为飞机完成着陆的时刻，即所有起落架全部落地的状态。由于重着陆事件发生在接地之后的事件样本的存在，对于重着陆的样本输入，动态时间点t被设置为 VRTG峰值出现的时刻。针对重着陆分类预测问题，将动态时间点设置在了时间点之前的2 秒及4秒。就训练过程而言，实验使用了Adam优化器，并且初始学习率设置成了0.01，在训练过程中逐渐减小至10^-6。为了防止过拟合，在每个TCN中，dropout率被设置成0.5。对于分类结果的评估，使用了四个不同的指标，包括准确率Accuracy、精确度Precision、召回率Recall以及F1值。

使用童超等人在预测重着陆时使用的模型作为基准模型之一。将重着陆预测问题抽象成时间序列分类问题，选用了时间序列分类问题中在多个数据集和任务中分类效果较好的模型及其改进模型作为基准模型。

LSTM：童超等人使用了具有三层的隐藏层的LSTM模型以预测重着陆事件(预测VRTG值)。为了适应重着陆分类问题，本发明在LSTM模型后添加了全连接层。

BlockLSTM：，此模型包含维度翻转和LSTM模块。其中，LSTM模块包括具有一层隐藏层和256个隐藏单元的LSTM模型和一个dropout层，维度翻转是将数据的参数与时间这两个维度进行了转置。

LSTM_FCN：该模型由两个并行的子模块组成，包括上述的BlockLSTM和FCN模块。LSTM_FCN中的FCN模块包括三个卷积层和一个全局池化层。而每个卷积层在卷积操作后经过批量标准化和激活函数ReLu，不包括图中的Squeezeand Excite(SE)块。从两个并行的子模块BlockLSTM和FCN模块提出特征表示后，将特征表示拼接后输入到softmax 函数进行分类。LSTM和FCN模块的组合在不同的时间序列数据上的分类结果都是优于单独的LSTM和FCN模块的。

ALSTM_FCN：此模型在LSTM_FCN模型的基础上，在LSTM模块中引入注意力机制以提高分类准确率。

MLSTM_FCN：该模型的设计是为了提升模型在多变量时间序列数据上的分类性能。和LSTM_FCN不一样的是，在FCN子模块的前两层卷积层引入了Squeezeand Excite(SE) 块。SE块包括Squeeze和Excite两个操作。其中，Squeeze操作使用全局平均池化生成通道级的特征以充分利用局部感受野之外的上下文信息；然后，Excite操作学习通道之间的依赖关系。

图7为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的MLSTM_FCN 模型的结构图。

如图7所示，该基于多分支时间卷积网络的重着陆的分析方法的MLSTM_FCN模型，在FCN子模块的前两层卷积层引入了Squeezeand Excite(SE)块。SE块包括Squeeze和Excite两个操作。其中，Squeeze操作使用全局平均池化生成通道级的特征以充分利用局部感受野之外的上下文信息；然后，Excite操作学习通道之间的依赖关系。该模型的设计是为了提升模型在多变量时间序列数据上的分类性能。

使用这些基准模型与IMTCN模型在相同的QAR数据上进行对比实验。在使用动态时间点后，每个样本在IMTCN模型中间特征图的输出长度可能不一致。而这些基准模型需要保持数据长度一致，因此，对于这些基准模型，选取相同的QAR数据样本，截取动态时间点前的数据以保证每个样本数据长度一致。

表三展示了基准模型和IMTCN模型分别在动态时间点t、t-2以及t-4的分类结果。从表三中可以看出，IMTCN模型在不同时间点分类结果均好于基于LSTM的基准模型。这表明IMTCN模型可以很好地识别重着陆事件，并且在重着陆事件发生4秒前预测到事件的发生，这4秒可以让飞行员有时间反应并做出相应地避险操作。IMTCN模型在时间点t时的分类结果的四项指标均在95％左右，而在时间点t-4时的三项指标均高于84％且最高达到94％以上；召回率Recall代表重着陆事件的识别率，在时间点t-4时IMTCN的召回率达到76.69％，比基于LSTM的基准模型的分类结果的召回率高4％以上。原始的LSTM在多变量时间序列数据上训练是失败的，基本上模型分类的所有指标都在51％左右；而LSTM 在引入维度翻转之后，其性能大幅提升；由于FCN子模块学习到更多的时间特征，提高了 BlockLSTM的分类结果。在引入注意力机制之后，LSTM_FCN的分类结果是提升的。在引入SE块之后，MLSTM_FCN学习到更多的参数特征。综上所述，尽管基于LSTM的基准模型已经被广泛应用在时间序列分类问题上，但是，IMTCN模型均表现得比基准模型好。

表三

表四展示了在时间点t时IMTCN模型不同设置的对比结果。其中，IMTCN(GAP)表示在特征图处理层的两个方法中选择全局平均池化GAP产生每个特征图的表示。IMTCN(D) 表示在每个TCN子模块使用不同尺度k的卷积核且在特征图处理层不使用GAP，其中，卷积核尺度k＝e·min(k)，min(k)表示的是TCN子模块使用的所有的卷积核的尺度最小值。 IMTCN不使用GAP且使用相同尺度的卷积核。显然，IMTCN(GAP)表现的最差，表明全局池化对模型的性能是存在负面影响的。除此之外，IMTCN(D)与IMTCN相比，虽然每个 TCN子模块根据采样频率设置不同的卷积核尺度以能学习到相同时间区间内的信息，但是，小尺度的卷积核可以学习到更细致的时间信息。综上所述，IMTCN模型的设置优于其他的设置，可以捕获更多细节信息以对重着陆事件分类。

表四

上文的实验针对类不平衡问题都是基于上采样后的数据展开的，且分类结果都能达到很好的效果。但是，在实际应用场景下，数据量是非常巨大的，使用上采样的方式则需要使用额外的存储，提高了航空公司的成本；而使用原始比例的数据，并为损失函数添加权重使模型能强化样本少的特征的学习，也能达到同样的分类效果。表五是使用原始数据在模型上训练测试分类得出的混淆矩阵。可以看出，不管是测试集还是训练集，96％以上的重着陆航段被正确分类出来，且均只有3个样本被错分成正常着陆；约4％的正常着陆航段被分类成重着陆航段。对于航空安全而言，正常着陆航段被分类为重着陆航段是没有太大影响的，且可能发现高风险的着陆航段；对于重着陆航段被错分成正常着陆航段则往往会带来较大的代价。

表五

使用模型训练过程中产生的激活映射图对两个重着陆航段进行分析，以解释重着陆的成因。对每个航段来说，在着陆阶段有两个关键时间点。第一个时间点是飞机无线电高度首次降至50英尺的时刻，被表示为T_50ft；第二个时间点是飞机接地瞬间，被表示成T_td。

图8a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的重着陆航段的激活映射图。

图8b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的重着陆航段的飞行参数可视化图。

如图8a和图8b所示，该基于多分支时间卷积网络的重着陆的分析方法的重着陆航段在第31秒(接地时刻)发生了重着陆，其VRTG峰值为1.57g，且T_50ft＝27，T_td＝31。其中，该航段被正确分类为重着陆的概率为0.99。图8a和图8b中横轴表示时间，纵轴表示不同的飞行参数。为了进一步发现重着陆的成因，进一步可视化了关键的飞行参数的曲线图，在图8b中，为了更好地观察，其图例标识了一些参数的缩放尺度，并且两条竖线分别表示飞机无线电高度首次降至50英尺的时刻以及飞机接地瞬间，标注成T_50ft和T_td。例如， VRTG(x100)表示VRTG参数值被扩大了100倍，IVV(x1/10)表示IVV参数被缩小了10倍。从图8a中可以观察到，无线电高度(RADIO_LH、RADIO_RH)和下降率(IVV)对重着陆有较大的影响，其中IVV在整个着陆过程中都表现出较高的影响，无线电高度在接地瞬间前对重着陆的影响在降低。从图8b中可以观察到在无线电高度50英尺之前飞机有较高的下降率，大约为-800ft/min，表示飞机急速下降。在飞机的无线电高度降至小于50英尺之后，下降率没有及时地降低。比如，在接地前地一秒内，飞机仍然具有较高地下降率达到了-500ft/min，没有足够的时间去降速，最终导致了重着陆的发生。这样的结果表明接地前瞬间的飞行员操作是至关重要的，且飞行员应该更加注意在这一时间区间的俯仰角 (PITCH)和下降率的操作。此结论与在图8a中展现的结果基本一致，可以看到，在接地前的瞬间，PITCH和PITCH_CMD参数对产生重着陆的影响力显著提升。

图9a为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个重着陆航段的激活映射图。

图9b为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个重着陆航段的飞行参数可视化图。

如图9a和图9b所示，该基于多分支时间卷积网络的重着陆的分析方法的重着陆航段在第31秒(接地时刻)发生了重着陆，其VRTG峰值为1.504g，且T_50ft＝21，T_td＝31。其中，该航段被正确分类为重着陆的概率为0.86。和图8的情况相似，无线电高度和下降率参数(RADIO_LH、RADIO_RH和IVV)对重着陆的产生有着最大的影响力。然而，和上述航段不同的地方是，上述航段的IVV在整个着陆阶段都有着重要的影响，而在此航段中， IVV参数的影响力在接地瞬间前几秒降低了。此外，PITCH参数在着陆期间表现出更加持久且高的影响，从图9b中可以看到，飞行员经历了一个长着陆。具体来说，在飞机进入无线电高度50英尺之后，飞行员迅速抬高了俯仰角导致飞机在较高的无线电高度上平飘。因此，飞机飞行了更长的时间才着陆，最终导致了失速着陆。综上，飞行员在飞行过程中需要注意飞行高度、俯仰姿态的控制，在着陆关键阶段平稳及时地操作是飞行着陆安全的重要保证。

图10为本申请实施例的基于多分支时间卷积网络的重着陆的分析方法的另一个流程图。

如图10所示，该基于多分支时间卷积网络的重着陆的分析方法包括：首先将重着陆预测问题抽象成时间序列分类问题，根据VRTG峰值是否超过阈值来确定航段是否为重着陆事件；定位数据中重着陆事件发生的时刻或正常着陆完全着陆的时刻，根据需求选取动态时间点；接着，分别将每个参数输入到多个并行的时间卷积网络中学习每个参数时间维度的特征，根据动态时间点选取关注的时间片段；对时间卷积网络中学习得到的特征图使用全局平均池化或者选取特征图最后一个时刻的特征表示输入到两层全连接层进行分类；获取模型学到的权重来线性组合中间层产生的特征图，最终绘制出激活映射图为重着陆预测提供可解释性。

如图11所示，该基于多分支时间卷积网络的重着陆的分析装置，包括获取模块、处理模块，其中，

获取模块10，用于获取输入数据，包括原始参数数据和动态时间点；

处理模块20，用于根据动态时间点对原始参数数据进行处理，得到相应的类激活映射图。

进一步地，在本申请实施例中，处理模块，具体用于：

对特征图进行特征提取，生成整体特征表示；

进一步地，在本申请实施例中，训练处理模块，训练所用的损失函数为：

其中，y表示的是真实标签，包含正常着陆与重着陆的标签，

表示的是被模型预测的分类结果。

本申请实施例的基于多分支时间卷积网络的重着陆的分析装置，包括获取模块、处理模块，其中，获取模块，用于获取输入数据，包括原始参数数据和动态时间点；处理模块，用于根据动态时间点对原始参数数据进行处理，得到相应的类激活映射图。由此，能够解决现有方法QAR数据难获得、参数繁多研究专业壁垒高和编译数据不完整的问题；同时也可以解决现有方法可解释性不强、预测/分类准确性不高的技术问题，实现充分学习每个参数的时间维度特征，提高重着陆的预测准确率的目的，通过借鉴图像可视化特征重要性的思路，将重着陆事件的解释细化到每个参数每个时刻的变化，为重着陆提供了较强的可解释性；同时为航空领域的安全事故或超限事件提供了新的思路，为时间序列分类问题的可解释性工作提供了参考，还为飞行安全提供了新的技术借鉴，具有较好的理论和应用价值。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于多分支时间卷积网络的重着陆的分析方法和装置。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。