CN111459144A - 一种基于深度循环神经网络的飞机飞控系统故障预测方法 - Google Patents

Abstract

本发明公开了一种基于深度循环神经网络的飞机飞控系统故障预测方法。该方法首先从飞机飞控系统的关键机械部件滚动轴承的原始振动信号中提取时域、频域和时频域特征，然后利用核主成分分析方法融合所提取的特征信息，再采用指数加权移动平均算法对融合所得的第一个主成分分量进行平滑处理，从而构造一个新的统一健康监测指标对飞机飞控系统滚动轴承的性能退化进行定量评估；通过隐层堆叠的方法构造深度循环神经网络预测模型并采用梯度下降结合自适应学习率算法训练该模型；该方法预测精度高，稳定性好，操作简便，有利于提升飞机飞控系统安全性和可靠性，降低维修成本。

Description

一种基于深度循环神经网络的飞机飞控系统故障预测方法

技术领域

本发明属飞机飞控系统健康监测领域，具体涉及飞机飞控系统旋转机械中的滚动轴承故障预测方法。

背景技术

飞机飞控系统的正常可靠运行对于改善飞机的安全性、稳定性和可操作性具有极其重要的意义。旋转机械作为飞机飞控系统的关键机械部件，在飞控系统中分布十分广泛，其对于飞行控制指令的精确执行起到至关重要的作用。其中滚动轴承是旋转机械中应用最为广泛的机械零件，由于在复杂多变环境下长时间高强度的工作，其难免发生损坏甚至故障，轻则影响飞机的正常出勤及飞行品质，重则导致飞行安全事故及重大经济损失。随着科学技术的迅速发展，现代飞行控制系统日趋复杂化、自动化和智能化，这对滚动轴承的可靠性和安全性要求也越来越高。针对飞机飞控系统的关键机械部件开展故障预测，如滚动轴承故障预测，有利于及时发现飞控系统的早期故障，进而制定合理有效的维修计划，同时这对于改善飞机飞控系统的整体性能，保证飞机的安全飞行，预防重大事故的发生，提高经济效益有着重大意义。因此，针对飞机飞控系统的故障诊断方法研究在飞机故障预测和健康管理领域受到越来越多的关注和研究。

目前，针对飞机飞控系统旋转机械部件的故障预测方法主要分为三类：基于模型的预测方法、基于数据驱动的预测方法以及基于混合模型的预测方法。考虑到飞机飞控系统旋转机械部件的工作环境复杂多变，工作强度变动不居，轴承部件型号大小各异，要想建立统一的准确的且泛化性能良好的物理数学模型来揭示飞机飞控系统旋转机械部件的故障机理及演化规律，对于专家知识和先验知识有着较高的要求，所以基于模型的预测方法在工程实际应用中尚存在很大的困难，难以广泛应用。而基于数据驱动的预测方法则主要利用由各种传感器采集到的振动信号、声音信号、电流信号等历史数据，然后通过各种信号处理和数据挖掘方法自动获取海量数据中隐含的重要信息，并以此来对飞机飞控系统旋转机械部件的健康状态进行合理评估。随着大数据和人工智能时代的来临，基于数据驱动的预测方法受到了越来越多的研究和应用。目前，已经得到广泛关注的研究的基于数据驱动的预测方法有人工神经网络以及支持向量机。

然而，飞机飞控系统旋转机械部件的退化数据往往表现出高度的非线性和非平稳性。人工神经网络和支持向量机等属于机器学习领域的浅层模型，只能进行一层的非线性变换，故而其特征提取和特征学习的能力有限，在处理复杂非线性数据时仍存在一定难度。此外，浅层的人工神经网络还存在一些其他的缺陷，比如其模型容易陷入局部极小值，存在梯度消失和梯度爆炸问题以及其模型的鲁棒性不好等。支持向量机本身也存在一些不足，其只适合于小样本数据对于海量数据的处理能力稍显不足。虽然这些方法已在飞机飞控系统旋转机械部件故障预测领域得到了一定的研究和应用，但是也仍然存在一些明显不足。因而，探索新的更加有效的故障预测方法显得尤为必要。

发明内容

深度学习方法是目前人工智能领域最有应用前景的研究方向，其是由传统的人工神经网络发展而来。它的本质是通过构建包含有多个隐藏层的深度网络模型来实现原始输入数据到高级抽象特征的逐层变换，进而从复杂的海量数据中学习到更本质的特征，发现隐藏在数据中的内在有用信息及演变规律，从而最终提升模型预测的准确性和鲁棒性。循环神经网络是一种新颖且具有广泛前景的深度学习模型，由于其具有特殊的循环连接结构，使其能够学习到数据的长时间依赖，正因如此它十分适合于处理时间序列数据。构建具有多个隐层的深度循环神经网络将会进一步提升模型处理复杂非线性非平稳时间序列数据的能力，使得其能够更加有效地完成飞机飞控系统旋转机械部件故障预测任务。

本发明旨在提出一种基于深度循环神经网络的飞机飞控系统故障预测方法。首先从飞机飞控系统的滚动轴承原始振动信号中提取时域、频域和时频域特征，然后利用核主成分分析(KPCA)方法融合所提取的特征信息，再采用指数加权移动平均(EWMA)算法对融合所得的第一个主成分分量进行平滑处理，从而构造一个新的统一健康监测指标对飞机飞控系统滚动轴承的性能退化进行定量评估；通过隐层堆叠的方法构造深度循环神经网络预测模型并采用梯度下降结合自适应学习率算法训练该模型；该方法预测精度高，稳定性好，易于操作，有利于提升飞机飞控系统安全性和可靠性。

本发明的技术方案为：

所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：包括以下步骤：

步骤1：获取飞机飞控系统滚动轴承全寿命振动数据，并从振动数据中提取时域、频域和时频域多维特征向量；利用核主成分分析方法融合所提取的多维特征向量，并采用指数加权移动平均算法对融合所得的第一维主成分分量进行平滑处理，得到用于定量评估滚动轴承的性能退化的统一健康监测指标；

步骤2：通过堆叠隐层的方法构造深度循环神经网络预测模型；

步骤3：以步骤1得到的飞机飞控系统滚动轴承全寿命下的统一健康监测指标作为样本数据，采用梯度下降结合自适应学习率算法训练深度循环神经网络预测模型；

步骤4：利用步骤3训练好的深度循环神经网络预测模型完成飞机飞控系统滚动轴承故障预测。

进一步的，从振动数据中提取的时域统计特征，分别为均方根值、绝对平均值、方根幅值、方差、峰峰值和波形指标。

进一步的，从振动数据中提取的频域特征，分别为频谱的均方根值和平均值。

进一步的，从振动数据中提取的时频域特征，分别为三层小波包变换的第二个频带信号的最大值，均方根值和方根幅值。

进一步的，利用核主成分分析方法融合所提取的多维特征向量的具体过程为：建立核主成分分析方法特征降维模型，设置非线性核函数为高斯核函数，核函数半径取1.5～6.5，并设置融合后主成分数量为3。

进一步的，采用指数加权移动平均算法对融合所得的第一维主成分分量进行平滑处理的公式为：

H_t＝α(F_t+βF_t-1+β²F_t-2+…+β^t-1F₁)

其中t表示当前时刻，F_t表示当前时刻第一维主成分分量的观测值，F₁～F_t-1表示1～t-1时刻第一维主成分分量的历史观测值，H_t表示当前时刻的估计值，且作为最终得到的健康指标值，α和β是两个平滑参数，且满足当t趋于无穷大的时候，β＝1-α。

进一步的，采用指数加权移动平均算法对融合所得的第一个主成分分量进行平滑处理的公式为：

H_t＝αF_t+(1-α)H_t-1

其中t表示当前时刻，F_t表示当前时刻第一维主成分分量的观测值，H_t表示当前时刻的估计值，且作为最终得到的健康指标值，H_t-1表示上一时刻的估计值，α是平滑参数。

进一步的，构造循环神经网络预测模型时，采用门控循环单元代替循环神经元；所述门控循环单元含有重置门和更新门，门控循环单元的工作过程为：

z_i＝sig(W_xzx_i+U_hzh_i-1+b_z)

r_i＝sig(W_xrx_i+U_hrh_i-1+b_r)

其中i表示样本的序列号，x_i表示i个输入序列，z_i和r_i分别表示相应的更新门和重置门的当前激活值，

表示候选单元的当前值，h_i表示门控循环单元的输出值，h_i-1表示其上一时刻的输出值；sig表示sigmoid函数，用作更新门和重置门的激活函数，tanh为双曲正切函数用作候选单元得激活函数；W_xz表示输入层到更新门的权值矩阵，U_hz表示隐层上一时刻输出到更新门的权值矩阵，b_z表示相应的偏置向量；W_xr表示输入层到重置门的权值矩阵，U_hz表示上一时刻隐层输出到重置门的权值矩阵，b_r表示相应的偏置向量；W_xh表示输入层到候选单元的权值矩阵，U_hh表示隐层上一时刻输出到候选单元的权值矩阵，b_h表示相应的偏置向量；·表示点乘。

进一步的，采用堆叠多个隐层的方法构建深度循环神经网络，且隐层神经元数量从低隐层到高隐层逐渐减少。

进一步的，采用梯度下降结合自适应学习率算法训练深度循环神经网络，具体步骤如下：

步骤3.1：设置网络输入层维度L₀，设置隐层数量为隐层n，以及各隐层神经元数L_j，j取1～n，设置网络模型初始学习率为η₀，设置网络最大迭代次数为max_e；

步骤3.2：提供一组训练样本并输入深度循环神经网络，训练深度循环神经网络预测模型，采用均方误差函数作为目标损失函数，训练过程即要使得模型的均方误差最小化；

步骤3.3：计算预测误差，并采用误差反向求导计算得到模型参数的更新梯度g_e，e表示当前迭代次数，进而采用如下公式对网络参数进行更新：

θ_e＝θ_e-1-η_e·g_e

其中η₀为初始学习率，η_e为本次迭代时学习率，ε为极小值，k迭代次数变量，θ_e表示各层间的网络权值及偏置参数；

步骤3.4：判断当前迭代次数是否达到最大迭代次数，若满足，则训练结束，若不满足则重复步骤3.2和步骤3.3。

有益效果

本发明的有益效果是：本发明通过核主成分分析方法融合所提取的振动信号时域、频域和时频域等多维特征，并结合指数加权移动平均算法构造的健康状态监测指标能够有效地揭示飞机飞控系统滚动轴承全寿命过程的性能退化趋势，即：正常状态阶段，早期微弱故障阶段和故障逐渐加重并演化为失效阶段，另外本发明对构建的深度循环神经网络预测模型进行验证，即利用NASA滚动轴承全寿命振动数据是对本发明提出方法在飞机飞控系统轴承故障预测中的准确性和可靠性进行验证。结果表明，本发明提出方法在滚动轴承性能退化趋势预测中比传统方法，精度更高，稳定系更好，可靠性更强，可以应用于飞机飞控系统滚动轴承的状态监测。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明滚动轴承故障预测方法的流程图；

图2为本发明滚动轴承全寿命周期振动信号时域图；

图3为本发明综合监测指标图；

图4为本发明实验趋势预测结果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

参照图1所示，本发明的内容可主要分为两部分。第一部分是提取滚动轴承振动信号的时域、频域、时频域特征，然后利用核主成分分析方法融合所提取的高维特征信息得到低维核主成分，然后采用指数加权移动平均算法对融合得到的第一个主成分分量进行平滑处理，进而定义一个新的健康状态监测指标以更好地对轴承的性能退化过程进行定量评估；第二部分是构建深度循环神经网络预测模型，并采用梯度下降结合自适应学习率算法训练之。

参照图2所示，滚动轴承全寿命周期振动信号时域图，图中横坐标表示时间，单位为10min；纵坐标表示振动幅值，单位为m/s²。

参照图3所示，采用核主成分分析方法融合所提取的振动信号时域、频域和时频域等高维特征，并结合指数加权移动平均算法构造的健康状态监测指标。根据这个健康状态监测指标，轴承全寿命周期可以分为三个阶段：正常状态阶段，早期微弱故障阶段和故障逐渐加重演化为失效阶段。该健康状态监测指标可以有效地揭示轴承的性能退化过程。图中横坐标表示时间，单位为10min；纵坐标表示幅值，幅值的量纲为1。

参照图4所示，采用本发明方法预测滚动轴承的故障，预测结果与滚动轴承故障实际发展趋势相吻合。训练样本为前1637个健康状态监测指标值，测试样本为剩下的353个综合指标值。图中横坐标表示时间，单位为10min；纵坐标表示幅值，幅值的量纲为1。

本发明按以下步骤实施：

1)从飞机飞控系统的滚动轴承原始振动信号中提取时域、频域和时频域等多维特征向量，利用核主成分分析(KPCA)方法融合所提取的多维特征向量，并采用指数加权移动平均(EWMA)算法对融合所得的第一个主成分分量进行平滑处理，进而构造一个新的统一健康监测指标用于定量评估滚动轴承的性能退化；

2)通过堆叠隐层的方法构造深度循环神经网络预测模型并采用梯度下降结合自适应学习率算法训练该模型。

利用核主成分分析(KPCA)方法融合所提取的时域、频域和时频域等多维特征，并结合指数加权移动平均(EWMA)算法构造一个新的统一健康监测指标的方法具体包含如下步骤：

步骤1：采集飞机飞控系统滚动轴承全寿命振动加速度信号，取第3天至第35天共2000个样本，每个样本一般取其中1024～8192个样本点，然后从每个样本中分别提取振动信号的6个时域统计特征，分别为均方根值、绝对平均值、方根幅值、方差、峰峰值和波形指标，2个频域特征，分别为频谱的均方根值和平均值，3个时频域特征，分别为三层小波包变换的第二个频带信号的最大值，均方根值和方根幅值，构成一个11维的非线性特征向量；针对采集的滚动轴承全寿命振动加速度信号，必要时可以对其进行去野值等预处理，以避免无效数据；

步骤2：建立核主成分分析方法特征降维模型，设置非线性核函数为高斯核函数，其核函数半径通常取为1.5～6.5，并设置融合后主成分数量(低维特征维度)为3；

步骤3：将提取的11维特征向量输入核主成分分析模型，即可得到3维主成分分量，并选取第一维主成分分量用于构建最终的健康指标。

步骤4：采用指数加权移动平均算法对融合后的第一维主成分分量进行平滑处理，去除随机波动。该算法可由如下公式表示：

H_t＝α(F_t+βF_t-1+β²F_t-2+…+β^t-1F₁)

其中t表示当前时刻，F_t表示当前时刻第一维主成分分量的观测值，F₁～F_t-1表示1～t-1时刻主成分分量的历史观测值，H_t表示当前时刻的估计值即最终得到的健康指标值，α和β是两个平滑参数，且满足当t趋于无穷大的时候，β＝1-α。通常为了降低计算量，上述公式也可以简化为如下表达式：

H_t＝αF_t+(1-α)H_t-1

其中H_t-1表示上一时刻的估计值，α通常取1/4～1/50。根据以上步骤即可得到每一时刻的健康监测指标H_t，t取1～2000。该健康监测指标就可以作为反映飞机飞控系统滚动轴承全寿命的指标数据，用于下一步的模型训练。

而通过隐层堆叠的方法构造深度循环神经网络预测模型并采用梯度下降结合自适应学习率算法训练该模型，具体步骤如下：

步骤1：传统的循环神经网络存在梯度消失和梯度爆炸问题，为此，引入门控循环单元(GRU)用于替代传统的循环神经元。门控循环单元含有重置门和更新门等结构，使得网络真正具有学习序列数据中的长距离依赖的能力。门控循环单元的工作原理可由如下公式表示：

z_i＝sig(W_xzx_i+U_hzh_i-1+b_z)

r_i＝sig(W_xrx_i+U_hrh_i-1+b_r)

其中i表示样本的序列号，x_i表示i个输入序列，z_i和r_i分别表示相应的更新门和重置门的当前激活值，

表示候选单元的当前值，h_i表示门控循环单元的输出值，h_i-1表示其上一时刻的输出值；sig表示sigmoid函数，用作更新门和重置门的激活函数，tanh为双曲正切函数用作候选单元得激活函数；W_xz表示输入层到更新门的权值矩阵，U_hz表示隐层上一时刻输出到更新门的权值矩阵，b_z表示相应的偏置向量；W_xr表示输入层到重置门的权值矩阵，U_hz表示上一时刻隐层输出到重置门的权值矩阵，b_r表示相应的偏置向量；W_xh表示输入层到候选单元的权值矩阵，U_hh表示隐层上一时刻输出到候选单元的权值矩阵，b_h表示相应的偏置向量；·表示点乘。

步骤2：由于轴承的退化过程往往表现出高度的非线性和非平稳性，因此采用堆叠多个隐层的方法构建深度循环神经网络。

步骤3：采用梯度下降结合自适应学习率算法训练深度循环神经网络，具体步骤如下：

步骤3.1：提供一组训练样本，并进行网络结构及其参数初始化。设置网络输入层维度L₀，设置隐层数量为隐层n，通常取2～8，相应的各隐层神经元数L_j取5～300，j取1～n，且L₁～L_n逐渐变小，设置网络模型初始学习率为η₀，通常取0.0001～0.2，设置网络最大迭代次数为max_e；

步骤3.2：提供一组训练样本并输入深度循环神经网络，训练深度循环神经网络预测模型，采用均方误差函数作为目标损失函数，训练过程即要使得模型的均方误差最小化。

步骤3.3：计算预测误差，并采用误差反向求导计算得到模型参数的更新梯度g_e，e表示当前迭代次数，进而采用如下公式对网络参数进行更新：

θ_e＝θ_e-1-η_e·g_e

其中η₀即为初始学习率，η_e为本次迭代时学习率，ε为极小值，k迭代次数变量，θ_e表示各层间的网络权值及偏置参数。

步骤3.4：判断当前迭代次数e是否达到最大迭代次数max_e。若满足，则训练结束；否则，重复进行步骤3.2和步骤3.3。

之后就可以利用训练好的深度循环神经网络预测模型完成飞机飞控系统滚动轴承故障预测。

基于上述内容，本发明进一步使用美国宇航局的预测数据库中的滚动轴承全寿命监测数据来验证本发明方法在滚动轴承故障预测中的性能。

实验装置为四个轴承安装于一个轴上，并有一个直流电机驱动，转速维持在2000rpm，轴上径向负载6000磅。轴承为Rexnord ZA-115双列轴承，轴承每列有16个滚动体，直径0.311英寸，节径2.815英寸，接触角15.17°。每个轴承上都有两个垂直安置的PCB353B33高灵敏度加速度传感器，采集振动加速度信号，振动数据采用NI公司的DAQCard-6062E采集卡每隔10分钟采集一次。数据的采样频率为20kHz，每一次采样时间为10秒，数据长度为20480点。

图2为3号滚动轴承全寿命振动信号，包含第3天至第35天共2000个样本，取每个样本中的前1024个样本点为一段，共2048000个数据点。然后，依次提取每一段振动信号的6个时域统计特征，分别为均方根值、绝对平均值、方根幅值、方差、峰峰值和波形指标；2个频域特征，分别为频谱的均方根值和平均值；3个时频域特征，分别为三层小波包变换的第二个频带信号的最大值，均方根值和方根幅值，构成一个11维的非线性高维特征。利用核主成分分析(KPCA)方法融合所提取的高维特征信息，然后采用指数加权移动平均(EWMA)算法对第一个主成分分量进行平滑处理，从而得到一个如图3所示含有2000个数据点的统一健康状态监测指标，以更好地对滚动轴承的性能退化过程进行定量评估。

构建深度循环神经网络预测模型，采用梯度下降结合自适应学习率算法训练该模型，以均方误差MSE为目标损失函数，本例中，初始学习率η₀＝0.0001输入层神经元为L₀＝5，隐层数量为n＝3，各隐层神经元数量依次为L₁＝20，L₂＝10，L₃＝5，网络最大迭代次数为max_e＝100。最终，本发明的深度循环神经网络模型结构被选取为“5-20-10-5-1”。采用该模型来预测3号轴承的故障演化趋势，预测结果如图4所示。表1给出了本发明方法与人工神经网络的预测结果对比。由表1可见，本发明提出方法的预测性能更好，而人工神经网络的预测误差较大。因此，本发明提出方法的预测结果能够与滚动轴承性能退化趋势很好地吻合，可以有效地完成滚动轴承状态监测和故障预测任务。

表1 预测结果对比

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：包括以下步骤：

步骤1：获取飞机飞控系统滚动轴承全寿命振动数据，并从振动数据中提取时域、频域和时频域多维特征向量；利用核主成分分析方法融合所提取的多维特征向量，并采用指数加权移动平均算法对融合所得的第一维主成分分量进行平滑处理，得到用于定量评估滚动轴承的性能退化的统一健康监测指标；

步骤2：通过堆叠隐层的方法构造深度循环神经网络预测模型；

步骤3：以步骤1得到的飞机飞控系统滚动轴承全寿命下的统一健康监测指标作为样本数据，采用梯度下降结合自适应学习率算法训练深度循环神经网络预测模型；

步骤4：利用步骤3训练好的深度循环神经网络预测模型完成飞机飞控系统滚动轴承故障预测。

2.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：从振动数据中提取的时域统计特征，分别为均方根值、绝对平均值、方根幅值、方差、峰峰值和波形指标。

3.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：从振动数据中提取的频域特征，分别为频谱的均方根值和平均值。

4.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：从振动数据中提取的时频域特征，分别为三层小波包变换的第二个频带信号的最大值，均方根值和方根幅值。

5.根据权利要求1～4任一所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：利用核主成分分析方法融合所提取的多维特征向量的具体过程为：建立核主成分分析方法特征降维模型，设置非线性核函数为高斯核函数，核函数半径取1.5～6.5，并设置融合后主成分数量为3。

6.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：采用指数加权移动平均算法对融合所得的第一维主成分分量进行平滑处理的公式为：

H_t＝α(F_t+βF_t-1+β²F_t-2+…+β^t-1F₁)

其中t表示当前时刻，F_t表示当前时刻第一维主成分分量的观测值，F₁～F_t-1表示1～t-1时刻第一维主成分分量的历史观测值，H_t表示当前时刻的估计值，且作为最终得到的健康指标值，α和β是两个平滑参数，且满足当t趋于无穷大的时候，β＝1-α。

7.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：采用指数加权移动平均算法对融合所得的第一个主成分分量进行平滑处理的公式为：

H_t＝αF_t+(1-α)H_t-1

其中t表示当前时刻，F_t表示当前时刻第一维主成分分量的观测值，H_t表示当前时刻的估计值，且作为最终得到的健康指标值，H_t-1表示上一时刻的估计值，α是平滑参数。

8.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：构造循环神经网络预测模型时，采用门控循环单元代替循环神经元；所述门控循环单元含有重置门和更新门，门控循环单元的工作过程为：

z_i＝sig(W_xzx_i+U_hzh_i-1+b_z)

r_i＝sig(W_xrx_i+U_hrh_i-1+b_r)

其中i表示样本的序列号，x_i表示i个输入序列，z_i和r_i分别表示相应的更新门和重置门的当前激活值，

表示候选单元的当前值，h_i表示门控循环单元的输出值，h_i-1表示其上一时刻的输出值；sig表示sigmoid函数，用作更新门和重置门的激活函数，tanh为双曲正切函数用作候选单元得激活函数；W_xz表示输入层到更新门的权值矩阵，U_hz表示隐层上一时刻输出到更新门的权值矩阵，b_z表示相应的偏置向量；W_xr表示输入层到重置门的权值矩阵，U_hz表示上一时刻隐层输出到重置门的权值矩阵，b_r表示相应的偏置向量；W_xh表示输入层到候选单元的权值矩阵，U_hh表示隐层上一时刻输出到候选单元的权值矩阵，b_h表示相应的偏置向量；·表示点乘。

9.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：采用堆叠多个隐层的方法构建深度循环神经网络，且隐层神经元数量从低隐层到高隐层逐渐减少。

10.根据权利要求1所述一种基于深度循环神经网络的飞机飞控系统故障预测方法，其特征在于：采用梯度下降结合自适应学习率算法训练深度循环神经网络，具体步骤如下：

步骤3.1：设置网络输入层维度L₀，设置隐层数量为隐层n，以及各隐层神经元数L_j，j取1～n，设置网络模型初始学习率为η₀，设置网络最大迭代次数为max_e；

步骤3.2：提供一组训练样本并输入深度循环神经网络，训练深度循环神经网络预测模型，采用均方误差函数作为目标损失函数，训练过程即要使得模型的均方误差最小化；

步骤3.3：计算预测误差，并采用误差反向求导计算得到模型参数的更新梯度g_e，e表示当前迭代次数，进而采用如下公式对网络参数进行更新：

θ_e＝θ_e-1-η_e·ge

其中η₀为初始学习率，η_e为本次迭代时学习率，ε为极小值，k迭代次数变量，θ_e表示各层间的网络权值及偏置参数；

步骤3.4：判断当前迭代次数是否达到最大迭代次数，若满足，则训练结束，若不满足则重复步骤3.2和步骤3.3。

Images