CN115510917A - 一种模态分解预测卷积注意力网络的轴承故障诊断方法 - Google Patents

Abstract

本发明提出一种模态分解预测卷积注意力网络的轴承故障诊断方法，该方法先用VGG16对轴承故障检测信号进行分类，输出分类概率大于故障判断设定值的信号，再将输出分类概率小于故障判断设定值的信号进行完全经验集合模态分解，将模态分解后的模态分量与剩余分量用门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网络方法进行预测，再分别通过一个卷积自注意结合算子进行分类，最后加权求和输出分类结果。所提方法能解决当前轴承故障诊断技术无法同时兼顾高精度和高速度的预测问题，实现提前快速精准地诊断轴承故障的功能，提高故障诊断的精度和速度。

Description

一种模态分解预测卷积注意力网络的轴承故障诊断方法

技术领域

本发明属于机器维护和检测领域，涉及人工智能中的时间序列预测方法和图像卷积方法的结合，适用于机器中轴承故障的诊断。

背景技术

轴承在机器设备中处于重要地位，它也是机器设备的一个典型故障源，其运行状态信息往往直接反映着整台机器的性能，包括精度、可靠性及寿命。现有的轴承故障诊断方法要么无法达到很高的精度，要么无法达到足够快的检测速度。

因此，提出一种模态分解预测卷积注意力网络的轴承故障诊断方法，来解决轴承故障诊断无法同时达到高精度和高速度的问题。

发明内容

本发明提出一种模态分解预测卷积注意力网络的轴承故障诊断方法，将模态分解后的模态分量与剩余分量用不同的神经网络方法进行预测，再分别通过一个卷积自注意结合算子进行分类，能同时提高轴承故障诊断分类精度和速度；在使用过程中的步骤为：

步骤(1)：将轴承故障检测信号转换为检测信号的二维灰度图像；

步骤(2)：将检测信号的二维灰度图像输入VGG16网络；

步骤(3)：输入图像依次经过2个级联的3×3卷积层，1个2×2的最大池化层，2个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层以及3个全连接层，利用随机梯度下降的方法进行训练；

步骤(4)：输出轴承故障检测信号的分类概率；

步骤(5)：判断每个轴承故障检测信号的分类概率是否大于故障判断设定值；

步骤(6)：将分类概率大于故障判断设定值的轴承故障检测信号输出分类结果；

步骤(7)：将分类概率小于故障判断设定值的轴承故障检测信号输入完全集合经验模态分解网络；

步骤(8)：向输入信号加入不同的正负成对白噪声，得到新的信号；

步骤(9)：利用经验模态分解的方法对新的信号进行模态分解，得到各个新信号的第一阶模态分量；

步骤(10)：将所有新信号的第一阶模态分量进行求和平均，得到小于故障判断设定值的轴承故障检测信号的第一阶模态分量；

步骤(11)：用小于故障判断设定值的轴承故障检测信号减去第一阶模态分量得到第一阶的剩余分量；

步骤(12)：再给第一阶的剩余分量加入不同的正负成对白噪声，重复从加入不同的正负成对白噪声到得到剩余分量这一过程；

步骤(13)：输出4个模态分量与1个剩余分量，即模态分量c₁(t)、c₂(t)、c₃(t)、c₄(t)与剩余分量x₄(t)，将其分别输入门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网络；

步骤(14)：将门控循环单元中每一时刻的输入信号与上一时刻的输出信号加权相加后输入重置门与更新门，用激活函数激活；

当当前时刻的信号c₁(t)输入时，其被输入到重置门和更新门中，重置门和更新门的输出分别为：

r_t＝σ(c₁(t)·W_xr+y₁(t-1)·W_hr+b_r)，

z_t＝σ(c₁(t)·W_xz+y₁(t-1)·W_hz+b_z)，

其中，r_t是重置门的输出，z_t是更新门的输出，y₁(t-1)是上一时刻的输出，W_xr是输入与重置门之间的连接权重，W_xz是输入与更新门之间的连接权重，W_hr是隐状态与重置门之间的连接权重，W_hz是隐状态与更新门之间的连接权重，b_r为重置门的偏置向量，b_z为更新门的偏置向量，σ(·)是将输入归一化到0至1的激活函数；

步骤(15)：重置门的当前时刻输出与上一时刻输出相乘后与当前时刻输入加权相加，输入候选隐状态层，用激活函数激活；

计算当前时刻的候选隐状态为：

y′(t)＝tanh(c₁(t)·W_xh+(r_t·y₁(t-1))·W_hh+b_h)，

其中，y′(t)是当前时刻的候选隐状态，W_xh是输入与候选隐状态之间的连接权重，W_hh是重置门与上一时刻输出相乘之后与候选隐状态之间的连接权重，b_h是候选隐状态的偏置向量，tanh(·)是将输入归一化到-1至1的激活函数；

步骤(16)：当前时刻的候选隐状态与1和更新门当前时刻输出的差值相乘，加上上一时刻输出与更新门当前时刻输出相乘，得到当前时刻输出；

上一时刻输出结合候选隐状态与更新门能得到当前时刻的输出y₁(t)：

y₁(t)＝z_t·y₁(t-1)+(1-z_t)·y′(t)；

步骤(17)：不断重复从得到上一时刻输出到得到当前时刻输出的过程，得到最终门控循环单元的输出；

步骤(18)：将循环神经网络中每一时刻的输入信号与上一时刻隐含层的输出信号加权相加后输入当前隐含层，用激活函数激活；

当当前时刻的信号c₂(t)输入时，会与上一时刻的隐含层输出h_t-1一同输入当前隐含层，当前时刻隐含层的输出h_t为：

h_t＝f_H(W_x·c₂(t)+W_h·h_t-1+b_h)，

其中，W_x为输入与当前隐含层的连接权重，W_h为上一隐含层与当前隐含层的连接权重，b_h为隐含层偏置向量，f_H(·)为隐含层激活函数；

步骤(19)：将隐含层的输出加权后输入输出层，用激活函数激活，得到最终循环神经网络的输出；

隐含层的输出经过输出层后会得到当前时刻的输出y₂(t)：

y₂(t)＝f_o(W_o·h_t+b_o)，

其中，W_o为隐含层与输出层的连接权重，b_o为输出层的偏置向量，f_o(·)为输出层的激活函数；

步骤(20)：将长短期记忆网络中每一时刻的输入信号与上一时刻的输出信号加权相加后输入遗忘门、输入门和候选记忆层，用激活函数激活；

当当前时刻的信号c₃(t)输入时，与上一时刻输出y₃(t-1)同时输入遗忘门和输入门，同时更新候选记忆s′(t)，遗忘门和输入门的输出分别为：

f_t＝σ(W_f·[y₃(t-1)，c₃(t)]+b_f)，

i_t＝σ(W_i·[y₃(t-1)，c₃(t)]+b_i)；

更新候选记忆s′(t)为：

s′(t)＝tanh(W_c·[y₃(t-1)，c₃(t)]+b_s)，

其中，f_t是遗忘门的输出，i_t是输入门的输出，W_f是遗忘门的权重，W_i是输入门的权重，W_c是候选记忆层的权重，b_f是遗忘门的偏置向量，b_i是输入门的偏置向量，b_s是候选记忆层的偏置向量；

步骤(21)：将当前时刻遗忘门的输出与上一时刻记忆元相乘，加上当前时刻输入门的输出与当前时刻候选记忆元相乘，得到当前时刻记忆元；

更新上一个记忆元s_t-1为当前记忆元s_t：

s_t＝f_t·s_t-1+i_t·s′(t)；

步骤(22)：将当前时刻的输入与上一时刻输出加权相加后输入输出门，用激活函数激活，得到当前时刻的输出；

当前时刻的输入c₃(t)与上一时刻输出y₃(t-1)同时输入输出门，得到当前时刻的输出y₃(t)；

输出门的输出o_t为：

o_t＝σ(W_o·[y₃(t-1)，c₃(t)]+b_o)；

当前时刻的输出y₃(t)为：

y₃(t)＝o_t·tanh(s_t)，

其中，o_t是输出门的输出，W_o是输出门的权重，b_o是输出门的偏置向量；

步骤(23)：不断重复从得到上一时刻输出到得到当前时刻输出的过程，得到最终长短期记忆网络的输出；

步骤(24)：将双向长短期记忆网络中的输入信号输入两个方向相反的长短期记忆网络，将两个长短期记忆网络的输出拼接，得到双向长短期记忆网络的最终输出；

步骤(25)：将时间卷积网络的输入信号输入两个分支；第一个分支是一个1x1卷积层，第二个分支是将因果膨胀卷积层、归一化层、ReLU激活函数和正则化层级联，并重复两次；

步骤(26)：将两个分支得到的结果进行相加，然后再重复从信号分成两个步骤处理再到相加的过程，得到时间卷积网络的最终输出结果；

步骤(27)：将门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网最终的输出结果转换为二维灰度图像，即预测后的二维灰度图像；

步骤(28)：将每一个网络预测后的二维灰度图像分别输入一个X-volution网络，输入会进入两个分支，第一个是卷积分支，由级联的卷积层和批处理归一化层级联组成，第二个是像素位移自注意分支；

步骤(29)：将像素位移自注意分支的输入特征图分别向上、下、左、右、上左、上右、下左、下右8个方向移动L个像素点，将移动后的图像进行键转换，将原始预测后的二维灰度图像进行查询转换，计算键转换后数据与查询转换后数据之间的元素乘积，得到转换后的特征，将转换后的特征加权相加，再级联一个批处理归一化层，得到像素位移自注意分支的输出；

步骤(30)：将两个分支的输出相加，最后输出预测后信号的分类；

步骤(31)：将分类后的输出结果进行加权求和后输出最终分类结果。

本发明相对于现有技术具有如下的优点及效果：

(1)输入的轴承故障检测信号在经过了VGG16的分类后，分类概率小于故障判断设定值的信号又再一次的被预测分类，使得本发明方法的轴承故障诊断精度更高。

(2)当输入的轴承故障检测信号故障特征明显时，会直接被VGG16输出分类结果，使得本发明方法的轴承故障诊断速度更快。

(3)本发明先用轻量化的VGG16结构进行分类，当分类概率不高时再用复杂的X-volution结构进行分类，这样的结构能使本发明同时具有高精度和高速度的优点。

(4)第一次将把自注意力机制与卷积结合在一起的X-volution算子运用在轴承故障诊断中。自注意力机制与卷积的优点互补，使得本发明方法的轴承故障诊断技术既高效又准确。

附图说明

图1是本发明方法的模态分解预测卷积注意力网络框架图。

图2是本发明方法的VGG16分类流程图。

图3是本发明方法的完全集合经验模态分解流程图。

图4是本发明方法的门控循环单元预测流程图。

图5是本发明方法的循环神经网络预测流程图。

图6是本发明方法的长短期记忆网络预测流程图。

图7是本发明方法的双向长短期记忆网络预测流程图。

图8是本发明方法的时间卷积网络预测流程图。

图9是本发明方法的X-volution分类流程图。

具体实施方式

本发明提出的一种模态分解预测卷积注意力网络的轴承故障诊断方法，结合附图详细说明如下：

图1是本发明方法的模态分解预测卷积注意力网络框架图。首先，将轴承故障检测信号转换为检测信号的二维灰度图像，然后用VGG16对检测信号的二维灰度图像进行分类。判断VGG16输出的分类概率是否大于事先设定的故障判断设定值，如果大于，则直接输出分类结果；如果小于，则将小于故障判断设定值的灰度图像所对应的原始轴承故障检测信号用完全集合经验模态分解的方法分解。输出4个模态分量c₁(t)、c₂(t)、c₃(t)、c₄(t)与1个剩余分量x₄(t)。将模态分量c₁(t)、c₂(t)、c₃(t)、c₄(t)与剩余分量x₄(t)分别用门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网络进行预测，将预测后的结果转化为二维灰度图像，得到对应的输出：预测后的二维灰度图像1、预测后的二维灰度图像2、预测后的二维灰度图像3、预测后的二维灰度图像4、预测后的二维灰度图像5。将这5个预测后的二维灰度图像分别用X-volution进行分类，将输出的结果进行加权求和后得到最终的分类结果。

图2是本发明方法的VGG16分类流程图。它是由13个卷积层，5个最大池化层和3个全连接层组成。例如，输入是3个像素为224×224的轴承故障检测信号灰度图像。首先，将轴承故障检测信号灰度图像输入2个级联的3×3卷积层，提取特征的同时增加通道的数量，这时输入会变为64个224×224的灰度图像。然后级联1个2×2的最大池化层，减少数据的空间大小，这时输入会变为64个112×112的灰度图像。之后接着级联2个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层，此时输入会变成512个7×7的灰度图像。最后级联3个全连接层将输入变为1000个1×1的向量，进行分类后输出原始信号的分类概率。

图3是本发明方法的完全集合经验模态分解流程图。首先，向小于故障判断设定值的轴承故障检测信号x(t)加入不同的正负成对白噪声，得到新的信号。将新的信号进行经验模态分解，得到各个新信号的第一阶模态分量。然后将所有的第一阶模态分量进行求和平均，得到小于故障判断设定值的轴承故障检测信号的第一阶模态分量c₁(t)。用小于故障判断设定值的轴承故障检测信号x(t)减去第一阶模态分量c₁(t)得到第一阶的剩余分量x₁(t)，再给x₁(t)加入不同的正负成对白噪声。重复从加入不同的正负成对白噪声到得到剩余分量这一过程，最终输出模态分量c₁(t)、c₂(t)、c₃(t)、c₄(t)与剩余分量x₄(t)。

图4是本发明方法的门控循环单元预测流程图。首先，当当前时刻的信号c₁(t)输入时，其被输入到重置门和更新门中，重置门和更新门的输出分别为：

r_t＝σ(c₁(t)·W_xr+y₁(t-1)·W_hr+b_r)，

z_t＝σ(c₁(t)·W_xz+y₁(t-1)·W_hz+b_z)，

其中，r_t是重置门的输出，z_t是更新门的输出，y₁(t-1)是上一时刻的输出，W_xr是输入与重置门之间的连接权重，W_xz是输入与更新门之间的连接权重，W_hr是隐状态与重置门之间的连接权重，W_hz是隐状态与更新门之间的连接权重，b_r为重置门的偏置向量，b_z为更新门的偏置向量，σ(·)是将输入归一化到0至1的激活函数。

然后，计算当前时刻的候选隐状态为：

y′(t)＝tanh(c₁(t)·W_xh+(r_t·y₁(t-l))·W_hh+b_h)，

其中，y′(t)是当前时刻的候选隐状态，W_xh是输入与候选隐状态之间的连接权重，W_hh是重置门与上一时刻输出相乘之后与候选隐状态之间的连接权重，b_h是候选隐状态的偏置向量，tanh(·)是将输入归一化到-1至1的激活函数。

上一时刻输出结合候选隐状态与更新门能得到当前时刻的输出y₁(t)：

y₁(t)＝z_t·y₁(t-1)+(1-z_t)·y′(t)；

不断重复从y₁(t-1)到y₁(t)的过程，得到最终输出。

图5是本发明方法的循环神经网络预测流程图。首先，当当前时刻的信号c₂(t)输入时，会与上一时刻的隐含层输出h_t-1一同输入当前隐含层，当前时刻隐含层的输出h_t为：

h_t＝f_H(W_x·c₂(t)+W_h·h_t-1+b_h)，

其中，W_x为输入与当前隐含层的连接权重，W_h为上一隐含层与当前隐含层的连接权重，b_h为隐含层偏置向量，f_H(·)为隐含层激活函数。

隐含层的输出经过输出层后会得到当前时刻的输出y₂(t)：

y₂(t)＝f_o(W_o·h_t+b_o)，

其中，W_o为隐含层与输出层的连接权重，b_o为输出层的偏置向量，f_o(·)为输出层的激活函数。

将每个时刻的输入都重复从输入隐含层到输出结果的操作，得到最终输出。

图6是本发明方法的长短期记忆网络预测流程图。首先，当当前时刻的信号c₃(t)输入时，与上一时刻输出y₃(t-1)同时输入遗忘门和输入门，同时更新候选记忆s′(t)，遗忘门和输入门的输出分别为：

f_t＝σ(W_f·[y₃(t-1)，c₃(t)]+b_f)，

i_t＝σ(W_i·[y₃(t-1)，c₃(t)]+b_i)；

更新候选记忆s′(t)为：

s′(t)＝tanh(W_c·[y₃(t-1)，c₃(t)]+b_s)，

其中，f_t是遗忘门的输出，i_t是输入门的输出，W_f是遗忘门的权重，W_i是输入门的权重，W_c是候选记忆层的权重，b_f是遗忘门的偏置向量，b_i是输入门的偏置向量，b_s是候选记忆层的偏置向量。

然后，更新上一个记忆元s_t-1为当前记忆元s_t：

s_t＝f_t·s_t-1+i_t·s′(t)；

最后，当前时刻的输入c₃(t)与上一时刻输出y₃(t-1)同时输入输出门，得到当前时刻的输出y₃(t)；

输出门的输出o_t为：

o_t＝σ(W_o·[y₃(t-1)，c₃(t)]+b_o)；

当前时刻的输出y₃(t)为：

y₃(t)＝o_t·tanh(s_t)，

其中，o_t是输出门的输出，W_o是输出门的权重，b_o是输出门的偏置向量。

不断重复从y₃(t-1)到y₃(t)的过程，得到最终输出。

图7是本发明方法的双向长短期记忆网络预测流程图。输入c₄(t)会进入两个方向相反的长短期记忆网络，两个长短期记忆网络的输出拼接后得到最终输出y₄(t)。

图8是本发明方法的时间卷积网络预测流程图。首先，信号x₄(t)输入后会进入两个分支。第一个分支是一个1x1卷积层，第二个分支是将因果膨胀卷积层、归一化层、ReLU激活函数和正则化层级联，并重复两次。两个分支得到的结果进行相加，然后再重复从信号分成两个步骤处理再到相加的过程。最终输出结果y₅(t)。

图9是本发明方法的X-volution分类流程图。预测后的二维灰度图像作为输入会进入两个分支。第一个是卷积分支，由级联的卷积层和批处理归一化层级联组成。第二个是像素位移自注意分支，首先将输入特征图分别向上、下、左、右、上左、上右、下左、下右8个方向移动L个像素点，将移动后的图像进行键转换，将原始预测后的二维灰度图像进行查询转换，计算键转换后数据与查询转换后数据之间的元素乘积，得到转换后的特征。将转换后的特征加权相加，再级联一个批处理归一化层，得到像素位移自注意分支的输出。将两个分支的输出相加，最后输出预测后信号的分类。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.一种模态分解预测卷积注意力网络的轴承故障诊断方法，其特征在于，将模态分解后的模态分量与剩余分量用不同的神经网络方法进行预测，再分别通过一个卷积自注意结合算子进行分类，能同时提高轴承故障诊断分类精度和速度；在使用过程中的步骤为：

步骤(1)：将轴承故障检测信号转换为检测信号的二维灰度图像；

步骤(2)：将检测信号的二维灰度图像输入VGG16网络；

步骤(3)：输入图像依次经过2个级联的3×3卷积层，1个2×2的最大池化层，2个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层、3个3×3卷积层、1个2×2最大池化层以及3个全连接层，利用随机梯度下降的方法进行训练；

步骤(4)：输出轴承故障检测信号的分类概率；

步骤(5)：判断每个轴承故障检测信号的分类概率是否大于故障判断设定值；

步骤(6)：将分类概率大于故障判断设定值的轴承故障检测信号输出分类结果；

步骤(7)：将分类概率小于故障判断设定值的轴承故障检测信号输入完全集合经验模态分解网络；

步骤(8)：向输入信号加入不同的正负成对白噪声，得到新的信号；

步骤(9)：利用经验模态分解的方法对新的信号进行模态分解，得到各个新信号的第一阶模态分量；

步骤(10)：将所有新信号的第一阶模态分量进行求和平均，得到小于故障判断设定值的轴承故障检测信号的第一阶模态分量；

步骤(11)：用小于故障判断设定值的轴承故障检测信号减去第一阶模态分量得到第一阶的剩余分量；

步骤(12)：再给第一阶的剩余分量加入不同的正负成对白噪声，重复从加入不同的正负成对白噪声到得到剩余分量这一过程；

步骤(13)：输出4个模态分量与1个剩余分量，即模态分量c₁(t)、c₂(t)、c₃(t)、c₄(t)与剩余分量x₄(t)，将其分别输入门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网络；

步骤(14)：将门控循环单元中每一时刻的输入信号与上一时刻的输出信号加权相加后输入重置门与更新门，用激活函数激活；

当当前时刻的信号c₁(t)输入时，其被输入到重置门和更新门中，重置门和更新门的输出分别为：

r_t＝σ(c₁(t)·W_xr+y₁(t-1)·W_hr+b_r)，

z_t＝σ(c₁(t)·W_xz+y₁(t-1)·W_hz+b_z)，

其中，r_t是重置门的输出，z_t是更新门的输出，y₁(t-1)是上一时刻的输出，W_xr是输入与重置门之间的连接权重，W_xz是输入与更新门之间的连接权重，W_hr是隐状态与重置门之间的连接权重，W_hz是隐状态与更新门之间的连接权重，b_r为重置门的偏置向量，b_z为更新门的偏置向量，σ(·)是将输入归一化到0至1的激活函数；

步骤(15)：重置门的当前时刻输出与上一时刻输出相乘后与当前时刻输入加权相加，输入候选隐状态层，用激活函数激活；

计算当前时刻的候选隐状态为：

y′(t)＝tanh(c₁(t)·W_xh+(r_t·y₁(t-1))·W_hh+b_h)，

其中，y′(t)是当前时刻的候选隐状态，W_xh是输入与候选隐状态之间的连接权重，W_hh是重置门与上一时刻输出相乘之后与候选隐状态之间的连接权重，b_h是候选隐状态的偏置向量，tanh(·)是将输入归一化到-1至1的激活函数；

步骤(16)：当前时刻的候选隐状态与1和更新门当前时刻输出的差值相乘，加上上一时刻输出与更新门当前时刻输出相乘，得到当前时刻输出；

上一时刻输出结合候选隐状态与更新门能得到当前时刻的输出y₁(t)：

y₁(t)＝z_t·y₁(t-1)+(1-z_t)·y′(t)；

步骤(17)：不断重复从得到上一时刻输出到得到当前时刻输出的过程，得到最终门控循环单元的输出；

步骤(18)：将循环神经网络中每一时刻的输入信号与上一时刻隐含层的输出信号加权相加后输入当前隐含层，用激活函数激活；

当当前时刻的信号c₂(t)输入时，会与上一时刻的隐含层输出h_t-1一同输入当前隐含层，当前时刻隐含层的输出h_t为：

h_t＝f_H(W_x·c₂(t)+W_h·h_t-1+b_h)，

其中，W_x为输入与当前隐含层的连接权重，W_h为上一隐含层与当前隐含层的连接权重，b_h为隐含层偏置向量，f_H(·)为隐含层激活函数；

步骤(19)：将隐含层的输出加权后输入输出层，用激活函数激活，得到最终循环神经网络的输出；

隐含层的输出经过输出层后会得到当前时刻的输出y₂(t)：

y₂(t)＝f_o(W_o·h_t+b_o)，

其中，W_o为隐含层与输出层的连接权重，b_o为输出层的偏置向量，f_o(·)为输出层的激活函数；

步骤(20)：将长短期记忆网络中每一时刻的输入信号与上一时刻的输出信号加权相加后输入遗忘门、输入门和候选记忆层，用激活函数激活；

当当前时刻的信号c₃(t)输入时，与上一时刻输出y₃(t-1)同时输入遗忘门和输入门，同时更新候选记忆s′(t)，遗忘门和输入门的输出分别为：

f_t＝σ(W_f·[y₃(t-1),c₃(t)]+b_f)，

i_t＝σ(W_i·[y₃(t-1),c₃(t)]+b_i)；

更新候选记忆s′(t)为：

s′(t)＝tanh(W_c·[y₃(t-1),c₃(t)]+b_s)，

其中，f_t是遗忘门的输出，i_t是输入门的输出，W_f是遗忘门的权重，W_i是输入门的权重，W_c是候选记忆层的权重，b_f是遗忘门的偏置向量，b_i是输入门的偏置向量，b_s是候选记忆层的偏置向量；

步骤(21)：将当前时刻遗忘门的输出与上一时刻记忆元相乘，加上当前时刻输入门的输出与当前时刻候选记忆元相乘，得到当前时刻记忆元；

更新上一个记忆元s_t-1为当前记忆元s_t：

s_t＝f_t·s_t-1+i_t·s′(t)；

步骤(22)：将当前时刻的输入与上一时刻输出加权相加后输入输出门，用激活函数激活，得到当前时刻的输出；

当前时刻的输入c₃(t)与上一时刻输出y₃(t-1)同时输入输出门，得到当前时刻的输出y₃(t)；

输出门的输出o_t为：

o_t＝σ(W_o·[y₃(t-1),c₃(t)]+b_o)；

当前时刻的输出y₃(t)为：

y₃(t)＝o_t·tanh(s_t)，

其中，o_t是输出门的输出，W_o是输出门的权重，b_o是输出门的偏置向量；

步骤(23)：不断重复从得到上一时刻输出到得到当前时刻输出的过程，得到最终长短期记忆网络的输出；

步骤(24)：将双向长短期记忆网络中的输入信号输入两个方向相反的长短期记忆网络，将两个长短期记忆网络的输出拼接，得到双向长短期记忆网络的最终输出；

步骤(25)：将时间卷积网络的输入信号输入两个分支；第一个分支是一个1x1卷积层，第二个分支是将因果膨胀卷积层、归一化层、ReLU激活函数和正则化层级联，并重复两次；

步骤(26)：将两个分支得到的结果进行相加，然后再重复从信号分成两个步骤处理再到相加的过程，得到时间卷积网络的最终输出结果；

步骤(27)：将门控循环单元、循环神经网络、长短期记忆网络、双向长短期记忆网络与时间卷积网最终的输出结果转换为二维灰度图像，即预测后的二维灰度图像；

步骤(28)：将每一个网络预测后的二维灰度图像分别输入一个X-volution网络，输入会进入两个分支，第一个是卷积分支，由级联的卷积层和批处理归一化层级联组成，第二个是像素位移自注意分支；

步骤(29)：将像素位移自注意分支的输入特征图分别向上、下、左、右、上左、上右、下左、下右8个方向移动L个像素点，将移动后的图像进行键转换，将原始预测后的二维灰度图像进行查询转换，计算键转换后数据与查询转换后数据之间的元素乘积，得到转换后的特征，将转换后的特征加权相加，再级联一个批处理归一化层，得到像素位移自注意分支的输出；

步骤(30)：将两个分支的输出相加，最后输出预测后信号的分类；

步骤(31)：将分类后的输出结果进行加权求和后输出最终分类结果。

Images