CN110516305A - 基于注意机制元学习模型的小样本下故障智能诊断方法 - Google Patents

Abstract

本发明公开了基于注意机制元学习模型的小样本下故障智能诊断方法，本发明使用注意机制和元学习方法建立了关联网络模型，对机械信号进行短时傅里叶变换，得到其时频谱图，进一步从中进行特征提取和运行状态识别，能够有效地挖掘其中蕴藏的丰富故障信息。本发明方法能够自适应地训练出一种伪距离来评价相关数据之间的相似度，无需明确的数学公式定义，可以获得较高的机械设备故障诊断准确率。从而摆脱了传统诊断方法中特征提取过程对人工经验的依赖性以及现有智能故障诊断算法对大量训练数据的依赖性，切实解决小样本数据条件下对机械设备故障诊断的难题。

Description

基于注意机制元学习模型的小样本下故障智能诊断方法

技术领域

本发明涉及机械设备故障诊断领域，具体涉及一种基于注意机制元学习模型的小样本下故障智能诊断方法。

背景技术

由于计算机科学和通信技术的飞速发展，大量的工业现场数据得到了记录与保存。然而，其中包含丰富故障信息的数据量却少之又少，绝大部分为无用数据。另一方面，在实验室内采集到的人工故障数据难以完全模拟现实故障的发生，同时，获得机械设备故障自然发展的数据更是难上加难，需要耗费极大的人力、物力。以上问题与现有的智能故障诊断算法的前提条件相矛盾，因为现有的智能故障诊断算法进行训练时需要有大量的故障样本才能提高它的工程实用性。同时，在小样本条件下罕有泛化性能较高的智能故障诊断算法。由此可知，小样本问题严重影响了智能故障诊断算法对机械设备进行故障诊断以及状态监测的及时性、有效性和通用性，因此有必要开展针对样本数量少，工况复杂，算法泛化性低等问题下的机械设备故障诊断方法的研究。

发明内容

本发明的目的在于克服上述不足，提供一种基于注意机制元学习模型的小样本下故障智能诊断方法，能够有效提取出机械信号中的敏感特征，摆脱了传统上特征提取过程对人工经验的依赖性以及现有的智能故障诊断算法对大量训练样本的依赖性，该方法在小样本条件下具有较好的泛化能力，不易受到转速、载荷以及工况环境的干扰，对于运行状态的识别具有较高的准确度。

为了达到上述目的，本发明包括以下步骤：

步骤一，采集各种运行状态下的机械振动信号，对获取到的振动信号进行短时傅里叶变换，得到振动信号的时频谱图，并将时频谱图进行同一规格化处理，最终作为数据集合；

步骤二，建立基于注意机制和元学习方法的关联网络模型，该网络模型包含四个网络子结构，第一个为样本随机采集器，第二个为基于卷积网络框架的特征提取器，第三个为带有注意机制的辅助分类器，第四个为基于卷积网络框架的判别器；

步骤三，对于步骤二建立的关联网络模型，利用采集器将步骤一得到的数据集合划分为训练子集和验证子集，用于模拟小样本条件下的测试过程；

步骤四，利用基于卷积网络框架的特征提取器对划分好的数据训练集进行数据特征提取，并进行特征拼接；

步骤五，通过带有注意机制的辅助分类器和带有注意机制辅助的判别器，利用步骤四提取的数据特征对关联网络模型进行训练并更新辅助分类器和判别器的网络参数；

步骤六，对步骤二所建立的关联网络模型中的各个子网络使用Batchnormalization参数正则化方法防止训练过拟合及稳定训练过程；

步骤七，对步骤五的训练过程进行多次迭代直达满足预设要求，取验证准确度最高的一组权重作为最优权重；

步骤八，将最优权重作为测试时关联网络的网络参数，利用步骤一得到的数据集合中少于等于总数据量5％的样本数据作为训练集，其余为测试集进行测试，模型输出为每一条数据所对应的不同运行状态的关联程度分数，取最大的关联程度分数作为该条数据最终标签；

步骤九，采用步骤二的关联网络模型，使用总数据量5％或者更少的实际机械振动信号进行训练，从而训练出一种自适应网络来比对已知运行状态数据和未知运行状态数据的关联程度，最终使得关联网络模型能够获得95％以上的运行状态分类准确率，实现小样本数据下的对机械设备的智能故障诊断。

步骤一中，各种运行状态包括不同转速、载荷以及运行环境。

步骤一中，同一规格化预处理方法如下：

首先使用短时傅里叶变换得到其时频图，然后使用Resize函数将时频谱图的长度、宽度剪裁成同一大小，最后使用零均值规范化进行处理。计算公式为：

式中，x_i为每条样本数据的时域信号；ω(·)为时间窗口，该过程所选用的时间窗口为汉宁窗，窗长设置为512。n为每个时频谱图中像素点个数；P_i为时频谱图中第i个像素的像素值；为每个时频谱图的均值；s为每个时频图的标准差；X_i为零均值规范化处理后的新时频谱图中的第i个像素值。

步骤二中，特征提取器由四层卷积层和两层最大池化层构成，每个池化层连接于前两个卷积层之后，卷积核的大小设置为3×3，特征提取器用于提取不同运行状态数据的特征。

步骤二中，带有注意机制的辅助分类器由四层卷积层、两层平均池化层和两层最大池化层构成，前两个卷积层后分别连接一个平均池化层和一个最大池化层，后两个卷积层后分别连接一个平均池化层和一个最大池化层，卷积核大小的设置为3×3，带有注意机制的辅助分类器用于强调网络更加关注于关联性较大的特征，从而提高网络的训练速度以及训练准确度。带有注意机制的辅助分类器的功能实现主要包括两个部分，第一部分为通道注意M_c，其能够对通道进行选择，另一部分为空间注意M_s，其能够选取图像空间中所需注意的区域，对于输入的样本，经过卷积注意机制模块后的输出如下：

式中，X为特征提取器拼接后的特征输入图像；为卷积操作。其中M_c、M_s可表示为如下：

式中，M_c为通道注意；M_s为空间注意；σ为注意力参数；W为权重矩阵；AvgPool为平均池化；MaxPool为最大池化；f^3×3表示大小为3×3的卷积核。

步骤二中，判别器由两层卷积层、两层最大池化层和两层全连接层构成的卷积神经网络，每个池化层连接于每个卷积层之后，判别器用于判别测试样本数据的最终运行状态。

步骤三中，采集器随机采集数据集合中的少于等于总数据量5％的样本数据作为训练子集，同时随机采集验证样本数据作为验证子集(具体样本数量可根据情况设置)，重复采集多次，遍历整个数据集合；

采集器通过Sampler函数(Pytorch环境下的集成函数)实现。以上过程用于模拟小样本条件下的测试过程。同时，应保证训练子集的数量与测试过程中的训练样本数量相同。

步骤四中，特征拼接采用Concatenate函数(Pytorch环境下的集成函数)将特征提取器提取的不同运行状态训练数据与测试数据的特征拼接起来，作为关联网络模型的下一步输入。

步骤五中，带有注意机制辅助的判别器是通过卷积神经网络来判别训练子集以及验证子集内不同运行状态样本数据的关联程度，进而寻找出验证子集内与训练子集关联程度最大的样本数据，并将其关联分数最高的运行状态作为最终的判别结果。

带有注意机制辅助的判别器的计算公式如下：

式中，X_i表示来自于训练子集的样本数据；X_j表示来自于验证子集的样本数据；r_i,j表示X_i与X_j的关联程度，取最大值作为样本数据的最终判别结果；f_σ为带有注意机制的辅助分类器；为未经过添加注意机制的分类器；σ_c为通道注意力参数；σ_s为空间注意力参数；C(·,·)为特征拼接操作；g_φ为判别器；K表示数据集中包含不同运行状态数据的类别总数。

采用最小均方误差作为损失函数来更新网络参数，计算公式如下：

其中，m为训练子集内样本数据的个数；n为验证子集内样本数据的个数；Y_i为真实标签；Y_j为预测标签。为了使得关联程度分数可以回归到一个整数值，可以进行如下操作，当预测标签对应真实标签的概率值较高时，关联分数记为1；当预测标签对应真实标签的概率值较低时，关联分数记为0。

采用Adam优化器进行网络参数的优化，该优化器为Momentum算法和RMSprop算法的集成。其计算公式如下：

v_dw＝β₁v_dw+(1-β₁)dW

v_db＝β₁v_db+(1-β₁)db

s_dw＝β₂s_dw+(1-β₂)dW²

s_db＝β₂s_db+(1-β₂)db²

式中，v_dw、v_db、s_dw、s_db分别是Momentum算法和RMSprop算法损失函数在前t-1轮迭代过程中累积的梯度和梯度动量；β为梯度累积的一个指数；α为学习率；ε为平滑因子，一般取一个微小正数；W为网络的权重矩阵；b为网络的偏置。

步骤六中，Batch normalization参数正则化方法的具体方法如下：

对于输入数据X＝{X₁,X₂,...,X_m}，首先计算数据均值m为每一条输入数据中数据点的个数，X_i为输入数据中的第i个数据点；

计算数据方差

进行批规范化得到新的数据中的第i个数据点为其中，η为防止发生除零错误而设置的微小正数；

进行尺度变换和偏移：α和β为网络自身在训练过程中学习到的参数。

步骤八中，利用已训练好的最优权重作为网络的参数来测试数据测试集中的样本数据，具体操作流程与训练过程一致。在数据测试集中选择总数据量5％或者更少的样本数据作为训练集，其余作为测试集，数据测试集可以完全不同于数据训练集，即测试集与训练集的数据可以来自于不同转速、不同载荷以及不同运行环境的机械设备。无需对网络进行二次训练，直接输出关联程度最大标签作为测试数据的最终标签，从而实现小样本数据条件下的智能故障诊断的目的。

与现有技术相比，本发明使用注意机制和元学习方法建立了关联网络模型，对机械信号进行短时傅里叶变换，得到其时频谱图，进一步从中进行特征提取和运行状态识别，能够有效地挖掘其中蕴藏的丰富故障信息。本发明方法能够自适应地训练出一种伪距离来评价相关数据之间的相似度，无需明确的数学公式定义，可以获得较高的机械设备故障诊断准确率。从而摆脱了传统诊断方法中特征提取过程对人工经验的依赖性以及现有智能故障诊断算法对大量训练数据的依赖性，切实解决小样本数据条件下对机械设备故障诊断的难题。本发明不同于需要特征提取与优化的传统智能诊断方法，本发明直接将同一规格化处理后数据作为网络输入，省去了花费于特征提取优化的人力物力；本发明仅利用少量或者极少量的数据去训练，从而得到一个通用性高，泛化能力强的网络模型；本发明使用注意机制对网络进行优化，极大缩短了网络训练时间，并且提高了状态识别准确率；本发明的网络模型无需进行二次或者多次训练，可以通过已训练好的最优权重直接应用于其他的故障诊断场景，进而获得较高的状态识别准确率。

附图说明

图1为本发明小样本数据下使用注意机制和元学习方法的关联网络模型用于机械设备故障诊断的智能方法的流程图；

图2为本发明使用注意机制和元学习方法的关联网络模型的结构图；

图3为使用本发明对30Hz转速下某包含三种轴承运行状态的数据集进行状态分类的结果图；

图4为使用本发明对混有三种不同转速(10Hz、20Hz、30Hz)下某包含三种轴承运行状态的数据集进行状态分类的结果图；

图5为使用本发明训练所使用的某包含三种轴承运行状态的数据集样本示例图，其中(a)为10Hz转速下正常状态的时频谱图；(b)为10Hz转速下内圈故障的时频谱图；(c)为10Hz转速下外圈故障的时频谱图；(d)为20Hz转速下正常状态的时频谱图；(e)为20Hz转速下内圈故障的时频谱图；(f)为20Hz转速下外圈故障的时频谱图；(g)为30Hz转速下正常状态的时频谱图；(h)为30Hz转速下内圈故障的时频谱图；(i)为30Hz转速下外圈故障的时频谱图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明对采集到的机械信号进行短时傅里叶变换，得到其时频谱图并进行同一规格化处理；建立基于注意机制和元学习方法的关联网络模型；利用采集器对数据训练集划分，从而达到模拟测试过程的目的；特征提取器对划分好的数据子集进行特征提取和特征拼接，作为网络下一步的输入；带有注意机制的辅助分类器使得网络更加关注于关联性较大的特征，从而提高网络的训练速度和训练准确度；基于卷积神经网络框架的判别器用于判断机械数据的运行状态，从而训练出一种自适应的伪距离用于评价不同运行状态数据之间的关联性；最终利用已训练好的最优网络权重和少量或极少量的训练数据实现对于小样本数据下的机械设备智能故障诊断。

实施例：

以某电机轴承故障数据集为例进行说明。该数据集包含正常、内圈故障、外圈故障三种轴承运行状态的数据，同时，分别在三种转速(10Hz、20Hz、30Hz)下采集相应运行状态的机械信号，每种转速下每种运行状态包含155条样本，总共包含1395条样本。取其中30Hz转速下的15条样本作为训练数据，剩余450条样本作为测试数据，构建为同转速下的数据集；取其中混有三种转速的45条样本作为训练数据，剩余1350条样本作为测试数据，构建为混转速下的数据集。训练样本数据量仅占总样本数据量的3.2％。

如图1所示，本发明包括以下步骤：

步骤1：首先将获取到的数据集进行短时傅里叶变换得到其时频图，然后使用Resize函数(Pytorch环境下集成函数)将时频谱图的长度、宽度剪裁成同一大小，最后使用零均值规范化进行处理，计算式为：

式中，x_i为每条样本数据的时域信号；ω(·)为时间窗口，该过程所选用的时间窗口为汉宁窗，窗长设置为512。n为每个时频谱图中像素点个数；P_i为时频谱图中第i个像素的像素值；为每个时频谱图的均值；s为每个时频图的标准差；X_i为零均值规范化处理后的新时频谱图中的第i个像素值。

步骤2：建立基于注意机制和元学习方法的关联神经网络模型，模型具体结构参见图2，该神经网络模型由以下几个子网络构成。特征提取器由4层卷积层和2层最大池化层构成，每个池化层连接于前两个卷积层之后，卷积核的大小设置为3×3，用于提取不同运行状态数据的特征。

带有注意机制的辅助分类器由4层卷积层、2层平均池化层和2层最大池化层构成，前两个卷积层后分别连接一个平均池化层和一个最大池化层，后两个卷积层后分别连接一个平均池化层和一个最大池化层，卷积核大小的设置为3×3，用于强调网络更加关注于关联性较大的特征，从而提高网络的训练速度以及训练准确度。带有注意机制的辅助分类器功能实现主要包括两个部分，第一部分为通道注意M_c，其能够对通道进行选择，另一部分为空间注意M_s，其能够选取图像空间中所需注意的区域，对于输入的样本，经过卷积注意机制模块后的输出如下：

式中，X为特征提取器拼接后的特征输入图像；为卷积操作。其中M_c、M_s可表示为如下：

式中，M_c为通道注意；M_s为空间注意；σ为注意力参数；W为权重矩阵；AvgPool为平均池化；MaxPool为最大池化；f^3×3表示大小为3×3的卷积核。

判别器由2层卷积层、2层最大池化层和2层全连接层构成的卷积神经网络，每个池化层连接于每个卷积层之后，卷积核大小的设置为3×3，用于判别测试样本数据的最终运行状态。

步骤3：对于步骤2建立的关联神经网络模型，利用采集器随机采集数据训练集中的15条(混转速数据集采集45条)样本数据作为训练子集，同时随机采集验证样本数据作为验证子集，该过程应重复采集多次，从而保证遍历整个数据训练集。采集器的功能通过Sampler函数(Pytorch环境下的集成函数)实现。

步骤4：利用特征提取器对划分好的数据训练集进行特征提取。利用Concatenate函数(Pytorch环境下的集成函数)将特征提取器提取的不同运行状态训练数据与测试数据的特征拼接起来，作为关联网络模型的下一步输入。

步骤5：通过带有注意机制的辅助分类器和判别器，利用步骤4提取的数据特征对关联网络进行训练，并采用最小均方误差作为损失函数、Adam作为优化器来更新网络参数，从而得到一组最优权重。判别器的计算公式如下：

式中，X_i表示来自于训练子集的样本数据；X_j表示来自于验证子集的样本数据；r_i,j表示X_i与X_j的关联程度，取最大值作为样本数据的最终判别结果；f_σ为带有注意机制的辅助分类器；为未经过添加注意机制的分类器；σ_c为通道注意力参数；σ_s为空间注意力参数；C(·,·)为特征拼接操作；g_φ为判别器；K表示数据集中包含不同运行状态数据的类别总数。

损失函数的计算公式如下：

其中，m为训练子集内样本数据的个数；n为验证子集内样本数据的个数；Y_i为真实标签；Y_j为预测标签。为了使得关联程度分数可以回归到一个整数值，可以进行如下操作，当预测标签对应真实标签的概率值较高时，关联分数记为1；当预测标签对应真实标签的概率值较低时，关联分数记为0。

步骤6：对步骤2所建立的关联网络模型，各个子网络使用Batch normalization参数正则化方法防止训练过拟合及稳定训练过程，从而使网络更快速更稳定完成其特定工作。Batchnormalization方法分为4个步骤：

对于输入数据X＝{X₁,X₂,...,X_m}，首先计算数据均值m为每一条输入数据中数据点的个数，X_i为输入数据中的第i个数据点；

接下来，计算数据方差

然后进行批规范化得到新的数据中的第i个数据点为其中,η为防止发生除零错误而设置的微小正数；

最后进行尺度变换和偏移：α和β为网络自身在训练过程中学习到的参数。

步骤7：对步骤5的训练过程进行多次迭代直达满足预设要求，取验证准确度最高的一组权重作为最优权重；

步骤8：利用步骤7所获得的最优权重作为测试时关联网络的网络参数，利用步骤1得到的数据测试集中的15条(混转速数据集采集45条)样本数据作为训练集，其余为测试集进行测试，该过程无需对网络参数进行微调。模型输出为每一条数据所对应的不同运行状态的关联程度分数，取最大的关联程度分数作为该条数据最终标签；

步骤9：采用步骤2所设计的基于注意机制和元学习方法的关联神经网络模型，使用总数据量3.2％的实际机械振动信号进行训练，从而训练出一种网络来比对已知运行状态数据和未知运行状态数据的关联程度，最终使得关联网络模型能够获得95％以上的状态分类正确率，实现小样本数据下的对机械设备的智能故障诊断。

在图3、4中，数字0代表正常状态，数字1代表内圈故障状态，数字2代表外圈故障状态。如图3所示，本发明在小样本数据下实现了对30Hz转速下某包含三种轴承运行状态的数据集的正确分类。进一步地，如图4所示，本发明在小样本数据下实现了对混转速下某包含三种轴承运行状态的数据集的正确分类。图5给出了本发明训练过程中所使用的不同转速下的数据集样本。表1给出了针对以上两种不同条件下的数据集采用本发明以及其他现有智能故障诊断算法进行状态识别的对比结果。

表1 本发明与其他现有智能故障诊断方法针对某电机轴承故障数据集运行状态识别的对比结果。

该方法适用于小样本数据下的机械设备故障诊断，仅使用总数据量5％或者更少的实际机械振动信号进行训练，从而训练出一种自适应的伪距离来比对已知运行状态数据和未知运行状态数据的关联程度，最终使得关联网络模型能够获得95％以上的运行状态分类准确率，提高了小样本数据下对机械设备故障诊断的准确率，同时，该方法泛化能力好，通用性强，针对不同型号的机械设备，无需进行二次训练，缩减训练网络所耗费的时间，加快故障诊断的效率。

Claims (10)

1.基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，包括以下步骤：

步骤一，采集各种运行状态下的机械振动信号，对获取到的振动信号进行短时傅里叶变换，得到振动信号的时频谱图，并将时频谱图进行同一规格化处理，最终作为数据集合；

步骤二，建立基于注意机制和元学习方法的关联网络模型，该网络模型包含四个网络子结构，第一个为样本随机采集器，第二个为基于卷积网络框架的特征提取器，第三个为带有注意机制的辅助分类器，第四个为基于卷积网络框架的判别器；

步骤三，对于步骤二建立的关联网络模型，利用采集器将步骤一得到的数据集合划分为训练子集和验证子集，用于模拟小样本条件下的测试过程；

步骤四，利用基于卷积网络框架的特征提取器对划分好的数据训练集进行数据特征提取，并进行特征拼接；

步骤五，通过带有注意机制的辅助分类器和带有注意机制辅助的判别器，利用步骤四提取的数据特征对关联网络模型进行训练并更新辅助分类器和判别器的网络参数；

步骤六，对步骤二所建立的关联网络模型中的各个子网络使用Batch normalization参数正则化方法防止训练过拟合及稳定训练过程；

步骤七，对步骤五的训练过程进行多次迭代直达满足预设要求，取验证准确度最高的一组权重作为最优权重；

步骤八，将最优权重作为测试时关联网络的网络参数，利用步骤一得到的数据集合中少于等于总数据量5％的样本数据作为训练集，其余为测试集进行测试，模型输出为每一条数据所对应的不同运行状态的关联程度分数，取最大的关联程度分数作为该条数据最终标签；

步骤九，采用步骤二的关联网络模型，使用总数据量5％或者更少的实际机械振动信号进行训练，从而训练出一种自适应网络来比对已知运行状态数据和未知运行状态数据的关联程度，最终使得关联网络模型能够获得95％以上的运行状态分类准确率，实现小样本数据下的对机械设备的智能故障诊断。

2.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤一中，同一规格化预处理方法如下：

首先使用短时傅里叶变换得到其时频图，然后使用Resize函数将时频谱图的长度、宽度剪裁成同一大小，最后使用零均值规范化进行处理。

3.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤二中，特征提取器由四层卷积层和两层最大池化层构成，每个池化层连接于前两个卷积层之后，特征提取器用于提取不同运行状态数据的特征。

4.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤二中，带有注意机制的辅助分类器由四层卷积层、两层平均池化层和两层最大池化层构成，前两个卷积层后分别连接一个平均池化层和一个最大池化层，后两个卷积层后分别连接一个平均池化层和一个最大池化层，带有注意机制的辅助分类器用于强调网络更加关注于关联性较大的特征。

5.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤二中，判别器由两层卷积层、两层最大池化层和两层全连接层构成的卷积神经网络，每个池化层连接于每个卷积层之后，判别器用于判别测试样本数据的最终运行状态。

6.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤三中，采集器随机采集数据集合中的少于等于总数据量5％的样本数据作为训练子集，同时随机采集验证样本数据作为验证子集，重复采集多次，遍历整个数据集合；

采集器通过Sampler函数实现。

7.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤四中，特征拼接采用Concatenate函数。

8.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤五中，带有注意机制辅助的判别器是通过卷积神经网络来判别训练子集以及验证子集内不同运行状态样本数据的关联程度，进而寻找出验证子集内与训练子集关联程度最大的样本数据，并将其关联分数最高的运行状态作为最终的判别结果。

9.根据权利要求8所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，带有注意机制辅助的判别器的计算公式如下：

r_i,j＝g_φ(C(f_σ(X_i),f_σ(X_j))),i＝1,2,...,K

式中，X_i表示来自于训练子集的样本数据；X_j表示来自于验证子集的样本数据；r_i,j表示X_i与X_j的关联程度，取最大值作为样本数据的最终判别结果；f_σ为带有注意机制的辅助分类器；为未经过添加注意机制的分类器；σ_c为通道注意力参数；σ_s为空间注意力参数；C(·,·)为特征拼接操作；g_φ为判别器；K表示数据集中包含不同运行状态数据的类别总数；

采用最小均方误差作为损失函数来更新网络参数，计算公式如下：

其中，m为训练子集内样本数据的个数；n为验证子集内样本数据的个数；Y_i为真实标签；Y_j为预测标签；为了使得关联程度分数可以回归到一个整数值，可以进行如下操作，当预测标签对应真实标签的概率值较高时，关联分数记为1；当预测标签对应真实标签的概率值较低时，关联分数记为0；

采用Adam优化器进行网络参数的优化，该优化器为Momentum算法和RMSprop算法的集成，其计算公式如下：

v_dw＝β₁v_dw+(1-β₁)dW

v_db＝β₁v_db+(1-β₁)db

s_dw＝β₂s_dw+(1-β₂)dW²

s_db＝β₂s_db+(1-β₂)db²

式中，v_dw、v_db、s_dw、s_db分别是Momentum算法和RMSprop算法损失函数在前t-1轮迭代过程中累积的梯度和梯度动量；β为梯度累积的一个指数；α为学习率；ε为平滑因子，一般取一个微小正数；W为网络的权重矩阵；b为网络的偏置。

10.根据权利要求1所述的基于注意机制元学习模型的小样本下故障智能诊断方法，其特征在于，步骤六中，Batch normalization参数正则化方法的具体方法如下：

对于输入数据X＝{X₁,X₂,...,X_m}，首先计算数据均值m为每一条输入数据中数据点的个数，X_i为输入数据中的第i个数据点；

计算数据方差

进行批规范化得到新的数据中的第i个数据点为其中，η为防止发生除零错误而设置的微小正数；

进行尺度变换和偏移：α和β为网络自身在训练过程中学习到的参数。