CN114997211A - 一种基于改进对抗网络和注意力机制的跨工况故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于改进对抗网络和注意力机制的跨工况故障诊断方法，对采集得到的不同工况故障振动信号进行数据预处理，标记标签，划分源域和目标域数据集；源域数据预训练，通过深特征提取器进行故障特征提取，再将学习好的源域特征输入Softmax分类器进行特征分类训练；通过改进对抗网络训练目标域数据，使得目标域数据与源域数据在数据分布上差异最小化；目标域数据测试，将训练得到的目标域特征输入源域分类器中，实现故障信号跨域诊断。本发明通过改进对抗网络实现故障的跨工况诊断，可针对一个或同时针对多个目标域数据进行训练，有效缩小故障诊断网络训练所需时间；且在目标域特征提取器中加入注意力机制，提高重要特征的权重，优化数据结构。

Description

一种基于改进对抗网络和注意力机制的跨工况故障诊断方法

技术领域

本发明属于旋转机械故障诊断领域，具体涉及一种基于改进对抗网络和注意力机制的跨工况故障诊断方法。

背景技术

近年来，机械系统朝着精密化、高速化的方向不断发展，机械设备的安全性、可靠性受到更多关注，对故障信号进行及时监测和诊断能够有效提高经济效益和社会效益，在很大程度上保障人身安全，防止重大事故发生。然而机械设备产生的数据量呈指数趋势上升，传统故障诊断方法无法处理如此庞大的数据量，智能故障诊断方法应运而生，并逐步成为了一大研究热点，尤其是多伦多大学Hinton教授提出的深度学习思想，更是引发了人工智能领域的又一次革新。相比传统机器学习，深度学习具有深层的神经网络结构，能够加强特征学习能力，获取到更深层次的特征，因此模型的效率和准确率都有所进步，目前常见的深度学习模型包括深度自编码网络、深度卷积神经网络和稀疏滤波网络，深度学习现已被广泛应用到计算机视觉、强化学习、生成模型等多个领域。近年来，许多学者也成功将深度学习模型应用在故障诊断中。

随着深度学习的不断发展，现有模型对于同工况的分类任务都取得了不错的成果，因此许多学者倾向于解决不同工况之间的跨域诊断问题，如何在源域和目标域样本分布有差异的情况下，利用源域训练好的网络模型测试目标域数据成为大家关注的焦点所在。其中一种研究策略是通过改进神经网络的模型结构和参数，降低模型对于源域信号的过拟合，以此提升模型的鲁棒性和跨域能力。另一种跨域诊断策略是缩小目标域特征与源域特征的数据分布差异，使之能共用同一个分类模型。

发明内容

发明目的：针对旋转机械关键零部件故障数据在不同工况间的跨域诊断问题，本发明提出一种基于改进对抗网络和注意力机制的跨工况故障诊断方法，实现故障数据的跨域诊断。

技术方案：本发明所述的一种基于改进对抗网络和注意力机制的跨工况故障诊断方法，具体包括以下步骤：

(1)对预先获取的不同工况故障振动信号进行数据预处理，标记标签，划分源域和目标域数据集；

(2)构建故障诊断网络；所述故障诊断网络包括特征提取器、改进对抗网络和Softmax分类器；所述改进对抗网络将原生成对抗网络中的生成器替换成特征提取器用来提取目标域信号特征，保留原生成对抗网络中的判别器，用以区分源域特征及目标域特征；

(3)源域数据预训练：通过特征提取器进行故障特征提取，再将学习好的源域特征输入Softmax分类器进行特征分类训练；

(4)通过改进对抗网络训练目标域数据，使得目标域数据与源域数据在数据分布上差异最小化；

(5)目标域数据测试，将步骤(4)中训练得到的目标域特征输入Softmax分类器中，实现故障信号跨域诊断。

进一步地，步骤(1)所述数据预处理通过加入一个滑动窗口，以固定的步长从故障振动信号中截取以获得足够数量的样本，实现数据增强；所述窗口步长计算公式如下：

式中，S表示步长，L_all表示原始信号长度，L_sample表示样本长度，n_class表示每组故障的样本数。

进一步地，所述步骤(3)实现过程如下：

构建特征提取器E，特征提取器的模型采用五层深度卷积特征提取结构，每个卷积块中都包含卷积层、ReLU激活函数和最大值池化层；在五层卷积模块后接全连接层，将所提取的局部特征连接铺开，成为一维特征向量；

源域中的特征提取器E_s和Softmax分类器C预训练，输入带标签的源域信号

其中

为源域信号数据，

为该数据对应的标签，k为样本故障类别数；经过源域特征提取器E_s训练得到源域特征向量，输入分类器C中进行分类；采用交叉熵损失函数进行故障诊断网络评价，Adam优化器进行模型参数优化，训练的目标为损失函数最小化，损失函数越小，表示输出值与标签对应关系越好，优化函数如下：

式中，min为取最小值函数，L_E&C为损失函数，N为样本总量，l{·}为指示器函数，当参数为真时返回值为1。

进一步地，所述步骤(4)实现过程如下：

构建目标域特征提取器E_t，目标域中的特征提取器在源域特征提取器E_s的征提取模块之后，全连接层之前增加注意力机制层；构造判别器D，每层都由全连接层构成，用来区分目标域特征向量和源域特征向量；

对目标域特征提取器E_t与判别器D的对抗训练，目标域特征提取器E_t的输入为目标域信号数据x_t，输出目标域特征向量；判别器D训练时，先输入带标签的源域和目标域特征，在有监督的环境下进行预训练，再输入带有源域标签的目标域数据进行混淆；判别器D和目标域特征提取器E_t的优化函数为：

式中，min为取最小值函数，L_D为判别器损失函数，

为源域信号数据分布期望，log为对数函数，x_s为源域信号数据，

为目标域信号数据分布期望，x_t为目标域信号数据；

式中，min为取最小值函数，L_Et为目标域中特征提取器损失函数，

为目标域信号数据分布期望，x_t为目标域信号数据。

进一步地，所述步骤(4)通过Softmax预测故障类别的概率，如下所示：

式中，f(t)表示目标域信号的潜在表现，C_k(·)表示由Softmax产生的第k类故障的输出。

有益效果：与现有技术相比，本发明的有益效果：本发明提出的基于改进对抗网络和注意力机制的方法能够有效地缩小源域特征和目标域特征的数据分布，实现故障数据的跨域诊断；同时，本发明不仅针对单目标域跨域任务具有较高的准确率，而且能处理多目标域分类任务，缩小模型针对不同目标数据的训练时间。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明提出一种基于改进对抗网络和注意力机制的跨工况故障诊断方法，诊断对象包括齿轮、轴承和传动轴等，通过试验采集诊断对象不同转速下的故障振动信号，输入故障诊断网络模型中进行特征学习和故障模式分类。构建包括特征提取器、改进对抗网络和Softmax分类器的故障故障诊断网络；通过目标域特征提取器和判别器的对抗训练，使得目标域特征与源域特征之间分布差异最小化，从而将源域分类器拓展到目标域数据上，实现跨工况数据故障诊断。同时，在特征提取器中加入注意力机制层，提高重要特征的权重，优化数据结构。注意力机制是模仿人脑注意力而产生的一种优化策略，通过评价当前要素对于输出结果的影响力，构建注意力权值矩阵，从而使得故障诊断网络在训练过程中更加关注显著的、重要的特征，减少非必要特征产生的计算量。如图1所示，具体包括以下步骤：

步骤1：对预先获取的不同工况故障振动信号进行数据预处理，标记标签，划分源域和目标域数据集。

以滚动轴承裂纹故障诊断为例，在滚动轴承的内圈、外圈和滚动体上分别设置轻度、中度和重度三种不同程度的裂纹故障，用线切割技术在轴承表面加工裂纹制造不同位置和不同程度的故障件。在旋转机械振动测试试验台上，设置四种不同转速，分别为1797rpm、1772rpm、1750rpm和1730rpm，获取多种振动信号，作为不同工况故障振动信号。原始数据总长度为256000个采样点，取样本长度为4096时，只能得到约62个样本，这对于训练而言是远远不够的，因此要进行数据增强。通过加入一个滑动窗口，以固定的步长从原始信号中截取以获得足够数量的样本，由于原始信号是时间序列，因此截取的数据与原数据有着相同的分布，并不会改变信号特征。窗口步长计算公式如下：

式中，S表示步长，L_all表示原始信号长度，L_sample表示样本长度，n_class表示每组故障的样本数。

将每组故障样本数设置为400，即可得到窗口步长S的取值为630，通过滑动窗口截取原始数据最后可以得到4000个样本。将每组故障样本打上标签，再以1:1的比例划分得到2000个训练集样本和2000个测试集样本对信号进行切片形成故障样本。

步骤2：源域数据预训练：通过特征提取器进行故障特征提取，再将学习好的源域特征输入Softmax分类器进行特征分类训练。具体过程如下：

构建特征提取器E，该模型采用五层深度卷积特征提取结构，每个卷积块中都包含卷积层(ConvN)、ReLU激活函数和最大值池化层(MaxpoolN)，卷积层有效提取特征的同时激活函数保证了特征的非线性，池化操作进行了特征降维，缩小参数矩阵的尺寸。在五层卷积模块后接全连接层(FcN)，将前面所提取的局部特征连接铺开，成为一维特征向量。构造分类器C，采用Softmax分类器。Softmax函数又称归一化指数函数，是逻辑二分类函数的扩展算法，它通过计算概率的形式展示多分类结果，其主要目的是区分不同故障的类型，因此输出维度k与故障类别数相同。

源域特征提取器E_s和分类器C预训练，输入带标签的源域信号

其中

为源域信号数据，

为该数据对应的标签，k为样本故障类别数。经过源域特征提取器E_s训练得到源域特征向量，输入分类器C中进行分类。采用交叉熵损失函数进行模型评价，Adam优化器进行模型参数优化，训练的目标为损失函数最小化，损失函数越小，表示输出值与标签对应关系越好，优化函数如下：

式中，min为取最小值函数，L_E&C为损失函数，N为样本总量，l{·}为指示器函数，当参数为真时返回值为1，log为对数函数，x_s为源域信号数据。

步骤3：源域和目标域特征对抗训练：通过改进对抗网络训练目标域数据，使得目标域数据与源域数据在数据分布上差异最小化。

在生成对抗网络中，生成器与判别器相互制衡进行对抗训练，在迭代学习中生成了接近真实信号的模拟数据。将原本生成对抗网络中的生成器替换成特征提取器用来提取目标域信号特征，保留原网络中的判别器，用以区分源域特征及目标域特征。具体过程如下：

对抗性训练的关键思想是基于目标特征提取器和判别器之间的博弈。更具体地说，判别器模型通过训练达到能区分源域信号特征和目标域信号特征的目的，与此同时目标特征提取器通过训练以产生源域特征不变的目标特征来最大化判别器的损失。因此，利用源域特征训练的分类器可以很好地推广到目标域特征上。

此外，现有的跨域诊断方法一次只能推广到单个域，对于目标域或源域中的任何更改，都需要重新训练模型。而本发明所提出的改进对抗网络模型，通过绑定所有目标特征提取器的权重来训练多目标混合信号特征，使用目标特征提取器的公共权重，将任何目标域特征映射到源域特征中，保持其不变性。因此，可以同时处理多种工况，无论是对于单个目标域信号进行训练，还是针对多个目标域混合信号进行训练，都能取得较好的训练效果。

同时，在目标域数据的训练过程中加入注意力机制，这是模仿人脑注意力而产生的一种优化策略，通过评价当前要素对于输出结果的影响力，构建注意力权值矩阵，从而使得网络在训练过程中更加关注显著的、重要的特征，减少非必要特征产生的计算量。注意力机制通过赋予特征不同的权值，提高重要特征的权值，优化数据结构，从而更高效准确提取故障特征，进行故障分类。

构建目标域特征提取器E_t，该模型结构在源域特征提取器E_s的基础上增加了注意力机制层，具体位置在特征提取模块之后，全连接层之前。构造判别器D，判别器的模型结构相对简单，每层都由全连接层构成，用来区分目标域特征向量和源域特征向量，因此输出是2维的。

目标域特征提取器E_t与判别器D的对抗训练，目的在于实现目标域分布和源域分布之间的差异最小化。目标域特征提取器E_t参数初始化时可以直接采用训练好的源域特征提取器E_t的模型参数，避免重复的工作。目标域特征提取器E_t的输入为目标域信号数据x_t，输出目标域特征向量。判别器D训练时，先输入带标签的源域和目标域特征，在有监督的环境下进行预训练，再输入带有源域标签的目标域数据进行混淆，以此提高判别器的分辨能力。判别器D和目标域特征提取器E_t的优化函数为：

式中，min为取最小值函数，L_D为判别器损失函数，

为源域信号数据分布期望，log为对数函数，x_s为源域信号数据，

为目标域信号数据分布期望，x_t为目标域信号数据。

式中，

为目标域特征提取器损失函数，

为目标域信号数据分布期望，x_t为目标域信号数据。

步骤4：目标域数据测试：将步骤3中训练得到的目标域特征输入Softmax分类器中，实现故障信号跨域诊断。

将训练好的目标域特征数据输入源域分类器中进行故障分类，测试模型对于故障跨域分类的准确率。通过Softmax预测故障类别的概率，如下所示：

式中，f(t)表示目标域信号的潜在表现，C_k(·)表示由Softmax产生的第k类故障的输出，y_i表示预测故障类别。

以滚动轴承裂纹故障为例，验证本发明提出方法的正确性。将试验采集的滚动轴承故障振动信号输入到本发明所提模型中进行处理，故障类型、标签和数据集分布如表1所示。

表1轴承数据集参数

诊断结果如表2所示，最终的试验结果以训练准确率的形式展示，每组试验进行十次，取均值作为最终结果。

表2轴承数据集诊断准确率

从表2可以看出，本发明所提的改进对抗网络模型在单目标域跨工况分类训练中得到了平均98.4％的预测准确率，最高准确率出现在D—>C跨域任务中，为99.6％；最低准确率为97.1％，出现在A—>D跨域任务中。这也是可以解释的，相比其他工况，D与A之前跨越的转速较大，工况差距导致信号数据分布差距大，跨域时的分类能力相对较低。多目标域跨工况分类训练准确率平均值为96.3％，相比之下，单目标域训练结果更佳。

通过对滚动轴承数据集数据进行跨域任务的训练，结果表明，本发明所提基于改进对抗网络和注意力机制的旋转机械零部件故障跨域诊断模型能够进行滚动轴承故障振动信号的跨域诊断，并取得了较好的分类结果。

Claims (5)

1.一种基于改进对抗网络和注意力机制的跨工况故障诊断方法，其特征在于，包括以下步骤：

(1)对预先获取的不同工况故障振动信号进行数据预处理，标记标签，划分源域和目标域数据集；

(2)构建故障诊断网络；所述故障诊断网络包括特征提取器、改进对抗网络和Softmax分类器；所述改进对抗网络将原生成对抗网络中的生成器替换成特征提取器用来提取目标域信号特征，保留原生成对抗网络中的判别器，用以区分源域特征及目标域特征；

(3)源域数据预训练：通过特征提取器进行故障特征提取，再将学习好的源域特征输入Softmax分类器进行特征分类训练；

(4)通过改进对抗网络训练目标域数据，使得目标域数据与源域数据在数据分布上差异最小化；

(5)目标域数据测试，将步骤(4)中训练得到的目标域特征输入Softmax分类器中，实现故障信号跨域诊断。

2.根据权利要求1所述的基于改进对抗网络和注意力机制的跨工况故障诊断方法，其特征在于，步骤(1)所述数据预处理通过加入一个滑动窗口，以固定的步长从故障振动信号中截取以获得足够数量的样本，实现数据增强；所述窗口步长计算公式如下：

式中，S表示步长，L_all表示原始信号长度，L_sample表示样本长度，n_class表示每组故障的样本数。

3.根据权利要求1所述的基于改进对抗网络和注意力机制的跨工况故障诊断方法，其特征在于，所述步骤(3)实现过程如下：

构建特征提取器E，特征提取器的模型采用五层深度卷积特征提取结构，每个卷积块中都包含卷积层、ReLU激活函数和最大值池化层；在五层卷积模块后接全连接层，将所提取的局部特征连接铺开，成为一维特征向量；

源域中的特征提取器E_s和Softmax分类器C预训练，输入带标签的源域信号

其中

为源域信号数据，

为该数据对应的标签，k为样本故障类别数；经过源域特征提取器E_s训练得到源域特征向量，输入分类器C中进行分类；采用交叉熵损失函数进行故障诊断网络评价，Adam优化器进行模型参数优化，训练的目标为损失函数最小化，损失函数越小，表示输出值与标签对应关系越好，优化函数如下：

式中，min为取最小值函数，L_E&C为损失函数，N为样本总量，l{·}为指示器函数，当参数为真时返回值为1。

4.根据权利要求1所述的基于改进对抗网络和注意力机制的跨工况故障诊断方法，其特征在于，所述步骤(4)实现过程如下：

构建目标域特征提取器E_t，目标域中的特征提取器在源域特征提取器E_s的征提取模块之后，全连接层之前增加注意力机制层；构造判别器D，每层都由全连接层构成，用来区分目标域特征向量和源域特征向量；

对目标域特征提取器E_t与判别器D的对抗训练，目标域特征提取器E_t的输入为目标域信号数据x_t，输出目标域特征向量；判别器D训练时，先输入带标签的源域和目标域特征，在有监督的环境下进行预训练，再输入带有源域标签的目标域数据进行混淆；判别器D和目标域特征提取器E_t的优化函数为：

式中，min为取最小值函数，L_D为判别器损失函数，

为源域信号数据分布期望，log为对数函数，x_s为源域信号数据，

为目标域信号数据分布期望，x_t为目标域信号数据；

式中，min为取最小值函数，

为目标域中特征提取器损失函数，

为目标域信号数据分布期望，x_t为目标域信号数据。

5.根据权利要求1所述的基于改进对抗网络和注意力机制的跨工况故障诊断方法，其特征在于，所述步骤(4)通过Softmax预测故障类别的概率，如下所示：

式中，f(t)表示目标域信号的潜在表现，C_k(·)表示由Softmax产生的第k类故障的输出。

Images