CN113536697A - 一种基于改进残差网络和wgan的轴承剩余寿命预测方法 - Google Patents

Abstract

本发明涉及一种基于改进残差网络和WGAN的轴承剩余寿命预测方法，采集轴承在不同工况下的原始振动信号，划分为源域信号和目标域信号；将源域信号和目标域信号发送到改进残差网络中提取深度时序特征；构造WGAN模型，模型包含特征生成器和领域判别器，将改进残差网络作为特征生成器，领域判别器判别特征生成器的输出特征来自的领域，如果领域判别器难以分辨，则说明特征生成器成功地学习到了目标域和源域中序列的共同的特征空间；将共同的特征空间送给全连接神经网络构造轴承剩余寿命预测的模型，实现目标轴承的剩余寿命的预测。本发明可以在变工况和强噪声干扰下，实现对滚动轴承振动特征的有效提取和迁移学习，从而实现对轴承剩余寿命的准确预测。

Description

一种基于改进残差网络和WGAN的轴承剩余寿命预测方法

技术领域

本发明涉及设备智能测控技术领域，尤其是指一种基于改进残差网络和WGAN的轴承剩余寿命预测方法。

背景技术

滚动轴承作为机械传动领域重要的部件，其性能的好坏往往决定了整个机械系统的使用寿命。因其重要性和故障率高的原因，近些年来关于如何对滚动轴承进行故障诊断和剩余寿命预测成为研究的热点。当前主流的剩余寿命RUL预测的方法有两类，一类是基于模型的，另一类是基于数据驱动的。基于模型的方式需要建立极为精确的数学或者物理模型来模拟轴承的退化趋势，因其建模的困难程度高，数据驱动的方式成为一种重要的RUL手段。

数据驱动的深度学习RUL预测方式通过获取数据、预处理数据、特征提取、模型训练等步骤建立起监测数据和剩余寿命之间的模型。基于深度学习的RUL预测主要有如下两点问题：一、由于滚动轴承其严峻的工作环境，往往监测的振动数据中掺杂着许多冗余的噪声信号，这对有效提取轴承本身振动信号的关键特征造成了很大的难度。二、现有的大多数研究，都是在轴承采集的故障数据充足，训练和测试数据独立同分布的前提下，但实际的工程环境下变工况的滚动轴承无法满足以上两点假设。因此，寻找一个有效信息丰富，泛化能力强的特征集，是基于深度学习的滚动轴承剩余寿命预测的一个长久的挑战。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中基于深度学习的轴承寿命预测存在的问题，本发明提供了一种基于改进残差神经网络和生成对抗WGAN的轴承剩余寿命预测，可以在变工况和强噪声干扰下，实现对滚动轴承振动特征的有效提取和迁移学习。

为解决上述技术问题，本发明提供了一种基于改进残差网络和WGAN的轴承剩余寿命预测方法，包括以下步骤：S1、采集轴承在不同工况下的原始振动信号，划分为源域信号和目标域信号；S2、将源域信号和目标域信号发送到改进残差网络中提取深度时序特征；S3、构造WGAN模型，模型包含特征生成器和领域判别器，将改进残差网络作为特征生成器，领域判别器判别特征生成器的输出特征来自的领域，如果领域判别器难以分辨，则说明特征生成器成功地学习到了目标域和源域中序列的共同的特征空间；S4、将共同的特征空间送给全连接神经网络构造轴承剩余寿命预测的模型，实现目标轴承的剩余寿命的预测。

在本发明的一个实施例中，在步骤S1中，将需要预测剩余寿命的轴承记为目标轴承，其中目标域信号为目标轴承工况下其他轴承的振动信号，源域信号为其他工况的轴承信号。

在本发明的一个实施例中，步骤S2中，所述改进残差网络包括标准残差模块和软阈值子网络，所述标准残差模块包括卷积层、激活函数、批标准化和恒等映射，在标准残差模块中引入了软阈值子网络用来抑制噪声在特征集中的表现。

在本发明的一个实施例中，引入软阈值子网络过程包括以下步骤：

S2-1、先将标准残差模块内部两次批标准化、两次Relu激活、两次卷积后的特征图进行取绝对值和全局平均池化处理，最终得到一个一维向量；

S2-2、将一维向量输入到一个全连接网络中，获得一个尺度化的参数向量z，通过sigmoid函数将这个尺度化参数向量控制到0～1的范围内，得到α，再将α尺度化向量乘以特征图绝对值的平均值，作为阈值τ；

S2-3、将学习到的阈值结合特征图x进行软阈值操作：

构建恒等映射，将跨层的输入和上述y作相加操作，最终得到输出特征图。

在本发明的一个实施例中，所述卷积层通过卷积操作对输入信号进行局部特征的提取，卷积层中每一个单元都是网络输入信号的局部窗口卷积的结果，构成一个局部连接，同时不同的卷积核提取不同的特征，构建出特征集的一个多通道的特征空间，每一层通道的特征都能够表征不同的学习方式，多通道则表示了丰富的特征信息。

在本发明的一个实施例中，所述批标准化能够解决数据进入网络中随着一层层的计算，特征的分布在训练过程中出现变化而导致训练困难的问题。

在本发明的一个实施例中，所述恒等映射能够解决在加深网络深度时，网络性能退化的问题。

在本发明的一个实施例中，步骤S3中，所述WGAN模型中用Wasserstein距离来衡量两个特征集之间的分布差异，在领域判别器下优化生成器使得Wasserstein距离缩小，就能有效拉近源域特征分布和目标域特征分布之间的距离。

在本发明的一个实施例中，所述Wasserstein距离和和改进残差网络的目标函数分别为：

特征提取器的优化目标变为最小化领域之间Wasserstein距离衡量的分布差异

在本发明的一个实施例中，利用源域提取的深度时序特征构建源域健康指示HI反映退化趋势，作为时序特征和剩余寿命的映射关系，以提取的源域和目标域的退化序列作为迁移对象输入领域判别器，领域判别器用来判别改进残差网络提取的深度时序特征的所属领域，其中领域判别器的目标函数为：

领域判别器的优化目标变为最大化Wasserstein距离衡量的分布差异。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，将不同工况下所有采集到的数据划分为源域和目标域作为输入，送给改进残差网络进行特征提取工作；其次，将特征图进行领域判别，从而进一步提取源域和目标域之间公共的特征关系；最后，将得到的公共特征集作为输入构建全连接回归预测模型，实现目标轴承寿命预测；与其他现有技术相比，本发明通过改进的残差神经网络解决了工程采集信号时强噪声对特征提取的影响，增强了网络的鲁棒性，利用WGAN生成对抗网络实现了滚动轴承的变工况条件下的领域自适应，进行迁移学习，提高了网络的变工况适应性。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的基于改进残差网络和WGAN的轴承剩余寿命预测方法的步骤流程图；

图2是本发明引入软阈值子网络过程的步骤流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1所示，本发明的基于改进残差网络和WGAN的轴承剩余寿命预测方法，包括以下步骤：

S1、采集轴承在不同工况下的原始振动信号，划分为源域信号和目标域信号；

S2、将源域信号和目标域信号发送到改进残差网络中提取深度时序特征；

S3、构造WGAN模型，模型包含特征生成器和领域判别器，将改进残差网络作为特征生成器，领域判别器判别特征生成器的输出特征来自的领域，如果领域判别器难以分辨，则说明特征生成器成功地学习到了目标域和源域中序列的共同的特征空间；

S4、将共同的特征空间送给全连接神经网络构造轴承剩余寿命预测的模型，实现目标轴承的剩余寿命的预测；

本发明将不同工况下所有采集到的数据划分为源域和目标域作为输入，送给改进残差网络进行特征提取工作；其次，将特征图进行领域判别，从而进一步提取源域和目标域之间公共的特征关系；最后，将得到的公共特征集作为输入构建全连接回归预测模型，实现目标轴承寿命预测；与其他现有技术相比，本发明通过改进的残差神经网络解决了工程采集信号时强噪声对特征提取的影响，增强了网络的鲁棒性，利用WGAN生成对抗网络实现了滚动轴承的变工况条件下的领域自适应，进行迁移学习，提高了网络的变工况适应性。

具体地，在步骤S1中，将需要预测剩余寿命的轴承记为目标轴承，其中目标域信号为目标轴承工况下其他轴承的振动信号，源域信号为其他工况的轴承信号。

本实施例中，所述步骤S2采用改进残差网络，所述改进残差网络包括原残差网络的标准残差模块和引入的软阈值子网络，所述标准残差模块包括卷积层、激活函数、批标准化和恒等映射，在标准残差模块中引入了软阈值子网络用来抑制噪声在特征集中的表现。

参照图2所示，引入软阈值子网络过程包括以下步骤：

S2-1、先将标准残差模块内部两次批标准化、两次Relu激活、两次卷积后的特征图进行取绝对值和全局平均池化处理，全局平均池化可以减少全连接输出层的权重参数的数量，将网络容量拉低，从而降低过拟合的风险，同时从特征图的每个通道求平均值的操作，最终得到一个一维向量；

S2-2、将一维向量输入到一个全连接网络中，获得一个尺度化的参数向量z，通过sigmoid函数将这个尺度化参数向量控制到0～1的范围内，得到α表示为：

再将α尺度化向量乘以特征图绝对值的平均值，作为阈值τ：

τ＝α·average|x_i,j,c|

上述操作可以将阈值控制为一个较小且合适的范围，从而避免将输出特征全部置0。

S2-3、将学习到的阈值结合特征图x进行软阈值操作：

构建恒等映射，将跨层的输入和上述y作相加操作，最终得到输出特征图。

残差网络作为卷积神经网络的变种，通过跨层恒等映射的方式，避免了由于网络过深导致的梯度消失和退化的问题。残差网络中残差模块是其基本组成部分，残差模块包含两个卷积层、两个批标准化、两个ReLU激活函数和一个恒等映射。

网络中卷积层通过卷积操作对输入信号进行局部特征的提取，卷积层中每一个单元都是网络输入信号的局部窗口卷积的结果，构成一个局部连接，同时不同的卷积核提取不同的特征，构建出特征集的一个多通道的特征空间，每一层通道的特征都能够表征不同的学习方式，多通道则表示了丰富的特征信息。具体的卷积操作如下：

其中x_j是原始信号第j通道的输入，C为其原有数据通道数，k_ij为卷积核，b为偏置，y_i为输出特征集的第i通道的特征。

所述批标准化解决数据进入网络中随着一层层的计算，特征的分布在训练过程中出现变化而导致训练困难的问题，批标准化的内部逻辑处理步骤如下：首先计算mini-batch的均值和方差，将mini-batch中每一个x进行标准化，如果强行要求输出的分布是标准化的，可能会导致某些特征表示的丢失，所以在标准化后，对数据进行缩放和平移，具体地计算过程如下：

input：mini-batch中输入向量x的集合β＝{x_1...m}；

待学参数：γ,θ

output：{y_i＝BN_γ,θ(x_i)}

上述式中，x_i和y_i表示一个mini-batch中的输入和输出数据，m为mini-batch中输入向量的个数，μ_β,σ²分别为均值和方差，

为x_i标准化值，其中ε为近似0的常数。

恒等映射解决了在加深网络深度的同时，网络性能退化的问题，退化问题在实践中表现为随着网络深度的增加，网络的表现先是逐渐增加至饱和，然后迅速下降，由于网络深度提高，后层网络的优化期待恒等映射，但由于神经网络难以拟合恒等映射，所以显式地增加跨层的连接，实现恒等映射。

本实施例中，构造WGAN模型，利用生成对抗网络的思想，将不同工况下的轴承数据划分为源域和目标域，通过两者互相竞争，判别器无法识别生成器输出的源域和目标域样本之间的分布差别，也就是特征生成器生成的特征是目标域和源域之间的公共特征，WGAN模型最终收敛；

具体地，生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像，判别器每完成一次判断，将结果误差返回给生成器。

然而，原始的GAN模型存在着网络训练不稳定、判别器损失函数无法指示网络训练效果等问题，为此，有学者利用Wasserstein距离的思想，提出了WGAN(Wasserstein-Generative Adversarial Network：沃瑟斯坦生成式对抗网络)，它与原始GAN的最大不同之处在于，将Wasserstein距离作为判别器的损失函数。这种做法的好处是，网络训练的效果能够根据判别器损失函数的大小来确定。

本实施例中，改进残差网络作为特征生成器，用来提取两个领域共同的特征分布，领域判别器用来判别特征生成器的输出特征来自的领域，如果判别器难以分辨，则说明特征生成器成功地学习到了目标域和源域中序列的共同的特征空间：

生成对抗网络的训练要求优化两个目标，对于判别器，在损失函数中引入Wasserstein距离来衡量两个领域分布的差异：

其中sup表示上界，E为期望，D为判别器，K为需要满足的Lipschitz常数；

对于特征生成器，其目标希望两者分布距离越小越好，所以其目标函数为：

利用源域提取的深度时序特征构建源域健康指示HI反映退化趋势，作为时序特征和剩余寿命的映射关系；同时，以提取的源域和目标域的退化序列作为迁移对象输入领域判别器，领域判别器用来判别改进残差网络提取的深度时序特征的所属领域，是一个简单的二分类网络，对于领域判别器的优化目标变为最大化Wasserstein距离衡量的分布差异，所以领域判别器的目标函数为：

通过上述特征生成器目标函数和领域判别器目标函数进行对抗训练，得到源域和目标域之间的公共特征，从而实现领域自适应功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：包括以下步骤：S1、采集轴承在不同工况下的原始振动信号，划分为源域信号和目标域信号；S2、将源域信号和目标域信号发送到改进残差网络中提取深度时序特征；S3、构造WGAN模型，模型包含特征生成器和领域判别器，将改进残差网络作为特征生成器，领域判别器判别特征生成器的输出特征来自的领域，如果领域判别器难以分辨，则说明特征生成器成功地学习到了目标域和源域中序列的共同的特征空间；S4、将共同的特征空间送给全连接神经网络构造轴承剩余寿命预测的模型，实现目标轴承的剩余寿命的预测。

2.根据权利要求1所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：在步骤S1中，将需要预测剩余寿命的轴承记为目标轴承，其中目标域信号为目标轴承工况下其他轴承的振动信号，源域信号为其他工况的轴承信号。

3.根据权利要求1所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：步骤S2中，所述改进残差网络包括标准残差模块和软阈值子网络，所述标准残差模块包括卷积层、激活函数、批标准化和恒等映射，在标准残差模块中引入了软阈值子网络用来抑制噪声在特征集中的表现。

4.根据权利要求3所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：引入软阈值子网络过程包括以下步骤：

S2-1、先将标准残差模块内部两次批标准化、两次Relu激活、两次卷积后的特征图进行取绝对值和全局平均池化处理，最终得到一个一维向量；

S2-2、将一维向量输入到一个全连接网络中，获得一个尺度化的参数向量z，通过sigmoid函数将这个尺度化参数向量控制到0～1的范围内，得到α，再将α尺度化向量乘以特征图绝对值的平均值，作为阈值τ；

S2-3、将学习到的阈值结合特征图x进行软阈值操作：

构建恒等映射，将跨层的输入和上述y作相加操作，最终得到输出特征图。

5.根据权利要求3所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：所述卷积层通过卷积操作对输入信号进行局部特征的提取，卷积层中每一个单元都是网络输入信号的局部窗口卷积的结果，构成一个局部连接，同时不同的卷积核提取不同的特征，构建出特征集的一个多通道的特征空间，每一层通道的特征都能够表征不同的学习方式，多通道则表示了丰富的特征信息。

6.根据权利要求3所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：所述批标准化能够解决数据进入网络中随着一层层的计算，特征的分布在训练过程中出现变化而导致训练困难的问题。

7.根据权利要求3所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：所述恒等映射能够解决在加深网络深度时，网络性能退化的问题。

8.根据权利要求1所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：步骤S3中，所述WGAN模型中用Wasserstein距离来衡量两个特征集之间的分布差异，在领域判别器下优化生成器使得Wasserstein距离缩小，就能有效拉近源域特征分布和目标域特征分布之间的距离。

9.根据权利要求8所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：所述Wasserstein距离和和改进残差网络的目标函数分别为：

特征提取器的优化目标变为最小化领域之间Wasserstein距离衡量的分布差异。

10.根据权利要求8所述的基于改进残差网络和WGAN的轴承剩余寿命预测方法，其特征在于：利用源域提取的深度时序特征构建源域健康指示HI反映退化趋势，作为时序特征和剩余寿命的映射关系，以提取的源域和目标域的退化序列作为迁移对象输入领域判别器，领域判别器用来判别改进残差网络提取的深度时序特征的所属领域，其中领域判别器的目标函数为：

领域判别器的优化目标变为最大化Wasserstein距离衡量的分布差异。

Images