CN113008559A - 基于稀疏自编码器和Softmax的轴承故障诊断方法及系统 - Google Patents

Abstract

本发明公开了一种基于稀疏自编码器和Softmax的轴承故障诊断方法及系统，在原始稀疏自编码器中引入局部约束，得到改进的稀疏自编码器，在改进的稀疏自编码模型局部约束体现在编码器权重矩阵的归一化以及只保留隐藏层余弦相似度最大的k个激活单元形成原始样本的局部子空间，其对应的特征是样本x的k近邻，解码器通过保留的k个编码单元来重构输入。采集滚动轴承不同运行状态的振动信号作为训练集，用训练集训练局部稀疏自编码器模型和Softmax分类器模型，得到模型参数从而完成故障诊断分类模型的建立，由于考虑了振动信号的局部特征，因此局部稀疏自编码器学习到的特征更加完备，训练完后的模型准确率更高。

Description

基于稀疏自编码器和Softmax的轴承故障诊断方法及系统

技术领域

本发明属于故障诊断方法，尤其涉及基于稀疏自编码器和Softmax的轴承故障诊断方法及系统。

背景技术

近年来，机械设备正朝着高度集成化和自动化得方向发展。其中滚动轴承作为旋转机械、电气设备的重要部件，素有“工业的关节”之称，为了确保设备的生产效率和安全可靠运行，对滚动轴承的状态监测显得十分重要。由于滚动轴承运行时，其振动信号中富含丰富的反映运行状态的信息，因此在一些大型工业设备如航空发动机、燃气轮机中通常会布置大量的传感器获取滚动轴承的监测数据，但是如何从大量振动信号中获取滚动轴承的运行信息，提早发现故障，成为轴承故障诊断领域面临的新问题。近年来各种信号处理技术，如时域分析、频域分析、小波变换、经验模式分解等从原始振动信号中提取信号特征如均值、峰峰值、均方根值等用于诊断轴承故障得到了广泛的研究和应用。但是，基于信号处理技术的故障特征提取方法需要工作人员掌握和精通一定的信号处理知识，同时由于需要人工进行操作，所以需要耗费大量的人力来提取和分析区分性特种，此外由于是人工选择所以很难确定最适合提取的特征，导致诊断结果不稳定。因此如何设计一种方法能从滚动轴承振动信号中自动地学习出丰富的故障特征则显得尤为重要。

滚动轴承的故障诊断属于模式识别问题，通常包括特征提取和模式分类两个阶段。在特征提取阶段，无监督特征学习代替了人工设计的方式，能够在未知数据标签的情况下，直接将原始振动信号作为输入，通过一系列的线性或非线性变换得到相应的特征表征。在模式分类阶段，将提取到的特征表征直接送入训练好的分类器中实现故障分类，Softmax分类器作为一种经典的分类器，因其参数简单、训练速度快和分类精度高等优点而被广泛应用。在这两个阶段中，特征提取最为关键，也是国内外众多学者主要研究的内容。可以这么说，好的特征直接决定故障诊断的精度。因此，故障诊断方法重点在于设计一种基于无监督特征学习的特征提取器。稀疏自编码器(SAE)是一种典型的无监督特征学习方法，其优点在于能够自动从原始振动信号中学习特征、模型结构简单(三层网络结构)、学习的特征具有高稀疏性等。然而，原始的SAE不足之处在于仅仅考虑了特征的稀疏性，而忽略了输入样本的内在结构信息，从而难以从输入数据中充分挖掘出有用的故障信息，进而向Softmax分类器的最终分类结果。

发明内容

针对现有技术中存在的问题，本发明提供一种基于稀疏自编码器和Softmax的轴承故障诊断方法及系统，实现对轴承故障的准确识别。

本发明是通过以下技术方案来实现：

一种基于稀疏自编码器和Softmax的轴承故障诊断方法，包括以下步骤：

步骤1、采集滚动轴承不同运行状态下的时域振动信号，并根据时域振动信号构建无标签训练集和有标签训练集；

步骤2、对无标签训练集和有标签训练集进行预处理；

步骤3、根据预处理后的无标签训练集构建局部稀疏自编码器模型并训练；

对原始稀疏自编码器隐层节点的输出采用ReLU函数进行激活得到激活响应，之后通过计算余弦相似度保留激活响应的前k个分量作为解码器的输入，从而得到局部稀疏自编码器模型；

步骤4、将步骤2预处理后的有标签训练集输入至局部稀疏自编码器模型中，局部稀疏自编码器模型输出振动信号的特征表征；

步骤5、利用振动信号的特征表征训练Softmax分类器，然后采用训练后的局部稀疏自编码器模型和Softmax分类器确定振动信号对应的故障类型。

优选的，步骤2中无标签训练集和有标签训练集的预处理包括训练集的标准化、数据分片和ZCA白化处理。

优选的，步骤3中局部稀疏自编码器的建模方法具体如下：

在原始稀疏自编码器的基础上，令

为矩阵

的列向量，

为变换矩阵，通过对矩阵W的每一列w⁽ⁿ⁾做归一化，得到归一化后的矩阵

在ReLU函数的映射s(x)＝max(0,x)下将每一个M维振动信号x^(l)变换成其对应的特征表征z^(l)，之后选择特征表征余弦相似度最大的前k项作为译码器的输入。

优选的，选择前k项的方法具体如下：

首先，通过计算每个样本x^(l)在W中的余弦相似度，得到输入信号x^(l)在W中的向量投影，计算公式如下：

然后，选择样本x^(l)的前k个近邻激活单元，即z^(l)的余弦相似度最大的前k项保留为

其他激活单元都置为0，具体计算公式如下：

优选的，步骤3中局部稀疏自编码器模型的代价函数包括重构误差和正则项，所述局部稀疏自编码器的模型公式如下：

其中，E₁(W)为样本重构误差，E₂(W)为正则项，λ＞0用来平衡E₁(W)和E₂(W)的正则项参数。

优选的，所述重构误差E₁(W)的表达式如下：

其中，L为样本数量，x^(l)为M维样本，W为权重矩阵，z^(l)为样本的特征表征，b_d输出层偏置项。

优选的，所述正则项使用l₁范数来替代原始稀疏自编码器的KL散度，具体表达式如下：

优选的，所述步骤5中Softmax分类器的训练方法如下：

对特征表征进行平均池化，采用平均池化后的特征表征和对应的标签训练Softmax分类器；

所述Softmax激活函数为

则代价函数计算公式如下：

其中，c为故障类别，θ为Softmax分类器权重矩阵，p(y^(j)＝c|a^(j)；θ)为故障为c类别的概率，在[0,1]区间内，使用梯度下降算法最小化代价函数，得到训练后的Softmax分类器。

一种基于稀疏自编码器和Softmax的轴承故障诊断方法的系统，包括，

信号采集模块，用于采集滚动轴承不同运行状态下的时域振动信号，并根据时域振动信号构建无标签训练集和有标签训练集；

预处理模块，用于对无标签训练集和有标签训练集进行预处理；

特征提取模块，对于已经进行数据预处理的原始信号，使用训练好的局部稀疏自编码器模型对信号进行特征提取并进行平均池化后，将信号对应的特征表征输入到Softmax分类器模块。

Softmax分类器模块，特征提取模块提取到的特征作为Softmax分类器模块的输入，对于已经训练好的Softmax分类器可以直接确定振动信号对应的故障类型。

与现有技术相比，本发明具有以下有益的技术效果：

本发明提供的一种结合局部稀疏自编码器与Softmax的轴承故障诊断方法，由引入局部约束的稀疏自编码器和Softmax分类器组成，其中改进的稀疏自编码器是一个特征提取器，它通过保留输入样本x的k近邻来刻画原始稀疏自编码器忽略的振动信号局部特征，基于这种操作，局部稀疏自编码器能够学习到稀疏特征的同时，保留振动信号中的内在结构信息，使得特征能够完整的描述原始信号。提取完的特征需要送到模式分类器中进行分类，由于Softmax分类器结构简单、易于训练、分类准确率高的优点，因此选用Softmax分类器作为模式分类器对提取到的特征进行分类。从一个标准的滚动轴承数据中选取两个训练集，一个是无标签的，用来训练局部稀疏自编码器模型，另一个是有标签的，用来训练Softmax分类器模型，两个模型训练完毕，则轴承故障诊断模型即可建立。与原始稀疏自编码器相比，由于考虑了振动信号的局部特征，因此局部稀疏自编码器学习到的特征更加完备，训练完后的模型准确率更高。

附图说明

图1为本发明的故障诊断方法训练流程图；

图2为局部稀疏自编码器的结构图；

图3利用训练好的故障诊断方法诊断滚动轴承故障的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1-3，一种结合局部稀疏自编码器与Softmax的轴承故障诊断方法，包括以下步骤：

S1、采集滚动轴承不同运行状态下的时域振动信号，并根据采集的时域振动信号构建无标签训练集和有标签训练集。

构造含有D个样本的无标签训练集

以及含有F个样本的有标签的训练集

其中，x_d为训练集T1中采集到的P维振动信号；a_f为训练集T2中采集到的P维振动信号，

是P维振动信号对应的状态标签，C为轴承的故障类型个数。

具体的，以凯斯西储大学轴承数据中心提供的数据集为例，该中心的数据是在一个试验台上采集得到，该试验台由发动机、扭矩传感器、测力计等组成。使用电火花加工向SKF型测试轴承引入单点故障，故障直径为7mils、14mils和21mils(1mils＝0.001inches)，使用16通道DAT记录器采集振动信号，并用连接在壳上6点钟位置的加速度计收集振动数据，采样频率为12kHZ，电机转速为1797rpm。

采集到的信号共包括10种轴承运行状态，分别为正常状态(标签1)，滚体轻微损伤(故障直径7mils，标签2)，滚体中度损伤(故障直径14mils，标签3)，滚体严重损伤(故障直径21mils，标签4)，内圈轻微损伤(故障直径7mils，标签5)，内圈中度损伤(故障直径14mils，标签6)，内圈严重损伤(故障直径21mils，标签7)，外圈轻微损伤(故障直径7mils，标签8)，外圈中度损伤(故障直径14mils，标签9)和外圈严重损伤(故障直径21mils，标签10)。

假设每个样本含有1200个数据点，每种状态采集80个样本组成无标签训练集T1，然后每种状态再采集50个样本连同标签组成有标签训练集T2，这样共得到一个含有800个样本的无标签训练集

含有500个样本的有标签训练集

其中x_d∈R¹²⁰⁰、a_f∈R¹²⁰⁰是原始的振动信号，

表示相应的标签编码，如

表示此时的样本a_f对应滚动轴承正常状态。

S2、对无标签训练集和有标签训练集进行预处理，包括训练集的标准化、数据分片和ZCA白化处理，处理后的训练集为

其中x^(l)为M维样本。

具体如下，对于训练集

和

分别进行数据预处理，处理过程相同，这里以训练集

为例。数据预处理包含三部分：标准化、数据划分和ZCA白化。

对于训练集

中的每个样本x_d∈R¹²⁰⁰，首先找到1200个数据点中的最大值max和最小值min，然后将样本中的数据点标准化到[0,1]区间内，具体计算方式如下：

然后将训练集T1中的每个样本x_d划分为M维，其中M为局部稀疏自编码器的输入层节点数。例如M为50，训练集T1每个样本进行划分，则每个样本可以划分为

个，800个样本总共可以划分为24×800＝19200个样本，则划分后为了方便表示使用x^(l)表示划分后的每个样本，则

最后对划分好的训练集TS1进行ZCA白化处理。首先计算训练集T1样本X∈R^50×19200的协方差矩阵，计算公式如下：

其中L为样本个数，这里应该取TS1中的样本个数为800个；C为协方差矩阵且C∈R^{50 ×50}。

然后对训练集的协方差矩阵C进行奇异值分解，得到协方差矩阵C的特征向量矩阵U∈R^50×50以及特征值矩阵S∈R^50×50。从而计算得到训练集TS1的PCA白化矩阵X_PCA∈R^50×19200，计算公式如下：

最终得到训练集的ZCA白化矩阵X_ZCA∈R^50×19200，计算方式如下：

X_ZCA＝UX_PCA

S3、根据步骤S2预处理后的无标签数据集构建原始稀疏自编码器模型，对原始稀疏自编码器隐层节点的输出h_c使用ReLU函数进行激活，得到激活响应z∈R^N×1。之后通过计算余弦相似度保留激活响应z_i的前k个分量作为解码器的输入，从而得到局部稀疏自编码器模型，局部稀疏自编码器模型中代价函数包含两部分：重构误差和l₁正则项。

具体的，参阅图2，首先构建稀疏自编码器模型，包含输入层、隐藏层、输出层三层网络，其中输入层和隐藏层构成编码器，隐藏层和输出层构成解码器。输入层和输出层节点数都为M，隐藏层节点数为N，权重矩阵为W∈R^M×N。假设，设置输入层节点数为50，隐藏层节点数为75，则W∈R^50×75。

为了引入局部约束，对权重矩阵W∈R^M×N的每一列w⁽ⁿ⁾做归一化得到变换矩阵

归一化公式如下：

在ReLU函数的映射s(x)＝max(0,x)下将每一个M维振动信号x^(l)变换成其对应的特征表征

b_e∈R^N×1为输入层偏置项，这里z^(l)∈R^75×1。

然后计算x^(l)在权重矩阵W中的余弦相似度，可以得到输入x^(l)在W中的向量投影，计算公式如下：

选择样本x^(l)的特征表征z^(l)余弦相似度最大的前k个近邻激活单元仍保留为

其他激活单元都置为0。具体计算公式如下:

例如z^(l)＝[0.2 0.4 0.1 0.3 0.5]^T，如果取k＝2,则经过选择后z^(l)变为z^(l)＝[00.4 0 0 0.5]^T，如果取k＝3，则经过选择后z^(l)变为z^(l)＝[0 0.4 0 0.3 0.5]^T。

将选择后的特征表征作为解码器的输入，之后根据解码器输出层响应

得到样本的重构误差E₁(W)，计算公式如下：

除了重构误差外，局部稀疏自编码器使用l₁范数作为正则项来替代原始稀疏自编码器的KL散度，正则项的建模方法具体如下：

改进稀疏滤自编码器的模型公式如下：

参数λ＞0是一个用来平衡E₁(W)和E₂(W)的正则项参数。由于E(W)是一个关于W的凸平滑优化问题，因此可以使用L-BFGS工具包优化目标函数E(W)获得最优的参数矩阵W^*和

S4、采用有标签训练集对局部稀疏自编码器模型进行训练，训练完毕后，固定局部稀疏自编码器模型参数；

具体如，将有标签训练集

经过和T1相同的预处理后成为数据集

以上面的例子为例则

将数据集TS2中的M维振动信号

输入训练好的局部稀疏自编码器中，得到M维振动信号

的特征表征

之后对特征表征进行平均池化。平均池化就是把属于原始样本局部片段的特征表征进行平均，计算公式如下：

其中，

表示对于每一个P维原始样本a_f，经过步骤3中的数据划分后，原始样本会被划分为M维样本局部片段

的个数。例如，上述例子中原始样本为1200维，进行数据分片后将样本划分为了50维的样本局部片段，则这种情况下

之后用特征表征

和对应的标签

训练Softmax分类器。

Softmax分类器结构和自编码器的编码器类似，其输出层为对应的类别数，按照上面的例子，这里为10输出层节点数为10。

假设Softmax分类器中激活函数如下：

使用常用的梯度下降算法如L-BFGS算法训练模型参数θ来最小化代价函数，计算公式如下：

得到训练后的Softmax分类器的参数θ即可。其中c为故障类别，p(y^(j)＝c|a^(j)；θ)为故障为c类别的概率在[0,1]区间内。

对于给定的样本b^j，用假设函数h_θ(x)针对每一个类别c估算出样本属于类别c的概率值p(y^(j)＝c|b^(j)；θ)，即估计样本b^j的每一种分类结果出现的概率，之后找到概率最大的类别即判定为输入样本的类别。假设我们输出层只有两个结果0和1，即是一个二分类问题，Softmax分类器能够计算输入的样本属于类别0的概率p₁和属于1的概率p₂且p₁+p₂＝1，如果p₁＞p₂则样本属于类别0，否则属于类别1。

S5、当局部稀疏自编码器和Softmax分类器训练完毕后，故障诊断模型得以建立，利用训练好的局部稀疏自编码器模型对一个未知类别的原始振动信号提取其对应的特征表征，将提取的特征表征输入训练好的Softmax分类器中，确定该振动信号对应的故障类型。

对于一个新采集的原始振动信号x_test∈R^P，首先经过数据预处理后得到原始样本局部片段

对于每一个局部片段

首先经过训练好的局部稀疏自编码器得到

对应的特征表征

然后将所有

进行平均池化后得到池化后的特征表征z_test，将z_test输入训练好的Softmax分类器中得到相应的标签信息y_test，最大概率值对应的类别就是该时刻滚动轴承的运行状态。

本发明具有如下优点：

1、整个故障诊断过程不需要进行人力的消耗并且不需要有相应的工程经验。传统的信号处理技术，如时域分析、频域分析、小波变换、经验模式分解等需要从原始振动信号中提取信号特征如均值、峰峰值、均方根值等用于诊断轴承故障。但是，这种方法需要工作人员掌握和精通一定的信号处理知识，同时由于需要人工进行操作，所以需要耗费大量的人力来提取和分析区分性特征，此外由于是人工选择所以很难确定最适合提取的特征，导致诊断结果不稳定。所提方法，能够在未知数据标签的情况下，直接将原始振动信号作为输入，通过一系列的线性或非线性变换得到相应的特征表征。该特征表征可以直接输入分类器中进行分类，使用改进的稀疏自编码器提取特征的优点在于：特征的提取是一种自适应的过程，无需大量的人力和丰富的先验知识，可以大范围使用。

2、对滚动轴承原始振动信号能够学习到稀疏性之外的局部性特征表征。原始稀疏自编码器(SAE)虽然具有能够自动从原始振动信号中学习特征、模型结构简单(三层网络结构)、学习的特征具有高稀疏性等优点。但是，原始的SAE仅仅考虑了特征的稀疏性，而忽略了原始信号的局部性特征。而改进的稀疏自编码器通过引入局部约束和l₁正则化，使得特征在具有高稀疏性的同时保留了原始信号的内在结构信息，使得学习到的特征更加完备，从而表现效果更好。

本发明公开了一种结合局部稀疏自编码器与Softmax的轴承故障诊断方法。原始的稀疏自编码器是一个特征提取器，其仅能从原始数据中学习高稀疏性的特征，而忽略了原始数据的局部性特征，这将使得原始稀疏自编码器无法刻画原始数据的内在结构信息，使得特征不完备，影响模型精度。为此，在原始稀疏自编码器中引入局部约束，得到改进的稀疏自编码器，局部约束可以保留原始稀疏自编码器忽略的振动信号的局部结构信息，得到原始振动信号更加完备的特征表示。在改进的稀疏自编码模型局部约束体现在编码器权重矩阵W的归一化以及只保留隐藏层余弦相似度最大的k个激活单元形成原始样本的局部子空间，其对应的特征是输入样本x的k近邻，解码器通过保留的k个编码单元来重构输入。采集滚动轴承不同运行状态的振动信号作为训练集，用训练集训练局部稀疏自编码器模型和Softmax分类器模型，得到模型参数从而完成故障诊断分类模型的建立。对于新的测试数据，直接输入故障诊断模型即可准确识别滚动轴承故障类型，由于考虑了振动信号的局部特征，因此局部稀疏自编码器学习到的特征更加完备，训练完后的模型准确率更高。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，包括以下步骤：

步骤1、采集滚动轴承不同运行状态下的时域振动信号，并根据时域振动信号构建无标签训练集和有标签训练集；

步骤2、对无标签训练集和有标签训练集进行预处理；

步骤3、根据预处理后的无标签训练集构建局部稀疏自编码器模型并训练；

对原始稀疏自编码器隐层节点的输出采用ReLU函数进行激活得到激活响应，之后通过计算余弦相似度保留激活响应的前k个分量作为解码器的输入，从而得到局部稀疏自编码器模型；

步骤4、将步骤2预处理后的有标签训练集输入至局部稀疏自编码器模型中，局部稀疏自编码器模型输出振动信号的特征表征；

步骤5、利用振动信号的特征表征训练Softmax分类器，然后采用训练后的局部稀疏自编码器模型和Softmax分类器确定振动信号对应的故障类型。

2.根据权利要求1所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，步骤2中无标签训练集和有标签训练集的预处理包括训练集的标准化、数据分片和ZCA白化处理。

3.根据权利要求1所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，步骤3中局部稀疏自编码器的建模方法具体如下：

在原始稀疏自编码器的基础上，令

为矩阵

的列向量，

为变换矩阵，通过对矩阵W的每一列w⁽ⁿ⁾做归一化，得到归一化后的矩阵

在ReLU函数的映射s(x)＝max(0,x)下将每一个M维振动信号x^(l)变换成其对应的特征表征z^(l)，之后选择特征表征余弦相似度最大的前k项作为译码器的输入。

4.根据权利要求3所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，选择前k项的方法具体如下：

首先，通过计算每个样本x^(l)在W中的余弦相似度，得到输入信号x^(l)在W中的向量投影，计算公式如下：

然后，选择样本x^(l)的前k个近邻激活单元，即z^(l)的余弦相似度最大的前k项保留为

其他激活单元都置为0，具体计算公式如下：

5.根据权利要求1所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，步骤3中局部稀疏自编码器模型的代价函数包括重构误差和正则项，所述局部稀疏自编码器的模型公式如下：

其中，E₁(W)为样本重构误差，E₂(W)为正则项，λ＞0用来平衡E₁(W)和E₂(W)的正则项参数。

6.根据权利要求5所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，所述重构误差E₁(W)的表达式如下：

其中，L为样本数量，x^(l)为M维样本，W为权重矩阵，z^(l)为样本的特征表征，b_d输出层偏置项。

7.根据权利要求5所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，所述正则项使用l₁范数来替代原始稀疏自编码器的KL散度，具体表达式如下：

8.根据权利要求1所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法，其特征在于，所述步骤5中Softmax分类器的训练方法如下：

对特征表征进行平均池化，采用平均池化后的特征表征和对应的标签训练Softmax分类器；

所述Softmax激活函数为

则代价函数计算公式如下：

其中，c为故障类别，θ为Softmax分类器权重矩阵，p(y^(j)＝c|a^(j)；θ)为故障为c类别的概率，在[0,1]区间内，使用梯度下降算法最小化代价函数，得到训练后的Softmax分类器。

9.基于权利要求1-8任一项所述的一种基于稀疏自编码器和Softmax的轴承故障诊断方法的系统，其特征在于，包括，

信号采集模块，用于采集滚动轴承不同运行状态下的时域振动信号，并根据时域振动信号构建无标签训练集和有标签训练集；

预处理模块，用于对无标签训练集和有标签训练集进行预处理；

特征提取模块，对于已经进行数据预处理的原始信号，使用训练好的局部稀疏自编码器模型对信号进行特征提取并进行平均池化后，将信号对应的特征表征输入到Softmax分类器模块；

Softmax分类器模块，特征提取模块提取到的特征作为Softmax分类器模块的输入，对于已经训练好的Softmax分类器可以直接确定振动信号对应的故障类型。

Images