CN109902399A - 一种基于att-cnn的变工况下滚动轴承故障识别方法 - Google Patents

Abstract

一种基于ATT‑CNN的变工况下滚动轴承故障识别方法，涉及滚动轴承故障识别技术。为了解决现有的变工况下滚动轴承故障识别方法针对复杂分类问题其泛化能力受到一定制约的问题。首先，通过卷积神经网络(CNN)将振动数据映射到非线性空间域，并利用其对输入信号的微小位移、缩放及其他扭曲形式具有不变性的特点，自适应提取变工况下滚动轴承故障特征；其次，提出将注意力机制(ATT)思想融入CNN结构中，进一步提高变工况下轴承振动特征的敏感性；同时通过数据增强方法获得更加丰富多样的训练样本，使得网络得到更充分地学习，提高了鲁棒性。所提出的基于注意力机制CNN(ATT‑CNN)故障诊断模型可实现变工况下的滚动轴承多状态识别与分类，并与其他方法比较，可获得更高的准确率。

Description

一种基于ATT-CNN的变工况下滚动轴承故障识别方法

技术领域

本发明涉及一种变工况下滚动轴承故障识别方法，涉及滚动轴承故障识别技术。

背景技术

滚动轴承在工业生产中的地位举重若轻，其常工作于负载与转速变化的状态，因此，对变工况条件下滚动轴承故障演变过程中的性能状态进行有效地诊断，提高机械设备的可靠性，具有重要意义^[1]。在故障诊断领域，使用状态监测数据与人工智能方法相结合，逐渐成为近年来的研究热点。尤其，变工况条件下的滚动轴承故障信号蕴藏更为丰富的振动特征信息^[2]，其故障发展的动态特性也对退化特征提取提出了新的挑战。

退化特征指偏离轴承正常状态的特征，这些特征形式承载轴承结构损伤的外在表现，构成轴承功能衰退的具体反映^[3]。常用的故障退化特征有时域统计特征^[4]、频域统计特征^[5]及时-频域特征^[6-10]。目前，提取退化特征结合分类器的故障诊断方法应用广泛，常用的分类方法有聚类分析^[11]、支持向量机^[12]与超球支持向量机^[13]等。然而，在轴承退化期间，故障程度是发展的，浅层特征无法准确地表示输入数据与不同健康状态之间的复杂非线性关系^[14]。因此，仅利用统计特征或传统的信号处理方法提取特征刻画全局和局部故障退化特征本质上是困难的。

近年来，深度学习(deep learning，DL)在计算机视觉和语音识别等领域广泛应用，其通过构建深层非线性网络结构实现复杂函数逼近，能够刻画数据丰富的内在信息^[15]。DL可用于从大量非结构化多模态数据中自动提取潜在的故障特征，文献[17]和[18]提取时域、频域及时-频特征，作为深度置信网络的输入，分别实现了滚动轴承和轴向柱塞泵的多状态分类。文献[19]使用经验模态分解结合奇异值分解方法进行特征提取，建立基于改进自编码器(auto encoder，AE)的滚动轴承故障诊断模型。卷积神经网络(convolutional neural network，CNN)可用来处理复杂多变的信号，大量的研究受益于CNN的局部连接，权值共享等特性^[20]。文献[21]构建特征矩阵训练CNN故障诊断模型，实验验证分类效果优于AE等方法。滚动轴承的实际运行环境复杂多变，负载和转速也是变化的。然而，上述数据驱动的故障诊断方法大多针对单一工况或相同工况下推断轴承失效规律，并未考虑工况变化的影响。

文献[22]提取轴承信号的包络谱特征并利用CNN进一步提取更具代表性的特征，最终实现转速变化时的轴承故障分类。文献[23]通过构建高维多域特征集并结合迁移学习方法，实现了变工况下的滚动轴承状态分类。文献[24]引入领域自适应方法对CNN进行改进，对变负载下的滚动轴承运行状态进行有效诊断。尽管DL是提取轴承退化特征的高效方法，并广泛应用在变工况下的滚动轴承故障诊断领域，但迄今为止，大多数应用中使用DL从原始数据获得的深层特征作为选择退化特征的方法尚未得到深入研究。而传统的特征提取方法过于依赖先验知识和专家经验，且特征提取与模型建立孤立进行，针对复杂分类问题其泛化能力受到一定制约^[15,16]。此外，不同工况下的轴承振动信号表现形式差异性较大，仅依赖神经网络对数据进行建模，对处理复杂工况问题还存在局限。注意力机制(attention mechanism，ATT)是近年来深度学习方向的研究热点，本质上，ATT通过推理不同模态数据之间的相互映射关系，从而更好地表示这些信息。

发明内容

本发明要解决的技术问题是：

本发明为了解决现有的变工况下滚动轴承故障识别方法中特征提取由于采用时域特征、频域特征或时频域特征而过于依赖先验知识和专家经验，且特征提取与模型建立孤立进行，使其针对复杂分类问题其泛化能力受到一定制约的问题，进而提供一种基于ATT-CNN(注意力机制CNN)的变工况下滚动轴承故障识别方法。

本发明为解决上述技术问题采取的技术方案是：

一种基于ATT-CNN的变工况下滚动轴承故障识别方法，所述方法的实现过程为：

步骤一、数据增强：对含有多种工况下的滚动轴承原始振动信号采取重叠分割的方法进行样本划分以获取表现形式更加多样的振动数据并制作数据集，将增强后的数据集进行训练样本和测试样本的划分；

步骤二、训练阶段：

训练样本采取单工况或多工况数据形式，在CNN的结构中引入注意力机制(ATT)，为不同的特征映射赋予权重，从而获得改进的CNN，即获得注意力机制CNN(ATT-CNN)模型结构；

对改进的CNN进行网络参数初始化，通过逐层的参数信息传递得到输出值，通过目标损失函数计算实际输出与目标输出的偏差，利用反向传播误差调整网络权值及偏置，当网络迭代次数达到预设值时中止训练，得到ATT-CNN滚动轴承多状态识别模型；

步骤三、测试阶段：采用不同于训练阶段工况下的数据形式，对步骤2)中已训练好的ATT-CNN滚动轴承多状态故障识别模型进行测试，得到变工况下的滚动轴承故障诊断结果。

进一步地，在步骤一中，数据增强的具体过程为：

采取数据重叠分割的数据划分方法进行数据增强，数据重叠分割过程是通过设定滑动窗口的方式使得相邻两个样本之间的样本点具有重叠部分(这种数据重叠分割改变了以往相邻两个样本的首尾相接的划分方式，首尾相接的划分方式的样本数量是固定的，这种数据重叠分割可根据需要通过改变滑动窗口的大小来获得数量不同的样本)，

通过数据重叠分割方法获得的样本数量N_L：

其中：L₁为样本的总长度，L₂为单个样本的长度，D为滑动步长，N_L则为获得的样本数量。

进一步地，在步骤二中，改进的CNN的构建过程为：

1卷积神经网络

包括输入层、卷积层、池化层、全连接层和输出层，输入层为滚动轴承的原始振动信号，通过交替、堆叠卷积和池化操作来学习抽象的空间特征，全连接层结合Softmax分类器通过输出层滚动轴承故障识别结果；

1.1卷积层

在卷积层中，利用前一层的输出与多个卷积核卷积并生成特征映射，通过激活函数构建输出特征矢量，其数学模型可描述为：

其中：分别表示l层第i个卷积核的权重与偏置，*代表卷积运算，σ为激活函数。x^l(j)为l层第j个神经元，输出为卷积核K在输入x^l(j)上学习到的特征；

σ为激活函数采用线性修正单元(ReLU)，ReLU的公式为：

其中：为经过激活函数得到的激活值。

1.2池化层

池化能够提取每个特征映射中最重要的局部信息，并通过该操作可以显著减小特征维度，选取max-pooling作为池化方式，池化长度为N，在卷积层与池化层中，所有操作的滑动步长皆为1，池化层的输入为卷积层生成的特征映射：

其中：是第l+1层第i个池化操作输出的第j个神经元。

1.3全连接层

全连接层具体构建过程是将最后一个池化层的输出展平为一维特征向量作为全连接层的输入，在该层的输入与输出之间是全连接的，其公式描述为：

其中：为第l层第i个神经元与第l+1层第j个神经元之间的权值；b_j为第l层所有神经元对第l+1层第j个神经元的偏置；为第l+1层第j个神经元的输出；σ为激活函数；

在输出层，经过Softmax函数处理后得到：

其中：q_j表示输出神经元的概率值，表示输出滚动轴承故障类别的概率；M为目标分类个数，滚动轴承故障类别总数；

2卷积神经网络的改进

通过CNN计算输入特征Z的注意力权值α对Z加权，加权后的特征Z′代替原来的Z作为CNN下一层的输入，具体实现方式为：

步骤1：特征聚合，在卷积层进行特征聚合，将每个特征映射聚合为一个特征向量，该向量可认为具有全局的感受野，输出的维度与输入的特征映射个数相匹配：

其中：c_i表示第i个特征映射聚合生成的特征向量，z_i表示第i个特征映射，L为单个特征映射的长度；

步骤2：权重生成，通过两层的全连接层为每个特征通道生成权重α_i，建立特征通道之间的相关关系：

α＝δ(V₂σ(V₁C)) (7)

其中：δ、σ分别为激活函数Sigmoid和ReLU，V₁、V₂分别为全连接层的权重向量，C为步骤1中特征聚合生成特征向量c_i的集合，α为生成权重向量α_i的集合。

步骤3：权重匹配，利用在步骤2中学习到的权重向量α，分别与该卷积层的特征映射进行匹配相乘：

Z′＝α*Z (8)

最终得到在注意力机制网络下学习到的新的特征Z′，使新的特征具备主次之分，关注到信号中的局部故障信息；

3、插入BN层

在卷积层与池化层中间插入BN(Batch Normalization)层，将隐藏层的输入分布归一化到所需的高斯分布来减少内部协变量偏移，以防止梯度消失或爆炸，加快网络训练；

BN层的实现过程为：

首先，独立标准化每一维的特征以便加速收敛，在一个mini-batch中，卷积层的输出空间维度有d维，则BN层有d维输入：Z＝(z⁽¹⁾z⁽²⁾…z^(d))，归一化每一维得到：

其中：E[z^(k)]为z^(k)的均值，Var[z^(k)]为z^(k)的方差，k∈[1，d]。

其次，引入一组可学习的重构参数，分别为缩放参数γ^(k)，与位移参数β^(k)，使网络恢复由归一化破坏的特征分布：

其中：y^(k)为经过BN层处理之后输出的特征。

至此，获得注意力机制CNN(ATT-CNN)模型结构。

进一步地，在步骤二中，模型训练过程中，在全连接层引入dropout正则化，避免过度拟合训练数据。

进一步地，在步骤二中，模型训练过程中，使用Adam优化算法更新网络参数以控制网络的学习率。

进一步地，在步骤二中，模型训练过程中，使用mini-batch小批量样本以提高模型的计算效率。

本发明的有益效果是：

本发明提出了一种针对原始振动信号的端到端滚动轴承故障诊断模型，建立从振动数据到分类结果的直接映射关系。解决了变工况下滚动轴承的故障识别问题。利用CNN对信号微小的位移、缩放及其他扭曲形式的不变性特点，提取可以表征变工况下轴承运行状态的深层振动特征；提出将注意力机制引入CNN中，构建特征通道之间的相互依赖关系，增强CNN在时间和空间上的不变性，提高变工况下滚动轴承特征的敏感性。最终实现变工况下的滚动轴承多状态智能故障识别。

滚动轴承在变工况条件下，其运行状态复杂多变，产生的振动信号特征分布差异性较大。传统特征提取方法，过于依赖专家经验和先验知识，对变工况下滚动轴承振动信号特征提取能力有限。因此，针对该问题提出一种基于深度学习的端到端滚动轴承故障识别方法，实现从原始信号到分类结果的直接映射。首先，通过卷积神经网络(convolutionalneural network，CNN)将振动数据映射到非线性空间域，并利用其对输入信号的微小位移、缩放及其他扭曲形式具有不变性的特点，自适应提取变工况下滚动轴承故障特征；其次，为更好地推理不同表现形式数据之间的关联性，提出将注意力机制(ATT)思想融入CNN结构中，进一步提高变工况下轴承振动特征的敏感性；同时通过数据增强方法获得更加丰富多样的训练样本，使得网络得到更充分地学习，提高了鲁棒性。最终，实验表明，所提基于注意力机制CNN(ATT-CNN)故障诊断模型可实现变工况下的滚动轴承多状态识别与分类，并与其他方法比较，可获得更高的准确率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是一维CNN结构图，图2是注意力机制结构图，图3是ATT-CNN模型结构图，图4是数据增强示意图，图5是变工况下滚动轴承故障识别方法流程框图；图6是ATT-CNN模型在No.1数据集上的迭代过程曲线图，图中：a)为故障识别准确率曲线图，b)为故障识别损失值曲线图；图7是不同模型在No.7数据集上故障识别率曲线对比图。

具体实施方式

本实施方式对所述的基于改进CNN的变工况下滚动轴承故障识别方法的原理、实现过程及验证效果进行如下详尽阐述：

1理论背景

1.1卷积神经网络

通常，CNN输入数据是二维数据，通过交替、堆叠卷积和池化操作来学习抽象的空间特征。由于本研究中的输入数据是振动信号，因此简要介绍一维CNN。

1.1.1卷积层

在卷积层中，利用前一层的输出与多个卷积核卷积并生成特征映射，通过激活函数构建输出特征矢量，其数学模型可描述为：

其中：分别表示l层第i个卷积核的权重与偏置，*代表卷积运算，σ为激活函数。x^l(j)为l层第j个神经元，输出为卷积核K在输入x^l(j)上学习到的特征。

线性修正单元(ReLU)被广泛用作激活函数以缓解神经网络的过拟合问题。ReLU的公式为：

其中：为经过激活函数得到的激活值。

1.1.2池化层

池化能够提取每个特征映射中最重要的局部信息，并通过该操作可以显著减小特征维度。通常，平均池化和最大池化被广泛使用，本文选取max-pooling作为池化方式，池化长度为N，在卷积层与池化层中，所有操作的滑动步长皆为1。池化层的输入为卷积层生成的特征映射：

其中：是第l+1层第j个池化操作输出的第j个神经元。

1.1.3全连接层

全连接层通常会和Softmax组合使用完成分类任务。具体过程是将最后一个池化层的输出展平为一维特征向量作为全连接层的输入，在该层的输入与输出之间是全连接的，其公式描述为：

其中：为第l层第i个神经元与第l+1层第j个神经元之间的权值；b_j为第l层所有神经元对第l+1层第j个神经元的偏置；为第l+1层第j个神经元的输出；σ(*)为激活函数。

在输出层，经过Softmax函数处理后得到：

其中：q_j表示输出神经元的概率值，M为目标分类个数。一维CNN的框架如图1所示。1.2卷积神经网络的改进

严格意义上，注意力机制是一种思想，而不是某种模型的实现，因此它的表现方式可以完全不同^[25]。通过CNN计算输入特征Z的注意力权值α对Z加权，加权后的特征Z′代替原来的Z作为CNN下一层的输入，具体实现方式为：

步骤1：特征聚合，在卷积层进行特征聚合，将每个特征映射聚合为一个特征向量，该向量可认为具有全局的感受野，输出的维度与输入的特征映射个数相匹配：

其中：c_i表示第i个特征映射聚合生成的特征向量，z_i表示第i个特征映射，L为单个特征映射的长度；

步骤2：权重生成，通过两层的全连接层为每个特征通道生成权重α_i，建立特征通道之间的相关关系：

α＝δ(V₂σ(V₁C)) (7)

其中：δ、σ分别为激活函数Sigmoid和ReLU，V₁、V₂分别为全连接层的权重向量，C为步骤1中特征聚合生成特征向量c_i的集合，α为生成权重向量α_i的集合。

步骤3：权重匹配，利用在步骤2中学习到的权重向量α，分别与该卷积层的特征映射进行匹配相乘：

Z′＝α*Z (8)

最终得到在注意力机制网络下学习到的新的特征Z′，使新的特征具备主次之分，关注到信号中的局部故障信息，注意力机制结构如图2所示。

1.3注意力机制CNN模型结构

注意力机制CNN(ATT-CNN)模型整体结构分为输入层，特征提取层，全连接层以及输出层。其中在特征提取层，卷积层用于特征学习，并引入注意力机制，建立特征通道之间的关联性，为不同的特征映射分配权重，但并不影响卷积层输出的尺寸；选择ReLU作为激活函数，加速模型收敛，减少过拟合现象；最大池化层进行二次采样并减少数据维度，同时保持重要的空间信息。提取的深层敏感特征表示被展平并连接全连接层，并结合Softmax回归作为顶层以进行分类。ATT-CNN模型整体结构如图3所示。

此外，为解决在训练过程中，网络中间层数据分布发生改变的问题，在卷积层与池化层中间插入BN(Batch Normalization)层，将隐藏层的输入分布归一化到所需的高斯分布来减少内部协变量偏移，以防止梯度消失或爆炸，加快网络训练。BN层的实现过程为：

首先，独立标准化每一维的特征以便加速收敛。在一个mini-batch中，卷积层的输出空间维度有d维，则BN层有d维输入：Z＝(z⁽¹⁾z⁽²⁾…z^(d))，归一化每一维得到：

其中：E[z^(k)]为z^(k)的均值，Var[z^(k)]为z^(k)的方差。

其次，引入一组可学习的重构参数，分别为缩放参数γ^(k)，与位移参数β^(k)，使网络恢复由归一化破坏的特征分布：

其中：y^(k)为经过BN层处理之后输出的特征。

2变工况下滚动轴承识别方法及流程

2.1数据增强

在故障诊断领域，数据增强也是提高分类精度的一种重要手段。因此，为了在有限的样本中获得数量更多，表现形式更为多样的训练数据，使所提的深层网络可以学习到鲁棒性更强的特征，采取数据重叠分割的数据划分方法。数据重叠分割过程如图4所示，样本是存在部分重叠的，具体计算方法为：

其中：L₁为样本的总长度，L₂为单个样本的长度，D为滑动步长，N_L则为获得的样本数量。2.2变工况下滚动轴承故障识别方法流程

基于ATT-CNN模型的变工况下滚动轴承故障诊断方法流程框图如图5所示。

1)数据增强：对滚动轴承原始振动信号采取重叠分割的方法进行样本划分以获取表现形式更加多样的振动数据；

2)训练阶段：训练样本采取1种负载或2种负载数据，搭建CNN模型并在CNN的结构中引入注意力机制，为不同的特征映射赋予权重。初始化网络参数，通过逐层的参数信息传递得到输出值，计算实际输出与目标输出的偏差。利用反向传播误差调整网络权值及偏置。当网络迭代次数达到预设值时中止训练，得到ATT-CNN滚动轴承多状态识别模型。

3)测试阶段：采用不同于训练阶段工况下的数据，对2)中已训练好的ATT-CNN滚动轴承多状态故障识别模型进行测试，得到变工况下的滚动轴承故障诊断结果。

3实验分析

3.1实验基础

本文使用的滚动轴承振动数据由凯斯西储大学(CWRU)的轴承数据中心提供。这些数据由加速度传感器在4种负载条件下采集，采样率为48kHz。负载类型包括0hp、1hp、2hp和3hp，根据负载的不同电机转速在1730rpm和1797rpm之间变化。振动信号包括4种不同的健康状态：正常条件(N)、外环故障(OR)、内环故障(IR)及滚动体故障(B)。3种缺陷故障直径分别为0.007inch、0.014inch和0.021inch。因此，该数据集包含10种轴承运行状态，其中不同载荷下的相同健康状态被视为1类。根据负载的不同，分别构造A、B、C和D共4种实验数据集。利用数据增强方法对数据集进行样本划分，每个样本包含2048个数据点，共计20000个数据样本，表1中给出了数据集的详细信息。

表1滚动轴承数据集描述

3.2ATT-CNN模型结构及参数设置

为实现对滚动轴承不同故障位置及不同故障程度的多状态智能诊断，建立4层的ATT-CNN模型。模型训练期间，在全连接层引入dropout正则化方法，避免过度拟合训练数据，速率为0.5；采用ReLU函数作为激活函数，减少过拟合现象；为了控制网络的学习率，使用Adam优化算法更新网络参数，学习率设置为0.001；使用尺寸为128小批量样本(mini-batch)以提高模型的计算效率。ATT-CNN模型参数设置如表2所示。

表2ATT-CNN模型的参数设置

3.3实验结果

为全面地验证ATT-CNN故障识别模型在变工况条件下的有效性及泛化能力，并方便与其他文献的诊断结果进行对比，设置3种实验数据集方案。所有实验均在Tensorflow结合Keras的深度学习框架中进行，GPU并行计算用于加速计算。

3.3.1实验方案一

用1种负载下的所有状态数据集合作为训练集，另外1种负载下数据作为测试集，方案设置及实验结果见表3。

表3实验方案一数据集设置及准确率比较

通过引入注意力机制建立的ATT-CNN模型的测试诊断效果最优，对比CNN与文献[24]的平均准确率都有明显的提升。此外，数据集B训练模型，数据集D测试诊断时，ATT-CNN相较CNN测试精度提高了3.07％，较文献[24]更是提高了5.47％。在训练数据与测试数据负载类型差异较大的情况下，ATT-CNN模型在适应性上表现出了较大的优势。

通过对准确率曲线的观察，可以分析ATT-CNN模型是否在向正确的方向学习，对损失曲线的观察，可以判断模型是否收敛。以No.1数据集为例，准确率与损失值的曲线图如图6所示。

由图6a)可以看出，训练数据在迭代30次左右就可以达到100％的准确率，说明ATT-CNN模型可以很准确地对训练数据进行多状态模式识别。而在模型开始训练初始阶段(迭代次数0-100次)，测试准确率出现了振荡的现象，存在过拟合的情况。通过网络不断迭代更新，模型学习到的参数逐渐增多，拟合能力也逐步提高，在迭代120次之后，测试准确率维持在99.82％左右，在迭代150次后，模型终止训练。

分析图6b)，迭代30次左右之后，训练集的误差损失值接近于0，说明此时训练集在ATT-CNN模型上已经达到了很好的分类效果。然而在测试集上还存在较大的误差，并出现了损失值振荡的现象，此时模型的泛化能力还有待提升，通过不断地学习，在迭代120次之后，测试集的误差损失逐渐趋于平稳，损失值逐渐降低至接近于0，在迭代150次之后，模型达到收敛效果，中止训练。

3.3.2实验方案二

为验证本文所提算法的泛化能力，对所有负载类型的数据进行实验。利用2种负载下的所有状态数据集合作为训练集，其余的2种不同负载下数据作为测试集，数据设置及实验结果见表4。多工况类型数据的结构更加复杂多样，相比单工况数据进行测试诊断时，对故障状态的识别难度更大。

表4实验方案二数据集设置及准确率比较

通过对多组实验分析得出，ATT-CNN模型的平均测试准确率为96.48％，较CNN提高了3.3％。说明在更加复杂工况的条件下，测试集与训练集的数据结构与分布存在较大的差异，ATT-CNN模型能很好地适应数据分布的变化，模型的鲁棒性很强。

为更清晰、直观地分析ATT-CNN对比CNN的优势，以No.7数据集为例，通过对两种模型在迭代过程中故障识别准确率曲线进行对比分析，如图7所示。由图可知，ATT-CNN模型迭代约30次之后，训练准确率达到平稳并维持在100％，而CNN模型在该训练集上学习能力稍弱。此外，两种模型的测试准确率曲线表现大有不同。ATT-CNN模型中加入了注意力机制结构，使得模型中参数增多，因此，在迭代初始阶段，模型的拟合能力不足，测试准确率震荡现象较CNN明显。但是随着迭代次数的增加，ATT-CNN优势开始展现，故障识别准确率逐渐趋于平稳。整体而言，基于ATT-CNN模型的轴承故障测试诊断准确率整体高于CNN模型。

3.3.3实验方案三

为进一步验证模型的鲁棒性，利用1种负载下的数据做训练集，其他3种负载下的数据做测试集，数据设置及实验结果见表5。众所周知，对于深度神经网络来说，利用海量的训练数据可得到鲁棒性更高的模型。但实际应用中，部分工况数据难以获取或会出现未知工况数据，因此希望通过小数据集实现变工况条件下的故障诊断。

表5实验方案三数据集设置及准确率比较

基于ATT-CNN模型的平均测试准确率为83.40％，而未改进的CNN模型仅有77.98％，高出了5.5％。所提算法在方案三设置的数据集上的整体表现不如前两种方案。分析原因，训练集的数据构成较为单一，而测试集的数据结构与分布复杂性远远超过了训练集。此时，无法满足通过丰富多样的振动数据提高模型的拟合能力，因此，在数据不平衡情况下，十分考验算法的鲁棒性。然而从测试准确率的对比结果来看，通过引入注意力机制对模型的改进，有效地提高了诊断精度，说明ATT-CNN算法通过对输入数据的建模，可以更好实现对复杂形式数据的拟合，在复杂工况下的信息挖掘与特征提取能力有所提高。

4结论

本文提出了一种针对原始信号的变工况下滚动轴承故障识别方法，该方法基于深度学习框架，省略了经验提取特征等中间步骤，使故障特征提取与最终状态分类达到整体契合，并在轴承数据集上验证了该方法的有效性，实验结果表明：

1)ATT-CNN模型可以通过逐层的自适应特征学习，实现原始振动数据(输入)到诊断结果(输出)的直接映射。与传统特征提取方法对比，所提方法减少了对先验知识与专家经验的依赖。

2)引入注意力机制思想对CNN进行改进，建立特征通道之间的关联性，提高CNN提取特征的敏感性。通过这一改进方法，能够更好地适应不同工况数据之间的差异性，实现了变工况条件下的滚动轴承故障识别，并获得了更高的诊断精度。

3)利用数据增强方法，在有限的振动数据中获取表现形式更为多样的训练样本，提高了模型的鲁棒性。

本发明援引的参考文献明细如下：

[1]王玉静，那晓栋，康守强，等.基于EEMD-Hilbert包络谱和DBN的变负载下滚动轴承状态识别方法[J].中国电机工程学报，2017，37(23)：6943-6950+7085.

Wang Yujing，Na Xiaodong，Kang Shouqiang，et al.State recognition methodof a rolling bearing based on EEMD-Hilbert envelope spectrum and DBN undervariable load[J].Proceedings of the CSEE，2017，37(23)：6943-6950+7085(inChinese).

[2]唐贵基，庞彬.TT变换结合计算阶比跟踪的滚动轴承时变微弱故障特征提取[J].中国电机工程学报，2017，37(20)：5995-6003.

Tang Guiji，Pang Bin.Time varying weak fault features extraction ofrolling bearings based on TT transform and computed order tracking[J].Proceedings of the CSEE，2017，37(20)：5995-6003(in Chinese).

[3]Zhao L，Wang X.A deep feature optimization fusion method forextracting bearing degradation features[J].IEEE Access，2018，6：19640-19653.

[4]Kang S，Ma D，Wang Y，et al.Method of assessing the state of arolling bearing based on the relative compensation distance of multiple-domain features and locally linear embedding[J].Mechanical Systems and SignalProcessing，2017，86：40-57.

[5]郭亮，高宏力，张一文，等.基于深度学习理论的轴承状态识别研究[J].振动与冲击，2016，35(12)：166-170+195.

Guo Liang，Gao Hongli，Zhang Yiwen，et al.Research on bearing conditionmonitoring based on deep learning[J].Journal of Vibration and Shock，2016，35(12)：166-170+195(in Chinese).

[6]He M，He D.Deep learning based approach for bearing fault diagnosis[J].IEEE Transactions on Industry Applications，2017，53(3)：3057-3065.

[7]Liu H，Li L，Ma J.Rolling bearing fault diagnosis based on STFT-deeplearning and sound signals[J].Shock and Vibration，2016，2016(2)：12.

[8]李巍华，戴炳雄，张绍辉.基于小波包熵和高斯混合模型的轴承性能退化评估[J].振动与冲击，2013，32(21)：35-40+91.

Li Weihua，Dai Bingxiong，Zhang Shaohui.Bearing performance degradationassessment based on wavelet packet entropy and gaussian mixture model[J].Journal of vibration and Shock，2013，32(21)：35-40+91(in Chinese).

[9]Rai A，Upadhyay，S H.Bearing performance degradation assessmentbased on a combination of empirical mode decomposition and k-medoidsclustering[J].Mechanical Systems and Signal Processing，2017，93：16-29.

[10]Li Hua，Liu Tao，Wu Xing.Research on bearing fault feature extraction based on singular value decomposition and optimizedfrequency band entropy[J].Mechanical Systems and Signal Processing，2019，118：477-502.

[11]王奉涛，陈旭涛，闫达文，等.流形模糊C均值方法及其在滚动轴承性能退化评估中的应用[J].机械工程学报，2016，52(15)：59-64.

Wang Fengtao，Chen Xutao，Yan Dawen，et al.Fuzzy c-means using manifoldlearning and its application to rolling bearing performance degradationassessment[J].Journal of Mechanical Engineering，2016，52(15)：59-64(inChinese).

[12]康守强，许林虎，王玉静，等.基于FOA-MKSVM的滚动轴承故障分类方法[J].仪器仪表学报，2015，36(05)：1186-1192.

Kang Shouqiang，Xu Linhu，Wang Yujing，et al.Fault classification methodof rolling bearing based on FOA-MKHSVM method[J].Chinese Journal ofScientific Instrument，2015，36(05)：1186-1192(in Chinese).

[13]康守强，王玉静，姜义成，等.基于超球球心间距多类支持向量机的滚动轴承故障分类[J].中国电机工程学报，2014，34(14)：2319-2325.

Kang Shouqiang，Wang Yujing，Jiang Yicheng，et al.Fault classificationof rolling bearing based on hypersphere center distance multiclass supportvector machine[J].Proceedings of the CSEE，2014，34(14)：2319-2325(in Chinese).

[14]Ma M，Sun C，Chen X.Discriminative deep belief networks with antcolony optimization for health status assessment of machine[J].IEEETransactions on Instrumentation and Measurement，2017，66(12)：3115-3225.

[15]孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29(08)：2806-2810.

Sun Zhijun，Xue Lei，Xu Yangming，et al.Overview of deep learning[J].Application Research of Computers，2012，29(08)：2806-2810(in Chinese).

[16]雷亚国，贾峰，孔德同，等.大数据下机械智能故障诊断的机遇与挑战[J].机械工程学报，2018，54(05)：94-104.

Lei Yaguo，Jia Feng，Kong Detong，et al.Opportunities and challenges ofmachinery intelligent fault diagnosis in big data era[J].Journal ofMechanical Engineering，2018，54(05)：94-104(in Chinese).

[17]Yin A，Lu J，Dai Z，et al.Isomap and deep belief network-basedmachine health combined assessment model[J].Strojniski Vestnik，2016，62(12)：740-750.

[18]Wang Shuhui，Xiang Jiawei，Zhong Yongteng，et al.A data indicator-based deep belief networks to detect multiple faults in axial piston pumps[J].Mechanical Systems and Signal Processing，2018，112：154-170.

[19]Wang，Fengtao，Deng Gang，Liu Chenxi，et al.A deep feature extractionmethod for bearing fault diagnosis based on empirical mode decomposition andkernel function[J].Advances in Mechanical Engineering，2018，10(9)：1-12.

[20]周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40(06)：1229-1251.

Zhou Feiyan，Jin Linpeng，Dong Jun.Review of convolutional neuralnetwork[J].Chinese Journal of Computers，2017，40(06)：1229-1251(in Chinese).

[21]Lu C，Zhou B，Wang Z.Intelligent fault diagnosis of rolling bearingusing hierarchical convolutional network based health state classification[J].Advanced Engineering Informatics，2017，32：139-151.

[22]Appana D K，Prosvirin A，Kim J M.Reliable fault diagnosis ofbearings with varying rotational speeds using envelope spectrum andconvolution neural networks[J].Soft Computing，2018：1-1.

[23]康守强，胡明武，王玉静，等.基于特征迁移学习的变工况下滚动轴承故障诊断方法[J/OL].中国电机工程学，1-9[2018-12-15].https://doi.org/10.13334/j.0258- 8013.pcsee.180130.

Kang Shouqiang，Hu Mingwu，Wang Yujing，et al.Fault diagnosis method ofa rolling bearing based on feature transfer learning in variable condition[J/OL].Proceedings of the CSEE，1-9[2018-12-15].https://doi.org/10.13334/j.0258- 8013.pcsee.180130.(in Chinese)

[24]Zhang W，Peng G L，Li C H，et al.A new deep learning model for faultdiagnosis with good anti-noise and domain Adaptation ability on raw vibrationsignals[J].Sensors，2017，17(2)：425-446.

[25]张宇，张鹏远，颜永红.基于注意力LSTM和多任务学习的远场语音识别[J].清华大学学报(自然科学版)，2018，58(03)：249-253.

Zhang Yu，Zhang Pengyuan，Yan Yonghong.Long short-term memory withattention and multitask learning for distant speech recognition[J].Journal ofTsinghua University(Science and Technology)，2018，58(03)：249-253(in Chinese).

Claims (6)

1.一种基于ATT-CNN的变工况下滚动轴承故障识别方法，其特征在于，所述方法的实现过程为：

步骤一、数据增强：对含有多种工况下的滚动轴承原始振动信号采取重叠分割的方法进行样本划分以获取表现形式更加多样的振动数据并制作数据集，将增强后的数据集进行训练样本和测试样本的划分；

步骤二、训练阶段：

训练样本采取单工况或多工况数据形式，在CNN的结构中引入注意力机制，为不同的特征映射赋予权重，从而获得改进的CNN，即获得注意力机制CNN模型结构；

对改进的CNN进行网络参数初始化，通过逐层的参数信息传递得到输出值，通过目标损失函数计算实际输出与目标输出的偏差，利用反向传播误差调整网络权值及偏置，当网络迭代次数达到预设值时中止训练，得到ATT-CNN滚动轴承多状态识别模型；

步骤三、测试阶段：采用不同于训练阶段工况下的数据形式，对步骤2)中已训练好的ATT-CNN滚动轴承多状态故障识别模型进行测试，得到变工况下的滚动轴承故障诊断结果。

2.根据权利要求1所述的一种基于ATT-CNN的变工况下滚动轴承故障识别方法，其特征在于，在步骤一中，数据增强的具体过程为：

采取数据重叠分割的数据划分方法进行数据增强，数据重叠分割过程是通过设定滑动窗口的方式使得相邻两个样本之间的样本点具有重叠部分，

通过数据重叠分割方法获得的样本数量N_L：

其中：L₁为样本的总长度，L₂为单个样本的长度，D为滑动步长，N_L则为获得的样本数量。

3.根据权利要求1或2所述的一种基于ATT-CNN的变工况下滚动轴承故障识别方法，其特征在于，在步骤二中，改进的CNN的构建过程为：

1卷积神经网络

包括输入层、卷积层、池化层、全连接层和输出层，输入层为滚动轴承的原始振动信号，通过交替、堆叠卷积和池化操作来学习抽象的空间特征，全连接层结合Softmax分类器通过输出层滚动轴承故障识别结果；

1.1卷积层

在卷积层中，利用前一层的输出与多个卷积核卷积并生成特征映射，通过激活函数构建输出特征矢量，其数学模型可描述为：

其中：K_i ^l、b_i ^l分别表示l层第i个卷积核的权重与偏置，*代表卷积运算，σ为激活函数。x^l(j)为l层第j个神经元，输出y_i ^l+1(j)为卷积核K在输入x^l(j)上学习到的特征；

σ为激活函数采用线性修正单元(ReLU)，ReLU的公式为：

其中：z_i ^l+1(j)为y_i ^l+1(j)经过激活函数得到的激活值。

1.2池化层

池化能够提取每个特征映射中最重要的局部信息，并通过该操作可以显著减小特征维度，选取max-pooling作为池化方式，池化长度为N，在卷积层与池化层中，所有操作的滑动步长皆为1，池化层的输入为卷积层生成的特征映射：

其中：P_i ^l+1(j)是第l+1层第i个池化操作输出的第j个神经元。

1.3全连接层

全连接层具体构建过程是将最后一个池化层的输出展平为一维特征向量作为全连接层的输入，在该层的输入与输出之间是全连接的，其公式描述为：

其中：W_ij ^l为第l层第i个神经元与第l+1层第j个神经元之间的权值；b_j为第l层所有神经元对第l+1层第j个神经元的偏置；u_j ^l+1为第l+1层第j个神经元的输出；σ为激活函数；

在输出层，经过Softmax函数处理后得到：

其中：q_j表示输出神经元的概率值，表示输出滚动轴承故障类别的概率；M为目标分类个数，滚动轴承故障类别总数；

2卷积神经网络的改进

通过CNN计算输入特征Z的注意力权值α对Z加权，加权后的特征Z′代替原来的Z作为CNN下一层的输入，具体实现方式为：

步骤1：特征聚合，在卷积层进行特征聚合，将每个特征映射聚合为一个特征向量，该向量可认为具有全局的感受野，输出的维度与输入的特征映射个数相匹配：

其中：c_i表示第i个特征映射聚合生成的特征向量，z_i表示第i个特征映射，L为单个特征映射的长度；

步骤2：权重生成，通过两层的全连接层为每个特征通道生成权重α_i，建立特征通道之间的相关关系：

α＝δ(V₂σ(V₁C)) (7)

其中：δ、σ分别为激活函数Sigmoid和ReLU，V₁、V₂分别为全连接层的权重向量，C为步骤1中特征聚合生成特征向量c_i的集合，α为生成权重向量α_i的集合。

步骤3：权重匹配，利用在步骤2中学习到的权重向量α，分别与该卷积层的特征映射进行匹配相乘：

Z′＝α*Z (8)

最终得到在注意力机制网络下学习到的新的特征Z′，使新的特征具备主次之分，关注到信号中的局部故障信息；

3、插入BN层

在卷积层与池化层中间插入BN(Batch Normalization)层，将隐藏层的输入分布归一化到所需的高斯分布来减少内部协变量偏移，以防止梯度消失或爆炸，加快网络训练；

BN层的实现过程为：

首先，独立标准化每一维的特征以便加速收敛，在一个mini-batch中，卷积层的输出空间维度有d维，则BN层有d维输入：Z＝(z⁽¹⁾z⁽²⁾…z^(d))，归一化每一维得到：

其中：E[z^(k)]为z^(k)的均值，Var[z^(k)]为z^(k)的方差，k∈[1，d]。

其次，引入一组可学习的重构参数，分别为缩放参数γ^(k)，与位移参数β^(k)，使网络恢复由归一化破坏的特征分布：

其中：y^(k)为经过BN层处理之后输出的特征。

至此，获得注意力机制CNN(ATT-CNN)模型结构。

4.根据权利要求3所述的一种基于改进CNN的变工况下滚动轴承故障识别方法，其特征在于，在步骤二中，模型训练过程中，在全连接层引入dropout正则化，避免过度拟合训练数据。

5.根据权利要求4所述的一种基于改进CNN的变工况下滚动轴承故障识别方法，其特征在于，在步骤二中，模型训练过程中，使用Adam优化算法更新网络参数以控制网络的学习率。

6.根据权利要求5所述的一种基于改进CNN的变工况下滚动轴承故障识别方法，其特征在于，在步骤二中，模型训练过程中，使用mini-batch小批量样本以提高模型的计算效率。