CN106769048A - 基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法 - Google Patents

Abstract

本发明涉及一种基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，包括：对滚动轴承不同健康状态的原始信号进行样本划分，生成训练样本；层叠受限玻尔兹曼机(Restricted Boltzmann Machine)建立DBN模型，加入Nesterov动量法和独立自适应学习率，将训练样本输入DBN模型，通过批量随机梯度下降法和贪婪逐层无监督算法预训练DBN模型；在预训练好的模型顶层加入Softmax分类器，使用监督算法单独训练Softmax分类器，通过反向传播算法(Back Propagation)和共轭梯度法进行全局微调，得到模型最优参数；输入未知状态信号，形成测试样本集，然后将测试样本输入上述训练好的DBN模型和Softmax分类器判断滚动轴承的故障类型。通过加入Nesterov动量法和独立自适应学习率，加快DBN预训练速度，提高故障分类精度。

Description

基于Nesterov动量法的自适应深度置信网络轴承故障诊断 方法

技术领域

本发明涉及滚动轴承故障诊断的技术领域，尤其涉及一种基于Nesterov动量法的自适应深度置信网络(Deep Belief Network)轴承故障诊断方法。

背景技术

滚动轴承是航天航空、电力、石化、冶金以及机械等工业部门中使用最广泛，也是最容易损伤的部件之一。旋转机械的工作状态与滚动轴承有密切关系，据统计，在使用滚动轴承的旋转机械设备中，约30％的机械故障是与轴承损伤有关联的。机械设备一旦发生意外故障，正常生产进程以及产品质量就会受影响并因此产生巨大的经济损失，严重者甚至危及人身安全，导致重大的灾难性事故。基于提高轴承可靠性和保证机械设备的安全运行，有必要采取一种检测方式检测轴承健康状态，识别是否发生故障，进而采取必要的措施，防止轴承损坏，确保机械设备安全运行。

对于诊断来说，良好的特征表达对模式识别的准确性起关键作用。目前大量的滚动轴承故障诊断技术都是靠人工提取特征，例如SIFH、SVM、LBP等等，需要花费大量时间集中在特征提取。此外不同的特征具有不同的表达意义，很难找到统一的、适用于不同模型的特征，这就导致了手工选取特征不仅费时，而且需要启发式专业知识。2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生Ruslan Salakhutdinov在美国《Science》杂志上发表了一篇文章提出了深度学习(Deep Learning)，主要观点包括：多隐藏层的神经网络类似于人的视觉系统，能够提取数据更抽象的特征表达，具有优异的特征学习能力，与传统方法相比，深度学习神经网络通过构建多层网络自动提取数据更深层的特征来表征数据，从而提升分类和预测的准确性。然而，目前的DBN模型大多数是以人工提取的特征作为输入，在此基础上提取更深层的特征进行故障分类，例如小波包能量特征，这依旧需要相当专业的知识，同时直接对原始信号进行深层特征提取的DBN诊断模型故障分类效果还有待提高。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于Nesterov动量法的自适应深度置信网络(Deep Belief Network)轴承故障诊断方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，如图1所示，包括以下步骤：

步骤1：对滚动轴承不同健康状态的原始信号进行样本划分，生成训练样本；

步骤2：通过层叠RBM构建DBN模型，将训练样本输入DBN模型，结合批量随机梯度下降法和贪婪逐层无监督算法预训练DBN模型，针对目前DBN模型对原始信号的故障分类精度受限的问题，在DBN模型中加入Nesterov动量法和独立自适应学习率，加速训练速度，提高故障分类精度；

步骤3：在预训练好的模型顶层接入Softmax分类器，使用监督算法单独训练Softmax分类器，接着利用BP算法和共轭梯度法进行全局微调，获得模型最优参数；

步骤4：输入未知状态信号，形成测试样本集，将测试样本输入上述训练好的DBN模型判断滚动轴承的故障类型；

进一步的，所述步骤1具体包括以下步骤：

步骤1.1：该方法以滚动轴承在不同健康状态下的振动信号作为原始数据X，根据振动信号的采样频率和轴承转动速度，轴承转动一个周期采集到的信号数据个数可表示为：

其中：n为轴承转动一个周期采集到信号数据个数，在实际应用中n常常向上取整，r为轴承转动速度，单位为r/min，f为采样频率，单位为Hz；

步骤1.2：以n为一个样本长度，将轴承不同健康状态下的振动信号划分成训练样本集X′，其中X′^(g)∈Rⁿ，并为每一种健康状态设置标签L，其中L^(g)∈{1,2,3,...,k}，其中，L^(g)表示第g个训练样本的标签，k表示分类类别；

进一步的，所述步骤2具体包括以下步骤：

步骤2.1：层叠RBM建立DBN模型，具体包括：

每一个RBM模型包括一层可视层v＝{v₁,v₂,...,v_i}和一层h＝{h₁,h₂,...,h_j}隐藏层如图2，所有的可视单元和隐藏单元都是二值变量，即j,v_i∈{0,1},h_j∈{0,1}，i和j分别表示可视层第i个可视单元和隐藏层第j个隐藏单元，通过将复数数量的RBM模型从下往上层叠建立DBN模型如图3，底层RBM的隐藏层h₁作为上一层RBM的可视层v₂，然后这一层RBM的隐藏层h₂作为上一层RBM的可视层v₃，通过这样的方式，当底层RBM的可视层存在输入，顶层RBM的隐藏层就会提取出相应输入的深层特征，由于RBM层间有连接，层内无连接，当给定可见单元的状态时，各隐单元的激活状态之间是条件独立的，此时，第j个隐单元的激活概率为：

其中，为sigmoid激活函数，θ＝{W_ij,a_i,b_j}为RBM的参数，W_ij表示可见单元i与隐单元j之间的连接权重，a_i表示可视单元i的偏置，b_j表示隐单元j的偏置。由于RBM的结构是对称的，当给定隐单元的状态时，各可见单元的激活条件也是条件独立，即第i个可视单元的激活概率为：

步骤2.2：将训练样本输入DBN模型，结合批量随机梯度下降法和贪婪逐层算法预训练DBN模型，具体包括：

对训练样本集X′进行归一化处理，使样本集X′幅值范围处于(0,1)之间，得到新的样本集X″，针对批量随机梯度下降法，将样本集X″随机划分成若干个批量B＝{b₁,b₂,…,b_m}，其中m表示第m个批量样本集，将每一个批量样本集输入到DBN模型中，使用贪婪逐层无监督算法进行预训练，首先训练底层RBM，记为RBM₁，将批量样本集B输入到RBM₁的可视层，为了求出合适的参数θ的值，以拟合给定的训练数据，通过最大化RBM在训练集B上的对数似然函数学习得到，即

其中，P(v|θ)为联合概率分布P(v,h|θ)的边际分布，(v,h)联合概率为：

其中，Z(θ)为归一化因子，表达式为：

E(v,h|θ)为RBM的能量函数：

为了获得最优参数θ^*，使用CD算法进行梯度下降，各参数的更新准则为：

其中，η_w，η_a和η_b分别为权重、可视层偏差和隐藏层偏差的学习率，<·>_recon表示一步吉布斯采样后模型定义的分布，依次将各个批量样本集输入RBM₁，训练参数θ₁，将训练样本B输入到训练好的RBM₁，得到提取的特征F₁＝{f₁,f₂,...,f_m}，其中l₁表示一阶样本特征长度，此时F₁＝{f₁,f₂,...,f_m}为原始数据B＝{b₁,b₂,...,b_m}的一阶特征表示，即最底层的表达方式；接着将特征F₁作为上一层RBM(记作RBM₂)的输入，固定参数θ₁重复上述步骤训练RBM₂的参数θ₂，得到二阶特征F₂＝{f₁,f₂,...,f_m},其中 l₂表示二阶样本特征长度；F₂＝{f₁,f₂,...,f_m}是更加抽象的特征表达；随后对后面的各层RBM采用同样的策略，即将前层的输出作为下一层输入依次训练，并在训练每一层参数的时候固定其他各层参数保持不变，最后，得到顶层RBM的隐藏层输出F_s＝{f₁,f₂,...,f_m}(s≥2)，其中l_s表示s阶样本特征长度，此时F_s＝{f₁,f₂,...,f_m}作为DBN模型提取出的深层特征表达；

步骤2.3：针对目前DBN模型对原始信号的故障分类精度受限的问题，在DBN模型中加入Nesterov动量法和独立自适应学习率，加快预训练速度和提高分类精度，具体包括：

当使用批量随机梯度下降法遇到沟壑问题(一个方向的坡度比其他方向明显要陡峭，大多数情况都会对应到一个局部最小值)时，批量随机梯度下降法不会沿着沟壑加速下降到局部最小值，而是在附近反复振荡，为了加速收敛，减少振荡，一般的DBN模型会在参数更新时，使用动量法，即将上一次更新时的梯度乘以一个因数γ(一般设置为0.9)，然后加上此时的梯度，若两次梯度的方向类似，则会加速在这一方向上的移动，加速了收敛，减少振荡：

然而动量法的下降是盲目，它不能判断下一步参数θ将要下降到哪，只是一直加速下降，所以在坡度开始由下降转为上升时，可能会越过局部最小值，Nesterov动量法能够有效地解决这个问题，我们首先通过计算J(θ-γv_t-1)的梯度预测下一步要下降到的位置，然后再做出修正：

实验表明：Nesterov动量法比动量法更能加速RBM模型收敛，减少振荡；

学习率在深度学习过程中是非常重要的，太大的学习率会引起误差增大，越过局部最优点，使RBM模型难以拟合训练数据，导致分类效果差；太小的学习率虽然会避免这些问题，但是会花费更多的时间找到局部最优值，为了减少训练时间同时找到局部最优值，采用一种独立自适应学习率，对于每一个权重值W_ij更新时，使用一个参数α实时改变学习率的大小，表达式为：

其中，h_ij(k)表示第k次训练时权重W_ij学习率的自适应系数，初始h_ij(0)设置为1，表示使用Nesterov动量法后第k次训练时权重W_ij的梯度，如果本次训练的梯度与上一次训练时的梯度符号相同，则相应的自适应系数增加α，加速下降；相反地，如果本次训练梯度与上一次训练时的梯度符号相反，则相应的自适应系数缩小1-α倍，减缓下降速度，参数α应该设置的很小，例如0.1，这样才能保证当出现振荡时大的自适应系数衰减快速，同时为了防止梯度消失，自适应系数应该被限制在[0.01,100]。

进一步的，所述步骤3具体包括以下步骤：

步骤3.1：将DBN模型提取出的深层特征表达F_s＝{f₁,f₂,...,f_m}输入Softmax分类器，结合标签L单独训练Softmax分类器(如图4)：

假设总共有k个分类类别，在Softmax回归中系统的方程为：

其中，代表第k个概率下分类概率，是模型的参数，这一项是对概率分布进行归一化，使得所有概率之和为1，这里使用符号来表示全部的模型参数，将按行罗列变成一个k×l_s的矩阵，如下所示：

采用梯度下降法优化模型参数，Softmax回归中代价函数为：

其中，1{是示性函数，其取值规则为1{值为真的表达式}＝1，1{值为假的表达式}＝0，表示权重衰减项，它会惩罚过大的参数值，λ为衰减系数，经过求导，得到梯度公式如下：

其中，本身是一个向量，它的第l个元素是对的第l个分量的偏导数，使用梯度下降算法最小化参数更新准则为：

步骤3.2：基于BP算法与共轭梯度算法的全局微调：

首先进行“向前传导”运算，计算网络中所有神经元的激活值，之后，针对第l层的每一个节点i，计算出其“残差”该残差表明了该节点对最终输出值的残差产生了多少影响，对于最终Softmax回归分类模型的输出残差，我们将这个差距定义为分类误差(第l_n层表示输出层)，对于隐藏单元，将基于节点残差的加权平均值计算基于BP算法的微调方法如下：

对于第l_n层(输出层)的每个输出单元i，根据以下公式计算残差：

其中，表示第l_n层节点i的输出激活值，表示第l_n层节点i的输入，f′表示传递函数的导函数；

对于l＝l_n-1,l_n-2,l_n-3,...,2的各层，第l层的第i个节点的残差计算方法如下：

计算我们需要的偏导数，计算方法如下：

更新权重参数：

其中，ΔW^(l)表示第l层权重W的平均梯度，Δb^(l)表示第l层偏差b的平均梯度，为了加快下降速度，我们使用共轭梯度法搜索最优学习率ε，重复梯度下降法的迭代步骤实现整个DBN模型的参数优化。

进一步的，所述步骤4具体包括以下步骤：

对未知状态信号重复步骤1，形成测试样本集，然后将测试样本集输入训练好的DBN模型，获得输出值，并通过输出值判断设备状态。

借由上述方案，本发明至少具有以下优点：区别于传统的人工特征提取故障诊断技术，本发明利用深度置信网络的深度学习方法将原始数据作为输入信号，直接对原始信号的深层特征进行自动提取，无需人工选择，有效挖掘数据的本质特征，减少人工提取特征的时间和成本；本发明在层叠受限玻尔兹曼机构建深度置信网络的基础上，通过加入Nesterov动量法和独立自适应学习率，针对目前DBN模型对原始信号的故障分类精度受限的问题，有效提高了模型训练速度和滚动轴承故障诊断精度，使得故障分类精度达到98.6％。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是为本发明的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法的流程图；

图2为受限玻尔兹曼机结构图；

图3为深度置信网络结构图；

图4为基于Softmax回归模型的轴承故障分类；

图5为本发明实施例中轴承不同健康状态的振动信号时域图；

图6为本发明实施例中轴承故障训练分类结果图；

图7为本发明实施例中轴承故障测试分类结果图；

图8为滚动轴承数据生成试验台示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的应用实例如下：

以美国西储大学轴承数据为例，说明基于DBN和Softmax回归模型的深度学习滚动轴承故障诊断实现方法。如图8所示，该滚动轴承试验台包括一个2马力的电机(左侧)(1hp＝746W)，一个转矩传感器(中间)，一个功率计(右侧)和电子控制装置。使用电火花加工技术在支撑轴承上布置单点故障，故障直径可分别设置为0.007、0.014、0.021、0.028、0.040英寸。其中前三种故障直径的轴承使用的是SKF轴承，后两种故障直径的轴承使用的是与之等效的NTN轴承。该实验台包括驱动端轴承和风扇端轴承，加速度传感器分别安装在电机壳体的驱动端和风扇端12点钟的位置。振动信号是通过16通道的DAT记录器采集的，数字信号的采样频率为每秒钟12000个点，驱动端轴承故障数据采样速率为每秒钟48000个点。

在本发明的实施例中，我们选取驱动端(DE)轴承的振动信号作为原始数据，将轴承故障分为正常、内圈故障、滚动体故障、外圈故障四种。轴承型号为6205-2RS JEM，轴承故障尺寸为0.007英寸，转速为1797r/min，采样频率为12kHz，根据公式(1)，得到一个样本长度为400.67，向上取整为401，具体轴承数据可参考表1。

表1轴承数据

层叠受限玻尔兹曼机的无监督学习过程是滚动轴承故障诊断的一个重要部分，可以有效学习出原始数据的深层特征；在加入Nesterov动量法和独立自适应学习率后，可以加快模型训练速度，提高最终的故障分类精度，使模型提取出更具代表性深层特征；最后采用Softmax回归算法作为顶层分类器，实现对轴承故障的分类。

本实施例设定神经网络的隐藏层数目为两层，第一层有300个神经元。第二层有100个神经元，输入层神经元数目等于样本长度为401。输出层根据分类的故障模式，设定为4个神经元。整个神经网络输出结果是不同故障模式的匹配概率值，四个故障模式的概率为1，并判断概率最大的故障模式为当前轴承的故障状态。

我们将训练样本输入DBN模型，采用步骤2和步骤3训练DBN模型和Softmax回归模型参数，其中批量设置为80，权重W的初值为0.01×N～(0,1)，学习率初值为0.05，可视层和隐藏层的偏差a和b的初值为0，学习率初值为0.2。衰减系数λ为0.0003。在所有参数的训练完成后，输入测试样本就可以利用DBN模型无监督自学习得到样本的深层特征，然后输入到Softmax分类器中实现滚动轴承的故障诊断，图4为测试样本的分类结果。如图5至图7所示，为了更好的表征故障诊断结果，我们将模型分类结果与真实标签作对比，用分类正确的结果数目和总的分类数目之比作为分类精度，其结果达到了98.6％，表2为具体健康状态的分类精度。

表2轴承分类结果

从分析应用实例可以看出，本发明提供的基于DBN和Softmax回归模型的深度学习滚动轴承故障诊断方法，通过层叠受限玻尔兹曼机构建深度置信网络模型能够有效地自学习得到滚动轴承振动信号的深层特征，在此基础上加入Nesterov动量法和独立自适应学习率，能够加快训练速度，提高分类精度。从实验结果可看出轴承故障分类精度达到98.6％。

本发明中涉及到的本领域公知技术未详细阐述。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (6)

1.一种基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于，包括步骤：

步骤1：对滚动轴承不同健康状态的原始信号进行样本划分，生成训练样本；

步骤2：通过层叠RBM构建DBN模型，将训练样本输入DBN模型，结合批量随机梯度下降法和贪婪逐层无监督算法预训练DBN模型，在DBN模型中加入Nesterov动量法和独立自适应学习率；

步骤3：在预训练好的模型顶层接入Softmax分类器，使用监督算法单独训练Softmax分类器，接着利用BP算法和共轭梯度法进行全局微调，获得模型最优参数；

步骤4：输入未知状态信号，形成测试样本集，将测试样本输入训练好的DBN模型和Softmax分类器判断滚动轴承的工作状态和故障类型。

2.根据权利要求1所述的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于：所述步骤1具体包括以下步骤：

步骤1.1：以滚动轴承在不同健康状态下的振动信号作为原始数据X，根据振动信号的采样频率和轴承转动速度，轴承转动一个周期采集到的信号数据个数表示为其中：n为轴承转动一个周期采集到信号数据个数，r为轴承转动速度，单位为r/min，f为采样频率，单位为Hz；

步骤1.2：以n为一个样本长度，将轴承不同健康状态下的振动信号划分成训练样本集X′，其中X′^(g)∈Rⁿ，X′^(g)表示训练样本集中第g个训练样本，并为每一种健康状态设置标签L，其中L^(g)∈{1,2,3,...,k}，L^(g)表示第g个训练样本的标签，k表示分类类别。

3.根据权利要求2所述的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于：所述步骤2具体包括以下步骤：

步骤2.1：层叠RBM建立DBN模型，具体包括：

每一个RBM模型包括一层v＝{v₁,v₂,...,v_i}可视层和一层h＝{h₁,h₂,...,h_j}隐藏层，i和j分别表示可视层第i个可视单元和隐藏层第j个隐藏单元；将复数数量的RBM模型从下往上层叠建立DBN模型，底层RBM的隐藏层h₁作为上一层RBM的可视层v₂，然后这一层RBM的隐藏层h₂作为上一层RBM的可视层v₃，当底层RBM的可视层存在输入，顶层RBM的隐藏层提取出相应输入的深层特征；当给定可见单元的状态时，各隐单元的激活状态之间是条件独立的，此时，第j个隐藏单元的激活概率为：

其中，为sigmoid激活函数，θ＝{W_ij,a_i,b_j}为RBM的参数，W_ij表示可见单元i与隐单元j之间的连接权重，a_i表示可视单元i的偏置，b_j表示隐单元j的偏置；当给定隐单元的状态时，各可见单元的激活条件也是条件独立，即第i个可视单元的激活概率为：

步骤2.2：将训练样本输入DBN模型，结合批量随机梯度下降法和贪婪逐层算法预训练DBN模型，具体包括：

对训练样本集X′进行归一化处理，使样本集X′幅值范围处于(0,1)之间，得到新的样本集X″，针对批量随机梯度下降法，将样本集X″随机划分成若干个批量B＝{b₁,b₂,...,b_m}，其中m表示第m个批量样本集，将每一个批量样本集输入DBN模型中，使用贪婪逐层无监督算法进行预训练：首先训练底层RBM，记为RBM₁，将批量样本集B输入到RBM₁的可视层，最大化RBM在训练集B上的对数似然函数学习得到：

其中，P(v|θ)为联合概率分布P(v,h|θ)的边际分布，(v,h)联合概率为：

其中，Z(θ)为归一化因子，表达式为：

E(v,h|θ)为RBM的能量函数：

使用CD算法进行梯度下降，各参数的更新准则为：

其中，η_w，η_a和η_b分别为权重、可视层偏差和隐藏层偏差的学习率，<·>_recon表示一步吉布斯采样后模型定义的分布，依次将各个批量样本集输入RBM₁，训练参数θ₁，将训练样本B输入到训练好的RBM₁，得到提取的特征F₁＝{f₁,f₂,...,f_m}，其中l₁表示一阶样本特征长度，此时F₁＝{f₁,f₂,...,f_m}为原始数据B＝{b₁,b₂,...,b_m}的一阶特征表示，即最底层的表达方式；接着将特征F₁作为上一层RBM(记作RBM₂)的输入，固定参数θ₁重复上述步骤训练RBM₂的参数θ₂，得到二阶特征F₂＝{f₁,f₂,...,f_m},其中 l₂表示二阶样本特征长度；F₂＝{f₁,f₂,...,f_m}是更加抽象的特征表达；随后对后面的各层RBM采用同样的策略，即将前层的输出作为下一层输入依次训练，并在训练每一层参数的时候固定其他各层参数保持不变，最后得到顶层RBM的隐藏层输出F_s＝{f₁,f₂,...,f_m}(s≥2)，其中l_s表示s阶样本特征长度，此时F_s＝{f₁,f₂,...,f_m}作为DBN模型提取出的最深层的特征表达；

步骤2.3：在DBN模型中加入Nesterov动量法和独立自适应学习率，加快预训练速度和提高分类精度，具体包括：

当使用批量随机梯度下降法遇到沟壑问题、在DBN模型参数更新时，使用动量法，即将上一次更新时的梯度乘以一个因数γ，然后加上此时的梯度，若两次梯度的方向类似，则加速在这一方向上的移动：

在坡度开始由下降转为上升时，使用Nesterov动量法，首先通过计算J(θ-γv_t-1)的梯度预测下一步要下降到的位置，然后再做出修正：

采用独立自适应学习率，对于每一个权重值W_ij更新时，使用一个参数α实时改变学习率的大小，表达式为：

其中，h_ij(k)表示第k次训练时权重W_ij学习率的自适应系数，初始h_ij(0)设置为1，表示使用Nesterov动量法后第k次训练时权重W_ij的梯度；如果本次训练的梯度与上一次训练时的梯度符号相同，则相应的自适应系数增加α，加速下降，相反地，如果本次训练梯度与上一次训练时的梯度符号相反，则相应的自适应系数缩小1-α倍，减缓下降速度。

4.根据权利要求3所述的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于：所述自适应系数限制在[0.01,100]。

5.根据权利要求3所述的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于：步骤3具体包括以下步骤：

步骤3.1：将DBN模型提取出的深层特征表达F_s＝{f₁,f₂,...,f_m}输入Softmax分类器，结合标签L单独训练Softmax分类器：

假设总共有k个分类类别，在Softmax回归中系统的方程为：

其中，代表第k个概率下分类概率，是模型的参数，这一项是对概率分布进行归一化，使用符号来表示全部的模型参数，将按行罗列变成一个k×l_s的矩阵，如下所示：

采用梯度下降法优化模型参数，Softmax回归中代价函数为：

其中，1{·}是示性函数，其取值规则为1{值为真的表达式}＝1，1{值为假的表达式}＝0，表示权重衰减项，惩罚过大的参数值，λ为衰减系数，求导，得到梯度公式如下：

其中，是一个向量，它的第l个元素是对的第l个分量的偏导数，使用梯度下降算法最小化参数更新准则为：

步骤3.2：基于BP算法与共轭梯度算法的全局微调：

首先进行向前传导运算，计算网络中所有神经元的激活值，之后，针对第l层的每一个节点i，计算出其残差将这个残差定义为分类误差表示第l_n层表示输出层；对于隐藏单元，将基于节点残差的加权平均值计算基于BP算法的微调方法如下：

对于第l_n层的每个输出单元i，根据以下公式计算残差：

其中，表示第l_n层节点i的输出激活值，表示第l_n层节点i的输入，f′表示传递函数的导函数，

对于l＝l_n-1,l_n-2,l_n-3,...,2的各层，第l层的第i个节点的残差计算方法如下：

偏导数的计算方法如下：

更新权重参数：

其中，ΔW^(l)表示第l层权重W的平均梯度，Δb^(l)表示第l层偏差b的平均梯度；使用共轭梯度法搜索最优学习率ε，重复梯度下降法的迭代步骤实现整个DBN模型的参数优化。

6.根据权利要求1所述的基于Nesterov动量法的自适应深度置信网络轴承故障诊断方法，其特征在于：步骤4的实现包括：

对未知状态信号重复步骤1，形成测试样本集，然后将测试样本集输入训练好的DBN模型，获得输出值，并通过输出值判断设备状态。