CN112149804A - 一种新型卷积神经网络模型及应用 - Google Patents

Abstract

本发明公开了一种新型卷积神经网络模型及应用，该模型是以卷积神经网络为模型基础，以改进型阈值函数为激活函数tReLU，在卷积神经网络的中间层引入残差神经元，用卷积和池化交替连接，softmax分类，贯穿整个结构生成新型卷积神经网络模型RLCNN；所述述激活函数tReLU如公式(1)所示。利用该模型进行轴承故障诊断的方法为：首先将来自轴承的振动信号转换成二维振动图像，对图像进行处理得到灰度图像的像素强度矩阵，将像素强度矩阵输入新型卷积神经网络模型，以现有公开的轴承数据集为训练集，进行卷积，批量归一化处理；获得轴承故障的诊断结果。本发明解决了因传统激活函数使模型梯度消失和均值偏移所带来的轴承故障诊断准确率低的问题。

Description

一种新型卷积神经网络模型及应用

技术领域

本发明属于计算机卷积神经网络技术领域，具体涉及一种新型卷积神经网络模型及应用。

背景技术

现代机械设备正在朝复杂、高强度的工作条件下进行，一旦发生故障，那就可能是灾难性的，因此机械故障隐藏着巨大的风险和经济损失。轴承是机械设备重要的零部件，为了使一些设备能够正常运行，轴承的诊断就是必不可少的，据统计有30％是由轴承的损坏造成的。现在机械设备故障数据海量化，机械设备检测迈入了“大数据”时代。

大数据时代是如何在海量的数据中自动进行特征挖掘，以取代人工进行特征提取，对轴承进行实时检测，保证故障诊断的准确性和高效性。因此处理工业“大数据”的智能诊断就慢慢发展起来，其中卷积神经网络故障诊断就受到广泛的关注。轴承故障诊断是机械研究领域的一个重要方向，故障诊断主要分为两个步骤，一是特征提取，二是模式识别。传统的特征提取的方法可以分为时域分析、频域分析、时频域分析这三大类方法；模式识别的方法主要有支持向量机、多层感知器等，由于卷积神经网络(Convolution NeuralNetwork,CNN)在模式识别、图片分类等领域有良好的特征学习能力，将深度学习模型运用于轴承故障诊断中，成为近些年来国内外专家学者们研究的热点。Janssens等人用卷积神经网络机械轴承故障诊断，比传统故障诊断准确率提高了6％；Chen Lu等人运用贪婪训练的逐层传递规则，对深层次结构进行鲁棒性训练；Duy-Tang Hoang等人建立神经网络模型进行轴承故障诊断，把原始信号转换成图像作为输入，可以达到较高的精度和性能。虽然CNN提高了故障诊断的准确率，但在数据预处理和网络结构上还存在一定的问题：①如果对输入数据进行快速傅里叶变换或者小波变换，会使得一些故障信号的时域特征丢失；②激活函数的运用会使模型出现梯度消失和均值偏移，影响模型对轴承故障诊断准确率。

发明内容

针对现有技术中的不足，本发明通过对激活函数线性修正单元进行改进，以解决梯度消失所带来的诊断准确率低的问题；卷积神经网络中加入了两层残差神经元层加深网络深度，以利于提取潜在的、不易被发掘的特征；从而构建一种新型卷积神经网络模型，并将其应用在轴承故障诊断中。

为解决上述技术问题，本发明采用的技术方案为：

一种新型卷积神经网络模型是以卷积神经网络为模型基础，以改进型阈值函数为激活函数tReLU，在卷积神经网络的中间层引入残差神经元，用卷积和池化交替连接，softmax分类，贯穿整个结构生成新型卷积神经网络模型RLCNN；所述激活函数tReLU如公式(1)所示：

所述残差神经元用公式(2)表示：

F(x)＝W₂f(W₁x+b)+b (2)

公式(2)中x表示当前层的输入，F(x)表示下一层的输入，W₁、W₂分别表示当前层和下一层的权重，f(.)表示tReLU激活函数，b表示偏置。

进一步地，所述新型卷积神经网络模型为六层卷积神经网络，其中第一、二、五、六层的卷积核大小依次是5×5、3×3、3×3、3×3，个数依次是32,64,128,256，每层都运用最大池化层，其大小是2×2；第三、四层是运用残差神经元建立的残差神经元层，第三、四层的残差神经元中卷积核大小均为1×1、3×3、1×1，对应的个数分别为16、16、64；所述六层卷积神经网络结构参数如表1所示：

表1六层卷积神经网络结构参数

更进一步地，所述新型卷积神经网络模型的输入为灰度图像的像素强度矩阵。

更进一步地，所述灰度图像的像素强度矩阵是由二维图像处理得到，具体处理过程为：先将二维图像预处理为振动信号数据集，再将振动信号数据集的数据利用公式(3)转换为灰度图像的像素强度矩阵，

其中，M表示长度为M的振动数据序列，j＝1…M，k＝1…M，表示图像的像素强度，round (·)表示将像素值归一化到0-255。

激活函数就是将非线性的的特征映射到卷积神经网络中，如果不用激活函数，在卷积神经网络中的每层输入都是上一层的线性输出，不管网络有多少层都是没有意义的，这样只认为有一个隐藏层的作用，网络的的训练能力就有限；如果使用激活函数，激活函数就会让卷积神经网络中加入一些非线性因子，这样深层卷积神经网络的表达能力就更强。

本发明中的激活函数tReLU是以基本修正线性单元(The Rectified LinearUnit，ReLU)为的改进修正线性单元，CNN中通常采用的激活函数为修正线性单元(TheRectified Linear Unit， ReLU)，它的一般形式为：

ReLU函数解决sigmoid激活函数出现的梯度消失，但ReLU函数出现了均值偏移。在x<0 时，由于x＝0神经元是非激活状态，后续训练中网络无法学习，运行结果不收敛。PReLU函数是ReLU的改进，很好的解决了x<0上的均值偏移问题。迭代次数的增多会出现不收敛，过拟合，导致训练结果失真，于是出现了变体ReLU阈值函数。

虽然ReLU阈值函数解决了过拟合问题，仍然存在均值偏移问题，所以对ReLU阈值函数选取不同的阈值位置，测试对应的loss，如表2所示。

表2在x<0处不同阈值与测试准确率的关系

根据表2的结果选择x＝-1，即可得到公式(1)，即本发明的激活函数tReLU。

本发明在中间层引入残差神经元的目的是加深网络，网络深度的增加，能更好的提取一些潜在的、不容易被发掘的特征。而单纯增加网络深度，会在数据验证时出现准确率先升后降的现象，这就是所谓的退化问题。加入残差神经元会解决这些问题，原理如图1所示。

图1中x表示当前层输入，F(x)表示下一层

前的输入，即公式(2)。在图1中，设

之后激活函数之前的输出为H(x)，如果没有恒等映射，残差块就是一个普通的2层卷积网络，只将其优化成H(x)＝x；但如果有恒等映射，则H(x)＝F(x)+x，如果最优输出是x，则要把F(x) 优化为0即可。

在新型卷积神经网络模型RLCNN中，为了减少计算量，本发明引入的残差神经元是运用1×1,3×3,1×1的卷积层，两个1×1卷积分别负责通道上减少和增加维度，3×3卷积在它们之间提取特征。过程如图2所示。

上述一种新型卷积神经网络模型应用于轴承故障诊断。

利用所述新型卷积神经网络模型的轴承故障诊断方法为：首先将来自轴承的振动信号转换成二维振动图像；再将二维振动图像进行处理得到灰度图像的像素强度矩阵；然后将像素强度矩阵输入新型卷积神经网络模型，以现有公开的轴承数据集为训练集，进行卷积，批量归一化处理(BN)，从而获得轴承故障的诊断结果。

进一步地，所述再将二维振动图像进行处理得到灰度图像的像素强度矩阵，其中处理过程为：先将二维振动图像预处理为振动信号数据集，再将振动信号数据集的数据利用公式(3) 转换为灰度图像的像素强度矩阵，

其中，M表示长度为M的振动数据序列，j＝1…M，k＝1…M，表示图像的像素强度，round(·) 表示将像素值归一化到0-255。

与现有技术相比，本发明具有如下有益效果：

1、本发明提出以改进型阈值函数为新型卷积神经网络模型的激活函数，解决了因传统激活函数使模型梯度消失和均值偏移所带来的轴承故障诊断准确率低的问题；

2、本发明在卷积神经网络中间层加入了两层残差神经元层加深网络构成了新型卷积神经网络模型，引入两层残差神经元层很好地解决了在卷积神经网络中单纯增加网络深度，会在数据验证时出现准确率先升后降的现象。

3、本发明的新型卷积神经网络模型应用在轴承故障诊断中，其相比于改进的lenet-5的 CNN和JCNN，本发明的应用方法更能提取出振动图像的深层次故障纹理特征，具有更好的分类能力。

附图说明

图1是残差神经元原理图；

图2是残差块结构图；

图3是本发明卷积神经网络结构图；

图4是本发明卷积神经网络故障诊断基本流程图；

图5是实施例2中9种轴承故障类型的振动图像样品；

图6是实施例2中10组实验的故障分类准确率和迭代次数的关系图；

图7是实施例2中RLCNN模型第六组实验结果的混淆矩阵；

图8是实施例3中6种轴承故障类型的振动图像样品；

图9是实施例3中10组实验的故障分类准确率与迭代次数的关系图；

图10是实施例3中RLCNN故障诊断的混淆矩阵。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的详细描述。

实施例1

如图1-3所示，一种新型卷积神经网络模型是以卷积神经网络为模型基础，以改进型阈值函数为激活函数tReLU，在卷积神经网络的中间层引入残差神经元，用卷积和池化交替连接， softmax分类，贯穿整个结构生成新型卷积神经网络模型RLCNN；所述激活函数tReLU如公式 (1)所示：

所述残差神经元用公式(2)表示：

F(x)＝W₂f(W₁x+b)+b (2)

公式(2)中x表示当前层的输入，F(x)表示下一层的输入，W₁、W₂分别表示当前层和下一层的权重，f(.)表示tReLU激活函数，b表示偏置。

所述新型卷积神经网络模型为六层卷积神经网络，其中第一、二、五、六层的卷积核大小依次是5×5、3×3、3×3、3×3，个数依次是32,64,128,256，每层都运用最大池化层，其大小是2×2；第三、四层是运用残差神经元建立的残差神经元层，第三、四层的残差神经元中卷积核大小均为1×1、3×3、1×1，对应的个数分别为16、16、64；所述六层卷积神经网络结构参数如表1所示：

表1六层卷积神经网络结构参数

所述新型卷积神经网络模型的输入为灰度图像的像素强度矩阵。所述灰度图像的像素强度矩阵是由二维图像处理得到，具体处理过程为：先将二维图像预处理为振动信号数据集，再将振动信号数据集的数据利用公式(3)转换为灰度图像的像素强度矩阵，

其中，M表示长度为M的振动数据序列，j＝1…M，k＝1…M，表示图像的像素强度，round (·)表示将像素值归一化到0-255。

下面通过实施例2-3对本发明一种新型卷积神经网络模型在轴承故障诊断中应用进行验证与分析。

在实施例2和3的实验中分别应用凯斯西储大学和德国帕德尔伯恩大学轴承公开数据集对本发明的新型卷积神经网络模型(简称RLCNN模型)在轴承故障诊断中的应用进行验证。其中RLCNN模型代码是通过Python3.5和TensorFlow进行编写，在Windows下的Pycharm2018 2.4下运行。

实施例2

利用本发明的新型卷积神经网络模型对电机轴承故障进行诊断，验证本发明的RLCNN 模型的对轴承故障诊断的准确率，RLCNN模型故障诊断基本流程如图4所示。

1、数据集

运用凯斯西储大学的轴承数据集对本发明的RLCNN模型进行验证。3种类型，有外圈故障(OF)、滚动体故障(RF)、内圈故障(IF)，每种类型有3种受损程度，受损直径0.18mm、0.36mm、 0.54mm，共9种故障类型，再加一种正常(NO)类型，分别用表示IF0.18、IF0.36、IF0.54、 OF0.18、OF0.36、OF0.54、RF0.18、RF0.36、RF0.54轴承的9种故障类型，NO表示正常。这些数据是在4种负载条件(0hp、1hp、2hp、3hp)下记录的，在训练数据集中，每种负载有2000张振动图像；在测试数据集中，每种负载有400张振动图像，图像大小为64×64。它们的振动图像样品如图5。从图5中可以看出，不同故障具有不同纹理，所以用图像特征的识别方式可以区分故障类型。

2、故障仿真结果

实验运行10组，每组经过50次的迭代，最后取10组的平均值为最终的识别准确率，则分类准确率与迭代次数的关系变化如图6所示。从图6中可以看出，从第1次迭代到第5次迭代故障识别准确率上升的快，到后面就慢慢平稳了，尤其是从40到50次迭代达到收敛，分类准确率达到了99.18％。

图7为本实施例中RLCNN模型第六组结果的混淆矩阵。从图7可以看出，行表示预测标签，列表示实际的标签。结果显示，在IF0.36、IF0.54、OF0.36、OF0.54、NO、RF0.54的准确率均为100％，在RF0.18是最坏的，准确率为97％，在RF0.54错误分类最多为3％，2％的RF0.36、OF0.18分别被错误的分到OF0.54，OF0.36。IF0.36、IF0.54、NO的准确率为100％，没有其他条件被错误分类，显示着轴承故障完全识别。

为了评价本发明的新型卷积神经网络模型在轴承故障诊断应用中的性能，将RLCNN模型与改进lenet-5的CNN的故障诊断方法相比，其诊断准确率结果如表3。

表3 CNN模型与其他方法比较结果

表3中可以看出，RLCNN模型的故障诊断准确率达到了99.18％，运行时间为4h，改进 lenet-5的CNN故障诊断的运行时间为5.8h。虽然准确率不及改进lenet-5的CNN方法，但从时间差异上看出RLCNN模型在运算量上要少于改进lenet-5的CNN，模型运算效率有了较大提升。

实施例3

利用本发明的新型卷积神经网络模型对机电传动系统轴承故障进行诊断，验证本发明的RLCNN模型的对轴承故障诊断的准确率，RLCNN模型故障诊断基本流程如图4所示。

1、数据集

运用德国帕德尔伯恩大学提供的轴承数据集对本发明的RLCNN模型在轴承故障诊断中的应用进行分析。选中数据集中的一部分进行训练和测试，在数据集中有人为损伤和真实损伤(加速寿命的实验所产生)，在真实损伤中选中内圈的5种损伤，点蚀多重损伤1级(KI04)、点蚀单一损伤3级(KI16)、点蚀重复损伤1级(KI17)、点蚀单一损伤2级(KI18)、点蚀单一损伤1级(KI21)和正常(NO)共6种故障类型。每种类型共1200张振动图像，图像大小为128×128，分别从每种类型随机选择240张作为测试集，剩余为训练集。振动图像样品如图8所示。

2、故障仿真结果

运行10组实验，每组迭代50次，对10组分类结果求平均值，故障分类准确率与迭代次数的关系如图9所示。从图9中可以看出，在第1次迭代到第30次迭代准确率都在变化，直到迭代30次后，故障分类准确率收敛，达到100％。为了更好的看清每种故障的分类准确率，绘制如图10为本实施例中RLCNN模型故障诊断的混淆矩阵。在图10中，每种故障的分类都是100％，从图10中可以看出，KI04、KI16、KI17、KI18、KI21和NO没有其他错误分类，说明已被完全分离。

为了更好的体现RLCNN模型处理故障诊断的性能，此方法分别与JCNN和STFT-CNN中的卷积神经网络结构相比，其结果如表4。

表4 CNN模型与其他方法的比较结果

从表4可以看出，在处理大小为128×128振动图像，分6种故障，RLCNN模型诊断准确率达到100％，分别用JCNN、STFT-CNN对相同数据进行故障诊断，诊断准确率达到99.72％、 94.03％，利用本发明的新型卷积神经网络模型的轴承故障诊断方法的诊断准确率高于JCNN、 STFT-CNN的诊断准确率。

综上所述，本发明的新型卷积神经网络模型可自动对振动图像进行特征学习，有效实现对轴承故障诊断。相比于改进的lenet-5的CNN和JCNN，此模型更能提取出振动图像的深层次故障纹理特征，具有更好的分类能力。分别用凯斯西储大学和帕德尔伯恩大学的轴承故障数据对RLCNN模型进行测试，故障诊断准确率达到了99.18％和100％。

Claims (7)

1.一种新型卷积神经网络模型，其特征在于：所述新型卷积神经网络模型是以卷积神经网络为模型基础，以改进型阈值函数为激活函数tReLU，在卷积神经网络的中间层引入残差神经元，用卷积和池化交替连接，softmax分类，贯穿整个结构生成新型卷积神经网络模型RLCNN；所述激活函数tReLU如公式(1)所示：

所述残差神经元用公式(2)表示：

F(x)＝W₂f(W₁x+b)+b (2)

公式(2)中x表示当前层的输入，F(x)表示下一层的输入，W₁、W₂分别表示当前层和下一层的权重，f(.)表示tReLU激活函数，b表示偏置。

2.根据权利要求1所述的一种新型卷积神经网络模型，其特征在于：所述新型卷积神经网络模型为六层卷积神经网络，其中第一、二、五、六层的卷积核大小依次是5×5、3×3、3×3、3×3，个数依次是32,64,128,256，每层都运用最大池化层，其大小是2×2；第三、四层是运用残差神经元建立的残差神经元层，第三、四层的残差神经元中卷积核大小均为1×1、3×3、1×1，对应的个数分别为16、16、64；所述六层卷积神经网络结构参数如表1所示：

表1六层卷积神经网络结构参数

3.根据权利要求1所述的一种新型卷积神经网络模型，其特征在于：所述新型卷积神经网络模型的输入为灰度图像的像素强度矩阵。

4.根据权利要求3所述的一种新型卷积神经网络模型，其特征在于：所述灰度图像的像素强度矩阵是由二维图像处理得到，具体处理过程为：先将二维图像预处理为振动信号数据集，再将振动信号数据集的数据利用公式(3)转换为灰度图像的像素强度矩阵，

其中，M表示长度为M的振动数据序列，j＝1…M，k＝1…M，表示图像的像素强度，round(·)表示将像素值归一化到0-255。

5.一种新型卷积神经网络模型的应用，其特征在于：所述新型卷积神经网络模型应用于轴承故障诊断。

6.根据权利要求5所述的一种新型卷积神经网络模型的应用，其特征在于：利用所述新型卷积神经网络模型的轴承故障诊断方法为：首先将来自轴承的振动信号转换成二维振动图像；再将二维振动图像进行处理得到灰度图像的像素强度矩阵；然后将像素强度矩阵输入新型卷积神经网络模型，以现有公开的轴承数据集为训练集，进行卷积，批量归一化处理，从而获得轴承故障的诊断结果。

7.根据权利要求6所述的一种新型卷积神经网络模型的应用，其特征在于：所述再将二维振动图像进行处理得到灰度图像的像素强度矩阵，其中处理过程为：先将二维振动图像预处理为振动信号数据集，再将振动信号数据集的数据利用公式(3)转换为灰度图像的像素强度矩阵，

其中，M表示长度为M的振动数据序列，j＝1…M，k＝1…M，表示图像的像素强度，round(·)表示将像素值归一化到0-255。

Images