CN113865859A - 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 - Google Patents
多尺度多源异构信息融合的齿轮箱状态故障诊断方法 Download PDFInfo
- Publication number
- CN113865859A CN113865859A CN202110982910.4A CN202110982910A CN113865859A CN 113865859 A CN113865859 A CN 113865859A CN 202110982910 A CN202110982910 A CN 202110982910A CN 113865859 A CN113865859 A CN 113865859A
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- gearbox
- fault
- fault diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000003745 diagnosis Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002407 reforming Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000001931 thermography Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000010705 motor oil Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/02—Gearings; Transmission mechanisms
- G01M13/021—Gearings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M13/00—Testing of machine parts
- G01M13/02—Gearings; Transmission mechanisms
- G01M13/028—Acoustic or vibration analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了多尺度多源异构信息融合的齿轮箱状态故障诊断方法，包括：采集齿轮箱故障时的红外图像和振动信号并预处理，采用基于高斯金字塔的的改进的多尺度分解方式，对预处理后的红外图像和振动信号进行不同尺度划分，将不同尺度的红外图像和振动信号分别转化成对应大小的灰度图后，对图像数据融合，将融合后的数据输入卷积神经网络，提取不同尺度下的齿轮箱故障特征，构建多尺度特征融合故障诊断模型，在多尺度特征融合故障诊断模型中输入齿轮箱的红外图像和振动信号，输出齿轮箱的故障类型。该方法可以并行提取原始图像变换的数据特征，通过端到端的学习方法实现对齿轮箱的多种故障模式识别。
Description
技术领域
本发明涉机械故障自动化诊断技术领域，更具体的涉及多尺度多源异构信 息融合的齿轮箱状态故障诊断方法。
背景技术
目前广泛使用的故障检测系统都是基于振动信号进行诊断，通过安装在壳 体的加速度传感器采集振动信号，然而由于振动信号在采集位置和故障位置传 递的过程中会引入大量的噪声，因此利用单一振动信号传感器进行故障诊断的 可靠度较低，另一方面，振动信号采集系统也有可能发生故障。另外，在复杂 的工况下，CNN的特征提取能力有待提升。这是因为由于对象数据太复杂， 简单的CNN结构难以提取到有效的特征，因此需要对CNN结构进行优化，从 而提高CNN的特征提取能力。
发明内容
本发明实施例提供多尺度多源异构信息融合的齿轮箱状态故障诊断方法， 包括：
采集齿轮箱故障时的红外图像和振动信号并预处理；
采用基于高斯金字塔的的改进的多尺度分解方式，对预处理后的红外图像 和振动信号进行不同尺度划分；
将不同尺度的红外图像和振动信号分别转化成对应大小的灰度图后，对图 像数据融合；
将融合后的数据输入卷积神经网络，提取不同尺度下的齿轮箱故障特征， 构建多尺度特征融合故障诊断模型；
在多尺度特征融合故障诊断模型中输入齿轮箱的红外图像和振动信号，输 出齿轮箱的故障类型。
进一步，采集齿轮故障时的红外图像和振动信号包括：
组装齿轮箱故障模拟试验台，设定齿轮的转速为3000r/min，齿轮的温度 为20摄氏度；
在3000r/min的转速下预热齿轮，通过红外热成像仪观察IRT图的最高温 度，当最高温度达到20摄氏度时，采集红外图像；
通过振动传感器采集齿轮振动加速度信号，采样频率为20kHz。
进一步，对红外图像和振动信号预处理包括：
对红外图像按像素灰度值进行归一化；
对振动信号采用正态分布的方式归一化；
对红外信号添加随机的椒盐噪声。
进一步，采用基于高斯金字塔的的改进的多尺度分解方式包括：
采用均值滤波器来消除获取的高斯金字塔图像噪声；
将均值滤波器的滑动步长设置为1；
应用了Zero-padding填充用于对获取的高斯金字塔图像周围进行零填充， 其中，Zero-padding填充的像素值全为0。
进一步，将不同尺度红外图像和振动信号分别转化成对应大小的灰度图后 进行图像数据融合包括：
将红外图像和振动信号划分为1、1/2、1/4的三个尺度
将读取到的红外图像转换成灰度图，大小为[64,32,1]；
将长度为2048的振动信息归一化后转化为灰度图，大小为[64,32,1]；
将两矩阵实现融合，融合为[64,32,2]的矩阵。
进一步，提取不同尺度下的齿轮箱故障特征包括：
在第一个尺度上输入64×32×2的融合图像，经过核尺寸3×3的16个卷 积核，选择步长为1×1，得到64×32×16的卷积层输出；
采用Relu激活函数激活并输出；经过核尺寸2×2，步长为2×1的最大值 池化层后，得到32×32×16的池化层输出；
重复两次上述的卷积、激活、池化后，得到4×4×4的齿轮箱故障特征；
在第1/2尺度上，输入32×16×4的融合图像，经上述卷积神经网络后得 到4×4×4的齿轮箱故障特征；
在第1/4尺度上，输入为16×8×4的融合图像，经上述卷积神经网络后 得到4×4×4的齿轮箱故障特征。
进一步，还包括构建分类器：
对提取的特征采用Drop层，选择丢弃率50％；
通过全连接层最终得到1×10的向量，选择Relu激活函数进行激活，再 通过第二个全连接层输出1×5的向量；
将全连接层输出通过softmax分类器后得到对各故障类别的初始预测概 率。
9、如权利要求6所述的多尺度多源异构信息融合的齿轮箱状态故障诊断 方法，其特征在于，还包括构建卷积神经网络的样本集：
读取不同尺度划分后的红外图像和振动信号，打上故障对应的标签，构建 故障数据样本集；
将一一对应的红外图像、振动信号、真实标签作为一组，在每一种故障工 况里随机按照训练集70％、测试集30％的比例进行划分；
把测试集和训练集内每一组打乱。
进一步，构建多尺度特征融合故障诊断模型包括：
将训练集样本数据按32组一个批次输入网络，计算一个批次的预测概率， 并且把预测概率和真实标签的交叉熵来作为损失函数，通过随机梯度下降 Adam优化器来更新网络参数，训练集样本全部参与训练后作为1次迭代，共 迭代100次，即完成该神经网络的训练，最终得到训练后的分类器预测概率；
把测试集输入到训练完的神经网络中，来验证该网络的有效性，最终得到 通过红外图像以及振动信号来检测故障的多尺度特征融合故障诊断模型。
本发明实施例提供多尺度多源异构信息融合的齿轮箱状态故障诊断方法， 与现有技术相比，其有益效果如下：
通过将振动信号转换成灰度图，减小过拟合风险，提高计算效率，同时也 有更好的分类准确率，突破异维异构数据难以进行数据级融合的限制，此外我 们提出了一种基于改进的多尺度分解方法和CNN(Multi-scale Convolutional Neural Networks，MSCNN)的端到端故障诊断系统。提出的MSCNN的主要 优点是可以并行提取原始图像变换的数据特征，通过端到端的学习方法实现对 齿轮箱的多种故障模式识别。
该系统主要可以分为三个步骤：
首先，对获取的融合图像进行多尺度分解；其次，利用MSCNN的并行结 构从多尺度分解的融合图像中提取多尺度特征。然后，使用softmax分类器对 各种故障进行分类。最后使用了齿轮箱的实验数据来验证所提方法的有效性， 实现了故障诊断的高精度。
附图说明
图1为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法流程图；
图2为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法网络结构图；
图3为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法数据融合过程图；
图4为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法卷积神经网络经典架构图；
图5为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法不同特征融合方法的准确率对比图；
图6为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法5种故障下的红外图像；
图7为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法5种故障下的振动信号时域波形；
图8为本发明实施例提供的多尺度多源异构信息融合的齿轮箱状态故障诊 断方法融合图像多尺度分解图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1～8，本发明实施例提供多尺度多源异构信息融合的齿轮箱状态故 障诊断方法，该方法包括：
采集齿轮箱故障时的红外图像和振动信号并预处理；
采用基于高斯金字塔的的改进的多尺度分解方式，对预处理后的红外图像 和振动信号进行不同尺度划分；
将不同尺度的红外图像和振动信号分别转化成对应大小的灰度图后，对图 像数据融合；
将融合后的数据输入卷积神经网络，提取不同尺度下的齿轮箱故障特征， 构建多尺度特征融合故障诊断模型；
在多尺度特征融合故障诊断模型中输入齿轮箱的红外图像和振动信号，输 出齿轮箱的故障类型。
下面为多尺度多源异构信息融合的齿轮箱状态故障诊断方法流程及相关 原理。
一、算法：
1、高斯金字塔分解方法
对象在不同的尺度下的观察会呈现出不同的形式。当一个机器视觉系统 分析未知场景时，计算机无法预测图像中对象的比例，因此，有必要同时考虑 多个比例的图像描述。金字塔模型是多尺度描述中最为直观的一种表述方式。 高斯金字塔作为图像金字塔的一种常用结构，经常被用作图像多尺度分解的方 法。该模型通常包括两个步骤：首先，通过低通滤波器对原始图像进行平滑处 理，然后对平滑后的图像进行采样或插值以获得一系列缩小或放大的图像。下 图显示了金字塔模型的采样过程。在金字塔中，每一层图像的获取都是前一层 图像经过低通滤波，然后通过隔行与隔列进行下采样。
高斯金字塔的采样过程：
给定一个图像矩阵g0(m,n)，矩阵的行与列分别为m和n。g0表示金字塔 层次中最低的第0个层次。图像高斯金字塔的获取可以按照以下步骤：
步骤1：使用高斯核对图像执行高斯卷积。
式中：
gk(i,j)——第k阶高斯金字塔图像；
w(m,n)＝h(m)·h(n)——低通特性的5×5窗口函数；
h——高斯密度分布函数，满足归一化，对称，奇偶校验和其他约束等。
窗函数w(m,n)可以表示如下
步骤2：高斯模糊之后，删除所有偶数行，以实现图片的降维。
gk＝Reduce(gk-1)
因此，g0，g1，…，gN构成高斯金字塔，如上图高斯金字塔的采样过程 所示。但是，在不同的分辨率下，目标检测结果的特征是不同的。在高分辨率 下，可以很好地获得目标的细节，但背景噪声也会很大。特别是在动态背景下， 噪声干扰非常严重。相反，在低分辨率下，它几乎不受背景噪声的影响，但是 无法获得目标的结构特征，并且一些小目标容易丢失。因此，单一分辨率的分 析效果不佳。因此，综合分析不同分辨率的图像是有效和必要的。
2、改进的多尺度分解方法
高斯金字塔存在两个问题。第一，较高级别的图像较为复杂包含很多背景 噪声。其次，较低级别的图像包含无法识别目标的细节。基于这两个问题，我 们提出了一种图像多尺度分解方法来执行融合图像的多尺度分解。
对于第一个噪声问题，本文采用了均值滤波器来消除图像噪声。均值滤波 器通过使用像素周围像素范围内的平均值来替换像素值。通过模糊图像，达到 了看不到小噪声的目的。实际上，它是图像平滑空间低通滤波的一种方式，可 以有效滤除噪声。
对于第二个信息丢失问题，这是由下采样操作导致的。下采样操作直接删 除了图像的所有偶数行和偶数列，虽然将图像的大小减半，但是也丢失了许多 信息。因此，为了保持图像的更多信息，我们将均值滤波器的滑动步长设置为 1。此外，还应用了Zero-padding填充用于对图像周围进行零填充，以保持与 原始图像相同的大小。Zero-padding填充的像素值全为0，因此没有噪声问题， 避免丢弃原始图像信息。图8给出了融合图像多尺度分解的过程。
给定图像数据，表示(i，j)位置的像素值。m，n和c分别为图像的长 度，宽度和通道。图8说明了缩放比例为s＝2和s＝3的图像的多缩放比例分 解过程。实际上，可以将该过程视为通过移动平均窗口以不同比例缩放各种尺 寸的低通滤波过程。如图8所示，对于不同的比例s。均值滤波器的滑动步骤 和零填充保持不同比例的图像具有与原始图像相同的大小。这种多尺度分解方 法可以提高结果的稳定性。在融合图像的多尺度分解之后，将通过堆叠的卷积 层和池化层提取融合图像的多尺度特征。
因此，基于提出的多尺度分解方法和融合图像，我们提出了一种用于齿 轮箱故障诊断的MSCNN网络结构。图2显示了基于多尺度分解方法和融合 图像的MSCNN网络结构。提出的MSCNN的主要优点是可以并行提取原始 图像变换的数据特征，通过端到端的学习方法实现对齿轮箱的多种故障模式 识别。如图所示，MSCNN包括三个连续阶段之一：多尺度分解阶段，多尺度 特征学习阶段和分类阶段。
二、基于多尺度卷积神经网络的齿轮箱故障诊断方法流程
整体流程如图1所示
1、数据的采集及预处理
采集信号
1.1组装齿轮箱故障模拟试验台，实验中转速为3000r/min，温度为20摄 氏度左右，以确保两种信号同时采集；
1.2将齿轮箱故障模拟试验台的温度初始化为设定温度，在3000r/min的 转速下预热后，通过红外热成像仪观察IRT图的最高温度，当最高温度达到20 摄氏度时，进行红外图像的采集；
1.3实验中转速为3000r/min,通过振动传感器采集振动加速度信号，采样 频率为20KHZ；
数据预处理在通过传感器采集到设备故障时的红外图像和振动信号时，首 先对输入的信号进行归一化处理，将红外图像按像素灰度值进行归一化，对振 动信号采用归一化为正态分布的方式，为红外信号添加随机的椒盐噪声提高网 络的训练难度，从而达到增加模型泛化能力的目的。采用多尺度方法对处理后 的红外图像和振动信号数据进行尺度划分；即不同粒度的采样得到其高层特征， 选用大小分别为原始数据1、1/2、1/4的三个尺度，得到大小为该比例的三个 输入。归一化目的是加速收敛，数据增强：增加样本数量，防止过拟合。
2、构建样本集
读取尺度划分后的红外图像和振动信号，打上故障对应的标签，构建故障 数据样本集，之后，将一一对应的红外图像、振动信号、真实标签作为一组， 在每一种故障工况里随机按照训练集70％、测试集30％的比例进行划分，然后 把测试集和训练集内每一组打乱。
3、利用训练集进行分类模型的构建
通过将振动信号与红外图像分别转化成对应大小的灰度图后，即可作为同 类型的数据实现数据层融合，即采用将两图像进行拼接、重合等的方法。红外 图像和振动信号数据层的融合采用以下几种方法。
实施例1：
数据层融合
通过读取红外图像并缩放得到其统一大小的数字矩阵，其形式为[64,32,3], 将长度为2048的振动信息归一化为灰度图，具体形式为[64,32,1]，将两矩阵实 现最后一维度即通道上的融合，重整为[64,32,4]的矩阵作为神经网络的输入。
特征提取
在第一个尺度上输入64×32×4的融合图像，经过核尺寸3×3的16个卷 积核，选择步长为1×1，得到64×32×16的卷积层输出；
采用Relu激活函数激活并输出；经过核尺寸2×2，步长为2×1的最大值 池化层后，得到32×32×16的池化层输出；
重复两次上述的卷积、激活、池化后，得到4×4×4的特征；
在第二个尺度上，输入32×16×4的融合图像，经上述卷积神经网络后得 到4×4×4的特征；
在第三个尺度上，输入为16×8×4的融合图像，经上述卷积神经网络后 得到4×4×4的特征；
将三个特征重整为一维度数组后进行系列特征融合即将三个特征串联得 到1×64的一维度数组作为卷积神经网络提取到的多尺度图像特征。
表1-1实施例1CNN参数
实施例2：
数据融合
将读取到的红外图像转换成灰度图，大小为[64,32,1]，将长度为2048的振 动信息归一化后转化为灰度图，具体形式为[64,32,1]，将两矩阵实现融合，重 整为[64,32,2]的矩阵作为神经网络的输入。
特征提取
在第一个尺度上输入64×32×2的融合图像，经过核尺寸3×3的16个卷 积核，选择步长为1×1，得到64×32×16的卷积层输出；
采用Relu激活函数激活并输出；经过核尺寸2×2，步长为2×1的最大值 池化层后，得到32×32×16的池化层输出；
重复两次上述的卷积、激活、池化后，得到4×4×4的特征；
在第二个尺度上，输入32×16×4的融合图像，经上述卷积神经网络后得 到4×4×4的特征；
在第三个尺度上，输入为16×8×4的融合图像，经上述卷积神经网络后 得到4×4×4的特征；
将三个特征重整为一维度数组后进行系列特征融合即将三个特征串联得 到1×64的一维度数组作为卷积神经网络提取到的多尺度图像特征。
表1-2方法2CNN参数
实施例3：
数据融合
将红外图像和振动信号都转换成灰度图，大小为[64,32,1],然后进行水平拼 接，水平拼接具体形式为[64,64,1]的矩阵，即实现第二个维度即通道上的融合， 重整为[64,32,2]的矩阵作为神经网络的输入。
特征提取
在第一个尺度上输入64×64×1的融合图像，经过核尺寸3×3的16个卷 积核，选择步长为1×1，得到64×32×16的卷积层输出；
采用Relu激活函数激活并输出；经过核尺寸2×2，步长为2×2的最大值 池化层后，得到32×32×16的池化层输出；
重复两次上述的卷积、激活、池化后，得到4×4×4的特征；
在第二个尺度上，输入32×16×4的融合图像，经上述卷积神经网络后得 到4×4×4的特征；
在第三个尺度上，输入为16×8×4的融合图像，经上述卷积神经网络后 得到4×4×4的特征；
将三个特征重整为一维度数组后进行系列特征融合即将三个特征串联得 到1×64的一维度数组作为卷积神经网络提取到的多尺度图像特征。
表1-3方法3CNN参数
图5为不同特征融合方法的准确率对比图。
构建分类器
对提取的特征采用Drop层，选择丢弃率50％；
Drop层：dropout是指深度学习训练过程中，对于神经网络训练单元，按 照一定的概率将其从网络中移除，注意是暂时，对于随机梯度下降来说，由于 是随机丢弃，故而每一个mini-batch都在训练不同的网络。
通过全连接层最终得到1×10的向量，选择Relu激活函数进行激活，再 通过第二个全连接层输出1×5的向量；
将全连接层输出通过softmax分类器后得到对各故障类别的初始预测概率。
4、训练与测试
数据按32组一个批次输入网络，通过计算一个批次的预测概率，并且把 预测概率和真实标签的交叉熵来作为损失函数，通过随机梯度下降(Adam) 优化器来更新网络参数，训练集样本全部参与训练后作为1次迭代，共迭代100 次，即完成该神经网络的训练，最终得到训练后的分类器预测概率，
把测试集输入到训练完的神经网络中，来验证该网络的有效性，最终得到 通过红外图像以及振动信号来检测故障的多尺度特征融合故障诊断模型。
在训练结束后，其作为故障诊断模型，就可以根据输入的红外图像和振动 信号判断故障的类型，从而实现故障诊断。
采集的故障类型共5种：故障1为使用2600ml机油(OS2600)时；故障 2为使用了2000ml机油(OS2000)；故障3为使用了1500毫升机油(OS1500)； 故障4为50％断齿(TB50)；故障5为100％断齿(TB100)。为增加数据复 杂性，每种故障都使用了四种大小负载。
图6为5种故障下的红外图像，图7为5种故障下的振动信号时域波形。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发 明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实 施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保 护范围内。
Claims (9)
1.一种多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，包括：
采集齿轮箱故障时的红外图像和振动信号；
采用基于高斯金字塔的改进多尺度分解方式，对红外图像和振动信号进行不同尺度划分；
将不同尺度的红外图像和振动信号分别转化成对应大小的灰度图后，对图像数据融合；
将融合后的数据输入卷积神经网络，提取不同尺度下的齿轮箱故障特征，构建多尺度特征融合故障诊断模型；
在多尺度特征融合故障诊断模型中输入齿轮箱的红外图像和振动信号，输出齿轮箱的故障类型。
2.如权利要求1所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，所述采集齿轮故障时的红外图像和振动信号包括：
组装齿轮箱故障模拟试验台，设定齿轮的转速为3000r/min，齿轮的温度为20摄氏度；
在3000r/min的转速下预热齿轮，通过红外热成像仪观察IRT图的最高温度，当最高温度达到20摄氏度时，采集红外图像；
通过振动传感器采集齿轮振动加速度信号，采样频率为20kHz。
3.如权利要求1所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，还包括：对红外图像和振动信号预处理：
对红外图像按像素灰度值进行归一化；
对振动信号采用正态分布的方式归一化；
对红外信号添加随机的椒盐噪声。
4.如权利要求1所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，采用基于高斯金字塔的改进多尺度分解方式包括：
采用均值滤波器来消除获取的高斯金字塔图像噪声；
将均值滤波器的滑动步长设置为1；
应用了Zero-padding填充用于对获取的高斯金字塔图像周围进行零填充，其中，Zero-padding填充的像素值全为0。
5.如权利要求1所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，所述将不同尺度红外图像和振动信号分别转化成对应大小的灰度图后进行图像数据融合包括：
将红外图像和振动信号划分为1、1/2、1/4的三个尺度
将读取到的红外图像转换成灰度图，大小为[64,32,1]；
将长度为2048的振动信息归一化后转化为灰度图，大小为[64,32,1]；
将两矩阵实现融合，融合为[64,32,2]的矩阵。
6.如权利要求5所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，所述提取不同尺度下的齿轮箱故障特征包括：
在第一个尺度上输入64×32×2的融合图像，经过核尺寸3×3的16个卷积核，选择步长为1×1，得到64×32×16的卷积层输出；
采用Relu激活函数激活并输出；经过核尺寸2×2，步长为2×1的最大值池化层后，得到32×32×16的池化层输出；
重复两次上述的卷积、激活、池化后，得到4×4×4的齿轮箱故障特征；
在第1/2尺度上，输入32×16×4的融合图像，经上述卷积神经网络后得到4×4×4的齿轮箱故障特征；
在第1/4尺度上，输入为16×8×4的融合图像，经上述卷积神经网络后得到4×4×4的齿轮箱故障特征；
将三个齿轮箱故障特征重整为一维度数组后将三个特征串联得到1×64的一维度数组作为卷积神经网络提取到的多尺度图像特征。
7.如权利要求6所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，还包括构建分类器：
对提取的特征采用Drop层，选择丢弃率50％；
通过全连接层最终得到1×10的向量，选择Relu激活函数进行激活，再通过第二个全连接层输出1×5的向量；
将全连接层输出通过softmax分类器后得到对各故障类别的初始预测概率。
8.如权利要求1所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，还包括构建卷积神经网络的样本集：
读取不同尺度划分后的红外图像和振动信号，打上故障对应的标签，构建故障数据样本集；
将一一对应的红外图像、振动信号、真实标签作为一组，在每一种故障工况里随机按照训练集70％、测试集30％的比例进行划分；
把测试集和训练集内每一组打乱。
9.如权利要求8所述的多尺度多源异构信息融合的齿轮箱状态故障诊断方法，其特征在于，构建多尺度特征融合故障诊断模型包括：
将训练集样本数据按32组一个批次输入网络，计算一个批次的预测概率，并且把预测概率和真实标签的交叉熵来作为损失函数，通过随机梯度下降Adam优化器来更新网络参数，训练集样本全部参与训练后作为1次迭代，共迭代100次，即完成该神经网络的训练，最终得到训练后的分类器预测概率；
把测试集输入到训练完的神经网络中，来验证该网络的有效性，最终得到通过红外图像以及振动信号来检测故障的多尺度特征融合故障诊断模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982910.4A CN113865859A (zh) | 2021-08-25 | 2021-08-25 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982910.4A CN113865859A (zh) | 2021-08-25 | 2021-08-25 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113865859A true CN113865859A (zh) | 2021-12-31 |
Family
ID=78988387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110982910.4A Pending CN113865859A (zh) | 2021-08-25 | 2021-08-25 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113865859A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298288A (zh) * | 2022-01-24 | 2022-04-08 | 西安工业大学 | 一种基于深度迁移学习的齿轮箱故障检测方法 |
| CN114970630A (zh) * | 2022-06-01 | 2022-08-30 | 中国人民解放军63796部队 | 一种时序数据多尺度分段的模型训练方法 |
| CN115114965A (zh) * | 2022-08-29 | 2022-09-27 | 中国长江三峡集团有限公司 | 风电机组齿轮箱故障诊断模型、方法、设备及存储介质 |
| CN116698410A (zh) * | 2023-06-29 | 2023-09-05 | 重庆邮电大学空间通信研究院 | 一种基于卷积神经网络的滚动轴承多传感器数据监控方法 |
| CN117292716A (zh) * | 2023-11-24 | 2023-12-26 | 国网山东省电力公司济南供电公司 | 基于声纹与红外特征融合的变压器故障诊断方法与系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106226074A (zh) * | 2016-09-22 | 2016-12-14 | 华中科技大学 | 基于卷积神经网络和小波灰度图的旋转机械故障诊断方法 |
| CN110132626A (zh) * | 2019-05-20 | 2019-08-16 | 西南石油大学 | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN110954312A (zh) * | 2020-02-19 | 2020-04-03 | 北京化工大学 | 一种基于无键相整周期信号的往复机械故障诊断方法 |
| CN111242288A (zh) * | 2020-01-16 | 2020-06-05 | 浙江工业大学 | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 |
| CN111368885A (zh) * | 2020-02-24 | 2020-07-03 | 大连理工大学 | 一种基于深度学习和信息融合的航空发动机气路故障诊断方法 |
| WO2020199468A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN112163599A (zh) * | 2020-09-08 | 2021-01-01 | 北京工商大学 | 一种基于多尺度多层次融合的图像分类方法 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
-
2021
- 2021-08-25 CN CN202110982910.4A patent/CN113865859A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106226074A (zh) * | 2016-09-22 | 2016-12-14 | 华中科技大学 | 基于卷积神经网络和小波灰度图的旋转机械故障诊断方法 |
| WO2020199468A1 (zh) * | 2019-04-04 | 2020-10-08 | 平安科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN110132626A (zh) * | 2019-05-20 | 2019-08-16 | 西南石油大学 | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN111242288A (zh) * | 2020-01-16 | 2020-06-05 | 浙江工业大学 | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 |
| CN110954312A (zh) * | 2020-02-19 | 2020-04-03 | 北京化工大学 | 一种基于无键相整周期信号的往复机械故障诊断方法 |
| CN111368885A (zh) * | 2020-02-24 | 2020-07-03 | 大连理工大学 | 一种基于深度学习和信息融合的航空发动机气路故障诊断方法 |
| CN112163599A (zh) * | 2020-09-08 | 2021-01-01 | 北京工商大学 | 一种基于多尺度多层次融合的图像分类方法 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张成帆 等: "一种一维多尺度卷积神经网络及其在滚动轴承故障诊断中的应用", 《机械科学与技术》, pages 3 * |
| 袁壮: "基于深度网络的油气设备特征学习与故障识别方法研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》, no. 1, pages 019 - 94 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298288A (zh) * | 2022-01-24 | 2022-04-08 | 西安工业大学 | 一种基于深度迁移学习的齿轮箱故障检测方法 |
| CN114970630A (zh) * | 2022-06-01 | 2022-08-30 | 中国人民解放军63796部队 | 一种时序数据多尺度分段的模型训练方法 |
| CN114970630B (zh) * | 2022-06-01 | 2024-04-19 | 中国人民解放军63796部队 | 一种时序数据多尺度分段的模型训练方法 |
| CN115114965A (zh) * | 2022-08-29 | 2022-09-27 | 中国长江三峡集团有限公司 | 风电机组齿轮箱故障诊断模型、方法、设备及存储介质 |
| CN116698410A (zh) * | 2023-06-29 | 2023-09-05 | 重庆邮电大学空间通信研究院 | 一种基于卷积神经网络的滚动轴承多传感器数据监控方法 |
| CN116698410B (zh) * | 2023-06-29 | 2024-03-12 | 重庆邮电大学空间通信研究院 | 一种基于卷积神经网络的滚动轴承多传感器数据监控方法 |
| CN117292716A (zh) * | 2023-11-24 | 2023-12-26 | 国网山东省电力公司济南供电公司 | 基于声纹与红外特征融合的变压器故障诊断方法与系统 |
| CN117292716B (zh) * | 2023-11-24 | 2024-02-06 | 国网山东省电力公司济南供电公司 | 基于声纹与红外特征融合的变压器故障诊断方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN113865859A (zh) | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 | |
| CN110069958B (zh) | 一种密集深度卷积神经网络的脑电信号快速识别方法 | |
| CN110378844B (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| Zhao et al. | ADRN: Attention-based deep residual network for hyperspectral image denoising | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN114692509B (zh) | 基于多阶段退化神经网络的强噪声单光子三维重建方法 | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN108108719A (zh) | 一种加权核稀疏和协同表示系数的高光谱影像分类方法 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN110634103A (zh) | 基于生成对抗网络的图像去马赛克方法 | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN112241937A (zh) | 一种基于神经网络的高光谱图像重构方法 | |
| CN116012653A (zh) | 一种注意力残差单元神经网络高光谱图像分类方法及系统 | |
| CN110956617A (zh) | 基于循环注意力模型的大脑核磁共振异常图像可视化方法 | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 | |
| He et al. | Feature aggregation convolution network for haze removal | |
| CN111951177B (zh) | 一种基于图像超分辨损失函数的红外图像细节增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |