CN112465030A - 一种基于两级迁移学习的多源异构信息融合故障诊断方法 - Google Patents

一种基于两级迁移学习的多源异构信息融合故障诊断方法 Download PDF

Info

Publication number
CN112465030A
CN112465030A CN202011362875.8A CN202011362875A CN112465030A CN 112465030 A CN112465030 A CN 112465030A CN 202011362875 A CN202011362875 A CN 202011362875A CN 112465030 A CN112465030 A CN 112465030A
Authority
CN
China
Prior art keywords
network
dnn
model
parameters
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011362875.8A
Other languages
English (en)
Other versions
CN112465030B (zh
Inventor
陈丹敏
周福娜
张志强
顾诗奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Fiscal And Finance College
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202011362875.8A priority Critical patent/CN112465030B/zh
Publication of CN112465030A publication Critical patent/CN112465030A/zh
Application granted granted Critical
Publication of CN112465030B publication Critical patent/CN112465030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于两级迁移学习的多源异构信息融合故障诊断方法，其步骤为：首先，利用训练好的VGG16模型提取监控截屏图像的特征，并以监控截屏图像的特征为输入得到深层神经网络模型；其次，建立迁移融合网络，并将深层神经网络模型的网络参数迁移到迁移融合网络；再利用一维序列信号样本对迁移融合网络进行训练，得到迁移融合模型；最后，利用迁移融合模型对实时采集的一维序列信号进行识别，输出一维序列信号的故障类别。本发明提出两级迁移机制，通过两级迁移将多源异构信息进行融合，既能融合一维序列信号和截屏图像的特征以提高故障诊断的精度，又能避免了卷积运算，降低了时间复杂度，提高了故障诊断的实时性，达到实时故障诊断的目的。

Description

一种基于两级迁移学习的多源异构信息融合故障诊断方法
技术领域
本发明涉及故障诊断技术领域，特别是指一种基于两级迁移学习的多源异构信息融合故障诊断方法。
背景技术
实际的设备监控中，对于关键传感器实施重点监控，利用监控中心监视器呈现某些关键传感器采集数值的动态变化曲线，这些监控截屏可以呈现一段时间内振动信号振幅和变化趋势，所以获取到的数据既有一维的信号序列又有二维截屏图像。如果仅利用多源异构数据中的一类数据进行深度学习故障诊断势必会造成其他数据所包含信息的浪费，进而会影响故障诊断的精确性。现有的融合方法分别使用深度神经网络和卷积神经网络提取多源异构特征再融合，达到提高故障诊断精度的目的。但是基于卷积神经网络的故障诊断方法需要进行大量卷积运算获得故障图像特征，然而卷积运算时间复杂度高，不能保证故障诊断的实时性。
发明内容
针对多源异构信息和外领域数据充分利用时面临的故障诊断算法实时性差的问题，本发明提出了一种基于两级迁移学习的多源异构信息融合故障诊断方法，通过两级迁移将多源异构信息进行融合，既能融合二维图像的特征以提高故障诊断的精度，又能避免卷积运算提高了故障诊断的实时性，达到实时故障诊断的目的。
本发明的技术方案是这样实现的：
一种基于两级迁移学习的多源异构信息融合故障诊断方法，其步骤如下：
步骤一：利用ImageNet数据集中的自然图像对VGG16网络进行训练，得到VGG16模型及其网络参数PVGG16；
步骤二：将监控截屏图像输入步骤一中的VGG16模型，利用VGG16模型和网络参数PVGG16对监控截屏图像进行特征提取，得到监控截屏图像的特征F2D；
步骤三：构建深层神经网络模型，并利用监控截屏图像的特征对深层神经网络模型进行训练，得到深层神经网络模型的编码网络参数和解码网络参数；
步骤四：将监控截屏图像的特征输入到训练后的深层神经网络模型中获取深层神经网络模型的抽象特征，利用深层神经网络模型的抽象特征训练深层神经网络模型的Softmax分类器，得到深层神经网络模型的Softmax分类器的参数，再采用有监督的反向传播算法对深层神经网络模型的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到故障诊断模型DNNs以及DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数；
步骤五：建立迁移融合网络，且迁移融合网络与故障诊断模型DNNs的网络结构相同，并利用故障诊断模型DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数对迁移融合网络进行参数初始化；
步骤六：利用一维序列信号样本对初始化后的迁移融合网络进行训练，得到迁移融合网络的编码网络参数和解码网络参数；
步骤七：通过将一维序列信号样本输入训练后的迁移融合网络中获取迁移融合网络的抽象特征，利用迁移融合网络的抽象特征对迁移融合网络的Softmax分类器进行训练，得到迁移融合网络的Softmax分类器的参数，再采用有监督的反向传播算法对迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到迁移融合模型DNNt；
步骤八：采集t时刻的一维序列信号x1D,online(t)，并将一维序列信号x1D,online(t)输入迁移融合模型DNNt进行识别，输出一维序列信号x1D,online(t)的故障类别。
所述监控截屏图像的特征F2D的获得方法为：
F2D＝G2D(VGG16,PVGG16,X2D)
其中，X2D表示监控截屏图像，G2D(·)表示特征提取函数。
所述深层神经网络模型为：
DNNs＝Feedforward(hs1,hs2,…,hsN)
Figure BDA0002804508730000021
其中，Feedforward(·)表示具有N个隐藏层的深层神经网络，train(·)表示训练DNNs网络模型，hsj表示DNNs中的第j个隐藏层的神经元个数，j＝1,2,...,N表示隐藏层，θs＝{θs1,θs2,...,θsN}表示DNNs中N个自编码器编码网络的初始参数集合，θsk＝{Wsk,bsk}表示DNNs中第k个自编码器AEk的编码网络的输入层和隐藏层的权值矩阵Wsk和偏置bsk的参数集合，k＝1,2,...,N表示自编码器，
Figure BDA0002804508730000022
表示DNNs中N个自编码器解码网络的初始参数集合，
Figure BDA0002804508730000023
表示DNNs中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵
Figure BDA0002804508730000024
和偏置dsk的参数集合，θ's表示训练后的DNNs对应的编码网络参数，
Figure BDA0002804508730000025
表示训练后的DNNs对应的解码网络参数。
所述迁移融合网络为：
DNNt＝Feedforward(ht1,ht2,…,htN)
Figure BDA0002804508730000031
其中，htj＝hsj表示DNNt的第j个隐藏层的神经元个数，θt＝{θt1,θt2,......,θtN}表示DNNt中N个自编码器编码网络的初始参数集合，θtk＝{Wtk,btk}表示DNNt中第k个自编码器AEk的解码网络的输入层和隐藏层的权值矩阵和偏置的参数集合，
Figure BDA0002804508730000032
表示DNNt中N个自编码器解码网络的初始参数集合，
Figure BDA0002804508730000033
表示DNNt中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵和偏置的参数集合，θ't表示训练后的DNNt对应的编码网络参数，
Figure BDA0002804508730000034
表示训练后的DNNt对应的解码网络参数。
所述采用有监督的反向传播算法对深层神经网络模型或迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化的方法为：
利用有限个有标签样本，通过最小化损失函数对深层神经网络模型或迁移融合网络的参数进行微调：
Figure BDA0002804508730000035
Figure BDA0002804508730000036
其中，M是样本数，
Figure BDA0002804508730000037
为网络参数，label(xm)是网络模型输出的样本xm的类别，Ym是样本xm的实际类别标签，E(θz)是最小化损失函数，α是学习率。
所述将一维序列信号x1D,online(t)输入迁移融合模型DNNt进行识别，输出一维序列信号x1D,online(t)的故障类别的方法为：
Figure BDA0002804508730000038
Figure BDA0002804508730000039
其中，
Figure BDA00028045087300000310
表示计算x1D,online(t)属于每种类型k(k＝1,2,...,K)的概率，p(label(t)＝k|x1D,online(t)；θts)表示x1D,online(t)属于第k种类型的概率，label(t)表示根据故障诊断模型诊断出第t时刻样本的故障类型标签，θts表示Softmax分类器参数，
Figure BDA00028045087300000311
表示用softmax参数计算第t时刻样本是第k类的指数值，result(t)表示一维序列信号x1D,online(t)的故障类别。
训练过程的时间复杂度为：
Figure BDA0002804508730000041
其中，j'＝1,2,…,J，J表示卷积层总数，
Figure BDA0002804508730000042
表示第j'个卷积核输出特征图的尺寸，
Figure BDA0002804508730000043
表示第j'个卷积核的尺寸，uj'-1表示第j'-1个卷积层输出通道数，uj'表示第j'个卷积层输出通道数，m表示样本数，n表示隐藏层的神经元个数，l表示迭代次数，O(·)表示时间复杂度函数；
当N＝4时，故障识别的时间复杂度为：
O(ni*n1+n1*n2+n2*n3+n3*n4+n4*s)＝O(n2)
其中，ni是DNN输入层的神经元数，n1是DNN的AE1的隐藏层的神经元数，n2是DNN的AE2的隐藏层的神经元数，n3是DNN的AE3的隐藏层的神经元数，n4是DNN的AE4的隐藏层的神经元数，s表示分类的类型数量。
本技术方案能产生的有益效果：
(1)本发明充分利用多源异构信息和外领域数据，构建两级迁移机制将多源异构信息进行融合，避免卷积运算，达到实时故障诊断的目的；
(2)本发明构建了截屏图像的特征提取网络模型，设计了从截屏图像的特征提取模型到一维序列信号深度学习模型的迁移机制，实现了从卷积神经网络到深层神经网络的迁移；
(3)本发明经过两级迁移的故障诊断模型不仅融合了一维序列信号和截屏图像的特征，而且该模型避免了卷积运算，降低了时间复杂度，实现了面向故障诊断的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的故障诊断框架图。
图2为本发明的流程图。
图3为本发明的光电转速传感器监控的截屏图像，其中，(a)正常截屏图像，(b)大齿轮点蚀截屏图像，(c)大齿轮断齿截屏图像，(d)大齿轮断齿小齿轮磨损截屏图像，(e)大齿轮点蚀小齿轮磨损截屏图像。
图4为本发明的风扇端监控的截屏图像，其中，(a)正常状态截屏图像，(b)内圈故障截屏图像，(c)滚珠故障截屏图像，(d)外圈故障截屏图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于两级迁移学习的多源异构信息融合故障诊断方法(Two-level Transfer Deep Neural Networks，TTDNN)，基于两级迁移学习的多源异构信息融合故障诊断分为两个阶段：基于两级迁移学习的多源异构信息融合故障诊断模型构建和在线故障诊断。基于两级迁移学习的多源异构信息融合故障诊断模型构建阶段如图1所示。基于两级迁移学习的多源异构信息融合故障诊断模型第一级迁移是将自然图像作为源域，截屏图像作为目标域，利用已在ImageNet数据集中训练好的VGG16网络，通过模型迁移优化只有少量截屏图像的故障诊断模型，更好地抽取二维截屏图像的特征；第二级迁移是将截屏图像提取的特征作为源域，一维序列信号作为目标域，用经过截屏图像特征训练好的深层神经网络来优化一维序列信号的深层神经网络，达到融合多源异构信息的目的。如图2所示，具体步骤如下：
步骤一：基于已有的VGG16网络模型，利用ImageNet数据集中的自然图像对VGG16网络进行训练，得到VGG16模型及其网络参数PVGG16。
步骤二：将监控截屏图像输入步骤一中的VGG16模型，利用VGG16模型和网络参数PVGG16对监控截屏图像进行特征提取，得到监控截屏图像的特征F2D；本发明提取的二维特征是VGG16第一层全连接层的特征。所述监控截屏图像的特征F2D的获得方法为：
F2D＝G2D(VGG16,PVGG16,X2D) (1)
其中，X2D表示监控截屏图像，G2D(·)表示特征提取函数，该函数是利用训练好的VGG16网络和网络参数PVGG16提取截屏图像X2D的二维特征F2D。
步骤三：构建深层神经网络模型，并利用监控截屏图像的特征对深层神经网络模型进行训练，得到深层神经网络模型的编码网络参数和解码网络参数；
所述深层神经网络模型为：
DNNs＝Feedforward(hs1,hs2,…,hsN) (2)
Figure BDA0002804508730000061
其中，Feedforward(·)表示具有N个隐藏层的深层神经网络，train(·)表示训练DNNs网络模型，深层神经网络模型由N个自编码器堆叠组成，hsj表示DNNs中的第j个隐藏层的神经元个数，j＝1,2,...,N表示隐藏层。训练DNNs网络模型，其中DNNs的训练样本集为步骤1获得的截屏特征F2D。θs＝{θs1,θs2,...,θsN}表示DNNs中N个自编码器编码网络的初始参数集合，θsk＝{Wsk,bsk}表示DNNs中第k个自编码器AEk的编码网络的输入层和隐藏层的权值矩阵Wsk和偏置bsk的参数集合，k＝1,2,...,N表示自编码器，这些参数被随机初始化。
Figure BDA0002804508730000062
表示DNNs中N个自编码器解码网络的初始参数集合，
Figure BDA0002804508730000063
表示DNNs中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵
Figure BDA0002804508730000064
和偏置dsk的参数集合，这些参数被随机初始化。θ's表示训练后的DNNs对应的编码网络参数，
Figure BDA0002804508730000065
表示训练后的DNNs对应的解码网络参数。逐层训练更新DNNs模型参数，获得更新后的编码网络参数θ's和解码网络参数
Figure BDA0002804508730000066
获取抽象特征HsN＝σ(W'sN…(σ(W's2(σ(W's1Xs+b's1)+b's2))+…b'sN)。HsN作为输入数据训练Softmax分类器，更新并获得Softmax参数θ'ss；W'sN表示更新后的DNNs中第N个自编码器AEN的输入层和隐藏层的权值矩阵参数，b'sN表示更新后的DNNs中第N个自编码器AEN的输入层和隐藏层的偏置参数。
步骤四：将监控截屏图像的特征输入到训练后的深层神经网络模型中获取深层神经网络模型的抽象特征，利用深层神经网络模型的抽象特征训练深层神经网络模型的Softmax分类器，得到深层神经网络模型的Softmax分类器的参数，再采用有监督的反向传播算法对深层神经网络模型的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到故障诊断模型DNNs以及DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数。使用有监督的反向传播算法对DNNs参数微调优化，得到经过截屏图像特征训练好的故障诊断模型DNNs和模型参数集合
Figure BDA0002804508730000067
θ"s为DNNs对应的编码网络参数，
Figure BDA0002804508730000068
DNNs对应的解码网络参数，
Figure BDA0002804508730000069
DNNs对应的Softmax分类器的参数。
步骤五：建立迁移融合网络，且迁移融合网络与故障诊断模型DNNs的网络结构相同，并利用故障诊断模型DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数对迁移融合网络进行参数初始化；
所述迁移融合网络为：
DNNt＝Feedforward(ht1,ht2,…,htN) (4)
Figure BDA0002804508730000071
其中，htj＝hsj表示DNNt的第j个隐藏层的神经元个数，为了更好的融合截屏图像特征，除输入层外，DNNt模型跟截屏特征的DNNs网络结构相同，神经元个数也相同。
一维序列信号和监视截屏图像是对同一个对象进行的监测，只是存储形式不同。为了更好的融合多源异构信息，利用以截屏图像特征为输入的已经训练好的DNNs模型，将DNNs作为源域，以一维序列信号为输入的DNNt作为目标域，进行模型迁移。通过融合截屏图像特征使得DNNt获取更佳的故障诊断效果。迁移分为三部分：
编码网络参数的迁移：由于源域和目标域的输入维度不同，除输入层外，其他DNN层的结构相同，隐藏层神经元个数也相同。DNNt模型的第一层自编码器编码网络参数θt1随机初始化。如公式(6)所示，将经过步骤四训练好的截屏图像特征DNNs模型第二层至第N层的自编码器编码网络参数θ"s2,......,θ"sN依次赋值给DNNt的相应层的编码网络参数θt2,......,θtN，DNNt编码网络初始参数集合θt＝{θt1,θt2,......,θtN}。
Figure BDA0002804508730000072
解码网络参数的迁移：与编码网络参数的迁移类似，DNNt模型的第一层自编码器解码网络参数
Figure BDA0002804508730000073
随机初始化。如公式(7)所示，将经过步骤四训练好的截屏图像特征DNNs第二层至第N层的自编码器解码网络参数
Figure BDA0002804508730000074
依次赋值给DNNt的相应层的解码网络参数
Figure BDA0002804508730000075
DNNt解码网络初始参数集合
Figure BDA0002804508730000076
Figure BDA0002804508730000077
Softmax层参数的迁移：如公式(6-8)所示，得到目标任务Softmax分类器的初始化参数θts：
θts＝θ"ss (8)
步骤六：利用一维序列信号样本对初始化后的迁移融合网络进行训练，得到迁移融合网络的编码网络参数和解码网络参数。
训练优化迁移融合模型DNNt：
Figure BDA0002804508730000081
其中，θt＝{θt1,θt2,......,θtN}表示DNNt中N个自编码器编码网络的初始参数集合，θtk＝{Wtk,btk}表示DNNt中第k个自编码器AEk的解码网络的输入层和隐藏层的权值矩阵和偏置的参数集合，
Figure BDA0002804508730000082
表示DNNt中N个自编码器解码网络的初始参数集合，
Figure BDA0002804508730000083
表示DNNt中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵和偏置的参数集合，θ't表示训练后的DNNt对应的编码网络参数，
Figure BDA0002804508730000084
表示训练后的DNNt对应的解码网络参数。如公式(9)所示，以一维序列信号X1D作为训练数据集，通过步骤五迁移得到的网络参数θt和
Figure BDA0002804508730000085
为初始参数，训练融合模型DNNt，获得更新后的编码网络参数θ't和解码网络参数
Figure BDA0002804508730000086
获取抽象特征HtN＝σ(W'tN…(σ(W't2(σ(W't1X1D+b't1)+b't2))+…b'tN)；W'tN表示更新后的DNNt中第N个自编码器AEN的输入层和隐藏层的权值矩阵参数，b'tN表示更新后的DNNt中第N个自编码器AEN的输入层和隐藏层的偏置参数。
步骤七：通过将一维序列信号样本输入训练后的迁移融合网络中获取迁移融合网络的抽象特征，利用迁移融合网络的抽象特征对迁移融合网络的Softmax分类器进行训练，得到迁移融合网络的Softmax分类器的参数，再采用有监督的反向传播算法对迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到迁移融合模型DNNt；HtN作为输入数据，以步骤五迁移得到的θts作为融合模型Softmax分类器的初始参数，训练融合模型Softmax分类器，更新并获得Softmax参数θ'ts。最后，使用有监督的反向传播算法对DNNt参数
Figure BDA0002804508730000087
微调优化，得到融合模型参数
Figure BDA0002804508730000088
θ"t表示迁移融合模型DNNt的编码网络参数，
Figure BDA0002804508730000089
表示迁移融合模型DNNt的解码网络参数，θ"ts表示迁移融合模型DNNt的Softmax分类器的参数。
所述采用有监督的反向传播算法对深层神经网络模型或迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化的方法为：利用有限个有标签样本，通过最小化损失函数对深层神经网络模型或迁移融合网络的参数进行微调：
Figure BDA0002804508730000091
Figure BDA0002804508730000092
其中，M是样本数，
Figure BDA0002804508730000093
为网络参数，label(xm)是网络模型输出的样本xm的类别，Ym是样本xm的实际类别标签，E(θz)是最小化损失函数，α是学习率。
步骤八：采集t时刻的一维序列信号x1D,online(t)，并将一维序列信号x1D,online(t)输入迁移融合模型DNNt进行识别，输出一维序列信号x1D,online(t)的故障类别；通过迁移优化后的融合模型DNNt可以进行实时的在线故障诊断。t时刻的在线一维序列信号样本x1D,online(t)的诊断结果如公式(12)-(13)所示。result(t)是DNNt模型输出样本x1D,online(t)的判断类别。具体方法为：
Figure BDA0002804508730000094
Figure BDA0002804508730000095
其中，
Figure BDA0002804508730000096
表示计算x1D,online(t)属于每种类型k(k＝1,2,...,K)的概率，p(label(t)＝k|x1D,online(t)；θts)表示x1D,online(t)属于第k种类型的概率，label(t)表示根据故障诊断模型诊断出第t时刻样本的故障类型标签，θts表示Softmax分类器参数，
Figure BDA0002804508730000097
表示用softmax参数计算第t时刻样本是第k类的指数值(该类的指数值除以这些指数的和就表示是第k类的概率)，result(t)表示一维序列信号x1D,online(t)的故障类别。基于两级迁移学习的多源异构信息融合故障诊断方法流程图如图2所示。
基于两级迁移学习的多源异构信息融合故障诊断算法进行时间复杂度分析。基于两级迁移学习的多源异构信息融合故障诊断分为离线训练阶段和在线故障诊断阶段，分别对这两个阶段进行时间复杂度分析。基于两级迁移学习的多源异构信息融合故障诊断算法的离线训练过程主要分为四步：1.VGG16网络模型提取截屏图像特征。2.训练以截屏图像特征为输入的DNNs网络。3.从源模型DNNs迁移到目标模型DNNt。4.训练目标模型DNNt。步骤1的时间复杂度为
Figure BDA0002804508730000098
步骤2是通过训练优化堆叠自编码器提取特征，该阶段的时间复杂度为O(m*n2*l)。步骤3是参数迁移，时间复杂度为O(n)。步骤4的时间复杂度与步骤2相同，为O(m*n2*l)。由于O(n)和O(m*n2*l)的阶数小于
Figure BDA0002804508730000101
的阶数，所以基于两级迁移学习的多源异构信息融合故障诊断算法的离线训练过程的时间复杂度如公式(14)所示。
Figure BDA0002804508730000102
其中，j'＝1,2,…,J，J表示卷积层总数，
Figure BDA0002804508730000103
表示第j'个卷积核输出特征图的尺寸，
Figure BDA0002804508730000104
表示第j'个卷积核的尺寸，uj'-1表示第j'-1个卷积层输出通道数，uj'表示第j'个卷积层输出通道数，m表示样本数，n表示隐藏层的神经元个数，l表示迭代次数，O(·)表示时间复杂度函数。
基于两级迁移学习的多源异构信息融合故障诊断算法的在线故障诊断过程非常简单，输入一维序列信号，用训练好的故障诊断模型DNNt对其诊断。该阶段不需要对深层神经网络进行训练优化，仅需通过训练好的深层神经网络提取特征输出诊断结果即可，该阶段的时间复杂度分析如下：AE1，AE2，AE3和AE4的时间复杂度分别为O(ni*n1)，O(n1*n2)，O(n2*n3)和O(n3*n4)。Softmax时间复杂度为O(n4*s)。如公式(15)所示，基于两级迁移学习的多源异构信息融合故障诊断算法的在线故障诊断过程的时间复杂度为O(n2)。当N＝4时，故障识别的时间复杂度为：
O(ni*n1+n1*n2+n2*n3+n3*n4+n4*s)＝O(n2) (15)
其中，ni是DNN输入层的神经元数，n1是DNN的AE1的隐藏层的神经元数，n2是DNN的AE2的隐藏层的神经元数，n3是DNN的AE3的隐藏层的神经元数，n4是DNN的AE4的隐藏层的神经元数，s表示分类的类型数量。
实验仿真
齿轮箱数据实验分析
齿轮箱是复杂的旋转机械设备之一，是机械动力传动的关键部件系统，在石化、电力、造纸和钢铁等行业被广泛应用。齿轮是齿轮箱中重要的元素，资料表明：三分之二的齿轮箱故障是由于齿轮故障造成的。齿轮一旦发生故障就会迅速发展，影响设备正常运行，造成巨大的经济损失。为了验证多速率采样下基于迁移学习的故障诊断框架的有效性，需采用传感器较多的数据集。本发明使用QPZZ-II旋转机械振动试验平台系统获取的齿轮故障数据集。使用的数据是0.75kW马达，转速为1470r/min的状态下的9个传感器监测数据。齿轮箱有5种健康状态，分别为正常、大齿轮点蚀(简称为点蚀)、大齿轮断齿(简称为断齿)、大齿轮断齿小齿轮磨损(简称为断磨)和大齿轮点蚀小齿轮磨损(简称为点磨)。假设光电转速传感器收集的信号由监控中心监视器重点监控，本实验监视器截屏滑动框的长度设为400，滑动框的步长为20，即二维图像是包含400个时刻光电转速传感器收集的信号所对应的监视器截屏图像。二维图像的像素为224*224，位深度为24。图3表示齿轮箱每种健康状况下监视器的截屏图像，即卷积神经网络的输入。九个传感器收集的信号作为一维信号，即一维每个样本的维度为9。
分别与只使用一维序列信号训练的DNN模型、只使用监视器截屏图像的CNN模型、将一维序列信号的特征与截屏图像的特征采用扩维融合FSS模型和利用VGG16进行一次迁移的TVGG模型进行对比。为了比较方法的差异，本发明除了对比故障诊断的精确性，还对比各个方法的在线故障诊断时间。公式(16)-(20)中，t(x)表示模型x的在线故障诊断时间，G(x)表示模型x生成特征所需时间，F(x)表示故障诊断模型x输出诊断结果所需时间，S表示特征拼接所需时间。第一个对比模型DNN是仅用一维序列信号训练的故障诊断模型，如公式(16)所示在线故障诊断时间是在线样本送入训练好DNN模型输出诊断结果所需时间。第二个对比模型CNN是仅使用监控中心监视器截屏图像，如公式(17)所示在线故障诊断时间是在线样本送入训练好CNN模型输出诊断结果所需时间。第三个对比模型FSS诊断过程分为四步：1.监视器截屏图像送入CNN模型提取截屏图像特征。2.一维序列信号送入DNN模型提取一维序列信号特征。3.截屏图像特征和一维序列信号特征拼接。4.将拼接的特征送入Softmax分类器输出诊断结果。如公式(18)所示，FSS在线故障诊断时间为这四步的时间之和。第四个对比模型TVGG，该模型诊断过程分为两步：1.监视器截屏图像送入VGG16模型提取截屏图像特征。2.将截屏图像特征送入DNN模型输出诊断结果，TVGG在线故障诊断时间如公式(19)所示。由于TTDNN已经将截屏图像特征迁移到DNN模型中，所以TTDNN的输入为一维序列信号，如公式(20)所示，它的在线故障诊断时间为在线样本送入迁移优化后的DNN模型输出诊断结果所需时间。
t(DNN)＝F(DNN) (16)
t(CNN)＝F(CNN) (17)
t(FSS)＝G(CNN)+G(DNN)+S+F(Softmax) (18)
t(TVGG)＝G(VGG16)+F(DNN) (19)
t(TTDNN)＝F(DNN) (20)
各模型训练好之后，将模型参数保存至同一计算机对比各模型运行时间，该计算机型号为ThinkPad T450，详细参数如表1所示。
表1计算机的详细参数
Figure BDA0002804508730000121
齿轮箱在线数据分别为10、100和1000个时，表2显示了这五种方法的运行时间。其中FSS和TVGG方法运行时间详情分别如表3-表4所示。表2可以看出，当在线样本分别为10、100和1000个时，DNN与TTDNN的在线故障诊断时间大致相同，是对比方法中用时最少的。如表3所示，FSS的故障诊断时间为CNN生成特征、DNN生成特征、特征拼接与故障诊断输出这四部分时间之和。在线样本个数为10个时，CNN生成特征的时间占FSS故障诊断时间的91.96％；在线样本个数为100个时，CNN生成特征的时间占FSS故障诊断时间的98.77％；在线样本个数为1000个时，CNN生成特征的时间占FSS故障诊断时间的99.81％。FSS的故障诊断时间主要由CNN生成特征的时间决定，随着在线样本数量的增加，CNN生成特征的时间占FSS故障诊断时间的比例增高。如表4所示，在线样本个数为10个时，VGG16生成特征的时间占TVGG故障诊断时间的98.14％；在线样本个数为100个时，VGG16生成特征的时间占TVGG故障诊断时间的99.69％；在线样本个数为1000个时，VGG16生成特征的时间占TVGG故障诊断时间的99.96％。TVGG的故障诊断时间主要由VGG16生成特征的时间决定，VGG16生成特征的时间占TVGG的故障诊断总时间的98％以上。五种方法的在线故障诊断时间：TTDNN≈DNN<CNN<FSS<TVGG。在线样本为1000个时，CNN的在线故障诊断时间是TTDNN的757.20倍，FSS的在线故障诊断时间是TTDNN的758.12倍，TVGG的在线故障诊断时间是TTDNN的3444.91倍。由此可见，CNN、FSS和TVGG不能实现实时故障诊断的原因就是因为使用了卷积神经网络进行故障故障，卷积神经网络时间复杂度高，大量卷积运算计算时间长，严重影响故障诊断的实时性。
表2齿轮箱数据集各模型在线诊断时间对比(单位：秒)
Figure BDA0002804508730000122
表3齿轮箱数据集FSS在线诊断时间(单位：秒)
Figure BDA0002804508730000131
表4齿轮箱数据集TVGG在线诊断时间(单位：秒)
Figure BDA0002804508730000132
为了验证本发明方法的有效性，本发明做了九组实验，分别从滑动窗的长度、截屏图像数量的不同，对各模型诊断精度进行分析，实验结果如表5所示。
实验一至实验三中，监视器截屏图像滑动窗的长度为200，步长为20，当截屏图像每类训练样本个数分别为20、60和100时，对应一维序列信号每类训练样本个数分别为600、1400和2200。测试集每类样本数量为200个。随着训练样本量的增加，各模型的故障诊断精度都有所提高。三组实验中，TTDNN与DNN相比，虽然在线诊断阶段DNN的时间复杂度与TTDNN相同，但是DNN的故障诊断精度比TTDNN低2.00％-2.80％。TTDNN与CNN相比，TTDNN的故障诊断精度比CNN高21.30％-42.60％，而且在线样本为1000个时，CNN的在线故障诊断时间是TTDNN的757.20倍，可见截屏图像数量少时，仅用截屏图像训练的卷积神经网络效果不好。TTDNN与FSS相比，在线样本为1000个时FSS的在线故障诊断时间是TTDNN的758.12倍，前两组实验中TTDNN的故障诊断精度高于FSS，实验三中TTDNN的故障诊断精度略低于FSS。由此可见截屏图像数量少时，TTDNN比FSS的诊断效果更好。随着截屏图像数量的增加，TVGG的故障诊断精度显著提高，比TTDNN诊断精度高，但是TVGG的在线诊断阶段时间复杂度太高，在线样本为1000个时，TVGG的在线故障诊断时间是TTDNN的3444.91倍，TVGG不能实现实时的故障诊断。
实验四至实验六中，监视器截屏图像滑动窗的长度为400，步长为20，当截屏图像每类训练样本个数分别为20、60和100时，对应一维序列信号每类训练样本个数分别为800、1600和2400。测试集每类样本数量为200个。实验四至实验六的结果与实验一至实验三结果基本一致。DNN与TTDNN的在线诊断时间相同，但是DNN的故障诊断精度低于TTDNN。CNN的故障诊断精度最差且时间复杂度高，不能达到实时故障诊断的目的。实验四中，TTDNN的故障诊断精度高于FSS和TVGG，且TTDNN在线故障诊断时间远远小于FSS和TVGG，所以截屏图像数量少时，TTDNN故障诊断效果更好。
实验七至实验九中，监视器截屏图像滑动窗的长度为600，步长为20，当截屏图像每类训练样本个数分别为20、60和100时，对应一维序列信号每类训练样本个数分别为1000、1800和2600。测试集每类样本数量为200个。实验七至实验九的结果与实验一至实验六一致。实验一、实验四和实验七的截屏训练样本个数相同，但是滑动窗的大小不同，可以发现滑动窗越大，包含的信息越多，故障诊断精度越高。
实验结果表明：TTDNN与DNN在线诊断时间相同，TTDNN的诊断精度高于DNN；TTDNN在线诊断时间低于CNN，且TTDNN的诊断精度明显高于CNN；当截屏图像数量非常少，TTDNN的故障诊断精度高于FSS和TVGG，且TTDNN在线故障诊断时间远远小于FSS和TVGG，随着截屏图像数量的增加，FSS和TVGG方法比TTDNN诊断精度高，但是由于FSS和TVGG时间复杂度高，不能进行实时在线诊断。实验表明：在截屏图像每类数量为20个时，本发明提出的TTDNN方法与其他方法对比，在实时性和精确性上是最优的。随着截屏图像数量的增加，本发明提出的TTDNN方法在兼顾精确性的同时，保证了实时性。
表5齿轮箱对比实验结果
Figure BDA0002804508730000141
轴承数据实验分析
使用轴承数据集进行验证，使用的数据是故障直径为0.007英寸，电机负载为0hp，电机转速为1797RPM，采样频率为12KHz状态下的轴承监测数据。该实验使用电机驱动端和风扇端的轴承振动信号作为实验数据。电机驱动端和风扇端的轴承振动信号作为一维信号，风扇端是由监控中心监视器重点监控，获取二维截屏图像。轴承的健康状态分为四种类型：正常状态、内圈故障、滚珠故障和外圈故障@6：00(简称外圈故障)。本实验滑动框的长度设为400，滑动框的步长为20，二维截屏图像是包含400个时刻风扇端的振动信号所对应的监视器截屏图像，二维截屏图像与一维序列保持同步，一维序列信号样本是400个时刻电机驱动端或400个风扇端的轴承振动信号。二维截屏图像的像素为224*224，位深度为24。图4表示轴承每种健康状态下对风扇端监控的截屏图像，即卷积神经网络的输入。
分别与只使用一维序列信号的DNN模型、只使用监视器截屏图像的CNN模型、将一维序列信号的特征与截屏图像的特征采用扩维融合FSS模型和利用VGG16进行一次迁移的TVGG模型进行对比。各模型训练好之后，将模型参数保存至同一计算机对比各模型运行时间，该计算机型号为ThinkPad T450，详细参数如表1所示。
在线数据分别为10、100和1000个时，表6显示了这五种方法的运行时间，其中FSS和TVGG方法运行时间详情分别如表7和表8所示。如表7所示，在线样本个数为10个时，CNN生成特征的时间占FSS故障诊断时间的95.89％；在线样本个数为100个时，CNN生成特征的时间占FSS故障诊断时间的99.21％；在线样本个数为1000个时，CNN生成特征的时间占FSS故障诊断时间的99.82％。FSS的故障诊断时间主要由CNN生成特征的时间决定，随着在线样本数量的增加，CNN生成特征的时间占FSS故障诊断时间的比例增高。如表8所示，在线样本个数为10个时，VGG16生成特征的时间占TVGG故障诊断时间的98.25％；在线样本个数为100个时，VGG16生成特征的时间占TVGG故障诊断时间的99.78％；在线样本个数为1000个时，VGG16生成特征的时间占TVGG故障诊断时间的99.95％。TVGG的故障诊断时间主要由VGG16生成特征的时间决定，VGG16生成特征的时间占TVGG的故障诊断总时间的98％以上。五种方法的在线故障诊断时间：TTDNN≈DNN<CNN<FSS<TVGG。在线样本为1000个时，CNN的在线故障诊断时间是TTDNN的757.75倍，FSS的在线故障诊断时间是TTDNN的758.55倍，TVGG的在线故障诊断时间是TTDNN的3437.70倍。结果表明，卷积神经网络模型中卷积层数越多，在线故障诊断时间越长，导致不能进行实时的在线故障诊断，只有TTDNN和DNN可以满足实时在线故障诊断的要求。
表6轴承数据集各模型在线诊断时间对比(单位：秒)
Figure BDA0002804508730000151
表7轴承数据集FSS在线诊断时间(单位：秒)
Figure BDA0002804508730000161
表8轴承数据集TVGG在线诊断时间(单位：秒)
Figure BDA0002804508730000162
共做了三组实验，一维序列信号每类训练样本数量分别为100、120和140，由于截屏图像滑动窗、步长跟一维序列信号相同，所以截屏图像训练样本每类数量也分别为100、120和140，测试集每类样本数量为200个，实验结果如表9所示。随着训练样本量的增加，各模型的故障诊断精度都有所提高。由于轴承数据实验的实验截屏图像数量比齿轮箱数据实验多，所以CNN的故障诊断精度大幅度提高，但仍低于发明方法TTDNN，且TTDNN的在线诊断时间远小于CNN。TTDNN与DNN相比，虽然在线诊断阶段DNN的时间复杂度与TTDNN相同，但是DNN的故障诊断精度比TTDNN低1.50％-2.38％，说明TTDNN融合了截屏图像的特征，提高了深层神经网络的故障诊断精度。随着截屏图像数量的增加，FSS和TVGG的故障诊断精度比TTDNN高，但是FSS和TVGG的在线故障诊断时间长，不能满足在线故障诊断的需求。
表9轴承对比实验结果
Figure BDA0002804508730000163
针对多源异构信息和外领域数据充分利用时面临的故障诊断算法实时性差的问题，本发明提出一种基于两级迁移学习的多源异构信息融合故障诊断方法TTDNN。TTDNN方法通过建立了多源异构信息所建立的深度学习模型间迁移，实现了从卷积神经网络到深层神经网络的迁移。经过两级迁移的故障诊断模型不仅融合了一维序列信号和截屏图像的特征，而且融合模型避免了卷积运算，时间复杂度低。通过齿轮箱数据集和轴承数据集的实验，验证了本发明提出方法的有效性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，其步骤如下：
步骤一：利用ImageNet数据集中的自然图像对VGG16网络进行训练，得到VGG16模型及其网络参数PVGG16；
步骤二：将监控截屏图像输入步骤一中的VGG16模型，利用VGG16模型和网络参数PVGG16对监控截屏图像进行特征提取，得到监控截屏图像的特征F2D；
步骤三：构建深层神经网络模型，并利用监控截屏图像的特征对深层神经网络模型进行训练，得到深层神经网络模型的编码网络参数和解码网络参数；
步骤四：将监控截屏图像的特征输入到训练后的深层神经网络模型中获取深层神经网络模型的抽象特征，利用深层神经网络模型的抽象特征训练深层神经网络模型的Softmax分类器，得到深层神经网络模型的Softmax分类器的参数，再采用有监督的反向传播算法对深层神经网络模型的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到故障诊断模型DNNs以及DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数；
步骤五：建立迁移融合网络，且迁移融合网络与故障诊断模型DNNs的网络结构相同，并利用故障诊断模型DNNs对应的编码网络参数、解码网络参数和Softmax分类器的参数对迁移融合网络进行参数初始化；
步骤六：利用一维序列信号样本对初始化后的迁移融合网络进行训练，得到迁移融合网络的编码网络参数和解码网络参数；
步骤七：通过将一维序列信号样本输入训练后的迁移融合网络中获取迁移融合网络的抽象特征，利用迁移融合网络的抽象特征对迁移融合网络的Softmax分类器进行训练，得到迁移融合网络的Softmax分类器的参数，再采用有监督的反向传播算法对迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化，得到迁移融合模型DNNt；
步骤八：采集t时刻的一维序列信号x1D,online(t)，并将一维序列信号x1D,online(t)输入迁移融合模型DNNt进行识别，输出一维序列信号x1D,online(t)的故障类别。
2.根据权利要求1所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，所述监控截屏图像的特征F2D的获得方法为：
F2D＝G2D(VGG16,PVGG16,X2D)
其中，X2D表示监控截屏图像，G2D(·)表示特征提取函数。
3.根据权利要求1或2所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，所述深层神经网络模型为：
DNNs＝Feedforward(hs1,hs2,…,hsN)
Figure FDA0002804508720000021
其中，Feedforward(·)表示具有N个隐藏层的深层神经网络，train(·)表示训练DNNs网络模型，hsj表示DNNs中的第j个隐藏层的神经元个数，j＝1,2,...,N表示隐藏层，θs＝{θs1,θs2,...,θsN}表示DNNs中N个自编码器编码网络的初始参数集合，θsk＝{Wsk,bsk}表示DNNs中第k个自编码器AEk的编码网络的输入层和隐藏层的权值矩阵Wsk和偏置bsk的参数集合，k＝1,2,...,N表示自编码器，
Figure FDA0002804508720000022
表示DNNs中N个自编码器解码网络的初始参数集合，
Figure FDA0002804508720000023
表示DNNs中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵
Figure FDA0002804508720000024
和偏置dsk的参数集合，θ's表示训练后的DNNs对应的编码网络参数，
Figure FDA0002804508720000025
表示训练后的DNNs对应的解码网络参数。
4.根据权利要求3所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，所述迁移融合网络为：
DNNt＝Feedforward(ht1,ht2,…,htN)
Figure FDA0002804508720000026
其中，htj＝hsj表示DNNt的第j个隐藏层的神经元个数，θt＝{θt1,θt2,......,θtN}表示DNNt中N个自编码器编码网络的初始参数集合，θtk＝{Wtk,btk}表示DNNt中第k个自编码器AEk的解码网络的输入层和隐藏层的权值矩阵和偏置的参数集合，
Figure FDA0002804508720000027
表示DNNt中N个自编码器解码网络的初始参数集合，
Figure FDA0002804508720000028
表示DNNt中第k个自编码器AEk的解码网络的隐藏层和输出层的权值矩阵和偏置的参数集合，θ't表示训练后的DNNt对应的编码网络参数，
Figure FDA0002804508720000029
表示训练后的DNNt对应的解码网络参数。
5.根据权利要求4所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，所述采用有监督的反向传播算法对深层神经网络模型或迁移融合网络的编码网络参数、解码网络参数和Softmax分类器的参数进行微调优化的方法为：
利用有限个有标签样本，通过最小化损失函数对深层神经网络模型或迁移融合网络的参数进行微调：
Figure FDA0002804508720000031
Figure FDA0002804508720000032
其中，M是样本数，
Figure FDA0002804508720000033
为网络参数，label(xm)是网络模型输出的样本xm的类别，Ym是样本xm的实际类别标签，E(θz)是最小化损失函数，α是学习率。
6.根据权利要求1所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，所述将一维序列信号x1D,online(t)输入迁移融合模型DNNt进行识别，输出一维序列信号x1D,online(t)的故障类别的方法为：
Figure FDA0002804508720000034
Figure FDA0002804508720000035
其中，
Figure FDA0002804508720000036
表示计算x1D,online(t)属于每种类型k(k＝1,2,...,K)的概率，p(label(t)＝k|x1D,online(t)；θts)表示x1D,online(t)属于第k种类型的概率，label(t)表示根据故障诊断模型诊断出第t时刻样本的故障类型标签，θts表示Softmax分类器参数，
Figure FDA0002804508720000037
表示用softmax参数计算第t时刻样本是第k类的指数值，result(t)表示一维序列信号x1D,online(t)的故障类别。
7.根据权利要求1所述的基于两级迁移学习的多源异构信息融合故障诊断方法，其特征在于，训练过程的时间复杂度为：
Figure FDA0002804508720000038
其中，j'＝1,2,…,J，J表示卷积层总数，
Figure FDA00028045087200000310
表示第j'个卷积核输出特征图的尺寸，
Figure FDA0002804508720000039
表示第j'个卷积核的尺寸，uj'-1表示第j'-1个卷积层输出通道数，uj'表示第j'个卷积层输出通道数，m表示样本数，n表示隐藏层的神经元个数，l表示迭代次数，O(·)表示时间复杂度函数；
当N＝4时，故障识别的时间复杂度为：
O(ni*n1+n1*n2+n2*n3+n3*n4+n4*s)＝O(n2)
其中，ni是DNN输入层的神经元数，n1是DNN的AE1的隐藏层的神经元数，n2是DNN的AE2的隐藏层的神经元数，n3是DNN的AE3的隐藏层的神经元数，n4是DNN的AE4的隐藏层的神经元数，s表示分类的类型数量。
CN202011362875.8A 2020-11-28 2020-11-28 一种基于两级迁移学习的多源异构信息融合故障诊断方法 Active CN112465030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011362875.8A CN112465030B (zh) 2020-11-28 2020-11-28 一种基于两级迁移学习的多源异构信息融合故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011362875.8A CN112465030B (zh) 2020-11-28 2020-11-28 一种基于两级迁移学习的多源异构信息融合故障诊断方法

Publications (2)

Publication Number Publication Date
CN112465030A true CN112465030A (zh) 2021-03-09
CN112465030B CN112465030B (zh) 2022-06-07

Family

ID=74809270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011362875.8A Active CN112465030B (zh) 2020-11-28 2020-11-28 一种基于两级迁移学习的多源异构信息融合故障诊断方法

Country Status (1)

Country Link
CN (1) CN112465030B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642658A (zh) * 2021-08-19 2021-11-12 大唐环境产业集团股份有限公司 脱硫系统多源异构数据特征提取方法及装置
CN113721162A (zh) * 2021-08-27 2021-11-30 中国科学院合肥物质科学研究院 一种基于深度学习的聚变磁体电源故障智能诊断方法
CN114219084A (zh) * 2021-12-06 2022-03-22 广州市玄武无线科技股份有限公司 基于多源异构特征的无监督表示学习方法及装置
CN117150408A (zh) * 2023-09-11 2023-12-01 元始智能科技(南通)有限公司 一种基于多模态对比学习的电机故障诊断方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068215A1 (en) * 2015-03-13 2018-03-08 Institute Of Acoustics, Chinese Academy Of Sciences Big data processing method for segment-based two-grade deep learning model
CN108734208A (zh) * 2018-05-15 2018-11-02 重庆大学 基于多模态深度迁移学习机制的多源异构数据融合系统
CN109885948A (zh) * 2019-02-28 2019-06-14 沈阳天眼智云信息科技有限公司 电力变压器故障诊断方法
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN110334740A (zh) * 2019-06-05 2019-10-15 武汉大学 人工智能推理融合的电力设备故障检测定位方法
CN110455512A (zh) * 2019-08-20 2019-11-15 西安电子科技大学 基于深度自编码器dae的旋转机械多集成故障诊断方法
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检系统及方法
CN111579243A (zh) * 2020-06-17 2020-08-25 大连理工大学 一种基于深度迁移学习的滚动轴承智能诊断系统
US20200285900A1 (en) * 2019-03-06 2020-09-10 Wuhan University Power electronic circuit fault diagnosis method based on optimizing deep belief network
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111721536A (zh) * 2020-07-20 2020-09-29 哈尔滨理工大学 一种改进模型迁移策略的滚动轴承故障诊断方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068215A1 (en) * 2015-03-13 2018-03-08 Institute Of Acoustics, Chinese Academy Of Sciences Big data processing method for segment-based two-grade deep learning model
CN108734208A (zh) * 2018-05-15 2018-11-02 重庆大学 基于多模态深度迁移学习机制的多源异构数据融合系统
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN109885948A (zh) * 2019-02-28 2019-06-14 沈阳天眼智云信息科技有限公司 电力变压器故障诊断方法
US20200285900A1 (en) * 2019-03-06 2020-09-10 Wuhan University Power electronic circuit fault diagnosis method based on optimizing deep belief network
CN110334740A (zh) * 2019-06-05 2019-10-15 武汉大学 人工智能推理融合的电力设备故障检测定位方法
CN110455512A (zh) * 2019-08-20 2019-11-15 西安电子科技大学 基于深度自编码器dae的旋转机械多集成故障诊断方法
CN111209434A (zh) * 2020-01-09 2020-05-29 国网江苏省电力有限公司徐州供电分公司 一种基于多源异构数据融合的变电站设备巡检系统及方法
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111579243A (zh) * 2020-06-17 2020-08-25 大连理工大学 一种基于深度迁移学习的滚动轴承智能诊断系统
CN111721536A (zh) * 2020-07-20 2020-09-29 哈尔滨理工大学 一种改进模型迁移策略的滚动轴承故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUNA ZHOU 等: "Rolling Bearing Real Time Fault Diagnosis Using Convolutional Neural Network", 《2019 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
ROHITASHCHANDRA 等: "Bayesian neural multi-source transfer learning", 《NEUROCOMPUTING》 *
陈丹敏 等: "基于多源异构信息迁移学习的融合故障诊断方法", 《信息工程大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642658A (zh) * 2021-08-19 2021-11-12 大唐环境产业集团股份有限公司 脱硫系统多源异构数据特征提取方法及装置
CN113721162A (zh) * 2021-08-27 2021-11-30 中国科学院合肥物质科学研究院 一种基于深度学习的聚变磁体电源故障智能诊断方法
CN113721162B (zh) * 2021-08-27 2023-10-24 中国科学院合肥物质科学研究院 一种基于深度学习的聚变磁体电源故障智能诊断方法
CN114219084A (zh) * 2021-12-06 2022-03-22 广州市玄武无线科技股份有限公司 基于多源异构特征的无监督表示学习方法及装置
CN114219084B (zh) * 2021-12-06 2022-08-23 广州市玄武无线科技股份有限公司 一种快消行业的访销陈列造假识别方法及装置
CN117150408A (zh) * 2023-09-11 2023-12-01 元始智能科技(南通)有限公司 一种基于多模态对比学习的电机故障诊断方法

Also Published As

Publication number Publication date
CN112465030B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN112465030B (zh) 一种基于两级迁移学习的多源异构信息融合故障诊断方法
CN110162018B (zh) 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN109102005B (zh) 基于浅层模型知识迁移的小样本深度学习方法
CN110633792B (zh) 端到端基于卷积循环神经网络的轴承健康指标构建方法
CN108398268B (zh) 一种轴承性能退化评估方法
Li et al. Unsupervised rotating machinery fault diagnosis method based on integrated SAE–DBN and a binary processor
CN108647226B (zh) 一种基于变分自动编码器的混合推荐方法
CN111274398A (zh) 一种方面级用户产品评论情感分析方法及系统
CN111931625B (zh) 基于非对称损失神经网络的产品关键零件剩余寿命预测方法
CN114926150B (zh) 一种变压器技术符合性评估数字化智能审核方法与装置
Chen et al. Vibration-based gearbox fault diagnosis using deep neural networks
CN114722952B (zh) 一种基于表示学习的轴承故障检测和分类的一体化方法
Yu et al. Representation learning with class level autoencoder for intelligent fault diagnosis
CN112561035A (zh) 一种基于cnn与lstm深度特征融合的故障诊断方法
CN105046322A (zh) 一种丝杠故障诊断方法
CN116358871A (zh) 基于图卷积网络的滚动轴承微弱信号复合故障诊断方法
CN115310837A (zh) 基于因果图注意力神经网络的复杂机电系统故障检测方法
Oh et al. Fault detection for lubricant bearing with cnn
CN116433800A (zh) 基于社交场景用户偏好与文本联合指导的图像生成方法
Rahmatulloh et al. Optimization of hijaiyah letter handwriting recognition model based on deep learning
CN116465623A (zh) 一种基于稀疏Transformer的齿轮箱寿命预测方法
CN114235409B (zh) 一种轻量化通信的滚动轴承多用户协同智能故障诊断方法
Ren et al. Domain-invariant feature fusion networks for semi-supervised generalization fault diagnosis
Techane et al. Rotating machinery prognostics and application of machine learning algorithms: Use of deep learning with similarity index measure for health status prediction
CN114490995A (zh) 多级自注意力的网络安全协同处置作战室语义摘要方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: 450046 No.22 Longzihu North Road, Longzihu University Park, Zhengdong New District, Zhengzhou City, Henan Province

Applicant after: HENAN FISCAL AND FINANCE College

Applicant after: Henan University

Address before: No.85, Minglun street, Shunhe District, Kaifeng City, Henan Province

Applicant before: Henan University

GR01 Patent grant
GR01 Patent grant