CN110907176A - 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法 - Google Patents

一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法 Download PDF

Info

Publication number
CN110907176A
CN110907176A CN201910938448.0A CN201910938448A CN110907176A CN 110907176 A CN110907176 A CN 110907176A CN 201910938448 A CN201910938448 A CN 201910938448A CN 110907176 A CN110907176 A CN 110907176A
Authority
CN
China
Prior art keywords
domain
vibration data
representing
target
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910938448.0A
Other languages
English (en)
Other versions
CN110907176B (zh
Inventor
徐娟
黄经坤
周龙
史永方
徐鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Luyang Technology Innovation Group Co.,Ltd.
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910938448.0A priority Critical patent/CN110907176B/zh
Publication of CN110907176A publication Critical patent/CN110907176A/zh
Application granted granted Critical
Publication of CN110907176B publication Critical patent/CN110907176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/04Bearings
    • G01M13/045Acoustic or vibration analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Complex Calculations (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,通过wassertein距离在特征空间中度量两个领域的特征分布的距离,并进行特征分布的适配,降低两个领域的差异,学习领域无关特征以训练一个有效的分类器,负责将领域无关的特征映射到类别空间,完成分类任务,解决目标域中没有带标签的振动数据的无监督迁移学习问题。

Description

一种基于Wasserstein距离的深度对抗迁移网络的故障诊断 方法
技术领域
本发明涉及故障诊断领域中,用于识别无标签的振动数据的故障类别的技术领域,尤其是一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法。
背景技术
在复杂工业系统中,研究先进的机械故障诊断方法是保障设备与人员安全的重要内容。深度学习理论以其强大的建模和表征能力成为数据驱动的智能故障诊断最活跃的前沿方向之一。然而使用深度学习训练故障分类模型需要大量有标注的数据,同时训练数据与测试数据满足独立同分布。在实际应用中这两个条件通常难以满足。如何利用辅助领域数据,来建立一个可靠的数学模型,对具有数据分布不同的目标领域开展故障诊断是待解决的问题。
迁移学习是一种利用现有知识解决不同但相关领域的机器学习新方法,为解决此类问题提供了基本思路。最近,基于生成对抗网络(GAN,Generative AdversarialNetworks)的对抗思想也被引入了迁移学习领域,用于解决目标领域中只包含无标注训练样本的无监督迁移学习问题。
基于以上方法可以看出,通过对抗训练的方式,可以逐步提升特征提取器和判别器的性能取。但是,由于这些领域自适应方法度量分布距离算法的缺陷,最后得到的分类器精度还不够理想。
另外,Wasserstein距离又称Earth-Mover距离即EM距离,用于衡量两个分布之间的距离。
发明内容
为了克服上述现有技术中的缺陷,本发明提供一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,通过wassertein距离在特征空间中度量两个领域的特征分布的距离,并进行特征分布的适配,降低两个领域的差异,学习领域无关特征以训练一个有效的分类器,负责将领域无关的特征映射到类别空间,完成分类任务,解决目标域中没有带标签的振动数据的无监督迁移学习问题。
为实现上述目的,本发明采用以下技术方案,包括:
一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,包括以下步骤:
S1,分别获取源域Ds和目标域Dt的数据集;其中,D表示领域即域;上标s表示源,Ds即表示源域;上标t表示目标,Dt即表示目标域;
所述源域Ds的源数据集As中含有ns个振动数据,且该ns个振动数据均带有故障标签,即
Figure BDA0002222219300000021
其中,A表示数据集,As即表示源域Ds的数据集即源数据集;n表示数量,ns即表示源数据集As中所包含的振动数据的总数量;x表示振动数据,
Figure BDA0002222219300000022
表示源数据集As中的第i个振动数据;y表示标签即故障类别,
Figure BDA0002222219300000023
表示源数据集As中的第i个振动数据xis的标签;
所述目标域Dt的目标数据集At中有含有nt个振动数据,且该nt个振动数据均不带故障标签,即
Figure BDA0002222219300000024
其中,A表示数据集,At即表示目标域Dt的数据集即目标数据集;n表示数量,nt即表示目标数据集At中所包含的振动数据的总数量;x表示振动数据,
Figure BDA0002222219300000025
表示目标数据集At中的第j个振动数据;
所述源域Ds和所述目标域Dt的特征空间相同,即Xs=Xt;所述源域Ds和所述目标域Dt的类别空间也相同,即Ys=Yt;所述源域Ds和所述目标域Dt中的振动数据的数据分布不同,即
Figure BDA0002222219300000026
其中,X表示特征空间,Xs表示源域Ds的特征空间,Xt表示目标域Dt的特征空间;Y表示类别空间,Ys表示源域Ds的类别空间,Yt表示目标域Dt的类别空间;P表示分布,
Figure BDA0002222219300000027
表示源域Ds中的振动数据的数据分布,
Figure BDA0002222219300000028
表示目标域Dt中的振动数据的数据分布;
S2,建立一个基于特征的迁移学习的故障诊断模型,包括:特征提取器、领域判别器、分类器;其中,
所述特征提取器,用于提取源域Ds和目标域Dt中的振动数据的特征;
所述特征提取器的输出z=G(x;θg);其中,G(·)表示特征提取器的模型;θg表示特征提取器的模型参数;z表示特征提取器的输出,即振动数据的特征;x表示特征提取器的输入,即振动数据;
所述领域判别器,用于对特征提取器所提取的振动数据的特征进行识别,判断该振动数据是来自于源域Ds或目标域Dt
所述分类器,学习源域Ds中的振动数据的特征分布,根据源域Ds中的振动数据的特征进行分类训练,所述分类器的输出结果为振动数据x属于第m个故障类别的概率p(y=m|x):
Figure BDA0002222219300000031
其中,
Figure BDA0002222219300000032
表示分类器参数,其中,上标C用于标识为分类器的参数,下标m表示第m个故障类别;
K表示故障类别的总数量;
G(·)表示特征提取器的模型;G(x)表示振动数据的特征;
所述分类器根据领域自适应训练,使得目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布;
所述领域自适应训练是指:将源域Ds和目标域Dt中的振动数据的特征通过特征提取器进行特征提取,从而映射到同一个特征空间;然后领域判别器对所提取的特征进行判断,判断所提取的特征是来自于源域Ds中的振动数据还是目标域Dt中的振动数据;当判别器无法判断所提取的特征来自源域Ds中的振动数据还是目标域Dt中的振动数据,此时,则表示目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布,判别器即认为目标域Dt中的该振动数据的故障类别与源域Ds中的该振动数据的故障类别相同;
S3,基于故障诊断模型的优化目标,确定故障诊断模型的目标函数;
故障诊断模型中,包括以下三个优化目标:
领域判别器的优化目标:使领域判别的误差最小化;
特征提取器的优化目标:使领域判别的误差最大化;
分类器的优化目标:使故障分类的误差最小化;
S4,得到故障诊断模型的目标函数后,对故障诊断模型进行训练,求解故障诊断模型中的模型参数,从而得到训练后的分类器;
S5,在故障识别的过程中,利用分类器即可对目标域中的无标签的振动数据进行故障分类。
步骤S3中,确定故障诊断模型的目标函数,包括以下具体步骤:
S301,对于特征提取器所提取出的源域Ds中的振动数据的特征和目标域Dt中的振动数据的特征,使用Wassertein距离来衡量两个领域之间特征分布的差异:
Figure BDA0002222219300000041
其中,sup表示上确界;
z表示特征提取器的输出即振动数据的特征,同时z也为领域判别器输入;zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
P表示分布,
Figure BDA0002222219300000042
表示源域Ds中振动数据的特征分布;
Figure BDA0002222219300000043
表示目标域Dt的振动数据的特征分布;
E表示期望;
Figure BDA0002222219300000044
表示源域Ds中振动数据的特征分布的期望;
Figure BDA0002222219300000045
表示目标域Dt的振动数据的特征分布的期望;
Figure BDA0002222219300000046
表示源域Ds中振动数据的特征分布和目标域Dt中振动数据的特征分布之间的差异即距离;
D(·)表示领域判别器的模型:D(z)中的z表示振动数据的特征,即领域判别器的输入;
||D||L≤1表示在领域判别器上施加的限制,领域判别器的Lipschitz常数为1;
S302,领域判别器的经验损失LD为:
Figure BDA0002222219300000047
其中,θd表示领域判别器的模型参数;
S303,领域判别器的模型D(·)需要满足1-Lisschitz约束,即:
|D(z1)-D(z2)|≤|z1-z2|;
其中,z1、z2分别为领域判别器的两个输入;
在领域判别器上增加一个梯度惩罚项Lgp,使领域判别器的模型D(·)满足1-Lisschitz约束:
Figure BDA0002222219300000051
其中,
Figure BDA0002222219300000052
zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
ε为0~1之间的随机数;
Lgp表示领域判别器的梯度惩罚项;
▽为数学中表示梯度的符号;
S304,领域判别器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越大越好,领域判别器的优化目标表示为:
Figure BDA0002222219300000053
Figure BDA0002222219300000054
表示故障诊断模型的参数;
S305,特征提取器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越小越好,特征提取器的优化目标表示为:
Figure BDA0002222219300000055
S306,分类器的分类损失LC,用于度量分类器根据源域Ds中振动数据的特征进行故障分类时的误差,该分类损失LC即为交叉熵代价损失:
Figure BDA0002222219300000056
其中,C(·)表示分类器的模型;θc表示分类器的模型参数;
Figure BDA0002222219300000057
表示源域Ds中第i个振动数据的特征;
Figure BDA0002222219300000058
表示源域Ds中第i个振动数据的标签;
S307,故障诊断模型的目标函数包括:领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC
步骤S4中,得到故障故障诊断模型的目标函数即领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC后,对故障诊断模型进行训练,使用反向传播算法对求解故障诊断模型中的模型参数;故障诊断模型的模型参数即包括:特征提取器的模型参数θg、领域判别器的模型参数θd、分类器的模型参数θc进行训练;
采用Adam算法对模型参数进行更新,所述Adam算法通过计算梯度的一阶矩估计和二阶矩估计,为不同的模型参数提供独立的自适应学习率:
Figure BDA0002222219300000061
Figure BDA0002222219300000064
Figure BDA0002222219300000065
其中,α、β1、β2均为Adam算法的参数;
Figure BDA0002222219300000066
分别表示特征提取器、领域判别器、分类器的梯度。
所述特征提取器的网络结构是一个一维全卷积神经网络,如下所示:
Figure BDA0002222219300000062
其中,
Figure BDA0002222219300000063
表示卷积操作;Wg表示卷积核,bg表示卷积核偏置,上标g用于标识为特征提取器的参数,h表示卷积操作结果;BN表示批归一化层;relu表示激活函数层。
本发明的优点在于:
(1)本发明提出了基于深度对抗迁移网络的故障诊断方法,通过Wassertein距离来准确度量两个分布距离,实现领域自适应的故障特征提取与较高精度的分类识别,用以解决目标领域中的无标签的振动数据的故障诊断问题。
(2)本发明使用Wassertein距离对原始的生成对抗网络GAN的目标函数进行改进,这个新的距离函数,即通过Wassertein距离对原始的生成对抗网络GAN的目标函数进行改进后所得到距离函数在满足一定条件下是处处连续的,且几乎处处可微的,即表示函数在任一点都是连续的,没有间断点,同时在任一点都存在导数,解决了由于原始的生成对抗网络GAN的梯度计算困难导致模型难以优化的问题。
(3)本发明的故障诊断模型使用特征提取器从源域和目标域中振动数据中提取可转移特征,然后通过域判别器和分类器的对抗训练,减少所学习到的可迁移特征的分布差异。最后为目标域中的未标记样本得到一个有效的分类器,在故障识别中,可以使用分类器正确地对目标域中的未标记样本进行分类。
附图说明
图1为本发明的一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法的整体示意图。
图2为本实施例的实验所采用的振动数据。
图3为本实施例中采用的三种方法在四种迁移任务上的分类准确率的示意图。
图4为降维后的特征分布的过程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由图1所示,本发明的一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,包括以下步骤:
S1,分别获取源域Ds和目标域Dt的振动数据集。其中,D表示领域即域;上标s表示源,Ds即表示源域;上标t表示目标,Dt即表示目标域;
所述源域Ds的振动数据集As中含有ns个振动数据,且该ns个振动数据均带有故障标签,即
Figure BDA0002222219300000071
其中,A表示数据集,As即表示源域Ds的数据集即源数据集;n表示数量,ns即表示源数据集As中所包含的振动数据的总数量;x表示振动数据,
Figure BDA0002222219300000072
表示源数据集As中的第i个振动数据;y表示标签即故障类别,
Figure BDA0002222219300000073
表示源数据集As中的第i个振动数据
Figure BDA0002222219300000074
的标签;
所述目标域Dt的目标数据集At中有含有nt个振动数据,且该nt个振动数据均不带故障标签,即
Figure BDA0002222219300000075
其中,A表示数据集,At即表示目标域Dt的数据集即目标数据集;n表示数量,nt即表示目标数据集At中所包含的振动数据的总数量;x表示振动数据,
Figure BDA0002222219300000076
表示目标数据集At中的第j个振动数据;
所述源域Ds和所述目标域Dt的特征空间相同,即Xs=Xt;所述源域Ds和所述目标域Dt的类别空间也相同,即Ys=Yt;所述源域Ds和所述目标域Dt中的振动数据的数据分布不同,即
Figure BDA0002222219300000081
其中,X表示特征空间,Xs表示源域Ds的特征空间,Xt表示目标域Dt的特征空间;Y表示类别空间,Ys表示源域Ds的类别空间,Yt表示目标域Dt的类别空间;P表示分布,
Figure BDA0002222219300000082
表示源域Ds中的振动数据的数据分布,
Figure BDA0002222219300000083
表示目标域Dt中的振动数据的数据分布。
S2,建立一个基于特征的迁移学习的故障诊断模型,包括:特征提取器、领域判别器、分类器。其中,
2.1,所述特征提取器,学习非线性特征映射,用于提取源域Ds和目标域Dt中的振动数据的特征;
特征提取器的输入为振动数据x,x∈Rn,所述特征提取器将该振动数据x映射到m维的特征空间中G:Rn→Rm,所述特征提取器的输出z=G(x;θg);其中,G(·)表示特征提取器的模型;θg表示特征提取器的模型参数;z表示特征提取器的输出,即振动数据x的特征。
所述特征提取器的网络结构是一个一维全卷积神经网络,如下所示:
Figure BDA0002222219300000084
其中,
Figure BDA0002222219300000085
表示卷积操作;Wg表示卷积核,bg表示卷积核偏置,上标g用于标识为特征提取器的参数;h表示卷积操作结果;BN表示批归一化层;relu表示激活函数层。
2.2,所述领域判别器,用于对特征提取器所提取的振动数据的特征进行识别,判断该振动数据是来自于源域Ds或目标域Dt;属于二分类问题。
2.3,所述分类器,学习源域Ds中的振动数据的特征的分布,根据源域Ds中的振动数据的特征进行分类训练,所述分类器的输出结果为振动数据x属于第m个故障类别的概率p(y=m|x):
Figure BDA0002222219300000086
其中,
Figure BDA0002222219300000087
分类器参数,其中,上标C用于标识为分类器的参数,下标m表示第m个故障类别,w表示什么?;
K表示故障类别的总数量;
G(·)表示特征提取器的模型;G(x)表示振动数据的特征;
所述分类器根据域自适应训练,使得目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布;
所述领域自适应训练是指:将源域Ds和目标域Dt中的振动数据的特征通过特征提取器进行特征提取,从而映射到同一个特征空间;然后领域判别器对所提取的特征进行判断,判断所提取的特征是来自于源域Ds中的振动数据还是目标域Dt中的振动数据;当判别器无法判断所提取的特征来自源域Ds中的振动数据还是目标域Dt中的振动数据,此时,则表示目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布,判别器即认为目标域Dt中的该振动数据的故障类别与源域Ds中的该振动数据的故障类别相同。
S3,故障诊断模型中,包括以下三个优化目标:
领域判别器的优化目标:使领域判别的误差最小化。
特征提取器的优化目标:使领域判别的误差最大化。
分类器的优化目标:使故障分类的误差最小化。
基于上述优化目标,确定故障诊断模型的目标函数,包括以下具体步骤:
S301,对于特征提取器所提取出的源域Ds中的振动数据的特征和目标域Dt中的振动数据的特征,使用Wassertein距离来衡量两个领域之间特征分布的差异:
Figure BDA0002222219300000091
其中,sup表示上确界;
z表示特征提取器的输出即振动数据的特征,同时z也为领域判别器输入;zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
P表示分布,
Figure BDA0002222219300000092
表示源域Ds中振动数据的特征分布;
Figure BDA0002222219300000093
表示目标域Dt的振动数据的特征分布;
E表示期望;
Figure BDA0002222219300000094
表示源域Ds中振动数据的特征分布的期望;
Figure BDA0002222219300000095
表示目标域Dt的振动数据的特征分布的期望;
Figure BDA0002222219300000096
表示源域Ds中振动数据的特征分布和目标域Dt中振动数据的特征分布之间的差异即距离;
D(·)表示领域判别器的模型:D(z)中的z表示振动数据的特征,即领域判别器的输入;
||D||L≤1表示在领域判别器上施加的限制,领域判别器的Lipschitz常数为1;
S302,领域判别器的经验损失LD为:
Figure BDA0002222219300000101
其中,θd表示领域判别器的模型参数;
S303,领域判别器的模型D(·)需要满足1-Lisschitz约束,即:
|D(z1)-D(z2)|≤|z1-z2|;
其中,z1、z2分别为领域判别器的两个输入;
在领域判别器上增加一个梯度惩罚项Lgp,使领域判别器的模型D(·)满足1-Lisschitz约束:
Figure BDA0002222219300000102
其中,
Figure BDA0002222219300000103
zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
ε为0~1之间的随机数;
Lgp表示领域判别器的梯度惩罚项;
▽为数学中表示梯度的符号;
S304,领域判别器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越大越好,领域判别器的优化目标表示为:
Figure BDA0002222219300000104
Figure BDA0002222219300000105
表示故障诊断模型的参数;
S305,特征提取器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越小越好,特征提取器的优化目标表示为:
Figure BDA0002222219300000106
S306,分类器的分类损失LC,用于度量分类器根据源域Ds中振动数据的特征进行故障分类时的误差,该分类损失LC即为交叉熵代价损失:
Figure BDA0002222219300000111
其中,C(·)表示分类器的模型;θc表示分类器的模型参数;
Figure BDA0002222219300000112
表示源域Ds中第i个振动数据的特征;
Figure BDA0002222219300000113
表示源域Ds中第i个振动数据的标签
S307,故障诊断模型的目标函数包括:领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC
S4,得到故障故障诊断模型的目标函数即领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC后,对故障诊断模型进行训练,使用反向传播算法对求解故障诊断模型中的模型参数;故障诊断模型的模型参数即包括:特征提取器的模型参数θg、领域判别器的模型参数θd、分类器的模型参数θc进行训练。
本实施例中,采用Adam算法对模型参数进行更新,所述Adam算法通过计算梯度的一阶矩估计和二阶矩估计,为不同的模型参数提供独立的自适应学习率:
Figure BDA0002222219300000114
Figure BDA0002222219300000115
Figure BDA0002222219300000116
其中,α、β1、β2均为Adam算法的参数;
Figure BDA0002222219300000117
分别表示特征提取器、领域判别器、分类器的梯度。
S5,在故障识别的过程中,利用分类器即可对目标域中的无标签的振动数据进行故障分类。
由图2所示,本实施例分别列举三种方法在四种迁移任务上的分类准确率,迁移学习就是将源域上训练的模型迁移到目标域,源域Ds的来自驱动端,目标域Dt的数据来自风扇端;其中,DE-HP0表示驱动端在轴承负载为0的情况下的外圈,内圈,滚动体的振动数据;DE-HP1表示驱动端在轴承负载为1的情况下的外圈,内圈,滚动体的振动数据;FE-HP0风扇端在轴承负载为0的情况下的外圈,内圈,滚动体的振动数据;FE-HP1风扇端在轴承负载为1的情况下的外圈,内圈,滚动体的振动数据。轴承负载为0和为1用于区分两种工况。
由图3和下表1所示,对于卷积神经网络CNN,由于没有进行迁移,其学习到的特征不具有迁移性,导致直接将训练好的模型应用于目标域数据上时准确率很低。对于域适应神经网络DANN,加入迁移之后,相比无迁移情形下,其准确率有所提高,平均提升约24%,表明学到的特征具有可迁移性了。对于本发明所提出的基于Wasserstein距离的深度对抗迁移网络,诊断准确率高于其他两种方法,且和DANN相比提升大约10%,在各项迁移任务中,识别率达到了90%以上。实验结果验证了本发明方法的有效性,可以用于故障诊断中的迁移学习问题,本发明方法在所有迁移任务上,其准确率都比其他方法要高。
Figure BDA0002222219300000121
表1
特征提取器提取数据的特征,特征存在于高维空间,由图4所示,表示使用t-sne方法将学到的特征降到二维,降维后的特征分布的过程图,就是将高维数据降低到低维数据的过程。
图4中,D代表驱动端,F代表风扇端;IF表示内圈故障、OF表示外圈故障、BF表示滚动体故障;
由图4所示,第一行图片为原始信号直接降维后的特征分布结果,完全交错在一起,无法直接用于分类任务,需要先进行特征提取。第二行图片为CNN提取的特征结果,由于只在源域数据上进行训练,其学到的特征可以很好的区分源域数据类型,而在目标域上表现很差,外圈故障和滚动体故障特征分布有较多的重叠。第三行图片为DANN的提取的特征结果,由于其进行了领域适配,两个领域的数据特征分布大体上一致,可以看出迁移的效果。第四行图片为本发明方法提取的特征结果,可以看出,本发明方法提取的两个领域的特征基本重合,不同类别间的区分性也较强,说明该方法学到的特征就有较强的可迁移性,能够用于故障诊断中的迁移问题。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。

Claims (4)

1.一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,其特征在于,包括以下步骤:
S1,分别获取源域Ds和目标域Dt的数据集;其中,D表示领域即域;上标s表示源,Ds即表示源域;上标t表示目标,Dt即表示目标域;
所述源域Ds的源数据集As中含有ns个振动数据,且该ns个振动数据均带有故障标签,即
Figure FDA0002222219290000011
其中,A表示数据集,As即表示源域Ds的数据集即源数据集;n表示数量,ns即表示源数据集As中所包含的振动数据的总数量;x表示振动数据,
Figure FDA0002222219290000012
表示源数据集As中的第i个振动数据;y表示标签即故障类别,
Figure FDA0002222219290000013
表示源数据集As中的第i个振动数据
Figure FDA0002222219290000014
的标签;
所述目标域Dt的目标数据集At中有含有nt个振动数据,且该nt个振动数据均不带故障标签,即
Figure FDA0002222219290000015
其中,A表示数据集,At即表示目标域Dt的数据集即目标数据集;n表示数量,nt即表示目标数据集At中所包含的振动数据的总数量;x表示振动数据,
Figure FDA0002222219290000016
表示目标数据集At中的第j个振动数据;
所述源域Ds和所述目标域Dt的特征空间相同,即Xs=Xt;所述源域Ds和所述目标域Dt的类别空间也相同,即Ys=Yt;所述源域Ds和所述目标域Dt中的振动数据的数据分布不同,即
Figure FDA0002222219290000017
其中,X表示特征空间,Xs表示源域Ds的特征空间,Xt表示目标域Dt的特征空间;Y表示类别空间,Ys表示源域Ds的类别空间,Yt表示目标域Dt的类别空间;P表示分布,
Figure FDA0002222219290000018
表示源域Ds中的振动数据的数据分布,
Figure FDA0002222219290000019
表示目标域Dt中的振动数据的数据分布;
S2,建立一个基于特征的迁移学习的故障诊断模型,包括:特征提取器、领域判别器、分类器;其中,
所述特征提取器,用于提取源域Ds和目标域Dt中的振动数据的特征;
所述特征提取器的输出z=G(x;θg);其中,G(·)表示特征提取器的模型;θg表示特征提取器的模型参数;z表示特征提取器的输出,即振动数据的特征;x表示特征提取器的输入,即振动数据;
所述领域判别器,用于对特征提取器所提取的振动数据的特征进行识别,判断该振动数据是来自于源域Ds或目标域Dt
所述分类器,学习源域Ds中的振动数据的特征分布,根据源域Ds中的振动数据的特征进行分类训练,所述分类器的输出结果为振动数据x属于第m个故障类别的概率p(y=m|x):
Figure FDA0002222219290000021
其中,
Figure FDA0002222219290000022
表示分类器参数,其中,上标C用于标识为分类器的参数,下标m表示第m个故障类别;
K表示故障类别的总数量;
G(·)表示特征提取器的模型;G(x)表示振动数据的特征;
所述分类器根据领域自适应训练,使得目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布;
所述领域自适应训练是指:将源域Ds和目标域Dt中的振动数据的特征通过特征提取器进行特征提取,从而映射到同一个特征空间;然后领域判别器对所提取的特征进行判断,判断所提取的特征是来自于源域Ds中的振动数据还是目标域Dt中的振动数据;当判别器无法判断所提取的特征来自源域Ds中的振动数据还是目标域Dt中的振动数据,此时,则表示目标域Dt中的振动数据的特征的分布类似于源域Ds中的振动数据的特征的分布,判别器即认为目标域Dt中的该振动数据的故障类别与源域Ds中的该振动数据的故障类别相同;
S3,基于故障诊断模型的优化目标,确定故障诊断模型的目标函数;
故障诊断模型中,包括以下三个优化目标:
领域判别器的优化目标:使领域判别的误差最小化;
特征提取器的优化目标:使领域判别的误差最大化;
分类器的优化目标:使故障分类的误差最小化;
S4,得到故障诊断模型的目标函数后,对故障诊断模型进行训练,求解故障诊断模型中的模型参数,从而得到训练后的分类器;
S5,在故障识别的过程中,利用分类器即可对目标域中的无标签的振动数据进行故障分类。
2.根据权利要求1所述的一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,其特征在于,步骤S3中,确定故障诊断模型的目标函数,包括以下具体步骤:
S301,对于特征提取器所提取出的源域Ds中的振动数据的特征和目标域Dt中的振动数据的特征,使用Wassertein距离来衡量两个领域之间特征分布的差异:
Figure FDA0002222219290000031
其中,sup表示上确界;
z表示特征提取器的输出即振动数据的特征,同时z也为领域判别器输入;zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
P表示分布,
Figure FDA0002222219290000032
表示源域Ds中振动数据的特征分布;
Figure FDA0002222219290000033
表示目标域Dt的振动数据的特征分布;
E表示期望;
Figure FDA0002222219290000034
表示源域Ds中振动数据的特征分布的期望;
Figure FDA0002222219290000035
表示目标域Dt的振动数据的特征分布的期望;
Figure FDA0002222219290000037
表示源域Ds中振动数据的特征分布和目标域Dt中振动数据的特征分布之间的差异即距离;
D(·)表示领域判别器的模型:D(z)中的z表示振动数据的特征,即领域判别器的输入;
||D||L≤1表示在领域判别器上施加的限制,领域判别器的Lipschitz常数为1;
S302,领域判别器的经验损失LD为:
Figure FDA0002222219290000036
其中,θd表示领域判别器的模型参数;
S303,领域判别器的模型D(·)需要满足1-Lisschitz约束,即:
|D(z1)-D(z2)|≤|z1-z2|;
其中,z1、z2分别为领域判别器的两个输入;
在领域判别器上增加一个梯度惩罚项Lgp,使领域判别器的模型D(·)满足1-Lisschitz约束:
Figure FDA0002222219290000041
其中,
Figure FDA0002222219290000042
zt表示目标域Dt中的振动数据的特征;zs表示源域Ds中的振动数据的特征;
ε为0~1之间的随机数;
Lgp表示领域判别器的梯度惩罚项;
Figure FDA0002222219290000043
为数学中表示梯度的符号;
S304,领域判别器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越大越好,领域判别器的优化目标表示为:
Figure FDA0002222219290000044
Figure FDA0002222219290000045
表示故障诊断模型的参数;
S305,特征提取器希望源域Ds和目标域Dt之间的振动数据的特征分布的距离越小越好,特征提取器的优化目标表示为:
Figure FDA0002222219290000046
S306,分类器的分类损失LC,用于度量分类器根据源域Ds中振动数据的特征进行故障分类时的误差,该分类损失LC即为交叉熵代价损失:
Figure FDA0002222219290000047
其中,C(·)表示分类器的模型;θc表示分类器的模型参数;
Figure FDA0002222219290000048
表示源域Ds中第i个振动数据的特征;
Figure FDA0002222219290000049
表示源域Ds中第i个振动数据的标签;
S307,故障诊断模型的目标函数包括:领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC
3.根据权利要求2所述的一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,其特征在于,步骤S4中,得到故障故障诊断模型的目标函数即领域判别器的经验损失LD、领域判别器的梯度惩罚项Lgp、分类器的分类损失LC后,对故障诊断模型进行训练,使用反向传播算法对求解故障诊断模型中的模型参数;故障诊断模型的模型参数即包括:特征提取器的模型参数θg、领域判别器的模型参数θd、分类器的模型参数θc进行训练;
采用Adam算法对模型参数进行更新,所述Adam算法通过计算梯度的一阶矩估计和二阶矩估计,为不同的模型参数提供独立的自适应学习率:
Figure FDA0002222219290000051
Figure FDA0002222219290000052
Figure FDA0002222219290000053
其中,α、β1、β2均为Adam算法的参数;
Figure FDA0002222219290000054
分别表示特征提取器、领域判别器、分类器的梯度。
4.根据权利要求1所述的一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法,其特征在于,所述特征提取器的网络结构是一个一维全卷积神经网络,如下所示:
Figure FDA0002222219290000055
其中,
Figure FDA0002222219290000056
表示卷积操作;Wg表示卷积核,bg表示卷积核偏置,上标g用于标识为特征提取器的参数,h表示卷积操作结果;BN表示批归一化层;relu表示激活函数层。
CN201910938448.0A 2019-09-30 2019-09-30 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法 Active CN110907176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910938448.0A CN110907176B (zh) 2019-09-30 2019-09-30 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910938448.0A CN110907176B (zh) 2019-09-30 2019-09-30 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法

Publications (2)

Publication Number Publication Date
CN110907176A true CN110907176A (zh) 2020-03-24
CN110907176B CN110907176B (zh) 2021-02-02

Family

ID=69815353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910938448.0A Active CN110907176B (zh) 2019-09-30 2019-09-30 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法

Country Status (1)

Country Link
CN (1) CN110907176B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428803A (zh) * 2020-03-31 2020-07-17 山东大学 一种基于Wasserstein距离的深度域适应图像分类方法
CN111504644A (zh) * 2020-04-01 2020-08-07 西安交通大学 基于嵌入区分性的条件对抗域自适应的轴承故障诊断方法
CN111898634A (zh) * 2020-06-22 2020-11-06 西安交通大学 一种基于深度对抗域自适应的智能故障诊断方法
CN111967364A (zh) * 2020-08-11 2020-11-20 西交利物浦大学 复合故障诊断方法、装置、电子设备和存储介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技(深圳)有限公司 图像处理模型训练、图像处理方法及相关设备
CN113010013A (zh) * 2021-03-11 2021-06-22 华南理工大学 一种基于Wasserstein距离的运动想象脑电迁移学习方法
CN113239610A (zh) * 2021-01-19 2021-08-10 昆明理工大学 一种基于Wasserstein距离的域自适应滚动轴承故障诊断方法
CN113538353A (zh) * 2021-07-05 2021-10-22 华北电力大学(保定) 基于单通道图数据增强和迁移训练残差网络的五相异步电动机滚动轴承故障诊断方法
CN114021285A (zh) * 2021-11-17 2022-02-08 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114034486A (zh) * 2021-10-11 2022-02-11 中国人民解放军92578部队 基于无监督迁移学习的泵类机械设备轴承故障诊断方法
CN114548382A (zh) * 2022-04-25 2022-05-27 腾讯科技(深圳)有限公司 迁移训练方法、装置、设备、存储介质及程序产品
CN116992953A (zh) * 2023-09-27 2023-11-03 苏州捷杰传感技术有限公司 一种模型训练方法、故障诊断方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083608A1 (en) * 2012-11-19 2017-03-23 The Penn State Research Foundation Accelerated discrete distribution clustering under wasserstein distance
CN108053030A (zh) * 2017-12-15 2018-05-18 清华大学 一种开放领域的迁移学习方法及系统
CN109580215A (zh) * 2018-11-30 2019-04-05 湖南科技大学 一种基于深度生成对抗网络的风电传动系统故障诊断方法
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及系统
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
WO2019162402A1 (en) * 2018-02-21 2019-08-29 Pgs Geophysical As Inversion with exponentially encoded seismic data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083608A1 (en) * 2012-11-19 2017-03-23 The Penn State Research Foundation Accelerated discrete distribution clustering under wasserstein distance
CN108053030A (zh) * 2017-12-15 2018-05-18 清华大学 一种开放领域的迁移学习方法及系统
WO2019162402A1 (en) * 2018-02-21 2019-08-29 Pgs Geophysical As Inversion with exponentially encoded seismic data
CN109580215A (zh) * 2018-11-30 2019-04-05 湖南科技大学 一种基于深度生成对抗网络的风电传动系统故障诊断方法
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及系统
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIFENG LI等: "Procedural Learning With Robust Visual Features via Low Rank Prior", 《IEEE ACCESS》 *
QINGFEGN WANG 等: "WGAN-Based Synthetic Minority Over-Sampling Technique:Improving Semantic Fine-Grained Classification for Lung Nodules in CT Images", 《IEEE ACCESS》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428803A (zh) * 2020-03-31 2020-07-17 山东大学 一种基于Wasserstein距离的深度域适应图像分类方法
CN111504644A (zh) * 2020-04-01 2020-08-07 西安交通大学 基于嵌入区分性的条件对抗域自适应的轴承故障诊断方法
CN111504644B (zh) * 2020-04-01 2021-04-09 西安交通大学 基于嵌入区分性的条件对抗域自适应的轴承故障诊断方法
CN111898634A (zh) * 2020-06-22 2020-11-06 西安交通大学 一种基于深度对抗域自适应的智能故障诊断方法
CN111967364B (zh) * 2020-08-11 2023-11-21 西交利物浦大学 复合故障诊断方法、装置、电子设备和存储介质
CN111967364A (zh) * 2020-08-11 2020-11-20 西交利物浦大学 复合故障诊断方法、装置、电子设备和存储介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技(深圳)有限公司 图像处理模型训练、图像处理方法及相关设备
CN113239610A (zh) * 2021-01-19 2021-08-10 昆明理工大学 一种基于Wasserstein距离的域自适应滚动轴承故障诊断方法
CN113010013A (zh) * 2021-03-11 2021-06-22 华南理工大学 一种基于Wasserstein距离的运动想象脑电迁移学习方法
CN113538353A (zh) * 2021-07-05 2021-10-22 华北电力大学(保定) 基于单通道图数据增强和迁移训练残差网络的五相异步电动机滚动轴承故障诊断方法
CN113538353B (zh) * 2021-07-05 2023-09-01 华北电力大学(保定) 基于单通道图数据增强和迁移训练残差网络的五相异步电动机滚动轴承故障诊断方法
CN114034486A (zh) * 2021-10-11 2022-02-11 中国人民解放军92578部队 基于无监督迁移学习的泵类机械设备轴承故障诊断方法
CN114034486B (zh) * 2021-10-11 2024-04-23 中国人民解放军92578部队 基于无监督迁移学习的泵类机械设备轴承故障诊断方法
CN114021285A (zh) * 2021-11-17 2022-02-08 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114021285B (zh) * 2021-11-17 2024-04-12 上海大学 基于相互局部对抗迁移学习的旋转机械故障诊断方法
CN114548382A (zh) * 2022-04-25 2022-05-27 腾讯科技(深圳)有限公司 迁移训练方法、装置、设备、存储介质及程序产品
CN114548382B (zh) * 2022-04-25 2022-07-15 腾讯科技(深圳)有限公司 迁移训练方法、装置、设备、存储介质及程序产品
CN116992953A (zh) * 2023-09-27 2023-11-03 苏州捷杰传感技术有限公司 一种模型训练方法、故障诊断方法及装置
CN116992953B (zh) * 2023-09-27 2024-04-19 苏州捷杰传感技术有限公司 一种模型训练方法、故障诊断方法及装置

Also Published As

Publication number Publication date
CN110907176B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110907176B (zh) 一种基于Wasserstein距离的深度对抗迁移网络的故障诊断方法
WO2021042935A1 (zh) 基于隐马尔科夫模型和迁移学习的轴承寿命预测方法
CN109255364B (zh) 一种基于深度卷积生成对抗网络的场景识别方法
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
Bhat et al. Tool condition classification in turning process using hidden Markov model based on texture analysis of machined surface images
CN112763214B (zh) 基于多标签零样本学习的滚动轴承故障诊断方法
CN108416370A (zh) 基于半监督深度学习的图像分类方法、装置和存储介质
JP7310351B2 (ja) 情報処理方法及び情報処理装置
Dietterich et al. The familiarity hypothesis: Explaining the behavior of deep open set methods
CN114048568A (zh) 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法
CN103955671B (zh) 基于快速判别公共向量算法的人体行为识别方法
CN114358124B (zh) 基于深度对抗卷积神经网络的旋转机械新故障诊断方法
CN109598200B (zh) 一种铁水罐罐号的图像智能识别系统及方法
CN114782752B (zh) 基于自训练的小样本图像集成分类方法及装置
CN104200233A (zh) 一种基于韦伯局部描述符的服装分类识别方法
CN115600150A (zh) 一种基于深度迁移学习的多模态齿轮箱故障诊断方法
CN111209935A (zh) 基于自适应域转移的无监督目标检测方法及系统
CN107491735B (zh) 人类行为识别的标签和交互关系联合学习方法
Saifullah et al. Non-destructive egg fertility detection in incubation using SVM classifier based on GLCM parameters
Lonij et al. Open-world visual recognition using knowledge graphs
CN111291705A (zh) 一种跨多目标域行人重识别方法
CN109359664A (zh) 自我学习更新训练样本的高效质检模型构建方法及系统
Hu et al. Online recognition of magnetic tile defects based on UPM-DenseNet
CN116994092A (zh) 一种基于k互近邻伪标签筛选方法
US20230196733A1 (en) Method of unsupervised domain adaptation in ordinal regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220114

Address after: 230001 floor 6, block B, blue diamond Shangjie, No. 335, Suixi Road, Bozhou road street, Luyang District, Hefei City, Anhui Province

Patentee after: Hefei Luyang Technology Innovation Group Co.,Ltd.

Address before: 230009 No. 193, Tunxi Road, Hefei, Anhui

Patentee before: Hefei University of Technology

TR01 Transfer of patent right