CN116628592A - 一种基于改进型生成式对抗网络的动设备故障诊断方法 - Google Patents

一种基于改进型生成式对抗网络的动设备故障诊断方法 Download PDF

Info

Publication number
CN116628592A
CN116628592A CN202310641057.9A CN202310641057A CN116628592A CN 116628592 A CN116628592 A CN 116628592A CN 202310641057 A CN202310641057 A CN 202310641057A CN 116628592 A CN116628592 A CN 116628592A
Authority
CN
China
Prior art keywords
network
dcgan
generator
data
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310641057.9A
Other languages
English (en)
Inventor
张力翔
曾珍
李郭敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weibiran Data Technology Beijing Co ltd
Original Assignee
Weibiran Data Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weibiran Data Technology Beijing Co ltd filed Critical Weibiran Data Technology Beijing Co ltd
Priority to CN202310641057.9A priority Critical patent/CN116628592A/zh
Publication of CN116628592A publication Critical patent/CN116628592A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于改进型生成式对抗网络的动设备故障诊断方法，包括以下步骤：采集设备时域振动信号以及故障信息；以GAN为基础，由简单到复杂逐步构建CGAN、DCGAN、C‑DCGAN网络，最终完成自注意力机制的条件深度卷积生成式对抗网络SA‑C‑DCGAN的构建；训练SA‑C‑DCGAN网络，同时引入双时间尺度更新规则，直至达到纳什平衡；基于训练好的SA‑C‑DCGN模型的判别器，进行故障诊断。本发明避免了训练过程的不稳定性，解决判别器正则化中的缓慢学习问题，引入自注意力机制对振动信号特征之间非线性关系进行建模，深入入挖掘故障振动数据内在信息，提高了诊断的准确率和诊断结果的可靠性。

Description

一种基于改进型生成式对抗网络的动设备故障诊断方法
技术领域
本发明涉及一种动设备故障诊断方法，尤其涉及一种基于改进型生成式对抗网络的动设备故障诊断方法。
背景技术
往复压缩机在石油、化工等许多领域应用广泛，因其结构复杂，在长期工作中难免会因故障引起一系列的事故，目前，针对往复压缩机的故障诊断的对象主要有气阀故障和轴承间隙故障。
往复压缩机故障样本缺乏，重复的模拟故障和诊断造成研究资源浪费；往复压缩机的实验研究较少，工业生产中往复压缩机的故障检测数据较少，在检测数据中会混杂着大量的噪声干扰，有效快速的特征提取方法较少，对关键部件疲劳寿命的研究较少，故障模拟没有很好的贴合实际生产中出现的问题。信号处理方法研究较多但很难有标准数据集进行验证。
目前，国内往复压缩机故障自动诊断功能还处于发展的初期，有待改进的地方还很多。自动诊断系统仍主要依赖于规则、案例的基础上发展起来的专家系统。
在专家系统中，很多故障规则只是停留在实验室层面，应用到复杂的现场时诊断的效果并不理想。并且，由于故障案例积累的不够多，且每个案例也存在很大差异，因此得出的诊断结果也往往差强人意。传统的信号处理方法依赖于专家知识，由于机械系统的复杂性，这些方法并不总是可行的，且现有研究大多停留在实验验证阶段，实用化的特征提取方法有限。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于改进型生成式对抗网络的动设备故障诊断方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于改进型生成式对抗网络的动设备故障诊断方法，包括以下步骤：
步骤1.采集动设备时域振动信号以及收集故障信息；
步骤2.逐步构建故障诊断模型：以生成式对抗网络GAN为基础，由简单到复杂逐步构建CGAN、DCGAN、C-DCGAN网络，最终完成自注意力机制的条件深度卷积生成式对抗网络SA-C-DCGAN；
步骤3.训练SA-C-DCGAN网络，同时引入双时间尺度更新规则TTUR，直至生成器网络和判别器网络达到纳什平衡；
步骤4.基于训练好的SA-C-DCGN模型的判别器，进行故障诊断，输出诊断的故障类型。
进一步地，在步骤1中，通过分析动设备的振动产生原理，确定出时域振动信号的采集点位名称，以及该设备可通过振动信号进行故障诊断的常见故障类型。
进一步地，在步骤2中，生成式对抗网络GAN的构建过程为：
在GAN中，第一个网络是生成器并且以G(z)表示，第二个网络是判别器并且以D(x)表示；
GAN最终需要优化的目标函数如式1所示：
式中，minGmaxDV(D,G)表示首先对D最大化，然后对G最小化；x～Pdata(x)表示x符合真实数据的统计分布Pdata，即x属于真实数据；z～pz表示z符合编码的统计分布pz，即z为从编码的统计分布采用的随机数；
使用到的目标函数是交叉熵损失函数，D和G分别采用如下损失函数：
为了改善梯度，G的损失函数不采用让D(G(z))接近1，而不是让D(G(z))远离0，满足如下约束：
①D希望看到D(x)＝1，D(G(z))＝0，此时LD＝0；
②D希望避免D(x)＝0，D(G(z))＝1，此时LD＝∞；
③G希望看到D(G(z))＝1，此时LG＝0；
④G希望避免D(G(z))＝1，此时LG＝∞。
进一步地，在步骤2中，在GAN基础上构建条件生成式对抗网络CGAN：
对GAN施加了约束条件，将噪声和附加条件c同时输入到生成器中，将真实数据x和条件c输入代判别器中，其目标函数V(D,G)如式4所示：
式中，表示将数据x与条件c输入判别器D得到是否真实数据的概率；/>表示将随机噪声z与条件c组合以输入由生成器生成的生成样本的概率，然后判别器确定其为真实数据的概率；如果条件c为类别标签，将CGAN视为从无监督GAN模型到有监督模型的升级。
进一步地，在步骤2中，在GAN基础上构建深度卷积生成式对抗网络DCGAN：
DCGAN是GANs模型的改进模型，由有监督学习中的卷积神经网络CNN和无监督学习中的GAN结合起来；DCGAN取消池化层和全连接层变为全卷积网络，并在生成器G和判别器D上使用了批量标准化，缓解了模型崩溃问题，有效避免了模型的振荡和不稳定。
进一步地，在步骤2中，结合CGAN和DCGAN的特点构建条件深度卷积生成式对抗网络C-DCGAN：
C-DCGAN的生成器和判别器都是卷积神经网络CNN，将条件分别加入到CNN生成器和判别器网络中，利用CNN提取特征的能力加上条件辅以训练；
CNN生成器根据输入振动信号样本标签数据产生新的样本xfake；把新的样本xfake和原始真实标签数据xreal一起输入到CNN判别器进行真实性判别，使用真实性标签误差和类别标签误差作为损失函数，交替迭代训练生成器和判别器；然后，提取C-DCGAN中训练好的判别器，形成新的CNN网络结构，用于故障模式识别；
在CNN生成器模型中，输入时连接标签数据，使加入的条件信息能够引导生成器的输出结果，这里的标签数据为故障模式，包括但不限于气阀故障、轴承故障、正常；使用转置卷积代替池化，使网络自己学习上采样的方式，直接连接生成器的输入层和全连接层，使网络变成了全卷积网络，定义了四个层结构，完成从随机噪声到振动信号的生成过程；
在CNN判别器网络模型中，也输入时连标签数据，定义了四个卷积层，除了第一层卷积外，每层增加一个池化层，最后定义了全连接层。
进一步地，步骤2中，在C-DCGAN基础上构建自注意力机制的条件深度卷积生成式对抗网络SA-C-DCGAN：将自注意力机制引入到C-DCGAN中，构建SA-C-DCGAN；在SA-C-DCGAN中，自注意力模块是卷积网络的补充，自注意力机制为Query-Key-Value模型。
进一步地，自注意力模型的具体计算过程如下：
(1)将原始振动数据先前隐藏层特征向量输入到卷积网络中，计算每个输入数据特征向量的隐状态。首先将其转换为两个特征空间f、g，其中，f(x)＝Wfx，g(x)＝Wgx，C为通道数，N为矩阵的维度，表示为公式5：
sij＝f(xi)Tg(xj)式5
(2)求原始振动信号的注意力分布，表示为公式6：
其中，N为上一隐层中特征向量位置数量，Sij是没有归一化的注意力分布，用SoftMax函数进行归一化，得到注意力概率分布αij；
(3)注意力层的输出是
h(xi)＝Whxi 式7
v(xi)＝Wvxi 式8
用注意力概率分布αij作为每个输入数据xi受关注程度的权重，对每个输入对应的隐状态hi进行加权求和，得到每个生成数据yi对应的振动特征向量Oj，就是注意力值；
以上公式中，为线性映射的参数矩阵，映射为1×1的卷积；
为注意力层的输出乘以缩放参数，然后再加回输入到特征矩阵，使最终输出为：
yi＝γoi+xi 式10
其中，yj是生成数据，γ是缩放参数，可学习的标量，将其初始化为0，让注意力网络在开始时候先关注针对信号整体特征，当参数γ在训练过程中更新时，网络就会逐渐学习注意到具有明显差异的振动信号特征，为这些特征分配更多的权重。
进一步地，在步骤3中，采用TTUR训练的SA-C-DCGAN网络可以收敛到一个局部纳什平衡，使生成器迭代更新次数中使用较少的判别器迭代次数，其对抗训练过程为：首先固定G，最大优化判别器CNN，使其判别准确率最高，然后再固定D，最大优化生成器CNN，使其判别准确率最小，重复上述过程，直到生成器网络和判别器网络达到纳什平衡，训练停止；
具体训练流程如下：
①随机选取故障振动信号x；
②将x输入D，得到D(x)；
③判别器希望D(x)＝1，获得反向梯度，保存备用；
④由随机采样生成z，z为100维的{z1,z2,...,z100}，其中zi是标准差为1的正态分布随机数；
⑤将z输入G，生成G(z)；
⑥将G(z)输入D，得到D(G(z))；
⑦固定生成器G，判别器D希望D(G(z))＝0，获得反向梯度，与之前D的梯度相加，训练D；
⑧将G(z)再次输入D，得到新的D(G(z))；
⑨固定判别器D，生成器G希望D(G(z))＝1，获得对于输入的损失，反向传入G，训练G；
⑩重复此过程。
进一步地，在步骤4中，基于训练好的SA-C-DCGAN模型进行故障诊断，故障诊断流程包括以下步骤：
(1)获取振动信号，将原始样本中的训练样本输入训练好的SA-C-DCGAN模型；
(2)通过对抗学习机制，SA-C-DCGAN的生成器和判别器交替迭代优化训练，直到达到纳什平衡；
(3)将训练好的SA-C-DCGAN中的判别器抽取出来，形成用于故障模式识别的独立新网络CNN；将测试样本输入到CNN进行故障诊断，输出诊断出的故障类型结果。
本发明公开了一种基于改进型生成式对抗网络的动设备故障诊断方法，提出了基于自注意力机制的条件深度卷积生成式对抗网络模型(SA-C-DCGAN)，在SA-C-DCGAN模型训练时创新性的引入双时间尺度更新规则，避免了训练过程的不稳定性，解决判别器正则化中的缓慢学习问题；同时，引入自注意力机制对振动信号特征之间非线性关系进行建模，深入入挖掘故障振动数据内在信息；从而在解决了小样本条件下和不平衡数据集下故障诊断问题的同时，提高了诊断的准确率和诊断结果的可靠性
附图说明
图1为本发明整体技术方案逻辑图。
图2为本发明CGAN网络结构示意图。
图3为本发明DCGAN网络结构示意图。
图4为本发明C-DCGAN网络结构示意图。
图5为本发明生成器网络结构示意图。
图6为本发明判别器网络结构示意图。
图7为本发明SA-C-DCGAN网络结构示意图。
图8为本发明基于SA-C-DCGAN的故障诊断流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例以提高诊断的准确率和诊断结果的可靠性为目的，以往复压缩机关键部件(轴承和气阀等)为检测对象，发明了一种基于改进型生成式对抗网络的动设备故障诊断方法，即基于自注意力机制的条件深度卷积生成式对抗网络(SA-C-DCGAN)，本实施例的技术方案逻辑图如图1所示，该诊断方法可概况为：
步骤1、采集动设备时域振动信号以及收集故障信息；
步骤2、逐步构建故障诊断模型：以生成式对抗网络GAN为基础，由简单到复杂逐步构建CGAN、DCGAN、C-DCGAN网络，最终完成自注意力机制的条件深度卷积生成式对抗网络SA-C-DCGAN；
步骤3、训练SA-C-DCGAN网络，同时引入双时间尺度更新规则TTUR，直至生成器网络和判别器网络达到纳什平衡；
步骤4、基于训练好的SA-C-DCGN模型的判别器，进行故障诊断，输出诊断的故障类型。
下面结合图1的技术方案逻辑图，详细说明该方法的具体实施步骤：
步骤1.采集设备时域振动信号以及收集故障信息
通过分析往复压缩机的振动产生原理，确定出时域振动信号的采集点位名称，以及该设备可通过振动信号进行故障诊断的常见故障类型。
步骤1.1往复压缩机的时域振动信号采集
往复式压缩机在运行过程中，活塞和十字头做往复运动，曲轴做旋转运动，连杆既有旋转运动也有往复运动，这些机械部件在运动过程中会产生振动；此外，在压缩端，进气门和排气门启闭将会冲击气门座，也会产生振动；发动机端燃气的进入、废气排出的波动，也同样会产生振动。
使用振动信号进行故障诊断是常见的方式，但传统的基于振动信号进行故障诊断的方法需依赖专家知识来分析诊动频谱才能对故障做出诊断。本实施例基于大数据驱动的智能故障诊断思路，不依赖于专家思路，也用不到振动频谱和小波分析技术，只需采集时域振动信号即可。
步骤1.2往复压缩机的故障信息收集
往复压缩机的故障有很多，包括气阀损坏、活塞环断裂、活塞杆填料函磨损、活塞杆导向环磨损、活塞杆下沉、轴承间隙过大、连杆螺栓及十字头螺栓松动断裂、活塞卡住与开裂、曲轴断裂、缸体开裂等。本实施例主要针对往复压缩机气阀和轴承等常见故障进行分析，具体有：
(1)气阀故障：阀片断裂、弹簧失效、阀片闭合不严等；
(2)轴承故障：烧瓦、轴瓦合金脱落和裂纹、轴瓦擦伤等。
步骤2.逐步构建故障诊断模型
以生成式对抗网络(GAN)为基础，按网络结构复杂程度，由简单到复杂逐步构建CGAN、DCGAN、C-DCGAN网络，最终完成自注意力机制的条件深度卷积生成式对抗网络(SA-C-DCGAN)的构建，具体步骤为：
步骤2.1构建生成式对抗网络(GAN)
GAN是一种生成模型，核心思想是了解真实数据的模样，对真实数据的分布或者密度进行预估，并能够根据学习到的知识生成新的数据。在GAN中，第一个网络是生成器并且以G(z)表示，第二个网络是判别器并且以D(x)表示。在某种情况下，这两个网络可以达到平衡点，也就是极大极小博弈的最优点。第一个网络建模生成数据，第二个网络认为第一个网络输出的结果是真实数据的概率为0.5，若达不到，两个网络会继续学习，直到实现目标。
(1)生成器
生成器网络以随机噪声作为输入并试图生成样本数据。生成器G(z)从概率分布p(z)中介绍输入z，并且生成数据提供给判别器网络D(x)。
(2)判别器
判别器网络以真实数据或者生成数据作为输入，并试图预测当前输入是真实数据还是生成数据。其中一个输入x从真实数据分布Pdata(x)中获取，并产生一个范围在0到1之间的标量。
(3)训练算法
生成式对抗网络(GAN)由生成器和判别器两个网络组成，生成模型与对抗模型是完全独立的两个模型，训练这两个模型的方法是单独交替迭代优化训练，优化过程是一个“二元极大极小博弈”问题。把判别网络和生成网络合并成一个整体，GAN最终需要优化的目标函数如式1所示：
式中，minGmaxDV(D,G)表示首先对D最大化，然后对G最小化；x～Pdata(x)表示x符合真实数据的统计分布Pdata，即x属于真实数据；z～pz表示z符合编码的统计分布pz，即z为从编码的统计分布采用的随机数。使用到的目标函数是交叉熵损失函数。D和G分别采用如下损失函数(优化的目标是最小化这些损失)：
为了改善梯度，G的损失函数不采用让D(G(z))接近1，而不是让D(G(z))远离0，满足如下约束：
①D希望看到D(x)＝1，D(G(z))＝0，此时LD＝0；
②D希望避免D(x)＝0，D(G(z))＝1，此时LD＝∞；
③G希望看到D(G(z))＝1，此时LG＝0；
④G希望避免D(G(z))＝1，此时LG＝∞。
步骤2.2在GAN基础上构建条件生成式对抗网络(CGAN)
为了解决带标签数据的生成问题以及GAN过于自由，对GAN施加了约束条件，即条件生成式对抗网络(CGAN)。CGAN是基于GAN的条件生成模型，如果模型的生成器和判别器都符合某些附加条件c(类标签)，则可以将c输入到网络模型的生成器和判别器中，引导数据的生成。
将噪声和条件c同时输入到生成器中，将真实数据x和条件c输入代判别器中，其目标函数V(D,G)如式4所示：
式中，表示将数据x与条件c输入判别器D得到是否真实数据的概率；/>表示将随机噪声z与条件c组合以输入由生成器生成的生成样本的概率，然后判别器确定其为真实数据的概率。如果条件c为类别标签，则可以将CGAN视为从无监督GAN模型到有监督模型的升级。CGAN网络结构则如图2所示。
步骤2.3在GAN基础上构建深度卷积生成式对抗网络(DCGAN)
深度卷积生成式对抗网络(DCGAN)是GANs模型的改进模型，将有监督学习中的卷积神经网络(CNN)和无监督学习中的GAN结合起来，形成了一种训练稳固的网络结构。DCGAN取消池化层和全连接层变为全卷积网络，并成功地在生成器(G)和判别器(D)上使用了批量标准化，缓解了模型崩溃问题，有效避免了模型的振荡和不稳定。DCGAN网络结构则如图3所示。
步骤2.4结合CGAN和DCGAN的特点构建条件深度卷积生成式对抗网络(C-DCGAN)
结合CGAN和DCGAN的特点构建条件深度卷积生成式对抗网络模型C-DCGAN，其中，生成器和判别器都是卷积神经网络(CNN)。将条件分别加入到生成器和判别器网络中，利用卷积网络提取特征的能力加上条件辅以训练。CNN生成器根据输入振动信号样本标签数据产生新的样本xfake，把新样本和原始真实标签数据xreal一起输入到CNN判别器进行真实性判别，使用真实性标签误差和类别标签误差作为损失函数，交替迭代训练生成器和判别器。然后，提取C-DCGAN中训练好的判别器，形成新的CNN网络结构，用于故障模式识别。C-DCGAN网络结构如图4所示。
(1)生成器网络结构
在生成器模型中，为了增强标签数据在训练中的引导作用，在输入时连接标签数据，使加入的条件信息能够引导生成器的输出结果，这里的标签数据为故障模式(气阀故障、轴承故障、正常等)。使用转置卷积代替池化(使网络自己学习上采样的方式)，直接连接生成器的输入层和全连接层，使网络变成了全卷积网络，定义了四个这样的层结构，完成从随机噪声到振动信号的生成过程。网络结构如5所示。
(2)判别器网络结构
在判别器网络模型中，也输入时连标签数据。定义了四个卷积层，除了第一层卷积外，每层增加一个池化层。最后定义了全连接层，网络结构如图6所示。
步骤2.5确定C-DCGAN模型超参数
该步骤需要确定C-DCGAN模型的生成器和判别器的体系结构，隐藏层的数量，每层中节点的数量以及潜在空间的维度等。C-DCGAN网络结构超参数配置如表1所示：
表1C-DCGAN网络结构超参数配置示意表
如果参数设置不恰当，会导致两个对抗网络的不平衡。为了克服这些问题，采用了以下集中参数优化技术：
(1)批量归一化
由于是两个对抗网络在相互学习，为了防止训练时梯度消失的问题，在生成网络和判决网络中都使用了批量归一化(Batchnormalization，BN)方法加入BN层，解决了初始化差的问题，同时保证梯度传播到每一层，能够有效使得数据服从某个固定分布，也能够防止生成器把所有的样本都收敛到同一点，实施方法有：
输入的批次为B＝{x1,…,xm}，其中，需要学习的参数β，最终输出为其中最后一步的线性变换是使网络在归一化基础上还原原始输入。
①均值：
②方差：
③归一化：
④线性变换：
(2)激活函数设计
激活函数的作用是为了在神经网络中进行非线性变换，增强网络的表示能力和学习能力。在C-DCGAN模型中，生成器的输出层使用Tanh(双切正切函数)作为激活函数，其余层选用ReLU激活函数；判别器的输出层采用Sigmoid激活函数，其余层使用LeakyReLU作为激活函数。
(3)学习率优化
在梯度下降法中，学习率l的取值非常重要，太大不会收敛，太小收敛速度太慢。在C-DCGAN网络中G和D都采用Adam算法进行优化。Adam算法结合了两种优化算法：动量法和RMSprop算法，可以自适应调整学习率且使用动量引导参数更新。这里初始化学习率为0.0001。
(4)避免过拟合
为防止训练时出现过拟合的情况，在判别器和生成器的全层连接加入随机丢弃节点(Dropout)和权重衰减(weightdecay)，其中判别器的权重衰减更大。
步骤2.6在C-DCGAN基础上构建自注意力机制的条件深度卷积生成式对抗网络(SA-C-DCGAN)
尽管生成式对抗网络可以生成和原始数据近似的生成数据解决实际情况中样本不平衡的问题，但由于C-DCGAN均用四层CNN表示生成和判别，振动信号特征向量被局限在很小的局部区域里，卷积算子表征能力受限于卷积核大小，其无法捕获原始数据中的长距离依赖(传统的生成式对抗网络在几个卷积层之后才能捕获到长距离关系)。在机械故障诊断领域里，注意力机制可以明确学习故障特征向量之间的关系，很容易捕捉全局故障特征的依赖性。
将注意力机制(Self-Attention)引入到C-DCGAN中，构建了自注意力机制的条件深度卷积生成式对抗网络(SA-C-DCGAN)。在SA-C-DCGAN中，自注意力模块是卷积网络的补充，有助于建立单个振动信号的故障特征和整体信号特征之间的多级依赖关系。通过自注意力机制，生成器可以更加精准地生成故障信号，判别器也可以更准确地对生成数据添加复杂的约束条件。自注意力机制可以使网络模型专注于分散在信号特征向量不同位置又具有结构相关的区域。
SA-C-DCGAN网络结构如图7所示，在SA-C-DCGAN中，注意力模块与卷积神经网络共同工作，自注意力机制为Query-Key-Value模型。注意力模块的输入是卷积神经网络创建的振动特征向量，将其转换成三个特征向量空间，这些特征向量空间(keyf(x),valueh(x)和queryg(x))通过使用三个“1×1”的卷积传递原始特征向量而生成。然后keyf(x)和queryg(x)矩阵相乘，相乘结果的每一行应用SoftMax算子，SoftMax生成的注意力矩阵即为输入振动信号中需要关注的特征向量，注意力矩阵与h(x)相乘生成自注意力特征矩阵，最后将原始输入特征矩阵和缩放的自注意力矩阵相加计算输出。自注意力模型中的自注意力机制发生在生成器的判别器内部，可以抽取到同一个振动信号内不同特征之间的联系。自注意力模型的具体计算过程如下：
(1)将原始振动数据先前隐藏层特征向量输入到卷积网络中，计算每个输入数据特征向量的隐状态。首先将其转换为两个特征空间f、g，其中，f(x)＝Wfx，g(x)＝Wgx，C为通道数，N为矩阵的维度，表示为公式5：
sij＝f(xi)Tg(xj)式5
(2)求原始振动信号的注意力分布，表示为公式6：
其中，N为上一隐层中特征向量位置数量，Sij是没有归一化的注意力分布，用SoftMax函数进行归一化，得到注意力概率分布αij。
(3)注意力层的输出是
h(xi)＝Whxi 式7
v(xi)＝Wvxi 式8
用注意力概率分布αij作为每个输入数据xi受关注程度的权重，对每个输入对应的隐状态hi进行加权求和，得到每个生成数据yi对应的振动特征向量Oj，就是注意力值。
以上公式中，为线性映射的参数矩阵，映射为1×1的卷积。
为了使自注意力网络在整个训练学习过程中优先学习到简单的振动特征变化，再逐步增加学习任务的复杂性，学习到复杂特征的变化，为注意力层的输出乘以缩放参数，然后再加回输入到特征矩阵，使最终输出为：
yi＝γoi+xi 式10
其中，yj是生成数据，γ是缩放参数(可学习的标量)，将其初始化为0，让注意力网络在开始时候先关注针对信号整体特征，当参数γ在训练过程中更新时，网络就会逐渐学习注意到具有明显差异的振动信号特征，就可以为这些特征分配更多的权重。
步骤3.训练SA-C-DCGAN网络时引入双时间尺度更新规则(TTUR)
训练SA-C-DCGAN网络时引入了双时间尺度更新规则(TTUR)，用TTUR训练的SA-C-DCGAN网络可以收敛到一个局部纳什平衡，可解决判别器正则化中的缓慢学习问题，使生成器迭代更新次数中使用较少的判别器迭代次数，让SA-C-DCGAN训练过程更加稳定。
(1)判别器训练
生成的新样板fakeoutput标记为0，原始realoutput标记为1，将二者和随机产生的类别标签一起输入到SA-C-DCGAN网络作真实性对抗判别并进行错误分类。输出对应的判别性标签分别为fakelabel和reallabel。SA-C-DCGAN通过最小化损失函数来完成判别器CNN网络训练。
原始数据输入判别器得到lossd，生成样本输入判别器得到lossg，将两个损失加起来得到总的loss，然后反向传播更新参数优化判别器。
(2)生成器训练
设置fakelabel的标签为0并输入到判别器CNN，当判别为假(真实标签为1)表示生成的新样本未能通过判别器识别，通过优化最小损失函数来完成整个训练，然后反向传播去优化生成器的参数，在这个过程中，判别器的参数不再发生改变。
(3)对抗训练机制
把原始样本realoutput输入到SA-C-DCGAN，判别器CNN的任务是使输出reallabel尽可能接近1。当输入生成样本fakeoutput，判别器CNN的任务是使输出fakelabelt尽可能接近0。同时，生成器是使fakelabelt尽可能接近1，让判别器成功判断为真实样本。
对抗训练过程其实就是生成器和判别器之间的竞争过程。训练G和D的方法就是单独交替迭代优化训练，优化过程是一个“二元极大极小博弈”问题。首先固定G，最大优化判别器CNN，使其判别准确率最高，然后再固定D，最大优化生成器CNN，使其判别准确率最小。重复上述过程，直到生成器网络和判别器网络达到纳什平衡，训练停止。具体训练流程如下：
①随机选取故障振动信号x；
②将x输入D，得到D(x)；
③判别器希望D(x)＝1，获得反向梯度，保存备用；
④由随机采样生成z，z为100维的{z1,z2,...,z100}，其中zi是标准差为1的正态分布随机数；
⑤将z输入G，生成G(z)；
⑥将G(z)输入D，得到D(G(z))；
⑦固定生成器G，判别器D希望D(G(z))＝0，获得反向梯度，与之前D的梯度相加，训练D；
⑧将G(z)再次输入D，得到新的D(G(z))；
⑨固定判别器D，生成器G希望D(G(z))＝1，获得对于输入的损失，反向传入G，训练G；
⑩重复此过程。
(4)引入双时间尺度更新规则(TTUR)
为了解决SA-C-DCGAN训练不稳定的现象，引入双时间尺度更新规则(TTUR)，该规则使判别器和生成器使用了不同的学习率，让SA-C-DCGAN网络尽快收敛于局部纳什均衡，解决了判别器正则化中学习缓慢的问题，这可在相同的训练数据内，产生更好的振动数据，使得SA-C-DCGAN训练更加稳定。
TTUR是一个简单的更新策略，即对SA-C-DCGAN网络中的判别器和生成器设置了不同的学习率，通常，生成器使用较慢的更新规则，判别器使用较快的更新规则，所以要将判别器的学习率设置的比生成器大。经评估，模型将判别器和生成器的学习率分别设置为0.002和0.0001时才可以让生成网络和判别网络以1:1的速度更新，最终在相同时间内产生更好的结果。
步骤4.基于训练好的SA-C-DCGAN模型的故障诊断
故障诊断流程如图8所示，包括以下步骤：
(1)获取振动信号，将原始样本中的训练样本输入训练好的SA-C-DCGAN模型；
(2)通过对抗学习机制，SA-C-DCGAN的生成器和判别器交替迭代优化训练，直到达到纳什平衡；
(3)将训练好的SA-C-DCGAN中的判别器抽取出来，形成用于故障模式识别的独立新网络CNN；将测试样本输入到CNN进行故障诊断，输出诊断出的故障类型结果。
由此，对于本实例所公开的基于改进型生成式对抗网络的动设备故障诊断方法，是一种大数据驱动的智能动设备故障诊断方法，其本质是改进了一种基于生成式对抗网络(GAN)的模型，提出了一种可适用于设备故障诊断的基于自注意力机制的条件深度卷积生成式对抗网络(SA-C-DCGAN)模型，将该模型应用于故障诊断时，可提高诊断的准确率和诊断结果的可靠性，具体优势有：
1、可以生成与原始样本具有相似分布的新样本，用来扩展故障样本集，解决小样本条件和不平衡数据集下故障诊断问题；
2、提出了基于TTUR的C-DCGAN模型训练方法，避免了训练过程的不稳定性，解决判别器正则化中的缓慢学习问题，使生成器迭代更新次数中使用较少的判别器迭代次数，让训练过程更加稳定；
3、引入自注意力机制，对振动信号特征之间非线性关系进行建模，深入入挖掘故障振动数据内在信息，将机械故障机理和基于数据驱动的动设备故障诊断方法相融合。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (10)

1.一种基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：动设备故障诊断方法包括以下步骤：
步骤1.采集动设备时域振动信号以及收集故障信息；
步骤2.逐步构建故障诊断模型：以生成式对抗网络GAN为基础，由简单到复杂逐步构建CGAN、DCGAN、C-DCGAN网络，最终完成自注意力机制的条件深度卷积生成式对抗网络SA-C-DCGAN的构建；
步骤3.训练SA-C-DCGAN网络，同时引入双时间尺度更新规则TTUR，直至生成器网络和判别器网络达到纳什平衡；
步骤4.基于训练好的SA-C-DCGN模型的判别器，进行故障诊断，输出诊断的故障类型。
2.根据权利要求1所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤1中，通过分析动设备的振动产生原理，确定出时域振动信号的采集点位名称，以及该设备可通过振动信号进行故障诊断的常见故障类型。
3.根据权利要求1所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤2中，生成式对抗网络GAN的构建过程为：
在GAN中，第一个网络是生成器并且以G(z)表示，第二个网络是判别器并且以D(x)表示；
GAN最终需要优化的目标函数如式1所示：
式中，minGmaxDV(D,G)表示首先对D最大化，然后对G最小化；x～Pdata(x)表示x符合真实数据的统计分布Pdata，即x属于真实数据；z～pz表示z符合编码的统计分布pz，即z为从编码的统计分布采用的随机数；
使用到的目标函数是交叉熵损失函数，D和G分别采用如下损失函数：
为了改善梯度，G的损失函数不采用让D(G(z))接近1，而不是让D(G(z))远离0，满足如下约束：
①D希望看到D(x)＝1，D(G(z))＝0，此时LD＝0；
②D希望避免D(x)＝0，D(G(z))＝1，此时LD＝∞；
③G希望看到D(G(z))＝1，此时LG＝0；
④G希望避免D(G(z))＝1，此时LG＝∞。
4.根据权利要求3所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤2中，在GAN基础上构建条件生成式对抗网络CGAN：
对GAN施加了约束条件，将噪声和附加条件c同时输入到生成器中，将真实数据x和条件c输入代判别器中，其目标函数V(D,G)如式4所示：
式中，表示将数据x与条件c输入判别器D得到是否真实数据的概率；/>表示将随机噪声z与条件c组合以输入由生成器生成的生成样本的概率，然后判别器确定其为真实数据的概率；如果条件c为类别标签，将CGAN视为从无监督GAN模型到有监督模型的升级。
5.根据权利要求4所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤2中，在GAN基础上构建深度卷积生成式对抗网络DCGAN：
DCGAN是GANs模型的改进模型，由有监督学习中的卷积神经网络CNN和无监督学习中的GAN结合起来；DCGAN取消池化层和全连接层变为全卷积网络，并在生成器G和判别器D上使用了批量标准化，缓解了模型崩溃问题，有效避免了模型的振荡和不稳定。
6.根据权利要求5所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤2中，结合CGAN和DCGAN的特点构建条件深度卷积生成式对抗网络C-DCGAN：
C-DCGAN的生成器和判别器都是卷积神经网络CNN，将条件分别加入到CNN生成器和判别器网络中，利用CNN提取特征的能力加上条件辅以训练；
CNN生成器根据输入振动信号样本标签数据产生新的样本xfake；把新的样本xfake和原始真实标签数据xreal一起输入到CNN判别器进行真实性判别，使用真实性标签误差和类别标签误差作为损失函数，交替迭代训练生成器和判别器；然后，提取C-DCGAN中训练好的判别器，形成新的CNN网络结构，用于故障模式识别；
在CNN生成器模型中，输入时连接标签数据，使加入的条件信息能够引导生成器的输出结果，这里的标签数据为故障模式，包括但不限于气阀故障、轴承故障、正常；使用转置卷积代替池化，使网络自己学习上采样的方式，直接连接生成器的输入层和全连接层，使网络变成了全卷积网络，定义了四个层结构，完成从随机噪声到振动信号的生成过程；
在CNN判别器网络模型中，也输入时连标签数据，定义了四个卷积层，除了第一层卷积外，每层增加一个池化层，最后定义了全连接层。
7.根据权利要求6所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：步骤2中，在C-DCGAN基础上构建自注意力机制的条件深度卷积生成式对抗网络SA-C-DCGAN：将自注意力机制引入到C-DCGAN中，构建SA-C-DCGAN；在SA-C-DCGAN中，自注意力模块是卷积网络的补充，自注意力机制为Query-Key-Value模型。
8.根据权利要求7所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：自注意力模型的具体计算过程如下：
(1)将原始振动数据先前隐藏层特征向量输入到卷积网络中，计算每个输入数据特征向量的隐状态。首先将其转换为两个特征空间f、g，其中，f(x)＝Wfx，g(x)＝Wgx，C为通道数，N为矩阵的维度，表示为公式5：
sij＝f(xi)Tg(xj) 式5
(2)求原始振动信号的注意力分布，表示为公式6：
其中，N为上一隐层中特征向量位置数量，Sij是没有归一化的注意力分布，用SoftMax函数进行归一化，得到注意力概率分布αij；
(3)注意力层的输出是
h(xi)＝Whxi 式7
v(xi)＝Wvxi 式8
用注意力概率分布αij作为每个输入数据xi受关注程度的权重，对每个输入对应的隐状态hi进行加权求和，得到每个生成数据yi对应的振动特征向量Oj，就是注意力值；
以上公式中，为线性映射的参数矩阵，映射为1×1的卷积；
为注意力层的输出乘以缩放参数，然后再加回输入到特征矩阵，使最终输出为：
yi＝γoi+xi 式10
其中，yj是生成数据，γ是缩放参数，可学习的标量，将其初始化为0，让注意力网络在开始时候先关注针对信号整体特征，当参数γ在训练过程中更新时，网络就会逐渐学习注意到具有明显差异的振动信号特征，为这些特征分配更多的权重。
9.根据权利要求1或8所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤3中，采用TTUR训练的SA-C-DCGAN网络可以收敛到一个局部纳什平衡，使生成器迭代更新次数中使用较少的判别器迭代次数，其对抗训练过程为：首先固定G，最大优化判别器CNN，使其判别准确率最高，然后再固定D，最大优化生成器CNN，使其判别准确率最小，重复上述过程，直到生成器网络和判别器网络达到纳什平衡，训练停止；
具体训练流程如下：
①随机选取故障振动信号x；
②将x输入D，得到D(x)；
③判别器希望D(x)＝1，获得反向梯度，保存备用；
④由随机采样生成z，z为100维的{z1,z2,...,z100}，其中zi是标准差为1的正态分布随机数；
⑤将z输入G，生成G(z)；
⑥将G(z)输入D，得到D(G(z))；
⑦固定生成器G，判别器D希望D(G(z))＝0，获得反向梯度，与之前D的梯度相加，训练D；
⑧将G(z)再次输入D，得到新的D(G(z))；
⑨固定判别器D，生成器G希望D(G(z))＝1，获得对于输入的损失，反向传入G，训练G；
⑩重复此过程。
10.根据权利要求9所述的基于改进型生成式对抗网络的动设备故障诊断方法，其特征在于：在所述步骤4中，基于训练好的SA-C-DCGAN模型进行故障诊断，故障诊断流程包括以下步骤：
(1)获取振动信号，将原始样本中的训练样本输入训练好的SA-C-DCGAN模型；
(2)通过对抗学习机制，SA-C-DCGAN的生成器和判别器交替迭代优化训练，直到达到纳什平衡；
(3)将训练好的SA-C-DCGAN中的判别器抽取出来，形成用于故障模式识别的独立新网络CNN；将测试样本输入到CNN进行故障诊断，输出诊断出的故障类型结果。
CN202310641057.9A 2023-06-01 2023-06-01 一种基于改进型生成式对抗网络的动设备故障诊断方法 Pending CN116628592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310641057.9A CN116628592A (zh) 2023-06-01 2023-06-01 一种基于改进型生成式对抗网络的动设备故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310641057.9A CN116628592A (zh) 2023-06-01 2023-06-01 一种基于改进型生成式对抗网络的动设备故障诊断方法

Publications (1)

Publication Number Publication Date
CN116628592A true CN116628592A (zh) 2023-08-22

Family

ID=87609608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310641057.9A Pending CN116628592A (zh) 2023-06-01 2023-06-01 一种基于改进型生成式对抗网络的动设备故障诊断方法

Country Status (1)

Country Link
CN (1) CN116628592A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991075A (zh) * 2023-09-26 2023-11-03 中国石油大学(华东) 一种针对故障诊断模型的通用对抗扰动生成方法
CN117610614A (zh) * 2024-01-11 2024-02-27 四川大学 基于注意力引导的生成对抗网络零样本核电密封检测方法
CN117743947A (zh) * 2024-02-20 2024-03-22 烟台哈尔滨工程大学研究院 一种小样本下的智能机舱故障诊断方法及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991075A (zh) * 2023-09-26 2023-11-03 中国石油大学(华东) 一种针对故障诊断模型的通用对抗扰动生成方法
CN116991075B (zh) * 2023-09-26 2023-12-19 中国石油大学(华东) 一种针对故障诊断模型的通用对抗扰动生成方法
CN117610614A (zh) * 2024-01-11 2024-02-27 四川大学 基于注意力引导的生成对抗网络零样本核电密封检测方法
CN117610614B (zh) * 2024-01-11 2024-03-22 四川大学 基于注意力引导的生成对抗网络零样本核电密封检测方法
CN117743947A (zh) * 2024-02-20 2024-03-22 烟台哈尔滨工程大学研究院 一种小样本下的智能机舱故障诊断方法及介质
CN117743947B (zh) * 2024-02-20 2024-04-30 烟台哈尔滨工程大学研究院 一种小样本下的智能机舱故障诊断方法及介质

Similar Documents

Publication Publication Date Title
CN112165464B (zh) 一种基于深度学习的工控混合入侵检测方法
CN108805188B (zh) 一种基于特征重标定生成对抗网络的图像分类方法
CN116628592A (zh) 一种基于改进型生成式对抗网络的动设备故障诊断方法
CN109800875A (zh) 基于粒子群优化和降噪稀疏编码机的化工故障检测方法
CN111709448A (zh) 一种基于迁移关系网络的机械故障诊断方法
CN112529341B (zh) 一种基于朴素贝叶斯算法的钻井漏失机率预测方法
CN113203566B (zh) 一种基于一维数据增强和cnn的电机轴承故障诊断方法
CN113923104B (zh) 基于小波神经网络的网络故障诊断方法、设备及存储介质
CN114358123B (zh) 一种基于深度对抗迁移网络的广义开放集故障诊断方法
CN108958217A (zh) 一种基于深度学习的can总线报文异常检测方法
Ma et al. An unsupervised domain adaptation approach with enhanced transferability and discriminability for bearing fault diagnosis under few-shot samples
CN112964469A (zh) 一种迁移学习的变负载下滚动轴承在线故障诊断方法
CN116248392B (zh) 一种基于多头注意力机制的网络恶意流量检测系统及方法
CN113536697A (zh) 一种基于改进残差网络和wgan的轴承剩余寿命预测方法
CN112560596A (zh) 一种雷达干扰类别识别方法及系统
CN114444620A (zh) 一种基于生成式对抗神经网络的示功图故障诊断方法
Ma et al. A collaborative central domain adaptation approach with multi-order graph embedding for bearing fault diagnosis under few-shot samples
CN117892182A (zh) 基于人工智能的索具耐用性测试方法及装置
CN117113170A (zh) 一种基于多尺度信息融合的轻量化旋转机械故障诊断方法
CN114491823A (zh) 一种基于改进生成对抗网络的列车轴承故障诊断方法
CN113360485A (zh) 一种基于生成对抗网络的工程数据增强算法
CN115356599B (zh) 一种多模态城市电网故障诊断方法及系统
CN117150399A (zh) 一种基于流判别模型的新型故障识别方法和装置
CN116680639A (zh) 一种基于深度学习的深海潜水器传感器数据的异常检测方法
CN114383846A (zh) 基于故障标签信息向量的轴承复合故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination