CN114896733A - 一种基于深度强化学习的滚动轴承故障类型识别方法 - Google Patents

一种基于深度强化学习的滚动轴承故障类型识别方法 Download PDF

Info

Publication number
CN114896733A
CN114896733A CN202210553427.9A CN202210553427A CN114896733A CN 114896733 A CN114896733 A CN 114896733A CN 202210553427 A CN202210553427 A CN 202210553427A CN 114896733 A CN114896733 A CN 114896733A
Authority
CN
China
Prior art keywords
fault
matrix
rolling bearing
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210553427.9A
Other languages
English (en)
Other versions
CN114896733B (zh
Inventor
李帷韬
张雪松
侯建平
管树志
胡平路
杨盛世
孙伟
李奇越
张倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210553427.9A priority Critical patent/CN114896733B/zh
Publication of CN114896733A publication Critical patent/CN114896733A/zh
Application granted granted Critical
Publication of CN114896733B publication Critical patent/CN114896733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于深度强化学习的滚动轴承故障类型识别方法，其步骤包括：1、采集滚动轴承一维时间序列故障数据；2、连续小波变换算法对故障数据进行预处理；3、人工标注并进行归一化位置编码；4、建立基于改进的Transformer‑LSTM双分支异构网络和强化学习网络；5、对网络进行训练得到强化学习最优训练模型；6、输入测试集到最优训练模型得到最优故障诊断分类识别效果。本发明通过强化学习的方法，提高了滚动轴承故障分类识别的准确性，同时使得模型具有更好的抗噪性能。

Description

一种基于深度强化学习的滚动轴承故障类型识别方法
技术领域
本发明涉及一种基于深度强化学习的滚动轴承故障类型识别方法，属于人工智能技术领域。
背景技术
随着工业自动化的发展，机械设备的构造越来越精细复杂，其中关键零件的损坏更是会导致重大的事故，造成不可挽回的人员伤亡和经济损失。基于提升经济效益和保障安全问题的强烈需求，机械故障诊断与处理逐渐成为企业生产质量保障的基本要求。滚动轴承作为承接滚动轴的关键部件，在旋转设备长期的高速运行过程中容易受到磨损。根据统计也显示，旋转机械的故障诱因有30％均来自于滚动轴承的不良状态。因此，如何及时有效的对滚动轴承故障进行诊断和处理，以保障机械的平稳运行具有十分重要的研究意义。
近年来，深度学习技术在模式识别领域取得了不少突破。和传统的机器学习算法比，端到端的深度神经网络能够在海量的数据中自动进行特征挖掘实现滚动轴承故障诊断，从而节省了手动特征工程的成本，其优秀的泛化能力也能够应对复杂工况下不同的轴承故障类型。由于CNN对于输入时间序列的远距离特征捕获能力较差，为了有效解决神经网络的远距离捕获能力，长短时记忆(long-short term memory，LSTM)网络被提出，并用于滚动轴承的故障诊断，LSTM具有强大的时间序列远距离特征捕获能力得益于它的长短时记忆结构和循环处理结构，但是这种结构使它很难做到并行计算，导致算法的时间效率低，且训练时更注重深度神经网络的特征学习能力，而忽略了决策能力在神经网络中的作用，这会影响诊断结果的准确性和可靠性，特别是在样本量不足时。
发明内容
本发明是为了解决上述背景技术中的存在的问题，提出一种基于深度强化学习的滚动轴承故障类型识别方法，以期能提高滚动轴承故障分类识别的准确性，同时使得故障识别模型具有更好的抗噪性能。
本发明为解决技术问题采用如下技术方案：
本发明一种基于深度强化学习的滚动轴承故障类型识别方法的特点是按如下步骤进行：
步骤1、实时采集滚动轴承的预置测点处的一维时间序列故障数据；
步骤2、利用式(1)所示的连续小波变换算法对所述一维时间序列故障数据进行预处理，得到二维信号矩阵Wf(a,b)：
Figure BDA0003653898740000021
式(1)中，a表示伸缩因子，b表示平移因子，t表示时刻；f(t)为t时刻的一维时间序列故障数据，
Figure BDA0003653898740000022
为母小波Ψ(·)的复共轭，a,b∈R，a≠0；R表示实数；
步骤3、对所述二维信号矩阵Wf(a,b)中的故障类型进行人工标注，获得带有标签的一个故障矩阵；从而得到带有标签的训练数据集D＝{(x1,l1),(x2,l2),...,(xj,lj),...,(xK,lK)}，其中xj表示第j个故障矩阵，li表示第j个故障矩阵xj的标签，且li的取值范围为[1,Y]，Y表示故障类型的种类，K为故障矩阵的总数；
步骤4、构建滚动轴承特征数集合p＝{p1,p2,…,pi,…pn}，pi表示第i个轴承特征，且pi∈[1,n]，n表示滚动轴承特征总数；
利用式(2)得到所述第i个轴承特征pi的位置编码PEi，从而得到位置编码矩阵PE：
Figure BDA0003653898740000023
式(2)中，min{p}为滚动轴承特征集合p中的轴承特征最小值，max{p}为滚动轴承特征集合p中的轴承特征最大值；
利用式(3)对位置编码矩阵PE进行尺寸归一化，得到归一化后的位置编码矩阵E：
E＝reshape(PE) (3)
式(3)中，reshape(·)表示矩阵尺寸变换函数；
将所述位置编码矩阵E与带有标签的故障矩阵相加后的滚动轴承特征向量作为识别模型的输入；
步骤5、建立基于改进的Transformer的深度强化学习网络，包括：用于特征提取的Transformer-LSTM双分支异构网络、用于生成动作策略的强化学习网络；
所述强化学习网络由全连接层组成；
所述Transformer-LSTM双分支异构网络包括：改进的Transformer网络分支、单层的LSTM神经网络；Softmax模式分类器；
所述改进的Transformer网络分支由N个编码器组成，每个编码器依次由一个多头注意力机制层、第一求和与归一化层、前馈卷积层、第二求和与归一化层组成；其中，所述多头注意力机制层由多个自注意力机制层组成；
所述前馈卷积层由三个一维卷积块组成，每个卷积块依次由维度为1×1且卷积核个数为M的第一卷积层、维度为3×3且卷积核个数为2M的第二卷积层组成；
所述Softmax模式分类器包括：全连接层和Softmax函数；
当n＝1时，所述滚动轴承特征向量输入所述深度强化学习网络中，并经过所述Transformer-LSTM双分支异构网络中改进的Transformer网络分支，由第n个编码器的多头注意力机制层的处理后，得到第n个多头注意力机制特征矩阵Mn，再依次经过第一求和与归一化层、前馈卷积层、第二求和与归一化层的处理后，输出第n个归一化矩阵Zn；
当n＝2,3,…,N时，第n-1编码器输出的编码器特征矩阵Zn-1经过第n个编码器的处理后，输出第n个归一化矩阵Zn，从而由第N个编码器输出的第N个归一化矩阵Zn作为所述Transformer网络分支的输出；
所述单层的LSTM神经网络对Zn进行处理，得到隐藏状态矩阵h；
所述隐藏状态矩阵h输入到所述全连接层中进行特征提取和加权求和处理后得到故障分数；
所述故障分数经过所述Softmax函数的映射后得到故障概率；
步骤6、将所述Transformer-LSTM网络输出的隐藏状态矩阵h作为当前状态s，并输入所述强化学习网络中进行训练；
步骤6.1、定义动作空间集A，并将所述动作空间集A中任意一个动作a作为一种轴承故障类型；
步骤6.2、利用式(4)定义奖励函数reward(s,a)：
Figure BDA0003653898740000031
式(4)中，y∈[1,Y]表示任意一种轴承故障类型；
步骤6.2、利用式(5)得到动作空间集A中动作a下的动作价值函数Q(s,a；θ)：
Figure BDA0003653898740000041
式(5)中，θ为强化学习网络的权重系数，γ为折扣系数，且γ∈[0,1]，T表示预设的时间值，E表示期望；st表示t时刻的状态，at表示t时刻的动作；
步骤6.3、利用式(6)得到执行动作a后的目标Q值Qtarget：
Qtarget＝reward+γmaxQ(s′,a′；θ) (6)
式(6)中，s′为执行动作a后的下一个状态，a′为执行动作a后的下一个动作；
步骤6.4、利用式(7)建立损失函数Loss，并对强化学习网络进行反向传播，以更新网络参数，直到达到最大迭代次数为止，从而获得最优故障诊断分类识别模型；
Loss＝(Qtarget-Q(s,a；θ))2 (7)
步骤6.5、获取待预测的一维时间序列故障数据，并按照步骤2-步骤4的过程进行处理，得到待预测的滚动轴承特征向量，并输入所述最优故障诊断分类识别模型中，从而实现对待预测的滚动轴承特征向量的故障分类。
与已有技术相比，本发明的有益效果体现在：
1、本发明对一维时间序列故障数据进行连续小波变换获取二维信号矩阵并采用归一化位置编码，解决了Transformer网络的输入和该网络在滚动轴承故障分析领域的位置编码问题。
2、本发明通过采用基于改进的Transformer-LSTM双分支异构网络，对滚动轴承特征向量进行特征提取并进行解码，最后通过全连接层跟Softmax函数输出分类概率，提高了故障诊断的准确度。
3、本发明采用基于强化学习的方法，提高了故障分类模型对于不同噪声的鲁棒性，进而使模型具有更好的抗噪性能和稳定性。
附图说明
图1为本发明故障分类识别方法流程图；
图2为本发明Transformer-LSTM的双分支异构网络结构图。
具体实施方式
本实施例中，参照图1，一种基于深度强化学习的滚动轴承故障类型识别方法是按如下步骤进行：
步骤1、实时采集滚动轴承的预置测点处的一维时间序列故障数据；
步骤2、利用式(1)所示的连续小波变换算法对一维时间序列故障数据进行预处理，得到二维信号矩阵Wf(a,b)：
Figure BDA0003653898740000051
式(1)中，a表示伸缩因子，b表示平移因子，t表示时刻；f(t)为t时刻的一维时间序列故障数据，
Figure BDA0003653898740000052
为母小波Ψ(·)的复共轭，a,b∈R，a≠0；R表示实数；
步骤3、对二维信号矩阵Wf(a,b)中的故障类型进行人工标注，获得带有标签的一个故障矩阵；从而得到带有标签的训练数据集D＝{(x1,l1),(x2,l2),...,(xj,lj),...,(xK,lK)}，其中xj表示第j个故障矩阵，li表示第j个故障矩阵xj的标签，且li的取值范围为[1,Y]，Y表示故障类型的种类，K为故障矩阵的总数；本实施例中，Y＝12,K＝1000；
步骤4、构建滚动轴承特征数集合p＝{p1,p2,…,pi,…pn}，pi表示第i个轴承特征，且pi∈[1,n]，n表示滚动轴承特征总数；本实施例中，n＝50；
利用式(2)得到第i个轴承特征pi的位置编码PEi，从而得到位置编码矩阵PE：
Figure BDA0003653898740000053
式(2)中，min{p}为滚动轴承特征集合p中的轴承特征最小值，max{p}为滚动轴承特征集合p中的轴承特征最大值；
利用式(3)对位置编码矩阵PE进行尺寸归一化，得到归一化后的位置编码矩阵E：
E＝reshape(PE) (3)
式(3)中，reshape(·)表示矩阵尺寸变换函数；
将位置编码矩阵E与带有标签的故障矩阵相加后的滚动轴承特征向量作为识别模型的输入；
步骤5、建立基于改进的Transformer的深度强化学习网络，包括：用于特征提取的Transformer-LSTM双分支异构网络、用于生成动作策略的强化学习网络；
强化学习网络由全连接层组成；
Transformer-LSTM双分支异构网络包括：改进的Transformer网络分支、单层的LSTM神经网络；Softmax模式分类器，Transformer-LSTM的双分支异构网络结构图如图2所示；
改进的Transformer网络分支由N个编码器组成，每个编码器依次由一个多头注意力机制层、第一求和与归一化层、前馈卷积层、第二求和与归一化层组成；其中，多头注意力机制层由多个自注意力机制层组成；本实施例中，取编码器个数N＝6；
前馈卷积层由三个一维卷积块组成，每个卷积块依次由维度为1×1且卷积核个数为M的第一卷积层、维度为3×3且卷积核个数为2M的第二卷积层组成，本实施例中，M＝64；
Softmax模式分类器包括：全连接层和Softmax函数；
当n＝1时，滚动轴承特征向量输入深度强化学习网络中，并经过Transformer-LSTM双分支异构网络中改进的Transformer网络分支，由第n个编码器的多头注意力机制层的处理后，得到第n个多头注意力机制特征矩阵Mn，再依次经过第一求和与归一化层、前馈卷积层、第二求和与归一化层的处理后，输出第n个归一化矩阵Zn；
当n＝2,3,…,N时，第n-1编码器输出的编码器特征矩阵Zn-1经过第n个编码器的处理后，输出第n个归一化矩阵Zn，从而由第N个编码器输出的第N个归一化矩阵Zn作为Transformer网络分支的输出；
单层的LSTM神经网络对Zn进行处理，得到隐藏状态矩阵h；
隐藏状态矩阵h输入到全连接层中进行特征提取和加权求和处理后得到故障分数；
故障分数经过Softmax函数的映射后得到故障概率；
步骤6、将Transformer-LSTM网络输出的隐藏状态矩阵h作为当前状态s，并输入强化学习网络中进行训练；
步骤6.1、定义动作空间集A，并将动作空间集A中任意一个动作a作为一种轴承故障类型；
步骤6.2、利用式(4)定义奖励函数reward(s,a)：
Figure BDA0003653898740000061
式(4)中，y∈[1,Y]表示任意一种轴承故障类型；
步骤6.2、利用式(5)得到动作空间集A中动作a下的动作价值函数Q(s,a；θ)：
Figure BDA0003653898740000071
式(5)中，θ为强化学习网络的权重系数，γ为折扣系数，且γ∈[0,1]，T表示预设的时间值，E表示期望；st表示t时刻的状态，at表示t时刻的动作；
步骤6.3、利用式(6)得到执行动作a后的目标Q值Qtarget：
Qtarget＝reward+γmaxQ(s′,a′；θ) (6)
式(6)中，s′为执行动作a后的下一个状态，a′为执行动作a后的下一个动作；
步骤6.4、利用式(7)建立损失函数Loss，并对强化学习网络进行反向传播，以更新网络参数，直到达到最大迭代次数为止，从而获得最优故障诊断分类识别模型；
Loss＝(Qtarget-Q(s,a；θ))2 (7)
步骤6.5、获取待预测的一维时间序列故障数据，并按照步骤2-步骤4的过程进行处理，得到待预测的滚动轴承特征向量，并输入最优故障诊断分类识别模型中，从而实现对待预测的滚动轴承特征向量的故障分类。

Claims (1)

1.一种基于深度强化学习的滚动轴承故障类型识别方法，其特征是按如下步骤进行：
步骤1、实时采集滚动轴承的预置测点处的一维时间序列故障数据；
步骤2、利用式(1)所示的连续小波变换算法对所述一维时间序列故障数据进行预处理，得到二维信号矩阵Wf(a,b)：
Figure FDA0003653898730000011
式(1)中，a表示伸缩因子，b表示平移因子，t表示时刻；f(t)为t时刻的一维时间序列故障数据，
Figure FDA0003653898730000012
为母小波Ψ(·)的复共轭，a,b∈R，a≠0；R表示实数；
步骤3、对所述二维信号矩阵Wf(a,b)中的故障类型进行人工标注，获得带有标签的一个故障矩阵；从而得到带有标签的训练数据集D＝{(x1,l1),(x2,l2),...,(xj,lj),...,(xK,lK)}，其中xj表示第j个故障矩阵，li表示第j个故障矩阵xj的标签，且li的取值范围为[1,Y]，Y表示故障类型的种类，K为故障矩阵的总数；
步骤4、构建滚动轴承特征数集合p＝{p1,p2,…,pi,…pn}，pi表示第i个轴承特征，且pi∈[1,n]，n表示滚动轴承特征总数；
利用式(2)得到所述第i个轴承特征pi的位置编码PEi，从而得到位置编码矩阵PE：
Figure FDA0003653898730000013
式(2)中，min{p}为滚动轴承特征集合p中的轴承特征最小值，max{p}为滚动轴承特征集合p中的轴承特征最大值；
利用式(3)对位置编码矩阵PE进行尺寸归一化，得到归一化后的位置编码矩阵E：
E＝reshape(PE) (3)
式(3)中，reshape(·)表示矩阵尺寸变换函数；
将所述位置编码矩阵E与带有标签的故障矩阵相加后的滚动轴承特征向量作为识别模型的输入；
步骤5、建立基于改进的Transformer的深度强化学习网络，包括：用于特征提取的Transformer-LSTM双分支异构网络、用于生成动作策略的强化学习网络；
所述强化学习网络由全连接层组成；
所述Transformer-LSTM双分支异构网络包括：改进的Transformer网络分支、单层的LSTM神经网络；Softmax模式分类器；
所述改进的Transformer网络分支由N个编码器组成，每个编码器依次由一个多头注意力机制层、第一求和与归一化层、前馈卷积层、第二求和与归一化层组成；其中，所述多头注意力机制层由多个自注意力机制层组成；
所述前馈卷积层由三个一维卷积块组成，每个卷积块依次由维度为1×1且卷积核个数为M的第一卷积层、维度为3×3且卷积核个数为2M的第二卷积层组成；
所述Softmax模式分类器包括：全连接层和Softmax函数；
当n＝1时，所述滚动轴承特征向量输入所述深度强化学习网络中，并经过所述Transformer-LSTM双分支异构网络中改进的Transformer网络分支，由第n个编码器的多头注意力机制层的处理后，得到第n个多头注意力机制特征矩阵Mn，再依次经过第一求和与归一化层、前馈卷积层、第二求和与归一化层的处理后，输出第n个归一化矩阵Zn；
当n＝2,3,…,N时，第n-1编码器输出的编码器特征矩阵Zn-1经过第n个编码器的处理后，输出第n个归一化矩阵Zn，从而由第N个编码器输出的第N个归一化矩阵Zn作为所述Transformer网络分支的输出；
所述单层的LSTM神经网络对Zn进行处理，得到隐藏状态矩阵h；
所述隐藏状态矩阵h输入到所述全连接层中进行特征提取和加权求和处理后得到故障分数；
所述故障分数经过所述Softmax函数的映射后得到故障概率；
步骤6、将所述Transformer-LSTM网络输出的隐藏状态矩阵h作为当前状态s，并输入所述强化学习网络中进行训练；
步骤6.1、定义动作空间集A，并将所述动作空间集A中任意一个动作a作为一种轴承故障类型；
步骤6.2、利用式(4)定义奖励函数reward(s,a)：
Figure FDA0003653898730000021
式(4)中，y∈[1,Y]表示任意一种轴承故障类型；
步骤6.2、利用式(5)得到动作空间集A中动作a下的动作价值函数Q(s,a；θ)：
Figure FDA0003653898730000031
式(5)中，θ为强化学习网络的权重系数，γ为折扣系数，且γ∈[0,1]，T表示预设的时间值，E表示期望；st表示t时刻的状态，at表示t时刻的动作；
步骤6.3、利用式(6)得到执行动作a后的目标Q值Qtarget：
Qtarget＝reward+γmaxQ(s′,a′；θ) (6)
式(6)中，s′为执行动作a后的下一个状态，a′为执行动作a后的下一个动作；
步骤6.4、利用式(7)建立损失函数Loss，并对强化学习网络进行反向传播，以更新网络参数，直到达到最大迭代次数为止，从而获得最优故障诊断分类识别模型；
Loss＝(Qtarget-Q(s,a；θ))2 (7)
步骤6.5、获取待预测的一维时间序列故障数据，并按照步骤2-步骤4的过程进行处理，得到待预测的滚动轴承特征向量，并输入所述最优故障诊断分类识别模型中，从而实现对待预测的滚动轴承特征向量的故障分类。
CN202210553427.9A 2022-05-20 2022-05-20 一种基于深度强化学习的滚动轴承故障类型识别方法 Active CN114896733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210553427.9A CN114896733B (zh) 2022-05-20 2022-05-20 一种基于深度强化学习的滚动轴承故障类型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210553427.9A CN114896733B (zh) 2022-05-20 2022-05-20 一种基于深度强化学习的滚动轴承故障类型识别方法

Publications (2)

Publication Number Publication Date
CN114896733A true CN114896733A (zh) 2022-08-12
CN114896733B CN114896733B (zh) 2024-02-13

Family

ID=82724133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210553427.9A Active CN114896733B (zh) 2022-05-20 2022-05-20 一种基于深度强化学习的滚动轴承故障类型识别方法

Country Status (1)

Country Link
CN (1) CN114896733B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091842A (zh) * 2023-02-23 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质
CN117592975A (zh) * 2024-01-18 2024-02-23 山东通维信息工程有限公司 基于云计算的高速公路机电设备运维决策处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577747A (zh) * 2020-12-07 2021-03-30 东南大学 一种基于空间池化网络的滚动轴承故障诊断方法
CN113191215A (zh) * 2021-04-12 2021-07-30 西安理工大学 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
KR20210124783A (ko) * 2020-04-07 2021-10-15 주식회사 원프레딕트 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치
WO2022077901A1 (zh) * 2020-10-13 2022-04-21 同济大学 一种面向小样本数据集的轴承故障模式诊断方法及系统
CN114494222A (zh) * 2022-02-09 2022-05-13 西安科技大学 基于Vision Transformer的滚动轴承故障智能识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210124783A (ko) * 2020-04-07 2021-10-15 주식회사 원프레딕트 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치
WO2022077901A1 (zh) * 2020-10-13 2022-04-21 同济大学 一种面向小样本数据集的轴承故障模式诊断方法及系统
CN112577747A (zh) * 2020-12-07 2021-03-30 东南大学 一种基于空间池化网络的滚动轴承故障诊断方法
CN113191215A (zh) * 2021-04-12 2021-07-30 西安理工大学 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN114494222A (zh) * 2022-02-09 2022-05-13 西安科技大学 基于Vision Transformer的滚动轴承故障智能识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宫文峰;陈辉;张泽辉;张美玲;管聪;王鑫;: "基于改进卷积神经网络的滚动轴承智能故障诊断研究", 振动工程学报, no. 02 *
王太勇;王廷虎;王鹏;乔卉卉;徐明达;: "基于注意力机制BiLSTM的设备智能故障诊断方法", 天津大学学报(自然科学与工程技术版), no. 06 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091842A (zh) * 2023-02-23 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质
CN116091842B (zh) * 2023-02-23 2023-10-27 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质
CN117592975A (zh) * 2024-01-18 2024-02-23 山东通维信息工程有限公司 基于云计算的高速公路机电设备运维决策处理方法及系统

Also Published As

Publication number Publication date
CN114896733B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN114896733A (zh) 一种基于深度强化学习的滚动轴承故障类型识别方法
WO2022077901A1 (zh) 一种面向小样本数据集的轴承故障模式诊断方法及系统
Han et al. An enhanced convolutional neural network with enlarged receptive fields for fault diagnosis of planetary gearboxes
CN109765053B (zh) 利用卷积神经网络和峭度指标的滚动轴承故障诊断方法
CN113392881B (zh) 一种基于迁移学习的旋转机械故障诊断方法
CN114494222B (zh) 基于Vision Transformer的滚动轴承故障智能识别方法
CN113706545B (zh) 一种基于双分支神经判别降维的半监督图像分割方法
CN112488179A (zh) 一种基于gru的旋转机械故障诊断方法
CN113988449A (zh) 基于Transformer模型的风电功率预测方法
CN117273203A (zh) 一种基于GAT-Transformer时间序列模型的水质预测方法与系统
CN111160428A (zh) 基于cnn-svm算法蔬菜自动识别方法
Cheng et al. MMFSL: A Novel Multimodal Few-Shot Learning Framework for Fault Diagnosis of Industrial Bearings
CN116383757B (zh) 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN117330314A (zh) 一种基于二维灰度图和Swin-Transformer的轴承故障诊断方法
CN116843057A (zh) 基于LSTM-ViT的风电功率超短期预测方法
CN114980723B (zh) 一种用于跨工况贴片机吸嘴的故障预测方法、系统
CN115375729A (zh) 基于深度脉冲神经网络的单目标短程跟踪方法及装置
CN116610940A (zh) 一种基于小波变换与深度神经网络的装备故障诊断系统
CN114297795A (zh) 一种基于PR-Trans的机械设备剩余寿命预测方法
CN115640531A (zh) 一种基于残差学习与注意力机制融合的故障诊断方法
Shi et al. Fault Detection in Nuclear Power Plants using Deep Leaning based Image Classification with Imaged Time-series Data
CN112016684B (zh) 一种深度并行柔性发射网络的电力终端指纹识别方法
CN115221916A (zh) 基于改进gaf及sa的cnn滚动轴承故障诊断方法
Shang et al. Varying speed bearing fault diagnosis based on synchroextracting transform and deep residual network
CN117019883B (zh) 一种基于深度学习的带材轧制过程板形预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant