CN115270882A - 基于神经常微分方程的轻量化智能故障诊断方法及系统 - Google Patents

基于神经常微分方程的轻量化智能故障诊断方法及系统 Download PDF

Info

Publication number
CN115270882A
CN115270882A CN202210917458.8A CN202210917458A CN115270882A CN 115270882 A CN115270882 A CN 115270882A CN 202210917458 A CN202210917458 A CN 202210917458A CN 115270882 A CN115270882 A CN 115270882A
Authority
CN
China
Prior art keywords
fault diagnosis
global feature
fault
differential equation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210917458.8A
Other languages
English (en)
Inventor
乐心怡
庞栋
袁建军
刘碧珊
王昶茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Shanghai Robot Industrial Technology Research Institute Co Ltd
Original Assignee
Shanghai Jiaotong University
Shanghai Robot Industrial Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Shanghai Robot Industrial Technology Research Institute Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202210917458.8A priority Critical patent/CN115270882A/zh
Publication of CN115270882A publication Critical patent/CN115270882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种基于神经常微分方程的轻量化智能故障诊断方法及系统，涉及故障诊断技术领域，包括：利用工业振动传感器采集的时序数据进行旋转机械设备的智能故障诊断，使用多层感知机对传感器数据进行去噪与局部故障特征提取，基于神经常微分方程与门控循环单元网络对时序的局部故障特征进行微分动力学拟合与全局故障特征提取，通过特征解码器输出故障诊断结果。本发明利用对偶灵敏度法进行反向梯度的训练，大大减少模型的参数量和计算量，从而构建更加轻量化的故障诊断模型；通过门控循环单元与神经常微分方程相结合，针对工业振动信号的连续时间特性构建全局特征编码器，更加精细地提取故障的时序信息和动力学特征，提升故障诊断的准确率。

Description

基于神经常微分方程的轻量化智能故障诊断方法及系统
技术领域
本发明涉及故障诊断技术领域，具体地，涉及一种基于神经常微分方程的轻量化智能故障诊断方法及系统。
背景技术
当前工业智能故障诊断技术大多基于传统的深度学习模型，与本申请最接近的方法主要有基于卷积神经网络的故障诊断方法和基于稀疏自编码器的故障诊断方法，如下：
[1]Y.Yuan,G.Ma,C.Cheng,B.Zhou,H.Zhao,H.-T.Zhang,and H.Ding,“A generalend-to-end diagnosis framework for manufacturing systems,”National ScienceReview,vol.7,no.2,pp.418–429,2020.
[2]J.Qian,L.Jiang,and Z.Song,“Locally linear back-propagation basedcontribution for nonlinear process fault diagnosis,”IEEE/CAA Journal ofAutomatica Sinica,vol.7,no.3,pp.764–775,2020.
其缺点为：1、采用传统的深度学习模型进行故障特征提取，缺乏针对实际工业故障诊断需求的轻量化设计，模型参数量与计算量大，难以在实际工业产线中部署与高效运行；2、没有针对工业振动信号的时序特性进行模型优化，难以实现连续时间序列数据的精确建模与特征提取，限制了故障诊断模型的故障识别能力。
发明内容
针对现有技术中的缺陷，本发明提供一种基于神经常微分方程的轻量化智能故障诊断方法及系统。
根据本发明提供的一种基于神经常微分方程的轻量化智能故障诊断方法及系统，所述方案如下：
第一方面，提供了一种基于神经常微分方程的轻量化智能故障诊断方法，所述方法包括：
传感数据采集及预处理步骤：针对不同故障诊断任务的应用场景，收集振动数据，组成原始数据样本，对于每个原始数据样本进行故障类型标注，以构建训练数据集；
局部特征提取模块步骤：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；构建局部特征提取器，将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理；
全局特征提取及故障映射步骤：基于神经常微分方程模型和门控循环单元网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器；
训练步骤：由前述局部特征提取模块步骤与全局特征提取及故障映射步骤共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的；
推断步骤：将训练好的故障诊断模型应用于实际的故障诊断场景；通过传感数据采集及预处理步骤得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即能够得到故障诊断结果。
优选地，所述传感数据采集及预处理步骤具体包括：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；
根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
优选地，所述局部特征提取模块具体包括：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
优选地，所述全局特征提取及故障映射步骤还包括：全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量；
全局特征编码器的计算过程如下：
Figure BDA0003776316040000031
Figure BDA0003776316040000032
Figure BDA0003776316040000033
Figure BDA0003776316040000034
Figure BDA0003776316040000035
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure BDA0003776316040000036
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，以及偏置参数；⊙代表Hadamard乘积运算；
最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
优选地，所述训练步骤还包括：对于全局特征编码器中的神经常微分方程部分，采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；计算过程如下：
Figure BDA0003776316040000037
Figure BDA0003776316040000038
Figure BDA0003776316040000039
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure BDA00037763160400000310
为训练神经常微分方程所需的梯度；
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他步骤，采用常规的反向传播算法或按时间展开的反向传播算法进行训练，损失函数则根据具体的故障诊断任务而定。
第二方面，提供了一种基于神经常微分方程的轻量化智能故障诊断系统，所述系统包括：
传感数据采集及预处理模块：针对不同故障诊断任务的应用场景，收集振动数据，组成原始数据样本，对于每个原始数据样本进行故障类型标注，以构建训练数据集；
局部特征提取模块：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；构建局部特征提取器，将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理；
全局特征提取及故障映射模块：基于神经常微分方程模型和门控循环单元网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器；
训练模块：由前述局部特征提取模块与全局特征提取及故障映射模块共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的；
推断模块：将训练好的故障诊断模型应用于实际的故障诊断场景；通过传感数据采集及预处理模块得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即能够得到故障诊断结果。
优选地，所述传感数据采集及预处理模块具体包括：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；
根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
优选地，所述局部特征提取模块具体包括：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
优选地，所述全局特征提取及故障映射模块还包括：全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量；
全局特征编码器的计算过程如下：
Figure BDA0003776316040000051
Figure BDA0003776316040000052
Figure BDA0003776316040000053
Figure BDA0003776316040000054
Figure BDA0003776316040000055
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure BDA0003776316040000056
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，以及偏置参数；⊙代表Hadamard乘积运算；
最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
优选地，所述训练模块还包括：对于全局特征编码器中的神经常微分方程部分，采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；计算过程如下：
Figure BDA0003776316040000057
Figure BDA0003776316040000058
Figure BDA0003776316040000059
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure BDA00037763160400000510
为训练神经常微分方程所需的梯度；
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他模块，采用常规的反向传播算法或按时间展开的反向传播算法进行训练，损失函数则根据具体的故障诊断任务而定。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用多层感知机构建的局部特征提取器，对原始的振动传感器信号进行噪声抑制和局部窗口时间特征提取，解决了从原始信号中直接进行故障识别所存在的高频、高噪声、统计特征不明显的问题；
2、本发明通过采用对偶灵敏度法计算反向梯度，避免了中间状态的存储，实现了轻量化的全局特征编码器，解决了依赖传统深度学习的故障诊断方法高显存占用、高计算资源需求的问题，更加具有工业应用价值；
3、本发明通过采用神经常微分方程对于故障特征隐状态的动力学进行拟合，能够更好地挖掘连续时间下的故障特征，同时，结合门控循环单元网络进行长期时序特征的提取，实现了对全局故障信息的精细化学习，解决了传统故障诊断模型只能提取离散时间故障特征的问题，提升了故障诊断准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于神经常微分方程的故障诊断网络模型流程图；
图2为基于神经常微分方程与门控循环单元的全局特征编码器结构。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于神经常微分方程的轻量化智能故障诊断方法，参照图1和图2所示，该方法具体包括：
传感数据采集及预处理步骤：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
局部特征提取模块步骤：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
全局特征提取及故障映射步骤：基于神经常微分方程(NODE)模型和门控循环单元(GRU)网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器。全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量。全局特征编码器的计算过程如下：
Figure BDA0003776316040000071
Figure BDA0003776316040000072
Figure BDA0003776316040000073
Figure BDA0003776316040000074
Figure BDA0003776316040000075
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure BDA0003776316040000076
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，以及偏置参数；⊙代表Hadamard乘积运算；
最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
训练步骤：由前述局部特征提取模块步骤与全局特征提取及故障映射步骤共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的。对于全局特征编码器中的神经常微分方程部分，我们采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；该方法不需存储中间状态，可节省大量GPU显存，其解析形式的计算过程如下：
Figure BDA0003776316040000081
Figure BDA0003776316040000082
Figure BDA0003776316040000083
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure BDA0003776316040000084
为训练神经常微分方程所需的梯度。
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他步骤，采用常规的反向传播算法或按时间展开的反向传播算法进行训练。损失函数则根据具体的故障诊断任务而定，例如对于故障分类任务，可采用交叉熵损失加上相应的正则化项作为损失函数，通过训练即可得到可应用的故障诊断模型。
推断步骤：将训练好的故障诊断模型应用于实际的故障诊断场景。通过传感数据采集及预处理步骤得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即可得到故障诊断结果。
本发明还提供了一种基于神经常微分方程的轻量化智能故障诊断系统，包括：
传感数据采集及预处理模块：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
局部特征提取模块：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
全局特征提取及故障映射模块：基于神经常微分方程(NODE)模型和门控循环单元(GRU)网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器。全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量。全局特征编码器的计算过程如下：
Figure BDA0003776316040000091
Figure BDA0003776316040000092
Figure BDA0003776316040000093
Figure BDA0003776316040000094
Figure BDA0003776316040000095
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure BDA0003776316040000096
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，以及偏置参数；⊙代表Hadamard乘积运算；最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
训练模块：由前述局部特征提取模块与全局特征提取及故障映射模块共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的。对于全局特征编码器中的神经常微分方程部分，我们采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；该方法不需存储中间状态，可节省大量GPU显存，其解析形式的计算过程如下：
Figure BDA0003776316040000097
Figure BDA0003776316040000098
Figure BDA0003776316040000099
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure BDA00037763160400000910
为训练神经常微分方程所需的梯度。
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他模块，采用常规的反向传播算法或按时间展开的反向传播算法进行训练。损失函数则根据具体的故障诊断任务而定，例如对于故障分类任务，可采用交叉熵损失加上相应的正则化项作为损失函数，通过训练即可得到可应用的故障诊断模型。
推断模块：将训练好的故障诊断模型应用于实际的故障诊断场景；通过传感数据采集及预处理模块得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即可得到故障诊断结果。
本发明实施例提供了一种基于神经常微分方程的轻量化智能故障诊断方法及系统，采用神经常微分方程模型进行故障特征提取，利用对偶灵敏度法进行反向梯度的训练，大大减少了模型的参数量和计算量，从而构建了更加轻量化的故障诊断模型；通过门控循环单元与神经常微分方程相结合，针对工业振动信号的连续时间特性构建全局特征编码器，更加精细地提取故障的时序信息和动力学特征，提升了故障诊断的准确率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于神经常微分方程的轻量化智能故障诊断方法，其特征在于，包括：
传感数据采集及预处理步骤：针对不同故障诊断任务的应用场景，收集振动数据，组成原始数据样本，对于每个原始数据样本进行故障类型标注，以构建训练数据集；
局部特征提取模块步骤：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；构建局部特征提取器，将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理；
全局特征提取及故障映射步骤：基于神经常微分方程模型和门控循环单元网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器；
训练步骤：由前述局部特征提取模块步骤与全局特征提取及故障映射步骤共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的；
推断步骤：将训练好的故障诊断模型应用于实际的故障诊断场景；通过传感数据采集及预处理步骤得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即能够得到故障诊断结果。
2.根据权利要求1所述的基于神经常微分方程的轻量化智能故障诊断方法，其特征在于，所述传感数据采集及预处理步骤具体包括：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；
根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
3.根据权利要求1所述的基于神经常微分方程的轻量化智能故障诊断方法，其特征在于，所述局部特征提取模块具体包括：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
4.根据权利要求1所述的基于神经常微分方程的轻量化智能故障诊断方法，其特征在于，所述全局特征提取及故障映射步骤还包括：全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量；
全局特征编码器的计算过程如下：
Figure FDA0003776316030000021
Figure FDA0003776316030000022
Figure FDA0003776316030000023
Figure FDA0003776316030000024
Figure FDA0003776316030000025
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure FDA0003776316030000026
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b分别代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，偏置参数；⊙代表Hadamard乘积运算；
最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
5.根据权利要求1所述的基于神经常微分方程的轻量化智能故障诊断方法，其特征在于，所述训练步骤还包括：对于全局特征编码器中的神经常微分方程部分，采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；计算过程如下：
Figure FDA0003776316030000027
Figure FDA0003776316030000028
Figure FDA0003776316030000029
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure FDA00037763160300000210
为训练神经常微分方程所需的梯度；
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他步骤，采用常规的反向传播算法或按时间展开的反向传播算法进行训练，损失函数则根据具体的故障诊断任务而定。
6.一种基于神经常微分方程的轻量化智能故障诊断系统，其特征在于，包括：
传感数据采集及预处理模块：针对不同故障诊断任务的应用场景，收集振动数据，组成原始数据样本，对于每个原始数据样本进行故障类型标注，以构建训练数据集；
局部特征提取模块：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；构建局部特征提取器，将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理；
全局特征提取及故障映射模块：基于神经常微分方程模型和门控循环单元网络构建提取全局特征编码器，基于多层感知机模型构建故障映射解码器；
训练模块：由前述局部特征提取模块与全局特征提取及故障映射模块共同构建故障诊断网络，将训练数据集中的样本输入到故障诊断网络中进行前向传播，利用标签数据对该网络进行监督训练，整个网络模型的训练均是端到端的；
推断模块：将训练好的故障诊断模型应用于实际的故障诊断场景；通过传感数据采集及预处理模块得到的待检测数据，依据相应规则输入到训练好的故障诊断模型中，通过前向传播进行推断，即能够得到故障诊断结果。
7.根据权利要求6所述的基于神经常微分方程的轻量化智能故障诊断系统，其特征在于，所述传感数据采集及预处理模块具体包括：针对不同故障诊断任务的应用场景，将工业振动传感器布置于待检测设备的合理位置，以收集振动数据；
根据传感器采样频率及收集到的数据量划分数据样本长度，确保每个数据样本覆盖至少一个振动周期的数据；对于每个原始数据样本进行故障类型标注，以构建训练数据集。
8.根据权利要求6所述的基于神经常微分方程的轻量化智能故障诊断系统，其特征在于，所述局部特征提取模块具体包括：根据具体应用场景，将训练数据集的每个原始数据样本按时序划分为若干时间窗口；利用多层感知构建局部特征提取器，输入一个时间窗口内的样本数据，输出该时间窗口数据局部特征的提取值；将所有时间窗口的局部特征提取串联为一个降维的全局特征序列，以供进一步处理。
9.根据权利要求6所述的基于神经常微分方程的轻量化智能故障诊断系统，其特征在于，所述全局特征提取及故障映射模块还包括：全局特征编码器通过门控循环单元接收时序的全局特征序列，以捕捉该样本的长期时间依赖；通过神经常微分方程模型拟合全局特征序列相邻时间步之间的动力学函数，已提取更加精细的连续时间特征；最终输出经过编码的全局特征张量；
全局特征编码器的计算过程如下：
Figure FDA0003776316030000041
Figure FDA0003776316030000042
Figure FDA0003776316030000043
Figure FDA0003776316030000044
Figure FDA0003776316030000045
其中，i代表全局特征序列中第i个局部特征的索引；hi代表循环神经网络中的隐状态；
Figure FDA0003776316030000046
表示经神经常微分方程求解后的隐状态；ti表示第i个时间步；f(ht；θ)代表神经常微分方程的动力学函数；用θ参数化的神经网络来表征该动力学函数；z,r,n表示门控循环单元中的三种门控变量；W,U,b代表门控循环单元中对应于输入特征的权重参数，对应于隐状态特征的权重参数，偏置参数；⊙代表Hadamard乘积运算；
最后一个时间步的隐状态即为所提取的全局特征编码向量；而后，故障映射解码器对全局特征向量进行解码，映射到故障类型空间，并输出故障诊断结果。
10.根据权利要求6所述的基于神经常微分方程的轻量化智能故障诊断系统，其特征在于，所述训练模块还包括：对于全局特征编码器中的神经常微分方程部分，采用对偶灵敏度法计算反向传播梯度，从而对参数进行训练；计算过程如下：
Figure FDA0003776316030000047
Figure FDA0003776316030000048
Figure FDA0003776316030000049
其中，h(t0)表示初始时刻的隐状态；λ表示辅助运算的协态变量；λ(t0)表示初始时刻的协态变量；L表示损失函数；
Figure FDA00037763160300000410
为训练神经常微分方程所需的梯度；
通过基于梯度的优化方法即能对参数进行训练；对于故障诊断网络中的其他模块，采用常规的反向传播算法或按时间展开的反向传播算法进行训练，损失函数则根据具体的故障诊断任务而定。
CN202210917458.8A 2022-08-01 2022-08-01 基于神经常微分方程的轻量化智能故障诊断方法及系统 Pending CN115270882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210917458.8A CN115270882A (zh) 2022-08-01 2022-08-01 基于神经常微分方程的轻量化智能故障诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210917458.8A CN115270882A (zh) 2022-08-01 2022-08-01 基于神经常微分方程的轻量化智能故障诊断方法及系统

Publications (1)

Publication Number Publication Date
CN115270882A true CN115270882A (zh) 2022-11-01

Family

ID=83748023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210917458.8A Pending CN115270882A (zh) 2022-08-01 2022-08-01 基于神经常微分方程的轻量化智能故障诊断方法及系统

Country Status (1)

Country Link
CN (1) CN115270882A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283817A (zh) * 2021-12-27 2022-04-05 思必驰科技股份有限公司 说话人验证方法及系统
CN115526215A (zh) * 2022-11-24 2022-12-27 光微半导体(吉林)有限公司 一种胶泵故障诊断维护分析优化方法及系统
CN118133892A (zh) * 2024-03-15 2024-06-04 南通大学 一种基于自注意力和神经微分方程的故障检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283817A (zh) * 2021-12-27 2022-04-05 思必驰科技股份有限公司 说话人验证方法及系统
CN114283817B (zh) * 2021-12-27 2024-08-23 思必驰科技股份有限公司 说话人验证方法及系统
CN115526215A (zh) * 2022-11-24 2022-12-27 光微半导体(吉林)有限公司 一种胶泵故障诊断维护分析优化方法及系统
CN118133892A (zh) * 2024-03-15 2024-06-04 南通大学 一种基于自注意力和神经微分方程的故障检测方法及系统

Similar Documents

Publication Publication Date Title
Ullah et al. Stacked lstm network for human activity recognition using smartphone data
CN115270882A (zh) 基于神经常微分方程的轻量化智能故障诊断方法及系统
CN110377984B (zh) 一种工业设备剩余有效寿命预测方法、系统及电子设备
CN111079658B (zh) 基于视频的多目标连续行为分析方法、系统、装置
CN107810508A (zh) 根据传感器数据推导运动行为
CN106407903A (zh) 基于多尺度卷积神经网络的实时人体异常行为识别方法
CN114220271A (zh) 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质
CN107092894A (zh) 一种基于lstm模型的运动行为识别方法
CN104281853A (zh) 一种基于3d卷积神经网络的行为识别方法
CN113705915A (zh) 一种基于cnn-lstm-arima组合短期电力负荷预测方法
CN114565187B (zh) 一种基于图时空自编码网络的交通路网数据预测方法
CN107704924B (zh) 同步自适应时空特征表达学习模型的构建方法及相关方法
CN116524361A (zh) 基于双孪生分支的遥感图像变化检测网络及检测方法
CN106709588A (zh) 预测模型构建方法和设备以及实时预测方法和设备
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN115329853B (zh) 一种基于多源域迁移的装备参数预测与知识转移方法
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及系统
CN114444561A (zh) 基于CNNs-GRU融合深度学习模型的PM2.5预测方法
CN114863572B (zh) 一种多通道异构传感器的肌电手势识别方法
CN116842379A (zh) 一种基于DRSN-CS和BiGRU+MLP模型的机械轴承剩余使用寿命预测方法
CN112861931A (zh) 一种基于差异注意力神经网络的多级别变化检测方法
CN113642255A (zh) 基于多尺度卷积循环神经网络的光伏发电功率预测方法
CN117975002A (zh) 一种基于多尺度伪标签融合的弱监督图像分割方法
CN110222610A (zh) 一种信号分类的方法及装置
Pei et al. State recognition and temperature rise time prediction of tobacco curing using multi-sensor data-fusion method based on feature impact factor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination