CN114139598A - 基于深度代价敏感卷积网络的故障诊断方法及诊断框架 - Google Patents
基于深度代价敏感卷积网络的故障诊断方法及诊断框架 Download PDFInfo
- Publication number
- CN114139598A CN114139598A CN202111212260.1A CN202111212260A CN114139598A CN 114139598 A CN114139598 A CN 114139598A CN 202111212260 A CN202111212260 A CN 202111212260A CN 114139598 A CN114139598 A CN 114139598A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- fault diagnosis
- domain
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了基于深度代价敏感卷积网络的故障诊断方法及诊断框架,通过建立健康状识别模块,对基于标签预测损失函数和代价敏感分类损失函数训练网络,为各类别数据分配不同程度的误分类惩罚,最小化分类误差以解决数据不平衡的问题。并且结合自适应模块,以领域对抗损失函数和距离度量损失函数训练网络,最小化源域和目标域的分布差异,混淆域间差异。同时强调源域和目标域具有相关联的一部分的潜在特征,使得两个域的分布近似,促进深度代价敏感卷积网络的智能故障诊断,解决未标签不平衡数据在诊断过程中造成的负面影响的问题。
Description
技术领域
本发明涉及基于迁移学习的故障诊断技术领域,更具体地,涉及基于深度代价敏感卷积网络的故障诊断方法及诊断框架。
背景技术
目前研究数据驱动的机器故障诊断模型是通过研究监督训练数据的统计数据来建立的,因此,故障诊断方法的有效性在很大程度上取决于训练数据的质量和数量。在CN201910142412.1基于迁移卷积神经网络的机械故障诊断方法、设备及介质公开通过设计多种试验装备做实验,采集多种工况下的数据,按一定的数据点长度截取获得大量的样本集。但是,在实际的机器运行情况下,很难获取大量标记的数据,即使获取到有标记数据,也可能由于数据分布差异,而无法对其他工况下运行获得的未标记数据进行分类,难以符合上述的条件。并且,在实际的机器运行条件下,还存在故障发生的频率非常低,收集故障数据困难且成本高的问题,因此获得的数据严重不平衡是一个常见的问题。而收集的数据样本质量和分布情况直接影响了是否能生成高质量样本这一关键问题。所以当目标数据是从不同工况下获得的未标签数据集,且存在数据不平衡时,将导致测试样本泛化程度严重下降,这对数据驱动的故障诊断模型产生了负面影响。
发明内容
本发明要解决的技术问题是针对目标数据是从不同工况下获得的未标签数据集存在数据不平衡时,导致测试样本泛化程度严重下降的不足,提供一种基于深度代价敏感卷积网络的故障诊断方法。
本发明要解决的另一技术问题是提供故障诊断框架。
本发明的目的通过以下技术方案予以实现:
一种基于深度代价敏感卷积网络的故障诊断方法,包括以下步骤:
S1.采集数据集,并对数据集进行数据归一化预处理;
S2.将预处理的数据集输入至特征表示网络进行特征提取和权重分配,以获取预训练模型;
S3.将目标域数据输入至预训练模型提取特征,对提取的特征和学习到的知识标签预测和代价敏感分类:
所述标签预测(Lc)为
所述代价敏感分类(Lcs)为
S4.对经过S3处理的特征输入基于领域对抗损失函数和距离度量损失函数的训练训练函数中,减小源域和目标域的分布差异。
进一步地,所述特征表示网络包括卷积神经网络(CNN)和注意力机制网络(SENet),卷积神经网络(CNN)进行特征提取,注意力机制网络(SENet)进行特征权重的校准分配。
进一步地,所述卷积神经网络(CNN)进行特征提取步骤包括:
进一步地,所述注意力机制网络(SENet)进行特征权重的校准分配的步骤包括:
S21.输入经转换得到三维矩阵U,即C个大小为H×W的特征图,将U的每个特征图,利用全局平均池化进行压缩,生成数据的全局感受野,计算如下:
uc表示U中第c个二维矩阵,Feq(·)为压缩操作;
S22.对压缩后的特征降维以及升维,即激励操作Fex(·),得到原始数据的一维数列,至此为每个特征通道生成权重,计算如下:
δ为Sigmoid激活函数,σ为ReLu激活函数,W1z为全连接操作,W1的维度为(C/r)×C,W2的维度为C×(C/r),r是一个缩放参数,s表示U中C个特征图的权重;
S23.将一维数列作为sc再与第三层Conv1d后的多个特征图进行对应通道乘积,即点积操作Fscale(·),实现有选择增强有益特征通道并抑制无用特征通道权重的目的,操作计算如下:
进一步地,所述领域对抗损失函数为
进一步地,所述距离度量损失函数为
式中:||·||H是再生核希尔伯特空间(RKHS),φ(·)表示到RKHS的映射,其中和分别为源域全连接层和目标域全连接层的概率分布,L是更高的网络层的集合,|L|是对应集中的层数,zsl表示源域生成的第l层的激活,ztl表示目标域生成的第l层的激活。
进一步地,所述训练函数计算如下:
Lall=Lcs+Ladv+λdisLdis
式中,λdis是总损失中的权衡参数。
根据上述基于深度代价敏感卷积网络的故障诊断方法提供故障诊断框架,所述智能故障诊断框架包括数据采集模块、预处理模块、特征表示模块和健康状况识别模块,
数据采集模块,采集数据并将数据划分为不平衡的源域和目标域数据集。
预处理模块,将输入的原始数据集进行数据归一化处理,消除量纲影响。
特征表示模块,对预处理后的源域数据进行特征提取和权重分配,获取预训练模型,通过预训练模型获得目标域数据的特征表示。
健康状况识别模块,对目标域数据的特征进行诊断。
进一步地,所述智能故障诊断框架还包括领域自适应模块,利用健康状况识别模块领域结合自适应模块协同推断,指导网络学习数据固有特征,以获取最优模型。
进一步地,所述领域自适应模块随机梯度下降(Adam)优化算法,优化每个小批量的参数,通过迭代,直到到达收敛。
与现有技术相比,有益效果是:
本发明所述不平衡数据故障诊断框架,设计了健康状况识别和领域自适应两个重要模块,通过构建标签预测项与代价敏感分类项相结合作为健康状况识别的损失函数和对抗损失和距离度量损失作为领域自适应的损失函数为联合约束损失函数,最小化源域和目标域的分布差异,混淆域间差异,同时强调源域和目标域具有相关联的一部分的潜在特征,使得两个域的分布近似,促进深度代价敏感卷积网络的智能故障诊断。并且通过Adam优化用于指导网络学习数据固有特征,以获取最优模型,解决未标签不平衡数据在诊断过程中造成的负面影响,有效地对不同情况的数据分布进行分类,促进无标记机器数据的智能故障诊断的成功应用。
附图说明
图1为基于深度代价敏感卷积网络的智能故障诊断方法整体框架图;
图2为迁移学习方法;
图3为网络健康状况识别结构设置;
图4为领域对抗结构设置;
图5为网络和对比网络在验证集上的不同不平衡数据组的点线图;
图6为网络在不同消融研究中的混淆矩阵图。
具体实施方式
下面结合实施例进一步解释和阐明,但具体实施例并不对本发明有任何形式的限定。若未特别指明,实施例中所用的方法和设备为本领常规方法和设备,所用原料均为常规市售原料。
实施例1
本实施例提供一种故障诊断框架,包括
数据采集模块,采集数据并将数据划分为不平衡的源域和目标域数据集。
预处理模块,将原始数据集进行数据归一化处理,消除量纲影响。
特征表示模块,对预处理后的源域数据进行特征提取和权重分配,获取预训练模型,通过预训练模型获得目标域数据的特征表示。
健康状况识别模块,对目标域数据的特征进行诊断。
自适应模块,结合健康状况识别模块协同推断,指导网络学习数据固有特征,以获取最优模型。
所述采用Adam优化器的随机梯度下降算法优化每个小批量的参数,通过迭代,直到到达收敛,实现神经网络的全局优化。
实施例2
本实施提供基于深度代价敏感卷积网络的故障诊断方法,步骤包括:
S1.通过机械设备采集训练数据集、测试数据集,并对采集的数据集进行数据归一化预处理,以消除量纲影响。
S2.将预处理的数据集输入至特征表示网络进行特征提取和权重分配,以获取预训练模型:
S21.采用卷积神经网络(CNN)进行特征提取
S22.将CNN层的输出作为SENet的输入,采用注意力机制网络(SENet)进行特征权重的校准分配
S221.输入经转换得到三维矩阵U,即C个大小为H×W的特征图,将U的每个特征图,利用全局平均池化进行压缩,生成数据的全局感受野,计算如下:
uc表示U中第c个二维矩阵,Feq(·)为压缩操作;
S222.对压缩后的特征降维以及升维,即激励操作Fex(·),得到原始数据的一维数列,至此为每个特征通道生成权重,计算如下:
δ为Sigmoid激活函数,σ为ReLu激活函数,W1z为全连接操作,W1的维度为(C/r)×C,W2的维度为C×(C/r),r是一个缩放参数,s表示U中C个特征图的权重;
S223.将一维数列作为sc再与第三层Conv1d后的多个特征图进行对应通道乘积,即点积操作Fscale(·),实现有选择增强有益特征通道并抑制无用特征通道权重的目的,操作计算如下:
S224.经过以上运算后,输入的原始振动信号被映射到特征图中。然后,完全连接的层FC将SENet层学习到的特征映射到样本的标记空间,再输入到其他模块中。
S3.将目标域数据输入至预训练模型提取特征,输入到健康状况识别模块,对提取的特征和学习到的知识标签预测和代价敏感分类:
所述标签预测(Lc)为
所述代价敏感分类(Lcs)为
S4.结合领域自适应模块,对经过S3处理的特征输入基于领域对抗损失函数和距离度量损失函数的训练训练函数中协同推断,减小源域和目标域的分布差异。
其中,所述领域对抗损失函数为
所述距离度量损失函数为
式中:||·||H是再生核希尔伯特空间(RKHS),φ(·)表示到RKHS的映射,其中和分别为源域全连接层和目标域全连接层的概率分布,L是更高的网络层的集合,|L|是对应集中的层数,zsl表示源域生成的第l层的激活,ztl表示目标域生成的第l层的激活。
通过DCSCN网络Lall(θv)、健康状态分类Lcs(θg,θf)、领域对抗Ladv(θd1,θf)和距离度量Ldis(θd2,θf)进行整合,联合最小化分类损失、最大化领域对抗性损失和最小化距离损失,实现学习高级特征和最优的故障分类的过程,所述训练函数计算如下:
Lall=Lcs+Ladv+λdisLdis
式中,λdis是总损失中的权衡参数。
实验例
为验证所提模型的优越性以及模型的泛化性能,在三个电机轴承测试数据集上进行实验。其中三个数据集中,CWRU数据集由凯斯西储大学轴承数据中心提供,JNU数据集是由中国江南大学获取的方位数据集,本文从帕德博恩大学获得数据集PU。
本发明各自选取三个轴承数据四种不同的工作状态类别:正常(N)、内圈故障(IF)、外圈故障(OF)和滚动体故障(RF),以及获取不同工况下的数据。设置训练样本比例占总样本的0.8,比例为0.2的相应数据集进行测试,样本长度为1024。如表1所示,其中,任务A和任务B是两种不同转速工况下的数据情况。
表1
为验证本发明的有效性和网络的泛化性能,设计了无迁移的CNN、联合分布的最大均值差异(JMMD)、领域对抗的DANN、深度卷积迁移网络(DCTLN)、深度代价敏感卷积网络(DCSCN)的对比实验,在数据集N=F1=F2=F3=4000来均衡四种类别的样本数量下进行实验,结果如表2所示。其中,任务A→B表示在其他运行条件相同的时,利用任务A工况下的数据作为源域数据,迁移至任务B工况下的目标域数据,反之。
表2 实验1-对比、泛化实验结果
由表2结果可知,本发明相较于其他模型结果相持平或是要明显优于其他模型,验证本发明的有效性和优越性,具有良好的泛化能力。
此外,根据实际应用场景,为验证模型在数据不平衡情况下的分类性能,设置不同不平衡率数据的验证实验,所用数据来自PU的加速寿命试验产生的数据集,除数据分布以外的参数同实验1对应,数据分布如表3所示。同时,针对不同的对比模型进行了验证,对比实验结果可见表4。
表3 不平衡数据组
表4 实验2-数据不平衡实验结果
方法 | 情况1 | 情况2 | 情况3 | 情况4 |
CNN | 0.8856 | 0.8617 | 0.8552 | 0.8621 |
JAN | 0.9303 | 0.9772 | 0.9752 | 0.9685 |
DANN | 0.9279 | 0.9533 | 0.9322 | 0.9203 |
DCTLN | 0.8878 | 0.9198 | 0.9192 | 0.9165 |
DCSCN | 0.9669 | 0.9812 | 0.9793 | 0.9610 |
如表4所示,尽管多数类样本所占比例逐渐增大,DCSCN方法在各实验中的分类准确率都比其他方法要高得多,证明DCSCN在保证整体样本较高准确率的同时,也能实现少数类别较高的准确率,解决了机械故障诊断中识别少数故障类型的关键问题。
此外,如图5所示的可视化模型验证过程。为了验证模型和损失函数设计的合理性,因此本节采用消融研究的方式来对模型进行定量分析,实验3的验证数据设置为平衡状态下的PU数据集,实验结果如表5所示。
表5 实验3-消融研究结果
由表5中的损失函数消融研究结果可知,在平衡的PU数据实验下,单独的代价损失(Lcs)的缺少也对网络产生了一定的负面影响,这是由于基本的标签预测损失对底层特征不敏感导致的;单独的对抗损失(Ladv),和度量损失(Ldis)的缺失导致网络分类效果下降,且影响效果相当,原因是两者都具有捕获模态不变性的效果,在本文的问题背景下,缺少一个都对网络有影响;同时缺少Lcs、Ladv和Ldis的时候,网络推断性能明显地下降了8.9%,这证明了通过损失约束获取的模态不变性对于网络十分重要。由网络结构消融实验结构可知,SENet模块的缺失同时会对网络推断性能造成影响,这意味着故障特征的注意力加权对于网络故障诊断有积极作用。
为验证所提方法的分类性能,将网络的消融研究的输出通过混淆矩阵可视化,如图6所示,可以更加直观的看到每个消融实验中每个类别的精度,总体而言,所提模型具有最高的分类精度和高效的分类性能,所以本文设计的深度代价敏感卷积网络的损失函数与网络结构都是合理的。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于深度代价敏感卷积网络的故障诊断方法,其特征在于,包括以下步骤:
S1.采集数据集,并对数据集进行数据归一化预处理;
S2.将预处理的数据集输入至特征表示网络进行特征提取和权重分配,以获取预训练模型;
S3.将目标域数据输入至预训练模型提取特征,对提取的特征和学习到的知识标签预测和代价敏感分类:
所述标签预测(Lc)为
所述代价敏感分类(Lcs)为
S4.对经过S3处理的特征输入基于领域对抗损失函数和距离度量损失函数的训练训练函数中,减小源域和目标域的分布差异。
2.根据权利要求1所述基于深度代价敏感卷积网络的故障诊断方法,其特征在于,所述特征表示网络包括卷积神经网络(CNN)和注意力机制网络(SENet),卷积神经网络(CNN)进行特征提取,注意力机制网络(SENet)进行特征权重的校准分配。
4.根据权利要求1所述基于深度代价敏感卷积网络的故障诊断方法,其特征在于,所述注意力机制网络(SENet)进行特征权重的校准分配的步骤包括:
S21.输入经转换得到三维矩阵U,即C个大小为H×W的特征图,将U的每个特征图,利用全局平均池化进行压缩,生成数据的全局感受野,计算如下:
uc表示U中第c个二维矩阵,Feq(·)为压缩操作;
S22.对压缩后的特征降维以及升维,即激励操作Fex(·),得到原始数据的一维数列,至此为每个特征通道生成权重,计算如下:
δ为Sigmoid激活函数,σ为ReLu激活函数,W1z为全连接操作,W1的维度为(C/r)×C,W2的维度为C×(C/r),r是一个缩放参数,s表示U中C个特征图的权重;
S23.将压缩后的一维数列作为sc再与第三层Conv1d后的多个特征图进行对应通道乘积,即点积操作Fscale(·),实现有选择增强有益特征通道并抑制无用特征通道权重的目的,操作计算如下:
7.根据权利要求1所述基于深度代价敏感卷积网络的故障诊断方法,其特征在于,所述训练函数计算如下:
Lall=Lcs+Ladv+λdisLdis
式中,λdis是总损失中的权衡参数。
8.根据权利要求1~7任一所述基于深度代价敏感卷积网络的故障诊断方法提供故障诊断框架,其特征在于,所述智能故障诊断框架包括数据采集模块、预处理模块、特征表示模块和健康状况识别模块,所述数据采集模块采集数据,送入预处理模块进行数据预处理,特征表示模块对预处理后的数据进行特征提取和权重分配,获取预训练模型,再将目标域数据通过预训练模型输入至健康状况识别模块。
9.根据权利要求8所述故障诊断框架,其特征在于,所述智能故障诊断框架还包括领域自适应模块,所述健康状况识别模块领域结合自适应模块协同推断。
10.根据权利要求9所述故障诊断框架,其特征在于,所述领域自适应模块采用随机梯度下降(Adam)优化算法来优化每个小批量的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111212260.1A CN114139598A (zh) | 2021-10-18 | 2021-10-18 | 基于深度代价敏感卷积网络的故障诊断方法及诊断框架 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111212260.1A CN114139598A (zh) | 2021-10-18 | 2021-10-18 | 基于深度代价敏感卷积网络的故障诊断方法及诊断框架 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114139598A true CN114139598A (zh) | 2022-03-04 |
Family
ID=80394338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111212260.1A Pending CN114139598A (zh) | 2021-10-18 | 2021-10-18 | 基于深度代价敏感卷积网络的故障诊断方法及诊断框架 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114139598A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115577245A (zh) * | 2022-12-05 | 2023-01-06 | 广东工业大学 | 一种旋转组件rul预测的数据分布平衡方法及系统 |
-
2021
- 2021-10-18 CN CN202111212260.1A patent/CN114139598A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115577245A (zh) * | 2022-12-05 | 2023-01-06 | 广东工业大学 | 一种旋转组件rul预测的数据分布平衡方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110361176B (zh) | 一种基于多任务特征共享神经网络的智能故障诊断方法 | |
CN112883994B (zh) | 一种均衡分布适配的旋转机械变工况故障诊断方法 | |
CN112257530B (zh) | 基于盲信号分离和支持向量机的滚动轴承故障诊断方法 | |
CN113567130A (zh) | 基于设备多工况的轴承故障诊断方法 | |
CN113128338B (zh) | 一种小样本下印刷机滚筒故障的智能诊断方法 | |
CN114358124B (zh) | 基于深度对抗卷积神经网络的旋转机械新故障诊断方法 | |
CN110443117B (zh) | 一种风电机组故障诊断方法 | |
CN112147432A (zh) | 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 | |
CN105678343A (zh) | 基于自适应加权组稀疏表达的水电机组噪声异常诊断方法 | |
CN114004252A (zh) | 一种轴承故障诊断的方法、装置以及设备 | |
CN114429152A (zh) | 基于动态指数对抗性自适应的滚动轴承故障诊断方法 | |
CN113806746A (zh) | 基于改进cnn网络的恶意代码检测方法 | |
CN112113755A (zh) | 一种基于深度卷积-峭度神经网络的机械故障智能诊断方法 | |
CN110659682A (zh) | 一种基于MCWD-KSMOTE-AdaBoost-DenseNet算法的数据分类方法 | |
CN116894187A (zh) | 一种基于深度迁移学习的齿轮箱故障诊断方法 | |
CN114091504A (zh) | 一种基于生成对抗网络的旋转机械小样本故障诊断方法 | |
CN115859142A (zh) | 一种基于卷积变压器生成对抗网络的小样本滚动轴承故障诊断方法 | |
CN110728377B (zh) | 一种面向机电设备的智能故障诊断方法及系统 | |
CN114997211A (zh) | 一种基于改进对抗网络和注意力机制的跨工况故障诊断方法 | |
CN114139598A (zh) | 基于深度代价敏感卷积网络的故障诊断方法及诊断框架 | |
CN114722879A (zh) | 一种基于对抗迁移学习的轴承跨工况故障预测方法 | |
CN112541524B (zh) | 基于注意力机制改进的BP-Adaboost多源信息电机故障诊断方法 | |
CN113869451A (zh) | 一种基于改进jgsa算法的变工况下滚动轴承故障诊断方法 | |
CN116894215B (zh) | 一种基于半监督动态图注意的齿轮箱故障诊断方法 | |
CN115935187B (zh) | 基于核敏感度对齐网络的变工况下机械故障诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |