CN117113198A - 一种基于半监督对比学习的旋转设备小样本故障诊断方法 - Google Patents
一种基于半监督对比学习的旋转设备小样本故障诊断方法 Download PDFInfo
- Publication number
- CN117113198A CN117113198A CN202311236476.0A CN202311236476A CN117113198A CN 117113198 A CN117113198 A CN 117113198A CN 202311236476 A CN202311236476 A CN 202311236476A CN 117113198 A CN117113198 A CN 117113198A
- Authority
- CN
- China
- Prior art keywords
- sample
- prototype
- class
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003745 diagnosis Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101000879761 Homo sapiens Sarcospan Proteins 0.000 description 1
- 102100037329 Sarcospan Human genes 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
Abstract
本发明提供一种基于半监督对比学习的旋转设备小样本故障诊断方法，包括如下步骤：S1、构建两阶段训练数据集：S1.1、构建基于对比学习的正负样本对，记为预训练数据集；S1.2、构建基于小样本学习的任务数据集；S2、利用预训练数据集预训练改进的自动编码器，将S1.2构建的任务数据输入预训练后的自动编码器和原型网络中得到初始化原型；S3、使用预训练后的自动编码器对标记数据计算类别原型，对无标签样本计算类别贡献度和样本权重，联合无标签样本的类别贡献度和样本权重优化各类故障的类别原型。本发明仅使用少量标记样本进行离线训练，就可以实现高精度的在线故障分类。
Description
技术领域
本发明属于滚动轴承故障诊断技术领域，具体涉及一种基于半监督对比学习的旋转设备小样本故障诊断方法。
背景技术
在现代工业生产中，大型旋转设备扮演者重要的角色。然而，随着这些设备的复杂性不断增加，机械故障诊断对于工业设备的重要性也日益突出。在实际运行中，准确检测机械故障能够降低经济损失和事故发生的概率。随着人工智能技术的迅猛发展，许多算法开始应用于机械故障诊断领域。人工智能的诊断方法与传统方法有所不同，传统方法更依赖于专家知识和经验，而基于深度学习的智能诊断方法在近年来迅速发展，与传统的机器学习方法(如支持向量机、K均值和决策树)相比，深度学习方法具备更强大的特征提取能力，无需进行人工特征工程，降低了建模的难度，并提高了故障诊断的性能。一些常见的深度学习方法包括自动编码器、卷积神经网络和递归神经网络等，在有足够标记样本的情况下已经广泛应用于机械故障诊断，并取得了良好的性能，然而，在实际设备运行过程中，所采集的数据大多是健康数据，而各类故障数据的数量往往远少于健康数据。此外，故障样本往往没有标签或者只有很少的标签，这种情况非常常见。因此，仅有少量标记的故障数据可用于模型训练，导致模型难以学习到有效的判别特征信息。
近年来，针对小样本情况下的故障诊断问题取得了一些进展，比如度量学习和对比学习被广泛应用于小样本任务。其中，原型网络(Prototypica lnetworks)作为基于度量的机器学习方法，通过学习每类样本的特征原型并计算这些原型与测试样本之间的距离来完成分类任务。通过计算样本距离，模型可以快速将未知样本与正确的类别进行匹配。在原型学习步骤中，特征提取和距离计算对于学习不同类的原型具有重要意义。除此以外，基于对比学习的训练策略，可以在不生成新数据的情况下实现数据增强，通过样本差异性引导模型训练，在较小的数据量下模型也能够达到良好的泛化性能。半监督学习确实是解决数据稀缺问题的另一种有效途径。在小样本问题中，虽然标记数据非常有限，但存在大量的无标签数据可用，而半监督学习方法可以充分利用这些无标签数据来增强模型的泛化能力和性能，半监督学习和原型网络的结合是用于故障诊断的一个新思路，利用伪标签学习来解决支撑数据太少导致原型精度不够的问题。
发明内容
本发明要解决的技术问题是提供一种基于半监督对比学习的旋转设备小样本故障诊断方法，解决旋转机械设备故障数据稀缺导致的模型过拟合和诊断精度不够的问题。
为解决上述技术问题，本发明的实施例提供一种基于半监督对比学习的旋转设备小样本故障诊断方法，包括如下步骤：
S1、构建两阶段训练数据集：
S1.1、构建基于对比学习的正负样本对，记为预训练数据集；
S1.2、构建基于小样本学习的任务数据集；
S2、利用预训练数据集预训练改进的自动编码器，将S1.2构建的任务数据输入预训练后的自动编码器和原型网络中得到初始化原型；
S3、使用预训练后的自动编码器对标记数据计算类别原型，对无标签样本计算类别贡献度和样本权重，联合无标签样本的类别贡献度和样本权重优化各类故障的类别原型。
其中，步骤S1.1中，将相同标签数据构建成正样本对，不同标签数据构建成负样本对。
进一步，步骤S1.1的具体步骤为：
首先收集所有标记样本Dlabeled，标签y∈{0,1,2,…N}，将其中任意两个标记样本组成一个样本对Xij＝{xi,xj}，如果yi≠yj，则此样本对为负样本对，样本对标签为Yij＝0；否则为正样本对，标签为Yij＝1。
其中，步骤S1.2的具体步骤为：
以任务为基础单元，每个任务数据集包含支撑集Ds、查询集Dq和无标记集Du三部分，先从标记数据中随机采样出Nc×Ns个样本作为支撑集Ds，其中，Nc为类的数目，Ns为支撑集每个类别中的样本个数；然后从剩下的数据中随机采样Nc×Ns个样本作为查询集Dq，其余的无标签数据作为无标记集Du。
其中，步骤S2中，改进的自动编码器包括编码器、卷积注意力机制模块CBAM和解码器，其中，
所述编码器对预训练数据集进行降维，获得低维度的故障信息，即嵌入特征；
所述卷积注意力机制模块CBAM用于加强特征筛选能力；
所述解码器包括三层反卷积模块，对嵌入特征进行数据重构；
卷积注意力机制模块CBAM由一个串联通道注意力模块和空间注意力模块串联组成，依次沿通道和空间两个维度计算注意力图，然后将注意力图乘以输入特征图进行自适应特征筛选；结合卷积注意力机制模块CBAM的编码器和解码器的计算过程如下：
其中，xs∈RC×W为输入的原始样本；F(·)为编码映射函数；fCB(·)为一个卷积模块，由卷积层、批量归一化层和ReLU激活函数组成；xe为编码器输出；G(·)为解码映射函数；为反卷积模块，由反卷积层、批量归一化层和激活函数组成；
自编码器重构误差lossrc计算如下：
进一步，步骤S2中，对比学习训练框架为：首先将步骤S1-1中构建的样本对Xij＝{xi,xj}同时输入至MDAE中，得到一对嵌入特征{zi,zj}，编码器输出原始嵌入特征，具体计算过程如下:
{zi,zj}＝F({xi,xj})；
在得到基本的嵌入特征对后，使用欧式距离度量函数d(zi,zj)计算两潜在特征的差异性，对于正样本对，目的是最小化正样本对的差异性，即特征的欧氏距离；正样本对的损失函数Losspositive表示为:
Losspositive(Xij)＝{d(F(xi),F(xj))}2,Xij＝{xi,xj}；
对于负样本对，对比训练的目标是最小化特征相似性，即最大化欧式距离；负样本对的损失函数Lossnegative表示为:
Lossnegative(Xij)＝{max(0,1-d(F(xi),F(xj)))}2,Xij＝{xi,xj}；
因此，最后的对比学习预训练的损失函数Losscontrastive如下:
其中，N+为正样本对的数目，N-为负样本对的数目。
其中，步骤S3中，改进的自动编码器作为编码映射函数，原型网络用于计算类别原型，并利用距离度量函数d(·)进行故障诊断；
S3.1、类别原型的计算过程如下：
其中，F(·)表示编码映射函数，c表示一种故障类别，表示支撑集中类别为c的样本数目；
S3.2、利用类别原型计算所提供的样本xs属于故障类别c的概率，计算过程如下：
S3.3、原型网络的分类损失函数由查询集数据计算，并通过最小化负对数概率进行学习，损失函数计算过程如下：
用于原型网络中编程器参数的优化。
S3.4、类别原型的优化：
S3.4.1、计算样本伪标签作为无标签样本对各个故障类别的样本贡献度，计算过程如下所示：
其中，xu为无标签样本，d(·)表示欧式距离度量函数；
S3.4.2、通过自动编码器的重构误差得到样本权重w，计算过程如下所示：
lossrc＝mse(xu,Decoder(Encoder(xu)))；
S3.4.3、将样本贡献度和样本权重联合计算得到无标签样本xu,i对各类别原型的贡献度计算过程如下所示：
S3.4.4、重新利用支撑集样本和无标签样本优化类别原型，计算过程如下：
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于半监督对比学习的旋转设备小样本故障诊断方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于半监督对比学习的旋转设备小样本故障诊断方法。
本发明的上述技术方案的有益效果如下：
本发明提供一种基于半监督对比学习的旋转设备小样本故障诊断方法，针对旋转机械设备故障数据稀缺情况下，基于样本对和小样本学习进行训练数据构造，并将改进自动编码器作为特征提取函数，使用对比学习的训练模式，使得编码器学习到故障数据的判别特征信息，加强模型的特征提取能力，并避免小样本数据导致的模型过拟合问题。通过对比学习预训练之后的自动编码器用于原型的编码映射函数，编码器将输入高维数据压缩至较低维向量，然后计算出初始化原型，并利用无标签样本与原型距离来计算类别贡献度，样本的重构误差来估计样本权重，最后对原型进行微调精化，得到更加精确的原型。最后在多种小样本实验中证明了本发明的有效性和优越性，仅使用少量标记样本进行离线训练，就可以实现高精度的在线故障分类。
附图说明
图1为本发明实施例1中所使用的基于半监督原型网络和对比学习算法框架图；
图2为本发明使用的改进自动编码器结构和对比学习的预训练框架；
图3为本发明使用的半监督原型计算和精化流程图；
图4为本发明使用的故障诊断装置；
图5为本发明中三种小样本实验下的算法准确度对比图；
图6为本发明中三种小样本实验的混淆矩阵图；
图7为本发明中三种小样本实验的训练过程图；
图8为本发明中使用不同模块对模型准确率的影响示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明提供一种基于半监督对比学习的旋转设备小样本故障诊断方法，包括如下步骤：
S1、构建两阶段训练数据集：
S1.1、构建基于对比学习的正负样本对，记为预训练数据集；
S1.2、构建基于小样本学习的任务数据集；
S2、利用预训练数据集预训练改进的自动编码器，将S1.2构建的任务数据输入预训练后的自动编码器和原型网络中得到初始化原型；
S3、使用预训练后的自动编码器对标记数据计算类别原型，对无标签样本计算类别贡献度和样本权重，联合无标签样本的类别贡献度和样本权重优化各类故障的类别原型。
步骤S1.1的具体操作如下：
基于对比学习的预训练方法不需要额外生成数据，而是通过已有标记数据构建预训练数据集，将相同标签数据构建成正样本对，不同标签数据构建成负样本对。首先收集所有标记样本Dlabeled，标签y∈{0,1,2,…N}，将其中任意两个样本组成一个样本对Xij＝{xi,xj}，如果yi≠yj,则此样本对为负样本对,样本对标签为Yij＝0；否则为正样本对，标签为Yij＝1，最终得到由样本对组成的预训练数据集。xi是样本，yi是标签。
步骤S1.2的具体操作如下：
半监督学习方法可以利用无标签样本来提高模型分类精确度。本发明以任务为基础单元，每个任务数据集包含支撑集Ds、查询集Dq和未标记集Du三部分，具体来说，先从标记数据中随机采样出Nc×Ns个样本作为支撑集Ds，其中，Nc为类的数目，然后从剩下的数据中随机采样Nc×Ns个样本作为查询集Dq，其余的无标签数据作为无标记集Du。
步骤S2的具体操作如下：
在获得样本对预训练数据集后，将其输入至改进的自动编码器中进行预训练，下面将介绍改进自动编码器的结构和对比学习训练框架。
改进的自动编码器：改进的自动编码器包括编码器、卷积注意力机制模块CBAM和解码器。本发明在隐藏层输出前添加卷积注意力机制模块CBAM加强特征筛选能力，其整体结构如图1所示。编码器对预训练数据集进行降维，获得低维度的故障信息，即嵌入特征；解码器由三层反卷积模块组成，对嵌入特征进行数据重构。
卷积注意力机制模块CBAM由一个串联通道注意力模块Ach(·)和空间注意力模块Asp(·)串联组成，依次沿通道和空间两个维度计算注意力图，然后将注意力图乘以输入特征图进行自适应特征筛选。卷积注意力机制模块CBAM的计算过程如下所示：
fCBAM(x)＝Asp(Ach(x))；
其中，Ach(x)为通道注意机制函数；Asp(x)为空间注意力机制函数；fCBAM(x)为卷积注意力机制函数；FC1和FC2均为全连接层；Fsig为Sigmoid函数；AvgPool(·)为平均池化操作；MaxPool(·)是最大池化操作；Conv(·)表示卷积运算；Concat(·)表示向量拼接；表示按元素点乘。
结合卷积注意力机制模块CBAM的编码器和解码器的计算过程如下：
其中，xs∈RC×W为输入的原始样本，F(·)为编码映射函数，fCB(·)为一个卷积模块，由卷积层、批量归一化层和ReLU激活函数组成，xe为编码器输出；G(·)为解码映射函数，为反卷积模块，由反卷积层、批量归一化层和激活函数组成。
自编码器重构误差lossrc计算如下：
对比学习训练框架：首先将步骤S1-1中构建的样本对Xij＝{xi,xj}同时输入至MDAE中，得到一对嵌入特征{zi,zj}，编码器将输出原始嵌入特征，具体计算过程如下：
zi＝F(xi)，
zj＝F(xj)；
{zi,zj}＝F({xi,xj})。
在得到基本的嵌入特征对后，将使用欧式距离度量函数d(zi,zj)来计算两潜在特征的差异性，对于正样本对，目的是最小化正样本对的差异性，即特征的欧氏距离。正样本对的损失函数Losspositive如下所示。
Losspositive(Xij)＝{d(F(xi),F(xj))}2,Xij＝{xi,xj}。
对于负样本对，对比训练的目标是最小化特征相似性，即最大化欧式距离。负样本对的损失Lossnegative可以表示为：
Lossnegative(Xij)＝{max(0,1-d(F(xi),F(xj)))}2,Xij＝{xi,xj}。
因此，最后的对比学习预训练的损失函数Lossctr如下所示：
其中，N+为正样本对的数目，N-为负样本对的数目。
步骤S3的具体操作如下：
在原型网络的过程中引入了原型精化算法，提高了原型的精确性，较少了异常数据对其的干扰。在训练过程中，每个任务由一个支撑集Ds、一个查询集Dq和一个未标记集Du组成。但是，支撑集Ds的Ns样本不能充分代表每个类别分布，计算出的原型可能无法准确反映类别中心。为了解决这个问题，引入了未标记的数据来优化原型。但是，未标记数据中可能包含异常样本，盲目相信所有数据会导致原型偏差，从而放大故障诊断误差。为了减轻异常样本对未标记数据在原型精化过程中的干扰，该文提出一种方法。该方法利用自动编码器的重建损失来估计样品权重，与标记数据差异较大的样本将被分配低权重，差异较小的样本会被分配高权重。
SSMAE-PN将改进的自动编码器作为编码映射函数，原型网络用于计算类别原型，并利用距离度量函数d(·)进行故障诊断。接下来将分别对原型计算和原型精华两个部分进行详细描述,具体流程图如图3所示。
原型计算：首先，使用编码器从输入数据中获取低维特征，然后计算每个类别中特征的均值，均值代表各个类别中的原型，对应图3中的Step1，类别原型的计算过程如下所示：
其中，c表示一种故障类别，表示支撑集中类别为c的样本数目。
无标签样本对各个类别的贡献度计算：首先计算无标签样本的嵌入特征和解码器输出向量，对应图3的Step2，然后利用距离度量函数d(·)计算嵌入特征到原型的距离，最后利用Softmax计算得到贡献度对应图3中的Step3。计算过程如下所示：
lossrc＝mse(xu,G(F(xu)))；
原型精化：原型的细化过程包括将无标签样本的重要性与类别的贡献度相结合，表示为这种结合既考虑了类别的贡献，也考虑了样本的权重，计算过程表示如下：
然后重新利用无标签数据的嵌入特征微调类别原型，对应图3中的Step5，计算过程如下所示：
利用类别原型计算所提供的样本xs属于故障类别c的概率。具体计算过程如下：
原型网络的分类损失由查询集来计算，并通过最小化负对数概率进行学习。损失函数计算过程如下所示：
最后为了验证了所提出发明的有效性，与其他相关方法进行了比较，在公开数据集上进行了实验。首先将介绍实验数据集和实验装置，如图4所示，然后将本发明与其他方法进行了对比实验，最后，对本文提出方法进行了消融实验。
实验装置包括电机、电机控制器、行星齿轮箱、变速箱、刹车、制动器。
数据介绍：实验数据集采用东南大学(SEU)齿轮箱数据集，该齿轮箱数据集包含2个子数据集：轴承数据和齿轮数据。SEU齿轮箱数据集包含两个不同的工况，并且都是在传动系动态模拟器(DDS)上获得的。转速-负载配置分别为20Hz-0V和30Hz-2V两种工况，在不同的工作条件下，可以将故障类型分为三类。在每个文件中，有八列信号，即8种数据特征，分别表示：1电机振动，2，3，4-行星齿轮箱在x、y、z三个方向上的振动，5电机扭矩，6，7，8-平行齿轮箱在x、y、z三个方向的振动。在本实验中选取1024个采样点为一个样本，每一种故障选取1023个样本，数据集总共包含5115个样本，实验将抽取1000个样本，保留少量的标记数据，其余数据将被分为测试集和无标签数据集。
首先，在实验抽取的1000个样本中，每个类别有250个样本，根据步骤一，每个类别抽取Nl个样本作为有标签样本，其余Nu个样本作为无标签样本，其中Nl＝Ns+Nq。根据步骤一的第一步，将有标签样本进行样本对组合得到包含(Nc*Nl)个样本对的数据集，并将其用于对比学习预训练过程；根据步骤一的第二步，每次训练任务都将有标签数据分割为(Nc*Ns)个样本的支撑集和(Nc*Nq)样本的查询集，然后加上(Nc*Nu)个样本的无标签数据集。以上过程中类别个数Nc为5，Ns和Nq相等，分别设置为5、10和15。
方法对比：为了显示所提出方法的优越性，选择了一些流行的故障诊断方法进行比较，在相同数据集条件下，将SSMAE-PN与其他五种深度学习方法进行比较，包括SiameseNet、MatchNet、RelationNet和ProtoNet。为了保持实验的公平性，其他的几种方法都采用了与提出方法相同的特征提取器。不同方法对比的准确度结果如图5所示。根据图6可以发现，本文提出的方法在多个实验条件下表现最好，相比之下，其他四种方法的整体平均准确率都低于本文提出方法。对比实验结果验证了本文提出方法在多种小样本条件下的故障诊断的高性能。
模型训练精度的趋势和的损失如图7所示。从图7上部的左图中可以看出，在最初的50次迭代中，1-shot的准确率明显波动，在收敛到0.9左右的稳定值之前逐渐放缓。图7上部的右图显示，该模型在大约40次迭代后接近稳定。图7下部的附图显示了10-shot次射击情况下的结果，模型在20次迭代后实现了稳定收敛，并且表现良好。由于实验中每个类别有更多的样本，5次和10次的实验产生了更好的结果。总之，当每个类别有更多的样本时，对比学习预训练可以充分捕捉到故障信息，从而使模型的表示更加准确和全面。此外，由于样本量的增加，原型网络的收敛速度也加快了，从而提高了训练效率和性能。
消融实验：本节讨论SSMAE-PN的预训练框架、MAE模块和原型优化算法对故障诊断性能的影响。本实验比较了三种网络结构：1)SSPN：将MAE改为CNN；2)SSAE-PN：去除MAE中的混合注意力模块；3)MAE-PN：没有半监督原型优化算法的原型网络。4)SSMAE-PN：特征提取模块没有进行预训练。
从图8可以看出，SSMAE-PN(pre-trai n)的精度比SSMAE-PN高出约2.60％，表明了基于对比学习的预训练可以优化特征映射，提高模型性能。SSMAE-PN(pre-trai n)的精度比SSAE-PN高出约9.03％，证明了改进的自动编码器的优秀特征提取能力，注意力机制的特征筛选能力。SSMAE-PN(pre-trai n)的精度比ProtoNet高出约1.08％，表明了基于半监督学习的原型精化模块的有效性，在一定程度上加强了原型的准确性。
本发明提出了SSMAE-PN模型，并通过齿轮箱故障数据验证了其有效性。首先介绍了一个具有注意力机制的自动编码器作为特征提取模块。该模块有效地提取了相关的特征，同时抑制了不相关的特征。此外，基于对比学习的预训练方法使用正负样本对来增强初始模型的泛化能力。最后，提出了一种新的半监督学习方法来提高分类的准确性。该方法侧重于细化类别原型，同时利用样本权重和未标记数据的类别贡献来有效降低异常数据带来的干扰。
本技术领域的技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，包括如下步骤：
S1、构建两阶段训练数据集：
S1.1、构建基于对比学习的正负样本对，记为预训练数据集；
S1.2、构建基于小样本学习的任务数据集；
S2、利用预训练数据集预训练改进的自动编码器，将S1.2构建的任务数据输入预训练后的自动编码器和原型网络中得到初始化原型；
S3、使用预训练后的自动编码器对标记数据计算类别原型，对无标签样本计算类别贡献度和样本权重，联合无标签样本的类别贡献度和样本权重优化各类故障的类别原型。
2.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S1.1中，将相同标签数据构建成正样本对，不同标签数据构建成负样本对。
3.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S1.1的具体步骤为：
首先收集所有标记样本Dlabeled，标签y∈{0,1,2,…N}，将其中任意两个标记样本组成一个样本对Xij＝{xi,xj}，如果yi≠yj，则此样本对为负样本对，样本对标签为Yij＝0；否则为正样本对，标签为Yij＝1。
4.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S1.2的具体步骤为：
以任务为基础单元，每个任务数据集包含支撑集Ds、查询集Dq和无标记集Du三部分，先从标记数据中随机采样出Nc×Ns个样本作为支撑集Ds，其中，Nc为类的数目，Ns为支撑集每个类别中的样本个数；然后从剩下的数据中随机采样Nc×Ns个样本作为查询集Dq，其余的无标签数据作为无标记集Du。
5.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S2中，改进的自动编码器包括编码器、卷积注意力机制模块CBAM和解码器，其中，
所述编码器对预训练数据集进行降维，获得低维度的故障信息，即嵌入特征；
所述卷积注意力机制模块CBAM用于加强特征筛选能力；
所述解码器包括三层反卷积模块，对嵌入特征进行数据重构；
卷积注意力机制模块CBAM由一个串联通道注意力模块和空间注意力模块串联组成，依次沿通道和空间两个维度计算注意力图，然后将注意力图乘以输入特征图进行自适应特征筛选；结合卷积注意力机制模块CBAM的编码器和解码器的计算过程如下：
其中，xs∈RC×W为输入的原始样本；F(·)为编码映射函数；fCB(·)为一个卷积模块，由卷积层、批量归一化层和ReLU激活函数组成；xe为编码器输出；G(·)为解码映射函数；为反卷积模块，由反卷积层、批量归一化层和激活函数组成；
自编码器重构误差lossrc计算如下：
6.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S2中，对比学习训练框架为：首先将步骤S1-1中构建的样本对Xij＝{xi，xj}同时输入至MDAE中，得到一对嵌入特征{zi，zj}，编码器输出原始嵌入特征，具体计算过程如下：
{zi，zj}＝F({xi，xj})；
在得到基本的嵌入特征对后，使用欧式距离度量函数d(zi，zj)计算两潜在特征的差异性，对于正样本对，目的是最小化正样本对的差异性，即特征的欧氏距离；正样本对的损失函数Losspositive表示为：
Losspositive(Xij)＝{d(F(xi)，F(xj))}2，Xij＝{xi，xj}；
对于负样本对，对比训练的目标是最小化特征相似性，即最大化欧式距离；负样本对的损失函数Lossnegative表示为：
Lossnegative(Xij)＝{max(0，1-d(F(xi)，F(xj)))}2，Xij＝{xi，xj}；
因此，最后的对比学习预训练的损失函数Losscontrastive如下：
其中，N+为正样本对的数目，N-为负样本对的数目。
7.根据权利要求1所述的基于半监督对比学习的旋转设备小样本故障诊断方法，其特征在于，步骤S3中，改进的自动编码器作为编码映射函数，原型网络用于计算类别原型，并利用距离度量函数d(·)进行故障诊断；
S3.1、类别原型的计算过程如下：
其中，F(·)表示编码映射函数，c表示一种故障类别，表示支撑集中类别为c的样本数目；
S3.2、利用类别原型计算所提供的样本xs属于故障类别c的概率，计算过程如下：
S3.3、原型网络的分类损失函数由查询集数据计算，并通过最小化负对数概率进行学习，损失函数计算过程如下：
S3.4、类别原型的优化：
S3.4.1、计算样本伪标签作为无标签样本对各个故障类别的样本贡献度，计算过程如下所示：
其中，xu为无标签样本，d(·)表示欧式距离度量函数；
S3.4.2、通过自动编码器的重构误差得到样本权重w，计算过程如下所示：
lossrc＝mse(xu，Decoder(Encoder(xu)))；
S3.4.3、将样本贡献度和样本权重联合计算得到无标签样本xu，i对各类别原型的贡献度计算过程如下所示：
S3.4.4、重新利用支撑集样本和无标签样本优化类别原型，计算过程如下：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于半监督对比学习的旋转设备小样本故障诊断方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于半监督对比学习的旋转设备小样本故障诊断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236476.0A CN117113198A (zh) | 2023-09-24 | 2023-09-24 | 一种基于半监督对比学习的旋转设备小样本故障诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236476.0A CN117113198A (zh) | 2023-09-24 | 2023-09-24 | 一种基于半监督对比学习的旋转设备小样本故障诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117113198A true CN117113198A (zh) | 2023-11-24 |
Family
ID=88800164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311236476.0A Pending CN117113198A (zh) | 2023-09-24 | 2023-09-24 | 一种基于半监督对比学习的旋转设备小样本故障诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117113198A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436500A (zh) * | 2023-12-19 | 2024-01-23 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
-
2023
- 2023-09-24 CN CN202311236476.0A patent/CN117113198A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436500A (zh) * | 2023-12-19 | 2024-01-23 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
| CN117436500B (zh) * | 2023-12-19 | 2024-03-26 | 杭州宇谷科技股份有限公司 | 一种基于对比学习的电池数据处理模型的无监督训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110162018B (zh) | 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法 | |
| CN108681752B (zh) | 一种基于深度学习的图像场景标注方法 | |
| CN106124212B (zh) | 基于稀疏编码器和支持向量机的滚动轴承故障诊断方法 | |
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN105512289A (zh) | 基于深度学习和哈希的图像检索方法 | |
| Chen et al. | Machine fault classification using deep belief network | |
| CN111898689A (zh) | 一种基于神经网络架构搜索的图像分类方法 | |
| CN117113198A (zh) | 一种基于半监督对比学习的旋转设备小样本故障诊断方法 | |
| CN110852365B (zh) | 一种zpw-2000a型无绝缘轨道电路故障诊断方法 | |
| CN112132102B (zh) | 一种深度神经网络结合人工蜂群优化的智能故障诊断方法 | |
| CN113673346A (zh) | 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法 | |
| CN113705396B (zh) | 一种电机故障诊断方法、系统及设备 | |
| CN114169110B (zh) | 基于特征优选和GWOA-XGBoost的电机轴承故障诊断方法 | |
| CN111694974A (zh) | 一种融合注意力机制的深度哈希车辆图像检索方法 | |
| CN115345222A (zh) | 一种基于TimeGAN模型的故障分类方法 | |
| CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
| CN114239384A (zh) | 一种基于非线性度量原型网络的滚动轴承故障诊断方法 | |
| CN115952924B (zh) | 一种基于优化vmd与特征热力图的短期风电功率预测方法 | |
| CN112329918A (zh) | 一种基于注意力机制的对抗正则化网络嵌入方法 | |
| CN116523877A (zh) | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 | |
| CN114371002B (zh) | 基于dae-cnn的行星齿轮箱故障诊断方法 | |
| CN114168782B (zh) | 一种基于三元组网络的深度哈希图像检索方法 | |
| CN112819161B (zh) | 变长基因遗传算法的神经网络构建系统、方法及存储介质 | |
| CN114596464A (zh) | 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 | |
| CN112735604A (zh) | 一种基于深度学习算法的新型冠状病毒分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |