CN116150635B - 基于跨域关联性表示的滚动轴承未知故障检测方法 - Google Patents

基于跨域关联性表示的滚动轴承未知故障检测方法 Download PDF

Info

Publication number
CN116150635B
CN116150635B CN202310410207.5A CN202310410207A CN116150635B CN 116150635 B CN116150635 B CN 116150635B CN 202310410207 A CN202310410207 A CN 202310410207A CN 116150635 B CN116150635 B CN 116150635B
Authority
CN
China
Prior art keywords
fault
model
causal
data set
dataset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310410207.5A
Other languages
English (en)
Other versions
CN116150635A (zh
Inventor
聂婕
王成龙
于树松
丁香乾
冯毅熊
许佳立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310410207.5A priority Critical patent/CN116150635B/zh
Publication of CN116150635A publication Critical patent/CN116150635A/zh
Application granted granted Critical
Publication of CN116150635B publication Critical patent/CN116150635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于故障诊断技术领域，公开了基于跨域关联性表示的滚动轴承未知故障检测方法，包括模型初始化阶段和模型聚类阶段，具体的：构建滚动轴承未知故障检测模型，包括因果推理编码器、伪标签生成模块；将滚动轴承数据集划分为类别已知的故障数据集和类别未知的故障数据集及混合数据集；将类别已知的故障数据集送入因果推理编码器进行有监督的训练；将类别已知的故障数据集、类别未知的故障数据集输入到训练好的因果推理编码器，获得预测输出，并将混合数据输入伪标签生成模块生成伪标签；将模型的预测输出和伪标签通过对比损失进行训练；本发明将有监督的特征提取过程应用于无监督的聚类过程，实现故障诊断与新类发现同时考虑。

Description

基于跨域关联性表示的滚动轴承未知故障检测方法
技术领域
本发明属于故障诊断技术领域，特别涉及基于跨域关联性表示的滚动轴承未知故障检测方法。
背景技术
故障诊断技术可以有效预防故障的发生，减少安全隐患，在核电、航空航天、制造等领域具有重要意义。未知故障检测是指给定一个已知的故障样本集和一个未知的故障样本集（这两个样本集的类别不重叠），利用从已知的类故障样本中学习到的知识来发现未知的类样本的新故障。由于实际生产环境中对设备运行安全可靠的要求较高，难以获得丰富的故障样本。
基于深度学习的故障诊断方法目的是利用收集的监测数据与健康状态之间的关系诊断设备是否发生故障，有(1)基于自动编码器的故障诊断方法，（2）基于RBM的故障诊断方法，（3）基于卷积神经网络的故障诊断方法，（4）基于迁移学习的故障诊断方法等，基于深度学习的新类发现方法目的是利用已标记数据的知识去发现未标记数据的新类别，其中已标记数据与未标记数据的类别是不相交的；以上故障诊断方法都没有考虑到当新的故障类型发生时，如何识别故障类型的问题。
而且目前现有方法存在以下问题：第一，没有剔除设备故障数据中不相关的特征，不相干的特征导致模型学习冗余信息，收集到的数据并不总是故障部分，模型提取的特征包括有故障和无故障的特征。无故障的特征会干扰模型的判断；第二，没有建立标记数据和未标记数据之间的学习关系，标记数据和未标记数据的潜在关联挖掘不足，新类发现一般包括两个步骤：特征提取和聚类，由于标记数据和未标记数据来自不同的类别，标记数据在聚类阶段没有得到充分利用。第三，没有考虑样本之间的相似性关系，使聚类时样本被分配到其他簇中，或者样本与正确分类的簇相距太远。
发明内容
针对现有技术存在的不足，本发明提供基于跨域关联性表示的滚动轴承未知故障检测方法，将故障诊断问题与新类发现问题一起考虑，将故障数据集划分为已知类的故障数据集和未知类的故障数据集，利用已知类的知识来辅助未知类的聚类过程，实现通过将有监督的特征提取过程中学到的知识应用于无监督的聚类过程来解决现有技术的缺陷问题。
为了解决上述技术问题，本发明采用的技术方案是：
基于跨域关联性表示的滚动轴承未知故障检测方法，包括两个阶段：模型初始化阶段和模型聚类阶段，模型初始化阶段用于训练监督模型，模型聚类阶段用于识别和发现新类，具体包括以下步骤：
步骤1、构建滚动轴承未知故障检测模型，所述模型包括因果推理编码器、SoftMax层、伪标签生成模块和损失模块，
所述因果推理编码器包括因果推理模块，所述伪标签生成模块用于在聚类阶段生成伪标签；
步骤2、将滚动轴承数据集划分为类别已知的故障数据集和类别未知的故障数据集以及两者的混合数据集；
步骤3、模型初始化阶段：
将类别已知的故障数据集在模型初始化阶段送入因果推理编码器进行有监督的训练，得到一个学习到已知类别知识的因果推理编码器和旧分类器，训练好的因果推理编码器用于在模型聚类阶段提取特征；
步骤4、模型聚类阶段：
步骤4-1、将类别已知的故障数据集输入到在模型初始化阶段训练好的因果推理编码器中，经过SoftMax层获得预测的特征；将类别未知的故障数据集输入到训练好的因果推理编码器，经过多层感知机和SoftMax层获得预测的特征/>；将/>和/>两个特征拼接在一起作为模型的预测输出；
步骤4-2、将混合数据集输入到伪标签生成模块，用于初始化伪标签生成模块参数；
步骤4-3、将类别未知的故障数据集预测获得的特征输入到伪标签生成模块获得模型的伪标签；
步骤5、将步骤4-1得到的模型的预测输出和步骤4-3得到的模型的伪标签通过对比损失进行训练，得到最终的未知故障检测模型；
步骤6、将待检测的类别未知的滚动轴承数据输入步骤5训练好的模型，获得故障类别。
进一步的，在模型训练时，将训练数据分为三组：类别已知的故障数据集记为标记数据集、类别未知的故障数据集记为未标记数据集/>、两个数据集的混合数据集/>，其中/>和/>分别是标记数据集/>和未标记数据集/>中的数据样本，/>是标记数据集/>中的类标签，N是标记数据集/>中的样本数，/>是未标记数据集/>中的样本数；假设标记数据集/>中的类数为/>，未标记数据集/>中的类数为u，其中u是先验已知的，设定标记数据集/>和未标记数据集/>中的类是不相交的，因此，未知故障检测的任务可以表示为学习从数据域到标签/>的完整集合的映射，其中/>和之前的类属于已知类的标签，/>和/>之间的类是在聚类过程中发现的新类；
所述模型初始化阶段用于通过标记数据集训练监督模型；
所述模型聚类阶段使用预训练的因果推理编码器作为特征提取器，其中，标注数据集作为因果推理编码器的输入，经过一个具有/>个输出的SoftMax分类层，得到输出/>；未标记数据集/>输入到因果推理编码器，然后由多层感知器进行训练，最后，使用具有u个输出的SoftMax层进行分类，得到输出/>；随后，两个输出特征/>和/>被连接起来，混合数据集/>输入伪标签生成模块，用于训练伪标签生成模块，最后同时使用标签和伪标签进行训练。
进一步的，所述因果推理模块使用do算子消除了故障数据集中的样本中混杂特征的影响，具体如下：
首先，将故障数据集中的样本中导致故障的主要特征记为M，导致故障的次要特征记为B，发生故障的记为F，箭头代表不同对象之间的因果关系，构造故障数据集中的样本的特征与故障的因果图，表示次要特征导致故障，/>表示主要特征导致故障，表示次要特征的存在导致主要特征发生，然后导致故障发生；此时，故障发生的因果关系可以表示为：
；
其中表示主要特征存在时发生故障的概率，/>表示主要特征和次要特征同时存在时发生故障的概率，/>表示次要特征存在时主要特征出现的概率；
然后使用后门调整来观察混杂因素并对其进行分层，具体是，对次要特征B进行分层，即，其中每个/>是次要特征B知识的一个分层，在每个特征层/>中，分别计算主要特征M和故障F之间的关系，之后计算这些因果效应的平均值，并根据各个特征层在总体的分布频率进行加权求和，得到整体的因果效应：
；
其中表示次要特征出现的概率；/>表示使用do算子消除了混杂特征后发生故障的概率；
当使用后门调整来观察数据时，通过完全随机选择样本来消除混杂因素，do算子根据次要特征B主动分层，切断了从次要特征B到主要特征M的路径。
进一步的，所述伪标签生成模块包括一个预训练好的因果推理编码器和两个分类器，其中因果推理编码器使用模型初始化阶段训练好的因果推理编码器，一个分类器用于识别未标记类的类别，称为新分类器，
以混合数据集作为输入，因果推理编码器学习与故障相关的特征，由于/>中的类数u是先验知识，在因果推理编码器的末尾添加了u个输出的分类器层，在这里，将新分类器的预测输出重新表述为one-hot伪标签，可用于进一步提高模型性能；未标记数据集中的未标记样本/>的one-hot伪标签/>是通过在/>上设置阈值/>生成的，新分类器的伪标签公式表示为：
；
其中是新分类器的预测结果，j和k为未标记数据集中样本的索引，使用上面生成的伪标签训练一个新的分类器，在训练时使用混合数据集/>可以防止模型过度拟合未标记的样本和分配了错误伪标签的样本，新分类器的训练损失函数形式化为：
；
其中是一个批次中的样本数，T是转置操作；
旧分类器使用模型初始化阶段训练好的分类器，用于识别混合数据集的已知类，给定包含标记和未标记类的混合数据集/>，将其输入预训练的旧分类器，特征/>是通过旧分类器得到的，将/>中的数据输入一个新的分类器以获得特征/>，之后分别连接旧分类器和新分类器的两个输出，连接的结果可以形式化为：
；
其中是两个分类器连接后的特征，Concat表示特征串联操作，将新分类器得到的特征通过SoftMax层得到H，然后将H与/>中的标签L连接起来得到/>，/>用作旧分类器的伪标签，它可以形式化为：
；
由于标记和未标记样本属于完全不同的类别，需要将标记和未标记样本的标签分布扩展到相同的大小，具体来说，将L与维度的零向量连接起来，将H与/>维度的零向量连接起来；
给定混合数据集及其伪标签/>，应用 L2 归一化损失来训练模型，旧分类器再训练的损失函数可以形式化为：
；
其中是一个批次中的样本数，已知类和新类的联合分布在训练过程中注入了额外的弱监督，可以抑制新类上的错误标签错误。
进一步的，步骤5中对比分类损失函数表示为：
；
其中是一个超参数，/>为交叉熵损失，/>为对比损失，
具体来说，交叉熵公式如下：
；
其中C=l+u，和/>分别是第c个元素的标签y和第c个元素的模型预测结果；
给定一个集合，集合中的所有数据都属于同一个类别， 对比损失的目标是在给定集合A中的样本/>的情况下，确定样本x是否与/>属于同一类，基于对同一类别样本之间相似性的考虑，对比损失函数可以形式化为：
；
其中表示余弦相似度，/>，/>，/>表示样本特征，/>表示温度参数。
与现有技术相比，本发明优点在于：
（1）本发明通过因果推理模块从故障样本中选择更多的相关特征，使模型聚焦于故障发生的主要判别性特征。通过因果推理模块来筛选与故障相关的特征，利用后门调整观察和分层混杂因素，在每一层特征中学习主要特征与故障发生的关系；按照每个特征层在总体中的分布频率进行加权求和，得到总体的因果效应；有效的去除与故障无关的混杂特征的影响，保留引起故障的主要影响特征；因此，通过对主要特征的学习，可以获得更精准的识别故障类别。
（2）本发明通过伪标签生成模块建立未标记样本和标记样本之间的学习关系，伪标签生成模块用于无监督样本的聚类过程，通过将标记类与未标记类的混合样本输入共享的因果特征提取器，初步挖掘不同类别之间的潜在关联，学习如何识别一个类别的共性知识；对未标记的样本生成高置信度的伪标签，利用伪标签与真实标签的联合学习进一步挖掘标记类和未标记类的关联关系，通过本发明方法可生成可靠的预测结果。
（3）本发明通过对比分类损失函数，使相同类别的样本聚类于一个紧凑的簇，不同类别的簇之间间距变大，具体是通过交叉熵分类损失函数对故障的类别进行训练，利用对比损失使模型学习样本的相似性知识，耦合交叉熵与对比损失函数，不仅能实现精准分类，而且提升分类结果的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的因果关系图；其中（a）为因果推理模块干预之前，主要特征、次要特征跟故障的因果关系，（b）为因果推理模块干预之后，主要特征、次要特征跟故障的因果关系；
图3为本发明的伪标签生成模块结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
结合图1，本发明提供一种基于跨域关联性表示的滚动轴承未知故障检测方法，图1中的C代表拼接操作，MLP代表多层感知机，GT代表（真实）标签，PL代表伪标签。本发明的未知故障检测的目标是从标记集中提取已知类别的数据知识，并使用这些知识在未标记集中发现新的类别。本发明包括两个阶段：模型初始化阶段和模型聚类阶段，模型初始化阶段主要包括因果推理编码器，用于训练监督模型，模型聚类阶段主要包括因果推理编码器、SoftMax层、伪标签生成模块和损失模块，用于识别和发现新类。
具体包括以下步骤：
步骤1、构建滚动轴承未知故障检测模型，所述模型包括因果推理编码器、SoftMax层、伪标签生成模块和损失模块，
所述因果推理编码器包括ResNet18特征提取网络和因果推理模块（因果推理模块即构造故障发送的主要特征和次要特征跟故障的因果关系图，具体的实现方式在下文中介绍），该编码器先进行有监督的预训练，之后作为模型聚类过程的特征提取器。所述伪标签生成模块用于在聚类阶段生成伪标签，该模块使用混合数据集（步骤2）进行于训练来将已知的知识融入到类别未知的故障数据（步骤2）分类中，之后用于在模型聚类过程为类别未知的故障数据生成伪标签。
步骤2、将滚动轴承数据集划分为类别已知的故障数据集（带标签，即模型经过预训练后可以分类的数据集）和类别未知的故障数据集（无标签，即模型预训练后无法正确分类的数据集）以及两者的混合数据集。
具体的，将训练数据分为三组：类别已知的故障数据集记为标记数据集、类别未知的故障数据集记为未标记数据集/>、两个数据集的混合数据集/>，其中/>和/>分别是标记数据集/>和未标记数据集/>中的数据样本，/>是标记数据集/>中的类标签，N是标记数据集/>中的样本数，/>是未标记数据集/>中的样本数；假设标记数据集/>中的类数为/>，未标记数据集/>中的类数为u，其中u是先验已知的，设定标记数据集/>和未标记数据集/>中的类是不相交的，因此，未知故障检测的任务可以表示为学习从数据域到标签/>的完整集合的映射，其中/>和之前的类属于已知类的标签，/>和/>之间的类是在聚类过程中发现的新类。
步骤3、模型初始化阶段：
将类别已知的故障数据集（即图1中的标记数据）在模型初始化阶段送入因果推理编码器（即ResNet18网络+因果推理模块）进行有监督的训练（训练数据使用标记），得到一个学习到已知类别知识的因果推理编码器和旧分类器，训练好的因果推理编码器用于在模型聚类阶段提取特征。该阶段的目的是预训练一个特征提取器和类别已知数据的分类器。
具体来说，模型初始化阶段用于通过标记数据集训练监督模型；在这个阶段，本发明在特征提取过程中通过因果推理模块，以关注主要影响特征，因果推理编码器的主干是一个标准的卷积神经网络。
步骤4、模型聚类阶段：
步骤4-1、将类别已知的故障数据集（即图1中的标记数据）输入到在模型初始化阶段训练好的因果推理编码器中，经过SoftMax层获得预测的特征；将类别未知的故障数据集（即图1中的未标记数据）输入到训练好的因果推理编码器，经过多层感知机和SoftMax层获得预测的特征/>；将/>和/>两个特征拼接在一起作为模型的预测输出，即图1中（b）所示的模型两个分类头的输出拼接后的特征。
步骤4-2、将混合数据集输入到伪标签生成模块（该模块的实现方式在下文具体介绍），用于初始化伪标签生成模块参数，该模块的目的是将类别已知的故障数据知识融入到未标记数据的伪标签生成过程，使模型聚类时更充分的使用了类别已知知识。
步骤4-3、将类别未知的故障数据集预测获得的特征输入到伪标签生成模块获得类别未知故障数据的伪标签，将类别未知数据的伪标签与类别已知数据的真实标签拼接得到模型的伪标签。
具体来说，该阶段用于识别和发现新类；使用预训练的因果推理编码器作为特征提取器，其中，标注数据集作为因果推理编码器的输入，经过一个具有/>个输出的SoftMax分类层，得到输出/>；未标记数据集/>输入到因果推理编码器，然后由多层感知器进行训练，最后，使用具有u个输出的SoftMax层进行分类，得到输出/>；随后，两个输出特征和/>被连接起来，混合数据集/>输入伪标签生成模块，用于训练伪标签生成模块，最后同时使用标签和伪标签进行训练。
此处需要说明的是，模型聚类阶段只使用一个因果推理编码器，图1中为了展示它有两个分支，一个分支后边直接是SoftMax层，另一个分支先跟MLP层再接SoftMax层。
下面结合图2介绍本发明的因果推理模块。
在故障数据集中，标记为故障的类样本包含的特征并不总是故障的主要特征，还包含一些冗余信息。为了剔除故障样本中与故障无关的特征，只保留对故障有主要影响的特征，本发明设计了因果推理模块。因果推理模块使用do算子消除了故障数据集中的样本中混杂特征的影响，具体如下：
首先，将故障数据集中的样本中导致故障的主要特征记为M，导致故障的次要特征记为B，发生故障的记为F，圆圈代表对象，箭头代表不同对象之间的因果关系，构造故障数据集中的样本的特征与故障的因果图，其中，M是故障的直接原因，如剧烈变化的振动信号，B是与故障发生没有直接关系的特征，影响程度比较小，它们的因果关系如图2所示，表示次要特征导致故障，/>表示主要特征导致故障，/>，然后导致故障发生；此时，故障发生的因果关系可以表示为：
；
其中表示主要特征存在时发生故障的概率，/>表示主要特征和次要特征同时存在时发生故障的概率，/>表示次要特征存在时主要特征出现的概率。
然后使用后门调整来观察混杂因素并对其进行分层，实现，具体是，后门调整假设可以观察混杂因素并对其进行分层，深度学习模型的每个特征维度都带有语义含义，例如，卷积神经网络的每个通道编码不同的视觉概念，因此，每个特征维度代表一种知识，所以对次要特征B进行分层，即/>，其中每个/>是次要特征B知识的一个分层，在每个特征层/>中，分别计算主要特征M和故障F之间的关系，比如将ResNet-10的512维分成四部分，每部分128维，学习四个分类器；之后计算这些因果效应的平均值，并根据各个特征层在总体的分布频率进行加权求和，得到整体的因果效应：
；
其中表示次要特征出现的概率，/>表示使用do算子消除了混杂特征后发生故障的概率。
当使用后门调整来观察数据时，相当于做了一个类似于随机对照试验（RCT）的实验，通过完全随机选择样本来消除混杂因素，do算子根据次要特征B主动分层，切断了从次要特征B到主要特征M的路径，如图2中 (b)所示。
下面结合图3介绍本发明的伪标签生成模块。
新类发现的任务包括特征提取和聚类两个阶段，现有方法在特征提取阶段从标记数据中学习知识，并在聚类阶段使用这些知识；然而，这些方法只学习标记数据的表面特征，并没有建立标记数据和未标记数据之间的潜在关系。因此，本发明提出了一个伪标签生成模块 (PGM)，让模型学习潜在关系以提高聚类性能。
如图3所示，图3中C表示拼接操作，GT代表（真实）标签，PL代表伪标签，为伪标签生成过程旧分类器的损失函数，/>为新分类器的训练损失函数，伪标签生成模块包括一个预训练好的因果推理编码器和两个分类器，其中因果推理编码器使用模型初始化阶段训练好的因果推理编码器，一个分类器用于识别未标记类的类别，称为新分类器。
以混合数据集作为输入，因果推理编码器学习与故障相关的特征，由于/>中的类数u是先验知识，在因果推理编码器的末尾添加了u个输出的分类器层，在这里，将新分类器的预测输出重新表述为one-hot伪标签，可用于进一步提高模型性能；未标记数据集中的未标记样本/>的one-hot伪标签/>是通过在/>上设置阈值/>生成的，新分类器的伪标签公式表示为：
；
其中是新分类器的预测结果，j和k为未标记数据集中样本的索引，使用上面生成的伪标签训练一个新的分类器，在训练时使用混合数据集/>可以防止模型过度拟合未标记的样本和分配了错误伪标签的样本，新分类器的训练损失函数形式化为：
；
其中是一个批次中的样本数，T是转置操作。
旧分类器使用模型初始化阶段训练好的分类器，用于识别混合数据集的已知类，给定包含标记和未标记类的混合数据集/>，将其输入预训练的旧分类器，特征/>是通过旧分类器得到的，将/>中的数据输入一个新的分类器以获得特征/>，之后分别连接旧分类器和新分类器的两个输出，连接的结果可以形式化为：
；
其中是两个分类器连接后的特征，Concat表示特征串联操作，将新分类器得到的特征通过SoftMax层得到H，然后将H与/>中的标签L连接起来得到/>，/>用作旧分类器的伪标签，它可以形式化为：
；
由于标记和未标记样本属于完全不同的类别，需要将标记和未标记样本的标签分布扩展到相同的大小，具体来说，将L与维度的零向量连接起来，将H与/>维度的零向量连接起来。
给定混合数据集及其伪标签/>，应用 L2 归一化损失来训练模型，旧分类器再训练的损失函数可以形式化为：
；
其中是一个批次中的样本数。已知类和新类的联合分布在训练过程中注入了额外的弱监督，可以抑制新类上的错误标签错误。
也就是说，伪标签生成模块将故障样本的划分为主要影响部分特征以及次要影响特征，通过因果推理的思想构造了故障样本中的特征与故障的因果图，建立的主要影响特征与故障的关联，使模型聚焦于故障发生的主要影响特征，忽略冗余信息的影响。
步骤5、将步骤4-1得到的模型的预测输出和步骤4-3得到的模型的伪标签通过对比损失进行训练（损失函数的具体实现在下文中展开介绍），得到最终的未知故障检测模型。
下面介绍本发明的对比分类损失。
由于在聚类过程中存在类内间距过大（即同一簇内的特征稀疏）和类间距离过小（即不同簇之间距离很近）等问题，经常会出现特征样本的误分类。为了解决这个问题，本发明设计了一个对比分类损失函数，让同一个聚类的特征更紧凑，不同聚类的特征更分散。
对比分类损失函数表示为：
；
其中是一个超参数，/>为交叉熵损失，/>为对比损失，在本实施例中，使用随机梯度下降 (SGD) 来优化损失函数。
具体来说，可以使用标准交叉熵作为网络分类的损失，交叉熵公式如下：
；
其中C=l+u，和/>分别是第c个元素的标签y和第c个元素的模型预测结果。
给定一个集合，集合中的所有数据都属于同一个类别，对比损失的目标是在给定集合A中的样本/>的情况下，确定样本x是否与/>属于同一类，基于对同一类别样本之间相似性的考虑，对比损失函数可以形式化为：
；
其中表示余弦相似度，/>，/>，/>表示样本特征，表示温度参数。
步骤6、将待检测的类别未知的滚动轴承数据输入步骤5训练好的模型，获得所有类别未知的滚动轴承数据的故障类别。通过本模型，可以使技术人员在处理传统故障分类模型没见过的类别时，能够识别出该故障是哪个新的故障类别。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (3)

1.基于跨域关联性表示的滚动轴承未知故障检测方法，其特征在于，包括两个阶段：模型初始化阶段和模型聚类阶段，模型初始化阶段用于训练监督模型，模型聚类阶段用于识别和发现新类，具体包括以下步骤：
步骤1、构建滚动轴承未知故障检测模型，所述模型包括因果推理编码器、SoftMax层、伪标签生成模块和损失模块，
所述因果推理编码器包括因果推理模块，所述伪标签生成模块用于在聚类阶段生成伪标签；
步骤2、将滚动轴承数据集划分为类别已知的故障数据集和类别未知的故障数据集以及两者的混合数据集；
步骤3、模型初始化阶段：
将类别已知的故障数据集在模型初始化阶段送入因果推理编码器进行有监督的训练，得到一个学习到已知类别知识的因果推理编码器和旧分类器，训练好的因果推理编码器用于在模型聚类阶段提取特征；
步骤4、模型聚类阶段：
步骤4-1、将类别已知的故障数据集输入到在模型初始化阶段训练好的因果推理编码器中，经过SoftMax层获得预测的特征Cl；将类别未知的故障数据集输入到训练好的因果推理编码器，经过多层感知机和SoftMax层获得预测的特征Cu；将Cl和Cu两个特征拼接在一起作为模型的预测输出；
步骤4-2、将混合数据集输入到伪标签生成模块，用于初始化伪标签生成模块参数；
步骤4-3、将类别未知的故障数据集预测获得的特征Cu输入到伪标签生成模块获得模型的伪标签；
步骤5、将步骤4-1得到的模型的预测输出和步骤4-3得到的模型的伪标签通过对比分类损失进行训练，得到最终的未知故障检测模型；
在模型训练时，将训练数据分为三组：类别已知的故障数据集记为标记数据集类别未知的故障数据集记为未标记数据集/>两个数据集的混合数据集Dm，其中/>和/>分别是标记数据集Dl和未标记数据集Du中的数据样本，/>是标记数据集Dl中的类标签，N是标记数据集Dl中的样本数，M0是未标记数据集Du中的样本数；假设标记数据集Dl中的类数为l，未标记数据集Du中的类数为u，其中u是先验已知的，设定标记数据集Dl和未标记数据集Du中的类是不相交的，因此，未知故障检测的任务可以表示为学习从数据域到标签Y＝{1，…，l，l+1，…，l+u}的完整集合的映射，其中l和之前的类属于已知类的标签，l+1和l+u之间的类是在聚类过程中发现的新类；
所述模型初始化阶段用于通过标记数据集Dl训练监督模型；
所述模型聚类阶段使用预训练的因果推理编码器作为特征提取器，其中，标注数据集Dl作为因果推理编码器的输入，经过一个具有l个输出的SoftMax分类层，得到输出Cl；未标记数据集Du输入到因果推理编码器，然后由多层感知器进行训练，最后，使用具有u个输出的SoftMax层进行分类，得到输出Cu；随后，两个输出特征Cl和Cu被连接起来，混合数据集Dm输入伪标签生成模块，用于训练伪标签生成模块，最后同时使用标签和伪标签进行训练；
所述伪标签生成模块包括一个预训练好的因果推理编码器和两个分类器，其中因果推理编码器使用模型初始化阶段训练好的因果推理编码器，一个分类器用于识别未标记类的类别，称为新分类器，
以混合数据集Dm作为输入，因果推理编码器学习与故障相关的特征，由于Du中的类数u是先验知识，在因果推理编码器的末尾添加了u个输出的分类器层，在这里，将新分类器的预测输出重新表述为one-hot伪标签，可用于进一步提高模型性能；未标记数据集Du中的未标记样本的one-hot伪标签/>是通过在/>上设置阈值θ生成的，新分类器的伪标签公式表示为：
其中是新分类器的预测结果，j和k为未标记数据集中样本的索引，使用上面生成的伪标签训练一个新的分类器，在训练时使用混合数据集Dm可以防止模型过度拟合未标记的样本和分配了错误伪标签的样本，新分类器的训练损失函数形式化为：
其中nm是一个批次中的样本数，T是转置操作；
旧分类器使用模型初始化阶段训练好的分类器，用于识别混合数据集Dm的已知类，给定包含标记和未标记类的混合数据集Dm，将其输入预训练的旧分类器，特征是通过旧分类器得到的，将Dm中的数据输入一个新的分类器以获得特征/>之后分别连接旧分类器和新分类器的两个输出，连接的结果可以形式化为：
其中Ep是两个分类器连接后的特征，Concat表示特征串联操作，将新分类器得到的特征通过SoftMax层得到H，然后将H与Dl中的标签L连接起来得到EL，EL用作旧分类器的伪标签，它可以形式化为：
EL＝Concat{L，H}，L∈Dl，H∈Du；
由于标记和未标记样本属于完全不同的类别，需要将标记和未标记样本的标签分布扩展到相同的大小，具体来说，将L与Cu维度的零向量连接起来，将H与Cl维度的零向量连接起来；
给定混合数据集Dm及其伪标签EL，应用L2归一化损失来训练模型，旧分类器再训练的损失函数可以形式化为：
其中nm是一个批次中的样本数，已知类和新类的联合分布在训练过程中注入了额外的弱监督，抑制新类上的错误标签错误；
步骤6、将待检测的类别未知的滚动轴承数据输入步骤5训练好的模型，获得故障类别。
2.根据权利要求1所述的基于跨域关联性表示的滚动轴承未知故障检测方法，其特征在于，所述因果推理模块使用do算子消除了故障数据集中的样本中混杂特征的影响，具体如下：
首先，将故障数据集中的样本中导致故障的主要特征记为M，导致故障的次要特征记为B，发生故障的记为F，箭头代表不同对象之间的因果关系，构造故障数据集中的样本的特征与故障的因果图，B→F表示次要特征导致故障，M→F表示主要特征导致故障，B→M→F表示次要特征的存在导致主要特征发生，然后导致故障发生；此时，故障发生的因果关系可以表示为：
P(F|M)＝∑bP(F|M，B)P(M|B)；
其中P(F|M)表示主要特征存在时发生故障的概率，P(F|M，B)表示主要特征和次要特征同时存在时发生故障的概率，P(M|B)表示次要特征存在时主要特征出现的概率；
然后使用后门调整来观察混杂因素并对其进行分层，具体是，对次要特征B进行分层，即B＝{bi′，i′＝1，…，n}，其中每个bi′是次要特征B知识的一个分层，在每个特征层bi′中，分别计算主要特征M和故障F之间的关系，之后计算这些因果效应的平均值，并根据各个特征层在总体的分布频率进行加权求和，得到整体的因果效应：
其中P(B)表示次要特征出现的概率；P(F|do(M))表示使用do算子消除了混杂特征后发生故障的概率；
当使用后门调整来观察数据时，通过完全随机选择样本来消除混杂因素，do算子根据次要特征B主动分层，切断了从次要特征B到主要特征M的路径。
3.根据权利要求1所述的基于跨域关联性表示的滚动轴承未知故障检测方法，其特征在于，步骤5中对比分类损失函数lall表示为：
lall＝lce+αlcon；
其中α是一个超参数，lce为交叉熵损失，lcon为对比损失，
具体来说，交叉熵公式如下：
其中C＝l+u，yc和pc分别是第c个元素的标签y和第c个元素的模型预测结果；
给定一个集合A＝{ai″，i″＝1，...，NA}，集合中的所有数据都属于同一个类别，对比损失的目标是在给定集合A中的样本a1的情况下，确定样本x是否与a1属于同一类，基于对同一类别样本之间相似性的考虑，对比损失函数可以形式化为：
其中表示余弦相似度，Zs，Zk′，Zt表示样本特征，τ表示温度参数。
CN202310410207.5A 2023-04-18 2023-04-18 基于跨域关联性表示的滚动轴承未知故障检测方法 Active CN116150635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310410207.5A CN116150635B (zh) 2023-04-18 2023-04-18 基于跨域关联性表示的滚动轴承未知故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310410207.5A CN116150635B (zh) 2023-04-18 2023-04-18 基于跨域关联性表示的滚动轴承未知故障检测方法

Publications (2)

Publication Number Publication Date
CN116150635A CN116150635A (zh) 2023-05-23
CN116150635B true CN116150635B (zh) 2023-07-25

Family

ID=86350957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310410207.5A Active CN116150635B (zh) 2023-04-18 2023-04-18 基于跨域关联性表示的滚动轴承未知故障检测方法

Country Status (1)

Country Link
CN (1) CN116150635B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821737B (zh) * 2023-06-08 2024-04-30 哈尔滨工业大学 基于改进弱监督多特征融合的裂纹声发射信号识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358125A (zh) * 2021-12-03 2022-04-15 华南理工大学 一种基于多源信息深度融合的旋转机械故障自动识别方法
CN115358259A (zh) * 2022-07-27 2022-11-18 燕山大学 一种基于自学习的无监督跨工况轴承故障诊断方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007004123D1 (de) * 2007-10-24 2010-02-11 Abb Research Ltd Verfahren zur Detektion und automatischen Identifikation von Beschädigungen an Wälzlagern
SE1000313A1 (sv) * 2010-03-30 2011-09-20 Rubico Ab Metod för feldetektion av rullningslager genom förhöjning av statistisk asymmetri
CN110489254B (zh) * 2019-07-13 2022-06-14 西北工业大学 基于深度随机森林算法的大型飞机航空大数据故障检测与因果推理系统及方法
CN111079836B (zh) * 2019-12-16 2022-10-04 浙江大学 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN111562108A (zh) * 2020-05-09 2020-08-21 浙江工业大学 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
US20220027672A1 (en) * 2020-07-27 2022-01-27 Nvidia Corporation Label Generation Using Neural Networks
KR102374817B1 (ko) * 2021-03-05 2022-03-16 경북대학교 산학협력단 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템
CN113255437A (zh) * 2021-04-12 2021-08-13 中国民航大学 滚动轴承深度卷积稀疏自动编码器故障诊断方法
CN113746663B (zh) * 2021-06-07 2022-08-16 西安交通大学 机理数据双驱动结合的性能劣化故障根因定位方法
CN113792758B (zh) * 2021-08-18 2023-11-07 中国矿业大学 一种基于自监督学习和聚类的滚动轴承故障诊断方法
CN113741394B (zh) * 2021-09-06 2023-08-15 河海大学 一种基于半监督式增量学习的工业设备故障诊断系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358125A (zh) * 2021-12-03 2022-04-15 华南理工大学 一种基于多源信息深度融合的旋转机械故障自动识别方法
CN115358259A (zh) * 2022-07-27 2022-11-18 燕山大学 一种基于自学习的无监督跨工况轴承故障诊断方法

Also Published As

Publication number Publication date
CN116150635A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Zhang et al. Open-set domain adaptation in machinery fault diagnostics using instance-level weighted adversarial learning
CN113935406B (zh) 基于对抗流模型的机械设备无监督故障诊断方法
CN114048568B (zh) 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法
CN116150635B (zh) 基于跨域关联性表示的滚动轴承未知故障检测方法
CN114358125B (zh) 一种基于多源信息深度融合的旋转机械故障自动识别方法
CN113553906A (zh) 基于类中心域对齐的判别无监督跨域行人重识别方法
Shah et al. Modeldiff: A framework for comparing learning algorithms
CN115791174B (zh) 一种滚动轴承异常诊断方法、系统、电子设备及存储介质
US10650277B2 (en) Apparatus and method for training a learning system to detect event
CN110912917A (zh) 恶意url检测方法及系统
CN110717602B (zh) 一种基于噪音数据的机器学习模型鲁棒性评估方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
Lee et al. Open-set recognition with gradient-based representations
Deng et al. Anovl: Adapting vision-language models for unified zero-shot anomaly localization
Jiang et al. Dynamic proposal sampling for weakly supervised object detection
Ghanmi et al. Table detection in handwritten chemistry documents using conditional random fields
Sun et al. Air leakage detection of pneumatic train door subsystems using open set recognition
Bhardwaj et al. A human-AI loop approach for joint keyword discovery and expectation estimation in micropost event detection
CN113158878B (zh) 一种基于子空间的异构迁移故障诊断方法、系统和模型
CN113723476B (zh) 一种基于融合不定核特征提取的LightGBM变压器故障诊断方法
Sharma et al. Robust and Uncertainty-Aware VAE (RU-VAE) for One-Class Classification
CN114708470A (zh) 违规图片的识别方法、介质和计算设备
CN111832640A (zh) 域自适应中基于二分类器检测目标域相似类的方法
Ma et al. An optical image-aided approach for zero-shot SAR image scene classification
Sun et al. A weak prior embedding-based method for transfer fault diagnosis of rolling bearing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant