CN117056678B - 一种基于小样本的机泵设备运行故障诊断方法及装置 - Google Patents
一种基于小样本的机泵设备运行故障诊断方法及装置 Download PDFInfo
- Publication number
- CN117056678B CN117056678B CN202311315369.7A CN202311315369A CN117056678B CN 117056678 B CN117056678 B CN 117056678B CN 202311315369 A CN202311315369 A CN 202311315369A CN 117056678 B CN117056678 B CN 117056678B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training
- classifier
- pump equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003745 diagnosis Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 45
- 238000007637 random forest analysis Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000012545 processing Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
- F04B—POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS
- F04B51/00—Testing machines, pumps, or pumping installations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开揭示了一种基于小样本的机泵设备运行故障诊断方法及装置,其方法包括:采集机泵设备运行的小样本数据;对机泵设备运行的小样本数据预处理;构建并训练教师模型;构建学生模型,根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。本公开基于小样本数据、通过构建教师模型对学生模型进行监督训练,能够实现高准确性的机泵设备故障诊断。
Description
技术领域
本公开属于小样本故障检测领域,具体涉及一种基于小样本的机泵设备运行故障诊断方法及装置。
背景技术
在机泵设备运行过程中,由于种种原因,如设备老化、外力破坏、误操作等,都可能导致设备出现故障。传统的设备运行故障诊断方法一般基于大量的历史数据进行分析,需要大量的数据和时间来训练模型,而且在小样本情况下,往往会导致准确性下降。
因此,如何在小样本情况下准确地检测和诊断设备故障,对保障设备的正常运行至关重要。目前,关于小样本设备故障诊断的研究主要集中在数据挖掘和深度学习领域。
发明内容
针对现有技术中的不足,本公开的目的在于提供一种基于小样本的机泵设备运行故障诊断方法,利用某机泵设备的振动信号数据,该方法能够基于小样本数据实现高准确性的机泵设备故障诊断。需要说明的是,本公开所指的小样本是指十几个至一百个之间的样本量。
为实现上述目的,本公开提供以下技术方案:
一种基于小样本的机泵设备运行故障诊断方法,包括如下步骤:
采集机泵设备运行的小样本数据;
对机泵设备运行的小样本数据预处理;
构建并训练教师模型,所述教师模型包括XGBoost分类器、随机森林分类器和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备故障概率;
构建学生模型,根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
优选的,所述对机泵设备运行的小样本数据预处理包括以下步骤:数据清洗、数据筛选和数据组合。
优选的,所述教师模型输出的机泵设备运行数据的故障概率分布表示为:
其中,表示教师模型输出的概率分布,表示教师模型,表示组合
策略,T1、T2、T3分别表示XGBoost分类器、随机森林分类器和SVM分类器。
优选的,所述教师模型通过以下方法训练:
构建故障数据集,对数据集进行故障标注,将标注好的数据集划分为训练集和测试集;
设置训练参数,利用训练集对教师模型进行训练,在模型训练过程中,计算模型的Softmax损失函数,当损失函数收敛,训练结束;
利用测试集对教师模型进行测试,在测试过程中,当准确率达到90%及以上,模型测试通过;否则调整训练参数重新对模型进行训练。
优选的,所述学生模型包括输入层、全连接DNN网络和输出层。
优选的,所述根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练包括以下步骤:
以教师模型输出的机泵设备故障概率分布作为伪标签,将伪标签和用于教师模型训练的数据集作为混合训练集对学生模型进行训练;
在训练的过程中,使用交叉熵损失函数和知识蒸馏损失函数对学生模型的训练进行约束,得到训练好的学生模型。
优选的,所述交叉熵损失函数Lce表示为:
其中,ys是学生模型的预测结果,y是学生模型的真实标签,是样本数量,是标
签的维度,是第个样本的第个标签的真实值,是学生模型对第个样本的第个标
签的预测值。
优选的,所述知识蒸馏损失函数Lkd表示为:
其中,PT是教师模型的输出概率分布,PS是学生模型的输出概率分布,是温度参
数,是学生模型对第个样本的第个标签的预测概率,是教师模型对第个样本的第个标签的输出概率,M是标签的维度,是样本数量。
本公开还提供一种基于小样本的机泵设备运行故障诊断装置,包括:
采集模块,用于采集机泵设备运行的小样本数据;
预处理模块,用于对机泵设备运行的小样本数据预处理;
教师模型构建模块,用于构建并训练教师模型,所述教师模型包括XGBoost分类器、随机森林分类器和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备故障概率;
学生模型构建模块,用于构建学生模型,并根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
诊断模块,用于将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
与现有技术相比,本公开带来的有益效果为:
1、本公开相比传统的机器学习算法能够将故障诊断准确率从85.6%提高的92.8%,能够基于小样本实现高准确性的机泵设备故障诊断;
2、学生模型的训练运行时间相比教师模型从121.3s减少到64.3s,减少了53%,从而有效的减少了模型的训练成本。
附图说明
图1为本公开一个实施例提供的一种基于小样本的机泵设备运行故障诊断方法识别方法的流程图;
图2为本公开一个实施例提供的教师模型和学生模型的结构示意图。
具体实施方式
下面将参照附图1至图2详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例,然而应当理解,可以通过各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式,而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本公开的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本公开的范围。本公开的保护范围当视所附权利要求所界定者为准。
为便于对本公开实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本公开实施例的限定。
一个实施例中,如图1所示,本公开提出一种基于小样本的机泵设备运行故障诊断方法识别方法,包括如下步骤:
采集机泵设备运行的小样本数据,具体包括温度、压力、流量、电流和电压数据;
对机泵设备运行的小样本数据预处理;
构建并训练教师模型;
构建学生模型,根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
本实施例通过采用教师模型对学生模型进行监督训练,能够实现基于小样本数据以提高机泵设备故障诊断的准确性。
另一个实施例中,所述对机泵设备运行的小样本数据预处理包括以下步骤:数据清洗、数据筛选和数据组合。
本实施例中,首先,对小样本数据进行清洗,包括使用删除、插值或填充等方法对缺失值进行清洗处理,通过观察数据分布、箱线图等方法,识别并处理异常数据、通过标准化将不同特征数据进行统一,避免特征值大小的不同对模型造成影响;
其次,对清洗后的数据通过使用相关性分析、方差分析、特征重要性评估等方法进行筛选,提取出对模型训练有帮助的数据特征,以减少数据维度和冗余信息,从而提高模型的效率和精度;
最后,在数据清洗和筛选的基础上,将筛选出的数据组合成矩阵,以作为后续模型训练的输入数据。
另一个实施例中,所述教师模型包括XGBoost分类器、随机森林分类器(RF)和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备不同故障的概率,具体为:根据各个分类器在数据集上的性能表现(及各分类器对于同一个数据集的预测概率)对各个分类器赋予不同的权重,再对各个分类器的预测结果进行加权平均,从而得到机泵设备最终的故障概率输出。
本实施例中,对于某个机泵设备故障概率的数据集,XGBoost分类器、随机森林分类器和SVM分类器在该数据集上分别训练得到的预测概率分别为:P_xgb,P_rf和P_svm。可以使用验证集来评估每个分类器的性能,并根据性能决定权重。假设XGBoost分类器、随机森林分类器和SVM分类器得到的权重分别为:w_xgb,w_rf,w_svm。最后,将加权平均这三个分类器的预测结果,得到最终的概率输出为P_final=w_xgb*P_xgb+w_rf*P_rf+w_svm*P_svm。最终的输出P_final是一个组合预测概率,表示机泵设备的故障概率。
以上所述的教师模型能够从小样本数据中学习到机泵设备运行状态的特征,比如温度的波动、压力的变化趋势、流量的峰值等等。教师模型通过统计分析和机器学习算法,从小样本数据中发现隐藏的规律和模式,并将这些特征用于机泵设备故障预测。
另一个实施例中,所述教师模型输出的机泵设备运行数据的故障概率分布表示为:
其中,表示教师模型输出的概率分布,表示教师模型,表示组合
策略,T1、T2、T3分别表示XGBoost分类器、随机森林分类器和SVM分类器。
另一个实施例中,所述教师模型通过以下方法训练:
构建故障数据集,对数据集进行故障标注,将标注好的数据集划分为训练集和测试集;
设置训练参数(XGBoost分类器的训练参数主要包括learning_rate(学习率)、max_depth(最大深度);随机森林分类器的训练参数主要包括n_estimators(迭代次数)、max_features(最大特征数);SVM分类器的训练参数主要包括C(惩罚参数)、kernel(核函数)),利用训练集对教师模型进行训练,在训练过程中,计算模型的Softmax损失函数,当损失函数收敛,训练结束;
利用测试集对教师模型进行测试,在测试过程中,当准确率达到90%及以上,模型测试通过;否则调整训练参数重新对模型进行训练。
另一个实施例中,所述Softmax损失函数表示如下:
L(y,p)=-Σ[y_i*log(p_i)]
其中,L(y, p)表示实际标签y和模型预测p之间的损失值,y_i表示实际的类别标签向量中的第i个元素,p_i表示模型对第i个类别的预测概率。
另一个实施例中,所述学生模型包括输入层、全连接DNN网络和输出层。
本实施例中,输入层包括20个神经元,分别对应20个故障特征;输出层包括6个神经元,分别对应10种故障类型;全连接DNN网络包括隐藏层1、隐藏层2和隐藏层3,并使用ReLU作为激活函数。本实施例使用Adam优化器和交叉熵损失函数来训练DNN,并且在训练过程中加入了知识蒸馏的损失项,以提高学习效率和泛化能力。
学生模型的网络结构具体如下:
输入层:20个故障特征输入;
隐藏层1:包括128个神经元,使用ReLU作为激活函数;
隐藏层2:包括64个神经元,使用ReLU作为激活函数;
隐藏层3:包括32个神经元,使用ReLU作为激活函数;
输出层:包括10个神经元,使用softmax作为激活函数。
下面,本公开就关于全连接DNN网络对小样本数据进行故障预测的过程进行如下表述:
1、将原始小样本数据输入DNN,并以教师模型的输出结果(Teacher Logits)作为学生模型的训练目标;
2、使用知识蒸馏的方法,使用蒸馏损失函数(distillation loss)用于指导学生模型学习教师模型的输出;
3、训练出的学生模型能够学习到教师模型的预测结果,并且在保证预测效果的同时,可以减少模型参数规模,适用于小样本数据集;
4、输出结果为学生模型对输入数据的预测值向量,即小样本中的故障概率分布。
另一个实施例中,所述根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练包括以下步骤:
以教师模型输出的机泵设备故障概率分布作为伪标签,将伪标签和原始标注好的数据集作为混合训练集对学生模型进行训练;
在训练的过程中,使用交叉熵损失函数Lce和知识蒸馏损失函数Lkd对学生模型的训练进行约束,得到训练好的学生模型。
本实施例中,交叉熵损失函数表示了学生模型在真实标签上的表现,即学生模型的预测结果与真实标签的差异,具体表示为:
其中,ys是学生模型的预测结果,y是学生模型的真实标签,是样本数量,是标
签的维度,是第个样本的第个标签的真实值,是学生模型对第个样本的第个标
签的预测值。
知识蒸馏损失函数表示了学生模型的输出概率分布与教师模型的输出概率分布之间的差异,具体表示为:
其中,PT是教师模型的输出概率分布,PS是学生模型的输出概率分布,是温度参
数,是学生模型对第个样本的第个标签的预测概率,是教师模型对第个样本的第个标签的输出概率,M是标签的维度,是样本数量。知识蒸馏的目标是使得学生模型的
输出概率分布尽可能接近教师模型的输出概率分布,通过引入温度参数来控制这个过程
的平滑程度。
学生模型的总损失函数为交叉熵损失函数和知识蒸馏损失函数的加权和,表示为:
其中,是超参数,用于平衡两个损失函数。
此外,需要说明的是,约束学生模型的程度可以通过调整损失函数的权重来控制。在训练过程中,交叉熵损失函数和知识蒸馏损失函数的权重可以根据具体任务和需求进行设置。较高的知识蒸馏损失函数权重会更强制地约束学生模型与教师模型的一致性,但可能导致模型过度拟合教师模型,限制了学生模型的自主学习能力。较低的权重则更允许学生模型根据自身的特点进行学习,但可能会导致学生模型无法充分学习到教师模型的知识。当学生模型在验证集或测试集上的性能表现均达到90%以上,且损失函数趋于稳定或下降到一定阈值,并且模型参数不再显著变化,模型训练结束。
另一个实施例中,本公开还提供一种执行前文所述的基于小样本的机泵设备运行故障诊断方法的故障诊断装置,包括:
采集模块,用于采集机泵设备运行的小样本数据;
预处理模块,用于对机泵设备运行的小样本数据预处理;
教师模型构建模块,用于构建并训练教师模型,所述教师模型包括XGBoost分类器、随机森林分类器和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备故障概率;
学生模型构建模块,用于构建学生模型,并根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
诊断模块,用于将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
本公开申请人结合说明书附图对本公开的实施方案进行了详细的描述,但是本领域的技术人员应该理解,以上实施方案仅为本公开优选的实施示例,并不仅仅局限于上述的具体实施方案。详尽的说明知识为了帮助读者更好地理解本公开精神,而并非对本公开保护范围的限制,相反,任何基于本公开的发明精神所作的任何改进或变动都应当包含在本公开的保护范围之中。
Claims (3)
1.一种基于小样本的机泵设备运行故障诊断方法,其特征在于,所述方法包括如下步骤:
采集机泵设备运行的小样本数据;
对机泵设备运行的小样本数据预处理;
所述对机泵设备运行的小样本数据预处理包括以下步骤:
数据清洗:使用删除、插值或填充方法对小样本数据中的缺失值进行清洗处理,通过观察数据分布、箱线图方法识别并处理异常数据、通过标准化将不同特征数据进行统一;
数据筛选:对清洗后的数据通过使用相关性分析、方差分析、特征重要性评估方法进行筛选,提取出对模型训练有帮助的数据特征;
数据组合:在数据清洗和筛选的基础上,将筛选出的数据组合成矩阵,以作为后续模型训练的输入数据;
构建并训练教师模型,所述教师模型包括XGBoost分类器、随机森林分类器和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备故障概率,所述加权平均的组合策略具体为:根据各个分类器在数据集上的性能表现及各分类器对于同一个数据集的预测概率对各个分类器赋予不同的权重,再对各个分类器的预测结果进行加权平均,从而得到机泵设备最终的故障概率输出;
所述教师模型通过以下步骤进行训练:
构建故障数据集,对数据集进行故障标注,将标注好的数据集划分为训练集和测试集;
设置训练参数,利用训练集对教师模型进行训练,在模型训练过程中,计算模型的Softmax损失函数,当损失函数收敛,训练结束;
所述Softmax损失函数表示如下:
L(y,p)=-Σ[y_i*log(p_i)]
其中,L(y, p)表示实际标签y和模型预测p之间的损失值,y_i表示实际的类别标签向量中的第i个元素,p_i表示模型对第i个类别的预测概率;
利用测试集对教师模型进行测试,在测试过程中,当准确率达到90%及以上,模型测试通过;否则调整训练参数重新对模型进行训练;
构建学生模型,根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
所述学生模型包括输入层、全连接DNN网络和输出层,
其中,
所述输入层包括20个神经元,分别对应20个故障特征;
所述输出层包括6个神经单元,分别对应10种故障特征,所述输出层使用softmax作为激活函数;
所述全连接DNN网络包括隐藏层1、隐藏层2和隐藏层3,
所述隐藏层1包括128个神经元,使用ReLU作为激活函数;
所述隐藏层2包括64个神经元,使用ReLU作为激活函数;
所述隐藏层3包括32个神经元,使用ReLU作为激活函数;
所述根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练包括以下步骤:
以教师模型输出的机泵设备故障概率分布作为伪标签,将伪标签和原始标注好的数据集作为混合训练集对学生模型进行训练;
在训练的过程中,使用交叉熵损失函数Lce和知识蒸馏损失函数Lkd对学生模型的训练进行约束,得到训练好的学生模型;
所述交叉熵损失函数Lce表示为:
;
其中,ys是学生模型的预测结果,y是学生模型的真实标签,是样本数量,/>是标签的维度,/>是第/>个样本的第/>个标签的真实值,/>是学生模型对第/>个样本的第/>个标签的预测值;
所述知识蒸馏损失函数表示为:
;
其中,PT是教师模型的输出概率分布,PS是学生模型的输出概率分布,是温度参数,是学生模型对第/>个样本的第/>个标签的预测概率,/>是教师模型对第/>个样本的第/>个标签的输出概率,M是标签的维度,/>是样本数量;通过引入温度参数/>来控制这个过程的平滑程度;
所述学生模型的总损失函数为交叉熵损失函数和知识蒸馏损失函数的加权和,表示为:
;
其中,是超参数,用于平衡两个损失函数;
将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
2.根据权利要求1所述的方法,其特征在于,所述教师模型输出的机泵设备运行数据的故障概率分布表示为:
;
其中,表示教师模型输出的概率分布,/>表示教师模型,/>表示组合策略,T 1 、T 2 、T 3 分别表示XGBoost分类器、随机森林分类器和SVM分类器。
3.一种用于实施如权利要求1所述方法的基于小样本的机泵设备运行故障诊断装置,其特征在于,所述装置包括:
采集模块,用于采集机泵设备运行的小样本数据;
预处理模块,用于对机泵设备运行的小样本数据预处理;
教师模型构建模块,用于构建并训练教师模型,所述教师模型包括XGBoost分类器、随机森林分类器和SVM分类器,XGBoost分类器、随机森林分类器和SVM分类器通过加权平均的组合策略输出机泵设备故障概率;
学生模型构建模块,用于构建学生模型,并根据知识蒸馏法通过训练好的教师模型对学生模型进行监督训练;
诊断模块,用于将预处理后的小样本数据输入训练好的学生模型中,以对机泵设备进行故障诊断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311315369.7A CN117056678B (zh) | 2023-10-12 | 2023-10-12 | 一种基于小样本的机泵设备运行故障诊断方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311315369.7A CN117056678B (zh) | 2023-10-12 | 2023-10-12 | 一种基于小样本的机泵设备运行故障诊断方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117056678A CN117056678A (zh) | 2023-11-14 |
CN117056678B true CN117056678B (zh) | 2024-01-02 |
Family
ID=88664857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311315369.7A Active CN117056678B (zh) | 2023-10-12 | 2023-10-12 | 一种基于小样本的机泵设备运行故障诊断方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117056678B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117332342B (zh) * | 2023-11-29 | 2024-02-27 | 北京宝隆泓瑞科技有限公司 | 一种基于半监督学习的机泵设备运行故障分类方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283386A (zh) * | 2021-05-25 | 2021-08-20 | 中国矿业大学(北京) | 一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法 |
CN115526226A (zh) * | 2022-07-29 | 2022-12-27 | 浙江工业大学 | 一种基于时序特征的联邦蒸馏小样本故障诊断方法 |
WO2023030520A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像分类模型的训练方法、图像分类方法和装置 |
CN116451079A (zh) * | 2023-04-19 | 2023-07-18 | 贵州电网有限责任公司 | 一种面向超算平台的电力变压器故障声音诊断方法 |
-
2023
- 2023-10-12 CN CN202311315369.7A patent/CN117056678B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283386A (zh) * | 2021-05-25 | 2021-08-20 | 中国矿业大学(北京) | 一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法 |
WO2023030520A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像分类模型的训练方法、图像分类方法和装置 |
CN115526226A (zh) * | 2022-07-29 | 2022-12-27 | 浙江工业大学 | 一种基于时序特征的联邦蒸馏小样本故障诊断方法 |
CN116451079A (zh) * | 2023-04-19 | 2023-07-18 | 贵州电网有限责任公司 | 一种面向超算平台的电力变压器故障声音诊断方法 |
Non-Patent Citations (2)
Title |
---|
HAMIDINEKOO A, et al.Deep learning in mammography and breast histology,an overview and future trends.Medical Image Analysis.2018,全文. * |
基于加权综合损失优化深度学习和DGA的变压器故障诊断方法;王伟;唐庆华;刘力卿;李敏;谢军;;南方电网技术(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117056678A (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
CN113255848B (zh) | 基于大数据学习的水轮机空化声信号辨识方法 | |
CN102707256B (zh) | 基于BP-AdaBoost神经网络的电子式电能表故障诊断方法 | |
Wu et al. | A transformer-based approach for novel fault detection and fault classification/diagnosis in manufacturing: A rotary system application | |
WO2019071384A1 (en) | INTELLIGENT SYSTEMS AND METHODS FOR THE TREATMENT AND EVALUATION OF SANITATION DIAGNOSIS, DETECTION AND CONTROL OF ANOMALY IN WASTEWATER TREATMENT FACILITIES OR IN DRINKING WATER FACILITIES | |
CN111505424A (zh) | 一种基于深度卷积神经网络的大型实验装置电力设备故障诊断方法 | |
CN106017876A (zh) | 基于等权局部特征稀疏滤波网络的轮对轴承故障诊断方法 | |
CN117056678B (zh) | 一种基于小样本的机泵设备运行故障诊断方法及装置 | |
CN109813542A (zh) | 基于生成式对抗网络的空气处理机组的故障诊断方法 | |
CN112504682A (zh) | 基于粒子群优化算法的底盘发动机故障诊断方法及系统 | |
CN112507479B (zh) | 一种基于流形学习和softmax的石油钻机健康状态评估方法 | |
CN111122811A (zh) | 一种oica和rnn融合模型的污水处理过程故障监测方法 | |
CN115407753B (zh) | 一种多变量加权集成学习的工业故障诊断方法 | |
CN114819102A (zh) | 基于gru的空调设备故障诊断方法 | |
CN116400168A (zh) | 一种基于深度特征聚类的电网故障诊断方法及系统 | |
CN114841199A (zh) | 配电网故障诊断方法、装置、设备及可读存储介质 | |
CN115758083A (zh) | 一种基于时域和时频域融合的电机轴承故障诊断方法 | |
Li et al. | Intelligent fault diagnosis of aeroengine sensors using improved pattern gradient spectrum entropy | |
Leauprasert et al. | Intelligent machine learning techniques for condition assessment of power transformers | |
CN117951646A (zh) | 一种基于边缘云的数据融合方法及系统 | |
Dang et al. | seq2graph: Discovering dynamic non-linear dependencies from multivariate time series | |
CN112365093A (zh) | 一种基于gru深度学习的多特征因子赤潮预测模型 | |
CN103400021A (zh) | 基于重尾分布的kdsne水电机组噪声源检测方法 | |
CN111553115A (zh) | 基于数据驱动的台风作用下大跨度桥梁振动响应预测方法 | |
CN112346956A (zh) | 一种针对深度学习程序进行神经元变异的测试方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |