CN111079836B - 基于伪标签方法和弱监督学习的过程数据故障分类方法 - Google Patents

基于伪标签方法和弱监督学习的过程数据故障分类方法 Download PDF

Info

Publication number
CN111079836B
CN111079836B CN201911295545.9A CN201911295545A CN111079836B CN 111079836 B CN111079836 B CN 111079836B CN 201911295545 A CN201911295545 A CN 201911295545A CN 111079836 B CN111079836 B CN 111079836B
Authority
CN
China
Prior art keywords
sample
label
layer
pseudo
unlabeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911295545.9A
Other languages
English (en)
Other versions
CN111079836A (zh
Inventor
葛志强
廖思奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911295545.9A priority Critical patent/CN111079836B/zh
Publication of CN111079836A publication Critical patent/CN111079836A/zh
Application granted granted Critical
Publication of CN111079836B publication Critical patent/CN111079836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于伪标签方法和弱监督学习的工业过程数据故障分类方法，它由多层感知器，BatchNormalization层，Dropout层和Softmax输出层组成的有监督分类网络和用于获取伪标签不准确情况的高斯混合模型组成；多层感知器能够从有标签数据中学习数据的特征表示，BatchNormalization层用于加速多层感知器模型的收敛，Dropout层用于防止多层感知器训练过拟合，Softmax输出层根据多层感知器提取的故障样本特征进行故障分类。本发明可以在获得有标签样本标签不准确且存在无标签样本场景进行建模，通过对有标签样本标签及基于伪标签方法给无标签样本预测的伪标签进行标签概率转移矩阵评估，并用于修正分类网络的损失函数，完成弱监督学习，从而提升模型对样本的分类精度。

Description

基于伪标签方法和弱监督学习的过程数据故障分类方法
技术领域
本发明属于工业过程故障诊断和分类领域，涉及一种基于伪标签方法和弱监督学习的故障分类方法。
背景技术
在工业过程监测中，当检测到故障发生后，需要对故障信息进行进一步分析，而故障分类是其中的一个重要环节，获得发生故障类别，有利于进行工业过程的恢复。
在传统的故障分类中，都需要样本具有标签，从而进行模型训练，然而，工业过程数据中，存在有标签样本的标签可能不准确，且样本标签缺失的情况，即部分样本是无标签的。伪标签方法是一种同时利用有标签样本和无标签样本的一种有效方法。但是伪标签方法没有考虑给无标签样本打上标签(伪标签)的准确性，把含伪标签样本放入网络进行建模，可能给模型带来噪声。因此，在实际建模中考虑有标签样本标签以及无标签样本伪标签的不准确性，对这种样本标签不准确的弱监督信息进行弱监督学习建模，能有利提高模型对故障样本的分类精度。
发明内容
针对目前工业过程中获得的有标签样本的标签可能并不准确及伪标签方法给无标签样本打的伪标签可能错标等问题，本发明提出了一种基于伪标签方法和弱监督学习的故障分类方法，该方法基于MLP，BatchNormalization层，Dropout层和Softmax输出层组成的分类网络和高斯混合模型，实现了对工业过程中故障样本的精确分类。
本发明具体技术方案如下：
一种基于伪标签方法和弱监督学习的故障分类方法，包括如下步骤：
步骤一：收集历史工业过程的有标签数据集和无标签数据集作为训练数据集，其中有标签数据集为含有故障类别标签的有标签数据集
Figure BDA0002320413920000011
无标签数据集
Figure BDA0002320413920000012
其中，xr为有标签数据样本，yr为该样本的标签，yr∈{1,2,...,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数。
步骤二：将步骤一中收集到的有标签数据集Dl标准化，即将有标签样本集Xl每个变量映射为均值为0，方差为1的样本集Xl_std，并通过one-hot编码将标签集Yl每个样本转化为一维向量，得到标准化有标签数据集
Figure BDA0002320413920000021
无标签样本集Du也进行同样的标准化，得到标准化无标签数据集
Figure BDA0002320413920000022
步骤三：根据伪标签方法，将标准化有标签数据集Dl_std作为输入，对MLP网络进行第一次有监督训练，训练好的网络对标准化无标签样本集Du_std推理得到无标签样本的伪标签集Yul，与无标签样本集Xu构成含伪标签集的无标签数据集；
步骤四：把有标签数据集和步骤三得到的含伪标签集的无标签数据集合并，得到Dn＝{[Xl,Xu],[Yl,Yul]}，按照步骤二的标准化方法将合并的数据集[Xl,Xu]标准化，并且通过one-hot编码将合并的标签集[Yl,Yul]的每个样本转化为一维向量，得到
Figure BDA0002320413920000023
再使用步骤三训练得到的MLP网络推理得到样本集X属于其标签
Figure BDA0002320413920000024
的后验概率；
步骤五：将步骤四得到的后验概率作为高斯混合模型的输入，对高斯混合模型进行弱监督学习训练，并用训练完成后高斯混合模型参数
Figure BDA0002320413920000025
来估计标签概率转移矩阵T，得到估计矩阵
Figure BDA0002320413920000026
步骤六：根据
Figure BDA0002320413920000027
修正步骤三得到的MLP网络的损失函数，以步骤四得到的数据集Dn_std作为输入，第二次有监督训练步骤三得到的MLP网络，完成弱监督学习，得到训练好的WS-MLP网络；
步骤七：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到标准化数据集dstd,输入到步骤六训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本类别，实现样本的故障分类。
进一步地，所述步骤三具体包括如下步骤：
(3.1)构建MLP网络，所述MLP网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}。
(3.2)有标签样本集Dl_std作为输入，对MLP网络进行有监督训练，其中使用交叉熵损失函数：
Figure BDA0002320413920000031
其中，(.)T代表转置操作，
Figure BDA0002320413920000032
是MLP网络的最后一层的表示。
损失函数通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
(3.3)用步骤(3.2)训练好的MLP网络对无标签样本集预测其类别，得到的标签称为伪标签：
Figure BDA0002320413920000033
其中，ec,c∈{1,2,…,K}表示在
Figure BDA0002320413920000034
空间上，第c个元素为1，其他元素为0的向量。
每个样本预测的伪标签
Figure BDA0002320413920000035
组合构成伪标签集Yul。
(3.4)将得到的伪标签集Yul与无标签样本集Xu构成含伪标签集的无标签数据集。
进一步地，所述步骤五具体包括如下步骤：
(5.1)MLP网络对无标签样本预测的伪标签存在预测错误的情况，因此每类样本是由标签准确的样本和标签错误的样本组成。作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同。并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
Figure BDA0002320413920000036
Figure BDA0002320413920000037
Figure BDA0002320413920000038
Figure BDA0002320413920000039
其中，
Figure BDA00023204139200000310
是样本集Dn_std的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,…,K}表示在
Figure BDA00023204139200000311
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure BDA00023204139200000312
和
Figure BDA00023204139200000313
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure BDA0002320413920000041
(5.2)对于不同类别样本子集
Figure BDA0002320413920000042
使用高斯混合模型建模：
Figure BDA0002320413920000043
Figure BDA0002320413920000044
其中，xi表示属于数据集
Figure BDA0002320413920000045
的样本数据，
Figure BDA0002320413920000046
表示
Figure BDA00023204139200000417
表示除类别i外的其他类别。
(5.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure BDA0002320413920000048
即
Figure BDA0002320413920000049
期望步(E步)时，计算Q函数：
Figure BDA00023204139200000410
其中t为迭代次数。
计算模型对于观测数据
Figure BDA00023204139200000411
的责任度
Figure BDA00023204139200000412
Figure BDA00023204139200000413
其中，
Figure BDA00023204139200000414
表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
Figure BDA00023204139200000415
Figure BDA00023204139200000416
Figure BDA0002320413920000051
其中，Si表示
Figure BDA0002320413920000052
样本个数。
E步和M步交替迭代到模型参数收敛或者预设的最大迭代次数。求解出
Figure BDA0002320413920000053
即
Figure BDA0002320413920000054
(5.4)根据公式
Figure BDA0002320413920000055
求解得到混合系数
Figure BDA0002320413920000056
并用此来得到标签概率转移矩阵T的估计值
Figure BDA0002320413920000057
Figure BDA0002320413920000058
Figure BDA0002320413920000059
其中，
Figure BDA00023204139200000510
表示估计矩阵
Figure BDA00023204139200000511
的第i行第k列的元素。
进一步地，所述步骤六中，MLP第二次训练使用修正损失函数为：
Figure BDA00023204139200000512
其中，T代表真实的标签概率转移矩阵，并且真实训练时使用估计矩阵
Figure BDA00023204139200000513
代替式中T。
通过损失通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
本发明的有益效果是，本发明可以在获得有标签样本标签不准确且存在无标签样本场景进行建模，通过对有标签样本标签及基于伪标签方法给无标签样本预测的伪标签进行标签概率转移矩阵评估，并用于修正分类网络的损失函数，完成弱监督学习，从而提升模型对样本的分类精度。
附图说明
图1是基于伪标签方法和弱监督学习的流程图；
图2是Tennessee Eastman(TE)过程流程图；
图3是MLP网络、基于伪标签方法的MLP网络和基于伪标签方法和弱监督学习的MLP网络对5类TE过程故障情况在有标签比例分别为0.05,0.1,0.2,0.3下的分类精度对比图。
具体实施方式
下面结合具体实施方式对本发明基于弱监督学习的故障分类方法作进一步的详述。
一种基于伪标签方法和弱监督学习的故障分类方法，该方法基于伪标签方法和弱监督学习的训练过程可以分为二个阶段：
(1)基于伪标签方法的MLP有标签样本学习阶段
MLP网络对有标签样本集Dl_std进行有监督训练，并使用交叉熵损失函数：
Figure BDA0002320413920000061
其中，(.)T代表转置操作，
Figure BDA0002320413920000062
是MLP网络的最后一层的表示，θ为MLP网络参数。
损失通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
用训练好的MLP网络对无标签样本集预测其类别，得到的标签称为伪标签：
Figure BDA0002320413920000063
其中，ec,c∈{1,2,…,K}表示在
Figure BDA0002320413920000064
空间上，第c个元素为1，其他元素为0的向量。
每个样本预测的伪标签
Figure BDA0002320413920000065
组合构成伪标签集Yul。
(2)弱监督学习阶段
弱监督学习将考虑有标签样本的标签及无标签样本的伪标签不准确的情况，并把有标签样本和含伪标签的无标签样本统一称作不准确标签样本集Dn＝{[Xl,Xu],[Yl,Yul]}。弱监督学习阶段包含估计标签概率转移矩阵T和MLP模型第二次训练。具体做法为：
由于模型对无标签样本预测的伪标签存在预测错误的情况，每类样本是由标签准确的样本和标签错误的样本组成，作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同；并且假设模型具有感知一致性，即模型对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
Figure BDA0002320413920000066
Figure BDA0002320413920000067
Figure BDA0002320413920000068
Figure BDA0002320413920000069
其中，
Figure BDA00023204139200000610
是样本集Dn_std的一个样本表示，y是该样本潜在的真实标签，ei,i∈{1,2,…,K}表示在
Figure BDA00023204139200000611
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure BDA0002320413920000071
和
Figure BDA0002320413920000072
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure BDA0002320413920000073
对于不同类别样本子集
Figure BDA0002320413920000074
使用高斯混合模型建模：
Figure BDA0002320413920000075
Figure BDA0002320413920000076
其中，xi表示属于数据集
Figure BDA0002320413920000077
的样本数据，
Figure BDA0002320413920000078
表示
Figure BDA00023204139200000718
表示除类别i外的其他类别。
建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure BDA00023204139200000710
即
Figure BDA00023204139200000711
期望步(E步)时，计算Q函数：
Figure BDA00023204139200000712
其中t为迭代次数。
计算模型对于观测数据
Figure BDA00023204139200000713
的责任度
Figure BDA00023204139200000714
Figure BDA00023204139200000715
其中，
Figure BDA00023204139200000716
表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
Figure BDA00023204139200000717
Figure BDA0002320413920000081
Figure BDA0002320413920000082
其中，Si表示
Figure BDA0002320413920000083
样本个数。
E步和M步交替迭代到模型参数收敛或者得到预设的最大迭代次数求得
Figure BDA0002320413920000084
即
Figure BDA0002320413920000085
最后根据公式
Figure BDA0002320413920000086
求解得到混合系数
Figure BDA0002320413920000087
并用此来得到标签概率转移矩阵T的估计值
Figure BDA0002320413920000088
Figure BDA0002320413920000089
Figure BDA00023204139200000810
其中，
Figure BDA00023204139200000811
表示估计矩阵
Figure BDA00023204139200000812
的第i行第k列的元素。
MLP第二次训练使用修正损失函数为：
Figure BDA00023204139200000813
其中，T代表真实的标签概率转移矩阵，并且真实训练时使用估计矩阵
Figure BDA00023204139200000814
代替式中T。
通过损失通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
基于上述伪标签方法和弱监督学习的故障分类方法建模流程如图1所示，步骤如下：
步骤一：收集历史工业过程的有标签数据集和无标签数据集作为训练数据集，其中有标签数据集为含有故障类别标签的有标签数据集
Figure BDA00023204139200000815
无标签数据集
Figure BDA00023204139200000816
其中，xr为有标签数据样本，yr为该样本的标签，yr∈{1,2,...,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数。
步骤二：将步骤一中收集到的有标签数据集Dl标准化，即Xl每个变量映射为成均值为0，方差为1的样本集Xl_std，并通过one-hot编码将标签集Yl每个样本转化为一维向量，得到标准化后的有标签数据集
Figure BDA0002320413920000091
无标签样本集Du也进行同样的标准化，得到标准化后的无标签数据集
Figure BDA0002320413920000092
步骤三：根据伪标签方法，将标准化有标签数据集Dl_std作为输入，对MLP网络进行第一次有监督训练，训练好的网络对标准化无标签样本集Du_std推理得到无标签样本的伪标签集Yul，与无标签样本集Xu构成含伪标签集的无标签数据集；
步骤四：把有标签数据集和步骤三得到的含伪标签集的无标签数据集合并，得到Dn＝{[Xl,Xu],[Yl,Yul]}，按照步骤二的标准化方法将合并的数据集[Xl,Xu]标准化，并且通过one-hot编码将合并的标签集[Yl,Yul]的每个样本转化为一维向量，得到
Figure BDA0002320413920000093
再使用步骤三训练得到的MLP网络推理得到样本集X属于其标签
Figure BDA0002320413920000094
的后验概率；
步骤五：将步骤四得到的后验概率作为高斯混合模型的输入，对高斯混合模型进行弱监督学习训练，并用训练完成后高斯混合模型参数
Figure BDA0002320413920000095
来估计标签概率转移矩阵T，得到估计矩阵
Figure BDA0002320413920000096
步骤六：根据
Figure BDA0002320413920000097
修正步骤三得到的MLP网络的损失函数，以步骤四得到的数据集Dn_std作为输入，第二次有监督训练步骤三得到的MLP网络，完成弱监督学习，得到训练好的WS-MLP网络；
步骤七：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到数据dstd,输入到步骤六训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本类别，实现样本的故障分类。
以下结合一个具体的TE过程的例子来说明基于伪标签方法和弱监督学习的故障分类方法的性能。TE过程是故障诊断与故障分类领域常用的标准数据集，整个数据集包括53个过程变量，其工艺流程如图2所示。该流程由气液分离塔，连续搅拌式反应釜，分凝器，离心式压缩机，再沸器等5个操作单元组成。
选取TE过程中的9种故障，表1给出了选取的这9类故障的具体情况。
表1：TE过程故障列表
Figure BDA0002320413920000098
Figure BDA0002320413920000101
针对该过程，将22种过程测量变量和12种控制变量共34个变量作为建模变量，在5类故障工况数据上测试分类性能。
其中MLP网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。MLP网络的的输入节点数为34，两个隐含层节点数分别为200,150，最后Softmax层节点数为5，BatchNormalization层的动量值均设为0.5，Dropout层节点丢失的比例均为0.5，使用初始学习率为0.001的Adam优化器，批次大小为110，迭代次数为30次。
每类故障有4800个样本，总共24000个样本。其中，训练集样本和测试集样本个数比例为3:1，即测试集有6000个样本。其中，训练集采取有标签比例分别为0.05,0.1,0.2,0.3进行建模。
为了评价该故障分类模型的分类效果，定义某类故障对应的分类F1指标，计算公式如下：
Figure BDA0002320413920000102
precision＝TP/(TP+FP)
recall＝TP/(TP+FN)
其中，TP为该类故障样本分类正确的样本数；FP为将其他类别样本误分为该类故障的样本数，FN为该类故障样本分类错误的样本数。
图3为只使用MLP网络、基于伪标签方法的MLP网络(Semi-MLP)和基于伪标签方法和弱监督学习的MLP网络(WS-MLP)的故障分类根据F1指标计算得到的分类精度的对比图。可以看出在不同有标签比例下，基于伪标签方法和弱监督学习的MLP网络都比MLP网络的分类精度高，而且，本发明的基于伪标签方法和弱监督学习的MLP网络分类效果都是更好的。

Claims (4)

1.一种基于伪标签方法和弱监督学习的故障分类方法，其特征在于，包括如下步骤：
步骤一：收集历史工业过程的有标签数据集和无标签数据集作为训练数据集，其中有标签数据集为含有故障类别标签的有标签数据集
Figure FDA0003744617950000011
无标签数据集
Figure FDA0003744617950000012
其中，xr为有标签数据样本，yr为该样本的标签，yr∈{1,2,…,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数；
步骤二：将步骤一中收集到的有标签数据集Dl标准化，即将有标签样本集Xl每个变量映射为均值为0，方差为1的样本集Xl_std，并通过one-hot编码将标签集Yl每个样本转化为一维向量，得到标准化有标签数据集
Figure FDA0003744617950000013
无标签样本集Du也进行同样的标准化，得到标准化无标签数据集
Figure FDA0003744617950000014
步骤三：根据伪标签方法，将标准化有标签数据集Dl_std作为输入，对MLP网络进行第一次有监督训练，训练好的网络对标准化无标签样本集Du_std推理得到无标签样本的伪标签集Yul，与无标签样本集Xu构成含伪标签集的无标签数据集；
步骤四：把有标签数据集和步骤三得到的含伪标签集的无标签数据集合并，得到Dn＝{[Xl,Xu],[Yl,Yul]}，按照步骤二的标准化方法将合并的数据集[Xl,Xu]标准化，并且通过one-hot编码将合并的标签集[Yl,Yul]的每个样本转化为一维向量，得到
Figure FDA0003744617950000015
再使用步骤三训练得到的MLP网络推理得到样本集X属于其标签
Figure FDA0003744617950000016
的后验概率；
步骤五：将步骤四得到的后验概率作为高斯混合模型的输入，对高斯混合模型进行弱监督学习训练，并用训练完成后高斯混合模型参数
Figure FDA0003744617950000017
来估计标签概率转移矩阵T，得到估计矩阵
Figure FDA0003744617950000018
步骤六：根据
Figure FDA0003744617950000019
修正步骤三得到的MLP网络的损失函数，以步骤四得到的数据集Dn_std作为输入，第二次有监督训练步骤三得到的MLP网络，完成弱监督学习，得到训练好的WS-MLP网络；
步骤七：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到标准化数据集dstd,输入到步骤六训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本类别，实现样本的故障分类。
2.根据权利要求1所述的故障分类方法，其特征在于，所述步骤三具体包括如下步骤：
(3.1)构建MLP网络，所述MLP网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成；其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}；
(3.2)有标签样本集Dl_std作为输入，对MLP网络进行有监督训练，其中使用交叉熵损失函数：
Figure FDA0003744617950000021
其中，(.)T代表转置操作，
Figure FDA0003744617950000022
是MLP网络的最后一层的表示；
损失函数通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练；
(3.3)用步骤(3.2)训练好的MLP网络对无标签样本集预测其类别，得到的标签称为伪标签：
Figure FDA0003744617950000023
其中，ec,c∈{1,2,…,K}表示在
Figure FDA0003744617950000024
空间上，第c个元素为1，其他元素为0的向量；
每个样本预测的伪标签
Figure FDA0003744617950000025
组合构成伪标签集Yul；
(3.4)将得到的伪标签集Yul与无标签样本集Xu构成含伪标签集的无标签数据集。
3.根据权利要求1所述的故障分类方法，其特征在于，所述步骤五具体包括如下步骤：
(5.1)MLP网络对无标签样本预测的伪标签存在预测错误的情况，因此每类样本是由标签准确的样本和标签错误的样本组成；作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同；并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布；
根据假设，可以得到：
Figure FDA0003744617950000031
Figure FDA0003744617950000032
Figure FDA0003744617950000033
Figure FDA0003744617950000034
其中，
Figure FDA0003744617950000035
是样本集Dn_std的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,…,K}表示在
Figure FDA0003744617950000036
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure FDA0003744617950000037
和
Figure FDA0003744617950000038
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure FDA0003744617950000039
(5.2)对于不同类别样本子集
Figure FDA00037446179500000310
使用高斯混合模型建模：
Figure FDA00037446179500000311
Figure FDA00037446179500000312
其中，xi表示属于数据集
Figure FDA00037446179500000313
的样本数据，
Figure FDA00037446179500000314
表示
Figure FDA00037446179500000315
Figure FDA00037446179500000316
表示除类别i外的其他类别；
(5.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure FDA00037446179500000317
即
Figure FDA00037446179500000318
期望步时，计算Q函数：
Figure FDA00037446179500000319
其中t为迭代次数；
计算模型对于观测数据
Figure FDA00037446179500000320
的责任度
Figure FDA00037446179500000321
Figure FDA0003744617950000041
其中，
Figure FDA0003744617950000042
表示xi的第n个样本；
极大步时，估计高斯分布平均值μm和混合系数αm；
Figure FDA0003744617950000043
Figure FDA0003744617950000044
Figure FDA0003744617950000045
其中，Si表示
Figure FDA0003744617950000046
样本个数；
期望步和极大步交替迭代到模型参数收敛或者预设的最大迭代次数；求解出
Figure FDA0003744617950000047
即
Figure FDA0003744617950000048
(5.4)根据公式
Figure FDA0003744617950000049
求解得到混合系数
Figure FDA00037446179500000410
并用此来得到标签概率转移矩阵T的估计值
Figure FDA00037446179500000411
Figure FDA00037446179500000412
Figure FDA00037446179500000413
其中，
Figure FDA00037446179500000414
表示估计矩阵
Figure FDA00037446179500000415
的第i行第k列的元素。
4.根据权利要求1所述的故障分类方法，其特征在于，所述步骤六中，MLP第二次训练使用修正损失函数为：
Figure FDA00037446179500000416
其中，T代表真实的标签概率转移矩阵，并且真实训练时使用估计矩阵
Figure FDA00037446179500000417
代替式中T，θ表示MLP网络中所有的权重矩阵和偏置向量参数；
通过损失通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
CN201911295545.9A 2019-12-16 2019-12-16 基于伪标签方法和弱监督学习的过程数据故障分类方法 Active CN111079836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911295545.9A CN111079836B (zh) 2019-12-16 2019-12-16 基于伪标签方法和弱监督学习的过程数据故障分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911295545.9A CN111079836B (zh) 2019-12-16 2019-12-16 基于伪标签方法和弱监督学习的过程数据故障分类方法

Publications (2)

Publication Number Publication Date
CN111079836A CN111079836A (zh) 2020-04-28
CN111079836B true CN111079836B (zh) 2022-10-04

Family

ID=70314997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911295545.9A Active CN111079836B (zh) 2019-12-16 2019-12-16 基于伪标签方法和弱监督学习的过程数据故障分类方法

Country Status (1)

Country Link
CN (1) CN111079836B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626989B (zh) * 2020-05-06 2022-07-22 杭州迪英加科技有限公司 针对缺失标注的病理图像的高精度检测网络训练方法
CN111814962B (zh) * 2020-07-09 2024-05-10 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN112257855B (zh) * 2020-11-26 2022-08-16 Oppo（重庆）智能科技有限公司 一种神经网络的训练方法及装置、电子设备及存储介质
CN114764650A (zh) * 2021-01-14 2022-07-19 新智数字科技有限公司 基于横向联合学习的设备故障预测模型构建方法和设备
CN112953629B (zh) * 2021-03-16 2022-07-05 北京邮电大学 一种光网络故障预测不确定性分析方法及系统
CN114463603B (zh) * 2022-04-14 2022-08-23 浙江啄云智能科技有限公司 图像检测模型的训练方法、装置、电子设备及存储介质
CN115184054B (zh) * 2022-05-30 2022-12-27 深圳技术大学 机械设备半监督故障检测分析方法、装置、终端及介质
CN115329906B (zh) * 2022-10-13 2023-04-14 北京航空航天大学 一种基于图正则化网络的故障诊断方法及装置
CN115861246B (zh) * 2022-12-09 2024-02-27 唐山旭华智能科技有限公司 应用于工业互联网的产品质量异常检测方法及其系统
CN116150635B (zh) * 2023-04-18 2023-07-25 中国海洋大学 基于跨域关联性表示的滚动轴承未知故障检测方法
CN117347788B (zh) * 2023-10-17 2024-06-11 国网四川省电力公司电力科学研究院 一种配电网单相接地故障类别概率预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886168A (zh) * 2017-11-07 2018-04-06 歌拉瑞电梯股份有限公司 一种使用多层感知器神经网络进行电梯故障识别的方法
CN108875771A (zh) * 2018-03-30 2018-11-23 浙江大学 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201915727A (zh) * 2017-09-18 2019-04-16 元智大學 多元感測器之錯誤偵測與分類方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886168A (zh) * 2017-11-07 2018-04-06 歌拉瑞电梯股份有限公司 一种使用多层感知器神经网络进行电梯故障识别的方法
CN108875771A (zh) * 2018-03-30 2018-11-23 浙江大学 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置

Also Published As

Publication number Publication date
CN111079836A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN111191726B (zh) 一种基于弱监督学习多层感知器的故障分类方法
CN103914064B (zh) 基于多分类器和d-s证据融合的工业过程故障诊断方法
CN110046378B (zh) 一种基于进化多目标优化的选择性分层集成高斯过程回归软测量建模方法
CN107992976B (zh) 热点话题早期发展趋势预测系统及预测方法
CN112200104B (zh) 一种基于增强主成分分析新型贝叶斯框架的化工故障诊断方法
CN112085252B (zh) 一种关于集合类型决策效果的反事实预测方法
CN111046961B (zh) 基于双向长短时记忆单元和胶囊网络的故障分类方法
CN112989711B (zh) 基于半监督集成学习的金霉素发酵过程软测量建模方法
CN114692507B (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN115618196A (zh) 基于时空特征下的Transformer异常检测方法
CN114757432A (zh) 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统
CN112116002A (zh) 一种检测模型的确定方法、验证方法和装置
CN113012766A (zh) 一种基于在线选择性集成的自适应软测量建模方法
CN112149884A (zh) 一种面向大规模学员的学业预警监测方法
CN115905848A (zh) 基于多模型融合的化工过程故障诊断方法及系统
CN114330549A (zh) 一种基于深度图网络的化工过程故障诊断方法
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN115035962A (zh) 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法
CN115794805A (zh) 一种中低压配网量测数据补齐方法
CN110826184B (zh) 一种在时变时滞下narx模型结构和参数的变分贝叶斯辨识方法
CN114861759A (zh) 一种线性动态系统模型的分布式训练方法
CN115329906B (zh) 一种基于图正则化网络的故障诊断方法及装置
CN114841000B (zh) 一种基于模态共有特征分离的软测量建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant