CN107436597B - 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 - Google Patents
一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 Download PDFInfo
- Publication number
- CN107436597B CN107436597B CN201710580183.2A CN201710580183A CN107436597B CN 107436597 B CN107436597 B CN 107436597B CN 201710580183 A CN201710580183 A CN 201710580183A CN 107436597 B CN107436597 B CN 107436597B
- Authority
- CN
- China
- Prior art keywords
- training sample
- matrix
- eigenmatrix
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 47
- 238000007477 logistic regression Methods 0.000 title claims abstract description 36
- 238000001311 chemical methods and process Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000013016 learning Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 122
- 239000011159 matrix material Substances 0.000 claims description 93
- 238000012360 testing method Methods 0.000 claims description 87
- 230000006870 function Effects 0.000 claims description 31
- 230000002087 whitening effect Effects 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 24
- 238000003745 diagnosis Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 101100533306 Mus musculus Setx gene Proteins 0.000 claims 3
- 230000017105 transposition Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 9
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 244000144992 flock Species 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ZVQOOHYFBIDMTQ-UHFFFAOYSA-N [methyl(oxido){1-[6-(trifluoromethyl)pyridin-3-yl]ethyl}-lambda(6)-sulfanylidene]cyanamide Chemical compound N#CN=S(C)(=O)C(C)C1=CC=C(C(F)(F)F)N=C1 ZVQOOHYFBIDMTQ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 238000012993 chemical processing Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
- G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,所述方法包括数据采集与预处理、特征学习、分类三个步骤,从而实现化工过程的故障检测。所述方法首次将深度学习中的稀疏过滤算法应用到化工过程的特征学习中,所学习到的特征再应用逻辑回归进行分类,该方法进行特征学习阶段时采用的是无监督学习,无需人工标注数据,能够实现自适应学习原数据所具有的特征,并且能够将正常数据和各故障数据区分开来,因此应用到工业中更加简便和智能。
Description
技术领域
本发明涉及化工过程故障检测与诊断领域,具体涉及一种基于稀疏过滤和逻辑回归的化工过程故障检测方法。
背景技术
在现代化学工业中,过程安全一直是最为重要的关注问题之一。而故障检测与诊断作为化工异常工况管理最有力的工具,给过程安全提供了一定的保障。随着控制系统的快速发展,化工过程变得越来越自动化。故障检测与诊断(FDD)自提出以来已经有40余年,实际生产中的FDD却并不能够实现自动化,这与过程的复杂性、方法的适用性都有很大关联。
基于数据的化工过程故障检测方法可以适用于复杂的化工过程系统,不需要提前获取大量的专家知识。最早期的基于数据的方法有PCA方法和ICA方法,这些方法可以有效地检测出某些故障,然而化工数据具有非线性、高维、非高斯分布等特征,导致这些方法具有一定的局限性。近年来发展了一些核的多元统计过程控制监控方法,例如KPCA、KICA以及一些对这些方法的改进,并应用到TE过程做验证,结果表明这些方法的诊断精度也较高,但对某些微小扰动性的故障依然未能及时检测出。在实际工业过程中,过程变量是复杂的,并不是绝对的高斯或非高斯分布。任何一种技术都不足以提取隐藏的信息,这就需要更好的特征提取算法来提取过程数据隐藏的知识。
化学工业过程原始数据的知识依靠专家来获得是耗时和劳动密集型的,所以对于过程的特征通常采用特征提取算法,提取出来的特征然后用于分类,测试数据学习到的特征通常表示了该数据的主要信息,一个好的特征提取算法应该能够具有泛化能力和能够将工业数据中的故障信息提取出来,以区别正常数据。而现有的很多技术泛化能力并不好,并且建模复杂,难以应用到工业过程。
伴随着深度学习理论的不断发展与成熟,近年来深度学习理论已经在图像分类、对象检测、语音识别、人脸识别等人工智能领域得到广泛应用,并逐步应用到机械、医疗领域,然而深度学习技术在化工过程中的应用却很少,将已经发展成熟的深度学习最新算法应用到故障诊断中来解决实际工业问题是故障检测的新思路。
无监督特征学习是深度学习中研究最为广泛的算法。无监督特征学习算法的主要思想是使用一些未标记的原始数据通过学习某种非线性函数而转化为特征空间。当一种无监督特征学习算法被训练得很好时,该特征学习模型能够捕获一些隐藏在原始数据中的信息,并放大对识别到的具有区分性的重要信息,而抑制一些不相关的变化。2011年,Ngiam等提出了稀疏过滤无监督特征学习算法,并在图像分类和语音识别等领域得到了很多应用,然而未曾见到稀疏过滤特征学习算法应用到化工过程故障诊断中的报道,稀疏过滤的原理是优化特征的分布,而非原始数据的分布,使学习到的特征具有稀疏性,通过非线性变换特征空间并优化其成本函数,可以达到放大识别到的具有区分性的重要信息得目的,而抑制一些不相关的变化的效果,因此该算法学习到的特征可以很好地区分正常状态和故障状态。
逻辑回归算法是一种机器学习中的经典分类器算法。该算法和支持向量机的区别在于该算法对于给定的输入样本可以给出该样本属于0类或1类的概率,得出来的结果实际是输入样本属于子类的概率值,因此可以将概率值大于0.5的划分成1类,概率值小于0.5的划分成0类,该算法没有其他复杂的可调参数,只需在应用该模型前训练好一个回归参数向量,因此应用较为简便和广泛。
发明内容
本发明的目的是针对现有技术的不足,提供了一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,所述方法首次将深度学习中的稀疏过滤算法应用到化工过程的特征学习中,所学习到的特征再应用逻辑回归进行分类,该方法进行特征学习阶段时采用的是无监督学习,无需人工标注数据,能够实现自适应学习原数据所具有的特征,并且能够将正常数据和各故障数据区分开来,因此应用到工业中更加简便和智能。
本发明的目的可以通过如下技术方案实现:
一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,所述方法包括以下步骤:
步骤一、数据采集与预处理:
将DCS采集到的各相关变量在各种故障下的时序数据,分成训练样本集Xtrain和测试样本集Xtest,其中训练样本集Xtrain包含正常工况下的时序数据和各种故障下的时序数据,用于训练本方法的模型,测试样本集Xtest是在线监测的实时工况数据,也包含正常工况下的时序数据和各种故障下的时序数据,用于故障检测以验证本方法的诊断精度;
求取训练样本集Xtrain正常工况下时序数据的均值Xmean和标准差Xstd,然后将训练样本集Xtrain和测试样本集Xtest都利用上述求得的均值Xmean和标准差Xstd进行标准化预处理,预处理后的训练样本集Xtrainstd和测试样本集Xteststd再进行白化预处理,以消除数据之间的冗余性。
其中,通过以下两个子步骤实现训练样本集Xtrain和测试样本集Xtest的标准化和白化预处理:
(1)、训练样本集Xtrain为n×m的一个矩阵,n为样本个数,m为变量个数,通过下式求解标准化处理后的训练样本集Xtrainstd,对于测试样本集Xtest同样通过下式进行标准化处理得到标准化处理后的测试样本集Xteststd:
其中,Xnormal,ij表示训练样本集Xtrain中正常工况下时序数据的第i个样本的第j个变量的值,Xi,j表示训练样本集Xtrain和测试样本集Xtest中第i个样本的第j个变量的值,Xi,j表示训练样本集Xtrain和测试样本集Xtest中第i个样本的第j个变量经过标准化处理后的值,Xstd,j表示训练样本集Xtrain中正常工况下时序数据的第j个变量的标准差,Xmean,j表示训练样本集Xtrain中正常工况下时序数据的第j个变量的均值;
(2)、将经过标准化处理后的数据进行白化预处理,目的在于降低输入数据的冗余性,使特征之间的相关性较低,通过下式先求取标准化处理后的训练样本集Xtrainstd的协方差矩阵Cov:
其中,Xtrainstd为经过标准化处理后维度为n×m的训练样本集,Cov为Xtrainstd的维度为m×m的协方差矩阵;
然后对协方差矩阵Cov进行特征值分解,得到协方差矩阵Cov的特征向量的正交矩阵V和其特征值的对角矩阵D以及白化矩阵Wwhite,公式如下:
Cov=VDVT (5)
其中,V为协方差矩阵Cov的特征向量的正交矩阵,D为协方差矩阵Cov的特征值的对角矩阵,Wwhite为白化矩阵;
因此,对标准化处理后的训练样本集Xtrainstd的白化预处理通过白化矩阵Wwhite采用以下公式计算得到Xtrainwhite,对标准化处理后的测试样本集Xteststd的白化预处理也能够通过白化矩阵Wwhite采用以下公式计算得到Xtestwhite:
其中,Xtrainwhite为经过白化预处理的训练样本集,Xtestwhite为经过白化预处理的测试样本集。
步骤二、特征学习:
将经过步骤一白化预处理后的训练样本集Xtrainwhite输入到稀疏过滤模型中,用于训练稀疏过滤模型,首先初始化权重矩阵W,然后求取非线性激活函数变换的初步特征矩阵f,通过优化成本函数并求解出最优化解权重矩阵W1和最优化特征矩阵f1,将最优化特征矩阵f1当成稀疏过滤模型的输入,再次训练稀疏过滤模型,通过优化成本函数并求解出最优化解权重矩阵W2和特征空间f2,得到最终训练好的稀疏过滤模型,该模型中通过训练样本集Xtrainwhite求解了稀疏过滤模型的两个最优化解权重矩阵W1和W2,对于经过步骤一白化预处理后的训练样本集Xtrainwhite和测试样本集Xtestwhite,利用已经训练好的最优化解权重矩阵W1得到中间隐层的训练样本特征矩阵f1’和测试样本特征矩阵f1”,将训练样本特征矩阵f1’和测试样本特征矩阵f1”作为模型输入,利用已经训练好的最优化解权重矩阵W2得到输出层的训练样本特征矩阵f2’和测试样本特征矩阵f2”,该特征矩阵即为最终学习好的训练特征和测试特征,能够用于后续的分类。
进一步地,所述稀疏过滤模型的训练具体通过以下五个子步骤进行:
(1)、稀疏过滤实质上是一个无监督的三层网络,分别为输入层、中间隐层和输出层,输入的是预处理后的训练样本,最后输出的是学习的特征;白化预处理后的训练样本集Xtrainwhite中一共有n个样本,假设输入的特征个数为L个,首先初始化权重矩阵W,把训练样本集Xtrainwhite变换为初步特征矩阵f,通过以下非线性激活函数公式进行特征变换:
其中,ε表示误差常数,取1e-8,i表示第i个训练样本,Wl T表示权重矩阵W第l列的转置向量,表示初步特征矩阵f中第i个训练样本的第l个特征的值,表示训练样本集Xtrainwhite的第i个样本向量;
(2)、对初步特征矩阵f进行行列规范化,首先对每一行的特征矩阵值进行同一特征的所有样本的2范数规范化,得到特征矩阵通过以下公式实现:
其中,表示第l个特征的所有样本的2范数;表示第l个特征的所有样本进行行规范化后的特征向量;
(3)、再对特征矩阵每一列的特征矩阵值进行同一特征的所有样本的2范数规范化,得到特征矩阵通过以下公式实现:
其中,表示第i个样本的所有特征的2范数;表示第i个样本的所有特征进行列规范化后的特征向量;
(4)、稀疏过滤模型定义了一个1范数的成本函数,通过优化以下成本函数求取最优化解权重矩阵W1和最优化特征矩阵f1,能够调用matlab工具箱minFunc对此优化问题进行求解:
其中,表示第i个样本的所有特征的1范数;
(5)、以上步骤(1)至步骤(4)即完成了第一次训练稀疏过滤模型,由于该模型需要训练一个三层神经网络,因此需要将第一次学习到的最优化特征矩阵f1作为第二次训练稀疏过滤模型的输入,同样地初始化权重矩阵W,重复步骤(1)至步骤(4)得到最终训练好的最优化解权重矩阵W2和特征空间f2,通过两次训练即完成最优化解权重矩阵W1和W2的求解。
进一步地,所述训练样本和测试样本的特征学习具体通过以下两个子步骤进行:
(1)、对于经过步骤一白化预处理后的训练样本集Xtrainwhite和测试样本集Xtestwhite,以及最优化解权重矩阵W1分别利用公式(9)进行特征变换得到初步训练样本特征矩阵f’和初步测试样本特征矩阵f”,然后分别利用公式(11)进行列规范化后得到中间隐层训练样本特征矩阵f1’和中间隐层测试样本特征矩阵f1”;
(2)、将学习到的中间隐层训练样本特征矩阵f1’和中间隐层测试样本特征矩阵f1”以及训练好的最优化解权重矩阵W2再次分别利用公式(9)进行特征变换得到初步训练样本特征矩阵f’和测试样本特征矩阵f”,然后分别利用公式(11)进行列规范化后得到输出层训练样本特征矩阵f2’和输出层测试样本特征矩阵f2”,特征矩阵f2’和f2”即为稀疏过滤无监督方式下最终学习到的训练特征和测试特征。
步骤三、分类:
将所有学习到的每一个训练样本的特征附加对应的工况标签yi,yi=0代表该训练样本是正常的,yi=1代表该训练样本是故障,对于步骤二学习到的训练样本特征矩阵f2’,首先初始化逻辑回归二分类模型的参数θ,将训练样本特征矩阵f2’和对应的标签集合y输入到逻辑回归二分类模型中训练,求解损失函数最小时的逻辑回归二分类模型的参数θ,然后利用训练好的逻辑回归二分类模型对测试样本特征矩阵f2”采用预测函数求解预测概率,当预测概率值大于0.5时,认为该样本是故障,当预测概率值小于0.5时,即样本认定为正常,统计各故障的检出率;
将测试样本集看作实时工况数据,通过以上三个步骤便能够对实际化工过程采集到的实时数据做出故障诊断。
进一步地,所述逻辑回归二分类模型的训练具体通过以下两个子步骤实现:
(1)、对于训练样本特征矩阵f2’,f2’是一个L×n的矩阵,因此对应的标签集合y是一个1×n的向量,首先初始化逻辑回归二分类模型的参数θ,然后通过以下预测函数来求解样本属于1类的概率:
其中,θ为逻辑回归二分类模型的参数,θ=(θ0,θ1,θ2,...,θL)T,h(θTf2')表示预测概率;
(2)、由于该逻辑回归二分类模型的参数θ并不是最优的,所以要采用以下方法来求解,定义自然对数似然函数表示为逻辑回归二分类模型的损失函数L(θ)和J(θ):
其中,为训练样本特征矩阵f2’中第i列的向量,要使J(θ)最小,该模型才具有最优化的预测能力,所以只需对损失函数J(θ)采用梯度下降法即可求解出最优化的逻辑回归二分类模型的参数θ,再把训练好的逻辑回归二分类模型用于测试样本预测即可,当预测的概率值大于0.5时,即认为该样本属于故障类,否则属于正常类。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明首次采用深度学习算法中的稀疏过滤无监督特征学习算法结合机器学习中的逻辑回归算法开发了一种新的化工过程故障检测方法,由于特征学习时无需标记数据,能够实现自适应地智能学习原始数据的特征,比专家人工提取特征和知识节约了劳动力和时间,并且采用三层无监督神经网络进行特征学习,所学习到的特征能够更加深度地区分正常和异常数据,因此该算法更加智能。
2、本发明在特征学习时只有一个可调参数,比较其他深度学习算法,该算法编程实现简单,无需提前调试过多的可调参数,因此应用到实际化工过程故障检测更为高效和简便;同时和以往分类方法的不同之处在于采用了逻辑回归算法,能够给出该样本隶属异常类的概率值,能够给操作人员一些人为判断的信息,而支持向量机等分类技术结果只能给出是否属于异常类,不具备该效果,因此该发明技术应用到实际工业生产更加简便和智能。
3、本发明和传统的PCA技术、ICA技术、KPCA技术相比,具有能够适应大数据建模,故障检出率更高、泛化能力强等特点,并且能够快速地预警出故障数据,更及时有效地保障化工过程的安全。
附图说明
图1为本发明实施例一种基于稀疏过滤和逻辑回归的化工过程故障检测方法的流程图。
图2为本发明实施例中采用的田纳西-伊斯曼(TE)化工过程的工艺流程图。
图3为本发明实施例故障检出率和时间与特征数量的变化关系图。
图4为本发明实施例误报率和时间与特征数量的变化关系图。
图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)、图5(g)、图5(h)、图5(i)分别为故障1、故障2、故障4、故障6、故障7、故障8、故障11、故障14、故障17的故障监测结果图。
图6(a)为未经过特征学习的前三个主元分析图,图6(b)为经过稀疏过滤无监督特征学习后的前三个主元分析图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例:
本实施例提供了一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,该方法的流程图如图1所示,将本实施例提出的方法应用到田纳西-伊斯曼(TE)化工过程来对本实施例的方法做进一步说明,TE过程是美国伊斯曼化学品公司的Downs和Vogel于1993年发表的Eastman公司的实际化工过程的计算机模拟,该过程后来主要发展为评价过程控制技术和过程监测方法的性能,该过程的工艺流程图如图2所示。TE过程主要包括5个操作单元,即:反应器、冷凝器、汽液分离器、循环压缩机、汽提塔。在模拟的数据中,一共对41个观测变量进行监测,分别有22个连续过程变量,19个成分变量。TE过程还包括21个预先设定的故障,本实施例采用前20个故障进行监测,20个预先设定的故障如下表1所示。
表1.TE过程的20个预先设定的故障
步骤一、数据采集与预处理:
采集TE过程正常工况和20个故障下的数据,分为训练样本集和测试样本集。训练样本集包含正常工况样本13480个,各个故障下的样本480个。测试样本集包含正常样本960个,每个故障样本960个,但是故障样本均是在第161个样本开始处于故障状态。过程监测了41个变量,因此,训练样本集构成一个23080×41的矩阵,测试样本集构成一个20160×41的矩阵。首先对训练数据中的13480个正常样本求取各变量的均值Xmean和标准差Xstd。然后利用均值Xmean和标准差Xstd对训练样本集和测试样本集都进行标准化处理,达到无量纲化。再利用公式(4-6)求取训练样本集的白化矩阵Wwhite,利用公式(7)和公式(8)得到白化后的训练样本集Xtrainwhite和测试样本集Xtestwhite。
步骤二、特征学习:
首先初始化权重矩阵W,输入特征数量L为200(L是可调的参数),将白化后的训练样本集Xtrainwhite利用公式(9)进行特征变换,得到初步特征矩阵f,然后对其利用公式(10)和公式(11)进行行列规范化,以达到稀疏性的原则。再利用matlab工具箱minFunc进行优化成本函数,得到优化后的最优化解权重矩阵W1和最优特征矩阵f1,这里注意W1为一个200×41的矩阵,f1为200×23080的矩阵。将第一次学习到的最优化特征矩阵f1作为第二次训练稀疏过滤模型的输入,同样地初始化权重矩阵W,再次利用公式(9)进行特征变换,得到初步特征矩阵f,然后对其利用公式(10)和公式(11)进行行列规范化,以达到稀疏性的原则。再利用matlab工具箱minFunc进行优化成本函数,得到最终训练好的最优化解权重矩阵W2和特征矩阵f2,这里注意W2为一个200×200的矩阵,f2为200×23080的矩阵。
白化后的训练样本集Xtrainwhite和测试样本集Xtestwhite,利用已经训练好的最优化解权重矩阵W1得到中间隐层的训练样本特征矩阵f1’和测试样本特征矩阵f1”,再将训练样本特征矩阵f1’和测试样本特征矩阵f1”作为模型输入,利用已经训练好的最优化解权重矩阵W2得到输出层的训练样本特征矩阵f2’和测试样本特征矩阵f2”,该特征矩阵即为最终学习好的训练特征和测试特征,可以用于后续分类。
步骤三、分类:
对于特征学习阶段学习到的训练样本特征矩阵f2’,首先初始化一个回归参数向量θ,然后将训练样本特征矩阵f2’利用公式(13)求取预测概率,然后结合标签集合y解最优化损失函数,求解出损失函数最小时的回归参数θ,再利用训练好的逻辑回归模型对测试样本特征矩阵f2”采用预测函数进行求解预测概率,当概率值大于0.5时,认为该样本是故障,当概率值小于0.5时,即样本认定为正常,统计各故障的检出率。
通过对不同的特征数量L进行分析,每个特征数量采用十次平均试验,得到训练平均故障检出率、测试平均故障检出率、训练平均误报率、测试平均误报率、训练和测试总运行时间的结果如图3、图4所示。综合考虑较高的检出率和较低的误报率、计算时间不要太长以及稳定性好,最终选择L=200作为学习的特征个数。在该特征数量下,测试平均故障检出率为72.10063%,标准偏差为0.38681%,测试平均误报率为4.76683%,总运行时间1328.4s,由于所用的计算机性能一般,因此运行时间较长。选取特征数量为200时训练得最好的一次结果来展示其各故障的检出率并与其他方法进行比较如表2所示,从表2可以看出,所提出的方法对故障1,2,4,6,7,8,10,12,13,14,17,18,20均具有较高的诊断精度。对比PCA方法,改进的ICA方法以及KPCA方法可知,故障检出率所提出的方法最好。其中PCA有8个故障检出率较低,改进的ICA方法有5个故障检出率较低,KPCA方法有8个故障检出率较低,提出的方法有5个故障检出率较低。对于故障3,9,15,四种方法的故障检出率都非常低,然而提出的方法却比其他三种方法都高一些,尤其地,对于故障10,其他三种方法的故障检出率基本都在70%以下,而本发明方法可以高达90.5%,因此,从一定程度上说明提出的方法有效地提高了某些难以检测出故障点的性能。
表2.TE过程各种方法的故障检出率
由于实际应用中预警速度才是最为关键的,因此对测试结果,选取诊断精度较高的9个故障的检出速度做分析(故障1,2,4,6,7,8,11,14,17),将各故障样本与预测概率按照以上顺序分别画在图5中,从图5(a),(b),(c),(d),(e),(f),(g),(h),(i)可以看出,对于故障样本的数据点,故障均从第161个点就开始处于故障状态,图中概率值0.5警戒横线代表的是分类界限,当概率值超过警戒线即可认为是故障,所以,我们对这9个故障的800个异常点做响应分析,可以得出故障6,7检测到故障的样本点都是第161点,说明其方法能够及时地检测到该故障,以通知操作人员注意检查系统的安全;对于故障4,11,14检测到故障的样本点是第162点,虽然延迟了1个故障点才开始报警,但依旧能够及时地检测到该故障;同样地,对于故障1检测到故障的样本点是第163点,延迟了2个故障点才开始报警;对于故障2检测到故障的样本点是第173点,延迟了12个故障点才开始报警,对于故障8检测到故障的样本点是第180点,延迟了19个故障点才开始报警,对于故障17检测到故障的样本点是第182点,延迟了21个故障点才开始报警,这几个故障说明发生故障后的一段时间内系统并不知道已经发生故障,说明该类故障检测的灵敏度不够高。此外,从图5中还可以看出,故障1,2,4,6,7,14检测出故障后低于0.5控制限的点非常少,因此导致这几种故障的诊断率较高;而故障8,11,17对于检测出故障后,仍有一些点低于0.5控制限,导致其故障检出率要更低一些,尤其是故障17,检测到故障后其分类概率值仍然会阶跃性地低于0.5控制限,这就容易给操作技术人员带来一些错误的决策,对实际操作过程的安全是不利的。
对测试数据中故障1,2,6,14和正常工况的稀疏过滤学习后的特征和未进行特征学习的数据集进行主成分分析,未经过稀疏过滤特征学习的数据集的前三个PCs如图6(a)所示,稀疏过滤学习后的特征的前三个PCs如图6(b)所示,从图6可以看出,未经过稀疏过滤特征学习的数据集大多聚集在一起,是一个严重的线性不可分的问题,而通过稀疏过滤特征学习后,相当于数据之间的差异性被放大,因此相同故障的数据大多数会聚集在一起,聚集越明显则诊断率越高,并且故障特征与正常特征可以较为明显的区分开来,学习到的特征采用逻辑回归进行二分类可以较为准确,这也从间接上解释了故障1,2,6,14诊断率较高的原因。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (5)
1.一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,其特征在于,所述方法包括以下步骤:
步骤一、数据采集与预处理:
将DCS采集到的各相关变量在各种故障下的时序数据,分成训练样本集Xtrain和测试样本集Xtest,其中训练样本集Xtrain包含正常工况下的时序数据和各种故障下的时序数据,用于训练本方法的模型,测试样本集Xtest是在线监测的实时工况数据,也包含正常工况下的时序数据和各种故障下的时序数据,用于故障检测以验证本方法的诊断精度;
求取训练样本集Xtrain正常工况下时序数据的均值Xmean和标准差Xstd,然后将训练样本集Xtrain和测试样本集Xtest都利用上述求得的均值Xmean和标准差Xstd进行标准化预处理,预处理后的训练样本集X trainstd 和测试样本集X teststd 再进行白化预处理,以消除数据之间的冗余性;
步骤二、特征学习:
将经过步骤一白化预处理后的训练样本集X trainwhite 输入到稀疏过滤模型中,用于训练稀疏过滤模型,首先初始化权重矩阵W,然后求取非线性激活函数变换的初步特征矩阵f,通过优化成本函数并求解出最优化解权重矩阵W1和最优化特征矩阵f1,将最优化特征矩阵f1当成稀疏过滤模型的输入,再次训练稀疏过滤模型,通过优化成本函数并求解出最优化解权重矩阵W2和特征空间f2,得到最终训练好的稀疏过滤模型,该模型中通过训练样本集X trainwhite 求解了稀疏过滤模型的两个最优化解权重矩阵W1和W2,对于经过步骤一白化预处理后的训练样本集X trainwhite 和测试样本集X testwhite ,利用已经训练好的最优化解权重矩阵W1得到中间隐层的训练样本特征矩阵f1’和测试样本特征矩阵f1”,将训练样本特征矩阵f1’和测试样本特征矩阵f1”作为模型输入,利用已经训练好的最优化解权重矩阵W2得到输出层的训练样本特征矩阵f2’和测试样本特征矩阵f2”,该特征矩阵即为最终学习好的训练特征和测试特征,能够用于后续的分类;
步骤三、分类:
将所有学习到的每一个训练样本的特征附加对应的工况标签yi,yi=0代表该训练样本是正常的,yi=1代表该训练样本是故障,对于步骤二学习到的训练样本特征矩阵f2’,首先初始化逻辑回归二分类模型的参数θ,将训练样本特征矩阵f2’和对应的标签集合y输入到逻辑回归二分类模型中训练,求解损失函数最小时的逻辑回归二分类模型的参数θ,然后利用训练好的逻辑回归二分类模型对测试样本特征矩阵f2”采用预测函数求解预测概率,当预测概率值大于0.5时,认为该样本是故障,当预测概率值小于0.5时,即样本认定为正常,统计各故障的检出率;
将测试样本集看作实时工况数据,通过以上三个步骤便能够对实际化工过程采集到的实时数据做出故障诊断。
2.根据权利要求1所述的一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,其特征在于,步骤一中,通过以下两个子步骤实现训练样本集Xtrain和测试样本集Xtest的标准化和白化预处理:
(1)、训练样本集Xtrain为n×m的一个矩阵,n为样本个数,m为变量个数,通过下式求解标准化处理后的训练样本集X trainstd ,对于测试样本集Xtest同样通过下式进行标准化处理得到标准化处理后的测试样本集X teststd :
其中,X normal,ij 表示训练样本集Xtrain中正常工况下时序数据的第i个样本的第j个变量的值,Xi,j表示训练样本集Xtrain和测试样本集Xtest中第i个样本的第j个变量的值,X i,j 表示训练样本集Xtrain和测试样本集Xtest中第i个样本的第j个变量经过标准化处理后的值,X std,j 表示训练样本集Xtrain中正常工况下时序数据的第j个变量的标准差,X mean,j 表示训练样本集Xtrain中正常工况下时序数据的第j个变量的均值;
(2)、将经过标准化处理后的数据进行白化预处理,目的在于降低输入数据的冗余性,使特征之间的相关性较低,通过下式先求取标准化处理后的训练样本集X trainstd 的协方差矩阵Cov:
其中,X trainstd 为经过标准化处理后维度为n×m的训练样本集,Cov为X trainstd 的维度为m×m的协方差矩阵;
然后对协方差矩阵Cov进行特征值分解,得到协方差矩阵Cov的特征向量的正交矩阵V和其特征值的对角矩阵D以及白化矩阵W white ,公式如下:
Cov=VDV T (5)
其中,V为协方差矩阵Cov的特征向量的正交矩阵,D为协方差矩阵Cov的特征值的对角矩阵,W white 为白化矩阵;
因此,对标准化处理后的训练样本集X trainstd 的白化预处理通过白化矩阵W white 采用以下公式计算得到X trainwhite ,对标准化处理后的测试样本集X teststd 的白化预处理也能够通过白化矩阵W white 采用以下公式计算得到X testwhite :
其中,X trainwhite 为经过白化预处理的训练样本集,X testwhite 为经过白化预处理的测试样本集。
3.根据权利要求2所述的一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,其特征在于,步骤二中,所述稀疏过滤模型的训练具体通过以下五个子步骤进行:
(1)、稀疏过滤实质上是一个无监督的三层网络,分别为输入层、中间隐层和输出层,输入的是预处理后的训练样本,最后输出的是学习的特征;白化预处理后的训练样本集X trainwhite 中一共有n个样本,假设输入的特征个数为L个,首先初始化权重矩阵W,把训练样本集X trainwhite 变换为初步特征矩阵f,通过以下非线性激活函数公式进行特征变换:
其中,ε表示误差常数,取1e-8,i表示第i个训练样本,W l T 表示权重矩阵W第l列的转置向量,表示初步特征矩阵f中第i个训练样本的第l个特征的值,表示训练样本集X trainwhite 的第i个样本向量;
(2)、对初步特征矩阵f进行行列规范化,首先对每一行的特征矩阵值进行同一特征的所有样本的2范数规范化,得到特征矩阵通过以下公式实现:
其中,表示第l个特征的所有样本的2范数;表示第l个特征的所有样本进行行规范化后的特征向量;
(3)、再对特征矩阵每一列的特征矩阵值进行同一特征的所有样本的2范数规范化,得到特征矩阵通过以下公式实现:
其中,表示第i个样本的所有特征的2范数;表示第i个样本的所有特征进行列规范化后的特征向量;
(4)、稀疏过滤模型定义了一个1范数的成本函数,通过优化以下成本函数求取最优化解权重矩阵W1和最优化特征矩阵f1,能够调用matlab工具箱minFunc对此优化问题进行求解:
其中,表示第i个样本的所有特征的1范数;
(5)、以上步骤(1)至步骤(4)即完成了第一次训练稀疏过滤模型,由于该模型需要训练一个三层神经网络,因此需要将第一次学习到的最优化特征矩阵f1作为第二次训练稀疏过滤模型的输入,同样地初始化权重矩阵W,重复步骤(1)至步骤(4)得到最终训练好的最优化解权重矩阵W2和特征空间f2,通过两次训练即完成最优化解权重矩阵W1和W2的求解。
4.根据权利要求3所述的一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,其特征在于,步骤二中,所述训练样本和测试样本的特征学习具体通过以下两个子步骤进行:
(1)、对于经过步骤一白化预处理后的训练样本集X trainwhite 和测试样本集X testwhite ,以及最优化解权重矩阵W1分别利用公式(9)进行特征变换得到初步训练样本特征矩阵f’和初步测试样本特征矩阵f”,然后分别利用公式(11)进行列规范化后得到中间隐层训练样本特征矩阵f1’和中间隐层测试样本特征矩阵f1”;
(2)、将学习到的中间隐层训练样本特征矩阵f1’和中间隐层测试样本特征矩阵f1”以及训练好的最优化解权重矩阵W2再次分别利用公式(9)进行特征变换得到初步训练样本特征矩阵f’和测试样本特征矩阵f”,然后分别利用公式(11)进行列规范化后得到输出层训练样本特征矩阵f2’和输出层测试样本特征矩阵f2”,特征矩阵f2’和f2”即为稀疏过滤无监督方式下最终学习到的训练特征和测试特征。
5.根据权利要求1所述的一种基于稀疏过滤和逻辑回归的化工过程故障检测方法,其特征在于,步骤三中,所述逻辑回归二分类模型的训练具体通过以下两个子步骤实现:
(1)、对于训练样本特征矩阵f2’,f2’是一个L×n的矩阵,因此对应的标签集合y是一个1×n的向量,首先初始化逻辑回归二分类模型的参数θ,然后通过以下预测函数来求解样本属于1类的概率:
其中,θ为逻辑回归二分类模型的参数,θ=(θ0,θ1,θ2,...,θL)T,h(θTf2')表示预测概率;
(2)、由于该逻辑回归二分类模型的参数θ并不是最优的,所以要采用以下方法来求解,定义自然对数似然函数表示为逻辑回归二分类模型的损失函数L(θ)和J(θ):
其中,为训练样本特征矩阵f2’中第i列的向量,要使J(θ)最小,该模型才具有最优化的预测能力,所以只需对损失函数J(θ)采用梯度下降法即可求解出最优化的逻辑回归二分类模型的参数θ,再把训练好的逻辑回归二分类模型用于测试样本预测即可,当预测的概率值大于0.5时,即认为该样本属于故障类,否则属于正常类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710580183.2A CN107436597B (zh) | 2017-07-17 | 2017-07-17 | 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710580183.2A CN107436597B (zh) | 2017-07-17 | 2017-07-17 | 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107436597A CN107436597A (zh) | 2017-12-05 |
CN107436597B true CN107436597B (zh) | 2019-10-18 |
Family
ID=60460287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710580183.2A Expired - Fee Related CN107436597B (zh) | 2017-07-17 | 2017-07-17 | 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107436597B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229549A (zh) * | 2017-12-28 | 2018-06-29 | 杭州大搜车汽车服务有限公司 | 一种智能识别车商装修程度的方法、电子设备和存储介质 |
CN108827605B (zh) * | 2018-03-20 | 2020-06-30 | 南京航空航天大学 | 一种基于改进稀疏滤波的机械故障特征自动提取方法 |
CN108508866B (zh) * | 2018-03-21 | 2019-12-31 | 浙江大学 | 基于稀疏相对判别分析的百万千瓦机组故障变量识别方法 |
CN108519768B (zh) * | 2018-03-26 | 2019-10-08 | 华中科技大学 | 一种基于深度学习和信号分析的故障诊断方法 |
CN109506942B (zh) * | 2018-12-04 | 2020-08-04 | 重庆大学 | 一种大数据分析发动机冷试检测数据与工位相关性的方法 |
CN109800875A (zh) * | 2019-01-08 | 2019-05-24 | 华南理工大学 | 基于粒子群优化和降噪稀疏编码机的化工故障检测方法 |
CN110083797B (zh) * | 2019-04-19 | 2023-03-31 | 大禹节水集团股份有限公司 | 一种滴灌管生产线异常实时监测方法及系统 |
CN110222766B (zh) * | 2019-06-06 | 2021-03-30 | 合肥工业大学 | 一种基于稀疏逆协方差的煤与瓦斯突出预测方法 |
CN110320892B (zh) * | 2019-07-15 | 2020-07-14 | 重庆邮电大学 | 基于Lasso回归的污水处理设备故障诊断系统及方法 |
CN110347805A (zh) * | 2019-07-22 | 2019-10-18 | 中海油安全技术服务有限公司 | 石油行业安全隐患关键要素提取方法、装置、服务器及存储介质 |
CN111161868A (zh) * | 2019-12-20 | 2020-05-15 | 贵州铂肴医学检验实验室有限公司 | 医学快速检验管理系统 |
CN111160485B (zh) * | 2019-12-31 | 2022-11-29 | 中国民用航空总局第二研究所 | 基于回归训练的异常行为检测方法、装置及电子设备 |
CN111352408B (zh) * | 2020-03-11 | 2020-12-08 | 山东科技大学 | 一种基于证据k近邻的多工况流程工业过程故障检测方法 |
CN111611390B (zh) * | 2020-06-11 | 2023-11-17 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法及装置 |
CN112347069B (zh) * | 2020-08-17 | 2024-02-20 | 广东工业大学 | 一种基于制造大数据的制造企业预测型维修服务方法 |
CN112001440A (zh) * | 2020-08-20 | 2020-11-27 | 苏州鸿哲智能科技有限公司 | 一种故障诊断逻辑算法及系统 |
CN113076844B (zh) * | 2021-03-26 | 2022-05-20 | 华中科技大学 | 一种旋转部件故障诊断模型构建方法及应用 |
CN114330599B (zh) * | 2022-03-14 | 2022-06-17 | 中汽信息科技(天津)有限公司 | 基于深度学习的发动机故障识别方法、设备和系统 |
CN115841082B (zh) * | 2023-02-22 | 2023-07-25 | 天津佰焰科技股份有限公司 | 一种加气站异常诊断系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982336A (zh) * | 2011-09-02 | 2013-03-20 | 株式会社理光 | 识别模型生成方法和系统 |
CN103246870A (zh) * | 2013-04-24 | 2013-08-14 | 重庆大学 | 一种基于梯度稀疏表示的人脸识别方法 |
CN103969069A (zh) * | 2014-04-26 | 2014-08-06 | 常州大学 | 机械设备工况监测与故障诊断方法 |
CN105528620A (zh) * | 2015-12-11 | 2016-04-27 | 苏州大学 | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 |
-
2017
- 2017-07-17 CN CN201710580183.2A patent/CN107436597B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982336A (zh) * | 2011-09-02 | 2013-03-20 | 株式会社理光 | 识别模型生成方法和系统 |
CN103246870A (zh) * | 2013-04-24 | 2013-08-14 | 重庆大学 | 一种基于梯度稀疏表示的人脸识别方法 |
CN103969069A (zh) * | 2014-04-26 | 2014-08-06 | 常州大学 | 机械设备工况监测与故障诊断方法 |
CN105528620A (zh) * | 2015-12-11 | 2016-04-27 | 苏州大学 | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于数据的复杂工程系统故障预测;陈朝旭等;《上海应用技术学院学报》;20160331;第16卷(第1期);第36-46页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107436597A (zh) | 2017-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107436597B (zh) | 一种基于稀疏过滤和逻辑回归的化工过程故障检测方法 | |
CN110132598B (zh) | 旋转设备滚动轴承故障噪声诊断算法 | |
CN113255848B (zh) | 基于大数据学习的水轮机空化声信号辨识方法 | |
CN111505424A (zh) | 一种基于深度卷积神经网络的大型实验装置电力设备故障诊断方法 | |
CN106570513A (zh) | 大数据网络系统的故障诊断方法和装置 | |
CN109086793A (zh) | 一种风力发电机的异常识别方法 | |
CN109887122A (zh) | 一种船闸机电故障远程智能诊断方法及系统 | |
CN112101431A (zh) | 电子设备故障诊断系统 | |
CN109389325B (zh) | 基于小波神经网络的变电站电子式互感器状态评估方法 | |
CN113657454B (zh) | 基于自回归BiGRU的核电旋转机械状态监测方法 | |
CN101738998B (zh) | 一种基于局部判别分析的工业过程监测系统及方法 | |
CN113642754A (zh) | 一种基于rf降噪自编码信息重构和时间卷积网络的复杂工业过程故障预测方法 | |
CN111583592B (zh) | 一种基于多维卷积神经网络的实验环境安全预警方法 | |
CN108921230A (zh) | 基于类均值核主元分析和bp神经网络的故障诊断方法 | |
WO2021114320A1 (zh) | 一种oica和rnn融合模型的污水处理过程故障监测方法 | |
CN113327632A (zh) | 一种基于字典学习的无监督异常声检测方法和装置 | |
CN113962308A (zh) | 一种航空设备故障预测方法 | |
CN117975372B (zh) | 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法 | |
CN111143835A (zh) | 基于机器学习的电力计量系统业务逻辑非侵入式防护方法 | |
WO2024027487A1 (zh) | 基于智能运维场景的健康度评价方法及装置 | |
CN113551904A (zh) | 基于层次机器学习的齿轮箱多类型并发故障诊断方法 | |
CN114046816B (zh) | 基于轻量级梯度提升决策树的传感器信号故障诊断方法 | |
CN104980442A (zh) | 一种基于元样本稀疏表示的网络入侵检测方法 | |
Li et al. | A Transfer Learning Based Method for Incipient Fault Detection | |
Han et al. | Novel Long Short-Term Memory Model Based on the Attention Mechanism for the Leakage Detection of Water Supply Processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191018 |
|
CF01 | Termination of patent right due to non-payment of annual fee |