CN103488561B - 一种在线升级主样本模型的kNN故障检测方法 - Google Patents

一种在线升级主样本模型的kNN故障检测方法 Download PDF

Info

Publication number
CN103488561B
CN103488561B CN201310286065.2A CN201310286065A CN103488561B CN 103488561 B CN103488561 B CN 103488561B CN 201310286065 A CN201310286065 A CN 201310286065A CN 103488561 B CN103488561 B CN 103488561B
Authority
CN
China
Prior art keywords
sample
data
master sample
model
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310286065.2A
Other languages
English (en)
Other versions
CN103488561A (zh
Inventor
陈海彬
张晓丹
李元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Chemical Technology
Original Assignee
Shenyang University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Chemical Technology filed Critical Shenyang University of Chemical Technology
Priority to CN201310286065.2A priority Critical patent/CN103488561B/zh
Publication of CN103488561A publication Critical patent/CN103488561A/zh
Application granted granted Critical
Publication of CN103488561B publication Critical patent/CN103488561B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种在线升级主样本模型的kNN故障检测方法，涉及一种批次过程故障检测方法，包括将主样本空间的数据作为建模数据的训练集，利用kNN故障检测方法进行建模和故障检测，在主样本空间中找到每个样本的k个最近邻，对每个样本计算k个最近邻距离的平方和，将所有样本的k近邻平方和按序排列确定故障检测的阈值；对于新来的一个待检测样本x，从主样本空间中找到x的k个最近邻，计算样本x的k个最近邻距离平方和并将其与阈值进行比较，如果小于阈值则样本x是正常的，否则样本是故障的；通过主样本模型的选取可以使各工况的数据结构得到优化，提高故障检测模型的精确度。

Description

一种在线升级主样本模型的kNN故障检测方法
技术领域
本发明涉及一种批次过程故障检测方法，特别是涉及一种在线升级主样本模型的kNN故障检测方法。
背景技术
批次过程是一种重要的化工生产过程，被广泛应用于生产高质量、高附加值产品行业，如：生物制药、半导体制造、农业化学等。因此，批次过程的检测与故障诊断一直是国内外研究的热点。在批次过程故障检测中，采集到的数据往往呈现非高斯、非线性、多工况的特性，这就对故障检测方法的性能提出了很高的要求。
随着计算机在工业控制中的应用日益广泛和深入，工业过程故障检测中遇到的数据将呈指数增长，其中所包含的噪声信息影响程度也会不断增加，使用已知的所有数据建模进行故障检测不仅极大的增加了数据存储负担，而且不能够得到最精确的结果。主元分析方法实现了对原始数据的降维处理，但是如何对大量训练数据进行取舍，选择出最具代表性的训练集进行建模，目前还未有较好的减少建模空间的有效方法。
发明内容
本发明的目的在于提供一种在线升级主样本模型的kNN故障检测方法，该方法对大批量历史数据和在线数据进行压缩与kNN方法相结合，在线升级主样本模型负责对训练数据集的选取，然后利用kNN方法进行建模和故障检测，提高故障检测模型的精确度。
本发明的目的是通过以下技术方案实现的：
一种在线升级主样本模型的kNN故障检测方法，所述方法包括以下过程：
将主样本空间的数据作为建模数据的训练集，利用kNN故障检测方法进行建模和故障检测，在主样本空间中找到每个样本的k个最近邻，对每个样本计算k个最近邻距离的平方和，将所有样本的k近邻平方和按序排列确定故障检测的阈值；对于新来的一个待检测样本x，从主样本空间中找到x的k个最近邻，计算样本x的k个最近邻距离平方和并将其与阈值进行比较，如果小于阈值则样本x是正常的，否则样本是故障的；即对工业过程中采集到的实时数据进行检测，当检测到的数据k最近邻距离平方和大于阈值，表明系统出现故障，需要工作人员及时查明情况，排除险情。
所述的一种在线升级主样本模型的kNN故障检测方法，所述建模包括主样本选取模型、主样本空间升级模型、kNN故障检测模型，对于工业过程中的正常历史数据，使用主样本选取模型选择出数据特征明显的批次数据组成主样本空间，当新检测到一批正常数据，代入主样本空间升级模型完成一次主样本空间的升级，并利用最新的主样本空间数据作为训练数据通过kNN故障检测方法进行建模和故障检测。
所述的一种在线升级主样本模型的kNN故障检测方法，所述主样本选取模型在选取主样本时所利用的综合各数学统计量的思想，以及各统计量的权重确定。
所述的一种在线升级主样本模型的kNN故障检测方法，所述主样本空间升级模型利用新检测到的正常数据对原有的主样本空间进行在线升级。
本发明的优点与效果是：
1.本发明降低数据的存储负担。传统的故障检测方法不加区分的利用所有的正常数据，随着计算机在工业控制中的应用日益广泛和深入，工业过程故障检测中遇到的数据将呈指数增长，大批量的数据会造成极大的存储负担；而本发明提出的方法只需要存储主样本空间的少量数据即可满足正常的故障检测。
2.本发明提高数据利用率。通过主样本空间的在线升级，不但有效的利用了历史数据，而且将实时检测到的正常数据加入到主样本空间的优化升级，提高了数据利用率。
3.本发明降低噪声影响，提高模型精确度。工业过程中采集到的数据都会在一定程度上受到噪声影响，通过大量降低建模样本个数的同时，会在很大程度上降低噪声对检测结果的影响，提高模型精确度。
4.本发明优化数据结构。对于多工况的工业生产过程，不同工况的批次个数、数据特点都不尽相同，通过主样本模型的选取可以使各工况的数据结构得到优化。
5.本发明提高计算速度。通过选取主样本进行建模和故障检测，在减少训练样本集的同时，也降低了参与计算的数据量，从而极大的提高了计算速度。
附图说明
图1为本发明的核心算法流程图。
具体实施方式
下面结合实施例对本发明进行详细说明。
本发明是在大量正常历史数据中，通过对原始数据样本间协方差、相关系数、样本方差等统计特征的分析进行主样本的提取，使原始数据空间得到压缩，并将新采集的正常数据代入主样本模型，使得主样本空间得到在线升级。然后，基于在线升级的主样本建模运用k最近邻规则(kNN)进行批次过程故障检测。本技术解决了批次过程建模样本数据量大、重复性强、噪声干扰多、数据利用率低的问题为了准确的选择特征明显的主样本，需要通过分析处理原始样本的统计特征。本发明通过综合原始样本数据的行方差矩阵、行相关系数矩阵、行协方差矩阵等信息得到一个新的指标——相对信息提供量Qi，Qi越小表明第i个样本提供的信息越多，其中原始统计特征在Qi中的权重根据主成分分析法得到。由于在实际生产过程中，故障检测往往伴随着数据采集过程进行，长期的故障检测会收集到大量的正常数据。为了提高数据利用率、增加模型精确度，每当检测出一个正常样本就读入主样本空间升级模型，完成一次主样本空间的在线更新。
kNN 故障检测技术：为了进行过程故障检测，需要利用已知的正常数据建模，然后对新来的数据进行检测。本发明将主样本空间的数据作为建模数据的训练集，利用kNN故障检测方法进行建模和故障检测。在主样本空间中找到每个样本的k个最近邻，对每个样本计算k个最近邻距离的平方和，将所有样本的k近邻平方和按序排列确定故障检测的阈值；对于新来的一个待检测样本x，从主样本空间中找到x的k个最近邻，计算样本x的k个最近邻距离平方和并将其与阈值进行比较，如果小于阈值则样本x是正常的，否则样本是故障的。
软件系统：为了能够实现故障检测，本发明采用MathWorks公司的MALTAB软件编程开发，对工业过程中采集到的实时数据进行检测，当检测到的数据k最近邻距离平方和大于阈值，表明系统出现故障，需要工作人员及时查明情况，排除险情。
本发明由以下几个部分组成：主样本选取模型、主样本空间升级模型、kNN故障检测模型；对于工业过程中的正常历史数据，使用主样本选取模型选择出数据特征明显的批次数据组成主样本空间，当新检测到一批正常数据，代入主样本空间升级模型完成一次主样本空间的升级；利用最新的主样本空间数据作为训练数据通过kNN故障检测方法进行建模和故障检测。主样本选取模型在选取主样本时所利用的数学统计量，如协方差、相关系数等，以及各统计量的权重确定。主样本空间升级模型利用新检测到的正常数据对原有的主样本空间进行在线升级。kNN方法利用升级的主样本空间进行建模和故障检测，实现基于在线升级主样本模型的kNN故障检测。本发明通过对批次过程中收集到的大量历史离线数据选取主样本，降低数据的存储负担，提高故障检测模型建立时的计算速度，而且在一定程度上解决大数据量建模时会包含大量噪声的问题，提高故障检测模型的精确度；同时，在检测到新的正常样本时，及时的更新主样本空间，提高了有效数据的利用率使故障检测模型更加优化。

Claims (1)

1.一种在线升级主样本模型的kNN故障检测方法，其特征在于，所述方法包括以下过程：
将主样本空间的数据作为建模数据的训练集，利用kNN故障检测方法进行建模和故障检测，在主样本空间中找到每个样本的k个最近邻，对每个样本计算k个最近邻距离的平方和，将所有样本的k近邻平方和按序排列确定故障检测的阈值；对于新来的一个待检测样本x，从主样本空间中找到x的k个最近邻，计算样本x的k个最近邻距离平方和并将其与阈值进行比较，如果小于阈值则样本x是正常的，否则样本是故障的；即对工业过程中采集到的实时数据进行检测，当检测到的数据k最近邻距离平方和大于阈值，表明系统出现故障，需要工作人员及时查明情况，排除险情；
所述建模包括主样本选取模型、主样本空间升级模型、kNN故障检测模型，对于工业过程中的正常历史数据，使用主样本选取模型选择出数据特征明显的批次数据组成主样本空间，当新检测到一批正常数据，代入主样本空间升级模型完成一次主样本空间的升级，并利用最新的主样本空间数据作为训练数据通过kNN故障检测方法进行建模和故障检测；
所述主样本选取模型在选取主样本时所利用的综合各数学统计量的思想，以及各统计量的权重确定；
所述主样本空间升级模型利用新检测到的正常数据对原有的主样本空间进行在线升级。
CN201310286065.2A 2013-07-09 2013-07-09 一种在线升级主样本模型的kNN故障检测方法 Expired - Fee Related CN103488561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310286065.2A CN103488561B (zh) 2013-07-09 2013-07-09 一种在线升级主样本模型的kNN故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310286065.2A CN103488561B (zh) 2013-07-09 2013-07-09 一种在线升级主样本模型的kNN故障检测方法

Publications (2)

Publication Number Publication Date
CN103488561A CN103488561A (zh) 2014-01-01
CN103488561B true CN103488561B (zh) 2016-08-10

Family

ID=49828813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310286065.2A Expired - Fee Related CN103488561B (zh) 2013-07-09 2013-07-09 一种在线升级主样本模型的kNN故障检测方法

Country Status (1)

Country Link
CN (1) CN103488561B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461772A (zh) * 2014-11-07 2015-03-25 沈阳化工大学 一种对缺失数据进行恢复处理的方法
CN104615123B (zh) * 2014-12-23 2017-02-22 浙江大学 基于k近邻的传感器故障隔离方法
CN104808648A (zh) * 2015-03-09 2015-07-29 杭州电子科技大学 一种基于k近邻的批次过程在线实时监测方法
CN105182955B (zh) * 2015-05-15 2016-06-22 中国石油大学(华东) 一种多变量工业过程故障识别方法
CN105116872A (zh) * 2015-07-13 2015-12-02 哈尔滨工业大学 一种工业过程中基于度量学习与时间序列的故障诊断方法
CN105511445B (zh) * 2015-12-01 2018-03-30 沈阳化工大学 基于局部近邻标准化矩阵的多模态过程故障检测方法
CN108121943B (zh) * 2016-11-30 2022-05-06 阿里巴巴集团控股有限公司 基于图片的判别方法及装置和计算设备
CN108091129A (zh) * 2018-01-12 2018-05-29 北京摩拜科技有限公司 车辆故障处理方法、服务器、检测设备及车辆系统
CN114237206A (zh) * 2021-12-17 2022-03-25 沈阳工程学院 一种面向复杂运行工况的风电变桨系统故障检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102431136A (zh) * 2011-09-16 2012-05-02 广州市香港科大霍英东研究院 一种基于多向主元分析法的多阶段批次过程阶段划分方法
CN102662321A (zh) * 2012-03-23 2012-09-12 清华大学 一种主元分析监控模型的在线更新方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012140601A1 (en) * 2011-04-13 2012-10-18 Bar-Ilan University Anomaly detection methods, devices and systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102431136A (zh) * 2011-09-16 2012-05-02 广州市香港科大霍英东研究院 一种基于多向主元分析法的多阶段批次过程阶段划分方法
CN102662321A (zh) * 2012-03-23 2012-09-12 清华大学 一种主元分析监控模型的在线更新方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《主元分析的若干扩展方法研究》;范少荟;《中国优秀硕士学位论文全文数据库信息科技辑》;20080915(第9期);参见第16页，第30-34页 *
《动态主元分析方法的研究及应用》;郭金玉;《沈阳化工学院学报》;20040331;第18卷(第1期);全文 *
《基于动态主元分析法的传感器故障检测》;李果等;《数据采集与处理》;20080531;第23卷(第3期);全文 *
《基于改进 K-means 聚类的 kNN 故障检测研究》;陈海彬等;《沈阳化工大学学报》;20130331;第27卷(第1期);参见第69-73页，图1，图2 *

Also Published As

Publication number Publication date
CN103488561A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
CN103488561B (zh) 一种在线升级主样本模型的kNN故障检测方法
CN109840362B (zh) 一种基于多目标优化的集成即时学习工业过程软测量建模方法
CN103810101B (zh) 一种软件缺陷预测方法和软件缺陷预测系统
CN108875118B (zh) 一种高炉铁水硅含量预测模型准确度评价方法和设备
Saed-Moucheshi et al. A review on applied multivariate statistical techniques in agriculture and plant science.
CN103927412A (zh) 基于高斯混合模型的即时学习脱丁烷塔软测量建模方法
CN108776831A (zh) 一种基于动态卷积神经网络的复杂工业过程数据建模方法
CN109816509A (zh) 评分卡模型的生成方法、终端设备及介质
CN104316861B (zh) 集成电路硬件木马检测方法及系统
CN113987033A (zh) 主变在线监测数据群体偏差识别与校准方法
CN103885867B (zh) 一种模拟电路性能的在线评价方法
CN104239722A (zh) 一种基于因素间相关关系识别的预测方法
WO2024036709A1 (zh) 一种异常数据检测方法及装置
CN106354803B (zh) 基于特性指标的电力输变电设备负荷坏数据检测方法
CN104461772A (zh) 一种对缺失数据进行恢复处理的方法
CN112529053A (zh) 一种服务器中时序数据短期预测方法及系统
CN103902798B (zh) 数据预处理方法
CN114879628B (zh) 基于对抗局部最大均值差异的多模态工业过程故障诊断方法
CN116564409A (zh) 基于机器学习的转移性乳腺癌转录组测序数据识别方法
CN103489007B (zh) 基于样本先验信息的支持向量机核函数选择方法及应用
CN103353895A (zh) 一种配电网线损数据的预处理方法
CN108519760A (zh) 一种基于变点检测理论的制丝过程稳态识别方法
CN116365519A (zh) 一种电力负荷预测方法、系统、存储介质及设备
CN110196797A (zh) 适于信用评分卡系统的自动优化方法和系统
CN103984756A (zh) 基于半监督概率潜在语义分析的软件变更日志分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20190709