CN108563217A - 基于局部和全局统计分析的鲁棒异常检测方法 - Google Patents
基于局部和全局统计分析的鲁棒异常检测方法 Download PDFInfo
- Publication number
- CN108563217A CN108563217A CN201810531460.5A CN201810531460A CN108563217A CN 108563217 A CN108563217 A CN 108563217A CN 201810531460 A CN201810531460 A CN 201810531460A CN 108563217 A CN108563217 A CN 108563217A
- Authority
- CN
- China
- Prior art keywords
- global
- analysis
- data
- detecting abnormality
- abnormal point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于局部和全局统计分析的鲁棒异常检测方法,所述方法基于局部信息和全局信息进行建模,然后对综合指标的进行判断,如果这个指标超过预先设定的判决条件,则认为发生了一次异常。本发明方法改进了目前工业应用当中的异常检测模型,把局部和全局模型进行结合,然后综合考虑综合指标进行预警,以避免可能发生的系统故障,起到预测性维护的作用。
Description
技术领域
本发明涉及工业设备检测技术领域,具体涉及一种基于局部和全局统计分析的鲁棒异常检测方法。
背景技术
异常检测属于无监督学习的一大类算法。无监督学习是样本没有标记的学习方式。异常检测的目的在于检测数据中偏离数据主群体的数据。这些偏离的数据可能暗示设备存在着异常状态,例如异常运行或者损坏等等,系统随即可以进行预警,以避免可能发生的系统故障,起到预测性维护的作用。
常用的异常检测算法有One-Class SVM, LOF (Local Outlier Factor),Isolation Forest, DBSCAN等等。这些算法基本基于统计分布的假设或者密度的估计。这些算法常被用于金融领域中的诈骗分析,反作弊分析。在实际工业领域中的应用很比较有限。
在工业领域,数据的收集比较滞后,数据采集不全,数据没有标记。这种情况给数据的分析带来了很多限制。例如,对工业产线中的设备进行实时的状态监控是很多场景下的强烈需求。对设备进行及时的预警可以避免因宕机造成的巨额损失。
一个设备从使用到出现问题需要经过一段的使用,随着设备的使用和磨损,所收集的数据会出现慢慢偏离正常值范围的趋势。一开始收集到的数据没有异常标签,所以这是一个无监督学习的问题。异常检测是无监督学习中常用的一类算法。
发明内容
本发明要解决的技术问题是:本发明针对以上问题,提供一种基于局部和全局统计分析的鲁棒异常检测方法。
本发明所采用的技术方案为:
基于局部和全局统计分析的鲁棒异常检测方法,所述方法基于局部信息和全局信息进行建模,然后对综合指标的进行判断,如果这个指标超过预先设定的判决条件,则认为发生了一次异常。
所述方法包括内容:
根据被检测数据的特点和实际业务背景结合,选取异常检测模型对被检测数据进行全局分析,得到全局分析的异常点。
所述方法内容包括:
根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析。
所述方法实现流程包括内容如下:
1)选取基础算法并实施,可以采用现在常用的Isolation Forest, One-Class SVM,Robust covariance等,这些方法有很多现成的实现软件包,例如 sklearn,或者使用其他的开源包;
2)根据被检测数据的特点和实际业务背景结合,选取一种最优的异常检测模型对被检测数据进行全局分析,得到全局分析的异常点;
3)根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析;
4)利用加权方法综合考虑局部分析异常点的结果和全局分析异常点的结果。
所述方法内容还包括:
对于在全局分析和局部分析中有冲突的异常点,通过人工反馈的方式去除假异常点,并补充单个方法得不到的真异常点,最终得到合理准确的异常点结果。
本发明的有益效果为:
本发明方法改进了目前工业应用当中的异常检测模型,把局部和全局模型进行结合,然后综合考虑综合指标进行预警,以避免可能发生的系统故障,起到预测性维护的作用。
附图说明
图1是基于局部和全局统计分析的鲁棒异常检测方法示意图。
具体实施方式
下面根据说明书附图,结合具体实施方式对本发明进一步说明:
实施例1:
如图1所示,基于局部和全局统计分析的鲁棒异常检测方法,所述方法基于局部信息和全局信息进行建模,然后对综合指标的进行判断,如果这个指标超过预先设定的判决条件,则认为发生了一次异常。
实施例2
在实施例1的基础上,本实施例所述方法包括内容:
根据被检测数据的特点和实际业务背景结合,选取一种最优的异常检测模型对被检测数据进行全局分析,得到全局分析的异常点。
所述方法内容包括:
根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析。
实施例3
在实施例2的基础上,本实施例所述方法实现流程包括内容如下:
1)选取基础算法并实施,可以采用现在常用的Isolation Forest, One-Class SVM,Robust covariance等,这些方法有很多现成的实现软件包,例如 sklearn。或者使用其他的开源包;
2)根据被检测数据的特点和实际业务背景结合,选取一种最优的异常检测模型对被检测数据进行全局分析,得到全局分析的异常点;
3)根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析;
4)利用加权方法综合考虑局部分析异常点的结果和全局分析异常点的结果。
所述方法内容还包括:
对于在全局分析和局部分析中有冲突的异常点,通过人工反馈的方式去除假异常点,并补充单个方法得不到的真异常点,最终得到合理准确的异常点结果。
实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (5)
1.基于局部和全局统计分析的鲁棒异常检测方法,其特征在于,所述方法基于局部信息和全局信息进行建模,然后对综合指标的进行判断,如果这个指标超过预先设定的判决条件,则认为发生了一次异常。
2.根据权利要求1所述的基于局部和全局统计分析的鲁棒异常检测方法,其特征在于,所述方法包括内容:
根据被检测数据的特点和实际业务背景结合,选取异常检测模型对被检测数据进行全局分析,得到全局分析的异常点。
3.根据权利要求2所述的基于局部和全局统计分析的鲁棒异常检测方法,其特征在于,所述方法内容包括:
根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析。
4.根据权利要求3所述的基于局部和全局统计分析的鲁棒异常检测方法,其特征在于,
所述方法实现流程包括内容如下:
1)选取基础算法并实施;
2)根据被检测数据的特点和实际业务背景结合,选取异常检测模型对被检测数据进行全局分析,得到全局分析的异常点;
3)根据具体业务情况将数据划分为不同时段或者不同工作状态下,对被分析数据进行局部分析;
4)利用加权方法综合考虑局部分析异常点的结果和全局分析异常点的结果。
5.根据权利要求4所述的基于局部和全局统计分析的鲁棒异常检测方法,其特征在于,所述方法内容还包括:
对于在全局分析和局部分析中有冲突的异常点,通过人工反馈的方式去除假异常点,并补充单个方法得不到的真异常点,最终得到合理准确的异常点结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810531460.5A CN108563217A (zh) | 2018-05-29 | 2018-05-29 | 基于局部和全局统计分析的鲁棒异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810531460.5A CN108563217A (zh) | 2018-05-29 | 2018-05-29 | 基于局部和全局统计分析的鲁棒异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108563217A true CN108563217A (zh) | 2018-09-21 |
Family
ID=63540271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810531460.5A Pending CN108563217A (zh) | 2018-05-29 | 2018-05-29 | 基于局部和全局统计分析的鲁棒异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108563217A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020129545A1 (ja) * | 2018-12-20 | 2020-06-25 | オムロン株式会社 | 制御装置およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104267610A (zh) * | 2014-08-29 | 2015-01-07 | 内蒙古科技大学 | 高精度的高炉冶炼过程异常数据检测及修补方法 |
CN105808923A (zh) * | 2016-02-29 | 2016-07-27 | 北京航空航天大学 | 一种数据序列的异常检测方法和装置 |
CN106053090A (zh) * | 2016-08-22 | 2016-10-26 | 中国船舶重工集团公司第七�三研究所 | 一种燃气轮机的近邻异常检测系统 |
CN107341514A (zh) * | 2017-07-07 | 2017-11-10 | 成都信息工程大学 | 一种基于联合密度与角度的异常点和边缘点检测方法 |
CN107491749A (zh) * | 2017-08-11 | 2017-12-19 | 南京邮电大学 | 一种人群场景中全局和局部异常行为检测方法 |
CN108055002A (zh) * | 2017-12-14 | 2018-05-18 | 艾思玛新能源技术(上海)有限公司苏州高新区分公司 | 一种光伏组串监测方法及系统 |
-
2018
- 2018-05-29 CN CN201810531460.5A patent/CN108563217A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104267610A (zh) * | 2014-08-29 | 2015-01-07 | 内蒙古科技大学 | 高精度的高炉冶炼过程异常数据检测及修补方法 |
CN105808923A (zh) * | 2016-02-29 | 2016-07-27 | 北京航空航天大学 | 一种数据序列的异常检测方法和装置 |
CN106053090A (zh) * | 2016-08-22 | 2016-10-26 | 中国船舶重工集团公司第七�三研究所 | 一种燃气轮机的近邻异常检测系统 |
CN107341514A (zh) * | 2017-07-07 | 2017-11-10 | 成都信息工程大学 | 一种基于联合密度与角度的异常点和边缘点检测方法 |
CN107491749A (zh) * | 2017-08-11 | 2017-12-19 | 南京邮电大学 | 一种人群场景中全局和局部异常行为检测方法 |
CN108055002A (zh) * | 2017-12-14 | 2018-05-18 | 艾思玛新能源技术(上海)有限公司苏州高新区分公司 | 一种光伏组串监测方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020129545A1 (ja) * | 2018-12-20 | 2020-06-25 | オムロン株式会社 | 制御装置およびプログラム |
JP2020101904A (ja) * | 2018-12-20 | 2020-07-02 | オムロン株式会社 | 制御装置およびプログラム |
US20220004177A1 (en) * | 2018-12-20 | 2022-01-06 | Omron Corporation | Control device and non-transitory computer-readable recording medium recording program |
JP7119978B2 (ja) | 2018-12-20 | 2022-08-17 | オムロン株式会社 | 制御装置およびプログラム |
US11782431B2 (en) | 2018-12-20 | 2023-10-10 | Omron Corporation | Control device and non-transitory computer-readable recording medium recording program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105955219B (zh) | 基于互信息的分布式动态过程故障检测方法 | |
CN109343344A (zh) | 卷烟设备操控参数寻优方法 | |
CN107544477B (zh) | 基于核主元分析的非线性工业过程故障检测方法 | |
CN107797537A (zh) | 一种应用于自动化生产线的故障预测与健康管理方法 | |
CN107862393A (zh) | 一种it运维管理系统 | |
CN101477374B (zh) | 基于模糊神经网络的连铸漏钢时序空间组合诊断预报方法 | |
CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
CN107656156B (zh) | 一种基于云平台的设备故障诊断及运行状态评估方法与系统 | |
CN104299115B (zh) | 基于模糊c均值聚类算法的智能变电站二次系统状态分析方法 | |
CN106444665B (zh) | 一种基于非高斯相似度匹配的故障分类诊断方法 | |
CN101738998B (zh) | 一种基于局部判别分析的工业过程监测系统及方法 | |
CN107846472A (zh) | 大规模输变电设备监测数据流的快速异常检测方法 | |
CN108445867A (zh) | 一种基于分散式icr模型的非高斯过程监测方法 | |
CN109144028A (zh) | 一种精馏塔能效退化检测方法 | |
CN106483847A (zh) | 一种基于自适应ica的冷水机组故障检测方法 | |
CN112598144A (zh) | 基于相关性分析的cnn-lstm突发故障预警方法 | |
CN111666978B (zh) | 一种it系统运维大数据的智能故障预警系统 | |
CN104731970B (zh) | 高速公路多源异构数据的数据质量评价与控制方法 | |
CN103902798B (zh) | 数据预处理方法 | |
CN114628016A (zh) | 一种基于大数据的腹腔镜手术器械运行故障预测系统 | |
CN108563217A (zh) | 基于局部和全局统计分析的鲁棒异常检测方法 | |
CN110378586B (zh) | 基于动态闭环知识管理的变电设备缺陷预警方法及系统 | |
CN108093210A (zh) | 一种变压器油位告警系统及其告警方法 | |
CN117170304B (zh) | 一种基于工业物联网的plc远程监测控制方法及系统 | |
CN105096217B (zh) | 一种电力计量自动化终端通信状态预测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180921 |