CN110826648A - 一种利用时序聚类算法实现故障检测的方法 - Google Patents
一种利用时序聚类算法实现故障检测的方法 Download PDFInfo
- Publication number
- CN110826648A CN110826648A CN202010021275.9A CN202010021275A CN110826648A CN 110826648 A CN110826648 A CN 110826648A CN 202010021275 A CN202010021275 A CN 202010021275A CN 110826648 A CN110826648 A CN 110826648A
- Authority
- CN
- China
- Prior art keywords
- cluster
- time sequence
- data
- points
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
Abstract
本发明属于IT运维以及机器学习技术领域,具体涉及一种利用时序聚类算法实现故障检测的方法,包括以下步骤:按照预设的时间频率采集设备性能指标信息,获得时间序列数据;对时间序列数据进行归一化;利用DBSCAN算法对归一化后的时间序列数据进行聚类分析,计算聚类后的时间序列的异常值分数;根据异常值分数是否超出设定的阈值以判断是否存在故障。本发明的利用时序聚类算法实现故障检测的方法,利用DBSCAN算法,将设备时间序列数据进行聚类分析,并且通过分析各个性能数据指标之间的差异值,来判断设备性能状态是否平稳,以此衡量设备运行健康程度,可以有效提高检测效率与准确性。
Description
技术领域
本发明属于IT运维以及机器学习技术领域,具体涉及一种利用时序聚类算法实现故障检测的方法。
背景技术
随着信息时代的发展,IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务,面对越来越多样化的用户需求,不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障,这种模式中的保障因素就是IT运维。从初期的几台服务器发展到庞大的数据中心,单靠人工已经无法满足在技术、业务、管理等方面的要求,那么标准化、自动化、架构优化、过程优化等降低IT服务成本的因素越来越被人们所重视。
DBSCAN是数据挖掘中最经典的基于密度的聚类算法,在IT运维领域,可以利用DBSCAN算法,将设备时间序列数据进行聚类分析,并且通过分析各个性能数据指标之间的差异值,来判断IT设备性能状态是否平稳,以此衡量IT设备运行健康程度。因此,将DBSCAN算法应用于IT设备异常检测,可以有效提高检测效率与准确性。
发明内容
基于现有技术中存在的上述不足,本发明提供一种利用时序聚类算法实现故障检测的方法。
为了达到上述发明目的,本发明采用以下技术方案:
一种利用时序聚类算法实现故障检测的方法,包括以下步骤:
按照预设的时间频率采集设备性能指标信息,获得时间序列数据;
对时间序列数据进行归一化;
利用DBSCAN算法对归一化后的时间序列数据进行聚类分析,计算聚类后的时间序列的异常值分数;
根据异常值分数是否超出设定的阈值以判断是否存在故障。
作为优选方案,所述设备性能指标信息为CPU利用率或内存利用率。
作为优选方案,所述对时间序列数据进行归一化,包括:
作为优选方案,所述利用DBSCAN算法对归一化后的时间序列数据进行聚类分析,包括:
任选一个未被标记的点x i 开始,确定半径eps的值,以eps为半径的圆为x i 的eps邻域,根据每条时序数列的数据量确定密度阈值MinPts,找到点x i 密度可达的样本生成聚类簇;其中,i=0,1,2,3,…,n。
作为优选方案,所述聚类簇的生成,包括以下步骤:
(1)簇的建立,对圆内包含的点进行计数,若圆内点的数目超过密度阈值MinPts则将圆
的圆心x i 记为核心点,否则标记为噪声点;核心点的eps邻域内所有的点,都是的直接密
度直达;找出所有从x i 密度可达的对象,建立一个簇K,x i 被标记为已处理,将邻域内的所有
点加入候选集C;
(2)簇的形成,对候选集C中所有未被处理的点,检查其邻域;若数目超过密度阈值MinPts,则将相应的点加入候选集C,标记为已处理;若相应的点未归入任何一个簇,则将点加入簇K;
(3)重复步骤(1),继续检查候选集C中未被标记的点,直到候选集C中的点都已被处理;
(4)重复步骤(1)、(2)、(3),直到所有点都归入了某个簇或标记为噪声点。
作为优选方案,所述计算聚类后的时间序列的异常值分数包括:
初始化异常值分数为shifting=0,令时间序列,对比与x i+1
所属聚类簇,若与x i+1所属聚类簇不同,则;
若与x i+1所属同一聚类簇,则shifting=shifting,由此递推,直至完成所有相邻数的对
比。
本发明与现有技术相比,有益效果是:
本发明的利用时序聚类算法实现故障检测的方法,利用DBSCAN算法,将设备时间序列数据进行聚类分析,并且通过分析各个性能数据指标之间的差异值,来判断设备性能状态是否平稳,以此衡量设备运行健康程度,可以有效提高检测效率与准确性。
附图说明
图1是本发明实施例的利用DBSCAN算法进行IT设备性能波动异常检测的流程图;
图2是本发明实施例的利用时序聚类算法实现故障检测的方法的具体流程图;
图3是本发明实施例的利用时序聚类算法实现故障检测的方法中聚类簇的生成流程图。
图4是本发明实施例的利用时序聚类算法实现故障检测的方法检测的时序数据出现异常的示意图;
图5是本发明实施例的利用时序聚类算法实现故障检测的方法检测的时序数据无异常的示意图。
具体实施方式
为了更清楚地说明本发明实施例,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
如图1所示,本发明实施例的利用时序聚类算法实现故障检测的方法,包括以下步骤:
A1、样本采集
对时间序列数据进行采集,作为建模的样本数据。具体地,按照设定的时间频率,采集设备性能指标数据,如CPU利用率或内存利用率等。
A2、数据归一化
对时间序列数据进行归一化。
A3、样本聚类分析
利用DBSCAN算法进行聚类分析,计算聚类后的时间序列的异常值分数;
具体地,对归一化后的时间序列数据进行聚类分析:任选一个未被标记的点x i 开始,确定半径eps的值,以eps为半径的圆为x i 的eps邻域,根据每条时序数列的数据量确定密度阈值MinPts,找到点x i 密度可达的样本生成聚类簇;其中,i=0,1,2,3,…,n。
其中,如图2所示,聚类簇的生成,具体包括以下步骤:
(1)簇的建立,对这个圆内包含的点进行计数,如果一个圆圈里面的点的数目超过了密
度阈值MinPts,那么将该圆圈的圆心x i 记为核心点,否则标记为噪声点。核心点的eps邻
域内所有的点,都是的直接密度直达;如果x j 由x i 密度直达,x k 由x j 密度直达,x n 由x k 由密
度直达,那么,x n 由x i 密度可达。找出所有从x i 密度可达的对象,建立一个簇K,x i 被标记为已
处理,将邻域内的所有点加入候选集C。
(2)簇的形成,对候选集C中所有未被处理的点,检查其邻域;若数目超过密度阈值MinPts,则将相应的这些点加入候选集C,标记为已处理;如果相应的点未归入任何一个簇,则将点加入簇K;
(3)重复上述步骤(1),继续检查候选集C中未被标记的点,直到候选集C中的点都已被处理;
(4)重复步骤(1)、(2)、(3),直到所有点都归入了某个簇或标记为噪声点。
A4、异常值计算
计算聚类后的时间序列的异常值分数包括:
初始化异常值分数为shifting=0,令时间序列,对比与x i+1所属聚类簇,若与x i+1所属聚类簇不同,则
;若与x i+1所属同一聚类簇,则shifting=shifting,由此递推,直至完成所有相邻数的对
比,得到聚类后的时间序列的异常值分数。
最后,根据异常值分数是否超出设定的阈值判断该设备在观察的时间段内是否运行稳定正常;如出现波动异常,则输出分析结果与设备维护建议。
将本发明实施例的利用时序聚类算法实现故障检测的方法,应用于IT运维系统中。如图3所示,本发明实施例的利用DBSCAN算法进行IT设备性能波动异常检测的方法:当系统按照一定频率采集到IT设备性能指标数据(如主机CPU利用率、内存利用率等),并对数据进行清洗,归一化处理;处理完的样本数据利用DBSCAN算法进行聚类分析,并通过计算异常值分数来判断该设备在一段时间内的性能数据波动情况,从而反映设备运行的健康程度。
采集关于主机CPU利用率数据,采集频率为10s/次,该数据可以反映主机CPU负载情况,通过分析主机CPU利用率在一段时间内的负载波动,用来判断该主机负载是否平均,并以此优化IT资源配置。
序列的异常程度随着shifting增大而增大,使用约40000条数据进行实验,半径eps=0.02,密度阈值minpts=5,聚类之后计算异常值分数,数据分布如下:如图4所示的shifting值较大,序列异常值较多,可认为该条序列为异常序列;如图5所示的shifting值较小,可认为该条序列为正常序列。
以上所述仅是对本发明的优选实施例及原理进行了详细说明,对本领域的普通技术人员而言,依据本发明提供的思想,在具体实施方式上会有改变之处,而这些改变也应视为本发明的保护范围。
Claims (5)
1.一种利用时序聚类算法实现故障检测的方法,其特征在于,包括以下步骤:
按照预设的时间频率采集设备性能指标信息,获得时间序列数据;
对时间序列数据进行归一化;
利用DBSCAN算法对归一化后的时间序列数据进行聚类分析,计算聚类后的时间序列的异常值分数;
根据异常值分数是否超出设定的阈值以判断是否存在故障;
所述设备性能指标信息为CPU利用率或内存利用率。
3.根据权利要求2所述的一种利用时序聚类算法实现故障检测的方法,其特征在于,所述利用DBSCAN算法对归一化后的时间序列数据进行聚类分析,包括:
任选一个未被标记的点x i 开始,确定半径eps的值,以eps为半径的圆为x i 的eps邻域,根据每条时序数列的数据量确定密度阈值MinPts,找到点x i 密度可达的样本生成聚类簇;其中,i=0,1,2,3,…,n。
4.根据权利要求3所述的一种利用时序聚类算法实现故障检测的方法,其特征在于,所述聚类簇的生成,包括以下步骤:
(1)簇的建立,对圆内包含的点进行计数,若圆内点的数目超过密度阈值MinPts则将圆
的圆心x i 记为核心点,否则标记为噪声点;核心点的eps邻域内所有的点,都是的直接密
度直达;找出所有从x i 密度可达的对象,建立一个簇K,x i 被标记为已处理,将邻域内的所有
点加入候选集C;
(2)簇的形成,对候选集C中所有未被处理的点,检查其邻域;若数目超过密度阈值MinPts,则将相应的点加入候选集C,标记为已处理;若相应的点未归入任何一个簇,则将点加入簇K;
(3)重复步骤(1),继续检查候选集C中未被标记的点,直到候选集C中的点都已被处理;
(4)重复步骤(1)、(2)、(3),直到所有点都归入了某个簇或标记为噪声点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010021275.9A CN110826648B (zh) | 2020-01-09 | 2020-01-09 | 一种利用时序聚类算法实现故障检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010021275.9A CN110826648B (zh) | 2020-01-09 | 2020-01-09 | 一种利用时序聚类算法实现故障检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110826648A true CN110826648A (zh) | 2020-02-21 |
CN110826648B CN110826648B (zh) | 2020-04-21 |
Family
ID=69546488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010021275.9A Active CN110826648B (zh) | 2020-01-09 | 2020-01-09 | 一种利用时序聚类算法实现故障检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110826648B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667392A (zh) * | 2020-06-12 | 2020-09-15 | 成都国铁电气设备有限公司 | 一种基于时空聚类的铁路接触网缺陷热点区域预警方法 |
CN112098850A (zh) * | 2020-09-21 | 2020-12-18 | 山东工商学院 | 基于sdo算法的锂离子电池电压故障诊断方法及系统 |
CN112561203A (zh) * | 2020-12-23 | 2021-03-26 | 浙江鹏信信息科技股份有限公司 | 一种基于聚类和gru实现水位预警的方法及系统 |
CN112565422A (zh) * | 2020-12-04 | 2021-03-26 | 杭州佳速度产业互联网有限公司 | 一种对电力物联网故障数据的识别方法、系统和存储介质 |
CN113176962A (zh) * | 2021-04-14 | 2021-07-27 | 北京中大科慧科技发展有限公司 | 一种用于数据中心的机房it设备故障精准检测方法及系统 |
CN113554055A (zh) * | 2021-06-11 | 2021-10-26 | 杭州玖欣物联科技有限公司 | 一种基于聚类算法的加工工况识别方法 |
CN113705605A (zh) * | 2021-07-20 | 2021-11-26 | 中国人民解放军海军大连舰艇学院 | 部分人工介入的多波束测深数据异常值自动清理方法 |
CN115982602A (zh) * | 2023-03-20 | 2023-04-18 | 济宁众达利电气设备有限公司 | 一种光伏变压器电故障检测方法 |
CN116226777A (zh) * | 2023-05-08 | 2023-06-06 | 湖南农业大学 | 基于等差距离重构时间序列的异常值检测方法和装置 |
CN116821833A (zh) * | 2023-08-29 | 2023-09-29 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
CN116821834A (zh) * | 2023-08-29 | 2023-09-29 | 浙江北岛科技有限公司 | 基于内嵌传感器的真空断路器检修管理系统 |
CN116957421A (zh) * | 2023-09-20 | 2023-10-27 | 山东济宁运河煤矿有限责任公司 | 一种基于人工智能的洗选生产智能化监测系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909664A (zh) * | 2017-02-28 | 2017-06-30 | 国网福建省电力有限公司 | 一种电力设备数据流故障识别方法 |
CN106951776A (zh) * | 2017-01-18 | 2017-07-14 | 中国船舶重工集团公司第七0九研究所 | 一种主机异常检测方法和系统 |
CN108923952A (zh) * | 2018-05-31 | 2018-11-30 | 北京百度网讯科技有限公司 | 基于服务监控指标的故障诊断方法、设备及存储介质 |
-
2020
- 2020-01-09 CN CN202010021275.9A patent/CN110826648B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951776A (zh) * | 2017-01-18 | 2017-07-14 | 中国船舶重工集团公司第七0九研究所 | 一种主机异常检测方法和系统 |
CN106909664A (zh) * | 2017-02-28 | 2017-06-30 | 国网福建省电力有限公司 | 一种电力设备数据流故障识别方法 |
CN108923952A (zh) * | 2018-05-31 | 2018-11-30 | 北京百度网讯科技有限公司 | 基于服务监控指标的故障诊断方法、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
ELIJAH_YI: "DBSCAN算法介绍以及C++实现", 《ELIJAH_YI,HTTPS://BLOG.CSDN.NET/U011557212/ARTICLE/DETAILS/53203323》 * |
林涛等: "基于改进DBSCAN算法的风机故障诊断研究", 《现代电子技术》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667392A (zh) * | 2020-06-12 | 2020-09-15 | 成都国铁电气设备有限公司 | 一种基于时空聚类的铁路接触网缺陷热点区域预警方法 |
CN112098850A (zh) * | 2020-09-21 | 2020-12-18 | 山东工商学院 | 基于sdo算法的锂离子电池电压故障诊断方法及系统 |
CN112098850B (zh) * | 2020-09-21 | 2024-03-08 | 山东工商学院 | 基于sdo算法的锂离子电池电压故障诊断方法及系统 |
CN112565422B (zh) * | 2020-12-04 | 2022-07-22 | 杭州佳速度产业互联网有限公司 | 一种对电力物联网故障数据的识别方法、系统和存储介质 |
CN112565422A (zh) * | 2020-12-04 | 2021-03-26 | 杭州佳速度产业互联网有限公司 | 一种对电力物联网故障数据的识别方法、系统和存储介质 |
CN112561203A (zh) * | 2020-12-23 | 2021-03-26 | 浙江鹏信信息科技股份有限公司 | 一种基于聚类和gru实现水位预警的方法及系统 |
CN112561203B (zh) * | 2020-12-23 | 2022-09-06 | 浙江鹏信信息科技股份有限公司 | 一种基于聚类和gru实现水位预警的方法及系统 |
CN113176962A (zh) * | 2021-04-14 | 2021-07-27 | 北京中大科慧科技发展有限公司 | 一种用于数据中心的机房it设备故障精准检测方法及系统 |
CN113554055A (zh) * | 2021-06-11 | 2021-10-26 | 杭州玖欣物联科技有限公司 | 一种基于聚类算法的加工工况识别方法 |
CN113705605A (zh) * | 2021-07-20 | 2021-11-26 | 中国人民解放军海军大连舰艇学院 | 部分人工介入的多波束测深数据异常值自动清理方法 |
CN115982602A (zh) * | 2023-03-20 | 2023-04-18 | 济宁众达利电气设备有限公司 | 一种光伏变压器电故障检测方法 |
CN116226777A (zh) * | 2023-05-08 | 2023-06-06 | 湖南农业大学 | 基于等差距离重构时间序列的异常值检测方法和装置 |
CN116226777B (zh) * | 2023-05-08 | 2023-08-01 | 湖南农业大学 | 基于等差距离重构时间序列的异常值检测方法和装置 |
CN116821833A (zh) * | 2023-08-29 | 2023-09-29 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
CN116821834A (zh) * | 2023-08-29 | 2023-09-29 | 浙江北岛科技有限公司 | 基于内嵌传感器的真空断路器检修管理系统 |
CN116821833B (zh) * | 2023-08-29 | 2023-11-14 | 好林(威海)新材料有限公司 | 一种机器滤布粘连的数据异常检测方法 |
CN116821834B (zh) * | 2023-08-29 | 2023-11-24 | 浙江北岛科技有限公司 | 基于内嵌传感器的真空断路器检修管理系统 |
CN116957421A (zh) * | 2023-09-20 | 2023-10-27 | 山东济宁运河煤矿有限责任公司 | 一种基于人工智能的洗选生产智能化监测系统 |
CN116957421B (zh) * | 2023-09-20 | 2024-01-05 | 山东济宁运河煤矿有限责任公司 | 一种基于人工智能的洗选生产智能化监测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110826648B (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110826648B (zh) | 一种利用时序聚类算法实现故障检测的方法 | |
CN107294993B (zh) | 一种基于集成学习的web异常流量监测方法 | |
CN106650780B (zh) | 数据处理方法及装置、分类器训练方法及系统 | |
CN109033200B (zh) | 事件抽取的方法、装置、设备及计算机可读介质 | |
US20190095417A1 (en) | Content aware heterogeneous log pattern comparative analysis engine | |
CN109934301B (zh) | 一种电力负荷聚类分析方法、装置和设备 | |
CN111612041A (zh) | 异常用户识别方法及装置、存储介质、电子设备 | |
CN113254255B (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
CN112491872A (zh) | 一种基于设备画像的异常网络访问行为检测方法和系统 | |
Karataş et al. | Big Data: controlling fraud by using machine learning libraries on Spark | |
CN112131322B (zh) | 时间序列分类方法及装置 | |
CN112364637B (zh) | 一种敏感词检测方法、装置,电子设备及存储介质 | |
CN111612037A (zh) | 异常用户检测方法、装置、介质及电子设备 | |
CN114037478A (zh) | 广告异常流量检测方法、系统、电子设备及可读存储介质 | |
CN112951311A (zh) | 一种基于变权重随机森林的硬盘故障预测方法及系统 | |
CN109902731B (zh) | 一种基于支持向量机的性能故障的检测方法及装置 | |
CN111240942A (zh) | 日志异常检测方法及装置 | |
CN110019193B (zh) | 相似帐号识别方法、装置、设备、系统及可读介质 | |
CN110198299B (zh) | 一种入侵检测方法和装置 | |
CN116611003A (zh) | 一种变压器故障诊断方法、装置、介质 | |
Jain et al. | Extracting the textual and temporal structure of supercomputing logs | |
Wu et al. | Classification of complex power quality disturbances based on modified empirical wavelet transform and light gradient boosting machine | |
CN111368864A (zh) | 识别方法、可用性评估方法及装置、电子设备、存储介质 | |
CN111611483B (zh) | 一种对象画像构建方法、装置、设备及存储介质 | |
CN115048345A (zh) | 异常日志检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |