CN109993363A - 一种基于人工智能的自动化告警预测方法 - Google Patents

一种基于人工智能的自动化告警预测方法 Download PDF

Info

Publication number
CN109993363A
CN109993363A CN201910256484.9A CN201910256484A CN109993363A CN 109993363 A CN109993363 A CN 109993363A CN 201910256484 A CN201910256484 A CN 201910256484A CN 109993363 A CN109993363 A CN 109993363A
Authority
CN
China
Prior art keywords
alarm
data
cluster
artificial intelligence
automation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910256484.9A
Other languages
English (en)
Inventor
于沈课
张建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Information Technology Co Ltd filed Critical Shandong Inspur Cloud Information Technology Co Ltd
Priority to CN201910256484.9A priority Critical patent/CN109993363A/zh
Publication of CN109993363A publication Critical patent/CN109993363A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明特别涉及一种基于人工智能的自动化告警预测方法。该基于人工智能的自动化告警预测方法,针对海量运维数据,采用机器学习和人工智能算法对数据进行聚类分析,提取设备或服务告警的规律信息,采用相似性度量方式预测告警的发生。该基于人工智能的自动化告警预测方法,可以对告警进行提前预测,从而可以使运维人员对于设备或服务的故障进行早排查,早诊断和早分析,进而为公司或企业减少人力成本,减少因故障发生而造成的经济损失。

Description

一种基于人工智能的自动化告警预测方法
技术领域
本发明涉及自动化运维技术领域,特别涉及一种基于人工智能的自动化告警预测方法。
背景技术
随着整个互联网业务急剧膨胀,以及服务类型的复杂多样,催生了众多卓越的互联网企业,其用户数及业务规模很容易达到海量级别,且企业内部对IT运维管理的质量水准也日益提出高标准和严要求。“基于人为指定规则”的专家系统逐渐变得力不从心。
随着信息时代的持续发展,海量数据下的IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务,面对越来越多样化的用户需求,不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障,这种模式中的保障因素就是IT运维(其他因素是更加优越的IT架构等)。从初期的几台服务器发展到庞大的数据中心,单靠人工已经无法满足在技术、业务、管理等方面的要求,那么标准化、自动化、架构优化、过程优化等降低IT服务成本的因素越来越被人们所重视。其中,自动化最开始作为代替人工操作为出发点的诉求被广泛研究和应用。
IT运维从诞生发展至今,自动化作为其重要属性之一已经不仅仅只是代替人工操作,更重要的是深层探知和全局分析,关注的是在当前条件下如何实现性能与服务最优化,同时保障投资收益最大化。自动化对IT运维的影响,已经不仅仅是人与设备之间的关系,已经发展到了面向客户服务驱动IT运维决策的层面,IT运维团队的构成,也从各级技术人员占大多数发展到业务人员甚至用户占大多数的局面。
因此,IT运维自动化是一组将静态的设备结构转化为根据IT服务需求动态弹性响应的策略,目的就是实现IT运维的质量,降低成本。可以说自动化一定是IT运维最高层面的重要属性之一,但不是全部。
目前许多企业的IT运维已经实现从人工运维到计算机管理,但延展咨询在同客户的交流中发现其中很多企业的IT运维管理还只是处在"半自动化"的运维状态。因为这种IT运维仍然是等到IT故障出现后再由运维人员采取相应的补救措施。这些传统式被动、孤立、半自动式的IT运维管理模式经常让IT部门疲惫不堪,主要表现在以下三个方面:
(1)运维人员被动、效率低;
(2)缺乏一套高效的IT运维机制;
(3)缺乏高效的IT运维技术工具。
自动化运维的不足日益凸显,海量的运维数据(日志、监控信息、应用信息等)给运维人员对设备的维护带来极大的挑战。但海量数据给运维人员带来维护不便的同时,也给数据分析人员带来了机遇与资源。
人工智能算法不依赖于人为指定规则,主张由机器学习算法自动地从海量运维数据(包括事件本身以及运维人员的人工处理日志)中不断地学习,不断地提炼并总结规则。在现实应用中,及早地发现设备或服务的故障,可以对故障进行早排查、早修复,从而可以有效地减少因故障而带来的经济损失。
基于上述情况,本发明提出了一种基于人工智能的自动化告警预测方法,该算法采集设备或服务的监控数据和告警数据的时间序列曲线作为训练集,使用人工智能算法对训练集进行分析,挖掘告警发生以及发生前一段时间内时间序列曲线规律性变化,形成告警数据预测模型,从而可以用来预测告警的发生。
发明内容
本发明为了弥补现有技术的缺陷,提供了一种简单高效的基于人工智能的自动化告警预测方法。
本发明是通过如下技术方案实现的:
一种基于人工智能的自动化告警预测方法,其特征在于:针对海量运维数据,采用机器学习和人工智能算法对数据进行聚类分析,提取设备或服务告警的规律信息,采用相似性度量方式预测告警的发生。
采用机器学习算法中的聚类算法对服务或设备的告警时间序列数据进行分析,基于聚类分析的结果对于每个簇做进一步分析,提取告警时间序列曲线变化规律,构建告警预测模型,基于告警预测模型对线上数据进行告警预测。
本发明基于人工智能的自动化告警预测方法,包括以下步骤:
(5)采集服务或设备的时间序列曲线数据作为训练集;
(6)采用聚类分析算法对训练集进行聚类操作,寻找训练数据中存在的共性信息;
(7)所述基于聚类分析的结果,对每一个簇进行进一步数据分析,发现告警发生的规律性信息,形成告警预测模型;
(8)安装告警预测模型,即可对线上数据进行监控,预测设备或服务的告警发生。
所述步骤(1)中,曲线数据由告警发生时间点的数据以及告警发生前n个时间点的数据组成,因此时间序列曲线共包含n+1个时间点。
所述步骤(2)中,采用K-means算法对训练集进行聚类操作。
所述步骤(2)中,对共性信息进行分析挖掘,滤掉噪音和无关的样本,减少噪音和无关样本对于数据分析的影响,从而提高数据分析效果并降低算法的运行时间。
所述步骤(3)中,将每一个簇的簇中心作为该簇的代表,以簇中心的时间序列曲线作为告警预测模型,预测告警的发生。
所述步骤(3)中,对每一个簇中的数据进行数据拟合,判别函数采用相似性度量,拟合出一条新的时间序列数据曲线,将该时间序列曲线作为告警预测模型,预测告警的发生。
本发明的有益效果是:该基于人工智能的自动化告警预测方法,可以对告警进行提前预测,从而可以使运维人员对于设备或服务的故障进行早排查,早诊断和早分析,进而为公司或企业减少人力成本,减少因故障发生而造成的经济损失。
附图说明
附图1为本发明基于人工智能的自动化告警预测方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图和实施例,对本发明进行详细的说明。应当说明的是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
该基于人工智能的自动化告警预测方法,针对海量运维数据,采用机器学习和人工智能算法对数据进行聚类分析,提取设备或服务告警的规律信息,采用相似性度量方式预测告警的发生。
采用机器学习算法中的聚类算法对服务或设备的告警时间序列数据进行分析,基于聚类分析的结果对于每个簇做进一步分析,提取告警时间序列曲线变化规律,构建告警预测模型,基于告警预测模型对线上数据进行告警预测。
该基于人工智能的自动化告警预测方法,包括以下步骤:
(9)采集服务或设备的时间序列曲线数据作为训练集;
(10)采用聚类分析算法对训练集进行聚类操作,寻找训练数据中存在的共性信息;
(11)所述基于聚类分析的结果,对每一个簇进行进一步数据分析,发现告警发生的规律性信息,形成告警预测模型;
(12)安装告警预测模型,即可对线上数据进行监控,预测设备或服务的告警发生。
所述步骤(1)中,曲线数据由告警发生时间点的数据以及告警发生前n个时间点的数据组成,因此时间序列曲线共包含n+1个时间点。
所述步骤(2)中,采用K-means算法对训练集进行聚类操作。
所述K-means算法是输入聚类个数k,以及包含n个数据对象的数据库,输出满足方差最小标准k个聚类的一种算法。
K-means算法接受输入量k,然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。
聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。
K-means算法的工作过程说明如下:
(1)首先从n个数据对象任意选择k个对象作为初始聚类中心;而对于所剩下其它对象,则根据它们与这些聚类中心的相似度(距离),分别将它们分配给与其最相似的(聚类中心所代表的)聚类;
(2)然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);
(3)不断重复这一过程直到标准测度函数开始收敛为止。
一般都采用均方差作为标准测度函数,k个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。
所述步骤(2)中,对共性信息进行分析挖掘,滤掉噪音和无关的样本,减少噪音和无关样本对于数据分析的影响,从而提高数据分析效果并降低算法的运行时间。
方案一:由于聚类的核心思想为“相似相聚”,所以所述步骤(3)中,将每一个簇的簇中心作为该簇的代表,以簇中心的时间序列曲线作为告警预测模型,预测告警的发生。
方案二:所述步骤(3)中,对每一个簇中的数据进行数据拟合,判别函数采用相似性度量,拟合出一条新的时间序列数据曲线,将该时间序列曲线作为告警预测模型,预测告警的发生。

Claims (8)

1.一种基于人工智能的自动化告警预测方法,其特征在于:针对海量运维数据,采用机器学习和人工智能算法对数据进行聚类分析,提取设备或服务告警的规律信息,采用相似性度量方式预测告警的发生。
2.根据权利要求1所述的基于人工智能的自动化告警预测方法,其特征在于:采用机器学习算法中的聚类算法对服务或设备的告警时间序列数据进行分析,基于聚类分析的结果对于每个簇做进一步分析,提取告警时间序列曲线变化规律,构建告警预测模型,基于告警预测模型对线上数据进行告警预测。
3.根据权利要求2所述的基于人工智能的自动化告警预测方法,其特征在于,包括以下步骤:
(1)采集服务或设备的时间序列曲线数据作为训练集;
(2)采用聚类分析算法对训练集进行聚类操作,寻找训练数据中存在的共性信息;
(3)所述基于聚类分析的结果,对每一个簇进行进一步数据分析,发现告警发生的规律性信息,形成告警预测模型;
(4)安装告警预测模型,即可对线上数据进行监控,预测设备或服务的告警发生。
4.根据权利要求3所述的基于人工智能的自动化告警预测方法,其特征在于:所述步骤(1)中,曲线数据由告警发生时间点的数据以及告警发生前n个时间点的数据组成,因此时间序列曲线共包含n+1个时间点。
5.根据权利要求3或4所述的基于人工智能的自动化告警预测方法,其特征在于:所述步骤(2)中,采用K-means算法对训练集进行聚类操作。
6.根据权利要求3所述的基于人工智能的自动化告警预测方法,其特征在于:所述步骤(2)中,对共性信息进行分析挖掘,滤掉噪音和无关的样本,减少噪音和无关样本对于数据分析的影响,从而提高数据分析效果并降低算法的运行时间。
7.根据权利要求3所述的基于人工智能的自动化告警预测方法,其特征在于:所述步骤(3)中,将每一个簇的簇中心作为该簇的代表,以簇中心的时间序列曲线作为告警预测模型,预测告警的发生。
8.根据权利要求3所述的基于人工智能的自动化告警预测方法,其特征在于:所述步骤(3)中,对每一个簇中的数据进行数据拟合,判别函数采用相似性度量,拟合出一条新的时间序列数据曲线,将该时间序列曲线作为告警预测模型,预测告警的发生。
CN201910256484.9A 2019-04-01 2019-04-01 一种基于人工智能的自动化告警预测方法 Pending CN109993363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256484.9A CN109993363A (zh) 2019-04-01 2019-04-01 一种基于人工智能的自动化告警预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256484.9A CN109993363A (zh) 2019-04-01 2019-04-01 一种基于人工智能的自动化告警预测方法

Publications (1)

Publication Number Publication Date
CN109993363A true CN109993363A (zh) 2019-07-09

Family

ID=67131372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256484.9A Pending CN109993363A (zh) 2019-04-01 2019-04-01 一种基于人工智能的自动化告警预测方法

Country Status (1)

Country Link
CN (1) CN109993363A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139252A1 (zh) * 2020-07-31 2021-07-15 平安科技(深圳)有限公司 运维故障根因识别方法、装置、计算机设备和存储介质
CN113254541A (zh) * 2021-04-15 2021-08-13 浙江工业大学 一种基于聚类分析的剧场运维管理方法
CN115102835A (zh) * 2022-05-07 2022-09-23 北京直真科技股份有限公司 一种基于机器学习的onu客户侧断电智能判断方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917303A (zh) * 2010-07-28 2010-12-15 中兴通讯股份有限公司 告警防抖动的处理方法及装置
CN104503874A (zh) * 2014-12-29 2015-04-08 南京大学 一种云计算平台的硬盘故障预测方法
CN105323111A (zh) * 2015-11-17 2016-02-10 南京南瑞集团公司 一种运维自动化系统及方法
CN107122880A (zh) * 2017-03-06 2017-09-01 国家电网公司 一种基于指数平滑法的电力设备告警信息趋势预测方法
CN108197011A (zh) * 2018-01-29 2018-06-22 上海洞识信息科技有限公司 一种基于人工智能大数据平台的单指标预测和预警方法
CN109120451A (zh) * 2018-08-31 2019-01-01 深圳市麦斯杰网络有限公司 基于物联网的设备评估方法、设备及计算机可读存储介质
CN109214595A (zh) * 2018-10-23 2019-01-15 中核核电运行管理有限公司 基于大数据分析的核电厂主泵三级密封故障预测方法
US20190034632A1 (en) * 2017-07-25 2019-01-31 Trend Micro Incorporated Method and system for static behavior-predictive malware detection
CN109376061A (zh) * 2018-09-03 2019-02-22 杭州东方通信软件技术有限公司 一种信息处理方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917303A (zh) * 2010-07-28 2010-12-15 中兴通讯股份有限公司 告警防抖动的处理方法及装置
CN104503874A (zh) * 2014-12-29 2015-04-08 南京大学 一种云计算平台的硬盘故障预测方法
CN105323111A (zh) * 2015-11-17 2016-02-10 南京南瑞集团公司 一种运维自动化系统及方法
CN107122880A (zh) * 2017-03-06 2017-09-01 国家电网公司 一种基于指数平滑法的电力设备告警信息趋势预测方法
US20190034632A1 (en) * 2017-07-25 2019-01-31 Trend Micro Incorporated Method and system for static behavior-predictive malware detection
CN108197011A (zh) * 2018-01-29 2018-06-22 上海洞识信息科技有限公司 一种基于人工智能大数据平台的单指标预测和预警方法
CN109120451A (zh) * 2018-08-31 2019-01-01 深圳市麦斯杰网络有限公司 基于物联网的设备评估方法、设备及计算机可读存储介质
CN109376061A (zh) * 2018-09-03 2019-02-22 杭州东方通信软件技术有限公司 一种信息处理方法及系统
CN109214595A (zh) * 2018-10-23 2019-01-15 中核核电运行管理有限公司 基于大数据分析的核电厂主泵三级密封故障预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139252A1 (zh) * 2020-07-31 2021-07-15 平安科技(深圳)有限公司 运维故障根因识别方法、装置、计算机设备和存储介质
CN113254541A (zh) * 2021-04-15 2021-08-13 浙江工业大学 一种基于聚类分析的剧场运维管理方法
CN113254541B (zh) * 2021-04-15 2022-10-28 浙江工业大学 一种基于聚类分析的剧场运维管理方法
CN115102835A (zh) * 2022-05-07 2022-09-23 北京直真科技股份有限公司 一种基于机器学习的onu客户侧断电智能判断方法

Similar Documents

Publication Publication Date Title
CN109993363A (zh) 一种基于人工智能的自动化告警预测方法
CN109525595A (zh) 一种基于时间流特征的黑产账号识别方法及设备
CN101242549A (zh) 通信网络告警关联的神经网络构建方法
CN106227165B (zh) 一种智能制造管理系统
CN107369001A (zh) 一种大型电力企业绩效发放监控与分析系统
CN104579771B (zh) 一种对用户登录登出应用系统的行为轨迹的分析方法
CN107908640A (zh) 一种业务实体关系智能探索引擎实现方法
CN114297290A (zh) 一种电力营销数据共享应用平台
TWI662809B (zh) 影像串流服務的障礙定位系統及維運方法
CN116614344B (zh) 一种基于数字孪生的故障诊断方法及系统
CN103226572B (zh) 一种基于数据压缩的可扩展的监控方法及系统
CN111160810A (zh) 基于工作流的高性能分布式空间分析任务调度方法及系统
CN107832408B (zh) 一种基于数据标签及熵权法的电网缺陷推荐方法
CN110502554A (zh) 一种基于皮尔逊系数的航天器相关遥测参数查找方法
CN108629475A (zh) 一种基于宏观经济数据的经营信息分析系统的交互方法
CN109816120A (zh) 机房运维管理方法、电子装置及存储介质
CN115129356A (zh) 目标事件看板生成方法、存储介质及电子装置
CN113139012A (zh) 一种基于json的etl工具引擎处理数据的方法及etl数据处理系统
CN105700889B (zh) 一种基于psp和tsp的软件运行调试系统
CN109726461A (zh) 一种基于用户用电数据的用电异常判断方法
CN110245869A (zh) 面向不同领域的可定制开源软件选择方法
Buruzs et al. Using Fuzzy Cognitive Maps approach to identify integrated waste management system characteristics
Yang et al. An intelligent system for forecasting the trend of consumed electricity
CN109508358B (zh) 一种基于复合优化分析的企业管理效率测度方法
CN110083577B (zh) 一种智能家居云平台的数据收集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709