CN108427744B - 一种基于信息运维的智能数据关联关系确定方法 - Google Patents

Abstract

本发明提出一种基于信息运维的智能数据关联关系确定方法，属于人工智能技术运用于设备运维领域，该方法能够准确的查找出关键告警点，过滤关键告警点引起的衍生告警；采用人工智能算法和人工设定规则相结合的方式对告警关系进行梳理，提高了告警识别的准确性和效率；减少了运维管理人员面对告警灾难的可能性；动态学习还能够对软件、硬件的情况变化自动做出相应调整，避免由于运维环境的变化而产生不良告警的可能。

Description

一种基于信息运维的智能数据关联关系确定方法

技术领域

本发明属于人工智能技术运用于设备运维领域，具体涉及一种基于信息运维的智能数据关联关系确定方法。

背景技术

现有的运维系统中对IT设备或其它设备的告警信息只进行了简单到告警推送处理，并没有考虑到设备告警信息的内在关系。因此造成了一个关键设备告警能够产生一系列的衍生设备告警，从而造成告警信息灾难，使运维人员无法及时、准确的查找关键设备告警信息；降低了运维效率，增加了运维成本；

现有告警系统主要存在一些缺陷：

1、无法或很少消除衍生告警信息；

2、人工制定告警消除规则体现不完善，造成设置繁琐且准确里低，增加了实施成本，也增加了日常运维的成本；

3、在运维环境变化的情况下(如：服务器迁移、硬件设备增加等)无法自行判断设备关系的变化，导致设备告警误告的错误。

发明内容

针对现有技术的不足，本发明提出一种基于信息运维的智能数据关联关系确定方法，以达到提高告警识别的准确性、效率，减少运维管理人员面对告警灾难的可能性的目的。

一种基于信息运维的智能数据关联关系确定方法，包括以下步骤：

步骤1、采集被测设备的告警信息，将告警信息存入告警历史数据库中；

步骤2、将设定时间内的所有告警信息设置为一个事务，对告警历史数据库进行压缩；

步骤3、根据CMDB运维系统中设备类型和设备级别，将告警事务进行排序并添加置信度；

步骤4、根据添加置信度之后的告警事务，采用FP-growth算法获得频繁模式树；

步骤5、采集被测设备的实际告警信息，并返回执行步骤2至步骤4获得新的频繁模式树；

步骤6、判断步骤5中获得的新的频繁模式树与步骤4中获得的频繁模式树是否完全不同，若是，返回执行步骤3，重新获得频繁模式树，否则，保存当前频繁模式树；

步骤7、根据频繁模式树，判断主要告警，消除衍生告警，并将结果发送至告警数据库中；

步骤8、告警平台根据告警数据库的信息推送告警结果。

步骤3所述的根据配置管理数据库中设备类型和设备级别，将告警信息进行排序并添加置信度，排序顺序为：网络设备、物理服务器、虚拟服务器、操作系统、数据库、应用系统；置信度按照排序依次设置。

本发明优点：

本发明提出一种基于信息运维的智能数据关联关系确定方法，该方法能够准确的查找出关键告警点，过滤关键告警点引起的衍生告警；采用人工智能算法和人工设定规则相结合的方式对告警关系进行梳理，提高了告警识别的准确性和效率；减少了运维管理人员面对告警灾难的可能性；动态学习还能够对软件、硬件的情况变化自动做出相应调整，避免由于运维环境的变化而产生不良告警的可能。

附图说明

图1为本发明一种实施例的基于信息运维的智能数据关联关系确定方法流程图；

图2为本发明一种实施例的系统结构示意图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，基于信息运维的智能数据关联关系确定方法，初始阶段：首先将历史告警数据，当作原始输入数据；目的是让程序能够在短时间内建立起基本的FP-tree；FP-tree是本方法的核心，FP-growth算法通过对FP-tree的查找来消除无关的告警，找出关键告警，并推送给管理人员。运行阶段：我们将5秒钟内的所有告警数据看做是一条事务；系统通过在对实际运行数据的学习，不断的丰富FP-tree，提高系统告警的可靠性。

本发明实施例中，方法流程图如图1所示，包括以下步骤：

步骤1、采集被测设备的告警信息，将告警信息存入告警历史数据库中；

本发明实施例中，采样系统将告警信息传输到告警历史数据库中，告警历史数据库的结构如表1；

表1

步骤2、将5秒钟内的所有告警信息设置为一个事务，对告警历史数据库进行压缩；

本发明实施例中，将本事务的数据格式转化成如表2形式，为建立FP-Tree做数据准备；

表2

其中：告警信息中的数据与表一种的数据不形同，它包括：节点名称、告警信息、业务ID信息；

步骤3、根据CMDB运维系统中设备类型和设备级别，将告警事务进行排序并添加置信度；

本发明实施例中，数据挖掘程序首先根据CMDB中设备类型和设备级别数据，先将告警信息进行排序并添加置信度。排序规则按照网络设备，物理服务器，虚拟服务器，操作系统，数据库，应用系统，顺序排列。置信度也按照这个顺序给出，网络设备置信度为9，物理服务器置信度为8……；

本发明实施例中，支持度确定规则可以用于给定数据集的频繁程度，置信度用于确定Y在包含X的事务中出现的频繁程度；

支持度(s)和置信度(c)这两种度量的形式定义如下：

其中，N是事务的总数；

关联规则的支持度很低，说明该规则只是偶然出现，没有多大意义；另一方面，置信度可以度量通过关联规则进行推理的可靠性；因此，大多数关联分析算法采用的策略是：

(1)频繁项集产生：其目标是发现满足最小支持度阈值的所有项集，这些项集称作频繁项集。

(2)规则的产生：其目标是从上一步发现的频繁项集中提取所有高置信度的规则，这些规则称作强规则。

本发明实施例中也采用这个策略，由于已经得知了硬件连接与置信度存在的关系，所以在此时人为将某类设备的置信度调高保证算法的高效和准确。

步骤4、根据添加置信度之后的告警事务，采用FP-growth算法获得频繁模式树FP-tree；

步骤5、采集被测设备的实际告警信息，并返回执行步骤2至步骤4获得新的频繁模式树FP-tree；

本发明实施例中，挖掘程序不断扫描现实的告警数据，重复步骤2～步骤5，不断的丰富和修改FP-tree，这样程序能够在实际生产过程中不断的学习动态整运算结果，从而达到动态自学习的目的；

步骤6、判断步骤5中获得的新的频繁模式树FP-tree与步骤4中获得的频繁模式树FP-tree是否完全不同，若是，返回执行步骤3，重新获得频繁模式树FP-tree，否则，保存当前频繁模式树FP-tree；

本发明实施例中，如果得出的结果与FP-tree与人工智能分析结果数据库中的FP-tree的一部分相吻合，那么不对人工智能分析结果数据库进行操作；如果不一致修改或添加人工智能分析数据库，使人工智能分析结果数据库中的ft-tree能够实时、正确的反映当前运维系统的关系。

步骤7、人工智能分析程序根据频繁模式树FP-tree，判断主要告警，消除衍生告警，并将结果发送至告警数据库中；

步骤8、告警平台根据告警数据库的信息推送告警结果。

本发明实施例中，系统框图如图2所示，采集系统将设备告警信息存入“告警采样数据库(事务数据库)”；运维系统每5秒将“告警采样数据库(事务数据库)”中的所有数据取出并存入“告警历史数据库(存储所有告警采样数据)”。数据挖掘程序(FP-Growth)通过“告警历史数据库(存储所有告警采样数据)”与CMDB信息关联将数据加工排序工作。并生成FP-Tree。运维系统将新生成的FP-Tree与“人工智能分析结果数据库(FP-Tree)”中的FP-Tree对比。如果两棵树相同，那么不做操作，如果不同，修改“人工智能分析结果数据库(FP-Tree)”中的FP-Tree；“人工智能分析程序(FP-Growth)”，通过获取“人工智能分析结果数据库(FP-Tree)”中的FP-Tree和CMDB数据中的设备信息，对“告警采样数据库(事务数据库)”的“当前告警列表”进行告警数据的加工，消除衍生告警、丰富告警信息；“人工智能分析程序(FP-Growth)”将加工好的告警信息传入“运维告警数据库”；告警平台读取“运维告警数据库”将告警推送出去。告警平台还可人工对“人工智能分析结果数据库(FP-Tree)”中的数据(FP-Tree)进行修改辅助人工智能程序完成FP-Tree的建立工作。

Claims (1)

1.一种基于信息运维的智能数据关联关系确定方法，其特征在于，包括以下步骤：

步骤1、采集被测设备的告警信息，将告警信息存入告警历史数据库中；

步骤2、将设定时间内的所有告警信息设置为一个事务，对告警历史数据库进行压缩；

步骤3、根据CMDB运维系统中设备类型和设备级别，将告警事务进行排序并添加置信度；步骤3所述的根据配置管理数据库中设备类型和设备级别，将告警信息进行排序并添加置信度，排序顺序为：网络设备、物理服务器、虚拟服务器、操作系统、数据库、应用系统；置信度按照排序依次设置；

步骤4、根据添加置信度之后的告警事务，采用FP-growth算法获得频繁模式树；

步骤5、采集被测设备的实际告警信息，并返回执行步骤2至步骤4获得新的频繁模式树；

步骤6、判断步骤5中获得的新的频繁模式树与步骤4中获得的频繁模式树是否完全不同，若是，返回执行步骤3，重新获得频繁模式树，否则，保存当前频繁模式树；

步骤7、根据频繁模式树，判断主要告警，消除衍生告警，并将结果发送至告警数据库中；

步骤8、告警平台根据告警数据库的信息推送告警结果。

Images