CN108427744A - 一种基于信息运维的智能数据关联关系确定方法 - Google Patents
一种基于信息运维的智能数据关联关系确定方法 Download PDFInfo
- Publication number
- CN108427744A CN108427744A CN201810187817.2A CN201810187817A CN108427744A CN 108427744 A CN108427744 A CN 108427744A CN 201810187817 A CN201810187817 A CN 201810187817A CN 108427744 A CN108427744 A CN 108427744A
- Authority
- CN
- China
- Prior art keywords
- alarm
- tree
- information
- database
- warning information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提出一种基于信息运维的智能数据关联关系确定方法,属于人工智能技术运用于设备运维领域,该方法能够准确的查找出关键告警点,过滤关键告警点引起的衍生告警;采用人工智能算法和人工设定规则相结合的方式对告警关系进行梳理,提高了告警识别的准确性和效率;减少了运维管理人员面对告警灾难的可能性;动态学习还能够对软件、硬件的情况变化自动做出相应调整,避免由于运维环境的变化而产生不良告警的可能。
Description
技术领域
本发明属于人工智能技术运用于设备运维领域,具体涉及一种基于信息运维的智能数据关联关系确定方法。
背景技术
现有的运维系统中对IT设备或其它设备的告警信息只进行了简单到告警推送处理,并没有考虑到设备告警信息的内在关系。因此造成了一个关键设备告警能够产生一系列的衍生设备告警,从而造成告警信息灾难,使运维人员无法及时、准确的查找关键设备告警信息;降低了运维效率,增加了运维成本;
现有告警系统主要存在一些缺陷:
1、无法或很少消除衍生告警信息;
2、人工制定告警消除规则体现不完善,造成设置繁琐且准确里低,增加了实施成本,也增加了日常运维的成本;
3、在运维环境变化的情况下(如:服务器迁移、硬件设备增加等)无法自行判断设备关系的变化,导致设备告警误告的错误。
发明内容
针对现有技术的不足,本发明提出一种基于信息运维的智能数据关联关系确定方法,以达到提高告警识别的准确性、效率,减少运维管理人员面对告警灾难的可能性的目的。
一种基于信息运维的智能数据关联关系确定方法,包括以下步骤:
步骤1、采集被测设备的告警信息,将告警信息存入告警历史数据库中;
步骤2、将设定时间内的所有告警信息设置为一个事务,对告警历史数据库进行压缩;
步骤3、根据CMDB运维系统中设备类型和设备级别,将告警事务进行排序并添加置信度;
步骤4、根据添加置信度之后的告警事务,采用FP-growth算法获得频繁模式树;
步骤5、采集被测设备的实际告警信息,并返回执行步骤2至步骤4获得新的频繁模式树;
步骤6、判断步骤5中获得的新的频繁模式树与步骤4中获得的频繁模式树是否完全不同,若是,返回执行步骤3,重新获得频繁模式树,否则,保存当前频繁模式树;
步骤7、根据频繁模式树,判断主要告警,消除衍生告警,并将结果发送至告警数据库中;
步骤8、告警平台根据告警数据库的信息推送告警结果。
步骤3所述的根据配置管理数据库中设备类型和设备级别,将告警信息进行排序并添加置信度,排序顺序为:网络设备、物理服务器、虚拟服务器、操作系统、数据库、应用系统;置信度按照排序依次设置。
本发明优点:
本发明提出一种基于信息运维的智能数据关联关系确定方法,该方法能够准确的查找出关键告警点,过滤关键告警点引起的衍生告警;采用人工智能算法和人工设定规则相结合的方式对告警关系进行梳理,提高了告警识别的准确性和效率;减少了运维管理人员面对告警灾难的可能性;动态学习还能够对软件、硬件的情况变化自动做出相应调整,避免由于运维环境的变化而产生不良告警的可能。
附图说明
图1为本发明一种实施例的基于信息运维的智能数据关联关系确定方法流程图;
图2为本发明一种实施例的系统结构示意图。
具体实施方式
下面结合附图对本发明一种实施例做进一步说明。
本发明实施例中,基于信息运维的智能数据关联关系确定方法,初始阶段:首先将历史告警数据,当作原始输入数据;目的是让程序能够在短时间内建立起基本的FP-tree;FP-tree是本方法的核心,FP-growth算法通过对FP-tree的查找来消除无关的告警,找出关键告警,并推送给管理人员。运行阶段:我们将5秒钟内的所有告警数据看做是一条事务;系统通过在对实际运行数据的学习,不断的丰富FP-tree,提高系统告警的可靠性。
本发明实施例中,方法流程图如图1所示,包括以下步骤:
步骤1、采集被测设备的告警信息,将告警信息存入告警历史数据库中;
本发明实施例中,采样系统将告警信息传输到告警历史数据库中,告警历史数据库的结构如表1;
表1
步骤2、将5秒钟内的所有告警信息设置为一个事务,对告警历史数据库进行压缩;
本发明实施例中,将本事务的数据格式转化成如表2形式,为建立FP-Tree做数据准备;
表2
其中:告警信息中的数据与表一种的数据不形同,它包括:节点名称、告警信息、业务ID信息;
步骤3、根据CMDB运维系统中设备类型和设备级别,将告警事务进行排序并添加置信度;
本发明实施例中,数据挖掘程序首先根据CMDB中设备类型和设备级别数据,先将告警信息进行排序并添加置信度。排序规则按照网络设备,物理服务器,虚拟服务器,操作系统,数据库,应用系统,顺序排列。置信度也按照这个顺序给出,网络设备置信度为9,物理服务器置信度为8……;
本发明实施例中,支持度确定规则可以用于给定数据集的频繁程度,置信度用于确定Y在包含X的事务中出现的频繁程度;
支持度(s)和置信度(c)这两种度量的形式定义如下:
其中,N是事务的总数;
关联规则的支持度很低,说明该规则只是偶然出现,没有多大意义;另一方面,置信度可以度量通过关联规则进行推理的可靠性;因此,大多数关联分析算法采用的策略是:
(1)频繁项集产生:其目标是发现满足最小支持度阈值的所有项集,这些项集称作频繁项集。
(2)规则的产生:其目标是从上一步发现的频繁项集中提取所有高置信度的规则,这些规则称作强规则。
本发明实施例中也采用这个策略,由于已经得知了硬件连接与置信度存在的关系,所以在此时人为将某类设备的置信度调高保证算法的高效和准确。
步骤4、根据添加置信度之后的告警事务,采用FP-growth算法获得频繁模式树FP-tree;
步骤5、采集被测设备的实际告警信息,并返回执行步骤2至步骤4获得新的频繁模式树FP-tree;
本发明实施例中,挖掘程序不断扫描现实的告警数据,重复步骤2~步骤5,不断的丰富和修改FP-tree,这样程序能够在实际生产过程中不断的学习动态整运算结果,从而达到动态自学习的目的;
步骤6、判断步骤5中获得的新的频繁模式树FP-tree与步骤4中获得的频繁模式树FP-tree是否完全不同,若是,返回执行步骤3,重新获得频繁模式树FP-tree,否则,保存当前频繁模式树FP-tree;
本发明实施例中,如果得出的结果与FP-tree与人工智能分析结果数据库中的FP-tree的一部分相吻合,那么不对人工智能分析结果数据库进行操作;如果不一致修改或添加人工智能分析数据库,使人工智能分析结果数据库中的ft-tree能够实时、正确的反映当前运维系统的关系。
步骤7、人工智能分析程序根据频繁模式树FP-tree,判断主要告警,消除衍生告警,并将结果发送至告警数据库中;
步骤8、告警平台根据告警数据库的信息推送告警结果。
本发明实施例中,系统框图如图2所示,采集系统将设备告警信息存入“告警采样数据库(事务数据库)”;运维系统每5秒将“告警采样数据库(事务数据库)”中的所有数据取出并存入“告警历史数据库(存储所有告警采样数据)”。数据挖掘程序(FP-Growth)通过“告警历史数据库(存储所有告警采样数据)”与CMDB信息关联将数据加工排序工作。并生成FP-Tree。运维系统将新生成的FP-Tree与“人工智能分析结果数据库(FP-Tree)”中的FP-Tree对比。如果两棵树相同,那么不做操作,如果不同,修改“人工智能分析结果数据库(FP-Tree)”中的FP-Tree;“人工智能分析程序(FP-Growth)”,通过获取“人工智能分析结果数据库(FP-Tree)”中的FP-Tree和CMDB数据中的设备信息,对“告警采样数据库(事务数据库)”的“当前告警列表”进行告警数据的加工,消除衍生告警、丰富告警信息;“人工智能分析程序(FP-Growth)”将加工好的告警信息传入“运维告警数据库”;告警平台读取“运维告警数据库”将告警推送出去。告警平台还可人工对“人工智能分析结果数据库(FP-Tree)”中的数据(FP-Tree)进行修改辅助人工智能程序完成FP-Tree的建立工作。
Claims (2)
1.一种基于信息运维的智能数据关联关系确定方法,其特征在于,包括以下步骤:
步骤1、采集被测设备的告警信息,将告警信息存入告警历史数据库中;
步骤2、将设定时间内的所有告警信息设置为一个事务,对告警历史数据库进行压缩;
步骤3、根据CMDB运维系统中设备类型和设备级别,将告警事务进行排序并添加置信度;
步骤4、根据添加置信度之后的告警事务,采用FP-growth算法获得频繁模式树;
步骤5、采集被测设备的实际告警信息,并返回执行步骤2至步骤4获得新的频繁模式树;
步骤6、判断步骤5中获得的新的频繁模式树与步骤4中获得的频繁模式树是否完全不同,若是,返回执行步骤3,重新获得频繁模式树,否则,保存当前频繁模式树;
步骤7、根据频繁模式树,判断主要告警,消除衍生告警,并将结果发送至告警数据库中;
步骤8、告警平台根据告警数据库的信息推送告警结果。
2.根据权利要求1所述的基于信息运维的智能数据关联关系确定方法,其特征在于,步骤3所述的根据配置管理数据库中设备类型和设备级别,将告警信息进行排序并添加置信度,排序顺序为:网络设备、物理服务器、虚拟服务器、操作系统、数据库、应用系统;置信度按照排序依次设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810187817.2A CN108427744B (zh) | 2018-03-07 | 2018-03-07 | 一种基于信息运维的智能数据关联关系确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810187817.2A CN108427744B (zh) | 2018-03-07 | 2018-03-07 | 一种基于信息运维的智能数据关联关系确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108427744A true CN108427744A (zh) | 2018-08-21 |
CN108427744B CN108427744B (zh) | 2021-05-14 |
Family
ID=63157568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810187817.2A Active CN108427744B (zh) | 2018-03-07 | 2018-03-07 | 一种基于信息运维的智能数据关联关系确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108427744B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730100A (zh) * | 2019-10-21 | 2020-01-24 | 中国民航信息网络股份有限公司 | 一种告警信息处理方法、装置及服务器 |
CN112463201A (zh) * | 2020-12-14 | 2021-03-09 | 四川长虹电器股份有限公司 | 基于系统聚类和灰色关联分析的软件维护成本优化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063069A1 (en) * | 2012-12-14 | 2016-03-03 | Microsoft Technology Licensing, Llc | Mining for statistical enumerated type |
CN105786919A (zh) * | 2014-12-26 | 2016-07-20 | 亿阳信通股份有限公司 | 一种告警关联规则挖掘方法和装置 |
CN106330533A (zh) * | 2016-01-21 | 2017-01-11 | 华南师范大学 | 一种大规模网络告警实时拓扑建立方法 |
US9838248B1 (en) * | 2014-12-18 | 2017-12-05 | Juniper Networks, Inc. | Confidence level information for network alarms |
-
2018
- 2018-03-07 CN CN201810187817.2A patent/CN108427744B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160063069A1 (en) * | 2012-12-14 | 2016-03-03 | Microsoft Technology Licensing, Llc | Mining for statistical enumerated type |
US9838248B1 (en) * | 2014-12-18 | 2017-12-05 | Juniper Networks, Inc. | Confidence level information for network alarms |
CN105786919A (zh) * | 2014-12-26 | 2016-07-20 | 亿阳信通股份有限公司 | 一种告警关联规则挖掘方法和装置 |
CN106330533A (zh) * | 2016-01-21 | 2017-01-11 | 华南师范大学 | 一种大规模网络告警实时拓扑建立方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110730100A (zh) * | 2019-10-21 | 2020-01-24 | 中国民航信息网络股份有限公司 | 一种告警信息处理方法、装置及服务器 |
CN112463201A (zh) * | 2020-12-14 | 2021-03-09 | 四川长虹电器股份有限公司 | 基于系统聚类和灰色关联分析的软件维护成本优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108427744B (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111210024B (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
CN106295807B (zh) | 一种信息处理的方法及装置 | |
CN105677791B (zh) | 用于分析风力发电机组的运行数据的方法和系统 | |
CN114816909B (zh) | 一种基于机器学习的实时日志检测预警方法及系统 | |
CN112365171B (zh) | 基于知识图谱的风险预测方法、装置、设备及存储介质 | |
CN114742477B (zh) | 企业订单数据处理方法、装置、设备及存储介质 | |
TW202203212A (zh) | 關鍵點檢測方法、電子設備及電腦可讀儲存介質 | |
CN112367273B (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
CN112415331A (zh) | 基于多源故障信息的电网二次系统故障诊断方法 | |
CN114296975A (zh) | 一种分布式系统调用链和日志融合异常检测方法 | |
CN110175272A (zh) | 一种基于特征建模实现工单收敛的控制方法及控制装置 | |
CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
CN108427744A (zh) | 一种基于信息运维的智能数据关联关系确定方法 | |
CN110011990A (zh) | 内网安全威胁智能分析方法 | |
CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
CN117240522A (zh) | 基于攻击事件模型的漏洞智能挖掘方法 | |
CN117376087A (zh) | 网络质量问题定界方法、装置、设备和存储介质 | |
CN115186935B (zh) | 一种机电设备非线性故障预测方法及系统 | |
CN114491078B (zh) | 基于知识图谱的社区项目人员落脚点和同行人员分析方法 | |
CN113807462B (zh) | 一种基于ai的网络设备故障原因定位方法及其系统 | |
CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
CN112732773A (zh) | 一种继电保护缺陷数据的唯一性校核方法及系统 | |
CN108830029A (zh) | 一种台风数据的质量评估与修复方法 | |
CN114791863A (zh) | 一种基于工业控制系统的消息推送方法及系统模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |