CN111010311B - 一种基于知识图谱的智能网络故障诊断方法 - Google Patents

一种基于知识图谱的智能网络故障诊断方法 Download PDF

Info

Publication number
CN111010311B
CN111010311B CN201911161766.7A CN201911161766A CN111010311B CN 111010311 B CN111010311 B CN 111010311B CN 201911161766 A CN201911161766 A CN 201911161766A CN 111010311 B CN111010311 B CN 111010311B
Authority
CN
China
Prior art keywords
network
event
knowledge graph
abnormal
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911161766.7A
Other languages
English (en)
Other versions
CN111010311A (zh
Inventor
陈旋
王冲
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aijia Household Products Co Ltd
Original Assignee
Jiangsu Aijia Household Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aijia Household Products Co Ltd filed Critical Jiangsu Aijia Household Products Co Ltd
Priority to CN201911161766.7A priority Critical patent/CN111010311B/zh
Publication of CN111010311A publication Critical patent/CN111010311A/zh
Application granted granted Critical
Publication of CN111010311B publication Critical patent/CN111010311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于知识图谱的智能网络故障诊断方法，步骤为：构建网络信息知识图谱；构建统一网络事件库，向事件库中导入各种类型的事件，并提供API给诊断程序调用；选取时间片，将产生异常事件的设备在网络信息知识图谱上着色；在异常网元着色的基础上，忽略其它正常的网元，得到仅带有异常网元的网络结构图，找出该网络结构图中的所有连通子图，即得到所有的事件簇；对每个事件簇进行中心度计算然后从大到小排序，将前N个中心度对应的事件簇作为根因事件所在的故障点。本发明有效地解决了由于基础网络故障导致的集群应用宕机，提高了集群应用的高可靠和高可用性。

Description

一种基于知识图谱的智能网络故障诊断方法
技术领域
本发明属于互联网技术领域，特别涉及了一种智能网络故障诊断方法。
背景技术
当前人们生活在一个互联网信息发达的社会中，信息技术无处不在，如何保障应用系统健康、稳定、可靠地运行，非常重要。随着互联网、移动互联网迅猛发展，用户越来越挑剔，对应用软件的用户体验要求越来越高。众所周知，应用软件都是建立在一个庞大、复杂、跨协议层的大型分布式系统之上的，而这个分布式系统的技术、软件、配置通常会不断快速地演变，其软硬件难以避免会发生故障、Bug、变更，用户流量会发生不可预知的变化，甚至会发生安全攻击事件， 而上述趋势有愈演愈烈之势。
尽管各类运维监控工具使得系统运行状态的可见度有较大提升，但是当遇到运维故障时，面对海量监控数据和庞大负责分布式系统，仍依赖运维人员在高压下人力做出迅速、准确地运维决策，这显然是不现实的。特别是基础网络出现故障导致整个应用集群不可用，这时候就需要通过故障智能诊断技术，提前发现并解决问题，提高整个应用的可用性。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种基于知识图谱的智能网络故障诊断方法，有效解决由于基础网络故障导致的集群应用宕机，提高集群应用的高可靠和高可用性。
为了实现上述技术目的，本发明的技术方案为：
（1）构建网络信息知识图谱，用于描述和存储全网各类信息，包括每个网元的属性，网元之间的连接关系和专线描述；
（2）构建统一网络事件库，向事件库中导入各种类型的事件，并提供API给诊断程序调用；
（3）选取时间片，将产生异常事件的设备在网络信息知识图谱上着色；
（4）在异常网元着色的基础上，忽略其它正常的网元，得到仅带有异常网元的网络结构图，找出该网络结构图中的所有连通子图，即得到所有的事件簇；
（5）对每个事件簇进行中心度计算然后从大到小排序，将前N个中心度对应的事件簇作为根因事件所在的故障点，N根据实际情况设定。
基于上述技术方案的优选方案，在步骤（1）中，选择neo4j作为网络信息知识图谱的存储引擎。
基于上述技术方案的优选方案，在步骤（2）中，选择模式自由的ElasticSearch作为事件库。
基于上述技术方案的优选方案，在步骤（5）中，中心度算法为中心性degree算法、接近中心性closeness算法或者中介中心性betweenness算法。
附图说明
图1是网络结构示意图；
图2是异常网元示意图；
图3是本发明方案示意图；
图4是事件簇示意图；
图5是基于中心度的根因定位示意图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示网络中的一个简单的组成部分拓扑，可以看到网络是由网元（图中的SZ-PS-0）和网元间的连接（NetLink）构成，其中连接既包含物理上的，也包含逻辑上的，一个网元（如交换机、路由器）内部也有复杂的结构和特性。
由于公司整个网络规模巨大，网络中时刻都会有各种事件发生，包括设备syslog告警、流量包量异常、路由变化、异常变更等等，以简单抽象对应到图2中，斜线填充的网元部分即为产生异常事件的网元设备。
从图2中可以看到产生异常事件的设备是存在community聚集现象的，而在实际中同一个事件簇很有可能是由某一个根因事件造成的，而产生这一个根因事件的网元很大概率就在这个簇的枢纽和最中心位置。
本发明的技术方案如下。
（1）网络信息知识图谱构建
当前主要使用关系式数据库来描述和存储全网各类信息，包括每个网元的属性、网元之前的连接关系、专线描述等。当涉及拓扑信息查询、路径搜索等使用场景时需进行大量昂贵的join表操作，同时连接关系的更新维护也较为复杂。基于易用性、成熟度等考虑，在本实施例中，选用neo4j做为网络信息知识图谱的存储引擎。
（2）统一网络事件库构建
事件库需要导入多种类型的事件（例如告警事件、变更事件等），因此选用了schema-free的ElasticSearch（ES）作为事件库存储。在此基础上构建event-manager从各类事件源导入至事件库中，并提供API给诊断程序调用。
（3）网元着色和事件过滤
在有了网络信息知识图谱和事件库之后，就可以选取时间片，将产生异常事件的设备在图谱上着色，在实际使用图数据库neo4j的实现过程中只需给对应节点添加一个Label即可。这里值得注意的是，可以选择需要过滤的事件类型来定制调节诊断程序的偏好。着色后的状态如前述图2所示。
（4）事件簇发现和边界划分
在图2异常网元着色的基础上，把其它正常的节点忽略掉，就会得到图4的结果。找出图4中所有的连通子图，便得到了所有的事件簇。这里如果使用neo4j的话，甚至都不需要自己去实现具体代码，call以下的算法库函数即可：
CALL algo.unionFind.stream('Abnormal', 'NetLink', {})
YIELD nodeId,setId
RETURN nodeId,setId;
（5）基于中心度的事件簇分析和根因定位
取得所有事件簇之后，对每个簇进行中心度计算然后排序，中心度top N就是想要得到的最终的根因事件大概率所在故障点。
中心度计算有很多算法可以选择：degree、closeness和betweenness等等，这里可以根据实际需要来选择。本实施例选择betweenness算法，即计算节点被经过的路径条数最高的那个。结果如图5所示，灰色填充的节点就是诊断出的根因故障点。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种基于知识图谱的智能网络故障诊断方法，其特征在于，包括以下步骤：
（1）构建网络信息知识图谱，用于描述和存储全网各类信息，包括每个网元的属性，网元之间的连接关系和专线描述；
（2）构建统一网络事件库，向事件库中导入各种类型的事件，并提供API给诊断程序调用；
（3）选取时间片，将产生异常事件的设备在网络信息知识图谱上着色；
（4）在异常网元着色的基础上，忽略其它正常的网元，得到仅带有异常网元的网络结构图，找出该网络结构图中的所有连通子图，即得到所有的事件簇；
（5）对每个事件簇进行中心度计算然后从大到小排序，将前N个中心度对应的事件簇作为根因事件所在的故障点，N根据实际情况设定。
2.根据权利要求1所述基于知识图谱的智能网络故障诊断方法，其特征在于，在步骤（1）中，选择neo4j作为网络信息知识图谱的存储引擎。
3.根据权利要求1所述基于知识图谱的智能网络故障诊断方法，在步骤（2）中，选择模式自由的ElasticSearch作为事件库。
4.根据权利要求1所述基于知识图谱的智能网络故障诊断方法，在步骤（2）中，在步骤（5）中，中心度算法为中心性degree算法、接近中心性closeness算法或者中介中心性betweenness算法。
CN201911161766.7A 2019-11-25 2019-11-25 一种基于知识图谱的智能网络故障诊断方法 Active CN111010311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911161766.7A CN111010311B (zh) 2019-11-25 2019-11-25 一种基于知识图谱的智能网络故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911161766.7A CN111010311B (zh) 2019-11-25 2019-11-25 一种基于知识图谱的智能网络故障诊断方法

Publications (2)

Publication Number Publication Date
CN111010311A CN111010311A (zh) 2020-04-14
CN111010311B true CN111010311B (zh) 2022-07-08

Family

ID=70113742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911161766.7A Active CN111010311B (zh) 2019-11-25 2019-11-25 一种基于知识图谱的智能网络故障诊断方法

Country Status (1)

Country Link
CN (1) CN111010311B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348213A (zh) * 2020-11-27 2021-02-09 新华三大数据技术有限公司 运维故障排查实现方法、装置、介质及设备
CN114205852B (zh) * 2022-02-17 2022-05-03 网络通信与安全紫金山实验室 无线通信网络知识图谱的智能分析与应用系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270785A (zh) * 2018-01-15 2018-07-10 中国人民解放军国防科技大学 一种基于知识图谱的分布式安全事件关联分析方法
CN109753526A (zh) * 2018-12-28 2019-05-14 四川新网银行股份有限公司 一种基于时序相似度对告警信息分析查询的装置及方法
CN109992440A (zh) * 2019-04-02 2019-07-09 北京睿至大数据有限公司 一种基于知识图谱和机器学习的it根故障分析识别方法
CN110113314A (zh) * 2019-04-12 2019-08-09 中国人民解放军战略支援部队信息工程大学 用于动态威胁分析的网络安全领域知识图谱构建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10855706B2 (en) * 2016-10-11 2020-12-01 Battelle Memorial Institute System and methods for automated detection, reasoning and recommendations for resilient cyber systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270785A (zh) * 2018-01-15 2018-07-10 中国人民解放军国防科技大学 一种基于知识图谱的分布式安全事件关联分析方法
CN109753526A (zh) * 2018-12-28 2019-05-14 四川新网银行股份有限公司 一种基于时序相似度对告警信息分析查询的装置及方法
CN109992440A (zh) * 2019-04-02 2019-07-09 北京睿至大数据有限公司 一种基于知识图谱和机器学习的it根故障分析识别方法
CN110113314A (zh) * 2019-04-12 2019-08-09 中国人民解放军战略支援部队信息工程大学 用于动态威胁分析的网络安全领域知识图谱构建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯立杰等.知识图谱视角下我国精益研究现状与发展趋势.《企业经济》.2016,(第08期), *

Also Published As

Publication number Publication date
CN111010311A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
US11265203B2 (en) System and method for processing alerts indicative of conditions of a computing infrastructure
CN109787817B (zh) 网络故障诊断方法、装置和计算机可读存储介质
AU682272B2 (en) A method for displaying information relating to a computer network
US11348023B2 (en) Identifying locations and causes of network faults
US8583779B2 (en) Root cause analysis approach with candidate elimination using network virtualization
US10095569B2 (en) System and method for generating a graphical display region indicative of conditions of a computing infrastructure
US20040155899A1 (en) Method and system for presenting an arrangement of management devices operable in a managed network
US20050262233A1 (en) Methods and systems for history analysis for access paths in networks
CN113259168B (zh) 一种故障根因分析方法及装置
CN111010311B (zh) 一种基于知识图谱的智能网络故障诊断方法
US10819594B2 (en) System and method for generating a graphical display region indicative of conditions of a computing infrastructure
CN109150635A (zh) 故障影响分析方法及装置
CN114791846B (zh) 一种针对云原生混沌工程实验实现可观测性的方法
US20120265323A1 (en) Monitoring process control system
WO2012142353A1 (en) Monitoring process control system
CN112463892A (zh) 一种基于风险态势的预警方法及系统
CN118138471A (zh) 基于知识图谱的网络模型构建方法、设备及存储介质
Solmaz et al. ALACA: A platform for dynamic alarm collection and alert notification in network management systems
CN112241424A (zh) 一种基于知识图谱的空管设备应用系统及方法
GB2416091A (en) High Capacity Fault Correlation
CN108809680A (zh) 一种设备管理的方法及设备
CN111045757B (zh) It资源运行状态的可视化展示系统和方法及存储介质
CN116955469A (zh) 一种基于血缘分析的业务告警溯源方法
Mamoutova et al. Knowledge based diagnostic approach for enterprise storage systems
CN114417633B (zh) 一种基于平行仿真六元组的网络靶场场景构建方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area)

Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant