CN109756376A - 基于图数据模型的告警关联分析方法 - Google Patents

基于图数据模型的告警关联分析方法 Download PDF

Info

Publication number
CN109756376A
CN109756376A CN201910027624.5A CN201910027624A CN109756376A CN 109756376 A CN109756376 A CN 109756376A CN 201910027624 A CN201910027624 A CN 201910027624A CN 109756376 A CN109756376 A CN 109756376A
Authority
CN
China
Prior art keywords
data model
diagram data
fault
node
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910027624.5A
Other languages
English (en)
Inventor
张存国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Fufu Mdt Infotech Ltd
Original Assignee
China Electric Fufu Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Fufu Mdt Infotech Ltd filed Critical China Electric Fufu Mdt Infotech Ltd
Priority to CN201910027624.5A priority Critical patent/CN109756376A/zh
Publication of CN109756376A publication Critical patent/CN109756376A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开基于图数据模型的告警关联分析方法,其包括以下步骤:步骤1、构建图数据模型:将关系数据库模型到图数据模型的转换;步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。本发明通过转换关系模型为图模型,提高了处理效率,能够快速响应业务请求,有效支撑网络数据实时处理分析的场景。

Description

基于图数据模型的告警关联分析方法
技术领域
本发明涉及电信数据处理技术领域,尤其涉及基于图数据模型的告警关联分析方法。
背景技术
现有的网络告警关联分析,是基于关系型数据库实现的,当网络的承载层级多,设备数量众多时,关联关系不完整,存在关联效率低下、关联不准确的问题,在网络告警实时关联处理的场景,关联效率低的问题尤为突出。
目前现有技术CN201711482171.2(告警关联分析方法、装置、设备及介质)采用的是基于告警时间分布的方法。该方法能解决部分因关联关系缺失而无法关联的告警事件,但不同设备的告警到达时间可能会差异非常大,告警时间片段的设置影响关联的准确率,同时对于哑设备也无法处理。
发明内容
本发明的目的在于提供基于图数据模型的告警关联分析方法。
本发明采用的技术方案是:
基于图数据模型的告警关联分析方法,其包括以下步骤:
步骤1、构建图数据模型:实现由关系数据库模型到图数据模型的转换。
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。
进一步地,步骤1中构建图数据模型的具体步骤如下:
1.1)动环设备、网络资源中的设备、链路,客户业务数据中的业务、用户,转换为图数据模型中的节点。
1.2)节点之间的承载关系和使用关系转换成有向边。
1.3)节点所处的网络层级,做为节点的属性一并存储。
进一步地,步骤2标记故障时同时关联记录故障时间。
进一步地,步骤3中图数据中按故障时间窗通过MATCH方法按层级ORDER BY取出层级最低的节点。
进一步地,步骤4中关联关系包括承载或使用。
进一步还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
本发明采用以上技术方案,以关系型数据库为存储结构时,当关联层级比较多时,查找时间按几何级数增加(以分钟为单位),查找时间在联机事务应用可接受的范围内(小于10秒),能够很好的适应业务生产。而采用以图数据模型为基础的图数据,当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有故障发生,或用户投诉时,可以通过使用的业务或设备,很容易找出故障的根源,也就是该投诉由哪个(些)问题点所引起。当网络发生告警时,快速分析定位故障的根本原因。本发明执行效率高,能够快速响应分析请求,本发明适用于网络定位分析场景,能够实现客户端应用对这些能力的直接调用。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明基于图数据模型的告警关联分析方法的流程框架示意图;
图2为关系型网络结构示意图;
图3为本发明的图数据模型结构示意图。
具体实施方式
如图1-3之一所示,本发明公开了基于图数据模型的告警关联分析方法。具体而言,图数据模型源起欧拉和图理论,也可称为面向/基于图的数据模型。基本含义是以“图”这种数据结构存储和查询数据。图的数据模型主要是以节点和关系(边)来体现,也可处理键值对。它的优点是快速解决复杂的关系问题。
图具有如下特征: 包含节点和边;节点上有属性(键值对);边有名字和方向,并总是有一个开始节点和一个结束节点;边也可以有属性。
图可以说是顶点和边的集合,或者说更简单一点儿,图就是一些节点和关联这些节点的联系(relationship)的集合。图将实体表现为节点,实体与其他实体连接的方式表现为联系。通信网络及其承载的业务,可以利用图的这种富有表现力的结构来建模各种应用场景。
其包括以下步骤:
步骤1、构建图数据模型:实现由关系数据库模型到图数据模型的转换。
1.1)动环设备、网络资源中的设备、链路,客户业务数据中的业务、用户,转换为图数据模型中的节点。
1.2)节点之间的承载关系和使用关系转换成有向边。
1.3)节点所处的网络层级,做为节点的属性一并存储。
具体地,网络设备承载业务,业务被用户使用,网络设备、业务、用户,做为图的节点,承载或使用关系,做为图的边。当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有用户投诉时,可以通过使用的业务或设备,很容易找出该投诉由哪个(些)问题点所引起。
具体地,如图2所示,本发明的网络示意图及相关的关系数据,通过转换功能,实现由关系数据库模型的网络资源数据、客户业务数据到图数据模型的转换,其中动环设备、网络资源中的设备(网元、板卡、端口、时隙)、链路(光缆光纤、传输段、中继等),客户业务数据中的业务、用户,转换为图数据模型中的节点,它们之间的承载关系(设备承载链路、链路承载业务、动环设备承载网络设备),和使用关系(用户使用业务、业务使用链路、链路使用设备),转换成边,存储在以图数据模型为基础的图数据库中,同时节点所处的网络层级,做为节点的属性一并存储。
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
进一步地,步骤2通过“状态更新”将相应节点的故障属性设置为“故障”,同时关联设置故障时间。
步骤3、告警预关联:从图数据中按故障时间窗(通过MATCH方法,按层级ORDER BY)取出层级最低的节点,存放在“预关联结果”集合中。
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。例如:如图3所示,假设Z1、Z2与P3间的关系缺失,但它们同时由R1承载,并且P3的层次比Z1、Z2低,当Z1、Z2、P3同时故障时,可由该关系推断出P3为根故障。
进一步地,步骤4中的关联关系具体包括承载或使用。
进一步还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
本发明采用以上技术方案,以关系型数据库为存储结构时,当关联层级比较多时,查找时间按几何级数增加(以分钟为单位),查找时间在联机事务应用可接受的范围内(小于10秒),能够很好的适应业务生产。而采用以图数据模型为基础的图数据,当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有故障发生,或用户投诉时,可以通过使用的业务或设备,很容易找出故障的根源,也就是该投诉由哪个(些)问题点所引起。当网络发生告警时,快速分析定位故障的根本原因。本发明执行效率高,能够快速响应分析请求,本发明适用于网络定位分析场景,能够实现客户端应用对这些能力的直接调用。本发明通过转换关系模型为图模型,提高了处理效率,能够快速响应业务请求,有效支撑网络数据实时处理分析的场景。

Claims (6)

1.基于图数据模型的告警关联分析方法,其特征在于:其包括以下步骤:
步骤1、构建图数据模型:将关系数据库模型到图数据模型的转换;
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。
2.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤1中构建图数据模型的具体步骤如下:
步骤1.1、动环设备或网络资源中的设备和链路、客户业务数据中的业务和用户分别转换为图数据模型中的节点;
步骤1.2、节点之间的承载关系和使用关系转换成有向边;
步骤1.3、节点所处的网络层级,做为节点的属性一并存储。
3.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤2标记故障时同时关联记录故障时间。
4.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤3中图数据中按故障时间窗通过MATCH方法按层级ORDER BY取出层级最低的节点。
5.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤4中关联关系包括承载或使用。
6.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
CN201910027624.5A 2019-01-11 2019-01-11 基于图数据模型的告警关联分析方法 Pending CN109756376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910027624.5A CN109756376A (zh) 2019-01-11 2019-01-11 基于图数据模型的告警关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910027624.5A CN109756376A (zh) 2019-01-11 2019-01-11 基于图数据模型的告警关联分析方法

Publications (1)

Publication Number Publication Date
CN109756376A true CN109756376A (zh) 2019-05-14

Family

ID=66405501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910027624.5A Pending CN109756376A (zh) 2019-01-11 2019-01-11 基于图数据模型的告警关联分析方法

Country Status (1)

Country Link
CN (1) CN109756376A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245052A (zh) * 2019-06-18 2019-09-17 拉卡拉支付股份有限公司 一种数据系统的热点组件确定方法、装置、电子设备及存储介质
CN110262943A (zh) * 2019-06-18 2019-09-20 拉卡拉支付股份有限公司 一种数据系统的异常组件确定方法、装置、电子设备及存储介质
CN110889014A (zh) * 2019-10-21 2020-03-17 浙江工业大学 一种基于d3的企业关联关系图谱的展示方法
CN111679953A (zh) * 2020-06-09 2020-09-18 平安科技(深圳)有限公司 基于人工智能的故障节点识别方法、装置、设备和介质
CN112181758A (zh) * 2020-08-19 2021-01-05 南京邮电大学 一种基于网络拓扑及实时告警的故障根因定位方法
CN113839804A (zh) * 2020-06-24 2021-12-24 华为技术有限公司 一种网络故障的确定方法及网络设备
CN113973042A (zh) * 2020-07-24 2022-01-25 慧与发展有限责任合伙企业 用于网络问题的根本原因分析的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873619B1 (en) * 2000-05-16 2005-03-29 Tavve Software Co. Methods, systems and computer program products for finding network segment paths
US20090292729A1 (en) * 2008-05-22 2009-11-26 Marion Lee Blount Method and Apparatus for Maintaining and Processing Provenance Data in Data Stream Processing System
CN102611565A (zh) * 2011-10-18 2012-07-25 国网电力科学研究院 一种基于正则表达式的监控系统告警关联分析方法
CN102938708A (zh) * 2012-11-05 2013-02-20 国网电力科学研究院 基于告警传播模式的告警相关性分析系统及其分析方法
CN104021195A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 基于知识库的告警关联分析方法
CN205050194U (zh) * 2015-11-04 2016-02-24 广东电网有限责任公司电力调度控制中心 电力通信网络应急预案生成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873619B1 (en) * 2000-05-16 2005-03-29 Tavve Software Co. Methods, systems and computer program products for finding network segment paths
US20090292729A1 (en) * 2008-05-22 2009-11-26 Marion Lee Blount Method and Apparatus for Maintaining and Processing Provenance Data in Data Stream Processing System
CN102611565A (zh) * 2011-10-18 2012-07-25 国网电力科学研究院 一种基于正则表达式的监控系统告警关联分析方法
CN102938708A (zh) * 2012-11-05 2013-02-20 国网电力科学研究院 基于告警传播模式的告警相关性分析系统及其分析方法
CN104021195A (zh) * 2014-06-13 2014-09-03 中国民航信息网络股份有限公司 基于知识库的告警关联分析方法
CN205050194U (zh) * 2015-11-04 2016-02-24 广东电网有限责任公司电力调度控制中心 电力通信网络应急预案生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王峻山: "计及二次系统的智能变电站故障诊断方法研究", 《中国优秀硕士学位论文全文数据库(工程科技II辑)》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262943A (zh) * 2019-06-18 2019-09-20 拉卡拉支付股份有限公司 一种数据系统的异常组件确定方法、装置、电子设备及存储介质
CN110245052A (zh) * 2019-06-18 2019-09-17 拉卡拉支付股份有限公司 一种数据系统的热点组件确定方法、装置、电子设备及存储介质
CN110245052B (zh) * 2019-06-18 2023-09-29 拉卡拉支付股份有限公司 一种数据系统的热点组件确定方法、装置、电子设备及存储介质
CN110262943B (zh) * 2019-06-18 2023-09-29 拉卡拉支付股份有限公司 一种数据系统的异常组件确定方法、装置、电子设备及存储介质
CN110889014B (zh) * 2019-10-21 2022-10-28 浙江工业大学 一种基于d3的企业关联关系图谱的展示方法
CN110889014A (zh) * 2019-10-21 2020-03-17 浙江工业大学 一种基于d3的企业关联关系图谱的展示方法
CN111679953A (zh) * 2020-06-09 2020-09-18 平安科技(深圳)有限公司 基于人工智能的故障节点识别方法、装置、设备和介质
CN111679953B (zh) * 2020-06-09 2022-04-12 平安科技(深圳)有限公司 基于人工智能的故障节点识别方法、装置、设备和介质
WO2021114613A1 (zh) * 2020-06-09 2021-06-17 平安科技(深圳)有限公司 基于人工智能的故障节点识别方法、装置、设备和介质
CN113839804A (zh) * 2020-06-24 2021-12-24 华为技术有限公司 一种网络故障的确定方法及网络设备
CN113839804B (zh) * 2020-06-24 2023-03-10 华为技术有限公司 一种网络故障的确定方法及网络设备
CN113973042A (zh) * 2020-07-24 2022-01-25 慧与发展有限责任合伙企业 用于网络问题的根本原因分析的方法和系统
CN113973042B (zh) * 2020-07-24 2023-04-18 慧与发展有限责任合伙企业 用于网络问题的根本原因分析的方法和系统
CN112181758B (zh) * 2020-08-19 2023-07-28 南京邮电大学 一种基于网络拓扑及实时告警的故障根因定位方法
CN112181758A (zh) * 2020-08-19 2021-01-05 南京邮电大学 一种基于网络拓扑及实时告警的故障根因定位方法

Similar Documents

Publication Publication Date Title
CN109756376A (zh) 基于图数据模型的告警关联分析方法
CN110730246A (zh) 一种微服务架构下的分布式链路跟踪方法
CN108920364A (zh) 软件缺陷定位方法、装置、终端及计算机可读存储介质
CN103441861A (zh) 一种数据记录生成方法及装置
CN116232963B (zh) 一种链路跟踪方法及系统
CN115333966B (zh) 一种基于拓扑的Nginx日志分析方法、系统及设备
CN111061696A (zh) 一种交易报文日志的解析方法及装置
CN105005518B (zh) 自动聚合冗余系统交易数据的系统及其处理器和方法
CN110677540A (zh) 一种医疗机构的咨询电话智能语音识别管理系统
CN109740025A (zh) 基于图数据模型的故障影响分析方法
CN114356692A (zh) 一种应用监控链路的可视化处理方法、装置及存储介质
CN104599068A (zh) 一种综合分析报修信息的用户故障定位方法
Cha et al. Service mesh based distributed tracing system
CN108540352A (zh) 一种用于在线教育系统用户通道自动匹配的优化扩展方法
CN111638422A (zh) 基于电力大数据配电网故障的快速定位方法
CN103297419B (zh) 线下线上数据融合方法及系统
CN110297748A (zh) 一种定位调用出错的方法、装置和计算机可读存储介质
CN110377757B (zh) 一种实时知识图谱构建系统
CN104216986B (zh) 以数据更新周期进行预操作提高数据查询效率的装置及方法
CN113342987B (zh) 配电dtu验收专用语料库的复合网络构建方法
CN114757805A (zh) 基于区块链的便民政务服务系统
CN113766363B (zh) 故障监控方法、装置及计算设备
CN113901097A (zh) 微服务架构下服务链路及业务的快速检索方法及系统
CN111865636B (zh) 一种光缆管线数据分析系统、方法、服务器和存储介质
US20150193865A1 (en) Improper Financial Activity Detection Tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190514

RJ01 Rejection of invention patent application after publication