CN109756376A - 基于图数据模型的告警关联分析方法 - Google Patents
基于图数据模型的告警关联分析方法 Download PDFInfo
- Publication number
- CN109756376A CN109756376A CN201910027624.5A CN201910027624A CN109756376A CN 109756376 A CN109756376 A CN 109756376A CN 201910027624 A CN201910027624 A CN 201910027624A CN 109756376 A CN109756376 A CN 109756376A
- Authority
- CN
- China
- Prior art keywords
- data model
- diagram data
- fault
- node
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开基于图数据模型的告警关联分析方法,其包括以下步骤:步骤1、构建图数据模型:将关系数据库模型到图数据模型的转换;步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。本发明通过转换关系模型为图模型,提高了处理效率,能够快速响应业务请求,有效支撑网络数据实时处理分析的场景。
Description
技术领域
本发明涉及电信数据处理技术领域,尤其涉及基于图数据模型的告警关联分析方法。
背景技术
现有的网络告警关联分析,是基于关系型数据库实现的,当网络的承载层级多,设备数量众多时,关联关系不完整,存在关联效率低下、关联不准确的问题,在网络告警实时关联处理的场景,关联效率低的问题尤为突出。
目前现有技术CN201711482171.2(告警关联分析方法、装置、设备及介质)采用的是基于告警时间分布的方法。该方法能解决部分因关联关系缺失而无法关联的告警事件,但不同设备的告警到达时间可能会差异非常大,告警时间片段的设置影响关联的准确率,同时对于哑设备也无法处理。
发明内容
本发明的目的在于提供基于图数据模型的告警关联分析方法。
本发明采用的技术方案是:
基于图数据模型的告警关联分析方法,其包括以下步骤:
步骤1、构建图数据模型:实现由关系数据库模型到图数据模型的转换。
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。
进一步地,步骤1中构建图数据模型的具体步骤如下:
1.1)动环设备、网络资源中的设备、链路,客户业务数据中的业务、用户,转换为图数据模型中的节点。
1.2)节点之间的承载关系和使用关系转换成有向边。
1.3)节点所处的网络层级,做为节点的属性一并存储。
进一步地,步骤2标记故障时同时关联记录故障时间。
进一步地,步骤3中图数据中按故障时间窗通过MATCH方法按层级ORDER BY取出层级最低的节点。
进一步地,步骤4中关联关系包括承载或使用。
进一步还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
本发明采用以上技术方案,以关系型数据库为存储结构时,当关联层级比较多时,查找时间按几何级数增加(以分钟为单位),查找时间在联机事务应用可接受的范围内(小于10秒),能够很好的适应业务生产。而采用以图数据模型为基础的图数据,当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有故障发生,或用户投诉时,可以通过使用的业务或设备,很容易找出故障的根源,也就是该投诉由哪个(些)问题点所引起。当网络发生告警时,快速分析定位故障的根本原因。本发明执行效率高,能够快速响应分析请求,本发明适用于网络定位分析场景,能够实现客户端应用对这些能力的直接调用。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明基于图数据模型的告警关联分析方法的流程框架示意图;
图2为关系型网络结构示意图;
图3为本发明的图数据模型结构示意图。
具体实施方式
如图1-3之一所示,本发明公开了基于图数据模型的告警关联分析方法。具体而言,图数据模型源起欧拉和图理论,也可称为面向/基于图的数据模型。基本含义是以“图”这种数据结构存储和查询数据。图的数据模型主要是以节点和关系(边)来体现,也可处理键值对。它的优点是快速解决复杂的关系问题。
图具有如下特征: 包含节点和边;节点上有属性(键值对);边有名字和方向,并总是有一个开始节点和一个结束节点;边也可以有属性。
图可以说是顶点和边的集合,或者说更简单一点儿,图就是一些节点和关联这些节点的联系(relationship)的集合。图将实体表现为节点,实体与其他实体连接的方式表现为联系。通信网络及其承载的业务,可以利用图的这种富有表现力的结构来建模各种应用场景。
其包括以下步骤:
步骤1、构建图数据模型:实现由关系数据库模型到图数据模型的转换。
1.1)动环设备、网络资源中的设备、链路,客户业务数据中的业务、用户,转换为图数据模型中的节点。
1.2)节点之间的承载关系和使用关系转换成有向边。
1.3)节点所处的网络层级,做为节点的属性一并存储。
具体地,网络设备承载业务,业务被用户使用,网络设备、业务、用户,做为图的节点,承载或使用关系,做为图的边。当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有用户投诉时,可以通过使用的业务或设备,很容易找出该投诉由哪个(些)问题点所引起。
具体地,如图2所示,本发明的网络示意图及相关的关系数据,通过转换功能,实现由关系数据库模型的网络资源数据、客户业务数据到图数据模型的转换,其中动环设备、网络资源中的设备(网元、板卡、端口、时隙)、链路(光缆光纤、传输段、中继等),客户业务数据中的业务、用户,转换为图数据模型中的节点,它们之间的承载关系(设备承载链路、链路承载业务、动环设备承载网络设备),和使用关系(用户使用业务、业务使用链路、链路使用设备),转换成边,存储在以图数据模型为基础的图数据库中,同时节点所处的网络层级,做为节点的属性一并存储。
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
进一步地,步骤2通过“状态更新”将相应节点的故障属性设置为“故障”,同时关联设置故障时间。
步骤3、告警预关联:从图数据中按故障时间窗(通过MATCH方法,按层级ORDER BY)取出层级最低的节点,存放在“预关联结果”集合中。
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。例如:如图3所示,假设Z1、Z2与P3间的关系缺失,但它们同时由R1承载,并且P3的层次比Z1、Z2低,当Z1、Z2、P3同时故障时,可由该关系推断出P3为根故障。
进一步地,步骤4中的关联关系具体包括承载或使用。
进一步还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
本发明采用以上技术方案,以关系型数据库为存储结构时,当关联层级比较多时,查找时间按几何级数增加(以分钟为单位),查找时间在联机事务应用可接受的范围内(小于10秒),能够很好的适应业务生产。而采用以图数据模型为基础的图数据,当设备故障,或业务劣化时,通过图的边很容易查找故障的起源;当有故障发生,或用户投诉时,可以通过使用的业务或设备,很容易找出故障的根源,也就是该投诉由哪个(些)问题点所引起。当网络发生告警时,快速分析定位故障的根本原因。本发明执行效率高,能够快速响应分析请求,本发明适用于网络定位分析场景,能够实现客户端应用对这些能力的直接调用。本发明通过转换关系模型为图模型,提高了处理效率,能够快速响应业务请求,有效支撑网络数据实时处理分析的场景。
Claims (6)
1.基于图数据模型的告警关联分析方法,其特征在于:其包括以下步骤:
步骤1、构建图数据模型:将关系数据库模型到图数据模型的转换;
步骤2、故障标记:当收到网络故障事件或用户投诉事件时,在图数据模型中相应的节点标记为故障;
步骤3、告警预关联:从图数据中按故障时间窗取出层级最低的节点,存放在“预关联结果”集合中;
步骤4、进行“根告警关联”判断确定故障根源:在“预关联结果”中,当不存在进一步的关联关系,则相应的节点即为故障根源;当存在进一步的关联关系时,则关联关系涉及到的节点即为故障根源。
2.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤1中构建图数据模型的具体步骤如下:
步骤1.1、动环设备或网络资源中的设备和链路、客户业务数据中的业务和用户分别转换为图数据模型中的节点;
步骤1.2、节点之间的承载关系和使用关系转换成有向边;
步骤1.3、节点所处的网络层级,做为节点的属性一并存储。
3.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤2标记故障时同时关联记录故障时间。
4.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤3中图数据中按故障时间窗通过MATCH方法按层级ORDER BY取出层级最低的节点。
5.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:步骤4中关联关系包括承载或使用。
6.根据权利要求1所述的基于图数据模型的告警关联分析方法,其特征在于:还包括步骤5,由故障根源形成“根告警”数据集合,并输出该“根告警”数据集合提供其它应用场景使用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910027624.5A CN109756376A (zh) | 2019-01-11 | 2019-01-11 | 基于图数据模型的告警关联分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910027624.5A CN109756376A (zh) | 2019-01-11 | 2019-01-11 | 基于图数据模型的告警关联分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109756376A true CN109756376A (zh) | 2019-05-14 |
Family
ID=66405501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910027624.5A Pending CN109756376A (zh) | 2019-01-11 | 2019-01-11 | 基于图数据模型的告警关联分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109756376A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245052A (zh) * | 2019-06-18 | 2019-09-17 | 拉卡拉支付股份有限公司 | 一种数据系统的热点组件确定方法、装置、电子设备及存储介质 |
CN110262943A (zh) * | 2019-06-18 | 2019-09-20 | 拉卡拉支付股份有限公司 | 一种数据系统的异常组件确定方法、装置、电子设备及存储介质 |
CN110889014A (zh) * | 2019-10-21 | 2020-03-17 | 浙江工业大学 | 一种基于d3的企业关联关系图谱的展示方法 |
CN111679953A (zh) * | 2020-06-09 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于人工智能的故障节点识别方法、装置、设备和介质 |
CN112181758A (zh) * | 2020-08-19 | 2021-01-05 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
CN113839804A (zh) * | 2020-06-24 | 2021-12-24 | 华为技术有限公司 | 一种网络故障的确定方法及网络设备 |
CN113973042A (zh) * | 2020-07-24 | 2022-01-25 | 慧与发展有限责任合伙企业 | 用于网络问题的根本原因分析的方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873619B1 (en) * | 2000-05-16 | 2005-03-29 | Tavve Software Co. | Methods, systems and computer program products for finding network segment paths |
US20090292729A1 (en) * | 2008-05-22 | 2009-11-26 | Marion Lee Blount | Method and Apparatus for Maintaining and Processing Provenance Data in Data Stream Processing System |
CN102611565A (zh) * | 2011-10-18 | 2012-07-25 | 国网电力科学研究院 | 一种基于正则表达式的监控系统告警关联分析方法 |
CN102938708A (zh) * | 2012-11-05 | 2013-02-20 | 国网电力科学研究院 | 基于告警传播模式的告警相关性分析系统及其分析方法 |
CN104021195A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 基于知识库的告警关联分析方法 |
CN205050194U (zh) * | 2015-11-04 | 2016-02-24 | 广东电网有限责任公司电力调度控制中心 | 电力通信网络应急预案生成装置 |
-
2019
- 2019-01-11 CN CN201910027624.5A patent/CN109756376A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873619B1 (en) * | 2000-05-16 | 2005-03-29 | Tavve Software Co. | Methods, systems and computer program products for finding network segment paths |
US20090292729A1 (en) * | 2008-05-22 | 2009-11-26 | Marion Lee Blount | Method and Apparatus for Maintaining and Processing Provenance Data in Data Stream Processing System |
CN102611565A (zh) * | 2011-10-18 | 2012-07-25 | 国网电力科学研究院 | 一种基于正则表达式的监控系统告警关联分析方法 |
CN102938708A (zh) * | 2012-11-05 | 2013-02-20 | 国网电力科学研究院 | 基于告警传播模式的告警相关性分析系统及其分析方法 |
CN104021195A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 基于知识库的告警关联分析方法 |
CN205050194U (zh) * | 2015-11-04 | 2016-02-24 | 广东电网有限责任公司电力调度控制中心 | 电力通信网络应急预案生成装置 |
Non-Patent Citations (1)
Title |
---|
王峻山: "计及二次系统的智能变电站故障诊断方法研究", 《中国优秀硕士学位论文全文数据库(工程科技II辑)》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110262943A (zh) * | 2019-06-18 | 2019-09-20 | 拉卡拉支付股份有限公司 | 一种数据系统的异常组件确定方法、装置、电子设备及存储介质 |
CN110245052A (zh) * | 2019-06-18 | 2019-09-17 | 拉卡拉支付股份有限公司 | 一种数据系统的热点组件确定方法、装置、电子设备及存储介质 |
CN110245052B (zh) * | 2019-06-18 | 2023-09-29 | 拉卡拉支付股份有限公司 | 一种数据系统的热点组件确定方法、装置、电子设备及存储介质 |
CN110262943B (zh) * | 2019-06-18 | 2023-09-29 | 拉卡拉支付股份有限公司 | 一种数据系统的异常组件确定方法、装置、电子设备及存储介质 |
CN110889014B (zh) * | 2019-10-21 | 2022-10-28 | 浙江工业大学 | 一种基于d3的企业关联关系图谱的展示方法 |
CN110889014A (zh) * | 2019-10-21 | 2020-03-17 | 浙江工业大学 | 一种基于d3的企业关联关系图谱的展示方法 |
CN111679953A (zh) * | 2020-06-09 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于人工智能的故障节点识别方法、装置、设备和介质 |
CN111679953B (zh) * | 2020-06-09 | 2022-04-12 | 平安科技(深圳)有限公司 | 基于人工智能的故障节点识别方法、装置、设备和介质 |
WO2021114613A1 (zh) * | 2020-06-09 | 2021-06-17 | 平安科技(深圳)有限公司 | 基于人工智能的故障节点识别方法、装置、设备和介质 |
CN113839804A (zh) * | 2020-06-24 | 2021-12-24 | 华为技术有限公司 | 一种网络故障的确定方法及网络设备 |
CN113839804B (zh) * | 2020-06-24 | 2023-03-10 | 华为技术有限公司 | 一种网络故障的确定方法及网络设备 |
CN113973042A (zh) * | 2020-07-24 | 2022-01-25 | 慧与发展有限责任合伙企业 | 用于网络问题的根本原因分析的方法和系统 |
CN113973042B (zh) * | 2020-07-24 | 2023-04-18 | 慧与发展有限责任合伙企业 | 用于网络问题的根本原因分析的方法和系统 |
CN112181758B (zh) * | 2020-08-19 | 2023-07-28 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
CN112181758A (zh) * | 2020-08-19 | 2021-01-05 | 南京邮电大学 | 一种基于网络拓扑及实时告警的故障根因定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109756376A (zh) | 基于图数据模型的告警关联分析方法 | |
CN110730246A (zh) | 一种微服务架构下的分布式链路跟踪方法 | |
CN108920364A (zh) | 软件缺陷定位方法、装置、终端及计算机可读存储介质 | |
CN103441861A (zh) | 一种数据记录生成方法及装置 | |
CN116232963B (zh) | 一种链路跟踪方法及系统 | |
CN115333966B (zh) | 一种基于拓扑的Nginx日志分析方法、系统及设备 | |
CN111061696A (zh) | 一种交易报文日志的解析方法及装置 | |
CN105005518B (zh) | 自动聚合冗余系统交易数据的系统及其处理器和方法 | |
CN110677540A (zh) | 一种医疗机构的咨询电话智能语音识别管理系统 | |
CN109740025A (zh) | 基于图数据模型的故障影响分析方法 | |
CN114356692A (zh) | 一种应用监控链路的可视化处理方法、装置及存储介质 | |
CN104599068A (zh) | 一种综合分析报修信息的用户故障定位方法 | |
Cha et al. | Service mesh based distributed tracing system | |
CN108540352A (zh) | 一种用于在线教育系统用户通道自动匹配的优化扩展方法 | |
CN111638422A (zh) | 基于电力大数据配电网故障的快速定位方法 | |
CN103297419B (zh) | 线下线上数据融合方法及系统 | |
CN110297748A (zh) | 一种定位调用出错的方法、装置和计算机可读存储介质 | |
CN110377757B (zh) | 一种实时知识图谱构建系统 | |
CN104216986B (zh) | 以数据更新周期进行预操作提高数据查询效率的装置及方法 | |
CN113342987B (zh) | 配电dtu验收专用语料库的复合网络构建方法 | |
CN114757805A (zh) | 基于区块链的便民政务服务系统 | |
CN113766363B (zh) | 故障监控方法、装置及计算设备 | |
CN113901097A (zh) | 微服务架构下服务链路及业务的快速检索方法及系统 | |
CN111865636B (zh) | 一种光缆管线数据分析系统、方法、服务器和存储介质 | |
US20150193865A1 (en) | Improper Financial Activity Detection Tool |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
RJ01 | Rejection of invention patent application after publication |