CN113676360B - 基于格兰杰因果关系检验与图相似技术的链路图修复方法 - Google Patents
基于格兰杰因果关系检验与图相似技术的链路图修复方法 Download PDFInfo
- Publication number
- CN113676360B CN113676360B CN202111130302.7A CN202111130302A CN113676360B CN 113676360 B CN113676360 B CN 113676360B CN 202111130302 A CN202111130302 A CN 202111130302A CN 113676360 B CN113676360 B CN 113676360B
- Authority
- CN
- China
- Prior art keywords
- graph
- glan
- causal
- target
- causal relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种基于格兰杰因果关系检验与图相似技术的链路图修复方法,该方法包括以下步骤:获取目标调用链路图中的所有节点的历史数据;根据历史数据对节点进行格兰杰因果检验处理得到格兰杰因果检验处理结果;根据格兰杰因果检验处理结果生成格兰杰因果关系图;根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理得到裁剪处理后的格兰杰因果关系图;将相似度最高的格兰杰因果关系图确定为目标格兰杰因果关系图;通过目标格兰杰因果关系图对目标调用链路图进行修复处理得到修复后的目标调用链路图。通过目标格兰杰因果关系图对目标调用链路图进行修复,能够增加链路数据的可用性与有效性,提高工作效率。
Description
技术领域
本发明实施例涉及但不限于通信领域,尤其涉及一种基于格兰杰因果关系检验与图相似技术修复链路图的方法。
背景技术
运维部门是互联网产品技术支撑的一个核心部门,主要负责公司已经建立好的网络与系统软硬件的维护。然而目前运维工作主要是依靠人力完成,这意味着部门需要长期投入大量人力,负责庞大系统硬件与软件的监控、维护和优化工作。一旦发生系统故障时,运维人员需要依据经验分析历史数据,人工排查出具体故障根因。在每一个时间段内系统会有多个实例/设备的指标存在告警,而多个对象的告警普遍是由某几个对象作为根因导致的连锁反应。例如,设备A的故障,导致调用设备A的服务B也出现告警。然而在实际业务场景中,调用链路数据往往规模庞大且收集困难,部分数据缺失情况严重,这就导致可以用于根因分析的调用链路图不完整,存在调用链路断开或者一张调用链路图断开成多张子图的情况。调用链路图的断开会使得运维人员对排查顺序和排查逻辑产生误判,增加了排查出准确根因的平均耗时,严重影响运维人员的排查效率。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例的主要目的在于提出一种基于格兰杰因果关系检验与图相似技术的链路图修复方法,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
第一方面,本发明实施例提供了一种基于格兰杰因果关系检验与图相似技术的链路图修复方法,所述方法包括:
获取目标调用链路图中的所有节点的历史数据,所述历史数据为对每个所述节点的指标进行检测所得到的时间序列数据;
根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果;
根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,所述格兰杰因果关系图包括有向连接边和每个所述有向连接边所对应的量化权重信息;
根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到所述阈值对应的裁剪处理后的格兰杰因果关系图;
将所述裁剪处理后的格兰杰因果关系图与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图。
在一实施例中,根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果,包括:
对第一回归方程进行回归计算,得到第二残差平方和RSSUR;
根据预设的显著性水平计算q和n-k的所述F分布的分位数;
对所述F与所述分位数进行差值计算得到格兰杰因果检验处理结果;
其中x为所述第一节点的指标,y为所述第二节点的指标,p为x的最大滞后阶数,q为y的最大滞后阶数,α为y的回归参数,β为x的回归参数,t为时刻值,ε为误差值,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
在一实施例中,所述根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,包括:
对每个所述格兰杰因果检验处理结果所对应的两个所述节点进行有向连接处理,生成格兰杰因果关系图。
在一实施例中,所述对每个所述格兰杰因果检验处理结果所对应的两个所述节点进行有向连接处理,包括:
当所述F大于或者等于所述分位数,所述格兰杰因果检验处理结果为所述x是所述y的格兰杰原因,通过有向连接边将所述x和所述y进行连接处理,所述有向连接边的方向为从所述x指向所述y的方向。
在一实施例中,所述根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到多个不同的所述阈值所对应的裁剪处理后的格兰杰因果关系图,包括:
将所述格兰杰因果关系图中的所有所述有向连接边对应的所述F分别与所述选定多个不同的阈值进行比较处理;
当所述F小于所述阈值时,将所述F对应的有向连接边进行裁剪处理,得到多个不同的所述阈值所对应的裁剪处理后的格兰杰因果关系图。
在一实施例中,所述将所述裁剪处理后的格兰杰因果关系图与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图,包括:
对所述目标调用链路图和所述裁剪处理后的格兰杰因果关系图分别进行平稳分布计算,得到所述目标调用链路图的平稳分布P1和所述格兰杰因果关系图的平稳分布P2;
对多个不同的所述阈值所对应的相似度C进行比较,得到最高相似度C,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图。
在一实施例中,所述平稳分布计算包括以下步骤:
根据图理论的随机游走算法从所述格兰杰因果关系图中的一个所述节点进行随机游走,得到每个所述节点的平均停留时间比例的向量;
根据所述向量生成平稳分布P以及状态转移矩阵M;
根据第一平稳分布公式和第二平稳分布公式计算得到平稳分布P,其中所述第一平稳分布公式为PM=P,所述第二平稳分布公式为P(M-I)=0,所述I为单位矩阵。
在一实施例中,所述通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图,包括:
将所述目标格兰杰因果关系图的有向连接边与所述目标调用链路图的有向连接边进行对比,得到所述目标格兰杰因果关系图存在且所述目标调用链路图中不存在的目标有向连接边;
将所述目标有向连接边添加修复至所述目标调用链路图中,得到修复后的目标调用链路图。
第二方面,本发明实施例提供了一种基于格兰杰因果关系检验与图相似技术的链路图修复装置,包括:
获取模块,用于获取目标调用链路图中的所有节点的历史数据,所述历史数据为对每个所述节点的指标进行检测所得到的时间序列数据;
检验模块,用于根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果;
生成模块,用于根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,所述格兰杰因果关系图包括有向连接边和每个所述有向连接边所对应的量化权重信息;
裁剪模块,用于根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到所述阈值对应的裁剪处理后的格兰杰因果关系图;
比较模块,用于将所述裁剪处理后的格兰杰因果关系图与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
修复模块,用于通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图。
对第一回归方程进行回归计算,得到第二残差平方和RSSUR;
根据预设的显著性水平计算q和n-k的所述F分布的分位数;
对所述F与所述分位数进行差值计算得到格兰杰因果检验处理结果;
其中x为所述第一节点的指标,y为所述第二节点的指标,p为x的最大滞后阶数,q为y的最大滞后阶数,α为y的回归参数,β为x的回归参数,t为时刻值,ε为误差值,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
在一实施例中,所述生成模块还用于对每个所述格兰杰因果检验处理结果所对应的两个所述节点进行有向连接处理,生成格兰杰因果关系图。
在一实施例中,所述生成模块还用于当所述F大于或者等于所述分位数,所述格兰杰因果检验处理结果为所述x是所述y的格兰杰原因,通过有向连接边将所述x和所述y进行连接处理,所述有向连接边的方向为从所述x指向所述y的方向。
在一实施例中,所述裁剪模块还用于将所述格兰杰因果关系图中的所有所述有向连接边对应的所述F分别与所述选定多个不同的阈值进行比较处理;
当所述F小于所述阈值时,将所述F对应的有向连接边进行裁剪处理,得到多个不同的所述阈值所对应的裁剪处理后的格兰杰因果关系图。
在一实施例中,所述比较模块还用于对所述目标调用链路图和所述裁剪处理后的格兰杰因果关系图分别进行平稳分布计算,得到所述目标调用链路图的平稳分布P1和所述格兰杰因果关系图的平稳分布P2;
对多个不同的所述阈值所对应的相似度C进行比较,得到最高相似度C,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图。
在一实施例中,所述比较模块还用于根据图理论的随机游走算法从所述格兰杰因果关系图中的一个所述节点进行随机游走,得到每个所述节点的平均停留时间比例的向量;
根据所述向量生成平稳分布P以及状态转移矩阵M;
根据第一平稳分布公式和第二平稳分布公式计算得到平稳分布P,其中所述第一平稳分布公式为PM=P,所述第二平稳分布公式为P(M-I)=0,所述I为单位矩阵。
在一实施例中,所述修复模块还用于将所述目标格兰杰因果关系图的有向连接边与所述目标调用链路图的有向连接边进行对比,得到所述目标格兰杰因果关系图存在且所述目标调用链路图中不存在的目标有向连接边;
将所述目标有向连接边添加修复至所述目标调用链路图中,得到修复后的目标调用链路图。
第三方面,本发明实施例提供了一种控制器,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法。
第四方面,一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法。
本发明实施例包括:基于格兰杰因果关系检验与图相似技术的链路图修复方法包括以下步骤:获取目标调用链路图中的所有节点的历史数据,历史数据为对每个节点的指标进行检测所得到的时间序列数据;根据历史数据对节点进行格兰杰因果检验处理,得到每两个节点之间的格兰杰因果检验处理结果;根据格兰杰因果检验处理结果生成格兰杰因果关系图,格兰杰因果关系图包括有向连接边和每个有向连接边所对应的量化权重信息;根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理,得到阈值对应的裁剪处理后的格兰杰因果关系图;将裁剪处理后的格兰杰因果关系图与目标调用链路图进行图相似度比较,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;通过目标格兰杰因果关系图对目标调用链路图进行修复处理,得到修复后的目标调用链路图。通过目标格兰杰因果关系图对目标调用链路图进行修复,能够在实际调用链路中增添具有相关性的链路,从而有效地解决调用链路数据缺失不完全的问题,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明一个实施例提供的用于执行基于格兰杰因果关系检验与图相似技术的链路图修复方法的系统架构平台的示意图;
图2是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法的流程图;
图3是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中计算格兰杰因果检验处理结果的流程图;
图4是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中的格兰杰因果关系的示意图;
图5是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中生成格兰杰因果关系图的流程图;
图6是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中生成格兰杰因果关系图的另一个流程图;
图7是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中确定目标格兰杰因果关系图的流程图;
图8是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法中修复目标调用链路图的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明实施例提供了一种基于格兰杰因果关系检验与图相似技术的链路图修复方法,该链路图修复方法包括以下步骤:获取目标调用链路图中的所有节点的历史数据,历史数据为对每个节点的指标进行检测所得到的时间序列数据;根据历史数据对节点进行格兰杰因果检验处理,得到每两个节点之间的格兰杰因果检验处理结果;根据格兰杰因果检验处理结果生成格兰杰因果关系图,格兰杰因果关系图包括有向连接边和每个有向连接边所对应的量化权重信息;根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理,得到阈值对应的裁剪处理后的格兰杰因果关系图;将裁剪处理后的格兰杰因果关系图与目标调用链路图进行图相似度比较,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;通过目标格兰杰因果关系图对目标调用链路图进行修复处理,得到修复后的目标调用链路图。通过目标格兰杰因果关系图对目标调用链路图进行修复,能够在实际调用链路中增添具有相关性的链路,从而有效地解决调用链路数据缺失不完全的问题,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
下面结合附图,对本发明实施例作进一步阐述。
如图1所示,图1是本发明一个实施例提供的用于执行通信方法的系统架构平台100的示意图。
在图1的示例中,该系统架构平台100设置有处理器110和存储器120,其中,处理器110和存储器120可以通过总线或者其他方式连接,图1中以通过总线连接为例。
存储器120作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器120可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器120可选包括相对于处理器110远程设置的存储器,这些远程存储器可以通过网络连接至该系统架构平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解的是,该系统架构平台可以应用于5G通信网络系统以及后续演进的移动通信网络系统等,本实施例对此并不作具体限定。
本领域技术人员可以理解的是,图1中示出的系统架构平台并不构成对本发明实施例的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
系统架构平台100可以是独立的系统架构平台100,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云系统架构平台100。
基于上述系统架构平台,下面提出本发明的基于格兰杰因果关系检验与图相似技术的链路图修复方法的各个实施例。
如图2所示,图2是本发明一个实施例提供的基于格兰杰因果关系检验与图相似技术的链路图修复方法的流程图,该基于格兰杰因果关系检验与图相似技术的链路图修复方法应用于上述架构平台,并且该基于格兰杰因果关系检验与图相似技术的链路图修复方法包括但不限于有步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100,获取目标调用链路图中的所有节点的历史数据,历史数据为对每个节点的指标进行检测所得到的时间序列数据;
步骤S200,根据历史数据对节点进行格兰杰因果检验处理,得到每两个节点之间的格兰杰因果检验处理结果;
步骤S300,根据格兰杰因果检验处理结果生成格兰杰因果关系图,格兰杰因果关系图包括有向连接边和每个有向连接边所对应的量化权重信息;
步骤S400,根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理,得到阈值对应的裁剪处理后的格兰杰因果关系图;
步骤S500,将裁剪处理后的格兰杰因果关系图与目标调用链路图进行图相似度比较,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
步骤S600,通过目标格兰杰因果关系图对目标调用链路图进行修复处理,得到修复后的目标调用链路图。
在一实施例中,获取目标调用链路图中的所有节点的历史数据,历史数据为对每个节点的指标进行检测所得到的时间序列数据;根据历史数据对节点进行格兰杰因果检验处理,得到每两个节点之间的格兰杰因果检验处理结果;根据格兰杰因果检验处理结果生成格兰杰因果关系图,格兰杰因果关系图包括有向连接边和每个有向连接边所对应的量化权重信息;根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理,得到阈值对应的裁剪处理后的格兰杰因果关系图;将裁剪处理后的格兰杰因果关系图与目标调用链路图进行图相似度比较,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;通过目标格兰杰因果关系图对目标调用链路图进行修复处理,得到修复后的目标调用链路图。通过目标格兰杰因果关系图对目标调用链路图进行修复,能够在目标调用链路中增添具有相关性的链路,从而有效地解决调用链路数据缺失不完全的问题,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
在一实施例中,控制器依据各系统对象的历史数据进行格兰杰因果检验,即调取各对象的监测指标时间序列历史数据,两两配对后进行格兰杰因果检验,使用F检验统计量作为有向连接边的量化权重,构建格兰杰因果关系图;然后,将格兰杰因果关系图按照一定阈值进行裁剪,即针对各有向边的权重按照选定的阈值进行裁剪,仅保留权重大于选定阈值的有向边,形成裁剪后的格兰杰因果关系图;再对比裁剪后的格兰杰因果关系图修复实际调用链路图即调用链路的修复原则是以实际调用链路图为基准,只在实际调用链路图上增加原调用链路图不存在而裁剪后的格兰杰因果关系图中存在的连接关系,形成最终的修复后的调用链路图。格兰杰因果检验是在时间序列分析中常用的确定变量之间变化关系的方法。但仅仅依靠格兰杰因果检验连接的链路图无法直接适配实际链路,需要对比实际链路进行修改。因此本实施例通过目标格兰杰因果关系图对目标调用链路图进行修复,能够在目标调用链路中增添具有相关性的链路,从而有效地解决调用链路数据缺失不完全的问题,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
参照图3,在一实施例中,步骤S200包括但不限于步骤S310和步骤S320。
步骤S320,对第一回归方程进行回归计算,得到第二残差平方和RSSUR;
步骤S340,根据预设的显著性水平计算q和n-k的F分布的分位数;
步骤S350,对F与分位数进行差值计算得到格兰杰因果检验处理结果。
需要说明的是,在上述步骤中,x为第一节点的指标,y为第二节点的指标,p为x的最大滞后阶数,q为y的最大滞后阶数,α为y的回归参数,β为x的回归参数,t为时刻值,ε为误差值,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
在一实施例中,首先是对于格兰杰因果检验在链路图中的应用方法。格兰杰因果检验的原理是通过结合回归与自回归模型,利用假设检验分析变量之间的关系。其具体方法是构建如下回归方程:
以判断x是否为y的格兰杰原因为例(x、y分别代表不同节点的指标信息,用于确定临接关系),若第一回归方程中回归y时x前面的系数在统计上整体显著不为零,则x时y的格兰杰原因。其中滞后阶数p和q的选择可在回归中根据BIC信息准则进行判断,而对于系数的统计显著性检验可采用如下过程:
1.第一回归方程。
2.在上述第一回归方程中直接进行回归,得到残差平方和RSSUR。
3.计算F检验统计量:
其中q为第一回归方程中x变量的最大滞后阶数,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
选定显著性水平后计算自由度为q和n-k的F分布的分位数,若步骤3中计算的F统计量大于等于该分位数,则x是y的格兰杰原因。
需要说明的是,显著性水平可以是0.95%,可以是0.96%,本实施例对显著性水平的具体数值不作具体限定。
依据以上流程,同理可判断y是否为x的格兰杰原因。
随后可以选取F检验统计量的值作为有向连接边的权重,通过两两对比格兰杰因果检验逐渐构成格兰杰因果关系图,具体流程举例参照图4。
参照图5,在一实施例中,步骤S300包括但不限于步骤S510。
步骤S510,对每个格兰杰因果检验处理结果所对应的两个节点进行有向连接处理,生成格兰杰因果关系图。
具体地,当F大于或者等于分位数,格兰杰因果检验处理结果为x是y的格兰杰原因,通过有向连接边将x和y进行连接处理,有向连接边的方向为从x指向y的方向,从而生成格兰杰因果关系图。
参照图6,在一实施例中,步骤S400包括但不限于步骤S610、步骤S620。
步骤S610,将格兰杰因果关系图中的所有有向连接边对应的F分别与选定多个不同的阈值进行比较处理;
步骤S620,当F小于阈值时,将F对应的有向连接边进行裁剪处理,得到多个不同的阈值所对应的裁剪处理后的格兰杰因果关系图。
具体地,将格兰杰因果关系图中的所有有向连接边对应的F分别与选定多个不同的阈值进行比较处理,得到各个有向连接边的比较结果,对于比较结果为F小于阈值时,那么可以将该F对应的有向连接边进行裁剪处理,能够得到多个不同的阈值所对应的裁剪处理后的格兰杰因果关系图,该裁剪处理后的格兰杰因果关系图用于后续的步骤的相似度比较。
参照图7,在一实施例中,步骤S500包括但不限于步骤S710、步骤S720和步骤S730。
步骤S710,对目标调用链路图和裁剪处理后的格兰杰因果关系图分别进行平稳分布计算,得到目标调用链路图的平稳分布P1和格兰杰因果关系图的平稳分布P2。
需要说明的是,平稳分布计算包括以下步骤:根据图理论的随机游走算法从格兰杰因果关系图中的一个节点进行随机游走,得到每个节点的平均停留时间比例的向量;然后根据向量生成平稳分布P以及状态转移矩阵M;再根据第一平稳分布公式和第二平稳分布公式计算得到平稳分布P,其中第一平稳分布公式为PM=P,第二平稳分布公式为P(M-I)=0,I为单位矩阵。
步骤S730,对多个不同的阈值所对应的相似度C进行比较,得到最高相似度C,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图。
在一实施例中,根据图论中的随机游走算法,定义图的稳定分布,具体思路为从图的任意节点出发,按照有向边方向随机游走N(N趋向于正无穷)次,以在每个节点的平均停留时间比例组成的向量作为平稳分布。以图4的最右端关系图为例,对应的状态转移矩阵为
随后基于平稳分布P与状态转移矩阵M的平稳条件可得平稳分布P的求解公式如下,
PM=P
P(M-I)=0
求解上述方程组即可解得平稳分布P。
基于上述方法,我们可以对实际调用链路图G实际以及格兰杰因果关系图G因果分别求出其对应的平稳分布P实际和P因果,通过计算两个平稳分布的欧式距离来代表两个图的相似度C(G实际,G因果)。具体公式如下:
对于格兰杰因果关系的裁剪方法,采用按照一定阈值对格兰杰因果关系图进行裁剪,具体方法是将F统计量小于阈值的边舍去,仅保留F统计量大于等于阈值的边。裁剪阈值的选择依据则是使得裁剪后的格兰杰因果关系图与实际调用链路图最接近。据此我们可以定义裁剪阈值K的选择优化问题:
参照图8,在一实施例中,步骤S600包括但不限于步骤S810和步骤S820。
步骤S810,将目标格兰杰因果关系图的有向连接边与目标调用链路图的有向连接边进行对比,得到目标格兰杰因果关系图存在且目标调用链路图中不存在的目标有向连接边;
步骤S820,将目标有向连接边添加修复至目标调用链路图中,得到修复后的目标调用链路图。
具体地,将目标格兰杰因果关系图的有向连接边与目标调用链路图的有向连接边进行对比,得到目标格兰杰因果关系图存在且目标调用链路图中不存在的目标有向连接边,让后将目标有向连接边添加修复至目标调用链路图中,得到修复后的目标调用链路图,本实施例通过目标格兰杰因果关系图对目标调用链路图进行修复,能够在目标调用链路中增添具有相关性的链路,从而有效地解决调用链路数据缺失不完全的问题,能够增加链路数据的可用性与有效性,从而可以更精准地依据链路数据分析故障的根因所在,有效地提高运维业务的工作效率。
基于上述基于格兰杰因果关系检验与图相似技术的链路图修复方法,下面分别提出本发明的基于格兰杰因果关系检验与图相似技术的链路图修复装置、控制器和计算机可读存储介质的各个实施例。
本发明的一个实施例还提供了基于格兰杰因果关系检验与图相似技术的链路图修复装置,包括:
获取模块,用于获取目标调用链路图中的所有节点的历史数据,历史数据为对每个节点的指标进行检测所得到的时间序列数据;
检验模块,用于根据历史数据对节点进行格兰杰因果检验处理,得到每两个节点之间的格兰杰因果检验处理结果;
生成模块,用于根据格兰杰因果检验处理结果生成格兰杰因果关系图,格兰杰因果关系图包括有向连接边和每个有向连接边所对应的量化权重信息;
裁剪模块,用于根据选定多个不同的阈值分别对格兰杰因果关系图中的有向连接边进行裁剪处理,得到阈值对应的裁剪处理后的格兰杰因果关系图;
比较模块,用于将裁剪处理后的格兰杰因果关系图与目标调用链路图进行图相似度比较,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
修复模块,用于通过目标格兰杰因果关系图对目标调用链路图进行修复处理,得到修复后的目标调用链路图。
对第一回归方程进行回归计算,得到第二残差平方和RSSUR;
根据预设的显著性水平计算q和n-k的F分布的分位数;
对F与分位数进行差值计算得到格兰杰因果检验处理结果;
其中x为第一节点的指标,y为第二节点的指标,p为x的最大滞后阶数,q为y的最大滞后阶数,α为y的回归参数,β为x的回归参数,t为时刻值,ε为误差值,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
在一实施例中,生成模块还用于对每个格兰杰因果检验处理结果所对应的两个节点进行有向连接处理,生成格兰杰因果关系图。
在一实施例中,生成模块还用于当F大于或者等于分位数,格兰杰因果检验处理结果为x是y的格兰杰原因,通过有向连接边将x和y进行连接处理,有向连接边的方向为从x指向y的方向。
在一实施例中,裁剪模块还用于将格兰杰因果关系图中的所有有向连接边对应的F分别与选定多个不同的阈值进行比较处理;
当F小于阈值时,将F对应的有向连接边进行裁剪处理,得到多个不同的阈值所对应的裁剪处理后的格兰杰因果关系图。
在一实施例中,比较模块还用于对目标调用链路图和裁剪处理后的格兰杰因果关系图分别进行平稳分布计算,得到目标调用链路图的平稳分布P1和格兰杰因果关系图的平稳分布P2;
对多个不同的阈值所对应的相似度C进行比较,得到最高相似度C,并将相似度最高的裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图。
在一实施例中,比较模块还用于根据图理论的随机游走算法从格兰杰因果关系图中的一个节点进行随机游走,得到每个节点的平均停留时间比例的向量;
根据向量生成平稳分布P以及状态转移矩阵M;
根据第一平稳分布公式和第二平稳分布公式计算得到平稳分布P,其中第一平稳分布公式为PM=P,第二平稳分布公式为P(M-I)=0,I为单位矩阵。
在一实施例中,修复模块还用于将目标格兰杰因果关系图的有向连接边与目标调用链路图的有向连接边进行对比,得到目标格兰杰因果关系图存在且目标调用链路图中不存在的目标有向连接边;
将目标有向连接边添加修复至目标调用链路图中,得到修复后的目标调用链路图。
需要说明的是,上述格兰杰因果关系检验与图相似技术的链路图修复装置的各个实施例与格兰杰因果关系检验与图相似技术的链路图修复方法的实施例中所使用的技术手段、解决的技术问题以及达到的技术效果一致,此处不作具体赘述,详见格兰杰因果关系检验与图相似技术的链路图修复方法的实施例。
另外,本发明的一个实施例提供了一种控制器,该控制器包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
需要说明的是,本实施例中的控制器,可以对应为包括有如图1所示实施例中的存储器和处理器,能够构成图1所示实施例中的系统架构平台的一部分,两者属于相同的发明构思,因此两者具有相同的实现原理以及有益效果,此处不再详述。
实现上述实施例的控制器侧的通信方法所需的非暂态软件程序以及指令存储在存储器中,当被处理器执行时,执行上述实施例的通信方法,例如,执行以上描述的图2中的方法步骤S100至S600、图3中的方法步骤S310至S350、图5中的方法步骤S510、图6中的方法步骤S610至S620、图7中的方法步骤S710至步骤S730、图8中的方法步骤S810至步骤S820。
此外,本发明的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,当计算机可执行指令用于执行上述终端侧的通信方法,例如,执行以上描述的图2中的方法步骤S100至S600、图3中的方法步骤S310至S350、图5中的方法步骤S510、图6中的方法步骤S610至S620、图7中的方法步骤S710至步骤S730、图8中的方法步骤S810至步骤S820。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (10)
1.一种基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述链路图修复方法包括:
获取目标调用链路图中的所有节点的历史数据,所述历史数据为对每个所述节点的指标进行检测所得到的时间序列数据;
根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果;
根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,所述格兰杰因果关系图包括有向连接边和每个所述有向连接边所对应的量化权重信息;
根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到多个所述阈值对应的裁剪处理后的格兰杰因果关系图;
将多个所述裁剪处理后的格兰杰因果关系图分别与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图;
其中,根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果,包括:
对第一回归方程进行回归计算,得到第二残差平方和RSSUR;
根据预设的显著性水平计算q和n-k的所述F分布的分位数;
对所述F与所述分位数进行差值计算得到格兰杰因果检验处理结果;
其中x为第一节点的指标,y为第二节点的指标,p为x的最大滞后阶数,α为y的回归参数,β为x的回归参数,t为时刻值,ε为误差值,q为y的最大滞后阶数,n为估计回归参数时所用的样本量,k为第一回归方程中的待估计回归参数的个数。
2.根据权利要求1所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,包括:
对每个所述格兰杰因果检验处理结果所对应的两个所述节点进行有向连接处理,生成格兰杰因果关系图。
3.根据权利要求2所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述对每个所述格兰杰因果检验处理结果所对应的两个所述节点进行有向连接处理,包括:
当所述F大于或者等于所述分位数,所述格兰杰因果检验处理结果为所述x是所述y的格兰杰原因,通过有向连接边将所述x和所述y进行连接处理,所述有向连接边的方向为从所述x指向所述y的方向。
4.根据权利要求1所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到多个不同的所述阈值所对应的裁剪处理后的格兰杰因果关系图,包括:
将所述格兰杰因果关系图中的所有所述有向连接边对应的所述F分别与所述选定多个不同的阈值进行比较处理;
当所述F小于所述阈值时,将所述F对应的有向连接边进行裁剪处理,得到多个不同的所述阈值所对应的裁剪处理后的格兰杰因果关系图。
5.根据权利要求4所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述将所述裁剪处理后的格兰杰因果关系图与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图,包括:
对所述目标调用链路图和所述裁剪处理后的格兰杰因果关系图分别进行平稳分布计算,得到所述目标调用链路图的平稳分布P1和所述格兰杰因果关系图的平稳分布P2;
对多个不同的所述阈值所对应的相似度C进行比较,得到最高相似度C,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图。
6.根据权利要求5所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述平稳分布计算包括以下步骤:
根据图理论的随机游走算法从所述格兰杰因果关系图或者所述目标调用链路图中的一个所述节点进行随机游走,得到每个所述节点的平均停留时间比例的向量;
根据所述向量生成平稳分布P以及状态转移矩阵M;
根据第一平稳分布公式和第二平稳分布公式计算得到平稳分布P,其中所述第一平稳分布公式为PM=P,所述第二平稳分布公式为P(M-I)=0,所述I为单位矩阵。
7.根据权利要求4所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法,其特征在于,所述通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图,包括:
将所述目标格兰杰因果关系图的有向连接边与所述目标调用链路图的有向连接边进行对比,得到所述目标格兰杰因果关系图存在且所述目标调用链路图中不存在的目标有向连接边;
将所述目标有向连接边添加修复至所述目标调用链路图中,得到修复后的目标调用链路图。
8.一种基于格兰杰因果关系检验与图相似技术的链路图修复装置,其特征在于,包括:
获取模块,用于获取目标调用链路图中的所有节点的历史数据,所述历史数据为对每个所述节点的指标进行检测所得到的时间序列数据;
检验模块,用于根据所述历史数据对所述节点进行格兰杰因果检验处理,得到每两个所述节点之间的格兰杰因果检验处理结果;
生成模块,用于根据所述格兰杰因果检验处理结果生成格兰杰因果关系图,所述格兰杰因果关系图包括有向连接边和每个所述有向连接边所对应的量化权重信息;
裁剪模块,用于根据选定多个不同的阈值分别对所述格兰杰因果关系图中的所述有向连接边进行裁剪处理,得到所述阈值对应的裁剪处理后的格兰杰因果关系图;
比较模块,用于将所述裁剪处理后的格兰杰因果关系图与所述目标调用链路图进行图相似度比较,并将相似度最高的所述裁剪处理后的格兰杰因果关系图确定为目标格兰杰因果关系图;
修复模块,用于通过所述目标格兰杰因果关系图对所述目标调用链路图进行修复处理,得到修复后的目标调用链路图;
9.一种控制器,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法。
10.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现如权利要求1至7任意一项所述的基于格兰杰因果关系检验与图相似技术的链路图修复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130302.7A CN113676360B (zh) | 2021-09-26 | 2021-09-26 | 基于格兰杰因果关系检验与图相似技术的链路图修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130302.7A CN113676360B (zh) | 2021-09-26 | 2021-09-26 | 基于格兰杰因果关系检验与图相似技术的链路图修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113676360A CN113676360A (zh) | 2021-11-19 |
CN113676360B true CN113676360B (zh) | 2022-10-21 |
Family
ID=78550217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111130302.7A Active CN113676360B (zh) | 2021-09-26 | 2021-09-26 | 基于格兰杰因果关系检验与图相似技术的链路图修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113676360B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115526469A (zh) * | 2022-09-16 | 2022-12-27 | 中国科学院地理科学与资源研究所 | 基于格兰杰检验分析气候参数之间的因果关系的方法 |
CN116502057B (zh) * | 2023-06-21 | 2023-09-05 | 安徽思高智能科技有限公司 | 一种格兰杰因果关系发现方法、设备及存储设备 |
CN116541262B (zh) * | 2023-07-07 | 2024-03-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104483958A (zh) * | 2014-10-31 | 2015-04-01 | 中国石油大学(北京) | 一种复杂炼化过程自适应数据驱动故障诊断方法及装置 |
CN107301119A (zh) * | 2017-06-28 | 2017-10-27 | 北京优特捷信息技术有限公司 | 利用时序相关性进行it故障根因分析的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11061393B2 (en) * | 2019-08-28 | 2021-07-13 | International Business Machines Corporation | Consolidating anomaly root causes and alarms using graphical granger models |
US11238129B2 (en) * | 2019-12-11 | 2022-02-01 | International Business Machines Corporation | Root cause analysis using Granger causality |
-
2021
- 2021-09-26 CN CN202111130302.7A patent/CN113676360B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104483958A (zh) * | 2014-10-31 | 2015-04-01 | 中国石油大学(北京) | 一种复杂炼化过程自适应数据驱动故障诊断方法及装置 |
CN107301119A (zh) * | 2017-06-28 | 2017-10-27 | 北京优特捷信息技术有限公司 | 利用时序相关性进行it故障根因分析的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113676360A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113676360B (zh) | 基于格兰杰因果关系检验与图相似技术的链路图修复方法 | |
CN112162878B (zh) | 数据库故障发现方法、装置、电子设备及存储介质 | |
CN113098723B (zh) | 一种故障根因定位方法、装置、存储介质及设备 | |
CN109844749B (zh) | 一种基于图算法的节点异常检测方法、装置及存储装置 | |
US8719636B2 (en) | Apparatus method, and storage medium for fault cause extraction utilizing performance values | |
US20180375373A1 (en) | Impact increments-based state enumeration reliability assessment approach and device thereof | |
Papatheou et al. | Performance monitoring of a wind turbine using extreme function theory | |
CN109697455B (zh) | 配网开关设备的故障诊断方法及装置 | |
CN113391943B (zh) | 一种基于因果推断的微服务故障根因定位方法及装置 | |
CN105719033A (zh) | 用于识别客体风险的方法及装置 | |
KR20210017651A (ko) | 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법 | |
CN115800272A (zh) | 基于拓扑识别的电网故障分析方法、系统、终端及介质 | |
CN117041029A (zh) | 网络设备故障处理方法、装置、电子设备及存储介质 | |
CN113676343B (zh) | 电力通信网故障源定位方法及装置 | |
CN116823233B (zh) | 一种基于全周期运维的用户数据处理方法及系统 | |
CN113141273A (zh) | 基于预警信息的自修复方法、装置、设备及存储介质 | |
CN117195451A (zh) | 一种基于图论的桥梁监测数据修复方法 | |
CN110380411A (zh) | 一种考虑通信影响的配电网恢复力定量评估方法 | |
CN114500229B (zh) | 基于时空信息的网络告警定位及分析方法 | |
CN113285977B (zh) | 基于区块链和大数据的网络维护方法及系统 | |
CN112906914A (zh) | 轨道交通it设备故障分析方法、装置和电子设备 | |
US20240061739A1 (en) | Incremental causal discovery and root cause localization for online system fault diagnosis | |
US20190220380A1 (en) | System model evaluation system, operation management system, system model evaluation method, and program | |
Teggi et al. | AIOPS Prediction for Server Stability Based on ARIMA Model | |
KR20240063363A (ko) | 다중 스케일 시간 가변 오토인코더를 이용한 it 시스템 관리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |