CN115576731A - 系统故障根因定位方法及装置、设备、存储介质 - Google Patents

系统故障根因定位方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN115576731A
CN115576731A CN202211328028.9A CN202211328028A CN115576731A CN 115576731 A CN115576731 A CN 115576731A CN 202211328028 A CN202211328028 A CN 202211328028A CN 115576731 A CN115576731 A CN 115576731A
Authority
CN
China
Prior art keywords
abnormal
node
data
log
root cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211328028.9A
Other languages
English (en)
Inventor
穆琼
蔡欣
耿鹏
张梓聪
王哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202211328028.9A priority Critical patent/CN115576731A/zh
Publication of CN115576731A publication Critical patent/CN115576731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种系统故障根因定位方法及其装置、设备、存储介质，其中方法包括：采集应用系统各个节点的运维数据；运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；根据调用链数据获取节点实际耗时，并根据日志数据获取节点日志数据量的时序数据；通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对业务指标数据进行异常检测；根据异常检测获取异常节点的异常日志和合并异常分值；并根据异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。本发明提供的技术方案，以应用系统的系统故障根因定位的准确性。

Description

系统故障根因定位方法及装置、设备、存储介质
技术领域
本发明涉及软件测试技术领域，尤其涉及一种系统故障根因定位方法及装置、设备、存储介质。
背景技术
在当前云环境下，应用系统往往是面向服务的集群架构，为实现某种业务，需在多个服务器上部署不同服务组件，系统组件数量的增长为保障安全生产、定位系统故障原因带来更多挑战。
进行根因定位往往需要首先进行异常检测，而对应用系统进行异常检测和根因定位存在以下问题和难点：定位根因依赖的运维数据来源单一，例如，现常基于性能指标进行异常检测和根因定位，这种定位方式会存在根因节点定位不准和异常发现不全的问题。
发明内容
本发明实施例提供了一种系统故障根因定位方法及装置、设备、存储介质，以提高应用系统的系统故障根因定位的准确性。
第一方面，本发明实施例提供了一种系统故障根因定位方法，包括：
采集应用系统各个节点的运维数据；所述运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；
根据所述调用链数据获取节点实际耗时，并根据所述日志数据获取节点日志数据量的时序数据；
通过时间序列异常检测算法对所述性能指标数据、所述节点实际耗时和所述节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对所述业务指标数据进行异常检测；
根据所述异常检测获取异常节点的异常日志和合并异常分值；并根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
第二方面，本发明实施例还提供了一种系统故障根因定位装置，包括：
数据采集模块，用于采集应用系统各个节点的运维数据；所述运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；
数据预处理模块，用于根据所述调用链数据获取节点实际耗时，并根据所述日志数据获取节点日志数据量的时序数据；
异常检测模块，用于通过时间序列异常检测算法对所述性能指标数据、所述节点实际耗时和所述节点日志数据量进行异常检测，根据异常日志规则库对日志内容进行异常检测，并对所述业务指标数据进行异常检测；
根因定位模块，用于根据所述异常检测获取异常节点的异常日志和合并异常分值，并根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任意实施例所述的系统故障根因定位方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现本发明任意实施例所述的系统故障根因定位方法。
本发明中，通过性能指标数据、业务指标数据、调用链数据以及日志数据等多模态数据进行根因定位，相对于单纯依赖性能指标数据进行异常检测和根因定位，定位结果更加精准，并且，本实施例通过时间序列异常检测算法对运维数据中的时序数据进行异常检测，相较于其他异常检测算法该算法对季节性的时间序列异常能够很好的识别，能够识别全局和局部异常，对异常节点识别率更高。此外，本实施例还能够在异常检测过程中，定位到异常节点，并反映出异常节点的异常性能指标和异常日志，输出结果包含异常节点的异常分值，可有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间，维持应用系统的良好运行。
附图说明
图1为本发明实施例提供的一种系统故障根因定位方法的流程图；
图2为本发明实施例提供的一种应用系统的组件示意图；
图3为本发明实施例提供的另一种系统故障根因定位方法的流程图；
图4为本发明实施例提供的另一种系统故障根因定位方法的流程图；
图5为本发明实施例提供的另一种系统故障根因定位方法的流程图；
图6为本发明实施例提供的一种系统故障根因定位装置的结构示意图；
图7为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
支付应用系统，例如，商业银行应用系统的稳定运行至关重要，应用系统在运行过程中会产生大量运维数据，包括性能指标Metric数据、业务指标KPI数据、调用链Trace数据和日志Log数据，综合利用这些数据进行分析可以有效检测系统异常，定位故障根因，从而减少故障发现时间、提升故障解决效率。本发明实施例提出一种系统故障根因定位方法，综合利用多模态数据，通过算法流程的分析，定位到应用系统故障节点以及反映故障原因的性能指标或日志，从而减少人工分析故障根因的时间和人力成本。
实施例一
图1为本发明实施例提供的一种系统故障根因定位方法的流程图，本实施例可适用于对应用系统进行测试的情况，应用系统需要在多个服务器上部署不同服务组件，本实施例可有效定位应用系统的故障组件，维持应用系统的稳定运行，该方法可以由系统故障根因定位装置来执行，具体包括如下步骤：
步骤S101、采集应用系统各个节点的运维数据；运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据。
图2为本发明实施例提供的一种应用系统的组件示意图。应用系统可设置有配置管理数据库(Configuration Management Database，CMDB)，CMDB是一个逻辑数据库，包含了配置项全生命周期的信息以及配置项之间的关系(包括物理关系、实时通信关系、非实时通信关系和依赖关系)，所谓的CMDB数据是指应用系统的资源部署关系，包含节点和节点之间的边关系。本实施例中节点为应用系统的各个组件，其中，CMDB包含应用系统各个组件的主机、IP、端口、应用和域名。组件为构成应用系统的子模块，以图2所示的应用系统为例，其中Nginx01、Nginx02、Tomcat01、Redis01、MySQL01和MySQL02等均表示系统组件，每个组件有唯一配置的名称cmdb_id。其中，Nginx01和Nginx02为高性能的HTTP和反向代理web服务器；Tomcat01为应用(Java)服务器；Redis01为Key-Value数据库；MySQL01和MySQL02为关系型数据库管理系统，可知，上述组件可以为应用系统中各个服务器或数据库。为方便阐述和理解，本发明实施例中组件一般称为节点。
其中，性能指标Metric数据，记录服务器组件的状态信息，包括时间戳、cmdb_id(指标所在的服务组件)、指标名(例如CPU、内存等相应指标名)和指标数值。调用链Trace数据，记录一次请求的调用链数据，包括时间戳、cmdb_id、父节点span id(可理解为前序调用id)、本流程span id及全局id(trace id)和处理时间。业务指标KPI数据，也称为黄金指标，包括时间戳、系统响应率、业务成功率、交易量、平均响应时间五个维度的数据，或者还可以包括交易码等其他维度的数据，本实施例对此不进行特殊限定。日志Log数据包括日志时间戳、cmdb_id、日志文件名和日志内容等。
基于上述各个运维数据的定义，本实施例从运维数据中获取本实施例中系统故障根因定位方法所需要的参数。示例性的，性能指标数据根据其指标名(性能指标种类)可以分为CPU指标数据、内存指标数据和磁盘指标数据等，则本实施例中性能指标数据可以包括CPU指标数据、内存指标数据和磁盘指标数据中的至少一项。在采集性能指标数据时，可以以秒为单位采集各个节点的性能指标数据，性能指标数据可以格式化形式存储，便于进行数据存储。同理，可以以秒为单位采集应用系统各个节点的调用链数据，记录系统调用过程中每个组件的耗时，也即，调用节点耗时。需要注意的是，上述采集到的耗时会包括子调用的耗时，也即，调用节点耗时包括子调用耗时，数据以格式化形式存储。在采集业务指标数据时，可以秒为单位采集应用系统每笔交易的业务指标数据，包括系统响应率、成功率、交易量和平均响应时间中的至少一项，根据部分用户需求，还可以包括交易码，数据以格式化形式存储。对于系统日志，至少包括日志时间戳、cmdb_id、日志文件名和日志内容，数据以格式化形式存储。
步骤S102、根据调用链数据获取节点实际耗时，并根据日志数据获取节点日志数据量的时序数据。
本实施例根据调用链数据中的调用节点耗时以及子调用耗时获取节点实际耗时，并根据日志数据进行采样转换为时序数据，均为将已有数据进行时序化处理的过程，便于通过时间序列异常检测S-H-ESD算法对时序数据进行异常检测。时间序列异常检测算法为一种基于统计的异常检测算法，对季节性的时间序列异常能够很好的识别，能够识别全局和局部异常点，对异常点识别率更高。
步骤S103、通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对业务指标数据进行异常检测。
根据步骤S101和步骤S102获取性能指标数据、节点实际耗时、节点日志数据量、日志内容和业务指标数据。其中，性能指标数据、节点实际耗时和节点日志数据量属于时序数据，则本实施例通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测，提高异常检测的识别率，且相较于其他机器学习算法，时间序列异常检测算法无需单独进行模型训练，检测效率更高，识别准确率更高。上述性能指标数据、节点实际耗时和节点日志数据量均能定位到异常节点，其中，性能指标数据还能具体定位到异常节点的异常性能指标。
并且，在运维专家知识库系统中，存储有异常日志规则库，使得运维人员能够通过异常日志规则库对日志内容的异常进行检测，示例性的，若某节点对应的日志内容匹配到异常日志规则库中的异常规则，则该节点即为异常节点，该日志内容为异常日志。
此外，在异常检测时，还需要对业务指标数据进行异常检测。示例性的，可通过对业务指标数据的系统响应率、成功率和平均相应时间进行异常检测，若某个节点上述业务指标超出常规范围，则认为该节点为异常节点。
步骤S104、根据异常检测获取异常节点的异常日志和合并异常分值；并根据异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
上述异常检测过程通过多模态的运维数据对异常节点进行定位，并且通过多种运维数据获取异常节点的合并异常分值，并通过日志内容获取异常日志。本发明实施例能够检测应用系统异常，并定位到发生故障(异常)的根因节点及反映故障的性能指标和根因日志，且输出结果包含算法分析得到的合并异常分值，可以有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间。
本发明实施例中，通过性能指标数据、业务指标数据、调用链数据以及日志数据等多模态数据进行根因定位，相对于单纯依赖性能指标数据进行异常检测和根因定位，定位结果更加精准，并且，本实施例通过时间序列异常检测算法对运维数据中的时序数据进行异常检测，相较于其他异常检测算法该算法对季节性的时间序列异常能够很好的识别，能够识别全局和局部异常，对异常节点识别率更高。此外，本实施例还能够在异常检测过程中，定位到异常节点，并反映出异常节点的异常性能指标和异常日志，输出结果包含异常节点的异常分值，可有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间，维持应用系统的良好运行。
在另一个实施例中，可对“根据调用链数据获取节点实际耗时，并根据日志数据获取节点日志数据量的时序数据”进行详述，具体的，主要将Trace数据和Log数据进行预处理，获取时序数据，从而便于对时序数据就有较高识别率的时间序列异常检测算法S-H-ESD对运维数据进行异常检测，如图3所示，图3为本发明实施例提供的另一种系统故障根因定位方法的流程图，具体包括如下步骤：
步骤S201、采集应用系统各个节点的运维数据；运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据。
步骤S202、获取调用中调用节点耗时与其子调用耗时的差值，作为每个调用中每个节点的实际处理耗时；获取当前时间包含该节点的全部调用的实际处理耗时的平均值作为节点实际耗时。
步骤S202为“根据调用链数据获取节点实际耗时”的具体过程。根据调用链数据，构造出每个调用的调用链，通过计算调用节点耗时与其子调用耗时的差值，得到每个调用中每个节点的实际处理耗时，对当前时间包含该节点的全部调用耗时取平均值得到节点实际耗时，具体计算公式如下：
Figure BDA0003912709580000061
其中，di表示当前节点第i个调用链中调用节点耗时；si表示对应子调用耗时；n为当前时间包含当前节点的调用链个数。上述公式获取的节点实际处理耗时，反映了当前节点的实际处理耗时的平均值，提高获取的节点实际耗时的准确性，从而提高当前节点的异常检测的准确性。
步骤S203、将连续的日志文本数据转换为日志数据量的离散的时序数据；将每分钟采样到每个节点的日志数据量作为节点日志数据量。
步骤S203为“根据日志数据获取节点日志数据量的时序数据”的具体过程。系统日志一般以联系的日志文本数据进行存储，本实施例将日志文本数据转为日志数据量的离散的时序数据并采集每分钟采样到每个节点的日志数据量作为节点日志数据量。
步骤S204、通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对业务指标数据进行异常检测。
步骤S205、根据异常检测获取异常节点的异常日志和合并异常分值；并根据异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
本实施例中，将调用链数据以及日志数据转换为时序数据的过程进行详述，则性能指标数据、节点实际耗时和节点日志数据量均为时序数据，便于通过时间序列异常检测算法对上述时序数据进行异常检测，使得性能指标数据、调用链数据以及日志数据均采用相同的算法进行故障检测和分析，解决现有技术中当运维数据来源不一时需要不同的算法进行分析的难题，并且上述运维数据数量量大，统一的算法流程可保证良好的运行效率，便于快速锁定异常节点并根据时间序列异常检测算法获取异常节点的合并异常分值，上述合并异常分值综合上述性能指标数据、调用链数据以及日志数据得出，有效避免根因定位缺失调用链和日志数据的情况，从而解决根因节点定位不准和异常检测不全面的问题。同时便于运维人员根据合并异常分值对故障进行分析，提高故障解决效率。
此外，每种应用系统均可通过包括性能指标数据、业务指标数据、调用链数据以及日志数据的运维数据进行异常检测，使得本发明实施例提供的故障根因定位流程具备通用性，而不是只面向某个系统，可应用于各类应用系统中，提高系统故障根因定位的通用性。
在另一个实施例中，可在根据异常检测获取异常节点的异常日志和合并异常分值的过程进行详述，如图4所示，图4为本发明实施例提供的另一种系统故障根因定位方法的流程图，具体包括如下步骤：
步骤S301、采集应用系统各个节点的运维数据；运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据。
步骤S302、根据调用链数据获取节点实际耗时，并根据日志数据获取节点日志数据量的时序数据。
步骤S303、通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对业务指标数据进行异常检测。
步骤S304、性能指标数据经过异常检测输出异常节点、异常性能指标和异常分值；节点实际耗时和节点日志数据量经过异常检测输出异常节点和异常分值；日志内容经过异常检测输出异常节点和异常日志；业务指标数据经过异常检测输出当前时间的业务指标异常分值。
在对性能指标数据、节点实际耗时、节点日志数据量、日志内容和业务指标数据进行异常检测过程中，可分为三部分：性能指标数据、节点实际耗时和节点日志数据量均采用时间序列异常检测算法进行异常检测；日志内容通过异常日志规则库进行异常检测；业务指标数据则通过业务指标的范围进行异常检测。
具体的，性能指标数据的异常检测过程如下：对每个节点的不同性能指标进行异常检测，采用S-H-ESD算法，检测当前时间点是否异常，输出异常节点cmdb_id、异常性能指标和异常分值，该步骤可能同时输出多个异常节点，输出格式如下例所示：
[{'cmdb_1':['metric_1':mscore_1,'metric_2':mscore_2]},{'cmdb_2':['metric_3':mscore_3]}]；
其中cmdb_1和cmdb_2均表示异常节点cmdb id；metric_1、metric_2和metric_3表示异常节点的异常性能指标；mscore_1、mscore_2和mscore_2表示异常性能指标对应的异常分值。可知，当前时间点包括cmdb_1和cmdb_2两个异常节点。其中，异常节点cmdb_1包括metric_1和metric_2两个异常性能指标；并且metric_1的异常分值为mscore_1，metric_2的异常分值为mscore_2；异常节点cmdb_2包括metric_3一个异常性能指标；并且metric_3的异常分值为mscore_3。
节点实际耗时的异常检测过程为：采用S-H-ESD算法，将节点实际处理耗时作为输入数据，检测当前时间点节点耗时异常，输出异常节点cmdb_id和异常分值，输出格式如下例所示：
[{'cmdb_1':tscore_1},{'cmdb_2':tscore_2}]；
可知，在节点实际耗时的异常检测过程中，当前时间点节点耗时异常的异常节点为cmdb_1和cmdb_2。其中，异常节点cmdb_1对应的异常分值为tscore_1，异常节点cmdb_2对应的异常分值为tscore_2。
节点日志数据量的异常检测过程如下：对节点日志数据量采用S-H-ESD算法进行异常检测，得到异常节点cmdb_id和异常分值，输出格式如下例所示：
[{'cmdb_1':lscore_1},{'cmdb_2':lscore_2}]
可知，在节点日志数据量的异常检测过程中，异常节点为cmdb_1和cmdb_2。其中，异常节点cmdb_1对应的异常分值为lscore_1，异常节点cmdb_2对应的异常分值为lscore_2。
日志内容的异常检测过程可以为：从运维专家知识库系统，获取异常日志规则库，实时检测当前日志内容，若匹配到异常规则，输出对应异常节点和异常日志。
业务指标数据的异常检测过程可以为：对业务指标的某些业务指标，例如，对系统响应率、成功率和平均响应时间均进行异常检测，若某个时间点的系统响应率，或者成功率小于1，或者平均响应时间出现尖峰，则输出该时间点的业务指标异常分值，否则输出0。
步骤S305、获取异常节点的合并异常分值。
score＝mscore×m_ratio+tscore×t_ratio+lscore×l_ratio+kscor∈；其中，mscore表示异常性能指标的异常分值；m_ratio为异常性能指标的权重参数；tscore表示异常节点的节点实际耗时的异常分值；t_ratio表示节点实际耗时的权重参数；lscore为异常节点的节点日志数据量的异常分值；l_ratio表示节点日志数据量的权重参数；kscore为业务指标数据的异常分值。
每个异常节点的合并异常分值均由该异常节点的各项运维数据的异常分值获取。并且每项运维数据的异常分值根据其对异常节点的故障影响，设置不同的权重参数。当异常节点的个数不唯一时，每个异常节点的合并异常分值均可通过上述公式获取。需要注意的是，mscore为异常性能指标的异常分值，一个异常节点中可包括一个或多个异常性能指标，若存在异常性能指标中包括多个异常性能指标，则可将所有的异常性能指标的异常分值及其权重参数通过加运算加入上述公式，当然，也可以首先将多个异常性能指标的异常分值和权重参数进行预处理，综合形成一个异常分值和权重参数，计算上述合并异常分值，本实施例包括但不限于这两种异常性能指标的异常分量及其权重参数的设置方式。
步骤S306、将异常日志和合并异常分值合并至对应异常节点。
步骤S304至步骤S306即为“根据异常检测获取异常节点的异常日志和合并异常分值”的过程。通过上述异常分值合并公式获取异常节点的合并异常分值后，还需要将异常节点对应的异常日志和异常节点的合并异常分值合并进行存储。便于根据该存储数据对故障根因节点进行定位，根因节点为上述异常节点中的至少一个，并且因为上述异常日志和合并异常分值的计算，能够进一步定位到具体的具体的根因指标和根因日志，可以有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间。
步骤S307、遍历所有的异常节点。
步骤S308、若异常节点存在异常日志和异常性能指标，则将该异常节点作为根因节点，并将异常节点的异常性能指标作为根因指标，将异常节点的异常日志作为根因日志。
步骤S309、若异常节点存在异常性能指标，则将合并异常分值大于分值阈值的异常节点作为根因节点，并将该异常节点对应的异常性能指标作为根因指标。
步骤S307至步骤S309即为根据异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志”的过程。在定位故障根因时，本实施例遍历所有的异常节点。当异常节点存在异常日志，则直接将该异常节点定义为根因节点，并将该异常节点的异常性能指标作为根因指标，将该异常节点的异常日志作为根因日志；当异常节点仅存在异常性能指标，不存在异常日志时，此时并未将所有的异常节点定义为根因节点，而是将合并异常分值大于分值阈值的异常节点作为根因节点，将合并异常分值小于分值阈值的异常节点放过，仅输出根因节点，并输出所述根因节点对应的异常性能指标作为根因指标，也即，当合并异常分值大于分值阈值时，才判定异常节点发生故障，便于本实施例中及时、快速定位主要故障点，提高检修效率。需要注意的是，上述分值阈值可根据用户需要进行设置，本实施例对此不进行特殊限定。
本实施例中，通过对各项运维数据进行异常检测，并获取异常节点的各项运维数据的异常分值及其权重参数，从而获取能够便于对异常节点进行分析的合并异常分值。并且需要注意的是，上述异常检测过程能够有效找出异常节点的异常性能指标和异常日志，使得输出根因节点时，能够将根因节点对应的根因指标和异常日志进行输出，便于开发人员进行故障发现、分析和解决。
在上述实施例的基础上，根据异常检测获取异常节点的异常日志和合并异常分值之前，还可以包括：通过皮尔逊相关系数获取每个性能指标的相关指标集合。皮尔逊相关系数为衡量两个变量X和Y之间的线性相关关系，取值介于-1和1之间，皮尔逊相关系数的绝对值越大,X和Y相关性越强；皮尔逊相关系数越接近于1或-1，则X和Y相关度越强，皮尔逊相关系数越接近于0，相关度越弱。本实施例可通过皮尔逊相关系数获取与当前性能指标相关度高的相关指标，当相关指标不唯一时，形成相关指标集合。基于一段时间的性能指标的历史数据，离线计算出各个指标之间的皮尔逊相关系数，得到相关性较高的几组性能指标。皮尔逊相关系数计算公式如下：
Figure BDA0003912709580000101
其中，Xi为性能指标的历史数据；
Figure BDA0003912709580000102
为性能指标的历史数据的平均值；Yi为相关指标的历史数据；
Figure BDA0003912709580000103
为相关指标的历史数据的平均值；n为性能指标的历史数据的个数，也为相关指标的历史数据的个数。
可选的，如皮尔逊相关系数计算公式所示，通过皮尔逊相关系数获取每个性能指标的相关指标集合，可以包括：基于设定时间段的性能指标的历史数据，获取不同两个性能指标之间的皮尔逊相关系数；获取与当前性能指标之间的皮尔逊相关系数的绝对值与1的差值小于设定阈值的性能指标，形成当前性能指标的相关指标集合。设定时间和设定阈值均可以由运维人员和开发人员根据需求进行设定，本实施例其具体取值不进行特殊限定。
可选的，根据异常检测获取异常节点的合并异常分值，可以包括：若异常节点的异常性能指标的个数大于第一数量阈值，则根据异常检测获取各个异常性能指标的异常分值和权重参数获取异常节点的合并异常分值；若异常节点的异常性能指标个数小于第一数量阈值，则通过异常性能指标的相关指标集合对异常性能指标的异常分值进行补偿，并根据异常性能指标的补偿后的异常分值和权重参数获取异常节点的合并异常分值。
相关指标集合的获取目的是当异常检测过程中，异常节点的异常性能指标个数过少时，故障根因的定位也容易存在不稳定的情况。则本实施例中，当异常节点的异常性能指标的个数足够，也即，大于第一数量阈值时，则如合并异常分值的获取公式所示，根据各个异常性能指标的异常分值和权重参数计算获取异常节点的合并异常分值。而当异常节点的异常性能指标的个数过少，也即，小于第一数量阈值时，因为异常性能指标的相关指标集合与异常性能指标相关度极高，则故障与相关指标也存在一定的关联，本实施例通过相关指标集合对异常性能指标的异常分值进行补偿，并根据补偿后的异常分值和权重参数获取异常节点的合并异常分值，进一步增强故障定位的准确性。本实施例通过结合皮尔逊相关系数计算相关性的方式，完善根因指标，也即，若异常指标数量过少，其相关指标也被作为根因指标，便于运维人员进行追溯。本实施例相关性计算可以避免只通过异常检测来定位根因指标导致的真实故障根因未被识别的情况，进一步提高根因定位的可靠性。
以下以具体示例对系统故障根因定位方法的整个过程进行阐述，如图5所示，图5为本发明实施例提供的另一种系统故障根因定位方法的流程图，本示例中，将本发明所有实施例加入同一流程中，便于对系统故障根因定位流程进行了解。具体的，步骤S101具体包括S1、S2、S3和S4；步骤S102具体包括L1和L2；步骤S103包括P1、P2、P3、P4和P5；步骤S104包括K1、K2、K3和K4。
其中，S1 Metric数据采集：以秒为单位采集系统组件的性能指标数据，可以包括CPU指标、内存指标、磁盘指标等，数据以格式化形式存储。
S2 Trace数据采集：以秒为单位采集系统组件的Trace数据，可以记录系统调用过程中每个组件的耗时，采集到的耗时会包括子调用的耗时，数据以格式化形式存储。
S3 KPI数据采集：以秒为单位采集系统每笔交易的业务指标数据，可以包括系统响应率、成功率、交易量、平均响应时间和交易码，数据以格式化形式存储。
S4日志数据采集：采集系统日志，可以包括日志时间戳、cmdb_id、日志文件名和日志内容，数据以格式化形式存储。
L1计算节点实际耗时：根据Trace数据，构造出每个调用的调用链，通过计算调用节点耗时与其子调用耗时的差值，得到每个调用中每个节点的实际处理耗时，对当前时间包含该节点的全部调用耗时取平均值得到节点实际耗时。
L2日志数据量采样：将连续的日志文本数据转换为日志数据量的离散时序数据，以每分钟为单位采样每个节点的日志数据量。
P1 Metric异常检测：对每个组件的不同性能指标进行异常检测，采用S-H-ESD算法，检测当前时间点是否异常，输出异常节点cmdb_id、异常指标和异常分值。
P2节点实际耗时异常检测：采用S-H-ESD算法，将节点实际耗时作为输入数据，检测当前时间点节点耗时异常，输出异常节点cmdb_id和异常分值。
P3 KPI异常检测：对KPI的响应率、业务成功率和平均相应时间进行检测，若某个时间点的响应率、成功率小于1，或平均响应时间出现尖峰，则输出该时间点的KPI异常分值，否则输出0。
P4日志数量异常检测：对日志数量采用S-H-ESD算法进行异常检测，得到异常节点和异常分值。
K1 Metric相关性计算：基于一段时间的性能指标Metric历史数据，离线计算出指标之间的皮尔逊相关系数，得到相关性较高的几组性能指标。
K2 Metric根因合并：根据异常节点的运维数据的异常分值和权重参数，获取所述异常节点的合并异常分值。对于异常指标个数过少的，可以根据K1得到的相关指标集中与异常指标相关性最高的指标进行补充。
K3指标/日志根因合并：追加日志根因到性能指标根因。
K4输出根因：遍历合并得到的全部异常节点，若某个节点有日志异常，则该节点对应异常指标和日志直接作为根因节点和根因指标/日志输出；若节点只有指标异常，则对节点按异常分值倒序排列，输出满足阈值的节点及其对应根因指标。
本实施例能够检测系统异常，并定位到故障根因节点及反映故障的性能指标和日志，输出结果包含算法分析得到的合并异常分值，可以有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间。且充分利用多模态数据进行根因定位，相较于单纯依赖性能指标进行异常检测和根因定位，定位结果更全面准确。此外，采用的S-H-ESD异常检测算法基于统计，相较于其他机器学习算法该算法无需单独进行模型训练，检测效率更高。相较于其他基于统计的算法，本发明采用的算法可以识别全部和局部异常点，对于季节性的时间序列异常也能较好的识别。并进一步通过相关性计算，对根因指标进行扩展，避免只通过异常检测来定位根因指标导致真实故障根因未被识别的情况。
实施例二
图6为本发明实施例提供的一种系统故障根因定位装置的结构示意图。如图6所示，该装置包括：
数据采集模块61，用于采集应用系统各个节点的运维数据；运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；
数据预处理模块62，用于根据调用链数据获取节点实际耗时，并根据日志数据获取节点日志数据量的时序数据；
异常检测模块63，用于通过时间序列异常检测算法对性能指标数据、节点实际耗时和节点日志数据量进行异常检测，根据异常日志规则库对日志内容进行异常检测，并对业务指标数据进行异常检测；
根因定位模块64，用于根据异常检测获取异常节点的异常日志和合并异常分值，并根据异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
本实施例中，通过性能指标数据、业务指标数据、调用链数据以及日志数据等多模态数据进行根因定位，相对于单纯依赖性能指标数据进行异常检测和根因定位，定位结果更加精准，并且，本实施例通过时间序列异常检测算法对运维数据中的时序数据进行异常检测，相较于其他异常检测算法该算法对季节性的时间序列异常能够很好的识别，能够识别全局和局部异常，对异常节点识别率更高。此外，本实施例还能够在异常检测过程中，定位到异常节点，并反映出异常节点的异常性能指标和异常日志，输出结果包含异常节点的异常分值，可有效帮助运维和开发人员进行故障发现、故障分析和故障解决，减少应用系统故障时间，维持应用系统的良好运行。
可选的，数据预处理模块具体用于获取调用中调用节点耗时与其子调用耗时的差值，作为每个调用中每个节点的实际处理耗时；获取当前时间包含该节点的全部调用的实际处理耗时的平均值作为节点实际耗时，并用于将连续的日志文本数据转换为日志数据量的离散的时序数据；将每分钟采样到每个节点的日志数据量作为节点日志数据量。
可选的，异常检测模块具体用于在根据异常检测获取异常节点的异常日志和合并异常分值之前，通过皮尔逊相关系数获取每个性能指标的相关指标集合。
可选的，异常检测模块具体用于基于设定时间段的性能指标的历史数据，获取不同两个性能指标之间的皮尔逊相关系数；获取与当前性能指标之间的皮尔逊相关系数的绝对值与1的差值小于设定阈值的性能指标，形成当前性能指标的相关指标集合。
实施例三
图7为本发明实施例提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的计算机设备312的框图。图7显示的计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的系统故障根因定位的计算设备。
如图7示，计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于：一个或者多个处理器316，存储装置328，连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统334可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336，可以存储在例如存储装置328中，这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信，还可与一个或者多个使得用户能与该计算机设备312交互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays ofIndependent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的系统故障根因定位方法。
实施例四
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例中的系统故障根因定位。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采集应用系统各个节点的运维数据；所述运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；根据所述调用链数据获取节点实际耗时，并根据所述日志数据获取节点日志数据量的时序数据；通过时间序列异常检测算法对所述性能指标数据、所述节点实际耗时和所述节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对所述业务指标数据进行异常检测；根据所述异常检测获取异常节点的异常日志和合并异常分值；并根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种系统故障根因定位方法，其特征在于，包括：
采集应用系统各个节点的运维数据；所述运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；
根据所述调用链数据获取节点实际耗时，并根据所述日志数据获取节点日志数据量的时序数据；
通过时间序列异常检测算法对所述性能指标数据、所述节点实际耗时和所述节点日志数据量进行异常检测；根据异常日志规则库对日志内容进行异常检测；并对所述业务指标数据进行异常检测；
根据所述异常检测获取异常节点的异常日志和合并异常分值；并根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
2.根据权利要求1所述的系统故障根因定位方法，其特征在于，所述性能指标数据包括下述至少一项：CPU指标数据、内存指标数据和磁盘指标数据；
所述调用链数据至少包括：调用节点耗时；所述调用节点耗时包括子调用耗时；
所述业务指标数据包括下述至少一项：系统响应率、成功率、交易量和平均响应时间；
所述日志数据至少包括：日志时间戳、节点、日志文件名和所述日志内容。
3.根据权利要求1所述的系统故障根因定位方法，其特征在于，根据所述调用链数据获取节点实际耗时，包括：
获取调用中调用节点耗时与其子调用耗时的差值，作为每个调用中每个节点的实际处理耗时；获取当前时间包含该节点的全部调用的实际处理耗时的平均值作为所述节点实际耗时；
根据所述日志数据获取节点日志数据量的时序数据，包括：
将连续的日志文本数据转换为日志数据量的离散的时序数据；将每分钟采样到每个节点的日志数据量作为节点日志数据量。
4.根据权利要求1所述的系统故障根因定位方法，其特征在于，根据所述异常检测获取异常节点的异常日志和合并异常分值，包括：
所述性能指标数据经过异常检测输出异常节点、异常性能指标和异常分值；所述节点实际耗时和所述节点日志数据量经过异常检测输出异常节点和异常分值；所述日志内容经过异常检测输出异常节点和异常日志；所述业务指标数据经过异常检测输出当前时间的业务指标异常分值；
获取所述异常节点的合并异常分值：
score＝mscore×m_ratio+tscore×t_ratio+lscore×l_ratio+kscore；其中，mscore表示异常性能指标的异常分值，m_ratio为异常性能指标的权重参数；tscore表示异常节点的节点实际耗时的异常分值，t_ratio表示节点实际耗时的权重参数；lscore为异常节点的节点日志数据量的异常分值，l_ratio表示节点日志数据量的权重参数；kscore为业务指标数据的异常分值；
将所述异常日志和所述合并异常分值合并至对应异常节点；
根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志，包括：
遍历所有的异常节点；
若所述异常节点存在异常日志和异常性能指标，则将该异常节点作为根因节点，并将所述异常节点的异常性能指标作为根因指标，将所述异常节点的异常日志作为根因日志；
若所述异常节点存在异常性能指标，则将所述合并异常分值大于分值阈值的异常节点作为根因节点，并将该异常节点对应的异常性能指标作为根因指标。
5.根据权利要求1所述的系统故障根因定位方法，其特征在于，根据所述异常检测获取异常节点的异常日志和合并异常分值之前，还包括：
通过皮尔逊相关系数获取每个性能指标的相关指标集合。
6.根据权利要求5所述的系统故障根因定位方法，其特征在于，根据所述异常检测获取异常节点的合并异常分值，包括：
若异常节点的异常性能指标的个数大于第一数量阈值，则根据所述异常检测获取各个异常性能指标的异常分值和权重参数获取所述异常节点的合并异常分值；
若异常节点的异常性能指标个数小于所述第一数量阈值，则通过所述异常性能指标的相关指标集合对所述异常性能指标的异常分值进行补偿，并根据所述异常性能指标的补偿后的异常分值和权重参数获取所述异常节点的合并异常分值。
7.根据权利要求5所述的系统故障根因定位方法，其特征在于，通过皮尔逊相关系数获取每个性能指标的相关指标集合，包括：
基于设定时间段的性能指标的历史数据，获取不同两个性能指标之间的皮尔逊相关系数；
获取与当前性能指标之间的皮尔逊相关系数的绝对值与1的差值小于设定阈值的性能指标，形成当前性能指标的相关指标集合。
8.一种系统故障根因定位装置，其特征在于，包括：
数据采集模块，用于采集应用系统各个节点的运维数据；所述运维数据至少包括性能指标数据、业务指标数据、调用链数据以及日志数据；
数据预处理模块，用于根据所述调用链数据获取节点实际耗时，并根据所述日志数据获取节点日志数据量的时序数据；
异常检测模块，用于通过时间序列异常检测算法对所述性能指标数据、所述节点实际耗时和所述节点日志数据量进行异常检测，根据异常日志规则库对日志内容进行异常检测，并对所述业务指标数据进行异常检测；
根因定位模块，用于根据所述异常检测获取异常节点的异常日志和合并异常分值，并根据所述异常日志和合并异常分值输出根因节点及其对应的根因指标和/或根因日志。
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的系统故障根因定位方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-7中任一所述的系统故障根因定位方法。
CN202211328028.9A 2022-10-27 2022-10-27 系统故障根因定位方法及装置、设备、存储介质 Pending CN115576731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211328028.9A CN115576731A (zh) 2022-10-27 2022-10-27 系统故障根因定位方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211328028.9A CN115576731A (zh) 2022-10-27 2022-10-27 系统故障根因定位方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN115576731A true CN115576731A (zh) 2023-01-06

Family

ID=84586714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211328028.9A Pending CN115576731A (zh) 2022-10-27 2022-10-27 系统故障根因定位方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN115576731A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361059A (zh) * 2023-05-19 2023-06-30 湖南三湘银行股份有限公司 一种银行业务异常根因诊断方法及诊断系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361059A (zh) * 2023-05-19 2023-06-30 湖南三湘银行股份有限公司 一种银行业务异常根因诊断方法及诊断系统
CN116361059B (zh) * 2023-05-19 2023-08-08 湖南三湘银行股份有限公司 一种银行业务异常根因诊断方法及诊断系统

Similar Documents

Publication Publication Date Title
JP6538980B2 (ja) 異種混成ログストリームにおける自動化された異常検出サービス
US8751436B2 (en) Analyzing data quality
Wang et al. Root-cause metric location for microservice systems via log anomaly detection
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US9354867B2 (en) System and method for identifying, analyzing and integrating risks associated with source code
Rahimi et al. Vulnerability scrying method for software vulnerability discovery prediction without a vulnerability database
US20050283337A1 (en) System and method for correlation of time-series data
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US11388211B1 (en) Filter generation for real-time data stream
US20170109667A1 (en) Automaton-Based Identification of Executions of a Business Process
US20170109636A1 (en) Crowd-Based Model for Identifying Executions of a Business Process
US20120079098A1 (en) Performance Monitoring of a Computer Resource
CN113852603B (zh) 网络流量的异常检测方法、装置、电子设备和可读介质
CN114785666B (zh) 一种网络故障排查方法与系统
Bento et al. Automated analysis of distributed tracing: Challenges and research directions
US11526425B1 (en) Generating metric data streams from spans ingested by a cloud deployment of an instrumentation analytics engine
CN111767202A (zh) 异常检测方法、装置、电子设备和介质
US20210311918A1 (en) Computer system diagnostic log chain
CN114205216B (zh) 微服务故障的根因定位方法、装置、电子设备和介质
Cai et al. A real-time trace-level root-cause diagnosis system in alibaba datacenters
Weber et al. Trace file comparison with a hierarchical sequence alignment algorithm
CN114428677A (zh) 任务处理方法、处理装置、电子设备及存储介质
US11516269B1 (en) Application performance monitoring (APM) detectors for flagging application performance alerts
CN115576731A (zh) 系统故障根因定位方法及装置、设备、存储介质
US9276826B1 (en) Combining multiple signals to determine global system state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination