CN106951465A - 系统故障定位用数据分析方法及装置 - Google Patents

Abstract

本发明属于数据维护技术领域，提供了一种系统故障定位用数据分析方法及装置。该方法包括：获取在线数据和离线数据，根据离线数据，确定不同维度下的指标和每个指标的指标阈值，根据每个指标阈值，实时监控在线数据，获取异常指标，将异常指标所对应的在线数据进行划分切片，定位异常指标的位置，根据异常指标和关联方式，获取关联事件，根据异常指标的位置或关联事件，确定系统故障位置。本发明系统故障定位用数据分析方法及装置，能够快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率。

Description

系统故障定位用数据分析方法及装置

技术领域

本发明涉及数据维护技术领域，具体涉及一种系统故障定位用数据分析方法及装置。

背景技术

目前，信息化及大数据技术应用越来越深入，同时，系统集群规模和数据量爆发式增长，数据运维从以解决运维复杂度为目标的自动化，向以预测和自动决策为目标的智能化转变，快速定位系统故障根源的难度加大。并且，随着证券业务的爆发式增长，股市的成交金额和成交笔数也是不断创立新高，股市成交量也对系统故障定位提出新的要求。传统故障排查方式，如运维人员排查大量指标，工作量大，准确程度低，且无法满足用户多样化的业务需求。

如何快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种系统故障定位用数据分析方法及装置，能够快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率。

第一方面，本发明提供一种系统故障定位用数据分析方法，该方法包括：

获取在线数据和离线数据；

根据离线数据，确定不同维度下的指标和每个指标的指标阈值；

根据每个指标阈值，实时监控在线数据，获取异常指标；

将异常指标所对应的在线数据进行划分切片，定位异常指标的位置；

根据异常指标和关联方式，获取关联事件；

根据异常指标的位置或关联事件，确定系统故障位置。

进一步地，在确定系统故障位置之后，该方法还包括：

根据系统故障位置和预获取的诊断知识库，获取故障解决方案。

进一步地，根据异常指标和关联方式，获取关联事件，具体包括：

根据异常指标和时序关联方式，获取时间关联事件；

根据异常指标和业务逻辑关联方式，获取逻辑关联事件；

根据异常指标和物理关联方式，获取物理关联事件，关联方式包括时序关联方式、业务逻辑关联方式和物理关联方式，关联事件包括时序关联事件、逻辑关联事件和物理关联事件；

根据异常指标的位置或关联事件，确定系统故障位置，具体包括：根据异常指标的位置、时序关联事件、逻辑关联事件或物理关联事件，确定系统故障位置。

进一步地，根据离线数据，确定不同维度下的指标和每个指标的指标阈值，具体包括：采用正态分布数据统计方式处理离线数据，获取不同维度下的离线数据分布规律；

根据离线数据的业务规则和离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。

基于上述任意系统故障定位用数据分析方法实施例，进一步地，在确定不同维度下的指标和每个指标的指标阈值之后，该方法还包括：

根据每个指标阈值，实时监控在线数据，获取健康指标；

对健康指标所对应的在线数据进行分析，获取系统负载状况。

第二方面，本发明提供一种系统故障定位用数据分析装置，该装置包括数据获取模块、指标信息确定模块、在线数据监控模块、在线数据划分模块、关联事件获取模块和系统故障位置确定模块，数据获取模块用于获取在线数据和离线数据；指标信息确定模块用于根据离线数据，确定不同维度下的指标和每个指标的指标阈值；在线数据监控模块用于根据每个指标阈值，实时监控在线数据，获取异常指标；在线数据划分模块用于将异常指标所对应的在线数据进行划分切片，定位异常指标的位置；关联事件获取模块用于根据异常指标和关联方式，获取关联事件；系统故障位置确定模块用于根据异常指标的位置或关联事件，确定系统故障位置。

进一步地，该装置还包括故障解决方案获取模块，用于根据系统故障位置和预获取的诊断知识库，获取故障解决方案。

进一步地，关联事件获取模块包括时序关联子模块、业务逻辑关联子模块和物理关联子模块，时序关联子模块用于根据异常指标和时序关联方式，获取时间关联事件；业务逻辑关联子模块用于根据异常指标和业务逻辑关联方式，获取逻辑关联事件；物理关联子模块用于根据异常指标和物理关联方式，获取物理关联事件，关联方式包括时序关联方式、业务逻辑关联方式和物理关联方式，关联事件包括时序关联事件、逻辑关联事件和物理关联事件；

系统故障位置确定模块具体用于：根据异常指标的位置、时序关联事件、逻辑关联事件或物理关联事件，确定系统故障位置。

进一步地，指标信息确定模块具体用于：采用正态分布数据统计方式处理离线数据，获取不同维度下的离线数据分布规律；根据离线数据的业务规则和离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。

基于上述任意系统故障定位用数据分析装置实施例，进一步地，该装置还包括系统负载获取模块，用于根据每个指标阈值，实时监控在线数据，获取健康指标；对健康指标所对应的在线数据进行分析，获取系统负载状况。

由上述技术方案可知，本实施例提供的系统故障定位用数据分析方法及装置，能够对数据进行深度挖掘与分析，即对离线数据设置不同维度下的各指标及指标阈值，为后续系统故障定位提供分析基础，采用不同维度的指标阈值实时监控在线数据，能够更细粒度地展现系统异常，对在线数据进行划分切片，有助于逐层分析系统故障所在位置，同时，该方法还能够获取关联事件，有助于扩展分析系统故障的角度，以便快速、准确地进行系统故障位置定位，缩减运维人员定位系统故障的时间。

因此，本实施例系统故障定位用数据分析方法及装置，能够快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种系统故障定位用数据分析方法的流程图；

图2示出了本发明所提供的一种系统故障定位用数据分析装置的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

第一方面，本发明实施例所提供的一种系统故障定位用数据分析方法，结合图1，该方法包括：

步骤S1，获取在线数据和离线数据。其中，在线数据是实时产生的数据，也预示着当前业务系统的运行状况。离线数据是历史的数据。可从概念上对数据进行划分，以形成在线数据和离线数据。

步骤S2，根据离线数据，确定不同维度下的指标和每个指标的指标阈值。在这个过程中，不同维度下的指标是指在分析业务时需要关注的指标，例如系统指标、业务指标等，分析指标过程的开销会随着需关注指标数量的增加而增加。另外，需关注的指标可能在不同维度下的规律性更明显，比如CPU指标在上午和下午的分布规律可能会有比较大的差异性。因此，对指标在不同维度分解的分析过程开销会随指标和维度的增加而增加。同样的，这个过程的难点也是找出指标的规律性，相对于系统指标的规律性比较强，业务指标的规律性会更加复杂。而分析指标是后续系统故障定位的基础，因此，应当更深入地结合业务知识对指标进行分析。

步骤S3，根据每个指标阈值，实时监控在线数据，获取异常指标。不同维度下的指标阈值是不同的，因此，在故障发生时，可以按照不同维度的指标阈值监控在线数据，利用不同维度的视角可以辅助探查到真正问题所在。如并发压力可以按照客户维度分为个人客户、机构客户等维度，当整体业务系统状态表现正常时，可能个人客户的并发压力很大，因此，不同维度的指标可以更细粒度地展现系统异常。

步骤S4，将异常指标所对应的在线数据进行划分切片，定位异常指标的位置。如按照接入端类型、访问方式，甚至于交易类型，逐层对异常指标所对应的在线数据进行分解，可以按照热点图分解的思路将异常指标的位置层层过滤，剥离表现正常的切面，将问题细化，并定位问题所在。当并发压力过大时，可以先按照接入端类型，对接入数据分解，查看压力异常来源，再按照访问方式对异常进行逐层划分，通过热点图可以看到异常指标的核心发生位置，可能是某台机器、某个业务逻辑，这对于故障定位有很好的参考价值。这一技术的实现方案核心是定义合理的维度，及维度分解方式，其具体实现方案仍需要结合实际业务情况进行深入分析。

步骤S5，根据异常指标和关联方式，获取关联事件。在此，利用关联事件的思路，在异常发生时，将与异常指标有关的关联事件罗列出来，有助于扩展问题角度，关联方式可以是时序关联、逻辑关联、物理关联等。同时，通过分析关联事件，获取事件缘由，有助于辅助定位系统故障。

步骤S6，根据异常指标的位置或关联事件，确定系统故障位置。

由上述技术方案可知，本实施例提供的系统故障定位用数据分析方法，能够对数据进行深度挖掘与分析，即对离线数据设置不同维度下的各指标及指标阈值，为后续系统故障定位提供分析基础，采用不同维度的指标阈值实时监控在线数据，能够更细粒度地展现系统异常，对在线数据进行划分切片，有助于逐层分析系统故障所在位置，同时，该方法还能够获取关联事件，有助于扩展分析系统故障的角度，以便快速、准确地进行系统故障位置定位，缩减运维人员定位系统故障的时间。

因此，本实施例系统故障定位用数据分析方法，能够快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率。

为了进一步方便运维人员应用本实施例系统故障定位用数据分析方法，具体地，该方法还能够根据诊断知识库进行故障分析，快速获取故障解决方法，即在确定系统故障位置之后，该方法还能够根据系统故障位置和预获取的诊断知识库，获取故障解决方案。其中，诊断知识库是运维人员所整理的运维经验，且计算机能够识别该诊断知识库。当出现对应的系统故障时，运维人员通过点击相应的系统故障，查看相应的故障解决方案，方便、快捷，运维效率高，实现更人性化的故障定位与解除。

为了进一步提供本实施例系统故障定位用数据分析方法的准确性，具体地，在获取关联事件时，该方法的实现过程如下：

根据异常指标和时序关联方式，获取时间关联事件。其中，时序关联方式主要是按照事件发生的时间顺序，定位故障发生前后与之有关的事件。时序关联方式的实现需要在时间维度上进行事件分析，实现难度相对较小。

根据异常指标和业务逻辑关联方式，获取逻辑关联事件。其中，业务逻辑关联方式主要是利用逻辑上存在相互关系的事件来推断与故障事件有关的相关事件。业务逻辑关联方式则需要结合业务逻辑抽取与故障事件有关的其他事件，实现难度相对较大，需要分析事件的固有逻辑，并通过学习机制制定关联分析模型。

根据异常指标和物理关联方式，获取物理关联事件，其中，物理关联方式主要是位于同一物理机上的业务程序会因资源争用而引发事件关联。物理关联方式主要跟踪事件发生的位置，利用故障位置来确定相关事件，实现难度相对较小。关联方式包括时序关联方式、业务逻辑关联方式和物理关联方式，关联事件包括时序关联事件、逻辑关联事件和物理关联事件。根据异常指标的位置、时序关联事件、逻辑关联事件或物理关联事件，确定系统故障位置。例如，当某一事件发生时，比如用户投诉，与用户投诉事件相关的关联事件有：并发数量超出阈值、某业务机器重启、CPU使用率过高等，将与该事件存在关联的其他事件展现出来，通过对关联事件的分析，可以快速获取该起事件的发生原因，在定位故障时起到很好的指导作用。这一技术的实现方案则需要结合业务场景合理定义关注的事件，通过分析事件间的联系来抽取相关事件。

并且，不同子系统间的业务逻辑关系也是重要参考点，利用子系统间的内在关系，可以对故障发生点进行逻辑倒推，并结合异常数据，为系统故障定位提供更强的信息依据。

具体地，在获取每个指标及指标阈值时，该方法的实现过程如下：

采用正态分布数据统计方式处理离线数据，获取不同维度下的离线数据分布规律。根据离线数据的业务规则和离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。在此，该方法采用正态分布数据统计方式，获得处理数据，准确、可靠。例如，对离线数据使用3-sigma正态分布数据统计方法，可以定义出各健康指标的正常范围，而当该指标超出这个正常范围，则说明该指标存在异常现象。3-sigma表示三倍标准差的分布区域，能够覆盖99％以上的数据。而相同的指标在不同的维度上也可能会有不同的表现，比如在时间维度上，系统某指标在周一时的分布规律和周五的分布规律可能会存在差异。因此，在不同维度下对指标进行阈值计算，设定可靠的正常范围，为后续进行系统故障定位提供有效的信息支持，对在线数据处理起到重要作用。

同时，本实施例系统故障定位用数据分析方法还能够有效评估系统负载状况，根据每个指标阈值，实时监控在线数据，获取健康指标。对健康指标所对应的在线数据进行分析，获取系统负载状况，以辅助预测系统的瓶颈，为系统升级扩容提供支撑。在实际应用过程中，该方法还能够将在线数据实时加入到离线数据中，以修正各指标的指标阈值，实现自适应设定指标阈值，提高数据处理效率。

第二方面，本发明实施例提供一种系统故障定位用数据分析装置，结合图2，该装置包括数据获取模块1、指标信息确定模块2、在线数据监控模块3、在线数据划分模块4、关联事件获取模块5和系统故障位置确定模块6，数据获取模块1用于获取在线数据和离线数据；指标信息确定模块2用于根据离线数据，确定不同维度下的指标和每个指标的指标阈值；在线数据监控模块3用于根据每个指标阈值，实时监控在线数据，获取异常指标；在线数据划分模块4用于将异常指标所对应的在线数据进行划分切片，定位异常指标的位置；关联事件获取模块5用于根据异常指标和关联方式，获取关联事件；系统故障位置确定模块6用于根据异常指标的位置或关联事件，确定系统故障位置。

由上述技术方案可知，本实施例提供的系统故障定位用数据分析装置，能够对数据进行深度挖掘与分析，即对离线数据设置不同维度下的各指标及指标阈值，为后续系统故障定位提供分析基础，采用不同维度的指标阈值实时监控在线数据，能够更细粒度地展现系统异常，对在线数据进行划分切片，有助于逐层分析系统故障所在位置，同时，该装置还能够获取关联事件，有助于扩展分析系统故障的角度，以便快速、准确地进行系统故障位置定位，缩减运维人员定位系统故障的时间。

因此，本实施例系统故障定位用数据分析装置，能够快速定位系统故障位置，减轻运维人员故障排查压力，提高运维效率。

具体地，本实施例系统故障定位用数据分析装置还包括故障解决方案获取模块，用于根据系统故障位置和预获取的诊断知识库，获取故障解决方案。当出现对应的系统故障时，运维人员通过点击相应的系统故障，即可通过故障解决方案获取模块查看相应的故障解决方案，方便、快捷，运维效率高，实现更人性化的故障定位与解除。

具体地，关联事件获取模块5包括时序关联子模块、业务逻辑关联子模块和物理关联子模块，时序关联子模块用于根据异常指标和时序关联方式，获取时间关联事件；业务逻辑关联子模块用于根据异常指标和业务逻辑关联方式，获取逻辑关联事件；物理关联子模块用于根据异常指标和物理关联方式，获取物理关联事件，关联方式包括时序关联方式、业务逻辑关联方式和物理关联方式，关联事件包括时序关联事件、逻辑关联事件和物理关联事件。系统故障位置确定模块6具体用于：根据异常指标的位置、时序关联事件、逻辑关联事件或物理关联事件，确定系统故障位置。在此，关联事件获取模块5利用关联事件的思路，在异常发生时，将与异常指标有关的关联事件罗列出来，有助于扩展问题角度，通过分析关联事件，获取事件缘由，有助于辅助定位系统故障。时序关联子模块、业务逻辑关联子模块和物理关联子模块能够分别从时序、业务逻辑和物理资源等方面提供关联事件，信息准确度高，有助于准确地实现系统故障定位。

具体地，指标信息确定模块2具体用于：采用正态分布数据统计方式处理离线数据，获取不同维度下的离线数据分布规律；根据离线数据的业务规则和离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。因此，指标信息确定模块2在不同维度下对指标进行阈值计算，设定可靠的正常范围，为后续进行系统故障定位提供有效的信息支持，对在线数据处理起到重要作用。

具体地，本实施例系统故障定位用数据分析装置还包括系统负载获取模块，用于根据每个指标阈值，实时监控在线数据，获取健康指标；对健康指标所对应的在线数据进行分析，获取系统负载状况，以辅助预测系统的瓶颈，为系统升级扩容提供支撑。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种系统故障定位用数据分析方法，其特征在于，包括：

获取在线数据和离线数据；

根据所述离线数据，确定不同维度下的指标和每个指标的指标阈值；

根据所述每个指标阈值，实时监控所述在线数据，获取异常指标；

将所述异常指标所对应的在线数据进行划分切片，定位所述异常指标的位置；

根据所述异常指标和关联方式，获取关联事件；

根据所述异常指标的位置或所述关联事件，确定系统故障位置。

2.根据权利要求1所述系统故障定位用数据分析方法，其特征在于，

在确定系统故障位置之后，该方法还包括：

根据所述系统故障位置和预获取的诊断知识库，获取故障解决方案。

3.根据权利要求1所述系统故障定位用数据分析方法，其特征在于，

根据所述异常指标和关联方式，获取关联事件，具体包括：

根据所述异常指标和时序关联方式，获取时间关联事件；

根据所述异常指标和业务逻辑关联方式，获取逻辑关联事件；

根据所述异常指标和物理关联方式，获取物理关联事件，所述关联方式包括所述时序关联方式、业务逻辑关联方式和所述物理关联方式，所述关联事件包括所述时序关联事件、逻辑关联事件和所述物理关联事件；

根据所述异常指标的位置或所述关联事件，确定系统故障位置，具体包括：根据所述异常指标的位置、所述时序关联事件、逻辑关联事件或所述物理关联事件，确定所述系统故障位置。

4.根据权利要求1所述系统故障定位用数据分析方法，其特征在于，

根据所述离线数据，确定不同维度下的指标和每个指标的指标阈值，具体包括：

采用正态分布数据统计方式处理所述离线数据，获取不同维度下的离线数据分布规律；

根据所述离线数据的业务规则和所述离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。

5.根据权利要求1所述系统故障定位用数据分析方法，其特征在于，

在确定不同维度下的指标和每个指标的指标阈值之后，该方法还包括：

根据所述每个指标阈值，实时监控所述在线数据，获取健康指标；

对所述健康指标所对应的在线数据进行分析，获取系统负载状况。

6.一种系统故障定位用数据分析装置，其特征在于，包括：

数据获取模块，用于获取在线数据和离线数据；

指标信息确定模块，用于根据所述离线数据，确定不同维度下的指标和每个指标的指标阈值；

在线数据监控模块，用于根据所述每个指标阈值，实时监控所述在线数据，获取异常指标；

在线数据划分模块，用于将所述异常指标所对应的在线数据进行划分切片，定位所述异常指标的位置；

关联事件获取模块，用于根据所述异常指标和关联方式，获取关联事件；

系统故障位置确定模块，用于根据所述异常指标的位置或所述关联事件，确定系统故障位置。

7.根据权利要求6所述系统故障定位用数据分析装置，其特征在于，

该装置还包括故障解决方案获取模块，用于根据所述系统故障位置和预获取的诊断知识库，获取故障解决方案。

8.根据权利要求6所述系统故障定位用数据分析装置，其特征在于，

所述关联事件获取模块包括：

时序关联子模块，用于根据所述异常指标和时序关联方式，获取时间关联事件；

业务逻辑关联子模块，用于根据所述异常指标和业务逻辑关联方式，获取逻辑关联事件；

物理关联子模块，用于根据所述异常指标和物理关联方式，获取物理关联事件，所述关联方式包括所述时序关联方式、业务逻辑关联方式和所述物理关联方式，所述关联事件包括所述时序关联事件、逻辑关联事件和所述物理关联事件；

所述系统故障位置确定模块具体用于：根据所述异常指标的位置、所述时序关联事件、逻辑关联事件或所述物理关联事件，确定所述系统故障位置。

9.根据权利要求6所述系统故障定位用数据分析装置，其特征在于，

所述指标信息确定模块具体用于：采用正态分布数据统计方式处理所述离线数据，获取不同维度下的离线数据分布规律；根据所述离线数据的业务规则和所述离线数据分布规律，确定不同维度下的指标和每个指标的指标阈值。

10.根据权利要求6所述系统故障定位用数据分析装置，其特征在于，

该装置还包括系统负载获取模块，用于根据所述每个指标阈值，实时监控所述在线数据，获取健康指标；对所述健康指标所对应的在线数据进行分析，获取系统负载状况。