CN109861858A - 微服务系统根因节点的错误排查方法 - Google Patents

Abstract

本发明公布了一种微服务系统根因节点的错误排查方法，采用频繁异常相关图挖掘方法，通过拓扑图重构算法实现快速排查，得到错误根因节点；包括：收集微服务系统日志并预警；将收集到的节点出错导致的延迟时长数据tp_i，利用拓扑图还原算法进行图的还原，挖掘得到微服务系统拓扑图；将候选频繁子图和微服务系统拓扑图进行比对，判断候选频繁子图在出错时的微服务系统拓扑图中是否频繁发生；进行排序，得到节点序列，即为排序的潜在异常根因节点；按节点序列顺序排查节点错误，由此实现微服务系统根因节点的错误排查。本发明方法能够提高错误根因节点的准确度，加快排查速度，节省成本。

Description

微服务系统根因节点的错误排查方法

技术领域

本发明属于信息技术领域，涉及微服务系统体系结构异常排查技术，尤其涉及一种基于频繁子图挖掘算法的微服务系统架构根因节点错误排查的方法。

背景技术

微服务架构是一种广泛使用的服务器架构，他的优点在于易于实现和重用，以及服务组件的独立缩放。然而，细粒度服务器的使用是有代价的。成百上千的服务器系统很容易出现异常，实际应用中需要快速定位出错误的服务器节点。

微服务系统根因节点即发生异常的错误的服务器接口节点。异常根服务的识别非常耗时，原因如下：首先，微服务架构中的服务关系复杂和多变。细粒度带来额外的硬件和软件负担过重，很难采用集中式系统来记录系统的实时拓扑关系。第二，大量的微服务产生大量的运行数据，处理和分析可能相当耗时。操作维护部门通常要求系统专家来做这项工作。这种解决方法的成本很高，因为不断的知识更新。

前人已经对微服务架构的根因节点排查进行了大量的研究工作。例如，文献[11],[12],[13]，[14],[15]使用了许多方法来解决这个问题。文献[16]记载了根原因排序的MRANK算法和GANK算法。在文献[17]中，Kim等实现了一个实时度量收集系统和异常检测框架。然而，这些算法仍然非常耗时，难以对错误的服务器节点实现快速定位。

参考文献：

[11]Y.Liu,L.Zhang,and Y.Guan,"A distributed data streaming algorithmfor network-wide traffic anomaly detection,"ACM SIGMETRICS PerformanceEvaluation Review,vol.37,no.2,pp.81-82,2009.

[12]R.Jiang,H.Fei,and J.Huan,"Anomaly localization for network datastreams with graph joint sparse PCA,"in Proceedings of the 17th ACM SIGKDDinternational conference on Knowledge discovery and data mining,pp.886-894,2011.

[13]C.Wang et al.,"VScope:middleware for troubleshooting time-sensitive data center applications,"in ACM/IFIP/USENIX InternationalConference on Distributed Systems Platforms and Open Distributed Processing,pp.121-141,2012.

[14]A.Jalali and S.Sanghavi,"Learning the Dependence Graph of TimeSeries with Latent Factors,"in Proceedings of the 29th InternationalConference on Machine Learning(ICML-12),pp.473-480,2012.

[15]L.Akoglu,H.Tong,and D.Koutra,"Graph based anomaly detection anddescription:a survey,"Data Mining and Knowledge Discovery,vol.29,no.3,pp.626-688,2015.

[16]Y.Ge,G.Jiang,M.Ding,and H.Xiong,"Ranking metric anomaly ininvariant networks,"ACM Transactions on Knowledge Discovery from Data(TKDD),vol.8,no.2,p.8,2014.

[17]M.Kim,R.Sumbaly,and S.Shah,"Root cause detection in a service-oriented architecture,"in ACM SIGMETRICS Performance Evaluation Review,vol.41,no.1,pp.93-104,2013.

发明内容

为了克服上述现有技术的不足，本发明提供一种微服务系统的错误根因节点排查方法，通过拓扑图重构算法，解决微服务系统中错误发生后快速定位根因节点的问题，以克服大部分微服务架构无法收集系统实时结构的缺陷。

频繁子图挖掘算法是一种基于图的算法，可用于发现大量图中频繁出现的图。本发明针对目前现有方法存在的根因定位慢的问题，提出一种基于频繁子图挖掘算法的微服务系统架构根因节点错误排查的方法，我们称为：频繁异常相关图挖掘方法进行微服务系统的错误根因节点排查，能够快速的发现错误根因节点。

本发明提供的技术方案是：

一种微服务系统根因节点的错误排查方法，本发明称为频繁异常相关图挖掘方法，通过拓扑图重构算法，实现快速排查得到错误根因节点；其中，微服务系统中包括多个服务器，每个服务器可能包含多个接口即“节点”；

包括如下步骤：

1)收集微服务系统日志并预警；执行如下操作：

A1.在微服务系统中安装日志收集组件(如Filebeat、Flume、Fluentd等)，通过日志收集组件收集微服务系统日志；

A2.对收集到的微服务系统日志进行扫描，判断系统是否出现异常；

在服务器v_i依次遍历各个时间点的服务器节点出错导致的延迟时长数据，如果出现一段时间i，power_i＝avg(tp_i)/avg(t_i)，ratio＝Power_i/maxPower_i，若ratio大于设定阈值(如0.8)，则判断系统在i时间段中出现异常，其中tp_i是系统延迟(节点出错导致的延迟时长数据)；t_i是系统吞吐；avg是平均函数，maxPower_i是某时间段的最大的power_i。

A3.若系统在i时间段中出现异常，将该时间段i记录为错误发生时间；

2)将收集到的在错误发生时间段i节点出错导致的系统延迟tp_i输入拓扑图还原算法(PC算法)进行图的还原，挖掘得到微服务系统拓扑图，其中PC算法的输入，是一个由所有节点的延迟数据组成的二维矩阵，经过PC算法计算图的条件独立性、做点之间的连接，输出一张由所有节点组成的网状拓扑图，这张图代表微服务系统节点之间存在的因果关系；

3)基于频繁子图挖掘算法进行频繁异常相关图挖掘；实现方法为：

C1.将步骤2)中挖掘出来的系统拓扑图进行标记；

具体实施时，采用BFOS标记法(breadth first ordered string)进行标记；

C2.用给定的入口节点拓展候选频繁子图；

本发明中，频繁子图指的是在微服务系统出错的时候频繁出现的拓扑图(PC算法可得到)，通过拓展候选频繁子图，一一识别每个候选频繁子图是否是在系统出错时频繁出现，从而判断这个频繁子图结构是不是出错的根因；作为一种优选方案，所述步骤C2拓展候选频繁子图的实现方法为:

C21)假设V是系统中所有API节点的集合。首先，将给定的根顶点(发生异常的前端节点，往往是直接展示给用户的节点)加到候选集(候选集是频繁子图挖掘中的一个概念，候选集是一个API节点构成的图的集合，在每一步计算中，得到的频繁出现的图都会被加入候选集，因为这些都是“候选的频繁子图”)上，V除去给定的根顶点。

C22)候选集中的剩余顶点按升序排列，每次添加一个顶点来构造候选集中的图。剩余顶点指V除去候选集中已存在的节点后，还剩下的节点，简而言之，就是所有API节点，按照升序依次添加构造形成候选集中的图。

C23)在候选集的顶点加上第一个顶点V_n之后，顶点V_n+1继续跟上，尝试连接到前N顶点，例如：候选集中已经含有节点1、2、3组成的图，现在加入节点4，分别尝试和前三个点1、2、3进行各种组合组成新的图，如1-2-3-4、4-1-2-3等等。

为了不遗漏任何一种点的组合(如1-2-3-4、4-1-2-3等)，我们使用CC(connectioncode)(即用二进制，如连接到某一位，则那一位数为1，反之则为0，如1-2-3-4、4-1-2-3的cc分别是001和100)来表示这种链接关系,例如“00”表示所有的节点都没有连接到先前的顶点，“01”表示一个先前的顶点连接到当前的顶点，而另一个顶点则不连接到当前的顶点。“11”代表前面的两个顶点，它们都与当前的顶点连接。理论上，将生成2ⁿ个顶点，但由于频繁子图的数目有限，大多数都被剪枝，并且没有进一步扩展。

C24)修剪：当候选频繁子图的支持小于所需的支持时，它将不再扩大和修剪。即当候选频繁子图出现频率小于设定阈值时，终止拓展和修剪；

例如，a-b这样一个图，在所有图中出现的频率已经小于支持度(出现频率小于设定阈值)，那么在a-b基础上的拓展如a-b-c出现频率肯定比a-b还低，a-b这个图在下一轮次中就删除，没必要继续拓展。

图3显示了候选生成、拓展的过程，第一轮只有一个点a加入了候选集，并且组成一个图a，第二轮，点b加入，并分别尝试和a连接或者不连接，再计算他的支持度第三轮开始c尝试和a、b分别连接，并分别计算支持度。

C3.识别频繁子图：将候选频繁子图和微服务系统拓扑图进行比对，判断候选频繁子图在出错时的系统拓扑图中是否频繁发生；

具体地，系统出错的情况下由节点生成的图形成的图集记为微服务系统拓扑图集S，|S|为图集中项的数量；S中的一项记为B；候选频繁子图为A；候选频繁子图A的BFOS的序列和微服务系统拓扑图B的BFOS序列均包括多个；

将A与B的BFOS序列进行逐位比对；

当A图是S集合中n个图的子图，且n/|S|大于设定阈值时，识别A是频繁子图，即将A的结构识别为错误发生的可能根因。

C4.将识别出的频繁子图按照发生的次数排序，将每个频繁子图中的节点按照距离入口节点的距离排序，得到节点序列。这些点可视为可能的潜在的异常根本原因，因为这个序列是根据频繁度进行排序的，所以可以按照这个顺序排查节点错误，大大节约排查时间。

与现有技术相比，本发明的有益效果是：

通过本发明所提供的微服务系统中频繁子图挖掘方法，提高了错误根因节点的准确度，加快了排查速度，节省了人力成本。

附图说明

图1是本发明方法的流程框图。

图2是BFOS标记法的流程示意图；

其中，(a)是一个两层结构的拓扑图，包含三个节点，我们忽略bc的顺序，将其标记为a*b-c#；(b)是一个三层结构的拓扑图，包含六个节点，同层级的bc，def的顺序被忽略，由于d、e节点的父节点相同，所以d、e节点中间不用*隔开，将图b表示为a*b*c*de*f#；(c)是在b图的基础上增加了一个g节点，只要直接在b图的BFOS后增加g点，表示为a*bc*de*f*g#。

图3是本发明具体实施例中候选集生成、拓展的步骤示意图。

图4是本发明实施例中的一个拓扑图示例。

图5是本发明实施例筛选出的频繁子图示例。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种微服务系统根因节点的错误排查方法——频繁异常相关图挖掘方法，通过拓扑图重构算法，基于频繁子图挖掘算法对微服务系统节点实现快速排查，得到错误根因节点；图1是本发明方法的流程框图，包括日志缓存系统、错误检测、相关图挖掘、频繁图挖掘、学习系统参数。

以下实施例在IBM的BlueMix系统上实施，我们在每个节点上设置日志收集系统，收集延迟和吞吐数据。在每一个时间窗口i中分别计算：

power_i＝avg(tp_i)/avg(t_i) (式1)

ratio＝Power_i/maxPower_i (式2)

式1和式2中，tp_i是系统延迟，t_i是系统吞吐，power_i是系统延迟和系统吞吐商；若power_i的大小超过某给定阈值则判断系统在i点出现异常，maxPower_i是这个时间段最大的power_i；

同时，通过拓扑图还原(PC)算法将日志数据进行还原得到拓扑图，即：将日志数据输入PC算法，进行还原，得到系统拓扑图。

图4是一个典型的系统拓扑图，每个节点代表一个接口，节点之间的连线代表不同的接口之间的调用关系，节点14是出口节点，是最终对用户呈现系统异常的前端节点。将异常期间的数据集分为多个时段，每个时段通过PC算法可以产生出该时段的系统拓扑图，代表该时段的微服务器系统结构，我们在这些众多的系统拓扑图中进行频繁子图挖掘，筛选得到频繁出现的系统拓扑图结构。频繁子图挖掘包括如下步骤：

1.首先从出口节点14出发，将节点14加入候选集；

2.从候选集中选出子图，选择子图中的下一级节点(如图4中节点14的下级节点是16、13、6)，分别和上级节点(节点14)分别组合，形成新的子图(如14-16，14-13，16-14-13)，如图3所示。

3.将这些子图用BFOS标记法表示，和数据集中所有图的BFOS进行比对。若第2步中的子图存在于数据库中图的数量大于给定阈值(例如，若大于子图在数据库图中出现的频率大于80％，就认为这是一个有效的子图)，则将该子图加入候选集；若第2步中的子图存在于数据库中的图的数据小于给定阈值，则舍弃该子图。

作为一种优选方案，本发明使用BFOS标记法(breadth first ordered string)，BFOS按树级添加顶点。顶点按升序排列。值得注意的是，由于在微服务系统中，我们着重关心的是传播层级，对于同一传播层级的节点，它们的先后顺序可以忽略。这样的表示方法也将显著降低候选生成算法的复杂度。如图2所示，三个图的BFOS是(a)a*b-c#；(b)a*b*c*de*f#；(c)a*bc*de*f*g#。其中，a、b、c、d、e、f、g均为服务器节点。在生成BFOS时，一层一层扫描系统图，一次导入一层所有的节点，每一层的节点按照节点编号进行排序(保证表示的唯一性)，若相邻两个节点是同一个顶点的孩子，则不用分开，直接相接；若同层两个节点不是同一个顶点的孩子，则需要用“*”分开；同一层中的两个顶点之间若存在边，则由“-”连接；不同的层级之间的点也用*隔开；结尾处用“#”标记。

4.从候选集中选出子图，循环2，3两个步骤，直到循环结束；即筛选得到频繁子图。

频繁子图中的节点即为排查得到的微服务系统错误根因节点。

作为一种优选方案，本发明采用的频繁图比对方法具体基于BFOS标记法，将候选频繁子图和系统拓扑图的BFOS进行逐位比对，来确认候选频繁子图是否是系统拓扑图的子图，具体比对方式如下，比如两个序列分别为a*b-c#和a*b-c*de*f#，每一位按顺序一一比对，发现前者是后者的子图，这种方式的复杂度是O(m+n)，m和n分别是两个序列的长度，大大减小了图对比的时间复杂度：

设候选频繁子图A的BFOS为序列α，系统拓扑图B的BFOS的序列为β；

下表index_A和index_B分别是α和β的游标，并且从第一位开始，逐位对比参照下表：

表1 BFOS子图判断对比参照表

初始化index_A＝1，index_B＝1；

如果α[index_A]是*，β[index_B]也是*，则index_A和index_B分别+1，并继续比对；如果α[index_A]是*,β[index_B]是-，则得出结论A是B的子图；

如果α[index_A]是节点，β[index_B]也是节点，且是相同的节点，则index_A和index_B分别+1，并继续比对；

如果α[index_A]是#，则比对结束，A是B的子图

如果α[index_A]是*，β[index_B]是-，则删除β图中β[index_B]节点的所有下游节点,index_A和index_B分别+1，并继续比对。

如果α[index_A]是-，β[index_B]也是-，则α[index_A]和β[index_B]分别+1，并继续比对；

如果α[index_A]是节点，β[index_B]也是*，则β[index_B]+1，并继续比对；

如果α[index_A]是*，β[index_B]也是节点，则删除β图中β[index_B]节点的所有下游节点,index_A和index_B分别+1，并继续比对。

如果α[index_A]是-，β[index_B]是节点，则比对结束，A不是B的子图

如果α[index_A]是节点，β[index_B]也是节点，但是不相同，则β[index_B]+1，并继续比对；

如果β[index_B]是#，但α[index_A]不是#，则比对结束，A不是B的子图；

上述比对结果说明A是B的子图，包含在B里面。

具体地，设S为系统出错的情况下由节点生成的图形成的图集，|S|为图集中项的数量，系统拓扑图B是图集S中的一项；若候选频繁子图A图是S集合中n个图的子图，当n/|S|大于给定阈值(如0.8)，说明A是一个系统一出错就会出现的结构。则说明A是频繁的，说明A的这个结构可能是错误发生的根因(表示一出错就出现此结构)。即采用本发明方法找到了可能是错误发生根因的这样的结构。

图5是本实施例筛选出的频繁子图示例，图5中的子图在数据库中。图5中，API 31、9,、30、28、6、19、8、15出现在图五的频繁子图中，所以这些点可视为可能的潜在的异常根本原因，因为这个序列是根据频繁度进行排序的，所以可以按照这个顺序排查节点错误，大大节约排查时间。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种微服务系统根因节点的错误排查方法，采用频繁异常相关图挖掘方法，通过拓扑图重构算法实现快速排查，得到错误根因节点；

所述微服务系统中包括多个服务器，每个服务器可能包含多个接口即节点；所述采用频繁异常相关图挖掘方法排查微服务系统根因节点包括如下步骤：

1)收集微服务系统日志并预警；执行如下操作：

A1.通过日志收集组件收集微服务系统日志；

A2.对收集到的微服务系统日志进行扫描，判断系统是否出现异常及出现异常相应的时间段；

A3.若系统在i时间段中出现异常，将时间段i记录为错误发生时间；

2)将收集到的在错误发生时间段i节点出错导致的延迟时长数据tp_i，利用拓扑图还原算法进行图的还原，挖掘得到微服务系统拓扑图；微服务系统拓扑图是由所有节点组成的网状拓扑图，表示微服务系统节点之间存在的因果关系；

3)基于频繁子图挖掘算法进行频繁异常相关图挖掘；实现方法为：

C1.将步骤2)得到的微服务系统拓扑图进行标记；

C2.用给定的入口节点拓展候选频繁子图，判断频繁子图结构是不是出错的根因；执行如下操作：

C21)设V是系统中所有API节点的集合；候选集是API节点构成的图的集合；将给定的根顶点加到候选集；V除去给定的根顶点；所述根顶点为发生异常的前端节点；将每一步计算得到的频繁出现的图作为候选的频繁子图，均加入候选集；

C22)将候选集中的剩余顶点按升序排列，每次添加一个顶点，构造形成候选集中的图；

C23)在候选集的顶点加上第一个顶点V_n之后，继续加上顶点V_n+1，直到连接到前N顶点；

C24)当候选频繁子图出现频率小于设定阈值时，终止拓展；

C3.识别频繁子图：将候选频繁子图和微服务系统拓扑图进行比对，判断候选频繁子图在出错时的微服务系统拓扑图中是否频繁发生；

C4.将识别出的频繁子图按发生的次数进行排序；将每个频繁子图中的节点按与入口节点的距离进行排序，得到节点序列；节点序列即为排序的潜在异常根因节点；

按节点序列顺序排查节点错误，由此实现微服务系统根因节点错误快速排查。

2.如权利要求1所述微服务系统根因节点的错误排查方法，其特征是，步骤A2对收集到的微服务系统日志进行扫描，判断系统是否出现异常及出现异常相应的时间段；具体执行如下操作：

A21.依次遍历各个时间点的服务器节点出错导致的延迟时长数据，分别获取节点出错导致的延迟时长数据tp_i、系统吞吐t_i；

A22.通过下式计算得到服务器v_i的值power_i，以及值power_i与最大值maxPower_i的比率：

power_i＝avg(tp_i)/avg(t_i)；

ratio＝Power_i/maxPower_i；

A23.设定比率阈值；当出现一段时间i的比率ratio大于设定比率阈值时，表示系统在i时间段中出现异常。

3.如权利要求1所述微服务系统根因节点的错误排查方法，其特征是，步骤C1具体采用BFOS标记法对微服务系统拓扑图进行标记。

4.如权利要求1所述微服务系统根因节点的错误排查方法，其特征是，步骤C3识别频繁子图，比对方法具体是：基于BFOS标记法，将候选频繁子图和系统拓扑图的BFOS进行逐位比对，识别候选频繁子图是否是系统拓扑图的子图。

5.如权利要求4所述微服务系统根因节点的错误排查方法，其特征是，识别方法具体是：

记系统出错的情况下由节点生成的图形成的图集为微服务系统拓扑图集S，|S|为图集中项的数量；S中的一项记为B；候选频繁子图为A；候选频繁子图A的BFOS的序列和微服务系统拓扑图B的BFOS序列均包括多个；

将A与B的BFOS序列进行逐位比对；

当A图是S集合中n个图的子图，且n/|S|大于设定阈值时，识别A是频繁子图，即将A的结构识别为错误发生的可能根因。

6.如权利要求5所述微服务系统根因节点的错误排查方法，其特征是，设定阈值为0.8。

7.如权利要求1所述微服务系统根因节点的错误排查方法，其特征是，步骤A1所述日志收集组件为日志收集组件采用Filebeat、Flume或Fluentd。