CN111290900B - 一种基于微服务日志的软件故障检测方法 - Google Patents

Abstract

本发明提供一种基于微服务日志的软件故障检测方法，该方法首先通过拓扑检测模型对微服务关键程度进行排名，越关键的微服务越有可能是出现故障的微服务，减少盲目逐个微服务进行故障分析检测所带来的开销，随后通过模式匹配服务避免每次都进行机器学习而带来的故障检测效率低下，最后通过对日志文本特征的提取、降维、学习，构建了一个可以对微服务是否为故障服务进行分类的机器学习模型，提高了运维的自动化程度。

Description

一种基于微服务日志的软件故障检测方法

技术领域

本发明涉及软件工程技术领域，更具体地，涉及一种基于微服务日志的软件故障检测方法。

背景技术

传统分布式架构系统的故障检测方法中，大部分采用了点监控的策略，点监控就是在关键节点中布置监控点，并设置阈值，这样在出现故障或异常后，通过节点的告警信息即可进行故障的排查。微服务虽然也是分布式架构的一种，但是微服务架构中节点众多，链路复杂，容器启动销毁频繁，布置点监控成本过大，而且错误信息往往具有关联性，无法对关键故障服务准确定位。除了点监控，还有结合时间相关性与链路相关性对微服务系统进行全面监控、故障排查的面监控的方式。但是目前的面监控手段刚刚起步，仍然需要运维人员参与到分析过程中，自动化程度不足。现阶段面监控的主要方法是监控整个微服务架构，进行全链路分析。

基于机器学习技术的深度监控技术有望弥补传统检测方法的不足，准确定位发生故障的微服务为运维自动化的覆盖带来新的发展和突破。

发明内容

本发明提供一种基于微服务日志的软件故障检测方法，该方法确定发生故障的关键微服务，提供一个占用资源更少、故障检测效率更高的故障检测方案。

为了达到上述技术效果，本发明的技术方案如下：

一种基于微服务日志的软件故障检测方法，包括以下步骤：

S1：构建在线拓扑检测模型和机器学习模型；

S2：在线拓扑检测模型通过故障发生时的日志得到相关微服务拓扑结构，对路径中的关键节点的重要性排序，通过消息队列发送至机器学习模型；

S3：机器学习模型利用微服务历史故障日志，首先对故障类型进行标注，通过特征抽取和机器学习获得分类模型，并利用该模型按照拓扑检测模型得到的关键程度对故障微服务依次进行判别，当有微服务被判定为关键故障微服务，并且结果在置信度区间内，结束判别。

进一步地，在线拓扑检测模型获取微服务的异常日志，包括日志中的调用信息、状态码、错误类型、时间戳、实例数量；

根据所述链路图中各节点对应的出度与入度，实例的数量以及调用数据的数据量，对节点关键程度进行排名，确定更有可能是关键故障的微服务。

进一步地，所述在线拓扑检测模型的构建过程是：

度量每个微服务节点重要性通过，计算该节点的PageRank值NR，再通过加权介数计算该微服务节点关键程度NT，将NR与NT加权计算得到微服务节点的重要性NV，按照NV值从大到小对微服务节点重要性进行排序；

PageRank值计算公式如下：

计算某微服务i指向的微服务占其入度的分量之和，w(i)是该微服务节点的权值大小，具体通过该服务实例个数占总服务实例个数的比例计算而来；

微服务关键程度计算公式如下：

∑_j＜kg_ik(i)/g_jk表示第i个微服务的介数值，g_jk是微服务j，k之间所有的最短路径数目，而g_jk(i)是微服务j与k所有最短路径中经过微服务i的最短路径数目，w是该微服务节点的权值大小，具体通过该服务实例个数占总服务实例个数的比例计算而来；

NR与NT加权相加，得到的就是故障发生时，每个微服务节点的重要性度量值NV，加权公式如下：

NV＝αPR+βNT

α+β＝1。

进一步地，所述可能是关键故障的微服务按照重要性从高到低排序，作为一个消息队列发送至机器学习检测模型进行判别，该模型是一个单标签分类模型，在依次对微服务进行判别时，根据本次故障下该微服务日志中的告警信息，判断该服务是否为导致故障的根源服务。

进一步地，所述机器学习模型的构建过程是：

1)、抽取开发环境与生产环境下足够的故障样本，对于每次故障时的链路实例，将链路下涉及到的所有微服务标记其错误状态，也就是是否为本次故障下的根源故障微服务；

2)、对步骤一标注后的样本进行学习，首先进行特征提取，排除相关性过低的特征，再进行相关性分析，结合故障检测的具体场景，留下具有实际意义的特征，包括微服务下实例数量，当前实例存活时间，调用其他服务的返回状态，错误码，异常类型特征等作为模型的输入，利用机器学习技术对故障检测模型进行训练，将数据集按比例划为分训练样本与测试样本；

3)、对于判别没有得到关键故障微服务的记录，在人工判别后，累积至一定数量后对机器学习模型进行更新。

与现有技术相比，本发明技术方案的有益效果是：

本发明在故障检测流程中，首先通过拓扑检测模型对微服务关键程度进行排名，越关键的微服务越有可能是出现故障的微服务，减少盲目逐个微服务进行故障分析检测所带来的开销，随后通过模式匹配服务避免每次都进行机器学习而带来的故障检测效率低下，最后通过对日志文本特征的提取、降维、学习，构建了一个可以对微服务是否为故障服务进行分类的机器学习模型，提高了运维的自动化程度。

附图说明

图1为本发明方法流程图；

图2为故障检测系统结构示意图；

图3为服务交互图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，一种基于微服务日志的软件故障检测方法，包括以下步骤：

S1：构建在线拓扑检测模型和机器学习模型；

S2：在线拓扑检测模型通过故障发生时的日志得到相关微服务拓扑结构，对路径中的关键节点的重要性排序，通过消息队列发送至机器学习模型；

S3：机器学习模型利用微服务历史故障日志，首先对故障类型进行标注，通过特征抽取和机器学习获得分类模型，并利用该模型按照拓扑检测模型得到的关键程度对故障微服务依次进行判别，当有微服务被判定为关键故障微服务，并且结果在置信度区间内，结束判别。

在线拓扑检测模型获取微服务的异常日志，包括日志中的调用信息、状态码、错误类型、时间戳、实例数量；

根据所述链路图中各节点对应的出度与入度，实例的数量以及调用数据的数据量，对节点关键程度进行排名，确定更有可能是关键故障的微服务。

在线拓扑检测模型的构建过程是：

度量每个微服务节点重要性通过，计算该节点的PageRank值NR，再通过加权介数计算该微服务节点关键程度NT，将NR与NT加权计算得到微服务节点的重要性NV，按照NV值从大到小对微服务节点重要性进行排序；

PageRank值计算公式如下：

计算某微服务i指向的微服务占其入度的分量之和，w(i)是该微服务节点的权值大小，具体通过该服务实例个数占总服务实例个数的比例计算而来；

微服务关键程度计算公式如下：

∑_j＜kg_jk(i)/g_jk表示第i个微服务的介数值，g_jk是微服务j，k之间所有的最短路径数目，而g_jk(i)是微服务j与k所有最短路径中经过微服务i的最短路径数目，w是该微服务节点的权值大小，具体通过该服务实例个数占总服务实例个数的比例计算而来；

NR与NT加权相加，得到的就是故障发生时，每个微服务节点的重要性度量值NV，加权公式如下：

NV＝αPR+βNT

α+β＝1。

可能是关键故障的微服务按照重要性从高到低排序，作为一个消息队列发送至机器学习检测模型进行判别，该模型是一个单标签分类模型，在依次对微服务进行判别时，根据本次故障下该微服务日志中的告警信息，判断该服务是否为导致故障的根源服务。

机器学习模型的构建过程是：

1)、抽取开发环境与生产环境下足够的故障样本，对于每次故障时的链路实例，将链路下涉及到的所有微服务标记其错误状态，也就是是否为本次故障下的根源故障微服务；

2)、对步骤一标注后的样本进行学习，首先进行特征提取，排除相关性过低的特征，再进行相关性分析，结合故障检测的具体场景，留下具有实际意义的特征，包括微服务下实例数量，当前实例存活时间，调用其他服务的返回状态，错误码，异常类型特征等作为模型的输入，利用机器学习技术对故障检测模型进行训练，将数据集按比例划为分训练样本与测试样本；

3)、对于判别没有得到关键故障微服务的记录，在人工判别后，累积至一定数量后对机器学习模型进行更新。

模式匹配过程是：

模式库中存放故障链路信息，具体有故障链路中的根源故障微服务以及故障链路关键程度排名的MD5码，消息队列中存放的关键链路会优先在模式库中进行匹配，匹配成功后就可以直接得到根源故障服务。

模式的来源主要通过两个途径：

1.通过机器学习模型判断后并定位的故障，直接加入至模式库；

2.人工排查的故障，通过接口手动加入至模式库。

在模式库中还要分为正常模式库与故障模式库，每次经过机器学习模型的检测与人工干预后的服务，若判定为正常就存储在正常模式库中，否则存储在异常模式库中。

模式匹配模式库采用Redis进行搭建，每个故障模式通过键值对<故障指纹，生命周期>的形式存储在Redis中。因为内存的限制，需要模式识别系统也需要对已存储的模式进行淘汰，这样才能未知故障发生时提供空间对其模式进行存储。因此需要另一个键值对<故障指纹，最近调用时间>来匹配淘汰策略，所以模式库中除了数据指纹，也需要对每个故障最后出现的时间进行记录。

对于模式匹配失败的故障链路，通过机器学习对各个节点进行检测，确定故障根源，并为机器学习检测设置置信区间，如果检测结果在置信区间内，将已定位的故障告警通知运维人员，否则提交人工进行人工检测，并将检测结果更新至模式库。而模式库中的内容也需要定期发送至机器学习模型，进行模型的升级。

机器学习模块处理：

对于模式匹配失败的关键链路，交由机器学习模型对消息队列中的每个微服务进行分类，分类结果为异常，说明该微服务为根源故障服务，分类结果为正常，说明该微服务是由于其他微服务故障而导致的连锁故障。

具体机器学习模型的选择如下：

故障检测的主要场景是检测产生告警信息的根源微服务节点，当告警发生时日志文本中的每一条故障信息都可以是我们诊断的标准，我们抓取告警发生时第一条故障信息，并通过特征提取将其数值化。采用TF-IDF的特征提取方法对日志文本进行特征提取。K-means算法对特征进行降维，采用随机森林算法对微服务进行分类。

如图2所示，故障微服务定位方法包括告警预处理、模式识别、机器学习判别三个微服务。每个服务通过docker进行打包为镜像，最后在rancher环境微服务架构云平台中，通过rancher将docker镜像部署在云平台中，并通过RancherUI，将容器内的服务端口向外暴露，对微服务架构下的故障进行检测。

当一次故障发生时，各服务之间的交互可以如图3所示。

告警预处理服务：

首先当告警发生后，系统立即响应开始对告警进行预处理根据日志文本中traceID，得到告警相关链路，生成有向链路图。

服务通过获取微服务的异常日志，包括日志中的调用信息，状态码，错误类型，时间戳，实例数量，首先通过调用关系生成对应异常拓扑链路图，其中各节点表示关联所述关联微服务，边表示各微服务间的消息传递。然后在对链路图中微服务重要性从高到低排序后，将结果发送至消息队列。

模式匹配微服务：

消息队列中的微服务发送至模式匹配服务，由模式匹配服务在redis中进行匹配，对于匹配成功的故障模式，就可以直接对故障服务进行定位，匹配失败的再通过机器学习模型或者人工干预进行检测。

对于模式匹配失败的故障链路，通过机器学习对各个节点进行检测，确定故障根源，并为机器学习检测设置置信区间，如果检测结果在置信区间内，将已定位的故障告警通知运维人员，否则提交人工进行人工检测，并将检测结果更新至模式库。而模式库中的内容也需要定期发送至机器学习模型，进行模型的升级。

对于未知故障，如果最终结果无法通过机器学习完成故障的定位，则需要人工干预判别，并加入至缓存库内，定期提供给机器学习模型进行更新。

模式的来源主要通过两个途径：

1.通过机器学习模型判断后并定位的故障，直接加入至模式库；

2.人工排查的故障，通过接口手动加入至模式库。

在模式库中还要分为正常模式库与故障模式库，每次经过机器学习模型的检测与人工干预后的服务，若判定为正常就存储在正常模式库中，否则存储在异常模式库中。

模式匹配模式库采用Redis进行搭建，每个故障模式通过键值对<故障指纹，生命周期>的形式存储在Redis中。

机器学习判别服务：

机器学习判别模型使用了TF-IDF对特征进行提取，随后采用K-MEANS聚类算法对特征进行降维，最后采用随机森林算法对故障微服务进行分类，如果判别某服务为关键故障微服务则结束判定，否则继续对其它节点进行判定。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于微服务日志的软件故障检测方法，其特征在于，包括以下步骤：

S1：构建在线拓扑检测模型和机器学习模型；

S2：在线拓扑检测模型通过故障发生时的日志得到相关微服务拓扑结构，对路径中的关键节点的重要性排序，通过消息队列发送至机器学习模型；

在线拓扑检测模型获取微服务的异常日志，包括日志中的调用信息、状态码、错误类型、时间戳、实例数量；

所述在线拓扑检测模型的构建过程是：

度量每个微服务节点重要性通过，计算该节点的PageRank值NR，再通过加权介数计算该微服务节点关键程度NT，将NR与NT加权计算得到微服务节点的重要性NV，按照NV值从大到小对微服务节点重要性进行排序；

PageRank值计算公式如下：

计算某微服务i指向的微服务占其入度的分量之和，w(i)是该微服务节点的权值大小，具体通过服务实例个数占总服务实例个数的比例计算而来；

微服务关键程度计算公式如下：

∑_j＜kg_jk(i)/g_jk表示第i个微服务的介数值，g_jk是微服务j，k之间所有的最短路径数目，而g_jk(i)是微服务j与k所有最短路径中经过微服务i的最短路径数目，w是该微服务节点的权值大小，具体通过该服务实例个数占总服务实例个数的比例计算而来；

NR与NT加权相加，得到的就是故障发生时，每个微服务节点的重要性度量值NV，加权公式如下：

NV＝αPR+βNT

α+β＝1；

根据所述微服务拓扑结构中各节点对应的出度与入度，实例的数量以及调用数据的数据量，对节点关键程度进行排名，确定更有可能是关键故障的微服务；

S3：机器学习模型利用微服务历史故障日志，首先对故障类型进行标注，通过特征抽取和机器学习获得分类模型，并利用该模型按照拓扑检测模型得到的关键程度对故障微服务依次进行判别，当有微服务被判定为关键故障微服务，并且结果在置信度区间内，结束判别。

2.根据权利要求1所述的基于微服务日志的软件故障检测方法，其特征在于，所述可能是关键故障的微服务按照重要性从高到低排序，作为一个消息队列发送至机器学习检测模型进行判别，该模型是一个单标签分类模型，在依次对微服务进行判别时，根据本次故障下该微服务日志中的告警信息，判断该服务是否为导致故障的根源服务。

3.根据权利要求2所述的基于微服务日志的软件故障检测方法，其特征在于，所述机器学习模型的构建过程是：

1)、抽取开发环境与生产环境下足够的故障样本，对于每次故障时的链路实例，将链路下涉及到的所有微服务标记其错误状态，也就是是否为本次故障下的根源故障微服务；

2)、对步骤一标注后的样本进行学习，首先进行特征提取，排除相关性过低的特征，再进行相关性分析，结合故障检测的具体场景，留下具有实际意义的特征，包括微服务下实例数量，当前实例存活时间，调用其他服务的返回状态、错误码、异常类型特征作为模型的输入，利用机器学习技术对故障检测模型进行训练，将数据集按比例划为分训练样本与测试样本；

3)、对于判别没有得到关键故障微服务的记录，在人工判别后，累积至一定数量后对机器学习模型进行更新。

Images