CN111181785B - 基于反馈式链路的监控方法和装置 - Google Patents

Abstract

本发明公开了一种基于反馈式链路的监控方法和装置，该监控方法包括：服务端从客户端收集的监控信息中提取出错误描述；根据所述错误描述依次进行错误归类和过滤；将过滤后的错误描述反馈给业务方进行分析处理。本发明的目的至少在于，能够快速定位故障且显著提高故障的修复速度。

Description

基于反馈式链路的监控方法和装置

技术领域

本发明涉及互联网技术领域，具体来说，涉及一种基于反馈式链路的监控方法和装置。

背景技术

现在越来越多的应用迁移到基于微服务的云原生架构之上，而在微服务系统中，随着业务的发展，系统会变得越来越大，那么各个服务之间的调用关系也就变得越来越复杂。一个服务请求会调用多个不同的微服务来处理返回最后的结果，在这个调用过程中，可能会因为某个服务出现网络延迟过高或发送错误导致请求失败，这时通过查看应用日志来进行错误分析就会非常耗时并难以快速定位故障。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题。全链路监控组件就在这样的问题背景下产生了。最出名的是谷歌公开的论文提到的Google Dapper。想要在这个上下文中理解分布式系统的行为，就需要监控那些横跨了不同的应用、不同的服务器之间的关联动作。

全链路性能监控从整体维度到局部维度展示各项指标，将跨应用的所有调用链性能信息集中展现，可方便度量整体和局部性能，并且方便找到故障产生的源头，生产上可极大缩短故障排除时间。这里的故障是指影响到程序正常提供服务的错误，包括程序运行时异常，系统错误等。随着微服务架构的不断发展，当应用集群生产运行期间出现大量错误，需要快速定位错误时，通过原来的类/方法进行错误分类时，运维人员、非原始代码开发人员很难判断原因，这个时候，通过在监控服务端维护一个类似字典树的错误模板库，来动态模糊匹配并归类客户端上送的错误描述，匹配到类似错误之后，可以快速查看历史错误的原因和解决方案，帮助业务方快速定位解决错误。并且在模板库的基础上提供了错误分类，错误过滤，错误告警等一系列功能。同时也增强了和业务方的联动，通过服务端自动生成的错误报告，推动业务方优化系统并提升系统可靠性。

但是，现有的监控系统存在以下问题：

错误多，根据类方法进行分类，无法快速识别问题原因，导致效率低，无法快速定位问题；由于监控系统只能获取到类/方法进行错误分类，只有一个类名或方法名作为样例，导致运维或非原开发人员无法快速确认错误原因，并且可能会捕获大量无关异常，加大识别问题原因难度，降低排查效率低，无法快速定位问题；

对线上错误描述进行归类时，因遇到同一错误如动态打印问题，且无法预先判定原系统包含的动态变量错误有哪些，无法提前设定及自动归类；监控系统在监控时往往由于一个异常的动态打印问题，将同类相似异常识别为两个甚至多个不同的错误类，也无法支持动态配置异常分析归类模板，这就导致业务方查看时，可以看到大量类似错误的存在，影响业务方的排查效率；同样的，也就无法准确的对特定异常告警；

现有的分布式链路监控无法区分业务异常和系统异常，大量错误堆积在一起，形成干扰因素；现有的分布式链路监控无法区分一个错误是业务自定义错误还是系统错误，当业务方需要排查故障时，大量的业务错误和系统异常混杂在一起，十分影响业务方排障的速度；

线上错误无法与业务方的问题反馈进行关联，只能通过文档检索和个人记忆；由于线上错误无法和业务方的问题反馈进行关联，导致相同错误被反复捕获，当业务方需要排查问题是，每次都要靠记忆、依靠本地归类的错误文档或者从头开始分析，对业务方排查问题不够友好。也不利于业务方快速定位解决问题。

发明内容

针对相关技术中的上述问题，本发明提出一种基于反馈式链路的监控方法和装置，至少能够快速定位故障且显著提高故障的修复速度。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种基于反馈式链路的监控方法，包括：

服务端从客户端收集的监控信息中提取出错误描述；

根据错误描述依次进行错误归类和过滤；

将过滤后的错误描述反馈给业务方进行分析处理。

根据本发明的实施例，进行错误归类，包括：建立用于表示多个错误种类的多个错误模板，多个错误模板分别与不同的错误描述相关联；对提取出的错误描述与多个错误模版进行匹配；如果提取出的错误描述与多个错误模板中的一个错误模板匹配成功，则将提取出的错误描述归类为一个错误模板所表示的错误种类。

根据本发明的实施例，进行错误归类，还包括：如果未归类到多个错误模板中的任意一个模板，则将提取出的错误描述在未匹配错误模板库中进行模糊归类，并且根据提取出的错误描述更新未匹配错误模板库。

根据本发明的实施例，进行过滤包括：对信息级别的错误进行忽略；对警告级别的错误进行继续跟踪；对错误级别的错误进行检查处理。

根据本发明的实施例，基于反馈式链路的监控方法还包括：服务端生成线上问题报告推送给业务方分析处理；服务端通过线上问题分析处理结果生成或更新错误模板到错误模板库。

根据本发明的实施例，还提供了一种基于反馈式链路的监控装置，包括：提取模块，用于从客户端收集的监控信息中提取出错误描述；归类过滤模块，用于根据错误描述依次进行错误归类和过滤；反馈模块，用于将过滤后的错误描述反馈给业务方以进行分析处理。

根据本发明的实施例，归类过滤模块，包括：模版库子模块，用于建立用于表示多个错误种类的多个错误模板，多个错误模板分别与不同的错误描述相关联；匹配子模块，用于对提取出的错误描述与多个错误模版进行匹配；归类子模块，如果提取出的错误描述与多个错误模板中的一个错误模板匹配成功，则归类子模块用于将提取出的错误描述归类为一个错误模板所表示的错误种类。

根据本发明的实施例，归类子模块还用于：如果未归类到多个错误模板中的任意一个模板，则将提取出的错误描述在未匹配错误模板库中进行模糊归类，并且根据提取出的错误描述更新未匹配错误模板库。

根据本发明的实施例，归类过滤模块还用于：对信息级别的错误进行忽略；对警告级别的错误进行继续跟踪；对错误级别的错误进行检查处理。

根据本发明的实施例，基于反馈式链路的监控装置还包括：报告模块，用于生成线上问题报告推送给业务方分析处理；更新模块，用于通过线上问题分析处理结果生成或更新错误模板到错误模板库。

本发明的有益技术效果在于：

更快速的线上故障定位：与其他监控系统相比，本发明直接以错误描述归类，而非原来的类/方法进行错误分类，将错误进一步细化，降低了业务方运维人员、非原始代码开发人员的排查难度，并通过错误过滤功能，排除了大量可忽略异常，而且还可以通过配置关键字和阈值来主动告警，使得业务方可以更加快速的发现、排查并修复故障。

不需要业务方代码变更(即可实现错误归类，错误告警)：由于是在监控服务端维护的错误模板库，想要过滤非重要业务异常，系统异常告警都可以直接在服务端配置来实时生效，所以无需业务方对代码进行变更，减少了对业务方的代码入侵和业务端的性能损耗。

线上错误反馈，在线分析，跟踪等，来推动应用线上质量的优化：本发明加强了和业务方的联动，通过定时生成异常分析列表，异常跟踪报表，来跟踪应用异常的变化，通过业务方主动分析异常情况并修复，一次次迭代异常模板库，使异常分析功能更加符合也业务方所需，并起到推动业务主动提升应用线上质量的效果。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例的基于反馈式链路的监控方法的流程图；

图2是根据本发明另一个实施例的基于反馈式链路的监控方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明实施例的基于反馈式链路的监控方法的流程图。参考图1所示，本发明的基于反馈式链路的监控方法可以包括以下步骤：

S12，服务端从客户端收集的监控信息中提取出错误描述；

S14，根据所述错误描述依次进行错误归类和过滤；

S16，将过滤后的错误描述反馈给业务方进行分析处理。

本发明的上述技术方案，与现有的监控系统相比，直接以错误描述进行归类和过滤，能够快速定位故障且显著提高故障的修复速度，使得业务方可以更加快速的发现、排查并修复故障。

以下结合图2所示，对本发明的监控方法进行具体说明。如图2所示，服务端12对客户端11的错误日志111收集的监控信息进行提取、并经过解析121得到错误描述信息，将错误按错误描述进行归类122，再将归类后的错误进行分级过滤123，最后反馈给业务方进行分析处理，分析处理结果会迭代记录。这样，出现分析过问题的定位、解决时间将大大缩短，分析处理结果补充完善错误自动归类和分级过滤，如此循环，整个体系越来越丰富越来越健壮，被监控的业务系统可靠性、稳定性也将得到显著提升。

如图2中122处所示错误自动归类：监控系统客户端实时收集应用的运行信息、日志等上送到服务端，服务端接收后通过特定特征识别出这些运行信息、日志中包含的错误信息，将这些错误信息提取出来进行分析处理。

可以通过人为制造、收集大量的错误信息，再对错误信息的内容分析类比提炼出共同点，从而研制出对应算法将错误信息中包含的错误描述(错误信息中包含的错误原因等关键信息)提取出来，同时保证较高的性能。根据本发明的实施例，可以建立一套错误模板体系来实现把相同或相似的错误描述进行合并归类。具体的，错误模板体系包括一个字典树状的错误模板库，该错误模板库由多个错误模板组成，每一个错误模板都可以是一类错误的错误描述的变量化抽象结果。在一个实施例中，可以先将错误描述标准化再进行合理分词，然后到错误模板库中匹配错误模板，匹配到模板的错误即为该模板代表的错误种类，未匹配到模板的错误描述将通过自制对应算法计算的得分结果从未匹配错误库中进行模糊归类，同时动态更新未匹配错误库。本发明通过上述方法将相同或类似的错误自动归类，用归类后的错误描述代替这个错误显示，而不是现有的同类型监控系统使用的类方法名代替显示，错误描述代替错误显示明显比类方法名代替显示更加能直观、清晰的体现被监控系统存在的问题。

如图2所示，在错误分级过滤的步骤123中，服务端动态维护的错误模板库中的错误模板是通过将错误描述按照一定的规则进行变量化抽象后的结果，每个模板都有错误等级、备注描述、得分、告警阈值等属性，其中错误等级属性作为错误分级过滤的依据。

错误模板的错误等级包括：信息(info)级别124、警告(warning)级别125、错误(error)级别126三个级别。Info级别124的错误即可忽略的错误，例如用户登录时产生的“用户名或密码错误”，一般是一些对被监控系统本身运行及业务服务提供无关的错误，此类错误我们会在后台过滤，不在页面显示。warning级别125的错误，这类错误对被监控系统本身及业务服务提供的影响不大，但是当出现次数较频繁时可能会产生不可忽略的影响，所以对此类错误不会过滤并继续进行跟踪。error级别126的错误，这类错误可能会对被监控系统本身运行或业务服务的提供产生明显影响，此类错误不会被过滤，需要被监控系统的开发人员检查处理。

自动归类后的错误可以分为两类，一类是匹配到错误模板的错误，这类错误的错误等级与对应错误模板的错误等级一致，为info级别124时将被过滤，另一类是未匹配到错误模板的错误，这类错误默认标为error级别126，不会过滤，需要业务方确认分析。

如图2中13处所示的线上问题反馈跟踪及业务方分析步骤：新的一周的开始，服务端会统计分析各个被监控业务系统上周产生的错误，将未被业务方分析的error级别的错误进行整理，自动生成线上质量周报，并在周一定时以邮件方式把上周出现的新问题推送给对应业务方，提醒业务方到监控平台上手动分析处理这些新问题。

线上问题分析内容可以包括：错误等级的确认、产生原因、解决方案、配置告警等，监控服务端会通过分析结果自动生成或更新错误模板到错误模板库。应用负责人通过错误描述及详细的堆栈信息等来评估该错误的等级和填写产生原因，等级同样包括info，warning、error，评估的等级会同步到错误模板的错误等级属性；错误产生原因的填写便于后续应用系统的维护；当错误等级被评为error时，应用方还应该给出错误的解决方案，便于后续遇到相同错误时用最短时间来解决问题。业务方也可以配置告警，当该错误发生的条件达到业务方配置的告警条件时，监控服务端会通过例如钉钉或邮件将错误描述、发生原因甚至解决方案参考发送给业务方，协助问题的排查及解决。

通过业务方对线上问题的分析，监控服务端的错误模板库逐步壮大，错误自动归类和分级过滤的准确性也逐步提升。线上问题分析的结果长久保存在监控服务端，可以协助被监控系统排查、解决线上问题，长此以往，被监控系统的线上问题将越来越少，稳定性、可靠性也将越来越高。

综上所述，本发明的上述技术方案与其他监控系统相比，本发明直接以错误描述归类，而非原来的类/方法进行错误分类，将错误进一步细化，降低了业务方运维人员、非原始代码开发人员的排查难度，并通过错误过滤功能，排除了大量可忽略异常，而且还可以通过配置关键字和阈值来主动告警，使得业务方可以更加快速的发现、排查并修复故障。

由于是在监控服务端维护的错误模板库，想要过滤非重要业务异常，系统异常告警都可以直接在服务端配置来实时生效，所以无需业务方对代码进行变更，减少了对业务方的代码入侵和业务端的性能损耗。

加强了和业务方的联动，通过定时生成异常分析列表，异常跟踪报表，来跟踪应用异常的变化，通过业务方主动分析异常情况并修复，一次次迭代异常模板库，使异常分析功能更加符合也业务方所需，并起到推动业务主动提升应用线上质量的效果。

根据本发明的实施例，还提供一种基于反馈式链路的监控装置，包括以下模块：

提取模块，用于从客户端收集的监控信息中提取出错误描述；

归类过滤模块，用于根据错误描述依次进行错误归类和过滤；

反馈模块，用于将过滤后的错误描述反馈给业务方以进行分析处理。

在一个实施例中，归类过滤模块，包括：模版库子模块，用于建立用于表示多个错误种类的多个错误模板，多个错误模板分别与不同的错误描述相关联；匹配子模块，用于对提取出的错误描述与多个错误模版进行匹配；归类子模块，如果提取出的错误描述与多个错误模板中的一个错误模板匹配成功，则归类子模块用于将提取出的错误描述归类为一个错误模板所表示的错误种类。

在一个实施例中，归类子模块还用于：如果未归类到多个错误模板中的任意一个模板，则将提取出的错误描述在未匹配错误模板库中进行模糊归类，并且根据提取出的错误描述更新未匹配错误模板库。

在一个实施例中，归类过滤模块还用于：对信息级别的错误进行忽略；对警告级别的错误进行继续跟踪；对错误级别的错误进行检查处理。

在一个实施例中，基于反馈式链路的监控装置还包括：报告模块，用于生成线上问题报告推送给业务方分析处理；更新模块，用于通过线上问题分析处理结果生成或更新错误模板到错误模板库。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于反馈式链路的监控方法，其特征在于，包括：

服务端从客户端收集的监控信息中提取出不是类方法名的错误描述，所述错误描述包括错误原因；

根据所述错误描述依次进行错误归类和过滤，其中，对相同的所述错误原因进行所述错误归类，并用所述错误归类后的不是类方法名的所述错误描述代替错误显示，其中，进行所述错误归类包括利用含有错误等级的错误模板来进行所述错误归类，所述错误等级包括信息级别、警告级别以及错误级别，所述错误等级作为所述过滤的依据，其中，进行所述错误归类包括：

建立用于表示多个错误种类的多个所述错误模板，所述多个错误模板分别与不同的错误描述相关联，并且所述多个错误模板组成字典树状的错误模板库，之后对所述提取出的所述错误描述进行标准化和分词后与所述多个错误模版进行匹配，如果所述提取出的所述错误描述与所述多个错误模板中的一个错误模板匹配成功，则将所述提取出的所述错误描述归类为所述一个错误模板所表示的错误种类，将未匹配到任何一个所述错误模板的错误描述定义为错误级别的错误描述；

将过滤后的所述错误级别的错误描述反馈给业务方进行分析处理，其中，所述未匹配到错误模板的错误描述经分析处理后生成或者更新错误模板到所述错误模板库，所述分析处理还包括业务方定义所述错误描述的后续行为，包括配置告警条件通过告警通道进行告警。

2.根据权利要求1所述的基于反馈式链路的监控方法，其特征在于，进行所述错误归类，还包括：

如果未归类到所述多个错误模板中的任意一个模板，则将所述提取出的所述错误描述在未匹配错误模板库中进行模糊归类，并且根据所述提取出的所述错误描述更新所述未匹配错误模板库。

3.根据权利要求1所述的基于反馈式链路的监控方法，其特征在于，进行所述过滤包括：

对信息级别的错误进行忽略；

对警告级别的错误进行继续跟踪；

对错误级别的错误进行检查处理。

4.根据权利要求1所述的基于反馈式链路的监控方法，其特征在于，还包括：

所述服务端生成线上问题报告推送给业务方分析处理；

所述服务端通过所述线上问题分析处理结果生成或更新错误模板到错误模板库。

5.一种基于反馈式链路的监控装置，其特征在于，包括：

提取模块，用于从客户端收集的监控信息中提取出不是类方法名的错误描述，所述错误描述包括错误原因；

归类过滤模块，用于根据所述错误描述依次进行错误归类和过滤，其中，所述错误归类包括对相同的所述错误原因进行错误归类，并用所述错误归类后的不是类方法名的所述错误描述代替错误显示，其中，所述错误归类包括利用含有错误等级的错误模板来进行所述错误归类，所述错误等级包括信息级别、警告级别以及错误级别，所述错误等级作为所述过滤的依据，

其中，归类过滤模块包括模版库子模块、匹配子模块和归类子模块，所述模版库子模块用于建立用于表示多个错误种类的多个错误模板，所述多个错误模板分别与不同的错误描述相关联，并且所述多个错误模板组成字典树状的错误模板库，所述匹配子模块用于对所述提取出的所述错误描述进行标准化和分词后与所述多个错误模版进行匹配，如果所述提取出的所述错误描述与所述多个错误模板中的一个错误模板匹配成功，则所述归类子模块用于将所述提取出的所述错误描述归类为所述一个错误模板所表示的错误种类，将未匹配到任何一个所述错误模板的错误描述定义为错误级别的错误描述；

反馈模块，用于将过滤后的所述错误级别的错误描述反馈给业务方以进行分析处理，其中，所述未匹配到错误模板的错误描述经分析处理后生成或者更新错误模板到所述错误模板库，所述分析处理还包括业务方定义所述错误描述的后续行为，包括配置告警条件通过告警通道进行告警。

6.根据权利要求5所述的基于反馈式链路的监控装置，其特征在于，所述归类子模块还用于：

如果未归类到所述多个错误模板中的任意一个模板，则将所述提取出的所述错误描述在未匹配错误模板库中进行模糊归类，并且根据所述提取出的所述错误描述更新所述未匹配错误模板库。

7.根据权利要求5所述的基于反馈式链路的监控装置，其特征在于，所述归类过滤模块还用于：

对信息级别的错误进行忽略；

对警告级别的错误进行继续跟踪；

对错误级别的错误进行检查处理。

8.根据权利要求5所述的基于反馈式链路的监控装置，其特征在于，还包括：

报告模块，用于生成线上问题报告推送给业务方分析处理；

更新模块，用于通过所述线上问题分析处理结果生成或更新错误模板到错误模板库。

Images