CN108509313B

CN108509313B - 一种业务监控方法、平台及存储介质

Info

Publication number: CN108509313B
Application number: CN201810247620.3A
Authority: CN
Inventors: 王文武; 谭仕朝
Original assignee: Shenzhen Lexin Software Technology Co Ltd
Current assignee: Shenzhen Lexin Software Technology Co Ltd
Priority date: 2018-03-23
Filing date: 2018-03-23
Publication date: 2021-03-19
Anticipated expiration: 2038-03-23
Also published as: CN108509313A

Abstract

本发明实施例公开了一种业务监控方法、平台及存储介质。该方法包括：从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识；根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。通过采用本发明实施例所提供的技术方案，解决了现有技术中对于业务监控的监控结果不够详细，且调用数据很难成大规模查看的问题，可以实现对系统之间的接口调用业务监控结果更加详细、全面的效果。

Description

一种业务监控方法、平台及存储介质

技术领域

本发明实施例涉及业务监控技术领域，尤其涉及一种业务监控方法、平台及存储介质。

背景技术

系统间应用接口远程调用时，会出现各种原因导致的业务无法继续进行的报错情况的产生。目前，各业务默认通过RPC(Remote Procedure Call，远程过程调用)框架接入监控系统，监控系统分析应用接口调用成功率，如果达不到预期值则告警。

然而监控系统并不能够针对各种调用错误类型进行分类汇总，并且监控系统不能够进行大量的数据存储，无法为用户显示以往较长时间的数据统计结果。

发明内容

本发明实施例提供一种业务监控方法、平台及存储介质，可以实现对系统之间的接口调用业务监控结果更加详细、全面的效果。

第一方面，本发明实施例提供了一种业务监控方法，该方法包括：

从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识；

根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。

进一步的，所述调用结果类型包括：调用成功类型、系统错误类型、业务错误类型以及正常拦截类型；

相应的，所述调用结果特定标识至少包括：业务系统字段和调用结果字段，其中，所述调用结果字段包括调用成功字段、系统错误字段、业务错误字段或正常拦截字段。

进一步的，在根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据之后，所述方法还包括：

根据所述分类结果和所述历史调用数据生成接口调用数据报表；

将所述接口调用数据报表上传至轻量级分布式文件系统。

响应于接口组合监控请求，对所述分类结果和所述历史调用数据进行组合分析，以得到接口组合数据报表；

将所述接口组合数据报表上传至轻量级分布式文件系统。

进一步的，在将所述接口调用数据报表或接口组合数据报表上传至轻量级分布式文件系统之后，所述方法还包括：

根据用户的查看请求，依据接口调用数据报表或接口组合数据报表生成适应于所述查看请求的多维度调用数据报表；

应用所述多维度调用数据报表，根据预设消息推送条件，对目标地址进行消息推送。

第二方面，本发明实施例还提供了一种业务监控平台，该平台包括：

调用数据获取模块，用于从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识；

调用数据处理模块，用于根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。

进一步的，所述平台还包括：

数据报表生成模块，用于根据所述分类结果和所述历史调用数据生成接口调用数据报表；

数据报表上传模块，用于将所述接口调用数据报表上传至轻量级分布式文件系统。

进一步的，还包括接口组合监控请求，具体用于：

将所述接口组合数据报表上传至轻量级分布式文件系统。

进一步的，还包括多维度调用数据报表使用模块，具体用于：

第三方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本实施例所提供的业务监控方法。

本发明实施例所提供的业务监控方法，通过从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识；根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据，解决了现有技术中对于业务监控的监控结果不够详细，且调用数据很难成大规模查看的问题，可以实现对系统之间的接口调用业务监控结果更加详细、全面的效果。

附图说明

图1是本发明实施例一提供的业务监控方法的流程图；

图2是本发明实施例二提供的业务监控方法的流程图；

图3是本发明实施例三提供的业务监控平台的结构示意图；

图4是本发明优选实施例所提供的数据结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的业务监控方法的流程图，本实施例可适用业务监控的情况，该方法可以由本发明实施例所提供的业务监控平台来执行，该平台可以由软件和/或硬件的方式来实现，并可集成于服务器、智能终端中。

如图1所示，所述业务监控方法包括：

S110、从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识。

其中，可以是在A应用程序和B应用程序发生接口调用时，通过RPC框架对接口调用的原始数据进行收集，汇入到消息队列后，上报给大数据组，大数据组再对数据进行筛选和实时计算，进行数据统计和分析，将数据进行入库处理，就得到了原始数据库。其中，大数据组可以是对数据进行简单的统计，如对每个接口的调用次数、成功次数和失败次数进行统计，并将统计结果进行分类入库处理。

值得说明的是，本实施例可以不依赖于RPC框架接口进行原始数据的收集，甚至发生调用的两个接口可以是在同一系统当中的两个应用程序或者同一应用程序中两个负责不同业务功能的数据接口，本方案对此不作具体限定。

业务监控平台所获取的调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识。示例性的，可以以一串代码来表示一个接口的调用数据，则可以在代码的固定字段用来表示对应的调用结果类型，如用一个十位数字的代码表示该接口的调用数据，其中前三位可以是调用关系，中间四位可以表示调用结果类型，后面的三位可以表示其他调用数据信息。

在本实施例中，可选的，所述调用结果类型包括：调用成功类型、系统错误类型、业务错误类型以及正常拦截类型；相应的，所述调用结果特定标识至少包括：业务系统字段和调用结果字段，其中，所述调用结果字段包括调用成功字段、系统错误字段、业务错误字段或正常拦截字段。其中，系统错误类型可以是如底层框架超过负载等系统级的调用错误，业务错误类型可以是业务中的步骤的跳转出现了空指针等，正常拦截错误类型可以是用户在输入过程中不能够正确的输入的密码或者验证码等情形。其中，每种类型可以以不同种类的编码来表示，在接口调用发生错误时，被一并存储在调用数据当中。这样设置的好处是当工作人员得到调用数据的告警信息时，可以根据调用数据中的调用结果特定标识确定当前出现调用成功率上升或者下降的原因，有利于辅助工作人员确定问题出现的原因，和针对问题进行维护的方法。

S120、根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。

其中，可以按照调用成功类型、系统错误类型、业务错误类型以及正常拦截类型四种类型进行分类，还可以按照其他维度的类型进行分类，可以是将按照这四种类型进行分类设置为默认方式，如果用户需要对其进行改进，则可以进行更改。

其中可以由业务监控平台提供一个独立的空间用于对调用数据进行分类和缓存，这样，可以增加调用数据的存储时间，如，原本调用数据的信息存储最多仅为三天，这样可以将其时间增加到十四天甚至更长，这样用户就可以查看以往七天、十四天甚至更长时间的数据对比结果，有利于为用户提供全面的数据进行分析。

在本实施例中，可选的，在根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据之后，所述方法还包括：根据所述分类结果和所述历史调用数据生成接口调用数据报表；将所述接口调用数据报表上传至轻量级分布式文件系统。其中，接口调用数据报表可以针对每一个接口来生成，当用户想查看那个接口的数据调用情况时，则选择或者输入该接口名称或者代码，就可以查看对应于该接口的接口调用数据报表。这样设置的好处是可以便于用户对于每一个数据接口进行业务调用情况的查看。将所述接口调用数据报表上传至轻量级分布式文件系统，具体的，可以是在对调用数据进行读取后，按应用接口维度再细分粒度去统计分析，整理后的接口调用数据报表生成HTML文件并上传至FastDFS(轻量级分布式文件系统)。这样设置的好处是有利于数据的分类存储和查看。

实施例二

图2是本发明实施例二提供的业务监控方法的流程图。本实施例在上述实施例的基础上，在根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据之后，所述方法还包括：响应于接口组合监控请求，对所述分类结果和所述历史调用数据进行组合分析，以得到接口组合数据报表；将所述接口组合数据报表上传至轻量级分布式文件系统。

如图2所示，所述业务监控方法包括：

S210、从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识。

S220、根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。

S230、响应于接口组合监控请求，对所述分类结果和所述历史调用数据进行组合分析，以得到接口组合数据报表。

其中，接口组合监控请求可以是用户通过前端发出的，组合方式可以是针对于某个应用程序的多个接口的方式，如一个淘宝应用程序可以包括十个接口，则如果用户想要查看淘宝应用程序的调用情况时，则可以将其所对应的接口进行组合监控，即在对调用数据进行分类缓存后，针对于用户关注的应用程序进行数据组合分析，为用户呈现组合后的接口组合数据报表。

S240、将所述接口组合数据报表上传至轻量级分布式文件系统。

相应的，将接口组合数据报表上传至轻量级分布式文件系统，以便于工作人员的查看和数据统计分析。

本实施例在上述实施例的基础上，提供了一种根据用户需求，对接口组合监控的技术方案，可以实现以不同的维度对接口的调用情况进行数据统计，为用户提供更加全面的数据分析基础。

在上述各技术方案的基础上，在将所述接口调用数据报表或接口组合数据报表上传至轻量级分布式文件系统之后，所述方法还包括：根据用户的查看请求，依据接口调用数据报表或接口组合数据报表生成适应于所述查看请求的多维度调用数据报表；应用所述多维度调用数据报表，根据预设消息推送条件，对目标地址进行消息推送。

其中，多维度调用数据报表可以包括时间维度、接口维度、应用维度甚至其他形式的各种维度，可以根据用户的选择来确定，如根据用户的需求，将以往一天内的数据进行分析，生成相应的数据报表。用户的查看请求可以通过前端来获取。

在得到多维度数据报表之后，可以根据预设的消息推送条件，如接口调用成功率低于预设值，或者是每天的固定时间，对目标地址进行消息推送，目标地址可以是用户的数据监控邮箱，也可以是通过编辑短信、彩信以及通过微信等通讯软件等形式进行消息推送。

这样设置的好处是可以为用户提供适应于自己的使用需求的、全面的、实时的数据进行分析，可以更加针对每种类型的应用程序进行更加准确的方式进行监控，提高用户的工作效率。

实施例三

图3是本发明实施例三提供的业务监控平台的结构示意图。如图3所示，所述业务监控平台，包括：

调用数据获取模块310，用于从调用数据的原始数据库中获取调用数据，其中，所述调用数据包括调用结果特定标识，所述调用结果特定标识用于对调用结果类型进行标识；

调用数据处理模块320，用于根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据。

在上述各技术方案的基础上，可选的，所述调用结果类型包括：调用成功类型、系统错误类型、业务错误类型以及正常拦截类型；

在上述各技术方案的基础上，可选的，所述平台还包括：

在上述各技术方案的基础上，可选的，还包括接口组合监控请求，具体用于：

将所述接口组合数据报表上传至轻量级分布式文件系统。

在上述各技术方案的基础上，可选的，还包括多维度调用数据报表使用模块，具体用于：

上述业务监控平台可执行本发明任意实施例所提供的业务监控方法，具备执行业务监控方法相应的功能模块和有益效果。

实施例四

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种业务监控方法，该方法包括：

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的业务监控的操作，还可以执行本发明任意实施例所提供的业务监控方法中的相关操作。

优选实施例

为了能够让本领域技术人员更加清晰的把握本发明实施例的内容，本发明还提供了一种优选实施例。

图4是本发明优选实施例所提供的数据结构示意图。如图4所示：

数据采集层：接口调用报错，A系统RPC调用B系统接口，接口调用报错分为两种情况：一是A调用B，B抛出业务异常com.alibaba.dubbo.rpc.service.BusinessException；二是A调用B，由于B提供的接口服务使用TransferFqlProtocol注解后未抛异常，两种情况都有调用后的错误码和错误消息，由RPC框架负责上报给监控系统。RPC框架把接口调用的数据通过监控系统的采集上报到消息队列中。

接口调用报错错误码：错误码按照分期乐统一错误码规范，前4位代表业务系统，第5位代表错误类型，0表示系统错误，1表示正常业务拦截，2或其他都是表示业务异常。并且，支持某个应用对外抛出的错误码由于历史各种原因，未按照分期乐统一错误码规范，可以自定义配置为0、1、2的错误码类型。支持应用自定义告警阈值，默认90_99_10_1(调用成功率要达到一个9即90％成功率，业务成功率至少达到两个9即99％的成功率，接口调用成功率波动范围须小于10，接口业务成功率波动范围须小于1)。支持自定义应用，组合接口，监控自定义应用的各项指标。

其中，监控系统层对原始数据收集之后，还可以对数据进行初步处理，筛选出接口调用的成功率数据，当数据低于设定门限值时，则进行实时告警。

大数据组进行数据的筛选计算和分析以及入库，将调用数据存储到原始数据库当中。

业务监控平台从原始数据库中读取到数据之后，进行分类、缓存，并将分类以及缓存的结果上传到FastDFS(轻量级分布式文件系统)，以进行长期存储。

报表成果输出层就是按照用户的需求或者默认设置，生成多维度数据报表和进行实时告警。

本优选实施例所提供的技术方案与本申请各个实施例的技术方案有益效果相近或者相同，此处不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种业务监控方法，其特征在于，包括：

根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据；

所述根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据之后，所述方法还包括：

将所述接口组合数据报表上传至轻量级分布式文件系统。

2.根据权利要求1所述的方法，其特征在于，所述调用结果类型包括：调用成功类型、系统错误类型、业务错误类型以及正常拦截类型；

3.根据权利要求1所述的方法，其特征在于，在根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据之后，所述方法还包括：

将所述接口调用数据报表上传至轻量级分布式文件系统。

4.根据权利要求1所述的方法，其特征在于，在将所述接口调用数据报表或接口组合数据报表上传至轻量级分布式文件系统之后，所述方法还包括：

5.一种业务监控平台，其特征在于，包括：

调用数据处理模块，用于根据所述调用结果特定标识对所述调用数据进行分类，得到分类结果，并缓存历史调用数据；

所述业务监控平台，其特征在于，还包括接口组合监控请求，具体用于：

将所述接口组合数据报表上传至轻量级分布式文件系统。

6.根据权利要求5所述的平台，其特征在于，所述调用结果类型包括：调用成功类型、系统错误类型、业务错误类型以及正常拦截类型；

7.根据权利要求6所述的平台，其特征在于，还包括：

8.根据权利要求6所述的平台，其特征在于，还包括多维度调用数据报表使用模块，具体用于：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的业务监控方法。