CN111193609B - 应用异常的反馈方法、装置及应用异常的监控系统 - Google Patents

Abstract

本发明涉及应用异常的反馈方法、装置及应用异常的监控系统，属于网络监控技术领域。该方法包括：将应用的运行数据与多个告警阈值进行比对；根据比对结果确定运行数据中的异常监控数据，获取与异常监控数据对应的异常监控类型；将异常监控类型和异常监控数据进行聚合，生成应用的当前异常监控报告；将当前异常监控报告反馈给应用服务平台，以使应用服务平台向应用服务商输出当前异常监控报告。上述技术方案，解决了应用异常无法及时反馈给应用服务商的问题。能在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时反馈给应用服务商。

Description

应用异常的反馈方法、装置及应用异常的监控系统

技术领域

本发明涉及网络监控技术领域，特别是涉及应用异常的反馈方法、装置、应用异常的监控系统、计算机设备及存储介质。

背景技术

随着网络技术的发展，目前应用市场中有大量应用，这些应用偶尔会出现打开失败、空白或者耗时较长等异常情况。这时候就需要通过一定的途径将这些异常情况反馈给应用服务商。传统的技术方案主要是由用户主动反馈给应用服务商。在实现本发明过程中，发明人发现传统方式中至少存在如下问题：传统的异常情况反馈方式过多地依赖用户，实际上，参与反馈的用户仅占非常少的一部分，使得问题无法及时反馈给应用服务商；而对于应用服务商而言，无法及时感知到应用的异常情况，也就无法有效调整和优化应用的产品质量，影响用户的正常使用。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

基于此，本发明实施例提供了应用异常的反馈方法、装置、应用异常的监控系统、计算机设备及存储介质，能及时向应用服务商反馈应用的异常情况，保证应用服务商快速定位和修复问题，减少对用户的影响。

本发明实施例的内容如下：

第一方面，本发明实施例提供一种应用异常的反馈方法，包括以下步骤：获取应用的异常监控数据；在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

第二方面，本发明实施例提供一种应用异常的反馈装置，包括：异常数据获取模块，用于获取应用的异常监控数据；异常类型确定模块，用于在所述异常监控数据触发告警阈值时，根据所触发的告警阈值确定与所述异常监控数据对应的异常监控类型；所述告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；监控报告生成模块，用于将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；监控报告反馈模块，用于将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

第三方面，本发明实施例提供一种应用异常的监控系统，包括：服务中心平台、应用反馈平台以及应用服务平台，所述服务中心平台以及所述应用服务平台分别与所述应用反馈平台网络连接；所述服务中心平台，用于根据预先确定的异常监控规则分别得到多个异常监控类型对应的多个告警阈值，将所述多个告警阈值发送给所述应用反馈平台；所述应用反馈平台，用于获取应用的异常监控数据；在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值包含于所述多个告警阈值；将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；将所述当前异常监控报告反馈给所述应用服务平台；所述应用服务平台，用于向应用服务商输出所述当前异常监控报告。

第四方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取应用的异常监控数据；在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告

第五方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取应用的异常监控数据；在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

上述技术方案中的一个技术方案具有如下优点或有益效果：根据异常监控规则确定多个异常监控类型对应的告警阈值；在获取到异常监控数据之后，确定异常监控数据是否触发目标告警阈值；如果触发，则生成异常监控报告并反馈给应用服务商。能在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时反馈给应用服务商，保证应用服务商快速定位和修复问题，减少对用户的影响。

附图说明

图1为一个实施例中应用异常的反馈方法的应用环境图；

图2为一个实施例中应用异常的反馈方法的流程示意图；

图3为一个实施例中报警曲线图的显示示意图；

图4为一个实施例中比对显示异常监控报告的界面示意图；

图5为一个实施例中异常监控类型选择的界面示意图；

图6(a)～(c)为一个实施例中显示异常监控报告的界面示意图；

图7为另一个实施例中应用异常的反馈方法的流程示意图；

图8为又一个实施例中应用异常的反馈方法的流程示意图；

图9为一个实施例中应用异常的反馈装置的结构框图；

图10为一个实施例中应用异常的监控系统的结构框图；

图11为一个实施例中计算机设备的内部结构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供的应用异常的反馈方法可以应用于如图1所示的应用环境中。该应用环境中包含有应用反馈平台101和应用服务平台102，两者通过网络通信连接。其中，应用反馈平台101获取所监控应用的异常监控数据，并通过阈值比对的方式确定该异常监控数据是否触发告警阈值，如果触发，则生成异常监控报告并通过应用服务平台102反馈给应用服务商(在本发明实施例中，也可以简称为服务商)。应用反馈平台101和应用服务平台102都可以是终端设备或服务器，具体的，终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。应用反馈平台101和应用服务平台102可以适用于Mac/Win/iOS/Android等平台。

本发明实施例提供一种应用异常的反馈方法、装置、应用异常的监控系统、计算机设备及存储介质。以下分别进行详细说明。

在一个实施例中，如图2所示，提供了一种应用异常的反馈方法，以该方法应用于图1中的应用反馈平台为例进行说明。其中，应用反馈平台可以是能够执行计算机程序的计算机设备，这个计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；应用反馈平台也可以是计算机设备上搭载的小程序、应用软件、网站等。

具体的，该应用异常的反馈方法，包括以下步骤：

S201、获取应用的异常监控数据。

其中，应用可以指各种类型的应用程序，例如：微信中的小程序、各种类型的软件/网站等，具体的，可以是OpenAPI/OA/HR/CRM等应用。在本发明实施例中，应用的数量可以不止一个，即可以从多个应用中获取异常监控数据。对应的，应用的监控数据(也可以称为运行数据)可以指应用在运行过程中涉及的各种数据，可以是应用启动状态、用户登录状态、主机运行状态、网页访问状态、函数调用状态、接口访问状态、数据查询状态、逻辑运算状态等。应用内部的程序在执行过程中出现执行失败的情况就会产生对应的异常监控数据，这个执行失败的情况可以包括：开机失败、用户登录失败、主机运行异常、网页访问失败、函数调用失败、接口访问失败、数据查询失败、逻辑运算执行失败等等。而在这些运行过程中，如果上述状态执行失败或者执行异常，则对应的监控数据可以称为异常监控数据。

在本发明实施例中，应用反馈平台获取的异常监控数据可以不止一个，如果异常监控数据为多个，则可以分别为其生成异常监控报告并分别反馈给应用服务平台，当然，也可以对这些异常监控数据进行合并为一个异常监控报告并反馈给应用服务平台。

应用反馈平台获取异常监控数据的方式有多种。以企业微信平台为例，企业微信平台中的程序在运行过程中可以将监控数据发送给监控平台，由监控平台发送给应用反馈平台，当然，也可以由应用反馈平台直接访问企业微信后台以获取监控数据，还可以由客户端(即登录有应用的客户端)感知异常监控数据后通过OssLog等形式进行主动上报。进一步地，应用反馈平台可以通过OAuth2的方式向监控平台或者客户端获取监控数据，其中，OAuth2允许用户在不告知第三方自己的帐号密码情况下，通过授权方式让第三方服务获取自己的资源信息，通过OAuth2这样的方式，应用反馈平台能够实时获取到应用的监控数据，并及时进行异常数据的告警反馈。

S202、在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应。

异常监控规则可以是对不同的应用运行状态所需满足的告警条件，当异常监控数据不满足该告警条件时，不进行告警反馈，而当异常监控数据满足该告警条件，则向服务应用平台进行告警反馈。具体的，异常监控规则可以是异常监控数据的出现次数、频率、严重程度等所需满足的条件，例如：如果1天之内应用启动失败的次数超过3次则进行告警反馈，那么“3次/天”就可以认为是告警阈值。

进一步地，异常监控规则包括以下至少一项：网络协议请求监控规则、主回调监控规则、应用性能监控规则。其中，网络协议请求监控规则可以是通过http等网络协议请求进行通信对应的监控规则，对于http这一网络协议请求，其对应的异常监控规则可以称为http应用错误监控规则，是http链接出错等情况下的监控规则，进一步的，对于http应用错误，在向应用服务平台进行异常反馈时，可以带上refer(全称是浏览器的全局对象document.referrer，代表的是当前出现异常的页面的来源，也就是打开这个页面的上个页面；[返回跳转或打开到当前页面的URL])，方便服务商进行问题查找；主回调监控规则指的是主动调用或者回调某个函数这些运行过程对应的监控规则；应用性能监控规则指的是应用运行的性能所对应的监控规则，其中，应用运行的性能可以是应用的启动、打开、耗时、关闭等对应的性能。

异常监控类型可以与应用运行状态对应，即每个应用运行状态可以对应一个异常监控类型；更进一步地，每个应用运行状态可以对应的一个告警阈值，也即一个异常监控类型可以对应的一个告警阈值。应用可以具有多个运行状态，因此，异常监控类型可以有多个，对应的，告警阈值也可以有多个。当然，在某些实施例中，也可以是多个运行状态对应一个异常监控类型，或者一个运行状态对应一个异常监控类型。

在一个实施例中，可以将异常监控数据与各个告警阈值进行比对，如果发现该异常监控数据满足某个告警阈值T的告警条件，则认为该异常监控数据触发告警阈值T，告警阈值T就可以称为是目标告警阈值。而由于该目标告警阈值对应有异常监控类型，因此可以根据目标告警阈值对应的异常监控类型确定为该异常监控数据对应的异常监控类型。

在某些实施例中，异常监控数据的个数可能不止一个，因此可以分别确定这些异常监控数据所触发的目标告警阈值，并分别确定它们对应的异常监控类型。

S203、将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告。

其中，将异常监控类型和异常监控数据进行聚合的实现方式可以是建立两者的对应关系，并在当前异常监控报告中体现出两者的对应关系。另外，异常监控报告可以不仅仅包含有异常监控类型和异常监控数据之间的对应关系，还可以包含有监控数据预期值(即正常数据)以及对异常事件的解决方案，通过这样的方式，在异常监控报告反馈给应用服务商之后，可以让应用服务商知道异常的严重程度并引导应用服务商对异常事件进行处理，并进行按正确的流程进行开发。其中，应用服务商指的是提供应用的商家、机构等，在某些场景下，可以指通过微信平台发布应用软件的服务商。对应的，应用服务平台可以指应用服务商在使用的平台，可以通过终端设备、服务器来实现。

进一步的，一个异常监控类型可以对应当前异常监控报告中的一个维度(两者可以是一对一、一对多、多对一的关系)，通过这样的设置方式，在异常监控数据较多时，可以生成不同维度的异常监控报告，以使应用服务商能够更全面地获知应用的运行状态。

S204、将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

异常监控报告可以是图表、文字等形式。应用服务平台可以在界面上显示当前异常监控报告，也可以通过告警铃声、语音、视频等方式输出当前异常监控报告。具体的，应用反馈平台将当前异常监控报告反馈给应用服务设备(即应用服务平台对应的设备)，应用服务设备在界面上显示该当前异常监控报告，以使应用服务商能够在界面上及时获知出现异常的应用以及应用中出现异常的运行数据。在本发明实施例中，如无其他说明，将上述通过应用服务设备对异常监控报告进行显示，简单理解为，应用服务平台对异常监控报告进行显示。

在一些实施例中，应用反馈平台可以在异常监控数据触发告警阈值时将对应的异常监控数据放入报警队列，然后根据报警队列中的异常监控数据生成当前异常监控报告。在另一些实施例中，也可以先生成当前异常监控报告，将当前异常监控报告放入报警队列，由报警队列向应用服务平台反馈当前异常监控报告。

本实施例提供的应用异常的反馈方法，能在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时反馈给应用服务商，保证应用服务商获知应用的异常情况，快速定位和修复问题，减少应用异常对用户造成的影响。

在一个实施例中，包含有服务中心平台，这个服务中心平台可以是企业微信平台、facebook平台、钉钉平台等，应用服务商在服务中心平台中能够发布自己所管理的应用，服务中心平台可以适用于Mac/Win/iOS/Android等平台。在具体的应用场景中，服务中心平台可以实时获取本平台中所发布的应用产生的监控数据，服务中心平台在获取监控数据之后将其发送给应用反馈平台，由应用反馈平台向应用服务平台进行异常事件的反馈。通过这样的方式，能实现服务中心平台、应用反馈平台以及应用服务平台(三者可以构成一个应用异常的监控系统)之间的配合，使得应用服务商及时获知自己所管理应用的运行状况。

进一步地，告警阈值可以由应用反馈平台确定，也可以由服务中心平台确定，两者确定告警阈值的方法可以一致，具体过程可以包括以下几种情况：

1、根据所述网络协议请求监控规则得到多个第一异常监控类型，确定所述多个第一异常监控类型对应的多个告警阈值；以http应用错误监控规则为例，所述多个第一异常监控类型包括以下至少一项：500、502、503、504、403、404、429、-2、-6、-8、-1001和-1202；而这些第一异常监控类型对应的告警阈值可以举例如下：

a)500、502、503、504：影响人数超过10人(含)，进入报警队列；

b)404：影响人数超过100人(含)，进入报警队列；

c)403、429：影响人数超过20人(含)，进入报警队列；

d)-2、-6、-8、-1001：影响人数超过20人(含)，进入报警队列；

e)-1202：影响人数超过1人(含)，进入到报警列表。

2、根据所述主回调监控规则得到多个第二异常监控类型，确定所述多个第二异常监控类型对应的多个告警阈值；所述多个第二异常监控类型包括以下至少一项：开放平台的应用套件状态、调用堆栈状态，以及，微信支付平台的调用前初始化状态、主动调用状态、回调执行状态和全局语句测试代码块状态。

其中，开放平台可以指开放API(Open API)。所谓的开放API，是服务型网站常见的一种应用，网站的服务商将自己的网站服务封装成一系列API(Application ProgrammingInterface，应用编程接口)开放出去，供第三方开发者使用，所开放的API就被称作OpenAPI。服务商在服务中心平台可以通过Open API开通的通用开放账号(具体到企业微信的场景中，这个账号可以称为Vid，意思是企业微信的企业中成员的唯一身份ID)，在一个通用账号下可以创建多个应用，这些应用的整体就可以称为套件。调用堆栈状态指的是Open API调用堆栈的状态(本发明实施例对调用的具体堆栈类型不做限制)。

微信支付平台可以为JSAPI。具体的，微信支付平台的调用前初始化状态、主动调用状态、回调执行状态和全局语句测试代码块状态分别指调用前的初始化监控(wx.config)、JSAPI的主动调用、回调执行、全局JSCatch的状态，这些状态能够表征Mac/Win/iOS/Android这四个平台不同的JSAPI接口能力。

上述第二异常监控类型对应的告警阈值可以分别确定如下：

如果以下程序失败，当影响人数超过特定数量(告警阈值)时，将对应的异常监控数据放入报警队列，具体分别如下：

a)Open API套件：影响人数超过5人(含)，进入报警队列；

b)Open API的调用堆栈：影响人数超过10人(含)，进入报警队列；

c)调用前的初始化监控：影响人数超过2人(含)，进入报警队列；

d)JSAPI的主动调用：影响人数超过5人(含)，进入报警队列；

e)回调执行：影响人数超过5人(含)，进入报警队列；

f)全局JSCatch：影响人数超过2人(含)，进入报警队列。

3、根据所述应用性能得到多个第三异常监控类型，确定所述多个第三异常监控类型对应的多个告警阈值；所述多个第三异常监控类型包括以下至少一项：应用打开状态(可以包括打开成功、打开失败、打开耗时较长等情况)、应用请求耗时、后台公共网关接口耗时和资源文件耗时。其中，后台公共网关接口耗时可以指后台CGI耗时。

上述第三异常监控类型对应的告警阈值可以分别确定如下：

应用打开状态：应用打开失败的影响人数超过3人(含)，进入报警队列；

应用请求耗时：超过5min(含)，进入报警队列；

后台CGI耗时：超过2min(含)，进入报警队列；

资源文件耗时：超过10min(含)，进入报警队列。

进一步的，可以对异常监控类型进行整合，例如：将上述应用请求耗时、后台公共网关接口耗时和资源文件耗时整合到“耗时”这一维度下，将系统开机失败、关机失败等整合为“系统失败”这一维度下。

更进一步地，异常监控类型还可以包括：系统失败、逻辑失败、主调、CORE/超时/忽略、速度、CPU、出流量、内存泄露等。

上述实施例将异常监控数据对应到不同的异常监控类型中，使得异常监控报告中包含有多个维度的异常监控数据，使得应用服务商能够更全面地分析应用的运行状态，定位和修复应用中的所有问题，减少对用户的影响，同时能简化应用服务商的分析过程，提高应用异常的问题解决效率。

在一些实施例中，可以根据历史异常监控报告(当前时刻之前的异常监控报告)实时更新告警阈值，例如：初始的告警阈值为5次/周，根据过去一个月的历史异常监控数据发现，这些历史异常监控数据不能及时地捕捉异常情况，实际监控数据发生故障的较高，则可以将告警阈值调整为3次/周。

在一个实施例中，所述将所述当前异常监控报告反馈给应用服务平台的步骤，包括：根据异常监控数据对应的异常严重程度以及异常监控类型，确定反馈时间；按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台。

可以根据异常监控数据对应的异常严重程度确定反馈的优先级，异常严重程度高的异常监控数据对应的优先级更高，即优先反馈给应用服务平台，或者以更高的频率反馈给应用服务平台。具体的，出现服务异常500、503此类导致业务无法使用，优先级就为最高，不影响使用的异常次之，依此类推。

进一步地，所有监控数据根据不同上报类型(异常监控类型)区分监控的优先级以及反馈时间，帮助服务商快速处理重要且紧急的运营问题，反馈时间举例如下：

【High】Open API类错误，每小时报警；

【High】callback和http类错误，每天报警，聚合在一个错误报告，每天下午14:00推送；

【High】应用服务中心内部的业务，如腾讯的tapd、乐享，直接报警给应用服务中心的内部员工，提高处理效率；

【Middle】后台Open API错误，每周报警，例如：每周一8:00报警。

其中，【High】表示高优先级，【Middle】表示中等优先级，【Low】表示低优先级。当然，可以将优先级细化或简化，即优先级可以有3级以上个或者更少，而且上述反馈时间可以根据实际场景进行调整。在一些实施例中，如果网络运行环境发生变化，上述优先级也可以调整，使其适应应用的实际运行状态。

在某些实施例中，如果存在异常监控数据，而该异常监控数据的异常程度较高(即优先级较高)，则在不触发告警阈值时也可以直接向应用服务商进行当前异常监控报告的反馈。这样的处理方式，能使得应用服务商及时获知更为危险的异常进行，并及时解决相应的问题，以及时恢复应用的正常运行，减少对使用该应用的用户的影响。

进一步地，所述按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台的步骤，包括：按照所述反馈时间，将所述当前异常监控报告通过报警曲线图的方式反馈给应用服务平台，以使所述应用服务平台向应用服务商显示所述报警曲线图。

应用服务平台所显示的报警曲线图可以如图3所示，如图3，曲线上显示了异常运行数据在各个时刻的监控数据，若监控数据超过0.6(在实际情况中，也可以为其他值)，则可以认为该监控数据为异常监控数据。当然，报警曲线图中也可以只显示异常监控数据。

更进一步地，应用服务平台不断接收当前异常监控报告，而这些当前异常监控报告可以存储在应用服务平台的内存中，存储在内存中的异常监控报告就可以称为是历史监控报告。应用服务平台可以单独输出当前异常监控报告(即实时输出)，也可以将当前异常监控报告与历史异常监控报告进行比对输出，而这个比对输出可以按照不同的历史时间段来进行。其比对时间段可以如图4所示，图4中包含有3小时、1天、7天、14天、28天比对情况(实际情况中，还可以包括其他的比对时间段)，图4下半部分显示了7天比对的情况，其中Current指的是当前异常监控报告，而Compare指的是相对于当前时刻7天前的历史异常监控报告。具体的，在比对图中，当前异常监控报告和历史异常监控报告可以通过不同形态的曲线来表示以进行区分。

本实施例提供的应用异常的反馈方法，按照应用的异常程度确定优先级，并根据优先级和异常监控类型确定反馈时间，按照反馈时间来向应用服务商进行异常监控报告的反馈，能使得应用服务商优先看到更为严重的异常监控数据并进行优先处理。通过这样的方式，既能保证异常告警信息的全面显示，又能突显出更为重要的异常告警信息。同时，通过比对显示当前异常监控报告和历史异常监控报告，能使得应用服务商更清楚应用当前的状态，也能基于此预测未来一段时间的应用运行状态，以便做好应用更新，BUG修复等操作。

在一个实施例中，应用服务平台可以显示如图5所示的界面，应用服务商(可以为具体的维保人员)可以在该界面上选择要显示的异常监控类型，如图5中，用户选择“系统失败”这一维度，则该界面可以展开“系统失败”这一维度的报警曲线图。而系统失败这一维度的报警曲线图可以如图4所示。

在一些实施例中，除了通过上述报警曲线图的形式输出异常监控保报告，也可以通过文本的形式进行显示；当然，也可以是两种方式相结合，例如在界面上显示报警曲线图，如果用户选中某一报警曲线图，则可以显示对应维度(也可以所有的异常监控数据)的异常监控报告。进一步的，在一些实施例中，可以在显示异常监控报告的同时显示预期值、时间、异常处理建议等，因为正常流程下应用服务商要获取具体开发者遇到的错误，需要找开发者进行详细的沟通，获取用户遇到的错误信息和场景，本发明实施例为服务商提供详细的异常信息和辅助定位异常信息的报告，可以非常有效地提升问题定位的效率。

进一步地，用户在看到异常监控报告之后，可以对异常监控报告进行处理。应用服务平台可以接收针对所述当前异常监控报告的响应文本，显示所述响应文本。其中，响应文本可以如图6(c)文本框中的内容所示。这样，应用服务商可以通过应用反馈平台对监控事件做出响应和处理，用于更新紧急运营事件的状态，应用反馈平台也提供了运维人员的配置，可以由服务商自行配置不同模块的运维人员。例如，运维人员A通过图6(c)所示的文本框“由运维人员B跟进”，则运维人员B在界面上看到该文本框后就可以着手处理对应的应用异常。

基于此，可以将异常监控报告进行分组，未处理的异常监控报告归类到“未解决”这一组中，而已处理的异常监控报告归类到“已解决”这一组中，如图6(a)、(b)和(c)所示。其中，图6(a)、(b)和(c)分别表示全部异常监控报告、未解决的异常监控报告以及已解决的异常监控报告。

在一些实施例中，应用服务商也可以在搜索框中搜索具体的异常监控类型或者设备部件，以查看这些异常监控类型或者设备部件相对应的异常监控报告。具体的，维保人员可以通过图4或者图5上部的对话框输入CGI、模块(可以指前述实施例中的异常监控类型)、主机名等，搜索对应的异常监控报告。

进一步的，可以按不同日期区间提供筛选查看的能力，当某项监控触发了告警阀值后会自动触发生成一份引发问题的模块统计报告链接，报告中按照错误类型聚合报警的错误信息，并通过运营小助手通知服务商。

上述实施例提供的应用异常的反馈方法，通过可视化的方式输出异常监控报告，能使得应用服务商更为直观地获知应用的异常事件，并及时进行处理。同时，在服务中心平台，还能够与应用服务商的运维人员进行交互，有效保证异常情况的及时解决。

在一些实施例中，如果异常情况出现得较为普遍，而且解决方案都一致，则可以对某运维人员在文本框中输入的解决方案进行保存，在下一次出现同样的问题时，直接向具体的运维人员输出，这样能有效提高应用异常的解决效率。

在一些实施例中，可以定期检测异常监控报告的解决情况，如果在多次(本发明实施例对具体次数不做限制)的检测中都发现某一异常监控报告未得到解决，则可以提高该异常监控报告的优先级，并向应用服务商进行再次反馈。

在一个实施例中，如图7所示，提供了一种应用异常的反馈方法，以该方法应用于图1中的应用反馈平台为例进行说明，包括以下步骤：

S701、获取应用的异常监控数据。

S702、在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型。

S703、根据所述异常监控数据对应的异常严重程度以及异常监控类型，确定反馈时间。

S704、将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告。

S705、按照所述反馈时间，将所述当前异常监控报告通过报警曲线图的方式反馈给应用服务平台，以使所述应用服务平台向应用服务商显示所述报警曲线图。

本实施例提供的应用异常的反馈方法，能根据异常监控规则确定告警阈值，在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时反馈给应用服务商，保证应用服务商快速定位和修复问题，减少应用异常对用户造成的影响。

为了更好地理解上述方法，如图8所示，以下详细阐述一个本发明应用异常的反馈系统的应用实例。以下以上述方法应用在服务商小助手(应用反馈平台)为例进行说明，其中，服务商助手是在企业微信、微信插件中可以用于通知消息下发给服务商的应用，服务商接收到消息后并可以通过服务商助手操作任务的状态。

该方法包括以下步骤：

1、C企业在企业微信客户端内注册一个CorpID。

2、C企业通过CorpID对应的账号，在企业微信客户端内发布第三方应用：S应用。

3、C企业根据官方应用提醒，在企业微信客户端内自动开通一个服务商小助手。

4、企业微信后台(即前述实施例中的服务中心平台)根据S应用运营质量的历史情况，按照异常监控规则以及异常监控类型制定S应用所有异常错误的告警阈值。

其中，异常监控类型可以支持http请求异常、openApi(主调和callback回调异常监控)、开放的JSAPI调用情况的监控、第三方应用打开耗时的性能监控等。

所制定的告警阈值举例如下：

a)500、502、503、504：影响人数超过10人(含)，进入报警队列；

b)404：影响人数超过100人(含)，进入报警队列；

c)调用前的初始化监控：影响人数超过2人(含)，进入报警队列；

d)JSAPI的主动调用：影响人数超过5人(含)，进入报警队列；

e)应用打开状态：应用打开失败的影响人数超过3人(含)，进入报警队列；

f)应用请求耗时：超过5min(含)，进入报警队列。

5、S应用在启动(Start)之后，按照异常上报项得到异常监控数据，异常上报项包括：entry/action，do/activity，exit/action，event/action(arguments)，其中，entry指的是应用启动状态，它的异常可以包括操作(action)异常；do指的是应用在运行过程中的状态，它的异常可以包括任务(activity)执行异常；exit指的是应用退出状态，它的异常可以包括操作异常；event指的是应用特定事件的状态，它的异常可以包括操作异常。

6、S应用将所得到的异常监控数据进行监控存储，并根据异常监控数据间的对应关系，对异常监控数据进行整合(可以将相关联的数据整合为一个数据)，并将整合后的数据发送至监控告警阈值配置监控系统(该系统可以配置在服务商小助手中)。其中，报表汇总分类指的是异常监控数据之间的对应关系，上下两块state是代表的不同监控数据维度下数据的状态变化，以及根据监控指标会产生不同state下的报表数据。

7、服务商小助手从监控告警阈值配置监控系统的监控数据报表中获取异常监控数据，将异常监控数据与上述各个告警阈值进行比对，如果发现由异常监控数据触发告警阈值，则根据所触发的告警阈值确定对应的异常监控类型。

8、通过提前开发好的数据集合和筛选策略进行汇总、分类，并结合服务商小助手生成的当前异常监控报告，并通过对所有质量监控提供告警的曲线图通过对监控异常的严重程度进行分级分组汇总，按优先级提供给服务商做参考。

9、通过服务商小助手展示服务商的报警曲线图，对于问题一直未解决的，二次报警给产品运营进行人工推动。为服务商提供引导性的提示监控能力，例如在openApi、JSAPi使用过程中出现一类未按正确的开发流程导致的异常问题，通过分析和汇总此类问题的情况，在报告中通过增加辅助报告建议、描述和引导，以引导服务商按正确的流程开发。

本发明实施例所涉及的运营监控质量告警都会通过服务商小助手进行推送，而服务商可以通过小助手感知到第三方应用的运营质量情况，小助手提供不同维护的质量监控对比策略用于协助服务商进行判断和定位问题，并在不同维度内展示不同错误类型的监控上报；为企业微信服务商和第三方应用接入商提供完善的异常、性能监控体系，并结合企业微信运营小助手、微信插件直接触达服务商开发者的能力；至少具有以下技术效果：

1、能够监控异常失败与性能问题，通过服务商小助手通道快速同步给应用开发商，并提供日志跟踪与解决问题的引导，帮助服务商快速定位和修复问题，减少应用异常对用户的影响；

2、对于服务商而言，可以通过有效的运营质量反馈，不断完善和打磨第三方应用的产品质量，为用户提供更好的服务质量。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的应用异常的反馈方法相同的思想，本发明还提供应用异常的反馈装置，该装置可用于执行上述应用异常的反馈方法。为了便于说明，应用异常的反馈装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在一个实施例中，如图9所示，提供一种应用异常的反馈装置900包括异常数据获取模块901、异常类型确定模块902、监控报告生成模块903和监控报告反馈模块904，详细说明如下：

异常数据获取模块901，用于获取应用的异常监控数据。

异常类型确定模块902，用于在所述异常监控数据触发告警阈值时，根据所触发的告警阈值确定与所述异常监控数据对应的异常监控类型；所述告警阈值根据预先确定的异常监控规则得到，且与特定的异常监控类型对应。

监控报告生成模块903，用于将所述异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告。

监控报告反馈模块904，用于将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

本实施例提供的应用异常的反馈装置，能在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时反馈给应用服务商，保证应用服务商快速定位和修复问题，减少对用户的影响。

在一个实施例中，监控报告反馈模块904，包括：反馈时间确定子模块，用于根据所述异常监控数据对应的异常严重程度以及异常监控类型，确定反馈时间；监控报告反馈子模块，用于按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

在一个实施例中，监控报告反馈子模块，还用于按照所述反馈时间，将所述当前异常监控报告通过报警曲线图的方式反馈给应用服务平台，以使所述应用服务平台向应用服务商显示所述报警曲线图。

在一个实施例中，提供一种应用异常的监控系统，如图10所示，包括：服务中心平台1001、应用反馈平台1002以及应用服务平台1003，所述服务中心平台以及所述应用服务平台分别与所述应用反馈平台网络连接；这些平台实现的功能分别如下：

所述服务中心平台，用于根据预先确定的异常监控规则得到多个异常监控类型对应的多个告警阈值，将所述多个告警阈值发送给所述应用反馈平台。

所述应用反馈平台，用于将应用的运行数据与所述多个告警阈值进行比对；根据比对结果确定所述运行数据中的异常监控数据，获取与所述异常监控数据对应的异常监控类型；将异常监控类型和所述异常监控数据进行聚合，生成所述应用的当前异常监控报告；将当前异常监控报告反馈给所述应用服务平台。

所述应用服务平台，用于向应用服务商输出所述当前异常监控报告。

本实施例提供的应用异常的监控系统，应用反馈平台能在应用的运行数据发生异常并触发告警阈值时自动生成异常监控报告并及时通过应用服务平台反馈给应用服务商，通过平台之间的配合保证应用服务商快速定位和修复问题，减少应用异常对用户造成的影响。

在一个实施例中，所述异常监控规则包括以下至少一项：网络协议请求监控规则、主回调监控规则、应用性能监控规则。

在一个实施例中，所述服务中心平台，还用于根据所述网络协议请求监控规则得到多个第一异常监控类型，确定所述多个第一异常监控类型对应的多个告警阈值；所述多个第一异常监控类型包括以下至少一项：500、502、503、504、403、404、429、-2、-6、-8、-1001和-1202。

在一个实施例中，所述服务中心平台，还用于根据所述主回调监控规则得到多个第二异常监控类型，确定所述多个第二异常监控类型对应的多个告警阈值；所述多个第二异常监控类型包括以下至少一项：开放平台的应用套件状态、调用堆栈状态，以及，微信支付平台的调用前初始化状态、主动调用状态、回调执行状态和全局语句测试代码块状态。

在一个实施例中，所述服务中心平台，还用于根据所述应用性能得到多个第三异常监控类型，确定所述多个第三异常监控类型对应的多个告警阈值；所述多个第三异常监控类型包括以下至少一项：应用打开状态、应用请求耗时、后台公共网关接口耗时和资源文件耗时。

在一个实施例中，所述应用服务平台，还用于接收针对所述当前异常监控报告的响应文本，显示所述响应文本。

在一个实施例中，所述应用服务平台，还用于确定比对时间段，获取所述比对时间段内的历史异常监控报告，向应用服务商比对输出所述当前异常监控报告和所述历史异常监控报告。

需要说明的是，本发明的应用异常的反馈装置和应用异常的监控系统与本发明的应用异常的反馈方法对应，在上述应用异常的反馈方法的实施例阐述的技术特征及其有益效果均适用于应用异常的反馈装置和应用异常的监控系统的实施例中，具体内容可参见本发明方法实施例中的叙述，同样，应用异常的反馈装置和应用异常的监控系统的实施例阐述的技术特征及其有益效果均适用于本发明的方法实施例。此处不再赘述，特此声明。

此外，上述示例的应用异常的反馈装置和应用异常的监控系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述应用异常的反馈装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

本申请提供的应用异常的反馈方法可以应用于如图11所示的计算机设备中。该计算机设备具体可以是图1中的应用反馈平台101。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和输入装置。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现应用异常的反馈方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行应用异常的反馈方法。网络接口用于与外部的终端通过网络连接通信。

在一个实施例中，本申请提供的应用异常的反馈装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该应用异常的反馈装置的各个程序模块，比如，图9所示的阈值比对模块、异常类型获取模块、监控报告生成模块和监控报告反馈模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的应用异常的反馈方法中的步骤。

例如，图11所示的计算机设备可以通过如图9所示的应用异常的反馈装置中的阈值比对模块执行S201，可通过异常类型获取模块执行S202，可通过监控报告生成模块执行S203，可通过监控报告反馈模块执行S204。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述应用异常的反馈方法的步骤。此处应用异常的反馈方法的步骤可以是上述各个实施例的应用异常的反馈方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述应用异常的反馈方法的步骤。此处应用异常的反馈方法的步骤可以是上述各个实施例的应用异常的反馈方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种应用异常的反馈方法，其特征在于，由应用反馈平台执行，包括：

获取服务中心平台中的第三方应用的异常监控数据；所述应用反馈平台为在所述服务中心平台中开通的应用所对应的平台；所述第三方应用是在所述服务中心平台中发布的应用；

在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值是由所述服务中心平台根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；

将所述异常监控类型和所述异常监控数据进行聚合，生成所述第三方应用的当前异常监控报告；

将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告；所述应用服务平台为在所述服务中心平台中发布所述第三方应用的平台；

在所述异常监控数据未触发所述目标告警阈值时，获取所述异常监控数据对应的异常优先级，当所述异常优先级大于优先级阈值时，向所述应用服务平台进行异常告警。

2.根据权利要求1所述的方法，其特征在于，所述将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告的步骤，包括：

根据所述异常监控数据对应的异常严重程度以及异常监控类型，确定反馈时间；

按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

3.根据权利要求2所述的方法，其特征在于，所述按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告的步骤，包括：

按照所述反馈时间，将所述当前异常监控报告通过报警曲线图的方式反馈给应用服务平台，以使所述应用服务平台向应用服务商显示所述报警曲线图。

4.一种应用异常的反馈装置，其特征在于，包括：

异常数据获取模块，用于获取服务中心平台中的第三方应用的异常监控数据；所述第三方应用是在所述服务中心平台中发布的应用；

异常类型确定模块，用于在所述异常监控数据触发告警阈值时，根据所触发的告警阈值确定与所述异常监控数据对应的异常监控类型；所述告警阈值是由所述服务中心平台根据预先确定的异常监控规则得到，且与特定的异常监控类型对应；

监控报告生成模块，用于将所述异常监控类型和所述异常监控数据进行聚合，生成所述第三方应用的当前异常监控报告；

监控报告反馈模块，用于将所述当前异常监控报告反馈给应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告；所述应用服务平台为在所述服务中心平台中发布所述第三方应用的平台；

所述装置还用于：在所述异常监控数据未触发目标告警阈值时，获取所述异常监控数据对应的异常优先级，当所述异常优先级大于优先级阈值时，向所述应用服务平台进行异常告警。

5.根据权利要求4所述的装置，其特征在于，所述监控报告反馈模块包括：

反馈时间确定子模块，用于根据所述异常监控数据对应的异常严重程度以及异常监控类型，确定反馈时间；

监控报告反馈子模块，用于按照所述反馈时间，将所述当前异常监控报告反馈给所述应用服务平台，以使所述应用服务平台向应用服务商输出所述当前异常监控报告。

6.根据权利要求5所述的装置，其特征在于，所述监控报告反馈子模块，还用于按照所述反馈时间，将所述当前异常监控报告通过报警曲线图的方式反馈给应用服务平台，以使所述应用服务平台向应用服务商显示所述报警曲线图。

7.一种应用异常的监控系统，其特征在于，包括：服务中心平台、应用反馈平台以及应用服务平台，所述服务中心平台以及所述应用服务平台分别与所述应用反馈平台网络连接；

所述服务中心平台，用于根据预先确定的异常监控规则分别得到多个异常监控类型对应的多个告警阈值，将所述多个告警阈值发送给所述应用反馈平台；

所述应用反馈平台，用于获取所述服务中心平台中的第三方应用的异常监控数据；所述应用反馈平台为在所述服务中心平台中开通的应用所对应的平台；所述第三方应用是在所述服务中心平台中发布的应用；在所述异常监控数据触发目标告警阈值时，根据所触发的目标告警阈值确定与所述异常监控数据对应的异常监控类型；所述目标告警阈值包含于所述多个告警阈值；将所述异常监控类型和所述异常监控数据进行聚合，生成所述第三方应用的当前异常监控报告；将所述当前异常监控报告反馈给所述应用服务平台；所述应用服务平台为在所述服务中心平台中发布所述第三方应用的平台；

所述应用服务平台，用于向应用服务商输出所述当前异常监控报告；

所述应用反馈平台，还用于在所述异常监控数据未触发所述目标告警阈值时，获取所述异常监控数据对应的异常优先级，当所述异常优先级大于优先级阈值时，向所述应用服务平台进行异常告警。

8.根据权利要求7所述的系统，其特征在于，所述异常监控规则包括以下至少一项：网络协议请求监控规则、主回调监控规则、应用性能监控规则；

所述服务中心平台，还用于根据所述网络协议请求监控规则得到多个第一异常监控类型，确定所述多个第一异常监控类型对应的多个告警阈值；所述多个第一异常监控类型包括以下至少一项：500、502、503、504、403、404、429、-2、-6、-8、-1001和-1202；

和/或，

所述服务中心平台，还用于根据所述主回调监控规则得到多个第二异常监控类型，确定所述多个第二异常监控类型对应的多个告警阈值；所述多个第二异常监控类型包括以下至少一项：开放平台的应用套件状态、调用堆栈状态，以及，微信支付平台的调用前初始化状态、主动调用状态、回调执行状态和全局语句测试代码块状态；

和/或，

所述服务中心平台，还用于根据所述应用性能得到多个第三异常监控类型，确定所述多个第三异常监控类型对应的多个告警阈值；所述多个第三异常监控类型包括以下至少一项：应用打开状态、应用请求耗时、后台公共网关接口耗时和资源文件耗时。

9.根据权利要求7所述的系统，其特征在于，所述应用服务平台，还用于接收针对所述当前异常监控报告的响应文本，显示所述响应文本。

10.根据权利要求7所述的系统，其特征在于，所述应用服务平台，还用于确定比对时间段，获取所述比对时间段内的历史异常监控报告，向应用服务商比对输出所述当前异常监控报告和所述历史异常监控报告。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的方法的步骤。

Images