CN106528390A - 一种应用监控方法及装置 - Google Patents

Abstract

本发明实施例公开了一种应用监控方法及装置。其中，该方法包括：采集站点中包含的各应用程序的所有接口的运行指标数据；获取各接口之间的依赖关系信息；根据运行指标数据和所述依赖关系信息对各应用程序的运行状况进行统计分析；将统计分析结果输出至监控界面。本发明实施例通过采用上述技术方案，从接口和依赖两个维度对应用进行监控，对于依赖的指标的粒度做到了接口级别，可具体到某个应用的一个接口依赖另一个应用的哪个接口，且通过运行指标数据可了解到依赖的强度如何，能够全面地对Web站点进行监控，且监控准确度高，能够实时掌控应用性能情况并及时发现问题。

Description

一种应用监控方法及装置

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种应用监控方法及装置。

背景技术

随着互联网技术的快速发展，互联网已得到了非常广泛的应用。互联网站点(Web站点)为了更好的服务广大网民，就需要保证网站24小时不间断的正常运行，不仅要确保不宕机，还需要使网站的访问速度足够快，因此需要对网站的运行情况进行监控。

现有的网站监控系统多数监控的是系统级别的数据，如机器的中央处理器(Central Processing Unit,CPU)、内存(Memory)和磁盘(Disk)等部件的运行指标数据等。利用这些数据能够监控到的问题非常有限，因为即使这些系统指标正常，并不能代表网站的页面是能够正常访问的。为了更好的对网站的运行情况进行监控，已出现了少数对Web站点的应用程序进行监控的方案，这些方案通常以应用程序整体作为监控对象，所采用的监控数据有限，而随着Web站点所实现的功能越来越丰富，一个Web站点中通常包含多个应用程序，特别是在分布式程序以及微服务架构等已经成为互联网应用常态的大环境下，现有的应用监控方案仍然不够全面，也不够准确。

发明内容

本发明实施例的目的是提供一种应用监控方法及装置，以解决现有的应用监控方案的全面性和准确度较差的问题。

一方面，本发明实施例提供了一种应用监控方法，包括：

采集站点中包含的各应用程序的所有接口的运行指标数据；

获取各接口之间的依赖关系信息；

根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析；

将统计分析结果输出至监控界面。

另一方面，本发明实施例提供了一种应用监控装置，包括：

指标采集模块，用于采集站点中包含的各应用程序的所有接口的运行指标数据；

依赖获取模块，用于获取各接口之间的依赖关系信息；

统计分析模块，用于根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析；

结果输出模块，用于将统计分析结果输出至监控界面。

本发明实施例中提供的应用监控方案，采集站点中所有应用程序的所有接口的运行指标数据，同时获取各接口之间的依赖关系信息，根据运行指标数据和依赖关系信息对各应用程序的运行状况进行统计分析，并将统计分析结果输出至监控界面。通过采用上述技术方案，从接口和依赖两个维度对应用进行监控，对于依赖的指标的粒度做到了接口级别，可具体到某个应用的一个接口依赖另一个应用的哪个接口，且通过运行指标数据可了解到依赖的强度如何，能够全面地对Web站点进行监控，且监控准确度高，能够实时掌控应用性能情况并及时发现问题。

附图说明

图1为本发明实施例一提供的一种应用监控方法的流程示意图；

图2为本发明实施例二提供的一种应用监控方法的流程示意图；

图3为本发明实施例三提供的一种应用监控方法的流程示意图；

图4为本发明实施例三提供的一种基于应用监控方法的应用监控系统的框架示意图；

图5为本发明实施例三提供的一种接口监控界面示意图；

图6为本发明实施例三提供的一种依赖一级监控界面示意图；

图7为本发明实施例三提供的一种依赖二级监控界面示意图；

图8为本发明实施例四提供的一种应用监控装置的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种应用监控方法的流程示意图，该方法可以由应用监控装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机等终端中。如图1所示，该方法包括：

步骤101、采集站点中包含的各应用程序的所有接口的运行指标数据。

如今，分布式程序以及微服务架构等已经成为互联网应用常态，本发明实施例尤其适用于此类应用场景。为了便于后续说明，下面以微服务架构为例进行简单的介绍。

对于高流量、高用户数的Web站点来说，实现较为复杂，常常会分为好多个应用程序(以下简称应用)，每个应用实现一个特定的功能，应用之间会互相调用。为了满足用户的请求，会有一个前端的组合程序(也是一个应用)，通过调用各个应用的接口来获取数据，最后利用这些数据组合出一个网页，并返回给用户。例如知乎，该Web站点可能有很多应用，有按功能分的，如Feeds(用户反馈)、评论、问答以及专栏等应用；也有按技术层级或抽象分的，如关系服务、以及管理用户与用户之间的关注关系等应用。假设用户访问首页，首页包含用户的Feeds以及知乎Live(直播)，为了给用户返回一个完整的页面，会有一个应用，如WebServer(前端组合程序)接收用户请求，在处理该请求时，可能会调用Feeds应用的get_feeds(获取反馈)接口，以及Live应用的get_live(获取直播)应用接口，而Live又可能调用其他应用，比如某个图标可能是请求图片服务返回的，WebServer、Feeds及Live都是不同的程序，它们完成一些高内聚的功能，互相独立，而它们之间又通过接口互相交互和协作，它们的调用关系是网状的，并且可能出现嵌套，例如应用A调用应用B，应用B又调用应用C，这种通过把一个大型程序切分成许多个应用，共同完成一个功能的架构俗称微服务架构，是一个业界大热的概念。

对于微服务架构，如果网站宕机了(即用户无法访问该站点了)或者网站访问变慢了，那么对于工作人员来说，需要第一时间发现这些问题，发现之后又需要知道发生问题的根本原因是什么，所以，需要有一套全面而准确的监控方案来发现故障或性能等异常，并且提供查找异常原因的方法。

本实施例中，采集所需要监控的Web站点中包含的所有应用程序中的所有接口的运行指标数据。示例性的，所述运行指标数据可包括每秒请求量(Query Per Second，QPS)(又称每秒查询率)、响应时间和错误率(或每分钟错误数)。其中，响应时间优选为响应时间P95，即响应时间的第95个百分位(percentile95)。通过上述指标，可简单、完整且有效的反映应用的运行情况。尤其是错误率，错误率是接口的一个关键属性，本实施例中采集一个应用的每个接口的错误率，而不是采集该应用的整体的错误率，能够方便监控具体哪个接口出现了异常。

步骤102、获取各接口之间的依赖关系信息。

示例性的，对于某个应用中的一个接口来说，它可能调用其他应用的接口，也可能被其他应用的接口调用，因此，该接口可能与其他应用的接口存在依赖关系。本步骤中获取所有接口之间依赖关系信息，方便后续的统计分析。

步骤103、根据运行指标数据和依赖关系信息对各应用程序的运行状况进行统计分析。

示例性的，在进行统计分析时，可包括统计分析各运行指标随时间的变化情况、预设时段内的运行指标的累计情况以及每个时刻的运行指标数值是否超出对应的预设阈值范围等等。

本步骤中从接口和依赖两个维度对应用程序的运行状况进行统计分析，能够得到同一Web站点中每个应用程序的各接口的运行状况，以及每两个应用程序的接口之间的依赖的运行状况，可全面准确地监控Web站点中应用的性能及异常等运行状况。

步骤104、将统计分析结果输出至监控界面。

示例性的，为了方便工作人员更好的监控应用，将统计分析结果输出至统一的监控界面，工作人员通过在监控界面中的各种操作，即可实时查看自己关心的监控内容。

示例性的，可将统计结果以文字、数据、曲线图以及表格等各种形式在监控界面中进行显示，也可支持在多种显示形式中进行切换。

本发明实施例一提供的应用监控方法，采集站点中所有应用程序的所有接口的运行指标数据，同时获取各接口之间的依赖关系信息，根据运行指标数据和依赖关系信息对各应用程序的运行状况进行统计分析，并将统计分析结果输出至监控界面。通过采用上述技术方案，从接口和依赖两个维度对应用进行监控，对于依赖的指标的粒度做到了接口级别，可具体到某个应用的一个接口依赖另一个应用的哪个接口，且通过运行指标数据可了解到依赖的强度如何，能够全面地对Web站点进行监控，且监控准确度高，能够实时掌控应用性能情况并及时发现问题。

实施例二

图2为本发明实施例二提供的一种应用监控方法的流程示意图，本实施例以上述实施例为基础进行优化，在本实施例中，在步骤“采集站点中包含的各应用程序的所有接口的运行指标数据”之后，增加了对各接口的请求进行追踪的相关步骤。

相应的，本实施例的方法包括如下步骤：

步骤201、采集站点中包含的各应用程序的所有接口的运行指标数据。

优选的，对于每个接口，采集当前接口在所属应用程序侧的服务端运行指标数据以及采集调用所述当前接口的应用程序侧的客户端运行指标数据。本实施例中，可同时采集一个接口的客户端指标(客户端运行指标数据)和服务端指标(服务端运行指标数据)。对于一个应用App A的某个接口a，它会被另一个应用App B调用，在App B侧采集的指标是a的客户端指标，而在App A内(App A侧)采集的是a的服务端指标。对于一个接口来说，最终正常不正常，要由所有调用A接口的应用采集的指标(即客户端指标)来反映更加准确。

步骤202、获取站点中包含的各应用程序的所有接口对应的请求的相关数据。

示例性的，接口对应的请求的相关数据具体可包括接口接收或发送的请求的内容、类别以及其他属性等详细数据。

步骤203、获取各接口之间的依赖关系信息。

步骤204、根据运行指标数据和依赖关系信息对各应用程序的运行状况进行统计分析。

步骤205、根据依赖关系信息和请求的相关数据对各请求进行追踪。

步骤206、将统计分析结果输出至监控界面。

优选的，本步骤中，可将统计分析结果中的各运行指标进行排序；对于每个运行指标，根据排序在前的预设数目的接口的统计分析数据绘制图表，并将所绘制的图表输出至监控界面。具体的，可将各接口按照各运行指标对应的数值从大到小的顺序进行排序，可以理解的是，运行指标排序在前(如Top N，N表示数量，N的取值可自由设置)的接口更加重要，更容易出现异常，以图表的方式进行显示，更加直观明了，方便工作人员快速找到存在异常的接口。

步骤207、在监控界面创建追踪选项。

步骤208、当追踪选项被触发时，显示追踪选项对应的请求的追踪路径和追踪数据。

其中，所述追踪数据包括追踪路径中包含的各请求的相关数据。示例性的，追踪路径可根据各接口之间的依赖(即调用关系)来确定。

本发明实施例二提供的应用监控方法，将运行指标与追踪进行了整合，能够追踪一个请求,如统一资源定位符(Uniform Resource Locator，URL)请求，的完整执行路径，并将基于统计信息的运行指标相结合，能够由粗到细地对应用的性能及异常等情况进行深入的剖析，更加全面准确地对应用进行监控。

实施例三

图3为本发明实施例三提供的一种应用监控方法的流程示意图，本实施例以上述实施例为基础进行优化，该方法包括如下步骤：

步骤301、利用Statsd采集站点中包含的各应用程序的所有接口的运行指标数据。

具体的，可通过一个库tracing提供采集功能，供应用内埋点。Statsd为开源技术，可理解为一个聚合器，负责收集并聚合测量值，并将数据传给Graphite。

步骤302、利用Zipkin获取站点中包含的各应用程序的所有接口对应的请求的相关数据。

Zipkin为一个开源的分布式实时数据追踪系统，其主要功能是聚集来自各个异构系统的实时监控数据，用来追踪微服务架构下的系统延时问题。

步骤303、获取各接口之间的依赖关系信息。

步骤304、利用Graphite根据运行指标数据和依赖关系信息对各应用程序的运行状况进行统计分析，并对运行指标数据进行存储。

Graphite是一个Python写的web应用，采用django框架，Graphite用来进行收集服务器所有的及时状态，用户请求信息、Memcached命中率、RabbitMQ消息服务器的状态及Unix操作系统的负载状态等，Graphite采用简单的文本协议和绘图功能可以方便地使用在任何操作系统上。

步骤305、利用Zipkin根据依赖关系信息和所述请求的相关数据对各请求进行追踪。

步骤306、将统计分析结果输出至监控界面。

步骤307、在监控界面创建追踪选项。

步骤308、当追踪选项被触发时，显示追踪选项对应的请求的追踪路径和追踪数据。

示例性的，图4为本发明实施例三提供的一种基于应用监控方法的应用监控系统的框架示意图，图中，较粗的箭头表示调用关系，较细的箭头表示数据流。如图4所示，应用A和应用B接入tracing后，会对运行指标数据进行采集并发往statsd聚合，然后传给Graphite，由Graphite进行统计分析及存储；同时，tracing也会把Trace数据发往Zipkin，用于对请求进行追踪。使用应用监控系统的用户通过访问halo APM(ApplicationPerformance Management，应用性能管理)(即应用监控站点，或应用监控界面)来实现对应用的监控。

下面对本发明实施例中的监控界面进行进一步的说明。图5为本发明实施例三提供的一种接口监控界面示意图；图6为本发明实施例三提供的一种依赖一级监控界面示意图；图7为本发明实施例三提供的一种依赖二级监控界面示意图。在图5中的监控界面中，上半部分显示了当前应用的各接口中Top N(图中N为5)的统计分析结果，由于错误数为0，所以图中未示出错误数的统计曲线。通过右上角的“服务器”按钮，可进行服务端和客户端的切换，下半部分左侧显示了当前应用包含的接口的名称以及相关运行指标数据，通过点击接口名称，可进入接口的依赖分析，通过点击接口名称最右侧的“查看Trace”按钮，可进入Zipkin查看接口的Trace。假设点击了图5中的第一个接口“EventsHandler_get”后，可进入该接口的依赖分析，所进入的界面如图6所示，图6中的监控界面的左上角的“依赖分析”按钮可进行依赖和被依赖的切换，下半部分显示的是与图5中所点击的“EventsHandler_get”存在依赖关系的应用名称及相关数据，当点击其中的某个应用，如mongodb之后，可查看与接口“EventsHandler_get”存在依赖关系的mongodb应用中的各个接口的相关信息，如图7所示，与接口“EventsHandler_get”存在依赖关系的mongodb应用中的接口为“find”接口。由图5-7可以看出，工作人员通过在监控界面上进行操作，可轻松查看应用中各接口的运行情况以及各接口之间的依赖关系，还可查看接口对应的请求的追踪信息等，可全面准确的对Web站点中包含的应用程序进行监控。

本发明实施例三提供的应用监控方法，借助三种开源程序来实现本实施例的技术方案，使本发明实施例的技术方案在实现时更加稳定，更加准确的对应用进行监控。

实施例四

图8为本发明实施例四提供的一种应用监控装置的结构框图，该装置可由软件和/或硬件实现，一般集成在计算机等终端中，可通过执行应用监控方法来对Web站点中的应用进行监控。如图8所示，该装置包括指标采集模块801、依赖获取模块802、统计分析模块803和结果输出模块804。

其中，指标采集模块801，用于采集站点中包含的各应用程序的所有接口的运行指标数据；依赖获取模块802，用于获取各接口之间的依赖关系信息；统计分析模块803，用于根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析；结果输出模块804，用于将统计分析结果输出至监控界面。

本发明实施例提供的应用监控装置，从接口和依赖两个维度对应用进行监控，对于依赖的指标的粒度做到了接口级别，可具体到某个应用的一个接口依赖另一个应用的哪个接口，且通过运行指标数据可了解到依赖的强度如何，能够全面地对Web站点进行监控，且监控准确度高，能够实时掌控应用性能情况并及时发现问题。

在上述实施例的基础上，所述运行指标数据包括每秒请求量、响应时间和错误率。

在上述实施例的基础上，该装置还包括：

请求数据获取模块，用于在所述采集站点中包含的各应用程序的所有接口的运行指标数据之后，获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

追踪模块，用于在所述获取各接口之间的依赖关系信息之后，根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪；

追踪监控模块，用于在所述将统计结果输出至监控界面之后，在所述监控界面创建追踪选项；当所述追踪选项被触发时，显示所述追踪选项对应的请求的追踪路径和追踪数据，其中，所述追踪数据包括所述追踪路径中包含的各请求的相关数据。

在上述实施例的基础上，所述结果输出模块包括：

排序单元，用于将统计分析结果中的各运行指标进行排序；

图表绘制单元，用于对于每个运行指标，根据排序在前的预设数目的接口的统计分析数据绘制图表；

图表输出单元，用于将所绘制的图表输出至监控界面。

在上述实施例的基础上，

所述指标采集模块具体用于：利用Statsd采集站点中包含的各应用程序的所有接口的运行指标数据；

所述统计分析模块具体用于：利用Graphite根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析，并对所述运行指标数据进行存储；

所述请求数据获取模块具体用于：利用Zipkin获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

所述追踪模块具体用于：利用Zipkin根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪。

在上述实施例的基础上，所述指标采集模块具体用于：

采集站点中包含的各应用程序的所有接口的运行指标数据，其中，对于每个接口，采集当前接口在所属应用程序侧的服务端运行指标数据以及采集调用所述当前接口的应用程序侧的客户端运行指标数据。

上述实施例中提供的应用监控装置可执行本发明任意实施例所提供的应用监控方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用监控方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种应用监控方法，其特征在于，包括：

采集站点中包含的各应用程序的所有接口的运行指标数据；

获取各接口之间的依赖关系信息；

根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析；

将统计分析结果输出至监控界面。

2.根据权利要求1所述的方法，其特征在于，所述运行指标数据包括每秒请求量、响应时间和错误率。

3.根据权利要求2所述的方法，其特征在于，在所述采集站点中包含的各应用程序的所有接口的运行指标数据之后，还包括：

获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

在所述获取各接口之间的依赖关系信息之后，还包括：

根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪；

在所述将统计结果输出至监控界面之后，还包括：

在所述监控界面创建追踪选项；

当所述追踪选项被触发时，显示所述追踪选项对应的请求的追踪路径和追踪数据，其中，所述追踪数据包括所述追踪路径中包含的各请求的相关数据。

4.根据权利要求3所述的方法，其特征在于，所述将统计分析结果输出至监控界面，包括：

将统计分析结果中的各运行指标进行排序；

对于每个运行指标，根据排序在前的预设数目的接口的统计分析数据绘制图表；

将所绘制的图表输出至监控界面。

5.根据权利要求4所述的方法，其特征在于，

采集站点中包含的各应用程序的所有接口的运行指标数据，包括：

利用Statsd采集站点中包含的各应用程序的所有接口的运行指标数据；

根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析，包括：

利用Graphite根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析，并对所述运行指标数据进行存储；

获取站点中包含的各应用程序的所有接口对应的请求的相关数据，包括：

利用Zipkin获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

根据所述依赖关系信息和所述请求的信息数据对各请求进行追踪，包括：

利用Zipkin根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪。

6.根据权利要求1-5任一所述的方法，其特征在于，所述采集站点中包含的各应用程序的所有接口的运行指标数据，包括：

采集站点中包含的各应用程序的所有接口的运行指标数据，其中，对于每个接口，采集当前接口在所属应用程序侧的服务端运行指标数据以及采集调用所述当前接口的应用程序侧的客户端运行指标数据。

7.一种应用监控装置，其特征在于，包括：

指标采集模块，用于采集站点中包含的各应用程序的所有接口的运行指标数据；

依赖获取模块，用于获取各接口之间的依赖关系信息；

统计分析模块，用于根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析；

结果输出模块，用于将统计分析结果输出至监控界面。

8.根据权利要求7所述的装置，其特征在于，所述运行指标数据包括每秒请求量、响应时间和错误率。

9.根据权利要求8所述的装置，其特征在于，还包括：

请求数据获取模块，用于在所述采集站点中包含的各应用程序的所有接口的运行指标数据之后，获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

追踪模块，用于在所述获取各接口之间的依赖关系信息之后，根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪；

追踪监控模块，用于在所述将统计结果输出至监控界面之后，在所述监控界面创建追踪选项；当所述追踪选项被触发时，显示所述追踪选项对应的请求的追踪路径和追踪数据，其中，所述追踪数据包括所述追踪路径中包含的各请求的相关数据。

10.根据权利要求9所述的装置，其特征在于，所述结果输出模块包括：

排序单元，用于将统计分析结果中的各运行指标进行排序；

图表绘制单元，用于对于每个运行指标，根据排序在前的预设数目的接口的统计分析数据绘制图表；

图表输出单元，用于将所绘制的图表输出至监控界面。

11.根据权利要求10所述的装置，其特征在于，

所述指标采集模块具体用于：利用Statsd采集站点中包含的各应用程序的所有接口的运行指标数据；

所述统计分析模块具体用于：利用Graphite根据所述运行指标数据和所述依赖关系信息对所述各应用程序的运行状况进行统计分析，并对所述运行指标数据进行存储；

所述请求数据获取模块具体用于：利用Zipkin获取站点中包含的各应用程序的所有接口对应的请求的相关数据；

所述追踪模块具体用于：利用Zipkin根据所述依赖关系信息和所述请求的相关数据对各请求进行追踪。

12.根据权利要求7-11任一所述的装置，其特征在于，所述指标采集模块具体用于：

采集站点中包含的各应用程序的所有接口的运行指标数据，其中，对于每个接口，采集当前接口在所属应用程序侧的服务端运行指标数据以及采集调用所述当前接口的应用程序侧的客户端运行指标数据。