CN112596986A - 一种监控方法及装置 - Google Patents

Abstract

本申请提供一种监控方法及装置，所述方法包括：当根据监控任务配置的时间信息确定需要执行监控任务时，根据所述监控任务配置的监控对象获取监控数据；根据所述监控数据判断是否满足所述监控任务配置的报警条件，如果满足所述报警条件，则发送报警信息；其中，所述监控对象的类型包括以下内容中的一种或者多种：数据库、数据表、应用程序接口API、程序代码。上述技术方案可以实现对多种类型数据源的监控及报警，从而满足不同的业务场景的监控需求。

Description

一种监控方法及装置

技术领域

本申请涉及但不限于计算机领域，尤其涉及数据处理设备。

背景技术

随着数据存储方式的日渐丰富，商务数据集成平台业务场景中用到的数据库类型越来越多，目前已经用到的有MySql(一种关系型数据库管理系统)、ElaticSearch(一种分布式文档数据库)、GreenPlum(一种关系型数据库集群)、Hive(基于Hadoop的数据仓库工具)、PostgreSQL(一种特性非常齐全的自由软件的对象-关系型数据库管理系统)等。

发明内容

本申请所要解决的技术是提供一种监控方法，可以实现对多种类型数据源的监控。

为了解决上述技术问题，本申请提供了一种监控方法，包括：

当根据监控任务配置的时间信息确定需要执行监控任务时，根据所述监控任务配置的监控对象获取监控数据；

根据所述监控数据判断是否满足所述监控任务配置的报警条件，如果满足所述报警条件，则发送报警信息；

其中，所述监控对象的类型包括以下内容中的一种或者多种：数据库、数据表、应用程序接口API、程序代码。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据库时，根据所述监控任务配置的数据库的连接信息，连接所述数据库，根据监控任务配置的数据结构信息获取所述数据库对应的状态信息。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据表时，根据所述监控任务配置的数据库的连接信息连接所述数据表所在的数据库，根据所述数据表的标识信息在所连接的数据库中查找到所述数据表，根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段的数据。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型包括应用程序接口API时，根据所述API的调用信息获取所述API对应的请求失败次数；

当所述监控对象的类型包括程序代码时，根据所述程序代码的调用信息获取所述程序代码对应的错误信息。

在一种示例性实例中，所述采集条件包括用于筛选记录的第一条件和待监控字段的信息；

所述根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段，包括：

根据监控任务配置的数据结构从所述数据表中筛选出满足所述第一条件的记录；

从筛选出的记录中获取所述待监控字段的数据。

在一种示例性实例中，所述方法还包括：

配置监控任务；

其中，所述配置所述监控任务包括：

配置所述监控任务对应的一个或者多个监控对象；

配置用于与每个监控对象建立连接的信息；

通过计划任务cron配置所述监控任务对应的时间信息；所述时间信息包括以下内容中的一种或者多种：开始的时间点、触发频率、结束的时间点。

在一种示例性实例中，所述发送报警信息包括：按照所述监控任务配置的信息发送规则发送所述报警信息；

所述信息发送规则包括以下内容中的一项或者多项：发送方式、发送内容、发送频率、接收对象；

所述发送方式包括以下方式中的一种或者多种：邮件、即时消息、短消息、微信消息；

所述发送内容包括以下内容中的一种或者多种：监控任务的标识信息、监控任务的执行时间信息、监控对象的标识信息、报警信息接收方的标识信息、报警条件、监控项的标识信息。

在一种示例性实例中，所述方法还包括：

当接收到携带有一个以上待查看的监控任务的查看指令时，对于每个待查看的监控任务，显示以下信息中的一种或者多种：

监控任务的标识信息、监控任务对应的时间信息、监控任务配置的监控对象的标识信息、监控任务对应的报警条件、监控任务对应的已发送的报警信息的内容、报警信息的发送时间的信息、监控任务配置的信息发送规则、监控任务的执行状态。

本申请还提供一种监控装置，包括：存储器和处理器；

所述存储器，用于保存用于监控的程序；

所述处理器，用于读取所述用于监控的程序，执行如权利要求1至8任一所述的监控方法。

本申请还提供一种计算机存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行前述任一所述的监控方法。

本申请提供一种监控方法及装置，所述方法包括：当根据监控任务配置的时间信息确定需要执行监控任务时，根据所述监控任务配置的监控对象获取监控数据；根据所述监控数据判断是否满足所述监控任务配置的报警条件，如果满足所述报警条件，则发送报警信息；其中，所述监控对象的类型包括以下内容中的一种或者多种：数据库、数据表、应用程序接口API、程序代码。上述技术方案可以实现对多种类型数据源的监控及报警，从而满足不同的业务场景的监控需求。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请实施例一的监控方法的流程图；

图2是本申请实施例一的监控装置的结构示意图；

图3是示例一的报警信息的示意图；

图4是示例一的报警信息的另一示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

实施例一

如图1所示，本实施例提供一种监控方法，包括：

步骤S101、当根据监控任务配置的时间信息确定需要执行监控任务时，根据所述监控任务配置的监控对象获取监控数据；

步骤S102、根据所述监控数据判断是否满足所述监控任务配置的报警条件，如果满足所述报警条件，则发送报警信息；

其中，所述监控对象的类型包括以下内容中的一种或者多种：数据库、数据表、应用程序接口API、程序代码。

上述技术方案可以实现对多种类型数据源的监控及报警，从而满足不同的业务场景的监控需求。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据库时，根据所述监控任务配置的数据库的连接信息，连接所述数据库，根据监控任务配置的数据结构信息获取所述数据库对应的状态信息。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据表时，根据所述监控任务配置的数据库的连接信息连接所述数据表所在的数据库，根据所述数据表的标识信息在所连接的数据库中查找到所述数据表，根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段的数据。

上述技术方案通过配置数据库连接信息和数据结构，使得可以复用在数据结构相同的不同业务场景。

在一种示例性实例中，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型包括应用程序接口API时，根据所述API的调用信息获取所述API对应的请求失败次数；

当所述监控对象的类型包括程序代码时，根据所述程序代码的调用信息获取所述程序代码对应的错误信息。

在一种示例性实例中，所述采集条件包括用于筛选记录的第一条件和待监控字段的信息；

所述根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段，包括：

根据监控任务配置的数据结构从所述数据表中筛选出满足所述第一条件的记录；

从筛选出的记录中获取所述待监控字段的数据。

本实施例中，可以根据不同业务场景相应配置相应的待监控字段。

在一种示例性实例中，所述方法还包括：

配置监控任务；

其中，所述配置所述监控任务包括：

配置所述监控任务对应的一个或者多个监控对象；

配置用于与每个监控对象建立连接的信息；

通过计划任务cron配置所述监控任务对应的时间信息；所述时间信息包括以下内容中的一种或者多种：开始的时间点、触发频率、结束的时间点。

在一种示例性实例中，所述发送报警信息包括：按照所述监控任务配置的信息发送规则发送所述报警信息；

所述信息发送规则包括以下内容中的一项或者多项：发送方式、发送内容、发送频率、接收对象；

所述发送方式包括以下方式中的一种或者多种：邮件、即时消息、短消息、微信消息；

所述发送内容包括以下内容中的一种或者多种：监控任务的标识信息、监控任务的执行时间信息、监控对象的标识信息、报警信息接收方的标识信息、报警条件、监控项的标识信息。

通过上述技术方案，可以对监控任务进行灵活的配置，并且配置参数可以动态调整，从而可以满足不同业务场景的需求。

在一种示例性实例中，所述方法还包括：

当接收到携带有一个以上待查看的监控任务的查看指令时，对于每个待查看的监控任务，显示以下信息中的一种或者多种：

监控任务的标识信息、监控任务对应的时间信息、监控任务配置的监控对象的标识信息、监控任务对应的报警条件、监控任务对应的已发送的报警信息的内容、报警信息的发送时间的信息、监控任务配置的信息发送规则、监控任务的执行状态。

上述技术方案可以是监控任务可视化，使得用户可以更加清楚的了解各监控任务的情况，从而可以对监控任务的配置进行动态调整，使得监控和管理更加合理和优化。

如图2所示，本实施例还提供一种监控装置，所述监控装置包括：存储器10和处理器11；

所述存储器10，用于保存用于监控的程序；

所述处理器11，用于读取所述用于监控的程序，执行前述任一所述的监控方法。

本实施例还提供一种计算机存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行前述任一所述的监控方法。

下面通过具体示例进一步说明本申请的监控方法。

示例一

本示例以监控对象的类型为数据表进行说明。假设监控对象为Hive数据库中的profile数据表，profile数据表的数据结构如表1所示。

表1

假设当前的业务场景为：每天早上10点检查profile数据表的记录，对于创建时间是当天的记录，计算clkCount/impCount的值，如果存在clkCount/impCount小于3％的记录，则需要出报警，报警信息需要包含taskId信息。

可以基于上述设定的业务场景进行如下操作：

步骤一、创建一个监控任务，配置需要监控的数据库Hive的连接信息、profile数据表的标识信息以及数据结构；

本示例中，可以采用json的形式定义用于监控数据库的参数，可以包括数据库的连接信息以及数据表的数据结构。

步骤二、根据上述业务场景对监控任务进行配置；

本示例中，对监控任务的配置可以包括：

1、根据定义的参数以及监控需求配置执行器，将业务场景要求的监控逻辑通过代码实现；

本示例的执行器可复用，同类型的监控对象可以使用相同的执行器。

2、配置监控对象为profile数据表；

3、配置采集条件；

该示例中，采集条件包括用于筛选记录的第一条件为createDate字段的值等于当天日期的记录，待监控字段包括clkCcount、impCount。

4、配置报警条件；

本示例中，报警条件可以设置为存在clkCount/impCount小于3％的记录。

5、通过计划任务cron表达式配置监控任务的时间策略(即时间信息)；

通过计划任务cron可以灵活配置时间策略，并且时间策略可以动态调整。通过时间策略可以设置监控任务执行的频率以及报警的频率。

本示例中，可以设定监控的时间信息为每天早上10点。

6、配置报警信息的信息发送规则；

信息发送规则可以包括报警渠道(即发送方式)、发送内容、发送频率、接收对象。

如图3和图4所示，为示例性的报警信息。

报警渠道可以包括以下内容中的一种或者多种：邮件、即时消息、短消息、微信消息；微信消息可以包括个人微信、企业微信、微信机器人等。

发送内容包括以下内容中的一种或者多种：监控任务的标识信息、监控任务的执行时间信息、监控对象的标识信息、报警信息接收方的标识信息、报警条件、监控项的标识信息。例如发送内容可以配置为需含有满足报警条件的记录的taskId的信息。

接收对象可以包括多个接收人，每个接收人对应的报警渠道可以相同，也可以不想同，每个接收人可以包括多个报警渠道，例如，接收人A的报警渠道可以包括邮件和企业微信，接收人B的报警渠道可以包括短消息和微信机器人，并根据配置的报警渠道设置相应的接收地址信息，例如邮件地址、企业微信ID等。

完成上述配置之后，每天早上10点执行监控任务。在执行监控任务时，首先根据连接信息连接到数据库Hive，根据配置的数据表的标识信息查找到profile数据表，然后根据profile数据表的数据结构从profile数据表中筛选出createDate字段的值等于当天日期的记录，再获取筛选出的记录中clkCcount、impCount的数据，对于筛选出的每个记录，计算clkCount/impCount的值，如果存在clkCount/impCount小于3％的记录，则发送报警信息，报警信息的内容需要包含clkCount/impCount小于3％的记录的taskId的信息。

示例二

当所述监控对象的类型为数据库时，根据所述监控任务配置的数据库的连接信息，连接所述数据库，根据监控任务配置的数据结构信息获取所述数据库对应的状态信息。

示例三

当所述监控对象的类型包括应用程序接口API时，根据所述监控任务配置的API的调用信息，调用所述API，获取所述API的状态信息。

假设，业务场景为监控API的健康状态，每5秒检测一次返回结果是否正确。

可以基于上述设定的业务场景进行如下操作：

步骤一、创建一个监控对象的类型为API的监控任务，配置待监控的API的地址信息(如http://www.xxx.com/api/v2/testHealth)以及请求参数；

步骤二、配置报警条件；

例如，可以设置失败阈值，报警条件配置为“请求失败的次数大于或者等于失败阈值”，也就是说，当请求失败的次数大于或者等于失败阈值时发送报警信息。

报警信息的信息发送规则以及监控任务执行的时间策略同前述示例，在此不再赘述。

完成上述配置后，每间隔5秒检测返回该API的请求返回结果，并将请求返回结果同步到时序数据库中，同时统计请求失败的次数，如果请求失败的次数大于或者等于失败阈值，则按照信息发送规则发送报警信息。

示例四

当所述监控对象的类型包括程序代码时，根据所述程序代码的调用信息获取所述程序代码对应的错误信息。

假设，业务场景为监控程序代码A，如果返回错误信息则进行报警。

可以基于上述设定的业务场景进行如下操作：

步骤一、创建一个监控对象的类型为程序代码的监控任务，配置待监控的程序代码的地址信息以及信息参数；

步骤二、配置报警条件；

例如，可以设置报警条件配置为：返回错误信息Error:{message:"xxx",trace:"...."}，也就是说，当接收到该错误信息时发送报警信息。

报警信息的信息发送规则以及监控任务执行的时间策略同前述示例，在此不再赘述。

完成上述配置后，当接收到返回的错误信息Error:{message:"xxx",trace:"...."}时发送报警信息，报警信息中提示哪个程序中的那段代码出现错误。

当接收到监控任务的查看指令时，显示每个监控任务的信息。可以在看选指令中选定需要查看的监控任务，也可以设定显示全部监控任务的信息。还可以设定监控任务对应显示的信息，不同的监控任务可以显示不同的信息，例如监控任务A需要显示报警信息的发送时间，监控任务B则不需显示报警信息的发送时间。

通过上述技术方案可以达到以下技术效果：

第一、数据结构相同的业务场景可以复用相应的执行器逻辑，扩展性好。

第二、对于报警执行频率的配置，通过计划任务cron定义监控任务的执行频率，配置灵活，可以满足不同的业务场景。

第三、对于需要及时报警的监控对象可以采用多种报警手段，确保报警消息的实时送达，从而提高对触发报警的监控对象做出反应的速度。

第四、监控任务日志可视化可以提升排查问题的效率。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种监控方法，包括：

当根据监控任务配置的时间信息确定需要执行监控任务时，根据所述监控任务配置的监控对象获取监控数据；

根据所述监控数据判断是否满足所述监控任务配置的报警条件，如果满足所述报警条件，则发送报警信息；

其中，所述监控对象的类型包括以下内容中的一种或者多种：数据库、数据表、应用程序接口API、程序代码。

2.如权利要求1所述的监控方法，其特征在于，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据库时，根据所述监控任务配置的数据库的连接信息，连接所述数据库，根据监控任务配置的数据结构信息获取所述数据库对应的状态信息。

3.如权利要求1所述的监控方法，其特征在于，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型为数据表时，根据所述监控任务配置的数据库的连接信息连接所述数据表所在的数据库，根据所述数据表的标识信息在所连接的数据库中查找到所述数据表，根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段的数据。

4.如权利要求1所述的监控方法，其特征在于，所述根据所述监控任务配置的监控对象的获取监控数据包括：

当所述监控对象的类型包括应用程序接口API时，根据所述API的调用信息获取所述API对应的请求失败次数；

当所述监控对象的类型包括程序代码时，根据所述程序代码的调用信息获取所述程序代码对应的错误信息。

5.如权利要求3所述的监控方法，其特征在于，所述采集条件包括用于筛选记录的第一条件和待监控字段的信息；

所述根据监控任务配置的数据结构信息和采集条件获取所述数据表中相应字段，包括：

根据监控任务配置的数据结构从所述数据表中筛选出满足所述第一条件的记录；

从筛选出的记录中获取所述待监控字段的数据。

6.如权利要求1所述的监控方法，其特征在于，所述方法还包括：

配置监控任务；

其中，所述配置所述监控任务包括：

配置所述监控任务对应的一个或者多个监控对象；

配置用于与每个监控对象建立连接的信息；

通过计划任务cron配置所述监控任务对应的时间信息；所述时间信息包括以下内容中的一种或者多种：开始的时间点、触发频率、结束的时间点。

7.如权利要求1所述的监控方法，其特征在于，所述发送报警信息包括：按照所述监控任务配置的信息发送规则发送所述报警信息；

所述信息发送规则包括以下内容中的一项或者多项：发送方式、发送内容、发送频率、接收对象；

所述发送方式包括以下方式中的一种或者多种：邮件、即时消息、短消息、微信消息；

所述发送内容包括以下内容中的一种或者多种：监控任务的标识信息、监控任务的执行时间信息、监控对象的标识信息、报警信息接收方的标识信息、报警条件、监控项的标识信息。

8.如权利要求7所述的监控方法，其特征在于，所述方法还包括：

当接收到携带有一个以上待查看的监控任务的查看指令时，对于每个待查看的监控任务，显示以下信息中的一种或者多种：

监控任务的标识信息、监控任务对应的时间信息、监控任务配置的监控对象的标识信息、监控任务对应的报警条件、监控任务对应的已发送的报警信息的内容、报警信息的发送时间的信息、监控任务配置的信息发送规则、监控任务的执行状态。

9.一种监控装置，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于监控的程序；

所述处理器，用于读取所述用于监控的程序，执行如权利要求1至8任一所述的监控方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8中任一所述的监控方法。

Images