CN111143163A - 数据监控方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及数据监控技术领域，具体涉及一种数据监控方法、装置、计算机设备和存储介质。所述方法包括：确定满足启动条件的数据监控任务；确定所述数据监控任务对应的待监控数据标识和数据监控规则；从待监控数据库中获取与所述待监控数据标识对应的数据作为待监控数据；根据所述数据监控规则对所述待监控数据进行检验，得到所述待监控数据对应的监控结果。本发明实施例能够提高对多个服务器上的数据进行监控的效率。

Description

数据监控方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据监控技术领域，特别是涉及一种数据监控方法、装置、计算机设备和存储介质。

背景技术

目前，在进行数据监控时，通常直接在要监控的数据的对应服务器上部署一个监控程序，由该监控程序负责数据监控。

然而，随着业务不断发展，业务内容会越来越丰富，使用到的服务器数量也越来越多，为了能够监控到所有服务器上的数据，就需要在每个服务器部署监控程序。假如新服务器上要监控的数据与以往服务器上需要监控的数据在类型方面不相同或者在监控的数据指标方面不相同，那么还需要重新编写监控程序。此外，直接在服务器上部署的监控程序独立性强，该监控程序只能监控其对应服务器上的数据，为了实现对多个服务器上的数据进行监控，需要相关人员在该多个服务器上的监控程序上分别配置监控任务，最后还需要人工根据多个监控程序获得的监控结果来确定最终的监控结果。

因此，现有的数据监控方式在对多个服务器上的数据进行监控时，效率较低。

发明内容

本发明针对现有技术的缺点，提供了一种数据监控方法、装置、计算机设备和存储介质，本发明实施例能够实现执行一个监控任务就可以对多个服务器上的数据进行监控，提高对多个服务器上的数据进行监控的效率。

本发明根据第一方面提供了一种数据监控方法，在一个实施例中，该方法包括：

确定满足启动条件的数据监控任务；

确定数据监控任务对应的待监控数据标识和数据监控规则；

从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器；

根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

在一个实施例中，数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，指标检验逻辑用于确定与其对应的监控指标的指标检验结果；

根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果，包括：

根据待监控数据确定各个监控指标对应的指标值；

根据各个监控指标对应的指标检验逻辑对各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，指标检验结果包括指标正常或指标异常；

根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果。

在一个实施例中，根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果，包括：

若数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定待监控数据对应的监控结果为数据监控正常；

若数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定待监控数据对应的监控结果为数据监控异常。

在一个实施例中，确定至少一个监控指标中指标检验结果是指标异常的监控指标；

确定指标异常的监控指标对应的告警对象和告警渠道；

通过告警渠道向告警对象发送告警信息。

在一个实施例中，接收用户的监控任务配置指令；

获取与任务配置指令关联的监控任务配置信息；

根据监控任务配置信息生成数据监控任务，数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

在一个实施例中，根据监控任务配置信息生成数据监控任务，之后包括：

确定待监控数据标识对应的目标业务服务器；

向目标业务服务器发送数据采集请求信息，数据采集请求信息是根据待监控数据标识和数据监控规则生成的；

接收目标业务服务器推送的根据数据采集请求信息采集的目标数据；

将目标数据按照预设存储规则存储到待监控数据库中。

在一个实施例中，数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求；

接收目标业务服务器推送的根据数据采集请求信息采集的目标数据，包括：

接收目标业务服务器按照数据推送要求推送的目标数据，目标数据是目标业务服务器根据数据处理要求对目标数据标识对应的数据进行处理得到的数据。

本发明根据第二方面提供了一种数据监控装置，在一个实施例中，该装置包括：监控任务确定模块，用于确定满足启动条件的数据监控任务；

标识规则确定模块，用于确定数据监控任务对应的待监控数据标识和数据监控规则；

待监控数据获取模块，用于从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器；

数据监控模块，用于根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

本发明根据第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的实施例的步骤。

本发明根据第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法的实施例的步骤。

在本发明实施例中，监控服务器先确定满足启动条件的数据监控任务，然后确定数据监控任务对应的待监控数据标识和数据监控规则，接着从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，最后根据数据监控规则对待监控数据进行检验，即可得到待监控数据对应的监控结果，能够实现执行一个监控任务就能监控到多个服务器上的数据，提高对多个服务器上的数据进行监控的效率。

附图说明

图1为一个实施例中一种数据监控方法的应用环境图；

图2为一个实施例中一种数据监控方法的流程示意图；

图3为一个实施例中另一种数据监控方法的流程示意图；

图4为一个实施例中一种监控服务器确定待监控数据对应的监控结果步骤的流程示意图；

图5为一个实施例中又一种数据监控方法的流程示意图；

图6为一个实施例中一种数据监控装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

如图1所示为本发明一个实施例中数据监控方法的应用环境。

其中，监控服务器20与业务服务器10互相独立，可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可能地，监控服务器20与业务服务器10也可以分别作为一个独立模块部署在一个独立服务器上或者是多个服务器组成的服务器集群上。

在本实施例中，监控服务器20与多个业务服务器对接，各个业务服务器，比如，业务服务器11、业务服务器12、业务服务器1N等，将自身需要监控的数据推送给监控服务器20，监控服务器20会将接收到数据统一存储到数据库中，该数据库可以是监控服务器20自身的内部数据库，也可以是与监控服务器互相独立的外部数据库。用户可以在监控服务器20上配置数据监控任务，由监控服务器20执行数据监控任务来对数据库中的相关数据进行监控，在得到监控结果后，将监控结果通过监控服务器自身的结果显示模块进行展示。进一步地，用户或者其他关注监控结果的人员不一定时刻都能看到该结果显示模块的展示信息，为此，监控服务器可以直接将监控结果推送给预设的接收人的终端设备30，接收监控结果的预设的接收人的人员数量，以及各个接收人的通讯信息可以由用户根据具体场景进行配置。监控服务器20可以将数据的监控结果发送给能够与监控服务器进行通讯的相关人员的终端设备30，终端设备30包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和台式计算机等。比如，如图1所示，用户配置接收监控结果的人数为N人，监控服务器在执行完数据监控任务后，将监控结果发送给各个接收人对应的终端设备，比如终端设备31、终端设备32、终端设备33。

如图2所示，是本发明一个实施例提供的一种数据监控方法，下面以该方法应用于图1中的监控服务器为例进行说明。该方法包括以下步骤：

S110：确定满足启动条件的数据监控任务。

在本实施例中，用户可以在监控服务器配置多个数据监控任务，每个数据监控任务的启动时间不同，如果当前时间到达数据监控任务的启动时间，那么就确定该数据监控任务满足了其自身对应的启动条件，监控服务器会执行该满足了自身对应的启动条件的数据监控任务。

在一个实施方式中，如图3所示，用户在监控服务器配置数据监控任务的过程，包括如下步骤：

S210：接收用户的监控任务配置指令。

S220：获取与任务配置指令关联的监控任务配置信息。

S230：根据监控任务配置信息生成数据监控任务，数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

在本实施方式中，监控服务器可以提供一个任务配置页面给用户，由用户通过任务配置页面来配置任务的相关信息，当用户完成数据监控任务的配置后，通过该任务配置页面向监控服务器下发监控任务配置指令，监控服务器会获取与该任务配置指令关联的监控任务配置信息，其中，监控任务配置信息是用户在任务配置页面上配置数据监控任务时的操作信息(比如，用户勾选的预设监控任务的启动频率、要监控的数据来源等)和输入信息(比如，用户输入的数据监控任务名称、监控任务的启动时间等)。然后监控服务器将获取的该监控任务配置信息进行数据转换，确定用户的操作信息和输入信息分别对应的信息，并将这些信息进行组合，组合得到数据监控任务，然后将组合得到的数据监控任务存储到用于存储数据监控任务的预设数据库中。

需要说明的是，数据监控任务可以包括待监控数据标识、数据监控规则和监控任务启动条件这三种信息。

其中，待监控数据标识用于确定该数据监控任务要监控的数据(即待监控数据)，包括能够提供待监控数据的目标业务服务器的服务器标识，以及提供给该目标业务服务器的用于获得待监控数据的数据标识。需要说明的是，该数据标识可以是待监控数据在目标业务服务器中对应的数据标识，也可以是目标业务服务器通过该数据标识就能够确定待监控数据在本服务器中对应的数据标识的中介标识，可以理解的，该中介标识与该待监控数据在目标业务服务器中对应的数据标识之间具有预先建立的映射关系。比如，用户想要监控A业务服务器里面在B维度下的C指标的数据，那么用户可以配置数据监控任务对应的待监控数据标识为“A；B_C”，其中，第一项“A”表示的是服务器标识，第二项“B_C”表示的是数据标识；如果用户想要监控A业务服务器里面在B维度下的所有指标的数据，那么用户可以配置数据监控任务对应的待监控数据标识为“A；B”，服务器标识为“A”，数据标识为“B”。当然，上述例子中的待监控数据标识“A；B_C”是为了帮助阅读者理解而提供的，本实施例中的待监控数据标识的表示形式可以由开发人员根据本实施例的不同应用场景进行具体配置，比如，可以配置为“A-B_C”、“A/B_C”等，待监控数据标识中的数据指标标识配置项的表示形式也可以由开发人员根据本实施例的不同应用场景进行具体配置，本实施例对此不进行具体限制。

数据监控规则用于确定该待监控数据标识对应的数据对应的监控结果。监控任务启动条件用于确定当前是否执行数据监控任务，具体地，如果当前时间到达数据监控任务的启动时间，那么可以确定数据监控任务对应的监控任务启动条件满足了，监控服务器会执行该数据监控任务。

进一步地，用户可以为数据监控任务配置在预设时间区间(时间区间的起始点和终止点可以由用户根据具体场景进行配置)内的周期性启动时间，比如，在2019年1月1日-2019年2月1日期间，每小时执行一次数据监控任务或每24小时执行一次数据监控任务等；用户也可以为数据监控任务配置非周期性的启动时间，比如，将2019年1月1日12:00、13:00、17:00这三个时间点配置为数据监控任务的启动时间。可以理解的，用户可以根据具体场景选择为数据监控任务配置周期性的或非周期性的启动时间。更进一步地，用户可以为数据监控任务配置周期性的启动时间，当监控服务器运行时，如果确定当前时间到达该数据监控任务对应的启动时间，监控服务器就执行数据监控任务。还可以设置一个用于开启和关闭数据监控任务的开关，方便用户开启或暂停数据监控任务。

S120：确定数据监控任务对应的待监控数据标识和数据监控规则。

在本实施例中，监控服务器在确定了满足启动条件的数据监控任务之后，从预设数据库中确定与该满足启动条件的数据监控任务对应的待监控数据标识和数据监控规则。

S130：从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器。

在本实施例中，监控服务器从待监控数据库中获取与待监控数据标识对应的数据作为该满足启动条件的数据监控任务对应的待监控数据。其中，该待监控数据库专门用于存储与监控服务器对接的业务服务器推送来的数据，需要说明的是，由于监控服务器监控数据时，需要相关业务服务器先将需要监控的数据推送给监控服务器，然后监控服务器再对接收到的数据进行监控，当需要监控的数据量较大时，业务服务器推送数据以及监控服务器存储数据的过程中会产生较大的耗时，因此，监控服务器得到最终的监控结果的时间相比数据在相关业务服务器中产生的时间可能会比较晚，如果监控结果显示数据有异常，那么相关人员就无法及时对该数据的异常情况进行问题排查和解决问题，因此，在本实施例中，业务服务器推送给监控服务器的数据属于非实时监控类型的数据，非实时监控类型是指该数据出现异常时，相关人员可以晚一点对异常情况进行处理。具体地，开发人员可以预先为所有需要监控的数据配置好对应的监控类型，监控类型包括非实时监控类型和实时监控类型，比如，将A业务服务器里面在B维度下的C指标的数据配置为非实时监控类型，将A业务服务器里面在C维度下的D指标的数据配置为实时监控类型。

S140：根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

在本实施例中，当监控服务器获取到待监控数据后，就根据数据监控规则对待监控数据进行检验，从而得到待监控数据对应的监控结果。

本实施例中，监控服务器先确定满足启动条件的数据监控任务，然后确定数据监控任务对应的待监控数据标识和数据监控规则，接着从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，最后根据数据监控规则对待监控数据进行检验，即可得到待监控数据对应的监控结果，用户只需要配置一个数据监控任务就能够同时监控多个业务服务器中的数据，提高对多个服务器上的数据进行监控的效率。

如图4所示，在一实施例中，步骤S140：根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果，具体包括以下步骤：

S141：根据待监控数据确定各个监控指标对应的指标值；

S142：根据各个监控指标对应的指标检验逻辑对各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，指标检验结果包括指标正常或指标异常；

S143：根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果。

在本实施例中，该数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，该指标检验逻辑用于确定与其对应的监控指标的指标检验结果。用户可以通过监控服务器同时对多个监控指标进行监控，该多个监控指标对应的数据可以来自多个业务服务器，当然也可以只来自一个业务服务器。用户可以根据自己的监控需求为数据监控任务配置相应的监控指标，以及与监控指标对应的指标检验逻辑，指标检验逻辑可以是将监控指标的指标值与用户预先配置的指标阈值进行对比，得到对比结果，若对比结果为预设对比结果，确定监控指标对应的指标检验结果为指标正常，若对比结果不为预设对比结果，确定监控指标对应的指标检验结果为指标异常，其中，预设对比结果可以是该指标值比指标阈值大或小，也可以是该指标值不比指标阈值大或小。

其中，监控指标对应的指标值由监控服务器根据待监控数据来获得。在不同的场景中待监控数据的内容可能不同，待监控数据的内容可以是日志文件，也可以是统计数据(即经过业务服务器初步处理过的数据)，因此，监控服务器根据待监控数据获得监控指标的指标值的方式需要根据待监控数据的内容形式以及监控指标的类型来确定。

如果待监控数据是统计数据，那么监控服务器可以直接从统计数据中获取相应的指标值，进而对该指标值进行后续操作。如果待监控数据是日志文件，那么监控服务器需要对待监控数据进行整理、分析操作，以从中提取到监控指标对应的指标值。比如，监控指标是“每个小时内执行进度异常的HIVE任务数量”，这个监控指标需要对日志的内容进行分析，每个HIVE任务都对应一个日志，要判断HIVE任务的执行进度是否异常，需要读取日志中的信息，比如执行时长信息，假如执行时长超越某个阈值，那么就确定HIVE任务属于执行进度异常的HIVE任务，对于这个监控指标，如果业务服务器直接将近一小时内的所有HIVE任务的日志都推送给监控服务器，那么监控服务器就需要提取接收到的日志对应的执行时长信息，进而判断各个HIVE任务是否属于执行进度异常，当完成所有HIVE任务的判断后，再统计出这批HIVE任务中属于执行进度异常的总的HIVE任务数量。

进一步地，该用户预先配置的指标阈值可以是指固定阈值(比如，1、10、50％、80％等)，比如，在一个游戏运营场景中，用户可以为某个数据监控任务配置以下监控指标：“近一小时内在线用户数量”、“当前注册用户数量”、“充值用户数量”，并为各个监控指标配置相应指标检验逻辑，比如可以为“在线用户数量”配置指标检验逻辑为，当“在线用户数量”的指标值少于1000时，确定“在线用户数量”这个监控指标对应的指标检验结果为指标异常。该用户预先配置的指标阈值也可以是动态阈值，比如，监控指标在数据监控任务上一次执行时对应的指标值、监控指标在数据监控任务前三次执行时对应的指标值的平均值等等。可以理解的，当监控指标对应的指标阈值是动态阈值时，监控服务器在确定该监控指标对应的指标检验结果时，需要先确定该监控指标对应的指标阈值，然后再执行将监控指标的指标值与该指标阈值进行对比的相关操作。

更进一步地，该用户预先配置的指标阈值可以包括不止一个阈值，还可以既包括固定阈值，也包括动态阈值，此时，相应的指标检验逻辑可以是，将监控指标的指标值与第一预设阈值(既可以是固定阈值也可以是动态阈值)对比，得到第一对比结果，将第一对比结果与第二预设阈值对比，得到第二对比结果，若第二对比结果为预设对比结果，确定监控指标对应的指标检验结果为指标正常，若第二对比结果不为预设对比结果，确定监控指标对应的指标检验结果为指标异常，其中的第一预设阈值和第二预设阈值既可以是固定阈值也可以是动态阈值。比如，用户预先配置的指标阈值包括两个阈值，一个是10％，一个是监控指标在数据监控任务上一次执行时对应的指标值，相应的指标检验逻辑可以是，当监控指标的当前指标值比该监控指标在数据监控任务上一次执行时对应的历史指标值大或小10％时，确定监控指标对应的指标检验结果为指标正常，反之，则确定监控指标对应的指标检验结果为指标异常。

具体地，监控服务器根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果的步骤，包括：

若数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定待监控数据对应的监控结果为数据监控正常；

若数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定待监控数据对应的监控结果为数据监控异常。

其中，如果数据监控任务的所有监控指标对应的指标检验结果都是指标正常，那么监控服务器可以确定该待监控数据在本次数据监控任务执行中的监控结果为数据监控正常；如果数据监控任务的所有监控指标中存在一个监控指标对应的指标检验结果为指标异常，那么监控服务器确定该待监控数据在本次数据监控任务执行中的监控结果为数据监控异常。

进一步地，该数据监控方法还包括以下步骤：

确定至少一个监控指标中指标检验结果是指标异常的监控指标；

确定指标异常的监控指标对应的告警对象和告警渠道；

通过告警渠道向告警对象发送告警信息。

在本实施例中，监控服务器在确定某个或某些监控指标的指标检测结果为指标异常后，就确定出这些指标异常的监控指标，并进一步确定这些指标异常的监控指标对应的用户在配置数据监控任务时已经配置好的告警对象(即用户预设的接收人)和各个告警对象对应的告警渠道，通过各个告警对象对应的告警渠道向各个告警对象发送告警信息，让相关告警对象能够及时了解到该数据监控任务在本次执行时监控到的数据异常情况。其中，告警渠道可以包括邮件、微信、QQ、短信、内部管理系统中至少一种渠道。

待监控数据库中存储的数据可以是，当用户确定了要监控的数据后，与各个相关业务服务器的管理员沟通，让管理员将其负责管理的业务服务器上的相关数据推送给监控服务器，由监控服务器将相关数据进行存储。考虑到业务服务器推送给监控服务器的数据，有可能不是监控服务器要的数据，因此，在一种可能的实施方式中，业务服务器可以先向监控服务器发送其准备推送的数据的数据标识(比如，数据维度、监控指标等信息)，当监控服务器接收到该数据标识后，将该数据标识与预先配置的数据标识白名单中的多条记录进行比对，如果有匹配的记录，那么确定业务服务器要推送的数据是用户指定要监控数据，进而让业务服务器继续推送相关数据，反之，则确定业务服务器要推送的数据不是用户指定要的数据，此时不接收该数据。

然而，这种需要人工介入来向监控服务器推送待监控数据的方式，需要投入相当多的人力资源，并且操作上比较繁琐，当监控服务器需要监控的业务服务器越来越来多时，这种方式会影响到数据的监控效率。因此，可以在各个业务服务器上安装一个服务程序，如web服务程序，业务服务器通过该服务程序来与监控服务器进行交互。

在一个实施例中，如图5所示，监控服务器根据监控任务配置信息生成数据监控任务之后，还执行以下步骤：

S240：确定待监控数据标识对应的目标业务服务器。

S250：向目标业务服务器发送数据采集请求信息，数据采集请求信息是根据待监控数据标识和数据监控规则生成的。

S260：接收目标业务服务器推送的根据数据采集请求信息采集的目标数据。

S270：将目标数据按照预设存储规则存储到待监控数据库中。

在本实施例中，当监控服务器根据监控任务配置信息生成数据监控任务之后，确定生成的该数据监控任务中的待监控数据标识和数据监控规则，并进而确定该待监控数据标识对应的业务服务器，即目标业务服务器，具体可以通过待监控数据标识中的服务器标识来确定目标业务服务器。然后监控服务器向目标业务服务器发送数据采集请求信息，目标业务服务器上的服务程序接收到该数据采集请求信息后，根据该数据采集请求信息来获取相关数据，并将相关数据发送给监控服务器。

在一个实施方式中，监控服务器接收目标业务服务器推送的根据数据采集请求信息采集的目标数据的步骤，具体包括：

接收目标业务服务器按照数据推送要求推送的目标数据，目标数据是目标业务服务器根据数据处理要求对目标数据标识对应的数据进行处理得到的数据。

在本实施方式中，该数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求。其中，目标数据标识是指目标业务服务器确定待监控数据所需的数据标识，可以是待监控数据在目标业务服务器中对应的数据标识，也可以是目标业务服务器通过该数据标识就能够确定待监控数据在本服务器中对应的数据标识的中介标识。数据推送要求用于确定目标业务服务器推送数据的时间要求，比如，每小时推送一次数据、每天01:00点推送一次数据。需要说明的是，不同的数据监控任务对应的数据推送要求可能不同，比如，某数据监控任务的监控指标是“当日注册用户数量”，那么相关业务服务器可以每天推送一次数据，而对于监控指标“每小时登录用户数量”，则需要相关业务服务器可以每小时、或者每半小时推送一次数据，才能使监控服务器在执行相关数据监控任务时能够获得过去一小时内的登录用户数量数据。

当目标业务服务器接收到监控服务器发送的数据采集请求信息后，从中获取目标数据标识、数据处理要求和数据推送要求，先从本服务器(可以是自身的数据库或者外接的数据库)中获取与目标数据标识对应的数据，然后根据数据处理要求对该与目标数据标识对应的数据进行处理，得到处理后的数据(即目标数据)，将该处理后的数据按照该数据推送要求推送给监控服务器。也就是说，本实施例中目标业务服务器在将相关数据推送给监控服务器之前需要按照监控服务器发送的数据处理要求对数据进行处理，比如，目标业务服务器将采集到的数据按照数据监控任务对应的数据维度信息、监控指标信息进行整理，存储到预设的数据存储表中，并在数据映射表中记录该数据维度信息与监控指标信息的具体值，从而通过该数据映射表能够确定各个数据维度和/或各个监控指标在数据存储表中对应的数据。因为不同的业务服务器采集到的数据可能格式类型不同，文件内容不同等情况，如果业务服务器直接将相关的数据未经处理发送给监控服务器，那么监控服务器为了方便后续的数据处理操作，在接收到业务服务器推送的数据后，需要将接收到的数据进行整理为统一格式，考虑到当对接的业务服务器数量越来越多且需要监控的数据的类型越来越丰富时，监控服务器需要耗费大量计算资源用于处理接收到的数据，因此，在本实施例中，由监控服务器向各个业务服务器发送数据处理要求，由各个业务服务器按照该数据处理要求对其要推送的数据进行预处理，使得监控服务器在接收到数据后能够直接进行数据处理，降低了监控服务器的计算负荷，能够更合理充分地利用到业务服务器的计算资源。

在一个实施例中，如图6所示，提供了一种数据监控装置，包括以下模块：

监控任务确定模块110，用于确定满足启动条件的数据监控任务；

标识规则确定模块120，用于确定数据监控任务对应的待监控数据标识和数据监控规则；

待监控数据获取模块130，用于从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器；

数据监控模块140，用于根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

在一个实施例中，数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，指标检验逻辑用于确定与其对应的监控指标的指标检验结果；

该数据监控模块，包括：

指标值确定子模块，用于根据待监控数据确定各个监控指标对应的指标值；

检验子模块，用于根据各个监控指标对应的指标检验逻辑对各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，指标检验结果包括指标正常或指标异常；

数据监控子模块，用于根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果。

在一个实施例中，数据监控子模块，还用于当数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定待监控数据对应的监控结果为数据监控正常；当数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定待监控数据对应的监控结果为数据监控异常。

在一个实施例中，该数据监控装置还包括以下模块：

异常指标确定模块，用于确定至少一个监控指标中指标检验结果是指标异常的监控指标；

告警信息确定模块，用于确定指标异常的监控指标对应的告警对象和告警渠道；

告警模块，用于通过告警渠道向告警对象发送告警信息。

在一个实施例中，该数据监控装置还包括以下模块：

配置指令接收模块，用于接收用户的监控任务配置指令；

配置信息获取模块，用于获取与任务配置指令关联的监控任务配置信息；

监控任务生成模块，用于根据监控任务配置信息生成数据监控任务，数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

在一个实施例中，该数据监控装置在执行该监控任务生成模块对应的功能后，还执行以下模块对应的功能：

目标服务器确定模块，用于确定待监控数据标识对应的目标业务服务器；

要求信息发送模块，用于向目标业务服务器发送数据采集请求信息，数据采集请求信息是根据待监控数据标识和数据监控规则生成的；

目标数据接收模块，用于接收目标业务服务器推送的根据数据采集请求信息采集的目标数据；

目标数据存储模块，用于将目标数据按照预设存储规则存储到待监控数据库中。

在一个实施例中，数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求；

目标数据接收模块，还用于接收目标业务服务器按照数据推送要求推送的目标数据，目标数据是目标业务服务器根据数据处理要求对目标数据标识对应的数据进行处理得到的数据。

关于数据监控装置的具体限定可以参见上文中对于数据监控方法的限定，在此不再赘述。上述数据监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务服务器推送的数据，还可以用于存储数据监控任务等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据监控方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

确定满足启动条件的数据监控任务；确定数据监控任务对应的待监控数据标识和数据监控规则；从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器；根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

在一个实施例中，数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，指标检验逻辑用于确定与其对应的监控指标的指标检验结果；处理器执行计算机程序，实现根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果时，还实现以下步骤：

根据待监控数据确定各个监控指标对应的指标值；根据各个监控指标对应的指标检验逻辑对各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，指标检验结果包括指标正常或指标异常；根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果。

在一个实施例中，处理器执行计算机程序，实现根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果时，还实现以下步骤：

若数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定待监控数据对应的监控结果为数据监控正常；若数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定待监控数据对应的监控结果为数据监控异常。

在一个实施例中，处理器执行计算机程序，还实现以下步骤：

确定至少一个监控指标中指标检验结果是指标异常的监控指标；确定指标异常的监控指标对应的告警对象和告警渠道；通过告警渠道向告警对象发送告警信息。

在一个实施例中，处理器执行计算机程序，还实现以下步骤：

接收用户的监控任务配置指令；

获取与任务配置指令关联的监控任务配置信息；

根据监控任务配置信息生成数据监控任务，数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

在一个实施例中，处理器执行计算机程序，实现根据监控任务配置信息生成数据监控任务之后，还实现以下步骤：

确定待监控数据标识对应的目标业务服务器；向目标业务服务器发送数据采集请求信息，数据采集请求信息是根据待监控数据标识和数据监控规则生成的；接收目标业务服务器推送的根据数据采集请求信息采集的目标数据；将目标数据按照预设存储规则存储到待监控数据库中。

在一个实施例中，数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求；处理器执行计算机程序时，实现接收目标业务服务器推送的根据数据采集请求信息采集的目标数据时，还实现以下步骤：

接收目标业务服务器按照数据推送要求推送的目标数据，目标数据是目标业务服务器根据数据处理要求对目标数据标识对应的数据进行处理得到的数据。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定满足启动条件的数据监控任务；确定数据监控任务对应的待监控数据标识和数据监控规则；从待监控数据库中获取与待监控数据标识对应的数据作为待监控数据，待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，与待监控数据标识对应的数据来自至少一个业务服务器；根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果。

在一个实施例中，数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，指标检验逻辑用于确定与其对应的监控指标的指标检验结果；计算机程序被处理器执行，根据数据监控规则对待监控数据进行检验，得到待监控数据对应的监控结果时，还实现以下步骤：

根据待监控数据确定各个监控指标对应的指标值；根据各个监控指标对应的指标检验逻辑对各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，指标检验结果包括指标正常或指标异常；根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果。

在一个实施例中，计算机程序被处理器执行，根据各个监控指标对应的指标检验结果确定待监控数据对应的监控结果时，还实现以下步骤：

若数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定待监控数据对应的监控结果为数据监控正常；若数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定待监控数据对应的监控结果为数据监控异常。

在一个实施例中，计算机程序被处理器执行，还实现以下步骤：

确定至少一个监控指标中指标检验结果是指标异常的监控指标；确定指标异常的监控指标对应的告警对象和告警渠道；通过告警渠道向告警对象发送告警信息。

在一个实施例中，计算机程序被处理器执行，还实现以下步骤：

接收用户的监控任务配置指令；

获取与任务配置指令关联的监控任务配置信息；

根据监控任务配置信息生成数据监控任务，数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

在一个实施例中，计算机程序被处理器执行，根据监控任务配置信息生成数据监控任务之后，还实现以下步骤：

确定待监控数据标识对应的目标业务服务器；向目标业务服务器发送数据采集请求信息，数据采集请求信息是根据待监控数据标识和数据监控规则生成的；接收目标业务服务器推送的根据数据采集请求信息采集的目标数据；将目标数据按照预设存储规则存储到待监控数据库中。

在一个实施例中，数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求；计算机程序被处理器执行时，接收目标业务服务器推送的根据数据采集请求信息采集的目标数据时，还实现以下步骤：

接收目标业务服务器按照数据推送要求推送的目标数据，目标数据是目标业务服务器根据数据处理要求对目标数据标识对应的数据进行处理得到的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据监控方法，其特征在于，包括：

确定满足启动条件的数据监控任务；

确定所述数据监控任务对应的待监控数据标识和数据监控规则；

从待监控数据库中获取与所述待监控数据标识对应的数据作为待监控数据，所述待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，所述与所述待监控数据标识对应的数据来自至少一个业务服务器；

根据所述数据监控规则对所述待监控数据进行检验，得到所述待监控数据对应的监控结果。

2.如权利要求1所述的数据监控方法，其特征在于，

所述数据监控规则包括至少一个监控指标以及各个监控指标对应的指标检验逻辑，所述指标检验逻辑用于确定与其对应的监控指标的指标检验结果；

所述根据所述数据监控规则对所述待监控数据进行检验，得到所述待监控数据对应的监控结果，包括：

根据所述待监控数据确定各个监控指标对应的指标值；

根据所述各个监控指标对应的指标检验逻辑对所述各个监控指标对应的指标值进行检验，得到各个监控指标对应的指标检验结果，所述指标检验结果包括指标正常或指标异常；

根据所述各个监控指标对应的指标检验结果确定所述待监控数据对应的监控结果。

3.如权利要求2所述的数据监控方法，其特征在于，

所述根据所述各个监控指标对应的指标检验结果确定所述待监控数据对应的监控结果，包括：

若所述数据监控规则包括的所有监控指标的指标检验结果都是指标正常，确定所述待监控数据对应的监控结果为数据监控正常；

若所述数据监控规则包括的所有监控指标中，存在任一个指标检验结果是指标异常的监控指标，确定所述待监控数据对应的监控结果为数据监控异常。

4.如权利要求2所述的数据监控方法，其特征在于，还包括：

确定所述至少一个监控指标中指标检验结果是指标异常的监控指标；

确定所述指标异常的监控指标对应的告警对象和告警渠道；

通过所述告警渠道向所述告警对象发送告警信息。

5.如权利要求1所述的数据监控方法，其特征在于，还包括：

接收用户的监控任务配置指令；

获取与所述任务配置指令关联的监控任务配置信息；

根据所述监控任务配置信息生成数据监控任务，所述数据监控任务包括待监控数据标识、数据监控规则和监控任务启动条件。

6.如权利要求5所述的数据监控方法，其特征在于，

所述根据所述监控任务配置信息生成数据监控任务，之后包括：

确定所述待监控数据标识对应的目标业务服务器；

向所述目标业务服务器发送数据采集请求信息，所述数据采集请求信息是根据所述待监控数据标识和所述数据监控规则生成的；

接收所述目标业务服务器推送的根据所述数据采集请求信息采集的目标数据；

将所述目标数据按照预设存储规则存储到所述待监控数据库中。

7.如权利要求6所述的数据监控方法，其特征在于，

所述数据采集请求信息包括目标数据标识、数据处理要求和数据推送要求；

所述接收所述目标业务服务器推送的根据所述数据采集请求信息采集的目标数据，包括：

接收所述目标业务服务器按照所述数据推送要求推送的目标数据，所述目标数据是所述目标业务服务器根据所述数据处理要求对所述目标数据标识对应的数据进行处理得到的数据。

8.一种数据监控装置，其特征在于，包括：

监控任务确定模块，用于确定满足启动条件的数据监控任务；

标识规则确定模块，用于确定所述数据监控任务对应的待监控数据标识和数据监控规则；

待监控数据获取模块，用于从待监控数据库中获取与所述待监控数据标识对应的数据作为待监控数据，所述待监控数据库用于存储多个业务服务器推送的非实时监控类型的数据，所述与所述待监控数据标识对应的数据来自至少一个业务服务器；

数据监控模块，用于根据所述数据监控规则对所述待监控数据进行检验，得到所述待监控数据对应的监控结果。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images