CN113779117A - 一种数据监控方法、装置、存储介质和电子设备 - Google Patents

Abstract

本申请实施例公开了一种数据监控方法、装置、存储介质和电子设备，所述方法包括：显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。该方案使得用户能够及时获取数据监控结果。

Description

一种数据监控方法、装置、存储介质和电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种数据监控方法、装置、存储介质和电子设备。

背景技术

数据监控是一种及时有效地对数据异常情况进行反馈的手段，通过对数据进行监控，分析数据是否异常，以便发现潜在问题并且及时告警。但是现有技术中，由于数据监控是将数据输出到业务的数据库，并以配置报表的方式进行展示，因此当用户需要进行数据监控时，就需要主动查看报表，或者等待定点推送的报告，这样无疑会影响用户获取监控数据的及时性。

发明内容

本申请实施例提供一种数据监控方法、装置、存储介质和电子设备，该方案使得用户能够及时获取数据监控结果。

本申请实施例提供一种数据监控方法，包括：

显示监控任务创建界面，所述监控任务创建界面为供用户创建数据监控任务的界面，所述监控任务创建界面包括多个编辑控件；

基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息；

基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务；

执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测；

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果；

实时显示所述数据监控结果。

相应的，本申请实施例还提供一种数据监控装置，包括：

界面显示模块，用于显示监控任务创建界面，所述监控任务创建界面为供用户创建数据监控任务的界面，所述监控任务创建界面包括多个编辑控件；

确定模块，用于基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息；

创建模块，用于基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务；

执行模块，用于执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测；

监控模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果；

结果显示模块，用于实时显示所述数据监控结果。

则此时，所述创建模块具体可以用于调用计算平台任务接口，当调用所述计算平台任务接口成功时，基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务。

则此时，所述执行模块具体可以用于从多个候选任务中确定需要监控的目标任务，从所述目标任务对应的多个待处理数据中，确定需要处理的目标待处理数据，针对所述目标待处理数据执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测。

可选的，在一些实施例中，所述监控模块可以包括执行子模块和写入子模块，如下：

执行子模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据；

写入子模块，用于将所述初始监控数据写入预设页面模板，得到数据监控结果。

可选的，在一些实施例中，所述执行子模块可以包括第二执行子模块、格式转换子模块和构建子模块，如下：

第二执行子模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据中的多个监控对象执行所述数据监控任务，得到每个所述监控对象对应的初始监控子数据；

格式转换子模块，用于对每个所述初始监控子数据进行格式转换，得到多个转换后监控子数据；

构建子模块，用于基于所述多个转换后监控子数据，构建初始监控数据。

则此时，所述执行模块具体可以用于当检测到所述多个转换后监控子数据的数据完整性满足预设标准时，解析所述多个转换后监控子数据，得到多个解析后监控子数据，合并所述多个解析后监控子数据，得到初始监控数据。

则此时，所述确定模块具体可以用于基于针对所述第一监控任务创建界面中所述编辑控件的输入操作，确定输入的目标任务的任务属性信息，基于针对所述第二监控任务创建界面中所述编辑控件的输入操作，确定针对所述目标任务的监控规则信息。

此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种数据监控方法中的步骤。

此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种数据监控方法中的步骤。

本申请实施例可以显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。该方案使得用户能够及时获取数据监控结果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的数据监控系统的场景示意图；

图2是本申请实施例提供的数据监控方法的第一流程图；

图3是本申请实施例提供的数据监控方法的第二流程图；

图4是本申请实施例提供的第一监控任务创建界面；

图5是本申请实施例提供的第二监控任务创建界面；

图6是本申请实施例提供的数据监控方法的第三流程图；

图7是本申请实施例提供的数据监控方法的第四流程图；

图8是本申请实施例提供的数据监控方法的第五流程图；

图9是本申请实施例提供的数据监控结果示意图；

图10是本申请实施例提供的第一任务部署示意图；

图11是本申请实施例提供的第二任务部署示意图；

图12是本申请实施例提供的第一任务执行示意图；

图13是本申请实施例提供的第二任务执行示意图；

图14是本申请实施例提供的数据监控装置的结构示意图；

图15是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供一种数据监控方法、装置、存储介质和电子设备。具体地，本申请实施例的数据监控方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，参见图1，以该数据监控方法由电子设备执行为例，该电子设备可以显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例提供了一种数据监控方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以数据监控方法由服务器执行为例来进行说明，如图2所示，该数据监控方法的具体流程可以如下：

201、显示监控任务创建界面。

其中，任务是计算机的工作单位，利用任务，可以将脚本、程序或者文档等安排在预设的时间运行。比如，设定在每月的固定日期统计数据，从而获取每月的返佣金额就是一种任务。其中，任务的任务属性信息是能够指向具体任务的信息，比如，可以将任务的名称作为一种任务属性信息。

其中，数据监控是一种及时有效地对数据异常情况进行反馈的手段，通过对数据进行监控，分析数据是否异常，以便发现潜在问题并且及时告警。

其中，监控任务创建界面是为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件。比如，如图4和图5所示，该监控任务创建界面是一种广泛的概念，只要是编辑了数据监控任务相关信息的界面都可以称为监控任务创建界面，本申请中监控任务创建界面可以包括如图4所示的第一监控任务创建界面、以及如图5所示的第二监控任务创建界面。

在实际应用中，比如，当需要创建数据监控任务时，开发人员可以通过点击查询界面上“新增监控任务”的按钮，触发监控任务创建请求，并根据该监控任务创建请求显示如图4和图5所示的监控任务创建界面，开发人员可以针对监控任务创建界面的多个编辑控件进行信息编辑。

202、基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息。

其中，监控规则信息是在数据监控的过程中，预先设置的对数据进行监控的一种规则信息，通过该监控规则信息，就可以得知需要监控的对象、以及对该对象进行监控的规则，该监控规则信息可以通过语句的形式进行表示。比如，在某个任务执行结束后，得到相应的结果数据表，该结果数据表中包括四个字段：ID-编号、username-用户名称、age-年龄、以及trade_cnt-交易笔数，当用户想要检查结果数据表中的用户名称是否有重复时，就可以根据该数据监控的规则编写相应的SQL代码，该编辑后的SQL代码就可以称为监控规则信息。其中，结构化查询语言(Structured Query Language，SQL)是一种数据库查询和程序设计语言，用于存取数据以及查询、更新、以及管理关系数据库系统。

在实际应用中，比如，本申请的数据监控方法针对的是目标任务，在目标任务执行完毕后，会得到任务执行结果数据，现需要对该任务执行结果数据进行数据监控，那么就需要建立针对该任务执行结果数据的数据监控任务。在创建数据监控任务的过程中，首先要确定该数据监控任务针对的任务执行结果数据所属的是哪个任务，也即目标任务的任务属性信息，还需要确定如何对该任务执行结果数据进行监控，也即针对目标任务的监控规则信息。

在一实施例中，可以通过对监控任务创建界面进行编辑的方式，获取创建数据监控任务所必需的信息。具体地，步骤“基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息”，可以包括：

基于针对所述第一监控任务创建界面中所述编辑控件的输入操作，确定输入的目标任务的任务属性信息；

基于针对所述第二监控任务创建界面中所述编辑控件的输入操作，确定针对所述目标任务的监控规则信息。

其中，第一监控任务创建界面主要是针对数据监控任务进行监控基础信息的配置，该第一监控任务创建界面中可以包括多个编辑控件，每个编辑控件相应地针对一种编辑信息。比如，如图4所示，在目标任务执行结束后，得到结果数据表，该结果数据表中包括四个字段：ID-编号、username-用户名称、age-年龄、以及trade_cnt-交易笔数，当用户想要检查结果数据表中用户名称是否有重复时，就可以建立相应的数据监控任务。此时第一监控任务创建界面中的“业务中文名称”就是数据监控任务的名称“重复数据检查监控”；“通知类型”是指得到数据监控结果之后，以何种方式通知结果接收方，可以为“邮件”；任务周期是指执行目标任务的周期，若一个月执行一次目标任务，该任务周期可以编辑为“月”等等。

其中，第二监控任务创建界面主要是针对数据监控任务进行监控规则信息的配置，该第二监控任务创建界面中可以包括多个编辑控件，每个编辑控件相应地针对一种编辑信息。比如，如图5所示，在目标任务执行结束后，得到结果数据表，该结果数据表中包括四个字段：ID-编号、username-用户名称、age-年龄、以及trade_cnt-交易笔数，当用户想要检查结果数据表中用户名称是否有重复时，就可以建立相应的数据监控任务。此时第二监控任务创建界面中的“标题”可以为“数据重复检查”；“SQL代码”就填写相应的SQL语句；由于要检查用户名称是否重复，因此相应的“表头英文字段”为“username，repeat_cnt”；“表头中文含义”即为查询字段的含义“用户名称，重复出现次数”；“限制记录数”表示最终显示数据监控结果时所能够显示的最大记录数，可以设置为“200”等等。

在实际应用中，比如，当需要创建数据监控任务时，开发人员可以通过点击查询界面上“新增监控任务”的按钮，触发监控任务创建请求，并显示如图4所示的第一监控任务创建界面，开发人员可以针对第一监控任务创建界面的多个编辑控件进行信息编辑，编辑完成后，可以通过点击第一监控任务创建界面的“保存”按钮进行信息保存，并跳转显示如图5所示的第二监控任务创建界面，然后开发人员可以针对第二监控任务创建界面的多个编辑控件进行信息编辑，编辑完成后，可以通过点击第二监控任务创建界面的预设区域进行信息保存，该点击操作即为针对第二监控任务创建界面的信息编辑完成操作，此时便可以根据开发人员方才的编辑操作，获取到目标任务的任务属性信息、以及针对目标任务的监控规则信息。对监控任务创建界面编辑完成后，还可以将所编辑的信息进行存储，以方便后续操作流程。

203、基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务。

在实际应用中，比如，获取到任务属性信息、以及监控规则信息后，就可以创建相应的数据监控任务，该数据监控任务用于监控目标任务对应的任务执行结果数据。

在一实施例中，具体地，步骤“基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务”，可以包括：

调用计算平台任务接口；

当调用所述计算平台任务接口成功时，基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务。

在实际应用中，比如，如图6所示，编辑完数据监控任务所需的信息之后，可以调用大数据计算平台任务接口，当大数据计算平台任务接口调用成功时，则根据任务属性信息、以及监控规则信息，生成目标任务对应的数据监控任务；若调用不成功，则返回调用大数据计算平台任务接口的步骤，直至生成数据监控任务。创建数据监控任务完成后，可以显示如图11所示的任务部署成功的界面，其中，“任务3”就指代目标任务，数据监控任务创建成功后，就会在界面上通过箭头形式显示目标任务与数据监控任务之间的关系。

利用这种方法可以大大提升该数据监控方法的灵活性，使得用户可以根据实际的需求进行数据监控任务的创建，当需要创建不同的数据监控任务时，只要对相应的编辑信息进行调整即可，并且在界面上对信息进行编辑、修改，会使得数据监控任务的创建方便又快捷。

204、执行目标任务，并对目标任务的任务执行结果数据进行实时检测。

在实际应用中，比如，可以对目标任务发起计算或重跑，由于数据监控任务需要监控的是目标任务执行后生成的任务执行结果数据，因此需要对目标任务的任务执行结果数据的数据状态进行实时检测，也即检测是否生成了可以进行监控的任务执行结果数据。

在一实施例中，由于任务有多个，可以根据实际需求选择目标任务进行任务执行。具体地，步骤“执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测”，可以包括：

从多个候选任务中确定需要监控的目标任务；

从所述目标任务对应的多个待处理数据中，确定需要处理的目标待处理数据；

针对所述目标待处理数据执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测。

在实际应用中，比如，如图11所示，图中左侧一列的多个任务“任务1”、“任务2”、“任务3”、“任务4”、以及“任务5”是需要被监控的任务，从这些任务中选取任务3作为目标任务，开发人员可以通过点击“任务3”所在的任务区域，将任务3确定为目标任务。此时，如图10所示，开发人员可以在弹出的弹窗中选择“查看实例”，此时会显示如图12所示的界面，可以看到，该界面中包括目标任务对应待处理数据的数据列表，其中，该数据列表中包括多个待处理数据“2020-04-0100：00：00”、“2020-03-0100：00：00”、以及“2020-02-0100：00：00”，由于目标任务每个月都会执行一次，每次执行时针对的待处理数据都不同，因此，“2020-04-0100：00：00”表示4月份对应的待处理数据、“2020-03-0100：00：00”表示3月份对应的待处理数据、“2020-02-0100：00：00”表示2月份对应的待处理数据。在执行目标任务时，可以选择一项待处理数据进行执行，如可以将2月份对应的待处理数据确定为目标待处理数据，然后点击“实例重跑”按钮，针对2月份对应的待处理数据执行目标任务。

205、当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果。

在实际应用中，比如，当目标任务开始发起计算，生成任务执行结果数据时，任务就执行到了监控流程，此时就可以进行数据监控任务的计算，并得到数据监控结果。

具体地，步骤“当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果”，可以包括：

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据；

将所述初始监控数据写入预设页面模板，得到数据监控结果。

在实际应用中，比如，如图13所示，当检测到存在任务执行结果数据时，就说明此时任务已经执行到了数据流程，就可以针对该任务执行结果执行数据监控任务，并得到初始监控数据，此时，界面会在相应目标待处理数据的“状态”处显示“执行成功”，并显示开始时间和执行时长，以便用户了解任务执行的状态。然后基于该初始监控数据填充HMTL模板页面，得到页面形式的数据监控结果。

具体地，步骤“当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据”，可以包括：

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据中的多个监控对象执行所述数据监控任务，得到每个所述监控对象对应的初始监控子数据；

对每个所述初始监控子数据进行格式转换，得到多个转换后监控子数据；

基于所述多个转换后监控子数据，构建初始监控数据。

在实际应用中，比如，如图7所示，在目标任务执行结束后，得到结果数据表，该结果数据表中包括用户名称字段，当用户想要检查结果数据表中用户名称是否有重复时，就可以建立相应的数据监控任务，但该结果数据表中会包括多个用户名称字段，如用户名称“test1”、用户名称“test2”等等，因此，数据监控任务会分别对用户名称“test1”是否有重复、以及用户名称“test2”是否有重复分别进行监控，也就会得到多个用户名称对应的初始监控子数据，然后通过udf函数将每个初始监控子数据进行格式转换，转换为JSON数据，也就是多个转换后监控子数据，然后根据多个转换后监控子数据，构建初始监控数据。

具体地，步骤“基于所述多个转换后监控子数据，构建初始监控数据”，可以包括：

当检测到所述多个转换后监控子数据的数据完整性满足预设标准时，解析所述多个转换后监控子数据，得到多个解析后监控子数据；

合并所述多个解析后监控子数据，得到初始监控数据。

在实际应用中，比如，如图8所示，获取到多个转换后监控子数据后，可以利用外部程序检查多个转换后监控子数据是否完整，若多个转换后监控子数据完整，就可以解析每个转换后监控子数据，得到多个解析后监控子数据，并合并多个解析后监控子数据，得到初始监控数据，然后将初始监控数据写入预设页面模板中，得到数据监控结果，并实时输出数据监控结果。

在一实施例中，还可以将包括多个转换后监控子数据的初始监控数据进行存储，比如，如图7所示，可以将初始监控数据存储到统一的中间临时表，最后将中间结果统一写入监控结果表中，并永久保留。

在一实施例中，比如，在目标任务执行结束后，得到结果数据表，该结果数据表中包括四个字段：ID-编号、username-用户名称、age-年龄、以及trade_cnt-交易笔数，当用户想要检查结果数据表中用户名称是否有重复时，可以建立相应的数据监控任务。当执行目标任务并得到结果数据表后，可以针对该结果数据表的多个用户名称执行数据监控任务，并得到每个用户名称所对应的初始监控子数据，然后通过udf函数将每个初始监控子数据进行格式转换，转换为多个转换后监控子数据。然后利用外部程序检查多个转换后监控子数据是否完整，若多个转换后监控子数据完整，就可以解析多个转换后监控子数据，得到多个解析后监控子数据，并合并多个解析后监控子数据，得到初始监控数据，然后基于该初始监控数据填充HMTL模板页面，得到页面形式的数据监控结果。

其中，如图13所示，得到数据监控任务执行成功后，会在对应目标待处理数据“2020-02-0100：00：00”的区域中，显示任务执行开始的时间“2020-03-2019：46：41”，任务的执行时长“00：12：32”、以及任务的状态为“执行成功”。

其中，如图9所示，页面形式的数据监控结果中可以包括推送时间、数据监控日期“202002”、当前显示记录数“2”、最大显示记录数“200”、以及列表形式的监控结果，该列表中包括多个监控对象“test1”和“test2”、以及用户名称“test1”对应的重复出现次数“5”和用户名称“test2”对应的重复出现次数“3”。其中，该推送时间就是数据监控任务执行成功的时间，也即，一旦数据监控任务执行成功，得到了数据监控结果，就立即推送该数据监控结果。

其中，在本申请实施例中，数据监控任务和目标任务都是计算任务，数据监控任务的执行依赖于目标任务的执行，通过这种方式实现了旁路监控，并且数据监控任务的执行不会影响到目标任务。同时，对于目标任务而言，每次目标任务重新发起计算时，都会带动数据监控任务发起执行，从而实现重跑监控，这样开发人员就无需定期重复执行数据监控的工作，大大提升了开发效率。

206、实时显示数据监控结果。

在实际应用中，由于开发人员主动频繁地检查数据监控结果，会大大地影响工作效率，因此为了保证开发人员可以及时地接收到数据监控结果，获取到数据监控结果后，就可以实时地将数据监控结果推送给开发人员，比如，可以通过邮件的方式将如图9所示的数据监控结果推送给结果接收方，也即开发人员，开发人员在需要查看数据监控结果的时候，只需要查询推送的邮件即可，无需再次运行程序获取数据监控结果，这样开发人员就可以及时发现问题，及时跟进问题。

利用本申请实施例的数据监控方法，使得开发人员只需要在数据监控系统上设置好数据监控任务，系统就会自动地将数据监控结果及时地推送给开发人员。即使目标任务的计算逻辑修改，需要重新发起计算，该数据监控方法也能自动发起任务重跑，并再次推送数据监控结果。

由上可知，本申请实施例可以显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。该方案由于可以在任务执行结束后，自动及时地推送数据监控结果，因此无需开发人员频繁地查询数据、以及任务执行进度，从而能够将风险快速地监控起来。并且在业务计算逻辑调整后，还可以在目标任务重新发起计算时，带动数据监控任务同样重新发起监控，这样即使计算逻辑调整之后，开发人员依旧能够及时获取到准确的数据监控任务，从而及时发现问题，及时跟进问题。

根据前面实施例所描述的方法，以下将以该数据监控方法由电子设备执行为例作进一步详细说明。参考图3，本申请实施例的数据监控方法的具体流程可以如下：

301、电子设备获取目标任务对应的数据监控任务的任务信息。

在实际应用中，比如，目标任务执行后会得到结果数据表T_User_List，该结果数据表中包括四个字段：ID-编号、username-用户名称、age-年龄、以及trade_cnt-交易笔数，当用户想要检查结果数据表中用户名称是否有重复时，就可以建立该目标任务对应的数据监控任务。

如图4所示，可以在第一监控任务创建界面的“业务中文名称”处编辑“重复数据检查监控”、在“通知类型”处编辑“邮件”、在任务周期处编辑“月”等等。如图5所示，可以在第二监控任务创建界面的“标题”处编辑“数据重复检查”、在“SQL代码”处编辑相应的SQL语句、“表头英文字段”为“username，repeat_cnt”、在“表头中文含义”处编辑“用户名称，重复出现次数”、将“限制记录数”设置为“200”，并备注“检查数据重复性”等等。其中，在监控任务创建界面中所编辑的信息即为数据监控任务的任务信息。

在一实施例中，比如，第二监控任务创建界面“SQL代码”处编辑的SQL语句可以如下：

select

username,count(*)repeat_cnt

from T_User_List

group by username

having count(*)>1

302、当调用大数据计算平台任务接口成功时，电子设备生成数据监控任务。

在实际应用中，比如，当调用大数据计算平台任务接口成功时，可以生成数据监控任务，如图11所示，从图中可以得知，目标任务“任务3”对应着数据监控任务“数据监控任务”。

303、电子设备执行目标任务，并生成任务执行结果数据。

在实际应用中，比如，可以选择目标任务“任务3”，并针对该目标任务发起计算或者重跑。如图10所示，可以点击数据监控任务对应的区域，并在弹出的弹窗中选择“查看实例”选项，以便显示如图12所示的目标任务、以及目标任务对应的多个待处理数据。然后点击界面上的“实例重跑”按钮，即可针对选中“2020-02-0100：00：00”数据时间的目标待处理数据执行目标任务。

304、当检测到生成任务执行结果数据时，电子设备针对任务执行结果数据中多个监控对象执行数据监控任务，得到多个监控对象对应的初始监控子数据。

在实际应用中，比如，当检测到生成任务执行结果数据时，说明任务已经执行到了监控流程，此时即可针对任务执行结果数据中多个用户名称执行数据监控任务，得到多个用户名称对应的初始监控子数据。如图13所示，任务执行结束，就会在界面上显示当前状态为“执行成功”，并显示执行时长“00：12：32”、以及开始时间“2020-03-2019：46：41”，以便用户掌握任务执行的过程。

305、电子设备对每个初始监控子数据进行格式转换，得到多个转换后监控子数据。

306、若检测到多个转换后监控子数据是完整的，电子设备解析多个转换后监控子数据，得到多个解析后监控子数据。

307、电子设备合并多个解析后监控子数据，得到初始监控数据。

308、电子设备将初始监控数据写入预设页面模板，得到数据监控结果。

在实际应用中，比如，将初始监控数据写入预设页面模板后，可以得到如图9所示的数据监控结果，该数据监控结果中包括推送时间、出现重复的用户名称“test1”以及对应的重复出现次数“5”、出现重复的用户名称“test2”以及对应的重复出现次数“3”、当前显示记录数“2”、最大显示记录数“200”等等。

309、电子设备实时推送数据监控结果。

在实际应用中，获取到数据监控结果后，就可以通过邮件的方式自动推送该数据监控结果。

由上可知，本申请实施例可以通过电子设备获取目标任务对应的数据监控任务的任务信息，当调用大数据计算平台任务接口成功时，生成数据监控任务，执行目标任务，并生成任务执行结果数据，当检测到生成任务执行结果数据时，针对任务执行结果数据中多个监控对象执行数据监控任务，得到多个监控对象对应的初始监控子数据，对每个初始监控子数据进行格式转换，得到多个转换后监控子数据，若检测到多个转换后监控子数据是完整的，解析多个转换后监控子数据，得到多个解析后监控子数据，合并多个解析后监控子数据，得到初始监控数据，将初始监控数据写入预设页面模板，得到数据监控结果，实时推送数据监控结果。该方案由于可以在任务执行结束后，自动及时地推送数据监控结果，因此无需开发人员频繁地查询数据、以及任务执行进度，从而能够将风险快速地监控起来。并且在业务计算逻辑调整后，还可以在目标任务重新发起计算时，带动数据监控任务同样重新发起监控，这样即使计算逻辑调整之后，开发人员依旧能够及时获取到准确的数据监控任务，从而及时发现问题，及时跟进问题。

为了更好地实施以上方法，相应的，本申请实施例还提供一种数据监控装置，该数据监控装置可以集成在电子设备中，参考图14，该数据监控装置包括界面显示模块141、确定模块142、创建模块143、执行模块144、监控模块145和结果显示模块146，如下：

界面显示模块141，用于显示监控任务创建界面，所述监控任务创建界面为供用户创建数据监控任务的界面，所述监控任务创建界面包括多个编辑控件；

确定模块142，用于基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息；

创建模块143，用于基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务；

执行模块144，用于执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测；

监控模块145，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果；

结果显示模块146，用于实时显示所述数据监控结果。

在一实施例中，所述创建模块143可以具体用于：

调用计算平台任务接口；

当调用所述计算平台任务接口成功时，基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务。

在一实施例中，所述执行模块144可以具体用于：

从多个候选任务中确定需要监控的目标任务；

从所述目标任务对应的多个待处理数据中，确定需要处理的目标待处理数据；

针对所述目标待处理数据执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测。

在一实施例中，所述监控模块145可以包括第一执行子模块和写入子模块，如下：

第一执行子模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据；

写入子模块，用于将所述初始监控数据写入预设页面模板，得到数据监控结果。

在一实施例中，所述执行子模块可以包括第二执行子模块、格式转换子模块和构建子模块，如下：

第二执行子模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据中的多个监控对象执行所述数据监控任务，得到每个所述监控对象对应的初始监控子数据；

格式转换子模块，用于对每个所述初始监控子数据进行格式转换，得到多个转换后监控子数据；

构建子模块，用于基于所述多个转换后监控子数据，构建初始监控数据。

在一实施例中，所述构建子模块可以具体用于：

当检测到所述多个转换后监控子数据的数据完整性满足预设标准时，解析所述多个转换后监控子数据，得到多个解析后监控子数据；

合并所述多个解析后监控子数据，得到初始监控数据。

在一实施例中，所述确定模块142可以具体用于：

基于针对所述第一监控任务创建界面中所述编辑控件的输入操作，确定输入的目标任务的任务属性信息；

基于针对所述第二监控任务创建界面中所述编辑控件的输入操作，确定针对所述目标任务的监控规则信息。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本申请实施例可以通过界面显示模块141显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，通过确定模块142基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，通过创建模块143基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，通过执行模块144执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，通过监控模块145针对任务执行结果数据执行数据监控任务，得到数据监控结果，通过结果显示模块146实时显示数据监控结果。该方案由于可以在任务执行结束后，自动及时地推送数据监控结果，因此无需开发人员频繁地查询数据、以及任务执行进度，从而能够将风险快速地监控起来。并且在业务计算逻辑调整后，还可以在目标任务重新发起计算时，带动数据监控任务同样重新发起监控，这样即使计算逻辑调整之后，开发人员依旧能够及时获取到准确的数据监控任务，从而及时发现问题，及时跟进问题。

本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种数据监控装置。

例如，如图15所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器151、一个或一个以上计算机可读存储介质的存储器152、电源153和输入单元154等部件。本领域技术人员可以理解，图15中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器151是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器152内的软件程序和/或模块，以及调用存储在存储器152内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器151可包括一个或多个处理核心；优选的，处理器151可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器151中。

存储器152可用于存储软件程序以及模块，处理器151通过运行存储在存储器152的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器152可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器152可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器152还可以包括存储器控制器，以提供处理器151对存储器152的访问。

电子设备还包括给各个部件供电的电源153，优选的，电源153可以通过电源管理系统与处理器151逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源153还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元154，该输入单元154可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器151会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器152中，并由处理器151来运行存储在存储器152中的应用程序，从而实现各种功能，如下：

显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本申请实施例可以显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。该方案由于可以在任务执行结束后，自动及时地推送数据监控结果，因此无需开发人员频繁地查询数据、以及任务执行进度，从而能够将风险快速地监控起来。并且在业务计算逻辑调整后，还可以在目标任务重新发起计算时，带动数据监控任务同样重新发起监控，这样即使计算逻辑调整之后，开发人员依旧能够及时获取到准确的数据监控任务，从而及时发现问题，及时跟进问题。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种数据监控方法中的步骤。例如，该指令可以执行如下步骤：

显示监控任务创建界面，监控任务创建界面为供用户创建数据监控任务的界面，监控任务创建界面包括多个编辑控件，基于针对编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及所述目标任务的监控规则信息，基于任务属性信息、以及监控规则信息，创建目标任务对应的数据监控任务，执行目标任务，并对目标任务的任务执行结果数据进行实时检测，当检测到存在任务执行结果数据时，针对任务执行结果数据执行数据监控任务，得到数据监控结果，实时显示数据监控结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种数据监控方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据监控方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据监控方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据监控方法，其特征在于，包括：

显示监控任务创建界面，所述监控任务创建界面为供用户创建数据监控任务的界面，所述监控任务创建界面包括多个编辑控件；

基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息；

基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务；

执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测；

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果；

实时显示所述数据监控结果。

2.基于权利要求1所述的数据监控方法，其特征在于，执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测，包括：

从多个候选任务中确定需要监控的目标任务；

从所述目标任务对应的多个待处理数据中，确定需要处理的目标待处理数据；

针对所述目标待处理数据执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测。

3.基于权利要求1所述的数据监控方法，其特征在于，当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果，包括：

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据；

将所述初始监控数据写入预设页面模板，得到数据监控结果。

4.基于权利要求3所述的数据监控方法，其特征在于，当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到初始监控数据，包括：

当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据中的多个监控对象执行所述数据监控任务，得到每个所述监控对象对应的初始监控子数据；

对每个所述初始监控子数据进行格式转换，得到多个转换后监控子数据；

基于所述多个转换后监控子数据，构建初始监控数据。

5.基于权利要求4所述的数据监控方法，其特征在于，基于所述多个转换后监控子数据，构建初始监控数据，包括：

当检测到所述多个转换后监控子数据的数据完整性满足预设标准时，解析所述多个转换后监控子数据，得到多个解析后监控子数据；

合并所述多个解析后监控子数据，得到初始监控数据。

6.基于权利要求1所述的数据监控方法，其特征在于，基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务，包括：

调用计算平台任务接口；

当调用所述计算平台任务接口成功时，基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务。

7.基于权利要求1所述的数据监控方法，其特征在于，所述监控任务创建界面包括第一监控任务创建界面和第二监控任务创建界面；

基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息，包括：

基于针对所述第一监控任务创建界面中所述编辑控件的输入操作，确定输入的目标任务的任务属性信息；

基于针对所述第二监控任务创建界面中所述编辑控件的输入操作，确定针对所述目标任务的监控规则信息。

8.一种数据监控装置，其特征在于，包括：

界面显示模块，用于显示监控任务创建界面，所述监控任务创建界面为供用户创建数据监控任务的界面，所述监控任务创建界面包括多个编辑控件；

确定模块，用于基于针对所述编辑控件的输入操作，确定输入的目标任务的任务属性信息、以及针对所述目标任务的监控规则信息；

创建模块，用于基于所述任务属性信息、以及所述监控规则信息，创建所述目标任务对应的数据监控任务；

执行模块，用于执行所述目标任务，并对所述目标任务的任务执行结果数据进行实时检测；

监控模块，用于当检测到存在所述任务执行结果数据时，针对所述任务执行结果数据执行所述数据监控任务，得到数据监控结果；

结果显示模块，用于实时显示所述数据监控结果。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的数据监控方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

Images