CN111694720A - 一种自动监控数据采集进度的方法 - Google Patents

Abstract

本发明公开一种自动监控数据采集进度的方法，涉及数据处理技术领域，其实现包括：在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表；基于监控表的采集数据，在分析库创建配置表；在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定不同的工作模式；启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。本方法能对数据采集进度进行自动化监控，能及时收到数据采集完成和异常情况，以将数据及时从作业库采集到分析库。

Description

一种自动监控数据采集进度的方法

技术领域

本发明涉及数据处理技术领域，具体的说是一种自动监控数据采集进度的方法。

背景技术

随着计算机科学和信息科学发展，各类企业单位的作业系统产生海量的数据，这些原始数据存放于作业库中。我们往往不能直接利用这些原始数据，我们需要通过数据采集的方式将这些原始数据保存到分析库，才能供下游工作人员使用。

数据采集，又称数据获取，是利用一种装置或方法，从系统外部采集数据并输入到系统内部的一个接口，被广泛应用在各个领域。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集方法和装置先后问世，将数据采集带入了一个全新的时代。

数据采集的过程中，由于数据量巨大和原始作业系统众多，为了不影响分析人员使用数据，保证数据及时从作业库采集到分析库，我们需要实时关注采集进度。而这项任务单纯由人工检查很难实现。

发明内容

本发明为了节约成本、解放人力、高效工作，达到不影响分析人员使用数据，保证数据及时从作业库采集到分析库的目的，提供一种自动监控数据采集进度的方法。

本发明的一种自动监控数据采集进度的方法，解决上述技术问题采用的技术方案如下：

一种自动监控数据采集进度的方法，该方法的实现过程包括：

步骤1、在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表；

步骤2、基于监控表的采集数据，在分析库创建配置表；

步骤3、在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定不同的工作模式；

步骤4、启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。

进一步的，所涉及监控表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、prod_date、fin_date，数据类型包括字符串型和日期型，注释用于根据字段名和数据类型进行解释；每条采集数据的时长就等于fin_date和prod_date所对应日期的差值。

更进一步的，所涉及配置表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、delta，数据类型包括字符串型和数值型，注释用于根据字段名和数据类型进行解释。

更进一步的，所涉及日期差上限Δ根据作业系统或作业表设定T+0模式，

T+0模式下，作业库当天产生的数据必须当天采集进入到分析库，此时Δ设置为0，

T+0模式下，采集数据的时长与其对应的日期差上限Δ进行比较时，若fin_date和prod_date所对应日期的差值等于0，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于0，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间。

优选的，针对数据需求紧急且重要的情况，将日期差上限Δ设定为T+0模式。

更进一步的，所涉及日期差上限Δ根据作业系统或作业表设定T+δ模式，其中，0<δ<∞，

T+δ模式下，作业库当天产生的数据无需当天采集进入分析库，只需要在规定时间δ天内完成即可，此时Δ设置为δ；

T+δ模式下，采集数据的时长与其对应的日期差上限Δ进行比较时，若fin_date和prod_date所对应日期的差值小于等于δ，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于δ，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间；

优选的，针对时间要求不紧或是资源紧张时优先级较低的情况，将日期差上限Δ设定为T+δ模式，且δ越大，则优先级越低，重要程度也越低。

更进一步的，所涉及日期差上限Δ根据作业系统或作业表设定T+(-1)模式，

T+(-1)模式即不监控模式，表示该系统或作业表无需监控数据采集完成进度情况，执行步骤4时，直接跳过监控，反馈无需监控信息。

本发明的一种自动监控数据采集进度的方法，与现有技术相比具有的有益效果是：

本发明应用于数据采集，能实现对数据采集进度实时自动化监控，能及时收到数据采集完成和异常情况，方便数据采集人员及时解决故障和下游工作人员及时使用数据，可以节约大量时间成本和人力物力成本，尤其是在采集源系统较多和数据表较多的情况更为凸出。

附图说明

附图1是本发明的方法流程图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

结合附图1，本实施例提出一种自动监控数据采集进度的方法，该方法的实现过程包括：

步骤1、在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表。

本步骤中，监控表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、prod_date、fin_date，数据类型包括字符串型和日期型，注释用于根据字段名和数据类型进行解释；每条采集数据的时长就等于fin_date和prod_date所对应日期的差值，如下表所示：

字段名	数据类型	注释
			table_name	字符串型	采集表名
prod_date	日期型	作业库采集表中数据产生日期
			fin_date	日期型	分析库采集数据完成日期

步骤2、基于监控表的采集数据，在分析库创建配置表。

本步骤中，配置表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，字段名包括table_name、delta，数据类型包括字符串型和数值型，注释用于根据字段名和数据类型进行解释，如下表所示：

字段名	数据类型	注释
			table_name	字符串型	采集表名
delta	数值型	日期差上限Δ

步骤3、在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定三种不同的工作模式：T+0模式、T+δ模式、T+(-1)模式。

a)T+0模式下，作业库当天产生的数据必须当天采集进入到分析库，此时Δ设置为0。通常，针对数据需求紧急且重要的情况，将日期差上限Δ设定为T+0模式。

b)T+δ模式下，0<δ<∞，作业库当天产生的数据无需当天采集进入分析库，只需要在规定时间δ天内完成即可，此时Δ设置为δ。通常，针对时间要求不紧或是资源紧张时优先级较低的情况，将日期差上限Δ设定为T+δ模式，且δ越大，则优先级越低，重要程度也越低。

c)T+(-1)模式即不监控模式，表示该系统或作业表无需监控数据采集完成进度情况。

步骤4、启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。

针对步骤3所涉及的三种工作模式，采集数据的时长与其对应的日期差上限Δ进行比较时：

a)T+0模式下，若fin_date和prod_date所对应日期的差值等于0，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于0，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间；

b)T+δ模式下，采集数据的时长与其对应的日期差上限Δ进行比较时，若fin_date和prod_date所对应日期的差值小于等于δ，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于δ，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间；

c)T+(-1)模式下，直接跳过监控，反馈无需监控信息。

综上可知，采用本发明的一种自动监控数据采集进度的方法，能实现对数据采集进度实时自动化监控，能及时收到数据采集完成和异常情况，达到不影响分析人员使用数据，保证数据及时从作业库采集到分析库的目的。

Claims (8)

1.一种自动监控数据采集进度的方法，其特征在于,该方法的实现过程包括：

步骤1、在分析库创建监控表，采集模块每完成一次采集工作都会生成一条采集数据并自动写入监控表；

步骤2、基于监控表的采集数据，在分析库创建配置表；

步骤3、在配置表中，针对监控表的每一条采集数据，配置待监控采集数据的日期差上限Δ，其中日期差上限Δ根据作业系统或作业表设定不同的工作模式；

步骤4、启动监控模块，监控模块自动获取监控表和配置表的数据，通过计算每条采集数据的时长，与对应的日期差上限Δ进行比较，得到采集进度的反馈结果。

2.根据权利要求1所述的一种自动监控数据采集进度的方法，其特征在于，所述监控表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，所述字段名包括table_name、prod_date、fin_date，所述数据类型包括字符串型和日期型，所述注释用于根据字段名和数据类型进行解释；每条采集数据的时长就等于fin_date和prod_date所对应日期的差值。

3.根据权利要求2所述的一种自动监控数据采集进度的方法，其特征在于，所述配置表的每条采集数据分别包括字段名、数据类型和注释三部分，其中，所述字段名包括table_name、delta，所述数据类型包括字符串型和数值型，所述注释用于根据字段名和数据类型进行解释。

4.根据权利要求2所述的一种自动监控数据采集进度的方法，其特征在于，所述日期差上限Δ根据作业系统或作业表设定T+0模式，

T+0模式下，作业库当天产生的数据必须当天采集进入到分析库，此时Δ设置为0，

T+0模式下，采集数据的时长与其对应的日期差上限Δ进行比较时，若fin_date和prod_date所对应日期的差值等于0，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于0，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间。

5.根据权利要求4所述的一种自动监控数据采集进度的方法，其特征在于，针对数据需求紧急且重要的情况，将日期差上限Δ设定为T+0模式。

6.根据权利要求2所述的一种自动监控数据采集进度的方法，其特征在于，所述日期差上限Δ根据作业系统或作业表设定T+δ模式，其中，0<δ<∞，

T+δ模式下，作业库当天产生的数据无需当天采集进入分析库，只需要在规定时间δ天内完成即可，此时Δ设置为δ；

T+δ模式下，采集数据的时长与其对应的日期差上限Δ进行比较时，若fin_date和prod_date所对应日期的差值小于等于δ，则表示采集正常，反馈正常信息，若fin_date和prod_date所对应日期的差值大于δ，则表示采集异常，出现延迟，发出数据采集延迟报警并反馈具体的延迟时间。

7.根据权利要求6所述的一种自动监控数据采集进度的方法，其特征在于，针对时间要求不紧或是资源紧张时优先级较低的情况，将日期差上限Δ设定为T+δ模式，且δ越大，则优先级越低，重要程度也越低。

8.根据权利要求2所述的一种自动监控数据采集进度的方法，其特征在于，所述日期差上限Δ根据作业系统或作业表设定T+(-1)模式，

T+(-1)模式即不监控模式，表示该系统或作业表无需监控数据采集完成进度情况，执行步骤4时，直接跳过监控，反馈无需监控信息。

Images