CN105740069A - 一种多级数据转化任务的自动调度方法 - Google Patents

Abstract

本发明提供了一种多级数据转化任务的自动调度方法，该法包括：1)任务调度服务器初始化任务池；2)设置任务调度规则；3)设置任务调度机制；4)按照数据级别调度任务；5)执行数据任务；6)源端数据库服务器和目标端数据库服务器中数据同步。本发明根据基础业务数据量的大小，使每个阶段都可对基础业务数据进行轻度汇总后再同步，最大限度压缩数据收集、处理及分析的耗时，提升数据统计汇总效率。

Description

一种多级数据转化任务的自动调度方法

技术领域

本发明涉及任务自动调度方法，具体讲涉及一种多级数据转化任务的自动调度方法。

背景技术

国网计量生产调度平台(简称SG-MDS)需要按照省级供电单位、省级计量生产调度平台(简称MDS)的相关业务和SG-MDS统计汇总业务对相关数据进行同步和汇总。MDS系统在各省级供电单位独立运行，其产生的业务数据种类繁多、体量庞大，存在分散性、复杂性和不一致性等缺点。总部对各省级供电单位相关计量生产数据的监管要求需考虑数据收集和统计的实时性及多样性。

收集数据会对源端数据库产生较大影响，如果直接在生产数据库中收集数据，会对现场造成不可预估的影响。

如果省级供电单位均将数据同步至SG‐MDS数据库后，再进行统一的统计分析，SG‐MDS数据库则会产生较大负荷，进而影响基础业务数据统计分析的及时性和SG‐MDS系统功能的可用性和稳定性。

发明内容

为了克服现有技术的上述缺陷，本发明提出了一种多级数据转化任务的自动调度方法，包括步骤：

1)初始化任务池；2)设置任务调度规则；3)设置任务调度机制；4)按照数据级别调度任务；5)执行数据任务；6)对数据库服务器的数据同步。

所述步骤1)中：编制所述任务池的任务；任务调度服务器初始化所述任务池中的任务数据。

所述步骤2)中：所述任务调度服务器按照数据级别设置所述任务调度规则；所述任务调度规则包括：划分数据级别、划分单位级别和划分业务优先级。

所述步骤3)中：所述任务调度服务器按照数据级别设置所述任务调度机制；所述任务调度机制包括：任务执行周期、任务执行的开始时间和并行执行的任务数量。

所述步骤4)中：所述任务调度服务器按照数据级别调度任务，并按照所述任务调度规则和所述任务调度机制获取任务。

所述步骤5)中：所述任务调度服务器调入所述任务数据到所述源端数据库服务器和目标端数据库服务器。

所述步骤6)中：所述任务调度服务器实时监控任务执行进度；利用ETL工具实现所述源端数据库服务器和目标端数据库服务器中数据的同步和汇总。

若当前数据级别仍有未执行的任务时，重复步骤5)至6)；若当前数据级别任务全部执行完成，仍存在下一数据级别，重复步骤4)至6)。

与现有技术比，本发明的有益效果为：

1、本发明将数据ETL的压力分散到各中间阶段的数据服务器上，使SG‐MDS数据库服务器能充分支撑系统相关功能的运行指标，同时提高数据ETL的效率，实现总部及时控制各省级供电单位生产情况；

2、本发明根据基础业务数据量的大小，使每个阶段都可对基础业务数据进行轻度汇总后再同步，最大限度压缩数据收集、处理及分析的耗时，提升数据统计汇总效率；

3、本发明根据统计分析业务统一编制数据ETL任务，实现了电力计量数据的维度清晰、关联明确和质量的集中化、统一化及简约化。

4、本发明采用任务统一、集中调度机制，实现数据转化任务的自动化调度，对扩展数据统计分析业务提供了便利的条件，保证总部对省级供电单位业务的把控和监督。

附图说明

图1为本发明的系统结构框图；

图2为本发明的方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细的描述。

如图1所示的本发明包括：任务调度服务器、源端数据库服务器和目标端数据库服务器3部分。

任务调度服务器主要提供任务池初始化、调度规则设置、调度机制设置及调度任务等功能；

数据库服务器主要提供数据接口对接及数据ETL等功能；

数据库采用Oracle10gR2版本，提供数据存储服务及执行数据ETL任务等功能。

通过ETL工具调用ORACEL存储过程及定制JAVA算法实现数据的同步和数据统计。

ETL(Extraction-Transformation-Loading)负责完成数据从数据源向目标数据仓库转化的过程。

如图2所示的本发明工作流程具体步骤如下：

(1)任务调度服务器初始化数据任务池；

利用任务调度服务器初始化功能，编制ETL任务，将ETL任务置入任务池；

(2)任务调度服务器按照数据级别设置任务调度规则；

在任务调度服务器上按照数据级别设置任务调度规则，调度规则包括：按照数据所在的数据库划分数据级别；按数据所在单位划分的单位级别；按照数据所属业务及统计业务需求划分业务优先级等；

(3)任务调度服务器按照数据级别设置任务调度机制；

在任务调度服务器上按照数据级别设置任务调度机制，调度机制定义了任务执行周期、执行开始时间及并行执行的任务数量等；

(4)任务调度服务器按数据级别调度任务；

在任务调度服务器上按照数据级别调度任务，按照任务调度规则和调度机制从任务池中获取任务；

(5)、任务调度服务器执行数据ETL任务；

任务调度服务器发起数据ETL任务，将ETL任务挂载到相应的源端数据库和目标端数据库，并启动任务；

(6)数据库服务器按任务对数据进行统计分析，其包括：

(a)任务调度服务器实时监控任务执行进度；

(b)数据库服务器根据任务进行数据同步和汇总；

(c)当任务完成后按照调度规则开始下次任务调度。

当本数据级别仍有未执行的任务时，任务调度服务器按照本数据级别的调度规则调度任务进行执行，重新执行第(5)至(6)步；

当本数据级别任务全部执行完成后，存在下一数据级别时，任务调度服务器按照数据级别的调度规则调度任务进行执行，重新执行第(4)至(6)步。

源端数据库与目标端数据库一般通过Databaselink方式连接，ETL任务通过目标端数据库服务器进行同步，针对体量庞大的数据，可在源端数据库服务器上进行轻度汇总后再由目标端数据库服务器进行抽取。采用附图2所示的国网计量生产调度平台即采用多级数据转化任务自动调度方法实现对国网公司各省级供电单位的计量生产数据进行数据同步、统计分析。

针对国网计量生产调度平台，系统提供数据ETL任务初始化、调度规则设置、调度机制设置、任务调度执行等功能，通过搭建省级供电单位业务中间库、国网中间库及国网汇总库，实现各MDS系统数据到SG-MDS系统ETL及统计分析的功能。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种多级数据转化任务的自动调度方法，其特征在于，包括步骤：

1)初始化任务池；

2)设置任务调度规则；

3)设置任务调度机制；

4)按照数据级别调度任务；

5)执行数据任务；

6)对数据库服务器的数据同步。

2.如权利要求1所述的自动调度方法，其特征在于，所述步骤1)中：

编制所述任务池的任务；

任务调度服务器初始化所述任务池中的任务数据。

3.如权利要求2所述的自动调度方法，其特征在于，所述步骤2)中：

所述任务调度服务器按照数据级别设置所述任务调度规则；

所述任务调度规则包括：划分数据级别、划分单位级别和划分业务优先级。

4.如权利要求3所述的自动调度方法，其特征在于，所述步骤3)中：

所述任务调度服务器按照数据级别设置所述任务调度机制；

所述任务调度机制包括：任务执行周期、任务执行的开始时间和并行执行的任务数量。

5.如权利要求4所述的自动调度方法，其特征在于，所述步骤4)中：

所述任务调度服务器按照数据级别调度任务，并按照所述任务调度规则和所述任务调度机制获取任务。

6.如权利要求5所述的自动调度方法，所述步骤5)中：

所述任务调度服务器调入所述任务数据到所述源端数据库服务器和目标端数据库服务器。

7.如权利要求6所述的自动调度方法，其特征在于，所述步骤6)中：

所述任务调度服务器实时监控任务执行进度；

利用ETL工具实现所述源端数据库服务器和目标端数据库服务器中数据的同步和汇总。

8.如权利要求7所述的自动调度方法，其特征在于，若当前数据级别仍有未执行的任务时，重复步骤5)至6)。

9.如权利要求7所述的自动调度方法，其特征在于，若当前数据级别任务全部执行完成，仍存在下一数据级别，重复步骤4)至6)。