CN102541959B - Etl调度方法、装置及系统 - Google Patents

Abstract

本发明公开了一种ETL调度方法、装置及系统，其中，该装置包括：接口抽取单元，用于从数据源系统抽取数据；接口处理单元，用于数据进行格式处理，生成统一的接口数据；主控调度单元，用于对接口数据进行对应应用系统的加载调度和运行调度分离，控制应用系统的数据加载和运行调度；数据加载单元，用于将接口数据向对应应用系统进行数据加载；接口消息单元，用于接收应用系统的运行调度反馈信息，并返回主控调度单元。本发明可以实现多应用系统环境下的ETL高效调度，解决现有中央调度性能瓶颈效率低以及多套ETL调度独立的资源浪费等问题。

Description

ETL调度方法、装置及系统

技术领域

本发明涉及通信领域中业务支撑，特别涉及数据仓库技术领域，具体地，涉及一种ETL调度方法、装置及系统。

背景技术

传统的ETL指在构建数据仓库过程中对数据源中数据的抽取(Extract)，经过数据转换(Transform)后加载(Load)到数据仓库的过程。目前的ETL负责系统运行程序的调度控制和资源的分配，一般情况下，一个ETL过程是针对一个数据仓库进行的。

在涉及到多个数据仓库(即多个应用系统)的情况下，使用以下方式：

一、部署中心数据仓库，在中心数据仓库进行ETL集中调度。外围应用系统(数据仓库)从中心数据仓库中抽取数据，通过FTP方式传输数据，以满足应用系统数据的需要。

二、部署多套ETL程序，每个应用系统相对独立，各自完成自己的数据抽取清理加载和过程调度，各个系统间相互独立。也有方法设置独立的接口抽取模块，通过FTP传递到本机上进行ETL过程。

在实现本发明过程中，发明人发现现有技术中多系统下的ETL调度方式存在如下缺陷：

方法一，采用中心数据仓库生成数据，外围系统从中心数据仓库导出数据，中心数据仓库负担巨大。在外围系统数量多的情况下，中心数据仓库成为整个系统的瓶颈。同时，外围应用系统效率低下，资源浪费较多。

方法二，采用多套ETL过程独立运行，各个应用系统间数据复用程度低，接口抽取，清理和过程调度等在多个应用系统运行，资源浪费严重。设置独立的接口抽取模块情况下，各应用系统均包含接口文件，存储资源浪费，且各个应用系统间调度相对独立，缺乏统一的管理。

发明内容

本发明的第一目的是提出一种ETL调度方法，实现在多应用系统环境情况下的高效调度。

本发明的第二目的是提出一种ETL调度装置，实现在多应用系统环境情况下的高效调度。

本发明的第三目的是提出一种ETL调度系统，以实现高效调度。

为实现上述第一目的，根据本发明的一个方面，提供了一种ETL调度装置，包括：

接口抽取单元，用于从数据源系统抽取数据；

接口处理单元，用于对接口抽取单元抽取的数据进行格式处理，生成统一的接口数据；

主控调度单元，用于对所述接口处理单元处理后的接口数据进行对应应用系统的加载调度和运行调度分离，控制应用系统的数据加载和运行调度；

数据加载单元，用于根据所述主控调度单元的调度信息，将所述接口数据向对应应用系统进行数据加载；

接口消息单元，用于接收应用系统的运行调度反馈信息，并返回所述主控调度单元。

为实现上述第二目的，根据本发明的另一个方面，提供了一种ETL调度系统，包括上述第一目的的调度装置，还包括：一至多个用于提供接口数据源的数据源系统，以及一至多个用于根据所述ETL调度装置提供的数据源，运行对应的应用的应用系统。

为实现上述第三目的，根据本发明的另一个方面，提供了一种ETL调度方法，包括：对从数据源系统抽取的数据进行格式处理，生成统一的接口数据；对接口数据分别进行应用系统的加载调度和运行调度分离，分别控制应用系统的数据加载和运行调度。

本发明各实施例的ETL调度方法、装置及系统，通过将ETL处理任务分为集中的ETL调度装置块和各应用系统的子系统单元，承担不同的任务，将原来ETL的加载调度控制和应用运行处理剥离，从而实现一种在多应用系统环境下的ETL调度，在提高多应用系统下的ETL处理调度效率的同时，能更好处理多系统环境下数据共享、系统间调度依赖控制、接口数据源共享、多应用系统接口数据加载资源分配等问题。

本发明在设置了中央的ETL调度装置，对每个应用系统的调度能够进行控制和调度，并能对应用系统间调度依赖进行协调，并不只是为一个独立系统的调度服务。本发明还可以同步管理多个应用系统的加载权重和加载过程的管理，可以控制加载数据的先后和并发数，可以同时对多个系统进行加载和调度，对于每个系统可设置其并发数以控制资源消耗。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明ETL调度装置及系统实施例示意图；

图2为根据本发明ETL调度装置中主控调度单元实施例示意图；

图3为根据本发明ETL调度方法实施例一流程图；

图4为根据本发明ETL调度方法实施例二流程图；

图5为根据本发明ETL调度方法实施例三的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明ETL调度装置及系统实施例示意图，图1示出了多系统情况下的ETL处理装置示意图，主要涉及ETL调度装置和各应用系统(以下也称子系统)内的配合单元，其中ETL调度装置包含接口抽取单元2、接口处理单元4、主控调度单元6、接口消息单元10、数据加载单元8，应用系统内包含子系统接口消息单元和子系统处理单元。

下面结合图1及图2对本发明的系统各组成以及本发明ETL装置的各单元进行具体说明：

一、数据源系统

提供接口数据源的系统，可以是数据仓库，也可以是文件系统。各应用系统也可以作为数据源系统为其他应用系统提供数据服务，达到应用系统间调度的作用。

二、应用系统(子系统)

使用接口数据源的接口文件，运行部署在其系统上的相关应用。应用系统间可以相互独立，也可以有一定的依赖关系。

三、ETL调度装置，可以位于经分系统中的ETL服务器中，或者新增的位于经分系统中，提供多系统的调度，其内部包括如下单元：

①接口抽取单元2

按照预先设定的接口抽取配置表，按照设定的接口抽取周期和规则，从数据源系统抽取相关接口数据。其中，抽取配置中的接口抽取周期和抽取规则可以按日、月或者小时，也可以按照应用系统消息接口层(即图1中子系统的接口消息单元)的数据抽取需求实时抽取，下表1为抽取配置表举例。

表1接口抽取配置表

数据源(系统)	接口位置	接口类型	接口代码	抽取周期	抽取类型
						211.135.11.22	/EXPORT/XAS.C	文本文件	31103	日	全量
CDRDB	CDR.SMS_YYMM	数据库表	10002	小时	增量
						211.137.132.1	/EXPORT/FFS.d	二进制文件	13142	日	全量
...	...	...	...	...	...

其中，表1中数据源表示要抽取的数据来源，如数据源系统的地址，接口位置为指定抽取的数据源系统上存储数据的数据位置，如存放目录。接口类型表示抽取的数据源的数据类型。接口代码为ETL调度装置抽取数据后存放的数据标识码，通过该接口代码可以知晓存储的数据类型、来源等。抽取类型表示全量抽取还是增量抽取，增量抽取表示只抽取变化的数据。

通过配置表抽取后的接口数据可以按照文本文件格式固定存放。为保证各个应用系统数据库加载字段的不同需要，接口抽取的数据字段需要和数据源系统保持一致。

②接口处理单元4

接口数据单元用于对接口数据进行校验、接口清理、接口转换等。其中接口数据校验是根据配置表对抽取的数据进行数据判断，如抽取时根据控制命令字段中的字段个数判断抽取的数据是否符合，如果不符合，则抽取的数据有误等，以保障抽取的接口数据和源系统抽取的数据无误；接口清理和接口转换对接口中的垃圾数据进行清理，其中，接口校验、接口清理和接口转换均可以利用现有技术中对ETL的处理实现，在此不做详述。

接口处理单元对抽取的数据中部分字段进行格式转换，生成统一的接口数据文件，如下表2所示：

表2接口处理单元生成的统一接口数据

字段1	分隔符	字段2	分隔符	......	分隔符
						CX	||	100	||		||
sms	||	20101127	||		||

其中，根据表1的接口抽取配置表抽取的数据进行分隔，形成统一的如文本文件，进行后续处理。由于接口抽取配置表抽取的数据可以是各种格式，抽取的每条数据的每个字段含义都不尽相同，将抽取的各种格式数据统一生成统一的文本数据，并且可以后续根据抽取时的接口代码知晓文本数据的各个字段的含义。

如表2中第三行统一后的文本数据文件为“sms||20101127||...||，其中，根据抽取时的接口代码可以知晓该数据中第一个字段表示短信，第二个字段表示时间，...等。

如表2中第二行统一后的文本数据文件为“CX||100||...||，其中，根据抽取时的接口代码可以知晓该数据中第一个字段表示彩信，第二个字段表示发送条数时间，...等。

③主控调度单元6

主控调度单元是ETL调度装置的核心，主要用于加载调度和应用运行调度两个部分，控制对应用系统的接口数据加载控制和应用运行调度控制。

如图2所示，主控调度单元6包括：

加载调度模块62，用于根据应用系统的加载配置对应用系统进行并发加载控制；

运行调度模块64，用于根据接口消息单元10的反馈信息获得应用系统运行状态信息，根据应用系统的运行配置以及应用系统运行状态信息对应用系统进行运行控制。

其中，加载调度模块62包括加载配置和加载控制两部分，如图2，加载调度模块62包括：

加载配置子模块621，用于存储应用系统的加载配置信息，所述加载配置信息可以包括以下任意组合：加载的接口数据名称、加载数据的资源消耗权值、资源优先级、应用系统优先级；

其中加载配置信息记录了各个应用系统的所需要加载的接口数据名称(如表3的接口加载文件名)，加载数据的资源消耗权值(0-100表示)和资源优先级，加载应用系统的优先级别等。加载配置可参见下表3所示：

表3加载配置信息表

加载控制子模块622，用于根据应用系统的加载配置信息进行并发加载控制，所述加载控制策略包括以下信息任意组合：总加载并发数目、单一加载并发数目、应用系统的资源消耗门限，如静态的控制策略可以位于加载配置信息表3中。动态的控制策略可以根据加载控制记录表进行动态调整。

具体地，加载控制子模块622对各应用系统的加载按照加载配置信息表进行有序的并发进行，其中可以加载控制可以设置各应用系统总加载并发数，单一应用系统加载并发数，应用系统的资源消耗上限(如0-100表示)。

加载调度模块62对系统所有的接口数据文件均可以设置权值(0-100)，用来体现不同接口可能消耗的资源大小，其中这些权值都是根据接口数据量大小和加载消耗资源进行评估设置。

例如，加载控制策略可以设置同时对4个应用系统并发加载，单一应用系统的并发最大为2、3、4、5，优先级分别为1级、1级、二级、二级，系统总加载消耗最大上限为100。

当加载控制622扫描加载配置信息表和加载控制记录表，当某应用系统接口满足加载配置条件，可以按照加载配置信息的应用系统优先级和资源优先级，对应用系统进行并发加载，其中加载过程通过数据加载单元8实现。加载过程中，加载结果都会记录在加载控制记录表中，如下所示：

加载控制记录表

如果系统总加载消耗超过配置的上线，例如100，其他应用系统的加载需要等待资源数据释放后继续。基于这种加载控制，加载调度模块62可以针对不同的应用系统，按应用系统重要性和需要接口入库的先后性进行有选择的加载工作，做到多应用系统加载资源控制和加载优先级控制。

加载调度模块62的加载调度可以通过数据加载单元实现，可以通过定时进程按时扫描加载配置表触发。

运行调度控制模块64包含运行调度配置和运行调度控制，如图2，运行调度模块64可以包括：

运行调度配置子模块641，用于存储应用系统的运行配置信息，包括各个系统的运行调度配置情况，可以包括以下任意组合：包括应用系统内和/或应用系统间的运行依赖触发条件、运行优先级、应用资源消耗权值等，具体可参见表4：

表4运行调度配置信息表

运行调度控制子模块642，用于根据接口消息单元的反馈信息获得应用系统运行状态信息，根据应用系统的运行配置信息以及应用系统运行状态信息对应用系统进行运行调度控制。

具体地，可以根据接口消息单元10反馈的各个应用系统运行完成的调度情况和正在运行的调度情况，生成应用系统的运行状态信息，如运行调度控制记录表。

运行调度模块64为了协调各个应用系统之间的调用，可以将应用系统运行调度配置信息区分为应用系统内和应用系统间两种。例如可以设置A系统一个应用的运行触发条件是B系统的某个应用完成，在B系统的应用完成后，运行调度控制子模块642通过同步或者异步数据同步后满足A运行触发条件，从而达到灵活配置系统间调度的目的。

由于本实施例中应用程序运行在应用系统中，消耗应用系统的资源，不会消耗ETL调度装置的资源。因此，ETL调度装置的各单元只负责协调发出调度指令，通过接口消息单元10通知应用系统运行，不会对装置内的资源有太多影响，解决了现有技术中集中控制的性能瓶颈。同时，应用系统通过内部的应用系统接口消息单元反馈运行完成情况，以提供给ETL调度装置内的主控调度单元6使用。

④数据加载单元8

数据加载单元是实现接口数据向各个应用系统完成加载的数据加载引擎，具体实现时，可以接收加载控制子模块622发出的加载指令后，数据加载引擎远程对各个应用系统进行并发加载，加载程序可以多线程运行。

⑤接口消息单元10

接口消息单元用于ETL调度装置内的各单元和其他应用系统的消息交互。消息可以包含应用运行调度交互的消息、应用系统接口数据加载的消息、应用系统数据抽取和反馈的消息，消息流如图1中虚线所示。

⑥子系统接口消息单元

子系统接口消息单元主要用于应用系统和中央ETL调度装置的消息交互。其中消息流如图中虚线所示。

⑦子系统处理单元

子系统处理单元主要用于应用系统处理应用，同时也负责和ETL调度装置的消息同步。子系统处理单元进一步包括：

子系统消息处理模块，用于进行应用系统和所述ETL装置的信息同步；

子系统应用配置模块，用存储运行应用和应用调度的对应关系，如子系统应用配置表，参见下表5

表5子系统应用配置表

子系统应用配置表主要存储该应用系统存储的应用与ETL调度装置中的运行调度的对应关系，例如表2中存储的是应用系统A01的应用配置情况，其中，如果ETL调度装置通过AZ010001进行运行调度，则运行的是应用系统A01中的用户统计报表这一应用，应用系统根据AZ010001可以在表5的存放位置下找到该应用进行运行。

子系统运行处理模块，用于接收所述子系统消息处理单元的交互信息，根据所述子系统应用配置模块，例如按照应用配置表记录运行应用系统的相关应用。

图3为根据本发明ETL调度方法实施例一流程图，如图3所示，本实施例包括：

步骤S102：从数据源系统抽取的数据；具体可参见图1中接口抽取单元2的抽取说明，以及根据抽取配置进行数据抽取；

步骤S104：对从数据源系统抽取的数据进行格式处理，生成统一的接口数据，具体可参见图1中接口处理单元4的处理，包括接口校验、清洗、转换等；

步骤S106：对接口数据分别进行应用系统的加载调度和运行调度分离，分别控制应用系统的数据加载和运行调度，具体地，可以根据应用系统的加载配置信息对应用系统进行并发加载控制，如图2中主控调度单元的加载调度模块62及其相关说明；在加载完成后，根据应用系统的运行配置信息以及应用系统运行状态对应用系统进行运行调度控制，如图2中主控调度单元的运行调度模块64及其相关说明。

本实施例和现有的ETL调度方法相比，在多系统(多数据仓库)环境下运行，统一配置调度，将原来ETL的加载调度控制和应用运行处理剥离，从而实现一种在多应用系统环境下的ETL调度，在提高多应用系统下的ETL处理调度效率的同时，能更好处理多系统环境下数据共享、系统间调度依赖控制、接口数据源共享、多应用系统接口数据加载资源分配等问题，具有节约存储，提高整个系统的运行效率，并能灵活处理系统间的调度工作，能解决中心数据仓库瓶颈问题，提高外围系统的利用率，并可节约接口文件所依赖的存储。

下面结合图1和图2对本发明的ETL调度过程进行说明，ETL调度工作流程可以分为涉及一个应用系统内调度和涉及多个应用系统间的调度，图4显示的是本发明ETL调度方法针对应用系统的调度流程。如图4所示，具体说明如下：

步骤1，按照接口抽取配置信息，如抽取周期和抽取规则，由接口抽取单元从数据源系统抽取接口文件；

步骤2，由接口处理单元对抽取的接口文件进行接口校验、接口清理、接口转换工作，生成可以使用加载的接口文件。

步骤3，通知主控调度单元完成接口完成校验清理，进行加载控制。

步骤4，主控调度单元的加载调度模块根据加载配置信息和加载调度控制信息，如果接口数据文件满足某应用系统的接口加载依赖条件，通知数据加载单元进行数据加载；

步骤5，数据加载单元收到主控调度单元的加载调度模块的加载通知请求后，对相关应用系统按照加载配置信息进行并发加载；

步骤6，加载完成后通知主控调度单元，更新加载调度模块的加载情况记录表；

步骤7，主控调度单元的运行调度模块根据应用系统的应用运行调度配置信息、加载记录表、应用系统运行状态信息进行任务轮询计算。每个应用系统的任务轮询互相独立进行，对满足运行触发条件的应用系统的某个应用，通过消息接口单元向应用系统发出运行请求。如果某个应用系统某应用条件依赖其他应用系统应用完生成的数据，主控调度单元将在源应用系统运行应用完成后，通知接口抽取单元对源应用系统进接口抽取和对目标应用系统数据加载，加载完成后如条件满足对目标应用系统应用进行调度；

步骤8，主控调度单元通知消息接口单元，向应用系统发出应用运行消息；

步骤9，消息接口单元发出消息通知子系统消息接口单元，通知应用系统进行相关应用的调度；

步骤10，子系统接口消息单元通知子系统处理单元对相应的应用进行运行，运行完成后通过消息接口单元通知主控调度单元更新应用运行记录表；

步骤11，子系统接口消息单元向ETL调度装置的消息接口单元反馈运行消息；

步骤12，主控消息接口单元通知主控调度单元应用系统的运行情况。

至此，一次ETL过程流程结束。

图5为根据本发明ETL调度方法实施例三的示意图，是针对系统间的调度处理，见图5所示，具体说明如下：

步骤1，ETL调度装置(也称主控系统)从数据源系统抽取接口数据，并进行校验清理工作；

步骤2，ETL调度装置(也称主控系统)的加载调度模块并行向应用系统A和B加载接口数据；

步骤3，主控调度模块并行对应用系统A和B进行应用运行调度控制；

步骤4，应用系统B需要依赖或调用A系统的数据，发出请求；

步骤5，主控在A系统调度完成后，抽取A生成的数据，此时A系统作为数据源系统；

步骤6，完成对应用系统B的加载工作；

步骤7，触发条件满足，对B系统进行应用运行调度；

步骤8.，完成调度后，B系统应用反馈调度完成；

至此，一次系统间的ETL过程流程结束。

可通过各种手段实施本文描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，主控调度单元6可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、其它经设计以执行本文所描述的功能的电子单元或其组合内。

对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种ETL调度装置，其特征在于，包括：

接口抽取单元，用于从数据源系统抽取数据；

接口处理单元，用于对接口抽取单元抽取的数据进行格式处理，生成统一的接口数据；

主控调度单元，用于对所述接口处理单元处理后的接口数据进行对应应用系统的加载调度和运行调度分离，控制应用系统的数据加载和运行调度；

数据加载单元，用于根据所述主控调度单元的调度信息，将所述接口数据向对应应用系统进行数据加载；

接口消息单元，用于接收应用系统的运行调度反馈信息，并返回所述主控调度单元。

2.根据权利要求1所述的ETL调度装置，其特征在于，所述主控调度单元包括：

加载调度模块，用于根据应用系统的加载配置对应用系统进行并发加载控制；

运行调度模块，用于根据接口消息单元的反馈信息获得应用系统运行状态信息，根据应用系统的运行配置以及应用系统运行状态信息对应用系统进行运行控制。

3.根据权利要求2所述的ETL调度装置，其特征在于，所述加载调度模块包括：

加载配置子模块，用于存储应用系统的加载配置信息，所述加载配置信息包括以下任意组合：加载的接口数据名称、加载数据的资源消耗权值、资源优先级、系统优先级；

加载控制子模块，用于根据应用系统的加载配置信息进行并发加载控制，所述加载控制包括以下信息任意组合：总加载并发数目、单一加载并发数目、资源消耗门限。

4.根据权利要求2所述的ETL调度装置，其特征在于，所述运行调度模块包括：

运行调度配置子模块，用于存储应用系统的运行配置信息，包括以下任意组合：包括应用系统内和/或应用系统间的运行触发条件、运行优先级、运行资源消耗权值；

运行调度控制子模块，用于根据接口消息单元的反馈信息获得应用系统运行状态信息，根据应用系统的运行配置信息以及应用系统运行状态信息对应用系统进行运行调度控制。

5.一种ETL调度系统，其特征在于，包括上述权利要求1-4任一项所述的调度装置，还包括：

一至多个数据源系统，用于提供接口数据源；

一至多个应用系统，用于根据所述ETL调度装置提供的数据源，运行对应的应用。

6.根据权利要求5所述的ETL调度系统，其特征在于，所述数据源系统包括数据仓库、文件系统、和/或为其余应用系统提供数据服务的应用系统。

7.根据权利要求5或6所述的ETL调度系统，其特征在于，所述应用系统包括：

子系统接口消息单元，用于与所述ETL调度装置进行信息交互，其中，所述信息包括运行调度交互信息、数据加载交互信息、数据抽取/反馈信息；

子系统处理单元，用于系统内部的应用处理及与所述ETL调度装置的信息同步。

8.根据权利要求7所述的ETL调度系统，其特征在于，所述子系统处理单元包括：

子系统消息处理模块，用于进行和所述ETL装置的信息同步；

子系统应用配置模块，用于存储运行应用和应用调度的对应关系；

子系统运行处理模块，用于接收所述子系统消息处理模块的交互信息，根据所述子系统应用配置模块运行对应应用。

9.一种ETL调度方法，其特征在于，包括：

对从数据源系统抽取的数据进行格式处理，生成统一的接口数据；

对接口数据分别进行应用系统的加载调度和运行调度分离，分别控制应用系统的数据加载和运行调度；

对接口数据分别进行应用系统的加载调度和运行调度分离包括：

根据应用系统的加载配置信息对应用系统进行并发加载控制；

在加载完成后，根据应用系统的运行配置信息以及应用系统运行状态对应用系统进行运行调度控制。

10.根据权利要求9所述的ETL调度方法，其特征在于，所述加载配置信息包括以下任意组合：加载的接口数据名称、加载数据的资源消耗权值、资源优先级、应用系统优先级；

所述加载控制包括以下信息任意组合：总加载并发数目、单一加载并发数目、资源消耗门限；

所述应用系统的运行配置信息，包括以下任意组合：包括系统内和/或系统间的运行触发条件、运行优先级、运行资源消耗权值。

11.根据权利要求9或10所述的ETL调度方法，其特征在于，根据应用系统的运行配置信息以及应用系统运行状态对应用系统进行运行调度控制包括：

接收应用系统运行状态情况，生成应用系统运行调度信息；

根据应用系统运行调度信息以及所述运行配置信息，对满足运行触发条件的应用系统应用发送运行请求；

接收应用系统对所述应用的运行反馈，更新所述应用系统的运行调度信息。

12.根据权利要求9或10所述的ETL调度方法，其特征在于，根据应用系统的加载配置信息对应用系统进行并发加载控制；在加载完成后，根据应用系统的运行配置信息以及应用系统运行状态对应用系统进行运行调度控制包括：

接收应用系统运行状态情况，生成应用系统运行调度信息；

当应用系统的配置信息中的运行触发条件需要调用其他应用系统时，对所述应用系统和所述需要调用的应用系统并行加载接口数据；

在加载完成后，并行对所述应用系统和需要调用的应用系统进行运行调度；

向所述需要调用的应用系统发送运行结果请求，接收所述需要调用的应用系统的运行结果；

将所述需要调用的应用系统的运行结果加载至所述应用系统，并接收所述应用系统根据所述需要调用的应用系统的运行结果的运行返回结果。

Images