CN102750179B - 云计算平台与数据仓库间任务的调度方法与装置 - Google Patents
云计算平台与数据仓库间任务的调度方法与装置 Download PDFInfo
- Publication number
- CN102750179B CN102750179B CN201110103703.3A CN201110103703A CN102750179B CN 102750179 B CN102750179 B CN 102750179B CN 201110103703 A CN201110103703 A CN 201110103703A CN 102750179 B CN102750179 B CN 102750179B
- Authority
- CN
- China
- Prior art keywords
- task
- cloud computing
- data warehouse
- computing platform
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种云计算平台与数据仓库间任务的方法及装置，其中，该方法包括：1)根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；2)根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；3)根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。本发明各实施例的云计算平台与数据仓库间任务的调度方法和装置，实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
Description
技术领域
本发明涉及通信领域中云计算与业务支撑技术，具体地，涉及云计算平台与数据仓库的数据调度方法及装置。
背景技术
随着用户数量的不断增长和业务量的不断增加，业务支撑系统中的经营分析系统的性能凸显不足，作为经营分析系统数据处理核心结构的数据仓库，其数据处理能力也面临着越来越大的压力。
ETL是构建数据仓库的重要环节，ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了数据清洗、整合、转换、加载等各个过程。
在现有技术中，数据仓库的数据处理过程与云计算平台的数据处理过程是作为两套不同的数据处理模式而独立工作的。
现有的数据仓库数据ETL处理流程如下：
1)将数据文件放置在ETL加载服务器；
2)通过ETL加载服务器将数据文件装载至数据仓库；
3)在数据仓库内进行数据的处理(清洗、转换、汇总、关联等)。
现有的云计算平台数据ETL处理流程如下：
1)将数据文件放置在云计算平台；
2)利用云计算平台对数据文件进行处理(清洗、转换、汇总、关联等)；
3)将处理完成的数据以文本方式导出。
发明内容
本发明的目的是针对现有技术中经营分析系统中数据仓库的数据处理能力不足的缺陷，提出一种云计算平台与数据仓库间任务的方法及装置。
为实现上述目的，根据本发明的一个方面，提供了一种云计算平台与数据仓库间任务的调度方法。
根据本发明实施例的云计算平台与数据仓库间任务的调度方法，包括：
1)根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
2)根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
3)根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。
在上述技术方案中，方法还可以包括：
4)根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
5)根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；
6)根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务。
在上述技术方案中，在所述步骤1)之前还可以包括：
7)对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
在上述技术方案中，在所述步骤4)之前还可以包括：
8)对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
在上述技术方案中，步骤1)具体可以包括：
11)对触发配置文件进行扫描处理；
12)读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
13)根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务。
在上述技术方案中，步骤1)进一步可以包括步骤：
14)实时扫描所述触发配置文件，使用户对触发配置文件的修改进行响应。
在上述技术方案中，步骤4)具体可以包括：
41)对依赖配置文件进行扫描处理；
42)读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
43)根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务。
在上述技术方案中，步骤4)进一步可以包括步骤：
44)实时扫描所述依赖配置文件，使用户对依赖配置文件的修改进行响应。
为实现上述目的，根据本发明的一个方面，提供了一种云计算平台与数据仓库间任务的调度方法。
根据本发明实施例的云计算平台与数据仓库间任务的调度方法，包括：
1)根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
2)根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
3)根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
在上述技术方案中，方法还可以包括：
4)根据云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
5)根据获取的数据仓库任务的运行状态信息，更新虚拟依赖任务的状态；
6)根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务。
在上述技术方案中，在所述步骤1)之前还可以包括：
7)对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
在上述技术方案中，在步骤4)之前还可以包括：
8)对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
在上述技术方案中，所述步骤1)具体可以包括：
11)对触发配置文件进行扫描处理；
12)读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
13)根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务。
在上述技术方案中，步骤1)进一步可以包括步骤：
14)实时扫描所述触发配置文件，使用户对触发配置文件的修改进行响应。
在上述技术方案中，所述步骤4)具体可以包括：
41)对依赖配置文件进行扫描处理；
42)读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
43)根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务。
在上述技术方案中，步骤4)进一步可以包括步骤：
44)实时扫描所述依赖配置文件，使用户对依赖配置文件的修改进行响应。
为实现上述目的，根据本发明的另一个方面，提供了一种云计算平台与数据仓库间任务的调度装置。
根据本发明实施例的云计算平台与数据仓库间任务的调度装置，包括：
虚拟任务模块，用于根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
状态更新模块，用于根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块，用于根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。
在上述技术方案中，虚拟任务模块，还可以用于根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
状态更新模块，还可以用于根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块，还可以用于根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务。
在上述技术方案中，装置还可以包括：配置模块，用于对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
在上述技术方案中，配置模块，还可以用于对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
在上述技术方案中，虚拟任务模块具体可以包括：
触发扫描子模块，用于对触发配置文件进行扫描处理；
触发读取子模块，用于读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块，用于根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务。
在上述技术方案中，所述虚拟任务模块进一步可以包括：
触发响应子模块，用于实时扫描所述触发配置文件，使用户对触发配置文件的修改进行响应。
在上述技术方案中，虚拟任务模块具体可以包括：
依赖扫描子模块，用于对依赖配置文件进行扫描处理；
依赖读取子模块，用于读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块，用于根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务。
在上述技术方案中，虚拟任务模块进一步可以包括：
依赖响应子模块，用于实时扫描依赖配置文件，使用户对依赖配置文件的修改进行响应。
为实现上述目的，根据本发明的另一个方面，提供了一种云计算平台与数据仓库间任务的调度装置。
根据本发明实施例的云计算平台与数据仓库间任务的调度装置，包括：
虚拟任务模块，用于根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
状态更新模块，用于根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块，用于根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
在上述技术方案中，虚拟任务模块，还可以用于根据云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
状态更新模块，还可以用于根据获取的数据仓库任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块，还可以用于根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务。
在上述技术方案中，装置还可以包括：配置模块，用于对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
在上述技术方案中，配置模块，还可以用于对所述云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
在上述技术方案中，虚拟任务模块具体可以包括：
触发扫描子模块，用于对触发配置文件进行扫描处理；
触发读取子模块，用于读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块，用于根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务。
在上述技术方案中，虚拟任务模块进一步可以包括：
触发响应子模块，用于实时扫描所述触发配置文件，使用户对触发配置文件的修改进行响应。
在上述技术方案中，虚拟任务模块具体可以包括：
依赖扫描子模块，用于对依赖配置文件进行扫描处理；
依赖读取子模块，用于读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块，用于根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务。
在上述技术方案中，虚拟任务模块进一步可以包括：
依赖响应子模块，用于实时扫描所述依赖配置文件，使用户对依赖配置文件的修改进行响应。
本发明各实施例的云计算平台与数据仓库间任务的调度方法和装置，涉及到云计算平台与数据仓库之间双向的任务触发调度，首先在数据仓库和/或云计算平台内建立虚拟触发任务，根据云计算平台和/或数据仓库任务的运行状态，更新对应的虚拟触发任务的状态，最后根据所述虚拟触发任务更新后的状态，触发数据仓库和/或云计算平台的与所述虚拟触发任务具有触发关系的任务运行，从而实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明实施例一云计算平台与数据仓库间任务调度方法的第一流程图；
图2为根据本发明实施例一云计算平台与数据仓库间任务调度方法的第二流程图；
图3为根据本发明实施例二云计算平台与数据仓库间任务调度方法的第一流程图；
图4为根据本发明实施例二云计算平台与数据仓库间任务调度方法的第二流程图；
图5为根据本发明实施例三云计算平台与数据仓库间任务调度方法的第一流程图；
图6为根据本发明实施例三云计算平台与数据仓库间任务调度方法的第二流程图；
图7为根据本发明实施例一云计算平台与数据仓库间任务调度装置的示意图；
图8为根据本发明实施例二云计算平台与数据仓库间任务调度装置的示意图；
图9为根据本发明实施例三云计算平台与数据仓库间任务调度装置的示意图；
图10为根据本发明实施例四云计算平台与数据仓库间任务调度装置的示意图；
图11为根据本发明实施例五云计算平台与数据仓库间任务调度装置的示意图；
图12为图11实施例的任务触发调度的工作流程图；
图13为图11实施例的任务依赖调度的工作流程图；
图14为根据本发明实施例六云计算平台与数据仓库间任务调度装置的示意图；
图15为图14实施例的任务触发调度的工作流程图；
图16为图14实施例的任务依赖调度的工作流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明的云计算平台与数据仓库间任务的调度方法与装置，主要涉及经营分析系统中的数据仓库与云计算平台之间任务的交互调度运行。在数据仓库与云计算平台中，各任务的运行包括：触发关系和依赖关系，具体为：
1)、触发关系：一个任务的运行，必须有另外一个任务进行触发，例如，A任务运行完成后触发B任务；
2)、依赖关系：如上例，A任务触发B任务后，B任务不一定立即开始运行，而是处于等待状态；因为B任务可能还依赖C/D/E三个任务，如果C/D/E的状态满足后，才结束等待状态，开始运行。
本发明的云计算平台与数据仓库间任务的调度方法与装置，其数据仓库与云计算平台的触发关系与依赖关系都是双向：
1)云计算平台的任务既可以依赖数据仓库的任务，也可以触发数据仓库的任务；
2)数据仓库的任务既可以依赖云计算平台的任务，也可以触发云计算平台的任务。
方法实施例
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度方法，图1为根据本发明实施例一云计算平台与数据仓库间任务调度方法的第一流程图，图2为根据本发明实施例一云计算平台与数据仓库间任务调度方法的第二流程图，其中，图1为云计算平台任务触发数据仓库任务的情形，图2为数据仓库任务触发云计算平台任务的情形。
需要说明的是，图1与图2说明了任务调度方法的两种流程情形，两种流程可以同步运行，可以异步运行，也可以交叉运行，两种流程还可以仅运行一种流程。
如图1、2所示，本实施例包括：
步骤S102：根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
相应地，步骤S202：根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
步骤S104：根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
相应地，步骤S204：根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
步骤S106：根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行；
相应地，步骤S206：根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
本实施例的云计算平台与数据仓库间任务的调度方法，涉及到云计算平台与数据仓库之间双向的任务触发调度，首先在数据仓库和/或云计算平台内建立虚拟触发任务，根据云计算平台和/或数据仓库任务的运行状态，更新对应的虚拟触发任务的状态，最后根据所述虚拟触发任务更新后的状态，触发数据仓库和/或云计算平台的与所述虚拟触发任务具有触发关系的任务运行，从而实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
需要说明的是，无论是在数据仓库还是在云计算平台中，任务A必须在得到任务B(仅一个)的触发后才能运行，在得到任务B的触发后，如果任务A有依赖任务(可以为多个)，任务A将扫描该依赖任务，在该依赖任务的状态也满足后，任务A将开始运行，如果任务A无依赖任务，任务A在得到任务B的触发后立即开始运行；换句话说，数据仓库与云计算平台的任务运行，必须要得到另外任务的触发，在有依赖任务时，还需同时满足该依赖任务的状态，具体参见方法实施例二。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度方法，图3为根据本发明实施例二云计算平台与数据仓库间任务调度方法的第一流程图，图4为根据本发明实施例二云计算平台与数据仓库间任务调度方法的第二流程图，其中，图3为云计算平台任务触发数据仓库任务、云计算平台任务依赖数据仓库任务的情形，图4为数据仓库任务触发云计算平台任务、数据仓库任务依赖云计算平台任务的情形。
需要说明的是，图3与图4说明了任务调度方法的两种流程情形，两种流程可以同步运行，可以异步运行，也可以交叉运行，两种流程还可以仅运行一种流程。
如图3、4所示，本实施例包括：
步骤S302：根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
相应地，步骤S402：根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
步骤S304：根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
相应地，步骤S404：根据云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
步骤S306：根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
相应地，步骤S406：根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
步骤S308：根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；
相应地，步骤S408：根据获取的数据仓库任务的运行状态信息，更新虚拟依赖任务的状态；
步骤S310：根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行；
相应地，步骤S410：根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行；
步骤S312：根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务；
相应地，步骤S412：根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务。
需要说明的是，在图3的流程中，步骤S302、S306、S310与图1流程中的步骤S102、S104、S106一一对应，属于云计算平台任务触发数据仓库任务的情形；步骤S304、S308、S312属于在图1流程基础上增加的数据仓库任务依赖云计算平台任务的情形；上述两种情形彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
同理，在图4的流程中，步骤S402、S406、S410与图2流程中的步骤S202、S204、S206一一对应，属于数据仓库任务触发云计算平台任务的情形；步骤S404、S408、S412属于在图2流程基础上增加的云计算平台任务依赖数据仓库任务的情形；上述两种情形彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
本实施例的云计算平台与数据仓库间任务的调度方法，在方法实施例一的基础上，不仅涉及到云计算平台与数据仓库之间双向的任务触发调度，还涉及到云计算平台与数据仓库之间双向的任务依赖调度，首先在数据仓库和/或云计算平台内建立虚拟依赖任务，根据云计算平台和/或数据仓库任务的运行状态，更新对应的虚拟依赖任务的状态，最后根据所述虚拟依赖任务更新后的状态，运行数据仓库和/或云计算平台内与该虚拟依赖任务具有依赖关系的任务，从而实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度方法，图5为根据本发明实施例三云计算平台与数据仓库间任务调度方法的第一流程图，图6为根据本发明实施例三云计算平台与数据仓库间任务调度方法的第二流程图，其中，图5为云计算平台任务触发数据仓库任务、云计算平台任务依赖数据仓库任务的情形，图6为数据仓库任务触发云计算平台任务、数据仓库任务依赖云计算平台任务的情形。
需要说明的是，图5与图6说明了任务调度方法的两种流程情形，两种流程可以同步运行，可以异步运行，也可以交叉运行，两种流程还可以仅运行一种流程。
如图5、6所示，本实施例包括：
步骤S502：对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件；
由于数据仓库任务调度关系的存储机制与云计算平台任务调度关系的存储机制不一定相同，因此，以配置文件的方式对云计算平台与数据仓库之间的任务触发关系进行配置。
如表1所示，触发配置文件JOB TRIGGER.ini，该配置文件只配置跨云计算平台与数据仓库之间的触发关系所涉及的任务，该配置文件包含以下字段内容：
任务名称：jobname；
任务所触发的任务名称：trigger_jobname；
描述：description；
是否读取该触发关系：enable(1为需要读取该触发关系，0为不需要读取该触发关系)。
表1
相应地，步骤S602：对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件；
如表2所示，触发配置文件JOB_TRIGGER.ini，该配置文件只配置跨云计算平台与数据仓库之间的触发关系所涉及的任务，该配置文件包含以下字段内容：
任务名称：jobname；
任务所触发的任务名称：trigge_jobname；
描述：description；
是否读取该触发关系：enable(1为需要读取该触发关系，0为不需要读取该触发关系)。
表2
步骤S504：对触发配置文件JOB_TRIGGER.ini进行扫描处理；
相应地，步骤S604：对触发配置文件JOB_TRIGGER.ini进行扫描处理；
步骤S506：读取触发配置文件JOB_TRIGGE R.ini中云计算平台与数据仓库之间的任务触发关系；
相应地，步骤S606：读取触发配置文件JOB_TRIGGER.ini中云计算平台与数据仓库之间的任务触发关系；
步骤S508：根据触发配置文件进行初始化处理，即根据JOB_TRIGGER.ini中云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务DW_CLOUD_JOB A，该虚拟触发任务与任务CLOUD_JOB_A对应，并设置触发关系，使虚拟触发任务DW_CLOUD_JOB_A触发任务DW_JOB_B，并依次将触发配置文件JOB_TRIGGER.ini中所有触发关系进行初始化，即依次对触发配置文件JOB_TRIGGER.ini中所有触发关系进行本步骤的初始化操作；
相应地，步骤S608：根据所述触发配置文件进行初始化处理，即根据JOB_TRIGGER.ini中云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务CLOUD_DW_JOB_A，该虚拟触发任务与任务DW_JOB_A对应，并设置触发关系，使虚拟触发任务CLOUD_DW_JOB_A触发任务CLOUD_JOB_B，并依次将触发配置文件JOB_TRIGGER.ini中所有触发关系进行初始化，即依次对触发配置文件JOB_TRIGGER.ini中所有触发关系进行本步骤的初始化操作；
步骤S510：实时扫描触发配置文件JOB_TRIGGER.ini，使用户对触发配置文件JOB_TRIGGER.ini的修改进行响应；
相应地，步骤S610：实时扫描触发配置文件JOB_TRIGGER.ini，使用户对触发配置文件JOB_TRIGGER.ini的修改进行响应；
步骤S512：对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件；
如表3所示，依赖配置文件JOB_DEPENDENCY.ini，该配置文件只配置跨云计算平台与数据仓库之间的依赖关系所涉及的任务，该配置文件包含以下字段内容：
任务名称：jobname；
任务所依赖的任务名称：dependency_jobname；
描述：description；
是否读取该触发关系：enable(1为需要读取该触发关系，0为不需要读取该触发关系)。
表3
相应地，步骤S612：对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件；
由于数据仓库任务调度关系的存储机制与云计算平台任务调度关系的存储机制不一定相同，因此，以配置文件的方式对云计算平台与数据仓库之间的任务依赖关系进行配置。
如表4所示，依赖配置文件JOB_DEPENDENCY.ini，该配置文件只配置跨云计算平台与数据仓库之间的依赖关系所涉及的任务，该配置文件包含以下字段内容：
任务名称：jobname；
任务所依赖的任务名称：dependency_jobname；
描述：description；
是否读取该触发关系：enable(1为需要读取该依赖关系，0为不需要读取该依赖关系)。
表4
步骤S514：对依赖配置文件JOB_DEPENDENCY.ini进行扫描处理；
相应地，步骤S614：对依赖配置文件JOB_DEPENDENCY.ini进行扫描处理；
步骤S516：读取依赖配置文件JOB_DEPENDENCY.ini中云计算平台与数据仓库之间的任务依赖关系；
相应地，步骤S616：读取依赖配置文件JOB_DEPENDENCY.ini中云计算平台与数据仓库之间的任务依赖关系；
步骤S518：根据依赖配置文件进行初始化处理；
相应地，步骤S618：根据依赖配置文件进行初始化处理；
步骤S520：根据JOB_DEPENDENCY.ini中云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务DW_CLOUD_JOB_B，该虚拟依赖任务与任务CLOUD_JOB_B对应，并设置触发关系，使任务DW_JOB_A的运行依赖于虚拟依赖任务DW_CLOUD_JOB_B，并依次将依赖配置文件JOB_DEPENDENCY.ini中所有依赖关系进行初始化；
步骤S620：根据JOB_DEPENDENCY.ini中云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务CLOUD_DW_JOB_B，该虚拟依赖任务与任务DW_JOB_B对应，并设置触发关系，使任务CLOUD_JOB_A的运行依赖于虚拟依赖任务CLOUD_DW_JOB_B，并依次将依赖配置文件JOB_DEPENDENCY.ini中所有依赖关系进行初始化；
步骤S522：实时扫描依赖配置文件JOB_DEPENDENCY.ini，使用户对依赖配置文件JOB_DEPENDENCY.ini的修改进行响应；
相应地，步骤S622：实时扫描依赖配置文件JOB_DEPENDENCY.ini，使用户对依赖配置文件JOB_DEPENDENCY.ini的修改进行响应；
步骤S524：根据获取的云计算平台任务CLOUD_JOB_A的运行状态信息，如表5所示，更新数据仓库内的虚拟触发任务DW_CLOUD_JOB_A的运行状态、运行日期等属性，实现任务属性实时传递的目的；
表5
相应地，步骤S624：根据获取的数据仓库任务DW_JOB_A的运行状态信息，如表6所示，更新云计算平台内虚拟触发任务CLOUD_DW_JOB_A的运行状态、运行日期等属性，实现任务属性实时传递的目的；
表6
步骤S526：根据获取的云计算平台任务CLOUD_JOB_B的运行状态信息，如表7所示，更新数据仓库内的虚拟依赖任务DW_CLOUD_JOB_B的运行状态、运行日期等属性，实现任务属性实时传递的目的；
表7
步骤S626：根据获取的数据仓库任务DW_JOB_B的运行状态信息，如表8所示，更新云计算平台内的虚拟依赖任务CLOUD_DW_JOB_B的运行状态、运行日期等属性，实现任务属性实时传递的目的；
表8
步骤S528：数据仓库的触发调度机制正常运行，检测到虚拟触发任务DW_CLOUD_JOB_A完成时，自动触发任务DW_JOB_B运行；
相应地，步骤S628：云计算平台的触发调度机制正常运行，检测到虚拟触发任务CLOUD_DW_JOB_A完成时，自动触发任务CLOUD_JOB_B运行；
步骤S530：数据仓库的依赖调度机制正常运行，检测到任务DW_JOB_A依赖的虚拟依赖任务DW_CLOUD_JOB_B完成时，任务DW_JOB_A开始运行；
相应地，步骤S630：云计算平台的依赖调度机制正常运行，检测到任务CLOUD_JOB_A依赖的虚拟依赖任务CLOUD_DW_JOB_B完成时，任务CLOUD_JOB_A开始运行。
需要说明的是，在图5的流程中，步骤S502-步骤S510、步骤S524、步骤S528属于云计算平台任务触发数据仓库任务的情形；步骤S512-步骤S522、步骤S526、步骤S530属于数据仓库任务依赖云计算平台任务的情形；上述两种情形彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
同理，在图6的流程中，步骤S602-步骤S610、步骤S624、步骤S628属于数据仓库任务触发云计算平台任务的情形；步骤S612-步骤S622、步骤S626、步骤S630属于云计算平台任务依赖数据仓库任务的情形；上述两种情形彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
另外，对步骤S510和S610进行简单解释：在实际工作中，任务间的触发(依赖)关系会根据需求进行变动。例如云计算平台A任务触发数据仓库B任务，根据步骤S502(S602)进行配置后，扫描程序会按照步骤S504(S604)-S508(S608)进行一系列的读取、初始化等操作，建立相应的虚拟触发(依赖)任务并设定相应的触发(依赖)关系。
但是，如果根据需求需要将云计算平台A任务触发数据仓库B任务，修改为云计算平台A任务触发数据仓库C任务。为了不影响系统的工作，根据步骤S502(S602)进行配置修改，并要求修改的配置实时生效。所以扫描程序需要实时的扫描配置文件，发现配置文件修改后，要立即按照步骤S504(S604)-S508(S608)进行相应的调整。例如，读取修改后的配置文件后，扫描程序立即删除A与B的触发关系，并新建A与C的触发关系(即对新的关系进行初始化)。
因此，需要扫描程序实时的读取配置文件，用户修改配置文件后，要立即根据配置文件的修改进行相应的调整，保证配置文件实时生效。
本实施例的云计算平台与数据仓库间任务的调度方法，除对方法实施例二的步骤进行细化描述外，还增加了对任务触发关系和任务依赖关系进行配置、读取等步骤，还增加了实时扫描触发配置文件和依赖配置文件的步骤，进一步实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
装置实施例
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图7为根据本发明实施例一云计算平台与数据仓库间任务调度装置的示意图，本实施例的装置分别与云计算平台和数据仓库相连，对云计算平台任务与数据仓库任务进行触发调度。
如图7所示，本实施例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
状态更新模块200，用于根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。
本实施例的云计算平台与数据仓库间任务的调度装置，涉及到云计算平台与数据仓库之间的任务触发调度，首先在数据仓库内建立虚拟触发任务，根据云计算平台任务的运行状态，更新对应的虚拟触发任务的状态，最后根据虚拟触发任务更新后的状态，触发数据仓库的与虚拟触发任务具有触发关系的任务运行，从而实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图8为根据本发明实施例二云计算平台与数据仓库间任务调度装置的示意图，本实施例的装置分别与云计算平台和数据仓库相连，对云计算平台任务与数据仓库任务进行触发调度。
如图8所示，本实例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
状态更新模块200，用于根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
本实施例的云计算平台与数据仓库间任务的调度装置，涉及到云计算平台与数据仓库之间的任务触发调度，首先在云计算平台内建立虚拟触发任务，根据数据仓库任务的运行状态，更新对应的虚拟触发任务的状态，最后根据虚拟触发任务更新后的状态，触发云计算平台的与虚拟触发任务具有触发关系的任务运行，从而实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
需要说明的是，图7和图8的装置实施例分别描述了由云计算平台任务向数据仓库任务进行触发调度、数据仓库任务向云计算平台任务进行触发调度的结构；本领域的技术人员应该可以比较容易的想到，根据图7、图8的装置实施例可以设计出一种集成该两实施例的装置所有功能的调度装置，该装置既可以将云计算平台任务向数据仓库任务进行触发调度，也可以将数据仓库任务向云计算平台任务调度。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图9为根据本发明实施例三云计算平台与数据仓库间任务调度装置的示意图，本实施例在装置实施例一的基础上可以对依赖任务进行调度。
如图9所示，本实施例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
状态更新模块200，用于根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。
其中，虚拟任务模块100，还用于根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
状态更新模块200，还用于根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块300，还用于根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务。
需要说明的是，在图9的装置实施例中，装置中的虚拟任务模块、状态更新模块和任务运行模块在图7装置实施例云计算平台任务触发数据仓库任务的基础上，增加了数据仓库任务依赖云计算平台任务的功能，上述两种功能彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
本实施例的云计算平台与数据仓库间任务的调度装置，在装置实施例一的基础上，不仅涉及到云计算平台与数据仓库之间的任务触发调度，还涉及到云计算平台与数据仓库之间的任务依赖调度，首先在数据仓库内建立虚拟依赖任务，根据云计算平台任务的运行状态，更新对应的虚拟依赖任务的状态，最后根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务，从而实现了云计算平台与数据仓库之间任务的调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图10为根据本发明实施例四云计算平台与数据仓库间任务调度装置的示意图，本实施例在装置实施例二的基础上可以对依赖任务进行调度。
如图10所示，本实施例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
状态更新模块200，用于根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
其中，虚拟任务模块100，还用于根据云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
状态更新模块200，还用于根据获取的数据仓库任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块300，还用于根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务。
需要说明的是，在图10的装置实施例中，装置中的虚拟任务模块、状态更新模块和任务运行模块在图8装置实施例数据仓库任务触发云计算平台任务的基础上，增加了云计算平台任务依赖数据仓库任务的功能，上述两种功能彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的方式而不运行任务依赖的方式。
本实施例的云计算平台与数据仓库间任务的调度装置，在装置实施例二的基础上，不仅涉及到云计算平台与数据仓库之间的任务触发调度，还涉及到云计算平台与数据仓库之间的任务依赖调度，首先在云计算平台内建立虚拟依赖任务，根据数据仓库任务的运行状态，更新对应的虚拟依赖任务的状态，最后根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务，从而实现了云计算平台与数据仓库之间任务的调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
需要说明的是，图9和图10的装置实施例分别描述了由云计算平台任务向数据仓库任务进行触发调度、数据仓库任务向云计算平台任务进行触发调度的结构；本领域的技术人员应该可以比较容易的想到，根据图9、图10的装置实施例可以设计出一种集成该两实施例的装置所有功能的调度装置，该装置既可以将云计算平台任务向数据仓库任务进行触发调度，也可以将数据仓库任务向云计算平台任务进行触发调度。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图11为根据本发明实施例五云计算平台与数据仓库间任务调度装置的示意图，本实施例对装置实施例一、实施例三进行了具体的细化和补充。
如图11所示，本实施例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
状态更新模块200，用于根据获取的云计算平台任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发数据仓库内与该虚拟触发任务具有触发关系的任务运行。
其中，虚拟任务模块100，还用于根据云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
状态更新模块200，还用于根据获取的云计算平台任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块300，还用于根据虚拟依赖任务更新后的状态，运行数据仓库内与该虚拟依赖任务具有依赖关系的任务。
本实施例的云计算平台与数据仓库间任务的调度装置还包括：
配置模块400，用于对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
其中，配置模块400，还用于对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
虚拟任务模块100具体包括：
触发扫描子模块101，用于对触发配置文件进行扫描处理；
触发读取子模块102，用于读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块103，用于根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在数据仓库内建立虚拟触发任务；
触发响应子模块104，用于实时扫描触发配置文件，使用户对触发配置文件的修改进行响应。
其中，虚拟任务模块100具体还包括：
依赖扫描子模块111，用于对依赖配置文件进行扫描处理；
依赖读取子模块112，用于读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块113，用于根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在数据仓库内建立虚拟依赖任务；
依赖响应子模块114，用于实时扫描依赖配置文件，使用户对依赖配置文件的修改进行响应。
需要说明的是，本装置实施例中的所有模块结构共有两个功能：(1)云计算平台任务触发数据仓库任务的实现；(2)数据仓库任务依赖云计算平台任务的实现；该两种功能彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的功能而不运行任务依赖的功能。
图12为图11实施例的任务触发调度的工作流程图，如图12所示，本实施例调度装置的第一个功能的实现过程为：
触发扫描子模块101扫描触发配置文件，检测云计算平台的任务在数据仓库内是否存在对应的虚拟触发任务；如果存在，检测数据仓库内的对应任务是否与该虚拟触发任务建立触发关系，否则，虚拟触发子模块103在数据仓库内建立虚拟触发任务，然后检测数据仓库内的对应任务是否与该虚拟触发任务建立触发关系；如果对应任务与虚拟触发任务建立了触发关系，则状态更新模块200实时检测云计算平台任务的运行状态，根据该运行状态同步更新虚拟触发任务的状态，如果对应任务与虚拟触发任务未建立触发关系，则将该对应任务与虚拟触发任务建立触发关系，然后状态更新模块200实时检测云计算平台任务的运行状态，根据该运行状态同步更新虚拟触发任务的状态；数据仓库执行正常的触发调度机制，任务运行模块300检测该虚拟触发任务与数据仓库内的对应任务是否满足触发关系，如果满足，则触发该对应任务运行，否则，继续检测该虚拟触发任务与数据仓库内的对应任务是否满足触发关系，以此循环。
图13为图11实施例的任务依赖调度的工作流程图，如图13所示，本实施例调度装置的第二个功能的实现过程为：
依赖扫描子模块111扫描依赖配置文件，检测云计算平台的任务在数据仓库内是否存在对应的虚拟依赖任务；如果存在，检测数据仓库内的对应任务是否与该虚拟依赖任务建立依赖关系，否则，虚拟依赖子模块113在数据仓库内建立虚拟依赖任务，然后检测数据仓库内的对应任务是否与该虚拟依赖任务建立依赖关系；如果对应任务与虚拟依赖任务建立了依赖关系，则状态更新模块200实时检测云计算平台任务的运行状态，根据该运行状态同步更新虚拟依赖任务的状态，如果对应任务与虚拟依赖任务未建立依赖关系，则将该对应任务与虚拟依赖任务建立依赖关系，然后状态更新模块200实时检测云计算平台任务的运行状态，根据该运行状态同步更新虚拟依赖任务的状态；数据仓库执行正常的依赖调度机制，任务运行模块300检测该虚拟依赖任务与数据仓库内的对应任务是否满足依赖关系，如果满足，则运行该对应任务，否则，继续检测该虚拟依赖任务与数据仓库内的对应任务是否满足依赖关系，以此循环。
本实施例的云计算平台与数据仓库间任务的调度装置，除对装置实施例一、实施例三的功能模块进行细化描述外，还增加了对任务触发关系和任务依赖关系进行配置、读取等细化模块，还增加了实时扫描触发配置文件和依赖配置文件的模块，进一步实现了云计算平台与数据仓库之间任务的调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
根据本发明实施例，提供了一种云计算平台与数据仓库间任务的调度装置，图14为根据本发明实施例六云计算平台与数据仓库间任务调度装置的示意图，本实施例对装置实施例二、实施例四进行了具体的细化和补充。
如图14所示，本实施例包括：
虚拟任务模块100，用于根据云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
状态更新模块200，用于根据获取的数据仓库任务的运行状态信息，更新虚拟触发任务的状态；
任务运行模块300，用于根据虚拟触发任务更新后的状态，触发云计算平台内与该虚拟触发任务具有触发关系的任务运行。
其中，虚拟任务模块100，还用于根据云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
状态更新模块200，还用于根据获取的数据仓库任务的运行状态信息，更新虚拟依赖任务的状态；
任务运行模块300，还用于根据虚拟依赖任务更新后的状态，运行云计算平台内与该虚拟依赖任务具有依赖关系的任务。
本实施例的云计算平台与数据仓库间任务的调度装置还包括：
配置模块400，用于对云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
其中，配置模块400，还用于对云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
虚拟任务模块100具体包括：
触发扫描子模块101，用于对触发配置文件进行扫描处理；
触发读取子模块102，用于读取触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块103，用于根据触发配置文件中云计算平台与数据仓库之间的任务触发关系，在云计算平台内建立虚拟触发任务；
触发响应子模块104，用于实时扫描触发配置文件，使用户对触发配置文件的修改进行响应。
其中，虚拟任务模块100具体包括：
依赖扫描子模块111，用于对依赖配置文件进行扫描处理；
依赖读取子模块112，用于读取依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块113，用于根据依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在云计算平台内建立虚拟依赖任务；
依赖响应子模块114，用于实时扫描依赖配置文件，使用户对依赖配置文件的修改进行响应。
需要说明的是，本装置实施例中的所有模块结构共有两个功能：(1)数据仓库任务触发云计算平台任务的实现；(2)云计算平台任务依赖数据仓库任务的实现；该两种功能彼此独立，可以同步运行，可以异步运行，可以交叉运行，也可以仅运行任务触发的功能而不运行任务依赖的功能。
图15为图14实施例的任务触发调度的工作流程图，如图15所示，本实施例调度装置的第一个功能的实现过程为：
触发扫描子模块101扫描触发配置文件，检测数据仓库的任务在云计算平台内是否存在对应的虚拟触发任务；如果存在，检测云计算平台内的对应任务是否与该虚拟触发任务建立触发关系，否则，虚拟触发子模块103在云计算平台内建立虚拟触发任务，然后检测云计算平台内的对应任务是否与该虚拟触发任务建立触发关系；如果对应任务与虚拟触发任务建立了触发关系，则状态更新模块200实时检测数据仓库任务的运行状态，根据该运行状态同步更新虚拟触发任务的状态，如果对应任务与虚拟触发任务未建立触发关系，则将该对应任务与虚拟触发任务建立触发关系，然后状态更新模块200实时检测数据仓库任务的运行状态，根据该运行状态同步更新虚拟触发任务的状态；云计算平台执行正常的触发调度机制，任务运行模块300检测该虚拟触发任务与云计算平台内的对应任务是否满足触发关系，如果满足，则触发该对应任务运行，否则，继续检测该虚拟触发任务与云计算平台内的对应任务是否满足触发关系，以此循环。
图16为图14实施例的任务依赖调度的工作流程图，如图16所示，本实施例调度装置的第二个功能的实现过程为：
依赖扫描子模块111扫描依赖配置文件，检测数据仓库的任务在云计算平台内是否存在对应的虚拟依赖任务；如果存在，检测云计算平台内的对应任务是否与该虚拟依赖任务建立依赖关系，否则，虚拟依赖子模块113在云计算平台内建立虚拟依赖任务，然后检测云计算平台内的对应任务是否与该虚拟依赖任务建立依赖关系；如果对应任务与虚拟依赖任务建立了依赖关系，则状态更新模块200实时检测数据仓库任务的运行状态，根据该运行状态同步更新虚拟依赖任务的状态，如果对应任务与虚拟依赖任务未建立依赖关系，则将该对应任务与虚拟依赖任务建立依赖关系，然后状态更新模块200实时检测数据仓库任务的运行状态，根据该运行状态同步更新虚拟依赖任务的状态；数据仓库执行正常的依赖调度机制，任务运行模块300检测该虚拟依赖任务与云计算平台内的对应任务是否满足依赖关系，如果满足，则运行该对应任务，否则，继续检测该虚拟依赖任务与云计算平台内的对应任务是否满足依赖关系，以此循环。
本实施例的云计算平台与数据仓库间任务的调度装置，除对装置实施例二、实施例四的功能模块进行细化描述外，还增加了对任务触发关系和任务依赖关系进行配置、读取等细化模块，还增加了实时扫描触发配置文件和依赖配置文件的模块，进一步实现了云计算平台与数据仓库之间任务的双向调度，有利于两者选择合适的数据处理模式处理数据，增强了云计算平台与数据仓库任务的处理能力，提高了数据的处理效率。
需要说明的是，图11和图14的装置实施例分别描述了由云计算平台任务向数据仓库任务进行触发调度、数据仓库任务向云计算平台任务进行触发调度的结构；本领域的技术人员应该可以比较容易的想到，根据图11、图14的装置实施例可以设计出一种集成该两实施例的装置所有功能的调度装置，该装置既可以将云计算平台任务向数据仓库任务进行触发调度，也可以将数据仓库任务向云计算平台任务进行触发调度。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (20)
1.一种云计算平台与数据仓库间任务的调度方法，其特征在于，包括：
1）根据云计算平台与数据仓库之间的任务触发关系，在所述数据仓库内建立虚拟触发任务；
2）根据获取的云计算平台任务的运行状态信息，更新所述虚拟触发任务的状态；
3）根据所述虚拟触发任务更新后的状态，触发所述数据仓库内与该虚拟触发任务具有触发关系的任务运行；
4）根据云计算平台与数据仓库之间的任务依赖关系，在所述数据仓库内建立虚拟依赖任务；
5）根据获取的云计算平台任务的运行状态信息，更新所述虚拟依赖任务的状态；
6）根据所述虚拟依赖任务更新后的状态，运行所述数据仓库内与该虚拟依赖任务具有依赖关系的任务。
2.根据权利要求1所述的方法，其特征在于，在所述步骤1）之前还包括：
7）对所述云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
3.根据权利要求1所述的方法，其特征在于，在所述步骤4）之前还包括：
8）对所述云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
4.根据权利要求2所述的方法，其特征在于，所述步骤1）具体包括：
11）对所述触发配置文件进行扫描处理；
12）读取所述触发配置文件中云计算平台与数据仓库之间的任务触发关系；
13）根据所述触发配置文件中云计算平台与数据仓库之间的任务触发关系，在所述数据仓库内建立虚拟触发任务；
所述步骤1）进一步包括步骤：
14）实时扫描所述触发配置文件，使用户对所述触发配置文件的修改进行响应。
5.根据权利要求3所述的方法，其特征在于，所述步骤4）具体包括：
41）对所述依赖配置文件进行扫描处理；
42）读取所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
43）根据所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在所述数据仓库内建立虚拟依赖任务；
所述步骤4）进一步包括步骤：
44）实时扫描所述依赖配置文件，使用户对所述依赖配置文件的修改进行响应。
6.一种云计算平台与数据仓库间任务的调度方法，其特征在于，包括：
1）根据云计算平台与数据仓库之间的任务触发关系，在所述云计算平台内建立虚拟触发任务；
2）根据获取的数据仓库任务的运行状态信息，更新所述虚拟触发任务的状态；
3）根据所述虚拟触发任务更新后的状态，触发所述云计算平台内与该虚拟触发任务具有触发关系的任务运行；
4）根据云计算平台与数据仓库之间的任务依赖关系，在所述云计算平台内建立虚拟依赖任务；
5）根据获取的数据仓库任务的运行状态信息，更新所述虚拟依赖任务的状态；
6）根据所述虚拟依赖任务更新后的状态，运行所述云计算平台内与该虚拟依赖任务具有依赖关系的任务。
7.根据权利要求6所述的方法，其特征在于，在所述步骤1）之前还包括：
7）对所述云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
8.根据权利要求6所述的方法，其特征在于，在所述步骤4）之前还包括：
8）对所述云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
9.根据权利要求7所述的方法，其特征在于，所述步骤1）具体包括：
11）对所述触发配置文件进行扫描处理；
12）读取所述触发配置文件中云计算平台与数据仓库之间的任务触发关系；
13）根据所述触发配置文件中云计算平台与数据仓库之间的任务触发关系，在所述云计算平台内建立虚拟触发任务；
所述步骤1）进一步包括步骤：
14）实时扫描所述触发配置文件，使用户对所述触发配置文件的修改进行响应。
10.根据权利要求8所述的方法，其特征在于，所述步骤4）具体包括：
41）对所述依赖配置文件进行扫描处理；
42）读取所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
43）根据所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在所述云计算平台内建立虚拟依赖任务；
所述步骤4）进一步包括步骤：
44）实时扫描所述依赖配置文件，使用户对所述依赖配置文件的修改进行响应。
11.一种云计算平台与数据仓库间任务的调度装置，其特征在于，包括：
虚拟任务模块，用于根据云计算平台与数据仓库之间的任务触发关系，在所述数据仓库内建立虚拟触发任务；
状态更新模块，用于根据获取的云计算平台任务的运行状态信息，更新所述虚拟触发任务的状态；
任务运行模块，用于根据所述虚拟触发任务更新后的状态，触发所述数据仓库内与该虚拟触发任务具有触发关系的任务运行；
所述虚拟任务模块，还用于根据云计算平台与数据仓库之间的任务依赖关系，在所述数据仓库内建立虚拟依赖任务；
所述状态更新模块，还用于根据获取的云计算平台任务的运行状态信息，更新所述虚拟依赖任务的状态；
所述任务运行模块，还用于根据所述虚拟依赖任务更新后的状态，运行所述数据仓库内与该虚拟依赖任务具有依赖关系的任务。
12.根据权利要求11所述的装置，其特征在于，装置还包括：
配置模块，用于对所述云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
13.根据权利要求12所述的装置，其特征在于，
所述配置模块，还用于对所述云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
14.根据权利要求12所述的装置，其特征在于，所述虚拟任务模块具体包括：
触发扫描子模块，用于对所述触发配置文件进行扫描处理；
触发读取子模块，用于读取所述触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块，用于根据所述触发配置文件中云计算平台与数据仓库之间的任务触发关系，在所述数据仓库内建立虚拟触发任务；
所述虚拟任务模块进一步包括：
触发响应子模块，用于实时扫描所述触发配置文件，使用户对所述触发配置文件的修改进行响应。
15.根据权利要求13所述的装置，其特征在于，所述虚拟任务模块具体包括：
依赖扫描子模块，用于对所述依赖配置文件进行扫描处理；
依赖读取子模块，用于读取所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块，用于根据所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在所述数据仓库内建立虚拟依赖任务；
所述虚拟任务模块进一步包括：
依赖响应子模块，用于实时扫描所述依赖配置文件，使用户对所述依赖配置文件的修改进行响应。
16.一种云计算平台与数据仓库间任务的调度装置，其特征在于，包括：
虚拟任务模块，用于根据云计算平台与数据仓库之间的任务触发关系，在所述云计算平台内建立虚拟触发任务；
状态更新模块，用于根据获取的数据仓库任务的运行状态信息，更新所述虚拟触发任务的状态；
任务运行模块，用于根据所述虚拟触发任务更新后的状态，触发所述云计算平台内与该虚拟触发任务具有触发关系的任务运行；
所述虚拟任务模块，还用于根据云计算平台与数据仓库之间的任务依赖关系，在所述云计算平台内建立虚拟依赖任务；
所述状态更新模块，还用于根据获取的数据仓库任务的运行状态信息，更新所述虚拟依赖任务的状态；
所述任务运行模块，还用于根据所述虚拟依赖任务更新后的状态，运行所述云计算平台内与该虚拟依赖任务具有依赖关系的任务。
17.根据权利要求16所述的装置，其特征在于，装置还包括：
配置模块，用于对所述云计算平台与数据仓库之间的任务触发关系进行配置，获取触发配置文件。
18.根据权利要求17所述的装置，其特征在于，
所述配置模块，还用于对所述云计算平台与数据仓库之间的任务依赖关系进行配置，获取依赖配置文件。
19.根据权利要求17所述的装置，其特征在于，所述虚拟任务模块具体包括：
触发扫描子模块，用于对所述触发配置文件进行扫描处理；
触发读取子模块，用于读取所述触发配置文件中云计算平台与数据仓库之间的任务触发关系；
虚拟触发子模块，用于根据所述触发配置文件中云计算平台与数据仓库之间的任务触发关系，在所述云计算平台内建立虚拟触发任务；
所述虚拟任务模块进一步包括：
触发响应子模块，用于实时扫描所述触发配置文件，使用户对所述触发配置文件的修改进行响应。
20.根据权利要求18所述的装置，其特征在于，所述虚拟任务模块具体包括：
依赖扫描子模块，用于对所述依赖配置文件进行扫描处理；
依赖读取子模块，用于读取所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系；
虚拟依赖子模块，用于根据所述依赖配置文件中云计算平台与数据仓库之间的任务依赖关系，在所述云计算平台内建立虚拟依赖任务；
所述虚拟任务模块进一步包括：
依赖响应子模块，用于实时扫描所述依赖配置文件，使用户对所述依赖配置文件的修改进行响应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110103703.3A CN102750179B (zh) | 2011-04-22 | 2011-04-22 | 云计算平台与数据仓库间任务的调度方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110103703.3A CN102750179B (zh) | 2011-04-22 | 2011-04-22 | 云计算平台与数据仓库间任务的调度方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102750179A CN102750179A (zh) | 2012-10-24 |
| CN102750179B true CN102750179B (zh) | 2014-10-01 |
Family
ID=47030398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110103703.3A Active CN102750179B (zh) | 2011-04-22 | 2011-04-22 | 云计算平台与数据仓库间任务的调度方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102750179B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226590B (zh) * | 2013-04-12 | 2017-03-01 | 中国银行股份有限公司 | 作业之间的触发方法 |
| CN106933857B (zh) * | 2015-12-30 | 2020-12-29 | 创新先进技术有限公司 | 一种数据仓库中任务的调度方法、装置 |
| CN108427600B (zh) * | 2018-01-24 | 2021-03-16 | 平安科技（深圳）有限公司 | 数据任务处理方法、应用服务器及计算机可读存储介质 |
| CN113360282B (zh) * | 2021-06-03 | 2024-04-12 | 中国工商银行股份有限公司 | 一种任务管理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533417A (zh) * | 2009-04-28 | 2009-09-16 | 阿里巴巴集团控股有限公司 | 一种实现etl调度的方法及系统 |
| CN101567013A (zh) * | 2009-06-02 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 一种etl调度的实现方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060212869A1 (en) * | 2003-04-14 | 2006-09-21 | Koninklijke Philips Electronics N.V. | Resource management method and apparatus |
| US7493406B2 (en) * | 2006-06-13 | 2009-02-17 | International Business Machines Corporation | Maximal flow scheduling for a stream processing system |
-
2011
- 2011-04-22 CN CN201110103703.3A patent/CN102750179B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533417A (zh) * | 2009-04-28 | 2009-09-16 | 阿里巴巴集团控股有限公司 | 一种实现etl调度的方法及系统 |
| CN101567013A (zh) * | 2009-06-02 | 2009-10-28 | 阿里巴巴集团控股有限公司 | 一种etl调度的实现方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| JP特表2006-523881A 2006.10.19 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102750179A (zh) | 2012-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106484070B (zh) | 通过信息存储共享的队列电源管理 | |
| CN102750179B (zh) | 云计算平台与数据仓库间任务的调度方法与装置 | |
| CN108398924A (zh) | 机器人搬运车的调度方法和调度装置 | |
| Emmanouilidis et al. | Mobile solutions for engineering asset and maintenance management | |
| US8849634B2 (en) | Method for identifying the maximal packing density of shifting-tiles automated warehouses | |
| CN103713829A (zh) | 系统切换方法、装置和电子设备 | |
| CN102035936A (zh) | 一种终端任务管理器的实现方法、终端 | |
| CN103886442A (zh) | 一种基于rfid的超市货物归位系统及方法 | |
| CN102567452A (zh) | 一种批注信息处理方法与装置 | |
| CN102981628A (zh) | 无线键盘及计算机系统 | |
| CN104204819A (zh) | 被配置为在传输线行进并提供辅助的移动设备 | |
| CN202583831U (zh) | 基于rfid识别技术的物料高效转载装备智能控制系统 | |
| CN105261233A (zh) | 一种车库导航方法及移动终端 | |
| CN106843857A (zh) | 基于srp实现代码库转换sdk的方法和装置 | |
| CN102540873B (zh) | 车间控制系统、等同化数据选择装置以及等同化数据选择方法 | |
| KR102067542B1 (ko) | 스마트 시설물 관리 시스템 및 방법 | |
| Silvestre-Blanes et al. | Energy efficiency improvements through surveillance applications in industrial buildings | |
| JP5195457B2 (ja) | アンテナ動作プログラム、アンテナ制御装置及び無線タグ読取ゲート | |
| CN104123625A (zh) | 一种基于rfid技术的食品仓储管理平台 | |
| CN109919538A (zh) | 基于物联网技术的仓储检测物资样品管理自动化的方法 | |
| CN102523292A (zh) | 运用无线传感技术的车展智能化平台 | |
| CN103106023B (zh) | 用于控制便携式终端中的显示尺寸的装置和方法 | |
| JP2007310615A (ja) | 部品の所在管理システム及び方法 | |
| CN209312043U (zh) | 一种带触摸屏和rfid读写功能的无线连接电子标签拣选系统 | |
| CN116029536B (zh) | 基于nfc技术的仓储货物智能调度方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |