CN108694082B - 一种跨域作业流调度方法及系统 - Google Patents

Abstract

本发明公开了一种跨域作业流调度方法及系统，所述方法包括：在协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求；根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；将多个数据业务处理分块按照作业流编排逻辑分配给协同调度网络中的多个作业流调度集群进行处理；所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；通过联邦数据通道将生成的数据输出至预定的作业流调度集群中并存储在其对应的数据库中；所述方法及系统通过采用非主备模式的协同调度网络做到多引擎并行的跨域数据调度，通过并行处理提高处理速度的同时规避了单点故障带来的风险。

Description

一种跨域作业流调度方法及系统

技术领域

本发明涉及通信技术领域，更具体地，涉及一种跨域作业流调度方法及系统。

背景技术

随着通信技术的日益发展，各类业务中需处理的数据量呈爆炸性增长，仅在本地的服务器完成数据处理的作业已经越来越捉襟见肘，故分布式系统应运而生，在各个互联的分布式服务器中处理分片处理后的分片数据，使各个部分的数据可以同时并行处理，这大大的加快了数据处理的能力；然而传统的分布式的数据处理方法仍然存在一些不足：首先，传统的分布式系统对参与联合调度的服务器数量是有上限限制的，这使得随着待处理数据量的增加会出现处理瓶颈；其次，传统的分布式系统存在一个主服务器，所述主服务器为数据的入口并复制数据分片；而若该主服务器发生故障，会使得整个分布式系统瘫痪；再次，多个分布式服务器间，使用的开发语言可能存在差别，这使得在分布式系统的兼容性上存在隐患且后续的维护上也存在局限性。

发明内容

为了解决背景技术存在的处理数据量存在上限、主服务器单点故障使得整个系统存在瘫痪风险以及各服务器间开发语言存在差别使得兼容性上存在隐患且维护成本高等问题，本发明提供了一种跨域作业流调度方法及系统，所述方法及系统采用非主备模式做到多引擎并行的跨域数据调度；所述多个调度集群中的任一个通过对业务的编排输出作业流并分配给协同调度网络(即分布式系统)中的各个调度集群进行并行处理；同时所述方法及系统采用容器技术，对作业的编程语言、实现方式没有限制；所述一种跨域作业流调度方法包括：

在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求；

通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；

将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；

所述多个作业流调度集群的每一个将其生成的数据根据作业流定义中对该分块的输出位置的定义写入数据联邦通道的输入接口中，并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输；所述数据联邦通道连接各个作业流调度集群；

在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后，所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中；

进一步的，所述通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块包括：所述作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

进一步的，在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A的方法包括：选取协同调度网络中的多个作业流调度集群与应用者提供数据源的物理位置最近的作业流调度集群为作业流调度集群A；

进一步的，所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理包括：所述作业流调度集群调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据；

进一步的，所述触发策略包括人工触发、文件触发、目录触发、定时触发、超时触发、异常触发、变量标识触发、消息触发以及队列深度触发；所述逻辑关系包括接续关系、扇入扇出关系以及并行并发关系；

进一步的，对所述作业流调度集群A的运行情况进行实时监控；对所述作业流调度集群A的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

进一步的，最终用户通过API网关访问所述指定的数据输出位置的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费；

进一步的，所述作业流调度集群A可同时接收多个数据处理业务需求，通过使用容器技术同时对多个数据处理业务需求；所述多个数据处理业务需求的每一个在一个容器中进行处理，各容器相互隔离；

进一步的，所述多个作业流调度集群采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。

所述一种跨域作业流调度系统，所述系统为由多个作业流调度集群组成的协同调度网络，所述系统包括多个作业流调度集群以及数据联邦通道；

多个作业流调度集群，所述多个作业流调度集群的每一个包括作业流编排模块、业务处理模块以及本地数据库；所述作业流调度集群用于接收所述应用提供者发送的数据处理业务需求；

所述作业流编排模块用于对接收的所述数据处理业务需求进行作业流的编排，并将所述数据处理业务需求按照作业流编排的逻辑分成多个数据业务处理分块；

所述作业流编排模块将所述多个数据业务处理分块按照作业流编排逻辑分配给多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个的业务处理模块，接收分配的数据业务处理分块，对所述数据业务处理分块进行处理并生成数据；所述多个作业流调度集群的每一个的业务处理模块将处理生成的数据写入与其所在作业流调度集群对应的数据联邦通道的输入接口中；

作业流指定的数据输出位置对应的作业流调度集群接收到经联邦数据通道传输的多个数据流调度集群生成的数据，并将所述数据存储在该作业调度集群的本地数据库中；

数据联邦通道，所述数据联邦通道与各个作业流调度集群相连，并通过数据联邦技术在各个作业流调度集群间进行数据传输。

进一步的，所述作业流编排模块编排的作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

进一步的，选取所述多个作业流调度集群中与应用者提供数据源的物理位置最近的作业流调度集群接收所述应用提供者发送的数据处理业务需求；

进一步的，所述业务处理模块用于调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据；

进一步的，所述作业流编排模块的触发策略包括人工触发、文件触发、目录触发、定时触发、超时触发、异常触发、变量标识触发、消息触发以及队列深度触发；所述作业流编排模块的逻辑关系包括接续关系、扇入扇出关系以及并行并发关系；

进一步的，所述多个作业流调度集群的每一个均包括集群管理模块；所述集群管理模块用于对该作业流调度集群的运行情况进行实时监控，并对所述作业流调度集群的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

进一步的，所述多个作业流调度集群的每一个均包括API网关，最终用户通过所述API网关访问对应的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费；

进一步的，所述作业流编排模块通过使用容器技术同时对多个数据处理业务需求进行处理；所述多个数据处理业务需求的每一个在所述数据流编排模块的一个容器中进行处理，各容器相互隔离；

进一步的，所述多个作业流调度集群的每一个采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。

本发明的有益效果为：本发明的技术方案，给出了一种跨域作业流调度方法及系统，所述方法及系统基于多个作业流调度集群组成的协同调度网络，所述协同调度网络采用非主备模式做到多引擎并行的跨域数据调度；使得即便某一调度集群发生故障也不会影响整个协同调度网络的正常运行；所述多个调度集群中的任一个可接收业务并通过对业务的编排输出作业流并分配给协同调度网络中的各个调度集群进行并行处理；同时所述方法及系统采用容器技术，对作业的编程语言、实现方式没有限制；所述方法及系统使用数据联邦通道进行数据传输，无需构建总的数据仓库或重复存储，使得整个系统运行更加流畅。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明具体实施方式的一种跨域作业流调度方法的流程图；

图2为本发明具体实施方式的一种跨域作业流调度系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为本发明具体实施方式的一种跨域作业流调度方法的流程图，所述方法通过多引擎并行，使多个调度集群中的任一个通过业务的编排输出作业流并分配给协同调度网络中的各调度集群进行并行处理，极大的提高了处理效率，实现了跨域作业的调度；所述一种跨域作业流调度方法包括：

步骤110，在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收所述应用提供者发送的数据处理业务需求；

进一步的，所述多个作业流调度集群采用RAFT协议，实现多集群并行调度；这使得整个协同调度网络处于非主备模式，即整个协同调度网络中的所有作业流调度集群在等级上没有主次之分，每一个调度集群均可向其他调度集群分配数据业务处理分块；这样的设计就规避了传统调度引擎的单点故障风险，传统调度引擎使用主备模式，即存在一个主调度集群，由此主调度集群向其他调度集群发送指令进行工作，而如该主调度集群发生故障时，整个调度引擎即处于瘫痪状态；而本发明采用了RAFT协议，构建了非主备模式的协同调度网络，该网络中的每一个调度集群均可作为传统调度引擎中的主调度集群，故即便某个调度引擎发生故障时，使用其他调度集群作为主调度集群即可正常的工作；所述协同调度网络中没有对作业流调度集群数量的限制，在每次进行作业流调度前均可调整参与协同调度网络的调度集群的数量，以达到最优的效率。

进一步的，选取协同调度网络中的多个作业流调度集群与应用者提供数据源的物理位置最近的作业流调度集群为作业流调度集群A；即选取距离数据源头最近的调度集群就近提供服务，这可能在整个协同调度网络中的任何位置发起作业，而不是需要在一个固定的主调度集群发起，这使得网络服务的响应速度更快；

步骤120，通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；

进一步的，所述作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；作业流编排过程中，在生成某个数据业务处理分块后，根据所述数据业务处理分块需要的作业选择已经定义好对应作业的调度集群作为该数据业务处理分块对应的作业节点，这样无需在进行作业的新建，提高了运算效率；若所述作业流的编排中生成的数据业务处理分块在其他各调度集群中未曾预先定义好作业、或不进行是否预先定义好作业的查询，接收所述数据业务处理分块的调度集群需创建与该数据业务处理分块相对应的作业；

所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；当没有与数据处理业务需求相对应的作业流模板时，可通过多个分块模板的组合或采用人工编排的方式完成作业流编排；

进一步的，所述触发策略包括人工触发、文件触发、目录触发、定时触发、超时触发、异常触发、变量标识触发、消息触发以及队列深度触发；所述逻辑关系包括接续关系、扇入扇出关系以及并行并发关系；

步骤130，将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

步骤140，将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

进一步的，所述作业流调度集群调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据；

以本实施例为例，当所述作业流调度集群中存在已经定义好的与分配的数据业务处理分块相对应的作业时，使用该作业对所述数据业务处理分块进行处理、完成作业进程，进而生成数据；当所述作业流调度集群中没有与分配的数据业务处理分块相对应的作业时，先根据所述数据业务处理分块创建作业模板，再进行作业的处理，完成作业进程、生成数据。

步骤150，所述多个作业流调度集群的每一个将其生成的数据根据作业流定义中对该分块的输出位置的定义写入数据联邦通道的输入接口中，并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输；所述数据联邦通道连接各个作业流调度集群；

步骤160，在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后，所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中；

进一步的，以本实施例为例，作业流调度集群A生成的作业流定义中，将各个业务处理分块的输出位置均定义为作业流调度集群A本身，当各作业流调度集群均完成数据处理后，由输出位置的作业流调度集群A按照作业流编排逻辑将数据进行整合，并存储在作业流调度集群A的本地数据库中；

进一步的，最终用户通过API网关访问所述指定的数据输出位置的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费；

以本实施例为例，作业流调度集群A生成的作业流定义中，将各个业务处理分块的输出位置均定义为与最终用户物理位置最近的作业流调度集群B，并将整合的数据存储在作业流调度集群B中，这样最终用户可以就近访问作业流调度集群A的本地数据库，这使得网络服务的响应速度更加快速。

进一步的，可对所述作业流调度集群A的运行情况进行实时监控；对所述作业流调度集群A的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

进一步的，所述作业流调度集群A可同时接收多个数据处理业务需求，通过使用容器技术同时对多个数据处理业务需求；所述多个数据处理业务需求的每一个在一个容器中进行处理，各容器相互隔离；

进一步的，所述协同调度网络中的任一作业流调度集群均可同时接收多个数据处理业务需求，同时接受其他作业流调度集群发来的数据业务处理分块，将各个处理流程分配到不同的容器中进行处理，各容器相互隔离、互不影响。

如上所述的一种跨域作业流调度方法，通过采用非主备模式的协同调度网络做到多引擎并行的跨域数据调度，通过并行处理提高处理速度的同时规避了单点故障带来的风险，并可以使距离需求方最近的业务调度集群及时快速的就近接收处理，提高了响应速度；同时所述方法采用容器技术，对作业的编程语言、实现方式没有限制；所述方法使用数据联邦通道进行数据传输，无需构建总的数据仓库或重复存储，使得整个系统运行更加流畅。

图2为本发明具体实施方式的一种跨域作业流调度系统的结构图，如图2所示，所述系统为由多个作业流调度集群组成的协同调度网络，所述系统包括多个作业流调度集群101～10N以及数据联邦通道201；为展示方便，图2中仅体现了多个作业流调度集群101～10N中的作业流调度集群101、作业流调度集群10A以及作业流调度集群10N；

多个作业流调度集群101～10N，所述多个作业流调度集群101～10N的每一个(标号以作业流调度集群10N为例)包括作业流编排模块11N、业务处理模块12N以及本地数据库13N；所述作业流调度集群用于接收所述应用提供者发送的数据处理业务需求；

进一步的，选取所述多个作业流调度集群中与应用者提供数据源的物理位置最近的作业流调度集群接收所述应用提供者发送的数据处理业务需求；

所述作业流编排模块用于对接收的所述数据处理业务需求进行作业流的编排，并将所述数据处理业务需求按照作业流编排的逻辑分成多个数据业务处理分块；

所述作业流编排模块将所述多个数据业务处理分块按照作业流编排逻辑分配给多个作业流调度集群进行处理；

进一步的，所述作业流编排模块编排的作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

进一步的，所述作业流编排模块的触发策略包括人工触发、文件触发、目录触发、定时触发、超时触发、异常触发、变量标识触发、消息触发以及队列深度触发；所述作业流编排模块的逻辑关系包括接续关系、扇入扇出关系以及并行并发关系；

所述多个作业流调度集群的每一个的业务处理模块，接收分配的数据业务处理分块，对所述数据业务处理分块进行处理并生成数据；所述多个作业流调度集群的每一个的业务处理模块将处理生成的数据写入与其所在作业流调度集群对应的数据联邦通道的输入接口中；

所述业务处理模块用于调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据；

作业流指定的数据输出位置对应的作业流调度集群接收到经联邦数据通道传输的多个数据流调度集群生成的数据，并将所述数据存储在该作业调度集群的本地数据库中；

数据联邦通道，所述数据联邦通道与各个作业流调度集群相连，并通过数据联邦技术在各个作业流调度集群间进行数据传输。

进一步的，所述多个作业流调度集群的每一个均包括集群管理模块；所述集群管理模块用于对该作业流调度集群的运行情况进行实时监控，并对所述作业流调度集群的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

进一步的，所述多个作业流调度集群的每一个均包括API网关，最终用户通过所述API网关访问对应的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费；

进一步的，所述作业流编排模块通过使用容器技术同时对多个数据处理业务需求进行处理；所述多个数据处理业务需求的每一个在所述数据流编排模块的一个容器中进行处理，各容器相互隔离；

进一步的，所述多个作业流调度集群的每一个采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。

以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。

Claims (8)

1.一种跨域作业流调度方法，所述方法包括：

在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A接收应用提供者发送的数据处理业务需求；

所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块；

通过所述作业流调度集群A根据所述数据处理业务需求的逻辑进行作业流的编排并分成多个数据业务处理分块包括：所述作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

将所述多个数据业务处理分块按照作业流编排逻辑分配给所述协同调度网络中的多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个对对应分配的数据业务处理分块进行处理，并生成数据；

所述多个作业流调度集群的每一个将其生成的数据根据作业流编排逻辑中对该分块的输出位置的定义写入数据联邦通道的输入接口中，并通过数据联邦根据数据输出位置定义由数据联邦通道进行通道链路选择和数据传输；所述数据联邦通道连接各个作业流调度集群；

在数据联邦通道将各个作业流调度集群生成的数据传输到作业流指定的数据输出位置后，所述指定的数据输出位置的作业流调度集群将所述各个作业流调度集群生成的数据整合并存储在其对应的数据库中。

2.根据权利要求1所述的方法，其特征在于：在多个作业流调度集群组成的协同调度网络中选取一个作业流调度集群A的方法包括：选取协同调度网络中的多个作业流调度集群与应用者提供数据源的物理位置最近的作业流调度集群为作业流调度集群A；所述作业流调度集群调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据。

3.根据权利要求1所述的方法，其特征在于：对所述作业流调度集群A的运行情况进行实时监控；对所述作业流调度集群A的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；

最终用户通过API网关访问所述指定的数据输出位置的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费。

4.根据权利要求1所述的方法，其特征在于：所述作业流调度集群A可同时接收多个数据处理业务需求，通过使用容器技术同时对多个数据处理业务需求；所述多个数据处理业务需求的每一个在一个容器中进行处理，各容器相互隔离；

所述多个作业流调度集群采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。

5.一种跨域作业流调度系统，所述系统为由多个作业流调度集群组成的协同调度网络，所述系统包括多个作业流调度集群以及数据联邦通道；

多个作业流调度集群，所述多个作业流调度集群的每一个包括作业流编排模块、业务处理模块以及本地数据库；所述作业流调度集群用于接收应用提供者发送的数据处理业务需求；

所述作业流编排模块用于对接收的所述数据处理业务需求进行作业流的编排，并将所述数据处理业务需求按照作业流编排的逻辑分成多个数据业务处理分块；

所述作业流编排模块编排的作业流中包括多个作业节点，每个作业节点对应一个数据业务处理分块；所述作业节点包括所述协同调度网络中任意集群已定义好的作业；所述作业流包括与各作业节点对应的触发策略、作业节点间的逻辑关系和逻辑分支判断以及输入输出接口；所述作业流的编排方式包括调用与数据处理业务需求相对应的作业流模板，并根据数据处理业务需求的逻辑对模板进行修正，完成作业流的编排；

所述作业流编排模块将所述多个数据业务处理分块按照作业流编排逻辑分配给多个作业流调度集群进行处理；

所述多个作业流调度集群的每一个的业务处理模块，接收分配的数据业务处理分块，对所述数据业务处理分块进行处理并生成数据；所述多个作业流调度集群的每一个的业务处理模块将处理生成的数据写入与其所在作业流调度集群对应的数据联邦通道的输入接口中；

作业流指定的数据输出位置对应的作业流调度集群接收到经数据联邦 通道传输的多个数据流调度集群生成的数据，并将所述数据存储在该作业流调度集群的本地数据库中；

数据联邦通道，所述数据联邦通道与各个作业流调度集群相连，并通过数据联邦技术在各个作业流调度集群间进行数据传输。

6.根据权利要求5所述的系统，其特征在于：选取所述多个作业流调度集群中与应用者提供数据源的物理位置最近的作业流调度集群接收所述应用提供者发送的数据处理业务需求；所述业务处理模块用于调用与分配的数据业务处理分块相对应的作业模板完成对应的作业进程，并生成数据。

7.根据权利要求5所述的系统，其特征在于：所述多个作业流调度集群的每一个均包括集群管理模块；所述集群管理模块用于对该作业流调度集群的运行情况进行实时监控，并对所述作业流调度集群的操作日志以及历史作业统计进行查询；所述运行情况包括作业流编排结果、各作业分块完成情况以及最终用户访问情况；所述多个作业流调度集群的每一个均包括API网关，最终用户通过所述API网关访问对应的作业流调度集群的本地数据库，调取所述数据处理业务需求完成后的对应的结果数据进行数据消费。

8.根据权利要求5所述的系统，其特征在于：所述作业流编排模块通过使用容器技术同时对多个数据处理业务需求进行处理；所述多个数据处理业务需求的每一个在所述数据流编排模块的一个容器中进行处理，各容器相互隔离；所述多个作业流调度集群的每一个采用RAFT协议，实现多集群并行调度；所述多个作业流调度集群的每一个均可向包括该作业流调度集群在内的所有作业流调度集群分配数据业务处理分块。

Images