CN113220480A - 分布式的数据任务跨云调度系统及方法 - Google Patents

分布式的数据任务跨云调度系统及方法 Download PDF

Info

Publication number
CN113220480A
CN113220480A CN202110471421.2A CN202110471421A CN113220480A CN 113220480 A CN113220480 A CN 113220480A CN 202110471421 A CN202110471421 A CN 202110471421A CN 113220480 A CN113220480 A CN 113220480A
Authority
CN
China
Prior art keywords
server
job
cloud
rpc
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110471421.2A
Other languages
English (en)
Other versions
CN113220480B (zh
Inventor
刘周龙
刘敬帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yilianqu Network Technology Co ltd
Original Assignee
Xi'an Yilianqu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yilianqu Network Technology Co ltd filed Critical Xi'an Yilianqu Network Technology Co ltd
Priority to CN202110471421.2A priority Critical patent/CN113220480B/zh
Publication of CN113220480A publication Critical patent/CN113220480A/zh
Application granted granted Critical
Publication of CN113220480B publication Critical patent/CN113220480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于电子信息技术领域，公开了一种分布式的数据任务跨云调度系统及方法，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元。本发明分布式的数据任务跨云调度系统及方法，实现数据任务的依赖管理，实现不同工作节点服务器的分布式的调度管理，并且极大提升工作节点服务器的扩展性，可以最大限度的支持不同数据任务运行在一套跨云调度系统中，同一数据任务实现多个云平台的协同调用，实现数据任务的跨云处理，解决现有调度系统无法跨多个公有云服务的功能，确保云平台的可扩展性。

Description

分布式的数据任务跨云调度系统及方法
技术领域
本发明属于电子信息技术领域，涉及一种分布式的数据任务跨云调度系统及方法。
背景技术
大数据处理目前已经是各行各业很常用的技术手段，不过在目前各行业技术公司随着数据量和业务量的增加，大数据任务表现出了以下特点：数据量越来越大，处理数据的作业任务变得多并且关系复杂，随着公有云的普及，数据存储位置呈现多样化，有本地存储，有公有云存储，有私有云存储等；以及数据作业依赖不同的本地环境，调度任务执行的机器变得多样化。
面对上面的特点，目前对数据作业任务的调度变得异常复杂，目前开源的调度系统要不通过自己写脚本代码来实现任务管理，要不任务执行节点固定不可随意扩展，最主要的是没有能同时将任务提交给不同的公有云的方案。对于使用混合云的大型企业，一般企业使用多个调度系统，或者各家云上自带的可以调用自己任务的调度，或者用代码配置的方式去完成跨云的分布式任务调度，缺少一款真正的跨公有云的分布式数据任务调度系统方案，来简化大数据处理中作业调度和依赖管理等工作的并提高效率。
发明内容
本发明的目的在于克服上述现有技术中，大数据处理中作业调度和依赖管理等工作实现复杂且效率低的缺点，提供一种分布式的数据任务跨云调度系统及方法。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明一方面，一种分布式的数据任务跨云调度系统，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元；其中，工作流解析单元用于获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；队列单元用于存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；第一作业解析单元用于解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；第二RPC服务端用于接收作业并发送至第二作业解析单元；第二作业解析单元用于解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；执行器生成单元用于根据作业类型构建执行器；执行器用于根据调用密钥通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
本发明分布式的数据任务跨云调度系统进一步的改进在于：
所述主节点服务器内还设置执行结果解析单元和告警单元；执行结果解析单元用于解析执行结果，得到执行成功或执行失败的执行状态信息，并标记在执行结果对应的工作流上后同步至数据库；告警单元用于查询数据库内的所有工作流，当查询到存在工作流的执行状态信息为执行失败时，生成告警信息。
所述执行器生成单元还用于在构建的执行器内构建心跳监测单元，心跳监测单元用于按照预设的心跳监测周期监测云平台执行作业内容的执行情况，得到执行情况信息，并将执行情况信息同步至数据库。
所述云平台类别包括本地服务器、阿里云、亚马逊云和华为云。
所述队列单元还用于解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。
所述执行器生成单元还用于在获得执行结果后销毁执行器。
还包括工作流生成服务器，工作流生成服务器内设置Web组件，Web组件用于生成数据任务的工作流并发送至主节点服务器的工作流解析单元。
本发明又一方面，一种分布式的数据任务跨云调度方法，包括以下步骤：通过工作流解析单元获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；通过队列单元存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；通过第一作业解析单元解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；通过第二RPC服务端接收作业并发送至第二作业解析单元；通过第二作业解析单元解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；根据作业类型，通过执行器生成单元构建执行器，根据调用密钥由执行器通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
本发明分布式的数据任务跨云调度方法进一步的改进在于：
还包括：通过队列单元解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。
还包括：在获得执行结果后通过执行器生成单元销毁执行器。
与现有技术相比，本发明具有以下有益效果：
本发明分布式的数据任务跨云调度系统，通过设置主节点服务器、若干工作节点服务器，并且在主节点服务器内设置队列单元和第一作业解析单元，队列单元按照依赖关系依次发送作业至第一作业解析单元，实现数据任务的依赖管理。同时，通过第一作业解析单元解析作业得到作业的工作节点服务器地址，进而将作业发送至工作节点服务器地址对应的工作节点服务器进行处理，实现不同工作节点服务器的分布式的调度管理。并且，主节点服务器与工作节点服务器之间的通信通过两个RPC服务端实现，这样的设计方式，极大提升工作节点服务器的扩展性，可以最大限度的支持不同数据任务运行在一套跨云调度系统中。同时，工作节点服务器的执行器通过调用各种云平台的API接口来实现作业任务的执行，基于采用云平台的API接口的调用方式，同一数据任务可以实现多个云平台的协同调用，实现数据任务的跨云处理，并且确保云平台的可扩展性，比如新增一种云平台，只需要将该云平台的云平台类别及API接口设置在作业中，然后通过构建的执行器去调用就可以了。
附图说明
图1为本发明的分布式的数据任务跨云调度系统结构框架图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明一实施例中，提供一种分布式的数据任务跨云调度系统，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元。
主节点服务器及工作节点服务器可以是一台服务器，也可以是若干台服务器组成的服务器集群，或者是一个云计算服务中心。
其中，工作流解析单元用于获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元。具体的，当启动主节点服务器时，主节点服务器内的工作流解析单元会自动从数据库获取需要调度的数据任务的工作流，依次将各工作流加入工作流解析单元中进行解析，进而得到具有依赖关系的若干作业并发送至队列单元。
队列单元用于存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元。具体的，队列单元以后台线程的方式运行在主节点服务器的进程中，根据依赖关系依次发送作业至第一作业解析单元。
第一作业解析单元用于解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC(Remote Procedure Call Protocol，远程过程调用协议)调用方式将作业发送至对应的工作节点服务器的第二RPC服务端。
具体的，第一作业解析单元接收队列单元发送的作业并进行解析，由于作业在创建时就已经确定了工作节点服务器地址、作业内容、作业类型、调用密钥以及云平台类别，因此，可以通过第一作业解析单元的解析，得到作业的工作节点服务器地址，进而通过第一RPC服务端和第二RPC服务端，实现主节点服务器与工作节点服务器地址对应的工作节点服务器之间的通信。
其中，RPC调用方式是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。主节点服务器与工作节点服务器之间通过采用RPC调用方式通信，极大提升工作节点服务器的扩展性。由于不同数据任务的调度需求，有的数据任务可能强依赖于服务器本地环境，基于工作节点服务器的较强的扩展性，如果要调度只需要把该服务器加入该跨云调度系统中作为一个工作节点服务器即可，可以最大的支持不同数据任务运行在一套跨云调度系统中。
第二RPC服务端用于接收作业并发送至第二作业解析单元。
第二作业解析单元用于解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别。具体的，如上所述，作业在创建时就已经确定了工作节点服务器地址、作业内容、作业类型、调用密钥以及云平台类别，因此，通过第二作业解析单元的解析，得到作业的作业内容、作业类型、调用密钥以及云平台类别。
执行器生成单元用于根据作业类型构建执行器，执行器用于根据调用密钥通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
具体的，工作节点服务器内可以同时创建多个执行器，根据作业类型构建对应的执行器，采用执行器通过调用各种云平台的API接口来实现作业任务的执行，基于采用云平台的API接口的调用方式，确保云平台的可扩展性，比如新增一种云平台，只需要将该云平台的云平台类别及API接口设置在作业中，然后通过构建的执行器去调用就可以了。
其中，本实施例中，作业类型包括spark作业类型、Flink作业类型、Shell作业类型、SparkServerLess作业类型以及DLA作业类型；对应的，构建的执行器就包括spark执行器、Flink执行器、Shell执行器、SparkServerLess执行器以及DLA执行器。优选的，本实施例中，云平台类别包括本地服务器、阿里云、亚马逊云和华为云。调用密钥可以理解为对云平台API接口的调用需要配置的相应的数据源，如用户名和密码等，在本地服务器直接调用就可以，配置空的调用密钥。
综上，本发明分布式的数据任务跨云调度系统，通过设置主节点服务器、若干工作节点服务器，并且在主节点服务器内设置队列单元和第一作业解析单元，队列单元按照依赖关系依次发送作业至第一作业解析单元，实现数据任务的依赖管理。同时，通过第一作业解析单元解析作业得到作业的工作节点服务器地址，进而将作业发送至工作节点服务器地址对应的工作节点服务器进行处理，实现不同工作节点服务器的分布式的调度管理。并且，主节点服务器与工作节点服务器之间的通信通过两个RPC服务端实现，这样的设计方式，极大提升工作节点服务器的扩展性，可以最大的支持不同数据任务运行在一套跨云调度系统中。同时，工作节点服务器的执行器通过调用各种云平台的API接口来实现作业任务的执行，基于采用云平台的API接口的调用方式，同一数据任务可以实现多个云平台的协同调用，实现数据任务的跨云处理，并且确保云平台的可扩展性，比如新增一种云平台，只需要将该云平台的云平台类别及API接口设置在作业中，然后通过构建的执行器去调用就可以了。
优选的，所述主节点服务器内还设置执行结果解析单元和告警单元；执行结果解析单元用于解析执行结果，得到执行成功或执行失败的执行状态信息，并标记在执行结果对应的工作流上后同步至数据库；告警单元用于查询数据库内的所有工作流，当查询到存在工作流的执行状态信息为执行失败时，生成告警信息。通过告警单元的设置，在云平台执行作业内容时执行失败后，能够及时的生成告警信息进行告警提示。其中，数据库为主节点服务器和工作节点服务器的共享数据库，主节点服务器和工作节点服务器均可以访问。
优选的，所述执行器生成单元还用于在构建的执行器内构建心跳监测单元，心跳监测单元用于按照预设的心跳监测周期监测云平台执行作业内容的执行情况，得到执行情况信息，并将执行情况信息同步至数据库。通过将执行情况信息同步至数据库，实现将执行情况的记录，便于查询、查看执行情况。
其中，心跳监测单元的心跳监测周期为4秒钟，即每隔4秒钟获取一次云平台执行作业内容的执行情况并进行反馈，采用了心跳监测的方式监测云平台执行作业内容的执行情况，避免影响执行器中的任务执行。
优选的，队列单元还用于解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。作业在创建时设置定时触发规则，通过定时触发规则定时发送作业，比如，每天的10点将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端，实现自动化的定时发送，提高数据任务的调度效率。
优选的，执行器生成单元还用于在获得执行结果后销毁执行器。通过在获得执行结果后销毁执行器，释放工作节点服务器中的资源，以便构建所需的不同类型的执行器，来执行不同作业类型的作业。
优选的，该分布式的数据任务跨云调度系统还包括工作流生成服务器，工作流生成服务器内设置Web组件，Web组件用于生成数据任务的工作流并发送至主节点服务器的工作流解析单元。Web组件是相对独立的模块，主要用于用户通过页面对工作流和作业的管理。当用户新增数据任务的时候，web组件会通过RPC调用方式调用主节点服务器，主节点服务器再负责分配数据任务。
本发明再一实施例中，提供一种分布式的数据任务跨云调度方法，基于上述实施例中的分布式的数据任务跨云调度系统实现，具体的，该分布式的数据任务跨云调度方法包括以下步骤。
通过工作流解析单元获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；通过队列单元存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；通过第一作业解析单元解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；通过第二RPC服务端接收作业并发送至第二作业解析单元；通过第二作业解析单元解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；根据作业类型，通过执行器生成单元构建执行器，根据调用密钥由执行器通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
优选的，该分布式的数据任务跨云调度方法还包括：通过队列单元解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。
优选的，该分布式的数据任务跨云调度方法还包括：在获得执行结果后通过执行器生成单元销毁执行器。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种分布式的数据任务跨云调度系统，其特征在于，包括主节点服务器、若干工作节点服务器以及若干云平台；主节点服务器内设置第一RPC服务端、队列单元、工作流解析单元、第一作业解析单元；工作节点服务器内设置第二RPC服务端、第二作业解析单元以及执行器生成单元；
其中，工作流解析单元用于获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；队列单元用于存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；第一作业解析单元用于解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；
第二RPC服务端用于接收作业并发送至第二作业解析单元；第二作业解析单元用于解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；执行器生成单元用于根据作业类型构建执行器；执行器用于根据调用密钥通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
2.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述主节点服务器内还设置执行结果解析单元和告警单元；
执行结果解析单元用于解析执行结果，得到执行成功或执行失败的执行状态信息，并标记在执行结果对应的工作流上后同步至数据库；
告警单元用于查询数据库内的所有工作流，当查询到存在工作流的执行状态信息为执行失败时，生成告警信息。
3.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述执行器生成单元还用于在构建的执行器内构建心跳监测单元，心跳监测单元用于按照预设的心跳监测周期监测云平台执行作业内容的执行情况，得到执行情况信息，并将执行情况信息同步至数据库。
4.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述云平台类别包括本地服务器、阿里云、亚马逊云和华为云。
5.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述队列单元还用于解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。
6.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，所述执行器生成单元还用于在获得执行结果后销毁执行器。
7.根据权利要求1所述的分布式的数据任务跨云调度系统，其特征在于，还包括工作流生成服务器，工作流生成服务器内设置Web组件，Web组件用于生成数据任务的工作流并发送至主节点服务器的工作流解析单元。
8.一种基于权利要求1所述分布式的数据任务跨云调度系统的分布式的数据任务跨云调度方法，其特征在于，包括以下步骤：
通过工作流解析单元获取数据任务的工作流并解析，得到具有依赖关系的若干作业并发送至队列单元；通过队列单元存储若干作业，并按照依赖关系依次发送作业至第一作业解析单元；通过第一作业解析单元解析作业，得到作业的工作节点服务器地址，并通过第一RPC服务端采用RPC调用方式将作业发送至对应的工作节点服务器的第二RPC服务端；
通过第二RPC服务端接收作业并发送至第二作业解析单元；通过第二作业解析单元解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别；根据作业类型，通过执行器生成单元构建执行器，根据调用密钥由执行器通过API接口调用云平台类别对应的云平台执行作业内容得到执行结果，并将执行结果通过第二RPC服务端采用RPC调用方式发送至第一RPC服务端。
9.根据权利要求8所述的分布式的数据任务跨云调度方法，其特征在于，还包括：通过队列单元解析作业，得到作业的定时触发规则，根据定时触发规则，将作业通过第一RPC服务端采用RPC调用方式发送至对应的工作节点服务器的第二RPC服务端。
10.根据权利要求8所述的分布式的数据任务跨云调度方法，其特征在于，还包括：在获得执行结果后通过执行器生成单元销毁执行器。
CN202110471421.2A 2021-04-29 2021-04-29 分布式的数据任务跨云调度系统及方法 Active CN113220480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110471421.2A CN113220480B (zh) 2021-04-29 2021-04-29 分布式的数据任务跨云调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110471421.2A CN113220480B (zh) 2021-04-29 2021-04-29 分布式的数据任务跨云调度系统及方法

Publications (2)

Publication Number Publication Date
CN113220480A true CN113220480A (zh) 2021-08-06
CN113220480B CN113220480B (zh) 2023-03-10

Family

ID=77089928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110471421.2A Active CN113220480B (zh) 2021-04-29 2021-04-29 分布式的数据任务跨云调度系统及方法

Country Status (1)

Country Link
CN (1) CN113220480B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840287A (zh) * 2022-03-25 2022-08-02 阿里巴巴（中国）有限公司 一种跨云桌面的任务交互方法
CN116095169A (zh) * 2022-12-30 2023-05-09 天翼云科技有限公司 在混合云下基于gRPC双向流缓存池的数据传输方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066319A (zh) * 2017-01-17 2017-08-18 北京国电通网络技术有限公司 一种面向异构资源的多维调度系统
CN109561147A (zh) * 2018-11-30 2019-04-02 武汉烽火信息集成技术有限公司 一种异构云管理方法及系统、异构云管理系统构建方法
CN109684062A (zh) * 2018-12-25 2019-04-26 人和未来生物科技（长沙）有限公司 基于成本的跨云平台任务调度方法和系统
CN110278279A (zh) * 2019-06-27 2019-09-24 苏宁消费金融有限公司 一种动态资源调度机制的大数据离线调度开发平台及方法
CN111459640A (zh) * 2020-04-03 2020-07-28 中国工商银行股份有限公司 跨平台批量作业调度方法及系统
CN111552558A (zh) * 2020-04-07 2020-08-18 电科云(北京)科技有限公司 异构云资源的调度方法及装置
CN111580832A (zh) * 2020-04-29 2020-08-25 电科云(北京)科技有限公司 应用于异构多云环境的应用发布系统及方法
WO2020186836A1 (zh) * 2019-03-15 2020-09-24 上海商汤智能科技有限公司 任务调度
CN112114944A (zh) * 2020-09-04 2020-12-22 武汉旷视金智科技有限公司 任务调度方法、装置、任务调度平台及计算机存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066319A (zh) * 2017-01-17 2017-08-18 北京国电通网络技术有限公司 一种面向异构资源的多维调度系统
CN109561147A (zh) * 2018-11-30 2019-04-02 武汉烽火信息集成技术有限公司 一种异构云管理方法及系统、异构云管理系统构建方法
CN109684062A (zh) * 2018-12-25 2019-04-26 人和未来生物科技（长沙）有限公司 基于成本的跨云平台任务调度方法和系统
WO2020186836A1 (zh) * 2019-03-15 2020-09-24 上海商汤智能科技有限公司 任务调度
CN110278279A (zh) * 2019-06-27 2019-09-24 苏宁消费金融有限公司 一种动态资源调度机制的大数据离线调度开发平台及方法
CN111459640A (zh) * 2020-04-03 2020-07-28 中国工商银行股份有限公司 跨平台批量作业调度方法及系统
CN111552558A (zh) * 2020-04-07 2020-08-18 电科云(北京)科技有限公司 异构云资源的调度方法及装置
CN111580832A (zh) * 2020-04-29 2020-08-25 电科云(北京)科技有限公司 应用于异构多云环境的应用发布系统及方法
CN112114944A (zh) * 2020-09-04 2020-12-22 武汉旷视金智科技有限公司 任务调度方法、装置、任务调度平台及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANTANU SARMA: "Cross-Layer Exploration of Heterogeneous Multicore Processor Configurations", 《 2015 28TH INTERNATIONAL CONFERENCE ON VLSI DESIGN》 *
邵志骅等: "基于代理服务的公安交通管理云平台接口实现", 《中国公共安全(学术版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840287A (zh) * 2022-03-25 2022-08-02 阿里巴巴（中国）有限公司 一种跨云桌面的任务交互方法
CN114840287B (zh) * 2022-03-25 2024-04-16 阿里巴巴（中国）有限公司 一种跨云桌面的任务交互方法
CN116095169A (zh) * 2022-12-30 2023-05-09 天翼云科技有限公司 在混合云下基于gRPC双向流缓存池的数据传输方法及系统
CN116095169B (zh) * 2022-12-30 2024-09-03 天翼云科技有限公司 在混合云下基于gRPC双向流缓存池的数据传输方法及系统

Also Published As

Publication number Publication date
CN113220480B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111506412B (zh) 基于Airflow的分布式异步任务构建、调度系统及方法
US20210117895A1 (en) Systems and Methods for Cross-Platform Scheduling and Workload Automation
CN106844198B (zh) 一种分布式调度自动化测试平台及方法
US10079837B2 (en) Distributed topology enabler for identity manager
CN104536899B (zh) 一种基于智能集群的软件部署及其维护方法
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
WO2021203979A1 (zh) 运维处理方法、装置及计算机设备
CN113220480B (zh) 分布式的数据任务跨云调度系统及方法
CN111258565B (zh) 小程序的生成方法、系统、服务器及存储介质
CN110138876B (zh) 任务部署方法、装置、设备及平台
CN110740053A (zh) 业务编排方法及装置
CN103188088A (zh) 设备信息采集系统及方法
CN105119966A (zh) 一种公众号管理方法及装置
CN113742031A (zh) 节点状态信息获取方法、装置、电子设备及可读存储介质
CN111526049B (zh) 运维系统、运维方法、电子设备和存储介质
US20150081588A1 (en) Business rules batch processor
CN113626002A (zh) 一种服务执行方法及装置
CN115115329A (zh) 一种面向智能生产线的制造中间件及云制造架构
Farwick et al. Towards living landscape models: Automated integration of infrastructure cloud in enterprise architecture management
CN115242596A (zh) 面向用户的网络测试床场景业务调度方法及装置
CN114510317A (zh) 虚拟机管理方法、装置、设备及存储介质
CN110661851A (zh) 数据交换方法和装置
CN114006815B (zh) 云平台节点的自动化部署方法、装置、节点及存储介质
WO2024139011A1 (zh) 信息处理方法
CN112130889A (zh) 资源的管理方法和装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant