CN113220431A - 跨云的分布式数据任务调度方法、设备及存储介质 - Google Patents

跨云的分布式数据任务调度方法、设备及存储介质 Download PDF

Info

Publication number
CN113220431A
CN113220431A CN202110477937.8A CN202110477937A CN113220431A CN 113220431 A CN113220431 A CN 113220431A CN 202110477937 A CN202110477937 A CN 202110477937A CN 113220431 A CN113220431 A CN 113220431A
Authority
CN
China
Prior art keywords
cloud
node server
execution
jobs
data task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110477937.8A
Other languages
English (en)
Other versions
CN113220431B (zh
Inventor
刘周龙
刘敬帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yilianqu Network Technology Co ltd
Original Assignee
Xi'an Yilianqu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yilianqu Network Technology Co ltd filed Critical Xi'an Yilianqu Network Technology Co ltd
Priority to CN202110477937.8A priority Critical patent/CN113220431B/zh
Publication of CN113220431A publication Critical patent/CN113220431A/zh
Application granted granted Critical
Publication of CN113220431B publication Critical patent/CN113220431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于电子信息技术领域，公开了一种跨云的分布式数据任务调度方法、设备及存储介质，包括以下步骤：获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业；根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送至对应的工作节点服务器；作业用于触发工作节点服务器解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别，并根据作业类型生成执行器，通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送；接收工作节点服务器发送的执行结果。实现数据任务的跨云处理，解决了现有调度系统无法跨多个云平台的问题，灵活性大大提高。

Description

跨云的分布式数据任务调度方法、设备及存储介质
技术领域
本发明属于电子信息技术领域，涉及一种跨云的分布式数据任务调度方法、设备及存储介质。
背景技术
大数据处理目前已经是各行各业很常用的技术手段，不过在目前各行业技术公司随着数据量和业务量的增加，大数据任务表现出了以下特点：数据量越来越大，处理数据的作业任务变得多并且关系复杂，随着公有云的普及，数据存储位置呈现多样化，有本地存储，有公有云存储，有私有云存储等；以及数据作业依赖不同的本地环境，调度任务执行的机器变得多样化。
面对上面的特点，目前对数据作业任务的调度变得异常复杂，目前开源的调度系统要不通过自己写脚本代码来实现任务管理，要不任务执行节点固定不可随意扩展，最主要的是没有能同时将任务提交给不同的公有云的方案。对于使用混合云的大型企业，一般企业使用多个调度系统，或者各家云上自带的可以调用自己任务的调度，或者用代码配置的方式去完成跨云的分布式任务调度，缺少一款真正的跨公有云的分布式数据任务调度系统方案，来简化大数据处理中作业调度和依赖管理等工作的并提高效率。
发明内容
本发明的目的在于克服上述现有技术中，大数据处理中作业调度和依赖管理等工作实现复杂且效率低的缺点，提供一种跨云的分布式数据任务调度方法、设备及存储介质。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明第一方面，一种跨云的分布式数据任务调度方法，包括以下步骤：获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业；根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送至对应的工作节点服务器；作业用于触发工作节点服务器解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别，并根据作业类型生成执行器，通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送；接收工作节点服务器发送的执行结果。
优选的，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送至对应的工作节点服务器。
优选的，所述作业还用于触发执行器监测云平台类别对应的云平台执行作业内容的执行情况，得到执行反馈信号并同步至数控库；所述跨云的分布式数据任务调度方法还包括：解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。
优选的，所述云平台类别为本地服务器、阿里云、亚马逊云或华为云中。
本发明第二方面，一种跨云的分布式数据任务调度方法，包括以下步骤：接收主节点服务器发送的作业并解析，得到作业的作业内容、作业类型、调用密钥以及云平台类别；其中，作业通过主节点服务器获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业，并根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送；根据作业类型生成执行器，并通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送至主节点服务器。
优选的，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送。
优选的，还包括：通过执行器监测云平台类别对应的云平台执行作业内容的执行情况，得到执行反馈信号并同步至数控库；执行结果还用于触发主节点服务器解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。
优选的，所述云平台类别为本地服务器、阿里云、亚马逊云或华为云。
本发明第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述跨云的分布式数据任务调度方法的步骤。
本发明第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述跨云的分布式数据任务调度方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明跨云的分布式数据任务调度方法，通过获取数据任务的工作流并进行解析，得到具有依赖关系的若干作业，基于该依赖关系实现若干作业的依赖管理。基于工作节点服务器地址的获取，实现将不同的作业发送至不同的工作节点服务器，实现多工作节点服务器的分布式协同处理，使得可调度的数据任务类型涵盖全面，并提升调度系统的可扩展性，便于那些强依赖本地环境的作业的实现。同时，根据解析出的作业类型构建对应的执行器，实现不同作业类型的作业处理，基于调用密钥以及云平台类别的获取，实现不同作业调用不同的云平台进行处理，当作业执行时直接向不同的云平台提交不同的作业，实现数据任务的跨云处理，解决了现有调度系统无法跨多个云平台的问题。跨云和分布式是在作业上的属性，这样一个工作流中可以实现既有本地调用又有公有用调用还可以调度执行在不同的工作节点上，灵活性大大提高。
附图说明
图1为本发明应用于主节点服务器跨云的分布式数据任务调度方法流程图；
图2为本发明应用于工作节点服务器跨云的分布式数据任务调度方法流程。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，介绍本发明的一些名词的含义：
项目：项目是用户任务和工作流的归属节点，系统中工作流，作业，数据源都是基于项目来进行权限控制和过滤的。
工作流：工作流是一组作业通过依赖关系组成的作业集合，可以通过配置定时触发规则来触发工作流的自动运行，也可以手动去触发工作流运行。
作业：作业是一个任务的执行单元，系统支持SHELL，SPARK，MAPREDUCE，SPARKServerless，SPARKSQL，DLA等多种作业类型，并且支持作业运行在某台服务器上或者阿里云等第三方云平台上。
数据源：数据源是某些类型的作业执行过程中需要用户名密码等配置的情况，配置成数据源统一管理维护，运行配置作业时选择数据源即可。
资源：资源是指作业中需要的一些脚本，jar包等程序资源，通过页面上传到指定位置，在配置作业中配置相关路径即可直接使用，方便快捷，利于更新。
运行节点：任务最后真实执行的发起机器，比如本地shell就是直接在该机器上执行，提交到云产品上的任务该节点是客户端。
其次，介绍本发明各个实施例涉及的一种实施环境的服务器架构，其包括主节点服务器、若干工作节点服务器以及多个云平台。若干工作节点服务器均与主节点服务器通讯连接，多个云平台分别与各工作节点服务器通讯连接。其中，主节点服务器及工作节点服务器可以是一台服务器，也可以是若干台服务器组成的服务器集群，或者是一个云计算服务中心。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明一个实施例中，提供一种跨云的分布式数据任务调度方法，应用于主节点服务器，包括以下步骤。
获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业；根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送至对应的工作节点服务器；作业用于触发工作节点服务器解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别，并根据作业类型生成执行器，通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送；接收工作节点服务器发送的执行结果。
其中，数据任务的工作流是预先配置好的，配置时在对应的项目下创建工作流，基于项目来进行权限控制和过滤，可以通过项目-工作流-作业的形式配置。工作流是一组作业通过依赖关系组成的集合，并且，各作业在配置时均包括工作节点服务器地址、作业内容、作业类型、调用密钥以及云平台类别。
具体的，主节点服务器通过获取数据任务的工作流并进行解析，得到具有依赖关系的若干作业，基于该依赖关系实现若干作业的依赖管理。
然后根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送至对应的工作节点服务器，基于工作节点服务器地址的设置，实现将不同的作业发送至不同的工作节点服务器，实现多工作节点服务器的分布式协同处理，便于那些强依赖本地环境的作业的实现。
作业发送至工作节点服务器后，触发工作节点服务器解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别。然后工作节点服务器根据解析出的作业类型构建对应的执行器，实现不同作业类型的作业处理。继而根据生成的通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送，优选的，这里的云平台类别为本地服务器、阿里云、亚马逊云或华为云中，基于作业中预先配置的调用密钥以及云平台类别，实现不同作业调用不同的云平台进行处理，可以通过封装各云平台的API接口，当作业执行时，通过API接口直接向各云平台提交不同的作业，实现数据任务的跨云处理。
最后，主节点服务器接收工作节点服务器发送的执行结果，通过API接口监听作业内容完成状态来更新作业的执行状态，完成调度处理。
综上，本发明跨云的分布式数据任务调度方法，通过获取数据任务的工作流并进行解析，得到具有依赖关系的若干作业，基于该依赖关系实现若干作业的依赖管理。基于工作节点服务器地址的获取，实现将不同的作业发送至不同的工作节点服务器，实现多工作节点服务器的分布式协同处理，使得可调度的数据任务类型涵盖全面，并提升调度系统的可扩展性，便于那些强依赖本地环境的作业的实现。同时，根据解析出的作业类型构建对应的执行器，实现不同作业类型的作业处理，基于调用密钥以及云平台类别的获取，实现不同作业调用不同的云平台进行处理，当作业执行时直接向不同的云平台提交不同的作业，实现数据任务的跨云处理，解决了现有调度系统无法跨多个云平台的问题。跨云和分布式是在作业上的属性，这样一个工作流中可以实现既有本地调用又有公有用调用还可以调度执行在不同的工作节点上，灵活性大大提高。
优选的，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送至对应的工作节点服务器，通过定时触发规则定时发送作业，比如，每天的10点将作业发送至对应的工作节点服务器，实现自动化的定时发送，提高数据任务的调度效率。
优选的，所述作业还用于触发执行器监测云平台类别对应的云平台执行作业内容的执行情况，得到执行反馈信号并同步至数控库；所述跨云的分布式数据任务调度方法还包括：解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。在执行失败后，能够及时的生成并通过告警信息进行告警提示。其中，在监测云平台类别对应的云平台执行作业内容的执行情况时，可以采用心跳监测的方式进行监测。其中，数据库为主节点服务器和工作节点服务器的共享数据库，主节点服务器和工作节点服务器均可以访问。
参见图2，本发明一个实施例中，提供一种跨云的分布式数据任务调度方法，应用于工作节点服务器，对于该实施例中未纰漏的细节，请参照上一实施例中的详细介绍，具体的，该跨云的分布式数据任务调度方法包括以下步骤。
接收主节点服务器发送的作业并解析，得到作业的作业内容、作业类型、调用密钥以及云平台类别；其中，作业通过主节点服务器获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业，并根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送；根据作业类型生成执行器，并通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送至主节点服务器。
优选的，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送。
优选的，该跨云的分布式数据任务调度方法还包括：通过执行器监测云平台类别对应的云平台执行作业内容的执行情况并同步至数控库，执行结果还用于触发主节点服务器解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于跨云的分布式数据任务调度方法的操作。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关跨云的分布式数据任务调度方法的相应步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种跨云的分布式数据任务调度方法，其特征在于，包括以下步骤：
获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业；
根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送至对应的工作节点服务器；作业用于触发工作节点服务器解析作业，得到作业的作业内容、作业类型、调用密钥以及云平台类别，并根据作业类型生成执行器，通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送；
接收工作节点服务器发送的执行结果。
2.根据权利要求1所述的跨云的分布式数据任务调度方法，其特征在于，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送至对应的工作节点服务器。
3.据权利要求1所述的跨云的分布式数据任务调度方法，其特征在于，所述作业还用于触发执行器监测云平台类别对应的云平台执行作业内容的执行情况，得到执行反馈信号并同步至数控库；
所述跨云的分布式数据任务调度方法还包括：解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。
4.根据权利要求1所述的跨云的分布式数据任务调度方法，其特征在于，所述云平台类别为本地服务器、阿里云、亚马逊云或华为云中。
5.一种跨云的分布式数据任务调度方法，其特征在于，包括以下步骤：
接收主节点服务器发送的作业并解析，得到作业的作业内容、作业类型、调用密钥以及云平台类别；其中，作业通过主节点服务器获取数据任务的工作流并解析工作流，得到具有依赖关系的若干作业，并根据依赖关系依次解析若干作业，得到作业的工作节点服务器地址，将作业按照工作节点服务器地址发送；
根据作业类型生成执行器，并通过执行器和调用密钥调用云平台类别对应的云平台执行作业内容，得到执行结果并发送至主节点服务器。
6.根据权利要求5所述的跨云的分布式数据任务调度方法，其特征在于，所述根据依赖关系依次解析若干作业时，还得到作业的定时触发规则，根据定时触发规则将作业按照工作节点服务器地址发送。
7.根据权利要求5所述的跨云的分布式数据任务调度方法，其特征在于，还包括：通过执行器监测云平台类别对应的云平台执行作业内容的执行情况，得到执行反馈信号并同步至数控库；执行结果还用于触发主节点服务器解析执行结果，当解析结果为执行失败时，生成工作流执行失败的标记信号并同步至数控库；轮询数据库中的标记信号，当存在工作流执行失败的标记信号时，生成告警信息。
8.根据权利要求5所述的跨云的分布式数据任务调度方法，其特征在于，所述云平台类别为本地服务器、阿里云、亚马逊云或华为云。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述跨云的分布式数据任务调度方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述跨云的分布式数据任务调度方法的步骤。
CN202110477937.8A 2021-04-29 2021-04-29 跨云的分布式数据任务调度方法、设备及存储介质 Active CN113220431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477937.8A CN113220431B (zh) 2021-04-29 2021-04-29 跨云的分布式数据任务调度方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477937.8A CN113220431B (zh) 2021-04-29 2021-04-29 跨云的分布式数据任务调度方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113220431A true CN113220431A (zh) 2021-08-06
CN113220431B CN113220431B (zh) 2023-11-03

Family

ID=77090195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477937.8A Active CN113220431B (zh) 2021-04-29 2021-04-29 跨云的分布式数据任务调度方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113220431B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064249A (zh) * 2021-11-23 2022-02-18 广东省华南技术转移中心有限公司 混合云的跨云计算任务的调度方法、装置以及存储介质
CN114496113A (zh) * 2022-01-28 2022-05-13 深圳北鲲云计算有限公司 跨云跨地域的大规模虚拟筛选方法、系统以及存储介质
CN114896054A (zh) * 2022-04-12 2022-08-12 中国电子科技集团公司第十研究所 一种跨异构计算引擎的大数据任务调度方法、设备及介质
CN115525680A (zh) * 2022-09-21 2022-12-27 京信数据科技有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
CN115794355A (zh) * 2023-01-29 2023-03-14 中国空气动力研究与发展中心计算空气动力研究所 任务处理方法、装置、终端设备及存储介质
WO2023102869A1 (zh) * 2021-12-10 2023-06-15 上海智药科技有限公司 任务管理系统、方法、装置、设备及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902344A (zh) * 2011-12-23 2013-01-30 同济大学 基于随机任务的云计算系统能耗优化方法
CN102932279A (zh) * 2012-10-30 2013-02-13 北京邮电大学 一种云环境数据中心多维资源调度系统及方法
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN103885839A (zh) * 2014-04-06 2014-06-25 孙凌宇 基于多水平划分法和赋权有向超图的云计算任务调度方法
CN105022670A (zh) * 2015-07-17 2015-11-04 中国海洋大学 一种云计算平台中的异构分布式任务处理系统及其处理方法
AU2017100412A4 (en) * 2014-09-23 2017-05-18 Tongji University Cloud task scheduling algorithm based on user satisfaction
CN107168799A (zh) * 2017-05-16 2017-09-15 成都四象联创科技有限公司 基于云计算架构的数据优化处理方法
CN107818112A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据分析作业系统及任务提交方法
US20180191884A1 (en) * 2016-12-30 2018-07-05 Accenture Global Solutions Limited Automated data collection and analytics
CN109561147A (zh) * 2018-11-30 2019-04-02 武汉烽火信息集成技术有限公司 一种异构云管理方法及系统、异构云管理系统构建方法
CN109862101A (zh) * 2019-02-13 2019-06-07 中国银行股份有限公司 跨平台应用启动方法、装置、计算机设备和存储介质
CN110069334A (zh) * 2019-05-05 2019-07-30 重庆天蓬网络有限公司 一种基于包管理的分布式数据作业调度的方法和系统
CN111078411A (zh) * 2019-12-12 2020-04-28 创新奇智(青岛)科技有限公司 基于混合云的任务调度系统及调度方法
CN111539555A (zh) * 2020-03-30 2020-08-14 南京南瑞信息通信科技有限公司 一种基于混合云平台的外事管理系统
CN111580832A (zh) * 2020-04-29 2020-08-25 电科云(北京)科技有限公司 应用于异构多云环境的应用发布系统及方法
CN111736969A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 分布式作业调度方法及装置
CN112162835A (zh) * 2020-08-21 2021-01-01 南京信息职业技术学院 一种异构云环境下实时任务的调度优化方法
SE1950956A1 (en) * 2019-08-22 2021-02-23 Husqvarna Ab Improved operation for a robotic work tool
WO2021056787A1 (zh) * 2019-09-23 2021-04-01 苏州大学 混合云服务流程调度方法
CN112631751A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 任务调度方法、装置、计算机设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902344A (zh) * 2011-12-23 2013-01-30 同济大学 基于随机任务的云计算系统能耗优化方法
CN102932279A (zh) * 2012-10-30 2013-02-13 北京邮电大学 一种云环境数据中心多维资源调度系统及方法
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN103885839A (zh) * 2014-04-06 2014-06-25 孙凌宇 基于多水平划分法和赋权有向超图的云计算任务调度方法
AU2017100412A4 (en) * 2014-09-23 2017-05-18 Tongji University Cloud task scheduling algorithm based on user satisfaction
CN105022670A (zh) * 2015-07-17 2015-11-04 中国海洋大学 一种云计算平台中的异构分布式任务处理系统及其处理方法
CN107818112A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 一种大数据分析作业系统及任务提交方法
US20180191884A1 (en) * 2016-12-30 2018-07-05 Accenture Global Solutions Limited Automated data collection and analytics
CN107168799A (zh) * 2017-05-16 2017-09-15 成都四象联创科技有限公司 基于云计算架构的数据优化处理方法
CN109561147A (zh) * 2018-11-30 2019-04-02 武汉烽火信息集成技术有限公司 一种异构云管理方法及系统、异构云管理系统构建方法
CN109862101A (zh) * 2019-02-13 2019-06-07 中国银行股份有限公司 跨平台应用启动方法、装置、计算机设备和存储介质
CN110069334A (zh) * 2019-05-05 2019-07-30 重庆天蓬网络有限公司 一种基于包管理的分布式数据作业调度的方法和系统
SE1950956A1 (en) * 2019-08-22 2021-02-23 Husqvarna Ab Improved operation for a robotic work tool
WO2021056787A1 (zh) * 2019-09-23 2021-04-01 苏州大学 混合云服务流程调度方法
CN111078411A (zh) * 2019-12-12 2020-04-28 创新奇智(青岛)科技有限公司 基于混合云的任务调度系统及调度方法
CN111539555A (zh) * 2020-03-30 2020-08-14 南京南瑞信息通信科技有限公司 一种基于混合云平台的外事管理系统
CN111580832A (zh) * 2020-04-29 2020-08-25 电科云(北京)科技有限公司 应用于异构多云环境的应用发布系统及方法
CN111736969A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 分布式作业调度方法及装置
CN112162835A (zh) * 2020-08-21 2021-01-01 南京信息职业技术学院 一种异构云环境下实时任务的调度优化方法
CN112631751A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 任务调度方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SANTANU SARMA: "Cross-Layer Exploration of Heterogeneous Multicore Processor Configurations", 《2015 28TH INTERNATIONAL CONFERENCE ON VLSI DESIGN》 *
于乐;赵帅;章洋;吴斌;王柏;邓超;陈俊亮;: "云工作流技术在商业智能SaaS中的应用", 计算机集成制造系统, no. 08 *
张明;王玮;施建华;赵德伟;: "电力大数据调度云的优化", 计算机仿真, no. 11 *
朱映映;陈阳;明仲;: "云系统中面向海量多媒体数据的动态任务调度算法", 小型微型计算机系统, no. 04 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064249A (zh) * 2021-11-23 2022-02-18 广东省华南技术转移中心有限公司 混合云的跨云计算任务的调度方法、装置以及存储介质
WO2023102869A1 (zh) * 2021-12-10 2023-06-15 上海智药科技有限公司 任务管理系统、方法、装置、设备及存储介质
CN114496113A (zh) * 2022-01-28 2022-05-13 深圳北鲲云计算有限公司 跨云跨地域的大规模虚拟筛选方法、系统以及存储介质
CN114896054A (zh) * 2022-04-12 2022-08-12 中国电子科技集团公司第十研究所 一种跨异构计算引擎的大数据任务调度方法、设备及介质
CN115525680A (zh) * 2022-09-21 2022-12-27 京信数据科技有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
CN115794355A (zh) * 2023-01-29 2023-03-14 中国空气动力研究与发展中心计算空气动力研究所 任务处理方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN113220431B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN108600029B (zh) 一种配置文件更新方法、装置、终端设备及存储介质
CN109634728B (zh) 作业调度方法、装置、终端设备及可读存储介质
CN111447103B (zh) 虚拟设备的管理系统及方法、电子设备及介质
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN110532074B (zh) 一种多租户模式SaaS服务集群环境的任务调度方法及系统
CN115292026B (zh) 容器集群的管理方法、装置、设备及计算机可读存储介质
US20180157543A1 (en) System and method for a generic actor system container application
US10691501B1 (en) Command invocations for target computing resources
CN108243012B (zh) 在线计费系统ocs中计费应用处理系统、方法及装置
CN107451147A (zh) 一种kafka集群动态切换的方法和装置
CN107577527B (zh) 任务生成、调度方法及装置
CN110569113A (zh) 分布式任务的调度方法及系统、计算机可读存储介质
CN107193543B (zh) 一种批量操作执行方法及装置
CN113391901A (zh) Rpa机器人的管理方法、装置、设备及存储介质
CN113220480B (zh) 分布式的数据任务跨云调度系统及方法
CN108399095B (zh) 支持动态管理定时任务的方法、系统、设备和存储介质
CN110750453B (zh) 基于html5的智能移动端测试方法、系统、服务器及存储介质
CN114443294B (zh) 大数据服务组件部署方法、系统、终端及存储介质
WO2024169385A1 (zh) 一种集群部署方法、装置、设备、介质及产品
CN103678488A (zh) 分布式大批量动态任务引擎及采用其处理数据的方法
CN113220479A (zh) 一种基于隔离网络的工作流调度方法、装置及电子设备
CN112130889A (zh) 资源的管理方法和装置、存储介质、电子装置
CN108154343B (zh) 一种企业级信息系统的应急处理方法及系统
CN116974716A (zh) 调度任务的发布方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant