CN116866438A - 一种跨集群任务调度方法、装置、计算机设备及存储介质 - Google Patents

一种跨集群任务调度方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116866438A
CN116866438A CN202311128599.2A CN202311128599A CN116866438A CN 116866438 A CN116866438 A CN 116866438A CN 202311128599 A CN202311128599 A CN 202311128599A CN 116866438 A CN116866438 A CN 116866438A
Authority
CN
China
Prior art keywords
cluster
task
scheduling
current
unique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311128599.2A
Other languages
English (en)
Other versions
CN116866438B (zh
Inventor
杨圣坤
史汉青
石峰
晁高锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Golden Network Beijing E Commerce Co ltd
Original Assignee
Golden Network Beijing E Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Golden Network Beijing E Commerce Co ltd filed Critical Golden Network Beijing E Commerce Co ltd
Priority to CN202311128599.2A priority Critical patent/CN116866438B/zh
Publication of CN116866438A publication Critical patent/CN116866438A/zh
Application granted granted Critical
Publication of CN116866438B publication Critical patent/CN116866438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种跨集群任务调度方法、装置、计算机设备及存储介质，涉及计算机技术领域。所述方法是在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现任务调度转移。

Description

一种跨集群任务调度方法、装置、计算机设备及存储介质
技术领域
本发明属于计算机技术领域，具体涉及一种跨集群任务调度方法、装置、计算机设备及存储介质。
背景技术
随着数据处理规模的增长，传统的单机计算模式已经不能满足日益增长的信息服务需求。集群(cluster)是一组相互独立的且通过高速网络互联的计算机，它们构成了一个计算组，并可以统一的方式进行管理。集群可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够降低整体运维成本，因此得到了越来越多的应用。
然而，随着大数据技术的发展和企业数据仓库中离线计算任务数据规模的膨胀，单独搭建计算集群带来的成本越来越高昂，越来越多的用户倾向于不再为离线的计算服务单独建立集群和机房，而是将在线业务与离线业务混布在同一个集群。混布集群只承担计算任务而不承担存储任务，以达到节约成本的目的。这时，需要把一部分在离线集群运行的计算任务调度到混布集群上运行。因此，如何实现跨集群的任务调度成为一个值得关注的问题。
目前，现有技术存在一种跨集群任务调度方案，可以将特定业务或项目下的所有任务从一个集群调度到另一个集群上。但是这种方案未考虑到在跨集群隐私计算（即指在多个计算集群间进行安全的数据共享和计算，保证敏感数据的隐私性和安全性）方面的需求，导致在跨集群任务调度过程中可能存在任务数据泄漏和影响跨集群隐私计算协同一致的问题。
发明内容
本发明的目的是提供一种跨集群任务调度方法、装置、计算机设备及计算机可读存储介质，用以解决现有跨集群任务调度方案在跨集群任务调度过程中可能存在任务数据泄漏和影响跨集群隐私计算协同一致的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种跨集群任务调度方法，由通信连接至少两个集群的任务调度协调服务器执行，包括：
接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；
向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；
向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
基于上述发明内容，提供了一种基于区块链技术和非对称加密技术的跨集群任务调度新方案，即在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现所述调度目标任务的调度转移，如此可在跨集群任务调度过程中完全杜绝任务数据泄漏，以及由于密文是在两集群间广播式直传，还可以确保跨集群隐私计算协同一致，便于实际应用和推广。
在一个可能的设计中，所述当前任务特征包含有任务的当前输入数据量、当前输出数据量、当前消耗计算资源量、当前中间结果存储数据量和/或当前内存占用量。
在一个可能的设计中，所述当前集群特征包含有集群的当前下行带宽大小、当前上行带宽大小、当前计算资源剩余量、当前磁盘剩余容量和/或当前内存剩余容量。
在一个可能的设计中，根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征，采用树搜索算法从所述待选集群中确定出最适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群。
在一个可能的设计中，所述方法还包括：
接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的且处于任务运行低峰时刻状态的其它集群，所述第二集群属于所述待选集群。
在一个可能的设计中，在接收来自第一集群的任务调度请求消息之前，所述方法还包括：
接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；
根据所述各个集群的任务运行报告消息，判断是否存在有当前处于任务运行低峰时刻状态的集群以及当前处于任务运行高峰时刻状态的集群；
若存在，则向当前处于任务运行高峰时刻状态的集群发送任务调度许可消息，以便接收到所述任务调度许可消息的集群触发传送所述任务调度请求消息。
在一个可能的设计中，在向所述第二集群反馈携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息之后,所述方法还包括：
向所述第一集群转发来自所述第二集群的且与所述任务调度指示消息对应的任务接手成功消息，以便所述第一集群在收到所述任务接手成功消息后触发终止运行所述调度目标任务，其中，所述任务接手成功消息由所述第二集群在成功运行所述调度目标任务时发送。
第二方面，提供了一种跨集群任务调度装置，适合布置在通信连接至少两个集群的任务调度协调服务器中，包括有消息接收模块、集群确定模块、消息反馈模块和消息发送模块；
所述消息接收模块，用于接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；
所述集群确定模块，通信连接所述消息接收模块，用于根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；
所述消息反馈模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；
所述消息发送模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的跨集群任务调度方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的跨集群任务调度方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的跨集群任务调度方法。
上述方案的有益效果：
（1）本发明创造性提供了一种基于区块链技术和非对称加密技术的跨集群任务调度新方案，即在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现所述调度目标任务的调度转移，如此可在跨集群任务调度过程中完全杜绝任务数据泄漏，以及由于密文是在两集群间广播式直传，还可以确保跨集群隐私计算协同一致，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的跨集群任务调度方法的流程示意图。
图2为本申请实施例提供的跨集群任务调度装置的结构示意图。
图3为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的跨集群任务调度方法，可以但不限于由具有一定计算资源的且通信连接至少两个集群的任务调度协调服务器执行。如图1所示，所述跨集群任务调度方法，可以但不限于包括有如下步骤S1～S4。
S1.接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含但不限于有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含但不限于有所述调度目标任务的唯一任务标识和当前任务特征。
在所述步骤S1中，所述调度目标任务即为当前在所述第一集群中进行隐私计算的某个计算任务，具体的，所述当前任务特征包含但不限于有任务的当前输入数据量、当前输出数据量、当前消耗计算资源量、当前中间结果存储数据量和/或当前内存占用量等。为了确保所述任务调度请求消息的发送时机正确性，优选的，在接收来自第一集群的任务调度请求消息之前，所述方法还包括但不限于有如下步骤S101～S103。
S101.接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息。
S102.根据所述各个集群的任务运行报告消息，判断是否存在有当前处于任务运行低峰时刻状态的集群以及当前处于任务运行高峰时刻状态的集群。
S103.若存在，则向当前处于任务运行高峰时刻状态的集群发送任务调度许可消息，以便接收到所述任务调度许可消息的集群触发传送所述任务调度请求消息。
S2.根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群。
在所述步骤S2中，所述当前集群特征可以具体携带在所述任务运行报告消息中，以便所述任务调度协调服务器能够实时获取到，具体的，所述当前集群特征包含但不限于有集群的当前下行带宽大小、当前上行带宽大小、当前计算资源剩余量、当前磁盘剩余容量和/或当前内存剩余容量等。为了在所述当前任务特征和所述当前集群特征分别具有多指标的情况下能够确定出最适合接手所述调度目标任务的第二集群，优选的，根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括但不限于有：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征，采用树搜索算法（例如基于蒙特卡洛搜索树的树搜索算法）从所述待选集群中确定出最适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群。此外，若所述任务调度协调服务器还能接收到由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，则根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括但不限于有：根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的且处于任务运行低峰时刻状态的其它集群，所述第二集群属于所述待选集群。
S3.向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务。
S4.向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
由此基于前述步骤S1～S4所描述的跨集群任务调度方法，提供了一种基于区块链技术和非对称加密技术的跨集群任务调度新方案，即在接收来自第一集群的任务调度请求消息后，先根据该消息中的调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，然后向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以及向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便这两集群应用对应的预先约定非对称密钥加密和解密所述调度目标任务的任务调度交接数据，并通过区块链的新区块进行任务调度交接密文的广播式直传，最终实现所述调度目标任务的调度转移，如此可在跨集群任务调度过程中完全杜绝任务数据泄漏，以及由于密文是在两集群间广播式直传，还可以确保跨集群隐私计算协同一致，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何确保任务成功调度转移的可能设计一，即在向所述第二集群反馈携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息之后,所述方法还包括有如下步骤S5。
S5.向所述第一集群转发来自所述第二集群的且与所述任务调度指示消息对应的任务接手成功消息，以便所述第一集群在收到所述任务接手成功消息后触发终止运行所述调度目标任务，其中，所述任务接手成功消息由所述第二集群在成功运行所述调度目标任务时发送。
由此基于前述的可能设计一，还可以避免出现所述调度目标任务在所述第二集群未成功运行而在所述第一集群又已终止运行的情况，进一步确保跨集群隐私计算协同一致。
如图2所示，本实施例第二方面提供了一种实现第一方面或可能设计一所述的跨集群任务调度方法的虚拟装置，适合布置在通信连接至少两个集群的任务调度协调服务器中，包括有消息接收模块、集群确定模块、消息反馈模块和消息发送模块；
所述消息接收模块，用于接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；
所述集群确定模块，通信连接所述消息接收模块，用于根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；
所述消息反馈模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；
所述消息发送模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的跨集群任务调度方法，于此不再赘述。
如图3所示，本实施例第三方面提供了一种执行如第一方面或可能设计一所述的跨集群任务调度方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或可能设计一所述的跨集群任务调度方法。具体举例的，所述存储器可以但不限于包括随机存取存储器（Random-Access Memory，RAM）、只读存储器（Read-Only Memory，ROM）、闪存（Flash Memory）、先进先出存储器（First Input FirstOutput，FIFO）和/或先进后出存储器（First Input Last Output，FILO）等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或可能设计一所述的跨集群任务调度方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或可能设计一所述的跨集群任务调度方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或可能设计一所述的跨集群任务调度方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面或可能设计一所述的跨集群任务调度方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或可能设计一所述的跨集群任务调度方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨集群任务调度方法，其特征在于，由通信连接至少两个集群的任务调度协调服务器执行，包括：
接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；
向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；
向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
2.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述当前任务特征包含有任务的当前输入数据量、当前输出数据量、当前消耗计算资源量、当前中间结果存储数据量和/或当前内存占用量。
3.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述当前集群特征包含有集群的当前下行带宽大小、当前上行带宽大小、当前计算资源剩余量、当前磁盘剩余容量和/或当前内存剩余容量。
4.根据权利要求1所述的跨集群任务调度方法，其特征在于，根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征，采用树搜索算法从所述待选集群中确定出最适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群。
5.根据权利要求1所述的跨集群任务调度方法，其特征在于，所述方法还包括：
接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，包括：
根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的且处于任务运行低峰时刻状态的其它集群，所述第二集群属于所述待选集群。
6.根据权利要求1所述的跨集群任务调度方法，其特征在于，在接收来自第一集群的任务调度请求消息之前，所述方法还包括：
接收由在所述至少两个集群中的各个集群实时上报的任务运行报告消息，其中，所述任务运行报告消息包括有集群的且用于指示为任务运行高峰时刻状态或任务运行低峰时刻状态的当前任务运行状态信息；
根据所述各个集群的任务运行报告消息，判断是否存在有当前处于任务运行低峰时刻状态的集群以及当前处于任务运行高峰时刻状态的集群；
若存在，则向当前处于任务运行高峰时刻状态的集群发送任务调度许可消息，以便接收到所述任务调度许可消息的集群触发传送所述任务调度请求消息。
7.根据权利要求1所述的跨集群任务调度方法，其特征在于，在向所述第二集群反馈携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息之后,所述方法还包括：
向所述第一集群转发来自所述第二集群的且与所述任务调度指示消息对应的任务接手成功消息，以便所述第一集群在收到所述任务接手成功消息后触发终止运行所述调度目标任务，其中，所述任务接手成功消息由所述第二集群在成功运行所述调度目标任务时发送。
8.一种跨集群任务调度装置，其特征在于，适合布置在通信连接至少两个集群的任务调度协调服务器中，包括有消息接收模块、集群确定模块、消息反馈模块和消息发送模块；
所述消息接收模块，用于接收来自第一集群的任务调度请求消息，其中，所述第一集群属于所述至少两个集群，所述任务调度请求消息包含有所述第一集群的唯一集群标识和调度目标任务的调度属性信息，所述调度属性信息包含有所述调度目标任务的唯一任务标识和当前任务特征；
所述集群确定模块，通信连接所述消息接收模块，用于根据所述调度目标任务的当前任务特征与待选集群的当前集群特征的匹配结果，确定出适合接手所述调度目标任务的第二集群，其中，所述待选集群是指在所述至少两个集群中除所述第一集群之外的其它集群，所述第二集群属于所述待选集群；
所述消息反馈模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第一集群反馈携带有所述第二集群的唯一集群标识的任务调度响应消息，以便所述第一集群先根据所述第二集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定私钥加密所述调度目标任务的任务调度交接数据，得到所述调度目标任务的任务调度交接密文，然后将所述调度目标任务的唯一任务标识及所述任务调度交接密文绑定上传到区块链的新区块中，最后终止运行所述调度目标任务；
所述消息发送模块，分别通信连接所述消息接收模块和所述集群确定模块，用于向所述第二集群发送携带有所述第一集群的唯一集群标识和所述调度目标任务的唯一任务标识的任务调度指示消息，以便所述第二集群先根据所述调度目标任务的唯一任务标识从所述新区块中获取所述调度目标任务的任务调度交接密文，然后根据所述第一集群的唯一集群标识使用与所述第一集群及所述第二集群对应的预先约定公钥，从所述调度目标任务的任务调度交接密文中解密获取所述调度目标任务的任务调度交接数据，最后应用所述调度目标任务的任务调度交接数据开始运行所述调度目标任务，其中，所述预先约定私钥和所述预先约定公钥为一对非对称密钥。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的跨集群任务调度方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的跨集群任务调度方法。
CN202311128599.2A 2023-09-04 2023-09-04 一种跨集群任务调度方法、装置、计算机设备及存储介质 Active CN116866438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311128599.2A CN116866438B (zh) 2023-09-04 2023-09-04 一种跨集群任务调度方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311128599.2A CN116866438B (zh) 2023-09-04 2023-09-04 一种跨集群任务调度方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116866438A true CN116866438A (zh) 2023-10-10
CN116866438B CN116866438B (zh) 2023-11-21

Family

ID=88223778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311128599.2A Active CN116866438B (zh) 2023-09-04 2023-09-04 一种跨集群任务调度方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116866438B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621973A (zh) * 2016-07-13 2018-01-23 阿里巴巴集团控股有限公司 一种跨集群的任务调度方法及装置
CN109474430A (zh) * 2019-01-10 2019-03-15 四川虹微技术有限公司 一种集群密钥生成方法、装置及其存储介质
CN110120979A (zh) * 2019-05-20 2019-08-13 华为技术有限公司 一种调度方法、装置及相关设备
CN110716802A (zh) * 2019-10-11 2020-01-21 恩亿科(北京)数据科技有限公司 一种跨集群的任务调度系统及方法
CN113342892A (zh) * 2021-06-08 2021-09-03 广州酷风技术开发有限公司 基于区块链节点集群的云安全数据处理方法及区块链系统
WO2022105337A1 (zh) * 2020-11-23 2022-05-27 中国科学院计算机网络信息中心 一种任务调度方法与系统
CN116541142A (zh) * 2023-04-21 2023-08-04 网易（杭州）网络有限公司 任务调度方法、装置、设备、存储介质及计算机程序产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621973A (zh) * 2016-07-13 2018-01-23 阿里巴巴集团控股有限公司 一种跨集群的任务调度方法及装置
CN109474430A (zh) * 2019-01-10 2019-03-15 四川虹微技术有限公司 一种集群密钥生成方法、装置及其存储介质
CN110120979A (zh) * 2019-05-20 2019-08-13 华为技术有限公司 一种调度方法、装置及相关设备
CN110716802A (zh) * 2019-10-11 2020-01-21 恩亿科(北京)数据科技有限公司 一种跨集群的任务调度系统及方法
WO2022105337A1 (zh) * 2020-11-23 2022-05-27 中国科学院计算机网络信息中心 一种任务调度方法与系统
CN113342892A (zh) * 2021-06-08 2021-09-03 广州酷风技术开发有限公司 基于区块链节点集群的云安全数据处理方法及区块链系统
CN116541142A (zh) * 2023-04-21 2023-08-04 网易（杭州）网络有限公司 任务调度方法、装置、设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN116866438B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN107087019B (zh) 一种基于端云协同计算架构的任务调度方法及装置
KR102566892B1 (ko) 블록체인 합의 방법, 디바이스 및 시스템
Xiao et al. EdgeABC: An architecture for task offloading and resource allocation in the Internet of Things
US20180039897A1 (en) Forcasting interest in an object over a future period of time using a three-stage time-series analysis process
Zhang et al. Toward a unified elastic computing platform for smartphones with cloud support
KR20100107561A (ko) 모바일 클라우드 플랫폼을 구비한 모바일 단말 장치
US11374908B2 (en) Private virtual network replication of cloud databases
CN112346833B (zh) 用于隐私计算的任务处理方法、处理器及异构处理系统
CN108063813B (zh) 一种集群环境下密码服务网络并行化的方法与系统
US9104488B2 (en) Support server for redirecting task results to a wake-up server
CN101652750A (zh) 数据处理装置、分散处理系统、数据处理方法及数据处理程序
CN104519140A (zh) 一种分布式并行计算的服务器系统及其管理方法
CN106790713A (zh) 云计算环境下的跨数据中心虚拟机迁移方法
CN113937894A (zh) 一种基于云边协同的电力智能终端管理系统及方法
Apat et al. Service placement in fog computing environment
CN116866438B (zh) 一种跨集群任务调度方法、装置、计算机设备及存储介质
CN103731484B (zh) 一种面向移动云计算的节能传输方法及中间件系统
CN102098554A (zh) 一种基于云计算的电视机应用服务方法及系统
CN107480302A (zh) 一种基于企业级应用场景的松耦合数据集成同步实现方法
CN114301980A (zh) 容器集群的调度方法、装置、系统及计算机可读介质
Zhao et al. Optimal solution to intelligent multi-channel wireless communications using dynamic programming
Bloch et al. Analysis and survey of issues in live virtual machine migration interferences
Carlini et al. SmartORC: smart orchestration of resources in the compute continuum
Xu et al. Blockchain-powered service migration for uncertainty-aware workflows in edge computing
WO2023066046A1 (zh) 一种合约管理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant