CN115357401B - 一种基于多数据中心的任务调度与可视化方法和系统 - Google Patents

一种基于多数据中心的任务调度与可视化方法和系统 Download PDF

Info

Publication number
CN115357401B
CN115357401B CN202211270954.5A CN202211270954A CN115357401B CN 115357401 B CN115357401 B CN 115357401B CN 202211270954 A CN202211270954 A CN 202211270954A CN 115357401 B CN115357401 B CN 115357401B
Authority
CN
China
Prior art keywords
data
processed
task
tasks
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211270954.5A
Other languages
English (en)
Other versions
CN115357401A (zh
Inventor
金智辉
朱明君
钟玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongdixing Information Technology Co ltd
Original Assignee
Suzhou Zhongdixing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhongdixing Information Technology Co ltd filed Critical Suzhou Zhongdixing Information Technology Co ltd
Priority to CN202211270954.5A priority Critical patent/CN115357401B/zh
Publication of CN115357401A publication Critical patent/CN115357401A/zh
Application granted granted Critical
Publication of CN115357401B publication Critical patent/CN115357401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于多数据中心的任务调度与可视化方法和系统，属于数据中心资源调度技术领域。方法包括步骤S1：解析待处理任务的属性参数，基于所述属性参数确定目标资源参数；S2：获取多个数据中心的每个数据主机的当前性能参数；S3：基于目标资源参数，确定待处理任务的可分配数据主机；S4：将待处理任务发送至可分配数据主机进行处理；S5：将每个数据主机当前正在处理的任务通过拓扑图可视化显示。系统包括中心服务器和多个数据中心，每个数据中心配置多个数据主机，每个数据主机包括多个虚拟机。本发明可以支持多数据中心的多任务的资源调度并确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行。

Description

一种基于多数据中心的任务调度与可视化方法和系统
技术领域
本发明属于数据中心资源调度技术领域，尤其涉及一种基于多数据中心的任务调度与可视化方法和系统。
背景技术
数据中心，又称互联网数据中心（Internet Data Center，IDC），通俗的可简称为“机房”。建设多数据中心机房的原始动机是为了实现容灾功能，即在处于不同地理位置的多个机房分别建立数据中心，互为备份，当其中一个机房（数据中心）出现故障时，其他数据中心机房可以迅速接管，并且为出现故障的数据中心提供备份数据以用于还原正常工作状态。
为了更好的利用多个数据中心的资源，每个数据中心除作为备份数据中心外，还可以独立承担任务数据请求。任务请求者可以基于数据中心的位置就近选择任务数据接入的数据中心并发送任务请求进行处理。
然而，由于每个数据中心依然要作为其他数据中心的备份中心，因此，在该数据中心中主机集群中，可用的主机的数量和状态会动态发生变化，例如某时刻某个数据中心的某些主机必须作为备份主机用于执行备份还原任务。当该数据中心接收到大量任务需求时，任务处理就会产生延迟。
当多个数据中心同时接收到大量并发任务时，如何确保多个并发任务能够在任务截止时间内及时执行，并且让用户可视化的了解任务执行进度以及任务执行的位置，成为现有多数据中心任务和资源调度亟待解决的技术问题之一。
发明内容
为解决上述技术问题，本发明提出一种基于多数据中心的任务调度与可视化方法和系统，可以支持多数据中心的多任务的资源调度并确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行。
具体的，在本发明的第一个方面，提供一种基于多数据中心的任务调度与可视化方法，所述方法包括步骤S1-S5，各个步骤具体执行如下：
S1：解析待处理任务的属性参数，基于所述属性参数确定目标资源参数；
S2：获取多个数据中心的每个数据主机的当前性能参数；
S3：基于所述目标资源参数，确定所述待处理任务的可分配数据主机；
S4：将所述待处理任务发送至所述可分配数据主机进行处理；
S5：将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识。
所述步骤S1中，所述待处理任务的属性参数包括任务数据量大小、任务处理截止时间、任务所需的GPU进程数、任务所需的CPU进程数以及任务所需的显存大小。
在实现所述方法时，所述方法由中心服务器执行，所述多个数据中心的每个数据主机包括多个虚拟机；
所述步骤S2包括：
所述中心服务器与所述多个数据中心的每个数据主机通信，用于获取每个数据主机包括的多个虚拟机的数量以及每个虚拟机的当前性能参数； 所述当前性能参数包括：每个虚拟机是否处于空闲状态、每个虚拟机在空闲状态可调用的CPU核数、GPU个数以及显存资源大小。
具体执行时，作为进一步的优选，所述待处理任务为多个；
此时，所述步骤S1还包括：将多个待处理任务按照任务处理截止时间进行排序后分组，得到多个待处理任务组；每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值。
所述步骤S3具体包括：
将每一个待处理任务分配至同一个数据中心的同一个数据主机；
并且将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机；
所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数，或者，
所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数。
在实际实现时，所述多个数据中心位于不同地理位置；所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定。
在本发明的第二个方面，为实现第一个方面所述的方法，提供一种基于多数据中心的任务调度与可视化系统，其特征在于，所述系统包括中心服务器和多个数据中心，每个数据中心配置多个数据主机，每个数据主机包括多个虚拟机；
所述中心服务器接收多个待处理任务，通过解析多个待处理任务的属性参数获得目标资源参数，并对待处理任务进行分组得到多个待处理任务组；每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值；
所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机；
所述中心服务器将所述待处理任务发送至所述可分配数据主机进行处理，并将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识；
所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定。
作为具体的执行手段，每个待处理任务Taski的属性参数表示为：
Taski={DataMi，DeadTimei，NumGPUi，NumCPUi，Vmemoryi}；
DataMi表示任务Taski的数据量大小，单位为兆字节；
DeadTimei表示任务Taski的任务处理截止时间；
NumGPUi表示任务Taski所需的GPU进程数；
NumCPUi表示任务所Taski需的CPU进程数；
Vmemoryi表示任务Taski所需的显存大小，单位为兆字节；
所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定待处理任务Taski的可分配数据主机的当前性能参数满足{NumGPUi，NumCPUi，Vmemoryi}，或者，
待处理任务Taski的可分配数据主机在设定时间阈值之内的性能参数满足{NumGPUi，NumCPUi，Vmemoryi}。
所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机，具体包括：
将每一个待处理任务分配至同一个数据中心的同一个数据主机；
并且将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机。
所述中心服务器位于所述多个数据中心的其中之一。
本发明通过解析待处理任务的属性参数确定目标资源参数后，将任务进行排序后分组，得到多个待处理任务组；然后将每一个待处理任务分配至同一个数据中心的同一个数据主机；并且将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机；匹配条件为所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数或者所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数，不仅考虑了数据主机的实时性能参数还考虑了数据主机的一定时间阈值内的性能参数，而时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定，同时分组中的每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值，从而确保了多数据中心的多任务的资源调度并确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行。
本发明的更多实施例和改进效果将结合附图和具体实施例进一步介绍。
附图说明
图1是本发明一个实施例的一种基于多数据中心的任务调度与可视化方法的步骤流程示意图；
图2是图1所述一种基于多数据中心的任务调度与可视化方法确定数据主机的优选实施例流程图；
图3是本发明一个实施例的一种基于多数据中心的任务调度与可视化的组成示意图；
图4是图3所述一种基于多数据中心的任务调度与可视化系统多个服务器接收多个待处理任务的场景示意图；
图5是图3所述一种基于多数据中心的任务调度与可视化系统中每个数据中心作为服务器接收多个待处理任务的场景示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
为了更好介绍本发明的实施例，首先介绍本发明的技术方案的硬件架构或者方法实现的基本单元结构。
在本发明的场景中，已经存在多个位于不同地理位置的数据中心机房，每个数据中心机房包含多个数据主机（物理主机），每个物理主机包括多个虚拟机（virtual machie，Vm），每个虚拟机可以按照预定规则，调度对应的物理主机的已有物理资源，例如GPU核数、CPU核数、显存资源、内存资源以及网络资源等。
可以理解，这里的预定规则，可以是分组并行共享，例如某个物理主机上包含三个虚拟机VmA、VmB、VmC，该物理主机包含4个GPU核、6个CPU和1000M（兆字节）的显存资源。
按照分组共享的原则，VmA可以调度2个GPU核以实现2个GPU进程，调度2个CPU以实现2个CPU进程，并可以获得不超过300M的显存资源；VmB可以调度1个GPU核以实现1个GPU进程，调度2个CPU以实现2个CPU进程，并可以获得不超过200M的显存资源；VmC可以调度1个GPU核以实现1个GPU进程，调度2个CPU以实现2个CPU进程，并可以获得不超过500M的显存资源。
可以理解，这里的预定规则，还可以是分时共享；
例如，在第一时段，VmA可调度6个GPU核以实现6个GPU进程，调度2个CPU以实现2个CPU进程，并可以获得不超过300M的显存资源；
此时，VmB和VmC不能调度GPU核，也就无法开启GPU进程；但是可以开启GPU进程以及获得显存资源。
在第一时段结束后，VmA释放资源，此时VmB和VmC可调度GPU核，开启GPU进程。
在多个数据中心的环境下，每个数据中心依然要作为其他数据中心的备份中心，因此，在该数据中心中主机集群中，可用的主机的数量和状态会动态发生变化，例如某时刻某个数据中心的某些主机必须作为备份主机用于执行备份还原任务。
具体的，假设某个时刻，某个数据中心的某个物理主机hostA上包含的虚拟机VmA、VmB正在执行数据备份和/或还原任务，导致该物理主机的另外一个虚拟机VmC实际上无法调用任何物理资源，因此，该物理主机hostA的状态不可用。
此时，该数据中心如果接收到任务数据请求，则无法调度到物理主机hostA进行处理，而必须转移到其他物理主机；当该数据中心同时接收到多个任务数据请求时，有可能该数据中心的当前所有物理主机均不可用，就会产生任务延迟。
此时，可以选择将任务转移到其他数据中心进行匹配处理，或者选择在当前数据中心进行等待。
任务转移到其他数据中心，同样会产生数据传输延迟，而其他数据中心的主机可用性依然未知；每个任务本身通常有最晚处理时间，即任务处理截止时间，如果超过这个截止时间还未处理，任务就会失效。
此时，就面临如何进行资源调度和任务-数据中心、任务-数据主机的匹配确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行的问题。
为解决上述技术问题，参见图1，图1是本发明一个实施例的一种基于多数据中心的任务调度与可视化方法的步骤流程示意图。
图1示出所述方法包括步骤S1-S5，各个步骤具体实现如下：
S1：解析待处理任务的属性参数，基于所述属性参数确定目标资源参数；
S2：获取多个数据中心的每个数据主机的当前性能参数；
S3：基于所述目标资源参数，确定所述待处理任务的可分配数据主机；
S4：将所述待处理任务发送至所述可分配数据主机进行处理；
S5：将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识。
作为具体的例子，所述拓扑图包括多个节点，每个节点代表一个数据中心的位置，每个节点包含多个子节点，每个子节点代表该节点对应的数据中心包含的数据主机；
子节点可以采用不同子节点标识，例如圆形、矩形；或者深色、浅色等，当某个数据主机和另一个数据主机都在处理相同的任务时，该数据主机和另一个数据主机在所述拓扑图上采用相同的子节点标识，而该数据主机和另一个数据主机对应的数据中心如果不同，则不同的数据中心对应的节点的标识也可以相同。
相同任务可以定义为完全相同的任务，只是在不同时刻到达；
相同任务还可以定义为属性参数相同的任务，本发明对此不做具体限制，本领域技术人员可以根据任务的关注属性进行定义，例如，如果关注任务的截止时间，则将截止时间相同的任务定义为相同任务；如果关注任务的GPU进程数，则将GPU进程数相同的任务定义为相同任务。
在一个实施例中，所述步骤S1中，所述待处理任务的属性参数包括任务数据量大小、任务处理截止时间、任务所需的GPU进程数、任务所需的CPU进程数以及任务所需的显存大小。
为方便描述，假设待处理任务为Taski，其属性参数可以描述如下：
Taski={DataMi，DeadTimei，NumGPUi，NumCPUi，Vmemoryi}；
DataMi表示任务Taski的数据量大小，单位为兆字节，例如300M；
DeadTimei表示任务Taski的任务处理截止时间，例如12：30：45AM；
NumGPUi表示任务Taski所需的GPU进程数，例如最低需要3个GPU进程；
NumCPUi表示任务Taski所需的CPU进程数；例如最低需要1个GPU进程；
Vmemoryi表示任务Taski所需的显存大小，单位为兆字节，例如最低需要300M的显存资源。
基于所述属性参数，即可确定对应的待处理任务为Taski的目标资源参数NumGPUi、NumCPUi以及Vmemoryi。
作为一个具体的实施例，所述方法由中心服务器执行，所述多个数据中心的每个数据主机包括多个虚拟机；
此时，所述中心服务器接收待处理任务；
所述步骤S2包括：
所述中心服务器与所述多个数据中心的每个数据主机通信，用于获取每个数据主机包括的多个虚拟机的数量以及每个虚拟机的当前性能参数；所述当前性能参数包括：每个虚拟机是否处于空闲状态、每个虚拟机在空闲状态可调用的CPU核数、GPU个数以及显存资源大小。
所述步骤S3可基于所述目标资源参数以及所述当前性能参数，确定所述待处理任务的可分配数据主机；
具体的，假设某个数据主机上包含的某个虚拟机处于空闲状态并且在空闲状态可调用的CPU核数NumGPU、GPU个数numCPU以及显存资源大小VMemory;
则若该虚拟机当前的NumGPUi≤NumGPU、NumCPUi≤NumCPU并且Vmemoryi≤VMemory，
则该虚拟机所在的数据主机可作为所述待处理任务Taski的可分配数据主机。
作为进一步的优选，本发明的实施例不仅考虑数据主机的当前状态，还考虑在设定的未来时间段内的资源状态，因为数据主机上的每个虚拟机的状态是在动态变化，而任务存在一定的截止期限，只要在截止期限内处理即有效。
因此，如果某个数据主机的某个虚拟机在设定时间阈值之内的性能参数满足所述待处理任务Taski的目标资源参数，该虚拟机所在的数据主机也可以作为所述待处理任务Taski的可分配数据主机。
作为优选，为了避免任务分散导致传输延迟，当存在多个可选数据中心或者多个数据主机时，如果一个待处理任务存在多个待处理子任务，则将每一个待处理任务分配至同一个数据中心的同一个数据主机，即将每隔待处理任务的多个子任务分配至同一个数据中心的同一个数据主机的多个虚拟机执行。
当图1所述方法由中心服务器执行时，由所述中心服务器接收多个待处理任务后，按照上述流程确定待处理任务的可分配数据中心以及可分配数据中心主机。
具体的，参见图2。图2是图1所述一种基于多数据中心的任务调度与可视化方法确定数据主机的优选实施例流程图。
在图2中，由数据中心服务器接收多个待处理任务，解析每个待处理任务的属性参数；
具体的，所述待处理任务的属性参数包括任务数据量大小、任务处理截止时间、任务所需的GPU进程数、任务所需的CPU进程数以及任务所需的显存大小。
基于每个待处理任务的属性参数，确定每个待处理任务的目标资源参数，例如任务所需的GPU进程数、任务所需的CPU进程数以及任务所需的显存大小；
同时，基于每个待处理任务的属性参数确定每个待处理任务的任务处理截止时间；
然后，将多个待处理任务按照任务处理截止时间进行排序后分组，得到多个待处理任务组；每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值；
接下来，数据中心服务器获取每个数据中心的每个数据主机包括的多个虚拟机的数量以及每个虚拟机的当前性能参数；
所述当前性能参数包括：每个虚拟机是否处于空闲状态、每个虚拟机在空闲状态可调用的CPU核数、GPU个数以及显存资源大小。
进一步的，所述数据中心服务器还基于获取的每个数据中心的每个数据主机包括的多个虚拟机的数量以及每个虚拟机的当前性能参数，预测从当前时刻起在设定时间阈值内的多个未来时刻的每个数据中心的每个数据主机包括的多个虚拟机的数量以及每个虚拟机的预测性能参数；
可以理解，所述预测可以基于多种预测模型进行，例如时间序列模型，基于历史数据和当前时刻数据，预测从当前时刻起在设定时间阈值内的多个未来时刻的数据。当然还可以采用其他类型的预测或者拟合模型，本发明对此不做具体限制，这也不是本发明的重点，因此本发明对此不作具体展开，任何利用历史数据和当前时刻数据，预测出从当前时刻起在设定时间阈值内的多个未来时刻的数据的方法或者模型均可以采用。
接下来，并且将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机；
并且，对于某一个待处理任务而言，如果该待处理任务存在多个待处理子任务，则将每一个待处理任务分配至同一个数据中心的同一个数据主机，即将每隔待处理任务的多个子任务分配至同一个数据中心的同一个数据主机的多个虚拟机执行。
被分配的数据主机满足如下条件之一即可：
所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数，和/或，
所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数。
在上述实施例中，所述多个数据中心位于不同地理位置；所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定。
图1或图2所述方法，可以由包含存储器、处理器的计算机电子设备执行，存储器上存储有实现所述方法的计算机程序指令代码，处理器执行所述代码以实现所述方法。
为方便描述，接下里的实施例以伪代码的形式阐述方法中所述设定时间阈值的确定过程。
假设某个时刻存在T个待处理任务（T>1）：
Task1，Task2，……TaskT
D个数据中心分布于D个不同的地理位置（D>1）：
DataCenter1，DataCenter2，……，DataCenterD；
待处理任务为Taski的属性参数可以描述如下：
Taski={DataMi，DeadTimei，NumGPUi，NumCPUi，Vmemoryi}；
DataMi表示任务Taski的数据量大小，单位为兆字节，例如300M；
DeadTimei表示任务Taski的任务处理截止时间，例如12：30：45AM；
NumGPUi表示任务Taski所需的GPU进程数，例如最低需要3个GPU进程；
NumCPUi表示任务Taski所需的CPU进程数；例如最低需要1个GPU进程；
Vmemoryi表示任务Taski所需的显存大小，单位为兆字节，例如最低需要300M的显存资源。
基于所述属性参数，即可确定对应的待处理任务为Taski的目标资源参数NumGPUi、NumCPUi以及Vmemoryi。
在不同的实施例中，中心服务器的设置不同。
在一个实施例中，所述中心服务器不同于所述每个数据中心，也就是所述中心服务器单独设置，通过中心服务器集中接收待处理任务，然后分配给数据中心的数据主机；
在另一个实施例中，所述中心服务器为多个；
在另一个实施例中，所述中心服务器可以是任一个数据中心的部分或者全部主机构成的主机集群；即不存在单独设置的中心服务器，每个数据中心都可以作为中心服务器单独接收待处理任务。
以上实施例的场景将在附图3-附图5中进一步描述。
为方便描述，统一称接收待处理任务Taski的中心服务器为TaskCenteri；可见，中心服务器TaskCenteri可以是一个单独的配置，也可以是多个数据中心DataCenter1，DataCenter2，……，DataCenterD之一。
接收待处理任务Taski的中心服务器TaskCenteri与数据中心DataCenterj的物理传输距离为TDij，单位为公里；
i=1,2，…，T；j=1,2，…D；
则设定时间阈值PreSTime按照如下公式确定：
Figure 207928DEST_PATH_IMAGE001
。
其中Vij为接收待处理任务Taski的中心服务器TaskCenteri与数据中心DataCenterj之间的数据传输速率，单位为兆/秒（M/S）。
作为示例，Vij可以基于当前中心服务器TaskCenteri与数据中心DataCenterj的网络状态测定，也可以基于中心服务器TaskCenteri与数据中心DataCenterj的历史通信速率确定。
可以看到，匹配条件为所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数或者所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数，不仅考虑了数据主机的实时性能参数还考虑了数据主机的一定时间阈值内的性能参数，而时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定，同时分组中的每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值，从而确保了多数据中心的多任务的资源调度并确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行。
为实现图1-图2的方法，图3-图5给出了执行所述方法的一种基于多数据中心的任务调度与可视化系统的不同实施例示意图。
图3是本发明一个实施例的一种基于多数据中心的任务调度与可视化的组成示意图。
在图3中，所述系统包括中心服务器和多个数据中心，每个数据中心配置多个数据主机，每个数据主机包括多个虚拟机；
所述中心服务器接收多个待处理任务，通过解析多个待处理任务的属性参数获得目标资源参数，并对待处理任务进行分组得到多个待处理任务组；每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值； 所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机；
所述中心服务器将所述待处理任务发送至所述可分配数据主机进行处理，并将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识；
作为具体的例子，所述拓扑图包括多个节点，每个节点代表一个数据中心的位置，每个节点包含多个子节点，每个子节点代表该节点对应的数据中心包含的数据主机；
子节点可以采用不同子节点标识，例如圆形、矩形；或者深色、浅色等，当某个数据主机和另一个数据主机都在处理相同的任务时，该数据主机和另一个数据主机在所述拓扑图上采用相同的子节点标识，而该数据主机和另一个数据主机对应的数据中心如果不同，则不同的数据中心对应的节点的标识也可以相同。
相同任务可以定义为完全相同的任务，只是在不同时刻到达；
相同任务还可以定义为属性参数相同的任务，本发明对此不做具体限制，本领域技术人员可以根据任务的关注属性进行定义，例如，如果关注任务的截止时间，则将截止时间相同的任务定义为相同任务；如果关注任务的GPU进程数，则将GPU进程数相同的任务定义为相同任务。
所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定。
显然，图3所述的系统执行的各个功能步骤与前述方法实施例是对应的，因此不再重复。
具体的，每个待处理任务Taski的属性参数表示为：
Taski={DataMi，DeadTimei，NumGPUi，NumCPUi，Vmemoryi}；
DataMi表示任务Taski的数据量大小，单位为兆字节；
DeadTimei表示任务Taski的任务处理截止时间；
NumGPUi表示任务Taski所需的GPU进程数；
NumCPUi表示任务所Taski需的CPU进程数；
Vmemoryi表示任务Taski所需的显存大小，单位为兆字节；
所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机的当前性能参数满足所述所有待处理任务的目标资源参数，
或者，
所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数。
图3的实施例中，所述中心服务器不同于所述每个数据中心，也就是所述中心服务器单独设置，通过中心服务器集中接收待处理任务，然后分配给数据中心的数据主机；
进一步参见图4，图4示出一种基于多数据中心的任务调度与可视化系统采用多个服务器接收多个待处理任务的场景示意图；即图4的所述中心服务器为多个；
接下来参见图5。图5是基于多数据中心的任务调度与可视化系统中每个数据中心作为服务器接收多个待处理任务的场景示意图。
在图5中，所述中心服务器可以是任一个数据中心的部分或者全部主机构成的主机集群；即不存在单独设置的中心服务器，每个数据中心都可以作为中心服务器单独接收待处理任务。
在图3-图5的实例中，所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机，具体包括：将每一个待处理任务分配至同一个数据中心的同一个数据主机；并且将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机。
分配条件为：所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数，或者，所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数。
所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定，
具体的，接收待处理任务Taski的中心服务器TaskCenteri与数据中心DataCenterj的物理传输距离为TDij，单位为公里；
i=1,2，…，T；j=1,2，…D；T为待处理任务的总数量，D为数据中心的总数量；
则设定时间阈值PreSTime按照如下公式确定：
Figure 639213DEST_PATH_IMAGE002
。
作为优选，设定
Figure 664938DEST_PATH_IMAGE003
即可。
其中Vij为接收待处理任务Taski的中心服务器TaskCenteri与数据中心DataCenterj之间的数据传输速率，单位为兆/秒（M/S）。
作为示例，Vij可以基于当前中心服务器TaskCenteri与数据中心DataCenterj的网络状态测定，也可以基于中心服务器TaskCenteri与数据中心DataCenterj的历史通信速率确定。
相对于现有技术，本发明至少具有如下改进的技术效果：
（1）通过解析待处理任务的属性参数确定目标资源参数后，将任务进行排序后分组，得到多个待处理任务组；然后将每一个待处理任务分配至同一个数据中心的同一个数据主机；
（2）将属于同一个待处理任务组的所有待处理任务分配至同一个数据中心的多个数据主机；匹配条件为所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数或者所述多个数据主机在设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数，不仅考虑了数据主机的实时性能参数还考虑了数据主机的一定时间阈值内的性能参数；
（3）时间阈值基于接收所述待处理任务的中心服务器与所述多个数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定，同时分组中的每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值，从而确保了多数据中心的多任务的资源调度并确保任务能够在截止时间内匹配到符合条件的数据主机并可视化执行。
（4）将每个数据主机当前正在处理的任务通过拓扑图可视化显示；在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识，让用户可视化的了解不同类型的任务执行进度以及任务执行的位置。
当然，可以理解，本发明的各个实施例可以单独实现其中一个效果，本发明的多个实施例组合可以实现上述所有效果，但是并不要求本发明的每一个实施例都实现上述所有优点和效果，因为本发明的各个实施例都能构成单独的技术方案并对现有技术作出一个或者多个贡献。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分以及具体实施例部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (6)

1.一种基于多数据中心的任务调度与可视化方法，其特征在于，所述方法包括如下步骤：
S1：接收多个待处理任务；
将多个待处理任务按照任务处理截止时间进行排序后分组，得到多个待处理任务组；每个待处理任务组包含的所有待处理任务的处理截止时间的差值不超过设定时间阈值；
解析多个待处理任务的属性参数，基于所述属性参数确定目标资源参数；
S2：获取多个数据中心的每个数据主机的当前性能参数；
S3：基于所述目标资源参数，确定所述待处理任务的可分配数据主机，具体包括：
当存在多个可选数据中心或者多个数据主机时，如果某个待处理任务存在多个待处理子任务，则将该待处理任务多个子任务分配至同一个数据中心的同一个数据主机的多个虚拟机执行；
所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数，或者，
所述多个数据主机在所述设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数；
所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个可选数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定；
S4：将所述待处理任务发送至所述可分配数据主机进行处理；
S5：将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识。
2.如权利要求1所述的一种基于多数据中心的任务调度与可视化方法，其特征在于，
所述步骤S1中，所述待处理任务的属性参数包括任务数据量大小、任务处理截止时间、任务所需的GPU进程数、任务所需的CPU进程数以及任务所需的显存大小。
3.如权利要求1所述的一种基于多数据中心的任务调度与可视化方法，其特征在于，所述方法由中心服务器执行，所述多个数据中心的每个数据主机包括多个虚拟机；
所述步骤S2包括：
所述中心服务器与所述多个数据中心的每个数据主机通信，用于获取每个数据主机包括的多个虚拟机的数量以及每个虚拟机的当前性能参数；
所述当前性能参数包括：每个虚拟机是否处于空闲状态、每个虚拟机在空闲状态可调用的CPU核数、GPU个数以及显存资源大小。
4.如权利要求1所述的一种基于多数据中心的任务调度与可视化方法，其特征在于：
所述多个可选数据中心位于不同地理位置。
5.一种基于多数据中心的任务调度与可视化系统，其特征在于，所述系统包括中心服务器和多个数据中心，每个数据中心配置多个数据主机，每个数据主机包括多个虚拟机；
所述中心服务器接收多个待处理任务，通过解析多个待处理任务的属性参数获得目标资源参数，并对待处理任务进行分组得到多个待处理任务组；每个待处理任务组所有待处理任务的处理截止时间的差值不超过设定时间阈值；
所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机；
所述中心服务器将所述待处理任务发送至所述可分配数据主机进行处理，并将每个数据主机当前正在处理的任务通过拓扑图可视化显示；
其中，在所述可视化的拓扑图上，处理相同任务的数据主机在所述拓扑图上采用相同的节点标识；
其中，所述中心服务器获取多个数据中心的每个数据主机的当前性能参数后，基于所述目标资源参数，确定所述待处理任务的可分配数据主机，具体包括：
当存在多个可选数据中心或者多个数据主机时，如果某个待处理任务存在多个待处理子任务，则将该待处理任务多个子任务分配至同一个数据中心的同一个数据主机的多个虚拟机执行；
所述多个数据主机当前性能参数满足所述所有待处理任务的目标资源参数，或者，
所述多个数据主机在所述设定时间阈值之内的性能参数满足所述所有待处理任务的目标资源参数；
所述设定时间阈值基于接收所述待处理任务的中心服务器与所述多个可选数据中心的物理传输距离以及当前接收的待处理任务的数据大小确定。
6.如权利要求5所述的一种基于多数据中心的任务调度与可视化系统，其特征在于：
所述中心服务器位于所述多个数据中心的其中之一。
CN202211270954.5A 2022-10-18 2022-10-18 一种基于多数据中心的任务调度与可视化方法和系统 Active CN115357401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270954.5A CN115357401B (zh) 2022-10-18 2022-10-18 一种基于多数据中心的任务调度与可视化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270954.5A CN115357401B (zh) 2022-10-18 2022-10-18 一种基于多数据中心的任务调度与可视化方法和系统

Publications (2)

Publication Number Publication Date
CN115357401A CN115357401A (zh) 2022-11-18
CN115357401B true CN115357401B (zh) 2023-03-24

Family

ID=84008352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270954.5A Active CN115357401B (zh) 2022-10-18 2022-10-18 一种基于多数据中心的任务调度与可视化方法和系统

Country Status (1)

Country Link
CN (1) CN115357401B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932163A (zh) * 2023-07-13 2023-10-24 深圳市世强元件网络有限公司 一种任务调度中心控制方法、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434294A (zh) * 2021-06-29 2021-09-24 腾讯科技（深圳）有限公司 一种数据处理方法、计算机设备以及可读存储介质
CN115098257A (zh) * 2022-06-23 2022-09-23 中国电信股份有限公司 一种资源调度方法、装置、设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123182B (zh) * 2014-07-18 2015-09-30 西安交通大学 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN110413393B (zh) * 2019-07-26 2022-02-01 广州虎牙科技有限公司 集群资源管理方法、装置、计算机集群及可读存储介质
US20210191756A1 (en) * 2019-12-19 2021-06-24 Huawei Technologies Co., Ltd. Methods and apparatus for resource scheduling of resource nodes of a computing cluster or a cloud computing platform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434294A (zh) * 2021-06-29 2021-09-24 腾讯科技（深圳）有限公司 一种数据处理方法、计算机设备以及可读存储介质
CN115098257A (zh) * 2022-06-23 2022-09-23 中国电信股份有限公司 一种资源调度方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN115357401A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111344688B (zh) 云计算中资源提供的方法及系统
US20200364608A1 (en) Communicating in a federated learning environment
US9419859B2 (en) Service allocation in a distributed computing platform
US20090077235A1 (en) Mechanism for profiling and estimating the runtime needed to execute a job
US8843929B1 (en) Scheduling in computer clusters
US10505832B2 (en) Resource coordinate system for data centers
US8544005B2 (en) Autonomic method, system and program product for managing processes
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
US20240036937A1 (en) Workload placement for virtual gpu enabled systems
JP5245711B2 (ja) 分散データ処理システム、分散データ処理方法および分散データ処理用プログラム
JP2005310120A (ja) 計算機システム及びタスク割当方法
CN115357401B (zh) 一种基于多数据中心的任务调度与可视化方法和系统
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN115134371A (zh) 包含边缘网络算力资源的调度方法、系统、设备及介质
CN109818880B (zh) 动态分派工作及提供资源的方法、装置及其系统
CN109783236B (zh) 用于输出信息的方法和装置
Keerthika et al. A hybrid scheduling algorithm with load balancing for computational grid
CN117076133B (zh) 云游戏平台异构资源分配方法、计算机装置及存储介质
CN107391262B (zh) 一种作业调度方法及装置
CN116048773A (zh) 一种基于波函数坍缩的分布式协作任务指派方法和系统
CN108829516A (zh) 一种图形处理器资源虚拟化调度方法
Pakhrudin et al. Cloud service analysis using round-robin algorithm for quality-of-service aware task placement for internet of things services
Pop et al. Evaluation of multi-objective decentralized scheduling for applications in grid environment
CN117579626B (zh) 基于分布式实现边缘计算下的优化方法及系统
Vasques et al. A decentralized utility-based grid scheduling algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant