CN116627618B - 一种计算资源预调度方法及系统 - Google Patents

一种计算资源预调度方法及系统 Download PDF

Info

Publication number
CN116627618B
CN116627618B CN202310898528.4A CN202310898528A CN116627618B CN 116627618 B CN116627618 B CN 116627618B CN 202310898528 A CN202310898528 A CN 202310898528A CN 116627618 B CN116627618 B CN 116627618B
Authority
CN
China
Prior art keywords
task
scheduling
subtask
time
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310898528.4A
Other languages
English (en)
Other versions
CN116627618A (zh
Inventor
吕超星
丁鹏
吴清忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanjie Data Technology Co ltd Wuhan Branch
Beijing Wanjie Data Technology Co ltd
Original Assignee
Beijing Wanjie Data Technology Co ltd Wuhan Branch
Beijing Wanjie Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanjie Data Technology Co ltd Wuhan Branch, Beijing Wanjie Data Technology Co ltd filed Critical Beijing Wanjie Data Technology Co ltd Wuhan Branch
Priority to CN202310898528.4A priority Critical patent/CN116627618B/zh
Publication of CN116627618A publication Critical patent/CN116627618A/zh
Application granted granted Critical
Publication of CN116627618B publication Critical patent/CN116627618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种计算资源预调度方法及系统，涉及计算资源管理领域。本发明通过全域调度节点、子域调度节点和计算执行设备实现协调全域范围内各个子域的任务认领和计算处理时间，将同一计算任务的不同子任务尽可能协调在相同时间段进行处理，并且尽可能地时间靠前分配；子域在进行任务编排时，通过虚拟的预调度计算资源池子任务认领进行判断，通过未预占用资源量和时间靠前编排规则实现计算任务的有序认领；通过任务处理时间聚点，能协同各子任务在处理时间相近的子域，并且能协同其他离散的子域对资源进行释放，避免计算结果缓存长时间占用；在进行子任务的平均处理时间作为任务处理时间聚点，能反应各子域的整体处理时间情况。

Description

一种计算资源预调度方法及系统
技术领域
本发明涉及计算资源管理领域，尤其涉及一种计算资源预调度方法及系统。
背景技术
随着科技的进步和数字化水平的提高，越来越多的场景需要使用云计算服务；云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力；云计算平台按照任务编排顺序调度对应的计算资源，从而完成计算任务的处理。
现有针对云计算的资源调度方法往往是线性编排的，即：按照时间顺序构建任务栈；但是，由于云计算平台往往是由若干台云计算服务器共同构成，并会分解为若干子任务进行处理，若是各云计算服务器均按照线性编排，由于各云计算服务器编排任务的顺序不同，则会出现子任务计算结果输出分散的问题，云计算平台需要大量缓存未完成整体计算的子任务计算结果，导致系统缓存负担重。
因此，有必要提供一种计算资源预调度方法及系统来解决上述技术问题。
发明内容
为解决上述技术问题，本发明提供的一种计算资源预调度系统，部署在云计算平台上，所述云计算平台包括若干云计算服务器，并根据用途划分为全域调度节点、子域调度节点和计算执行设备；
所述全域调度节点用于接收计算任务并对计算任务进行计算任务预调度，将计算任务分解为若干个子任务，并向各子域发起预调度事件；
所述子域调度节点用于响应预调度事件并根据子域情况进行子任务认领判断，将各子任务预编排在预调度资源池中，并生成各时间段对应的子任务执行序列；
所述计算执行设备用于构成当前计算资源池，并按照子任务执行序列依次执行计算任务；在进行持续计算时，对计算资源进行持续释放，并在已释放计算资源达到预编排任务的算力处理需求时，将预编排任务载入计算资源池中。
作为更进一步的解决方案，通过所述云计算服务器共同构成平台类区块链网；所述平台类区块链网用于对任务预调度链进行分布式存储，并接受全域调度节点和指定子域调度节点的权限范围内修改；其中，所述任务预调度链包括若干任务区块，所述任务区块与子任务一一对应设置，并对子任务的子域相关信息、认领标记和预约任务处理时间存储。
一种计算资源预调度方法，运用于如上所述的一种计算资源预调度系统中，其特征在于，全域调度节点通过如下步骤进行计算任务预调度：
获取待调度计算任务和任务处理信息，并将计算任务分解为若干个子任务；
向各子域发起预调度事件，并在平台类区块链网中新建任务预调度链；
各子域响应预调度事件，并根据任务处理信息进行子任务认领判断；
各子域将预认领子任务编号上传至平台类区块链网，并附上子域相关信息；
平台类区块链网根据子任务编号对任务预调度链上对应子任务区块进行认领标记；
通过认领标记对任务预调度链进行完整性验证，并获取未被认领的子任务；
对未被认领的子任务重新发起预调度事件，直至各子任务均被子域进行认领标记；
任务预调度链上各子域根据计算资源占用情况，对认领子任务进行处理时间预约；
对各子域处理时间进行时间分布统计，得到并筛出远离任务处理时间聚点的子域；
获取被筛出子域认领的子任务，并重新发起预调度事件直至子任务均被重新认领；
对任务预调度链进行分叉检查，筛出同时被多子域认领的子任务并选择时间最优子域；
选择时间最优子域作为认领子任务的子域，并向各子域发送预调度确认消息；
各子域确认接收预调度任务，并向全域发送预调度应答消息，完成一次任务预调度。 作为更进一步的解决方案，所述任务处理信息包括：总任务及子任务编号集、业务处理类型和算力处理需求；所述子域相关信息包括：子域IP地址、认领子任务编号集、子任务执行序列、业务支持类型和算力处理总量。
作为更进一步的解决方案，子域调度节点通过如下步骤进行子任务认领判断：
子域响应预调度事件，接收并解析任务处理信息；
查询业务处理类型和子域的业务支持类型是否匹配；并在支持该业务且算力处理需求未超出当前子域算力处理总量时，进行下一步判断；否则，不进行子任务认领；
构建针对当前业务类型的各时间段预调度计算资源池；其中，预调度计算资源池为虚拟资源池；
获取预调度计算资源池中已预占用计算资源量，并结合算力处理总量计算得到未预占用资源量；
按照时间靠前编排规则，对子任务进行预编排；将子任务预编排进未预占用资源量满足算力处理需求，且时间段最为靠前的预调度计算资源池中；
对预调度计算资源池中各预编排的子任务进行接收时间排序，得到当前预调度计算资源池的子任务执行序列；
将子任务编号和子域相关信息上传至平台类区块链网，完成一次子任务认领判断。
作为更进一步的解决方案，子域调度节点通过如下步骤进行子任务处理时间预约：
获取子任务所在预调度计算资源池的时间段T i ；其中，T i =（t i始，t i末）；t i末-t i始=Di/V；i为时间段编号，t i始与t i末分别为时间段Ti的始末时刻，Di为预调度计算资源池的算力处理总量；V为子域计算处理速率；
在子任务执行序列中找到子任务前序列，获取子任务前序列和当前子任务的算力占用量，并进行子任务处理时间计算：
T i，j =（t i，j始，t i，j末）；
t i，j始=t i始+D i，（0，j-1） /V；
t i，j末=t i，j始+D i，j /V；
其中，i为时间段编号，j为子任务编号，t i，j始与t i，j末分别为子任务处理时间的始末时刻，D i，（0，j-1） 为子任务前序列的算力占用量，D i，j 为当前子任务的算力占用量，t i始为时间段Ti的始时刻。
作为更进一步的解决方案，通过如下步骤获取任务处理时间聚点：
计算子任务的平均处理时间 ：
；
其中，n为时间段的分布集合，m为各时间段子任务的分布集合，与/>分别为i时间，j子任务的处理时间始末时刻；
将平均处理时间作为任务处理时间聚点，并计算各子任务的离差/>：
；
其中，i为时间段编号，j为子任务编号，为子任务处理时间中点；
计算各子任务设置判断阈值：
；
其中，为当前子任务的算力占用量，/>为待调度计算任务总算力占用量；/>为平均处理时间；
进行离散判断：若当前子任务的离差数值超出判断阈值/>，则远离任务处理时间聚点。
作为更进一步的解决方案，当存在子域无法执行已认领子任务的计算时，对该子任务发起预调度事件，并将靠近任务处理时间聚点作为前置条件；在子任务被重新认领获取后，对任务预调度链进行更新。
与相关技术相比较，本发明提供的一种计算资源预调度方法及系统具有如下有益效果：
本发明通过全域调度节点、子域调度节点和计算执行设备实现协调全域范围内各个子域的任务认领和计算处理时间，将同一计算任务的不同子任务尽可能协调在相同时间段进行处理，并且尽可能地时间靠前分配；子域在进行任务编排时，通过虚拟的预调度计算资源池子任务认领进行判断，通过未预占用资源量和时间靠前编排规则实现计算任务的有序认领；通过任务处理时间聚点，能协同各子任务在处理时间相近的子域，并且能协同其他离散的子域对资源进行释放，避免计算结果缓存长时间占用；在进行子任务的平均处理时间作为任务处理时间聚点，能反应各子域的整体处理时间情况。
附图说明
图1为本发明提供的一种计算资源预调度系统的较佳示意图；
图2为本发明实施例一种计算资源预调度方法的较佳流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
如图1所示，本实施例提供的一种计算资源预调度系统，部署在云计算平台上，所述云计算平台包括若干云计算服务器，并根据用途划分为全域调度节点、子域调度节点和计算执行设备；
所述全域调度节点用于接收计算任务并对计算任务进行计算任务预调度，将计算任务分解为若干个子任务，并向各子域发起预调度事件；
所述子域调度节点用于响应预调度事件并根据子域情况进行子任务认领判断，将各子任务预编排在预调度资源池中，并生成各时间段对应的子任务执行序列；
所述计算执行设备用于构成当前计算资源池，并按照子任务执行序列依次执行计算任务；在进行持续计算时，对计算资源进行持续释放，并在已释放计算资源达到预编排任务的算力处理需求时，将预编排任务载入计算资源池中。
需要说明的是：为了解决子任务计算结果输出分散的问题，我们需要全域调度节点来协调全域范围内各个子域的任务认领和计算处理时间，将同一计算任务的不同子任务尽可能协调在相同时间段进行处理，并且尽可能地时间靠前分配；因此，我们需要向向各子域发起预调度事件，各子域再情况进行子任务认领判断；并在认领完成后，协同各子域的处理时间，尽可能在差不多的时间段内输出计算结果，从而减轻平台数据缓存压力；所以，我们需要对任务进行预编排，并将各子任务预调度在资源池中，从而有序生成对应的子任务执行序列，计算执行设备对计算资源进行持续释放，并在已释放计算资源达到预编排任务的算力处理需求时，将预编排任务载入计算资源池中，从而充分利用计算执行设备的计算资源。
作为更进一步的解决方案，通过所述云计算服务器共同构成平台类区块链网；所述平台类区块链网用于对任务预调度链进行分布式存储，并接受全域调度节点和指定子域调度节点的权限范围内修改；其中，所述任务预调度链包括若干任务区块，所述任务区块与子任务一一对应设置，并对子任务的子域相关信息、认领标记和预约任务处理时间存储。
需要说明的是：由于我们需要协同各个子域进行子任务处理，所以需要构建平台类区块链网来对任务预调度链进行分布式存储并实时维护，平台类区块链网类似于区块链网络，但不需要进行算力证明等操作，仅需提供基本的分布式存储和多方维护。
如图2所示，一种计算资源预调度方法，运用于如上所述的一种计算资源预调度系统中，其特征在于，全域调度节点通过如下步骤进行计算任务预调度：
获取待调度计算任务和任务处理信息，并将计算任务分解为若干个子任务；
向各子域发起预调度事件，并在平台类区块链网中新建任务预调度链；
各子域响应预调度事件，并根据任务处理信息进行子任务认领判断；
各子域将预认领子任务编号上传至平台类区块链网，并附上子域相关信息；
平台类区块链网根据子任务编号对任务预调度链上对应子任务区块进行认领标记；
通过认领标记对任务预调度链进行完整性验证，并获取未被认领的子任务；
对未被认领的子任务重新发起预调度事件，直至各子任务均被子域进行认领标记；
任务预调度链上各子域根据计算资源占用情况，对认领子任务进行处理时间预约；
对各子域处理时间进行时间分布统计，得到并筛出远离任务处理时间聚点的子域；
获取被筛出子域认领的子任务，并重新发起预调度事件直至子任务均被重新认领；
对任务预调度链进行分叉检查，筛出同时被多子域认领的子任务并选择时间最优子域；
选择时间最优子域作为认领子任务的子域，并向各子域发送预调度确认消息；
各子域确认接收预调度任务，并向全域发送预调度应答消息，完成一次任务预调度。
需要说明的是：全域节点需要协同各子域按照子任务和自身处理业务情况进行子任务认领，并通过对平台类区块链网上的任务预调度链进行管理，从而得到都未远离任务处理时间聚点的子域共同处理任务；在协同过程中，由于采用了举手认领的方式，所以会出现完整性问题（有些没有子域认领）和分叉问题（有些被多个子域认领），我们针对这种情况进行完整性验证和分叉检查，并在没有子域认领时，重新发起预调度事件；在多个子域认领时选择时间最优子域（最靠近任务处理时间聚点）；任务预调度链对处理时间预约进行记录，从而在后续的过程中，各子域能按照事先约定的时间进行任务处理。
作为更进一步的解决方案，所述任务处理信息包括：总任务及子任务编号集、业务处理类型和算力处理需求；所述子域相关信息包括：子域IP地址、认领子任务编号集、子任务执行序列、业务支持类型和算力处理总量。
作为更进一步的解决方案，子域调度节点通过如下步骤进行子任务认领判断：
子域响应预调度事件，接收并解析任务处理信息；
查询业务处理类型和子域的业务支持类型是否匹配；并在支持该业务且算力处理需求未超出当前子域算力处理总量时，进行下一步判断；否则，不进行子任务认领；
构建针对当前业务类型的各时间段预调度计算资源池；其中，预调度计算资源池为虚拟资源池；
获取预调度计算资源池中已预占用计算资源量，并结合算力处理总量计算得到未预占用资源量；
按照时间靠前编排规则，对子任务进行预编排；将子任务预编排进未预占用资源量满足算力处理需求，且时间段最为靠前的预调度计算资源池中；
对预调度计算资源池中各预编排的子任务进行接收时间排序，得到当前预调度计算资源池的子任务执行序列；
将子任务编号和子域相关信息上传至平台类区块链网，完成一次子任务认领判断。
需要说明的是：子域在进行任务编排时，通过虚拟的预调度计算资源池子任务认领进行判断，通过未预占用资源量和时间靠前编排规则实现计算任务的有序认领。
如图2所示，占用量较小的认领任务D能轻松地编排到前方空余的资源池中，并且新加入的任务不会影响之前的任务，保持时间可预估并能根据具体执行情况进行动态调整；而较大占用量的任务被安排在算力不紧张且靠前的时间进行处理。
作为更进一步的解决方案，子域调度节点通过如下步骤进行子任务处理时间预约：
获取子任务所在预调度计算资源池的时间段T i ；其中，T i =（t i始，t i末）；t i末-t i始=Di/V；i为时间段编号，t i始与t i末分别为时间段Ti的始末时刻，Di为预调度计算资源池的算力处理总量；V为子域计算处理速率；
在子任务执行序列中找到子任务前序列，获取子任务前序列和当前子任务的算力占用量，并进行子任务处理时间计算：
T i，j =（t i，j始，t i，j末）；
t i，j始=t i始+D i，（0，j-1） /V；
t i，j末=t i，j始+D i，j /V；
其中，i为时间段编号，j为子任务编号，t i，j始与t i，j末分别为子任务处理时间的始末时刻，D i，（0，j-1） 为子任务前序列的算力占用量，D i，j 为当前子任务的算力占用量，t i始为时间段Ti的始时刻。
需要说明的是：本实施例通过任务处理时间聚点，能协同各子任务在处理时间相近的子域，并且能协同其他离散的子域对资源进行释放，避免计算结果缓存长时间占用；在进行子任务的平均处理时间作为任务处理时间聚点，能反应各子域的整体处理时间情况。
注：考虑子任务载入耗时和子任务数量不同，各时间段之间存在一定裕度，不要求收尾完全对应，松散但是能有序协调；在各子任务在协同好处理时间聚点后，即使在具体计算时，一些子域因为一些原因发生了延迟，只要不超出最末尾的子任务处理完成时间，也是能被接收的；预调度更多的是达成一种处理意向，即大家尽可能在差不多的时间完成子任务的计算，避免平台对各子任务处理结果的缓存周期和占用比例。
作为更进一步的解决方案，通过如下步骤获取任务处理时间聚点：
计算子任务的平均处理时间 ：
；
其中，n为时间段的分布集合，m为各时间段子任务的分布集合，与/>分别为i时间，j子任务的处理时间始末时刻；
将平均处理时间作为任务处理时间聚点，并计算各子任务的离差/>：
；
其中，i为时间段编号，j为子任务编号，为子任务处理时间中点；
计算各子任务设置判断阈值：
；
其中，为当前子任务的算力占用量，/>为待调度计算任务总算力占用量；/>为平均处理时间；
进行离散判断：若当前子任务的离差数值超出判断阈值/>，则远离任务处理时间聚点。
需要说明的是：通过离差作为是否远离任务处理时间聚点的依据，通过判断阈值/>作为是否远离任务处理时间聚点的标准，能根据子任务的算力占用量进行动态调整，占用量大的能得到更为宽泛的判断阈值/>，从而照顾到大占比的子任务不被误筛查。
作为更进一步的解决方案，当存在子域无法执行已认领子任务的计算时，对该子任务发起预调度事件，并将靠近任务处理时间聚点作为前置条件；在子任务被重新认领获取后，对任务预调度链进行更新。
需要说明的是：本实施例还具备灵活调整的效果，若是存在子域无法执行已认领子任务的计算时，仅需重新发布预调度事件并更新任务预调度链即可，不会影响当前任务的编排和计算。
以上仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种计算资源预调度方法，运用于一种计算资源预调度系统中，其特征在于，所述计算资源预调度系统，部署在云计算平台上，所述云计算平台包括若干云计算服务器，并根据用途划分为全域调度节点、子域调度节点和计算执行设备；
所述全域调度节点用于接收计算任务并对计算任务进行计算任务预调度，将计算任务分解为若干个子任务，并向各子域发起预调度事件；
所述子域调度节点用于响应预调度事件并根据子域情况进行子任务认领判断，将各子任务预编排在预调度资源池中，并生成各时间段对应的子任务执行序列；
所述计算执行设备用于构成当前计算资源池，并按照子任务执行序列依次执行计算任务；在进行持续计算时，对计算资源进行持续释放，并在已释放计算资源达到预编排任务的算力处理需求时，将预编排任务载入计算资源池中；
通过所述云计算服务器共同构成平台类区块链网；所述平台类区块链网用于对任务预调度链进行分布式存储，并接受全域调度节点和指定子域调度节点的权限范围内修改；其中，所述任务预调度链包括若干任务区块，所述任务区块与子任务一一对应设置，并对子任务的子域相关信息、认领标记和预约任务处理时间存储；
全域调度节点通过如下步骤进行计算任务预调度：
获取待调度计算任务和任务处理信息，并将计算任务分解为若干个子任务；
向各子域发起预调度事件，并在平台类区块链网中新建任务预调度链；
各子域响应预调度事件，并根据任务处理信息进行子任务认领判断；
各子域将预认领子任务编号上传至平台类区块链网，并附上子域相关信息；
平台类区块链网根据子任务编号对任务预调度链上对应子任务区块进行认领标记；
通过认领标记对任务预调度链进行完整性验证，并获取未被认领的子任务；
对未被认领的子任务重新发起预调度事件，直至各子任务均被子域进行认领标记；
任务预调度链上各子域根据计算资源占用情况，对认领子任务进行处理时间预约；
对各子域处理时间进行时间分布统计，得到并筛出远离任务处理时间聚点的子域；
获取被筛出子域认领的子任务，并重新发起预调度事件直至子任务均被重新认领；
对任务预调度链进行分叉检查，筛出同时被多子域认领的子任务并选择时间最优子域；
选择时间最优子域作为认领子任务的子域，并向各子域发送预调度确认消息；
各子域确认接收预调度任务，并向全域发送预调度应答消息，完成一次任务预调度。
2.根据权利要求1所述的一种计算资源预调度方法，其特征在于，所述任务处理信息包括：总任务及子任务编号集、业务处理类型和算力处理需求；所述子域相关信息包括：子域IP地址、认领子任务编号集、子任务执行序列、业务支持类型和算力处理总量。
3.根据权利要求1所述的一种计算资源预调度方法，其特征在于，子域调度节点通过如下步骤进行子任务认领判断：
子域响应预调度事件，接收并解析任务处理信息；
查询业务处理类型和子域的业务支持类型是否匹配；并在支持该业务且算力处理需求未超出当前子域算力处理总量时，进行下一步判断；否则，不进行子任务认领；
构建针对当前业务类型的各时间段预调度计算资源池；其中，预调度计算资源池为虚拟资源池；
获取预调度计算资源池中已预占用计算资源量，并结合算力处理总量计算得到未预占用资源量；
按照时间靠前编排规则，对子任务进行预编排；将子任务预编排进未预占用资源量满足算力处理需求，且时间段最为靠前的预调度计算资源池中；
对预调度计算资源池中各预编排的子任务进行接收时间排序，得到当前预调度计算资源池的子任务执行序列；
将子任务编号和子域相关信息上传至平台类区块链网，完成一次子任务认领判断。
4.根据权利要求1所述的一种计算资源预调度方法，其特征在于，子域调度节点通过如下步骤进行子任务处理时间预约：
获取子任务所在预调度计算资源池的时间段T i ；其中，T i =（t i始，t i末）；t i末-t i始=Di/V；i为时间段编号，t i始与t i末分别为时间段Ti的始末时刻，Di为预调度计算资源池的算力处理总量；V为子域计算处理速率；
在子任务执行序列中找到子任务前序列，获取子任务前序列和当前子任务的算力占用量，并进行子任务处理时间计算：
T i，j =（t i，j始，t i，j末）；
t i，j始=t i始+D i，（0，j-1） /V ；
t i，j末=t i，j始+D i，j /V ；
其中，i为时间段编号，j为子任务编号，t i，j始与t i，j末分别为子任务处理时间的始末时刻，D i，（0，j-1） 为子任务前序列的算力占用量，D i，j 为当前子任务的算力占用量，t i始为时间段Ti的始时刻。
5.根据权利要求1所述的一种计算资源预调度方法，其特征在于，通过如下步骤获取任务处理时间聚点：
计算子任务的平均处理时间：
；
其中，n为时间段的分布集合，m为各时间段子任务的分布集合，与/>分别为i时间，j子任务的处理时间始末时刻；
将平均处理时间作为任务处理时间聚点，并计算各子任务的离差/>：
；
其中，i为时间段编号，j为子任务编号，为子任务处理时间中点；
计算各子任务设置判断阈值：
；
其中，为当前子任务的算力占用量，/>为待调度计算任务总算力占用量；/>为平均处理时间；
进行离散判断：若当前子任务的离差数值超出判断阈值/>，则远离任务处理时间聚点。
6.根据权利要求1所述的一种计算资源预调度方法，其特征在于，当存在子域无法执行已认领子任务的计算时，对该子任务发起预调度事件，并将靠近任务处理时间聚点作为前置条件；在子任务被重新认领获取后，对任务预调度链进行更新。
CN202310898528.4A 2023-07-21 2023-07-21 一种计算资源预调度方法及系统 Active CN116627618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310898528.4A CN116627618B (zh) 2023-07-21 2023-07-21 一种计算资源预调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310898528.4A CN116627618B (zh) 2023-07-21 2023-07-21 一种计算资源预调度方法及系统

Publications (2)

Publication Number Publication Date
CN116627618A CN116627618A (zh) 2023-08-22
CN116627618B true CN116627618B (zh) 2023-09-19

Family

ID=87636874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310898528.4A Active CN116627618B (zh) 2023-07-21 2023-07-21 一种计算资源预调度方法及系统

Country Status (1)

Country Link
CN (1) CN116627618B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203164A (zh) * 2016-07-01 2016-12-07 何钟柱 基于可信计算和云计算的信息安全大数据资源管理系统
JP2018032245A (ja) * 2016-08-25 2018-03-01 株式会社日立製作所 計算機システム及びリソース制御方法
CN108537429A (zh) * 2018-03-30 2018-09-14 深圳明创自控技术有限公司 基于云计算的电能质量智能监测系统
CN115328663A (zh) * 2022-10-10 2022-11-11 亚信科技（中国）有限公司 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
WO2023039965A1 (zh) * 2021-09-17 2023-03-23 苏州大学 流量疏导的云边计算网络计算资源均衡调度方法及系统
CN116055283A (zh) * 2023-03-30 2023-05-02 国网江苏省电力有限公司信息通信分公司 支持全局设置租户应用资源配额的多平台统一云管系统
CN116389491A (zh) * 2023-04-03 2023-07-04 中国电子技术标准化研究院 一种云边算力资源自适应计算系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8230070B2 (en) * 2007-11-09 2012-07-24 Manjrasoft Pty. Ltd. System and method for grid and cloud computing
US20220030050A1 (en) * 2020-07-21 2022-01-27 Dish Network L.L.C. Systems and methods for utilizing distributed computing and storage resources

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203164A (zh) * 2016-07-01 2016-12-07 何钟柱 基于可信计算和云计算的信息安全大数据资源管理系统
JP2018032245A (ja) * 2016-08-25 2018-03-01 株式会社日立製作所 計算機システム及びリソース制御方法
CN108537429A (zh) * 2018-03-30 2018-09-14 深圳明创自控技术有限公司 基于云计算的电能质量智能监测系统
WO2023039965A1 (zh) * 2021-09-17 2023-03-23 苏州大学 流量疏导的云边计算网络计算资源均衡调度方法及系统
CN115328663A (zh) * 2022-10-10 2022-11-11 亚信科技（中国）有限公司 基于PaaS平台进行资源调度的方法、装置、设备和存储介质
CN116055283A (zh) * 2023-03-30 2023-05-02 国网江苏省电力有限公司信息通信分公司 支持全局设置租户应用资源配额的多平台统一云管系统
CN116389491A (zh) * 2023-04-03 2023-07-04 中国电子技术标准化研究院 一种云边算力资源自适应计算系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Prioritized Task-Scheduling Algorithm in Cloud Computing Using Cat Swarm Optimization;Mangalampalli Sudheer;Sensors;第23卷(第13期);全文 *
云计算环境下用户任务调度效率优化仿真;丁志锋;;计算机仿真;34(第04期);298-301 *

Also Published As

Publication number Publication date
CN116627618A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Mišić et al. Modeling of bitcoin's blockchain delivery network
CN110351571B (zh) 基于深度强化学习的直播视频云转码资源分配与调度方法
CN111694655A (zh) 一种面向多任务的边缘计算资源分配方法
CN109947551B (zh) 一种多轮次任务分配方法、边缘计算系统及其存储介质
CN111131421A (zh) 一种工业互联网现场大数据与云端信息互联互通的方法
CN110991808A (zh) 一种任务分配方法和装置
CN111915231A (zh) 一种基于深度学习的工作平台任务分配方法
Kalyaev et al. Method of multiagent scheduling of resources in cloud computing environments
CN110855424B (zh) 一种DPI领域非对称流量xDR合成的方法和装置
CN116627618B (zh) 一种计算资源预调度方法及系统
CN104918256A (zh) 一种传输调度方法及装置
Farooq et al. Impact of laxity on scheduling with advance reservations in grids
CN108768787B (zh) 一种区块链节点激励方法及装置
CN115118327B (zh) 一种基于动态测量反馈的卫星通信资源调度方法和系统
EP1947810A1 (en) A method and equipment for admitting and controlling the integration service model
KR102336297B1 (ko) 공유 ｇｐｕ 클러스터를 위한 분산 딥러닝 작업 스케줄링 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체
Cao et al. Online cost-rejection rate scheduling for resource requests in hybrid clouds
CN113495789A (zh) 内存分配方法及装置
CN115310872B (zh) 一种基于活动管理平台的活动规划调度方法及系统
EP4145806B1 (en) Device data retrieval
CN114641033B (zh) 5g消息推送速度控制方法、装置、设备及介质
WO2024110047A1 (en) Joint distributed learning of signaling and policies for radio resource allocation
CN117593116A (zh) 一种贷后管理任务分配方法、装置、设备及介质
Runggeratigul et al. Link capacity assignment in packet-switched networks: the case of piecewise linear concave cost function
CN116991561A (zh) 一种模型转换调度方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant