CN117539613A - 一种在分布式计算系统中管理共享资源方法 - Google Patents

一种在分布式计算系统中管理共享资源方法 Download PDF

Info

Publication number
CN117539613A
CN117539613A CN202311262712.6A CN202311262712A CN117539613A CN 117539613 A CN117539613 A CN 117539613A CN 202311262712 A CN202311262712 A CN 202311262712A CN 117539613 A CN117539613 A CN 117539613A
Authority
CN
China
Prior art keywords
resource
task node
computing system
distributed computing
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311262712.6A
Other languages
English (en)
Other versions
CN117539613B (zh
Inventor
郑雁鹏
杨永军
詹翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maijie Technology Co ltd Guangzhou Branch
Original Assignee
Shanghai Maijie Technology Co ltd Guangzhou Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maijie Technology Co ltd Guangzhou Branch filed Critical Shanghai Maijie Technology Co ltd Guangzhou Branch
Priority to CN202311262712.6A priority Critical patent/CN117539613B/zh
Publication of CN117539613A publication Critical patent/CN117539613A/zh
Application granted granted Critical
Publication of CN117539613B publication Critical patent/CN117539613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种在中央资源管理中心中管理共享资源方法，涉及电压控制技术领域，本发明在中央资源管理中心分配资源前，计算各任务节点对应的运行系数，得到各任务节点对应的优先等级，当多个任务节点同时请求同一资源，中央资源管理中心根据各任务节点对应的优先等级，进而按照个任务节点对应的优先等级顺序分配资源，通过分析中央资源管理中心与各任务节点对应的资源类型匹配系数、中央资源管理中心与各任务节点之间的资源符合系数，有利于中央资源管理中心分配资源至各任务节点，通过计算各任务节点对应的网络波动值，有效解决了中央资源管理中心在分配资源的过程中因为网络波动导致的资源无法分配的问题。

Description

一种在分布式计算系统中管理共享资源方法
技术领域
本发明涉及分布式资源管理技术领域，具体涉及一种在分布式计算系统中管理共享资源方法。
背景技术
分布式计算是指将一个计算任务分解成多个子任务，由多个计算节点并行地进行计算，并将结果汇总得到最终结果的计算方式，在分布式计算中，不同的计算节点可以是位于同一物理计算机上的不同进程、位于同一局域网内的不同计算机，或者是分布在全球各地的计算机群集,资源管理与调度可以从两个方面来理解，管理是指统一管控所有的机器节点，自动进行水平的扩容以及移除，调度是指某个服务想要运行在集群中时，框架可以自动按照某种策略筛选节点执行任务，一般来说，资源管理与调度可以从两个方面来理解：管理是指统一管控所有的机器节点，自动进行水平的扩容以及移除；调度是指某个服务想要运行在集群中时，框架可以自动按照某种策略筛选节点执行任务。
目前一种在分布式计算系统中管理共享资源方法在资源分配过程中，可能存在以下方面问题：1、当多个任务节点同时请求同一资源时，可能会发生资源冲突问题，导致资源竞争和性能下降，需要通过分析各任务节点的运行系数，从而进行合理的资源调度来处理资源访问冲突，在分布式计算系统中，资源分配不均衡可能会导致一些节点负载过重，而另一些节点处于空闲状态这可能会导致资源的浪费和系统性能的不均衡。
2、分布式计算系统分配资源过程中，未对网络情况进行检测，可能导致系统不稳定和不可靠，网络连接不稳定或存在故障时，分布式计算系统无法正常工作，任务执行可能会中断或失败，未根据网络检测情况，判定各任务节点对应的资源分配效果。
发明内容
本发明的目的在于提供的一种在分布式计算系统中管理共享资源方法，解决了背景技术中存在的问题。
为解决上述技术问题，本发明采用如下技术方案：本发明提供一种在分布式计算系统中管理共享资源方法，该方法包括以下步骤：步骤一、系统数据分析：获取各任务节点对应的资源信息和运行信息，计算各任务节点对应的运行系数，根据任务节点完成任务所需的资源，向分布式计算系统发起资源请求，并计算得到分布式计算系统与各任务节点之间的资源符合系数；
步骤二、资源分配过程分析：根据各任务节点对应的优先等级、分布式计算系统与各任务节点之间的资源符合系数，进而分析分布式计算系统向各任务节点进行资源分配的顺序；
步骤三、资源分配检测：按照分布式计算系统向各任务节点进行资源分配的顺序，将分布式计算系统的资源分配至各任务节点中，在分配过程中对分布式计算系统与各任务节点之间的分配信息进行监测，得到分布式计算系统与各任务节点之间的分配信息；
步骤四、资源分配分析：根据分布式计算系统与各任务节点之间的配分信息，分析各任务节点对应的网络性能值，进而判定各任务节点对应的资源分配效果；
步骤五、资源释放和回收：任务节点完成任务后，任务节点及时释放资源，分布式计算系统回收释放资源，进而执行步骤二；
步骤六、预警提示：当分布式计算系统内的资源无法满足各任务节点的资源需求时，分布式计算系统进行预警提示。
优选地，所述任务节点完成任务所需的运行信息包括访问速度、内存容量；
所述任务节点完成任务所需的资源信息包括各任务节点完成任务所需的资源信息包括各资源类型、各资源类型对应的资源容量。
优选地，所述计算得到各任务节点对应的运行系数，具体计算过程如下：通过计算公式得到各任务节点对应的运行系数ξi，其中Vi、Bi分别表示第i个任务节点的访问速度、内存容量，i表示各任务节点的编号，i＝1，2......，n，n为大于2的任意整数，V′、B′分别为设定的标准访问速度、标准内存容量，ΔV、ΔB分别为设定的许可访问速度差、许可内存容量差，κ1、κ2分别为的访问速度、内存容量对应的权重因子；
根据各任务节点完成任务所需的各资源类型，统计各任务节点完成任务所需的资源类型数量，并根据各任务节点完成任务所需各资源类型的资源容量，统计各任务节点完成任务所需资源类型的资源总容量，通过计算公式得到各任务节点对应的资源系数αi，其中qi、zi分别表示第i个任务节点完成任务所需的资源类型数量、第i个任务节点完成任务所需资源类型的资源总容量，ε1、ε2分别为设定的各任务节点完成任务所需的资源类型数量、各任务节点完成任务所需资源类型的资源总容量对应的权重因子；
将各任务节点对应的运行系数、各任务节点对应的资源系数代入计算公式γi＝αi*μ1+ξi*μ2，得到各任务节点优先系数γi，其中μ1、μ2分别为设定的各任务节点对应的运行系数、各任务节点对应的资源系数对应的权重因子。
优选地，所述计算得到分布式计算系统与各任务节点之间的资源符合系数，具体计算过程如下：获取分布式计算系统中各资源类型及各资源类型对应的剩余资源容量；
根据各任务节点完成任务所需的各资源类型记为各需资源类型，进而分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi；
依据计算公式得到各任务节点对应的资源容量匹配系数ψi，其中Rj表示分布式计算系统内第j个资源类型对应的资源容量，j＝1，2，......，x，x为大于2的任意整数，Rij表示第i个任务节点对应的第j个资源类型对应的资源容量；
将分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数代入计算公式
βi＝ζi*η1+ψi*η2得到分布式计算系统与各任务节点之间的资源符合系数，其中η1、η2分别为设定的分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数对应的权重因子。
优选地，所述分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，具体分析过程如下：将各任务节点对应的各需资源类型与分布式计算系统中各资源类型进行对比，若某任务节点对应的某需资源类型与分布式计算系统中各资源类型均不相同，则将分布式计算系统与该任务节点对应的资源类型匹配系数记为a1；
若某任务节点对应的各需资源类型与分布式计算系统中各资源类型均相同，将分布式计算系统与该任务节点对应的资源类型匹配系数记为a2；由此分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi，ζi取值为a1或者a2，a2大于a1，a2、a1均为自然数。
优选地，所述分析分布式计算系统向各任务节点进行资源分配的顺序，具体分析过程如下：
S1、将分布式计算系统与各任务节点之间的资源符合系数与预设的资源容量符合系数阈值进行比较，若分布式计算系统与各任务节点之间的资源符合系数大于或者等于预设的资源容量匹配系数阈值，则将该任务节点记为待分配任务节点，以此得到各待分配任务节点；
S2、提取各待分配任务节点对应的优先系数，并将最大优先系数对应的待分配任务节点作为第一分配任务节点；
S3、将分布式计算系统中各资源类型及各资源类型对应的剩余资源容量分别减去第一分配任务节点对应各需资源类型和各需资源类型对应的资源容量，得到分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量，进而将分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量与剩余各任务节点对应各需资源类型和各需资源类型对应的资源容量按照分布式计算系统与各任务节点之间的资源符合系数的计算方式，计算得到分布式计算系统与剩余各任务节点之间的资源符合系数，进而按照步骤S1和S2的分析方式，分析得到分布式计算系统向各任务节点进行资源分配的顺序。
优选地，所述对分布式计算系统与各任务节点之间的分配信息进行监测，具体检测过程如下：在待分配资源分配过程中按照预设时间间隔布设各时间点，并运行各任务节点对应的检测装置，由此采集各任务节点在各时间点对应的网速、丢包率和网络吞吐量，并将各任务节点在各时间点对应的网速、丢包率和网络吞吐量作为分布式计算系统与各任务节点之间的分配信息。
优选地，所述分析各任务节点对应的网络性能值，具体分析过程如下：将各任务节点在各时间点对应的网速、丢包率和网络吞吐量代入计算公式
中，得到各实时备份数据库对应的网络性能值βi，其中Vt i、/>分别表示第i个任务节点在第t个时间点对应的网速、丢包率、网络吞吐量，t为各时间点对应的编号，t＝1，2，......m，m为大于2的任意整数，/> 分别为第i个任务节点在第t-1个时间网速、丢包率、网络吞吐量的值，ΔV、ΔR、ΔB分别为设定的许可网速差、许可丢包率差、许可网络吞吐量差，K1、K2、K3分别为设定的网速、丢包率、网络吞吐量对应的权重因子。
本发明的有益效果在于：1、本发明提供的一种在分布式计算系统中管理共享资源方法，在分布式计算系统分配资源前，计算各任务节点对应的运行系数，得到各任务节点对应的优先等级，当多个任务节点同时请求同一资源，分布式计算系统根据各任务节点对应的优先等级，进而按照个任务节点对应的优先等级顺序分配资源，通过分析分布式计算系统与各任务节点对应的资源类型匹配系数、分布式计算系统与各任务节点之间的资源符合系数，有利于分布式计算系统分配资源至各任务节点。
2、本发明通过计算各任务节点对应的网络波动值，分析各待分配任务节点在各时间点对应的网速、丢包率和网络吞吐量，有效解决了分布式计算系统在分配资源的过程中因为网络波动导致的资源无法分配的问题，并且当分布式计算系统内的资源无法满足各任务节点的资源需求时，分布式计算系统进行预警提示，进而让各任务节点进行等待工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法实施步骤流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供了一种在分布式计算系统中管理共享资源方法，该方法包括以下步骤：步骤一、系统数据分析：获取各任务节点对应的资源信息和运行信息，计算各任务节点对应的运行系数，根据任务节点完成任务所需的资源，向分布式计算系统发起资源请求，并计算得到分布式计算系统与各任务节点之间的资源符合系数；
需要说明的是，通过分析日志和监控系统，进而获取各任务节点对应的资源信息和运行信息。
在一个具体的实施例中，所述任务节点完成任务所需的运行信息包括访问速度、内存容量；所述任务节点完成任务所需的资源信息包括各任务节点完成任务所需的资源信息包括各资源类型、各资源类型对应的资源容量。
在一个具体的实施例中，所述计算得到各任务节点对应的运行系数，具体计算过程如下：通过计算公式得到各任务节点对应的运行系数ξi，其中Vi、Bi分别表示第i个任务节点的访问速度、内存容量，i表示各任务节点的编号，i＝1，2......，n，n为大于2的任意整数，V′、B′分别为设定的标准访问速度、标准内存容量，ΔV、ΔB分别为设定的许可访问速度差、许可内存容量差，κ1、κ2分别为的访问速度、内存容量对应的权重因子；
根据各任务节点完成任务所需的各资源类型，统计各任务节点完成任务所需的资源类型数量，并根据各任务节点完成任务所需各资源类型的资源容量，统计各任务节点完成任务所需资源类型的资源总容量，通过计算公式得到各任务节点对应的资源系数αi，其中qi、zi分别表示第i个任务节点完成任务所需的资源类型数量、第i个任务节点完成任务所需资源类型的资源总容量，ε1、ε2分别为设定的各任务节点完成任务所需的资源类型数量、各任务节点完成任务所需资源类型的资源总容量对应的权重因子；
将各任务节点对应的运行系数、各任务节点对应的资源系数代入计算公式γi＝αi*μ1+ξi*μ2，得到各任务节点优先系数γi，其中μ1、μ2分别为设定的各任务节点对应的运行系数、各任务节点对应的资源系数对应的权重因子。
在一个具体的实施例中，所述计算得到分布式计算系统与各任务节点之间的资源符合系数，具体计算过程如下：获取分布式计算系统中各资源类型及各资源类型对应的剩余资源容量；
根据各任务节点完成任务所需的各资源类型记为各需资源类型，进而分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi；
依据计算公式得到各任务节点对应的资源容量匹配系数ψi，其中Rj表示分布式计算系统内第j个资源类型对应的资源容量，j＝1，2，......，x，x为大于2的任意整数，Rij表示第i个任务节点对应的第j个资源类型对应的资源容量；
将分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数代入计算公式
βi＝ζi*η1+ψi*η2得到分布式计算系统与各任务节点之间的资源符合系数，其中η1、η2分别为设定的分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数对应的权重因子。
在一个具体的实施例中，所述分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，具体分析过程如下：将各任务节点对应的各需资源类型与分布式计算系统中各资源类型进行对比，若某任务节点对应的某需资源类型与分布式计算系统中各资源类型均不相同，则将分布式计算系统与该任务节点对应的资源类型匹配系数记为a1；
若某任务节点对应的各需资源类型与分布式计算系统中各资源类型均相同，将分布式计算系统与该任务节点对应的资源类型匹配系数记为a2；由此分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi，ζi取值为a1或者a2，a2大于a1，a2、a1均为自然数。
步骤二、资源分配过程分析：根据各任务节点对应的优先等级、分布式计算系统与各任务节点之间的资源符合系数，进而分析分布式计算系统向各任务节点进行资源分配的顺序；
在一个具体的实施例中，所述分析分布式计算系统向各任务节点进行资源分配的顺序，具体分析过程如下：
S1、将分布式计算系统与各任务节点之间的资源符合系数与预设的资源容量符合系数阈值进行比较，若分布式计算系统与各任务节点之间的资源符合系数大于或者等于预设的资源容量匹配系数阈值，则将该任务节点记为待分配任务节点，以此得到各待分配任务节点；
S2、提取各待分配任务节点对应的优先系数，并将最大优先系数对应的待分配任务节点作为第一分配任务节点；
S3、将分布式计算系统中各资源类型及各资源类型对应的剩余资源容量分别减去第一分配任务节点对应各需资源类型和各需资源类型对应的资源容量，得到分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量，进而将分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量与剩余各任务节点对应各需资源类型和各需资源类型对应的资源容量按照分布式计算系统与各任务节点之间的资源符合系数的计算方式，计算得到分布式计算系统与剩余各任务节点之间的资源符合系数，进而按照步骤S1和S2的分析方式，分析得到分布式计算系统向各任务节点进行资源分配的顺序。
步骤三、资源分配检测：按照分布式计算系统向各任务节点进行资源分配的顺序，将分布式计算系统的资源分配至各任务节点中，在分配过程中对分布式计算系统与各任务节点之间的分配信息进行监测，得到分布式计算系统与各任务节点之间的分配信息；
在一个具体的实施例中，所述对分布式计算系统与各任务节点之间的分配信息进行监测，具体检测过程如下：在待分配资源分配过程中按照预设时间间隔布设各时间点，并运行各任务节点对应的检测装置，由此采集各任务节点在各时间点对应的网速、丢包率和网络吞吐量，并将各任务节点在各时间点对应的网速、丢包率和网络吞吐量作为分布式计算系统与各任务节点之间的分配信息。
步骤四、资源分配分析：根据分布式计算系统与各任务节点之间的配分信息，分析各任务节点对应的网络性能值，进而判定各任务节点对应的资源分配效果；
在一个具体的实施例中，所述分析各任务节点对应的网络性能值，具体分析过程如下：将各任务节点在各时间点对应的网速、丢包率和网络吞吐量代入计算公式中，得到各实时备份数据库对应的网络性能值βi，其中Vt i、/>分别表示第i个任务节点在第t个时间点对应的网速、丢包率、网络吞吐量，t为各时间点对应的编号，t＝1，2，......m，m为大于2的任意整数，/> 分别为第i个任务节点在第t-1个时间网速、丢包率、网络吞吐量的值，ΔV、ΔR、ΔB分别为设定的许可网速差、许可丢包率差、许可网络吞吐量差，K1、K2、K3分别为设定的网速、丢包率、网络吞吐量对应的权重因子。
本发明通过计算各任务节点对应的网络波动值，分析各待分配任务节点在各时间点对应的网速丢包率和网络吞吐量，有效解决了分布式计算系统在分配资源的过程中因为网络波动导致的资源无法分配的问题，并且当分布式计算系统内的资源无法满足各任务节点的资源需求时，分布式计算系统进行预警提示，进而让各任务节点进行等待工作。
步骤五、资源释放和回收：任务节点完成任务后，任务节点及时释放资源，分布式计算系统回收释放资源，进而执行步骤二；
步骤六、预警提示：当分布式计算系统内的资源无法满足各任务节点的资源需求时，分布式计算系统进行预警提示。
需要说明的是，接收到预警提示后，运维管理团队采取相应的处理策略和优化措施。
本发明提供的一种在分布式计算系统中管理共享资源方法，在分布式计算系统分配资源前，计算各任务节点对应的运行系数，得到各任务节点对应的优先等级，当多个任务节点同时请求同一资源，分布式计算系统根据各任务节点对应的优先等级，进而按照个任务节点对应的优先等级顺序分配资源，通过分析分布式计算系统与各任务节点对应的资源类型匹配系数、分布式计算系统与各任务节点之间的资源符合系数，有利于分布式计算系统分配资源至各任务节点。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种在分布式计算系统中管理共享资源方法，其特征在于，包括：
步骤一、系统数据分析：获取各任务节点对应的资源信息和运行信息，计算各任务节点对应的运行系数，根据任务节点完成任务所需的资源，向分布式计算系统发起资源请求，并计算得到分布式计算系统与各任务节点之间的资源符合系数；
步骤二、资源分配过程分析：根据各任务节点对应的优先等级、分布式计算系统与各任务节点之间的资源符合系数，进而分析分布式计算系统向各任务节点进行资源分配的顺序；
步骤三、资源分配检测：按照分布式计算系统向各任务节点进行资源分配的顺序，将分布式计算系统的资源分配至各任务节点中，在分配过程中对分布式计算系统与各任务节点之间的分配信息进行监测，得到分布式计算系统与各任务节点之间的分配信息；
步骤四、资源分配分析：根据分布式计算系统与各任务节点之间的配分信息，分析各任务节点对应的网络性能值，进而判定各任务节点对应的资源分配效果；
步骤五、资源释放和回收：任务节点完成任务后，任务节点及时释放资源，分布式计算系统回收释放资源，进而执行步骤二；
步骤六、预警提示：当分布式计算系统内的资源无法满足各任务节点的资源需求时，分布式计算系统进行预警提示。
2.根据权利要求1所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述任务节点完成任务所需的运行信息包括访问速度、内存容量；
所述任务节点完成任务所需的资源信息包括各任务节点完成任务所需的资源信息包括各资源类型、各资源类型对应的资源容量。
3.根据权利要求1所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述计算得到各任务节点对应的运行系数，具体计算过程如下：
通过计算公式得到各任务节点对应的运行系数ξi，其中Vi、Bi分别表示第i个任务节点的访问速度、内存容量，i表示各任务节点的编号，i＝1，2......，n，n为大于2的任意整数，V′、B′分别为设定的标准访问速度、标准内存容量，ΔV、ΔB分别为设定的许可访问速度差、许可内存容量差，κ1、κ2分别为的访问速度、内存容量对应的权重因子；
根据各任务节点完成任务所需的各资源类型，统计各任务节点完成任务所需的资源类型数量，并根据各任务节点完成任务所需各资源类型的资源容量，统计各任务节点完成任务所需资源类型的资源总容量，通过计算公式得到各任务节点对应的资源系数αi，其中qi、zi分别表示第i个任务节点完成任务所需的资源类型数量、第i个任务节点完成任务所需资源类型的资源总容量，ε1、ε2分别为设定的资源类型数量、资源总容量对应的权重因子；
将各任务节点对应的运行系数、各任务节点对应的资源系数代入计算公式γi＝αi*μ1+ξi*μ2，得到各任务节点优先系数γi，其中μ1、μ2分别为设定的运行系数、资源系数对应的权重因子。
4.根据权利要求3所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述计算得到分布式计算系统与各任务节点之间的资源符合系数，具体计算过程如下：
获取分布式计算系统中各资源类型及各资源类型对应的剩余资源容量；
根据各任务节点完成任务所需的各资源类型记为各需资源类型，进而分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi；
依据计算公式得到各任务节点对应的资源容量匹配系数ψi，其中Rj表示分布式计算系统内第j个资源类型对应的资源容量，j＝1，2，......，x，x为大于2的任意整数，Rij表示第i个任务节点对应的第j个资源类型对应的资源容量；
将分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数代入计算公式
βi＝ζi*η1+ψi*η2得到分布式计算系统与各任务节点之间的资源符合系数，其中η1、η2分别为设定的分布式计算系统与各任务节点对应的资源类型匹配系数、各任务节点对应的资源容量匹配系数对应的权重因子。
5.根据权利要求4所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，具体分析过程如下：
将各任务节点对应的各需资源类型与分布式计算系统中各资源类型进行对比，若某任务节点对应的某需资源类型与分布式计算系统中各资源类型均不相同，则将分布式计算系统与该任务节点对应的资源类型匹配系数记为a1；
若某任务节点对应的各需资源类型与分布式计算系统中各资源类型均相同，将分布式计算系统与该任务节点对应的资源类型匹配系数记为a2；由此分析得到分布式计算系统与各任务节点对应的资源类型匹配系数，记为ζi，ζi取值为a1或者a2，a2大于a1，a2、a1均为自然数。
6.根据权利要求5所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述分析分布式计算系统向各任务节点进行资源分配的顺序，具体分析过程如下：
S1、将分布式计算系统与各任务节点之间的资源符合系数与预设的资源容量符合系数阈值进行比较，若分布式计算系统与各任务节点之间的资源符合系数大于或者等于预设的资源容量匹配系数阈值，则将该任务节点记为待分配任务节点，以此得到各待分配任务节点；
S2、提取各待分配任务节点对应的优先系数，并将最大优先系数对应的待分配任务节点作为第一分配任务节点；
S3、将分布式计算系统中各资源类型及各资源类型对应的剩余资源容量分别减去第一分配任务节点对应各需资源类型和各需资源类型对应的资源容量，得到分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量，进而将分布式计算系统对应剩余的各资源类型及各资源类型对应的剩余资源容量与剩余各任务节点对应各需资源类型和各需资源类型对应的资源容量按照分布式计算系统与各任务节点之间的资源符合系数的计算方式，计算得到分布式计算系统与剩余各任务节点之间的资源符合系数，进而按照步骤S1和S2的分析方式，分析得到分布式计算系统向各任务节点进行资源分配的顺序。
7.根据权利要求1所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述对分布式计算系统与各任务节点之间的分配信息进行监测，具体检测过程如下：
在待分配资源分配过程中按照预设时间间隔布设各时间点，并运行各任务节点对应的检测装置，由此采集各任务节点在各时间点对应的网速、丢包率和网络吞吐量，并将各任务节点在各时间点对应的网速、丢包率和网络吞吐量作为分布式计算系统与各任务节点之间的分配信息。
8.根据权利要求1所述的一种在分布式计算系统中管理共享资源方法，其特征在于，所述分析各任务节点对应的网络性能值，具体分析过程如下：
将各任务节点在各时间点对应的网速、丢包率和网络吞吐量代入计算公式
中，得到各实时备份数据库对应的网络性能值βi，其中Vt i、/>分别表示第i个任务节点在第t个时间点对应的网速、丢包率、网络吞吐量，t为各时间点对应的编号，t＝1，2，......m，m为大于2的任意整数，/> 分别为第i个任务节点在第t-1个时间网速、丢包率、网络吞吐量的值，ΔV、ΔR、ΔB分别为设定的许可网速差、许可丢包率差、许可网络吞吐量差，K1、K2、K3分别为设定的网速、丢包率、网络吞吐量对应的权重因子。
CN202311262712.6A 2023-09-27 2023-09-27 一种在分布式计算系统中管理共享资源方法 Active CN117539613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311262712.6A CN117539613B (zh) 2023-09-27 2023-09-27 一种在分布式计算系统中管理共享资源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311262712.6A CN117539613B (zh) 2023-09-27 2023-09-27 一种在分布式计算系统中管理共享资源方法

Publications (2)

Publication Number Publication Date
CN117539613A true CN117539613A (zh) 2024-02-09
CN117539613B CN117539613B (zh) 2024-05-17

Family

ID=89794543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311262712.6A Active CN117539613B (zh) 2023-09-27 2023-09-27 一种在分布式计算系统中管理共享资源方法

Country Status (1)

Country Link
CN (1) CN117539613B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010054392A2 (en) * 2008-11-10 2010-05-14 Viasat, Inc. Dynamic resource allocation in a multi-beam system
CN102360314A (zh) * 2011-10-28 2012-02-22 中国科学院计算技术研究所 一种数据中心资源管理系统和方法
US8694400B1 (en) * 2010-09-14 2014-04-08 Amazon Technologies, Inc. Managing operational throughput for shared resources
US9300728B1 (en) * 2013-10-14 2016-03-29 Ca, Inc. Controlling resource deployment thresholds in a distributed computer system
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和系统
CN109471705A (zh) * 2017-09-08 2019-03-15 杭州海康威视数字技术股份有限公司 任务调度的方法、设备及系统、计算机设备
US20190220313A1 (en) * 2015-07-10 2019-07-18 Samsung Electronics Co., Ltd. Computing system with resource management mechanism and method of operation thereof
US20190324819A1 (en) * 2016-12-30 2019-10-24 Huawei Technologies Co., Ltd. Distributed-system task assignment method and apparatus
US11163606B1 (en) * 2021-01-21 2021-11-02 Sailpoint Technologies, Inc. Systems and methods for thread management to optimize resource utilization in a distributed computing environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010054392A2 (en) * 2008-11-10 2010-05-14 Viasat, Inc. Dynamic resource allocation in a multi-beam system
US8694400B1 (en) * 2010-09-14 2014-04-08 Amazon Technologies, Inc. Managing operational throughput for shared resources
CN102360314A (zh) * 2011-10-28 2012-02-22 中国科学院计算技术研究所 一种数据中心资源管理系统和方法
US9300728B1 (en) * 2013-10-14 2016-03-29 Ca, Inc. Controlling resource deployment thresholds in a distributed computer system
US20190220313A1 (en) * 2015-07-10 2019-07-18 Samsung Electronics Co., Ltd. Computing system with resource management mechanism and method of operation thereof
US20190324819A1 (en) * 2016-12-30 2019-10-24 Huawei Technologies Co., Ltd. Distributed-system task assignment method and apparatus
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和系统
CN109471705A (zh) * 2017-09-08 2019-03-15 杭州海康威视数字技术股份有限公司 任务调度的方法、设备及系统、计算机设备
US11163606B1 (en) * 2021-01-21 2021-11-02 Sailpoint Technologies, Inc. Systems and methods for thread management to optimize resource utilization in a distributed computing environment

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TINGTING YANG等: ""Energy-Saving Resource Allocation with Lightweight Blockchain in Maritime Wireless Communication Networks"", 《2020 3RD INTERNATIONAL CONFERENCE ON HOT INFORMATION-CENTRIC NETWORKING (HOTICN)》, 16 February 2021 (2021-02-16) *
杨育;李云云;李斐;邢青松;包北方;: "产品协同创新设计任务分解及资源分配", 重庆大学学报, no. 01, 15 January 2014 (2014-01-15) *
林起勋;钱德沛;栾钟治;: "集群资源管理及回填技术", 科研信息化技术与应用, no. 04, 20 July 2018 (2018-07-20) *
沈力: ""云制造联盟创新资源共享机制研究"", 《中国优秀硕士学位论文全文数据库》, 15 September 2021 (2021-09-15) *

Also Published As

Publication number Publication date
CN117539613B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN108829494B (zh) 基于负载预测的容器云平台智能资源优化方法
CN109471705B (zh) 任务调度的方法、设备及系统、计算机设备
CN104239144A (zh) 一种多级分布式任务处理系统
CN113282635A (zh) 一种微服务系统故障根因定位方法及装置
CN115495231B (zh) 一种高并发任务复杂场景下的动态资源调度方法及系统
CN113806018B (zh) 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法
CN111930493B (zh) 集群中NodeManager状态管理方法、装置及计算设备
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN112015549B (zh) 一种基于服务器集群的调度节点的选择抢占方法及系统
CN113886034A (zh) 任务调度方法、系统、电子设备及存储介质
CN110990121A (zh) 一种基于应用画像的Kubernetes调度策略
CN114675956B (zh) 一种基于Kubernetes集群之间Pod配置及调度的方法
CN118138590A (zh) 一种数据中心负载均衡方法
CN117539613B (zh) 一种在分布式计算系统中管理共享资源方法
CN112256418A (zh) 一种大数据任务调度方法
CN111064586B (zh) 一种分布式并行计费方法
CN116594782A (zh) 基于智能运维系统的勘探数据中心的资源管理方法及装置
Ramachandra et al. Task Clustering and Scheduling in Fault Tolerant Cloud Using Dense Neural Network
CN115454718A (zh) 一种自动化数据库备份文件有效性检测方法
CN114374695A (zh) 一种分布式数据采集系统运行方法及系统
CN114356515A (zh) 一种数据转换任务的调度方法
CN109558258B (zh) 一种分布式系统根源故障定位的方法及装置
CN106371912A (zh) 一种流式计算系统的资源调度方法和装置
CN117827382B (zh) 基于资源部署审核的容器云资源管理方法
CN117667602B (zh) 一种基于云计算在线服务算力优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant