CN115408152A - 一种自适应资源匹配获取方法及系统 - Google Patents

一种自适应资源匹配获取方法及系统 Download PDF

Info

Publication number
CN115408152A
CN115408152A CN202211014794.8A CN202211014794A CN115408152A CN 115408152 A CN115408152 A CN 115408152A CN 202211014794 A CN202211014794 A CN 202211014794A CN 115408152 A CN115408152 A CN 115408152A
Authority
CN
China
Prior art keywords
task
resource
matching
server
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211014794.8A
Other languages
English (en)
Inventor
于焕英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jixingxin Guangdong Information Technology Co ltd
Original Assignee
Jixingxin Guangdong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jixingxin Guangdong Information Technology Co ltd filed Critical Jixingxin Guangdong Information Technology Co ltd
Priority to CN202211014794.8A priority Critical patent/CN115408152A/zh
Publication of CN115408152A publication Critical patent/CN115408152A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

一种自适应资源匹配获取方法及系统，包括步骤：初始化计算资源参数向量集，所述参数类型包括服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息；接收用户任务需求向量，包含任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系。本发明创新性的提出了匹配计算方式中通过模拟计算得出参与评价值W越小资源利用率越高，任务完成时间越快，将W最小时对应的任务需求与计算资源服务器的映射关系，显著提升了服务器计算效率，在服务器利用率方面大大增强，增强用户体验。

Description

一种自适应资源匹配获取方法及系统
技术领域
本发明涉及云计算的资源调度领域，具体地涉及一种自适应资源匹配获取方法及系统。
背景技术
目前，随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。且由于高可靠性、通用性、高可伸缩性、按需服务、成本低廉等种种优点，云计算近年来在国内外发展迅猛。云计算作为一种商业服务提供给用户使用，系统资源的合理调度和使用成为一个关键问题。云计算的资源调度与传统的资源调度不同，由于云计算具有异构性、动态性、大规模性等特性，在云环境下的任务随时可能并发的产生，并且多数情况下分布不均匀。在云环境下如何对异构节点上的资源进行合理的调度，使得用户在第一时间可以得到问题的解决，同时尽可能提高资源利用率，降低能耗，成为一个迫切需要解决的问题，需要做定制化处理来满足多种渠道非结构化数据的采集及存储，用来满足企业数据分析的需求，同时也对服务器资源的调配提出了更高的要求。
现有技术中，资源调度大多研究工作关注于性能为中心的调度，服务质量为中心的调度和以经济原则为目标的调度。但大多数研究没有考虑任务超时的成本问题，即云服务提供商承诺的延时赔偿。而且，大多数研究是基于单一目标，调度过程中往往会过度优化某一项指标，但恶化其他指标。且虽然存在以性能为中心的调度将性能(任务的最快完成时间)为目标，目前应用的算法有：Min-min算法、Max-Min算法、遗传算法、蚁群算法、模拟退火算法、遗传算法等，但这些算法并没有综合考虑到服务器量多且服务器各个性能参数不一致以及当前时刻的软硬件情况，导致资源利用率偏低，资源消耗较高，用户提交的请求不能在很短的时间得到响应。如何能够让任务分配前就已将资源调度智能化，自动化，提高其运行效率及能耗降低，充分利用计算资源，增强用户满意度成为新的研究课题，但是现有的资源调度考虑因素较少以及在服务器资源充足的情况下利用效率较低，任务提交后完成时间较慢，因此，一种能够增加在任务分配前就能将资源任务分配好，提高资源利用率减少任务执行时间，提高用户满意度成为迫切需求，从而改善用户的体验。
发明内容
为解决上述技术问题，本发明提供一种自适应资源匹配获取方法及系统，本发明的自适应资源匹配获取方法及系统显著了计算资源利用率及任务执行效率，在准确率方面大大增强，增强用户体验；一种自适应资源匹配获取方法，包括步骤：初始化计算资源参数向量集X＝{x1,x2,...,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure BDA0003812097130000031
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure BDA0003812097130000032
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure BDA0003812097130000033
其中，
Figure BDA0003812097130000034
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
优选地，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
优选地，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
优选地，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
本发明还包括一种自适应资源匹配获取系统，包括初始化模块：初始化模块，用于计算资源参数向量集X＝{x1,x2,...,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；任务信息分析模块：用于接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；计算匹配模块：通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure BDA0003812097130000041
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure BDA0003812097130000042
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向
量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure BDA0003812097130000051
其中，
Figure BDA0003812097130000052
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
优选地，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
优选地，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
优选地，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
优选地，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
与现有技术相比，本发明的技术方案具有以下有益效果：
解决了传统技术中大多数研究是基于单一目标，调度过程中往往会过度优化某一项指标，但恶化其他指标的问题，本申请的一种自适应资源匹配获取方法和系统增加在任务分配前就能将资源任务分配好，提高资源利用率减少任务执行时间，提高用户满意度；且通过计算比对匹配计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，本申请的匹配度计算方式考虑了服务器和任务的各个因素，大大提升了任务计算效率，使得服务器得到充分利用；且创新性的提出了匹配计算方式中通过模拟计算得出W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系。本发明的一种自适应资源匹配获取方法和系统显著提升了服务器计算效率，在服务器利用率方面大大增强，增强用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一种自适应资源匹配获取系统图；
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本领域技术人员理解，如背景技术所言，资源调度大多研究工作关注于性能为中心的调度，服务质量为中心的调度和以经济原则为目标的调度。但大多数研究没有考虑任务超时的成本问题，即云服务提供商承诺的延时赔偿。而且，大多数研究是基于单一目标，调度过程中往往会过度优化某一项指标，但恶化其他指标；现有技术中这些算法并没有综合考虑到服务器量多且服务器各个性能参数不一致以及当前时刻的软硬件情况，导致资源利用率偏低，资源消耗较高，用户提交的请求不能在很短的时间得到响应。如何能够让任务分配前就已将资源调度智能化，自动化，提高其运行效率及能耗降低，充分利用计算资源，增强用户满意度成为新的研究课题。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
实施例1：
图1示出了本申请的一种自适应资源匹配获取系统图，在一些实施例中，一种自适应资源匹配获取方法，包括步骤：初始化计算资源参数向量集X＝{x1,x2,...,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure BDA0003812097130000081
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure BDA0003812097130000082
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure BDA0003812097130000083
其中，
Figure BDA0003812097130000084
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
在一些实施例中，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
在一些实施例中，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
在一些实施例中，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
在一些实施例中，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
在一些实施例中，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
实施例2：
本发明还包括一种自适应资源匹配获取系统，包括初始化模块：初始化模块，用于计算资源参数向量集X＝{x1,x2,...,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；任务信息分析模块：用于接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；计算匹配模块：通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure BDA0003812097130000101
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure BDA0003812097130000102
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure BDA0003812097130000103
其中，
Figure BDA0003812097130000104
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
在一些实施例中，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
在一些实施例中，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
在一些实施例中，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
在一些实施例中，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
在一些实施例中，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
本发明的一种自适应资源匹配获取方法和系统，解决了传统技术中大多数研究是基于单一目标，调度过程中往往会过度优化某一项指标，但恶化其他指标的问题，本申请的一种自适应资源匹配获取方法和系统增加在任务分配前就能将资源任务分配好，提高资源利用率减少任务执行时间，提高用户满意度；且通过计算比对匹配计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，本申请的匹配度计算方式考虑了服务器和任务的各个因素，大大提升了任务计算效率，使得服务器得到充分利用；且创新性的提出了匹配计算方式中通过模拟计算得出W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系。本发明的一种自适应资源匹配获取方法和系统显著了服务器计算效率，在服务器利用率方面大大增强，增强用户体验。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品，因此本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种自适应资源匹配获取方法，其特征在于，包括步骤：初始化计算资源参数向量集X＝{x1,x2,...,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure FDA0003812097120000011
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure FDA0003812097120000012
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure FDA0003812097120000013
其中，
Figure FDA0003812097120000014
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
2.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
3.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
4.根据权利要求2所述的一种自适应资源匹配获取方法，其特征在于，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
5.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
6.根据权利要求1所述的一种自适应资源匹配获取方法，其特征在于，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
7.一种自适应资源匹配获取系统，其特征在于，包括初始化模块：初始化模块，用于计算资源参数向量集X＝{x1,x2,…,xn}包含n个参数类型，每个参数类型xi的维数为p，所述参数类型具体为服务器个数M以及每个服务器拥有的实时可用处理器硬件资源、软件信息、模型信息，包括实时计算资源的动态负载性能参数，包括计算资源的CPU占用率、内存使用率以及网络带宽占有率；任务信息分析模块：用于接收用户任务需求向量Y＝{y1,y2,...,yn}包含n个于计算资源对应的参数类型，用户任务需求向量包括：任务的硬件需求、软件需求、模型需求以及期望完成时间；计算匹配模块：通过计算比对匹配得到资源调度的分配方案，即任务需求与计算资源的映射关系；所述计算比对匹配包括如下步骤：计算当前时刻X-Y是否大于0，即计算资源参数向量集中每个参数类型值与用户任务需求向量中对应值的差值；若大于零，计算第m个服务器与任务需求在t时刻的匹配度Lmt，即将N个任务需求运行在m个服务器上的完成程度，匹配度计算过程如下：
Figure FDA0003812097120000031
其中，α、β、δ、θ为对应参数类型比例参数值，k＝1、2、3...N；
Figure FDA0003812097120000032
表示第m个服务器在t时刻执行第k个任务第一个参数类型与任务需求向量对应位置的乘积，生成新的一维向量；
计算所有服务器的参与评价值：
Figure FDA0003812097120000033
其中，
Figure FDA0003812097120000034
表示对每一维向量的值相加求和，然后对求和后的值再相加除以服务器数量得到的服务器参与评价值；当W越小资源利用率越高，任务完成时间越快。
8.根据权利要求7所述的一种自适应资源匹配获取系统，其特征在于，所述处理器硬件资源包括CPU/GPU、磁盘存储空间、网络带宽；所述软件信息包括操作系统信息、程序编译环境以及开源或者商用的软件开发SDK；所述操作系统包括Linux或Windows或mac OS；所述模型信息包括模型额外配置文件和定制化的数据库文件。
9.根据权利要求7所述的一种自适应资源匹配获取系统，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务需求向量分解为N个子任务，在执行前进行匹配度计算，即将N个子任务在不同的服务器上进行循环遍历匹配，找到服务器参与评价值最小的任务资源分解方案。
10.根据权利要求8所述的一种自适应资源匹配获取系统，其特征在于，所述处理器硬件资源包括量化参数计算，即计算CPU的线程数量、核的数量、缓存大小、主频；所述操作系统信息包括进程调度、内存管理、进程间通信、虚拟文件系统和网络接口参数。
11.根据权利要求7所述的一种自适应资源匹配获取系统，其特征在于，所述通过计算比对匹配得到资源调度的分配方案，还包括对接收的用户任务采用负载均衡策略对待执行任务进行分配，获得多个子任务。
12.根据权利要求7所述的一种自适应资源匹配获取系统，其特征在于，所述当W越小资源利用率越高，任务完成时间越快，即将W最小时对应的任务需求与计算资源服务器的映射关系，采取将每个所述子任务加入到相应消息队列中；数据库用于存储所述消息队列；任务执行中的每个服务器用于从对应消息队列中获取任务，并执行。
CN202211014794.8A 2022-08-23 2022-08-23 一种自适应资源匹配获取方法及系统 Withdrawn CN115408152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014794.8A CN115408152A (zh) 2022-08-23 2022-08-23 一种自适应资源匹配获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014794.8A CN115408152A (zh) 2022-08-23 2022-08-23 一种自适应资源匹配获取方法及系统

Publications (1)

Publication Number Publication Date
CN115408152A true CN115408152A (zh) 2022-11-29

Family

ID=84160591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014794.8A Withdrawn CN115408152A (zh) 2022-08-23 2022-08-23 一种自适应资源匹配获取方法及系统

Country Status (1)

Country Link
CN (1) CN115408152A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116048821A (zh) * 2023-04-03 2023-05-02 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法
CN117041259A (zh) * 2023-09-28 2023-11-10 新华三技术有限公司 计算资源的调度方法及装置
CN117116200A (zh) * 2023-10-23 2023-11-24 广州市惠正信息科技有限公司 一种led显示屏分辨率的调节方法及系统
CN117453424A (zh) * 2023-12-26 2024-01-26 北京航空航天大学杭州创新研究院 可动态扩展计算资源的加速算法运行效率的方法及装置
CN117608863A (zh) * 2024-01-23 2024-02-27 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116048821A (zh) * 2023-04-03 2023-05-02 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法
CN116048821B (zh) * 2023-04-03 2023-06-16 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法
CN117041259A (zh) * 2023-09-28 2023-11-10 新华三技术有限公司 计算资源的调度方法及装置
CN117041259B (zh) * 2023-09-28 2024-01-12 新华三技术有限公司 计算资源的调度方法及装置
CN117116200A (zh) * 2023-10-23 2023-11-24 广州市惠正信息科技有限公司 一种led显示屏分辨率的调节方法及系统
CN117116200B (zh) * 2023-10-23 2023-12-29 广州市惠正信息科技有限公司 一种led显示屏分辨率的调节方法及系统
CN117453424A (zh) * 2023-12-26 2024-01-26 北京航空航天大学杭州创新研究院 可动态扩展计算资源的加速算法运行效率的方法及装置
CN117453424B (zh) * 2023-12-26 2024-04-19 北京航空航天大学杭州创新研究院 可动态扩展计算资源的加速算法运行效率的方法及装置
CN117608863A (zh) * 2024-01-23 2024-02-27 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统
CN117608863B (zh) * 2024-01-23 2024-04-23 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统

Similar Documents

Publication Publication Date Title
CN115408152A (zh) 一种自适应资源匹配获取方法及系统
US10474504B2 (en) Distributed node intra-group task scheduling method and system
Chaurasia et al. Comprehensive survey on energy-aware server consolidation techniques in cloud computing
CN111431961B (zh) 一种云数据中心的节能任务分配方法
Ullah et al. Task classification and scheduling based on K-means clustering for edge computing
CN108737560A (zh) 云计算任务智能调度方法及系统、可读存储介质、终端
Khallouli et al. Cluster resource scheduling in cloud computing: literature review and research challenges
CN105373426B (zh) 一种基于Hadoop的车联网内存感知实时作业调度方法
CN110166507B (zh) 多资源调度方法和装置
WO2024016596A1 (zh) 容器集群调度的方法、装置、设备及存储介质
CN115134371A (zh) 包含边缘网络算力资源的调度方法、系统、设备及介质
CN116708451B (zh) 一种边云协同调度方法及系统
CN113255165A (zh) 一种基于动态任务分配的实验方案并行推演系统
Hamid et al. Comparative analysis of task level heuristic scheduling algorithms in cloud computing
US8819239B2 (en) Distributed resource management systems and methods for resource management thereof
CN106802822A (zh) 一种基于飞蛾算法的云数据中心认知资源调度方法
CN112306642B (zh) 一种基于稳定匹配博弈理论的工作流调度方法
Devagnanam et al. Design and development of exponential lion algorithm for optimal allocation of cluster resources in cloud
Li et al. On scheduling of high-throughput scientific workflows under budget constraints in multi-cloud environments
CN116668442A (zh) 一种意图驱动的网云资源高精度协同调度系统及方法
Hung et al. A dynamic scheduling method for collaborated cloud with thick clients.
Shubair Enhancement of task scheduling technique of big data cloud computing
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
Wen et al. Load balancing consideration of both transmission and process responding time for multi-task assignment
CN114090234A (zh) 请求的调度方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221129

WW01 Invention patent application withdrawn after publication