CN113709241B - 一种云场景下物理资源的调度分配组合方法与系统 - Google Patents
一种云场景下物理资源的调度分配组合方法与系统 Download PDFInfo
- Publication number
- CN113709241B CN113709241B CN202110990586.0A CN202110990586A CN113709241B CN 113709241 B CN113709241 B CN 113709241B CN 202110990586 A CN202110990586 A CN 202110990586A CN 113709241 B CN113709241 B CN 113709241B
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- candidate
- resource candidate
- resource request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013468 resource allocation Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000010354 integration Effects 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种云场景下物理资源的调度分配组合方法与系统，方法步骤如下：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；根据资源请求对象数据中资源规格需求从资源数据库中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；根据物理节点数据对资源候选数据进行组合得到资源分配列表；根据分配数量数据从资源分配列表中获取相应数量的分配数据；系统包含客户端、服务端、资源数据库，服务端包含资源请求解析模块、资源候选筛选模块、资源候选组合算法模块、整合结果处理模块，能够解决在大量设备场景下的分配获取耗时且不均匀问题，达到了秒级返回、结果均匀的效果。
Description
技术领域
本发明涉及物理资源的调度分配组合领域，具体涉及一种云场景下物理资源的调度分配组合方法与系统。
背景技术
在云计算领域中，一个核心需求是创建虚拟机，一台物理机上有较大数量的异构设备，包含物理网卡、物理显卡等设备，创建虚拟机时，需要选择任意数量、任意种类的异构设备进行透传，如何在大量的设备中选择出合适的设备组合是一个难题，并且这些设备组合需要满足一定的要求；当前绝大部分云环境中都未包含大量的物理设备，其调度算法难以满足在大量物理设备环境下的调度需求。
发明内容
本发明要解决的技术问题是当前绝大部分云环境中都未包含大量的物理设备，其调度算法难以满足在大量物理设备环境下的调度需求，假设有200台物理机，每台物理机拥有100张物理网卡，100张显卡，其中某个虚拟机需要5张物理网卡、5张物理显卡，在考虑各种设备要求的情况下目前无法选择出合适的设备，无法在大量的物理设备中为虚拟机挑选出合适的组合，本发明提供一种云场景下物理资源的调度分配组合方法，本发明还提供一种云场景下物理资源的调度分配组合系统，能够解决在大量设备场景下的分配获取耗时且不均匀问题，达到了秒级返回、不占用大量性能、结果均匀的效果，用以解决现有技术导致的缺陷。
为解决上述技术问题本发明提供以下的技术方案：
第一方面，一种云场景下物理资源的调度分配组合方法，其中，包含以下步骤：
步骤A1：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
步骤A2：根据资源请求对象数据中资源规格需求从资源数据库中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；
步骤A3：根据物理节点数据对资源候选数据进行组合得到资源分配列表，并对资源分配列表进行计数统计，总的数量是要大于分配数量的；
步骤A4：根据分配数量数据从资源分配列表中获取相应数量的分配数据。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A1中所述物理节点数据包含物理节点的物理节点信息数据、物理节点数量数据、物理节点需求数据；
步骤A3中根据物理节点需求数据对每个物理节点的资源候选数据进行组合得到资源分配列表；
步骤A4中根据分配数量数据将资源分配列表随机打乱从中获取相应数量的分配数据，若总的资源分配列表数量多于分配数量数据才进行上述随机打乱的过程。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤B1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤B2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤B3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤B4：在资源候选遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤B4中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选遍历数据，对所有的资源候选遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选遍历数据，将分割后的资源候选遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表，笛卡尔乘积处理也就是从每一个资源请求对象中的资源候选列表中任取一个出来组合出一个分配。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤C1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤C2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤C3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤C4：获取资源请求数据与资源候选数据中的numa节点并进行组合得到numa节点组合数据；
步骤C5：将获得的资源候选数据按numa节点进行分类得到资源候选numa节点分类数据；
步骤C6：根据numa节点组合数据从资源候选numa节点分类数据中获取该numa节点组合的资源候选numa节点组合数据；
步骤C7：遍历每一个numa节点组合的资源候选numa节点组合数据获得每一个numa节点组合的资源候选numa节点组合遍历数据；
步骤C8：在资源候选numa节点组合遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤C8中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选numa节点组合遍历数据，对所有的资源候选numa节点组合遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选numa节点组合遍历数据，将分割后的资源候选numa节点组合遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表，笛卡尔乘积处理也就是从每一个资源请求对象中的资源候选列表中任取一个出来组合出一个分配。
第二方面，一种云场景下物理资源的调度分配组合系统，其中，包含客户端、服务端、资源数据库，所述服务端包含资源请求解析模块、资源候选筛选模块、资源候选组合算法模块、整合结果处理模块；
所述客户端用于生成传输至所述资源请求解析模块的资源请求数据；
所述资源请求解析模块用于依据所述资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
所述资源候选筛选模块用于依据所述资源请求对象数据从所述资源数据库中获取该资源请求对象数据的所有资源候选数据，资源候选数据是指未使用的并且满足资源请求规格的资源；
所述资源候选组合算法模块用于依据所述资源请求对象数据对所述资源候选数据进行组合得到资源分配列表；
所述整合结果处理模块用于获取所述资源分配列表并整合处理后发送至客户端。
第三方面，一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
依据上述本发明一种云场景下物理资源的调度分配组合方法与系统提供的技术方案具有以下技术效果：
采用本技术方案一种云场景下物理资源的调度分配组合方法与系统能够解决在大量设备场景下的分配获取耗时且不均匀问题，达到了秒级返回、不占用大量性能、结果均匀的效果。
附图说明
图1为本发明一种云场景下物理资源的调度分配组合方法的流程图；
图2为本发明一种云场景下物理资源的调度分配组合方法第一实施例的具体流程图；
图3为本发明一种云场景下物理资源的调度分配组合方法第二实施例的具体流程图；
图4为本发明一种云场景下物理资源的调度分配组合方法第三实施例的具体流程图；
图5为本发明一种云场景下物理资源的调度分配组合系统的结构示意图；
图6为现有数据结构的示意图。
其中，附图标记如下：
客户端100、服务端200、资源数据库300、资源请求解析模块201、资源候选筛选模块202、资源候选组合算法模块203、整合结果处理模块204。
具体实施方式
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，下结合具体图示，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明的第一实施例是提供一种云场景下物理资源的调度分配组合方法，目的是能够解决在大量设备场景下的分配获取耗时且不均匀问题，达到了秒级返回、不占用大量性能、结果均匀的效果。
如图1-2所示，第一方面，第一实施例，一种云场景下物理资源的调度分配组合方法，其中，包含以下步骤：
步骤A1：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
步骤A2：根据资源请求对象数据中资源规格需求从资源数据库300中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；
步骤A3：根据物理节点数据对资源候选数据进行组合得到资源分配列表，并对资源分配列表进行计数统计，总的数量是要大于分配数量的；
步骤A4：根据分配数量数据从资源分配列表中获取相应数量的分配数据。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A1中物理节点数据包含物理节点的物理节点信息数据、物理节点数量数据、物理节点需求数据；
步骤A3中根据物理节点需求数据对每个物理节点的资源候选数据进行组合得到资源分配列表；
步骤A4中根据分配数量数据将资源分配列表随机打乱从中获取相应数量的分配数据，若总的资源分配列表数量多于分配数量数据才进行上述随机打乱的过程。
假设：资源要求：1核，512MB，2张VNIC，1个VGPU；
资源请求伪代码参考：
resources＝VCPU:1,MEMORY_MB:512
resources1＝VNIC:1
resources2＝VNIC:1
resources3＝VGPU:1
这些资源请求以resources后缀作为标识，转化为：
在生成对应的RG(RequestGroup，请求组，每一个设备请求或者资源请求均视为一个请求组)之后，为每一个RG填充对应的可用RP列表；
填充完成后，数据结构参考：
至此，对于每个设备请求都有对应的设备候选列表。
如图3所示，第二实施例，一种云场景下物理资源的调度分配组合方法，其中，包含以下步骤：
步骤A1：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
步骤A2：根据资源请求对象数据中资源规格需求从资源数据库300中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；
步骤A3：根据物理节点数据对资源候选数据进行组合得到资源分配列表，并对资源分配列表进行计数统计，总的数量是要大于分配数量的；
步骤A4：根据分配数量数据从资源分配列表中获取相应数量的分配数据。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A1中物理节点数据包含物理节点的物理节点信息数据、物理节点数量数据、物理节点需求数据；
步骤A3中根据物理节点需求数据对每个物理节点的资源候选数据进行组合得到资源分配列表；
步骤A4中根据分配数量数据将资源分配列表随机打乱从中获取相应数量的分配数据，若总的资源分配列表数量多于分配数量数据才进行上述随机打乱的过程。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤B1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤B2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤B3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤B4：在资源候选遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤B4中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选遍历数据，对所有的资源候选遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选遍历数据，将分割后的资源候选遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表，笛卡尔乘积处理也就是从每一个资源请求对象中的资源候选列表中任取一个出来组合出一个分配。
数据结构关键点演变：
1.请求填充分配：
2.按节点划分：
3.相同资源分配随机切割：
如图4所示，第三实施例，一种云场景下物理资源的调度分配组合方法，其中，包含以下步骤：
步骤A1：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
步骤A2：根据资源请求对象数据中资源规格需求从资源数据库300中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；
步骤A3：根据物理节点数据对资源候选数据进行组合得到资源分配列表，并对资源分配列表进行计数统计，总的数量是要大于分配数量的；
步骤A4：根据分配数量数据从资源分配列表中获取相应数量的分配数据。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A1中物理节点数据包含物理节点的物理节点信息数据、物理节点数量数据、物理节点需求数据；
步骤A3中根据物理节点需求数据对每个物理节点的资源候选数据进行组合得到资源分配列表；
步骤A4中根据分配数量数据将资源分配列表随机打乱从中获取相应数量的分配数据，若总的资源分配列表数量多于分配数量数据才进行上述随机打乱的过程。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤C1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤C2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤C3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤C4：获取资源请求数据与资源候选数据中的numa节点并进行组合得到numa节点组合数据；
步骤C5：将获得的资源候选数据按numa节点进行分类得到资源候选numa节点分类数据；
步骤C6：根据numa节点组合数据从资源候选numa节点分类数据中获取该numa节点组合的资源候选numa节点组合数据；
步骤C7：遍历每一个numa节点组合的资源候选numa节点组合数据获得每一个numa节点组合的资源候选numa节点组合遍历数据；
步骤C8：在资源候选numa节点组合遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
上述的一种云场景下物理资源的调度分配组合方法，其中，步骤C8中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选numa节点组合遍历数据，对所有的资源候选numa节点组合遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选numa节点组合遍历数据，将分割后的资源候选numa节点组合遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表，笛卡尔乘积处理也就是从每一个资源请求对象中的资源候选列表中任取一个出来组合出一个分配。
数据结构关键点演变参考：
1.请求填充分配：
2.按节点划分：
3.在每个节点下再次按numa划分：
4.根据numa请求数，获取numa combs(假设物理机有4numa，请求2个)：
[('0','1'),('0','2'),('0','3'),('1','2'),('1','3'),('2','3')]
5.在每一个numa comb下，重构资源请求分配：
6.请求分类，按分类获取每一类的组合结果：
第二方面，第四实施例，一种云场景下物理资源的调度分配组合系统，其中，包含客户端100、服务端200、资源数据库300，服务端200包含资源请求解析模块201、资源候选筛选模块202、资源候选组合算法模块203、整合结果处理模块204；
客户端100用于生成传输至资源请求解析模块201的资源请求数据；
资源请求解析模块201用于依据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
资源候选筛选模块202用于依据资源请求对象数据从资源数据库300中获取该资源请求对象数据的所有资源候选数据，资源候选数据是指未使用的并且满足资源请求规格的资源；
资源候选组合算法模块203用于依据资源请求对象数据对资源候选数据进行组合得到资源分配列表；
整合结果处理模块204用于获取资源分配列表并整合处理后发送至客户端100。
第三方面，第五实施例，一种计算机可读存储介质，其中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面中任一项的方法的步骤。
如图6所示，Node是指物理机；RP是指资源提供者，每一个物理设备均是一个独立的RP；Numa是指numa节点；Traits是指特征，通常记录该设备的厂商、规格信息；
有200个物理节点，每个节点都有200个物理设备，其中包含物理网卡(VNIC)，物理显卡(VGPU)；
获取一定数量的分配组合，主要划分为3个流程；
基础流程：资源请求转换流程，将设备请求转化为具体的数据结构，并填充合适的设备候选列表(设备候选列表是指这个设备请求可用的设备，根据特征进行匹配)；
虚拟机numa节点数为0的处理流程，表示该虚拟机在获取分配组合时不需要考虑numa优化，本流程可以概括为“随机均等数据集切片”算法；
虚拟机numa节点数大于0的处理流程，表示该虚拟机包含一定数量的numa节点，虚拟机挂载的物理设备也要在这些节点上，本流程可以概括为“基于numa数据集重组”算法。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等；
处理器可以是中央处理器(Central Processing Unit，CPU)等，或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令；
处理器可以执行在存储器中存储的执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；
其中，非易失性存储器可以是ROM(Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM(ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。
易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存；
通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM(SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器205旨在包括但不限于这些和任意其它适合类型的存储器205。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序；
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现；
这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件；
本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现；
例如，单元或模块的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式；
例如，多个单元或模块或组件可以进行组合或者可以集成到另一个系统中；
另外，在本申请实施例中的各功能单元或模块可以集成在一个处理单元或模块中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中；
因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程；
上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
综上，本发明的一种云场景下物理资源的调度分配组合方法与系统，能够解决在大量设备场景下的分配获取耗时且不均匀问题，达到了秒级返回、不占用大量性能、结果均匀的效果。
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。
Claims (7)
1.一种云场景下物理资源的调度分配组合方法，其特征在于，
包含以下步骤：
步骤A1：获取资源请求数据，根据资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
步骤A2：根据资源请求对象数据中资源规格需求从资源数据库中获取该资源请求对象数据的资源候选数据并填充至该资源请求对象数据中；
步骤A3：根据物理节点数据对资源候选数据进行组合得到资源分配列表；
步骤A4：根据分配数量数据从资源分配列表中获取相应数量的分配数据；
其中，步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤C1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤C2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤C3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤C4：获取资源请求数据与资源候选数据中的numa节点并进行组合得到numa节点组合数据；
步骤C5：将获得的资源候选数据按numa节点进行分类得到资源候选numa节点分类数据；
步骤C6：根据numa节点组合数据从资源候选numa节点分类数据中获取该numa节点组合的资源候选numa节点组合数据；
步骤C7：遍历每一个numa节点组合的资源候选numa节点组合数据获得每一个numa节点组合的资源候选numa节点组合遍历数据；
步骤C8：在资源候选numa节点组合遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
2.如权利要求1所述的一种云场景下物理资源的调度分配组合方法，其特征在于，
步骤A1中所述物理节点数据包含物理节点的物理节点信息数据、物理节点数量数据、物理节点需求数据；
步骤A3中根据物理节点需求数据对每个物理节点的资源候选数据进行组合得到资源分配列表；
步骤A4中根据分配数量数据将资源分配列表随机打乱从中获取相应数量的分配数据。
3.如权利要求2所述的一种云场景下物理资源的调度分配组合方法，其特征在于，
步骤A3中根据物理节点数据对资源候选数据进行组合得到资源分配列表的具体步骤如下：
步骤B1：将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
步骤B2：将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
步骤B3：遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
步骤B4：在资源候选遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
4.如权利要求3所述的一种云场景下物理资源的调度分配组合方法，其特征在于，
步骤B4中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选遍历数据，对所有的资源候选遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选遍历数据，将分割后的资源候选遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表。
5.如权利要求1所述的一种云场景下物理资源的调度分配组合方法，其特征在于，
步骤C8中的组合方式为对于同一类资源请求对象数据，首先取出这一类资源请求对象数据中第一个资源请求对象的资源候选numa节点组合遍历数据，对所有的资源候选numa节点组合遍历数据随机打乱处理，根据这一类中资源请求对象的个数，均等分割所有的资源候选numa节点组合遍历数据，将分割后的资源候选numa节点组合遍历数据依次赋给相应的资源请求对象，再进行笛卡尔乘积处理得到资源候选列表。
6.一种云场景下物理资源的调度分配组合系统，其特征在于，
包含客户端、服务端、资源数据库，所述服务端包含资源请求解析模块、资源候选筛选模块、资源候选组合算法模块、整合结果处理模块；
所述客户端用于生成传输至所述资源请求解析模块的资源请求数据；
所述资源请求解析模块用于依据所述资源请求数据处理生成资源请求对象数据、物理节点数据、分配数量数据；
所述资源候选筛选模块用于依据所述资源请求对象数据从所述资源数据库中获取该资源请求对象数据的所有资源候选数据；
所述资源候选组合算法模块用于依据所述资源请求对象数据对所述资源候选数据进行组合得到资源分配列表；
所述整合结果处理模块用于获取所述资源分配列表并整合处理后发送至客户端；
其中，所示资源候选组合算法模块具体用于：
将获得的资源候选数据按物理节点进行分类得到资源候选分类数据；
将资源请求对象数据根据资源规格需求进行分类得到资源请求对象分类数据；
遍历每一个物理节点的资源候选分类数据获得每一个物理节点的资源候选遍历数据；
获取资源请求数据与资源候选数据中的numa节点并进行组合得到numa节点组合数据；
将获得的资源候选数据按numa节点进行分类得到资源候选numa节点分类数据；
根据numa节点组合数据从资源候选numa节点分类数据中获取该numa节点组合的资源候选numa节点组合数据；
遍历每一个numa节点组合的资源候选numa节点组合数据获得每一个numa节点组合的资源候选numa节点组合遍历数据；
在资源候选numa节点组合遍历数据下根据资源请求对象分类数据进行组合得到资源候选列表。
7.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110990586.0A CN113709241B (zh) | 2021-08-26 | 2021-08-26 | 一种云场景下物理资源的调度分配组合方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110990586.0A CN113709241B (zh) | 2021-08-26 | 2021-08-26 | 一种云场景下物理资源的调度分配组合方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113709241A CN113709241A (zh) | 2021-11-26 |
| CN113709241B true CN113709241B (zh) | 2024-01-23 |
Family
ID=78655464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110990586.0A Active CN113709241B (zh) | 2021-08-26 | 2021-08-26 | 一种云场景下物理资源的调度分配组合方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113709241B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593134A (zh) * | 2009-06-29 | 2009-12-02 | 北京航空航天大学 | 虚拟机cpu资源分配方法和装置 |
| WO2012113336A1 (zh) * | 2011-02-23 | 2012-08-30 | 运软网络科技(上海)有限公司 | 一种在虚拟化环境中管理资源的系统及其实现方法 |
| CN103384251A (zh) * | 2013-07-16 | 2013-11-06 | 中国人民解放军信息工程大学 | 多等级安全服务的可组合安全网络构建方法及其装置 |
| CN104639594A (zh) * | 2013-11-15 | 2015-05-20 | 中国电信股份有限公司 | 分配物理资源和虚拟资源的系统和方法 |
| CN105242957A (zh) * | 2015-09-28 | 2016-01-13 | 广州云晫信息科技有限公司 | 一种云计算系统调配gpu资源到虚拟机的方法及系统 |
| CN106936874A (zh) * | 2015-12-31 | 2017-07-07 | 北京金山云网络技术有限公司 | 物理资源分配方法、装置及系统 |
| CN107967179A (zh) * | 2017-12-12 | 2018-04-27 | 山东省计算中心（国家超级计算济南中心） | 一种支持突发应急的云计算资源分配方法 |
| CN109960587A (zh) * | 2019-02-27 | 2019-07-02 | 厦门市世纪网通网络服务有限公司 | 超融合云计算系统的存储资源分配方法和装置 |
| CN110347503A (zh) * | 2019-06-27 | 2019-10-18 | 杭州数梦工场科技有限公司 | 资源重调度方法及装置 |
| CN110764901A (zh) * | 2019-09-17 | 2020-02-07 | 阿里巴巴集团控股有限公司 | 基于gpu资源的数据处理方法、电子设备及系统 |
| WO2020103465A1 (zh) * | 2018-11-23 | 2020-05-28 | 中国银联股份有限公司 | 统一资源调度协调器及其创建虚拟机和/或容器的方法、统一资源调度系统 |
| CN111381957A (zh) * | 2018-12-29 | 2020-07-07 | 上海哔哩哔哩科技有限公司 | 面向分布式平台的服务实例精细化调度方法及系统 |
| CN111381936A (zh) * | 2020-03-23 | 2020-07-07 | 中山大学 | 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统 |
| CN111506404A (zh) * | 2020-04-07 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 一种基于Kubernetes的共享GPU调度方法 |
| CN112073542A (zh) * | 2020-11-12 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 雾节点调度方法、装置、计算机设备和存储介质 |
| CN112506650A (zh) * | 2020-11-27 | 2021-03-16 | 中国建设银行股份有限公司 | 资源分配方法、系统、计算机设备和存储介质 |
| CN112698952A (zh) * | 2021-01-05 | 2021-04-23 | 广州品唯软件有限公司 | 计算资源统一管理方法、装置、计算机设备及存储介质 |
| CN113110938A (zh) * | 2021-05-08 | 2021-07-13 | 网易（杭州）网络有限公司 | 一种资源分配方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10404614B2 (en) * | 2016-11-21 | 2019-09-03 | Vmware, Inc. | Multi-cloud resource allocation |
-
2021
- 2021-08-26 CN CN202110990586.0A patent/CN113709241B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593134A (zh) * | 2009-06-29 | 2009-12-02 | 北京航空航天大学 | 虚拟机cpu资源分配方法和装置 |
| WO2012113336A1 (zh) * | 2011-02-23 | 2012-08-30 | 运软网络科技(上海)有限公司 | 一种在虚拟化环境中管理资源的系统及其实现方法 |
| CN103384251A (zh) * | 2013-07-16 | 2013-11-06 | 中国人民解放军信息工程大学 | 多等级安全服务的可组合安全网络构建方法及其装置 |
| CN104639594A (zh) * | 2013-11-15 | 2015-05-20 | 中国电信股份有限公司 | 分配物理资源和虚拟资源的系统和方法 |
| CN105242957A (zh) * | 2015-09-28 | 2016-01-13 | 广州云晫信息科技有限公司 | 一种云计算系统调配gpu资源到虚拟机的方法及系统 |
| CN106936874A (zh) * | 2015-12-31 | 2017-07-07 | 北京金山云网络技术有限公司 | 物理资源分配方法、装置及系统 |
| CN107967179A (zh) * | 2017-12-12 | 2018-04-27 | 山东省计算中心（国家超级计算济南中心） | 一种支持突发应急的云计算资源分配方法 |
| WO2020103465A1 (zh) * | 2018-11-23 | 2020-05-28 | 中国银联股份有限公司 | 统一资源调度协调器及其创建虚拟机和/或容器的方法、统一资源调度系统 |
| CN111381957A (zh) * | 2018-12-29 | 2020-07-07 | 上海哔哩哔哩科技有限公司 | 面向分布式平台的服务实例精细化调度方法及系统 |
| CN109960587A (zh) * | 2019-02-27 | 2019-07-02 | 厦门市世纪网通网络服务有限公司 | 超融合云计算系统的存储资源分配方法和装置 |
| CN110347503A (zh) * | 2019-06-27 | 2019-10-18 | 杭州数梦工场科技有限公司 | 资源重调度方法及装置 |
| CN110764901A (zh) * | 2019-09-17 | 2020-02-07 | 阿里巴巴集团控股有限公司 | 基于gpu资源的数据处理方法、电子设备及系统 |
| CN111381936A (zh) * | 2020-03-23 | 2020-07-07 | 中山大学 | 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统 |
| CN111506404A (zh) * | 2020-04-07 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 一种基于Kubernetes的共享GPU调度方法 |
| CN112073542A (zh) * | 2020-11-12 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 雾节点调度方法、装置、计算机设备和存储介质 |
| CN112506650A (zh) * | 2020-11-27 | 2021-03-16 | 中国建设银行股份有限公司 | 资源分配方法、系统、计算机设备和存储介质 |
| CN112698952A (zh) * | 2021-01-05 | 2021-04-23 | 广州品唯软件有限公司 | 计算资源统一管理方法、装置、计算机设备及存储介质 |
| CN113110938A (zh) * | 2021-05-08 | 2021-07-13 | 网易（杭州）网络有限公司 | 一种资源分配方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| HCloud: A Trusted Joint Cloud Serverless Platform for IoT Systems with Blockchain;Zheng Huang;Zeyu Mi;Zhichao Hua;;中国通信(第09期);全文 * |
| Task mapper and application-aware virtual machine scheduler oriented for parallel computing;Jing ZHANG1等;Journal of Zhejiang University-Science C(Computers & Electronics);全文 * |
| 基于虚实混合网络架构的智简编排方法研究;周艳丽;杨晓锦;乔阳;;电信技术(第11期);全文 * |
| 网络功能虚拟化资源配置及优化研究综述;邵维专;吕光宏;;计算机应用研究(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113709241A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11150960B2 (en) | Distributed application allocation and communication | |
| CN109145934B (zh) | 基于日志的用户行为数据处理方法、介质、设备及装置 | |
| CN109075988B (zh) | 任务调度和资源发放系统和方法 | |
| US11575748B2 (en) | Data storage method and apparatus for combining different data distribution policies | |
| US8930669B2 (en) | Tiered data management method and system for high performance data monitoring | |
| CN107113341B (zh) | 用于数据划分的分布式关系数据库管理系统中事务的高吞吐量处理的系统 | |
| US10331669B2 (en) | Fast query processing in columnar databases with GPUs | |
| US11416553B2 (en) | Spatial indexing | |
| CN108073350B (zh) | 一种用于云渲染的对象存储系统和方法 | |
| US20200311054A1 (en) | Ordered Append-Only Log Based Data Storage | |
| CN110851383A (zh) | 一种管理存储系统的方法及设备 | |
| US11861406B2 (en) | Dynamic microservices allocation mechanism | |
| US8869155B2 (en) | Increasing parallel program performance for irregular memory access problems with virtual data partitioning and hierarchical collectives | |
| CN112148665A (zh) | 缓存的分配方法及装置 | |
| Zhang et al. | Quegel: A general-purpose system for querying big graphs | |
| CN107276914B (zh) | 基于cmdb的自助资源分配调度的方法 | |
| CN113709241B (zh) | 一种云场景下物理资源的调度分配组合方法与系统 | |
| CN110879748A (zh) | 一种共享资源分配方法、装置和设备 | |
| CN114860460A (zh) | 一种数据库加速的方法、装置、计算机设备 | |
| Islam et al. | Choice of aggregation groups for layered performance model simplification | |
| CN106547603B (zh) | 减少golang语言系统垃圾回收时间的方法和装置 | |
| Baun | Parallel image computation in clusters with task-distributor | |
| US11106502B2 (en) | Object domains | |
| Chum et al. | SLA-Aware Adaptive Mapping Scheme in Bigdata Distributed Storage Systems | |
| Tupinambá et al. | Transparent and optimized distributed processing on gpus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |