CN113326129B - 一种异构虚拟资源管理系统和方法 - Google Patents

一种异构虚拟资源管理系统和方法 Download PDF

Info

Publication number
CN113326129B
CN113326129B CN202110601857.9A CN202110601857A CN113326129B CN 113326129 B CN113326129 B CN 113326129B CN 202110601857 A CN202110601857 A CN 202110601857A CN 113326129 B CN113326129 B CN 113326129B
Authority
CN
China
Prior art keywords
virtual resource
resource
virtual
hash value
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110601857.9A
Other languages
English (en)
Other versions
CN113326129A (zh
Inventor
李福芳
黄永健
张青会
陈统
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xuanyuan Network & Technology Co ltd
Guangzhou University
Original Assignee
Guangdong Xuanyuan Network & Technology Co ltd
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xuanyuan Network & Technology Co ltd, Guangzhou University filed Critical Guangdong Xuanyuan Network & Technology Co ltd
Priority to CN202110601857.9A priority Critical patent/CN113326129B/zh
Publication of CN113326129A publication Critical patent/CN113326129A/zh
Application granted granted Critical
Publication of CN113326129B publication Critical patent/CN113326129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构虚拟资源管理系统和方法，系统包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层；全局资源管理层，用于将输入的管理请求广播至类别资源管理层；类别资源管理层，用于基于管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环，计算管理请求的待定哈希值，从目标局部虚拟资源链环中确定待定哈希值对应的目标哈希值；虚拟资源层，用于响应管理请求，对目标哈希值映射的目标虚拟节点内缓存的目标虚拟资源进行管理。从而更为灵活地进行异构计算资源的管理，高效地进行异构计算资源的管理调度。

Description

一种异构虚拟资源管理系统和方法
技术领域
本发明涉及资源管理技术领域，尤其涉及一种异构虚拟资源管理系统和方法。
背景技术
随着信息技术和国力的不断发展，为防止在信息技术领域受到国外巨头的技术霸凌，现有企业推出了基于ARM架构具有自主知识产权、自主可控的鲲鹏(昇腾)计算技术方案。由于各行各业及各个单位均存在巨量的基于(Intel)x86架构的计算资源，全面实现信息基础设施自主可控的全部替换难以在短时间内完成，因此，如何实现不同架构之间的计算资源的高效管理成为现阶段的关键问题。
为此，现有技术中通常是采用Intel提出的oneAPI兼容CPU、GPU、NPU以及FPGA四种基本架构，或者是通过其他基于x86架构的处理器以及以英伟达为代表的各类GPU实现异构计算资源的管理。
但上述现有技术通常仅能支持同一架构下的异构虚拟资源管理，无法同时支持x86架构CPU、以英伟达为代表的各类GPU、基于ARM架构的CPU的混合异构计算资源的综合管理，灵活性较低，难以高效地进行异构计算资源的管理调度。
发明内容
本发明提供了一种异构虚拟资源管理系统和方法，解决了现有技术无法同时支持x86架构CPU、以英伟达为代表的各类GPU、基于ARM架构的CPU的混合异构计算资源的综合管理，灵活性较低，难以高效地进行异构计算资源的管理调度的技术问题。
本发明提供的一种异构虚拟资源管理系统，包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层；
所述全局资源管理层，用于将输入的管理请求广播至所述类别资源管理层；
所述类别资源管理层，用于基于所述管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环，计算所述管理请求的待定哈希值，从目标局部虚拟资源链环中确定所述待定哈希值对应的目标哈希值；
所述虚拟资源层，用于响应所述管理请求，对所述目标哈希值映射的目标虚拟节点内缓存的目标虚拟资源进行管理。
可选地，所述全局资源管理层包括全局虚拟资源链环；所述全局虚拟资源链环由全局异构虚拟资源管理器和多个局部虚拟资源链环代理连接组成；所述局部虚拟资源链环代理与所述局部虚拟资源链环一一关联；
所述全局异构虚拟资源管理器，用于响应输入的管理请求，将所述管理请求转发至多个所述局部虚拟资源链环代理；
所述局部虚拟资源链环代理，用于下发所述管理请求至关联的所述局部虚拟资源链环。
可选地，所述局部虚拟资源链环由多个哈希值构成；
所述类别资源管理层，具体用于：
基于所述管理请求所携带的请求类别，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；
采用一致性哈希算法计算所述管理请求对应的待定哈希值，判断所述目标局部虚拟资源链环是否存在与所述待定哈希值相同的哈希值；
若存在，则确定与所述待定哈希值相同的哈希值为目标哈希值；
若不存在，则确定与所述待定哈希值差值最小的哈希值为所述目标哈希值。
可选地，所述虚拟资源层包括多个虚拟资源代理，每个所述虚拟资源代理关联有多个虚拟资源地址；
所述虚拟资源代理，用于从所述多个虚拟资源地址中确定所述目标哈希值映射的目标虚拟节点；响应所述管理请求，对所述目标虚拟节点缓存的目标虚拟资源进行管理。
可选地，还包括物理设备层；
所述物理设备层包括多种异构物理计算主机；
所述异构物理计算主机用于上传多个虚拟资源至所述虚拟资源层；所述虚拟资源包括多个不同架构和/或不同应用区域的算力资源。
可选地，所述虚拟资源层，还用于根据预设分类规则对多个所述虚拟资源进行分类，生成对应的资源描述文件并缓存；
所述类别资源管理层，还用于采用多个所述虚拟资源分别计算得到的更新哈希值，构建多个更新局部虚拟资源链环，并确定各个所述更新局部虚拟资源链环对应的更新局部虚拟资源链环代理；
所述全局资源管理层，还用于采用全部所述更新局部虚拟资源链环代理构建更新全局虚拟资源链环。
可选地，所述预设分类规则包括架构类别规则和应用区域规则；
所述虚拟资源层，具体还用于：
按照所述架构类别规则或所述应用区域规则对多个所述虚拟资源进行分类，生成各个所述虚拟资源分别对应的资源描述文件；
缓存关联所述资源描述文件后的所述虚拟资源。
可选地，所述类别资源管理层，具体还用于：
分别计算各个所述虚拟资源对应的更新哈希值；
根据每个所述资源描述文件所包含的类别特征，将多个所述更新哈希值归类为多个集群；
采用每个所述集群内的更新哈希值，分别构建更新局部虚拟资源链环；其中，每个所述更新哈希值在所述虚拟资源层内映射有更新虚拟节点；
从各个所述更新局部虚拟资源链环内，确定具备小世界网络特征的更新哈希值所关联的更新虚拟节点作为更新局部虚拟资源链环代理；
所述小世界网络特征为在多个所述更新局部虚拟资源链环中出现次数最多的更新哈希值。
可选地，所述全局资源管理层，具体还用于：
根据所述更新局部虚拟资源链环代理的哈希值，选择具备所述小世界网络特征的哈希值对应的目标代理作为第一更新全局异构虚拟资源管理器；
采用全部所述更新局部虚拟资源链环代理和所述第一更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环；
或者，
采用全部所述更新局部虚拟资源链环代理和预设的第二更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环。
可选地，所述类别资源管理层，还用于：当所述管理请求携带有新增虚拟资源时，计算所示新增虚拟资源对应的新增哈希值；将所述新增虚拟资源存储至所述新增哈希值在所述虚拟资源层映射到的新增虚拟节点。
本发明还提供了一种异构虚拟资源管理方法，应用于异构虚拟资源管理系统，所述异构虚拟资源管理系统包括依次通信连接的虚拟资源层、类别资源管理层和全局资源管理层，所述方法包括：
通过所述全局资源管理层接收输入的管理请求；
通过所述全局资源管理层广播所述管理请求至所述类别资源管理层；
通过所述类别资源管理层基于所述管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；
通过所述类别资源管理层计算所述管理请求的待定哈希值；
通过所述类别资源管理层从目标局部虚拟资源链环中确定所述待定哈希值对应的目标哈希值；
通过所述虚拟资源层响应所述管理请求，对所述目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供一种异构虚拟资源管理系统和方法，系统包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层，通过全局资源管理层接收输入的管理请求并广播到类别资源管理层内，以使类别资源管理基于管理请求从内置的多个虚拟资源链环内确定目标局部虚拟资源链环并计算对应的待定哈希值，从目标局部虚拟资源链环中确定待定哈希值对应的目标哈希值，最后对目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理请求所要求的管理操作，从而更为灵活地进行异构计算资源的管理，高效地进行异构计算资源的管理调度。
此外，提供了全局虚拟资源链环和局部虚拟资源链环，较传统链环提高了可扩展性、鲁棒可靠性、自适应可用性及负载均衡能力；且引入代理技术，可可实时感知物理结点及虚拟资源的网络状况、原始处理能力、资源使用情况及实时可用资源状况，既有效提升了资源管理的自适应能力，又为资源的精确、精准调度分配提供了有效支撑；同时基于小世界网络理论和智能代理技术，系统能够从各个局部虚拟资源链环内筛选出网络连通性好、综合处理能力优的代表，实现对对应链环的优化管理调度，提升了系统资源管理的整体效率和性能；
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种异构虚拟资源管理系统的结构框图；
图2为本发明实施例一提供的一种虚拟资源链环的构建示意图；
图3为本发明实施例一提供的一种异构虚拟资源管理系统的另一结构框图；
图4为本发明实施例二提供的一种异构虚拟资源管理方法的步骤流程图。
具体实施方式
本发明实施例提供了一种异构虚拟资源管理系统和方法，用于解决现有技术无法同时支持x86架构CPU、以英伟达为代表的各类GPU、基于ARM架构的CPU的混合异构计算资源的综合管理，灵活性较低，难以高效地进行异构计算资源的管理调度的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种异构虚拟资源管理系统的结构框图。
本发明提供的一种异构虚拟资源管理系统，包括依次通信连接的全局资源管理层101、类别资源管理层102和虚拟资源层103；
全局资源管理层101，用于将输入的管理请求广播至类别资源管理层102；
可选地，全局资源管理层101包括全局虚拟资源链环；全局虚拟资源链环由全局异构虚拟资源管理器和多个局部虚拟资源链环代理连接组成；局部虚拟资源链环代理与局部虚拟资源链环一一关联；
全局异构虚拟资源管理器，用于响应输入的管理请求，将管理请求转发至多个局部虚拟资源链环代理；
局部虚拟资源链环代理，用于下发管理请求至关联的局部虚拟资源链环。
在本发明实施例中，全局资源管理层包括由全局异构虚拟资源管理器和多个局部虚拟资源链环代理连接组成的全局虚拟资源链环，通过全局异构虚拟资源管理器接收其他终端或用户输入的管理请求，再将管理请求转发到每个局部虚拟资源链环代理；而由于局部虚拟资源链环代理分别与各自对应的局部虚拟资源链环一一关联，因此，可以通过局部虚拟资源链环代理将管理请求分别下发到各自关联的局部虚拟资源链环，以完成对管理请求的广播。
类别资源管理层102，用于基于管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环，计算管理请求的待定哈希值，从目标局部虚拟资源链环中确定待定哈希值对应的目标哈希值；
在本发明的一个示例中，局部虚拟资源链环由多个哈希值构成；
类别资源管理层102，具体用于：
基于管理请求所携带的请求类别，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；
采用一致性哈希算法计算管理请求对应的待定哈希值，判断目标局部虚拟资源链环是否存在与待定哈希值相同的哈希值；
若存在，则确定与待定哈希值相同的哈希值为目标哈希值；
若不存在，则确定与待定哈希值差值最小的哈希值为目标哈希值。
在本发明实施例中，当类别资源管理层内的局部虚拟资源链环接收到局部虚拟资源链环代理下发的管理请求后，可以基于管理请求所携带的请求类别，例如管理请求指定虚拟资源需要具备某种特定应用功能或处于某个特定区域，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环。再采用一致性哈希算法计算管理请求对应的待定哈希值，根据待定哈希值和目标局部虚拟资源链环内的哈希值进行逐个比对，以确定是否存在相同的哈希值；若存在相同的哈希值，则将其确定为目标哈希值；若不存在相同的哈希值，则进一步计算每个哈希值和待定哈希值的差值，确定差值最小的哈希值作为目标哈希值。
一致性哈希算法指的是采用哈希算法计算虚拟资源的资源向量的哈希值，再进行取模计算的算法。其中资源向量可以包括但不限于以下参数：CPU核心数，CPU主频，GPU核心数，GPU主频，主存大小，显存大小，网络带宽，CPU可用率，GPU可用率，可用内存，可用显存，可用网络带宽等参数。
请参阅图2，图2示出了本发明实施例一种的一种虚拟资源链环的构建示意图。
在本实施例中，由于一致性哈希的特点，不同虚拟资源的资源向量的哈希值值肯定不同，且得到的哈希值是固定位数的二进制值，即得到的哈希值是一个有模的值，也即所得到的哈希值得十进制值将会是1,2,3,……,n中的某个值，且不同资源向量的哈希值不同。再所有资源向量后将映射一个1到n的线性单链，而对于有模的哈希值来说，将最小值1跟最大值n循环相连的话，就成为了一个虚拟资源链环，例如局部虚拟资源链环。
值得一提的是，多个局部虚拟资源链环所包含的哈希值均是根据应用领域或应用区域进行划分的，每个哈希值在虚拟资源层都有关联的虚拟节点。
虚拟资源层103，用于响应管理请求，对目标哈希值映射的目标虚拟节点内缓存的目标虚拟资源进行管理。
可选地虚拟资源层103包括多个虚拟资源代理，每个虚拟资源代理关联有多个虚拟资源地址；
虚拟资源代理，用于从多个虚拟资源地址中确定目标哈希值映射的目标虚拟节点；响应管理请求，对目标虚拟节点缓存的目标虚拟资源进行管理。
在本发明实施例中，在确定目标哈希值后，可以通过局部虚拟资源链环代理下发管理请求到虚拟资源层的虚拟资源代理，其中每个虚拟资源代理可以管理多个虚拟资源地址。虚拟资源代理通过检索各自管理的多个虚拟资源地址所对应的哈希值，确定目标哈希值所映射的目标虚拟节点。最后响应该管理请求，对目标虚拟节点缓存的目标虚拟资源进行管理。
其中，管理请求可以包括增加虚拟资源、删除虚拟资源或修改虚拟资源。
若是删除虚拟资源或修改虚拟资源，则根据管理请求的内容对目标虚拟资源进行对应的删除或修改。
当管理请求为增加虚拟资源时，也就是管理请求携带有新增虚拟资源，此时类别资源管理层102，还用于：当管理请求携带有新增虚拟资源时，计算所示新增虚拟资源对应的新增哈希值；将新增虚拟资源存储至新增哈希值在虚拟资源层103映射到的新增虚拟节点。
当需要将虚拟资源加入系统时，只需要计算虚拟资源的资源向量的哈希值即可得到虚拟资源的新增虚拟节点，然后根据一致性哈希Chord虚拟资源链环的构建方法就可以在常数时间复杂度的时间内完成资源的增加或插入；同理，在查找资源时，只要根据虚拟资源的资源向量计算其哈希值，亦可以在常数时间复杂度的时间内实现资源的查找定位；再类似地，对于资源的删除或者修改，也可以在在常数时间复杂度的时间内完成。因此，通过采用一致性哈希Chord虚拟资源链环可以在增加少量的存储空间的情况下实现高效率的资源增删改查等操作。
在本发明的另一个示例中，本发明还包括物理设备层104；
物理设备层104包括多种异构物理计算主机；
异构物理计算主机用于上传多个虚拟资源至虚拟资源层103；虚拟资源包括多个不同架构和/或不同应用区域的算力资源。
在具体实现中，物理设备层可以由一定地域范围内的各类异构物理计算主机组成，包括华为鲲鹏(+昇腾)架构主机、x86(+GPU)架构主机、各类集群等，本发明实施例对此不作限制。
其中，各个虚拟资源可以采用虚拟资源向量(VR，Virtual Resource)的形式进行表示，具体组成可以为：
VR＝(CPUNo,CPUHz,GPUNo,GPUHz,CPUFr,GPUFr,MEMTal,MEMFr,MEMgpu,MEMgFr,NETwd,NETFr,FEE,TIM)
其中，CPUNo表示CPU核心数，CPUHz表示CPU频率，GPUNo表示GPU核心数，GPUHz表示GPU频率，CPUFr表示CPU空闲率，GPUFr表示GPU空闲率，MEMTal表示内存总量，MEMFr表示内存可用量，MEMgpu表示显存总量，MEMgFr表示显存可用量，NETwd表示网络总带宽，NETFr表示网络可用带宽，FEE表示费用代价，TIM表示时间代价。
可选地，虚拟资源层103，还用于根据预设分类规则对多个虚拟资源进行分类，生成对应的资源描述文件并缓存；
进一步地，预设分类规则包括架构类别规则和应用区域规则，虚拟资源层103，具体还用于：
按照架构类别规则或应用区域规则对多个虚拟资源进行分类，生成各个虚拟资源分别对应的资源描述文件；
缓存关联资源描述文件后的虚拟资源。
在本发明实施例中，当虚拟资源层从物理设备层获取多种异构的虚拟资源后，可以按照预预设的架构类别规则或应用区域规则，对多个虚拟资源进行分类，以生成各个虚拟资源分别对应的资源描述文件并建立关联，通过各个容器组件进行虚拟资源的缓存，以实现资源的不同架构类别信息或不同应用区域或领域信息的规格定义和存储，以备将来的资源选择或调度时使用。同时资源描述文件内含有架构类别或应用区域的字段，以支持资源创建时可根据用户针对资源的架构类别或资源的应用领域或地域提出的具体需求，从而无缝地实现用户对各种架构类别资源申请的全面支持，改善系统的整体性能和效率。
在具体实现中，可以在虚拟资源层设置多个容器组件，例如kubernate、Docker容器等，同时在容器底层的核心数据结构增加架构类别规则Type或应用区域规则Area，以便于对虚拟资源进行分类缓存。
类别资源管理层102，还用于采用多个虚拟资源分别计算得到的更新哈希值，构建多个更新局部虚拟资源链环，并确定各个更新局部虚拟资源链环对应的更新局部虚拟资源链环代理；
可选地，类别资源管理层102，具体还用于：
分别计算各个虚拟资源对应的更新哈希值；
根据每个资源描述文件所包含的类别特征，将多个更新哈希值归类为多个集群；
采用每个集群内的更新哈希值，分别构建更新局部虚拟资源链环；其中，每个更新哈希值在虚拟资源层103内映射有更新虚拟节点；
从各个更新局部虚拟资源链环内，确定具备小世界网络特征的更新哈希值所关联的更新虚拟节点作为更新局部虚拟资源链环代理；
小世界网络特征为在多个更新局部虚拟资源链环中出现次数最多的更新哈希值。
在本发明实施例中，可以分别计算各个虚拟资源对应的更新哈希值，再根据各个虚拟资源所关联的资源描述文件所包含的类别特征，也就是架构类别或应用区域，以此为标准将多个更新哈希值分别归类到不同的集群，再采用每个集群内的更新哈希值构建更新局部虚拟资源链环，从中选择具备小世界网络特征的更新哈希值所关联的更新虚拟节点作为更新局部虚拟资源链环代理。
其中，小世界网络理论发端于“六度分离”现象，所谓小世界网络，就是相对于同等规模节点的随机网络，具有较短的平均路径长度和较大的聚类系数特征的网络模型。近年相关研究表明，包括万维网、公路交通网、脑神经网络和基因网络等都具有小世界网络特征。通俗地讲，在小世界网络中，总存在一个网络连接度大、连通性好的节点作为具备小世界网络特征的更新虚拟资源代理节点，其中由局部虚拟资源链环代理通过两两交换各自的哈希值所反映的状态信息来实现。
值得一提的是，为了有效管理和感知各虚拟资源的实时动态算力，本发明还可以在各虚拟资源内部署一个轻量级的虚拟资源代理。一方面，通过该虚拟资源代理感知和收集维护本虚拟算力资源自身的相关信息，包括CPU、GPU、存储、网络能力，以及它们的负载/可用情况，再将这些资源信息以向量形式表示，即虚拟资源信息向量，并存储在本地；另一方面，还可以将虚拟资源代理将上述虚拟资源信息向量的副本分布式地存储到相应若干个更新虚拟节点，以支持虚拟资源的分布式可靠存储；此外，该虚拟资源代理要将上述虚拟资源信息向量发送给类别资源管理层102，以构建更新局部虚拟资源链环对应的多维信息矩阵，实现虚拟资源的实施动态感知，从而为资源的精准调度提供基础和支撑，同时也确保了系统的分布可靠性，为未来的多任务、多QoS目标综合同步优化调度提供了支撑信息基础。
全局资源管理层101，还用于采用全部更新局部虚拟资源链环代理构建更新全局虚拟资源链环。
在本发明的可选实施例中，全局资源管理层101，具体还用于：
根据更新局部虚拟资源链环代理的哈希值，选择具备小世界网络特征的哈希值对应的目标代理作为第一更新全局异构虚拟资源管理器；
采用全部更新局部虚拟资源链环代理和第一更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环；
或者，采用全部更新局部虚拟资源链环代理和预设的第二更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环。
在具体实现中，还可以基于各个更新局部虚拟资源链环代理，分别计算对应的哈希值，从中选择具备小世界网络特征的哈希值对应的目标代理作为第一更新全局异构虚拟资源管理器，再采用全部更新局部虚拟资源链环代理和第一更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环；或是直接采用全部更新局部虚拟资源链环代理和预设的第二更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环。
请参照图3，图3示出了本发明实施例一中的另一种异构虚拟资源管理系统的结构框图。
在本实施例中，异构主机1、异构主机2、异构主机t、异构主机i和多个其他异构主机构成物理设备层104内的物理设备链环；通过各个异构主机分别上传虚拟资源到虚拟资源层103中，采用容器组件缓存各个虚拟资源，以得到异构主机1对应的虚拟资源(1，1)、虚拟资源(1，2)、……虚拟资源(1，m)，异构主机i对应的虚拟资源(i，1)、虚拟资源(i，2)、……虚拟资源(i，n)，异构主机1对应的虚拟资源(t，1)、虚拟资源(t，2)、……虚拟资源(t，s)等；再按照应用区域或架构类别对缓存虚拟资源的各个虚拟节点所对应的哈希值进行归类，例如将虚拟资源(1，1)对应的哈希值(1，1)、虚拟资源(i，2)对应的哈希值(i，2)、虚拟资源(p，q)对应的哈希值(p，q)、虚拟资源(t，s)对应的哈希值(t，s)、虚拟资源(z，k)对应的哈希值(z，k)、虚拟资源(x，y)对应的哈希值(x，y)等构建局部虚拟资源链环1；最后采用局部虚拟资源链环1、局部虚拟资源链环x、局部虚拟资源链环y等选取到的局部虚拟资源链环代理1、x、y、z等进行全局资源管理层101内的全局虚拟资源链环的构建，再从全局虚拟资源链环内选出具备小世界特征的全局虚拟资源管理器作为接收外界输入的管理请求的门户，以得到异构虚拟资源管理系统。
在本发明实施例中，提供一种异构虚拟资源管理系统，包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层，通过全局资源管理层接收输入的管理请求并广播到类别资源管理层内，以使类别资源管理基于管理请求从内置的多个虚拟资源链环内确定目标局部虚拟资源链环并计算对应的待定哈希值，从目标局部虚拟资源链环中确定待定哈希值对应的目标哈希值，最后对目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理请求所要求的管理操作，从而解决现有技术无法同时支持x86架构CPU、以英伟达为代表的各类GPU、基于ARM架构的CPU的混合异构计算资源的综合管理，灵活性较低，难以高效地进行异构计算资源的管理调度的技术问题。
请参照图4，图4示出了本发明实施例二中的一种异构虚拟资源管理方法的步骤流程图。
本发明实施例提供的一种异构虚拟资源管理方法，应用于异构虚拟资源管理系统，异构虚拟资源管理系统包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层，方法包括：
步骤401，通过全局资源管理层接收输入的管理请求；
步骤402，通过全局资源管理层广播管理请求至类别资源管理层；
步骤403，通过类别资源管理层基于管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；
步骤404，通过类别资源管理层计算管理请求的待定哈希值；
步骤405，通过类别资源管理层从目标局部虚拟资源链环中确定待定哈希值对应的目标哈希值；
步骤406，通过虚拟资源层响应管理请求，对目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种异构虚拟资源管理系统，其特征在于，包括依次通信连接的全局资源管理层、类别资源管理层和虚拟资源层；
所述全局资源管理层，用于将输入的管理请求广播至所述类别资源管理层；
所述类别资源管理层，用于基于所述管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环，计算所述管理请求的待定哈希值，从目标局部虚拟资源链环中确定所述待定哈希值对应的目标哈希值；
所述虚拟资源层，用于响应所述管理请求，对所述目标哈希值映射的目标虚拟节点内缓存的目标虚拟资源进行管理；
所述局部虚拟资源链环由多个哈希值构成；
所述虚拟资源层包括多个虚拟资源代理，每个所述虚拟资源代理关联有多个虚拟资源地址；
所述虚拟资源代理，用于从所述多个虚拟资源地址中确定所述目标哈希值映射的目标虚拟节点；响应所述管理请求，对所述目标虚拟节点缓存的目标虚拟资源进行管理；
还包括物理设备层；所述物理设备层包括多种异构物理计算主机；
所述异构物理计算主机用于上传多个虚拟资源至所述虚拟资源层；
所述虚拟资源层，还用于根据预设分类规则对多个所述虚拟资源进行分类，生成对应的资源描述文件并缓存；所述预设分类规则包括架构类别规则和应用区域规则。
2.根据权利要求1所述的异构虚拟资源管理系统，其特征在于，所述全局资源管理层包括全局虚拟资源链环；所述全局虚拟资源链环由全局异构虚拟资源管理器和多个局部虚拟资源链环代理连接组成；所述局部虚拟资源链环代理与所述局部虚拟资源链环一一关联；
所述全局异构虚拟资源管理器，用于响应输入的管理请求，将所述管理请求转发至多个所述局部虚拟资源链环代理；
所述局部虚拟资源链环代理，用于下发所述管理请求至关联的所述局部虚拟资源链环。
3.根据权利要求1所述的异构虚拟资源管理系统，其特征在于，所述类别资源管理层，具体用于：
基于所述管理请求所携带的请求类别，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；
采用一致性哈希算法计算所述管理请求对应的待定哈希值，判断所述目标局部虚拟资源链环是否存在与所述待定哈希值相同的哈希值；
若存在，则确定与所述待定哈希值相同的哈希值为目标哈希值；
若不存在，则确定与所述待定哈希值差值最小的哈希值为所述目标哈希值。
4.根据权利要求1所述的异构虚拟资源管理系统，其特征在于，所述虚拟资源包括多个不同架构和/或不同应用区域的算力资源。
5.根据权利要求1所述的异构虚拟资源管理系统，其特征在于，所述类别资源管理层，还用于采用多个所述虚拟资源分别计算得到的更新哈希值，构建多个更新局部虚拟资源链环，并确定各个所述更新局部虚拟资源链环对应的更新局部虚拟资源链环代理；
所述全局资源管理层，还用于采用全部所述更新局部虚拟资源链环代理构建更新全局虚拟资源链环。
6.根据权利要求5所述的异构虚拟资源管理系统，其特征在于，所述虚拟资源层，具体还用于：
按照所述架构类别规则或所述应用区域规则对多个所述虚拟资源进行分类，生成各个所述虚拟资源分别对应的资源描述文件；
缓存关联所述资源描述文件后的所述虚拟资源。
7.根据权利要求6所述的异构虚拟资源管理系统，其特征在于，所述类别资源管理层，具体还用于：
分别计算各个所述虚拟资源对应的更新哈希值；
根据每个所述资源描述文件所包含的类别特征，将多个所述更新哈希值归类为多个集群；
采用每个所述集群内的更新哈希值，分别构建更新局部虚拟资源链环；其中，每个所述更新哈希值在所述虚拟资源层内映射有更新虚拟节点；
从各个所述更新局部虚拟资源链环内，确定具备小世界网络特征的更新哈希值所关联的更新虚拟节点作为更新局部虚拟资源链环代理；
所述小世界网络特征为在多个所述更新局部虚拟资源链环中出现次数最多的更新哈希值。
8.根据权利要求7所述的异构虚拟资源管理系统，其特征在于，所述全局资源管理层，具体还用于：
根据所述更新局部虚拟资源链环代理的哈希值，选择具备所述小世界网络特征的哈希值对应的目标代理作为第一更新全局异构虚拟资源管理器；
采用全部所述更新局部虚拟资源链环代理和所述第一更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环；
或者，
采用全部所述更新局部虚拟资源链环代理和预设的第二更新全局异构虚拟资源管理器，构建更新全局虚拟资源链环。
9.根据权利要求1所述的异构虚拟资源管理系统，其特征在于，所述类别资源管理层，还用于：当所述管理请求携带有新增虚拟资源时，计算所示新增虚拟资源对应的新增哈希值；将所述新增虚拟资源存储至所述新增哈希值在所述虚拟资源层映射到的新增虚拟节点。
10.一种异构虚拟资源管理方法，其特征在于，应用于异构虚拟资源管理系统，所述异构虚拟资源管理系统包括依次通信连接的虚拟资源层、类别资源管理层和全局资源管理层，所述虚拟资源层包括多个虚拟资源代理，每个所述虚拟资源代理关联有多个虚拟资源地址；所述异构虚拟资源管理系统还包括物理设备层，所述物理设备层包括多种异构物理计算主机；所述方法包括：
通过所述异构物理计算主机上传多个虚拟资源至所述虚拟资源层；
通过所述全局资源管理层接收输入的管理请求；
通过所述全局资源管理层广播所述管理请求至所述类别资源管理层；
通过所述类别资源管理层基于所述管理请求，从内置的多个局部虚拟资源链环内确定目标局部虚拟资源链环；所述局部虚拟资源链环由多个哈希值构成；
通过所述类别资源管理层计算所述管理请求的待定哈希值；
通过所述类别资源管理层从目标局部虚拟资源链环中确定所述待定哈希值对应的目标哈希值；
通过所述虚拟资源层响应所述管理请求，对所述目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理；
所述通过所述虚拟资源层响应所述管理请求，对所述目标哈希值映射的目标虚拟节点缓存的目标虚拟资源进行管理的步骤，包括：
通过所述虚拟资源代理从所述多个虚拟资源地址中确定所述目标哈希值映射的目标虚拟节点；
响应所述管理请求，对所述目标虚拟节点缓存的目标虚拟资源进行管理；
还包括：通过所述虚拟资源层根据预设分类规则对多个所述虚拟资源进行分类，生成对应的资源描述文件并缓存；所述预设分类规则包括架构类别规则和应用区域规则。
CN202110601857.9A 2021-05-31 2021-05-31 一种异构虚拟资源管理系统和方法 Active CN113326129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110601857.9A CN113326129B (zh) 2021-05-31 2021-05-31 一种异构虚拟资源管理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110601857.9A CN113326129B (zh) 2021-05-31 2021-05-31 一种异构虚拟资源管理系统和方法

Publications (2)

Publication Number Publication Date
CN113326129A CN113326129A (zh) 2021-08-31
CN113326129B true CN113326129B (zh) 2023-07-14

Family

ID=77422765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110601857.9A Active CN113326129B (zh) 2021-05-31 2021-05-31 一种异构虚拟资源管理系统和方法

Country Status (1)

Country Link
CN (1) CN113326129B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857363A (zh) * 2012-05-04 2013-01-02 运软网络科技(上海)有限公司 一种虚拟网络的自主管理系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199719A (zh) * 2014-08-22 2014-12-10 成都致云科技有限公司 基于一致性算法的虚拟资源重均衡方法
CN105049550A (zh) * 2015-08-14 2015-11-11 电子科技大学 一种基于D1HT+Chord的名址分离映射系统
CN206077410U (zh) * 2016-08-30 2017-04-05 广西电网有限责任公司 一种异构虚拟化资源管理系统
CN110688214A (zh) * 2018-07-06 2020-01-14 武汉烽火众智数字技术有限责任公司 一种异构资源池的管理方法及系统
CN109302431B (zh) * 2018-12-14 2021-03-09 广州大学 一种物联网海量资源与数据安全可信管理系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857363A (zh) * 2012-05-04 2013-01-02 运软网络科技(上海)有限公司 一种虚拟网络的自主管理系统和方法

Also Published As

Publication number Publication date
CN113326129A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
Aujla et al. MEnSuS: An efficient scheme for energy management with sustainability of cloud data centers in edge–cloud environment
Fu et al. Task scheduling of cloud computing based on hybrid particle swarm algorithm and genetic algorithm
CN108768716B (zh) 一种微服务路径选择方法及装置
CN111027736A (zh) 多目标优化下的微服务组合部署与调度方法
CN110753107B (zh) 天基云雾计算架构下的资源调度系统、方法和存储介质
CN101557344A (zh) 一种基于空间地理位置的动态负载均衡方法
CN108182105A (zh) 基于Docker容器技术的局部动态迁移方法及控制系统
CN113011678A (zh) 基于边缘计算的虚拟运营平台运行控制方法
CN109542814A (zh) 通过pci-express的p2p连接在存储设备之间传输数据的方法和系统
CN108449383A (zh) 分布式实时移动微云计算系统
CN101719148A (zh) 三维空间信息的存储方法、装置、系统及调度系统
US11381506B1 (en) Adaptive load balancing for distributed systems
CN111858033A (zh) 基于集群和多进程的负载均衡方法
CN113392863A (zh) 一种机器学习训练数据集的获取方法、获取装置及终端
CN111324429B (zh) 一种基于多代血统参考距离的微服务组合调度方法
Dimitrios et al. Simulation and performance evaluation of a fog system
Dou et al. Architecture of virtual edge data center with intelligent metadata service of a geo-distributed file system
CN116684418B (zh) 基于算力服务网关的算力编排调度方法、算力网络及装置
Beigrezaei et al. Minimizing data access latency in data grids by neighborhood‐based data replication and job scheduling
CN113326129B (zh) 一种异构虚拟资源管理系统和方法
CN112398917A (zh) 面向多站融合架构的实时任务调度方法和装置
Xu et al. A large-scale object-based active storage platform for data analytics in the internet of things
Wang et al. C3Meta: a context-aware cloud-edge-end collaboration framework toward green metaverse
CN115374949A (zh) 分布式量子计算系统和资源管理方法
Liu et al. Proactive data caching and replacement in the edge computing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant