CN116932140A - 基于跨主机资源的数据处理方法及相关产品 - Google Patents

基于跨主机资源的数据处理方法及相关产品 Download PDF

Info

Publication number
CN116932140A
CN116932140A CN202310826789.5A CN202310826789A CN116932140A CN 116932140 A CN116932140 A CN 116932140A CN 202310826789 A CN202310826789 A CN 202310826789A CN 116932140 A CN116932140 A CN 116932140A
Authority
CN
China
Prior art keywords
computing
resource
virtual machine
computing node
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310826789.5A
Other languages
English (en)
Inventor
刘荣凯
林显成
傅德基
高翔
李伊青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Original Assignee
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Technology Innovation Center, China Telecom Corp Ltd filed Critical China Telecom Technology Innovation Center
Priority to CN202310826789.5A priority Critical patent/CN116932140A/zh
Publication of CN116932140A publication Critical patent/CN116932140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种基于跨主机资源的数据处理方法及相关产品。所述方法包括：在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；将硬件路由信息存放于适配器中；当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；基于目标计算节点的计算资源执行数据处理指令。采用本方法能够通过至少两个计算节点向虚拟机的虚拟资源提供计算资源，并根据数据处理指令所需的计算资源和硬件路由信息确定执行数据处理指令的目标计算节点，实现了虚拟机的跨节点资源调度。

Description

基于跨主机资源的数据处理方法及相关产品
技术领域
本申请涉及云计算技术领域，特别是涉及一种基于跨主机资源的数据处理方法及相关产品。
背景技术
随着云计算技术的发展，出现了虚拟机资源调度技术，虚拟机资源调度技术一直是云计算技术领域的主要研究方向，其致力于提升服务器资源的利用率以满足用户对虚拟机日益提高的要求。
然而，目前在进行虚拟机资源调度时，通常一台虚拟机只能位于一台服务器中，对于虚拟机的资源需求也无法灵活地进行跨主机资源调用，显然地，这不利于提高虚拟机的资源调度灵活性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现虚拟机的跨节点资源调度的基于跨主机资源的数据处理方法及相关产品。
第一方面，本申请提供了一种基于跨主机资源的数据处理方法。所述方法包括：
在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；
将硬件路由信息存放于适配器中；
当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；
基于目标计算节点的计算资源执行数据处理指令。
第二方面，本申请还提供了一种基于跨主机资源的数据处理装置。所述装置包括：
第一确定模块，用于在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；
存放模块，用于将硬件路由信息存放于适配器中；
第二确定模块，用于当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；
执行模块，用于基于目标计算节点的计算资源执行数据处理指令。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；
将硬件路由信息存放于适配器中；
当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；
基于目标计算节点的计算资源执行数据处理指令。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；
将硬件路由信息存放于适配器中；
当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；
基于目标计算节点的计算资源执行数据处理指令。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；
将硬件路由信息存放于适配器中；
当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；
基于目标计算节点的计算资源执行数据处理指令。
上述基于跨主机资源的数据处理方法、装置、计算机设备、存储介质和计算机程序产品，在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；将硬件路由信息存放于适配器中；当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；基于目标计算节点的计算资源执行数据处理指令。通过本申请实施例的方法，通过至少两个计算节点向虚拟机的虚拟资源提供计算资源，并根据数据处理指令所需的计算资源和硬件路由信息确定执行数据处理指令的目标计算节点，实现了虚拟机的跨节点资源调度。
附图说明
图1为一个实施例中基于跨主机资源的数据处理方法的应用环境图；
图2为一个实施例中基于跨主机资源的数据处理方法的流程示意图；
图3为一个实施例中基于目标计算节点的计算资源执行数据处理指令步骤的流程示意图；
图4为另一个实施例中基于跨主机资源的数据处理方法的流程示意图；
图5为一个实施例中基于跨主机资源的数据处理装置的结构框图；
图6为另一个实施例中基于跨主机资源的数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，在以下的描述中，所涉及的术语“第一、第二和第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二和第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供的基于跨主机资源的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中，终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调和智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
服务器104可以是独立的物理服务器，也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间形成点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。
此外，服务器104还可以是多个物理服务器构成的服务器集群，可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端102与服务器104之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种基于跨主机资源的数据处理方法，该方法可由图1中的服务器或终端执行，或由服务器和终端协同执行，以该方法由图1中的服务器执行为例进行说明，包括以下步骤：
S202，在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息。
其中，硬件路由信息，用于指明向虚拟资源提供计算资源的至少两个计算节点的网络位置；进一步地，硬件路由信息可以指明虚拟机不同硬件所对应的计算资源提供方的至少两个计算节点的网络位置，虚拟机不同硬件可以包括虚拟机的CPU、GPU、RAM等硬件部分。
进一步地，不同的硬件路由信息，可以记录在硬件路由表中，从而通过硬件路由表即可确定到向虚拟资源提供计算资源的至少两个计算节点中每个计算节点的网络位置；进一步地，硬件路由表也可以确定不同虚拟机所对应的计算资源提供节点的网络位置。
虚拟机的创建，是响应于用户终端的虚拟机创建请求而进行的，从而地，虚拟机的主机资源信息可以是根据虚拟机创建请求进行确定的。
具体地，本申请实施例提供的基于跨主机资源的数据处理方法，可以应用于云计算服务器中，云计算服务器包括控制节点和计算节点，控制节点负责虚拟机计算资源的分配和监控，计算节点负责给虚拟机提供计算资源。控制节点包括用于负责收集计算节点对应的计算资源状态以及计算资源数量的资源监控器；控制节点包括用于负责给虚拟机分配计算资源的资源调度器，资源调度器根据用户的虚拟机创建请求及各个计算节点的可用计算资源数量，为用户终端申请的虚拟机分配计算资源。
具体地，计算节点的虚拟化层包括适配器，适配器用于记录虚拟机的硬件资源所在位置，判断操作虚拟机系统的数据处理指令所调用计算资源对应的计算节点所处网络位置；至少两个计算节点中每个计算节点之间通过高速直连通道进行通讯连接，每个计算节点包括直连驱动和直连端口，计算节点中的直连驱动用于驱动计算节点中的直连端口通过其他计算节点的直连端口进行虚拟机的跨主机资源调度。
S204，将硬件路由信息存放于适配器中。
其中，硬件路由信息，可以存放于虚拟机所处计算节点中的适配器中。
具体地，将硬件路由信息存放于适配器中，是通过云计算服务器控制节点中的资源调度器实现的，即是说，是通过资源监控器将当前能够向虚拟机的虚拟资源提供计算资源的至少两个计算节点的可用计算资源同步给资源调度器，并通过资源调度器将虚拟机对应的硬件路由信息存储在放置虚拟机的计算节点所对应的虚拟化层的适配器中来实现的。
具体地，当数据处理指令所需的计算资源调为虚拟机所在的计算节点的本地计算资源时，即适配器判断到数据处理指令所调用计算资源位于虚拟机所在的计算节点网络位置时，由虚拟化层直接调用本地计算资源；当数据处理指令所需的计算资源调为虚拟机所在的计算节点之外的跨节点计算资源时，即是说，适配器判断到数据处理指令所调用资源位于虚拟机所处位置之外的其他计算节点，虚拟机需要调用跨节点计算资源时，则由资源调度器将数据处理指令通过高速直连通道发送到跨节点计算资源对应的计算节点中。
S206，当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点。
其中，数据处理指令，指用户终端基于虚拟机进行的数据处理操作对应的指令。
具体地，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点，可以是，根据数据处理指令所需的计算资源和硬件路由信息，确定数据处理指令所需的计算资源在硬件路由信息中对应的计算节点网络位置，从而确定处理数据处理指令的目标计算节点及其网络位置，进而使得虚拟机能够定位到目标计算节点的网络位置而执行步骤S208。
S208，基于目标计算节点的计算资源执行数据处理指令。
具体地，虚拟机执行数据处理指令时，是通过虚拟机所处计算节点中的适配器将数据处理指令与目标计算节点的计算资源匹配以运行虚拟机系统的。
进一步地，在基于目标计算节点的计算资源执行数据处理指令并完成数据处理指令的执行之后，若用户终端在预设时间内未对虚拟机发起执行其他数据处理操作，即预设时间内无需基于目标计算节点的计算资源执行其他数据处理操作对应的其他数据处理指令，则可以释放目标计算节点的计算资源，也可以将目标计算节点的计算资源调度给用户终端创建的其他虚拟机中执行对应的数据处理指令。
上述基于跨主机资源的数据处理方法中，在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息；将硬件路由信息存放于适配器中；当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点；基于目标计算节点的计算资源执行数据处理指令。通过本申请实施例的方法，通过至少两个计算节点向虚拟机的虚拟资源提供计算资源，并根据数据处理指令所需的计算资源和硬件路由信息确定执行数据处理指令的目标计算节点，实现了虚拟机的跨节点资源调度。
在一个实施例中，上述方法还包括：
响应于虚拟机创建请求，确定虚拟机创建请求对应的申请计算资源和多个计算节点中每个计算节点的可用计算资源；
当申请计算资源大于每个计算节点的可用计算资源时，在多个计算节点中选择第一计算节点和至少一个第二计算节点，并在第一计算节点中创建初始化虚拟机；
将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机。
其中，虚拟机创建请求，由用户终端向云计算服务器发起，并且由云计算服务器中的控制节点进行接收。
具体地，响应于虚拟机创建请求，确定虚拟机创建请求对应的申请计算资源和多个计算节点中每个计算节点的可用计算资源，可以是，控制节点响应于虚拟机创建请求，通过虚拟机创建请求中的虚拟机需求信息确定虚拟机创建请求对应的申请计算资源，并且，控制节点上的资源监控器将每个计算节点的可用计算资源同步给资源调度器，从而资源调度器根据每个计算节点的可用计算资源以及虚拟机创建请求对应的申请计算资源来分配计算资源。
初始化虚拟机，指尚未被分配有计算资源而未具备计算资源的虚拟机初始形态。
具体地，在第一计算节点中创建初始化虚拟机，指虚拟机放置于第一计算节点中。
具体地，将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，是通过资源调度器实现的，即是说，通过云计算服务器控制节点中的资源调度器将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机。
本实施例中，在虚拟机运行时所需的申请计算资源大于每个计算节点的可用计算资源，即是说，不存在某一个计算节点的可用计算资源能够满足虚拟机的运行要求时，则在第一计算节点中创建初始化虚拟机，并将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机，从而实现了虚拟机的跨节点资源调度。
在一个实施例中，上述将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机，包括：
若申请计算资源大于预设资源值，则将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机；
若申请计算资源小于或等于预设资源值，则确定第一计算节点和第二计算节点的计算资源中的资源碎片，并将资源碎片分配给初始化虚拟机，得到具备计算资源的虚拟机。
具体地，将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机，可以是，将第一计算节点的计算资源分配给初始化虚拟机作为虚拟机的CPU资源和内存资源，并将第二计算节点的计算资源分配给初始化虚拟机作为虚拟机的其他运行所需资源。
具体地，将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，以及，确定第一计算节点和第二计算节点的计算资源中的资源碎片，并将资源碎片分配给初始化虚拟机，都是通过云计算服务器控制节点中的资源调度器实现的。
本实施例中，若申请计算资源大于预设资源值，说明虚拟机具有高性能要求，则将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机，从而实现了在虚拟机具有高性能要求的情况下，通过跨节点资源调度满足虚拟机的运行要求；若申请计算资源小于或等于预设资源值，说明虚拟机并不具有高性能要求，则将第一计算节点和第二计算节点的计算资源中的资源碎片，得到具备计算资源的虚拟机，从而实现了在虚拟机并不具有高性能要求的情况下，提升第一计算节点和第二计算节点的资源利用率。
在一个实施例中，上述方法还包括：
响应于虚拟机创建请求，确定虚拟机创建请求对应的申请计算资源和至少两个计算节点中每个计算节点的可用计算资源；
当申请计算资源小于或等于至少两个计算节点中的优先计算节点的可用计算资源时，在优先计算节点中创建虚拟机。
其中，优先计算节点，即是说，在至少两个计算节点中对应的可用计算资源大于虚拟机运行时所需的申请计算资源的对应计算节点。进一步地，优先计算节点的数量可以是一个。
具体地，在优先计算节点中创建虚拟机之后，可以是由优先计算节点自身向虚拟机的虚拟资源提供计算资源，也可以是由优先计算节点和其他计算节点共同向虚拟机的虚拟资源提供计算资源。
具体地，确定虚拟机创建请求对应的申请计算资源和至少两个计算节点中每个计算节点的可用计算资源，是通过云计算服务器控制节点中的资源监控器实现的。
本实施例中，当申请计算资源小于或等于至少两个计算节点中的优先计算节点的可用计算资源时，在优先计算节点中创建虚拟机，从而在对应的存在可用计算资源能够满足虚拟机的运行要求的一个计算节点时，则将该计算节点确定为优先计算节点，进而优先在优先计算节点中创建虚拟机。通过在优先计算节点中创建虚拟机，确保虚拟机所放置的优先计算节点能够满足运行虚拟机的计算资源需求，从而即便在其他计算节点无法向虚拟机的虚拟资源提供计算资源时，都不会影响虚拟机的正常运行。
在一个实施例中，上述至少两个计算节点之间通过高速直连通道进行通讯连接。
其中，高速直连通道，采用高速通信协议和先进互联技术以实现至少两个计算节点之间的通讯连接，通过高速直连通道使得至少两个计算节点中每个计算节点可以互相访问计算资源。
具体地，通过高速直连通道使得至少两个计算节点中每个计算节点可以互相访问计算资源，是通过每个计算节点包括的直连驱动和直连端口实现的，即是说，通过高速直连通道使得每个计算节点通过由直连驱动所驱动的直连端口与其他计算节点由直连驱动所驱动的直连端口进行通讯连接而实现彼此之间可以互相访问计算资源。
在一个实施例中，上述至少两个计算节点包括第一计算节点和至少一个第二计算节点，虚拟机是在第一计算节点上面创建的；上述基于目标计算节点的计算资源执行数据处理指令，包括：
若数据处理指令是由第一计算节点的计算资源执行时，基于第一计算节点的计算资源执行数据处理指令；第一计算节点为目标计算节点；
若数据处理指令是由第二计算节点的计算资源执行时，则令虚拟机通过高速直连通道与第二计算节点对应的计算节点进行通讯连接，以使得虚拟机基于第二计算节点的计算资源执行数据处理指令；第二计算节点为目标计算节点。
其中，基于第一计算节点的计算资源执行数据处理指令，即是说，第一计算节点的计算资源位于放置虚拟机的第一计算节点本地，从而只需要令虚拟机调度本地计算资源即可直线数据处理指令；令虚拟机通过高速直连通道与第二计算节点对应的计算节点进行通讯连接，以使得虚拟机基于第二计算节点的计算资源执行数据处理指令，即是说，第二计算节点的计算资源位于放置虚拟机的第一计算节点之外，从而需要令虚拟机所处的第一计算节点的直连端口通过高速直连通道与第二计算节点的直连端口交互以实现与第二计算节点对应的计算节点进行通讯连接，进而使得虚拟机基于第二计算节点的计算资源执行数据处理指令。
示例性地，如图3所示，云计算服务器控制节点中包括资源调度器，当接收到数据处理指令时，根据适配器中存放的硬件路由信息，确定执行数据处理指令的计算资源所在的计算节点网络位置是否位于本地，若数据处理指令是由第一计算节点的计算资源执行，即执行数据处理指令的计算资源所在的计算节点网络位置为本地时，则虚拟机直接调取本地计算资源即第一计算节点的计算资源执行数据处理指令；若数据处理指令是由第二计算节点的计算资源执行，执行数据处理指令的计算资源所在的计算节点网络位置非本地，即执行数据处理指令的计算资源位于第一计算节点之外的外部计算节点即第二计算节点时，则虚拟机通过第一计算节点的直连驱动驱动第一计算节点的直连端口，从而通过高速直连通道与第二计算节点的直连端口进行通讯连接，以使得虚拟机基于第二计算节点的计算资源执行数据处理指令，其中，第二计算节点通过其直连驱动驱动其直连端口与第一计算节点的直连端口进行通信连接。
本实施例中，若数据处理指令是由第一计算节点的计算资源执行，即数据处理指令是由虚拟机所处的第一计算节点本地位置上的计算资源执行时，则确定第一计算节点为目标计算节点，并基于第一计算节点的计算资源执行数据处理指令；若数据处理指令是由第一计算节点的计算资源执行时，即数据处理指令是由虚拟机所处的计算节点之外的第二计算节点上的计算资源执行时，则确定第二计算节点为目标计算节点，并令虚拟机通过高速直连通道与第二计算节点对应的计算节点进行通讯连接，以使得虚拟机基于第二计算节点的计算资源执行数据处理指令，从而实现了虚拟机的跨节点资源调度。
下面结合一个详细的实施例来阐述上述基于跨主机资源的数据处理方法的应用过程，具体如下：如图4所示，本申请提供的基于跨主机资源的数据处理方法应用在云计算服务器中，在创建虚拟机之前，接收到用户终端发起的虚拟机创建请求，资源监控器将虚拟机创建请求对应的申请计算资源和多个计算节点中每个计算节点的可用计算资源同步给资源调度器，资源监控器和资源调度器都位于云计算服务器的控制节点中，资源调度器确定是否存在优先计算节点，从而优先计算节点的可用计算资源大于申请计算资源，即是说，确定是否存在一个优先计算节点能满足虚拟机的计算资源需求，若存在优先计算节点，则将虚拟机放置于一个优先计算节点中，即在优先计算节点中创建得到虚拟机；
若不存在优先计算节点，则在第一计算节点中创建初始化虚拟机，并确定申请计算资源是否大于预设资源值，若是，即申请计算资源大于预设资源值，则将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机，即是说，这种情况下虚拟机具备第一计算节点的计算资源和第二计算节点的计算资源；若否，即申请计算资源小于或等于预设资源值，则确定第一计算节点和第二计算节点的计算资源中的资源碎片，并将资源碎片分配给初始化虚拟机，得到具备计算资源的虚拟机，虚拟机具备第一计算节点的资源碎片和第二计算节点的资源碎片；
在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息，主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息，当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点，基于目标计算节点的计算资源执行数据处理指令。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于跨主机资源的数据处理方法的基于跨主机资源的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于跨主机资源的数据处理装置实施例中的具体限定可以参见上文中对于基于跨主机资源的数据处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种基于跨主机资源的数据处理装置，包括：第一确定模块1002、存放模块1004、第二确定模块1006和执行模块1008，其中：
第一确定模块1002，用于在创建完虚拟机之后，根据虚拟机的主机资源信息确定硬件路由信息；主机资源信息是向虚拟资源提供计算资源的至少两个计算节点的信息。
存放模块1004，用于将硬件路由信息存放于适配器中。
第二确定模块1006，用于当接收到数据处理指令时，根据数据处理指令所需的计算资源和硬件路由信息，确定处理数据处理指令的目标计算节点。
执行模块1008，用于基于目标计算节点的计算资源执行数据处理指令。
在一个实施例中，如图6所示，上述装置还包括第一创建模块1010，第一创建模块1010用于：
响应于虚拟机创建请求，确定虚拟机创建请求对应的申请计算资源和多个计算节点中每个计算节点的可用计算资源；
当申请计算资源大于每个计算节点的可用计算资源时，在多个计算节点中选择第一计算节点和至少一个第二计算节点，并在第一计算节点中创建初始化虚拟机；
将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机。
在一个实施例中，在将第一计算节点和第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机方面，上述第一创建模块1010还用于：
若申请计算资源大于预设资源值，则将第一计算节点的计算资源分配给初始化虚拟机，并将第二计算节点的计算资源分配给初始化虚拟机，得到具备计算资源的虚拟机；
若申请计算资源小于或等于预设资源值，则确定第一计算节点和第二计算节点的计算资源中的资源碎片，并将资源碎片分配给初始化虚拟机，得到具备计算资源的虚拟机。
在一个实施例中，如图6所示，上述装置还包括第二创建模块1012，第二创建模块1012用于：
响应于虚拟机创建请求，确定虚拟机创建请求对应的申请计算资源和至少两个计算节点中每个计算节点的可用计算资源；
当申请计算资源小于或等于至少两个计算节点中的优先计算节点的可用计算资源时，在优先计算节点中创建虚拟机。
在一个实施例中，上述至少两个计算节点之间通过高速直连通道进行通讯连接。
在一个实施例中，上述至少两个计算节点包括第一计算节点和至少一个第二计算节点，虚拟机是在第一计算节点上面创建的；在基于目标计算节点的计算资源执行数据处理指令方面，上述执行模块1008还用于：
若数据处理指令是由第一计算节点的计算资源执行时，基于第一计算节点的计算资源执行数据处理指令；第一计算节点为目标计算节点；
若数据处理指令是由第二计算节点的计算资源执行时，则令虚拟机通过高速直连通道与第二计算节点对应的计算节点进行通讯连接，以使得虚拟机基于第二计算节点的计算资源执行数据处理指令；第二计算节点为目标计算节点。
上述基于跨主机资源的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储计算节点数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于跨主机资源的数据处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于跨主机资源的数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于跨主机资源的数据处理方法，其特征在于，所述方法包括：
在创建完虚拟机之后，根据所述虚拟机的主机资源信息确定硬件路由信息；所述主机资源信息是向所述虚拟资源提供计算资源的至少两个计算节点的信息；
将所述硬件路由信息存放于适配器中；
当接收到数据处理指令时，根据所述数据处理指令所需的计算资源和所述硬件路由信息，确定处理所述数据处理指令的目标计算节点；
基于所述目标计算节点的计算资源执行所述数据处理指令。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于虚拟机创建请求，确定所述虚拟机创建请求对应的申请计算资源和多个计算节点中每个计算节点的可用计算资源；
当所述申请计算资源大于所述每个计算节点的可用计算资源时，在所述多个计算节点中选择第一计算节点和至少一个第二计算节点，并在所述第一计算节点中创建初始化虚拟机；
将所述第一计算节点和所述第二计算节点的计算资源分配给所述初始化虚拟机，得到具备所述计算资源的所述虚拟机。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一计算节点和所述第二计算节点的计算资源分配给所述初始化虚拟机，得到具备所述计算资源的所述虚拟机，包括：
若所述申请计算资源大于预设资源值，则将所述第一计算节点的计算资源分配给所述初始化虚拟机，并将所述第二计算节点的计算资源分配给所述初始化虚拟机，得到具备所述计算资源的所述虚拟机；
若所述申请计算资源小于或等于所述预设资源值，则确定所述第一计算节点和所述第二计算节点的计算资源中的资源碎片，并将所述资源碎片分配给所述初始化虚拟机，得到具备所述计算资源的所述虚拟机。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于虚拟机创建请求，确定所述虚拟机创建请求对应的申请计算资源和所述至少两个计算节点中每个计算节点的可用计算资源；
当所述申请计算资源小于或等于所述至少两个计算节点中的优先计算节点的可用计算资源时，在所述优先计算节点中创建所述虚拟机。
5.根据权利要求1所述的方法，其特征在于，所述至少两个计算节点之间通过高速直连通道进行通讯连接。
6.根据权利要求5所述的方法，其特征在于，所述至少两个计算节点包括第一计算节点和至少一个第二计算节点，所述虚拟机是在所述第一计算节点上面创建的；所述基于所述目标计算节点的计算资源执行所述数据处理指令，包括：
若所述数据处理指令是由所述第一计算节点的计算资源执行时，基于所述第一计算节点的计算资源执行所述数据处理指令；所述第一计算节点为所述目标计算节点；
若所述数据处理指令是由所述第二计算节点的计算资源执行时，则令所述虚拟机通过所述高速直连通道与所述第二计算节点对应的计算节点进行通讯连接，以使得所述虚拟机基于所述第二计算节点的计算资源执行所述数据处理指令；所述第二计算节点为所述目标计算节点。
7.一种基于跨主机资源的数据处理装置，其特征在于，所述装置包括：
第一确定模块，用于在创建完虚拟机之后，根据所述虚拟机的主机资源信息确定硬件路由信息；所述主机资源信息是向所述虚拟资源提供计算资源的至少两个计算节点的信息；
存放模块，用于将所述硬件路由信息存放于适配器中；
第二确定模块，用于当接收到数据处理指令时，根据所述数据处理指令所需的计算资源和所述硬件路由信息，确定处理所述数据处理指令的目标计算节点；
执行模块，用于基于所述目标计算节点的计算资源执行所述数据处理指令。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310826789.5A 2023-07-06 2023-07-06 基于跨主机资源的数据处理方法及相关产品 Pending CN116932140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310826789.5A CN116932140A (zh) 2023-07-06 2023-07-06 基于跨主机资源的数据处理方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310826789.5A CN116932140A (zh) 2023-07-06 2023-07-06 基于跨主机资源的数据处理方法及相关产品

Publications (1)

Publication Number Publication Date
CN116932140A true CN116932140A (zh) 2023-10-24

Family

ID=88379863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310826789.5A Pending CN116932140A (zh) 2023-07-06 2023-07-06 基于跨主机资源的数据处理方法及相关产品

Country Status (1)

Country Link
CN (1) CN116932140A (zh)

Similar Documents

Publication Publication Date Title
JP7029554B2 (ja) 深層学習モデルをトレーニングするための方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
JP7127010B2 (ja) リソースの割り当て方法、装置、電子設備、コンピュータ可読媒体およびコンピュータプログラム
US10347013B2 (en) Session idle optimization for streaming server
CN106056529B (zh) 一种对用于图片识别的卷积神经网络训练的方法与设备
CN108052615B (zh) 访问请求的处理方法、装置、介质及电子设备
JP5620506B2 (ja) アプリケーション画像の表示方法及び装置
CN107360310B (zh) 移动终端及其资源管理方法
CN113467958B (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN105979007A (zh) 加速资源处理方法、装置及网络功能虚拟化系统
US20150133214A1 (en) Video encoding based on areas of interest
CN112825042A (zh) 资源管理方法和装置、电子设备及存储介质
US8849905B2 (en) Centralized computing
EP3779690A1 (en) Processor core scheduling method and apparatus, terminal, and storage medium
CN113419846B (zh) 资源配置方法和装置、电子设备及计算机可读存储介质
CN113849312A (zh) 数据处理任务的分配方法、装置、电子设备及存储介质
US20240296151A1 (en) Cloud server application management method, apparatus, device, computer-readable storage medium, and computer program product
CN108073423A (zh) 一种加速器加载方法、系统和加速器加载装置
CN116860391A (zh) Gpu算力资源调度方法、装置、设备和介质
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN117724852A (zh) 一种云电脑计算资源分配方法及装置
CN114253704A (zh) 一种分配资源的方法及装置
CN115361382B (zh) 基于数据群组的数据处理方法、装置、设备和存储介质
CN116244231A (zh) 一种数据传输方法、装置、系统、电子设备及存储介质
CN115396500A (zh) 基于专网的服务平台切换方法、系统及电子设备
CN109478151B (zh) 网络可访问数据卷修改

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination