CN109992410B - 一种资源调度方法及系统、一种计算设备及存储介质 - Google Patents

一种资源调度方法及系统、一种计算设备及存储介质 Download PDF

Info

Publication number
CN109992410B
CN109992410B CN201811435942.7A CN201811435942A CN109992410B CN 109992410 B CN109992410 B CN 109992410B CN 201811435942 A CN201811435942 A CN 201811435942A CN 109992410 B CN109992410 B CN 109992410B
Authority
CN
China
Prior art keywords
server
service
network channel
resource
allocation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811435942.7A
Other languages
English (en)
Other versions
CN109992410A (zh
Inventor
余璜
潘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Oceanbase Technology Co Ltd
Original Assignee
Beijing Oceanbase Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Oceanbase Technology Co Ltd filed Critical Beijing Oceanbase Technology Co Ltd
Priority to CN201811435942.7A priority Critical patent/CN109992410B/zh
Priority to CN202210258860.XA priority patent/CN114579316A/zh
Publication of CN109992410A publication Critical patent/CN109992410A/zh
Application granted granted Critical
Publication of CN109992410B publication Critical patent/CN109992410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供的一种资源调度方法及系统、一种计算设备及存储介质，其中，所述方法包括第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器；处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器；实现计算资源的动态分配，节省网络开销以及对目标业务的处理耗时。

Description

一种资源调度方法及系统、一种计算设备及存储介质
技术领域
本申请涉及计算机数据处理技术领域，特别涉及一种资源调度方法及系统、一种计算设备及存储介质。
背景技术
分布式关系型数据库(OceanBase)的并行查询系统执行数据表扫描(TableScan)，在查询遇到数据倾斜的场景，例如A机器上数据较少，扫描较快，B机器上数据较多，扫描较慢的场景中，当A机器上的任务执行完成后，就会闲置，而B机器上的任务则需要继续缓慢执行，即使A机器上拥有足够的闲置计算资源也无法充分利用，导致查询(Query)执行时长延长，但是当A机器上的任务执行完成后，通过远程读取B机器上的任务数据的方式来为B机器分担工作量，则会引入网络开销，当带宽不足时，读B机器上数据的耗时不可控，甚至可能出现B机器上的工作都已经完成，而A机器还卡在读B机器上的数据等情况发生。
发明内容
有鉴于此，本申请实施例提供了一种资源调度方法及系统、一种计算设备及存储介质，以解决现有技术中存在的技术缺陷。
第一方面，本说明书实施例公开了一种资源调度方法，包括：
第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；
所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；
所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；
在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器。
第二方面，本说明书实施例公开了一种资源调度系统，所述系统设置于第一服务器，包括：
获取模块，被配置为获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；
第一确定模块，被配置为确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；
控制模块，被配置为按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；
第一分配模块，被配置为在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器。
第三方面，本说明书实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现该指令被处理器执行时实现如上所述资源调度方法的步骤。
第四方面，本说明书实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述资源调度方法的步骤。
本说明书提供的一种资源调度方法及系统、一种计算设备及存储介质，其中，所述方法包括第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器；处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源分配至所述第三服务器；实现计算资源的动态分配，节省网络开销以及对目标业务的处理耗时。
附图说明
图1是本说明书一个或多个实施例提供的一种计算设备的示意图；
图2是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；
图3是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；
图4是本说明书一个或多个实施例提供的一种资源调度方法的方法流程图；
图5是本说明书一个或多个实施例提供的一种资源调度方法的方法示意图；
图6是本说明书一个或多个实施例提供的一种资源调度系统的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本发明一个或多个实施例涉及的名词术语进行解释。
MPP：英文全称Massively Parallel Processing，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。
OceanBase：是由蚂蚁金服、阿里巴巴自主研发的金融级分布式关系数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系数据库、低成本等特点。OceanBase具备在线水平扩展能力，创造了4200万次/秒处理峰值的世界纪录。
Query：一个数据表查询语句。
在本说明书中，提供了一种资源调度方法及系统、一种计算设备及存储介质，实际应用中，所述资源调度方法及系统可以应用在MPP对OceanBase的并行查询中，在下面的实施例中逐一进行详细说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示方法中的步骤。图2示出了根据本说明书一个或多个实施例的资源调度方法的示意性流程图，包括步骤202至步骤208。
步骤202：第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务。
本说明书一个或多个实施例中，所述目标业务包括但不限于查询业务等，所述计算资源包括处理所述目标业务的计算资源。例如在所述目标业务为查询业务的情况下，所述计算资源可以为执行该查询业务的总的计算资源。
其中，所述第一服务器还可以基于获取的目标业务以及计算资源确定处理所述目标业务的第二服务器和第三服务器；所述第一服务器、所述第二服务器和所述第三服务器无先后等级之分，根据实际应用进行协同工作。
步骤204：所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息。
本说明书一个或多个实施例中，所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，即所述第一服务器确定所述第二服务器处理所述第一业务的业务量以及确定所述第三服务器处理所述第二业务的业务量。
所述第一服务器确定所述第二服务器和所述第三服务器的计算资源的资源分配信息，即所述第一服务器确定所述第二服务器处理所述第一业务时需要的计算资源的量以及确定所述第三服务器处理所述第二业务时需要的计算资源的量。
本说明书一个或多个实施例中，所述计算资源可以包括第一计算资源和第二计算资源。
在所述计算资源包括第一计算资源和第二计算资源的情况下，所述第一服务器确定所述第二服务器和所述第三服务器的计算资源的资源分配信息包括：
所述第一服务器确定所述第二服务器的第一计算资源和所述第三服务器的第二计算资源的资源分配信息。
即所述第一服务器确定所述第二服务器处理所述第一业务时需要的计算资源的量为第一计算资源，确定所述第三服务器处理所述第二业务时需要的计算资源的量为第二计算资源。
步骤206：所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务。
本说明书一个或多个实施例中，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务，即所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器接收并使用第一计算资源处理所述第一业务，按照所述业务分配信息和所述资源分配信息控制所述第三服务器接收并使用第二计算资源处理所述第二业务。
步骤208：在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器。
本说明书一个或多个实施例中，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源分配至所述第三服务器包括：
在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器。
将所述计算资源包括5个计算资源份额组成为例，所述第一计算资源可以包括2个计算资源份额，所述第二计算资源可以包括3个计算资源份额。实际使用中，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器，即是所述第一服务器将所述第二服务器的2个计算资源份额中的可用计算资源份额分配至第三服务器，协助第三服务器的处理。
本说明书一个或多个实施例中，所述方法还包括：
在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的计算资源分配至所述第二服务器。
即在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源分配至所述第二服务器。
实际使用中，所述目标业务的第一业务和第二业务没有大小以及等级之分，所述第一服务器根据实际应用进行划分，然后随机分配给第二服务器和第三服务器处理；所述计算资源的第一计算资源和第二计算资源也没有大小以及等级之分，所述第一服务器可以根据分配给第二服务器和第三服务器处理的第一业务和第二业务，对第一计算资源和第二计算资源进行合理划分，分配给第二服务器和第三服务器处理第一业务和第二业务时使用。
将所述计算资源包括5个计算资源份额组成为例，所述第一计算资源可以包括2个计算资源份额，所述第二计算资源可以包括3个计算资源份额。实际使用中，在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源分配至所述第二服务器，即是所述第一服务器将所述第三服务器的3个计算资源份额中的可用计算资源份额分配至第二服务器，协助第二服务器的处理。
本说明书一个或多个实施例中，所述资源调度方法可以通过第一服务器实现对第二服务器的第一计算资源和第三服务器的第二计算资源的动态分配；一种情况，在第二服务器使用第一计算资源处理完成第一业务，而第三服务器使用第二计算资源未完成处理第二业务的情况下，所述第一服务器可以将第二服务器的第一计算资源分配至第三服务器上，协助第三服务器上的第二计算资源处理第二业务；另一种情况，在第三服务器使用第二计算资源处理完成第二业务，而第二服务器使用第一计算资源未完成处理第一业务的情况下，所述第一服务器可以将第三服务器的第二计算资源分配至第二服务器上，协助第二服务器上的第一计算资源处理第一业务，以避免增加新的计算资源，提高运行成本并且可以极大的降低对目标业务的处理耗时。
其中，处理器120可以执行图3所示方法中的步骤。图3示出了根据本说明书一个或多个实施例的资源调度方法的示意性流程图，包括步骤302至步骤310。
步骤302：第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务。
步骤304：所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器的第一计算资源和所述第三服务器的第二计算资源的资源分配信息。
步骤306：所述第一服务器基于所述业务分配信息和所述资源分配信息确定与所述第二服务器连接的第一网络通道，并确定与所述第三服务器连接的第二网络通道，其中，所述第一网络通道或者所述第二网络通道包括执行网络通道和预留网络通道。
本说明书一个或多个实施例中，所述第一网络通道和所述第二网络通道分别包括但不限于一条或一条以上的网络通道。所述执行网络通道和所述预留网络通道分别包括但不限于一条或一条以上的网络通道。
实际使用中，在所述第一网络通道包括执行网络和预留网络通道的情况下，所述第二网络通道为普通网络通道，在进行处理目标任务时，同时开启自身的网络通道；在所述第二网络通道包括执行网络和预留网络通道的情况下，所述第一网络通道为普通网络通道，在进行处理目标任务时，同时开启自身的网络通道。
步骤308：所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过第一网络通道接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述执行网络通道接收并处理所述第二业务。
步骤310：在所述第二服务器通过所述第一网络通道完成所述第一业务，并且所述第三服务器通过所述执行网络通道未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器。
本说明书一个或多个实施例中，以所述第二网络通道包括执行网络和预留网络通道，对所述第一服务器控制所述第二服务器和所述第三服务器处理目标业务进行详细说明。
即所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过第一网络通道接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述执行网络通道接收并处理所述第二业务。实际使用中，所述第二服务器和所述第三服务器对于第一业务和第二业务的处理为并行执行，以使不会存在闲置的计算资源。
在所述第二服务器通过所述第一网络通道完成所述第一业务，并且所述第三服务器通过所述执行网络通道未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器；采用提前预留网络通道进行第一计算资源的分配，不会增加新的网络通道，不需要重新构造第一服务器和第三服务器之间的网络通道，避免改变整体的网络拓扑结构，利于整个资源调度系统的维护。
本说明书一个或多个实施例中，还可以以所述第一网络通道包括执行网络和预留网络通道，对所述第一服务器控制所述第二服务器和所述第三服务器处理目标业务进行详细说明。
即所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过所述执行网络通道接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述第二网络通道接收并处理所述第二业务。
在所述第三服务器通过所述第二网络通道完成所述第二业务，并且所述第二服务器通过所述执行网络通道未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源通过所述预留网络通道分配至所述第二服务器。
本说明书一个或多个实施例中，所述资源调度方法实现第一服务器在第二服务器和第三服务器之间设置网络通道实现对目标业务的处理，并且采用在第二服务器或第三服务器提前预留网络通道进行第一计算资源或第二计算资源的动态分配，不会增加新的网络通道，不需要重新构造第一服务器与第二服务器和第三服务器之间的网络通道，避免改变整体的网络拓扑结构，利于整个资源调度系统的维护。
参见图4和图5，将本说明书一个或多个实施例提供的资源调度方法应用在OceanBase实现MPP查询业务中，包括步骤402至步骤410。
步骤402：第一服务器server X获取总的查询业务以及总的CPU4计算资源，并确定处理所述查询业务的第二服务器server A和第三服务器server B。
本说明书一个或多个实施例中，所述总的查询业务包括第一业务和第二业务；所述总的CPU4计算资源包括CPU1计算资源和CPU2计算资源。
步骤404：server X确定server A处理所述第一业务和server B处理所述第二业务的业务分配信息，并确定server A的CPU1计算资源和server B的CPU2计算资源的资源分配信息。
本说明书一个或多个实施例中，所述第一业务包括两个，所述第二业务信息包括六个。
步骤406：server X基于所述业务分配信息和所述资源分配信息确定与server A连接的第一网络通道AA，并确定与server B连接的执行网络通道BB和预留网络通道CC。
步骤408：server X按照所述业务分配信息和所述资源分配信息控制server A的CPU1通过第一网络通道AA接收并处理所述第一业务，并且按照所述业务分配信息和所述资源分配信息控制server B的CPU2通过执行网络通道BB接收并处理所述第二业务。
步骤410：在server A的CPU1计算资源通过所述第一网络通道AA完成所述第一业务，并且server B的CPU2计算资源通过执行网络通道BB未完成所述第二业务的情况下，server X激活预留网络通道CC，然后将server A的CPU1剩余的CPU3计算资源通过所述预留网络通道CC分配至server B。
本说明书一个或多个实施例中，所述资源调度方法包括server X与server A和server B之间设置网络通道实现对查询业务的处理，并且采用在server B之间提前预留网络通道CC，在server A完成第一业务处理后，将server A的剩余的CPU3计算资源通过该预留网络通道CC分配至server B，协助server B的CPU2计算资源对第二业务的处理，通过这种预留网络通道的方式不需要重新构造在进行计算资源调配时重新构建网络通道，避免改变整体的网络拓扑结构，利于整个资源调度系统的维护。
参见图6，本说明书一个或多个实施例提供了一种资源调度系统，所述系统设置于第一服务器602，包括：
获取模块6022，被配置为获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器604和第三服务器606，其中，所述目标业务包括第一业务和第二业务；
第一确定模块6024，被配置为确定所述第二服务器604处理所述第一业务和所述第三服务器606处理所述第二业务的业务分配信息，并确定所述第二服务器604和所述第三服务器606的计算资源的资源分配信息；
控制模块6026，被配置为按照所述业务分配信息和所述资源分配信息控制所述第二服务器604和所述第三服务器606接收并处理所述第一业务和所述第二业务；
第一分配模块6028，被配置为在所述第二服务器604完成所述第一业务，并且所述第三服务器606未完成所述第二业务的情况下，将所述第二服务器604剩余的计算资源分配至所述第三服务器606。
可选地，所述计算资源包括第一计算资源和第二计算资源，
第一确定模块6024，进一步被配置为：
确定所述第二服务器604的第一计算资源和所述第三服务器606的第二计算资源的资源分配信息。
可选地，所述第一分配模块6028，进一步被配置为：
在所述第二服务器604完成所述第一业务，并且所述第三服务器606未完成所述第二业务的情况下，将所述第二服务器604剩余的第一计算资源分配至所述第三服务器606。
可选地，所述装置还包括：
第二分配模块，被配置为在所述第三服务器606完成所述第二业务，并且所述第二服务器604未完成所述第一业务的情况下，将所述第三服务器606剩余的计算资源分配至所述第二服务器604。
可选地，所述第二分配模块，进一步被配置为：
在所述第三服务器606完成所述第二业务，并且所述第二服务器604未完成所述第一业务的情况下，将所述第三服务器606剩余的第二计算资源分配至所述第二服务器604。
可选地，所述装置还包括：
第二确定模块，被配置为基于所述业务分配信息和所述资源分配信息确定与所述第二服务器604连接的第一网络通道，并确定与所述第三服务器606连接的第二网络通道，其中，所述第一网络通道或者所述第二网络通道包括执行网络通道和预留网络通道。
可选地，所述控制模块6026，进一步被配置为：
按照所述业务分配信息和所述资源分配信息控制所述第二服务器604通过第一网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器606通过所述执行网络通道接收并处理所述第二业务。
可选地，所述第一分配模块6028，进一步被配置为：
在所述第二服务器604通过所述第一网络通道完成所述第一业务，并且所述第三服务器606通过所述执行网络通道未完成所述第二业务的情况下，将所述第二服务器604剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器606。
可选地，所述控制模块6026，进一步被配置为：
按照所述业务分配信息和所述资源分配信息控制所述第二服务器604通过所述执行网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器606通过所述第二网络通道接收并处理所述第二业务。
可选地，所述第二分配模块，进一步被配置为：
在所述第三服务器606通过所述第二网络通道完成所述第二业务，并且所述第二服务器604通过所述执行网络通道未完成所述第一业务的情况下，将所述第三服务器606剩余的第二计算资源通过所述预留网络通道分配至所述第二服务器604。
本说明书一个或多个实施例中，所述资源调度系统可以通过第一服务器实现对第二服务器的第一计算资源和第三服务器的第二计算资源的动态分配；一种情况，在第二服务器使用第一计算资源处理完成第一业务，而第三服务器使用第二计算资源未完成处理第二业务的情况下，所述第一服务器可以将第二服务器的第一计算资源分配至第三服务器上，协助第三服务器上的第二计算资源处理第二业务；另一种情况，在第三服务器使用第二计算资源处理完成第二业务，而第二服务器使用第一计算资源未完成处理第一业务的情况下，所述第一服务器可以将第三服务器的第二计算资源分配至第二服务器上，协助第二服务器上的第一计算资源处理第一业务，以避免增加新的计算资源，提高运行成本并且可以极大的降低对目标业务的处理耗时。
本说明书一实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现该指令被处理器执行时实现如上所述资源调度方法的步骤。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述资源调度方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的资源调度方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (20)

1.一种资源调度方法，其特征在于，包括：
第一服务器获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；
所述第一服务器确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；
所述第一服务器基于所述业务分配信息和所述资源分配信息确定与所述第二服务器连接的第一网络通道，并确定与所述第三服务器连接的第二网络通道，其中，所述第一网络通道或者所述第二网络通道包括执行网络通道和预留网络通道；
所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；
在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源通过所述预留网络通道分配至所述第三服务器；
其中，确定所述第二服务器和所述第三服务器的计算资源的资源分配信息，包括：
确定所述第二服务器处理所述第一业务时使用的计算资源的量以及确定所述第三服务器处理所述第二业务时使用的计算资源的量。
2.根据权利要求1所述的方法，其特征在于，所述计算资源包括第一计算资源和第二计算资源，
确定所述第二服务器和所述第三服务器的计算资源的资源分配信息包括：
确定所述第二服务器的第一计算资源和所述第三服务器的第二计算资源的资源分配信息。
3.根据权利要求2所述的方法，其特征在于，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的计算资源通过所述预留网络通道分配至所述第三服务器包括：
在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器。
4.根据权利要求3所述的方法，其特征在于，还包括：
在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的计算资源分配至所述第二服务器。
5.根据权利要求4所述的方法，其特征在于，在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的计算资源分配至所述第二服务器包括：
在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源分配至所述第二服务器。
6.根据权利要求5所述的方法，其特征在于，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务包括：
所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过第一网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述执行网络通道接收并处理所述第二业务。
7.根据权利要求6所述的方法，其特征在于，在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源分配至所述第三服务器包括：
在所述第二服务器通过所述第一网络通道完成所述第一业务，并且所述第三服务器通过所述执行网络通道未完成所述第二业务的情况下，所述第一服务器将所述第二服务器剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器。
8.根据权利要求5所述的方法，其特征在于，所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务包括：
所述第一服务器按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过所述执行网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述第二网络通道接收并处理所述第二业务。
9.根据权利要求8所述的方法，其特征在于，在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源分配至所述第二服务器包括：
在所述第三服务器通过所述第二网络通道完成所述第二业务，并且所述第二服务器通过所述执行网络通道未完成所述第一业务的情况下，所述第一服务器将所述第三服务器剩余的第二计算资源通过所述预留网络通道分配至所述第二服务器。
10.一种资源调度系统，其特征在于，所述系统设置于第一服务器，包括：
获取模块，被配置为获取目标业务以及计算资源，并确定处理所述目标业务的第二服务器和第三服务器，其中，所述目标业务包括第一业务和第二业务；
第一确定模块，被配置为确定所述第二服务器处理所述第一业务和所述第三服务器处理所述第二业务的业务分配信息，并确定所述第二服务器和所述第三服务器的计算资源的资源分配信息；
第二确定模块，被配置为基于所述业务分配信息和所述资源分配信息确定与所述第二服务器连接的第一网络通道，并确定与所述第三服务器连接的第二网络通道，其中，所述第一网络通道或者所述第二网络通道包括执行网络通道和预留网络通道；
控制模块，被配置为按照所述业务分配信息和所述资源分配信息控制所述第二服务器和所述第三服务器接收并处理所述第一业务和所述第二业务；
第一分配模块，被配置为在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的计算资源通过所述预留网络通道分配至所述第三服务器；
其中，第一确定模块进一步被配置为：
确定所述第二服务器处理所述第一业务时使用的计算资源的量以及确定所述第三服务器处理所述第二业务时使用的计算资源的量。
11.根据权利要求10所述的系统，其特征在于，所述计算资源包括第一计算资源和第二计算资源，
第一确定模块，进一步被配置为：
确定所述第二服务器的第一计算资源和所述第三服务器的第二计算资源的资源分配信息。
12.根据权利要求11所述的系统，其特征在于，所述第一分配模块，进一步被配置为：
在所述第二服务器完成所述第一业务，并且所述第三服务器未完成所述第二业务的情况下，将所述第二服务器剩余的第一计算资源分配至所述第三服务器。
13.根据权利要求12所述的系统，其特征在于，所述系统还包括：
第二分配模块，被配置为在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，将所述第三服务器剩余的计算资源分配至所述第二服务器。
14.根据权利要求13所述的系统，其特征在于，所述第二分配模块，进一步被配置为：
在所述第三服务器完成所述第二业务，并且所述第二服务器未完成所述第一业务的情况下，将所述第三服务器剩余的第二计算资源分配至所述第二服务器。
15.根据权利要求14所述的系统，其特征在于，所述控制模块，进一步被配置为：
按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过第一网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述执行网络通道接收并处理所述第二业务。
16.根据权利要求15所述的系统，其特征在于，所述第一分配模块，进一步被配置为：
在所述第二服务器通过所述第一网络通道完成所述第一业务，并且所述第三服务器通过所述执行网络通道未完成所述第二业务的情况下，将所述第二服务器剩余的第一计算资源通过所述预留网络通道分配至所述第三服务器。
17.根据权利要求14所述的系统，其特征在于，所述控制模块，进一步被配置为：
按照所述业务分配信息和所述资源分配信息控制所述第二服务器通过所述执行网络通道接收并处理所述第一业务，并且
按照所述业务分配信息和所述资源分配信息控制所述第三服务器通过所述第二网络通道接收并处理所述第二业务。
18.根据权利要求17所述的系统，其特征在于，所述第二分配模块，进一步被配置为：
在所述第三服务器通过所述第二网络通道完成所述第二业务，并且所述第二服务器通过所述执行网络通道未完成所述第一业务的情况下，将所述第三服务器剩余的第二计算资源通过所述预留网络通道分配至所述第二服务器。
19.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现该指令被处理器执行时实现权利要求1-9任意一项所述方法的步骤。
20.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-9任意一项所述方法的步骤。
CN201811435942.7A 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质 Active CN109992410B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811435942.7A CN109992410B (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质
CN202210258860.XA CN114579316A (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811435942.7A CN109992410B (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210258860.XA Division CN114579316A (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN109992410A CN109992410A (zh) 2019-07-09
CN109992410B true CN109992410B (zh) 2022-02-11

Family

ID=67128858

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811435942.7A Active CN109992410B (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质
CN202210258860.XA Pending CN114579316A (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210258860.XA Pending CN114579316A (zh) 2018-11-28 2018-11-28 一种资源调度方法及系统、一种计算设备及存储介质

Country Status (1)

Country Link
CN (2) CN109992410B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088719A (zh) * 2011-01-24 2011-06-08 中兴通讯股份有限公司 一种业务调度方法、系统及设备
CN104252390A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 资源调度方法、装置和系统
CN106790726A (zh) * 2017-03-30 2017-05-31 电子科技大学 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525728B2 (en) * 2013-09-17 2016-12-20 Bank Of America Corporation Prediction and distribution of resource demand

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088719A (zh) * 2011-01-24 2011-06-08 中兴通讯股份有限公司 一种业务调度方法、系统及设备
CN104252390A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 资源调度方法、装置和系统
CN106790726A (zh) * 2017-03-30 2017-05-31 电子科技大学 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法

Also Published As

Publication number Publication date
CN109992410A (zh) 2019-07-09
CN114579316A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110096336B (zh) 数据监控方法、装置、设备和介质
US10652360B2 (en) Access scheduling method and apparatus for terminal, and computer storage medium
CN109085999B (zh) 数据处理方法及处理系统
CN105700961A (zh) 业务容器创建方法及装置
CN110413673B (zh) 数据库数据统一采集与分发方法及系统
CN111538605B (zh) 一种分布式数据访问层中间件及命令执行方法和装置
CN106790332B (zh) 一种资源调度方法、系统及主节点
Song et al. Gaia scheduler: A kubernetes-based scheduler framework
CN111767047A (zh) 一种微服务组件管理方法和装置
CN111092921A (zh) 数据采集方法、装置及存储介质
CN111782404A (zh) 一种数据处理方法及相关设备
CN111539613A (zh) 案件分配方法及装置
CN112422251B (zh) 数据传输方法及装置、终端、存储介质
CN109992410B (zh) 一种资源调度方法及系统、一种计算设备及存储介质
EP4012573A1 (en) Graph reconstruction method and apparatus
CN108647090B (zh) 一种资源分配方法及装置、服务器集群
CN114579506A (zh) 处理器之间的通信方法、系统、存储介质以及处理器
TWI545453B (zh) 分散式系統及其資料庫管理方法及管理系統
JP2021508867A (ja) データベースをクエリするためのシステム、方法および装置
CN114385596A (zh) 数据处理方法及装置
CN110555816B (zh) 一种图片处理方法、装置、计算设备及存储介质
CN114035940A (zh) 资源分配方法以及装置
CN107613364B (zh) 一种跨存储区域图片轮播方法及系统
CN112231099A (zh) 一种处理器的内存访问方法及装置
CN117076140B (zh) 一种分布式计算方法、装置、设备、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210308

Address after: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Ant financial (Hangzhou) Network Technology Co.,Ltd.

Address before: 27 Hospital Road, George Town, Grand Cayman ky1-9008

Applicant before: Innovative advanced technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210906

Address after: Unit 02, 901, floor 9, unit 1, building 1, No. 1, Middle East Third Ring Road, Chaoyang District, Beijing 100022

Applicant after: Beijing Aoxing Beisi Technology Co.,Ltd.

Address before: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province 310000

Applicant before: Ant financial (Hangzhou) Network Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant