CN116339985A - 资源调度方法、装置、计算集群及数据库 - Google Patents

Abstract

本说明书实施例提供资源调度方法、装置、计算集群及数据库，所述资源调度方法包括：取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点；确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息；根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置；按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

Description

资源调度方法、装置、计算集群及数据库

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种资源调度方法。

背景技术

基于云的基础设施构建的云原生产品，能够深度使用云的计算能力来为用户提供瞬时海量数据处理能力，满足用户的使用体验。在使用云的计算能力进行数据处理时，要按照云原生产品的需求来提供相应的资源，例如，网络资源、存储资源、处理器规格、内存规格等等。

目前通常会采用同构资源池为云原生产品提供资源供给。资源池是按照资源信息结构的共性划分的，具有相同资源信息结构的多个资源池称为同构资源池。然而采用同构资源池为云原生产品提供资源供给，会导致跨云等异构资源池的场景下，资源池的资源利用率不高。

发明内容

有鉴于此，本说明书实施例提供了一种资源调度方法。本说明书一个或者多个实施例同时涉及一种资源调度装置，一种计算集群，一种数据库，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种资源调度方法，包括：获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点；确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息；根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置；按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

根据本说明书实施例的第二方面，提供了一种资源调度装置，包括：信息采集模块，被配置为获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点；需求确定模块，被配置为确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息；资源配置模块，被配置为根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置；调度执行模块，被配置为按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

根据本说明书实施例的第三方面，提供了一种计算集群，包括：多个资源池和应用了如本说明书任意实施例所述资源调度方法的主节点，一个所述资源池包括一个或多个计算节点。

根据本说明书实施例的第四方面，提供了一种数据库，包括：解析模块、多个计算引擎和如本说明书任意实施例所述的计算集群；所述解析模块，被配置为接收数据库查询请求，解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息，所述待调度计算引擎是所述多个计算引擎中的一个或多个，将所述待调度计算引擎对应的资源需求信息发送给所述计算集群的主节点，使所述主节点根据如本说明书任意实施例所述资源调度方法将所述待调度计算引擎调度到资源池的计算节点执行。

根据本说明书实施例的第五方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述资源调度方法的步骤。

根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述资源调度方法的步骤。

根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述资源调度方法的步骤。

本说明书一个实施例实现了资源调度方法，由于该方法获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，相当于实现了多个资源池的异构的资源信息的自感知，这样，在确定待调度计算引擎对应的资源需求信息之后，能够根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，也即，实现了计算引擎在多个资源池的异构的资源配置的自感知，从而按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行，达到了利用异构的多个资源池融合地支持云原生产品的大规模资源供给的目的，能够最大化的利用异构的多个资源池的基础设施，充分利用资源池的资源，满足异构的多个资源池融合资源供给和跨云等场景的需求。

附图说明

图1是本说明书一个实施例提供的一种资源调度方法的应用场景示意图；

图2是本说明书一个实施例提供的一种资源调度方法的流程图；

图3是本说明书一个实施例提供的一种资源调度方法的处理过程流程图；

图4是本说明书一个实施例提供的云原生数据仓库的四层架构示意图；

图5是本说明书一个实施例提供的一种资源调度装置的结构示意图；

图6是本说明书一个实施例提供的一种计算集群的结构示意图；

图7是本说明书一个实施例提供的一种数据库的结构示意图；

图8是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

云原生数仓：一种基于云基础设施构建的、资源弹性不受限制、存储弹性不受限制的数据仓库。

资源池：基于计算节点构成，用来为云原生产品提供资源供给。例如，在云原生数仓的应用场景下，可以为云原生数仓的查询提供资源供给。资源池的构建方式不限。例如，可以基于物理机构建自持资源池，也可以利用云的弹性服务作为资源池。

资源配置：一个计算引擎的执行会消耗一组计算资源，该组计算资源包括存储、网络、规格、日志、云环境等资源，对这些资源的组合的描述信息称为该组计算资源的资源配置。例如，在基于容器构建的计算集群中，会将用于运行计算引擎的容器组绑定到资源池的计算节点上来执行，容器组可以理解为一组计算资源。

调度技术：一种找到满足计算引擎需要且能够优化执行效率的资源配置的分配机制。

随着云基础设施的发展，各大云厂商都在大力推动云原生产品。例如，云原生数仓通过深度使用云的弹性计算以及跨云弹性计算能力来为用户提供瞬时海量数据分析能力，满足用户多云一体化的使用体验。但是，在基于资源池为云原生产品提供资源供给时，并没有充分利用资源池的资源。例如，一些云厂商针对弹性资源供给构建了自持的同构资源池，不存在资源异构的问题。但是，弹性规模受自持资源池的限制，且在跨云的场景下不同云的资源池独立无法做到资源复用。还有一些云厂商针对跨云场景使用跨云的资源，但是各个资源池是独立使用的，弹性规模受到各个独立资源池的限制，且各个资源池独立资源难以复用。

以云原生数仓为例，云原生数仓需要具备性能、成本等多维度的优秀能力，才能提供更好的服务。但是，当前的云原生数仓的多个资源池是隔离的。数仓实例的计算引擎运行在固态资源池中的物理计算节点和运行在弹性资源池中的虚拟计算节点时，在两种资源池中的资源使用方式不同，同一个实例只能运行在一个资源池中，资源库存难以共享。另外，运行在不同资源池的配置不同，呈现多样化的特点，由于无法自动融合地进行资源配置，导致数仓平台需要针对不同的资源池进行特殊的资源配置规划，给数仓平台带来极大的维护及扩展性成本。

有鉴于此，本说明书提供了一种资源调度方法，该方法获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，相当于实现了多个资源池的异构的资源信息的自感知，这样，在确定待调度计算引擎对应的资源需求信息之后，由于资源需求信息中包括预设的资源属性对应的资源信息，因此，能够根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，也即，实现了计算引擎在多个资源池的异构的资源配置的自感知，从而按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行，达到了利用异构的多个资源池融合地支持云原生产品的大规模资源供给的目的，能够最大化的利用异构的多个资源池的基础设施，充分利用资源池的资源，满足异构的多个资源池融合资源供给和跨云等场景的需求。可见，该方法实现了异构的多资源池融合地提供资源的目的，根据该方法的调度，计算引擎运行在不同的资源池里的资源配置可以是异构的，实现了自感知异构资源配置的统一调度方案。

具体地，在本说明书中，提供了一种资源调度方法，本说明书同时涉及一种资源调度装置，一种计算集群，一种数据库，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

参见图1，图1示出了根据本说明书一个实施例提供的一种资源调度方法的应用场景示意图。如图1所示，所述资源调度方法可以应用于基于主从结构的计算集群102中的主节点104。例如，所述资源调度方法在主节点104上，可以表现为资源调度服务。计算集群102是主从架构，具体由主节点104和多个计算节点组成，如计算节点106a、计算节点106b等等。主节点104中的资源调度服务1042用于为计算引擎确定在各个资源池中的资源配置，并将计算引擎调度到一个或多个资源池执行。计算节点106a、计算节点106b等计算节点内可以分别部署资源管理服务1062a、1062b来管理本节点的资源。另外，为了支持云的弹性资源加入计算集群，还可以支持虚拟节点，由虚拟节点来管理云的弹性资源。在计算集群中，虚拟节点和物理节点的地位是平等的，区别在于虚拟节点不需要实际的物理服务器作为部署载体。虚拟节点和物理节点均称为计算节点。基于图1所示的计算集群的架构，主节点104中的资源调度服务1042从各计算节点的资源管理服务(如图1所示资源管理服务1062a和资源管理服务1062b)获取多个资源池对应的资源供给信息，确定待调度计算引擎对应的资源需求信息，根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。另外，计算集群的主节点和计算节点中还可以包括其他组件，例如，接口服务、持久存储、控制器管理器、云控制器管理器、云提供商接口、网络代理，等等，其具体功能可以参见一般的容器集群中相应组件的功能，在此不再详细赘述。

所述计算节点可以是云端中提供各种服务的物理服务器或云服务器。例如，可以是为多个客户端提供通信服务，提供数据处理服务，提供计算服务，提供存储服务，提供数据库服务等服务的服务器。需要说明的是，云端中的计算节点可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

可以理解的是，上述应用场景仅用于对本说明书实施例提供的方法进行示例性说明，并不构成对本说明书实施例提供的方法的限制。本说明书实施例提供的方法可以对各种主从架构的计算集群的云原生产品进行资源调度。例如，本说明书实施例提供的方法可以应用于多租户弹性池化调度平台，用于对多租户云原生数据仓库的弹性资源进行调度；再例如，本说明书实施例提供的方法可以应用于多云的数据库的资源调度，满足数据仓库分析计算的需求。

还需要说明的是，本说明书所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

参见图2，图2示出了根据本说明书一个实施例提供的一种资源调度方法的流程图，具体包括以下步骤。

步骤202：获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点。

资源属性，也可以理解为资源类型，是对各种类型资源的抽象化描述。例如，所述资源属性可以包括网络资源、存储资源、处理器规格、内存规格、日志策略、安全隔离策略等等。

本说明书一个或更多实施例中，按照资源池的资源是否弹性来划分资源池，所述多个资源池可以包括固态资源池和弹性资源池。其中，固态资源池，是指在资源池创建并部署好后，资源不会随着使用动态增减，资源固定不变的资源池。动态资源池，是指在资源池创建并部署后，资源会随着使用动态调整，资源动态变化的资源池。

例如，某云数据库里有多个资源池，包括：“固态资源池”、“基于ECI的弹性资源池”和其他类型的弹性资源池。

再例如，某个固态资源池的资源属性对应的资源信息可以包括：存储能力对应云盘和共享LVM(Logical Volume Manager，逻辑卷管理)，网络能力对应ENI(ElasticNetwork Interface，弹性网卡)和ENI缓存，日志能力对应SideCar模式(将应用程序的功能划分为单独的进程，称为Sidecar模式)采集，运维能力对应自愈运维，等等。

又例如，某个弹性资源池的资源属性对应的资源信息可以包括：存储能力对应云盘和NAS(Network Attached Storage，网络附属存储)，网络能力对应ENI和CIP(CommonIndustrial Protocol,通用工业协议)，日志能力对应内置采集模式，运维能力对应全托管模式，等等。

步骤204：确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息。

所述待调度计算引擎的来源不限，可以是基于云构建的各种产品的计算引擎。当某个云产品的计算引擎需要调度到资源池来执行时，该计算引擎可以理解为待调度计算引擎。所述计算引擎，是指用于处理数据的程序。

例如，在云数据库的应用场景下，所述计算引擎可以包括一些用于对数据库数据进行查询等处理的数据库引擎。假设用户向云数据库发送了一条查询请求，云数据库接收到该查询请求后，会解析该查询请求，以确定完成该查询请求所需的数据库引擎以及数据库引擎所需的资源信息，包括执行该数据库引擎时需要提供的存储能力，网络能力等资源属性对应的资源信息。

本说明书一个或更多实施例中，为了后续更加方便地确定资源配置，所述资源需求信息面向不同计算引擎，面向不同资源池，可以与资源配置一样，具有预设的统一的资源属性。所述预设的资源属性可以是面向多个计算引擎，面向多个资源池抽象出的统一的资源属性。

步骤206：根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置。

确定所述资源配置，是指从资源池中筛选出符合计算引擎需要的资源，将筛选出的资源赋予给计算引擎使用的过程。所述资源配置，也可以理解为能够满足待调度计算引擎在对应资源池中运行时能力要求的资源的描述信息。

本说明书一个或更多实施例中，所述资源配置可以包括针对多个资源池抽象出的统一的资源属性对应的资源信息。资源配置中具有统一的资源属性，从而在服务层能够提供标准化的资源配置抽象，面对不同计算引擎，不同资源池时，其资源配置中的资源属性是相同的，区别在于资源属性对应的资源信息不同。例如，云原生数仓内部的不同计算引擎包括分析计算引擎、存储引擎、大数据分析计算引擎等引擎，面向这些引擎，可以抽象其运行时的资源配置，资源配置中的资源属性面向不同资源池/多云是一样的。

由于多个资源池的资源信息可能是异构的，存储能力，网络能力，日志能力等资源属性对应的资源信息各种各样，因此，同一计算引擎在不同资源池中，资源配置中的资源信息可能是不同的，也可以理解为资源配置不同。例如，某个数据库引擎在固态资源池的资源配置包括：存储资源使用本地的LVM盘作为临时存储，日志资源使用节点级别的采集服务，安全隔离使用rund模式(rund,是一种容器运行时模式)，等等。再例如，某个数据库引擎在弹性资源池的资源配置包括：存储资源使用持久化的云盘，日志资源使用SideCar模式，安全隔离使用云服务实现隔离，等等。

步骤208：按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

如上述数据库引擎的示例，按照上述数据库引擎在固态资源池和弹性资源池各自对应的资源配置，可以将数据库引擎调度到固态资源池和弹性资源池并发执行。

需要说明的是，在确定了计算引擎在多个资源池分别对应的资源配置的情况下，可使异构的多个资源池融合地为计算引擎提供资源支持，具体可以由多个资源池同时提供资源，也可以按需从中选择一个或多个资源池来提供资源支持，本说明书对此并不进行限制。

本说明书实施例提供的方法可以用于各种多资源池融合的云计算场景，如数据库计算引擎计算，函数计算，流计算等场景。例如，本说明书实施例提供的方法可以用来满足多租户云原生数仓的弹性资源保障以及多云数仓分析计算的需求，用于解决多资源池融合以及资源池异构整合的问题。

可见，由于该方法获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，相当于实现了多个资源池的异构的资源信息的自感知，这样，在确定待调度计算引擎对应的资源需求信息之后，能够根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，也即，实现了计算引擎在多个资源池的异构的资源配置的自感知，从而按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行，达到了利用异构的多个资源池融合地支持云原生产品的大规模资源供给的目的，能够最大化的利用异构的多个资源池的基础设施，充分利用资源池的资源，满足异构的多个资源池融合资源供给和跨云等场景的需求。

以本说明书实施例提供的方法应用于计算集群的主节点上的资源调度服务为例，所述获取所述多个资源池对应的资源供给信息，包括：

所述资源调度服务接收所述计算集群的计算节点上的资源管理服务上报的资源供给信息，所述资源管理服务，用于管理计算节点的资源属性对应的资源信息。

所述计算集群是具有主从架构的计算集群，包括主节点和若干个计算节点。

根据上述实施例，计算集群的主节点上运行了资源调度服务。所述资源调度服务，也可以理解为资源调度器，可以用于负责整个容器集群中容器组选择和绑定计算节点的工作，因此，按照确定的资源配置将待调度计算引擎调度到资源池，也可以理解为选择容器组和绑定计算节点的过程。所述资源调度服务在进行资源调度时，可以考虑包括节点亲和性、容器组亲和性、节点资源筛选、调度优先级、公平调度等等综合因素进行调度。绑定计算节点，可以理解为将容器组资源定义里的节点名字更新为调度到的目标计算节点。

计算节点上运行了资源管理服务，用于将本节点上的资源供给信息上报给主节点上的资源调度服务。所述资源管理服务，可以理解为计算节点上的一个代理组件，定期从主节点接收新的或修改的容器组规范，并确保容器组及其容器在期望规范下运行，另外还可以作为计算节点的监测组件，向主节点汇报运行状况。计算节点可以包括物理节点和/或虚拟节点。虚拟机节点会模拟节点资源对象，负责对容器组调度到本节点之后，对容器组进行生命周期管理。

可见，上述实施例在计算集群的主节点上应用本说明书实施例提供的方法，不仅能利用异构的多资源池融合地提供资源，还能够充分利用计算集群的主节点上原有调度器的调度能力，例如，综合节点亲和性调度优先级、公平调度等等综合因素进行调度，达到充分有效利用资源的目的。

资源调度一般会划分为多个调度阶段，例如，所述多个调度阶段从前到后，一般至少包括过滤阶段、打分阶段和绑定阶段。其中，过滤阶段，是选择符合容器组添加的计算节点；打分阶段，是对符合条件的计算节点进行打分；绑定阶段，是将容器组分配给分数最高的计算节点。本说明书一个或更多实施例中，为了更好地筛选各个调度阶段符合需求的资源，所述根据所述待调度计算引擎对应的资源需求信息和所述多个资源池各自的资源信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，包括：

预先为多个调度阶段分别设置对应的匹配规则，所述匹配规则包括待调度计算引擎的资源属性对应的资源信息筛选条件；

在任一个调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述任一个调度阶段对应的匹配规则，确定在所述任一个调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置。

结合上述实施例，本说明书一个或多个实施例中，所述在任一个调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述任一个调度阶段对应的匹配规则，确定在所述任一个调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置，包括：

在当前调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置；

如果在所述当前调度阶段之后，存在下一调度阶段，则将所述当前调度阶段的下一调度阶段作为更新的当前调度阶段，继续执行所述按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置的步骤；

如果在所述当前调度阶段之后，不存在下一调度阶段，则确定得到所述待调度计算引擎在所述多个资源池分别对应的资源配置。

例如，在多个调度阶段中的第一个调度阶段作为首个当前调度节点，第一个调度阶段完成之后，可以将第一个调度节点的下一调度阶段作为下一个当前调度阶段继续处理，以此类推，直到完成所有调度阶段。

通过上述实施例，能够在多个调度阶段从前到后，逐个调度阶段地利用预先设置的资源信息筛选条件，为待调度计算引擎筛选出匹配的资源配置，从而能够更加有效地屏蔽掉不同资源池的异构能力，尽快完成异构资源配置的自感知，尽快完成计算引擎到不同资源池的调度，提高调度效率。

本说明书一个或多个实施例中，为了能够更加便捷地将新增资源池扩展到多资源池融合的资源调度管理中，所述方法还包括：

当存在新增资源池时，在所述新增资源池的计算节点上设置所述资源管理服务，使所述资源管理服务将所在的计算节点的资源属性对应的资源信息上报给所述资源调度服务。

通过上述实施例，能够基于部署资源管理服务直接将新增的资源池扩展到多资源池融合的资源调度管理中，使该新增资源池与其他资源池一块融合地为云产品提供资源，因此本说明书实施例提供的方法可以很好地支持多云的云产品的处理能力。

下述结合附图3，以本说明书提供的资源调度方法在基于云构建的数据库的应用为例，对所述资源调度方法进行进一步说明。在该实施例中，所述确定待调度计算引擎对应的资源需求信息，包括：接收数据库查询请求；解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息。具体地，图3示出了本说明书一个实施例提供的一种资源调度方法的处理过程流程图，具体包括以下步骤。

步骤302：多个资源池的各个计算节点中的资源管理服务将本节点的资源供给信息上报给主节点的资源调度服务。

在各个计算节点中的资源管理服务将本节点的资源供给信息上报给主节点的资源调度服务后，资源调度服务会将每个资源池的计算节点上报的资源供给信息进行汇总，以便融合地进行资源调度。

步骤304：数据库接收查询请求，解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息。

步骤306：数据库调用计算集群中的主节点的资源调度服务，传入所述待调度计算引擎对应的资源需求信息。

步骤308：所述资源调度服务根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置。

在该步骤中，资源调度服务可以基于多个调度阶段分别对应的匹配规则，逐个调度阶段地筛选资源，并结合资源需求信息，针对不同资源池进行异构的资源配置的自动装配。

步骤310：所述资源调度服务按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

上述实施例中，数据库基于计算集群的主节点中的资源调度服务，实现了数据库计算引擎到不同资源池的异构的资源配置的自感知，也即实现了多资源池融合的调度方案，并支持查询级别的多个计算引擎跨多个资源池的调度，从而为多个资源池的资源调度在数据库场景上提供了融合能力，有效提高了基于云构建的数据库的处理效率和资源利用率。

为了使本说明书实施例提供的方法更加易于理解，下面，再结合图4所示的云原生数据仓库的四层架构示意图，对本说明书实施例提供的资源调度方法进行示例性说明。如图4所示，所述云原生数据仓库的四层架构包括：云原生数仓引擎资源配置、异构资源统一调度、资源池异构能力管理和数仓执行配置。该四层架构展示了从云原生数仓资源的抽象，到实际执行资源配置的调度框架。下面，对四层架构进行详细说明：

所述云原生数仓引擎资源配置：该层用于面向云原生数仓内部的不同计算引擎，抽象其运行时的资源配置。这套配置面向不同资源池/多云，其资源属性是一样的，从而在服务层提供了标准化的资源抽象。如图4所示的三个计算引擎A、B和C，其资源需求信息与资源配置一样，具有统一的资源属性，包括：存储、网络和亲和性。

所述异构资源统一调度：用于基于容器集群的主节点中的资源调度服务，为待调度计算引擎，在调度的过滤、打分、绑定三个阶段，通过各个阶段对应的匹配规则，逐个调度阶段地筛选资源，并结合资源需求信息，针对不同资源池进行异构的资源配置的自动装配。该层能够有效地屏蔽掉不同资源池的异构能力，尽快完成异构资源配置的自感知。另外，在资源调度服务中，还可以设置资源池能力采集模块，采集各个计算节点的资源管理服务上报的资源供给信息，从而资源池能力采集模块能够汇总各计算节点上报的资源供给信息，得到不同资源池的资源供给信息并管理起来。如图4所示的过滤、打分、绑定这三个调度阶段，分别设置了对应的匹配规则，其中包括计算引擎A、B和C各自的一个或多个资源属性对应的资源信息筛选条件。如，假设过滤阶段的匹配规则中，包括：计算引擎A没有对应的资源池筛选条件；计算引擎B的资源池筛选条件为“固定资源池和弹性资源池二选一”；计算引擎C没有对应的资源池筛选条件。再如，假设打分阶段的匹配规则中，包括：计算引擎A的资源池筛选条件为“优先固定资源池”；计算引擎B的资源池筛选条件为“固定池三副本物理打散”；计算引擎C没有对应的资源池筛选条件。绑定阶段的匹配规则如图4所示，在此不再详细赘述。

所述资源池异构能力管理：该层可以包括固态资源池和弹性资源池。当然，随着产品发展，该层可以包括各种类型的资源池，本说明书实施例提供的方法对此并不进行限制。该层可以在不同资源池的各个计算节点中设置资源管理服务来管理本节点的存储、网络、日志、运维等方面的异构资源能力。如图4所示，假设一个计算节点的资源管理服务上报的资源供给信息包括：存储能力对应云盘和共享LVM(Logical Volume Manager，逻辑卷管理)，网络能力对应ENI(Elastic Network Interface，弹性网卡)和ENI缓存，日志能力对应SideCar模式(将应用程序的功能划分为单独的进程，称为Sidecar模式)采集，运维能力对应自愈运维。其他计算节点的资源管理服务上报的资源供给信息在此不再详细赘述。

所述数仓执行配置：该层用于按照待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

基于上述四层架构，在云原生数据仓库应用本说明书实施例提供的所述资源调度方法，调度过程可以包括：

步骤一：多个资源池的各个计算节点中设置的资源管理服务上报本节点的网络、存储、规格等能力；

步骤二：云原生数据仓库的用户发出查询请求，云原生数据仓库解析查询请求，确定待调度计算引擎和待调度计算引擎对应的资源需求信息，并将待调度计算引擎对应的资源需求信息下发给资源调度服务，以便为数据仓库的查询批量申请资源；

步骤三：所述资源调度服务根据待调度计算引擎的资源需求信息、各个调度阶段对应的匹配规则和各资源池的资源供给信息，进行不同资源池的资源配置的自动装配，以完成基于规则的数仓计算引擎的异构资源自动感知调度；

步骤四：所述资源调度服务按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

如图4所示，装配好的计算引擎A、B和C在固态资源池和弹性资源池的资源配置是不同的，将装配好的计算引擎调度到对应资源池后，将按照装配好的资源配置来执行计算引擎。计算引擎A在固态资源池使用的系统盘是基于共享盘构建的，计算引擎B和C的数据盘是基于LVM共享盘构建的；而在弹性资源池,计算引擎A、B和C各自都使用独立的系统盘，同时计算引擎B和C的数据盘使用的是独立云盘。

通过上述调度过程可见，根据本说明书实施例提供的资源调度方法，使基于云构建的数据仓库支持数仓计算引擎到不同资源池的资源配置的自感知，从而支持数仓计算引擎在不同的资源池最大化的利用资源池的基础设施优势，构建包括细粒度计算资源规格、计算资源本地存储共享复用、规格库存自动感知等端到端的优化定制能力。并且，由于数据仓库会解析查询请求来确定待调度计算引擎和待调度计算引擎的资源需求信息，从而达到基于异构/跨云的多个资源池融合地为数仓实例在查询级别上提供资源，为查询级别的多个计算引擎，跨多个资源池地提供统一的资源弹性能力。另外，结合面向数仓的不同计算引擎抽象出通用的资源配置的实施例，当新增资源池时，只需要在新增资源池的计算节点中添加资源管理服务即可，扩展更加容易。

需要说明的是，上述基于云构建的数据仓库的应用场景，仅用于对本说明书实施例提供的方法进行示例性说明。本说明书实施例提供的方法的多个资源池可以包括固态资源池、动态资源池以及其他类型的资源池来完善跨云分析需求的资源供给。

与上述方法实施例相对应，本说明书还提供了资源调度装置实施例，图5示出了本说明书一个实施例提供的一种资源调度装置的结构示意图。如图5所示，该装置包括：

信息采集模块502，被配置为获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点。

需求确定模块504，被配置为确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息。

资源配置模块506，被配置为根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置。

调度执行模块508，被配置为按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

本说明书一个或更多实施例中，所述装置配置于计算集群的主节点上的资源调度器。所示信息采集模块，被配置为接收所述计算集群的计算节点上的资源管理服务上报的资源供给信息，所述资源管理服务，用于管理计算节点的资源属性对应的资源信息。

本说明书一个或更多实施例中，所述需求确定模块，包括：查询接收子模块，被配置为接收数据库查询请求；解析子模块，被配置为解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息。

本说明书一个或更多实施例中，所述资源配置模块，包括：

规则设置子模块，被配置为预先为多个调度阶段分别设置对应的匹配规则，所述多个调度阶段从前到后，至少包括过滤阶段、打分阶段和绑定阶段，所述匹配规则包括待调度计算引擎的资源属性对应的资源信息筛选条件；

阶段匹配子模块，被配置为在任一个调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述任一个调度阶段对应的匹配规则，确定在所述任一个调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置。

本说明书一个或更多实施例中，所述阶段匹配子模块，包括：

当前匹配子模块，被配置为在当前调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置；

阶段更新子模块，被配置为如果在所述当前调度阶段之后，存在下一调度阶段，则将所述当前调度阶段的下一调度阶段作为更新的当前调度阶段，继续执行所述按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置的步骤；

配置确定子模块，被配置为如果在所述当前调度阶段之后，不存在下一调度阶段，则确定得到所述待调度计算引擎在所述多个资源池分别对应的资源配置。

本说明书一个或更多实施例中，所述装置还包括：扩展模块，被配置为当存在新增资源池时，在所述新增资源池的计算节点上设置所述资源管理服务，使所述资源管理服务将所在的计算节点的资源属性对应的资源信息上报给所述资源调度服务。

上述为本实施例的一种资源调度装置的示意性方案。需要说明的是，该资源调度装置的技术方案与上述的资源调度方法的技术方案属于同一构思，资源调度装置的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了计算集群实施例，图6示出了本说明书一个实施例提供的一种计算集群的结构示意图。如图6所示，该计算集群包括：多个资源池602(图6中以资源池602A和资源池602B来示意多个资源池，在实际应用中可以设置更多资源池)和应用了如本说明书任意实施例所述资源调度方法的主节点604，一个所述资源池包括一个或多个计算节点。

上述为本实施例的一种计算集群的示意性方案。需要说明的是，该计算集群的技术方案与上述的资源调度方法的技术方案属于同一构思，计算集群的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了数据库实施例，图7示出了本说明书一个实施例提供的一种数据库的结构示意图。如图7所示，该数据库包括：解析模块702、多个计算引擎706(图7中以计算引擎706A和计算引擎706B来示意多个计算引擎，在实际应用中还可以设置更多计算引擎)和如本说明书任意实施例所述的计算集群704。

其中，所述解析模块702，被配置为接收数据库查询请求，解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息，所述待调度计算引擎是所述多个计算引擎中的一个或多个，将所述待调度计算引擎对应的资源需求信息发送给所述计算集群的主节点，使所述主节点根据如本说明书任意实施例所述资源调度方法将所述待调度计算引擎调度到资源池的计算节点执行。

上述为本实施例的一种数据库的示意性方案。需要说明的是，该数据库的技术方案与上述的资源调度方法的技术方案属于同一构思，数据库的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。

计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkinterface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)。

在本说明书的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备800还可以是移动式或静止式的服务器。

其中，处理器820用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述资源调度方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的资源调度方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述资源调度方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的资源调度方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述资源调度方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的资源调度方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述资源调度方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种资源调度方法，包括：

获取多个资源池对应的资源供给信息，所述资源供给信息包括资源池的资源属性对应的资源信息，一个所述资源池包括一个或多个计算节点；

确定待调度计算引擎对应的资源需求信息，所述资源需求信息包括预设的资源属性对应的资源信息；

根据所述待调度计算引擎对应的资源需求信息和所述多个资源池对应的资源供给信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置；

按照所述待调度计算引擎在所述多个资源池分别对应的资源配置，将所述待调度计算引擎调度到一个或多个资源池执行。

2.根据权利要求1所述的方法，所述方法应用于计算集群的主节点上的资源调度服务；

所述获取所述多个资源池对应的资源供给信息，包括：

所述资源调度服务接收所述计算集群的计算节点上的资源管理服务上报的资源供给信息，所述资源管理服务，用于管理计算节点的资源属性对应的资源信息。

3.根据权利要求1所述的方法，所述确定待调度计算引擎对应的资源需求信息，包括：

接收数据库查询请求；

解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息。

4.根据权利要求1所述的方法，所述根据所述待调度计算引擎对应的资源需求信息和所述多个资源池各自的资源信息，确定所述待调度计算引擎在所述多个资源池分别对应的资源配置，包括：

预先为多个调度阶段分别设置对应的匹配规则，所述多个调度阶段从前到后，至少包括过滤阶段、打分阶段和绑定阶段，所述匹配规则包括待调度计算引擎的资源属性对应的资源信息筛选条件；

在任一个调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述任一个调度阶段对应的匹配规则，确定在所述任一个调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置。

5.根据权利要求4所述的方法，所述在任一个调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述任一个调度阶段对应的匹配规则，确定在所述任一个调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置，包括：

在当前调度阶段，按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置；

如果在所述当前调度阶段之后，存在下一调度阶段，则将所述当前调度阶段的下一调度阶段作为更新的当前调度阶段，继续执行所述按照所述待调度计算引擎对应的资源需求信息、所述多个资源池各自的资源信息和所述当前调度阶段对应的匹配规则，从所述当前调度阶段的前一调度阶段确定的资源配置中，筛选出在所述当前调度阶段下，所述待调度计算引擎在所述多个资源池分别对应的资源配置的步骤；

如果在所述当前调度阶段之后，不存在下一调度阶段，则确定得到所述待调度计算引擎在所述多个资源池分别对应的资源配置。

6.根据权利要求3所述的方法，还包括：

当存在新增资源池时，在所述新增资源池的计算节点上设置所述资源管理服务，使所述资源管理服务将所在的计算节点的资源属性对应的资源信息上报给所述资源调度服务。

多个资源池对应的资源供给信息多个资源池对应的资源供给信息。

7.一种计算集群，包括：多个资源池和应用了如权利要求1-6任一项所述资源调度方法的主节点，一个所述资源池包括一个或多个计算节点。

8.一种数据库，包括：解析模块、多个计算引擎和计算集群；

所述解析模块，被配置为接收数据库查询请求，解析所述数据库查询请求，以确定所述数据库查询请求对应的待调度计算引擎及所述待调度计算引擎对应的资源需求信息，所述待调度计算引擎是所述多个计算引擎中的一个或多个，将所述待调度计算引擎对应的资源需求信息发送给所述计算集群，使所述计算集群中的主节点根据如权利要求1-6任一项所述资源调度方法将所述待调度计算引擎调度到资源池的计算节点执行。

9.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至6任意一项所述资源调度方法的步骤。

10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至6任意一项所述资源调度方法的步骤。

Images