CN115328663A - 基于PaaS平台进行资源调度的方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种基于PaaS平台进行资源调度的方法、装置、设备和存储介质，涉及大数据领域。该方法包括：在接收到上层应用基于待处理任务发起的资源调度请求之后，若资源池中存在待处理任务所需调度的目标资源，从资源池中调度目标资源；预设的资源池包括从算力网络中预先申请的备用资源；算力网络包括由分布式集群提供的资源；否则以预设方式从算力网络调度目标资源；基于调度的目标资源处理待处理任务。其中，算力网络集中了多个集群的资源。本申请实施例所提供的方案满足了上层应用对算力资源调度模式的多样化需求。

Description

基于PaaS平台进行资源调度的方法、装置、设备和存储介质

技术领域

本申请涉及大数据技术领域，具体而言，本申请涉及一种基于PaaS平台进行资源调度的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

在各种算力需求中，大数据应用是对算力需求较旺盛的领域，原有大数据应用主要针对单一集群下的需求支撑。大数据应用是基于有向无环图或者大规模并行处理迭代的计算模式，是典型的分布式计算模型。当数据量很小时，很少的几台机器或单个集群内就能解决。而随着大数据产业的蓬勃发展，越来越多的企业面临着更大规模、更高增长率、更加多样化的数据处理的挑战。分布式计算模型将由传统的基于单一集群的服务支撑模式，演进到由基于网络连接下的分布式集群的一体化支撑模式，进而有效的支撑越来越广泛的分布式应用。

受限于当前企业集群部署模式和网络环境等情况限制，当前大数据PaaS结合云原生相关技术是基于单个集群去实现的，资源调度的范围被限制在该单个集群内。虽然企业内部运行多个Kubernetes集群已变得颇为常见，通过Kubernetes联邦集群机制可以更好的实现业务隔离、故障隔离及高可用，但并未解决集群之间资源的横向连接打通。对于用户来说，多集群联邦模式其实并不是刚需，更需要的是针对多集群间资源的横向管理。如，在单个集群内下，在应用运行过程中只能实现基于单个集群下的“有限”的资源动态扩缩容。

基于算力网络可以将原来算力只能在各自集群进行内部自平衡的“星形模式”，过度到基于网状架构下的算力互联互通模式，实现在整个网络下的自平衡。PaaS也将由传统的基于单一集群的服务支撑模式，演进到由基于网络连接下的针对各个集群进行一体化的支撑模式。因此，如何在当前算力网络基础上通过标准化模式进行资源动态调度，以支撑大数据领域任务处理成为了急需解决的问题。

发明内容

本申请实施例的目的在于提供一种基于PaaS平台进行资源调度的方法、装置、电子设备以及相关产品，以解决上述技术问题之一。为了实现该目的，本申请实施例提供的方案如下所示。

一方面，本申请实施例提供了一种基于PaaS平台进行资源调度的方法，该方法包括：

接收上层应用基于待处理任务发送的资源调度请求；基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源；基于目标资源处理待处理任务。

可选的，基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，包括：

根据资源描述信息预估待处理任务所需调度的第一目标资源；若预设的资源池中存在第一目标资源，从资源池中调度第一目标资源；若资源池中不存在第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。

可选的，确定预设的资源池中存在第一目标资源，包括：

根据第一目标资源与资源池中的算力资源进行匹配；将匹配得到的算力资源确定为第一目标资源。

可选的，资源描述信息包括：

计算资源的描述信息、存储资源的描述信息、和资源选择策略中的至少一项；所述资源选择策略包括最优时间策略、最优成本策略和最优路径策略中的至少一项。

可选的，在PaaS平台的初始化阶段，该方法还包括：

创建资源池；从算力网络中获取预设数量的算力资源，并存放至资源池；算力资源包括计算资源和存储资源。

可选的，在接收上层应用基于待处理任务发送的资源调度请求之前，方法还包括：

获取资源池中算力资源的利用率；若利用率在预设范围之外，基于预设的资源管理策略对资源池中的算力资源进行调度管理。

可选的，预设方式包括以下任一种方式：

第一方式；以第一方式调度的目标资源为基础性资源；第二方式；以第二方式调度的目标资源为具备容器化的计算环境的资源，和/或具备文件/对象存储环境的资源；第三方式；以第三方式调度的目标资源为大数据计算服务资源，和/或存储服务资源。

其中，服务组件为通过基础资源创建的，并用于处理任务。

另一方面，本申请实施例提供了一种基于PaaS平台进行资源调度的装置，该装置包括：

收发模块，用于接收上层应用基于待处理任务发送的资源调度请求。

调度模块，用于基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；预设的资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源。

处理模块，用于基于目标资源处理待处理任务。

再一方面，本申请提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，其特征在于，处理器执行计算机程序以实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。

本申请实施例提供的技术方案带来的有益效果是：

本申请实施例提供了一种基于PaaS平台的进行资源调度方法，该方法中，PaaS平台与算力网络相连接，而该算力网络包括由分布式集群提供的算力资源，因此，该方法对PaaS平台可调度的资源进行了扩充。在实施该方法之前，为预设的资源池从算力网络中调度算力资源，从而实现对资源的批发式调度；在接收到资源调度请求之后，从预设的资源池，和/或算力资源中调度目标资源，并基于目标资源处理待处理任务。而从算力网络中临时调度资源的方式，也实现了对资源的临时申请式调度。本申请实施例提供的一种基于PaaS平台的进行资源调度方案，通过与算力网络相连接的方式实现了对PaaS平台所能调度的算力资源的有效扩容。基于已创建的资源池实现了对资源的批发式调度，所批发的资源可以不完全在一个集群，如对于计算资源，可从北京、浙江等多个区域实施调度；以及基于算力网络进行资源调度的方式实现了对资源的临时申请式调度，则实现了对算力资源调度模式的多样化。

本申请实施例所提供的方案结合大数据领域针对算力需求特点，基于算力网络与PaaS平台之间打造的标准化数智插座，可以支撑大数据场景下对算网资源的按需调用适配，为大数据应用提供最优的、按需且灵活的算网资源服务。通过PaaS平台与算力网络构建“批发+零售”两种算力调用接口，满足了大数据领域应用对算力资源调度模式的多样化需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供一种资源管理组件的结构示意图；

图2为本申请实施例提供的一种基于PaaS平台的进行资源调度方法的流程示意图；

图3a为本申请实施例提供的一种执行资源管理策略的流程示意图；

图3b为本申请实施例提供的一种基于PaaS平台进行资源调度的应用场景示意图；

图4a为本申请实施例提供的一种基于PaaS平台的进行资源调度装置的结构示意图；

图4b为本申请实施例提供的一种基于PaaS平台的进行资源调度装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

算力网络，一种对边缘节点、终端节点、云节点等各级节点的算力资源进行整合、组织和调度的网络。其中，算力资源具体可以包括：如CPU、GPU、存储器、软件等各种软硬件资源。基于构建的算力网络，可以将计算资源和存储资源等对外服务模式从“资源式”转变为“任务式”。

本申请实施例正是基于该算力网络，提供了一种基于PaaS平台进行资源调度的方法，该方法可以应用于任一电子设备，如服务器。可选的，该方法可以实现为PaaS平台的一个功能组件，如资源管理组件。PaaS平台通过该资源管理组件管理资源交互的过程。

可选的，该资源管理组件由多个模块组成，如：资源分配管理模块、资源使用评估模块、资源释放模块、资源视图模块、服务封装模块和资源预估模块。

其中，实施基于PaaS平台进行资源调度的方法时，具体包括如下过程：在启动PaaS平台之后，构建资源池，并从算力网络中预先申请算力资源并存放至该资源池中；接收上层应用基于待处理任务发送的资源调度请求；基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，最后基于目标资源处理待处理任务。其中，算力网络包括由分布式集群提供的资源。本申请实施例提供的一种基于PaaS平台的进行资源调度方案，通过与算力网络相连接的方式实现了对PaaS平台所能调度的算力资源的有效扩容。另外，基于已资源池实现了对资源的批发式调度的使用模式，既可以有效解决大数据领域应用针对资源需求的“一次申请，长久占用”的使用特点，还可以有效减少因为数据处理任务频繁调用算网接口（PaaS平台向算力网络申请资源的接口）请求资源和服务准备的时间消耗，以及基于算力网络进行资源调度的方式实现了对资源的临时申请式调度。本申请实施例所提供的方案满足了上层应用对算力资源调度模式的多样化需求。

下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

图1示出了一种PaaS平台中资源管理组件的结构示意图。如图1所示，资源管理组件100包括：分配管理模块110，使用评估模块120，释放模块130，视图展示模块140，服务封装150，资源预估模块160。

分配管理模块110和资源预估模块160具体用于：PaaS平台接收到上层应用基于待处理任务发送的资源调度请求。若该资源调度请求中携带资源描述信息，由资源预估模块160根据资源描述信息确定所需调度的第一目标资源的信息，并确定该资源池中是否存在该第一目标资源。如果资源池中存在部分或者全部的第一目标资源，则由分配管理模块110将部分或者全部的目标资源分配给发送资源调度请求得上层应用；如果资源池中部分或者全部的目标资源都不存在，则由分配管理模块110根据第一目标资源的信息或者资源描述信息向算力网络申请第二目标资源。若该资源调度请求中未携带资源描述信息，则按照默认的资源配置从预设的资源池中调度算力资源。

使用评估模块120具体用于：监控资源池中每类算力资源的使用率。如，若计算资源的使用率超过了预设的第一阈值，则需要通过分配管理模块110向算力网络调度符合条件的计算资源；若计算资源的使用率未达到预设的第二阈值，则需要通过分配管理模块110释放部分计算资源，以使计算资源的使用率达到第二阈值。

视图展示模块140具体用于：展示当前资源池中的资源使用情况。

服务封装模块150具体用于：针对为上层应用分配的计算资源和存储资源，实现面向上层任务调用的服务化封装支撑。

释放模块130具体用于：若资源池中的存储资源和/或计算资源有更优的替代，则可以向算力网络释放该存储资源和/或计算资源。针对临时申请的资源，在使用完成后，判断是否需要将本次资源纳入“批发式”资源池。如果不需要，通过与算力网络交互，实现对本次临时申请资源的及时释放。

其中，算力网络对于资源池中每项算力资源配置了指定标识，并且不会对这部分的算力资源做其他的安排。

在相关技术中，PaaS平台还包括其他模块，如租户管理模块、服务管理模块，安全管理模块，应用全生命周期管理模块和运营管理模块等等。关于这些模块的介绍和使用过程，可以参考相关技术，为描述简便，在此不再赘述。

基于图1所示的包括资源管理组件的PaaS平台，本申请实施例还提供了一种基于PaaS平台进行资源调度的方法。如图2所示，该方法包括步骤S210~S230。

S210，接收上层应用基于待处理任务发送的资源调度请求。

其中，上层应用在启动并运行之后，在运行期间产生一个或者多个任务，这些任务需要交由算力网络中各种存储资源和/或计算资源去处理。每一上层应用对应一个租户，而一个租户可以对应一个或者多个上层应用。

其中，资源调度请求中应携带标识类信息。如，该标识类信息具体可以包括：上层应用所属租户的租户标识，上层应用的应用标识，待处理任务的任务标识。

可选的，资源调度请求中还可以携带资源描述信息。如，该资源描述信息可以包括以下至少一项：

（1）计算资源的描述信息，如处理本次待处理任务所需的计算资源，该计算资源的类型（如CPU还是GPU），该计算资源的度量化之后的数值；

（2）存储资源的描述信息，处理本次待处理任务所得结果的存储信息，如处理结果相应的数据量所需的空间的大小、存储类型（如，Hbase、HUDI等）；

（3）资源选择策略，在确定目标资源时所需考量的因素，由一个或者多个策略组成，如最优时间策略，处理待处理任务所需的时间最短；最优成本策略，目标资源所需的成本最优；最优路径策略，调度的目标资源的路径最优。应当指出，可根据上层应用的任务情形提供该项信息，若无该项描述信息，默认最优成本策略为资源选择策略。

可选的，在接收到资源调度请求之后，可确认该资源调度请求中是否携带资源描述信息。

S220，基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源。

可选的，在接收到资源调度请求之前，或者在PaaS平台的初始化阶段，该方法还可以包括：

创建资源池；从所述算力网络中申请预设数量的算力资源，并存放至资源池；算力资源包括计算资源和存储资源。

可选的，在向算力网络申请预设数量的备用资源时，还可以以地域的形式申请备用资源。具体地，算力网络的资源分布于多个区域，在每一区域分别申请预设数量的算力资源。如，算力网络中的算力资源分布于重庆、甘肃和宁夏等多个地区，那么在创建资源池的时候，可以分别在重庆、甘肃和宁夏的区域各自申请符合条件的算力资源，并存放于资源池中进行管理。

可选的，在为资源池调度算力资源的操作结束之后，还可以包括：

以视图形式展示资源池中每项算力资源。如，展示每项算力资源的使用详情，如：资源的使用率，资源的剩余量；每项算力资源所属节点的信息。

可选的，在接收上层应用基于待处理任务发送的资源调度请求之前，该方法还包括：

获取资源池中算力资源的利用率；若利用率在预设范围之外，基于预设的资源管理策略对资源池中的算力资源进行调度管理。其中，该预设范围由第一阈值和第二阈值确定，第二阈值小于第一阈值。

具体地，若备用资源的利用率小于第二阈值，向算力网络调度新的算力资源；其中，在调度新的算力资源之后，算力资源的利用率将不小于第二阈值。

具体地，若备用资源的利用率大于第一阈值，向算力网络释放部分未使用的算力资源。其中，在进行释放操作之后，资源池中算力资源的利用率将不大于第一阈值。可选的，释放算力资源表示将该部分的算力资源所配置的隶属于资源池的标签去掉，并向算力网络发送释放通知。

为了更清楚地理解资源管理策略，本申请实施例还提供了一个示例性的流程示例，具体如图3a所示的一种执行资源管理策略的流程示意图。

该流程主要包括如下过程：在资源池初始化的阶段，获取资源池中当前时刻的算力资源的利用率G。判断G是否小于G1；若G小于G1（相当于第二阈值），向算力网络申请备用的算力资源，以更新G，使其不小于G1；若G不小于G1，进一步判断G与G2（相当于第一阈值）的关系。若G大于G2，则向算力网络释放部分备用的算力资源，以更新G，使其不大于G2。其中，G1小于G2。

其中，在资源池中的资源得到更新之后，根据资源池中的算力资源更新展示内容。

S230，基于调度的目标资源处理待处理任务。

具体地，可以根据上层应用的标识获取该上层应用的程序文件，进而根据本次任务标识将本次任务脚本以镜像化模式部署至目标计算资源相应的节点上，下一步启动本次任务。

本申请实施例提供的一种基于PaaS平台的进行资源调度方案，通过与算力网络相连接的方式实现了对算力资源的动态调用下的衔接管理；另外，还通过已创建的资源池实现资源的批发式申请使用模式，可以有效解决大数据领域应用针对资源需求的“一次申请，长久占用”的使用特点，或者按照待处理任务的资源需求向算力网络直接申请资源调度，满足了大数据领域应用对算力资源调度模式的多样化需求。

接下来将针对PaaS平台如何反馈目标资源进行详细的说明。其中，将从资源池中调度的算力资源标记为第一目标资源，将从算力网络中调度的算力资源标记为第二目标资源。目标资源包括第一目标资源，和/或第二目标资源。

在一种可选的实施例中，基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，包括：

根据资源描述信息预估待处理任务所需调度的第一目标资源；若预设的资源池中存在第一目标资源，从资源池中调度第一目标资源。可选的，根据第一目标资源与资源池中的算力资源进行匹配；将匹配得到的算力资源确定为第一目标资源。

具体地，根据资源描述信息中的计算资源的描述信息，以及相应的资源选择策略预估所需调度的第一目标资源中的计算资源；根据资源描述信息中的存储资源的描述信息，以及相应的资源选择策略预估所需调度的第一目标资源中的存储资源。以计算资源为例，如资源描述信息为：10个CPU，资源选择策略为最优路径策略。当前，资源池总共有30个CPU可供调度，其中，该30个CPU有12个CPU隶属于同一个节点集群，因此可将该节点集群中的10个CPU作为第一目标资源中的算力资源。且10个CPU与参与计算的数据在一个节点集群，可减少数据的传输。

在一个可选的实施例中，若预设的资源池中不存在第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。

其实，得到目标资源之后，最终需要基于得到的目标资源生成大数据计算和/或存储服务资源，如Spark、Flink、MapReduce、Hbase、Hudi等。这些大数据服务资源可以直接被上层应用的镜像调用，以便处理待处理任务。而这些服务性资源则是基于一些基础资源构建的。如，Spark容器化就是基于选择后的计算资源节点部署运行的，Hbase和Hudi就是基于块存储，或者文件存储/对象存储构建的专有化存储服务。其中，PaaS平台与算力网络进行交互时，根据资源描述信息创建调度请求并发送至算力网络。算力网络根据调度请求中携带的信息确定以何种方式反馈所需调度的第二目标资源。

可选的，该反馈方式存在3种，分别为：

第一方式；以第一方式调度的目标资源为基础性资源。

可选的，在基础性资源中，计算资源包括GPU、CPU等，存储资源包括：块存储、对象存储等。其中，算力网络将提供该基础性资源的节点的位置信息，以及所提供的具体的基础性资源进行反馈，并对这些资源进行上锁。

可选的，该调度请求中携带的信息可以包括：计算资源的描述信息，如计算资源的类型和需求量；存储资源的描述信息，如存储资源的类型和需求量；资源选择策略。另外，还可以携带的信息中还可以包括执行优先级，网络带宽和网络时延。

第二方式；以第二方式调度的目标资源为具备容器化的计算环境的资源，或者具备文件/对象存储环境的资源。

可选的，具备容器化的计算环境的资源并非大数据应用所需的计算资源，需要进一步地部署（如，在该环境上部署相应的软件），才可得到类似Spark、Flink、MapReduce和SparkGraphX等计算服务资源。具备文件/对象存储环境的资源也需要得到进一步的部署，从而得到如Hbase和Hudi等存储服务资源。

第三方式；以第三方式调度的目标资源为大数据计算服务资源，和/或存储服务资源。

可选的，在服务器型资源中，计算资源可以为Spark、Flink、MapReduce和SparkGraphX等，存储资源可以为Hbase和Hudi等。其中，以第三方式调度时，可直接提供该服务资源的节点的地址信息。

在一个可选的实施例中，可以结合第一方式、第二方式和第三方式从算力网络中分别调度计算资源以及存储资源，也即从算力网络中调度资源的预设方式为第一方式、第二方式和第三方式中至少一种。如以第三方式调度计算资源，而以第一方式调度存储资源。

PaaS平台只需向算力网络传递任务程序文件，算力网络负责资源准备，并根据任务程序文件完成镜像打包、部署及运行。

为了更清楚地理解PaaS平台和算力网络之间的交互过程，本申请实施例还提供了一个示例。

本示例中，存在多种计算资源的类型，以及存储资源的类型。其中，计算资源的标识和类型：C1，CPU；C2，GPU；C3，FPGA；C4，ASIC。存储资源的标识和类型：S1，文件存储；S2，对象存储；S3，裸存储。PaaS平台向算力网络输入的信息如下所示：

计算资源，10个CPU；对象存储，20G；带宽，500M；网络时延，小于1s。则PaaS平台向算力网络输入的信息具体可以参考表1。

表1

计算资源的类型	计算资源大小	存储资源的类型	存储资源的容量	网络带宽	网络延时
						C1	10	S2	20	500	1

算力网络返回信息可以参考表2。

表2

计算资源的类型	计算资源大小	节点位置	存储资源的类型	存储资源的容量	节点位置
						C1	10	10.1.2.4	S2	20	10.2.2.5

为了更清楚地理解本申请实施例提供的一种基于PaaS平台进行资源调度的方案，本申请实施例结合图3b所示的一种基于PaaS平台进行资源调度的应用场景示例来进行具体的说明。

图3b所示的流程图示出了本示例的具体过程，该过程包括步骤S1001~S1010。

S1001，PaaS平台的初始化。

具体地，在PaaS平台启动之后，初始化资源池。具体地，向算力网络批发一部分算力资源，并放置于该资源池中进行管理。另外，资源池中的算力资源可以按照地区进行分类。

S1002，上层应用向PaaS平台发送资源调度请求。

S1003，PaaS平台预估调度所需的算力资源。

具体地，PaaS平台接收到资源调度请求之后，预估资源池中是否存在满足该待处理任务所需的算力资源。

具体地，PaaS平台判断资源池中是否存在预估的第一目标资源，若存在则执行S1004；若不存在，则执行S1005。

S1004，基于资源池提供的第一目标资源进行业务处理。

若资源池中存在待处理任务所需调度的目标资源时，从资源池中调度目标资源，并进行业务处理。

S1005，基于算力网络提供的第二目标资源进行业务处理。

若资源池中不存在待处理任务所需调度的第一目标资源时，根据资源调度请求中携带的资源描述信息向算力网路发送调度申请，以调度符合条件的第二目标资源。

S1006，PaaS平台向上层应用反馈业务处理结果。

图4a示出了一种基于PaaS平台进行资源调度的装置。如图4a所示，该装置400包括如下模块。

收发模块410，用于接收上层应用基于待处理任务发送的资源调度请求。

调度模块420，用于基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；预设的资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源。

处理模块430，用于基于目标资源处理待处理任务。

可选的，调度模块420在基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源中，具体用于：

根据资源描述信息预估待处理任务所需调度的第一目标资源；若预设的资源池中存在第一目标资源，从资源池中调度第一目标资源；若资源池中不存在第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。

可选的，调度模块420在确定预设的资源池中存在第一目标资源中，具体用于：

根据第一目标资源与资源池中的算力资源进行匹配；将匹配得到的算力资源确定为第一目标资源。

可选的，资源描述信息包括：

计算资源的描述信息、存储资源的描述信息、和资源选择策略中的至少一项；所述资源选择策略包括最优时间策略、最优成本策略和最优路径策略中的至少一项。

可选的，参见图4b，装置400还包括初始化模块440，初始化模块440在PaaS平台的初始化阶段中，具体用于：

创建资源池；从算力网络中获取预设数量的算力资源，并存放至资源池；算力资源包括计算资源和存储资源。

可选的，调度模块420在接收上层应用基于待处理任务发送的资源调度请求之前，还可以用于：

获取资源池中算力资源的利用率；若利用率在预设范围之外，基于预设的资源管理策略对资源池中的算力资源进行调度管理。

可选的，预设方式包括以下至少一种方式：

第一方式；以第一方式调度的目标资源为基础性资源；

第二方式；以第二方式调度的目标资源为具备容器化的计算环境的资源，和/或具备文件/对象存储环境的资源；

第三方式；以第三方式调度的目标资源为大数据计算服务资源，和/或存储服务资源。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现一种基于PaaS平台进行资源调度的方法的步骤，与相关技术相比可实现：满足了上层应用对算力资源调度模式的多样化需求。

在一个可选实施例中提供了一种电子设备，如图5所示，图5所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选的，电子设备5000还可以包括收发器5004，收发器5004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器5003用于存储执行本申请实施例的计算机程序，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的计算机程序，以实现前述方法实施例所示的步骤。

其中，电子设备包括但不限于：计算机。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (11)

1.一种基于PaaS平台进行资源调度的方法，其特征在于，所述方法包括：

接收上层应用基于待处理任务发送的资源调度请求；

基于所述资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；所述资源池包括从所述算力网络中预先申请的算力资源；所述算力网络包括由分布式集群提供的算力资源；

基于所述目标资源处理所述待处理任务。

2.根据权利要求1所述的方法，其特征在于，所述基于所述资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，包括：

根据所述资源描述信息预估所述待处理任务所需调度的第一目标资源；

若预设的资源池中存在所述第一目标资源，从所述资源池中调度所述第一目标资源；

若所述资源池中不存在所述第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。

3.根据权利要求2所述的方法，其特征在于，确定预设的资源池中存在所述第一目标资源，包括：

根据所述第一目标资源与所述资源池中的算力资源进行匹配；

将匹配得到的算力资源确定为所述第一目标资源。

4.根据权利要求1所述的方法，其特征在于，所述资源描述信息包括：计算资源的描述信息、存储资源的描述信息、和资源选择策略中的至少一项；所述资源选择策略包括最优时间策略、最优成本策略和最优路径策略中的至少一项。

5.根据权利要求1所述的方法，其特征在于，在PaaS平台的初始化阶段，所述方法还包括：

创建所述资源池；

从所述算力网络中获取预设数量的算力资源，并存放至所述资源池；所述算力资源包括计算资源和存储资源。

6.根据权利要求1所述的方法，其特征在于，在接收上层应用基于待处理任务发送的资源调度请求之前，所述方法还包括：

获取所述资源池中算力资源的利用率；

若所述利用率在预设范围之外，基于预设的资源管理策略对所述资源池中的算力资源进行调度管理。

7.根据权利要求2所述的方法，其特征在于，所述预设方式包括以下至少一种方式：

第一方式；以所述第一方式调度的目标资源包括基础性资源；

第二方式；以所述第二方式调度的目标资源包括具备容器化的计算环境的资源，和/或具备文件/对象存储环境的资源；

第三方式；以所述第三方式调度的目标资源包括大数据计算服务资源，和/或存储服务资源。

8.一种基于PaaS平台进行资源调度的装置，其特征在于，所述装置包括：

收发模块，用于接收上层应用基于待处理任务发送的资源调度请求；

调度模块，用于基于所述资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；所述预设的资源池包括从所述算力网络中预先申请的算力资源；所述算力网络包括由分布式集群提供的算力资源；

处理模块，用于基于所述目标资源处理所述待处理任务。

9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

Images