CN114666333B - 一种基于多租户理论面向云计算资源调度问题的控制方法 - Google Patents

Abstract

一种基于多租户理论面向云计算资源调度问题的控制方法，1)云计算资源的管理：云平台客户端接收云集群超级管理员信息并加密数据，向云平台服务端提出序列化存储请求，服务端接收到请求后，进行持久化存储；2)租户对象管理：云平台客户端发起获取用户组信息请求后，云平台服务端通过restapi获取keycloak用户组信息，响应客户端请求；3)计算资源配额：云平台给各个租户划分kubernetes集群计算资源，即工作负载；4)存储资源配额：云平台给各个租户划分ceph集群存储资源，存储业务数据资产；5)资源监控：云平台获取kubernetes、ceph集群资源信息和配额信息，在客户端进行展示。

Description

一种基于多租户理论面向云计算资源调度问题的控制方法

技术领域

本发明设计云平台资源调度领域，特别涉及一种基于keycloak多租户的资源调度方法。

背景技术

容器化的云计算平台已经逐渐成为新一代的大数据平台，实现了资源的灵活配置。传统的大数据平台基于主机的存储和计算资源搭建，资源耦合度较高，不利于资源的灵活配置，降低了硬件运维成本。同时，随着delta lake、iceberg和hudi等数据湖核心组件的不断完善，云计算平台需求，也日益增长。

如何基于平台，灵活、稳定的调度云平台资源，是一个较为核心的任务。基于keycloak，实现多租户的计算资源管控是一个较为有效地管控云平台资源的方式。将keycloak中的组定义为租户，keycloak作为一个开放的组件，可以和很多数据开发和调度任务组件相集成，增加了平台的横向拓展能力，再利用keycloak集成多租户管理，实现云平台的计算和存储资源地调度，降低了开发成本，提高了生产效率，实现了资源地便捷、稳定调度。

kubernetes，简称K8s，是用8代替8个字符"ubernete"而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署，规划，更新，维护的一种机制。传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。新的K8s方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。

Ceph是Linux中一个分布式文件系统，能够在维护POSIX兼容性的同时加入了复制和容错功能。

CN2018115500037公开了一种容器化云资源分配方法，通过资源获取模块利用任务分配器，获取所有虚拟机的剩余可分配资源；通过资源部署模块利用部署程序根据待分配容器服务到达的先后顺序建立一个待部署容器队列；主控模块通过资源匹配模块利用匹配程序计算待分配容器服务与所有可接受该容器服务的虚拟机的匹配度值；通过资源调度模块利用调度程序调度容器化云资源；通过恢复模块利用数据恢复程序对云计算基础设施内的灾难进行数据恢复；通过数据存储模块利用存储器存储云数据；并通过显示模块利用显示器显示。本发明通过资源调度模块能够保证资源池内各资源类型使用的合理分配和规划。

CN2019107403256公开了一种基于keycloak的对运维管理系统中权限管理的方法及装置，属于云平台交付及运维领域，要解决的技术问题为如何对资源的数据权限的管理的同时完全满足运维人员对运维管理系统的使用需求，步骤如下：S1、基于keycloak 通过groups的配置，实现用户角色的继承；S2、通过keycloak的认证机制，对运维管理系统用户的认证流程进行控制，实现对运维管理系统整体的资源、权限进行控制，具体包括：S201、资源管理；S202、权限策略管理；S203、策略执行。包括用户角色继承单元和认证流程控制单元，用户角色继承单元用于基于keycloak通过groups的配置，实现用户角色的继承；认证流程控制单元用于通过keycloak的认证机制，对运维管理系统用户的认证流程进行控制。

CN2021102839711公开一种云计算平台中的云工作流智能管理与调度系统，包括：系统前端、调度控制器、云工作流调度器和资源分配器；系统前端上传云工作流文件；调度控制器接收云工作流文件后生成启动云工作流调度器信息；资源分配器接收启动云工作流调度器信息后通过容器管理平台获取剩余资源；容器管理平台接收创建云工作流调度器请求信息后在节点上创建多个云工作流调度器；各云工作流调度器根据云工作流文件确定资源配置总需求，并接收剩余资源，根据资源配置总需求和剩余资源生成云工作流计算节点，处理云工作流文件。

CN2019113864993公开了一种服务器及基于K8S集群的公共配置参数配置方法、系统及计算机可读存储介质，该方案中，K8S集群会预先建立公共pod，用于配置各个服务的中间件所需的公共配置参数，该种方式实现了其他服务与这些公共配置参数的解耦和，后续其他服务需要使用这些公共配置参数时可以通过访问公共pod的方式来获取；在需要对公共配置参数进行修改时，则仅需对公共pod中的公共配置参数进行修改即可，耗时少，管理效率高，且不会出现漏修改的情况，可靠性高。

发明内容

本发明的目的是，基于现有的kubernete集群、ceph集群、keycloak等组件，针对资源灵活、稳定和高效调度的问题，提出一种有效地云平台资源调度的方法。基于 keycloak的多租户管理，来实现云平台资源的调度。

本发明的技术方案是：一种基于多租户理论面向云计算资源调度问题的控制方法，

步骤1:云计算资源的管理：云平台客户端接收云集群超级管理员信息并加密数据，向云平台服务端提出序列化存储请求，服务端接收到请求后，进行持久化存储；

步骤2：租户对象管理：云平台客户端发起获取用户组信息请求后，云平台服务端通过rest api获取keycloak用户组信息，响应客户端请求；

步骤3:计算资源配额：云平台给各个租户划分kubernetes集群计算资源，即工作负载；

步骤4:存储资源配额：云平台给各个租户划分ceph集群存储资源，存储业务数据资产；

步骤5:资源监控：云平台获取kubernetes、ceph集群资源信息和配额信息，在客户端进行展示；

所述客户端，是部署在服务器端的应用，用于接收和发送服务器端数据，是云平台基于多租户进行云计算资源调度的入口；云计算资源包括kubernetes集群，用于数据的分析操作；云集群超级管理员信息，是kubernetes集群的超级权限，可以管控单个kubernetes集群，云平台可以管控多个kubernetes集群。

具体步骤包括：

步骤1云计算资源的管理：云平台客户端接收云集群超级管理员信息并加密数据，向云平台服务端提出序列化存储请求，服务端接收到请求后，进行持久化存储；

步骤1-1：客户端录入超级管理员认证信息并将认证信息经过RSA加密后，通过tcp协议传递给服务端；

步骤1-2：服务端获取数据后，利用RSA解密，获取超级管理员认证信息，调用kubernetes集群rest api，验证认证信息有效后，进行持久化存储；

步骤1-3：服务器端解析租户和kubernetes集群信息，获取kubernetes集群关联的租户，将消息通过tcp协议，返回给客户端。

步骤1-4：服务器端解析加密文件或者验证认证信息失败后，给客户端返回错误状态码，表明该信息无效；

步骤1-5：服务器数据成功返回后，可以通过客户端进行修改、删除和查询kuberbetes集群信息的操作，至此实现云计算资源的管理。

步骤2租户对象管理：云平台客户端发起获取用户组信息请求后，云平台服务端通过rest api获取keycloak用户组信息，响应客户端请求；

步骤2-1：客户端通过tcp协议向服务端发起获取用户组请求；

步骤2-2：服务端通过keycloak rest api获取keycloak用户组数据，通过tcp 协议，响应客户端请求，发送用户组信息。

步骤3计算资源配额：云平台给各个租户划分kubernetes集群计算资源，即工作负载；

步骤3-1：客户端选择步骤1和步骤2中对应的kubernets和租户资源，建立关联关系，设置租户的cpu配额、内存配额和gpu配额，cpu的配额包含最大请求cpu和最大限制cpu,内存配额包含最大请求内存和最大限制内存，gpu配额包含最大gpu配额；

步骤3-2：客户端设置租户的默认cpu大小范围、内存大小范围和最大pod数；

步骤3-3：客户端通过tcp协议向服务端发送租户计算资源配额信息；

步骤3-4：服务端接收客户端配额信息后，调用kubernetes rest api接口进行kubernetes资源的配额和更新；

步骤3-5：服务端根据配额结果，更新租户配额信息，向客户端返回状态信息。

步骤4存储资源配额：云平台给各个租户划分ceph集群存储资源，存储业务数据资产；

步骤4-1：客户端设置租户的最大存储空间和最大文件数配额；

步骤4-2：客户端通过tcp协议向服务端发送租户存储资源配额信息；

步骤4-3:服务端接收客户端配额信息后，调用ceph网关接口进行存储资源的配额和更新；

步骤4-4：服务端根据配额结果，更新租户配额信息，向客户端返回状态信息。

步骤5资源监控：云平台获取kubernetes、ceph集群资源信息和配额信息，在客户端进行展示。

步骤5-1：客户端向服务端发起查看集群资源信息和租户配额信息请求；

步骤5-2：服务端接收到请求后，通过访问kubernete和ceph接口，获取资源使用情况，并结合租户，返回资源监控信息，对集群资源不足的对象进行告警；

步骤5-3：客户端展示集群资源和租户配额信息。

有益效果，与现有技术相比，其显著优点以及形成的效果有：本发明通过将kubernetes计算资源、ceph存储资源和keycloak里面的组关联，建立基于组的多租户管理，实现计算和存储资源的配额，同时云平台其它组件，例如数据开发平台和调度平台组件可以与keycloak组集成，提升了资源调度的管理，从而进一步提升了云平台的数据处理能力和自身的稳定性。

附图说明

图1是本发明的结构示意图。

具体实施方式

图1是一种基于多租户理论面向云计算资源调度问题的控制方法的主体流程架构图，具体实施方式如下：

步骤1：基础环境的搭建并管理，选择若干台linux操作系统的主机(申请人江苏省电力公司为省内十三个地市分别搭建、三台以上)搭建kubernetes集群，集群的版本为V1.17，创建计算资源；为十三个地市搭建统一的ceph集群，创建存储资源，并另外搭建radosgw网关服务，以用于创建用户，便于进行后续的基于用户的存储资源配额管理，将搭建的kubernetes集群的admin.conf配置文件信息通过客户端录入到云平台系统中，并将该数据发送到服务端，由于该信息具有高度的敏感性，需要利用RSA加密传输，传输到服务端后，服务端经过解密并测试kubernetes认证信息的正确性后，将该数据持久化存储，并纳入平台管理，此时云平台拥有该k8s集群的所有权限；

步骤2：基于平台上k8s搭建keycloak容器服务，便于进行云平台的用户组管理，以及后续的资源配额。服务正常运行后，在keycloak系统录入十三个地市的组信息，即十三个租户，并在组信息底下录入系统对应的用户，便于云平台根据用户选择对应的租户资源进行数据分析和数据存储的操作。云平台通过keycloak的rest api获取平台的组信息，并返回给客户端，在客户端展示。该步骤是为了进行步骤1中的kubernetes 集群和ceph的资源，进行配额，做好准备；

步骤3：进行计算资源配额，客户端在租户列表选择要配额的租户，并指定kubernetes集群，进行配额。服务端处理配额的方式为，为租户即keycloak中的组在kubernetes建立一个命名空间，为租户分配最大内存、cpu、pod和gpu资源地指标，由于内存和cpu的资源在设置后，我们需要指定租户的默认cpu和内存指标，因此，服务端还需设置租户的默认cpu和内存指标，便于云平台利用kubernetes的计算资源。服务端通过步骤1中持久化存储的认证信息，去调用kubernetes的rest api来进行一系列的创建命名空间，并配额的操作，服务端在操作完配额后，会将租户和该计算资源绑定，便于后续的云平台的其它组件，基于keycloak的组，获取租户信息和绑定的计算资源，进行数据分析的操作；

步骤4：存储资源配额，服务端通过配置文件的方式持久化存储有ceph的超级管理员信息，客户端在配置租户的最大文件数和最大存储空间后，将数据传递给服务端，服务端在接收到数据后，利用该超级管理员信息，为进行存储资源配额的租户，创建ceph 新用户，并为该用户分配最大存储空间和最大文件数，该用户和租户绑定，云平台客户端无法获取该用户信息，云平台其它资源使用组件会自动根据keycloak的组的信息，获取该用户信息，从而使用该用户的存储资源，即租户的存储资源；

步骤5：资源监控，首先是kubernetes资源监控，由于该集群是提供容器化的服务，因此要监控linux系统的主机和容器占用资源并避免复杂的计算的话，需要安装metric 服务,用于监控集群资源，对于ceph集群的监控，直接通过api获取即可。首先是获取kubernetes和ceph集群的资源使用信息，kubernetes的集群信息，可以通过metric 服务获取集群所有节点的信息，从而获取cpu和内存的信息，gpu的信息可以直接通过 kubernetes的api来获取，租户配额的使用信息，可以通过metric服务获取pod的cpu 和使用信息，从而得到租户的资源使用情况，资源不多的可以选择扩容，租户资源较多的，可以授权给其它租户来实现，这些都需要基于keycloak的组来实现管理和使用。

基于keycloak的多租户的云计算资源管控，实现了硬件资源的灵活调度，运维人员可以根据各个地市实际使用资源的情况，迁移容器并配置适当的主机资源或者关闭开启相应数量的主机，提升硬件资源的利用率，降低了运维成本。

Claims (7)

1.一种基于多租户理论面向云计算资源调度问题的控制方法，其特征在于，包括如下步骤：

步骤1:云计算资源的管理：云平台客户端接收云集群超级管理员信息并加密数据，向云平台服务端提出序列化存储请求，服务端接收到请求后，进行持久化存储；

步骤2：租户对象管理：云平台客户端发起获取用户组信息请求后，云平台服务端通过rest api获取keycloak用户组信息，响应客户端请求；

步骤3:计算资源配额：云平台给各个租户划分kubernetes集群计算资源，即工作负载；

步骤4:存储资源配额：云平台给各个租户划分ceph集群存储资源，存储业务数据资产；

步骤5:资源监控：云平台获取kubernetes、ceph集群资源信息和配额信息，在客户端进行展示；

步骤1中，所述客户端，是部署在服务器端的应用，用于接收和发送服务器端数据，是云平台基于多租户进行云计算资源调度的入口；云计算资源主要包括kubernetes集群，用于数据的分析操作；云集群超级管理员信息，是kubernetes集群的超级权限，可以管控单个kubernetes集群，云平台可以管控多个kubernetes集群；具体包括：

步骤1-1：客户端录入超级管理员认证信息并将认证信息经过RSA加密后，通过tcp协议传递给服务端；

步骤1-2：服务端获取数据后，利用RSA解密，获取超级管理员认证信息，调用kubernetes集群rest api，验证认证信息有效后，进行持久化存储；

步骤1-3：服务器端解析租户和kubernetes集群信息，获取kubernetes集群关联的租户，将消息通过tcp协议，返回给客户端；

步骤1-4：服务器端解析加密文件或者验证认证信息失败后，给客户端返回错误状态码，表明该信息无效；

步骤1-5：服务器数据成功返回后，可以通过客户端进行修改、删除和查询kuberbetes集群信息的操作，至此实现云计算资源的管理。

2.根据权利要求1所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，在步骤2中，所述keycloak是一款用于用户验证、权限校验的开源工具，在云平台中用于用户身份验证、权限管理和单点登录，用户认证用于平台登录的认证，权限管理用于云平台客户端的菜单和按钮权限管理，单点登录用于其它系统的免密登录；所述用户组为keycloak里面的组管理和用户管理，一个用户组底下可以存在多个用户；所述租户，即代表云平台的一个工作负载，对应keycloak中的组，利用部分云平台资源，进行数据计算和数据存储；具体步骤包括：

步骤2-1：客户端通过tcp协议向服务端发起获取用户组请求；

步骤2-2：服务端通过keycloak rest api获取keycloak用户组数据，通过tcp协议，响应客户端请求，发送用户组信息。

3.根据权利要求1所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，在步骤3中，所述Kubernetes资源，为cpu、内存和gpu资源；具体步骤包括：

步骤3-1：客户端选择步骤1和步骤2中对应的kubernets和租户资源，建立关联关系，设置租户的cpu配额、内存配额和gpu配额，cpu的配额包含最大请求cpu和最大限制cpu,内存配额包含最大请求内存和最大限制内存，gpu配额包含最大gpu配额；

步骤3-2：客户端设置租户的默认cpu大小范围、内存大小范围和最大pod数；

步骤3-3：客户端通过tcp协议向服务端发送租户计算资源配额信息；

步骤3-4：服务端接收客户端配额信息后，调用kubernetes rest api接口进行kubernetes资源的配额和更新；

步骤3-5：服务端根据配额结果，更新租户配额信息，向客户端返回状态信息。

4.根据权利要求1所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，在步骤4中，所述ceph集群资源，为针对用户的最大存储空间，和最大文件数限制；具体步骤包括：

步骤4-1：客户端设置租户的最大存储空间和最大文件数配额；

步骤4-2：客户端通过tcp协议向服务端发送租户存储资源配额信息；

步骤4-3:服务端接收客户端配额信息后，调用ceph网关接口进行存储资源的配额和更新；

步骤4-4：服务端根据配额结果，更新租户配额信息，向客户端返回状态信息。

5.根据权利要求1所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，在步骤5中，所述集群资源信息包括k8s所有节点内存、cpu和gpu资源和ceph集群存储空间大小，配额信息包含租户内存、cpu和存储空间的使用情况，具体步骤包括：

步骤5-1：客户端向服务端发起查看集群资源信息和租户配额信息请求；

步骤5-2：服务端接收到请求后，通过访问kubernete和ceph接口，获取资源使用情况，并结合租户，返回资源监控信息，对集群资源不足的对象进行告警；

步骤5-3：客户端展示集群资源和租户配额信息。

6.根据权利要求1所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，步骤1中，选择linux操作系统的主机搭建kubernetes集群，创建计算资源；搭建统一的ceph集群，创建存储资源，另外搭建radosgw网关服务，以用于创建用户，进行后续的基于用户的存储资源配额管理，将搭建的kubernetes集群的admin.conf配置文件信息通过客户端录入到云平台系统中，并将该数据发送到服务端，利用RSA加密传输传输到服务端，服务端经过解密并测试kubernetes认证信息的正确性后，将该数据持久化存储，并纳入平台管理，此时云平台拥有该k8s集群的所有权限；

步骤2中：基于平台上k8s搭建keycloak容器服务，进行云平台的用户组管理，以及后续的资源配额；服务正常运行后，在keycloak系统录入租户，并在组信息底下录入系统对应的用户，便于云平台根据用户选择对应的租户资源进行数据分析和数据存储的操作；云平台通过keycloak的rest api获取平台的组信息，并返回给客户端，在客户端展示；为步骤1中的kubernetes集群和ceph的资源，进行配额，做好准备；

步骤3中：进行计算资源配额，客户端在租户列表选择要配额的租户，并指定kubernetes集群，进行配额；服务端处理配额的方式为，为租户即keycloak中的组在kubernetes建立一个命名空间，为租户分配最大内存、cpu、pod和gpu资源地指标，由于内存和cpu的资源在设置后，需要指定租户的默认cpu和内存指标，因此，服务端还需设置租户的默认cpu和内存指标，便于云平台利用kubernetes的计算资源；服务端通过步骤1中持久化存储的认证信息，去调用kubernetes的rest api来进行一系列的创建命名空间，并配额的操作，服务端在操作完配额后，会将租户和该计算资源绑定，便于后续的云平台的其它组件，基于keycloak的组，获取租户信息和绑定的计算资源，进行数据分析的操作；

步骤4中：存储资源配额，服务端通过配置文件的方式持久化存储有ceph的超级管理员信息，客户端在配置租户的最大文件数和最大存储空间后，将数据传递给服务端，服务端在接收到数据后，利用该超级管理员信息，为进行存储资源配额的租户，创建ceph新用户，并为该用户分配最大存储空间和最大文件数，该用户和租户绑定，云平台客户端无法获取该用户信息，云平台其它资源使用组件会自动根据keycloak的组的信息，获取该用户信息，从而使用该用户的存储资源，即租户的存储资源。

7.根据权利要求1或6所述的多租户理论面向云计算资源调度问题的控制方法，其特征在于，步骤5中：资源监控，首先是kubernetes资源监控，由于该集群是提供容器化的服务，因此要监控linux系统的主机和容器占用资源并避免复杂的计算的话，需要安装metric服务,用于监控集群资源，对于ceph集群的监控，直接通过api获取即可；首先是获取kubernetes和ceph集群的资源使用信息，kubernetes的集群信息，可以通过metric服务获取集群所有节点的信息，从而获取cpu和内存的信息，gpu的信息可以直接通过kubernetes的api来获取，租户配额的使用信息，通过metric服务获取pod的cpu和使用信息，从而得到租户的资源使用情况，资源不多的选择扩容，租户资源较多的，能授权给其它租户来实现，都需要基于keycloak的组来实现管理和使用。