CN114416301A

CN114416301A - 数据集合服务容器管理方法

Info

Publication number: CN114416301A
Application number: CN202210066014.8A
Authority: CN
Inventors: 杜舒明; 梁雪青; 赵小凡; 刘超; 邹时容; 刘璐豪; 徐炫东
Original assignee: Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Current assignee: Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date: 2022-01-20
Filing date: 2022-01-20
Publication date: 2022-04-29

Abstract

本发明公开了一种数据集合服务容器管理方法，包括计算资源管理和存储资源管理两部分；所述计算资源管理包括CPU、内存、网络带宽的管理，所述存储资源管理包括磁盘管理。本发明能够实现基础资源的合理管控，基于Docker的容器技术和Kubernetes的容器调度技术，通过对服务器管理、CPU管理、内存管理、存储管理、网络管理，对数据分析所需要的整个集群进行统一管理，从而为大数据平台的稳定可靠运行提供基础。

Description

数据集合服务容器管理方法

技术领域

本发明涉及大数据分析技术领域，特别是一种数据集合服务容器管理方法。

背景技术

随着信息时代的飞速发展，数据可视化在当今的社会发展中致力于用更生动、友好的形式，承担着即时呈现隐藏在瞬息万变且庞杂数据背后的业务洞察，无论在业务管理还是商业发展，通过交互式实时数据可视化效果为用户对数据资源的管理显得尤为重要。

由于大数据平台部署于服务器集群并且服务器集群可能涉及大容量的存储以及高性能的数据计算和分析，因此，在部署大数据平台时，需要对客户的实际需求及硬件资源做出详细规划，以确保在使用大数据平台时不会出现由于大数据平台的部署不合理所导致的使用异常。现有技术中，通常是通过运维人员手工部署大数据平台。

然而，由于客户的硬件环境各不相同并且运维人员的能力参差不齐，因此大数据平台的部署可能不合理，例如存储资源和计算资源不足，从而发生大数据平台的使用异常。

发明内容

本发明需要解决的技术问题是提供一种数据集合服务容器管理方法，能够合理对数据分析所需要的整个集群进行统一管理，从而为大数据平台的稳定可靠运行提供基础。

为解决上述技术问题，本发明所采取的技术方案如下。

数据集合服务容器管理方法，包括计算资源管理和存储资源管理两部分；所述计算资源管理包括CPU、内存、网络带宽的管理，所述存储资源管理包括磁盘管理。

上述数据集合服务容器管理方法，所述CPU管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的CPU资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的CPU资源共享给其他应用；当该应用重新需要CPU资源时，其他应用能够将获取的CPU资源按比例归还该应用；能够限制单个应用的CPU使用份额并做到隔离，保证单个应用不会被其他应用影响。

上述数据集合服务容器管理方法，所述内存管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的内存资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的内存资源共享给其他应用；当该应用重新需要内存资源时，其他应用能够将获取的内存资源按比例归还该应用；能够限制单个应用的内存使用份额并做到隔离，保证其他应用高压力运行或内存崩溃时不会影响到该应用。

上述数据集合服务容器管理方法，所述存储资源管理支持集群的各类存储资源进行管理，并提供分级策略，能够使慢速存储、快速存储能够被区分对待。

上述数据集合服务容器管理方法，所述存储资源管理对集群中各个服务器的本地存储资源进行管理，并按租户进行分配，各租户具有独立的存储空间，并且各租户之间的存储隔离。

上述数据集合服务容器管理方法，所述管理方法通过创建和删除子网络，并支持多网卡，容器网络提供固定IP功能。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明能够实现基础资源的合理管控，基于Docker的容器技术和Kubernetes的容器调度技术，通过对服务器管理、CPU管理、内存管理、存储管理、网络管理，对数据分析所需要的整个集群进行统一管理。

本发明还能够实现租户生命周期管理，支持以图形化方式在租户内管理和配置项目；也允许多种服务共享集群，从而提高资源的使用率，能在保障实时业务的同时，提高集群空闲时的资源占用，让批量作业和实时业务在互不干扰的情况下分时共享计算资源；还能够从而为大数据平台的稳定可靠运行提供基础。在集群中服务发生问题时另起一个服务实例实现集群的自我修复功能，

具体实施方式

下面将结合具体实施方式对本发明进行进一步详细说明。

数据集合服务容器管理方法中，以服务器为基本单元，能够识别集群中的服务器，包括新加入的服务器，提供平台依赖环境进行有效管理；能够识别服务器上的各类资源，包括CPU、内存、网络、存储等，进行资源监控，将服务器的资源统筹管理；能够剔除失效服务器(如损坏、断网、断电等)，保证集群其他有效服务器正常运行。

CPU管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的CPU资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的CPU资源共享给其他应用；当该应用重新需要CPU资源时，其他应用能够将获取的CPU资源按比例归还该应用；能够限制单个应用的CPU使用份额并做到隔离，保证单个应用不会被其他应用影响。

内存管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的内存资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的内存资源共享给其他应用；当该应用重新需要内存资源时，其他应用能够将获取的内存资源按比例归还该应用；能够限制单个应用的内存使用份额并做到隔离，保证其他应用高压力运行或内存崩溃时不会影响到该应用。

存储资源管理支持集群的各类存储资源进行管理，并提供分级策略，能够使慢速存储、快速存储能够被区分对待。

因为集群的硬件复杂性，可能同时具有SATA、SAS、SSD、NAS等各类存储资源，各类存储资源价格不同，性能不同，空间大小也不同，因此需要具备对存储资源的分级管理功能：能够识别不同的存储资源，将不同类型的存储资源分级；不同级别的存储资源能够分别管理，一个租户能够申请不同级别的存储资源。

存储资源管理对集群中各个服务器的本地存储资源进行管理，并按租户进行分配，各租户具有独立的存储空间，并且各租户之间的存储隔离。

管理过程中需要能够提供对各个租户间的存储隔离；支持各个租户能够独立使用各自的存储资源，各个租户的私有空间无法被其他租户访问，以保证数据的安全性；运行时保证存储IO/IOPS的隔离性，保证各个应用的运行稳定性。

同时，还需要支持各个租户有独立的存储空间；各个租户有各自的存储空间，相互独立，无法直接访问；各个租户的存储空间能够限制大小，保证租户使用的最大空间不超过配额上限；不同级别的存储资源能够分别申请，提供不同的逻辑卷配额。

针对不同服务器，各个服务应用的读写IO隔离，保证各个租户运行的应用相互独立，不受其他应用IO争夺的影响；能够限制各个服务应用的IO上限，防止单个应用把IO打满；各个服务应用的IO独立，相互不影响，保证应用运行时稳定。

本发明支持容器网络技术，通过创建和删除子网络，并支持多网卡，容器网络提供固定IP功能。在pod重启后还能保证使用原来的IP地址，支持自动IP清理。各租户网路相互隔离，租户内也可创建私有子网络，支持网络拓扑结构查询。提供多种集群访问方式：支持外部服务通过扁平网络、三层网关、四层网关和七层网关访问集群服务，并支持VPN技术。

本发明能够实现容器编排及自动化部署，支持基于Docker的容器技术，支持基于Kubernetes的容器调度系统。提供微服务的应用管理，能够将多个容器组成的应用集群抽象成微服务，形成一个抽象的资源集合，再一次性分配给一个租户，从而以微服务的粒度实现便捷的管理；支持对微服务根据实时的负载指标进行弹性扩展，动态的适应业务压力；提供服务注册、服务发现、服务监控、熔断、容错、调用链管理等功能。支持基于优先级的资源调度，对资源定义优先级，平台资源紧张时，拥有高优先级资源的服务可以抢占低优级服务的资源；支持即时抢占式调度和延时抢占式调度。支持用户可以通过Web、REST API or CLI一键安装和部署集群，自动根据服务的依赖性安装所需的其他服务组件，减少软件安装过程中的组件依赖问题。

本发明还能够实现多租户管理，容器云平台支持多租户管理，支持租户生命周期管理，包括租户的创建、修改、删除等。支持租户的应用管理，以及租户的用户操作日志记录。支持在租户内创建多个用户组和用户，支持多租户操作审计。

支持以图形化方式在租户内管理和配置项目，主要包括以下功能：

(1)支持在租户内创建、删除、管理多个项目。

(2)支持配置项目的CPU、内存、网络等资源的配额。

(3)支持在项目中添加、删除用户和用户组。

(4)支持在项目中部署和删除应用。

(5)支持显示项目的资源使用情况和用户操作日志。

本发明还支持租户配额管理，包括自定义配置和超配比例设置等。支持以图形化方式显示每个租户的详情，包含应用使用、资源配额、资源使用等信息。支持以图形化方式修改租户配额，并导出租户列表。平台自动扩容和缩容，也允许多种服务共享集群资源，从而提高集群资源的使用率，能在保障实例业务正常运行的同时，提高集群空闲时的资源占用，让批量作业和实时业务在互不干扰的情况下分时共享计算资源。

在环境隔离方面，能够实现：1)应用隔离，每个租户有自己独立的管理控制中心；不同租户使用的服务属于不同的实例，彼此之间完全透明；通过云管理平台对应用进行统一管理和监控。2)数据隔离：支持创建多种数据区；每个租户都使用独立的HDFS服务(不与其他租户共享)，用于数据存储。3)资源隔离：支持每个租户使用独立的网络、支持磁盘资源池化技术；支持每个租户使用独立的操作系统命名空间。4)运行隔离：通过Docker实现运行环境隔离，进程之间无法感知。

在安全管理方面，能够实现：1)安全管理：具备统一的安全认证中心，包括高并发/高可用的认证服务框架、单点登录、操作可审计等功能。支持基于Kerberos的安全认证。支持以应用为中心灵活构建网络安全规则；支持基于网段、应用类型、租户类型等进行网络防火墙配置，兼容开源的NetworkPolicy语义。2)高可用：支持平台高可用，支持有状态服务的HA，避免高可用的多个服务实例在一个物理节点上启动，避免单点故障。支持Kubernetes高可用，保证API Server服务高可用、保证Scheduler服务高可用、保证Controller服务高可用。提供自动修复能力，能够主动探测容器健康状态。3)故障时可自动修复，当容器不正常时，主动采取重启、告警等措施，保障容器服务正常运行；当应用异常停止服务时，能够自动重启，并记录相关错误和发送告警信息；当服务应用由一组容器组成，其中部分容器异常终止时，平台自动调度资源重新启动容器，以保证该服务应用的指定资源规模不受影响；当集群中服务发生问题时可以另起一个服务实例实现集群的自我修复功能。

Claims

1.数据集合服务容器管理方法，其特征在于：包括计算资源管理和存储资源管理两部分；所述计算资源管理包括CPU、内存、网络带宽的管理，所述存储资源管理包括磁盘管理。

2.根据权利要求1所述的数据集合服务容器管理方法，其特征在于：所述CPU管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的CPU资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的CPU资源共享给其他应用；当该应用重新需要CPU资源时，其他应用能够将获取的CPU资源按比例归还该应用；能够限制单个应用的CPU使用份额并做到隔离，保证单个应用不会被其他应用影响。

3.根据权利要求1所述的数据集合服务容器管理方法，其特征在于：所述内存管理过程中，当多个应用同时运行时，能够按照权重各自获得一部分比例的内存资源，保证有权限的应用能够同时运行；当部分应用空闲时，能够将占有的内存资源共享给其他应用；当该应用重新需要内存资源时，其他应用能够将获取的内存资源按比例归还该应用；能够限制单个应用的内存使用份额并做到隔离，保证其他应用高压力运行或内存崩溃时不会影响到该应用。

4.根据权利要求1所述的数据集合服务容器管理方法，其特征在于：所述存储资源管理支持集群的各类存储资源进行管理，并提供分级策略，能够使慢速存储、快速存储能够被区分对待。

5.根据权利要求4所述的数据集合服务容器管理方法，其特征在于：所述存储资源管理对集群中各个服务器的本地存储资源进行管理，并按租户进行分配，各租户具有独立的存储空间，并且各租户之间的存储隔离。

6.根据权利要求1所述的数据集合服务容器管理方法，其特征在于：所述管理方法通过创建和删除子网络，并支持多网卡，容器网络提供固定IP功能。