CN106569895B

CN106569895B - 一种基于容器的多租户大数据平台构建方法

Info

Publication number: CN106569895B
Application number: CN201610924256.0A
Authority: CN
Inventors: 林伟伟; 张子龙; 刘凯; 温昂展
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-10-24
Filing date: 2016-10-24
Publication date: 2020-12-22
Anticipated expiration: 2036-10-24
Also published as: CN106569895A

Abstract

本发明涉及一种基于容器的多租户大数据平台构建方法，该方法包括：基于容器虚拟化技术独立封装大数据平台的功能组件；基于描述性文件作为事务运行单元，实现大数据平台的自动部署和集群管理；通过模块结构实现细粒度集群资源访问控制；基于云服务、云安全技术为多租户环境下的大数据应用提供安全的隔离和共享策略；基于组件化的大数据计算服务消费栈构建可伸缩的大租户大数据平台。本发明方法具有自动化构建大数据平台等优点，提出了基于三层架构的大数据部署框架，简化大数据平台的集群维护，同时考虑了面向多租户的资源共享策略。

Description

一种基于容器的多租户大数据平台构建方法

技术领域

本发明涉及多租户大数据平台的构建方法，特别涉及一种基于容器的多租户大数据平台构建方法。

背景技术

随着互联网的快速发展，全球数据量出现了爆炸式增长。众多的传统企业面临互联网对传统业务模式的冲击，并且还面临着业务从互联网向移动互联网的转型。这不单带来了企业对数据分析需求的快速增长，同时也带来了业务随着流量峰谷的对传统IT架构的脉冲式冲击。海量数据拥有者——银行、运营商、物流等行业用户都在寻求有效的方法利用手中的数据，然而大数据平台配置和部署的繁琐，以及组件相互依赖关系的复杂让众多行业望而顿足。目前商业化的大数据平台都致力于将数据分析平台同云平台架构进行整合，构建包括基础平台、资源存储、数据处理、应用容器在内的整合平台系统，进而统一资源配置和生命周期管理，为业务系统、运维和应用开发提供有力的底层支持。这使得面向多租户的大数据平台迅速成为需求的风口，然而目前发行版的大数据计算平台例如HDP、CDH等都集中在大数据平台的自动化部署，并未考虑用户使用的复杂性，相比于企业自建的大数据集群，发行版大数据平台虽然简化的部署过程，但却增加了维护的复杂度。

在这种需求环境下，基于物理资源共享的面向多租户的大数据平台成为多数企业不断尝试的一种解决方案。为了降低平台构建的复杂度，和易维护、高可用、低成本等需求，本发明提供了一种基于容器的大数据平台的构建方案。

发明内容

本发明的目的在于克服现有技术方法的不足，提供一种基于容器的多租户大数据平台构建方法，该方法采用容器技术封装大数据平台的功能节点，统一应用系统的开发、测试、发布等环节，降低大数据处理框架的部署复杂度，并整合云计算平台与大数据处理平台，向用户提供完整的应用容器和大数据计算组件仓库及相关服务。

为了实现上述目的，本发明至少采用如下技术方案之一。

一种基于容器的多租户大数据平台构建方法，其包括以下步骤：

（1）基于容器虚拟化技术封装大数据平台的功能节点，针对不同的功能划分不同的角色，并通过组件仓库进行版本控制；将大数据平台中的资源从主体中剥离开来，提供按需的组件式托管服务；

（2）基于描述文件作为事务运行单元，通过版本控制来实现业务回滚和容错性，事务运行单元贯穿组件化管理、集群自动化部署、大数据计算服务环节，为集群的高可用性提供基础保障；

（3）集成集群自动化部署与大数据平台的集群管理，通过模块化结构实现细粒度集群资源访问控制，通过服务自检查、作业实时监控等实现集群的高可用性；

（4）基于云服务、云安全技术为多租户环境下的大数据应用提供安全的隔离和共享策略。

进一步地，步骤（1）具体包括：

（1.1）采用轻量级虚拟化技术Docker作为封装功能节点的容器；

（1.2）采用独立封装的存储、计算、监控、缓存及备份角色作为不同类型容器的划分；

（1.3）采用Git作为组件仓库以及镜像仓库的版本控制系统，XML为描述文件的规范化格式。

进一步地，步骤（3）具体包括：

（3.1）采用存储和计算分离模式，将计算节点单独封装到虚拟化容器中，存储节点则直接挂载到逻辑存储分区。

（3.2）采用基于LXC的内核虚拟化技术，结合Cgroup实现细粒度资源控制，将系统资源划分为以资源容器为单位的资源池。

（3.3）结合描述文件定义服务启动时的自检查脚本，通过封装服务的监听接口Listener实现作业的状态实时检查。

进一步地，步骤（4）具体包括：

（4.1）采用基于Kerberos协议的安全访问控制系统，在多租户环境下提供存储、计算、应用组控制多个层次隔离的隔离和共享策略；

（4.2）基于用户访问域、控制组及目录访问控制三层框架，面向不同访问需求提供不同的访问权限，读写分离是指每个用户按照所属角色拥有不同级别的文件读写权限；

（4.3）采用双层调度体系实现不同优先级用户的作业调度，面向优先级的作业调度，在集群资源充足的情况下，优先选择最大并行用户数的作业调度模型；而在集群资源繁忙的情况下，选择最大化吞吐量的作业调度模型。

进一步地，步骤（4.3）所述最大并行用户数的作业调度模型如下：设每个用户的最小资源保证为S_min,所有用户的资源需求向量S(S₁,S₂,S₃…,S_m)简写为S，m为用户数，则资源分配应满足最小化模型argminΣ(S-S_min)²。

进一步地，步骤（4.3）所述最大化吞吐量的作业调度模型如下：设每个用户作业的最大等待时间为T_max,用户作业的运行时间向量T(T₁,T₂,T₃…,T_m)简写为T，用户作业的最小资源占有量为S_min，用户的实际资源占有向量S(S₁,S₂,S₃…,S_m)，抢占用户作业的损失函数H（S,T)表示抢占运行中的作业造成的系统资源损失，则为了最大化集群的吞吐量argmax δ(S,T)=N-H(S,T)，N代表总资源数，等价于在满足用户最小资源保证的情况下，使得抢占作业的损失达到最小argmin H(S,T) +(S-S_min)²+(T-T_max)²，其中后两项是罚项，且S>S_min，T>T_max。

进一步地，步骤（1）中基于容器虚拟化技术，将大数据平台中的资源从主体中剥离开来，提供按需的组件式托管服务；采用容器技术独立封装大数据平台的功能节点。

进一步地，步骤（2）采用自动化部署技术利用组件仓库加速集群部署；采用镜像描述文件作为容器的类型描述，并用版本控制系统管理容器镜像描述文件；采用应用栈管理技术，将封装后的组件放置到消费栈，由集群构建服务拉取并进行子网配置。

进一步地，步骤（2）基于XML数据格式定义容器描述文件，描述文件包括容器定义dockerfile、子网定义networkfile、集群定义clusterfile、用户定义userfile等组成，由集群构建服务根据自动化脚本配置并初始化集群。将描述文件作为集群版本控制的元数据文件，有助于不同集群之间的兼容性管理，也能够应对版本升级和集群迁移等场景。集群构建服务指的是部署在集群管理装置上的可靠服务，采用多主多备模式，通过将多个主节点与多个备节点同时连接到集群管理装置，由集群管理装置对异常情况进行判断来切换主节点，提高多租户环境下系统的可靠性和稳定性；

进一步地，步骤（3）集成自动化部署与集群管理技术，提供快速可靠的集群部署方案，采用日志文件记录用户所需要的全部配置及后续改动，将集群部署托管到模块化的自动构建服务，利用内核虚拟化及控制组技术实现容器资源隔离，结合描述文件定义服务启动时的自检查脚本，通过封装服务的监听接口Listener实现作业的状态实时检查；

进一步地，步骤（4）基于云安全技术提供面向多租户的高可靠性集群管理服务，采用云计算资源隔离与共享方案，面向不同的集群负载类型，采用不同的资源调度策略，使得用户在使用大数据计算服务时能够公平的共享集群资源。

本发明与现有的多租户大数据平台构建方法相比，具有如下优点与效果：

（l）该方法利用虚拟容器的高扩展性和高性能可以克服大数据处理的规模不断增长和实时性需求。

（2）该方法将云计算平台的高弹性与高可靠性融合到大数据平台的自动化部署方案中，在面向组件级的多租户应用消费时，不但能稀释构建大数据平台过程中的繁杂步骤，而且提供了版本之间的自动切换，使得用户在进行组件消费时能够从冗杂的运维中脱离出来。

（3）该方法提出了大数据平台构建的三层架构，每层都集中处理大数据平台构建过程中的关键复杂性问题，在组件管理层形成了一套高可靠性组件栈管理技术，在自动化部署层提供了面向组件消费的事务管理体系，在消费层提出了多种面向不同程度的多租户共享及隔离方案。

附图说明

图1是本发明构建基于容器的多租户大数据平台的流程图。

图2是实施例1的总体结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之过程，均是本领域技术人员可参照现有技术实现的。

实施例1

应用本发明方法到大数据平台的自动构建：

如图1所示，是本实施例的基于容器的面向多租户的大数据平台自动构建的流程图。

应用本发明方法实现大数据平台的自动构建，可以减少大数据平台构建过程的复杂度，节省运维成本。通过虚拟容器Docker技术封装功能节点，将大数据平台的系统构建过程离散化、过程化和组件化，用镜像描述文件Dockerfile定义节点的角色和所需的功能组件，用功能描述文件Metafile实现集群服务的版本控制，用自动化脚本完成组件的配置和检查。为了实现大数据平台的高可用性，在构建过程中采取了多主多备的物理架构，同时采取了存储计算分离模式，对功能节点单独挂载数据盘，在功能失效时，通过描述文件可以自动或手动切换新的计算节点，使得不需要重启集群便可以恢复大数据计算作业的执行。其实施的总体结构如图2所示，包括以下层次：

1）基础设施镜像管理：利用基于虚拟容器Docker技术封装集群的同构操作系统，以及根据节点规划将容器镜像划分为不同的角色，用镜像仓库进行版本管理。

2）组件仓库管理：将大数据平台所需的所有组件放置到组件仓库，根据用户的需求组织成消费栈结构，在栈的另一端向镜像描述文件中添加对应的消费记录，或通过脚本实现组件自动化安装。

3）描述文件管理：利用版本控制系统管理描述文件，在镜像描述文件级别实现了集群部署的事务管理，在功能描述级别能够实现组件升级的事务回滚及故障恢复。

4）集群高可用性管理：采用Swarm作为容器监控系统，在容器故障或不可达时，监控系统从描述文件中迅速构建备用节点。同时为了进一步提高可用性，应用自动化脚本到集群状态检查、服务可达性检查，集成多个实施环节到统一的事务管理，在提高系统可用性时又简化了大数据平台的运维。

5）租户管理：基于Kerberos协议提供多租户的安全访问控制，采用多个隔离方案，为租户提供独立的或共享的放置策略，如基于子网隔离的集群部署系统、基于用户隔离的资源分配系统、基于读写分离的数据访问控制系统。

6）共享策略管理：采用多租户访问策略，面向不同的用户需求，开放隔离的或共享的资源访问接口，并允许用户能够动态申请和撤销最小占有资源，为不同优先级的用户作业提供最小资源保证。通过双层调度体系，为不同优先级的用户调度作业运行请求，并按照吞吐量优先或并行用户数优先的调度策略进行作业调度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于容器的多租户大数据平台构建方法，其特征在于包括以下步骤：

（1）基于容器虚拟化技术封装大数据平台的功能组件，针对不同的功能划分不同的角色，并通过组件仓库进行版本控制；将大数据平台中的资源从主体中剥离开来，提供按需的组件式托管服务；具体包括：

（1.1）采用轻量级虚拟化技术Docker作为封装功能组件的容器；

（1.3）采用Git作为组件仓库以及镜像仓库的版本控制系统，XML为描述文件的规范化格式；

（2）通过描述文件建立事务运行单元，通过版本控制来实现业务回滚和容错性，事务运行单元贯穿组件化管理、集群自动化部署、大数据计算服务环节，为集群的高可用性提供基础保障；采用应用栈管理技术，将封装后的组件放置到消费栈，由集群构建服务拉取并进行子网配置；

（3）集成集群自动化部署与大数据平台的集群管理，通过模块化结构实现细粒度集群资源访问控制，通过服务自检查、作业实时监控实现集群的高可用性；

2.根据权利要求1所述一种基于容器的多租户大数据平台构建方法，其特征在于步骤（3）具体包括：

（3.1）采用存储和计算分离模式，将功能组件单独封装到虚拟化容器中，存储节点则直接挂载到逻辑存储分区；

（3.2）采用基于LXC的内核虚拟化技术，结合Cgroup实现细粒度资源控制，将系统资源划分为以资源容器为单位的资源池；

（3.3）结合描述文件定义的服务启动时的自检查脚本，通过封装服务的监听接口Listener实现作业的状态实时检查。

3.根据权利要求1所述一种基于容器的多租户大数据平台构建方法，其特征在于步骤（4）具体包括：

4.根据权利要求3所述一种基于容器的多租户大数据平台构建方法，其特征在于步骤（4.3）所述最大并行用户数的作业调度模型如下：设每个用户的最小资源保证为S_min,所有用户的资源需求向量S(S₁,S₂,S₃…,S_m)简写为S，m为用户数，则资源分配应满足最小化模型argminΣ(S-S_min)²。

5.根据权利要求3所述一种基于容器的多租户大数据平台构建方法，其特征在于步骤（4.3）所述最大化吞吐量的作业调度模型如下：设每个用户作业的最大等待时间为T_max,用户作业的运行时间向量T(T₁,T₂,T₃…,T_m)简写为T，用户作业的最小资源占有量为S_min，用户的实际资源占有向量S(S₁,S₂,S₃…,S_m)，抢占用户作业的损失函数H（S,T)表示抢占运行中的作业造成的系统资源损失，则为了最大化集群的吞吐量argmax δ(S,T)=N-H(S,T)，N代表总资源数，等价于在满足用户最小资源保证的情况下，使得抢占作业的损失达到最小argmin H(S,T) +(S-S_min)²+(T-T_max)²，其中后两项是罚项，且S>S_min，T>T_max。