CN105045656B - 基于虚拟容器的大数据存储与管理方法 - Google Patents

Abstract

本发明提供了一种基于虚拟容器的大数据存储与管理系统及方法，该系统包括：元数据服务器，用于维护租户信息和用户信息，并在用户访问元数据和容器时进行权限认证；调度器，包括两层调度，上层调度为容器级别的调度，下层调度为任务级别的调度，上层调度用于接收用户的请求，并为用户分配和配置对应的容器，下层调度由每个大数据计算框架的主节点完成，调度器实现容器的调度；从服务器，控制所述物理机上的容器的启停，并监控物理机的资源，将资源和任务运行情况反馈给调度器。该系统采用虚拟容器技术进行资源与环境的隔离，采用双层调度的架构降低了上层调度器负载和分布式应用与调度器的耦合度，并且对实时调度存储系统提供了支持。

Description

基于虚拟容器的大数据存储与管理方法

技术领域

本发明涉及存储和大数据技术领域，特别涉及一种基于虚拟容器的大数据存储与管理系统及方法。

背景技术

YARN是第二代Hadoop中的一个重要组件，负责集群中计算资源的管理与任务分配。通过把资源管理的功能独立出来成为一个组件，这样就降低了系统的耦合度，并为支持更多的计算框架提供了接口，目前能够支持MPI、Spark以及MapReduce等主流计算框架。YARN调度器采用单层调度的架构，单一的ResourceManager实例负责对集群中所有任务进行调度与资源分配。每个框架对应的ApplicationMaster收到用户提交的人物之后向ResourceManager申请资源用于运行任务。YARN的单层调度架构会导致调度器节点负载过高，而且计算框架在接入YARN之前需要根据接口编写对应的接入模块，限制了系统的灵活性。此外，YARN底层存储以来HDFS，无法提供对其余分布式存储系统的支持。

Mesos是另一个主流的集群资源管理项目，与YARN不同，Mesos采用两层调度的架构，上层调度器只进行粗粒度的资源分配，具体各个框架内部的作业调度则交给第二层调度器，由此降低了调度器的负载。计算框架在接入Mesos之前需要向Master节点进行注册，注册过程中Master会为该框架分配一定资源，该部分工作由第一层调度器完成。获取资源之后，后续的用户任务将由第二层调度器在所获取的资源范围内进行调度。Mesos的两层调度降低了调度器的负载，同时能够支持部署多种存储系统，然而Mesos的问题在于分布式应用的接入仍然需要编写专门的模块，而且无法支持部署同一存储系统的多个实例。

YARN对Hadoop生态系统的应用支持很好，但是底层存储依赖于HDFS，无法满足多样化存储的需求；Mesos采用两层调度的架构解决了单点调度器的瓶颈问题，但其仍然无法支持部署同一存储应用的多个实例。因此，如何设计一个能够在多租户环境下，提供多样化存储与计算应用的系统是一个需要解决的技术问题。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明的一个目的在于提出一种基于虚拟容器的大数据存储与管理系统，该系统采用虚拟容器技术进行资源与环境的隔离，采用双层调度的架构降低了上层调度器负载和分布式应用与调度器的耦合度，并且对实时调度存储系统提供了支持。

本发明的另一个目的在于提出一种基于虚拟容器的大数据存储与管理方法。

为了实现上述目的，本发明的第一方面的实施例公开了一种基于虚拟容器的大数据存储与管理系统，包括：元数据服务器，所述元数据服务器用于维护租户信息和用户信息，并在用户访问元数据和容器时进行权限认证；调度器，包括两层调度，其中，上层调度为容器级别的调度，下层调度为任务级别的调度，所述上层调度用于接收用户的请求，并为用户分配和配置对应的容器，所述下层调度由每个大数据计算框架的主节点完成，所述调度器具有接收用户提交任务的接口，以根据用户需求和从服务器发送的全局资源和任务运行情况，从集群中选择多个物理机以通过所述物理机中的容器执行所述任务，并向所述物理机上容器发送启停命令；多个从服务器，所述从服务器与所述调度器相互通讯，用于根据所述调度器发送的启停命令控制所述物理机上的容器的启停，并监控物理机的资源和任务运行情况，以及将所述资源和任务运行情况反馈给所述调度器。

另外，根据本发明上述实施例的基于虚拟容器的大数据存储与管理系统还可以具有如下附加的技术特征：

在一些示例中，所述租户信息包括：团体名称、联系方式和支付信息。

在一些示例中，所述元数据服务器包括：租户管理模块，用于维护每个租户信息，并为租户管理员提供设置用户权限的机制；用户管理模块，用于维护用户的信息，并对用户进行身份认证；权限认证模块，用于在用户访问元数据和容器时进行权限认证。

在一些示例中，所述从服务器包括：容器控制器，用于对所述物理机上的容器进行监控，并根据所述启停命令控制所述容器的启停；资源监控模块，用于监测所述物理机的资源和任务执行情况，其中，所述资源包括：CPU使用、内存占用、网络IO和磁盘占用情况；通信模块，用于与所述调度器相互通信，并向所述调度器发送所述物理机的资源和任务执行情况，并接收所述调度器发送的所述启停命令。

在一些示例中，所述用户通过SSH向所述容器进行任务提交。

本发明第二方面的实施例公开了一种基于虚拟容器的大数据存储与管理方法，包括以下步骤：用户向调度器提交创建集群请求；所述调度器向从服务器发送资源占用情况请求；所述从服务器将物理机的资源占用情况反馈给所述调度器，所述调度器选择满足所述资源占用情况请求的物理机的集合；所述调度器通向所述从服务器发送容器启动命令；所述从服务器根据要求设置物理机上的容器的资源占用上限并启动所述容器；在所述容器启动完成后，所述从服务器通知所述调度器；所述调度器将所述容器的集群的IP发送给所述用户；所述用户向所述容器提交任务；当所述任务执行完毕后，所述容器向所述用户发送执行结果。

另外，根据本发明上述实施例的基于虚拟容器的大数据存储与管理方法还可以具有如下附加的技术特征：

在一些示例中，所述集群请求包括：应用类型、节点数、硬件描述，其中，所述硬件描述包括：CPU频率、核数、硬盘大小和内存大小。

在一些示例中，所述从服务器利用应用容器引擎对任务占用的资源和环境进行隔离。

在一些示例中，所述用户通过SSH向所述容器提交任务。

在一些示例中，所述资源占用情况以链表的形式存储在所述调度器中。

本发明的实施例解决了如何在异构的底层存储硬件之上，提供统一的存储与计算池，满足用户多模态的存储需求与多样化的计算需求，并且能够隔离不同用户的资源与应用。本发明的实施例，采用虚拟容器技术进行资源与环境的隔离，采用双层调度的架构降低了顶层调度器负载以及分布式应用与调度器的耦合度，并且对实时调度存储系统提供了支持。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的基于虚拟容器的大数据存储与管理系统的结构框图；以及

图2是根据本发明一个实施例的基于虚拟容器的大数据存储与管理方法的流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图描述根据本发明实施例的基于虚拟容器的大数据存储与管理系统及方法。

图1是根据本发明一个实施例的基于虚拟容器的大数据存储与管理系统的结构框图。如图1所示，根据本发明一个实施例的基于虚拟容器的大数据存储与管理系统，包括：元数据服务器110、调度器120(即主节点，也称主服务器)和从服务器130(即从节点，也称容器代理)。

其中，元数据服务器110用于维护租户信息和用户信息，并在用户访问元数据和容器时进行权限认证，其中租户信息包括但不限于：团体名称、联系方式和支付信息。元数据服务器110包括：租户管理模块、用户管理模块和权限认证模块，其中，租户管理模块用于维护每个租户信息，并为租户管理员提供设置用户权限的机制；用户管理模块用于维护用户的信息，并对用户进行身份认证；权限认证模块用于在用户访问元数据和容器时进行权限认证。

调度器120包括两层调度，其中，上层调度为容器级别的调度，下层调度为任务级别的调度，上层调度用于接收用户的请求，并为用户分配和配置对应的容器，下层调度由每个大数据计算框架的主节点完成，调度器120具有接收用户提交任务的接口，以根据用户需求和从服务器130发送的全局资源和任务运行情况，从集群中选择多个物理机以通过物理机中的容器执行任务，并向物理机上容器发送启停命令。

从服务器130与调度器120相互通讯，用于根据调度器120发送的启停命令控制物理机上的容器的启停，并监控物理机的资源和任务运行情况，以及将资源和任务运行情况反馈给调度器120。在本发明的一个实施例中，从服务器130包括容器控制器、资源监控模块和通信模块，其中，容器控制器用于对物理机上的容器进行监控，并根据启停命令控制容器的启停；资源监控模块用于监测物理机的资源和任务执行情况，其中，资源包括：CPU使用、内存占用、网络IO和磁盘占用情况；通信模块用于与调度器120相互通信，并向调度器120发送物理机的资源和任务执行情况，并接收调度器120发送的启停命令。

在本发明的一个实施例中，用户通过SSH向容器进行任务提交。

具体而言，元数据服务器的功能包括如下三部分：租户管理、用户管理以及权限认证。租户管理：元数据管理服务器维护每个租户信息，包括团体名称、联系方式、支付信息等，同时为租户管理员提供设置用户权限的机制，限制租户内的用户能够访问的应用集合，防止非法访问。用户管理：存储用户的信息，对用户进行身份认证，同时通过加密存储与加密传输保证用户信息安全。权限认证：在用户在访问元数据和应用容器的时候进行权限认证，防止对元数据的篡改以及对应用的非法访问。

主服务器(调度器)。系统中分为两层调度，上层是容器级别的调度，下层是作业级别的调度。上层调度负责接收用户的请求，为用户分配、配置对应的容器，下层的调度则交给每个大数据计算框架的master节点自己来做。分两层调度的优点是降低了系统和各个计算框架的耦合度，使得各框架以及用户自己的代码不需要经过修改就可以运行于本系统上。调度器对外暴露编程接口接受用户提交的任务，并根据用户的需求和从容器代理那里得到的全局的资源、任务运行情况，从集群中选择一部分物理机来执行该任务。调度器通知这些物理机上的容器代理启动容器，并把作业提交给容器，等待作业执行完毕，调度器再通知容器代理关闭容器。

从服务器(容器代理)。容器代理在集群中的角色就是从服务器，集群中的每一台物理机上都运行着一个容器代理程序。容器代理包含三个子模块。容器控制器：该模块内部封装了容器的命令，用于启动、监控、关闭容器。资源监控：监控本机的CPU使用、内存占用、网络IO、磁盘占用等。通信模块：负责与调度器通信，给调度器发送本机的资源占用情况，并接收调度器对于容器的控制命令。

本发明的基于虚拟容器的大数据存储与管理系统解决了如何在异构的底层存储硬件之上，提供统一的存储与计算池，满足用户多模态的存储需求与多样化的计算需求，并且能够隔离不同用户的资源与应用。本发明的基于虚拟容器的大数据存储与管理系统，采用虚拟容器技术进行资源与环境的隔离，采用双层调度的架构降低了顶层调度器负载以及分布式应用与调度器的耦合度，并且对实时调度存储系统提供了支持。

图2是根据本发明一个实施例的基于虚拟容器的大数据存储与管理方法的流程图。如图2所示，根据本发明实施例的基于虚拟容器的大数据存储与管理方法，包括以下步骤：

1、用户向调度器提交创建集群请求，其中，集群请求包括但不限于：应用类型、节点数、硬件描述，其中，硬件描述包括：CPU频率、核数、硬盘大小和内存大小；

2、调度器向从服务器发送资源占用情况请求；

3、从服务器将物理机的资源占用情况反馈给调度器，调度器选择满足资源占用情况请求的物理机的集合，其中，资源占用情况以链表的形式存储在调度器中；

4、调度器通向所述从服务器发送容器启动命令；

5、从服务器根据要求设置物理机上的容器的资源占用上限并启动容器，其中，从服务器利用应用容器引擎对任务占用的资源和环境进行隔离；

6、在容器启动完成后，从服务器通知调度器；

7、调度器将容器的集群的IP发送给用户；

8、用户向容器提交任务，在本发明的一个实施例中，用户通过SSH向容器提交任务；

9、当任务执行完毕后，容器向用户发送执行结果。

具体而言，前端以Web应用的形式呈现给用户，用户使用Web应用创建租户，并通过Web端提供的预置选项为租户申请创建应用容器集群。创建完成后租户管理员可以设置租户中的成员以及成员对租户内应用集群的访问权限。用户通过租户管理员分配的账户和密码通过SSH连接上虚拟容器进行任务的提交。

调度器采用两层调度的架构，第一层调度是粗粒度的调度，负责监控整个集群中资源的占用和分配情况，并且在收到租户创建集群的请求之后，负责从集群中通过分配算法选出适合为该请求提供服务的物理机，并在这些机器上启动相应的容器。第二层调度负责作业粒度的调度。租户申请创建的集群启动完成后，用户便可以给该集群提交作业，该集群需要根据当前各容器的负载情况，对作业进行分片与分配，交给集群中的部分或者全部容器进行计算。

使用Docker进行资源与环境隔离。容器控制器对Docker的命令进行封装，利用容器技术对用户占用的计算资源以及计算环境进行隔离。

服务器中使用MongoDB存储元数据，用户元数据存于User Collection中，租户元数据存于Tenant Collection中。

权限控制过程中，通过token与用户ID的映射，在User和Tenant两个Collection中进行比对，确定用户该次访问是否具有相应权限。

资源分配算法如下：使用中心Redis节点记录集群中每台物理机的空闲资源情况以及当前资源占用情况。空闲资源情况以及当前资源占用情况均采用链表的形式有序存放。调度器在各资源类型的链表进行二分查找后获得满足用户请求的物理机集合。调度器对筛选出的物理机集合按照应用类型进行不同的排序，包括计算密集或者I/O密集。

相比于现有方式：

第一，现有的分布式调度方案需要分布式应用各自提供接入模块，对于每一个想接入现有分布式资源调度系统的分布式应用来说都需要利用其提供的编程接口编写接入模块，无法实现“热插拔”。本发明设计了一种新型的两层调度方案，通过把基于任务的细粒度调度工作下放给各分布式应用自身，从而实现了应用的“热插拔”，降低了调度器与应用之间的耦合度。

第二，现有的分布式资源调度方案都是在静态的存储系统之上对计算任务进行调度，无法满足多租户对存储系统的实时个性化定制。本发明通过对现有的分布式资源调度方案进行扩展，引入了对存储系统的实时调度，提升了大数据系统的灵活性，更好地满足多租户的需求。

第三，传统的虚拟化技术需要对硬件以及操作系统进行虚拟因此性能开销较大，而容器技术是通过内核特性Namespace和CGroups等实现，省去层层虚拟，通过与宿主主机共用内核的方式显著降低虚拟化带来的开销。通过引入虚拟容器替代传统虚拟化技术的方法，提升了大数据系统的硬件资源利用率。

本发明的基于虚拟容器的大数据存储与管理方法解决了如何在异构的底层存储硬件之上，提供统一的存储与计算池，满足用户多模态的存储需求与多样化的计算需求，并且能够隔离不同用户的资源与应用。本发明的基于虚拟容器的大数据存储与管理方法，采用虚拟容器技术进行资源与环境的隔离，采用双层调度的架构降低了顶层调度器负载以及分布式应用与调度器的耦合度，并且对实时调度存储系统提供了支持。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于虚拟容器的大数据存储与管理系统，其特征在于，包括：

元数据服务器，所述元数据服务器用于维护租户信息和用户信息，并在用户访问元数据和容器时进行权限认证；

调度器，包括两层调度，其中，上层调度为容器级别的调度，下层调度为任务级别的调度，所述上层调度用于接收用户的请求，并为用户分配和配置对应的容器，所述下层调度由每个大数据计算框架的主节点完成，所述调度器具有接收用户提交任务的接口，以根据用户需求和从服务器发送的全局资源和任务运行情况，从集群中选择多个物理机以通过所述物理机中的容器执行所述任务，并向所述物理机上容器发送启停命令；

多个从服务器，所述从服务器与所述调度器相互通讯，用于根据所述调度器发送的启停命令控制对应的物理机上的容器的启停，并监控对应的物理机的资源和任务运行情况，以及将所述资源和任务运行情况反馈给所述调度器。

2.根据权利要求1所述的基于虚拟容器的大数据存储与管理系统，其特征在于，所述租户信息包括：团体名称、联系方式和支付信息。

3.根据权利要求1所述的基于虚拟容器的大数据存储与管理系统，其特征在于，所述元数据服务器包括：

租户管理模块，用于维护每个租户信息，并为租户管理员提供设置用户权限的机制；

用户管理模块，用于维护用户的信息，并对用户进行身份认证；

权限认证模块，用于在用户访问元数据和容器时进行权限认证。

4.根据权利要求1所述的基于虚拟容器的大数据存储与管理系统，其特征在于，所述从服务器包括：

容器控制器，用于对所述物理机上的容器进行监控，并根据所述启停命令控制所述容器的启停；

资源监控模块，用于监测所述物理机的资源和任务执行情况，其中，所述资源包括：CPU使用、内存占用、网络IO和磁盘占用情况；

通信模块，用于与所述调度器相互通信，并向所述调度器发送所述物理机的资源和任务执行情况，并接收所述调度器发送的所述启停命令。

5.根据权利要求1-4任一项所述的基于虚拟容器的大数据存储与管理系统，其特征在于，所述用户通过SSH向所述容器进行任务提交。

6.一种如权利要求1-5任一项所述的基于虚拟容器的大数据存储与管理系统的执行方法，其特征在于，包括以下步骤：

用户向调度器提交创建集群请求；

所述调度器向从服务器发送资源占用情况请求；

所述从服务器将物理机的资源占用情况反馈给所述调度器，所述调度器选择满足所述资源占用情况请求的物理机的集合；

所述调度器通向所述从服务器发送容器启动命令；

所述从服务器根据要求设置物理机上的容器的资源占用上限并启动所述容器；

在所述容器启动完成后，所述从服务器通知所述调度器；

所述调度器将所述容器的集群的IP发送给所述用户；

所述用户向所述容器提交任务；

当所述任务执行完毕后，所述容器向所述用户发送执行结果。

7.根据权利要求6所述的方法，其特征在于，所述集群请求包括：应用类型、节点数、硬件描述，其中，所述硬件描述包括：CPU频率、核数、硬盘大小和内存大小。

8.根据权利要求6所述的方法，其特征在于，所述从服务器利用应用容器引擎对任务占用的资源和环境进行隔离。

9.根据权利要求6所述的方法，其特征在于，所述用户通过SSH向所述容器提交任务。

10.根据权利要求6-9任一项所述的方法，其特征在于，所述资源占用情况以链表的形式存储在所述调度器中。