CN106534266B - 一种基于Agent的多环境应用并行的云平台及其工作方法 - Google Patents

Abstract

本发明公开了一种基于Agent的多环境应用并行的云平台及其工作方法，属于云计算领域。本发明针对Yarn运行环境的限定性问题，建立由Yarn和Docker组成的多环境应用平台，实现系统可以同一时间开展不同环境下的任务的目标。同时考虑到目前Yarn和Docker的资源管理存在差异，传统的方法只是将两者直接捆绑使用，破坏了原有的资源系统和统一时序原则，所以本发明添加DYbox Proxy，这可以将两者资源管理系统整合起来，避免资源泄露，进而达到大幅降低了不同环境下的运维成本的目的。

Description

一种基于Agent的多环境应用并行的云平台及其工作方法

技术领域

本发明涉及云计算领域，尤其涉及一种基于Agent的多环境应用并行的云平台及其工作方法。

背景技术

伴随着大数据的发展，大量非结构化数据和半结构化数据以指数级的变化进行增长，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。MRv1作为一种标准的大数据资源管理系统广泛应用于各个大数据环境中，但是当集群规模不断扩大，节点数超过4000，就会表现出一定的不可预测性。其中一个最大的问题是级联故障，由于要尝试复制数据和重载活动的节点，所以一个故障会通过网络泛洪形式导致整个集群严重恶化。最重要的是，它无法支持多租户，同一时间无法为多个用户安排进程，产生了大量时间冗余。MRv2——Yarn的产生正好解决了这两个问题。

Yarn是Hadoop2.0之后的使用的分布式资源管理系统，它主要负责为MapReduce、Spark等高层应用分配管理整个集群的资源。但是现在很多已存在的工作在Yarn的框架都是在某个特定的环境下运行的，一旦有新的应用加入就必须重新配置环境，增加了许多额外的工作量，所以如何能够在任意的复杂环境下直接支持用户的个性化应用成为了一个难题。

Docker的出现为解决这个问题指明了方向。Docker是一种很流行的容器虚拟化技术，它提供了一种在容器中运行任意应用的方法。Docker是一个用来开发、移植、运行应用的开源平台，基于Docker技术可以把应用作为一个轻量级的容器虚拟运行在任意地方。

但是两者之间资源管理存在着许多矛盾，这就导致资源利用率无法得到有效的提高。比如一些有Docker容器运行的程序脱离了Yarn的管理，破坏了Yarn的统一管理和统一时序原则，从而造成资源泄漏问题。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于Agent的多环境应用并行的云平台及其工作方法。

本发明为解决上述技术问题采用以下技术方案：

一种基于Agent的多环境应用并行的云平台，包含DYbox和Docker两个模块；

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；

所述DYbox是程序运行模块，它包含DYbox Client、ResourceManager、DYboxMaster、DYbox Driver、NodeManager、Container、DYbox Proxy、HDFS和State Server；

所述DYbox Client是DYbox客户端，它用于接收用户的任务，并将用户任务转化成DAG任务并将其细分为各个子DAG任务，以及向ResourceManager提交和停止子DAG任务；

所述ResourceManager是资源管理器，它用于接收来自各个NodeManager的资源汇报信息，并根据这些信息将资源分配给各个子DAG任务程序；

所述DYbox Master是DYbox主控模块，它用于向ResourceManager申请资源，并将资源分配给Container；

所述DYbox Driver是DYbox驱动器，它用于控制DAG任务时序和执行用户代码；

所述NodeManager是DYbox节点管理器，它用于管理集群中单个计算节点，包括计算节点与ResourceManager保持通信、监督计算节点Container的生命周期和资源使用；

所述Container是容器，它用于采用DYbox Master向ResourceManager申请的集群资源安装从Docker Engine获取的Docker镜像，所述Docker镜像由DYbox Master与NodeManager通信来进行启动；

所述DYbox Proxy是DYbox代理服务器，它用于协调DYbox和Docker进行工作，从属于DYbox Proxy的Agent单元用于将DYbox的命令传输给Docker Engine；所述HDFS是Hadoop分布式文件系统，它用于接收、存储和传送集群数据；

所述State Server是状态服务器，它用于维护Docker Engine的健康状态信息，记录可运行任务的机器列表；

所述Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后传到DYbox上，实现虚拟化，它包含Docker Registry、Docker Engine和Jenkins；

所述Docker Registry是Docker注册器，它用于存储Docker镜像，实现Docker镜像内部的版本控制；

所述Docker Engine是Docker引擎，它作为Container执行引擎，从DockerRegistry获得Docker镜像并启动Container；

所述Jenkins是代码执行平台，它用于在应用代码更新之后测试、打包、产生Docker镜像，并将其上传给Docker Registry，完成应用的自动发行。

本发明还公开了一种该基于Agent的多环境应用并行的云平台的工作方法，包含以下步骤：

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；所述DYbox是程序运行模块；所述DYbox Client是DYbox客户端；所述ResourceManager是资源管理器；所述DYbox Master是DYbox主控模块；所述DYbox Driver是DYbox驱动器；所述NodeManager是DYbox节点管理器；所述Container是容器；所述DYbox Proxy是DYbox代理服务器；所述State Server是状态服务器；所述Docker是一个开源的应用容器引擎；所述Docker Registry是Docker注册器；所述Jenkins是代码执行平台；

步骤1)，用户将任务提交给DYbox Client，DYbox Client将用户所提交的任务转化为DAG任务，并切分成各个子DAG任务；

步骤2)，客户端将子DAG任务提交给ResourceManager，ResourceManager根据任务给DYbox Master分配资源，然后由DYbox Master启动相应的DYbox Driver，DYbox Driver负责相应应用的时序控制；

步骤3)，ResourceManager根据DYbox Master请求启动各个NodeManager，NodeManager根据ResourceManager命令为各自的Container进行分配资源；

步骤4)，Jenkins将根据系统所需环境参数配置相应的镜像，然后传送到DockerRegistry；

步骤5)，Docker Registry保存从Jenkins处接收的镜像，从而实现对版本控制，再将镜像传送到Docker Engine；

步骤6)，Docker Engine从DYbox Proxy获取Container的资源将镜像安装到虚拟机中；

步骤7)，DYbox Proxy将DYbox的命令传给Docker并将Docker的资源使用情况收集汇报到DYbox Master；

步骤8)，DYbox Master将Docker使用情况再反馈给ResourceManager；

步骤9)，State Server接收Docker Engine的健康状态信息，记录可运行任务的机器列表，为新的任务安排虚拟机。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.Docker可以根据任务要求自己配置镜像自动安装虚拟机，无需如Yarn一样手动配置不同环境下应用的环境变量，节省了许多冗余操作，方便了分布式应用的创建，简化了虚拟机的部署；

2.Docker和Yarn通过DYbox Proxy的Agent实现资源管理协同，将两者资源管理器合并，优化了资源管理，避免了资源泄露，提高了资源使用率；

3.用户可以通过自己调节代码进行相应应用的时序控制，并可以通过shell命令实现单一Docker容器操作，节省资源。

本发明通过将Docker和Yarn的Container结合，使得系统可以在任意环境下直接使用服务应用，提高了集群利用率，无需和Yarn一样不同平台需要配置不同的环境变量，方便了分布式应用的创建，简化了VM的部署，并且通过DYbox Proxy代理层将Yarn和Docker的资源管理协同起来，优化了资源配置，省去了额外的维护工作。

附图说明

图1是本发明应用平台具体实施的模块示意图；

图2是Yarn-cluster模式运行的示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明公开了一种基于Yarn架构的多环境应用平台，它以Docker和Yarn为基础，构建一种DAG计算框架，包括了两大部分：DYbox和Docker。

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；

所述DYbox是程序运行模块，它包含DYbox Client、ResourceManager、DYboxMaster、DYbox Driver、NodeManager、Container、DYbox Proxy、HDFS和State Server；

所述DYbox Client是DYbox客户端，它用于接收用户的任务，并将用户任务转化成DAG任务并将其细分为各个子DAG任务，以及向ResourceManager提交和停止子DAG任务；

所述ResourceManager是资源管理器，它用于接收来自各个NodeManager的资源汇报信息，并根据这些信息将资源分配给各个子DAG任务程序；

所述DYbox Master是DYbox主控模块，它用于向ResourceManager申请资源，并将资源分配给Container；

所述DYbox Driver是DYbox驱动器，它用于控制DAG任务时序和执行用户代码；

所述NodeManager是DYbox节点管理器，它用于管理集群中单个计算节点，包括计算节点与ResourceManager保持通信、监督计算节点Container的生命周期和资源使用；

所述Container是容器，它用于采用DYbox Master向ResourceManager申请的集群资源安装从Docker Engine获取的Docker镜像，所述Docker镜像由DYbox Master与NodeManager通信来进行启动；

所述DYbox Proxy是DYbox代理服务器，它用于协调DYbox和Docker进行工作，从属于DYbox Proxy的Agent单元用于将DYbox的命令传输给Docker Engine；所述HDFS是Hadoop分布式文件系统，它用于接收、存储和传送集群数据；

所述State Server是状态服务器，它用于维护Docker Engine的健康状态信息，记录可运行任务的机器列表；

所述Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后传到DYbox上，实现虚拟化，它包含Docker Registry、Docker Engine和Jenkins；

所述Docker Registry是Docker注册器，它用于存储Docker镜像，实现Docker镜像内部的版本控制；

所述Docker Engine是Docker引擎，它作为Container执行引擎，从DockerRegistry获得Docker镜像并启动Container；

所述Jenkins是代码执行平台，它用于在应用代码更新之后测试、打包、产生Docker镜像，并将其上传给Docker Registry，完成应用的自动发行。

在本发明应用平台的架构中，DYbox负责集群的资源管理，Docker是运行在操作系统之上的任务执行引擎，与Docker Registry一起协同工作。DYbox把用户的编程代码翻译成Docker的基于容器的DAG任务，这些任务根据所需申请资源并且按照DAG的方式执行。

DYbox对Docker运行过程中的容器DAG任务实现了良好的支持。DYbox还提供了多种方法以实现在生产环境和测试环境下的应用提交，而且它还可以和Jenkins，GitLab联合使用，利用Docker Registry来建立起一套开发、测试、自动发行的机制。

本发明还公开了一种该基于Agent的多环境应用并行的云平台的工作方法，具体实现过程为：

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；所述DYbox是程序运行模块；所述DYbox Client是DYbox客户端；所述ResourceManager是资源管理器；所述DYbox Master是DYbox主控模块；所述DYbox Driver是DYbox驱动器；所述NodeManager是DYbox节点管理器；所述Container是容器；所述DYbox Proxy是DYbox代理服务器；所述State Server是状态服务器；所述Docker是一个开源的应用容器引擎；所述Docker Registry是Docker注册器；所述Jenkins是代码执行平台；

步骤1)，用户将任务提交给DYbox Client，DYbox Client将用户所提交的任务转化为DAG任务，并切分成各个子DAG任务；

步骤2)，客户端将子DAG任务提交给ResourceManager，ResourceManager根据任务给DYbox Master分配资源，然后由DYbox Master启动相应的DYbox Driver，DYbox Driver负责相应应用的时序控制；

步骤3)，ResourceManager根据DYbox Master请求启动各个Node Manager，NodeManager根据ResourceManager命令为各自的Container进行分配资源；

步骤4)，Jenkins将根据系统所需环境参数配置相应的镜像，然后传送到DockerRegistry；

步骤5)，Docker Registry保存从Jenkins处接收的镜像，从而实现对版本控制，再将镜像传送到Docker Engine；

步骤6)，Docker Engine从DYbox Proxy获取Container的资源将镜像安装到虚拟机中；

步骤7)，DYbox Proxy将Yarn的命令传给Docker并将Docker的资源使用情况收集汇报到DYbox Master；

步骤8)，DYbox Master将Docker使用情况在反馈给ResourceManager，实现更好的资源二次分配调度；

步骤9)，State Server接收Docker Engine的健康状态信息，记录可运行任务的机器列表，为新的任务安排虚拟机。

本发明采用Yarn-cluster模式运行，在该模式下控制组件和资源管理组件运行在Yarn集群上面。如图2所示，DYbox Master和DYbox Driver都运行在集群上，DYbox Driver负责控制逻辑，DYbox Master则负责资源管理。

提交一个DYbox应用的过程和这个DYbox应用的生命周期如下：

用户利用DYbox Client将用户任务转化成DAG任务，然后提交给Yarn集群；

当收到一DYbox应用之后，ResourceManager将会为DYbox Master分配资源，然后启动它。接着DYbox Master启动DYbox Driver，DYbox Driver调用DYbox Master的接口来启动计算节点上的Docker任务；

DYbox Master向ResourceManager请求资源，ResourceManager根据Yarn集群的状态分配资源。DYbox Master启动Yarn容器上的DYbox Proxy，和Docker Engine通信以启动Docker容器，并且通过Agent将Docker资源管理与Yarn资源管理合并，将Docker资源使用情况通过DYbox Master反馈给ResourceManager；

用户的Docker任务是运行在Docker容器内的，日志输出在一个本地文件上。用户通过Yarn的WEB端可以看到实时的应用日志；

当所有的Docker任务都完成之后，日志将会汇总给HDFS，用户可以通过HistoryServer来查看一个应用的日志信息。

在Yarn中，用户的任务只能运行在Yarn容器中，Docker容器也只能由DockerEngine管理。这样造成的结果就是一些有Docker容器运行的程序脱离了Yarn的管理，破坏了Yarn的统一管理和统一时序原则，从而造成资源泄漏问题。为了使Yarn能够管理控制Docker容器，我们就需要再Yarn和Docker Engine中间建立一个代理层。这样是DYboxProxy产生的缘由，通过DYbox Proxy，Yarn可以管理Docker容器的生命周期避免资源泄漏。

关于应用平台的具体实施过程：

一个DYbox应用中有4个作业---Job1、Job2、Job3和Job4，Job1、Job3是CentOS环境下的作业，Job1、Job3是Ubuntu环境下的作业。

在平台中每个作业可以配置它自己所需的cpu、内存、Docker镜像和并行度等资源。我们设定Job3要等到Job1和Job2结束才能执行，Job1、Job2、和Job3是分阶段执行的，用户可以在阶段之间可以插入自己的代码，最后才开始执行Job4.

本发明还支持单一Docker容器操作，通过shell命令模式提交任务即可。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于Agent的多环境应用并行的云平台，其特征在于，包含DYbox和Docker两个模块：

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；

所述DYbox是程序运行模块，它包含DYbox Client、ResourceManager、DYbox Master、DYbox Driver、NodeManager、Container、DYbox Proxy、HDFS和State Server；

所述DYbox Client是DYbox客户端，它用于接收用户的任务，并将用户任务转化成DAG任务并将其细分为各个子DAG任务，以及向ResourceManager提交和停止子DAG任务；

所述ResourceManager是资源管理器，它用于接收来自各个NodeManager的资源汇报信息，并根据这些信息将资源分配给各个子DAG任务程序；

所述DYbox Master是DYbox主控模块，它用于向ResourceManager申请资源，并将资源分配给Container；

所述DYbox Driver是DYbox驱动器，它用于控制DAG任务时序和执行用户代码；

所述NodeManager是DYbox节点管理器，它用于管理集群中单个计算节点，包括计算节点与ResourceManager保持通信、监督计算节点Container的生命周期和资源使用；

所述Container是容器，它用于采用DYbox Master向ResourceManager申请的集群资源安装从Docker Engine获取的Docker镜像，所述Docker镜像由DYbox Master与NodeManager通信来进行启动；

所述DYbox Proxy是DYbox代理服务器，它用于协调DYbox和Docker进行工作，从属于DYbox Proxy的Agent单元用于将DYbox的命令传输给Docker Engine；所述HDFS是Hadoop分布式文件系统，它用于接收、存储和传送集群数据；

所述State Server是状态服务器，它用于维护Docker Engine的健康状态信息，记录可运行任务的机器列表；

所述Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后传到DYbox上，实现虚拟化，它包含Docker Registry、DockerEngine和Jenkins；

所述Docker Registry是Docker注册器，它用于存储Docker镜像，实现Docker镜像内部的版本控制；

所述Docker Engine是Docker引擎，它作为Container执行引擎，从Docker Registry获得Docker镜像并启动Container；

所述Jenkins是代码执行平台，它用于在应用代码更新之后测试、打包、产生Docker镜像，并将其上传给Docker Registry，完成应用的自动发行。

2.基于权利要求1所示的基于Agent的多环境应用并行的云平台的工作方法，其特征在于，包含以下步骤：

所述Agent是一个将DYbox和Docker资源管理器进行整合，实现资源高效利用的模块；所述DYbox是程序运行模块；所述DYbox Client是DYbox客户端；所述ResourceManager是资源管理器；所述DYbox Master是DYbox主控模块；所述DYbox Driver是DYbox驱动器；所述NodeManager是DYbox节点管理器；所述Container是容器；所述DYbox Proxy是DYbox代理服务器；所述State Server是状态服务器；所述Docker是一个开源的应用容器引擎；所述Docker Registry是Docker注册器；所述Jenkins是代码执行平台；

步骤1)，用户将任务提交给DYbox Client，DYbox Client将用户所提交的任务转化为DAG任务，并切分成各个子DAG任务；

步骤2)，客户端将子DAG任务提交给ResourceManager，ResourceManager根据任务给DYbox Master分配资源，然后由DYbox Master启动相应的DYbox Driver，DYbox Driver负责相应应用的时序控制；

步骤3)，ResourceManager根据DYbox Master请求启动各个NodeManager，NodeManager根据ResourceManager命令为各自的Container进行分配资源；

步骤4)，Jenkins将根据系统所需环境参数配置相应的镜像，然后传送到DockerRegistry；

步骤5)，Docker Registry保存从Jenkins处接收的镜像，从而实现对版本控制，再将镜像传送到Docker Engine；

步骤6)，Docker Engine从DYbox Proxy获取Container的资源将镜像安装到虚拟机中；

步骤7)，DYbox Proxy将DYbox的命令传给Docker并将Docker的资源使用情况收集汇报到DYbox Master；

步骤8)，DYbox Master将Docker使用情况再反馈给ResourceManager；

步骤9)，State Server接收Docker Engine的健康状态信息，记录可运行任务的机器列表，为新的任务安排虚拟机。