CN114268629A - 基于私有云的emr系统 - Google Patents

Abstract

本发明提供了一种基于私有云的EMR系统，其中，该系统包括：集群订购模块，用于根据用户的业务场景为用户提供集群功能；集群管理模块，用于查看用户在集群订购模块中订购的集群信息；集群监控模块，用于查看集群中的Master节点、Core节点和Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；作业列表模块，用于查看集群中提交到YARN的作业列表，并按照筛选条件进行筛选；弹性伸缩模块，用于根据用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；监控告警模块，用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。由此，大大降低了用户使用大数据系统的门槛。

Description

基于私有云的EMR系统

技术领域

本发明涉及私有云数据管理技术领域，具体涉及一种基于私有云的EMR系统。

背景技术

相关技术中，在私有云的大数据运维实践下，当用户需要使用Hadoop和Spark等大数据分布式处理系统的时候，对用户自身来说前期需要做相应的准备：选择机器类型、购买机器、准备硬件环境、安装操作系统、部署启动Hadoop和Spark等组件，但是跟用户相关的内容是编写应用程序运行作业，对于不熟悉底层大数据集群的用户来说，这些前期准备工作非常冗长繁琐而且出了问题也无法得到及时的解决。而且在特定的业务场景下比如业务高峰期，大数据Hadoop和Spark集群需要进行自动弹性扩容，而当业务高峰期过去之后，集群需要进行自动弹性缩容，为了适配这样的场景，用户需要付出更多的人力成本与时间成本，所以在私有云上无法很好地利用大数据系统进行业务操作。

发明内容

本发明为解决上述技术问题，提供了一种基于私有云的EMR系统，通过简单的页面操作实现Hadoop和Spark等大数据集群的订购与部署使用，大大降低了用户使用大数据系统的门槛。

本发明采用的技术方案如下：

一种基于私有云的EMR系统，包括：集群订购模块，所述集群订购模块用于根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点；集群管理模块，所述集群管理模块用于查看所述用户在所述集群订购模块中订购的集群信息；集群监控模块，所述集群监控模块用于查看所述集群中的所述Master节点、所述Core节点和所述Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；作业列表模块，所述作业列表模块用于查看所述集群中提交到YARN的作业列表，并按照筛选条件进行筛选；弹性伸缩模块，所述弹性伸缩模块用于根据所述用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；监控告警模块，所述监控告警模块用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。

所述集群订购模块具体用于：接收所述用户发送的前端请求，并根据所述用户指定的节点配置申请主机节点，以及在所述主机节点申请成功后通过SSH的方式在所述主机节点安装管控Agent，并在所述管控Agent安装成功后根据所述用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应的主机节点上，以及在所述服务部署完成后自动启动并定时上报健康状态到相应的服务端。

所述集群监控模块具体用于：创建部署监控组件，并采用所述监控组件动态注册集群监控路由，其中，当存在集群新增时，将新增路由添加到对应zookeeper节点中。

所述作业列表模块具体用于：通过EMR前端页面并采用YARN原生Rest API的方式获取集群中提交到YARN的任务列表，其中，查询的服务节点为YARN ResourceManager中角色类型为active的节点，获取的作业数据包括作业名称、作业ID、作业类型、作业运行状态、作业最终状态、任务开始时间、任务结束时间、任务执行用户、任务分配VCore、任务分配内存、队列使用百分比与集群使用百分比。

所述弹性伸缩模块具体用于：在所述用户创建针对时间的弹性扩缩规则后，通过后端系统根据所述用户设置的时间以及最大节点数和最小节点数进行扩容/缩容，其中，在扩容/缩容失败后，原有服务正常运行。

所述弹性伸缩模块具体还用于：在所述用户创建针对负载的弹性扩缩规则后，通过所述后端系统将所述用户设置的负载值与当前时刻所述集群的服务负载进行比较，并在当前时刻所述集群的服务负载大于所述用户设定的负载值时进行扩容，以及在当前时刻所述集群的服务负载小于所述用户设定的负载值时进行缩容。

本发明的有益效果：

本发明通过简单的页面操作实现Hadoop和Spark等大数据集群的订购与部署使用，大大降低了用户使用大数据系统的门槛。

附图说明

图1为本发明实施例的基于私有云的EMR系统的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明实施例的基于私有云的EMR系统的方框示意图。

如图1所示，本发明实施例的基于私有云的EMR系统可包括：集群订购模块100、集群管理模块200、集群监控模块300、作业列表模块400、弹性伸缩模块500和监控告警模块600。

其中，集群订购模块100用于根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点；集群管理模块200用于查看用户在集群订购模块中订购的集群信息；集群监控模块300用于查看集群中的Master节点、Core节点和Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；作业列表模块400用于查看集群中提交到YARN的作业列表，并按照筛选条件进行筛选；弹性伸缩模块500用于根据用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；监控告警模块600用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。

具体而言，集群订购模块100可根据用户的业务场景为用户提供集群功能，例如，主机选型、组件选型、集群部署、集群运行等功能，其中，集群包括Master节点、Core节点和Task节点。

根据本发明的一个实施例，集群订购模块100具体用于：接收用户发送的前端请求，并根据用户指定的节点配置申请主机节点，以及在主机节点申请成功后通过SSH的方式在主机节点安装管控Agent，并在管控Agent安装成功后根据用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应的主机节点上，以及在服务部署完成后自动启动并定时上报健康状态到相应的服务端。

具体地，用户可通过集群订购模块100选择集群类型、集群版本、Master节点配置、Core节点配置、Task节点配置，并输入集群名称、集群密码等必填内容点击提交。此时，集群订购模块100可通过后端程序接收用户发送的前端请求并根据用户指定的节点配置先去申请主机节点资源，主机节点申请成功之后再通过SSH的方式在主机节点安装管控Agent。在Agent均安装成功后可根据用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应主机节点上，服务部署完成之后会自动启动而且会定时上报健康状态到服务端。由此，用户能够通过前端页面查看当前服务的运行状态与健康状态。

进一步而言，可通过集群管理模块200查看用户在集群订购模块100中订购的集群信息，包括集群类型、集群配置、集群主机列表、集群服务列表。例如，Hadoop集群可包含HDFS和YARN组件，HDFS组件包括HDFS NameNode、HDFS JournalNode、HDFS DataNode等，YARN组件包括YARN ResourceManager、YARN NodeManager等，也支持页面查看、修改、下发对应服务的配置项、重启服务与服务监控图表查看。

另外，可通过集群监控模块300查看集群中的Master节点、Core节点、Task节点的详细信息以及各节点中部署的服务列表与主机监控图表。

根据本发明的一个实施例，集群监控模块300具体用于：创建部署监控组件，并采用所述监控组件动态注册集群监控路由，其中，当存在集群新增时，将新增路由添加到对应zookeeper节点中。

具体而言，服务监控是使用二次开发的grafana组件展示丰富的指标监控图表，而且便于用户后续自定义添加指标监控，所以在服务部署的过程中除了用户自己选择的服务之外还会额外部署一套监控组件(由grafana与prometheus构成的监控组件)，确保一套集群一套监控组件，保证集群数据隔离。具体地，对于不同的集群来说，访问服务监控页面相同的路由会自动路由到对应的集群监控地址，因此，引入了traefik组件(traefik与nginx类似，一种反向代理工具，支持自动服务发现与负载均衡且无需重启动态加载路由)用于动态注册集群监控路由，其中，traefik的服务发现provider使用zookeeper，因此，当存在集群新增时，即可将新增路由添加到对应zookeeper节点中。

此外，可通过作业列表模块400查看集群中提交到YARN的作业列表，并按照筛选条件进行筛选，其中，可按照时间、类型、状态等筛选条件进行筛选。

其中，作业列表模块400具体用于：通过EMR前端页面并采用YARN原生Rest API的方式获取集群中提交到YARN的任务列表，其中，查询的服务节点为YARN ResourceManager中角色类型为active的节点，获取的作业数据包括作业名称、作业ID、作业类型、作业运行状态、作业最终状态、任务开始时间、任务结束时间、任务执行用户、任务分配VCore、任务分配内存、队列使用百分比与集群使用百分比。

需要说明的是，在满足用户业务需求的过程中，还可通过弹性伸缩模块500根据用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容。

根据本发明的一个实施例，弹性伸缩模块500具体用于：在用户创建针对时间的弹性扩缩规则后，通过后端系统根据用户设置的时间以及最大节点数和最小节点数进行扩容/缩容，其中，在扩容/缩容失败后，原有服务正常运行。

根据本发明的另一个实施例，弹性伸缩模块500具体还用于：在用户创建针对负载的弹性扩缩规则后，通过后端系统将用户设置的负载值与当前时刻集群的服务负载进行比较，并在当前时刻集群的服务负载大于用户设定的负载值时进行扩容，以及在当前时刻集群的服务负载小于用户设定的负载值时进行缩容。

具体而言，用户在弹性伸缩时可以根据两个维度创建弹性伸缩规则，一个是时间维度，另一个是负载维度。对于时间维度的弹性伸缩，用户在创建了伸缩规则后，弹性伸缩模块500可通过后端系统根据用户设置的时间与最大/最小节点数进行弹性扩缩，扩缩容失败不会影响原有服务的正常运行；对于负载维度的弹性伸缩，用户在创建了伸缩规则后，弹性伸缩模块500可通过后端系统将用户设置的负载值实时与当前EMR集群的服务负载进行比较，在当前EMR集群的服务负载超过用户设置的负载值时会自动扩容，而在当前EMR集群的服务负载低于用户设置的负载值时会自动缩容，在两者相等时，不做处理。以Hadoop集群为例，弹性扩容是针对Task节点，后端服务接收到扩容请求时，会先去申请主机节点，主机节点申请成功后进行管控安装操作，而后会将计算服务YARN NodeManager部署到新申请的主机节点中再启动服务。整个过程是增量操作，不会对现有服务造成不可用的影响；而弹性缩容也是针对Task节点，后端服务接收到缩容请求时，首先会根据缩容数量筛选出需要被缩容的主机节点，然后会将计算服务YARN NodeManager从该主机节点已部署的服务中卸载掉，最后会销毁该主机节点，避免出现资源浪费的情况，整个过程也是增量操作，不会对现有服务造成不可用的影响。

由此，通过弹性伸缩的页面配置可以根据用户的业务需求动态调整当前EMR集群的计算节点数量，将用户的资源使用率最大化，在保证用户业务需求正常运行的条件下最大化节省用户成本。

在本发明的一个实施例中，监控告警模块300提供的告警策略可分为两部分。其中，第一部分是EMR平台自身产生的事件告警，比如集群扩容成功、集群扩容失败、集群缩容成功、集群缩容失败，当用户配置的告警策略包含这部分内容的时候，当有对应平台事件触发时，监控告警模块300可遍历当前集群的所有告警策略，一旦匹配到对应的告警策略配置就会生成一条告警记录并按照用户自定义的发送方式与发送人将告警信息发送出去；第二部分是集群中grafana组件中配置的告警规则，比如HDFS NameNode Up、HDFS DataNode Up等告警指标，用户在添加告警策略时可以选择集群中部署的所有组件的告警规则，而且一条告警策略可以添加多个服务的告警规则，用户点击创建告警策略后，第一步是为当前集群的grafana组件创建一条webhook类型的告警通道，webhook的地址为后端服务的用于发送告警的POST类型的接口，第二步是将第一步创建的告警通道使用Rest API的方式绑定到用户选择的告警规则对应的仪表盘中，通过上述两个步骤就可以实现基于集群内grafana组件发送告警的功能。当grafana检测到有告警产生时，会按照JSON的格式组装告警内容然后通过webhook的方式调用后端服务的发送地址，后端服务接收到webhook请求后，会根据告警策略相关信息获取告警发送方式与接收人信息，从而将告警信息按照用户需求发送到对应接收人。

由此，通过用户页面可视化的配置可以自动搭建一套用户开箱即用的Hadoop或Spark大数据集群，节省了用户大量的时间成本与人力成本，使用户只用专注于数据开发任务的编写与提交，可以快速完成业务目标，并且通过引入traefik组件实现了按集群维度的监控告警模式，完成了监控告警按集群维度的隔离，同时，通过用户页面可视化的配置可以迅速的创建告警策略并应用到对应仪表盘中，使用户可以不需要进入仪表盘的页面手动配置告警规则与告警通道，降低了用户的使用门槛。

在本发明的一个具体实施例中，在进行Hadoop集群的创建时，首先，用户可在订购页面选择Hadoop集群，版本为EMR-2.8.5，选定Master节点、Core节点、Task节点规格配置，选择系统盘类型与数据盘类型为高性能云硬盘，输入系统盘大小为100G，数据盘大小为500G，输入集群名称与集群密码，点击确定，创建集群；其次，等待集群创建完成后，查看集群服务包含Zookeeper、HDFS、YARN、Spark，查看服务监控页面出现grafana图表界面；然后，进入告警策略的编辑页面添加HDFS NameNode Up的告警规则，保存后在页面停止HDFSNameNode服务，配置的告警接收人收到相应通知。

在本发明的另一个具体实施例中，在进行Flink集群的创建时，首先，用户在订购页面选择Flink集群，版本为EMR-2.8.5，选定Master节点、Core节点、Task节点规格配置，选择系统盘类型与数据盘类型为高性能云硬盘，输入系统盘大小为100G，数据盘大小为500G，输入集群名称与集群密码，点击确定，创建集群；其次，等待集群创建完成后，查看集群服务包含Zookeeper、HDFS、YARN、Flink，查看服务监控页面出现grafana图表界面；然后，在弹性伸缩的页面添加按时间维度的伸缩规则，验证在配置的时间点会自动发生弹性伸缩。

需要说明的是，针对本发明的基于私有云的EMR系统中的集群订购模块100、集群管理模块200、集群监控模块300、作业列表模块400、弹性伸缩模块500和监控告警模块600，可选择MYSQL作为底层存储数据库存储原数据，其中，部分关键性表说明如下：(1)集群实例表：定义EMR集群的元数据信息，包含集群名称、集群类型、集群版本、集群服务等内容；(2)集群主机表：定义EMR集群中的主机元数据信息，包含主机IP、主机名、CPU核数、内存大小、磁盘大小等内容；(3)集群服务表：定义EMR集群中部署的服务元数据信息，包含名称、服务版本、部署的主机IP、健康状态、服务状态、HA角色执行命令、心跳时间等内容；(4)集群弹性伸缩策略表：定义EMR集群配置的弹性伸缩策略元数据信息，包含策略名称、类型、伸缩配置等内容；(5)集群告警策略表：定义EMR集群配置的告警策略元数据信息，包含策略名称、指标配置、接收人配置、接受类型等内容。

综上所述，根据本发明实施例的基于私有云的EMR系统，通过集群订购模块根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点，并通过集群管理模块查看用户在集群订购模块中订购的集群信息，以及通过集群监控模块查看集群中的Master节点、Core节点和Task节点的详细信息以及各节点中部署的服务列表和主机监控图表，并通过作业列表模块查看集群中提交到YARN的作业列表，以及按照筛选条件进行筛选，并通过弹性伸缩模块根据用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容，以及通过监控告警模块根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。由此，通过简单的页面操作实现Hadoop和Spark等大数据集群的订购与部署使用，大大降低了用户使用大数据系统的门槛。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于私有云的EMR系统，其特征在于，包括：

集群订购模块，所述集群订购模块用于根据用户的业务场景为用户提供集群功能，其中，集群包括Master节点、Core节点和Task节点；

集群管理模块，所述集群管理模块用于查看所述用户在所述集群订购模块中订购的集群信息；

集群监控模块，所述集群监控模块用于查看所述集群中的所述Master节点、所述Core节点和所述Task节点的详细信息以及各节点中部署的服务列表和主机监控图表；

作业列表模块，所述作业列表模块用于查看所述集群中提交到YARN的作业列表，并按照筛选条件进行筛选；

弹性伸缩模块，所述弹性伸缩模块用于根据所述用户设置的弹性扩缩规则按照时间和负载两种类型进行扩容/缩容；

监控告警模块，所述监控告警模块用于根据扩容/缩容结果以及用户需求提供告警策略，其中，告警策略包括平台自身告警的告警策略与服务指标告警的告警策略。

2.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述集群订购模块具体用于：

接收所述用户发送的前端请求，并根据所述用户指定的节点配置申请主机节点，以及在所述主机节点申请成功后通过SSH的方式在所述主机节点安装管控Agent，并在所述管控Agent安装成功后根据所述用户选择的需要部署的服务按照对应的依赖顺序依次将服务部署到对应的主机节点上，以及在所述服务部署完成后自动启动并定时上报健康状态到相应的服务端。

3.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述集群监控模块具体用于：

创建部署监控组件，并采用所述监控组件动态注册集群监控路由，其中，当存在集群新增时，将新增路由添加到对应zookeeper节点中。

4.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述作业列表模块具体用于：

通过EMR前端页面并采用YARN原生Rest API的方式获取集群中提交到YARN的任务列表，其中，查询的服务节点为YARN ResourceManager中角色类型为active的节点，获取的作业数据包括作业名称、作业ID、作业类型、作业运行状态、作业最终状态、任务开始时间、任务结束时间、任务执行用户、任务分配VCore、任务分配内存、队列使用百分比与集群使用百分比。

5.根据权利要求1所述的基于私有云的EMR系统，其特征在于，所述弹性伸缩模块具体用于：

在所述用户创建针对时间的弹性扩缩规则后，通过后端系统根据所述用户设置的时间以及最大节点数和最小节点数进行扩容/缩容，其中，在扩容/缩容失败后，原有服务正常运行。

6.根据权利要求5所述的基于私有云的EMR系统，其特征在于，所述弹性伸缩模块具体还用于：

在所述用户创建针对负载的弹性扩缩规则后，通过所述后端系统将所述用户设置的负载值与当前时刻所述集群的服务负载进行比较，并在当前时刻所述集群的服务负载大于所述用户设定的负载值时进行扩容，以及在当前时刻所述集群的服务负载小于所述用户设定的负载值时进行缩容。

Images