CN112671879A - 一种组件部署方法、系统及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种组件部署方法，包括：网关接收安装消息后，从Apache下载服务下载组件；网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从网关处下载组件，直至不存在未下载组件的节点；节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从已下载组件的节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。该方法能够有效提高组件部署速度。本申请还公开了一种组件部署系统以及计算机可读存储介质，均具有上述技术效果。

Description

一种组件部署方法、系统及计算机可读存储介质

技术领域

本申请涉及服务器技术领域，特别涉及一种组件部署方法；还涉及一种组件部署系统以及计算机可读存储介质。

背景技术

目前，基于Ambari的大数据平台部署组件的方式是集群内各节点的Ambari-agent接收Ambari-server下发的安装消息后，几乎同时向Apache下载服务获取组件。Apache下载服务在短时间内会收到大量的请求而远远超出Apache下载服务的负载能力，由此导致组件部署的时间较长。例如，在集群规模为5000个节点的情况下，各节点部署HDFS组件时，Apache下载服务在短时间内会收到近万个请求，5000个节点完成HDFS组件部署大概需要5个小时左右。

因此，如何提高组件部署速度已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请的目的是提供一种组件部署方法，能够有效提高组件部署速度。本申请的另一个目的是提供一种组件部署系统以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本申请提供了一种组件部署方法，包括：

网关接收安装消息后，从Apache下载服务下载组件；

所述网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；

所述节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

可选的，所述网关接收安装消息包括：

所述网关的网关节点服务接收Ambari-server服务插件转发的所述安装消息。

可选的，所述网关从Apache下载服务下载组件包括：

所述网关的网关节点服务从所述Apache下载服务下载组件。

可选的，所述节点下载并安装组件包括：

所述节点的节点下载服务从所述网关处或从已下载组件的节点处下载组件；

所述节点下载服务完成组件下载后，向所述节点的Ambari-agent服务插件发送安装消息，以使所述节点的Ambari-agent安装所述组件。

可选的，所述网关及所述节点获取预设数量个未下载组件的节点的节点IP包括：

所述网关及所述节点获取所在分组内的预设数量个未下载组件的节点的节点IP。

为解决上述技术问题，本申请还提供了一种组件部署系统，包括：

网关，用于接收安装消息后，从Apache下载服务下载组件；在完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；

所述节点，用于完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

可选的，所述网关安装有网关节点服务；所述网关节点服务，用于接收Ambari-server服务插件转发的所述安装消息，以及从所述Apache下载服务下载组件。

可选的，所述节点安装有节点下载服务与Ambari-agent；所述节点下载服务用于从所述网关或已下载组件的所述节点处下载组件，并在完成组件下载后，向Ambari-agent服务插件发送安装消息，以使所述Ambari-agent安装所述组件。

可选的，所述网关及所述节点具体用于获取所在分组内的预设数量个未下载组件的节点的节点IP。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的组件部署方法的步骤。

本申请所提供的组件部署方法，包括：网关接收安装消息后，从Apache下载服务下载组件；所述网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；所述节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

可见，本申请所提供的组件部署方法，集群内的网关首先从Apache下载服务下载组件，完成组件下载的网关提供下载服务，未下载组件的节点从网关处下载组件。进一步，完成组件下载的节点也提供下载服务，供未下载组件的节点下载组件。由此通过指数式增加下载服务，可以使集群内的节点快速完成组件部署。较之现有的采用单一的Apache下载服务的组件部署方案，本申请可以有效提高组件部署速度，极大的减少组件部署时长。

本申请所提供的组件部署系统以及计算机可读存储介质均具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种组件部署方法的流程示意图；

图2为本申请实施例所提供的一种组件部署方法的实施过程的示意图。

具体实施方式

本申请的核心是提供一种组件部署方法，能够有效提高组件部署速度。本申请的另一个核心是提供一种组件部署系统以及计算机可读存储介质，均具有上述技术效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种组件部署方法的流程示意图，参考图1所示，该方法包括：

S101：网关接收安装消息后，从Apache下载服务下载组件；

S102：网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从网关处下载组件，直至不存在未下载组件的节点；

具体的，集群内的网关在接收到安装消息后，首先从Apache下载服务下载组件。其中，网关接收安装消息的方式可以为：网关的网关节点服务接收Ambari-server服务插件转发的安装消息。另外，网关从Apache下载服务下载组件的方式可以为：网关的网关节点服务从Apache下载服务下载组件。

具体而言，在网关安装网关节点服务。该网关节点服务的作用主要包括接收安装消息，提供组件下载以及管理节点的下载状态。当Ambari-server下发安装信息时，内嵌于Ambari-server的Ambari-server服务插件拦截安装信息，并将安装信息转发给网关节点服务。网关节点服务接收到安装信息后，从Apache下载服务下载组件。

网关下载完成组件后，立刻可以提供下载服务，供节点下载组件。具体而言，网关中的网关节点服务在下载完成组件后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从网关处下载组件。

其中，预设数量表征网关支持同时从网关处下载组件的节点的个数，例如，预设数量为2，表征支持两个未下载组件的节点同时从网关处下载组件。本次网关节点服务获取两个未下载组件的节点的节点IP，并通知所获取的两个节点IP对应的节点从网关处下载组件，下一次网关节点服务同样获取两个未下载组件的节点的节点IP，并通知所获取的两个节点IP对应的节点从网关处下载组件，如此不断重复，直至所有的节点均完成组件下载。也就是说，网关节点服务在下载完成组件后，提供持续提供下载服务。

例如，网关节点服务本次获取到节点A与节点B的节点IP，故本次网关节点服务通知节点A与节点B从网关节点服务下载组件。下一次网关节点服务本次获取到节点E与节点F的节点IP，故下一次网关节点服务通知节点E与节点F从网关节点服务下载组件。如此类推。

S103：节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从已下载组件的节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

具体的，节点在接收到网关节点服务的通知后，从网关处下载组件，并安装所下载的组件。其中，节点下载并安装组件包括：节点的节点下载服务从网关或已下载组件的节点处下载组件；节点下载服务完成组件下载后，向节点的Ambari-agent服务插件发送安装消息，以使节点的Ambari-agent安装组件。

具体而言，在各节点安装节点下载服务以及Ambari-agent。节点服务接收到网关下发的通知后，节点的节点下载服务从此下发通知的网关下载组件，并在完成组件下载后，进一步向内嵌于Ambari-agent的Ambari-agent服务插件发送安装消息，以使Ambari-agent安装组件。或者，节点接收到已下载组件的节点下发的通知后，节点的节点下载服务从此下发通知的节点下载组件，并在完成组件下载后，进一步向内嵌于Ambari-agent的Ambari-agent服务插件发送安装消息，以使Ambari-agent安装组件。

节点在完成组件下载后，同样可以立刻提供下载服务，供其他未下载组件的节点下载组件。具体而言，节点在下载完成组件后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从本节点处下载并安装组件。

可以明白的是，从节点处下载组件的其他节点在完成组件下载后，也可以立刻提供下载服务，进一步供其他未下载组件的节点下载组件。

例如，节点A从网关处下载组件后，节点A获取到未下载组件的节点C与节点D的节点IP。由此，节点A通知节点C与节点D从节点A处下载组件。节点C与节点D完成组件下载后，节点C与节点D也提供下载服务。同样节点C获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从节点C处下载组件。节点D获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从节点D处下载组件。与此同时，节点A还会再次获取预设数量个未下载组件的节点的节点IP，并通知所获取的节点IP对应的节点从节点A处下载并安装组件。

如此，通过指数式增加下载服务，可以使集群内的节点快速完成组件部署。例如，一个节点向其他两个节点提供下载服务，在此情况下组件下载完成后，有三个节点可以向六个节点提供下载服务。进一步，在三个节点向六个节点提供下载服务的情况下，组件下载完成后，有九个节点可以向十八个节点提供下载服务，依此类推，理想情况下可以3^N的递增方式提供下载服务，最终使集群内的各节点快速完成组件部署。

进一步，在上述实施例的基础上，作为一种优选的实施方式，网关及节点获取预设数量个未下载组件的节点的节点IP的方式为：网关及节点获取所在分组内的预设数量个未下载组件的节点的节点IP。

具体而言，本实施例中，集群内的节点依据网关进行分组，每个网关安装网关节点服务，网关节点服务管理本网关下的各节点的组件下载状态。网关节点服务获取本网关所在分组内的预设数量个未下载组件的节点的节点IP。节点从网关节点服务获取本节点所在分组内的预设数量个未下载组件的节点的节点IP。由此可以就近快速完成组件下载。

以下结合图2，对Ambari-server、Ambari-agent、网关节点服务以及节点下载服务之间的交互过程做如下阐述：

Ambari-server下发安装信息时，内嵌于Ambari-server(只需安装一个)的Ambari-server服务插件拦截安装信息，并将安装信息转发给网关节点服务。网关节点服务接收到安装信息后，从Apache下载服务下载组件，并在完成组件下载后，获取节点1的节点IP。进一步网关节点服务通知节点1的节点下载服务从网关节点服务下载组件。节点1的节点下载服务从网关节点服务下载组件后，从网关节点服务获取节点2的节点IP。节点1进一步通知节点2的节点下载服务从节点1的节点下载服务下载组件。与此同时，网关节点服务获取节点3的节点IP，并通知节点3从网关节点下载组件。

另外，可以明白的是，网关及已下载组件的节点在获取未下载组件的节点的节点IP时，可能剩余未下载组件的节点的个数不足以为网关及各已下载组件的节点均分配预设数量个节点IP，此时可以选择网关与部分已下载组件的节点，为其分配预设数量各节点IP，未选中的已下载组件的节点则不提供下载服务。或者在剩余未下载组件的节点的个数不足以为网关及各已下载组件的节点均分配预设数量个节点IP的情况下，也采取其他的节点IP分配策略，可以根据实际需要进行差异性设置。

综上所述，本申请所提供的组件部署方法，集群内的网关首先从Apache下载服务下载组件，完成组件下载的网关提供下载服务，未下载组件的节点从网关处下载组件。进一步，完成组件下载的节点也提供下载服务，供未下载组件的节点下载组件。由此通过指数式增加下载服务，可以使集群内的节点快速完成组件部署。较之现有的采用单一的Apache下载服务的组件部署方案，本申请可以有效提高组件部署速度，极大的减少组件部署时长。

本申请还提供了一种组件部署系统，下文描述的该系统可以与上文描述的方法相互对应参照。该系统包括：

网关，用于接收安装消息后，从Apache下载服务下载组件；在完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；

所述节点，用于完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

在上述实施例的基础上，作为一种具体的实施方式，所述网关安装有网关节点服务；所述网关节点服务，用于接收Ambari-server服务插件转发的所述安装消息，以及从所述Apache下载服务下载组件。

在上述实施例的基础上，作为一种具体的实施方式，所述节点安装有节点下载服务与Ambari-agent；所述节点下载服务用于从所述网关或已下载组件的所述节点处下载组件，并在完成组件下载后，向Ambari-agent服务插件发送安装消息，以使所述Ambari-agent安装所述组件。

在上述实施例的基础上，作为一种具体的实施方式，所述网关及所述节点具体用于获取所在分组内的预设数量个未下载组件的节点的节点IP。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：

网关接收安装消息后，从Apache下载服务下载组件；所述网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；所述节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的组件部署方法、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims (10)

1.一种组件部署方法，其特征在于，包括：

网关接收安装消息后，从Apache下载服务下载组件；

所述网关完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；

所述节点完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

2.根据权利要求1所述的组件部署方法，其特征在于，所述网关接收安装消息包括：

所述网关的网关节点服务接收Ambari-server服务插件转发的所述安装消息。

3.根据权利要求1所述的组件部署方法，其特征在于，所述网关从Apache下载服务下载组件包括：

所述网关的网关节点服务从所述Apache下载服务下载组件。

4.根据权利要求1所述的组件部署方法，其特征在于，所述节点下载并安装组件包括：

所述节点的节点下载服务从所述网关处或从已下载组件的节点处下载组件；

所述节点下载服务完成组件下载后，向所述节点的Ambari-agent服务插件发送安装消息，以使所述节点的Ambari-agent安装所述组件。

5.根据权利要求1所述的组件部署方法，其特征在于，所述网关及所述节点获取预设数量个未下载组件的节点的节点IP包括：

所述网关及所述节点获取所在分组内的预设数量个未下载组件的节点的节点IP。

6.一种组件部署系统，其特征在于，包括：

网关，用于接收安装消息后，从Apache下载服务下载组件；在完成组件下载后，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从所述网关处下载组件，直至不存在未下载组件的节点；

所述节点，用于完成组件下载后，作为提供下载服务的节点，每次获取预设数量个未下载组件的节点的节点IP，并通知所获取的所述节点IP对应的节点从已下载组件的所述节点处下载组件，直至不存在未下载组件的节点；其中，从网关处及从节点处下载组件的节点在完成组件下载后均作为提供下载服务的节点。

7.根据权利要求6所述的组件部署系统，其特征在于，所述网关安装有网关节点服务；所述网关节点服务，用于接收Ambari-server服务插件转发的所述安装消息，以及从所述Apache下载服务下载组件。

8.根据权利要求6所述的组件部署系统，其特征在于，所述节点安装有节点下载服务与Ambari-agent；所述节点下载服务用于从所述网关或已下载组件的所述节点处下载组件，并在完成组件下载后，向Ambari-agent服务插件发送安装消息，以使所述Ambari-agent安装所述组件。

9.根据权利要求6所述的组件部署系统，其特征在于，所述网关及所述节点具体用于获取所在分组内的预设数量个未下载组件的节点的节点IP。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的组件部署方法的步骤。

Images