CN109842642A - 一种容器化集群系统的部署方法及装置、容器化集群系统 - Google Patents

Abstract

一种容器化集群系统部署方法及装置、容器化集群系统，该容器化集群系统部署方法包括：总部署节点在待部署的集群中确定下级分发节点，将待传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所述下级分发节点负责进行镜像文件分发的节点信息。本申请提供的方案中，总部署节点确定下级分发节点，由下级分发节点进行镜像文件分发，减少了镜像文件的分发耗时，提高了容器化集群系统部署速度。

Description

一种容器化集群系统的部署方法及装置、容器化集群系统

技术领域

本发明涉及计算机技术，尤指一种容器化集群系统的部署方法及装置、 容器化集群系统。

背景技术

虚拟化技术已经成为一种被大家广泛认可的服务器资源共享方式，比如hypervisor虚拟化技术，但hypervisor虚拟化技术存在一些性能和资源使用效 率方面的问题，因此出现了一种称为容器(Container)技术的新型虚拟化技 术来帮助解决这些问题。容器虚拟化技术可以在按需构建容器技术操作系统 实例的过程当中为系统管理员提供极大的灵活性。

在容器技术出现后，原先基于虚拟机节点部署的分布式系统也逐渐进行 了容器化操作。部署容器化集群时，总部署节点需要将镜像文件和配置文件 分发到集群中的各节点(node)。在集群的节点比较多时，比如一个kubernetes 集群系统声称能支持2000个node，部署容器化集群时主要时间都花费在镜像 文件的传输。以kubernetes集群为例，一个kubernetes集群的hyperkube镜像 文件的大小约为400MB左右，部署2000个节点就意味着要传输800GB的数 据，需要耗费大量时间。

发明内容

本发明至少一实施例提供了一种容器化集群系统部署方法及装置、容器 化集群系统，降低了容器化集群系统部署时间。

为了达到本发明目的，本发明至少一实施例提供了一种容器化集群系统 部署方法，包括：

总部署节点在待部署的集群中确定下级分发节点，将待传输的镜像文件 和分发任务发送至所述下级分发节点，所述分发任务包括所述下级分发节点 负责进行镜像文件分发的节点信息。

本发明一实施例提供一种容器化集群系统部署装置，包括存储器和处理 器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现上 述容器化集群系统部署方法。

本发明一实施例提供一种容器化集群系统部署方法，包括：

节点接收到待传输的镜像文件和分发任务后，直接将所述待传输的镜像 文件发送给所述分发任务指示的节点；

或者，所述节点从所述分发任务指示的节点中确定下级分发节点，将待 传输的镜像文件和下级分发任务发送至所述下级分发节点，所述下级分发任 务包括所述下级分发节点负责进行镜像文件分发的节点信息。

本发明一实施例提供一种容器化集群系统部署装置，包括存储器和处理 器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现上 述容器化集群系统部署方法。

本发明一实施例提供一种容器化集群系统，包括总部署节点和待部署的 集群，所述集群包括多个节点，其中：

所述总部署节点用于，在所述待部署的集群中确定下级分发节点，将待 传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所 述下级分发节点负责进行镜像文件分发的节点信息；

所述节点用于，接收到待传输的镜像文件和分发任务后，直接将所述待 传输的镜像文件发送给所述分发任务指示的节点；或者，从接收到的分发任 务指示的节点中确定下级分发节点，将待传输的镜像文件和下级分发任务发 送至所述节点确定的下级分发节点，所述下级分发任务包括所述节点确定的 下级分发节点负责进行镜像文件分发的节点信息。

本发明至少一实施例提供一种容器化集群部署方法，在集群中选择选择 节点作为下级分发节点，将待传输的镜像文件及分发任务下发给下级分发节 点，由下级分发节点进行镜像文件的传输，使得大规模容器化集群部署的传 输速度呈指数级上升，大大减少了部署时间。本申请提供的方案，不需要额 外配置高性能的部署服务器或服务器组和高性能的网络IO(Input Output，输入 输出)充分利用了集群节点本身的性能。在另一实施例中，下级分发节点通过 子网进行镜像文件的分发，能充分利用子网内部的网络带宽，在总的传输效 率上有显著提升，特别是对于多个子网组成的大规模集群系统。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说 明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优 点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部 分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明 技术方案的限制。

图1是本发明一实施例提供的容器化集群系统部署方法流程图；

图2是本发明一实施例提供的容器化集群系统部署装置框图；

图3是本发明一实施例提供的只考虑一级分发节点的一级分发传输示意 图；

图4是本发明一实施例提供的考虑二层网络的多级分发示意图；

图5是本发明一实施例提供的考虑组合子网分级分发示意图；

图6是本发明一实施例提供的容器化集群系统部署装置框图；

图7是本发明另一实施例提供的容器化集群系统部署装置框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图 对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申 请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机 系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下， 可以以不同于此处的顺序执行所示出或描述的步骤。

本发明一实施例提供一种容器化集群系统部署方法，如图1所示，包括：

步骤101，总部署节点在待部署的集群中确定下级分发节点；

后文中，将该下级分发节点称为一级分发节点；

步骤102，所述总部署节点将待传输的镜像文件和分发任务发送至所述下 级分发节点，所述分发任务包括所述下级分发节点负责进行镜像文件分发的 节点信息。

本实施例提供的容器化集群系统部署方法，总部署节点通过确定下级分 发节点，将需要分发的镜像文件传输给下级分发节点，利用下级分发节点进 行镜像文件的分发，充分利用集群中节点性能，相比只由总部署节点进行镜 像文件的分发方式，由于增加了分发节点，从而减少了容器化集群系统的部 署时间，另外，本申请无需另外部署专门的服务器进行镜像文件下发，降低 了分发成本。

其中，总部署节点确定的下级分发节点包括一个或多个，可以根据集群 中的节点数量决定下级分发节点的个数。

在一实施例中，所述总部署节点将分发任务发送至所述下级分发节点包 括：

所述总部署节点下发集群节点信息清单至下级分发节点；

下级分发节点从所述集群节点信息清单中选择分发任务，上报给总部署 节点；

总部署节点对所述分发任务进行确认。确认之前，可以排除冲突任务， 重新调整后，下发给各个一级分发节点。

需要说明的是，上述下发分发任务的方式仅为示例，也可以直接由总部 署节点配置好各下级分发节点的分发任务，各下级分发节点直接领取任务即 可，无需确认。

在一实施例中，所述总部署节点在待部署的集群中确定下级分发节点包 括：

对所述集群的各节点构成的子网或组合子网，所述总部署节点从所述子 网或组合子网中挑选节点作为该子网或组合子网的下级分发节点。即本实施 例中，分别在子网或组合子网里建立下级分发节点，子网或组合子网的下级 分发节点完成该子网或组合子网中的节点的镜像文件的分发。组合子网为多 个子网组合而成。在另一实施例中，当所述子网或组合子网的节点数大于等 于预设阈值时，所述总部署节点从所述子网或组合子网中挑选节点作为该子 网或组合子网的下级分发节点。即对子网或组合子网进行区分，对于节点数 大于等于预设阈值的子网或组合子网，在该子网或子网组合中确定下级分发 节点，对于节点数小于预设阈值的子网或组合子网，可以不在该子网或组合 子网中确定下级分发节点，由总部署节点进行该子网或组合子网中节点的镜 像文件的分发。需要说明的是，在其他实施例中，也可以在待部署的集群中 随机挑选节点作为下级分发节点，或者，按照其他规则挑选下级分发节点。 该实施例中，从子网或组合子网中挑选下级分发节点，下级分发节点可以利 用子网内部的网络带宽进行镜像文件的分发，不占用主干网络带宽。

所述预设阈值可以根据需要设定，子网或组合子网可以事先进行配置， 也可以由总部署节点对集群中的节点进行归类获得。比如，预设阈值为80， 则对于节点数大于80的子网或组合子网，可以在其中设置下级分发节点。对 于节点数小于80的子网或组合子网，可以不设置下级分发节点，由总部署节 点直接进行镜像文件的传输。预设阈值可以根据对传输性能的改善来设定。 比如，在节点数小于80的子网中设置下级分发节点时总传输耗时与总部署节 点直接传输的传输耗时差别不大时，可以考虑将预设阈值设为80。当然，此 处仅为示例，可以根据确定预设阈值。当然，在其他实施例中，也可以不设 置预设阈值，对每个子网均建立下级分发节点。

在一实施例中，所述总部署节点在待部署的集群中确定下级分发节点前 还包括：

将所述集群中各节点进行归类为一个或多个子网；

或者，

对所述集群中各节点进行归类为一个或多个子网，对节点数小于预设阈 值的子网进行组合获得组合子网。

在一实施例中，将所述集群中各节点进行归类为一个或多个子网包括：

在各个节点都可达的情况下，检测ping(Packet Internet Grouper，因特网 包探索器)到某个节点的路由路径进行分类(如traceroute(路由跟踪)、抓 包等方法)，假设整个被部署节点的集合定义为A，那么对于某个节点，假设 为a₁，a₁∈A，不失一般性，若总部署节点ping到a ₁需要经过路由r ₁,r ₂,r ₃， 那么子网归并模块会建立并记录一个子网Sa₁，a₁属于子网Sa₁，目前Sa ₁只有a ₁一个节点。只有满足路由路径为r ₁,r ₂,r ₃才能加入到Sa₁中。

接下来，对于下一个节点，假设为a ₂，不失一般性，若总部署节点ping 到a ₂需要经过的路由路径同a ₁相同，那么将a ₂放到子网Sa₁中，若不同，则子 网归并模块建立并记录一个子网Sa ₂

对于剩下任意一个节点a_i，重复上述步骤，若总部署节点到a_i路径满足已 存在的某个子网Sa_x，则将a_i加入到Sa_x中，若没有，则建立并记录一个子网Sa_i。 重复该步骤，直到被部署节点全部都划分子网。

在一实施例中，当管理员在部署时已手动对全部或部分节点进行了子网 规划配置，则总部署节点不再对已进行手动划分子网的节点进行子网划分， 例如管理员将a ₁a₂a_n作为一个单独的子网Sm ₁，那么总部署节点便不会对 a ₁a₂a_n节点做子网划分处理。当然，总部署节点也可以不理会管理员的配置， 直接对集群节点进行子网归类。

当子网都划分好后，若子网内主机数量大于等于预设阈值，则在该子网 建立一个一级分发节点。假设该阈值为80，若某个子网有个100台主机，由 于100大于80，所以在该子网选取一个节点建立一级分发节点。至于具体选 取哪个节点作为一级分发节点，可以有多种方式，比如考虑ping的速度或者 主机的性能抑或随机选取等，可以根据需要设定选取方式。

在本发明一实施例中，所述对节点数小于预设阈值的子网进行组合获得 组合子网包括如下至少之一：

对节点数小于预设阈值的子网进行组合获得上下层关系的组合子网，所 述上下层关系的组合子网包括一个上层子网和至少一个下层子网，且所述总 部署节点到所述上层子网的路由路径有序集合属于所述总部署节点到所述下 层子网的路由路径有序集合，且所述总部署节点到所述上层子网的路由路径 有序集合的第一路由点与所述总部署节点到所述下层子网的路由路径有序集 合的第一路由点相同；即总部署节点到上层子网的路由路径为总部署节点到 下层子网的路由路径的一部分。总部署节点到下层子网的路由路径有序集合 完全包含总部署节点到下层子网的路由路径有序集合。举例来说，子网Sa₁、Sa₂、 Sa₃，总部署节点到子网Sa₁的主机的路由路径有序集合为r₁,r₂,r₃；总部署节点 到子网Sa₂的主机的路由路径有序集合为r₁,r₂,r₃,r₄,r₅；总部署节点到子网Sa₃的 主机的路由路径有序集合为r₁,r₂,r₃,r₆,r₇,r₈；可以看出，子网Sa₁的路由路径有 序集合属于Sa₂的路由路径有序集合，子网Sa₁的路由路径有序集合属于Sa₃的 路由路径有序集合，子网Sa₁、Sa₂、Sa₃构成上下层关系的组合子网，且子网Sa₁为上层子网，子网Sa₂和Sa₃为下层子网。

对节点数小于预设阈值的子网进行组合获得相邻关系的组合子网，所述 相邻关系的组合子网包括多个子网Sa₁～Sa_n，且所述总部署节点到所述子网Sa₁～Sa_n的路由路径有序集合的Sr₁～Sr_n的前M个路由点重合，且Sr₁～Sr_n中任 一路由路径有序集合Sr_k不属于Sr₁～Sr_n中除Sr_k外的路由路径有序集合，所述 M大于等于1，所述n大于等于1。即相邻关系的组合子网路由路径有序集合 存在重合的路由路径(前M个路由路径相同)，也存在不同的路由路径(彼 此之间互不包含)。举例来说，子网Sa₁、Sa₂，总部署节点到子网Sa₁主机的 路由路径有序集合为r₁,r₂,r₄,r₈,r₁₀；总部署节点到子网Sa₂主机的路由路径有序 集合为r₁,r₂,r₄,r₈,r₉；可以看出，子网Sa₁的路由路径有序集合与Sa₂的路由路径 有序集合存在4个重合的路由点r₁,r₂,r₄,r₈，但彼此之间互不包含。此时，可以 将子网Sa₁、Sa₂组合成相邻关系的组合子网。

在本发明一实施例中，所述子网Sa₁～Sa_n的路由路径有序集合的Sr₁～Sr_n还满足：

所述Sr₁～Sr_n中每个路由路径有序集合的路由点个数大于预设长度阈值， 且，对于Sr₁～Sr_n中任一路由路径有序集合Sr_k：

所述d(Sr_i Sr_k)为Sr_i和Sr_k的路由距离，Sr_i和Sr_k的并集的路由点数目与 Sr_i和Sr_k的交集的路由点数目之差，即Sr_k与Sr₁～Sr_n中除Sr_k外的各路由路径 有序集合的平均路由距离小于等于预设距离阈值。本实施例中，对相邻关系 的组合子网提出了构造的条件，满足上述预设长度阈值和预设距离阈值的子 网才构造为相邻关系的组合子网。

在本发明一实施例中，所述对节点数小于预设阈值的子网进行组合获得 组合子网包括：优先组合获得上下层关系的组合子网，在组合获得上下层关 系的组合子网后，或者，组合上下层关系的组合子网失败后，再组合获得相 邻关系的组合子网。

在本发明一实施例中，所述总部署节点从所述组合子网中挑选节点作为 该组合子网的下级分发节点包括：

所述总部署节点在所述组合子网中确定下级分发节点时，如果所述组网 子网为上下层关系的组合子网，则所述总部署节点从所述组合子网的上层子 网中挑选下级分发节点。

在本发明一实施例中，所述总部署节点从所述组合子网中挑选节点作为 该组合子网的下级分发节点包括：

所述总部署节点在所述组合子网中确定下级分发节点时，如果组合子网 为相邻关系的组合子网，则所述总部署节点从该组合子网中与所述总部署节 点的路由路径最短的子网中挑选下级分发节点。

一种构造相邻关系的组合子网的方式为：定义两个阈值：长度阈值(lengththreshold，简称LV)和距离阈值(distance threshold，简称DV)，总部署节 点到子网Sa_i的路由路径有序集合的Sr_i长度为card(Sr_i)，其中card(Sr_i)表示集 合Sr_i中的路由点个数，对于任意两个路径有序集合Sr_i和Sr_j，定义它们的路 由距离为：

d(Sr_i,Sr_j)＝card(Sr_i∪Sr_j)-card(Sr_i∩Sr_j)

即Sr_j和Sr_j的并集的路由点数目与Sr_j和Sr_j的交集的路由点数目之差作为 两个集合的路由距离。

在本实施例中，只有当子网的路由路径优先集合满足

card(Sr_i)≥LV

时，才考虑将Sr_i对应的子网Sa_i纳入相邻关系的组合子网的考虑范围。

假设子网Sa₄，Sa₅，Sa₆都符合上述条件，为了构造相邻关系的组合子网， 首先创建一个组合子网Sc＝Sa₄，组合子网Sc到子网Sa₅和Sa₆的路由距离就 分别为d(Sr₄,Sr₅)和d(Sr₄,Sr₆)，取两者中距离最短的，若二者相同，则随机取一 个，假设d(Sr₄,Sr₅)较小，且小于等于距离阈值，即

d(Sr₄,Sr₅)＜d(Sr₄,Sr₆)≤DV

那么，Sc＝Sc∪Sa₅，即把Sa₅合入到Sc中，此时Sc＝{Sa₄Sa₅}，接下来， 若Sa₆满足

则将Sa₆加入到组合子网Sc中。

一般地，对于某个组合子网Sc＝{Sa₁ Sa₂ Sa_n}，对于子网若 满足

且当前子网只剩下Sa_k这一个子网了，那么将Sa_k合并到Sc中，即 Sc＝Sc∪Sa_k

若当前未并入组合子网的子网除Sa_k外还有其他子网Sa_j，且并 满足那么选取路由距离最短的，即和Sc距离最短的子网， 合并到Sc，若路由距离相同，则随机选取一个子网合入到Sc中。重复上述过 程，直到Sc无法合并新的子网为止。上述构造相邻关系的组合子网的方法仅 为示例，也可以使用其他方法进行组合子网的构造。

下面给出一个构造组合子网的示例。本实施例中，优先构造上下层关系 的组合子网，再构造相邻关系的组合子网。

当初步划分好被部署节点的子网后，对所有节点数小于预设阈值(比如 80)的子网尝试进行组合，假设节点数小于预设阈值的子网为Sa₁，Sa₂，Sa₃， Sa₄，Sa₅，Sa₆其对应的路由路径分别以有序集合为Sr₁，Sr₂，Sr₃，Sr₄，Sr₅，Sr₆表示。

从路由路径最短的路由集合开始，假设为Sr₁，若且第一个路由 点都相同，那么可以认为Sa₁是Sa₂的上层子网，则Sa₁和Sa₂可以合并成一个组 合子网；同理，若还有且第一个路由点都相同，那么Sa₁、Sa₂和Sa₃可 以合并成一个组合子网。

当上下层关系的组合子网都规划后，若还有Sa₄，Sa₅，Sr₆还是单独的子 网，可以考虑是否为相邻子网，若是相邻子网，则合并为相邻关系的组合子 网。具体如何判断是否为相邻子网可参考前文所述，此处不再赘述。

下面分别给出一个上下层关系和相邻关系的组合子网的具体示例。

比如当前集群中得到3个子网Sa₁，Sa₂，Sa₃，这3个子网每个都有70个 节点，假设创建一级分发节点的阈值为80，由于70小于80，那么由先前所 述，不会在这3个子网创建一级分发节点，但对于子网Sa₁的主机，总部署节 点到该子网主机的路由路径有序集合为r₁,r₂,r₃；对于子网Sa₂的主机，总部署 节点到该子网主机的路由路径有序集合为r₁,r₂,r₃,r₄,r₅；对于Sa₃的主机，总部 署节点到该子网主机的路由路径有序集合为r₁,r₂,r₃,r₆,r₇,r₈；可以看出，子网Sa₂、 Sa₃的路由路径有序集合属于Sa₁的路由路径有序集合，则将子网Sa₁，Sa₂，Sa₃合并为一个组合子网Sc₁，且子网Sa₁为子网Sa₂、Sa₃的上层子网，这样组合子 网Sc₁就有210个节点，大于80，因此会在上层子网Sa₁中部署一个一级分发 节点，当一级分发节点部署好之后，又由于在该组合子网汇总，210/80＝3(四 舍五入)，因此一级分发节点还会选取2(3-1)台主机作为二级分发节点，此 时一级节点会选择其他子网的节点(非Sa₁)，如Sa₂，Sa₃各选一个节点作为 二级分发节点。

考虑另一种场景，当前得到2个子网Sa₁，Sa₂，这2个子网每个都有70 个节点。对于子网Sa₁的主机，总部署节点到该子网主机的路由路径集合Sr₁为 r₁,r₂,r₄,r₈,r₁₀；对于子网Sa₂的主机，路由路径有序集合Sr₂为r₁,r₂,r₄,r₈,r₉；和上 面的场景的不同，尽管Sa₁和Sa₂都有相同的路由点r₁,r₂,r₄,r₈，但r₁,r₂,r₄,r₈并不完 全等于Sa₁和Sa₂中任何一个路由路径，此时Sa₁和Sa₂的关系是一种相邻关系， 而不是上下层关系。假设长度阈值LV＝3，距离阈值DV＝2，此时，Sa₁的路由 路径有序集合Sr₁的路由点数为5大于LV＝3，Sa₂的路由路径有序集合Sr₂的路 由点数为5大于LV，可以考虑进行组合为组合子网。 d(Sr₁，Sr₂)＝card(Sr₁∪Sr₂)-card(Sr₁∩Sr₂)＝6-4＝2，小于等于DV，因此，可 以将Sa₁和Sa₂合并为一个组合子网Sc₁，由于Sc₁有140个主机，因此可以向Sc₁部署一个一级分发节点，这样，镜像文件传输的流量都被限制在路由点r₈之内， 不会占用r₁,r₂,r₄的带宽。

本发明一实施例提供一种容器化集群系统部署方法，包括：

节点接收到待传输的镜像文件和分发任务后，直接将所述待传输的镜像 文件发送给所述分发任务指示的节点；

或者，所述节点从所述分发任务指示的节点中确定下级分发节点，将待 传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所 述下级分发节点负责进行镜像文件分发的节点信息。

本实施例提供的容器化集群系统部署方法，集群系统中的节点作为分发 节点，进行镜像文件的分发，减轻总部署节点的分发压力，提高集群化系统 部署效率。

其中，上述节点可能是一级分发节点，也可能是二级分发节点或之后的 三级分发节点等等。即可建立一级或多级分发节点，下级分发节点是否再次 建立下级分发节点可以根据需要决定，比如根据其需要分发镜像文件的节点 数决定。各下级分发节点依次称为一级分发节点，二级分发节点(由一级分 发节点建立)，三级分发节点(由二级分发节点建立)，依次类推。需要说 明的是，在其他实施例中，也可以由总部署节点直接建立各级分发节点。

在一实施例中，所述节点从分发任务指示的节点中确定下级分发节点包 括：

当所述节点接收到的分发任务中指示的节点的数目大于预设阈值时，所 述节点从所述分发任务指示的节点中确定下级分发节点。

比如，对于一级分发节点，如果它需要传输镜像文件的节点的数目(即 分发任务中指示的节点的数目)大于预设阈值，则需要建立下级分发节点， 由下级分发节点进行镜像文件的分发，如果它需要传输镜像文件的节点的数 目不大于预设阈值，则可以不建立下级分发节点，直接由该一级分发节点进 行镜像文件的分发。需要说明的是，一级分发节点建立下级分发节点后，也 可以负责部分节点的镜像文件的分发，当然，也可以全部由下级分发节点来 实现镜像文件的分发。

在一实施例中，所述述节点从所述分发任务指示的节点中确定下级分发 节点包括：

所述节点确定如下数目的下级分发节点：round(所述节点接收到的分发任 务中指示的节点的数量/所述预设阀值)–1，所述round()为四舍五入取整操作。 比如，分发任务中指示的节点数目为250，预设阈值为8，则此时需建立的下 级分发节点数为：round(250/8)-1＝2，即需要建立两个下级分发节点。

在一实施例中，所述述节点从所述分发任务指示的节点中确定下级分发 节点包括：

所述节点所属子网的拓扑结构包括多个二层交换机时，其确定的下级分 发节点在该多个二层交换机网络内部平均分布。

若某个子网，其拓扑结构为若干二层交换机组成的子网(例如大学宿舍一 个网口连到交换机，所有人的主机接到这个交换机上)，那么一级分发节点建 立二级分发节点时，会优先尽量将二级分发节点平均建立在各个二层交换机 网络内部，从而充分利用二层交换内部的网络带宽，此时，需要配置子网内 的拓扑信息。

在一实施例中，所述总部署节点还下发分级传输客户端至所述下级分发 节点。该分级传输客户端用于下级分发节点和总部署节点进行通信。需要说 明的是，分级传输客户端也可以预先配置在各节点上。

下面以一示例说明一级分发节点的设置和多级分发节点的设置。

部署由300个节点组成的容器化集群系统，300个节点分属于3个子网， 部署节点首先向3个子网的3个节点发送一个分级传输客户端，以及300个 节点主机清单文件，然后这3个节点就成为了一级分发节点，分发节点通过 读取主机清单文件，优先寻找和自己位于同一网段的主机，或某种优先级算 法后，认领分发任务后反馈给总部署节点，总部署节点处理并确认各个一级 分发节点认领的分发任务，反馈给一级分发节点，然后算上总部署节点和一 级分发节点，就有4个节点可以同时进行镜像传输操作，等于是传输速度理 论上提高了4倍(若考虑到同一个子网内的速度传输，会更高)，更进一步 的，还可以设置2级或多级分发，速度理论上接近指数级增长，集群数量越 大越明显。

若是某一个子网内又继续划分了若干子网，抑或该子网的主机数量较多， 可以设置2级甚至3级分发节点，假设部署由600个节点组成的容器化集群 系统，600个节点分属3个子网，其中2个子网各有100个节点，最后一个子 网有400个节点，这样，和前面一样，部署节点会在该3个子网搭建各搭建1 个一级分发节点，各个一级分发节点负责所在子网的节点的镜像文件的分发， 而在400个节点的子网中，一级分发节点可以从所处子网中挑选若干个节点 作为二级分发节点，这样，在这400个节点中就有4个分发节点可以为子网 传输镜像文件。同一级分发节点一样，二级分发节点认领分发任务后反馈给 一级分发节点，由一级分发节点确认本子网传输镜像的任务分配。

上述实施例提供的方案不需要事先建立多个服务器提供镜像文件传输， 不需要配置高性能的服务器和高性能网络IO，只需要利用集群本身的主机资 源，最大程度地利用各个子网内部的局域网网络IO，极大的加快了大规模部 署容器化系统的速度。

如图2所示，本发明一实施例提供一种容器化集群系统部署装置，该装 置包括：

流程控制模块201，设置为，在待部署的集群中确定下级分发节点；在一 实施例中，还设置为，根据用户的定义的部署过程(可通过读入用户编写的 部署过程脚本)，控制部署过程的顺序，如要传输哪些文件，怎么渲染配置， 启动容器的顺序等，控制分级传输客户端的部署以及确认分级传输的任务， 记录部署日志并进行失败重试。

传输模块202，设置为，将待传输的镜像文件和分发任务发送至所述下级 分发节点，所述分发任务包括所述下级分发节点负责进行镜像文件分发的节 点信息；

在另一实施例中，还包括：子网归并模块203，设置为，将所述集群中各 节点进行归类为一个或多个子网；或者，对所述集群中的节点进行归类为一 个或多个子网，对节点数小于预设阈值的子网进行组合获得组合子网。

在另一实施例中，还包括：

远程命令控制模块204，设置为，登陆到目标节点，执行系统命令操作， 如执行shell命令；

文本渲染模块205，设置为，根据部署环境渲染配置文件。

本发明一实施例提供一种容器化集群系统，包括总部署节点和待部署的 集群，所述集群包括多个节点，其中：

所述总部署节点用于，在所述待部署的集群中确定下级分发节点，将待 传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所 述下级分发节点负责进行镜像文件分发的节点信息；

所述节点用于，接收到待传输的镜像文件和分发任务后，直接将所述待 传输的镜像文件发送给所述分发任务指示的节点；或者，从接收到的分发任 务指示的节点中确定下级分发节点，将待传输的镜像文件和分发任务发送至 所述节点确定的下级分发节点，所述分发任务包括所述节点确定的下级分发 节点负责进行镜像文件分发的节点信息。

其中总部署节点和节点的具体实现可参考之前的实施例，此处不再赘述。

下面通过一实施例说明容器化集群系统的整体部署过程。

首先配置集群主机清单信息，可以包括主机的IP(Internet Protocol，因特 网协议)地址或DNS(Domain Name System，域名系统)能解析的主机名、 登陆信息以供ssh(Secure Shell，安全外壳)或其他方式连接，流程控制模块 尝试连接主机清单信息上各个主机，以保证集群节点的连通性；

子网归并模块203根据各个主机路由路径，将各个主机按子网进行分类；

流程控制模块201根据用户配置的需求或按照预设规则(例如超过100 个节点的子网则在该子网部署一个一级分发节点)，从各个子网挑选节点作 为该子网的一级分发节点，通过传输模块202发送分级传输客户端、主机清 单信息和待传输的镜像文件给一级分发节点。

一级分发节点根据子网大小，可建立二级分发节点；

一级分发节点根据主机清单，根据所处的子网，认领子网内主机的分发 任务，反馈给总部署节点。

总部署节点得到一级分发节点所认领的分发任务后，排除冲突任务，重 新调整后，下发给各个一级分发节点；

一级分发节点接到总部署节点下发的分发任务后，若该一级分发节点下 还有二级分发节点，则该一级分发节点下发分发任务至二级分发节点，二级 分发节点接到一级分发节点下发的分发任务后，进行分发任务领取。二级分 发节点可根据路由跳数，或ping值速率优先选取分发任务。这个过程同一级 分发节点认领分发任务的过程是基本一致的。

当二级分发节点完成分发任务(即分发镜像文件)后，上报给一级分发 节点；一级分发节点完成分发任务后，上报给总部署节点。总的来说，就是 一种逐级下发任务，然后逐级上报，形成一种金字塔形的逐级分发体系。每 一个分发节点完成文件传输后，进行文件散列码校验，以保证文件传输的完 整性。

镜像文件分发完毕后，流程控制模块201继续根据用户定义的流程，执 行远端命令，文件渲染和发送，由于这些过程执行较快，故逐一对主机清单 里的主机执行即可，可以不采用多级分发的方式。

以一个具体实例进一步说明。

现在假设要部署一个大规模容器化集群，该集群是一个master+大量node 组成的集群，需要传输一个node镜像到各个节点上，该镜像有300MB。由于 该集群容器化了，因此只需要在各个节点上启动该镜像容器，并将配置文件 挂载在指定的目录下即可，因此整个部署步骤并不复杂，但显然，该部署过 程中主要耗时在传输镜像的过程，使用本申请提供的方案可以在大规模集群 部署中减少传输镜像的耗时。

假设需要搭建一个有440个node的容器集群，440个node分属于3个子 网，配置集群节点信息，示例如下：

在这个环境下，假设子网掩码都是255.255.255.0，可以看出该集群有3 个子网，分别为192.168.2.0/24，192.168.3.0/24，192.168.4.0/24，其主机个数 分别为100、100和240。那么子网归并模块可以通过连接主机时，判断路由 路径，可以知道192.168.2.1到192.168.2.101属于一个子网，命名为子网A1； 192.168.3.2到192.168.3.101为一个子网，命名为子网B1；192.168.4.2到 192.168.4.241为一个子网，命名为子网C1。

得到3个子网后，由于每个子网的主机数量较多(大于预设阈值80)， 因此可以在每个子网建立一个一级分发节点，假设子网A1的一级分发节点为 192.168.2.2，子网B1的一级分发节点为192.168.3.2，子网C1的一级分发节 点为192.168.4.2。确定好后，流程控制模块201通过传输模块202传送分级 传输客户端、待传输镜像和主机清单给一级分发节点。

分级传输客户端包含传输模块，因此本身也能传输文件，同时能和总部 署节点进行通信。一级分发节点读取主机清单，认领主机清单中和自己处于 同一子网的主机的传输任务，本实施例中，子网A1的一级分发节点认领 192.168.2.2到192.168.2.101的传输任务，依次类推，192.168.3.3到 192.168.3.101由子网B1的一级分发节点192.168.3.2承担传输任务， 192.168.4.3到192.168.4.241由子网C1的一级分发节点192.168.4.2承担传输任务。这样，当这些任务经由总部署节点确认后，下发给各个一级分级节点， 那么至此为止，就有3个一级分级节点分别位于3个子网进行镜像传输的工 作。

这个过程如图3中的三个子网A1，B1，C1的情形，图3中将被部署节 点划分成为了3个子网A1、B1和C1，并各选取子网A1，B1，C1中的某个 主机作为一级分发节点。

相比相关技术中只有一个总部署节点传输的情形，现在做到至少3个节 点(若算上总部署节点，则有4个节点)同时传输镜像文件，且不会存在占 用主干道网络带宽的情况，因为各个一级分发节点都是在各自的内网，最大 程度地利用了子网内部的网络传输带宽。特别的，如果集群只有一个子网， 那么，相比传统的由总部署节点将镜像文件传输给集群中各节点的情形，由 子网内的节点进行镜像文件的传输时，利用了子网内部的网络传输带宽，不 占用主干道网络带宽，仍然优越于相关技术。

可以注意到子网C1有240个节点，若仅仅用一个一级分发节点，可能效 率不够，此时可以使用多级分发。根据前面提到的下级分发节点建立规则， 由于240/80＝3，因此可以考虑增加2个二级分发节点，当子网C1的一级分发 节点确认传输任务后，从该子网选取2个节点作为二级分发节点，同一级分 发节点一样，二级分发节点认领分发任务，由一级分发节点确认并下发给二 级分发节点，从而，子网C1的一级分发节点和子网C1的二级分发节点一同 完成子网C1的镜像文件传输。

采取上述分发方式，性能可以得到一定的提升，具体能提升多少，一方 面可以看子网C1的网络拓扑情况，如果子网C1的内部还继续划分了子网， 如图4所示，那么可以在子网内设置二级分发节点；另一方面若子网C1内部 是由2个交换机组成的网络，那么可以将二级分发节点设置在与一级分发节 点不同的交换机网络中，充分利用交换机的网络IO，比如，2个宿舍的网络 位于一个网段，但每个宿舍只有一个网口，故每个宿舍都使用一台百兆交换 机，然后一级分发节点和二级分发节点在分别设在2个宿舍，这样就能充分 利用每个宿舍的交换机IO进行文件传输)，如图4所示，在图4的子网中， 在2个2层交换网络各部署了一个二级分发节点。

若主机清单构成并不是像之前的实施例中所示，大致均匀分布在各个子 网中，比如假设现在nodes又有如下30个节点增加进来：

新增的节点中，有25个是属于同一子网的(10.114.2.0/24)，另外5个 节点都是单独一个节点属于一个子网，那么对于这种情况，可以不为这30个 节点部署一级分发节点(25个同子网+5个单独子网节点)，在这种情况下， 这30个节点可以由总部署节点处理镜像传输。如图3所示，在子网C1后面 有零散的主机，这些主机由总部署节点负责传输镜像文件。当然，在其他实 施例中，也可以将这25个节点作为一个子网，建立一个一级分发节点，由该 一级分发节点传输镜像文件给这25个节点。

最后考虑子网组合的情况，假如现在有如下的网络

上述节点分属于3个子网，假设为子网A2,B2,C2，分别都有70个节点， 由于子网的节点个数都小于预设阈值(80)，故子网归并模块203在划分好 子网后，不会向子网A2,B2,C2部署一级分发节点，但若总部署节点到子网 A2，B2，C2的路由路径假如满足前述的组合子网的相关建立规则，则可以将 子网A2,B2,C2合并为一个组合子网D，如图5所示。组合子网D中，子网 A2到总部署节点的路由路径最短，则总部署节点会向子网A2部署一个一级 分发节点，然后由该一级分发节点向子网B2和子网C2部署二级分发节点。

类似的，若子网A2，B2，C2满足相邻关系，则会将子网A2、B2和C2 组合成为一个相邻关系的组合子网，并在到总部署节点的路由路径最短的子 网中部署一级分发节点。

当任务下发完成后，各级分发节点，包括总部署节点，开始执行各自的 传输任务，各级分发节点完成传输任务后反馈给总部署节点，这个过程可以 进行失败重试、日志记录。另外，如果失败次数达到一设定阈值，可以由总 部署节点直接向未成功获取镜像文件的节点传输镜像文件。

待完成了镜像文件传输任务后，即进行其他配置，如根据各个集群节点 信息，由文本渲染模块205渲染配置文件，并发送到各个节点上，由于配置 文件往往是若干个文本文件，体积不大，所以可以不使用本申请提供的多级 分发策略分发配置文件，直接由总部署节点进行分发。当然，在其他实施例 中，也可以使用本申请提供的分级分发策略传输该配置文件。最后通过远程 命令控制模块204启动各个容器。

本发明一实施例提供一种容器化集群系统部署装置，如图6所示，包括：

接收模块601，设置为，接收待传输的镜像文件和分发任务；

分发模块602，设置为，直接将所述待传输的镜像文件发送给所述分发任 务指示的节点；或者，从所述分发任务指示的节点中确定下级分发节点，将 待传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括 所述下级分发节点负责进行镜像文件分发的节点信息。

其中，所述分发模块602从所述分发任务指示的节点中确定下级分发节 点包括：

当所述分发任务指示的节点数目大于预设阈值时，从所述分发任务指示 的节点中确定下级分发节点。

如图7所示，本发明一实施例提供一种容器化集群系统部署装置70，包 括存储器710和处理器720，所述存储器710存储有程序，所述程序在被所述 处理器720读取执行时，实现上述任一实施例所述的容器化集群系统部署方 法。

本发明一实施例提供一种计算机可读存储介质，所述计算机可读存储介 质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理 器执行，以实现上述任一实施例所述的容器化集群系统部署方法。

所述计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、 磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读 存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用 一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用 硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任 何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明 而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人 员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细 节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利 要求书所界定的范围为准。

Claims (15)

1.一种容器化集群系统部署方法，包括：

总部署节点在待部署的集群中确定下级分发节点，将待传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所述下级分发节点负责进行镜像文件分发的节点信息。

2.如权利要求1所述的容器化集群系统部署方法，其特征在于，所述总部署节点在待部署的集群中确定下级分发节点包括：

对所述集群的各节点构成的子网或组合子网，当所述子网或组合子网的节点数大于等于预设阈值时，所述总部署节点从所述子网或组合子网中挑选节点作为该子网或组合子网的下级分发节点。

3.如权利要求2所述的容器化集群系统部署方法，其特征在于，所述总部署节点在待部署的集群中确定下级分发节点前还包括：

将所述集群中的节点进行归类为一个或多个子网；

或者，

对所述集群中的节点进行归类为一个或多个子网，对节点数小于预设阈值的子网进行组合获得组合子网。

4.如权利要求3所述的容器化集群系统部署方法，其特征在于，所述对节点数小于预设阈值的子网进行组合获得组合子网包括如下至少之一：

对节点数小于预设阈值的子网进行组合获得上下层关系的组合子网，所述上下层关系的组合子网包括一个上层子网和至少一个下层子网，且所述总部署节点到所述上层子网的路由路径有序集合属于所述总部署节点到所述下层子网的路由路径有序集合，且所述总部署节点到所述上层子网的路由路径有序集合的第一路由点与所述总部署节点到所述下层子网的路由路径有序集合的第一路由点相同；

对节点数小于预设阈值的子网进行组合获得相邻关系的组合子网，所述相邻关系的组合子网包括多个子网Sa₁～Sa_n，且所述总部署节点到所述子网Sa₁～Sa_n的路由路径有序集合的Sr₁～Sr_n的前M个路由点重合，且Sr₁～Sr_n中任一路由路径有序集合Sr_k不属于Sr₁～Sr_n中除Sr_k外的路由路径有序集合，所述M大于等于1，所述n大于等于1。

5.如权利要求4所述的容器化集群系统部署方法，其特征在于，所述子网Sa₁～Sa_n的路由路径有序集合的Sr₁～Sr_n还满足：

所述Sr₁～Sr_n中每个路由路径有序集合的路由点个数大于预设长度阈值，且，对于Sr₁～Sr_n中任一路由路径有序集合Sr_k：

所述d(Sr_i Sr_k)为Sr_i和Sr_k的并集的路由点数目与Sr_i和Sr_k的交集的路由点数目之差。

6.如权利要求4所述的容器化集群系统部署方法，其特征在于，所述对节点数小于预设阈值的子网进行组合获得组合子网包括：优先组合获得上下层关系的组合子网，在组合获得上下层关系的组合子网后，或者，组合上下层关系的组合子网失败后，再组合获得相邻关系的组合子网。

7.如权利要求4至6任一所述的容器化集群系统部署方法，其特征在于，所述总部署节点从所述组合子网中挑选节点作为该组合子网的下级分发节点包括：

所述总部署节点在所述组合子网中确定下级分发节点时，如果所述组网子网为上下层关系的组合子网，则所述总部署节点从所述组合子网的上层子网中挑选下级分发节点。

8.如权利要求4至6任一所述的容器化集群系统部署方法，其特征在于，所述总部署节点从所述组合子网中挑选节点作为该组合子网的下级分发节点包括：

所述总部署节点在所述组合子网中确定下级分发节点时，如果所述组合子网为相邻关系的组合子网，则所述总部署节点从该组合子网中与所述总部署节点的路由路径最短的子网中挑选下级分发节点。

9.一种容器化集群系统部署装置，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现如权利要求1至8任一所述的容器化集群系统部署方法。

10.一种容器化集群系统部署方法，包括：

节点接收到待传输的镜像文件和分发任务后，直接将所述待传输的镜像文件发送给所述分发任务指示的节点；

或者，所述节点从所述分发任务指示的节点中确定下级分发节点，将待传输的镜像文件和下级分发任务发送至所述下级分发节点，所述下级分发任务包括所述下级分发节点负责进行镜像文件分发的节点信息。

11.如权利要求10所述的容器化集群系统部署方法，其特征在于，所述节点从其负责分发任务指示的节点中确定下级分发节点包括：

当所述节点接收到的分发任务中指示的节点的数目大于预设阈值时，所述节点从所述分发任务指示的节点中确定下级分发节点。

12.如权利要求11所述的容器化集群系统部署方法，其特征在于，所述述节点从所述分发任务指示的节点中确定下级分发节点包括：

所述节点确定如下数目的下级分发节点：round(所述节点接收到的分发任务中指示的节点的数量/所述预设阀值)–1，所述round()为四舍五入取整操作。

13.如权利要求10至12任一所述的容器化集群系统部署方法，其特征在于，所述节点从所述分发任务指示的节点中确定下级分发节点包括：

所述节点所属子网的拓扑结构包括多个二层交换机时，其确定的下级分发节点在该多个二层交换机网络内部平均分布。

14.一种容器化集群系统部署装置，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现如权利要求10或13任一所述的容器化集群系统部署方法。

15.一种容器化集群系统，包括总部署节点和待部署的集群，所述集群包括多个节点，其中：

所述总部署节点用于，在所述待部署的集群中确定下级分发节点，将待传输的镜像文件和分发任务发送至所述下级分发节点，所述分发任务包括所述下级分发节点负责进行镜像文件分发的节点信息；

所述节点用于，接收到待传输的镜像文件和分发任务后，直接将所述待传输的镜像文件发送给所述分发任务指示的节点；或者，从接收到的分发任务指示的节点中确定下级分发节点，将待传输的镜像文件和下级分发任务发送至所述节点确定的下级分发节点，所述下级分发任务包括所述节点确定的下级分发节点负责进行镜像文件分发的节点信息。