CN111107135B - 一种容器镜像并行分发方法、调度器及存储介质 - Google Patents

Abstract

本发明公开了一种容器镜像并行分发方法、调度器及存储介质，所述方法包括：将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。本发明能够保证负载均衡性，提高大规模文件分发效率。

Description

一种容器镜像并行分发方法、调度器及存储介质

技术领域

本发明涉及一种容器镜像并行分发方法、调度器及存储介质，属于技术领域。

背景技术

为了获得更高效率的云服务，容器技术自诞生以来便受到了业界的广泛支持。作为一种基于容器的虚拟化技术，Docker在很多公司及数据中心中被广泛部署使用。在实际应用中，随着不同模板数量的增多，容器环境下的镜像分发逐渐成为了一个令云服务管理者头疼的问题。大规模数据中心每天会启动数十万个Docker容器，Docker容器的启动速度对数据中心的高效运行十分重要，如果不能及时启动应用程序的容器以响应请求，镜像并发拉取时分发效率会急剧下降。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种容器镜像并行分发方法、调度器及存储介质，能够保证负载均衡性，提高大规模文件分发效率。

为达到上述目的，本发明是采用下述技术方案实现的：

一方面，本发明提供了一种容器镜像并行分发方法，所述方法包括如下步骤：

将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；

接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；

在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。

结合第一方面，进一步的，所述方法还包括：

接收超级节点推送的请求下载的数据块信息和数据块所在节点信息，将所有数据块信息插入到数据块调度队列，并将数据块所在节点插入到节点调度队列。

结合第一方面，进一步的，调度匹配的方法包括如下步骤：

获取待下载数量最大的数据块；

在节点调度队列中查找满足以下条件的分发节点：

下载数量最大的数据块存在于分发节点上，且分发节点网络输出带宽空闲且分发节点与请求节点地理位置最近；

控制请求节点从所查找的分发节点下载数据块。

结合第一方面，进一步的，所述方法还包括：

接收超级节点发出的数据块下载完成确认信息，将数据块下载完成的请求节点加入到节点调度队列中。

结合第一方面，进一步的，如果未接收到超级节点发出的数据块下载完成确认信息，且请求节点尝试下载失败或请求节点自带心跳超时，则将所述分发节点移除节点调度队列。

结合第一方面，进一步的，数据块调度队列为空时，发出文件下载完成消息，并清除节点调度队列。

第二方面，本发明提供了一种调度器，包括存储器和处理器，所述存储器用于存储指令，所述处理器用于加载所述指令以执行前述任一项所述的方法步骤。

第三方面，本发明提供了一种存储介质，用于存储指令，所述指令能够被处理器加载以执行前述任一项所述的方法步骤。

与现有技术相比，本发明所达到的有益效果包括：

对分发节点和请求节点进行动态调度匹配，能够使分发节点根据自身性能分配到相应数量的数据块，保证在时间和空间上的负载均衡性，提高大规模文件分发效率。

附图说明

图1是根据本发明实施例提供的一种容器镜像并行分发方法的原理框图；

图2是根据本发明实施例提供的数据块调度队列的工作原理示意图；

图3是根据本发明实施例提供的节点调度队列的工作原理示意图。

具体实施方式

容器镜像是分层存储，单个镜像层可能被多个镜像共享，根据每层数据大小下载时会划分成不同数据块，超级节点会将请求下载的数据块所在集群中的位置信息和下载请求信息推送到调度器，镜像分发时P2P网络中的数据块流向由调度器动态决定，使得集群内各个节点的网络和磁盘等资源被充分使用；同时考虑到集群中服务器能力差异问题，让性能弱的节点分担较少的分发任务。调度器主要由两个调度队列组成，分别是存放待下载数据块的数据块调度队列和存放可响应数据块下载请求的节点调度队列。在每个调度窗口的开始时刻处理下载请求，根据下载请求的连续性，可以预测出在当前调度窗口内的所有下载请求。从数据块调度队列中每次选取待下载数量最大的数据块进行分发，因为下载请求数量越大，说明该数据块更加需要其他节点在集群中进行分发。随着时间的推移，调度窗口也不断向前平移。节点资源代理负责向调度器实时汇报本节点网络带宽状态和节点所在集群中的网络拓扑情况等等。调度器可独立部署在超级节点或者对等节点上，节点资源代理工作在集群中每个节点上。

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，是根据本发明实施例提供的一种容器镜像并行分发方法的原理框图，容器镜像并行分发方法包括如下步骤：

步骤1，超级节点会将请求下载的数据块信息和数据块所在节点信息推送到调度器，然后调度器将所有数据块信息插入数据块调度队列，并将数据块所在节点插入到节点调度队列，控制节点调度队列中的节点依次向请求节点传输数据块；

步骤2，请求节点接收到数据块后立刻开始写磁盘操作，写入成功后通过节点资源代理向超级节点发出确认信息，汇报本节点增加了一个数据块，可提供此数据块的转发服务，由超级节点推送到调度器，将本节点插入到节点调度队列，同时请求下一个数据块；

步骤3，调度器会在调度窗口内根据数据块调度队列中的数据块信息，对分发节点和请求节点进行调度匹配，调度过程的伪代码如下所示：

步骤3中分发节点一旦调度成功则从该节点下载数据块，如果超级节点收到数据块下载完成的确认，会将该节点加入到节点调度队列，当数据块请求下载数为零时会被移出数据块调度队列；如果未收到数据块下载完成的确认，且请求节点尝试重试下载失败，或节点自带心跳超时，则判定该分发节点离线，会被移除节点调度队列，尝试从下个分发节点下载数据块；

数据块调度队列为空时向全系统发出文件下载完成消息，清除节点调度队列。数据块调度队列中的数据块可以属于多个不同镜像文件。

算法一旦从步骤1开始执行则重复执行步骤1以外的其他步骤，直到清除节点调度队列停止。等待下一次提交文件下载请求，再从步骤1开始执行。

本发明实施例利用两个调度队列和系统节点的资源状态，将分发节点与请求节点动态匹配，使分发节点根据自身性能分配到相应数量的数据块，保证了系统时间和空间上的负载均衡性，提高了大规模文件分发效率。

下面以4个对等节点和一个超级节点构成网络集群对本发明实施例提供的方法做进一步详细描述。数据块block1简称b1，对等节点peer1简称p1，其他数据块和对等节点名称类推，超级节点supernode简称s。4个待分发的数据块，每个对等节点数据请求情况：p1(b1、b2)，p2(b1、b2，b3)，p3(b1、b2，b3，b4)，p4(b1、b2，b3，b4)，数据块b1-b4的请求数量分别是：4、4、3、2，具体分析本算法数据块的分发过程。算法开始时，集群首次文件分发默认将s放入节点调度队列，数据块调度队列中放入待下载的数据块。图2、图3分别是数据块调度器队列和节点调度器队列工作过程示意图，图中b1[4-0]代表数据块1当前请求下载数为4，已完成下载0次，其他同理。

第一步，s接收到4个节点对b1的下载请求，s将b1缓存下来并分发到p1、p2，由于s的宽带输出被占用，对于其他数据块的请求只能等待下载。p1、p2在接收到b1后具备了分发b1的能力。此时将p1、p2插入到节点调度队列，数据块调度队列中b1待分发数量减2，已完成下载数量加2。

第二步，选择待下载数量最大的b2进行分发，从s将b2缓存下来并分发到p1、p2，同第一步原理，s的宽带输出被占用，只能选择将b1从p1分发到p3、p4，并将p3、p4插入到节点调度队列队尾。

第三步，待收到b1分发完成的确认消息后，调度器将b1从数据块调度队列移出。紧接着选择待下载数量最大的b3进行分发，b3将有s缓存下来会被分发到p2、p3，此时s宽带被占用，p4对b3的请求和b4的请求只能等待下载，b2由p1分发到p4。

第四步，选择待下载量做大的b4进行分发，s将缓存下b4分发到p3、p4，此时s宽带被占用，b2由p1分发到p3，b3由p2分发到p4。

第五步，此时所有数据块被分发完成，节点队列被清空。

本发明还提供了一种调度器，包括存储器和处理器，所述存储器用于存储指令，所述处理器用于加载所述指令以执行前述任一项所述的方法步骤。

本发明还提供了一种存储介质，用于存储指令，所述指令能够被处理器加载以执行前述任一项所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种容器镜像并行分发方法，其特征在于，所述方法包括如下步骤：

接收超级节点推送的请求下载的数据块信息和数据块所在节点信息，将所有数据块信息插入到数据块调度队列，并将数据块所在节点插入到节点调度队列；

将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；

接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；

在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块；

调度匹配的方法包括如下步骤：

获取待下载数量最大的数据块；

在节点调度队列中查找满足以下条件的分发节点：

下载数量最大的数据块存在于分发节点上，且分发节点网络输出带宽空闲且分发节点与请求节点地理位置最近；

控制请求节点从所查找的分发节点下载数据块。

2.根据权利要求1所述的容器镜像并行分发方法，其特征在于，所述方法还包括：

接收超级节点发出的数据块下载完成确认信息，将数据块下载完成的请求节点加入到节点调度队列中。

3.根据权利要求2所述的容器镜像并行分发方法，其特征在于，如果未接收到超级节点发出的数据块下载完成确认信息，且请求节点尝试下载失败或请求节点自带心跳超时，则将所述分发节点移除节点调度队列。

4.根据权利要求2所述的容器镜像并行分发方法，其特征在于，数据块调度队列为空时，发出文件下载完成消息，并清除节点调度队列。

5.一种调度器，包括存储器和处理器，所述存储器用于存储指令，其特征在于，所述处理器用于加载所述指令以执行权利要求1至4任一项所述的方法步骤。

6.一种存储介质，用于存储指令，其特征在于，所述指令能够被处理器加载以执行权利要求1至4任一项所述的方法步骤。

Images