CN110647580A - 分布式容器集群镜像管理主节点、从节点、系统及方法 - Google Patents

Abstract

本发明公开了分布式容器集群镜像管理主节点、从节点、系统及方法。主节点包括：镜像数据库，为分布式数据库，用于存储系统中所有节点的节点信息；请求输入模块，用于接收包括请求目标和命令执行内容的请求内容；镜像管理模块，用于通信密码以及验证请求记录输入模块获取的请求内容是否合法，判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则向从节点对应的IP地址发送通信密码以及包括拉取操作、更新操作、删除操作和清理操作的命令执行内容；接收从节点发送的状态反馈内容。本发明实现了容器集群镜像的扁平化管理，提高了分布式系统中对集群容器镜像的管理效率以及整个集群的高可靠性和安全性。

Description

分布式容器集群镜像管理主节点、从节点、系统及方法

技术领域

本发明属于计算机技术领域，具体涉及一种分布式容器集群镜像管理主节点、从节点、系统及方法。

背景技术

随着科技的发展，将微服务部署到容器中可极大的提升资源利用率。当应用逐渐增大，只用单个容器已经不能满足当前要求，尤其当应用比较重要，不能中断服务，就要考虑使用多个容器来部署应用，以达到提高并发访问的能力和避免单点故障的目的。当多个容器对外作为一个整体提供服务就形成了容器集群。

容器集群一般包含多个节点，这些节点中包括选定的主节点作为管理节点，通过在其上部署管理模块实现对其它从节点的管理。通过集群管理模块对集群进行参数配置时，通常会将每次参数配置过程中产生的配置更新信息保存在主节点的本地数据库中。为了实现镜像的管理，避免过时镜像过多造成容易造成大量存储资源浪费，各个从节点需要向主节点发起查询请求以便对本地镜像实施拉取操作、更新操作、删除操作和清理操作；主节点接收到从节点发送的查询请求，检查从节点的镜像再将需要的操作发送给各从节点，完成从节点镜像的管理。

当从节点数量多时，主节点需要根据各从节点发送的请求依次向从节点发送操作指令，还会存在一定延迟以及引起误操作的可能。

因此，现有技术中容器集群的镜像管理系统镜像管理效率低下以及可靠性和安全性有待提高。

发明内容

针对目前容器集群的镜像管理系统效率低下、可靠性和安全性有待提高的问题，本发明提供了一种分布式容器集群镜像管理主节点、从节点、系统及方法。

为实现上述技术目的，本发明采用了以下的技术方案。

在一方面，本发明提供了一种分布式容器集群镜像管理系统的主节点，其特征在于，用于一种分布式容器集群镜像管理系统，所述分布式容器集群镜像管理系统包括至少一个主节点和至少一个从节点，每个所述主节点包括：

镜像数据库、请求输入模块和镜像管理模块；

响应于所述镜像管理模块成功对接所述镜像数据库且其具备所述镜像数据库的读写权限，所述镜像管理模块可对镜像数据库进行读写操作；

所述镜像数据库，为分布式数据库，用于存储系统中所有节点的节点信息，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

所述请求输入模块，用于接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

所述镜像管理模块，用于生成公钥与私钥组成的用于加密认证通信密码；以及验证请求记录输入模块获取的请求内容是否合法，若所述请求内容验证通过则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送通信密码以及命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作；

所述镜像管理模块，还用于接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入所述镜像数据库。

该技术方案实现了容器集群镜像的扁平化管理，提高了分布式系统中对集群容器镜像的管理效率，加快了容器操作信息流的速率，实现集群中容器镜像所有操作内容的持久化存储，便于事件审计、故障定位与后期维护；并且通过对请求内容的验证提高了镜像管理的可靠性，避免误操作或非法操作，解决节点在工作过程中通信连接的有效性和整个集群的高可用性和安全性。

为了实现系统的可扩展性以及稳定性，可以在系统需要增加从节点或者从节点发生意外故障后及时向系统中授权新的从节点，，同时为了增加系统的安全性，进一步地，所述镜像管理模块包括Web服务器，所述Web服务器用于阻塞监听，等待从节点申请加入集群请求，若接收到从节点发出的加入集群请求，则镜像管理模块对加入集群请求中的通信密码进行认证，认证通过后将加入集群请求中的节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码写入镜像数据库，同时设置该从节点的更新时间并写入镜像数据库，向从节点集群回复加入集群成功消息。由此，保证集群中节点工作的稳定性、可扩展性，并且通过对从节点的加入集群请求进行验证实现高效安全运行。

为了提高集群中容器镜像批量处理效率的问题，进一步提高系统镜像管理效率，进一步地，在以上技术方案中，所述镜像管理模块响应于从节点加入集群完成，将所有从节点以及为其设定的标签作为数据表存入所述镜像数据库中；

若所述镜像管理模块判断请求记录输入模块获取请求目标为指定的标签，则查询所述镜像数据库中该标签对应的从节点列表，获得列表中从节点对应的IP地址；根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作。该技术方案明确系统中各个从节点的工作范围与工作环境，并通晓执行操作的节点对象，提高系统中从事不同事务的从节点的批量管理能力，进一步提高系统镜像管理效率。

为了确定系统在运行中可能存在的故障与错误以便及时作出处理，进一步地，所述主节点还包括故障消息生成和上报模块，用于响应若所述镜像管理模块与所述镜像数据库对接不成功或对接成功但镜像管理器不具备数据库读写权限，则将失败原因生成消息，将消息序列化作为故障文本文件上报。该技术方案让运维工程师快速定位故障位置，便于未来安全审计，同时帮助运维工程师排查错误根源并解决问题，使得系统快速恢复正常运行。

在另一方面，本发明提供了一种分布式容器集群镜像管理系统的从节点，其特征在于，用于一种分布式容器集群镜像管理系统，所述分布式容器集群镜像管理系统包括至少一个主节点和至少一个从节点，每个所述从节点包括：镜像控制器代理组件和镜像仓库；

所述镜像仓库，用于在存放容器镜像，通过镜像名称与镜像标签区分不同镜像；

所述镜像控制器代理组件，用于将从节点的节点信息发送到所述主节点，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

还用于从主节点获取请求内容，所述请求内容包括通信密码和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

从节点对通信密码进行认证，认证通过后通过调用容器引擎实现对镜像仓库执行命令执行内容相应的操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；所述操作包括拉取操作、更新操作、删除操作和清理操作；并将状态反馈内容发送到主节点。

所述请求内容经过主节点的合法性检查，且请求目标若为指定的单个从节点或成组的从节点，则对应IP地址的从节点均能收到主节点发送的命令执行内容；若所述请求目标若为指定的标签，则该标签对应的从节点列表中对应IP地址的从节点均能收到主节点发送的命令执行内容。

进一步地，所述镜像控制器代理组件响应于所述镜像控制器代理组件检查确定当前节点已经运行了容器引擎，从环境变量中获取通信键值对，通过通信键值对获取的主节点的IP地址和通信密码向主节点发起加入集群请求，所述加入集群请求包括节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码；若所述通信密码被认证通过，则所述镜像控制器代理组件从主节点接收加入集群成功的消息。

再进一步地，所述从节点还包括故障生成与上报模块，用于响应于所述镜像控制器代理组件检查确定容器引擎运行异常、从环境变量中获取通信键值对失败或根据超过预设时间仍未收到主节点对加入集群请求的响应而判定的加入集群失败，则将失败原因生成消息，将消息序列化作为故障文本文件上报。

进一步地，所述从节点的镜像控制器代理从主节点获取的请求内容中包括命令执行时间与执行周期，若命令执行时间与执行周期未做设置，则立即执行相应操作；若请求内容中仅包括命令执行时间未包括执行周期，则从节点镜像控制器代理则从节点的镜像控制器代理将阻塞并等待到命令执行时间再执行相应操作；若命令执行时间未做设置，只设置了执行周期，则从节点镜像控制器代理立即执行相应操作并异步开启阻塞并无限循环等待下一个执行周期时执行相应操作；若命令执行时间与执行周期均设置则从节点的镜像控制器代理将阻塞并等待至命令执行时间再执行相应操作且当第一次执行完毕后，从节点镜像控制器代理将开启阻塞并无限循环等待下一个执行周期时执行相应操作。

在第三方面，本发明提供了一种分布式容器集群镜像管理系统，其特征在于，包括至少一个上述主节点和至少一个上述从节点；

当系统中包括多于一个主节点时，每个主节点通过与网络中的负载均衡器连接，从节点在配置过程中将主节点的IP地址设置为负载均衡器服务IP地址，多个主节点上运行的分布式数据库用于不同主节点之间的数据同步。

在第四方面，本发明提供了一种分布式容器集群镜像管理方法，其特征在于，

主节点在分布式数据库中存储所有节点的节点信息，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

主节点接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

主节点判断所述请求内容是否合法，若所述请求内容合法则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作；

从节点调用容器引擎实现对镜像仓库执行相应操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；并将状态反馈内容发送到主节点；

主节点接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入分布式数据库。

本发明所取得的有益技术效果：

本发明实现了容器集群镜像的扁平化管理，提高了分布式系统中对集群容器镜像的管理效率，加快了容器操作信息流的速率，实现集群中容器镜像所有操作内容的持久化存储，便于事件审计、故障定位与后期维护；并且通过对请求内容的验证提高了镜像管理的可靠性，避免误操作或非法操作，解决节点在工作过程中通信连接的有效性和整个集群的高可用性和安全性；

本发明保证集群中节点工作的稳定行、可扩展性，并且通过对从节点的加入集群请求进行验证实现高效安全运行；

本发明明确系统中各个从节点的工作范围与工作环境，并通晓执行操作的节点对象，提高系统中从事不同事务的从节点的批量管理能力，进一步提高系统镜像管理效率；

本发明让运维工程师快速定位故障位置，便于未来安全审计，同时帮助运维工程师排查错误根源并解决问题，使得系统快速恢复正常运行。

附图说明

图1是本发明具体实施例分布式容器集群镜像管理主节点的架构图；

图2是本发明具体实施例分布式容器集群镜像管理从节点的架构图；

图3是本发明具体实施例分布式容器集群镜像管理主节点工作流程图；

图4是本发明具体实施例分布式容器集群镜像管理从节点工作流程图；

图5是本发明具体实施例分布式容器集群镜像管理系统示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施方式一

图1为本实施例提供的分布式容器集群管理主节点的框架图。在系统中，主节点为控制节点，起到集群信息存储和控制功能，一般不运行容器的相关服务。主节点具体包括：

镜像数据库、请求输入模块和镜像管理模块；

响应于所述镜像管理模块成功对接所述镜像数据库且其具备所述镜像数据库的读写权限，所述镜像管理模块可对镜像数据库进行读写操作；

所述镜像数据库，为分布式数据库，用于存储所有节点的节点信息，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

所述请求输入模块，用于接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

所述镜像管理模块，也叫镜像管理器，包括一个支持双向TLS与支持认证的Web服务器，它具有对主节点上运行的镜像数据库读写的权限，主要用于获取用户从请求输入模块发出的请求记录并存储至数据库中，同时可向从节点发送与容器镜像相关的指令，让从节点按照用户要求执行相关指令，并接收来自从节点执行命令的返回结果存储至数据库，其中指令有增加、更新、删除、清理四种操作指令。

具体地，镜像管理模块用于生成公钥与私钥组成的用于加密认证通信密码；以及验证请求记录输入模块获取的请求内容是否合法，若所述请求内容验证通过则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送通信密码以及命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作；

所述镜像管理模块，还用于接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入所述镜像数据库。

在实际运行环境中，为防止单点故障，本系统的主节点可以设定多个，图1示出的系统包括了3个主节点。从节点数量根据需要配置。每个主节点通过与网络中的负载均衡器连接，从节点在配置过程中仅需将主节点的IP地址设置为负载均衡器服务IP地址，负载均衡器将流量合理转发至后端主节点以提高系统中主节点的管理能力。在测试环境中，本系统的主节点不少于1个，即可实现本系统功能。

本实施例通过仪表盘实现所述请求输入模块，是一个与用户交互的分布式容器集群镜像管理图形界面，用户可以通过仪表盘对某个从节点或一群从节点执行相关指令与操作，仪表盘则间接通过镜像管理器发送相关指令。需要说明的是，请求输入模块可采用其它现有技术实现，不限于实施例方式，不做赘述。

应用于该实施例对应的主节点的分布式容器集群管理方法实施例的流程如下(如图3所示)：

主节点的初始化：主节点上启动镜像管理器，镜像管理器首先尝试对接分布式数据库，若数据库对接成功且镜像管理器具备数据库读写权限，则创建数据库与数据表，将启动事件写入数据库，接着镜像管理器生成TLS公钥与私钥组成的通信密码，用于加密认证；

主节点启动仪表盘，仪表盘首先验证当前节点是否运行了镜像管理器且镜像管理器运行正常，若已经运行了镜像管理器且运行正常则直接与镜像管理器建立连接，并开启阻塞等待获取用户请求，若收到用户请求，当主节点首先判断请求是否来自内部网络，若请求来自外部网络，则将该请求丢弃并将获取外部请求事件及收到请求时间写入数据库；若请求来自内部网络，仪表盘首先验证请求内容对应的各个字段是否合法，

其中合法性验证包括：请求内容的字段完整性、请求内容的规范性、若请求内容中的执行时间非空，则验证执行时间是否大于当前时间加40秒；若请求内容中的存在对象列表，则一次检验列表中镜像格式的规范性等；

若该请求未通过验证，则将非法字段反馈给用户，并将该请求内容与请求提交时间存入数据库；，否则不做任何操作；若没有运行镜像管理器或镜像管理器运行异常则将失败原因生成文本文件并保存在磁盘上；

若判断该请求合法，仪表盘将请求内容的各个字段序列化为JSON格式的文本内容，并将文本内容作为请求内容，向当前节点中的镜像管理器发起请求；

主节点的镜像管理器首先判断请求类型，若请求目标为指定从节点或指定一组从节点，则镜像管理器对请求目标中的每个从节点循环异步执行命令下发。

主节点命令下发方法包括：主节点的镜像管理器首先查询镜像数据库中从节点对应的IP地址与通信密码，主节点镜像管理器通过IP地址向从节点发送HTTPS命令执行请求，其中命令执行请求的目的地址为从节点的IP地址，请求头携带了从节点的通信密码，请求内容为具体命令执行内容，包含执行操作字段与执行镜像列表，整个HTTPS命令请求通过命令生成的TLS密钥加密封装送至从节点，命令执行请求发送完毕后，从节点将执行命令执行内容对应的操作，主节点的镜像管理器等待从节点执行操作后发送执行命令的结果，并将执行结果送数据镜像数据库。

主节点执行状态反馈记录：主节点的镜像管理器收到从节点发来的回复后，将接收时间与回复内容作为对象存入数据库，若收到任务执行完毕的回复，则向主节点中的仪表盘发送通知任务执行完毕，仪表盘将请求结果中生成任务执行完成通知，告知用户任务执行完成，接着主节点的仪表盘将再次开启阻塞等待获取用户请求，整个集群进入下一次步骤循环。

该实施例实现了容器集群镜像的扁平化管理，提高了分布式系统中对集群容器镜像的管理效率，加快了容器操作信息流的速率，实现集群中容器镜像所有操作内容的持久化存储，便于事件审计、故障定位与后期维护；并且通过对请求内容的验证提高了镜像管理的可靠性，避免误操作或非法操作，解决节点在工作过程中通信连接的有效性和整个集群的高可用性和安全性。

实施方式二

为了实现系统的可扩展性以及稳定性，可以在系统需要增加从节点或者从节点发生意外故障后及时向系统中授权新的从节点，同时为了增加系统的安全性。在以上实施方式的基础上，包括：

所述镜像管理模块包括Web服务器，所述Web服务器用于阻塞监听，等待从节点申请加入集群请求，若接收到从节点发出的加入集群请求，则镜像管理模块对加入集群请求中的通信密码进行认证，认证通过后将加入集群请求中的节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码写入镜像数据库，同时设置该从节点的更新时间并写入镜像数据库，向从节点集群回复加入集群成功消息。

应用于本实施例提供的主节点的分布式容器集群管理方法实施例为在以上实施例提供的方法基础上，进一步包括：

主节点开启镜像管理器中的Web服务器阻塞监听，等待从节点申请加入的请求，若当前时刻收到从节点加入集群请求首先验证请求合法性，即验证请求中的键值对是否与本地保存的键值对一致，若一致则将请求中的节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间、通信密码写入数据库，同时将该节点的更新时间设置为请求时间写入数据库，接着回复从节点集群加入成功消息。

实施方式三

为了提高集群中容器镜像批量处理效率的问题，在以上实施方式的基础上，还包括：所述镜像管理模块响应于从节点加入集群完成，将所有从节点信息以及为其设定的标签作为数据表存入所述镜像数据库中；

若所述镜像管理模块判断请求记录输入模块获取请求目标为指定的标签，则查询所述镜像数据库中该标签对应的从节点列表，获得列表中从节点对应的IP地址；根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作。

应用于本实施例提供的主节点的分布式容器集群管理方法实施例为在以上实施例提供的方法基础上，进一步包括：

当所有从节点都通过主节点加入集群时，此时集群运维工程师需要将集群中的节点与这些节点附着的标签作为数据表存入数据库用于将来的任务执行(如：将集群中的所有工作节点设置名为worker的标签或将集群中的测试节点设置名为tester标签)。

主节点的镜像管理器判断请求类型，若请求目标为指定的标签，则镜像管理器首先通过查询镜像数据库输出标签为请求目标指定标签的所有从节点，接着对这些从节点循环异步执行命令下发。所述命令下发方法与实施方式一中相同，不重复介绍。

该实施例通过为从节点设定标签，提高系统中从事不同事务的从节点的批量管理能力，进一步提高系统镜像管理效率。

实施方式四

为了及时确定系统在运行中可能存在的故障与错误，在以上实施方式的基础上，主节点还包括故障消息生成和上报模块，用于响应若所述镜像管理模块对请求内容的验证与所述镜像数据库对接不成功或对接成功但镜像管理器不具备数据库读写权限，则将失败原因生成消息，将消息序列化作为故障文本文件上报。

所述故障消息生成和上报模块执行的方法为：若主节点的镜像管理模块对请求内容的合法性验证合法性失败，则将失败原因记录并生成故障消息；若数据库对接不成功或对接成功但镜像管理器不具备数据库读写权限，则将失败原因记录并生成故障消息。接着将消息序列化为文本文件作为电子邮件并从该节点中的环境变量获取运维工程师设置的电子邮件地址发送电子邮件，告知运维工程师当前节点存在故障及其失败原因，方便运维工程师快速排查错误并修复错误。

在另一方面，实施例提供了一种分布式容器集群镜像管理系统的从节点，所述从节点，用于一种分布式容器集群镜像管理系统，所述分布式容器集群镜像管理系统包括至少一个主节点和至少一个从节点。

实施方式一

一种分布式容器集群镜像管理系统的从节点，每个所述分布式容器集群镜像管理从节点包括：镜像控制器代理组件和镜像仓库(如图2所示)；

所述镜像仓库，用于在存放容器镜像，通过镜像名称与镜像标签区分不同镜像；

所述镜像控制器代理组件，包括一个支持双向TLS与支持通信密码认证的Web服务器，它可以对镜像仓库执行拉取镜像、推送镜像、删除镜像、清理过期镜像等操作，它通过从主节点获取操作信息并执行，最后将执行结果返回给主节点。具体地，所述镜像控制器代理组件用于将从节点的节点信息发送到所述主节点，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

还用于从主节点获取请求内容，所述请求内容包括通信密码和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

从节点对通信密码进行认证，认证通过后通过调用容器引擎实现对镜像仓库执行命令执行内容相应的操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；所述操作包括拉取操作、更新操作、删除操作和清理操作；并将状态反馈内容发送到主节点。

所述请求内容经过主节点的合法性检查，且请求目标若为指定的单个从节点或成组的从节点，则对应IP地址的从节点均能收到主节点发送的命令执行内容；若所述请求目标若为指定的标签，则该标签对应的从节点列表中对应IP地址的从节点均能收到主节点发送的命令执行内容。

应用于本实施例提供的从节点的分布式容器集群管理方法实施例包括(如图4所示)：

从节点的镜像控制器代理接收到主节点的请求后，首先验证请求头中的通信密码是否和本地的通信密码是否相同，若不相同，则镜像控制器代理向主节点回复认证失败，并将回复通过通信密码加密发送给主节点的镜像管理器；若相同则从节点的镜像控制器代理判断该请求需要执行的操作，包括拉取操作、更新操作、删除操作和清理操作。

实施方式二

在以上实施方式一的基础上，从节点还包括：所述镜像控制器代理组件响应于所述镜像控制器代理组件检查确定当前节点已经运行了容器引擎，从环境变量中获取通信键值对，通过通信键值对获取的主节点的IP地址和通信密码向主节点发起加入集群请求，所述加入集群请求包括节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码；若所述通信密码被认证通过，则所述镜像控制器代理组件从主节点接收加入集群成功的消息。

应用于本实施例提供的从节点的分布式容器集群管理方法实施例为在以上实施例提供的方法包括：

从节点启动镜像控制器代理，接着镜像控制器代理检查当前节点是否运行了容器引擎，若当前节点已经运行容器引擎且运行正常，则尝试从环境变量中获取通信键值对；若尝试从环境变量中获取通信键值对成功，则通过键值对获取主节点的IP地址和通信密码，接着通过键值对获取的IP地址和通信密码向主节点发起加入集群请求；若所述通信密码被认证通过，则所述镜像控制器代理组件从主节点接收加入集群成功的消息。

实施方式三

在以上实施方式的基础上，当从节点加入成功后，从节点的镜像控制器代理每隔5分钟向主节点发送更新请求，更新请求内容包括节点当前节点角色(主节点或从节点)、操作系统、操作系统内核版本、节点发送更新时间，主节点收到请求后在数据库中更新这些字段对应的数据；此时主节点每隔10分钟通过递归查询数据库中每个节点的更新时间与当前时间对比，若时间差在10分钟内不做任何操作；若超出10分钟则主节点认定该节点为故障节点，并将其从集群中移除。该实施例在以上实施例基础上通过设置以上心跳检测程序，判断从节点是否正常动行或异常异常断开。

实施方式四

在以上实施方式的基础上，从节点还包括：所述从节点还包括故障生成与上报模块，用于响应于从节点对主节点发送的请求内容中的通信密码验证失败、

所述镜像控制器代理组件检查确定容器引擎运行异常、从环境变量中获取通信键值对失败或根据超过预设时间仍未收到主节点对加入集群请求的响应而判定的加入集群失败以及超过预设时间被主节点认定为故障节点，则将失败原因生成消息，将消息序列化作为故障文本文件上报。

节点将失败原因记录并生成消息，消息内容即为失败原因，接着将消息序列化为文本文件作为电子邮件并从该节点中的环境变量获取运维工程师设置的电子邮件地址发送电子邮件，告知运维工程师当前节点存在故障及其失败原因，方便运维工程师快速排查错误并修复错误。

在以上实施方式的基础上，实施方式五还包括：

所述从节点的镜像控制器代理从主节点获取的请求内容中包括命令执行时间与执行周期，若命令执行时间与执行周期未做设置，则立即执行相应操作；若请求内容中仅包括命令执行时间未包括执行周期，则从节点镜像控制器代理则从节点的镜像控制器代理将阻塞并等待到命令执行时间再执行相应操作；若命令执行时间未做设置，只设置了执行周期，则从节点镜像控制器代理立即执行相应操作并异步开启阻塞并无限循环等待下一个执行周期时执行相应操作；若命令执行时间与执行周期均设置则从节点的镜像控制器代理将阻塞并等待至命令执行时间再执行相应操作且当第一次执行完毕后，从节点镜像控制器代理将开启阻塞并无限循环等待下一个执行周期时执行相应操作。

在以上实施方式中，具体的拉取操作如下：

从节点的镜像控制器代理首先将请求内容中的对象列表提取，对象列表存放的是一系列需要拉取镜像名，接着镜像控制器代理将调用底层容器引擎同步拉取镜像列表中的镜像，并将这些镜像保存在镜像仓库中，若列表中的镜像已经存在于镜像仓库中，则镜像控制器代理通过调用容器引擎直接拉取镜像并将原有镜像覆盖，在该过程中，若拉取的镜像名对应的镜像不存在或拉取镜像超时或失败，则镜像控制器代理异步回复主节点该镜像拉取报错，并将报错的具体原因作为回复内容通过生成的通信密码将回复加密发送给主节点的镜像管理器，主节点执行以上实施例所述；接着拉取列表中的下一个镜像；当对象列表中的最后一个镜像被拉取完毕后，镜像控制器代理向主节点回复任务执行完毕，并将回复通过通信密码将回复加密发送给主节点，完成拉取任务；同时主节点的镜像管理器收到回复执行以上实施例所述。

具体的更新操作包括：

从节点的镜像控制器代理首先将请求内容中的对象列表提取，对象列表存放的是一系列需要更新的镜像名，接着镜像控制器代理将调用底层容器引擎同步向镜像仓库更新镜像列表中的镜像，在该过程中，镜像控制器代理首先会判断要更新的镜像是否存在于该节点的镜像仓库中，若镜像仓库中不存在该镜像，则镜像控制器代理异步回复主节点该镜像不存在的消息，并通过通信密码将回复加密发送给主节点，并更新列表中的下一个镜像，同时，主节点的镜像管理器收到消息后执行以上实施例所述；若镜像仓库中存在该镜像，则镜像控制器代理将镜像仓库中存放的镜像与拉取端的同名镜像通过容器镜像标准中的哈希码进行比对，若二者哈希码相同，即二者镜像内容相同无需更新，镜像控制器异步回复主节点该镜像已经存在无需更新的消息，并将该消息通过通信密码将回复加密发送给主节点，并更新列表中的下一个镜像；若二者哈希哈希码不同，则首先将拉取端镜像拉取，再删除本地镜像，完成更新操作，并继续更新列表中的下一个镜像；当对象列表中的最后一个镜像被拉取完毕后，镜像控制器代理向主节点回复任务执行完毕，并通过通信密码将回复加密发送给主节点，完成更新任务，此时主节点的镜像管理器收到回复后执行以上实施例所述。

具体的删除操作包括：

从节点的镜像控制器代理首先将请求内容中的对象列表提取，对象列表存放的是一系列需要删除的镜像名，接着镜像控制器代理将调用底层容器引擎在镜像仓库中同步删除镜像列表中的镜像，在这个过程中，若需要删除的镜像名对应的镜像不存在于镜像仓库中，则镜像控制器代理异步回复主节点该镜像删除镜像不存在，并通过通信密码将回复加密发送给主节点，并继续同步删除列表中的下一个镜像，同时，主节点的镜像管理器收到回复后执行以上实施例所述；若需要删除的镜像名存在于镜像仓库中，则容器控制器代理继续判断需要删除的镜像名使用在该节点上有容器正在运行该镜像，若不存在，则镜像控制器代理通过调用该节点上的容器引擎删除该镜像；若存在，则镜像控制器代理异步回复主节点该镜像正在使用无法删除，并通过通信密码将回复加密发送给主节点，并继续同步删除列表中的下一个镜像，同时，主节点的镜像管理器收到回复后执行以上实施例所述；当对象列表中的最后一个镜像被删除完毕后，镜像控制器代理向主节点回复任务执行完毕，并通过通信密码将回复加密发送给主节点，完成删除任务，同时，主节点的镜像管理器收到回复后执行以上实施例所述。

具体清理操作包括：

从节点的镜像控制器首先将当前节点运行的镜像生成运行镜像列表，该列表记录了当前节点上运行的容器所使用的镜像，接着将当前节点的镜像仓库中的镜像生成仓库镜像列表，该列表记录了当前节点上的所有容器镜像，然后容器镜像控制器依次同步判断仓库镜像列表中的镜像是否存在于运行镜像列表，若该镜像存在于运行镜像列表中，则不做任何操作，继续判断仓库镜像列表中的下一条镜像是否满足条件；若该镜像不存在于运行镜像列表中，则将该镜像移除，接着判断仓库镜像列表中的下一条镜像是否满足条件；当最后仓库镜像列表中的最后一个镜像判断完毕并执行完相关操作后，镜像控制器代理向主节点回复任务执行完毕，并将回复通过通信密码将回复加密发送给主节点，完成清理任务，同时，主节点的镜像管理器收到回复后执行状态反馈记录。

在第三方面，具体实施例提供一种分布式容器集群镜像管理系统(如图5所示)，其特征在于，包括至少一个上述主节点和至少一个上述从节点；

当系统中包括多于一个主节点时，每个主节点通过与网络中的负载均衡器连接，从节点在配置过程中将主节点的IP地址设置为负载均衡器服务IP地址，多个主节点上运行的分布式数据库用于不同主节点之间的数据同步。

在第四方面，具体实施例提供了一种分布式容器集群镜像管理方法，其特征在于，

主节点在分布式数据库中存储所有节点的节点信息，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

主节点接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

主节点判断所述请求内容是否合法，若所述请求内容合法则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作

从节点调用容器引擎实现对镜像仓库执行相应操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；并将状态反馈内容发送到主节点；

主节点接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入分布式数据库。

本发明从节点通过获取主节点的执行任务，定期自动更新镜像资源并清理过时镜像资源，从而提高集群存储资源利用率；从节点通过获取主机节点的镜像拉取、更新、删除等任务，提前拉取镜像资源，从而缩短深度学习容器的部署准备时间，可适用于大规模分布式集群系统架构。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种分布式容器集群镜像管理系统的主节点，其特征在于，用于一种分布式容器集群镜像管理系统，所述分布式容器集群镜像管理系统包括至少一个主节点和至少一个从节点，每个所述主节点包括：

镜像数据库、请求输入模块和镜像管理模块；

响应于所述镜像管理模块成功对接所述镜像数据库且其具备所述镜像数据库的读写权限，所述镜像管理模块可对镜像数据库进行读写操作；

所述镜像数据库，为分布式数据库，用于存储系统中所有节点的节点信息；

所述请求输入模块，用于接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

所述镜像管理模块，用于生成公钥与私钥组成的用于加密认证通信密码；以及验证请求记录输入模块获取的请求内容是否合法，若所述请求内容验证通过则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送通信密码以及命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作；

所述镜像管理模块，还用于接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入所述镜像数据库。

2.根据权利要求1所述的一种分布式容器集群镜像管理系统的主节点，其特征在于，所述镜像管理模块包括Web服务器，所述Web服务器用于阻塞监听，等待从节点申请加入集群请求，所述加入集群请求包括：节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码；若接收到从节点发出的加入集群请求，则镜像管理模块对加入集群请求中的通信密码进行认证，认证通过后将加入集群请求中的节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码写入镜像数据库，同时设置该从节点的更新时间并写入镜像数据库，向从节点集群回复加入集群成功消息。

3.根据权利要求1所述的一种分布式容器集群镜像管理系统的主节点，其特征在于，所述镜像管理模块响应于从节点加入集群完成，将所有从节点以及为其设定的标签作为数据表存入所述镜像数据库中；

若所述镜像管理模块判断请求记录输入模块获取请求目标为指定的标签，则查询所述镜像数据库中该标签对应的从节点列表，获得列表中从节点对应的IP地址；根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作。

4.根据权利要求1所述的一种分布式容器集群镜像管理系统的主节点，其特征在于，所述主节点还包括故障消息生成和上报模块，用于响应若所述镜像管理模块对请求内容的验证与所述镜像数据库对接不成功或对接成功但镜像管理器不具备数据库读写权限，则将失败原因生成消息，将消息序列化作为故障文本文件上报。

5.一种分布式容器集群镜像管理系统的从节点，其特征在于，用于一种分布式容器集群镜像管理系统，所述分布式容器集群镜像管理系统包括至少一个主节点和至少一个从节点，每个所述从节点包括：镜像控制器代理组件和镜像仓库；

所述镜像仓库，用于在存放容器镜像，通过镜像名称与镜像标签区分不同镜像；

所述镜像控制器代理组件，用于将从节点的节点信息发送到所述主节点，所述节点信息包括节点当前状态、指令执行内容、指令执行时间和指令执行状态日志保存在主节点的分布式数据库中，所述节点的当前状态包括节点名、节点角色、节点操作系统及操作系统内核版本、节点上容器引擎运行版本、节点加入集群时间和节点更新时间；

还用于从主节点获取请求内容，所述请求内容包括通信密码和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

从节点对通信密码进行认证，认证通过后通过调用容器引擎实现对镜像仓库执行命令执行内容相应的操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；所述操作包括拉取操作、更新操作、删除操作和清理操作；并将状态反馈内容发送到主节点；

所述请求内容经过主节点的合法性检查，且请求目标若为指定的单个从节点或成组的从节点，则对应IP地址的从节点均能收到主节点发送的命令执行内容；若所述请求目标若为指定的标签，则该标签对应的从节点列表中对应IP地址的从节点均能收到主节点发送的命令执行内容。

6.根据权利要求5所述的一种分布式容器集群镜像管理系统的从节点，其特征在于，所述镜像控制器代理组件响应于所述镜像控制器代理组件检查确定当前节点已经运行了容器引擎，从环境变量中获取通信键值对，通过通信键值对获取的主节点的IP地址和通信密码向主节点发起加入集群请求，所述加入集群请求包括节点名称、角色、操作系统、操作系统内核版本、容器引擎版本、请求时间和通信密码；若所述通信密码被认证通过，则所述镜像控制器代理组件从主节点接收加入集群成功的消息。

7.根据权利要求6所述的一种分布式容器集群镜像管理系统的从节点，其特征在于，所述从节点还包括故障生成与上报模块，用于响应于所述镜像控制器代理组件检查确定容器引擎运行异常、从环境变量中获取通信键值对失败或根据超过预设时间仍未收到主节点对加入集群请求的响应而判定的加入集群失败，则将失败原因生成消息，将消息序列化作为故障文本文件上报。

8.根据权利要求5所述的一种分布式容器集群镜像管理系统的从节点，其特征在于，所述从节点的镜像控制器代理从主节点获取的请求内容中包括命令执行时间与执行周期，若命令执行时间与执行周期未做设置，则立即执行相应操作；若请求内容中仅包括命令执行时间未包括执行周期，则从节点镜像控制器代理则从节点的镜像控制器代理将阻塞并等待到命令执行时间再执行相应操作；若命令执行时间未做设置，只设置了执行周期，则从节点镜像控制器代理立即执行相应操作并异步开启阻塞并无限循环等待下一个执行周期时执行相应操作；若命令执行时间与执行周期均设置则从节点的镜像控制器代理将阻塞并等待至命令执行时间再执行相应操作且当第一次执行完毕后，从节点镜像控制器代理将开启阻塞并无限循环等待下一个执行周期时执行相应操作。

9.一种分布式容器集群镜像管理系统，其特征在于，包括至少一个权利要求1～4任意一项权利要求所述的主节点和至少一个权利要求5～8任意一项权利要求所述的从节点；

当系统中包括多于一个主节点时，每个主节点通过与网络中的负载均衡器连接，从节点在配置过程中将主节点的IP地址设置为负载均衡器服务IP地址，多个主节点上运行的分布式数据库用于不同主节点之间的数据同步。

10.一种分布式容器集群镜像管理方法，其特征在于，

主节点在分布式数据库中存储所有节点的节点信息；

主节点接收包括请求目标和命令执行内容的请求内容，所述命令执行内容包括执行操作字段与执行的镜像列表；

主节点判断所述请求内容是否合法，若所述请求内容合法则将请求内容存入所述镜像数据库；并判断请求内容中的请求目标若为指定的单个从节点或成组的从节点，则查询所述镜像数据获得从节点对应的IP地址，根据对应的IP地址向这些从节点发送命令执行内容，所述命令执行内容包括拉取操作、更新操作、删除操作和清理操作；

从节点调用容器引擎实现对镜像仓库执行相应操作，所述镜像仓库包括部署在本地的镜像仓库和部署在远端的远程镜像拉取仓库；并将状态反馈内容发送到主节点；

主节点接收从节点发送的状态反馈内容，并将接收的时间及状态反馈内容存入分布式数据库。

Images