CN104809025A - 一种项目上线方法及装置 - Google Patents

Abstract

本发明实施例公开了一种项目上线方法及装置，应用于分布式计算机集群，该方法包括：将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像；将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；检测资源池中新版本的项目镜像执行任务是否正常；如果是，逐步提高资源池中新版本的项目镜像执行任务的数量，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，完成项目的上线。应用本发明实施例，不需要将服务器从计算机集群中摘除，简化了上线新版本项目的过程。

Description

一种项目上线方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种项目上线方法及装置。

背景技术

分布式计算机集群是由多台服务器主机相互联结而形成的系统，项目代码部署在计算机群集中的各个服务器中。

目前，更新计算机集群中项目的版本，上线新版本的项目，一般采用灰度上线的方式，具体的做法是：

1、先将集群中的某些服务器从集群中摘除，将需要灰度上线的新版本的项目代码部署在摘除的服务器中。

2、再将摘除的服务器挂载在集群中，检测已部署新版本项目代码的服务器运行是否稳定，也就是灰度上线是否稳定，在稳定后，再陆续对集群中其他未部署新版本项目代码的服务器部署需要灰度上线的新版本项目代码。例如：假设集群中现有3台服务器，分别为服务器x、服务器y和服务器z，三台服务器上当前运行项目版本为A0，欲将项目版本升级为A1，此时，需要先将服务器x从集群中摘除，在服务器x上部署项目版本为A1的代码，部署完成后，将服务器x挂载在集群中，如果服务器x运行正常，则再将服务器y和服务器z从集群中摘除，在服务器y和服务器z上部署项目版本为A1的代码，部署完成后，将服务器y和服务器z挂载在集群中。

应用上述方法上线新版本的项目，过程繁琐，并且摘除部分服务器进行新版本的项目代码部署时，会增加其他服务器的负载，容易导致任务阻塞。

发明内容

本发明实施例的目的在于提供一种项目上线方法及装置，以简化上线新版本项目的过程。

为达到上述目的，本发明实施例公开了一种项目上线方法，应用于分布式计算机集群，包括：

将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像；

将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；

检测资源池中新版本的项目镜像执行任务是否正常；

如果是，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

其中，在检测到资源池中新版本的项目镜像执行任务不正常的情况下，所述方法还可以包括：

将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。

所述将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像，可以包括：

利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

所述利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，可以包括：

根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；

在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；

将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

所述将新接收到的待执行任务一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中新版本的项目镜像执行，可以包括：

从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务；

利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。

本发明实施例还公开了一种项目上线装置，应用于分布式计算机集群，包括：

镜像部署单元，用于将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像；

任务执行单元，用于将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；

检测单元，用于检测资源池中新版本的项目镜像执行任务是否正常；

任务量调整单元，用于在资源池中新版本的项目镜像执行任务正常时，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

该装置还可以包括：

执行任务异常处理单元，用于在检测到资源池中新版本的项目镜像执行任务不正常的情况下，将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。

所述镜像部署单元可以为项目隔离单元；所述项目隔离单元，用于利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

所述项目隔离单元可以包括：新版本镜像生成子单元、新版本项目镜像拉取子单元和隔离子单元；

所述新版本镜像生成子单元，用于根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；

所述新版本项目镜像拉取子单元，用于在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；

所述隔离子单元，用于将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

所述的任务执行单元，具体可以用于从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务；并利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。

由上述的技术方案可见，本发明实施例提供的这种项目上线方法及装置，将新版本项目的镜像部署在分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像；在检测到新版本项目任务执行正常后，提高资源池中新版本的项目镜像执行任务的数量，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。因此，应用本发明实施例，不需要将服务器从计算机集群中摘除，简化了上线新版本项目的过程。并且在上线新版本项目的过程中，计算机集群中的服务器一直处于运行状态，没有增加其他服务器的负载，避免了任务阻塞。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的项目上线方法的一种流程图；

图2为本发明实施例的项目上线装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的这种项目上线方法及装置，利用了资源池的技术，将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像；在检测到新版本项目任务执行正常后，提高资源池中新版本的项目镜像执行任务的数量，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。因此，应用本发明实施例，不需要将服务器从计算机集群中摘除，简化了上线新版本项目的过程。

参见图1，本发明实施例的项目上线方法的一种流程，应用于分布式计算机集群，包括：

步骤101，将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像。也就是在资源池中同时存在并运行同一项目的灰度版本和线上版本。

本步骤中，可以利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

具体的，本实施例中，可以先根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；然后，在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；最后，将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

其中，生成并存储与该版本项目对应的docker镜像，具体可以过程可以包括：对新版本项目代码编写dockerfile，生成属于该版本项目的docker image(docker镜像)，分配对应的tag号，同时在分布式计算机集群的数据库或别的分布式存储介质中对应存储该docker image的tag号和该版本项目的对应信息。本领域技术人员能够理解，所有版本的项目代码在进行灰度上线时，都被生成了对应版本项目的docker镜像并存储。

步骤102，将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行。

本实施例中，可以先从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务，也就是灰度项目任务和线上项目任务；然后，利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。其中，利用分布式计算框架进行分发的具体过程属于现有技术。本发明实施例中，是利用分布式计算框架将不同版本项目任务分发给资源池中不同的计算节点。

实际应用中，可以首先从存储的docker镜像选择出新版本项目镜像和线上版本项目镜像。再从待执行任务中确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的业务量，生成灰度上线项目任务和线上版本项目任务。存储生成的灰度上线项目任务和线上版本项目任务的任务信息，以方便后续的任务量的调整，同时在出现问题时，迅速的调整各项目版本或任务量，从而实现灰度的回退。其中，灰度上线项目任务和线上版本项目任务的任务信息，至少可以包括：待执行任务的项目镜像的tag号、不同版本带执行任务的任务量。

然后，利用分布式计算框架将灰度上线项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。各个计算节点，按照灰度上线项目任务或线上版本项目任务的任务信息中的tag号和任务量，执行灰度上线项目任务或线上版本项目任务。

步骤103，检测资源池中新版本的项目镜像执行任务是否正常。

实际应用中，具体的检测方法可以与现有技术相同，这里不再赘述。

步骤104，如果是，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

本步骤中，在新版本的项目镜像执行任务，也就是灰度上线项目任务执行正常的情况下，提高资源池中新版本的项目镜像执行任务的数量。当灰度上线项目任务的任务量达到预设的阈值时，就确定灰度上线稳定了，就将所有再接收的任务分配给资源池中新版本的项目镜像执行，完成项目的上线。

实际应用中，可以按预设的规则，逐步提高新版本的项目镜像执行任务的任务量。例如：先将10％的待执行任务分配给新版本的项目镜像，执行正常后，再增加10％的待执行任务分配给新版本的项目镜像，执行正常后，再增加10％；反复执行，直到达到90％后，就确定灰度上线稳定了，将所有再接收的任务分配给资源池中新版本的项目镜像执行，即完成项目的上线。

在其他实施例中，在检测到资源池中新版本的项目镜像执行任务不正常的情况下，所述方法还包括：将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。也就是实现灰度的回退。

实际应用中，可以直接将所有的再接收的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像，完成回退。

也可以逐步回退，例如：当50％的待执行任务分配给新版本的项目镜像，50％的待执行任务分配给线上版本的项目镜像的情况下，检测出任务执行不正常，则可以减少比例，例如调整为40％的待执行任务分配给新版本的项目镜像，60％的待执行任务分配给线上版本的项目镜像。如果执行仍不正常，则再减少10％的待执行任务分配给新版本的项目镜像，如果仍执行不正常，则再减少10％的待执行任务分配给新版本的项目镜像，反复执行，直到所有的待执行任务都分配给线上版本的项目镜像，再删除资源池中新版本项目的镜像，完成回退。

由上述的实施例可见，应用本发明实施例，不需要将服务器从计算机集群中摘除，简化了上线新版本项目的过程。

参见图2，本发明实施例的项目上线装置，该装置与图1所示的方法相对应，应用于分布式计算机集群，包括：镜像部署单元201、任务执行单元202、检测单元203和任务量调整单元204。其中，

所述镜像部署单元201，用于将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

所述任务执行单元202，用于将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；

所述检测单元203，用于检测资源池中新版本的项目镜像执行任务是否正常；

所述任务量调整单元204，用于在资源池中新版本的项目镜像执行任务正常时，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

实际应用中，该装置还可以包括：执行任务异常处理单元(图2中未示出)。

所述执行任务异常处理单元，用于在检测到资源池中新版本的项目镜像执行任务不正常的情况下，将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。

本实施例中，所述镜像部署单元201可以为项目隔离单元；所述项目隔离单元，用于利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

所述项目隔离单元，可以包括：新版本镜像生成子单元、新版本项目镜像拉取子单元和隔离子单元(图2中未示出)。

所述新版本镜像生成子单元，用于根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；

所述新版本项目镜像拉取子单元，用于在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；

所述隔离子单元，用于将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

本实施例中所述的任务执行单元202，具体用于从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务；并利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。

由上述的实施例可见，应用本发明实施例，不需要将服务器从计算机集群中摘除，简化了上线新版本项目的过程。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种项目上线方法，其特征在于，应用于分布式计算机集群，包括：

将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像；

将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；

检测资源池中新版本的项目镜像执行任务是否正常；

如果是，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

2.根据权利要求1所述的方法，其特征在于，在检测到资源池中新版本的项目镜像执行任务不正常的情况下，所述方法还包括：

将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。

3.根据权利要求1所述的方法，其特征在于，所述将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得该资源池中同时存在并运行同一项目的两个不同版本的镜像，包括：

利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

4.根据权利要求3所述的方法，其特征在于，所述利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，包括：

根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；

在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；

将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

5.根据权利要求1所述的方法，其特征在于，所述将新接收到的待执行任务一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中新版本的项目镜像执行，包括：

从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务；

利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。

6.一种项目上线装置，其特征在于，应用于分布式计算机集群，包括：

镜像部署单元，用于将新版本项目的镜像部署在所述分布式计算机集群的资源池中，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像；

任务执行单元，用于将新接收到的待执行任务的一部分分配给资源池中的线上版本的项目镜像执行，将另一部分分配给资源池中的新版本的项目镜像执行；

检测单元，用于检测资源池中新版本的项目镜像执行任务是否正常；

任务量调整单元，用于在资源池中新版本的项目镜像执行任务正常时，提高资源池中新版本的项目镜像执行任务的数量，任务执行完后，继续执行所述检测资源池中新版本的项目镜像执行任务是否正常的操作步骤，直到资源池中新版本的项目镜像执行任务的数量达到预设的阈值，则将再次接收的任务全部分配给资源池中新版本的项目镜像执行，完成项目的上线。

7.根据权利要求6所述的装置，其特征在于，该装置还包括：

执行任务异常处理单元，用于在检测到资源池中新版本的项目镜像执行任务不正常的情况下，将再次接收到的待执行任务分配给资源池中的线上版本的项目镜像执行，删除资源池中新版本项目的镜像。

8.根据权利要求6所述的装置，其特征在于，

所述镜像部署单元为项目隔离单元；

所述项目隔离单元，用于利用docker应用容器引擎，将新版本项目的镜像部署在资源池中，将资源池中的新版本项目和线上版本项目隔离，使得同一资源池中同时存在并运行同一项目的两个不同版本的镜像。

9.根据权利要求8所述的装置，其特征在于，所述项目隔离单元包括：新版本镜像生成子单元、新版本项目镜像拉取子单元和隔离子单元；

所述新版本镜像生成子单元，用于根据新版本项目的代码，利用docker应用容器引擎，生成并存储与该版本项目对应的docker镜像；

所述新版本项目镜像拉取子单元，用于在接收到项目版本更新指令之后，从存储的docker镜像中，拉取新版本项目的docker镜像；

所述隔离子单元，用于将拉取的新版本项目的docker镜像部署在资源池中，实现资源池中的新版本项目和线上版本项目的隔离。

10.根据权利要求6所述的装置，其特征在于，

所述的任务执行单元，具体用于从所述待执行任务中，确定新版本项目镜像待执行的任务量和线上版本项目镜像待执行的任务量，生成新版本项目任务和线上版本项目任务；并利用分布式计算框架将新版本项目任务和线上版本项目任务分发给资源池中不同的计算节点执行。