CN109947435A - 服务器集群软件环境的部署方法及系统 - Google Patents

Abstract

本发明公开了一种服务器集群软件环境的部署方法及系统，该方法包括：根据部署目标，生成任务定义配置文件；解析任务定义配置文件，生成任务执行指令；将任务执行指令发送给服务器集群，其中，服务器集群根据任务执行指令执行部署任务。本发明可以使得服务器集群软件环境的部署过程可配置管理，并能够确保部署结果的正确性。

Description

服务器集群软件环境的部署方法及系统

技术领域

本发明涉及云计算领域，尤其涉及一种服务器集群软件环境的部署方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着云计算的发展，软件运行所需要的计算、存储等资源已经逐步从传统的自己准备服务器转变为由统一的云平台来提供。为了提供海量的计算资源，云平台需要在后台维护大规模的服务器集群。

对于大规模服务器集群的软件环境部署，现有技术采用的是过程式部署方式。图1为现有技术中提供的一种服务器集群软件环境的过程式部署原理示意图，如图1所示，过程式部署方式需要告诉系统实现部署目标所需要的步骤，系统执行这些步骤以完成部署目标。当服务器集群规模较大的情况下，对于服务器集群中的每一次软件环境部署，这种过程式部署方式，难以保证每一台服务器的部署结果是想要的正确的结果。

下面以两个案例为例来进行说明。

案例一：“实现创建一个/testdir目录，并且该目录需要有755权限”，采用过程式部署方式对服务器集群软件环境部署的实现方法如下，使用shell风格的伪代码表示：

mkdir/testdir #创建/testdir目录

chown 755/testdir #给与testdir执行权限

该处理过程存在如下缺点：

①如果/testdir目录已存在，则会报出已存在的错误；

②如果/testdir已经有了执行权限，则会导致/testdir目录的修改时间被修改为当前时间，但实际上没有任何变化，即部署污染。

分析可知，案例一中使用过程式部署方式，虽然会造成一定的影响，但不是很严重。但对于下面的案例二则影响比较严重。

案例二：“实现在文件/testfile结尾存在一行字符串This is the end.”，采用过程式部署方式对服务器集群软件环境部署的实现方法如下，使用shell风格的伪代码表示：

echo“This is the end.”1>/testfile

该处理过程存在如下缺点：

如果testfile文件的最后一行已经有“This is the end.”，则会导致还往该文件中新增一行“This is the end.”，出现两行，导致非预期效果。这往往是比较严重的。

上述两个案例表明，现有技术中，采用过程式部署方式对服务器集群软件环境进行部署，会导致部署过程出现报错干扰，从而终止自动化部署进程，甚至在某些复杂的场景下可能导致错误的部署结果。

发明内容

本发明实施例提供一种服务器集群软件环境的部署方法，用以解决现有技术中，采用过程式部署方式对服务器集群软件环境进行部署，导致部署过程可能出现报错干扰，以及部署结果可能发生错误的技术问题，该方法包括：根据部署目标，生成任务定义配置文件；解析任务定义配置文件，生成任务执行指令；将任务执行指令发送给服务器集群，其中，服务器集群根据任务执行指令执行部署任务。

本发明实施例还提供一种服务器集群软件环境的部署系统，用以解决现有技术中，采用过程式部署方式对服务器集群软件环境进行部署，导致部署过程可能出现报错干扰，以及部署结果可能发生错误的技术问题，该系统包括：部署任务编排装置，用于根据部署目标，生成任务定义配置文件；部署任务调度装置，与部署任务编排装置连接，用于解析任务定义配置文件，生成任务执行指令；服务器通讯装置，与部署任务调度装置连接，用于将任务执行指令发送给服务器集群，其中，服务器集群根据任务执行指令执行部署任务。

本发明实施例中，提供了一种采用声明式部署方式对服务器集群软件环境进行部署的方案，将部署任务执行过程进行封装，当需要对服务器集群部署的时候，用户只需要输入部署目标，系统便可根据部署目标生成任务定义配置文件，解析任务定义配置文件生产相应的任务执行指令，进而将任务执行指令发送给服务器集群，使得服务器集群中的服务器根据接收到的任务执行指令执行部署任务。

通过本发明实施例，使得服务器集群软件环境的部署过程可配置管理，并能够确保部署结果的正确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为现有技术中提供的一种服务器集群软件环境的过程式部署原理示意图；

图2为本发明实施例中提供的一种服务器集群软件环境的声明式部署原理示意图；

图3为本发明实施例中提供的一种服务器集群软件环境的部署系统示意图；

图4为本发明实施例中提供的一种部署任务编排装置示意图；

图5为本发明实施例中提供的一种部署任务调度装置示意图；

图6为本发明实施例中提供的一种服务器通讯装置示意图；

图7为本发明实施例中提供的一种服务器集群软件环境的部署方法流程图；

图8为本发明实施例中提供的一种可选的服务器集群软件环境的部署方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在对本发明实施例进行说明之前，首先对本发明实施例中一些术语进行解释：

过程式部署，用户告诉系统实现软件环境部署目标所需要的步骤，系统无需关心最后实现的目标；

声明式部署，用户告诉系统实现软件环境部署要达到的部署目标，系统自动帮助用户执行实现部署目标所需要的步骤。

由本申请背景部分介绍的内容可知，现有技术采用过程式部署方式对服务器集群软件环境进行部署，容易导致部署过程产生报错干扰且部署结果发生错误。

为了解决现有过程式部署方式的不足，本发明实施例提供了一种采用声明式部署方式对服务器集群软件环境进行部署的方案，使得部署过程可配置管理，且能够保证环境部署结果的正确性。

图2为本发明实施例中提供的一种服务器集群软件环境的声明式部署原理示意图，如图2所示，不同于传统“过程式”的任务编写方式，本发明实施例提供的声明式部署方式，只需要用户明确部署目标，而不用关心是如何实现的。具体实现原理为：通过一个统一的系统将常见的部署任务封装成一个个实现模块，用户只需要指定需要调用哪个实现模块，传入该实现模块所必须的声明目标的实现情况的参数，该实现模块就会通过内部封装好的实现过程进行任务的实现。由于是经过精心而严谨的编码实现的，对各种异常或者非逾期的分支都进行了判断和处理，不会产生无用的报错和部署污染。另外，由于实现模块可复用，无需用户再重复实现，大大提供了部署的质量。对于这种预定义的实现模块，可扩展性是及其重要的，对于没有现成“实现模块”部署任务，可以进行总结提炼后，编写新的实现模块，尽管第一次编写的成本较高，但是由于是实现模块可复用，长远来看，实际成本更低。

本发明实施例中提供了一种服务器集群软件环境的部署系统，图3为本发明实施例中提供的一种服务器集群软件环境的部署系统示意图，如图3所示，该系统包括：部署任务编排装置1、部署任务调度装置2和服务器通讯装置3。

其中，部署任务编排装置1，用于根据部署目标，生成任务定义配置文件；部署任务调度装置2，与部署任务编排装置连接，用于解析任务定义配置文件，生成任务执行指令；服务器通讯装置3，与部署任务调度装置连接，用于将任务执行指令发送给服务器集群，其中，服务器集群根据任务执行指令执行部署任务。

需要说明的是，部署任务编排装置1负责采用声明式的语法编写任务定义配置文件，向上负责接收用户的编写的任务定义配置文件，向下则负责将任务定义配置文件传递给部署任务调度装置2；部署任务调度装置2负责解析任务定义配置文件中对任务的定义，然后进行部署任务的执行，以达到声明式部署任务执行效果。部署任务调度装置2向上负责接收部署任务编排装置1传递过来的任务定义配置文件，并向下通过服务器通讯装置3向远程的服务器通信进行部署任务的执行；服务器通讯装置3负责接收部署任务调度装置2发送的执行声明式任务所需要的任务执行指令，然后传递给服务器集群中的远程服务器进行部署任务的执行。可选地，该服务器通讯装置3还可以将服务器集群中远程服务器执行部署任务的执行结果返回给部署任务调度装置2。服务器通讯装置3向上连接部署任务调度装置2，向下连接服务器集群中的远程服务器。

由于服务器集群软件环境部署的过程中，可能需要其他额外的软件介质，由此，作为一种可选的实施例，本发明实施例提供的部署系统还可以进一步包括：部署介质存储装置4，用于存储服务器集群执行部署任务所需的软件介质。当服务器集群执行部署任务的过程中，如果需要额外的软件介质，则通过部署介质存储装置4直接下发到服务器集群中相应的服务器上。

通过本发明实施例提供的部署系统，用户可以通过操作部署任务编排装置1进行部署任务的各个步骤的定义，主要包括每个声明式实现模块的类型及该类型其对应的参数，如有多个步骤则按需要的顺序进行编写，生成任务定义配置文件；部署任务调度装置2解析任务定义配置文件，生成待执行的仅系统内部可见而对用户不可见的任务执行指令，并将任务执行指令通过服务器通讯装置3发送给服务器集群中的服务器，在最终的服务器上执行；在服务器执行部署任务指令的过程中，如果依赖额外的软件介质，则通过部署介质存储装置4直接下发到对应的服务器上。

图4为本发明实施例中提供的一种部署任务编排装置示意图，如图4所示，图3中所示的部署任务编排装置1可以具体包括：编排语言单元11，用于解析用户以任意文本格式定义的实现部署目标所需的任务类型和参数；任务定义单元12，用于根据定义的任务类型和参数，生成任务定义配置文件。

其中，编排语言单元11可以采用YAML格式基于任何文本编辑器(例如，VI)进行文本化的任务定义配置文件的编写，同时将任务定义配置文件纳入配置管理工具管理(例如，GIT)，以便对任务定义配置文件任何的变化进行详细的记录。YAML格式采用基于约定的方式来简化配置文件的格式，同时增强可读性，非常适合人进行阅读和编写。在编写任务定义配置文件的时候，调用每个模块必须具备的要素是模块类型参数，对于模块类型所需要的参数是根据具体调用的实现模块定义来进行配置的；任务定义单元12采用声明式的描述模式，例如，要实现在/root目录下创建testfile文件的目的，描述的方式为“期望在/root目录下有一个testfile的文件”。

需要说明的是，现有的过程式部署方式，对于服务器集群中每一台服务器的软件环境配置的变化历史无法查看和审计。本发明实施例中，将任务定义配置文件纳入配置管理工具管理，可以查看集群中每一台服务器的软件环境配置的变化历史，对于生产环境尤其重要，方便快速查找环境问题的原因。

图5为本发明实施例中提供的一种部署任务调度装置示意图，如图5所示，图3中所示的部署任务调度装置2可以具体包括：任务解析单元21，用于根据任务定义配置文件，解析得到任务执行列表；任务执行单元22，与任务解析单元21连接，用于根据解析得到的任务执行列表，生成任务执行令；任务滚动执行单元23，与任务执行单元连接，用于根据预设任务并发度，控制每次生成任务执行指令的数量。

其中，任务解析单元21负责解析通过部署任务编排装置1编写而成的YAML格式的任务定义配置文件，形成需要执行的操作列表；任务执行单元22接收到任务解析单元21的操作列表，形成声明式任务执行指令，然后将声明式任务执行指令发送给服务器通讯装置3；任务滚动执行单元23用来控制在任务同时对多台服务器同时执行时的并发度。

任务执行单元22每对一台服务器运行任务，即启动一个线程，通过创建任务执行单元22运行时的线程池，可以实现对任务并发度的限制，将未能加入线程池的任务加入等待队列，一旦池子有空缺，即将该任务加入线程池执行。

需要说明的是，现有的过程式部署方式，对于大规模的服务器集群，部署任务的执行过程通常会产生集群范围的性能抖动，不能保证部署过程稳定平滑。如对于一个高CPU消耗的操作，在整个集群内执行，则会被放大到整个集群，引起整个集群的性能不稳定。本发明实施例通过并发限制的方式执行部署任务，可以保证部署过程中集群性能的平滑和稳定。

图6为本发明实施例中提供的一种服务器通讯装置示意图，如图6所示，图3中所示的服务器通讯装置3可以具体包括：远程通讯单元31，与服务器集群通讯，用于将任务执行指令发送给服务器集群，以及接收服务器集群返回的执行结果。可选地，远程通讯单元31可以通过Linux服务器标配的SSH服务进行远程的任务指令的下发和执行。

需要说明的是，现有技术中，在大规模集群部署时，通常的做法是在每台服务器上部署一个代理程序以接受和执行部署指令，这样代理程序本身的资源消耗将被放到整个集群，引起资源的浪费。本发明实施例通过采用服务器自带的代理组件实现部署任务调度装置对每台服务器的通讯和调度，可以保证对服务器本身环境的无侵入性。

另外，由于SSH具有加密传输的特性，远程通讯单元31还可以确保远程通讯的安全性。

需要说明的是，声明式的任务类型具备预定义特性和可扩展特性。实际上预定义的实现模块都是通过可扩展特性实现而来的。例如，常见的预定义类型“用户管理”、“目录管理”、“系统参数管理”、“系统软件管理”等，是在之前或首个版本时已经扩展实现。用户在使用“用户管理”这样的模块时，只需要定义需要有某个用户以及该用户所具备的属性，而无需关心这个用户是如何创建的。

另外，还需要说明的是，可扩展性是最重要的特性，由于需要对部署操作做声明式的封装，所以便捷的扩展能力对适用范围非常重要，任何模块都是通过扩展而来，包括预定义的模块，在遇到“预定义”的任务无法实现的任务时，需要扩展原有的“预定义”任务，使得声明式任务能够支持这个新的任务。扩展实现模块本身的实现要点如下：

(1)对于部署任务编排装置1，需要定义任务类型对应的关键词，例如，需要扩展实现模块管理模块可以定义为dir，其具备如下3个参数需要配置：status表示对该目录期望的状态，有两种状态，是“存在”还是“删除”，path表示该目录所在的路径，perm表示期望目录所具备的权限。其YAML定义如下：

(2)对于部署任务调度装置2，需要解析YAML定义，并通过严谨的过程步骤将其实现，对编程语言可不作限定，但需要确保能解析、能实现，以及不出错。

分析可知，本发明实施例提供的声明式部署方式的实现将会大大提升部署任务执行的健壮程度，既保证了用户任务编排的简单化，又保证了每一个原子步骤不会重复执行，以及不会产生“失败污染”，实现了任务的调用式执行。虽然一定程度上会增加代码实现的复杂度，但是通过将常用部署实现的的公共模块化，实现复用，后续的收益将会不断放大。

本发明实施例中还提供了一种服务器集群软件环境的部署方法，如下面的实施例所述。由于该方法实施例解决问题的原理与服务器集群软件环境的部署系统相似，因此该方法实施例的实施可以参见系统实施例的实施，重复之处不再赘述。

图7为本发明实施例中提供的一种服务器集群软件环境的部署方法流程图，如图7所示，该方法包括如下步骤：

S701，根据部署目标，生成任务定义配置文件；

S702，解析任务定义配置文件，生成任务执行指令；

S703，将任务执行指令发送给服务器集群，其中，服务器集群根据任务执行指令执行部署任务。

由上可知，本发明实施例采用声明式部署方式对服务器集群软件环境进行部署的方案，将部署任务执行过程进行封装，当需要对服务器集群部署的时候，用户只需要输入部署目标，系统便可根据部署目标生成任务定义配置文件，解析任务定义配置文件生产相应的任务执行指令，进而将任务执行指令发送给服务器集群，使得服务器集群中的服务器根据接收到的任务执行指令执行部署任务。通过本发明实施例，使得服务器集群软件环境的部署过程可配置管理，并能够确保部署结果的正确性。

作为一种可选的实施方式，上述S701可以具体包括：定义实现部署目标所需的任务类型和参数；根据定义的任务类型和参数，生成任务定义配置文件。将生成的任务定义配置文件纳入配置管理工具管理，可以查看集群中每一台服务器的软件环境配置的变化历史，对于生产环境尤其重要，方便快速查找环境问题的原因。

作为一种可选的实施方式，上述S702可以具体包括：根据任务定义配置文件，解析得到任务执行列表；根据解析得到的任务执行列表，生成任务执行令。可选地，在根据解析得到的任务执行列表，生成任务执行令的时候，还可以根据预设任务并发度，控制每次生成任务执行指令的数量。通过限制任务并发度，可以保证部署过程中集群性能的平滑和稳定。

由于服务器集群软件环境部署的过程中，可能需要其他额外的软件介质，作为一种可选的实施方式，如图8所示，在将任务执行指令发送给服务器集群之后，本发明实施例提供的部署方法还可以包括：S704，向服务器集群下发执行部署任务所需的软件介质。当服务器集群执行部署任务的过程中，如果需要额外的软件介质，则将所需的软件介质下发到服务器集群中相应的服务器上。

综上所述，本发明实施例提供了一种采用声明式部署方式对服务器集群(尤其是大规模服务器集群)软件环境进行部署，可以实现但不限于如下技术效果：(一)采用文本化的配置文件作为部署任务定义内容的载体，可以将部署任务定义配置文件纳入配置管理系统管理，以实现对部署过程的变化历史的配置管理；(二)采用并发限制的方式执行部署任务，可以保证部署过程中集群性能的平滑和稳定；(三)采用服务器自带的代理组件实现部署任务调度装置对每台服务器的通讯和调度，可以保证对服务器本身环境的无侵入性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种服务器集群软件环境的部署方法，其特征在于，包括：

根据部署目标，生成任务定义配置文件；

解析所述任务定义配置文件，生成任务执行指令；

将所述任务执行指令发送给服务器集群，其中，所述服务器集群根据所述任务执行指令执行部署任务。

2.如权利要求1所述的方法，其特征在于，在将所述任务执行指令发送给服务器集群之后，所述方法还包括：

向所述服务器集群下发执行部署任务所需的软件介质。

3.如权利要求1所述的方法，其特征在于，根据部署目标，生成任务定义配置文件，包括：

定义实现部署目标所需的任务类型和参数；

根据定义的任务类型和参数，生成任务定义配置文件。

4.如权利要求1所述的方法，其特征在于，解析所述任务定义配置文件，生成任务执行指令，包括：

根据所述任务定义配置文件，解析得到任务执行列表；

根据解析得到的任务执行列表，生成任务执行令。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

根据预设任务并发度，控制每次生成任务执行指令的数量。

6.一种服务器集群软件环境的部署系统，其特征在于，包括：

部署任务编排装置，用于根据部署目标，生成任务定义配置文件；

部署任务调度装置，与所述部署任务编排装置连接，用于解析所述任务定义配置文件，生成任务执行指令；

服务器通讯装置，与所述部署任务调度装置连接，用于将所述任务执行指令发送给服务器集群，其中，所述服务器集群根据所述任务执行指令执行部署任务。

7.如权利要求6所述的系统，其特征在于，所述系统还包括：

部署介质存储装置，用于存储所述服务器集群执行部署任务所需的软件介质。

8.如权利要求6所述的系统，其特征在于，所述部署任务编排装置包括：

编排语言单元，用于解析用户以任意文本格式定义的实现部署目标所需的任务类型和参数；

任务定义单元，用于根据定义的任务类型和参数，生成任务定义配置文件。

9.如权利要求6所述的系统，其特征在于，所述部署任务调度装置包括：

任务解析单元，用于根据所述任务定义配置文件，解析得到任务执行列表；

任务执行单元，与所述任务解析单元连接，用于根据解析得到的任务执行列表，生成任务执行令；

任务滚动执行单元，与所述任务执行单元连接，用于根据预设任务并发度，控制每次生成任务执行指令的数量。

10.如权利要求6所述的系统，其特征在于，所述服务器通讯装置包括：

远程通讯单元，与服务器集群通讯，用于将任务执行指令发送给服务器集群，以及接收服务器集群返回的执行结果。