CN104536899B - 一种基于智能集群的软件部署及其维护方法 - Google Patents

Abstract

本发明提供了一种基于智能集群的软件部署及其维护方法，该方法包括:智能集群的测试平台将应用编译通过后生成可执行程序包，将应用可执行程序包的FTP地址发送到FTP服务器上，用户在自身的计算机上通过浏览器访问测试平台并发送部署命令，测试平台收到命令后发出请求消息，申请测试协同服务器，并登录测试协同服务器，获取所述可执行程序包和最新的配置文件，将其中的配置项注入所述可执行程序包，请求执行测试脚本。本发明加强对大规模云平台测试服务器的统一管理和监控，提高发现问题的及时性和处理效率，增加出现问题后的自我恢复能力。

Description

一种基于智能集群的软件部署及其维护方法

技术领域

本发明涉及软件测试，特别涉及一种基于智能集群的软件部署及其维护方法。

背景技术

软件测试已经日益成为一种不可忽视的技术。能否借助该技术以及如何借助它规范测试流程，提高特定测试活动的效率，是一个需要研究的重要问题。使用机器自动进行测试执行和测试结果判断，是在测试中部分使用了程序或是机器的能力，目的在于减少资源消耗、扩大测试范围和充分利用机器与程序的能力。目前，软件测试的研究领域主要集中在软件测试流程的自动化管理以及动态测试的自动化(如单元测试、功能测试以及性能测试方面)。测试人员更加专注于新的测试模块的建立和开发，从而提高测试覆盖率；更便于测试资产的数字化管理，在整个测试生命周期内可以复用测试资产。但是在基于智能集群的云平台的复杂环境下，自动测试相对脆弱，维护比较困难。严重制约了测试效率的提升。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于智能集群的软件部署及其维护方法，包括:

智能集群的测试平台将应用编译通过后生成可执行程序包，将应用可执行程序包的FTP地址发送到FTP服务器上，用户在自身的计算机上通过浏览器访问测试平台并发送部署命令，测试平台收到命令后发出请求消息，申请测试协同服务器，并登录测试协同服务器，获取所述可执行程序包和最新的配置文件，该配置文件存储了测试协同服务器所需的配置项，将配置项注入所述可执行程序包，请求执行测试脚本。

优选地，所述测试协同服务器以SQL语句来完成更新可执行程序包地址操作，该可执行程序包中包含可执行的二进制程序，还包括程序运行时所需要的文件，所述请求消息包括应用名称、发布需求的ID、生成的可执行程序包地址。

优选地，所述用户在自身的计算机上通过浏览器访问测试平台并发送部署命令后，还包括：

测试协同服务器中的监控程序通过HTTP请求来完成自动化测试协同服务器的监控和管理，向测试平台返回监控信息，用户通过浏览器监控和查看测试协同服务器的状态图。

优选地，所述测试平台申请测试协同服务器，进一步包括：

测试平台的部署控制器在相应的测试协同服务器传送和安装代理，代理收到部署环境的信号后，调用测试环境部署脚本进行测试环境部署，该脚本在每个执行过程运行到最后时，返回部署状态和相关消息，部署状态包括成功、失败或超时，通过代理的状态提取器将部署状态存储在缓存中；测试平台的环境监控程序获取部署状态，传达给调度中心，如果部署失败，监控程序通知部署控制器进行重置，其中该部署控制器包括一个应用部署信息查询列表，周期性进行刷新；部署测试环境时，首先按序对每一个测试环境生成部署线程，其次通过部署计划表查询依赖顺序，监听前置依赖的就绪状态，然后线程给所述代理下达部署命令，代理将部署状态和消息反馈到调度中心，更新部署计划列表中的测试环境部署状态，所述测试环境部署包括分发部署计划、生成临时部署计划、管理应用依赖关系、设置部署计划列表和配置部署计划；

调度中心的部署管理模块利用自动化部署工具对测试环境进行部署，通过建立多层级的拓扑，在部署控制器端的文件及部署配置文件向下转移到测试协同服务器，当需要由单个测试协同服务器或包含多个协同服务器的某个组执行命令时，部署控制器向代理下发管理信息，当有部署任务时，部署控制器向代理发出部署命令，代理将状态模板转发给测试协同服务器，每个测试协同服务器接受后，根据自身的状态信息对模板进行渲染和解析，生成描述文件。

部署控制器通过基于Web的图形化界面接收客户端输入的与部署相关的参数，并将参数传送到测试任务部署层，由测试任务部署层实现测试环境上业务的自动化部署，部署控制器展示Web页面，向用户提供自动化部署的可视化选项，接收并处理来自前端页面的HTTP请求，获取相应的配置数据，然后将数据提供给测试任务部署层；

测试任务部署层负责从部署控制器获取任务信息以及测试资源信息，启动测试环境，部署控制器将测试资源信息传给测试任务部署层，测试任务部署层通过部署控制器验证和确保参数的正确性，将参数格式化，并将其封装在部署请求内，发送该部署请求，该部署请求通过消息队列传递给控制节点；

控制节点向集群数据库插入测试环境基本信息，通过测试环境的信息获取一系列可用的测试协同服务器列表，根据可用服务器列表随机选择测试协同服务器并将测试环境信息通过远程过程调用传递给所选服务器，最终根据系统镜像创建测试环境，并将创建成功信息返回；

测试环境启动后，守护程序自动运行，向部署控制器发送请求，部署控制器自动将其加入信任列表，控制节点发送消息获取测试环境ip地址和mac地址，然后，测试任务部署层轮询新启动的测试环境状态，当获取到的状态信息为“成功”，并且可以获取测试环境IP时，将不同的组件与测试环境IP一一对应，测试任务部署层调用自动化部署工具的API，根据与组件相对应的配置文件来部署测试环境。

优选地，当部署测试环境中需要构建多个应用时，该方法进一步包括：

首先根据多应用的依赖关系建立有向图，检测该有向图中是否存在环，若不存在，则对该有向图进行拓扑排序，输出排序后的序列，将该序列转换为队列，然后将队列自动转换为层级，最后根据层级关系构建应用，每个应用构建完成后发送触发信息。

本发明相比现有技术，具有以下优点:

提出了基于智能集群的软件部署方法，能够加强对云平台测试协同服务器的统一管理和监控，提高发现测试协同服务器问题的及时性和处理效率，增加出现问题后的自我恢复能力，从而释放了大量的人力资源，大幅提升了工作效率。

附图说明

图1是根据本发明实施例的基于智能集群的软件部署及其维护方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明结合软件自动测试的需求和基于云平台的开发框架的原理及相关技术，在分析总结现有工作的基础上，给出面向云平台的系统测试平台的设计。

本发明的一方面提供了一种基于智能集群的软件部署及其维护方法。图1是根据本发明实施例的基于智能集群的软件部署及其维护方法流程图。

智能集群测试平台管理整个开发过程中的各项活动。在该平台上，项目管理者创建项目并分配资源，开发人员提交代码、编译审计及打包，完成后会发消息提醒测试人员接手测试，测试后进行发布。智能集群测试平台上，应用编译通过后生成一个新的可执行程序包，可执行程序包里面包含可执行的二进制程序，该程序和Windows的软件包中的.exe文件类似，是可执行的。程序包中还包括程序运行时所需要的文件，并发送到FTP服务器上，根据智能集群测试平台发出的请求消息，这个消息包括应用名称、发布需求的ID、生成的可执行程序包地址等，会在测试环境申请测试协同服务器，构建和部署相应的测试环境，构建完成后，请求执行测试脚本，直至测试完成。

运行测试脚本之前，首先要部署服务器，即在测试协同服务器上构建测试环境。首先要获取应用可执行程序包的FTP地址，然后申请测试协同服务器，并登录测试协同服务器，获取可执行程序包和最新的配置文件，该配置文件存储了测试协同服务器所需的配置项，将配置项注入可执行程序包。在测试协同服务器下自动获取应用的分支或可执行程序包，获取最新的配置文件，完成自动化部署和重启。

测试协同服务器中的监控程序通过HTTP请求来完成自动化测试协同服务器的管理，以SQL语句来完成更新可执行程序包地址等操作，自动化测试环境由监控程序根据智能集群测试平台发布情况来部署；监控程序定时更新部署脚本。

面向智能集群的自动化测试平台主要有2大功能，即部署测试环境和监控服务器。开发人员提交测试后，测试人员需要在大规模测试云集群上安装开发提供的可执行程序包，即部署测试环境，然后才能验证所提交代码的正确性。用户在自身的计算机上通过浏览器访问该测试平台，进行申请测试协同服务器和部署环境等一系列操作。测试平台收到命令后会在相应的测试协同服务器上部署环境，并返回部署状态等监控信息，从而使用户通过浏览器就可以监控和查看测试协同服务器的状态图。

智能集群测试平台上应用编译通过后会生成一个新的可执行程序包并发送到FTP服务器上，然后智能集群测试平台会触发部署操作。测试平台的部署控制器在相应的测试协同服务器传送和安装代理。代理收到部署环境的信号，就会调用测试环境部署脚本进行测试环境部署。该脚本在每个执行过程运行到最后(成功或失败)时，返回部署状态和相关消息。部署状态(成功、失败或超时)会通过代理的状态提取器存储在缓存中。测试平台的环境监控程序则会获取该状态，传达给测试平台的调度中心。如果部署失败，监控程序会通知部署控制器进行重置。其中部署控制器是通过部署分发程序来分配部署工作，包括一个应用部署信息查询列表，会周期性进行刷新。

部署测试环境时，首先会有调度中心按序对每一个测试环境生成部署线程，其次通过部署计划表查询依赖顺序，监听前置依赖的就绪状态，然后线程会给代理下达部署命令，代理会及时将部署状态和消息反馈到调度中心，从而更新部署计划列表中的测试环境部署状态。测试环境部署过程包括分发部署计划、生成临时部署计划、管理应用依赖关系、设置部署计划列表和配置部署计划。

测试环境监控程序有查看测试环境监控信息、设置环境监控参数、监控调度和监控查询远程服务4个部分。监控调度是测试环境监控程序在获取部署状态后传达给调度中心，如果部署失败，监控程序会通知部署控制器进行重置的过程。在环境监控调度中，新建或修改环境的测试成功检查配置并确认保存时，监听服务立即被触发。

部署状态是指测试环境部署计划中的部署状态正处于“安装进行中”之后，“启动失败”、“启动成功”或“启动超时”之前的中间状态。触发以后，监听器会给代理发送测试成功命令。代理首先解析JSON，解析检查内容，逐个执行检查内容。然后，如果是进程检查，直接组装检查结果；如果是URL检查，请求URL并对返回内容进行校验；如果是服务检查，则直接执行检查命令启动服务检查程序，但要将监控系统中心发送过来的JSON参数追加在命令后面，由服务检查程序组装检查结果。这里假设是服务检查。

接下来，代理会周期性地调用服务检查。服务检查完毕，将检查结果存入测试数据库。监听器维护一个定时器，它会启动一个定时任务用于周期性提取存储在数据库中的测试环境检查结果数据，如果部署失败，会触发失败重新部署。

代理通过访问可以输入相应的数据，从而向调度中心发出请求，通过调用虚拟层的API进行测试资源的按需分配。在调度中心增加一个部署管理模块，负责自动化测试部署的实现与管理。这个模块利用自动化部署工具对测试环境进行部署。

通过建立多层级的拓扑，在部署控制器端的文件及部署配置文件可以向下转移到测试协同服务器，当需要由单个测试协同服务器或包含多个协同服务器的某个组执行命令时，部署控制器向代理下发管理信息。当有部署任务时，部署控制器向代理发出部署命令，代理将状态模板转发给测试协同服务器，每个测试协同服务器接受后，根据自身的状态信息对模板进行渲染和解析，生成描述文件，由此决定自身是否属于此次部署任务成员和由哪个状态文件进行部署。

部署控制器通过基于Web的图形化界面接收客户端输入的与自动化部署相关的参数，并将参数传送到测试任务部署层，由测试任务部署层实现测试环境上业务的自动化部署。部署控制器展示Web页面，向用户提供自动化部署的可视化选项，接收并处理来自前端页面的HTTP请求，获取相应的配置数据，然后将数据提供给测试任务部署层，实现自动化部署的目的。

部署控制器获取的数据分为两类。第一类数据与测试资源的配置有关，包括测试环境ID、测试环境名称、软件镜像、处理器及内存大小、IP地址等。第二类数据与集群业务及组件有关，包括集群业务的名称及其属性和此集群业务的组件信息等。

测试任务部署层负责从部署控制器获取任务信息以及测试资源信息，启动测试环境并在测试环境上实现部署。部署控制器将测试资源信息传给测试任务部署层。测试任务部署层通过部署控制器验证和确保参数的正确性，将参数格式化，并将其封装在部署请求内，发送该请求以创建测试环境。该部署请求通过消息队列传递给控制节点。(1)控制节点向集群数据库插入测试环境基本信息(状态、ID、网络类型)，实例名称、服务器名、实例启动信息等。(2)控制节点通过测试环境的信息获取一系列可用的测试协同服务器列表，所有需启动的测试环境根据可用服务器列表各随机选择一个测试协同服务器并将测试环境信息通过远程过程调用传递给该服务器，最终根据系统镜像创建测试环境，并将创建成功信息返回。测试环境启动后，守护程序自动运行，向部署控制器发送请求。部署控制器自动将其加入信任列表，此时部署控制器/代理就可以与客户端通信了。(3)控制节点发送消息获取测试环境ip地址和mac地址。然后，测试任务部署层轮询新启动的测试环境状态，当获取到的状态信息为“成功”，并且可以获取测试环境IP时，将不同的组件与一个随机的测试环境IP一一对应，这样就形成了组件与测试环境的一对多关系。测试任务部署层会调用自动化部署工具的API，根据与组件相对应的配置文件来部署测试环境。

部署测试环境时可能需要构建几个应用，而应用之间存在一定的依赖关系，一旦一个应用构建不成功，就会影响到对它依赖的其他应用。本发明的方法采用的是并行构建，运用按层级关系构建应用的思想，避免了绝对的串行构建会影响测试环境部署效率的问题。首先根据应用的依赖关系建立有向图，检测该有向图中是否存在环，若不存在，则对该有向图进行拓扑排序，输出排序后的序列，将该序列转换为队列，然后将队列自动转换为层级，最后根据层级关系构建应用。每个应用构建完成后发送触发信息。总的构建时间为有向图中最长路径上每个应用的构建时间之和。每一组构建应用过程采用设定超时时间方式。

综上所述，本发明提出了一种基于智能集群的软件部署方法，能够加强对大规模云平台测试协同服务器的统一管理和监控，提高发现测试协同服务器问题的及时性和处理效率，增加出现问题后的自我恢复能力，从而释放了大量的人力资源，大幅提升了工作效率。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种基于智能集群的软件部署及其维护方法，用于在智能集群中构建和部署测试环境，其特征在于，包括:

智能集群的测试平台将应用编译通过后生成可执行程序包，将应用可执行程序包的FTP地址发送到FTP服务器上，用户在自身的计算机上通过浏览器访问测试平台并发送部署命令，测试平台收到命令后发出请求消息，申请测试协同服务器，并登录测试协同服务器，获取所述可执行程序包和最新的配置文件，该配置文件存储了测试协同服务器所需的配置项，将配置项注入所述可执行程序包，请求执行测试脚本；

所述测试协同服务器以SQL语句来完成更新可执行程序包地址操作，自动化测试环境由监控程序根据智能集群测试平台发布情况来部署；监控程序定时更新测试环境部署脚本；该可执行程序包中包含可执行的二进制程序，还包括程序运行时所需要的文件，所述请求消息包括应用名称、生成的可执行程序包地址；

所述用户在自身的计算机上通过浏览器访问测试平台并发送部署命令后，还包括：

测试协同服务器中的监控程序通过HTTP请求来完成自动化测试协同服务器的监控和管理，向测试平台返回监控信息，用户通过浏览器监控和查看测试协同服务器的状态图；

所述测试平台申请测试协同服务器，进一步包括：

测试平台的部署控制器在相应的测试协同服务器传送和安装代理，代理收到部署环境的信号后，调用测试环境部署脚本进行测试环境部署，该测试环境部署脚本在每个执行过程运行到最后时，返回部署状态，部署状态包括成功、失败或超时，通过代理的状态提取器将部署状态存储在缓存中；测试平台的环境监控程序获取部署状态，传达给调度中心，如果部署失败，监控程序通知部署控制器进行重置，其中该部署控制器包括一个应用部署信息查询列表，周期性进行刷新；部署测试环境时，首先按序对每一个测试环境生成部署线程，其次通过部署计划列表查询依赖顺序，监听前置依赖的就绪状态，然后线程给所述代理下达部署命令，代理将部署状态反馈到调度中心，更新部署计划列表中的测试环境部署状态，所述测试环境部署包括分发部署计划、生成临时部署计划、管理应用依赖关系、设置部署计划列表和配置部署计划；

调度中心的部署管理模块利用自动化部署工具对测试环境进行部署，通过建立多层级的拓扑，在部署控制器端的文件及部署配置文件向下转移到测试协同服务器，当需要由单个测试协同服务器或包含多个测试协同服务器的某个组执行命令时，部署控制器向代理下发管理信息，当有部署任务时，部署控制器向代理发出部署命令，代理将状态模板转发给测试协同服务器，每个测试协同服务器接受后，根据自身的状态信息对模板进行渲染和解析，生成描述文件；

部署控制器通过基于Web的图形化界面接收客户端输入的与部署相关的参数，并将参数传送到测试任务部署层，由测试任务部署层实现测试环境上业务的自动化部署，部署控制器展示Web页面，向用户提供自动化部署的可视化选项，接收并处理来自前端页面的HTTP请求，获取相应的配置数据，然后将数据提供给测试任务部署层；

测试任务部署层负责从部署控制器获取任务信息以及测试资源信息，启动测试环境，部署控制器将测试资源信息传给测试任务部署层，测试任务部署层通过部署控制器验证和确保参数的正确性，将参数格式化，并将其封装在部署请求内，发送该部署请求，该部署请求通过消息队列传递给控制节点；

控制节点向集群数据库插入测试环境的信息，通过测试环境的信息获取一系列可用的测试协同服务器列表，根据可用服务器列表随机选择测试协同服务器并将测试环境的信息通过远程过程调用传递给所选服务器，最终根据系统镜像创建测试环境，并将创建成功信息返回；

测试环境启动后，守护程序自动运行，向部署控制器发送请求，部署控制器自动将所述测试环境加入信任列表，控制节点发送消息获取测试环境IP地址和mac地址，然后，测试任务部署层轮询新启动的测试环境状态，当获取到的状态信息为“成功”，并且可以获取测试环境IP时，将不同的组件与测试环境IP一一对应，测试任务部署层调用自动化部署工具的API，根据与组件相对应的配置文件来部署测试环境；

监控程序包含查看测试环境监控信息、设置环境监控参数、监控调度和监控查询远程服务4个部分；监控调度是测试环境监控程序在获取部署状态后传达给调度中心，如果部署失败，监控程序通知部署控制器进行重置的过程；在所述监控调度中，新建或修改环境的测试成功检查配置并确认保存时，监听服务立即被触发；

部署状态是指测试环境部署计划中的部署状态正处于“安装进行中”之后，“启动失败”、“启动成功”或“启动超时”之前的中间状态；触发以后，监听器给代理发送测试成功命令；代理首先解析JSON，解析检查内容，逐个执行检查内容；然后，如果是进程检查，直接组装检查结果；如果是URL检查，请求URL并对返回内容进行校验；如果是服务检查，则直接执行检查命令启动服务检查程序，但要将监控系统中心发送过来的JSON参数追加在命令后面，由服务检查程序组装检查结果。

2.根据权利要求1所述的方法，其特征在于，当部署测试环境中需要构建多个应用时，该方法进一步包括：

首先根据多应用的依赖关系建立有向图，检测该有向图中是否存在环，若不存在，则对该有向图进行拓扑排序，输出排序后的序列，将该序列转换为队列，然后将队列自动转换为层级，最后根据层级关系构建应用，每个应用构建完成后发送触发信息。