CN104639374B - 一种应用程序部署管理系统 - Google Patents

Abstract

本发明属于互联网大规模应用程序管理技术领域，具体为一种应用程序部署管理系统。该管理系统包括客户端、服务端和数据库；客户端部署在应用系统的主机操作系统上，实现对主机资源的管理，包括部署模块、日志模块、接口模块、监控模块；服务端按照功能划分有六个模块：操作员管理模块、部署定义模块、接口模块、任务模块、消息模块、监测模块；数据库用于存储整个系统的数据。本发明的应用程序部署管理系统对应用程序部署进行管理，包括应用程序部署更新、应用程序回滚和应用程序状态监控等；使应用程序部署能够可控、高效、稳定的按照计划执行，减少因部署过程复杂而给提供服务带来的影响。

Description

一种应用程序部署管理系统

技术领域

本发明属于互联网大规模应用程序管理技术领域，具体涉及对各应用程序部署进行管理的系统。

背景技术

应用部署是指将应用按照设计的架构来进行部署，满足应用设计的功能需求。在互联网应用领域中，应用部署是非常重要的技术，是整个发布流程中重要的一个环节。通常的部署方式是将新的应用程序包替换来完成应用的更新替换，这种更新方式能够快速替换程序，非常适合小规模的程序管理。当整个系统达到一定规模，各个子系统的程序可能存在关联时，通常的部署方式不能满足服务延续性的需求，同时对实际操作人员的要求也非常高，很容易出现错误的处理方式。

在应用程序部署过程中，在部署失败的情况下，需要将部署失败的应用包替换为上一个正常版本来完成应用版本的回滚。如果按照一般的替换方式，无法快速完成这一要求。

发明内容

本发明的目的在于提供一种能够简化应用程序部署管理过程的应用程序部署管理系统，使应用程序部署能够可控、高效、稳定的按照计划执行，减少因部署过程复杂而给提供服务带来的影响，使应用程序部署能够平稳进行，从而保证系统稳定性。

本发明提供的应用程序部署管理系统，包括客户端、服务端和数据库；其中：

所述客户端部署在应用系统的主机操作系统上，实现对主机资源的管理；包括部署模块、日志模块、接口模块、监控模块；其中：

部署模块用于对主机资源的定制化管理，实现对主机资源的开启、关闭、监控操作；

日志模块用于记录对主机资源操作过程的日志记录，分为两部分：一部分记录在本地，另外一部分推送到服务端接口；

接口模块用于验证和接收外部服务请求；

监控模块用于检查主机资源服务的状态，并将状态提交到服务端；

所述服务端至少包括操作员管理模块、部署定义模块、接口模块、监控模块、任务模块、消息模块和监测模块中的任意一种；其中：

操作员管理模块至少用于编辑操作员身份验证、新增、查询、冻结和删除操作中的任意一种；

部署定义模块至少用于定义主机、主机资源、资源类型、资源之间的依赖关系、集群、集群节点、所属环境和服务名称操作中的任意一种；

接口模块用于提供对外服务，包括客户端访问和操作员访问两部分；

监控模块用于对应用程序部署过程的监控以及主机资源的监控，通过对客户端监控模块发出消息实现对主机资源的监控；

任务模块用于调用客户端接口模块功能，实现对主机资源的调度；通过部署定义的资源之间的依赖关系和提交的应用程序内容生成更新的顺序，按照更新的顺序对个主机资源实现调度管理；

消息模块用于完成邮件通知和短信通知的功能，在系统需要完成外部通知时，可以通过消息模块发出；

监测模块用于对客户端性能数据进行分析，以及特殊监控数据的处理；在出现特殊情况时，通过消息模块发出消息通知相关人员；

所述数据库用于存储整个系统的数据。

本发明的有益效果

1、提高操作人员的工作效率。原有部署操作需要操作人员手工输入命令逐条执行，现在操作人员按照要求输入参数后，系统自动完成应用程序的部署，操作人员不需要实时跟踪操作过程，部署结果通过邮件自动告知。

2、提高应用程序部署过程的可靠性。原有手工操作方式，可能由于操作人员不熟练、对环境不熟悉等各种原因造成操作失误，引发系统故障。通过使用应用程序部署管理系统屏蔽了内部操作过程，降低了操作实现难度，减少了出错的几率，提高了部署过程的可靠性和成功率。

3、部署过程的可控性。通过日志模块完整记录部署过程，通过操作界面可以看到整个的操作过程。遇到异常时，通过消息通知手段，比如邮件和短信通知操作人员进行干预。

4、扩充了原有应用程序部署仅能更新部署的操作方式，提供了应用程序版本回滚的功能，且同部署过程一样，在制定版本后自动后续操作；提供了应用程序状态监控功能，定时采集应用程序状态数据并存储到数据库进行分析操作。

附图说明

图1为本发明的应用程序部署系统结构图示。

图2为部署模块操作流程时序图示。

图3为部署定义模块用途图示。

图4为应用程序部署流程图示。

图5为应用程序回滚流程图示。

图6为应用程序监控数据流向图示。

图7为实施部署图示。

具体实施方式

本发明提出的应用程序部署系统，其结构组成如图1所示，包括客户端、服务端和数据库；解决应用程序部署管理中应用版本部署和应用版本回滚的问题。 本发明系统部署如图7所示，具体实施部署方式如下：

可选择部署PostgreSQL9.0.18作为系统数据库。

部署客户端到至少一个主机节点，作为客户端。

部署服务端到一个主机节点，作为服务端。

所述数据库，可基于开源数据库系统PostgreSQL 9.0.18，主要用于存储系统的主机资源、应用信息、操作员信息以及系统运行过程中产生的日志和监测数据，可通过PostgreSQL数据库的主从机制配置数据库并在服务端部署从节点，以保证数据库的可用性。

所述客户端，可基于Python Tornado开源的网络服务器框架设计用于对客户端主机资源和应用进行控制的程序。Tornado有效利用了非阻塞式服务器的特性，可以在很快接收处理服务请求，满足一定并发需求的同时，客户端总体代码量也能够控制在一定范围内。

客户端按照用途划分，共有四个模块：部署模块、接口模块、日志模块、监控模块。其中：

部署模块，操作流程如图3所示，具体流程如下: 服务端向客户端接口模块发出请求，根据请求操作的不同，请求分为查询状态，启动服务，关闭服务等。客户端接收到请求后，调用部署模块分别完成对应于服务的查询，启动，关闭的功能，对于特殊服务会提供特殊的功能，例如中间件提供查询当前服务部署的应用列表和状态。部署模块完成功能后通知服务端部署结果。

日志模块，用于记录对主机资源操作过程的日志记录，分为两部分：一部分记录在本地日志文件，另外一部分异步推送到服务端接口。服务端日志模块接收到日志后存储到数据库中。日志主要用来在应用程序部署过程中的诊断、跟踪和排错。

接口模块，用于验证、接收外部服务请求；验证服务主要区别非管理端节点通过接口模块发出服务调用请求，通过拒绝非管理端节点Ip的请求的方式来实现验证；接口模块在接收服务请求后，调用部署模块完成功能，一般情况下，接口模块实时响应前端的请求，当操作非常消耗时间，而HTTP请求具有超时机制，为了避免出现服务端因为超时发生调用失败的问题，真对短时间不能返回的操作，例如更新操作，接口模块首先返回接收的服务请求，再通过后台新建新进程的方式在后台运行任务，后台运行的任务定期将运行情况通过日志系统发送到服务器，使服务端能够了解客户端当前的运行状态，同时使客户端系统具有一定的并发能力，同时接收多个服务请求。

监控模块，用于检查主机资源服务的状态，并将状态提交到服务端。一般情况下，监控模块每5分钟通过客户端接口模块检查一次客户端所部署应用的状态，并将搜集到的信息通过日志模块分别存储到本地和服务端数据库中。

所述服务端按照功能划分，有六个模块：操作员管理模块、部署定义模块、接口模块、任务模块、消息模块、监测模块；其中：

操作员管理模块，用于操作员身份验证、新增、查询、冻结、删除；基于安全性考虑，在操作员登录时采用双层口令验证，第一层是基于HTTP Basic Authentication，每个使用用户颁发唯一的用户和口令，第二层是基于存储于数据库的用户口令进行验证，两种验证方式独立，保证操作员的安全性。

部署定义模块，用于物理主机和应用资源的定义。通常的情况下，部署的应用和具体部署的主机相关，当应用部署所在的主机故障时，在上部署的应用程序都会无法提供服务，进而对业务带来影响;为了避免这种情况出现，设计时通过将物理主机资源和运行容器资源分开的方式来处理，通过服务端管理所有的物理机器资源，在运行应用程序需要资源时，根据应用是否存在高可用等因素，从可用的物理机器资源中抽取，在运行容器发生故障时，抽取一台可用运行的物理主机克隆故障容器的配置来顶替出现故障的容器节点，从而避免单点故障的发生。物理主机的定义是操作员在物理主机上安装客户端后，服务端发现并连接客户端资源。应用的定义是指应用需要的运行环境，关联应用，高可用配置等信息。应用定义需求信息提交后，服务端应用定义是后续部署操作的信息的来源。部署定义模块用途如图3，通过部署模块提供的功能，应用程序部署管理系统将物理主机和应用结合起来，应用层依赖物理层提供的资源，但不依赖特定某一台主机，在某一台主机。

接口模块，用于提供对外服务，包括客户端访问和操作员的访问两部分；其中api接口方式提供客户端的服务调用;操作员接口使用web页面的方式。

任务模块，用于调用客户端接口模块功能，实现对主机资源的调度；通过部署定义模块得到的应用之间的依赖关系和主机资源等信息获取应用程序内容的更新的顺序，按照更新的顺序对个主机资源实现调度管理。例如在部署提供服务的WEB网站时，需要提供服务的HTTP分发服务，运行应用服务的中间件容器服务，运行的应用包，通常情况下为了保证可用性，会安排两个中间件容器来提供服务，这时HTTP分发服务，中间件容器和应用包形成了对外提供服务的逻辑单元，需要调整服务调整时，按这个单元可以快速的查找到的各个服务的组件，在更新这个服务的应用包时，首先在分发服务中，关闭对一个节点的中间件的分发，更新应用包，再启动中间件服务，再开启分发对更新节点的分发，通过这种轮流更新替换的方式完成对应用包的更新，可以让对外的服务不中断更新。

消息模块，用于完成邮件通知和短信通知的功能，在系统需要完成外部通知时，通过消息模块发出。

监测模块，用于对客户端提交性能数据进行分析，例如cpu使用率，如果连续采样获取的值都超过设定的阈值(默认情况是80%)，则通过消息模块发送报警;性能数据同时会每天按照5分钟为一个单位，计算5分钟内包括cpu使用率，内存使用率，磁盘IO使用率的平均值，最小值，最大值等存储在数据库中，供操作员查询，可以根据操作要求根据时间和系统生成曲线图，在监测模块发现影响客户端运行的容器出现异常时，通过消息模块通知操作员处理。

本发明提供的应用程序部署管理系统，对应用程序部署的环境，部署过程，部署结果进行管理。环境管理通过部署定义模块完成，部署过程管理主要包括应用程序部署更新、应用程序版本回滚和应用程序状态监控等；应用程序部署更新，包括检测更新内容，根据应用程序部署内容生成部署队列任务、部署执行等；应用程序版本回滚，是在确认回滚内容后，自动生成部署队列任务，自动进行应用程序的更新；应用程序状态监控，是定期获取应用状态数据，并形成图表提供给操作员。其中：

应用程序部署流程如图4所示，具体流程如下：

1、操作员通过本系统提交应用程序到指定内部的版本控制系统，目前采用的是独立的开源的subversion；

2、服务端对提交的内容进行检测：提交内容是否存在为没有部署定义的资源，如果存在没有定义部署定义的资源，则部署流程终止结束；

3、系统显示更新内容，由操作员确认更新内容；如果没有确认，则部署流程终止结束；

4、操作员获取部署提交内容涉及的部署资源定义，按照部署内容涉及资源的依赖关系，生成操作任务队列，队列内容包括需要执行部署操作的节点、具体的执行动作、操作的资源名称，比如[流水号，node10，start，channelService]；

5、在部署后，部署管理系统将部署节点、部署内容做为部署快照记录到数据库中；

6、部署管理系统按照队列的顺序，对队列的节点发出调用请求，客户端节点收到指令后，异步执行具体的操作，操作完成后对服务端接口回复操作结果。如果队列还存在内容，继续执行下一队列任务，如果队列为空，循环结束；

7、部署管理系统发送消息通知上线结果。

应用程序回滚流程如图5所示，具体流程如下:

1、由操作员选择具体需要回滚的应用程序版本和需要回滚的范围；

2、服务端根据操作员提交的版本，查找对应的部署节点和提交回滚的范围节点做交集得到需要回滚的节点范围，查找对应的部署版本获取节点的部署内容，形成部署节点和部署内容列表；

3、同部署流程4，形成操作队列；

4、同部署流程5，对节点，配置生成快照保存在数据库中；

5、同部署流程6，客户端执行部署过程；

6、发送消息通知上线结果。

应用程序监控流程如图6所示，分为数据采集和监控数据分析两部分：

数据采集是将客户端的信息收集到服务端，需要采集的数据由两部分组成：一部分是在运行时出现的信息数据，包括输出和异常信息，运行信息通过过滤规则实时传输到服务端；另外一部分是监控模块定时运行采集到的数据，包括操作系统cpu使用率，内存使用率、磁盘IO使用率，也包括应用容器的性能情况，收集到的数据，这部分数据通过异步方式传输到服务端。

监控数据分析用于对收集到的数据进行分析和预警，服务端的监测模块获取数据后，按照数据类型的不同划分为操作系统数据，网络数据，数据库数据发送到指定的不同的邮件列表中，并定期将过滤的结果通过消息模块按照指定的消息通道通知到指定的操作员；对于报表数据通过邮件方式定期发送到指定邮件列表当中。

Claims (4)

1.一种应用程序部署管理系统，其特征在于包括客户端、服务端和数据库；其中：

所述客户端部署在应用系统的主机操作系统上，实现对主机资源的管理；包括部署模块、日志模块、接口模块、监控模块；其中：

部署模块用于对主机资源的定制化管理，实现对主机资源的开启、关闭、监控操作；

日志模块用于记录对主机资源操作过程的日志记录，分为两部分：一部分记录在本地，另外一部分推送到服务端接口；

接口模块用于验证和接收外部服务请求；

监控模块用于检查主机资源服务的状态，并将状态信息提交到服务端；

所述服务端包括操作员管理模块、部署定义模块、接口模块、监控模块、任务模块、消息模块和监测模块；其中：

操作员管理模块用于编辑操作员身份验证、新增、查询、冻结和删除操作；

部署定义模块用于定义主机、主机资源、资源类型、资源之间的依赖关系、集群、集群节点、所属环境和服务名称操作；

接口模块用于提供对外服务，包括客户端访问和操作员访问两部分；

监控模块用于对应用程序部署过程的监控以及主机资源的监控，通过对客户端监控模块发出消息实现对主机资源的监控；

任务模块用于调用客户端接口模块功能，实现对主机资源的调度；通过部署定义的资源之间的依赖关系和提交的应用程序内容生成更新的顺序，按照更新的顺序对个主机资源实现调度管理；

消息模块用于完成邮件通知和短信通知的功能，在系统需要完成外部通知时，可以通过消息模块发出；

监测模块用于对客户端性能数据进行分析，以及特殊监控数据的处理；在出现特殊情况时，通过消息模块发出消息通知相关人员；

所述数据库用于存储整个系统的数据；

所述应用程序部署管理系统还包括对应用程序部署的环境、部署过程、部署结果进行管理；其中，环境管理通过部署定义模块完成；部署过程管理主要包括应用程序部署更新、应用程序版本回滚和应用程序状态监控；其中：

应用程序部署更新，包括检测更新内容，根据应用程序部署内容生成部署队列任务、部署执行；应用程序版本回滚，是在确认回滚内容后，自动生成部署队列任务，自动进行应用程序的更新；应用程序状态监控，是定期获取应用状态数据，并形成图表提供给操作员。

2.根据权利要求1所述的应用程序部署管理系统，其特征在于，应用程序部署具体流程如下：

（1）操作员通过本系统提交应用程序到指定内部的版本控制系统；

（2）服务端对提交的内容进行检测：提交内容是否存在为没有部署定义的资源，如果存在没有定义部署定义的资源，则部署流程终止结束；

（3）系统显示更新内容，由操作员确认更新内容；如果没有确认，则部署流程终止结束；

（4）操作员获取部署提交内容涉及的部署资源定义，按照部署内容涉及资源的依赖关系，生成操作任务队列，队列内容包括需要执行部署操作的节点、具体的执行动作、操作的资源名称；

（5）在部署后，将部署节点、部署内容做为部署快照记录到数据库中；

（6）按照队列的顺序，对队列的节点发出调用请求，客户端节点收到指令后，异步执行具体的操作，操作完成后对服务端接口回复操作结果；如果队列还存在内容，继续执行下一队列任务，如果队列为空，循环结束；

（7）部署管理系统发送消息通知上线结果。

3.根据权利要求2所述的应用程序部署管理系统，其特征在于，应用程序回滚具体流程如下:

（1）由操作员选择具体需要回滚的应用程序版本和需要回滚的范围；

（2）服务端根据操作员提交的版本，查找对应的部署节点和提交回滚的范围节点做交集得到需要回滚的节点范围，查找对应的部署版本获取节点的部署内容，形成部署节点和部署内容列表；

（3）操作员获取部署提交内容涉及的部署资源定义，按照部署内容涉及资源的依赖关系，生成操作任务队列，队列内容包括需要执行部署操作的节点、具体的执行动作、操作的资源名称；

（4）在部署后，将部署节点、部署内容做为部署快照记录到数据库中；

（5）按照队列的顺序，对队列的节点发出调用请求，客户端节点收到指令后，异步执行具体的操作，操作完成后对服务端接口回复操作结果；如果队列还存在内容，继续执行下一队列任务，如果队列为空，循环结束；

（6）发送消息通知上线结果。

4.根据权利要求2所述的应用程序部署管理系统，其特征在于，应用程序监控流程，分为数据采集和监控数据分析两部分：

数据采集是将客户端的信息收集到服务端，需要采集的数据由两部分组成：一部分是在运行时出现的信息数据，包括输出和异常信息，运行信息通过过滤规则实时传输到服务端；另外一部分是监控模块定时运行采集到的数据，包括操作系统cpu使用率，内存使用率、磁盘IO使用率，也包括应用容器的性能情况，收集到的数据，通过异步方式传输到服务端；

监控数据分析用于对收集到的数据进行分析和预警，服务端的监测模块获取数据后，按照数据类型的不同划分为操作系统数据、网络数据和数据库数据并发送到指定的不同邮件列表中，并定期将过滤的结果通过消息模块按照指定的消息通道通知到指定的操作员；对于报表数据通过邮件方式定期发送到指定邮件列表当中。