CN109683911B - 一种实现自动化应用部署及影响分析的系统 - Google Patents

Abstract

本发明公开了一种实现自动化应用部署及影响分析的系统，针对交易所的特有业务实现自动化运维，提升了交易所运维效率。其技术方案为：系统包括办公环境运维管理平台、线上环境运维管理平台、基线库、以及数据库。数据库存储配置管理的数据。办公环境运维管理平台包括第一用户认证模块、配置管理应用模块、应用变更管理模块。配置管理应用模块维护变更应用的配置项及稽核处理。应用变更管理模块用于变更管理。线上环境运维管理平台包括第二用户认证模块、应用采集模块、应用变更发布模块。应用采集模块采集服务器的应用中与数据库中对应的配置数据。应用变更发布模块获取正式上线包后根据正式上线包中的内容发布到服务器上进行变更。

Description

一种实现自动化应用部署及影响分析的系统

技术领域

本发明涉及自动化应用部署及影响分析的系统，具体涉及基于CMDB(配置管理数据库)实现的自动化应用部署及影响分析的系统。

背景技术

交易所成立以来，运维团队始终将保障系统安全稳定运行作为首要任务。随着交易所业务创新加速，两地三中心建设推进，在设备数量、系统上线变更、运维新人数量不断增长和规范化要求不断提升的情况下，运维操作负荷大，手工操作增多，人员压力大，运维安全正面临严峻考验。

现有基于脚本的运维工具虽提升了操作可靠性与效率，但缺乏统一规划和设计，高耦合，不易修改，无法适应迅速发展的业务，且与开发测试相脱离，在DevOps理念日益成熟、开发运维一体化稳步推进的背景下亟待建立统一的自动化运维平台。

此外，目前国内的自动化运维处于百花齐放的阶段，腾讯、阿里等大型电商和互联网企业都已率先建立了自己的自动化运维系统，但各家采取的技术、方案各不相同。各家自动化运维都是基于自身业务特点、系统特点和运维模式，很多是针对目前云平台进行的运维，相关经验和思路可以为交易所借鉴，但无法直接使用。考虑到交易所特有的业务运维要求、系统架构、运维组织结构，在学习外部先进技术和经验的基础上，还是要自主研发一套自动化运维管理平台

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种实现自动化应用部署及影响分析的系统，针对交易所的特有业务实现自动化运维，提升了交易所运维效率。

本发明的技术方案为：本发明揭示了一种实现自动化应用部署及影响分析的系统，包括办公环境运维管理平台、线上环境运维管理平台、基线库、以及数据库，办公环境运维管理平台和基线库、数据库均建立通信连接，线上环境运维管理平台和外部服务器建立通信连接，办公环境运维管理平台和线上环境运维管理平台之间建立通信连接，其中：

基线库，用于存储通过自动化运维平台部署应用的文件基线；

数据库，用于存储配置管理的数据，包括业务配置管理信息和主机配置管理信息；

办公环境运维管理平台中包括第一用户认证模块、配置管理应用模块、应用变更管理模块，其中：

第一用户认证模块，用于提供给办公环境运维管理平台用户验证登录；

配置管理应用模块，用于维护变更应用的配置项及稽核处理，将数据库和基线库中对应的配置数据，与通过线上环境运维管理平台从外部服务器中采集到的相应配置做比对，生成稽核结果；

应用变更管理模块，用于变更管理，上传变更上线包，通过数据库中的配置修改变更上线包中的内容并生成正式上线包，再将正式上线包上传到线上环境运维管理平台；

线上环境运维管理平台包括第二用户认证模块、应用采集模块、应用变更发布模块，其中：

第二用户认证模块，用于提供给线上环境运维管理平台用户验证登录；

应用采集模块，基于采集指令，采集服务器的应用中与数据库中对应的配置数据，抓取对应的线上配置；

应用变更发布模块，获取应用变更管理模块生成的正式上线包，根据正式上线包中的内容发布到外部服务器上进行变更。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，业务配置管理信息以组件为核心，组件的属性中存储组件所在的目录，每个组件关联多个配置文件，每个配置文件中指定多个配置项，组件还关联多种部署方式，部署方式用于指明部署时的用户、权限、路径和发布方法并指定对应的部署主机。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，主机配置管理信息为应用组件部署包括组件主机名、IP地址、网段在内的主机信息。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，第一用户认证模块和第二用户认证模块均为系统根据功能需求/系统模块对不同角色或用户做包括增加、删除、修改、查询操作在内的分配或限制。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，配置管理应用模块用于维护变更应用的配置项包括配置管理的主机管理、数据库信息，配置管理应用模块做比对的配置数据包括配置项、配置属性和配置关系。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，应用变更管理模块修改变更上线包中的内容包括业务系统前台、业务系统应用组件、业务系统数据库内容。

根据本发明的实现自动化应用部署及影响分析的系统的一实施例，应用变更发布模块根据正式上线包的内容先对业务系统数据库、业务系统前台、业务系统应用进行进程检查，再备份变更内容后发布到服务器进行变更。

本发明对比现有技术有如下的有益效果：本发明的系统以CMDB(配置管理数据库)为基础，提供了变更和线上采集稽核的基础元数据。应用领域CMDB以组件为核心，设计了应用系统、前台、数据库服务、数据库实例、数据库模式、数据库对象、数据库基线、组件部署方式、运维脚本、运维脚本部署方式等配置项，配置项之间的关系重点体现在组件和主机间的部署关系、运维脚本和主机间的部署关系、数据库之间的同步关系、数据库实例和主机间的部署关系、应用系统和组件间的关联或包含关系。从应用领域的CMDB中，可以得到应用系统由哪些数据库、组件、前台构成，分别以何种方式部署到哪些主机上；得到某个主机上部署了哪些应用组件、运维脚本或数据库实例。

在变更方面，补丁包根据应用领域CMDB得到业务版本修改的配置和属性等，生成待上线补丁包。

在采集稽核方面，支持自动和手动配置采集与稽核的系统架构，确保CMDB和基线库中的配置准确性；通过版本管理工具Git来管理配置基线库，提高了各数据中心配置统一管理的可行性，并实现了配置文件与系统版本的历史管理。

本发明的整体技术采用成熟的Django WEB框架、Mysql开源数据库、Ansible配置管理工具、Python语言等开源工具进行自主研发，提高平台的灵活高效性。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的实现自动化应用部署及影响分析的系统的一实施例的结构图。

图2示出了本发明的实现自动化应用部署及影响分析的系统的变更流程的示意图。

图3示出了本发明的实现自动化应用部署及影响分析的系统的采集稽核流程的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的实现自动化应用部署及影响分析的系统的一实施例的结构，请参见图1，本实施例的系统包括：办公环境运维管理平台、线上环境运维管理平台、基线库、以及数据库。

办公环境运维管理平台和基线库、数据库均建立通信连接。线上环境运维管理平台和外部服务器建立通信连接。办公环境运维管理平台和线上环境运维管理平台之间建立通信连接。

基线库中存储通过自动化运维平台部署应用的文件基线，采用git管理。

数据库是CMDB数据库(配置管理数据库)，基于MYSQL实现，包括业务CMDB信息、主机CMDB信息。

业务CMDB信息以组件为核心，组件的属性中存储组件所在的目录，每个组件关联多个配置文件，每个配置文件中指定多个配置项。同时，组件关联多种部署方式，指明部署时的用户、权限、路径和发布方法，并指定对应的部署主机。

主机CMDB信息为应用组件部署组件主机名、IP地址、网段等主机信息。

办公环境运维管理平台中包括第一用户认证模块、配置管理应用模块、应用变更管理模块。

第一用户认证模块(UAS)用于提供给办公环境运维管理平台用户验证登录，为系统根据功能需求/系统模块对不同角色或用户做某些操作(包括增加、删除、修改、查询等操作)的分配或限制。

配置管理应用模块(AOP_CMDBMS)用于维护变更应用的配置项(包括CMDB主机管理、数据库信息等)以及稽核处理，将CMDB数据库中和基线库中对应领域涉及的包括配置项、配置属性和配置关系在内的配置数据，与通过线上环境运维管理平台从外部服务器中采集到的相应配置做比对。

应用变更管理模块(AOP_APPMS)用于变更管理，上传变更上线包，通过CMDB数据库中的配置修改变更上线包中的内容，包括业务系统前台、业务系统应用、业务系统数据库内容，将本次变更涉及的目录、文件、关系和属性提前生成正式上线包，再上传到线上环境运维管理平台。

线上环境运维管理平台包括：第二用户认证模块(UAS)、应用采集模块、应用变更发布模块。

第二用户认证模块(UAS)用于提供给线上环境运维管理平台用户验证登录，为系统根据功能需求/系统模块对不同角色或用户做某些操作(包括增加、删除、修改、查询等操作)的分配或限制。

应用采集模块(ATP_CMDBMS)基于采集指令，采集外部服务器上的应用和CMDB数据库中对应领域涉及的配置项、配置属性和配置关系，抓取对应线上配置(包括目录结构、文件、权限等)。

应用变更发布模块(ATP_APPMS)获取应用变更管理模块生成的正式上线包并解压，根据上线包中的内容首先对数据库(非本系统，是版本上线中其他业务系统用到的)、前台(非本系统，是版本上线中其他业务系统用到的)和应用(非本系统，是版本上线中其他业务系统用到的)进行进程检查，然后备份变更内容；再进行变更，包括数据库修改、前台发布、应用内容发布和权限的设置。

本实施例的系统的变更流程如图2所示。首先，向办公环境运维管理平台上传变更上线包。办公运维管理平台通过CMDB数据库和基线库的配置修改变更上线包中的内容，生成正式上线包后将其上传到线上环境运维管理平台，由线上环境运维管理平台发布应用到外部服务器，在变更完成后通知办公环境运维管理平台，最后由办公环境运维管理平台将变更完成的消息返回给CMDB数据库和基线库完成回归操作。

本实施例的系统的采集稽核操作如图3所示。办公环境运维管理平台接收到采集稽核指令后向线上环境运维管理平台发起采集命令，线上环境运维管理平台从外部服务器上采集配置数据(包括配置项、配置属性和配置关系等)，生成采集结果包后上传到办公环境运维管理平台。办公环境运维管理平台从CMDB数据库和基线库中读取出对应采集结果的配置数据后，经对比后输出稽核结果。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (7)

1.一种实现自动化应用部署及影响分析的系统，其特征在于，包括办公环境运维管理平台、线上环境运维管理平台、基线库以及数据库，办公环境运维管理平台和基线库、数据库均建立通信连接，线上环境运维管理平台和外部服务器建立通信连接，办公环境运维管理平台和线上环境运维管理平台之间建立通信连接，其中：

基线库，用于存储通过自动化运维平台部署应用的文件基线；

配置管理数据库，用于存储配置管理的数据，包括业务配置管理信息和主机配置管理信息，提供变更和线上采集稽核的基础元数据；

办公环境运维管理平台中包括第一用户认证模块、配置管理应用模块和应用变更管理模块，其中：

第一用户认证模块，用于提供给办公环境运维管理平台用户验证登录；

配置管理应用模块，用于维护变更应用的配置项及稽核处理，将数据库和基线库中对应的配置数据，与通过线上环境运维管理平台从外部服务器中采集到的相应配置做比对，生成稽核结果，其中配置项包括应用系统、前台、数据库服务、数据库实例、数据库模式、数据库对象、数据库基线、组件部署方式、运维脚本和运维脚本部署方式，配置项之间的关系体现在组件和主机间的部署关系、运维脚本和主机间的部署关系、数据库之间的同步关系、数据库实例和主机间的部署关系以及应用系统和组件间的关联或包含关系；

应用变更管理模块，用于变更管理，上传变更上线包，通过数据库中的配置修改变更上线包中的内容并生成正式上线包，再将正式上线包上传到线上环境运维管理平台；

线上环境运维管理平台包括第二用户认证模块、应用采集模块和应用变更发布模块，其中：

第二用户认证模块，用于提供给线上环境运维管理平台用户验证登录；

应用采集模块，基于采集指令，采集服务器的应用中与数据库中对应的配置数据，抓取对应的线上配置；

应用变更发布模块，获取应用变更管理模块生成的正式上线包，根据正式上线包中的内容发布到外部服务器上进行变更；

其中在变更方面，补丁包根据应用领域CMDB得到业务版本修改的配置和属性等，生成待上线补丁包；在采集稽核方面，支持自动和手动配置采集与稽核的系统架构，以确保CMDB和基线库中的配置准确性；通过版本管理工具来管理配置基线库，提高各数据中心配置统一管理的可行性，并实现配置文件与系统版本的历史管理。

2.根据权利要求1所述的实现自动化应用部署及影响分析的系统，其特征在于，业务配置管理信息以组件为核心，组件的属性中存储组件所在的目录，每个组件关联多个配置文件，每个配置文件中指定多个配置项，组件还关联多种部署方式，部署方式用于指明部署时的用户、权限、路径和发布方法并指定对应的部署主机。

3.根据权利要求1所述的实现自动化应用部署及影响分析的系统，其特征在于，主机配置管理信息为应用组件部署包括组件主机名、IP地址和网段在内的主机信息。

4.根据权利要求1所述的实现自动化应用部署及影响分析的系统，其特征在于，第一用户认证模块和第二用户认证模块均为系统根据功能需求和系统模块对不同角色或用户做包括增加、删除、修改和查询操作在内的分配或限制。

5.根据权利要求1所述的实现自动化应用部署及影响分析的系统，其特征在于，配置管理应用模块用于维护变更应用的配置项包括配置管理的主机管理和数据库信息，配置管理应用模块做比对的配置数据包括配置项、配置属性和配置关系。

6.根据权利要求1所述的实现自动化应用部署及影响分析的系统，其特征在于，应用变更管理模块修改变更上线包中的内容包括业务系统前台、业务系统应用组件和业务系统数据库内容。

7.根据权利要求6所述的实现自动化应用部署及影响分析的系统，其特征在于，应用变更发布模块根据正式上线包的内容先对业务系统数据库、业务系统前台和业务系统应用进行进程检查，再备份变更内容后发布到服务器进行变更。

Images