CN105843871B - 分布式应用文件的控制与管理系统 - Google Patents

Abstract

本申请公开了一种用于分布式应用文件的控制与管理系统，所述系统包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。

Description

分布式应用文件的控制与管理系统

技术领域

本发明涉及用于分布式应用文件的控制与管理系统。

背景技术

随着大数据时代的到来，很多企业级应用已经不得不向云进行迁移，然而，在迁云后该些应用无不面临分布式应用多主机文件的管理效率低、难度大等问题。另外，伴随着企业的业务的发展，在技术上也面临着快速迭代的问题，然而面对多主机应用及文件的变更问题，如果能够让加速实现变更的自动化也是企业说面临的另一个难题。

目前现有技术都是工具性质的，比如SVN（即Subversion,一种开源的版本控制系统）、CVS（即，Concurrent Version System，与SVN类似的版本控制系统）等具有文件版本管理的功能，UE等文本比对工具具有比对文件内容的功能，但是不存在一个完整平台的系统来用于分布式应用文件的控制与管理。

发明内容

为解决上述问题，根据本发明的一个方面，提供了一种用于分布式应用文件的控制与管理系统，所述系统包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。

在上述系统中，所述差异库为预先建立的数据库，其配置成存储可接受的差异。

在上述系统中，所述管理控制平台还配置成从用户处接收待变更文件。

在一个实施例中，该系统还可包括：文件自动变更模块，其配置成通过调用所述文件差异管理模块，对所述待变更文件进行比对和差异匹配，从而生成适配个主机的文件。

在上述系统中，所述管理控制平台还配置成展示文件差异、告警提醒以及变更控制。

在上述系统中，所述文件获取模块配置成根据所述获取列表，通过SSH或FTP的方式将文件获取到指定服务器。

在上述系统中，所述文件池配置成存储每天从各个服务上获取到的最新文件、用户上传的待变更文件以及从SVN中检出的历史文件。

在上述系统中，所述文件差异管理模块配置成将文件间比对后的差异，通过一数据模型进行记录并存储在数据库中。

在上述系统中，在所述文件差异管理模块中设置有比对黑名单和白名单。

通过使用本申请的技术方案，可以取得如下优势：

1. 通过该系统可以方便地保障不同环境下多主机应用文件的相对一致性，不会出现文件的不一致导致测试问题和生产事件；

2. 通过该系统对文件的统筹管理和控制，可以大大减少了差异文件管理的复杂度和难度；

3. 以差异库为基础，可以最大程度地减少人为误差，增强了文件管理的可靠性，更好地满足文件管理的各项需求（文件快速比对、文件智能修改、文件自动生成等功能）。

4. 通过设置比对黑名单和压缩包白名单，能够有效地减少不必要的比对，提升比对效率。

5. 该系统支持差异的实时监控，能够非常及时的将应用的真实调用情况进入到差异数据库中进行分析，不依赖应用自身的逻辑处理，更加的客观真实，具有更高的安全性。

6. 整个系统采用中央集成控制，尤其支持差异库与各模块的快速联动与调用，可控性强；并且能与已有的文件处理工具（如文件比对工具）进行集成耦合，系统可移植性高，具有广泛的应用价值。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。

图1是根据本申请的一个实施例、用于分布式应用文件的控制与管理系统的结构示意图；

图2至图4是根据本申请的各个实施例、系统运作的流程示意图。

具体实施方式

下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

图1是根据本申请的一个实施例、用于分布式应用文件的控制与管理系统的结构示意图。如图1所示，系统可包括如下模块：文件获取模块、文件版本管理模块、文件差异管理模块、文件变更自动化模块、文件池和管理控制平台。文件获取模块负责便捷地获取各个主机上的文件（支持定时和手工）。版本控制模块利于快速恢复到历史版本，并保障文件不会遗失。差异管理模块，包含文件间比对，比对后差异结果的存储和应用等。变更自动化模块，用于根据文件固有差异实现对多主机文件的变更自动化。文件池，用于存储获取的文件以及待上传的文件等。管理控制平台，包含基础信息的录入和管理、文件差异的展示、告警提醒以及变更控制等。通过如图1所示的系统可以实现分布式应用多主机文件的差异监控与文件级自动化变更和恢复等功能，从而实现对分布式应用多主机文件的统筹控制与智能管理。

在一个实施例中，用户可根据自身应用情况，在管理控制平台录入要待获取的文件信息和主机信息等内容。文件获取模块根据管理控制平台生成的获取列表，并发地到目标主机获取目标文件，并存入文件池。文件版本管理模块将最新进入文件池的内容，进行版本入库管理。该流程如图2所示。

差异管理模块对文件池中的文件进行比对，并形成差异库。用户通过管理控制平台查看比对后的结果，并对差异库进行管理。用户通过管理控制平台上传待变更的文件，变更自动化模块通过调用差异管理模块，对待变更的文件进行比对和差异匹配，使得文件能够自动适应多主机的配置，并上传到指定服务器，同时可以自定义一些远程操作指令，比如应用重启、生效文件等（如图3和图4所示）。

在另一个实施例中，用于分布式应用文件的控制与管理系统可包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。可选地，该系统还可包括文件自动变更模块，其配置成通过调用所述文件差异管理模块，对待变更文件进行比对和差异匹配，从而生成适配个主机的文件。

在一个实施例中，管理控制平台是连接本系统各个核心模块的操作平台，为各个模块提供运行的基本参数和信息，目的是通过简单的配置可以灵活地协调各模块有机地完成各自功能。在一个实施例中，管理控制平台可配置成具有如下子管理功能：

（1）主机信息管理，供用户配置待管理的主机信息，包含IP、主机名、用户名等信息，支持正删改功能；

（2）待获取文件管理，供用户配置每台主机上要获取哪些文件和目录，支持匹配符、排查文件规则制定等功能；

（3）获取列表生成管理，根据用户配置的主机信息和带获取文件，生成可供文件获取模块使用的获取列表；

（4）文件获取调度和配置，供用户配置文件获取规则，比如时间、频次、失败告警等规则；

（5）文件比对关系和规则配置，供用户对文件间的比对关系和规则进行配置，并利用树形结构友好地展示关系和配置；

（6）文件比对结果展示，用户可以通过时间、比对关系等途径查找到比对后的结果，并在WEB页面上展示文件比对后的结果，对二进制展示MD5是否相等，对文本文件，展示差异的具体内容；

（7）比对结果告警管理，可以对比对后的结果设置告警级别，邮件发送名单等；

（8）文件版本控制管理，在该项目中，选用SVN作为文件版本管理底层支撑，并结合SVN的api接口，发开一些管理类的操作内容，便于文件管理；

（9）上传待变更文件，通过WEB页面供用户上传带变更的文件，并在上传完毕后，对文件进行初步的预处理；

（10）适配规则管理，用于管理由单一主机上特定的文件如何通过规则转换成N个主机上的文件；

（11）变更自定义命令管理，用于设置一些自定义的变更命令，比如应用重启、配置文件生效等；

（12）变更调度管理，用于管理变更时间和控制变更执行过程，并用于调试变更执行过程中出现的问题。

在一个实施例中，文件获取模块根据文件获取列表，通过SSH、FTP等方式将文件获取到指定服务器。例如，由管理控制平台上的文件获取列表功能生成文件获取列表，通过SCP命令将特定的文件放置到特定的目的服务器，并通过SHELL脚本利用获取列表，将待获取的文件打包成tar文件，然后利用SCP和FTP命令通过中转服务器，将tar文件传输到指定文件服务器。

在一个实施例中，文件池有以下几个应用场景：最新生产文件存放区，用于存放每天从各个服务器上获取到的最新文件；变更文件存放区，用于存放用户上传的待变更的文件；以及SVN临时存放区，用于存放从SVN中check out出来的历史文件。

在一个实施例中，差异管理模块配置成对文件进行比对。按照比对对象的不同，可以对分为两类类型，分别是最新文件在相同应用不同主机间的比对以及相同文件与历史文件的比对。比如应用A为了高可用机制，分别在主机1、主机2和主机3上均都部署了相同的应用，当最新文件进入到文件池后，可以将文件1、2和主机3之间的相同文件进行比对。再比如应用B仅在一台主机上部署了应用，那么可以通过文件版本管理模块，将最新的文件与上个具有差异的文件版本进行比对。在另一个实施例中，差异管理模块配置成记录和存储文件差异。将文件间比对后的差异，通过一定的数据模型进行记录并存储在数据库当中。在又一个实施例中，差异管理模块配置成将文件比对后的结果通过友好的形式展示给用户，便于用户对文件差异的把控。在又一个实施例中，差异管理模块配置成根据文件比对后的结果，将不认可的差异通过邮件、短信等方式向特定人进行发出告警通知。

在一个实施例中，在进行文本比对时，差异管理模块可配置成先去差异库中查找是否存在记录，如果存在则结合差异库“过滤”差异，最终展现给用户的将是用户需要关心的差异。其中，差异库为预先建立的数据库，其配置成存储可接受的差异。

这样，当在差异库中找到一条差异记录后，就可以快速定位出其中哪些差异是可接受差异，哪些差异是非预期差异。

就差异库而言，一种可考虑的实现方式是通过人工做第一次判断，将可以接受的差异以上述数据结构将比对后的结果集继续存储从而形成差异库。

在一个实施例中，文件版本管理模块可配置成采用SVN作为底层管理支撑。在该模块中除了应用到SVN的基础功能，还封装了其部分API接口，用于其它模块调用，比如检出(check out)某一特定版本的文件，定期对版本库中的文件进行版本更新等。

在一个实施例中，文件变更自动化模块对以上各个模块进行综合利用。首先，用户可根据变更需求，通过管理控制平台上传变更所需文件，然后根据需求选用合适的匹配规则，并生成各个主机应用所需用的文件。比如，主机A上有env.cfg文件其内容如下：

localhostIP=192.151.1.1

..........

hostname=PPhostA

Server_domain=MTQ_ONL1

..........

该文件需要部署到A、B、C、D四台主机上，并且需要对其中localhostIP等三个参数进行适配，做到分别符合四台主机的个性化需求。该功能的实现则需要依托差异管理模块中差异库的积累，最终生成四个不一样的env.cfg文件。

然后，通过文件获取模块的逆向运作，分别将四个文件上传至目的四台主机。在该模块中，同样需要自定义命令的辅助功能，这样才能保障这个变更的自动化。

在一个实施例中，差异管理模块或分布式应用文件的控制与管理系统中的其他模块配置有比对黑名单和压缩包白名单。这能够有效地减少不必要的比对，提升比对效率。

综上所述，本申请的分布式应用文件的控制与管理系统可以方便地保障不同环境下多主机应用文件的相对一致性，不会出现文件的不一致导致测试问题和生产事件，并通过对文件的统筹管理和控制，可以大大减少了差异文件管理的复杂度和难度。另外，本申请的分布式应用文件的控制与管理系统以差异库为基础，可以最大程度地减少人为误差，增强了文件管理的可靠性，更好地满足文件管理的各项需求（文件快速比对、文件智能修改、文件自动生成等功能）。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (6)

1.一种用于分布式应用文件的控制与管理系统，所述系统包括：

管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表，所述管理控制平台还配置成从用户处接收待变更文件；

文件池，用于存储文件；

文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；

文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；

文件差异管理模块，其配置成对所述文件池中的文件进行比对；以及

文件自动变更模块，其配置成通过调用所述文件差异管理模块，对所述待变更文件进行比对和差异匹配，从而生成适配各个主机的文件，

其中，在进行文本比对时，差异管理模块配置成先去差异库中查找是否存在记录，如果存在则结合所述差异库对差异进行过滤，并且其中，所述差异库为预先建立的数据库，其配置成存储可接受的差异。

2.如权利要求1所述的系统，其中，所述管理控制平台还配置成展示文件差异、告警提醒以及变更控制。

3.如权利要求1所述的系统，其中，所述文件获取模块配置成根据所述获取列表，通过SSH或FTP的方式将文件获取到指定服务器。

4.如权利要求1所述的系统，其中，所述文件池配置成存储每天从各个服务上获取到的最新文件、用户上传的待变更文件以及从SVN中检出的历史文件。

5.如权利要求1所述的系统，其中，所述文件差异管理模块配置成将文件间比对后的差异，通过一数据模型进行记录并存储在数据库中。

6.如权利要求5所述的系统，其中，在所述文件差异管理模块中设置有比对黑名单和白名单。

Images