CN109582381A - 文件型配置信息同步系统、方法及存储介质 - Google Patents

Abstract

本发明公开了一种文件型配置信息同步系统、方法及存储介质，涉及分布式系统同步技术，本发明所述的文件型配置信息同步系统中分布式应用协调组件按照配置文件目录的多叉树结构维护配置文件的变更事件，当配置文件变更时，订阅客户端可以在保持配置文件的目录层次结构的条件下进行更新，使得所述订阅客户端在获取配置文件后，无需对配置文件的目录层次结构进行复杂的还原处理，减少了订阅客户端更新的处理负担，并且，本发明实施例所述的文件型配置信息同步系统及方法中客户端的应用程序不依赖与特定架构，更加适合于大部分的应用场景。

Description

文件型配置信息同步系统、方法及存储介质

技术领域

本发明涉及分布式系统同步技术，更具体地说，涉及一种文件型配置信息同步系统、方法及存储介质。

背景技术

随着计算机技术的广泛应用和数据量的快速增加，处理海量数据的分布式系统变得越来越重要。分布式系统将计算分布到多台机器上，使多台机器同时处理，从而提高计算效率。在分布式系统中，集群内同步一致性问题的解决尤为重要，同类型的服务通常在分布式系统中部署多份实例，部署了实例的机器结点之间需要在配置信息等数据上保持同步，手动为每个机器结点进行维护既耗费人力又极容易出错。

现有的配置管理系统Diamond是一种管理持久配置的系统，该系统基于拉模型，支持KV键值对粒度的配置数据，并对分布式系统中机器结点的配置数据的更新进行非实时的推送。现有的配置管理系统Disconf是一种分布式配置系统，该系统基于推模型，支持文件粒度和KV键值对粒度的配置数据，并通过专门的web端统一对配置进行操作管理。

然而，在大部分的应用场景中，一个应用程序发布后，其配置数据往往是机器结点上以目录层次结构构成的多个配置文件。现有技术中存在以下问题：现有的配置管理系统如Diamond只支持KV键值对粒度的配置数据，无法支持文件粒度的配置数据，并且该系统基于拉模型，需要分布式系统中的每个机器结点每隔一段时间拉取一次全量的配置数据，对机器结点带来了较大的负担，并且一次拉取全量的配置数据也占用了大量的集群带宽，这对分布式系统也带来了较大的压力；现有的配置系统如Disconf虽然能够支持文件粒度的配置数据，但是却无法对配置文件的层次结构进行托管，只负责托管配置文件本身，机器结点在获取了配置文件后需要自行对层次结构进行处理，增加了机器结点的负担，并且，Disconf还要求机器结点的应用必须基于Spring架构，限制了该配置系统使用的范围。

发明内容

为解决上述技术问题，本发明实施例提供了一种文件型配置信息同步系统及方法，所述技术方案如下：

本发明实施例的第一方面提供一种文件型配置信息同步系统，所述系统包括分布式文件配置中心、配置客户端和订阅客户端，所述分布式文件配置中心包括服务器、分布式应用协调组件和数据库，其中，所述服务器用于接收配置客户端上传的配置文件集，将所述配置文件集持久化于所述数据库中；所述分布式应用协调组件用于按照所述配置文件集的多叉树结构维护配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端发布结点变更事件通知。

本发明实施例的第二方面提供一种文件型配置信息同步方法，所述方法包括：分布式文件配置中心的服务器接收配置客户端上传的配置文件集，将所述配置文件集持久化于所述数据库中；分布式文件配置中心的分布式应用协调组件按照所述配置文件集的多叉树结构维护所述配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端发布结点变更事件通知。

本发明实施例的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序能够被处理器执行本发明任意一个实施例所述的步骤。

本发明实施例的技术方案具有以下有益效果：本发明实施例所述的文件型配置信息同步系统及方法，使用分布式应用协调组件按照配置文件目录的多叉树结构维护配置文件的变更事件，当配置文件变更时，订阅客户端可以在保持配置文件的目录层次结构的条件下进行更新，使得所述订阅客户端在获取配置文件后，无需对配置文件的目录层次结构进行复杂的还原处理，减少了订阅客户端更新的处理负担，并且，本发明实施例所述的文件型配置信息同步系统及方法中客户端的应用程序不依赖与特定架构，更加适合于大部分的应用场景。

附图说明

图1是根据本发明实施例的文件型配置信息同步系统的示意图；

图2示出了根据本发明实施例的由配置文件集抽象出的多叉树结构示意图；

图3示出了根据本发明实施例的将配置文件目录转换为列表的示意图；

图4示出了根据本发明实施例的另一种文件型配置信息同步系统示意图；

图5示出了根据本发明实施例的文件型配置信息同步方法的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明实施方法作进一步的详细描述。应当理解，下述的各种实施方式只用于举例说明，而非限制本发明的保护范围。

图1是根据本发明实施例的文件型配置信息同步系统的示意图。如图1所述，本发明实施例所述的文件型配置信息同步系统包括：分布式文件配置中心11、配置客户端12和订阅客户端13，其中，所述分布式文件配置中心包括：服务器111、分布式应用协调组件112和数据库113；

参照图1，所述服务器111用于接收配置客户端上传的配置文件集，将所述配置文件集持久化于所述数据库113中；

所述分布式应用协调组件112用于按照所述配置文件集的多叉树结构维护配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端13发布结点变更事件通知。

所述配置客户端12用于向所述分布式文件配置中心11的服务器111注册并且上传需要管理的配置文件集；

所述订阅客户端13用于向所述分布式文件配置中心11的分布式应用协调组件112注册监听需要的配置文件集的变更，并且，当接收到所述注册的配置文件集中结点的变更事件通知时，从服务器获取该配置文件集。

下面参照图1，以配置客户端12的配置文件集信息发生变化，分布式文件配置中心11向订阅客户端13推送变更通知，使订阅客户端13的配置文件集进行更新同步为例来说明本发明的技术方案，根据该实施例的工作流程来详细介绍文件型配置信息同步系统的工作原理。

配置客户端12首先向分布式应用协调组件112注册需要管理的配置文件集A，向分布式文件配置中心11上传配置文件集A。分布式文件配置中心11的服务器111接收配置文件集A，接收到配置文件集A后，将配置文件集A持久化于数据库113中。订阅客户端13向分布式应用协调组件112注册监听需要的配置文件集B的变更。分布式应用协调组件112根据配置文件集的多叉树结构维护配置文件集的变更事件，当配置文件集A发生变更时，例如，配置文件集A中的某个配置文件发生了变化，配置文件集A对应的多叉树中的相应结点发生变化，分布式应用协调组件112向注册监听包含该发生变化结点的配置文件集B的订阅客户端发布结点变更时间通知。

具体地，所述配置文件集包括：配置文件和配置文件目录；所述配置文件集多叉树结构的叶子结点为存储具体配置信息的配置文件，非叶子结点为配置文件目录。

图2示出了由配置文件集抽象出的多叉树结构示意图，如图2所示，分布式应用协调组件112将需要管理的配置文件集，如配置客户端上传的配置文件集A、订阅客户端需要监听的配置文件集B，分别抽象为如图2所示的多叉树结构，按照多叉树结构维护配置文件集的变更事件。

当配置客户端12的配置文件集A发生变化时，分布式应用协调组件112中与配置文件集A对应的多叉树结构的相应结点产生变更事件，进而向所有注册了监听该结点变更事件的订阅客户端发布结点变更事件通知。同时，配置客户端12向服务器111上传变化的配置文件集A，服务器112接收配置客户端12上传的配置文件集A，然后将该变化的配置文件集A持久化于数据库223中。

若订阅客户端13向分布式应用协调组件注册监听了上述结点变更事件，则订阅客户端13可以从分布式协调组件112接收到上述结点变更事件通知，进而从服务器111获取已注册的包含该变更结点对应的配置信息的配置文件集，以更新本地配置文件集。举例来说，订阅客户端13向分布式应用协调组件112注册了需要监听的配置文件集B，监听与配置文件集B相应的结点的变更。当所述配置文件集A对应的多叉树结构与所述配置文件集B对应的多叉树结构有相同的结点，且配置文件集A中该相同的结点发生变化时，订阅客户端13可以接收到该结点的变更事件通知。接收到该结点变更通知时，订阅客户端13通过服务器111获取该结点对应的配置文件信息，进而可以通过回调函数等获取更新的配置文件集B。如图1所示，配置客户端12同时也可以作为订阅客户端13，接收分布式应用协调组件的事件变更通知，对此本发明不做限定。

上述实施例所述的文件型配置信息同步系统使用分布式应用协调组件对配置文件集的变更进行维护，将配置文件集抽象为多叉树结构，可以以文件集粒度对配置信息进行维护，当配置文件变更时，订阅客户端在获取配置文件后，无需对配置文件的目录层次结构进行复杂的还原处理，减少了订阅客户端更新的处理负担，更加适合于大部分的应用场景；同时，本发明实施例所述的文件型配置信息同步系统基于注册监听机制，无需订阅客户端定时拉取数据，当数据变更时主动向订阅客户端推送变更通知，极大的减少了订阅客户端的负担以及分布式集群的压力。

可选地，在所述服务器111接收配置客户端12需要管理的配置文件集之后，所述服务器111还用于根据配置文件集中配置文件内容的大小将配置文件集打散分块持久化于所述数据库113中。

举例而言，服务器111接收到配置文件集A后，根据配置文件集A中配置文件的大小，将所述配置文件集A打散为多个小文件块，分块存储于数据库113中。具体而言，配置文件集A可以存储的信息可以包括：配置文件目录对应的多叉树结构的父节点标识、文件类型标识和文件内容。配置文件集A可以根据配置文件集中的配置文件内容的大小进行存储，当配置文件内容的大小未超过设定的阈值时，将配置文件的内容连同其目录层次结构的父结点标识、文件类型等信息一同存储于配置信息表中，其中，配置文件集目录层次结构的父节点标识用于还原目录结构，其可以为配置文件所属目录层次结构对应的多叉树结构的父结点的标识ID等，文件类型用于标识该配置文件是存储具体配置内容的配置文件，还是配置文件的目录。

当配置文件内容的大小超过设定的阈值时，将配置文件集A的目录层次结构的父结点标识、文件类型等信息存储于配置信息表中，将配置文件的文件内容单独存储于内容信息表中。当将配置文件内容单独存储于内容信息表时，可以进一步按照设定的阈值将配置文件内容分块，避免一行数据表记录的字段中存储的信息过大的问题，保证数据访问的性能。

图3示出了根据本发明实施例的将配置文件目录转换为列表的示意图。可选地，在所述配置客户端向所述服务器上传配置文件集之前、以及在所述订阅客户端从所述服务器获取配置文件集之前，

所述配置客户端12、订阅客户端13、服务器111分别使用压栈遍历将本地配置文件集的配置文件目录转换为列表；

所述配置客户端12、订阅客户端13、服务器111分别为各自列表中的配置文件打上版本号，以进行对比传输。

具体而言，配置客户端12、订阅客户端13、服务器111分别使用压栈遍历将本地配置文件集的配置文件目录转换为列表，所述转换的列表与所述配置文件目录唯一对应，进而可以将列表中的各配置文件打上版本号，根据各自列表中的文件版本号进行对比传输。

下面以配置客户端12向服务器111上传变化的配置文件集A为例，对客户端与服务端的配置文件集传输进行详细说明。配置客户端12的配置文件集A信息发生变化时，配置客户端12首先将配置文件集的文件目录抽象为多叉树结构，然后使用压栈遍历将配置文件集A的文件目录转换为本地结构list，即列表1，为列表1中的配置文件名称打上版本号(.Version文件)；配置文件集A中变化的信息对应的结点产生变更，分布式应用协调组件检测到该结点的变更事件，通知服务器111根据变更结点从数据库113中获取配置客户端12注册的包含该变更结点的配置文件集A’对应的多叉树结构的父结点标识，文件版本号等信息，根据所述获取的父结点标识还原变更结点所属的配置文件集A’的目录，并以相同的压栈遍历的方法将变更结点所属的配置文件集A’的目录结构转换为远程结构list，即列表2，为列表2中的文件打上版本号。转换获得的列表仅包含配置文件名称、版本号等信息，数据量较小，配置客户端和服务器可以先互相传输各自的列表，然后再根据列表进行对比传输。

具体而言，配置客户端12与服务器111分别对列表1和列表2进行新旧对比分析，对于两个列表交集中的文件，比较文件的版本号，当配置客户端12本地的列表1的版本号比服务器111的列表2的版本号新时，进行上传；对于配置客户端12的列表1有而服务器111的列表2没有的文件，如图4所示的列表1中的A，配置客户端12向服务器111上传该文件；对于列表1没有而服务器111的列表2有的文件，如图4列表2中所示的F，服务器111删除该文件。

订阅客户端13从服务端下载变更的配置文件集，其方法与上述配置客户端与服务端进行对比传输时的方法相同，下载时，对于两个列表交集中的文件，比较文件的版本号，当服务器111的列表2中的文件版本号比订阅客户端13的列表1的版本号新时，进行下载；对于订阅客户端列表有而服务器列表没有的文件，将订阅客户端中该文件删除，对于订阅客户端列表没有而服务器列表有的文件，从服务器下载该文件。

本实施例将配置文件目录转换为唯一对应的列表，将列表打上版本号进行新旧比较后再选择是否进行传输，提高了传输效率。

图4是根据本发明实施例的另一种文件型配置信息同步系统示意图。可选地，本发明实施例所述的文件型配置信息同步系统还包括文件服务器，当需要传输的配置文件集的大小大于预定阈值时，配置客户端与服务器之间、订阅客户端与服务器之间可以分别通过文件服务器进行配置文件集的传输。如图5所示，当需要传输的配置数据大小大于预定阈值时，配置数据发送方可以先将配置数据进行压缩处理，然后再上传至文件服务器，通知接收方向文件服务器下载指定的数据，接收方下载指定的数据后，进行解压缩处理。当需要传输的配置数据大小小于预定阈值时，配置数据发送方与接收方可以通过通过简单协议(如http协议)直接传输文件。

本发明实施例所述的文件型配置数据同步系统根据不同传输的不同数据的大小选择不同的传输策略，传输的数据小时采取简单的传输协议直接进行传输，传输的数据小时压缩打包借助文件服务器进行传输，提高了传输效率。

图5示出了根据本发明实施例的文件型配置信息同步方法的流程图。如图5示，所述方法包括：

S501：分布式文件配置中心的服务器接收配置客户端上传的配置文件集，将所述配置文件集持久化于数据库中；

S502：分布式文件配置中心的分布式应用协调组件按照所述配置文件集的多叉树结构维护所述配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端发布结点变更事件通知。

具体地，所述配置客户端向所述分布式文件配置中心的服务器注册并且上传需要管理的配置文件集；

所述订阅客户端向所述分布式文件配置中心的分布式应用协调组件注册监听需要的配置文件集的变更，并且，当接收到所述注册的配置文件集中结点的变更事件通知时，从服务器获取该配置文件集。

具体地，所述配置文件集包括：配置文件和配置文件目录；

所述配置文件集多叉树结构的叶子结点为存储具体配置信息的配置文件，非叶子结点为配置文件目录。

可选地，在所述服务器接收配置客户端需要管理的配置文件集之后，

所述服务器根据配置文件集中配置文件内容的大小将配置文件打散分块持久化于所述数据库中。

可选地，在所述配置客户端向所述服务器上传配置文件集之前，以及在所述订阅客户端从所述服务器获取配置文件集之前，

所述配置客户端、订阅客户端、服务器分别根据使用压栈遍历将本地配置文件集的配置文件目录转换为列表；

所述配置客户端、订阅客户端与服务器分别为各自列表中的配置文件打上版本号，以对比传输。

可选地，所述配置客户端、订阅客户端分别通过文件服务器与服务器进行配置文件集的传输。

本实施例所述的文件型配置信息同步方法，与上述文件型配置信息同步系统的同步机制相同，详细可以参考上述实施例的记载，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行本发明实施例任一所述文件型配置信息同步方法的步骤。例如，所述存储介质可以是ROM/RAM、磁盘、光盘等，对比本文不做限定。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领域技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (13)

1.一种文件型配置信息同步系统，其特征在于，所述系统包括分布式文件配置中心、配置客户端和订阅客户端，所述分布式文件配置中心包括服务器、分布式应用协调组件和数据库，其中，

所述服务器用于接收配置客户端上传的配置文件集，将所述配置文件集持久化于所述数据库中；

所述分布式应用协调组件用于按照所述配置文件集的多叉树结构维护配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端发布结点变更事件通知。

2.根据权利要求1所述的系统，其特征在于，

所述配置客户端用于向所述分布式文件配置中心的服务器注册并且上传需要管理的配置文件集；

所述订阅客户端用于向所述分布式文件配置中心的分布式应用协调组件注册监听需要的配置文件集的变更，并且，当接收到所述注册的配置文件集中结点的变更事件通知时，从服务器获取该配置文件集。

3.根据权利要求2所述的系统，其特征在于，

所述配置文件集包括：配置文件和配置文件目录；

所述配置文件集多叉树结构的叶子结点为存储具体配置信息的配置文件，非叶子结点为配置文件目录。

4.根据权利要求3所述的系统，其特征在于，在所述服务器接收配置客户端需要管理的配置文件集之后，

所述服务器还用于根据配置文件集中配置文件内容的大小将配置文件集打散分块持久化于所述数据库中。

5.根据权利要求3所述的系统，其特征在于，在所述配置客户端向所述服务器上传配置文件集之前、以及在所述订阅客户端从所述服务器获取配置文件集之前，

所述配置客户端、订阅客户端、服务器分别根据使用压栈遍历将本地配置文件集的配置文件目录转换为列表；

所述配置客户端、订阅客户端、服务器分别为各自列表中的配置文件打上版本号，以进行对比传输。

6.根据权利要求1-5任一项所述的系统，其特征在于，所述文件型配置信息同步系统还包括文件服务器，

所述文件服务器，用于使所述配置客户端、订阅客户端分别通过所述文件服务器与服务器进行配置文件集的传输。

7.一种文件型配置信息同步方法，其特征在于，所述方法包括：

分布式文件配置中心的服务器接收配置客户端上传的配置文件集，将所述配置文件集持久化于数据库中；

分布式文件配置中心的分布式应用协调组件按照所述配置文件集的多叉树结构维护所述配置文件集的变更事件，并且，当配置文件集变更时，向注册过监听该配置文件集对应结点变更的订阅客户端发布结点变更事件通知。

8.根据权利要求7所述的方法，其特征在于，

所述配置客户端向所述分布式文件配置中心的服务器注册并且上传需要管理的配置文件集；

所述订阅客户端向所述分布式文件配置中心的分布式应用协调组件注册监听需要的配置文件集的变更，并且，当接收到所述注册的配置文件集中结点的变更事件通知时，从服务器获取该配置文件集。

9.根据权利要求8所述的方法，其特征在于，

所述配置文件集包括：配置文件和配置文件目录；

所述配置文件集多叉树结构的叶子结点为存储具体配置信息的配置文件，非叶子结点为配置文件目录。

10.根据权利要求9所述的方法，其特征在于，在所述服务器接收配置客户端需要管理的配置文件集之后，

所述服务器根据配置文件集中配置文件内容的大小将配置文件打散分块持久化于所述数据库中。

11.根据权利要求9所述的方法，其特征在于，在所述配置客户端向所述服务器上传配置文件集之前，以及在所述订阅客户端从所述服务器获取配置文件集之前，

所述配置客户端、订阅客户端、服务器分别根据使用压栈遍历将本地配置文件集的配置文件目录转换为列表；

所述配置客户端、订阅客户端与服务器分别为各自列表中的配置文件打上版本号，以对比传输。

12.根据权利要求6-11任一项所述的方法，其特征在于，

所述配置客户端、订阅客户端分别通过文件服务器与服务器进行配置文件集的传输。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序能够被处理器执行以实现权利要求6至12任一项所述的方法的步骤。