CN107465714A - 一种基于应用集群的配置数据动态更新系统及方法 - Google Patents

Abstract

本发明涉及一种基于应用集群的配置数据动态更新系统及方法，引入配置文件版本号方案，基于集群管理服务器，通过配置文件版本号对配置数据进行分类和管理，当配置文件版本号发生变化时，由集群管理服务器通知应用节点版本号变化事件，应用节点监听到版本号变化事件后，从集群管理服务器中获取最新版本，并读取最新版本号对应的配置数据，解析配置数据，组装成本地缓存对象，更新本地缓存，完成配置数据的动态更新，集群管理服务器上只存储配置文件版本号，利用磁盘来存储具体的配置数据，不受集群馆办理服务器自身内存的限制，能够支持大批量数据的动态更新。

Description

一种基于应用集群的配置数据动态更新系统及方法

技术领域

本发明涉及数据更新技术领域，具体涉及一种基于应用集群的配置数据动态更新系统及方法。

背景技术

随着分布式技术的逐渐普及，基于分布式技术的应用系统越来越多。另外Linux和虚拟技术成为当前主流技术潮流，应用系统不再局限于小型机部署，而是由多个x86刀片机或虚拟机组成的应用系统集群。应用系统集群是指由多台机器分别部署应用组成，集群化部署方便应用系统横向扩展，线性提升性能，但其也给运维和管理带来一定问题，比如集群内部各节点在面临配置数据(尤其静态配置数据)更新时如何做到及时、统一、同步更新，尤其在大批量、结构化数据发生变更时，如何做到集群内各个节点的数据同步，比如，营销配置活动发生变化、产品配置数据发生变化、基础域系统新增工号、消息中间件新增主题等等。目前主要采用集群管理服务器zookeeper，具体实现方案为：

集群管理服务器的功能之一就是集群配置管理，在分布式的环境中，可能会有多个对等的程序读取同样的配置文件，程序可以部署在多台机器上，如果配置采用文件的话，则需要为部署该程序的机器也部署一个配置文件，一旦要修改配置的时候就会非常麻烦，需要修改多个配置文件，而且容易产生不一致。集中式配置管理的思路是，将配置数据集中发布到zookeeper的节点上，供订阅者动态获取数据，实现配置的集中式管理和动态更新，可以简单的理解为配置数据与程序分离。

利用集群管理服务器zookeeper存在以下缺陷：

(1)Znode存储大小有限制，最大不能超过1M，zookeeper客户端和服务端均有限制。虽然可以通过修改环境变量“jute.maxbuffer”将最大值改大，但是如果ZNode的过大，读写某一个ZNode将造成不确定的延时，同时ZNode过大，将过快地耗尽ZooKeeper服务器的内存，因此ZooKeeper不适合存储大量数据；

(2)不适合传输大量数据，应用系统配置数据变化，需要zookeeper短时间内(最好在毫秒级)向应用系统集群各个节点同步数据，当节点数量较多时，网络带宽不足，将影响应用系统与zookeeper的心跳维持，触发应用与zookeeper会话失效，这反过来会影响应用对配置数据的处理(原先未同步完成的配置数据如何处理，另外本地缓存里的数据如何处理)，会话恢复后zookeeper不会再次触发watcher函数；

(3)Zookeeper不适合存储结构化数据，因为zookeepr的树形结构存储特性，很难表达较为复杂结构的配置数据。

发明内容

本发明提供了一种基于应用集群的配置数据动态更新系统及方法，能够支持大批量数据的动态更新。

本发明解决上述技术问题的技术方案如下：一种基于应用集群的配置数据动态更新系统，包括配置管理服务器、集群管理服务器和由多个应用节点组成的应用集群；

所述配置管理服务器，用于对配置数据的配置更新以及对配置文件版本号的配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

所述集群管理服务器，用于当配置文件版本号更新时，生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点；

每一个所述应用节点，用于当接收到所述集群管理服务器广播的版本号更新事件时，从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

本发明的有益效果为：引入配置文件版本号方案，基于集群管理服务器，通过配置文件版本号对配置数据进行分类和管理，当配置文件版本号发生变化时，由集群管理服务器通知应用节点版本号变化事件，应用节点监听到版本号变化事件后，从集群管理服务器中获取最新版本，并读取最新版本号对应的配置数据，并加载到本地缓存，完成配置数据的动态更新，集群管理服务器上只存储配置文件版本号，利用磁盘来存储具体的配置数据，不受集群管理服务器自身内存的限制，能够支持大批量数据的动态更新。

在上述技术方案的基础上，本发明还可以作如下改进。

进一步的，所述配置管理服务器具体包括：

初始化模块，用于初始化配置数据，并将初始化的配置数据存储于磁盘的配置文件中；以及初始化配置文件版本号，并将配置文件版本号上传至集群管理服务器；

更新模块，用于对配置文件中的配置数据进行更新，以及对更新后的配置文件的版本号进行更新，且将更新后的配置文件的新版本号上传至集群管理服务器。

进一步的，所述更新模块具体用于：

当需要对配置数据进行更新时，读取旧版本号对应的配置文件，并复制该旧版本号对应的配置文件，在复制的配置文件中更新配置数据，以及对应更新更新后的配置文件的版本号，且将更新后的新版本号上传至集群管理服务器。

所述进一步的有益效果为：配置管理服务器在进行配置数据更新时，并没有采取覆盖的方式，而是将旧版本的配置文件进行复制，在副本中进行配置文件的更新，这样磁盘中保存了各个版本的配置文件，通过版本号，便于版本的管控，可查阅历史版本，比较各版本的数据的差异，方便实现版本新增和回退。

进一步的，每一个应用节点均包括一个监听线程；

所述集群管理服务器具体用于：

当版本号更新时，将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点中的监听线程。

所述进一步的有益效果为：为每一个应用节点配置监听线程，实现整个过程的自动化，一旦监听线程监听到版本号发生更新时，即进行配置数据的更新，实现了实时的数据更新。

进一步的，每一个监听线程包括：

第一读取模块，用于当监听线程监听到集群管理服务器广播的版本号更新事件时，从集群管理服务器中读取最新版本号；

比较模块，用于将读取的最新版本号与本地缓存中的版本号进行比较；

第二读取模块，用于当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据；

加载模块，用于将读取的最新的配置数据加载到本地缓存。

为了解决本发明的技术问题，还提供了一种基于应用集群的配置数据动态更新方法，包括：

S1，对配置数据进行配置更新，以及对配置文件版本号进行配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

S2，当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点；

S3，当接收到所述集群管理服务器广播的版本号更新事件时，每一个应用节点从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

进一步的，所述步骤S1具体包括：

S11，由配置管理服务器初始化配置数据，并将初始化的配置数据存储于磁盘的配置文件中；以及初始化配置文件版本号，并将配置文件版本号上传至集群管理服务器；

S12，当需要对配置数据进行更新时，由配置管理服务器对配置文件中的配置数据进行更新，以及对更新后的配置文件的版本号进行更新，且将更新后的新版本号上传至集群管理服务器。

进一步的，所述步骤S12具体包括：

当需要对配置数据进行更新时，由配置管理服务器读取旧版本号对应的配置文件，并复制该旧版本号对应的配置文件，在复制的配置文件中更新配置数据，以及对应更新更新后的配置文件的版本号，且将更新后的新版本号上传至集群管理服务器。

进一步的，还包括：

在应用集群的每一个应用节点配置一个监听线程；

所述步骤S2具体包括：

当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点的监听线程。

进一步的，所述步骤S3具体包括：

S31，当应用节点的监听线程监听到集群管理服务器广播的版本号更新事件时，该监听线程从集群管理服务器中读取最新版本号；

S32，将读取的最新版本号与本地缓存中的版本号进行比较；

S33，当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据，并加载到本地缓存。

附图说明

图1为本发明一个实施例的基于应用集群的配置数据动态更新系统框图示意图；

图2为本发明另一个实施例的基于应用集群的配置数据动态更新系统框图示意图；

图3为本发明一个实施例的基于应用集群的配置数据动态更新方法流程图；

图4为本发明另一个实施例的基于应用集群的配置数据动态更新方法流程图；

图5为本发明另一个实施例中每一个应用节点动态更新配置数据的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

参见图1，为实施例1的基于应用集群的配置数据动态更新系统，包括配置管理服务器1、集群管理服务器2和由多个应用节点3组成的应用集群；

所述配置管理服务器1，用于对配置数据的配置更新以及对配置文件版本号的配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

所述集群管理服务器2，用于当配置文件版本号更新时，生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点3；

每一个所述应用节点3，用于当接收到所述集群管理服务器2广播的版本号更新事件时，从集群管理服务器2中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

可以理解为，配置管理服务器1主要负责配置数据的初始化和更新，以及配置文件版本号的初始化和更新，其中，配置数据时存储在磁盘的配置文件中。配置管理服务器1将每一个更新后的配置文件版本号都上传至集群管理服务器2，即zookeeper节点中。当集群管理服务器2发现配置文件有更新时，生成版本号更新事件，并将版本号更新事件以广播方式广播给应用集群的每一个应用节点3。当应用节点3监听到集群管理服务器2广播的版本号更新事件时，从集群管理服务器2中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存，实现本地缓存的配置数据的实时动态更新。

参见图2，为实施例2的基于应用集群的配置数据动态更新系统，包括配置管理服务器1、集群管理服务器2和多个应用节点3，其中，配置管理服务器1包括初始化模块11和更新模块12，每一个应用节点3中包括监听线程31，每一个监听线程31中包括第一读取模块32、比较模块33、第二读取模块34和加载模块35。

配置管理服务器1中的初始化模块11，用于初始化配置数据，并将初始化的配置数据存储于磁盘的配置文件中；以及初始化配置文件版本号，并将配置文件版本号上传至集群管理服务器2。

更新模块12，用于对配置文件中的配置数据进行更新，以及对更新后的配置文件的版本号进行更新，且将更新后的配置文件的新版本号上传至集群管理服务器2。

所述更新模块12具体用于：

当需要对配置数据进行更新时，读取旧版本号对应的配置文件，并复制该旧版本号对应的配置文件，在复制的配置文件中更新配置数据，以及对应更新更新后的配置文件的版本号，且将更新后的新版本号上传至集群管理服务器2。

集群管理服务器2，用于当配置文件版本号更新时，生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点3的监听线程31。

每一个监听线程31中包括第一读取模块32，用于当监听线程31监听到集群管理服务器2广播的版本号更新事件时，从集群管理服务器2中读取最新版本号；

比较模块33，用于将读取的最新版本号与本地缓存中的版本号进行比较；

第二读取模块34，用于当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据；

加载模块35，用于将读取的最新的配置数据加载到本地缓存。

上述实施例1以及本实施例提供的动态数据更新系统引入配置文件版本号方案，基于集群管理服务器，通过配置文件版本号对配置数据进行分类和管理，当配置文件版本号发生变化时，由集群管理服务器通知应用节点版本号变化事件，应用节点监听到版本号变化事件后，从集群管理服务器中获取最新版本，并读取最新版本号对应的配置数据，解析配置数据，组装成本地缓存对象，更新本地缓存，完成配置数据的动态更新，集群管理服务器上只存储配置文件版本号，利用磁盘来存储具体的配置数据，将配置文件版本号的存储和配置数据的存储分离，不受集群管理服务器自身内存的限制，能够支持大批量数据的动态更新。由于配置数据不存放在集群管理服务器中，而是存放于磁盘中，因此，不受集群管理服务器的存储结构的影响，可支持结构复杂的配置数据的动态更新，能够适用于较多的配置数据场景，例如较复杂的活动类配置数据、消息订阅数据等。

参见图3，为实施例3的基于应用集群的配置数据动态更新方法，包括：

S1，对配置数据进行配置更新，以及对配置文件版本号进行配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

S2，当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点；

S3，当接收到所述集群管理服务器广播的版本号更新事件时，每一个应用节点从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

可以理解为，首先，由配置管理服务器对配置数据进行初始化和更新，以及对配置文件版本号进行初始化和更新，其中，配置数据时存储在磁盘的配置文件中。配置管理服务器将每一个更新后的配置文件版本号都上传至集群管理服务器zookeeper中。当集群管理服务器发现配置文件有更新时，生成版本号更新事件，并将版本号更新事件以广播方式广播给应用集群的每一个应用节点。当应用节点监听到集群管理服务器广播的版本号更新事件时，从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存，实现本地缓存的配置数据的实时动态更新。

参见图4，为实施例4的基于应用集群的配置数据动态更新方法，包括：

S1’,初始化配置数据，以及初始化配置文件版本号，将初始化的配置文件版本号上传至集群管理服务器；

S2’，更新配置数据以及更新配置文件版本号，将更新后的配置文件版本号上传至集群管理服务器；

S3’，当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点的监听线程；

S4’，当监听到版本号更新事件时，每一个应用节点从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

本实施例中，首先由配置管理服务器对配置数据进行初始化，并将初始化后的配置数据以配置文件的形式存储于磁盘中，并对初始化的配置文件的版本号进行初始化，并将配置文件的初始版本号上传至集群管理服务器。当配置数据需要更新时，配置管理服务器在对配置数据进行更新前，从集群管理服务器中读取配置文件的上一版本号，对该旧版本号进行更新，更新后得到新版本号，并将新版本号上传给集群管理服务器。然后对旧版本号对应的配置文件进行复制，形成副本，对副本中的配置数据进行更新，形成新版本号对应的配置文件，新版本号对应的配置文件依然存储于磁盘中。本实施例中对配置文件的版本号根据顺序编号的方式进行更新，比如，配置文件的初始版本号为1，则每更新一次版本号，则在原来版本号的基础上加1，形成新的版本号。

当配置管理服务器将更新后的配置文件的版本号更新到集群管理服务器上时，集群管理服务器生成版本号更新事件，并将生成的版本号更新事件以广播方式广播给应用集群的每一个应用节点。其中，为了保证配置数据更新的及时性，本实施例为每一个应用节点均配置一个对应的监听线程，实时监听配置文件的版本号是否发生更新。当监听线程监听到集群管理服务器广播的版本号更新事件时，参见图5，具体处理过程为：监听线程从集群管理服务器中读取最新版本号；将读取的最新版本号与本地缓存中的版本号进行比较；当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据，解析该跟新后的配置数据，并组装成本地缓存对象，并采用更新后的本地缓存对象替换原来的本地缓存对象，实现在应用节点不重启的情况下，完成本地缓存配置数据的动态更新。本发明提供的基于应用集群的配置数据动态更新系统及方法，与现现有技术相比，主要有以下优点：

(1)集群管理服务器上只存储配置文件版本号，利用磁盘来存储具体的配置数据，将配置文件版本号的存储和配置数据的存储分离，不受集群管理服务器自身内存的限制，能够支持大批量数据的动态更新；

(2)由于配置数据不存放在集群管理服务器中，而是存放于磁盘中，因此，不受集群管理服务器的存储结构的影响，可支持结构复杂的配置数据的动态更新，能够适用于较多的配置数据场景，例如较复杂的活动类配置数据、消息订阅数据等；

(3)各应用节点值负责各自节点配置数据的更新，而不负责其它的事情，基本不受网络带宽限制，数据更新效率比较高，性能相比现有技术高出一个数量级；

(4)整个配置数据的更新过程无需人工干预，实现完全自动化，使用监听线程实现了配置数据在各个应用节点的一致性；

(5)配置管理服务器在进行配置数据更新时，并没有采取覆盖的方式，而是将旧版本的配置文件进行复制，在副本中进行配置文件的更新，这样磁盘中保存了各个版本的配置文件，通过版本号，便于版本的管控，可查阅历史版本，比较各版本的数据的差异，方便实现版本新增和回退。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于应用集群的配置数据动态更新系统，其特征在于，包括配置管理服务器、集群管理服务器和由多个应用节点组成的应用集群；

所述配置管理服务器，用于对配置数据的配置更新以及对配置文件版本号的配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

所述集群管理服务器，用于当配置文件版本号更新时，生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点；

每一个所述应用节点，用于当接收到所述集群管理服务器广播的版本号更新事件时，从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

2.如权利要求1所述的基于应用集群的配置数据动态更新系统，其特征在于，所述配置管理服务器具体包括：

初始化模块，用于初始化配置数据，并将初始化的配置数据存储于磁盘的配置文件中；以及初始化配置文件版本号，并将配置文件初始版本号上传至集群管理服务器；

更新模块，用于对配置文件中的配置数据进行更新，以及对更新后的配置文件的版本号进行更新，且将更新后的配置文件的新版本号上传至集群管理服务器。

3.如权利要求2所述的基于应用集群的配置数据动态更新系统，其特征在于，所述更新模块具体用于：

当需要对配置数据进行更新时，读取旧版本号对应的配置文件，并复制该旧版本号对应的配置文件，在复制的配置文件中更新配置数据，以及对应更新更新后的配置文件的版本号，且将更新后的新版本号上传至集群管理服务器。

4.如权利要求3所述的基于应用集群的配置数据动态更新系统，其特征在于，每一个应用节点均包括一个监听线程；

所述集群管理服务器具体用于：

当版本号更新时，将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点中的监听线程。

5.如权利要求4所述的基于应用集群的配置数据动态更新系统，其特征在于，每一个监听线程包括：

第一读取模块，用于当监听线程监听到集群管理服务器广播的版本号更新事件时，从集群管理服务器中读取最新版本号；

比较模块，用于将读取的最新版本号与本地缓存中的版本号进行比较；

第二读取模块，用于当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据；

加载模块，用于将读取的最新的配置数据加载到本地缓存。

6.一种基于应用集群的配置数据动态更新方法，其特征在于，包括：

S1，对配置数据进行配置更新，以及对配置文件版本号进行配置更新，并将配置文件版本号上传至集群管理服务器，其中，配置数据存储于配置文件中；

S2，当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点；

S3，当接收到所述集群管理服务器广播的版本号更新事件时，每一个应用节点从集群管理服务器中读取最新版本号，并根据所述最新版本号，从配置文件中读取对应的配置数据，加载到本地缓存。

7.如权利要求6所述的基于应用集群的配置数据动态更新方法，其特征在于，所述步骤S1具体包括：

S11，由配置管理服务器初始化配置数据，并将初始化的配置数据存储于磁盘的配置文件中；以及初始化配置文件版本号，并将配置文件版本号上传至集群管理服务器；

S12，当需要对配置数据进行更新时，由配置管理服务器对配置文件中的配置数据进行更新，以及对更新后的配置文件的版本号进行更新，且将更新后的新版本号上传至集群管理服务器。

8.如权利要求7所述的基于应用集群的配置数据动态更新方法，其特征在于，所述步骤S12具体包括：

当需要对配置数据进行更新时，由配置管理服务器读取旧版本号对应的配置文件，并复制该旧版本号对应的配置文件，在复制的配置文件中更新配置数据，以及对应更新更新后的配置文件的版本号，且将更新后的新版本号上传至集群管理服务器。

9.如权利要求8所述的基于应用集群的配置数据动态更新方法，其特征在于，还包括：

在应用集群的每一个应用节点配置一个监听线程；

所述步骤S2具体包括：

当配置文件版本号更新时，集群管理服务器生成版本号更新事件，并将版本号更新事件通过广播方式广播给应用集群中的每一个应用节点的监听线程。

10.如权利要求9所述的基于应用集群的配置数据动态更新方法，其特征在于，所述步骤S3具体包括：

S31，当应用节点的监听线程监听到集群管理服务器广播的版本号更新事件时，该监听线程从集群管理服务器中读取最新版本号；

S32，将读取的最新版本号与本地缓存中的版本号进行比较；

S33，当最新版本号与本地缓存中的版本号不一致时，根据最新版本号从磁盘中读取对应的配置文件，进而从配置文件中读取对应的配置数据，并加载到本地缓存。