CN107483250A

CN107483250A - 分布式配置管理方法、装置及实现分布式配置管理的系统

Info

Publication number: CN107483250A
Application number: CN201710717938.9A
Authority: CN
Inventors: 邵宁
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-08-21
Filing date: 2017-08-21
Publication date: 2017-12-15

Abstract

本发明公开了一种分布式配置管理方法包括：从分布式存储集群中确定与客户端的目标服务对应的目标节点；从目标节点中下载与所述目标服务对应的目标配置文件；调用所述目标服务加载目标配置文件。本发明公开的分布式配置管理方法实现配置文件的集中管理和下发，采用分布式存储集群作为配置文件的存储载体，配置分布式服务保证系统的高可用性，客户端在本地缓存最新配置文件，分布式存储集群不可用时使用本地缓存保证系统的容错性，在分布式存储集群中可以配置多个节点保证系统的高性能，节点以预设的时间间隔更新本地配置文件保证系统的近似实时生效。本发明还公开了一种分布式配置管理装置及实现分布式配置管理的系统，同样能实现上述技术效果。

Description

分布式配置管理方法、装置及实现分布式配置管理的系统

技术领域

本发明涉及配置管理领域，更具体地说，涉及一种分布式配置管理方法、装置及实现分布式配置管理的系统。

背景技术

在信息技术快速发展的今天，互联网企业越来越多，为了使用更廉价的机器来满足大量的用户请求并保证服务的可用性，大多数企业会采用分布式集群的方式搭建自己的服务。在一个分布式环境中往往存在很多种不同的服务协同工作。

随着业务的发展，应用系统中的配置通常会越来越多，为了保证服务的一致性，必须有一种保证相同服务使用相同的配置文件的方法。这时就需要将所有配置文件集中管理和下发，即配置管理服务。

一般来讲，配置管理系统需要满足以下几个特性：

1、高可用性：服务器集群应该无单点故障，在部分节点宕机情况下能正常提供服务；

2、容错性：保证即便在配置中心不可用时，也不影响客户端的正常运行；

3、高性能：配置中心需要保证客户端获取配置的性能满足一定的要求；

4、可靠的存储：包括数据的备份、容灾、一致性等；

5、近似实时生效：对于配置的变更，客户端应用能够及时感知；

6、负载均衡：为了尽量提升服务器集群的性能及稳定性，应尽量保证客户端的请求能尽量均衡负载到各服务器节点；

7、扩展性：服务器集群应该保证做到无感扩容，以提升集群服务能力。

因此，如何在满足配置管理系统特性的同时，实现配置文件的集中管理和下发是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种分布式配置管理方法、装置及实现分布式配置管理的系统，在满足配置管理系统特性的同时，实现配置文件的集中管理和下发。

为实现上述目的，本发明实施例提供了一种分布式配置管理方法，包括：

从分布式存储集群中确定与客户端的目标服务对应的目标节点；

从所述目标节点中下载与所述目标服务对应的目标配置文件；

调用所述目标服务加载所述目标配置文件。

其中，调用所述目标服务加载所述目标配置文件之前，还包括：

对比所述目标配置文件与所述客户端存储的本地配置文件，判断所述本地配置文件是否为更新后的配置文件；

若否，则执行调用所述目标服务加载所述目标配置文件的步骤。

其中，从所述目标节点中下载与所述目标服务对应的目标配置文件之前，还包括：

从所述目标节点中获取与所述目标服务对应的目标配置文件的元数据信息；

对比所述元数据信息与所述客户端存储的本地配置文件的本地元数据信息，判断所述本地配置文件是否为更新后的配置文件；

若否，则执行从所述目标节点中下载与所述目标服务对应的目标配置文件的步骤。

为实现上述目的，本发明实施例提供了一种分布式配置管理装置，包括：

确定模块，用于从分布式存储集群中确定与客户端的目标服务对应的目标节点；

下载模块，用于从所述目标节点中下载与所述目标服务对应的目标配置文件；

调用模块，用于调用所述目标服务加载所述目标配置文件。

其中，还包括：

第一对比模块，用于对比所述目标配置文件与所述客户端存储的本地配置文件，判断所述本地配置文件是否为更新后的配置文件，若否，则触发所述调用模块。

其中，还包括：

获取模块，用于从所述目标节点中获取与所述目标服务对应的目标配置文件的元数据信息；

第二对比模块，用于对比所述元数据信息与所述客户端存储的本地配置文件的本地元数据信息，判断所述本地配置文件是否为更新后的配置文件，若否，则触发所述下载模块。

为实现上述目的，本发明实施例提供了一种实现分布式配置管理的系统，包括：

分布式存储集群，所述分布式存储集群中的节点用于存储配置文件和所述配置文件对应的元数据信息；

客户端，用于从所述分布式存储集群中确定与所述客户端的目标服务对应的目标节点；从所述目标节点中下载与所述目标服务对应的目标配置文件；调用所述目标服务加载所述目标配置文件。

其中，还包括：

管理模块，用于根据所述分布式存储集群中配置文件的存储方式修改所述配置文件。

其中，若所述存储方式为对象存储方式，则所述管理模块具体用于从所述分布式存储集群中的待更新节点下载配置文件，修改所述配置文件，将修改后的配置文件上传至所述待更新节点中替换所述配置文件，并更新所述配置文件对应的元数据信息。

其中，若所述存储方式为文件存储方式，则所述管理模块具体用于在所述分布式存储集群中修改待更新节点存储的配置文件，并更新所述配置文件对应的元数据信息。

通过以上方案可知，本发明实施例提供的一种分布式配置管理方法包括：从分布式存储集群中确定与客户端的目标服务对应的目标节点；从所述目标节点中下载与所述目标服务对应的目标配置文件；调用所述目标服务加载所述目标配置文件。

本发明实施例提供的分布式配置管理方法，采用分布式存储集群作为配置文件的存储载体，配置分布式服务保证系统高可用性，客户端在本地缓存最新配置文件，分布式存储集群不可用时使用本地缓存保证系统的容错性，在分布式存储集群中可以配置多个节点保证系统的高性能，节点以预设的时间间隔更新本地配置文件保证系统的近似实时生效。由此可见，本发明实施例提供的分布式配置管理方法，在满足配置管理系统高可用性、容错性、高性能、近似实时生效的同时，实现配置文件的集中管理和下发。本发明实施例还提供了一种分布式配置管理装置及实现分布式配置管理的系统，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种分布式配置管理方法的流程图；

图2为本发明实施例公开的另一种分布式配置管理方法的流程图；

图3为本发明实施例公开的又一种分布式配置管理方法的流程图；

图4为本发明实施例公开的一种分布式配置管理装置的结构图；

图5为本发明实施例公开的一种实现分布式配置管理系统的结构图；

图6为本发明实施例公开的又一种实现分布式配置管理系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种分布式配置管理方法，在满足配置管理系统特性的同时，实现配置文件的集中管理和下发。

参见图1，本发明实施例公开的一种分布式配置管理方法的流程图，如图1所示，包括：

S101：从分布式存储集群中确定与客户端的目标服务对应的目标节点；

分布式存储集群中具有用于存储配置信息的多个数据节点，客户端以预定的时间间隔，在分布式存储集群中确定存储正在执行的目标服务需要的配置文件的目标节点。上述时间间隔可以根据实际需要人为进行修改，也可以根据目标服务的属性客户端自动调节，保证近似实时生效，在此不作具体限定。

在具体实施中，为了保证系统的高可用性，可以将目标配置文件存储在不同的节点上，选择其中的一个节点作为主节点，其他节点为从节点，一般情况下将主节点作为该目标服务对应的目标节点，当目标节点发生故障时，在从节点中选择一个可用节点作为该目标服务对应的目标节点。

S102：从所述目标节点中下载与所述目标服务对应的目标配置文件；

客户端中的存储器用于本地缓存正在执行的目标服务的配置文件，从目标节点中下载与所述目标服务对应的目标配置文件，替换本地缓存中的配置文件，以更新本地缓存。

S103：调用所述目标服务加载所述目标配置文件。

客户端更新本地缓存后，需要调用正在执行的目标服务重新加载目标配置文件，保证目标服务使用的配置文件的时效性。

可以理解的是，客户端每次从分布式存储集群中下载目标配置文件后，都会在本地保存一份最新的配置文件备份作为本地缓存，因此，当由于网络原因或分布式存储集群宕机，暂时不能获取最新的配置文件时，客户端可以暂时使用本地缓存的配置文件，从而提升系统的可靠性。

本发明实施例提供的分布式配置管理方法，采用分布式存储集群作为配置文件的存储载体，配置分布式服务保证系统高可用性，客户端在本地缓存最新配置文件，分布式存储集群不可用时使用本地缓存保证系统的容错性，在分布式存储集群中可以配置多个节点保证系统的高性能，节点以预设的时间间隔更新本地配置文件保证系统的近似实时生效。由此可见，本发明实施例提供的分布式配置管理方法，在满足配置管理系统高可用性、容错性、高性能、近似实时生效的同时，实现配置文件的集中管理和下发。

本发明实施例公开了一种分布式配置管理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图2，本发明实施例公开的另一种分布式配置管理方法的流程图，如图2所示，包括：

S201：从分布式存储集群中确定与客户端的目标服务对应的目标节点；

S221：从所述目标节点中下载与所述目标服务对应的目标配置文件；

S222：对比所述目标配置文件与所述客户端存储的本地配置文件，判断所述本地配置文件是否为更新后的配置文件，若否，则进入S203，若是，则结束流程；

S203：调用所述目标服务加载所述目标配置文件。

为了使本发明实施例提供的分布式配置管理方法更加简洁，可以在调用目标服务加载目标配置文件之前加入判断本地配置文件是否为更新后的配置文件的步骤。通过对比目标配置文件进而客户端本地缓存的配置文件判断本地缓存的配置文件是否为更新后的配置文件，若是，则不需要调用目标服务重新加载配置文件，节省了每次更新目标服务配置文件的时间；若否，则表示目标服务的配置文件已经进行了修改，需要进行S203的步骤。

本发明实施例公开的分布式配置管理方法，还可以利用本地配置文件的本地元数据信息判断所述本地配置文件是否为更新后的配置文件，具体的：

参见图3，本发明实施例提供的又一种分布式配置管理方法的流程图，如图3所示，包括：

S301：从分布式存储集群中确定与客户端的目标服务对应的目标节点；

S321：从所述目标节点中获取与所述目标服务对应的目标配置文件的元数据信息；

在具体实施中，客户端也可以通过元数据信息，判断本地缓存的配置文件是否为更新后的配置文件。首先需要从目标节点下载目标配置文件的元数据信息，该元数据信息可以包括目标配置文件的最近修改时间、摘要信息等。

S322：对比所述元数据信息与所述客户端存储的本地配置文件的本地元数据信息，判断所述本地配置文件是否为更新后的配置文件，若否，则进入S323，若是，则结束流程；

在具体实施中，客户端通过对比从目标节点下载的最新的元数据信息和本地缓存的配置文件的元数据信息，判断本地缓存的配置文件是否为更新后的配置文件，若是，则省去了从目标节点中下载目标配置文件的步骤，更加节省了每次更新目标服务配置文件的时间；若否，则表示目标服务的配置文件已经进行了修改，需要完成下面两个步骤以更新目标服务的配置信息。

S323：从所述目标节点中下载与所述目标服务对应的目标配置文件；

S303：调用所述目标服务加载所述目标配置文件。

下面对本发明实施例提供的一种分布式配置管理装置进行介绍，下文描述的一种分布式配置管理装置与上文描述的一种分布式配置管理方法可以相互参照。

参见图4，本发明实施例公开的一种分布式配置管理装置的结构图，如图4所示，包括：

确定模块401，用于从分布式存储集群中确定与客户端的目标服务对应的目标节点；

下载模块402，用于从所述目标节点中下载与所述目标服务对应的目标配置文件；

调用模块403，用于调用所述目标服务加载所述目标配置文件。

本发明实施例提供的分布式配置管理装置，采用分布式存储集群作为配置文件的存储载体，配置分布式服务保证系统高可用性，客户端在本地缓存最新配置文件，分布式存储集群不可用时使用本地缓存保证系统的容错性，在分布式存储集群中可以配置多个节点保证系统的高性能，节点以预设的时间间隔更新本地配置文件保证系统的近似实时生效。由此可见，本发明实施例提供的分布式配置管理方法，在满足配置管理系统高可用性、容错性、高性能、近似实时生效的同时，实现配置文件的集中管理和下发。

在上述实施例的基础上，作为优选实施方式，还包括：

下面对本发明实施例提供的一种实现分布式配置管理系统进行介绍，下文描述的一种实现分布式配置管理系统与上文描述的一种分布式配置管理方法可以相互参照。

参见图5，本发明实施例公开的一种实现分布式配置管理系统的结构图，如图5所示，包括：

分布式存储集群501，所述分布式存储集群中的节点用于存储配置文件和所述配置文件对应的元数据信息；

所述分布式存储集群可以是ceph分布式存储集群，也可以是其他分布式存储集群或数据库，都在本发明的保护范围内，在此不作具体限定。

客户端502，用于从所述分布式存储集群中确定与所述客户端的目标服务对应的目标节点；从所述目标节点中下载与所述目标服务对应的目标配置文件；调用所述目标服务加载所述目标配置文件。

以图5所示的客户端1为例，所述实现分布式配置管理系统的工作流程为：

1、从分布式存储集群中确定与客户端1的目标服务A对应的目标节点；

若所述分布式存储集群中的节点1、节点2和节点3都存储着目标服务A对应的目标配置文件，而节点1为主节点，节点2和节点3为从节点，当节点1为可用节点时，将节点1确定为目标节点。

2、从所述节点1中下载与所述目标服务A对应的目标配置文件；

3、调用所述目标服务A加载所述目标配置文件。

本发明实施例提供的实现分布式配置管理的系统，采用分布式存储集群作为配置文件的存储载体，配置分布式服务保证系统高可用性，客户端在本地缓存最新配置文件，分布式存储集群不可用时使用本地缓存保证系统的容错性，在分布式存储集群中可以配置多个节点保证系统的高性能，节点以预设的时间间隔更新本地配置文件保证系统的近似实时生效。由此可见，本发明实施例提供的分布式配置管理方法，在满足配置管理系统高可用性、容错性、高性能、近似实时生效的同时，实现配置文件的集中管理和下发。

本发明实施例公开了一种实现分布式配置管理系统，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图6，本发明实施例公开的又一种实现分布式配置管理系统的结构图，如图6所示，包括：

分布式存储集群601，所述分布式存储集群中的节点用于存储配置文件和所述配置文件对应的元数据信息；

客户端602，用于从所述分布式存储集群中确定与所述客户端的目标服务对应的目标节点；从所述目标节点中下载与所述目标服务对应的目标配置文件；调用所述目标服务加载所述目标配置文件。

管理模块603，用于根据所述分布式存储集群中配置文件的存储方式修改所述配置文件。

分布式管理集群可以提供多种存储服务，包括文件存储、块存储、对象存储。管理员可以通过管理模块，根据所述分布式存储集群中配置文件的存储方式的不同，以不同的方式修改集群中数据节点的配置文件及其对应的元数据信息。

其中，若所述存储方式为对象存储方式，则管理员通过以下流程修改配置文件及其对应的元数据信息：从所述分布式存储集群中的待更新节点下载配置文件，修改所述配置文件，将修改后的配置文件上传至所述待更新节点中替换所述配置文件，并更新所述配置文件对应的元数据信息。

其中，若所述存储方式为文件存储方式，则管理员通过以下流程修改配置文件及其对应的元数据信息：在所述分布式存储集群中修改待更新节点存储的配置文件，并更新所述配置文件对应的元数据信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种分布式配置管理方法，其特征在于，包括：

调用所述目标服务加载所述目标配置文件。

2.根据权利要求1所述的分布式配置管理方法，其特征在于，调用所述目标服务加载所述目标配置文件之前，还包括：

3.根据权利要求1所述的分布式配置管理方法，其特征在于，从所述目标节点中下载与所述目标服务对应的目标配置文件之前，还包括：

4.一种分布式配置管理装置，其特征在于，包括：

调用模块，用于调用所述目标服务加载所述目标配置文件。

5.根据权利要求4所述的分布式配置管理装置，其特征在于，还包括：

6.根据权利要求4所述的分布式配置管理装置，其特征在于，还包括：

7.一种实现分布式配置管理的系统，其特征在于，包括：

8.根据权利要求7所述的实现分布式配置管理的系统，其特征在于，还包括：

9.根据权利要求8所述的实现分布式配置管理的系统，其特征在于，

若所述存储方式为对象存储方式，则所述管理模块具体用于从所述分布式存储集群中的待更新节点下载配置文件，修改所述配置文件，将修改后的配置文件上传至所述待更新节点中替换所述配置文件，并更新所述配置文件对应的元数据信息。

10.根据权利要求8所述的实现分布式配置管理的系统，其特征在于，

若所述存储方式为文件存储方式，则所述管理模块具体用于在所述分布式存储集群中修改待更新节点存储的配置文件，并更新所述配置文件对应的元数据信息。