CN115396302B - 一种多节点高可用的配置分发系统及其工作方法 - Google Patents

Abstract

本发明属于配置分发技术领域，公开了一种多节点高可用的配置分发系统及其工作方法，所述的配置分发系统，包括请求接收单元、配置中心集群、存储中心集群以及数据库集群，请求接收单元分别与配置中心集群和存储中心集群连接，且请求接收单元连接有外部的用户终端、第三方服务器以及服务集群，配置中心集群分别与存储中心集群和数据库集群连接。本发明解决了现有技术存在的配置架构的实时性、高可用性无法满足要求，系统的运维成本高、工作效率低的问题。

Description

一种多节点高可用的配置分发系统及其工作方法

技术领域

本发明属于配置分发技术领域，具体涉及一种多节点高可用的配置分发系统及其工作方法。

背景技术

配置分发的本质是为了让用户更快速高效的享受到最新的服务，也就是配置的更新能够及时、精准、高效。在互联网应用发展的过程中，配置分发都是非常重要且不可或缺的一环，如何保证配置的高可用，是一个特别重要的功能指标。

在互联网发展初步阶段，很多应用服务都是单机部署，只需要人工运维或者简单的脚本就可以维护。随着互联网用户越来越多，服务应用的访问用户也越来越多，应用会出现响应慢，响应超时，甚至服务宕机，单机部署无法满足保证应用能够正常平稳的运行，这时候就出现了集群化部署，将服务部署到各地不同的机房服务器上(包含容器，虚机等)，保证用户就近访问服务，将用户的请求分流到不同机房，保证业务的稳定和用户良好的体验。

上述的多机房多服务器部署虽然能够保证用户正常访问应用服务，但是需要保证配置内容的一致性，实时性以及高可用，当应用部署的节点机房足够的多，配置更新的频率越高，对配置架构的高可用要求越来越高。

现有技术存在的问题：

目前的多机房多服务器部署的配置架构的实时性、高可用性无法满足要求，并且当存储中心集群和配置中心集群都发生故障的时候，节点无法更新配置，只能通过告警发现，简单的告警可以通过一些简单自动化脚本执行一些命令进行故障治愈，但是有些复杂的问题还是需要人工去干预解决，导致运维成本高、工作效率低。

发明内容

为了解决现有技术存在的配置架构的实时性、高可用性无法满足要求，系统的运维成本高、工作效率低的问题，本发明目的在于提供一种多节点高可用的配置分发系统及其工作方法。

本发明所采用的技术方案为：

一种多节点高可用的配置分发系统，包括请求接收单元、配置中心集群、存储中心集群以及数据库集群，请求接收单元分别与配置中心集群和存储中心集群连接，且请求接收单元连接有外部的用户终端、第三方服务器以及服务集群，配置中心集群分别与存储中心集群和数据库集群连接。

进一步地，请求接收单元包括系统界面接口、开放应用编程接口、内容分发网络、网关以及负载均衡器，内容分发网络分别与系统界面接口、开放应用编程接口以及网关连接，系统界面接口连接有外部的用户终端，开放应用编程接口连接有外部的第三方服务器和服务集群，负载均衡器分别与网关、配置中心集群以及存储中心集群连接。

进一步地，配置中心集群设置有若干配置节点，若干配置节点均分别与请求接收单元的负载均衡器、存储中心集群以及数据库集群连接。

进一步地，存储中心集群包括代理子集群和缓存数据库子集群，代理子集群分别与缓存数据库子集群和请求接收单元的负载均衡器连接，缓存数据库子集群与配置中心集群的每个配置节点连接。

进一步地，代理子集群设置有若干代理节点，若干代理节点均分别与请求接收单元的负载均衡器和缓存数据库子集群连接。

进一步地，缓存数据库子集群包括若干主缓存节点和若干从缓存节点，若干主缓存节点均分别与对应的从缓存节点、代理子集群的每个代理节点以及配置中心集群的每个配置节点连接。

进一步地，数据库集群包括若干主数据库节点和若干从数据库节点，若干主数据库节点均分别与对应的从数据库节点和配置中心集群的每个配置节点连接。

进一步地，配置分发系统还设置有监控单元和推送单元，监控单元分别与推送单元、配置中心集群、存储中心集群以及数据库集群连接，推送单元连接有外部的监控终端。

进一步地，服务集群包括若干服务节点，若干服务节点均与请求接收单元的开放应用编程接口连接。

一种多节点高可用的配置分发系统的工作方法，基于配置分发系统，包括如下步骤：

使用请求接收单元接收外部的配置请求，并对配置请求进行鉴权；

鉴权通过后，使用配置中心集群对配置请求进行处理，得到更新的配置数据；

将更新的配置数据存储至数据库集群和备份至存储中心集群，并返回配置结果；

使用请求接收单元接收服务集群周期性发送的原始的服务数据，并在存储中心集群中匹配并返回对应的配置数据；

使用服务集群根据对应的配置数据更新本地的服务节点的服务数据，并向配置中心集群发送对应的上报结果；

更新周期到达后，若配置中心集群接收的所有上报结果均为更新成功，则结束本次配置分发系统的工作，等待下一次接收配置请求或服务集群，否则发出告警信息。

本发明的有益效果为：

本发明提供的多节点高可用的配置分发系统及其工作方法，能够保证多节点集群服务的自动化部署，降低运维的成本，无需花精力去同步重载配置和服务，提高了工作效率，避免了配置中心集群、存储中心集群以及数据库集群中任意集群发生故障，导致的业务访问受限，保证正常对外提供服务，大大的提高了系统的实时性和系统的可用性。

本发明的其他有益效果将在具体实施方式中进一步进行说明。

附图说明

图1是本发明中多节点高可用的配置分发系统的结构框图。

图2是本发明中工作方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

实施例1：

如图1所示，本实施例提供一种多节点高可用的配置分发系统，包括请求接收单元、配置中心集群、存储中心集群以及数据库集群，请求接收单元分别与配置中心集群和存储中心集群连接，且请求接收单元连接有外部的用户终端、第三方服务器以及服务集群，配置中心集群分别与存储中心集群和数据库集群连接；

请求接收单元接收外部的用户终端和第三方服务器发送的配置请求，并对配置请求进行鉴权，鉴权通过后，将配置请求发送至配置中心集群，接收服务集群周期性发送的原始的服务数据，在存储中心集群中匹配并返回对应的配置数据，接收服务集群发送的上报结果；配置中心集群将接收的配置请求经过逻辑处理、规则运算等，转化为最终服务能够识别的配置数据，将更新的配置数据存储至数据库集群和备份至存储中心集群，返回配置结果，定时扫描上报结果，判断上报结果是否为更新成功；存储中心集群存储配置数据，抗住大量的访问压力，降低配置中心集群和数据库集群的压力，当存储中心集群不可用是，再从配置中心集群中获取配置数据；数据库集群作为数据库主备集群，进行数据实时同步，存储最原始的配置请求和对应的配置数据，对配置数据进行落盘，防止数据缺失。

作为优选，请求接收单元包括系统界面接口、开放应用编程接口OpenAPI、内容分发网络CDN、网关以及负载均衡器SLB，内容分发网络分别与系统界面接口、开放应用编程接口以及网关连接，系统界面接口连接有外部的用户终端，开放应用编程接口连接有外部的第三方服务器和服务集群，负载均衡器分别与网关、配置中心集群以及存储中心集群连接；

系统界面接口连接外部的用户终端，用户通过系统界面UI配置相关的需求，即上传配置请求，开放应用编程接口连接外部的第三方服务器和服务集群，第三方服务器通过OpenAPI上传配置请求，服务集群通过OpenAPI与配置分发系统进行服务数据、配置数据以及上报结果的传输，CDN对配置请求进行加速，保证各个地区的用户或者服务节点的节点服务器能够更快的访问到想要的资源；网关进行基本的鉴权，保护系统的服务器集群，防止恶意攻击；SLB提供了扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。

作为优选，配置中心集群设置有若干配置节点，若干配置节点均分别与请求接收单元的负载均衡器、存储中心集群以及数据库集群连接。

作为优选，存储中心集群包括代理子集群和缓存数据库子集群，代理子集群分别与缓存数据库子集群和请求接收单元的负载均衡器连接，缓存数据库子集群与配置中心集群的每个配置节点连接。

作为优选，代理子集群设置有若干代理节点，若干代理节点均分别与请求接收单元的负载均衡器和缓存数据库子集群连接。

作为优选，缓存数据库子集群采用哨兵机制，包括若干主缓存节点和若干从缓存节点，若干主缓存节点均分别与对应的从缓存节点、代理子集群的每个代理节点以及配置中心集群的每个配置节点连接。

作为优选，数据库集群包括若干主数据库节点和若干从数据库节点，若干主数据库节点均分别与对应的从数据库节点和配置中心集群的每个配置节点连接。

作为优选，配置分发系统还设置有监控单元和推送单元，监控单元分别与推送单元、配置中心集群、存储中心集群以及数据库集群连接，推送单元连接有外部的监控终端，监控终端为运维人员的终端设备，便于接收告警信息。

作为优选，服务集群包括若干服务节点，若干服务节点均与请求接收单元的开放应用编程接口连接。

实施例2：

如图2所示，本实施例提供一种多节点高可用的配置分发系统的工作方法，基于配置分发系统，包括如下步骤：

使用请求接收单元接收外部的配置请求，并对配置请求进行鉴权；

外部的配置请求来自用户或运维人员通过UI页面上传，以及第三方服务器调用Open API上传，每个第三方服务器配置唯一的私钥用于网关鉴权，配置请求到达网关，判断配置请求中的用户信息和参数是否合法，如果不合法，则直接返回错误，如果合法，则将配置请求发送到配置中心集群；

鉴权通过后，使用配置中心集群对配置请求进行处理，包括数据处理、渲染以及封装，得到更新的配置数据，配置请求包括增加、删除以及修改配置信息，配置数据包括配置版本号和配置内容；

将更新的配置数据存储至数据库集群和备份至存储中心集群，并返回配置结果；

使用请求接收单元接收服务集群周期性(默认30s，实际运用中，为了达到更高的效果，可以缩短同步的频率)发送的原始的服务数据，服务数据包括服务节点原始的本地IP和本地版本号，并在存储中心集群中匹配并返回对应的配置数据，服务集群直接从存储中心集群中获取配置数据，提高了获取速度，并且降低了数据库集群和配置中心集群的压力，如果存储中心集群发生故障，服务节点记录故障时间，10min内的服务数据请求会直接向配置中心集群发起，10min后再进行探测存储中心集群是否已经正常，如果还未恢复，更新本地时间，继续向配置中心集群发起服务数据请求，若服务节点原始的本地版本号为最新的版本，则返回已是最新；

使用服务集群根据对应的配置数据更新本地的服务节点的服务数据，并向配置中心集群发送对应的上报结果，上报结果为每个服务节点更新后的本地IP、本地版本号以及更新结果；

配置中心集群定时扫描上报结果，更新周期(默认5min)到达后，若配置中心集群接收的所有上报结果均为更新成功，即所有有效的服务节点机器数/上报结果为成功的机器数＝100％，则结束本次配置分发系统的工作，等待下一次接收配置请求或服务集群，否则统计未上报的服务节点和上报失败的服务节点并发出告警信息。

本发明提供的多节点高可用的配置分发系统及其工作方法，能够保证多节点集群服务的自动化部署，降低运维的成本，无需花精力去同步重载配置和服务，提高了工作效率，避免了配置中心集群、存储中心集群以及数据库集群中任意集群发生故障，导致的业务访问受限，保证正常对外提供服务，大大的提高了系统的实时性和系统的可用性。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (1)

1.一种多节点高可用的配置分发系统，其特征在于：包括请求接收单元、配置中心集群、存储中心集群以及数据库集群，所述的请求接收单元分别与配置中心集群和存储中心集群连接，且请求接收单元连接有外部的用户终端、第三方服务器以及服务集群，所述的配置中心集群分别与存储中心集群和数据库集群连接；

所述的请求接收单元包括系统界面接口、开放应用编程接口、内容分发网络、网关以及负载均衡器，所述的内容分发网络分别与系统界面接口、开放应用编程接口以及网关连接，所述的系统界面接口连接有外部的用户终端，所述的开放应用编程接口连接有外部的第三方服务器和服务集群，所述的负载均衡器分别与网关、配置中心集群以及存储中心集群连接；

所述的配置中心集群设置有若干配置节点，若干所述的配置节点均分别与请求接收单元的负载均衡器、存储中心集群以及数据库集群连接；

所述的存储中心集群包括代理子集群和缓存数据库子集群，所述的代理子集群分别与缓存数据库子集群和请求接收单元的负载均衡器连接，所述的缓存数据库子集群与配置中心集群的每个配置节点连接；

所述的代理子集群设置有若干代理节点，若干所述的代理节点均分别与请求接收单元的负载均衡器和缓存数据库子集群连接；

所述的缓存数据库子集群包括若干主缓存节点和若干从缓存节点，若干所述的主缓存节点均分别与对应的从缓存节点、代理子集群的每个代理节点以及配置中心集群的每个配置节点连接；

所述的数据库集群包括若干主数据库节点和若干从数据库节点，若干所述的主数据库节点均分别与对应的从数据库节点和配置中心集群的每个配置节点连接；

所述的配置分发系统还设置有监控单元和推送单元，所述的监控单元分别与推送单元、配置中心集群、存储中心集群以及数据库集群连接，所述的推送单元连接有外部的监控终端；

所述的服务集群包括若干服务节点，若干所述的服务节点均与请求接收单元的开放应用编程接口连接；

多节点高可用的配置分发系统的工作方法，包括如下步骤：

使用请求接收单元接收外部的配置请求，并对配置请求进行鉴权；

鉴权通过后，使用配置中心集群对配置请求进行处理，得到更新的配置数据；

将更新的配置数据存储至数据库集群和备份至存储中心集群，并返回配置结果；

使用请求接收单元接收服务集群周期性发送的原始的服务数据，并在存储中心集群中匹配并返回对应的配置数据；

使用服务集群根据对应的配置数据更新本地的服务节点的服务数据，并向配置中心集群发送对应的上报结果；

更新周期到达后，若配置中心集群接收的所有上报结果均为更新成功，则结束本次配置分发系统的工作，等待下一次接收配置请求或服务集群，否则发出告警信息。