CN112965937A

CN112965937A - 一种基于一致性哈希的高可用运维系统

Info

Publication number: CN112965937A
Application number: CN202110263422.8A
Authority: CN
Inventors: 潘晓东; 苏斌
Original assignee: Beijing Huaheng Shengshi Technology Co ltd
Current assignee: Beijing Huaheng Shengshi Technology Co ltd
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2021-06-15

Abstract

本发明公开了基于一致性哈希的高可用运维系统，属于运维系统技术领域，该系统的主要特点是在各个组件相互通信的中间，加入了一致性哈希算法，形成了一致性哈希环，组件之间的寻址，通过一致性哈希函数完成，这样服务端可以组成一个高可用集群，随着业务压力的增长，增加服务器数量就可以完成扩容。同理，为了解决数据库压力问题，也采用了一致性哈希进行寻址，当数据库压力增大的时候，增加服务器数量也可以完成扩容。

Description

一种基于一致性哈希的高可用运维系统

技术领域

本发明涉及运维系统技术领域，尤其涉及一种基于一致性哈希的高可用运维系统。

背景技术

目前业界的数据中心运维系统，主要采用的是集中服务器架构，分为四步部分组成：服务器、探针、数据库和展示端。

现有的数据中心运维系统，服务器是整个系统中中心压力热点，因此压力非常大。探针每秒或者数10秒发送一次数据到服务器，如果服务端故障或者压力过大，整个系统将无法工作。目前解决的方法将服务端配置一个备份，(如下图)，通过如果主故障，将采用从服务器进行接管。此方法的问题是：主从服务器只有一个能够正常提供服务，另外一个是冷备份。

数据库是压力热点，所有的数据，均要存储到数据库中，大型的系统，每天都会产生上百GB的数据，普通数据库无法承载巨大的数据压力，必须采用分布式数据库，但是分布式数据库往往非常昂贵，而且性能也不一定能够满足要求。

发明内容

本发明实施例提供基于一致性哈希的高可用运维系统，以解决现有技术中的服务端和数据库是均为压力热点的技术问题。

本发明实施例采用下述技术方案：一种基于一致性哈希的高可用运维系统，包括探针、服务器、数据库以及展示端，所述服务器分别与探针和数据库连接，所述探针、服务器、数据库均设有若干个，所述展示端连接至数据库，所述服务器与探针和数据库的通信间加入一致性哈希算法，形成了一致性哈希环，从而使服务器、探针和数据库之间的寻址，通过一致性哈希函数完成，这样服务端可以组成一个高可用集群，随着业务压力的增长，增加服务器数量就可以完成扩容。同理，为了解决数据库压力问题，也采用了一致性哈希进行寻址，当数据库压力增大的时候，增加服务器数量也可以完成扩容。

进一步的，所述探针用于采集服务器指标，安装在被采集的服务器上，并且把指标上传到服务器，指标包括CPU、内存、磁盘信息，探针分为普通探针和专用探针，部分探针还能够执行从服务端发过来的指令，完成相关运维操作。

进一步的，所述服务器用于接受探针采集的数据，并且把数据存储到数据库中，同时向探针发送部分指令，使其执行某些任务。

进一步的，所述数据库用于存储服务端发送的采集指标，包括CPU、内存、磁盘信息等，还有其他相关联的信息。由于运维系统采集的数据每秒或者数10秒采集一次，因此数据量非常大。

进一步的，所述展示端用于将数据库中的内容通过Web的方式展示出来，提供给管理人员查看，包括Web前端和Web服务端。

进一步的，所述探针为通用探针和java组成，运行过程中若干个通用探针和java探针分别与服务器进行连接，根据一致性哈希算法将通用探针和java探针分别对指定服务器的指标进行采集。

本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：

其一，该系统的主要特点是在各个组件相互通信的中间，加入了一致性哈希算法，形成了一致性哈希环，组件之间的寻址，通过一致性哈希函数完成，这样服务端可以组成一个高可用集群，随着业务压力的增长，增加服务器数量就可以完成扩容。同理，为了解决数据库压力问题，也采用了一致性哈希进行寻址，当数据库压力增大的时候，增加服务器数量也可以完成扩容。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中的运维系统架构图；

图2为代入一致性哈希函数后的运维系统架构图；

图3为一致性哈希环的布设架构图；

图4为服务器故障后探针与服务器的搭建图；

图5为增加服务器或者上线时探针与服务器的搭建图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明各实施例提供的技术方案。

一种基于一致性哈希的高可用运维系统，包括探针、服务器、数据库以及展示端，所述服务器分别与探针和数据库连接，所述探针、服务器、数据库均设有若干个，所述展示端连接至数据库，所述服务器与探针和数据库的通信间加入一致性哈希算法，形成了一致性哈希环，从而使服务器、探针和数据库之间的寻址，通过一致性哈希函数完成，这样服务端可以组成一个高可用集群，随着业务压力的增长，增加服务器数量就可以完成扩容。同理，为了解决数据库压力问题，也采用了一致性哈希进行寻址，当数据库压力增大的时候，增加服务器数量也可以完成扩容。

如假设哈希函数H的值空间为0-2^32-1(哈希值是32位无符号整形)，服务器(ID)也被映射到0-2^32-1，每个要访问的对象(ID)也被映射到0-2^32-1，需要访问的服务器，只需要顺时针找到第一个节点就可以了。

如图3所示：

假设服务器ID分别是：5 000 000(服务器3),10 000 000(服务器2),20000 000(服务器1)

假设探针ID分别是：11 000 000(探针1),23 000 000(探针2),8 000 000(探针3)

探针1带着自己的ID9(11 000 000)，在环上寻找到自己的位置为橙色的小点，然后顺时针寻找到下一个服务器为服务器1；

探针2带着自己的ID9(23 000 000)，在环上寻找到自己的位置为蓝色的小点，然后顺时针寻找到下一个服务器为服务器3；

探针3带着自己的ID9(8 000 000)，在环上寻找到自己的位置为橙色的小点，然后顺时针寻找到下一个服务器为服务器2；

探针上传数据逻辑

定义函数:

GenID(服务特征)：生成服务器ID,0≤ID≤2^32-1,服务特征可是IP，或者程序名等等，能够区分就行，这里定义为IP+程序名,

第一步：服务器生成自己的ID，并且注册到环上，GenID(IP,Server)∈(ServerIDs)

第二步：探针生成自己的ID，并且注册到环上，GenID(IP,Client)∈(ClientIDs)

第三步：探针X根据自己的IDx，找到自己对应的服务器，具体伪代码如下：

第四步：探针根据第三步返回的数据id，建立和服务器的连接，进行数据发送。

服务器或者数据库，在故障或者下线时：

如图4所示，

假设服务3故障，原来探针2和其相连，这探针2需要在换上顺时针寻找下一个节点，顺着找到了服务器2。

服务器或者数据库，在扩容或者上线：

如图5所示，

假设增加服务4，并且ID＝1 000 000，如上图，这落在了服务器1和服务器3中间，服务器3的部分数据被分走，探针2之前和服务器3建立的连接，则需要断开，重新和服务器4进行连接。

优选的，所述探针为通用探针和java组成，运行过程中若干个通用探针和java探针分别与服务器进行连接，根据一致性哈希算法将通用探针和java探针分别对指定服务器的指标进行采集。

优选的，所述服务器用于接受探针采集的数据，并且把数据存储到数据库中，同时向探针发送部分指令，使其执行某些任务。

优选的，所述探针用于采集服务器指标，安装在被采集的服务器上，并且把指标上传到服务器，指标包括CPU、内存、磁盘信息，探针分为普通探针和专用探针(如Java探针等)，部分探针还能够执行从服务端发过来的指令，完成相关运维操作。

优选的，所述数据库用于存储服务端发送的采集指标，包括CPU、内存、磁盘信息等，还有其他相关联的信息。由于运维系统采集的数据每秒或者数10秒采集一次，因此数据量非常大。

优选的，所述展示端用于将数据库中的内容通过Web的方式展示出来，提供给管理人员查看，包括Web前端和Web服务端。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种基于一致性哈希的高可用运维系统，包括探针、服务器、数据库以及展示端，所述服务器分别与探针和数据库连接，所述探针、服务器、数据库均设有若干个，所述展示端连接至数据库，所述服务器与探针和数据库的通信间加入一致性哈希算法，形成了一致性哈希环，从而使服务器、探针和数据库之间的寻址，通过一致性哈希函数完成，这样服务端可以组成一个高可用集群，随着业务压力的增长，增加服务器数量就可以完成扩容。

2.根据权利要求1所述的一种基于一致性哈希的高可用运维系统，其特征在于：所述探针用于采集服务器指标，安装在被采集的服务器上，并且把指标上传到服务器，指标包括CPU、内存、磁盘信息，探针分为普通探针和专用探针。

3.根据权利要求1所述的一种基于一致性哈希的高可用运维系统，其特征在于：所述服务器用于接受探针采集的数据，并且把数据存储到数据库中，同时向探针发送部分指令。

4.根据权利要求1所述的一种基于一致性哈希的高可用运维系统，其特征在于：所述数据库用于存储服务端发送的采集指标，包括CPU、内存、磁盘信息。

5.根据权利要求1所述的一种基于一致性哈希的高可用运维系统，其特征在于：所述展示端用于将数据库中的内容通过Web的方式展示出来，提供给管理人员查看，包括Web前端和Web服务端。

6.根据权利要求1所述的一种基于一致性哈希的高可用运维系统，其特征在于：所述探针为通用探针和java组成，运行过程中若干个通用探针和java探针分别与服务器进行连接，根据一致性哈希算法将通用探针和java探针分别对指定服务器的指标进行采集。