CN107566531A

CN107566531A - 一种支持均衡资源的Elasticsearch集群扩展方法

Info

Publication number: CN107566531A
Application number: CN201710977782.8A
Authority: CN
Inventors: 曾超; 温若辉; 江汉祥; 吴金汉
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2017-10-17
Filing date: 2017-10-17
Publication date: 2018-01-09
Anticipated expiration: 2037-10-17
Also published as: CN107566531B

Abstract

本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤：S1.根据服务器硬件资源安装Elasticsearch节点；S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中；S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量，并支持按目标数据量和磁盘空间阈值自动创建库和分片，动态扩展集群；既避免了一个分片数据量太大，也避免了新数据插入时出现局部热点的问题，同时兼任新的服务器加入集群后，能自动识别并对Elasticsearch集群的库和分片做负载均衡。

Description

一种支持均衡资源的Elasticsearch集群扩展方法

技术领域

本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法。

背景技术

随着社会的发展进步，已经迈入大数据时代，海量数据的存储和检索已经应用到各个领域。其中全文检索属于其中常用功能之一，类似实现百度、淘宝的查询效果。而Elasticsearch属于全文检索中使用最多的企业级搜索应用服务器，已为埃哲森、暴雪娱乐、戴尔、eBay等大型企业提供解决方案。具备功能丰富、近实时检索、支持集群等特点，且免费开源。

对于海量数据的存储，Elasticsearch支持集群模式，每台服务器上可以部署多个数据节点。每个库可以划分多个主分片(shard)，每个主分片独立存储和部署。每个库要求配置固定的主分片数，入库时根据数据主键(id)的Hash值来分发到不同的主分片(shard)。但是建库(index)时就必须固定主分片数量。比如100亿的数据总量，按每个主分片分配5000万数据量，则可直接创建200个主分片。一旦配置后就无法修改主分片数量，只适合数据量很明确的应用场景。

实际应用场景中，大多数系统的数据量都是不明确，不可能一成不变，通常情况下按年成倍增长。因此，Elasticsearch默认的分片机制无法满足要求，无法固定Hash分片机制中的主分片数。当系统数据量不断增长，已有的服务器资源有限，通常通过横向扩容加入新的服务器到集群中，分担压力。新的机器加入集群后，如何划分分片并加入已有库成为一个问题。

其次集群中的服务器不一样，比如存在新老服务器混合组合的集群，新老服务器磁盘的转速、空间大小、内存大小等资源都可能不一样。如何根据服务器的硬件资源分配数据也是一个问题。

发明内容

针对以上的问题，本发明提供了一种支持均衡资源的Elasticsearch集群扩展方法。具体技术方案如下：

一种支持均衡资源的Elasticsearch集群扩展方法，可包括以下步骤：

S1.根据服务器硬件资源安装Elasticsearch节点；

S2.设置动态集群的基本参数和记录动态集群的一些状态值，并将这些参数和动态值以数据库或XML的形式持久化到磁盘中，其中，所述参数包括库名index_name、最后创建的库名latest_index_name、允许部署的服务器IP地址列表ips、复制因子number_of_replicas、每个分片最多存储的文档数maxDocCount、每个分片存储占用的最大磁盘空间maxStoreSize；

S3.创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建分片和调整入库策略，具体步骤如下：

S31.从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态，包括文档总数、总占用空间、主分片数N和节点总数D，判断文档总数和空间值是否达到阈值，如果文档总数超过maxDocCount×N，或者总占用空间超过maxStoreSize×N，则进入步骤S32，否则进入步骤S39；

S32.计算集群中物理节点的分片平均值avgShardsPerNode，分片包括N个主分片和N×number_of_replicas个从分片，其中avgShardsPerNode＝N×(number_of_replicas+1)÷D；

S33.按照公式计算集群计划新增的主从分片总数addTotalShard，其中M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode，shardNum(i)表示i节点的主从分片数；

S34.判断新增主从分片总数addTotalShard是否小于(number_of_replicas+1)，若是则进入S35，否则进入S36；

S35.调整avgShardsPerNode值加1，跳转到S33；

S36.根据公式shardForIndex＝INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex；

S37.创建新索引库index，根据配置设置库的别名、主分片数shardForIndex和复制因子number_of_replicas，逻辑上跟之前的库合并成一个大库，并在主从分片数小于平均值avgShardsPerNode的M个节点上共创建addTotalShard个主从分片，其中节点i创建的主从分片数等于avgShardsPerNode-shardNum(i)，i＝1,2...,M；

S38.更新最后创建的库名latest_index_name的值；

S39.线程休眠预定时间，然后跳转到S31。

进一步地，所述步骤S1的具体过程为：首先分别计算服务器中的CPU、内存、磁盘空间、网络带宽能支持Elasticsearch节点数f_disk、f_cpu、f_mem、f_net，其中，f_disk、f_cpu、f_mem、f_net分别通过服务器中的分配给Elasticsearch节点的CPU、内存、磁盘空间、网络带宽的大小除以每个Elasticsearch节点所需的CPU、内存、磁盘空间、网络带宽的大小来得到；然后得到服务器能支持Elasticsearch节点数f_server＝Min(f_disk,f_cpu,f_mem,f_net)；最后安装f_server个Elasticsearch节点，并加入到Elasticsearch集群中。

进一步地，还包括步骤S1’：当新的服务器加入Elasticsearch集群时，更新服务器IP地址列表ips。

本发明采用上述技术方案，具有的有益效果是，本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量，并支持按目标数据量和磁盘空间阈值自动创建库和分片，动态扩展集群；既避免了一个分片数据量太大，也避免了新数据插入时出现局部热点的问题，同时兼任新的服务器加入集群后，能自动识别并对Elasticsearch集群的库和分片做负载均衡。

附图说明

图1是Elasticsearch集群的库的逻辑结构图；

图2是本发明的实施例的流程图；

图3是图2中的步骤S3的具体流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

本发明基于Elasticsearch集群和别名机制来实现。Elasticsearch对库(index)提供别名机制，相同别名的库(index)在逻辑上会当作同一个库来处理。如图1所示，有两个库wx_170501和wx_170825，这两个库的别名都设置为wx_all，且每个库都有三个主分片(wx_shard1、wx_shard2、wx_shard3)，为了简化，下图中的每个主分片的复制因子(number_of_replicas)为0。那么逻辑上wx_all这个库就有6个主分片。根据业务数据量的增长，可以不断的创建新的库，设置同样的别名，加入逻辑上同一个库，实现动态扩容。

现参照图2和3，描述本发明的具体步骤：

S1、根据服务器硬件资源安装Elasticsearch节点：

Elasticsearch集群中每个服务就是一个节点(node)，存储多个分片。每台服务器上要充分利用资源，就得先评估出最多能安装的节点数。对于服务器资源，最大支持节点数量主要依赖于CPU、内存、磁盘空间、网络带宽等硬件设备性能，对于每一项的依赖先根据经验给出一个估计函数作为计算公式。比如内存的估计函数，可以先得出服务器上总的内存大小E_all，然后减去操作系统和其他非Elasticsearch应用需要的内存资源E_other，这样就得出能分配给Elasticsearch节点的最大的内存资源E_{Elasticsearch}＝E_all-E_other，再除以每个节点需要的内存资源E_node就能评估出从内存资源上允许支持的最多Elasticsearch节点数。因此，内存空间支持节点数的估计函数f_mem的计算公式如下：

f_mem＝(E_all-E_other)/E_node

同理根据具体系统的情况和业务应用分别给出CPU、磁盘、网络带宽这些设备能支持Elasticsearch节点数的估计函数f_cpu、f_disk、f_net。最终服务器能支持Elasticsearch节点数f_server取最小值，即f_server＝Min(f_disk,f_cpu,f_mem,f_net)。按照估计数量f_server安装Elasticsearch节点，并加入到Elasticsearch集群中。

S2、设置动态集群的基本参数：

首先给监控线程设置一些基本配置和阈值：

1)每个集群允许在哪些服务器上部署，

2)创建一个新的库时，每个主分片最多存储多少条数据或占用多大空间，每个主分片的复制因子(number_of_replicas)，最后创建的库名等这些参数和动态值以数据库或XML等形式持久化到磁盘中。

参数名称	参数说明
		index_name	库名
latest_index_name	最后创建的库名(可用于写入数据)
		number_of_replicas	复制因子(每个主分片复制多少份)
maxDocCount	每个主分片最多存储的文档数量
		maxStoreSize	每个主分片存储占用的最大磁盘空间(单位字节)

S3、根据参数动态创建库和分片和调整入库策略，支持动态集群：

先创建一个线程，定时检测文档数和占用空间，如果达到阈值，则根据系统参数动态创建库以及分片，主要处理流程如下：

S31：从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态，包括文档总数、总占用空间、主分片数N和节点总数D，判断文档总数和空间值是否达到阈值，如果文档总数超过maxDocCount×N，或者总占用空间超过maxStoreSize×N，则进入步骤S32，否则进入步骤S39。

S32：计算集群中物理节点(node)的分片平均值avgShardsPerNode，分片包括N个主分片和N×number_of_replicas个从分片，计算公式为：avgShardsPerNode＝N×(number_of_replicas+1)÷D。

S33：计算集群计划新增的主从分片总数addTotalShard，对于集群中主从分片数小于平均值avgShardsPerNode的所有节点(node)，累加差值，得到其中shardNum(i)表示i节点的主从分片数，M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode，这M个节点属于集群中负载最小的节点，应该作为扩容的首选。

S34：判断主从分片总数addTotalShard是否小于(number_of_replicas+1)，如果小于则说明分片总数过小，进入S35，否则进入S36。

S35：对avgShardsPerNode值加1，跳转到S33重新计算。

S36：根据公式shardForIndex＝INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex。

S37：创建新索引库index，根据配置设置库的别名和主分片数shardForIndex和复制因子number_of_replicas，逻辑上跟之前的库合并成一个大库。新建的addTotalShard个主从分片的分布规则为：对集群中主从分片数小于avgShardsPerNode的节点i上创建k个分片(k＝avgShardsPerNode-shardNum(i)，i＝1,2...,M)，最后在所有负载小的M节点上一共创建了addTotalShard个主从分片。

S38：更新最后创建的库名latest_index_name的值。

S39：线程休眠一定时间，然后跳转到S31重新检测。

此外，本发明方法还包括步骤S1’：当新的服务器加入集群时，需要先人工安装Elasticsearch节点并配置加入到集群中，再更新服务器ip地址列表(ips)。新服务器加入后不会马上往新的服务器上创建新的index，需要等到下一轮重新创建库时触发。在以上主流程中的第一步可以检测到，因为第一步中会读取库中实际节点数。当新服务器加入集群后，根据上述公式，新的一轮扩容中会把大部分的分片创建在新的服务器中，这样把分片均衡分布到相应的结点上。

通过以上方案可以自动在Elasticsearch的集群中，灵活的根据系统性能和数据量添加服务器到集群中，然后系统会自动根据服务器性能创建分片，均衡数据量到相应的Elasticsearch节点中。无需人工迁移数据，重建库等，也不会造成局部热点的现象。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种支持均衡资源的Elasticsearch集群扩展方法，其特征在于，包括以下步骤：

S1.根据服务器硬件资源安装Elasticsearch节点；

S35.调整avgShardsPerNode值加1，跳转到S33；

S38.更新最后创建的库名latest_index_name的值；

S39.线程休眠预定时间，然后跳转到S31。

2.如权利要求1所述的支持均衡资源的Elasticsearch集群扩展方法，其特征在于，所述步骤S1的具体过程为：首先分别计算服务器中的CPU、内存、磁盘空间、网络带宽能支持Elasticsearch节点数f_disk、f_cpu、f_mem、f_net，其中，f_disk、f_cpu、f_mem、f_net分别通过服务器中的分配给Elasticsearch节点的CPU、内存、磁盘空间、网络带宽的大小除以每个Elasticsearch节点所需的CPU、内存、磁盘空间、网络带宽的大小来得到；然后得到服务器能支持Elasticsearch节点数f_server＝Min(f_disk,f_cpu,f_mem,f_net)；最后安装f_server个Elasticsearch节点，并加入到Elasticsearch集群中。

3.如权利要求1所述的支持均衡资源的Elasticsearch集群扩展方法，其特征在于，还包括步骤S1’：当新的服务器加入Elasticsearch集群时，更新服务器ip地址列表ips。