CN107566531A - 一种支持均衡资源的Elasticsearch集群扩展方法 - Google Patents
一种支持均衡资源的Elasticsearch集群扩展方法 Download PDFInfo
- Publication number
- CN107566531A CN107566531A CN201710977782.8A CN201710977782A CN107566531A CN 107566531 A CN107566531 A CN 107566531A CN 201710977782 A CN201710977782 A CN 201710977782A CN 107566531 A CN107566531 A CN 107566531A
- Authority
- CN
- China
- Prior art keywords
- burst
- elasticsearch
- server
- cluster
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤:S1.根据服务器硬件资源安装Elasticsearch节点;S2.设置动态集群的基本参数和记录动态集群的一些状态值,并将这些参数和动态值以数据库或XML的形式持久化到磁盘中;S3.创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建分片和调整入库策略。本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量,并支持按目标数据量和磁盘空间阈值自动创建库和分片,动态扩展集群;既避免了一个分片数据量太大,也避免了新数据插入时出现局部热点的问题,同时兼任新的服务器加入集群后,能自动识别并对Elasticsearch集群的库和分片做负载均衡。
Description
技术领域
本发明涉及一种支持均衡资源的Elasticsearch集群扩展方法。
背景技术
随着社会的发展进步,已经迈入大数据时代,海量数据的存储和检索已经应用到各个领域。其中全文检索属于其中常用功能之一,类似实现百度、淘宝的查询效果。而Elasticsearch属于全文检索中使用最多的企业级搜索应用服务器,已为埃哲森、暴雪娱乐、戴尔、eBay等大型企业提供解决方案。具备功能丰富、近实时检索、支持集群等特点,且免费开源。
对于海量数据的存储,Elasticsearch支持集群模式,每台服务器上可以部署多个数据节点。每个库可以划分多个主分片(shard),每个主分片独立存储和部署。每个库要求配置固定的主分片数,入库时根据数据主键(id)的Hash值来分发到不同的主分片(shard)。但是建库(index)时就必须固定主分片数量。比如100亿的数据总量,按每个主分片分配5000万数据量,则可直接创建200个主分片。一旦配置后就无法修改主分片数量,只适合数据量很明确的应用场景。
实际应用场景中,大多数系统的数据量都是不明确,不可能一成不变,通常情况下按年成倍增长。因此,Elasticsearch默认的分片机制无法满足要求,无法固定Hash分片机制中的主分片数。当系统数据量不断增长,已有的服务器资源有限,通常通过横向扩容加入新的服务器到集群中,分担压力。新的机器加入集群后,如何划分分片并加入已有库成为一个问题。
其次集群中的服务器不一样,比如存在新老服务器混合组合的集群,新老服务器磁盘的转速、空间大小、内存大小等资源都可能不一样。如何根据服务器的硬件资源分配数据也是一个问题。
发明内容
针对以上的问题,本发明提供了一种支持均衡资源的Elasticsearch集群扩展方法。具体技术方案如下:
一种支持均衡资源的Elasticsearch集群扩展方法,可包括以下步骤:
S1.根据服务器硬件资源安装Elasticsearch节点;
S2.设置动态集群的基本参数和记录动态集群的一些状态值,并将这些参数和动态值以数据库或XML的形式持久化到磁盘中,其中,所述参数包括库名index_name、最后创建的库名latest_index_name、允许部署的服务器IP地址列表ips、复制因子number_of_replicas、每个分片最多存储的文档数maxDocCount、每个分片存储占用的最大磁盘空间maxStoreSize;
S3.创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建分片和调整入库策略,具体步骤如下:
S31.从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态,包括文档总数、总占用空间、主分片数N和节点总数D,判断文档总数和空间值是否达到阈值,如果文档总数超过maxDocCount×N,或者总占用空间超过maxStoreSize×N,则进入步骤S32,否则进入步骤S39;
S32.计算集群中物理节点的分片平均值avgShardsPerNode,分片包括N个主分片和N×number_of_replicas个从分片,其中avgShardsPerNode=N×(number_of_replicas+1)÷D;
S33.按照公式计算集群计划新增的主从分片总数addTotalShard,其中M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode,shardNum(i)表示i节点的主从分片数;
S34.判断新增主从分片总数addTotalShard是否小于(number_of_replicas+1),若是则进入S35,否则进入S36;
S35.调整avgShardsPerNode值加1,跳转到S33;
S36.根据公式shardForIndex=INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex;
S37.创建新索引库index,根据配置设置库的别名、主分片数shardForIndex和复制因子number_of_replicas,逻辑上跟之前的库合并成一个大库,并在主从分片数小于平均值avgShardsPerNode的M个节点上共创建addTotalShard个主从分片,其中节点i创建的主从分片数等于avgShardsPerNode-shardNum(i),i=1,2...,M;
S38.更新最后创建的库名latest_index_name的值;
S39.线程休眠预定时间,然后跳转到S31。
进一步地,所述步骤S1的具体过程为:首先分别计算服务器中的CPU、内存、磁盘空间、网络带宽能支持Elasticsearch节点数fdisk、fcpu、fmem、fnet,其中,fdisk、fcpu、fmem、fnet分别通过服务器中的分配给Elasticsearch节点的CPU、内存、磁盘空间、网络带宽的大小除以每个Elasticsearch节点所需的CPU、内存、磁盘空间、网络带宽的大小来得到;然后得到服务器能支持Elasticsearch节点数fserver=Min(fdisk,fcpu,fmem,fnet);最后安装fserver个Elasticsearch节点,并加入到Elasticsearch集群中。
进一步地,还包括步骤S1’:当新的服务器加入Elasticsearch集群时,更新服务器IP地址列表ips。
本发明采用上述技术方案,具有的有益效果是,本发明能对Elasticsearch集群中根据服务器的性能负载均衡存储相应比例的数据量,并支持按目标数据量和磁盘空间阈值自动创建库和分片,动态扩展集群;既避免了一个分片数据量太大,也避免了新数据插入时出现局部热点的问题,同时兼任新的服务器加入集群后,能自动识别并对Elasticsearch集群的库和分片做负载均衡。
附图说明
图1是Elasticsearch集群的库的逻辑结构图;
图2是本发明的实施例的流程图;
图3是图2中的步骤S3的具体流程图。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
本发明基于Elasticsearch集群和别名机制来实现。Elasticsearch对库(index)提供别名机制,相同别名的库(index)在逻辑上会当作同一个库来处理。如图1所示,有两个库wx_170501和wx_170825,这两个库的别名都设置为wx_all,且每个库都有三个主分片(wx_shard1、wx_shard2、wx_shard3),为了简化,下图中的每个主分片的复制因子(number_of_replicas)为0。那么逻辑上wx_all这个库就有6个主分片。根据业务数据量的增长,可以不断的创建新的库,设置同样的别名,加入逻辑上同一个库,实现动态扩容。
现参照图2和3,描述本发明的具体步骤:
S1、根据服务器硬件资源安装Elasticsearch节点:
Elasticsearch集群中每个服务就是一个节点(node),存储多个分片。每台服务器上要充分利用资源,就得先评估出最多能安装的节点数。对于服务器资源,最大支持节点数量主要依赖于CPU、内存、磁盘空间、网络带宽等硬件设备性能,对于每一项的依赖先根据经验给出一个估计函数作为计算公式。比如内存的估计函数,可以先得出服务器上总的内存大小Eall,然后减去操作系统和其他非Elasticsearch应用需要的内存资源Eother,这样就得出能分配给Elasticsearch节点的最大的内存资源EElasticsearch=Eall-Eother,再除以每个节点需要的内存资源Enode就能评估出从内存资源上允许支持的最多Elasticsearch节点数。因此,内存空间支持节点数的估计函数fmem的计算公式如下:
fmem=(Eall-Eother)/Enode
同理根据具体系统的情况和业务应用分别给出CPU、磁盘、网络带宽这些设备能支持Elasticsearch节点数的估计函数fcpu、fdisk、fnet。最终服务器能支持Elasticsearch节点数fserver取最小值,即fserver=Min(fdisk,fcpu,fmem,fnet)。按照估计数量fserver安装Elasticsearch节点,并加入到Elasticsearch集群中。
S2、设置动态集群的基本参数:
首先给监控线程设置一些基本配置和阈值:
1)每个集群允许在哪些服务器上部署,
2)创建一个新的库时,每个主分片最多存储多少条数据或占用多大空间,每个主分片的复制因子(number_of_replicas),最后创建的库名等这些参数和动态值以数据库或XML等形式持久化到磁盘中。
参数名称 | 参数说明 |
index_name | 库名 |
latest_index_name | 最后创建的库名(可用于写入数据) |
number_of_replicas | 复制因子(每个主分片复制多少份) |
maxDocCount | 每个主分片最多存储的文档数量 |
maxStoreSize | 每个主分片存储占用的最大磁盘空间(单位字节) |
S3、根据参数动态创建库和分片和调整入库策略,支持动态集群:
先创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建库以及分片,主要处理流程如下:
S31:从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态,包括文档总数、总占用空间、主分片数N和节点总数D,判断文档总数和空间值是否达到阈值,如果文档总数超过maxDocCount×N,或者总占用空间超过maxStoreSize×N,则进入步骤S32,否则进入步骤S39。
S32:计算集群中物理节点(node)的分片平均值avgShardsPerNode,分片包括N个主分片和N×number_of_replicas个从分片,计算公式为:avgShardsPerNode=N×(number_of_replicas+1)÷D。
S33:计算集群计划新增的主从分片总数addTotalShard,对于集群中主从分片数小于平均值avgShardsPerNode的所有节点(node),累加差值,得到其中shardNum(i)表示i节点的主从分片数,M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode,这M个节点属于集群中负载最小的节点,应该作为扩容的首选。
S34:判断主从分片总数addTotalShard是否小于(number_of_replicas+1),如果小于则说明分片总数过小,进入S35,否则进入S36。
S35:对avgShardsPerNode值加1,跳转到S33重新计算。
S36:根据公式shardForIndex=INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex。
S37:创建新索引库index,根据配置设置库的别名和主分片数shardForIndex和复制因子number_of_replicas,逻辑上跟之前的库合并成一个大库。新建的addTotalShard个主从分片的分布规则为:对集群中主从分片数小于avgShardsPerNode的节点i上创建k个分片(k=avgShardsPerNode-shardNum(i),i=1,2...,M),最后在所有负载小的M节点上一共创建了addTotalShard个主从分片。
S38:更新最后创建的库名latest_index_name的值。
S39:线程休眠一定时间,然后跳转到S31重新检测。
此外,本发明方法还包括步骤S1’:当新的服务器加入集群时,需要先人工安装Elasticsearch节点并配置加入到集群中,再更新服务器ip地址列表(ips)。新服务器加入后不会马上往新的服务器上创建新的index,需要等到下一轮重新创建库时触发。在以上主流程中的第一步可以检测到,因为第一步中会读取库中实际节点数。当新服务器加入集群后,根据上述公式,新的一轮扩容中会把大部分的分片创建在新的服务器中,这样把分片均衡分布到相应的结点上。
通过以上方案可以自动在Elasticsearch的集群中,灵活的根据系统性能和数据量添加服务器到集群中,然后系统会自动根据服务器性能创建分片,均衡数据量到相应的Elasticsearch节点中。无需人工迁移数据,重建库等,也不会造成局部热点的现象。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。
Claims (3)
1.一种支持均衡资源的Elasticsearch集群扩展方法,其特征在于,包括以下步骤:
S1.根据服务器硬件资源安装Elasticsearch节点;
S2.设置动态集群的基本参数和记录动态集群的一些状态值,并将这些参数和动态值以数据库或XML的形式持久化到磁盘中,其中,所述参数包括库名index_name、最后创建的库名latest_index_name、允许部署的服务器IP地址列表ips、复制因子number_of_replicas、每个分片最多存储的文档数maxDocCount、每个分片存储占用的最大磁盘空间maxStoreSize;
S3.创建一个线程,定时检测文档数和占用空间,如果达到阈值,则根据系统参数动态创建分片和调整入库策略,具体步骤如下:
S31.从Elasticsearch集群中读取最后创建的库latest_index_name的运行状态,包括文档总数、总占用空间、主分片数N和节点总数D,判断文档总数和空间值是否达到阈值,如果文档总数超过maxDocCount×N,或者总占用空间超过maxStoreSize×N,则进入步骤S32,否则进入步骤S39;
S32.计算集群中物理节点的分片平均值avgShardsPerNode,分片包括N个主分片和N×number_of_replicas个从分片,其中avgShardsPerNode=N×(number_of_replicas+1)÷D;
S33.按照公式计算集群计划新增的主从分片总数addTotalShard,其中M表示D个节点中有M个节点的主从分片数小于平均值avgShardsPerNode,shardNum(i)表示i节点的主从分片数;
S34.判断新增主从分片总数addTotalShard是否小于(number_of_replicas+1),若是则进入S35,否则进入S36;
S35.调整avgShardsPerNode值加1,跳转到S33;
S36.根据公式shardForIndex=INT(addTotalShard/(number_of_replicas+1))计算新建库的主分片数shardForIndex;
S37.创建新索引库index,根据配置设置库的别名、主分片数shardForIndex和复制因子number_of_replicas,逻辑上跟之前的库合并成一个大库,并在主从分片数小于平均值avgShardsPerNode的M个节点上共创建addTotalShard个主从分片,其中节点i创建的主从分片数等于avgShardsPerNode-shardNum(i),i=1,2...,M;
S38.更新最后创建的库名latest_index_name的值;
S39.线程休眠预定时间,然后跳转到S31。
2.如权利要求1所述的支持均衡资源的Elasticsearch集群扩展方法,其特征在于,所述步骤S1的具体过程为:首先分别计算服务器中的CPU、内存、磁盘空间、网络带宽能支持Elasticsearch节点数fdisk、fcpu、fmem、fnet,其中,fdisk、fcpu、fmem、fnet分别通过服务器中的分配给Elasticsearch节点的CPU、内存、磁盘空间、网络带宽的大小除以每个Elasticsearch节点所需的CPU、内存、磁盘空间、网络带宽的大小来得到;然后得到服务器能支持Elasticsearch节点数fserver=Min(fdisk,fcpu,fmem,fnet);最后安装fserver个Elasticsearch节点,并加入到Elasticsearch集群中。
3.如权利要求1所述的支持均衡资源的Elasticsearch集群扩展方法,其特征在于,还包括步骤S1’:当新的服务器加入Elasticsearch集群时,更新服务器ip地址列表ips。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710977782.8A CN107566531B (zh) | 2017-10-17 | 2017-10-17 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710977782.8A CN107566531B (zh) | 2017-10-17 | 2017-10-17 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107566531A true CN107566531A (zh) | 2018-01-09 |
CN107566531B CN107566531B (zh) | 2020-07-10 |
Family
ID=60986494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710977782.8A Active CN107566531B (zh) | 2017-10-17 | 2017-10-17 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107566531B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108897858A (zh) * | 2018-06-29 | 2018-11-27 | 北京奇虎科技有限公司 | 分布式集群索引分片的评估方法及装置、电子设备 |
CN108897865A (zh) * | 2018-06-29 | 2018-11-27 | 北京奇虎科技有限公司 | 分布式集群的索引副本数量评估方法及装置 |
CN109033398A (zh) * | 2018-08-02 | 2018-12-18 | 广州酷狗计算机科技有限公司 | 分配节点的方法和装置 |
CN109582758A (zh) * | 2018-12-06 | 2019-04-05 | 重庆邮电大学 | 一种Elasticsearch索引分片优化方法 |
CN110109742A (zh) * | 2019-05-09 | 2019-08-09 | 重庆八戒电子商务有限公司 | 一种基于zookeeper的分布式任务协调的方法及装置 |
CN110134326A (zh) * | 2018-02-09 | 2019-08-16 | 北京京东尚科信息技术有限公司 | 一种分片切分的方法和装置 |
CN110262812A (zh) * | 2019-06-24 | 2019-09-20 | 四川新网银行股份有限公司 | 将es集群中的角色进行分离的方法 |
CN110427364A (zh) * | 2019-06-21 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN110609845A (zh) * | 2018-06-15 | 2019-12-24 | 网宿科技股份有限公司 | 大数据冗余灾备方法、大数据服务系统及查询方法 |
CN110673549A (zh) * | 2019-09-05 | 2020-01-10 | 国家计算机网络与信息安全管理中心 | 基于分布式架构的数据中心智能监控系统和方法 |
CN110933178A (zh) * | 2019-12-09 | 2020-03-27 | 聚好看科技股份有限公司 | 调整集群系统内的节点配置的方法及服务器 |
CN111240577A (zh) * | 2018-11-28 | 2020-06-05 | 中国移动通信集团山东有限公司 | 基于mpp数据库的数据多分片存储方法及装置 |
CN113177050A (zh) * | 2021-05-18 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种数据均衡的方法、装置、查询系统及存储介质 |
CN113312005A (zh) * | 2021-06-22 | 2021-08-27 | 青岛理工大学 | 基于区块链的物联网数据扩容存储方法、系统及计算设备 |
CN113568749A (zh) * | 2021-07-28 | 2021-10-29 | 新华智云科技有限公司 | 基于Elasticsearch集群的shard分配方法 |
CN113596153A (zh) * | 2021-07-28 | 2021-11-02 | 新华智云科技有限公司 | 一种数据均衡方法及系统 |
CN114090505A (zh) * | 2021-11-23 | 2022-02-25 | 成都深思科技有限公司 | 一种智能资源调度和高效并发的数据分类方法 |
CN116401294A (zh) * | 2023-02-09 | 2023-07-07 | 上海弘积信息科技有限公司 | 一种基于Elasticsearch的大数据入库方法 |
WO2023216571A1 (zh) * | 2022-05-11 | 2023-11-16 | 华为云计算技术有限公司 | 弹性搜索集群的资源调度方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103744960A (zh) * | 2014-01-06 | 2014-04-23 | 河海大学 | 一种基于云平台的元数据索引模型及方法 |
CN106648897A (zh) * | 2016-12-28 | 2017-05-10 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的solr集群扩展方法及系统 |
US20170206249A1 (en) * | 2016-01-20 | 2017-07-20 | Systems And Methods For Implementing Urban Voices | Systems and methods for implementing urban voices |
US20170251003A1 (en) * | 2016-02-29 | 2017-08-31 | Palo Alto Networks, Inc. | Automatically determining whether malware samples are similar |
-
2017
- 2017-10-17 CN CN201710977782.8A patent/CN107566531B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103744960A (zh) * | 2014-01-06 | 2014-04-23 | 河海大学 | 一种基于云平台的元数据索引模型及方法 |
US20170206249A1 (en) * | 2016-01-20 | 2017-07-20 | Systems And Methods For Implementing Urban Voices | Systems and methods for implementing urban voices |
US20170251003A1 (en) * | 2016-02-29 | 2017-08-31 | Palo Alto Networks, Inc. | Automatically determining whether malware samples are similar |
CN106648897A (zh) * | 2016-12-28 | 2017-05-10 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的solr集群扩展方法及系统 |
Non-Patent Citations (1)
Title |
---|
郑义成: "《基于ElasticSearch的海量AIS数据存储方法》", 《指挥信息系统与技术》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110134326A (zh) * | 2018-02-09 | 2019-08-16 | 北京京东尚科信息技术有限公司 | 一种分片切分的方法和装置 |
CN110609845A (zh) * | 2018-06-15 | 2019-12-24 | 网宿科技股份有限公司 | 大数据冗余灾备方法、大数据服务系统及查询方法 |
CN108897865A (zh) * | 2018-06-29 | 2018-11-27 | 北京奇虎科技有限公司 | 分布式集群的索引副本数量评估方法及装置 |
CN108897858B (zh) * | 2018-06-29 | 2021-06-22 | 北京奇虎科技有限公司 | 分布式集群索引分片的评估方法及装置、电子设备 |
CN108897858A (zh) * | 2018-06-29 | 2018-11-27 | 北京奇虎科技有限公司 | 分布式集群索引分片的评估方法及装置、电子设备 |
CN109033398A (zh) * | 2018-08-02 | 2018-12-18 | 广州酷狗计算机科技有限公司 | 分配节点的方法和装置 |
CN109033398B (zh) * | 2018-08-02 | 2021-03-30 | 广州酷狗计算机科技有限公司 | 分配节点的方法和装置 |
CN111240577B (zh) * | 2018-11-28 | 2023-08-15 | 中国移动通信集团山东有限公司 | 基于mpp数据库的数据多分片存储方法及装置 |
CN111240577A (zh) * | 2018-11-28 | 2020-06-05 | 中国移动通信集团山东有限公司 | 基于mpp数据库的数据多分片存储方法及装置 |
CN109582758B (zh) * | 2018-12-06 | 2023-04-07 | 重庆邮电大学 | 一种Elasticsearch索引分片优化方法 |
CN109582758A (zh) * | 2018-12-06 | 2019-04-05 | 重庆邮电大学 | 一种Elasticsearch索引分片优化方法 |
CN110109742A (zh) * | 2019-05-09 | 2019-08-09 | 重庆八戒电子商务有限公司 | 一种基于zookeeper的分布式任务协调的方法及装置 |
CN110427364A (zh) * | 2019-06-21 | 2019-11-08 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN110262812A (zh) * | 2019-06-24 | 2019-09-20 | 四川新网银行股份有限公司 | 将es集群中的角色进行分离的方法 |
CN110673549A (zh) * | 2019-09-05 | 2020-01-10 | 国家计算机网络与信息安全管理中心 | 基于分布式架构的数据中心智能监控系统和方法 |
CN110933178A (zh) * | 2019-12-09 | 2020-03-27 | 聚好看科技股份有限公司 | 调整集群系统内的节点配置的方法及服务器 |
CN113177050A (zh) * | 2021-05-18 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种数据均衡的方法、装置、查询系统及存储介质 |
CN113312005A (zh) * | 2021-06-22 | 2021-08-27 | 青岛理工大学 | 基于区块链的物联网数据扩容存储方法、系统及计算设备 |
CN113568749A (zh) * | 2021-07-28 | 2021-10-29 | 新华智云科技有限公司 | 基于Elasticsearch集群的shard分配方法 |
CN113596153A (zh) * | 2021-07-28 | 2021-11-02 | 新华智云科技有限公司 | 一种数据均衡方法及系统 |
CN113568749B (zh) * | 2021-07-28 | 2023-09-05 | 新华智云科技有限公司 | 基于Elasticsearch集群的shard分配方法 |
CN114090505A (zh) * | 2021-11-23 | 2022-02-25 | 成都深思科技有限公司 | 一种智能资源调度和高效并发的数据分类方法 |
WO2023216571A1 (zh) * | 2022-05-11 | 2023-11-16 | 华为云计算技术有限公司 | 弹性搜索集群的资源调度方法、装置及系统 |
CN116401294A (zh) * | 2023-02-09 | 2023-07-07 | 上海弘积信息科技有限公司 | 一种基于Elasticsearch的大数据入库方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107566531B (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107566531A (zh) | 一种支持均衡资源的Elasticsearch集群扩展方法 | |
CN109597567B (zh) | 一种数据处理方法和装置 | |
CN109040212B (zh) | 设备接入服务器集群方法、系统、设备及存储介质 | |
KR101959153B1 (ko) | 데이터베이스에서의 계좌와 관련된 거래 요청의 효율적인 처리를 위한 시스템 | |
CN102457571B (zh) | 一种云存储中数据均衡分布方法 | |
US10719496B2 (en) | Computer system and data processing method | |
US8103824B2 (en) | Method for self optimizing value based data allocation across a multi-tier storage system | |
US20170277556A1 (en) | Distribution system, computer, and arrangement method for virtual machine | |
CN106161120A (zh) | 动态均衡负载的分布式元数据管理方法 | |
US9800575B1 (en) | Assigning storage responsibility in a distributed data storage system with replication | |
CN112579692B (zh) | 一种数据同步方法、装置、系统、设备及存储介质 | |
US20160026660A1 (en) | Distribution of an object in volatile memory across a multi-node database | |
CN104679594B (zh) | 一种中间件分布式计算方法 | |
KR101222129B1 (ko) | 메타데이터 서버 및 메타데이터 서버의 디스크볼륨 선정 방법 | |
CN105262835A (zh) | 一种多机房中的数据存储方法和装置 | |
CN104702691B (zh) | 分布式负载均衡方法和装置 | |
CN106570113B (zh) | 一种海量矢量切片数据云存储方法及系统 | |
CN111596868B (zh) | 基于段单元的分布式存储系统的负载均衡方法和系统 | |
CN107087031A (zh) | 一种存储资源负载均衡方法及装置 | |
IL278825A (en) | Methods and system for data transfer | |
CN101419600A (zh) | 基于面向对象文件系统的数据副本映射方法及装置 | |
CN105630603A (zh) | 部署虚拟服务器的方法和装置 | |
CN108574645A (zh) | 一种队列调度方法及装置 | |
CN106648897A (zh) | 一种支持均衡资源的solr集群扩展方法及系统 | |
CN107070645A (zh) | 比较数据表的数据的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |