CN106844060B - 一种基于任务负载感知的纠删码归档方法及系统 - Google Patents

一种基于任务负载感知的纠删码归档方法及系统 Download PDF

Info

Publication number
CN106844060B
CN106844060B CN201710141230.3A CN201710141230A CN106844060B CN 106844060 B CN106844060 B CN 106844060B CN 201710141230 A CN201710141230 A CN 201710141230A CN 106844060 B CN106844060 B CN 106844060B
Authority
CN
China
Prior art keywords
node
coding
supply
nodes
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710141230.3A
Other languages
English (en)
Other versions
CN106844060A (zh
Inventor
黄建忠
曹强
谢长生
夏杰
周盼萍
王艳群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710141230.3A priority Critical patent/CN106844060B/zh
Publication of CN106844060A publication Critical patent/CN106844060A/zh
Application granted granted Critical
Publication of CN106844060B publication Critical patent/CN106844060B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于任务负载感知的纠删码归档方法及系统，属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数；之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点，并更新编码节点的任务数；然后根据任务数最小原则和供给节点选取规则，依次选取所有数据分块的供给节点，并且更新其任务数；最后编码节点通过供给节点提供的数据分块进行编码计算，生成校验分块，完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。

Description

一种基于任务负载感知的纠删码归档方法及系统
技术领域
本发明属于计算机存储技术领域，更具体地，涉及一种基于任务负载感知的纠删码归档方法及系统。
背景技术
为了保障集群数据的可靠性和提高计算并行度，现有的分布式存储集群(HDFS,GFS)大多使用副本形式保存数据，即每个数据块在分布式集群中保存两个或者三个副本。副本形式的数据存储，虽然可以提高数据可靠性和并行度，但是存储开销较大，空间利用率不高。针对数据一次写多次读的集群环境，通过纠删码归档不经常被访问的数据，可以降低数据的存储开销，提高存储空间的利用率。在随机布局归档过程中，负载不均衡是影响归档性能的重要因素。
在现有的随机布局归档中，一般都采用集中式数据归档和分布式数据归档。归档以条带为单位，条带主节点从条带从节点获取源数据,编码出校验数据。主节点还可以同时作为从节点，从本地磁盘获取源数据。
在集中式数据归档中，随机选择存储集群中的一个节点作为所有条带的编码节点，编码节点磁盘上的数据块，直接以随机读的方式从磁盘获取，编码需要但是不在编码节点磁盘上的数据块则通过网络传输的方式从其他节点上获取。
在分布式数据归档中，针对归档的每一个条带，根据数据局部性，选择局部性最大的数据节点作为该条带的编码节点，对于不在编码主节点上的数据块，通过网络从其它节点上获取。
现有的随机布局归档方案的主要存在以下问题：如果编码节点需要通过网络获取大量的非本地数据块，并且集群中的数据块分布不均匀，即不同的存储节点上存储的数据块数量差异较大，集群节点负载不均衡，那么整个集群的归档性能将会大幅度下降。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于任务负载感知的纠删码归档方法及系统，其目的在于实时感知各存储节点的任务负载，根据各存储节点的任务负载实时更新编码模块和供给模块，完成校验数据的计算和分配，最终完成数据的归档，由此解决现有随机布局归档方案中存在的：任务负载不均衡和任务堆积，进一步降低磁盘随机读的性能，以及网络资源带宽分配不均匀导致网络性能降低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于任务负载感知的纠删码归档方法，该方法包括：
(1)选取编码节点：获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；
(2)选取供给节点：依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；
(3)编码计算分配：编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；
(4)循环编码分配：判断是否还有其他条带没有进行归档，若有则选定该条带返回步骤(1)；否则结束归档。
进一步地，所述步骤(2)包括以下子步骤：
(21)获取当前数据分块所在的所有存储节点，选取任务数最小的存储节点作为候选节点；
(22)候选节点中若有编码节点，则选编码节点同时作为当前数据分块的供给节点；
(23)候选节点中若无编码节点，则任选一个候选节点作为供给节点；供给节点任务数加1，编码节点任务数加1；
(24)判断是否还有其他数据分块没有选取供给节点，若有则选定该数据分块返回子步骤(21)；否则结束供给节点的选择。
进一步地，所述步骤(3)包括以下子步骤：
(31)每个供给节点从本地磁盘中读取相应的数据分块；非编码节点的供给节点通过网络将数据分块发送给编码节点；
(32)编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；
(33)编码节点通过网络将生成的校验分块传输给存储集群中的非供给节点。
按照本发明的另一方面，提供了一种基于任务负载感知的纠删码归档系统，该系统包括：
编码节点选取模块，用于获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；
供给节点选取模块，用于依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；
编码计算分配模块，用于利用编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；
循环编码分配模块，用于判断是否还有其他条带没有进行归档，若有则选定该条带返回编码节点选取模块；否则结束归档。
进一步地，所述供给节点选取模块包括以下部分：
候选节点选取单元，用于获取当前数据分块所在的所有存储节点，选取任务数最小的存储节点作为候选节点；
第一供给节点选取单元，用于判断若候选节点中有编码节点，则选编码节点同时作为当前数据分块的供给节点；
第二供给节点选取单元，用于判断若候选节点中没有编码节点，则任选一个候选节点作为供给节点；供给节点任务数加1，编码节点任务数加1；
循环选取单元，用于判断是否还有其他数据分块没有选取供给节点，若有则选定该数据分块返回候选节点选取单元；否则结束供给节点的选择。
进一步地，所述编码计算分配模块包括以下部分：
数据传输单元，用于控制每个供给节点从本地磁盘中读取相应的数据分块；非编码节点的供给节点通过网络将数据分块发送给编码节点；
校验获取单元，用于控制编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；
校验储存单元，用于控制编码节点通过网络将生成的校验分块传输给存储集群中的非供给节点。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：
(1)本发明根据集群节点任务数，考虑整个集群节点的任务负载感知，同时考虑到节点数据的局部性，选取编码节点和供给节点，实现了负载均衡的效果，提高整体归档性能；
(2)本发明根据集群节点的工作情况，动态更新编码节点和供给节点的任务数，再对整体进行优选选择，减轻了网络资源的竞争，实现高效归档的目标。
附图说明
图1是本发明方法的流程示意图；
图2是本发明方法实施例的流程图；
图3是本发明方法实施例中的数据块分布图；
图4是本发明方法实施例中的条带1归档前后节点任务数示意图；
图5是本发明方法实施例中的当前归档条带1的归档数据流示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明的相关术语进行解释和说明：
任务数：各条带节点归档前任务数为当前条带每个节点需要响应用户请求的个数；各节点任务数的更新包括：编码节点发送r个校验分块，其任务数加r；编码节点每接收一个数据分块，其任务数增加1；供给节点每传输一个数据分块，其任务数增加1；
纠删码归档：为保证数据可用性，数据通常按副本方式存放在存储系统中，如双副本、三副本；随着系统的运行，这些副本数据的访问频度将降低，如果仍旧按副本方式进行存放，将导致很低的存储空间利用率，如采用三副本备份方式的空间利用率仅为33.3％，为了提高存储空间利用率，通常采用纠删码进行存放，将数据从副本方式转存为纠删码方式的过程被称为纠删码归档；
节点数据块以及条带：在归档的编码过程中，读取数据的单元就是数据块，在存储集群中，一个条带就是由多个数据块组成的整体，可以独立地恢复出失效数据的信息集合；
编码节点：从副本集群中选择某一节点来完成编码操作，以生成校验分块，这个节点就称为编码节点；
供给节点：在进行校验生成之前，编码节点需要获得当前条带的所有数据分块，这些数据分块可能在编码节点上，也可能在其它存储节点之上，这些提供数据分块的节点统称为供给节点。
以下以实施例的方式说明本发明技术方案：
如图1所示，本发明方法包括以下步骤：
(1)选取编码节点：获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；
(2)选取供给节点：依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；
(3)编码计算分配：编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；
(4)循环编码分配：判断是否还有其他条带没有进行归档，若有则选定该条带返回步骤(1)；否则结束归档。
如图2所示，本发明方法实施例的流程如下：
(1)设置条带计数器Num_Stripe＝1；
(2)获取当前归档条带的每个存储节点任务数和每个存储节点所含有本条带数据分块个数，并分别存入数组；
如图3所示，可以得出每个存储节点所含有当前归档条带1的数据分块个数<2,1,1,1,1,1,1,0>；
如图4所示，获取当前归档条带1的存储节点归档前任务数<1,2,3,2,1,4,3,5>；
(3)根据归档条带每个存储节点的任务数，选择任务数最小的存储节点作为编码节点EN(EN是Encoding Node的缩写，表示编码节点)，如果存在多个存储节点任务数相同的情况，则优先选择含有本归档条带数据分块较多的存储节点作为编码节点；
例如：根据图4节点任务数选取编码节点，节点SN1和节点SN5具有相同的任务数；此时，如图3所示由于节点SN1含有归档条带的两个数据分块，节点SN5含有归档条带的一个数据分块，所以优选选择节点SN1作为编码节点；
(4)更新编码节点的任务数，即编码节点需要增加r个任务数，其中r指RS纠删码中校验分块数；
例如：根据图4，该纠删码归档采用RS(5，4)编码，校验分块个数为1，所以编码节点SN1的任务数增加1，当前归档条带1的节点目前任务数更新为<2,2,3,2,1,4,3,5>；
(5)设置当前归档条带的数据分块计数器Num_Data_block＝1；
如图3所示，当前归档条带1的第一个数据分块为D1,1；
(6)根据供给节点DPN(DPN是Data-block Provider Node的缩写，表示数据分块供给节点)选取规则，选取当前数据分块的供给节点，并更新集群中所涉及节点的任务数；本步骤具体包括以下子步骤：
(61)根据任务数最小原则，选取含有当前数据分块的节点作为供给节点DPN。
(62)若当前数据分块有多个候选的供给节点，且其中包含编码节点，则选编码节点作为供给节点DPN，并进入步骤(64)；否则，从候选的供给节点中任选一节点作为供给节点DPN，进入步骤(62)；
(62)编码节点EN任务数增加1；
(63)供给节点DPN任务数增加1；
(64)将供给节点存入供给节点集合；
结合图3和图4，根据任务数最小原则，选取含有数据分块D1,1的供给节点。其中SN1和SN4的任务数都为2，又因为SN1是编码节点，所以优先选择SN1作为D1,1的供给节点，并存放在供给节点集合中；
(7)设置当前数据分块计数器Num_Data_block＝Num_Data_block+1；如图5所示，完成数据分块D1,1供给节点的选取，然后下一步进行D1,2供给节点的选取，原理同上；
(8)判断当前归档条带所有数据分块是否都有对应的供给节点，如果是，则进入步骤(9)，否则返回步骤(6)；
如图4和图5完成所有数据分块供给节点的选取后，当前归档条带1的节点目前任务数为<5,3,4,2,2,4,3,5>；
(9)编码节点根据所有供给节点提供的数据分块进行编码计算，生成校验分块，并传输；本步骤具体包括以下子步骤：
(91)供给节点集合中的所有供给节点从本地磁盘中读取各数据分块；
(92)非编码节点的供给节点将数据分块通过网络发送给编码节点；
(93)编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；
(94)编码节点通过网络将生成的校验分块传输给集群中的其他节点，且这些节点不属于供给节点集合；
(10)设置当前条带计数器Num_Stripe＝Num_Stripe+1；
(11)重复步骤(2)到步骤(10)，直到所有的条带都完成归档任务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于任务负载感知的纠删码归档方法，其特征在于，该方法包括以下步骤：
(1)选取编码节点：获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；
(2)选取供给节点：依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；
(3)编码计算分配：编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；
(4)循环编码分配：判断是否还有其他条带没有进行归档，若有则选定该条带返回步骤(1)；否则结束归档；
所述步骤(2)包括以下子步骤：
(21)获取当前数据分块所在的所有存储节点，选取任务数最小的存储节点作为候选节点；
(22)候选节点中若有编码节点，则选编码节点同时作为当前数据分块的供给节点；
(23)候选节点中若无编码节点，则任选一个候选节点作为供给节点；供给节点任务数加1，编码节点任务数加1；
(24)判断是否还有其他数据分块没有选取供给节点，若有则选定该数据分块返回子步骤(21)；否则结束供给节点的选择。
2.根据权利要求1所述的一种基于任务负载感知的纠删码归档方法，其特征在于，所述步骤(3)包括以下子步骤：
(31)每个供给节点从本地磁盘中读取相应的数据分块；非编码节点的供给节点通过网络将数据分块发送给编码节点；
(32)编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；
(33)编码节点通过网络将生成的校验分块传输给存储集群中的非供给节点。
3.一种基于任务负载感知的纠删码归档系统，其特征在于，该系统包括以下部分：
编码节点选取模块，用于获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；
供给节点选取模块，用于依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；
编码计算分配模块，用于利用编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；
循环编码分配模块，用于判断是否还有其他条带没有进行归档，若有则选定该条带返回编码节点选取模块；否则结束归档；
所述供给节点选取模块包括以下部分：
候选节点选取单元，用于获取当前数据分块所在的所有存储节点，选取任务数最小的存储节点作为候选节点；
第一供给节点选取单元，用于判断若候选节点中有编码节点，则选编码节点同时作为当前数据分块的供给节点；
第二供给节点选取单元，用于判断若候选节点中没有编码节点，则任选一个候选节点作为供给节点；供给节点任务数加1，编码节点任务数加1；
循环选取单元，用于判断是否还有其他数据分块没有选取供给节点，若有则选定该数据分块返回候选节点选取单元；否则结束供给节点的选择。
4.根据权利要求3所述的一种基于任务负载感知的纠删码归档系统，其特征在于，所述编码计算分配模块包括以下部分：
数据传输单元，用于控制每个供给节点从本地磁盘中读取相应的数据分块；非编码节点的供给节点通过网络将数据分块发送给编码节点；
校验获取单元，用于控制编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；
校验储存单元，用于控制编码节点通过网络将生成的校验分块传输给存储集群中的非供给节点。
CN201710141230.3A 2017-03-10 2017-03-10 一种基于任务负载感知的纠删码归档方法及系统 Expired - Fee Related CN106844060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710141230.3A CN106844060B (zh) 2017-03-10 2017-03-10 一种基于任务负载感知的纠删码归档方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710141230.3A CN106844060B (zh) 2017-03-10 2017-03-10 一种基于任务负载感知的纠删码归档方法及系统

Publications (2)

Publication Number Publication Date
CN106844060A CN106844060A (zh) 2017-06-13
CN106844060B true CN106844060B (zh) 2020-01-03

Family

ID=59143574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710141230.3A Expired - Fee Related CN106844060B (zh) 2017-03-10 2017-03-10 一种基于任务负载感知的纠删码归档方法及系统

Country Status (1)

Country Link
CN (1) CN106844060B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799607B (zh) * 2021-04-12 2021-06-22 骊阳(广东)节能科技股份有限公司 一种根据数据大小分区式存放的数据存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999218A (zh) * 2008-04-11 2011-03-30 艾利森电话股份有限公司 网络编码的数据通信
CN103645861A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种纠删码集群中失效节点的重构方法
CN104391759A (zh) * 2014-11-11 2015-03-04 华中科技大学 一种纠删码存储中负载感知的数据归档方法
US9098519B2 (en) * 2008-09-16 2015-08-04 File System Labs Llc Methods and apparatus for distributed data storage

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160294419A1 (en) * 2013-11-15 2016-10-06 Kabushiki Kaisha Toshiba Coding and decoding methods and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999218A (zh) * 2008-04-11 2011-03-30 艾利森电话股份有限公司 网络编码的数据通信
US9098519B2 (en) * 2008-09-16 2015-08-04 File System Labs Llc Methods and apparatus for distributed data storage
CN103645861A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种纠删码集群中失效节点的重构方法
CN104391759A (zh) * 2014-11-11 2015-03-04 华中科技大学 一种纠删码存储中负载感知的数据归档方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Exploiting Pipelined Encoding Process to Boost Erasure-Coded Data Archival;Jianzhong Huang,et,al;《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》;20151130;第26卷(第11期);全文 *
基于纠删码的云文件系统数据放置方法;李佳等;《北京信息科技大学学报》;20141130;第29卷(第6期);全文 *
面向纠删码存储集群的节点并发重构;黄建忠等;《计算机研究与发展》;20161231;第53卷(第9期);全文 *

Also Published As

Publication number Publication date
CN106844060A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
US10387255B2 (en) Data reconstruction method in distributed storage system, apparatus, and system
US9904599B2 (en) Method, device, and system for data reconstruction
US11301432B2 (en) Fast recall for geographically distributed object data
US8832234B1 (en) Distributed data storage controller
US10620830B2 (en) Reconciling volumelets in volume cohorts
US9846540B1 (en) Data durability using un-encoded copies and encoded combinations
US10666574B2 (en) Distributed stream-based database triggers
RU2637434C1 (ru) Способ, устройство терминала и устройство сервера для хранения копий данных
CN111124475B (zh) 存储管理的方法、电子设备和计算机可读存储介质
US8930364B1 (en) Intelligent data integration
CN106843745A (zh) 容量扩展方法及装置
US8930501B2 (en) Distributed data storage system and method
CN106951340B (zh) 一种基于局部性优先的rs纠删码数据布局方法及系统
CN110134338B (zh) 一种分布式存储系统及其数据冗余保护方法和相关设备
CN110597655B (zh) 迁移和基于纠删码的重构相耦合快速预知修复方法及装置
CN106027638B (zh) 一种基于混合编码的hadoop数据分发方法
CN106339387B (zh) 一种数据库集群中新增服务器的数据同步方法及装置
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN110377664B (zh) 数据同步方法、装置、服务器及存储介质
CN107948229B (zh) 分布式存储的方法、装置及系统
CN106844060B (zh) 一种基于任务负载感知的纠删码归档方法及系统
CN117075821B (zh) 一种分布式存储方法、装置、电子设备及存储介质
US9037762B2 (en) Balancing data distribution in a fault-tolerant storage system based on the movements of the replicated copies of data
CN115964444B (zh) 一种云原生分布式多租户数据库实现方法及系统
US20220391411A1 (en) Dynamic adaptive partition splitting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200103

CF01 Termination of patent right due to non-payment of annual fee