CN103986694A - 分布式计算机数据存储系统中多副本一致性的控制方法 - Google Patents
分布式计算机数据存储系统中多副本一致性的控制方法 Download PDFInfo
- Publication number
- CN103986694A CN103986694A CN201410165580.XA CN201410165580A CN103986694A CN 103986694 A CN103986694 A CN 103986694A CN 201410165580 A CN201410165580 A CN 201410165580A CN 103986694 A CN103986694 A CN 103986694A
- Authority
- CN
- China
- Prior art keywords
- node
- coordinator
- queue
- write request
- forwarding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式计算机数据存储系统中多副本一致性的控制方法,属于计算机数据管理技术领域。首先根据设定的分布式系统的副本差异度,计算并设定分布式存储系统的节点的转发队列和执行队列长度,节点接收到读写请求后,首先判断节点的转发或执行队列的长度是否小于设定的阈值,若小于阈值,则将请求插入到相应的队列中,若大于或等于阈值,则将插入操作阻塞,直到队列长度小于阈值后,取消阻塞,将请求插入到相应的队列中。本发明方法通过对队列的长度控制和阻塞操作,能够使分布式存储系统的副本差异准确地维持在一定范围内,方法直观有效、便于使用。
Description
技术领域
本发明涉及一种分布式计算机数据存储系统中多副本一致性的控制方法,属于计算机数据管理技术领域。
背景技术
在分布式数据存储中,为了提高系统的性能以及可用性,将数据以多副本的形式进行存储已成为一种共识。通过多副本,分布式存储系统可以增加读取数据的I/O带宽,以此提高了系统的性能;当某台(某些)机器宕机时,分布式系统仍然有可能访问到数据的其他副本,以此提高了系统的可用性。现在流行并迅速发展的分布式文件系统以及NoSQL数据库均采用了多副本的策略,如Hadoop的HDFS,Facebook的Cassandra,MongoDB,Hbase,Dynamo等等。
在带来上述益处的同时,多副本之间的数据一致性需要额外的维护代价。数据一致性是指在多副本的分布式数据存储系统中,用户总能读取到最新写入的数据。CAP理论简洁地说明了在当前的分区容忍下,同时保证系统的高度可用性与数据一致性是无法实现的。
现有的分布式数据库系统采取牺牲一定的一致性来保证系统的7*24小时的高可用性。由此给分布式数据管理系统带来了一个新的问题:副本之间的一致性程度如何,以及一致性程度如何进行控制。
发明内容
本发明的目的是提出一种分布式计算机数据存储系统中多副本一致性的控制方法,针对现有的分布式存储系统副本一致性不能直观控制的难题,采用基于队列长度的控制方法,以控制副本的一致性级别,确保分布式存储系统中的数据的多副本之间的最大版本差异能限制在用户允许的范围内。
本发明提出的计算机数据分布式存储系统中多副本一致性的控制方法,包括以下步骤:
(1)记分布式存储系统的节点集合为S,在S中的节点A到节点B的实现通信的转发队列记做SQAB,该转发队列能同时进行转发操作的转发操作数量N_SQAB,S中节点C的用于执行写请求的执行队列记做MQc,该执行队列能同时进行写操作的写操作数量N_MQA,记用户期望的分布式存储系统的同一数据项的不同副本间差异度小于k;
(2)对于一个写请求,设定节点A为协调者节点,集合SA为非协调者节点集合,对于每一个非协调者节点B∈SA,设定协调者节点A与非协调者节点B实现通信的转发队列SQAB的队列长度阈值为L_SQAB,协调者节点A的所有转发队列集合为SQA,节点A执行写请求的执行队列MQA的队列长度阈值为L_MQA,其中L_SQAB=α×k×N_SQAB,L_MQA=β×k×N_MQA,其中α和β取值为任意正整数;
(3)分布式存储系统中的协调者节点A接收到客户端的写请求后,协调者节点A从分布式存储系统中找到存储与该写请求对应的数据副本的所有非协调者节点B∈SA,协调者节点将该写请求插入到本节点的用于与包含该数据项副本的所有非协调者节点实现通信的转发队列SQAB∈SQA中,插入过程包括以下步骤:
(3-1)对协调者节点A中用于与非协调者节点实现通信的所有转发队列SQAB∈SQA的长度分别进行判断,若该转发队列SQAB的长度小于该转发队列长度阈值L_SQAB,则将写请求插入到该转发队列末尾,等待转发,若该转发队列SQAB的长度大于或等于该转发长度阈值L_SQAB,则该写请求暂时不进入转发队列,进入阻塞状态,直到转发队列长度小于L_SQAB,从阻塞状态转换为工作状态,将写请求插入到该转发队列末尾,等待转发;
(3-2)对协调者节点A中的数据副本进行判断,若协调者节点A中不存在与写请求对应的数据副本,则写请求不进入协调者节点A的执行队列,若协调者节点A中存在与写请求对应的数据副本,则当协调者节点A的执行队列MQA的队列长度小于上述执行队列的长度阈值L_MQA时,协调者节点A将写请求插入到执行队列MQA中,等待执行,当协调者节点A的执行队列长度大于或等于上述执行队列的长度阈值L_MQA时,写请求暂时不进入执行队列,进入阻塞状态,直到执行队列长度小于L_MQA时,从阻塞状态转换为工作状态,将写请求插入到执行队列中,等待执行;
(4)协调者节点A依次将所有转发队列SQAB∈SQA中的写请求转发给对应的非协调者节点B∈SA;
(5)非协调者节点B∈SA接收到协调者节点A转发的写请求后,对本节点B的用于写请求的执行队列MQB的长度进行判断,若执行队列MQB的长度小于上述长度阈值L_MQB,则本节点B将写请求插入到执行队列MQB中,等待执行;若执行队列的长度大于或等于长度阈值L_MQB,则写请求不进入执行队列MQB,进入阻塞状态,直到执行队列长度小于L_MQB,从阻塞状态转换为工作状态,将写请求插入到执行队列中MQB,等待执行;
(6)上述步骤(3-2)中插入了该写请求的协调者节点A与上述步骤(5)中的非协调者节点B∈SA执行本节点中执行队列中的写请求,若写请求操作失败,则减小执行队列长度L_MQ的值,减小方法为:使上述β=β-1,根据公式L_MQ=β×k×N_MQ,重新计算L_MQ,若写请求操作成功,则该节点向协调者节点返回写入成功信息;
(7)设定协调者节点需要接收到成功信息次数的阈值,在设定时间内,对协调者节点收集到成功信息的次数进行判断,若成功信息次数大于或等于成功信息次数阈值,则保持所有的L_SQAB(其中B∈SA)不变,若成功信息次数小于成功信息次数阈值,则减小所有的L_SQAB(其中B∈SA)的值,减小方法为:使上述α=α-1,根据公式L_SQAB=α×k×N_SQAB并重新计算所有的L_SQAB(其中B∈SA);
(8)对步骤(6)中执行写请求的节点的重新计算得到的执行队列长度L_MQ进行判断,若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ不等,则使用该节点重新计算得到的执行队列长度L_MQ代替该节点原有的执行队列长度L_MQ;若若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ相等,则保持L_MQ不变;
(9)分别对步骤(7)中协调者节点A和非协调者节点B(A∈S,B∈SA)重新计算得到的转发队列长度L_SQAB进行判断,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB不等,则使用步骤(7)中重新计算得到的转发队列长度L_SQAB代替步骤(2)中的协调者节点A的转发队列长度L_SQAB,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB相等,则保持步骤(2)中的协调者节点A的转发队列长度L_SQAB不变;
(10)以步骤(8)和步骤(9)中的得到的转发队列长度和执行队列长度作为设定值,返回到步骤(3)。
本发明提出的计算机数据分布式存储系统中多副本一致性的控制方法,其优点是:
1、本发明方法可以准确的控制数据的多副本之间的最大版本差异度,使得分布式存储系统中的数据可以控制和预测,有助于数据库使用人员了解系统中数据的存储状态,及时提出数据副本的修复措施,避免业务灾难。
2、本方法可以在系统不重启的情况下,动态地设置分布式存储系统中数据副本的一致性级别,提高了数据分布式存储系统的工作可靠性和可用性。
3、本发明方法的基于队列长度的控制方法,可以保持原有的分布式存储系统整个读、写请求的时间复杂度,因此在实现对分布式存储系统中数据副本的一致性进行控制的同时,不产生额外系统延迟。
4、由于使用本发明提出的控制方法,使分布式存储系统的副本的一致性变得可控,因此能大大降低副本修复代价。
5、本发明方法具有很强的适用性,既可用在P2P对等架构的分布式存储系统上,又可以用在中心架构的分布式存储系统上。
附图说明
图1是本发明提出的计算机数据分布式存储系统中多副本一致性的控制方法中协调者节点的工作流程图。
图2是本发明方法中非协调者节点的工作流程图。
具体实施方式
本发明提出的计算机数据分布式存储系统中多副本一致性的控制方法,其中协调者节点的工作流程图如图1所示,非协调者节点的工作流程图如图2所示。该方法包括以下步骤:
(1)记分布式存储系统的节点集合为S,在S中的节点A到节点B的实现通信的转发队列记做SQAB,该转发队列能同时进行转发操作的转发操作数量N_SQAB,S中节点C的用于执行写请求的执行队列记做MQc,该执行队列能同时进行写操作的写操作数量N_MQA,记用户期望的分布式存储系统的同一数据项的不同副本间差异度小于k(即副本一致性满足多副本一致性领域的k-version度量指标);
(2)对于一个写请求(读请求和写请求具有雷同的过程和处理方法),设定节点A为协调者节点,集合SA为非协调者节点集合(接收到客户端请求的服务器节点叫做协调者节点,所有拥有该写请求对应的数据副本的节点叫做非协调者节点),对于每一个非协调者节点B∈SA,设定协调者节点A与非协调者节点B实现通信的转发队列SQAB的队列长度阈值为L_SQAB,协调者节点A的所有转发队列集合为SQA,节点A执行写请求的执行队列MQA的队列长度阈值为L_MQA,其中L_SQAB=α×k×N_SQAB,L_MQA=β×k×N_MQA,其中α和β取值为任意正整数(α和β的取值与分布式存储系统使用的服务器硬件配置和网络情况有关,可首先将α和β设置为较大的值,如10000,通过在实际运行中不断调整两个值α和β,使得L1和L2的取值尽可能大,且能满足需要的一致性级别,此外,对转发队列和执行队列的长度设置可以在系统启动前设置,也可以通过JMX等技术在系统运行时实时设置并生效);
(3)分布式存储系统中的协调者节点A接收到客户端的写请求后,协调者节点A从分布式存储系统中找到存储与该写请求对应的数据副本的所有非协调者节点B∈SA(可通过一致性哈希算法计算出非协调者节点或通过中心节点存储的元数据检索出非协调者节点),协调者节点将该写请求插入到本节点的用于与所述的所有非协调者节点实现通信的转发队列SQAB∈SQA中,插入过程包括以下步骤:
(3-1)对协调者节点A中用于与非协调者节点实现通信的所有转发队列SQAB∈SQA的长度分别进行判断,若该转发队列SQAB的长度小于该转发队列长度阈值L_SQAB,则将写请求插入到该转发队列末尾,等待转发,若该转发队列SQAB的长度大于或等于该转发长度阈值L_SQAB,则该写请求暂时不进入转发队列,进入阻塞状态,直到转发队列长度小于L_SQAB,从阻塞状态转换为工作状态,将写请求插入到该转发队列末尾,等待转发;
(3-2)对协调者节点A中的数据副本进行判断,若协调者节点A中不存在与写请求对应的数据副本,则写请求不进入协调者节点A的执行队列,若协调者节点A中存在与写请求对应的数据副本,则当协调者节点A的执行队列MQA的队列长度小于上述执行队列的长度阈值L_MQA时,协调者节点A将写请求插入到执行队列MQA中,等待执行,当协调者节点A的执行队列长度大于或等于上述执行队列的长度阈值L_MQA时,写请求暂时不进入执行队列,进入阻塞状态,直到执行队列长度小于L_MQA时,从阻塞状态转换为工作状态,将写请求插入到执行队列中,等待执行;
(4)协调者节点A依次将所有转发队列SQAB∈SQA中的写请求转发给对应的非协调者节点B∈SA;
(5)对协调者节点A中的数据副本进行判断,若协调者节点A中不存在与写请求对应的数据副本,则写请求不进入协调者节点A的执行队列,若协调者节点A中存在与写请求对应的数据副本,则当协调者节点A的执行队列MQA的队列长度小于上述执行队列的长度阈值L_MQA时,协调者节点A将写请求插入到执行队列MQA中,等待执行,当协调者节点A的执行队列长度大于或等于上述执行队列的长度阈值L_MQA时,写请求暂时不进入执行队列,进入阻塞状态,直到执行队列长度小于L_MQA时,从阻塞状态转换为工作状态,将写请求插入到执行队列中,等待执行;
(6)上述步骤(3-2)中插入了该写请求的协调者节点A与上述步骤(5)中的非协调者节点B∈SA执行本节点中执行队列中的写请求,若写请求在队列中等待的时间或执行写入的时间超过分布式存储系统的限制等情况导致写请求操作失败,则说明此时的L_MQ取值过大,应减小执行队列长度L_MQ的值,减小方法为:使上述β=β-1,根据公式L_MQ=β×k×N_MQ,重新计算L_MQ,若写请求操作成功,则该节点向协调者节点返回写入成功信息;
(7)设定协调者节点需要接收到成功信息次数的阈值,在设定时间内,对协调者节点收集到成功信息的次数进行判断,若成功信息次数大于或等于成功信息次数阈值,则保持所有的L_SQAB(其中B∈SA)不变,若成功信息次数小于成功信息次数阈值,则减小所有的L_SQAB(其中B∈SA)的值,减小方法为:使上述α=α-1,根据公式L_SQAB=α×k×N_SQAB并重新计算所有的L_SQAB(其中B∈SA);
(8)对步骤(6)中执行写请求的节点的重新计算得到的执行队列长度L_MQ进行判断,若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ不等,则使用该节点重新计算得到的执行队列长度L_MQ代替该节点原有的执行队列长度L_MQ;若若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ相等,则保持L_MQ不变;
(9)分别对步骤(7)中协调者节点A和非协调者节点B(A∈S,B∈SA)重新计算得到的实现通信的转发队列长度L_SQAB进行判断,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB不等,则使用步骤(7)中重新计算得到的转发队列长度L_SQAB代替步骤(2)中的协调者节点A的转发队列长度L_SQAB,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB相等,则保持步骤(2)中的协调者节点A的转发队列长度L_SQAB不变;
(10)以步骤(8)和步骤(9)中的得到的转发队列长度和执行队列长度作为设定值,返回到步骤(3)。
在一个分布式存储系统中,服务器节点可分为协调者节点和非协调者节点的。协调者节点接受客户端的读写请求,并将其转发给管理与该读写请求相关的数据副本的非协调者节点,非协调者节点接收到请求后,执行请求的内容。最后,协调者节点接收非协调者节点的节点的反馈响应,并汇总后返回给客户端。不失一般性的,一个服务器节点可以同时以协调者节点和非协调者节点两种身份存在。在此过程中,读写命令具有两次排队过程:转发队列和执行队列。写请求首先在协调者节点进入转发队列进行排队,等待转发;之后读写请求进入执行队列,等待真正执行。
Claims (1)
1.一种计算机数据分布式存储系统中多副本一致性的控制方法,该方法包括以下步骤:
(1)记分布式存储系统的节点集合为S,在S中的节点A到节点B的实现通信的转发队列记做SQAB,该转发队列能同时进行转发操作的转发操作数量N_SQAB,S中节点C的用于执行写请求的执行队列记做MQc,该执行队列能同时进行写操作的写操作数量N_MQA,记用户期望的分布式存储系统的同一数据项的不同副本间差异度小于k;
(2)对于一个写请求,设定节点A为协调者节点,集合SA为非协调者节点集合,对于每一个非协调者节点B∈SA,设定协调者节点A与非协调者节点B实现通信的转发队列SQAB的队列长度阈值为L_SQAB,协调者节点A的所有转发队列集合为SQA,节点A执行写请求的执行队列MQA的队列长度阈值为L_MQA,其中L_SQAB=α×k×N_SQAB,L_MQA=β×k×N_MQA,其中α和β取值为任意正整数;
(3)分布式存储系统中的协调者节点A接收到客户端的写请求后,协调者节点A从分布式存储系统中找到存储与该写请求对应的数据副本的所有非协调者节点B∈SA,协调者节点将该写请求插入到本节点的用于与包含该数据项副本的所有非协调者节点实现通信的转发队列SQAB∈SQA中,插入过程包括以下步骤:
(3-1)对协调者节点A中用于与非协调者节点实现通信的所有转发队列SQAB∈SQA的长度分别进行判断,若该转发队列SQAB的长度小于该转发队列长度阈值L_SQAB,则将写请求插入到该转发队列末尾,等待转发,若该转发队列SQAB的长度大于或等于该转发长度阈值L_SQAB,则该写请求暂时不进入转发队列,进入阻塞状态,直到转发队列长度小于L_SQAB,从阻塞状态转换为工作状态,将写请求插入到该转发队列末尾,等待转发;
(3-2)对协调者节点A中的数据副本进行判断,若协调者节点A中不存在与写请求对应的数据副本,则写请求不进入协调者节点A的执行队列,若协调者节点A中存在与写请求对应的数据副本,则当协调者节点A的执行队列MQA的队列长度小于上述执行队列的长度阈值L_MQA时,协调者节点A将写请求插入到执行队列MQA中,等待执行,当协调者节点A的执行队列长度大于或等于上述执行队列的长度阈值L_MQA时,写请求暂时不进入执行队列,进入阻塞状态,直到执行队列长度小于L_MQA时,从阻塞状态转换为工作状态,将写请求插入到执行队列中,等待执行;
(4)协调者节点A依次将所有转发队列SQAB∈SQA中的写请求转发给对应的非协调者节点B∈SA;
(5)非协调者节点B∈SA接收到协调者节点A转发的写请求后,对本节点B的用于写请求的执行队列MQB的长度进行判断,若执行队列MQB的长度小于上述长度阈值L_MQB,则本节点B将写请求插入到执行队列MQB中,等待执行;若执行队列的长度大于或等于长度阈值L_MQB,则写请求不进入执行队列MQB,进入阻塞状态,直到执行队列长度小于L_MQB,从阻塞状态转换为工作状态,将写请求插入到执行队列中MQB,等待执行;
(6)上述步骤(3-2)中插入了该写请求的协调者节点A与上述步骤(5)中的非协调者节点B∈SA执行本节点中执行队列中的写请求,若写请求操作失败,则减小执行队列长度L_MQ的值,减小方法为:使上述β=β-1,根据公式L_MQ=β×k×N_MQ,重新计算L_MQ,若写请求操作成功,则该节点向协调者节点返回写入成功信息;
(7)设定协调者节点需要接收到成功信息次数的阈值,在设定时间内,对协调者节点收集到成功信息的次数进行判断,若成功信息次数大于或等于成功信息次数阈值,则保持所有的L_SQAB(其中B∈SA)不变,若成功信息次数小于成功信息次数阈值,则减小所有的L_SQAB(其中B∈SA)的值,减小方法为:使上述α=α-1,根据公式L_SQAB=α×k×N_SQAB并重新计算所有的L_SQAB,其中B∈SA;
(8)对步骤(6)中执行写请求的节点的重新计算得到的执行队列长度L_MQ进行判断,若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ不等,则使用该节点重新计算得到的执行队列长度L_MQ代替该节点原有的执行队列长度L_MQ;若若重新计算得到的执行队列长度L_MQ与该节点原有执行队列长度L_MQ相等,则保持L_MQ不变;
(9)分别对步骤(7)中协调者节点A和非协调者节点B(A∈S,B∈SA)重新计算得到的转发队列长度L_SQAB进行判断,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB不等,则使用步骤(7)中重新计算得到的转发队列长度L_SQAB代替步骤(2)中的协调者节点A的转发队列长度L_SQAB,若重新计算得到的转发队列长度L_SQAB与协调者节点A原转发队列长度L_SQAB相等,则保持步骤(2)中的协调者节点A的转发队列长度L_SQAB不变;
(10)以步骤(8)和步骤(9)中的得到的转发队列长度和执行队列长度作为设定值,返回步骤(3)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410165580.XA CN103986694B (zh) | 2014-04-23 | 2014-04-23 | 分布式计算机数据存储系统中多副本一致性的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410165580.XA CN103986694B (zh) | 2014-04-23 | 2014-04-23 | 分布式计算机数据存储系统中多副本一致性的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103986694A true CN103986694A (zh) | 2014-08-13 |
CN103986694B CN103986694B (zh) | 2017-02-15 |
Family
ID=51278519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410165580.XA Active CN103986694B (zh) | 2014-04-23 | 2014-04-23 | 分布式计算机数据存储系统中多副本一致性的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103986694B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105892954A (zh) * | 2016-04-25 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于多副本的数据存储方法和装置 |
CN106250432A (zh) * | 2016-07-26 | 2016-12-21 | 浪潮软件股份有限公司 | 一种基于持久化MQ的hbase容错方法 |
CN106375416A (zh) * | 2016-08-30 | 2017-02-01 | 北京航空航天大学 | 分布式数据存储系统中一致性动态调整方法及装置 |
CN106557282A (zh) * | 2016-11-07 | 2017-04-05 | 华为技术有限公司 | 响应写请求的方法和装置 |
CN107589913A (zh) * | 2017-09-19 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种存储单元分配的方法、装置及设备 |
CN107807793A (zh) * | 2017-10-27 | 2018-03-16 | 清华大学 | 分布式计算机存储系统中数据副本异构存储与访问方法 |
CN108319618A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
CN109062513A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109407970A (zh) * | 2018-09-12 | 2019-03-01 | 新华三技术有限公司成都分公司 | 读写请求处理方法、装置及电子设备 |
CN110968641A (zh) * | 2018-09-30 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 数据写入控制方法、装置及电子设备 |
CN111104070A (zh) * | 2019-12-24 | 2020-05-05 | 北京同有飞骥科技股份有限公司 | 分布式系统中数据一致性的实现方法及系统 |
CN111611068A (zh) * | 2019-02-25 | 2020-09-01 | 清华大学 | 分布式系统中的数据写方法、服务器及客户端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040268177A1 (en) * | 2003-06-06 | 2004-12-30 | Minwen Ji | Distributed data redundancy operations |
US20050203911A1 (en) * | 2004-03-12 | 2005-09-15 | Knut Heusermann | Management of inbound conflicts when merging data of distributed systems |
CN102081712A (zh) * | 2011-01-14 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种支持差异度量的角色动态转换方法 |
CN102521265A (zh) * | 2011-11-21 | 2012-06-27 | 华中科技大学 | 一种海量数据管理中动态一致性控制方法 |
CN103631894A (zh) * | 2013-11-19 | 2014-03-12 | 浪潮电子信息产业股份有限公司 | 一种基于hdfs的动态副本管理方法 |
-
2014
- 2014-04-23 CN CN201410165580.XA patent/CN103986694B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040268177A1 (en) * | 2003-06-06 | 2004-12-30 | Minwen Ji | Distributed data redundancy operations |
US20050203911A1 (en) * | 2004-03-12 | 2005-09-15 | Knut Heusermann | Management of inbound conflicts when merging data of distributed systems |
CN102081712A (zh) * | 2011-01-14 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种支持差异度量的角色动态转换方法 |
CN102521265A (zh) * | 2011-11-21 | 2012-06-27 | 华中科技大学 | 一种海量数据管理中动态一致性控制方法 |
CN103631894A (zh) * | 2013-11-19 | 2014-03-12 | 浪潮电子信息产业股份有限公司 | 一种基于hdfs的动态副本管理方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105892954A (zh) * | 2016-04-25 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于多副本的数据存储方法和装置 |
CN106250432A (zh) * | 2016-07-26 | 2016-12-21 | 浪潮软件股份有限公司 | 一种基于持久化MQ的hbase容错方法 |
CN106375416A (zh) * | 2016-08-30 | 2017-02-01 | 北京航空航天大学 | 分布式数据存储系统中一致性动态调整方法及装置 |
CN106557282B (zh) * | 2016-11-07 | 2019-08-23 | 华为技术有限公司 | 响应写请求的方法和装置 |
CN106557282A (zh) * | 2016-11-07 | 2017-04-05 | 华为技术有限公司 | 响应写请求的方法和装置 |
WO2018082302A1 (zh) * | 2016-11-07 | 2018-05-11 | 华为技术有限公司 | 响应写请求的方法和装置 |
CN108319618A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
CN107589913A (zh) * | 2017-09-19 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种存储单元分配的方法、装置及设备 |
CN107807793A (zh) * | 2017-10-27 | 2018-03-16 | 清华大学 | 分布式计算机存储系统中数据副本异构存储与访问方法 |
CN107807793B (zh) * | 2017-10-27 | 2019-11-08 | 清华大学 | 分布式计算机存储系统中数据副本异构存储与访问方法 |
CN109062513A (zh) * | 2018-08-06 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109062513B (zh) * | 2018-08-06 | 2021-10-15 | 郑州云海信息技术有限公司 | 一种控制处理写操作的方法及装置 |
CN109407970A (zh) * | 2018-09-12 | 2019-03-01 | 新华三技术有限公司成都分公司 | 读写请求处理方法、装置及电子设备 |
CN110968641A (zh) * | 2018-09-30 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 数据写入控制方法、装置及电子设备 |
CN110968641B (zh) * | 2018-09-30 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 数据写入控制方法、装置及电子设备 |
CN111611068A (zh) * | 2019-02-25 | 2020-09-01 | 清华大学 | 分布式系统中的数据写方法、服务器及客户端 |
CN111611068B (zh) * | 2019-02-25 | 2022-07-15 | 清华大学 | 分布式系统中的数据写方法、服务器及客户端 |
CN111104070A (zh) * | 2019-12-24 | 2020-05-05 | 北京同有飞骥科技股份有限公司 | 分布式系统中数据一致性的实现方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103986694B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103986694A (zh) | 分布式计算机数据存储系统中多副本一致性的控制方法 | |
US10127123B2 (en) | Locality based quorums | |
US9811546B1 (en) | Storing data and metadata in respective virtual shards on sharded storage systems | |
CN103095687B (zh) | 元数据处理方法及装置 | |
US8301600B1 (en) | Failover recovery in a distributed data store | |
US9053167B1 (en) | Storage device selection for database partition replicas | |
US8990176B2 (en) | Managing a search index | |
US9424145B2 (en) | Ensuring the same completion status for transactions after recovery in a synchronous replication environment | |
CN110287151B (zh) | 分布式存储系统、数据写入方法、装置和存储介质 | |
US20180121531A1 (en) | Data Updating Method, Device, and Related System | |
CN103399894A (zh) | 一种基于共享存储池的分布式事务处理方法 | |
CN104348793B (zh) | 存储服务器系统及数据信息的存储方法 | |
CN104735110A (zh) | 元数据管理方法和系统 | |
CN106027638B (zh) | 一种基于混合编码的hadoop数据分发方法 | |
CN105119997A (zh) | 云计算系统的数据处理方法 | |
CN114594914B (zh) | 用于分布式存储系统的控制方法及系统 | |
CN109672752A (zh) | 数据同步的方法及节点 | |
CN106873902B (zh) | 一种文件存储系统、数据调度方法及数据节点 | |
CN109597903A (zh) | 图像文件处理装置和方法、文件存储系统及存储介质 | |
CN106776795A (zh) | 基于Hbase数据库的数据写入方法及装置 | |
CN107368490A (zh) | 数据处理方法及装置 | |
US9805109B2 (en) | Computer, control device for computer system, and recording medium | |
CN106980618B (zh) | 基于MongoDB分布式集群架构的文件存储方法和系统 | |
CN110413588A (zh) | 分布式对象存储方法、装置、计算机设备和存储介质 | |
CN103399943A (zh) | 集群数据库并行查询的通讯方法和通讯装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |