CN104932986A - 一种数据重分布方法及装置 - Google Patents
一种数据重分布方法及装置 Download PDFInfo
- Publication number
- CN104932986A CN104932986A CN201410102711.XA CN201410102711A CN104932986A CN 104932986 A CN104932986 A CN 104932986A CN 201410102711 A CN201410102711 A CN 201410102711A CN 104932986 A CN104932986 A CN 104932986A
- Authority
- CN
- China
- Prior art keywords
- data block
- pointer
- address
- memory node
- target memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据重分布方法及装置,包括:确定需要迁移的数据块当前的存储地址和目标存储节点;在该目标存储节点中存储该数据块对应的指针,该数据块对应的指针指向该数据块当前的存储地址;并将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址;以及当满足迁移该数据块的预设触发条件时,从该目标存储节点中,获取该数据块对应的指针;将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址。相比于现有技术,避免了存储系统服务中断时间较长的问题。
Description
技术领域
本发明涉及数据存储技术领域,尤其涉及一种数据重分布方法及装置。
背景技术
随着大数据时代的到来,对于海量数据的存储处理越来越重要。目前,主流的海量数据存储技术是采用分布式存储系统。
分布式存储系统中有多个存储节点和一个数据管理节点,数据管理节点也可以和存储节点合设,通常按照一定的算法将数据块分散存储在各个存储节点上,常用的算法有哈希算法、轮转算法和随机算法等,在数据管理节点中存储所有存储节点中所有数据块的数据块标识及其对应的地址。数据块在各个存储节点上分散存储,可以充分利用各个存储节点的存储能力,也避免产生热点。分布式存储系统之所以用来存储海量数据,主要是因为其横向扩展能力强,可以通过增加存储节点数量进一步扩展系统的存储能力和数据处理能力。当分布式存储系统扩展后,需要对原有的存储数据进行重分布,以充分利用新增的存储节点。数据重分布的过程需要按照最新的存储节点数量,采用一定的算法重新计算,部分数据会被迁移到新增的存储节点上。
在数据重分布过程中,确定需要迁移的数据块后,将该数据块从原始存储节点复制到目标存储节点,然后将原始存储节点中的该数据块删除,最后将数据管理节点中存储的该数据块的存储地址更新为该数据块在目标存储节点中的存储地址,则结束数据重分布的过程。在整个数据重分布过程中,如果在将原始存储节点中的数据块删除之后,且还未将数据管理节点中该数据块的存储地址更新之前,此时访问该数据块,从数据管理节点中获取的该数据块的地址仍然是原始存储节点中的地址,而原始存储节点中的该数据块已经删除,那么必将出现访问错误。
现有技术中,为了防止在数据重分布过程中,数据访问错误的出现,通常会在数据重分布过程中将分布式存储系统服务设置为不可用,即中断分布式存储系统的服务。然而数据重分布的过程,大量数据的迁移需要花费很长时间,这样,又造成了分布式存储系统服务的中断时间较长。
发明内容
本发明实施例提供一种数据重分布方法及装置,用以解决现有技术中存在的数据重分布过程中分布式存储系统服务的中断时间较长的问题。
本发明实施例提供一种数据重分布方法,包括:
确定需要迁移的数据块当前的存储地址和目标存储节点;
在所述目标存储节点中存储所述数据块对应的指针,所述数据块对应的指针指向所述数据块当前的存储地址;
将数据管理节点中所述数据块当前的存储地址,更新为所述数据块对应的指针在所述目标存储节点中的存储地址;
当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针;
将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
本发明实施例提供的方法,针对需要迁移的数据块,在该数据块的目标存储节点添加指向该数据块当前的存储地址的指针,并将数据管理节点中该数据块当前的存储地址更新为该指针在该目标存储节点中的存储地址,当满足预设触发条件时,将该数据块进行迁移。该过程中,如果是在数据管理节点更新地址之前,访问该数据块,从数据管理节点中获取到的是该数据块当前的存储地址,此时该存储地址中仍存储有该数据块,则从该存储地址中可以成功访问该数据块;如果是在数据管理节点更新地址之后,且未满足预设触发条件,该数据块还未迁移到目标存储节点中之前,访问该数据块,从数据管理节点中获取到的是该数据块对应的指针在目标存储节点中的存储地址,然后获取该指针,也可以从该指针指向的地址中访问到该数据块;如果是在满足预设触发条件,该数据块已经迁移到目标存储节点之后,访问该数据块,那么从数据管理节点中获取到目标存储节点中的存储地址,即可以访问到该数据块。因此,采用本发明实施例提供的方案,在上述几种情况下访问数据均不会出现访问错误,无需中断存储系统服务,从而避免了存储系统服务中断时间较长的问题。
进一步的,当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针,具体包括:
当到达预设迁移周期时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到迁移指令时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到对所述数据块的修改指令时,从所述目标存储节点中,获取所述数据块对应的指针。
进一步的,在到达预设迁移周期之后,从所述目标存储节点中获取所述数据块对应的指针之前,还包括:
确定当前系统负载未超过预设负载阈值。
进一步的,在接收到迁移指令之后,从所述目标存储节点中获取所述数据块对应的指针之前,还包括:
确定当前系统负载未超过预设负载阈值。
这样,根据当前系统负载情况确定是否进行数据块的迁移,有助于利用闲时资源,也避免导致负载过高,使系统资源的整体利用趋于平稳。
进一步的,在接收到对所述数据块的修改指令,从所述目标存储节点中,获取所述数据块对应的指针之后,还包括:
根据所述修改指令,对所述指针指向的地址中存储的数据块进行修改;
将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体包括:
将所述指针指向的地址中存储的最新的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
进一步的,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体包括:
将所述指针指向的地址中存储的数据块,复制到所述指针在所述目标存储节点中的存储地址;
在所述指针指向的地址中将存储的数据块删除。
进一步的,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址之后,还包括:
将所述指针删除。
这样,数据迁移完成后,将原来的数据块以及指针删除,才能使存储资源得到更充分的利用。
相应的,本发明实施例还提供一种数据重分布装置,包括:
计算单元,用于确定需要迁移的数据块当前的存储地址和目标存储节点;
指针创建单元,用于在所述目标存储节点中存储所述数据块对应的指针,所述数据块对应的指针指向所述数据块当前的存储地址;
地址更新单元,用于将数据管理节点中所述数据块当前的存储地址,更新为所述数据块对应的指针在所述目标存储节点中的存储地址;
管理单元,用于当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针;并将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
进一步的,所述管理单元,具体用于当到达预设迁移周期时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到迁移指令时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到对所述数据块的修改指令时,从所述目标存储节点中,获取所述数据块对应的指针。
进一步的,所述管理单元,在到达预设迁移周期之后,从所述目标存储节点中获取所述数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
进一步的,所述管理单元,在接收到迁移指令之后,从所述目标存储节点中获取所述数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
进一步的,所述管理单元,在接收到对所述数据块的修改指令,从所述目标存储节点中,获取所述数据块对应的指针之后,还用于根据所述修改指令,对所述指针指向的地址中存储的数据块进行修改;
所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体用于将所述指针指向的地址中存储的最新的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
进一步的,所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体用于将所述指针指向的地址中存储的数据块,复制到所述指针在所述目标存储节点中的存储地址;并在所述指针指向的地址中将存储的数据块删除。
进一步的,所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址之后,还用于将所述指针删除。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的数据重分布方法的流程图之一;
图2为本发明实施例提供的数据重分布方法的流程图之二;
图3为本发明实施例提供的数据重分布装置的结构示意图。
具体实施方式
为了给出缩短数据重分布过程中分布式存储系统服务中断时间的实现方案,本发明实施例提供了一种数据重分布方法及装置,以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种数据重分布方法,方法步骤如图1所示,包括:
步骤101、确定需要迁移的数据块当前的存储地址和目标存储节点。
步骤102、在该目标存储节点中存储该数据块对应的指针,该数据块对应的指针指向该数据块当前的存储地址。
步骤103、将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址。
步骤104、当满足迁移该数据块的预设触发条件时,从该目标存储节点中,获取该数据块对应的指针。
步骤105、将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址。
在分布式存储系统中,对存储节点进行扩展后,通常需要对原有的存储数据进行重新分布,这样原有的存储节点和新增的存储节点才能达到存储的均衡,使新增的存储节点能够得到充分利用。数据重新分布按照原来的数据分布算法针对最新的存储节点数量进行重新计算,在重新计算之后,有些数据块需要迁移到新增的存储节点上。
本发明实施例提供的方法,针对需要迁移的数据块,在该数据块的目标存储节点添加指向该数据块当前的存储地址的指针,并将数据管理节点中该数据块当前的存储地址更新为该指针在该目标存储节点中的存储地址,当满足预设触发条件时,将该数据块进行迁移。该过程中,如果是在数据管理节点更新地址之前,访问该数据块,从数据管理节点中获取到的是该数据块当前的存储地址,此时该存储地址中仍存储有该数据块,则从该存储地址中可以成功访问该数据块;如果是在数据管理节点更新地址之后,且未满足预设触发条件,该数据块还未迁移到目标存储节点中之前,访问该数据块,从数据管理节点中获取到的是该数据块对应的指针在目标存储节点中的存储地址,然后获取该指针,也可以从该指针指向的地址中访问到该数据块;如果是在满足预设触发条件,该数据块已经迁移到目标存储节点之后,访问该数据块,那么从数据管理节点中获取到目标存储节点中的存储地址,即可以访问到该数据块。因此,采用本发明实施例提供的方案,在上述几种情况下访问数据均不会出现访问错误,无需中断存储系统服务,从而避免了存储系统服务中断时间较长的问题。
下面结合附图,用具体实施例对本发明提供的方法及装置和相应系统进行详细描述。具体的方法步骤如图2所示,包括:
步骤201、分布式存储系统新增存储节点,对原来各存储节点中存储的数据,采用相应的数据分布算法进行计算,确定需要迁移的数据块当前的存储地址和目标存储节点。
其中,该步骤中的数据分布算法与现有技术中相同,如哈希算法、轮转算法和随机算法等,在此不再进行详细描述。
步骤202、在确定的需要迁移的数据块的目标存储及诶单中存储该数据块对应的指针,且该数据块对应的指针指向该数据块当前的存储地址。
步骤203、将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址。
在分布式存储系统中,数据管理节点中存储着每个数据块的存储地址,当访问某个数据块时,直接在数据管理节点中获取该数据块的存储地址,根据该存储地址,即可访问到该数据块。
该步骤中,将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址,那么访问该数据块时,首先根据数据管理节点中获取的地址,获取到的是一个指针,该指针又指向了该数据块实际的存储地址,因此,通过该指针即可成功访问到该数据块。
本发明实施例通过指针方式支持数据迁移,具体为针对某个数据库进行迁移时,先不做实际的数据拷贝,只是在数据迁移目标存储节点上添加一个指向该数据块的指针,然后可以返回迁移成功消息。另外,可以设置一个管理模块,预设一定的迁移触发条件,当满足触发条件时,按照指针信息进行实际的数据拷贝。实际应用中,具体的迁移触发条件可以有多种,例如:
第一种方式:可以预设一定的迁移周期,当到达预设迁移周期时,触发数据块的迁移。
第二种方式:当开发人员欲迁移该数据块时,可以输入相应的迁移指令,在系统接收到该迁移指令时,触发该数据块的迁移。
第三种方式:还可以设置对数据块的修改触发,即当对该数据块进行修改时,同时将修改后的最新的数据块迁移到目标存储节点。
下面以第一种方式为例来描述具体的迁移过程。
步骤204、监测迁移周期。
步骤205、当到达预设迁移周期时,判断当前系统负载是否超过预设负载阈值。如果超过预设负载阈值,则返回步骤204,否则,执行步骤206。
步骤206、在数据管理节点中获取该数据块对应的存储地址,此时,该存储地址为该数据块对应的指针在目标存储节点中的存储地址。
步骤207、通过该存储地址,获取该数据块对应的指针。
步骤208、通过该指针所指向的地址,获取到该数据块。
步骤209、将该数据块复制到该指针在目标存储节点中的存储地址。
该步骤中,将该数据块复制到该指针在目标存储节点中的存储地址之后,还可以将该指针指向的地址中存储的数据块删除,以及将该指针删除。
基于同一发明构思,根据本发明上述实施例提供的数据重分布方法,相应地,本发明另一实施例还提供了数据重分布装置,装置结构示意图如图3所示,具体包括:
计算单元301,用于确定需要迁移的数据块当前的存储地址和目标存储节点;
指针创建单元302,用于在该目标存储节点中存储该数据块对应的指针,该数据块对应的指针指向该数据块当前的存储地址;
地址更新单元303,用于将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址;
管理单元304,用于当满足迁移该数据块的预设触发条件时,从该目标存储节点中,获取该数据块对应的指针;并将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址。
进一步的,该管理单元304,具体用于当到达预设迁移周期时,从该目标存储节点中,获取该数据块对应的指针,或者当接收到迁移指令时,从该目标存储节点中,获取该数据块对应的指针,或者当接收到对该数据块的修改指令时,从该目标存储节点中,获取该数据块对应的指针。
进一步的,所诉管理单元304,在到达预设迁移周期之后,从该目标存储节点中获取该数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
进一步的,该管理单元304,在接收到迁移指令之后,从该目标存储节点中获取该数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
进一步的,该管理单元304,在接收到对该数据块的修改指令,从该目标存储节点中,获取该数据块对应的指针之后,还用于根据该修改指令,对该指针指向的地址中存储的数据块进行修改;
该管理单元304,将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址,具体用于将该指针指向的地址中存储的最新的数据块,迁移到该指针在该目标存储节点中的存储地址。
进一步的,该管理单元304,将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址,具体用于将该指针指向的地址中存储的数据块,复制到该指针在该目标存储节点中的存储地址;并在该指针指向的地址中将存储的数据块删除。
进一步的,该管理单元304,将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址之后,还用于将该指针删除。
上述各单元的功能可对应于图1至图2所示流程中的相应处理步骤,在此不再赘述。
综上该,本发明实施例提供的方案,确定需要迁移的数据块当前的存储地址和目标存储节点;在该目标存储节点中存储该数据块对应的指针,该数据块对应的指针指向该数据块当前的存储地址;并将数据管理节点中该数据块当前的存储地址,更新为该数据块对应的指针在该目标存储节点中的存储地址;以及当满足迁移该数据块的预设触发条件时,从该目标存储节点中,获取该数据块对应的指针;将该指针指向的地址中存储的数据块,迁移到该指针在该目标存储节点中的存储地址。相比于现有技术,避免了存储系统服务中断时间较长的问题。
本申请的实施例所提供的数据重分布装置可通过计算机程序实现。本领域技术人员应该能够理解,上述的模块划分方式仅是众多模块划分方式中的一种,如果划分为其他模块或不划分模块,只要数据重分布装置具有上述功能,都应该在本申请的保护范围之内。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种数据重分布方法,其特征在于,包括:
确定需要迁移的数据块当前的存储地址和目标存储节点;
在所述目标存储节点中存储所述数据块对应的指针,所述数据块对应的指针指向所述数据块当前的存储地址;
将数据管理节点中所述数据块当前的存储地址,更新为所述数据块对应的指针在所述目标存储节点中的存储地址;
当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针;
将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
2.如权利要求1所述的方法,其特征在于,当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针,具体包括:
当到达预设迁移周期时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到迁移指令时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到对所述数据块的修改指令时,从所述目标存储节点中,获取所述数据块对应的指针。
3.如权利要求2所述的方法,其特征在于,在到达预设迁移周期之后,从所述目标存储节点中获取所述数据块对应的指针之前,还包括:
确定当前系统负载未超过预设负载阈值。
4.如权利要求2所述的方法,其特征在于,在接收到迁移指令之后,从所述目标存储节点中获取所述数据块对应的指针之前,还包括:
确定当前系统负载未超过预设负载阈值。
5.如权利要求2所述的方法,其特征在于,在接收到对所述数据块的修改指令,从所述目标存储节点中,获取所述数据块对应的指针之后,还包括:
根据所述修改指令,对所述指针指向的地址中存储的数据块进行修改;
将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体包括:
将所述指针指向的地址中存储的最新的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
6.如权利要求1所述的方法,其特征在于,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体包括:
将所述指针指向的地址中存储的数据块,复制到所述指针在所述目标存储节点中的存储地址;
在所述指针指向的地址中将存储的数据块删除。
7.如权利要求1所述的方法,其特征在于,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址之后,还包括:
将所述指针删除。
8.一种数据重分布装置,其特征在于,包括:
计算单元,用于确定需要迁移的数据块当前的存储地址和目标存储节点;
指针创建单元,用于在所述目标存储节点中存储所述数据块对应的指针,所述数据块对应的指针指向所述数据块当前的存储地址;
地址更新单元,用于将数据管理节点中所述数据块当前的存储地址,更新为所述数据块对应的指针在所述目标存储节点中的存储地址;
管理单元,用于当满足迁移所述数据块的预设触发条件时,从所述目标存储节点中,获取所述数据块对应的指针;并将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
9.如权利要求8所述的装置,其特征在于,所述管理单元,具体用于当到达预设迁移周期时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到迁移指令时,从所述目标存储节点中,获取所述数据块对应的指针,或者
当接收到对所述数据块的修改指令时,从所述目标存储节点中,获取所述数据块对应的指针。
10.如权利要求9所述的装置,其特征在于,所述管理单元,在到达预设迁移周期之后,从所述目标存储节点中获取所述数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
11.如权利要求9所述的装置,其特征在于,所述管理单元,在接收到迁移指令之后,从所述目标存储节点中获取所述数据块对应的指针之前,还用于确定当前系统负载未超过预设负载阈值。
12.如权利要求9所述的装置,其特征在于,所述管理单元,在接收到对所述数据块的修改指令,从所述目标存储节点中,获取所述数据块对应的指针之后,还用于根据所述修改指令,对所述指针指向的地址中存储的数据块进行修改;
所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体用于将所述指针指向的地址中存储的最新的数据块,迁移到所述指针在所述目标存储节点中的存储地址。
13.如权利要求8所述的装置,其特征在于,所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址,具体用于将所述指针指向的地址中存储的数据块,复制到所述指针在所述目标存储节点中的存储地址;并在所述指针指向的地址中将存储的数据块删除。
14.如权利要求8所述的装置,其特征在于,所述管理单元,将所述指针指向的地址中存储的数据块,迁移到所述指针在所述目标存储节点中的存储地址之后,还用于将所述指针删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410102711.XA CN104932986A (zh) | 2014-03-19 | 2014-03-19 | 一种数据重分布方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410102711.XA CN104932986A (zh) | 2014-03-19 | 2014-03-19 | 一种数据重分布方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104932986A true CN104932986A (zh) | 2015-09-23 |
Family
ID=54120157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410102711.XA Pending CN104932986A (zh) | 2014-03-19 | 2014-03-19 | 一种数据重分布方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104932986A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108810041A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种分布式缓存系统的数据写入及扩容方法、装置 |
CN108932256A (zh) * | 2017-05-25 | 2018-12-04 | 中兴通讯股份有限公司 | 分布式数据重分布控制方法、装置及数据管理服务器 |
CN110162574A (zh) * | 2019-05-27 | 2019-08-23 | 上海达梦数据库有限公司 | 数据重分布方式的确定方法、装置、服务器及存储介质 |
CN111414422A (zh) * | 2020-03-19 | 2020-07-14 | 上海达梦数据库有限公司 | 一种数据分布方法、装置、设备和存储介质 |
WO2021042595A1 (zh) * | 2019-09-05 | 2021-03-11 | 浪潮电子信息产业股份有限公司 | 一种虚拟磁盘迁移方法、装置、设备及可读存储介质 |
CN112558881A (zh) * | 2020-12-18 | 2021-03-26 | 上海七牛信息技术有限公司 | 一种迁移存储系统的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050278492A1 (en) * | 2004-06-10 | 2005-12-15 | Stakutis Christopher J | Method, system, and program for migrating source data to target data |
CN101170416A (zh) * | 2006-10-26 | 2008-04-30 | 阿里巴巴公司 | 网络数据存储系统及其数据访问方法 |
CN202856793U (zh) * | 2012-09-29 | 2013-04-03 | 南京云创存储科技有限公司 | 一种超大规模低成本存储系统 |
CN103051681A (zh) * | 2012-12-06 | 2013-04-17 | 华中科技大学 | 一种面向分布式文件系统的协作式日志系统 |
CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
CN103229487A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的分区平衡方法、装置及服务器 |
CN103559103A (zh) * | 2013-11-06 | 2014-02-05 | 华为技术有限公司 | 数据复制方法和装置 |
-
2014
- 2014-03-19 CN CN201410102711.XA patent/CN104932986A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050278492A1 (en) * | 2004-06-10 | 2005-12-15 | Stakutis Christopher J | Method, system, and program for migrating source data to target data |
CN101170416A (zh) * | 2006-10-26 | 2008-04-30 | 阿里巴巴公司 | 网络数据存储系统及其数据访问方法 |
CN103186350A (zh) * | 2011-12-31 | 2013-07-03 | 北京快网科技有限公司 | 混合存储系统及热点数据块的迁移方法 |
CN202856793U (zh) * | 2012-09-29 | 2013-04-03 | 南京云创存储科技有限公司 | 一种超大规模低成本存储系统 |
CN103051681A (zh) * | 2012-12-06 | 2013-04-17 | 华中科技大学 | 一种面向分布式文件系统的协作式日志系统 |
CN103229487A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的分区平衡方法、装置及服务器 |
CN103559103A (zh) * | 2013-11-06 | 2014-02-05 | 华为技术有限公司 | 数据复制方法和装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108810041A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种分布式缓存系统的数据写入及扩容方法、装置 |
CN108932256A (zh) * | 2017-05-25 | 2018-12-04 | 中兴通讯股份有限公司 | 分布式数据重分布控制方法、装置及数据管理服务器 |
CN110162574A (zh) * | 2019-05-27 | 2019-08-23 | 上海达梦数据库有限公司 | 数据重分布方式的确定方法、装置、服务器及存储介质 |
WO2021042595A1 (zh) * | 2019-09-05 | 2021-03-11 | 浪潮电子信息产业股份有限公司 | 一种虚拟磁盘迁移方法、装置、设备及可读存储介质 |
CN111414422A (zh) * | 2020-03-19 | 2020-07-14 | 上海达梦数据库有限公司 | 一种数据分布方法、装置、设备和存储介质 |
CN111414422B (zh) * | 2020-03-19 | 2023-09-29 | 上海达梦数据库有限公司 | 一种数据分布方法、装置、设备和存储介质 |
CN112558881A (zh) * | 2020-12-18 | 2021-03-26 | 上海七牛信息技术有限公司 | 一种迁移存储系统的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102204256B1 (ko) | 블록체인 서비스 수락 및 합의 방법과 디바이스 | |
CN104932986A (zh) | 一种数据重分布方法及装置 | |
CN102419770B (zh) | 文件共享系统及实现文件共享的方法、文件索引服务设备 | |
CN103518364B (zh) | 分布式存储系统的数据更新方法及服务器 | |
JP2020507866A (ja) | データ処理方法およびデバイス | |
KR20190091484A (ko) | 블록체인 합의 방법 및 디바이스 | |
CN110032549B (zh) | 分区分裂方法、装置、电子设备及可读存储介质 | |
US9400767B2 (en) | Subgraph-based distributed graph processing | |
CN103236989B (zh) | 一种内容分发网络中的缓存控制方法、设备及系统 | |
TWI694700B (zh) | 資料處理方法和裝置、用戶端 | |
CN111723073B (zh) | 数据存储处理方法、装置、处理系统以及存储介质 | |
JP2018502373A (ja) | ハードウェアベースの処理を使用する分散型ツリースキャンを行うためのシステム及び方法 | |
CN105302920A (zh) | 一种云存储数据的优化管理方法和系统 | |
CN105677736A (zh) | 一种增加、删除服务器节点的方法及装置 | |
TWI690187B (zh) | 服務更新方法及裝置、系統 | |
CN105744001A (zh) | 分布式缓存系统扩容方法、数据访问方法及装置和系统 | |
CN111209120A (zh) | 微服务的数据同步方法、装置及计算机可读存储介质 | |
CN103366021A (zh) | 一种云计算平台上的变邻域搜索方法及系统 | |
Liu et al. | An improved hadoop data load balancing algorithm | |
CN107391039B (zh) | 一种数据对象存储方法和装置 | |
CN116578746A (zh) | 对象去重方法及装置 | |
CN115129728A (zh) | 一种文件校验的方法及装置 | |
CN104517067A (zh) | 访问数据的方法、装置及系统 | |
CN111552494B (zh) | 一种容器组的管理方法、设备、系统及介质 | |
CN111459913A (zh) | 分布式数据库的容量扩展方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150923 |
|
RJ01 | Rejection of invention patent application after publication |