CN103067433B - 一种分布式存储系统的数据迁移方法、设备和系统 - Google Patents

一种分布式存储系统的数据迁移方法、设备和系统 Download PDF

Info

Publication number
CN103067433B
CN103067433B CN201110325238.8A CN201110325238A CN103067433B CN 103067433 B CN103067433 B CN 103067433B CN 201110325238 A CN201110325238 A CN 201110325238A CN 103067433 B CN103067433 B CN 103067433B
Authority
CN
China
Prior art keywords
storage server
data
target storage
client
source storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110325238.8A
Other languages
English (en)
Other versions
CN103067433A (zh
Inventor
李智慧
何坤
余俊
周异
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tmall Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201110325238.8A priority Critical patent/CN103067433B/zh
Publication of CN103067433A publication Critical patent/CN103067433A/zh
Priority to HK13107316.7A priority patent/HK1180141A1/zh
Application granted granted Critical
Publication of CN103067433B publication Critical patent/CN103067433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储系统的数据迁移方法、设备和系统,该方法包括:源存储服务器接收来自客户端的需要写入的数据;当所述源存储服务器根据预设路由算法确定需要将所述数据写入到目标存储服务器时,所述源存储服务器将所述数据写入到所述目标存储服务器。本申请实施例中,在源存储服务器将数据迁移到目标存储服务器的过程中,客户端仍将需要写入的数据发送给源存储服务器,如果该数据的存储地址为目标存储服务器,则源存储服务器会代理客户端将数据存储到目标存储服务器上,从而实现分布式存储系统的实时平滑线性扩容,提高系统性能,改善可用性,并降低部署复杂性。

Description

一种分布式存储系统的数据迁移方法、设备和系统
技术领域
本申请涉及通信技术领域,尤其涉及一种分布式存储系统的数据迁移方法、设备和系统
背景技术
在分布式存储系统(即将数据分散存储在多台独立的存储服务器上)中,当数据存储需求达到实际物理存储容量时,分布式存储系统需要进行物理扩容才能满足需求,物理扩容通常的做法是在存储集群中加入新的存储服务器。
现有技术中,实现分布式存储系统扩容的方式包括:
(1)通过对存储服务器进行停机维护的方式实现分布式存储系统扩容,该方式下会影响分布式存储系统的可用性。
(2)通过HDFS(HadoopDistributedFileSystem,分布式文件系统)的方式实现分布式存储系统扩容,如图1所示的系统架构示意图,该方式下,利用NameNode(名称服务器)提供存储管理及访问检索服务;在需要扩容时,对数据进行迁移,修改Namenode的索引记录(即迁移后的数据索引到新的存储服务器上);当应用程序需要访问数据时,首先访问Namenode,利用索引记录获得数据存储的物理位置,然后通过该物理位置访问存储服务器上的数据。
(3)通过当前提出的分布式缓存的实现方法及装置实现分布式存储系统扩容,如图2所示的系统架构示意图,该方式下,通过使用路由器和代理模块配合的方法实现数据迁移,该系统包括:多个代理服务模块Proxy、路由器Router、缓存服务节点群CacheServer(包括多个缓存服务器节点)、数据存储服务模块DBAccessed以及存储介质。
Proxy用于接收业务应用的数据操作请求,并根据Router中所配置的路由表将数据操作请求分配到相应的CacheServer上进行操作;Router用于配置缓存数据和各CacheServer之间的对应关系表,通过该对应关系表可以得知缓存数据应该存储在哪个CacheServer中;CacheServer是数据查询和存储的核心,负责通过自身将数据从内存中查询得到或保存数据到内存中;DBAccessed用于将未回写数据写入到存储介质中,存储介质可以是数据库或文件等。
基于上述系统架构,在需要进行缓存数据迁移时,如业务1的缓存服务节点1向缓存服务节点2迁移数据,则如图3所示的迁移时序图;Router向缓存服务节点2发送迁移某号段的请求,缓存服务节点2返回准备完成;Router发送开始迁移请求到缓存服务节点1;缓存服务节点1按顺序将该号段的数据同步到缓存服务节点2;缓存服务节点1向Router返回迁移完成的消息;Router更改相应缓存数据、缓存服务节点1、缓存服务节点2之间的配置关系,完成路由配置消息的更改,并通知各个相关服务,完成数据迁移过程。
在实现本申请的过程中,发明人发现现有技术中至少存在以下问题:
上述方式(1)中,由于会影响分布式存储系统的可用性,即导致分布式存储系统不可用,因此在实际应用中,特别是大型互联网系统中很少使用。
上述方式(2)是目前主流的分布式存储架构,但是其依赖于Namenode,每次读写访问均需要访问Namenode,增加了开销,且降低了性能;在Namenode发生故障时,则会引起整个分布式存储系统不可用;进一步的,如果Namenode采用高可用分布式方案,则会使分布式存储系统更加复杂。
上述方式(3)中,需要增加代理层进行路由选择,影响了系统性能;而且迁移数据时需要修改存储数据和存储节点的配置关系,逻辑复杂,并可能造成负载不均衡。
发明内容
本申请实施例提供一种分布式存储系统的数据迁移方法、设备和系统,以在数据迁移过程中提高系统性能。
为了达到上述目的,本申请实施例提供一种分布式存储系统的数据迁移方法,应用于包括客户端、数据管理服务器、源存储服务器、目标存储服务器的分布式存储系统中,在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,该方法包括以下步骤:
所述源存储服务器接收来自所述客户端的需要写入的数据;
当所述源存储服务器根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时,所述源存储服务器将所述数据写入到所述目标存储服务器。
另一方面,本申请实施例提供一种存储服务器,作为源存储服务器应用于包括客户端、数据管理服务器、所述源存储服务器、目标存储服务器的分布式存储系统中,在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,该存储服务器包括:
接收模块,用于接收来自所述客户端的需要写入的数据;
路由模块,用于根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器;
代理模块,用于当确定需要将所述数据写入到所述目标存储服务器时,将所述数据写入到所述目标存储服务器。
另一方面,本申请实施例提供一种分布式存储系统,包括客户端、数据管理服务器、源存储服务器、目标存储服务器,其中:
所述数据管理服务器,用于通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器;
所述客户端,用于在所述源存储服务器数据迁移完成前,在有数据需要写入时,将需要写入的数据发送给所述源存储服务器;在所述源存储服务器数据迁移完成后,在有数据需要写入时,根据所述预设路由算法确定将需要写入的数据发送给所述源存储服务器,或者,将需要写入的数据发送给所述目标存储服务器;
所述源存储服务器,用于在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器;
在接收到来自所述客户端的需要写入的数据后,当根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时,利用所述写代理功能将所述数据写入到所述目标存储服务器。
与现有技术相比,本申请实施例至少具有以下优点:在源存储服务器将数据迁移到目标存储服务器的过程中,客户端仍将需要写入的数据发送给源存储服务器,如果该数据的存储地址为目标存储服务器,则源存储服务器会代理客户端将数据存储到目标存储服务器上,从而实现分布式存储系统的实时平滑线性扩容,提高系统性能,改善可用性,并降低部署复杂性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中HDFS方式的系统架构示意图;
图2是现有技术中分布式缓存的实现方法的系统架构示意图;
图3是现有技术中分布式缓存的实现方法的迁移时序示意图;
图4是本申请实施例一提供的分布式存储系统的架构示意图;
图5是本申请实施例一提供的一种分布式存储系统的数据迁移方法流程示意图;
图6是本申请实施例二提供的一种存储服务器的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
本申请实施例一提供一种分布式存储系统的数据迁移方法,该方法应用于包括客户端、数据管理服务器、源存储服务器、目标存储服务器的分布式存储系统中;该客户端用于为用户的存储访问提供服务,完成数据的存储过程,例如,访问某一网站的用户需要上传数据至该网站,则该网站的分布式存储系统的客户端接收用户上传的数据,并将其存储到存储服务器上,此时,客户端需要根据自身的策略确定应该将数据存储到哪个存储服务器上,并将该数据存储到确定的存储服务器上;当然,可以理解的是客户端并不仅仅用于接收访问网站的用户上传的数据,也可以用于接收任何使用该分布式存储系统的用户上传的数据。源存储服务器为扩容前的存储服务器,目标存储服务器为扩容过程中添加的存储服务器,源存储服务器和目标存储服务器在实际应用中均可以为一个或多个,本申请中以一个源存储服务器和目标存储服务器为例。
以图4为本申请实施例的分布式存储系统架构的应用示意图,存储服务器1和存储服务器2为DataServer,用于提供数据存储和访问服务,存储服务器1为源存储服务器,存储服务器2为目标存储服务器;数据管理服务器为AdminServer,用于生成路由表并进行迁移调度;客户端为KVclient(可以通过应用程序实现),用于根据路由表进行路由计算,确定应该将用户的数据存储到哪个存储服务器上,并将用户的数据存储到确定的存储服务器,以实现用户数据的存储过程。
基于上述系统架构,当存储服务器1的数据存储需求达到实际物理存储容量时,则分布式存储系统需要进行物理扩容才能满足需求,即分布式存储系统中添加新的存储服务器2来实现扩容,之后需要执行数据迁移过程(即源存储服务器将数据迁移到目标存储服务器)。
如图5所示,该分布式存储系统的数据迁移方法包括以下步骤:
步骤501,当需要执行数据迁移过程时,数据管理服务器通知源存储服务器将数据迁移到目标存储服务器,即数据管理服务器通知源存储服务器根据预设路由算法将数据迁移到目标存储服务器。
步骤502,源存储服务器根据预设路由算法将数据迁移到目标存储服务器。其中,该预设路由算法为增加了新目标存储服务器后,确定数据存储的目的地址的路由算法,例如,在源存储服务器上已经存储有数据1和数据2后,基于预设路由算法,源存储服务器可以获知需要将数据1存储到源存储服务器(此时不需要对数据1进行迁移),并可以获知需要将数据2存储到目标存储服务器,因此源存储服务器需要将数据2迁移到目标存储服务器。
本申请中,该预设路由算法可以根据实际情况进行选择,例如,该预设路由算法可使用一致性hash算法,该预设路由算法本申请中不再赘述。
本申请中,在数据迁移过程中,还可以包括以下步骤:
步骤503,客户端将需要写入的数据发送给源存储服务器。之后,源存储服务器接收来自客户端的需要写入的数据。
需要说明的是,当有数据需要写入到存储服务器时,客户端可利用自身当前的路由表以及预设路由算法(与源存储服务器上的预设路由算法相同)确定应该将数据写入到哪个存储服务器上;而在源存储服务器将数据迁移到目标存储服务器的过程中,客户端并不知道已经存在目标存储服务器,即当前路由表中并没用目标存储服务器,此时,在确定数据写入到哪个存储服务器上时,则会确定为源存储服务器,即客户端仍然将需要写入的数据发送给源存储服务器,由源存储服务器接收来自客户端的需要写入的数据。
步骤504,在源存储服务器根据预设路由算法确定需要将来自客户端的数据写入到目标存储服务器后,将来自客户端的数据写入到目标存储服务器。
本申请中,在接收到来自客户端的需要写入的数据后,根据预设路由算法(与步骤502中的预设路由算法相同),源存储服务器可确定将来自客户端的数据写入到源存储服务器或目标存储服务器,以将来自客户端的数据写入到目标存储服务器为例,则需要将来自客户端的数据写入到目标存储服务器。
具体的,在步骤501中,由数据管理服务器通知源存储服务器将数据迁移到目标存储服务器后,该源存储服务器需要启动自身的写代理功能,该写代理功能用于当确定需要将来自客户端的数据写入到目标存储服务器时,代理客户端将数据写入到目标存储服务器;基于此,本步骤中,源存储服务器可利用自身的写代理功能将来自客户端的数据写入到目标存储服务器。
需要说明的是,在迁移过程中,迁移的数据仍然存储在源存储服务器上并未删除,因此在客户端需要读取源存储服务器上的数据时,虽然此时该数据有可能被迁移至目标存储服务器,则仍然可以由源存储服务器提供服务,在此不再详加赘述。
本申请中,在数据迁移完成后,还可以包括以下步骤:
步骤505,源存储服务器通知数据管理服务器已完成数据迁移,即需要迁移到目的存储服务器的数据已经迁移完成。
步骤506,数据管理服务器通知源存储服务器数据迁移过程完成。
当存在多个源存储服务器时,在数据管理服务器接收到所有源存储服务器的已完成数据迁移的通知后,则数据管理服务器确定此次数据迁移过程完成,并通知各源存储服务器数据迁移过程完成。
之后,由于分布式存储系统中提供数据存储和访问服务的存储服务器增加(即增加了目标存储服务器),因此数据管理服务器还需要更新路由表(此时路由表中包含有源存储服务器和目标存储服务器),并在后续过程中利用更新后的路由表进行处理。
本申请中,在数据管理服务器通知源存储服务器数据迁移完成后,该源存储服务器还需要关闭自身的写代理功能,即不再代理客户端向其他存储服务器写入数据;此外,该源存储服务器还需要删除自身存储的已迁移到目标存储服务器的数据,以节省自身的存储空间。
本申请中,在源存储服务器确定需要将来自客户端的数据写入到目标存储服务器后,源存储服务器还需要缓存来自客户端的数据;在数据管理服务器通知源存储服务器数据迁移完成后,源存储服务器还需要删除自身缓存的已写入目标存储服务器的数据。
步骤507,源存储服务器通知客户端更新自身的路由表。
在源存储服务器接收到数据管理服务器的数据迁移过程完成通知后,如果接收到来自客户端的需要写入的数据,则比较该客户端的路由版本和自身的路由版本(即路由表的版本),由于客户端的路由版本为基于源存储服务器计算的,而源存储服务器的路由版本为基于源存储服务器和目标存储服务器计算的,因此,源存储服务器需要通知客户端更新自身的路由表。
步骤508,客户端更新自身的路由表。
在客户端接收到源存储服务器的更新自身路由表的通知后,客户端需要从数据管理服务器上获得路由表的相关信息(由于数据管理服务器更新了路由表,因此数据管理服务器可将更新后的路由表通知给客户端),并更新自身的路由表,此时路由表中包含有源存储服务器和目标存储服务器。
之后,客户端有数据需要写入时,客户端可利用自身当前的路由表以及预设路由算法确定应该将数据写入到哪个存储服务器上;而此时的路由表中已经包含有源存储服务器和目标存储服务器,因此,客户端可根据预设路由算法确定将需要写入的数据发送给源存储服务器,或者,将需要写入的数据发送给目标存储服务器。
综上所述,通过采用本申请提供的技术方案,至少具有以下优点:
(1)可以实现将源存储服务器中的部分数据迁移到新加入的存储服务器中,以保证负载均衡。
(2)在数据迁移过程中,存储服务器提供数据的正常读写访问服务,不受迁移影响;在源存储服务器将数据迁移到目标存储服务器的过程中,客户端仍将需要写入的数据发送给源存储服务器,如果该数据的存储地址为目标存储服务器,则源存储服务器会代理客户端将数据存储到目标存储服务器上,从而实现分布式存储系统的实时平滑线性扩容(即在分布式存储系统不停机的状态下加入一台或多台存储服务器,并使新加入的存储服务器的负载和原存储服务器的负载类似),提高系统性能,改善可用性,并降低部署复杂性。
(3)数据迁移完成后,数据读写访问可以路由到正确的存储服务器上。
实施例二
基于与上述方法同样的申请构思,本申请实施例中还提供了一种存储服务器,作为源存储服务器应用于包括客户端、数据管理服务器、所述源存储服务器、目标存储服务器的分布式存储系统中,在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,如图6所示,该存储服务器包括:
接收模块11,用于接收来自所述客户端的需要写入的数据;
路由模块12,用于根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器;
代理模块13,用于当确定需要将所述数据写入到所述目标存储服务器时,将所述数据写入到所述目标存储服务器。
本申请中,该存储服务器还包括:
管理模块14,用于在所述数据管理服务器通知根据预设路由算法将数据迁移到所述目标存储服务器后,启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器。
所述代理模块13,具体用于利用所述写代理功能将所述数据写入到所述目标存储服务器。
所述管理模块14,具体用于在所述数据管理服务器通知数据迁移完成后,关闭自身的写代理功能,并删除自身存储的已迁移到所述目标存储服务器的数据。
管理模块14,还用于在根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器后,缓存所述数据;
在所述数据管理服务器通知数据迁移完成后,删除自身缓存的已写入所述目标存储服务器的数据。
其中,本申请装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
实施例三
基于与上述方法同样的申请构思,本申请实施例中还提供了一种分布式存储系统,包括客户端、数据管理服务器、源存储服务器、目标存储服务器,其中:
所述数据管理服务器,用于通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器;
所述客户端,用于在所述源存储服务器数据迁移完成前,在有数据需要写入时,将需要写入的数据发送给所述源存储服务器;在所述源存储服务器数据迁移完成后,在有数据需要写入时,根据所述预设路由算法确定将需要写入的数据发送给所述源存储服务器,或者,将需要写入的数据发送给所述目标存储服务器;
所述源存储服务器,用于在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器;
在接收到来自所述客户端的需要写入的数据后,当根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时,利用所述写代理功能将所述数据写入到所述目标存储服务器。
综上所述,通过采用本申请提供的设备和系统至少具有以下优点:
(1)可以实现将源存储服务器中的部分数据迁移到新加入的存储服务器中,以保证负载均衡。
(2)在数据迁移过程中,存储服务器提供数据的正常读写访问服务,不受迁移影响;在源存储服务器将数据迁移到目标存储服务器的过程中,客户端仍将需要写入的数据发送给源存储服务器,如果该数据的存储地址为目标存储服务器,则源存储服务器会代理客户端将数据存储到目标存储服务器上,从而实现分布式存储系统的实时平滑线性扩容(即在分布式存储系统不停机的状态下加入一台或多台存储服务器,并使新加入的存储服务器的负载和原存储服务器的负载类似),提高系统性能,改善可用性,并降低部署复杂性。
(3)数据迁移完成后,数据读写访问可以路由到正确的存储服务器上。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本申请的几个具体实施例,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (8)

1.一种分布式存储系统的数据迁移方法,其特征在于,应用于包括客户端、数据管理服务器、源存储服务器、目标存储服务器的分布式存储系统中,在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,该方法包括以下步骤:
所述源存储服务器接收来自所述客户端的需要写入的数据;
当所述源存储服务器根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时,所述源存储服务器将所述数据写入到所述目标存储服务器;
在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,所述源存储服务器启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器;
所述源存储服务器将所述数据写入到所述目标存储服务器,包括:所述源存储服务器利用所述写代理功能将所述数据写入到所述目标存储服务器;
其中,所述预设路由算法为增加了新目标存储服务器后,确定数据存储的目的地址的路由算法。
2.如权利要求1所述的方法,其特征在于,
在所述数据管理服务器通知所述源存储服务器数据迁移完成后,所述源存储服务器关闭自身的写代理功能,并删除自身存储的已迁移到所述目标存储服务器的数据。
3.如权利要求1所述的方法,其特征在于,
所述源存储服务器根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器后,所述源存储服务器缓存所述数据;
在所述数据管理服务器通知所述源存储服务器数据迁移完成后,所述源存储服务器删除自身缓存的已写入所述目标存储服务器的数据。
4.如权利要求1所述的方法,其特征在于,
在所述源存储服务器数据迁移完成前,所述客户端有数据需要写入时,所述客户端将需要写入的数据发送给所述源存储服务器;
在所述源存储服务器数据迁移完成后,所述客户端有数据需要写入时,所述客户端根据所述预设路由算法确定将需要写入的数据发送给所述源存储服务器,或者,将需要写入的数据发送给所述目标存储服务器。
5.一种存储服务器,其特征在于,作为源存储服务器应用于包括客户端、数据管理服务器、所述源存储服务器、目标存储服务器的分布式存储系统中,在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,该存储服务器包括:
接收模块,用于接收来自所述客户端的需要写入的数据;
路由模块,用于根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器;
代理模块,用于当确定需要将所述数据写入到所述目标存储服务器时,将所述数据写入到所述目标存储服务器;
管理模块,用于在所述数据管理服务器通知根据预设路由算法将数据迁移到所述目标存储服务器后,启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器,其中,所述预设路由算法为增加了新目标存储服务器后,确定数据存储的目的地址的路由算法;
所述代理模块,具体用于利用所述写代理功能将所述数据写入到所述目标存储服务器。
6.如权利要求5所述的存储服务器,其特征在于,
所述管理模块,具体用于在所述数据管理服务器通知数据迁移完成后,关闭自身的写代理功能,并删除自身存储的已迁移到所述目标存储服务器的数据。
7.如权利要求5所述的存储服务器,其特征在于,
管理模块,还用于在根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器后,缓存所述数据;
在所述数据管理服务器通知数据迁移完成后,删除自身缓存的已写入所述目标存储服务器的数据。
8.一种分布式存储系统,其特征在于,包括客户端、数据管理服务器、源存储服务器、目标存储服务器,其中:
所述数据管理服务器,用于通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器;
所述客户端,用于在所述源存储服务器数据迁移完成前,在有数据需要写入时,将需要写入的数据发送给所述源存储服务器;在所述源存储服务器数据迁移完成后,在有数据需要写入时,根据所述预设路由算法确定将需要写入的数据发送给所述源存储服务器,或者,将需要写入的数据发送给所述目标存储服务器;
所述源存储服务器,用于在所述数据管理服务器通知所述源存储服务器根据预设路由算法将数据迁移到所述目标存储服务器后,启动自身的写代理功能,所述写代理功能用于当确定需要将来自客户端的数据写入到所述目标存储服务器时,代理所述客户端将数据写入到所述目标存储服务器;
在接收到来自所述客户端的需要写入的数据后,当根据所述预设路由算法确定需要将所述数据写入到所述目标存储服务器时,利用所述写代理功能将所述数据写入到所述目标存储服务器;
其中,所述预设路由算法为增加了新目标存储服务器后,确定数据存储的目的地址的路由算法。
CN201110325238.8A 2011-10-24 2011-10-24 一种分布式存储系统的数据迁移方法、设备和系统 Active CN103067433B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110325238.8A CN103067433B (zh) 2011-10-24 2011-10-24 一种分布式存储系统的数据迁移方法、设备和系统
HK13107316.7A HK1180141A1 (zh) 2011-10-24 2013-06-24 種分布式存儲系統的數據遷移方法、設備和系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110325238.8A CN103067433B (zh) 2011-10-24 2011-10-24 一种分布式存储系统的数据迁移方法、设备和系统

Publications (2)

Publication Number Publication Date
CN103067433A CN103067433A (zh) 2013-04-24
CN103067433B true CN103067433B (zh) 2016-04-20

Family

ID=48109892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110325238.8A Active CN103067433B (zh) 2011-10-24 2011-10-24 一种分布式存储系统的数据迁移方法、设备和系统

Country Status (2)

Country Link
CN (1) CN103067433B (zh)
HK (1) HK1180141A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104468641B (zh) * 2013-09-12 2019-01-15 腾讯科技(深圳)有限公司 一种业务数据迁移方法、装置和云存储系统
CN103488530B (zh) * 2013-09-17 2016-10-19 新浪网技术(中国)有限公司 一种锁迁移方法及装置
CN104572684B (zh) * 2013-10-17 2018-12-28 深圳市腾讯计算机系统有限公司 数据存储系统的容量调整方法、装置及数据存储系统
CN103793475B (zh) * 2014-01-06 2017-06-06 无锡城市云计算中心有限公司 一种分布式文件系统数据迁移的方法
CN104866234B (zh) * 2014-02-21 2019-01-22 腾讯科技(北京)有限公司 数据迁移方法、装置及系统
CN105554132B (zh) * 2015-12-23 2018-11-09 浪潮集团有限公司 一种Hadoop在线扩容的方法
CN106227469A (zh) * 2016-07-28 2016-12-14 乐视控股(北京)有限公司 用于分布式存储集群的数据删除方法及系统
CN108132949B (zh) 2016-12-01 2021-02-12 腾讯科技(深圳)有限公司 数据库集群中数据迁移的方法及装置
CN106603692B (zh) * 2016-12-27 2020-12-01 中国银联股份有限公司 一种分布式存储系统中的数据存储方法及装置
CN106843755B (zh) * 2017-01-04 2019-10-11 北京百度网讯科技有限公司 用于服务器集群的数据均衡方法与装置
CN107391033B (zh) * 2017-06-30 2020-07-07 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
CN110198269B (zh) * 2018-04-03 2021-10-08 腾讯科技(深圳)有限公司 分布式机群的路由同步系统、方法及相关装置
CN109189324B (zh) 2018-07-09 2021-01-08 华为技术有限公司 一种数据迁移方法及装置
CN109766392A (zh) * 2019-01-21 2019-05-17 北京字节跳动网络技术有限公司 数据处理方法和装置
CN112448985B (zh) * 2019-09-02 2022-07-15 阿里巴巴集团控股有限公司 分布式系统、网络处理方法和装置以及电子设备
CN111443870B (zh) * 2020-03-26 2021-08-03 腾讯科技(深圳)有限公司 一种数据处理的方法、设备及存储介质
WO2021207923A1 (zh) * 2020-04-14 2021-10-21 深圳市欢太科技有限公司 集群扩容方法、装置、存储介质及电子设备
CN111581175B (zh) * 2020-04-29 2023-11-17 上海爱数信息技术股份有限公司 一种文件存储网关系统及其数据迁移方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997884A (zh) * 2009-08-18 2011-03-30 升东网络科技发展(上海)有限公司 分布式存储系统和方法
CN101997911A (zh) * 2010-10-21 2011-03-30 中兴通讯股份有限公司 一种数据迁移的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8806103B2 (en) * 2004-04-28 2014-08-12 Hewlett-Packard Development Company, L.P. System and method for interleaving memory

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997884A (zh) * 2009-08-18 2011-03-30 升东网络科技发展(上海)有限公司 分布式存储系统和方法
CN101997911A (zh) * 2010-10-21 2011-03-30 中兴通讯股份有限公司 一种数据迁移的方法及系统

Also Published As

Publication number Publication date
HK1180141A1 (zh) 2013-10-11
CN103067433A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
CN103067433B (zh) 一种分布式存储系统的数据迁移方法、设备和系统
US10805406B2 (en) Zone redundant computing services using multiple local services in distributed computing systems
JP6708948B2 (ja) ブロックストレージ
JP5607059B2 (ja) パーティション化した拡張可能で可用性の高い構造化ストレージにおけるパーティション管理
US9031906B2 (en) Method of managing data in asymmetric cluster file system
US8832113B2 (en) Data management apparatus and system
CN113672175A (zh) 分布式对象存储方法、装置和设备及计算机存储介质
CN105183394A (zh) 一种数据存储处理方法和装置
US20160364407A1 (en) Method and Device for Responding to Request, and Distributed File System
JP2015512551A (ja) ネットワーク・インフラストラクチャにおけるデータ記憶及び編成を容易にするコンシステント・リング名前空間
CN102158540A (zh) 分布式数据库实现系统及方法
EP3761611B1 (en) Management of multiple clusters of distributed file systems
CN111966482B (zh) 边缘计算系统
CN113508372A (zh) 分布式系统中的元数据路由
CN106326239A (zh) 分布式文件系统及其文件元信息管理方法
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
US11188258B2 (en) Distributed storage system
CN112559459B (zh) 一种基于云计算的自适应存储分层系统及方法
CN107153512A (zh) 一种数据迁移方法和装置
JP2015528957A (ja) 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス
JP6221717B2 (ja) ストレージ装置、ストレージシステム及びデータ管理プログラム
US12026177B2 (en) Dynamic adaptive partition splitting
CN103164410B (zh) 一种文件存储及操作的方法,存储设备和系统
TW202038146A (zh) 一種建置於容器平台的資料碎片管理系統及方法
CN117194439B (zh) 一种资源存储系统的创建方法、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1180141

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1180141

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20211110

Address after: Room 507, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang tmall Technology Co., Ltd

Address before: P.O. Box 847, 4th floor, capital building, Grand Cayman, British Cayman Islands

Patentee before: Alibaba Group Holdings Limited

TR01 Transfer of patent right