CN104468641A - 一种业务数据迁移方法、装置和云存储系统 - Google Patents
一种业务数据迁移方法、装置和云存储系统 Download PDFInfo
- Publication number
- CN104468641A CN104468641A CN201310416286.7A CN201310416286A CN104468641A CN 104468641 A CN104468641 A CN 104468641A CN 201310416286 A CN201310416286 A CN 201310416286A CN 104468641 A CN104468641 A CN 104468641A
- Authority
- CN
- China
- Prior art keywords
- business
- target storage
- storage device
- business datum
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种业务数据迁移方法,所述方法包括:根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;获取原存储设备中的对象业务的备份业务数据;将所述备份业务数据写入所述目标存储设备;在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。本发明实施例还公开了一种业务数据迁移装置和云存储系统。采用本发明,可实现业务数据在云存储系统的无缝迁移,并降低对业务访问的影响。
Description
技术领域
本发明涉及数据存储领域,尤其涉及一种业务数据迁移方法、装置和云存储系统。
背景技术
随着互联网技术的飞速发展,互联网业务的数据存储量增长幅度非常大,因业务数据增长到超出存储设备预先分配的存储空间的时候,就需要将业务数据迁移到拥有更大存储空间的存储设备中,这时会遇到数据迁移的通用问题。现有的云存储系统一般需要手工将原数据备份下来,然后再导入到新存储设备中存储空间中,同时在迁移数据的过程中,还需要将业务前端访问的数据实时从原存储设备同步到新存储设备,以保证数据的一致性,最后才进行完整的切换。整个过程人工介入步骤较多,同时在路由切换过程中,服务可能会短暂不可用。数据迁移存在着一定的毛刺,对业务正常访问会产生一定的影响。
发明内容
有鉴于此,本发明实施例提供了一种业务数据迁移方法、装置和云存储系统,可实现业务数据在云存储系统的无缝迁移,并降低对业务访问的影响。
为了解决上述技术问题,本发明实施例提供了一种业务数据迁移方法,所述方法包括:
根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;
获取原存储设备中的对象业务的备份业务数据;
将所述备份业务数据写入所述目标存储设备;
在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
相应地,本发明实施例还提供了一种业务数据迁移装置,所述业务数据迁移装置包括:
双向写入模块,用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;
备份业务获取模块,用于获取原存储设备中的对象业务的备份业务数据;
备份业务迁移模块,用于将所述备份业务数据写入所述目标存储设备;
写入迁移模块,用于在备份业务迁移模块完成将所述备份业务数据写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
相应地,本发明实施例还提供了一种云存储系统,所述云存储系统包括如前文所述的业务数据迁移装置、对象业务的原存储设备以及目标存储设备,其中:
所述业务数据迁移装置用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;获取原存储设备中的对象业务的备份业务数据;将所述备份业务数据写入所述目标存储设备;在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
本发明实施例通过在迁移过程中将对象业务的业务数据双向写入原存储设备和目标存储设备,从而保证了将原存储设备中的业务数据平滑无缝地迁移至目标存储设备,并降低对业务访问的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种业务数据迁移方法的流程示意图;
图2是本发明另一实施例中的一种务数据迁移方法的流程示意图;
图3是本发明实施例中的一种业务数据迁移装置的流程示意图;
图4是本发明实施例中双向写入模块的结构示意图;
图5是本发明实施例中的一种云存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的业务数据迁移方法可以应用于云存储系统,如CBM(Cloud Bitmap,云位图)云存储系统,可以由云存储系统中负责控制逻辑的业务数据迁移装置执行本发明的业务数据迁移流程。当前互联网中存在有大量的存储标志位、时间戳、等级等小数据的业务,这些业务有如下显著特点:
(1)数据只有有限的长度,如一百字节以下。
(2)对数据访问的性能要求很高,几万次/秒甚至更高的访问量。
(3)对数据访问的稳定性要求很高,业务访问不可中断。
(4)对数据的存储安全性要求很高,要求数据无丢失。
(5)要求业务的扩容、缩容、迁移便捷,能快速响应业务的访问量、数据量快速增长。
(6)要求业务上下线便捷,如节假日相关活动的业务,要求业务能够快速上线,活动结束后存储资源又能快速回收。
CBM系统就是针对这种业务要求的一种云存储系统,采用全内存的数据存储方案,提供高稳定性和高性能的数据存储能力;提供高安全性的数据存储,数据实时多机热备,定时冷备;同时系统提供了自动容灾能力。业务使用方只需关注自己的业务逻辑,无需关心数据存储本身的容灾、备份、扩缩容,享受透明化的云端数据存储服务。
图1是本发明实施例中一种业务数据迁移方法的流程示意图,如图所示,本实施例中的业务数据迁移流程至少可以包括:
S101,根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
具体的,所述目标存储设备为本次将对象业务迁移至的存储设备,云存储系统可以预先为对象业务在目标存储设备中注册一个用于迁移对象业务的业务标识BID(Business IDentity),并获取对象业务在目标存储设备中的业务路由信息,所述业务路由信息可以包括存储设备的IP(Internet Protocol,网络互连协议)地址、为对象业务分配的业务端口等,还可以包括预先为对象业务创建得到的BID。在本次对象业务的迁移过程中,云存储系统接收到客户端发送的对象业务的业务数据时,可以根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备,保证对象业务平滑迁移至目标存储设备,避免迁移过程中导致的数据丢失。
具体实现中,云存储系统可以将对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至内置的双向写入模块或外置的双向写入设备,从而通过内置的双向写入模块或外置的双向写入设备将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
进而在可选实施例中,云存储系统可以为通过接入代理proxy获取客户端发送的对象业务的业务数据,这时云存储系统可以通知业务接入代理将前端业务的请求路由从原存储设备切换到内置的双向写入模块或外置的双向写入设备,使得业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备。
S102,获取原存储设备中的对象业务的备份业务数据。
具体的,云存储系统可以通知原存储设备为对象业务的业务数据进行备份,例如将对象业务的业务数据按key_value格式备份至bid.biz文件,其中bid为对象业务在原存储设备中的业务标识,原存储设备在将对象业务的所有业务数据完成备份后,将备份业务数据发送至云存储系统,本发明实施例中由云存储系统中负责控制逻辑的业务数据迁移装置将接收到的备份业务数据写入指定目录下。
S103,将所述备份业务数据写入所述目标存储设备。
具体的,可以由云存储系统中的业务数据迁移装置根据注册得到的所述对象业务在目标存储设备中的业务路由信息将获取到的备份业务数据按一定的速度写入目标存储设备中,写入速度可以根据对象业务的实际访问情况和机器的负载情况确定。
S104,在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
具体的,在完成将备份业务数据迁移至目标存储设备后,云存储系统接收到客户端发送的对象业务的业务数据时,可以根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。例如云存储系统可以通知业务接入代理将前端业务的请求路由从当前的内置的双向写入模块或外置的双向写入设备切换至目标存储设备,使得业务接入代理将新接收到的对象业务的业务数据发送至目标存储设备。进而在可选实施例中,云存储系统在完成将备份业务数据迁移至目标存储设备后可以将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复,待确认对象业务分别在原存储设备和目标存储设备中的业务数据一致时才开始将新接收到的对象业务的业务数据只写入目标存储设备,并且将数据服务器中的对象业务在原存储设备中的bid改为临时业务标识,待对象业务在目标存储设备中试运行一段时间后,删除对象业务在原存储设备中的bid,使得原存储设备中的对象业务下线。
图2是本发明另一实施例中的一种业务数据迁移方法的流程示意图,本实施例中的业务数据迁移方法由图2中所示的云存储系统完成,包括负责控制逻辑的业务数据迁移装置、负责从客户端获取对象业务的业务数据的业务接入代理、对象业务的原存储设备、目标存储设备以及双向写入设备如图所示本实施例中的业务数据迁移方法流程可以包括:
S201,业务数据迁移装置为所述对象业务在所述目标存储设备中申请创建业务标识。
S202,目标存储设备为所述对象业务创建业务标识。
S203,业务数据迁移装置获取所述对象业务在所述目标存储设备中的业务路由信息。所述业务路由信息可以包括存储设备的IP(Internet Protocol,网络互连协议)地址、为对象业务分配的业务端口等,还可以包括预先为对象业务创建得到的BID。
S204,业务数据迁移装置初始化业务迁移任务。
本步骤为可选步骤。具体的,业务数据迁移装置可以将本次针对对象业务的业务数据迁移中划分得到的各个任务和步骤写到云存储系统的迁移任务表和迁移步骤表中,以保证迁移流程中的某个任务或步骤失败时,业务数据迁移装置可以根据迁移任务表或迁移步骤表进行一定次数的重试,避免因进程异常终止而导致迁移任务失败,在重试次数达到预定的阈值后可以发送告警消息。所述迁移任务表和迁移步骤表可以保存在云存储系统的预设数据库中,例如可以为mysql数据库,示例性的迁移任务表和迁移步骤表可以如下:
迁移任务表
迁移步骤表
S205,业务数据迁移装置通知业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备。
具体的,本实施例中的云存储系统可以为通过接入代理proxy获取客户端发送的对象业务的业务数据,在针对对象业务的业务迁移任务初始化完成后,业务数据迁移装置可以将云存储系统预先搭建的双向写入设备的业务路由信息发送至业务接入代理,通知业务接入代理将前端业务的请求路由从原存储设备切换到所述双向写入设备,使得业务接入代理在接收到客户端发送的对象业务的业务数据时,将新接收到的对象业务的业务数据发送至所述双向写入设备。
S206,业务数据迁移装置将所述对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至双向写入设备,以使所述双向写入设备将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。所述业务路由信息可以包括存储设备的IP(Internet Protocol,网络互连协议)地址、为对象业务分配的业务端口等,还可以包括预先为对象业务创建得到的BID。在本次对象业务的迁移过程中,云存储系统接收到客户端发送的对象业务的业务数据时,由预先搭建的双向写入设备根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备,保证对象业务平滑迁移至目标存储设备,避免迁移过程中导致的数据丢失。在其他可选实施例中,业务数据迁移装置也可以通过内置的双向写入模块将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
S207,业务数据迁移装置获取原存储设备中的对象业务的备份业务数据。
具体的,业务数据迁移装置可以通知原存储设备为对象业务的业务数据进行备份,例如将对象业务的业务数据按key_value格式备份至bid.biz文件,其中bid为对象业务在原存储设备中的业务标识,原存储设备在将对象业务的所有业务数据完成备份后,将备份业务数据发送至业务数据迁移装置,业务数据迁移装置将接收到的备份业务数据写入指定目录下。
S208,业务数据迁移装置将所述备份业务数据写入所述目标存储设备。
具体的,业务数据迁移装置根据注册得到的所述对象业务在目标存储设备中的业务路由信息将获取到的备份业务数据按一定的速度写入目标存储设备中,写入速度可以根据对象业务的实际访问情况和机器的负载情况确定。
S209,业务数据迁移装置将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复。
具体的,在完成将备份业务数据迁移至目标存储设备后,业务数据迁移装置可以将当前对象业务分别在原存储设备和目标存储设备中的业务数据进行全量比对,若发现不一致的业务数据,则可以根据原存储设备中的业务数据对目标存储设备中的业务数据进行修复,直至对象业务在原存储设备和目标存储设备中的业务数据完全一致。
S210,业务数据迁移装置通知所述业务接入代理根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
具体的,本实施例中的云存储系统为通过接入代理proxy获取客户端发送的对象业务的业务数据,在完成将备份业务数据迁移至目标存储设备后,业务数据迁移装置可以通知业务接入代理将前端业务的请求路由从当前的内置的双向写入模块或外置的双向写入设备切换至目标存储设备,使得业务接入代理在接收到客户端发送的对象业务的业务数据时,将新接收到的对象业务的业务数据发送至目标存储设备。待对象业务在目标存储设备中试运行一段时间后,业务数据迁移装置可以删除对象业务在原存储设备中的bid,使得原存储设备中的对象业务下线。
图3是本发明实施例中的一种业务数据迁移装置的流程示意图,本发明实施例中的业务数据迁移装置可以实现在云存储系统中,所述云存储系统例如CBM,如图所示的业务数据迁移装置至少可以包括:
存储业务注册模块300,用于为所述对象业务在所述目标存储设备中创建业务标识,并获取所述对象业务在所述目标存储设备中的业务路由信息。
具体实现中,所述目标存储设备为本次将对象业务迁移至的存储设备,存储业务注册模块300可以预先为对象业务在目标存储设备中注册一个用于迁移对象业务的业务标识BID,存储业务注册模块300获取对象业务在目标存储设备中的业务路由信息,所述业务路由信息可以包括存储设备的IP地址、为对象业务分配的业务端口等,还可以包括预先为对象业务创建得到的BID。在可选实施例中,存储业务注册模块300为对象业务在所述目标存储设备中创建业务标识成功后,可以将本次针对对象业务的业务数据迁移中划分得到的各个任务和步骤写到云存储系统的迁移任务表和迁移步骤表中,以保证迁移流程中的某个任务或步骤失败时,业务数据迁移装置可以根据迁移任务表或迁移步骤表进行一定次数的重试,避免因进程异常终止而导致迁移任务失败,在重试次数达到预定的阈值后可以发送告警消息。所述迁移任务表和迁移步骤表可以保存在云存储系统的预设数据库中,例如可以为mysql数据库,示例性的迁移任务表和迁移步骤表可以如前文所述,这里不再重复。
双向写入模块310,用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
具体实现中,双向写入模块310可以在本次对象业务的迁移过程中,当云存储系统接收到客户端发送的对象业务的业务数据时,根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备,保证对象业务平滑迁移至目标存储设备,避免迁移过程中导致的数据丢失。在可选实施例中,双向写入模块310可以根据对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。也可以将对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至云存储系统预先构建的的双向写入设备,从而所述双向写入设备将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备,在这种情况下的双向写入模块310可以如图4所示进一步包括:
路由发送单元311,用于将所述对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至双向写入设备;
业务数据发送单元312,用于将新接收到的对象业务的业务数据发送至所述双向写入设备,以使所述双向写入设备将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
进而在可选实施例中,云存储系统可以为通过接入代理proxy获取客户端发送的对象业务的业务数据,这时双向写入模块310可以通知业务接入代理将前端业务的请求路由从原存储设备切换到内置的双向写入模块或外置的双向写入设备,使得业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备。
备份业务获取模块320,用于获取原存储设备中的对象业务的备份业务数据。
具体实现中,备份业务获取模块320可以通知原存储设备为对象业务的业务数据进行备份,例如将对象业务的业务数据按key_value格式备份至bid.biz文件,其中bid为对象业务在原存储设备中的业务标识,原存储设备在将对象业务的所有业务数据完成备份后,将备份业务数据发送至业务数据迁移装置,备份业务获取模块320将接收到的备份业务数据写入指定目录下。
备份业务迁移模块330,用于将所述备份业务数据写入所述目标存储设备。
具体实现中,备份业务迁移模块330可以根据注册得到的所述对象业务在目标存储设备中的业务路由信息将获取到的备份业务数据按一定的速度写入目标存储设备中,写入速度可以根据对象业务的实际访问情况和机器的负载情况确定。
写入迁移模块340,用于在备份业务迁移模块完成将所述备份业务数据写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
具体实现中,在备份业务迁移模块330完成将备份业务数据迁移至目标存储设备后,写入迁移模块340可以在云存储系统接收到客户端发送的对象业务的业务数据时,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。例如写入迁移模块340可以通知业务接入代理将前端业务的请求路由从当前的内置的双向写入模块或外置的双向写入设备切换至目标存储设备,使得业务接入代理将新接收到的对象业务的业务数据发送至目标存储设备。
可选的,本发明实施例中的业务数据迁移装置进一步还可以包括:
业务数据比较模块350,用于将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复,在对象业务分别在原存储设备和目标存储设备中的业务数据一致时触发写入迁移模块340根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
具体实现中,在备份业务迁移模块330完成将备份业务数据迁移至目标存储设备后,业务数据比较模块350可以将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复,待确认对象业务分别在原存储设备和目标存储设备中的业务数据一致时触发写入迁移模块340开始将新接收到的对象业务的业务数据只写入目标存储设备,并且将数据服务器中的对象业务在原存储设备中的bid改为临时业务标识,待对象业务在目标存储设备中试运行一段时间后,删除对象业务在原存储设备中的bid,使得原存储设备中的对象业务下线。
图5是本发明实施例中的一种云存储系统的结构示意图,如图所示本实施例中的云存储系统可以包括业务数据迁移装置510、对象业务的原存储设备520以及目标存储设备530,其中:
所述业务数据迁移装置可以为前文结合图3和图4所描述的业务数据迁移装置,用于根据对象业务分别在原存储设备520和目标存储设备530中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备520和目标存储设备530,获取原存储设备520中的对象业务的备份业务数据;将所述备份业务数据写入所述目标存储设备530;在所述备份业务数据完成写入所述目标存储设备530后,根据所述对象业务在目标存储设备530中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备530;
在可选实施例中,本发明的云存储系统还可以包括:
双向写入设备540,用于从所述业务数据迁移装置510获取对象业务分别在原存储设备520和目标存储设备530中的业务路由信息,从所述业务数据迁移装置510获取新接收到的对象业务的业务数据,根据所述对象业务分别在原存储设备520和目标存储设备530中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备520和目标存储设备530。
本发明实施例通过在迁移过程中将对象业务的业务数据双向写入原存储设备和目标存储设备,从而保证了将原存储设备中的业务数据平滑无缝地迁移至目标存储设备,并降低对业务访问的影响。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (12)
1.一种业务数据迁移方法,其特征在于,所述方法包括:
根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;
获取原存储设备中的对象业务的备份业务数据;
将所述备份业务数据写入所述目标存储设备;
在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
2.如权利要求1所述的业务数据迁移方法,其特征在于,所述根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备之前还包括:
为所述对象业务在所述目标存储设备中创建业务标识,并获取所述对象业务在所述目标存储设备中的业务路由信息。
3.如权利要求1所述的业务数据迁移方法,其特征在于,所述根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备包括:
将所述对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至双向写入设备;
将新接收到的对象业务的业务数据发送至所述双向写入设备,以使所述双向写入设备将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
4.如权利要求3所述的业务数据迁移方法,其特征在于,所述将新接收到的对象业务的业务数据发送至所述双向写入设备包括:
通知业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备;
所述根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备包括:
通知所述业务接入代理根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
5.如权利要求1所述的业务数据迁移方法,其特征在于,所述根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备之前还包括:
将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复。
6.一种业务数据迁移装置,其特征在于,所述业务数据迁移装置包括:
双向写入模块,用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;
备份业务获取模块,用于获取原存储设备中的对象业务的备份业务数据;
备份业务迁移模块,用于将所述备份业务数据写入所述目标存储设备;
写入迁移模块,用于在备份业务迁移模块完成将所述备份业务数据写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
7.如权利要求6所述的业务数据迁移装置,其特征在于,所述根业务数据迁移装置还包括:
存储业务注册模块,用于为所述对象业务在所述目标存储设备中创建业务标识,并获取所述对象业务在所述目标存储设备中的业务路由信息。
8.如权利要求6所述的业务数据迁移装置,其特征在于,所述双向写入模块包括:
路由发送单元,用于将所述对象业务分别在原存储设备和目标存储设备中的业务路由信息发送至双向写入设备;
业务数据发送单元,用于将新接收到的对象业务的业务数据发送至所述双向写入设备,以使所述双向写入设备将所述新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
9.如权利要求8所述的业务数据迁移装置,其特征在于,所述业务数据发送单元用于:通知业务接入代理将新接收到的对象业务的业务数据发送至所述双向写入设备;
所述写入迁移模块用于:
通知所述业务接入代理根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
10.如权利要求6所述的业务数据迁移装置,其特征在于,所述业务数据迁移装置还包括:
业务数据比较模块,用于将对象业务分别在原存储设备和目标存储设备中的业务数据进行比对,并根据比对结果对对象业务在目标存储设备中的业务数据进行修复,在对象业务分别在原存储设备和目标存储设备中的业务数据一致时触发写入迁移模块根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
11.一种云存储系统,其特征在于,所述云存储系统包括如权利要求6~10中任一项所述的业务数据迁移装置、对象业务的原存储设备以及目标存储设备其中:
所述业务数据迁移装置用于根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备;获取原存储设备中的对象业务的备份业务数据;将所述备份业务数据写入所述目标存储设备;在所述备份业务数据完成写入所述目标存储设备后,根据所述对象业务在目标存储设备中的业务路由信息将新接收到的对象业务的业务数据写入目标存储设备。
12.如权利要求11所述的云存储系统,其特征在于,所述云存储系统还包括双向写入设备;
所述双向写入设备用于从所述业务数据迁移装置获取对象业务分别在原存储设备和目标存储设备中的业务路由信息,从所述业务数据迁移装置获取新接收到的对象业务的业务数据,根据所述对象业务分别在原存储设备和目标存储设备中的业务路由信息将新接收到的对象业务的业务数据双向写入原存储设备和目标存储设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310416286.7A CN104468641B (zh) | 2013-09-12 | 2013-09-12 | 一种业务数据迁移方法、装置和云存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310416286.7A CN104468641B (zh) | 2013-09-12 | 2013-09-12 | 一种业务数据迁移方法、装置和云存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104468641A true CN104468641A (zh) | 2015-03-25 |
CN104468641B CN104468641B (zh) | 2019-01-15 |
Family
ID=52914012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310416286.7A Active CN104468641B (zh) | 2013-09-12 | 2013-09-12 | 一种业务数据迁移方法、装置和云存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104468641B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107332904A (zh) * | 2017-06-29 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种跨存储系统的数据迁移方法、装置及系统 |
CN108319654A (zh) * | 2017-12-29 | 2018-07-24 | 中国银联股份有限公司 | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 |
US10372928B2 (en) | 2015-08-24 | 2019-08-06 | Alibaba Group Holding Limited | System, method, and apparatus for data access in a cloud computing environment |
CN110941475A (zh) * | 2019-11-14 | 2020-03-31 | 北京金山云网络技术有限公司 | 一种容器集群系统中对象删除方法、装置及电子设备 |
US10678648B2 (en) | 2015-12-03 | 2020-06-09 | Huawei Technologies Co., Ltd. | Method, apparatus, and system for migrating virtual machine backup information |
CN112231303A (zh) * | 2020-12-10 | 2021-01-15 | 北京蒙帕信创科技有限公司 | 一种数据迁移系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080162684A1 (en) * | 2006-12-27 | 2008-07-03 | Ryoh Neyama | Apparatus and Method For Backing Up Data On Server Using At Least One Cache As A Client |
CN101777013A (zh) * | 2009-01-12 | 2010-07-14 | 成都市华为赛门铁克科技有限公司 | 一种固态硬盘及数据读写方法 |
US20110197039A1 (en) * | 2010-02-08 | 2011-08-11 | Microsoft Corporation | Background Migration of Virtual Storage |
CN102857536A (zh) * | 2011-07-01 | 2013-01-02 | 中兴通讯股份有限公司 | 对等网络中实现数据备份及迁移的方法及系统 |
CN103067433A (zh) * | 2011-10-24 | 2013-04-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据迁移方法、设备和系统 |
CN103078927A (zh) * | 2012-12-28 | 2013-05-01 | 合一网络技术(北京)有限公司 | 一种key-value数据分布式缓存系统及其方法 |
-
2013
- 2013-09-12 CN CN201310416286.7A patent/CN104468641B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080162684A1 (en) * | 2006-12-27 | 2008-07-03 | Ryoh Neyama | Apparatus and Method For Backing Up Data On Server Using At Least One Cache As A Client |
CN101777013A (zh) * | 2009-01-12 | 2010-07-14 | 成都市华为赛门铁克科技有限公司 | 一种固态硬盘及数据读写方法 |
US20110197039A1 (en) * | 2010-02-08 | 2011-08-11 | Microsoft Corporation | Background Migration of Virtual Storage |
CN102857536A (zh) * | 2011-07-01 | 2013-01-02 | 中兴通讯股份有限公司 | 对等网络中实现数据备份及迁移的方法及系统 |
CN103067433A (zh) * | 2011-10-24 | 2013-04-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据迁移方法、设备和系统 |
CN103078927A (zh) * | 2012-12-28 | 2013-05-01 | 合一网络技术(北京)有限公司 | 一种key-value数据分布式缓存系统及其方法 |
Non-Patent Citations (1)
Title |
---|
程璐: "电视台制播网络系统规划与设计", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372928B2 (en) | 2015-08-24 | 2019-08-06 | Alibaba Group Holding Limited | System, method, and apparatus for data access in a cloud computing environment |
US10922429B2 (en) | 2015-08-24 | 2021-02-16 | Alibaba Group Holding Limited | System, method, and apparatus for data access in a cloud computing environment |
US10678648B2 (en) | 2015-12-03 | 2020-06-09 | Huawei Technologies Co., Ltd. | Method, apparatus, and system for migrating virtual machine backup information |
CN107332904A (zh) * | 2017-06-29 | 2017-11-07 | 郑州云海信息技术有限公司 | 一种跨存储系统的数据迁移方法、装置及系统 |
CN108319654A (zh) * | 2017-12-29 | 2018-07-24 | 中国银联股份有限公司 | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 |
CN108319654B (zh) * | 2017-12-29 | 2021-12-21 | 中国银联股份有限公司 | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 |
CN110941475A (zh) * | 2019-11-14 | 2020-03-31 | 北京金山云网络技术有限公司 | 一种容器集群系统中对象删除方法、装置及电子设备 |
CN112231303A (zh) * | 2020-12-10 | 2021-01-15 | 北京蒙帕信创科技有限公司 | 一种数据迁移系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104468641B (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10795788B2 (en) | Remote data replication method and system | |
CN104468641A (zh) | 一种业务数据迁移方法、装置和云存储系统 | |
CN106055431B (zh) | 基于快照在线回滚的数据备份与恢复的方法及装置 | |
US9710177B1 (en) | Creating and maintaining clones in continuous data protection | |
US9336230B1 (en) | File replication | |
US7840536B1 (en) | Methods and apparatus for dynamic journal expansion | |
US8935498B1 (en) | Splitter based hot migration | |
US8108634B1 (en) | Replicating a thin logical unit | |
US9535801B1 (en) | Xcopy in journal based replication | |
CN105718217B (zh) | 一种精简配置存储池数据一致性维护的方法及装置 | |
US8332687B1 (en) | Splitter used in a continuous data protection environment | |
CN104969168A (zh) | 具有用于分级写入的nvram的持久性存储装置 | |
CN105549905A (zh) | 一种多虚拟机访问分布式对象存储系统的方法 | |
CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
CN103491192B (zh) | 一种分布式系统的Namenode切换方法和系统 | |
CN105938457A (zh) | 数据的过滤方法、装置及数据读取系统 | |
CN105630632A (zh) | 一种虚拟机恢复的方法及虚拟机管理设备 | |
CN103827843A (zh) | 一种写数据方法、装置和系统 | |
CN102368222A (zh) | 一种多副本存储系统在线修复的方法 | |
CN102611745A (zh) | 文件在线迁移方法、装置和系统 | |
CN107391033B (zh) | 数据迁移方法及装置、计算设备、计算机存储介质 | |
CN105653396A (zh) | 备份系统及其备份方法 | |
CN105100149A (zh) | 用于管理文件的方法和系统 | |
WO2017096977A1 (zh) | 一种数据备份方法、装置和系统 | |
US11327844B1 (en) | Automated cloud recovery to provide a full usable application image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190730 Address after: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |