CN115858496A - 一种数据迁移的方法和装置 - Google Patents

一种数据迁移的方法和装置 Download PDF

Info

Publication number
CN115858496A
CN115858496A CN202211633082.4A CN202211633082A CN115858496A CN 115858496 A CN115858496 A CN 115858496A CN 202211633082 A CN202211633082 A CN 202211633082A CN 115858496 A CN115858496 A CN 115858496A
Authority
CN
China
Prior art keywords
data
disk storage
storage file
key name
name range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211633082.4A
Other languages
English (en)
Inventor
张广超
张成远
穆冠琦
刘欢
葛集斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202211633082.4A priority Critical patent/CN115858496A/zh
Publication of CN115858496A publication Critical patent/CN115858496A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移的方法和装置,涉及计算机技术领域,可应用于云计算、大数据、智能供应链等场景中。该方法的一具体实施方式包括:响应于数据迁移指令,获取待迁移数据对应的数据键名范围;根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件;在目标数据库中挂载该磁盘存储文件以使目标数据库获取待迁移数据的读写权限,源数据库和目标数据库是基于共享存储的两个数据库;停止源数据库对数据键名范围的数据写入,并将数据键名范围的数据写入位置修改为目标数据库,开启目标数据库对数据键名范围的数据写入;从源数据库删除磁盘存储文件以完成数据迁移。该实施方式提升了数据迁移速度,且节省了网络带宽。

Description

一种数据迁移的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据迁移的方法和装置。
背景技术
基于RocksDB构建的分布式key-value键值对数据存储系统,在业务处理逻辑发生变更或存储节点有增减时,为了平衡各个存储节点的数据,需要进行存储节点之间的数据迁移,每个存储节点即为一个RocksDB数据库。通常在进行数据迁移时,是从源数据库中读取到指定键名key范围的数据,然后将读取的数据写入到目标数据库中,并在数据写入完成后将该部分数据从源数据库中删除。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
由于现有技术在进行数据迁移时,需要每次从源数据库中读取指定key范围的数据然后写入到目标数据库中,故而会导致数据迁移速度慢,且会占用较大带宽,甚至导致数据库无法正常提供服务。
发明内容
有鉴于此,本发明实施例提供一种数据迁移的方法和装置,能够通过将指定数据键名范围的数据存储到单独的磁盘存储文件中,在迁移数据时,只需要确定待迁移数据的数据键名范围,即可得到对应的磁盘存储文件,然后基于源数据库和目标数据库的共享存储,在目标数据库挂载该磁盘存储文件,在源数据库删除该磁盘存储文件,即可实现数据迁移,不需要进行数据复制和再次写入,从而大幅提升了数据迁移速度,且节省了网络带宽,为数据库和业务系统的正常运转提供支持。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据迁移的方法,包括:
响应于数据迁移指令,获取待迁移数据对应的数据键名范围;
根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;
在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;
停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;
从所述源数据库删除所述磁盘存储文件以完成数据迁移。
可选地,根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,包括:根据所述数据键名范围,从所述源数据库的元数据中查找包括所述数据键名范围的全部或部分键名的第一磁盘存储文件;在所述第一磁盘存储文件中仅包括所述数据键名范围内的数据的情况下,将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件;在所述第一磁盘存储文件中还包括所述数据键名范围之外的数据的情况下,对所述第一磁盘存储文件进行拆分,以得到仅包括所述数据键名范围内的数据的第二磁盘存储文件,并将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件。
可选地,对所述第一磁盘存储文件进行拆分,包括:获取所述第一磁盘存储文件对应的第一数据键名;根据所述第一数据键名和所述数据键名范围,生成拆分边界信息;根据所述拆分边界信息对所述第一磁盘存储文件进行拆分。
可选地,所述源数据库和所述目标数据库均包括多个有序的存储层,所述第一磁盘存储文件包括每个存储层的子磁盘存储文件,且每个存储层的子磁盘存储文件是由所述存储层的上一存储层的子磁盘存储文件进行数据合并得到的;获取所述第一磁盘存储文件对应的第一数据键名,包括:对于每个存储层,获取所述存储层的子磁盘存储文件对应的第一数据键名;根据所述第一数据键名和所述数据键名范围,生成拆分边界信息,包括:对于每个存储层,根据所述存储层的子磁盘存储文件对应的第一数据键名和所述数据键名范围,生成所述存储层对应的拆分边界信息;根据所述拆分边界信息对所述第一磁盘存储文件进行拆分,包括:对于最后一个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间,从所述存储层对应的子磁盘存储文件中分别读取每个拆分区间对应的数据并写入新建的第一子磁盘存储文件中,删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分;对于除了最后一个存储层之外的每个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间;对每个拆分区间,从所述存储层对应的子磁盘存储文件中读取所述拆分区间对应的数据,并将读取的数据合并到所述存储层的下一存储层的子磁盘存储文件中;删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分。
可选地,在将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,或将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,还包括:停止所述源数据库的数据合并;以及,在从所述源数据库删除所述磁盘存储文件之后,还包括:恢复所述源数据库的数据合并。
可选地,将所述数据键名范围的数据写入位置修改为所述目标数据库,包括:通过修改所述源数据库和所述目标数据库的元数据,以将所述数据键名范围的数据写入位置修改为所述目标数据库。
可选地,所述待迁移数据还包括存储在所述源数据库的内存中的所述数据键名范围对应的数据;并且,在从所述源数据库删除所述磁盘存储文件之前,还包括:将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,并在所述目标数据库中挂载所述磁盘存储文件,以将所述源数据库的内存中的所述数据键名范围对应的数据迁移至所述目标数据库中。
可选地,将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,包括:从所述源数据库的内存数据中提取所述数据键名范围对应的数据;将所述数据键名范围对应的数据写入所述磁盘存储文件。
可选地,从所述源数据库的内存数据中提取所述数据键名范围对应的数据,包括:对所述源数据库的内存数据中的不少于一个数据单元,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据。
可选地,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据,包括:根据所述数据键名范围和每个所述数据单元中包括的数据键名,生成每个所述数据单元的拆分边界信息;根据所述拆分边界信息将每个所述数据单元分为多个子数据单元;将数据键名位于所述数据键名范围内的多个子数据单元进行合并以提取所述数据键名范围对应的数据。
根据本发明实施例的另一方面,提供了一种数据迁移的装置,包括:
数据键名范围获取模块,用于响应于数据迁移指令,获取待迁移数据对应的数据键名范围;
磁盘存储文件获取模块,用于根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;
磁盘存储文件挂载模块,用于在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;
数据写入位置修改模块,用于停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;
磁盘存储文件删除模块,用于从所述源数据库删除所述磁盘存储文件以完成数据迁移。
根据本发明实施例的又一方面,提供了一种数据迁移的电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所提供的数据迁移的方法。
根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例所提供的数据迁移的方法。
上述发明中的一个实施例具有如下优点或有益效果:通过响应于数据迁移指令,获取待迁移数据对应的数据键名范围;根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件,该磁盘存储文件中仅包括数据键名范围内的数据;在目标数据库中挂载该磁盘存储文件以使目标数据库获取待迁移数据的读写权限,源数据库和目标数据库是基于共享存储的两个数据库;停止源数据库对数据键名范围的数据写入,并将数据键名范围的数据写入位置修改为目标数据库,开启目标数据库对数据键名范围的数据写入;从源数据库删除磁盘存储文件以完成数据迁移的技术方案,实现了通过将指定数据键名范围的数据存储到单独的磁盘存储文件中,在迁移数据时,只需要确定待迁移数据的数据键名范围,即可得到对应的磁盘存储文件,然后基于源数据库和目标数据库的共享存储,在目标数据库挂载该磁盘存储文件,在源数据库删除该磁盘存储文件,即可实现数据迁移,不需要进行数据复制和再次写入,从而大幅提升了数据迁移速度,且节省了网络带宽,为数据库和业务系统的正常运转提供支持。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的数据迁移的方法的主要步骤示意图;
图2是本发明实施例的磁盘存储文件拆分前的数据存储结构示意图;
图3是本发明实施例的磁盘存储文件的拆分结果示意图;
图4是根据本发明实施例的数据迁移的装置的主要模块示意图;
图5是本发明实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
RocksDB是基于日志结构的合并树(LSM-tree)原理实现的单机key-value键值对数据库。LSM-tree是一种分层的、有序的、基于硬盘的数据结构,它的核心思路其实非常简单,首先写入数据到内存中,不需要每次有数据更新就必须将数据写入到磁盘中,等到积累到一定阈值之后,再使用归并排序的方式将内存中的数据合并追加到磁盘队尾,因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到一起。
RocksDB在进行数据存储时,是先将数据存储到内存中,待达到存储阈值后,将内存中的数据写入磁盘。写入磁盘中的数据是按照树形结构分层存储的,且共有七层(L0层到L6层),下一层的总大小限制是上一层的10倍。在第一层L0层中,数据是无序的,且在进行数据存储时会根据数据大小进行分块存储,每一分块即保存为一个磁盘存储文件SStable(Sorted String Table,有序字符串表,用来高效地存储大量的键-值对数据)文件。在将数据合并追加到第一层L0层之后的每一层时,会直接根据每一层对应的SStable文件查找数据所在的SStable文件,并进行数据合并追加。
当需要进行RocksDB之间的数据迁移时,会根据待迁移的数据Key范围,从源RocksDB的每一层获取到包含有数据Key的一个或多个SStable文件,再从这些SStable文件中提取出数据Key对应的数据,然后将提取出的数据写入到目标RocksDB中。这种方式,迁移速度慢,且会占用较大的网络带宽。
为了解决以上的技术问题,本发明提供了一种数据迁移的方法,通过将指定Key范围的数据存储到RocksDB数据库每一层的单独的SStable文件中,在迁移数据时,只需要确定待迁移数据的Key范围,即可得到对应的SStable文件,然后把指定Key范围的数据对应的SStable文件在源存储节点摘除,挂载到目标存储节点上,并且,由于源存储节点和目标存储节点已开通了磁盘共享存储,故而不需要进行数据复制和再次写入,从而大幅提升迁移速度,且节省了网络带宽。
图1是根据本发明实施例的数据迁移的方法的主要步骤示意图。如图1所示,本发明实施例的数据迁移的方法主要包括如下的步骤S101至步骤S105。
步骤S101:响应于数据迁移指令,获取待迁移数据对应的数据键名范围。当分布式数据存储系统增加存储节点、减少存储节点、业务逻辑变更需要调整各存储节点的数据,或者各个存储节点之间的数据严重不均衡时,会触发数据迁移的需求。而通常情况下,在进行数据迁移时,会考虑业务需求以及数据量等因素来确定要迁移哪些数据。对于键值对数据来说,在迁移数据时,数据迁移指令中一般会包括待迁移数据对应的数据键名key的范围,可能包括一个或多个key。
步骤S102:根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件,该磁盘存储文件中仅包括数据键名范围内的数据。在进行数据迁移时,对于将数据直接保存到磁盘中的数据库来说,需要根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件。对于将数据先保存到内存中,在满足一定条件后将内存中的数据保存到磁盘中的数据库来说,待迁移数据不光包括磁盘存储文件,还包括存储在源数据库的内存中的该数据键名范围对应的数据。由于内存中的数据量远小于磁盘中的数据量,故而在进行数据迁移时,会先进行磁盘中数据的迁移,再进行内存中的数据的迁移,以在保证数据库服务不中断的情况下先将磁盘中的数据迁移。
在根据键名范围确定待迁移数据在源数据库中的磁盘存储文件时,具体可以包括:根据所述数据键名范围,从所述源数据库的元数据中查找包括所述数据键名范围的全部或部分键名的第一磁盘存储文件;在所述第一磁盘存储文件中仅包括所述数据键名范围内的数据的情况下,将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件;在所述第一磁盘存储文件中还包括所述数据键名范围之外的数据的情况下,对所述第一磁盘存储文件进行拆分,以得到仅包括所述数据键名范围内的数据的第二磁盘存储文件,并将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件。另外,根据本发明的其中一个实施例,若需要将数据库中的磁盘存储文件进行合并,也可通过修改数据库的元数据的方式,将要合并的多个磁盘存储文件的文件名修改为相同的新磁盘存储文件名,该新磁盘存储文件名所对应的数据key也相应地调整为该多个磁盘存储文件对应的数据key的集合即可,无需触发数据合并Compact操作。在数据库的元数据中记载了不同键名key和磁盘存储文件名的映射关系,以及不同key所属的数据组等信息。
在本发明的一个实施例中,若根据数据键名范围获取到的第一磁盘存储文件中对应的key都在该数据键名范围内,则此时无需进行其他处理,直接将该第一磁盘存储文件确定为待迁移数据在源数据库中的磁盘存储文件即可。例如:假设该数据键名范围是key=1和key=2,获取到的第一磁盘存储文件中对应的key为key=1,或者为key=2,或者为key=1和key=2,则此时获取到的第一磁盘存储文件中对应的key都在该数据键名范围内。另外,还可以将仅包括key=1或者key=2的第一磁盘存储文件进行合并,或者将仅包括key=1或者key=2的第一磁盘存储文件与包括key=1和key=2的第一磁盘存储文件进行合并,仅通过修改源数据库的元数据即可实现。
另外,在本发明的其他实施例中,若获取到的第一磁盘存储文件中对应的key并非全部都在该数据键名范围内,即:在所述第一磁盘存储文件中还包括所述数据键名范围之外的数据的情况下,对所述第一磁盘存储文件进行拆分,以得到仅包括所述数据键名范围内的数据的第二磁盘存储文件,并将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件。例如:假设该数据键名范围是key=1和key=2,获取到的第一磁盘存储文件中对应的key为key=1、key=2和key=3,或者为key=1和key=3等情况时,则此时获取到的第一磁盘存储文件中对应的key并非全部都在该数据键名范围内,还包括数据键名范围之外的数据。此时,就需要对获取到的第一磁盘存储文件进行拆分,以得到仅包括待迁移数据的第二磁盘存储文件。
根据本发明的一个实施例,在对第一磁盘存储文件进行拆分时,具体可以包括:获取所述第一磁盘存储文件对应的第一数据键名;根据所述第一数据键名和所述数据键名范围,生成拆分边界信息;根据所述拆分边界信息对所述第一磁盘存储文件进行拆分。例如:假设一个第一磁盘存储文件其对应的第一数据键名包括key=1、key=2和key=3,数据键名范围是key=1和key=2,则此时根据第一数据键名和数据键名范围可得到拆分边界信息为key=1、key=2、key=3。根据拆分边界信息可以将第一数据键名进行拆分得到(key=1和key=2)和(key=3)两个拆分区间。
根据本发明的一个具体实施例,假设源数据库和目标数据库均是基于RocksDB实现的,那么,源数据库和目标数据库均包括多个有序的存储层,获取的第一磁盘存储文件包括每个存储层的子磁盘存储文件,且每个存储层的子磁盘存储文件是由所述存储层的上一存储层的子磁盘存储文件进行数据合并得到的,那么相应地,对第一磁盘存储文件拆分后得到的第二磁盘存储文件和待存储文件所对应的磁盘存储文件也是包括了每个存储层的拆分后的子磁盘存储文件的。例如:L1层的数据是由L0层的数据进行数据合并得到的,一般情况下,当L0层的数据量达到设定的阈值的时候,会触发数据合并,将L0层的数据根据数据键名key合并到L1层的对应数据中,其它存储层是相同的原理。
在该实施例中,获取所述磁盘存储文件对应的第一数据键名,包括:对于每个存储层,获取所述存储层的子磁盘存储文件对应的第一数据键名。根据所述第一数据键名和所述数据键名范围,生成拆分边界信息,包括:对于每个存储层,根据所述存储层的子磁盘存储文件对应的第一数据键名和所述数据键名范围,生成所述存储层对应的拆分边界信息。根据所述拆分边界信息对所述第一磁盘存储文件进行拆分,包括:对于最后一个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间,从所述存储层对应的子磁盘存储文件中分别读取每个拆分区间对应的数据并写入新建的第一子磁盘存储文件中,删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分;对于除了最后一个存储层之外的每个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间;对每个拆分区间,从所述存储层对应的子磁盘存储文件中读取所述拆分区间对应的数据,并将读取的数据合并到所述存储层的下一存储层的子磁盘存储文件中;删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分。
具体地,在进行磁盘存储文件的拆分时,是需要对数据库的每个存储层都进行拆分的。现有技术中,每个磁盘存储文件SStable中的数据key是杂乱的,也就是说包括的key并非是一致的。而本发明中为了便于快速地进行数据迁移,可以预先对源数据库中各个存储层的子磁盘存储文件进行拆分,以将要迁移的数据键名范围的磁盘存储文件从各个存储层的子磁盘存储文件中拆分出来,之后再根据数据迁移指令进行数据迁移。下面结合图2和图3介绍本发明的磁盘存储文件的拆分过程。
图2是本发明实施例的磁盘存储文件拆分前的数据存储结构示意图。如图2所示,其中示出了部分存储层中的磁盘存储文件。在进行磁盘存储文件拆分前,L0层的子磁盘存储文件所对应的部分key范围分别为:key=1-3(表示key=1、key=2和key=3,下同)、key=2-5(表示key=2、key=3、key=4和key=5,下同)、key=1-4和key=4-5;L1层的子磁盘存储文件所对应的部分key范围分别为:key=1-2、key=3-4和key=5;……;L6层的子磁盘存储文件所对应的部分key范围为:key=1-5。除了L0层、L1层和L6层之外的其它层在该实施例中省略。
假设待迁移数据对应的数据键名范围是key=1-2,则根据数据键名范围确定的磁盘存储文件中包括:L0层中key范围为key=1-3、key=2-5和key=1-4的子磁盘存储文件、L1层中key范围为key=1-2的子磁盘存储文件、……;L6层中key范围为key=1-5的子磁盘存储文件。
对于L0层来说,以key范围为key=1-3的子磁盘存储文件为例,其中还包括待迁移数据对应的数据键名范围之外的数据,故而需要对其进行拆分,以得到key范围为key=1-2的磁盘存储文件。此时,可得到拆分边界信息为key=1、key=2、key=3。根据拆分边界信息可以对该子磁盘存储文件对应的key范围拆分得到(key=1-2)和(key=3)两个拆分区间。之后,可以生成两个数据合并任务,每个任务分别对应一个拆分区间,从该子磁盘存储文件中读取对应拆分区间对应的数据,并通过执行Compact动作将读取到的数据合并到L1层的子磁盘存储文件中。然后删除L0层的key范围为key=1-3的子磁盘存储文件,如此即可将L0层的key范围为key=1-3的子磁盘存储文件进行拆分。按照同样的方法,将key范围为key=2-5的子磁盘存储文件对应的key范围拆分得到(key=2)和(key=3-5)的两个拆分区间,并通过执行Compact动作将读取到的数据合并到L1层的子磁盘存储文件中,然后删除L0层的key范围为key=2-5的子磁盘存储文件;将key范围为key=1-4的子磁盘存储文件对应的key范围拆分得到(key=1-2)和(key=3-4)的两个拆分区间,并通过执行Compact动作将读取到的数据合并到L1层的子磁盘存储文件中,然后删除L0层的key范围为key=1-4的子磁盘存储文件。如此,对L0层的子磁盘存储文件的拆分结束。
由于L0层的数据是由内存中存储过来的,为了便于将(key=1-2)的数据均存储在一起,后续在将内存中的数据存储到磁盘存储文件中时,也会根据数据键名范围提取(key=1-2)的数据并存储为一个单独的磁盘存储文件。
对于L1层来说,key范围为key=1-2的子磁盘存储文件中仅包括待迁移数据对应的数据键名范围的数据,故而无需对其进行拆分处理。
对于L6层来说,key范围为key=1-5的子磁盘存储文件中还包括待迁移数据对应的数据键名范围之外的数据,故而需要对其进行拆分,以得到key范围为key=1-2的磁盘存储文件。此时,可得到拆分边界信息为key=1、key=2、key=5。根据拆分边界信息可以对该子磁盘存储文件对应的key范围拆分得到(key=1-2)和(key=3-5)两个拆分区间。之后,可以生成两个数据合并任务,每个任务分别对应一个拆分区间,从该子磁盘存储文件中读取对应拆分区间对应的数据,然后将读取的数据分别保存到L6层中新建的第一子磁盘存储文件中。然后删除L6层的原来的子磁盘存储文件,如此即可将L6层的子磁盘存储文件进行拆分。
图3是本发明实施例的磁盘存储文件的拆分结果示意图。如图3所示,其示出了图2的实施例中,进行磁盘存储文件拆分后得到的拆分结果,其中L0层、L1层和L6层中均包括key范围为key=1-2的子磁盘存储文件。
本领域技术人员应当知道,本发明的实施例中所介绍的对磁盘存储文件进行切分的过程,并不局限于数据迁移的场景,还可以是当存储层中某个磁盘存储文件大小超过设定阈值时,进行磁盘存储文件的切分;也可以是结合具体业务需求进行磁盘存储文件的切分,等等,本发明对此不作限定。
另外,根据本发明的实施例,为了避免在数据迁移过程中因数据合并Compact导致磁盘存储文件的变化,而带来的数据迁移错误的情况发生,在将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,或将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,还包括:停止所述源数据库的数据合并;以及,在从所述源数据库删除所述磁盘存储文件之后,还包括:恢复所述源数据库的数据合并。
当第一磁盘存储文件中仅包括该数据键名范围内的数据时,即可停止源数据库的数据合并,并将第一磁盘存储文件作为待迁移数据对应的磁盘存储文件,从而使得磁盘存储文件不再发生变化,保证了数据迁移的准确性。
当第一磁盘存储文件中包括该数据键名范围之外的数据时,需要通过源数据库的数据合并操作来对第一磁盘存储文件进行拆分,以得到仅包括该数据键名范围内的数据的第二磁盘存储文件,此时,即可停止源数据库的数据合并,并将第二磁盘存储文件作为待迁移数据对应的磁盘存储文件,从而使得磁盘存储文件不再发生变化,保证了数据迁移的准确性。
步骤S103:在目标数据库中挂载该磁盘存储文件以使目标数据库获取待迁移数据的读写权限,源数据库和目标数据库是基于共享存储的两个数据库。
在确定了待迁移数据在源数据库中的磁盘存储文件之后,将这些磁盘存储文件挂载到目标数据库即可使得目标数据库具有待迁移数据的读写权限。由于源数据库和目标数据库是基于共享存储的两个数据库,故而无需进行数据复制和再次写入,从而大幅提升迁移速度,且节省了网络带宽。
步骤S104:停止源数据库对数据键名范围的数据写入,并将数据键名范围的数据写入位置修改为目标数据库,开启目标数据库对数据键名范围的数据写入。之后,当有位于该数据键名范围的数据写入时,会写入到目标数据库,不会再写入源数据库。
根据本发明的一个实施例,将数据键名范围的数据写入位置修改为目标数据库,具体可以包括:通过修改所述源数据库和所述目标数据库的元数据,以将所述数据键名范围的数据写入位置修改为所述目标数据库。在本发明的实施例中,元数据中保存了数据键名的存储位置,即数据键名对应的磁盘存储文件名,故而通过对元数据进行修改,即可将数据的写入位置进行修改。另外,在本发明的实施例中,在将源数据库磁盘中的数据迁移到目标数据库后,为了便于对数据进行管理,可以将该数据键名范围的数据作为一个数据组,并将该数据组包括的数据键名范围,以及该数据组对应的磁盘存储文件保存到目标数据库的元数据中,以便于后续根据元数据和数据组进行数据管理。
在本发明的另一个实施例中,待迁移数据还包括存储在所述源数据库的内存中的所述数据键名范围对应的数据。故而在将源数据库磁盘中的数据迁移后,还需要将内存中的数据进行迁移。根据本发明的实施例,在从所述源数据库删除所述磁盘存储文件之前,还包括:将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,并在所述目标数据库中挂载所述磁盘存储文件,以将所述源数据库的内存中的所述数据键名范围对应的数据迁移至所述目标数据库中。
在进行源数据库的内存中的数据迁移操作时,可以是在停止源数据库对数据键名范围的数据写入(步骤S104)之后,但在步骤S105从所述源数据库删除所述磁盘存储文件之前,执行一次将内存中的数据写入磁盘,并根据前述的步骤S103来进行迁移。也可以是,在将磁盘中的数据迁移完成后,但是未执行步骤S104停止源数据库对数据键名范围的数据写入之前,循环多次地将内存中的数据写入磁盘,直至内存中的数据量小于设定的阈值,并根据前述的步骤S103来进行迁移。并且在执行步骤S104停止源数据库对数据键名范围的数据写入之后,但在步骤S105从所述源数据库删除所述磁盘存储文件之前,再将内存中剩余的数据写入磁盘,并根据前述的步骤S103来进行迁移。
根据本发明的其中一个实施例,将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,包括:从所述源数据库的内存数据中提取所述数据键名范围对应的数据;将所述数据键名范围对应的数据写入所述磁盘存储文件。
根据本发明的又一个实施例,从所述源数据库的内存数据中提取所述数据键名范围对应的数据,包括:对所述源数据库的内存数据中的不少于一个数据单元,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据。在内存中,数据是以数据单元的形式存在的,在一个数据单元内部,可能包括多个key的数据,故而在提取指定key范围的数据时,需要对数据单元进行拆分合并以提取对应的数据。
具体地,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据,包括:根据所述数据键名范围和每个所述数据单元中包括的数据键名,生成每个所述数据单元的拆分边界信息;根据所述拆分边界信息将每个所述数据单元分为多个子数据单元;将数据键名位于所述数据键名范围内的多个子数据单元进行合并以提取所述数据键名范围对应的数据。具体地,可以生成多个数据拆分任务,分别对应每个数据单元,根据该数据单元的拆分边界信息将数据单元拆分为多个子数据单元,其中必然有一个子数据单元对应的数据键名key在所述数据键名范围内。之后,将所有数据单元拆分得到的子数据单元中,数据键名位于所述数据键名范围内的多个子数据单元进行合并,即可提取所述数据键名范围对应的数据。
步骤S105:从源数据库删除磁盘存储文件以完成数据迁移。
根据上述的步骤S101至步骤S105,即可实现将指定数据键名范围内的数据从源数据库迁移到目标数据库,且实现了数据的快速迁移,节省了网络带宽,为数据库和业务系统的正常运转提供支持。
图4是根据本发明实施例的数据迁移的装置的主要模块示意图。
如图4所示,本发明实施例的数据迁移的装置400主要包括:
数据键名范围获取模块401,用于响应于数据迁移指令,获取待迁移数据对应的数据键名范围;
磁盘存储文件获取模块402,用于根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;
磁盘存储文件挂载模块403,用于在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;
数据写入位置修改模块404,用于停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;
磁盘存储文件删除模块405,用于从所述源数据库删除所述磁盘存储文件以完成数据迁移。
根据本发明的一个实施例,磁盘存储文件获取模块402还可以用于:根据所述数据键名范围,从所述源数据库的元数据中查找包括所述数据键名范围的全部或部分键名的第一磁盘存储文件;在所述第一磁盘存储文件中仅包括所述数据键名范围内的数据的情况下,将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件;在所述第一磁盘存储文件中还包括所述数据键名范围之外的数据的情况下,对所述第一磁盘存储文件进行拆分,以得到仅包括所述数据键名范围内的数据的第二磁盘存储文件,并将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件。
根据本发明的另一个实施例,磁盘存储文件获取模块402在对所述第一磁盘存储文件进行拆分时,具体可以用于:获取所述第一磁盘存储文件对应的第一数据键名;根据所述第一数据键名和所述数据键名范围,生成拆分边界信息;根据所述拆分边界信息对所述第一磁盘存储文件进行拆分。
根据本发明的又一个实施例,所述源数据库和所述目标数据库均包括多个有序的存储层,所述第一磁盘存储文件包括每个存储层的子磁盘存储文件,且每个存储层的子磁盘存储文件是由所述存储层的上一存储层的子磁盘存储文件进行数据合并得到的。并且,磁盘存储文件获取模块402在获取所述第一磁盘存储文件对应的第一数据键名时,具体可以用于:对于每个存储层,获取所述存储层的子磁盘存储文件对应的第一数据键名;
磁盘存储文件获取模块402在根据所述第一数据键名和所述数据键名范围,生成拆分边界信息时,具体可以用于:对于每个存储层,根据所述存储层的子磁盘存储文件对应的第一数据键名和所述数据键名范围,生成所述存储层对应的拆分边界信息;
磁盘存储文件获取模块402在根据所述拆分边界信息对所述第一磁盘存储文件进行拆分时,具体可以用于:对于最后一个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间,从所述存储层对应的子磁盘存储文件中分别读取每个拆分区间对应的数据并写入新建的第一子磁盘存储文件中,删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分;对于除了最后一个存储层之外的每个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间;对每个拆分区间,从所述存储层对应的子磁盘存储文件中读取所述拆分区间对应的数据,并将读取的数据合并到所述存储层的下一存储层的子磁盘存储文件中;删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分。
根据本发明的又一个实施例,数据迁移的装置400还可以包括数据合并控制模块(图中未示出),用于:在将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,或将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,停止所述源数据库的数据合并;以及,在从所述源数据库删除所述磁盘存储文件之后,恢复所述源数据库的数据合并。
根据本发明的又一个实施例,数据写入位置修改模块404还可以用于:通过修改所述源数据库和所述目标数据库的元数据,以将所述数据键名范围的数据写入位置修改为所述目标数据库。
根据本发明的又一个实施例,所述待迁移数据还包括存储在所述源数据库的内存中的所述数据键名范围对应的数据;并且,数据迁移的装置400还可以包括内存数据迁移模块(图中未示出),用于:在从所述源数据库删除所述磁盘存储文件之前,将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,并在所述目标数据库中挂载所述磁盘存储文件,以将所述源数据库的内存中的所述数据键名范围对应的数据迁移至所述目标数据库中。
根据本发明的又一个实施例,内存数据迁移模块(图中未示出)在将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件时,具体用于:从所述源数据库的内存数据中提取所述数据键名范围对应的数据;将所述数据键名范围对应的数据写入所述磁盘存储文件。
根据本发明的又一个实施例,内存数据迁移模块(图中未示出)在从所述源数据库的内存数据中提取所述数据键名范围对应的数据时,具体可以用于:对所述源数据库的内存数据中的不少于一个数据单元,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据。
根据本发明的又一个实施例,内存数据迁移模块(图中未示出)在根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据时,具体可以用于:根据所述数据键名范围和每个所述数据单元中包括的数据键名,生成每个所述数据单元的拆分边界信息;根据所述拆分边界信息将每个所述数据单元分为多个子数据单元;将数据键名位于所述数据键名范围内的多个子数据单元进行合并以提取所述数据键名范围对应的数据。
根据本发明实施例的技术方案,通过响应于数据迁移指令,获取待迁移数据对应的数据键名范围;根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件,该磁盘存储文件中仅包括数据键名范围内的数据;在目标数据库中挂载该磁盘存储文件以使目标数据库获取待迁移数据的读写权限,源数据库和目标数据库是基于共享存储的两个数据库;停止源数据库对数据键名范围的数据写入,并将数据键名范围的数据写入位置修改为目标数据库,开启目标数据库对数据键名范围的数据写入;从源数据库删除磁盘存储文件以完成数据迁移的技术方案,实现了通过将指定数据键名范围的数据存储到单独的磁盘存储文件中,在迁移数据时,只需要确定待迁移数据的数据键名范围,即可得到对应的磁盘存储文件,然后基于源数据库和目标数据库的共享存储,在目标数据库挂载该磁盘存储文件,在源数据库删除该磁盘存储文件,即可实现数据迁移,不需要进行数据复制和再次写入,从而大幅提升了数据迁移速度,且节省了网络带宽,为数据库和业务系统的正常运转提供支持。
图5示出了可以应用本发明实施例的数据迁移的方法或数据迁移的装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如数据管理类应用、数据存储类应用、数据库类应用等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据迁移指令等数据进行获取待迁移数据对应的数据键名范围;根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;从所述源数据库删除所述磁盘存储文件等处理,并将处理结果(例如数据迁移结果--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的数据迁移的方法一般由服务器505执行,相应地,数据迁移的装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括数据键名范围获取模块、磁盘存储文件获取模块、磁盘存储文件挂载模块、数据写入位置修改模块和磁盘存储文件删除模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,磁盘存储文件删除模块还可以被描述为“用于从所述源数据库删除所述磁盘存储文件以完成数据迁移的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:响应于数据迁移指令,获取待迁移数据对应的数据键名范围;根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;从所述源数据库删除所述磁盘存储文件以完成数据迁移。
根据本发明实施例的技术方案,通过响应于数据迁移指令,获取待迁移数据对应的数据键名范围;根据数据键名范围确定待迁移数据在源数据库中的磁盘存储文件,该磁盘存储文件中仅包括数据键名范围内的数据;在目标数据库中挂载该磁盘存储文件以使目标数据库获取待迁移数据的读写权限,源数据库和目标数据库是基于共享存储的两个数据库;停止源数据库对数据键名范围的数据写入,并将数据键名范围的数据写入位置修改为目标数据库,开启目标数据库对数据键名范围的数据写入;从源数据库删除磁盘存储文件以完成数据迁移的技术方案,实现了通过将指定数据键名范围的数据存储到单独的磁盘存储文件中,在迁移数据时,只需要确定待迁移数据的数据键名范围,即可得到对应的磁盘存储文件,然后基于源数据库和目标数据库的共享存储,在目标数据库挂载该磁盘存储文件,在源数据库删除该磁盘存储文件,即可实现数据迁移,不需要进行数据复制和再次写入,从而大幅提升了数据迁移速度,且节省了网络带宽,为数据库和业务系统的正常运转提供支持。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (13)

1.一种数据迁移的方法,其特征在于,包括:
响应于数据迁移指令,获取待迁移数据对应的数据键名范围;
根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;
在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;
停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;
从所述源数据库删除所述磁盘存储文件以完成数据迁移。
2.根据权利要求1所述的方法,其特征在于,根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,包括:
根据所述数据键名范围,从所述源数据库的元数据中查找包括所述数据键名范围的全部或部分键名的第一磁盘存储文件;
在所述第一磁盘存储文件中仅包括所述数据键名范围内的数据的情况下,将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件;
在所述第一磁盘存储文件中还包括所述数据键名范围之外的数据的情况下,对所述第一磁盘存储文件进行拆分,以得到仅包括所述数据键名范围内的数据的第二磁盘存储文件,并将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件。
3.根据权利要求2所述的方法,其特征在于,对所述第一磁盘存储文件进行拆分,包括:
获取所述第一磁盘存储文件对应的第一数据键名;
根据所述第一数据键名和所述数据键名范围,生成拆分边界信息;
根据所述拆分边界信息对所述第一磁盘存储文件进行拆分。
4.根据权利要求3所述的方法,其特征在于,所述源数据库和所述目标数据库均包括多个有序的存储层,所述第一磁盘存储文件包括每个存储层的子磁盘存储文件,且每个存储层的子磁盘存储文件是由所述存储层的上一存储层的子磁盘存储文件进行数据合并得到的;
获取所述第一磁盘存储文件对应的第一数据键名,包括:对于每个存储层,获取所述存储层的子磁盘存储文件对应的第一数据键名;
根据所述第一数据键名和所述数据键名范围,生成拆分边界信息,包括:对于每个存储层,根据所述存储层的子磁盘存储文件对应的第一数据键名和所述数据键名范围,生成所述存储层对应的拆分边界信息;
根据所述拆分边界信息对所述第一磁盘存储文件进行拆分,包括:
对于最后一个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间,从所述存储层对应的子磁盘存储文件中分别读取每个拆分区间对应的数据并写入新建的第一子磁盘存储文件中,删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分;
对于除了最后一个存储层之外的每个存储层,根据所述存储层对应的拆分边界信息确定多个拆分区间;对每个拆分区间,从所述存储层对应的子磁盘存储文件中读取所述拆分区间对应的数据,并将读取的数据合并到所述存储层的下一存储层的子磁盘存储文件中;删除所述存储层的子磁盘存储文件,以对所述存储层的子磁盘存储文件进行拆分。
5.根据权利要求2所述的方法,其特征在于,在将所述第一磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,或将所述第二磁盘存储文件确定为所述待迁移数据在源数据库中的磁盘存储文件之前,还包括:停止所述源数据库的数据合并;
以及,在从所述源数据库删除所述磁盘存储文件之后,还包括:恢复所述源数据库的数据合并。
6.根据权利要求1或2所述的方法,其特征在于,将所述数据键名范围的数据写入位置修改为所述目标数据库,包括:
通过修改所述源数据库和所述目标数据库的元数据,以将所述数据键名范围的数据写入位置修改为所述目标数据库。
7.根据权利要求1或2所述的方法,其特征在于,所述待迁移数据还包括存储在所述源数据库的内存中的所述数据键名范围对应的数据;
并且,在从所述源数据库删除所述磁盘存储文件之前,还包括:
将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,并在所述目标数据库中挂载所述磁盘存储文件,以将所述源数据库的内存中的所述数据键名范围对应的数据迁移至所述目标数据库中。
8.根据权利要求7所述的方法,其特征在于,将所述源数据库的内存中的所述数据键名范围对应的数据写入所述磁盘存储文件,包括:
从所述源数据库的内存数据中提取所述数据键名范围对应的数据;
将所述数据键名范围对应的数据写入所述磁盘存储文件。
9.根据权利要求8所述的方法,其特征在于,从所述源数据库的内存数据中提取所述数据键名范围对应的数据,包括:
对所述源数据库的内存数据中的不少于一个数据单元,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据。
10.根据权利要求9所述的方法,其特征在于,根据数据键名进行数据单元的拆分合并以提取所述数据键名范围对应的数据,包括:
根据所述数据键名范围和每个所述数据单元中包括的数据键名,生成每个所述数据单元的拆分边界信息;
根据所述拆分边界信息将每个所述数据单元分为多个子数据单元;
将数据键名位于所述数据键名范围内的多个子数据单元进行合并以提取所述数据键名范围对应的数据。
11.一种数据迁移的装置,其特征在于,包括:
数据键名范围获取模块,用于响应于数据迁移指令,获取待迁移数据对应的数据键名范围;
磁盘存储文件获取模块,用于根据所述数据键名范围确定所述待迁移数据在源数据库中的磁盘存储文件,所述磁盘存储文件中仅包括所述数据键名范围内的数据;
磁盘存储文件挂载模块,用于在目标数据库中挂载所述磁盘存储文件以使所述目标数据库获取所述待迁移数据的读写权限,所述源数据库和所述目标数据库是基于共享存储的两个数据库;
数据写入位置修改模块,用于停止所述源数据库对所述数据键名范围的数据写入,并将所述数据键名范围的数据写入位置修改为所述目标数据库,开启所述目标数据库对所述数据键名范围的数据写入;
磁盘存储文件删除模块,用于从所述源数据库删除所述磁盘存储文件以完成数据迁移。
12.一种数据迁移的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN202211633082.4A 2022-12-19 2022-12-19 一种数据迁移的方法和装置 Pending CN115858496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211633082.4A CN115858496A (zh) 2022-12-19 2022-12-19 一种数据迁移的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211633082.4A CN115858496A (zh) 2022-12-19 2022-12-19 一种数据迁移的方法和装置

Publications (1)

Publication Number Publication Date
CN115858496A true CN115858496A (zh) 2023-03-28

Family

ID=85674101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211633082.4A Pending CN115858496A (zh) 2022-12-19 2022-12-19 一种数据迁移的方法和装置

Country Status (1)

Country Link
CN (1) CN115858496A (zh)

Similar Documents

Publication Publication Date Title
US11200044B2 (en) Providing access to a hybrid application offline
CN109254733B (zh) 用于存储数据的方法、装置和系统
CN106886375B (zh) 存储数据的方法和装置
US11985192B2 (en) Synchronized content library
US9372880B2 (en) Reclamation of empty pages in database tables
CN108629029B (zh) 一种应用于数据仓库的数据处理方法和装置
US10235244B2 (en) Block level backup of virtual machines for file name level based file search and restoration
US9817879B2 (en) Asynchronous data replication using an external buffer table
CN107480205B (zh) 一种进行数据分区的方法和装置
US10585760B2 (en) File name level based file search and restoration from block level backups of virtual machines
US10884980B2 (en) Cognitive file and object management for distributed storage environments
CN112925859A (zh) 数据存储方法和装置
CN112597126A (zh) 一种数据迁移方法和装置
CN112783887A (zh) 一种基于数据仓库的数据处理方法及装置
US20230222165A1 (en) Object storage-based indexing systems and method
US10817510B1 (en) Systems and methods for navigating through a hierarchy of nodes stored in a database
US10705752B2 (en) Efficient data migration in hierarchical storage management system
CN113760600B (zh) 一种数据库备份方法、数据库还原方法和相关装置
US11416468B2 (en) Active-active system index management
CN115858496A (zh) 一种数据迁移的方法和装置
CN113760861A (zh) 一种数据迁移的方法和装置
CN111782834A (zh) 图像检索的方法、装置、设备及计算机可读存储介质
US10185759B2 (en) Distinguishing event type
US11656950B2 (en) Method, electronic device and computer program product for storage management
CN117389475A (zh) 一种数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination