CN110059075B - 一种数据库迁移的方法、装置、设备及计算机可读介质 - Google Patents

一种数据库迁移的方法、装置、设备及计算机可读介质 Download PDF

Info

Publication number
CN110059075B
CN110059075B CN201910230137.9A CN201910230137A CN110059075B CN 110059075 B CN110059075 B CN 110059075B CN 201910230137 A CN201910230137 A CN 201910230137A CN 110059075 B CN110059075 B CN 110059075B
Authority
CN
China
Prior art keywords
database
data
server
incremental data
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910230137.9A
Other languages
English (en)
Other versions
CN110059075A (zh
Inventor
徐虎
赵裕众
杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Oceanbase Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910230137.9A priority Critical patent/CN110059075B/zh
Publication of CN110059075A publication Critical patent/CN110059075A/zh
Priority to TW108134425A priority patent/TWI754837B/zh
Priority to EP20778746.6A priority patent/EP3859549B1/en
Priority to PCT/CN2020/075015 priority patent/WO2020192290A1/zh
Application granted granted Critical
Publication of CN110059075B publication Critical patent/CN110059075B/zh
Priority to US17/243,391 priority patent/US11308048B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种数据库迁移的方法,方法包括:从数据库的第一服务器中拷贝元数据,其中,元数据包括合成数据的标识信息;当拷贝完数据库的第一服务器中的元数据后,接收客户端发送的业务指令;根据业务指令,判断是否需要从数据库的第一服务器中读取合成数据;若判断出需要从数据库的第一服务器中读取合成数据时,根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。本发明提前接收客户端发出的业务指令,并根据合成数据的标识信息,由数据库的第一服务器拷贝所需的合成数据,从而减少数据库迁移的时间。

Description

一种数据库迁移的方法、装置、设备及计算机可读介质
技术领域
本说明书涉及计算机技术领域,尤其是涉及一种数据库迁移的方法、装置、设备及计算机可读介质。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。
由于数据库的服务器储存量有限,当原服务器无法再容纳更多的数据时,需要将原服务器的数据迁移至内存更大的服务器。
现有数据库的迁移方法是将原服务器中的所有数据拷贝至新服务器时,再将客户端发出的业务指令发送至新服务器,期间拷贝数据的过程耗时长,从而影响数据库迁移的效率。
发明内容
本说明书实施例提供一种数据库迁移的方法、装置、设备及计算机可读介质,解决了数据库迁移时耗时长的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据库迁移的方法,所述方法包括:
从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;
当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
可选的,所述业务指令还需要读取增量数据,所述元数据还包括所述增量数据的标识信息;
所述接收客户端发送的业务指令之前,所述方法还包括:
根据所述增量数据的标识信息,从所述数据库的第一服务器中拷贝所述增量数据,当拷贝完所述数据库的第一服务器中的增量数据后,执行所述接收客户端发送的业务指令的步骤。
可选的,所述接收客户端发送的业务指令之后,所述方法还包括:
根据所述合成数据的标识信息,从所述数据库的第一服务器中拷贝所述合成数据。
可选的,所述从所述数据库的第一服务器中拷贝所述合成数据之后,所述方法还包括:
当拷贝完所述数据库的第一服务器的合成数据时,删除所述数据库的第一服务器。
可选的,所述从所述数据库的第一服务器中拷贝元数据之前,所述方法还包括:
在所述数据库的第一服务器的日志中设置同步位点,在所述同步位点之前,从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据;在所述同步位点之后,从日志中拷贝增量数据以及合成数据。
可选的,所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
可选的,所述增量数据包括第一增量数据以及持久化储存的第二增量数据,当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
可选的,所述合成数据是由所述第二增量数据与以前储存的合成数据合并时所形成,所述合成数据每次合并时生成宏块,所述合成数据包括多个宏块。
可选的,所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供了一种数据库迁移的装置,所述装置包括:
拷贝单元,用于从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;
接收单元,用于当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
判断单元,用于根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
可选的,所述业务指令还需要读取增量数据,所述元数据还包括所述增量数据的标识信息;
所述拷贝单元还用于根据所述增量数据的标识信息,从所述数据库的第一服务器中拷贝所述增量数据,当拷贝完所述数据库的第一服务器中的增量数据后,执行所述接收客户端发送的业务指令的步骤。
可选的,所述拷贝单元还用于根据所述合成数据的标识信息,从所述数据库的第一服务器中拷贝所述合成数据。
可选的,所述装置还包括:
删除单元,用于当拷贝完所述数据库的第一服务器的合成数据时,删除所述数据库的第一服务器。
可选的,所述装置还包括:
设置单元,用于在所述数据库的第一服务器的日志中设置同步位点,在所述同步位点之前,从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据;在所述同步位点之后,从日志中拷贝增量数据以及合成数据。
可选的,所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
可选的,所述增量数据包括第一增量数据以及持久化储存的第二增量数据,当所述第一增量数据的储存量达到上限时转化为所述第二增量数据。
可选的,所述合成数据是由所述第二增量数据与以前储存的合成数据合并时所形成,所述合成数据每次合并时生成宏块,所述合成数据包括多个宏块。
可选的,所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供的一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现以下步骤:
从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;
当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例提供了一种数据库迁移的设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备的以下单元:
拷贝单元,用于从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;
接收单元,用于当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
判断单元,用于根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本发明提前接收客户端发出的业务指令,并根据合成数据的标识信息,由数据库的第一服务器拷贝所需的合成数据,从而减少数据库迁移的时间。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例一提供的数据库迁移的方法的流程示意图;
图2为本说明书实施例二提供的数据库迁移的方法的流程示意图;
图3为本说明书实施例三提供的数据库迁移的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1为本说明书实施例提供的一种数据库迁移的方法的流程示意图,该流程示意图包括:
步骤S101,从数据库的第一服务器中拷贝元数据,其中,元数据包括合成数据的标识信息。
步骤S102,当拷贝完数据库的第一服务器中的元数据后,接收客户端发送的业务指令。
步骤S103,根据业务指令,判断是否需要从数据库的第一服务器中读取合成数据,若是,则执行步骤S104,若否,说明业务指令所需读取的数据已存在,不需要从数据库的第一服务器中调用。
步骤S104,根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
在本实施例中,执行上述步骤的执行主体可以为内存比数据库的第一服务器大的数据库的第二服务器。
图2为本说明书实施例提供的一种数据库迁移的方法的流程示意图,该流程示意图包括:
步骤S201,在数据库的第一服务器的日志中设置同步位点,在同步位点之前,数据库的第二服务器从数据库的第一服务器拷贝增量数据以及合成数据;在同步位点之后,数据库的第二服务器从日志中拷贝增量数据以及合成数据,下述步骤是针对同步位点之前的数据库迁移。
在本说明书实施例的步骤S201中,本实施例是为了将数据从数据库的第一服务器迁移至数据库的第二服务器,其中,数据包括增量数据以及合成数据。
步骤S202,数据库的第二服务器向数据库的第一服务器发送第一拷贝请求,在数据库的第一服务器通过第一拷贝请求后,数据库的第二服务器从数据库的第一服务器中拷贝元数据,元数据包括合成数据的标识信息与增量数据的标识信息。
在本说明书实施例的步骤S202中,第一拷贝请求是数据库的第二服务器向数据库的第一服务器发送的认证指令,当第一数据通过此认证指令后,数据库的第二服务器从数据库的第一服务器中拷贝元数据。其中,元数据是描述数据属性的信息。
步骤S203,根据增量数据的标识信息,数据库的第二服务器向数据库的第一服务器发送第二拷贝请求,在数据库的第一服务器通过第二拷贝请求后,数据库的第二服务器从数据库的第一服务器中拷贝增量数据。
在本说明书实施例的步骤S203中,第二拷贝请求中包括增量数据的标识信息,其中,增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。在数据库的第一服务器认证增量数据的标识信息正确后,数据库的第二服务器从数据库的第一服务器逻辑拷贝增量数据。
在本说明书实施例的步骤S203中,增量数据包括第一增量数据以及持久化储存的第二增量数据,当第一增量数据的储存量达到上限时将转化为第二增量数据。
步骤S204,当确定数据库的第二服务器拷贝完数据库的第一服务器的增量数据时,数据库的第二服务器接收客户端发送的业务指令。
在本说明书实施例的步骤S204中,在此步骤之前,客户端的业务指令发送至数据库的第一服务器,在此步骤之后,客户端的业务指令直接发送至数据库的第二服务器,说明此时,数据库的第二服务器具备正常处理的数据的能力。
步骤S205,根据合成数据的标识信息,数据库的第二服务器向数据库的第一服务器发送第三拷贝请求,在数据库的第一服务器通过第三拷贝请求后,数据库的第二服务器从数据库的第一服务器中拷贝合成数据。
在本说明书实施例的步骤S205中,第三拷贝请求中包括增量数据的标识信息。在数据库的第一服务器认证合成数据的标识信息正确后,数据库的第二服务器从数据库的第一服务器逻辑拷贝合成数据。
在本说明书实施例的步骤S205中,合成数据是由第二增量数据与以前储存的合成数据合并时所形成,合成数据每次合并时生成宏块,合成数据包括多个宏块。第二增量数据与以前储存的合成数据的合并条件为:根据预设指令触发或者按照预设的时间触发。
在本说明书实施例的步骤S205中,合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号,其中,宏块所进行的合并次数是指某个宏块处在合成数据的第几次合并,宏块在同一次合并时的编号是指某个宏块在合成数据同一次合并中属于第几个宏块。
步骤S206,根据数据库的第二服务器接收的业务指令,数据库的第二服务器判断是否需要从数据库的第一服务器中读取合成数据,若是,则执行步骤S207,若否,说明业务指令所需读取的数据在数据库的第二服务器中已存在,不需要从数据库的第一服务器中调用。
在本说明书实施例的步骤S206中,在此步骤中,业务指令需要读取的是合成数据中的宏块。
步骤S207,根据所需合成数据的标识信息,数据库的第二服务器从数据库的第一服务器中拷贝对应的合成数据。
在本说明书实施例的步骤S207中,此步骤发生在数据库的第二服务器从数据库的第一服务器中未拷贝完合成数据,但业务指令需要用到数据库的第一服务器的合成数据,此时根据所需的合成数据的标识信息,从数据库的第一服务器中拷贝对应的合成数据,其中,所需的合成数据为宏块,由于宏块的内存大,不易读取,所以在储存时将宏块细分为多个微小宏块储存在缓存中。
步骤S208,当确定数据库的第二服务器拷贝完数据库的第一服务器的合成数据时,删除数据库的第一服务器。
上述方案即可应用于同一个数据库的两个服务器之间的迁移,也可应用于两个不同数据库的两个服务器之间的迁移。
图3为本说明书实施例提供的一种数据库迁移的装置的结构示意图,该结构示意图包括:拷贝单元1、接收单元2、判断单元3、删除单元4以及设置单元5。
拷贝单元1用于从数据库的第一服务器中拷贝元数据;
接收单元2用于当拷贝完数据库的第一服务器中的元数据后,接收客户端发送的业务指令。
判断单元3用于根据业务指令,判断是否需要从数据库的第一服务器中读取合成数据。
拷贝单元1还用于若判断出需要从数据库的第一服务器中读取合成数据时,根据所需合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
业务指令还需要读取增量数据,元数据还包括增量数据的标识信息,拷贝单元1还用于根据增量数据的标识信息,从数据库的第一服务器中拷贝增量数据,当拷贝完数据库的第一服务器中的增量数据后,执行接收客户端发送的业务指令的步骤。
拷贝单元1还用于根据合成数据的标识信息,从数据库的第一服务器中拷贝合成数据。
删除单元4用于当拷贝完数据库的第一服务器的合成数据时,删除数据库的第一服务器。
设置单元5用于在数据库的第一服务器的日志中设置同步位点,在同步位点之前,从数据库的第一服务器拷贝增量数据以及合成数据;在同步位点之后,从日志中拷贝增量数据以及合成数据。
增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
增量数据包括第一增量数据以及持久化储存的第二增量数据,当第一增量数据的储存量达到上限时转化为第二增量数据。
合成数据是由第二增量数据与以前储存的合成数据合并时所形成,合成数据每次合并时生成宏块,合成数据包括多个宏块。
合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
本说明书实施例提供的一种计算机可读介质,其上存储有计算机可读指令,计算机可读指令可被处理器执行以实现以下步骤:
从数据库的第一服务器中拷贝元数据,其中,元数据包括合成数据的标识信息;
当拷贝完数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
根据业务指令,判断是否需要从数据库的第一服务器中读取合成数据;
若判断出需要从数据库的第一服务器中读取合成数据时,根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
本说明书实施例提供了一种数据库迁移的设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备的以下单元:
拷贝单元,用于从数据库的第一服务器中拷贝元数据,其中,元数据包括合成数据的标识信息;
接收单元,用于当拷贝完数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
判断单元,用于根据业务指令,判断是否需要从数据库的第一服务器中读取合成数据;
拷贝单元还用于若判断出需要从数据库的第一服务器中读取合成数据时,根据所需的合成数据的标识信息从数据库的第一服务器中拷贝对应的合成数据。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (18)

1.一种数据库迁移的方法,所述方法包括:
从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;所述合成数据是由第二增量数据与以前储存的合成数据合并时所形成,增量数据包括第一增量数据以及持久化储存的第二增量数据,当所述第一增量数据的储存量达到上限时转化为所述第二增量数据;
当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
2.根据权利要求1所述的数据库迁移的方法,所述业务指令还需要读取增量数据,所述元数据还包括所述增量数据的标识信息;
所述接收客户端发送的业务指令之前,所述方法还包括:
根据所述增量数据的标识信息,从所述数据库的第一服务器中拷贝所述增量数据,当拷贝完所述数据库的第一服务器中的增量数据后,执行所述接收客户端发送的业务指令的步骤。
3.根据权利要求2所述的数据库迁移的方法,所述接收客户端发送的业务指令之后,所述方法还包括:
根据所述合成数据的标识信息,从所述数据库的第一服务器中拷贝所述合成数据。
4.根据权利要求3所述的数据库迁移的方法,所述从所述数据库的第一服务器中拷贝所述合成数据之后,所述方法还包括:
当拷贝完所述数据库的第一服务器的合成数据时,删除所述数据库的第一服务器。
5.根据权利要求4所述的数据库迁移的方法,所述从所述数据库的第一服务器中拷贝元数据之前,所述方法还包括:
在所述数据库的第一服务器的日志中设置同步位点,在所述同步位点之前,从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据;在所述同步位点之后,从日志中拷贝增量数据以及合成数据。
6.根据权利要求2所述的数据库迁移的方法,所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
7.根据权利要求1所述的数据库迁移的方法,所述合成数据每次合并时生成宏块,所述合成数据包括多个宏块。
8.根据权利要求7所述的数据库迁移的方法,所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
9.一种数据库迁移的装置,所述装置包括:
拷贝单元,用于从所述数据库的第一服务器中拷贝元数据,其中,所述元数据包括合成数据的标识信息;所述合成数据是由第二增量数据与以前储存的合成数据合并时所形成,增量数据包括第一增量数据以及持久化储存的第二增量数据,当所述第一增量数据的储存量达到上限时转化为所述第二增量数据;
接收单元,用于当拷贝完所述数据库的第一服务器中的元数据后,接收客户端发送的业务指令;
判断单元,用于根据所述业务指令,判断是否需要从所述数据库的第一服务器中读取合成数据;
所述拷贝单元还用于若判断出需要从所述数据库的第一服务器中读取合成数据时,根据所需的所述合成数据的标识信息从所述数据库的第一服务器中拷贝对应的合成数据。
10.根据权利要求9所述的数据库迁移的装置,所述业务指令还需要读取增量数据,所述元数据还包括所述增量数据的标识信息;
所述拷贝单元还用于根据所述增量数据的标识信息,从所述数据库的第一服务器中拷贝所述增量数据,当拷贝完所述数据库的第一服务器中的增量数据后,执行所述接收客户端发送的业务指令的步骤。
11.根据权利要求10所述的数据库迁移的装置,所述拷贝单元还用于根据所述合成数据的标识信息,从所述数据库的第一服务器中拷贝所述合成数据。
12.根据权利要求11所述的数据库迁移的装置,所述装置还包括:
删除单元,用于当拷贝完所述数据库的第一服务器的合成数据时,删除所述数据库的第一服务器。
13.根据权利要求12所述的数据库迁移的装置,所述装置还包括:
设置单元,用于在所述数据库的第一服务器的日志中设置同步位点,在所述同步位点之前,从所述数据库的第一服务器拷贝所述增量数据以及所述合成数据;在所述同步位点之后,从日志中拷贝增量数据以及合成数据。
14.根据权利要求10所述的数据库迁移的装置,所述增量数据的标识信息包括增量数据所属表的ID以及增量数据所属分区的ID。
15.根据权利要求10所述的数据库迁移的装置,所述合成数据每次合并时生成宏块,所述合成数据包括多个宏块。
16.根据权利要求15所述的数据库迁移的装置,所述合成数据的标识信息包括宏块所属表的ID、宏块所属分区的ID、宏块所进行的合并次数以及宏块在同一次合并时的编号。
17.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现权利要求1至8中任一项所述的方法。
18.一种数据库迁移的设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行权利要求9至16中任一项所述的装置。
CN201910230137.9A 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质 Active CN110059075B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910230137.9A CN110059075B (zh) 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质
TW108134425A TWI754837B (zh) 2019-03-26 2019-09-24 資料庫遷移的方法、裝置、設備及電腦可讀媒體
EP20778746.6A EP3859549B1 (en) 2019-03-26 2020-02-13 Database migration method, apparatus, and device, and computer readable medium
PCT/CN2020/075015 WO2020192290A1 (zh) 2019-03-26 2020-02-13 一种数据库迁移的方法、装置、设备及计算机可读介质
US17/243,391 US11308048B2 (en) 2019-03-26 2021-04-28 Database migration method, apparatus, device, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910230137.9A CN110059075B (zh) 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN110059075A CN110059075A (zh) 2019-07-26
CN110059075B true CN110059075B (zh) 2020-07-28

Family

ID=67315944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910230137.9A Active CN110059075B (zh) 2019-03-26 2019-03-26 一种数据库迁移的方法、装置、设备及计算机可读介质

Country Status (5)

Country Link
US (1) US11308048B2 (zh)
EP (1) EP3859549B1 (zh)
CN (1) CN110059075B (zh)
TW (1) TWI754837B (zh)
WO (1) WO2020192290A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059075B (zh) * 2019-03-26 2020-07-28 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339388A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 数据库弹性调度方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856193B2 (en) * 2011-12-20 2014-10-07 Sap Se Merge monitor for table delta partitions
US9152659B2 (en) * 2011-12-30 2015-10-06 Bmc Software, Inc. Systems and methods for migrating database data
US9477706B2 (en) * 2012-04-04 2016-10-25 Viavi Solutions Inc. System and method for storing and retrieving data
US9792321B2 (en) * 2013-07-09 2017-10-17 Oracle International Corporation Online database migration
US20160188710A1 (en) * 2014-12-29 2016-06-30 Wipro Limited METHOD AND SYSTEM FOR MIGRATING DATA TO NOT ONLY STRUCTURED QUERY LANGUAGE (NoSOL) DATABASE
CN104881443B (zh) * 2015-05-14 2018-11-27 新浪网技术(中国)有限公司 一种在数据库间迁移数据的方法和系统
CN106294387B (zh) * 2015-05-19 2020-06-02 深圳市腾讯计算机系统有限公司 数据迁移方法和装置
US10324914B2 (en) * 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
CN105138603A (zh) * 2015-08-07 2015-12-09 浪潮电子信息产业股份有限公司 一种从HPUX平台向KUX平台迁移的Oracle数据库迁移工具
CN106649335A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种数据处理方法及装置
JP2018060384A (ja) * 2016-10-06 2018-04-12 株式会社日立製作所 データ管理システムおよび方法
US10671642B2 (en) * 2016-11-11 2020-06-02 International Business Machines Corporation Copying data changes to a target database
US10776329B2 (en) * 2017-03-28 2020-09-15 Commvault Systems, Inc. Migration of a database management system to cloud storage
CN108932282B (zh) * 2018-05-18 2023-04-18 腾讯科技(深圳)有限公司 一种数据库迁移方法、装置和存储介质
CN109063091B (zh) * 2018-07-26 2021-06-15 成都大学 混合编码的数据迁移方法、数据迁移装置和存储介质
CN110059075B (zh) * 2019-03-26 2020-07-28 阿里巴巴集团控股有限公司 一种数据库迁移的方法、装置、设备及计算机可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339388A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 数据库弹性调度方法及装置

Also Published As

Publication number Publication date
TWI754837B (zh) 2022-02-11
EP3859549A1 (en) 2021-08-04
EP3859549A4 (en) 2021-12-29
WO2020192290A1 (zh) 2020-10-01
US20210248117A1 (en) 2021-08-12
CN110059075A (zh) 2019-07-26
US11308048B2 (en) 2022-04-19
TW202036326A (zh) 2020-10-01
EP3859549B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
CN110287197B (zh) 一种数据存储方法、迁移方法及装置
CN106326239B (zh) 分布式文件系统及其文件元信息管理方法
CN113961145B (zh) 数据迁移方法及装置
CN106897342B (zh) 一种数据校验方法和设备
CN109857516B (zh) 基于容器的集群迁移方法及装置
CN109033365B (zh) 一种数据处理方法及相关设备
CN111756803A (zh) 一种基于区块链技术的服务器端推送方法及设备、介质
CN110764930B (zh) 基于消息模式的请求或应答处理方法及装置
CN110059075B (zh) 一种数据库迁移的方法、装置、设备及计算机可读介质
CN111245897A (zh) 数据处理方法、装置、系统、存储介质及处理器
CN110990378A (zh) 一种基于区块链的数据一致性对比方法及设备、介质
CN110298031B (zh) 一种词典服务系统及模型版本一致性配送方法
CN116594734A (zh) 容器迁移方法、装置、存储介质及电子设备
CN111125087A (zh) 数据的存储方法及装置
CN107291439B (zh) 一种目标增量数据构建方法及装置
CN115495432A (zh) 支持多实例的方法、装置及设备
CN115455121A (zh) 一种实时可靠的数据同步传输方法、设备及介质
CN115080309A (zh) 数据备份系统、方法、存储介质以及电子设备
CN114896326A (zh) 将大数据量的文本文件导入数据库的方法及装置
CN111625397B (zh) 业务日志备份方法、集群、装置、电子设备及存储介质
CN110968888B (zh) 一种数据处理方法及装置
CN110968599B (zh) 一种基于Impala的查询方法和装置
CN111241068B (zh) 信息处理方法、装置及设备、计算机可读存储介质
CN112148740B (zh) 数据传输方法、装置、存储介质及电子装置
CN116302356A (zh) 容器的部署方法、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200929

Address after: 27 Hospital Road, George Town, Grand Cayman ky1-9008

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: 27 Hospital Road, George Town, Grand Cayman ky1-9008

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200929

Address after: 27 Hospital Road, George Town, Grand Cayman ky1-9008

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210129

Address after: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Ant financial (Hangzhou) Network Technology Co.,Ltd.

Address before: 27 Hospital Road, George Town, Grand Cayman ky1-9008

Patentee before: Innovative advanced technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210908

Address after: 100020 unit 02, 901, floor 9, unit 1, building 1, No.1, East Third Ring Middle Road, Chaoyang District, Beijing

Patentee after: Beijing Aoxing Beisi Technology Co.,Ltd.

Address before: 801-10, Section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province 310000

Patentee before: Ant financial (Hangzhou) Network Technology Co.,Ltd.

TR01 Transfer of patent right