CN109684304B - 数据迁移方法及装置 - Google Patents
数据迁移方法及装置 Download PDFInfo
- Publication number
- CN109684304B CN109684304B CN201811527257.7A CN201811527257A CN109684304B CN 109684304 B CN109684304 B CN 109684304B CN 201811527257 A CN201811527257 A CN 201811527257A CN 109684304 B CN109684304 B CN 109684304B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- migration
- node
- migrating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 121
- 230000005012 migration Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 201000006681 severe congenital neutropenia Diseases 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 125000000858 thiocyanato group Chemical group *SC#N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据迁移方法及装置,涉及计算机领域,用于对源数据库中的数据进行迁移。该方法包括:将数据库中预设时间节点之前的数据划分为第一数据和第二数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点;将所述第一数据的增量数据迁移至目标数据库;在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;因此本申请提供的技术方案能够减少数据库服务器停机的时长,降低数据库服务器停机对业务的影响。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种数据迁移方法及装置。
背景技术
在服务器硬件更新换代、平台更替、拆库与合库、测试环境向生产迁移、或者生产向测试环境迁移、架构改造、数据库类型变更等应用场景中,需要将源数据库的数据迁移至目标数据库。在数据迁移过程中,需要对数据库所在服务器进行停机进行数据迁移,但是数据库服务器停机的时间越长,对依赖该数据库进行的业务造成的影响就越大。
发明内容
本申请实施例提供一种数据迁移方法及装置,能够在停机时间节点之前将第一数据迁移至目标数据库中。因此本申请提供的一种数据迁移方法及装置能够减少数据库服务器停机的时长,降低数据库服务器停机对业务的影响。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供了一种数据迁移方法,该方法包括:将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点;将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。
第二方面,本申请提供了一种数据迁移装置,该装置包括:处理模块,用于将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;所述处理模块,还用于在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点;所述处理模块,还用于将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;所述处理模块,还用于在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。
第三方面,本申请提供了一种数据迁移装置,该装置包括:处理器和存储器;其中,存储器用于存储一个或多个程序,该一个或多个程序包括计算机执行指令,当该数据迁移装置运行时,处理器执行该存储器存储的该计算机执行指令,以使该数据迁移装置执行上述第一方面及其任意一种实现方式所述的数据迁移方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行上述第一方面及其任意一种实现方式所述的数据迁移方法。
第五方面,本申请提供了一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述第一方面及其任意一种实现方式所述数据迁移方法。
本申请实施例提供的数据迁移方法,将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点;将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。本申请提供的一种数据迁移方法及装置能够在停机时间节点之前将第一数据和第一数据的增量数据迁移至目标数据库中。因此能够减少数据库服务器停机的时长,降低数据库服务器停机对业务的影响。
附图说明
图1为本申请实施例提供的一种数据迁移方法的流程图一;
图2为本申请实施例提供的一种数据迁移方法的流程图二;
图3为本申请实施例提供的一种数据迁移方法的流程图三;
图4为本申请实施例提供的一种数据迁移装置的结构示意图;
图5为本申请实施例提供的另一种数据迁移装置的结构示意图。
具体实施方式
下面将结合附图对本申请提供的数据迁移方法及装置进行详细的描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
以下,对本申请涉及的技术进行解释,以方便读者理解:
备份数据库:在本申请中可以通过Data Guard技术建立源数据库的备份数据库。Data Guard技术在源数据库和备份数据库之间通过日志备份来实现数据的备份。只需要在软件上对数据库进行设置,可以在对源数据库影响很小的情况下对其进行备份,备份完成的备份数据库与源数据库的内容保持同步,可以最大程度的保证备份数据的完整性。
快照数据库:快照数据库相当于数据库在某个时间节点的照片,快照数据库具有源数据库在这个时间节点之前的所有数据。快照数据库可以与数据库保持同步更新,但是将快照数据库恢复为数据库时只能恢复到数据库转换为快照数据库时的状态,后续的更新以日志的形式进行保存。在本申请中为了不影响源数据库的正常生产,所以将源数据库对应的备份数据库转化为快照数据库。在将备份数据库转换为快照数据库时会生成一个对应的系统变更标识(system change number,SCN),在对源数据库进行分批次分数据进行导入时,可以根据每个快照数据库的SCN进行数据之间的组合备份。备份数据库转换为快照数据库的过程通过一个软件指令即可实现。
数据泵:数据泵为一种数据导入与导出的工具。是原有的数据导入导出方式性能的2~6倍。并且使用数据泵进行数据导入和导出时不受数据类型,表类型的限制,是当前一种常用的数据导入导出技术。
VxFS文件系统:是一个共享文件系统,关联有负责存储的磁盘的逻辑单元号(logical unit number,LUN)。VxFS文件系统通过日志记录功能首先将文件写入到日志中,然后将文件写入到磁盘中。在进行数据迁移时,将数据迁移至VxFS文件系统之后,VxFS文件系统可以直接取消源服务器与磁盘的LUN的映射,秒级的将磁盘的LUN挂载到目标服务器中进行数据的导入。通过VxFS文件系统直接利用物理存储进行数据传输,而不需要通过网络传输。可以大大提高数据导出的效率,节省数据库的带宽。
Golden Gate技术:可以进行源数据库与目标数据库之间数据的实时导入。GoldenGate技术是一种基于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右),再将这些变化应用到目标数据库,实现源数据库与目标数据库备份。基于快照数据库导出的数据全部迁移至目标数据库后,在启动Golden Gate备份时,指定aftercsn参数为最后一次导入的快照数据库的SCN值,可以实现将最后一次导入的快照数据库之后的数据进行实时的备份,从而实现在不停机的情况下达到源数据库和目标数据库的备份。
本申请实施例提供了一种数据迁移方法。如图1所示,所述数据迁移方法可以由任意计算机设备执行。所述方法包括S101-S104。
S101、将数据库中预设时间节点之前的数据划分为第一数据和第二数据。
其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据。
具体为,当数据库需要进行数据迁移时,选定一个时间节点(该时间节点可以通过人工指定,例如将本周一上午十点作为进行数据迁移的预设时间节点),将该数据库中该时间节点之前的数据划分为第一数据和第二数据。
示例性的,在数据库中,数据以表结构存储在数据库中,假设所述数据库中共10张表,其中9张表的增量数据可以通过Golden Gate技术进行实时迁移。则将该9张表中的数据确定为第一数据。将剩余的一张表中的数据确定为第二数据。例如,所述第一数据可以为:表结构中存在主键或者唯一索引的数据。
S102、在停机时间节点之前,将所述第一数据迁移至目标数据库。
其中,所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点。
具体为,如图2所示,该步骤可以分为S201-S204。
S201、将所述第一数据备份到备份数据库中。
可选的,通过Data Guard技术建立源数据库的备份数据库。
在本申请的一种实现方式中,为避免备份数据库对源数据库造成影响并避免在后续数据迁移过程中因为存储环境不同而对数据迁移造成影响,将该备份数据库建立在目标服务器中,该目标服务器为建立目标数据库的服务器。
S202、将所述备份数据库转换为快照数据库。
具体为,将所述备份数据库转换为快照数据库是为了获得一个静止状态的数据库,快照数据库中的数据库可以维持在一个静止状态,在进行后续的数据迁移时,快照数据库中的数据不会发生变化。也就不会因为产生增量数据,而导致数据迁移的复杂度增加。
将备份数据库转换为快照数据库时,会生成一个对应的SCN,SCN包括该系统变更发生的时间。后续进行第一数据的增量数据的迁移时,从该SCN发生的时间点开始进行迁移;若需要对数据库进行多次迁移时,每一次迁移均在上一次迁移产生的SCN时间节点开始进行。
在本申请中通过首先对源数据库建立备份数据库,然后将备份数据库转化为快照数据库,可以在不影响源数据库中的业务的前提下生成快照数据库。备份数据库和快照数据库可以随时进行转换。将备份数据库转换为快照数据库时,快照数据库中包含备份数据库中的所有数据。
在本步骤的一种实现方式中,避免在后续数据迁移过程中因为存储环境不同而对数据迁移造成影响,将该快照数据库建立在目标服务器中。
S203、将所述快照数据库中的所述第一数据迁移至共享文件系统中。
可选的,采用数据泵技术将所述快照数据库中的数据导入共享文件系统中。示例性的,所述共享文件系统为VxFS文件系统。
S204、将所述共享文件系统中的所述第一数据迁移至所述目标数据库。
示例性的,将所述VxFS文件系统的关联磁盘的LUN直接挂载到目标服务器中,采用数据泵技术将所述快照数据库中的数据导入所述目标数据库中。
在本步骤的一种实现方式中,还可以判断所述目标服务器是否支持所述共享文件系统;若不支持,则将所述共享文件系统转换为所述目标服务器支持的目标共享文件系统。例如,在S203中将数据迁移至VxFS文件系统中,而目标服务器不支持VxFS文件系统。检测到目标服务器支持ext4文件系统,则可以将VxFS文件系统中的数据拷贝到ext4文件系统中,然后直接将ext4文件系统中存储该数据的LUN挂载到目标服务器中,然后采用数据泵技术将ext4文件系统中的数据迁移至目标数据库中。
该步骤S102通过上述技术方案将源数据库中预设时间节点之前存储的数据进行预迁移。可以在不影响源数据库生产的情况下,将源数据库中的大量数据预先迁移至目标数据库中。
S103、将所述第一数据的增量数据迁移至目标数据库。
其中,所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据。
示例性的,确定所述9张可以用Golden Gate技术进行实时迁移的数据表。在对所述第一数据进行迁移时,在所述预设时间节点之后对所述第一数据的增量数据采用GoldenGate技术进行实时迁移,直到源服务器停止运行。
S104、在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库。
其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。
示例性的,所述第二数据为不存在主键或者唯一索引的表,该第二数据无法通过Golden Gate技术进行实时迁移。因此,将所述第二数据及第二数据的增量数据通过停机迁移的方式进行数据迁移。
示例性的,在一次具体的数据迁移中,本申请提供的数据迁移方法可以实现为:将本周一上午十点确定为预设时间节点(该时间节点是一个人工定义的时间节点,可以为任意时间节点),源数据库中存在20T数据。该20T数据存储在1000张表中。若该1000张表中共有900张表具备主键或者唯一索引,则将该900张表中的数据定义为第一数据。对该900张表进行预迁移,具体为:建立源数据库的备份数据库,在本周一上午十点向该备份数据库发送指令,使该备份数据库转化为快照数据库。将快照数据库中的第一数据(即上述900张表中的数据)通过上述步骤201-204的方法迁移至目标数据库中。该900张表中均包含一个本周一上午十点的SCN。假设迁移第一数据的过程耗时5个小时,将这五个小时内该900张表中变更数据定义为第一数据的增量数据。通过Golden Gate技术将第一数据的增量数据迁移至目标数据库中。同时标记该第一数据的增量数据。第一数据的增量数据迁移完成之后,在合适的停机维护窗口,将源服务器停机,采用数据泵技术将所述第二数据和第二数据的增量数据迁移至目标服务器中。
本申请实施例提供的数据迁移方法,将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点;将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。本申请提供的一种数据迁移方法及装置能够在停机时间节点之前将第一数据和第一数据的增量数据迁移至目标数据库中。因此能够减少数据库服务器停机的时长,降低数据库服务器停机对业务的影响。
在本申请的一种实现方式中,还可以将源数据库中的第一数据分多次进行迁移。所述方法包括:
将所述备份数据库中的所述第一数据划分为n份数据;n为大于等于2的整数。该步骤之后,如图3所示,所述方法还包括S301-S304:
S301、将所述备份数据库转换为所述快照数据库。
S302、确定第m时间节点,并确定所述第m时间节点对应的第m份数据;其中1≤m≤n;m取整数。
S303、将所述快照数据库中所述第一数据的第m份数据迁移至共享文件系统中,并将所述快照数据库恢复为所述备份数据库。
S304、将所述共享文件系统中的所述第一数据的第m份数据迁移至所述目标数据库。
其中,在第一时间节点之后,第一数据的n份数据直接通过Golden Gate技术实时迁移至目标数据库中。
重复执行步骤S301-S304,直到所述第一数据中的n份数据全部迁移至所述目标数据库。
在该实现方式中,每导出一份数据均会进行一次备份数据库与快照数据库的转换,而每转换快照数据库均会生成一个对应的SCN,因此该n份数据中包含n个不同的SCN,将全部第一数据迁移至目标数据库之后,根据各份数据的SCN对该n份数据进行组合,形成与源数据库相同的目标数据库。
示例性的,以周一上午九点为第一时间节点,此时源数据库中包括100T第一数据,计划利用一周的工作时间对源数据库中的数据进行迁移,因此将该100T第一数据划分为5份20T第一数据。每个工作日将一份第一数据迁移至目标数据库。周一上午九点将源数据库的备份数据库转换为快照数据库;快照数据库中此时包含该100T第一数据,确定第一份20T数据,对该20T数据进行预迁移。将该20T数据迁移完成之后。将快照数据库转换为备份数据库,备份数据库继续备份源数据库中的数据。周二上午九点,将备份数据库转换为快照数据库。迁移第二份20T数据。迁移完成之后,将快照数据库转换为备份数据库。周三,周四,周五执行同样的步骤。直到该100T第一数据完全迁移完成。该第一数据还可以按表结构进行划分,例如第一数据中共包括1000张表,将该1000张表平均分为5份,每份200张表,每次迁移200张表的数据。直到第一数据迁移完毕。在第一时间节点之后,第一数据的五份数据对应的增量数据均通过Golden Gate技术实时迁移至目标数据库中。
通过该实现方式可以将第一数据分多次进行迁移,当数据量较大不能一次迁移完成时,该方法能够对数据库进行更加灵活的迁移。
在本申请的一种可实现方式中,在将第一数据正式迁移至目标数据库之前,还可以通过试迁移对正式迁移的过程进行优化。具体为:确定数据迁移参数;所述数据迁移参数通过多次试迁移确定;所述数据迁移参数包括:不同类型数据迁移的时间、目标服务器中存储空间的划分、不同类型数据迁移的顺序;根据所述数据迁移参数设置第一数据迁移参数;所述第一数据的迁移参数包括:所述第一数据中不同类型数据迁移的时间、目标服务器中存储空间的划分以及所述第一数据中不同类型数据迁移的顺序;根据所述第一数据迁移参数将所述第一数据迁移至目标数据库。通过多次试迁移,对正式迁移第一数据的参数进行调整优化,可以大大提高正式迁移时的迁移效率。
本申请实施例可以根据上述方法示例对数据迁移装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图4所示,本申请提供了一种数据迁移装置,用于执行前述数据迁移方法,所述装置包括:
所述装置包括:处理模块401,用于将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据。
所述处理模块401,还用于在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立所述源数据库的服务器停止运行以进行数据迁移的时间节点。
所述处理模块401,还用于将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据。
所述处理模块401,还用于在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据。
可选的,所述处理模块401,还用于:将所述第一数据备份到备份数据库中。
将所述备份数据库转换为快照数据库。将所述快照数据库中的所述第一数据迁移至共享文件系统中。将所述共享文件系统中的所述第一数据迁移至所述目标数据库。
可选的,所述处理模块401,还用于:在所述停机时间节点之前,采用Golden Gate技术将所述第一数据的增量数据实时迁移至目标数据库。
可选的,所述处理模块401,还用于:将所述备份数据库中的所述第一数据划分为n份数据;n为大于等于2的整数。之后,所述处理模块401,还用于:
S301、将所述备份数据库转换为所述快照数据库。
S302、确定第m时间节点,并确定所述第m时间节点对应的第m份数据;其中1≤m≤n;m取整数。
S303、将所述快照数据库中所述第一数据的第m份数据迁移至共享文件系统中,并将所述快照数据库恢复为所述备份数据库。
S304、将所述共享文件系统中的所述第一数据的第m份数据迁移至所述目标数据库。
重复执行步骤S301-S304,直到所述第一数据中的n份数据全部迁移至所述目标数据库。
可选的,所述处理模块401,还用于:确定数据迁移参数。所述数据迁移参数通过多次试迁移确定。所述数据迁移参数包括:不同类型数据迁移的时间、目标服务器中存储空间的划分、不同类型数据迁移的顺序。根据所述数据迁移参数设置第一数据迁移参数。所述第一数据的迁移参数包括:所述第一数据中不同类型数据迁移的时间、目标服务器中存储空间的划分以及所述第一数据中不同类型数据迁移的顺序。根据所述第一数据迁移参数将所述第一数据迁移至目标数据库。
可选的,所述处理模块401,还用于:判断所述目标数据库是否支持所述共享文件系统。若不支持,则将所述共享文件系统转换为所述目标服务器支持的目标共享文件系统。
可选的,所述处理模块401,还用于:将所述备份数据库、所述快照数据库和所述目标数据库建立在同一个服务器中。
图5示出了上述实施例中所涉及的数据迁移装置的又一种可能的结构示意图。该数据迁移装置包括:处理器502和通信接口503。处理器502用于对数据迁移装置的动作进行控制管理,例如,执行上述处理模块401执行的步骤,和/或用于执行本文所描述的技术的其它过程。通信接口503用于支持数据迁移装置与其他网络实体的通信。数据迁移装置还可以包括存储器501和总线504,存储器501用于存储数据迁移装置的程序代码和数据。
其中,存储器501可以是数据迁移装置中的存储器等,该存储器可以包括易失性存储器,例如随机存取存储器;该存储器也可以包括非易失性存储器,例如只读存储器,快闪存储器,硬盘或固态硬盘;该存储器还可以包括上述种类的存储器的组合。
上述处理器502可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线504可以是扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。总线504可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例所述的数据迁移方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行上述方法实施例所示的方法流程中的数据迁移方法。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit,ASIC)中。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种数据迁移方法,其特征在于,所述方法包括:
将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;
在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立源数据库的服务器停止运行以进行数据迁移的时间节点;
将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;
在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据;
所述将所述第一数据迁移至目标数据库;包括:
将所述第一数据备份到备份数据库中;
将所述备份数据库转换为快照数据库;
将所述快照数据库中的所述第一数据迁移至共享文件系统中;
将所述共享文件系统中的所述第一数据迁移至所述目标数据库。
2.根据权利要求1所述的数据迁移方法,其特征在于,所述将所述第一数据的增量数据迁移至目标数据库;包括:
在所述停机时间节点之前,采用Golden Gate技术将所述第一数据的增量数据实时迁移至目标数据库。
3.根据权利要求1所述的数据迁移方法,其特征在于,所述将所述第一数据备份到备份数据库之后,所述方法还包括:
将所述备份数据库中的所述第一数据划分为n份数据;n为大于等于2的整数;
S101、将所述备份数据库转换为所述快照数据库;
S102、确定第m时间节点,并确定所述第m时间节点对应的第m份数据;其中1≤m≤n;m取整数;
S103、将所述快照数据库中所述第一数据的第m份数据迁移至共享文件系统中,并将所述快照数据库恢复为所述备份数据库;
S104、将所述共享文件系统中的所述第一数据的第m份数据迁移至所述目标数据库;
重复执行步骤S101-S104,直到所述第一数据中的n份数据全部迁移至所述目标数据库。
4.根据权利要求3所述的数据迁移方法,其特征在于,所述将所述第一数据迁移至目标数据库包括:
设置第一数据迁移参数;所述第一数据的迁移参数包括:所述第一数据中不同类型数据迁移的时间、目标服务器中存储空间的划分以及所述第一数据中不同类型数据迁移的顺序;
根据所述第一数据迁移参数将所述第一数据迁移至目标数据库。
5.一种数据迁移装置,其特征在于,所述装置包括:
处理模块,用于将数据库中预设时间节点之前的数据划分为第一数据和第二数据;其中,所述第一数据为满足预设条件的数据;所述第二数据为所述预设时间节点之前所述数据库中除第一数据以外的数据;
所述处理模块,还用于在停机时间节点之前,将所述第一数据迁移至目标数据库;所述停机时间节点为使建立源数据库的服务器停止运行以进行数据迁移的时间节点;
所述处理模块,还用于将所述第一数据的增量数据迁移至目标数据库;所述第一数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第一数据对应的增量数据;
所述处理模块,还用于在所述停机时间节点之后,将所述第二数据和第二数据的增量数据迁移至目标数据库;其中,所述第二数据的增量数据为所述数据库中在所述预设时间节点和所述停机时间节点之间所述第二数据对应的增量数据;
所述处理模块,还用于:
将所述第一数据备份到备份数据库中;
将所述备份数据库转换为快照数据库;
将所述快照数据库中的所述第一数据迁移至共享文件系统中;
将所述共享文件系统中的所述第一数据迁移至所述目标数据库。
6.根据权利要求5所述的数据迁移装置,其特征在于,所述处理模块,还用于:
在所述停机时间节点之前,采用Golden Gate技术将所述第一数据的增量数据实时迁移至目标数据库。
7.根据权利要求5所述的数据迁移装置,其特征在于,所述处理模块,还用于:
将所述备份数据库中的所述第一数据划分为n份数据;n为大于等于2的整数;
S101、将所述备份数据库转换为所述快照数据库;
S102、确定第m时间节点,并确定所述第m时间节点对应的第m份数据;其中1≤m≤n;m取整数;
S103、将所述快照数据库中所述第一数据的第m份数据迁移至共享文件系统中,并将所述快照数据库恢复为所述备份数据库;
S104、将所述共享文件系统中的所述第一数据的第m份数据迁移至所述目标数据库;
重复执行步骤S101-S104,直到所述第一数据中的n份数据全部迁移至所述目标数据库。
8.一种数据迁移装置,其特征在于,所述数据迁移装置包括:处理器和存储器;其中,存储器用于存储一个或多个程序,该一个或多个程序包括计算机执行指令,当该数据迁移装置运行时,处理器执行该存储器存储的该计算机执行指令,以使该数据迁移装置执行权利要求1至4中任意之一所述的数据迁移方法。
9.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在计算机上运行时,使得计算机执行如权利要求1至4中任一项所述的数据迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811527257.7A CN109684304B (zh) | 2018-12-13 | 2018-12-13 | 数据迁移方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811527257.7A CN109684304B (zh) | 2018-12-13 | 2018-12-13 | 数据迁移方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684304A CN109684304A (zh) | 2019-04-26 |
CN109684304B true CN109684304B (zh) | 2020-12-15 |
Family
ID=66187651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811527257.7A Active CN109684304B (zh) | 2018-12-13 | 2018-12-13 | 数据迁移方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684304B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688370A (zh) * | 2019-10-12 | 2020-01-14 | 新奥(中国)燃气投资有限公司 | 一种数据迁移的方法及装置 |
CN111026334A (zh) * | 2019-12-10 | 2020-04-17 | 北京金山云网络技术有限公司 | 一种数据迁移方法、装置、电子设备及存储介质 |
CN111651426B (zh) * | 2020-04-30 | 2024-06-25 | 平安科技(深圳)有限公司 | 数据迁移方法、装置及计算机可读存储介质 |
CN111522798B (zh) * | 2020-06-18 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 数据同步方法、装置、设备及可读存储介质 |
CN114579534A (zh) * | 2020-11-18 | 2022-06-03 | 北京金山云网络技术有限公司 | 数据迁移方法、装置及电子设备 |
CN113239012B (zh) * | 2021-05-17 | 2023-02-03 | 挂号网(杭州)科技有限公司 | 一种数据库迁移方法、装置、电子设备和存储介质 |
CN113392067A (zh) * | 2021-06-11 | 2021-09-14 | 北京金山云网络技术有限公司 | 一种针对分布式数据库的数据处理方法、装置及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521397A (zh) * | 2011-12-23 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种数据传输方法 |
CN108763405A (zh) * | 2018-05-22 | 2018-11-06 | 深信服网络科技(深圳)有限公司 | 一种业务数据迁移方法、装置、系统及可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131682B2 (en) * | 2006-05-11 | 2012-03-06 | Hitachi, Ltd. | System and method for replacing contents addressable storage |
US9361326B2 (en) * | 2008-12-17 | 2016-06-07 | Sap Se | Selectable data migration |
CN103631633B (zh) * | 2012-08-20 | 2017-04-12 | 中国电信股份有限公司 | 虚拟机全系统在线迁移方法、装置与系统 |
CN103914458A (zh) * | 2012-12-29 | 2014-07-09 | 中国移动通信集团河北有限公司 | 一种海量数据迁移的方法及装置 |
CN105989006A (zh) * | 2015-01-27 | 2016-10-05 | 中芯国际集成电路制造(上海)有限公司 | 数据迁移方法和装置 |
CN105718570B (zh) * | 2016-01-20 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 用于数据库的数据迁移方法和装置 |
-
2018
- 2018-12-13 CN CN201811527257.7A patent/CN109684304B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521397A (zh) * | 2011-12-23 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种数据传输方法 |
CN108763405A (zh) * | 2018-05-22 | 2018-11-06 | 深信服网络科技(深圳)有限公司 | 一种业务数据迁移方法、装置、系统及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109684304A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684304B (zh) | 数据迁移方法及装置 | |
CN106970921B (zh) | 一种数据迁移方法及装置 | |
CN110209650A (zh) | 数据规整迁移方法、装置、计算机设备和存储介质 | |
US20160306799A1 (en) | Atomic incremental load for map-reduce systems on append-only file systems | |
KR100961739B1 (ko) | 가상화를 이용한 원격 복제의 일관성 유지방법 | |
US20170220628A1 (en) | Verifying data consistency | |
CN110750592B (zh) | 数据同步的方法、装置和终端设备 | |
US11200218B2 (en) | Providing consistent data masking using causal ordering | |
US10824641B1 (en) | Deterministic query-based replication | |
CN111124872A (zh) | 基于差异代码分析的分支检测方法、装置及存储介质 | |
CN116226271A (zh) | 数据同步方法、装置、电子设备和存储介质 | |
CN107153680B (zh) | 一种分布式内存数据库在线扩展节点的方法及系统 | |
CN103984621B (zh) | 日志分离方法和系统 | |
JP2022078972A (ja) | 変更データキャプチャログ履歴、またはcdcログ履歴を追跡する方法、及びコンピュータプログラム(変更データキャプチャログ履歴の追跡) | |
CN113535563A (zh) | 测试用例去重方法、装置、计算机设备及存储介质 | |
CN113326232A (zh) | 数据更新方法及装置 | |
CN115827028A (zh) | 系统的升级方法、装置、存储介质以及电子设备 | |
WO2019134238A1 (zh) | 辅助功能的执行方法、装置、存储介质及终端 | |
AU2021268828B2 (en) | Secure data replication in distributed data storage environments | |
CN114791884A (zh) | 测试环境的构建方法、装置、存储介质及电子设备 | |
CN115048372A (zh) | 多流数据的关联方法和关联装置 | |
CN111522832B (zh) | 一种大数据实时更新方法、系统、设备和存储介质 | |
US11200213B1 (en) | Dynamic aggregation of data from separate sources | |
JP2017091527A (ja) | データベースにおいてホットページを決定するための方法および装置 | |
CN115374218B (zh) | 一种异构数据库的数据同步方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |