CN107832461B - 一种数据迁移方法及系统 - Google Patents
一种数据迁移方法及系统 Download PDFInfo
- Publication number
- CN107832461B CN107832461B CN201711213823.2A CN201711213823A CN107832461B CN 107832461 B CN107832461 B CN 107832461B CN 201711213823 A CN201711213823 A CN 201711213823A CN 107832461 B CN107832461 B CN 107832461B
- Authority
- CN
- China
- Prior art keywords
- migration
- data
- data migration
- determining
- flow direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Abstract
本申请提供了一种数据迁移方法及系统，根据目标数据迁移方案确定数据迁移过程中的数据流向；根据数据迁移过程中的数据流向绘制数据传递依赖关系图；依据所述数据传递依赖关系图制定数据迁移调度指令计划；根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。将错综复杂的系统间数据传递依赖关系具体化、图形化，进而制定完善的数据迁移调度指令计划，按照计划执行数据迁移，提高了数据迁移效率。
Description
技术领域
本发明涉及计算机系统及存储技术领域，更具体的，涉及一种数据迁移方法及系统。
背景技术
常见的数据迁移发生在旧系统消亡，新系统建立的项目中。其中，现有的数据迁移形式包括以下几种：
(1)1:1数据迁移：单个系统迁出及单个系统迁入、迁出系统消亡的数据迁移。
(2)N:1数据迁移：多个系统迁出及单个系统迁入、迁出系统消亡的数据迁移。
(3)1:N数据迁移：单个系统迁出，多个系统迁入、迁出系统消亡的数据迁移。这种数据迁移场景最为少见。
(4)N:M(N，M>1)数据迁移:多系统迁出及多系统迁入，并且部分迁出系统同时也是迁入系统、迁出系统均不消亡的数据迁移。
对于1:1数据迁移、N:1数据迁移或者1:N数据迁移的情况，数据从一个或多个旧系统迁往一个新系统，数据流向的情况单一，可以较为容易地组织起来。而对于多个系统迁出、多个系统迁入，并且部分迁出系统同时也是迁入系统，迁出系统均不消亡的数据迁移，其数据流向复杂、系统间数据传递依赖关系复杂，组织起来相当困难。
发明内容
有鉴于此，本发明提供了一种数据迁移方法及系统，根据迁移方案梳理数据流向及系统间数据传递依赖关系，进而制定数据迁移调度指令计划；按照计划执行数据迁移，提高了数据迁移效率。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种数据迁移方法，包括：
根据目标数据迁移方案确定数据迁移过程中的数据流向；
根据数据迁移过程中的数据流向绘制数据传递依赖关系图；
依据所述数据传递依赖关系图制定数据迁移调度指令计划；
根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
优选的，所述根据目标数据迁移方案确定数据迁移过程中的数据流向，包括：
根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
优选的，所述根据数据迁移过程中的数据流向绘制数据传递依赖关系图，包括：
获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；
根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容。
优选的，所述依据所述数据传递依赖关系图制定数据迁移调度指令计划，包括：
根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；
为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；
根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划。
一种数据迁移系统，包括：
确定单元，用于根据目标数据迁移方案确定数据迁移过程中的数据流向；
绘制单元，用于根据数据迁移过程中的数据流向绘制数据传递依赖关系图；
制定单元，用于依据所述数据传递依赖关系图制定数据迁移调度指令计划；
执行单元，用于根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
优选的，所述确定单元包括：
第一确定子单元，用于根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
第二确定子单元，用于根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
第三确定子单元，用于依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
优选的，所述绘制单元包括：
获取子单元，用于获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；
绘制子单元，用于根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容。
优选的，所述制定单元包括：
分解子单元，用于根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；
设置子单元，用于为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；
生成子单元，用于根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划。
相对于现有技术，本发明的有益效果如下：
本发明提供了一种数据迁移方法及系统，根据目标数据迁移方案确定数据迁移过程中的数据流向；根据数据迁移过程中的数据流向绘制数据传递依赖关系图；依据所述数据传递依赖关系图制定数据迁移调度指令计划；根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。将错综复杂的系统间数据传递依赖关系具体化、图形化，进而制定完善的数据迁移调度指令计划，按照计划执行数据迁移，提高了数据迁移效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据迁移方法流程图；
图2为本发明实施例公开的一种数据迁移系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本实施例公开的一种数据迁移方法流程图，所述方法具体包括以下步骤：
S101：根据目标数据迁移方案确定数据迁移过程中的数据流向；
具体的，根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
需要说明的是，本实施例可以应用于1:1数据迁移、N:1数据迁移、1:N数据迁移和N:M(N，M>1)数据迁移。
目标迁移方案中的迁出系统至少为一个，一个迁出系统对应至少一个迁入系统，需要说明的是，一个迁入系统也可以对应至少一个迁出系统。迁移数据从迁出系统流入迁入系统。
迁移数据内容包括全量下传数据、补录数据、批量下传数据和新旧对照数据等类型。
S102：根据数据迁移过程中的数据流向绘制数据传递依赖关系图；
具体的，获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；
根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容。
需要说明的是，系统标识唯一表示一个系统。
还需要说明的是，两个系统之间可能有回路，即迁出系统又是迁入系统，迁入系统又是迁出系统，这种情况下，需要根据目标数据迁移方案确定数据传递依赖关系。
S103：依据所述数据传递依赖关系图制定数据迁移调度指令计划；
具体的，根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；
为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；
根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划。
需要说明的是，数据迁移时间区间表示相应数据迁移任务所需时间，同时表示相应数据迁移任务的开始执行时间和执行结束时间。
数据迁移任务的至少一个迁出系统、与迁出系统对应的至少一个迁入系统组成相应数据迁移任务的执行环境。优选的，执行环境中还可以划分为迁移中间环境和目标环境，迁移中间环境用于加载和处理迁出系统迁出的数据，完成迁出数据的数据结构转换，之后统一导入目标环境，与迁入系统原有的存量数据汇总。
S104：根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
具体的，根据所述数据迁移调度指令计划中的每个数据迁移指令，执行相应的各个数据迁移任务。
可以理解的是，各个数据迁移指令对应的数据迁移时间区间可以不同也可以相同，因此，数据迁移可以依次执行，也可以并行执行。
根据每个数据迁移指令，各个数据迁移任务可以有序执行。
本实施例公开了一种数据迁移方法，根据目标数据迁移方案确定数据迁移过程中的数据流向；根据数据迁移过程中的数据流向绘制数据传递依赖关系图；依据所述数据传递依赖关系图制定数据迁移调度指令计划；根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。将错综复杂的系统间数据传递依赖关系具体化、图形化，进而制定完善的数据迁移调度指令计划，按照计划执行数据迁移，提高了数据迁移效率。
基于上述实施例公开的一种数据迁移方法，请参阅图2，本实施例对应公开了一种数据迁移系统，包括：
确定单元201，用于根据目标数据迁移方案确定数据迁移过程中的数据流向；
绘制单元202，用于根据数据迁移过程中的数据流向绘制数据传递依赖关系图；
制定单元203，用于依据所述数据传递依赖关系图制定数据迁移调度指令计划；
执行单元204，用于根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
优选的，所述确定单元201包括：
第一确定子单元，用于根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
第二确定子单元，用于根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
第三确定子单元，用于依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
优选的，所述绘制单元202包括：
获取子单元，用于获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；
绘制子单元，用于根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容。
优选的，所述制定单元203包括：
分解子单元，用于根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；
设置子单元，用于为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；
生成子单元，用于根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划。
本实施例公开了一种数据迁移系统，根据目标数据迁移方案确定数据迁移过程中的数据流向；根据数据迁移过程中的数据流向绘制数据传递依赖关系图；依据所述数据传递依赖关系图制定数据迁移调度指令计划；根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。将错综复杂的系统间数据传递依赖关系具体化、图形化，进而制定完善的数据迁移调度指令计划，按照计划执行数据迁移，提高了数据迁移效率。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.一种数据迁移方法，其特征在于，包括：
根据目标数据迁移方案确定数据迁移过程中的数据流向；
根据数据迁移过程中的数据流向绘制数据传递依赖关系图，包括：获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容；所述迁移数据内容包括全量下传数据、补录数据、批量下传数据和新旧对照数据；
依据所述数据传递依赖关系图制定数据迁移调度指令计划，包括：根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划；
根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
2.根据权利要求1所述的方法，其特征在于，所述根据目标数据迁移方案确定数据迁移过程中的数据流向，包括：
根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
3.一种数据迁移系统，其特征在于，包括：
确定单元，用于根据目标数据迁移方案确定数据迁移过程中的数据流向；
绘制单元，用于根据数据迁移过程中的数据流向绘制数据传递依赖关系图；
所述绘制单元包括：
获取子单元，用于获取数据迁移过程中的数据流向中的每个迁出系统标识和每个迁出系统对应的每个迁入系统标识；
绘制子单元，用于根据每个迁出系统标识和每个迁出系统对应的每个迁入系统标识，以及每个迁出系统与对应的每个迁入系统之间的迁移数据内容绘制数据传递依赖关系图，其中，以箭头的方向表示数据流向，箭头上标明迁移数据内容；所述迁移数据内容包括全量下传数据、补录数据、批量下传数据和新旧对照数据；
制定单元，用于依据所述数据传递依赖关系图制定数据迁移调度指令计划；
所述制定单元包括：
分解子单元，用于根据所述数据传递依赖关系图，将数据迁移过程分解为多个数据迁移任务；
设置子单元，用于为每个数据迁移任务设置数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统；
生成子单元，用于根据每个数据迁移任务对应的数据迁移时间区间、迁移数据内容、至少一个迁出系统、与迁出系统对应的至少一个迁入系统，生成相应的数据迁移指令，得到数据迁移调度指令计划；
执行单元，用于根据所述数据迁移调度指令计划中的数据迁移指令，执行数据迁移。
4.根据权利要求3所述的系统，其特征在于，所述确定单元包括：
第一确定子单元，用于根据所述目标数据迁移方案确定至少一个迁出系统和每个迁出系统对应的至少一个迁入系统；
第二确定子单元，用于根据所述目标数据迁移方案中数据迁移需求，确定每个迁出系统与对应的每个迁入系统之间的迁移数据内容；
第三确定子单元，用于依据每个迁出系统与对应的每个迁入系统之间的迁移数据内容确定数据迁移过程中的数据流向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213823.2A CN107832461B (zh) | 2017-11-28 | 2017-11-28 | 一种数据迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213823.2A CN107832461B (zh) | 2017-11-28 | 2017-11-28 | 一种数据迁移方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107832461A CN107832461A (zh) | 2018-03-23 |
| CN107832461B true CN107832461B (zh) | 2021-11-23 |
Family
ID=61646013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711213823.2A Active CN107832461B (zh) | 2017-11-28 | 2017-11-28 | 一种数据迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107832461B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669981A (zh) * | 2018-12-21 | 2019-04-23 | 成都四方伟业软件股份有限公司 | 数据关系管理方法、装置、数据关系获取方法及存储介质 |
| CN113032385B (zh) * | 2021-05-31 | 2021-09-07 | 北京江融信科技有限公司 | 一种易扩展可配置化的数据备份系统及方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7343467B2 (en) * | 2004-12-20 | 2008-03-11 | Emc Corporation | Method to perform parallel data migration in a clustered storage environment |
| CN101170454B (zh) * | 2006-10-27 | 2010-05-12 | 亿阳信通股份有限公司 | 一种监控数据采集汇总状态的方法和系统 |
| CN101986267A (zh) * | 2010-11-04 | 2011-03-16 | 武汉大学 | 一种基于依赖关系约简的需求优先级排序方法及系统 |
| CN103164261B (zh) * | 2011-12-15 | 2016-04-27 | 中国移动通信集团公司 | 多中心数据任务处理方法、装置及系统 |
| US9122527B2 (en) * | 2012-08-21 | 2015-09-01 | International Business Machines Corporation | Resource allocation for migration within a multi-tiered system |
| CN103856548B (zh) * | 2012-12-07 | 2017-11-03 | 华为技术有限公司 | 动态资源调度方法和动态资源调度器 |
| US9514164B1 (en) * | 2013-12-27 | 2016-12-06 | Accenture Global Services Limited | Selectively migrating data between databases based on dependencies of database entities |
| CN105589874B (zh) * | 2014-10-22 | 2019-03-15 | 阿里巴巴集团控股有限公司 | Etl任务依赖关系的检测方法、装置及etl工具 |
| CN104504012A (zh) * | 2014-12-10 | 2015-04-08 | 华南师范大学 | 一种基于逆拓扑的数据库数据迁移方法 |
| CN106034080A (zh) * | 2015-03-10 | 2016-10-19 | 中兴通讯股份有限公司 | 分布式系统中元数据的迁移方法及装置 |
| CN106777164B (zh) * | 2016-12-20 | 2020-07-10 | 东软集团股份有限公司 | 一种数据迁移集群及数据迁移方法 |
| CN106844510B (zh) * | 2016-12-28 | 2021-01-15 | 北京五八信息技术有限公司 | 一种分布式数据库集群的数据迁移方法和装置 |
-
2017
- 2017-11-28 CN CN201711213823.2A patent/CN107832461B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107832461A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017409830B2 (en) | Multi-task scheduling method and system, application server and computer-readable storage medium | |
| CN108959292B (zh) | 一种数据上传方法、系统和计算机可读存储介质 | |
| US20150082314A1 (en) | Task placement device, task placement method and computer program | |
| CN107689982B (zh) | 多数据源数据同步方法、应用服务器及计算机可读存储介质 | |
| MY155867A (en) | Scheduling collections in a scheduler | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| US20140156849A1 (en) | Map-reduce workflow processing apparatus and method, and storage media storing the same | |
| CN110569252B (zh) | 一种数据处理系统及方法 | |
| CN107341054B (zh) | 任务执行方法、装置及计算机可读存储介质 | |
| CN107832461B (zh) | 一种数据迁移方法及系统 | |
| Liu | Single machine scheduling to minimize maximum lateness subject to release dates and precedence constraints | |
| CN103440136A (zh) | 分布式编译的方法及系统 | |
| CN112748993A (zh) | 任务执行方法、装置、存储介质及电子设备 | |
| CN111158887A (zh) | 一种集中式数据分布式处理方法及装置 | |
| CN113220431A (zh) | 跨云的分布式数据任务调度方法、设备及存储介质 | |
| CN109165210A (zh) | 一种集群Hbase数据迁移的方法及装置 | |
| CN110532559B (zh) | 规则的处理方法及装置 | |
| CN109871270B (zh) | 调度方案生成方法及装置 | |
| CN111158800A (zh) | 基于映射关系构建任务dag的方法及装置 | |
| Hfaiedh et al. | A branch-and-bound method for the single-machine scheduling problem under a non-availability constraint for maximum delivery time minimization | |
| CN112559161A (zh) | 一种任务调度方法及系统 | |
| CN112463340A (zh) | 基于tensorflow的多任务弹性调度方法及系统 | |
| Li et al. | Jscloud: Toward remote execution of javascript code on handheld devices | |
| CN110297647B (zh) | 一种前端工程更新npm包的方法及终端 | |
| CN110990035B (zh) | 一种基于Git的链式软件升级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |