CN108509556B - 数据迁移方法和装置、服务器、存储介质 - Google Patents

数据迁移方法和装置、服务器、存储介质 Download PDF

Info

Publication number
CN108509556B
CN108509556B CN201810240664.3A CN201810240664A CN108509556B CN 108509556 B CN108509556 B CN 108509556B CN 201810240664 A CN201810240664 A CN 201810240664A CN 108509556 B CN108509556 B CN 108509556B
Authority
CN
China
Prior art keywords
migration
tasks
task
data migration
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810240664.3A
Other languages
English (en)
Other versions
CN108509556A (zh
Inventor
尹淑彬
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN201810240664.3A priority Critical patent/CN108509556B/zh
Publication of CN108509556A publication Critical patent/CN108509556A/zh
Application granted granted Critical
Publication of CN108509556B publication Critical patent/CN108509556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据迁移方法和装置、服务器、存储介质,其中,该方法包括:获取目标源数据库中的迁移对象,并依据对象类型进行排序;根据迁移对象的数量,将排序之后的迁移对象按顺序划分为预设数量的迁移对象集;根据每个迁移对象集的对象信息,创建对应的数据迁移任务集;根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行数据迁移任务集。本发明实施例可以实现在保证数据迁移正确性的同时提高数据迁移效率的效果,提高用户的操作体验。

Description

数据迁移方法和装置、服务器、存储介质
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种数据迁移方法和装置、服务器、存储介质。
背景技术
随着数据库信息系统的广泛应用,从一个数据库中抽取所需的对象数据并将其迁移到另一数据库中已成为常见的数据库操作。
目前,数据迁移常见的两种方法如下:第一种方法包括:1)读取源数据库的对象信息;2)将读取的源数据库的数据转换成目标迁移数据库可以识别的类型或格式;3)在目标迁移数据库中执行对象创建和数据装载。第二种方法包括:1)读取所有迁移对象的信息,然后分析所有对象之间的依赖关系;2)根据依赖关系的顺序执行对象创建和数据装载。
然而,由于数据迁移过程中往往是多个对象数据同时进行迁移,如果每个对象均按上述第一种方法中的步骤依次执行,不仅迁移效率低,而且会由于缺乏对象分析丢失对象之间的依赖关系或导致对象和数据迁移失败。对于上述第二种方法,虽然能保证数据迁移的正确性,但这种方式需要在读取出源数据库中的所有迁移对象的信息之后,才执行对象的创建和数据的装载。而数据迁移过程中,读取所有迁移对象的信息,由于所需要查询的内容非常多,导致该操作比较耗时,并且,随着迁移对象的数量增加,读取信息的速度会越来越慢,从而导致后续的对象的创建和数据的装载长时间无法开始,这严重影响数据迁移的效率和用户的迁移体验。
发明内容
本发明实施例提供一种数据迁移方法和装置、服务器、存储介质,以实现保证数据迁移的正确性且提高数据迁移效率的效果。
第一方面,本发明实施例提供了一种数据迁移方法,该方法包括:
获取目标源数据库中的迁移对象,并依据对象类型进行排序;
根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
根据每个迁移对象集的对象信息,创建对应的数据迁移任务集;
根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
第二方面,本发明实施例还提供了一种装置,该装置包括:
迁移对象排序模块,用于获取目标源数据库中的迁移对象,并依据对象类型进行排序;
迁移对象集确定模块,用于根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
迁移任务集创建模块,用于根据每个迁移对象集的对象信息,创建对应的数据迁移任务集;
迁移任务集执行模块,用于根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
第三方面,本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的数据迁移方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的数据迁移方法。
本发明实施例通过对获取的目标源数据库中的迁移对象进行类型排序,并将排序之后的迁移对象按顺序划分为预设数量的迁移对象集,然后根据每个迁移对象集的对象信息,创建对应的数据迁移任务集,最后根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行数据迁移任务集,解决了现有的数据迁移方法不能同时保证数据迁移的正确性与数据迁移效率的问题,实现了在保证数据迁移正确性的同时提高数据迁移效率的效果,提高了用户的操作体验。
附图说明
图1是本发明实施例一提供的数据迁移方法的流程图;
图2是本发明实施例二提供的数据迁移方法的流程图;
图3是本发明实施例三提供的数据迁移装置的结构示意图;
图4是本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的数据迁移方法的流程图,本实施例可适用于数据迁移的情况,该方法可以由数据迁移装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在服务器中。如图1所示,该方法具体包括:
S110、获取目标源数据库中的迁移对象,并依据对象类型进行排序。
数据库对象,作为数据库的组成部分,包括序列、表、索引、视图、图表、缺省值、规则、触发器、用户和函数等类型。在数据迁移过程中,目标源数据库中的迁移对象可以包括数据库对象中的任意一种类型或多种类型,例如迁移对象的类型可以包括序列、表和视图。通常,数据库中不同类型的对象之间并不是相互孤立的,而是存在相互引用的依赖关系,因此在实现正确地数据迁移过程中,对象类型之间的依赖关系也需要加以考虑。
对获取的目标源数据库中的迁移对象,依据对象类型进行排序,将属于被引用的类型的对象排在引用类型的对象前面,可以保证不同类型的对象之间的依赖关系不被破坏,从对象类型的层面初步保证数据迁移的正确性。例如数据库的表中经常会用到序列的值作为默认值,将属于序列类型的对象排在属于表类型的对象前面,可以保证序列类型的对象和表类型的对象之间的依赖关系不被破坏。
S120、根据迁移对象的数量,将排序之后的迁移对象按顺序划分为预设数量的迁移对象集。
将目标源数据库中迁移对象按照类型排序之后的顺序,划分成预设数量的迁移对象集,便可以迁移对象集为单位批量地进行数据迁移,而并非将所有迁移对象进行一次性地迁移处理,这样可以缓解用户终端执行数据迁移程序的压力,提高程序执行效率。预设数量的迁移对象集可以根据用户迁移的对象总数量以及用户终端的系统资源配置情况进行设置。每一个迁移对象集中可以包括同一种类型的若干数量的对象,也可以包括不同类型的若干数量的对象。
S130、根据每个迁移对象集的对象信息,创建对应的数据迁移任务集。
从目标源数据库中读取迁移对象的对象信息,例如可以通过查询数据库字典信息来获取,其中,每个迁移对象均有对应的对象信息,例如,属于表类型的对象信息包括名称、行、列、主键、外键、索引和约束等,属于视图类型的对象信息包括视图的定义、视图数据和注释等,其他类型的对象信息还有序列的参数等。读取每个迁移对象的对象信息,该迁移对象与其他对象的依赖关系便同时确定。根据读取的对象信息,便可以创建迁移对象集对应的数据迁移任务集。由于每次均是以迁移对象集为单位读取一定的对象信息,在用户终端的系统资源配置较好的情况下,不会出现因为用户需要迁移的对象数量增加,导致每次读取对象信息的操作越来越慢,使得用户一直处于等待对象信息读取完成的状态,以及数据迁移任务持续无法开始的现象,解决了现有技术中大量对象迁移的初始阶段等待时间较长的问题。
可选的,数据迁移任务集中的任务类型包括目标迁移数据库中迁移对象的创建及数据装载和已存在对象及数据的删除。
数据迁移之前,需要创建数据迁移工具与目标源数据库和目标迁移数据库的连接。将目标源数据库中的对象迁移到目标迁移数据库中,根据对象信息在目标迁移数据库中创建对象,若待迁移对象已存在,可以选择删除这个对象的数据或者删除这个已存在对象并重新创建对象,然后进行数据装载。数据装载过程中,如果两个数据库的数据格式不同,则需要将源数据库中的数据转换成目标迁移数据库可以识别的数据类型或者格式。
S140、根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行数据迁移任务集。
每个迁移对象对应一个数据迁移任务,每一个对象的数据迁移任务又可以包括两个子任务:1)目标迁移数据库中迁移对象的创建及数据装载,2)目标迁移数据库中已存在对象及数据的删除。对于第二个子任务,只有当目标源数据库的迁移对象在目标迁移数据库中已经存在的情况下才有可能执行,此时,用户可以选择只删除已存在对象对应的数据,也可以将此已存在对象及数据一起删除,然后再执行第一个子任务,进行迁移对象的重新创建。根据各个数据迁移任务之间依赖关系,将数据迁移任务进行排序并按照顺序执行。例如,数据迁移任务集中包括关于表B1、表B2和表A的数据迁移任务,其中表B1和表B2的外键分别引用表A主键,则在目标迁移数据库中关于表A的对象创建及数据装载的子任务需要先执行完成,然后再执行关于表B1和表B2的对象创建及数据装载的子任务。其中,若表B1和表B2之间不存在依赖关系,则可以按照其在迁移对象集中的排序执行相应任务即可。
以类型排序之后的迁移对象集为单位进行对象信息的读取与任务创建,然后以数据迁移任务集为单位进行数据迁移集中各数据迁移任务的依赖关系分析,并顺序执行任务,既避免了迁移对象之间依赖关系的丢失,保证了数据迁移的正确性,又可以保证数据迁移的速度,给用户带来了满意的操作体验。
可选的,数据迁移任务集的创建和执行采用程序并发执行的方式。
数据迁移任务集的创建可以由任务创建(TaskGenerator)线程来执行,数据迁移任务集的执行可以由任务执行器来执行。示例性的,数据迁移的具体流程如下:
1)任务创建线程从目标源数据库中以迁移对象集为单位读取迁移对象的对象信息,并根据对象信息创建数据迁移任务集,然后把创建的数据迁移任务集中的任务以任务列表的形式存放入任务池中,如果任务池满,则任务创建线程阻塞等待,否则重复。当任务创建线程完成所有迁移对象对应迁移任务的创建,将预先设定的空标识放入任务池中,表示任务创建线程已结束。
2)任务分发(TaskDispatcher)线程从任务池中以数据迁移任务集为单位取出数据迁移任务,分析各数据迁移任务之间的依赖关系,然后分发给执行器执行,如果任务池为空,则任务分发线程阻塞等待,否则重复。当任务创建线程结束,且没有等待执行的任务,则任务分发线程等待执行器执行结束后退出,数据迁移任务执行结束。
通过程序的并发执行,可以提高数据迁移任务的创建、分发和执行的效率,进而提高整个数据迁移过程的效率,减少用户的操作等待时间。
本实施例的技术方案通过对获取的目标源数据库中的迁移对象进行类型排序,并将排序之后的迁移对象按顺序划分为预设数量的迁移对象集,然后以迁移对象集为单位批量读取对象信息,创建对应的数据迁移任务集,最后以数据迁移任务集为单位分析任务集中各任务之间的依赖关系,并按顺序执行数据迁移任务集,解决了现有的数据迁移方法不能同时保证数据迁移的正确性与数据迁移效率的问题,从迁移对象类型之间的依赖关系和各数据迁移任务之间依赖关系两个层面入手,避免了迁移对象之间依赖关系的丢失,实现了在保证数据迁移正确性的同时提高数据迁移效率的效果,减少了用户的操作等待时间,提高了用户的操作体验。
实施例二
图2是本发明实施例二提供的数据迁移方法的流程图,本实施例是在上述实施例的基础上进一步进行优化。如图2所示,该方法具体包括:
S210、获取目标源数据库中的迁移对象,按照对象类型进行分类。
对于目标源数据库中大量的迁移对象,在执行数据迁移之间,可以首先对迁移对象的类型信息进行统计,然后按照对象类型进行分类,增加对迁移对象管理的条理性。例如,用户需要迁移的目标源数据库对象中包括100个迁移对象,涉及序列、表和视图3种类型,便将此100个迁移对象归类到序列、表和视图3种类型中。
S220、根据对象类型之间的依赖关系,对分类的迁移对象进行类型排序。
迁移对象进行分类后,根据获取的对象统计信息,分析出迁移对象涉及的对象类型之间的依赖关系,按照对象类型进行排序。
S230、根据迁移对象的数量,将排序之后的迁移对象按顺序划分为预设数量的迁移对象集。
S240、根据每个迁移对象集的对象信息,创建对应的数据迁移任务集。
S250、分析每个数据迁移任务集中各任务之间的依赖关系,将数据迁移任务集中与其他任务不存在依赖关系的任务和/或存在依赖关系的任务放入当前执行队列,其中,将存在依赖关系的任务按照任务执行的先后顺序放入当前执行队列。
每个数据迁移任务集中包括若干数量的数据迁移任务,通过分析这些数据迁移任务之间的依赖关系,保证每次数据迁移过程中优先执行存在依赖关系的任务中需要在先执行的数据迁移任务和与其他数据迁移任务不存在依赖关系的任务,避免数据迁移任务之间依赖关系的丢失。其中,将存在依赖关系的任务按照任务执行的先后顺序放入当前执行队列中时,如果存在依赖关系的任务中在先执行的任务和在后执行的任务均可以在当前被执行,则将这些存在依赖关系的任务全部放入当前执行队列中;如果存在依赖关系的任务中在后执行的任务不能在当前被执行,则只将存在依赖关系的任务中在先执行的任务放入当前执行队列中。
S260、根据当前执行队列中任务的放入顺序,依次执行当前执行队列中的任务。
由于数据迁移任务集中的原始任务顺序是按照对象类型排序生成的,之前的排序并没有考虑各数据迁移任务之间的依赖关系,因此,需要将当前队列中的任务按照依赖关系重新进行执行顺序的排序,并按顺序执行,才可以保证数据迁移的正确。
在上述技术方案的基础上,可选的,在分析每个数据迁移任务集中各任务之间的依赖关系之后,该方法还包括:根据分析的结果,将数据迁移任务集中与其他任务存在依赖关系且无法放入当前执行队列中执行的任务放入等待队列,以便合并到当前执行队列之后的执行队列中。
对于数据迁移任务集中与其他任务存在依赖关系的任务,需要保证在在先执行的任务全部执行完成之后,在后执行的任务才可以开始执行。如果当前数据迁移任务集中没有完全包括存在依赖关系的任务中需要在先执行的任务,并且该需要在先执行的任务之前也没有被执行,这表明在后续的数据迁移任务集中还包括该需要在先执行的任务,则将存在依赖关系的任务中需要在后执行的任务放入等待队列中。直至所有的存在依赖关系的任务中在先执行的任务执行结束,在后执行的任务便可以合并到执行队列中被执行。
例如,表C同时引用表D和表E,当前数据迁移任务集中只包括了关于表C和表D的数据迁移任务,关于表E的数据迁移任务之前没有被执行,则关于表C的数据迁移任务会被放入等待队列中。直到下一次执行的数据迁移任务集中或等待队列中包括关于表E的数据迁移任务,在关于表E的数据迁移任务可以执行的情况下,将关于表C的数据迁移任务合并到下一次执行队列中,按照任务依赖关系顺序执行关于表C和表E的数据迁移任务。其中,关于表D的在目标迁移数据库中的对象创建及数据装载子任务可以在当前任务中执行。
可选的,在分析每个数据迁移任务集中各任务之间的依赖关系之后,该方法还包括:根据分析的结果,创建分析任务记录表,该分析任务记录表中的信息包括已分析的任务名称和已分析任务的执行状态,也可以包括与已分析的迁移对象存在依赖关系的迁移对象的信息。
该分析任务记录表用于在数据迁移任务执行过程中查找已分析的任务信息,判断与当前待执行的数据迁移任务集中的任务存在依赖关系的数据迁移任务是否已被分析或已被执行。继续以上述示例为例,等待队列中的关于表C的数据迁移任务已经被分析并记录在分析任务记录中,下次数据迁移任务合并后,关于表C和表E的数据迁移任务并不会重复分析,只需通过查看分析任务记录表中的表C相关信息即可。
以下以创建的数据迁移任务集存放入任务池中为例,对任务分发线程的执行过程进行示例性说明:
1)把等待队列的数据迁移任务与本次从任务池取出的数据迁移任务集合并到一起,作为本次要分发的数据迁移任务集合。
2)分析本次要分发的数据迁移任务中未曾分析的任务之间的依赖关系,分别找出删除拥有主键的表中数据的子任务,删除拥有外键的表中数据的子任务,向拥有主键的表装载数据的子任务以及向拥有外键的表装载数据的子任务。
3)若还有未处理的删除拥有主键的表A中数据的子任务Ra,根据数据库字典信息获取所有引用表A的主键作为外键的表;否则转操作7。
4)如果本次数据迁移任务中还包括删除表B中数据的子任务Rb,表B的外键引用表A的主键,子任务Ra与子任务Rb之前的依赖关系已经确定,且表B与表A不为同一张表,子任务Ra需要等待子任务Rb执行结束后才能开始执行。若引用表A的主键作为外键的表存在多个,则需要将所有引用表A的主键作为外键的表对应的删除表中数据的子任务Rb执行结束后再执行子任务Ra。
5)若操作4中所执行的所有删除表中数据的子任务Rb对应的表已经覆盖了操作3中提到的所有引用表A的主键作为外键的表,则返回操作3;否则从分析任务记录表中查找是否还存在引用表A的主键作为外键的表对应的删除表中数据的子任务,若查找到,则判断查找到的所有子任务对应的表与操作4中所执行的所有删除表中数据的子任务Rb对应的表的并集是否已经覆盖了操作3中提到的所有引用表A的主键作为外键的表,若是则返回操作3。
6)若还有引用表A的主键作为外键的表没有被分析处理,此时若任务创建线程任务线程没有结束,则将子任务Ra放入等待队列中,等待与下一批数据迁移任务一起执行,返回操作3。
7)若还有未处理的向拥有外键的表M装载数据的子任务Rm,根据数据库字典信息获取所有被表M的外键所引用的主键所在的表;否则转操作11。
8)如果本次数据迁移任务中还包括向表N装载数据的子任务Rn,表N的主键被表M的外键引用,子任务Rm与子任务Rn的依赖关系已经确定,且表M与表N不为同一张表,子任务Rm需要等待子任务Rn执行结束后才能开始执行,同时,若被表M的外键引用的表存在多个,则需要将所有的拥有主键且被表M引用作为外键的表对应的数据装载子任务Rn执行结束再执行子任务Rm。
9)若操作8中所执行的数据装载子任务Rn对应的表已经覆盖了操作7中提到的所有表M的外键所引用的主键所在的表,则返回操作7;否则从分析任务记录表中查找是否还存在拥有主键且被表M引用作为外键的表对应的数据装载子任务,若查找到,则判断查找到的所有子任务对应的表与操作8中所执行的数据装载子任务Rn对应的表的并集是否已经覆盖了操作7中提到的所有被表M的外键所引用的主键所在的表,若是则返回操作7。
10)若还有表M的外键所引用主键所在的表没有被分析处理,此时若任务创建线程没有结束,则将子任务Rm放入等待队列中,等待与下一批数据迁移任务一起执行,返回操作7。
11)遍历本次要分发的数据迁移任务,如果该任务已被放入等待队列,将其从本次要分发的数据迁移任务中删除;否则如果该任务存在与其有依赖关系的数据迁移任务,且所依赖的数据迁移任务在等待队列中,则将该任务也放入等待队列中,等待与下一批任务一起执行,并将其从本次要分发的数据迁移任务中删除;否则如果该任务存在与其有依赖关系的数据迁移任务,且依赖的任务未执行,则返回操作11继续本次遍历;否则如果该任务不存在与其有依赖关系的数据迁移任务或其所依赖的数据迁移任务已执行结束,提交该任务给执行器执行,将其从本次要分发的数据迁移任务中删除,并将此任务信息记录到分析任务记录表中。
本实施例的技术方案通过对获取的目标源数据库中的迁移对象进行分类以及类型排序,并将排序之后的迁移对象按顺序划分为预设数量的迁移对象集,然后以迁移对象集为单位批量读取对象信息,创建对应的数据迁移任务集,最后以数据迁移任务集为单位分析任务集中各任务之间的依赖关系,优先执行与其他任务不存在依赖关系的数据迁移任务和/或存在依赖关系的任务中需要在先执行的数据迁移任务,解决了现有的数据迁移方法不能同时保证数据迁移的正确性与数据迁移效率的问题,从迁移对象类型之间的依赖关系和各数据迁移任务之间依赖关系两个层面入手,避免了迁移对象之间依赖关系的丢失,实现了在保证数据迁移正确性的同时提高数据迁移效率的效果,提高了用户的操作体验。
实施例三
图3是本发明实施例三提供的数据迁移装置的结构示意图,本实施例可适用于数据迁移的情况。本发明实施例所提供的数据迁移装置可执行本发明任意实施例所提供的数据迁移方法,具备执行方法相应的功能模块和有益效果。如图3所示,该装置包括迁移对象排序模块310、迁移对象集确定模块320、迁移任务集创建模块330和迁移任务集执行模块340,其中:
迁移对象排序模块310,用于获取目标源数据库中的迁移对象,并依据对象类型进行排序。
可选的,迁移对象排序模块310包括类型分类单元和类型排序单元,其中:
类型分类单元,用于获取目标源数据库中的迁移对象,按照对象类型进行分类;
类型排序单元,用于根据对象类型之间的依赖关系,对分类的迁移对象进行类型排序。
迁移对象集确定模块320,用于根据迁移对象的数量,将排序之后的迁移对象按顺序划分为预设数量的迁移对象集。
迁移任务集创建模块330,用于根据每个迁移对象集的对象信息,创建对应的数据迁移任务集。
可选的,迁移任务集创建模块330,具体用于根据每个迁移对象集的对象信息,创建对应的数据迁移任务集,数据迁移任务集中的任务类型包括目标迁移数据库中迁移对象的创建及数据装载和已存在对象及数据的删除。
迁移任务集执行模块340,用于根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行数据迁移任务集。
可选的,迁移任务集执行模块340包括任务分析单元和任务顺序执行单元,其中:
任务分析单元,用于分析每个数据迁移任务集中各任务之间的依赖关系,将数据迁移任务集中与其他任务不存在依赖关系的任务和/或存在依赖关系的任务放入当前执行队列,其中,将存在依赖关系的任务按照任务执行的先后顺序放入当前执行队列;
任务顺序执行单元,用于根据当前执行队列中任务的放入顺序,依次执行当前执行队列中的任务。
可选的,迁移任务集执行模块340还包括:等待任务确定单元,用于根据分析的结果,将数据迁移任务集中与其他任务存在依赖关系且无法放入当前执行队列中执行的任务放入等待队列。
可选的,迁移任务集执行模块340还包括:分析任务记录表创建单元,用于根据分析的结果,创建分析任务记录表,其中分析任务记录表中的信息包括已分析的任务名称和已分析任务的执行状态。
可选的,迁移任务集创建模块330和迁移任务集执行模块340采用程序并发执行的方式实现迁移任务集的创建与执行。
本实施例的技术方案通过对获取的目标源数据库中的迁移对象进行类型排序,并将排序之后的迁移对象按顺序划分为预设数量的迁移对象集,然后以迁移对象集为单位批量读取对象信息,创建对应的数据迁移任务集,最后以数据迁移任务集为单位分析任务集中各任务之间的依赖关系,并按顺序执行数据迁移任务集,解决了现有的数据迁移方法不能同时保证数据迁移的正确性与数据迁移效率的问题,从迁移对象类型之间的依赖关系和各数据迁移任务之间依赖关系两个层面入手,避免了迁移对象之间依赖关系的丢失,实现了在保证数据迁移正确性的同时提高数据迁移效率的效果,提高了用户的操作体验。
实施例四
图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器412的框图。图4显示的服务器412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,服务器412以通用服务器的形式表现。服务器412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。服务器412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
服务器412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该服务器412交互的终端通信,和/或与使得该服务器412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide AreaNetwork,WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器420通过总线418与服务器412的其它模块通信。应当明白,尽管图中未示出,可以结合服务器412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据迁移方法,该方法包括:
获取目标源数据库中的迁移对象,并依据对象类型进行排序;
根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
根据每个迁移对象集的对象信息,创建对应的数据迁移任务集;
根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据迁移方法,该方法包括:
获取目标源数据库中的迁移对象,并依据对象类型进行排序;
根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
根据每个迁移对象集的对象信息,创建对应的数据迁移任务集;
根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据迁移方法,其特征在于,包括:
获取目标源数据库中的迁移对象,并依据对象类型进行排序,其中,依据对象类型进行排序的规则为属于被引用类型的对象排在属于引用类型的对象前面;
根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
以迁移对象集为单位批量读取对象信息,创建对应的数据迁移任务集;
根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
2.根据权利要求1所述的方法,其特征在于,所述获取目标源数据库中的迁移对象,并依据对象类型进行排序,包括:
获取目标源数据库中的迁移对象,按照对象类型进行分类;
根据对象类型之间的依赖关系,对所述分类的迁移对象进行类型排序。
3.根据权利要求1所述的方法,其特征在于,所述数据迁移任务集的创建和执行采用程序并发执行的方式。
4.根据权利要求1所述的方法,其特征在于,所述根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集,包括:
分析每个数据迁移任务集中各任务之间的依赖关系,将所述数据迁移任务集中与其他任务不存在依赖关系的任务和/或存在依赖关系的任务放入当前执行队列,其中,将所述存在依赖关系的任务按照任务执行的先后顺序放入所述当前执行队列;
根据所述当前执行队列中任务的放入顺序,依次执行所述当前执行队列中的任务。
5.根据权利要求4所述的方法,其特征在于,在分析每个数据迁移任务集中各任务之间的依赖关系之后,所述方法还包括:
根据所述分析的结果,将所述数据迁移任务集中与其他任务存在依赖关系且无法放入所述当前执行队列中执行的任务放入等待队列,以便合并到所述当前执行队列之后的执行队列中。
6.根据权利要求4所述的方法,其特征在于,在分析每个数据迁移任务集中各任务之间的依赖关系之后,所述方法还包括:
根据所述分析的结果,创建分析任务记录表,所述分析任务记录表中的信息包括已分析的任务名称和已分析任务的执行状态。
7.根据权利要求1~6中任一所述的方法,其特征在于,所述数据迁移任务集中的任务类型包括目标迁移数据库中迁移对象的创建及数据装载和已存在对象及数据的删除。
8.一种数据迁移装置,其特征在于,包括:
迁移对象排序模块,用于获取目标源数据库中的迁移对象,并依据对象类型进行排序,其中,依据对象类型进行排序的规则为属于被引用类型的对象排在属于引用类型的对象前面;
迁移对象集确定模块,用于根据所述迁移对象的数量,将所述排序之后的迁移对象按顺序划分为预设数量的迁移对象集;
迁移任务集创建模块,用于以迁移对象集为单位批量读取对象信息,创建对应的数据迁移任务集;
迁移任务集执行模块,用于根据每个数据迁移任务集中各任务之间的依赖关系,按顺序执行所述数据迁移任务集。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~7中任一所述的数据迁移方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~7中任一所述的数据迁移方法。
CN201810240664.3A 2018-03-22 2018-03-22 数据迁移方法和装置、服务器、存储介质 Active CN108509556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810240664.3A CN108509556B (zh) 2018-03-22 2018-03-22 数据迁移方法和装置、服务器、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810240664.3A CN108509556B (zh) 2018-03-22 2018-03-22 数据迁移方法和装置、服务器、存储介质

Publications (2)

Publication Number Publication Date
CN108509556A CN108509556A (zh) 2018-09-07
CN108509556B true CN108509556B (zh) 2021-03-23

Family

ID=63378091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810240664.3A Active CN108509556B (zh) 2018-03-22 2018-03-22 数据迁移方法和装置、服务器、存储介质

Country Status (1)

Country Link
CN (1) CN108509556B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061718B2 (en) * 2019-02-15 2021-07-13 International Business Machines Corporation Pattern-based artificial intelligence planner for computer environment migration
CN110225082B (zh) * 2019-04-30 2021-12-10 北京奇艺世纪科技有限公司 任务处理方法、装置、电子设备和计算机可读介质
CN110245125A (zh) * 2019-05-20 2019-09-17 中国平安人寿保险股份有限公司 数据迁移方法、装置、计算机设备和存储介质
CN111008188B (zh) * 2019-10-29 2023-08-15 平安科技(深圳)有限公司 数据迁移方法、装置、计算机设备和存储介质
CN113051245A (zh) * 2019-12-26 2021-06-29 云丁网络技术(北京)有限公司 用于迁移数据的方法、装置及系统
CN111143331B (zh) * 2019-12-30 2024-05-10 广州酷狗计算机科技有限公司 数据迁移方法、装置及计算机存储介质
CN111752928A (zh) * 2020-06-30 2020-10-09 武汉虹信技术服务有限责任公司 一种数据库对象迁移方法及系统
CN112035439B (zh) * 2020-09-01 2024-02-27 中国银行股份有限公司 数据迁移方法及装置、计算机设备及计算机可读存储介质
CN112579569A (zh) * 2020-12-15 2021-03-30 中国建设银行股份有限公司 一种数据迁移方法和装置
CN112817720A (zh) * 2021-01-30 2021-05-18 北京奇保信安科技有限公司 一种可视化工作流调度方法、装置及电子设备
CN114896196A (zh) * 2022-04-15 2022-08-12 中国航空工业集团公司沈阳飞机设计研究所 一种面向国产数据库的数据迁移方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782673A (zh) * 2010-02-26 2012-11-14 国际商业机器公司 用于对象迁移波的系统和方法
CN105808633A (zh) * 2016-01-08 2016-07-27 平安科技(深圳)有限公司 数据归档方法和系统
CN106502892A (zh) * 2016-10-20 2017-03-15 杭州电子科技大学 一种基于uml模型的测试用例优先排序方法
CN107220263A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 数据迁移的优化方法、评估方法及处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856548B (zh) * 2012-12-07 2017-11-03 华为技术有限公司 动态资源调度方法和动态资源调度器
US9747311B2 (en) * 2013-07-09 2017-08-29 Oracle International Corporation Solution to generate a scriptset for an automated database migration
CN105302536A (zh) * 2014-07-31 2016-02-03 国际商业机器公司 MapReduce应用的相关参数的配置方法和装置
KR101674924B1 (ko) * 2014-09-26 2016-11-22 삼성에스디에스 주식회사 데이터베이스 마이그레이션 방법 및 그 장치
CN105740411B (zh) * 2016-01-30 2018-11-13 武汉大学 一种基于SOA和WebService的数据迁移方法
US10432697B2 (en) * 2016-07-26 2019-10-01 Salesforce.Com, Inc. Method and system for re-deploying metadata and associated data from a source organization to a destination organization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782673A (zh) * 2010-02-26 2012-11-14 国际商业机器公司 用于对象迁移波的系统和方法
CN105808633A (zh) * 2016-01-08 2016-07-27 平安科技(深圳)有限公司 数据归档方法和系统
CN107220263A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 数据迁移的优化方法、评估方法及处理方法及装置
CN106502892A (zh) * 2016-10-20 2017-03-15 杭州电子科技大学 一种基于uml模型的测试用例优先排序方法

Also Published As

Publication number Publication date
CN108509556A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509556B (zh) 数据迁移方法和装置、服务器、存储介质
US20220391763A1 (en) Machine learning service
US20230126005A1 (en) Consistent filtering of machine learning data
CN109144695B (zh) 一种任务拓扑关系的处理方法、装置、设备和介质
US10713589B1 (en) Consistent sort-based record-level shuffling of machine learning data
US10366053B1 (en) Consistent randomized record-level splitting of machine learning data
US11100420B2 (en) Input processing for machine learning
US9304672B2 (en) Representation of an interactive document as a graph of entities
US20150379423A1 (en) Feature processing recipes for machine learning
CN109947804B (zh) 数据集合查询的优化方法、装置、服务器和存储介质
CN106354817B (zh) 一种日志的处理方法及装置
CN108460161B (zh) 分层抽样方法、装置和计算机设备
US20140067794A1 (en) Database grouping set query
CN110688111A (zh) 业务流程的配置方法、装置、服务器和存储介质
CN113419789A (zh) 数据模型脚本的生成方法和装置
US9213759B2 (en) System, apparatus, and method for executing a query including boolean and conditional expressions
CN110569315B (zh) 基于数据仓库的数据处理方法和装置
CN117235069A (zh) 索引创建方法、数据查询方法、装置、设备及存储介质
JP2004326480A (ja) 大量データの分散並列分析方法
CN110321435B (zh) 一种数据源划分方法、装置、设备和存储介质
WO2021072776A1 (zh) 数据合并方法、装置、电子设备及存储介质
CN109783480A (zh) 一种调度年报生成的方法及系统、电子设备、介质
JP3305782B2 (ja) ソフトウェア標準化方法およびソフトウェア生産物の解析方法
JP2019101829A (ja) ソフトウェア部品管理システム、計算機および方法
US20230214394A1 (en) Data search method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant