CN112035439B - 数据迁移方法及装置、计算机设备及计算机可读存储介质 - Google Patents
数据迁移方法及装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112035439B CN112035439B CN202010903461.5A CN202010903461A CN112035439B CN 112035439 B CN112035439 B CN 112035439B CN 202010903461 A CN202010903461 A CN 202010903461A CN 112035439 B CN112035439 B CN 112035439B
- Authority
- CN
- China
- Prior art keywords
- data
- source system
- data migration
- migration
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 349
- 238000013508 migration Methods 0.000 title claims abstract description 349
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据迁移方法及装置、计算机设备及计算机可读存储介质，该方法包括：接收源系统发送的数据单元；根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。鉴于本发明预先配置了源系统对应的数据迁移参数，具有适用于所有源系统的普适性，无需针对源系统开发特定的数据迁移系统，能够提高数据迁移的灵活性及效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及数据迁移方法及装置、计算机设备及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，现有的数据迁移工具一般内嵌在产品中，例如SQL Server的DTS。这种内嵌在产品中的数据迁移工具仅能适用于特定范围内的数据系统之间的数据迁移，或者特定数据类型或格式的数据系统之间的数据迁移，不具有适用于所有数据系统的普适性。
随着科学技术的发展，越来越多的数据系统之间需要进行数据迁移。如果采用上述数据迁移工具，很可能无法实现将源系统的数据迁移至目标系统的功能。另外，重新开发适用于当前源系统和目标系统之间的数据迁移工具，需要耗费大量的成本及时间，导致源系统和目标系统之间的数据迁移效率低。
由此可见，现有的数据迁移不仅存在不具普适性及灵活性差的问题，还存在数据迁移效率低的问题。
发明内容
本发明实施例提供一种数据迁移方法，用以提高数据迁移的灵活性及效率，同时具备普适性，该数据迁移方法包括：
接收源系统发送的数据单元；
根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；
根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移；
其中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，根据预先配置的源系统对应的数据迁移参数对数据单元进行数据迁移，包括：
根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程；
利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
本发明实施例还提供一种数据迁移装置，用以提高数据迁移的灵活性及效率，同时具备普适性，该数据迁移装置包括：
数据接收模块，用于接收源系统发送的数据单元；
参数确定模块，用于根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；
数据迁移模块，用于根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移；
其中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，数据迁移模块具体用于：
根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程；
利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据迁移方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据迁移方法的计算机程序。
本发明实施例中，通过接收源系统发送的数据单元，确定预先配置的源系统对应的数据迁移参数；进而根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。鉴于本发明实施例预先配置了源系统对应的数据迁移参数，具有适用于所有源系统的普适性，无需针对源系统开发特定的数据迁移系统，能够提高数据迁移的灵活性及效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的数据迁移方法的实现流程图；
图2为本发明实施例提供的数据迁移方法中步骤103的实现流程图；
图3为本发明实施例提供的数据迁移方法中步骤201的实现流程图；
图4为本发明实施例提供的数据迁移方法中步骤202的实现流程图；
图5为本发明实施例提供的数据迁移方法的另一实现流程图；
图6为本发明实施例提供的数据迁移方法的再一实现流程图；
图7为本发明实施例提供的数据迁移装置的功能模块图；
图8为本发明实施例提供的数据迁移装置中数据迁移模块703的结构框图；
图9为本发明实施例提供的数据迁移装置中参数确定单元801的结构框图；
图10为本发明实施例提供的数据迁移装置中数据迁移单元802的结构框图；
图11为本发明实施例提供的数据迁移装置的另一功能模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1示出了本发明实施例提供的数据迁移方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，数据迁移方法，其包括：
步骤101，接收源系统发送的数据单元；
步骤102，根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；
步骤103，根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。
在进行数据迁移时，首先接收源系统发送的数据单元。数据单元是指数据存储格式单位中存储的数据，系统间传递的原子化的业务数据。源系统发送的数据单元可以是一个或者少量的数据单元，也可以是由大量的数据单元组成的数据单元集合等。
在接收到源系统发送的数据单元后，可以获取源系统对应的数据迁移参数。其中，源系统对应的数据迁移参数为预先配置的，不同的源系统对应不同的数据迁移参数。该数据迁移参数反映了迁移数据单元时的属性，例如数据迁移方式，数据迁移流程或者数据装载程序等与数据迁移相关的(迁移)属性。
在确定该源系统对应的数据迁移参数后，基于该源系统对应的数据迁移参数，对源系统发送的数据单元进行迁移。
在本发明实施例中，通过接收源系统发送的数据单元，确定预先配置的源系统对应的数据迁移参数；进而根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。鉴于本发明实施例预先配置了源系统对应的数据迁移参数，具有适用于所有源系统的普适性，无需针对源系统开发特定的数据迁移系统，能够提高数据迁移的灵活性及效率。
图2示出了本发明实施例提供的数据迁移方法中步骤103的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程。为了提高数据迁移的效率，如图2所示，步骤103，根据预先配置的源系统对应的数据迁移参数对数据单元进行数据迁移，包括：
步骤201，根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程；
步骤202，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
在本发明实施例中，该数据迁移参数至少包括源系统对应的数据装载程序及数据装载方式，还可以包括数据单元对应的数据迁移流程(步骤)。本领域技术人员可以理解的是，数据迁移参数还可以包括除上述之外的其他数据迁移参数，例如数据单元类型要求等，本发明实施例对此不作特别的限制。
在确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，按照该源系统对应的数据装载程序及数据装载方式，及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
在本发明实施例中，根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移，能够提高数据迁移的效率。
在本发明的一实施例中，源系统至少包括Oracle数据系统、DB2数据系统及MySQL数据系统，数据装载程序至少包括封装splldr命令或sqlplus命令的数据装载程序、基于REXX语言或COBOL语言或JCL语言的数据装载程序，及基于Java语言的数据装载程序，源系统对应的数据装载程序，包括：
Oracle数据系统对应的封装splldr命令或sqlplus命令的数据装载程序；
DB2数据系统对应的基于REXX语言或COBOL语言或JCL语言的数据装载程序；
MySQL数据系统对应的基于Java语言的数据装载程序，源系统对应的数据装载程序。
具体的，在源系统为Oracle数据系统，调用封装splldr命令或sqlplus命令的数据装载程序。在源系统为DB2数据系统时，调用基于REXX语言或COBOL语言或JCL语言的数据装载程序，在源系统为MySQL数据系统时，调用基于Java语言的数据装载程序，源系统对应的数据装载程序。同时，可通过应用程序接口(API)实现不同源系统数据装载程序的调用。
其中，源系统对应的数据装载方式可包括文件装载、动态生成SQL装载，可实现全表装载导入、分区装载导入、增量装载导入等数据装载方式。例如，对于Oracle数据系统文件全量导入的数据装载方式，可通过数据装载程序动态生成CTL文件后进行数据单元的装载。另外，还可以支持全量数据逻辑单元的装载，单一数据逻辑单元的装载，及混合逻辑单元的装载，支持不同数据逻辑单元采用不同装载方式的混搭，可以预先进行配置等。
图3示出了本发明实施例提供的数据迁移方法中步骤201的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高确定数据迁移参数的全面性，如图3所示，步骤201，根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，包括：
步骤301，根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载程序；
步骤302，根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载方式；
步骤303，根据预先配置的源系统对应的数据迁移参数确定数据单元对应的数据迁移流程。
在本发明实施例中，预先配置了源系统对应的数据装载程序即数据装载方式，以及数据单元对应的数据迁移流程，在确定源系统对应的数据迁移参数时，分别确定源系统对应的数据装载程序、源系统对应的数据装载方式，以及数据单元对应的数据迁移流程。
在本发明实施例中，根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载程序，根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载方式，根据预先配置的源系统对应的数据迁移参数确定数据单元对应的数据迁移流程，能够提高确定数据迁移参数的全面性。
图4示出了本发明实施例提供的数据迁移方法中步骤202的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高数据迁移的效率，如图4所示，步骤202，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移，包括：
步骤401，按照数据单元对应的数据迁移流程将数据单元封装成迁移调度作业；
步骤402，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式执行迁移调度作业，以对数据单元进行数据迁移。
在接收到源系统发送的数据单元，以及确定源系统对应的数据迁移参数中数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程后，可以按照数据单元对应的数据迁移流程，将接收到的数据单元封装成迁移调度作业，进而调用源系统对应的数据装载程序，按照源系统对应的数据装载方式，执行该封装好的迁移调度作业，以对数据单元进行数据迁移。
在本发明实施例中，按照数据单元对应的数据迁移流程将数据单元封装成迁移调度作业，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式执行迁移调度作业，以对数据单元进行数据迁移，将数据单元对应的数据迁移流程将数据单元封装成迁移调度作业，以执行迁移调度作业的方式对数据单元进行数据迁移，能够进一步提高数据迁移的效率。
图5示出了本发明实施例提供的数据迁移方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，源系统为多个。为了提高数据迁移的横向可移植性，如图5所示，步骤101，接收源系统发送的数据单元，包括：
步骤501，分别接收多个源系统发送的数据单元；
步骤102，根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数，数据迁移参数反映迁移数据单元的属性，包括：
步骤502，根据接收到的数据单元分别确定预先配置的每个源系统对应的数据迁移参数，数据迁移参数反映迁移数据单元的属性；
步骤103，根据预先配置的源系统对应的数据迁移参数对数据单元进行数据迁移，包括：
步骤503，根据预先配置的每个源系统对应的数据迁移参数分别对每个源系统发送的数据单元进行数据迁移。
在进行数据迁移时可以分别接收不同源系统发送的数据单元。例如，接收源系统A发送的数据单元A、源系统B发送的数据单元B及源系统C发送的数据单元C等。进而基于接收到的数据单元A、数据单元B及数据单元C，分别确定源系统A的数据迁移参数、源系统B的数据迁移参数及源系统C的数据迁移参数。最后，分别基于源系统A的数据迁移参数对数据单元A进行数据迁移，基于源系统B的数据迁移参数对数据单元B进行数据迁移，以及基于源系统C的数据迁移参数对数据单元C进行数据迁移。
在本发明实施例中，分别接收多个源系统发送的数据单元，根据接收到的数据单元分别确定预先配置的每个源系统对应的数据迁移参数，根据预先配置的每个源系统对应的数据迁移参数分别对每个源系统发送的数据单元进行数据迁移，能够提高数据迁移的横向可移植性。
图6示出了本发明实施例提供的数据迁移方法的再一的再一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高数据迁移参数配置的灵活性，如图6所示，数据迁移方法，在上述方法步骤的基础上，还包括：
步骤601，根据接收到的配置指令配置源系统对应的数据迁移参数。
在配置源系统对应的数据迁移参数，具体可以在可视化界面接收到配置指令后，基于配置指令配置源系统对应的数据迁移参数。还可以基于修改指令修改配置好的源系统对应的数据迁移参数，例如增加或者删除一组源系统对应的数据迁移参数，或者修改源系统对应的数据迁移参数等。
另外，还可以在数据库中配置系统参数表，该系统参数表包括源系统、数据迁移参数及源系统与数据迁移参数的对应关系。在确定源系统对应的数据迁移参数时，基于源系统首先从数据库中获取预先配置的系统参数表，进而基于该系统参数表确定源系统对应的数据迁移参数，将系统参数表配置在数据库中，通过系统参数表确定源系统对应的数据迁移参数，能够提高确定数据迁移参数的效率。
据此，数据迁移方法，在上述方法步骤的基础上，还包括：
根据接收到的配置指令配置系统参数表；系统参数表包括源系统、数据迁移参数及源系统与数据迁移参数的对应关系。
在本发明实施例中，根据接收到的配置指令配置源系统对应的数据迁移参数，能够提高数据迁移参数配置的灵活性。
本发明实施例还提供一种数据迁移装置，如下面的实施例所述。由于这些装置解决问题的原理与数据迁移方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。
图7示出了本发明实施例提供的数据迁移装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
参考图7，所述数据迁移装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述数据迁移装置包括数据接收模块701、参数确定模块702及数据迁移模块703。
数据接收模块701，用于接收源系统发送的数据单元。
参数确定模块702，用于根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性。
数据迁移模块703，用于根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。
在本发明实施例中，数据接收模块701通过接收源系统发送的数据单元，参数确定模块702确定预先配置的源系统对应的数据迁移参数；进而数据迁移模块703根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。鉴于本发明实施例预先配置了源系统对应的数据迁移参数，具有适用于所有源系统的普适性，无需针对源系统开发特定的数据迁移系统，能够提高数据迁移的灵活性及效率。
图8示出了本发明实施例提供的数据迁移装置中数据迁移模块703的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程。为了提高数据迁移的效率，参考图8，所述数据迁移模块703所包含的各个单元用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述数据迁移模块703包括参数确定单元801及数据迁移单元802。
参数确定单元801，用于根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程。
数据迁移单元802，用于利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
在本发明实施例中，参数确定单元801根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，利用源系统对应的数据装载程序，数据迁移单元802按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移，能够提高数据迁移的效率。
在本发明的一实施例中，源系统至少包括Oracle数据系统、DB2数据系统及MySQL数据系统，数据装载程序至少包括封装splldr命令或sqlplus命令的数据装载程序、基于REXX语言或COBOL语言或JCL语言的数据装载程序，及基于Java语言的数据装载程序，源系统对应的数据装载程序，包括：
Oracle数据系统对应的封装splldr命令或sqlplus命令的数据装载程序；
DB2数据系统对应的基于REXX语言或COBOL语言或JCL语言的数据装载程序；
MySQL数据系统对应的基于Java语言的数据装载程序，源系统对应的数据装载程序。
图9示出了本发明实施例提供的数据迁移装置中参数确定单元801的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高确定数据迁移参数的全面性，参考图9，所述参数确定单元801所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述参数确定单元801包括装载程序确定子单元901、装载方式确定子单元902及迁移流程确定子单元903。
装载程序确定子单元901，用于根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载程序。
装载方式确定子单元902，用于根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载方式。
迁移流程确定子单元903，用于根据预先配置的源系统对应的数据迁移参数确定数据单元对应的数据迁移流程。
在本发明实施例中，装载程序确定子单元901根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载程序，装载方式确定子单元902根据预先配置的源系统对应的数据迁移参数确定源系统对应的数据装载方式，迁移流程确定子单元903根据预先配置的源系统对应的数据迁移参数确定数据单元对应的数据迁移流程，能够提高确定数据迁移参数的全面性。
图10示出了本发明实施例提供的数据迁移装置中数据迁移单元802的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了进一步提高数据迁移的效率，参考图10，所述数据迁移单元802所包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述数据迁移单元802包括封装子单元1001及数据迁移子单元1002。
封装子单元1001，用于按照数据单元对应的数据迁移流程将数据单元封装成迁移调度作业。
数据迁移子单元1002，用于利用源系统对应的数据装载程序，按照源系统对应的数据装载方式执行迁移调度作业，以对数据单元进行数据迁移。
在本发明实施例中，封装子单元1001按照数据单元对应的数据迁移流程将数据单元封装成迁移调度作业，数据迁移子单元1002利用源系统对应的数据装载程序，按照源系统对应的数据装载方式执行迁移调度作业，以对数据单元进行数据迁移，将数据单元对应的数据迁移流程将数据单元封装成迁移调度作业，以执行迁移调度作业的方式对数据单元进行数据迁移，能够进一步提高数据迁移的效率。
在本发明的一实施例中，为了提高数据迁移的横向可移植性，参考图7，所述数据迁移装置所包含的各个模块用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述数据迁移装置包括数据接收模块701、参数确定模块702及数据迁移模块703。
数据接收模块701，还用于分别接收多个源系统发送的数据单元。
参数确定模块702，还用于根据接收到的数据单元分别确定预先配置的每个源系统对应的数据迁移参数，数据迁移参数反映迁移数据单元的属性。
数据迁移模块703，还用于根据预先配置的每个源系统对应的数据迁移参数分别对每个源系统发送的数据单元进行数据迁移。
在本发明实施例中，数据接收模块701分别接收多个源系统发送的数据单元，参数确定模块702根据接收到的数据单元分别确定预先配置的每个源系统对应的数据迁移参数，数据迁移模块703根据预先配置的每个源系统对应的数据迁移参数分别对每个源系统发送的数据单元进行数据迁移，能够提高数据迁移的横向可移植性。
图11示出了本发明实施例提供的数据迁移装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高数据迁移参数配置的灵活性，参考图11，所述数据迁移装置所包含的各个单元用于执行图6对应实施例中的各个步骤，具体请参阅图6以及图6对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述模块/单元结构的基础上，所述数据迁移装置，还包括配置模块1101。
配置模块1101，用于根据接收到的配置指令配置源系统对应的数据迁移参数。
在本发明实施例中，配置模块1101根据接收到的配置指令配置源系统对应的数据迁移参数，能够提高数据迁移参数配置的灵活性。
据此，数据迁移装置，在上述模块结构的基础上，还包括：
系统参数表配置模块，用于根据接收到的配置指令配置系统参数表；系统参数表包括源系统、数据迁移参数及源系统与数据迁移参数的对应关系。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据迁移方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据迁移方法的计算机程序。
综上所述，本发明实施例中，通过接收源系统发送的数据单元，确定预先配置的源系统对应的数据迁移参数；进而根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移。鉴于本发明实施例预先配置了源系统对应的数据迁移参数，具有适用于所有源系统的普适性，无需针对源系统开发特定的数据迁移系统，能够提高数据迁移的灵活性及效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据迁移方法，其特征在于，包括：
接收源系统发送的数据单元；
根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；
根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移；
其中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，根据预先配置的源系统对应的数据迁移参数对数据单元进行数据迁移，包括：
根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程；
利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
2.如权利要求1所述的数据迁移方法，其特征在于，利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移，包括：
按照数据单元对应的数据迁移流程将数据单元封装成迁移调度作业；
利用源系统对应的数据装载程序，按照源系统对应的数据装载方式执行迁移调度作业，以对数据单元进行数据迁移。
3.如权利要求1所述的数据迁移方法，其特征在于，源系统为多个，接收源系统发送的数据单元，包括：
分别接收多个源系统发送的数据单元；
根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数，数据迁移参数反映迁移数据单元的属性；包括：
根据接收到的数据单元分别确定预先配置的每个源系统对应的数据迁移参数，数据迁移参数反映迁移数据单元的属性；
根据预先配置的源系统对应的数据迁移参数对数据单元进行数据迁移，包括：
根据预先配置的每个源系统对应的数据迁移参数分别对每个源系统发送的数据单元进行数据迁移。
4.如权利要求1所述的数据迁移方法，其特征在于，源系统至少包括Oracle数据系统、DB2数据系统及MySQL数据系统，数据装载程序至少包括封装splldr命令或sqlplus命令的数据装载程序、基于REXX语言或COBOL语言或JCL语言的数据装载程序，及基于Java语言的数据装载程序，源系统对应的数据装载程序，包括：
Oracle数据系统对应的封装splldr命令或sqlplus命令的数据装载程序；
DB2数据系统对应的基于REXX语言或COBOL语言或JCL语言的数据装载程序；
MySQL数据系统对应的基于Java语言的数据装载程序。
5.如权利要求1所述的数据迁移方法，其特征在于，还包括：
根据接收到的配置指令配置源系统对应的数据迁移参数。
6.一种数据迁移装置，其特征在于，包括：
数据接收模块，用于接收源系统发送的数据单元；
参数确定模块，用于根据接收到的数据单元确定预先配置的源系统对应的数据迁移参数；数据迁移参数反映迁移数据单元的属性；
数据迁移模块，用于根据预先配置的源系统对应的数据迁移参数对源系统发送的数据单元进行数据迁移；
其中，数据迁移参数包括源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程，数据迁移模块具体用于：
根据预先配置的源系统对应的数据迁移参数分别确定源系统对应的数据装载程序及数据装载方式，以及数据单元对应的数据迁移流程；
利用源系统对应的数据装载程序，按照源系统对应的数据装载方式及数据单元对应的数据迁移流程，对数据单元进行数据迁移。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述数据迁移方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903461.5A CN112035439B (zh) | 2020-09-01 | 2020-09-01 | 数据迁移方法及装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903461.5A CN112035439B (zh) | 2020-09-01 | 2020-09-01 | 数据迁移方法及装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112035439A CN112035439A (zh) | 2020-12-04 |
| CN112035439B true CN112035439B (zh) | 2024-02-27 |
Family
ID=73590487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010903461.5A Active CN112035439B (zh) | 2020-09-01 | 2020-09-01 | 数据迁移方法及装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035439B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114077602B (zh) * | 2022-01-13 | 2022-05-17 | 中兴通讯股份有限公司 | 数据迁移方法和装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN108509556A (zh) * | 2018-03-22 | 2018-09-07 | 上海达梦数据库有限公司 | 数据迁移方法和装置、服务器、存储介质 |
| CN111104393A (zh) * | 2019-12-17 | 2020-05-05 | 深圳追一科技有限公司 | 数据迁移方法、装置、电子设备以及存储介质 |
-
2020
- 2020-09-01 CN CN202010903461.5A patent/CN112035439B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
| CN108509556A (zh) * | 2018-03-22 | 2018-09-07 | 上海达梦数据库有限公司 | 数据迁移方法和装置、服务器、存储介质 |
| CN111104393A (zh) * | 2019-12-17 | 2020-05-05 | 深圳追一科技有限公司 | 数据迁移方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112035439A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107807815B (zh) | 分布式处理任务的方法和装置 | |
| US11816019B2 (en) | Testing an application in a production infrastructure temporarily provided by a cloud computing environment | |
| CN103970908A (zh) | 一种虚拟机模板ivf存储方法 | |
| CN107479984B (zh) | 基于消息的分布式空间数据处理系统 | |
| CN111596927B (zh) | 服务部署方法、装置及电子设备 | |
| CN106681718A (zh) | 一种基于工具集的桌面端插件框架及实现方法 | |
| US11886302B1 (en) | System and method for execution of applications in a container | |
| CN111124286A (zh) | 一种基于Libcloud的多云管理实现方法 | |
| CN111651219A (zh) | 一种多模块项目配置文件管理的方法及设备 | |
| CN111176818A (zh) | 分布式预测的方法、装置、系统、电子设备及存储介质 | |
| CN111209001A (zh) | 批量生成安卓各渠道apk的方法、系统、设备和介质 | |
| CN114327861A (zh) | 执行eda任务的方法、装置、系统和存储介质 | |
| CN112035439B (zh) | 数据迁移方法及装置、计算机设备及计算机可读存储介质 | |
| CN111736923A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111966760A (zh) | 基于Hive数据仓库的测试数据生成方法及装置 | |
| US10411896B2 (en) | Mixed checksum injection for content verification on multiple platforms | |
| CN106790489B (zh) | 并行数据加载方法和系统 | |
| CN116302708A (zh) | 基于负载均衡的数据备份方法、装置、设备及存储介质 | |
| CN116048533B (zh) | 一种运行Flink任务解决依赖隔离的实现方法及系统 | |
| CN107025126B (zh) | 一种资源调度方法、nfvo和系统 | |
| CN110888925A (zh) | 数据加载分发的方法、装置及存储介质 | |
| CN108536429B (zh) | 一种开发软件的方法、装置、存储介质及电子设备 | |
| CN113495723B (zh) | 一种调用功能组件的方法、装置及存储介质 | |
| CN113326098B (zh) | 支持kvm虚拟化与容器虚拟化的云管平台 | |
| CN112130962B (zh) | 持续交付平台及利用持续交付平台部署应用系统的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |