CN108776710B - 一种数据库数据的并发装载方法及装置 - Google Patents

Abstract

本发明公开数据库数据的并发装载方法及装置，方法包括：目标端接收源端发送的数据文件；在全量数据装载阶段通过统计表底层数据块大小按照表的数据量从大到小顺序导出不同表的方式将数据文件按顺序存到目标端不同装载目录，使目标端多进程/线程并发装载；在增量数据装载阶段通过统计表的增量数据大小按照数据量从大到小将数据文件存到目标端不同装载目录，使目标端多进程/线程并发装载；目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行。能对数据库数据并发装载，提升装载效率，使数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证整体装载性能。

Description

一种数据库数据的并发装载方法及装置

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据库数据的并发装载方法及装置。

背景技术

数据库是应用业务系统中最核心的组成部分，数据库的稳定以及业务的连续性是应用业务系统中最关注的问题。

在数据同步过程中，经常涉及到海量数据的装载。现有的海量数据装载方法存在以下一些问题：

1)使用数据迁移工具或备份恢复工具，将原数据库中的数据拷贝到磁盘，再通过磁盘拷贝至目标数据库中，该种方法数据装载速度慢，无法实现原数据库和目标数据库数据的实时同步。

2)目标端单线程执行SQL(结构化查询语言)语句进行数据装载，保证了事务的一致性，但该种方法数据装载效率低，容易导致海量数据在目标端的积压，难以实现实时同步。

3)目标端多队列并发装数据，提升了装载效率，但难以保证事务的一致性；另一方面，由于缺少队列均衡机制，导致有的队列处于空闲状态，而有的队列还有大量数据文件等待装载，造成资源浪费。

鉴于此，如何对数据库的数据进行装载成为目前需要解决的技术问题。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种数据库数据的并发装载方法及装置。

第一方面，本发明实施例提出一种数据库数据的并发装载方法，包括：

目标端接收源端发送的数据文件；

在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行。

可选地，所述目标端多进程/线程并发装载的方式，包括：多表多进程的方式、多表多线程的方式或者单表多线程的方式。

可选地，若采用多表多进程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，源端进程通过统计表的底层数据块的大小，按照数据量从大到小排序，把xf1/xdt数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，源端进程按照数据库的唯一标识字段将数据文件进行拆分，按照各表增量数据从大到小将拆分后的数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

或者，

若采用多表多线程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

或者，

若采用单表多线程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

第二方面，本发明实施例还提出一种数据库数据的并发装载方法，包括：

源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；

在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；

在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；

将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

第三方面，本发明实施例还提出一种数据库数据的并发装载装置，包括：

接收模块，用于目标端接收源端发送的数据文件；

第一装载模块，用于在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

第二装载模块，用于在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行。

第四方面，本发明实施例还提出一种数据库数据的并发装载装置，包括：

设置模块，用于源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；

第一解析模块，用于在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；

第二解析模块，用于在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；

发送模块，用于将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

第五方面，本发明实施例提供一种电子设备，包括：第一处理器、第一存储器、第一总线及存储在第一存储器上并可在第一处理器上运行的计算机程序；

其中，所述第一处理器和第一存储器通过所述第一总线完成相互间的通信；

所述第一处理器执行所述计算机程序时实现上述第一方面所述的方法。

第六方面，本发明实施例提供另一种电子设备，包括：第二处理器、第二存储器、第二总线及存储在第二存储器上并可在第二处理器上运行的计算机程序；

其中，所述第二处理器和第二存储器通过所述第二总线完成相互间的通信；

所述第二处理器执行所述计算机程序时实现上述第二方面所述的方法。

第七方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。

第八方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面所述的方法。

由上述技术方案可知，本发明实施例提供的一种数据库数据的并发装载方法及装置，通过目标端接收源端发送的数据文件，在全量数据装载阶段通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，在增量数据装载阶段通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，其中目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行，由此，能够实现对数据库的数据的装载，本实施例通过目标端并发装载技术，提升了装载效率，使得数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证了整体的装载性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种数据库数据的并发装载方法的流程示意图；

图2为图1所示方法中采用多表多进程的方式的示意图；

图3为图1所示方法中采用多表多线程的方式的示意图；

图4为图1所示方法中采用单表多线程的方式的示意图；

图5为本发明另一实施例提供的一种数据库数据的并发装载方法的流程示意图；

图6为本发明一实施例提供的一种数据库数据的并发装载装置的结构示意图；

图7为本发明另一实施例提供的一种数据库数据的并发装载装置的结构示意图；

图8为本发明一实施例提供的电子设备的实体结构示意图

图9为本发明另一实施例提供的电子设备的实体结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本发明一实施例提供的一种数据库数据的并发装载方法的流程示意图，如图1所示，本实施例的数据库数据的并发装载方法，包括：

S1、目标端接收源端发送的数据文件。

可以理解的是，所述数据文件是源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数，在全量阶段根据所设置的导出参数采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据，在增量阶段根据所设置的导出参数调用数据库接口，解析出事务数据，将解析出的数据存储到xf1/xdt数据文件中并压缩发送至目标端的。

需要说明的是，xf1/xdt是用于描述数据复制过程中产生的数据(包括模式数据定义语言DDL和数据操纵语言DML)的一种内部数据格式；直接路径导出(direct pathexport)是本实施例使用的一种通过直接读取数据库的数据文件导出事务数据的方法。

S2、在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载。

可以理解的是，本步骤能够保证目标端第一个队列全部装载完后，目标端所有的队列全同步都装载完成。

S3、在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载。

其中，本实施例所述目标端多进程/线程并发装载的整个过程均为进程/线程内顺序装载，进程/线程间并发执行。

可以理解的是，进程/线程内顺序装载，能够保证数据的一致性；进程/线程间并发执行，能够提高装载效率。

可以理解的是，本实施例所述方法的执行主体为目标端。

可以理解的是，目标端多队列装载需要均衡各个队列的装载数据量，而不是有的队列处于空闲状态，有的队列还有大量数据文件等待装载，本实施例通过目标端的多队列均衡机制，能够保证整体的装载性能。

本实施例的数据库数据的并发装载方法，通过目标端接收源端发送的数据文件，在全量数据装载阶段通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，在增量数据装载阶段通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，其中目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行，由此，能够实现对数据库的数据的装载，本实施例通过目标端并发装载技术，提升了装载效率，使得数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证了整体的装载性能，满足了迁移、查询分离、本异地容灾、双活切换、双活复制等众多应用场景。

进一步地，在上述实施例的基础上，所述目标端多进程/线程并发装载的方式，可以包括：多表多进程的方式、多表多线程的方式或者单表多线程的方式。

进一步地，在上述实施例的基础上，若采用多表多进程的方式，则上述步骤S2，可具体包括：

在全量数据装载阶段，源端进程通过统计表的底层数据块的大小，按照数据量从大到小排序，把xf1/xdt数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载，可参考图2；

相应地，上述步骤S3，可具体包括：

在增量数据装载阶段，源端进程按照数据库的唯一标识字段将数据文件进行拆分，按照各表增量数据从大到小将拆分后的数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载。

在具体应用中，本实施例中数据库的唯一标识字段为objn，objn是xf1/xdt文件中的数据字段，用作数据库表的唯一标识。

可以理解的是，源端进程按照数据库的唯一标识字段将数据文件进行拆分，可以保证事务的一致性。

可以理解的是，上述整个装载过程中进程/线程内顺序装载，可保证数据的一致性，进程/线程间并发执行，可提高装载效率。

进一步地，在上述实施例的基础上，若采用多表多线程的方式，则上述步骤S2，可具体包括：

在全量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，可参考图3，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，上述步骤S3，可具体包括：

在增量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

可以理解的是，本实施例利用多表多线程的并发装载方式，按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，使得多个子队列能并发的装载，可以进一步提升装载效率。

可以理解的是，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量，可保证整体的装载性能。

比如数据文件100.xf1，使用多表多线程并发装载后，可能100.xf1会拆分成100.1.xf1、100.2.xf1、100.3.xf1，这样原来只能由1个线程顺序加载的xf1，变成可由3个线程并发装载，能极大地提高加载效率。本实施例虽然将xf1交易文件拆分成了多个小的xf1，但整体上还是顺序加载，比如有100.xf1、101.xf1两个文件，即使多表多线程并发装载将其拆分成100.1.xf1、100.2.xf1、101.1.xf1、101.2.xf1，要装载101.xf1,必须等到100.1.xf1和100.2.xf1装载完毕才能开始101.1.xf1和101.2.xf1的装载，从而保证了数据的一致性。

进一步地，在上述实施例的基础上，若采用单表多线程的方式，则上述步骤S2，可具体包括：

在全量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，可参考图4，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，上述步骤S3，可具体包括：

在增量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

可以理解的是，虽然多表多线程并发装载能大大提高实时并发装载速度，但是如果业务系统最频繁的交易表就是一张表，那么即使启用并发装载模式，也只有主要的一个队列在装载而产生延迟，而其他的队列并没有延迟，一样会造成整体实时装载性能的低下。本实施例利用单表多线程的并发装载方式，根据数据表每一行数据的唯一标识字段(rowid)将单个表单一的数据文件拆分成多个数据文件使得多个子队列能并发的装载，可以提升装载效率。

可以理解的是，装载过程中进程根据各线程的数据量，动态调整各线程的任务量，可保证整体的装载性能。

比如使用单表多线程并发装载数据文件100.xf1，将文件拆分为100.1.xf1、100.2.xf1、100.3.xf1三个子文件，并分别交由三个线程进行并发装载，效率提升三倍。单表多线程并发装载整体上还是顺序加载，保证了数据的一致性。

本实施例的数据库数据的并发装载方法，通过目标端并发装载技术，提升了装载效率，使得数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证了整体的装载性能，满足了迁移、查询分离、本异地容灾、双活切换、双活复制等众多应用场景。

图5示出了本发明一实施例提供的一种数据库数据的并发装载方法的流程示意图，如图5所示，本实施例的数据库数据的并发装载方法，包括：

P1、源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数。

其中，所述源端生产主机的资源占用情况可以包括：所述源端生产主机的中央处理器CPU、内存MEMORY、输入输出接口IO等资源占用情况。

P2、在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据(数据操纵语言DML)。

需要说明的是，所述直接路径导出(direct path export)是本实施例使用的一种通过直接读取数据库的数据文件导出事务数据的方法。

P3、在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据(模式数据定义语言DDL/数据操纵语言DML)。

P4、将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

需要说明的是，xf1/xdt是用于描述数据复制过程中产生的数据(包括DDL和DML)的一种内部数据格式。

可以理解的是，本实施例所述方法的执行主体为源端。

本实施例的数据库数据的并发装载方法，通过源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载，由此，能够实现对数据库的数据的装载，提升了装载效率。

图6示出了本发明一实施例提供的一种数据库数据的并发装载装置的结构示意图，如图6所示，本实施例的数据库数据的并发装载装置，包括：接收模块61、第一装载模块62和第二装载模块63；其中：

所述接收模块61，用于目标端接收源端发送的数据文件；

所述第一装载模块62，用于在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

所述第二装载模块63，用于在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

其中，本实施例所述目标端多进程/线程并发装载的整个过程均为进程/线程内顺序装载，进程/线程间并发执行。

具体地，所述接收模块61目标端接收源端发送的数据文件；所述第一装载模块62在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；所述第二装载模块63在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载。

可以理解的是，所述数据文件是源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数，在全量阶段根据所设置的导出参数采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据，在增量阶段根据所设置的导出参数调用数据库接口，解析出事务数据，将解析出的数据存储到xf1/xdt数据文件中并压缩发送至目标端的。

需要说明的是，xf1/xdt是用于描述数据复制过程中产生的数据(包括DDL和DML)的一种内部数据格式；直接路径导出(direct path export)是本实施例使用的一种通过直接读取数据库的数据文件导出事务数据的方法。

可以理解的是，所述第一装载模块62能够保证目标端第一个队列全部装载完后，目标端所有的队列全同步都装载完成。

可以理解的是，本实施例所述方法的执行主体为目标端。

可以理解的是，目标端多队列装载需要均衡各个队列的装载数据量，而不是有的队列处于空闲状态，有的队列还有大量数据文件等待装载，本实施例通过目标端的多队列均衡机制，能够保证整体的装载性能。

本实施例的数据库数据的并发装载装置，能够实现对数据库的数据的装载，本实施例通过目标端并发装载技术，提升了装载效率，使得数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证了整体的装载性能，满足了迁移、查询分离、本异地容灾、双活切换、双活复制等众多应用场景。

进一步地，在上述实施例的基础上，所述目标端多进程/线程并发装载的方式，可以包括：多表多进程的方式、多表多线程的方式或者单表多线程的方式。

进一步地，在上述实施例的基础上，若采用多表多进程的方式，则所述第一装载模块62，可具体用于

在全量数据装载阶段，源端进程通过统计表的底层数据块的大小，按照数据量从大到小排序，把xf1/xdt数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

相应地，所述第二装载模块63，可具体用于

在增量数据装载阶段，源端进程按照数据库的唯一标识字段将数据文件进行拆分，按照各表增量数据从大到小将拆分后的数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载。

在具体应用中，本实施例中数据库的唯一标识字段为objn，objn是xf1/xdt文件中的数据字段，用作数据库表的唯一标识。

可以理解的是，源端进程按照数据库的唯一标识字段将数据文件进行拆分，可以保证事务的一致性。

可以理解的是，上述整个装载过程中进程/线程内顺序装载，可保证数据的一致性，进程/线程间并发执行，可提高装载效率。

进一步地，在上述实施例的基础上，若采用多表多线程的方式，则所述第一装载模块62，可具体用于

在全量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述第二装载模块63，可具体用于

在增量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

可以理解的是，本实施例利用多表多线程的并发装载方式，按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，使得多个子队列能并发的装载，可以进一步提升装载效率。

可以理解的是，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量，可保证整体的装载性能。

进一步地，在上述实施例的基础上，若采用单表多线程的方式，则所述第一装载模块62，可具体用于

在全量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述第二装载模块63，可具体用于

在增量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

可以理解的是，虽然多表多线程并发装载能大大提高实时并发装载速度，但是如果业务系统最频繁的交易表就是一张表，那么即使启用并发装载模式，也只有主要的一个队列在装载而产生延迟，而其他的队列并没有延迟，一样会造成整体实时装载性能的低下。本实施例利用单表多线程的并发装载方式，根据数据表每一行数据的唯一标识字段(rowid)将单个表单一的数据文件拆分成多个数据文件使得多个子队列能并发的装载，可以提升装载效率。

可以理解的是，装载过程中进程根据各线程的数据量，动态调整各线程的任务量，可保证整体的装载性能。

本实施例的数据库数据的并发装载装置，通过目标端并发装载技术，提升了装载效率，使得数据同步的实时性得以实现，同时配合多队列均衡机制，平均各队列的装载任务量，合理运用资源，保证了整体的装载性能，满足了迁移、查询分离、本异地容灾、双活切换、双活复制等众多应用场景。

本实施例的数据库数据的并发装载装置，可以用于执行前述如图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7示出了本发明另一实施例提供的一种数据库数据的并发装载装置的结构示意图，如图7所示，本实施例的数据库数据的并发装载装置，包括：设置模块71、第一解析模块72、第二解析模块73和发送模块74；其中：

所述设置模块71，用于源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；

所述第一解析模块72，用于在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；

所述第二解析模块73，用于在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；

所述发送模块74，用于将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

具体地，所述设置模块71源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；所述第一解析模块72在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；所述第二解析模块73在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；所述发送模块74将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

其中，所述源端生产主机的资源占用情况可以包括：所述源端生产主机的中央处理器CPU、内存MEMORY、输入输出接口IO等资源占用情况。

需要说明的是，所述直接路径导出(direct path export)是本实施例使用的一种通过直接读取数据库的数据文件导出事务数据的方法。

需要说明的是，xf1/xdt是用于描述数据复制过程中产生的数据(包括DDL和DML)的一种内部数据格式。

可以理解的是，本实施例所述装置应用于源端，其执行主体为源端。

本实施例的数据库数据的并发装载装置，能够实现对数据库的数据的装载，提升了装载效率。

本实施例的数据库数据的并发装载装置，可以用于执行前述如图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：第一处理器801、第一存储器802、第一总线803及存储在第一存储器802上并可在第一处理器801上运行的计算机程序；

其中，所述第一处理器801和第一存储器802通过所述第一总线803完成相互间的通信；

所述第一处理器801执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：目标端接收源端发送的数据文件；在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图1所示方法实施例所提供的方法，例如包括：目标端接收源端发送的数据文件；在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行。

图9示出了本发明另一实施例提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：第二处理器901、第二存储器902、第二总线903及存储在第二存储器902上并可在第二处理器901上运行的计算机程序；

其中，所述第二处理器901和第二存储器902通过所述第二总线903完成相互间的通信；

所述第二处理器901执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图5所示方法实施例所提供的方法，例如包括：源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数；在全量阶段，根据所设置的导出参数，采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据；在增量阶段，根据所设置的导出参数，调用数据库接口，解析出事务数据；将解析出的数据存储到xf1/xdt数据文件中，压缩发送至目标端进行装载。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.一种数据库数据的并发装载方法，其特征在于，包括：

目标端接收源端发送的数据文件，所述数据文件是源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数，在全量阶段根据所设置的导出参数采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据，在增量阶段根据所设置的导出参数调用数据库接口，解析出事务数据，将解析出的数据存储到xf1/xdt数据文件中并压缩发送至目标端的；

在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载;

在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行；所述目标端多进程/线程并发装载的方式，包括：多表多进程的方式、多表多线程的方式或者单表多线程的方式；

若采用多表多进程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，源端进程通过统计表的底层数据块的大小，按照数据量从大到小排序，把xf1/xdt数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，源端进程按照数据库的唯一标识字段将数据文件进行拆分，按照各表增量数据从大到小将拆分后的数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

或者，

若采用多表多线程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

或者，

若采用单表多线程的方式，则所述在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在全量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载，具体包括：

在增量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

2.一种数据库数据的并发装载装置，其特征在于，包括：

接收模块，用于目标端接收源端发送的数据文件，所述数据文件是源端进程根据源端生产主机的资源占用情况，设置不同的并发导出参数，在全量阶段根据所设置的导出参数采用直接路径导出的方式，读取源端数据库的数据文件，解析出数据字典、数据库对象定义、事务数据，在增量阶段根据所设置的导出参数调用数据库接口，解析出事务数据，将解析出的数据存储到xf1/xdt数据文件中并压缩发送至目标端的；

第一装载模块，用于在全量数据装载阶段，通过统计表的底层数据块大小，按照表的数据量从大到小顺序导出不同表的方式，将数据文件按顺序存放到目标端不同的装载目录，以使目标端多进程/线程并发装载;

第二装载模块，用于在增量数据装载阶段，通过统计表的增量数据的大小，按照数据量从大到小将数据文件存放到目标端不同的装载目录，以使目标端多进程/线程并发装载；

其中，所述目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载，进程/线程间并发执行；所述目标端多进程/线程并发装载的方式，包括：多表多进程的方式、多表多线程的方式或者单表多线程的方式；

若采用多表多进程的方式，则所述第一装载模块，具体用于

在全量数据装载阶段，源端进程通过统计表的底层数据块的大小，按照数据量从大到小排序，把xf1/xdt数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

相应地，所述第二装载模块，具体用于

在增量数据装载阶段，源端进程按照数据库的唯一标识字段将数据文件进行拆分，按照各表增量数据从大到小将拆分后的数据文件存放到目标端不同进程的装载目录，然后目标端多进程并发装载；

或者，

若采用多表多线程的方式，则所述第一装载模块，具体用于

在全量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述第二装载模块，具体用于

在增量数据装载阶段，在多表多进程的方式的基础上，在每个装载目录按照数据库的唯一标识字段将单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

或者，

若采用单表多线程的方式，则所述第一装载模块，具体用于

在全量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量；

相应地，所述第二装载模块，具体用于

在增量数据装载阶段，源端进程根据数据表每一行数据的唯一标识字段将单个表单一的数据文件拆分成多个数据文件，以使目标端各线程并发装载，在装载过程中目标端进程根据各线程的数据量，动态调整各线程的任务量。

3.一种电子设备，其特征在于，包括：第一处理器、第一存储器、第一总线及存储在第一存储器上并可在第一处理器上运行的计算机程序；

其中，所述第一处理器和第一存储器通过所述第一总线完成相互间的通信；

所述第一处理器执行所述计算机程序时实现如权利要求1所述的方法。

4.一种非暂态计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1所述的方法。

Images