CN117312452A - 一种数据同步方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本申请公开了数据同步方法、装置、电子设备及计算机可读介质，涉及大数据数据交换技术领域，一具体实施方式包括接收数据同步请求，获取对应的日终批处理数据；调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；读取数据库下档文件并将数据库下档文件按照设定条数分片，得到分片文件；对各个分片文件并发执行同步进程。大量数据通过大文件传输可以提高数据传输效率，通过控制文件的并发处理速度来满足非功能要求，减轻对数据库的压力；在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供灵活性。分片文件根据非功能要求设置并发度，保证对数据库的压力可控，提高通用性和极端TPS数据量处理性能。

Description

一种数据同步方法、装置、电子设备及计算机可读介质

技术领域

本申请涉及大数据数据交换技术领域，尤其涉及一种数据同步方法、装置、电子设备及计算机可读介质。

背景技术

目前，银行核心系统交易有联机模式和批处理两种模式，对于联机交易，可以通过MQ消息将交易数据同步到分布式系统；对于批处理，由于一些应用场景的短时间内数据变更量巨大比如结息批处理，这种情况如果使用消息同步数据会造成很大的并发压力，产生大量的同步延迟，这也会影响正常的联机交易数据同步。如果直接使用解析binlog和发消息同步数据变更的方法，会产生巨大的并发消息量，对消息中心产生极大压力，会造成大量的数据同步延迟，同时影响正常联机消息的数据同步，不具备通用性和对极端TPS数据量处理性能差。

发明内容

有鉴于此，本申请实施例提供一种数据同步方法、装置、电子设备及计算机可读介质，能够解决现有的数据同步时对消息中心产生极大压力，造成大量的数据同步延迟，数据同步处理性能差的问题。

为实现上述目的，根据本申请实施例的一个方面，提供了一种数据同步方法，包括：

接收数据同步请求，获取对应的日终批处理数据；

调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；

读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；

对各个分片文件并发执行同步进程。

可选地，读取数据库下档文件，包括：

设置定时任务，以在设定的时间执行定时任务，以从分布式文件系统读取所存储的数据库下档文件。

可选地，对各个分片文件并发执行同步进程，包括：

在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，并更新数据同步请求对应的数据库。

可选地，在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，包括：

确定数据同步请求对应的数据库架构，基于数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个分片文件内的每条记录的码制转换和特殊字段转换。

可选地，在基于数据库架构调用对应的码制转换表和特殊字段转换表之前，方法还包括：

基于数据库架构，展示对应的自定义转换选项；

获取用户输入的对自定义转换选项的选择操作，根据选择操作生成码制转换表和特殊字段转化表。

可选地，生成对应的数据库下档文件，包括：

确定数据同步请求对应的目标数据库；

获取目标数据库配置的文件类型，调用数据库下档工具中与文件类型对应的转换程序以将日终批处理数据转换为与文件类型对应的数据库下档文件。

可选地，对各个分片文件并发执行同步进程，包括：

响应于一个分片文件同步失败，基于同步失败的分片文件生成定时重试任务，在预设执行时间执行定时重试任务直至对应的分片文件同步成功。

另外，本申请还提供了一种数据同步装置，包括：

接收单元，被配置成接收数据同步请求，获取对应的日终批处理数据；

文件生成单元，被配置成调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；

读取单元，被配置成读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；

并发执行单元，被配置成对各个分片文件并发执行同步进程。

可选地，读取单元进一步被配置成：

设置定时任务，以在设定的时间执行定时任务，以从分布式文件系统读取所存储的数据库下档文件。

可选地，并发执行单元进一步被配置成：

在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，并更新数据同步请求对应的数据库。

可选地，并发执行单元进一步被配置成：

确定数据同步请求对应的数据库架构，基于数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个分片文件内的每条记录的码制转换和特殊字段转换。

可选地，装置还包括表生成单元，被配置成：

基于数据库架构，展示对应的自定义转换选项；

获取用户输入的对自定义转换选项的选择操作，根据选择操作生成码制转换表和特殊字段转化表。

可选地，文件生成单元进一步被配置成：

确定数据同步请求对应的目标数据库；

获取目标数据库配置的文件类型，调用数据库下档工具中与文件类型对应的转换程序以将日终批处理数据转换为与文件类型对应的数据库下档文件。

可选地，数据同步装置还包括重试单元，被配置成：

响应于一个分片文件同步失败，基于同步失败的分片文件生成定时重试任务，在预设执行时间执行定时重试任务直至对应的分片文件同步成功。

另外，本申请还提供了一种数据同步电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据同步方法。

另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据同步方法。

为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。

本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的数据同步方法。

上述发明中的一个实施例具有如下优点或有益效果：本申请通过接收数据同步请求，获取对应的日终批处理数据；调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；对各个分片文件并发执行同步进程。大量的数据通过大文件传输可以提高数据传输效率，通过控制文件的并发处理速度来满足非功能要求，减轻对数据库的压力；可以在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。分片文件可以根据非功能要求设置并发度，保证对数据库的压力可控，提高通用性和极端TPS数据量处理性能。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本申请，不构成对本申请的不当限定。其中：

图1是根据本申请一个实施例的数据同步方法的主要流程的示意图；

图2是根据本申请一个实施例的数据同步方法的主要流程的示意图；

图3是根据本申请一个实施例的数据同步方法的主要流程示意图；

图4是根据本申请实施例的数据同步装置的主要单元的示意图；

图5是本申请实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，本申请的技术方案中，所涉及的用户个人信息的采集、分析、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法且合理的用途，不在这些合法使用等方面之外共享、泄露或出售，并且接受监管部门的监督管理。应当对用户个人信息采取必要措施，以防止对此类个人信息数据的非法访问，确保有权访问个人信息数据的人员遵守相关法律法规的规定，确保用户个人信息安全。一旦不再需要这些用户个人信息数据，应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。

当使用时，包括在某些相关应用程序中，通过对数据去标识来保护用户隐私，例如在使用时通过移除特定标识符、控制所存储数据的量或特异性、控制数据如何被存储、和/或其他方法去标识。

图1是根据本申请一个实施例的数据同步方法的主要流程的示意图，如图1所示，数据同步方法包括：

步骤S101，接收数据同步请求，获取对应的日终批处理数据。

本实施例中，数据同步方法的执行主体(例如，可以是服务器)可以通过有线连接或无线连接的方式，接收数据同步请求。其中，数据同步请求可以是对异构数据进行同步的请求。执行主体可以获取数据同步请求对应的日终批处理数据。示例的，日终批处理数据例如可以是日终结息批处理数据或者日终存款批处理数据，本申请实施例对日终批处理数据不做具体限定。

步骤S102，调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储。

数据库下档工具例如word、excel等，通过数据库下档工具将日终批处理数据转换成数据同步的目标数据库所能接收的格式数据文件，即数据库下档文件。调用分布式系统通过多线程上传数据库下档文件至分布式文件系统，即HDFS文件系统。

具体地，生成对应的数据库下档文件，包括：确定数据同步请求对应的目标数据库；获取目标数据库配置的文件类型，例如目标数据库只能接收word文件或者只能接收xml文件或者只能接收excel文件等，本申请实施例对目标数据库配置的文件类型不做具体限定。调用数据库下档工具中与文件类型对应的转换程序以将日终批处理数据转换为与文件类型对应的数据库下档文件。示例的，数据库下档文件的类型可以为与目标数据库对应的word、xml、excel，当然也可以为其他用户设置的预设格式的文件，本申请实施例对数据库下档文件的类型不做具体限定。

步骤S103，读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件。

首先，执行主体可以确定数据库下档文件对应的设定条数。示例的，数据库下档文件对应的设定条数可以根据如下方式确定：基于上下文语义对数据库下档文件进行分词，将得到的分词的数量作为设定条数以对数据库下档文件进行分片，得到各个分片文件。从而通过将数据库下档文件切分为分片文件，以减少单次同步的文件占用空间，提高文件同步效率。

步骤S104，对各个分片文件并发执行同步进程。

具体地，对各个分片文件并发执行同步进程，包括：响应于一个分片文件同步失败，基于同步失败的分片文件生成定时重试任务，在预设执行时间执行定时重试任务直至对应的分片文件同步成功。

对于处理过程存在失败的文件，会有定时任务定时扫描这类文件进行再次处理，以提高数据同步的成功率。

本实施例通过接收数据同步请求，获取对应的日终批处理数据；调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；对各个分片文件并发执行同步进程。大量的数据通过大文件传输可以提高数据传输效率，通过控制文件的并发处理速度来满足非功能要求，减轻对数据库的压力；可以在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。分片文件可以根据非功能要求设置并发度，保证对数据库的压力可控，提高通用性和极端TPS数据量处理性能。

图2是根据本申请一个实施例的数据同步方法的主要流程示意图，如图2所示，数据同步方法包括：

步骤S201，接收数据同步请求，获取对应的日终批处理数据。

步骤S202，调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储。

具体可以是由分布式系统通过多线程将数据库下档文件存储至HDFS文件系统。

步骤S203，设置定时任务，以在设定的时间执行定时任务，以从分布式文件系统读取所存储的数据库下档文件，并将数据库下档文件按照设定条数分片，以得到分片文件。

通过定时任务调用分布式系统以从分布式文件系统(即HDFS文件系统)读取数据库下档文件。设定条数可以是根据用户的配置数据得到的。执行主体在得到数据库下档文件后，可以根据配置数据中的设定条数将数据库下档文件分片，得到对应于设定条数的分片文件。

步骤S204，在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，并更新数据同步请求对应的数据库。

在预设时间点，例如每天的6点、12点调用处理栈以同时并行执行对分片文件内的每条记录的转换处理。并基于转换结果更新数据同步请求对应的要将数据同步至的数据库。

具体地，在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，包括：确定数据同步请求对应的数据库架构，基于数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个分片文件内的每条记录的码制转换和特殊字段转换。

数据同步请求对应的数据库架构，可以是数据同步请求对应的要将数据同步至的数据库的数据库架构。本申请实施例中，数据库架构有对应的可以接收的文件类型。具体可以调用预设的数据架构与文件类型的映射关系表，以根据数据同步请求对应的数据库架构确定对应的文件类型。

具体地，在基于数据库架构调用对应的码制转换表和特殊字段转换表之前，方法还包括：基于数据库架构，展示对应的自定义转换选项；获取用户输入的对自定义转换选项的选择操作，根据选择操作生成码制转换表和特殊字段转化表。其中，自定义选项用于表征对需要同步的文件记录的处理方式，由此可以实现在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。

图3是根据本申请一个实施例的数据同步方法的主要流程示意图。本申请实施例的数据同步方法，可以应用于基于文件的异构数据的同步场景。在日终批处理阶段，应用组件生成主机数据库下档文件，分布式系统将下档文件通过多线程上传到HDFS文件系统；设置定时任务从HDFS文件系统读取文件，将文件按照设定的文件条数分片，多分片并发处理；对每个文件分片，逐条读取文件记录，使用处理栈处理记录，执行自定义的数据处理程序，完成码制转换、特殊字段处理等操作，将数据处理成符合分布式业务数据库格式和内容的数据，在处理完成后将处理好的数据更新至业务数据库。对于处理过程存在失败的文件，会有定时任务定时扫描这类文件进行再次处理，以保证数据同步的成功率。使用文件作为异构数据同步的媒介，利用文件多并发、自定义处理栈模式，摆脱了一般异构数据同步方法中对数据库产品本身技术特性的高依赖，可以在不同架构的数据库产品之间通用。针对日终批处理数据同步规模巨大且并不要求高实时性的场景，大量的数据通过大文件传输可以提高数据传输效率，通过控制文件并发处理速度来满足非功能要求，减轻对数据库的压力；可以在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。本申请实施例提出的方法无须依赖对数据库日志的分析，不依赖具体数据库产品的架构和技术特点，因此对异构数据同步两端不同的数据库产品具有通用性；系统可以针对不同架构的数据库数据做自定义操作，向同步两端的数据库屏蔽了数据差异，为兼容不同码制格式的数据提供了灵活性，因而能够普遍应用到各种不同架构的数据库同步场景中；不需要发消息执行数据更新，避免对消息中心造成实时并发处理压力，不影响其他联机交易数据同步；处理文件可以根据非功能要求设置并发度，保证对数据库的压力可控。

图4是根据本申请实施例的数据同步装置的主要单元的示意图。如图4所示，数据同步装置400包括接收单元401、文件生成单元402、读取单元403和并发执行单元404。

接收单元401，被配置成接收数据同步请求，获取对应的日终批处理数据。

文件生成单元402，被配置成调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储。

读取单元403，被配置成读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件。

并发执行单元404，被配置成对各个分片文件并发执行同步进程。

在一些实施例中，读取单元403进一步被配置成：设置定时任务，以在设定的时间执行定时任务，以从分布式文件系统读取所存储的数据库下档文件。

在一些实施例中，并发执行单元404进一步被配置成：在预设时间点调用处理栈同时执行对各个分片文件内的每条记录的转换处理，并更新数据同步请求对应的数据库。

在一些实施例中，并发执行单元404进一步被配置成：确定数据同步请求对应的数据库架构，基于数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个分片文件内的每条记录的码制转换和特殊字段转换。

在一些实施例中，数据同步装置还包括图4中未示出的表生成单元，被配置成：基于数据库架构，展示对应的自定义转换选项；获取用户输入的对自定义转换选项的选择操作，根据选择操作生成码制转换表和特殊字段转化表。

在一些实施例中，文件生成单元402进一步被配置成：确定数据同步请求对应的目标数据库；获取目标数据库配置的文件类型，调用数据库下档工具中与文件类型对应的转换程序以将日终批处理数据转换为与文件类型对应的数据库下档文件。

在一些实施例中，数据同步装置还包括图4中未示出的重试单元，被配置成：响应于一个分片文件同步失败，基于同步失败的分片文件生成定时重试任务，在预设执行时间执行定时重试任务直至对应的分片文件同步成功。

需要说明的是，本申请的数据同步方法和数据同步装置在具体实施内容上具有相应关系，故重复内容不再说明。

图5示出了可以应用本申请实施例的数据同步方法或数据同步装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有数据同步处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所提交的数据同步请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以接收数据同步请求，获取对应的日终批处理数据；调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；对各个分片文件并发执行同步进程。大量的数据通过大文件传输可以提高数据传输效率，通过控制文件的并发处理速度来满足非功能要求，减轻对数据库的压力；可以在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。分片文件可以根据非功能要求设置并发度，保证对数据库的压力可控，提高通用性和极端TPS数据量处理性能。

需要说明的是，本申请实施例所提供的数据同步方法一般由服务器505执行，相应地，数据同步装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、文件生成单元、读取单元和并发执行单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备接收数据同步请求，获取对应的日终批处理数据；调用数据库下档工具以基于日终批处理数据，生成对应的数据库下档文件并存储；读取数据库下档文件并将数据库下档文件按照设定条数分片，以得到分片文件；对各个分片文件并发执行同步进程。

本申请的计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请实施例中的数据同步方法。

根据本申请实施例的技术方案，大量的数据通过大文件传输可以提高数据传输效率，通过控制文件的并发处理速度来满足非功能要求，减轻对数据库的压力；可以在数据处理栈自定义对文件记录的处理方式，为兼容不同码制格式的数据提供了灵活性。分片文件可以根据非功能要求设置并发度，保证对数据库的压力可控，提高通用性和极端TPS数据量处理性能。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种数据同步方法，其特征在于，包括：

接收数据同步请求，获取对应的日终批处理数据；

调用数据库下档工具以基于所述日终批处理数据，生成对应的数据库下档文件并存储；

读取所述数据库下档文件并将所述数据库下档文件按照设定条数分片，以得到分片文件；

对各个所述分片文件并发执行同步进程。

2.根据权利要求1所述的方法，其特征在于，所述读取所述数据库下档文件，包括：

设置定时任务，以在设定的时间执行所述定时任务，以从分布式文件系统读取所存储的数据库下档文件。

3.根据权利要求1所述的方法，其特征在于，所述对各个所述分片文件并发执行同步进程，包括：

在预设时间点调用处理栈同时执行对各个所述分片文件内的每条记录的转换处理，并更新所述数据同步请求对应的数据库。

4.根据权利要求3所述的方法，其特征在于，所述在预设时间点调用处理栈同时执行对各个所述分片文件内的每条记录的转换处理，包括：

确定所述数据同步请求对应的数据库架构，基于所述数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个所述分片文件内的每条记录的码制转换和特殊字段转换。

5.根据权利要求4所述的方法，其特征在于，在所述基于所述数据库架构调用对应的码制转换表和特殊字段转换表之前，所述方法还包括：

基于所述数据库架构，展示对应的自定义转换选项；

获取用户输入的对所述自定义转换选项的选择操作，根据所述选择操作生成码制转换表和特殊字段转化表。

6.根据权利要求1所述的方法，其特征在于，所述生成对应的数据库下档文件，包括：

确定所述数据同步请求对应的目标数据库；

获取所述目标数据库配置的文件类型，调用数据库下档工具中与所述文件类型对应的转换程序以将所述日终批处理数据转换为与所述文件类型对应的数据库下档文件。

7.根据权利要求1所述的方法，其特征在于，所述对各个所述分片文件并发执行同步进程，包括：

响应于一个分片文件同步失败，基于同步失败的分片文件生成定时重试任务，在预设执行时间执行所述定时重试任务直至对应的分片文件同步成功。

8.一种数据同步装置，其特征在于，包括：

接收单元，被配置成接收数据同步请求，获取对应的日终批处理数据；

文件生成单元，被配置成调用数据库下档工具以基于所述日终批处理数据，生成对应的数据库下档文件并存储；

读取单元，被配置成读取所述数据库下档文件并将所述数据库下档文件按照设定条数分片，以得到分片文件；

并发执行单元，被配置成对各个所述分片文件并发执行同步进程。

9.根据权利要求8所述的装置，其特征在于，所述读取单元进一步被配置成：

设置定时任务，以在设定的时间执行所述定时任务，以从分布式文件系统读取所存储的数据库下档文件。

10.根据权利要求8所述的装置，其特征在于，所述并发执行单元进一步被配置成：

在预设时间点调用处理栈同时执行对各个所述分片文件内的每条记录的转换处理，并更新所述数据同步请求对应的数据库。

11.根据权利要求10所述的装置，其特征在于，所述并发执行单元进一步被配置成：

确定所述数据同步请求对应的数据库架构，基于所述数据库架构调用对应的码制转换表和特殊字段转换表，以在预设时间点同时执行对各个所述分片文件内的每条记录的码制转换和特殊字段转换。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括表生成单元，被配置成：

基于所述数据库架构，展示对应的自定义转换选项；

获取用户输入的对所述自定义转换选项的选择操作，根据所述选择操作生成码制转换表和特殊字段转化表。

13.根据权利要求8所述的装置，其特征在于，所述文件生成单元进一步被配置成：

确定所述数据同步请求对应的目标数据库；

获取所述目标数据库配置的文件类型，调用数据库下档工具中与所述文件类型对应的转换程序以将所述日终批处理数据转换为与所述文件类型对应的数据库下档文件。

14.一种数据同步电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。