CN116737830A - 批量数据同步方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种批量数据同步方法、装置、电子设备和存储介质，可用于分布式架构领域。该方法包括：接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。本申请的方法，实现准确而高效的数据表中的字段取值的同步。

Description

批量数据同步方法、装置、电子设备和存储介质

技术领域

本申请涉及分布式架构领域，尤其涉及一种批量数据同步方法、装置、电子设备和存储介质。

背景技术

在分布式架构存储数据表时，一般需要将数据文件进行分片。为了对数据表的分片进行有效管理，一般需要在数据表中设置一列数据标识。在分布式架构中的数据表一般使用分片的方式进行存储，也即一个数据表可以被划分在不同的数据分片中，不同数据分片的使用需要相应的数据库实例。也即，即便是一个数据表中的目标字段的数据，也可能存在于不同的数据分片。

因而，将一个数据表中的数据同步到另一个数据表时，对于目标字段的数据，需要通过不同数据库实例查询各自的数据分片中的数据，存在跨实例查询，而在数据表的同步过程中，这种跨实例查询较为困难，导致字段在不同表之间同步较为困难，不能实现不同表的同步。

发明内容

本申请提供一种批量数据同步方法、装置、电子设备和存储介质，用以解决在数据表的同步过程中，这种跨实例查询较为困难，不能实现不同表的同步问题。

第一方面，本申请提供一种批量数据同步方法，包括：

接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；

基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；

接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；

基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；

根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。

第二方面，本申请提供一种批量数据同步装置，包括：

第一接收单元，用于接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；

第一生成单元，用于基于所述第一分片键值和所述数值，生成所述目标字段对应的数据同步文件；

第二接收单元，用于接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；

第二生成单元，用于基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；

数值更新单元，用于根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面以及第一方面各种可能所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面以及第一方面各种可能所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面以及第一方面各种可能涉及的方法的步骤。

本申请提供的技术方案，可以接收针对第一数据表的批量写入请求，该批量写入请求可以包括第一分片键值和目标字段在第一分片键值的目标数值。通过第一分片键值和目标数值，可以生成目标字段对应的数据同步文件，实现分片键值和目标数值的记录。通过接收键值输入请求，可以实时获取第一分片键值和第二分片键值，进而利用第一分片键值和第二分片键值对应的键值对，可以生成映射关系文件，实现两个数据表中分片键值的映射关系文件的建立。根据数据同步文件和映射关系文件，可以更新第二数据表中第二分片键值在目标字段的目标数值。通过两个文件中分片键值的映射处理，可以实现数据表中目标数值的映射，完成第二数据表在目标字段的不同分片键值的数值同步，实现准确而高效的数据表中的字段取值的同步。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种用于实现批量数据同步方法的系统架构图；

图2为本申请实施例提供的一种批量数据同步方法的一个实施例的流程图；

图3为本申请实施例提供的一种批量数据同步方法的又一个实施例的流程图；

图4为本申请实施例提供的一种批量数据同步方法的应用示例图；

图5为本申请实施例提供的一种批量数据同步装置的一个实施例的结构示意图；

图6为本申请实施例提供的一种用于实现批量数据同步方法的电子设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，本申请提供的批量数据同步方法、装置、电子设备和存储介质，可用于分布式架构领域，也可用于除分布式架构领域之外的任意领域，本申请实施例对批量数据同步方法、装置、电子设备和存储介质的应用领域不做限定。

相关技术中，数据表可以是指存储于数据库中包含大量数据的表格，数据表中的数据可以是指一行数据，一行数据对应的写入栏可以关联不同的字段。数据表的数据量通常较大，因此为了解决大容量的数据表的存储问题，一般可以采用分布式架构系统存储数据表。为了实现数据表的分布式存储，一般需要在数据表中设置一列分片键，分片键的取值可以用于确定该行数据所在的数据分片，不同数据分片可以存储于分布式架构系统的不同节点中。通常，为了正常查询数据表的数据并利用查询结果执行相应的应用，可以为数据分片设置相应的数据库实例，而不同数据分片可以对应不同的数据库实例。对于数据表的同步场景而言，需要将某个数据表中某个字段的取值同步到另一个数据表中同一字段中。在分布式架构系统中，采用分片方式存储数据表时，会导致数据表同步过程中需要从不同数据分片中查询目标字段的数值，因而产生对不同分片的数据库实例的查询问题，也就是跨实例查询，针对某个字段的跨实例查询实际实现较为困难，导致数据表的同步不能实现。

为了解决上述技术问题，本申请实施例中，考虑到需要同步的字段是已知的，而两个数据表之间的分片键值对可以输入，因此，可以通过字段和分片键值的关联，实现数据同步文件的获取。对于两个数据表而言，可以将两个表的分片键值管理，以实现映射关系文件的建立。通过上述数据同步文件和映射关系文件，即可以实现数据表的同步。

据此，本申请实施例中，可以接收针对第一数据表的批量写入请求，该批量写入请求可以包括第一分片键值和目标字段在第一分片键值的目标数值。通过第一分片键值和目标数值，可以生成目标字段对应的数据同步文件，实现分片键值和目标数值的记录。通过接收键值输入请求，可以实时获取第一分片键值和第二分片键值，进而利用第一分片键值和第二分片键值对应的键值对，可以生成映射关系文件，实现两个数据表中分片键值的映射关系文件的建立。根据数据同步文件和映射关系文件，可以更新第二数据表中第二分片键值在目标字段的目标数值。通过两个文件中分片键值的映射处理，可以实现数据表中目标数值的映射，完成第二数据表在目标字段的不同分片键值的数值同步，实现准确而高效的数据表中的字段取值的同步。

本申请提供的批量数据同步方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为用于实现本公开实施例提供的一种批量数据同步方法的系统架构图。该系统可以包括第一终端1，与该第一客户端1建立通信连接的电子设备2，与该电子设备2存在通信连接的第二终端3。其中，电子设备2可以为分布式架构中的节点。

第一终端1可以为客户端，具体可以检测针对第一数据表的批量写入请求，并将批量写入请求发送至电子设备2。批量写入请求包括：第一分片键值和目标字段在第一分片键值的目标数值。

电子设备2可以接收针对第一数据表的批量写入请求。基于第一分片键值和目标数值，生成目标字段对应的数据同步文件。

第二终端3可以为客户端，具体可以检测键值对输入请求，键值对输入请求包括第一分片键值和第二分片键值。

电子设备2可以接收键值对输入请求，键值对输入请求包括：第一分片键值和第二分片键值；基于第一分片键值和第二分片键值对应的键值对，生成映射关系文件。

进而，电子设备2可以根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值。

当然，在实际应用中，第一终端1和第三终端3可以为同一终端设备。

为了便于理解，如图2所示，为本申请实施例提供的一种批量数据同步方法的一个实施例的流程图，该方法可以配置为一批量数据同步装置，批量数据同步装置可以位于电子设备中。电子设备可以为分布式系统中的节点或者能够与分布式系统通信的终端设备。其中，该方法可以包括：

S201：接收针对第一数据表的批量写入请求，批量写入请求包括：第一分片键值和目标字段在第一分片键值的目标数值。

其中，分片键是指数据表中用于决定数据被分配到的哪个数据分片的字段，分片键值即为一条数据在分片键的取值。分片键是指数据表中用于决定数据被分配到哪个数据分片的字段，可以根据一条数据在分片键的取值确定该条数据所在的数据分片。在实际应用中，不同表的相同字段需要取相同，进行同步，例如将业务表中的字段取值同步到流水表中相同字段。同一字段在不同数据行的取值可能被分到不同的数据分片中，不同数据分片可能对应不同的数据库实例。

为了便于理解，如下表1所示的分片键值示例图。

表1

以表1为例，分片键可以为表1中第一列所示的“分配键”的示例，而分片键值可以为分片键所在列的单元格取值，例如“1,2,……1000,1001,……2000”，而分片键值可以用于确定对应行的数据所在的数据分片，例如对于“1000”的分片键值而言，可以确定其所在行的一条数据，也即数据ID为“11000”的全部数据位于分片ID为“1”的数据分片中，而对应“1001”的分片键值而言，可以确定其所在行的数据，也即数据ID为“11001”的全部数据位于分片ID为“2”的数据分片中。当然，上述表1所示的各项键和含义仅是为了详细说明分片键值和分片ID的对应关系，在实际应用中，数据表的各项键和其含义可以根据使用需求设置，本实施例中对此并不过多限定。

在实际应用中，数据分片中数据的访问需求依赖于数据库实例，因此，分片ID为1和分片ID为2的两个数据分片分别对应各自的数据库实例，上述两个数据库分片各自的数据库实例不同，因此，若直接通过数据ID进行数据同步，会因数据库实例不同的问题导致同步失败。

可选地，批量写入请求可以包括至少一个第一分片键值，每个第一分片键值可以目标字段在该第一分片键值的目标数值。每个第一分片键值均可以按照下列步骤202-205执行相应的数据同步，实现批量写入请求的执行，可以同时对至少一个第一分片键值的写入操作进行检测，实现对目标字段的多个分片键值的写入。批量写入请求可以通过检测第一分片键值对应的第一数据表的输入操作，并基于输入操作输入的目标数据，提取该目标数据中第一分片键值和第一分片键值在目标字段对应的目标数值，进而利用提取的第一分片键值和目标数值，生成批量写入请求，通过自动检测第一数据表的写入操作可以实现批量写入请求的自动生成，提高批量写入请求的检测效率。

目标字段在第一分片键值的目标数值，可以是目标字段在第一分片键值对应的数据行的取值。以上述第一分片键值“1001”为例，假设目标字段为“字段2”，则“字段2”在“1001”的第一分片键值的目标数值为“B1001”。

S202：基于第一分片键值和目标数值，生成目标字段对应的数据同步文件。

可选地，每个第一分片键值可以与其在目标字段的目标数值关联，可以将第一分片键值和目标数值作为一组数据对，生成目标字段对应的数据同步文件。

可选地，数据同步文件可以包括目标字段在第一分片键值对应的目标数值。当然，在实际应用中，目标字段可以包括一个或多个，数据同步文件中可以包括至少一个目标字段分别在第一分片键值对应的目标数值，实现多个目标字段的同时同步，提高数据同步效率。

S203：接收键值对输入请求，键值对输入请求包括：第一分片键值和第二分片键值。

可选地，键值对输入请求中可以包括一组或多组键值对，每组键值对可以包括第一分片键值和第二分片键值，每组内的第一分片键值和第二分片键值具有数据同步关联，因此可以通过第一分片键值将其对应的目标数值映射到第二分片键值的取值。

示例性地，键值输入请求可以由终端设备或客户端检测获得，也即终端设备或客户端可以显示键值对输入页面，键值对输入页面可以包括第一输入控件和第二输入控件，第一输入控件可以用于提示对第一分片键值进行输入，第二输入控件可以用于提示对第二分片键值进行输入。终端设备或客户端可以检测用户在第一输入控件执行的输入操作，获得第一分片键值，检测用户在第二输入控件执行的输入操作，获得第二分片键值，并建立第一分片键值和第二分片键值的对应关系之后，可以将第一分片键值和第二分片键值组成键值对，生成键值对输入请求，并将键值对输入请求发送至电子设备。

S204：基于第一分片键值和第二分片键值对应的键值对，生成映射关系文件。

示例性地，映射关系文件中可以包括至少一组键值对，每组键值对可以包括第一分片键值和第二分片键值。

S205：根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值。

其中，步骤205，具体可以包括：利用数据同步文件和映射关系文件，将第一分片键值对应的目标数值设置为第二分片键值在目标字段的取值。

本申请实施例中，可以接收针对第一数据表的批量写入请求，该批量写入请求可以包括第一分片键值和目标字段在第一分片键值的目标数值。通过第一分片键值和目标数值，可以生成目标字段对应的数据同步文件，实现分片键值和目标数值的记录。通过接收键值输入请求，可以实时获取第一分片键值和第二分片键值，进而利用第一分片键值和第二分片键值对应的键值对，可以生成映射关系文件，实现两个数据表中分片键值的映射关系文件的建立。根据数据同步文件和映射关系文件，可以更新第二数据表中第二分片键值在目标字段的目标数值。通过两个文件中分片键值的映射处理，可以实现数据表中目标数值的映射，完成第二数据表在目标字段的不同分片键值的数值同步，实现准确而高效的数据表中的字段取值的同步。

如图3所示，为本申请实施例提供的一种批量数据迁移方法的又一个实施例的流程图，与前述实施例的不同之处在于，步骤205：根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值，可以包括：

S301：根据数据同步文件和映射关系文件进行文件组合，获得待更新文件，待更新文件包括键值对和键值对中第一分片键值的目标数值对应的数值映射信息。

可选地，数值映射信息可以包括第一分片键值、第二分片键值和目标字段对应的目标数值三方面的信息，通过数值映射信息可以对第一分片键值和第二分片键值的对应关系详细记载，通过数值映射信息可以准确实现数据表的数据同步。

S302：根据待更新文件中数值映射信息，将第二数据表中目标字段在第二分片键值设置为目标数值。

可选地，步骤302可以包括根据待更新文件中数值映射信息，确定第一分片键值对应的第二分片键值，以获得与第二分片键值对应的数据库实例，利用第二分片键值对应的数据库实例，将目标数值在第二数据表的目标字段对应的第二分片键值处写入。

本申请实施例中，可以将数据同步文件和映射关系文件进行融合，获得待更新文件，通过待更新文件对键值对和键值对中第一分片键值的目标数值对应的数值映射信息，通过数值映射信息可以实现第一分片键值和第二分片键值的键值关联到数值关联的映射，进而根据待更新文件中的数值映射信息，实现从第一数据表和第二数据表的同步，进而使得两个数据表的同步打破同步时受到的分片限制而产生数据库实例的跨实例映射问题，从分片键值的维度实现目标数值的准确映射，提高映射效率和准确度。

作为一种可能的实现方式，根据数据同步文件和映射关系文件进行文件组合，获得待更新文件，包括：

根据数据同步文件中第一分片键值对应的目标数值，结合映射关系文件中键值对的第一分片键值和第二分片键值，建立第一分片键值、第二分片键值和目标数值的数值映射信息。

基于第一分片键值、第二分片键值和目标数值的数值映射信息，生成待更新文件。

示例性地，待更新文件中可以包括至少一个数值映射信息，各个数值映射信息可以包括第一分片键值、第二分片键值和目标数值。数值映射信息的具体组建步骤具体可以包括：从数据同步文件中读取一条第一分片键值和第一分片键值对应的目标数值，从映射关系文件中读取与该第一分片键值所在的目标键值对，获得目标键值对中的第二分片键值，将该第一分片键值、第二分片键值和目标数值组合形成一条数值映射信息。

本实施例中，对数据同步文件和映射关系文件进行文件组合时，可以根据具有映射关系的第一分片键值和第二分片键值，以及第一分片键值在目标字段的目标数值，可以建立数值映射信息，通过数值映射信息，可以对第一分片键值、第二分片键值和目标数值进行映射，使得分片键值和数值之间的映射是建立的，可以令待更新文件实现键值维度的映射，对待更新文件的建立，可以实现第一数据表和第二数据表的映射提高映射效率和准确性。

作为又一种可能的实现方式，根据数据同步文件和映射关系文件进行文件组合，获得待更新文件，包括：

在第一时刻，根据数据同步文件和映射关系文件进行文件组合，获得待更新文件；

方法还包括：

确定第一时刻为待更新文件的时间戳。

其中，第一时刻可以为任意时刻，可以包括同步请求的组合时刻，还可以包括通过预设的同步频率，确定第一时刻。例如可以根据同步频率和前一个第一时刻，确定最新的第一时刻。待更新文件可以包括文件信息，文件信息中可以设置时间戳，具体可以将时间戳设置为第一时刻。此外，文件信息还可以包括：文件名称、文件类型等信息，用于描述待更新文件的详细文件属性。

本实施例中，可以在第一时刻对数据同步文件和映射关系文件进行文件组合，因此，第一时刻可以作为待更新文件的时间戳。通过时间戳的设置可以使得待更新文件具备了时间标记，从而按照时间戳利用待更新文件对第一数据表和第二数据表进行同步，可以避免因时间戳的缺乏导致待更新文件的重复或者错误使用，提高数据表的同步准确性和可靠性。

进一步地，可选地，根据待更新文件中数值映射信息，将第二数据表中目标字段在第二分片键值设置为目标数值包括：

获取第二数据表前一次更新时使用的历史待更新文件；

若历史待更新文件的时间戳早于待更新文件的时间戳，则对历史待更新文件与待更新文件进行差分计算，获得增量文件；

根据增量文件中数值映射信息，将第二数据表中第二分片键值设置为第二分片键值所在键值对的目标数值。

为了对数据进行高效的同步，可以获取历史待更新文件，若历史待更新文件的时间戳早于待更新文件的时间戳，则说明待更新文件的内容是最新的，因此，可以根据历史待更新文件与待更新文件进行差分diff计算，获得增量文件。

为了实现数据同步文件和映射关系文件的及时应用，数据同步文件和映射关系文件是不断被覆盖更新的，因此，为了避免遗漏数值映射信息，可以将每次利用数据同步文件和映射关系文件确定的数值映射信息增加到待更新文件中，也即待更新文件中的数值映射信息可以是在数据同步文件和映射关系文件替换更新的基础上不断增加的。因此，对于新一次的待更新文件而言，利用该待更新文件与前一次的历史待更新文件进行差分计算，获得增量文件可以第二数据表的增量数据同步，提高数据同步效率。

在一种可能的设计中，对历史待更新文件与待更新文件进行差分计算，可以包括：将历史待更新文件中的数值映射信息与待更新文件中的数值映射信息进行比较，以获得待更新文件中未存在于历史待更新文件中的新增数值映射信息，将确定新增数值映射信息为增量文件。

进一步地，为了提高增量文件的确定效率，可以为数值映射信息确定生成时间，并将数值映射信息的生成时间关联存储于待更新文件中，对于历史待更新文件的时间戳和新增待更新文件的时间戳，确定生成时间位于上述两个时间戳之间的数值映射信息为新增数值映射信息。以时间作为数值映射信息的获取条件，可以实现快速差分，提高增量文件的生成效率。

本实施例中，可以获取第二数据表前一次更新时使用的历史待更新文件，将历史待更新文件的时间戳与待更新文件的时间戳进行比较，并利用时间比较结果进行差分计算，获得增量文件，进而通过增量文件实现数据的同步处理，减少因直接使用待更新文件进行全量同步产生的重复数据同步，提高数据同步效率。

进一步地，可选地，在第一时刻，根据数据同步文件和映射关系文件进行文件组合，获得待更新文件，包括：

获取第二数据表前一次更新时使用的历史待更新文件；

在第一时刻，将数据同步文件和映射关系文件进行文件组合，获得新增数值映射信息；

将新增数值映射信息增加到历史待更新文件中，获得待更新文件。

可选地，在根据数据同步文件和映射关系文件进行文件组合，获得待更新文件之后，可以将数据同步文件和映射关系文件删除，以使得数据同步文件和映射关系文件不断更新，实现数据同步操作的持续性执行。另外，每次数据同步文件和映射关系文件删除之后，可以确保每次使用的数据同步文件和映射关系文件是更新后的文件，避免因数据同步文件和映射关系文件的重复使用导致的重复更新现象，提高数据同步效率。

可选地，历史待更新文件的生成时间可以为第一时刻的前一个时刻。该两个时刻的时间间隔可以根据同步频率确定或者可以为两次同步请求的时间间隔。历史待更新文件中可以包括至少一个数值映射信息。数据同步文件中的第一分片键值和目标数值可以为第一时刻和其前一个时刻之间接收到的所有批量写入请求中的第一分片键值和目标数值。相应地，映射关系文件中的键值对也可以为第一时刻和其对应的前一个时刻之间接收到的所有键值对输入请求对应的第一分片键值和第二分片键值。

本实施例中，可以获取第二数据表前一次更新时使用的历史待更新文件，以在第一时刻将同步数据文件和映射关系文件进行文件组合，获得新增数值映射信息，将新增数值映射信息增加到历史待更新文件中，可以获得待更新文件，使得待更新文件中即包括原有的历史待更新文件中的信息还可以包括新增加的信息，实现信息的连续性存储，使得待更新文件的信息更全面，获得的信息更完整，避免出现信息遗漏等现象。

进一步地，在上述任一实施例的基础上，第一时刻与批量写入请求和输入请求的组合时刻相对应；

根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值之前，方法还包括：

确定第一时刻之前的第二时刻，第二时刻为批量写入请求和输入请求的前一次组合时刻；

删除第二时刻对应的数据同步文件，并确定第一时刻对应的数据同步文件；

删除第二时刻对应的映射关系文件，并确定第一时刻对应的映射关系文件。

可选地，组合时刻是数据同步文件和映射关系文件进行文件组合以获得的待更新文件对应的文件组合时间。每次文件组合可以具有相应的组合时刻。第二时刻可以为第一时刻的前一个时刻，具体可以为数据同步文件和映射关系文件的前一个组合时刻。在第二时刻文件组合结束时，可以删除原有第二时刻的数据同步文件和映射关系文件，并在第一时刻重新确定用于文件组合的数据同步文件和映射关系文件，使得每次参与到文件组合的数据同步文件和映射关系文件均可以为最新获得的文件，时效性更高，避免出现文件的重复组合，而导致数据的重复同步，提高数据同步效率和准确性。

本实施例中，确定第一时刻可以与批量写入请求和输入请求的组合时刻相对应，可以利用第一时刻的数据同步文件提换第二时刻的数据同步文件，并利用第一时刻的映射关系文件替换第一时刻的映射关系文件，也即，数据同步文件和映射关系文件是随着时间不断更新的，避免数据同步文件和映射关系文件被重复使用，每次参与到文件组合的均为最新的文件，提高文件的同步效率和时效性。

进一步地，在上述任一实施例的基础上，根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值，包括：

接收同步请求，同步请求包括第一数据表和第二数据表；

响应于同步请求，根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值。

可选地，同步请求可以为用户触发的，也可以是基于同步频率自动触发的。同步请求可以包括需要同步的第一数据表和第二数据表。在确定第一数据表和第二数据表之后，可以确定第一数据表对应的数据同步文件，和第二数据表对应的映射关系文件。

其中，第一数据表和第二数据表可以使用数据表名称、数据表标识等信息确定。第一数据表对应的数据同步文件，和第二数据表对应的映射关系文件可以通过数据表与各文件的关联关系确定。也即，数据同步文件确定时，可以建立与第一数据表的关联关系。映射关系文件确定时，可以建立与第二数据表的关联关系。

本公开实施例中，可以在同步请求的触发下，启动对第一数据表和第二数据表的数据同步，也即以接收到同步请求作为更新第二数据表中的第二分片键值的目标数值，使得数据表同步的效率更高。

进一步地，在上述任一实施例的基础上，更新第二数据表中第二分片键值在目标字段的目标数值，包括：

确定第二数据表中第二分片键值所在的数据分片；

根据数据分片的数据库实例，将第二数据表中目标字段在第二分片键值的取值设置为目标数值。

可选地，可以根据分片键值，结合分片策略，确定第二分片键值所在的数据分片。其中，分片策略例如可以包括：区域分片策略、以及哈希分片策略等任一种策略。区域分片策略是指，按照数据ID进行划分，获得各条数据分片标识。哈希分片策略例如可以是指利用分片键值进行哈希计算获得相应分片标识。本实施例中对分片策略的具体类型并不过多限定。数据分片的数据库实例可以通过数据分片的分片信息查询获得。分片信息例如可以为分片标识、分片名称、分片序号等任一种可以表示不同数据分片的信息。

本实施例中，确定第二分片键值所在数据分片之后，利用该数据分片的数据库实例，将第二数据表中目标字段在第二分片键值的取值设置为目标数值，实现第一分片键值的数据到第二分片键值的数值映射，提高数值映射成功率，可以有效提升数值映射效率。

为了便于理解，如图4所示，为本申请实施例提供的一种批量数据同步方法的应用示例图。在实际应用中，以将业务表中作为第一数据表，流水表作为第二数据表为例，详细介绍本申请的技术方案。其中，业务表的第一分片键值可以作为主分片键值，流水表的分片键值可以作为副分片键值。

电子设备42可以执行下列步骤：

S401：接收终端设备41针对业务表发送的批量写入请求，批量写入请求可以包括主分片键值和目标字段在主分片键值的目标数值。

S402：利用批量写入请求中的主分片键值和对应的目标字段在主分片键值的目标数值，生成数据同步文件。

S403：电子设备还可以接收终端设备41针对业务表和流水表发送的键值对输入请求。键值对输入请求可以包括主分片键值和副分片键值。

S404：以主分片键值和副分片键值作为键值对生成映射关系文件。

数据同步文件和映射关系文件可以是与第一时刻对应的。

S405：对于第一时刻之前的第二时刻，第二时刻可以关联数据同步文件和映射关系文件，可以利用第一时刻的数据同步文件覆盖第二时刻的数据同步文件，利用第一时刻的映射关系文件覆盖。

S406：利用最新的数据同步文件和映射关系文件，确定待更新文件，待更新文件包括键值对和键值对中主分片键值的目标数值对应的数值映射信息。

S407：利用待更新文件，更新流水表中副分片键值在目标字段的目标数值。

本实施例中的技术方案，可以将业务表中的数据，通过主分片键值和副分片键值的对应关系以及主分片键值对应的目标数值，进行数据同步文件和映射关系文件的建立和组合，以获得待更新文件。通过待更新文件可以实现流水表的副分片键值的数据同步，提高数据表之间的同步效率和准确性。

如图5所示，为本申请实施例提供的一种批量数据同步装置的一个实施例的结构示意图，该装置可以配置上述任一批量数据同步方法，该装置可以位于电子设备中，批量数据同步装置500，可以包括：

第一接收单元501：用于接收针对第一数据表的批量写入请求，批量写入请求包括：第一分片键值和目标字段在第一分片键值的目标数值。

第一生成单元502：用于基于第一分片键值和数值，生成目标字段对应的数据同步文件。

第二接收单元503：用于接收键值对输入请求，键值对输入请求包括：第一分片键值和第二分片键值。

第二生成单元504：用于基于第一分片键值和第二分片键值对应的键值对，生成映射关系文件。

数值更新单元505：用于根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值。

作为一个实施例，数值更新单元，包括：

文件组合模块，用于根据数据同步文件和映射关系文件进行文件组合，获得待更新文件，待更新文件包括键值对和键值对中第一分片键值的目标数值对应的数值映射信息；

文件更新模块，用于根据待更新文件中数值映射信息，将第二数据表中目标字段在第二分片键值设置为目标数值。

作为又一个实施例，文件组合模块，包括：

关联映射子模块，用于根据数据同步文件中第一分片键值对应的目标数值，结合映射关系文件中键值对的第一分片键值和第二分片键值，建立第一分片键值、第二分片键值和目标数值的数值映射信息；

文件生成子模块，用于基于第一分片键值、第二分片键值和目标数值的数值映射信息，生成待更新文件。

作为又一个实施例，文件组合模块，包括：

第一组合子模块，用于在第一时刻，根据数据同步文件和映射关系文件进行文件组合，获得待更新文件；

该装置还包括：

时间确定单元，用于确定第一时刻为待更新文件的时间戳。

作为又一个实施例，文件更新模块，可以包括：

历史获取模块，用于获取第二数据表前一次更新时使用的历史待更新文件；

文件差分模块，用于若历史待更新文件的时间戳早于待更新文件的时间戳，则对历史待更新文件与待更新文件进行差分计算，获得增量文件；

增量更新模块，用于根据增量文件中数值映射信息，将第二数据表中第二分片键值设置为第二分片键值所在键值对的目标数值。

作为又一个实施例，第一组合子模块具体可以用于：

获取第二数据表前一次更新时使用的历史待更新文件；在第一时刻，将数据同步文件和映射关系文件进行文件组合，获得新增数值映射信息；将新增数值映射信息增加到历史待更新文件中，获得待更新文件。

作为又一个实施例，第一时刻与批量写入请求和输入请求的组合时刻相对应；该装置还包括：

时刻确定单元，用于确定第一时刻之前的第二时刻，第二时刻为批量写入请求和输入请求的前一次组合时刻；

第一替换单元，用于删除第二时刻对应的数据同步文件，并确定第一时刻对应的数据同步文件；

第二替换单元，用于删除第二时刻对应的映射关系文件，并确定第一时刻对应的映射关系文件。

作为又一个实施例，数值更新单元，包括：

同步接收模块，用于接收同步请求，同步请求包括第一数据表和第二数据表。

请求响应模块，用于响应于同步请求，根据数据同步文件和映射关系文件，更新第二数据表中第二分片键值在目标字段的目标数值。

作为又一个实施例，数值更新单元，具体可以用于：

确定第二数据表中第二分片键值所在的数据分片；根据数据分片的数据库实例，将第二数据表中目标字段在第二分片键值的取值设置为目标数值。

图6是根据一示例性实施例示出的一种终端设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还接收与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态检测。例如，传感器组件614可以接收到装置600的打开/关闭状态，组件的相对定位，例如组件为装置600的显示器和小键盘，传感器组件614还可以接收装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时接收附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

存储器存储计算机执行指令；

处理器执行存储器存储的计算机执行指令，以实现如上述任一实施例可能的方法。

本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如任一实施例可能的方法。

本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如任一实施例可能的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种批量数据同步方法，其特征在于，包括：

接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；

基于所述第一分片键值和所述目标数值，生成所述目标字段对应的数据同步文件；

接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；

基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；

根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值，包括：

根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，所述待更新文件包括所述键值对和所述键值对中第一分片键值的目标数值对应的数值映射信息；

根据所述待更新文件中所述数值映射信息，将所述第二数据表中所述目标字段在所述第二分片键值设置为所述目标数值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：

根据所述数据同步文件中第一分片键值对应的目标数值，结合所述映射关系文件中键值对的第一分片键值和第二分片键值，建立所述第一分片键值、所述第二分片键值和所述目标数值的数值映射信息；

基于所述第一分片键值、所述第二分片键值和所述目标数值的数值映射信息，生成所述待更新文件。

4.根据权利要求2所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：

在第一时刻，根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件；

所述方法还包括：

确定所述第一时刻为所述待更新文件的时间戳。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待更新文件中所述数值映射信息，将所述第二数据表中所述目标字段在所述第二分片键值设置为所述目标数值包括：

获取所述第二数据表前一次更新时使用的历史待更新文件；

若所述历史待更新文件的时间戳早于所述待更新文件的时间戳，则对所述历史待更新文件与所述待更新文件进行差分计算，获得增量文件；

根据所述增量文件中所述数值映射信息，将所述第二数据表中所述第二分片键值设置为所述第二分片键值所在键值对的目标数值。

6.根据权利要求4或5所述的方法，其特征在于，所述在第一时刻，根据所述数据同步文件和所述映射关系文件进行文件组合，获得待更新文件，包括：

获取所述第二数据表前一次更新时使用的历史待更新文件；

在所述第一时刻，将所述数据同步文件和所述映射关系文件进行文件组合，获得新增数值映射信息；

将所述新增数值映射信息增加到所述历史待更新文件中，获得所述待更新文件。

7.根据权利要求4所述的方法，其特征在于，所述第一时刻与所述批量写入请求和所述输入请求的组合时刻相对应；

所述根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值之前，方法还包括：

确定所述第一时刻之前的第二时刻，所述第二时刻为所述批量写入请求和所述输入请求的前一次组合时刻；

删除所述第二时刻对应的数据同步文件，并确定所述第一时刻对应的数据同步文件；

删除所述第二时刻对应的映射关系文件，并确定所述第一时刻对应的映射关系文件。

8.根据权利要求1所述的方法，其特征在于，所述根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值，包括：

接收同步请求，所述同步请求包括所述第一数据表和所述第二数据表；

响应于所述同步请求，根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。

9.根据权利要求1所述的方法，其特征在于，所述更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值，包括：

确定第二数据表中第二分片键值所在的数据分片；

根据所述数据分片的数据库实例，将所述第二数据表中所述目标字段在所述第二分片键值的取值设置为所述目标数值。

10.一种批量数据同步装置，其特征在于，包括：

第一接收单元，用于接收针对第一数据表的批量写入请求，所述批量写入请求包括：第一分片键值和目标字段在所述第一分片键值的目标数值；

第一生成单元，用于基于所述第一分片键值和所述数值，生成所述目标字段对应的数据同步文件；

第二接收单元，用于接收键值对输入请求，所述键值对输入请求包括：所述第一分片键值和第二分片键值；

第二生成单元，用于基于所述第一分片键值和所述第二分片键值对应的键值对，生成映射关系文件；

数值更新单元，用于根据所述数据同步文件和所述映射关系文件，更新第二数据表中所述第二分片键值在所述目标字段的所述目标数值。

11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的方法。