CN117573776A - 一种数据同步方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据同步方法、装置、存储介质及电子设备。其中方法包括：获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。通过将待同步数据和写入顺序表征数据传输至目标数据库，避免旧数据覆盖新数据的情况，保证目标数据库与源数据库的数据一致性。

Description

一种数据同步方法、装置、存储介质及电子设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据同步方法、装置、存储介质及电子设备。

背景技术

在互联网企业中，数据库一般是关系型数据库，例如mysql数据库。针对于关系型数据库分库分表查询的缺陷，将关系型数据库中的数据同步至目标数据库中。

在数据同步的过程中，为了避免数据的乱序写入，一般依赖于消息队列，例如将通过发送数据同步消息到消息队列中，基于消息队列先进先出的原则消费数据同步消息。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：上述同步过程依赖于消息中间件，同时，将数据同步消息按写入顺序成功发送到消息队列中，是数据同步的前提，如果消息发生乱序的情况下，则会影响数据同步过程中的数据一致性。

发明内容

本发明提供了一种数据同步方法、装置、存储介质及电子设备，以解决在数据同步过程中，保证在目标数据库中数据写入顺序的准确性。

根据本发明的一方面，提供了一种数据同步方法，包括：

获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；

基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；

将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

可选的，所述待同步数据的所属文件为二进制日志文件，所述二进制日志文件的文件标识信息的预设字段包括顺序标记数据，所述顺序标记数据的大小与所述二进制日志文件的更新时间正相关；

所述偏移量数据的大小与所述待同步数据在所述二进制日志文件的写入顺序正相关。

可选的，所述基于所述文件标识信息中的顺序标记数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据，包括：

提取所述顺序标记数据中的有效数据，基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据。

可选的，所述基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据，包括：

在所述偏移量数据的位数小于预设位数的情况下，在所述偏移量数据之前添加所述填充数据，得到中间数据，所述中间数据的位数达到所述预设位数；

将所述顺序标记数据中的有效数据与所述中间数据进行拼接，所述待同步数据对应的写入顺序表征数据，其中，所述顺序标记数据中的有效数据位于所述中间数据之前。

可选的，所述方法还包括：

确定所述待同步数据在目标数据库中的索引信息，将所述索引信息发送至所述目标数据库，以使所述目标数据库基于所述索引信息确定与所述待同步数据对应的已存储数据的写入顺序表征数据。

根据本发明的另一方面，提供了一种数据同步方法，包括：

接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；

将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；

在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

可选的，所述数据同步请求中还包括待同步数据在目标数据库中的索引信息；

在将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对之前，还包括：

基于所述待同步数据的索引信息，已存储数据的写入顺序表征数据中匹配到与所述待同步数据对应的已存储数据的写入顺序表征数据。

根据本发明的另一方面，提供了一种数据同步装置，包括：

数据获取模块，用于获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；

顺序表征数据确定模块，用于基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；

数据同步模块，用于将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

根据本发明的另一方面，提供了一种数据同步装置，包括：

数据接收模块，用于接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；

数据比对模块，用于将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；

数据写入模块，用于在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据同步方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据同步方法。

本发明实施例的技术方案，通过在进行数据同步的情况下，获取待同步数据的所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据，其中，文件标识信息中包括顺序标记数据，用于标记文件顺序。通过顺序标记数据和偏移量数据拼接得到用于表征待同步数据的写入顺序的写入顺序表征数据。通过将待同步数据和写入顺序表征数据传输至目标数据库，以使目标数据库可依据写入顺序表征数据确定待同步数据的写入顺序，以及是否执行对待同步数据的写入操作，避免旧数据覆盖新数据的情况，保证目标数据库与源数据库的数据一致性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据同步方法的流程图；

图2是本发明实施例提供的数据同步过程的示意图；

图3是本发明实施例提供的一种数据同步方法的流程图；

图4是本发明实施例提供的一种数据同步装置的结构示意图；

图5是本发明实施例提供的一种数据同步装置的结构示意图；

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明实施例提供的一种数据同步方法的流程图，本实施例可适用于在不依赖于消息中间件的情况下，保证数据同步过程中数据一致性的情况，该方法可以由数据同步装置来执行，该数据同步装置可以采用硬件和/或软件的形式实现，该数据同步装置可配置于诸如手机、计算机或者服务器等的电子设备中。如图1所示，该方法包括：

S110、获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据。

S120、基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据。

S130、将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

源数据库为数据存储的初始数据库，源数据库可以是关系型数据库，例如包括但不限于mysql数据库。源数据库中存储的数据可以是根据业务系统中产生的数据，此处对源数据库中的数据内容和数据类型不作限定。

目标数据库可以是ES(elasticsearch)数据库，其中，ES数据库为个分布式、高扩展、高实时的搜索与数据分析引擎，具有搜索、分析和探索的能力。

源数据库中存储业务数据，在对源数据库中业务数据进行编辑操作的情况下，生成日志信息，并写入二进制日志文件，即binlog文件。其中，对业务数据的编辑操作包括但不限于业务数据的新增、删除、修改等。二进制日志文件中的每一日志信息中可包括但不限于源数据库中的数据内容、在源数据库中的位置、数据的表名等，其中，数据内容可以包括多个字段。可选的，二进制日志文件中的每一日志信息(即binlog信息)可作为一待同步数据，或者，将日志信息中的局部内容作为待同步数据，此处可根据同步需求进行设置。源数据库在进行数据更新的过程中，将上述更新过程对应的日志信息依次写入二进制日志文件中，直到二进制日志文件写满，即二进制日志文件中的数据量达到预设最大数据量，例如可以是达到1G数据量后生成新的二进制日志文件，并继续在新的二进制文件中继续存储数据。或者，在源数据库进行数据存储(即向二进制日志文件中写入数据)的过程中，源数据库进行重启后，生成新的二进制日志文件，并继续向新的二进制日志文件中存储数据。

二进制日志文件的文件标识信息用于唯一标记该二进制日志文件，其中，文件标识信息可以是文件名，该文件名中可以是包括多个字段信息。可选的，文件标识信息中可以包括顺序标记数据，该顺序标记数据用于表征二进制日志文件的更新时间，该更新时间可以是二进制日志文件的生成时间。其中，二进制日志文件的更新时间越早，对应的顺序标记数据越小，二进制日志文件的更新时间越晚，对应的顺序标记数据越大，即顺序标记数据的大小与所述二进制日志文件的更新时间正相关。该顺序标记数据可以是预设位数的数值，包括无效数据和有效数据，无效数据位于有效数据之前，其中，无效数据和有效数据分别的位数的和为预设位数。示例性的，以预设位数为5为例，无效数据可以是0，有效数据可以是1的情况下，顺序标记数据可以是00001；有效数据为100，的情况下，顺序标记数据可以是00100。

基于二进制日志文件的生成顺序，设置二进制日志文件的顺序标记数据，例如在生成一二进制日志文件的情况下，该二进制日志文件的顺序标记数据为上一二进制日志文件的顺序标记数据(即已有顺序标记数据中的最大顺序标记数据)的基础上加一，得到该新的二进制日志文件的顺序标记数据。此处对顺序标记数据加一，可以理解为上一顺序标记数据中的有效数据加一，作为新的二进制日志文件的顺序标记数据中的有效数据，进一步得到新的二进制日志文件的顺序标记数据。

通过二进制日志文件的文件标识信息中的顺序标记数据，可表征二进制日志文件更新的先后顺序，示例性的，第一二进制日志文件对应的顺序标记数据大于第二二进制日志文件对应的顺序标记数据，表明第二二进制日志文件中的数据在前生成，第一二进制日志文件中的数据在后生成。可选的，顺序标记数据可以包括但不限于十进制数字、二级制数据、八进制数据等，此处对顺序标记数据的具体数据形式不作限定，可以通过数值比对表征顺序即可。

在同一二进制日志文件中可存储多个日志信息，即待同步数据，为了对同一二进制日志文件中的不同待同步数据进行区分，在二进制日志文件中存储数据的同时，设置数据的偏移量数据，该偏移量数据用于表征待同步数据在二进制日志文件中写入顺序，即在先写入数据对应的偏移量数据小于在后写入数据对应的偏移量数据。每一条日志信息可对应一偏移量数据，该偏移量数据为对应日志信息的顺序编码。

在对数据进行同步的过程中，获取待同步数据，以及该待同步数据对应的文件标识信息和待同步数据在二进制日志文件中的偏移量数据。通过待同步数据所属文件的文件标识信息和待同步数据在所属文件中的偏移量数据，可定位待同步数据的写入顺序，无需依赖消息中间件，可提高待同步数据的同步准确性，以保证数据同步过程中目标数据库与源数据库的数据一致性。

在上述实施例的基础上，通过待同步数据所属文件的文件标识信息和待同步数据在所属文件中的偏移量数据，确定待同步数据对应的写入顺序表征数据，该写入顺序表征数据用于表征待同步数据的写入顺序，写入顺序表征数据的数据值越大，表征待同步数据越新，其写入顺序越靠后。通过确定待同步数据的写入顺序表征数据，可通过对写入顺序表征数据的比对，待同步数据相对于目标数据库中已写入数据是否为新数据，若是，则可以将待同步数据写入目标数据库，若否，表明待同步数据相对于目标数据库中已写入数据为旧数据，通过写入顺序表征数据的比对，可避免旧数据覆盖新数据的情况，提高数据同步的准确性。

其中，待同步数据对应的写入顺序表征数据的确定方式可以是：提取所述顺序标记数据中的有效数据，基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据。

具体的，从待同步数据所属文件的文件标识信息中读取特定字段的内容，得到顺序标记数据。提取顺序标记数据中的有效数据，即剔除顺序标记数据中无效数据。将有效数据和偏移量数据按预设的拼接规则进行拼接，其中，预设拼接规则中包括有效数据和偏移量数据的拼接顺序，以及有效数据和偏移量数据在拼接数据中分别占据的预设位数。在有效数据和偏移量数据不满足对应的预设位数的情况下，可通过填充数据进行补充。

具体的，在所述偏移量数据的位数小于预设位数的情况下，在所述偏移量数据之前添加所述填充数据，得到中间数据，所述中间数据的位数达到所述预设位数；将所述顺序标记数据中的有效数据与所述中间数据进行拼接，所述待同步数据对应的写入顺序表征数据，其中，所述顺序标记数据中的有效数据位于所述中间数据之前。

可选的，写入顺序表征数据表示为顺序标记数据中的有效数据+填充数据+偏移量数据，其中，填充数据为非必要部分。在一些实施例中，写入顺序表征数据表示为顺序标记数据中的有效数据+偏移量数据。

示例性的，顺序标记数据为00001，偏移量数据为50，相应的，顺序标记数据中的有效数据为1，偏移量数据对应的预设位数可以是3，通过在偏移量数据之前添加填充数据得到的中间数据可以是050，中间数据与有效数据的拼接为1050。示例性的，顺序标记数据为00021，有效数据为21，偏移量数据为320，偏移量数据的数据位数满足预设位数，无需添加填充数据，通过有效数据+偏移量数据的拼接方式，得到的写入顺序表征数据为21320。

以业务场景中，对以一数据项的编辑操作为例，检测到第一编辑操作，对该数据项设置为a，基于上述操作过程生成日志信息存储到二进制日志文本中，形成第一待同步数据，通过上述方式确定第一待同步数据对应的写入顺序表征数据可以是10050。检测到第二编辑操作，将数据项的内容a修改为b，基于该操作形成新的日志新存储到二进制日志文本中，形成第二待同步数据，第二待同步数据对应的写入顺序表征数据可以是20003。通过两个待同步数据分别对应的写入顺序表征数据可知，第一待同步数据为旧数据，第二待同步数据为新数据。

在一种情况下，在第一待同步数据和写入顺序表征数据10050传输到目标数据库，如果目标数据库中已存储了第二待同步数据，将第一待同步数据的写入顺序表征数据10050与第二待同步数据的写入顺序表征数据20003进行比对，确定第一待同步数据是旧数据，已写入的第二待同步数据是新数据，为了避免旧数据覆盖新数据，取消执行对第一待同步数据的写入操作，并丢弃第一待同步数据，使得目标数据库与源数据库的数据保持一致。

在一种情况下，将第二同步数据与写入顺序表征数据20003传输到目标数据库，如果目标数据库中已存储了第一待同步数据，将第一待同步数据的写入顺序表征数据10050与第二待同步数据的写入顺序表征数据20003进行比对，确定第二待同步数据是新数据，已写入的第一待同步数据是旧数据，执行对第二待同步数据的写入操作，用第二待同步数据覆盖第一待同步数据，完成数据的同步过程，使得目标数据库与源数据库的数据保持一致。

通过确定待同步数据对应的写入顺序表征数据，可用于表征待同步数据的写入顺序，无需依赖于信息发送先后和信息到达先后，其表征的写入顺序更加准确，且过程简单成本低。

可基于待同步数据和待同步数据对应的写入顺序表征数据形成数据同步请求，将数据同步请求传输至目标数据库，以使目标数据库基于待同步数据对应的写入顺序表征数据判定该待同步数据是否需要写入到目标数据库，即通过待同步数据对应的写入顺序表征数据和目标数据库中已写入数据的写入顺序表征数据进行比对，通过比对结果判定待同步数据是否为新数据，若待同步数据是新数据，则执行待同步数据的写入操作，若待同步数据是旧数据，则取消执行待同步数据的写入操作。

在上述实施例的基础上，确定所述待同步数据在目标数据库中的索引信息，将所述索引信息发送至所述目标数据库，以使所述目标数据库基于所述索引信息确定与所述待同步数据对应的已存储数据的写入顺序表征数据。

为了便于在目标数据库中快速定位与待同步数据对应的已存储数据，确定待同步数据在目标数据库中的索引信息，相应的，基于待同步数据、待同步数据在目标数据库中的索引信息和在目标数据库中的写入顺序表征数据生成数据同步请求，以使目标数据库基于所述索引信息确定与待同步数据对应的已存储数据，进一步进行写入顺序的判定。

可选的，待同步数据在目标数据库中的索引信息可以基于包括待同步数据对应的表标识确定，其中，该表标识可以是表名。预先确定目标数据库中表标识与索引信息的对应关系，将待同步数据对应的表标识基于上述对应关系进行匹配，确定表标识对应的索引信息。其中，上述对应关系可以是定期更新，以保证索引信息匹配的准确性。

可选的，待同步数据在目标数据库中的索引信息还可以是表标识与字段的拼接信息确定，例如通过待同步数据的表标识与字段的拼接信息，与目标数据库中表标识与字段的拼接信息与索引信息的对应关系确定。可选的，在确定待同步数据在目标数据库中的索引信息的过程中，还可以获取待同步数据对应的业务类型，用于区分不同的业务数据，即待同步数据在目标数据库中的索引信息可以基于业务类型与表标识的拼接信息进行匹配确定，或者，基于业务类型、表标识与字段的拼接信息进行匹配确定。

在上述实施例的基础上，参见图2，图2是本发明实施例提供的数据同步过程的示意图。其中，源数据库接收业务数据进行存储，源数据库中写入的数据作为待同步数据，数据同步系统分别与源数据库和目标数据库通信连接，用于将源数据库中的待同步数据传输至目标数据库，以使目标数据库执行待同步数据的写入操作，即将待同步数据写入目标数据库。

在一些实施例中，源数据库的客户端，即源数据库端，可执行本实施例中的数据同步方法，从源数据库中读取待同步数据，并确定待同步数据对应的写入顺序表征数据，基于待同步数据和写入顺序表征数据生成数据同步请求，将数据同步请求发送至数据同步系统，数据同步系统将数据同步请求传输至目标数据库，以使目标数据库响应该数据同步请求，完成数据同步。

在一些实施例中，由数据同步系统执行本实施例中的数据同步方法，从源数据库中读取待同步数据，并确定待同步数据对应的写入顺序表征数据，基于待同步数据和写入顺序表征数据生成数据同步请求，将数据同步请求发送目标数据库，以使目标数据库响应该数据同步请求，完成数据同步。

本实施例的技术方案，通过在进行数据同步的情况下，获取待同步数据的所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据，其中，文件标识信息中包括顺序标记数据，用于标记文件顺序。通过顺序标记数据和偏移量数据拼接得到用于表征待同步数据的写入顺序的写入顺序表征数据。通过将待同步数据和写入顺序表征数据传输至目标数据库，以使目标数据库可依据写入顺序表征数据确定待同步数据的写入顺序，以及是否执行对待同步数据的写入操作，避免旧数据覆盖新数据的情况，保证目标数据库与源数据库的数据一致性。

图3是本发明实施例提供的一种数据同步方法的流程图。本实施例可适用于在目标数据库对待同步数据进行写入顺序判定和执行写入操作的情况，目标数据库为ES数据库。该方法可以由数据同步装置来执行，该数据同步装置可以采用硬件和/或软件的形式实现，该数据同步装置可配置于诸如手机、计算机或者服务器等的电子设备中如图3所示，该方法包括：

S210、接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据。

S220、将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对。

S230、在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

目标数据库可通过调用请求处理脚本，基于该请求处理脚本对数据同步请求中待同步数据的写入顺序表征数据进行判定，以确定数据同步请求的响应方式。目标数据库中的已存储数据包括索引信息、数据内容和写入顺序表征数据，其中，数据内容可以包括多个字段，与源数据库中数据内容一致。

具体的，目标数据库接收数据同步请求，解析数据同步请求，获取待同步数据和待同步数据的写入顺序表征数据。在目标数据库中确定与待同步数据对应的已存储数据，在未匹配待已存储数据的情况下，确定待同步数据为新数据，可执行对待同步数据的写入操作。在匹配到已存储数据的情况下，获取已存储数据对应的写入顺序表征数据，将已存储数据对应的写入顺序表征数据与待同步数据的写入顺序表征数据进行比对。在待同步数据的写入顺序表征数据大于已存储数据的写入顺序表征数据的情况下，表明相对于已存储数据，待同步数据为新数据，对所述待同步数据执行写入操作。在待同步数据的写入顺序表征数据小于已存储数据的写入顺序表征数据的情况下，表明相对于已存储数据，待同步数据为旧数据，取消执行所述待同步数据的写入操作，并丢弃该待同步数据，保证目标数据库与源数据库的数据一致性。

在上述实施例的基础上，在执行待同步数据的写入操作的基础上，基于待同步数据的写入顺序表征数据写入目标数据库，即通过待同步数据的写入顺序表征数据覆盖对应的已存储数据的写入顺序表征数据。示例性的，待同步数据的写入顺序表征数据为20030，通过索引信息匹配到的已存储数据的写入顺序表征数据为10020，将待同步数据覆盖已存储数据的同时，基于将已存储数据的写入顺序表征数据更新为待同步数据的写入顺序表征数据，即将10020修改为20030，便于在后续数据同步过程中进行写入顺序的判断。

在上述实施例基础上，数据同步请求中包括待同步数据在目标数据库中的索引信息；相应的，在将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对之前，将待同步数据对应的索引信息在目标数据库中的已存储数据的索引信息中进行匹配，在匹配成功的情况下，确定与待同步数据对应的已存储数据，进一步确定该已存储数据对应的写入顺序表征数据，用于对待同步数据进行写入顺序的判定。

本实施例的技术方案，目标数据库接收的数据同步请求中包括待同步数据和写入顺序表征数据，可用于表征待同步数据的写入顺序，无需依赖于数据同步请求的接收顺序，在数据同步请求存在乱序的情况下，也能通过待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据判断待同步数据是否为新数据，以及是否执行写入操作。达到避免旧数据覆盖新数据的效果，保证目标数据库与源数据库的数据一致性。

图4是本发明实施例提供的一种数据同步装置的结构示意图。如图4所示，该装置包括：

数据获取模块310，用于获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；

顺序表征数据确定模块320，用于基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；

数据同步模块330，用于将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

本实施例的技术方案，通过在进行数据同步的情况下，获取待同步数据的所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据，其中，文件标识信息中包括顺序标记数据，用于标记文件顺序。通过顺序标记数据和偏移量数据拼接得到用于表征待同步数据的写入顺序的写入顺序表征数据。通过将待同步数据和写入顺序表征数据传输至目标数据库，以使目标数据库可依据写入顺序表征数据确定待同步数据的写入顺序，以及是否执行对待同步数据的写入操作，避免旧数据覆盖新数据的情况，保证目标数据库与源数据库的数据一致性。

在上述实施例的基础上，可选的，所述待同步数据的所属文件为二进制日志文件，所述二进制日志文件的文件标识信息的预设字段包括顺序标记数据，所述顺序标记数据的大小与所述二进制日志文件的更新时间正相关；

所述偏移量数据的大小与所述待同步数据在所述二进制日志文件的写入顺序正相关。

在上述实施例的基础上，可选的，顺序表征数据确定模块320用于：提取所述顺序标记数据中的有效数据，基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据。

可选的，顺序表征数据确定模块320还用于：在所述偏移量数据的位数小于预设位数的情况下，在所述偏移量数据之前添加所述填充数据，得到中间数据，所述中间数据的位数达到所述预设位数；将所述顺序标记数据中的有效数据与所述中间数据进行拼接，所述待同步数据对应的写入顺序表征数据，其中，所述顺序标记数据中的有效数据位于所述中间数据之前。

在上述实施例的基础上，可选的，数据同步模块330还用于：确定所述待同步数据在目标数据库中的索引信息，将所述索引信息发送至所述目标数据库，以使所述目标数据库基于所述索引信息确定与所述待同步数据对应的已存储数据的写入顺序表征数据。

本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。

图5是本发明实施例提供的一种数据同步装置的结构示意图。如图5所示，该装置包括：

数据接收模块410，用于接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；

数据比对模块420，用于将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；

数据写入模块430，用于在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

在上述实施例的基础上，可选的，所述数据同步请求中还包括待同步数据在目标数据库中的索引信息；

数据比对模块420还用于：在将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对之前，基于所述待同步数据的索引信息，已存储数据的写入顺序表征数据中匹配到与所述待同步数据对应的已存储数据的写入顺序表征数据。

本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。

图6是本发明实施例四提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据同步方法。

在一些实施例中，数据同步方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据同步方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据同步方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的数据同步方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种数据同步方法，该方法包括：

获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

或者，计算机指令用于使处理器执行一种数据同步方法，该方法包括：

接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种数据同步方法，其特征在于，包括：

获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；

基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；

将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

2.根据权利要求1所述的方法，其特征在于，所述待同步数据的所属文件为二进制日志文件，所述二进制日志文件的文件标识信息的预设字段包括顺序标记数据，所述顺序标记数据的大小与所述二进制日志文件的更新时间正相关；

所述偏移量数据的大小与所述待同步数据在所述二进制日志文件的写入顺序正相关。

3.根据权利要求1或2所述方法，其特征在于，所述基于所述文件标识信息中的顺序标记数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据，包括：

提取所述顺序标记数据中的有效数据，基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述顺序标记数据中的有效数据、填充数据和所述偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据，包括：

在所述偏移量数据的位数小于预设位数的情况下，在所述偏移量数据之前添加所述填充数据，得到中间数据，所述中间数据的位数达到所述预设位数；

将所述顺序标记数据中的有效数据与所述中间数据进行拼接，所述待同步数据对应的写入顺序表征数据，其中，所述顺序标记数据中的有效数据位于所述中间数据之前。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述待同步数据在所述目标数据库中的索引信息，将所述索引信息发送至所述目标数据库，以使所述目标数据库基于所述索引信息确定与所述待同步数据对应的已存储数据的写入顺序表征数据。

6.一种数据同步方法，其特征在于，包括：

接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；

将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；

在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

7.根据权利要求6所述的方法，其特征在于，所述数据同步请求中还包括待同步数据在目标数据库中的索引信息；

在将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对之前，还包括：

基于所述待同步数据的索引信息，在已存储数据的索引信息中进行匹配，在匹配成功的情况下，确定与待同步数据对应的已存储数据的写入顺序表征数据。

8.一种数据同步装置，其特征在于，包括：

数据获取模块，用于获取源数据库中的待同步数据，以及待同步数据所属文件的文件标识信息和所述待同步数据在所属文件中的偏移量数据；

顺序表征数据确定模块，用于基于所述文件标识信息中的顺序标记数据和所述待同步数据的偏移量数据进行拼接，得到所述待同步数据对应的写入顺序表征数据；

数据同步模块，用于将所述待同步数据和所述写入顺序表征数据传输至目标数据库，以使所述目标数据库基于所述写入顺序表征数据和已存储数据的写入顺序表征数据判定是否执行对待同步数据的写入操作。

9.一种数据同步装置，其特征在于，包括：

数据接收模块，用于接收数据同步请求，所述数据同步请求中包括待同步数据和所述待同步数据的写入顺序表征数据；

数据比对模块，用于将所述待同步数据的写入顺序表征数据和已存储数据的写入顺序表征数据进行比对；

数据写入模块，用于在所述待同步数据的写入顺序表征数据大于所述已存储数据的写入顺序表征数据的情况下，对所述待同步数据执行写入操作；以及，在所述待同步数据的写入顺序表征数据小于所述已存储数据的写入顺序表征数据的情况下，取消执行所述待同步数据的写入操作。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5中任一项所述的数据同步方法，或者，权利要求6-7中任一项所述的数据同步方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-5中任一项所述的数据同步方法，或者，权利要求6-7中任一项所述的数据同步方法。