CN114297300A - 数据同步方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种数据同步方法、装置、设备及计算机可读存储介质，通过源端同步设备获取源数据库的增量数据和对应的操作类型，源端同步设备基于增量数据，编码生成操作类型对应的结构化操作语句，源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。由于在生成操作类型对应的结构化操作语句时，对数据进行了特殊的编码，对于重复的操作类型、模式、表和表的列信息，都只记录了一次，有效减少数据同步时传输的数据量，提高了数据传输效率。并且目的端同步设备调用批处理接口进行数据同步，提高了数据同步效率，进一步提高了数据同步性能。

Description

数据同步方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的不断发展，数据库的应用日益广泛，数据同步也显得尤为重要。

通常情况下，数据同步是将源端数据库的增量数据从数据库日志中抽取出来，结合数据库的表结构信息，翻译成一条一条的结构化操作语句，传输到目标端执行；或者以语句为单位翻译成其他类似的结构后，传输到目标端数据库，再组装为SQL语句入库。

但是，现有的数据同步方法需要上传所有的增量数据，传输的数据重复冗余，传输的数据量较大，传输效率低，导致数据同步性能不好。

发明内容

为了解决上述技术问题，本公开提供了一种数据同步方法、装置、设备及计算机可读存储介质，以提高数据同步性能。

第一方面，本公开实施例提供一种数据同步方法，包括：

源端同步设备获取源数据库的增量数据和对应的操作类型；

源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；

源端同步设备将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。

第二方面，本公开实施例提供一种数据同步方法，包括：

目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；

目的端同步设备基于所述结构化操作语句进行数据同步。

第三方面，本公开实施例提供一种数据同步装置，包括：

获取单元，用于获取源数据库的增量数据和对应的操作类型；

编码单元，用于基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；

发送单元，用于将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。

第四方面，本公开实施例提供一种数据同步装置，包括：

接收单元，用于接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；

同步单元，用于基于所述结构化操作语句进行数据同步。

第五方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

第七方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据同步方法。

本公开实施例提供的数据同步方法、装置、设备及计算机可读存储介质，通过源端同步设备获取源数据库的增量数据和对应的操作类型，源端同步设备基于增量数据，编码生成操作类型对应的结构化操作语句，源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。由于在生成操作类型对应的结构化操作语句时，对数据进行了特殊的编码，对于重复的操作类型、模式、表和表的列信息，都只记录了一次，有效减少数据同步时传输的数据量，提高了数据传输效率，从而提高了数据同步性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的数据同步方法流程图；

图2为本公开实施例提供的一种应用场景的示意图；

图3为本公开另一实施例提供的数据同步方法流程图；

图4为本公开另一实施例提供的数据同步方法流程图；

图5为本公开实施例提供的数据同步装置的结构示意图；

图6为本公开实施例提供的数据同步装置的结构示意图；

图7为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

现有的数据同步方法需要上传所有的增量数据，例如，从源端数据库获取增量数据，通常的做法是将源端的增量数据从数据库日志中抽取出来，结合数据库的表结构信息，翻译成一条一条的SQL语句，传输到目的端数据库执行；或者以语句为单位翻译成其他类似的结构后，传输到目的端数据库，再组装为SQL语句插入目的端数据库。

当源端增量数据为对数据表进行批量的插入或者更新时，拼接成的SQL语句中大致为：

以上一共有56*5＝280个字符，其中操作类型即插入(INSERT)、到(INTO)、目标模式(SCHEMA)、目标数据表(TABLE)、值列表(VALUES)等重复传输，传输的数据重复冗余，传输的数据量较大，传输效率低，导致在数据同步时数据库性能不好。针对该问题，本公开实施例提供了一种数据同步方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的数据同步方法流程图。该方法可以应用于图2所示的应用场景，该应用场景中包括源数据库21和目的数据库22。可以理解的是，本公开实施例提供的数据同步方法还可以应用在其他场景中。

下面结合图2所示的应用场景，对图1所示的数据同步方法进行介绍，该方法包括的具体步骤如下：

S101、源端同步设备获取源数据库的增量数据和对应的操作类型。

如图2所示，源端同步设备获取源数据库21中的增量数据和对应的操作类型。例如，一种常用的实时同步技术是通过分析源数据库日志获取增量数据，从而实现数据实时同步。这种技术通过解析源数据库在线日志或者归档日志，获得数据的增删改变化，再将这些变化发送给目标端数据同步设备。

S102、源端同步设备基于增量数据，编码生成操作类型对应的结构化操作语句。

源端同步设备在获取源数据库的增量数据和对应的操作类型之后，基于增量数据，编码生成操作类型对应的结构化操作语句。操作类型有三种：增、删、改。

可选的，源端同步设备基于增量数据，将该数据的格式转换为目的端同步设备内部特定的消息格式，并将该数据通过源端同步设备与的端同步设备之间的私有传输协议发送到目的端同步设备。

例如，对源数据库采集的、重复性的数据操作，进行特殊的编码，有效减少数据同步时传输的数据量。该编码原理是对原本需要记录的重复的操作类型、模式、表和表的列信息，都只记录一次。特别是针对某些表的名称比较长，或者列的名称比较长的场景，优化尤其明显。

S103、源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。

在源端同步设备根据增量数据生成操作类型对应的结构化操作语句之后，将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。

本公开实施例通过源端同步设备获取源数据库的增量数据和对应的操作类型，源端同步设备基于增量数据，编码生成操作类型对应的结构化操作语句，源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。由于在生成操作类型对应的结构化操作语句时，对数据进行了特殊的编码，对于重复的操作类型、模式、表和表的列信息，都只记录了一次，有效减少数据同步时传输的数据量，提高了数据传输效率，从而提高了数据同步性能。

在上述实施例的基础上，所述结构化操作语句中包括多个配置项：模式信息项、数据表信息项、操作类型配置项、元信息项和元信息对应的一组或多组行数据项；其中，所述元信息项包括一个或多个列信息。

例如，结构化操作语句中包括多个配置项：模式信息项、数据表信息项、操作类型配置项、元信息项和元信息对应的一组或多组行数据项，其中，元信息项包括一个或多个列信息。

对源端采集的、重复性的数据操作，进行特殊的编码；有效缩小数据抽取时生成的数据量，比如上述的INSERT的语句，可以调整为：

以上一共94个字符，其中，SCHEMA为目标模式名，TABLE为目标数据表名，ACTION为执行的操作类型，META为目标元信息，ROW为目标行数据。相比之前的280个字符，仅为原来的1/3左右。数据同步传输阶段在不做任何优化的情况下，就可以提升3倍的传输性能。同时，由于生成的数据量变小了，源端数据库在写本地磁盘时，也可以减少写入量。

可选的，在编码生成所述操作类型对应的结构化操作语句后，所述方法还包括：源端同步设备将所述结构化操作语句进行编码，得到编码文件。

在编码生成操作类型对应的结构化操作语句后，源端同步设备将结构化操作语句进行编码，得到编码文件，目的端同步设备可以根据编码文件得到结构化操作语句。该编码原理是对原本需要记录的重复的操作类型、模式、表和表的列信息，都只记录一次。特别是针对某些表的名称比较长，或者列的名称比较长的场景，优化尤其明显。对结构化操作语句进行特殊的编码，有效减少数据同步时传输的数据量。

相应地，源端同步设备将所述编码文件发送给目的端同步设备，以使所述目的端同步设备解析所述编码文件得到所述结构化操作语句，并基于所述结构化操作语句进行数据同步。

源端同步设备将编码文件发送给目的端同步设备，以使目的端同步设备解析编码文件得到结构化操作语句，并基于结构化操作语句进行数据同步，以达到数据实时同步的效果。

本公开实施例通过源端同步设备将结构化操作语句进行编码，得到编码文件，对结构化操作语句进行特殊的编码，有效减少数据同步时传输的数据量，提高数据的传输效率。源端同步设备将编码文件发送给目的端同步设备，以使目的端同步设备解析编码文件得到结构化操作语句，并基于结构化操作语句进行数据同步，以达到数据实时同步的效果。

图3为本公开另一实施例提供的数据同步方法流程图，如图3所示，该方法包括如下几个步骤：

S301、源端同步设备获取源数据库的增量数据和对应的操作类型。

具体的，S301和S101的实现过程和原理一致，此处不再赘述。

S302、源端同步设备基于增量数据，确定增量数据所属的目标数据表和目标模式。

源端同步设备根据数据库日志，可以获取增量数据，并确定出增量数据所属的目标数据表和目标模式，以便目的端同步设备基于增量数据所属的目标数据表和目标模式进行数据同步。

S303、源端同步设备基于增量数据，确定增量数据在目标数据表中涉及的一个或多个目标列信息。

在确定增量数据所属的目标数据表和目标模式后，确定增量数据在目标数据表中涉及的一个或多个目标列信息。

S304、源端同步设备基于一个或多个目标列信息，确定目标元信息。

源端同步设备基于一个或多个目标列信息，确定目标元信息，目标元信息为META信息，目标元信息用来描述增量数据的属性，例如日期和时间、描述、关键词等。

可选的，源端可以根据目标元信息对增量数据进行归类，同一类数据批量插入到目的端同步设备。

S305、源端同步设备基于目标元信息和增量数据，确定一组或多组目标行数据。

源端同步设备基于目标元信息和增量数据，确定一组或多组目标行数据。可选的，源端同步设备将针对同一个数据表的增量数据抽取出来，确定一组或多组目标行数据。

S306、源端同步设备基于目标数据表、目标模式、目标元信息、一组或多组目标行数据，编码生成操作类型对应的结构化操作语句。

例如，源端同步设备将针对同一个数据表的增量数据抽取出来，编码生成操作类型对应的结构化操作语句。

S307、源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。

具体的，S307和S103的实现过程和原理一致，此处不再赘述。

本公开实施例通过源端同步设备获取源数据库的增量数据和对应的操作类型，源端同步设备基于增量数据，确定增量数据所属的目标数据表和目标模式，源端同步设备基于增量数据，确定增量数据在目标数据表中涉及的一个或多个目标列信息，源端同步设备基于一个或多个目标列信息，确定目标元信息。进一步，源端同步设备基于目标元信息和增量数据，确定一组或多组目标行数据，源端同步设备基于目标数据表、目标模式、目标元信息、一组或多组目标行数据，编码生成操作类型对应的结构化操作语句。进而源端同步设备将结构化操作语句发送给目的端同步设备，以使目的端同步设备基于结构化操作语句进行数据同步。由于源端可以根据目标元信息对增量数据进行归类，同一类数据批量插入到目的端同步设备，提高了数据同步效率，进而提高了数据同步性能。

图4为本公开另一实施例提供的数据同步方法流程图，如图4所示，该方法包括如下几个步骤：

S401、目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句；其中，结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句。

如图2所示，源端同步设备将所述结构化操作语句发送给目的端数据库22的目的端同步设备，目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句。其中，结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句。

同时，源端同步设备将编码文件发送给目的端同步设备，目的端同步设备接收源端同步设备发来的编码文件，以使目的端同步设备解析编码文件得到结构化操作语句，并基于结构化操作语句进行数据同步，以达到数据实时同步的效果。

S402、目的端同步设备解析结构化操作语句，得到结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据。

例如，目的端同步设备解析编码文件，得到结构化操作语句，进而解析结构化操作语句，得到结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据。

S403、目的端同步设备针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务。

目的端同步设备根据解析后的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据，针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务，以便目的端同步设备进行数据同步。

S404、目的端同步设备基于目标模式、目标数据表和操作类型调用执行批处理接口，以便基于操作类型执行批处理任务，完成数据同步。

例如，目的端同步设备基于目标模式、目标数据表和操作类型确定出目标元信息，根据目标元信息分类，每一类信息调用执行一次批处理接口，以便基于操作类型执行批处理任务，完成数据同步。

在数据同步的目的端入库环节，例如，原来的入库方法为：

使用批量接口后，新的入库方法为：

其中，INSERT INTO SCHEMA.TABLE(C1,C2,C3,C4,C5)VALUES(？,？,？,？,？)为结构化操作语句的模板，pstmt.addBatch()为将该行数据添加到批处理任务，pstmt.executeBatch()为执行批处理任务。将同一个META信息，调用一次批量接口，使用了数据库的批量接口，执行效率更高。

本公开实施例通过目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句，目的端同步设备解析结构化操作语句，得到结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据。进一步，目的端同步设备针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务，目的端同步设备基于目标模式、目标数据表和操作类型调用执行批处理接口，以便基于操作类型执行批处理任务，完成数据同步。由于针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务，以便目的端同步设备进行数据同步，提高了数据同步效率，进而提高了数据同步性能。

图5为本公开实施例提供的数据同步装置的结构示意图。该数据同步装置可以是如上实施例所述的源端同步设备，或者该数据同步装置可以该源端同步设备中的部件或组件。本公开实施例提供的数据同步装置可以执行数据同步方法实施例提供的处理流程，如图5所示，数据同步装置50包括：获取单元51、编码单元52、发送单元53；其中，获取单元51用于获取源数据库的增量数据和对应的操作类型；编码单元52用于基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；发送单元53用于将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。

可选的，所述结构化操作语句中包括多个配置项：模式信息项、数据表信息项、操作类型配置项、元信息项和元信息对应的一组或多组行数据项；其中，所述元信息项包括一个或多个列信息。

可选的，所述编码单元52在基于所述增量数据，编码生成所述操作类型对应的结构化操作语句时，具体用于：基于所述增量数据，确定所述增量数据所属的目标数据表和目标模式；基于所述增量数据，确定所述增量数据在所述目标数据表中涉及的一个或多个目标列信息；基于所述一个或多个目标列信息，确定目标元信息；基于所述目标元信息和所述增量数据，确定一组或多组目标行数据；基于所述目标数据表、所述目标模式、所述目标元信息、一组或多组目标行数据，编码生成所述操作类型对应的结构化操作语句。

可选的，所述装置还包括得到单元54；得到单元54用于将所述结构化操作语句进行编码，得到编码文件；所述发送单元53还用于将所述编码文件发送给目的端同步设备，以使所述目的端同步设备解析所述编码文件得到所述结构化操作语句，并基于所述结构化操作语句进行数据同步。

图5所示实施例的数据同步装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本公开实施例提供的数据同步装置的结构示意图。该数据同步装置可以是如上实施例所述的目的端同步设备，或者该数据同步装置可以该目的端同步设备中的部件或组件。本公开实施例提供的数据同步装置可以执行数据同步方法实施例提供的处理流程，如图6所示，数据同步装置60包括：接收单元61、同步单元62；其中，接收单元61用于接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；同步单元62用于基于所述结构化操作语句进行数据同步。

可选的，所述同步单元62在基于所述结构化操作语句进行数据同步时，具体用于：解析所述结构化操作语句，得到所述结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据；针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务；基于所述目标模式、所述目标数据表和所述操作类型调用执行批处理接口，以便基于所述操作类型执行所述批处理任务，完成数据同步。

图6所示实施例的数据同步装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的源端同步设备或目的端同步设备。本公开实施例提供的电子设备可以执行数据同步方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的数据同步方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的数据同步此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的数据同步方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

源端同步设备获取源数据库的增量数据和对应的操作类型；源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；源端同步设备将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步；或

目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；目的端同步设备基于所述结构化操作语句进行数据同步。

另外，该电子设备还可以执行如上所述的数据同步方法中的其他步骤。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

源端同步设备获取源数据库的增量数据和对应的操作类型；

源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；

源端同步设备将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。

2.根据权利要求1所述的方法，其特征在于，所述结构化操作语句中包括多个配置项：

模式信息项、数据表信息项、操作类型配置项、元信息项和元信息对应的一组或多组行数据项；其中，所述元信息项包括一个或多个列信息。

3.根据权利要求2所述的方法，其特征在于，所述源端同步设备基于所述增量数据，编码生成所述操作类型对应的结构化操作语句包括：

源端同步设备基于所述增量数据，确定所述增量数据所属的目标数据表和目标模式；

源端同步设备基于所述增量数据，确定所述增量数据在所述目标数据表中涉及的一个或多个目标列信息；

源端同步设备基于所述一个或多个目标列信息，确定目标元信息；

源端同步设备基于所述目标元信息和所述增量数据，确定一组或多组目标行数据；

源端同步设备基于所述目标数据表、所述目标模式、所述目标元信息、一组或多组目标行数据，编码生成所述操作类型对应的结构化操作语句。

4.根据权利要求1所述的方法，其特征在于，在编码生成所述操作类型对应的结构化操作语句后，所述方法还包括：

源端同步设备将所述结构化操作语句进行编码，得到编码文件；

相应地，源端同步设备将所述编码文件发送给目的端同步设备，以使所述目的端同步设备解析所述编码文件得到所述结构化操作语句，并基于所述结构化操作语句进行数据同步。

5.一种数据同步方法，其特征在于，包括：

目的端同步设备接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；

目的端同步设备基于所述结构化操作语句进行数据同步。

6.根据权利要求5所述的方法，其特征在于，所述目的端同步设备基于所述结构化操作语句进行数据同步包括：

目的端同步设备解析所述结构化操作语句，得到所述结构化操作语句中的目标模式、目标数据表、操作类型、目标元信息、一组或多组目标行数据；

目的端同步设备针对每组目标行数据，调用增加批处理接口，以便将每组目标行数据增加到批处理任务；

目的端同步设备基于所述目标模式、所述目标数据表和所述操作类型调用执行批处理接口，以便基于所述操作类型执行所述批处理任务，完成数据同步。

7.一种数据同步装置，其特征在于，包括：

获取单元，用于获取源数据库的增量数据和对应的操作类型；

编码单元，用于基于所述增量数据，编码生成所述操作类型对应的结构化操作语句；

发送单元，用于将所述结构化操作语句发送给目的端同步设备，以使所述目的端同步设备基于所述结构化操作语句进行数据同步。

8.一种数据同步装置，其特征在于，包括：

接收单元，用于接收源端同步设备发送的操作类型对应的结构化操作语句；其中，所述结构化操作语句为源端同步设备基于增量数据，编码生成的结构化操作语句；

同步单元，用于基于所述结构化操作语句进行数据同步。

9.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4中任一所述的方法或执行以实现如权利要求5或6所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法或执行以实现如权利要求5或6所述的方法。

Images