CN117786010A - 数据同步的标记添加方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种数据同步的标记添加方法、装置、设备及介质。方法包括：获取源端数据库中的增量数据；对增量数据进行数据转换处理，得到预设格式的增量传输数据；根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表；根据用户预先配置的标记添加规则，在信息映射表中进行查询，确定目标标记值；将目标标记值添加至增量传输数据中，得到目标标记增量传输数据，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，便于用户在数据同步后获取信息，提高了数据同步的灵活性以及用户体验。

Description

数据同步的标记添加方法、装置、设备及介质

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据同步的标记添加方法、装置、设备及介质。

背景技术

数据同步是在源数据存储和目标数据存储之间建立一致性的过程，并随着时间的推移不断协调数据。它是各种应用的基础，包括文件同步和移动设备同步。

相关技术中，通常使用数据同步工具进行数据同步，主要分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。在第二阶段增量数据同步时，通过解析源数据库在线日志或者归档日志，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标端数据库支持的结构化查询语言数据库(Structured Query Language，SQL)语句并在目标端数据库上执行，来实现数据的实时同步，保持源端和目标端数据库的数据一致性。

然而，现有技术的数据同步方法无法在目标数据中添加标记，用户难以从目标数据中获取数据变化信息，用户体验性差。

发明内容

本申请提供一种数据同步的标记添加方法、装置、设备及介质，从而解决现有技术的数据同步方法无法在目标数据中添加标记，用户难以从目标数据中获取数据变化信息，用户体验性差的问题。

第一方面，本申请提供一种数据同步的标记添加方法，包括：

获取源端数据库中的增量数据；

对所述增量数据进行数据转换处理，得到预设格式的增量传输数据；

根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表；

根据用户预先配置的标记添加规则，在所述信息映射表中进行查询，确定目标标记值；

将所述目标标记值添加至所述增量传输数据中，得到目标标记增量传输数据。

本申请提供了一种能够在数据同步过程中根据用户需求灵活添加标记的方法，在数据同步过程中，针对增量传输数据，能够根据预设组件配置信息进行映射处理并缓存为一个信息映射表，基于该信息映射表，根据用户预先配置的标记添加规则，可准确确定用户需要的目标标记值并添加至增量传输数据中，从而实现在数据写入至目标端数据库时，就携带有用户所需的标记，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，便于用户在数据同步后获取信息，提高了数据同步的灵活性以及用户体验。

可选地，在所述根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表之前，还包括：

根据预设组件配置信息，配置标记组件，其中，所述预设组件配置信息包括至少一种变化情况对应的标记值、需要添加标记的表名和标记值所在的标记列名。

这里，本申请提供可配置的标记组件，并提供对外的预设组件配置信息即组件配置参数，参数包含了需要根据需要设定不同数据变化情况的标记值、需要添加标记的表名和标记值所在的标记列名，以通过标记组件实现数据同步过程中的标记处理，提高了数据同步的灵活性以及用户体验。

可选地，所述根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表，包括：

通过所述标记组件，根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表。

其中，本申请能够通过标记组件对增量传输数据进行映射处理，并将相关数据缓存为信息映射表，该信息映射表为查询用户的标记添加规则对应的目标标记值提供了基础，便于快速获取目标标记值，进一步地提高了数据同步的标记添加的准确性及效率，提高了用户体验。

可选地，所述获取源端数据库中的增量数据，包括：

通过源端数据抽取组件，获取源端数据库中的增量数据。

可选地，在所述通过源端数据抽取组件，获取源端数据库中的增量数据之前，还包括：

通过源端数据抽取组件，根据预设数据更新周期，获取源端数据库中的实时查询数据。

这里，本申请能够通过源端数据抽取组件，获取源端数据库中的增量数据，具体地，还可以周期性地在源端数据库中进行查询，根据实时查询数据，来确定是否有数据变动，是否需要进行数据同步，实现了数据同步的可靠性及准确性，进一步地提高了数据同步效率，提高了用户体验。

可选地，在所述将所述目标标记值添加至所述增量传输数据中之后，还包括：

将所述目标标记增量传输数据写入至目标端数据库，以在所述目标端数据库中存储添加标记后的增量数据。

其中，本申请在进行数据同步时，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，供用户进行使用参考，用户可直接在目标端数据库中通过标记查看自己需要的数据，提高了数据同步的用户体验。

可选地，在所述获取源端数据库中的增量数据之前，还包括：

响应于用户的标记添加规则配置操作，获取标记添加规则。

其中，本申请能够基于用户操作实现灵活的标记添加规则配置，供用户选择标记的信息，能够满足用户多种多样的需求，提高了数据同步的标记添加的灵活性，进一步地提高了用户体验。

可选地，所述对所述增量数据进行数据转换处理，得到预设格式的增量传输数据，包括：

根据数据库数据格式与传输数据格式的预设转换关系，对所述增量数据进行数据转换处理，得到预设格式的增量传输数据，其中，所述增量数据的数据格式为所述数据库数据格式，所述预设格式为所述传输数据格式。

其中，本申请将数据库数据格式的增量数据转换至传输数据格式的增量传输数据，以便于实现数据同步过程中的传输。

第二方面，本申请提供了一种数据同步的标记添加装置，包括：

第一获取模块，用于获取源端数据库中的增量数据；

数据转换模块，用于对所述增量数据进行数据转换处理，得到预设格式的增量传输数据；

第一处理模块，用于根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表；

第二处理模块，用于根据用户预先配置的标记添加规则，在所述信息映射表中进行查询，确定目标标记值；

标记添加模块，用于将所述目标标记值添加至所述增量传输数据中，得到目标标记增量传输数据。

可选地，在所述第一处理模块用于根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表之前，上述装置还包括：

组件配置模块，用于根据预设组件配置信息，配置标记组件，其中，所述预设组件配置信息包括至少一种变化情况对应的标记值、需要添加标记的表名和标记值所在的标记列名。

可选地，所述第一处理模块具体用于：

通过所述标记组件，根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表。

可选地，所述第一获取模块具体用于：

通过源端数据抽取组件，获取源端数据库中的增量数据。

可选地，在所述第一获取模块用于通过源端数据抽取组件，获取源端数据库中的增量数据之前，上述装置还包括：

第二获取模块，用于通过源端数据抽取组件，根据预设数据更新周期，获取源端数据库中的实时查询数据。

可选地，在所述标记添加模块用于将所述目标标记值添加至所述增量传输数据中之后，上述装置还包括：

写入模块，用于将所述目标标记增量传输数据写入至目标端数据库，以在所述目标端数据库中存储添加标记后的增量数据。

可选地，在所述第一获取模块用于获取源端数据库中的增量数据之前，上述装置还包括：

第三获取模块，用于响应于用户的标记添加规则配置操作，获取标记添加规则。

可选地，所述第一处理模块具体用于：

根据数据库数据格式与传输数据格式的预设转换关系，对所述增量数据进行数据转换处理，得到预设格式的增量传输数据，其中，所述增量数据的数据格式为所述数据库数据格式，所述预设格式为所述传输数据格式。

第三方面，本申请提供一种数据同步的标记添加设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据同步的标记添加方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的数据同步的标记添加方法。

第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的数据同步的标记添加方法。

本申请提供的数据同步的标记添加方法、装置、设备及介质，其中该方法在数据同步过程中，针对增量传输数据，能够根据预设组件配置信息进行映射处理并缓存为一个信息映射表，基于该信息映射表，根据用户预先配置的标记添加规则，可准确确定用户需要的目标标记值并添加至增量传输数据中，从而实现在数据写入至目标端数据库时，就携带有用户所需的标记，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，便于用户在数据同步后获取信息，提高了数据同步的灵活性以及用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据同步的标记添加系统结构示意图；

图2为本申请实施例提供的一种数据同步的标记添加方法的流程示意图；

图3为本申请实施例提供的另一种数据同步的标记添加方法的流程示意图；

图4为本申请实施例提供的一种数据同步的标记添加装置的结构示意图；

图5为本申请实施例提供的一种数据同步的标记添加设备的结构示意图；

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

在利用数据同步工具进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。在第二阶段增量数据同步时，通过分析数据库日志获取增量数据，从而实现数据实时同步是一种常用的实时复制技术。这种技术通过解析源数据库在线日志或者归档日志，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标端数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，保持源端和目标端数据库的数据一致性。在第二阶段的运行过程中，有时候需要对所同步的数据添加对应的具体标识，当数据到目标端数据库入库后，相应的数据标记会在目标端数据库中进行体现。标识通常由源端数据库数据的变化情况进行确定，而这些变化情况仅会记录到同步软件内部的特定消息格式中，并不会写入目标端数据库中。

上述做法从功能上来讲，虽然记录了数据变化的情况，但是由于特定的消息格式仅对同步软件可见，对用户不可见。当出现需要使用数据变化情况作为用户业务场景的输入时，那就意味着，用户需要通过同步软件提供的工具对特定消息格式的文件进行解析获取文本形式的文件，并且需要对该文件中的内容进行无效信息(即数据变化情况以外的信息)的剔除。而通常不同用户对于数据变化情况的要求是不同的，不论是由用户自己编写信息统计程序，还是由同步软件额外增加解析要求都会带来很高的成本，使得产品的可用性和维护性极大的受到影响。综上可知，现有技术存在无法在目标数据中添加标记，用户难以从目标数据中获取数据变化信息，用户体验性差的技术问题。

为了解决上述问题，本申请实施例提供一种数据同步的标记添加方法、装置、设备及介质，在数据同步过程中，针对增量传输数据，能够根据预设组件配置信息进行映射处理并缓存为一个信息映射表，基于该信息映射表，根据用户预先配置的标记添加规则，可准确确定用户需要的目标标记值并添加至增量传输数据中，从而实现在数据写入至目标端数据库时，就携带有用户所需的标记。

本申请实施例能够实现如下功能：能够对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，供用户进行使用参考。

可选的，图1为本申请实施例提供的一种数据同步的标记添加系统架构示意图。在图1中，上述架构包括数据采集设备101、处理设备102和显示设备103中至少一种。

可以理解的是，本申请实施例示意的结构并不构成对数据同步的标记添加系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。

在具体实现过程中，数据采集设备101可以包括输入/输出接口，也可以包括通信接口，数据采集设备101可以通过输入/输出接口或者是通信接口与处理设备连接。

处理设备102可以针对增量传输数据，根据预设组件配置信息进行映射处理并缓存为一个信息映射表，基于该信息映射表，根据用户预先配置的标记添加规则，可准确确定用户需要的目标标记值并添加至增量传输数据中，从而实现在数据写入至目标端数据库时，就携带有用户所需的标记。

显示设备103还可以是触摸显示屏或者终端设备的屏幕，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。

应理解，上述处理设备可以通过处理器读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。

另外，本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

下面结合具体的实施例对本申请的技术方案进行详细的说明：

可选地，图2为本申请实施例提供的一种数据同步的标记添加方法的流程示意图。本申请实施例的执行主体可以为图1中的处理设备102，具体执行主体可以根据实际应用场景确定。如图2所示，该方法包括如下步骤：

S201：获取源端数据库中的增量数据。

可选地，获取源端数据库中的增量数据，包括：

通过源端数据抽取组件，获取源端数据库中的增量数据。

本申请实施例预先配置源端数据抽取组件，能够用于获取源端数据库中的数据变化情况，获取发生变化的增量数据。增量数据处理是数据仓库中的一个重要概念，它指的是仅处理新增或修改的数据，而不是重新处理整个数据集。这种方法可以大大减少数据处理的时间和资源消耗。

可选地，在通过源端数据抽取组件，获取源端数据库中的增量数据之前，还包括：

通过源端数据抽取组件，根据预设数据更新周期，获取源端数据库中的实时查询数据。

可以理解的是，这里的预设数据更新周期可以根据实际情况确定，本申请实施例对此不作具体限制。

可选地，将上一更新周期采集的实时查询数据与下一更新周期采集的实时查询数据比较，可得到增量数据。

这里，本申请实施例能够通过源端数据抽取组件，获取源端数据库中的增量数据，具体地，还可以周期性地在源端数据库中进行查询，根据实时查询数据，来确定是否有数据变动，是否需要进行数据同步，实现了数据同步的可靠性及准确性，进一步地提高了数据同步效率，提高了用户体验。

S202：对增量数据进行数据转换处理，得到预设格式的增量传输数据。

可选地，对增量数据进行数据转换处理，得到预设格式的增量传输数据，包括：

根据数据库数据格式与传输数据格式的预设转换关系，对增量数据进行数据转换处理，得到预设格式的增量传输数据。

其中，增量数据的数据格式为数据库数据格式，预设格式为传输数据格式。

其中，本申请实施例将数据库数据格式的增量数据转换至传输数据格式的增量传输数据，以便于实现数据同步过程中的传输。

可选地，数据库数据格式为SQL格式。

可选地，传输数据格式为磁盘文件KUFL文件格式。

可选地，本申请实施例可以由同步软件执行，同步软件启动后，其源端数据抽取组件会将抽取出的增量数据包装成同步软件内部所定义的具有不同数据结构的特定消息体。其中，特定消息体的数据结构为传输数据格式。

S203：根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表。

可选地，在根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表之前，还包括：

根据预设组件配置信息，配置标记组件。

其中，预设组件配置信息包括至少一种变化情况对应的标记值、需要添加标记的表名和标记值所在的标记列名。

这里，本申请实施例提供可配置的标记组件，并提供对外的预设组件配置信息即组件配置参数，参数包含了需要根据需要设定不同数据变化情况的标记值、需要添加标记的表名和标记值所在的标记列名，以通过标记组件实现数据同步过程中的标记处理，提高了数据同步的灵活性以及用户体验。

可选地，根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表，包括：

通过标记组件，根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表。

其中，本申请实施例能够通过标记组件对增量传输数据进行映射处理，并将相关数据缓存为信息映射表，该信息映射表为查询用户的标记添加规则对应的目标标记值提供了基础，便于快速获取目标标记值，进一步地提高了数据同步的标记添加的准确性及效率，提高了用户体验。

在一种可能的实现方式中，本申请实施例提供可配置的标记组件，并提供对外的组件配置参数，参数包含了需要根据需要设定不同数据变化情况的标记值、需要添加标记的表名、标记值所在的标记列名。

可选地，不同数据变化情况对应的标记值可以包括插入语句、更新语句和删除语句分别对应的标记值。

在一种可能的实现方式中，本申请实施例提供标记值所在标记列的批量增加工具，根据标记列名等信息的设定，由该工具连接对应需要添加标记的数据库，对涉及的表批量增加标记列用于记录标记信息。

之后，将标记组件声明在同步软件的配置文件中，完成标记组件的配置。

其中，信息映射表是表结构和表数据的映射，具体表现形式可以为二维数组。

S204：根据用户预先配置的标记添加规则，在信息映射表中进行查询，确定目标标记值。

例如，用户配置的标记添加规则为，对插入语句对应的增量数据进行标记，则在信息映射表中确定插入语句对应的目标标记值。

在一种可能的实现方式中，标记组件会获取由源端数据抽取组件包装好的特定消息体，标记组件根据预先组件配置信息与特定消息体中所包含的信息进行映射处理并缓存为一个信息映射表。之后根据用户配置的标记添加规则，在信息映射表中获取对应的标记值，并调用特定消息体提供的添加标记的方法，将标记添加到特定消息体的标记位置上。

S205：将目标标记值添加至增量传输数据中，得到目标标记增量传输数据。

可选地，在将目标标记值添加至增量传输数据中之后，还包括：

将目标标记增量传输数据写入至目标端数据库，以在目标端数据库中存储添加标记后的增量数据。

可选地，在写入目标端数据库时，将添加标记后的增量数据的数据格式修改为数据库数据格式的数据，以在目标端数据库中能够显示标记。

可选地，在写入目标端数据库后，在目标端数据库中将添加标记后的增量数据的数据格式修改为数据库数据格式的数据，以在目标端数据库中能够显示标记。

具体地，处理后包含了标记信息的特定消息体会被同步软件写入组件解析处理后，写入到目标端数据库中。

其中，本申请实施例在进行数据同步时，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，供用户进行使用参考，用户可直接在目标端数据库中通过标记查看自己需要的数据，提高了数据同步的用户体验。

本申请实施例提供了一种能够在数据同步过程中根据用户需求灵活添加标记的方法，在数据同步过程中，针对增量传输数据，能够根据预设组件配置信息进行映射处理并缓存为一个信息映射表，基于该信息映射表，根据用户预先配置的标记添加规则，可准确确定用户需要的目标标记值并添加至增量传输数据中，从而实现在数据写入至目标端数据库时，就携带有用户所需的标记，对同步数据自动添加预先由用户所设定的不同数据变化情况的标记，该标记能随着同步数据一起进入所设定的目标端数据库，便于用户在数据同步后获取信息，提高了数据同步的灵活性以及用户体验。

基于上述方法，本申请实施例的能够实现以下功能：

标记组件对于同步软件的插拔式配置：基于同步软件的插拔式配置架构，标记组件通过继承实现该插拔式架构，实现以对特定格式消息处理的标记逻辑。

标记组件对特定消息格式数据的解析处理：标记组件通过获取特定格式消息的输入后，对该消息在结构和数据上进行处理筛选获取所需的标记信息并将其增加至特定格式消息的指定部分。

标记列增加工具对目标数据库添加标记列的批量处理：该工具独立于标记组件，通过命令设定所添加标记列的数据库，表，标记列名等。

可选地，本申请实施例还可以预先接收用户的配置来确定不同的标记，可选地，图3为本申请实施例提供的另一种数据同步的标记添加方法的流程示意图，如图3所示，方法包括：

S301：响应于用户的标记添加规则配置操作，获取标记添加规则。

可选地，用户可以通过标记组件执行标记添加规则配置操作。

可选地，本申请实施例支持用户更改标记添加规则，进一步地提高了数据同步的标记添加的灵活性，提高了用户体验。

S302：获取源端数据库中的增量数据。

S303：对增量数据进行数据转换处理，得到预设格式的增量传输数据。

S304：根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表。

S305：根据用户预先配置的标记添加规则，在信息映射表中进行查询，确定目标标记值。

S306：将目标标记值添加至增量传输数据中，得到目标标记增量传输数据。

其中，步骤S302-S306的实现方式与步骤S201-S205的实现方式相同，在此不作赘述。

本申请实施例能够基于用户操作实现灵活的标记添加规则配置，供用户选择标记的信息，能够满足用户多种多样的需求，提高了数据同步的标记添加的灵活性，进一步地提高了用户体验。

图4为本申请实施例提供的一种数据同步的标记添加装置的结构示意图，如图4所示，本申请实施例的装置包括：第一获取模块401、数据转换模块402、第一处理模块403、第二处理模块404和标记添加模块405。这里的数据同步的标记添加装置可以是上述处理装置、处理器本身，或者是实现处理器的功能的芯片或者集成电路。这里需要说明的是，第一获取模块401、数据转换模块402、第一处理模块403、第二处理模块404和标记添加模块405的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。

其中，第一获取模块，用于获取源端数据库中的增量数据；

数据转换模块，用于对增量数据进行数据转换处理，得到预设格式的增量传输数据；

第一处理模块，用于根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表；

第二处理模块，用于根据用户预先配置的标记添加规则，在信息映射表中进行查询，确定目标标记值；

标记添加模块，用于将目标标记值添加至增量传输数据中，得到目标标记增量传输数据。

可选地，在第一处理模块用于根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表之前，上述装置还包括：

组件配置模块，用于根据预设组件配置信息，配置标记组件，其中，预设组件配置信息包括至少一种变化情况对应的标记值、需要添加标记的表名和标记值所在的标记列名。

可选地，第一处理模块具体用于：

通过标记组件，根据预设组件配置信息，对增量传输数据进行映射处理，并根据映射结果将增量传输数据缓存为信息映射表。

可选地，第一获取模块具体用于：

通过源端数据抽取组件，获取源端数据库中的增量数据。

可选地，在第一获取模块用于通过源端数据抽取组件，获取源端数据库中的增量数据之前，上述装置还包括：

第二获取模块，用于通过源端数据抽取组件，根据预设数据更新周期，获取源端数据库中的实时查询数据。

可选地，在标记添加模块用于将目标标记值添加至增量传输数据中之后，上述装置还包括：

写入模块，用于将目标标记增量传输数据写入至目标端数据库，以在目标端数据库中存储添加标记后的增量数据。

可选地，在第一获取模块用于获取源端数据库中的增量数据之前，上述装置还包括：

第三获取模块，用于响应于用户的标记添加规则配置操作，获取标记添加规则。

可选地，第一处理模块具体用于：

根据数据库数据格式与传输数据格式的预设转换关系，对增量数据进行数据转换处理，得到预设格式的增量传输数据，其中，增量数据的数据格式为数据库数据格式，预设格式为传输数据格式。

参考图5，其示出了适于用来实现本公开实施例的数据同步的标记添加设备140的结构示意图，该数据同步的标记添加设备140可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PersonalDigital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的数据同步的标记添加设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，数据同步的标记添加设备140可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(Read Only Memory，简称ROM)502中的程序或者从存储装置508加载到随机访问存储器(Random Access Memory，简称RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有数据同步的标记添加设备140操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许数据同步的标记添加设备140与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的数据同步的标记添加设备140，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述数据同步的标记添加设备中所包含的；也可以是单独存在，而未装配入该数据同步的标记添加设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该数据同步的标记添加设备执行时，使得该数据同步的标记添加设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

本申请实施例的数据同步的标记添加设备，可以用于执行本申请上述各方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一项的数据同步的标记添加方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，用于实现上述任一项的数据同步的标记添加方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据同步的标记添加方法，其特征在于，包括：

获取源端数据库中的增量数据；

对所述增量数据进行数据转换处理，得到预设格式的增量传输数据；

根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表；

根据用户预先配置的标记添加规则，在所述信息映射表中进行查询，确定目标标记值；

将所述目标标记值添加至所述增量传输数据中，得到目标标记增量传输数据。

2.根据权利要求1所述的方法，其特征在于，在所述根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表之前，还包括：

根据预设组件配置信息，配置标记组件，其中，所述预设组件配置信息包括至少一种变化情况对应的标记值、需要添加标记的表名和标记值所在的标记列名。

3.根据权利要求2所述的方法，其特征在于，所述根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表，包括：

通过所述标记组件，根据预设组件配置信息，对所述增量传输数据进行映射处理，并根据映射结果将所述增量传输数据缓存为信息映射表。

4.根据权利要求1所述的方法，其特征在于，所述获取源端数据库中的增量数据，包括：

通过源端数据抽取组件，获取源端数据库中的增量数据。

5.根据权利要求4所述的方法，其特征在于，在所述通过源端数据抽取组件，获取源端数据库中的增量数据之前，还包括：

通过源端数据抽取组件，根据预设数据更新周期，获取源端数据库中的实时查询数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述将所述目标标记值添加至所述增量传输数据中之后，还包括：

将所述目标标记增量传输数据写入至目标端数据库，以在所述目标端数据库中存储添加标记后的增量数据。

7.根据权利要求6所述的方法，其特征在于，在所述获取源端数据库中的增量数据之前，还包括：

响应于用户的标记添加规则配置操作，获取标记添加规则。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述增量数据进行数据转换处理，得到预设格式的增量传输数据，包括：

根据数据库数据格式与传输数据格式的预设转换关系，对所述增量数据进行数据转换处理，得到预设格式的增量传输数据，其中，所述增量数据的数据格式为所述数据库数据格式，所述预设格式为所述传输数据格式。

9.一种数据同步的标记添加设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的方法。