CN111143469A - 一种数据对账方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种数据对账方法、装置、电子设备及存储介质，所述方法包括：分别获取各个同步节点对应的标记对账表；在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。通过本申请的技术方案可以解决相关技术中数据对账准确性低、效率低下的技术问题。

Description

一种数据对账方法、装置、电子设备及存储介质

技术领域

本申请涉及网络技术领域，具体涉及一种数据对账方法、装置、电子设备及存储介质。

背景技术

随着信息技术的快速发展，大数据相关的应用呈现出爆炸式增长，使得数据信息的数据量急剧膨胀，为了突破集中式存储在处理海量数据的过程中在可靠性、安全性等方面的缺陷，分布式存储技术应运而生，即源数据库中的数据信息经由数据同步工具同步至同步节点中，以由接收到同步数据的同步节点对数据进行维护。

在数据实时同步的场景下，尤其在跨部门、跨层级甚至跨网段进行数据交换和同步的过程中，极易因网络不稳定、信息积压等异常情况，导致同步节点接收到的同步数据存在数据缺失或者数据重复等异常情况。

为了验证在源数据库和同步节点之间或者同步节点之间进行数据同步的可靠性、安全性，相关技术中往往由人工对源数据库中的数据信息和同步节点中的数据信息进行比对，但常规的人工对账方式不仅耗时较长，而且准确性低下，其已无法满足对数据量日益庞大的数据信息之间的对账需求。

发明内容

有鉴于此，本申请提供一种数据对账方法、装置、电子设备及存储介质，以解决相关技术中数据对账准确性低、效率低下的技术问题。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种数据对账方法，所述方法包括：

分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

可选的，所述对所述业务表的同步数据进行抽取，包括：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

可选的，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；

所述根据比对结果确定所述各个同步节点中存在数据缺失的同步节点，包括：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据对应的同步节点确定为存在数据缺失的同步节点。

可选的，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述对各个同步节点的标记对账表进行数据对齐，包括：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；

在针对所述各个同步节点的标记对账表所确定的起始数据相同的情况下，将所述起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，所述起始数据相同包括所述起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

可选的，还包括：

针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息和/或缺失数据的时间范围。

根据本申请的第二方面，提出了一种数据对账装置，所述装置包括：

获取单元，分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

比对单元，在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

确定单元，根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

可选的，所述获取单元具体用于：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

可选的，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；

所述确定单元具体用于：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据所在的同步节点确定为存在数据缺失的同步节点。

可选的，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述比对单元具体用于：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；

在针对所述各个同步节点的标记对账表所确定的起始数据相同的情况下，将所述起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，所述起始数据相同包括所述起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

可选的，还包括：

针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息和/或缺失数据的时间范围。

根据本申请的第三方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现如上述第一方面中任一项所述的方法。

根据本申请的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面中任一所述方法的步骤。

由以上技术方案可见，在数据同步工具将源数据库中的业务表同步至任一同步节点的过程中，对业务表的同步数据进行抽取以得到当前同步节点对应的标记对账表中的对账数据，获取分别与各个同步节点对应的标记对账表，在各个同步节点对应的标记对账表对齐之后，从各个标记对账表中排列于对齐数据之后的对账数据进行逐条比对，进而根据对标记对账表的比对结果确定各个同步节点中存在数据缺失的同步节点，实现了对各个同步节点中的对齐数据之后的同步数据之间的比对，消除了相关技术中因无法确定各个节点对应的一致的数据镜像而无法实现数据对账的缺陷，亦克服了由人工进行数据对账的比对效率低下的问题，从而有效地提高了对流式数据的对账效率。

附图说明

图1是根据本申请一示例性实施例提供的一种数据对账方法的流程图；

图2是根据本申请一示例性实施例提供的另一种数据对账方法的流程图；

图3是根据本申请一示例性实施例提供的一种数据对账方法的应用场景图；

图4是根据本申请一示例性实施例中的一种电子设备的示意结构图；

图5是根据本申请一示例性实施例中的一种数据对账装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着信息技术的快速发展，大数据相关的应用呈现出爆炸式增长，使得数据信息的数据量急剧膨胀，为了突破集中式存储在处理海量数据的过程中在可靠性、安全性等方面的缺陷，分布式存储技术应运而生，即源数据库中的数据信息经由数据同步工具同步至同步节点中，以由接收到同步数据的同步节点对数据进行维护。

在数据实时同步的场景下，尤其在跨部门、跨层级甚至跨网段进行数据交换和同步的过程中，极易因网络不稳定、信息积压等异常情况，导致同步节点接收到的同步数据存在数据缺失或者数据重复等异常情况。

为了验证在源数据库和同步节点之间或者同步节点之间进行数据同步的可靠性、安全性，相关技术中通过人工或者设备自动实现的信息比对方法均是应用于静态数据，即在一个比对周期中源数据库与各个同步节点中的数据信息均保持静止不变，具体的，可以在比对周期中确定一个具体的时间点，基于该时间点对整个数据链路中的各节点的数据做一个镜像，进而对镜像中各节点对应的数据信息进行比对，以确定在数据同步过程中是否发生数据丢失以及在各节点中的哪一个节点处存在数据丢失。

然而对于流式数据而言，由于数据本身是一个随时间延续而无限增长的动态数据，并且数据信息在各节点之间不断地流动，因而很难基于所确定的一个时间点获取到各个节点对应的一致的镜像。即便采用暂停源数据库中的待同步数据的变动，并在经过一段时间同步之后，对数据链路中的各个节点上的数据信息进行比对的对账方法，仍旧无法有效地改善对流式数据的对账效率。

有鉴于此，本申请提供一种数据对账方法、装置、电子设备及存储介质，以解决相关技术中数据对账准确性低、效率低下的技术问题。

图1是根据本申请一示例性实施例提供的一种数据对账方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤101，分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列。

在一实施例中，在对业务表的同步数据进行抽取的过程中，可以将同步数据中的目标字段的取值对预设的精度数值进行取模运算；抽取与预设的标记数值相等的运算结果对应的同步数据。

步骤102，在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对。

在一实施例中，标记对账表中包括操作时刻，操作时刻可以为写入标记对账表中的与同步数据进行操作的时间顺序有关的时刻。

进一步的，在对各个同步节点的标记对账表进行数据对齐的过程，可以在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据，以在针对各个同步节点的标记对账表所确定的起始数据相同的情况下，将起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，起始数据相同可以为起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

步骤103，根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

在一实施例中，标记对账表中包括操作类型字段和标记距离字段，其中，操作类型字段对应的类型信息为对业务表执行的操作类型，标记距离字段对应的数值为标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值。

进一步的，在根据比对结果确定各个同步节点中存在数据缺失的同步节点的过程中，可以将存在类型信息缺失的同步节点确定为各个同步节点中存在数据缺失的同步节点；或者，在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据所在的同步节点确定为存在数据缺失的同步节点。

在另一实施例中，针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息、缺失数据的时间范围或者存在数据缺失的同步节点信息和缺失数据的时间范围。

通过上述实施例可知，在数据同步工具将源数据库中的业务表同步至任一同步节点的过程中，对业务表的同步数据进行抽取以得到当前同步节点对应的标记对账表中的对账数据，获取分别与各个同步节点对应的标记对账表，在各个同步节点对应的标记对账表对齐之后，从各个标记对账表中排列于对齐数据之后的对账数据进行逐条比对，进而根据对标记对账表的比对结果确定各个同步节点中存在数据缺失的同步节点，实现了基于各个同步节点中的对齐数据之后的同步数据之间的比对，消除了相关技术中因无法确定各个节点对应的一致的数据镜像而无法实现数据对账的缺陷，亦克服了由人工进行数据对账的比对效率低下的问题，从而有效地提高了对流式数据的对账效率。

为对本申请进行进一步说明，请参考下列实施例：

图2是根据本申请一示例性实施例提供的另一种数据对账方法的流程图，如图2所示，该方法可以包括以下步骤：

步骤201，确定与各个同步节点分别对应的标记对账表。

标记对账表中的对账数据可以包括与该标记对账表对应的同步节点中的同步数据，在一实施例中，标记对账表中的对账数据可以在通过数据同步工具在将源数据库中的业务表同步至任一同步节点的过程中而由数据同步工具确定的；在另一实施例中，标记对账表中的对账数据可以根据同步节点对应的日志文件而确定，本申请对确定标记对账表中的对账数据的来源方式不做限制。

在确定待抽取的同步数据的过程中，可以根据预设的配置文件确定同步数据中的目标字段，将目标字段的取值对预设的精度数值进行取模运算，进而抽取运算结果与预设的标记数值相等的同步数据。

以数据同步工具向一个同步节点的业务表更新如表1所示的同步操作数据为例，表1为一示例性的同步数据的日志记录，该日志记录对应的业务表包括有ID、Name、对业务表的操作类型(以Type表示)等字段信息。

ID	Name	Type	Others
				0	张零	Insert	……
4	李四	Insert	……
				5	王五	Update	……
8	赵八	Delete	……
				4	钱四	Update	……

表1

进一步的，以目标字段为ID、预设的精度数值为4、标记数值为0为例，则可得到表1中的字段ID对应的取值0、4、5、8、4对预设的精度数值4进行取模运算后的运算结果分别为0、0、1、0、0，则字段ID对应的取值对预设的精度数值4进行取模运算后，得到的运算结果中与预设的标记数值0相等的运算结果分别为包含字段ID为0、字段Name为张零、字段Type为Insert的数据信息；包含字段ID为4、字段Name为李四、字段Type为Insert的数据信息；包含字段ID为5、字段Name为王五、字段Type为Update的数据信息；包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息和包含字段ID为4、字段Name为钱四、字段Type为Update的数据信息。

相应的，在字段ID对应的取值对预设的精度数值4进行取模运算后而得到的运算结果中，对与预设的标记数值0相等的同步数据抽取至当前同步节点对应的标记对账表中，在表1对应的示例性实施例中，所抽取的同步数据为包含字段ID为0、字段Name为张零、字段Type为Insert的数据信息；包含字段ID为4、字段Name为李四、字段Type为Insert的数据信息；包含字段ID为5、字段Name为王五、字段Type为Update的数据信息；包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息和包含字段ID为4、字段Name为钱四、字段Type为Update的数据信息。

将抽取到的数据信息添加至同步节点对应的标记对账表中，在一示例性的标记对账表中，标记对账表中的字段可以包括字段ID、字段Time、同步至标记对账表中的与对该同步数据进行操作的时间顺序有关的时刻(以Time表示)、对业务表的操作类型(以Type表示)和标记距离(以Distance表示)，其中，标记对账表中的字段Time不仅与数据同步工具将字段Time的取值对应的数据信息同步至标记对账表的同步时间有关，而且与基于该数据信息执行对业务表的操作处理的操作时间有关。

在实际应用过程中，标记对账表中所记录的对账数据可以按照操作时间进行顺序记录，即标记对账表中的字段Time的取值包括同步至标记对账表中的与对该同步数据进行操作的时间顺序有关的时刻。

精度数值的取值大小可根据实际情况的需要进行调整，诸如4或者7，在精度数值的取值越大的情况下，对业务表中的同步数据所抽取的数据间隔粒度越大，而在精度数值的取值越小的情况下，对业务表中的同步数据所抽取的数据间隔粒度越小，诸如在精度数值的取值为1，标记数值仍为0的情况下，则对业务表中的任一同步数据均进行抽取，进而记录在标记对账表中，具体的，实际应用过程中可以取精度数值较大的值，从而减少抽取至标记对账表中的对账数据的数量，节省数据的存储空间且提高了对账速度。

标记距离字段对应的数值可以为标记距离字段的取值对应的同步数据与标记对账表中的上一个取值对应的同步数据在业务表中的间隔数值，其中，标记距离字段的取值对应的同步数据可以由标记距离字段的取值对应的对账数据映射于同步节点的业务表中的数据信息而确定的。

作为一示例性的基于表1所示的业务表而得到的标记对账表，标记对账表中所记录的内容可以为表2所示，表2为一示例性的标记对账表，针对预设的精度数值为4、标记数值为0、字段ID作为目标字段，所抽取的数据信息为包含字段ID为0、字段Name为张零、字段Type为Insert的数据信息；包含字段ID为4、字段Name为李四、字段Type为Insert的数据信息；包含字段ID为5、字段Name为王五、字段Type为Update的数据信息；包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息和包含字段ID为4、字段Name为钱四、字段Type为Update的数据信息，相应的，将所抽取的同步数据添加至标记对账表后，得到的标记对账表可以如表2所示：

ID	Time	Type	Distance
				0	2019.10.31 00:00:00:01	Insert	0
4	2019.10.31 00:00:00:02	Insert	1
				8	2019.10.31 00:00:00:04	Delete	2
4	2019.10.31 00:00:00:05	Update	1

表2

表2中记录了所抽取的ID分别为0、4、8、4的同步数据对应的对账数据，即包含字段ID为0、字段Time为2019.10.31 00:00:00:01、字段Type为Insert、字段Distance为0的对账数据；包含字段ID为4、字段Time为2019.10.3100:00:00:02、字段Type为Insert、字段Distance为1的对账数据；包含字段ID为8、字段Time为2019.10.31 00:00:00:04、字段Type为Delete、字段Distance为2的对账数据；包含字段ID为4、字段Time为2019.10.31 00:00:00:05、字段Type为Update、字段Distance为1的对账数据。

进一步的，以表2中的标记距离字段(即表2中的Distance)的取值为例，对标记对账表中的标记距离字段的取值做进一步的说明：标记对账表中的“包含字段ID为8、字段Time为2019.10.31 00:00:00:04、字段Type为Delete、字段Distance为2的对账数据”对应于业务表(即表1)中的“包含字段ID为8、字段Name为赵八、字段Type为Delete的同步数据”，相应的，标记对账表中的“包含字段ID为8、字段Time为2019.10.31 00:00:00:04、字段Type为Delete、字段Distance为2的对账数据”的上一条对账数据“包含字段ID为4、字段Time为2019.10.31 00:00:00:02、字段Type为Insert、字段Distance为1的对账数据”对应于业务表中的“包含字段ID为4、字段Name为李四、字段Type为Insert的数据信息”。

由于，标记对账表中的“包含字段ID为8、字段Time为2019.10.3100:00:00:04、字段Type为Delete的对账数据”与“包含字段ID为4、字段Time为2019.10.31 00:00:00:02、字段Type为Insert的对账数据”映射于业务表的同步数据之间的间隔数值为2，即业务表中的“包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息”和“包含字段ID为4、字段Name为李四、字段Type为Insert的数据信息”之间的间隔数值为2，相应的标记对账表中的“包含字段ID为8、字段Time为2019.10.31 00:00:00:04、字段Type为Delete的对账数据”所对应的字段Distance的取值为2。

类似的，标记对账表中的“包含字段ID为4、字段Time为2019.10.3100:00:00:05、字段Type为Update的对账数据”与其对应的上一条对账数据，即“包含字段ID为8、字段Time为2019.10.31 00:00:00:04、字段Type为Delete的对账数据”两者在业务表中分别对应的同步数据之间的间隔数值为1，标记对账表中的“包含字段ID为4、字段Time为2019.10.3100:00:00:05、字段Type为Update的对账数据”在业务表中对应的“包含字段ID为4、字段Name为钱四、字段Type为Update的数据信息”与标记对账表中的“包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息”在同步节点的业务表中对应的“包含字段ID为8、字段Name为赵八、字段Type为Delete的数据信息”之间的间隔数值为1，则标记对账表中的“包含字段ID为4、字段Time为2019.10.31 00:00:00:05、字段Type为Update的对账数据”对应的字段Distance的取值为1。

步骤202，在任一同步节点对应的标记对账表中，确定一个或多个操作时刻位于预设时长内且操作字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据。

步骤203，将各个同步节点的标记对账表中均存在的一个起始数据确定为对齐数据。

在实现对各个同步节点对应的标记对账表中的数据进行数据对齐的过程中，可以将操作时刻位于预设时长内且操作类型字段对应的类型信息和标记距离字段对应的数值的组合唯一的数据信息确定为该数据信息所在的同步节点中的起始数据，进而在各个同步节点对应的起始数据相等的情况下，则将该起始数据作为对齐数据，从而对排列于对齐数据之后的对账数据进行逐条比对。

具体的，可以在任一同步节点对应的标记对账表中，将一个或多个操作时刻位于预设时长内且操作字段对应的类型信息和标记距离字段对应的数值的组合唯一的同步数据确定为起始数据，进而比对各个同步节点的标记对账表对应的起始数据，将各个同步节点的标记对账表对应的相同的起始数据确定为所述各个同步节点之间的对齐数据。

以三个串连的同步节点为例，对步骤205的具体实施方式进行说明，图3是根据本申请一示例性实施例提供的一种数据对账方法的应用场景图，如图3所示，数据同步工具将包含对源数据库中的业务表的操作信息同步至同步节点1后，进而数据同步工具对同步节点2进行同步，相应的，同步至同步节点2中的同步数据仍然为对源数据库中的业务表的操作相关的数据信息，进一步的，在完成对同步节点2的数据同步后，数据同步工具将与对源数据库中的业务表的操作相关的数据信息同步至同步节点3中。

进一步的，对于同步节点1、同步节点2和同步节点3分别对应的标记对账表1、标记对账表2和标记对账表3中，可以先在各个标记对账表的对账数据中，确定一个或多个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的对账数据，以作为标记对账表一示例性实施例的表2为例，假如表2中的对象数据的操作时刻均处于预设时长内，则可以将4个操作类型字段对应的类型信息和标号字段(如ID)对应的标识号的组合唯一的对账数据作为起始数据，即表2中的“包含字段ID为0、字段Type为Insert的对账数据”、“包含字段ID为4、字段Type为Insert的对账数据”、“包含字段ID为8、字段Type为Delete的对账数据”和“包含字段ID为4、字段Type为Update的对账数据”。

进一步的，对于各个同步节点对应的标记对账表中的起始数据，假如同步节点1对应的标记对账表中确定出的起始数据为对账数据A、对账数据B和对账数据C；同步节点2对应的标记对账表中确定出的起始数据为对账数据A′、对账数据B′、对账数据D和对账数据E；同步节点3对应的标记对账表中确定出的起始数据为对账数据A′、对账数据F和对账数据G，其中，对账数据A与对账数据A′两者的操作类型字段对应的类型信息和标号字段对应的标识号的组合相同、对账数据B与对账数据B′两者的操作类型字段对应的类型信息和标号字段对应的标识号的组合相同，则可以将同步节点1、同步节点2和同步节点3分别对应的标记对账表1、标记对账表2和标记对账表3中均存在的一个起始数据，即对账数据A(或者对账数据A′)确定为对齐数据。在实际应用过程中，预设时长可以根据实际需要进行调整，本申请对预设时长的具体取值不做限制。

步骤204，从排列于对齐数据之后的对账数据进行逐条比对。

在完成对各个同步节点的标记对账表进行数据对齐后，可以对各个同步节点的标记对账表中排列于对齐数据之后的对账数据进行逐条比对，以确定各个同步节点对应的标记对账表中的排列于对齐数据之后的对账数据之间的一致性，进而将存在不符合一致性的对账数据的标记对账表对应的同步节点确定为各个同步节点中的存在数据缺失的同步节点。

具体的，对账数据之间的一致性可以表现为各个标记对账表中的对账数据的类型信息的一致，并且在对账数据的类型信息相同的情况下，对账数据中标记距离字段对应的数值的一致，即下述步骤205至步骤208的过程。

进一步的，对账数据的类型信息的一致可以为对账数据的类型信息相同，诸如对账数据的字段Type均为insert或者均为delete，可以为对账数据中操作类型字段的类型信息和标号字段对应的标识号的组合相同，诸如对账数据A的字段Type的类型信息为update且ID字段对应的标识号为2，对账数据A′的字段Type的类型信息同为update且ID字段对应的标识号同为2。而在对账数据的类型信息之间不存在一致性的情况下，可以将缺少该类型信息的同步节点确定为存在数据丢失的同步节点。

在对账数据的类型信息存在一致的情况下，可以判断对账数据中标记距离字段对应的数值是否一致，其中，标记距离字段对应的数值的一致表现为标记距离字段对应的数值相等，诸如对账数据A的标记距离字段对应的数值为2，对账数据A′的标记距离字段对应的数值同为2，则可以确定对账数据A与对账数据A′的标记距离字段一致。而在类型信息一致而对账数据的标记距离字段对应的数值不一致的情况下，确定标记距离字段对应的数值偏小的同步数据所在的同步节点确定为存在数据缺失的同步节点。

步骤205，判断是否存在类型信息缺失的同步节点，若存在，则进入步骤206，否则进入步骤207。

步骤206，将存在类型信息缺失的同步节点确定为各个同步节点中存在数据缺失的同步节点。

步骤207，判断是否存在标记距离字段对应的数值不完全相同的情况，若存在，则进入步骤208，否则返回步骤204。

在存在三个及三个以上的同步节点的情况下，各个同步节点对应的标记对账表存在三个及三个以上，相应的，在各个同步节点对应的标记对账表中的对账数据存在至少一个标记对账表中的对账数据存在与其他同步节点对应的标记对账表中相应对账数据的类型信息一致或者类型信息和标识号的组合一致的情况下，而标记距离字段与对应的数值不同，则确定标记距离字段对应的数值不完全相同。

以存在的三个同步节点，即同步节点1、同步节点2和同步节点3为例，同步节点1、同步节点2和同步节点3分别对应的标记对账表a、标记对账表b和标记对账表c中，排列于对齐数据A之后的第一个对账数据的类型信息均为delete，且进一步的，排列于对齐数据A之后的第一个对账数据的标识号均为4，但不同于标记对账表a和标记对账表b中的排列于对齐数据A之后的第一个对账数据的标记距离字段对应的数值为3，标记对账表c中的排列于对齐数据A之后的第一个对账数据的标记距离字段对应的数值为2，则在标记对账表a和标记对账表b中的排列于对齐数据A之后的第一个对账数据的标记距离字段对应的数值相等的情况下，标记对账表c中的排列于对齐数据A之后的第一个对账数据的标记距离字段对应的数值不同，则确定标记对账表a、标记对账表b和标记对账表c中的标记距离字段对应的数值不完全相同。

进一步的，标记对账表c中存在相较于其他同步节点对应的标记对账表中的对账数据的的标记距离字段的数值偏小，则将标记距离字段对应的数值偏小的对账数据所在的同步节点，即同步节点3，确定为存在数据缺失的同步节点。

步骤208，将标记距离字段对应的数值偏小的同步数据所在的同步节点确定为存在数据缺失的同步节点。

进一步的，对于所确定出的存在数据缺失的同步节点而言，可以针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息进行提示。具体的，提示的内容可以包括存在数据缺失的同步节点信息，或者缺失数据的时间范围，或者存在数据缺失的同步节点信息和缺失数据的时间范围，本申请对提示的具体内容不做限制。

根据上述实施例可知，通过将各个同步节点分别对应的标记对账表中的对账数据进行对齐，进而对各个同步节点对应的标记对账表中的排列于对齐数据之后的对账数据进行逐条比对，进而根据类型信息是否缺失、标记距离字段对应的数值是否不完全相同的情况，确定各个同步节点中存在数据缺失的同步节点，实现了对各个同步节点对于流式数据的同步情况的确定，且在保证了确定的准确性的情况下，提高了对各个同步节点中的存在数据缺失的同步节点的确定效率，解决了相关技术中数据对账准确性低、效率低下的问题。

图4是根据本申请一示例性实施例中的一种电子设备的示意结构图。请参考图4，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据对账装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图5，图5是根据本申请一示例性实施例中的一种数据对账装置的框图，如图5所示，在软件实施方式中，该数据对账装置可以包括：

获取单元501，分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

比对单元502，在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

确定单元503，根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

可选的，所述获取单元501具体用于：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

可选的，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；所述确定单元503具体用于：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据所在的同步节点确定为存在数据缺失的同步节点。

可选的，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述比对单元502具体用于：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；

在针对所述各个同步节点的标记对账表所确定的起始数据相同的情况下，将所述起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，所述起始数据相同包括所述起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

可选的，还包括：

发送单元504，针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息和/或缺失数据的时间范围。

所述装置与上述方法相对应，更多相同的细节不再一一赘述。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种数据对账方法，其特征在于，所述方法包括：

分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

2.根据权利要求1所述方法，其特征在于，所述对所述业务表的同步数据进行抽取，包括：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

3.根据权利要求1所述方法，其特征在于，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；

所述根据比对结果确定所述各个同步节点中存在数据缺失的同步节点，包括：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据对应的同步节点确定为存在数据缺失的同步节点。

4.根据权利要求1所述方法，其特征在于，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述对各个同步节点的标记对账表进行数据对齐，包括：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；

在针对所述各个同步节点的标记对账表所确定的起始数据相同的情况下，将所述起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，所述起始数据相同包括所述起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

5.根据权利要求1所述方法，其特征在于，还包括：

针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息和/或缺失数据的时间范围。

6.一种数据对账装置，其特征在于，所述装置包括：

获取单元，分别获取各个同步节点对应的标记对账表；其中，任一同步节点对应的标记对账表包括：数据同步工具在将对源数据库中的业务表的操作信息同步至所述任一同步节点的过程中，对所述业务表的同步数据进行抽取而得到的对账数据，且各条对账数据按照对应的同步数据的同步时刻依次排列；

比对单元，在对各个同步节点的标记对账表进行数据对齐后，从排列于对齐数据之后的对账数据进行逐条比对；

确定单元，根据比对结果确定所述各个同步节点中存在数据缺失的同步节点。

7.根据权利要求6所述装置，其特征在于，所述获取单元具体用于：

将同步数据中的目标字段的取值对预设的精度数值进行取模运算；

抽取与预设的标记数值相等的运算结果对应的同步数据。

8.根据权利要求6所述装置，其特征在于，所述标记对账表中包括操作类型字段和标记距离字段，其中，所述操作类型字段对应的类型信息为对所述业务表执行的操作类型，所述标记距离字段对应的数值为所述标记距离字段的取值对应的同步数据与所述标记对账表中的上一个取值对应的同步数据在所述业务表中的间隔数值；

所述确定单元具体用于：

将存在类型信息缺失的同步节点确定为所述各个同步节点中存在数据缺失的同步节点；或者，

在操作类型字段对应的类型信息相同、标记距离字段对应的数值不完全相同的情况下，将标记距离字段对应的数值偏小的对账数据所在的同步节点确定为存在数据缺失的同步节点。

9.根据权利要求6所述装置，其特征在于，所述标记对账表中包括操作时刻，所述操作时刻为写入所述标记对账表中的与对所述同步数据进行操作的时间顺序有关的时刻；所述比对单元具体用于：

在任一同步节点对应的标记对账表中，确定一个操作时刻位于预设时长内且操作类型字段对应的类型信息和标号字段对应的标识号的组合唯一的起始数据；

在针对所述各个同步节点的标记对账表所确定的起始数据相同的情况下，将所述起始数据确定为同步节点对应的标记对账表中的对齐数据，其中，所述起始数据相同包括所述起始数据的操作类型字段对应的类型信息相同和标记距离字段对应的数值相同。

10.根据权利要求6所述装置，其特征在于，还包括：

针对存在数据缺失的同步节点发送告警信息，以通过所述告警信息提示存在数据缺失的同步节点信息和/或缺失数据的时间范围。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

Images