CN110059077A - 一种数据核对方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据核对方法、装置、设备和存储介质。其中，该方法包括：获取至少两个待核对服务对应的业务数据；对所述待核对服务的业务数据进行清洗，得到对应的待核对数据；依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据。本发明实施例提供的技术方案，对待核对服务对应的全部业务数据依次进行数据获取、数据清洗以及数据核对，以实现数据核对过程的步骤模块化，无需在获取到业务数据后，逐条数据进行清洗和核对，保证数据获取、数据清洗与数据核对的解耦，提高数据核对的性能。

Description

一种数据核对方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种数据核对方法、装置、设备和存储介质。

背景技术

当前的互联网业务场景中，不同的业务系统分别处理各自对应服务下的业务逻辑，从而存储对应服务下的业务数据。由于不同服务之间或者服务与数据库之间会存在通信异常，甚至是业务逻辑异常的情况，使得不同服务或者服务与数据库所对应的业务系统之间所存储的业务数据不一致，从而对后续业务造成一定的影响或损失。

目前面对业务系统之间所存储的业务数据不一致的场景，采用一种对多个业务系统上的业务数据进行批量离线对账的方式进行处理，以得到存在差异的业务数据并进行处理；此时通过批量访问多个业务系统上待核对的数据，进而逐条数据在清洗后进行对账以判断不同业务系统上每一业务数据的差异。由于现有的离线对账系统一般逐条数据进行清洗和对账，使得清洗逻辑与对账逻辑耦合，导致数据核对性能较低。

发明内容

本发明实施例提供了一种数据核对方法、装置、设备和存储介质，实现数据获取、数据清洗与数据核对的解耦，提高数据核对的性能。

第一方面，本发明实施例提供了一种数据核对方法，该方法包括：

获取至少两个待核对服务对应的业务数据；

对所述待核对服务的业务数据进行清洗，得到对应的待核对数据；

依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据。

第二方面，本发明实施例提供了一种数据核对装置，该装置包括：

数据抽取模块，用于获取至少两个待核对服务对应的业务数据；

数据清洗模块，用于对所述待核对服务的业务数据进行清洗，得到对应的待核对数据；

数据核对模块，用于依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据核对方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据核对方法。

本发明实施例提供的一种数据核对方法、装置、设备和存储介质，获取至少两个待核对服务对应的业务数据，并对业务数据进行清洗后得到待核对数据，从而依次对不同待核对服务对应的各个待核对数据进行核对，得到各待核对服务的差异数据，本方案对待核对服务对应的全部业务数据依次进行数据获取、数据清洗以及数据核对，以实现数据核对过程的步骤模块化，无需在获取到业务数据后，逐条数据进行清洗和核对，保证数据获取、数据清洗与数据核对的解耦，提高数据核对的性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1A为本发明实施例一提供的一种数据核对方法的流程图；

图1B为本发明实施例一提供的数据核对过程的原理示意图；

图2A为本发明实施例二提供的一种数据核对方法的流程图；

图2B为本发明实施例二提供的数据核对过程的原理示意图；

图3A为本发明实施例三提供的一种数据核对方法的流程图；

图3B为本发明实施例三提供的数据核对平台的原理示意图；

图4为本发明实施例四提供的一种数据核对装置的结构示意图；

图5为本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1A为本发明实施例一提供的一种数据核对方法的流程图，本实施例可应用于任一种可以对不同服务间业务数据的一致性进行核对的离线对账系统中。本实施例提供的一种数据核对方法可以由本发明实施例提供的数据核对装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是任一种具备数据处理能力的服务器。

具体的，参考图1A，该方法可以包括如下步骤：

S110，获取至少两个待核对服务对应的业务数据。

具体的，在互联网业务场景中，不同的业务服务对应有不同的业务系统，业务系统中存储对应服务下的业务数据，此时待核对业务是指在互联网业务所包含的各类服务中，其对应的业务系统中存储的业务数据需要参与本次数据核对的服务；由于数据核对需要判断不同服务或者服务与数据库所对应的业务系统之间所存储的业务数据的一致性，因此待核对服务之间的业务功能具备一定的关联性，使得不同待核对服务对应的业务数据之间具备一定的关联性。

可选的，本实施例在对不同服务之间的业务数据存在核对需求时，首先确定参与本次数据核对的至少两个待核对服务，并在各个待核对服务对应的业务系统中获取已存储的参与本次数据核对的业务数据；此时需要一次性批量获取参与本次数据核对的全部业务数据，以便后续进行。

S120，对待核对服务的业务数据进行清洗，得到对应的待核对数据。

可选的，由于不同待核对服务所针对的业务功能不同，因此待核对服务在业务执行过程中所生成的业务数据的数据格式也不相同，此时不同待核对服务对应的业务数据是异构多样化的，为了便于后续对不同待核对服务对应的业务数据进行快速比对，本实施例在获取到至少两个待核对服务对应的业务数据后，需要对获取的待核对服务对应的业务数据进行清洗，以便将不同待核对服务对应的业务数据统一转换成满足数据核对要求下的待核对数据，使得不同待核对服务对应的待核对数据具备相同的核对格式，从而保证后续数据核对的高效性。

示例性的，由于业务数据中可能会存在一些残缺数据、错误数据或者重复数据等，在后续进行数据核对时，影响到对应的核对效率，因此本实施例通过对各个待核对服务对应的业务数据进行清洗，例如补全残缺数据、修正错误数据或者过滤重复数据等，进而得到满足同一数据核对要求的待核对数据，以便后续对不同待核对服务对应的待核对数据进行快速核对。

S130，依次对至少两个待核对服务对应的待核对数据进行核对，得到待核对服务的差异数据。

可选的，核对是指对于不同待核对服务对应的待核对数据根据两者之间的相关性进行一一比对分析，本实施例在对各个待核对服务下的每一业务数据进行清洗，得到对应的待核对数据后，可以根据不同待核对服务的待核对数据之间的关联性依次对不同待核对服务对应的待核对数据进行核对，判断不同待核对服务对应的待核对数据是否一致，从而得到各个待核对服务的差异数据。

示例性的，可以预先确定不同待核对服务的各个业务数据对应的业务执行时间，也就是不同待核对服务的每一业务数据的生成时间，后续按照不同待核对服务上的业务执行时间顺序依次对不同待核对服务上同一业务执行时间范围内对应的待核对数据进行核对，从而得到各个待核对服务的差异数据。

此外，本实施例的数据核对方法的执行主体为预先开发的数据核对平台，该数据核对平台支持任一服务对应的业务数据的对账，如图1B所示，该数据核对平台上预先分层设置数据抽取模块、数据清洗模块和数据核对模块，从而将离线对账方案中的各个步骤模块化，将不同服务的业务数据作为一个整体，统一进行获取、清洗和核对，此时提高数据核对平台的抽象度，使得数据核对平台能够动态同时支持各个不同服务之间的数据对账，也可以新增其他服务间的数据对账，具备一定的通用性；同时数据核对平台将数据获取、数据清洗与数据核对相互解耦，进一步提高了数据对账的处理性能。

本实施例提供的技术方案，获取至少两个待核对服务对应的业务数据，并对业务数据进行清洗后得到待核对数据，从而依次对不同待核对服务对应的各个待核对数据进行核对，得到各待核对服务的差异数据，本方案对待核对服务对应的全部业务数据依次进行数据获取、数据清洗以及数据核对，以实现数据核对过程的步骤模块化，无需在获取到业务数据后，逐条数据进行清洗和核对，保证数据获取、数据清洗与数据核对的解耦，提高数据核对的性能。

实施例二

图2A为本发明实施例二提供的一种数据核对方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，为了提高待核对服务中的业务数据在各个阶段的数据处理效率，本实施例中对于数据获取、数据清洗以及数据核对的具体过程进行详细的解释说明。

可选的，参照图2A，本实施例中可以包括如下步骤：

S210，通过至少两个分片异步抽取待核对服务对应的源头数据和目标数据。

其中，分片是指按照一定规则预先将待处理数据划分成相互独立、正交的数据子集，然后将各个数据子集分布到不同的数据处理节点上，也就是通过多个数据处理节点分布式处理对应的业务数据。

可选的，本实施例中的数据核对平台在获取不同待核对服务对应的业务数据时，如图2B所示，可以通过至少两个分片同时在不同待核对服务对应的业务系统中异步抽取对应的业务数据，其中业务数据包括源头数据和目标数据；由于业务系统按照各服务中每一业务的执行顺序对应存储业务执行过程中生成的业务数据，此时源头数据是指按照业务执行顺序存储的全部业务数据中参与本次数据核对的第一个业务数据，目标数据是指存储在源头数据之后，后续业务执行过程中生成的参与本次数据核对的其他业务数据。

示例性的，本实施例包括待核对服务A和待核对服务B，此时可以通过数据处理节点1来抽取待核对服务A对应的源头数据和目标数据，通过数据处理节点2来抽取待核对服务B对应的源头数据和目标数据，或者通过数据处理节点1来抽取待核对服务A和待核对服务B对应的参与本数据核对的前半部分的业务数据，通过数据处理节点2来抽取待核对服务A和待核对服务B对应的参与本数据核对的后半部分的业务数据，从而提高业务数据的获取效率。

此外，本实施例中通过直接在不同待核对服务对应的业务系统中抽取所存储得源头数据和目标数据，来获取不同待核对服务对应的业务数据，无需批量访问各个待核对服务对应的线上的业务数据，从而将数据核对与线上业务隔离，降低待核对服务的线上访问量，避免影响线上业务的服务质量，保证线上业务的执行效率。

S220，格式化源头数据和目标数据，得到对应的业务数据。

可选的，由于不同待核对服务之间的业务数据具备对应的数据格式，为了保证后续数据核对的高效性，本实施例可以对获取的不同待核对服务对应的源头数据和目标数据格式化，得到同一数据格式下的业务数据，以便于下一步快速实现数据清洗和数据核对。

S230，通过至少两个分片，根据匹配的业务功能对待核对服务的业务数据进行清洗，得到对应的待核对数据。

可选的，在进行数据清洗时，为了提高数据清洗的效率，如图2B所示，本实施例可以通过至少两个分片同时清洗各个待核对服务对应的业务数据。具体的，各个分片首先确定待清洗的业务数据所在的待核对服务所对应执行的业务功能，本实施例中可以根据该业务数据对应的业务执行逻辑确定具体的业务功能，进而根据每一业务数据匹配的业务功能对该业务数据进行清洗，得到满足数据核对要求的待核对数据，以便后续快速进行数据核对，提升数据核对平台的整体性能。

S240，在键值对非关系型内存化存储redis系统中存储待核对数据。

可选的，键值对非关系型内存化存储redis系统是一种基于key-value的存储系统，支持存储包括字符串string、链表list、集合set和有序集合zset等各类value类型数据；本实施例在对业务数据进行清洗后，如图2B所示，同时会将清洗后得到的待核对数据存储到redis系统中，便于后续数据核对时的快速查找。

S250，通过至少两个分片，采用redis系统中的差集算法确定至少两个待核对服务对应的待核对数据中的差异数据。

具体的，由于redis系统具备极高的读写性能，支持高性能的在不同数据间的交集和差集算法，因此本实施例可以通过至少两个分片同时采用redis系统中的差集算法对至少两个待核对服务对应的待核对数据进行核对，确定各个待核对服务的差异数据。其中，redis系统中的差集算法的算法复杂度是O(n)，而现有技术中在不同待核对服务中进行双向数据核对的方式，其对应的算法复杂度为O(n*n)，随着待核对数据的数量增加，数据核对耗时也明显暴增，本方案相应降低了数据核对的算法复杂度，进而提高了数据核对性能。

在本实施例中，数据核对平台对于数据获取、数据清洗和数据核对每一步骤均采用至少两个分片进行并行处理，极大提升了各阶段的数据处理性能，从而保证数据核对平台的整体性能。

需要说明的是，本实施例在数据获取、数据清洗和数据核对每一阶段处理业务数据时，均可以设置对应的时间阈值，在每次达到该时间阈值，才开始执行对应的数据获取、数据清洗和数据核对操作，以便及时确定待核对服务的差异数据。

本实施例提供的技术方案，通过异步抽取不同待核对服务对应的业务数据，无需批量访问线上业务，将数据核对与线上服务隔离，避免影响线上业务的服务质量，而且在数据核对平台中对于数据获取、数据清洗和数据核对的每个阶段均通过至少两个分片来并行处理对应的业务数据，提高数据核对平台的整体性能，同时基于redis系统支持的差集算法确定待核对服务的差异数据，降低数据核对的算法复杂度，提升了数据核对的性能。

实施例三

图3A为本发明实施例三提供的一种数据核对方法的流程图，图3B为本发明实施例三提供的数据核对平台的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对于数据核对平台中包含的其他功能进行详细的解释说明。

可选的，参照图3A，本实施例中可以包括如下步骤：

S310，根据预设接入配置接入对应的待核对服务。

具体的，在获取不同待核对服务对应的业务数据之前，数据核对平台会预先接入本次数据核对涉及到的待核对服务，从而实现任意接入的待核对服务的业务数据核对。此时如图3B所示，数据核对平台中预先设置对应的配置管理中心，用户通过该配置管理中心可以输入相应的接入配置参数，从而根据预设接入配置接入对应的待核对服务，以便后续动态高效地获取待核对的业务数据，提高待核对服务的接入效率。

S320，获取至少两个待核对服务对应的业务数据。

S330，对待核对服务的业务数据进行清洗，得到对应的待核对数据。

S340，依次对至少两个待核对服务对应的待核对数据进行核对，得到待核对服务的差异数据。

S350，统计记录待核对服务对应的差异数据。

可选的，依次对各个待核对服务对应的待核对数据进行核对得到待核对服务的差异数据后，为了便于后续对差异数据进行处理，本实施例额数据核对平台还可以对各个待核对服务的差异数据进行记录，以统计出不同待核对服务中不一致的业务数据，便于进行检查修正。此外，本实施例还可以对各个待核对服务的差异数据进行实时告警、差异明细查看以及汇总，保证业务数据的准确性，保护用户利益。

本实施例提供的技术方案，通过预设接入配置接入对应的待核对服务，以便动态抽取各待核对服务对应的业务数据，提高获取业务数据的高效性，同时记录各个待核对服务的差异数据，便于后续检查修正，提高业务数据的准确性。

实施例四

图4为本发明实施例四提供的一种数据核对装置的结构示意图，具体的，如图4所示，该装置可以包括：

数据抽取模块410，用于获取至少两个待核对服务对应的业务数据；

数据清洗模块420，用于对待核对服务的业务数据进行清洗，得到对应的待核对数据；

数据核对模块430，用于依次对至少两个待核对服务对应的待核对数据进行核对，得到待核对服务的差异数据。

本实施例提供的技术方案，获取至少两个待核对服务对应的业务数据，并对业务数据进行清洗后得到待核对数据，从而依次对不同待核对服务对应的各个待核对数据进行核对，得到各待核对服务的差异数据，本方案对待核对服务对应的全部业务数据依次进行数据获取、数据清洗以及数据核对，以实现数据核对过程的步骤模块化，无需在获取到业务数据后，逐条数据进行清洗和核对，保证数据获取、数据清洗与数据核对的解耦，提高数据核对的性能。

进一步的，上述数据抽取模块410，可以包括：

数据抽取单元，用于通过至少两个分片异步抽取待核对服务对应的源头数据和目标数据；

格式化单元，用于格式化源头数据和目标数据，得到对应的业务数据。

进一步的，上述数据清洗模块420，可以具体用于：

通过至少两个分片，根据匹配的业务功能对待核对服务的业务数据进行清洗。

进一步的，上述数据核对装置，还可以包括：

数据存储模块，用于在得到对应的待核对数据之后，在键值对非关系型内存化存储redis系统中存储待核对数据。

进一步的，上述数据核对模块430，可以具体用于：

通过至少两个分片，采用所述redis系统中的差集算法确定至少两个待核对服务对应的待核对数据中的差异数据。

进一步的，上述数据核对装置，还可以包括：

服务接入模块，用于在获取至少两个待核对服务对应的业务数据之前，根据预设接入配置接入对应的待核对服务。

进一步的，上述数据核对装置，还可以包括：

差异统计模块，用于在得到待核对服务的差异数据之后，统计记录待核对服务对应的差异数据。

本实施例提供的数据核对装置可适用于上述任意实施例提供的数据核对方法，具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器50、存储装置51、通信装置52；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储装置51、通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的数据核对方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述数据核对方法。

存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置52可用于实现设备间的网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的数据核对方法，具备相应的功能和有益效果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的数据核对方法。该方法具体可以包括：

获取至少两个待核对服务对应的业务数据；

对待核对服务的业务数据进行清洗，得到对应的待核对数据；

依次对至少两个待核对服务对应的待核对数据进行核对，得到待核对服务的差异数据。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据核对方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据核对装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据核对方法，其特征在于，包括：

获取至少两个待核对服务对应的业务数据；

对所述待核对服务的业务数据进行清洗，得到对应的待核对数据；

依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据。

2.根据权利要求1所述的方法，其特征在于，所述获取至少两个待核对服务对应的业务数据，包括：

通过至少两个分片异步抽取所述待核对服务对应的源头数据和目标数据；

格式化所述源头数据和所述目标数据，得到对应的业务数据。

3.根据权利要求1所述的方法，其特征在于，所述对所述待核对服务的业务数据进行清洗，包括：

通过至少两个分片，根据匹配的业务功能对所述待核对服务的业务数据进行清洗。

4.根据权利要求1所述的方法，其特征在于，在得到对应的待核对数据之后，还包括：

在键值对非关系型内存化存储redis系统中存储所述待核对数据。

5.根据权利要求4的方法，其特征在于，所述依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据，包括：

通过至少两个分片，采用所述redis系统中的差集算法确定所述至少两个待核对服务对应的待核对数据中的差异数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，在获取至少两个待核对服务对应的业务数据之前，还包括：

根据预设接入配置接入对应的待核对服务。

7.根据权利要求1-5任一项所述的方法，其特征在于，在得到所述待核对服务的差异数据之后，还包括：

统计记录所述待核对服务对应的差异数据。

8.一种数据核对装置，其特征在于，包括：

数据抽取模块，用于获取至少两个待核对服务对应的业务数据；

数据清洗模块，用于对所述待核对服务的业务数据进行清洗，得到对应的待核对数据；

数据核对模块，用于依次对所述至少两个待核对服务对应的待核对数据进行核对，得到所述待核对服务的差异数据。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据核对方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据核对方法。