CN116303804A

CN116303804A - 一种数据对比方法、装置、设备和介质

Info

Publication number: CN116303804A
Application number: CN202310565872.1A
Authority: CN
Inventors: 李善平; 胡道光; 秦利敏; 李鹏飞
Original assignee: Beijing Tuopu Fenglian Information Technology Co ltd
Current assignee: Beijing Tuopu Fenglian Information Technology Co ltd
Priority date: 2023-05-19
Filing date: 2023-05-19
Publication date: 2023-06-23
Anticipated expiration: 2043-05-19
Also published as: CN116303804B

Abstract

本申请提供了一种数据对比方法、装置、设备和介质，所述方法在建立数据库系统的基础上，增加了任务配发的阶段和对比阶段。在任务配发阶段中考虑了数据空闲时段和对比任务排序的问题，在对比阶段采用了双重数据摘要对比的方式，在保证对比效率和现有服务不中断的情况下，减小了对比的时间。

Description

一种数据对比方法、装置、设备和介质

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据对比方法、装置、设备和介质。

背景技术

随着技术的进步，目前各个行业的都在进行数字化和信息化的改造，各个设备的信息、各个类型的数据都在终端、服务器和数据库中存储和运转。同时，各个企业为了保证信息的安全性，通常会设置多个数据存储设备（数据库或服务器），有时是为了冗余存储，有时是为了方便与不同的外部设备进行交互，以实现数据隔离的效果。

由于各个数据库之间是相互独立的，有些时候需要将不同数据库中的数据进行对比，来确定数据的同步情况，传统技术中，通常会采用全盘比较的方式来进行对比，但这种方式的效率比较低。

发明内容

有鉴于此，本申请的目的在于提供一种数据对比方法、装置、设备和介质，用于解决现有技术中不同数据库进行数据对比时的对比效率较低的问题。

第一方面，本申请实施例提供了一种数据对比方法，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

所述多个数据收集数据库，用于分别从不同地区的业务服务器处获取，并存储前端基础数据；所述业务对接数据库，用于根据接收到的用户端所发出的用户请求，将与用户请求相对应的加工后的业务数据发送给用户端，并将所述发送的业务数据保存在本地；加工数据库，用于在接收到业务对接数据库所转发的用户请求后，根据所述用户请求和数据收集数据库所提供的前端基础数据生成与用户请求相对应的业务数据，并将生成的业务数据发送给业务对接数据库，并将生成和接收到的数据保存在本地；所述监管数据库，用于将加工数据库所生成的业务数据、数据收集数据库受获取到的基础数据和业务对接数据库所发送给用户端的业务数据进行保存和监管；

所述方法包括：任务配发阶段和对比阶段；

任务配发阶段包括：

监管数据库监测业务对接数据库中处于执行过程中的用户请求；

监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；

监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；

监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；

监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；

对比阶段包括：

目标数据库对保存在本地的数据中的目标数据集群计算数据摘要，并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；

监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。

可选的，步骤监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长，包括：

监管数据库根据所述用户请求中所携带的业务类型和业务范围，确定所述执行所述用户请求所需要调用的数据集群；

监管数据库根据数据库系统中各个数据库当前的空闲程度和所述各个数据库待执行的任务内容，确定各个数据库在预订时间内的计划空闲程度；

监管数据库根据所述各个数据库待执行的任务内容确定各个数据库中每个数据集群的数据空闲时段；

监管数据库根据所述需要调用的数据集群的大小和各个数据库在预订时间内的计划空闲程度确定数据对比时长。

可选的，步骤监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序，包括：

监管数据库根据各个数据库中每个数据集群的数据空闲时段和各个数据库的计划空闲程度，确定各个数据库处理每个处于空闲状态的数据集群的时间段；

监管数据库根据各个数据库处理每个处于空闲状态的数据集群的时间段，确定具有相同数据集群标识的数据集群的处理时间段；

监管数据库根据具有相同数据集群标识的数据集群的处理时间段，确定每个数据集群的对比顺序。

可选的，步骤监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量包括：

监管数据库按照负载均衡的分类策略，根据所述各个数据库中所保存的数据集群的大小和各个数据库的空闲程度，确定每个数据库执行对比任务的任务量；所述任务量与数据库的空闲程度呈正相关性。

可选的，所述数据摘要包括哈希值和MD5值。

可选的，步骤通知对应的目标数据库将该数据集群进行分割，包括：

监管数据库根据该数据集群的大小和影响用户请求的数量，确定分割得到的第一数据组的数量；

监管数据库按照上述第一数据组的数量通知对应的目标数据库将该数据集群进行分割。

可选的，步骤监管数据库根据该数据集群的大小和影响用户请求的数量，确定分割得到的第一数据组的数量，包括：

监管数据库根据历史数据中该数据集群在当前时间段的访问数量，确定历史参考值；

监管数据库根据该数据集群的数据类型和历史数据中各个用户请求访问该数据集群的数据类型的频率，确定调节比例；

监管数据库根据所述历史参考值和所述调节比例确定分割得到的第一数据组的数量；所述历史参考值与所述分割得到的第一数据组的数量呈正相关性。

第二方面，本申请实施例提供了一种数据对比装置，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

任务配发阶段，所述装置包括：

对接模块，用于监管数据库监测业务对接数据库中处于执行过程中的用户请求；

第一确定模块，用于监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；

第二确定模块，用于监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；

第三确定模块，用于监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；

处理模块，用于监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；

对比阶段，所述装置包括：

传输模块，用于目标数据库对保存在本地的数据中的目标数据集群计算数据摘要，并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；

比较模块，用于监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本申请实施例提供了一种数据对比方法，所述方法包括：任务配发阶段和对比阶段；任务配发阶段包括：监管数据库监测业务对接数据库中处于执行过程中的用户请求；监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；对比阶段包括：目标数据库对保存在本地的数据中的目标数据集群计算数据摘要，并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。

本申请所提供的数据对比方式，建立在数据库系统的基础上，增加了任务配发的阶段和对比阶段。在任务配发阶段中考虑了数据空闲时段和对比任务排序的问题，在对比阶段采用了双重数据摘要对比的方式，在保证对比效率和现有服务不中断的情况下，减小了对比的时间。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据库系统示意图；

图2为本申请实施例提供的一种任务配发阶段的数据对比方法的流程示意图；

图3为本申请实施例提供的一种对比阶段的数据对比方法的流程示意图；

图4为本申请实施例提供的一种任务配发阶段的数据对比装置的结构示意图；

图5为本申请实施例提供的一种对比阶段的数据对比装置的结构示意图；

图6为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，在进行跨数据库的数据对比时，通常采用的是逐字节的对比方式，将每个数据都进行一次对比，这样的对比方式虽然能够比较全面的覆盖掉全部的数据，但耗时比较长，并且由于对比时间比较长，也可能会导致正在执行的任务无法正常的被处理掉。

针对这种情况，本申请提供了一种数据对比方法，作用于数据库系统，如图1所示，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、加工数据库和多个业务对接数据库保持通讯连接；

其中，数据收集数据库是负责从各个地区收集原始数据的，收集到的原始数据是指能够给业务对接数据库使用的数据。根据业务需要的不同，原始数据可以是各种类型的数据，如某地区的天气情况、人口数量等等，根据业务对接数据库的服务内容的变化，收集到的原始数据可以进行适应性的调整。

监管数据库是整个数据库系统中执行监管任务的数据库，监管数据库与数据库系统中的其他每个数据库都保持通讯连接，通过这种方式来从数据库系统中的其他每个数据库中获取需要进行监管的数据。原则上来说，监管数据库应当对其他所有数据库的数据都进行监管，但考虑到成本，监管数据库可以只对其他每个数据库中的核心数据进行监管，比如将其他数据库中的关键表单、需要进行校对的关键性数据等可以在监管数据库中进行备份，以便于其他数据库需要进行核对的时候提供参考，或者是在后续对比阶段中，直接由监管数据库来完成对比的操作。

加工数据库的主要工作是基于业务对接数据库所接收到的用户请求进行处理，用户请求的类型比较多，比如查看数据、进行数据分析等等。

业务对接数据库的主要作用是与用户端进行对接，接收和响应用户端所发出的用户请求，由于业务对接数据库是直接面向客户端的，因此，业务对接数据库的对数据安全的要求是比其他几个数据库更高的。

本方案中，数据收集数据库和业务对接数据库均是多个，这主要是考虑到地区隔离和业务隔离的问题。通常来说，一个业务收集数据库只能对应某一个指定的区域，区域的大小和该区域收集上来的基础数据的数量和基础数据的类型是有关系的，原则上，数据类型具有相关性的才能存储在一个业务收集数据库中，同时，每个业务收集数据库中所收集的基础数据的数据量应当与该数据库的硬件参数相匹配。

对应的，每个业务对接数据库只负责一个业务类型，或者是只负责具有相关性的业务类型，如此可以一定程度上确保信息隔离下的信息安全和数据处理的效率。

数据对比方法包括：任务配发阶段和对比阶段；

如图2所示，任务配发阶段包括：

S101，监管数据库监测业务对接数据库中处于执行过程中的用户请求；

S102，监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；

S103，监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；

S104，监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；

S105，监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；

步骤S101中，为了确保用户端所发出的请求可以正常的被执行，在该步骤汇总，需要由监管数据库在获取到数据对比指令（数据对比指令可以是定期生成的，也可以是由其他服务器传送过来的）后，需要先行了解业务对接数据库中处于执行过程中的用户请求，该执行过程中的用户请求指的是收到了用户请求，但并没有给用户端进行回复的请求，也可以是指给用户端进行回复后，但没有收到用户针对回复的确认消息的请求。一般来说，业务对接数据库会实时的基于用户请求生成回复消息，在一定条件下需要对生成的回复消息进行删除，以确保数据库能够正常的运转下去。删除的方式可以是在接收到用户针对回复的确认消息后进行删除，也可以是采用定期删除的方式。

在步骤S102中，监管数据库根据处于执行过程中的用户请求和历史请求完成情况来确定每个数据集群的数据空闲时段和数据对比时长。其中历史请求完成情况是指各个类型的用户请求曾经执行数据，完成情况可以有请求类型、请求时间、特定时段内各个类型请求的数量、请求的发起者等等用于区分不同请求的信息。数据集群的数据空闲时段是指预估出来的，在未来的某一段时间内各个数据集群处于没有被加工数据库和业务数据库进行调用的状态的时间段。确定数据空闲时段的主要目的是确定数据在什么时间内进行对比是比较合适的，是不会影响到正常处理用户请求的。数据对比时长指的是对某个数据集群进行对比所要消耗掉的时间长度，由于数据库算力的差别和数据集群的数据量大小的差别，该数据对比时长是会经常发生变化的。

之后在步骤S103中，监管数据库就可以根据数据空闲时段和数据对比时长来确定每个数据集群的对比顺序，整体的原则是在进行具体对比的时候，不会干扰正常数据集群被调用，也就是在不会影响到正常用户端使用的时间段完成对比工作。

步骤S104中，由于每个数据库都有一些需要进行对比的数据集群，在进行数据对比的时候，不必然在本次将全部需要进行对比的数据都完成对比工作，而是可以结合数据库具体的情况来确定哪些数据需要进行对比，进而确定每个数据库执行对比任务的任务量。具体来说，可以是将每个数据集群确定优先级，优先级高于预定级别的数据集群是必须要在本次完成对比的，低于预定级别的数据集群在本次是可以不用进行对比的，基于此，可以根据对比顺序每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量，原则上，数据库的空闲程度越高，则任务量越大，反之则越小。由于本申请的方案中所进行对比的工作是需要两个数据库协同完成的（对比是比较两个数据库中的数据集群是否相同），因此，会出现空闲程度较高，但任务量却较小的情况，这是因为与该数据库相配合进行对比的数据库的空闲程度较低。需要说明的是，某些情况下，监管数据库也是需要参与到数据对比工作中的，但本申请的方案中监管数据库并不必然参与到对比工作中。

步骤S105中，监管数据库就可以根据对比顺序和任务量生成对比规则了，对比规则中通常携带有每个数据库应当在什么时间执行针对哪个数据集群的对比工作。

如图3所示，对比阶段包括：

S106，目标数据库对保存在本地的数据中的目标数据集群计算数据摘要（数据摘要可以是哈希值或MD5值），并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；

S107，监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。

步骤S106中，目标数据库在某些条件下，可以包括监管数据库。具体在进行对比的时候是采用计算数据摘要，然后使用数据摘要进行对比的方式来完成数据集群的对比工作。这主要是利用了数据摘要的唯一性（内容相同的数据所计算出的摘要是相同的）和高效性（比逐字节的对比速度要快）的特点。在生成了数据摘要之后，就可以将数据摘要发送给监管数据库，并在步骤S107中，由监管数据库完成最终的核对。

步骤S107中，监管数据库直接比较两个不同的目标数据库针对同一个数据集群（同一个数据集群在两个不同目标数据库中所存储的内容可能是相同的，也可能因为传输等问题导致有差别）的数据摘要是否相同，数据集群标识就是用来说明在两个数据库中的数据集群是否是同一个数据集群。如果数据摘要相同，那就说明比较成功了，两个数据库中同一个数据集群的内容是相同的。如果数据摘要不相同，那就说明在传输或某个环节除了问题，两个数据库中同一个数据集群的内容是不相同的，此时就需要具体对比到底数据集群中哪个部分是不同的，进而本方案采用了对数据集群进行分割并重新计算数据摘要的方式来进行。一般来说，一个数据集群中的数据是可以分成多个模块的，每个模块负责不同的功能，此时就可以针对每个功能模块分别计算数据摘要，也就是计算数据组的数据摘要。在目标数据库计算完数据组的数据摘要之后，可以将数据摘要和数据组标识再次发送给监管数据库，由监管数据库根据数据组标识和摘要进行进一步的对比。通常来说，在错码率可控的情况下，如果一个数据集群可以拆分成十个数据组，至多只有1-2个数据组的数据摘要是不相同的。后续发现了=数据摘要不同的数据组之后，就可以对这个数据组进行同步，将这两个数据组的数据改为相同内容，如果该数据摘要的数据组所占用的存储空间过大，则可以进一步将数据库进行进一步的拆分，并进行数据摘要的生成和比对，直至数据组的大小达到可以进行直接操作的程度（如可以直接比对或者直接复制替换的程度）。

本申请所提供的方案，针对数据库系统中不同数据库中所存储的数据集群进行对比，在对比的时候考虑到了数据空闲程度的问题，在基本不干涉正常用户端的业务使用的情况下，采用了数据摘要比对和进一步数据切分进行对比的方式，保证了比对的效率、准确度和不干扰正常业务进行。

具体的，步骤S102可以按照如下方式实现：

步骤1021，监管数据库根据所述用户请求中所携带的业务类型和业务范围，确定所述执行所述用户请求所需要调用的数据集群；

步骤1022，监管数据库根据数据库系统中各个数据库当前的空闲程度和所述各个数据库待执行的任务内容，确定各个数据库在预订时间内的计划空闲程度；

步骤1023，监管数据库根据所述各个数据库待执行的任务内容确定各个数据库中每个数据集群的数据空闲时段；

步骤1024，监管数据库根据所述需要调用的数据集群的大小和各个数据库在预订时间内的计划空闲程度确定数据对比时长。

步骤1021中，监管数据库可以根据用户请求中所携带的业务类型（用来说明该业务的目的）和业务范围（说明该业务覆盖哪些领域或者行业）确定可能被调用的数据集群。此处的用户请求是指处于已经接收到，但没有处理完的用户请求（包括处理过程中和排队进行处理的用户请求）。一般来说，可以根据历史信息来确定某个业务类型的用户请求可能调用到的数据集群都有什么，类似的，也可以根据业务范围确定可能调用到的数据集群都有什么。

在步骤S1022中，监管数据库可以根据各个数据库（可理解为各个目标数据库）当前的空闲程度和各个数据库待执行的任务内容，确定各个数据库在预订时间内的计划空闲程度。其中，待执行的任务内容是指出在排队状态，还没有执行的任务。计划空闲程度是指预估的未来某个时段或每个时段的空闲程度。

步骤1023中，可以根据待执行的任务内容（或者说待执行任务的大小、执行待执行任务所预估要消耗的时间）来确定每个数据集群的数据空闲时段（数据集群哪些时间不会被使用到，该空闲时段是个预估出来的数值）。

步骤1024中，可以根据数据集群的大小和各个数据库的计划空闲程度来确定数据对比时长，进而，计算出来的数据对比时长实际上反应了各个数据集群的对比时长，同时，也能反映出来本次对比需要的总时长的最大值。基于该数值后续监管服务器可以自行确定是否要将优先级较低的一些数据集群的对比工作放弃掉，或者是调整对比策略来缩短总时长的最大值。

步骤S103可以按照如下方式执行：

步骤1031，监管数据库根据各个数据库中每个数据集群的数据空闲时段和各个数据库的计划空闲程度，确定各个数据库处理每个处于空闲状态的数据集群的时间段；

步骤1032，监管数据库根据各个数据库处理每个处于空闲状态的数据集群的时间段，确定具有相同数据集群标识的数据集群的处理时间段；

步骤1033，监管数据库根据具有相同数据集群标识的数据集群的处理时间段，确定每个数据集群的对比顺序。

步骤1031中，监管数据库可以根据数据空闲时段和计划空闲程度来确定各个数据进行对比工作的时间段（处理每个处于空闲状态的数据集群的时间段），一般来说，就是在各个数据空闲的时候，完成处理工作（主要是计算摘要和对应进行数据传输的过程）。

步骤1032中，由于进行对比的是存储在不同数据库中的数据集群，因此需要在两个服务器都有时间能处理的时候才能开始对数据集群的处理，本步骤中所计算的数据集群的处理时间段就是指期望处理相同数据集群的两个服务器对该数据集群的处理时间能够尽量接近。进而，可以根据各个数据库的空闲时段来确定在什么时间对某一个数据集群进行处理。

步骤1033中，监管数据库就可以根据处理时间段来确定每个数据集群的对比顺序了，此处的对比顺序指的是每个数据库处理其所拥有的数据集群的顺序和时间。

步骤S104包括如下内容：

具体的，该步骤主要体现了负载均衡的处理思路，也就是越空闲的数据库所要承担的对比任务就越多，但同时需要说明的是，由于本申请的方案所对比的是存储在不同数据库中的相同数据集群，因此，负载低的数据库可能也不会处理过多的对比任务（因为与该数据库相配合的其他处理的负载比较高，使得其他数据库能进行对比的数据集群就少了）。

步骤S107中，步骤通知对应的目标数据库将该数据集群进行分割，包括：

步骤1071，监管数据库根据该数据集群的大小和影响用户请求的数量，确定分割得到的第一数据组的数量；

步骤1072，监管数据库按照上述第一数据组的数量通知对应的目标数据库将该数据集群进行分割。

步骤1071中，监管数据库可以根据数据集群的大小和影响用户请求的数量，确定分割的数量。其中，数据集群的大小和分割的数量整体是呈正相关性的，数据集群越大，则分割的数量越多，影响用户请求的数量越多（该数据集群可能会被更多的用户请求所调用），则越分割的数量越少（尽量不影响用户使用正常业务，需要尽快处理完）。之后，步骤1072中就可以按照第一数据组的数量通知对应的目标数据库将该数据集群进行分割了。

具体的，步骤1071可以按照如下方式执行：

步骤10711，监管数据库根据历史数据中该数据集群在当前时间段的访问数量，确定历史参考值；

步骤10712，监管数据库根据该数据集群的数据类型和历史数据中各个用户请求访问该数据集群的数据类型的频率，确定调节比例；

步骤10713，监管数据库根据所述历史参考值和所述调节比例确定分割得到的第一数据组的数量；所述历史参考值与所述分割得到的第一数据组的数量呈正相关性。

步骤10711中，监管数据库可以根据当前时间段的访问数量确定历史参考值，该当前时间段的访问数量指的是在一个时间周期中的某一个时段中的数量。比如，现在是3月3号，那就可以根据前十个月中每个月的3号的访问数量来确定历史参考值；又比如，现在是上午十点，那就可以根据前10天，每天十点的访问量来确定历史参考值。

步骤10712中，是根据数据类型和访问的频率确定调节比例。此处的数据类型是与前文中所提及的用户请求的类型相对应的，可以统计当前没有处理完的用户请求中与该用户集群的类型相同的用户请求的数量，之后可以根据该数量确定当前大概有多少请求可能会使用到该数据集群，进而确定调节比例。同时，还可以根据各个类型的用户请求访问该类数据集群的频率来确定调节比例，也就是基于历史上每个类型的用户请求调用该数据集群的概率来确定调节比例。进而，此处的调节比例主要是指基于数据集群的类型和用户请求的匹配情况来确定调节比例，当前没有处理完的用户请求在历史上使用该数据集群的数据类型的频率越高，那该数据集群就越不能被拆分的过于细致（第一数据组的数量不能过多）。

最后，在步骤10713中，可以基于历史参考值和调节比例来确定第一数据组的数量，后续就可以由具体的某一个数据库按照第一数据组的数量对该数据集群进行拆分了。

本申请实施例提供了一种数据对比装置，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

任务配发阶段，如图4所示，所述装置包括：

对接模块401，用于监管数据库监测业务对接数据库中处于执行过程中的用户请求；

第一确定模块402，用于监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长；

第二确定模块403，用于监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序；

第三确定模块404，用于监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量；

处理模块405，用于监管数据库根据每个数据库执行对比任务的任务量和每个数据集群的对比顺序，给每个数据库发送对比规则，以使每个数据库分别对每个数据集群的数据进行处理；

对比阶段，如图5所示，所述装置包括：

传输模块501，用于目标数据库对保存在本地的数据中的目标数据集群计算数据摘要，并将所述数据摘要和目标数据集群的数据集群标识传输给监管数据库；目标数据库是多个数据收集数据库、加工数据库和多个业务对接数据库中接收到对比规则的一个数据库；

比较模块502，用于监管数据库比较相同数据集群标识的数据集群的数据摘要是否相同；若相同，则确定比较成功；若不相同，则通知对应的目标数据库将该数据集群进行分割，并重新计算分割后的每个第一数据组的数据摘要和数据组标识，并在获取到第一数据组的数据摘要和数据组标识后，根据第一数据组的数据组标识和数据摘要进行数据对比。

可选的，所述第一确定模块，包括：

第一确定单元，用于监管数据库根据所述用户请求中所携带的业务类型和业务范围，确定所述执行所述用户请求所需要调用的数据集群；

第二确定单元，用于监管数据库根据数据库系统中各个数据库当前的空闲程度和所述各个数据库待执行的任务内容，确定各个数据库在预订时间内的计划空闲程度；

第三确定单元，用于监管数据库根据所述各个数据库待执行的任务内容确定各个数据库中每个数据集群的数据空闲时段；

第四确定单元，用于监管数据库根据所述需要调用的数据集群的大小和各个数据库在预订时间内的计划空闲程度确定数据对比时长。

可选的，所述第二确定模块，包括：

第五确定单元，用于监管数据库根据各个数据库中每个数据集群的数据空闲时段和各个数据库的计划空闲程度，确定各个数据库处理每个处于空闲状态的数据集群的时间段；

第六确定单元，用于监管数据库根据各个数据库处理每个处于空闲状态的数据集群的时间段，确定具有相同数据集群标识的数据集群的处理时间段；

第七确定单元，用于监管数据库根据具有相同数据集群标识的数据集群的处理时间段，确定每个数据集群的对比顺序。

可选的，所述第三确定模块，包括：

第八确定单元，用于监管数据库按照负载均衡的分类策略，根据所述各个数据库中所保存的数据集群的大小和各个数据库的空闲程度，确定每个数据库执行对比任务的任务量；所述任务量与数据库的空闲程度呈正相关性。

可选的，所述数据摘要包括哈希值和MD5值。

可选的，所述比较模块，包括：

第九确定单元，用于监管数据库根据该数据集群的大小和影响用户请求的数量，确定分割得到的第一数据组的数量；

通知单元，用于监管数据库按照上述第一数据组的数量通知对应的目标数据库将该数据集群进行分割。

可选的，所述第九确定单元，包括：

第十确定单元，用于监管数据库根据历史数据中该数据集群在当前时间段的访问数量，确定历史参考值；

第十一确定单元，用于监管数据库根据该数据集群的数据类型和历史数据中各个用户请求访问该数据集群的数据类型的频率，确定调节比例；

分割单元，用于监管数据库根据所述历史参考值和所述调节比例确定分割得到的第一数据组的数量；所述历史参考值与所述分割得到的第一数据组的数量呈正相关性。

对应于图1中的数据对比方法，本申请实施例还提供了一种计算机设备600，如图6所示，该设备包括存储器601、处理器602及存储在该存储器601上并可在该处理器602上运行的计算机程序，其中，上述处理器602执行上述计算机程序时实现上述数据对比方法。

具体地，上述存储器601和处理器602能够为通用的存储器和处理器，这里不做具体限定，当处理器602运行存储器601存储的计算机程序时，能够执行上述数据对比方法，解决了现有技术中不同数据库进行数据对比时的对比效率较低的问题。

对应于图1中的数据对比方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述数据对比方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述数据对比方法，解决了现有技术中不同数据库进行数据对比时的对比效率较低的问题，本申请所提供的数据对比方式，建立在数据库系统的基础上，增加了任务配发的阶段和对比阶段。在任务配发阶段中考虑了数据空闲时段和对比任务排序的问题，在对比阶段采用了双重数据摘要对比的方式，在保证对比效率和现有服务不中断的情况下，减小了对比的时间。

在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种数据对比方法，其特征在于，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

所述方法包括：任务配发阶段和对比阶段；

任务配发阶段包括：

对比阶段包括：

2.根据权利要求1所述的方法，其特征在于，步骤监管数据库根据所述用户请求和历史请求完成情况，确定每个数据集群的数据空闲时段和数据对比时长，包括：

3.根据权利要求2所述的方法，其特征在于，步骤监管数据库根据数据空闲时段和数据对比时长，确定每个数据集群的对比顺序，包括：

4.根据权利要求3所述的方法，其特征在于，步骤监管数据库根据对比顺序、每个收集数据库、加工数据库和业务对接数据库当前的空闲程度，确定每个数据库执行对比任务的任务量，包括：

5.根据权利要求1所述的方法，其特征在于，所述数据摘要包括哈希值和MD5值。

6.根据权利要求1所述的方法，其特征在于，步骤通知对应的目标数据库将该数据集群进行分割，包括：

7.根据权利要求1所述的方法，其特征在于，步骤监管数据库根据该数据集群的大小和影响用户请求的数量，确定分割得到的第一数据组的数量，包括：

8.一种数据对比装置，其特征在于，作用于数据库系统，所述数据库系统包括多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库；多个数据收集数据库均分别与加工数据库保持通讯连接；多个业务对接数据库均分别与加工数据库保持通讯连接；监管数据库分别与多个数据收集数据库、监管数据库、加工数据库和多个业务对接数据库保持通讯连接；

任务配发阶段，所述装置包括：

对比阶段，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-7中任一项所述的方法的步骤。