CN110245164A - 一种数据回流检测方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种数据回流检测方法、装置及设备。方案包括：获取待回流数据的数据总量；在确定数据回流开始后，确定已回流数据的数据总量；判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

Description

一种数据回流检测方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据回流检测方法、装置及设备。

背景技术

随着互联网技术的发展，已经进入一个数据爆炸的时代，例如金融机构、电信运营商等传统行业每日需要处理的数据量巨大。在大数据背景下数据需要不断进行流转、交换才能使得其价值最大化，如何能更好地利用数据资产，将数据转换成商业价值，已经成为诸多企业重点考虑的问题。为了便于数据的管理及流转，一般需要将获取的各种离线数据写入到线上数据仓库中。数据仓库中的数据是对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总整理得到的，并提供各种查询分析能力。很多具备重要业务价值的数据经过分析之后得到新数据，新数据需要回流到在线数据库中做进一步的业务处理，但是回流的数据量较大，应用系统需要等待回流结束才能进行下一步处理，因此，需要判断回流何时结束。

现有技术中，判断是否回流完成的方案是：每隔一段时间读取在线数据库中回流的数据量，看两个时间段数据量是否发生变化，当多次读取的数据量都相同时认为回流完成。但是现有技术中的方法为了尽量确保回流完成的核验准确，即使在确定两个时间段的数据量相同的情况下，仍然需要再进行多次检测确定，导致时效较差。并且如果发生异常状况，回流过程将会被卡住，使得多次扫描的结果都相同，被误认为已经回流完成，导致业务数据缺失。

发明内容

有鉴于此，本申请实施例提供了一种数据回流检测方法、装置及设备，用于克服现有技术中由于回流异常导致的数据缺失以及多次检测带来的失效误差的缺陷，提高检测的准确性和时效性。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据回流检测方法，包括：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

本说明书实施例提供的一种数据回流检测装置，包括：

待回流数据总量获取模块，用于获取待回流数据的数据总量；

已回流数据总量确定模块，用于在确定数据回流开始后，确定已回流数据的数据总量；

判断模块，用于判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

确定模块，用于当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

本说明书实施例提供的一种数据回流检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过在确定数据回流开始后，先获取待回流数据的数据总量，作为后续判断是否回流完成的依据，在确定数据回流开始后，确定已回流数据的数据总量，判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，相等则确定数据回流完成，可以进行下一步的业务处理。由于判断依据的准确性，能够在首次检测到待回流数据的数据总量与已回流数据的数据总量相等时就可确定回流完成，保证检测回流完成的精确性；克服了现有技术中在确定两个时间段的数据量相同的情况下，仍然需要再进行多次检测导致时效较差的缺陷。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种数据回流检测方法的流程示意图；

图2为本说明书实施例提供的另外一种数据回流检测方法的流程示意图；

图3为本说明书实施例提供的对应于图1的一种数据回流检测装置的结构示意图；

图4为本说明书实施例提供的对应于图1的一种数据回流检测设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

现有技术中，判断是否回流完成的方法是：每隔一段时间读取在线数据库中回流的数据量，看两个时间段数据量是否发生变化，当多次读取的数据量都相同时认为回流完成。但是现有技术中的方法为了尽量确保回流完成的核验准确，即使在确定两个时间段的数据量相同的情况下，仍然需要再进行多次检测确定，例如：第一时间段获取的数据量为97G，第二时间段获取的数据量为100G，第三时间段获取的数据量为100G，此时，在第二时间段与第三时间段获取的数据量相等的情况下，为了尽量确保回流完成的核验准确，仍然需要进行多次检测，如：继续检测得到第四时间段获取的数据量为100G，第五时间段获取的数据量为100G，第六时间段获取的数据量为100G才确定数据回流完成，进行后续的业务处理操作，此时，从第四时间段开始的检测过程都是为了进一步确保回流完成的核验，导致时效较差。并且如果发生异常状况，回流过程将会被卡住，使回流过程异常终止，导致多次检测的结果都相同，在进行后续的业务处理操作时，由于部分数据并没有回流，导致进行业务处理时的业务数据缺失。

实施例1

图1为本说明书实施例提供的一种数据回流检测方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器的程序或应用客户端。

如图1所示，该流程可以包括以下步骤：

S101：获取待回流数据的数据总量。

数据回流可以指的是将数据仓库的计算结果表中的数据导入生产系统数据库的对应表的过程。很多具备重要业务价值的数据经过分析之后得到的新数据往往需要回流到在线数据库做进一步的业务处理。

数据仓库(Data Warehouse，简写为DW或DWH)。数据仓库可以表示为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它可以是单个数据存储，出于分析性报告和决策支持目的而创建。可以是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

数据在回流前可以先获取所有待回流数据，在确定了数据开始回流后，获取待回流数据对应的数据总量，将所述待回流数据对应的数据总量作为判断依据。这里的数据总量可以表示的是数据占据数据库的总内存，也可以表示数据的记录条目数。例如：获取了所有的待回流数据之后，得到一条数据记录A，该数据记录A可以表示有100G的数据需要回流或者有100条数据需要回流，这一条数据记录A中可以仅包含所有待回流数据对应的数据总量。

S102：在确定数据回流开始后，确定已回流数据的数据总量。

在数据的回流过程中，需要判断数据是否回流结束，因此，需要在预设的时间段内获取已回流数据对应的数据总量。

所述确定已回流数据的数据总量，具体可以包括：

获取定时任务触发指令；

响应于所述定时任务触发指令，在第一预设时间，确定已回流数据的数据总量。

定时任务触发指令可以表示在设定的时间内触发某一任务执行操作，例如：定时任务可以表示在每天的13:00-14:00这一时间段内没隔5分钟获取一次已回流数据的数据总量，并与待回流数据的数据总量进行对比，得到判断结果。

第一预设时间在定时任务对应的时间范围内，例如：定时任务对应的时间为13:00-14:00，第一预设时间可以表示13:10，收到定时任务触发指令后，相应该指令，在13:10获取已回流数据的数据总量。

所述第一预设时间可以根据实际需要灵活调节。例如：数据回流总时长为60S，可以设定每十秒获取一次已回流数据总量，此时第一预设时间可以表示从回流起10S。也可以根据不同时段进行设定第一预设时间，例如：将第一预设时间可以是一个定时任务触发指令对应的时间段，例如：定时任务从13:00开始，在13:10结束，所述第一预设时间可以设置在回流开始的5分钟后。例如：第一预设时间可以表示13:05-13:06。

S103：判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果。

在获取了待回流数据对应的数据总量与已回流数据对应的数据总量之后，需要比较二者是否相同。也可以认为是判断已经回流的数据对应的数据量与规定的需要回流的数据量是否相等。例如：待回流数据的数据量为100条，已经回流的数据对应的数据量为50条，需要判断100条与50条是否相等。第一判断结果可以表示所述待回流数据的数据总量与所述已回流数据的数据总量相等或不相等。

S104：当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

当判断得到待回流数据的数据总量与已回流数据的数据总量相等时，证明数据已经全部回流完成。例如：待回流数据的数据总量为100G，已回流数据的数据总量也为100G，证明所有需要回流的数据均已全部回流完成。

图1的方法中，通过在确定数据回流开始后，先获取待回流数据的数据总量，作为后续判断是否回流完成的依据，在第一预设时间，确定已回流数据的数据总量，判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，相等则确定数据回流完成，可以进行下一步的业务处理。由于判断依据的准确性，能够保证检测回流完成的精确性；只要确定所述已回流数据的数据总量与所述待回流数据的数据总量相等，则确定回流完成，克服了现有技术中在确定两个时间段的数据量相同的情况下，仍然需要再进行多次检测导致时效较差的缺陷。

基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。

在实际应用过程中，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还可以包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，在第二预设时间确定所述已回流数据的数据总量，所述第二预设时间与所述第一预设时间之间的时间间隔满足预设阈值。

当判断已回流数据的数据总量与待回流数据的数据总量不相等时，证明待回流数据还没有全部回流完成，因此，需要继续判断，重新获取当前已回流数据的数据总量，重新判断是否与待回流数据的数据总量相等。

上述步骤中提到的第二预设时间晚于所述第一预设时间。例如：第一判断结果可以表示在上午9:00确定的已回流数据的数据总量与待回流数据的数据总量不相等，等待下一次的定时任务触发指令，此时的第二预设时间可以是9:02，第二预设时间对应的定时触发指令是在第一判断结果表示已回流数据的数据总量与待回流数据的数据总量不相等的情况下触发的。除此之外，所述第二预设时间与所述第一预设时间之间的时间间隔满足预设阈值，原因是：如果第二预设时间满足晚于第一预设时间这一条件，但是两个时间的时间差极小(例如：相差仅0.01秒)，这样可能会导致第二预设时间得到的已回流数据的数据量与第一预设时间得到的已回流数据的数据量相同。因此，第二预设时间不仅需要满足晚于第一预设时间的条件，还需要满足与第一预设时间之间的时间差满足预设阈值(例如：时间差阈值需要大于等于1秒)。

所述获取待回流数据的数据总量，具体可以包括：

从第一数据库中的第一数据表中获取所述待回流数据总量，所述第一数据库为在线数据库，所述第一数据表中的数据总量为第二数据库存储在所述第一数据表中的有效数据的数据总量，所述有效数据为所述第二数据库对所述第一数据库同步的原始数据进行处理后得到的数据，所述待回流数据的数据总量表示所述有效数据的总条数或有效数据的总数据量。例如：待回流数据总量可以表示有100条待回流的有效数据，也可以表示数据总量为100G的待回流的有效数据。

有效数据可以指的是符合或满足某预设条件的数据，对于进行某项任务处理时需要用到的符合条件的数据。第一数据库可以表示在线数据库，在互联网的大数据背景下，在线数据库中的数据量巨大，在进行相应的业务处理时，如果采用在线数据库中的所有数据进行处理，会导致服务器负载压力过大而无法进行业务处理或者处理效率极低，对时效性的要求也更高。此时，就需要对在线数据库中的原始数据进行清洗和筛选，得到有效数据，采用有效数据进行相关的业务处理，提高服务器处理效率。有效数据是从原始数据中筛选出来的满足条件的数据。例如：在线数据库中的原始数据为A，有效数据为B，可以知道有效数据B的数据量小于原始数据A的数据量。

所述确定已回流数据的数据总量，具体可以包括：

从所述第一数据库中的第二数据表中获取已回流明细数据，所述第二数据表中的已回流明细数据表示所述第二数据库回流到所述第二数据表中的数据明细；

确定所述已回流明细数据对应的已回流数据的数据总量。

可选的，所述获取待回流数据的数据总量之后，还可以包括：

根据所述待回流数据的数据总量预测所述待回流数据回流所需的总时长；

根据所述总时长设定定时任务对应的总时长、所述第一预设时间以及所述第二预设时间。

已回流明细数据可以指的是已回流数据对应的每一条数据记录。

第一数据库可以指的是在线数据库。第二数据库可以指的是数据仓库。在线数据库和数据仓库可以属于同一应用服务器系统，也可以属于不同的应用服务器系统。在线数据库可以指的是提供专业的数据库支持的网站。将数据库放在服务器上，可供用户24小时不间断访问。一般需要有授权才能访问专业的在线数据库。在本方案中，在线数据库中存储有全部的原始数据以及数据仓库处理后得到的有效数据(待回流数据)的数据总量。

定时任务的总时长、定时任务中的检测频率(对应的预设时间)可以根据预测得到的数据回流所需的总时长来进行设定，例如：根据待回流数据的数据总量预测得到数据全部回流完成预计需要10分钟，此时，为了避免定时任务出发后无法获取到已回流数据，可以设置定时任务的总时长小于或等于全部数据回流完成所需时间，第一预测时间与第二预设时间可以表示定时任务对应的时间中的不同时刻，第一预设时间与第二预设时间之间的间隔满足预设阈值即可。

上述步骤中，在进行具体的比较操作时，可以比较待回流数据的数据总量与已回流数据的具体明细对应的数据总量，不需要逐条比对，提高了比对效率。

具体地，第二数据库对所述第一数据库同步的所述原始数据进行清洗、分析和计算，得到有效数据；

确定所述有效数据的数据总量；

将所述有效数据的数据总量存储在所述第一数据库的第一数据表中。

所述将所述有效数据的数据总量存储在所述第一数据库的第一数据表中，之后还包括：

将所述有效数据回流到所述第一数据库的具体数据明细存储到所述第一数据库的第二数据表中。

第一数据表可以是用来存储数据总量的表，如：可以是用于存放count记录的表。第二数据表可以是用来存储明细数据的表，如：用于存放明细数据的data表。

在上述的方法步骤中，在判断数据是否回流完成时，需要根据实际数据的数据总量来设置判断的时机。假如需要回流的数据量极大，必须在10分钟以上才能回流完成，此时，若设定每10秒检测一次，会增加服务器的运行负载压力。因此，在确定预设时间时，可以按照实际数据的总量来进行合理安排。具体地，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还可以包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，获取当前已回流数据的回流时间；

判断所述回流时间与所述总时长之间的差值是否满足预设时长，得到第二判断结果；

当所述第二判断结果表示所述回流时间与所述总时长之间的差值满足预设时长时，缩短获取已回流数据量的时间间隔。

需要说明的是，在根据待回流数据的数据总量预测待回流数据全部回流所需的是总时长时，可以根据当前网络的数据传输速度、带宽和待回流数据的数据总量来计算所需的数据传输时间(也可以说是回流时间)。根据总时长灵活设置第一预设时间以及第二预设时间。例如：待回流数据全部回流完成需要一分钟，此时前30秒可以不进行检测比较，减轻服务器的运行压力，然后可以设定第一预设时间从第30秒开始，每十秒获取一次已回流的数据明细，假如获取两次都判断得到已回流数据的数据总量不等于待回流数据总量，可以等待新的定时任务触发指令，对已回流数据的数据总量进行确定，此时为了保证时效性，可以根据回流所剩时间来设置获取已回流数据量的时间间隔。例如：当预设时长为60s，从第三十秒开始，每9秒获取一次，到第54S时，判断得到已回流数据量与待回流数据量仍不相等，此时，可以判断当前已回流数据的回流时间与所述总时长之间的差值是否满足预设时长。假设预设时长为10S，此时当前已回流的时间为54S，与总时长的差值为6S＜10S，可以缩短获取已回流数据量的时间间隔，例如：可以设置每3秒获取一次已回流数据的数据总量，并与待回流数据的数据总量进行比较。

上述方法步骤中，通过根据待回流数据的数据总量确定总回流时长之后，根据总回流时长设定获取已回流数据的时间间隔，并根据已回流时间与总时长的差值，来灵活调整获取已回流数据量的时间间隔，能够在不增加服务器运行压力的情况下，保证检测回流完成的时效性。

在实际应用中，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还可以包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，判断当前已回流数据的数据总量与上一次获取的已回流数据的数据总量是否相等，得到第三判断结果；

当所述第三判断结果表示所述当前已回流数据的数据总量与上一次获取的已回流数据的数据总量相等时，确定回流发生异常，向控制回流的设备发送回流异常信息。

上述步骤中提到的第一判断结果可以表示的是任一个预设时间的判断结果。当第一判断结果表示已回流数据的数据量与待回流数据的数据量不相等时，需要进一步比较当前的已回流数据的数据量与上一次检测得到的已回流数据的数据量是否相等，若不相等，证明回流异常。

当第一判断结果表示的是第一预设时间对应的判断结果时，若所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等，则判断第二预设时间确定的所述已回流数据的数据总量与所述待回流数据的数据总量是否相等，得到第三判断结果；

当所述第三判断结果表示所述第二预设时间确定的所述已回流数据的数据总量与所述待回流数据的数据总量不相等时，判断所述第二预设时间确定的所述已回流数据的数据总量与第一预设时间确定的所述已回流数据的数据总量是否相等，得到第四判断结果；

当所述第四判断结果表示所述第二预设时间确定的所述已回流数据的数据总量与所述第一预设时间确定的所述已回流数据的数据总量相等时，确定回流发生异常，向控制回流的设备发送回流异常信息。

在第一预设时间与第二预设时间之间的时间差满足预设条件时，若在两个时间段内都检测到已回流数据的数据总量与待回流数据的数据总量都不相等时，如果继续设定预设时间反复获取已回流数据的数据总量，继续比较，此时可能会出现回流过程异常而仍进行多次扫描判断，降低了检测数据回流完成的效率。例如：待回流数据的数据总量为B，第一预设时间获取的已回流数据的数据总量为B1，第二预设时间获取的已回流数据的数据总量为B2，第三预设时间获取的已回流数据的数据总量为B3，第四预设时间获取的已回流数据的数据总量为B4。此时B1≠B，B2≠B，B3≠B，B4≠B，但是B2＝B3＝B4，此时，可以知道在第二预设时间至第四预设时间这一时间段内，回流停止，但是回流并没有结束，此时证明回流过程异常，但是后续在第三预设时间以及第四预设时间扫描的过程浪费了时间，也增加了服务器的运行负载压力。

为了克服多次无用扫描的缺陷，在第一预设时间与第二预设时间之间的时间差满足预设条件时，若在两个时间段内都检测到已回流数据的数据总量与待回流数据的数据总量都不相等，此时需要进一步检测，若两次检测的已回流数据的数据总量相等，则确定回流过程发生了异常。例如：第一预设时间获取的已回流数据的数据总量为A1，第二预设时间获取的已回流数据的数据总量为A2，已知待回流数据的数据总量为A，第一预设时间与第二预设时间的时间差满足预设阈值。判断得到：A1≠A，A2≠A。此时，需要判断A1与A2是否相等，若A1＝A2，证明从第一预设时间到第二预设时间这一段时间里，数据并未发生回流，但是通过比较数据并未回流完成，因此，此时可以认为回流过程发生了异常。

上述方法步骤中，通过在获取第一预设时间与第二预设时间的已回流数据的数据总量与待回流数据的数据量都不相同时，需要进行二次判断，继续判断两个预设时间的已回流数据量是否相同，从而确定数据回流过程是否在正常进行，避免了多次重复获取已回流数据量，耗时较长，导致增加服务器运行负载压力、降低比对效率的缺陷。

在上述实施例1的方法步骤中，第一数据库(在线数据库)、第二数据库(数据仓库)、获取待回流数据的数据总量以及已回流数据的数据总量并进行对比的应用服务器可以属于同一应用服务器，也可以属于不同的应用服务器。当数据仓库、在线数据库以及应用服务器属于不同的服务器时，可以采用实施例2中的方法步骤进行实现：

实施例2

图2为本说明书实施例提供的另外一种数据回流检测方法的流程示意图。

如图2所示，该流程可以包括以下步骤：

S201:数据仓库接收在线数据库中同步的业务原始数据。

S202:对所述原始数据进行清洗、分析和计算，生成有效数据。

S203:计算所述有效数据的数据总量，所述有效数据表示待回流数据。

S204:将所述待回流数据的数据总量存储到在线数据库中用于存储数据总量的第一数据表中。

S205:开始回流后，将回流数据的明细数据存储于在线数据库中的用于存放明细数据的第二数据表中。

具体地，可以将数据总量回流到count表，明细数据回流到data表，可以表示待回流数据的数据总量和已回流数据的明细会分别存放于在线数据库的两张db(数据库)表里。

S206:应用服务器从所述在线数据库中的第一数据表中读取待回流数据的数据总量。

S207:定时任务指令触发后，从所述在线数据库中的第二数据表中读取已回流数据的数据明细并在确定数据回流开始后，确定已回流数据的数据总量。

S208:判断已回流数据总量与待回流数据的数据总量是否相等。

S209:若相等，则回流完成，继续下一步的业务处理操作。

S210:若不等，等待下一次定时任务指令，循环获取对应时间段内的已回流数据总量，直至回流完成为止。

在本说明书实施例中提出的方法步骤中，第二数据库与第一数据库在进行具体交互时，第二数据库(数据仓库)将第一数据库(在线数据库)同步的原始数据进行处理得到有效数据，可以是对原始数据进行清洗、计算和筛选。这些有效数据需要回流到第一数据库中，因此，可以将这些有效数据认为是待回流数据，计算待回流数据的数据总量，将这一数据总量值存储到第一数据库中对应的数据表中；将具体的数据回流明细也存储在第一数据库中对应数据表中。可以将待回流数据的数据总量存储在第一数据库的第一数据表中，将已回流数据的数据明细存储在第一数据库的第二数据表中，在实际应用时，可以将待回流数据的数据总量以及已回流数据的数据明细存储在同一数据库的同一数据表中，也可以存储在线数据库的不同的数据表中，例如：将待回流数据的数据总量存储在线数据库的count表中，将已回流数据的数据明细存储在线数据库的data表中，获取count表数据总量，并在特定时间内获取data表里已回流数据的数据总量，将两者进行对比，其中，count表数据总量是待回流的数据的总数，data表统计出来的是已经回流的总数，二者比较就能判断出来是否已经回流完。

在实际应用过程中，第二数据库(例如：数据仓库)对第一数据库(例如：在线数据库)同步的原始数据进行处理后，得到的待回流数据的数据总量，并将待回流数据的数据总量存储到第一数据库中的第一数据表中，此时。应用服务器可以在数据开始回流前就获取待回流数据的数据总量。也可以在数据开始回流后获取待回流数据的数据总量，上述两种实现方式并不对本方案起到任何限定作用。

将第一数据表(例如：count表)中的待回流数据的数据总量和第二数据表(例如：data表)里已回流数据的数据总量进行对比：count表数据总量是待回流的数据的总数，data表统计出来的是已经回流的数据的总数，二者比较就能判断出来是否已经回流完。如果不相等，则等待下一次定时任务再来做判断，直到判断出两个数据量相等时，继续下一步业务处理。

此步骤需要特别说明的是：

触发循环校验的定时任务的频率可以设置得比较频繁，可以设置一个统一的时间，例如1分钟检测一次，数据真正回流完和应用服务器检测到已经回流完的时间间隔最大是1分钟，即数据回流完1分钟后就会开始下一步业务处理，且这个1分钟还可以根据需要灵活调整。也可以根据实际情况设置为不同的频率，例如：回流过程完成需要1分钟，在前四十秒可以设定为每10秒检测一次，后二十秒设置为每5秒检测一次，或者调得更频繁，那时间间隔会更小。这种机制能保障业务处理时效很高，且这种高频率的循环检测只需要读count表的一条记录和明细表的总量，对系统压力极小。

图2中的方法，通过数据仓库对原始数据的处理，得到了准确的判断依据(待回流数据的数据总量)，将该判断依据存储到在线数据库中，应用服务器可根据实际情况获取该判断依据与实际的已回流数据量进行对比，确定回流是否完成，既能保证判断逻辑的百分百精准，又能大大提升业务做下一步处理的时效，且对系统几乎无额外压力。

基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图3为本说明书实施例提供的对应于图1的一种数据回流检测装置的结构示意图。如图3所示，该装置可以包括：

待回流数据总量获取模块301，用于获取待回流数据的数据总量；

已回流数据总量确定模块302，用于在确定数据回流开始后，确定已回流数据的数据总量；

判断模块303，用于判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

确定模块304，用于当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

可选的，所述已回流数据总量确定模块302，具体可以包括：

已回流数据总量确定单元，用于获取定时任务触发指令；响应于所述定时任务触发指令，在第一预设时间，确定已回流数据的数据总量。

可选的，所述判断模块303，还可以包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，在第二预设时间确定所述已回流数据的数据总量，所述第二预设时间与所述第一预设时间之间的时间间隔满足预设阈值。

可选的，所述待回流数据总量获取模块301，具体可以包括：

待回流数据总量获取单元，用于从第一数据库中的第一数据表中获取所述待回流数据总量，所述第一数据库为在线数据库，所述第一数据表中的数据总量为第二数据库存储在所述第一数据表中的有效数据的数据总量，所述有效数据为所述第二数据库对所述第一数据库同步的原始数据进行处理后得到的数据，所述待回流数据的数据总量表示所述有效数据的总条数或有效数据的总数据量。

可选的，所述已回流数据总量确定模块302，具体可以包括：

已回流明细数据获取单元，用于从所述第一数据库中的第二数据表中获取已回流明细数据，所述第二数据表中的已回流明细数据表示所述第二数据库回流到所述第二数据表中的数据明细；

已回流数据总量获取单元，用于确定所述已回流明细数据对应的已回流数据的数据总量。

可选的，所述装置，还可以包括：

回流总时长预测模块，用于根据所述待回流数据的数据总量预测所述待回流数据回流所需的总时长；

时间设定模块，用于根据所述总时长设定定时任务对应的总时长、所述第一预设时间以及所述第二预设时间。

可选的，所述装置，还可以用于：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，获取当前已回流数据的回流时间；

判断所述回流时间与所述总时长之间的差值是否满足预设时长，得到第二判断结果；

当所述第二判断结果表示所述回流时间与所述总时长之间的差值满足预设时长时，缩短获取已回流数据量的时间间隔。

可选的，所述装置，还可以用于：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，判断当前已回流数据的数据总量与上一次获取的已回流数据的数据总量是否相等，得到第三判断结果；

当所述第三判断结果表示所述当前已回流数据的数据总量与上一次获取的已回流数据的数据总量相等时，确定回流发生异常，向控制回流的设备发送回流异常信息。

基于同样的思路，本说明书实施例还提供了上述方法对应的设备。

图4为本说明书实施例提供的对应于图1的一种数据回流检测设备的结构示意图。如图4所示，设备400可以包括：

至少一个处理器410；以及，

与所述至少一个处理器通信连接的存储器430；其中，

所述存储器430存储有可被所述至少一个处理器410执行的指令420，所述指令被所述至少一个处理器410执行，以使所述至少一个处理器410能够：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(FieldProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(JavaHardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby HardwareDescription Language)等，目前最普遍使用的是VHDL(Very-High-Speed IntegratedCircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、AtmelAT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种数据回流检测方法，包括：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

2.如权利要求1所述的方法，所述确定已回流数据的数据总量，具体包括：

获取定时任务触发指令；

响应于所述定时任务触发指令，在第一预设时间，确定已回流数据的数据总量。

3.如权利要求2所述的方法，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，在第二预设时间确定所述已回流数据的数据总量，所述第二预设时间与所述第一预设时间之间的时间间隔满足预设阈值。

4.如权利要求1所述的方法，所述获取待回流数据的数据总量，具体包括：

从第一数据库中的第一数据表中获取所述待回流数据总量，所述第一数据库为在线数据库，所述第一数据表中的数据总量为第二数据库存储在所述第一数据表中的有效数据的数据总量，所述有效数据为所述第二数据库对所述第一数据库同步的原始数据进行处理后得到的数据，所述待回流数据的数据总量表示所述有效数据的总条数或有效数据的总数据量。

5.如权利要求4所述的方法，所述确定已回流数据的数据总量，具体包括：

从所述第一数据库中的第二数据表中获取已回流明细数据，所述第二数据表中的已回流明细数据表示所述第二数据库回流到所述第二数据表中的数据明细；

确定所述已回流明细数据对应的已回流数据的数据总量。

6.如权利要求1所述的方法，所述获取待回流数据的数据总量之后，还包括：

根据所述待回流数据的数据总量预测所述待回流数据回流所需的总时长；

根据所述总时长设定定时任务对应的总时长、所述第一预设时间以及所述第二预设时间。

7.如权利要求6所述的方法，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，获取当前已回流数据的回流时间；

判断所述回流时间与所述总时长之间的差值是否满足预设时长，得到第二判断结果；

当所述第二判断结果表示所述回流时间与所述总时长之间的差值满足预设时长时，缩短获取已回流数据量的时间间隔。

8.如权利要求1所述的方法，所述判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果之后，还包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，判断当前已回流数据的数据总量与上一次获取的已回流数据的数据总量是否相等，得到第三判断结果；

当所述第三判断结果表示所述当前已回流数据的数据总量与上一次获取的已回流数据的数据总量相等时，确定回流发生异常，向控制回流的设备发送回流异常信息。

9.一种数据回流检测装置，包括：

待回流数据总量获取模块，用于获取待回流数据的数据总量；

已回流数据总量确定模块，用于在确定数据回流开始后，确定已回流数据的数据总量；

判断模块，用于判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

确定模块，用于当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

10.如权利要求9所述的装置，所述已回流数据总量确定模块，具体包括：

已回流数据总量确定单元，用于获取定时任务触发指令；响应于所述定时任务触发指令，在第一预设时间，确定已回流数据的数据总量。

11.如权利要求10所述的装置，所述判断模块，还包括：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，在第二预设时间确定所述已回流数据的数据总量，所述第二预设时间与所述第一预设时间之间的时间间隔满足预设阈值。

12.如权利要求9所述的装置，所述待回流数据总量获取模块，具体包括：

待回流数据总量获取单元，用于从第一数据库中的第一数据表中获取所述待回流数据总量，所述第一数据库为在线数据库，所述第一数据表中的数据总量为第二数据库存储在所述第一数据表中的有效数据的数据总量，所述有效数据为所述第二数据库对所述第一数据库同步的原始数据进行处理后得到的数据，所述待回流数据的数据总量表示所述有效数据的总条数或有效数据的总数据量。

13.如权利要求12所述的装置，所述已回流数据总量确定模块，具体包括：

已回流明细数据获取单元，用于从所述第一数据库中的第二数据表中获取已回流明细数据，所述第二数据表中的已回流明细数据表示所述第二数据库回流到所述第二数据表中的数据明细；

已回流数据总量获取单元，用于确定所述已回流明细数据对应的已回流数据的数据总量。

14.如权利要求9所述的装置，所述装置，还包括：

回流总时长预测模块，用于根据所述待回流数据的数据总量预测所述待回流数据回流所需的总时长；

时间设定模块，用于根据所述总时长设定定时任务对应的总时长、所述第一预设时间以及所述第二预设时间。

15.如权利要求14所述的装置，所述装置，还用于：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，获取当前已回流数据的回流时间；

判断所述回流时间与所述总时长之间的差值是否满足预设时长，得到第二判断结果；

当所述第二判断结果表示所述回流时间与所述总时长之间的差值满足预设时长时，缩短获取已回流数据量的时间间隔。

16.如权利要求9所述的装置，所述装置，还用于：

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量不相等时，判断当前已回流数据的数据总量与上一次获取的已回流数据的数据总量是否相等，得到第三判断结果；

当所述第三判断结果表示所述当前已回流数据的数据总量与上一次获取的已回流数据的数据总量相等时，确定回流发生异常，向控制回流的设备发送回流异常信息。

17.一种数据回流检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。