CN109976888B - 一种数据扫描方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据扫描方法、装置、设备和存储介质。其中，该方法包括：获取待扫描的目标任务流水表；将所述目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。本发明实施例可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，得到的任务区间之间不会相互影响，充分利用现代数据库超高的吞吐量，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能，无需创建索引，避免索引带来的存储以及更新时维护索引的开销。

Description

一种数据扫描方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据扫描方法、装置、设备和存储介质。

背景技术

审核工作台提供审核服务。审核工作台获取审核任务请求，并执行对应的审核任务。审核任务包括身份证审核任务和银行卡审核任务。审核工作台通过异步处理接口获取审核任务请求，按照审核任务请求的到来先后，将身份证审核任务和银行卡审核任务保存至审核流水表。审核任务的状态为自动审核中。然后审核工作台向请求发送方返回审核任务请求成功接收响应，并将审核任务放入队列等待执行。

如果此时审核工作台的审核服务因为宕机、重启或者程序异常导致进程挂掉，那么处于队列中的审核任务可能尚未执行，或者未执行结束。即有的审核任务还是处于中间状态，不会向其他状态转移，成为丢失任务。为了避免在程序重启时加载之前，尚未执行完成的任务出现资源抢占的问题，以及为了尽快恢复审核服务的进程，通常是扫描审核流水表中的审核任务数据，判断任务状态是否为丢失任务，并将丢失任务转为人工处理。

现有技术中，针对如何扫描审核流水表中的审核任务数据，判断审核任务是否为丢失任务，有三种方案。第一种方案是扫描整个审核流水表，将任务状态为自动审核中并且创建时间早于当前时间一小时以上的审核任务，都认为是需要转为人工处理的丢失任务。第二种方案是在第一种方案的基础上，为每一个审核任务的创建时间加一个索引，根据索引在丢失任务查找时进行准确定位。第三种方案是在第一种方案的基础上，先拿到审核流水表的最大自增数据标识，向前反向搜索，命中500个丢失任务后更新一次，再继续向前搜索，重复直到完成整个审核流水表的扫描，任务结束。

现有技术的缺陷在于：第一种方案的执行效率低下，数据扫描速度慢，容易出现调用过程超时，会引发锁表(锁审核流水表中的全部记录)，造成其他相关业务被阻塞的连锁反应，产生大量慢查询日志。第二种方案需要创建索引，辅以创建索引、维护索引等额外开销。针对第三种方案，如果丢失任务在流水表中均匀分布，那么第三种方案的执行过程是相对高效的。真实的总扫描行数等同于流水表大小，只是循环执行了多次。但是如果扫描过程中一直没有命中丢失任务，那么这一次扫描就是针对整个审核流水表了，相当于锁表操作(锁审核流水表中的全部记录，新增审核任务不在其作用范围，但是覆盖范围太大)，仍会造成其他相关业务被阻塞的连锁反应，产生大量慢查询日志。

发明内容

本发明实施例提供一种数据扫描方法、装置、设备和存储介质，可以在避免不必要的开销，不会对主业务产生较多干扰的同时，提升数据扫描速度。

第一方面，本发明实施例提供了一种数据扫描方法，包括：

获取待扫描的目标任务流水表；

将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；

通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

第二方面，本发明实施例还提供了一种数据扫描装置，包括：

流水表获取模块，用于获取待扫描的目标任务流水表；

数据分段模块，用于将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；

数据扫描模块，用于通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明实施例所述的数据扫描方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的数据扫描方法。

本发明实施例通过将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理，然后通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，解决了现有技术执行效率低下，数据扫描速度慢，容易出现调用过程超时，或者需要创建索引，辅以创建索引、维护索引等额外开销的问题，可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，得到的任务区间之间不会相互影响，充分利用现代数据库超高的吞吐量，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能，无需创建索引，避免索引带来的存储以及更新时维护索引的开销。

附图说明

图1为本发明实施例一提供的一种数据扫描方法的流程图；

图2为本发明实施例二提供的一种数据扫描方法的流程图；

图3为本发明实施例三提供的一种数据扫描方法的流程图；

图4a为本发明实施例四提供的一种数据扫描方法的流程图；

图4b为本发明实施例四提供的一种扫描速度曲线图；

图5为本发明实施例五提供的一种数据扫描装置的结构示意图；

图6为本发明实施例六提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据扫描方法的流程图。本实施例可适用于对数据进行扫描的情况，该方法可以由数据扫描装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1所示，该方法具体包括如下步骤：

步骤101、获取待扫描的目标任务流水表。

其中，获取任务请求后，按照任务请求的到来先后，将任务保存至任务流水表。任务流水表中包括与任务匹配的任务数据。

可选的，从全部任务流水表中获取至少一种任务类型的任务流水表作为目标任务流水表。例如，目标任务流水表包括：审核流水表。审核流水表的任务类型为审核任务。审核流水表中存储的任务数据为审核任务数据。获取审核任务请求，按照审核任务请求的到来先后，将审核任务保存至审核流水表。审核任务包括身份证审核任务和银行卡审核任务。然后向任务请求发送方返回审核任务请求成功接收响应，并将审核任务放入队列等待执行。等待执行的审核任务的状态为审核中。执行结束的审核任务的状态为审核结束。

步骤102、将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理。

其中，将任务数据划分至多个任务区间内，并行对各任务区间的任务数据进行扫描，保证各任务区间的任务之间互不干扰。

在一个具体实例中，将目标任务流水表中包括的任务数据划分至多个任务区间内，可以包括：获取目标任务流水表中包括的任务数据对应的数据标识；根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内。

数据标识可以为在按照审核任务请求的到来先后将审核任务保存至审核流水表时，生成的与任务数据唯一对应的数字标识。预设的第一分段数值可以根据业务需求设置。例如，审核流水表包括1600万个的数据，数字标识的范围为1-16000000。预设的第一分段数值可以为100万。按照数字标识从小到大，每100万条任务数据划分至一个任务区间内，将目标任务流水表中包括的任务数据划分至16个任务区间内。

执行线程是用于对任务数据进行逐行扫描的线程。建立与任务区间数量一致的执行线程，并将各任务区间分配至各执行线程。即每一个任务区间内的任务数据都有匹配的执行线程，对其进行逐行扫描。每个执行线程在扫描过程中，逐行读取所分配的任务区间内的任务数据，确定任务数据是否命中预设扫描条件。

可选的，目标任务流水表包括审核流水表。审核流水表中存储的任务数据为审核任务数据。每个执行线程在扫描过程中，逐行读取所分配的任务区间内的任务数据，判断与任务数据对应的目标任务是否为丢失任务。若是，则确定任务数据命中预设扫描条件，将目标任务的任务处理状态更新为人工处理。若否，则确定任务数据没有命中预设扫描条件。

步骤103、通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

在一个具体实例中，通过每个执行线程，将所分配的任务区间内的任务数据利用行锁进行逐行扫描，其中行锁锁定和释放的对象为表中的行，可以包括：获取所分配的任务区间内的任务数据对应的数据标识，将任务区间设置为扫描区间，扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据；从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。例如，某一个执行线程所分配的任务区间为[1,2,3……1000000]。将任务区间设置为扫描区间。扫描区间的右区间为与最大数据标识“1000000”匹配的任务数据，扫描区间的左区间为与最小数据标识“1”匹配的任务数据；从与最大数据标识“1000000”匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。

在另一个具体实例中，通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，可以包括：获取所分配的任务区间内的任务数据对应的数据标识，将任务区间设置为扫描区间，扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据。从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。在扫描过程中，判断命中预设扫描条件的任务数据数量是否达到数据数量阈值。若是，则将右区间更新为最后一个命中的任务数据以更新扫描区间，并在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。若否，则按照当前扫描顺序向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

本发明实施例提供了一种数据扫描方法，通过将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理，然后通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，解决了现有技术执行效率低下，数据扫描速度慢，容易出现调用过程超时，或者需要创建索引，辅以创建索引、维护索引等额外开销的问题，可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，得到的任务区间之间不会相互影响，充分利用现代数据库超高的吞吐量，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能，无需创建索引，避免索引带来的存储以及更新时维护索引的开销。

实施例二

图2为本发明实施例二提供的一种数据扫描方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，将目标任务流水表中包括的任务数据划分至多个任务区间内，可以包括：获取目标任务流水表中包括的任务数据对应的数据标识；根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内。

以及，通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，可以包括：获取所分配的任务区间内的任务数据对应的数据标识，将任务区间设置为扫描区间，扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据；从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。

以及，还可以包括：判断命中预设扫描条件的任务数据数量是否达到数据数量阈值；若是，则将右区间更新为最后一个命中的任务数据以更新扫描区间，并在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

如图2所示，该方法具体包括如下步骤：

步骤201、获取待扫描的目标任务流水表。

步骤202、获取目标任务流水表中包括的任务数据对应的数据标识。

其中，数据标识可以为在按照审核任务请求的到来先后将审核任务保存至审核流水表时，生成的与任务数据唯一对应的数字标识。例如，目标任务流水表中包括的任务数据对应的数据标识的范围为1-16000000。

步骤203、根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理。

其中，根据预设的第一分段数值，按照数字标识从小到大将目标任务流水表中包括的任务数据划分至多个任务区间内。例如，审核流水表包括1600万个的数据，数字标识的范围为1-16000000。预设的第一分段数值为100万。按照数字标识从小到大，每100万条任务数据划分至一个任务区间内，将目标任务流水表中包括的任务数据划分至16个任务区间内。建立16个执行线程，并将各任务区间分配至各执行线程。每个执行线程在扫描过程中，逐行读取所分配的任务区间内的任务数据，确定任务数据是否命中预设扫描条件。

步骤204、获取所分配的任务区间内的任务数据对应的数据标识，将任务区间设置为扫描区间，扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据。

其中，每个执行线程获取所分配的任务区间内的任务数据对应的数据标识，通过游标将任务区间设置为扫描区间。扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据。例如，某一个执行线程所分配的任务区间为[1,2,3……1000000]。将任务区间设置为扫描区间。扫描区间的右区间为与最大数据标识“1000000”匹配的任务数据，扫描区间的左区间为与最小数据标识“1”匹配的任务数据。

步骤205、从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。

其中，通过每个执行线程，从扫描区间的与最大数据标识匹配的任务数据开始，利用行锁向前反向逐行扫描，其中行锁锁定和释放的对象为表中的行，确定任务数据是否命中预设扫描条件。

步骤206、判断命中预设扫描条件的任务数据数量是否达到数据数量阈值：若是，则执行步骤207；若否，则执行步骤208。

其中，数据数量阈值可以根据业务需求设置。例如，数据数量阈值可以为500。

具体的，在通过每个执行线程，从扫描区间的与最大数据标识匹配的任务数据开始，向前反向逐行扫描的过程中，判断命中预设扫描条件的任务数据数量是否达到数据数量阈值。在确定命中预设扫描条件的任务数据数量达到数据数量阈值时，更新扫描区间的右区间；在确定命中预设扫描条件的任务数据数量没有达到数据数量阈值时，继续按照当前扫描顺序向前反向逐行扫描。

步骤207、将右区间更新为最后一个命中的任务数据以更新扫描区间，并在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

其中，在确定命中预设扫描条件的任务数据数量达到数据数量阈值时，通过游标的滑动将扫描区间的右区间向左偏移，更新为最后一个命中的任务数据。例如，某一个执行线程所分配的任务区间为[1,2,3……1000000]。将任务区间设置为扫描区间。扫描区间的右区间为与最大数据标识“1000000”匹配的任务数据，扫描区间的左区间为与最小数据标识“1”匹配的任务数据。在通过每个执行线程，从扫描区间的与最大数据标识匹配的任务数据开始，向前反向逐行扫描的过程中，判断命中预设扫描条件的任务数据数量是否达到500。在确定命中预设扫描条件的任务数据数量达到500时，通过游标的滑动将扫描区间的右区间向左偏移，更新为最后一个命中的任务数据。最后一个命中的任务数据的数据标识为“900000”。即将扫描区间的右区间从与最大数据标识“1000000”匹配的任务数据，更新为与数据标识“900000”匹配的任务数据。即将扫描区间从[1,2,3……1000000]更新为[1,2,3……900000]。

然后在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，并在扫描过程中重复判断命中预设扫描条件的任务数据数量是否达到数据数量阈值。在每次确定命中预设扫描条件的任务数据数量达到数据数量阈值时，通过游标的滑动将扫描区间的右区间向左偏移，对扫描区间的右区间进行重新限定，直至完成所分配的任务区间内的任务数据的扫描。

步骤208、按照当前扫描顺序向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

其中，在确定命中预设扫描条件的任务数据数量没有达到数据数量阈值时，继续按照当前扫描顺序向前反向逐行扫描，确定任务数据是否命中预设扫描条件，并在扫描过程中重复判断命中预设扫描条件的任务数据数量是否达到数据数量阈值。在每次确定命中预设扫描条件的任务数据数量达到数据数量阈值时，通过游标的滑动将扫描区间的右区间向左偏移，对扫描区间的右区间进行重新限定，直至完成所分配的任务区间内的任务数据的扫描。

本发明实施例提供了一种数据扫描方法，通过根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内，然后通过每个执行线程，将所分配的任务区间设置为扫描区间，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，并在扫描过程中重复判断命中预设扫描条件的任务数据数量是否达到数据数量阈值，在每次确定命中预设扫描条件的任务数据数量达到数据数量阈值时，通过游标的滑动将扫描区间的右区间向左偏移，对扫描区间的右区间进行重新限定，直至完成所分配的任务区间内的任务数据的扫描，可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，可以通过游标的滑动限定每次扫描的扫描区间，重新确定扫描区间可以避免调用过程超时，并且确保目标任务流水表中的每条数据无论划分任务区间中，只会被扫描一次，避免重复扫描。

实施例三

图3为本发明实施例三提供的一种数据扫描方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，目标任务流水表可以包括：审核流水表；审核流水表中存储的任务数据可以为审核任务数据。

以及，将所分配的任务区间内的任务数据进行逐行扫描，可以包括：逐行读取所分配的任务区间内的任务数据，判断与任务数据对应的目标任务是否为丢失任务；若是，则确定任务数据命中预设扫描条件，将目标任务的任务处理状态更新为人工处理。

如图3所示，该方法具体包括如下步骤：

步骤301、获取待扫描的目标任务流水表。

其中，目标任务流水表包括：审核流水表。审核流水表的任务类型为审核任务。审核流水表中存储的任务数据为审核任务数据。

步骤302、将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理。

步骤303、通过每个执行线程，逐行读取所分配的任务区间内的任务数据，判断与任务数据对应的目标任务是否为丢失任务：若是，则执行步骤304；若否，则执行步骤305。

可选的，判断与任务数据对应的目标任务是否为丢失任务，可以包括：根据任务数据，判断与任务数据对应的目标任务的任务处理状态是否是审核中；若是，则根据所述任务数据，判断与任务数据对应的目标任务的创建时间是否在预设时间区间内；若是，则确定与任务数据对应的目标任务为丢失任务。

其中，读取所分配的任务区间内的任务数据，获取目标任务的任务处理状态和创建时间，将任务状态为审核中并且创建时间在预设时间区间内的任务，确定为是需要转为人工处理的丢失任务。不满足上述条件的任务不是丢失任务。预设时间区间可以根据业务需求设置。例如，预设时间区间为早于当前时间一小时以上的时间区间。

步骤304、确定任务数据命中预设扫描条件，将目标任务的任务处理状态更新为人工处理。

步骤305、确定任务数据没有命中预设扫描条件。

由此，针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，可以大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间。以下为实测数据：对于1500万级别10％丢失率的数据表，扫描速度从136秒提升到53秒；对于1500万级别1％丢失率的数据表，扫描速度从28秒提升到1秒内。其中，丢失率是丢失任务在全部审核任务中所占的百分比。

本发明实施例提供了一种数据扫描方法，通过将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理，然后通过每个执行线程，逐行读取所分配的任务区间内的任务数据，判断与任务数据对应的目标任务是否为丢失任务；若是，则确定任务数据命中预设扫描条件，将目标任务的任务处理状态更新为人工处理，可以针对一次扫描作用范围太大的情况，对审核流水表进行划分，并行对各任务区间内的审核任务数据进行扫描处理，得到的任务区间之间不会相互影响，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能。

实施例四

图4a为本发明实施例四提供的一种数据扫描方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，在获取待扫描的目标任务流水表之前，可以还包括：获取预设的参考任务流水表，以及预设的多个参考第一分段数值，参考任务流水表中存储设定数量的任务数据；分别根据各参考第一分段数值，将参考任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描；统计不同分段方式下的扫描速度，根据扫描速度绘制一个曲线，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。

如图4a所示，该方法具体包括如下步骤：

步骤401、获取预设的参考任务流水表，以及预设的多个参考第一分段数值，参考任务流水表中存储设定数量的任务数据。

其中，参考任务流水表是用于测试扫描速度的任务流水表，可以根据真实的任务流水表和任务数据生成。参考任务流水表中包括设定数量的任务数据。例如，参考任务流水表中包括1600万的任务数据。

参考第一分段数值是用于确定预设的第一分段数值的参考数值。例如，预设的多个参考第一分段数值包括：20万、40万、60万、80万、100万、120万、140万、160万、180万以及200万。

步骤402、分别根据各参考第一分段数值，将参考任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理。

步骤403、通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

步骤404、统计不同分段方式下的扫描速度，根据扫描速度绘制一个曲线，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。

其中，根据参考任务流水表中包括的任务数据数量，以及不同分段方式下的扫描任务的总执行时间，确定与各参考第一分段数值对应的不同分段方式下的扫描速度。根据扫描速度绘制一个曲线，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。图4b为本发明实施例四提供的一种扫描速度曲线图。如图4b所示，获取与扫描速度的最大值对应的参考第一分段数值为100万。将预设的第一分段数值设置为100万。

步骤405、获取待扫描的目标任务流水表。

步骤406、获取目标任务流水表中包括的任务数据对应的数据标识。

步骤407、根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理。

步骤408、通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

本发明实施例提供了一种数据扫描方法，通过分别根据各参考第一分段数值，将参考任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理，然后通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，统计不同分段方式下的扫描速度，根据扫描速度绘制一个曲线，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值，可以根据真实的任务数据和扫描测试，选取用于对审核流水表进行划分的第一分段数值，提高扫描任务的扫描速度。

实施例五

图5为本发明实施例五提供的一种数据扫描装置的结构示意图。如图5所示，所述装置可以配置于计算机设备，包括：流水表获取模块501、任务数据划分模块502以及数据扫描模块503。

其中，流水表获取模块501，用于获取待扫描的目标任务流水表；任务数据划分模块502，用于将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；数据扫描模块503，用于通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

本发明实施例提供了一种数据扫描方法，通过将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理，然后通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，解决了现有技术执行效率低下，数据扫描速度慢，容易出现调用过程超时，或者需要创建索引，辅以创建索引、维护索引等额外开销的问题，可以针对一次扫描作用范围太大的情况，对任务流水表进行划分，并行对各任务区间内的任务数据进行扫描处理，得到的任务区间之间不会相互影响，充分利用现代数据库超高的吞吐量，大幅提升扫描任务的扫描速度，降低扫描任务的总执行时间，提升执行性能，无需创建索引，避免索引带来的存储以及更新时维护索引的开销。

在上述各实施例的基础上，任务数据划分模块502可以包括：标识获取单元，用于获取目标任务流水表中包括的任务数据对应的数据标识；数据划分单元，用于根据预设的第一分段数值，以及数据标识，将目标任务流水表中包括的任务数据划分至多个任务区间内。

在上述各实施例的基础上，数据扫描模块503可以包括：区间设置单元，用于获取所分配的任务区间内的任务数据对应的数据标识，将任务区间设置为扫描区间，扫描区间的右区间为与最大数据标识匹配的任务数据，扫描区间的左区间为与最小数据标识匹配的任务数据；数据扫描单元，用于从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。

在上述各实施例的基础上，数据扫描模块503可以还包括：数量判断单元，用于判断命中预设扫描条件的任务数据数量是否达到数据数量阈值；区间更新单元，用于若是，则将右区间更新为最后一个命中的任务数据以更新扫描区间，并在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

在上述各实施例的基础上，目标任务流水表可以包括：审核流水表；审核流水表中存储的任务数据可以为审核任务数据。

在上述各实施例的基础上，数据扫描模块503可以包括：任务判断单元，用于逐行读取所分配的任务区间内的任务数据，判断与任务数据对应的目标任务是否为丢失任务；状态更新单元，用于若是，则确定任务数据命中预设扫描条件，将目标任务的任务处理状态更新为人工处理。

在上述各实施例的基础上，任务判断单元可以包括：第一判断子单元，用于根据任务数据，判断与任务数据对应的目标任务的任务处理状态是否是审核中；第二判断子单元，用于若是，则根据任务数据，判断与任务数据对应的目标任务的创建时间是否在预设时间区间内；任务确定子单元，用于若是，则确定与任务数据对应的目标任务为丢失任务。

在上述各实施例的基础上，可以还包括：参考数据获取模块，用于获取预设的参考任务流水表，以及预设的多个参考第一分段数值，参考任务流水表中存储设定数量的任务数据；参考数据划分模块，用于分别根据各参考第一分段数值，将参考任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；参考数据扫描模块，用于通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描；数值获取模块，用于统计不同分段方式下的扫描速度，根据扫描速度绘制一个曲线，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。

上述数据扫描装置可执行本发明任意实施例所提供的数据扫描方法，具备执行数据扫描方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备612的框图。图6显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备612可以作为一种服务器或终端设备。

如图6所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器或者处理单元616，系统存储器628，连接不同系统组件(包括系统存储器628和处理单元616)的总线618。

总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。系统存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如系统存储器628中，这样的程序模块642包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元616通过运行存储在系统存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据扫描方法。也即，获取待扫描的目标任务流水表；将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

实施例七

本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的数据扫描方法。也即，获取待扫描的目标任务流水表；将目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据扫描方法，其特征在于，包括：

获取待扫描的目标任务流水表；其中，按照任务请求的到来先后，将任务保存至任务流水表；

获取所述目标任务流水表中包括的任务数据对应的数据标识；

根据预设的第一分段数值，以及所述数据标识，将所述目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；其中，数据标识为在按照任务请求的到来先后将每个任务保存至流水表时，生成的与每条任务数据唯一对应的数字标识；

通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描；

其中，在获取待扫描的目标任务流水表之前，还包括：

获取预设的参考任务流水表，以及预设的多个参考第一分段数值；

统计不同分段方式下的扫描速度，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。

2.根据权利要求1所述的方法，其特征在于，通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描，包括：

获取所分配的任务区间内的任务数据对应的数据标识，将所述任务区间设置为扫描区间，所述扫描区间的右区间为与最大数据标识匹配的任务数据，所述扫描区间的左区间为与最小数据标识匹配的任务数据；

从与所述最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件。

3.根据权利要求2所述的方法，其特征在于，还包括：

判断命中预设扫描条件的任务数据数量是否达到数据数量阈值；

若是，则将所述右区间更新为最后一个命中的任务数据以更新扫描区间，并在更新后的扫描区间内，从与最大数据标识匹配的任务数据开始，向前反向逐行扫描，确定任务数据是否命中预设扫描条件，重复判断直至完成所分配的任务区间内的任务数据的扫描。

4.根据权利要求1所述的方法，其特征在于，所述目标任务流水表包括：审核流水表；

所述审核流水表中存储的任务数据为审核任务数据。

5.根据权利要求4所述的方法，其特征在于，将所分配的任务区间内的任务数据进行逐行扫描，包括：

逐行读取所分配的任务区间内的任务数据，判断与所述任务数据对应的目标任务是否为丢失任务；

若是，则确定所述任务数据命中预设扫描条件，将所述目标任务的任务处理状态更新为人工处理。

6.根据权利要求5所述的方法，其特征在于，判断与所述任务数据对应的目标任务是否为丢失任务，包括：

根据所述任务数据，判断与所述任务数据对应的目标任务的任务处理状态是否是审核中；

若是，则根据所述任务数据，判断与所述任务数据对应的目标任务的创建时间是否在预设时间区间内；

若是，则确定与所述任务数据对应的目标任务为丢失任务。

7.根据权利要求1所述的方法，其特征在于，所述参考任务流水表中存储设定数量的任务数据；

在获取待扫描的目标任务流水表之前，还包括：

分别根据各参考第一分段数值，将所述参考任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；

通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描。

8.一种数据扫描装置，其特征在于，包括：

流水表获取模块，用于获取待扫描的目标任务流水表；其中，按照任务请求的到来先后，将任务保存至任务流水表；

数据分段模块，用于获取所述目标任务流水表中包括的任务数据对应的数据标识；根据预设的第一分段数值，以及所述数据标识，将所述目标任务流水表中包括的任务数据划分至多个任务区间内，并将每个任务区间内的任务数据分配至对应的执行线程中进行并行处理；其中，数据标识为在按照任务请求的到来先后将每个任务保存至流水表时，生成的与每条任务数据唯一对应的数字标识；

数据扫描模块，用于通过每个执行线程，将所分配的任务区间内的任务数据进行逐行扫描；

参考数据获取模块，用于获取预设的参考任务流水表，以及预设的多个参考第一分段数值；

数值获取模块，用于统计不同分段方式下的扫描速度，获取与扫描速度的最大值对应的参考第一分段数值作为预设的第一分段数值。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的数据扫描方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一所述的数据扫描方法。

Images