CN109324887B - 稽核数据并行加工方法及系统 - Google Patents

Abstract

本申请公开了稽核数据并行加工方法及系统，通过管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池；管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与线程池连接的负载端服务器；负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格。通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

Description

稽核数据并行加工方法及系统

技术领域

本申请涉及数据加工技术领域，尤其涉及一种稽核数据并行加工方法及系统。

背景技术

目前将业务数据进行加工，填充至指定的送审核表格中后发送至审核机构进行审核，一般采用单线程的半自动填充的方式，即当前任务处理完毕之后才轮到下一任务，导致数据加工送审核的效率低下。

申请内容

本申请实施例提供了一种稽核数据并行加工方法及系统，旨在解决现有的技术方法中将业务数据进行加工，填充至指定的送审核表格中后发送至审核机构进行审核，一般采用单线程的半自动填充的方式，导致数据加工效率低下的问题。

第一方面，本申请实施例提供了一种稽核数据并行加工方法，其包括：

管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；

所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

负载端服务器根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

第二方面，本申请实施例提供了一种稽核数据并行加工系统，其包括管理服务器和负载端服务器，

所述管理服务器，用于接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池；

所述管理服务器，还用于根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器，用于接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

所述负载端服务器，还用于若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

所述负载端服务器，还用于根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

本申请实施例提供了一种稽核数据并行加工方法及系统。通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的稽核数据并行加工方法的流程示意图；

图2为本申请实施例提供的稽核数据并行加工方法的另一流程示意图；

图3为本申请实施例提供的稽核数据并行加工方法的子流程示意图；

图4为本申请实施例提供的稽核数据并行加工方法的另一流程示意图；

图5为本申请实施例提供的稽核数据并行加工系统的示意性框图；

图6为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本申请实施例提供的稽核数据并行加工方法的示意流程图。该稽核数据并行加工方法应用于管理服务器中，该方法通过安装于管理服务器中的应用软件进行执行，多台用户终端通过与管理服务器建立网络连接以进行信息传输。其中，用户终端是具有接入互联网功能的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等；管理服务器是用于稽核数据并行加工的企业终端。

如图1所示，该方法包括步骤S101~S105。

S101、管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池。

在本实施例中，为了实现分布式的数据加工功能，需在管理服务器中部署线程池，并将管理服务器中部署线程池与负载端服务器中多个用于数据加工的负载端进行通讯，例如线程池连接有10个负载端，故可满足10个数据加工任务并行进行；一旦某一负载端完成数据加工任务，则从线程池中取出下一未处理的数据加工任务即可。

S102、所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器。

在一实施例中，所述任务分配策略为负载端服务器获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。

即是根据优先分配空闲负载端的原则进行分配，即若此时一旦出现空闲的负载端，则从线程池中取出一数据加工任务并将该数据加工任务分配至该空闲的负载端；为了更清楚的获知每一负载端分别处理的数据加工任务，故还可以在负载端中创建一存储表，每当负载端接收一数据加工任务开始处理之前，先获取待导入数据的来源端信息，将来源端信息填充至所述来源标识字段，得到来源标识后存储表。

在一实施例中，如图2所示，步骤S102之后，还包括：

S102a、在负载端服务器中已创建的存储表中增加一个数据来源标识字段；

S102b、负载端服务器获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表。

其中，来源端信息用于表示待导入数据所来源的上传终端，例如该上传终端是企业的201分支机构的上传终端，201分支机构的上传终端对应的来源端信息为201。多个空闲的负载端中其中一个负载端接收了201分支机构上传的到导入数据，则在该负载端中已经建立的存储表中增加一个数据来源标识字段后，在该字段填充201即可。通过上述方式，每一负载端均可准确统计历史数据（即已处理的待导入数据）。

S103、所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格。

在本实施例中，步骤S103是在负载端服务器中所包括的多个负载端中其中一个或多个负载端中执行。即先在每一负载端均预先配置数据导入流程，数据导入流程中可以设置多个数据导入步骤，也即对应多个任务节点，每一任务节点中通过数据库脚本（如SQL脚本）将满足条件的数据自动填充至目标表格；

例如数据导入流程中包括N个任务节点（如10个任务节点），第一任务节点对应的任务时将待导入数据中表1中的部分指定字段写入目标表格1，第二任务节点对应的任务时将待导入数据中表2中的部分指定字段写入目标表格2，……，将第N任务节点对应的任务时将待导入数据中表N中的部分指定字段写入目标表格N。通过上述数据导入流程，可以将待导入数据（也即待提交审核的数据）写入目标表格，之后将目标表格提交至审核机构的服务器进行审核。

在一实施例中，如图3所示，步骤S103包括：

S1031、负载端服务器获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；

S1032、负载端服务器根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；

S1033、负载端服务器将步骤标识后的数据依序导入对应的目标表格。

在本实施例中，负载端获取了待导入数据的来源端信息，不仅将待导入数据的来源端信息写入已创建的存储表中的数据来源标识字段，还在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段。通过将待导入数据增加来源标识字段，是为了防止在待导入数据根据数据导入流程中任务节点的顺序将待导入数据依序导入对应的目标表格时若出现写入错误需重新写入时，直接可以根据来源标识字段通知待导入数据的上传端重新上传数据，或是从负载端的待导入数据备份中重新获取待导入数据（即待导入数据被某一负载端获取时，可以建立一个存储待导入数据的表格，以保存待导入数据）。

之后根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，是为了便于负载端根据任务节点将对应数据写入对应表格。例如，来源标识后数据有10000条数据，数据导入流程中包括10个任务节点，第一任务节点对应的任务是将1-1000号数据导入至目标表格1，第1-1000号数据中均增加一步骤序号字段，且该步骤序号字段中均填充1（表示第一任务节点，执行顺序为第一执行顺序）；后续9000条数据也是参考前1000条数据增加步骤序号字段并对应填充任务节点序号。

S104、若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段。

例如，第一任务节点对应的任务是将1-1000号数据导入至目标表格1时，若上述1000条数据中前500条数据写入目标表格1成功，则在1-500号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位（如success，或数字1）填充至该写入状态标识字段；若从第501号数据写入目标表格1失败时，将501号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入失败的标识位（如fail，或数字0）填充至该写入状态标识字段。

显然，还可以在步骤标识后数据中增加一序号字段，以表示该步骤中每一数据都被赋予一序号，这一序号按升序被赋予该步骤中的每一数据。这样，一但在数据写入过程中存在故障时，能快速知道时哪一号数据在写入过程中出现问题，从而实现快速定位故障。

S105、负载端服务器根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

其中，若一旦在写入状态标识字段检测到写入失败的标识位，则表示这一步骤对应的任务节点是存在故障，需要对该任务节点对应的自动写入脚本进行修改以排除故障，并在排障成功后，将该任务节点对应的目标表格中数据先清空，然后重新将该任务节点对应的所有数据写入到目标表格。

在一实施例中，如图4所示，步骤S103之后还包括:

S106、若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

例如，将第一任务节点对应的任务是将1-1000号数据导入至目标表格1时，若上述1000条数据中均写入目标表格1成功，则在1-1000号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位（如success，或数字1）填充至该写入状态标识字段，通过写入这一写入状态标识位，是为了在后续流程中快速获知哪些数据已成功写入目标表格。

本方法通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

本申请实施例还提供一种稽核数据并行加工系统，该稽核数据并行加工系统用于执行前述稽核数据并行加工方法的任一实施例。具体地，请参阅图5，图5是本申请实施例提供的稽核数据并行加工系统的示意性框图。

如图5所示，稽核数据并行加工系统100包括管理服务器101和负载端服务器102。

所述管理服务器101，用于接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池。

在本实施例中，为了实现分布式的数据加工功能，需在管理服务器中部署线程池，并将管理服务器中部署线程池与负载端服务器中多个用于数据加工的负载端进行通讯，例如线程池连接有10个负载端，故可满足10个数据加工任务并行进行；一旦某一负载端完成数据加工任务，则从线程池中取出下一未处理的数据加工任务即可。

所述管理服务器101，还用于根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器。

在一实施例中，所述任务分配策略为负载端服务器获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。

即是根据优先分配空闲负载端的原则进行分配，即若此时一旦出现空闲的负载端，则从线程池中取出一数据加工任务并将该数据加工任务分配至该空闲的负载端；为了更清楚的获知每一负载端分别处理的数据加工任务，故还可以在负载端中创建一存储表，每当负载端接收一数据加工任务开始处理之前，先获取待导入数据的来源端信息，将来源端信息填充至所述来源标识字段，得到来源标识后存储表。

在一实施例中，所述负载端服务器102，还用于：

在已创建的存储表中增加一个数据来源标识字段；

获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表。

其中，来源端信息用于表示待导入数据所来源的上传终端，例如该上传终端是企业的201分支机构的上传终端，201分支机构的上传终端对应的来源端信息为201。多个空闲的负载端中其中一个负载端接收了201分支机构上传的到导入数据，则在该负载端中已经建立的存储表中增加一个数据来源标识字段后，在该字段填充201即可。通过上述方式，每一负载端均可准确统计历史数据（即已处理的待导入数据）。

所述负载端服务器102，用于接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格。

在本实施例中，即先在每一负载端均预先配置数据导入流程，数据导入流程中可以设置多个数据导入步骤，也即对应多个任务节点，每一任务节点中通过数据库脚本（如SQL脚本）将满足条件的数据自动填充至目标表格；

例如数据导入流程中包括N个任务节点（如10个任务节点），第一任务节点对应的任务时将待导入数据中表1中的部分指定字段写入目标表格1，第二任务节点对应的任务时将待导入数据中表2中的部分指定字段写入目标表格2，……，将第N任务节点对应的任务时将待导入数据中表N中的部分指定字段写入目标表格N。通过上述数据导入流程，可以将待导入数据（也即待提交审核的数据）写入目标表格，之后将目标表格提交至审核机构的服务器进行审核。

在一实施例中，所述负载端服务器还用于：

获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；

根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；

将步骤标识后的数据依序导入对应的目标表格。

在本实施例中，负载端获取了待导入数据的来源端信息，不仅将待导入数据的来源端信息写入已创建的存储表中的数据来源标识字段，还在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段。通过将待导入数据增加来源标识字段，是为了防止在待导入数据根据数据导入流程中任务节点的顺序将待导入数据依序导入对应的目标表格时若出现写入错误需重新写入时，直接可以根据来源标识字段通知待导入数据的上传端重新上传数据，或是从负载端的待导入数据备份中重新获取待导入数据（即待导入数据被某一负载端获取时，可以建立一个存储待导入数据的表格，以保存待导入数据）。

之后根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，是为了便于负载端根据任务节点将对应数据写入对应表格。例如，来源标识后数据有10000条数据，数据导入流程中包括10个任务节点，第一任务节点对应的任务是将1-1000号数据导入至目标表格1，第1-1000号数据中均增加一步骤序号字段，且该步骤序号字段中均填充1（表示第一任务节点，执行顺序为第一执行顺序）；后续9000条数据也是参考前1000条数据增加步骤序号字段并对应填充任务节点序号。

所述负载端服务器102，还用于若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段。

例如，第一任务节点对应的任务是将1-1000号数据导入至目标表格1时，若上述1000条数据中前500条数据写入目标表格1成功，则在1-500号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位（如success，或数字1）填充至该写入状态标识字段；若从第501号数据写入目标表格1失败时，将501号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入失败的标识位（如fail，或数字0）填充至该写入状态标识字段。

显然，还可以在步骤标识后数据中增加一序号字段，以表示该步骤中每一数据都被赋予一序号，这一序号按升序被赋予该步骤中的每一数据。这样，一但在数据写入过程中存在故障时，能快速知道时哪一号数据在写入过程中出现问题，从而实现快速定位故障。

所述负载端服务器102，还用于根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

其中，若一旦在写入状态标识字段检测到写入失败的标识位，则表示这一步骤对应的任务节点是存在故障，需要对该任务节点对应的自动写入脚本进行修改以排除故障，并在排障成功后，将该任务节点对应的目标表格中数据先清空，然后重新将该任务节点对应的所有数据写入到目标表格。

在一实施例中，所述负载端服务器102还用于：

若存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

例如，将第一任务节点对应的任务是将1-1000号数据导入至目标表格1时，若上述1000条数据中均写入目标表格1成功，则在1-1000号数据对应的步骤标识后数据中增加一用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位（如success，或数字1）填充至该写入状态标识字段，通过写入这一写入状态标识位，是为了在后续流程中快速获知哪些数据已成功写入目标表格。

本系统通过将待导入数据对应的数据加工任务加入线程池，根据预先设置的分配算法，将数据加工任务分配至与线程池连接的负载端进行并行数据加工，提高了数据加工的效率。

上述稽核数据并行加工系统可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本申请实施例提供的计算机设备的示意性框图。

参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行稽核数据并行加工方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行稽核数据并行加工方法。

该网络接口505用于进行网络通信，如为网络访问提供数据流量的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

在一实施例中，处理器502在执行根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器之后，还执行如下操作：在已创建的存储表中增加一个数据来源标识字段；获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表。

在一实施例中，处理器502在执行根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格，执行如下操作：获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；将步骤标识后的数据依序导入对应的目标表格。

在一实施例中，处理器502在执行负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格之后，还执行如下操作：若存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

在一实施例中，处理器502中执行的任务分配策略为如下操作：获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。

本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。

应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本申请的另一实施例中提供存储介质。该存储介质可以为非易失性的计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时实现以下步骤：接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格。

在一实施例中，该程序指令被处理器执行时实现以下步骤：在已创建的存储表中增加一个数据来源标识字段；获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表。

在一实施例中，该程序指令被处理器执行时实现以下步骤：获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；将步骤标识后的数据依序导入对应的目标表格。

在一实施例中，该程序指令被处理器执行时实现以下步骤：若存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

在一实施例中，所述任务分配策略为获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、系统或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种稽核数据并行加工方法，其特征在于，包括：

管理服务器接收待导入数据，将所述待导入数据对应的数据加工任务加入线程池；

所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

负载端服务器根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格；

所述管理服务器根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器之后，还包括：

在负载端服务器中已创建的存储表中增加一个数据来源标识字段；

负载端服务器获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表；

其中，所述来源端信息用于表示所述待导入数据所来源的上传终端。

2.根据权利要求1所述的稽核数据并行加工方法，其特征在于，所述根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格，包括：

负载端服务器获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；

负载端服务器根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；

负载端服务器将步骤标识后的数据依序导入对应的目标表格。

3.根据权利要求1所述的稽核数据并行加工方法，其特征在于，所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格之后，还包括：

若负载端服务器中存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

4.根据权利要求2所述的稽核数据并行加工方法，其特征在于，所述负载端服务器接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格，包括：

负载端服务器获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。

5.一种稽核数据并行加工系统，包括管理服务器和负载端服务器，其特征在于，

所述管理服务器，用于接收待导入数据，将所述待导入数据对应的数据加工任务加入管理服务器中的线程池；

所述管理服务器，还用于根据预先设置的任务分配策略，将所述数据加工任务分配至与所述线程池连接的负载端服务器；

所述负载端服务器，用于接收所述数据加工任务，并获取与所述数据加工任务对应的数据导入流程，根据所述数据导入流程中任务节点的顺序将所述待导入数据依序导入对应的目标表格；

所述负载端服务器，还用于若存在根据任务节点将待导入数据导入对应的目标表格失败，在所述任务节点对应的待导入数据中增加用于标识数据写入目标表格状态的写入状态标识字段，将所述待导入数据中写入至目标表格成功或失败的标识位填充至所述写入状态标识字段；

所述负载端服务器，还用于根据写入至目标表格失败的标识位定位待导入数据写入目标表格中的异常位置，若检测到异常位置对应的任务节点排障成功，将异常位置对应的任务节点所对应待导入数据写入目标表格；

所述负载端服务器，还用于：

在已创建的存储表中增加一个数据来源标识字段；

获取待导入数据的来源端信息，将来源端信息填充至所述数据来源标识字段，得到数据来源标识后的存储表；

其中，所述来源端信息用于表示所述待导入数据所来源的上传终端。

6.根据权利要求5所述的稽核数据并行加工系统，其特征在于，所述负载端服务器，还用于：

获取待导入数据的来源端信息，根据来源端信息在待导入数据中增加一个来源标识字段，并将来源端信息填充至来源标识字段，得到来源标识后的数据；

根据任务节点将来源标识后的数据进行划分，得到与每一任务节点一一对应的分块数据，在每一分块数据增加一个步骤序号字段，将每一分块数据对应的任务节点序号填充至步骤序号字段，得到步骤标识后的数据；

将步骤标识后的数据依序导入对应的目标表格。

7.根据权利要求5所述的稽核数据并行加工系统，其特征在于，所述负载端服务器，还用于若存在根据任务节点将待导入数据导入对应的目标表格成功，将所述任务节点对应的待导入数据中增加一个用于标识数据写入目标表格状态的写入状态标识字段，将写入成功的标识位填充至写入状态标识字段。

8.根据权利要求6所述的稽核数据并行加工系统，其特征在于，所述负载端服务器，还用于获取多个负载端中为空闲状态的负载端，并在线程池中取出与空闲状态的负载端相同个数的数据加工任务，将每一空闲状态的负载端中均分配一个数据加工任务。