CN110060140A - 海量数据对账方法、装置、介质和计算机设备 - Google Patents

Abstract

本发明提供了一种海量数据对账方法、装置、计算机存储介质和计算机设备；该方法包括：响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；将所述待对账数据集拆分为多个待对账数据子集；根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；根据所述各个待对账数据子集对应的轧账结果进行平账处理。通过本发明技术方案为海量数据进行对账处理，能够有效缩减为海量数据对账过程所花费的时间，显著提高对海量数据的对账效率。

Description

海量数据对账方法、装置、介质和计算机设备

技术领域

本发明涉及支付清算领域，具体而言，本发明涉及一种海量数据对账方法、装置、介质和计算机设备。

背景技术

轧帐是会计科目流程之一，定期或者企业需要时，核对总账与明细账，每日记账是否一致。轧帐是对账最核心的流程，用来确认双方或多方的账目是否一致，不一致的情况下，有哪些差错。

目前的轧账处理方式有利用数据库SQL语句对账以及将对账处理逻辑从数据库中转移到内存中，比如利用redis内存数据库来处理。

然而当需要为海量数据进行对账处理时，上述两种方法就不适合。由于需要处理的数据量大，如果利用数据库来处理，会导致内存不足，并且大量数据库查询，会耗尽数据库资源，对联机交易有影响；如果使用redis数据库来处理，则因为交易量大而导致数据导入量大，数据预热慢，因而数据库性能很容易成为瓶颈。

发明内容

本发明针对现有技术的缺点，提供了一种海量数据对账方法、装置、介质和计算机设备，通过本发明技术方案为海量数据进行对账处理，能够有效缩减为海量数据对账过程所花费的时间，显著提高对海量数据的对账效率。

本发明实施例根据第一方面提供了一种海量数据对账方法，包括：

响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；

将所述待对账数据集拆分为多个待对账数据子集；

根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；

根据所述各个待对账数据子集对应的轧账结果进行平账处理。

进一步地，所述将所述待对账数据集拆分为多个待对账数据子集，包括：

计算所述待对账数据集对应的轧账工作量；

获取所有用于执行轧账操作的轧账机器对应的运行状态信息；

根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集。

进一步地，所述根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集，包括：

根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器；

确定各台目标轧账机器对应的预估承接工作量；

若预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值，则将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集。

进一步地，所述根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器，包括：

根据所述对应的运行状态信息计算各台轧账机器对应的预估承接工作量；

将预估承接工作量大于预设工作量阈值的轧账机器作为执行本次对账任务的目标轧账机器。

进一步地，所述将所述待对账数据集均匀分割为总份数与所述机器数量相同的待对账数据子集，之后包括：

对所述对账文件进行预设标准化处理，生成对账参照数据；

将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

进一步地，所述根据所述对账文件对所述多个待对账数据子集进行轧账操作，包括：

确定所述多个待对账数据子集对应的对账参照子数据；

将各个待对账数据子集以及对应的对账参照子数据导入与各个待对账数据子集对应的目标轧账机器中；

向各台目标轧账机器发送任务执行指令，以使所述各台目标轧账机器执行所述任务执行指令关联的预先编写的轧账作业任务，对各个待对账数据子集以及对应的对账参照子数据进行轧账操作。

进一步地，所述根据所述各个待对账数据子集对应的轧账结果进行平账处理，包括：

从所述各个待对账数据子集对应的轧账结果中确定需要进行平账处理的待平账记录；

确定所述待平账记录的待平账类型

使用所述待平账类型对应的平账处理方式对所述待平账记录进行平账处理。

本发明实施例根据第二方面提供了一种海量数据对账装置，包括：

对账数据获取模块，用于响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；

数据拆分模块，用于将所述待对账数据集拆分为多个待对账数据子集；

轧账处理模块，用于根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；

平账处理模块，用于根据所述各个待对账数据子集对应的轧账结果进行平账处理。

本发明实施例根据第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的海量数据对账方法。

本发明实施例根据第四方面提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的海量数据对账方法。

在本发明实施例中，响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；将所述待对账数据集拆分为多个待对账数据子集；根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；根据所述各个待对账数据子集对应的轧账结果进行平账处理，从而实现通过本发明技术方案为海量数据进行对账处理，有效缩减为海量数据对账过程所花费的时间，显著提高对海量数据的对账效率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一个实施例的海量数据对账方法流程示意图；

图2为本发明一个实施例的海量数据对账装置的结构示意图；

图3为本发明一种实施例的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，这里使用的“第一”、“第二”仅用于区别同一技术特征，并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明实施例提供了一种海量数据对账方法，以下结合附图对本发明的具体实施方式进行详细介绍。如图1所示，本发明实施例提供的海量数据对账方法包括以下步骤：

S110：响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件。

S120：将所述待对账数据集拆分为多个待对账数据子集。

S130：根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果。

S140：根据所述各个待对账数据子集对应的轧账结果进行平账处理。

在本实施例中，在支付系统中需要保证每一笔交易记录中的各个参与者的记录都互相吻合，而为了避免交易记录中出现不相吻合的记录，需要使用对账系统对交易数据以及各个参与者的记录进行对比，判断是否有不相吻合的记录，如果有，则进行处理以消除不相吻合的情况。具体地，对账任务包括轧账操作以及平账处理共两个步骤，其中，轧账操作是比较交易记录中的所有参与者对应的记录，找出有差异的交易记录，而平账处理就是对前述轧账操作找出的有差异的交易记录进行处理，以解决掉相关交易记录的差异。

对账系统接收到对账任务执行指令之后，需要先获取用于进行轧账操作的待对账数据集和对账文件，具体地，会到本地相关数据库比如某一关系型数据库中，获取与所述对账任务执行指令关联的交易记录，即所述待对账数据集，以及确定与对账任务执行指令关联的渠道方标识，所述渠道方标识包括银行方、第三方支付方以及银联方，然后通过预设接口到所述渠道方标识对应的渠道方下载相关对账文件，或者下载由渠道方主动推送过来的对账文件，然后需要对获取到的待对账数据集和对账文件进行轧账处理。

考虑到进行轧账处理的数据量非常庞大，本实施例先将所述待对账数据集拆分为多个待对账数据子集，然后将拆分后得到的多个待对账数据子集分别分配给用于执行轧账操作的轧账机器，所述轧账机器是基于Hadoop架构搭建的分布式计算设备，由各个轧账机器对分配到的待对账数据子集和账单文件进行轧账操作，获得轧账结果，然后在对轧账结果进行平账处理，从而实现缩减为海量数据对账过程所花费的时间，提高对海量数据的对账效率的技术效果。

在一个实施例中，所述S120：将所述待对账数据集拆分为多个待对账数据子集，包括：

S121：计算所述待对账数据集对应的轧账工作量。

S122：获取所有用于执行轧账操作的轧账机器对应的运行状态信息。

S123：根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集。

考虑到需要对账的数据量很大，轧账机器的计算负荷都很大，为了避免出现部分轧账机器的负荷过大而导致最终的计算效率受到影响，需要均衡各个轧账机器已经分配到的计算任务，使各个轧账机器的计算负荷比较平均。而在实际情况中，不同的轧账机器由于配置不同，轧账机器的使用年限不同，当前有无执行其他对账任务以及对账任务的任务计算量的差异都会导致轧账机器后续能够正常处理的工作量不同。因此本实施例在为轧账机器分配待对账数据子集之前，先计算所述待对账数据集对应的轧账工作量，以及获取轧账机器对应的运行状态信息，然后根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集。

具体地，在计算所述待对账数据集对应的轧账工作量时，确定所述待对账数据集的交易记录数量，根据所述交易记录数量确定轧账工作量。

在一个实施例中，所述S123：根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集，包括：

S1231：根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器；

S1232：确定各台目标轧账机器对应的预估承接工作量；

S1233：若预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值，则将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集。

在本实施例中，对账系统会预先为所有的轧账机器计算其对应的能够承接的最大预估承接工作量，而根据轧账机器对应的运行状态信息能够计算出轧账机器当前能够承接的工作量，即所述预估承接工作量。根据各个轧账机器对应的最大预估承接工作量和预估承接工作量从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器。

具体地，所述S1231：根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器，包括：

根据所述对应的运行状态信息计算各台轧账机器对应的预估承接工作量；

将预估承接工作量大于预设工作量阈值的轧账机器作为执行本次对账任务的目标轧账机器。

其中，所述运行状态信息包括空闲状态、任务执行状态。当所述轧账机器处于空闲状态时，轧账机器当前能够承接的工作量就是其对应的最大预估承接工作量，而当所述轧账机器处于任务执行状态时，需要先获取轧账机器当前执行的任务所对应的工作量，然后将其对应的最大预估承接工作量减去当前执行的任务所对应的工作量，从而得到的差值就是轧账机器当前能够承接的工作量，即所述预估承接工作量。

由于实际情况中，当对账系统接收到对账任务执行指令时，可能存在部分轧账机器当前已经在执行其他对账任务，并且在短时间内无法完成该对账任务的情况，为了不给处于上述情况中的轧账机器增加计算负荷，通过预先配置预设工作量阈值，将其与预估承接工作量进行比较，根据比较的结果来从所有的轧账机器中选择出当前适宜执行本次对账任务的轧账机器，即所述目标轧账机器，具体地，所述预设工作量阈值可以根据实际应用场景来进行配置。

而在对账系统确定出执行本次对账任务的目标轧账机器之后，确定各台目标轧账机器对应的预估承接工作量，之后判断各台目标轧账机器对应的预估承接工作量是否处于预设工作量区间。

如果所述预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值，说明确定出来的所有目标轧账机器中，大部分目标轧账机器的预估承接工作量是接近的，那么就将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集，比如当前目标轧账机器有100台，那么就将所述待对账数据集均匀分割为100份待对账数据子集，也就是说在为确定出来的目标轧账机器分配待对账数据子集时不需要考虑均衡各个目标轧账机器的计算负荷。

而如果所述预估承接工作量处于预设工作量区间的目标轧账机器数量不大于预设机器阈值，说明确定出来的所有目标轧账机器中，大部分目标轧账机器之间的预估承接工作量差距较大，那么就分割所述待对账数据集时，需要考虑到各个目标轧账机器对应的预估承接工作量，以使分配给目标轧账机器的待对账数据子集对应的轧账工作量不大于其对应的预估承接工作量，从而实现均衡各个目标轧账机器的计算负荷的效果。

在一个实施例中，所述S130：将所述待对账数据集均匀分割为总份数与所述机器数量相同的待对账数据子集，之后包括：

S210：对所述对账文件进行预设标准化处理，生成对账参照数据；

S220：将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

在本实施例中，将所述待对账数据集均匀分割为总份数与所述机器数量相同的待对账数据子集之后，也需要相应地将用于对照的对账文件进行分割。但是不同渠道方的对账文件的格式通常有所区别，常见的对账文件的格式有文本格式、XML格式、CSV格式，不同格式的对账文件中的交易记录中包含的记录字段的类型或者记录字段的排序有些存在差异，而由于提供对账文件的渠道方不同，即使对账文件属于同一格式，但其中包含的记录字段的类型或者记录字段的排序也有可能不同，因此需要对所述对账文件进行预设标准化处理，使得在轧账操作的步骤中，不需要针对不同渠道方的对账文件配置相应的配置数据，减少进行轧账操作的前期准备工作量，也方便了轧账操作后的平账操作。

而在生成对账参照数据后，将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

进一步地，如果之前在分割所述待对账数据集时，需要根据各个目标轧账机器对应的预估承接工作量来进行分割，那么相应地在分割对账参照数据时，就需要根据各个目标轧账机器分配到的待对账数据集来分割所述对账参照数据，使分配给各个目标轧账机器的待对账数据子集和对账参照子数据对应。

在一个实施例中，所述S130：根据所述对账文件对所述多个待对账数据子集进行轧账操作，包括：

S131：确定所述多个待对账数据子集对应的对账参照子数据；

S132：将各个待对账数据子集以及对应的对账参照子数据导入与各个待对账数据子集对应的目标轧账机器中；

S133：向各个目标轧账机器发送任务执行指令，以使所述各个目标轧账机器执行所述任务执行指令关联的预先编写的轧账作业任务，对各个待对账数据子集以及对应的对账参照子数据进行轧账操作。

在本实施例中，确定所述多个待对账数据子集对应的对账参照子数据，然后将各个待对账数据子集以及对应的对账参照子数据导入与各个待对账数据子集对应的目标轧账机器中，具体地将待对账数据子集和对账参照子数据导入HDFS(Hadoop DistributedFile System，Hadoop分布式文件系统)中，然后将预先编写的MapReduce作业任务提交到所述目标轧账机器中的JobTracker中，以使所述各个目标轧账机器执行所述MapReduce作业任务，对各个待对账数据子集以及对应的对账参照子数据进行轧账操作。

在一个实施例中，所述S140：根据所述各个待对账数据子集对应的轧账结果进行平账处理，包括：

S141：从所述各个待对账数据子集对应的轧账结果中确定需要进行平账处理的待平账记录；

S142：确定所述待平账记录的待平账类型；

S143：使用所述待平账类型对应的平账处理方式对所述待平账记录进行平账处理。

在本实施例中，所述平账处理是指通过人工处理或者系统自动处理的方式将之前通过轧账操作确定的有差异的交易记录的差异地方解决掉的操作。本实施例通过轧账操作和平账处理两个步骤确保所述待对账数据集中的每一条交易记录都与对账文件上对应的记录在各个对账要素都一致。

其中，轧账操作过程中需要对比的对账要素包括订单号、交易时间、金额、结算日期、客户信息、分润信息等等，可以理解的是，在不同的应用场景中对账要素的类型可能有增加或者减少的情况。

每个交易记录进行轧账操作后的待平账类型包括平账，单边账，金额不一致，状态不一致等。比如，待平账类型为平账，就是指交易记录的每个对账要素都与对账文件上对应的记录一致。

在本实施例中会通过人工处理和系统自动化处理的方式对待平账记录进行处理，所述待平账记录指的是待平账类型不是平账的交易记录。

具体地，对于待平账类型为单边账的交易记录，由于这种情况一般是双方日切时间点不一致造成的跨日问题，需要在次日的对账文件中核实，因此可以先将所述交易记录存储到预设存储区域，在获取到第二天的对账文件后，将所述单边账交易记录与所述次日对账文件对比，确定所述次日对账文件中是否存在与所述单边账交易记录匹配的记录，若有，则将所述单边账交易记录对应的对账状态更新为平账；若没有，则记录当前对账详情信息，将所述对账详情信息发送给客服客户端。

对于待平账类型为金额不一致的交易记录，将所述交易记录发送给客服客户端。

而对于待平账类型为金额不一致的交易记录，由于这种情况一般以对账参照数据的记录为准，所以将相关的交易记录的相关对账要素修改为和所述对账参照数据的记录一致。具体地，获取所述对账参照数据中各个对账要素对应的具体信息，根据所述各个对账要素对应的状态信息更新与所述交易记录中的各个对账要素的具体信息。

为了更好地理解本发明技术方案，本发明还提供了一种海量数据对账装置，如图2所示，包括：

对账数据获取模块110，用于响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件。

数据拆分模块120，用于将所述待对账数据集拆分为多个待对账数据子集。

轧账处理模块130，用于根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果。

平账处理模块140，用于根据所述各个待对账数据子集对应的轧账结果进行平账处理。

考虑到进行轧账处理的数据量非常庞大，因此本实施例先将所述待对账数据集拆分为多个待对账数据子集，然后将拆分后得到的多个待对账数据子集分别分配给用于执行轧账操作的轧账机器，所述轧账机器是基于Hadoop架构搭建的分布式计算设备，由各个轧账机器对分配到的待对账数据子集和账单文件进行轧账操作，获得轧账结果，然后在对轧账结果进行平账处理，从而实现缩减为海量数据对账过程所花费的时间，提高对海量数据的对账效率的技术效果。

在一个实施例中，所述数据拆分模块120，包括：

轧账工作量计算子模块121，用于计算所述待对账数据集对应的轧账工作量；

运行状态获取子模块122，用于获取所有用于执行轧账操作的轧账机器对应的运行状态信息；

数据拆分子模块123，用于根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集。

在一个实施例中，所述数据拆分子模块123，包括：

目标轧账机器确定单元1231，用于根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器；

承接工作量确定单元1232，用于确定各台目标轧账机器对应的预估承接工作量；

数据拆分单元1233，用于当预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值时，将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集。

在一个实施例中，所述目标轧账机器确定单元1231，还用于根据所述对应的运行状态信息计算各台轧账机器对应的预估承接工作量，将预估承接工作量大于预设工作量阈值的轧账机器作为执行本次对账任务的目标轧账机器。

在对账系统确定出执行本次对账任务的目标轧账机器之后，确定各台目标轧账机器对应的预估承接工作量，之后判断各台目标轧账机器对应的预估承接工作量是否处于预设工作量区间。

如果所述预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值，说明确定出来的所有目标轧账机器中，大部分目标轧账机器的预估承接工作量是接近的，那么就将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集，比如当前目标轧账机器有100台，那么就将所述待对账数据集均匀分割为100份待对账数据子集，也就是说在为确定出来的目标轧账机器分配待对账数据子集时不需要考虑均衡各个目标轧账机器的计算负荷。

而如果所述预估承接工作量处于预设工作量区间的目标轧账机器数量不大于预设机器阈值，说明确定出来的所有目标轧账机器中，大部分目标轧账机器之间的预估承接工作量差距较大，那么就分割所述待对账数据集时，需要考虑到各个目标轧账机器对应的预估承接工作量，以使分配给目标轧账机器的待对账数据子集对应的轧账工作量不大于其对应的预估承接工作量，从而实现均衡各个目标轧账机器的计算负荷的效果。

在一个实施例中，本发明提供的海量数据对账装置在执行所述轧账处理模块130对应的功能之后，还执行以下模块对应的功能：

参照数据生成模块210，用于对所述对账文件进行预设标准化处理，生成对账参照数据；

参照数据拆分模块220，用于将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

在本实施例中，将所述待对账数据集均匀分割为总份数与所述机器数量相同的待对账数据子集之后，也需要相应地将用于对照的对账文件进行分割。但是不同渠道方的对账文件的格式通常有所区别，常见的对账文件的格式有文本格式、XML格式、CSV格式，不同格式的对账文件中的交易记录中包含的记录字段的类型或者记录字段的排序有些存在差异，而由于提供对账文件的渠道方不同，即使对账文件属于同一格式，但其中包含的记录字段的类型或者记录字段的排序也有可能不同，因此需要对所述对账文件进行预设标准化处理，使得在轧账操作的步骤中，不需要针对不同渠道方的对账文件配置相应的配置数据，减少进行轧账操作的前期准备工作量，也方便了轧账操作后的平账操作。

而在生成对账参照数据后，将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

进一步地，如果之前在分割所述待对账数据集时，需要根据各个目标轧账机器对应的预估承接工作量来进行分割，那么相应地在分割对账参照数据时，就需要根据各个目标轧账机器分配到的待对账数据集来分割所述对账参照数据，使分配给各个目标轧账机器的待对账数据子集和对账参照子数据对应。

在一个实施例中，所述轧账处理模块130，包括：

参照子数据确定子模块131，用于确定所述多个待对账数据子集对应的对账参照子数据；

数据导入子模块132，用于将各个待对账数据子集以及对应的对账参照子数据导入与各个待对账数据子集对应的目标轧账机器中；

执行指令发送子模块133，用于向各个目标轧账机器发送任务执行指令，以使所述各个目标轧账机器执行所述任务执行指令关联的预先编写的轧账作业任务，对各个待对账数据子集以及对应的对账参照子数据进行轧账操作。

在一个实施例中，所述平账处理模块140，包括：

待平账记录确定子模块141，用于从所述各个待对账数据子集对应的轧账结果中确定需要进行平账处理的待平账记录；

待平账类型确定子模块142，用于确定所述待平账记录的待平账类型

平账处理子模块143，用于使用所述待平账类型对应的平账处理方式对所述待平账记录进行平账处理。

需要说明的是，本发明实施例提供的海量数据对账装置能够实现上述海量数据对账方法实施例所实现的功能，功能的具体实现参照上述海量数据对账方法中的描述，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述海量数据对账方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-OnlyMemory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。

本发明实施例还提供一种计算机设备，所述计算机设备包括：

一个或多个处理器710；

存储装置720，用于存储一个或多个程序700，

当所述一个或多个程序700被所述一个或多个处理器710执行，使得所述一个或多个处理器710实现上述海量数据对账方法。

如图3所示为本发明计算机设备的结构示意图，包括处理器710、存储装置720、输入单元730以及显示单元740等器件。本领域技术人员可以理解，图3示出的结构器件并不构成对所有计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储装置720可用于存储应用程序700以及各功能模块，处理器710运行存储在存储装置720的应用程序700，从而执行设备的各种功能应用以及数据处理。存储装置720可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储装置包括但不限于这些类型的存储装置。本发明所公开的存储装置720只作为例子而非作为限定。

输入单元730用于接收信号的输入，以及接收用户输入的选择语音文件等相关请求。输入单元730可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元740可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元740可采用液晶显示器、有机发光二极管等形式。处理器710是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储装置720内的软件程序和/或模块，以及调用存储在存储装置内的数据，执行各种功能和处理数据。

在一实施方式中，计算机设备包括一个或多个处理器710，以及一个或多个存储装置720，一个或多个应用程序700，其中所述一个或多个应用程序700被存储在存储装置720中并被配置为由所述一个或多个处理器710执行，所述一个或多个应用程序700配置用于执行以上实施例所述的海量数据对账方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应该理解的是，在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种海量数据对账方法，其特征在于，包括：

响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；

将所述待对账数据集拆分为多个待对账数据子集；

根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；

根据所述各个待对账数据子集对应的轧账结果进行平账处理。

2.如权利要求1所述的海量数据对账方法，其特征在于，

所述将所述待对账数据集拆分为多个待对账数据子集，包括：

计算所述待对账数据集对应的轧账工作量；

获取所有用于执行轧账操作的轧账机器对应的运行状态信息；

根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集。

3.如权利要求2所述的海量数据对账方法，其特征在于，

所述根据所述轧账工作量和运行状态信息将所述待对账数据集拆分为多个待对账数据子集，包括：

根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器；

确定各台目标轧账机器对应的预估承接工作量；

若预估承接工作量处于预设工作量区间的目标轧账机器数量大于预设机器阈值，则将所述待对账数据集均匀分割为总份数与所述多台目标轧账机器对应的机器数量相同的待对账数据子集。

4.如权利要求3所述的海量数据对账方法，其特征在于，

所述根据所述对应的运行状态信息从所述所有的轧账机器中确定执行本次对账任务的多台目标轧账机器，包括：

根据所述对应的运行状态信息计算各台轧账机器对应的预估承接工作量；

将预估承接工作量大于预设工作量阈值的轧账机器作为执行本次对账任务的目标轧账机器。

5.如权利要求3所述的海量数据对账方法，其特征在于，

所述将所述待对账数据集均匀分割为总份数与所述机器数量相同的待对账数据子集，之后包括：

对所述对账文件进行预设标准化处理，生成对账参照数据；

将所述对账参照数据均匀分割为总份数与所述机器数量相同的对账参照子数据。

6.如权利要求5所述的海量数据对账方法，其特征在于，

所述根据所述对账文件对所述多个待对账数据子集进行轧账操作，包括：

确定所述多个待对账数据子集对应的对账参照子数据；

将各个待对账数据子集以及对应的对账参照子数据导入与各个待对账数据子集对应的目标轧账机器中；

向各台目标轧账机器发送任务执行指令，以使所述各台目标轧账机器执行所述任务执行指令关联的预先编写的轧账作业任务，对各个待对账数据子集以及对应的对账参照子数据进行轧账操作。

7.如权利要求1所述的海量数据对账方法，其特征在于，

所述根据所述各个待对账数据子集对应的轧账结果进行平账处理，包括：

从所述各个待对账数据子集对应的轧账结果中确定需要进行平账处理的待平账记录；

确定所述待平账记录的待平账类型

使用所述待平账类型对应的平账处理方式对所述待平账记录进行平账处理。

8.一种海量数据对账装置，其特征在于，包括：

对账数据获取模块，用于响应于对账任务执行指令，获取与所述对账任务执行指令关联的待对账数据集和对账文件；

数据拆分模块，用于将所述待对账数据集拆分为多个待对账数据子集；

轧账处理模块，用于根据所述对账文件对所述多个待对账数据子集进行轧账操作，获得与各个待对账数据子集对应的轧账结果；

平账处理模块，用于根据所述各个待对账数据子集对应的轧账结果进行平账处理。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的海量数据对账方法。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的海量数据对账方法。