CN107885788A - 一种业务数据核查方法 - Google Patents

Abstract

本发明公开了一种业务数据核查方法，属于交易业务技术领域；方法包括：于不同的数据源中产生用于表示同一笔交易业务的业务数据，来自每个数据源的所有业务数据被包括在对应的数据集合中，并且在核查之前预先于系统内存中按照预设的拆分策略将每个数据集合拆分成多个数据块；还包括：获取待核查数据以及对应的订单号；在其余数据源中对应于待核查数据所在数据范围的数据块中，采用订单号进行遍历以找到与待核查数据同属于一个交易业务的其余所有业务数据；将待核查数据与找到的业务数据一一进行比对，并输出相应的比对结果。上述技术方案的有益效果是：降低系统处理大数据核查的负担，提高系统的处理效率。

Description

一种业务数据核查方法

技术领域

本发明涉及交易业务技术领域，尤其涉及一种业务数据核查方法。

背景技术

随着电商技术的飞速发展，越来越多的交易业务选择在电商平台上开展，因此也带来了大数据量的交易业务数据，这些业务数据所包含的信息量非常大，可以从业务数据中分析得到每笔交易业务的状况，并且业务数据也能够作为每笔交易业务的凭证，因此业务数据的准确性在电子商务化的交易模式中至关重要。

现有的电商交易业务中，每笔交易业务在电商平台侧和支付平台侧(例如银行侧)均会生成相互独立的业务数据。理论上，关联于同一笔交易业务的业务数据应当完全一致，但是由于电商平台和支付平台为两个相互独立的系统，难免会出现业务数据不一致的情况，为了保证业务数据的一致性往往会对来自不同数据源的业务数据进行比对和核查。现有技术中的核查工作往往由人工完成，并且基于人工处理效率低下的考量，也会采用计算机软件自动比对数据的方式对业务数据进行核查。然而电商交易所产生的业务数据量过于庞大，就算采用计算机软件自动进行数据比对，依然会因为计算机设备性能有限而限制比对的效率，每次数据比对会花费较长的时间，也会占用较多的系统内存，甚至可能导致响应锁死，影响数据核查的过程。

发明内容

根据现有技术中存在的问题，现提供一种业务数据核查方法的技术方案，旨在降低系统处理大数据核查的负担，提高系统的处理效率。上述技术方案具体包括：

一种业务数据核查方法，适用于针对来自不同数据源的业务数据进行比对和核查；其中，于不同的数据源中产生用于表示同一笔交易业务的业务数据，来自每个所述数据源的所有所述业务数据被包括在对应的数据集合中，并且在核查之前预先于系统内存中按照预设的拆分策略将每个所述数据集合拆分成多个数据块，每个所述数据块内的所述业务数据被包括在一个对应的数据范围内；

所述业务数据核查方法中，对一条所述业务数据进行核查的步骤具体包括：

步骤S1，获取需要核查的所述业务数据并作为待核查数据，以及获取所述待核查数据的订单号；

步骤S2，在其余所述数据源中对应于所述待核查数据所在数据范围的所述数据块中，采用所述订单号进行遍历以找到与所述待核查数据同属于一个所述交易业务的其余所有所述业务数据；

步骤S3，将所述待核查数据与所述步骤S2中找到的所述业务数据一一进行比对，并输出相应的比对结果；

所述业务数据核查方法中，对来自每个所述数据源的每个所述数据块中的每条所述业务数据执行所述步骤S1至所述步骤S3，以对每条所述业务数据进行核查，随后整理所有所述业务数据的所述比对结果形成一核查结果并输出。

优选的，该业务数据核查方法，其中，预设的所述拆分策略为依据所述交易业务产生的一个预设维度分别对每个所述数据集合进行拆分；

来自不同所述数据源的所述数据集合所应用的所述拆分策略相同。

优选的，该业务数据核查方法，其中，预设的所述拆分策略为依据所述交易业务产生的时间维度分别对每个所述数据集合进行拆分。

优选的，该业务数据核查方法，其中，于系统内存中并行地将不同的所述数据集合拆分成多个所述数据块；

多个所述数据块被统一保存于缓存服务器中。

优选的，该业务数据核查方法，其中，在执行所述步骤S1之前，首先调整不同的所述数据块中的所述业务数据的数据格式，以保证所述业务数据的数据格式统一。

优选的，该业务数据核查方法，其中，完成对所有所述业务数据的核查之后，整理形成所述核查结果并记录在一差错记录文档中。

优选的，该业务数据核查方法，其中，在拆分形成所述数据块后还包括对所述业务数据的分析过程，具体如下：

获取来自同一个所述数据源的不同所述数据块中的所述业务数据的数据量，随后根据所述数据量对所述交易业务进行分析并输出相应的分析结果。

优选的，该业务数据核查方法，其中，所述分析结果被记录在一分析数据记录文档中。

优选的，该业务数据核查方法，其中，在核查完所有所述业务数据以及完成对所述业务数据的分析过程后，释放所述系统内存中的内存数据。

上述技术方案的有益效果是：提供一种业务数据核查方法，能够降低系统处理大数据核查的负担，提高系统的处理效率。

附图说明

图1是本发明的较佳的实施例中，一种业务数据核查方法中，对一条业务数据进行核查的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

根据现有技术中存在的上述问题，现提供一种业务数据核查方法，该方法适用于针对来自不同数据源的业务数据进行比对和核查；其中，于不同的数据源中产生用于表示同一笔交易业务的业务数据，来自每个数据源的所有业务数据被包括在对应的数据集合中，并且在核查之前预先于系统内存中按照预设的拆分策略将每个数据集合拆分成多个数据块，每个数据块内的业务数据被包括在一个对应的数据范围内；

则上述业务数据核查方法中，对一条业务数据进行核查的步骤具体如图1所示，包括：

步骤S1，获取需要核查的业务数据并作为待核查数据，以及获取待核查数据的订单号；

步骤S2，在其余数据源中对应于待核查数据所在数据范围的数据块中，采用订单号进行遍历以找到与待核查数据同属于一笔交易业务的其余所有业务数据；

步骤S3，将待核查数据与步骤S2中找到的业务数据一一进行比对，并输出相应的比对结果；

上述业务数据核查方法中，对来自每个数据源的每个数据块中的每条业务数据执行步骤S1至步骤S3，以对每条业务数据进行核查，随后整理所有业务数据的比对结果形成一核查结果并输出。

具体地，本实施例中，比对和核查的对象为来自不同数据源的于同一时间段产生的业务数据。具体地，在同一时间段内产生的每笔交易业务会在不同的数据源中产生业务数据，例如同一笔交易业务在电商平台侧以及支付平台侧都会产生相互独立的业务数据，这些关联于同一笔交易业务的业务数据在理论上应当完全相同，并且以订单号作为每个业务数据的标识。

本实施例中，系统获取来自不同的数据源发送来的包括有业务数据的数据集合，这些数据集合应当是在同一时间段内形成的数据集合，例如都关联于最近一周内产生的交易业务或者都关联于最近一月内产生的交易业务。

本实施例中，系统获取到上述数据集合后，将每个数据集合按照预设的拆分策略拆分成多个数据块并分块存储，每个数据块关联于一个数据范围，即每个数据块中包括的业务数据处于该对应的数据范围内。对于来自不同数据源的不同的数据集合所适用的拆分策略相同，以保证拆分后的数据块之间也能相互对应。

本实施例中，上述拆分过程在系统内存中进行，拆分之后形成的数据块可以保存在缓存服务器中。

本实施例中，上述业务数据核查方法中，针对一个数据块内的一条业务数据进行核查的步骤具体如上述步骤S1至步骤S3所示。首先，获取该条业务数据并视为待核查数据，随后根据该待核查数据所在的数据范围(即该核查数据所在的数据块)确定在其他数据源中的对应的数据块，并采用该待核查数据的订单号去被确定的数据块中找到相同订单号的业务数据，换言之，若两条业务数据的订单号相同，则表示这两条业务数据同属于一笔交易业务。最后，系统将待核查数据与被找到的其他业务数据进行比对，以比较各条业务数据是否一致，并且输出最终的比较结果。

本实施例中，对每个数据块中的每条业务数据都执行上文中所述的步骤S1至步骤S3，以完成对每条业务数据的比对处理，最终汇总得到一个所有业务数据的比对结果。该比对结果能够表示不同数据源中的业务数据是否出现差错，以及出现差错的具体位置，以方便用户进行验证和纠错。

本发明的较佳的实施例中，预设的拆分策略为依据交易业务产生的一个预设维度分别对每个数据集合进行拆分；

如上文中，为了保证拆分后的数据块也能一一对应，因此来自不同数据源的数据集合所应用的拆分策略应当相同。

进一步地，本发明的较佳的实施例中，预设的拆分策略为依据交易业务产生的时间维度分别对每个数据集合进行拆分。例如，以某一年1-9月产生的交易业务的业务数据为例，采用交易业务产生的时间维度，将每一个数据集合分别拆分为对应1月至3月的数据块(其数据范围即为1月至3月产生的业务数据)、对应4月至6月的数据块(其数据范围即为4月至6月产生的业务数据)以及对应7月至9月的数据块(其数据范围即为7月至9月产生的业务数据)。在后续的比对过程中，若待核查数据为1月至3月产生的业务数据，则只需要到每个数据源中对应的数据块中查询即可，无需遍历所有数据块，从而节省了比对时间，提升了比对效率。

本发明的其他实施例中，上述预设的拆分策略还可以为交易业务中产生的其他预设维度，例如根据订单号的数值范围对数据集合进行拆分，或者根据用户支付时所用的银行卡卡号进行拆分，或者根据用户在相关电商平台上的注册时间进行拆分等，在此不再赘述。

本发明的较佳的实施例中，上述拆分策略中的预设维度在对数据集合进行拆分之前事先定义，并且该定义好的预设维度同样被使用在对待核查数据的数据范围进行判断的过程中。

本发明的较佳的实施例中，在对数据集合进行拆分前，可以预先根据本次拆分所应用的拆分策略中的预设维度对每个数据集合进行排序。例如当采用交易业务产生的时间维度对数据集合进行拆分时，预先对数据集合进行交易时间的顺序排列。

本发明的较佳的实施例中，在对数据集合进行拆分之后形成数据块之后，对每个数据块中的业务数据按照订单号再次进行排序，以便于后续核查使用。

本发明的较佳的实施例中，于系统内存中并行地将不同的数据集合拆分成多个数据块；

多个数据块被统一保存于缓存服务器中。

本实施例中，在系统内存中可以并行地对多个数据集合同时进行表格拆分，具体地可以采用多线程并行处理的方式实现多个数据集合的拆分处理，从而节省系统的处理资源，并且加快了处理速度。

本发明的较佳的实施例中，在执行步骤S1之前，首先调整不同的数据块中的业务数据的数据格式，以保证业务数据的数据格式统一。

具体地，来自不同数据源的业务数据的数据格式可能各不相同。例如来自数据源A的业务数据中的价格数值可能是小数点后保留两位，而来自数据源B的业务数据中的价格数值可能是小数点后保留一位，这种数据格式的差异化可能会对后续的数据比对产生影响。因此在进行业务数据的核查之前，首先依据一套统一并且事先预设好的数据格式将每个数据块中的每条业务数据都进行数据格式的调整，以统一所有业务数据的数据格式。上述数据格式的调整也可以被称为“数据清洗”步骤。

本发明的较佳的实施例中，完成对所有业务数据的核查之后，整理形成核查结果并记录在一差错记录文档中。该差错记录文档可以为txt格式或者word格式，也可以为excel格式，或者其他可以被用户观察并阅读的文档格式。在该差错记录文档中可以标识出现差错的业务数据，并进而标识出现差错的具体维度值。

本发明的较佳的实施例中，在拆分形成数据块后还包括对业务数据的分析过程，具体如下：

获取来自同一个数据源的不同数据块中的业务数据的数据量，随后根据数据量对交易业务进行分析并输出相应的分析结果。

具体地，本实施例中，上述数据集合被拆分之后，除了可以进行业务数据的核查处理，还可以通过业务数据在不同维度下的排布情况对交易业务进行分析。在进行分析时，只需要将同一个数据源中不同的数据块作为分析对象即可。

例如，数据集合被依照时间维度划分成多个数据块，并保持每个数据块中的时间跨度相同。则可以针对每个数据块获取其中的业务数据的数据量，并对所有数据块的数据量进行比对和分析，从而可以分析得到交易业务产生量在不同的时间段内的分布情况，该分布情况可被提供给电商平台作为后续宣传和活动策划的依据。

又例如，数据集合被依照支付金额的纬度划分成多个数据块，并保持每个数据块中支付金额的跨度相同。则可以针对每个数据块获取其中的业务数据的数据量，并对所有数据块的数据量进行比对和分析，从而可以分析得到交易业务产生量在不同的支付金额范围内的分布情况，该分布情况同样可被提供给电商平台作为后续宣传和活动策划的依据。

本发明的较佳的实施例中，如上文中所述，分析结果同样可以被记录在一分析数据记录文档中。该文档可以为txt格式，或者word格式，或者excel图表格式，或者其他可以被用户观察并阅读的文档格式，在此不再赘述。

本发明的较佳的实施例中，在核查完所有业务数据以及完成对业务数据的分析过程后，释放系统内存中的内存数据。

下文中以一个具体实施例对本发明技术方案做进一步阐述：

本发明的一个较佳的实施例中，业务数据核查的对象是来自电商平台1月至9月的交易业务产生的业务数据组成的数据集合，以及来自某支付平台的同样时间段内同样的交易业务产生的业务数据组成的数据集合。两个数据集合被分别以时间维度为依据进行划分，分别被划分成对应于1月至3月的数据块、对应于4月至6月的数据块以及对应于7月至9月的数据块。由于采用同样的维度进行划分，因此划分后的数据块同样可以一一对应。上述数据集合的拆分可以并行执行，即同时开启两个线程，并行对两个数据集合进行拆分。上述多个数据块被保存在缓存服务器中，具体地被保存在数据模型池中，该数据模型池采用缓存机制实现，可以存储多个数据块。来自不同数据源的数据块的缓存key需要个性化处理，以对数据源进行区分。

在数据集合拆分完成之后，对每个数据块内的每条业务数据进行数据格式的统一调整，以完成数据清洗处理。经过数据清洗之后可以开始对业务数据的核查以及对业务数据的分析：

1)对业务数据的核查过程同样可以多线程并行处理。例如，将电商平台侧获取的数据集合划分成3个数据块，同样地从支付平台侧获取的数据集合也被划分成3个数据块，则针对每个数据块分别开启一个处理线程，每个处理线程从对应的数据块中获取业务数据，随后根据该业务数据的订单号在对应的数据块中进行遍历以找到拥有相同订单号的业务数据并进行比对。多个处理线程并行比对并得到比对结果，将该比对结果整理到一个差错记录文档中。进一步地，由于多线程处理有可能会出现对同一个业务数据进行多次比对的情况，因此在整理比对结果的过程中可以进行去重处理，以去除重复比对得到的比对结果，使得差错记录文档更简洁和直观。

2)对业务数据的分析过程可以仅挑选电商平台侧的所有数据块或者支付平台侧的所有数据块进行处理。例如，挑选电商平台侧的所有数据块，并且统计每个数据块中的业务数据的数据量，单个数据块中的数据量即为对应的时间跨度内交易业务的产生量。最终得到相应的分析结果并反馈给电商平台，电商平台可以根据该分析结果，针对数据量较少的时间跨度加大宣传力度以及设计能够吸引顾客的活动策划，实现有针对性的发展。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种业务数据核查方法，适用于针对来自不同数据源的业务数据进行比对和核查；其特征在于，于不同的数据源中产生用于表示同一笔交易业务的业务数据，来自每个所述数据源的所有所述业务数据被包括在对应的数据集合中，并且在核查之前预先于系统内存中按照预设的拆分策略将每个所述数据集合拆分成多个数据块，每个所述数据块内的所述业务数据被包括在一个对应的数据范围内；

所述业务数据核查方法中，对一条所述业务数据进行核查的步骤具体包括：

步骤S1，获取需要核查的所述业务数据并作为待核查数据，以及获取所述待核查数据的订单号；

步骤S2，在其余所述数据源中对应于所述待核查数据所在数据范围的所述数据块中，采用所述订单号进行遍历以找到与所述待核查数据同属于一个所述交易业务的其余所有所述业务数据；

步骤S3，将所述待核查数据与所述步骤S2中找到的所述业务数据一一进行比对，并输出相应的比对结果；

所述业务数据核查方法中，对来自每个所述数据源的每个所述数据块中的每条所述业务数据执行所述步骤S1至所述步骤S3，以对每条所述业务数据进行核查，随后整理所有所述业务数据的所述比对结果形成一核查结果并输出。

2.如权利要求1所述的业务数据核查方法，其特征在于，预设的所述拆分策略为依据所述交易业务产生的一个预设维度分别对每个所述数据集合进行拆分；

来自不同所述数据源的所述数据集合所应用的所述拆分策略相同。

3.如权利要求2所述的业务数据核查方法，其特征在于，预设的所述拆分策略为依据所述交易业务产生的时间维度分别对每个所述数据集合进行拆分。

4.如权利要求1所述的业务数据核查方法，其特征在于，于系统内存中并行地将不同的所述数据集合拆分成多个所述数据块；

多个所述数据块被统一保存于缓存服务器中。

5.如权利要求1所述的业务数据核查方法，其特征在于，在执行所述步骤S1之前，首先调整不同的所述数据块中的所述业务数据的数据格式，以保证所述业务数据的数据格式统一。

6.如权利要求1所述的业务数据核查方法，其特征在于，完成对所有所述业务数据的核查之后，整理形成所述核查结果并记录在一差错记录文档中。

7.如权利要求1所述的业务数据核查方法，其特征在于，在拆分形成所述数据块后还包括对所述业务数据的分析过程，具体如下：

获取来自同一个所述数据源的不同所述数据块中的所述业务数据的数据量，随后根据所述数据量对所述交易业务进行分析并输出相应的分析结果。

8.如权利要求7所述的业务数据核查方法，其特征在于，所述分析结果被记录在一分析数据记录文档中。

9.如权利要求7所述的业务数据核查方法，其特征在于，在核查完所有所述业务数据以及完成对所述业务数据的分析过程后，释放所述系统内存中的内存数据。