CN107392745A - 一种对帐数据碎片化处理方法 - Google Patents

Abstract

本发明公开了一种对帐数据碎片化处理方法，属于业务数据处理技术领域；方法包括：步骤S1，获取交易过程中的对帐数据；步骤S2，根据对帐数据中的数据量确定对对帐数据进行分块所形成的数据块的数量；步骤S3，按照预设的策略将对帐数据中每类交易数据分别划分成N个数据块；步骤S4，将具有同一序号的分别关联于每类交易数据的数据块进行对比，并输出对比结果以供后续进行对账挂账处理。上述技术方案的有益效果是：能够解决服务器拥塞的问题，提升对帐数据的处理效率，保证后续对账挂账流程的顺利进行。

Description

一种对帐数据碎片化处理方法

技术领域

本发明涉及业务数据处理技术领域，尤其涉及一种对帐数据碎片化处理方法。

背景技术

随着科技的发展，越来越多的交易活动开始依托网络进行，各种电商交易平台也为网络交易搭建了合适的交易环境。网络交易主要依靠互联网技术进行，其特点主要在于交易过程迅速、交易步骤简化、交易范围扩展以及交易无纸化等。但是随着网络交易越来越流行，各电商交易平台中会产生海量的交易数据，这些交易数据的数据量非常大，并且数据无序，这在后续的对账挂账处理过程中会使得数据处理效率低下，并且容易引起服务器拥塞，影响后续的对账挂账流程。

发明内容

根据现有技术中存在的上述问题，现提供一种对帐数据碎片化处理方法的技术方案，旨在解决服务器拥塞的问题，提升对帐数据的处理效率，保证后续对账挂账流程的顺利进行。

上述技术方案具体包括：

一种对帐数据碎片化处理方法，其中，包括：

步骤S1，获取交易过程中的对帐数据，所述对帐数据包括三类交易数据中的至少一类，每个所述交易数据分别对应一个订单号；

步骤S2，根据所述对帐数据中的数据量确定对所述对帐数据进行分块所形成的数据块的数量，以N表示确定的所述数据块的数量；

步骤S3，按照预设的策略将所述对帐数据中每类所述交易数据分别划分成N个所述数据块，同一个所述订单号所对应的所有所述交易数据所在的所述数据块的序号相同；

步骤S4，将具有同一所述序号的分别关联于每类所述交易数据的所述数据块进行对比，并输出对比结果以供后续进行对账挂账处理，所述对比结果用于表示所述交易过程中的数据是否出错。

优选的，该对帐数据碎片化处理方法，其中，三类所述交易数据中包括：

支付记录数据，用于记录用户的支付信息；

订单记录数据，用于记录用户的订单信息；

发货记录数据，用于记录商户的发货信息。

优选的，该对帐数据碎片化处理方法，其中，所述步骤S2中，采用下述公式处理得到所述数据块的数量：

N＝(T-1)/N_max+1；

其中，

T表示所述对帐数据中包括的数据量最大的一类所述交易数据的数据量信息；

N_max用于表示每个所述数据块中包括的数据量的最大值。

优选的，该对帐数据碎片化处理方法，其中，所述步骤S3中，并行对每类所述交易数据划分数据块。

优选的，该对帐数据碎片化处理方法，其中，所述步骤S3中，所述预设的策略为：按照每个所述交易数据对应的所述订单号确定所述交易数据所在的所述数据块的序号，并根据确定的所述数据块的序号将所述交易数据划分至对应的所述数据块中。

优选的，该对帐数据碎片化处理方法，其中，依照下述公式确定每个所述交易数据所在的所述数据块的序号：

N_o＝abs(hashCode(O)％N)+1；

其中，

O用于表示所述订单号；

N_o用于表示所述订单号所对应的所述交易数据所在的所述数据块的序号；

abs用于表示绝对值处理；

hashCode用于表示返回哈希码值的处理；

％用于表示取余处理。

优选的，该对帐数据碎片化处理方法，其中，在执行所述步骤S4之前，首先依据所述订单号，按照预设的规则对每个所述数据块中的所述交易数据进行排序处理。

优选的，该对帐数据碎片化处理方法，其中，所述步骤S4中，针对具有同一个预设的序号的所述数据块进行所述交易数据对比的步骤具体包括：

步骤S41，分别从三类所述交易数据中具有相同序号的所述数据块中获取第一个所述交易数据；

步骤S42，比较获取的所述交易数据的所述订单号，以得到一第一对比结果；

步骤S43，比较获取的所述交易数据的交易状态属性以及交易金额属性，以得到一第二对比结果；

步骤S44，结合所述第一对比结果和所述第二对比结果得到关联于所述数据块中第一个所述交易数据的所述对比结果并输出；

步骤S45，分别从三类所述交易数据中具有相同序号的所述数据块中顺序获取下一条所述交易数据，随后返回所述步骤S42，直至所述数据块中所有所述交易数据均被比较完毕。

优选的，该对帐数据碎片化处理方法，其中，所述步骤S4中，并行执行针对不同的所述数据块进行所述交易数据对比的处理。

上述技术方案的有益效果是：提供一种对帐数据碎片化处理方法，能够解决服务器拥塞的问题，提升对帐数据的处理效率，保证后续对账挂账流程的顺利进行。

附图说明

图1是本发明的较佳的实施例中，一种对帐数据碎片化处理方法的总体流程示意图；

图2是本发明的较佳的实施例中，于图1的基础上，对帐数据进行对比的流程示意图；

图3是本发明的一个较佳的实施例中，将对帐数据划分成数据块的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

根据现有技术中存在的上述问题，现提供一种对帐数据碎片化处理方法，适用于对账挂账的数据处理过程中。上述对帐数据碎片化处理方法具体如图1所示，包括：

步骤S1，获取交易过程中的对帐数据，对帐数据包括三类交易数据中的至少一类，每个交易数据分别对应一个订单号；

步骤S2，根据对帐数据中的数据量确定对对帐数据进行分块所形成的数据块的数量，以N表示确定的数据块的数量；

步骤S3，按照预设的策略将对帐数据中每类交易数据分别划分成N个数据块，同一个订单号所对应的所有交易数据所在的数据块的序号相同；

步骤S4，将具有同一序号的分别关联于每类交易数据的数据块进行对比，并输出对比结果以供后续进行对账挂账处理，对比结果用于表示交易过程中的数据是否出错。

具体地，本实施例中，首先获取交易过程中的对帐数据，这些对帐数据的数据来源可以是前端的各交易系统，例如各电商服务平台发送的对帐数据。上述对帐数据中包括三类交易数据中的至少一类。

进一步地，所谓三类交易数据，分别对应交易过程中的三个步骤，即下订单、付款以及发货。因此，上述三类交易数据可以包括：

支付记录数据，用于记录用户的支付信息；

订单记录数据，用于记录用户的订单信息；

发货记录数据，用于记录商户的发货信息。

而一个对帐数据不一定表示一个完整的交易。例如一些对帐数据中，用户已经拍下了订单，但是没有付款，自然也没有发货记录，则该对帐数据中仅包括订单记录数据。又例如，一些对帐数据中，用户已经拍下了订单也付了款，但是商户还没有发货，因此该对帐数据中应当包括支付记录数据和订单记录数据，但是没有发货记录数据。又例如，一些对帐数据中，从用户到商户已经完成了完整的交易过程，则该对帐数据中应当包括所有三类交易数据。综上，根据交易过程进展的不同，一个对帐数据中可以包括三类交易数据中的至少一类。而对于不同的交易数据而言，所对应的订单号是唯一的，因此每个交易数据分别对应一个订单号，进一步地，一个对帐数据应当对应一个订单号，则该对帐数据中包括的所有交易数据均对应于该订单号。

本实施例中，上述步骤S2中，根据对帐数据中的数据量来确定每类交易数据需要划分的数据块的数量，其中以N来表示最后被划分的数据块的数量。上述对帐数据中的数据量即对帐数据中的数据的数量，具体在下文中会详述。

本实施例中，在确定了数据块的划分数量后，按照预设的策略(下文中会详述)将对帐数据中每类交易数据分别划分为包括在N个不同的数据块中。划分的方式例如在理想状态下，所有支付记录数据被划分为包括在N个第一数据块中，相应地所有订单记录数据被划分为包括在N个第二数据块中，所有发货记录数据同样被划分为包括在N个第三数据块中，所谓的第一数据块、第二数据块以及第三数据块仅用于对不同类别的交易数据进行区分。需要注意的是，在实际处理过程中，由于可能存在的交易数据缺失(例如一笔交易中缺少支付记录数据，或者订单记录数据或者发货记录数据)导致不同类别的交易数据的数据量可能不相同，从而可能导致不同类别的交易数据所占用的数据块的数量不相同，但由于采用了根据订单号关联数据块序号的数据划分方式(如下文中所述)，不同类别交易数据之间数据块总量的不同并不影响本发明技术方案的实施。

进一步地，在数据块划分后，对每个数据块进行序号，并且在划分后，关联于同一个订单号的交易数据被划分至包括在具有统一序号的数据块中。例如，一个订单号分别对应一个支付记录数据、一个订单记录数据以及一个发货记录数据，该支付记录数据被划分为包括在支付记录类的3号数据块中，则对应地订单记录数据同样被划分为包括在订单记录类的3号数据块中，发货记录数据被划分为包括在发货记录类的3号数据块中，以保证对应于一个订单号的所有交易数据所在的数据块的序号相同，利于后续的数据对比处理。

本实施例中，上述步骤S4中，最后将具有同一序号的分别关联于每类交易数据的数据块进行对比，并输出对比结果以供后续进行对账挂账处理，该对比结果用于表示交易过程中的数据是否出错。

本发明的较佳的实施例中，上述步骤S2中，采用下述公式处理得到数据块的数量：

N＝(T-1)/N_max+1； (1)

其中，

T表示对帐数据中包括的数据量最大的一类交易数据的数据量信息；

N_max用于表示每个数据块中包括的数据量的最大值。

换言之，以三类交易数据中数据量最大的那一类交易数据的数据量为基准来设置数据块的数量，以防止数据溢出。

进一步地，上述N_max优选地可以取值2000000，即每个数据块中最多不得超过20万条交易数据。当然，根据实际情况，上述N_max还可以是其他适宜的数值，在此不再赘述。

本发明的较佳的实施例中，上述步骤S3中，并行对每类交易数据划分数据块。

具体地，由于每类交易数据的数据块划分操作并无相互关联，因此可以采用并行加载和处理的方式实现对每类交易数据的数据块划分和加载数据的操作，这样能够提升数据处理效率，并且提升操作之间的相互独立性，避免操作之间相互影响导致加载数据失败。

本发明的较佳的实施例中，上述步骤S3中，预设的策略为：按照每个交易数据对应的订单号确定交易数据所在的数据块的序号，并根据确定的数据块的序号将交易数据划分至对应的数据块中。

进一步地，依照下述公式确定每个交易数据所在的数据块的序号：

N_o＝abs(hashCode(O)％N)+1； (2)

其中，

O用于表示订单号；

N_o用于表示订单号所对应的交易数据所在的数据块的序号；

abs用于表示绝对值处理；

hashCode用于表示返回哈希码值的处理；

％用于表示取余处理。

具体地，综合上文中所述，对对帐数据进行数据块划分的具体过程为：首先根据三类交易数据中数据量最大的那一类交易数据设定本次划分的数据块的数量，随后根据每个交易数据对应的订单号，处理得到该交易数据所对应的数据块的序号，最后将该交易数据放至对应序号的数据块中，从而完成数据块的划分。

本发明的较佳的实施例中，在执行上述步骤S4之前，首先依据订单号，按照预设的规则对每个数据块中的交易数据进行排序处理。

具体地，对于所有数据块而言，进行排序处理的规则是统一的。例如，统一按照订单号由高至低的方式对所有数据块进行排序，或者统一按照订单号由低至高的方式对所有数据块进行排序，因此上文中所述的预设的规则可以为按照订单号由高至低/由低至高进行排序。统一排序之后，对于同一个订单号而言，其不同类别的交易数据在不同的数据块中的位置是相同的。例如，一个订单号中的支付记录数据被排在其数据块中的第一条数据，则该订单号中的订单记录数据同样会被排在数据块中的第一条数据，相应地该订单号中的发货记录数据也会被排在数据块中的第一条数据。

本发明的较佳的实施例中，在上文的基础上，上述步骤S4中，针对具有同一个预设的序号的数据块进行交易数据对比的步骤具体如图2中所示，包括：

步骤S41，分别从三类交易数据中具有相同序号的数据块中获取第一个交易数据；

步骤S42，比较获取的交易数据的订单号，以得到一第一对比结果；

步骤S43，比较获取的交易数据的交易状态属性以及交易金额属性，以得到一第二对比结果；

步骤S44，结合第一对比结果和第二对比结果得到关联于数据块中第一个交易数据的对比结果并输出；

步骤S45，分别从三类交易数据中具有相同序号的数据块中顺序获取下一条交易数据，随后返回步骤S42，直至数据块中所有交易数据均被比较完毕。

具体地，本实施例中，上述步骤S41至步骤S45是针对具有同一个预设的序号的数据块进行的数据对比处理。例如针对序号为1号的数据块进行数据对比处理。上述过程具体包括：

分别获取每类交易数据(支付记录数据、订单记录数据以及发货记录数据)所对应的数据块中的具有同一个预设序号的数据块(例如分别获取第1号数据块)，并且分别获取该数据块中的第一条交易数据。

随后，将获取到的交易数据先进行订单号的对比，并输出相应的第一对比结果。该第一对比结果用于表示第一条交易数据中的订单号是否相同。

若订单号相同，则表示该订单号下的交易数据表示了一个完整的交易过程(即同时包括了支付过程、订单过程以及发货过程)。若订单号不相同，则表示存在多余的交易。在本实施例中，当订单号不相同时，将不相同的订单号中数值最小的那个交易数据标记为多余的交易。

随后，再比较第一条交易数据的交易状态属性和金额属性是否相等，同样输出对应的第二对比结果。

最后将第一对比结果和第二对比结果整合形成关于第一条数据的对比结果并输出，以供后续的对账挂账处理。

本实施例中，在完成一个数据块中第一条数据的对比之后，转向下一条数据并继续进行如步骤S41-S45所述的数据对比处理，直至该数据块中所有数据均被对比完毕后，表示该数据块对比完毕。

本发明的较佳的实施例中，由于各数据块之间并没有相互关联，因此同样可以采用并行处理的方式对不同的数据块进行同时对比，进一步地可以在不同的服务器设备上对不同的数据块分别进行数据对比。

本发明的一个较佳的实施例中，如图3中所示，将支付记录、订单记录以及发货记录分别划分为包括在3个数据块(碎片)中，并分别对每个碎片中的数据按照订单号由低至高进行排序。

随后，首先针对1号碎片，从支付记录的1号碎片中取出第一条交易数据，从订单记录的1号碎片中取出第一条交易数据以及从发货记录的1号碎片中取出第一条交易数据。首先比较这三条交易数据的订单号，当订单号不相同时将订单号最小的标记为多余的交易，随后比较这三条交易数据的交易状态和交易金额，均记录在对比结果中。

当比较完第一条交易数据后，分别从1号碎片中取出第二条交易数据并继续进行对比，以此类推，直到该数据块中所有交易数据均被对比完毕后确认该数据块对比完毕。

本实施例中，针对1号碎片、2号碎片和3号碎片的数据对比处理可以并行执行，甚至可以在不同的服务器设备上进行处理，以提升数据处理的效率。

综上，本发明技术方案提供了一种对帐数据的碎片化处理方法，将对帐数据划分成多个数据块，并且以订单号为依据对数据块中的交易数据进行对比和验证，在实现数据碎片化处理的同时保证了交易数据的一致性和完整性，提升了交易数据的处理效率，有效避免了服务器设备拥塞的问题，保证了后续对账挂账过程的顺利进行。

本发明技术方案可以应用在交易系统内部的对账挂账处理的过程中，同样也可以应用在商户和银行对接时的对账挂账处理的过程中。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种对帐数据碎片化处理方法，其特征在于，包括：

步骤S1，获取交易过程中的对帐数据，所述对帐数据包括三类交易数据中的至少一类，每个所述交易数据分别对应一个订单号；

步骤S2，根据所述对帐数据中的数据量确定对所述对帐数据进行分块所形成的数据块的数量，以N表示确定的所述数据块的数量；

步骤S3，按照预设的策略将所述对帐数据中每类所述交易数据分别划分成N个所述数据块，同一个所述订单号所对应的所有所述交易数据所在的所述数据块的序号相同；

步骤S4，将具有同一所述序号的分别关联于每类所述交易数据的所述数据块进行对比，并输出对比结果以供后续进行对账挂账处理，所述对比结果用于表示所述交易过程中的数据是否出错。

2.如权利要求1所述的对帐数据碎片化处理方法，其特征在于，三类所述交易数据中包括：

支付记录数据，用于记录用户的支付信息；

订单记录数据，用于记录用户的订单信息；

发货记录数据，用于记录商户的发货信息。

3.如权利要求1所述的对帐数据碎片化处理方法，其特征在于，所述步骤S2中，采用下述公式处理得到所述数据块的数量：

N＝(T-1)/N_max+1；

其中，

T表示所述对帐数据中包括的数据量最大的一类所述交易数据的数据量信息；

N_max用于表示每个所述数据块中包括的数据量的最大值。

4.如权利要求1所述的对帐数据碎片化处理方法，其特征在于，所述步骤S3中，并行对每类所述交易数据划分数据块。

5.如权利要求1所述的对帐数据碎片化处理方法，其特征在于，所述步骤S3中，所述预设的策略为：按照每个所述交易数据对应的所述订单号确定所述交易数据所在的所述数据块的序号，并根据确定的所述数据块的序号将所述交易数据划分至对应的所述数据块中。

6.如权利要求5所述的对帐数据碎片化处理方法，其特征在于，依照下述公式确定每个所述交易数据所在的所述数据块的序号：

N_o＝abs(hashCode(O)％N)+1；

其中，

O用于表示所述订单号；

N_o用于表示所述订单号所对应的所述交易数据所在的所述数据块的序号；

abs用于表示绝对值处理；

hashCode用于表示返回哈希码值的处理；

％用于表示取余处理。

7.如权利要求1所述的对帐数据碎片化处理方法，其特征在于，在执行所述步骤S4之前，首先依据所述订单号，按照预设的规则对每个所述数据块中的所述交易数据进行排序处理。

8.如权利要求7所述的对帐数据碎片化处理方法，其特征在于，所述步骤S4中，针对具有同一个预设的序号的所述数据块进行所述交易数据对比的步骤具体包括：

步骤S41，分别从三类所述交易数据中具有相同序号的所述数据块中获取第一个所述交易数据；

步骤S42，比较获取的所述交易数据的所述订单号，以得到一第一对比结果；

步骤S43，比较获取的所述交易数据的交易状态属性以及交易金额属性，以得到一第二对比结果；

步骤S44，结合所述第一对比结果和所述第二对比结果得到关联于所述数据块中第一个所述交易数据的所述对比结果并输出；

步骤S45，分别从三类所述交易数据中具有相同序号的所述数据块中顺序获取下一条所述交易数据，随后返回所述步骤S42，直至所述数据块中所有所述交易数据均被比较完毕。

9.如权利要求8所述的对帐数据碎片化处理方法，其特征在于，所述步骤S4中，并行执行针对不同的所述数据块进行所述交易数据对比的处理。