CN104751359B - 用于支付清算的系统及方法 - Google Patents

Abstract

本发明提供了一种用于支付清算的系统，所述系统被用于根据交易流水数据进行支付清算，该系统包括主处理模块以及多个子处理模块，其中所述主处理模块被配置为对交易流水数据进行预处理、将经预处理的交易流水数据分组以及将每个分组的组号分发给相应的子处理模块；所述多个子处理模块中的每一个都被配置为按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算；并且所述主处理模块还被配置为从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并。另一方面，本发明还提供了一种适于用该系统执行的支付清算方法。

Description

用于支付清算的系统及方法

技术领域

本发明一般地涉及数据处理领域，并且更具体地，涉及用于支付清算的系统及方法。

背景技术

一般地，支付清算系统的作用是负责为参与交易的各方的资金提供清分清算服务。大型的金融企业或第三方公司需要支付清算的交易量往往都非常巨大，规模可以达到几百万到几千万笔的级别，一次清算作业耗时非常长，既不利于为相关方提供高效服务，又不利于系统故障排查处理。随着金融、第三方等企业业务量的增长，其支付清算系统对于处理性能及可扩展性的要求也越来越高。高性能与高可扩展性的清算系统能够在很短的时间内实现企业清分清算的操作，且通过系统横向扩展，可以从容应对业务量剧增。

传统的支付清算系统往往从业务逻辑出发，完全按照业务处理的流程来实现，在其实现方法上大多采用串行的处理方式。这种处理方式在应对小规模数据的时候，可以满足其功能需求。然而，当交易量激增的情况下，一次清算作业耗时可能非常长，既不利于为相关方提供高效服务，又不利于系统故障排查处理。另一方面，处理性能在这种情况下也会遇到瓶颈，并且由于不具备横向扩展性能力，最终难以支撑。也有一些系统进行了优化，采用分块处理的方法提高了系统并行处理能力，但是其处理能力优化有限，且扩展性较差。

发明内容

本发明的目的是提供一种高性能的支付清算方案，其能够提供良好的可扩展性并且具有很高的可靠性。

具体地，本发明提供了一种用于支付清算的系统，所述系统被用于根据交易流水数据进行支付清算，其特征在于，所述系统包括主处理模块以及多个子处理模块，其中所述主处理模块被配置为对交易流水数据进行预处理、将经预处理的交易流水数据分组，以及将每个分组的组号分发给各个子处理模块；所述多个子处理模块中的每一个都被配置为按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算；并且所述主处理模块还被配置为从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并。

根据本发明的一些实施例，所述分组包括按子处理模块的数量对交易流水数据进行散列分组，并且所述散列包括对所述交易的关键字取模来进行散列，其中模值由子处理模块的数量决定。

根据本发明的一些实施例，所述交易的关键字为每笔交易的唯一标识或者为交易参与方的标识。

根据本发明的一些实施例，所述多个子处理模块中的每一个还被配置为对所获取的交易流水数据分组进行二次分组，并且所述二次分组包括按每个子处理模块中的处理单元数量进行散列分组。

根据本发明的一些实施例，所述散列包括对所述交易的关键字取模来进行散列，其中模值由每个子处理模块中的处理单元的数量决定；并且所述交易的关键字为每笔交易的唯一标识或者为交易参与方的标识。

根据本发明的一些实施例，所述系统还包括数据存储模块，所述数据存储模块被配置用于存储与支付清算相关的信息以供所述主处理模块以及所述多个子处理模块访问，并且所述数据存储模块被配置为具有两层结构，其中缓存层被配置用于存储访问频率最高的数据，而数据库层被配置用于存储访问频率较低的数据。

根据本发明的一些实施例，所述预处理至少包括通过访问所述数据存储模块在所述交易流水数据中补充进行支付清算所需要的信息。

根据本发明的一些实施例，所述根据所获取的交易流水数据进行支付清算包括：根据交易流水数据查询所述数据存储模块以获取对应的清算方案以及交易参与方信息；以及根据所述清算方案以及交易参与方信息计算各方的交易资金。

根据本发明的一些实施例，对所有支付清算结果进行归并包括按交易时间对来自各个子处理模块的清算结果进行归并，并且所述主处理模块被配置为采用K路归并算法进行所述归并。

根据本发明的一些实施例，所述子处理模块还被配置为根据预定的统计方案对所述支付清算结果进行汇总，并且所述主处理模块基于来自各个子处理模块的汇总结果进行最终汇总。

根据本发明的一些实施例，所述主处理模块被配置为将同一个组号分配给至少两个子处理模块以使所述至少两个子处理模块互为后备，并且所述主处理模块还被配置为在从所述至少两个子处理模块中的一个获取支付清算结果失败的情况下从所述至少两个子处理模块中的其他子处理模块获取支付清算结果。

根据本发明的另一方面，还提供了一种用于支付清算的方法，所述方法使用一个主处理模块以及多个子处理模块根据交易流水数据进行支付清算，其特征在于，所述方法包括：由所述主处理模块对交易流水数据进行预处理、将经预处理的交易流水数据分组并且将每个分组的组号分发给各个子处理模块；由所述多个子处理模块中的每一个按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算；以及由所述主处理模块从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并。

本发明的各个实施例提供了高性能的支付清算系统和方法。相比传统的实现方法，本发明的各个实施例能够提供极高的处理性能、可扩展性以及可靠性，可以适用于实现各种类型的支付清算平台，包括金融、第三方支付、公共事业缴费、电信等领域。通过将清算系统分成一个主清算模块和多个子清算模块，将清算任务进行分拆，将整个处理过程优化为并行处理。每个子系统都可以进行互备和扩充，极大提高了系统的处理能力、容错能力和扩展能力。整个处理流程通过对复杂度最高的核心清分清算流程进行优化，采用分布式与并行的处理方式，从而大大提高了整个系统的处理效率。

附图说明

本发明的前述和其他目标、特征和优点根据下面对本发明的实施例的更具体的说明将是显而易见的，这些实施例在附图中被示意。

图1是根据本发明的一个实施例的用于支付清算的系统的示例性结构图。

图2是根据本发明的一个实施例的用于支付清算的方法的示例性流程图。

具体实施方式

以下结合附图和具体实施方式进一步详细说明本发明。需要说明的是，附图中的各结构只是示意性说明，用以使本领域普通技术人员最佳地理解本发明的原理，其不一定按比例绘制。

图1是根据本发明的一个实施例的用于支付清算的系统的示例性结构图，该系统可以被用于根据交易流水数据进行支付清算。每一条交易流水数据通常包括有两方或更多方参与的交易的基本信息，诸如交易流水号、交易时间、交易参与方标识等等。在交易发生之后，需要在交易的各个参与方之间进行支付清算，根据本发明的各个实施例的系统为交易的各个参与方提供了一个高效地进行支付清算的平台。一般地，支付清算可以包括计算每笔交易的手续费、本金、分润资金等数据并且根据相应的清算方案对各参与方的交易资金进行汇总和划拨。这种支付清算平台可以被用于诸如金融、第三方支付、公共事业缴费、电信等经常需要多方参与交易的领域。

如图1所示，根据该实施例的系统大体上包括一个主处理模块以及多个子处理模块1-N。如图1所示，主处理模块大体上担当核心控制的工作，其可以与各个子处理模块通信连接以控制各个子系统的运行。基本地，主处理模块可以被用于首先对所收到的交易流水数据进行预处理、将经预处理的交易流水数据分组并且将每个分组的组号分发给各个子处理模块1-N。

根据本发明的一些实施例，对交易流水数据进行预处理至少包括向每一条交易流水数据补充进行支付清算所需要的信息，包括补充与该笔交易相对应的累积历史交易笔数、累积历史交易金额、反向交易标识、交易属性等。其中，反向交易标识包括从其他交易流水数据确定发生了与该笔交易关联的冲正、撤销、退货等事件，因此后续不再需要对该笔交易进行清算，由此在一定程度上降低各个子处理模块的负荷。

在对交易流水数据进行预处理之后，主处理模块还被设计为将经预处理的交易流水数据进行分组以对各个子处理模块进行任务分配。如何将交易流水数据进行有效的分组是提高系统整体处理能力的关键。大体上说，交易流水数据的分组应当能够使得各个子处理模块的负荷均匀且有利于在主处理模块上后续的归并和汇总。

根据本发明的优选实施例，分组可以是按子处理模块的数量对交易流水数据进行散列分组。进一步地，散列可以是对交易的关键字取模来进行散列，其中模值由子处理模块的数量决定。在图1的实施例中，子处理模块的数量为N，则模值可以为N。进而，用交易关键字对应的数字标识码除以N，将余数值相同的交易分为一组。

在本发明的一些实施例中，散列分组所用的交易关键字为每笔交易的唯一标识，例如订单号或者交易流水号，其能够唯一地标识每笔交易。利用这样的散列分组方法，可以保证每一个子处理模块所要处理的交易流水数据量大体上均等，从而充分利用每一个子处理模块的处理能力。一般地，在交易参与方较少或者各个交易参与方的交易量分布很不均匀的情况下，可以优选地采用这种散列分组方法。

在本发明的另一些实施例中，散列分组所用的交易关键字为交易参与方的标识，例如可以是交易参与方的特定编号。利用这样的散列分组方法可以保证相同参与方的交易流水数据在同一子处理模块上被处理，由此能够进一步保证与交易对应的清算结果是时间有序的，有利于最后在主处理模块中的清算结果归并或汇总，这将在下文中更详细地被描述。举例来说，在仅需要向各个交易参与方提供清算结果明细时，主处理模块可以直接采用来自各个子处理模块的结果，而不需要再次进行归并或汇总。一般地，在交易参与方数量较大并且各个参与方的交易量总体分布较为均匀的情况下，可以优选地采用这种散列分组方法。

在分组完成之后，主处理模块可以将每个分组的组号分发给相应的子系统以进行任务分配。优选地，主处理模块可以将组号信息添加到经预处理的交易流水数据中，并且将这些数据按分组存储，即将同一组的数据存储在一起。由此，子处理模块可以按所收到的组号获取该组的交易流水数据以进行后续的清算处理。

根据本发明的实施例，用于支付清算的系统将包括多个子处理模块。这些子处理模块可以是彼此完全相同地被配置的，即处理能力完全相同并且执行完全相同的操作。基本地，这多个子处理模块中的每一个都被配置为按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算。对于主处理模块而言，可以通过所分配的组号在各个子处理模块之间进行区分。

根据本发明的一些实施例，根据所获取的交易流水数据进行支付清算可以包括：根据交易流水数据来确定对应的清算方案以及交易参与方信息并且根据所述清算方案以及交易参与方信息计算各方的交易资金。总的来说，每一个子处理模块都具备与传统清算系统类似的功能，即逐笔对交易流水进行清分清算，明确各个参与方的资金情况并且对最终清算结果进行排序和汇总。

为进一步提高处理效率，所述多个子处理模块中的每一个还可以被配置为对所获取的交易流水数据分组进行二次分组，并且所述二次分组包括按每个子处理模块中的处理单元数量进行散列分组。根据本发明的一些实施例，可以采用与主处理模块分组类似的方法在处理单元之间对交易流水数据进行分组，例如通过对所述交易的关键字取模来进行散列。类似地，模值可以由每个子处理模块中的处理单元的数量决定，并且所述交易的关键字为每笔交易的唯一标识或者为交易参与方的标识。每个处理单元也可以同样地具有完全相同的配置和处理能力。

由此，这个系统框架可以通过采用二维分组策略来保证任务分配的均匀及高效性。第一维分组用于将任务分配至各个处理子处理模块，而第二维分组用以在子处理模块内部进行多处理单元任务分配。举例来说，第一维分组的组数可以为N，第二维分组的组数为M，则经过两层分组之后，单个处理单元的平均处理交易数量为总量的1/N*M。以清算1000万笔交易为例（N=10，M=20），经过分解之后，每个单元只需要处理5万笔交易。

另一方面，可以由不止一个子处理单元来处理相同的一组交易流水数据，以实现系统的互备。根据本发明的一些实施例，主处理模块可以被配置为将同一个组号分配给至少两个子处理模块以使所述至少两个子处理模块互为后备。如上所述，主处理模块可以通过所分配的组号来识别子处理模块。因此，一般地主处理模块可以从被分配相同组号的这至少两个子处理模块中的一个接收清算结果。在从所述至少两个子处理模块中的一个获取支付清算结果失败的情况下，主处理模块可以从所述至少两个子处理模块中的其他子处理模块获取支付清算结果。

在每个子处理模块分别完成对各组交易流水数据的支付清算之后，主处理模块将从这些子处理模块收集支付清算结果。根据本发明的一些实施例，对所有支付清算结果进行归并包括按交易时间对来自各个子处理模块的清算结果进行归并。来自每个子处理模块的每条清算结果实际上都与每笔交易对应，而每笔交易都记录有交易时间，一般地需要根据交易时间对所有清算结果进行归并，也就是对来自各个子处理模块的清算结果进行总的排序。

在本发明的一个实施例中，主处理模块可以被配置为采用K路归并算法来进行所述归并，该算法基于各路待排序数据有序为前提。在本发明的各个实施例中，各个子处理模块逐笔交易完成支付清算之后提供的结果分别是按交易时间有序排列的。由此，在每个子处理模块中完成第一轮归并排序，实现各个子系统内部有序，并且通过主处理模块进行第二轮归并排序，从而实现整体清算结果有序。为采用K路归并算法，可以采用败者树（loser-tree）的数据结构来记录所有的支付清算结果。本领域的技术人员应理解的是，已知的或待开发的其他归并算法也可以被主处理模块采用。

除了归并以外，支付清算系统一般还需要针对不同的统计维度进行一些财务数据的统计。若要针对不同的统计量单独进行统计，则可能造成对清算结果的多次遍历。为解决这个问题，每个子处理模块还可以被配置为根据预定的统计方案对支付清算结果进行第一轮汇总，并且由主处理模块基于来自各个子处理模块的汇总结果进行最终汇总。子处理模块可以逐笔交易进行统计汇总，优选地可以按既定的统计内容逐笔地进行统计，全部处理完以后可以形成多种不同维度的统计数据，这可以作为第一次汇总过程。进而，主处理模块对各组的多个维度的统计结果分别进行汇总。由此，通过在清算过程中汇总统计量的方法，在清算的同时逐笔地进行统计量计算使得每个清算单元都能够在内存中进行统计，并且在统计完成后再统一更新至数据库。由此，在整个清算过程结束后，统计量也随之汇总完成，不再需要对清算结果进行多次遍历，从而提高了整体的处理效率。

一般地，主处理系统和各个子处理系统可以分别包括其自身的存储部分，以存储必要的预设信息。在例如清算方案可能涉及众多参数及大量历史数据的情况下，根据本发明实施例的支付清算系统还可以包括单独的数据存储模块，该数据存储模块可以被配置用于存储所有与支付清算相关的信息以供主处理模块和多个子处理模块访问。

优选地，该数据存储模块可被配置为具有两层结构，包括缓存层和数据库层，其中缓存层被配置用于存储访问频率最高的数据，而数据库层被配置用于存储访问频率较低的数据。与支付清算相关的信息可以包括参与方相关参数、清算相关参数、历史交易流水、历史清算流水、历史交易汇总等公共数据。可通过所述两层结构来提供高性能的数据查询功能。

每一层都可以是分布式的部署结构，缓存层服务器用于存放访问频率最高的“热数据”，如参数类数据以及最近几天的流水信息，而数据库层则存放全量的数据，例如过去一年的所有交易流水数据。进一步地，可以通过增加索引的方式来提高查询效率。由此，在主处理模块或子处理模块进行数据查询时，绝大部分信息可以通过查询缓存层得到结果，很小一部分通过查询数据库获取，从而在提高查询性能的同时，减轻了对数据库层访问的压力。

在采用数据存储模块的情况下，主处理模块可以通过访问该数据存储模块而在交易流水数据中补充进行支付清算所需要的信息，由此进行预处理操作。子处理模块则可以根据交易流水数据来查询该数据存储模块以获取对应的清算方案以及交易参与方信息，由此根据这些清算方案以及交易参与方信息计算各方的交易资金。

图2是根据本发明的一个实施例的用于支付清算的方法的示例性流程图，该方法可以在以上所描述的任何一个实施例中的系统上执行，从而根据交易流水数据进行支付清算。一般地，适于执行该方法的系统至少包括一个主处理模块和多个子处理模块。

在步骤S201-S203中，所述主处理模块可以对交易流水数据进行预处理、经预处理的交易流水数据分组并且将每个分组的组号分发给各个子处理模块。

在步骤S204-S205中，所述多个子处理模块中的每一个可以按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算。

在步骤S206中，所述主处理模块可以从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并。

本发明的一些实施方式可以用软件、硬件或者任何软件和/或硬件的组合来实现。本发明的实施例可以包括单元和/或子单元，所述单元和/或子单元可以是相互分开的或者全部或部分地组合在一起的、并且可以使用特定的、多目的的或通用的处理器或者控制器、或者现有技术中已知的设备实现。本发明的一些实施方式可以包括用于数据暂时或长期存储或者为了便于特定实施方式的操作的缓冲器、寄存器、堆栈、存储单元和/或存储器单元。并且，本发明的各个实施例可以任意方式合并、组合及替换。

应当说明的是，以上具体实施方式仅用以说明本发明的技术方案而非对其进行限制。尽管参照上述具体实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或对部分技术特征进行等同替换而不脱离本发明的实质，其均涵盖在本发明请求保护的范围中。

Claims (9)

1.一种用于支付清算的系统，所述系统被用于根据交易流水数据进行支付清算，其特征在于，所述系统包括主处理模块以及多个子处理模块，其中

所述主处理模块被配置为对交易流水数据进行预处理、将经预处理的交易流水数据分组，以及将每个分组的组号分发给各个子处理模块；

所述多个子处理模块中的每一个都被配置为按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算；并且

所述主处理模块还被配置为从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并,

其中，所述主处理模块被配置为将同一个组号分配给至少两个子处理模块以使所述至少两个子处理模块互为后备，并且

所述主处理模块还被配置为在从所述至少两个子处理模块中的一个获取支付清算结果失败的情况下从所述至少两个子处理模块中的其他子处理模块获取支付清算结果，其中，

所述分组包括按子处理模块的数量对交易流水数据进行散列分组，并且所述散列包括对所述交易的关键字取模来进行散列，其中模值由子处理模块的数量决定，

并且其中，所述交易的关键字为交易参与方的标识。

2.如权利要求1所述的系统，其特征在于，所述多个子处理模块中的每一个还被配置为对所获取的交易流水数据分组进行二次分组，并且所述二次分组包括按每个子处理模块中的处理单元数量进行散列分组。

3.如权利要求2所述的系统，其特征在于，所述散列包括对所述交易的关键字取模来进行散列，其中模值由每个子处理模块中的处理单元的数量决定；并且

所述交易的关键字为每笔交易的唯一标识或者为交易参与方的标识。

4.如权利要求1所述的系统，其特征在于，所述系统还包括数据存储模块，所述数据存储模块被配置用于存储与支付清算相关的信息以供所述主处理模块以及所述多个子处理模块访问，并且

所述数据存储模块被配置为具有两层结构，其中缓存层被配置用于存储访问频率最高的数据，而数据库层被配置用于存储访问频率较低的数据。

5.如权利要求4所述的系统，其特征在于，所述预处理至少包括通过访问所述数据存储模块在所述交易流水数据中补充进行支付清算所需要的信息。

6.如权利要求4所述的系统，其特征在于，所述根据所获取的交易流水数据进行支付清算包括：根据交易流水数据查询所述数据存储模块以获取对应的清算方案以及交易参与方信息；以及根据所述清算方案以及交易参与方信息计算各方的交易资金。

7.如权利要求1所述的系统，其特征在于，对所有支付清算结果进行归并包括按交易时间对来自各个子处理模块的清算结果进行归并，并且所述主处理模块被配置为采用K路归并算法进行所述归并。

8.如权利要求1所述的系统，其特征在于，所述子处理模块还被配置为根据预定的统计方案对所述支付清算结果进行汇总，并且所述主处理模块基于来自各个子处理模块的汇总结果进行最终汇总。

9.一种用于支付清算的方法，所述方法使用一个主处理模块以及多个子处理模块根据交易流水数据进行支付清算，其特征在于，所述方法包括：

由所述主处理模块对交易流水数据进行预处理、将经预处理的交易流水数据分组并且将每个分组的组号分发给各个子处理模块；

由所述多个子处理模块中的每一个按分发给其的组号获取相应分组中的所有经预处理的交易流水数据并且根据所获取的交易流水数据进行支付清算；以及

由所述主处理模块从所述多个子处理模块中的每一个接收支付清算结果并且对所有支付清算结果进行归并，

其中，所述主处理模块被配置为将同一个组号分配给至少两个子处理模块以使所述至少两个子处理模块互为后备，并且

所述主处理模块还被配置为在从所述至少两个子处理模块中的一个获取支付清算结果失败的情况下从所述至少两个子处理模块中的其他子处理模块获取支付清算结果，其中，

所述分组包括按子处理模块的数量对交易流水数据进行散列分组，并且所述散列包括对所述交易的关键字取模来进行散列，其中模值由子处理模块的数量决定，

并且其中，所述交易的关键字为交易参与方的标识。

Images