CN104267937A - 一种联机小批量数据处理方法及系统 - Google Patents

Abstract

本发明涉及计算机信息系统中的数据处理领域，特别涉及一种联机小批量数据处理方法及系统。其中方法包括根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤；将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。通过上述实施例中的方法及系统，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

Description

一种联机小批量数据处理方法及系统

技术领域

本发明涉及计算机信息系统中的数据处理领域，特别涉及一种联机小批量数据处理方法及系统。

背景技术

一般情况下，联机事务处理均要求保持事务的原子特性，也就是说一个原子事务必须在一个进程下完成，不能再分拆到多个进程。所以一个完整的交易，从前台到后台都放在一个事务中完成，这样做的好处是确保其中一个环节失败时则整笔业务失败，不会出现部分成功部分失败的中间状态，坏处是所有逻辑均放在一个进程完成，而该进程需要做大量的逻辑运算、需要大量的数据库访问及更新动作、需要进行大量的I/O操作，整个事务将会变得十分冗长，系统处理的效率也会比较低下。虽然银行主机联机事务处理中间件支持较高的并发数，当实际发生的瞬时交易量远高于系统并发数上限时，部分进程需要在排队序列等待，当进程处理时间比较长时，排队的事务越来越多，会导致部分进程被强制关掉，更严重的情况下会导致联机事务处理系统宕机，增加了系统的运行风险。例如随着银行外汇相关业务例如账户原油等产品的推出，交易量亦呈爆发性增长，处理逻辑也日趋复杂，银行业界现在的联机一条龙处理方式已经无法满足需求。

针对以上问题，如何提高交易处理的效率，提高主机系统运行的性能和稳定性，是目前银行主机运作和维护工作中需要解决的一个重要问题。目前系统迫切需要一种机制，在并发事务不断增加的情况下，主机系统能够提高交易的处理速度，避免在联机事务处理系统中出现大量的进程排队，同时又能保证交易处理的逻辑正确性。

发明内容

为了解决现有技术中主机系统工作容量有限，不能及时反馈用户业务交易结果的问题，提出了一种联机小批量数据处理方法及系统，可以及时向用户反馈业务交易结果，并且提高了联机业务处理服务器的效率。

本发明实施例提供了一种联机小批量数据处理方法，包括：

根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤；

将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。

根据本发明实施例所述的一种联机小批量数据处理方法的一个进一步的方面，所述待处理业务的特征包括，业务代码。

根据本发明实施例所述的一种联机小批量数据处理方法的再一个进一步的方面，所述联机原子步骤包括待处理业务中需要实时处理的步骤，所述批量原子步骤包括待处理业务中非实时处理的步骤。

根据本发明实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，将联机处理的联机原子步骤发送给联机业务处理装置进行处理进一步包括，将所述待处理业务的处理结果显示给用户。

根据本发明实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，将批量处理的批量原子步骤发送给批量业务处理装置进行处理进一步包括，在后台待处理缓冲池的队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

根据本发明实施例所述的一种联机小批量数据处理方法的另一个进一步的方面，根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

本发明实施例还提供了一种联机小批量数据处理系统，包括：

流程控制装置，用于根据待处理业务的特征，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置；

所述联机业务处理装置，用于处理所述联机原子步骤；

所述批量业务处理装置，用于处理所述批量原子步骤。

根据本发明实施例所述一种联机小批量数据处理系统的一个进一步的方面，所述流程控制装置进一步包括，业务定义单元，流程定义单元，数据存储单元，数据接收单元，流程判断单元，数据返回单元；

所述业务定义单元，用于对业务进行定义；

所述流程定义单元，用于对所述业务的步骤进行定义；

数据存储单元，用于存储所述业务定义单元和流程定义单元处理后的数据；

数据接收单元，用于接收待处理业务的特征；

流程判断单元，用于根据所述待处理业务特征和数据存储单元中的数据，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且由所述数据返回单元将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置。

根据本发明实施例所述一种联机小批量数据处理系统的再一个进一步的方面，所述联机业务处理装置进一步包括，业务接收单元，业务步骤处理单元，业务数据返回单元；

所述业务接收单元，用于接收用户输入的待处理业务信息，获得所述待处理业务的特征；

业务步骤处理单元，用于处理所述联机原子步骤；

业务数据返回单元，用于将联机原子步骤的处理结果反馈给用户端。

根据本发明实施例所述一种联机小批量数据处理系统的另一个进一步的方面，还包括后台待处理缓冲池，所述流程控制装置将批量原子步骤发送给所述后台待处理缓冲池，所述后台待处理缓冲池在队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

根据本发明实施例所述一种联机小批量数据处理系统的另一个进一步的方面，所述后台待处理缓冲池还根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

根据本发明实施例所述一种联机小批量数据处理系统的另一个进一步的方面，所述批量业务处理装置进一步包括，业务步骤处理单元和心跳监控单元，

所述业务步骤处理单元，用于处理批量原子步骤；

所述心跳监控单元用于监控所述批量业务处理装置是否正常运行，如果异常或终止，则发出报警。

通过上述实施例中的方法及系统，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1所示为本发明实施例一种联机小批量数据处理方法的流程图；

图2所示为本发明实施例一种联机小批量数据处理系统的结构示意图；

图3所示为本发明实施例流程控制装置的结构示意图；

图4所示为本发明实施例联机业务处理装置的结构示意图；

图5所示为本发明实施例批量业务处理装置的结构示意图；

图6所示为本发明实施例一种联机小批量数据处理方法的整体流程图；

图7所示为本发明实施例原油业务的处理方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

如图1所示为本发明实施例一种联机小批量数据处理方法的流程图。

包括步骤101，根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤。

步骤102，将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。

作为本发明的一个实施例，所述待处理业务的特征包括，业务代码或者业务名称、业务唯一标示符等。

作为本发明的一个实施例，所述联机原子步骤包括待处理业务中需要实时处理的步骤，例如用户资金的流转、待处理业务的交易显示等，所述批量原子步骤包括待处理业务中非实时处理的步骤，例如银行内部的平盘、银行与其它系统之间的数据交换等。

作为本发明的一个实施例，将联机处理的联机原子步骤发送给联机业务处理装置进行处理进一步包括，将所述待处理业务的处理结果显示给用户。

作为本发明的一个实施例，将批量处理的批量原子步骤发送给批量业务处理装置进行处理进一步包括，在后台待处理缓冲池的队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

作为本发明的一个实施例，根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

通过上述实施例的方法，在联机业务处理装置处理联机原子步骤过程中，只处理子事务合集的一个子集，剩余的子事务通过批量业务处理装置有序完成，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

如图2所示为本发明实施例一种联机小批量数据处理系统的结构示意图。

包括流程控制装置201，联机业务处理装置202、批量业务处理装置203。

所述流程控制装置201用于根据待处理业务的特征，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置。

所述联机业务处理装置202，用于处理所述联机原子步骤。

所述批量业务处理装置203，用于处理所述批量原子步骤。

作为本发明的一个实施例，所述待处理业务的特征包括业务代码。

作为本发明的一个实施例，所述联机原子步骤包括待处理业务中需要实时处理的步骤，例如用户资金的流转、待处理业务的交易显示等，所述批量原子步骤包括待处理业务中非实时处理的步骤，例如银行内部的平盘、银行与其它系统之间的数据交换等。

作为本发明的一个实施例，如图3所示为本发明实施例流程控制装置的结构示意图，所述流程控制装置进一步包括，业务定义单元301，流程定义单元302，数据存储单元303，数据接收单元304，流程判断单元305，数据返回单元306；

所述业务定义单元301，用于对业务进行定义，包括业务代码、业务名称、业务类型、业务优先级别、异常情况下对应联系人等信息；

所述流程定义单元302，用于对所述业务的步骤进行定义，包括业务对应的步骤，每个步骤分配一个顺序号，用于确定执行的顺序，定义每个步骤是由联机业务处理装置执行还是批量业务处理装置执行；

数据存储单元303，用于存储所述业务定义单元和流程定义单元处理后的数据；

数据接收单元304，用于接收待处理业务的特征；

流程判断单元305，用于根据所述待处理业务特征和数据存储单元中的数据，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且由所述数据返回单元306将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置。

作为本发明的一个实施例，如图4所示为本发明实施例联机业务处理装置的结构示意图，所述联机业务处理装置进一步包括，业务接收单元401，业务步骤处理单元402，业务数据返回单元403；

所述业务接收单元401，用于接收用户输入的待处理业务信息，获得所述待处理业务的特征；

业务步骤处理单元402，用于处理所述联机原子步骤。

业务数据返回单元403，用于将联机原子步骤的处理结果反馈给用户端，例如将业务交易结果的画面发送给用户端显示器。

作为本发明的一个实施例，还包括后台待处理缓冲池204，所述流程控制装置201将批量原子步骤发送给所述后台待处理缓冲池，所述后台待处理缓冲池在队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

作为本发明的一个实施例，所述后台待处理缓冲池204还根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

作为本发明的一个实施例，如图5所示为本发明实施例批量业务处理装置的结构示意图，所述批量业务处理装置203进一步包括，业务步骤处理单元501和心跳监控单元502，所述业务步骤处理单元501，用于处理批量原子步骤；所述心跳监控单元502用于监控所述批量业务处理装置是否正常运行，如果异常或终止，则发出报警。

通过上述实施例的方法，在联机业务处理装置处理联机原子步骤过程中，只处理子事务合集的一个子集，剩余的子事务通过批量业务处理装置有序完成，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

如图6所示为本发明实施例一种联机小批量数据处理方法的整体流程图。

包括步骤601：联机业务处理装置中的业务接收单元接收即时交易请求报文，获得该交易请求报文的交易代码(即业务代码)。

步骤602：联机业务处理装置将所述交易请求报文发送给流程控制装置对报文内容进行分解，流程控制装置根据业务代码与事前已经设置好的各类交易代码、交易步骤、交易优先级别、交易步骤的顺序等信息，分别向联机业务处理装置和后台待处理缓冲池返回交易对应的各个步骤合集，包括联机业务处理装置需要处理的步骤以及各个步骤执行的顺序，批量业务处理装置需要处理的步骤以及各个步骤执行的顺序。

在其它的实施例中，流程控制装置还可以直接将批量业务处理装置需要处理的步骤以及各个步骤执行的顺序直接发送给批量业务处理装置，而不发送给后台待处理缓冲池。

步骤603：联机业务处理装置中的业务步骤处理单元按照顺序执行各个交易步骤，在处理过程中，如果出现错误，则报错退出，否则进入下一步。

步骤604：联机业务处理装置中的业务数据返回单元向用户终端返回交易结果的信息。

步骤605：流程控制装置在后台待处理缓冲池中的待处理缓冲队列插入一个节点，如果出现错误，则报错退出，否则进入下一步。在该步骤中后台待处理缓冲池还对所述待处理缓冲队列中的节点进行排序(或评分)，例如利用不同业务的优先级进行排序，或者根据插入节点的时间进行排序，或者根据发出业务交易请求报文的用户进行排序。

步骤606：批量业务处理装置触发的后台小批量处理进程扫描后台待处理缓冲池中的待处理缓冲队列，发现待处理缓冲队列非空，则把评分最高的节点移出队列，并把节点信息读取出来。

步骤607：批量业务处理装置获取该节点的信息，例如交易对应的各个步骤合集、批量需要处理的步骤、批量各个步骤执行的顺序。

步骤608：批量业务处理装置中的业务步骤处理单元按照顺序执行各个交易步骤，在处理过程中，如果出现错误，则把报错相关信息写进异常处理缓冲队列，然后回到步骤606，否则把处理成功的信息写进已处理缓冲队列。

步骤609：该笔业务正式结束，后台释放相关资源后，回到步骤606。

下面以原油业务为例，对本发明的联机小批量数据处理方法进行说明，如图7所示为本发明实施例原油业务的处理方法流程图。

首先预先在流程控制装置设置账户原油买卖的交易代码、交易步骤，原油买卖交易步骤包括a、参数开关检查；b、原油实时中间价查询；c、对客交易价格计算；d、更新用户原油持仓；e、用户资金扣账；f、登记历史明细；g、平仓明细登记；h、分行敞口更新；i、拆盘处理；j、总行敞口更新。并定义a、b、c、d、e、f在联机业务处理装置执行，g、h、i、j在批量业务处理装置执行。

步骤701：联机业务处理装置中的业务接收单元接收用户输入的账户原油买卖即时交易请求报文，并对报文内容进行拆分，获取交易代码、交易流水号、用户信息、买卖方向、买卖数量等信息。

步骤702：联机业务处理装置把账户原油买卖的交易代码传送给流程控制装置，流程控制装置根据交易代码查询数据存储单元获取到账户原油买卖总共有10个步骤，并且获取到执行的顺序，利用流程控制装置和数据返回单元将其中需要在联机业务处理装置执行的6个步骤发送给联机业务处理装置。

步骤703：联机业务处理装置中的业务步骤处理单元按照顺序执行6个交易步骤，在处理过程中，如果出现错误，则报错退出，否则进入下一步。

步骤704：联机业务处理装置中的业务数据返回单元向用户终端返回交易成功的信息，包括买卖成交数量、买卖价格等信息，至此，从用户角度来看，这个交易已经结束。

步骤705：流程控制装置中的流程判断单元在后台待处理缓冲池中的待处理缓冲队列插入一个节点，节点信息包括交易代码、交易流水号、用户信息、原油买卖方向、买卖数量等信息，如果出现错误，则报错退出，否则进入下一步。

步骤706：批量业务处理装置触发的后台小批量处理进程扫描后台待处理缓冲池中的待处理缓冲队列，发现待处理缓冲队列非空，则把评分最高的节点移出队列，并把节点信息读取出来。

步骤707：批量业务处理装置发现其中有4个步骤需要在批量业务处理装置执行，并且获取到执行的顺序。

步骤708：批量业务处理装置的业务步骤处理单元按照顺序执行4个交易步骤，在处理过程中，如果出现错误，则把报错相关信息写进异常处理缓冲队列，然后回到步骤706，否则把处理成功的信息写进已处理缓冲队列。

步骤709：该笔业务正式结束，后台释放相关资源后，回到步骤706。

通过上述实施例的方法，在联机业务处理装置处理联机原子步骤过程中，只处理子事务合集的一个子集，剩余的子事务通过批量业务处理装置有序完成，提高联机事务的处理速度，批量业务处理装置根据等待时间、优先级别对各个事务进行智能评分，按分数高低进行排队，确保紧急的事务最先完成。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种联机小批量数据处理方法，其特征在于包括：

根据待处理业务的特征，将业务拆解为联机原子步骤和批量原子步骤；

将联机处理的联机原子步骤发送给联机业务处理装置进行处理，将批量处理的批量原子步骤发送给批量业务处理装置进行处理。

2.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，所述待处理业务的特征包括，业务代码。

3.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，所述联机原子步骤包括待处理业务中需要实时处理的步骤，所述批量原子步骤包括待处理业务中非实时处理的步骤。

4.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，将联机处理的联机原子步骤发送给联机业务处理装置进行处理进一步包括，将所述待处理业务的处理结果显示给用户。

5.根据权利要求1所述的一种联机小批量数据处理方法，其特征在于，将批量处理的批量原子步骤发送给批量业务处理装置进行处理进一步包括，在后台待处理缓冲池的队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

6.根据权利要求5所述的一种联机小批量数据处理方法，其特征在于，根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

7.一种联机小批量数据处理系统，其特征在于包括：

流程控制装置，用于根据待处理业务的特征，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置；

所述联机业务处理装置，用于处理所述联机原子步骤；

所述批量业务处理装置，用于处理所述批量原子步骤。

8.根据权利要求7所述的一种联机小批量数据处理系统，其特征在于，所述流程控制装置进一步包括，业务定义单元，流程定义单元，数据存储单元，数据接收单元，流程判断单元，数据返回单元；

所述业务定义单元，用于对业务进行定义；

所述流程定义单元，用于对所述业务的步骤进行定义；

数据存储单元，用于存储所述业务定义单元和流程定义单元处理后的数据；

数据接收单元，用于接收待处理业务的特征；

流程判断单元，用于根据所述待处理业务特征和数据存储单元中的数据，将所述待处理业务拆解为联机原子步骤和批量原子步骤，并且由所述数据返回单元将联机原子步骤发送给联机业务处理装置，将批量原子步骤发送给批量业务处理装置。

9.根据权利要求7所述的一种联机小批量数据处理系统，其特征在于，所述联机业务处理装置进一步包括，业务接收单元，业务步骤处理单元，业务数据返回单元；

所述业务接收单元，用于接收用户输入的待处理业务信息，获得所述待处理业务的特征；

业务步骤处理单元，用于处理所述联机原子步骤；

业务数据返回单元，用于将联机原子步骤的处理结果反馈给用户端。

10.根据权利要求7所述的一种联机小批量数据处理系统，其特征在于，还包括后台待处理缓冲池，所述流程控制装置将批量原子步骤发送给所述后台待处理缓冲池，所述后台待处理缓冲池在队列中加入一个节点，并将所述批量原子步骤存储于该节点中。

11.根据权利要求10所述的一种联机小批量数据处理系统，其特征在于，所述后台待处理缓冲池还根据所述批量原子步骤计算所述节点的优先级，按照所述优先级将所述后台待处理缓冲池中的节点进行排序。

12.根据权利要求7所述的一种联机小批量数据处理系统，其特征在于，所述批量业务处理装置进一步包括，业务步骤处理单元和心跳监控单元，

所述业务步骤处理单元，用于处理批量原子步骤；

所述心跳监控单元用于监控所述批量业务处理装置是否正常运行，如果异常或终止，则发出报警。