CN104050193B - 生成报文的方法和实现该方法的数据处理系统 - Google Patents

Abstract

本发明涉及数据处理技术，特别涉及一种利用数据处理系统生成报文的方法以及实现该方法的数据处理系统。按照本发明的方法包括下列步骤：接收报文生成请求；根据所述报文生成请求，优先利用文件句柄池中的文件句柄和/或数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中；获取报文生成所需的参数；以及根据打包规则算法和参数，从所需数据生成报文并且将生成的报文写入文件。本发明解决了目前小额装载打包处理中存在的装载效率低下、无法实时计算报文代别权限和扩展性不高等问题。

Description

生成报文的方法和实现该方法的数据处理系统

技术领域

本发明涉及数据处理技术，特别涉及一种利用数据处理系统生成报文的方法以及实现该方法的数据处理系统。

背景技术

随着经济的发展，金融交易的规模和复杂性日益增大，因此支付结算管理和服务的重要性愈发突出。为了适应各类支付业务处理的需要，典型的支付系统由大额支付系统和小额批量支付系统组成。大额支付系统实行逐笔实时处理，全额清算资金，从而为各银行和企业单位以及金融市场提供快速、高效、安全、可靠的支付清算服务，防范支付风险。小额批量支付系统在一定时间内对多笔支付业务进行轧差处理，净额清算资金。建设小额批量支付系统的目的是为社会提供低成本、大业务量的支付清算服务，支撑各种支付业务的使用，满足社会各种经济活动的需要。

对于小额批量支付业务，需要将交易过程中形成的多组数据组织为遵循预定格式的报文并提供给交易各方（以下将这种报文的生成又称为“打包”或“小额打包”）。目前的小额打包逻辑已可支持特定的业务范围处理，但存在诸多缺点和不足。

首先，系统性能扩展困难，不支持并发处理且算法不高效。其次，服务调用模式单一，仅支持特定协议模式下的接口调用，缺少系统扩展性和高可配置性。再者，不支持实时分析报文代别和权限，需要与中央银行交互以获取相应参数。此外，目前的小额打包处理逻辑和外围紧密耦合，业务扩展困难，增加新报文类型需要对系统进行改造，可扩展和可配置性低下。就触发方式和配置灵活性而言，目前的打包逻辑仅支持自动批量打包的触发方式，而且也不支持配置打包规则算法或者配置方法及其复杂。

由上可见，迫切需要一种高效、灵活和扩展性强的生成报文的方法和实现该方法的数据处理系统。

发明内容

本发明的目的之一是提供一种生成报文的方法，其具有高效、灵活和扩展性强等优点。

为实现上述目的，在按照本发明一个实施例的方法中，数据处理系统执行下列步骤：

接收报文生成请求；

根据所述报文生成请求，优先利用文件句柄池中的文件句柄和/或数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中；

获取报文生成所需的打包规则算法和参数；以及

根据打包规则算法和参数，从所需数据生成报文并且将生成的报文写入文件。

优选地，在上述方法中，采用下列方式之一触发所述报文生成请求：人工定量触发、批量自动按时触发、定时周期触发或守护进程按时间间隔触发。

优选地，在上述方法中，如果所需数据在所述文件句柄池中没有相应的文件句柄，则创建该相应的文件句柄并且在所述文件句柄池已满时以其替换所述文件句柄池中使用频度最小的文件句柄。

采用上述替换算法来替换内存中文件句柄池中的机构文件句柄提高了命中率，并且最大化减少了文件句柄打开和关闭操作次数。

优选地，在上述方法中，采用数据分块算法将所需数据从数据库装载到内存中以使多个装载进程的任务量尽可能均衡。

优选地，在上述方法中，采用统一的句柄管理工具来管理所述文件句柄池和数据库连接句柄池。

优选地，在上述方法中，所述参数包括业务权限和报文代别。更好地，通过对装载到内存中的数据与先前装载的历史数据进行权重分析得到业务权限和报文代别。如果确定的报文代别表明所请求的业务具有不对称的业务要素，则对确定的报文代别进行转换。如果无法解析确定所述业务权限和报文代别，则通过访问外部系统获取。通过优先在本地分析和判断，可以减少与外部系统通信以获取参数的时延，从而提高分析判断速度。

优选地，在上述方法中，与写入报文的文件对应的文件句柄也被放入所述文件句柄池以由所述句柄管理工具管理。

本发明的还有一个目的是提供一种用于生成报文的数据处理系统，其具有高效、灵活和扩展性强等优点。

为实现上述目的，按照本发明一个实施例的数据处理系统可包括：

句柄管理模块，用于管理文件句柄池中的文件句柄和数据库连接句柄池中的数据库连接句柄；

数据装载模块，用于根据报文生成请求，通过所述句柄管理工具优先利用所述文件句柄池中的文件句柄和/或所述数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中；

报文解析和转换模块，用于获取报文生成所需的参数；以及

报文生成模块，用于根据打包规则算法和所述参数，从所需数据生成报文并且将生成的报文写入文件。

优选地，在上述数据处理系统中，如果所需数据在所述文件句柄池中没有相应的文件句柄，则创建该相应的文件句柄并且在所述文件句柄池已满时以其替换所述文件句柄池中使用频度最小的文件句柄。

优选地，在上述数据处理系统中，句柄管理模块还对将数据从数据库装载到内存的装载进程进行管理，并且采用数据分块算法使多个所述装载进程的任务量尽可能均衡。

优选地，在上述数据处理系统中，所述参数包括业务权限和报文代别，所述报文解析和转换模块通过对装载到内存中的数据与先前装载的历史数据进行权重分析确定业务权限和报文代别。

优选地，在上述数据处理系统中，如果确定的报文代别表明所请求的业务具有不对称的业务要素，则报文解析和转换模块对确定的报文代别进行转换。

优选地，在上述数据处理系统中，如果无法解析确定所述业务权限和报文代别，则报文解析和转换模块通过访问外部系统获取。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其它目的及优点更加清楚。

图1为按照本发明一个实施例的数据处理系统逻辑功能架构的示意图。

图2为具有图1所示架构的数据处理系统的框图。

图3为按照本发明另一个实施例的报文生成方法的流程图。

图4为用于图3所示实施例的句柄管理例程的流程图。

图5为用于图3所示实施例的内存打包例程的流程图。

具体实施方式

图1为按照本发明一个实施例的数据处理系统逻辑功能架构的示意图。

如图1所示，数据处理系统逻辑功能架构10包含统一混合句柄池缓冲管理业务装载逻辑110、报文代别权限智能转换判断逻辑120和多触发高性能可配置化打包逻辑130，以下分别对这些逻辑模块作进一步的描述。

统一混合句柄池缓冲管理业务装载逻辑110包括句柄管理工具111、文件句柄池112、数据库连接句柄池113、装载进程池114。文件句柄池112和数据库连接句柄池113中所包括的句柄分别用于标识文件1-文件N中的部分文件和与数据库1-数据库N的连接。句柄管理工具111对上述两个句柄池中的句柄资源进行管理以将文件和数据库中的数据装载到内存中。管理操作例如包括但不限于句柄池的初始化创建操作、句柄分配、句柄加入操作和销毁操作等。装载进程池114负责分配和管理用于将数据从文件和数据库装载到内存的装载进程，其执行装载进程的创建、分配、回收、进程状态控制等操作。在本实施例中，由于多个装载进程可以同时进行，所以提高了数据处理系统的并行处理能力。

当从数据处理系统外部接收到打包业务请求时，句柄管理工具111初始化句柄池并且根据请求的内容分配句柄，以将文件和数据库中的所需数据装载到内存中。文件例如可以是按照机构等要素来划分的，对于不在文件句柄池中的文件，可在文件句柄池中创建相应的句柄，并且在文件句柄池原有句柄已满时采用最近最少未使用替换（LRU）算法替换文件句柄池中原有的句柄。即，文件句柄池中使用频度最小的句柄将被新创建的句柄所替代。这种替换策略可以提高命中率，并且最大程度减少了文件句柄打开和关闭操作的次数。对于数据库数据，则采用数据分块技术，使各装载进程的任务量尽可能均衡，并通过采用合适的策略，最大程度地地减少数据库连接关闭操作，提高性能。

报文代别权限智能转换判断逻辑120用于实现与外部系统的实时参数同步、不同代报文智能到判断转换以及历史数据分析，其包含报文解析引擎121、报文代别分析和转换引擎122、业务权限分析引擎123和通讯前置模块124。此逻辑模块可作为引擎插件形式供其它逻辑模块跨机、跨系统调用。

报文解析引擎121用于使本地的参数与外部系统的参数实时同步。当统一混合句柄池缓冲管理业务装载逻辑110将数据装载到内存之后，业务权限分析引擎123借助历史参数库中的历史数据对内存中当前装载的数据作权重分析，以判断交易方的业务权限是否有效，并将过滤后的无权限数据加入历史参数库。报文代别分析和转换引擎122则对业务权限有效的业务数据和实时同步的参数进行分析，并且根据分析结果将代别不对称的业务要素进行转换。优选地，报文代别分析和转换引擎122和业务权限分析引擎123将装载进来的业务数据与处理过的历史数据按照跨日、跨周、跨月的数据模型进行分类分析，并且根据历史数据分析结果快速计算出业务的权限和代别。另一方面，若无法计算出代别和权限，则由报文解析引擎121通过通讯前置模块124，借助通讯中间件（MQ）与外部系统2作报文交互以获取最新的配置信息，并根据最新配置标记机构代别要素和权限权重值以及计算出业务的权限和代别。

由于通过与外部系统通讯来获取业务的权限和代别存在时延等待，所以将报文代别权限智能转换判断逻辑120设置为优先利用报文代别分析和转换引擎122和业务权限分析引擎123计算确定报文权限和报文代别等参数。

多触发高性能可配置化打包逻辑130包括内存打包引擎131、数据库打包引擎132和外围系统133。

内存打包引擎131根据定制打包规则算法表和外部系统的打包规则算法表，将从文件和数据库装载到内存的数据组装成符合规范的报文数据。例如，内存打包引擎131按照外部系统的打包规则算法表中的打包限制条件将待打包的明细业务一级分类；然后按照定制打包规则算法表中的定制打包限制条件将明细业务二级分类；最后根据报文代别权限智能转换判断逻辑模块120得到的报文要素，将对应业务组装成支付系统报文规范规定的报文。数据库打包引擎132则将内存打包引擎131生成的报文数据写入数据库。

在本实施例的多触发高性能可配置化打包逻辑130中，支持的通信接入方式包括webservice、套接字、通讯中间件等，并且接入方式可通过数据库参数表可视化配置来实现。另外，定制打包规则算法也是可配置的，其支持通过统一配置文件和数据库参数表可视化配置等多种配置方法。

在本实施例的多触发高性能可配置化打包逻辑130中，还支持多种触发方式，例如包括但不限于webservice人工定量触发、批量自动按时触发、定时周期触发和守护进程按时间间隔触发等。

图2为具有图1所示架构的数据处理系统的框图。

如图2所示，数据处理系统20包括句柄管理模块210、报文解析和转换模块220和报文生成模块230。句柄管理模块210用于管理文件句柄池中的文件句柄和数据库连接句柄池中的数据库连接句柄，并且根据报文生成请求，优先利用文件句柄池中的文件句柄和/或数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中。报文解析和转换模块220用于确定报文生成所需的参数，例如包括但不限于报文代别和报文权限等。报文生成模块230用于根据打包规则算法和参数，从所需数据生成报文并且将生成的报文写入文件。

句柄管理模块210按照下列方式管理句柄资源：如果所需数据在文件句柄池中没有相应的文件句柄，则创建相应的文件句柄并且用该相应的文件句柄替换文件句柄池中使用频度最小的文件句柄；对于数据从数据库装载到内存的装载进程，采用数据分块算法使多个装载进程的任务量尽可能均衡。

在报文生成所需的参数中，对于业务权限和报文代别，优先在本地确定。例如在本实施例中，报文解析和转换模块220可以通过对装载到内存中的数据与先前装载的历史数据进行权重分析得到业务权限和报文代别。如果在本地无法确定，则报文解析和转换模块220通过与外部系统交互获取。此外，如果确定的报文代别表明所请求的业务具有不对称的业务要素，则报文解析和转换模块220对确定的报文代别进行转换。

图3为按照本发明另一个实施例的报文生成方法的流程图。

首先在步骤310中，数据处理系统接收报文生成请求。接着在步骤310中，数据处理系统根据接收到的报文生成请求，优先利用文件句柄池中的文件句柄和/或数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中。有关步骤320的内容将在下面结合图4作详细描述。接着进入步骤330，数据处理系统获取生成报文所需的规则算法（例如外部系统提供的打包规则算法和本地的定制打包规则算法）和参数（例如业务权限和报文代别）。最后进入步骤340，数据处理系统根据打包规则算法和参数，从所需数据生成报文并且将生成的报文写入文件。

在本实施例中，可采用下列方式之一触发报文生成请求：人工定量触发、批量自动按时触发、定时周期触发或守护进程按时间间隔触发。

图4为用于图3所示实施例的句柄管理例程的流程图。

如图4所示，在步骤411，数据处理系统读取全局配置文件以获取配置参数，例如包括但不限于共享内存的起始地址和共享内存大小等。接着依次执行步骤412、413和414，分别完成连接共享内存、初始化文件句柄向量和初始化数据库连接句柄向量的操作。

随后，数据处理系统在步骤415根据请求的句柄类型分类，如果是属于文件句柄则进入步骤416，如果是数据库连接句柄，则进入步骤421。

在步骤416，数据处理系统读取机构配置文件以获取与待生成报文对应的机构信息(比如机构号、机构名、生成文件个数、文件名称等)。随后进入步骤417，数据处理系统判断文件句柄池中是否存在与被装载文件对应的句柄，如果有，则进入步骤418，将对应的句柄分配给相应的装载进程，否则，则进入步骤419，在文件句柄池中创建被装载文件的句柄，并且如果文件句柄池中的原有句柄已满，则删除其中使用频度最小的文件句柄。步骤418和419之后都执行步骤420，装载进程开始将文件的数据装载到共享内存中。

回到步骤415的另一个分支，在步骤421，数据处理系统分配数据库连接句柄。随后，在步骤422，采用数据分块算法使多个装载进程的任务量尽可能均衡。接着执行步骤423，一个或多个装载进程开始将数据库的数据装载到共享内存中。

图5为用于图3所示实施例的内存打包例程的流程图，其可用于实现图3中的步骤330和340。

如图5所示，在步骤511，数据处理系统读取全局配置文件以获取配置参数，例如包括但不限于共享内存的起始地址和共享内存大小等。接着数据处理系统依次执行步骤512、513、514和515，分别完成连接共享内存、获取打包规则算法（例如包括来自外部系统的打包规则算法和本地的定制打包规则算法）、获取报文类型种类配置参数和确定报文要素参数（例如报文权限和报文代别等）的操作。在步骤515中，可按照上面描述的方式获取报文要素参数。也就是说，优先在数据数据处理系统处确定报文要素参数，只有在无法确定时才从外部系统获取；此外，对于报文代别，如果表明所请求的业务具有不对称的业务要素，则对确定的报文代别进行转换。

随后，数据处理系统在步骤516 执行装载进程池的分配操作，并且在步骤517判断共享内存中是否存在数据。如果判断存在数据，则进入步骤518，否则退出例程。

在步骤518，数据处理系统获取报文类型并且随后依次执行步骤519和520，分别完成根据打包规则算法和参数对数据进行打包的操作和刷新汇总打包容器的操作。

接着进入步骤521，数据处理系统判断打包容器中的数据量是否达到规定的大小，如果达到，则进入步骤522，否则，则返回步骤517。

在步骤522，数据处理系统为报文文件分配相应的句柄。随后数据处理系统依次执行步骤523和524，分别完成将打包容器内的报文写入文件的操作和释放与报文文件对应的句柄的操作。

本发明带来以下的有益效果：

（1） 可以满足多种任务触发处理需求。提供人工定量触发、批量自动按时触发、定时周期触发、守护进程按时间间隔触发多种触发方式。

（2）统一混合句柄池管理工具提供对文件句柄和数据库连接句柄的混合式管理方法。

（3）报文代别权限智能判断逻辑引擎提供对历史数据的分析挖掘，实时智能区分机构报文代别和权限。

（4）低耦合性，统一混合句柄池管理工具、报文代别权限智能判断逻辑引擎和业务打包逻辑分离，工具及引擎提供一套通用接口供业务打包模块使用。

（5）高可配置性。提供可视化及简单的打包规则算法配置工具，提供定制化打包规则扩展功能。

（6）高健壮性。小额打包系统具有服务健康自我监控功能，自动数据库重连机制，通过统一混合句柄池以及缓冲队列实现高并发的支持。

由于可以在不背离本发明基本精神的情况下，以各种形式实施本发明，因此上面描述的具体实施方式仅是说明性的而不是限制性的。本发明的范围由所附权利要求定义，对上面描述方式所作的各种变化或变动都属于所附权利要求的保护范围。

Claims (13)

1.一种利用数据处理系统生成报文的方法，其特征在于，所述数据处理系统执行下列步骤：

接收报文生成请求；

根据所述报文生成请求，优先利用文件句柄池中的文件句柄和/或数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中；

获取报文生成所需的打包规则算法和参数；以及

根据打包规则算法和参数，从所需数据生成报文并且将生成的报文写入文件，

其中，所述参数包括业务权限和报文代别，

其中，通过对装载到内存中的数据与先前装载的历史数据进行权重分析确定业务权限和报文代别。

2.如权利要求1所述的方法，其中，采用下列方式之一触发所述报文生成请求：人工定量触发、批量自动按时触发、定时周期触发或守护进程按时间间隔触发。

3.如权利要求1所述的方法，其中，如果所需数据在所述文件句柄池中没有相应的文件句柄，则创建该相应的文件句柄并且在所述文件句柄池已满时以其替换所述文件句柄池中使用频度最小的文件句柄。

4.如权利要求1所述的方法，其中，采用数据分块算法将所需数据从数据库装载到内存中以使多个装载进程的任务量尽可能均衡。

5.如权利要求1所述的方法，其中，采用统一的句柄管理工具来管理所述文件句柄池和数据库连接句柄池。

6.如权利要求1所述的方法，其中，如果确定的报文代别表明所请求的业务具有不对称的业务要素，则对确定的报文代别进行转换。

7.如权利要求1所述的方法，其中，如果无法解析确定所述业务权限和报文代别，则通过访问外部系统获取。

8.如权利要求5所述的方法，其中，与写入报文的文件对应的文件句柄也被放入所述文件句柄池以由所述句柄管理工具管理。

9.一种数据处理系统，其特征在于，包括：

句柄管理模块，用于管理文件句柄池中的文件句柄和数据库连接句柄池中的数据库连接句柄；

数据装载模块，用于根据报文生成请求，通过所述句柄管理工具优先利用所述文件句柄池中的文件句柄和/或所述数据库连接句柄池中的数据库连接句柄将所需数据装载到内存中；

报文解析和转换模块，用于获取报文生成所需的参数；以及

报文生成模块，用于根据打包规则算法和所述参数，从所需数据生成报文并且将生成的报文写入文件，

其中，所述参数包括业务权限和报文代别，所述报文解析和转换模块通过对装载到内存中的数据与先前装载的历史数据进行权重分析确定业务权限和报文代别。

10.如权利要求9所述的数据处理系统，其中，如果所需数据在所述文件句柄池中没有相应的文件句柄，则创建该相应的文件句柄并且在所述文件句柄池已满时以其替换所述文件句柄池中使用频度最小的文件句柄。

11.如权利要求9所述的数据处理系统，其中，句柄管理模块还对将数据从数据库装载到内存的装载进程进行管理，并且采用数据分块算法使多个所述装载进程的任务量尽可能均衡。

12.如权利要求9所述的数据处理系统，其中，如果确定的报文代别表明所请求的业务具有不对称的业务要素，则报文解析和转换模块对确定的报文代别进行转换。

13.如权利要求9所述的数据处理系统，其中，如果无法解析确定所述业务权限和报文代别，则报文解析和转换模块通过访问外部系统获取。