CN102609875A - 一种动态并行处理银行数据的方法及系统 - Google Patents

Abstract

本发明实施例提供了一种动态并行处理银行数据的方法及系统，该方法包括：采集银行业务系统处理银行业务时产生的数据；将所述的数据按顺序进行存储；记录所述的数据存储后对应的顺序号；根据控制参数表确定拆分批次时的最小顺序号和最大顺序号；根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表；根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；根据控制顺序触发运行所述的作业运行实体。解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。

Description

一种动态并行处理银行数据的方法及系统

技术领域

本发明关于数据处理技术，特别是关于银行海量数据处理技术，具体的讲是一种动态并行处理银行数据的方法及系统。

背景技术

目前，各大银行均将全行的数据集中进行统一处理，以在此基础上建立统一的业务功能和技术服务。银行集中处理的数据量非常庞大，对于银行数据进行的集中处理过程，如：核算处理、报表处理，结息处理等，往往有严格的时间限制，通常在银行停止营业的夜间开始处理，并需要在第二天银行营业开门前处理完毕，对海量数据处理的效率要求极高。传统的串行处理方式无法满足银行海量数据处理的要求，因此现有技术中各个银行均采用并行处理的方式进行数据处理。并行处理方式是将银行的海量数据按照一定规则划分为多个批次，然后并行运行多个批次的批量处理技术。

现有技术中的并行批量处理技术，在将银行海量数据拆分后并行运行时，其批次的划分原则相对固定，诸如按行政地区拆分或按照业务类型划分，这种划分方式一旦确定后，每次批量都按照该原则划分为固定的批次，并对划分后的批次进行批量处理。上述的并行处理方式，其固定的拆分原则存在很大的缺陷，往往无法做到对数据量的自适应，无法控制每个批次处理数据量的大小，导致实际划分出来的各批次数据不均衡，在此基础上进行的并行批量处理各批次的结束时间有先后，如此造成了如下缺陷：

(1)系统的空闲资源无法得到有效利用，造成整个数据处理的效率低下；

(2)批量处理的整体结束时间较长，因此当银行数据量较大时会产生无法在银行营业开门前处理完毕的风险，严重影响银行生产活动的正常运行；

(3)由于划分方式是固定的，对大数据库表和小数据库表采取同样的并行度，大数据库表的处理速度往往无法保证；

(4)固定划分批次的系统如果根据实际的使用需要调整其批次划分原则时，其风险较高，而且工程实施规模庞大，不易操作。

发明内容

本发明实施例提供了一种动态并行处理银行数据的方法及系统，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。

本发明的目的之一是，提供一种动态并行处理银行数据的方法，所述的方法包括：采集银行业务系统处理银行业务时产生的数据；将所述的数据按顺序进行存储；记录所述的数据存储后对应的顺序号；根据控制参数表确定拆分批次时的最小顺序号和最大顺序号；根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表；根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；根据控制顺序触发运行所述的作业运行实体。

本发明的目的之一是，提供一种动态并行处理银行数据的系统，所述的系统包括：银行业务系统，包括柜面交易系统、网上银行交易系统、自助交易系统、批处理系统，用于处理银行业务，同时产生数据；银行核心数据库，用于存储所述的银行业务系统处理银行业务时产生的数据；动态并行批量处理装置，具体包括：数据采集单元，用于采集银行业务系统处理银行业务时产生的数据，将所述的数据按顺序进行存储；顺序号记录单元，用于记录所述的数据存储后对应的顺序号；分批控制表生成单元，用于根据控制参数表确定拆分批次时的最小顺序号和最大顺序号，并根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表；作业实体生成单元，用于根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；触发单元，用于根据控制顺序触发运行所述的作业运行实体。

本发明的有益效果在于，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题，通过为具体数据量提供最优的处理方案，提高了系统资源的利用率，同时也提高了系统的处理效率，能自动处理数据变化所带来的影响，确保系统持续稳定并不断优化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种动态并行处理银行数据的方法的流程图；

图2为本发明实施例提供的一种动态并行处理银行数据的方法的实施方式二的流程图；

图3为本发明实施例提供的一种动态并行处理银行数据的方法的实施方式三的流程图；

图4为本发明实施例提供的一种动态并行处理银行数据的系统的结构框图；

图5为本发明实施例提供的一种动态并行批量处理装置的实施方式二的结构框图；

图6为本发明实施例提供的一种动态并行批量处理装置的实施方式三的结构框图；

图7为本发明实施例中将数据按顺序存储后的数据表的示意图；

图8为本发明实施例中控制参数表的实例图；

图9为本发明实施例中分批控制表的实例图；

图10为本发明实施例中运行统计表的实例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种动态并行处理银行数据的方法的流程图，由图1可知，该方法包括：

S101：采集银行业务系统处理银行业务时产生的数据。本发明中的银行业务系统主要包括柜面交易系统、网上银行交易系统、自助交易系统、批处理系统，负责在每日运营期间处理银行各种业务，包括：柜面交易、网上银行交易、各种自助渠道交易以及批处理业务等，从而产生数据，产生的数据均传输到银行核心数据库进行存储。即本发明中的处理对象主要是商业银行核心数据库的海量数据。

S102：将所述的数据按顺序进行存储。将等待批量处理的数据从银行核心数据库中提取，根据每张数据库表的数据情况，自动生成当前数据的顺序号，用以标识该数据在数据表中的位置，并控制所有数据严格按照顺序号的先后按顺序存放。图7为将数据按顺序存储后的数据表的示意图，由图7可知，数据连续存放，中间不留空的顺序号。

在本发明的其他实施方式中，在将数据按顺序进行存储之后还可包括监控实际数据库表的物理存储情况。定期计算空记录占总记录的比例，因为当空记录比例超过10％时，将会对后续的分批处理结果产生较大影响，破坏了分批的均衡性，因此此时需及时进行数据重组，确保后续步骤的顺利进行。具体包括：当数据表中间未存在任何空记录时，则直接在最大顺序号上加1返回；当数据库表中间存在空记录时，并且所有空记录占总记录的比例不超过10％时，则返回最小的空记录所对应的顺序号；当所有空记录占总记录的比例超过10％时，进行数据重组，确保所有记录连续存放，并重新计算所有记录的顺序号，返回最大顺序号加1。

S103：记录所述的数据存储后对应的顺序号；

S104：根据控制参数表确定拆分批次时的最小顺序号和最大顺序号。每张数据表根据其处理的复杂度(分为复杂度高、中、低等)和业务分类(对公业务、对私业务、客户信息、核算业务等)对应一个控制参数表，该控制参数表是作为后续步骤批次划分的依据，主要包含表分类、业务分类、分批数据量等参数字段。其中：“表分类”字段用于标识各数据表的数据处理的复杂度，例如可以分为：复杂度低、复杂度中、复杂度高三个等级。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为：对公业务、对私业务、客户信息、核算业务等。图8为本发明实施例中控制参数表的实例图。控制参数表首次使用时需进行初始化设定，实际投入使用后，则可根据后续的步骤重新进行优化配置。该步骤用于根据数据对应的控制参数表以及数据存储的实际情况(包括数据的类型，以及实际数据量大小等)详细计算拆分批次时每个批次的最小顺序号和最大顺序号。

S105：根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表。图9为本发明实施例中分批控制表的实例图。当控制参数表中的表分类为复杂度高的数据表时，对数据进行分批时每批的数据量的参数对应的值要偏小，例如：核心账户信息、核心批量业务信息等表；当控制参数表中的表分类为复杂度低的数据表时，对数据进行分批时每批的数据量的参数值则设置偏大，例如：业务统计表、临时工作表等；复杂度中的则取两者中间。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为：对公业务、对私业务、客户信息、核算业务等。因为每种业务生成的数据都有其特殊性，针对不同的业务分类进行不同的数据量划分，可以提高处理效率，例如：对私业务数据量特别大，对数据进行分批时每批的数据量的应该偏大，否则会导致每个批次数据量小而划分的批次数过多而恶化系统资源，会有导致系统宕机的风险。对数据进行分批时每批的数据量用“分批数据量”参数进行标识。

分批控制表主要包含：表名，批次号，最小顺序号，最大顺序号信息。根据控制参数表的参数值，自动计算出相应数据库表的分批控制值，最后一批不满分批数据量则无论多少都单独一批，存储在分批控制表中。例如：从银行核心数据库中获得“客户主表”一共存储了25万数据，并且该表的控制参数表中的“表分类”是处理复杂度中，“业务分类”为客户信息，根据控制参数表中的建议每个批次处理5万笔，据此计算出第1个批次处理的记录范围是第1笔到第49999笔记录，第2个批次处理的记录范围是第50000笔到第99999笔记录，直至将所有的记录数分配完毕为止，共划分为50个批处理，存储到分批控制表中，如图9所示。

S106：根据所述的分批控制表以及预设的作业运行模板生成作业运行实体。系统中预先存储各个批量功能模块的特定格式的作业运行模板，模板中对于需要指定批次号的地方可使用特定通配符替代。根据分批控制表中每个批次数据量的建议值，结合作业运行模板，逐一生成各具体批次的作业运行实体，最后一部分数据，无论数据量多少都单独一批；模板中的通配符用具体的批次号替代，最后存储生成的作业运行实体。不同的数据表生成的作业运行实体的数量会有不同。例如：客户主表有25万数据时，按控制参数表的建议每个批次处理5万笔记录，则运行作业实体生成单元33会生成50个运行作业实体；如果客户主表数据量增长到50万，则会生成100个运行作业实体。

S107：根据控制顺序触发运行所述的作业运行实体。系统中预先存储各种作业运行的先后控制顺序，使批量作业的运行符合必要的逻辑性。例如：根据实际情况将作业运行的先后顺序存储为：1、更新分户处理，2、统计分户余额，3、试算平衡处理，4、总分核对处理等。按照控制顺序，依次触发各作业运行实体。

图2为本发明实施例提供的一种动态并行处理银行数据的方法的实施方式二的流程图，由图2可知，该方法除了上述步骤之外还包括：

S208：记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。图10为本发明实施例中运行统计表的实例图，由图10可知，运行统计表中包括：数据表名，程序名，日期，每批处理数量，分批数量，运行时间等。

S209：根据所述的运行统计表返回修改所述的控制参数表。分析步骤S208中生成的运行统计表，进而分析当前的控制参数表的设置是否最优，返回修改控制参数表，从而使运行得到持续优化。根据步骤S208中生成的运行统计表中存储的信息，进而监控系统每日运行是否正常，是否存在一些急需解决的风险问题；统计一段时间(例如：每月)的总体运行情况，确认运行时间是否稳定；最主要的是，通过对运行情况的历史数值、系统硬件资源可支持的最大并发度、以及每增加一个并行所带来的额外消耗等方面进行分析，确认控制参数表中的参数值是否最优，是否在风险可控的前提下，达到了以最小的代价，换取最短的总处理时间，给出参考的控制参数值。此外，如果核心银行的硬件系统发生变化，例如：硬件升级导致可用资源有所提升，通过上述的分析，可以重新得出适合的控制参数值，及时将硬件的提升效果体现到实际运行当中。

图3为本发明实施例提供的一种动态并行处理银行数据的方法的实施方式三的流程图，由图3可知，该方法除了上述步骤之外还包括：

S308：记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。图10为本发明实施例中运行统计表的实例图，由图10可知，运行统计表中包括：数据表名，程序名，日期，每批处理数量，分批数量，运行时间等。

S309：接收用户指令，根据所述的用户指令返回修改所述的控制参数表。分析步骤S308中生成的运行统计表，进而分析当前的控制参数表的设置是否最优，返回修改控制参数表，从而使运行得到持续优化。根据步骤S308中生成的运行统计表中存储的信息，进而监控系统每日运行是否正常，是否存在一些急需解决的风险问题；统计一段时间(例如：每月)的总体运行情况，确认运行时间是否稳定；最主要的是，通过对运行情况的历史数值、系统硬件资源可支持的最大并发度、以及每增加一个并行所带来的额外消耗等方面进行分析，确认控制参数表中的参数值是否最优，是否在风险可控的前提下，达到了以最小的代价，换取最短的总处理时间，给出参考的控制参数值。此外，如果核心银行的硬件系统发生变化，例如：硬件升级导致可用资源有所提升，通过上述的分析，可以重新得出适合的控制参数表的参考值。将上述重新得出的控制参数表的参考值显示给用户，接收用户指令，根据用户指令对控制参数表中的参数值进行更新和调整。

图4为本发明实施例提供的一种动态并行处理银行数据的系统的结构框图，由图4可知，该系统包括：

银行业务系统100，包括柜面交易系统102、网上银行交易系统101、自助交易系统103、批处理系统104，用于处理银行业务，同时产生数据。即银行业务系统负责在每日运营期间处理银行各种业务，包括：柜面交易、网上银行交易、各种自助渠道交易以及批处理业务等，从而产生数据。即本发明中的处理对象主要是商业银行核心数据库的海量数据。

银行核心数据库200，用于存储所述的银行业务系统处理银行业务时产生的数据；

动态并行批量处理装置300，具体包括：

数据采集单元301，用于采集银行业务系统处理银行业务时产生的数据，将所述的数据按顺序进行存储。将等待批量处理的数据从银行核心数据库中提取，根据每张数据库表的数据情况，自动生成当前数据的顺序号，用以标识该数据在数据表中的位置，并控制所有数据严格按照顺序号的先后按顺序存放。图7为将数据按顺序存储后的数据表的示意图，由图7可知，数据连续存放，中间不留空的顺序号。

在本发明的其他实施方式中，在将数据按顺序进行存储之后还可包括监控实际数据库表的物理存储情况。定期计算空记录占总记录的比例，因为当空记录比例超过10％时，将会对后续的分批处理结果产生较大影响，破坏了分批的均衡性，因此此时需及时进行数据重组，确保后续步骤的顺利进行。具体包括：当数据表中间未存在任何空记录时，则直接在最大顺序号上加1返回；当数据库表中间存在空记录时，并且所有空记录占总记录的比例不超过10％时，则返回最小的空记录所对应的顺序号；当所有空记录占总记录的比例超过10％时，进行数据重组，确保所有记录连续存放，并重新计算所有记录的顺序号，返回最大顺序号加1。

顺序号记录单元302，用于记录所述的数据存储后对应的顺序号；

分批控制表生成单元303，用于根据控制参数表确定拆分批次时的最小顺序号和最大顺序号，并根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表。每张数据表根据其处理的复杂度(分为复杂度高、中、低等)和业务分类(对公业务、对私业务、客户信息、核算业务等)对应一个控制参数表，该控制参数表是作为后续步骤批次划分的依据，主要包含表分类、业务分类、分批数据量等参数字段。其中：“表分类”字段用于标识各数据表的数据处理的复杂度，例如可以分为：复杂度低、复杂度中、复杂度高三个等级。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为：对公业务、对私业务、客户信息、核算业务等。图8为本发明实施例中控制参数表的实例图。控制参数表首次使用时需进行初始化设定，实际投入使用后，则可根据后续的步骤重新进行优化配置。该步骤用于根据数据对应的控制参数表以及数据存储的实际情况(包括数据的类型，以及实际数据量大小等)详细计算拆分批次时每个批次的最小顺序号和最大顺序号。

图9为本发明实施例中分批控制表的实例图。当控制参数表中的表分类为复杂度高的数据表时，对数据进行分批时每批的数据量的参数对应的值要偏小，例如：核心账户信息、核心批量业务信息等表；当控制参数表中的表分类为复杂度低的数据表时，对数据进行分批时每批的数据量的参数值则设置偏大，例如：业务统计表、临时工作表等；复杂度中的则取两者中间。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为：对公业务、对私业务、客户信息、核算业务等。因为每种业务生成的数据都有其特殊性，针对不同的业务分类进行不同的数据量划分，可以提高处理效率，例如：对私业务数据量特别大，对数据进行分批时每批的数据量的应该偏大，否则会导致每个批次数据量小而划分的批次数过多而恶化系统资源，会有导致系统宕机的风险。对数据进行分批时每批的数据量用“分批数据量”参数进行标识。

分批控制表主要包含：表名，批次号，最小顺序号，最大顺序号信息。根据控制参数表的参数值，自动计算出相应数据库表的分批控制值，最后一批不满分批数据量则无论多少都单独一批，存储在分批控制表中。例如：从银行核心数据库中获得“客户主表”一共存储了25万数据，并且该表的控制参数表中的“表分类”是处理复杂度中，“业务分类”为客户信息，根据控制参数表中的建议每个批次处理5万笔，据此计算出第1个批次处理的记录范围是第1笔到第49999笔记录，第2个批次处理的记录范围是第50000笔到第99999笔记录，直至将所有的记录数分配完毕为止，共划分为50个批处理，存储到分批控制表中，如图9所示。

作业实体生成单元304，用于根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；系统中预先存储各个批量功能模块的特定格式的作业运行模板，模板中对于需要指定批次号的地方可使用特定通配符替代。根据分批控制表中每个批次数据量的建议值，结合作业运行模板，逐一生成各具体批次的作业运行实体，最后一部分数据，无论数据量多少都单独一批；模板中的通配符用具体的批次号替代，最后存储生成的作业运行实体。不同的数据表生成的作业运行实体的数量会有不同。例如：客户主表有25万数据时，按控制参数表的建议每个批次处理5万笔记录，则运行作业实体生成单元33会生成50个运行作业实体；如果客户主表数据量增长到50万，则会生成100个运行作业实体。

触发单元305，用于根据控制顺序触发运行所述的作业运行实体。系统中预先存储各种作业运行的先后控制顺序，使批量作业的运行符合必要的逻辑性。例如：根据实际情况将作业运行的先后顺序存储为：1、更新分户处理，2、统计分户余额，3、试算平衡处理，4、总分核对处理等。按照控制顺序，依次触发各作业运行实体。

图5为本发明实施例提供的一种动态并行批量处理装置的实施方式二的结构框图，由图5可知，动态并行批量处理装置300除了上述单元之外还包括：运行信息记录单元306，用于记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。图10为本发明实施例中运行统计表的实例图，由图10可知，运行统计表中包括：数据表名，程序名，日期，每批处理数量，分批数量，运行时间等。

第一优化单元307，用于根据所述的运行统计表返回修改所述的控制参数表。分析运行信息记录单元306生成的运行统计表，进而分析当前的控制参数表的设置是否最优，返回修改控制参数表，从而使运行得到持续优化。根据运行信息记录单元306生成的运行统计表中存储的信息，进而监控系统每日运行是否正常，是否存在一些急需解决的风险问题；统计一段时间(例如：每月)的总体运行情况，确认运行时间是否稳定；最主要的是，通过对运行情况的历史数值、系统硬件资源可支持的最大并发度、以及每增加一个并行所带来的额外消耗等方面进行分析，确认控制参数表中的参数值是否最优，是否在风险可控的前提下，达到了以最小的代价，换取最短的总处理时间，给出参考的控制参数值。此外，如果核心银行的硬件系统发生变化，例如：硬件升级导致可用资源有所提升，通过上述的分析，可以重新得出适合的控制参数值，及时将硬件的提升效果体现到实际运行当中。

图6为本发明实施例提供的一种动态并行批量处理装置的实施方式三的结构框图，由图6可知，动态并行批量处理装置300除了上述单元之外还包括：运行信息记录单元306，用于记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。图10为本发明实施例中运行统计表的实例图，由图10可知，运行统计表中包括：数据表名，程序名，日期，每批处理数量，分批数量，运行时间等。

第二优化单元308，用于接收用户指令，根据所述的用户指令返回修改所述的控制参数表。分析运行信息记录单元306中生成的运行统计表，进而分析当前的控制参数表的设置是否最优，返回修改控制参数表，从而使运行得到持续优化。根据运行信息记录单元306生成的运行统计表中存储的信息，进而监控系统每日运行是否正常，是否存在一些急需解决的风险问题；统计一段时间(例如：每月)的总体运行情况，确认运行时间是否稳定；最主要的是，通过对运行情况的历史数值、系统硬件资源可支持的最大并发度、以及每增加一个并行所带来的额外消耗等方面进行分析，确认控制参数表中的参数值是否最优，是否在风险可控的前提下，达到了以最小的代价，换取最短的总处理时间，给出参考的控制参数值。此外，如果核心银行的硬件系统发生变化，例如：硬件升级导致可用资源有所提升，通过上述的分析，可以重新得出适合的控制参数表的参考值。将上述重新得出的控制参数表的参考值显示给用户，接收用户指令，根据用户指令对控制参数表中的参数值进行更新和调整。

综上所述，本发明的有益成果是：提供了一种动态并行处理银行数据的方法及系统，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题，将银行批量处理的处理效率提到最优，同时能自动适应后续数据量的变化情况，确保长期且稳定的高效率处理。

本发明的优点是：

1.创造性地根据商业银行核心数据库的海量数据，结合各商业银行的实际硬件环境情况以及数据量的实际多少，对海量数据进行并行批量处理的最优批次划分，后续进行并行的核算处理、批量报表处理、结息批量处理等批量处理，实现了高效、省时的海量数据并行批量处理。

2.创造性地根据具体的数据数量自动计算需要划分的批次数量，将批量处理划分为多个相同的批量处理批次，可以保证各批次运行结束时间大致相等，消除了由于某个批次处理时间过长导致整体批量处理效率低下的问题，提高了系统资源的使用效率。

3.创造性地通过对系统运行数据的记录和分析，以确认当前处理方案是否已经最大限度利用系统资源，是否在风险可控的前提下达到了以最小的代价换取最短的总处理时间的效果，并给出最优参考方案，从而可以不断优化本系统的处理效率。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种动态并行处理银行数据的方法，其特征是，所述的方法包括：

采集银行业务系统处理银行业务时产生的数据；

将所述的数据按顺序进行存储；

记录所述的数据存储后对应的顺序号；

根据控制参数表确定拆分批次时的最小顺序号和最大顺序号；

根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表；

根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；

根据控制顺序触发运行所述的作业运行实体。

2.根据权利要求1所述的方法，其特征是，所述的方法还包括：

记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。

3.根据权利要求2所述的方法，其特征是，所述的方法还包括：

根据所述的运行统计表返回修改所述的控制参数表。

4.根据权利要求2所述的方法，其特征是，所述的方法还包括：

接收用户指令，根据所述的用户指令返回修改所述的控制参数表。

5.根据权利要求1所述的方法，其特征是，所述的银行业务系统包括：柜面交易系统、网上银行交易系统、自助交易系统、批处理系统。

6.根据权利要求1所述的方法，其特征是，所述的控制参数表包含表分类、业务分类、分批数据量。

7.根据权利要求1所述的方法，其特征是，所述的分批控制表包含表名、批次号、最小顺序号、最大顺序号。

8.一种动态并行处理银行数据的系统，其特征是，所述的系统包括：

银行业务系统，包括柜面交易系统、网上银行交易系统、自助交易系统、批处理系统，用于处理银行业务，同时产生数据；

银行核心数据库，用于存储所述的银行业务系统处理银行业务时产生的数据；

动态并行批量处理装置，具体包括：

数据采集单元，用于采集银行业务系统处理银行业务时产生的数据，将所述的数据按顺序进行存储；

顺序号记录单元，用于记录所述的数据存储后对应的顺序号；

分批控制表生成单元，用于根据控制参数表确定拆分批次时的最小顺序号和最大顺序号，并根据所述的最小顺序号、最大顺序号以及控制参数表确定出所述的数据对应的分批控制表；

作业实体生成单元，用于根据所述的分批控制表以及预设的作业运行模板生成作业运行实体；

触发单元，用于根据控制顺序触发运行所述的作业运行实体。

9.根据权利要求8所述的系统，其特征是，所述的控制参数表包含表分类、业务分类、分批数据量。

10.根据权利要求8所述的系统，其特征是，所述的分批控制表包含表名、批次号、最小顺序号、最大顺序号。

11.根据权利要求8所述的系统，其特征是，所述的动态并行批量处理装置还包括：

运行信息记录单元，用于记录所述的作业运行实体运行时的运行信息，生成运行统计表，所述的运行信息包括：数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。

12.根据权利要求11所述的系统，其特征是，所述的动态并行批量处理装置还包括：

第一优化单元，用于根据所述的运行统计表返回修改所述的控制参数表。

13.根据权利要求11所述的系统，其特征是，所述的系统还包括：

第二优化单元，用于接收用户指令，根据所述的用户指令返回修改所述的控制参数表。

Images