CN105677465B - 应用于银行跑批处理的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种应用于银行跑批处理的数据处理方法及装置，其中，所述系统包括：根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期；重复执行以下步骤直至跑批结束：根据所述批量控制表确定所述目标分行的批量状态，其中，所述批量控制表还配置有各分行的批量状态，根据所述目标分行的批量状态执行预配置的与批量状态对应的处理，并根据处理结果更新所述批量控制表中所述目标分行的批量状态。采用本发明，能够自动化、顺序化、准确且响应时间更快地实现银行跑批处理，提高跑批处理的效率。

Description

应用于银行跑批处理的数据处理方法及装置

技术领域

本发明涉及数据处理领域，更为具体而言，涉及一种应用于银行跑批处理的数据处理方法及装置。

背景技术

随着信息技术的快速发展，信息化成为了银行发展的重要路径。报表是银行数据整理、格式化和数据表现的一种有力手段。通过批量作业生成报表是目前的主流。

但随着银行业务全球化的迅速推进，更多的海外分行机构意味着银行系统数量和运营规模不断扩大。报表批量作业的调度面临着海外分行多时区、不同营业时间、不同业务需求、不同依赖系统数据等带来的挑战。如何有效利用技术手段充分利用系统资源，简化调度、协调各分行批量作业成为全球化银行报表系统所需要解决的问题。

传统上多时区批量作业按照不同的时区、甚至不同的分行建立独立的调度程序来处理报表。批量程序的调度触发时间需要综合考虑各海外分行的营业时间、时制切换、上游系统批量完成时间、批量内部协调以及系统硬件资源问题。因此，现有技术会制定和维护一张复杂的批量计划表，以期既能在分行开门营业前又在不对系统带来过大压力的情况下完成报表批量。显然，当分行数量持续增长，批量计划表的制定将变得更为复杂。

现有技术方案中，批量程序的调度触发时间需要综合考虑各海外分行的营业时间、时制问题、上游系统的批量时间以及系统硬件资源问题，而这些问题通常具有不确定性。因此，现有批量程序的调度触发时间通常是个较优的设定而非最佳设定。例如，为了保证批量启动时依赖的上游系统批量已完成，现有技术必须将报表批量的启动时间设定的晚于上游系统批量的完成时间；同时，为了应对上游系统故障导致的延迟，现有技术将批量启动时间再额外增加2-4小时的缓冲时间，而缓冲时间的代价就是对系统资源的浪费。此外，当某个海外分行发生夏令时、冬令时的时制切换时，调度时间也需配合相应调整，往往牵一发动全身，合理制定数十家海外分行的批量调度时间变得尤为复杂。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种应用于银行跑批处理的数据处理方法及装置，能够自动化、顺序化、准确且响应时间更快地实现银行跑批处理，提高跑批处理的效率。

具体地，本发明实施例提供了一种应用于银行跑批处理的数据处理方法，其包括：

根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期；

重复执行以下步骤直至跑批结束：

根据所述批量控制表确定所述目标分行的批量状态，其中，所述批量控制表还配置有各分行的批量状态，

根据所述目标分行的批量状态执行预配置的与批量状态对应的处理，并根据处理结果更新所述批量控制表中所述目标分行的批量状态。

相应地，本发明实施例还提供了一种应用于银行跑批处理的数据处理装置，其包括目标确定模块和跑批处理模块，其中，

所述目标确定模块用于根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期；

所述跑批处理模块用于重复调用以下子模块直至跑批结束：

状态确定子模块，用于根据所述批量控制表确定所述目标分行的批量状态，所述批量控制表配置有各分行的批量状态，

处理子模块，用于根据所述目标分行的批量状态执行预配置的与批量状态对应的处理，

状态更新子模块，用于根据所述处理子模块的处理结果更新所述批量控制表中所述目标分行的批量状态。

采用本发明实施方式具有下述有益效果：

通过批量控制表配置各分行的批量状态并基于批量状态进行相应处理，能够自动化、顺序化、准确且响应时间更快地实现银行跑批处理，提高跑批处理的效率；

通过周期性地获取不同分行的假期表，并根据假期表配置批量控制表中的批量日期，能够大大减少批量作业的维护工作量，进一步提高批量作业效率；

通过批量控制表能够灵活配置或修改各分行的批量状态，从而灵活调整针对各分行的处理进度，便于技术人员进行故障发现、故障排除及数据维护；

通过配置并发跑批数量，能够灵活地配置同时进行跑批的分行数量，有效提高批量作业的效率。

附图说明

图1是根据本发明实施例的一种应用于银行跑批处理的数据处理方法的流程示意图；

图2是根据本发明实施例的一种ODAS系统的数据处理方法的流程示意图；

图3是根据本发明实施例的一种ODAS系统针对分行进行批量处理的时序示意图；

图4A是根据本发明实施例的一种ODAS系统的框图；

图4B是图4A所示ODAS系统的后台批量接口检测模块所执行的处理的流程示意图。

图4C是图4A所示ODAS系统的后台批量批量总控模块所执行处理的示意图；

图4D是可以由图4A所示ODAS系统的后台批量批量总控模块调用的分行总控模块所执行处理的流程示意图；

图5是根据本发明实施例的一种应用于银行跑批处理的数据处理装置的框图；

图6是图5所示数据处理装置的目标确定模块的框图；

图7是图5所示数据处理装置中的处理子模块的框图。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

图1是根据本发明实施例的一种应用于银行跑批处理的数据处理方法的流程示意图。参照图1，所述方法包括：

10：根据批量控制表确定目标分行。其中，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期。

12：根据所述批量控制表确定所述目标分行的批量状态。其中，所述批量控制表还配置有各分行的批量状态。

14：根据所述目标分行的批量状态执行预配置的与批量状态对应的处理。

16：根据处理结果更新所述批量控制表中所述目标分行的批量状态。

其中，循环执行处理12～16直至跑批结束。

在本实施例中，跑批结束包括跑批完成和跑批未完成(例如，根据批量状态确定出现错误而中断跑批)的情形。

采用本发明实施例提供的方法，通过批量控制表配置各分行的批量状态并基于批量状态进行相应处理，能够自动化、顺序化、准确且响应时间更快地实现银行跑批处理，提高跑批处理的效率。

可选地，在本实施例的一种实现方式中，处理10通过以下方式实现：周期性地(例如，每天)接收所有分行的假期表，所述假期表中包含相应分行的节假日信息，例如，包含分行在某个时间段(例如，数天、数周、数月等)内的节假日信息；根据接收到的假期表配置所述批量控制表中各分行的批量日期。其中，可以遵循节假日不跑批的原则配置各分行的批量日期。

采用该实现方式，通过周期性地获取不同分行的假期表，并根据假期表配置批量控制表中的批量日期，能够大大减少批量作业的维护工作量，进一步提高批量作业效率。

可选地，在本实施例的一种实现方式中，目标分行的批量状态包括：数据文件获取状态、数据导入状态、第一批处理状态和第二批处理状态。其中，各个状态具体还可以包括成功、失败、正在执行等具体状态。示例性地，在批量控制表中可以通过如下表所示的状态码表示相应的状态。

状态码	说明
		0	数据文件未到齐
-10	数据检查出错终止
		20	数据文件已到齐
-20	数据文件检查出错终止
		25	正在导数
30	导数成功
		35	正在执行后台批量
40	后台批量执行成功
		-40	批处理出错终止
45	cognos正在进行跑批
		50	cognos批处理完成
-50	cognos批处理出错终止
		55	正在进行数据返还
60	数据返还已完成
		99	节假日不跑批

如上表所示，根据批量控制表中各分行的状态码，技术人员可以准确定位问题所在，并可以在排除问题后，重新设置状态码为上一阶段的状态码从而继续进行批量处理。例如，可以重新开始数据导入、重新开始执行第一批处理、重新开始第二批处理、重新进行数据返还等。此外，通过批量状态表可以根据批量状态对作业进行自动化处理。

可选地，在本实施例的一种实现方式中，在处理14中，当所述目标分行的批量状态为数据文件获取未完成(即，所需的数据文件未到齐)时，监听接收到的数据文件并通过接口文件定义表判断是否完成数据文件获取；其中，所述接口文件定义表定义有所述目标分行进行所述第一批处理需获取到的数据文件。

可选地，在本实施例的一种实现方式中，在处理14中，当所述目标分行的批量状态为数据文件获取完成时，进行数据导入处理，即，将数据文件导入数据库(例如，现有的oracle数据库)以便进行后续的数据处理。

可选地，在本实施例的一种实现方式中，在处理14中，当所述目标分行的批量状态为数据导入成功时，基于导入的数据文件执行第一批处理；当所述目标分行的批量状态为第一批处理完成时，基于第一批处理的结果执行第二批处理。其中，还可以根据批量控制表中配置的并发跑批数量控制执行所述第一批处理和所述第二批处理的目标分行的数目，例如，可以设置同时针对最多5家分行进行跑批处理，灵活地配置并发跑批数量能够有效提高批量作业的效率。

可选地，在本实施例的一种实现方式中，所述第一批处理用于进行数据加工得到满足格式要求的数据；所述第二批处理用于基于所述第一批处理的结果运行报表加工作业生成报表文件，例如，生成日报、月报、季报、年报等。在报表全部生成完成后，可按分行号和批处理日期将报表存放到相应的文件夹中。

采用本发明实施例或其各种实现方式，能够实现各分行独立跑批且互不影响。根据各分行业务情况，只需要上游数据到齐即可自动启动批量处理。此外，通过维护统一的参数表可以设定数据未到达的报警时间，使得业务监控更可靠可控。

下面结合应用本发明的海外业务操作型数据管理系统(又称作ODAS)对本发明的具体实施例进行说明。

【批量流程总体说明】

本发明提供的应用于银行跑批处理的数据处理方法可以具体应用于中国建设银行的ODAS系统中。该系统是对海外分行各业务系统数据进行归集处理，用于生成分行业务管理报表、当地监管报表，并提供数据查询、下载、参数维护、权限控制、系统管理等功能的文件驱动的数据平台。

如图2所示是根据本发明实施例的一种ODAS系统的数据处理方法的流程示意图。应用本发明的ODAS系统是文件驱动的批量作业系统，不需要设定固定批量时间。所有批量作业由所需文件到达为触发条件，能够保证分行批量作业在第一时间进行从而不浪费时间。ODAS通过设置批量控制表、接口文件定义表以及同步上游系统的假期表可以实现批量自动监听和自动运行。

参照图2，所述数据处理方法包括：

20：初始化批量控制表。例如，在每年的年初，ODAS系统将各分行的批量状态初始化为‘0’。

21：判断各分行在当天是否为假期。具体而言，如图2中虚线框所示，每天同步上游系统(例如海外核心业务系统OCBS，资金交易业务处理集成系统OPICS，海外贸易融资系统GMPS等)发送来的假期表以便根据假期表配置批量控制表中各分行的批量日期。其中，如果根据假期表确定分行在当天为假期，则将该分行的状态码置为‘99’。在本实施例中，状态码用于表示批量状态，关于各个状态码的含义的说明请参照前文的表格。

22：确定状态码为‘0’且当日进行跑批的分行。

23：监听获取到的数据文件。

24：判断数据文件是否到齐。

如图2中的虚线框所示，预先通过接口文件定义表定义各分行进行跑批所需要的数据文件。这样，在处理24中可根据接口文件定义表判断某个/某些分行的数据文件是否到齐。此处并不限制处理24所针对的分行的数目，可以是处理22确定的分行中的一个，也可以是部分或全部。

如果数据文件到齐，例如，已经将所需的数据文件复制到相应的工作目录并且数据检查无误，则设置状态码为‘20’并执行处理25。如果数据文件未到齐，则判断是否超时。如果此时未超过预定时间，则重复执行处理22；如果此时超过了预定时间则更新状态码为‘-20’，终止跑批并报警(例如，在监控页面报警)。

此外，在每次检测数据文件是否到齐时，根据检测结果更新接口文件到达状态表，该表用于配置各个分行在进行批量的当天所需文件的到达情况。

25：进行数据导入并更新状态码为‘25’。

26：判断数据导入是否成功。如果成功，则更新状态码为‘30’并执行27。如果失败，则更新状态码为‘-25’，终止跑批并报警。

27：开始第一批处理并更新状态码为‘35’。

28：判断第一批处理是否成功。如果成功，则更新状态码为‘40’并执行处理29；否则更新状态码为‘-40’，终止跑批并报警。

29：开始第二批处理并更新状态码为45。

30：判断第二批处理是否成功，如果成功，则更新状态码为‘50’并执行处理31；否则更新状态码为‘-50’，终止跑批并报警。

31：进行数据返还处理并更新状态码为‘55’。在数据返还完成之后，执行32。

32：更新状态码为‘60’。

需要说明的是，为了清楚起见，以上从分行的批量状态为‘0’开始进行流程的说明。实际上，本发明实施例可以在分行的多种批量状态下开始执行自动化处理，本发明对此不进行详述。

在应用本发明的ODAS系统中，可以包括后台批量(即，前文提及的第一批处理)和前台批量(即，前文提及的第二批处理)两部分。其中，后台是指oracle数据库，后台批量即基于oracle数据库中的数据进行数据加载生成所需要的数据；前台是指web端的cognos(IBM cognos软件，属于一种数据挖掘呈现系统)，前提批量即在web端通过cognos处理数据生成可读的excel、pdf等文件形式的报表。在一种具体应用场景中，可以通过shell、c、oracle procedures等现有机器语言或语法搭建后台批量的环境，通过两个独立的主进程完成批量调度。批量调度包括接口检查和批量总控。

此外，可以通过cognos、Weblogic(一种中间件)、Apache(一种服务器软件)、JAVA(一种程序设计语言)搭建前台批量的环境，通过数据库扫描进程定时扫描后台接口文件状态表(用于记录文件到达状态，如果某分行当前次批量作业所需文件全部到达并被复制到工作目录，则接口文件状态表记录当前次批量作业所需文件为‘已到达’，以便于ODAS系统根据‘已到达’这一状态更改批量控制表中该分行在当前次批量作业的批量状态为‘20’)，触发批量报表作业程序。

【批量状态说明】

在应用本发明的ODAS系统中，如图3所示是根据本发明实施例的一种ODAS系统针对分行进行批量处理的时序示意图。在状态码为10时进行数据检查；在状态码为30时进行基础层数据层生成；在状态码为40时进行报表后台批量调度；在状态码为50时，进行报表Congnos批量调度。关于在不同状态时所执行处理的说明，请参见图3中的流程图以及图2中的描述，此处不赘述。

【模块说明】

在应用本发明的ODAS系统中，如图4A所示是根据本发明实施例的一种ODAS系统的框图。参照图4A，ODAS系统包括后台批量接口检查模块、后台批量批量总控模块、前台批量批量总控模块。各个模块均根据批量控制表进行相应处理。

在图4A中，如图4B所示，后台批量接口检查模块用于进行数据检查，例如，根据预设的当日需要获取的源数据列表检查数据是否到齐。如图4B所示，其中的源数据也就是前文提及的分行进行跑批处理所需的数据文件。关于详细的数据检查的说明请参照图2中的说明，此处不赘述。

在图4A中，如图4C所示，后台批量批量总控模块用于调度所有要跑的分行批处理。例如，依次调度香港分行批处理、新加坡分行批处理和纽约分行批处理等。后台批量批量总控模块可以通过调用如图4D所示的分行总控模块来调度具体分行所要跑的批量作业，不同的分行总控模块用于调度不同分行所要跑的批量作业，包括基础数据层加载和报表后台批量调度。在处理完基础数据层加载后，将批量控制表(t_sys_job_day)状态置为30，如出错异常终止，则置为-30；在处理完报表后台批量调度后，将批量控制表(t_sys_job_day)状态置为40，如出错异常终止，则置为-40。如图4D中虚线框所示，在其它实现方式中，数据检查也可以由分行总控模块执行。

在图4A中，前台批量批量总控模块用于基于cognos进行批量作业生成报表文件。

图5是根据本发明实施例的一种应用于银行跑批处理的数据处理装置的框图，参照图5，数据处理装置包括目标确定模块40和跑批处理模块42，下面分别进行说明。

在本实施例中，目标确定模块40用于根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期。跑批处理模块42包括：状态确定子模块421，用于根据所述批量控制表确定所述目标分行的批量状态，所述批量控制表配置有各分行的批量状态；处理子模块422，用于根据所述目标分行的批量状态执行预配置的与批量状态对应的处理；状态更新子模块423，用于根据所述处理子模块的处理结果更新所述批量控制表中所述目标分行的批量状态。跑批处理模块42重复调用上述子模块直至跑批结束。

采用本发明实施例提供的装置，通过批量控制表配置各分行的批量状态并基于批量状态进行相应处理，能够自动化、顺序化、准确且响应时间更快地实现银行跑批处理，提高跑批处理的效率。

可选地，在本实施例的一种实现方式中，如图6所示，目标确定模块40包括：接收子模块401，用于周期性地接收所有分行的假期表，所述假期表中包含相应分行的节假日信息；配置子模块402，用于根据所述假期表配置所述批量控制表中各分行的批量日期。

采用该实现方式，通过周期性地获取不同分行的假期表，能够大大减少批量作业的维护工作量，进一步提高批量作业效率。

可选地，在本实施例的一种实现方式中，目标分行的批量状态包括：数据文件获取状态、数据导入状态、第一批处理状态和第二批处理状态。

可选地，在本实施例的一种实现方式中，如图7所示，处理子模块422包括以下的任意一种或多种单元：第一处理单元，用于在所述目标分行的批量状态为数据文件获取未完成时，监听接收到的数据文件并通过接口文件定义表判断是否完成数据文件获取，其中，所述接口文件定义表定义有所述目标分行进行所述第一批处理需获取到的数据文件；第二处理单元，用于在所述目标分行的批量状态为数据文件获取完成时，将数据导入指定工作目录；第三处理单元，用于在所述目标分行的批量状态为数据导入成功时，基于导入的数据文件执行第一批处理；第四处理单元，用于在所述目标分行的批量状态为第二批处理完成时，基于第一批处理的结果执行第二批处理。

可选地，如图7中虚线框所示，处理子模块422还可以包括：并发控制单元，用于在第三处理单元执行第一批处理以及所述第四处理单元执行第二批处理时，根据所述批量控制表中配置的并发跑批数量控制执行所述第一批处理和所述第二批处理的目标分行的数目。通过灵活地配置并发跑批数量能够有效提高批量作业的效率。

可选地，在本实施例的一种实现方式中，所述第一批处理用于进行数据加工得到满足格式要求的数据；所述第二批处理用于基于所述第一批处理的结果运行报表加工作业生成报表文件。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (12)

1.一种应用于银行跑批处理的数据处理方法，其特征在于，所述方法包括：

根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期；

重复执行以下步骤直至跑批结束：

根据所述批量控制表确定所述目标分行的批量状态，其中，所述批量控制表还配置有各分行的批量状态，

根据所述目标分行的批量状态执行预配置的与批量状态对应的处理，并根据处理结果更新所述批量控制表中所述目标分行的批量状态；

其中，所述目标分行的批量状态包括：数据文件获取状态、数据导入状态、第一批处理状态和第二批处理状态；

根据所述目标分行的批量状态执行预配置的与批量状态对应的处理包括：

当所述目标分行的批量状态为数据文件获取未完成时，监听接收到的数据文件并通过接口文件定义表判断是否完成数据文件获取；

其中，所述接口文件定义表定义有所述目标分行进行所述第一批处理需获取到的数据文件。

2.如权利要求1所述的方法，其特征在于，根据批量控制表确定目标分行包括：

周期性地接收所有分行的假期表，所述假期表中包含相应分行的节假日信息；

根据接收到的假期表配置所述批量控制表中各分行的批量日期。

3.如权利要求1所述的方法，其特征在于，根据所述目标分行的批量状态执行预配置的与批量状态对应的处理包括：

当所述目标分行的批量状态为数据文件获取完成时，进行数据导入处理。

4.如权利要求1所述的方法，其特征在于，根据所述目标分行的批量状态执行预配置的与批量状态对应的处理包括：

当所述目标分行的批量状态为数据导入成功时，基于导入的数据文件执行第一批处理；

当所述目标分行的批量状态为第一批处理完成时，基于第一批处理的结果执行第二批处理。

5.如权利要求4所述的方法，其特征在于，根据所述目标分行的批量状态执行预配置的与批量状态对应的处理还包括：

在执行所述第一批处理和执行所述第二批处理时，根据所述批量控制表中配置的并发跑批数量控制执行所述第一批处理和所述第二批处理的目标分行的数目。

6.如权利要求1～5中任一项所述的方法，其特征在于，

所述第一批处理用于进行数据加工得到满足格式要求的数据；

所述第二批处理用于基于所述第一批处理的结果运行报表加工作业生成报表文件。

7.一种应用于银行跑批处理的数据处理装置，其特征在于，所述装置包括目标确定模块和跑批处理模块，其中，

所述目标确定模块用于根据批量控制表确定目标分行，所述目标分行是指当前日进行跑批的分行，所述批量控制表配置有各分行的批量日期；

所述跑批处理模块用于重复调用以下子模块直至跑批结束：

状态确定子模块，用于根据所述批量控制表确定所述目标分行的批量状态，所述批量控制表配置有各分行的批量状态，

处理子模块，用于根据所述目标分行的批量状态执行预配置的与批量状态对应的处理，

状态更新子模块，用于根据所述处理子模块的处理结果更新所述批量控制表中所述目标分行的批量状态；

其中，所述目标分行的批量状态包括：数据文件获取状态、数据导入状态、第一批处理状态和第二批处理状态；

所述处理子模块包括：

第一处理单元，用于在所述目标分行的批量状态为数据文件获取未完成时，监听接收到的数据文件并通过接口文件定义表判断是否完成数据文件获取；

其中，所述接口文件定义表定义有所述目标分行进行所述第一批处理需获取到的数据文件。

8.如权利要求7所述的装置，其特征在于，所述目标确定模块包括：

接收子模块，用于周期性地接收所有分行的假期表，所述假期表中包含相应分行的节假日信息；

配置子模块，用于根据所述假期表配置所述批量控制表中各分行的批量日期。

9.如权利要求7所述的装置，其特征在于，所述处理子模块包括：

第二处理单元，用于在所述目标分行的批量状态为数据文件获取完成时，将数据导入指定工作目录。

10.如权利要求7所述的装置，其特征在于，所述处理子模块包括：

第三处理单元，用于在所述目标分行的批量状态为数据导入成功时，基于导入的数据文件执行第一批处理；

第四处理单元，用于在所述目标分行的批量状态为第二批处理完成时，基于第一批处理的结果执行第二批处理。

11.如权利要求10所述的装置，其特征在于，所述处理子模块还包括：

并发控制单元，用于在第三处理单元执行第一批处理以及所述第四处理单元执行第二批处理时，根据所述批量控制表中配置的并发跑批数量控制执行所述第一批处理和所述第二批处理的目标分行的数目。

12.如权利要求7～11中任一项所述的装置，其特征在于，

所述第一批处理用于进行数据加工得到满足格式要求的数据；

所述第二批处理用于基于所述第一批处理的结果运行报表加工作业生成报表文件。