CN109347669B

CN109347669B - 一种银行系统间的批量作业的故障处理方法及装置

Info

Publication number: CN109347669B
Application number: CN201811234272.2A
Authority: CN
Inventors: 王�锋; 王际辉
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2018-10-23
Filing date: 2018-10-23
Publication date: 2021-11-02
Anticipated expiration: 2038-10-23
Also published as: CN109347669A

Abstract

本发明提供了一种银行系统间的批量作业的故障处理方法及装置，方法包括：对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输；将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传；对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平。

Description

一种银行系统间的批量作业的故障处理方法及装置

技术领域

本发明涉及数据处理技术，具体的讲是一种银行系统间的批量作业的故障处理方法及装置。

背景技术

近年来，随着国内商业银行信息化建设的快速发展和企业应用集成技术的广泛应用，银行应用系统间集成和信息交互的复杂度越来越高，大量应用系统通过执行批量作业来完成数据采集，交换和加工的过程，成为无缝运作的整体。在此过程中，不可避免会出现一些因系统间数据传递延迟，格式异常，内容错误或数据量大幅增长而引发的批量中断事件。系统维护人员必须快速定位故障，分析原因，手工修复异常数据，执行一系列应急操作指令。由于批量异常通常发生在夜间，这种手工故障处理方式不仅效率低，而且容易出现误操作，风险隐患高。

现有的银行应用系统的批量流程设计中，主要采用了应用集成和数据集成两种方式进行系统间数据交换和共享，例如利用MQ消息中间件，FTP协议，CD工具等完成文件或数据传输和加工处理，这种数据驱动，现有技术的面向过程的集成框架主要存在以下缺点：上下游系统耦合度高：上游系统故障或批量延迟无法按时传送数据时，下游系统批量受影响；数据传输过程不可靠：FTP传输数据过程中如果出现网络中断或系统异常，数据传送受影响；数据自动修复能力低：上游系统不检查并修复错误数据格式或内容，下游系统批量受影响；批量异常处理成本高：维护人员需要手工修改异常数据，容易出错，关联系统需要配合处理；应用系统健壮性较低：上游系统数据量发生较大变化的情况下，下游系统批量很容易受影响

发明内容

为解决现有技术中批量异常通常发生在夜间，手工故障处理方式效率低，而且容易出现误操作，风险隐患高的问题，本发明实施例提供了一种银行系统间的批量作业的故障处理方法，包括：

对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输；

将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传；

对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平。

本发明实施例中，所述的方法还包括：根据系统间发送的历史批量报文数量生成故障风险提示信息；包括：

获取系统间发送的历史批量报文数量；

根据所述的历史批量报文数量和待预测的非工作时间段确定预估的批量报文量峰值；

根据所述预估的报文峰值确定批量作业的消息中间参数；

根据确定的批量作业的消息中间参数和当前的消息中间件参数生成故障风险提示信息。

本发明实施例中，所述的对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输包括：

在预设的截止时间点前，按预设的时间间隔轮询检查延迟的批量文件是否到齐，将确定到齐的批量文件向下游系统传输；

超过预设的截止时间点后，根据未到齐的批量文件生成批量报错数据。

本发明实施例中，所述的将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传还包括：

判断批量生成的文件数与传输日志中的文件数一致时，批量完成；

进行预设次数的重传后，确定批量生成的文件数与传输日志中的文件数仍不一致，批量报错数据。

本发明实施例中，所述总账文本包括：总账发生额文本、余额文本；

所述的核算码包括：银行系统自动挂账核算码。

同时，本发明还提供一种银行系统间的批量作业的故障处理装置，包括：

延迟处理模块，用于对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输；

重传处理模块，将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传；

总账批量修正模块，对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平。

本发明实施例中，所述的装置还包括：故障预警模块，用于根据系统间发送的历史批量报文数量生成故障风险提示信息；其中，故障预警模块包括：

历史数量获取单元，用于获取系统间发送的历史批量报文数量；

峰值预估单元，用于根据所述的历史批量报文数量和待预测的非工作时间段确定预估的批量报文量峰值；

消息中间件参数确定单元，用于根据所述预估的报文峰值确定批量作业的消息中间参数；

风险提示信息生成单元，用于根据确定的批量作业的消息中间参数和当前的消息中间件参数生成故障风险提示信息。

本发明实施例中，所述的延迟处理模块包括：

轮询单元，用于在预设的截止时间点前，按预设的时间间隔轮询检查延迟的批量文件是否到齐，将确定到齐的批量文件向下游系统传输；

延迟报错单元，用于在超过预设的截止时间点后，根据未到齐的批量文件生成批量报错数据。

本发明实施例中，所述的重传处理模块包括：

文件数判断单元，用于判断批量生成的文件数与传输日志中的文件数一致时，批量完成；

重传批量报错单元，用于在进行预设次数的重传后，确定批量生成的文件数与传输日志中的文件数仍不一致，生成重传批量报错数据。

进一步，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述方法。

进一步，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行前述方法的计算机程序。

本发明解决上游系统文件传送延迟到达情况下，可自动完成异常处理，无需维护人员手工操作，无需其他部门维护人员配合处理，降低了手工误操作风险。使应用系统与其关联下游系统的数据交互过程更加可靠，可自动检查并修复批量数据，批量稳定性大幅提升。本发明并且通过预测上游系统特殊日的数据量增长情况，有效控制数据量变化引起下游应用系统批量异常风险，批量健壮性得到大幅提升，使上下游应用系统间保持了松散耦合状态，可以灵活扩展，复用于其它应用系统，节省开发成本，提高效益。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的银行系统间的批量作业的故障处理方法流程图；

图2为本发明公开的银行系统间的批量作业的故障处理装置的框图；

图3为本发明实施例中批量接收报文数量智能预估模块部署在批量模块的示意图；

图4为本发明实施例中GTS-D系统批量模块与上下游应用系统的集成架构；

图5为本发明实施例中增加批量文件到达检查和智能处理模块前的批量流程图；

图6为本发明实施例中增加“批量文件到达检查和智能处理模块”后批量流程图；

图7为本发明实施例中的分析图；

图8为本发明实施例中进行文件传送检查和重传的批量图；

图9为本发明实施例中文件传送正常情况日志；

图10为本发明实施例中批量文件传送检查和智能重传处理流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种银行系统间的批量作业的故障处理方法，如图1所示，包括：

步骤S101，对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输；

步骤S102，将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传；

步骤S103，对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平。

本发明实施例中，还包括：根据系统间发送的历史批量报文数量生成故障风险提示信息；包括：

获取系统间发送的历史批量报文数量；

根据所述预估的报文峰值确定批量作业的消息中间参数；

根据确定的批量作业的消息中间参数和当前的消息中间件参数生成故障风险提示信息。本实施例中，公开确定MQ消息中间件的参数：MQ接收队列最大深度和MQ文件系统空间，但本发明涉及的消息中间件并不限于此。

同时，本发明还提供一种银行系统间的批量作业的故障处理装置，如图2所示，包括：

延迟处理模块201，用于对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输；

重传处理模块202，将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传；

总账批量修正模块203，对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平。

本发明实施例中，所述的装置还包括：故障预警模块204，用于根据系统间发送的历史批量报文数量生成故障风险提示信息；其中，故障预警模块包括：

本发明实施例中通过在银行应用系统批量模块与上下游系统集成点处安装智能容错装置(即本发明的银行系统间的批量作业的故障处理装置，实现本发明前述的方法)，达到自动监控数据交互异常，高效处理批量异常，减少批量中断次数，避免人工干预的效果。后续可逐步探索出一套标准的、切实可行的、可扩展性强，复用程度高的批量优化模式，逐步推广，对所有银行系统的批量优化工作给出专业级的建议，共同提高批量运行质量。下面结合具体的实施例对本发明的实施方式做进一步详细说明如下：

本发明实施例以银行GTS-D系统(贸易融资系统)批量优化实践为例，在系统批量模块与上下游系统集成点处安装了一套本发明实施例的智能容错装置，该装置体现“以预防为主”的工作理念，能够自动预测上游系统数据量变化可能引发的批量异常风险，提示维护人员准备应急措施，避免出现批量异常。该装置还可自动处理因上游系统数据传送延迟，向下游系统传送数据出错而引发的批量中断异常事件，本发明实施例的基本原理说明如下：

一、上游系统数据量变化：

GTS-D系统通过接收GPG系统(支付交易网关系统)发送的：电讯SWIFT报文，实现客户汇款和头寸调拨处理。正常工作日，GPG系统批量向GTS-D系统发送的报文量不超过1000笔，但在春节，国庆等长假后第一个工作日，GPG系统会将长假期间积累的近万笔报文批量发送至GTS-D系统。为避免报文大幅增加造成GTS-D系统MQ接收队列堵报超过最大深度，出现报文丢失的情况，本实施例的智能容错装置可根据历史报文量峰值，预估即将到来的长假期间报文量峰值，计算并提示需要扩充的MQ接收队列最大深度和MQ文件系统空间。

二、上游系统数据传送延迟：

某银行每季度计息日，主机生产变更，在商家促销活动日或其它特殊日，核心系统文件下传批量通常会延迟，现有的GTS-D系统检查核心系统下传文件的批量采用了“定时检查”模式，经常出现文件未按时到达批量报错的情况。

本发明实施例的智能容错装置将文件检查模式从“定时检查”优化为“轮询检查”，本实施例中文件到齐确认方法：执行文件检查程序，执行结果为0说明文件到齐；否则未到齐。如果文件未到齐在预先设置的时间间隔后再次启动文件检查，直到文件到齐为止。只有在到达轮询截止时间点时文件仍未到达的情况下，文件检查批量才会报错，维护人员可以选择继续等待或跳过当天文件，与第二天文件合并处理。

本发明实施例中，GTS-D系统检查CCMS系统逐合同准备金率等文件不仅利用了智能容错装置的“轮询检查”功能，而且还可在轮询检查多次文件仍未到达的情况下自动启用应急模式：使用存量数据计算每笔合同的风险准备金和融资余额，并向下游系统传送融资余额文件，确保下游系统批量不受影响，次日CCMS系统将合并后的文件传送至GTS-D系统。

三、向下游系统传送数据失败或传送错误数据：

GTS-D系统向DCDS系统FTP批量传输文件时，经常出现个别文件未传送成功的情况，为解决此问题，智能容错装置增加了“文件传送检查和自动重传”功能，首先将批量生成的文件总数与FTP批量传输日志中成功传送的文件总数比较，如果一致，批量正常完成；如果不一致，系统定位传输失败的文件并尝试重传，本实施例中定位传输失败文件方法：逐一检查批量传输日志的文件名，如果文件名后没有关键字“250RNTO command successful”说明此文件传输失败(详见说明书附图中图9框902)，需要使用详细日志模式，如：ftp-ivn$DEST_HOST。如果传输成功，批量正常完成；如果传送失败，尝试在设置的间隔时间后再次传送，只有在失败次数超过最大重传次数阀值的情况下，批量才会报错。运维人员根据错误日志分析失败原因，如网络中断，下游系统异常等，问题解决后生产运行重提批量，无需维护人员手工重传文件。

四、批量数据内容检查和智能修正模块：

在银行应用系统框架体系中，业务处理与会计核算相分离，单独成立总账系统负责总行会计总行核算。GTS-D系统每日批量汇总产生总账发生额和余额文本，并发送总账系统，总账文本的生成和发送是关键批量步骤，此步批量出现问题，需要维护人员逐步定位交易数据异常，手工调整账务数据，操作风险大，批量影响广泛。为解决此类问题，使用智能容错装置的“帐务自动配平”功能，采用专用的、系统自动挂账的核算码，批量加工前对借贷平衡进行检查，如账务借贷不平，由系统自动进行挂账平衡时，用本核算码核算，实现了“应用系统自动‘修复’不平账”的机制，达到了账务异常情况下批量的自动高效处理，预防一切原因造成的账务不平，确保批量的正常进行。

本发明的技术背景是企业应用集成技术在银行应用系统批量过程中的应用：银行主要采用应用集成和数据集成方式完成应用系统间批量数据交换，信息发布和订阅过程，实现无缝集成。

本发明借鉴了GOF 23种经典设计模式中的“装饰模式”。装饰模式是一种对象结构性模式，可动态地给一个对象增加一些额外的职责，就增加功能来说，装饰模式比生成子类更灵活。

本发明实施例利用了AIX，Oracle 11g Proc*C开发环境，IBM Tivoli WorkloadScheduler批量调度，以及脚本语言。

银行现有应用系统的批量流程设计中，主要采用了应用集成和数据集成两种方式进行系统间数据交换和共享，例如利用MQ消息中间件，FTP协议，CD工具等完成文件或数据传输和加工处理，这种数据驱动，面向过程的集成框架主要存在以下缺点：

1.上下游系统耦合度高：上游系统故障或批量延迟无法按时传送数据时，下游系统批量受影响；

2.数据传输过程不可靠：FTP传输数据过程中如果出现网络中断或系统异常，数据传送受影响；

3.数据自动修复能力低：上游系统不检查并修复错误数据格式或内容，下游系统批量受影响；

4.批量异常处理成本高：维护人员需要手工修改异常数据，容易出错，关联系统需要配合处理；

5.应用系统健壮性较低：上游系统数据量发生较大变化的情况下，下游系统批量很容易受影响。

使用本发明的技术手段后：

1.上下游系统耦合度低：智能容错装置使上下游系统间保持了松散耦合的状态；

2.数据传输过程更可靠：智能容错装置可识别未传送成功的数据，自动完成数据重传；

3.数据自动修复能力强：上游系统自动识别并修复批量加工产生的错误数据；

4.批量异常处理成本低：维护人员无需要手工修改异常数据，关联系统无需配合处理；

5.应用系统健壮性较高：上游系统数据量发生较大变化的情况下，下游系统批量不受影响。

本发明实施例实现如下功能：

1.设计长假期间GPG系统向GTS-D系统批量发送报文数量的估测方法，根据GTS-D系统报文处理能力，评估需要扩充的MQ队列深度，MQ文件系统空间和MQ队列堵报监控预警阀值的计算方法

2.设计GTS-D系统接收核心系统，CCMS系统文件的轮询处理方法，应急模式处理流程；

3.设计GTS-D系统向DCDS系统传送失败文件的检查方法，重传文件的流程；

4.设计GTS-D系统向总账系统传送数据前的智能自动帐务配平和帐务调整流程。

本发明最重要的特点：自动估测上游系统数据量变化，智能分析对下游系统的影响，提供应急方案，预防批量故障；自动监测和处理上游系统文件延迟到达造成下游系统的批量异常；自动检查向下游系统传送异常的文件并自动完成文件重传；自动检查向下游系统传送的帐务数据，自动修复错误数据，减少对下游系统的影响。

本发明实施例中，批量风险防控和智能容错装置由以下模块组成：

1.批量接收报文数量智能预估模块：

主要功能：预测长假期间GPG系统向GTS-D系统批量发送的报文数量，并向维护人员提示扩充MQ队列深度，文件系统空间和监控预警阀值。

2.批量文件到达检查和智能处理模块：

主要功能：GTS-D系统采用轮询方式检查核心系统下传文件到达情况，在轮询周期内文件到达可自动完成文件加载处理；在此基础上，检查CCMS系统文件时，如果达轮询截止时间点时文件还未到达，GTS-D系统自动跳过文件检查，启用自动应急模式完成后续批量。

3.批量文件传送检查和智能重传模块：

主要功能：GTS-D系统向DCDS系统完成批量文件传送后，自动检查传送结果，如果存在传送失败的文件，自动尝试重传文件，并检查重传结果。

4.批量数据内容检查和智能修正模块：

主要功能：GTS-D系统生成总账发生额，余额文件时借，贷方金额不平情况下，系统自动完成帐务配平，并将正确的数据发送至总帐系统。

下面对本发明实施例中的各模块做进一步详细说明：

一.批量接收报文数量智能预估模块：

首先，结合图3简要说明GPG系统向GTS-D系统的发报流程：

1.GPG系统发送MT103/202类报文到GTSCOM模块本地队列GPG.BACK.GTSCOM.QUEUE；

2.GTSCOM把队列中报文转码(EBCDIC转为ASCII)，然后放到本地队列GTSCOM.SWIFT.IN.QUEUE；

3.GTS-D EE WAS应用服务器JMS监听从GTSCOM.SWIFT.IN.QUEUE队列读取报文，验证报文格式是否正确，如果不正确会将报文写入GTSCOM.SWIFT.ERROR.QUEUE中；(注：JMS是集成在IBM WebSphere平台中的消息中间件，主要功能是监听GTSCOM MQ队列中的来报，如果有就将来报读入EE WAS应用服务器缓存，然后写入EE交易库)；

4.报文格式验证正确后，JMS将报文内容写入EE交易库来报表；

(注：GTS-D从GPG系统接收来报首先存放到EE交易库来报表中，然后自动更新交易表；

GTS-D向GPG系统发报信息保存在EE交易库发报表中，然后通过GTSCOM发送至GPG系统)。

5.用户通过浏览器登录GTS-D系统，通过负载均衡器->httpserver(webserver)->appserver访问GTS-D系统，查询并处理报文；

批量接收报文数量智能预估模块部署在图3中的批量模块上，以2018年春节为例，模块运行流程下：

(1).GTS-D系统EE交易数据库建立GPG系统来报分析表，年初GTS-D系统将新年的假日表自动导入此表中，如表1-1所示：

表1-1

(2).GTS-D系统EE交易数据库建立GPG来报预估参数表，如表1-2所示：

表1-2

序号	参数名称	参数值	说明
				1	A	20％	GPG来报自然增长率
2	B	1000	GPG来报接收队列堵报预警阀值单位：笔
				3	C	30	GTSCOM模块处理GPG来报能力单位：笔/秒
4	D	7	EE模块JMS读取GPG来报能力单位：笔/秒
				5	E	30％	预留空间比率
6	F	2000	GPG来报最大长度单位：字节

(3).GTS-D系统在春节长假开始三天前的晚间批量中，根据最近三年春节期间接收GPG系统来报实际数量，计算出2018年预估来报数量，记录到预估接收报文量字段。采用自然增长预估法计算：

2018年春节GPG来报预估值＝(9000+13000+14000)*(1+A)/3＝14400笔；

(4).根据GPG预估来报数量，计算GPG来报接收队列最大深度。GTSCOM平均处理能力是30笔/秒，EE模块jms平均处理能力是7笔/秒，在不考虑报文读写资源冲突情况下，GTSCOM理论上需要480秒放完报文，GTSCOM.SWIFT.IN.QUEUE队列每秒堆积23笔，因此队列至少要大于11040才能保证报文不进死信队列，预留30％左右，将队列最大深度设置为14352较为稳妥，计算公式为：

GPG来报接收队列最大深度＝(14400/C)*(C-D)*(1+E)；

(5).为确保MQ日志能够正常记录接收报文，还需要扩充MQ文件系统空间/var/mqm，同样根据GPG预估来报数量计算：

GPG每笔报文长度最长不超过2000字节，14400笔就是27.47MB；

MQ文件系统空间＝14400*F/(1024*1024)；

(6).还需要合理调整GPG来报接收队列堵报预警阀值，同样根据GPG预估来报数量和上年实际接收报文量计算：

GPG来报接收队列堵报预警阀值预估＝B+(14400-14000)*B/14000计算结果约等于1029笔；

(7).GTS-D系统将计算出的GPG来报接收队列最大深度，MQ文件系统空间和GPG来报接收队列堵报预警阀值记录到应用日志中，并通过邮件接口发送给维护人员参考，同时更新参数表中的堵报预警阀值；

(8).维护人员以“合理利用资源，减少资源浪费”为原则，综合分析评估结果和实际情况，最终通过生产变更调整队列最大深度，MQ文件系统空间和堵报预警阀值；

(9).长假后第一个工作日，当天GTSCOM批量中计算并记录春节期间实际接收报文量，如15000，更新GPG系统来报分析表的实际接收报文量，供维护人员参考。

本发明实施例中，GTS-D系统接收队列堵报超过最大定义深度，后面的MQ消息会进入GTS-D系统死信队列，需要维护人员启动应急预案，将死信队列中消息放到接收队列中，过程复杂，容易出错造成报文丢失。由于GPG来报涉及账务，GPG系统不能重新发送，因此报文丢失后无法恢复。

二.批量文件到达检查和智能处理模块：

首先简要说明GTS-D系统批量模块与上下游应用系统的集成架构。如图4所示，为本发明实施例中，GTS-D系统批量模块与上下游应用系统的集成架构。

本实施例中，GTS-D系统夜间执行批量时，需要加载上游系统数据，经过批量加工处理后，输出数据文件至下游系统，其中核心系统401、DCDS402、CCMS403、总账系统404、下游DCDS405是GTS-D系统批量关键路径涉及的上下游系统，智能容错装置部署在GTS-D系统与这些系统的集成点1、集成点2、集成点3以及集成点4处，下面详细说明各模块的设计技术方案。(本实施例中，核心系统401和DCDS402可以看作一个集成点，因为DCDS只负责转发核心系统数据，实际是核心系统下发文件)。

1.与核心系统集成接口：

(1).将原GTS-D系统7:00定时检查核心系统文件到达的模式优化为“轮询检查”模式。首先取消图5中原有的7:00定时调起的文件检查作业GTSCKSTA，改为图6中GTSDATEC作业，在GTS-D系统主批量中切日批量GTSDATEC完成后即开始轮询检查核心系统文件，将原有2:00完成的主批量和7:00调起的二批整合为一体。

(2).设置“轮询检查截止时间点”参数。从分析结果的截图图7，列出近16个月自然日BANCS系统批量处理关键时间点数据，从图7看出，2016年二季度至2017年一季度计息日核心系统向下游系统传送数据批量的最晚完成时间为10:32，考虑到今后数据量的自然增长，核心系统数据传送时间可能会晚于10:32，预留90分钟，将轮询截止时间设置为12:00基本能满足要求，如果12:00文件未到齐，GTS-D系统核心文件检查批量报错，结束轮询。

(3).设置“轮询时间间隔”参数。由于实时轮询检查文件系统开销较大，而GTS-D系统加载核心系统文件的实效性并不强，因此将文件轮询检查时间间隔设置为600秒/次，从轮询开始时间凌晨1:00，到轮询检查截止时间点12:00点时，轮询次数最多不超过66次，每次轮询产生的日志量不超过60K，每天日志总量不超过4M，每天批量会对30天前日志进行清理，因此对生产运行基本无影响。

(4).在原GTS-D系统检查核心客户基本信息，金融机构信息，账号信息，打包放款信息，垫款信息文件的批量作业GTSC64CK基础上，新编写核心文件轮询检查脚本gtsbat_c64chk_tws.sh，每隔600秒调用原GTSC64CK批量作业脚本gtsbat_c64chk_tws.sh，检查文件是否到齐，如果到齐记录批量日志，然后执行后续文件处理批量作业GTS64BAT；否则记录批量日志后继续轮询，直到到达轮询截止时间点为止。检查核心系统营改增税率文件的批量作业GTSVATCK，客户关系合并文件的批量作业GTSCIFCK也采用同样的处理流程。优化后的批量流程图如图6所示。

(5).性能评估：计息日，核心系统批量延迟等场景下，核心下传文件可能会在GTS-D系统开机后到达，会出现分行用户通过联机交易读取客户信息的同时，批量将客户信息写入数据库的情况，从而出现数据库加锁问题。通过分析批量日志，发现GTS-D系统每日导入核心文件数据量不超过1000条，批量时间不超过1分钟，计息日下传文件是增量数据，数据量较平日变化不大，因此无论数据库加读锁或写锁都不会产生性能问题，对用户完全透明。

2.与CCMS系统集成接口：

(1).与核心系统相同，将原GTS-D系统检查CCMS系统文件到达的模式优化为“轮询检查”模式，区别在于轮询检查截止时间点参数设置为0:30，在23:00前CCMS系统文件未到达，系统自动跳过文件检查批量，不会报错，继续执行CCMS文件处理批量，同时向CCMS批量日志中记录如下信息“XX年XX月XX日CCMS系统文件A未按时到达，已超过轮询检查截止时点，系统将自动启动应急模式”，并发送监控告警信息至维护人员。

(2).CCMS文件处理批量再次检查文件是否到齐，如果文件到齐，程序正常加载处理CCMS文件；如果文件没有到齐，程序启动“应急模式”，即执行"./gtsccms 1"命令，正常模式没有参数1。例如CCMS传送4个文件，有3个文件到齐，少了一个文件，系统加载3个文件，1个文件跳过，使用存量数据计算风险准备金。

(3).第二天CCMS系统将上日未到文件和当日文件合并发送至GTS-D系统。

说明：轮询检查截止时间点参数设置为0:30是因为CCMS文件处理批量是GTS-D系统关键路径批量，如果一直等待下去，将影响后续关键路径批量。

三.批量文件传送检查和智能重传模块：

1.修改GTS-D系统TWS批量流程，在GTS-D系统向DCDS系统传输文件批量(GTDPLFTP)后面增加一步“文件传送检查和重传”批量GTDPLACK，如图8所示。

2.在批量目录下建立传送文件检查和重传脚本：

(1).gtsbat_autoput_check_tws.sh传送文件检查和重传脚本；

(2).ftp.cfg参数配置文件，包括FTP重传次数，间隔时间等；

(3).在retransfer.log日志中记录重传日志；

(4).在retransfer.list中记录重传文件清单；

说明:FTP重传次数和间隔时间均为自定义参数，重传次数参数初始设置为10次，间隔时间参数初始设置为10分钟，如果重传超过10次仍然失败，GTDPLACK批量会报错，维护人员需分析原因，通常是“数据传送时网络中断”，“DCDS等下游系统异常”等。环境恢复后通知生产运行重提TWS批量。

3.GTS-D系统完成向DCDS系统传送数据后，传送文件检查和重传脚本首先将批量生成文件目录下的文件总数与FTP传输日志中成功传送的文件总数比较，如果一致，批量正常完成并记录批量日志；为保证FTP数据传输日志中详细记录文件传送情况，需要使用FTP传送详细日志模式：ftp-ivn$DEST_HOST。如果文件名为3700006D.BAI的文件传送成功，日志中会保留关键字“250RNTO command successfully”，如图9所示，本发明实施例中逐一检查批量传输日志的文件名定位传输失败文件。

4.如果文件总数与FTP传输日志中成功传送的文件总数不一致，传送文件检查和重传脚本逐一检查并找到传输失败的文件，方法是传输失败的文件满足条件:传送日志中某个文件传输记录了"local:XXXremote:XXX.now"，但在下面的日志中没有"250RNTOcommand sussessful"关键字。此时脚本调用原有的数据传送脚本，尝试重传，如果传输成功，批量正常完成并记录日志。

5.如果传送失败，脚本尝试等待10分钟后再次重传，如果连续重传10次均失败，批量报错并记录日志，运维人员根据重传错误日志，分析传送失败原因，通知生产运行重提批量，无需手工重传文件。图10为本发明实施例中批量文件传送检查和智能重传处理流程。

四.批量数据内容检查和智能修正模块：

1.批量数据内容检查和智能修正模块部署在图4中GTS-D系统与总账系统的集成点4处。

为配套向总账系统报送的发生额，余额文件中借方，贷方汇总金额自动平账机制实施，以及区别此类挂账与正常业务的不同，经贸易金融部向财务管理部申请，会计信息部同意在“9910系统例外表内挂账”科目中增设“3996GTS-D系统表内挂账”核算码，定义暂定为：凡GTS-D系统批量加工前对借贷平衡进行检查，如会计账务借贷不平，由系统自动进行挂账平衡时，用本核算码核算；增设“0396GTS-D系统表外挂账”核算码，凡GTS-D系统批量加工前对借贷平衡进行检查，如表外会计账务借贷不平，由系统自动进行挂账平衡时，用本核算码核算。

2.批量程序自动对生成的总账发生额文本和余额文本进行借贷方配平。报送总账的发生额核算文件和余额文件出现借贷不平时，批量程序自动判断发生借贷不平的机构、货币和金额，自动按总账4个维度，添加“3996GTS-D系统表内挂账”核算码及“0000”产品码的账务(即借方少了补借方、贷方少了补贷方)。或者增加“0396GTS-D系统表外挂账及“0000”产品码的账务(即借方少了补借方、贷方少了补贷方)。

3.在GTS-D系统中日终例外挂账要对“表外”和“表内”分别用不同的账务例外挂账专用核算码进行挂账。表内账务核算码包括：5XXX、6XXX、7XXX、8XXX、9XXX；表外账务核算码包括：0XXX、1XXX、2XXX、3XXX、4XXX。

4.在总账批量中增加校验每个机构和币别下汇总数据的借贷方金额是否相等，相等再正常报送至总账系统，如发现有某一机构某一币别下借贷方不相等，即启动系统自动平账机制，保证只报送借贷方相等机构和币别的数据，同时将校验不通过的数据记录下来。

举例说明：

第一天报送总账系统的核算文件汇总数据有如下几笔：

对GTS-D系统发生额核算文件进行账务补平处理，以及在余额文件同步进行余额加减：

5.业务人员通过查看报表，及时发现并处理账务异常问题

(1)在GTS-D系统综合报表中增加“上日账务错误信息报表”，反映上日问题账务及系统补充账务信息，向业务人员提供错账查找方向及账务调整依据。

(2)次日，在总账GLSDJ030预警报表中反映，并由账务不平机构的业务人员结合“上日账务错误信息报表”进行账务调整处理。

(3)在次日批量时，首先将上日系统补平的账务：

“03205 001 “3996” 0000 Dr 130”和“03205 001 “0396” 0000 Dr 100”补写系统BA(BA是GTS-D系统的台账子系统)，以保证次日日终批量数据完整。

1.预测长假期间GPG系统向GTS-D系统批量发送报文数量的计算方法，根据GTS-D系统报文处理能力，评估需要扩充的MQ队列深度，MQ文件系统空间和MQ队列堵报监控预警阀值的计算方法。

2.根据核心系统，CCMS系统文件下传的特点，轮询检查文件到达情况，设置轮询检查截止时间，超过截止时间自动启动应急模式的处理流程。

3.通过比对FTP日志传送成功关键字和生成文件名称，确认文件传送是否正常完成，并自动发起文件重传的流程。

4.实现GTS-D系统智能自动帐务配平流程：业务部门增设GTS-D系统表内，表外挂帐核算码，如果GTS-D系统生成的总账发生额，余额文件中借贷方汇总金额不平，通过此核算码进行自动挂账平衡，然后再向总账系统报送，次日业务人员通过核对报表，手工调整帐务。

智能容错装置通过预测上游系统特殊日的数据量增长情况，有效控制数据量变化引起下游应用系统批量异常风险，批量健壮性得到大幅提升。上游系统文件传送延迟到达情况下，智能容错装置可自动完成异常处理，无需维护人员手工操作，无需其他部门维护人员配合处理，降低了手工误操作风险。智能容错装置使应用系统与其关联下游系统的数据交互过程更加可靠，可自动检查并修复批量数据，批量稳定性大幅提升。智能容错装置使上下游应用系统间保持了松散耦合状态，可以灵活扩展，复用于其它应用系统，节省开发成本，提高效益。

本发明彻底解决这个长期以来困扰运维人员的“痛点”，借鉴了经典设计模式中“装饰模式”思想，通过在应用系统批量模块与上下游系统集成点处安装一套智能容错装置，达到自动监控数据交互异常，高效处理批量异常，减少批量中断次数，避免人工干预的效果。后续可逐步探索出一套标准的、切实可行的、可扩展性强，复用程度高的批量优化模式，逐步推广，对所有系统的批量优化工作给出专业级的建议，共同提高批量运行质量。

本发明是企业应用集成技术在银行应用系统批量过程中的应用：银行主要采用应用集成和数据集成方式完成应用系统间批量数据交换，信息发布和订阅过程，实现无缝集成。本发明借鉴了GOF 23种经典设计模式中的“装饰模式”。装饰模式是一种对象结构性模式，可动态地给一个对象增加一些额外的职责，就增加功能来说，装饰模式比生成子类更灵活。本发明利用了AIX，Oracle 11g Proc*C开发环境，IBM Tivoli Workload Scheduler批量调度，以及脚本语言

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种银行系统间的批量作业的故障处理方法，其特征在于，所述的方法包括：

对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平；

所述的方法还包括：根据系统间发送的历史批量报文数量生成故障风险提示信息；包括：

获取系统间发送的历史批量报文数量；

根据所述预估的报文峰值确定批量作业的消息中间参数；

2.如权利要求1所述的银行系统间的批量作业的故障处理方法，其特征在于，所述的对上、下游系统间延迟传输的批量文件按预设的时间间隔进行检查，将确定到齐的批量文件向下游系统传输包括：

3.如权利要求1所述的银行系统间的批量作业的故障处理方法，其特征在于，所述的将批量生成的文件数与传输日志中的文件数进行比对，判断不一致时，对批量文件按预设时间间隔进行预设次数的重传还包括：

4.如权利要求1所述的银行系统间的批量作业的故障处理方法，其特征在于，所述总账文本包括：总账发生额文本、余额文本；

所述的核算码包括：银行系统自动挂账核算码。

5.一种银行系统间的批量作业的故障处理装置，其特征在于，所述的装置包括：

总账批量修正模块，对批量作业中发生错误的总账文本，利用预设的核算码进行借贷配平；

所述的装置还包括：故障预警模块，用于根据系统间发送的历史批量报文数量生成故障风险提示信息；其中，故障预警模块包括：

6.如权利要求5所述的银行系统间的批量作业的故障处理装置，其特征在于，所述的延迟处理模块包括：

7.如权利要求5所述的银行系统间的批量作业的故障处理装置，其特征在于，所述的重传处理模块包括：

8.如权利要求6所述的银行系统间的批量作业的故障处理装置，其特征在于，所述总账文本包括：总账发生额文本、余额文本；

所述的核算码包括：银行系统自动挂账核算码。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。