CN1790416B - 数据处理方法和数据处理系统 - Google Patents

Abstract

本发明公开了一种数据处理系统的数据处理方法，所述数据处理系统包括系统主机、数据处理机、主机存储器和镜像存储器，所述数据处理方法包括如下步骤：所述系统主机进行日间交易处理和日终批处理；所述系统主机将所述镜像存储器切换到所述数据处理机，并将会计日期修改为次日日期；所述系统主机进行日初批处理，所述数据处理机进行总账处理；所述系统主机接收所述数据处理机的处理结果，并接管所述镜像存储器；所述系统主机进行下一日间交易处理。本发明还提供实现该数据处理方法的数据处理系统。根据本发明，能够实现金融机构的不间断服务，大大提升服务品质。

Description

数据处理方法和数据处理系统

技术领域

本发明涉及一种数据处理方法和数据处理系统，更具体地说，本发明涉及一种银行等金融机构所用的数据处理方法以及数据处理系统。

背景技术

目前，金融机构的计算机系统尤其是银行的核心业务系统，在完成日间营业的正常工作之后，总有一段时间用于批处理。在批处理期间，核心业务系统基于其主数据库完成数据备份、总账形成、滚动积数、定期转存、贷款到期处理以及形成部分会计报表等工作。在此期间，为了保证数据的“断点”，即为了确保账户数据在切换到下一会计周期前保持一定时间的静态，以确保统计的准确性，核心业务系统会将主数据库锁定，从而导致银行的核心业务系统不能接收和处理来自自助设备的交易请求。

上述自助设备包括自动取款机(ATM)、销售终端(POS)、自助通、呼叫中心、网上银行或者银行用于自动接收客户资金请求的任何终端。

上述核心业务系统是指金融机构的业务支持系统，用于处理金融机构的包括本外币在内的所有核心业务。

导致金融机构的核心业务系统停止服务或中断服务的原因主要有以下几个：

(1)在联机交易并发处理过程中，出现数据库的锁记录现象；

(2)在日终批处理时，核心业务系统进行锁库处理，以便进行资金清算、总账形成、总分核对等；

(3)需要切换会计日期时点的会计数据，用于本日账务处理和外围系统；

(4)年终决算会造成会计日期无法正常切换。

图1是常规金融机构核心业务系统的对外服务流程图。

如图1所示：该金融机构核心业务系统在其日间交易处理结束后，停止对外服务，并进行日终批处理(步骤S101)，结束当天的批量处理业务，其中包括：批处理滚积数，总账生成，大事务处理业务，当日账务处理等。此时银行本日业务全部结束。

在此之后，金融机构核心业务系统开始对数据库进行备份，数据提取加工，并将加工数据打包发送至各外围系统和各子系统的前置机(步骤S102)。此时的金融机构核心数据库中的数据为静态数据，即此时该数据不会发生变更。在数据处理完成之后，切换金融机构核心业务系统的主机会计日期，进入次日业务。

进行日初批处理。此时为金融机构次日业务的日初，金融机构核心业务系统进行日初初始化，准备业务接入环境，并进行日初的账务处理，其中使用大事务处理方式，保证核心业务系统处理方式的完整性。在日初账务结束后，进行昨日报表的生成，由于此时对外业务并未发生，生成报表的数据仍为昨日完整数据，生成的昨日报表能准确地体现昨日业务。完成处理之后，金融机构核心业务系统开放所有外围服务系统的连接，开始交易处理(步骤S103)。

此时金融机构进入下一日间业务。

金融机构的核心业务系统在短时间内停止交易处理，将给客户带来诸多不便。随着业务品种的推陈出新，如个人实盘外汇买卖等全天候业务的不断衍生，越来越迫切地需要一个能够实现全天候对外服务的核心业务系统，以提升金融机构的市场竞争力。

发明内容

为了解决银行的核心业务系统在上述批处理期间不能向客户提供服务的问题，根据本发明的一个方面，提供一种数据处理系统的数据处理方法，所述数据处理系统包括系统主机、数据处理机、主机存储器和镜像存储器，所述系统主机用于进行交易处理和批处理，所述数据处理机用于备份数据处理和总账生成，所述主机存储器是所述系统主机的存储设备，所述镜像存储器是所述主机存储器的同步存储设备，并且当所述镜像存储器从所述主机存储器被切换到所述数据处理机时，作为所述数据处理机的临时存储设备，其中所述数据处理方法包括如下步骤：

a)所述系统主机进行日间交易处理；

b)所述系统主机进行日终批处理；

c)所述系统主机将所述镜像存储器切换到所述数据处理机，并将会计日期修改为次日日期；

d)所述系统主机进行日初批处理，所述数据处理机进行总账处理：

e)所述系统主机接收所述数据处理机的处理结果，并接管所述镜像存储器；

f)所述系统主机进行下一日间交易处理。

根据本发明的另一个方面，还提供一种数据处理系统，包括系统主机，用于进行交易处理、日终批处理和日初批处理；和主机存储器，用于所述系统主机的数据的存储；

其中，所述数据处理系统还包括数据处理机，用于备份数据处理和总账处理；镜像存储器，是所述主机存储器的同步存储设备，当所述系统主机完成日间交易处理并进行日终批处理之后，将所述镜像存储器从所述主机存储器切换到所述数据处理机，并将会计日期修改为次日日期，由所述数据处理机根据所述镜像存储器中的数据进行总账处理；在所述数据处理机总账处理结束之后，所述系统主机接管所述镜像存储器，进行下一日间交易处理。

由于本发明利用了数据处理机和镜像存储器完成总账生成、历史报表生成等账务处理和数据库备份、报表系统等外围系统所需数据的加工、提取，从而保证了在系统主机的交易处理不受影响的情况下，满足了需要在切换会计日期的时间点进行大面积锁库的总账生成和数据库备份的需要，提高了接受交易的效率和数据存储的安全性。

此外，根据本发明，在系统主机进行日终批处理和日初批处理时采用小事务处理方式，并且主机存储器和镜像存储器采用双余额双日期数据结构，在此基础上进行动户滚积数、上日账务处理和上日报表处理。

利用本发明的该方案，能够实现金融机构的所有渠道、所有产品和所有业务全天候的不间断对外服务，大大增强了金融机构的对外服务能力，并且缓解了金融机构的开业服务压力，有利于金融机构进行内部日终批处理业务和年终结算业务。

附图说明

图1是常规金融机构核心业务系统的对外服务流程图；

图2是根据本发明第一实施例的核心业务系统的示意性框图；

图3是根据本发明第一实施例的金融机构核心业务系统的数据处理方法的流程图；

图4是根据本发明第一实施例的金融机构核心业务系统的系统主机的数据处理方法的流程图；

图5是根据本发明第一实施例的金融机构核心业务系统的数据处理机的数据处理方法的流程图；

图6是根据本发明第一实施例的提取切换日期断点的流程图；

图7是根据本发明的双日期双余额数据结构的一个实例。

具体实施方式

下面将参照附图详细描述本发明的优选实施例。

图2是根据本发明第一实施例的核心业务系统的示意性框图。如图2所示，该核心业务系统包括一个系统主机10，一个数据处理机20，一个主机存储器30和一个镜像存储器40。

系统主机10用于交易和批处理，数据处理机20用于备份数据处理和总账生成，主机存储器30是系统主机10的存储设备，镜像存储器40是主机存储器30的同步存储设备，并且当镜像存储器40从主机存储器30被切换到数据处理机20时，作为数据处理机20的临时存储设备。

图3是根据本发明第一实施例的金融机构核心业务系统的数据处理方法的流程图。在图3中，标号201表示系统主机10的数据处理过程，标号202表示数据处理机20的数据处理过程，此时使用数据为日期切换时点的镜像数据，相当于流程的时点静态数据。

下面先参照图3介绍系统主机10的数据处理方法。

在日间交易处理之后，系统主机10进行日终批处理(步骤S203)。

日终批处理结束后，系统主机10快速将镜像存储器40切换到数据处理机20，并将会计日期修改为次日日期(步骤S204)。

然后，进行日初批处理(步骤S205)。

在数据处理机20完成总账处理之后，系统主机10接收数据处理机20的处理结果，并接管镜像存储器40。

在此之后，进行下一日间操作。

数据处理机20的数据处理方法主要包括接管镜像存储器40(步骤S207)、进行总账处理(步骤S208)、将处理结果发送给系统主机10并将镜像存储器40切换到系统主机10(步骤S209)。

图4所示的流程图更详细地描述了根据本发明第一实施例的金融机构核心业务系统的系统主机10的数据处理方法。

如图4所示，核心业务系统的系统主机10所进行的日终批处理(步骤S203)是在当日柜面业务结束时做轧账处理，包括当日发生的预约处理。在这处理期间，日终批处理不影响系统主机10的对外交易处理。

由于系统主机10所进行的交易在频繁发生，需要找出切换会计日期的时间点。在该时间点，必须满足日终批处理轧账完成、无交易发生、并且系统主机存储器30和镜像存储器40之间的数据传输量较小这样一个条件，从而能够使系统主机存储器30和镜像存储器40能够瞬间分离。该时间点称为会计日期切换“断点”时刻。

在日终批处理的第一次处理结束之后，以循环处理方式提取会计日期切换“断点”时刻(详见图6所示)。

一旦系统主机10提取到会计日期切换“断点”时刻，系统主机10立刻分离镜像存储器40，并由数据处理机20接管，同时将会计日期切换为次日日期(步骤S204)，其中镜像存储器40的分离和系统主机的会计日期的切换可视为同时进行，此时镜像存储器40中存储的数据与会计日期切换“断点”时刻的系统主机存储器30中的数据相同。之后核心业务系统发生的交易均视为次日业务。

在会计日期切换后，系统主机先进行日初初始化处理(步骤S205)，主要包括更新参数库中的参数表。

然后进行上日账务处理和上日报表处理(步骤S205)，其中使用隔日账务处理方法对上日未完账务进行处理，如隔日罚息处理。

隔日账务处理指的是在会计日期切换之后，对上一日的账务进行处理。为了实现上日账务的处理，提取的账户信息都为切换为下一个会计日期时的数据。

系统主机10在分离镜像存储器后，对数据处理机20进行实时监控，监控数据处理机20是否成功接管镜像存储器40，是否成功启动数据库引擎，数据库数据是否正确，并监控数据处理机20中的总账生成和数据处理机20与镜像存储器40的分离。

在上日账务处理和上日报表生成完毕后，系统主机10开始等待数据处理机20的账务如总账完成的信号，一旦收到账务完成信号，系统主机就判断接收到的总账文本数据是完整的。由于总账文本数据不影响当前的交易，总账文本数据的接收可以与交易处理并行进行。

在完成总账文本数据的接收后，系统主机10进行日初账务补处理(步骤S210)。日初账务补处理主要针对日初处理中涉及到与总账相关的账务处理，如总账和分户账的平衡校验，并补生成相关的报表，如日计表、总账账页等。

在日初账务补处理完毕之后，系统主机10的批处理的账务部分结束。然后，系统主机10判断数据处理机20是否已经成功分离镜像存储器40。如果判断已经成功分离，则主机存储器30接管镜像存储器40(步骤211)，主机存储器30和镜像存储器40开始同步，保证其数据的一致性。

在主机存储器30接管镜像存储器40的过程中，主机存储器30可以一直保持活动状态，即系统主机10仍然可以实时进行交易处理。在主机存储器30接管镜像存储器40后，系统主机10接收数据处理机20返回的历史报表，移至相应的报表目录下，与系统主机生成的报表一起裁剪、打包，发送至各子系统的前置机，以供各子系统打印当日账务报表，进行核对、备案等。

至此，核心业务系统的系统主机进行的处理完全结束。

下面，参考图5详细介绍数据处理机20的数据处理过程。

在系统主机10的批处理开始的同时，数据处理机20开始等待。在接收到系统主机10发出的主机存储器30与镜像存储器40分离成功的信号之后，数据处理机20接管镜像存储器40(步骤S207)。

由于数据处理机20与系统主机10的设备环境完全一样，因此接管镜像存储器40之后的数据处理机20相当于拥有会计日期切换“断点”时刻的静态数据的第二台主机，能够满足对该静态数据进行账务处理和数据处理的需要。

在接管镜像存储器40之后，由于数据处理机20不用对外服务，可以保持静态数据不变。因此，数据处理机20可以进行需要大面积锁库的账务处理和总账的生成(步骤S212)。所谓的大面积锁库是由于处理过程中对大量数据表进行操作，且需要同时保证这些表的完整性，数据库系统此时自动实现对这些表进行锁定，防止第二方操作导致数据变化。

例如总账的生成几乎涉及到所有账务表，又需要长时间的处理时间。系统主机在生成总账时无法进行交易。而数据处理机20可以在系统主机10进行批处理和交易处理的同时进行并行处理，从而实现了“双主机批处理”方案。

总账生成完成后，数据处理机20将总账发回系统主机10。系统主机10完成总账的接收。

在数据处理机20账务处理完毕之后，本日业务终结。此时核心业务系统需要使用数据库备份工具进行备份。

然后根据数据处理机20上的列表文件对备份下来的数据进行提取，或者对数据库中的数据进行加工卸载，得到外围系统所需数据，然后对这些数据进行区分打包，所谓打包就是将零碎文件压缩成一个数据存储文件，将打包数据发送给各外围系统并生成部分历史报表(步骤S213)。由于历史报表的处理时间长，需要大量操作数据库，占用系统资源大，因此由数据处理机生成历史报表可以降低系统主机的压力，大大降低了批处理时间。

在数据处理机20对镜像存储器40操作完毕后，需要将其分离。先关闭镜像数据库引擎，再切断数据处理机20与镜像存储器40的联系。在将镜像存储器40分离之后，数据处理机20发送生成的历史报表给系统主机10。主机存储器30接管镜像存储器40(步骤S214)。

此时数据处理机20对备份数据进行处理，提取出子系统数据进行按子系统切割至各子系统的备份目录，并按子系统打包，再对数据库备份数据压缩打包。发送数据库备份数据至专用备份存储器，再将各子系统数据包发送到各子系统前置机(步骤S215)。

至此，数据处理机的处理完全结束。

图6是根据本发明第一实施例的提取会计日期切换断点的流程图。如图6所示，先进行日终批处理账务处理(步骤S220)。然后判断日终批处理账务是否轧账完成(步骤S221)。之后判断镜像存储器30是否可以快速分离(步骤S222)，而后判断是否无交易发生(步骤S223)。如果在步骤S221-S223中任何一个的判断结果为“否”，则返回步骤S221继续循环处理账务，直至提取到会计日期切换断点。此后，流程前进到步骤S204，切换会计日期，且分离镜像存储器。

为了使系统主机能够不间断地进行交易处理，从而使得金融机构能够连续地为客户提供服务，根据本发明，还提出了一种批处理业务联机化方案。在本方案中，以联机化交易处理方式实现常规批处理的功能，这样，在系统主机不停止交易的情况下，能够实现交易和批处理的并行处理。

根据本发明的第一实施例，该批处理业务联机化方案主要包括四个方面的内容，即小事务处理、动户滚积数、上日账务处理和上日报表处理。

事务处理是一种数据库编程方法，指的是在对数据库更新时，对更新的内容进行锁定和记录日志，在处理过程中保证数据库中的数据不会被第二方用户更改，且在处理失败的情况下可以对锁定的数据进行恢复，只有在交易完成，并将事务提交之后才释放锁定数据，进行下次处理。

大事务处理是对所有即将处理的数据进行锁定，全部处理完毕之后进行提交，然后释放所有锁定。这种处理方式能够保证同种业务数据的完整性，但是在其处理过程中本业务的数据全部在锁定状态，无法发生业务。特别在进行批量处理时，全系统的数据都需要锁定，从而导致全系统的本业务无法发生。

为了降低系统主机的交易停止时间，根据本发明提出了一种小事务处理方案：即对将处理的业务，进行细化，以从属于金融机构核心业务系统的子系统为集合或以账户为集合，进行锁定，实现在本账户业务处理过程中，同业务的其他账户或其它子系统的账务同时进行处理。这样，不影响未锁定的其它子系统或账户的业务的发生。此外，由于对每一个集合进行批处理需要的时间非常短，所以在该批处理过程中，也几乎不影响所锁定的子系统或账户的业务的发生。

动户滚积数指的是在交易发生的同时进行滚积数处理。采用动户滚积数方式，对贷款户，对公、对私活期存款户和内部账实现联机业务的同时滚动积数，减缓了批量滚积数造成的系统压力。动户滚积数的实现基于一种称为双余额双日期的数据库结构。

图7是根据本发明的双余额双日期数据结构的一个实例。

如图7所示，核心业务系统的主机存储器30中的账务库中的内部账主文件具备有账户余额，交易日期，余额方向等当前交易信息和上交易余额，上交易日期和上交易余额方向等上次交易信息。这样根据交易日期字段就可以准确取得会计日期切换断点时刻的余额，从而对昨日日终时的账务进行处理，又不会影响本日账务的正常发生。

其中账户余额指当前账户实际余额；交易日期指上次账户发生账务使得余额发生变更为账户余额的会计日期；上日余额指在账户交易日期日发生余额变更前的账户余额；上交易日期指在账户交易日期日发生余额变更前的记录的交易日期。

在动户滚积数时，在本账户的本会计日期内第一次发生交易、账户余额变动时，根据当前上交易日期和上日余额计算出动户积数，从而得到当前的积数，并更新到数据库中。

动户指的是某账户发生业务往来，导致当前账户实际余额发生变更的动作。如果本次动户为当日第一次交易，则上交易日期变更为交易日期，交易日期变更为当日，上日余额变更为账户余额。

在批处理业务联机化处理的情况下，进行上日账务处理时，使用隔日账务处理方法对上日未完账务进行处理，如隔日罚息处理。隔日账务处理指的是在会计日期切换之后，对上一日的账务进行处理。为了实现上日账务的处理，提取的账户信息都为上日日期切换时的数据。实现方式也基于双余额双日期的数据库模式，日期切换之后，对于交易日期为当天的则提取上日余额和上日余额方向，对于交易日期不为当天的则提取当前账户余额和账户余额方向。

基于双余额双日期的数据库模式进行上日报表处理时，提取会计日期切换断点时的数据，生成上日的账务报表，保证了银行业务日终的账务报表体现的准确性。提取会计日期切换断点时的数据的方法与进行上日账务处理时使用的方法相同。

Claims (20)

1.一种数据处理系统的数据处理方法，所述数据处理系统包括系统主机(10)、数据处理机(20)、主机存储器(30)和镜像存储器(40)，所述系统主机(10)用于进行交易处理和批处理，所述数据处理机(20)用于备份数据处理和总账生成，所述主机存储器(30)是所述系统主机(10)的存储设备，所述镜像存储器(40)是所述主机存储器(30)的同步存储设备，并且当所述镜像存储器(40)从所述主机存储器(30)被切换到所述数据处理机(20)时，作为所述数据处理机(20)的临时存储设备，其中所述数据处理方法包括如下步骤：

a)所述系统主机(10)进行日间交易处理；

b)所述系统主机(10)进行日终批处理；

c)所述系统主机(10)将所述镜像存储器(40)切换到所述数据处理机(20)，并将会计日期修改为次日日期；

d)所述系统主机(10)进行日初批处理，所述数据处理机(20)进行总账处理；

e)所述系统主机(10)接收所述数据处理机(20)的处理结果，并接管所述镜像存储器(40)；

f)所述系统主机(10)进行下一日间交易处理。

2.如权利要求1所述的数据处理方法，其中在所述步骤b)和所述步骤c)之间，还包括如下步骤：

g)进行日终批处理账务处理；

h)判断日终批处理账务是否轧账完成；

i)判断镜像存储器(30)是否可以快速分离；

j)判断是否无交易发生；

如果在步骤h)、i)和j)中任何一个的判断结果为“否”，则返回步骤g)继续循环处理账务，否则提取会计日期切换断点。

3.如权利要求1所述的数据处理方法，其中所述日初批处理包括：

日初初始化处理；

上日账务处理；

上日报表处理。

4.如权利要求1所述的数据处理方法，其中在所述步骤e)中，在接收所述数据处理机(20)的处理数据之后，进行日初账务补处理。

5.如权利要求1所述的数据处理方法，其中所述日终批处理采用小事务处理方式。

6.如权利要求1所述的数据处理方法，其中所述日初批处理采用小事务处理方式。

7.如权利要求1所述的数据处理方法，其中所述主机存储器(30)和所述镜像存储器(40)中的数据库采用双日期双余额结构。

8.如权利要求7所述的数据处理方法，其中在所述日终批处理和所述日初批处理过程中采用动户滚积数处理。

9.如权利要求3所述的数据处理方法，其中所述主机存储器(30)和所述镜像存储器(40)中的数据库采用双日期双余额结构。

10.如权利要求9所述的数据处理方法，其中在进行所述上日账务处理时，使用隔日账务处理方法对上日未完账务进行处理。

11.如权利要求9所述的数据处理方法，其中在进行所述上日报表处理时，提取会计日期切换断点时的数据，生成上日的账务报表。

12.如权利要求10所述的数据处理方法，其中所述日终批处理和所述日初批处理采用小事务处理方式和动户滚积数处理，并且在进行所述上日报表处理时，提取会计日期切换断点时的数据，生成上日的账务报表。

13.一种数据处理系统，包括系统主机(10)，用于进行交易处理、日终批处理和日初批处理；和主机存储器(30)，用于所述系统主机(10)的数据的存储；

其中，所述数据处理系统还包括：

数据处理机(20)，用于备份数据处理和总账处理；

镜像存储器(40)，是所述主机存储器(30)的同步存储设备，

当所述系统主机(10)完成日间交易处理并进行日终批处理之后，将所述镜像存储器(40)从所述主机存储器(30)切换到所述数据处理机(20)，并将会计日期修改为次日日期，由所述数据处理机(20)根据所述镜像存储器(40)中的数据进行总账处理；

在所述数据处理机(20)总账处理结束之后，所述系统主机(10)接管所述镜像存储器(40)，进行下一日间交易处理。

14.如权利要求13所述的数据处理系统，其中所述日终批处理采用小事务处理方式。

15.如权利要求13所述的数据处理系统，其中所述日初批处理采用小事务处理方式。

16.如权利要求13所述的数据处理系统，其中所述主机存储器(30)和所述镜像存储器(40)中的数据库采用双日期双余额结构。

17.如权利要求13所述的数据处理系统，其中在所述日终批处理和所述日初批处理过程中采用动户滚积数处理。

18.如权利要求13所述的数据处理系统，其中所述日初批处理包括：

日初初始化处理；

上日账务处理；

上日报表处理。

19.如权利要求18所述的数据处理系统，其中在进行所述上日账务处理时，使用隔日账务处理方法对上日未完账务进行处理。

20.如权利要求18所述的数据处理系统，其中在进行所述上日报表处理时，提取会计日期切换断点时的数据，生成上日的账务报表。

Images