CN107247758B - 基于银行核心系统的数据处理方法 - Google Patents

基于银行核心系统的数据处理方法 Download PDF

Info

Publication number
CN107247758B
CN107247758B CN201710400139.9A CN201710400139A CN107247758B CN 107247758 B CN107247758 B CN 107247758B CN 201710400139 A CN201710400139 A CN 201710400139A CN 107247758 B CN107247758 B CN 107247758B
Authority
CN
China
Prior art keywords
production
data
library
cleaning
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710400139.9A
Other languages
English (en)
Other versions
CN107247758A (zh
Inventor
肖映辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunline Tech Co ltd
Original Assignee
Shenzhen Sunline Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunline Tech Co ltd filed Critical Shenzhen Sunline Tech Co ltd
Priority to CN201710400139.9A priority Critical patent/CN107247758B/zh
Publication of CN107247758A publication Critical patent/CN107247758A/zh
Application granted granted Critical
Publication of CN107247758B publication Critical patent/CN107247758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Abstract

本发明公开一种基于银行核心系统的数据处理方法，其包括：建立初始配置文件，初始配置文件上包括多个配置项信息，各配置项信息描述清理方案的规则；在显示包括初始配置文件的人机界面后，接收用户通过人机界面修改后的配置项信息，并对接收到的配置项信息进行检验，校验成功后形成修改后的配置文件；根据修改后的配置文件对数据库执行对应的操作。本发明针对清理策略提供了简捷全面的配置项，确保清理方式完全自定义；清理方案通过WEB方式由自主设计的人机界面进行部署；配套的历史查询方案将在线、近线、离线数据有机结合，在不影响生产效率的条件下，为数据的充分利用提供了渠道。

Description

基于银行核心系统的数据处理方法
技术领域
本发明涉及金融系统领域，尤其涉及银行核心系统的在线、近线、离线数据的清理和查询处理。
背景技术
银行核心系统，英文名称：Core Banking System。银行核心系统指金融行业的银行核心业务系统。现有的银行核心系统，都是以客户为中心，进行帐务处理、满足综合柜员制、并提供24小时服务的核心银行业务系统。银行核心系统按照服务对象的不同，可分为二大类：第一类，服务对象为银行客户，提供的服务包括存款、贷款、结算、代理等；第二类，服务对象为银行自己，提供的服务包括网点/柜员管理、总账、内部账、现金、凭证、报表等。
无论哪一类银行核心系统，为了确保银行核心系统的生产环境(生产表)保持一个轻量化的状态运作，通常会对生产环境的在线数据做定时清理，但是目前的清理方式存在着以下问题：清理策略配置化程度低；清理方案部署落地复杂；近线和离线数据无法合理利用；以及多数据源运维困难等问题。
发明内容
因此，针对上述的问题，本发明提出一种快速、高效的银行核心系统的数据处理方法，对现有的银行核心系统的清理方案进行改进，解决现有技术之不足。
为了达到上述目的，本发明所采用的技术方案是，一种基于银行核心系统的数据处理方法，包括：
建立初始配置文件，初始配置文件上包括多个配置项信息，各配置项信息描述清理方案的规则；其中，配置文件可以是数据库表单也可以是预加载文件(excel格式文件、ini格式文件、shell脚本文件均可)，本发明中，配置项信息优选配置在数据库表中，相对于配置在其他文件中，一来便于管理，二来便于实时生效；
在显示包括初始配置文件的人机界面后，接收用户通过人机界面修改后的配置项信息，并对接收到的配置项信息进行检验，校验成功后形成修改后的配置文件；
根据修改后的配置文件对数据库执行对应的操作。所述数据库包括生产库和历史库，生产库包括生产表和历史表，历史库包括历史表。
优选的，所述配置项信息至少包括：
生产保留时长，用以标识生产库生产表中的数据保留时间段；
近线保留时长，用以标识生产库历史表中的数据保留时间段；
生产清理频率，用以标识间隔多久清理一次生产库生产表；
近线清理频率，用以标识间隔多久清理一次生产库历史表；
数据清理方式，用以标识当前表记录的清理方式；
清理关键字，用以标识当前表记录按哪个关键字清理。
其中，所述清理方案包括在同一数据库同一区下执行数据交换操作的同库事务方式，用于在同一数据库不同区下执行数据交换操作的同库分区事务方式，用于在同一服务器上不同数据库之间执行跨库数据处理的本机跨库数据泵方式，以及用于在不同服务器上不同数据库之间执行跨库数据处理的跨物理机跨库数据泵方式。
其中的同库事务方式包括：i.根据配置项信息中的数据清理方式获取被清理表的清理关键字；ii.根据配置项信息中的生产保留时长计算清理关键字范围，由该清理关键字范围查询生产表，得到生产表的指定范围数据；iii.使用同一事务将生产表的指定范围数据迁移至历史表，同时删除生产表的指定范围数据。
同库分区事务方式包括：i.根据配置项信息中的数据清理方式获取被清理表的生产保留时长和生产清理频率；ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称得到生产表的指定分区；iii.使用分区交换的方式将生产表的指定分区的数据迁移至历史表的指定分区；iv.重建历史表的指定分区的索引；v.删除生产表的指定分区。
其中的本机跨库数据泵方式又可分为三种操作方案：1、将生产库生产表传输至历史库的数据处理操作；2、将生产库历史表传输至历史库，历史表采用同库事务方式的数据处理操作；3、将生产库历史表传输至历史库，历史表采用同库分区交换方式的数据处理操作。
其中，所述本机跨库数据泵方式(生产库生产表至历史库)包括：
i.根据配置项信息中的数据清理方式获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称得到生产库指定分区；
iii.获取数据库的转储文件目录；
iv.获取配置文件中的数据源信息；
v.将生产库指定分区的数据导出为转储文件；
vi.将转储文件导入至历史库指定分区；
vii.删除生产库指定分区。
所述本机跨库数据泵方式(生产库历史表至历史库，历史表采用同库事务方式)包括：
i.根据配置项信息中的数据清理方式获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围，由该清理关键字范围获得生产表指定范围数据；
iii.使用同一事务将生产表指定范围数据迁移至历史表，并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围，由该清理关键字范围获得生产库历史表指定范围；
v.获取数据库的转储文件目录；
vi.获取配置文件中的数据源信息；
vii.将生产库历史表指定范围数据导出为转储文件；
viii.将转储文件导入至历史库；
ix.校验第vii、viii步骤的操作是否成功，如果成功则删除历史表指定范围数据。
所述本机跨库数据泵方式(生产库历史表至历史库，历史表采用同库分区交换方式)包括：
i.根据配置项信息中的数据清理方式获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称获得生产表指定分区的数据；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区的数据；
vi.根据近线保留时长和近线清理频率计算分区名称，由近线保留时长和近线清理频率获得历史表指定分区的数据；
vii.获取数据库的转储文件目录；
viii.获取配置文件中的数据源信息；
ix.将历史表指定分区的数据导出为转储文件；
x.将转储文件导入至历史库指定分区；
xi.删除历史表指定分区的数据。
其中的跨物理机跨库数据泵方式又可分为三种操作方案：1、将生产库生产表采用文件传输的方式传输至历史库的数据处理操作；2、将生产库历史表采用文件传输的方式传输至历史库，历史表采用同库事务方式的数据处理操作；3、将生产库历史表采用文件传输的方式传输至历史库，历史表采用同库分区交换方式的数据处理操作。
所述跨物理机跨库数据泵方式(生产库生产表至历史库)包括：
i.据配置项信息中的数据清理方式获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称获得生产库指定分区的数据；
iii.获取数据库的转储文件目录；
iv.获取配置文件中的数据源信息；
v.将生产库指定分区的数据导出为转储文件；
vi.将转储文件从生产库服务器传输(FTP)至历史库服务器；
vii.将转储文件导入至转储文件目录的历史库指定分区；
viii.删除生产库指定分区的数据。
所述跨物理机跨库数据泵方式(生产库历史表至历史库，历史表采用同库事务方式)包括：
i.据配置项信息中的数据清理方式获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围，由清理关键字范围获得生产表指定范围数据；
iii.使用同一事务将生产表指定范围数据迁移至历史表并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围，由该清理关键字范围得到生产库历史表指定范围的数据；
v.获取数据库的转储文件目录；
vi.获取配置文件中的数据源信息；
vii.将生产库历史表指定范围的数据导出为转储文件；
viii.将转储文件从生产库服务器传输(FTP)至历史库服务器；
ix.将转储文件导入至转储文件目录的历史库；
x.如果第viii和ix步骤成功，则删除历史表指定范围数据。
所述跨物理机跨库数据泵方式(生产库历史表至历史库历史表采用同库分区交换方式)包括：
i.据配置项信息中的数据清理方式获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称获得生产表指定分区的数据；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
vi.根据近线保留时长和近线清理频率计算分区名称，由该分区名称获取历史表指定分区的数据；
vii.获取数据库的转储文件目录；
viii.获取配置文件中的数据源信息；
ix.将历史表指定分区的数据导出为转储文件；
x.将转储文件从生产库服务器传输(FTP)至转储文件目录的历史库服务器；
xi.将转储文件导入至历史库指定分区；
xii.删除历史表指定分区的数据。
作为一个进一步的方案，所述配置项信息还描述历史查询方案的规则。
所述历史查询方案包括：数据路由处理步骤和结果拼接步骤；
其中，数据路由处理步骤包括：通过查询数据清理转移表返回生产库与历史库的日期界限，以及传入的起止日期，规定如下：
起始日期大于等于生产库与历史库的日期界限值，则路由到生产库单数据源；
终止日期小于生产库与历史库的日期界限值，则路由到历史库单数据源；
否则，先路由到生产库数据源，再路由到历史库数据源；
同时生成DAO类逻辑；
结果拼接步骤包括：新增命名SQL对应的历史查询方法；业务程序如果是历史查询，则需要调用历史查询方法；其中，历史查询方法通过双库遍历方式完成历史数据查询，并开放回调类，用以提供历史库与生产库的数据界线。
本发明针对清理策略提供了简捷全面的配置项，确保清理方式完全自定义；清理方案通过WEB方式由自主设计的人机界面进行部署；配套的历史查询方案将在线、近线、离线数据有机结合，在不影响生产效率的条件下，为数据的充分利用提供了渠道。分布式部署架构下，可以通过dbagentor的方式在不用数据源上使用不同策略对数据进行管理。
附图说明
图1为使用本发明完成银行核心系统数据管理的多数据源运维流程图；
图2为本发明的基于银行核心系统的数据处理方法的流程图；
图3为使用本发明完成银行核心系统的历史数据查询的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明针对现有的清理策略进行改进，通过提供简捷全面的配置项，确保清理方式完全自定义，可广泛适用不同客户的各种需求；清理方案通过自主搭建的WEB平台以人机交互的方式部署；配套有历史查询方案，可对在线、近线、离线数据进行有机结合，在不影响生产效率的条件下，为数据的充分利用提供了渠道。
另外，分布式部署架构下，可以通过dbagentor的方式在不用数据源上使用不同策略对数据进行管理。图1为本发明的完成银行核心系统数据管理的多数据源运维流程图，首先搭建WEB平台，WEB平台设置有批处理页面，用户通过采用人机交互的方式在批处理页面上执行抽象组件配置操作，后台的处理程序接收用户的配置项信息，校验成功后形成配置文件，然后根据该配置文件对数据库进行操作。对数据库的操作，可以是同一数据库内的数据操作，也可以是同一服务器上的不同数据库的操作，还可以是不同服务器上的不同数据库的操作。
具体的，参见图2，本发明的一种银行核心系统的数据处理方法，包括：
建立初始配置文件，初始配置文件上包括多个配置项信息，各配置项信息描述清理方案的规则以及历史查询方案的规则；在显示包括初始配置文件的人机界面后，接收用户通过人机界面修改后的配置项信息，并对接收到的配置项信息进行检验，校验成功后形成修改后的配置文件；根据修改后的配置文件对数据库执行对应的清理操作或者历史查询操作。其中的数据库包括生产库和历史库，生产库包括生产表和历史表，历史库包括历史表。生产库和历史库可以在同一服务器上，也可在不同的服务器上。
其中，配置项信息至少包括，生产保留时长、近线保留时长、生产清理频率、近线清理频率、数据清理方式以及清理关键字。其中，生产保留时长用以标识生产库生产表中的数据保留时间段；近线保留时长用以标识生产库历史表中的数据保留时间段；生产清理频率用以标识间隔多久清理一次生产库生产表；近线清理频率用以标识间隔多久清理一次生产库历史表；数据清理方式用以标识当前表记录的清理方式；清理关键字用以标识当前表记录按哪个关键字清理。
上述清理方案包括在同一数据库同一区下执行数据交换操作的同库事务方式，用于在同一数据库不同区下执行数据交换操作的同库分区事务方式，用于在同一服务器上不同数据库之间执行跨库数据处理的本机跨库数据泵方式，以及用于在不同服务器上不同数据库之间执行跨库数据处理的跨物理机跨库数据泵方式。清理方案的各个清理方式可由自定义配置项信息来实现自定义编辑，可满足不同场合的各种清理需求。
为了实现配置项的全面化简捷化，作为一个具体的实施方式，本发明的配置项信息列表如下：
Figure BDA0001309530690000111
Figure BDA0001309530690000121
本发明的清理方案的各数据清理方式列表如下：
Figure BDA0001309530690000122
通过对配置项信息进行操作选择，可得到如下清理方案：
Figure BDA0001309530690000123
上述清理方案中的7中清理方式分别详细描述如下：
0)同库事务方式
i.各配置项信息形成数据清理配置表KAPP_SJQLPZ，由该数据清理配置表中的数据清理方式SJQLFASH配置为0的记录获取被清理表的清理关键字；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表，并删除生产表指定范围数据。
1)同库分区交换方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为1的记录，获取被清理表的保留时长和清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区。
2)本机跨库数据泵方式(生产库生产表至历史库)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为2的记录，获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
iv.获取配置文件中的数据源信息；
v.导出生产库指定分区数据为转储文件；
vi.导入转储文件至历史库指定分区；
vii.删除生产库指定分区。
3)本机跨库数据泵方式(生产库历史表至历史库历史表采用同库事务方式)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为3的记录，获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围；
v.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
vi.获取配置文件中的数据源信息；
vii.导出生产库历史表指定范围数据为转储文件；
viii.导入转储文件至历史库；
ix.如果第vii、viii步骤成功，则删除历史表指定范围数据。
4)本机跨库数据泵方式(生产库历史表至历史库历史表采用同库分区交换方式)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为4的记录，获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
vi.根据近线保留时长和近线清理频率计算分区名称；
vii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
viii.获取配置文件中的数据源信息；
ix.导出历史表指定分区数据为转储文件；
x.导入转储文件至历史库指定分区；
xi.删除历史表指定分区。
5)跨物理机跨库数据泵方式(生产库生产表至历史库)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为5的记录，获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
iv.获取配置文件中的数据源信息；
v.导出生产库指定分区数据为转储文件；
vi.将转储文件从生产库服务器FTP至历史库服务器；
vii.导入转储文件至历史库指定分区；
viii.删除生产库指定分区。
6)跨物理机跨库数据泵方式(生产库历史表至历史库历史表采用同库事务方式)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为6的记录，获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围；
v.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
vi.获取配置文件中的数据源信息；
vii.导出生产库历史表指定范围数据为转储文件；
viii.将转储文件从生产库服务器经FTP传输至历史库服务器；
ix.导入转储文件至历史库；
x.如果第viii、ix步骤成功，则删除历史表指定范围数据。
7)跨物理机跨库数据泵方式(生产库历史表至历史库历史表采用同库分区交换方式)
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为7的记录，获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
vi.根据近线保留时长和近线清理频率计算分区名称；
vii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
viii.获取配置文件中的数据源信息；
ix.导出历史表指定分区数据为转储文件；
x.将转储文件从生产库服务器经FTP传输至历史库服务器；
xi.导入转储文件至历史库指定分区；
xii.删除历史表指定分区。
上述配置项信息还描述了历史查询方案，该历史查询方案包括数据路由过程和结果拼接过程。
其中，数据路由包括如下步骤：
i.对于数据路由处理，通过查询数据清理转移表返回生产库与历史库的日期界限，以及传入的起止日期，规定如下：
ii.起始日期大于等于生产库与历史库的日期界限值，路由到生产库单数据源。
iii.终止日期小于生产库与历史库的日期界限值，路由到历史库单数据源。
iv.否则，先路由到生产库数据源，再路由到历史库数据源。
v.同时，由应用平台提供数据路由模板，IDE工具自动完成DAO生成类逻辑。
结果拼接包括如下步骤：
i.新增命名SQL对应的历史查询方法。
ii.业务程序如果是历史查询，则需要调用历史查询方法。
iii.原查询方法保留，以备有其它用途。
iv.新增的历史查询方法中，通过双库遍历方式完成历史数据查询。
v.历史查询方法中，开放回调类，由应用平台实现，用以提供历史库与生产库的数据界线。
vi.历史查询方法中，平台需要使用两个数据库连接完成查询、结果拼接。
图3为本发明的历史数据查询的一个具体实例的流程图。
另外，本发明的数据库不限定其物理位置，针对多数据源运维管理有如下设计方案：
a)针对不同抽象组件配置不同dbagentor。
b)针对不同dbagentor配置不同清理策略。
c)运维平台发起清理请求，调度各节点dbagentor做不同策略的清理。
本发明的具体实施可包括：上传脚本，开通无密码ssh连接，创建转储目录，配置FTP传输信息，配置数据源信息，部署增量包，创建分区表，清理策略配置，代理流程、流程步骤以及目标代理配置，运维平台发起验证等过程。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (3)

1.基于银行核心系统的数据处理方法，其特征在于：包括：
建立初始配置文件，初始配置文件上包括多个配置项信息，各配置项信息描述清理方案的规则；
在显示包括初始配置文件的人机界面后，接收用户通过人机界面修改后的配置项信息，并对接收到的配置项信息进行检验，校验成功后形成修改后的配置文件；
根据修改后的配置文件对数据库执行对应的操作；
所述配置项信息至少包括：
生产保留时长，用以标识生产库生产表中的数据保留时间段；
近线保留时长，用以标识生产库历史表中的数据保留时间段；
生产清理频率，用以标识间隔多久清理一次生产库生产表；
近线清理频率，用以标识间隔多久清理一次生产库历史表；
数据清理方式，用以标识当前表记录的清理方式；
清理关键字，用以标识当前表记录按哪个关键字清理；
所述清理方案包括用于在同一数据库同一区下执行数据交换操作的同库事务方式，该同库事务方式具体包括：i.根据配置项信息中的数据清理方式获取被清理表的清理关键字；ii.根据配置项信息中的生产保留时长计算清理关键字范围，由该清理关键字范围查询生产表，得到生产表的指定范围数据；iii.使用同一事务将生产表的指定范围数据迁移至历史表，同时删除生产表的指定范围数据；
所述清理方案包括用于在同一数据库不同区下执行数据交换操作的同库分区事务方式，该方式具体包括：i.根据配置项信息中的数据清理方式获取被清理表的生产保留时长和生产清理频率；ii.根据生产保留时长和生产清理频率计算分区名称，由分区名称得到生产表的指定分区；iii.使用分区交换的方式将生产表的指定分区的数据迁移至历史表的指定分区；iv.重建历史表的指定分区的索引；v.删除生产表的指定分区；
所述清理方案包括用于在同一服务器上不同数据库之间执行跨库数据处理的本机跨库数据泵方式，该本机跨库数据泵方式执行：将生产库生产表传输至历史库的数据处理操作；或者将生产库历史表传输至历史库，历史表采用同库事务方式的数据处理操作；或者将生产库历史表传输至历史库，历史表采用同库分区交换方式的数据处理操作；
所述清理方案包括用于在不同服务器上不同数据库之间执行跨库数据处理的跨物理机跨库数据泵方式，该跨物理机跨库数据泵方式执行：将生产库生产表采用文件传输的方式传输至历史库的数据处理操作；或者将生产库历史表采用文件传输的方式传输至历史库，历史表采用同库事务方式的数据处理操作；或者
将生产库历史表采用文件传输的方式传输至历史库，历史表采用同库分区交换方式的数据处理操作；
所述清理方案具体包括如下清理方式：
0)同库事务方式
i.各配置项信息形成数据清理配置表KAPP_SJQLPZ，由该数据清理配置表中的数据清理方式SJQLFASH配置为0的记录获取被清理表的清理关键字；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表，并删除生产表指定范围数据；
1)同库分区交换方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为1的记录，获取被清理表的保留时长和清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
2)本机跨库数据泵方式，生产库生产表至历史库
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为2的记录，获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
iv.获取配置文件中的数据源信息；
v.导出生产库指定分区数据为转储文件；
vi.导入转储文件至历史库指定分区；
vii.删除生产库指定分区；
3)本机跨库数据泵方式，生产库历史表至历史库，历史表采用同库事务方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为3的记录，获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围；
v.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
vi.获取配置文件中的数据源信息；
vii.导出生产库历史表指定范围数据为转储文件；
viii.导入转储文件至历史库；
ix.如果第vii、viii步骤成功，则删除历史表指定范围数据；
4)本机跨库数据泵方式，生产库历史表至历史库，历史表采用同库分区交换方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为4的记录，获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
vi.根据近线保留时长和近线清理频率计算分区名称；
vii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
viii.获取配置文件中的数据源信息；
ix.导出历史表指定分区数据为转储文件；
x.导入转储文件至历史库指定分区；
xi.删除历史表指定分区；
5)跨物理机跨库数据泵方式，生产库生产表至历史库
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为5的记录，获取被清理表的生产保留时长和生产清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
iv.获取配置文件中的数据源信息；
v.导出生产库指定分区数据为转储文件；
vi.将转储文件从生产库服务器FTP至历史库服务器；
vii.导入转储文件至历史库指定分区；
viii.删除生产库指定分区；
6)跨物理机跨库数据泵方式，生产库历史表至历史库历史表采用同库事务方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为6的记录，获取被清理表的清理关键字、生产保留时长和近线保留时长；
ii.根据生产保留时长计算清理关键字范围；
iii.使用同一事务将生产表指定范围数据迁移至历史表并删除生产表指定范围数据；
iv.根据近线保留时长计算清理关键字范围；
v.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
vi.获取配置文件中的数据源信息；
vii.导出生产库历史表指定范围数据为转储文件；
viii.将转储文件从生产库服务器经FTP传输至历史库服务器；
ix.导入转储文件至历史库；
x.如果第viii、ix步骤成功，则删除历史表指定范围数据；
7)跨物理机跨库数据泵方式，生产库历史表至历史库历史表采用同库分区交换方式
i.根据数据清理配置表KAPP_SJQLPZ中的数据清理方式SJQLFASH配置为7的记录，获取被清理表的生产保留时长、生产清理频率、近线保留时长和近线清理频率；
ii.根据生产保留时长和生产清理频率计算分区名称；
iii.使用分区交换的方式将生产表指定分区的数据迁移至历史表指定分区；
iv.重建历史表指定分区的索引；
v.删除生产表指定分区；
vi.根据近线保留时长和近线清理频率计算分区名称；
vii.获取数据库视图DbaDirectories中Directory_Name配置为DBCLEANDUMP的Directory_Path，即转储文件目录；
viii.获取配置文件中的数据源信息；
ix.导出历史表指定分区数据为转储文件；
x.将转储文件从生产库服务器经FTP传输至历史库服务器；
xi.导入转储文件至历史库指定分区；
xii.删除历史表指定分区。
2.根据权利要求1所述的基于银行核心系统的数据处理方法，其特征在于：所述配置项信息还描述历史查询方案的规则。
3.根据权利要求2所述的基于银行核心系统的数据处理方法，其特征在于：所述历史查询方案包括数据路由处理步骤和结果拼接步骤；
其中，数据路由处理步骤包括：通过查询数据清理转移表返回生产库与历史库的日期界限，以及传入的起止日期，规定如下：
起始日期大于等于生产库与历史库的日期界限值，则路由到生产库单数据源；终止日期小于生产库与历史库的日期界限值，则路由到历史库单数据源；
否则，先路由到生产库数据源，再路由到历史库数据源；
结果拼接步骤包括新增一历史查询方法；该历史查询方法通过双库遍历方式完成历史数据查询，并开放回调类，用以提供历史库与生产库的数据界线。
CN201710400139.9A 2017-05-31 2017-05-31 基于银行核心系统的数据处理方法 Active CN107247758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710400139.9A CN107247758B (zh) 2017-05-31 2017-05-31 基于银行核心系统的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710400139.9A CN107247758B (zh) 2017-05-31 2017-05-31 基于银行核心系统的数据处理方法

Publications (2)

Publication Number Publication Date
CN107247758A CN107247758A (zh) 2017-10-13
CN107247758B true CN107247758B (zh) 2020-10-27

Family

ID=60017955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710400139.9A Active CN107247758B (zh) 2017-05-31 2017-05-31 基于银行核心系统的数据处理方法

Country Status (1)

Country Link
CN (1) CN107247758B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959400B (zh) * 2018-06-05 2021-10-01 中国银行股份有限公司 银行系统历史数据清理方法及装置
CN109739831A (zh) * 2018-11-23 2019-05-10 网联清算有限公司 数据库之间数据校验方法及装置
CN109726175A (zh) * 2018-12-29 2019-05-07 北京赛思信安技术股份有限公司 一种基于HBase的海量文件离线分区管理方法
CN111737243A (zh) * 2020-06-19 2020-10-02 中国银行股份有限公司 历史数据清理方法及装置
CN111813575A (zh) * 2020-07-06 2020-10-23 珠海西山居移动游戏科技有限公司 一种基于容器服务的定制化清理方法及系统
CN112579645B (zh) * 2020-12-15 2022-11-01 平安养老保险股份有限公司 基于方案索引的产品数据查询方法、装置、设备和介质
CN112559511B (zh) * 2021-02-25 2021-06-01 江苏苏宁银行股份有限公司 一种存款系统历史数据清理方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977121A (zh) * 2010-10-25 2011-02-16 中兴通讯股份有限公司 配置文件处理方法、装置及系统
CN102323945B (zh) * 2011-09-02 2013-05-01 南京中兴力维软件有限公司 一种基于sql的数据库管理方法和装置
CN104036001B (zh) * 2014-06-13 2017-05-10 上海新炬网络信息技术有限公司 基于热表动态优先调度的数据快速清理方法
CN105389402B (zh) * 2015-12-29 2019-04-12 曙光信息产业(北京)有限公司 一种面向大数据的etl方法和装置
CN106708992A (zh) * 2016-12-16 2017-05-24 浙江中控技术股份有限公司 一种数据查询方法、装置及系统

Also Published As

Publication number Publication date
CN107247758A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN107247758B (zh) 基于银行核心系统的数据处理方法
CN106227800B (zh) 一种高度关联大数据的存储方法及管理系统
Doan et al. Semantic integration research in the database community: A brief survey
CN105631028B (zh) 一种数据库集群功能实现方法和系统
US7184940B2 (en) Collaboration session recording model
CN110399373A (zh) 一种区块链账本存储系统、存储查询方法及删除方法
CN108733713A (zh) 数据仓库中的数据查询方法及装置
CN105446991A (zh) 数据存储方法、查询方法及设备
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN104809510A (zh) 一种提供票务支持的票池中间件的构建、购票及锁票方法
CN107464151A (zh) 高并发业务的订单数据处理方法及装置
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN114297173A (zh) 一种面向大规模海量数据的知识图谱构建方法和系统
CN107169862B (zh) 一种银行不良客户存款自动追踪系统
CN102193988A (zh) 一种图形数据库节点数据的检索方法及系统
CN114329096A (zh) 一种原生图数据库处理方法及系统
CN110263060B (zh) 一种erp电子附件管理方法及计算机设备
US11914612B2 (en) Selective synchronization of linked records
CN101458628A (zh) 一种程序版本管理方法
CN115510072A (zh) 一种基于多租户SaaS应用平台的主数据引擎
CN102193986B (zh) 图形数据库中联机事务的实现方法
CN102193979B (zh) 图形数据库非联机事务中查询数据的控制方法
CN101968747A (zh) 一种机群应用管理系统及其应用管理方法
CN112187788B (zh) 基于区块链的多级资产流转方法、系统及溯源方法
WO2011118425A1 (ja) クエリ最適化システム、クエリ最適化装置、及びクエリ最適化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant