CN108959400A - 银行系统历史数据清理方法及装置 - Google Patents

银行系统历史数据清理方法及装置 Download PDF

Info

Publication number
CN108959400A
CN108959400A CN201810568001.4A CN201810568001A CN108959400A CN 108959400 A CN108959400 A CN 108959400A CN 201810568001 A CN201810568001 A CN 201810568001A CN 108959400 A CN108959400 A CN 108959400A
Authority
CN
China
Prior art keywords
data
tables
scrubbing
cleaning
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810568001.4A
Other languages
English (en)
Other versions
CN108959400B (zh
Inventor
周畅
王和燕
张阳
孙凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201810568001.4A priority Critical patent/CN108959400B/zh
Publication of CN108959400A publication Critical patent/CN108959400A/zh
Application granted granted Critical
Publication of CN108959400B publication Critical patent/CN108959400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种银行系统历史数据清理方法及装置,用于清理数据库的数据表的历史数据,包括:根据数据库的数据表的生命周期和关联关系,制定数据清理规则;根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引;根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间,支持需要时从文件恢复文件。通过本发明的银行系统历史数据清理方法及装置,可实现清理历史数据且保证生产环境系统的高效安全运行,最大程序避免了历史数据清理过程对正常业务应用的影响,降低了数据清理后影响正常生产环境的正常应用的概率。

Description

银行系统历史数据清理方法及装置
技术领域
本发明涉及银行数据库存储领域,具体涉及一种银行系统历史数据清理方法及装置。
背景技术
核心银行系统每日都有大量的业务和交易进行,随着时间推移后台数据库业务和交易数据不断增多,在银行系统中各类数据实体生命周期结束后,与之相关的数据不再被处理,但仍保留在系统数据库中,经过长时间的积累占据了大量的存储空间,增加了系统数据处理的压力,影响系统的执行效率,对系统安全运行有隐患。目前常用的历史数据处理方式,包括:不处理,保留在数据库中;直接清理,直接在生产环境上运行批量程序,通过清理条件定位数据表并直接清理;对各表单独建立清理索引文件,分为筛选-清理两阶段清理,但是对于有关联关系的表也单独清理。但是,上述方案都存在以下问题或一部分:不清理历史数据,对于交易量大,数据库数据量增加快的系统,增加数据库的压力,影响系统的运行效率;直接清理方案清理效率低,与联机交易争抢资源(CPU、数据库)较为严重,影响系统的正常应用;各表单独清理,由于不同数据表尤其是关联数据表的清理速度、进度存在差异,会对系统带来数据不一致现象。
发明内容
针对现有技术方案中存在的问题,本发明提出了一种银行系统历史数据清理方法及装置。目的在于,实现对银行系统的历史数据清理,在保证不影响系统的任何正常应用的前提下,减轻系统压力,保障银行系统执行效率和安全运行。
为了达到上述目的,本发明提出的银行系统历史数据清理方法,用于清理数据库的数据表的历史数据,包括:根据数据库的数据表的生命周期和关联关系,制定数据清理规则;根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引;根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
进一步的,包括:根据数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,数据表类型包括:主表、关系表、子表、单表;根据不同数据表类型的待清理数据,分别制定数据清理规则。
进一步的,包括:根据数据清理规则、关系表,筛选关系表的全部组内关联表中符合数据清理规则的数据与键值;根据数据清理规则、主表、子表、单表,筛选主表、子表、单表的符合数据清理规则的数据与键值;对筛选出的数据与键值合并、去重、打包,确定为待清理的数据表的清理数据索引。
进一步的,包括:将当前的数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;根据更新的数据清理索引记录的键值,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。
进一步的,还包括:当需要恢复已清理数据时,根据备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。
为了达到上述目的,本发明提出的银行系统历史数据清理装置,包括:清理规则制定模块,用于根据数据库的数据表的生命周期和关联关系,制定数据清理规则;数据筛选模块,用于根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引;数据清理模块,用于根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;数据备份模块,用于根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
进一步的,包括:数据分级单元,用于根据数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,数据表类型包括:主表、关系表、子表、单表;清理规则制定单元,用于根据不同数据表类型的待清理数据,分别制定数据清理规则。
进一步的,包括:关系表筛选单元,用于根据数据清理规则、关系表,筛选关系表的全部组内关联表中符合数据清理规则的数据与键值;非关系表筛选单元,用于根据数据清理规则、主表、子表、单表,筛选主表、子表、单表的符合数据清理规则的数据与键值;清理数据索引确定单元,用于对筛选出的数据与键值合并、去重、打包,确定为待清理的数据表的清理数据索引。
进一步的,包括:数据清理索引更新单元,用于将当前的数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;根据更新的数据清理索引记录的键值,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。
进一步的,还包括:数据恢复模块,用于当需要恢复已清理数据时,根据备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。
本发明的有益效果在于,通过本发明的银行系统历史数据清理方法及装置,可实现清理历史数据且保证生产环境系统的高效安全运行,最大程序避免了历史数据清理过程对正常业务应用的影响,降低了数据清理后影响正常生产环境的正常应用的概率。并且其复用性好,能极大的降低成本。并保证开发效率和程序的执行效率,且具有错误处理机制,增加COMMTI笔数,并记录断点信息,在进行数据清理时,若出现错误,便于分析数据处理问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的银行系统历史数据清理方法的步骤流程图。
图2为本发明实施例的银行系统历史数据清理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域相关技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护的范围。
本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种银行系统历史数据清理方法及装置,以解决现有技术中历史数据清理方法影响系统运行效率、数据不一致的问题。在本文中,需要理解的是,所涉及的术语中:
历史数据:是指在核心银行系统数据库存储的业务数据,当数据实体生命周期已经结束,且不再支持相关业务信息功能时,需要把这部分数据进行清理,这部分被清理的数据称为历史数据。
核心银行系统正常生产环境:是指执行系统的所有业务处理环境,包括联机交易环境和批量处理环境。为了方便描述,下文中将该环境称为P1环境。
核心银行系统数据同步环境:是指从核心银行系统正常生产环境同步,且对系统的业务数据进行筛选、采集、下传等处理的环境。为了方便描述,下文中将该环境称为P2环境。
历史数据清理:对数据库中的历史数据进行删除,并备份删除数据的操作。
本发明的银行系统历史数据清理方法及装置,通过分析银行系统各数据实体的生命周期和关联关系,明确筛选和清理规则,通过灵活的参数配置,实现对核心银行系统的历史数据清理,并支持被清理数据的恢复,在保证不影响系统的任何正常应用的前提下,减轻系统压力,保障系统执行效率和安全运行。
图1为本发明实施例的银行系统历史数据清理方法的步骤流程图,如图1所示,本发明实施例的银行系统历史数据清理方法,包括:S100,根据数据库的数据表的生命周期和关联关系,制定数据清理规则;S200,根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引;S300,根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;S400,根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
步骤S100中,根据数据库的数据表的生命周期和关联关系,制定数据清理规则。本步骤中,主要完成对关系表、主表、子表、单表四个不同类型的数据表制定相应清理规则,包括对单张数据表的单表清理和对关联数据表的分级清理。技术人员根据各数据表的生命周期和关联关系,制定正确有效的数据清理规则,将数据表区分为关系表、主表、子表、单表四个不同的类型,针对不同类型的数据表制定相应清理规则,主要分为对单张数据表的单表清理和对关联数据表的分级清理,保证对数据表尤其是有关联关系的数据表实体的清理范围明确有序,不影响系统的任何正常应用。基于清理规则开发代码根据数据清理规则对数据表进行筛选,对于关系表基于主表筛选主表、关系表、子表的待清理数据,生成清理索引文件,保证在大量数据表和关联表中进行筛选的执行效率。
在具体实施过程中,该步骤S100,包括:根据数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,数据表类型包括:主表、关系表、子表、单表;根据不同数据表类型的待清理数据,分别制定数据清理规则。根据各数据表的生命周期和关联关系制定正确有效的数据清理规则,将数据表区分为关系表、主表、子表、单表四个不同的类型,制定相应清理规则,主要分为对单张数据表的单表清理和对关联数据表的分级清理,保证对数据表尤其是有关联关系的数据表实体的清理范围明确有序,不影响系统的任何正常应用。基于清理规则开发代码根据数据清理规则对数据表进行筛选,对于关系表基于主表筛选主表、关系表、子表的待清理数据,生成清理索引文件,保证在大量数据表和关联表中进行筛选的执行效率。
步骤S200中,根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引。于本步骤中,在P2环境下根据历史数据清理规则筛选待清理的数据,其中单表对单表进行筛选,管理数据表基于主表对主表、子表进行筛选,保存筛选出的待清理数据索引到文件中并FTP传输到P1环境。在具体实施过程中,该步骤S200包括:根据数据清理规则、关系表,筛选关系表的全部组内关联表中符合数据清理规则的数据与键值;根据数据清理规则、主表、子表、单表,筛选主表、子表、单表的符合数据清理规则的数据与键值;对筛选出的数据与键值合并、去重、打包,确定为待清理的数据表的清理数据索引。于系统的P2环境,读取数据库表、控制参数,根据历史数据的清理规则、以及控制参数的设置情况,对数据库表中的记录进行筛选,并将筛选后形成的清理索引文件合并去重打包,最后通过FTP将该清理数据索引传输到P1环境以供使用。
于P2环境中,读取数据库表、控制参数,根据历史数据清理规则和控制参数的设置情况,对数据库表中的记录进行筛选,获取可清理数据的键值。根据数据表的业务生命周期和表关联关系,将数据表区分为关系表、主表、子表、单表四个不同的类型:
关系表:对于因各种原因无法进行同步清理、但有关联的数据表,列入“关系表”范畴,在清理执行时首先清理。关系表清理后,被关联数据表间的关联关系被断开,从而保证不会出现空悬的关联关系从而影响应用逻辑。
主表:记录实体主要信息的数据表,账户主表、额度主表、合同主表等。与实体实施同步清理的数据表亦为主表。关系表清理、主表间关联关系断开后,可以并行开始清理主表。清理规则主要围绕主表制定。
子表:与主表有关联的数据表称为子表。主表的记录清理后,子表失去主表的关联成为孤岛数据;当主表清理完毕后,可以开始清理子表。特别的,若某数据表与主表有关联关系、且存在从该数据表访问主表的应用逻辑,则该数据表应被归类为关系表。
单表:与任何其他表都不关联的数据表称作单表。单表可以在任何时刻开始并行进行清理。
对于不同类型的表,制定相应清理规则,主要包括对单张数据表的单表清理和对关联数据表(主表、子表、关系表)的分级清理。根据既定的清理规则,读取控制参数确定清理周期,从数据库表中读取数据并筛选出符合清理规则的记录(相关联表需读取判断全部该组关联表),将其键值(通常为逐渐)写到清理索引文件中,合并、去重、打包后,最后通过FTP将该清理数据索引传输到P1环境以供使用。
步骤S300中,根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。在本步骤中,在P1环境下读取待清理索引文件和未清理完成的索引文件合并去重后的内容,对数据表执行清理操作,并保存清理记录的键值到备份索引文件并FTP传输到P2环境。在具体实施过程中,该步骤S300,包括:将当前的数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;根据更新的数据清理索引记录的键值,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。于系统的P1环境,根据P2环境所提供的清理数据索引文件,对数据库表执行清理操作。
于P1环境中,根据P2环境提供的清理索引文件,对数据库表执行清理操作,具体可以分为:根据当日P2端传来的清理索引文件,逐文件与上一日清理遗留的记录文件合并,去重后合并成今日待清理的清理索引文件;根据不同的待清理表读取对应清理索引文件,根据清理索引文件中记录的键值,从数据库中删除对应的记录,并按照控制参数规定的频率进行COMMIT提交;对于同步清理的,将需要同步清理的一组记录全部删除后才会检查是否需要进行提交以保证数据的一致性。同时,将被清理记录的键值写入备份索引文件,供后续备份使用。
步骤S400中,根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。在本步骤中,在P2环境下根据清理记录的索引备份文件,读取数据表中的全记录信息到备份文件中,并生成清理统计报表。于系统的P2环境,根据输入的备份索引文件,将被清理的记录在文件上保存一定时间,若清理导致业务逻辑异常,可以对备份文件及时恢复。记录保存的周期可分数据表通过控制参数进行配置,同时生成清理统计报表。
于P2环境中,根据输入的备份索引文件,将被清理的记录在文件里保存一定时间,以便所清理导致业务逻辑异常发生时可以及时恢复数据,同时根据清理索引文件和备份索引文件生成清理统计报表。各表记录的保存周期通过控制参数分别配置,具体可以为:在P2端的记录从P1端同步之前,读取P1端传来的备份索引文件,根据备份索引文件从P2端数据库中读取该记录全部字段,并写入备份文件;备份作业读取备份文件,根据控制参数定义的策略,将超过保存期限的记录从文件中删除;根据P1端传来的备份索引文件,分数表统计清理掉的条数。同时根据P2端遗留的清理索引文件,分数据表统计计划清理的条数,并将同一张数据表清理条数与筛选条数组合,形成报表。
在具体实施过程中,该步骤S300之后,还包括:当需要恢复已清理数据时,根据备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。该步骤是用于当需要查询被清理的数据、或业务数据清理导致应用程序的正常运行受到影响的情况下,提供快速重新获取被清理数据并恢复至生产环境或备用环境的手段。当需要查询被清理的数据时,或当业务数据清理导致应用程序的正常运行受到影响时候时,提供快速重新获取被清理数据并恢复置生产环境或备用环境。在P2环境,输入恢复指令,包括恢复的数据表、恢复的日期范围等,从备份文件中抽出符合指令的数据,写入恢复文件中并FTP至P1环境。在P1环境,读取文件记录、恢复记录所有栏位,并将记录重新插回P1环境的数据库表中,实现数据恢复,供查询使用。
在介绍了本发明实施例的银行系统历史数据清理方法之后,接下来,对本发明实施例的银行系统历史数据清理装置进行介绍。该装置的实施可以参见上述方法的实施,重复之处不再赘述。以下所使用的术语“模块”、“单元”,可以是实现预定功能的软件和/或硬件。
图2为本发明实施例的银行系统历史数据清理装置的结构示意图,如图2所示,银行系统历史数据清理装置,包括:清理规则制定模块,用于根据数据库的数据表的生命周期和关联关系,制定数据清理规则;数据筛选模块,用于根据数据清理规则筛选待清理的数据表的数据与键值,确定待清理的数据表的清理数据索引;数据清理模块,用于根据数据清理索引,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;数据备份模块,用于根据备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
具体实施过程中,清理规则制定模块包括:数据分级单元,用于根据数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,数据表类型包括:主表、关系表、子表、单表;清理规则制定单元,用于根据不同数据表类型的待清理数据,分别制定数据清理规则。
具体实施过程中,数据筛选模块包括:关系表筛选单元,用于根据数据清理规则、关系表,筛选关系表的全部组内关联表中符合数据清理规则的数据与键值;非关系表筛选单元,用于根据数据清理规则、主表、子表、单表,筛选主表、子表、单表的符合数据清理规则的数据与键值;清理数据索引确定单元,用于对筛选出的数据与键值合并、去重、打包,确定为待清理的数据表的清理数据索引。
具体实施过程中,数据清理模块包括:数据清理索引更新单元,用于将当前的数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;根据更新的数据清理索引记录的键值,清理数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。
具体实施过程中,还包括:数据恢复模块,用于当需要恢复已清理数据时,根据备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。
在银行系统中,银行系统中各类数据实体生命周期结束后,仍保留在系统数据库中,经过长时间的积累占据了大量的存储空间,增加了系统数据处理的压力,影响系统的执行效率,对系统安全运行有隐患,需要一种对这些历史数据进行数据清理,且同时不影响系统任何正常应用的机制。本发明的银行系统历史数据清理方法及装置,从核心银行系统P1、P2双环境和筛选、清理、备份、恢复模块四阶段入手,改进工艺流程,完成对历史数据的有效清理,同时不影响系统的业务处理效率和正常应用的正确性,有以下优点:
A.清理历史数据保证生产环境系统的高效安全运行,清理系统中生命周期结束的数据,降低系统数据处理的压力,保障了系统的执行效率,降低了了系统安全运行的隐患。
B.最大程序避免了历史数据清理过程对正常业务应用的影响,一方面将筛选环节移入P2环境、避免了筛选环节对业务应用的影响;另一方面通过待清理记录键值直接从P1环境删除数据,提高了删除效率,减少了与业务应用争抢数据库资源的现象。
C.降低了数据清理后影响正常生产环境的正常应用的概率,对于不同分类数据表采用不同的清理机制,将历史数据清理后对系统正常应用影响的可能性降低,保证了正常生产环境的运营。
D.可复用,建立了数据清理筛选、清理、备份、恢复的一套机制,根据此机制开发一套数据清理程序模板,对于属于同一清理机制的数据表,均可基于同一套程序模板进行开发,复用性好,能极大的降低成本。并保证开发效率和程序的执行效率。
E.具有错误处理机制,增加COMMTI笔数,并记录断点信息,在进行数据清理时,若出现错误,便于分析数据处理问题。
本发明的有益效果在于,通过本发明的银行系统历史数据清理方法及装置,可实现清理历史数据且保证生产环境系统的高效安全运行,最大程序避免了历史数据清理过程对正常业务应用的影响,降低了数据清理后影响正常生产环境的正常应用的概率。并且其复用性好,能极大的降低成本。并保证开发效率和程序的执行效率,且具有错误处理机制,增加COMMTI笔数,并记录断点信息,在进行数据清理时,若出现错误,便于分析数据处理问题。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种银行系统历史数据清理方法,用于清理数据库的数据表的历史数据,其特征在于,包括:
根据数据库的数据表的生命周期和关联关系,制定数据清理规则;
根据所述数据清理规则筛选待清理的数据表的数据与键值,确定所述待清理的数据表的清理数据索引;
根据所述数据清理索引,清理所述数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;
根据所述备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
2.根据权利要求1所述的银行系统历史数据清理方法,其特征在于,所述根据数据库的数据表的生命周期和关联关系,制定数据清理规则的步骤,包括:
根据所述数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,所述数据表类型包括:主表、关系表、子表、单表;
根据所述不同数据表类型的待清理数据,分别制定所述数据清理规则。
3.根据权利要求1所述的银行系统历史数据清理方法,其特征在于,所述根据所述数据清理规则筛选待清理的数据表的数据与键值,确定所述待清理的数据表的清理数据索引的步骤,包括:
根据所述数据清理规则、关系表,筛选所述关系表的全部组内关联表中符合所述数据清理规则的数据与键值;
根据所述数据清理规则、主表、子表、单表,筛选所述主表、子表、单表的符合所述数据清理规则的数据与键值;
对筛选出的所述数据与键值合并、去重、打包,确定为所述待清理的数据表的清理数据索引。
4.根据权利要求1所述的银行系统历史数据清理方法,其特征在于,所述根据所述数据清理索引,清理所述数据库的数据表的数据,并将被清理数据的键值写入备份索引文件的步骤,包括:
将当前的所述数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;
根据所述更新的数据清理索引记录的键值,清理所述数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。
5.根据权利要求1所述的银行系统历史数据清理方法,其特征在于,所述根据所述备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间的步骤之后,还包括:
当需要恢复已清理数据时,根据所述备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。
6.一种银行系统历史数据清理装置,用于清理数据库的数据表的历史数据,其特征在于,包括:
清理规则制定模块,用于根据数据库的数据表的生命周期和关联关系,制定数据清理规则;
数据筛选模块,用于根据所述数据清理规则筛选待清理的数据表的数据与键值,确定所述待清理的数据表的清理数据索引;
数据清理模块,用于根据所述数据清理索引,清理所述数据库的数据表的数据,并将被清理数据的键值写入备份索引文件;
数据备份模块,用于根据所述备份索引文件,生成清理统计报表,并将被清理数据记录在文件中保存设定时间。
7.根据权利要求6所述的银行系统历史数据清理装置,其特征在于,所述清理规则制定模块,包括:
数据分级单元,用于根据所述数据库的数据表类型、生命周期和关联关系,分级筛选不同数据表类型的待清理数据,所述数据表类型包括:主表、关系表、子表、单表;
清理规则制定单元,用于根据所述不同数据表类型的待清理数据,分别制定所述数据清理规则。
8.根据权利要求6所述的银行系统历史数据清理装置,其特征在于,所述数据筛选模块,包括:
关系表筛选单元,用于根据所述数据清理规则、关系表,筛选所述关系表的全部组内关联表中符合所述数据清理规则的数据与键值;
非关系表筛选单元,用于根据所述数据清理规则、主表、子表、单表,筛选所述主表、子表、单表的符合所述数据清理规则的数据与键值;
清理数据索引确定单元,用于对筛选出的所述数据与键值合并、去重、打包,确定为所述待清理的数据表的清理数据索引。
9.根据权利要求6所述的银行系统历史数据清理装置,其特征在于,所述数据清理模块,包括:
数据清理索引更新单元,用于将当前的所述数据清理索引与之前的数据清理索引去重并合并,形成更新的数据清理索引;
根据所述更新的数据清理索引记录的键值,清理所述数据库的数据表的数据,并将被清理数据的键值写入备份索引文件。
10.根据权利要求6所述的银行系统历史数据清理装置,其特征在于,还包括:
数据恢复模块,用于当需要恢复已清理数据时,根据所述备份索引文件、记录在文件中的被清理数据,筛选出待恢复数据并将其恢复至正常生产环境的数据表中。
CN201810568001.4A 2018-06-05 2018-06-05 银行系统历史数据清理方法及装置 Active CN108959400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810568001.4A CN108959400B (zh) 2018-06-05 2018-06-05 银行系统历史数据清理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810568001.4A CN108959400B (zh) 2018-06-05 2018-06-05 银行系统历史数据清理方法及装置

Publications (2)

Publication Number Publication Date
CN108959400A true CN108959400A (zh) 2018-12-07
CN108959400B CN108959400B (zh) 2021-10-01

Family

ID=64493222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810568001.4A Active CN108959400B (zh) 2018-06-05 2018-06-05 银行系统历史数据清理方法及装置

Country Status (1)

Country Link
CN (1) CN108959400B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069507A (zh) * 2019-03-16 2019-07-30 平安城市建设科技(深圳)有限公司 学区学位查询方法、装置、设备及存储介质
CN110457275A (zh) * 2019-08-15 2019-11-15 中国银行股份有限公司 磁盘历史文件的清理方法及装置
CN110457306A (zh) * 2019-08-16 2019-11-15 中国银行股份有限公司 参数化联机数据清理方法及装置
CN110502370A (zh) * 2019-08-21 2019-11-26 无锡华云数据技术服务有限公司 一种自动清理备份对象的方法
CN110597669A (zh) * 2019-09-20 2019-12-20 中国银行股份有限公司 银行历史数据参数化备份恢复方法和装置
CN110825813A (zh) * 2019-11-14 2020-02-21 中国民航信息网络股份有限公司 一种数据迁移方法及装置
CN111176906A (zh) * 2020-01-02 2020-05-19 无锡华云数据技术服务有限公司 一种备份数据的自动清理方法
CN111400275A (zh) * 2019-12-16 2020-07-10 杭州美创科技有限公司 一种定制并自动进行数据老化的方法
CN111737243A (zh) * 2020-06-19 2020-10-02 中国银行股份有限公司 历史数据清理方法及装置
CN112905386A (zh) * 2021-02-08 2021-06-04 中国工商银行股份有限公司 一种基于生命周期的表数据备份清理方法及装置
CN114020691A (zh) * 2022-01-07 2022-02-08 广州奥凯信息咨询有限公司 读写分离的数据更新方法及其装置、kv存储系统
CN115687333A (zh) * 2022-09-27 2023-02-03 西部科学城智能网联汽车创新中心(重庆)有限公司 一种v2x大数据生命周期管理方法及装置
US20230359597A1 (en) * 2022-05-03 2023-11-09 Actimize Ltd. System and method for reducing data inconsistency after purging client records, in financial institute (fi) databases, when exceeding retention period

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105422A1 (en) * 2002-07-03 2004-06-03 Sahni Sartaj Kumar Dynamic IP router tables using highest-priority matching
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CN107247758A (zh) * 2017-05-31 2017-10-13 深圳市长亮科技股份有限公司 基于银行核心系统的数据处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105422A1 (en) * 2002-07-03 2004-06-03 Sahni Sartaj Kumar Dynamic IP router tables using highest-priority matching
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CN107247758A (zh) * 2017-05-31 2017-10-13 深圳市长亮科技股份有限公司 基于银行核心系统的数据处理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069507A (zh) * 2019-03-16 2019-07-30 平安城市建设科技(深圳)有限公司 学区学位查询方法、装置、设备及存储介质
CN110457275A (zh) * 2019-08-15 2019-11-15 中国银行股份有限公司 磁盘历史文件的清理方法及装置
CN110457306A (zh) * 2019-08-16 2019-11-15 中国银行股份有限公司 参数化联机数据清理方法及装置
CN110502370B (zh) * 2019-08-21 2022-03-15 华云数据控股集团有限公司 一种自动清理备份对象的方法
CN110502370A (zh) * 2019-08-21 2019-11-26 无锡华云数据技术服务有限公司 一种自动清理备份对象的方法
CN110597669A (zh) * 2019-09-20 2019-12-20 中国银行股份有限公司 银行历史数据参数化备份恢复方法和装置
CN110597669B (zh) * 2019-09-20 2022-10-11 中国银行股份有限公司 银行历史数据参数化备份恢复方法和装置
CN110825813B (zh) * 2019-11-14 2022-05-03 中国民航信息网络股份有限公司 一种数据迁移方法及装置
CN110825813A (zh) * 2019-11-14 2020-02-21 中国民航信息网络股份有限公司 一种数据迁移方法及装置
CN111400275A (zh) * 2019-12-16 2020-07-10 杭州美创科技有限公司 一种定制并自动进行数据老化的方法
CN111400275B (zh) * 2019-12-16 2024-01-05 杭州美创科技有限公司 一种定制并自动进行数据老化的方法
CN111176906A (zh) * 2020-01-02 2020-05-19 无锡华云数据技术服务有限公司 一种备份数据的自动清理方法
CN111737243A (zh) * 2020-06-19 2020-10-02 中国银行股份有限公司 历史数据清理方法及装置
CN112905386A (zh) * 2021-02-08 2021-06-04 中国工商银行股份有限公司 一种基于生命周期的表数据备份清理方法及装置
CN114020691A (zh) * 2022-01-07 2022-02-08 广州奥凯信息咨询有限公司 读写分离的数据更新方法及其装置、kv存储系统
US20230359597A1 (en) * 2022-05-03 2023-11-09 Actimize Ltd. System and method for reducing data inconsistency after purging client records, in financial institute (fi) databases, when exceeding retention period
CN115687333A (zh) * 2022-09-27 2023-02-03 西部科学城智能网联汽车创新中心(重庆)有限公司 一种v2x大数据生命周期管理方法及装置
CN115687333B (zh) * 2022-09-27 2024-03-12 西部科学城智能网联汽车创新中心(重庆)有限公司 一种v2x大数据生命周期管理方法及装置

Also Published As

Publication number Publication date
CN108959400B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108959400A (zh) 银行系统历史数据清理方法及装置
CN104537037B (zh) 一种处理数据库日志的方法及装置
JP2667039B2 (ja) データ管理システムおよびデータ管理方法
CN104021043B (zh) 批量应用程序的中断重入方法及系统
CN107220148A (zh) 针对独立磁盘冗余阵列的重建方法和设备
CN108009037A (zh) 批处理作业故障处理方法、装置、存储介质及设备
CN107924357B (zh) 作业管理装置和作业管理方法
CN101727480A (zh) 用于复制数据库的方法和系统
CN108038201B (zh) 一种数据整合系统及其分布式数据整合系统
US11144424B2 (en) System and method for recording the beginning and ending of job level activity in a mainframe computing environment
JPH10207754A (ja) 更新系データベースの複製方式
CN107545015A (zh) 一种查询故障的处理方法及处理装置
CN110489426A (zh) 一种数据库表的自动化分区方法、装置及设备
CN105786973A (zh) 基于大数据技术的数据并发处理方法及系统
CN108415758A (zh) 分布式事务协调方法及装置
CN103377090A (zh) 多处理器系统中共享不同数据集的多个编目的方法和系统
US8639657B2 (en) Reorganizing table-based data objects
CN107193688A (zh) 数据表结构修改方法及装置
CN109101321A (zh) 一种基于云平台的消息监控方法及装置
CN110222039A (zh) 数据存储及垃圾数据清理方法、装置、设备及存储介质
CN109472680A (zh) 一种账务处理方法及系统
CN108319694A (zh) 一种历史数据的自动清理方法及装置
CN109213791A (zh) 数据处理方法、区块链节点、系统和计算机可读存储介质
CN111145030A (zh) 一种可配置化的统一管理平台及方法
CN109509043A (zh) 一种成品油库存数中间状态处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant