CN113485996A - 一种历史数据清理的方法、装置、设备、介质及产品 - Google Patents
一种历史数据清理的方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN113485996A CN113485996A CN202110850839.4A CN202110850839A CN113485996A CN 113485996 A CN113485996 A CN 113485996A CN 202110850839 A CN202110850839 A CN 202110850839A CN 113485996 A CN113485996 A CN 113485996A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- cleaning
- list
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种历史数据清理的方法,包括:提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单,根据业务数据信息获取与该业务具有关联关系的关联业务,提取关联业务未执行完毕的业务数据信息中的主关键字,形成豁免记录清单,剔除历史数据清理清单中主关键字被包括在豁免记录清单中的主关键字,获得数据清理清单,清理主关键字被数据清理清单包括的业务数据信息。如此,能够根据业务数据的关联关系,对历史数据进行清理,避免了关联关系复杂追溯困难的问题,并且能够减少大量数据同时清理影响系统性能的问题。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种历史数据清理的方法、平台、设备、计算机可读存储介质以及计算机程序产品。
背景技术
银行的历史数据清理不仅是对银行自身的历史数据记录情况,而且还要考虑与该历史数据相关联的其他数据的情况,因此数据量更大,关联复杂。
通常情况下对于历史数据的清理是数据增长到一定程度不得不进行清理的被动操作,清理前才被动地分析数据之间的关联关系,导致很多关联关系需要进行追溯,容易遗漏。并且,一次性清理大量数据会占用大量数据处理资源,导致系统性能下降。
因此,业界亟需一种能够提高数据清理效率的历史数据清理的方法。
发明内容
本申请提供了一种历史数据清理的方法,该方法能够根据数据之间的关联关系,对业务办理结束的业务以及对应的关联业务进行数据清理,提高数据的清理效率。本申请还提供了上述方法对应的平台、设备、计算机可读存储介质以及计算机程序产品。
第一方面,本申请提供了一种历史数据清理的方法,该方法包括:
提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单;
根据业务的业务数据信息,获取与业务具有关联关系的关联业务;
提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单;
剔除历史数据清理清单的主关键字中被包括在豁免记录清单中的主关键字,获得数据清理清单;
清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,根据业务的业务数据信息,获取与业务具有关联关系的关联业务,包括:
分析业务的业务数据信息中数据表文件的数据结构与其他模块数据信息中数据表文件的数据结构,获取与业务具有关联关系的关联业务。
在一些可能的实现方式中,该方法还包括:
根据数据清理清单,下载被清理的业务数据信息至归档系统。
在一些可能的实现方式中,该方法还包括:
根据归档系统中业务数据信息的保留时间,销毁超过保留时间的业务数据信息。
在一些可能的实现方式中,清理主关键字被数据清理清单包括的业务数据信息,包括:
根据数据清理清单进行数据估算,定制清理时间;
在定制的清理时间,清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,根据业务的业务数据信息,获取与业务具有关联关系的关联业务,包括:
分析业务的业务数据信息中数据表文件的属性与其他模块数据信息中数据表文件的属性,获取与业务具有关联关系的关联业务。
第二方面,本申请提供了一种历史数据清理的装置,该装置包括:
历史数据清理清单形成模块,用于提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单;
关联业务获取模块,用于根据业务的业务数据信息,获取与业务具有关联关系的关联业务;
豁免记录清单形成模块,用于提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单;
数据清理清单获取模块,用于剔除历史数据清理清单的主关键字中被包括在豁免记录清单中的主关键字,获得数据清理清单;
清理模块,用于清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,关联业务获取模块,具体用于:
分析业务的业务数据信息中数据表文件的数据结构与其他模块数据信息中数据表文件的数据结构,获取与业务具有关联关系的关联业务。
在一些可能的实现方式中,该装置还包括:
下载模块,用于根据数据清理清单,下载被清理的业务数据信息至归档系统。
在一些可能的实现方式中,该装置还包括:
销毁模块,用于根据归档系统中业务数据信息的保留时间,销毁超过保留时间的业务数据信息。
在一些可能的实现方式中,清理模块,具体用于:
根据数据清理清单进行数据估算,定制清理时间;
在定制的清理时间,清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,关联业务获取模块,具体用于:
分析业务的业务数据信息中数据表文件的属性与其他模块数据信息中数据表文件的属性,获取与业务具有关联关系的关联业务。
第三方面,本申请提供一种设备,所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令,以使得设备执行如第一方面或第一方面的任一种实现方式中的历史数据清理的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,所述指令指示设备执行上述第一方面或第一方面的任一种实现方式所述的历史数据清理的方法。
第五方面,本申请提供了一种包含指令的计算机程序产品,当其在设备上运行时,使得设备执行上述第一方面或第一方面的任一种实现方式所述的历史数据清理的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种历史数据清理的方法,该方法提取办理结束的业务对应的业务数据信息中的主关键字,形成历史数据清理清单,然后根据业务数据信息,获取与该业务具有关联关系的关联业务,提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单,从历史数据清理清单中包括的主关键字中剔除被包括在豁免记录清单中包括的主关键字,形成数据清理清单,然后清理业务数据信息中主关键字被包括在数据清理清单中的业务数据信息。该方法能够根据业务数据信息的关联关系,对处理完成且关联业务已经处理完成的业务进行清理,即减少大量数据同时清理导致系统性能下降的问题,提高数据清理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种历史数据清理的方法的流程示意图;
图2为本申请实施例提供的一种历史数据清理的方法的流程示意图;
图3为本申请实施例提供的一种历史数据清理的方法的分阶段流程示意图;
图4为本申请实施例提供的一种历史数据清理的方法的分组件流程示意图;
图5为本申请实施例提供的一种历史数据清理的装置的架构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请提供的实施例中的方案进行描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。
为了便于理解本申请的技术方案,下面对本申请涉及的一些技术术语进行介绍。
银行的历史数据通常是大数据表,数据的主文件的数量级通常较大,可以是千万条甚至上亿条记录,并且这些数据通常不仅涉及该大数据表,还与其他关联业务具有关联关系。在数据量本来就大的基础上,加上关联关系使得银行的历史数据处理的数据量更大,关联复杂。并且,银行对于历史数据的清理通常是在数据量增长到一定程度才不得不进行清理的,因此在清理前才分析数据之间的关联关系,但是分析的工作量也很大,并且很容易被遗漏。
有鉴于此,本申请提出了一种历史数据清理的方法,该方法可以由处理设备完成,处理设备是指具有数据处理能力的设备,例如可以是智能手机等终端设备,或者是服务器。
具体地,处理设备在业务处理完成后,提取业务的业务数据信息中的主关键字,形成历史数据清理清单,然后根据该业务的业务数据信息,获取与该业务具有关联关系的关联业务,提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单,然后剔除历史数据清理清单中的主关键字中被包括在豁免记录清单中的主关键字,获得数据清理清单,根据数据清理清单,清理业务数据信息中主关键字被数据清理清单包括的业务数据信息。
如此,能够在业务处理完成后,即根据业务的关联关系,对于业务自身已经完成且关联业务也完成的业务进行清理,如此能够避免所有业务同时清理导致的数据量过大,影响系统性能的问题,并且能够避免已经完成的业务对应的数据在系统中的堆积,提高了数据的清理效率。
接下来,将结合附图对本申请实施例提供的历史数据清理的方法进行介绍。
参见图1所示的历史数据清理的方法的流程图,该方法包括如下步骤:
S102:提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单。
通常情况下,历史数据的清理具有长期性,因此在业务数据产生之初就可以为历史数据清理做好准备。在一些可能的实现方式中,可以设置数据清理侦听组件,在业务数据产生就告知数据清理侦听组件,同样地,在业务处理结束后,也将业务处理结束的信息告知数据清理侦听组件,数据清理侦听组件可以将业务办理结果以文件的形式通知数据清理模块。
在一些可能的实现方式中,因为历史数据清理的标准通常在需求分析阶段就已经确定,但是清理的时间和数据保留的期限却可能随着数据量的不断增长和业务的发展不断发生变化。例如可能存在需求分析阶段数据清理的时间为每年年末,数据保留期限为1年,但是可能存在随着业务的不断增长而发生改变,例如数据清理的时间可能为半年年末,数据保留期限为半年。为了降低需求变更所带来的程序的修改,可以将历史数据清理时间和数据保留期限等可能变化的参数单独抽取出来,变成可以通过定义维护的参数。参数化的设计,能够灵活动态地调整数据清理的策略和方法,根据预估的数据量,结合业务需求,规划应用表的保留期限和清理周期。
通常情况下,应用程序扫描业务数据信息,将业务数据信息中业务处理完成的主关键字登记获得历史数据清理清单,其中这些主关键字并不一定带有日期数据,例如已经销户超过一定期限的活期存款的主关键字可能是存款账号。因此根据主关键字进行历史数据清理,需要通过主关键字真正删除档案中的相关记录,通常需要再次检查记录的状态以及日期,已经销户的活期存款被销户重开等意外错误的产生。
在一些可能的实现方式中,业务处理中涉及新数据的产生或者数据状态的改变通常统一通知数据清理的相关组件,例如数据清理侦听组件等。数据清理后一般对数据库表格进行重组(reorg),可以参照日常系统
S104:根据该业务的业务数据信息,获取与该业务具有关联关系的关联业务。
其中,开发人员可以通过分析业务的业务数据信息中数据表文件的数据结构与其他模块数据信息中数据表文件的数据结构,获取与业务具有关联关系的关联业务。也可以通过分析业务的业务数据信息中数据表文件的属性与其他模块数据信息中数据表文件的属性,获取与业务具有关联关系的关联业务。
在一些可能的实现方式中,可以增加数据关联组件,通过该组件能够全盘控制所有业务数据的所有关联关系,在银行系统应用程序处理业务时增加调用该组件,从而能够实时更新关联池中记录的关联状态。
本实施例中,将银行的历史数据清理作为一项复杂的系统工程,将数据清理工作放在银行系统的数据的全生命周期中考虑。因此,考虑到历史数据清理的方方面面,全生命周期的历史数据清理的管理可能涉及主机以及开放平台。具体地,在数据设计时即建立数据关联关系,并且在银行系统的整个生命周期中进行实时维护,在银行系统的运行期间进行数据的清理筛选。
S106:提取该关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单。
在一些可能的实现方式中,设置数据清理侦听组件,数据清理侦听组件获取关联业务的办理状态信息,如果所有关联业务均办理结束,数据清理侦听组件将办理结果以文件的形式通知数据清理模块,对于关联业务没有办理完成的业务,数据清理侦听组件以豁免记录清单的形式通知数据清理模块,其中,豁免记录清单中可以包括关联业务中未执行完毕的业务数据信息中的主关键字。
S108:剔除该历史数据清理清单的主关键字中被包括在该豁免记录清单中的主关键字,获得数据清理清单。
在一些可能的实现方式中,对于确定要清理的数据主档,根据历史数据清理清单和豁免记录清单的比对,经过拼接去重剔除掉历史数据清理清单中被豁免记录清单包括的主关键字信息,形成数据清理清单,数据清理清单是历史数据清理清单的子集。
S110:清理主关键字被该数据清理清单包括的业务数据信息。
其中需要被清理的业务数据信息可以包括时间字段,也可以包括状态字段。
根据该数据清理清单进行数据估算,定制清理时间,在定制的清理时间,清理主关键字被数据清理清单包括的业务数据信息。
可选地,数据清理模块根据各个数据表的历史数据清理控制组件和数据量进行数据估算,确定清理方案,然后根据清理方案中的清理时间,发起历史数据清理工作,可以减少一次性清理数据量过大的问题。
通过主关键字对业务数据信息进行清理能够通过主关键字提前对数据进行筛选,确定清理范围,从而减少全表扫描导致的数据库访问效率较低的问题。
在一些可能的实现方式中,可以根据被清理应用表的所分部分(part)情况以及数据量,确定清理作业的方式。当所分part是数据量较大的表,采用程序的方式删除记录,系统会登记DB2数据库运行中的信息,一次性大量清理可能引起系统性能下降,因此通常采用分part处理的方式。在需求分析阶段,对于涉及大数据量的清理,可以通过增加清理次数的方式分散每次清理的数据量,从而提高性能。
在一些可能的实现方式中,在对相关联的应用表数据进行清理时,在性能允许的情况下,可以在相同批量的程序进行清理,以保证应用数据的一致性。例如在同一程序中,可以对账户表的待清理记录以及账户在协议表中的关联记录串行进行删除。
历史数据清理动作的发起通常由应用统一发起。在一些可能的实现方式中,可以设置历史数据清理操作查询组件,应用清理程序每天都启动执行,根据处理对象调用历史数据清理操作查询组件检查是否当天是否需要进行数据清理。当需要数据清理时,数据清理操作查询组件返回操作和记录的最小保留日期,根据最小保留日期进行数据清理。
在一些可能的实现方式中,在进行数据清理之前,对数据进行备份,然后读取数据清理清单,将该清单中主关键字对应的数据主档信息进行下载,形成数据下传文本,下传至开放平台。
完整的银行数据管理流程通常涉及主机以及开放平台,因此历史数据清理可以涵盖分布式架构的多个环节,除了前面提到的主机数据下传、主机数据清理,还可以包括主机数据归档和归档数据销毁等。因此,在一些可能的实现方式中,该方法还可以包括S112和S114,如图2所示。
S112:根据该数据清理清单,下载被清理的业务数据信息至归档系统。
具体地,根据数据下传文本将归档记录加载至归档系统。
S114:根据归档系统中业务数据信息的保留时间,销毁超过保留时间的业务数据信息。
在一些可能的实现方式中,可以设置定期销毁数据。具体地,当数据留存时间超过归档系统中业务数据信息的保留时间,则销毁业务数据信息。
基于上述内容描述,本申请实施例提供了一种历史数据清理的方法,该方法提取办理结束的业务对应的业务数据信息中的主关键字,形成历史数据清理清单,然后根据业务数据信息,获取与该业务具有关联关系的关联业务,提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单,从历史数据清理清单中包括的主关键字中剔除被包括在豁免记录清单中包括的主关键字,形成数据清理清单,然后清理业务数据信息中主关键字被包括在数据清理清单中的业务数据信息。
该方法能够根据业务数据信息的关联关系,对处理完成且关联业务已经处理完成的业务进行清理,避免了所有数据同时清理可能导致系统性能下降,提高数据清理的效率。
进一步地,该方法通过将历史数据清理置于数据全生命周期中进行,有利于保持银行核心系统数据的有效性,提高了资源的利用率。
以上对于该方法的流程进行了介绍,下面将该方法所涉及的历史数据清理置于完整的银行系统数据全生命周期中进行考虑,如图3所示。
在系统设计阶段,设计数据结构,根据数据结构确定数据的关联关系,根据设计的数据结构确定数据结构,根据数据结构确定数据的清理方式。
在系统运行阶段,在确定数据结构后进行数据办理,判断业务是否办理结束,业务办理结束的情况下通过数据关联组件判断是否具有关联数据,当存在关联业务时,判断关联业务是否办理结束,当关联业务没有办理结束时,将该关联业务对应的业务加入豁免清单。当关联业务办理结束后,判断是否可以进行清理。
在备份归档阶段,将可以进行清理处理的数据进行归档处理,然后判断数据是否超过有效期,当超过有效期时,对数据进行销毁。将可以进行清理处理的文件备份,根据实际需求判断是否需要恢复,当需要恢复时,返回业务办理步骤。
下面参照图4,对本申请实施例涉及的各组件进行介绍。
数据清理控制组件的核心数据结构是数据清理参数表,可以通过数据清理参数表的设置,设置数据清理的周期和频率。
数据清理参数表的维护通常包括增加、删减、查询、浏览等。在一些可能的实现方式中,增加、删减等修改操作对应更高的用户权限,例如只能由总行柜员执行,查询和浏览则可以不作限定。
历史数据清理操作查询组件的主要功能为检查是否当天是否需要进行数据清理。当需要数据清理时,数据清理操作查询组件返回操作和记录的最小保留日期,根据最小保留日期进行数据清理。
数据关联组件主要功能是建立和维护核心银行系统中数据库表之间的关联关系。
数据清理侦听组件能够根据收到的业务办理状态形成豁免记录清单。
具体地,数据清理控制组件根据数据类型进行数据筛选,并对筛选的文件进行去重豁免处理,获取结果文件。根据数据类型进行数据设计,并根据业务办结通知、数据关联组件以及数据清理侦听组件,确定是否属于清理豁免,然后清理需要豁免的数据文件。对于结果文件进行打包压缩,进行备份,根据并行度以及清理策略筛选结果文件集进行数据清理,清理结果文件,并下传至管理系统清理档案文件,到期对档案文件进行销毁。当数据清理失败时,数据恢复。
以上结合图1对本申请实施例提供的历史数据清理的方法进行了详细介绍,接下来,将结合附图对本申请实施例提供的历史数据清理的装置进行介绍。
参见图5所示的历史数据清理的装置的结构示意图,该装置500包括:历史数据清理清单形成模块502、关联业务获取模块504、豁免记录清单形成模块506、数据清理清单获取模块508以及清理模块510。
历史数据清理清单形成模块,用于提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单;
关联业务获取模块,用于根据业务的业务数据信息,获取与业务具有关联关系的关联业务;
豁免记录清单形成模块,用于提取关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单;
数据清理清单获取模块,用于剔除历史数据清理清单的主关键字中被包括在豁免记录清单中的主关键字,获得数据清理清单;
清理模块,用于清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,关联业务获取模块,具体用于:
分析业务的业务数据信息中数据表文件的数据结构与其他模块数据信息中数据表文件的数据结构,获取与业务具有关联关系的关联业务。
在一些可能的实现方式中,该装置还包括:
下载模块,用于根据数据清理清单,下载被清理的业务数据信息至归档系统。
在一些可能的实现方式中,该装置还包括:
销毁模块,用于根据归档系统中业务数据信息的保留时间,销毁超过保留时间的业务数据信息。
在一些可能的实现方式中,清理模块,具体用于:
根据数据清理清单进行数据估算,定制清理时间;
在定制的清理时间,清理主关键字被数据清理清单包括的业务数据信息。
在一些可能的实现方式中,关联业务获取模块,具体用于:
分析业务的业务数据信息中数据表文件的属性与其他模块数据信息中数据表文件的属性,获取与业务具有关联关系的关联业务。
根据本申请实施例历史数据清理的装置500可对应于执行本申请实施例中描述的方法,并且历史数据清理的装置500的各个模块的上述和其它操作和/或功能分别为了实现图1中的各个方法的相应流程,为了简洁,在此不再赘述。
本申请提供一种设备,用于实现历史数据清理的方法。所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令,以使得设备执行历史数据清理的方法。
本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在设备上运行时,使得设备执行上述历史数据清理的方法。
本申请提供了一种包含指令的计算机程序产品,当其在设备上运行时,使得设备执行上述历史数据清理的方法。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (10)
1.一种历史数据清理的方法,其特征在于,所述方法包括:
提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单;
根据所述业务数据信息,获取与所述处理完成业务具有关联关系的关联业务;
提取所述关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单;
剔除所述历史数据清理清单的主关键字中被包括在所述豁免记录清单中的主关键字,获得数据清理清单;
清理主关键字被所述数据清理清单包括的业务数据信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述业务数据信息,获取与所述处理完成业务具有关联关系的关联业务,包括:
分析所述处理完成业务的业务数据信息中数据表文件的数据结构与其他模块数据信息中数据表文件的数据结构,获取与所述处理完成业务具有关联关系的关联业务。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述数据清理清单,下载被清理的所述业务数据信息至归档系统。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据所述归档系统中业务数据信息的保留时间,销毁超过所述保留时间的业务数据信息。
5.根据权利要求1所述的方法,其特征在于,所述清理主关键字被所述数据清理清单包括的业务数据信息,包括:
根据所述数据清理清单进行数据估算,定制清理时间;
在定制的清理时间,清理主关键字被所述数据清理清单包括的业务数据信息。
6.根据权利要求1所述的方法,其特征在于,所述根据所述业务数据信息,获取与所述处理完成业务具有关联关系的关联业务,包括:
分析所述业务数据信息中数据表文件的属性与其他模块数据信息中数据表文件的属性,获取与所述处理完成业务具有关联关系的关联业务。
7.一种历史数据清理的装置,其特征在于,所述装置包括:
历史数据清理清单形成模块,用于提取处理完成业务的业务数据信息中的主关键字,形成历史数据清理清单;
关联业务获取模块,用于根据所述业务数据信息,获取与所述处理完成业务具有关联关系的关联业务;
豁免记录清单形成模块,用于提取所述关联业务中未执行完毕的业务数据信息中的主关键字,形成豁免记录清单;
数据清理清单获取模块,用于剔除所述历史数据清理清单的主关键字中被包括在所述豁免记录清单中的主关键字,获得数据清理清单;
清理模块,用于清理主关键字被所述数据清理清单包括的业务数据信息。
8.一种设备,其特征在于,所述设备包括处理器和存储器;
所述处理器用于执行所述存储器中存储的指令,以使得所述设备执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,包括指令,所述指令指示设备执行如权利要求1至6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得计算机执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850839.4A CN113485996A (zh) | 2021-07-27 | 2021-07-27 | 一种历史数据清理的方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110850839.4A CN113485996A (zh) | 2021-07-27 | 2021-07-27 | 一种历史数据清理的方法、装置、设备、介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113485996A true CN113485996A (zh) | 2021-10-08 |
Family
ID=77942827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110850839.4A Pending CN113485996A (zh) | 2021-07-27 | 2021-07-27 | 一种历史数据清理的方法、装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113485996A (zh) |
-
2021
- 2021-07-27 CN CN202110850839.4A patent/CN113485996A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
CN107818431B (zh) | 一种提供订单轨迹数据的方法和系统 | |
CN102171660B (zh) | 从整体数据库备份中备份并恢复所选的有版本的对象 | |
AU2013329525B2 (en) | System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data | |
CN110321339B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
US20140282848A1 (en) | System and Method to Provide Management of Test Data at Various Lifecycle Stages | |
WO2007036932A2 (en) | Data table management system and methods useful therefor | |
CN103390066A (zh) | 一种数据库全局性自动化优化预警装置及其处理方法 | |
CN103984726A (zh) | 一种数据库执行计划的局部修正方法 | |
CN109669976A (zh) | 基于etl的数据服务方法及设备 | |
CN104217004A (zh) | 一种交易系统的数据库热点的监控方法及装置 | |
CN105528275A (zh) | 数据库安全检查方法 | |
CN110321364B (zh) | 信用卡管理系统的交易数据查询方法、装置及终端 | |
CN106919566A (zh) | 一种基于海量数据的查询统计方法及系统 | |
CN112907377A (zh) | 业务流程监控方法、装置、设备及介质 | |
CN113485996A (zh) | 一种历史数据清理的方法、装置、设备、介质及产品 | |
CN110888840A (zh) | 分布式文件系统中的文件查询方法、装置、设备及介质 | |
CN112685370B (zh) | 一种日志采集方法、装置、设备和介质 | |
CN114996104A (zh) | 一种数据处理方法和装置 | |
US7603376B1 (en) | File and folder scanning method and apparatus | |
CN113568892A (zh) | 一种基于内存计算对数据源进行数据查询的方法和设备 | |
KR20220054992A (ko) | Dcat 기반 메타데이터 변환 시스템 | |
CN102346757A (zh) | Ims数据库联机交易中数据影印方法及系统 | |
CN105512232A (zh) | 数据存储方法及装置 | |
CN101364224A (zh) | 用于信息管理的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |