CN101556589A - 一种Oracle在数据库中定期淘汰过期数据的方法 - Google Patents

一种Oracle在数据库中定期淘汰过期数据的方法 Download PDF

Info

Publication number
CN101556589A
CN101556589A CNA200810103577XA CN200810103577A CN101556589A CN 101556589 A CN101556589 A CN 101556589A CN A200810103577X A CNA200810103577X A CN A200810103577XA CN 200810103577 A CN200810103577 A CN 200810103577A CN 101556589 A CN101556589 A CN 101556589A
Authority
CN
China
Prior art keywords
database
data
stale data
subregion
oracle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200810103577XA
Other languages
English (en)
Inventor
汤海京
朱克威
朱红军
赵峰
孙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wenyan Technology Co Ltd
Original Assignee
Beijing Wenyan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wenyan Technology Co Ltd filed Critical Beijing Wenyan Technology Co Ltd
Priority to CNA200810103577XA priority Critical patent/CN101556589A/zh
Publication of CN101556589A publication Critical patent/CN101556589A/zh
Pending legal-status Critical Current

Links

Abstract

一种Oracle在数据库中定期淘汰过期数据的方法,首先将入库内容按照分类分别放置到不同的分区上;然后设置数据库中的存储过程和函数,定义了删除过期文件的方法和规则;最后设置数据库中的定时任务(也可以在操作系统上进行定时任务),执行的操作包括添加可以容纳新数据的分区,删除过期数据的子分区,如果分区下的子分区都被删掉则删掉父分区;本发明使得在保证数据库性能不下降、运营不间断的情况下,在海量数据库中能够快速清除过期数据。

Description

一种Oracle在数据库中定期淘汰过期数据的方法
技术领域
本发明涉及一种Oracle在数据库中定期淘汰过期数据的方法。特别涉及一种在保证数据库性能不下降、运营不间断的情况下,在海量数据库中快速清除过期数据的方法。
背景技术
数据库是海量数据的应用系统中重要的组成部分,随着时间的推移,数据库的存储数据量达到一定程度时,会使磁盘空间使用增大,数据库性能迅速下降。不好的数据删除策略会使删除速度慢,还会形成大量的磁盘碎片。在TB级的数据库系统中,快速安全删除的数据策略是必须的。
发明内容
本发明所要解决的技术问题是提供一种快速删除数据库中过期数据的方法。
本发明所述的一种Oracle在数据库中定期淘汰过期数据的方法,该方法至少包括如下的步骤:
步骤1:将入库内容按照分类分别放置到不同的分区上。
步骤2:设置数据库中的存储过程和函数,定义了删除过期文件的方法和规则。
步骤3:设置数据库中的定时任务(也可以在操作系统上进行定时任务),执行的操作包括添加可以容纳新数据的分区,删除过期数据的子分区,如果分区下的子分区都被删掉则删掉父分区。
本发明涉及的一种Oracle在数据库中定期淘汰过期数据的方法,使得在保证数据库性能不下降、运营不间断的情况下,在海量数据库中能够快速清除过期数据。
具体实施方式:
本发明的主要步骤如下:
步骤1:设置数据库的时候,将内容类似、格式相同的内容合并成一个表,表中采用数据库的分区技术按照入库时间和内容类别将表划分成不同的分区和子分区,这样就可以根据分区的设置来灵活的进行过期数据的删除了。
步骤2:设置数据库中的存储过程和函数,定义了删除过期文件的方法和规则。内容数据分为时效性强和时效性一般的数据,对于时效性强的数据,数据库的策略是保留一到两个月。时效性一般的内容保留时间是两个月到三个月。还有一些属于时效性很差的数据,这部分数据永久保留。
步骤3:在数据库中存储过程和定时任务,隔一段时间执行定时任务添加新的分区和删除部分子分区,当子分区全部删除后删除父分区。由于删除分区和删除子分区的速度远快于删除数据,在数据入库的时候就将数据分类,在删除的时候规则简单,很容易就做到了过期数据的删除,且由于删除分区不会造成磁盘空间的碎片,适于在海量数据容量的数据库中采用。
上述的技术方案实施时使得在保证数据库性能不下降、运营不间断的情况下,在海量数据库中能够快速清除过期数据。
最后所应说明的是,以上实施例仅用以说明而并非限制本发明所描述的技术方案;因此,尽管本说明书参照上述的实施例对本发明已进行了详细的说明,但是,本领域的普通技术人员应当理解,仍然可以对本发明进行修改或者等同地替换;而一切不脱离本发明的精神和范围的技术方案及其改进,其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1、一种Oracle在数据库中定期淘汰过期数据的方法,其特征在于:该方法至少包括如下的步骤:
步骤1:将入库内容按照分类分别放置到不同的分区上。
步骤2:设置数据库中的存储过程和函数,定义了删除过期文件的方法和规则。
步骤3:设置数据库中的定时任务,执行的操作包括添加可以容纳新数据的分区,删除过期数据的子分区,如果分区下的子分区都被删掉则删掉父分区。
2、根据权利要求1所述的一种Oracle在数据库中定期淘汰过期数据的方法,其特征在于设置数据库中的定时任务,执行的操作包括添加可以容纳新数据的分区,删除过期数据的子分区,如果分区下的子分区都被删掉则删掉父分区。
CNA200810103577XA 2008-04-09 2008-04-09 一种Oracle在数据库中定期淘汰过期数据的方法 Pending CN101556589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA200810103577XA CN101556589A (zh) 2008-04-09 2008-04-09 一种Oracle在数据库中定期淘汰过期数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA200810103577XA CN101556589A (zh) 2008-04-09 2008-04-09 一种Oracle在数据库中定期淘汰过期数据的方法

Publications (1)

Publication Number Publication Date
CN101556589A true CN101556589A (zh) 2009-10-14

Family

ID=41174706

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200810103577XA Pending CN101556589A (zh) 2008-04-09 2008-04-09 一种Oracle在数据库中定期淘汰过期数据的方法

Country Status (1)

Country Link
CN (1) CN101556589A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043726A (zh) * 2010-12-29 2011-05-04 北京播思软件技术有限公司 一种大规模时序数据的存储管理方法
CN102567428A (zh) * 2010-12-30 2012-07-11 中国移动通信集团浙江有限公司 一种在线数据生命周期管理方法和装置
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库系统的range分区表的维护方法和系统
CN103345396A (zh) * 2013-07-11 2013-10-09 北京京东尚科信息技术有限公司 用于商品特征的预处理的系统和方法
CN104572920A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种数据整理方法和装置
CN105045535A (zh) * 2015-07-22 2015-11-11 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和系统
CN105488167A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN102141963B (zh) * 2010-01-28 2016-06-08 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN106407269A (zh) * 2016-08-25 2017-02-15 刘华英 存储空间对象的处理方法和装置
CN107451154A (zh) * 2016-05-31 2017-12-08 华为技术有限公司 一种数据表的处理方法、装置及系统
US10025815B2 (en) 2015-07-13 2018-07-17 International Business Machines Corporation Deleting configuration items in a configuration management database
CN108763403A (zh) * 2018-05-22 2018-11-06 中国建设银行股份有限公司 一种数据卸载方法和装置
US10262034B2 (en) 2016-06-09 2019-04-16 International Business Machines Corporation Managing data obsolescence in relational databases
CN110113373A (zh) * 2014-11-21 2019-08-09 阿里巴巴集团控股有限公司 一种信息的过期处理方法及装置
WO2020020170A1 (zh) * 2018-07-26 2020-01-30 杭州海康威视数字技术股份有限公司 数据删除方法和装置
CN111061689A (zh) * 2019-12-13 2020-04-24 北京金山云网络技术有限公司 用于对象存储系统的文件过期处理方法、装置及电子设备
US10783125B2 (en) 2016-11-08 2020-09-22 International Business Machines Corporation Automatic data purging in a database management system

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141963B (zh) * 2010-01-28 2016-06-08 阿里巴巴集团控股有限公司 一种数据分析方法和设备
CN102043726B (zh) * 2010-12-29 2012-08-15 北京播思软件技术有限公司 一种大规模时序数据的存储管理方法
CN102043726A (zh) * 2010-12-29 2011-05-04 北京播思软件技术有限公司 一种大规模时序数据的存储管理方法
CN102567428A (zh) * 2010-12-30 2012-07-11 中国移动通信集团浙江有限公司 一种在线数据生命周期管理方法和装置
CN102982186A (zh) * 2012-12-26 2013-03-20 厦门市美亚柏科信息股份有限公司 基于oracle数据库系统的range分区表的维护方法和系统
CN103345396A (zh) * 2013-07-11 2013-10-09 北京京东尚科信息技术有限公司 用于商品特征的预处理的系统和方法
CN110113373A (zh) * 2014-11-21 2019-08-09 阿里巴巴集团控股有限公司 一种信息的过期处理方法及装置
CN104572920A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种数据整理方法和装置
US11048688B2 (en) 2015-07-13 2021-06-29 International Business Machines Corporation Deleting configuration items in a configuration management database
US10025815B2 (en) 2015-07-13 2018-07-17 International Business Machines Corporation Deleting configuration items in a configuration management database
CN105045535A (zh) * 2015-07-22 2015-11-11 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和系统
CN105045535B (zh) * 2015-07-22 2018-10-02 北京京东尚科信息技术有限公司 一种自动删除过期数据的方法和系统
CN105488167B (zh) * 2015-11-30 2019-12-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN105488167A (zh) * 2015-11-30 2016-04-13 北京金山安全软件有限公司 一种索引库更新方法及装置
CN107451154A (zh) * 2016-05-31 2017-12-08 华为技术有限公司 一种数据表的处理方法、装置及系统
US10262034B2 (en) 2016-06-09 2019-04-16 International Business Machines Corporation Managing data obsolescence in relational databases
US10606835B2 (en) 2016-06-09 2020-03-31 International Business Machines Corporation Managing data obsolescence in relational databases
CN106407269A (zh) * 2016-08-25 2017-02-15 刘华英 存储空间对象的处理方法和装置
US10783125B2 (en) 2016-11-08 2020-09-22 International Business Machines Corporation Automatic data purging in a database management system
CN108763403A (zh) * 2018-05-22 2018-11-06 中国建设银行股份有限公司 一种数据卸载方法和装置
WO2020020170A1 (zh) * 2018-07-26 2020-01-30 杭州海康威视数字技术股份有限公司 数据删除方法和装置
CN111061689A (zh) * 2019-12-13 2020-04-24 北京金山云网络技术有限公司 用于对象存储系统的文件过期处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN101556589A (zh) 一种Oracle在数据库中定期淘汰过期数据的方法
US8782368B2 (en) Storing chunks in containers
CN107038206B (zh) Lsm树的建立方法、lsm树的数据读取方法和服务器
CN101923568B (zh) 布隆过滤器的元素增加、删除方法以及布隆过滤器
CN102129435B (zh) 数据存储业务控制方法及系统
CN103164490B (zh) 一种不固定长度数据的高效存储实现方法和装置
CN102541757B (zh) 写缓存方法、缓存同步方法和装置
CN105787037B (zh) 一种重复数据的删除方法及装置
CN105988723A (zh) 一种快照处理方法及装置
CN103077241A (zh) 将文件拆分后并行加载数据入库的方法
CN107066349A (zh) 一种集群文件系统数据保护的方法及系统
CN104239438A (zh) 基于分离存储的文件信息存储方法和文件信息读写方法
CN105630834A (zh) 一种实现重复数据删除的方法及装置
CN112732191B (zh) 基于日志结构合并树合并数据的方法、系统、设备及介质
CN102467525A (zh) 单据关联方法及系统
CN104281535A (zh) 一种映射表在内存中的处理方法和装置
CN102521143B (zh) 一种堆数据处理方法及装置
CN103106200A (zh) 非关系型数据库同步系统及双写同步方法
CN102541982B (zh) 一种组织和访问元数据文件日志的方法
CN103593447A (zh) 用于数据库表的数据处理方法和装置
CN110399101A (zh) 一种磁盘的写操作处理方法、装置、系统及存储介质
CN106055372A (zh) 一种卸载应用程序的方法和装置
CN113253932A (zh) 一种分布式存储系统的读写控制方法和系统
CN102141964B (zh) 一种磁带重复使用的方法及装置
CN102270179B (zh) 用于cad系统的基于片元的数据存储和处理方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20091014