CN104182436B - 一种清理数据库的方法及装置 - Google Patents
一种清理数据库的方法及装置 Download PDFInfo
- Publication number
- CN104182436B CN104182436B CN201410063156.4A CN201410063156A CN104182436B CN 104182436 B CN104182436 B CN 104182436B CN 201410063156 A CN201410063156 A CN 201410063156A CN 104182436 B CN104182436 B CN 104182436B
- Authority
- CN
- China
- Prior art keywords
- database
- data
- needing
- configuration information
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种清理数据库的方法，包括：读取各个数据库中的配置信息，确定需要清理的数据库；根据所述配置信息，链接到所述需要清理的数据库，并映射出需要清理的表；根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；执行所述SQL命令，清理所述需要清理的表。本发明实施例还提供了相应的清理数据库的装置。使用本发明实施例公开的清理数据库的方法和装置能够提升无效数据的清理效率，保证较好的清理效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种清理数据库的方法及装置。
背景技术
随着互联网技术的发展，很多行业都已经进入了海量数据时代，当前涉及到大数据的技术大多集中在数据的挖掘和利用上。大数据的挖掘必然以存在大量的数据为前提，但数据量过大显然也会对挖掘和利用带来不小的困难。在当代信息爆炸的背景下，数据量急剧增加的同时也伴随着数据的快速更新，换言之，在掌握最新数据的同时，还必须及时的清理过时或失效的数据。否则，不仅会使数据量过于庞大导致数据挖掘的难度大幅增加，更重要的是有可能直接导致数据分析的错误。
目前在清理失效数据时，常用的做法是设置一个SQL(Structured QueryLanguage，结构化查询语言)命令来定时删除。但考虑到数据库多，数据量大的情况，使用这种方法的效率不会很高，而且很可能会出现漏删数据的情况：设置一个SQL命令定时删除失效数据，不支持对多个表同时操作的需求，就需要针对多个数据库/表分别设置SQL命令，部署起来相对麻烦，而且容易出错，在把针对一个数据库的SQL命令移植到另一个数据库上时，需要根据该数据库重新设置清理逻辑，因而就需要频繁修改代码，增加了工作量。
发明内容
本发明实施例提供一种清理数据库的方法及装置，用以解决现有技术中存在的清理无效数据效率低，工作量大的问题。
本发明的一个方面，提供一种清理数据库的方法，包括：
读取各个数据库中的配置信息，确定需要清理的数据库；
根据所述配置信息，链接到所述需要清理的数据库，并映射出需要清理的表；
根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
执行所述SQL命令，清理所述需要清理的表。
本发明的另一个方面，提供一种清理数据库的装置，包括：
确定单元，用于读取各个数据库中的配置信息，确定需要清理的数据库；
映射单元，用于根据所述配置信息，链接到所述确定单元确定的需要清理的数据库，并映射出需要清理的表；
SQL命令生成单元，根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
清理单元，用于执行所述SQL命令生成单元生成的所述SQL命令，清理所述需要清理的表。
使用本发明实施例公开的清理数据库的方法和装置，统一配置各个数据库中数据的失效条件或时间条件，在确定了要清理的表之后能够根据配置信息和待清理的表的结构自动生成清理无效数据的SQL命令，并自动执行清理操作，能够支持多表多库多种清理逻辑，不需要对每个表重新设置清理命令，从而大大提升了无效数据的清理效率，同时也可以保证较好的清理效果，不会出现漏删的情况。
附图说明
图1所示是本发明实施例提供的清理数据库的方法示意图；
图2所示是本发明实施例提供的清理数据库的方法流程图；
图3所示是本发明实施例提供的一种清理数据库的装置的结构示意图；
图4所示是本发明实施例提供的另一种清理数据库的装置的结构示意图；
图5所示是本发明实施例提供的另一种清理数据库的装置的结构示意图。
具体实施方式
在本发明实施例中，统一配置各个数据库中数据的失效条件或时间条件，在确定了要清理的表之后能够根据配置信息和待清理的表的结构自动生成清理无效数据的SQL命令，并自动执行清理操作。
以下详细说明本发明实施例提供的清理数据库的方法。
图1所示为本发明一个实施例提供的清理数据库的方法示意图，根据该图，详述各步骤如下：
步骤101、读取各个数据库中的配置信息，确定需要清理的数据库；
在本发明另一个实施例中，在本步骤读取各个数据库中的配置信息之前，还包括：设置各个数据库中的配置信息；
其中，所述配置信息为失效条件，满足失效条件的数据为失效数据；或者所述配置信息为时间条件，数据存储时间超过所述时间条件的数据为旧数据。
所述确定需要清理的数据库，包括：
根据所述各个数据库中配置的所述失效条件或者时间条件，查找是否存在失效数据或者旧数据；
将存在失效数据或者旧数据的数据库确定为需要清理的数据库。
步骤102、根据所述配置信息，链接到所述需要清理的数据库，并映射出需要清理的表；
其中，映射出需要清理的表，包括：
查找所述失效数据或者旧数据所在的表，将所述失效数据或者旧数据所在的表确定为需要清理的表。
步骤103、根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
其中，该步骤包括：
根据所述需要清理的表的结构，生成清理所述失效数据或者旧数据的SQL命令。
步骤104、执行所述SQL命令，清理所述需要清理的表。
其中，该步骤包括：
执行所述SQL命令，清理所述需要清理的表中的失效数据或者旧数据。
在本发明另一个实施例中，在所述读取各个数据库中的配置信息，确定需要清理的数据库之前，还包括：
设置定时器，在所述定时器中设定清理数据库的时间。
使用本发明实施例公开的清理数据库的方法，统一配置各个数据库中数据的失效条件或时间条件，在确定了要清理的表之后能够根据配置信息和待清理的表的结构自动生成清理无效数据的SQL命令，并自动执行清理操作，能够支持多表多库多种清理逻辑，不需要对每个表重新设置清理命令，从而大大提升了无效数据的清理效率，同时也可以保证较好的清理效果，不会出现漏删的情况。
图2为本发明一个实施例提供的清理数据库的方法流程图。根据该图，详述清理数据库的方法流程如下：
步骤201：设置各个数据库中的配置信息，读取数据库中配置的信息，来获取需要清理的数据库和表信息；
步骤202：设置定时器，根据定时器设置的时间定时执行清理数据库的任务；
假设根据配置零点执行清理数据库的任务，到零点时执行该任务，不满足时等待；
步骤203：根据步骤201中的配置信息，链接到需要清理的数据库；
步骤204：根据步骤201和203映射出每个数据库中需要清理的表信息；
步骤205：根据步骤201中的配置信息和步骤204中需要清理的表自动生产SQL命令；
步骤206：执行步骤205生成的SQL命令；
步骤207：根据步骤206返回的信息，如果成功则执行步骤210；
步骤208：根据步骤206返回的信息，如果失败，则执行步骤209；
步骤210：清理任务完成，等待第二天的零点执行步骤202。
使用本发明实施例公开的清理数据库的方法，统一配置各个数据库中数据的失效条件或时间条件，在确定了要清理的表之后能够根据配置信息和待清理的表的结构自动生成清理无效数据的SQL命令，并自动执行清理操作，能够支持多表多库多种清理逻辑，不需要对每个表重新设置清理命令，从而大大提升了无效数据的清理效率，同时也可以保证较好的清理效果，不会出现漏删的情况。
以下介绍一种清理数据库的装置，用以实施前述实施例中公开的清理数据库的方法。
图3所示为本发明一个实施例提供的一种清理数据库的装置的结构示意图。依据该图，详述该装置的结构如下：
确定单元301，用于读取各个数据库中的配置信息，确定需要清理的数据库；
其中，所述确定单元301确定需要清理的数据库，包括：
根据所述各个数据库中配置的所述失效条件或者时间条件，查找是否存在失效数据或者旧数据；
将存在失效数据或者旧数据的数据库确定为需要清理的数据库。
如图4所示，在本发明另一个实施例中，清理数据库的装置还包括设置单元305，用于设置各个数据库中的配置信息；
所述配置信息为失效条件，满足失效条件的数据为失效数据；或者所述配置信息为时间条件，数据存储时间超过所述时间条件的数据为旧数据。
映射单元302，用于根据所述配置信息，链接到所述确定单元301确定的需要清理的数据库，并映射出需要清理的表；
其中，所述映射单元302映射出需要清理的表，包括：
查找所述失效数据或者旧数据所在的表，将所述失效数据或者旧数据所在的表确定为需要清理的表。
SQL命令生成单元303，根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
其中，所述SQL命令生成单元303根据所述配置信息和所述需要清理的表生成SQL命令，包括：
根据所述需要清理的表的结构，生成清理所述失效数据或者旧数据的SQL命令。
清理单元304，用于执行所述SQL命令生成单元303生成的所述SQL命令，清理所述需要清理的表。
其中，所述清理单元304执行所述SQL命令，清理所述需要清理的表，包括：
执行所述SQL命令，清理所述需要清理的表中的失效数据或者旧数据。
图5为本发明另一个实施例提供的一种清理数据库的装置，在此实施例中，该装置还包括了定时单元306，用于设置定时器，在所述定时器中设定清理数据库的时间。
使用本发明实施例公开的清理数据库的装置，统一配置各个数据库中数据的失效条件或时间条件，在确定了要清理的表之后能够根据配置信息和待清理的表的结构自动生成清理无效数据的SQL命令，并自动执行清理操作，能够支持多表多库多种清理逻辑，不需要对每个表重新设置清理命令，从而大大提升了无效数据的清理效率，同时也可以保证较好的清理效果，不会出现漏删的情况。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟、光盘、网络节点、调度器等各种可以存储程序代码的介质。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种清理数据库的方法，其特征在于，包括：
读取各个数据库中的配置信息，确定需要清理的数据库；
根据所述配置信息，链接到所述需要清理的数据库，并映射出需要清理的表；
根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
执行所述SQL命令，清理所述需要清理的表；
在所述读取各个数据库中的配置信息之前，还包括：设置各个数据库中的配置信息；
所述配置信息为失效条件，满足失效条件的数据为失效数据；或者所述配置信息为时间条件，数据存储时间超过所述时间条件的数据为旧数据；
所述确定需要清理的数据库，包括：
根据所述各个数据库中配置的所述失效条件或者时间条件，查找是否存在失效数据或者旧数据；
将存在失效数据或者旧数据的数据库确定为需要清理的数据库；
所述映射出需要清理的表，包括：
查找所述失效数据或者旧数据所在的表，将所述失效数据或者旧数据所在的表确定为需要清理的表；
所述根据所述配置信息和所述需要清理的表生成SQL命令，包括：
根据所述需要清理的表的结构，生成清理所述失效数据或者旧数据的SQL命令；
所述清理单元执行所述SQL命令，清理所述需要清理的表，包括：
执行所述SQL命令，清理所述需要清理的表中的失效数据或者旧数据。
2.根据权利要求1中任一项所述的方法，其特征在于，在所述读取各个数据库中的配置信息，确定需要清理的数据库之前，还包括：
设置定时器，在所述定时器中设定清理数据库的时间。
3.一种清理数据库的装置，其特征在于，包括：
确定单元，用于读取各个数据库中的配置信息，确定需要清理的数据库；
映射单元，用于根据所述配置信息，链接到所述确定单元确定的需要清理的数据库，并映射出需要清理的表；
SQL命令生成单元，根据所述配置信息和所述需要清理的表生成结构化查询语言SQL命令；
清理单元，用于执行所述SQL命令生成单元生成的所述SQL命令，清理所述需要清理的表；
所述装置还包括：
设置单元，用于设置各个数据库中的配置信息；
所述配置信息为失效条件，满足失效条件的数据为失效数据；或者所述配置信息为时间条件，数据存储时间超过所述时间条件的数据为旧数据；
所述确定单元确定需要清理的数据库，包括：
根据所述各个数据库中配置的所述失效条件或者时间条件，查找是否存在失效数据或者旧数据；
将存在失效数据或者旧数据的数据库确定为需要清理的数据库；
所述映射单元映射出需要清理的表，包括：
查找所述失效数据或者旧数据所在的表，将所述失效数据或者旧数据所在的表确定为需要清理的表；
所述SQL命令生成单元根据所述配置信息和所述需要清理的表生成SQL命令，包括：
根据所述需要清理的表的结构，生成清理所述失效数据或者旧数据的SQL命令；
所述清理单元执行所述SQL命令，清理所述需要清理的表，包括：
执行所述SQL命令，清理所述需要清理的表中的失效数据或者旧数据。
4.根据权利要求3中任一项所述的装置，其特征在于，所述装置还包括：
定时单元，用于设置定时器，在所述定时器中设定清理数据库的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410063156.4A CN104182436B (zh) | 2014-02-25 | 2014-02-25 | 一种清理数据库的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410063156.4A CN104182436B (zh) | 2014-02-25 | 2014-02-25 | 一种清理数据库的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104182436A CN104182436A (zh) | 2014-12-03 |
| CN104182436B true CN104182436B (zh) | 2017-10-03 |
Family
ID=51963485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410063156.4A Expired - Fee Related CN104182436B (zh) | 2014-02-25 | 2014-02-25 | 一种清理数据库的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104182436B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572920A (zh) * | 2014-12-27 | 2015-04-29 | 北京奇虎科技有限公司 | 一种数据整理方法和装置 |
| CN106997369B (zh) * | 2016-01-26 | 2020-11-24 | 阿里巴巴集团控股有限公司 | 数据清理方法及装置 |
| CN106528840A (zh) * | 2016-11-11 | 2017-03-22 | 中国银行股份有限公司 | 基于银行系统的业务数据的清理方法以及系统 |
| CN106503260B (zh) * | 2016-11-18 | 2020-04-28 | 北京奇虎科技有限公司 | 一种提高数据库的有效存储空间的方法和装置 |
| CN106776846A (zh) * | 2016-11-28 | 2017-05-31 | 桂林远望智能通信科技有限公司 | 一种释放数据库空间的方法和系统 |
| CN106682223B (zh) * | 2017-01-04 | 2020-03-10 | 上海智臻智能网络科技股份有限公司 | 数据有效性检测方法及装置、智能交互方法及装置 |
| CN109359107A (zh) * | 2018-11-05 | 2019-02-19 | 中国建设银行股份有限公司 | 数据库清理方法、系统、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101055591A (zh) * | 2007-05-25 | 2007-10-17 | 中兴通讯股份有限公司 | 一种全内存数据库的数据存取方法 |
| CN101605059A (zh) * | 2009-07-14 | 2009-12-16 | 中兴通讯股份有限公司 | 用于处理关联删除的方法和装置 |
| CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
| CN102915353A (zh) * | 2012-09-28 | 2013-02-06 | 浙江图讯科技有限公司 | 一种垃圾数据的清理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
-
2014
- 2014-02-25 CN CN201410063156.4A patent/CN104182436B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101055591A (zh) * | 2007-05-25 | 2007-10-17 | 中兴通讯股份有限公司 | 一种全内存数据库的数据存取方法 |
| CN101930431A (zh) * | 2009-06-25 | 2010-12-29 | 升东网络科技发展(上海)有限公司 | 数据库备份信息清理系统及方法 |
| CN101605059A (zh) * | 2009-07-14 | 2009-12-16 | 中兴通讯股份有限公司 | 用于处理关联删除的方法和装置 |
| CN102915353A (zh) * | 2012-09-28 | 2013-02-06 | 浙江图讯科技有限公司 | 一种垃圾数据的清理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104182436A (zh) | 2014-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104182436B (zh) | 一种清理数据库的方法及装置 | |
| US10831734B2 (en) | Update-insert for key-value storage interface | |
| CN1983266B (zh) | 闪速类介质中存储事务记录的文件系统 | |
| CN104376053B (zh) | 一种基于海量气象数据的存储与检索方法 | |
| CN103853718B (zh) | 分片数据库访问方法及数据库系统 | |
| JP4604041B2 (ja) | 集合値化された列とスカラ値化された列を単一のステートメントで修正するためのｓｑｌ言語の拡張 | |
| US20150127619A1 (en) | File System Metadata Capture and Restore | |
| CN109891402A (zh) | 可撤销和在线模式转换 | |
| CN105095287B (zh) | Lsm数据合并排序方法和装置 | |
| CN1179281C (zh) | 利用逻辑闪速存储器件进行最小单元更新的方法和设备 | |
| CN105447174A (zh) | 一种报表生成方法及装置 | |
| CN105630865A (zh) | 用于内存列式存储的n比特压缩版本化列数据阵列 | |
| CN1289966A (zh) | 通过事务对多个文件实现原子更新的事务文件系统 | |
| KR20070003577A (ko) | 역 계층적 구조를 갖고 있는 파일 시스템 | |
| JP2006018632A (ja) | リレーショナルデータベースのインデックス追加プログラム，インデックス追加装置及びインデックス追加方法 | |
| CN102651007A (zh) | 一种管理数据库索引的方法和装置 | |
| CN105808609A (zh) | 一种信息点数据冗余的判别方法和设备 | |
| JP6820918B2 (ja) | データ処理のための方法および装置 | |
| CN105005535A (zh) | 一种分布式闪存事务处理方法 | |
| CN101840400A (zh) | 一种多级分类检索方法及系统 | |
| CN106844369B (zh) | 对象化sql语句构造方法及装置 | |
| CN109284189A (zh) | 一种批量任务超时高效触发方法及系统 | |
| JP2007220107A (ja) | 不揮発性メモリのマッピング情報管理装置及び方法 | |
| CN104991776A (zh) | 一种基于配置的excel读写方法 | |
| CN109657803A (zh) | 机器学习模型的构建 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and device of cleaning database Effective date of registration: 20210104 Granted publication date: 20171003 Pledgee: Inner Mongolia Huipu Energy Co.,Ltd. Pledgor: WUXI TVMINING MEDIA SCIENCE & TECHNOLOGY Co.,Ltd. Registration number: Y2020990001517 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171003 Termination date: 20210225 |