CN103823812A - 系统数据管理方法 - Google Patents

系统数据管理方法 Download PDF

Info

Publication number
CN103823812A
CN103823812A CN201210467227.8A CN201210467227A CN103823812A CN 103823812 A CN103823812 A CN 103823812A CN 201210467227 A CN201210467227 A CN 201210467227A CN 103823812 A CN103823812 A CN 103823812A
Authority
CN
China
Prior art keywords
data
rise time
management method
data management
event horizon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210467227.8A
Other languages
English (en)
Inventor
杨健健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Industrial Park New Hongbo Communication Technology Co Ltd
Original Assignee
Suzhou Industrial Park New Hongbo Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Industrial Park New Hongbo Communication Technology Co Ltd filed Critical Suzhou Industrial Park New Hongbo Communication Technology Co Ltd
Priority to CN201210467227.8A priority Critical patent/CN103823812A/zh
Publication of CN103823812A publication Critical patent/CN103823812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种系统数据管理方法，包括以下步骤，检测系统中的一笔数据生成时间；将该笔数据的生成时间与预设于系统中的时间界限进行比对；在所述该笔数据的生成时间短于所述时间界限，则不处理；在所述该笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。使用上述方法可以将很久之前存储的数据自系统中移除，释放系统空间，使系统运行更平稳可靠。

Description

系统数据管理方法
技术领域
本发明涉及数据管理领域，尤其是涉及一种定期检测和清理系统中的数据的系统数据管理方法。
背景技术
人类社会的发展过程中，对于以往数据的保存总是一个至关重要的问题。随着社会的发展，数据的量也越来越大。现在人们都已经习惯使用数据库进行数据的存储及管理。计算机在我国得到了很好的推广，各行各业都能见到各类计算机的身影；另外，随机软件技术的发展和现代管理的现实需求，很多机构和个人也需要对计算机数据库进行管理工作。目前，数据库已被广泛应用到各种系统之中。在实际业务系统中，历史数据是需要保存的，因为一是需要进行回溯查询，查看一段时间内或者历史同期的情况做出性能比较；第二，这也是数据挖掘的基础，利于性能优化。
但是历史数据会占用大量的空间，例如在基站中电能表领域，基站中的电能表的电能信息，每1000个采集终端（每个终端接100个电表）一天的数据量有200万条，系统运行一年后数据库的大小也有近1TB，此时频频出现查询历史缓慢的情况，并在浏览器端常常显示超时报警提示。然而，长期的保存所有的数据有时并没有意义，例如10年前的单个用户的用电信息可能就没有必要再行保存，最起码不需要在系统中进行保存，只要将其存储到固定的硬盘中即可。
发明内容
本发明涉及一种可定期检测和清理系统中的数据的系统数据管理方法。
为达到上述发明目的，本发明提供了一种系统数据管理方法，包括以下步骤，检测系统中的一笔数据生成时间；将该笔数据的生成时间与预设于系统中的时间界限进行比对；在所述该笔数据的生成时间短于所述时间界限，则不处理；在所述该笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。
作为本发明的进一步改进，所述将该笔数据自系统中移除表示将该笔数据删除。
作为本发明的进一步改进，所述将该笔数据自系统中移除表示将该笔数据保存至其它的文件系统中。
作为本发明的进一步改进，还包括在将该笔数据自系统中移除后检测系统中的下一笔数据生成时间的步骤。
作为本发明的进一步改进，还包括在完成所有的数据处理后再进一步从当前的第一笔数据进行检测的步骤。
为达到上述发明目的，本发明提供了一种系统数据管理方法，包括以下步骤，检测系统中的一笔数据生成时间；检测系统中的下一笔数据的生成时间；将每一笔数据的生成时间与预设于系统中的时间界限进行比对；在其中的一笔数据的生成时间短于所述时间界限时，则不处理；在其中的一笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。
作为本发明的进一步改进，所述将该笔数据自系统中移除表示将该笔数据删除。
作为本发明的进一步改进，所述将该笔数据自系统中移除表示将该笔数据保存至其它的文件系统中。
与现有技术相比，本发明所提供的系统数据管理方法可以定期将超过时间界限的数据自系统中移除，释放出系统空间，使系统的运行平稳可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的有关本发明的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统数据管理方法的第一实施例的流程图；
图2为本发明的系统数据管理方法的第二实施例的流程图。
具体实施方式
以下将结合附图所示的各实施例对本发明进行详细描述。但这些实施例并不限制本发明，本领域的普通技术人员根据这些实施例所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
参图1所示，将数据库与数据库管理系统存放在同一台服务器中，定期地，服务器检测系统中的一笔数据的生成时间，且在系统中预设有一时间界限，该时间界限有可能为一时间点或时间界限。在一实施例中为一时间界限，例如两年，在检测到一笔数据的生成时间时，将其与该时间界限进行比对，如果生成时间短于两年，则不作处理。如果生成时间长于两年，则将该笔数据自系统中移除。自系统中移除可包括至少两种情况，第一种是将该数据直接删除，第二种情况时，将该数据保护至其它的文件系统，例如硬盘中，当然，在数据库中即不再保存该笔数据。完成上述动作之后，系统再检测下一笔数据，进行下一笔数据的处理。当完成所有的动作之后，可以再自当前的第一笔数据进行再次的检测。当然，在其它的实施例中，可以间隔一定的时间再进行下一轮的检测和处理，例如一天。
请参阅图2所示，为本发明系统数据管理方法的另一实施例，其于第一实施例稍有不同。在第一实施例中，每次只针对一笔数据进行检测和处理，完成一笔后再进行下一笔数据的检测和处理。在本实施例中，每检测完一笔数据后暂不处理，接着检测下一笔数据，直到所有的数据均检测完毕，再统一进行处理。具体步骤包括检测系统中的一笔数据生成时间；然后再检测系统中的下一笔数据的生成时间；将每一笔数据的生成时间与预设于系统中的时间界限进行比对；在所有的数据中，如果其中的一笔数据的生成时间短于所述时间界限时，则对该笔数据不处理；在其中的一笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。同样地，自系统中移除可包括至少两种情况，第一种是将该数据直接删除，第二种情况时，将该数据保护至其它的文件系统，例如硬盘中，当然，在数据库中即不再保存该笔数据。当完成所有的动作之后，可以再自当前的第一笔数据进行再次的检测。当然，在其它的实施例中，可以间隔一定的时间再进行下一轮的检测和处理，例如一天。
本发明所提供的系统数据管理方法，可以定期清理数据系统中的超期数据，释放其中的磁盘空间，使数据系统运行平稳可靠。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种系统数据管理方法，包括以下步骤，
检测系统中的一笔数据生成时间；
将该笔数据的生成时间与预设于系统中的时间界限进行比对；
在所述该笔数据的生成时间短于所述时间界限，则不处理；在所述该笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。
2.如权利要求2所述的系统数据管理方法，其特征在于，所述将该笔数据自系统中移除表示将该笔数据删除。
3.如权利要求2所述的系统数据管理方法，其特征在于，所述将该笔数据自系统中移除表示将该笔数据保存至其它的文件系统中。
4.如权利要求1或2或3中所述的系统数据管理方法，其特征在于，还包括在将该笔数据自系统中移除后检测系统中的下一笔数据生成时间的步骤。
5.如权利要求4所述的系统数据管理方法，其特征在于，还包括在完成所有的数据处理后再进一步从当前的第一笔数据进行检测的步骤。
6.一种系统数据管理方法，包括以下步骤，
检测系统中的一笔数据生成时间；
检测系统中的下一笔数据的生成时间；
将每一笔数据的生成时间与预设于系统中的时间界限进行比对；
在其中的一笔数据的生成时间短于所述时间界限时，则不处理；在其中的一笔数据生成时间长于所述时间界限时，将所述该笔数据自系统中移除。
7.如权利要求6所述的系统数据管理方法，其特征在于，所述将该笔数据自系统中移除表示将该笔数据删除。
8.如权利要求6所述的系统数据管理方法，其特征在于，所述将该笔数据自系统中移除表示将该笔数据保存至其它的文件系统中。
CN201210467227.8A 2012-11-19 2012-11-19 系统数据管理方法 Pending CN103823812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210467227.8A CN103823812A (zh) 2012-11-19 2012-11-19 系统数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210467227.8A CN103823812A (zh) 2012-11-19 2012-11-19 系统数据管理方法

Publications (1)

Publication Number Publication Date
CN103823812A true CN103823812A (zh) 2014-05-28

Family

ID=50758883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210467227.8A Pending CN103823812A (zh) 2012-11-19 2012-11-19 系统数据管理方法

Country Status (1)

Country Link
CN (1) CN103823812A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479971A (zh) * 2017-07-31 2017-12-15 努比亚技术有限公司 一种数据处理方法、终端及计算机可读存储介质
CN107798041A (zh) * 2017-06-21 2018-03-13 平安科技（深圳）有限公司 保单数据存储方法、装置及终端设备
WO2018113580A1 (zh) * 2016-12-19 2018-06-28 腾讯科技（深圳）有限公司 一种数据管理方法及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003012685A2 (en) * 2001-08-03 2003-02-13 Tristlam Limited A data quality system
US20070055714A1 (en) * 2005-09-06 2007-03-08 Yohsuke Ishii Migration system for confirming worm retention term
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技（北京）有限公司 一种数据库维护方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003012685A2 (en) * 2001-08-03 2003-02-13 Tristlam Limited A data quality system
US20070055714A1 (en) * 2005-09-06 2007-03-08 Yohsuke Ishii Migration system for confirming worm retention term
CN102200972A (zh) * 2010-03-24 2011-09-28 腾讯科技（北京）有限公司 一种数据库维护方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113580A1 (zh) * 2016-12-19 2018-06-28 腾讯科技（深圳）有限公司 一种数据管理方法及服务器
US11500832B2 (en) 2016-12-19 2022-11-15 Tencent Technology (Shenzhen) Company Limited Data management method and server
CN107798041A (zh) * 2017-06-21 2018-03-13 平安科技（深圳）有限公司 保单数据存储方法、装置及终端设备
CN107479971A (zh) * 2017-07-31 2017-12-15 努比亚技术有限公司 一种数据处理方法、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108512689A (zh) 微服务业务监控方法及服务器
CN102902752B (zh) 一种日志监控方法及系统
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN104636240A (zh) 一种信息报表的获取方法及终端
CN109299164A (zh) 一种数据查询方法、计算机可读存储介质及终端设备
CN104182846A (zh) 一种客户管理系统
CN103823812A (zh) 系统数据管理方法
CN105005585A (zh) 一种日志数据的处理方法和装置
CN103678314A (zh) 基于关联规则提取的海量数据处理系统、设备及方法
CN105224418A (zh) 一种数据备份方法和装置
CN108073705B (zh) 一种分布式海量数据聚合采集方法
CN105447069A (zh) 基于bw平台的对账平台数据同步方法及系统
CN105354110B (zh) 云服务器数据备份方法及装置
CN102523112B (zh) 信息处理方法及设备
CN104063374A (zh) 一种对数据进行去重的方法和设备
CN105139296A (zh) 一种电网业务数据全生命周期质量管理系统
CN110855484B (zh) 自动检测业务量变化的方法、系统、电子设备和存储介质
CN105610643A (zh) 一种云计算监控方法及装置
CN110955547B (zh) 一种接口异常信息的管理方法、系统、设备及可读存储介质
CN105848291A (zh) 一种系统消息的处理方法和服务器
CN104424109A (zh) 一种信息处理方法及电子设备
CN105868057A (zh) 一种数据处理的方法、装置和移动终端
CN203164957U (zh) 企业级数据库备份系统
CN107315806B (zh) 一种基于文件系统的嵌入式存储方法和装置
CN110008020A (zh) 内存管理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140528

WD01 Invention patent application deemed withdrawn after publication