CN101661470A - 一种历史数据管理系统与方法 - Google Patents

Abstract

一种历史数据管理系统与方法，系统包括配置文件单元，数据管理单元；方法为：初始化配置文件的参数，包括处理历史数据的时间范围、文件范围、处理时间、压缩文件的格式及压缩文件的删除策略；在设定的处理时间将所述时间范围内的历史数据压缩为设定格式；确定历史文件压缩成功后，根据配置文件所设定的删除策略，删除压缩成功的数据文件。采用本发明所述系统和方法，可以自动管理硬盘空间的效果，克服了现有的每天大量的历史数据归档时，导致硬盘空间极易占满，从而不能正常归档或整个系统由于可用空间不足，产生瘫痪的缺陷。

Description

一种历史数据管理系统与方法

技术领域

本发明涉及数据库应用领域，尤其是涉及存储数据库历史数据的硬盘空间管理领域。

背景技术

在电信管理网中，网络管理软件承担统一管理网元的重要角色。随着业务的增长及功能多样化，被管理的网元越来越多，而且网元下配置的数据也越来越丰富，使得数据库存储空间呈现迅速膨胀的趋势。大量的历史数据，会对网管的查询及入库产生效率上的影响。故需要及时把库中的历史数据归档成文件。随着时间的推移，这些大数据量的归档文件很快占满硬盘空间，给应用程序的正常运行带来极大的隐患。

目前很多应用程序都会产生大量数据文件，例如性能管理，它是网管的主要功能，也是产生最大数据量的功能之一。以传输网的SDH设备为例，各个单板每隔15分钟就要向网管上报大量的性能数据，管理的单板越多，上报的性能数据越多，大量的历史数据持续入库，会导致后续网管数据入库效率的降低及数据库空间急剧减小。

目前存在解决上述问题的一些方法，如中国专利CN200410096255提出了一种历史数据归档和查询装置及方法，可以部分解决该问题，即通过将历史数据进行压缩从而节省硬盘空间，但是大量的历史数据归档后，生成文本文件，随着时间的推移，导致大量的文本文件生成，同时占用硬盘的空间越来越大，如果不及时清理这些文件，就可能最终导致硬盘空间耗尽，使整个系统存在处于瘫痪的可能。

针对以上方法的缺陷，本发明提出一种定时增量压缩历史数据，自动管理硬盘空间的系统与方法。

发明内容

本发明提出一种历史数据管理系统和方法，有效控制硬盘空间增长，保证历史数据不会丢失，占用硬盘空间以较小的速度增长，既提高硬盘的使用率，又降低手工维护硬盘的频率。

本发明的技术方案为：

一种历史数据管理系统，其特征在于，包括配置文件单元，数据管理单元；

所述配置文件单元用于配置所述数据管理单元的相应参数；所述数据管理单元用于对数据库历史数据进行增量压缩并根据所述配置文件单元的参数配置删除已成功压缩的历史数据。

所述的历史数据管理系统，还包括硬盘空间定时检测单元，所述硬盘空间定时检测单元用于定时检测硬盘空间是否低于设定的临界阈值，当硬盘空间低于临界阈值时，硬盘空间定时检测单元根据设定处理机制进行操作，包括通过广播通知用户界面，将预警提示信息写入日志或者将该事件通知数据管理单元进行删除操作。

所述的历史数据管理系统，所述硬盘空间定时检测单元通过所述配置文件单元进行参数设定，包括定时检查时间，硬盘空间的临界阈值，硬盘空间低于临界阈值的处理机制。

一种历史数据管理方法，包括如下步骤：

步骤一，初始化配置文件的参数，包括处理历史数据的时间范围、文件范围、处理时间、压缩文件的格式及压缩文件的删除策略。

步骤二，在设定的处理时间将所述时间范围内的历史数据压缩为设定格式；

步骤三，确定历史文件压缩成功后，根据配置文件所设定的删除策略，删除压缩成功的数据文件。

上述历史数据管理方法，步骤一中根据文件目录、文件类型、文件大小设定文件范围；处理时间设定为周期间隔；压缩文件删除策略为定时或者实时删除特定的压缩文件。

上述历史数据管理方法，步骤一中的压缩文件文件格式为WIN、SUN或者HP平台下的特定格式。

上述历史数据管理方法，还可包括对硬盘空间定时检测的步骤，当定时检测到硬盘可用空间低于临界阈值时，按照设定的处理机制进行操作。所述处理机制为通过广播通知用户界面，将预警提示信息写入日志或者将该事件通知数据管理单元进行删除操作。

上述历史数据管理方法，所述硬盘空间临界阈值采用绝对值或者相对值设定，两种阈值可以同时生效。

采用本发明所述系统和方法，与现有技术相比，由于采取了定时增量压缩、删除已压缩目录或文件的技术措施，节省硬盘空间，达到了自动管理硬盘空间的效果，克服了现有的每天大量的历史数据归档时，导致硬盘空间极易占满，从而不能正常归档或整个系统由于可用空间不足，产生瘫痪的缺陷。

同时可通过硬盘空间检测系统及时检测硬盘空间，及时向用户和系统进行预警。所生成的压缩文件，可以采用不同平台(包括WIN、SUN平台和HP平台)下的通用解压工具解压使用。

附图说明

图1为本发明历史数据管理系统的一个实施例的系统结构图；

图2为本发明实施例压缩历史归档数据的流程示意图；

图3为本发明实施例定时对硬盘空间进行检测流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

图1为本发明历史数据管理系统的各单元示意图，本实施例包括配置文件单元，数据管理单元和硬盘空间定时检测单元。所述配置文件单元用于配置所述数据管理单元和硬盘空间定时检测单元的相应参数；所述数据管理单元用于对数据库历史数据进行增量压缩并根据所述配置文件单元的参数配置删除成功压缩的历史数据；所述硬盘空间定时检测单元用于定时检测硬盘空间是否低于临界阈值设定，当硬盘空间低于临界阈值时通知数据管理单元或者用户界面进行后续操作。

图2为本发明对历史数据进行管理的流程图。

1.首先初始化配置文件，包括历史数据的时间范围，如N＝10天；文件范围及处理时间，如指定文件目录和文件格式及处理时间，如每天凌晨2时；

2.根据配置文件中的处理时间，每隔10天于凌晨2时定时启动程序，根据配置文件所设定的文件范围扫描指定文件目录下的指定格式文件，检查是否存在未压缩的历史文件；

3.如果为压缩文件存在，增量压缩10天前的文件，以提高压缩效率；

4.确认压缩是否成功后，删除已完成压缩的文件或目录，其中压缩文件数据可通过WIN和Unix平台进行查询。

图3为定时对硬盘空间进行检测的流程图。

首先初始化配置文件，包括定时检查时间，硬盘空间的临界阈值，硬盘空间低于阈值的处理机制；

在设定的检查时间到达后，对硬盘空间进行扫描；

当硬盘可用空间低于所设定阈值时，根据相应的处理机制进行处理，如通过广播通知用户界面提示预警信息或者通知数据管理单元进行后续处理。

Claims (9)

1、一种历史数据管理系统，其特征在于，包括配置文件单元，数据管理单元；

所述配置文件单元用于配置所述数据管理单元的相应参数；

所述数据管理单元用于对数据库历史数据进行增量压缩并根据所述配置文件单元的参数配置删除已成功压缩的历史数据。

2、根据权利要求1所述的历史数据管理系统，其特征在于，还包括硬盘空间定时检测单元，所述硬盘空间定时检测单元用于定时检测硬盘空间是否低于设定的临界阈值，当硬盘空间低于临界阈值时，硬盘空间定时检测单元通过广播通知用户界面、将预警提示信息写入日志或者将该事件通知数据管理单元进行删除操作。

3、根据权利要求2所述的历史数据管理系统，其特征在于，所述硬盘空间定时检测单元通过所述配置文件单元进行参数设定。

4、一种历史数据管理方法，其特征在于，包括如下步骤：

步骤一，初始化配置文件的参数，包括处理历史数据的时间范围、文件范围、处理时间、压缩文件的格式及压缩文件的删除策略；

步骤二，在设定的处理时间将所述时间范围内的历史数据压缩为设定格式；

步骤三，确定历史文件压缩成功后，根据配置文件所设定的删除策略，删除压缩成功的数据文件。

5、根据权利要求4所述的历史数据管理方法，其特征在于：步骤一中根据文件目录、文件类型、文件大小设定文件范围；处理时间设定为周期间隔；压缩文件删除策略为定时或者实时删除特定的压缩文件。

6、根据权利要求4所述的历史数据管理方法，其特征在于：步骤一中的压缩文件文件格式为WIN、SUN或者HP平台下的特定格式。

7、根据权利要求4所述的历史数据管理方法，其特征在于还包括对硬盘空间定时检测的步骤，当定时检测到硬盘可用空间低于临界阈值时，按照设定的处理机制进行操作。

8、根据权利要求7所述的历史数据管理方法，其特征在于，所述处理机制为通过广播通知用户界面，将预警提示信息写入日志或者将该事件通知数据管理单元进行删除操作。

9、根据权利要求7、8所述的任意一种历史数据管理方法，其特征在于，所述硬盘空间临界阈值采用绝对值或者相对值设定。

Images