CN101267644A - 一种对监控数据的存储方法 - Google Patents

Abstract

本发明涉及在集中监控管理系统中一种对监控数据的存储方法，其包括如下步骤：根据监控数据的物理特性确定一个变化阀值、一个最小周期和一个最大周期；再将“当前采集值”与“前次采集值”进行比较，判断其变化幅度是否超出所述变化阀值；最后判断是否达到最大周期时长和最小周期时长，以此来选择需要存储的监控数据。本发明通过合理的设置存储周期和阀值，在数据量存储巨大的情况下，减少实时轮询的数据量的存储，以达到一种高效的数据存储效果。

Description

一种对监控数据的存储方法

技术领域

本发明涉及数据存储的领域，特别涉及在移动通讯基站的集中监控管理系统中一种对监控数据的存储方法。

背景技术

集中监控系统是指把所有监控数据的集中呈现，而且一般局站众多，信号量大，监控系统庞大，需要存储的数据量也非常大，所以导致实时监测的网络传输数据量也相当大。

再有，通常为了对监测数据进行有效的数据回归分析、曲线图表分析、设备老化分析、用电量、能耗管理分析和决策分析等，从而需要对数据进行大量的存储，数据量的大量存储会对数据库本身的并行存储，网络处理，存储容量造成巨大的压力。

这本身就是一种矛盾，一方面为了对监控数据进行分析，需要尽可能多的数据量，而另一方面，因为监测点的不断增多，而且大数据量的存储需求而导致数据库存储处理能力的压力，网络压力巨大，存储容量的压力，并且为了给告警数据的更加快速呈现和处理，需要尽可能的减少实时轮询的数据量的存储以缓解网络、存储和数据库的巨大压力。

发明内容

本方案克服了现有技术的不足，在提出一种在移动通信基站的监控数据领域，通过自动处理设备自动筛选，并只存储有效监控数据，以节省存储空间的存储方法。

本发明所采用的技术方案如下：

一种对监控数据的存储方法，先确定变化阀值、最小周期和最大周期三个参数，再以这三个参数为比较条件将当前所采集到的监控数据与前一次采集的监控数据进行比较，从而确定存储或丢弃该当前监控数据，具体通过如下步骤处理：

(1)实时采集监控数据，作为当前监控数据；

(2)将当前监控数据与前一次采集的监控数据进行比较，如果当前监控数据与前一次数据的变化幅度满足下述条件之一的，则存储当前监控数据：

(21)变化幅度大于变化阀值且达到最小周期时长；

(22)变化幅度小于变化阀值且达到最大周期时长。

上述技术方案中，变化阀值为当次采集的监控数据与前一次数据之间的差异，而最小周期和最大周期则是当次采集的监控数据距离前一次数据的时间差，本发明还包括如下处理步骤：

当前监控数据的变化幅度大于变化阀值且时间未达到最小周期，丢弃该当前监控数据，继续采集新的监测数据。

本发明还包括如下处理步骤：

当前监控数据的变化幅度小于变化阀值且时间未达到最大周期，丢弃该当前监控数据，继续采集新的监测数据。

本发明所述存储当前监控数据为将数据存储在如硬盘等永久性存储介质上，而丢弃当前监控数据则是将数据仅存放在内存等临时存储介质上，当前监控数据存储在永久性存储介质或存放在临时存储介质后，均作为前一次采集的监控数据，本发明继续采集新一轮的监控数据。

进一步的，本发明还包括在存储监控数据后对累计时间清零的处理步骤。

以及包括在丢弃监控数据时将累计时间增加的处理步骤。

本发明通过设置变化阀值、最小周期和最大周期这三个参数，将对监控设备所采集到的实时数据与前一次有效(存储)数据相比较，来进行有选择性的数据存储或丢弃，通过三个参数的合理设计，使得符合存储条件的都是有利于数据分析的有效数据，而不符合存储条件的都是对数据分析没有价值，仅浪费存储空间，而且影响数据分析进度的无用数据，本发明用比较先进的存储方法切实的解决数据量存储大对系统和网络的严格要求，而分析又需要尽可能多的数据的存储矛盾。这种数据存储方法是相当高效的存储方法。在不同的监控系统中，处理网络环境和数据库环境和对数据分析的深度和广度的需要，只需要简单调整这三个参数就能够切实获得比较好的存储效果。

附图说明

图1为本发明对数据存储方法的流程图；

图2为本发明实施例1存储数据的结果图。

具体实施方式

实施本发明的设备可采用一台主机，以及与主机连接的数据采集装置，该主机设置有实现本发明核心的数据处理模块(通过软件实现)，数据采集装置完成对移动基站设备的监控数据的采集，将采集到的“当前采集值”送入数据处理模块进行处理，数据处理模块负责对数据的分析和判断，存储满足设定条件的数据，并丢弃不满足设定条件的数据。同时，数据处理模块设置有计时及重置模块，在存储数据时将时间清零，在丢弃数据时则将时间累计。

应用本发明来对一类监测点进行监测数据存储时，根据经验值或者监测点的性质确定的一个变化阈值，然后确定一个最小周期，再确定一个最大周期。确定了这三个量之后就可以依据这样的规则对采集上来的实时数据进行高效的存储了。

如附图1所示，处理过程如下：

因为实时数据的采集是不断刷新前面一次的采集数据来进行数据的变化展示的。采集的实时数据跟前一次采集的实时数据相比较，看其变化幅度有没有超过前面所定义的变化阈值：

如果超过了这个变化阈值，但是还没有达到最小存储周期时长，不选择这次数据存储，如果超过这个变化阈值，而且达到了最小存储周期时长，选择存储这次实时采集数据。

如果变化幅度没有超过这个变化阈值，就一直不会存储当次实时采集数据，只有当到达最大存储周期到来的时候，才会存储一次数据。这样就可以以比较小的存储数据量而高效的记录这些实时数据的变化。或者说很好的记录了这些实时数据的确切变迁。

实际监控环境中，网络环境，数据库环境，计算机处理能力千差万别。要想在这些复杂环境中都能有比较好的存储效果，只需要简单的调整这几个参数就可以达到目的，比如，一个集中监控的监测点不是特别多，而且计算机处理能力很强，数据库服务器性能也很优越，我只需要简单调整阀值参数为0，把最小存储周期和最大存储周期设置成一样，设置最小，这样就可以完成全部数据的实时存储。

本发明通过将采集到的当前监控数据跟前一次采集数据进行比较，前一次采集数据可能是有效的存储在硬盘等永久性存储介质的数据，也可能是无效、将被丢弃的而暂时存放在内存的镜像数据。

实施例1

如图2所示，以集中监控系统对开关电源设备的监控为例，一个开关电源设备包含很多电源模块，而每一个电源模块又都需要实时监测其电压、电流、温度等数据的变化及数据存储分析。因此，这样一个开关电源设备需要存储的监测点就达到上百个，而集中监控系统中一般会有上万个开关电源设备进行集中监控。通常，集中监控系统设置采集数据的时间间隔为十秒，我们粗略估算一下数据量：大概是每十秒需要存储一千万条数据。如果把这些采集到的数据全部存储下来，先不用说数据库服务器的吞吐能力，光是存储就会很快把硬盘阵列撑满。

在本实施例中，选取的是电压监测点，根据经验值或监测点的性质我们将电压的阀值设为5伏特，最小周期为1分钟，最大周期为24小时。由于在实际监控过程中，有时候设备会由于雷击等原因出现数据异常，数据来回跳动。所以一般要设置一个最小周期值做一个存储保护。这样就不至于因为异常数据对数据库服务器瞬时造成过大的负担。

然后，每间隔10秒对数据进行采集，将“当前采集值”与“前次采集值”进行比较，判断其变化幅度是否超出5伏特。如果没有超过这个阀值数据(正常情况下的电压变化幅度会在1伏特左右)且没有达到最大周期时长，就不会一直存储“当前采集值”，只有当达到最大存储周期时长，才会存储“当前采集值”。如果所述电压变化幅度超过了这个阀值数据，但还没有达到最小存储周期时长，则不存储“当前采集值”，只有在超过预设的最小存储周期时长，才存储“当前采集值”。这样就以非常小的存储代价很高效的记录了数据的跃迁变化，图中箭头所指为要存储的“当前采集值”。

实施例2

在一个集中监控的监测点不是特别多，而且计算机处理能力很强，数据库服务器性能也很优越的情况下，按照本发明方法，在上述条件下对开关电源的电压进行采集，首先将阀值参数设置为0，最小周期设置为0，最大周期设置为0。将“当前采集值”与“前次采集值”进行比较，由于阀值参数设置为0，“当前采集值”与“前次采集值”之间的变化幅度较阀值而言总是变化的，所以“当前采集值”需要存储。而判断最小周期时，由于最小周期设置为0，总是在有效存储时间范围，所以就可以完成每一轮的数据存储。

Claims (6)

1、一种对监控数据的存储方法，其特征在于先确定变化阀值、最小周期和最大周期三个参数，再以这三个参数为比较条件将当前所采集到的监控数据与前一次采集的监控数据进行比较，从而确定存储或丢弃该当前监控数据，具体通过如下步骤处理：

(1)实时采集监控数据，作为当前监控数据；

(2)将当前监控数据与前一次采集的监控数据进行比较，如果当前监控数据与前一次数据的变化幅度满足下述条件之一的，则存储当前监控数据：

(21)变化幅度大于变化阀值且达到最小周期时长；

(22)变化幅度小于变化阀值且达到最大周期时长。

2、根据权利要求1所述的对监控数据的存储方法，其特征在于还包括如下处理步骤：

当前监控数据的变化幅度大于变化阀值且时间未达到最小周期，丢弃该当前监控数据，继续采集新的监测数据。

3、根据权利要求1或2所述的对监控数据的存储方法，其特征在于还包括如下处理步骤：

当前监控数据的变化幅度小于变化阀值且时间未达到最大周期，丢弃该当前监控数据，继续采集新的监测数据。

4、根据权利要求3所述的对监控数据的存储方法，其特征在于所述存储当前监控数据为将数据存储在永久性存储介质上，而丢弃当前监控数据则是将数据仅存放在临时存储介质上，当前监控数据存储在永久性存储介质或存放在临时存储介质后，均作为前一次采集的监控数据。

5、根据权利要求1所述的对监控数据的存储方法，其特征在于还包括在存储当前监控数据后对累计时间清零的处理步骤。

6、根据权利要求2或3所述的对监控数据的存储方法，其特征在于还包括在丢弃监控数据时将累计时间增加的处理步骤。

Images