CN103198157A

CN103198157A - 一种大地电场数据的压缩存储处理方法

Info

Publication number: CN103198157A
Application number: CN2013101531605A
Authority: CN
Inventors: 路明月; 闵锦忠; 邵一丹; 范晓梅; 尹静秋
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2013-04-28
Filing date: 2013-04-28
Publication date: 2013-07-10
Anticipated expiration: 2033-04-28
Also published as: CN103198157B

Abstract

本发明涉及一种大地电场数据的压缩存储处理方法，电场设备每一秒采集一次电场数据，以天作为存储记录单位对电场数据进行组织及存储，包括如下步骤:(1)将一天采集的电场数据根据其探测数值的变化剧烈程度进行压缩；(2)将压缩后获得的数据按照探测时刻所在的“时”划分不同的内存组织存储单元，以便响应针对时间段的数据查询；(3)将上述方法压缩组织好的数据序列化为二进制数据，作为一条记录存入数据库中；(4)创建服务接口，允许用户通过服务接口访问数据库，为用户提供服务。其有益效果为：不仅为数据的存储提供了更简明的方式，同时使海量电场数据的检索查询具有更快的速度与更高的效率。

Description

一种大地电场数据的压缩存储处理方法

技术领域

本发明涉及数据存储与处理，尤其涉及一种大地电场数据的压缩存储处理方法。

背景技术

随着探测技术的发展，大地电场的探测数据成为雷电预警的重要研究依据。然而目前电场设备的采集频率为一秒钟返回一次数据，这样每天每个探测设备将会产生24*60*60 = 86400个电场数据，则在数据库中对应86400条记录；并且电场数据是全天候监测，这样随着时间的推移所产生的数据将是海量的；并且目前采用的存储方式为一个时间对应一个数据，即：虽然数据按照约定为每一秒钟一个电场数据，但是每个数据对应的时间依然是被存储的；而且很多的数据尤其是对于晴好天气的数据基本上没有多少波动，对于相关的研究意义不大。目前对于大地电场数据的存储方式极大的浪费了存储空间，并且给海量历史数据的检索处理分析都造成累赘。

发明内容

本发明的目的在于克服现有技术的不足，提供一种大地电场数据的压缩存储处理方法，具体有以下技术方案实现：

所述大地电场数据的压缩存储处理方法，电场设备以天作为时间单位对电场数据进行采集及存储，电场设备每一秒采集一次电场数据，包括如下步骤:

(1)将一天采集的电场数据进行存储并压缩；

(2)对压缩后的数据进行预处理，将压缩后的电场数据及其探测时刻，按照探测时刻所在“时”组织成不同的数据单元，以便响应针对时间段的数据查询；

(3)将按照步骤1和步骤2压缩并分时组织好的数据序列化为二进制数据，作为一条记录存入数据库中；

(4)创建服务接口，允许用户通过服务接口访问数据库，为用户提供服务。

所述压缩存储处理方法的进一步设计在于，包括如下步骤：

(a)首先将本日第一个时刻的电场数据及其时间进行保留，并设定一阈值K；

(b)依次遍历各个时刻的电场数据，将当前所遍历到的电场数据与上一个保留的数据进行比较，如果两者差值小于阈值K，则将该电场数据舍弃；反之，将该时刻的电场数据及其探测时刻进行存储，重复步骤（b），直到遍历至本日数据中倒数第二个电场数据；

(c)将最后一个电场数据及其探测时刻进行存储，形成所述数据记录。

所述压缩存储处理方法的进一步设计在于，所述步骤(4)中，创建WCF服务接口,当用户查询某日数据时，可以通过服务接口首先在数据库中按照日期信息在关键字中进行快速搜索，搜到结果后，将该日的大气电场二进制数据反序列化为数据对象，根据数据记录还原每一个时间点的电场数据；当用户需要查询某时间段的电场数据时，首先在反序列化得到的数据对象中，按照数据单元进行快速搜索，得到对应的数据单元后，再根据查询参数获得对应的首尾时刻点，继而进行这两个时刻点之间的数据还原，最后将还原好的数据通过WCF服务传递给用户使用。

所述压缩存储处理方法的进一步设计在于，所述阈值K取所有电场数据绝对平均值的1/20。

本发明的优点如下：

本发明提供的方法能够在很大程度上节省海量大地电场数据的存储空间，尤其是在正常天气情况，即大地电场变化不大时有更明显的效果，极端情况下,一天需要存储86400个电场数据，而压缩后仅为两个，即第一个数据和最后一个数据；在雷暴天气时，即数据变化剧烈时，可以最大限度地保持电场变化的原状。本发明在进行按照阈值压缩的基础上采用“时-日”的“分层、化零为整”式组织存储，不仅为数据的存储提供了更简明的方式，同时使海量电场数据的检索查询具有更快的速度与更高的效率，能够彻底解决海量电场数据的存储与快速查询这一瓶颈问题。

附图说明

图1是电场数据压缩前后的比较示意图。

图2是电场数据压缩后的再组织结构示意图。

图3是电场数据服务示意图。

具体实施方式

下面结合附图对本发明方案进行详细说明。

如图1-3，本实施例提供的大地电场数据的压缩存储处理方法：以天作为时间单位对电场数据进行组织存储，包括如下步骤:

(1) 首先以“天”为基本单位，将一天采集的电场数据进行组织压缩；

(2) 对压缩后的数据进行预处理，将压缩后的电场数据信息按照探测时刻所在“时”组织成不同的数据单元，以便响应针对时间段的数据查询；

(3) 将按照步骤1和步骤2压缩并分时组织好的数据序列化为二进制数据，作为一条记录存入数据库中；

步骤(1)中，本实施例以天为单位进行处理，即一天的数据为一个存储记录。在压缩时，首先存储今日第一个电场数据及其探测时刻。设定一阈值K，阈值K取所有电场数据绝对平均值的1/20。继而将第二个时刻的电场数据与第一个时刻的电场数据比较，如果差值小于阈值K，则该数据不存储，如果大于等于阈值则将该数据存储；继而将第三个探测点与上一个存储的电场数据进行比较，来确定第三个探测数据是否保留；以此遍历后面所有的电场探测数据，将当前的探测数据与上一个存储的数据进行比较，如果小于阈值K，则放弃存储当前探测数据，如果大于或等于阈值K，则将时刻的探测数值以及探测时刻进行存储。直至处理今日倒数第二个时刻的电场数据。最后一个时刻的数据不管是否超过阈值，都必须进行保存。这样保留的数据都是电场变化比较剧烈的数据点，如果某天的电场变化很小，则该天的电场数据只需要记录第一个以及最后一个电场的数据及其探测时刻即可，大大缩减了存储量。

步骤(2)中，对已存储的数据再进行按照“小时”的分散组织，以便于进行时间段的快速检索查询。也就是说，对所有的保留数据，根据其探测时刻，将0时至1时之间的探测数据组织在一个记录单元中，并将该记录单元的名称设计为0；1时至2时之间的探测数据组织在名称为1的记录单元中，以此类推，如果某个时段没有数据，则不设立本时段的记录单元。如图2所示。按照上述方法，将压缩后的一天的电场数据分别“归类”到不同的“时”段中。

步骤(3)中，本实施例采用SqlServer2008数据平台。将组织好的一天的电场压缩数据整体序列化为二进制数据，作为一条记录存入SqlServer2008数据库中；在存储时，一个电场设备的探测数据存储在一张独立的数据表中，则同一张数据表中存储同一个电场设备的探测数据，其数据表结构可如下表1所示；表中的字段name能够对应所存储电场数据的日期，并作为关键字以便于快速查询某日的电场数据。

表1

字段名称	类型	说明
			name	nvarchar(8)	表征本条记录的日期名称，如120820（2012年8月20日）
Data	varbinary(MAX)	记录该日电场数据（二进制数据）

步骤(4)中，当用户查询某日数据时，首先将日期转换为特定的name，name对应于数据库表中数据的名称，继而在数据库中按照需要查询的name在关键字中进行快速搜索，搜到结果后，将该日的大气电场二进制数据反序列化为数据对象，根据数据记录还原每一个时间点的电场数据；当用户需要查询某时间段的电场数据时，可以在反序列化得到的数据对象中，按照组织单元进行快速搜索，得到对应的组织单元后，在进一步根据查询参数获得对应的首尾时刻点，继而进行这两个时刻点之间的数据还原，最后将还原好的数据通过WCF服务传递给用户使用，如图3所示。

本实施例提供的方法能够在很大程度上节省海量大地电场数据的存储空间，尤其是在正常天气情况，即大地电场变化不大时有更明显的效果，极端情况下,一天需要存储86400个电场数据，而压缩后仅为两个，即第一个数据和最后一个数据；在雷暴天气时，即数据变化剧烈时，可以最大限度地保持电场变化的原状。本发明在进行按照阈值压缩的基础上采用“时-日”的“分层、化零为整”式组织存储，不仅为数据的存储提供了更简明的方式，同时使海量电场数据的检索查询具有更快的速度与更高的效率，能够彻底解决海量电场数据的存储与快速查询这一瓶颈问题。

Claims

1.一种大地电场数据的压缩存储处理方法，电场设备以天作为时间单位对电场数据进行采集及存储，电场设备每一秒采集一次电场数据，其特征在于，包括如下步骤:

(1)将一天采集的电场数据进行存储并压缩；

2.根据权利要求1所述的压缩存储处理方法，所述步骤(1)中，包括如下步骤：

3.根据权利要求1所述的压缩存储处理方法，所述步骤(4)中，创建WCF服务接口,当用户查询某日数据时，可以通过服务接口首先在数据库中按照日期信息在关键字中进行快速搜索，搜到结果后，将该日的大气电场二进制数据反序列化为数据对象，根据数据记录还原每一个时间点的电场数据；当用户需要查询某时间段的电场数据时，首先在反序列化得到的数据对象中，按照数据单元进行快速搜索，得到对应的数据单元后，再根据查询参数获得对应的首尾时刻点，继而进行这两个时刻点之间的数据还原，最后将还原好的数据通过WCF服务传递给用户使用。

4.根据权利要求2所述的压缩存储处理方法，所述步骤(1)中的（a）步骤，所述阈值K取所有电场数据绝对平均值的1/20。