CN103888997B - 一种针对传感器网络的数据压缩及存储方法 - Google Patents

Abstract

本发明公开了一种针对传感器网络的数据压缩及存储方法，包括如下步骤：1）初始化，所述初始化包括启动传感器网络、设置传感器网络参数和定期更新数据压缩算法库；2）子节点采集多个传感器的数据，并将其按照列格式存储，即每一类数据存储为一个列；然后根据每一列数据的特征，选取最佳的数据压缩方式进行压缩；最后将压缩过的数据上传至父节点；3）父节点接收多个子节点上传的数据包，然后对数据包的特性做不同的处理；然后将数据向上一级父节点上传，直至簇头；4）簇头根据数据特性，直接行列嵌套的方式存储，或者解包按列格式进一步压缩存储，直至完成数据的最终压缩存储；5）簇头将最终压缩完成的数据上传至基站。

Description

一种针对传感器网络的数据压缩及存储方法

技术领域

本发明涉及数据压缩技术领域，具体地说，特别涉及到一种针对传感器网络的数据压缩及存储方法。

背景技术

无线传感器网络（WSN）由部署在监控区域内大量的相同或者不同的传感器节点组成，通过无线通信自组织形成一个多跳的动态拓扑网络系统。无线传感器网络在国防军事、环境监控、智能家居、医疗健康和工业控制领域有广泛的应用前景。大规模无线传感器网络数据采集主要采用基于分簇（cluster）的网络结构。簇内各工作节点把采集到的数据传送到簇头，簇头将数据压缩处理之后向上一级簇头传送，直至基站。

对于无线的传感器网络，一般为移动电源，功耗问题成为了限制无线传感器网络连续工作的瓶颈。现有传感器网络一般包含数据采集模块和数据发送模块，通过无线通信把数据发送给服务器消耗了大部分功率。

现有技术中有利用小波变换压缩或者变长编码压缩。该种技术的缺陷在于：现有传感器网络模块越来越多样化，采集的数据特征各有不同，采用一种数据压缩方式不能往往达到最佳的数据压缩效果。

现有发明中的研究方法专注于数据压缩率，提出的算法计算复杂度较高。计算复杂度高会导致CPU运算量增大，也会导致功耗增加。

发明内容

本发明的实际目的在于：提供一种针对传感器网络的数据压缩及存储方法，通过采用行列嵌套的数据存储方式，以解决上述问题。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种针对传感器网络的数据压缩及存储方法，包括如下步骤：

1）初始化，所述初始化包括启动传感器网络、设置传感器网络参数，并建立数据压缩算法库，以满足不同数据的压缩需求；

2）子节点采集多个传感器的数据，并将其按照列格式存储，即每一类数据存储为一个列；然后根据每一列数据的特征，从数据压缩算法库中选取最佳的数据压缩算法进行压缩，并将压缩过的数据上传至父节点；

3）父节点接收多个子节点上传的数据包，然后对数据包的特性选择；若每个子节点上传的数据差别较大，表明进一步压缩的效率很低，则无需进行进一步压缩，将每一个子节点上传的数据当做一行存储，即行列嵌套的方式进行存储；若各个子节点上传的数据某些列相似性较大，则父节点将子节点的数据中相似的列进行解包，组合成一个列，进行进一步压缩存储；然后将数据向上一级父节点上传，直至簇头；

4）簇头根据数据特性，直接行列嵌套的方式存储，或者解包按列格式进一步压缩存储，直至完成数据的最终压缩存储；

5）簇头将最终压缩完成的数据上传至基站。

在经过上述步骤后，簇头或者父节点数据的存储方式均有两种方式，即行列嵌套的格式和列格式。每经过一级上传，行列的嵌套格式可能加深一层。

与现有技术相比，本发明的有益效果如下：

1、本发明通过建立数据压缩算法库，对不同的数据根据其特征采用不同的数据压缩算法，能够对数据达到数据压缩率和计算复杂度的最佳组合。此外，通过对算法库的更新，可以加入新的效率更高的算法，也可以适应新加入的传感器模块的数据压缩。

2、通过行列嵌套的数据压缩方式，可以使父节点或者簇头方便地存储来自于子节点的数据，对于各个子节点相似度不大的数据，不进行解包，直接按照行列嵌套的格式进行存储。对于各个子节点相似度大的数据，解包后合并为新的列，进一步压缩。这种数据压缩及存储方式将数据的压缩率和计算复杂度进行综合考虑，达到最优的效果。

附图说明

图1为本发明的传感器网络结构示意图。

图2为本发明的数据压缩流程示意图。

图3为本发明的行列嵌套的数据存储方式示意图。

图4为本发明的三层网络簇头数据存储结构示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明所述的数据压缩及存储方法，是基于如图1所示的传感器网络结构，101为多个传感器，采集多种信息。可以包含多种类型，如温度、湿度、光强、GPS位置、压力、振动、加速度等。102为子节点，接收多个传感器发送的数据，按列格式压缩存储数据，并将数据进一步上传至父节点103。父节点再进一步压缩，将数据传送给簇头104，簇头进一步压缩之后，再传送至基站。

以物流监控为例，需要监测的数据有的温度、湿度、光强，并且需要对多个子节点进行监控。通过对采集数据的特征分析，对温度数据压缩采用计算基于基线的变化量的压缩方式，对湿度数据压缩采用计算相对上一个数变化量的压缩方式，对光强数据压缩采用计算基于白天与黑夜两个基线的变化量的压缩方式。

流程图如图2所示。数据采集开始之后，先对传感器网络进行初始化，配置传感器网络，将数据压缩算法写入算法库。

子节点采集多个传感器的数据（温度、湿度、光强），将其按照列格式存储，即每一类数据存储为一个列。然后按照预定义的数据压缩方式，分别对三个数据列进行压缩存储，并上传至父节点。

父节点接收多个子节点上传的数据包，对子节点共有的数据类型，例如两个子节点均采集温度，则解包出来作为新的列进一步压缩。对某一个子节点特有的数据列，直接不进行解包，按行列嵌套的格式进行存储。压缩完成之后，父节点将数据上传至簇头。

簇头做出于父节点类似的处理。然后将最终压缩过的数据上传至基站。

行列嵌套的数据存储结构如图3所示。

行数据头描述了行数据的特性，例如行数据的数目、行数据的排列方式等。行数据头包含所有行的公共特性。

行数据包含了每一行数据的特性，按照行数据头的描述进行排列。例如，包含数据采集时间、数据上报时间、数据采集的节点、数据的列的数目、数据列的公有描述等。

行数据后面嵌套了多个列，每一个列包含了列数据头和列数据。

列数据头按照行数据里面对数据列的描述排列，可以包含本列数据压缩方式、数据压缩所需要的参数值、本列数据的数目、列数据的类型、精度等信息。

例如，从两个设备ZS-001和ZS-002接收到分别接收到两列数据，ZS-001包含四个温度值和四个湿度值，分别是温度23.00,23.50,23.02,22.55和湿度45,46,47,46，采集间隔均为15s，开始采集时间12:00。ZS-002包含六个温度值24.5,24.9,35.8,35.9,34.5,35.1和三个光强值87,86,95，采集时间间隔分别为10s和20s，开始采集时间13:00。

对于ZS-001温度数据采用相对基线变化值的方法压缩，湿度值采用相对上一数据的变化量；对于ZS-002，温度采用变基线的压缩方法，光强采用相对基线变化值的压缩方法。则压缩后的存储数据为：

2,ZS-00,_1,

#1,2,_1,4,15,12,_a:23:2, _2,,,,_b:45,$,50,2,-45,1,1,-1

#2,2,_1,6,10,13,_c:24:1,_3,3, 20,, _a:90,$5,-1,8:35,9,-5,1,-3,-4,5

说明：

行头，数据分别是：设备数目，ID公共字段，ID附加字段添加方式为Append；

第一行数据，#数据行开始标志，1代表ID在行头的ZS-00之上附加1所得的ID，即ZS-001；2代表嵌套数据位两列；_1数据类型为温度，数据列长度为4，间隔15s，开始时间12:00，_a:23:2数据压缩类型为固定基线23，两位小数；_2湿度数据，后面三个缺省值代表数据长度、时间间隔、开始时间和上一列数据一致；_b数据压缩方式为相对上一个的变化值；$为数据开始标志位，第一个数据与基线相同缺省，后面三个温度50,2，-45；湿度第一个缺省，后面三个为相对前一个的变化量。

第二行数据与第一行类似。

由上面的例子可以看出，行列嵌套数据存储方式可以在一行数据里面嵌套多个列数据，每一列数据属于同一类型的数据，可以单独定义数据压缩方式。

在簇头处，数据的存储方式已经包含了两重的嵌套格式。

该网络包含三层，即子节点、父节点和簇头。簇头接收两个父节点a、b的数据，每一个父节点又接收两个子节点的数据，分别为1、2和3、4。父节点a接收子节点1、2压缩后的数据，对其中相似度较大的温度和湿度数据解包，按列格式重新压缩，其他数据直接按行列嵌套的格式进行存储。父节点b接收子节点3、4的数据，仅对其中可进一步压缩的温度数据解包按列格式压缩，其他数据直接按行列嵌套的格式进行存储。父节点a、b将数据上传至簇头后，簇头将其中的温度数据解包，按列格式压缩，直接按行列嵌套的格式进行存储。最终的数据存储格式如图4所示。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种针对传感器网络的数据压缩及存储方法，其特征在于，包括如下步骤：

1）初始化，所述初始化包括启动传感器网络、设置传感器网络参数，并建立数据压缩算法库，以满足不同数据的压缩需求；

2）子节点采集多个传感器的数据，并将其按照列格式存储，每一类数据存储为一个列；然后根据每一列数据的特征，从数据压缩算法库中选取最佳的数据压缩算法进行压缩，并将压缩过的数据上传至父节点；

3）父节点接收多个子节点上传的数据包，然后对数据包的特性选择；若每个子节点上传的数据类型存在差别，表明进一步压缩的效率很低，则无需进行进一步压缩，将每一个子节点上传的数据当做一行存储，以行列嵌套的方式进行存储；若各个子节点上传的数据类型相同，则父节点将子节点数据类型中的列进行解包，组合成一个列，进行进一步压缩存储；然后将数据向上一级父节点上传，直至簇头；

4）簇头根据数据特性，直接行列嵌套的方式存储，或者解包按列格式进一步压缩存储，直至完成数据的最终压缩存储；

5）簇头将最终压缩完成的数据上传至基站。