CN108494758A - 感知大数据层次感知压缩编码方法 - Google Patents

Abstract

本发明公开了一种感知大数据层次感知压缩编码方法，首先感知节点对原始数据进行压缩采样，将数据发送至簇头节点中；簇头节点对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行压缩编码，并以概率p传送数据至处理节点中；处理节点对从下层收到的数据和从其他处理节点收到的数据进行进一步的编码并以概率p将编码数据发送至汇聚节点中；汇聚节点进行解码操作，获得近似的原始数据。本发明通过结合网络编码、压缩感知和层次感知理论，充分挖掘感知大数据的空时相关性，特别是簇间数据的空间相关性得到了充分挖掘，为不同类型的用户提供多分辨率数据服务，同时消除了提前共享观测矩阵这一理想假设。

Description

感知大数据层次感知压缩编码方法

技术领域

本发明属于无线通信网络领域，具体涉及一种感知大数据层次感知压缩编码方法。

背景技术

随着智慧地球和智慧城市的持续发展，无线传感设备持续的部署使得感知数据跨入了一个爆炸性增长的新时代。无线传感器网络(Wireless Sensor Network,WSN)作为大量感知数据的主要来源之一，它是一个能够感知和监测物理世界的分布式网络，已被广泛应用于智能交通、环境监测、工业生产、医疗卫生、军事和其他领域。显然，传统的WSN已经不能满足大量感知数据的处理和管理需求。因此，如何克服这个挑战成为了一个研究的焦点。直观上看，数据规模、存储能力和电池容量三者之间增长速度不匹配的问题是上述挑战的核心。当网络中数据质量保持在合理水平时，减少冗余数据的传输是一种有效的解决方案。最近，有两种典型的方法被提出。第一种方法是从一个较小的数据集中恢复出大量的关键数据。第二种方法是使用压缩感知(Compressed Sensing,CS)技术进行近似的数据收集。相比较第一种方法，第二种方法有着更高的数据重建质量。同时，CS技术的特点是将大部分计算工作转移到了汇聚节点，使得它适合应用于感知大数据网络。毫无疑问，这些方案都提供了良好的解决方法。此外，为了进一步提高数据传输和近似收集的效率，网络编码(NetworkCoding,NC)正逐步被引入并与CS技术相融合。

当前，已存在的感知数据压缩编码方案大体可分成如下四类：

第一类方案从时间或空间维度数据的相关性方面考虑如何进行压缩编码，虽然取得了一定的数据压缩效果，但他们并没有同时考虑感知数据的时间和空间相关性，该考量可有效改善网络的压缩效果与性能。

第二类方案从数据空时相关性的角度来研究压缩编码，该方案的一大特征是同时考虑了数据的时间和空间相关性，但其把二者融合为一个整体，导致了重建过程高计算复杂度。

第三类方案也同时考虑了数据的时间和空间相关性，但并没有把二者融合为一个整体，而是相对错开进行考量，该模式可以在不降低数据恢复精度的前提下，减少了计算和通信的开销，并且执行起来相对简单，但是当空间维度的感知数据波动较大时，该方案数据的重构误差将会很大。

第四类方案通过融合NC、CS和分簇思想，设计了低复杂度的分簇空时压缩编码机制，获得了更好的数据重建性能，但在压缩增益和重建精度方面仍然存在改进的空间。

综上，当前研究方案存在在挖掘感知大数据空时相关性方面不够充分、数据恢复质量不高和不能提供多分辨率的数据服务等问题。

发明内容

本发明的目的在于提高数据传输和收集的效率，提出一种感知大数据层次感知压缩编码方法，实现基于感知大数据空时相关性的全面挖掘，消除提前共享观测矩阵这一理想假设，解决在感知大数据网络情景下如何为用户提供多分辨率的数据服务的技术问题。

本发明采用如下技术方案，一种感知大数据层次感知压缩编码方法，为感知大数据网络设计了一个层次感知的多分辨率网络体系结构，具体步骤如下：

1)感知大数据网络的第一层为感知节点层，感知节点对环境中具有时间相关性的原始数据进行采样，并进行同步压缩，然后将压缩采样数据发送至上层对应的簇头节点中；

2)感知大数据网络的第二层为簇头节点层，簇头节点k对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行压缩编码，并以概率p传送压缩编码数据至上层对应的处理节点中；

3)感知大数据网络的第三层为处理节点层，处理节点对从下层收到的数据和从其他处理节点收到的数据进行进一步的编码并以概率p将编码数据发送至上层的汇聚节点中；

4)感知大数据网络的最高层为汇聚节点层，汇聚节点从所有下层节点中收集到编码数据后，进行解码操作，获得近似的原始数据。

优选地，感知节点对环境中具有时间相关性的原始数据进行采样并进行同步压缩，具体方法为：原始数据为X_k,i＝[x_k,i1x_k,i2…x_k,iN]^T，其中X_k,i表示k簇感知节点i的原始数据，每个簇头节点下的感知节点共M个，k∈{1,2,…,L}，k表示簇头节点，L表示簇头节点数，x_k,i1、x_k,i2、x_k,iN分别表示k簇感知节点i在在时隙1、时隙2、时隙N时的原始数据，N表示每个感知节点的时隙长度，使用观测矩阵Φ，Φ∈R^n×N，且n小于N，R^n×N表示n×N矩阵，将原始数据进行压缩采样得到压缩采样数据Y_k,i＝ΦX_k,i，其中Y_k,i表示k簇感知节点i的压缩采样数据，观测矩阵Φ由N×N单位矩阵随机选择n行组成。

优选地，簇头节点k对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行压缩编码，并以概率p传送压缩编码数据至上层对应的处理节点中的具体步骤为：

21)簇头节点k利用观测矩阵Φ′_k，对从下层节点收到的压缩数据再次进行压缩观测，获得簇头节点k的压缩数据Z′_k＝[Z′_k,1Z′_k,2…Z′_k,n]，Z′_k∈R^m×n，其中，R^m×n表示m×n矩阵,n为感知节点的观测矩阵行数，观测矩阵Φ′_k是由M×M单位矩阵中随机选出m行组成，Z′_k,1、Z′_k,2、Z′_k,n分别表示对簇头节点k中的M个感知节点在时隙1、时隙2和时隙n的压缩采样数据通过观测矩阵Φ′_k进行压缩观测获得的压缩数据，其中Y_k＝[Y_k,1 Y_k,2… Y_k,M]，Y_k,1、Y_k,2、Y_k,M分别表示k簇感知节点1、感知节点2、感知节点M的压缩采样数据，Y_k表示k簇的压缩采样数据；

22)当簇头节点k从其它d-1个簇头接收数据时，进行线性网络编码，并传输概率p的编码数据，簇头节点k的编码数据为Z″_k,

其中Z″_k∈R^(m×d×p)×n，Φ″_k表示在簇头节点k处的网络编码变换矩阵，其中R^(m×d×p)×n表示(m×d×p)×n矩阵，d表示每一个处理节点对应的簇头节点数，Z′₁、Z′₂、Z′_d分别表示簇头节点1、簇头节点2、簇头节点d的压缩数据，Z″_k,1、Z″_k,2、Z″_k,n分别表示d个簇头节点在时隙1、时隙2和时隙n的数据在传输过程中执行网络编码操作所获得的编码数据，Z′₁、Z′₂、Z′_d分别表示簇头节点1、簇头节点2、簇头节点d的压缩数据。

簇头节点层中先采用压缩观测，然后执行线性网络编码操作，簇间数据相关性得到有效挖掘。

优选地，处理节点h接收到由下层发来的编码数据和从其他r-1个处理节点传来的数据后，进行线性网络编码，并传输概率p的编码数据，处理节点h的编码数据为Z″′_h，

其中矩阵Z″′_h∈R^{(m×d×p×r×p)×n}，R^{(m×d×p×r×p)×n}表示(m×d×p×r×p)×n矩阵，矩阵Φ″′_h表示在处理节点h处的网络编码变换矩阵，Z″′_h,1、Z″′_h,2、Z″′_h,n分别表示r个处理节点在时隙1、时隙2和时隙n的数据在传输过程中执行线性网络编码操作所获得的编码数据，Z″₁、Z″₂、Z″_r分别表示处理节点1、处理节点2和处理节点r所收到来自于下层簇头节点的编码数据。

只执行线性网络编码操作，所属不同处理节点的簇间数据相关性得到有效挖掘。

所述步骤2)和3)中的网络编码操作所形成的结果可看成是一般CS观测矩阵的生成，消除了CS观测矩阵需要提前共享的理想假设。

优选地，处理节点按照实际需求组织成多个层次体系来执行和第三层一样的操作，例如第四层(或者第五层，第六层等)来执行和第三层一样的操作，并且由处理节点层中最高一层将编码数据发送给汇聚节点。

优选地，解码操作具体步骤为：

41)利用CS重构算法对空间维度压缩与网络编码进行联合解码，重建出空间维度近似原始数据；

42)利用CS重构算法对时间维度压缩数据进行重建，获得近似的原始数据。

所述层次感知的多分辨率网络体系结构可为不同类型的用户提供不同分辨率的数据服务，随着网络层次的增长，数据压缩效果越来越好、重建误差越来越大。

发明所达到的有益效果：本发明是一种感知大数据层次感知压缩编码方法，实现感知大数据空时相关性的全面挖掘，消除提前共享观测矩阵这一理想假设，解决在感知大数据网络情景下如何为用户提供多分辨率的数据服务的技术问题；本发明消除了感知节点或簇头和汇聚节点之间需要预先共享观测矩阵这一前提假设，使压缩编码方法更加贴近实际应用的要求，有效扩展了应用范围与能力；本发明在感知数据空间相关性得到更加全面的挖掘，在保持相同压缩增益或近似压缩增益时，相对重构误差比现有的压缩编码方案更小，同时，基于获得的压缩增益，显著降低了数据的传输次数，具有更好的网络性能和更优的服务水平。

附图说明

图1是本发明设计的感知大数据层次感知压缩编码方法的多分辨率网络结构图；

图2是本发明设计的感知大数据层次感知压缩编码方法的数据处理和传输过程图；

图3表示本发明设计方法与当前其它两类方法的数据重构误差对比图；

图4表示本发明设计方法与当前其它两类方法的压缩增益上对比图。

具体实施方式

下面根据附图并结合实施例对本发明的技术方案作进一步阐述。

图1是本发明设计的感知大数据层次感知压缩编码方法的多分辨率网络结构图，图2是本发明设计的感知大数据层次感知压缩编码方法的数据处理和传输过程图，如图1和图2所示，一种感知大数据层次感知压缩编码方法，在实际实施过程中，整个网络结构最高一层设置一个汇聚节点，进行数据解码操作，在它的下层可设置多个处理节点和多个簇头，在每个簇中可有多个感知节点，用来对原始数据进行采样，具体步骤如下：

1)位于第一层的感知节点对环境中有时间相关性的原始数据进行感知，利用观测矩阵对基于时间维度的原始数据进行压缩采样。假设在此处，设置4个簇头，每个簇头下设置10个感知节点，每个感知节点的时隙长度是500，即L、M和N取值分别为4，10和500；基于空间和时间的感知数据分别被分别定义为s和w可压缩数据，将s和w的取值分别设置为5和60；感知节点使用观测矩阵Φ对原始数据进行压缩采样，Φ由500×500单位矩阵中随机选择的n行构成，n取值范围为120至240。感知节点在得到各自基于时间的压缩采样数据后，将结果发送至其所在簇的簇头节点。

2)在第二层的4个簇头节点中，簇头节点k对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行进一步处理，得到压缩编码数据，并以概率p传送编码数据至上层体系，这里p＝0.85。在该层中，簇头节点k根据下层采样数据的空间相关性，使用观测矩阵Φ′_k，对从下层节点收到的压缩数据再次进行压缩观测，获得的压缩数据为Z′_k＝[Z＇_k,1Z＇_k,2…Z′_k,n]，Z′_k∈R^m×n，其中，矩阵Φ＇_k由从M×M单位矩阵中随机选出的m行组成，这里m＝6。作为中继节点，当簇头k从其它3个簇头接收数据时，将自动执行线性网络编码操作，并且只有85％的编码数据被传输，该数据可表示为Z″_k,

其中Z″_k∈R^(m×d×p)×n，Φ″_k表示在簇头节点k处NC的变换矩阵，变换矩阵元素值取自于零均值的高斯分布。

3)由处理节点构成的第三层结构对从下层收到的数据和来自于其他处理节点的数据进行进一步的编码并以概率p将编码数据发送至其上层体系。本层中，处理节点h接收到由下层发来的编码数据和从其他r-1个处理节点传来的数据后，进行线性网络编码，并且只有85％的编码数据被传输，处理节点h的编码数据为Z″′_h，

其中矩阵Z″′_h∈R^{(m×d×p×r×p)×n}，R^{(m×d×p×r×p)×n}表示(m×d×p×r×p)×n矩阵，矩阵Φ″′_h表示在处理节点h处的网络编码变换矩阵，Z″′_h,1、Z″′_h,2、Z″′_h,n分别表示r个处理节点在时隙1、时隙2和时隙n的数据在传输过程中执行线性网络编码操作所获得的编码数据，Z″₁、Z″₂、Z″_r分别表示处理节点1、处理节点2和处理节点r所收到来自于下层簇头节点的编码数据。由于此时场景只有1个处理节点，所以该处理节点将收到的来自于下层簇头的编码数据直接发送给汇聚节点。

4)汇聚节点针对接收到的数据进行解码，首先，利用压缩采样匹配追踪算法对空间维度压缩与网络编码进行联合解码，重建出空间维度近似原始数据；然后，再利用压缩采样匹配追踪算法对时间维度压缩数据进行重建；最后，获得近似的原始数据。

基于上述本发明设计感知大数据层次感知压缩编码方法在实际过程中的应用，如图3所示相较于空间维度压缩方案(Spatial)和分簇式空时压缩方案(Clustered spatio-temporal)，本发明设计方法(Layer-aware compression coding,LCC)的数据相对重建误差(Relative recovery error)比其他两类方法要低，其中SCR为空间压缩率(Spatialcompression ratio)；此外，如图4所示相较于空间维度压缩方案(Spatial)和分簇式空时压缩方案(Clustered spatio-temporal)，由于簇间数据相关性得到有效挖掘，本发明设计方法(LCC)也具有良好的压缩增益(Compression gain)。不仅如此，结合图3和图4所示结果可知，在保持与其他压缩方法相同(或近似)压缩增益和计算复杂度的情况下，本发明设计方法(LCC)具有更低的数据重建误差。

Claims (6)

1.一种感知大数据层次感知压缩编码方法，其特征在于，包括以下步骤：

1)感知大数据网络的第一层为感知节点层，感知节点对环境中具有时间相关性的原始数据进行采样，并进行同步压缩，然后将压缩采样数据发送至上层对应的簇头节点中；

2)感知大数据网络的第二层为簇头节点层，簇头节点k对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行压缩编码，并以概率p传送压缩编码数据至上层对应的处理节点中；

3)感知大数据网络的第三层为处理节点层，处理节点对从下层收到的数据和从其他处理节点收到的数据进行进一步的编码并以概率p将编码数据发送至上层的汇聚节点中；

4)感知大数据网络的最高层为汇聚节点层，汇聚节点从所有下层节点中收集到编码数据后，进行解码操作，获得近似的原始数据。

2.根据权利要求1所述的感知大数据层次感知压缩编码方法，其特征在于，所述步骤1)中，感知节点对环境中具有时间相关性的原始数据进行采样并进行同步压缩，具体方法为：原始数据为X_k,i＝[x_k,i1 x_k,i2… x_k,iN]^T，其中X_k,i表示k簇感知节点i的原始数据，每个簇头节点下的感知节点共M个，k∈{1,2,…,L}，k表示簇头节点，L表示簇头节点数，x_k,i1、x_k,i2、x_k,iN分别表示k簇感知节点i在时隙1、时隙2、时隙N时的原始数据，N表示每个感知节点的时隙长度，使用观测矩阵Φ，Φ∈R^n×N，且n小于N，R^n×N表示n×N矩阵，将原始数据进行压缩采样得到压缩采样数据Y_k,i＝ΦX_k,i，其中Y_k,i表示k簇感知节点i的压缩采样数据，观测矩阵Φ由N×N单位矩阵随机选择n行组成。

3.根据权利要求1所述的感知大数据层次感知压缩编码方法，其特征在于，所述步骤2)中，簇头节点k对从下层收到的压缩采样数据和从其他簇头节点收到的数据进行压缩编码，并以概率p传送压缩编码数据至上层对应的处理节点中的具体步骤为：

21)簇头节点k利用观测矩阵Φ′_k，对从下层节点收到的压缩数据再次进行压缩观测，获得簇头节点k的压缩数据Z＇_k＝[Z′_k,1 Z′_k,2 … Z′_k,n]，Z＇_k∈R^m×n，其中，R^m×n表示m×n矩阵,n为感知节点的观测矩阵行数，观测矩阵Φ′_k是由M×M单位矩阵中随机选出m行组成，Z′_k,1、Z′_k,2、Z′_k,n分别表示对簇头节点k中的M个感知节点在时隙1、时隙2和时隙n的压缩采样数据通过观测矩阵Φ＇_k进行压缩观测获得的压缩数据，其中Y_k＝[Y_k,1 Y_k,2 …Y_k,M]，Y_k,1、Y_k,2、Y_k,M分别表示k簇感知节点1、感知节点2、感知节点M的压缩采样数据，Y_k表示k簇的压缩采样数据；

22)当簇头节点k从其它d-1个簇头接收数据时，进行线性网络编码，并传输概率p的编码数据，簇头节点k的编码数据为Z″_k,

其中Z″_k∈R^(m×d×p)×n，Φ″_k表示在簇头节点k处的网络编码变换矩阵，其中R^(m×d×p)×n表示(m×d×p)×n矩阵，d表示每个处理节点所对应的簇头节点数，Z″_k,1、Z″_k,2、Z″_k,n分别表示d个簇头节点在时隙1、时隙2和时隙n的数据在传输过程中执行网络编码操作所获得的编码数据，Z′₁、Z′₂、Z＇_d分别表示簇头节点1、簇头节点2、簇头节点d的压缩数据。

4.根据权利要求1所述的感知大数据层次感知压缩编码方法，其特征在于，所述步骤3)中，处理节点h接收到由下层发来的编码数据和从其他r-1个处理节点传来的数据后，进行线性网络编码，并传输概率p的编码数据，处理节点h的编码数据为Z″′_h，

其中矩阵Z″′_h∈R^{(m×d×p×r×p)×n}，R^{(m×d×p×r×p)×n}表示(m×d×p×r×p)×n矩阵，矩阵Φ″′_h表示在处理节点h处的网络编码变换矩阵，Z″′_h,1、Z″′_h,2、Z″′_h,n分别表示r个处理节点在时隙1、时隙2和时隙n的数据在传输过程中执行线性网络编码操作所获得的编码数据，Z″₁、Z″₂、Z″_r分别表示处理节点1、处理节点2和处理节点r所收到来自于下层簇头节点的编码数据。

5.根据权利要求4所述的感知大数据层次感知压缩编码方法，其特征在于，处理节点按照实际需求组织成多个层次体系来执行和第三层一样的操作，并且由处理节点层中最高一层将编码数据发送给汇聚节点。

6.根据权利要求1所述的感知大数据层次感知压缩编码方法，其特征在于，所述步骤4)中，解码操作具体步骤为：

41)利用CS重构算法对空间维度压缩与网络编码进行联合解码，重建出空间维度近似原始数据；

42)利用CS重构算法对时间维度压缩数据进行重建，获得近似的原始数据。