CN108173620A - 基于压缩网络编码的wsn异常数据发现系统实现方法 - Google Patents

Abstract

本发明公开了一种基于压缩网络编码的WSN异常数据发现系统实现方法。将测量节点划分为不同的簇，每个簇选举簇头用于收集本簇每个测量周期和每个测量时隙的数据，簇内对每时隙的数据进行离散余弦变换的数据稀疏操作后执行压缩感知操作，使数据长度从N削减到M，且N>>M，同时，在各簇头向上游中继节点发送数据时进入广义蝶形网络，对不同压缩数据包进行随机线性网络编码，记录随机编码向量，使原本单位容量的链路同时传输不同簇内的数据，在数据译码重构阶段依靠Spark引擎与流式聚类做邻接处理，通过高斯约旦消元法将抽取的编码矩阵求逆获取压缩稀疏结果，通过基追踪算法恢复稀疏数据，最终实现原始测量数据的重构并输入到下一步的流式聚类中进行数据分析。

Description

基于压缩网络编码的WSN异常数据发现系统实现方法

技术领域

本发明涉及WSN异常数据发现系统，尤其是涉及一种基于压缩网络编码的WSN异常数据发现系统实现方法。

技术背景

无线传感网是新兴的多技术领域集成研究，融合了嵌入式系统，智能监控方案，传感器技术等，常用于智能家居，现代农场等进行环境智能监测。其中，异常数据发现是无线传感网系统重要用途，现在的常用手段是将现场采集数据通过GPRS等互联网接入模块传输到网络数据服务器上，存入数据库的数据进行定时扫描，超过阀值的数据进行预警。或者如已申请的专利(申请号201610979723.X)动态进行数据包解析进而直接流式判断数据是否属于超过阀值的异常环境特征数据。

在专利申请201610979723.X的基础上，为了更好地发挥流式计算框架的作用，同时提高流式计算的数据吞吐量，增加WSN数据传输和处理效率，增强系统数据输入的整体稳定性，有必要进行进一步的研究。

发明内容

本发明的目的是提供一种基于压缩网络编码的WSN异常数据发现系统实现方法，从而应对WSN数据传输吞吐量不稳定的问题。

实现本发明目的的技术解决方案为：一种基于压缩网络编码的WSN异常数据发现系统实现方法，该方法应用于WSN数据传输阶段，载体是WSN末梢数据终端和Spark计算平台；步骤如下：

(1)构建WSN末梢数据终端；WSN中数据节点综合称为WSN末梢数据终端，包含有测量节点、中继节点和汇聚节点；其中，测量节点和中继节点的物理结构一致，按照在网络中角色的不同划分分为测量和中继功能；

(2)WSN数据终端中各类型节点按簇汇聚数据组网和选举簇头，本簇内的数据在簇头上执行压缩感知操作，进行数据压缩后上传数据到中继节点；不同簇的数据在中继节点上采用网络编码的方式对数据包进行组合计算，将计算结果进行传输，进入汇聚节点；汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关；

(3)云网关进行环境数据的时隙内缓存，整时隙的全部数据被输入流式计算框架Spark Stream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。

本发明与现有技术相比，其显著优点为：(1)在WSN流式计算系统中引入压缩感知技术将数据链路上传输的数据尺寸进行了削减，压缩率为1-M/N，其中M＜＜N。在广义蝶形网络的数据传输阶段引入网络编码，使原本需要排队传输的链路同时传输数据，增加了网络数据吞吐量。(2)译码重构过程中不消耗汇聚节点计算资源，依靠Spark强大的计算能力进行数据处理，改进了传统的压缩感知和网络编码数据重构方式，将数据译码重构与数据深入计算处理邻接进行，提高了系统响应性。

附图说明

图1是本发明基于压缩网络编码的WSN异常数据发现系统实现方法数据处理过程。

图2是本发明基于压缩网络编码的WSN异常数据发现系统实现方法的数据包格式。

图3是汇聚节点的功能结构图。

具体实施方式

本发明基于压缩网络编码的WSN异常数据发现系统实现方法，包含以下步骤：

1、构建WSN数据终端。WSN数据节点综合称为WSN数据终端，包含有测量节点，中继节点和汇聚节点。其中，测量节点和中继节点的物理结构一致，由于其在网络中角色的不同划分分为测量和中继功能。

2、WSN数据终端中各类型节点组网方式是按簇选举簇头汇聚数据，不同簇之间采用压缩网络编码的方式传输数据，数据进入汇聚节点后不进行处理。汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关，由云网关进行数据的时隙内缓存，整时隙的全部数据被输入流式计算框架Spark Stream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。

各节点组成结构包含传感器模块、WSN网内通信模块、供电模块以及控制器模块。

各节点基础通信方式和成簇协议是按簇汇聚路由协议。该协议中，每轮数据传输可以分别划分为数据成簇与数据传输2个步骤。在成簇阶段，节点先随机生成随机，当该数据小于某阀值，该节点就能以簇头身份向外发出广播信号。而那些非簇头节点则根据信号强度，决定他们要加入哪个簇。进行数据传输阶段时，每簇的所有节点都向簇头发送测量数据，簇头则根据CSMA协议向上游中继或汇聚节点发送数据。此协议优势在于：簇头的随机选举使系统能量均衡，通信量减少，相应延长节点网络利用时间；缺点是使用一站式通信，尽管时延较小，却较大消耗功率。

结合图3，WSN末梢数据终端设备包含三种类型的无线传感器节点，即数据测量节点，中继节点和汇聚节点。测量节点和中继节点在物理结构上是一致的，三种节点均由传感器模块，WSN网内通信模块，供电模块以及控制器模块组成。汇聚节点还包含GPRS转发模块，负责将数据上传到上位机进行进一步的实时监控处理。

节点控制核心：WSN的汇聚节点采用MSP430微控制器模块做控制核心。MSP430系列芯片是工业级微型控制器，具有很高的处理器性能且优势在于低功耗，适用于能源较少的WSN节点。MSP430模块通过I/O接口获取光照，空气，土壤等传感器采集到的环境数据。在被选举为簇头的测量节点中，其控制核心将各传感器测量的环境数据根据时空相关性进行数据的稀疏操作和感知压缩，稀疏压缩结果被打包后通过控制串口发到WSN网内通信模块；对于中继节点，控制核心将接收到的稀疏压缩数据进行网络编码后发回到控制串口；在汇聚节点中，MSP430微控制核心接收下游簇头发送的压缩网络编码包，通过GPRS网络通信模块，直接发送到指定的互联网位置上去。

传感器数据测量部分：传感器硬件包括：光照强度传感器BH1750FVI，空气温湿度传感器SHT10，土壤温湿度传感器HSTL-10STR。各设备分别测量节点所在位置的光照强度，空气温度，空气湿度，土壤温度和土壤湿度指标。微控制器核心MSP430通过I/O接口获取各传感器信号，按照各传感器的计算规则计算实际环境测量数据，完成环境数据压缩，编码，传输，汇聚等后续操作。

WSN网内通信模块：WSN网内通信模块在硬件上由ZB-GPS模块和通信串口组成，ZB-GPS模块使用第二代通信芯片MC13213实现无线传输。在非汇聚节点中，ZB-GPS模块通过串口接收数据，传感器模块的压缩编码数据包被执行WSN网内广播，使数据包被汇聚节点所收集；在汇聚节点上，ZB-GPS模块对其接收到的数据根据节点ID来判断数据包来源，较低级别的包通过串口被放入微控制器的缓存区等待处理。

GPRS互联网接入模块：GPRS模块主要功能是将WSN内的数据从现场终端输送到远程的网络位置，等待异常数据流式计算引擎的聚类分析。在系统中，GPRS是沟通WSN末梢数据终端与远程计算阶段的桥梁。

2中涉及的压缩网络编码的WSN异常数据发现系统实现方法实现流程如下：

第一步：确定分簇方式，并进行簇内的时钟初始化。WSN末梢数据终端被划分为多个数据测量的簇。

第二步：测量节点感知感知环境数据并将本簇数据汇聚到簇头。

第三步：测量时间被划分为测量周期，每个周期内测量内容包括五个测量时隙，每个时隙分别按顺序测量节点所在位置的光照强度，空气温度，空气湿度，土壤温室，土壤湿度。

第四步：每个时隙的测量数据被发送到簇头，簇头执行压缩感知后进行网络广播。

第五步：上层中继节点接收到压缩感知数据包，将同时隙内不同簇的数据包进行随机线性网络编码组合，记录编码向量。并最终到达汇聚节点，汇聚节点把所有数据全部转发到数据云网关，进而将全部数据输入流式计算框架。

第六步：大批量的压缩网络编码数据流通过Spark Stream进行网络编码的译码和压缩感知的数据重构。

第七步：恢复的数据进行如专利申请201610979723.X中提出的基于Spark的流式k-means算法的异常数据发现操作。

2中涉及的WSN组网方式按照固定规则为各节点分配唯一ID，节点ID之间互联连续。即，部署完毕后测量位置和节点ID形成对应唯一相关性。节点对于其周边能够与之通信的存活节点是已知的。每个传感器测量节点除了接收转发功能以外，由于节点控制器的关系，都会具有一定的数据缓存能力和数据包编码计算能力。由于采用ZB-GPS射频通信的节点之间均为全向天线，每个节点都能收发通信范围内所有节点数据。这种未规划的网络通信拓扑传输能力脆弱难以管理，需要以汇聚节点为中心，根据节点通信距离整理规划WSN末梢数据终端的节点网络拓扑。所有数据的最终传输目的是汇聚节点，各测量节点距离汇聚节点的信号按距离不断衰减。规划网络拓扑将WSN所在区域根据由远及近划分为多个环带。从内到外将最中心圆(即汇聚节点)等级定义为Ⅰ级，最靠近中心环带级别为Ⅱ级(也就是簇头，或者中继节点)，以此类推。中心环带的级别最高，越外扩的环带其定义的级别越低，表明越靠近源测量节点。

对于2中第四步的压缩感知方法，其步骤如下：

1)：簇头对每个时隙内的簇内环境数据采用离散余弦变换，将时空相关性较强的环境测量数据执行稀疏处理x＝Ψ×θ，使数据θ满足压缩感知恢复时候的k-稀疏要求；

2)：对稀疏结果执行压缩感知操作，使时隙内数据长度从节点个数N，变成压缩结果M，M＜＜N。传输内容为y＝Φx＝ΦΨθ，观测矩阵Φ为高斯随机矩阵；

3)：簇头压缩数据向上层中继节点汇聚，返回步骤2)等待下一时隙的数据输入。

对于2中第五步的网络编码方法，其步骤如下：

1)：构造随机线性网络编码向量。编码向量由M个单精度浮点数表示，M值是压缩WSN中无线传感器节点数后的数据长度。若某数据包是第i时隙的环境测量数据，则编码向量初始化单位向量为第i个元素为1。

2)：设计数据包格式。WSN网内传输的数据包含包头配置信息与压缩环境测量数据两部分，数据包设计需要同时满足压缩感知和网络编码进行原始测量数据重构的条件。包头配置包含时间戳和链路的编码向量，其中时间戳标记该数据的打包时间，在簇头节点中使用时间戳排序数据包的测量时间，减少重复数据包的冗余接收。压缩环境是经过压缩感知处理的WSN环境数据的稀疏压缩结果。

3)：将WSN末梢数据终端中的中继节点作为网络编码广义蝶形网络的信源节点，对不同簇内的时隙压缩感知数据乘以随机编码向量进行组合，计算结果向指定的汇聚节点传输。

4)：返回步骤1)等待新的时隙压缩结果输入。

对于2中第六步的压缩网络编码数据包译码重构方法，其步骤如下：

1)：输入Spark计算框架的压缩网络编码数据被Spark转换为内存数据模型RDD，定义此时内存中数据是：

2)：基于高斯-约旦消元法渐进式译码网络编码结果，抽取压缩网络编码的编码系数形成全局编码向量，定义为：M＝[ζ₅ζ₁+ζ₆ζ₃ ζ₅ζ₂+ζ₆ζ₄]，对压缩网络编码数据β乘以编码逆矩阵获取压缩的CS_i稀疏值；

3)：通过基追踪算法，重构离散余弦变换压缩的原始环境数据结合观测矩阵获取最终实际环境数据。

下面结合附图对本发明作进一步说明。

结合图1和2，假设WSN末梢数据终端含2簇测量节点，每簇含测量节点个数N。在数据测量周期的第一个时隙中，这两簇测量节点分别测量出每簇内的N个光照强度数据和

簇头对簇内的每组数据执行压缩感知操作后生成CS₁和CS₂，并向上游中继节点进行转发。其步骤如下：

步骤1：首先利用离散余弦变换(DCT)执行WSN环境数据的系数处理，使数据从N个有效值转换为k-系数数据，向量中只包含k个非零有效值，稀疏结果为θ₁和θ₂。

步骤2：稀疏结果利用高斯随机矩阵作为观测矩阵实现数据压缩。由于测量值y是M×1维向量，原始信号x是N×1维向量，M＜＜N，利用观测矩阵Φ使信号从N维降至M维，进而实现信号压缩，减少数据传输开销。

上述2簇压缩感知数据向上游中继节点转发后，进入广义蝶形的网络拓扑模型。信源节点S入度为2，每条链路的容量为1。2簇数据要进行转发需要产生排队时延，此时执行随机线性网络编码

步骤1：对收到的压缩数据随机线性组合，形成ζ₁CS₁+ζ₂CS₂和ζ₃CS₁+ζ₄CS₂在两条路径上同时传输，

步骤2：再经过一次入度为2的节点后，再次对数据进行编码后最终到达汇聚节点的数据包分别为：

ζ₅(ζ₁CS₁+ζ₂CS₂)+ζ₆(ζ₃CS₁+ζ₄CS₂)，ζ₁CS₁+ζ₂CS₂和ζ₃CS₁+ζ₄CS₂。

步骤3：数据云网关根据时隙数据向到达的数据包中添加压缩网络编码数据，直到三次秩不再改变后，将全部数据输入Spark流式计算框架。

Spark对该矩阵抽取他们的随机编码向量组成编码矩阵。数据概括为：步骤1：执行高斯约旦消元法进行方程组求解，解码系数矩阵为：执行结果是获取经过压缩的稀疏结果。

步骤2：通过基追踪算法获取稀疏结果，表示为

步骤3：对稀疏结果执行逆变换，获取原始的环境数据

译码重构后的数据输入Spark Stream流式计算框架，执行如专利申请201610979723.X基础上的流式k-means算法进行异常数据实时发现。将数据聚为2类，具有明显环境特征骤变的数据被划分为特别的簇，进而追踪到具体节点位置，实现人工干预。提高了系统的稳定性和快速响应。

Claims (8)

1.一种基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：该方法应用于WSN数据传输阶段，载体是WSN末梢数据终端和Spark计算平台；步骤如下：

(1)构建WSN末梢数据终端；WSN中数据节点综合称为WSN末梢数据终端，包含有测量节点、中继节点和汇聚节点；其中，测量节点和中继节点的物理结构一致，按照在网络中角色的不同划分分为测量和中继功能；

(2)WSN数据终端中各类型节点按簇汇聚数据组网和选举簇头，本簇内的数据在簇头上执行压缩感知操作，进行数据压缩后上传数据到中继节点；不同簇的数据在中继节点上采用网络编码的方式对数据包进行组合计算，将计算结果进行传输，进入汇聚节点；汇聚节点不处理数据，直接将收集的各簇内的环境数据通过GPRS互联网接入模块发送到数据云网关；

(3)云网关进行环境数据的时隙内缓存，整时隙的全部数据被输入流式计算框架SparkStream进行数据的译码和重构，重构后的数据进行异常数据发现的流式k-means程序，进行快速聚类。

2.根据权利要求1所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：步骤(1)中所述各节点组成结构包含传感器模块、WSN网内通信模块、供电模块以及控制器模块。

3.根据权利要求1中所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于:步骤(1)中各节点基础通信方式和成簇协议是按簇汇聚路由协议。

4.根据权利要求1中所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于:步骤(2)中所述数据执行压缩感知操作的实现流程如下：

第1步：确定分簇方式，并进行簇内的时钟初始化；WSN末梢数据终端被划分为多个数据测量的簇；

第2步：测量节点感知环境数据并将本簇数据汇聚到簇头；

第3步：测量时间被划分为测量周期，每个周期内测量内容包括五个测量时隙，每个时隙分别按顺序测量节点所在位置的光照强度、空气温度、空气湿度、土壤温室和土壤湿度；

第4步：每个时隙的测量数据被发送到簇头，簇头执行压缩感知后进行网络广播。

5.根据权利要求4所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：第4步中所述的压缩感知方法实现步骤如下：

步骤4.1：簇头对每个时隙内的簇内环境数据采用离散余弦变换，将时空相关性较强的原始环境测量数据x执行稀疏处理x＝Ψ×θ，使环境数据的稀疏结果θ满足压缩感知的k-稀疏要求，Ψ为稀疏向量；

步骤4.2：对稀疏结果执行压缩感知操作，使时隙内数据长度从节点个数N变成压缩结果M，M＜＜N；网络链路中传输内容为y＝Φx＝ΦΨθ，观测矩阵Φ为高斯随机矩阵；

步骤4.3：簇头压缩数据向上层中继节点汇聚，返回步骤4.2，等待下一时隙的数据输入。

6.根据权利要求1所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：步骤(2)中所述的网络编码方法实现流程如下：

第1步：上层中继节点接收到压缩感知数据包，将同时隙内不同簇的数据包进行随机线性网络编码组合，记录编码向量；

第2步：压缩网络编码数据包最终到达汇聚节点，汇聚节点把所有数据全部转发到数据云网关，进行数据同步；

第3步：数据云网关将一个时隙的全部数据输入流式计算框架进行压缩网络编码数据包的译码重构。

7.根据权利要求6所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：第1步所述的随机线性网络编码组合的实现步骤如下：

步骤1.1：构造随机线性网络编码向量；编码向量由M个单精度浮点数表示，M值是压缩WSN中无线传感器节点数后的数据长度；若某数据包是第i时隙的环境测量数据，则编码向量初始化单位向量为第i个元素为1；

步骤1.2：设计数据包格式；WSN网内传输的数据包含包头配置信息与压缩环境测量数据两部分，数据包设计需要同时满足压缩感知和网络编码进行原始测量数据重构的条件；包头配置包含时间戳和链路的编码向量，其中时间戳标记该数据的打包时间，在簇头节点中使用时间戳排序数据包的测量时间，减少重复数据包的冗余接收；压缩环境测量数据是经过压缩感知处理的WSN环境数据的稀疏压缩结果；

步骤1.3：将WSN末梢数据终端中的中继节点作为网络编码广义蝶形网络的信源节点，对不同簇内的时隙压缩感知数据乘以随机编码向量进行组合，计算结果向指定的汇聚节点传输；

步骤1.4：返回步骤1.1，等待新的时隙压缩结果输入。

8.根据权利要求6所述的基于压缩网络编码的WSN异常数据发现系统实现方法，其特征在于：第3步所述的压缩网络编码数据包的译码重构操作，具体实现步骤如下：

步骤3.1：输入Spark计算框架的压缩网络编码数据被Spark转换为内存数据模型RDD，定义此时内存中数据是β：

步骤3.2：基于高斯-约旦消元法渐进式译码网络编码结果，抽取压缩网络编码的编码系数形成全局编码向量M，定义为：M＝[ζ₅ζ₁+ζ₆ζ₃ ζ₅ζ₂+ζ₆ζ₄]，对压缩网络编码数据β乘以编码逆矩阵获取压缩的CS_i稀疏值；

步骤3.3：通过基追踪算法，重构离散余弦变换压缩的原始环境数据结合观测矩阵获取最终实际环境数据。