CN107634943A - 一种权值简约无线传感网数据压缩方法、设备及存储设备 - Google Patents

Abstract

本发明提供了一种权值简约无线传感网数据压缩方法、设备及存储设备，所述方法包括采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度；将再训练后得到的网络模型进行权值简约得到规模压缩的最终网络模型。一种权值简约无线传感网数据压缩设备及存储设备，用于实现所述的一种权值简约无线传感网数据压缩方法。本发明可以获得待处理数据的高压缩率、高重构精度及较小的训练网络规模。

Description

一种权值简约无线传感网数据压缩方法、设备及存储设备

技术领域

本发明涉及深度学习技术领域，具体涉及一种权值简约无线传感网数据压缩方法、设备及存储设备。

背景技术

近年来，在全球信息化大潮的推动下无线传感网(WSN)技术发展水平不断进步。WSN节点也更加偏向于嵌入式、价格便宜、智能化。在监测区域中放置许多传感器节点，通过无线通信将它们连接到互联网上，WSN在监测、遥控和传感智能等高科技应用领域中已开始发挥着重要作用。WSN最为重要的功能就是进行监测数据采集，WSN把人类和物理环境相连接，WSN的部署越来越广泛，以实现连续监测和感知物理世界的物理变量。对WSN而言，如何设计节省能耗、消除冗余的数据压缩方案是业内关注的焦点所在。

发明内容

为了解决上述问题，本发明提供了一种权值简约无线传感网数据压缩方法、设备及存储设备，主要思路是两次构建神经网络模型，并采用深度神经网络技术，经过反复迭代训练及权值简约，从而有效压缩了数据规模，并且能够获得较高的数据重构精度。

本发明提供的技术方案是：一种权值简约无线传感网数据压缩方法，所述方法包括步骤：采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度；将再训练后得到的网络模型进行权值简约得到规模压缩的最终网络模型。一种存储设备，所述存储设备存储指令及数据用于实现所述一种权值简约无线传感网数据压缩方法。一种权值简约无线传感网数据压缩设备，所述设备包括处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的一种方法。

本发明的有益效果是：本发明提供了一种权值简约无线传感网数据压缩方法、设备及存储设备，首先通过采用四层RBM神经网络构建生成式模型并对该模型进行数据压缩预训练，其次构建初步编解码网络模型并采用深度压缩算法对该模型进行再训练，再次获得待处理数据的高压缩率及高重构精度，最后通过权值简约达到进一步压缩网络规模的效果。

附图说明

图1是本发明实施例中权值简约无线传感网数据压缩方法的整体流程图；

图2是本发明实施例中生成式模型RBM逐层数据压缩预训练流程图；

图3是本发明实施例中对初步编解码网络模型进行再训练流程图；

图4是本发明实施例采用RBM神经网络构建生成式模型示意图；

图5是本发明实施例中初步编解码网络模型示意图；

图6是本发明实施例中待处理数据预处理示意图；

图7是本发明实施例的硬件设备工作示意图；

图8是本发明实施例中RBM预训练算法重构温度数据示意图；

图9是本发明实施例中RBM预训练后测试节点温度数据重构误差示意图；

图10是本发明实施例中使用两级神经网络进行权值简约流程示意图；

图11是本发明实施例的权值数量裁剪示意图；

图12是本发明实施例中使用k-means算法使权值共享微调质心(压缩了权值的比特值)示意图；

图13是本发明实施例中第八层权值裁剪后的概率密度函数示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述，下文中提到的具体技术细节，如：方法，设备等，仅为使读者更好的理解技术方案，并不代表本发明仅局限于以下技术细节。

本发明的实施例提供了一种权值简约无线传感网数据压缩方法、设备及存储设备，通过两次模型构建和两次对模型的训练，可以获得待处理数据的高压缩率及高重构精度。请参阅图1，图1是本发明实施例中权值简约无线传感网数据压缩方法的整体流程图，所述方法由一种权值简约无线传感网数据压缩设备实现，具体步骤包括：

S101：采用RBM神经网络构建生成式模型。

S102：输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；所述预训练数据包含在待处理数据中；所述待处理数据经过预处理；所述预处理具体包括：采用三倍标准差法剔除待处理数据中的异常数据；采用max-min归一化方法消除所述待处理数据间的数量级差异。

S103：构建初步编解码网络模型。

S104：结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练。

S105：得到所述预训练数据的高压缩率和高重构精度。重构的误差度量标准为：

S106：将再训练后得到的网络模型进行权值简约得到规模压缩的最终网络模型，具体包括：权值裁剪及减小权值比特数；所述权值裁剪为移除小于预设阈值的权重；所述减小权值比特数为使用k-means算法使权值共享质心。

参见图2，图2是本发明实施例中生成式模型RBM逐层数据压缩预训练流程图，具体包括以下步骤：

S201：对于栈式RBM网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，l＝1,2,…,lay。

S202：设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay。

S203：对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样

S204：对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样

S205：根据能量模型的条件分布概率分别求出

S206：刷新参数及

在上述步骤中，输入为给定训练样本数据集S，集合S中向量个数T，RBM最大迭代次数maxiter＝10，学习率α＝0.1以及CD-k算法参数k＝1，可视层和隐藏层节点数m,n，以分布N(0，1)初始化偏置和权重矩阵W；输出为更新后的偏置和权重矩阵W。RBM逐层数据压缩预训练中的能量模型为：

参见图3，图3是本发明实施例中对初步编解码网络模型进行再训练流程图，具体包括以下步骤：

S301：对于AE网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，l＝1,2,…,lay。

S302：设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay。

S303：对于训练集合中的每一个训练样本，进行前向传播，得到l＝2,3,...,lay各层神经元激活值。

S304：求第lay层精度。

S305：对于l＝2,...,lay-1的各层，求各节点精度，计算偏导数值。

S306：对于l＝2,3,...,lay的各层，更新W^(l)，

S307：iter＝iter+1。

S308：如果iter＜bpmaxiter，则从第一步重新执行，否则执行完毕，输出最终的第lay层精度结果。

在上述步骤中，输入为训练集S及样本数T，AE迭代次数为bpmaxiter，学习率为α，惩罚系数为λ，AE层数lay，AE每层节点数S_l，l＝1,2,…,lay；输出为学习算法更新之后的偏置向量和权重矩阵W。再训练过程隐藏层神经元激活函数为sigmoid函数，sigmoid函数计算公式为：

输出层神经元激活函数使用线性函数，线性函数计算公式为：

f(x)＝k·x+b

单个样本训练代价函数为：

参见图4，图4是本发明实施例采用RBM神经网络构建生成式模型示意图，包括：第一层RBM神经网络层401及其权重W1、第二层RBM神经网络层402及其权重W2、第三层RBM神经网络层403及其权重W3及第四层RBM神经网络层404及其权重W4。由图中可见，每层神经元的数量分别为120、100、50、25及12个。

参见图5，图5是本发明实施例中初步编解码网络模型示意图，包括：RBM神经网络构建的生成式模型501及对称转置后的RBM神经网络构建的生成式模型502。

参见图6，图6是本发明实施例中待处理数据预处理示意图,包括温度轴601(单位为摄氏度)、时间轴602(采样周期为31秒)、原始温度序列603、设阈值后温度序列604、三倍标准差后温度序列605及归一化后温度序列606。所述待处理数据为温度数据，所述温度数据来源于加州大学无线传感器网络研究团队从2004年2月28日至4月5日在实验室安放58个节点(传感器)收集的环境数据信息，具有气象板的节点每31秒收集一次时间戳拓扑信息以及温度、湿度、光照和电压值，共3308442个温度数据。由于节点故障，出现很多100℃以上的高温和-30℃以下的低温。根据WSN实验室的先验知识，取阈值为5℃和45℃，进行温度数据预处理，通过三倍标准差法剔除异常数据。为了减少压缩模型输入数据之间数量级的差异，使算法收敛更快，用max-min归一化将原始数据映射到[0,1]，max为节点流数据最大值，min为最小值。经过上述对于每个节点的温度预处理后，以节点7的温度数据(图6所示)作为模型的训练集。

参见图7，图7是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种权值简约无线传感网数据压缩设备701、处理器702及存储设备703。

一种权值简约无线传感网数据压缩设备701：所述一种权值简约无线传感网数据压缩设备501实现所述一种权值简约无线传感网数据压缩方法。

处理器702：所述处理器702加载并执行所述存储设备703中的指令及数据用于实现所述的一种权值简约无线传感网数据压缩方法。

存储设备703：所述存储设备703存储指令及数据；所述存储设备703用于实现所述的一种权值简约无线传感网数据压缩方法。

参见图8，图8是本发明实施例中RBM预训练算法重构温度数据示意图，包括：温度轴801(单位为摄氏度)、时间轴802(采样周期为31秒)、重构温度数据803及原始数据804。RBM预训练迭代次数取为maxepoch＝10，输入向量维度为120时，得到的训练样本精度，为了让温度数据变化更为明显，图8显示的是每隔120个数据点，即每隔约2个小时的温度数据，共显示120个。由图8可以看出，RBM预训练的结果已经能够使输出的重构数据比较好地接近于原始温度数据，而在数据突变处拟合不好，需要学习数据的更精细的高阶特征。

参见图9，图9是本发明实施例中RBM预训练后测试节点温度数据重构误差示意图，包括：温度数据测试误差轴901(单位为摄氏度)、节点标号轴902、节点温度数据误差值903。由图9可见，除45号故障节点和节点5、57这两个没有数据的节点外，绝大部分节点的测试精度都能控制在0.5x10¹数量级内。

参见图10，图10是本发明实施例中使用两级神经网络进行权值简约流程示意图，包括：权值数量裁剪神经网络1001及减小权值比特数神经网络1002。具体步骤包括：

S1001：连接经RBM-AE训练好的网络。

S1002：对小于预设阈值的权值进行裁剪。

S1003：对裁剪权值后的网络进行AE再训练。

S1004：权值聚类。

S1005：生成码表。

S1006：用码表使权值类共享微调质心。

S1007：对共享质心的网络进行AE再训练。

参见图11，图11是本发明实施例的权值数量裁剪示意图，从图中可见，裁剪前后的网络差别主要在于进行了裁剪权值和裁剪神经元。

参见图12，图12是本发明实施例中使用k-means算法使权值共享微调质心(压缩了权值的比特值)示意图，包括：权值码表1201、簇索引码表1202、质心码表1203、微调后质心码表1204、梯度求和结果码表1205、归簇梯度码表1206、初始梯度码表1207及学习率lr(learning rate)。其中，1202中的数字是1201中同簇权值及1207中同簇梯度的索引。本实施例中簇类共有4种，分别为0～3，质心的计算方法为同簇权值算术平均，具体结果参见1203。梯度也根据1202中的索引组合成同簇梯度，具体结果参见1206。其中，每行都代表一个同簇的梯度集合。1206中每行同簇梯度求和后得到1205。最后，1203减去1205与lr的积就得到1204。

压缩倍数计算过程如下：簇数为k，只用log₂(k)bit对索引下标编码，对一个有n个权重、每个权重用bbit存储的神经网络，压缩倍数为：

每一层使用k-means算法聚类来确定共享的权值，使落在同一簇中所有的权值将会共享相同的权值，即聚类之后的质心。将RBM和AE后的W＝w₁,w₂,…w_n分为k簇。质心C＝c₁,c₂,…,c_k，其中n远大于k，最后取使得质心尽量集中。

参见图13，图13是本发明实施例中第八层权值裁剪后的概率密度函数示意图，包括：概率密度函数轴1301、概率密度函数曲线1302、基于概率密度分布初始化质心(权值)1303、随机初始化质心(权值)1304、线性初始化质心(权值)1306及权值轴1305。由图中可见，在进行权值裁剪之后，权值形成双峰分布。从随机初始化到基于概率密度分布的初始化再到线性初始化，质心分布越来越分散。绝对值大的质心(权值)作用大，绝对值小的质心(权值)作用小，但是数值较大的权值个数往往很少。因此，对于随机初始化和基于概率密度分布的初始化，只有很少的质心具有很大的绝对值，这将会导致对于一些意义较为重要的数据无法拥有合适的权重，即，不能有很好的代表意义。线性初始化质心法则可避免此问题。

采用初步编解码网络模型进行数据训练和重构。分别用1～11号节点作为训练节点，RBM迭代次数为10次，AE中BP算法maxepoch＝200，得到节点在隐藏特征维数为5,15,30,60,120即压缩倍数为24,8,4,2,1时的训练数据重构误差：

表1同一节点在不同压缩率下的重构误差(训练误差)

由实验结果可知：在单个节点，随着隐藏特征维数的增加，即压缩倍数的减小，节点的训练重构误差并没有明显的增大或减少，这说明进行深度学习算法得到的是数据固有属性，固有特征表现在权值矩阵上而与压缩后的维数无关，本算法具有很强的鲁棒性。这是深层压缩方法与浅层压缩方法的不同之处，浅层压缩方法往往是随着压缩倍数增大重构误差会发生明显增大，同时也体现了同一节点温度序列在时间上的相关性。在相同隐藏层特征维数下，即相同压缩倍数时，不同节点的重构误差近似趋同，这说明了深度学习模型的通用性，同样的模型能够学习到不同节点的时间序列的波动性。

为验证栈式RBM模型的泛化性能和不同节点之间的空间相关性，先用节点7的数据做训练，无线传感网中的58个节点均在此训练的网络参数下进行测试，这在深度学习中被称为迁移学习。同时，将上述得到的各个节点的测试误差与单独对每个节点进行训练，即每个节点都有本节点流数据所对应的训练模型的权值参数，将两个实验得到的各个节点的重构误差作为对比，验证算法在不同节点上的模型迁移学习的能力。隐藏层特征维数均为12维，即压缩倍数为10，RBM算法maxepoch＝10，AE中BP算法maxepoch＝200。

表2不同节点上的模型迁移学习(节点1～节点24)

表3不同节点上的模型迁移学习(节点25～节点48)

表4不同节点上的模型迁移学习(节点49～节点58)

测试误差与每个节点自己训练得到的训练误差十分接近，说明同一WSN各节点处的数据空间相关性高，也验证了栈式RBM网络学习模型有一定的泛化能力。

通过执行本发明的实施例，本发明权利要求里的所有技术特征都得到了详尽阐述。

区别于现有技术，本发明的实施例提供了一种权值简约无线传感网数据压缩方法、设备及存储设备，首先通过采用四层RBM神经网络构建生成式模型并对该模型进行数据压缩预训练，其次构建初步编解码网络模型并采用深度压缩算法对该模型进行再训练，再次获得待处理数据的高压缩率及高重构精度,最后通过权值简约达到进一步压缩网络规模的效果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种权值简约无线传感网数据压缩方法，所述方法由一种权值简约无线传感网数据压缩设备实现，其特征在于：包括以下步骤：采用RBM神经网络构建生成式模型；输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练；构建初步编解码网络模型；结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练；得到所述预训练数据的高压缩率和高重构精度；将再训练后得到的网络模型进行权值简约得到规模压缩的最终网络模型。

2.如权利要求1所述的一种权值简约无线传感网数据压缩方法，其特征在于：所述将再训练后得到的网络模型进行权值简约得到规模压缩的最终网络模型具体包括：权值裁剪及减小权值比特数；所述权值裁剪为移除小于预设阈值的权重；所述减小权值比特数为使用k-means算法使权值共享质心。

3.如权利要求1所述的一种权值简约无线传感网数据压缩方法，其特征在于：所述预训练数据包含在待处理数据中；所述待处理数据经过预处理。

4.如权利要求3所述的一种权值简约无线传感网数据压缩方法，其特征在于：所述预处理具体包括：采用三倍标准差法剔除待处理数据中的异常数据；采用max-min归一化方法消除所述待处理数据间的数量级差异。

5.如权利要求4所述的一种权值简约无线传感网数据压缩方法，其特征在于：所述输入预训练数据对所述生成式模型进行RBM逐层数据压缩预训练步骤具体包括：对于栈式RBM网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)， 设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay；对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样对训练集中所有隐藏层单元经过马尔科夫随机场状态转移后，求出条件分布并从中采样根据能量模型的条件分布概率分别求出ΔW：刷新参数

6.如权利要求5所述的一种权值简约无线传感网数据压缩方法，其特征在于：输入为给定训练样本数据集S，集合S中向量个数T，RBM最大迭代次数maxiter＝10，学习率α＝0.1以及CD-k算法参数k＝1，可视层和隐藏层节点数m,n，以分布N(0,1)初始化偏置和权重矩阵W；输出为更新后的偏置和权重矩阵W。

7.如权利要求1所述的一种权值简约无线传感网数据压缩方法，其特征在于：所述结合AE模型，采用深度压缩算法对所述初步编解码网络模型进行再训练步骤具体包括：对于AE网络所有权重和偏置参数，以分布N(0,1)随机初始化W^(l)，设定迭代次数初始变量iter＝0，初始化ΔW^(l):＝0,Δb^(l):＝0,l＝2,3,...,lay；对于训练集合中的每一个训练样本，进行前向传播，得到l＝2,3,...,lay各层神经元激活值；求第lay层精度；对于l＝2,...,lay-1的各层，求各节点精度，计算偏导数值；对于l＝2,3,...,lay的各层，更新W^(l)，iter＝iter+1；如果iter＜bpmaxiter，则从第一步重新执行，否则执行完毕，输出最终的第lay层精度结果。

8.如权利要求7所述的一种权值简约无线传感网数据压缩方法，其特征在于：输入为训练集S及样本数T，AE迭代次数为bpmaxiter，学习率为α，惩罚系数为λ，AE层数lay，AE每层节点数S_l，l＝1,2,…,lay；输出为学习算法更新之后的偏置向量和权重矩阵W。

9.一种存储设备，其特征包括：所述存储设备存储指令及数据用于实现权利要求1～8所述的一种权值简约无线传感网数据压缩方法。

10.一种权值简约无线传感网数据压缩设备，其特征在于：包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～8所述的一种权值简约无线传感网数据压缩方法。