CN111045861B - 一种基于深度神经网络的传感器数据恢复方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的传感器数据恢复方法。该数据恢复方法包括如下步骤：步骤S1：获得中心节点收到的采样数据，作为样本数据；采样数据为从M个无线传感器节点中随机选择部分无线传感器节点采集得到的数据；步骤S2：将样本数据输入到预先训练的深度神经网络中；步骤S3：将预先训练的深度神经网络的输出结果作为传感器数据恢复结果。该数据恢复方法基于ADMM算法的深度神经网络框架实现，并且考虑了无线传感器数据的空间相关性和时间相关性，使得无线传感器数据的恢复过程更加快速，所占用的计算资源更少。

Description

一种基于深度神经网络的传感器数据恢复方法

技术领域

本发明涉及一种传感器数据恢复方法，尤其涉及一种基于深度神经网络的传感器数据恢复方法，属于无线传感器网络技术领域。

背景技术

数据采集是无线传感器网络(wireless sensor networks，WSNs)的基本应用。例如，在环境监测场景中，温度、湿度和光照等物理量通常被无线传感器节点感知并传输到中心节点。在许多情况下，由于无线传感器节点能量有限或发生故障，使得中心节点收集到的无线传感器发送的数据是不完整的，因此恢复无线传感器数据是无线传感器网络的一个重要问题。

公开号为CN109714814A的中国专利申请，公开了一种无线传感器网络数据传输和恢复的方法。该申请针对实时性要求不高的无线传感器网络，周期进行采集和传输数据，能够在低采样率和高压缩率下实现数据的传输和恢复，大幅度减少数据采集和传输量，从而减少能耗，延长网络生命周期。但是，该无线传感器网络数据恢复方法不仅迭代计算次数较多，使得占用较多计算资源，而且无线传感器网络的数据恢复精度也不够。

发明内容

本发明所要解决的技术问题在于提供一种基于深度神经网络的传感器数据恢复方法。

为了实现上述目的，本发明采用下述的技术方案：

一种基于深度神经网络的传感器数据恢复方法，包括如下步骤：

步骤S1：获得中心节点收到的采样数据，作为样本数据；所述采样数据为从M个无线传感器节点中随机选择部分无线传感器节点采集得到的数据，M为正整数；

步骤S2：将所述样本数据输入到预先训练的深度神经网络中；

步骤S3：将所述预先训练的深度神经网络的输出结果作为传感器数据恢复结果。

其中较优地，在步骤S2中，所述预先训练的深度神经网络经过如下子步骤训练得到：

步骤S21：预先设计l阶深度神经网络，l为正整数；

步骤S22：将多组训练数据输入到所述l阶深度神经网络中，得到训练后的深度神经网络中的正则项系数以及迭代步长；

步骤S23：采用测试数据验证所述训练后的深度神经网络的数据恢复精度。

其中较优地，在步骤S21中，每一阶深度神经网络包括重建层、非线性转移层和乘子更新层；其中，所述重建层分别与同一阶的非线性转移层和乘子更新层连接，所述非线性转移层分别与同一阶的所述乘子更新层和下一阶的重建层连接，所述乘子更新层分别与下一阶的重建层、下一阶的非线性转移层和下一阶的乘子更新层连接。

其中较优地，所述重建层为：

其中，vec(X^l+1)表示将第l+1阶深度神经网络的重建层的一帧完整图像的X矩阵的所有列向量按顺序排成一个长列向量，表示MN×MN维的单位矩阵，/>表示将稀疏采样矩阵Q的所有列向量按顺序排成一个长列向量后，进行对角化，形成对角矩阵；/>D^T表示时间相关矩阵D的转置，I_M表示M×M单位矩阵；/>I_N表示N×N单位矩阵，S^T表示空间相关矩阵S的转置，符号/>表示Kronecker积；ρ^l表示第l阶的深度神经网络中的正则项系数；Z^l表示第l阶的深度神经网络的非线性转移层，P^l表示第l阶的深度神经网络的乘子更新层。

其中较优地，所述非线性转移层为：

其中，τ^l＝μ/ρ，τ^l表示深度神经网络中非线性转移层的阈值，μ和ρ表示深度神经网络中的正则项系数；SVT表示奇异值阈值的操作，SVT_τ(X)＝UΛ_τ(Σ)V^T,表示一帧完整图像X的奇异值阈值的操作；其中U，V，Σ来源于一帧完整图像X的奇异值分解，Λ_τ(x)＝sign(x)max(|x|-τ,0)是软阈值操作。

其中较优地，所述乘子更新层为：

P¹⁺¹＝P^l+η^l(X^l+1-Z^l+1)

其中，η^l表示迭代步长；在第l阶的深度神经网络中，奇异值阈值的操作SVT采用的阈值为τ^l＝σ(ν^l)·γ·max(Σ^l)，其中max(Σ^l)表示X^l+1+P^l的最大奇异值，σ(x)＝1/(1+exp(-x))，γ是固定的标量。

其中较优地，每一阶的重建层、非线性转移层和乘子更新层的公式，采用ADMM算法对如下公式进行求解得到；

s.t.X＝Z

其中，X表示一帧完整图像，Y表示有缺失的一帧图像，Q∈{0，1}^M×N表示稀疏采样矩阵，操作符表示Hadamard积，λ₁、λ₂和μ表示正则项系数，‖·‖_F表示Frobenius范数，‖·‖_*表示核范数，XD表示时间微分，SX表示空间微分；s.t.表示满足X＝Z的约束条件，Z表示引入辅助变量。

其中较优地，将所述多组训练数据分别输入到所述l阶深度神经网络中，并采用前向传播过程，分别得到每一组训练数据的损失函数，如果所述损失函数不再下降，则得到训练后的深度神经网络的最佳正则项系数以及迭代步长。

其中较优地，将每一组训练数据分别输入到所述l阶深度神经网络中，得到的输出值X^L与该组训练数据中的标准值Xˊ之间的损失表示为：

其中，Γ表示训练数据的集合，‖·‖_F表示Frobenius范数。

其中较优地，在步骤S23中，计算所有组测试数据对应的损失函数的平均损失函数，将所述平均损失函数与现有采用ADMM算法得到的损失函数进行比较，如果所述平均损失函数高于或等于所述ADMM算法得到的损失函数，并且采用训练后的深度神经网络的迭代次数小于所述ADMM算法的迭代次数，则认为所述训练后的深度神经网络的数据恢复精度高。

本发明所提供的传感器数据恢复方法，通过基于ADMM算法的深度神经网络框架实现，并考虑了无线传感器数据的空间相关性和时间相关性，使得无线传感器数据恢复的过程更加快速，所占用的计算资源更少。

附图说明

图1为本发明所提供的传感器数据恢复方法的流程图；

图2为本发明所提供的传感器数据恢复方法对应的数据流图；

图3为本发明所提供的传感器数据恢复方法与现有的ADMM算法实现传感器数据恢复的方法的性能对比图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。

本发明所提供的基于深度神经网络的传感器数据恢复方法主要针对中心节点收集到的无线传感器发送的不完整数据进行恢复。其中，中心节点指的是能够对收集到的无线传感器发送的数据进行处理的计算机或服务器。如图1所示，该基于深度神经网络的传感器数据恢复方法，包括如下步骤：

步骤S1：获得中心节点收到的采样数据，作为样本数据；采样数据为：从M个无线传感器节点中随机选择部分无线传感器节点采集得到的数据，M为正整数。

在某一场景内分布M个无线传感器节点等间隔时间进行数据采集，其中每个无线传感器节点分别采集N轮数据，N为正整数。因此，M个无线传感器节点分别采集N轮数据，形成一个M×N维的测量矩阵X＝[x₁,x₂,…,x_N]∈R^M×N，即形成一帧完整图像。由于无线传感器故障或为了节约资源，在每个时隙只随机选择一部分无线传感器节点进行数据采集和传输，因此随机选取的部分无线传感器节点等间隔时间分别采集N轮数据所形成的测量矩阵一般是不完整的，从而使得中心节点收到的无线传感器节点传输的采集数据也是不完整的，即中心节点收到一帧有缺失的图像。那么，中心节点收到的采样数据可以被建模为：

其中，Y表示样本数据，即由从M个无线传感器节点中随机选择部分无线传感器节点等间隔时间分别采集N轮得到的数据，该数据形成一帧有缺失的图像。Q∈{0，1}^M×N表示稀疏采样矩阵，操作符表示Hadamard积，K表示加性高斯白噪声。

步骤S2：将样本数据输入到预先训练的深度神经网络中。

在该步骤中，预先训练的深度神经网络经过如下子步骤训练得到：

步骤S21：预先设计l阶深度神经网络，l为正整数。

如图2所示，该步骤中，每一阶深度神经网络包括重建层X^l+1、非线性转移层Z^l+1和乘子更新层P^l+1；其中，本阶的重建层分别与本阶的非线性转移层和乘子更新层连接，本阶的非线性转移层分别与本阶的乘子更新层和下一阶的重建层连接，本阶的乘子更新层分别与下一阶的重建层、下一阶的非线性转移层和下一阶的乘子更新层连接。需要说明的是，l指的是迭代次数，根据实际所需的无线传感器数据恢复精度，确定l阶深度神经网络的迭代次数。

具体地说，重建层X^l+1表示为：

其中，vec(X^l+1)表示将第l+1阶(第l+1次迭代)深度神经网络的重建层的一帧完整图像的X矩阵的所有列向量按顺序排成一个长列向量，表示MN×MN维的单位矩阵，即将稀疏采样矩阵Q的所有列向量按顺序排成一个长列向量后，进行对角化，形成对角矩阵。/>D^T表示时间相关矩阵D的转置，I_M表示M×M单位矩阵；/>I_N表示N×N单位矩阵，S^T表示空间相关矩阵S的转置，符号/>表示Kronecker积。需要说明的是，M为上述步骤S1中提到的M个无线传感器节点，MN表示上述步骤S1中提到的M×N维的测量矩阵；/>ρ^l表示第l阶的深度神经网络中的正则项系数。Z^l表示第l阶的深度神经网络的非线性转移层，P^l表示第l阶的深度神经网络的乘子更新层。

非线性转移层Z^l+1表示为：

其中，τ^l＝μ/ρ，τ^l表示深度神经网络中非线性转移层的阈值，μ和ρ表示深度神经网络中的正则项系数；SVT表示奇异值阈值的操作。SVT_τ(X)＝UΛ_τ(Σ)V^T,表示一帧完整图像X的奇异值阈值的操作；其中U，V，Σ来源于一帧完整图像X的奇异值分解，即X＝UΣV^T，表示U，V，Σ相乘后的转置，Λ_τ(x)＝sign(x)max(|x|-τ,0)是软阈值操作。

乘子更新层P^l+1表示为：

P^l+1＝P^l+η^l(X^l+1-Z^l+1) (4)

其中，η^l表示迭代步长；在第l阶的深度神经网络中，奇异值阈值的操作SVT采用的阈值为τ^l＝σ(ν^l)·γ·max(Σ^l)，其中max(Σ^l)表示X¹⁺¹+P^l的最大奇异值，σ(x)＝1/(1+exp(-x))，γ是固定的标量。

更具体地说，重建层X^l+1、非线性转移层Z^l+1和乘子更新层P^l+1的公式的建立过程如下：

在本传感器数据恢复方法中，由于无线传感节点采集的数据的时间相关性和空间相关性，使得测量矩阵X具有低阶特性，在恢复无线传感器数据时需要保持这些特性。因此，无线传感器数据恢复问题可以表示为以下优化问题：

其中，λ₁、λ₂和μ表示正则项系数，‖·‖_F表示Frobenius范数，‖·‖_*表示核范数。假设D表示时间相关矩阵，则XD表示时间微分；假设S表示空间相关矩阵，则SX表示空间微分。例如，时间相关矩阵表示为：

则XD＝[x₂-x₁,x₃-x₂,…,x_N-x_N-1] (7)

上述优化问题中的公式(5)的等价形式表示为：

s.t.X＝Z (9)

其中，s.t.表示满足X＝Z的约束条件，Z表示引入辅助变量。采用ADMM算法对公式(8)和(9)进行求解，得到重建层X^l+1、非线性转移层Z^l+1和乘子更新层P^l+1的公式。即得到每一阶深度神经网络。

步骤S22：将多组训练数据输入到l阶深度神经网络中，得到训练后的深度神经网络中的正则项系数以及迭代步长。

在某一场景内分布预设数量的无线传感器节点，每个无线传感器节点等间隔时间进行数据采集，并且每个无线传感器节点分别采集预设轮数据。将采用中心节点接收的预设数量的无线传感器节点采集的预设轮数据，所形成的无线传感器节点的预设数量×每个无线传感器节点采集数据的次数的维度的观测矩阵，作为一组数据。采用上述方法可以得到多组数据，从多组数据中选择一部分数据作为训练数据，选取一部分数据作为测试数据。即每一组训练数据和测试数据分别包括一帧完整的图像，作为标准值Xˊ，以及一帧有缺失的图像Y。

将得到的多组训练数据分别输入到l阶深度神经网络中，采用前向传播过程X^l→Z^l→P^l→X^l+1，分别得到每一组训练数据的损失函数，如果损失函数不再下降，则得到训练后的深度神经网络的最佳正则项系数以及迭代步长。其中，在深度神经网络的训练过程中，可以采用NMSE作为损失函数的计算方式。将每一组训练数据分别输入到l阶深度神经网络中，得到的输出值X^L与该组给定的训练数据中的标准值Xˊ之间的损失表示为：

其中，Γ表示训练数据的集合。

如图2所示，将多组训练数据分别输入到l阶深度神经网络后，采用前向传播过程X^l→Z^l→P^l→X^l+1，指的是l阶深度神经网络中的每一次迭代均是先更新重建层变量，再更新非线性转移层变量，最后更新乘子更新层变量。即将每一组训练数据分别依次带入到公式(2)、(3)和(4)，分别进行l次迭代，得到输出值X^L，该输出值X^L带入到公式(10)，可以得到采用每一组训练数据训练深度神经网络后的损失函数，将各组训练数据对应的损失函数进行比较，如果损失函数不再下降，则得到训练后的深度神经网络的最佳正则项系数以及迭代步长。

为了得到第一组训练数据训练深度神经网络后的损失函数，需要预先给定l阶深度神经网络一个初始参数，以便于该组训练数据可以进行l次迭代后，得到该组训练数据训练深度神经网络后的输出值X^L，将该输出值X^L带入到公式(10)，可以得到采用该组训练数据训练深度神经网络后的损失函数。为了得到训练后的深度神经网络的最佳正则项系数以及迭代步长，可以采用后向传播过程X^l+1→P^l→Z^l→X^l通过计算梯度来更新l阶深度神经网络中上一阶深度神经网络的初始参数，以作为本阶深度神经网络的初始参数，从而便于本阶深度神经网络基于更新的参数计算本阶深度神经网络的正则项系数及以及迭代步长。

其中，采用后向传播过程计算梯度为现有成熟技术，在此不再赘述。

步骤S23：采用测试数据验证训练后的深度神经网络的数据恢复精度。

将采用步骤S22中的方法得到的多组测试数据带入到步骤S22得到的训练后的深度神经网络中，以验证训练后的深度神经网络的数据恢复精度。

具体地说，将多组测试数据分别输入到训练后的l阶深度神经网络后，采用前向传播过程X^l→Z^l→P^l→X^l+1，即将每一组训练数据分别依次带入到公式(2)、(3)和(4)，分别进行l次迭代，得到输出值X^L，该输出值X^L带入到公式(10)，可以得到采用每一组测试数据验证训练后的深度神经网络的损失函数，计算所有组测试数据对应的损失函数的平均损失函数。将得到的平均损失函数与现有采用ADMM算法对中心节点接收的无线传感器节点采集的数据进行恢复时的损失函数进行比较，如果平均损失函数高于或等于现有采用ADMM算法得到的损失函数，并且采用训练后的深度神经网络的迭代次数明显少于现有采用ADMM算法的迭代次数，则认为训练后的深度神经网络的数据恢复精度比较高，使得采用训练后的深度神经网络的数据恢复占用的计算资源较少，并可以将该训练后的深度神经网络作为最佳的深度神经网络。

步骤S3：将预先训练的深度神经网络的输出结果作为传感器数据恢复结果。

采用步骤S2得到的预先训练的深度神经网络对步骤S1中的中心节点收到的采样数据进行l次迭代，得到输出值X^L，则为中心节点收到的所有无线传感器节点采集的数据，即得到一帧完整图像。该帧完整图像同样也是无线传感器数据恢复的结果。

为了方便理解本发明所提供的传感器数据恢复方法，下面提供一个具体实施例：

假设采用英特尔伯克利实验室公开的数据集作为一个实例。在该实验室分布有54个无线传感器节点，使用这54个无线传感器节点每隔30秒采集一次温度数据。每个无线传感器节点分别采集100轮数据，每个无线传感器节点采集的温度数据范围从13.69℃到37.68℃，这被作为标准数据，然后再添加噪声(噪声功率σ²＝1)。由于部分无线传感器故障，在每个时隙只随机选择49个无线传感器节点进行数据采集和传输，因此随机选取的49个无线传感器节点等间隔时间分别采集100轮数据所形成的观测矩阵维度为49×100，采样率为40％。

在本发明的一个实施例中，假设设计了一个5阶的深度神经网络，并采用80组训练数据来训练神经网络，50组测试数据用来测试验证训练后的深度神经网络的数据恢复精度，学习率为0.1。作为对比，现有ADMM算法实现无线传感器数据恢复时的参数选择为λ₁＝λ₂＝ρ＝0.001，τ＝η＝0.8。由图3可以看出，采用本发明所提供的传感器数据恢复方法和现有ADMM算法实现无线传感器数据恢复的方法都达到了很高的数据恢复精度。但是，本发明所提供的传感器数据恢复方法只需要5次迭代就实现了损失函数NMSE＝1.7×10^-3的恢复精度，而现有ADMM算法实现无线传感器数据恢复的方法需要大约90次迭代才能达到这一精度。因此，本发明所提供的传感器数据恢复方法能够节省大量的迭代过程，也就是占用很少的计算资源，而且性能损失极小。

本发明所提供的传感器数据恢复方法通过基于ADMM算法的深度神经网络框架实现，并考虑了无线传感器数据的空间相关性和时间相关性，使得无线传感器数据恢复的过程更加快速，所占用的计算资源更少。

以上对本发明所提供的基于深度神经网络的传感器数据恢复方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将属于本发明专利权的保护范围。

Claims (5)

1.一种基于深度神经网络的传感器数据恢复方法，其特征在于包括如下步骤：

步骤S1：获得中心节点收到的采样数据，作为样本数据；所述采样数据为从M个无线传感器节点中随机选择部分无线传感器节点采集得到的数据，M为正整数；

步骤S2：将所述样本数据输入到预先训练的l阶深度神经网络中，l为正整数；其中，每一阶深度神经网络包括重建层、非线性转移层和乘子更新层；

所述重建层为：

其中，vec(X^l+1)表示将第l+1阶深度神经网络的重建层的一帧完整图像的X矩阵的所有列向量按顺序排成一个长列向量，表示MN×MN维的单位矩阵，/>表示将稀疏采样矩阵Q的所有列向量按顺序排成一个长列向量后，进行对角化，形成对角矩阵； D^T表示时间相关矩阵D的转置，I_M表示M×M单位矩阵；/> I_N表示N×N单位矩阵，S^T表示空间相关矩阵S的转置，符号/>表示Kronecker积；/>ρ¹表示第l阶的深度神经网络中的正则项系数；Z^l表示第l阶的深度神经网络的非线性转移层，P¹表示第l阶的深度神经网络的乘子更新层；

所述非线性转移层为：

其中，τ¹＝μ/ρ，τ¹表示深度神经网络中非线性转移层的阈值，

μ和ρ表示深度神经网络中的正则项系数；SVT表示奇异值阈值的操作，SVT_τ(X)＝UΛ_τ(Σ)V^T,表示一帧完整图像X的奇异值阈值的操作；其中U，V，Σ来源于一帧完整图像X的奇异值分解，Λ_τ(x)＝sign(x)max(|x|-τ,0)是软阈值操作；

所述乘子更新层为：

P^l+1＝P^l+η^l(X^l+1-Z^l+1)

其中，η^l表示迭代步长；在第l阶的深度神经网络中，奇异值阈值的操作SVT采用的阈值为τ¹＝σ(ν¹)·γ·max(Σ¹)，其中max(Σ¹)表示X¹⁺¹+P¹的最大奇异值，σ(x)＝1/(1+exp(-x))，γ是固定的标量；

所述重建层分别与同一阶的非线性转移层和乘子更新层连接，所述非线性转移层分别与同一阶的所述乘子更新层和下一阶的重建层连接，所述乘子更新层分别与下一阶的重建层、下一阶的非线性转移层和下一阶的乘子更新层连接；所述预先训练的l阶深度神经网络经过如下子步骤训练得到：将多组训练数据输入到所述l阶深度神经网络中，得到训练后的深度神经网络的正则项系数以及迭代步长；采用测试数据验证所述训练后的深度神经网络的数据恢复精度；

步骤S3：将所述预先训练的深度神经网络的输出结果作为传感器数据恢复结果。

2.如权利要求1所述的基于深度神经网络的传感器数据恢复方法，其特征在于：

每一阶的重建层、非线性转移层和乘子更新层的公式，采用ADMM算法对如下公式进行求解得到；

其中，X表示一帧完整图像，Y表示有缺失的一帧图像，Q∈{0，1}^M×N表示稀疏采样矩阵，操作符表示Hadamard积，λ₁、λ₂和μ表示正则项系数，‖·‖_F表示Frobenius范数，‖·‖_*表示核范数，XD表示时间微分，SX表示空间微分；s.t.表示满足X＝Z的约束条件，Z表示引入辅助变量。

3.如权利要求1所述的基于深度神经网络的传感器数据恢复方法，其特征在于：

将多组训练数据分别输入到所述l阶深度神经网络中，并采用前向传播过程，分别得到每一组训练数据的损失函数，如果所述损失函数不再下降，则得到训练后的深度神经网络的最佳正则项系数以及迭代步长。

4.如权利要求3所述的基于深度神经网络的传感器数据恢复方法，其特征在于：

将每一组训练数据分别输入到所述l阶深度神经网络中，得到的输出值X^L与该组训练数据中的标准值Xˊ之间的损失函数NMSE为：

其中，Γ表示训练数据的集合，‖·‖_F表示Frobenius范数。

5.如权利要求1所述的基于深度神经网络的传感器数据恢复方法，其特征在于：

计算所有组测试数据对应的损失函数的平均损失函数，将所述平均损失函数与现有采用ADMM算法得到的损失函数进行比较，如果所述平均损失函数高于或等于所述ADMM算法得到的损失函数，并且采用训练后的深度神经网络的迭代次数小于所述ADMM算法的迭代次数，则认为所述训练后的深度神经网络的数据恢复精度高。