CN114630207A - 基于降噪自编码器的多传感节点感知数据收集方法 - Google Patents

基于降噪自编码器的多传感节点感知数据收集方法 Download PDF

Info

Publication number
CN114630207A
CN114630207A CN202210253744.9A CN202210253744A CN114630207A CN 114630207 A CN114630207 A CN 114630207A CN 202210253744 A CN202210253744 A CN 202210253744A CN 114630207 A CN114630207 A CN 114630207A
Authority
CN
China
Prior art keywords
data
sensing
noise
node
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210253744.9A
Other languages
English (en)
Other versions
CN114630207B (zh
Inventor
陈惠芳
忻杨璇
谢磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210253744.9A priority Critical patent/CN114630207B/zh
Publication of CN114630207A publication Critical patent/CN114630207A/zh
Application granted granted Critical
Publication of CN114630207B publication Critical patent/CN114630207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了基于降噪自编码器的多传感节点感知数据收集方法。本发明方法包括模型训练和分层式数据收集。模型训练首先对历史感知数据集进行预处理，然后构建降噪自编码器模型，并引入机制训练学习网络。分层式数据收集首先在多传感节点感知数据收集系统中部署训练好的神经网络模块，然后在传感节点生成感知数据，执行归一化处理后传输到边缘数据汇聚设备，将归一化感知数据进行压缩处理后传输至数据融合中心，执行重构操作，获得原始感知数据的重构数据。本发明实现感知数据的可靠收集，提升了对未知噪声的泛化能力和鲁棒性，方便在资源分布不均匀的物联网多传感节点感知数据收集系统中部署，降低数据传输量，减少通信能耗、延长网络使用寿命。

Description

基于降噪自编码器的多传感节点感知数据收集方法
技术领域
本发明属于物联网技术领域，涉及分布式数据压缩与处理技术，具体涉及物联网应用中的基于降噪自编码器的多传感节点感知数据降维与降噪一体化的收集方法。
背景技术
物联网是数字世界与物理世界在传统互联网基础上的扩展与延伸，作为一种新的技术被广泛应用在各个领域。物联网应用的性能通常依赖于大数据的处理、分析和决策，这些数据大都由资源紧缺的传感器获取，而传感器部署于观测对象所在的环境，使得感知噪声是不可避免的。另一方面，有一定覆盖区域的应用场景需要多个传感节点完成监测任务，不同传感器节点产生的数据之间会存在空间上的相关性，多传感节点数据融合时存在不必要的冗余信息。因此，如何高效处理多传感节点感知数据的空间冗余性，最大限度地降低通信、存储与计算成本，延长网络使用寿命是提高物联网应用性能的关键之一。
物联网数据收集包括数据感知、数据处理和数据传输三个部分。其中，数据处理包括数据的压缩、融合和重构等操作；数据传输阶段的能耗最大，且通信能耗与数据传输量成正比关系。现有的多传感节点物联网场景下，主要从数据压缩和网络优化两方面降低通信成本、延长网络寿命。其中网络优化是通过节点睡眠调度机制或网络覆盖优化技术实现传感器的续航时间增长，但是并未降低其感知数据传输量，而节点待机能耗远小于通信能耗。数据压缩主要分为自适应采样率和降低数据传输量两方面。其中，自适应采样能根据应用与系统级别环境调整采样率，减少感知数据量，但它需要数据相关信息，且可能发生关键信息丢失问题。常用的局部信号处理方法是基于压缩感知理论或深度学习方法进行数据压缩，减少数据传输量。其中压缩感知理论要求数据是可压缩的，且其对抗噪声主要借助字典及重构算法的设计来实现；考虑到自编码器模型的对称性结构有利于在传感器中的部署，因此深度学习方法主要通过自编码器作为数据压缩与重构的架构，针对不同的应用目标，还将结合其它学习网络进行改善，如卷积神经网络、长短期记忆网络，但上述深度神经网络结构复杂、参数众多，不利于部署于传感器等资源有限的设备。
申请号CN202110613285.6的中国发明专利申请公开了一种电主轴测量数据远程传输中的数据压缩方法，其局限性在于其性能依赖于数据稀疏表示的优越性、观测矩阵及重构算法的设计，计算复杂，且未考虑感知噪声问题。申请号CN202110871555.3的中国发明专利申请公开了一种基于边缘计算的电力系统稳态数据压缩方法，其局限性在于它需要数据是可压缩的或在某个变换域上是稀疏的，且联合稀疏模型、冗余字典、小波变换等方法计算较为复杂，且不适用于受损数据的压缩与重构。申请号CN202111220259.3的中国发明专利申请公开了一种用于时序电力数据的降噪方法和系统，其局限性在于深度卷积神经网络的训练较为复杂、耗时，且深度网络不适用于资源受限的传感节点。申请号CN202110934815.7的中国发明专利申请公开了一种基于自编码器的数据重建方法，其局限性在于改进的学习网络尽管能够提升数据重构精度，但其编解码的结构失去了对称性，且所提模型面向图像处理。申请号CN202110302058.1的中国发明专利申请公开了一种基于降噪自编码器的高维受损数据无线传输方法，其局限性在于它仅处理单传感节点数据的时间冗余性，没有考虑区域性应用中部署多传感节点同时监测目标时存在的空间冗余问题。
由于自编码器的对称结构在物联网系统部署的高可行性，其编解码过程能够实现数据的压缩与重构，以及它在非线性问题上的适配性，使得它在物联网应用中作为传感数据收集的压缩与重构架构具有较大的优势，也为多传感节点的感知数据收集提供了技术支持。
发明内容
本发明的目的是在物联网应用中收集多传感节点感知数据的应用场景中，针对传感节点资源受限、感知数据受噪声干扰、多传感节点感知数据间存在空间相关性等问题，提供一种基于降噪自编码器的多传感节点感知数据收集方法。
本发明方法包括模型训练和分层式数据收集。
所述的模型训练用于训练降噪自编码器模型，获得性能良好的抗噪、数据压缩与重构架构。具体方法是：
步骤(1)对历史感知数据集进行数据预处理：
对数据执行重组、归一化以及加噪处理，组成具有Q个样本的归一化不含噪数据集
Figure RE-GDA0003591226420000021
和含噪数据集
Figure RE-GDA0003591226420000022
其中每条数据样本的长度等价于传感节点数量N；其中，
所述的重组，对N个节点的历史感知数据x(i)，根据采样时刻进行重组，获取长度为N的数据样本
Figure RE-GDA0003591226420000023
表示传感节点i在时刻t的感知数据，i＝1,2,…,N， t＝1,2,…,Q，T表示转置操作。
所述的归一化，对离散序列xt进行最大最小化处理，获取归一化样本
Figure RE-GDA0003591226420000031
每个样本点取值范围是(-1,1)，传感节点i在时刻t数据的归一化值
Figure RE-GDA0003591226420000032
{x(i)}max为传感节点i感知数据中的最大值，{x(i)}min为传感节点i感知数据中的最小值。
所述的加噪，将随机生成的与多种应用场景相符的噪声
Figure RE-GDA0003591226420000033
叠加至归一化样本，得到含噪归一化样本
Figure RE-GDA0003591226420000034
传感节点i在t时刻的含噪归一化值
Figure RE-GDA0003591226420000035
步骤(2)分割归一化不含噪数据集
Figure RE-GDA0003591226420000036
和含噪数据集
Figure RE-GDA0003591226420000037
将不含噪数据集
Figure RE-GDA0003591226420000038
和含噪数据集
Figure RE-GDA0003591226420000039
中Q个样本划分为不含噪训练集
Figure RE-GDA00035912264200000310
和含噪验证集
Figure RE-GDA00035912264200000311
满足qtrain+qvalid＝Q，
Figure RE-GDA00035912264200000312
qtrain为训练集样本数量，qvalid为验证集样本数量，
Figure RE-GDA00035912264200000313
是含噪验证集
Figure RE-GDA00035912264200000314
对应的不含噪验证集。
步骤(3)构建降噪自编码器模型，模型输入为xt′，隐层表征为ht，模型输出为
Figure RE-GDA00035912264200000315
降噪自编码器模型的神经网络模块由1个输入层、1个隐藏层和1个输出层构成，输入层神经元数量为I，隐藏层神经元数量为H，输出层神经元数量为O，满足I＝O＝N，即输入、输出层神经元数量等价于传感节点数量，激活函数为tanh，优化算法为小批量梯度下降法(Mini-batch gradient descent，MBGD)。将xt′馈入降噪自编码器模型，基于隐藏层得到线性测量信号yt和低维隐层表征ht，基于输出层可以得到模型重构数据
Figure RE-GDA00035912264200000316
步骤(4)训练降噪自编码器模型：
(4-1)初始化：设置迭代轮数最大值Emax，迭代轮数更新阈值Eupdate，迭代轮数约数Emod (避免学习率更新过快)；初始化迭代索引epoch＝1；设置停止准则中的阈值thresh；根据预期压缩比设置隐藏层神经元数量H；利用Xavier初始化方法(Glorot X,Bengio Y.Understanding the difficulty of training deep feedforward neural networks[J].Journal of Machine Learning Research,2010,9:249-256.)随机初始化学习网络的权值参数参数w和偏置参数b；设置学习率η；设置训练样本批大小bs；
(4-2)分批：根据批大小bs将训练集
Figure RE-GDA00035912264200000317
样本均匀分成P个数据批，满足bs×P＝Q，第p个批集合表示为
Figure RE-GDA00035912264200000318
(4-3)退化处理：随机选取一个未选择过的数据批
Figure RE-GDA0003591226420000041
生成一个满足(0,1)均匀分布的随机数r，并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上，得到退化数据批
Figure RE-GDA0003591226420000042
(4-4)前向传播：将退化数据批
Figure RE-GDA0003591226420000043
中的所有bs个样本
Figure RE-GDA0003591226420000044
输入模型，输出相应的重构样本
Figure RE-GDA0003591226420000045
(4-5)后向传播：基于数据批对应的输入样本xt′和重构样本
Figure RE-GDA0003591226420000046
计算损失函数
Figure RE-GDA0003591226420000047
表示该小批中节点i时刻t的重构输出值，
Figure RE-GDA0003591226420000049
表示该小批中节点i时刻t对应的原始值；根据小批量梯度下降法更新权值参数
Figure RE-GDA00035912264200000410
和偏置参数
Figure RE-GDA00035912264200000411
(4-6)迭代：若未选取完所有训练数据批，则返回步骤(4-3)继续训练模型，否则执行 (4-7)；
(4-7)验证：将含噪验证集
Figure RE-GDA00035912264200000412
输入模型，计算不含噪的验证集样本xt和重构样本
Figure RE-GDA00035912264200000413
的平均绝对误差MAEvalid，并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε＝|MAEvalid-{MAEvalid}min|；
(4-8)迭代：若当前迭代轮次epoch＜Emax，且验证集绝对差值ε＞thresh，则比较当前 MAEvalid和{MAEvalid}min，若MAEvalid＜{MAEvalid}min，则更新最小绝对误差值{MAEvalid}min，更新迭代轮次epoch＝epoch+1，若epoch≥Eupdate且epochmodEmod＝0，则更新学习率η＝η/2，返回步骤(4-2)进行下一轮迭代；否则结束训练，并保存最佳模型参数{wopt,bopt}。
所述的分层式数据收集用于建立物联网多传感节点感知数据收集系统，将训练好的学习网络分层部署至三类设备，即传感节点、边缘数据汇聚设备和数据融合中心，实现分布式多传感节点感知数据收集。多传感节点感知数据收集系统包括传感节点、边缘数据汇聚设备和数据融合中心，底层资源受限的传感节点生成感知数据，并转发至中层资源较充足的边缘数据汇聚设备，该设备接收底层数据，执行数据压缩操作，转发至上层数据融合中心，由资源充足的数据融合中心执行数据重构操作，完成数据收集。
分布式多传感节点感知数据收集的具体方法是：
步骤(a)多传感节点感知数据收集系统中部署训练好的降噪自编码器的神经网络模块：
将编码器参数θe＝{We,be}和非线性激活函数f部署于边缘数据汇聚设备；其中，We为权值矩阵，be为偏置参数；
将模型的解码器参数θd＝{Wd,bd}和非线性激活函数g部署于数据融合中心；其中，Wd为权值矩阵，bd为偏置参数；
步骤(b)在传感节点执行本地数据处理：
传感节点j生成的感知数据受类型未知的感知噪声干扰，即
Figure RE-GDA0003591226420000051
Figure RE-GDA0003591226420000052
为传感节点j在时刻t′的感知数据值，
Figure RE-GDA0003591226420000054
为传感节点j在时刻t′的感知噪声，t′＝1,2,...,L，L是传感节点j的感知数据数量；
基于历史数据对
Figure RE-GDA0003591226420000055
执行归一化操作，得到归一化值
Figure RE-GDA0003591226420000056
方法与步骤(1)相同；
步骤(c)将归一化感知数据
Figure RE-GDA0003591226420000057
传输至边缘数据汇聚设备。
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据：
对
Figure RE-GDA0003591226420000058
重组成尺寸为N×1的列向量
Figure RE-GDA0003591226420000059
对感知向量
Figure RE-GDA00035912264200000510
执行压缩操作，得到大小为H×1的低维测量数据
Figure RE-GDA00035912264200000511
第k个传输测量值为
Figure RE-GDA00035912264200000512
表示权值矩阵We的第k行，
Figure RE-GDA00035912264200000514
表示偏置参数be的第k个行元素。
步骤(e)将低维测量数据yt′向上传输至数据融合中心。
步骤(f)数据融合中心重构原始感知数据：
数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理，得到感知数据的重构数据
Figure RE-GDA00035912264200000515
其中，
解码：对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作，得到原始归一化感知数据重构样本
Figure RE-GDA00035912264200000516
传感节点j时刻t′原始归一化感知数据重构值为
Figure RE-GDA0003591226420000061
表示权值矩阵Wd的第j行，
Figure RE-GDA0003591226420000063
表示偏置参数bd的第j个行元素；
逆归一化：对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作，获取原始值域内感知数据的重构数据
Figure RE-GDA0003591226420000064
重组：对逆归一化后的原始感知数据重构样本转置后按行拼接，获取序列长度为L的感知数据的重构数据
Figure RE-GDA0003591226420000065
本发明以传统自编码器模型作为神经网络模块的基础架构，引入分批添加随机高斯噪声的训练方式，提升了模型对未知噪声的泛化能力和鲁棒性，方便在资源分布不均匀的物联网多传感节点感知数据收集系统中部署，实现多传感节点感知数据的可靠收集。与现有的数据收集方法相比，具有如下有益效果：
(1)现有的基于压缩感知理论的数据压缩与重构方法需要假设数据是稀疏的或可压缩的，对抗噪声的能力取决于噪声先验信息的准确性，压缩性能与重构性能受测量矩阵、字典及重构算法三方面设计的限制。而本发明能规避可压缩性的假设条件，在无噪声先验信息的前提下对多种噪声均具有鲁棒性，且压缩性能优于压缩感知技术。
(2)现有的基于深度学习的数据收集方法大都只关注降噪或降维其中一方面的功能，且其数据重构能力依赖于学习网络的深度和复杂性，对实际应用中的物理设备具有较高要求。而本发明使用了三层结构的自编码器模型，其对称性使得模型易于部署在资源受限的传感设备上，且充分利用了数据收集系统中不同设备的资源充沛性，实现高效的多节点数据收集，延长网络寿命。
(3)现有的数据收集方法没有考虑复杂环境导致的噪声非单一问题，其降噪能力具有一定的局限性。而本发明改进了模型的训练机制，提高了学习网络对抗噪声的泛化能力和鲁棒性，能有效地恢复不同噪声干扰下的感知数据。
附图说明
图1为本发明方法整体框架示意图；
图2为本发明方法中的模型训练流程图；
图3本发明方法中的降噪自编码器模型的示意图；
图4为本方明方法中降噪自编码器模型的训练流程图；
图5为本发明方法中的多传感节点感知数据收集系统模型示意图。
具体实施方式
以下结合附图并举实施例对本发明作进一步详细说明。
本发明的目的是在物联网应用中收集多传感节点感知数据的应用场景中，针对传感节点资源受限、感知数据受多种噪声干扰、多传感节点感知数据间存在空间相关性等问题，设计一种基于降噪自编码器的多传感节点感知数据收集方法，提高数据收集效率，降低网络能耗。通过降噪自编码器模型训练阶段的噪声引入机制的改进，使模型在训练过程中能够充分学习数据的本质特征及噪声特性，对不同噪声均有抵抗能力，最大限度地降低数据传输量，提高数据重构精度。
本方法的多传感节点感知数据收集架构如图1所示，其中降噪自编码器模型的神经网络模块由编码器和解码器构成。编码器的线性模块部署于边缘数据汇聚设备，用于压缩多传感节点感知数据，该部分的降维处理模块主要由编码阶段的权值参数We和偏置参数be组成。模型的非线性激活函数及解码器模块部署于数据融合中心，负责数据的降噪重构，部署参数包括隐藏层的激活函数f、解码器参数Wd和bd，以及输出层的激活函数g。
本实施例以浙江大学网络与通信研究室提供的南海数据集中2020年7月至8月的CTD 温度数据为例，共有17个剖面，每个剖面的数据数量为5160，对基于降噪自编码器的多传感节点感知数据收集方法进行说明。发明方法包括模型训练和分层式数据收集。
如图2，模型训练具体是：
步骤(1)对历史的温度数据集进行数据预处理，具体如下：
对温度数据执行重组、归一化以及加噪处理，组成具有Q个(本实施例中Q＝1462)样本的归一化不含噪温度数据集
Figure RE-GDA0003591226420000071
和含噪数据集
Figure RE-GDA0003591226420000072
样本长度N(本实例中N＝60)。
步骤(2)分割归一化不含噪温度数据集
Figure RE-GDA0003591226420000073
和含噪温度数据集
Figure RE-GDA0003591226420000074
具体是：
基于K-折(本实施例中K＝17)交叉验证的思想以及剖面数，将不含噪温度数据集
Figure RE-GDA0003591226420000075
和含噪温度数据集
Figure RE-GDA0003591226420000076
中Q个样本进行K等分，有
Figure RE-GDA0003591226420000077
和
Figure RE-GDA0003591226420000078
不含噪训练集
Figure RE-GDA0003591226420000079
用于模型的训练，含噪测试集
Figure RE-GDA00035912264200000710
和不含噪测试集
Figure RE-GDA00035912264200000711
用于检验收集方法的有效性；第k组训练-测试集为
Figure RE-GDA00035912264200000712
组号k＝1,2,...,17；每组
Figure RE-GDA00035912264200000713
的样本个数为
Figure RE-GDA00035912264200000714
的样本个数为
Figure RE-GDA00035912264200000716
步骤(3)构建降噪自编码器模型，模型输入为xt′，隐层输出为ht，模型输出为
Figure RE-GDA00035912264200000717
构建方法具体如下：
降噪自编码器模型如图3所示，其神经网络模块由1个输入层、1个隐藏层和1个输出层构成，输入层神经元数量为I(本实施例中I＝60)，隐藏层神经元数量为H(本实施例中H＝20)，输出层神经元数量为O(本实施例中O＝60)，满足I＝O＝N，即输入、输出层神经元数量等价于传感节点数量，激活函数为tanh，优化算法为小批量梯度下降法(Mini- batchgradient descent，MBGD)。将xt′馈入降噪自编码器模型，基于隐藏层可以得到线性测量信号yt和低维隐层表征ht，基于输出层可以得到模型重构数据
Figure RE-GDA0003591226420000081
步骤(4)如图4所示，训练降噪自编码器模型，具体是：
(4-1)初始化：设置迭代轮数最大值Emax＝2000，迭代轮数更新阈值Eupdate＝800，迭代轮数约数Emod＝500；初始化迭代索引，epoch＝1；设置停止准则中的阈值thresh＝1e-6；利用Xavier初始化方法随机初始化学习网络的权值参数w和偏置参数b；设置学习率η＝0.01；设置训练样本批大小bs＝32；设置当前训练集的组号为k＝1，总组数为K＝17；
(4-2)分批：根据批大小bs将训练集
Figure RE-GDA0003591226420000082
样本均匀分成P个(本实施例中
Figure RE-GDA0003591226420000083
)小批，随机选取部分小批(本实例中选取1个小批)作为验证集
Figure RE-GDA0003591226420000084
并叠加与含噪数据集相同分布的噪声，生成对应含噪验证集
Figure RE-GDA0003591226420000085
(4-3)退化处理：随机选取一个未选择过的数据批
Figure RE-GDA0003591226420000086
并生成一个满足(0,1)均匀分布的随机数r，并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上，得到退化数据批
Figure RE-GDA0003591226420000087
(4-4)前向传播：将退化数据批
Figure RE-GDA0003591226420000088
中的所有bs个样本
Figure RE-GDA0003591226420000089
输入模型，输出相应的重构样本
Figure RE-GDA00035912264200000810
(4-5)后向传播：基于数据批对应的原始样本xt′和重构样本
Figure RE-GDA00035912264200000811
计算损失函数
Figure RE-GDA00035912264200000812
表示该小批中节点i时刻t的重构输出值，
Figure RE-GDA00035912264200000814
表示该小批中节点i时刻t对应的原始值；根据小批量梯度下降法更新权值参数
Figure RE-GDA00035912264200000815
和偏置参数
Figure RE-GDA0003591226420000091
(4-6)迭代：若未选取完所有训练数据批，则返回步骤(4-3)继续训练模型；
(4-7)验证：将含噪验证集
Figure RE-GDA0003591226420000092
输入模型，计算不含噪的验证集样本xt和重构样本
Figure RE-GDA0003591226420000093
的平均绝对误差MAEvalid，并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε＝|MAEvalid-{MAEvalid}min|；
(4-8)迭代：若当前迭代轮次epoch＜Emax且验证集绝对差值ε＞thresh，则比较当前 MAEvalid和{MAEvalid}min，若MAEvalid＜{MAEvalid}min，则更新最小绝对误差值{MAEvalid}min，更新迭代轮次epoch＝epoch+1，若epoch≥Eupdate且epochmodEmod＝0，则更新学习率η＝η/2，返回步骤(4-2)进行下一轮迭代；否则结束训练，并保存最佳模型参数{wopt,bopt}。
如图5，所述的分层式多传感节点感知数据收集具体是：
步骤(a)多传感节点感知数据收集系统部署训练好的降噪自编码器的神经网络模块：
从17个降噪自编码器模型选择出最优的模型参数{wopt,bopt}；
将编码器参数θe＝{We,be}和非线性激活函数f部署于边缘数据汇聚设备；；其中，We为权值矩阵，be为偏置参数；
将模型的解码器参数θd＝{Wd,bd}和非线性激活函数g部署于数据融合中心；其中，Wd为权值矩阵，bd为偏置参数。
步骤(b)在传感节点执行本地数据处理：
传感节点j实际生成的感知数据会受类型未知的感知噪声干扰，即
Figure RE-GDA0003591226420000094
Figure RE-GDA0003591226420000095
(本实施例中N＝60，噪声
Figure RE-GDA0003591226420000096
服从多种类型的噪声分布)；
基于历史数据对
Figure RE-GDA0003591226420000097
执行归一化操作，得到归一化值
Figure RE-GDA0003591226420000098
方法与步骤(1)相同。
步骤(c)将归一化感知数据
Figure RE-GDA0003591226420000099
传输至边缘数据汇聚设备。
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据：
对
Figure RE-GDA00035912264200000910
重组成尺寸为N×1(本实施例中N＝60)的列向量
Figure RE-GDA00035912264200000911
对感知向量
Figure RE-GDA0003591226420000101
执行压缩操作，得到大小为H×1(本实施例中H＝20)的低维测量数据
Figure RE-GDA0003591226420000102
操作方法与步骤(d)相同。第k个传输测量值为
Figure RE-GDA0003591226420000103
Figure RE-GDA0003591226420000104
表示权值矩阵We的第k行，
Figure RE-GDA0003591226420000105
表示偏置参数be的第k个行元素。
步骤(e)将低维测量数据yt′向上传输至数据融合中心。
步骤(f)在数据融合中心重构原始感知数据：
数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理，得到感知数据的重构数据
Figure RE-GDA0003591226420000106
其中，
解码：对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作，得到原始归一化感知数据重构样本
Figure RE-GDA0003591226420000107
传感节点j时刻t′原始归一化感知数据重构值为
Figure RE-GDA0003591226420000108
表示权值矩阵Wd的第j行，
Figure RE-GDA00035912264200001010
表示偏置参数bd的第j个行元素；
逆归一化：对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作，获取原始值域内感知数据的重构数据
Figure RE-GDA00035912264200001011
重组：对逆归一化后的原始感知数据重构样本转置后按行拼接，获取序列长度为L的感知数据的重构数据
Figure RE-GDA00035912264200001012
上述实例所述的内容仅仅是对本发明实现形式的列举，本发明的保护范围不应限于实施例所陈述的具体形式，本发明的保护范围也应包含在本发明基础上所构思的同类发明方法。

Claims (8)

1.基于降噪自编码器的多传感节点感知数据收集方法，包括模型训练和分层式数据收集；其特征在于，所述的模型训练用于训练降噪自编码器模型，具体方法是：
步骤(1)对历史感知数据集进行数据预处理：
对数据执行重组、归一化以及加噪处理，组成具有Q个样本的归一化不含噪数据集
Figure RE-FDA0003591226410000011
和含噪数据集
Figure RE-FDA0003591226410000012
其中每条数据样本的长度等价于传感节点数量N；
步骤(2)分割归一化不含噪数据集
Figure RE-FDA0003591226410000013
和含噪数据集
Figure RE-FDA0003591226410000014
将不含噪数据集
Figure RE-FDA0003591226410000015
和含噪数据集
Figure RE-FDA0003591226410000016
中Q个样本划分为不含噪训练集
Figure RE-FDA0003591226410000017
和含噪验证集
Figure RE-FDA0003591226410000018
满足qtrain+qvalid＝Q，
Figure RE-FDA0003591226410000019
qtrain为训练集样本数量，qvalid为验证集样本数量，
Figure RE-FDA00035912264100000110
是含噪验证集
Figure RE-FDA00035912264100000111
对应的不含噪验证集；
步骤(3)构建降噪自编码器模型，模型输入为归一化样本xt′，隐层表征为ht，模型输出为重构样本
Figure RE-FDA00035912264100000112
步骤(4)训练降噪自编码器模型，得到最佳模型参数；
所述的分层式数据收集用于建立物联网多传感节点感知数据收集系统，将训练好的学习网络分层部署，实现分布式多传感节点感知数据收集；所述的多传感节点感知数据收集系统包括传感节点、边缘数据汇聚设备和数据融合中心；具体方法是：
步骤(a)多传感节点感知数据收集系统中部署训练好的降噪自编码器的神经网络模块；
步骤(b)在传感节点执行本地数据处理：
步骤(c)将归一化感知数据
Figure RE-FDA00035912264100000113
传输至边缘数据汇聚设备；
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据，得到低维测量数据yt′；
步骤(e)将低维测量数据yt′向上传输至数据融合中心；
步骤(f)数据融合中心重构原始感知数据：数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理，得到感知数据的重构数据
Figure RE-FDA00035912264100000114
2.如权利要求1所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(1)中：
所述的重组，对N个节点的历史感知数据x(i)，根据采样时刻进行重组，获取长度为N的数据样本
Figure RE-FDA0003591226410000021
Figure RE-FDA0003591226410000022
表示传感节点i在时刻t的感知数据，i＝1,2,…,N，t＝1,2,…,Q，T表示转置操作；
所述的归一化，对离散序列xt进行最大最小化处理，获取归一化样本
Figure RE-FDA0003591226410000023
每个样本点取值范围是(-1,1)，传感节点i在时刻t数据的归一化值
Figure RE-FDA0003591226410000024
{x(i)}max为传感节点i感知数据中的最大值，{x(i)}min为传感节点i感知数据中的最小值；
所述的加噪，将随机生成的与多种应用场景相符的噪声
Figure RE-FDA0003591226410000025
叠加至归一化样本，得到含噪归一化样本
Figure RE-FDA0003591226410000026
传感节点i在t时刻的含噪归一化值
Figure RE-FDA0003591226410000027
3.如权利要求2所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(3)具体是：降噪自编码器模型的神经网络模块由1个输入层、1个隐藏层和1个输出层构成，输入层神经元数量为I，隐藏层神经元数量为H，输出层神经元数量为O，满足I＝O＝N，即输入、输出层神经元数量等价于传感节点数量，激活函数为tanh，优化算法为小批量梯度下降法；将xt′馈入降噪自编码器模型，基于隐藏层得到线性测量信号yt和低维隐层表征ht，基于输出层可以得到模型重构数据
Figure RE-FDA0003591226410000028
4.如权利要求3所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(4)具体是：
(4-1)初始化：设置迭代轮数最大值Emax，迭代轮数更新阈值Eupdate，迭代轮数约数Emod；初始化迭代索引epoch＝1；设置停止准则中的阈值thresh；根据预期压缩比设置隐藏层神经元数量H；利用Xavier初始化方法随机初始化学习网络的权值参数参数w和偏置参数b；设置学习率η；设置训练样本批大小bs；
(4-2)分批：根据批大小bs将训练集
Figure RE-FDA0003591226410000029
样本均匀分成P个数据批，满足bs×P＝Q，第p个批集合表示为X(p)，p＝1,2,…,P；
(4-3)退化处理：随机选取一个未选择过的数据批X(p)，生成一个满足(0,1)均匀分布的随机数r，并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上，得到退化数据批
Figure RE-FDA0003591226410000031
(4-4)前向传播：将退化数据批
Figure RE-FDA0003591226410000032
中的所有bs个样本
Figure RE-FDA0003591226410000033
输入模型，输出相应的重构样本
Figure RE-FDA0003591226410000034
(4-5)后向传播：基于数据批对应的输入样本xt′和重构样本
Figure RE-FDA0003591226410000035
计算损失函数
Figure RE-FDA0003591226410000036
Figure RE-FDA0003591226410000037
表示该小批中节点i时刻t的重构输出值，
Figure RE-FDA0003591226410000038
表示该小批中节点i时刻t对应的原始值；根据小批量梯度下降法更新权值参数
Figure RE-FDA0003591226410000039
和偏置参数
Figure RE-FDA00035912264100000310
(4-6)迭代：若未选取完所有训练数据批，则返回步骤(4-3)继续训练模型，否则执行(4-7)；
(4-7)验证：将含噪验证集
Figure RE-FDA00035912264100000311
输入模型，计算不含噪的验证集样本xt和重构样本
Figure RE-FDA00035912264100000312
的平均绝对误差MAEvalid，并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε＝|MAEvalid-{MAEvalid}min|；
(4-8)迭代：若当前迭代轮次epoch＜Emax，且验证集绝对差值ε＞thresh，则比较当前MAEvalid和{MAEvalid}min，若MAEvalid＜{MAEvalid}min，则更新最小绝对误差值{MAEvalid}min，更新迭代轮次epoch＝epoch+1，若epoch≥Eupdate且epochmodEmod＝0，则更新学习率η＝η/2，返回步骤(4-2)进行下一轮迭代；否则结束训练，并保存最佳模型参数{wopt,bopt}。
5.如权利要求1所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(a)具体是：
将编码器参数θe＝{We,be}和非线性激活函数f部署于边缘数据汇聚设备；其中，We为权值矩阵，be为偏置参数；
将模型的解码器参数θd＝{Wd,bd}和非线性激活函数g部署于数据融合中心；其中，Wd为权值矩阵，bd为偏置参数。
6.如权利要求5所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(b)具体是：
传感节点j生成的感知数据受类型未知的感知噪声干扰，即
Figure RE-FDA0003591226410000041
j＝1,2,…,N，
Figure RE-FDA0003591226410000042
为传感节点j在时刻t′的感知数据值，
Figure RE-FDA0003591226410000043
为传感节点j在时刻t′的感知噪声，t′＝1,2,...,L，L是传感节点j的感知数据数量；
基于历史数据对
Figure RE-FDA0003591226410000044
执行归一化操作，得到归一化值
Figure RE-FDA0003591226410000045
方法与步骤(1)相同。
7.如权利要求6所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(d)具体是：
对
Figure RE-FDA0003591226410000046
重组成尺寸为N×1的列向量
Figure RE-FDA0003591226410000047
对感知向量
Figure RE-FDA0003591226410000048
执行压缩操作，得到大小为H×1的低维测量数据
Figure RE-FDA0003591226410000049
第k个传输测量值为
Figure RE-FDA00035912264100000410
Figure RE-FDA00035912264100000411
表示权值矩阵We的第k行，
Figure RE-FDA00035912264100000412
表示偏置参数be的第k个行元素。
8.如权利要求7所述的基于降噪自编码器的多传感节点感知数据收集方法，其特征在于，步骤(f)中：
所述的解码，对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作，得到原始归一化感知数据重构样本
Figure RE-FDA00035912264100000413
传感节点j时刻t′原始归一化感知数据重构值为
Figure RE-FDA00035912264100000414
Figure RE-FDA00035912264100000415
表示权值矩阵Wd的第j行，
Figure RE-FDA00035912264100000416
表示偏置参数bd的第j个行元素；
所述的逆归一化，对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作，获取原始值域内感知数据的重构数据
Figure RE-FDA00035912264100000417
所述的重组，对逆归一化后的原始感知数据重构样本转置后按行拼接，获取序列长度为L的感知数据的重构数据
Figure RE-FDA00035912264100000418
CN202210253744.9A 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法 Active CN114630207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210253744.9A CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210253744.9A CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Publications (2)

Publication Number Publication Date
CN114630207A true CN114630207A (zh) 2022-06-14
CN114630207B CN114630207B (zh) 2023-04-07

Family

ID=81901118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210253744.9A Active CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Country Status (1)

Country Link
CN (1) CN114630207B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028781A (zh) * 2023-03-30 2023-04-28 矿冶科技集团有限公司 数据预处理方法、系统、计算机设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
US20210158211A1 (en) * 2019-11-22 2021-05-27 Google Llc Linear time algorithms for privacy preserving convex optimization
CN113113030A (zh) * 2021-03-22 2021-07-13 浙江大学 一种基于降噪自编码器的高维受损数据无线传输方法
CN113313170A (zh) * 2021-05-28 2021-08-27 中国人民解放军战略支援部队航天工程大学 基于人工智能的全时全域训练大数据平台
EP3961511A1 (de) * 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen
CN114169368A (zh) * 2021-11-26 2022-03-11 哈尔滨工程大学 一种基于信号降噪自编码器sde的信号降噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
US20210158211A1 (en) * 2019-11-22 2021-05-27 Google Llc Linear time algorithms for privacy preserving convex optimization
EP3961511A1 (de) * 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen
CN113113030A (zh) * 2021-03-22 2021-07-13 浙江大学 一种基于降噪自编码器的高维受损数据无线传输方法
CN113313170A (zh) * 2021-05-28 2021-08-27 中国人民解放军战略支援部队航天工程大学 基于人工智能的全时全域训练大数据平台
CN114169368A (zh) * 2021-11-26 2022-03-11 哈尔滨工程大学 一种基于信号降噪自编码器sde的信号降噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANGXUAN XIN;HUIFANG CHEN;LEI XIE: "Efficient Noisy Data Transmission Using Denoising Autoencoder in Internet of Things", 《2021 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》 *
娄海川等: "融合过程先验知识的递归神经网络模型及其应用", 《化工学报》 *
曾安等: "基于稀疏降噪自编码器的深度置信网络", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028781A (zh) * 2023-03-30 2023-04-28 矿冶科技集团有限公司 数据预处理方法、系统、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN114630207B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111860982B (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN113113030B (zh) 一种基于降噪自编码器的高维受损数据无线传输方法
CN108696331B (zh) 一种基于生成对抗网络的信号重构方法
CN109919864A (zh) 一种基于稀疏去噪自编码网络的图像压缩感知方法
CN109884419B (zh) 一种智慧电网电能质量在线故障诊断方法
CN110007265A (zh) 一种基于深度神经网络的波达方向估计方法
Mdrafi et al. Joint learning of measurement matrix and signal reconstruction via deep learning
CN111901024A (zh) 基于抗拟合深度学习的mimo信道状态信息反馈方法
CN109523486A (zh) 噪声环境下基于鲁棒压缩感知的多通道脑电信号重构方法
CN111046737A (zh) 一种用于微地震信号检测的高效智能感知采集方法
CN112884149A (zh) 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统
CN118114031B (zh) 基于机器学习的无线电波形预测方法及系统
CN114067168A (zh) 基于改进的变分自编码器网络的布匹缺陷图像生成系统及方法
CN118132964B (zh) 土壤空间温湿度预测方法、装置、设备、介质及程序产品
Li et al. Robust Low-Rank Tensor Completion Based on Tensor Ring Rank via $\ell _ {p,\epsilon} $-Norm
CN114630207B (zh) 基于降噪自编码器的多传感节点感知数据收集方法
CN112468203A (zh) 深度迭代神经网络用低秩csi反馈方法、存储介质及设备
Li et al. On joint optimization of sensing matrix and sparsifying dictionary for robust compressed sensing systems
Wu et al. A holistic approach to reconstruct data in ocean sensor network using compression sensing
CN105743611A (zh) 一种基于稀疏字典的无线传感器网络缺失数据重构方法
Tian et al. A data reconstruction algorithm based on neural network for compressed sensing
Zhang et al. 3-D seismic data recovery via neural network-based matrix completion
CN116863959A (zh) 一种基于生成对抗网络的海豚叫声生成方法
CN116859140A (zh) 基于云边协同的非侵入式负荷监测数据在线压缩感知方法
CN115438753A (zh) 一种基于生成的衡量联邦学习协议数据安全性的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant