CN114630207B - 基于降噪自编码器的多传感节点感知数据收集方法 - Google Patents

基于降噪自编码器的多传感节点感知数据收集方法 Download PDF

Info

Publication number
CN114630207B
CN114630207B CN202210253744.9A CN202210253744A CN114630207B CN 114630207 B CN114630207 B CN 114630207B CN 202210253744 A CN202210253744 A CN 202210253744A CN 114630207 B CN114630207 B CN 114630207B
Authority
CN
China
Prior art keywords
data
sensing
node
noise
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210253744.9A
Other languages
English (en)
Other versions
CN114630207A (zh
Inventor
陈惠芳
忻杨璇
谢磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210253744.9A priority Critical patent/CN114630207B/zh
Publication of CN114630207A publication Critical patent/CN114630207A/zh
Application granted granted Critical
Publication of CN114630207B publication Critical patent/CN114630207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/80Arrangements in the sub-station, i.e. sensing device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了基于降噪自编码器的多传感节点感知数据收集方法。本发明方法包括模型训练和分层式数据收集。模型训练首先对历史感知数据集进行预处理,然后构建降噪自编码器模型,并引入机制训练学习网络。分层式数据收集首先在多传感节点感知数据收集系统中部署训练好的神经网络模块,然后在传感节点生成感知数据,执行归一化处理后传输到边缘数据汇聚设备,将归一化感知数据进行压缩处理后传输至数据融合中心,执行重构操作,获得原始感知数据的重构数据。本发明实现感知数据的可靠收集,提升了对未知噪声的泛化能力和鲁棒性,方便在资源分布不均匀的物联网多传感节点感知数据收集系统中部署,降低数据传输量,减少通信能耗、延长网络使用寿命。

Description

基于降噪自编码器的多传感节点感知数据收集方法
技术领域
本发明属于物联网技术领域,涉及分布式数据压缩与处理技术,具体涉及物联网应用中的基于降噪自编码器的多传感节点感知数据降维与降噪一体化的收集方法。
背景技术
物联网是数字世界与物理世界在传统互联网基础上的扩展与延伸,作为一种新的技术被广泛应用在各个领域。物联网应用的性能通常依赖于大数据的处理、分析和决策,这些数据大都由资源紧缺的传感器获取,而传感器部署于观测对象所在的环境,使得感知噪声是不可避免的。另一方面,有一定覆盖区域的应用场景需要多个传感节点完成监测任务,不同传感器节点产生的数据之间会存在空间上的相关性,多传感节点数据融合时存在不必要的冗余信息。因此,如何高效处理多传感节点感知数据的空间冗余性,最大限度地降低通信、存储与计算成本,延长网络使用寿命是提高物联网应用性能的关键之一。
物联网数据收集包括数据感知、数据处理和数据传输三个部分。其中,数据处理包括数据的压缩、融合和重构等操作;数据传输阶段的能耗最大,且通信能耗与数据传输量成正比关系。现有的多传感节点物联网场景下,主要从数据压缩和网络优化两方面降低通信成本、延长网络寿命。其中网络优化是通过节点睡眠调度机制或网络覆盖优化技术实现传感器的续航时间增长,但是并未降低其感知数据传输量,而节点待机能耗远小于通信能耗。数据压缩主要分为自适应采样率和降低数据传输量两方面。其中,自适应采样能根据应用与系统级别环境调整采样率,减少感知数据量,但它需要数据相关信息,且可能发生关键信息丢失问题。常用的局部信号处理方法是基于压缩感知理论或深度学习方法进行数据压缩,减少数据传输量。其中压缩感知理论要求数据是可压缩的,且其对抗噪声主要借助字典及重构算法的设计来实现;考虑到自编码器模型的对称性结构有利于在传感器中的部署,因此深度学习方法主要通过自编码器作为数据压缩与重构的架构,针对不同的应用目标,还将结合其它学习网络进行改善,如卷积神经网络、长短期记忆网络,但上述深度神经网络结构复杂、参数众多,不利于部署于传感器等资源有限的设备。
申请号CN202110613285.6的中国发明专利申请公开了一种电主轴测量数据远程传输中的数据压缩方法,其局限性在于其性能依赖于数据稀疏表示的优越性、观测矩阵及重构算法的设计,计算复杂,且未考虑感知噪声问题。申请号CN202110871555.3的中国发明专利申请公开了一种基于边缘计算的电力系统稳态数据压缩方法,其局限性在于它需要数据是可压缩的或在某个变换域上是稀疏的,且联合稀疏模型、冗余字典、小波变换等方法计算较为复杂,且不适用于受损数据的压缩与重构。申请号CN202111220259.3的中国发明专利申请公开了一种用于时序电力数据的降噪方法和系统,其局限性在于深度卷积神经网络的训练较为复杂、耗时,且深度网络不适用于资源受限的传感节点。申请号CN202110934815.7的中国发明专利申请公开了一种基于自编码器的数据重建方法,其局限性在于改进的学习网络尽管能够提升数据重构精度,但其编解码的结构失去了对称性,且所提模型面向图像处理。申请号CN202110302058.1的中国发明专利申请公开了一种基于降噪自编码器的高维受损数据无线传输方法,其局限性在于它仅处理单传感节点数据的时间冗余性,没有考虑区域性应用中部署多传感节点同时监测目标时存在的空间冗余问题。
由于自编码器的对称结构在物联网系统部署的高可行性,其编解码过程能够实现数据的压缩与重构,以及它在非线性问题上的适配性,使得它在物联网应用中作为传感数据收集的压缩与重构架构具有较大的优势,也为多传感节点的感知数据收集提供了技术支持。
发明内容
本发明的目的是在物联网应用中收集多传感节点感知数据的应用场景中,针对传感节点资源受限、感知数据受噪声干扰、多传感节点感知数据间存在空间相关性等问题,提供一种基于降噪自编码器的多传感节点感知数据收集方法。
本发明方法包括模型训练和分层式数据收集。
所述的模型训练用于训练降噪自编码器模型,获得性能良好的抗噪、数据压缩与重构架构。具体方法是:
步骤(1)对历史感知数据集进行数据预处理:
对数据执行重组、归一化以及加噪处理,组成具有Q个样本的归一化不含噪数据集和含噪数据集其中每条数据样本的长度等价于传感节点数量N;其中,
所述的重组,对N个节点的历史感知数据x(i),根据采样时刻进行重组,获取长度为N的数据样本表示传感节点i在时刻t的感知数据,i=1,2,…,N, t=1,2,…,Q,T表示转置操作。
所述的归一化,对离散序列xt进行最大最小化处理,获取归一化样本每个样本点取值范围是(-1,1),传感节点i在时刻t数据的归一化值{x(i)}max为传感节点i感知数据中的最大值,{x(i)}min为传感节点i感知数据中的最小值。
所述的加噪,将随机生成的与多种应用场景相符的噪声叠加至归一化样本,得到含噪归一化样本传感节点i在t时刻的含噪归一化值
步骤(2)分割归一化不含噪数据集和含噪数据集将不含噪数据集和含噪数据集中Q个样本划分为不含噪训练集和含噪验证集满足qtrain+qvalid=Q,qtrain为训练集样本数量,qvalid为验证集样本数量,是含噪验证集对应的不含噪验证集。
步骤(3)构建降噪自编码器模型,模型输入为xt′,隐层表征为ht,模型输出为
降噪自编码器模型的神经网络模块由1个输入层、1个隐藏层和1个输出层构成,输入层神经元数量为I,隐藏层神经元数量为H,输出层神经元数量为O,满足I=O=N,即输入、输出层神经元数量等价于传感节点数量,激活函数为tanh,优化算法为小批量梯度下降法(Mini-batch gradient descent,MBGD)。将xt′馈入降噪自编码器模型,基于隐藏层得到线性测量信号yt和低维隐层表征ht,基于输出层可以得到模型重构数据
步骤(4)训练降噪自编码器模型:
(4-1)初始化:设置迭代轮数最大值Emax,迭代轮数更新阈值Eupdate,迭代轮数约数Emod(避免学习率更新过快);初始化迭代索引epoch=1;设置停止准则中的阈值thresh;根据预期压缩比设置隐藏层神经元数量H;利用Xavier初始化方法(Glorot X,BengioY.Understanding the difficulty of training deep feedforward neural networks[J].Journal of Machine Learning Research,2010,9:249-256.)随机初始化学习网络的权值参数参数w和偏置参数b;设置学习率η;设置训练样本批大小bs;
(4-2)分批:根据批大小bs将训练集样本均匀分成P个数据批,满足bs×P=Q,第p个批集合表示为
(4-3)退化处理:随机选取一个未选择过的数据批生成一个满足(0,1)均匀分布的随机数r,并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上,得到退化数据批
(4-4)前向传播:将退化数据批中的所有bs个样本输入模型,输出相应的重构样本
(4-5)后向传播:基于数据批对应的输入样本xt′和重构样本计算损失函数表示该小批中节点i时刻t的重构输出值,表示该小批中节点i时刻t对应的原始值;根据小批量梯度下降法更新权值参数和偏置参数
(4-6)迭代:若未选取完所有训练数据批,则返回步骤(4-3)继续训练模型,否则执行 (4-7);
(4-7)验证:将含噪验证集输入模型,计算不含噪的验证集样本xt和重构样本的平均绝对误差MAEvalid,并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε=|MAEvalid-{MAEvalid}min|;
(4-8)迭代:若当前迭代轮次epoch<Emax,且验证集绝对差值ε>thresh,则比较当前 MAEvalid和{MAEvalid}min,若MAEvalid<{MAEvalid}min,则更新最小绝对误差值{MAEvalid}min,更新迭代轮次epoch=epoch+1,若epoch≥Eupdate且epochmodEmod=0,则更新学习率η=η/2,返回步骤(4-2)进行下一轮迭代;否则结束训练,并保存最佳模型参数{wopt,bopt}。
所述的分层式数据收集用于建立物联网多传感节点感知数据收集系统,将训练好的学习网络分层部署至三类设备,即传感节点、边缘数据汇聚设备和数据融合中心,实现分布式多传感节点感知数据收集。多传感节点感知数据收集系统包括传感节点、边缘数据汇聚设备和数据融合中心,底层资源受限的传感节点生成感知数据,并转发至中层资源较充足的边缘数据汇聚设备,该设备接收底层数据,执行数据压缩操作,转发至上层数据融合中心,由资源充足的数据融合中心执行数据重构操作,完成数据收集。
分布式多传感节点感知数据收集的具体方法是:
步骤(a)多传感节点感知数据收集系统中部署训练好的降噪自编码器的神经网络模块:
将编码器参数θe={We,be}和非线性激活函数f部署于边缘数据汇聚设备;其中,We为权值矩阵,be为偏置参数;
将模型的解码器参数θd={Wd,bd}和非线性激活函数g部署于数据融合中心;其中,Wd为权值矩阵,bd为偏置参数;
步骤(b)在传感节点执行本地数据处理:
传感节点j生成的感知数据受类型未知的感知噪声干扰,即 为传感节点j在时刻t′的感知数据值,为传感节点j在时刻t′的感知噪声,t′=1,2,...,L,L是传感节点j的感知数据数量;
基于历史数据对执行归一化操作,得到归一化值方法与步骤(1)相同;
步骤(c)将归一化感知数据传输至边缘数据汇聚设备。
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据:
重组成尺寸为N×1的列向量
对感知向量执行压缩操作,得到大小为H×1的低维测量数据第k个传输测量值为表示权值矩阵We的第k行,表示偏置参数be的第k个行元素。
步骤(e)将低维测量数据yt′向上传输至数据融合中心。
步骤(f)数据融合中心重构原始感知数据:
数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理,得到感知数据的重构数据其中,
解码:对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作,得到原始归一化感知数据重构样本传感节点j时刻t′原始归一化感知数据重构值为表示权值矩阵Wd的第j行,表示偏置参数bd的第j个行元素;
逆归一化:对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作,获取原始值域内感知数据的重构数据
重组:对逆归一化后的原始感知数据重构样本转置后按行拼接,获取序列长度为L的感知数据的重构数据
本发明以传统自编码器模型作为神经网络模块的基础架构,引入分批添加随机高斯噪声的训练方式,提升了模型对未知噪声的泛化能力和鲁棒性,方便在资源分布不均匀的物联网多传感节点感知数据收集系统中部署,实现多传感节点感知数据的可靠收集。与现有的数据收集方法相比,具有如下有益效果:
(1)现有的基于压缩感知理论的数据压缩与重构方法需要假设数据是稀疏的或可压缩的,对抗噪声的能力取决于噪声先验信息的准确性,压缩性能与重构性能受测量矩阵、字典及重构算法三方面设计的限制。而本发明能规避可压缩性的假设条件,在无噪声先验信息的前提下对多种噪声均具有鲁棒性,且压缩性能优于压缩感知技术。
(2)现有的基于深度学习的数据收集方法大都只关注降噪或降维其中一方面的功能,且其数据重构能力依赖于学习网络的深度和复杂性,对实际应用中的物理设备具有较高要求。而本发明使用了三层结构的自编码器模型,其对称性使得模型易于部署在资源受限的传感设备上,且充分利用了数据收集系统中不同设备的资源充沛性,实现高效的多节点数据收集,延长网络寿命。
(3)现有的数据收集方法没有考虑复杂环境导致的噪声非单一问题,其降噪能力具有一定的局限性。而本发明改进了模型的训练机制,提高了学习网络对抗噪声的泛化能力和鲁棒性,能有效地恢复不同噪声干扰下的感知数据。
附图说明
图1为本发明方法整体框架示意图;
图2为本发明方法中的模型训练流程图;
图3本发明方法中的降噪自编码器模型的示意图;
图4为本方明方法中降噪自编码器模型的训练流程图;
图5为本发明方法中的多传感节点感知数据收集系统模型示意图。
具体实施方式
以下结合附图并举实施例对本发明作进一步详细说明。
本发明的目的是在物联网应用中收集多传感节点感知数据的应用场景中,针对传感节点资源受限、感知数据受多种噪声干扰、多传感节点感知数据间存在空间相关性等问题,设计一种基于降噪自编码器的多传感节点感知数据收集方法,提高数据收集效率,降低网络能耗。通过降噪自编码器模型训练阶段的噪声引入机制的改进,使模型在训练过程中能够充分学习数据的本质特征及噪声特性,对不同噪声均有抵抗能力,最大限度地降低数据传输量,提高数据重构精度。
本方法的多传感节点感知数据收集架构如图1所示,其中降噪自编码器模型的神经网络模块由编码器和解码器构成。编码器的线性模块部署于边缘数据汇聚设备,用于压缩多传感节点感知数据,该部分的降维处理模块主要由编码阶段的权值参数We和偏置参数be组成。模型的非线性激活函数及解码器模块部署于数据融合中心,负责数据的降噪重构,部署参数包括隐藏层的激活函数f、解码器参数Wd和bd,以及输出层的激活函数g。
本实施例以浙江大学网络与通信研究室提供的南海数据集中2020年7月至8月的CTD 温度数据为例,共有17个剖面,每个剖面的数据数量为5160,对基于降噪自编码器的多传感节点感知数据收集方法进行说明。发明方法包括模型训练和分层式数据收集。
如图2,模型训练具体是:
步骤(1)对历史的温度数据集进行数据预处理,具体如下:
对温度数据执行重组、归一化以及加噪处理,组成具有Q个(本实施例中Q=1462)样本的归一化不含噪温度数据集和含噪数据集样本长度N(本实例中N=60)。
步骤(2)分割归一化不含噪温度数据集和含噪温度数据集具体是:
基于K-折(本实施例中K=17)交叉验证的思想以及剖面数,将不含噪温度数据集和含噪温度数据集中Q个样本进行K等分,有不含噪训练集用于模型的训练,含噪测试集和不含噪测试集用于检验收集方法的有效性;第k组训练-测试集为组号k=1,2,...,17;每组的样本个数为的样本个数为
步骤(3)构建降噪自编码器模型,模型输入为xt′,隐层输出为ht,模型输出为构建方法具体如下:
降噪自编码器模型如图3所示,其神经网络模块由1个输入层、1个隐藏层和1个输出层构成,输入层神经元数量为I(本实施例中I=60),隐藏层神经元数量为H(本实施例中H=20),输出层神经元数量为O(本实施例中O=60),满足I=O=N,即输入、输出层神经元数量等价于传感节点数量,激活函数为tanh,优化算法为小批量梯度下降法(Mini- batchgradient descent,MBGD)。将xt′馈入降噪自编码器模型,基于隐藏层可以得到线性测量信号yt和低维隐层表征ht,基于输出层可以得到模型重构数据
步骤(4)如图4所示,训练降噪自编码器模型,具体是:
(4-1)初始化:设置迭代轮数最大值Emax=2000,迭代轮数更新阈值Eupdate=800,迭代轮数约数Emod=500;初始化迭代索引,epoch=1;设置停止准则中的阈值thresh=1e-6;利用Xavier初始化方法随机初始化学习网络的权值参数w和偏置参数b;设置学习率η=0.01;设置训练样本批大小bs=32;设置当前训练集的组号为k=1,总组数为K=17;
(4-2)分批:根据批大小bs将训练集样本均匀分成P个(本实施例中)小批,随机选取部分小批(本实例中选取1个小批)作为验证集并叠加与含噪数据集相同分布的噪声,生成对应含噪验证集
(4-3)退化处理:随机选取一个未选择过的数据批并生成一个满足(0,1)均匀分布的随机数r,并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上,得到退化数据批
(4-4)前向传播:将退化数据批中的所有bs个样本输入模型,输出相应的重构样本
(4-5)后向传播:基于数据批对应的原始样本xt′和重构样本计算损失函数表示该小批中节点i时刻t的重构输出值,表示该小批中节点i时刻t对应的原始值;根据小批量梯度下降法更新权值参数和偏置参数
(4-6)迭代:若未选取完所有训练数据批,则返回步骤(4-3)继续训练模型;
(4-7)验证:将含噪验证集输入模型,计算不含噪的验证集样本xt和重构样本的平均绝对误差MAEvalid,并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε=|MAEvalid-{MAEvalid}min|;
(4-8)迭代:若当前迭代轮次epoch<Emax且验证集绝对差值ε>thresh,则比较当前 MAEvalid和{MAEvalid}min,若MAEvalid<{MAEvalid}min,则更新最小绝对误差值{MAEvalid}min,更新迭代轮次epoch=epoch+1,若epoch≥Eupdate且epochmodEmod=0,则更新学习率η=η/2,返回步骤(4-2)进行下一轮迭代;否则结束训练,并保存最佳模型参数{wopt,bopt}。
如图5,所述的分层式多传感节点感知数据收集具体是:
步骤(a)多传感节点感知数据收集系统部署训练好的降噪自编码器的神经网络模块:
从17个降噪自编码器模型选择出最优的模型参数{wopt,bopt};
将编码器参数θe={We,be}和非线性激活函数f部署于边缘数据汇聚设备;;其中,We为权值矩阵,be为偏置参数;
将模型的解码器参数θd={Wd,bd}和非线性激活函数g部署于数据融合中心;其中,Wd为权值矩阵,bd为偏置参数。
步骤(b)在传感节点执行本地数据处理:
传感节点j实际生成的感知数据会受类型未知的感知噪声干扰,即 (本实施例中N=60,噪声服从多种类型的噪声分布);
基于历史数据对执行归一化操作,得到归一化值方法与步骤(1)相同。
步骤(c)将归一化感知数据传输至边缘数据汇聚设备。
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据:
重组成尺寸为N×1(本实施例中N=60)的列向量
对感知向量执行压缩操作,得到大小为H×1(本实施例中H=20)的低维测量数据操作方法与步骤(d)相同。第k个传输测量值为 表示权值矩阵We的第k行,表示偏置参数be的第k个行元素。
步骤(e)将低维测量数据yt′向上传输至数据融合中心。
步骤(f)在数据融合中心重构原始感知数据:
数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理,得到感知数据的重构数据其中,
解码:对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作,得到原始归一化感知数据重构样本传感节点j时刻t′原始归一化感知数据重构值为表示权值矩阵Wd的第j行,表示偏置参数bd的第j个行元素;
逆归一化:对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作,获取原始值域内感知数据的重构数据
重组:对逆归一化后的原始感知数据重构样本转置后按行拼接,获取序列长度为L的感知数据的重构数据
上述实例所述的内容仅仅是对本发明实现形式的列举,本发明的保护范围不应限于实施例所陈述的具体形式,本发明的保护范围也应包含在本发明基础上所构思的同类发明方法。

Claims (6)

1.基于降噪自编码器的多传感节点感知数据收集方法,包括模型训练和分层式数据收集;其特征在于,所述的模型训练用于训练降噪自编码器模型,具体方法是:
步骤(1)对历史感知数据集进行数据预处理:
对数据执行重组、归一化以及加噪处理,组成具有Q个样本的归一化不含噪数据集
Figure FDA0004036791840000011
和含噪数据集
Figure FDA0004036791840000012
其中每条数据样本的长度等价于传感节点数量N;
步骤(2)分割归一化不含噪数据集
Figure FDA0004036791840000013
和含噪数据集
Figure FDA0004036791840000014
将不含噪数据集
Figure FDA0004036791840000015
和含噪数据集
Figure FDA0004036791840000016
中Q个样本划分为不含噪训练集
Figure FDA0004036791840000017
和含噪验证集
Figure FDA0004036791840000018
满足qtrain+qvalid=Q,
Figure FDA0004036791840000019
qtrain为训练集样本数量,qvalid为验证集样本数量,
Figure FDA00040367918400000110
是含噪验证集
Figure FDA00040367918400000111
对应的不含噪验证集;
步骤(3)构建降噪自编码器模型,模型输入为归一化样本xt′,隐层表征为ht,模型输出为重构样本
Figure FDA00040367918400000112
具体是:
降噪自编码器模型的神经网络模块由1个输入层、1个隐藏层和1个输出层构成,输入层神经元数量为I,隐藏层神经元数量为H,输出层神经元数量为O,满足I=O=N,即输入、输出层神经元数量等价于传感节点数量,激活函数为tanh,优化算法为小批量梯度下降法;将xt′馈入降噪自编码器模型,基于隐藏层得到线性测量信号yt和低维隐层表征ht,基于输出层得到重构样本
Figure FDA00040367918400000113
步骤(4)训练降噪自编码器模型,得到最佳模型参数;具体是:
(4-1)初始化:设置迭代轮数最大值Emax,迭代轮数更新阈值Eupdate,迭代轮数约数Emod;初始化迭代索引epoch=1;设置停止准则中的阈值thresh;根据预期压缩比设置隐藏层神经元数量H;利用Xavier初始化方法随机初始化学习网络的权值参数w和偏置参数b;设置学习率η;设置训练样本批大小bs;
(4-2)分批:根据批大小bs将训练集
Figure FDA00040367918400000114
样本均匀分成P个数据批,满足bs×P=Q,第p个批集合表示为
Figure FDA00040367918400000115
(4-3)退化处理:随机选取一个未选择过的数据批
Figure FDA0004036791840000021
生成一个满足(0,1)均匀分布的随机数r,并以r/2值作为标准差生成与数据批等尺寸的高斯噪声叠加到该数据批上,得到退化数据批
Figure FDA0004036791840000022
(4-4)前向传播:将退化数据批
Figure FDA0004036791840000023
中的所有bs个样本
Figure FDA0004036791840000024
输入模型,输出相应的重构样本
Figure FDA0004036791840000025
(4-5)后向传播:基于数据批对应的输入样本xt′和重构样本
Figure FDA0004036791840000026
计算损失函数
Figure FDA0004036791840000027
Figure FDA0004036791840000028
表示该小批中节点i时刻t的重构输出值,
Figure FDA0004036791840000029
表示该小批中节点i时刻t对应的原始值;根据小批量梯度下降法更新权值参数
Figure FDA00040367918400000210
和偏置参数
Figure FDA00040367918400000211
(4-6)迭代:若未选取完所有训练数据批,则返回步骤(4-3)继续训练模型,否则执行(4-7);
(4-7)验证:将含噪验证集
Figure FDA00040367918400000212
输入模型,计算不含噪的验证集样本xt和重构样本
Figure FDA00040367918400000213
的平均绝对误差MAEvalid,并计算其与保存的验证集最小绝对误差{MAEvalid}min的绝对差值ε=|MAEvalid-{MAEvalid}min|;
(4-8)迭代:若当前迭代轮次epoch<Emax,且验证集绝对差值ε>thresh,则比较当前MAEvalid和{MAEvalid}min,若MAEvalid<{MAEvalid}min,则更新最小绝对误差值{MAEvalid}min,更新迭代轮次epoch=epoch+1,若epoch≥Eupdate且epochmodEmod=0,则更新学习率η=η/2,返回步骤(4-2)进行下一轮迭代;否则结束训练,并保存最佳模型参数{wopt,bopt};
所述的分层式数据收集用于建立物联网多传感节点感知数据收集系统,将训练好的学习网络分层部署,实现分布式多传感节点感知数据收集;所述的多传感节点感知数据收集系统包括传感节点、边缘数据汇聚设备和数据融合中心;具体方法是:
步骤(a)多传感节点感知数据收集系统中部署训练好的降噪自编码器的神经网络模块;
步骤(b)在传感节点执行本地数据处理:
步骤(c)将归一化感知数据
Figure FDA0004036791840000031
传输至边缘数据汇聚设备;
步骤(d)在边缘数据汇聚设备压缩多传感节点感知数据,得到低维测量数据yt′
步骤(e)将低维测量数据yt′向上传输至数据融合中心;
步骤(f)数据融合中心重构原始感知数据:数据融合中心对接收到的低维测量数据yt′执行解码、逆归一化以及重组处理,得到感知数据的重构数据
Figure FDA0004036791840000032
2.如权利要求1所述的基于降噪自编码器的多传感节点感知数据收集方法,其特征在于,步骤(1)中:
所述的重组,对N个节点的历史感知数据x(i),根据采样时刻进行重组,获取长度为N的数据样本
Figure FDA0004036791840000033
Figure FDA0004036791840000034
表示传感节点i在时刻t的感知数据,i=1,2,…,N,t=1,2,…,Q,T表示转置操作;
所述的归一化,对离散序列xt进行最大最小化处理,获取归一化样本
Figure FDA0004036791840000035
每个样本点取值范围是(-1,1),传感节点i在时刻t数据的归一化值
Figure FDA0004036791840000036
{x(i)}max为传感节点i感知数据中的最大值,{x(i)}min为传感节点i感知数据中的最小值;
所述的加噪,将随机生成的与多种应用场景相符的噪声
Figure FDA0004036791840000037
叠加至归一化样本,得到含噪归一化样本
Figure FDA0004036791840000038
传感节点i在t时刻的含噪归一化值
Figure FDA0004036791840000039
3.如权利要求1所述的基于降噪自编码器的多传感节点感知数据收集方法,其特征在于,步骤(a)具体是:
将编码器参数θe={We,be}和非线性激活函数f部署于边缘数据汇聚设备;其中,We为权值矩阵,be为偏置参数;
将模型的解码器参数θd={Wd,bd}和非线性激活函数g部署于数据融合中心;其中,Wd为权值矩阵,bd为偏置参数。
4.如权利要求3所述的基于降噪自编码器的多传感节点感知数据收集方法,其特征在于,步骤(b)具体是:
传感节点j生成的感知数据受类型未知的感知噪声干扰,即
Figure FDA0004036791840000041
Figure FDA0004036791840000042
Figure FDA0004036791840000043
为传感节点j在时刻t′的感知数据值,
Figure FDA0004036791840000044
为传感节点j在时刻t′的感知噪声,t′=1,2,...,L,L是传感节点j的感知数据数量;
基于历史数据对
Figure FDA0004036791840000045
执行归一化操作,得到归一化值
Figure FDA0004036791840000046
方法与步骤(1)相同。
5.如权利要求4所述的基于降噪自编码器的多传感节点感知数据收集方法,其特征在于,步骤(d)具体是:
Figure FDA0004036791840000047
重组成尺寸为N×1的列向量
Figure FDA0004036791840000048
对感知向量
Figure FDA0004036791840000049
执行压缩操作,得到大小为H×1的低维测量数据
Figure FDA00040367918400000410
第k个传输测量值为
Figure FDA00040367918400000411
Figure FDA00040367918400000412
表示权值矩阵We的第k行,
Figure FDA00040367918400000413
表示偏置参数be的第k个行元素。
6.如权利要求5所述的基于降噪自编码器的多传感节点感知数据收集方法,其特征在于,步骤(f)中:
所述的解码,对接收到的低维测量数据yt′执行矩阵向量乘法、加法以及非线性运算操作,得到原始归一化感知数据重构样本
Figure FDA00040367918400000414
传感节点j时刻t′原始归一化感知数据重构值为
Figure FDA00040367918400000415
Figure FDA00040367918400000416
表示权值矩阵Wd的第j行,
Figure FDA00040367918400000417
表示偏置参数bd的第j个行元素;
所述的逆归一化,对解码后的原始归一化感知数据重构值执行最大最小逆归一化操作,获取原始值域内感知数据的重构数据
Figure FDA00040367918400000418
所述的重组,对逆归一化后的原始感知数据重构样本转置后按行拼接,获取序列长度为L的感知数据的重构数据
Figure FDA00040367918400000419
CN202210253744.9A 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法 Active CN114630207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210253744.9A CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210253744.9A CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Publications (2)

Publication Number Publication Date
CN114630207A CN114630207A (zh) 2022-06-14
CN114630207B true CN114630207B (zh) 2023-04-07

Family

ID=81901118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210253744.9A Active CN114630207B (zh) 2022-03-15 2022-03-15 基于降噪自编码器的多传感节点感知数据收集方法

Country Status (1)

Country Link
CN (1) CN114630207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028781B (zh) * 2023-03-30 2023-06-30 矿冶科技集团有限公司 数据预处理方法、系统、计算机设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158211A1 (en) * 2019-11-22 2021-05-27 Google Llc Linear time algorithms for privacy preserving convex optimization
EP3961511A1 (de) * 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen
CN113113030B (zh) * 2021-03-22 2022-03-22 浙江大学 一种基于降噪自编码器的高维受损数据无线传输方法
CN113313170B (zh) * 2021-05-28 2024-02-27 中国人民解放军战略支援部队航天工程大学 基于人工智能的全时全域训练大数据平台
CN114169368A (zh) * 2021-11-26 2022-03-11 哈尔滨工程大学 一种基于信号降噪自编码器sde的信号降噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN114630207A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Liang et al. An iterative BP-CNN architecture for channel decoding
Li et al. An energy-efficient data collection scheme using denoising autoencoder in wireless sensor networks
CN108696331B (zh) 一种基于生成对抗网络的信号重构方法
CN113113030B (zh) 一种基于降噪自编码器的高维受损数据无线传输方法
CN109919864A (zh) 一种基于稀疏去噪自编码网络的图像压缩感知方法
Li et al. A survey on matrix completion: Perspective of signal processing
Erdemir et al. Generative joint source-channel coding for semantic image transmission
Cheng et al. Wind turbine blade icing detection: A federated learning approach
CN109361404A (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN114019370B (zh) 基于灰度图像和轻量级cnn-svm模型的电机故障检测方法
Mdrafi et al. Joint learning of measurement matrix and signal reconstruction via deep learning
CN113255437A (zh) 滚动轴承深度卷积稀疏自动编码器故障诊断方法
CN114630207B (zh) 基于降噪自编码器的多传感节点感知数据收集方法
CN113128679A (zh) 在通信系统中进行训练
CN109614905B (zh) 一种雷达辐射源信号深度脉内特征自动提取方法
Wang et al. Residential customer baseline load estimation using stacked autoencoder with pseudo-load selection
Khan et al. Robust and efficient data transmission over noisy communication channels using stacked and denoising autoencoders
CN113328755A (zh) 一种面向边缘计算的压缩数据传输方法
CN115879505A (zh) 一种自适应相关感知无监督深度学习异常检测方法
CN114066003A (zh) 基于小波分解和长短时记忆网络的电力负荷预测方法
CN113361803A (zh) 基于生成对抗网络的超短期光伏功率预测方法
Wu et al. A holistic approach to reconstruct data in ocean sensor network using compression sensing
CN115081555B (zh) 基于生成对抗和双向循环神经网络的异常检测方法及装置
Li et al. Towards communication-efficient digital twin via AI-powered transmission and reconstruction
Li et al. Automatic modulation recognition based on a new deep K-SVD denoising algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant