CN105653728B - 基于双层模型体系的无线传感网的数据采集方法 - Google Patents

基于双层模型体系的无线传感网的数据采集方法 Download PDF

Info

Publication number
CN105653728B
CN105653728B CN201610056636.7A CN201610056636A CN105653728B CN 105653728 B CN105653728 B CN 105653728B CN 201610056636 A CN201610056636 A CN 201610056636A CN 105653728 B CN105653728 B CN 105653728B
Authority
CN
China
Prior art keywords
model
residual error
data
trend
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610056636.7A
Other languages
English (en)
Other versions
CN105653728A (zh
Inventor
于湃
王凡
胡小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201610056636.7A priority Critical patent/CN105653728B/zh
Publication of CN105653728A publication Critical patent/CN105653728A/zh
Application granted granted Critical
Publication of CN105653728B publication Critical patent/CN105653728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

一种基于双层模型体系的无线传感网的新颖数据采集方法,属于无线传感网技术领域。本发明实现包括趋势模型和调整模型两部分。构建趋势模型部分包括第一步将单变量模型表示为状态空间形式,第二步应用卡尔曼滤波进行模型参数的计算,第三步基于残差三阶累积量的模型检测。调整模型为针对残差数据,采用三阶自回归模型,根据精度要求,进行阈值进行判断。最后节点向外传输的数据为趋势模型参数和调整模型参数以及相应的时间点。与已有的基于单模型的数据采集方法相比,该方法具有更高的精度;与已有的复杂模型的数据采集方法相比,该方法在具有更高的精度的同时,而且消耗更少的存储资源,能够满足复杂环境的需求。

Description

基于双层模型体系的无线传感网的数据采集方法
技术领域
本发明涉及双层模型体系的无线传感网的新颖数据采集方法,属于无线传感网数据采集领域。
背景技术
最近几年,随着大量基于模型的数据采集方法的提出,数据采集方法得到了快速地发展,但是仍然存在许多不足。基于复杂建模的数据采集方法可以提供更高的准确度,可是却消耗大量的计算能力和存储资源。基于简单建模的数据采集方法具有简便的特点,可是却很难提供一个合适的模型,在解决采集的数据序列的长期趋势和短期的自然扰动的同时,还可以在能源效率和模型精确度之间提供一个更好的权衡。
发明内容
本发明针对上面的问题,而研制基于双层模型体系的无线传感网的新颖数据采集方法。该方法可以很好的描述传感器采集数据的长期趋势,同时充分考虑到数据的自然扰动,达到快速准确地的构建数据模型,对采集的数据进行压缩的目的。
本发明包括三步:
第一步:对采集的数据进行趋势模型的构建
第二步:对采集的数据和趋势模型还原的数据的残差进行调整模型构建
第三步:在趋势模型和调整模型构建完毕后,分别将趋势模型及相应的时间点和调整模型及相应时间点作为数据向其他节点传输。
本发明将单变量模型写成状态空间的形式,采用强有效的卡尔曼滤波算法估计参数值。卡尔曼滤波是在时刻t基于所有可得到信息计算状态向量的最理想的递推过程。并且我们可以利用自回归模型具有足够的适应性和轻便性,对采集数据和趋势模型还原的数据的残差进行建模。我们结合这个现象,提出了描述传感器采集数据整体趋势的趋势模型和描述自然扰动的调整模型相结合的基于双层模型体系的无线传感网的新颖数据采集方法。与已有的基于单模型的数据采集方法相比,该方法具有更高的精度;与已有的复杂模型的数据采集方法相比,该方法在具有更高的精度的同时,而且消耗更少的存储资源,能够满足复杂环境的需求。
附图说明
图1为一次趋势模型的构建过程。
具体实施方式
本发明包括四步:对采集的数据进行趋势模型的构建,对采集的数据和趋势模型还原的数据的残差,进行调整模型构建,分别将趋势模型及相应的时间点和调整模型及相应时间点作为数据向sink节点传输。
第一步:对采集的数据进行趋势模型的构建
趋势模型,用于以少量模型描述样本采集数据的整体趋势。以单变量模型作为趋势模型,将单变量模型表示为状态空间形式,然后应用卡尔曼滤波进行模型参数的迭代计算,实时采用基于残差三阶累积量的模型检测,如果经过判断模型失效,则本次趋势模型构建结束,进行新的趋势模型的构建。为了更加准确地计算出模型有效期间内的参数,通过利用卡尔曼滤波连续修正状态向量的估计,得到状态向量的最优估计。计算残差三阶累积量,根据设定的阈值,判断模型是否失效,如果失效,则本次趋势模型构建结束,否则继续进行卡尔曼参数估计。流程图见说明图1。
采用单变量模型作为趋势模型,即
yt=x′tα+ut,t=1,2,…,T
yt是因变量,x′t是1×m的解释变量向量,α是待估计m×1位置参数向量,ut是扰动项。
将单变量模型写成状态空间的形式,即
量测方程:yt=x′tαt+ztγ+ut
状态方程:
xt是具有随机系数αt的解释变量的集合,zt是有固定系数γ的解释变量集合,随机系数向量αt是状态向量,变参数αt是不可观测变量,必须利用可观测变量yt和xt来估计。
采用卡尔曼滤波迭代的进行模型参数的求解,即设at-1为状态向量αt-1的均值,也是基于信息集合Yt-1的αt的估计量,Pt-1表示估计误差的m×m协方差矩阵,即
Pt-1=E[(αt-1-at-1)(αt-1-at-1)′] (1)
当给定αt-1和Pt-1时,αt的条件分布的均值由下式给定,即
at|t-1=Ttat-1+ct (2)
在扰动项和初始状态向量服从正态分布的假设下,αt的条件分布的均值at|t-1是αt在最小均方误差意义下的一个最优估计量。估计误差的协方差矩阵是
Pt|t-1=TtPt-1T′t+RtQtR′t (3)
式(2)和式(3)称为预测方程
一旦得到新的预测值yt,就能修正αt的估计at|t-1
Ft=ZtPt|t-1Z′t+H t=1,2,…,T (6)
式(2)~式(6)称为更新方程
上述式(2)~式(6)一起构成卡尔曼滤波的公式。系统矩阵Zt,Ht,Tt,Rt,Qt是已知的。初始状态向量α0的均值为a0,协方差P0。在所有的时间区间上,扰动项ut和εt相互独立,而且它们和初始状态α0也不相关。卡尔曼滤波的初值可以按a0和P0或a1|0和P1|0指定。通过对每一个时间点进行卡尔曼滤波计算,计算出此时的最优参数。对于t=1,2,…,T,每当得到一个观测值时,卡尔曼滤波提供了状态向量的最优估计,当所有的T个观测值都已处理,卡尔曼滤波基于信息集合YT,产生当前状态向量和下一时刻状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。
接下来,针对得到的每一个模型参数,通过基于残差三阶累积量来进行模型参数的检测,{d(k)}是ith时间点最近的N个残差数据。滑动窗口大小设定为N,使用{d(k)}的三阶累积量。假设{d(k)}满足遍历性,残差的三阶累积量估计计算如下:
残差三阶累积量的标准化:
进行阈值检测:
当残差数据更新到(i+1)th,目前的(i+1)th最近的N个残差继续重复阈值检测,直到本次模型检测结束。
第二步:调整模型的构建
调整模型采用的是p阶自回归模型,即如果时间序列xt满足
其中是模型参数∈t是独立同分布的随机变量序列,且满足:以及E(∈t)=0,则称为时间序列xt服从p阶的自回归模型样本数据为趋势模型的值和采集数据的值的残差,根据精度要求,设定阈值,不断更新模型。
调整模型,用于描述样本采集数据在趋势模型基础上的自然扰动。以样本数据和基于趋势模型参数恢复的数据的残差作为时间序列,采用三阶自回归模型,训练一个时间段的残差数据构建调整模型,根据精度要求确定阈值,实时对调整模型的有效性进行检测,如果模型失效,则重新进行新的调整模型构建,否则,继续对调整模型的有效性进行检测。
第三步:在趋势模型和调整模型构建完毕后,分别将趋势模型及相应的时间点和调整模型及相应时间点作为数据向其他节点传输。
本发明原理及有益效果:将单变量模型写成状态空间的形式,采用强有效的卡尔曼滤波算法估计参数值。卡尔曼滤波是在时刻t基于所有可得到信息计算状态向量的最理想的递推过程。并且我们可以利用自回归模型具有足够的适应性和轻便性,对采集数据和趋势模型还原的数据的残差进行建模。我们结合这个现象,提出了描述传感器采集数据整体趋势的趋势模型和描述自然扰动的调整模型相结合的基于双层模型体系的无线传感网的新颖数据采集方法。与已有的基于单模型的数据采集方法相比,该方法具有更高的精度;与已有的复杂模型的数据采集方法相比,该方法在具有更高的精度的同时,而且消耗更少的存储资源,能够满足复杂环境的需求。
我们从两个方面对实验结果进行分析,首先是算法的参数分析,其次是精确度和传输率分析。我们使用均方误差度量方法来评价算法的精确性。所谓均方误差,就是各测量值误差的平方和的平均值的平方根。该方法能够有效地评价整个算法的准确性。传输率,就是应用数据模型后的传输数据量占原始数据量的比重,即该方法能够有效地评价整个算法的存储性能和传输性能。
就参数分析方面,我们对传感器节点18进行实验,结果如表1和表2所示。可见当检测算法的滑动窗口N=30,阈值M=10时,有最佳性能。
表1趋势模型中的参数N的评估
N 20 30 40 50 60
传输率 0.0144 0.0144 0.0144 0.0144 0.0148
均方误差 4.0028 3.9318 3.9464 3.9607 4.0183
表2趋势模型中的参数M的评估
M 0.8 1.0 1.2 1.4 1.6
传输率 0.0148 0.0144 0.014 0.014 0.014
均方误差 4.0297 3.9002 3.9905 4.1801 4.167
就方法对比方面,我们对传感器节点20进行试验,首先我们对选取基于简单模型的PAQ和复杂模型COGKDA进行准确度比较,比较标准是均方误差,结果如表3所示。其次我们和同样是基于复杂模型的COGKDA方法进行传输率比较,比较标准是数据传输率。正如表3和表4所显示的,我们的方法能够在准确度和传输率上有一个更好的权衡表现。
表3 Mean Squared Error VS.Prediction threshold
Prediction threshold 0.2 0.4 0.6 0.8 1.0
TRAD 0.0756 0.1423 0.2109 0.2746 0.3455
COGKDA 0.0802 0.1576 0.2239 0.3273 0.4007
PAQ 0.2611 0.3051 0.3585 0.4161 0.4966
表4 Data transmission rate VS.Prediction threshold

Claims (1)

1.一种基于双层模型体系的无线传感网的数据采集方法,其特征在于以下步骤,第一步,构建趋势模型
采用单变量模型作为趋势模型,即
yt=x′tα+ut,t=1,2,…,T
yt是因变量,x′t是1×m的解释变量向量,α是待估计m×1位置参数向量,ut是扰动项;
将单变量模型写成状态空间的形式,即
量测方程:yt=x′tαt+ztγ+ut
状态方程:
xt是具有随机系数αt的解释变量的集合,zt是有固定系数γ的解释变量集合,随机系数向量αt是状态向量,变参数αt是不可观测变量,利用可观测变量yt和xt来估计;
采用卡尔曼滤波迭代的进行模型参数的求解,即设at-1为状态向量αt-1的均值,也是基于信息集合Yt-1的αt的估计量,Pt-1表示估计误差的m×m协方差矩阵,即
Pt-1=E[(αt-1-at-1)(αt-1-at-1)′] (1)
当给定αt-1和Pt-1时,αt的条件分布的均值由下式给定,即
at|t-1=Ttat-1+ct (2)
在扰动项和初始状态向量服从正态分布的假设下,αt的条件分布的均值at|t-1是αt在最小均方误差意义下的一个最优估计量;估计误差的协方差矩阵是
Pt|t-1=TtPt-1T′t+RtQtR′t (3)
式(2)和式(3)称为预测方程;
一旦得到新的预测值yt,就能修正αt的估计at|t-1
Ft=ZtPt|t-1Z′t+H t=1,2,…,T(6)
式(2)~式(6)称为更新方程
上述式(2)~式(6)一起构成卡尔曼滤波的公式;系统矩阵Zt,Ht,Tt,Rt,Qt是已知的;初始状态向量α0的均值为a0,协方差P0;在所有的时间区间上,扰动项ut和εt相互独立,而且它们和初始状态α0也不相关;卡尔曼滤波的初值可以按a0和P0或a1|0和P1|0指定;通过对每一个时间点进行卡尔曼滤波计算,计算出此时的最优参数;
针对得到的每一个模型参数,通过基于残差三阶累积量来进行模型参数的检测,{d(k)}是ith时间点最近的N个残差数据;滑动窗口大小设定为N,使用{d(k)}的三阶累积量;假设{d(k)}满足遍历性,残差的三阶累积量估计计算如下:
残差三阶累积量的标准化:
进行阈值检测:
当残差数据更新到(i+1)th,目前的(i+1)th最近的N个残差继续重复阈值检测,直到本次模型检测结束;
第二步,调整模型的构建
调整模型采用的是p阶自回归模型,即如果时间序列xt满足
其中是模型参数∈t是独立同分布的随机变量序列,且满足:
以及E(∈t)=0,则称为时间序列xt服从p阶的自回归模型
样本数据为趋势模型的值和采集数据的值的残差,根据精度要求,设定阈值,不断更新模型;
第三步:将趋势模型及相应的时间点和调整模型及相应时间点作为数据向sink节点传输。
CN201610056636.7A 2016-01-26 2016-01-26 基于双层模型体系的无线传感网的数据采集方法 Active CN105653728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610056636.7A CN105653728B (zh) 2016-01-26 2016-01-26 基于双层模型体系的无线传感网的数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610056636.7A CN105653728B (zh) 2016-01-26 2016-01-26 基于双层模型体系的无线传感网的数据采集方法

Publications (2)

Publication Number Publication Date
CN105653728A CN105653728A (zh) 2016-06-08
CN105653728B true CN105653728B (zh) 2018-12-18

Family

ID=56488006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610056636.7A Active CN105653728B (zh) 2016-01-26 2016-01-26 基于双层模型体系的无线传感网的数据采集方法

Country Status (1)

Country Link
CN (1) CN105653728B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234430B (zh) * 2016-12-22 2021-06-25 中国航天系统工程有限公司 一种面向集散控制系统的异常流量监测方法
CN106874559B (zh) * 2017-01-17 2019-05-31 东南大学 一种用于车轮力传感器的交互式多模型滤波方法
CN108734224A (zh) * 2018-06-05 2018-11-02 重庆科技学院 基于独立分量贡献度加权分析的天然气净化过程异常监测方法
CN109344708B (zh) * 2018-08-29 2021-10-22 昆明理工大学 一种供水管网爆管信号异常分析方法
CN112241754B (zh) * 2019-07-19 2023-06-23 上海哔哩哔哩科技有限公司 在线模型学习方法、系统、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267446A (zh) * 2007-12-29 2008-09-17 中国科学院计算技术研究所 无线传感器网络的时域数据融合方法
CN102316496A (zh) * 2011-09-07 2012-01-11 上海交通大学 无线传感器网络中基于卡尔曼滤波的数据融合方法
CN104507096A (zh) * 2014-12-10 2015-04-08 中国科学院计算技术研究所 无线传感网中模型驱动的数据传输方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267446A (zh) * 2007-12-29 2008-09-17 中国科学院计算技术研究所 无线传感器网络的时域数据融合方法
CN102316496A (zh) * 2011-09-07 2012-01-11 上海交通大学 无线传感器网络中基于卡尔曼滤波的数据融合方法
CN104507096A (zh) * 2014-12-10 2015-04-08 中国科学院计算技术研究所 无线传感网中模型驱动的数据传输方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于数据融合的无线传感器网络监控系统的设计与实现》;修志鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715;论文第2、3章 *
《无线传感器网络中基于数据属性的预测模型改进研究》;王威;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131015;论文第3、4章 *

Also Published As

Publication number Publication date
CN105653728A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105653728B (zh) 基于双层模型体系的无线传感网的数据采集方法
CN107423546B (zh) 基于Copula函数的多变量水文不确定性处理方法
CN104376231B (zh) 基于改进近似贝叶斯计算的损伤识别方法
CN114254561A (zh) 一种内涝预测方法、系统及存储介质
CN107292022A (zh) 一种基于时变温度响应的桥梁结构概率基准有限元模型构建方法
CN105243502B (zh) 一种基于径流区间预测的水电站调度风险评估方法及系统
CN111680870B (zh) 目标运动轨迹质量综合评估方法
CN103617462A (zh) 一种基于地理统计学的风电场风速时空数据建模方法
Ni et al. Evolutionary modeling for streamflow forecasting with minimal datasets: a case study in the West Malian River, China
CN104506162A (zh) 基于ls-svr建模的高阶粒子滤波器的故障预示方法
CN103778320A (zh) 一种基于变分贝叶斯多传感器量化融合目标跟踪方法
CN101883425A (zh) 基于熵权灰关联的目标跟踪与识别装置及方法
CN105974495A (zh) 利用分类拟合法预判目标区域未来平均云量的方法
CN104008304B (zh) 一种乏信息多传感器神经网络‑熵测量不确定度评定方法
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及系统
CN116502775A (zh) 一种水文序列增强及预测方法
Tian et al. A new approach for Bayesian model averaging
CN104008433A (zh) 基于贝叶斯动态模型的中长期电力负荷预测方法
CN113435630A (zh) 一种产流模式自适应的流域水文预报方法及系统
CN108664452A (zh) 一种室内人员数量的确定方法及确定系统
CN102122004A (zh) 铁路防灾风预测方法
CN116384538A (zh) 一种流域径流预报方法、装置及存储介质
CN106407543A (zh) 一种设计条件下双峰型洪水过程线形状推求方法
CN106792968B (zh) 基于双层模型体系的无线传感器网络的二次分簇算法
CN108802845A (zh) 一种基于红外阵列传感器的室内人员占有率估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant