CN104507096A - 无线传感网中模型驱动的数据传输方法及系统 - Google Patents
无线传感网中模型驱动的数据传输方法及系统 Download PDFInfo
- Publication number
- CN104507096A CN104507096A CN201410758996.2A CN201410758996A CN104507096A CN 104507096 A CN104507096 A CN 104507096A CN 201410758996 A CN201410758996 A CN 201410758996A CN 104507096 A CN104507096 A CN 104507096A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor node
- model
- forecast based
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/22—Traffic simulation tools or models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
- H04W52/0209—Power saving arrangements in terminal devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/02—Power saving arrangements
- H04W52/0209—Power saving arrangements in terminal devices
- H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
- H04W52/0258—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity controlling an operation mode according to history or models of usage information, e.g. activity schedule or time of day
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供无线传感器网络的在线模型驱动的数据传输系统和方法,其中当传感器节点采集到新的传感数据时,更新该节点上的实时预测模型的参数,并利用该节点上的同步预测模型计算该时刻的传感数据预测值;以及当传感数据预测值与采集的传感数据之间的误差大于设定的误差阈值时,利用实时预测模型的参数来更新同步预测模型的参数,并将更新后的同步模型的参数与所采集的传感数据发送给网关。该系统和方法避免了模型离线训练阶段的数据传输问题,在不降低传感网采集的数据质量的前提下,减少了网络中的数据传输量,降低了传感器节点的能量消耗,从而延长传感器网的使用寿命。
Description
技术领域
本发明属于无线传感器网络技术领域,尤其涉及无线传感器网络中的模型驱动的数据采集和传输的方法。
背景技术
近年来在无线传感网技术领域中诞生了大量的应用。然而传感器节点通常由电池供电,这使得能量成为无线传感器网络应用的瓶颈。在无线传感网络应用中,传感器节点的能量消耗主要发生在数据传输和接收期间的无线通信上。因此,在数据驱动的无线传感网应用(如环境监测)中,为了延长网络的生命周期,需要在保证数据质量的同时减少数据的冗余传输。
相关研究工作表明,模型驱动的数据传输机制能保证在不影响数据质量的前提下减少数据传输开销。在这种机制中,传感器节点上运行一个数据趋势预测模型,并在每次采集到新的传感数据时,将该所采集的真实数据与数据趋势预测模型的预测结果进行比较,如果二者保持一致则不向网关发送传感数据,反之则将所采集的传感数据发送到网关。在网关节点上,同时运行一个与传感器节点上相同的数据趋势预测模型,在未收到传感器节点发送的传感数据的情况下,将其预测结果(与传感器节点的预测结果相同)作为传感数据的估计值发送给用户,从而在保证数据质量的前提下节省了通信开销。
现有工作主要集中在预测模型的设计上。有些方法将传感数据看作一个典型的时间序列数据,利用时间序列分析方法(如ARIMA模型)建立传感数据预测模型。这类方法非常复杂,只能在计算能力较强的网关上进行模型训练。每个传感器节点对应一个预测模型,随着传感器节点个数的增加,所需的计算和存储资源急剧增多,导致可扩展性问题。此外,当预测值偏离真实值时,需要进行离线模型更新,在此阶段传感器节点需要向网关发送大量的数据以保证数据质量,从而导致大量的能量消耗。
还有些方法利用具有轻量级计算代价的模型(如AR模型和最小均方滤波器模型)替代ARIMA模型,从而能够在资源受限的传感器节点上进行模型训练,达到分担整个网络上的模型训练负荷的目的。然而,这些方法仍然需要进行离线的模型更新,在此阶段传感器节点需要向网关发送大量的数据,从而导致大量的能量消耗。并且在进行模型更新时,依赖于缓存的历史数据以及复杂的算法(如最小二乘法,Yule-Walker等式,几何格法,最大熵估计和前向后向方法)来更新模型的系数。考虑到传感器节点受限的硬件资源,采用这些方法将带来较高的计算和存储代价。
发明内容
可见,上述方法中主要存在两个问题:一是模型离线训练阶段,传感器节点需要进行大量的数据传输,导致大量能耗;二是模型更新需要大量的计算和存储资源。
为克服上述现有技术的缺陷,本发明提供一种无线传感网中在线模型驱动的数据传输系统和方法。
本发明的目的是通过以下技术方案实现的:
一方面,本发明提供了一种无线传感网中模型驱动的数据传输方法,所述方法包括:
传感器节点采集新的传感数据,基于所采集的传感数据更新该传感器节点上第一数据趋势预测模型的参数,并利用该传感器节点上第二数据趋势预测模型计算该时刻的传感数据预测值;
将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差;以及
当所述预测误差大于设定的误差阈值时,利用第一数据趋势预测模型的参数来更新第二数据趋势预测模型的参数,并将更新后的第二数据趋势预测模型的参数与所采集的传感数据发送给网关。
在上述方法中,还可包括网关接收来自传感器节点的传感数据并将其报告给用户;以及网关接收来自传感器节点的数据趋势预测模型参数,并根据所接收的参数来更新与该传感器节点对应的数据趋势预测模型的参数。
在上述方法中,还可包括网关在未收到传感器节点发送的传感数据时,利用与该传感器节点对应的数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。
在上述方法中,传感器节点上初始的第一数据趋势预测模型和第二数据趋势预测模型以及网关上与该传感器节点对应的初始的数据趋势预测模型为相同的模型。
在上述方法中,在初始化时第一和第二数据趋势预测模型以及所述网关上的数据趋势预测模型均为线性回归模型。
在上述方法中,当传感器节点采集到新的传感数据时,可采用随机梯度下降法来基于所采集的传感数据更新第一数据趋势预测模型的参数。
在上述方法中,当传感器节点采集到新的传感数据时,可采用下列方法的其中之一来基于所采集的传感数据更新第一数据趋势预测模型的参数:全局梯度下降法、最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法。
又一方面,本发明提供了一种无线传感网中模型驱动的数据传输系统,所述系统包括传感器节点和网关,在传感器节点上运行第一数据趋势预测模型和第二数据趋势预测模型,在网关上运行与该传感器节点对应的第三数据趋势预测模型,其中所述传感器节点用于:
采集传感数据,
基于所采集的新的传感数据更新第一数据趋势预测模型的参数,并利用第二数据趋势预测模型计算该时刻的传感数据预测值,以及
将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差,当所述预测误差大于设定的误差阈值时,利用第一数据趋势预测模型的参数来更新第二数据趋势预测模型的参数,并将更新后的第二数据趋势预测模型的参数与所采集的传感数据发送给网关;
所述网关用于:
将所接收的来自传感器节点的传感数据并将其报告给用户,
根据所接收的来自传感器节点的数据趋势预测模型参数更新与该传感器节点对应的第三数据趋势预测模型的参数,以及
在未收到传感器节点发送的传感数据时,利用与传感器节点对应的第三数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。
上述系统中,传感器节点上初始的第一数据趋势预测模型和第二数据趋势预测模型以及网关上与该传感器节点对应的初始的第三数据趋势预测模型为相同的模型。
上述系统中,第一和第二数据趋势预测模型以及第三数据趋势预测模型可以为线性回归模型。
与现有技术相比,本发明的优点在于:
在传感器节点上运行实时预测模型和同步预测模型,通过两个模型的协同合作解决了现有的模型驱动的数据传输系统中存在的模型离线训练阶段的数据传输问题,在不降低传感网采集的数据质量的前提下,减少了网络中的数据传输量,降低了传感器节点的能量消耗,从而延长传感器网的使用寿命。而且随着数据的采集实时更新预测模型的参数,计算复杂度低,不需要缓存,降低了存储和计算复杂度,适合于资源受限的传感器节点。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1给出了根据本发明实施例的模型驱动的数据传输系统中数据发送量与预测模型的回归阶数之间关系的示意图;
图2为根据本发明实施例的无线传感网中模型驱动的数据传输方法的流程示意图;
图3示出了在根据本发明实施例的方法的预测值的相对预测误差分布情况示意图;
图4示出在根据本发明实施例的方法的传感器节点采集的数据量与累计数据传输量的对比示意图;
图5示出在根据本发明实施例的方法中传感器节点发送的数据与误差阈值之间的关系的示意图;
图6示出在根据本发明实施例的方法中均方根误差与误差阈值之间关系的示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
在本发明的一个实施例中,提供了一种无线传感网中在线模型驱动的数据传输系统。该系统包括多个传感器节点和网关。在传感器节点上同时运行两个数据趋势预测模型,下文分别称为实时预测模型和同步预测模型。同时,在网关上也设置有与各个传感器节点对应的数据趋势预测模型。位于网关上且与每个传感器节点对应的数据趋势预测模型与该传感器节点上的同步预测模型完全相同,以保证网关上的数据趋势预测模型与传感器节点上的同步预测模型得到相同的预测值。在系统初始化时,传感器节点上的两个数据趋势预测模型以及网关上与该传感器节点对应的数据趋势预测模式设置为完全相同的模型。其中,每当传感器节点采集到新的传感数据时,基于所采集的传感数据训练或更新该传感器节点上实时预测模型的参数,同时利用该传感器节点上同步预测模型计算该时刻的传感数据预测值。然后,将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差;当所述预测误差大于设定的误差阈值时,利用传感器节点上的实时预测模型的参数来更新同步预测模型的参数,并将更新后的同步预测模型的参数与所采集的传感数据发送给网关。网关将所接收的来自传感器节点的传感数据报告给用户,并且根据所接收的来自传感器节点的同步预测模型参数,更新与该传感器节点对应的数据趋势预测模型的参数。网关在未收到传感器节点发送的传感数据时,利用与该传感器节点对应的数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。
与现有模型驱动的数据传输机制相比,该系统可以随着数据的采集实时地训练模型的参数,并在预测值偏离真实值时能及时地更新用于计算预测值的模型的参数,从而有效地避免了模型离线训练阶段从传感器到网关的大量的数据传输,降低了传感器节点的能量消耗,其原因已经在上文讨论了,传感器节点的能量消耗主要就是数据传输开销。
在一个实施例中,传感器节点上的实时预测模型和同步预测模型以及网关上的数据趋势预测模型为诸如AR模型、最小均方差滤波器模型等的数据趋势预测模型。当传感器节点采集到新的传感数据时,基于所采集的传感数据,采用最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法的其中之一来更新模型的系数。但利用这些方法训练模型系数时需要缓存较多的历史数据并且算法复杂。
考虑到传感器节点受限的硬件资源,在一个优选的实施例中,传感器节点上的两个数据趋势预测模型以及网关上的数据趋势预测模型均采用线性回归模型,在该线性回归模型中,当前时刻的传感器预测值依赖于该时刻之前采集的P个传感数据,即 其中表示当前时刻t的传感数据预测值,xt-1,xt-2,…xt-p表示传感器节点在当前时刻t之前采集的p个传感数据,αt-1,αt-2,…,αt-p为线性回归系数,P也可以称为回归阶数。这些系数αt-1,αt-2,…,αt-p和/或模型中采用的传感数据xt-1,xt-2,…xt-p都可以理解为数据趋势预测模型的参数。
训练模型实际上主要是确定和/或更新作为数据趋势预测模型的线性回归模型的系数。在一些实施例中,当传感器节点采集到新的传感数据时,可以采用随机梯度下降法、全局梯度下降法等来基于所采集的传感数据训练并更新模型系数αt-1,αt-2,…,αt-p。在其他实施例中,也可采用最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法等的其中一个来训练/更新该线性回归模型的系数。
其中,作为数据趋势模型的线性回归模型的回归阶数P设置的越大,模型预测的准确率越高,但是相应地进行预测所需的存储资源和计算资源也越多。通常P可以设置在[1,20]之间。发明人还对P的取值进行了实验分析,给定一个传感数据集和其他参数,通过让模型的回归阶数P从1变化到20来测量采用不同回归阶数的模型的系统中传感节点对应的发送的数据量。图1示出了拟合这些结果的曲线。如图1所示,随着回归阶数P的增大,曲线不断下滑。从图中可以看出在区间[0,5],随着回归阶数P的增大,发送的数据个数明显下降,说明随着P的增大,预测值越来越准确。然而在区间[5,20],随着P的继续增大,发送数据个数下降并不明显,而进行模型预测需要的计算量和存储空间越来越多。在图1所示的曲线上,对于每一个P,画出对应曲线的正切线并得到切线的倾斜角,可以选择满足首次满足条件angleP-angleP+1<Δθ的P值作为数据预测模型回归阶数,其中anglep是在P处于p点的正切线的倾斜角,angleP+1是在P处于p点紧邻的下一个点的正切线的倾斜角,Δθ是预定的阈值。在图1所示的情况下,假定Δθ=15°,由于P=4,首次满足了angle4-angle5<Δθ,因此优选地可以取数据趋势预测模型的回归阶数为4,即当前时刻的预测值取决于该时刻之前采集的4个传感数据。此时的线性回归模型可以理解为其中表示当前时刻t的传感数据预测值,xt-1、xt-2、xt-3、xt-4表示传感器节点在当前时刻t之前采集的4个传感数据,代表在当前时刻t的上一时刻(记为t-1时刻)实时预测模型的线性回归系数。当然也可以取P为大于4的任何值,但随着P的增大,计算开销会相应增加。
图2给出了在本发明的又一个实施例的无线传感网中在线模型驱动的数据传输方法的示意图。该方法包括当传感器节点采集到新的传感数据时,基于所采集的传感数据更新该传感器节点上实时预测模型的参数(步骤S21),并利用该传感器节点上同步预测模型计算该时刻的传感数据预测值(步骤S22);将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差(可记为PE)(步骤S23);将所述预测误差与根据用户需求设定的误差阈值(可记为UE)进行比较(步骤S24);当所述预测误差大于设定的误差阈值时,利用实时预测模型的参数来更新同步预测模型的参数,并将更新后的同步预测模型的参数与所采集的传感数据发送给网关(步骤S25)。而当PE小于UE时,说明预测值与真实数据差异较小,传感器节点不会向网关发送数据。网关在未收到传感器节点发送的传感数据时,利用与该传感器节点对应的数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。在又一个实施例中,该方法还包括由网关接收到来自传感器节点的传感数据并将其报告给用户;以及由网关接收来自传感器节点的数据趋势预测模型参数,并根据所接收的参数来更新与该传感器节点对应的数据趋势预测模型的参数。
更具体地,参考图2,在步骤21,基于所采集的传感数据更新该传感器节点上实时预测模型的参数。在一个实施例中,假设采用上文讨论的线性回归模型作为传感器节点和网关节点上数据趋势预测模型,回归阶数P设置为4,采用随机梯度下降算法来训练模型参数。训练过程如下:假定传感器节点当前时刻t采集到的传感数据为st,实时预测模型的缓存数组保存在当前时刻t之前采集的P个传感数据st-1,…,st-P;实时预测模型的系数向量为该向量的各个元素代表在当前时刻t的上一时刻(记为t-1)时模型的各个线性回归系数(即模型参数)。同步预测模型当前的缓存数组中保存P个传感数据st-1,…,st-P,与相同;并且初始化时该同步预测模型的系数向量与实时预测模型的系数向量相同。当收到传感器新采集的数据时开始训练并更新模型系数。当前时刻t的传感数据真实值yt为st。用实时预测模型对该时刻的传感数据进行预测,得到预测值更新t时刻的梯度向量其中,m取值范围为1,2…,P,表示缓存数组中的第m个元素,即更新t时刻的学习率向量 为t-1时刻的学习率向量,为t-1时刻的梯度向量,q为元学习率,0≤q≤1;更新梯度指数平均移动向量其中r为平滑因子0≤r≤1,为t-1时刻的梯度指数平均移动向量。这样就可以得到当前时刻的实时模型的参数,即当前时刻t实时预测模型系数向量中的第m个元素 为在t-1时刻模型系数向量的第m个分量,同时更新实时预测模型的缓存数组,也就是从中删除最早的数据st-P,并将当前时刻t采集的传感数据st加入该缓存数组,即得到t时刻实时预测模型的缓存数组在随机梯度下降方法中,元学习率q和平滑因子r通常取经验值。在本实施例中,初始的学习率λm=0.0001,q=0.01,r=0.9。该实施例中采用上述随机梯度下降法来训练模型的线性回归系数,计算算法简单并且只需要缓存较少数据,降低了模型训练及更新对计算和存储资源的需求。因此更适合于传感器节点受限的硬件资源条件。
当然,如上文所讨论的,采用线性回归模型作为数据趋势预测模型以及采用随机梯度下降法来训练该模型的线性回归系数仅是优选的实施例。在一些实施例中,也可采用最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法等训练/更新线性回归模型的系数。在一些实施例中,也可以采用AR模型、最小均方差滤波器模型等作为数据趋势预测模型,并采用最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法等的其中一种方法来训练/更新数据趋势预测模型的参数。
继续参考图2,在步骤S22,利用该传感器节点上同步预测模型计算该时刻的传感数据预测值。仍以上面的线性回归模型为例,同步预测模型的缓存数组为st-1,…,st-P,并且在初始化时该同步预测模型的系数向量与实时预测模型的系数向量相同,则传感器节点在当前时刻t采集到新的传感数据st时,利用同步预测模型获取当期时刻t的传感数据预测值为
在步骤S23,将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差PE,即在步骤S24,将所述预测误差与根据用户需求设定的误差阈值UE进行比较。在传感器节点端,当预测误差PE小于误差阈值UE时,传感器节点不发送数据。同时更新同步预测模型的缓存数组,也就是从中删除最早的数据st-P,并将当前时刻t采集的传感数据st加入该缓存数组,即得到t时刻同步预测模型的缓存数组而在网关端,如果没有按时接收到传感器节点发送来的传感数据,网关就将本地与传感器节点对应的数据趋势预测模型的预测值作为传感数据报告给用户。
当预测误差PE大于误差阈值UE时,在步骤S25,利用当前时刻t的实时预测模型的参数采更新同步预测模型的参数并将更新后的同步预测模型的参数与所采集的传感数据st发送给网关。或者为了保证完全同步,可以将当前时刻t传感器节点的实时预测模型的缓存数组和模型系数向量完全复制给该节点上的同步预测模型,也就是复制到复制到并将和/或st发送给网关以同步网关上的数据趋势预测模型。当网关接收到来自传感器节点的传感数据st或者从收到的缓存数组中提取传感数据st,将其报告给用户;同时根据所接收的缓存数组和模型系数向量来更新与该传感器节点对应的数据趋势预测模型。
在又一个实施例中,该方法还可包括初始化的步骤,所述初始化步骤包括:启动传感器节点进行数据采集;利用所采集的传感数据训练实时预测模型的参数,并且利用该实时预测模型计算当前时刻的传感数据预测值,如果传感数据预测值与所采集的真实的传感数据之间的预测误差大于设定的误差阈值,则传感器节点向网关发送采集到的传感数据。这是因为初始化阶段实际上是在线训练模型的阶段,实时预测模型处于训练状态而非稳定状态,需要不断调整系数,因此在该初始化阶段,传感器节点只要向网关发送采集的传感数据即可,没有必要发送模型参数。当实时预测模型计算的预测值与所采集的传感数据预测误差不大于设定的误差阈值时,说明模型进入了稳定状态,此时可以利用当前实时预测模型的缓存数组和模型系数来更新传感器节点上的同步预测模型以及网关上与该传感器节点对应的数据预测模型的缓存数组和模型系数。在初始化阶段之后,就可以按照图2所示的步骤S21-S25来进行数据传输。当然,即使不执行上述的初始化步骤,仅按照图2所示的流程也可以进行无线传感网中的数据采集和传输,只是在初始阶段,传感器节点会向网关发送相对较多的数据。
为了检验根据本发明实施例的模型驱动的数据传输系统和方法是否能够在占用节点少量资源的前提下,运行于实际的无线传感器网络中,并有效地减少网络中的数据传输量,从而节省节点的能量,发明人还进行了下列实验来验证上述系统和方法的性能。
实验过程如下:基于给定的传感数据集,模拟真实应用场景中传感器节点采集的过程,将每个传感数据按照时间顺序通过串口发送给传感器节点。在此期间,传感器节点和网关会相互通信并协同合作。网关将传感数据(传感数据的真实值或预测值)通过串口报告给PC。在该过程中记录报告的数据值以及传感器节点和网关之间的数据交换信息以分析性能。
在该实验中使用均方根误差(Root Mean Square Error,RMSE)衡量预测的精度,其中,n为预测个数,yi分别为预测值和真实值。RMSE越大,预测精度越小。同时使用传感器节点向网关发送的数据次数估计能量的消耗代价,发送数据量越大,能耗越高。
图3显示了在根据本发明实施例的方法中同步预测模型相对预测误差的分布情况,其中误差阈值UE设定为0.5。其中横轴为相对预测误差RPE(Relative Prediction Error)。RPE由传感数据的预测值和真实值y的绝对误差与真实值y的比计算得到,即纵轴表示数据百分比,代表其相对预测误差RPE小于某个阈值的预测样本数据的数量占预测样本数据总数的百分比。由图3可以看出,采用本发明的方法,约70%的预测数据的相对误差在0.01以下,这主要是因为在本发明的实施例中,可以根据实时采集的传感数据及时更新传感器节点实时预测模型的参数,这样可以学习到所有历史数据的全部信息,从而可以提高预测的精确度。
图4显示了在根据本发明实施例的数据传输方法中传感器节点累积数据传输量与采集的数据量对比示意图。如图4所示横轴为所采集的传感数据个数,纵轴为传感器节点发向网关的数据个数,其中误差阈值UE设定为0.5。从图4可以看出,随着传感数据的不断采集,代表累计数据传输量的曲线缓慢增长。传感器节点实际采集到3000多个数据,而需要发送的数据不到200个,从而极大地减少了数据传输量,节省了节点能耗。可见,根据本发明实施例的在线模型驱动的数据传输系统和方法在保证数据精度的前提下,较大幅度地减少节点数据传输量。这主要是因为,一方面本发明的方法较高的预测精度能够减少模型更新的次数从而降低数据传输量。另一方面,当同步模型预测误差大于用户定义的误差阈值时,本发明的方法能够立刻用实时模型的参数更新同步预测模型的参数并及时与网关上的数据趋势模型同步,从而不再需要进入模型训练阶段,进而可以避免大量的数据传输。
此外,发明人还通过实验分析了根据用户需求设定的误差阈值UE对本发明的方法的性能影响。在实验中让误差阈值UE从0.1变化到1,递增幅度为0.1,传感器节点向网关发送的数据量(通过计算占所有发送传感数据的百分比表示,简称DTA)以及预测模型的均方根误差RMSE结果分别如图5和图6所示。从图5可以看出,在传感器节点到网关的数据传输量上,当UE>0.6时,数据发送量(百分比)在4%以下,而当UE=0.9时,数据发送率降至最低2%。也就是随着误差阈值UE的增大,数据传输率逐渐减少。而如图6所示,随着误差阈值UE的增大,RMSE呈逐渐增加的趋势,即预测精度逐步降低。结合图5和图6可以看出,本发明的方法在保证较高的数据精度下,能够减少96%的数据发送量。另外,当用户在节能上要求更高时,可以对应用设置较大的UE,而对数据准确性有更严格的要求时,即可设置较少的UE满足应用的需求。也就是说用户可以根据具体应用的需求灵活地设置误差阈值UE,以达到数据准确性和节能方面上的收益平衡。
通过上述的具体实施例和实验可以看出,采用本发明的在线模型驱动的数据传输系统和方法能够有效地减少网络中的数据传输量,节省节点的能量,从而达到延长网络寿命的目的;本发明的预测模型的计算量相对较小,能够在能力十分有限的传感器节点上实现,具有较好的实用性;本发明的预测模型的计算复杂度仅与单个节点的数据相关,而与网络规模无关,因此,具有较好的可扩展性,适用于网络规模通常较大的无线传感器网络。此外,本发明提出的在线模型驱动的数据传输系统和方法具有较好的自适应性,预测模型的相关参数能够根据实时采集的传感数据的变化进行动态调整,具有较好的自适应性,无线传感器网络一旦部署完毕,则不再需要人工维护。
虽然本发明已经通过优选实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。
Claims (10)
1.一种无线传感器网络中模型驱动的数据传输方法,所述方法包括:
传感器节点采集新的传感数据,基于所采集的传感数据更新该传感器节点上第一数据趋势预测模型的参数,并利用该传感器节点上第二数据趋势预测模型计算该时刻的传感数据预测值;
将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差;以及
当所述预测误差大于设定的误差阈值时,利用第一数据趋势预测模型的参数来更新第二数据趋势预测模型的参数,并将更新后的第二数据趋势预测模型的参数与所采集的传感数据发送给网关。
2.根据权利要求1所述的方法,还包括:
网关接收来自传感器节点的传感数据并将其报告给用户;以及
网关接收来自传感器节点的数据趋势预测模型参数,并根据所接收的参数来更新与该传感器节点对应的数据趋势预测模型的参数。
3.根据权利要求1所述的方法,还包括网关在未收到传感器节点发送的传感数据时,利用与该传感器节点对应的数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。
4.根据权利要求1、2或3所述的方法,其中,传感器节点上初始的第一数据趋势预测模型和第二数据趋势预测模型以及网关上与该传感器节点对应的初始的数据趋势预测模型为相同的模型。
5.根据权利要求4所述的方法,其中第一和第二数据趋势预测模型以及所述网关上的数据趋势预测模型均为线性回归模型。
6.根据权利要求5所述的方法,其中当传感器节点采集到新的传感数据时,采用随机梯度下降法来基于所采集的传感数据更新第一数据趋势预测模型的参数。
7.根据权利要求5所述的方法,其中当传感器节点采集到新的传感数据时,采用下列方法的其中之一来基于所采集的传感数据更新第一数据趋势预测模型的参数:全局梯度下降法、最小二乘法、Yule-Walk等式、几何格法、最大熵估计和前向后向方法。
8.一种无线传感器网络中模型驱动的数据传输系统,所述系统包括传感器节点和网关,在传感器节点上运行第一数据趋势预测模型和第二数据趋势预测模型,在网关上运行与该传感器节点对应的第三数据趋势预测模型,其中所述传感器节点用于:
采集传感数据,
基于所采集的新的传感数据更新第一数据趋势预测模型的参数,并利用第二数据趋势预测模型计算该时刻的传感数据预测值,以及
将所采集的传感数据与所述传感数据预测值进行比较,获取预测误差,当所述预测误差大于设定的误差阈值时,利用第一数据趋势预测模型的参数来更新第二数据趋势预测模型的参数,并将更新后的第二数据趋势预测模型的参数与所采集的传感数据发送给网关;
所述网关用于:
将所接收的来自传感器节点的传感数据并将其报告给用户,
根据所接收的来自传感器节点的数据趋势预测模型参数更新与该传感器节点对应的第三数据趋势预测模型的参数,以及
在未收到传感器节点发送的传感数据时,利用与传感器节点对应的第三数据趋势预测模型计算该时刻的传感数据预测值并将其报告给用户。
9.根据权利要求8所述的系统,其中传感器节点上初始的第一数据趋势预测模型和第二数据趋势预测模型以及网关上与该传感器节点对应的初始的第三数据趋势预测模型为相同的模型。
10.根据权利要求9所述的系统,其中第一和第二数据趋势预测模型以及第三数据趋势预测模型均为线性回归模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410758996.2A CN104507096B (zh) | 2014-12-10 | 2014-12-10 | 无线传感网中模型驱动的数据传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410758996.2A CN104507096B (zh) | 2014-12-10 | 2014-12-10 | 无线传感网中模型驱动的数据传输方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104507096A true CN104507096A (zh) | 2015-04-08 |
CN104507096B CN104507096B (zh) | 2018-01-09 |
Family
ID=52948797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410758996.2A Active CN104507096B (zh) | 2014-12-10 | 2014-12-10 | 无线传感网中模型驱动的数据传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104507096B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105653728A (zh) * | 2016-01-26 | 2016-06-08 | 大连理工大学 | 基于双层模型体系的无线传感网的数据采集方法 |
CN108495281A (zh) * | 2018-03-05 | 2018-09-04 | 曙光信息产业(北京)有限公司 | 一种数据融合方法和装置 |
CN109348421A (zh) * | 2018-08-14 | 2019-02-15 | 中国科学院计算技术研究所 | 一种管控监测方法和系统 |
CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
CN111031511A (zh) * | 2019-12-26 | 2020-04-17 | 北京工业大学 | 一种面向物联网的可变粒度实时环境数据采集方法 |
CN111417178A (zh) * | 2020-03-17 | 2020-07-14 | 重庆大学 | 基于机器学习与边缘计算的工业互联网节能系统及方法 |
CN112163668A (zh) * | 2020-09-29 | 2021-01-01 | 上海交通大学 | 一种基于预测和云边协同的减少时间序列数据传输量方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101267446A (zh) * | 2007-12-29 | 2008-09-17 | 中国科学院计算技术研究所 | 无线传感器网络的时域数据融合方法 |
CN102183621A (zh) * | 2011-02-28 | 2011-09-14 | 中国农业大学 | 水产养殖溶解氧浓度在线预测方法及系统 |
CN102316496A (zh) * | 2011-09-07 | 2012-01-11 | 上海交通大学 | 无线传感器网络中基于卡尔曼滤波的数据融合方法 |
CN102629418A (zh) * | 2012-04-09 | 2012-08-08 | 浙江工业大学 | 基于模糊卡尔曼滤波的交通流参数预测方法 |
-
2014
- 2014-12-10 CN CN201410758996.2A patent/CN104507096B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101267446A (zh) * | 2007-12-29 | 2008-09-17 | 中国科学院计算技术研究所 | 无线传感器网络的时域数据融合方法 |
CN102183621A (zh) * | 2011-02-28 | 2011-09-14 | 中国农业大学 | 水产养殖溶解氧浓度在线预测方法及系统 |
CN102316496A (zh) * | 2011-09-07 | 2012-01-11 | 上海交通大学 | 无线传感器网络中基于卡尔曼滤波的数据融合方法 |
CN102629418A (zh) * | 2012-04-09 | 2012-08-08 | 浙江工业大学 | 基于模糊卡尔曼滤波的交通流参数预测方法 |
Non-Patent Citations (1)
Title |
---|
D.CHU,A.DESHPANDE ET AL: "Approximate data collection in sensor networks using probabilistics models", 《IEEE ICDE》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105653728A (zh) * | 2016-01-26 | 2016-06-08 | 大连理工大学 | 基于双层模型体系的无线传感网的数据采集方法 |
CN105653728B (zh) * | 2016-01-26 | 2018-12-18 | 大连理工大学 | 基于双层模型体系的无线传感网的数据采集方法 |
CN108495281A (zh) * | 2018-03-05 | 2018-09-04 | 曙光信息产业(北京)有限公司 | 一种数据融合方法和装置 |
CN108495281B (zh) * | 2018-03-05 | 2021-02-26 | 中科曙光信息产业成都有限公司 | 一种数据融合方法和装置 |
CN109348421A (zh) * | 2018-08-14 | 2019-02-15 | 中国科学院计算技术研究所 | 一种管控监测方法和系统 |
CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
CN109902832B (zh) * | 2018-11-28 | 2023-11-17 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
CN111031511A (zh) * | 2019-12-26 | 2020-04-17 | 北京工业大学 | 一种面向物联网的可变粒度实时环境数据采集方法 |
CN111417178A (zh) * | 2020-03-17 | 2020-07-14 | 重庆大学 | 基于机器学习与边缘计算的工业互联网节能系统及方法 |
CN111417178B (zh) * | 2020-03-17 | 2021-12-31 | 重庆大学 | 基于机器学习与边缘计算的工业互联网节能系统及方法 |
CN112163668A (zh) * | 2020-09-29 | 2021-01-01 | 上海交通大学 | 一种基于预测和云边协同的减少时间序列数据传输量方法 |
CN112163668B (zh) * | 2020-09-29 | 2023-05-05 | 上海交通大学 | 一种基于预测和云边协同的减少时间序列数据传输量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104507096B (zh) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104507096A (zh) | 无线传感网中模型驱动的数据传输方法及系统 | |
US10936940B2 (en) | Arrangement and method for predicting road friction within a road network | |
CN107942958B (zh) | 一种面向物联网的工业控制系统及方法 | |
CN102316496A (zh) | 无线传感器网络中基于卡尔曼滤波的数据融合方法 | |
CN108958916A (zh) | 一种移动边缘环境下工作流卸载优化算法 | |
CN113239639B (zh) | 策略信息生成方法、装置、电子装置和存储介质 | |
CN110968426A (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
CN113469325A (zh) | 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质 | |
CN111291984B (zh) | 多无人机分布式边缘任务选择和轨迹设计方法及装置 | |
CN111198808A (zh) | 预测性能指标的方法、装置、存储介质及电子设备 | |
CN104580447A (zh) | 一种基于访问热度的时空数据服务调度方法 | |
CN103052128A (zh) | 一种基于无线传感器网络能量有效的协同调度方法 | |
CN110543978A (zh) | 基于小波神经网络的交通流数据预测方法和装置 | |
CN110991776A (zh) | 一种基于gru网络实现水位预测的方法及系统 | |
CN110363994A (zh) | 路网全路段动态交通量获取方法 | |
Ismaeel et al. | Multivariate time series ELM for cloud data centre workload prediction | |
CN102625446A (zh) | 一种物联网中的物件标签定位方法 | |
CN116225102A (zh) | 一种移动式的储能通信温升自动监控系统及装置 | |
CN117076132B (zh) | 分层联邦学习系统的资源分配及聚合优化方法及装置 | |
CN110069692A (zh) | 一种面向开源信息采集的资源更新时间预测方法及系统 | |
Patman et al. | Data-driven edge computing resource scheduling for protest crowds incident management | |
CN106376065B (zh) | 一种基于pomdp动态调整基站关断窗口长度的机制 | |
US20230196090A1 (en) | Intelligent charging of multiple vehicles through learned experience | |
CN115357379A (zh) | 一种视频传输配置模型的构建方法及应用 | |
CN106535248B (zh) | 无线传感器网络基于数据驱动策略的鲁棒状态融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |