CN104955107A - 一种无线传感网络占空比自适应调整方法 - Google Patents

Abstract

本发明提出了一种无线传感网络占空比自适应调整方法。首先，针对自适应占空比调整方法中，线性调整占空比无法实现占空比与流量快速最佳匹配的问题，本发明将采用基于强化学习的预测方法，直接预测得出与节点流量相匹配的最佳占空比。其次，为了尽量减少簇头节点和普通节点间的通信，本发明将强化学习方法用于普通节点，由普通节点直接根据自身的流量情况预测得出下一周期的最佳占空比。

Description

一种无线传感网络占空比自适应调整方法

技术领域

本申请涉及无线传感器网络领域，尤其涉及一种无线传感网络占空比自适应调整方法。

背景技术

无线传感器网络(Wireless Sensor Network,WSN)由部署在监测区域内大量的微型传感器节点组成。传感器节点大多以电池供电，电池容量较小且更换困难，导致能量成为限制网络生存时间的瓶颈。所以在WSNs的MAC层协议设计中，能量是其考虑的重点，此外还需考虑的重要因素有延迟时间、数据速率和可靠性等。

为了提高节点能效，WSNs中的通信协议IEEE802.15.4引入了占空比的概念，并将其定义为信标间隔周期中活跃期长度(Superframe Duration，SD)与当前整个信标间隔周期长度(Beacon Interval,BI)的比值，如公式(1)所示：

$\mathrm{DC}=\frac{\mathrm{SD}}{\mathrm{BI}}---\left(1\right)$

SD＝SD₀×2^SO symbols   (2)

BI＝SD₀×2^BO symbols   (3)

其中，BI是信标间隔，SD是超帧持续时间，SO(Superframe order)和BO(Beacon order)分别是超帧指数和信标指数，占空比(Duty Cycle,DC)可由SO与BO的差值决定。

占空比使节点周期分为侦听和睡眠两种状态，在提高节点能效的同时也增大了端到端时延，因此调整占空比可以权衡节点的功率消耗和端到端时延性能，满足不同应用的需求。

基于流量的占空比自适应调整方法提出，由簇头节点根据普通节点上报的流量情况采用线性方式调整普通节点的占空比。当节点流量变大时，增大节点的占空比以延长活跃期时间，进行数据通信；当节点流量变小时，减小节点的占空比以延长休眠时间，减少不必要的空闲侦听。这种增大或者减小占空比是以线性的方式进行的，比如，当前节点流量较大而节点的占空比较小时，在下一个周期占空比增大10％，或者SO增加1(相当于BO减小1，与占空比增大50％等效)，若在接下来的几个周期内占空比不足以应对较大流量的情况仍没有得到改善，占空比会依次线性增大10％。

现有技术中的占空比自适应调整方法具有以下缺点：

首先，簇头节点根据普通节点上报的节点流量情况采用线性方式调整周期和占空比。这种线性调整占空比的方式，在线性调整幅度较小时不能应对流量快速变化的情况，而线性调整幅度较大时又不够精确，无法最佳匹配当时的流量情形。

其次，普通节点需要周期性的上报自身流量情况；簇头节点根据上报的流量对普通节点的占空比进行自适应调整；然后簇头节点将调整信息广播给普通节点。而根据对目前主流的低功耗RF芯片各工作状态功率消耗的测定结果来看，节点发送和接收状态的功率消耗是空闲状态的数十倍，因此减少普通节点收发数据的频率比单纯减少空闲侦听更加有效。

发明内容

有鉴于此，本申请提供一种无线传感网络占空比自适应调整方法，其特征在于，

通过网络分簇算法将网络中各局部的节点分簇，使得整个网络形成由一个或者一个以上簇组成的树形拓扑，所述网络中的各簇是一个周边局域网络(PAN)；

其中，所述方法按照周期性方式进行，所述各簇的周期长度固定；

每个PAN子网由一个作为簇头节点的网络协调器负责管理，各簇之间的数据流量由各簇的簇头节点负责传递；

各簇内其他传感器节点为普通节点，所述普通节点采用基于强化学习的预测方法，预测下一周期实现节点自身性能最佳的占空比；

所述簇头节点还用于收集对应簇内普通节点采集的数据并上传网络，同时维持网内节点同步。

在本申请一具体实施例中，所述普通节点的一个周期分为预测、同步、数据和睡眠四个阶段，其中所述预测和同步阶段的时间长度固定，所述数据和睡眠阶段的长度可调整。

在本申请一具体实施例中，所述普通节点根据所述基于强化学习的预测方法预测得到的最佳占空比决定各个数据阶段的时间长度。

在本申请一具体实施例中，所述普通节点的一个周期分为预测、同步、数据和睡眠四个阶段，具体为：

在预测阶段，普通节点分别采用基于强化学习的预测方法预测得到各自在数据阶段的最佳发送数据包个数f；

在同步阶段，普通节点接收簇头节点广播的信标帧(beacon)以更新本地时间，保持同步；

在数据阶段，普通节点采用CSMA/CA方式竞争接入信道与簇头节点通信，各个普通节点与簇头节点间的通信时间分别由各自在预测阶段得到的最佳发送数据包的个数决定；

在睡眠阶段，普通节点进入睡眠状态以降低功耗。

在本申请一具体实施例中，所述预测方法为与模型无关的算法Q-learning算法。

在本申请一具体实施例中，所述普通节点在数据阶段采用CSMA/CA方式竞争接入信道与所述簇头节点通信，竞争成功的普通节点与所述簇头节点间的通信时间由其在预测阶段采用Q-learning算法预测得到的最佳发送数据包的个数决定。

在本申请一具体实施例中，在一个周期内所述簇头节点的运行包括：

同步阶段，所述簇头节点广播信标帧以维持簇内节点同步；

数据阶段，所述簇头节点与普通节点进行数据通信，并将汇聚的簇内普通节点发送的数据包在由簇头节点组成的骨干网内作进一步上传。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是典型的无线传感器网络应用场景；

图2是本申请中无线传感器网络所采用的场景；

图3是本申请中普通节点一个运行周期的流程图；

图4是本申请中节点簇一个运行周期操作过程示意图。

具体实施方式

本发明提出了一种用于无线传感网络中自适应调整传感器节点占空比的方法。

一个典型的无线传感器网络(如图1所示)由众多节点组成，且单个节点的通信范围有限。因此一种比较有效的实现方法为，通过分簇算法将网络中各局部的节点分簇，从而使整个网络形成分簇树形拓扑。在图1中，每个PAN子网作为一个相对独立的节点簇由一个作为簇头节点的网络协调器负责管理，而各簇之间的数据流量由各簇的簇头节点负责传递，并最终由一个全网协调器控制全网的运行。在一个簇头管理的单个簇范围内(如图2所示)，簇内有一个簇头节点为网络协调器(如场景图2中节点0)，而簇内其它传感器节点为普通节点(如场景图2中节点1、2、3、4)，普通节点与簇头节点形成一个星形拓扑结构。

本发明关注传感器节点占空比自适应调整方法，而不涉及其他无关的技术细节，如节点分簇算法、路由选择算法等。针对自适应占空比调整，普通节点功能为基于强化学习的预测方法，预测下一周期实现节点自身性能最佳的占空比；簇头节点功能为收集簇内普通节点采集的数据并作进一步上传，维持网内节点同步。

本发明提出用于无线传感器网络中基于强化学习的节点占空比自适应调整方法，其操作按照周期性方式进行，并且整个节点簇周期长度固定，即BO取固定值。普通节点的一个周期分为预测、同步、数据和睡眠四个阶段。其中预测和同步阶段的时间长度固定，数据阶段和睡眠阶段时间可调整。普通节点分别根据基于强化学习的预测方法预测得到的最佳占空比决定各自数据阶段的时间长度。簇头节点的一个周期分为同步、数据两个阶段。其中同步阶段的时间长度固定，数据阶段的时间长度由普通节点的数据通信时间，和进一步上传收集的数据时间决定。

下面分别针对普通结点和簇头结点描述一个运行周期的具体流程。

普通节点一个运行周期如图3所示，具体流程如下：

Step1：在预测阶段，普通节点分别采用基于强化学习的预测方法预测得到各自在数据阶段的最佳发送数据包个数f。(详细过程见Step1的具体实现细节)

Step2：在同步阶段，普通节点接收簇头节点广播的信标帧(beacon)以更新本地时间，保持同步。

Step3：在数据阶段，普通节点采用CSMA/CA方式竞争接入信道与簇头节点通信。各个普通节点与簇头节点间的通信时间分别由各自在预测阶段得到的最佳发送数据包的个数决定。(详细过程见Step3的具体实现细节)

Step4：在睡眠阶段，普通节点进入睡眠状态以降低功耗。

Step1的具体实现方法：

本发明将强化学习方法用于WSNs中节点占空比的预测，得到匹配节点流量的最佳占空比。具体的，本实施例中采用的是强化学习方法中一类与模型无关的算法Q-learning算法，并根据无线传感器网络的具体情形，详细设计了Q-learning算法的具体实现细节。

在本实施例中，节点簇对应强化学习中的环境，节点对应能够感知节点簇状态的智能Agent，节点与节点簇之间的相互作用可通过如下的三元组来表征：

其中表示节点当前所处的状态，即在第k个周期(节点当前所处的周期)内，节点n_i缓存中所存储的数据包的个数，表征节点n_i当前的流量情况。节点n_i所处的所有可能的状态构成了一个离散状态集。

表示节点n_i在当前状态根据某种策略π:S→A所采取的动作，即在第k个周期内，节点n_i发送的数据包的个数。节点n_i在当前状态可采取的所有可能的动作构成了一个离散动作集。

表示对于节点n_i在当前状态下根据某种策略π，采取动作后收到节点簇所给出的立即损耗反馈。具体定义如下：

$J_{n_i}^k=E\left\{\mathrm{\α}\right[E_f\left(f_{n_i}^k\right)+E_r\left(r_{n_i}^k\right)+E_l\left(q_{n_i}^k\right)]+\mathrm{\βD}\left(q_{n_i}^k\right)\}---\left(4\right)$

其中和分别指节点n_i与簇头节点进行一定数目数据包通信时所需要的发送能量、接收能量、空闲侦听能量和端到端时延。α和β分别指对能效和端到端时延赋予的权重。

在本实施例中，策略π定义为状态到动作的映射(S→A)，表示节点n_i在当前流量情况(状态)下应当发送的数据包数目(动作)。

对于某一给定的策略π:S→A，Q-value指的是节点nⁱ在当前状态根据策略π采取动作到达状态后，所得到的总的折扣损耗的期望值。其表示如下式所示：

$Q_{\mathrm{\π}}(q_{n_i}^k,f_{n_i}^k)=J_{n_i}^k+\mathrm{\γ}{Q}_{\mathrm{\π}}(q_{n_i}^{k+1},f_{n_i}^{k+1})---\left(5\right)$

其中γ是指折扣因子，其确定了延迟奖赏与立即奖赏的相对比例。

由上式可见，Q-value是状态与动作的函数，由立即奖赏和延迟奖赏两部分组成。

在本实施例中，Q-learning的目的是学习得到最优策略π^*，使节点n_i在状态下，根据该最优策略π^*采取动作，最终使得节点总的折扣损耗的期望值最小。其表示如下所示：

$Q_{\mathrm{\π}}^{*}(q_{n_i}^k,f_{n_i}^k)=J_{n_i}^k+\mathrm{\γ}\underset{f_{n_i}^{k+1}}{\min }{Q}_{\mathrm{\π}}^{*}(q_{n_i}^{k+1},f_{n_i}^{k+1})---\left(6\right)$

其中所采用的最优策略π^*是：

${\mathrm{\π}}^{*}\left(q_{n_i}^k\right)=\arg \underset{f_{n_i}^{k+1}}{\min }{Q}_{\mathrm{\π}}^{*}(q_{n_i}^{k+1},f_{n_i}^{k+1})---\left(7\right)$

基于Q-learning算法的节点占空比独立自适应调整算法如下：

一、Algorithm基于Q-learning的占空比控制算法

Require:节点簇中普通节点的数目N，记忆长度K个周期，最大迭代次数T

公式(8)如下所示：

其中，D_p是每个数据包的传输时间，η是吞吐量限制因子，δ和D_ACK分别是ACK数据包的等待时间和传输时间，D_bcn是信标的传输时间。

注意，公式(8)中的关系在本实施例中是通过理论推导得到的，在实际的应用场景中该关系可通过工程测量得到。

公式(9)如下所示：

$Q^t(q_{n_i}^k,f_{n_i}^k)=Q^{t-1}(q_{n_i}^k,f_{n_i}^k)+\mathrm{\λ}\{J_{n_i}^k+\mathrm{\γ}\min Q^t(q_{n_i}^k,f_{n_i}^k)-Q^{t-1}(q_{n_i}^k,f_{n_i}^k)\}---\left(9\right)$

其中λ∈(0,1],是学习率，它控制着学习的速度，且随着时间而减小，用以表征当前的估计值调整至最终目标的距离。

在上述Q-learning算法中，∈是取较小值的贪婪因子，rand是随机变量，算法中的5到12行指的是，节点nⁱ在大多数的情况下执行最优策略π^*决定的动作，而以较小的概率执行随机选取的非最优动作。这是为了保证在节点簇发生变化时，Q-learning算法始终能够学习得到适应节点簇变化的最优策略。

Step3的具体实现方法：

普通节点在数据阶段采用CSMA/CA方式竞争接入信道与簇头节点通信，竞争成功的普通节点与簇头节点间的通信时间由其在预测阶段采用Q-learning算法预测得到的最佳发送数据包的个数决定。具体操作如下：如在第k个周期，普通节点n_i在预测阶段预测得到的最佳发送数据包的个数为则节点n_i在数据阶段采用CSMA/CA方式竞争信道成功，与簇头节点进行数据通信，发送个数据包后即停止通信，不管节点n_i的缓存中还有数据没来得及发送，都立即进入睡眠阶段。若节点缓存中的数据包个数小于预测得到的最佳发送数据包个数则节点发送完缓存中的数据包之后立即进入睡眠阶段。

簇头节点一个运行周期具体流程如下：

Step1：在同步阶段，簇头节点广播信标帧(beacon)以维持簇内节点同步。

Step2：在数据阶段，簇头节点与普通节点进行数据通信，并将汇聚的簇内普通节点发送的数据包在由簇头节点组成的骨干网内作进一步上传。

节点簇一个运行周期操作过程示意图如图4所示，具体解释如下：

在预测阶段，普通节点1、2、3、4都根据Q-learning算法预测各自最佳发送数据包个数f。簇头节点0可在该阶段与骨干网中的其他簇头节点通信；在同步阶段，簇头节点广播信标帧，簇内普通节点1、2、3、4接收信标帧，更新本地时间以维持网内同步。在数据阶段，普通节点1、2、3、4以CSMA/CA方式竞争接入信道与簇头节点进行数据通信，普通节点1、2、3、4分别在时间点t1、t2、t3、t4完成各自在预测阶段得到的最佳发送数据包个数f个数据包的发送；在睡眠阶段，普通节点进入低功耗的休眠状态。簇头节点可在该阶段将汇聚的簇内数据流量在由簇头节点组成的骨干网内作进一步上传。

本申请中提出的一种无线传感网络占空比自适应调整方法可以达到以下技术效果：

⑴本发明采用基于强化学习的预测方法，由普通节点分别以优化自身综合性能(能效、时延等)为目标，直接预测得出下一个周期各自的最佳占空比，实现与流量的快速匹配，解决了现有技术根据节点流量线性调整占空比自适应速度慢和准确性差的缺点。

⑵本发明将基于强化学习的预测方法用于普通节点，而不需要簇头节点干预。由普通节点直接根据自身的流量情况预测得出下一周期的最佳占空比，不需要将自身流量上报给簇头节点，也无需接收簇头节点对自身占空比的调整信息，减少了簇头节点和普通节点间的通信次数，从而提高了普通节点能量效率。

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种无线传感网络占空比自适应调整方法，其特征在于，

通过网络分簇算法将网络中各局部的节点分簇，使得整个网络形成由一个或者一个以上簇组成的树形拓扑，所述网络中的各簇是一个周边局域网络(PAN)；

其中，所述方法按照周期性方式进行，所述各簇的周期长度固定；

每个PAN子网由一个作为簇头节点的网络协调器负责管理，各簇之间的数据流量由各簇的簇头节点负责传递；

各簇内其他传感器节点为普通节点，所述普通节点采用基于强化学习的预测方法，预测下一周期实现节点自身性能最佳的占空比；

所述簇头节点还用于收集对应簇内普通节点采集的数据并上传网络，同时维持网内节点同步。

2.根据权利要求1所述的方法，其特征在于，所述普通节点的一个周期分为预测、同步、数据和睡眠四个阶段，其中所述预测和同步阶段的时间长度固定，所述数据和睡眠阶段的长度可调整。

3.根据权利要求2所述的方法，其特征在于，所述普通节点根据所述基于强化学习的预测方法预测得到的最佳占空比决定各个数据阶段的时间长度。

4.根据权利要求3所述的方法，其特征在于，所述普通节点的一个周期分为预测、同步、数据和睡眠四个阶段，具体为：

在预测阶段，普通节点分别采用基于强化学习的预测方法预测得到各自在数据阶段的最佳发送数据包个数f；

在同步阶段，普通节点接收簇头节点广播的信标帧(beacon)以更新本地时间，保持同步；

在数据阶段，普通节点采用CSMA/CA方式竞争接入信道与簇头节点通信，各个普通节点与簇头节点间的通信时间分别由各自在预测阶段得到的最佳发送数据包的个数决定；

在睡眠阶段，普通节点进入睡眠状态以降低功耗。

5.根据权利要求4所述的方法，其特征在于，所述预测方法为与模型无关的算法Q-learning算法。

6.根据权利要求4所述的方法，其特征在于，所述普通节点在数据阶段采用CSMA/CA方式竞争接入信道与所述簇头节点通信，竞争成功的普通节点与所述簇头节点间的通信时间由其在预测阶段采用Q-learning算法预测得到的最佳发送数据包的个数决定。

7.根据权利要求3所述的方法，其特征在于，在一个周期内所述簇头节点的运行包括：

同步阶段，所述簇头节点广播信标帧以维持簇内节点同步；

数据阶段，所述簇头节点与普通节点进行数据通信，并将汇聚的簇内普通节点发送的数据包在由簇头节点组成的骨干网内作进一步上传。