CN102958109A - 一种无线传感器网络的节点能量自适应管理策略 - Google Patents

Abstract

本发明公开了一种无线传感器网络的节点能量自适应管理策略，由于无线传感器节点能量有限性，而节点在不同工作模式所消耗的能量是不一样的，针对无线传感器节点的这些特点，首先构建一种基于信道和缓冲区状态的自适应传输机制，其次在普通传输机制的基础上进一步引入了数据包虚拟分片技术，形成基于信道和缓冲区自适应分片传输机制，通过将问题建模成马尔可夫决策过程模型，利用一种智能学习优化算法求解出最优策略，解决了在不同网络信道和节点缓冲区状态下，合理选择节点工作模式和数据包的分片大小，提高节点的能量利用效率。

Description

一种无线传感器网络的节点能量自适应管理策略

技术领域

本发明属于无线传感器网络节能技术领域，特别涉及节点工作模式以及数据包分片大小选择的单个无线传感器网络的节点能量自适应管理策略。

背景技术

无线传感器网络与传统的网络不同，通常是由几百甚至几千个传感器节点组成，采用多跳传输进行无线通信。传感器节点的体积微小，一般由电池供电，导致其携带的能量非常有限。而传感器节点通常布设在恶劣的环境或者无人区域，在传感器节点能量耗尽之后很难对节点进行更换。如果网络中的一些节点因能量耗尽而失效，特别是关键节点的死亡会造成网络覆盖面积的减小，无法保证网络的连通性和可靠性。因此有限的节点电源能量是阻碍无线传感器网络发展和应用的关键问题。

无线传感器节点主要由感知模块、数据处理模块及无线通信模块组成。通过将传感器分成处理单元，感知单元和收发器单元，这几个单元分别都有自己的工作状态，各单元不同的工作状态的特定组合组成了节点的工作模式。在实际应用环境中，节点没必要一直处于运行状态，在大多情况下可以处以空闲或者睡眠状态，当需要再次使用的时候将其唤醒。如果使节点一直处于运行状态，虽然能够很好的处理数据，但会导致能量的大量浪费。同时当发生数据传输时，根据无线信道的质量，合理选择数据包的大小能提高数据包发送的成功率，使节点能量得到高效地利用，同时也减少了能量的浪费。因此合理选择节点的工作模式和自适应选择发送数据包的大小可以高效地利用节点能量。无线传感器网络的节点能量自适应管理策略就是将节点能量问题建模成马尔可夫决策过程模型，再利用强化学习算法得出最优策略，在不同的信道状态选择不同的工作模式和数据传输方式，以最小化由每个数据包的能量消耗、缓冲区溢出、传感器节点工作模式切换的能量消耗以及分片代价组成的整体代价，提高单个节点的能量利用效率。

现实中的无线传感器节点存在以下问题：

1、传感器节点的体积微小，一般由电池供电，导致其携带的能量非常有限，且一般布设在偏远或者危险的区域，节点因能量耗尽死亡后不易更换。如果网络中有关键节点因为死亡而脱离了网络，会使整个网络的覆盖面积减小，使其他节点收集到的信息无法传送给监控人员，影响整个网络的连通性和准确性。

2、传感器节点有多种工作模式，没有必要使节点时时刻刻处于工作状态，如果不需要节点各组件进入工作状态，可以使节点某些组件进入空闲或者睡眠状态，需要时将其再次唤醒。节点各组件的不同工作状态可以组合成不同的工作模式，选择合适的工作模式可以有效减少节点的能量消耗。

3、无线信道的质量对于节点数据传输的成功率有很大的影响。当网络中无线信道质量较好时，应该尽可能多的传输数据。当信道质量比较差时，传输多个完整的数据包会容易导致数据包传输成功率大大降低，这样容易导致因为数据重传而引起能量消耗，因此可以采用虚拟分片技术，选择传输较少的数据分片帧或者延迟传输。

发明内容

本发明提出一种无线传感器网络的节点能量自适应管理策略，以合理调节节点的工作模式以及选择发送合适大小的数据包，提高网络节点的能量利用率。

为达到上述目的，本发明采用的技术方案为：

一种无线传感器网络的节点能量自适应管理策略，其特征在于，具体包括以下步骤：

（1）衡量当前无线信道的状态：

将连续的无线信道离散化，在时间片i，无线传感器节点通过与接收节点交换控制信息完成连接，无线传感器节点通过分析封装在控制信息中的反馈信号获得无线衰减信道的当前状态，通过将接收到的瞬时信噪比γ划分为k个区间，当接收到的信噪比落在γ_k-1到γ_k区间，则认为信道状态为k，假设信道状态转移发生在一个时间片的边界，并且只转移到相邻状态之间；

（2）检测当前节点自身缓冲区状态：

传感器节点在时间片i，感知和接收从其它相邻节点转发而来的数据按相同的数学分布到达节点缓冲区中，节点缓冲区中的数据包的个数即为缓冲区状态；

（3）强化学习算法：

①传感器节点主要由处理器单元，感知单元和收发器单元组成，将这三个不同的组成单元构成节点8种不同的工作模式，结合节点自身的缓冲区状态以及当前无线信道状态，传感器节点决策以选择合理的节点工作模式和数据传输的方式，发送节点通过相关路由控制协议与接收节点通信；

②根据接收到的控制信息估计当前的无线信道质量，引入虚拟分片技术，将一个完整的帧分成多个数据片，在信道状态比较好的时候可以选择多发送些完整的数据包，在信道差的时候选择发送几个分片帧，在信道非常差的时候延迟发送数据包；

③在时间片i，通过发送节点接收到接收节点发送来的控制信息检测当前系统状态为s_i=(g_i,b_i)，其中g_i为信道状态，b_i为缓冲区中数据包的个数；用a_i表示在时间片i下执行的控制行动，其包括节点工作模式为

；节点的传输功率为P_t,i；节点发送的数据包个数为c_t,i；然后按(1)式计算节点所花费的立即代价R：

在式(1)中：

第一项

为每处理一个数据包所消耗的能量，P_i表示在时间片i时节点消耗的功率，包括节点感知单元、接收器和发送器的功耗；T_p表示一个时间片的长度；U表示节点在一个时间片内从感知单元感知到的数据包个数，接收器从相邻节点接收到的数据包个数，以及发送器发送的数据包个数；D(b_i,a_i)表示在时间片i由于缓冲区溢出造成丢失的平均数据包数，p(n)表示缓冲区空白为n的概率；D(b_i,a_i)一定程度体现了节点发送数据与接收数据的速度，当D(b_i,a_i)比较大的时候显示了信道质量不怎么好，节点发送数据的速度大于接收数据的速度；而当D(b_i,a_i)小的时候说明节点发送的数据要多余节点接收的数据，数据溢出的数据包个数比较小；

表示从工作模式

到工作模式

的切换代价；

表示采取分片传输所产生的分片代价；

④根据步骤③中所述立即代价函数R，利用即时差分公式d_i，按照(2)式对系统的状态-行动对值函数Q_β(s_i+1,a)进行更新：

$Q_{\mathrm{\β}}(s_i,a_i):=Q_{\mathrm{\β}}(s_i,a_i)+{\mathrm{\ξ}}_i{d}_i---\left(2\right)$

式(2)中，ξ_i=1/i为学习步长；

（4）判断是否满足强化学习算法停止条件：

为算法中所有状态-行动对值函数的学习更新次数总和设置一个固定值，学习更新次数没有超过该固定值，转到步骤（3）继续学习；否则，强化学习算法学习终止，得出最优的节点自适应数据发送策略，系统即按照最优节点发送策略运行，选择合理的节点工作模式和数据传输方案。

本发明的原理是：

本发明控制节点能够在不同的无线信道状态以及节点自身缓冲区状态下，选择合适的节点工作模式，发送功率以及数据包的大小，以达到对节点能量的最优控制；对于此优化控制问题，将其建模成马尔可夫决策过程模型，运用合适的强化学习优化算法进行求解，得出最优策略，最小化由节点每个数据包的能量消耗、缓冲区溢出和传感器节点工作模式切换的能量消耗组成的代价函数，使节点的能量利用率保持最大化。

与已有技术相比，本发明的有益效果体现在：

1、对于节点能量自适应管理问题，本发明采用强化学习优化算法，对节点工作模式和数据包分片大小进行合理控制，提高节点能量的利用效率。

2、本发明将由节点处理器单元、感知单元和收发器单元不同工作状态组成的工作模式划分的更为细致合理，考虑了节点八种工作模式，这样更能够准确评估节点所消耗的能量。

3、本发明采用了虚拟分片的技术，将一整个数据包分为多个分片帧，这样在无线信道质量比较差的时候，发送整个数据包可能会失败，可以选择采用发送几个分片帧的方式，在提高数据发送率的同时，也不浪费信道资源，能够进一步提高节点的能量利用率。

4、利用强化学习算法得到了节点能量最优控制的策略后，传感器节点在每个时间片开始时按照最优策略选择最好的工作模式切换方案和数据传输方案，使节点能够更加高效，更加灵活的工作。

附图说明

图1为本发明无线传感器节点的抽象结构。

图2为本发明算法流程图。

图1中标号：1节点感知单元；2节点接收器；3节点buffer； 4调节器；5 PA；6节点发送器；7处理器&转换器；8能量供应单元；9外部外部器oer传输成功率大大降低，这样容易导致因为数据重传而引起的环境；10相邻节点；11无线信道；12发送节点；13接收节点；14反馈信号。

具体实施方式

参见图1，在每一个时间片的开始，传感器节点需要决定在哪种工作模式下工作。如果任何情况下能侦测到节点感知单元1有数据包到达，把数据包放入节点buffer3中以待发送。同样的，当节点接收器2从相邻节点10接收到一些数据包时，也把这些数据包放入节点buffer3中。节点发送器6负责把节点buffer3中的数据包发送出去。用n_s，n_r，c_t分别表示在一个时间片内从节点感知单元1感知到的数据包个数， 节点接收器2从相邻节点10接收到的数据包个数，以及节点发送器6发送的数据包个数，均按相同的数学分布到达（例如到达率为λ的Poisson分布）。用P_s，P_r，P_t分别表示节点感知单元1、节点接收器2和节点发送器6的功耗。另外，P_a是7处理器&转换器7激活时的功耗，P_d是7处理器&转换器7空闲时的功率消耗。假设节点自身的节点接收器2大小为B，数据包大小均为L，节点的节点接收器2中的数据包的个数即为缓冲区状态。发送节点12根据接收节点13发送过来的反馈信号14来评估当前的无线信道质量，选择合适的传输方案。在无线信道状态差时，选择延迟发送数据包；信道质量一般时，发送较少的数据包或者是几个分片帧，这样能够避免因传输失败引起的数据重传，减少了节点的能量消耗；在无线信道状态较好时，选择传输较多的数据包。

本实施例中，无线传感器网络的节点能量自适应管理策略中最优控制策略按如下步骤进行：

步骤1、将连续的无线信道离散化，在时间片i，无线传感器节点通过与接收节点交换控制信息完成连接，其能够通过分析封装在控制信息中的反馈信号（例如SNR）获得无线衰减信道的当前状态。通过将接收到的瞬时信噪比γ划分为k个区间，当接收到的信噪比落在γ_k-1到γ_k区间，则认为信道状态为k，假设信道状态转移发生在一个时间片的边界，并且只转移到相邻状态之间。

步骤2、传感器节点在时间片i，感知和接收从其它相邻节点转发而来的数据都是按相同的数学分布（例如到达率为λ的Poisson分布）到达节点缓冲区中的。节点缓冲区中的数据包的个数即为缓冲区状态，那么数据包的到达和传输都会引起缓冲区状态的变化。

步骤3、结合节点自身的缓冲区状态以及当前无线信道状态，传感器节点决策以选择合理的节点工作模式和数据传输的方式。发送节点通过相关路由控制协议与接收节点通信，根据接收到的控制信息估计当前的无线信道质量。当无线信道状态很差时，延迟发送数据包；当无线信道状态较差时，选择发送0到3个完整的数据包以及多个分片帧，以避免数据重传；当无线信道状态较好时，选择传输1到4个完整的数据包，由此提高节点的能量利用效率。

无线传感器网络的节点能量自适应管理策略按照步骤1衡量当前无线信道的状态，按照步骤2检测当前节点自身缓冲区状态，按照步骤4的强化学习方法决定按步骤3中的哪一种方式传输。

步骤4、对于无线传感器节点能量自适应管理策略进行强化学习：首先在时间片i时，通过发送节点接收到接收节点发送来的控制信息估计当前的无线信道状态g_i；估计节点当前缓冲区中的数据包个数b_i；将g_i和b_i作为当前时间片i下的节点状态s_i。按(1)式计算节点所花费的立即代价R：

在式(1)中：

第一项

为每处理一个数据包所消耗的能量，P_i表示在时间片i时节点消耗的功率，包括节点感知单元、接收器和发送器的功耗；T_p表示一个时间片的长度；U表示节点在一个时间片内从感知单元感知到的数据包个数，接收器从相邻节点接收到的数据包个数，以及发送器发送的数据包个数；D(b_i,a_i)表示在时间片i由于缓冲区溢出造成丢失的平均数据包数，p(n)表示缓冲区空白为n的概率；D(b_i,a_i)一定程度体现了节点发送数据与接收数据的速度，当D(b_i,a_i)比较大的时候显示了信道质量不怎么好，节点发送数据的速度大于接收数据的速度；而当D(b_i,a_i)小的时候说明节点发送的数据要多余节点接收的数据，数据溢出的数据包个数比较小。

表示从工作模式

到工作模式

的切换代价；

表示采取分片传输所产生的分片代价；

步骤5、根据步骤4中所述立即代价函数R，利用即时差分公式d_i，按照(2)式对系统的状态-行动对值函数Q_β(s_i+1,a)进行更新：

$Q_{\mathrm{\β}}(s_i,a_i):=Q_{\mathrm{\β}}(s_i,a_i)+{\mathrm{\ξ}}_i{d}_i---\left(2\right)$

式(2)中，ξ_i=1/i为学习步长。

步骤6、采用适用于求解传感器节点能量自适应传输策略的强化学习算法对节点能量自适应传输策略进行优化。

本实施例中无线传感器网络的节点能量自适应管理策略是采用Q学习算法进行求解的。该算法是一种与模型无关的强化学习算法，其通过实际经历来更新状态行动对的值函数Q(s,a)，不需要状态转移函数和完整的系统模型。利用该算法实现节点能量的自适应管理，合理选择较好的工作模式切换方案和数据传输方案，提高节点能量的利用效率。

步骤7、判断是否满足强化学习算法停止条件，为算法中所有状态-行动对值函数的学习更新次数总和设置一个固定值，学习更新次数没有超过该固定值，转到步骤3继续学习；否则，强化学习算法学习终止，可以得出最优的节点自适应数据发送策略，系统即按照最优节点发送策略运行，选择合理的节点工作模式和数据传输方案。

下面以图2所示的算法流程实施节点能量管理策略。假设节点缓冲区大小B为10个数据包，每个数据包大小为80bit，每个传感器八种工作模式，这八种工作模式见表1。通过仿真结果得出在较高的感知器数据包到达率下，节点自适应分片传输方案倾向于选择A₆，节点有着更高的能量效率，因为接收器在感知比较少的数据包到达时，能够自动关闭；在不同的平均信噪比下，节点自适应分片传输产生的能量效率较高，因为节点自适应分片传输可以选择更合理、高能效和低代价的工作模式，如工作模式A₃，A₅，A₆和A₇。同时当感知单元的数据包到达率小于0.5时，工作模式A₁，A₃和A₅比其它工作模式有着更高的可能被选择使用，因为在低的感知率下感知单元为了节省能量而又不显著的影响吞吐量倾向于停留在睡眠模式。而在较大的感知率下，节点自适应分片传输方案相对于工作模式A₂，A₃，A₄和A₅更倾向于选择工作模式A₆ ，这是因为为了减少能量消耗打开了感知单元并关闭了接收器。

Claims (1)

1.一种无线传感器网络的节点能量自适应管理策略，其特征在于，具体包括以下步骤：

（1）衡量当前无线信道的状态：

将连续的无线信道离散化，在时间片i，无线传感器节点通过与接收节点交换控制信息完成连接，无线传感器节点通过分析封装在控制信息中的反馈信号获得无线衰减信道的当前状态，通过将接收到的瞬时信噪比γ划分为k个区间，当接收到的信噪比落在γ_k-1到γ_k区间，则认为信道状态为k，假设信道状态转移发生在一个时间片的边界，并且只转移到相邻状态之间；

（2）检测当前节点自身缓冲区状态：

传感器节点在时间片i，感知和接收从其它相邻节点转发而来的数据按相同的数学分布到达节点缓冲区中，节点缓冲区中的数据包的个数即为缓冲区状态；

（3）强化学习算法：

①传感器节点主要由处理器单元，感知单元和收发器单元组成，将这三个不同的组成单元构成节点8种不同的工作模式，结合节点自身的缓冲区状态以及当前无线信道状态，传感器节点决策以选择合理的节点工作模式和数据传输的方式，发送节点通过相关路由控制协议与接收节点通信；

②根据接收到的控制信息估计当前的无线信道质量，引入虚拟分片技术，将一个完整的帧分成多个数据片，在信道状态比较好的时候可以选择多发送些完整的数据包，在信道差的时候选择发送几个分片帧，在信道非常差的时候延迟发送数据包；

③在时间片i，通过发送节点接收到接收节点发送来的控制信息检测当前系统状态为s_i=(g_i,b_i)，其中g_i为信道状态，b_i为缓冲区中数据包的个数；用a_i表示在时间片i下执行的控制行动，其包括节点工作模式为；节点的传输功率为P_t,i；节点发送的数据包个数为c_t,i；然后按(1)式计算节点所花费的立即代价R：

在式(1)中：

第一项

为每处理一个数据包所消耗的能量，P_i表示在时间片i时节点消耗的功率，包括节点感知单元、接收器和发送器的功耗；T_p表示一个时间片的长度；U表示节点在一个时间片内从感知单元感知到的数据包个数，接收器从相邻节点接收到的数据包个数，以及发送器发送的数据包个数；D(b_i,a_i)表示在时间片i由于缓冲区溢出造成丢失的平均数据包数，p(n)表示缓冲区空白为n的概率；D(b_i,a_i)一定程度体现了节点发送数据与接收数据的速度，当D(b_i,a_i)比较大的时候显示了信道质量不怎么好，节点发送数据的速度大于接收数据的速度；而当D(b_i,a_i)小的时候说明节点发送的数据要多余节点接收的数据，数据溢出的数据包个数比较小；

表示从工作模式

到工作模式的切换代价；

表示采取分片传输所产生的分片代价；

④根据步骤③中所述立即代价函数R，利用即时差分公式d_i，按照(2)式对系统的状态-行动对值函数Q_β(s_i+1,a)进行更新：

$Q_{\mathrm{\β}}(s_i,a_i):=Q_{\mathrm{\β}}(s_i,a_i)+{\mathrm{\ξ}}_i{d}_i---\left(2\right)$

式(2)中，ξ_i=1/i为学习步长；

（4）判断是否满足强化学习算法停止条件：

为算法中所有状态-行动对值函数的学习更新次数总和设置一个固定值，学习更新次数没有超过该固定值，转到步骤（3）继续学习；否则，强化学习算法学习终止，得出最优的节点自适应数据发送策略，系统即按照最优节点发送策略运行，选择合理的节点工作模式和数据传输方案。

Images