CN105050185B - Wsn中基于匪徒对抗解决方法的资源感知任务调度方法 - Google Patents

Abstract

本发明公开了WSN中基于匪徒对抗解决方法的资源感知任务调度方法，包括以下几个步骤：(1)参数设置；(2)初始化权值和概率分布函数；(3)判断节点是否有能量，如果没有能量则结束，如果有能量确定当前节点所处的状态；(4)根据节点感应区域内的已经跟踪的目标的数目，选择执行一个任务a，a∈(1,2,...,A)；(5)计算执行完每一个任务后的奖励r_t+1＝r_t/P_a,t，计算执行完每一个任务后的权值(6)更新概率分布函数然后根据已经执行的任务情况，节点转移到下一个状态，并跳转到步骤(3)。本发明将匪徒对抗解决方法应用到无线传感器网络的目标跟踪的资源感知任务调度中来控制网络节点执行不同的任务，既能保证节点的工作效率，又能保证能量剩余最大化。

Description

WSN中基于匪徒对抗解决方法的资源感知任务调度方法

技术领域

本发明涉及一种在无线传感器网络(wireless sensor network：WSN)中基于匪徒对抗解决方法的资源感知任务调度方法(Resource-Aware Task Scheduling(RAST)by anAdversarial Bandit Solver Method)，属于强化学习技术领域。

背景技术

无线传感器网络是由数百甚至上千个微小的传感器节点组成。无线传感器网络是一个非常重要的平台，对于目标跟踪、区域监控、网内路由和数据聚合等各个方面都有普遍的应用。每个传感器节点根据不同的任务或者应用需求，通过每一步来执行每个任务。每次执行任务节点都会消耗一部分能量，而且不同的工作状态所消耗的能量也不尽然相同，节点在不同的工作状态会消耗能量。由于传感器节点往往都是能量有限的，因此这会极大的限制节点的有效作用。

针对WSN中节点对目标跟踪应用方面进行优化。利用网络节点对目标进行跟踪，如果一个网络节点总是处于跟踪目标的状态，确实会获得很好的跟踪效果，但是能量很快就用完了，后面的目标情况就会完全不知道。相反，如果是想节约能量，减少节点进行跟踪的时间，会降低跟踪目标的效果。

目前，一些学者已对此做了相关工作，但是他们大部分要么是没有考虑到分布式的任务调度，要么是静态的设置好节点的工作时间点和需要执行的任务，要么是在能量消耗和节点工作效率之间权衡的不是很好。

发明内容

针对现有技术存在的不足，本发明目的是提供一种WSN中基于匪徒对抗解决方法的资源感知任务调度方法，将匪徒对抗解决方法应用到无线传感器网络的目标跟踪的资源感知任务调度中来控制网络节点执行不同的任务，既能保证节点的工作效率，又能保证能量剩余最大化。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的WSN中基于匪徒对抗解决方法的资源感知任务调度方法，包括以下几个步骤：

(1)设置参数A和k，A为所有的任务；k是调节的随机选择执行统一行为的平衡因子，用于控制传感器节点处于哪种工作状态并且对应节点应该执行的任务，其中，k∈[0,1]；

(2)设置初始的权值w_i,o，w_i,0＝1；设置初始的决定节点处于哪种工作状态并且对应节点应该执行任务的概率分布函数p_i,1，P_i,1＝1/A,i＝1,2,...,A；

(3)判断节点是否有剩余能量(传感器节点上面会显示自己还剩下多少能量的)，如果没有能量，此节点不进行工作，如果有能量，则转向步骤(4)；

(4)根据节点感应区域内的已经跟踪的目标的数目和此时概率分布的情况，执行任务a，a∈(1,2,...,A)；

(5)每次执行完一个任务，则根据公式(12)更新当前的奖励值，并且根据公式(13)更新当前的权值，根据公式(11)更新概率分布情况；每次执行完一个任务后，更新当前奖励值r_t+1＝r_t/P_a,t，其中，r_t为执行任务前的奖励，P_a,t是在t时刻执行a任务的概率分布函数；每次执行完一个任务后，更新当前权值其中，w_a，t-1为执行任务前的权值；并更新概率分布函数其中，w_j,t是t时刻的执行任务a时的权值；

(6)然后根据已经执行的任务情况，节点转移到下一个状态，跳转到步骤(3)，继续执行。

本发明的WSN中基于匪徒对抗解决方法的资源感知任务调度方法，来优化选择无线传感器网络中节点保证跟踪质量和降低能量消耗，实现较好的准效果；通过使用匪徒对抗解决方法，与其他三个加强学习方法DIRL(Distributed Independent ReinforcementLearning)、RL(Reinforcement Learning)和CRL(Cooperative Reinforcement Learning)任务调度进行对比，证明本发明的方法具有很好的权衡能力，即保证了跟踪质量也降低了能量消耗。

附图说明

图1为本发明的工作流程图；

图2是目标预测和轨迹相交图；

图3是节点状态转换过程；

图4是比较改变平衡奖励函数参数的能耗与跟踪质量权衡图；

图5是比较不同网络大小的能耗与跟踪质量权衡图；

图6是目标随机移动下η＝0.10,0.15,0.20的能耗与跟踪质量权衡图；

图7是目标随机移动下η＝0.25,0.30,0.40的能耗与跟踪质量权衡图；

图8是目标随机移动下η＝0.50,0.70,0.90的能耗与跟踪质量权衡图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明所描述的工作原理是将匪徒对抗解决方法结合资源感知任务调度中，也就是将Exp3方法(匪徒对抗解决方法)用到无线传感器网络的目标跟踪的资源感知任务调度中，具体是Exp3方法控制的节点执行任务后的奖励情况，Exp3根据概率分布情况，选择执行某个任务。执行完此任务后，可以实时根据奖励情况更新权值信息和概率分布情况，最终达到控制节点执行不同的任务。以这样的方式达到既能保证节点效果的同时也能保证能量剩余最大化。用计算机将Exp3方法用到资源感知任务调度中进行网络仿真分析，并与其他三个加强学习方法DIRL、RL和CRL任务调度进行对比实验。

节点执行任务的概率分布是混合了均匀分布和a分布，执行每一个任务都会根据估计奖励产生一个概率质量指数。混合的分布确保了算法全部执行任务的每一步并且每一步都获得了良好的估计奖励。概率分布函数是在时间步t时，EXP3根据分布函数(P_1,t,P_2,t,...,P_A,t)分布函数的情况，选择执行一个任务a(a∈A)。P_a,t是在t时刻执行a任务的分布函数，k(k∈[0,1])是控制每一次循环的决定执行状态的平均概率参数。如果随机的选择的行为是全部一样的，k将会调整这样的行为的概率。P_j,t是t时刻决定执行j任务时刻的概率分布，t+1时刻就是执行完a任务后的时间，P_j,t+1则是t+1时刻执行完a任务后的概率分布情况

执行完每一个任务后的奖励是公式(12)，r_t+1是执行完a任务后的奖励值，

r_t+1＝r_t/P_a,t (12)

执行完每一个任务后的权值是公式(13)，w_a，t是执行a任务的权值

Exp3执行每一步操作都会记录一系列的权值w_i，在概率分布的基础上，根据这些权值来决定下一步的执行计划，当奖励是正向的或者积极的，就会提高相关的权值。

本发明所描述的工作原理是将匪徒对抗解决方法结合资源感知任务调度中，也就是将Exp3方法用到无线传感器网络的目标跟踪的资源感知任务调度中，具体是Exp3方法控制的节点执行任务后的奖励情况，从而可以实时根据奖励情况更新权值信息和计算新的概率分布情况，从而控制节点的状态，最终达到控制节点执行不同的任务。以这样的方式达到既能保证节点效果的同时也能保证能量剩余最大化。

参见图1，具体步骤如下：

(1)设置参数，所有的任务A，参数k≤1；

(2)初始化权值和分布情况的概率，w_i,0＝1，P_i,1＝1/A,i＝1,2,...,A；

(3)判断节点是否还有能量，如果没有能量，则结束。如果有能量，根据变量确定当前节点的所处的状态；

(4)根据节点感应区域内的已经跟踪的目标的数目，选择执行一个任务a(a∈(1,2,...,A))；

(5)根据公式(12)计算估计奖励，然后根据公式(13)更新当前的权值；

(6)根据公式(11)计算更新概率分布，然后根据已经执行的任务情况，节点转移到下一个状态；跳转到步骤(3)。

节点任务定义：

目标检测 扫描感应区域获得区域内目标的数量；

目标跟踪 在感应区域内跟踪，获取每个独特ID目标的的平面位置；

发送信息 当节点感应区域内目标即将离开感应区域的时候，节点将目标的当前位置、时间信、运行速度很方向发送给邻居节点；

预测轨迹 这里面对目标运动轨迹使用Gauss-Markov运动模型，在t时刻预测目标的运动速度和方向S_t和D_t，S和D是平均的速度和方向常量，和是高斯分布的随机变量，η是改变目标运动的随机性参数。

如果η＝1，目标运动轨迹则是线性运动方程，如果η＝0就是随机朗运动。下面将会根据η＝1的线性运动方程为例，进行详细描述。

相交轨迹 这个是收到邻居节点发送的目标轨迹信息的节点，检测感应区域内是否和目标轨迹有交集，有交集则预测到节点自己的感应区域的时间。下面根据线性方程进行描述，如图2所示，预计到达时间 是点P_i和点P_j之间的距离。P_j是目标离开节点j感应区域时的位置，P_i是节点i感应到目标的位置，v是上面已经计算出来的速度。

目标如果是线性运动方程，节点根据某个目标最近的几个位置，例如t时刻位置(x_t,y_t)，t-1时刻位置(x_t-1,y_t-1)。则连续的速度公式v是：

目标轨迹方程可以假设是公式(4)，b是斜率，a是截距，ε是计算误差

y＝bx+a+ε (4)

则误差ε可以通过(4)式变化得到公式(5)，其中n是轨迹上所有的点

ε_i＝y_i-bx_i-a,i＝1,2,...,n (5)

使用误差平方和思想衡量计算这条直线是否准确，假设误差平方和是J，则

这里面是求J的最小值，对回归线参数a和b求偏导且等于零，可以得到J的最小值。通过计算并且提取常数项得到下面公式

公式(7)并不能说明这里的估计准确度，即不能说明a和b的计算值和其真实值偏差多少，这里可以使用置信区间来分析。使用服从自由度为n-2的t分布计算得到a和b的置信区间：

其中a和b的标准差s_a和s_b表示如下公式，是x的平均值

和是新建立的估值，是t_n-2分布中(1-τ/2)的分位数。可以根据不同的τ值设置信水平信来衡量上述方程。

假设网络节点i₁的感知区域是一个圆形区域，则节点的感知区域的可以表示为方程(10)，其中r₁是感知半径，(x₁,y₁)是感知区域中心位置。

(x-x₁)²+(y-y₁)²＝r₁ ² (10)

根据上面计算得到的线性轨迹方程(4)与节点i₁的感区域方程(10)联立求解计算，就可以轻易得到目标的运动轨迹是否经过节点i₁。并以此向邻居节点发送相关信息。

节点休眠 关闭网络节点一个时间周期，这也是节点行为立面消耗能量最少的。

节点状态定义：

每一个节点都会处于不同的工作状态，以保证能节省最大的能量。图3是节点不同状态之间的转移方式图。

空闲状态 节点感应区内没有检测到目标，邻居节点发送过来的预计到达时间N_ET和本地时间L_c差很多，这里设置一个时间阀值Th₁，即|N_ET-L_c|≥Th₁。节点在这个状态会降低执行目标检测的频率来保存能量；

警觉状态 节点感应区内没有检测到目标，但是邻居节点发送过来的预计到达时间N_ET和本地时间L_c差值小于阀值Th₁，即|N_ET-L_c|<Th₁。节点在这个状态会增加执行目标检测的频率，直到至少有一个目标被检测到；

跟踪状态 节点感应区内已经检测到有目标，就执行此状态。

实验参数设置：

为了验证文中方法的有效性，仿真模拟中设置最多可获得的目标数目是7，每个节点满能量情况下是1000个单位。下面表1描述节点执行每个任务所消耗的能量单位。发送超过两跳的信息，消耗发送节点和中继节点的能量。Exp3的平衡参数k设置为0.5，节点感知半径是5个单位，通信半径是8个单位。

表1节点任务能耗表

任务	能量消耗/单位
		节点休眠	1
目标检测	2
		轨迹相交	3
预测轨迹	4
		发送信息	5
目标跟踪	7

图4对应的仿真实验中，η＝0.5，Exp3中的k＝0.5，网络拓扑中是5个传感器节点；图5对应的仿真实验中，β＝0.5，η＝0.5；图6、图7、图8对应的仿真实验中，β＝0.5，网络拓扑中是5个传感器节点；表2对应的仿真实验中，表中数据是执行迭代20次的节点执行发送信息任务的平均消耗能量和执行时间。

表2平均执行时间和通信量

	平均执行时间	平均通信开销
			DIRL	0.030s	0
RL	0.036s	0
			CRL	0.067s	29
Exp3	0.045s	27

实验结果如下：

图4上面的数据点都是10次模拟的平均结果，通过变化平衡参数β获得DIRL、RL、CRL和Exp3的质量跟踪和能量消耗的权衡情况。这里面β从0.1变化到0.9，每次改变0.1。结果显示RL方法虽然能很好的降低能耗，但是不能获得很好的目标跟踪质量。DIRL能够降低大部分的能耗，但是跟踪的质量也非常的差。CRL和Exp3的点的位置都比较接近，所以它们有着相似的结果，但是EXP3也都是略好于CRL算法。

图5上面的数据点都是10次模拟的平均结果，通过变化网络拓扑的大小来获得DIRL、RL、CRL和Exp3的质量跟踪和能量消耗的权衡情况。网络拓扑由覆盖率是网络节点能检测的区域面积与全部的监控区域面积比。我们根据覆盖率分别是0.0029、0.0057和0.0113的区域相应的节点数目是5个、10个和20个情况下进行试验仿真。仿真结果显示DIRL算法的能量效率很高但是跟踪质量表现不是很好。CRL和Exp3能量消耗和跟踪质量都表现的很好，性能也是差不多，Exp3在覆盖率低和比较高的时候，都好于CRL算法。

从图6图7图8上面的数据点都是10次模拟的平均结果，通过变化目标移动的随机性来获得DIRL、RL、CRL和Exp3的质量跟踪和能量消耗的权衡情况。根据每一种方法，目标移动随机性的参数η都依次取下面的值{0.10,0.15,0.20,0.25,0.30,0.40,0.50,0.70,0.90}进行网络仿真。仿真结果显示CRL和Exp3的能量消耗和跟踪质量的权衡结果比DIRL和RL都要好。在运动随机性比较低的时候，也就是更加接近线性运动的时候，即η＝0.50,0.70,0.90的时候，RL和Exp3在目标跟踪质量方面有着相似的结果，但是在随机性更高的时候，也就是更加接近于随机布朗运动的时候，即η＝0.10,0.15,0.20的时候，DIRL在目标跟踪方面表现的非常差。因此在本文提出的Exp3方法中，对于目标更加接近线性的运动形式，有着更好的跟踪质量。

表2是对比DIRL、RL、CRL和Exp3的平均执行时间和平均的通信量，这是在仿真中执行迭代20次的平均结果。结果显示DIRL和RL是资源感知型的，通信量很少且执行时间也较短；Exp3需要更多的大约25％的执行时间，CRL需要更多的大约86％的执行时间。CRL和Exp3的通信开销是差不多的，Exp3的弱点在通信量和通信时间上，优点是它有更好的跟踪目标的质量，且是很综合的算法，与它相似的CRL算法是其η＝0时候的线性情况。

从上述实验结果显示我们提出的方法有更好的跟踪质量，DIRL虽然能节能但是跟踪质量很差。RATS和CRL在权衡能量消耗和保证质量方面有着相似的结果。应该根据不同的应用需求和节点的资源来选择不同的任务调度方法。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.WSN中基于匪徒对抗解决方法的资源感知任务调度方法，其特征在于，包括以下几个步骤：

(1)设置参数A和k，A为所有的任务；k是调节的随机选择执行统一行为的平衡因子，用于控制传感器节点处于哪种工作状态并且对应节点应该执行的任务，其中，k∈[0,1]；

(2)设置初始的权值w_x,o，w_x,0＝1；设置初始的决定节点处于哪种工作状态并且对应节点应该执行任务的概率分布函数P_x,1，P_x,1＝1/A,x＝1,2,...,A；

(3)判断节点是否有剩余能量，如果没有能量，此节点不进行工作，如果有能量，则转向步骤(4)；

(4)根据节点感应区域内的已经跟踪的目标的数目和此时概率分布的情况，执行任务a，a∈(1,2,...,A)；

(5)每次执行完一个任务后，更新当前奖励值r_t+1＝r_t/P_a,t，其中，r_t为执行任务前的奖励，P_a,t是在t时刻执行a任务的概率分布函数；每次执行完一个任务后，更新当前权值其中，w_a,t-1为执行任务前的权值；并更新概率分布函数其中，w_a,t是t时刻的执行任务a时的权值；

(6)然后根据已经执行的任务情况，节点转移到下一个状态，跳转到步骤(3)，继续执行；

节点任务定义：

目标检测 扫描感应区域获得区域内目标的数量；

目标跟踪 在感应区域内跟踪，获取每个独特ID目标的平面位置；

发送信息 当节点感应区域内目标即将离开感应区域的时候，节点将目标的当前位置、时间信、运行速度方向发送给邻居节点；

预测轨迹 面对目标运动轨迹使用Gauss-Markov运动模型，在t时刻预测目标的运动速度和方向S_t和D_t，S和D是平均的速度和方向常量，和是高斯分布的随机变量，η是改变目标运动的随机性参数；

如果η＝1，目标运动轨迹则是线性运动方程，如果η＝0就是随机朗运动；下面根据η＝1的线性运动方程进行描述：

相交轨迹 这个是收到邻居节点发送的目标轨迹信息，检测感应区域内是否和目标轨迹有交集，有交集则预测到节点自己的感应区域的时间，下面根据线性方程进行描述，预计到达时间 是点P_i和点P_j之间的距离，P_j是目标离开节点j感应区域时的位置，P_i是节点i感应到目标的位置，ν是连续的速度

目标如果是线性运动方程，节点根据某个目标最近的几个位置，t时刻位置(x_t,y_t)，t-1时刻位置(x_t-1,y_t-1)，则连续的速度公式ν是：

目标轨迹方程假设是公式(4)，b是斜率，a是截距，ε是计算误差

y＝bx+a+ε (4)

则误差ε通过(4)式变化得到公式(5)，其中n是轨迹上所有点的个数

ε_i＝y_i-bx_i-a,i＝1,2,...,n (5)

使用误差平方和思想衡量计算这条直线是否准确，假设误差平方和是J，则

求J的最小值，对回归线参数a和b求偏导且等于零，得到J的最小值，通过计算并且提取常数项得到下面公式

公式(7)并不能说明这里的估计准确度，即不能说明a和b的计算值和其真实值偏差多少，使用置信区间来分析，使用服从自由度为n-2的t分布计算得到a和b的置信区间：

其中a和b的标准差s_a和s_b表示如下公式，是x的平均值

和是新建立的估值，是t_n-2分布中(1-τ/2)的分位数，根据不同的τ值设置置信水平来衡量上述方程；

假设网络节点i₁的感知区域是一个圆形区域，则节点的感知区域的表示为方程(10)，其中r₁是感知半径，(x₁,y₁)是感知区域中心位置

根据上面计算得到的线性轨迹方程(4)与节点i₁的感区域方程(10)联立求解计算，就得到目标的运动轨迹是否经过节点i₁，并以此向邻居节点发送相关信息；

节点休眠 关闭网络节点一个时间周期，这也是节点行为立面消耗能量最少的；

节点状态定义：

每一个节点都会处于不同的工作状态，以保证能节省最大的能量；

空闲状态 节点感应区内没有检测到目标，邻居节点发送过来的预计到达时间N_ET和本地时间L_c差很多，这里设置一个时间阀值Th₁，即|N_ET-L_c|≥Th₁，节点在这个状态会降低执行目标检测的频率来保存能量；

警觉状态 节点感应区内没有检测到目标，但是邻居节点发送过来的预计到达时间N_ET和本地时间L_c差值小于阀值Th₁，即|N_ET-L_c|＜Th₁，节点在这个状态会增加执行目标检测的频率，直到至少有一个目标被检测到；

跟踪状态 节点感应区内已经检测到有目标，就执行此状态。