CN113891238B - 一种基于drl的wsn中单对多移动能量补充方法 - Google Patents
一种基于drl的wsn中单对多移动能量补充方法 Download PDFInfo
- Publication number
- CN113891238B CN113891238B CN202111147925.5A CN202111147925A CN113891238B CN 113891238 B CN113891238 B CN 113891238B CN 202111147925 A CN202111147925 A CN 202111147925A CN 113891238 B CN113891238 B CN 113891238B
- Authority
- CN
- China
- Prior art keywords
- charging
- energy
- hexagonal
- node
- hexagonal area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
- H02J50/80—Circuit arrangements or systems for wireless supply or distribution of electric power involving the exchange of data, concerning supply or distribution of electric power, between transmitting devices and receiving devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/10—Current supply arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Power Engineering (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种基于DRL的WSN中单对多移动能量补充方法,属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。目前无线传感器网络工作仅仅考虑了基于深度强化学习的无线传感器网络中单对单的移动能量补充,而面对移动无线充电智能体的单对多充电尚未考虑。本发明通过利用了深度强化学习对于高维数据的适应性和单无线充电智能对多传感器节点充电的高充电效率优势,很好地适应了无线传感器网络中无线充电智能体的移动,充电时间和突发事件导致的高动态能量消耗特征,能够确保其能量供应,同时尽可能减少传感器节点的死亡,维护整个无线传感器网络的长期持续运行。
Description
技术领域
本发明涉及一种基于DRL的WSN中单对多移动能量补充方法,属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。
背景技术
无线传感器网络由随机部署到传感器节点、服务站、基站、移动无线充电智能体构成。其中,传感器节点是具有低成本、低功耗并具备感知、接收发送信息和无线通讯能力的优点,可以感知周围环境中的热、红外、火灾和地震等信号,可以探测环境的温度、湿度、噪声、光照强度以及土壤成分等。移动充电智能体有更强的通信和数据处理能力,同时还具有自主移动的能力,计算能力和通信能力,可以基于网络中所发生的事件做出决策并自主地完成任务。基站具有足够的能量和通信能力,与移动无线充电智能体和传感器节点直接进行消息数据的传输。无线传感器网络具有自组织性,动态性优点,目前在军事,工业,环境监测和医疗卫生方面有很好的使用前景,已经引起了国家、科学界和工业界的广泛关注和重视。
无线传感器网络的主要目标是感知环境并提高通信实时性,通过传感器节点之间的网络可以及时地传递消息,达到通信的实时性。传感器节点还可以对事件快速做出反应,如火灾、龙卷风、地震等事件可以及时得到处理,可以将灾难发生造成的损失降到最低,维护和保护国家的财产和人民的生命财产安全。因此实时性尤为重要。
LiguangXie等人于2015年在IEEE TRANSACTIONS ON NETWORKING发表的“Multi-Node Wireless Energy Charging in Sensor Networks”首先基于传统方法实现在无线传感器网络中单对多的移动能量补充。文中利用多节点无线能量传输技术的最新进展,为无线传感器网络中传感器节点的电池充电。文中的方法是开发一个形式化的优化方法,通过联合优化每个六边形区域的移动路径、流量路由和充电时间。通过采用离散化和一种新的公式线性化技术,研究了一个可证明的近似最优解以达到任意期望的精度水平。利用数值结果,文中展示了多节点无线能量传输技术的优势,并说明了它如何解决密集无线传感器网络中的充电可扩展性问题。
从出版的文献中,尚无利用深度强化学习算法和单对多的无线充电技术来解决无线传感器网络的能量短缺问题。现有的利用深度强化学习来解决无线传感其网络能量短缺问题都是针对单对单充电,或者多对单充电,因此这些方案无法有效的发挥无线充电技术中的单对多充电的高效率优势,同时也无法解决密集无线传感器网络中充电可扩展性问题。
发明内容
本发明要解决的技术问题是提供一种基于DRL的WSN中单对多移动能量补充方法,提出一种OTMDRL高效移动能量补充方法,与简单的设置更高的充电优先级不同,OTMDRL是计算每个传感器节点的阈值,然后基于传感器阈值确定六边形区域是否发送充电请求,最后通过深度强化学习算法确定充电六边形区域。本发明特别考虑了网络中的移动无线充电智能体的能量问题,通过确保移动无线充电智能能量是否充足的步骤来确保无线充电智能体能量供应。通过在网络中合理的使用移动无线充电智能体和深度强化学习算法来提高整个无线传感器网络的生存寿命。本发明中的MC为移动无线充电智能体。
本发明采用的技术方案是:基于深度强化学习的无线传感器网络中单对多移动能量补充方法,步骤如下:
Step1:建立一个包括传感器节点,移动无线充电智能体,基站和服务站的无线传感器网络模型:在确定监测的区域内随机部署10个以上的传感器节点,按照移动无线充电智能体最大充电范围D为边长,将区域划分为若干长度的正六边形;NS表示传感器节点构成的集合,传感器节点总数为N;QS表示六边形区域的集合;六边形区域的总数为Q;表示第k个六边形区域内传感器节点的集合;Nk表示第k个六边形区域内传感器节点个数;Ei表示节点i的电池容量;REi(t)表示节点i在时间t时的电池剩余能量;ri表示节点i的能量消耗率;C表示服务池中的六边形区域集合。
初始时ni表示传感器节点i,qi表示第i个六边形区域,表示第k个六边形区域内第i个节点,基站位于二维监测平面的中心位置:基站具有足够的电能和通信能力,用于收集传感器节点和移动无线充电智能体的信息,可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力,计算能力,决策能力和通信能力的设备,它拥有远大于传感器节点最大能量的电池和无线能量传输装置,其能量可通过服务站提供,移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull,移动速度为v(m/s);服务站位于监测区域左下方,初始时,移动无线充电智能体位于服务站内,即与服务站位置相同,服务站用于为移动无线充电智能体提供能量和维护的功能。服务站,基站,移动无线充电智能体和传感器节点之间通过网络相互通信,移动无线充电智能体可以通过GPS或者其他非GPS定位的方法来实时定位;
Step2:基于避免移动无线充电智能体能量耗尽和降低传感器节点死亡率原则,设计一种称为OTMDRL的高效移动能量补充方法。该方法的工作过程是:首先在含有传感器节点的六边形区域内设置一个汇聚节点,用于统一收集六边形区域内节点感知信息和剩余能量信息,并将收集的信息发送给基站,如果六边形区域内只有一个节点,那么该节点就是汇聚节点;其次每个节点实时监测自己的能量状态,并将状态信息发送到汇聚节点,当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时,向移动无线充电智能体发送充电请求;移动无线充电智能体维护着一个服务池,它根据每个节点的剩余能量,能耗信息,地理位置,通过深度强化学习算法计算,基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则,从服务池中选择一个六边形区域进行充电;完成充电后,移动无线充电智能体更新一次服务池,如果服务池不为空,则继续以上步骤从服务池中选择下一个需要充电的六边形区域,如果为空,则返回服务站补充能量和维护;如此循环工作,以保证无线传感器网络的持续运行。
在无线传感器网络中,传感器用来感知环境,接收信息,发送信息到基站,移动无线充电智能体用来做出决策和执行任务,移动无线充电智能体是可移动单元,并配有大容量的电池,本身具有比较高的计算和通信能力,为范围内所有安装了能量接收装置的传感器节点充电,因此得出移动无线充电智能体对于移动能量补充有以下方面:一是其可以自主移动,二是其电池容量大,足够支持移动和长时间充电的能量消耗;三是移动无线传感智能体在无线传感器网络中担任重要角色,必须保证其能量的充足。
具体地,所述Step2所述的避免移动无线充电智能体能量耗尽原则指的是:确保移动无线充电智能体在执行充电任务,不会因为自身能量耗尽而无法返回服务站补充能量;降低传感器节点死亡原则指的是:在确保移动无线充电智能体有足够的能量补充情况下,通过智能体智能决策充电调度,进行对传感器节点进行高效的充电,尽可能地保证传感器节点不因能量耗尽而死亡。
具体地,所述Step2中,OTMDRL工作过程具体为:
为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充,要求每个节点周期性检查自身剩余能量REi(t),判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值,当小于时,即代表此六边形区域有充电需求,于是就发送这个六边形区域的充电请求。充电请求消息包括:六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t;传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站,六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点,汇聚节点再发送给基站,基站通过判断这个接收的信息是否为请求充电信息,决定该六边形区域是否需要充电;
对于移动无线充电智能体,存在四种状态:空闲,补充能量,移动和充电状态,初始时,移动无线充电智能体处于空闲状态,位于服务站内,即在二维平面的左下方于服务站位置相同,每经过一段相等间隔时间Δt,移动无线充电智能体就会接收充电请求,如果有六边形区域的充电请求,则将该六边形区域标识添加服务池,并通过深度强化学习算法,从服务池中选择一个六边形区域前往充电,如果没有充电请求,且服务池为空,就继续位于在服务站内处于空闲状态;移动无线充电智能体在空闲、移动、补充能量状态时,每个相等间隔时间Δt,就会接收充电请求信息,更新服务池,在一次充电完成后就立即接收充电请求信息,更新服务池,在充电状态时,则不能接收充电信息和更新服务池;
移动无线充电智能体收到充电请求信息并更新服务池后,根据深度强化学习算法从服务池确定一个前往充电的六边形区域,然后移动充电装置将其状态由空闲转换为移动状态,在到达六边形区域中心后,移动状态转换为充电状态,在充电状态时,移动无线充电智能体不接收充电请求信息,也不更新服务池,一旦六边形区域内的全部传感器节点完全充电后,就会将此六边形区域标识从服务池中删除,移动无线充电装置会再次接收充电请求更新服务池;如果服务池C不为空,移动无线充电智能体将再次通过深度强化学习算法,从服务池选择下一个需要充电的六边形区域,然后开始新的充电任务。在每次执行充电任务之前,移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量,根据能量是否充足决定是否前往充电,如果不足,则先返回服务站补充能量,到达服务站后移动无线充电智能体由移动状态转换为补充能量状态;补充完能量后,再由补充能量状态转换为空闲状态或移动状态,在补充能量状态时,无线充电智能体会接收充电请求信息并更新服务池,补充能量结束后通过深度强化学习算法,从服务池中选择一个六边形区域进行充电;本方案采用优先级方案,即优先保证移动无线充电智能体能量供应,如果深度强化学习选择出的充电六边形区域不在服务池中,则优先选择深度强化学习算法选择的六边形区域。
具体地,所述Step3中,整体步骤如下:
Step3.1首先要对监测区域进行六边形区域划分,六边形区域是正六边形,所以边长设为移动无线充电智能体的充电范围是D,于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yj为:
上式的xi和yj的最大值都应与大于二维平面横坐标和纵坐标的最大值,这样才能保证六边形区域能覆盖全部监测区域,同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点,因为六边形区域不是圆形区域,六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域;同理,六边形区域中心距离最大距离为D,所以传感器节点距离六边形区域中心长度大于D,则这个传感器节点不属于此六边形区域,对于距离六边形区域中心长度正好等于或者D的传感器节点,则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域;
Step3.2移动无线充电智能简称MC,MC从基站接收充电请求,更新服务池;六边形区域是否充电请求与六边形区域内的传感器节点阈值相关;对于单个传感器节点ni,只要在MC的充电范围内,其接收功率为:
Ui=μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率,Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离,μ(Di)为无线功率传输效率,它满足以下公式:
单个传感器节点ni的能耗率为:
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量,ρ为接收一个单元数据的能量消耗率,表示节点i在Δt时间内接收能量消耗,CiB是一个单位的数据在从节点i传输到基站B时的能耗,Cij是一个单位的数据在从节点i传输到节点j时的能耗,其表示为:
其中Dij表示节点i到节点j之间的距离,β1是数据传输所消耗的能量的常数,β2表示数据传输所消耗的能量系数,α是路径损失指数;
待充电节点的剩余能量应该满足:MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前,节点不能因能量耗尽而死亡,否则,MC不能满足传感器节点的充电需求;MC运动到节点ni所在的六边形区域qj中心的时间为:
其中,v表示MC移动速度,distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离,于是就有节点的阈值Ethred满足以下公式:
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下,或六边形区域内剩余电量的平均值低于阈值,则此六边形区域发送充电请求;
Step3.3由于六边形区域内传感器节点位置已知,MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电,所以可以提前计算MC在六边形区域中心的充电时间,对于单个传感器节点ni在t时刻所需要的充电时间timei为:
则MC在六边形区域qj内的充电时间为:
Step3.4.1MC初始阶段位于服务站中处于空闲状态,每个相同的间隔时间就从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中;
Step3.4.2MC更新服务池,服务池可以描述如下:
当服务池为空时,转到Step3.4.1,否则转到Step3.4.3;
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj;
Step3.4.4选择下一个即将前往充电的六边形区域后,MC会在前往充电之前先检查自身的能量是否足够在补充完能量后,有足够的能量返回服务站为自身补充能量,MC从当前位置移动到选择的六边形区域qj中心的能量为:
其中speedmove表示MC移动单位距离所消耗的能量,则MC到达六边形区域qj中心所花费的时间为:
则,六边形区域qj内传感器节点在MC到达时候的剩余能量为:
所以,MC为六边形区域qj内传感器节点充电所需要的能量为:
再计算从六边形区域qj中心返回服务站的能量为:
于是,从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为:
如果E小于REMC(t),则继续接下来的步骤,否者MC返回服务站,此轮充电回合结束,步骤转到Step3.4.1;
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电;
Step3.4.6如果qj在服务池中,将六边形区域qj从服务池中移除;
Step3.4.7MC从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中,转到Step3.4.2。
本发明的有益效果是:本发明通过对无线传感器网络特征分析,对移动无线充电智能体的自主移动性、智能性、长时间充电等特性,对传感器节点电量的高维数据,动态的能量变化等特征进行深入分析考虑,来保证无线传感器网络中传感器节点的低死亡率。通过深度强化学习算法,将无线传感器网络中传感器节点电量、位置等高维数据进行处理,再通过移动无线充电智能进行选择和执行任务。从多个方面深入考虑,有效地解决了无线传感器网络的能量补充问题。
总之,建立了一种基于深度强化学习的无线传感器网络中单对多移动能量补充方法,综合传感器和移动无线充电智能体的特征,考虑了移动无线充电智能体本身能量和充电调度问题。实现了对无线传感器网络的有效移动能量补充。该方法可以很好的适应移动无线充电智能体的自主移动、长时间持续充电以及传感器节点的能量的动态消耗等特征,同时降低了传感器节点的死亡问题,具有很好的拓展性。
附图说明
图1为无线传感器网络模型;
图2为状态转化图;
图3为下一充电区域示意图;
图4为充电方法流程图;
具体实施方式
为了更详细的描述本发明和便于本领域人员的理解,下面结合附图以及实施例对本发明做进一步的描述,本部分的实施例用于解释说明本发明,便于理解的目的,不以此限制本发明
实施例1:如图4所示,一种基于DRL的WSN中单对多移动能量补充方法,步骤如下:
Step1:建立一个包括传感器节点,移动无线充电智能体,基站和服务站的无线传感器网络模型:在确定监测的区域内随机部署10个以上的传感器节点,按照移动无线充电智能体最大充电范围D为边长,将区域划分为若干长度的正六边形;NS表示传感器节点构成的集合,传感器节点总数为N;QS表示六边形区域的集合;六边形区域的总数为Q;表示第k个六边形区域内传感器节点的集合;Nk表示第k个六边形区域内传感器节点个数;Ei表示节点i的电池容量;REi(t)表示节点i在时间t时的电池剩余能量;ri表示节点i的能量消耗率;C表示服务池中的六边形区域集合。
初始时ni表示传感器节点i,qi表示第i个六边形区域,表示第k个六边形区域内第i个节点,基站位于二维监测平面的中心位置:基站具有足够的电能和通信能力,用于收集传感器节点和移动无线充电智能体的信息,可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力,计算能力,决策能力和通信能力的设备,它拥有远大于传感器节点最大能量的电池和无线能量传输装置,其能量可通过服务站提供,移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull,移动速度为v(m/s);服务站位于监测区域左下方,初始时,移动无线充电智能体位于服务站内,即与服务站位置相同,服务站用于为移动无线充电智能体提供能量和维护的功能。服务站,基站,移动无线充电智能体和传感器节点可以通过网络通信,移动无线充电智能体可以通过GPS或者其他非GPS定位的方法来实时定位;
Step2:基于避免移动无线充电智能体耗尽能量和降低传感器节点死亡率原则,设计一种称为OTMDRL的高效移动能量补充方法。该方法的工作过程时:首先在含有传感器节点的六边形区域内设置一个汇聚节点,用于统一收集六边形区域内节点感知信息和剩余能量信息,并将收集的信息发送给基站,如果六边形区域内只有一个节点,那么一个节点就是汇聚节点;其次每个节点实时监测自己的能量状态,并将状态信息发送到汇聚节点,当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时,向移动无线充电智能体发送充电请求;移动无线充电智能体维护着一个服务池,它根据每个节点的剩余能量,能耗信息,地理位置,通过深度强化学习算法计算,基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则,从服务池中选择一个六边形区域进行充电;完成充电后,移动无线充电智能体更新一次服务池,如果服务池不为空,则继续以上步骤从服务池中选择下一个需要充电的六边形区域,如果为空,则返回服务站补充能量和维护;如此循环工作,以保证无线传感器网络的持续运行;
在无线传感器网络中,传感器用来感知环境,接收信息,发送信息到基站,移动无线充电智能体用来做出决策和执行任务,移动无线充电智能体是可移动单元,并配有大容量的电池,本身具有比较高的计算和通信能力,为范围内所有安装了能量接收装置的传感器节点充电,因此得出移动无线充电智能体对于移动能量补充有以下方面:一是其可以自主移动,二是其电池容量大,足够支持移动和长时间充电的能量消耗;三是移动无线传感智能体在无线传感器网络中担任重要角色,必须保证其能量的充足。
与传统网络相比,无线传感器网络有三个特征:(i)将移动无线充电智能体加入到网络中,使其能够作用并改变环境;(ii)移动无线充电智能体具有移动性,从而导致高动态的网络拓扑结构;(iii)移动无线充电智能体与传感器相比,配有更大能量的电池,可以支持移动和长时间充电等。
现有的移动能量补充方案没有考虑将深度强化学习和一对多充电结合,以达到更高的充电效率和更好的拓展性。
目前,大多数现有的移动充电方案属于离线能量补充和一对一的充电,其基于节点能耗消耗率相对恒定的情况下,可以提前设定移动充电装置的充电路径,对于预定的运动轨迹和充电机制,难以很好的适应节点能耗的动态变化,也无法范围性地为节点充电。
当六边形区域内节点低于一定阈值时,本充电方案允许六边形区域主动及时发送充电请求,这使得本方案很好地适应周围环境的不确定性所造成的动态能量消耗。然而其他的在线充电方案没用考虑网络中移动无线充电智能体的重要性,也没有体现一对多充电的优势。
进一步地,所述Step3所述的避免移动无线充电智能体能量耗尽原则指的是:确保移动无线充电智能体在执行充电任务,不会因为自身能量耗尽而无法返回服务站补充能量;降低传感器节点死亡原则指的是:在确保移动无线充电智能体有足够的能量补充情况下,通过智能体智能决策充电调度,进行对传感器节点进行高效的充电,尽可能地保证传感器节点不因能量耗尽而死亡。虽然传感器节点的重要性要低于移动无线充电智能体,但是二者都是构成无线传感器网络的重要组成部分。传感器节点的死亡将导致数据丢失、链路断开甚至网络分割,因此要尽可能地避免传感器死亡。
进一步地,所述Step2中,OTMDRL工作过程具体为:
为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充,要求每个节点周期性检查自身剩余能量REi(t),判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值,当小于时,即代表此六边形区域有充电需求,于是就发送这个六边形区域的充电请求。充电请求消息包括:六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t;传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站,六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点,汇聚节点再发送给基站,基站通过判断这个接收的信息是否为请求充电信息,决定该六边形区域是否需要充电;
对于移动无线充电智能体,存在四种状态:空闲,补充能量,移动和充电状态,初始时,移动无线充电智能体处于空闲状态,位于服务站内,即在二维平面的左下方于服务站位置相同,每经过一段相等间隔时间Δt,移动无线充电智能体就会接收充电请求,如果有六边形区域的充电请求,则将该六边形区域标识添加服务池,并通过深度强化学习算法,从服务池中选择一个六边形区域前往充电,如果没有充电请求,且服务池为空,就继续位于在服务站内处于空闲状态;移动无线充电智能体在空闲、移动、补充能量状态时,每个相等间隔时间Δt,就会接收充电请求信息,更新服务池,在一次充电完成后就立即接收充电请求信息,更新服务池,在充电状态时,则不能接收充电信息和更新服务池;
算法从服务池确定一个前往充电的六边形区域,然后移动充电装置将其状态由空闲转换为移动状态,在到达六边形区域中心后,移动状态转换为充电状态,在充电状态时,移动无线充电智能体不接收充电请求信息,也不更新服务池,一旦六边形区域内的全部传感器节点完全充电后,就会将此六边形区域标识从服务池中删除,移动无线充电装置会再次接收充电请求更新服务池;如果服务池C不为空,移动无线充电智能体将再次通过深度强化学习算法,从服务池选择下一个需要充电的六边形区域,然后开始新的充电任务。在每次执行充电任务之前,移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量,根据能量是否充足决定是否前往充电,如果不足,则先返回服务站补充能量,到达服务站后移动无线充电智能体由移动状态转换为补充能量状态;补充完能量后,再由补充能量状态转换为空闲状态或移动状态,在补充能量状态时,无线充电智能体会接收充电请求信息并更新服务池,补充能量结束后通过深度强化学习算法,从服务池中选择一个六边形区域进行充电;本方案采用优先级方案,即优先保证移动无线充电智能体能量供应,如果深度强化学习选择出的充电六边形区域不在服务池中,则优先选择深度强化学习算法选择的六边形区域。
具体地,所述Step2中,整体步骤如下:
Step3.1首先要对监测区域进行六边形区域划分,六边形区域是正六边形,所以边长设为移动无线充电智能体的充电范围是D,于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yi为:
上式的xi和yi的最大值都应与大于二维平面横坐标和纵坐标的最大值,这样才能保证六边形区域能覆盖全部监测区域,同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点,因为六边形区域不是圆形区域,六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域;同理,六边形区域中心距离最大距离为D,所以传感器节点距离六边形区域中心长度大于D,则这个传感器节点不属于此六边形区域,对于距离六边形区域中心长度正好等于或者D的传感器节点,则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域;
Step3.2移动无线充电智能简称MC,MC从基站接收充电请求,更新服务池;六边形区域是否充电请求与六边形区域内的传感器节点阈值相关;对于单个传感器节点ni,只要在MC的充电范围内,其接收功率为:
Ui=μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率,Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离,μ(Di)为无线功率传输效率,它满足以下公式:
单个传感器节点ni的能耗率为:
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量,ρ为接收一个单元数据的能量消耗率,表示节点i在Δt时间内接收能量消耗,CiB是一个单位的数据在从节点i传输到基站B时的能耗,Cij是一个单位的数据在从节点i传输到节点j时的能耗,其表示为:
其中Dij表示节点i到节点j之间的距离,β1是数据传输所消耗的能量的常数,β2表示数据传输所消耗的能量系数,α是路径损失指数;
待充电节点的剩余能量应该满足:MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前,节点不能因能量耗尽而死亡,否则,MC不能满足传感器节点的充电需求;MC运动到节点ni所在的六边形区域qj中心的时间为:
其中,v表示MC移动速度,distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离,于是就有节点的阈值Ethred满足以下公式:
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下,或六边形区域内剩余电量的平均值低于阈值,则此六边形区域发送充电请求;
Step3.3由于六边形区域内传感器节点位置已知,MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电,所以可以提前计算MC在六边形区域中心的充电时间,对于单个传感器节点ni在t时刻所需要的充电时间timei为:
则MC在六边形区域qj内的充电时间为:
Step3.4.1MC初始阶段位于服务站中处于空闲状态,每个相同的间隔时间就从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中;
Step3.4.2MC更新服务池,服务池可以描述如下:
当服务池为空时,转到Step3.4.1,否则转到Step3.4.3;
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj;
Step3.4.4选择下一个即将前往充电的六边形区域后,MC会在前往充电之前先检查自身的能量是否足够在补充完能量后,有足够的能量返回服务站为自身补充能量,MC从当前位置移动到选择的六边形区域中心的能量为:
其中speedmove表示MC移动单位距离所消耗的能量,则MC到达六边形区域qj中心所花费的时间为:
则,六边形区域qj内传感器节点在MC到达时候的剩余能量为:
所以,MC为六边形区域qj内传感器节点充电所需要的能量为:
再计算从六边形区域qj中心返回服务站的能量为:
于是,从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为:
如果E小于REMC(t),则继续接下来的步骤,否者MC返回服务站,此轮充电回合结束,步骤转到Step3.4.1;
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电;
Step3.4.6如果qj在服务池中,将六边形区域qj从服务池中移除;
Step3.4.7MC从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中,转到Step3.4.2。
下面结合附图和具体例子对下一充电六边形区域的选择进行具体的描述:
为了方便描述,移动无线充电智能体简称为MC。如图1所示,无线传感器网络被等边的正六边形划分为若干个区域,每个六边形区域内有若干个传感器节点,基站位于监测区域的中心,服务站位于监测区域的左下,初始时,MC位于服务站内,即MC位置与服务站位置相同。
Step3.1首先要对监测区域进行六边形区域划分,六边形区域是正六边形,所以边长设为移动无线充电智能体的充电范围是D,于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yj为:
上式的xi和yi的最大值都应与大于二维平面横坐标和纵坐标的最大值,这样才能保证六边形区域能覆盖全部监测区域,同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点,因为六边形区域不是圆形区域,六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域;同理,六边形区域中心距离最大距离为D,所以传感器节点距离六边形区域中心长度大于D,则这个传感器节点不属于此六边形区域,对于距离六边形区域中心长度正好等于或者D的传感器节点,则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域;
Step3.2移动无线充电智能简称MC,MC从基站接收充电请求,更新服务池;六边形区域是否充电请求与六边形区域内的传感器节点阈值相关;对于单个传感器节点ni,只要在MC的充电范围内,其接收功率为:
Ui=μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率,Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离,μ(Di)为无线功率传输效率,它满足以下公式:
单个传感器节点ni的能耗率为:
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量,ρ为接收一个单元数据的能量消耗率,表示节点i在Δt时间内接收能量消耗,CiB是一个单位的数据在从节点i传输到基站B时的能耗,Cij是一个单位的数据在从节点i传输到节点j时的能耗,其表示为:
其中Dij表示节点i到节点j之间的距离,β1是数据传输所消耗的能量的常数,β2表示数据传输所消耗的能量系数,α是路径损失指数;
待充电节点的剩余能量应该满足:MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前,节点不能因能量耗尽而死亡,否则,MC不能满足传感器节点的充电需求;MC运动到节点ni所在的六边形区域qj中心的时间为:
其中,v表示MC移动速度,distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离,于是就有节点的阈值Ethred满足以下公式:
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下,或六边形区域内剩余电量的平均值低于阈值,则此六边形区域发送充电请求;
Step3.3由于六边形区域内传感器节点位置已知,MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电,所以可以提前计算MC在六边形区域中心的充电时间,对于单个传感器节点ni在t时刻所需要的充电时间timei为:
则MC在六边形区域qj内的充电时间为:
Step3.4.1MC初始阶段位于服务站中处于空闲状态,每个相同的间隔时间就从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中;
Step3.4.2MC更新服务池,服务池可以描述如下:
当服务池为空时,转到Step3.4.1,否则转到Step3.4.3;
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj;
Step3.4.4选择下一个即将前往充电的六边形区域后,MC会在前往充电之前先检查自身的能量是否足够在补充完能量后,有足够的能量返回服务站为自身补充能量,MC从当前位置移动到选择的六边形区域中心的能量为:
其中speedmove表示MC移动单位距离所消耗的能量,则MC到达六边形区域qj中心所花费的时间为:
则,六边形区域qj内传感器节点在MC到达时候的剩余能量为:
所以,MC为六边形区域qj内传感器节点充电所需要的能量为:
再计算从六边形区域qj中心返回服务站的能量为:
于是,从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为:
如果E小于REMC(t),则继续接下来的步骤,否者MC返回服务站,此轮充电回合结束,步骤转到Step3.4.1;
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电;
Step3.4.6如果qj在服务池中,将六边形区域qj从服务池中移除;
Step3.4.7MC从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中,转到Step3.4.2。
例如图3,图中六边形区域内的数字代表六边形标识,如1代表六边形区域q1。MC在服务站时初始阶段T0,MC接收带六边形区域q1,q2,q3,q8的充电请求,并将其标识放入服务池中,更新服务池;此时服务池的六边形区域标识为{q1,q2,q3,q8},通过深度强化学习算法,MC决定前往六边形区域q1进行充电,MC在六边形区域q1充完电后,就将六边形区域q1标识移除服务池;此时进入阶段T1,MC的服务池为{q2,q3,q8},同样的,MC前往六边形区域q2,q3进行充电,充电完成后,进入步骤T3,此时MC的收到了六边形区域q5的充电请求,于是就更新服务池,此时MC的服务池为{q5,q8}。然后,MC通过深度强化学习选择的下一充电六边形区域是q6,尽管此六边形区域不在服务池中,但是根据深度强化学习选择的六边形区域优先级高的原则,所以,MC前往六边形区域q6进行充电,通过完成后,MC本应前往六边形区域q4进行充电,但是经过Step3.4.4得出MC前往充电后将无法有足够的能量返回服务站补充能量,由于避免MC能量耗尽原则,MC将返回服务站补充能量,此轮充电结束,MC补充完能量后再继续进行充电任务。
以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方案,在本领域普通技术人员具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (4)
1.一种基于DRL的WSN中单对多移动能量补充方法,其特征在于:步骤如下:
Step1:建立一个包括传感器节点,移动无线充电智能体,基站和服务站的无线传感器网络模型:在确定监测的区域内随机部署10个以上的传感器节点,按照移动无线充电智能体最大充电范围D为边长,将区域划分为若干长度的正六边形;NS表示传感器节点构成的集合,传感器节点总数为N;QS表示六边形区域的集合;六边形区域的总数为Q;表示第k个六边形区域内传感器节点的集合;Nk表示第k个六边形区域内传感器节点个数;Ei表示节点i的电池容量;REi(t)表示节点i在时间t时的电池剩余能量;ri表示节点i的能量消耗率;C表示服务池中的六边形区域集合;
初始时ni表示传感器节点i,qi表示第i个六边形区域,表示第k个六边形区域内第i个节点,基站位于二维监测平面的中心位置,移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull,移动速度为v(m/s);服务站位于监测区域左下方,初始时,移动无线充电智能体位于服务站内,即与服务站位置相同,服务站,基站,移动无线充电智能体和传感器节点之间通过网络相互通信,移动无线充电智能体能够实时定位;
Step2:基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则,设计一种称为OTMDRL的高效移动能量补充方法,该方法的工作过程是:首先在含有传感器节点的六边形区域内设置一个汇聚节点,用于统一收集六边形区域内节点感知信息和剩余能量信息,并将收集的信息发送给基站,如果六边形区域内只有一个节点,那么该节点就是汇聚节点;其次每个节点实时监测自己的能量状态,并将状态信息发送到汇聚节点,当汇聚节点计算六边形区域内所有节点全部剩余能量低于预先设定的阈值时,向移动无线充电智能体发送充电请求;移动无线充电智能体维护着一个服务池,它根据每个节点的剩余能量,能耗信息,地理位置,通过深度强化学习算法计算,基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则,从服务池中选择一个六边形区域进行充电;完成充电后,移动无线充电智能体更新一次服务池,如果服务池不为空,则继续以上步骤从服务池中选择下一个需要充电的六边形区域,如果为空,则返回服务站补充能量和维护;如此循环工作,以保证无线传感器网络的持续运行。
2.根据权利要求1所述的基于DRL的WSN中单对多移动能量补充方法,其特征在于:所述Step2中,避免移动无线充电智能体能量耗尽原则指的是:确保移动无线充电智能体在执行充电任务,不会因为自身能量耗尽而无法返回服务站补充能量;降低传感器节点死亡率原则指的是:在确保移动无线充电智能体有足够的能量补充情况下,通过智能体智能决策充电调度,进行对传感器节点进行高效的充电,保证传感器节点不因能量耗尽而死亡。
3.根据权利要求1所述的基于DRL的WSN中单对多移动能量补充方法,其特征在于:所述Step2中,OTMDRL的具体工作过程为:
每个节点周期性检查自身剩余能量REi(t),判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值,当小于时,即代表此六边形区域有充电需求,于是就发送这个六边形区域的充电请求,充电请求消息包括:六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t;传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站,六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点,汇聚节点再发送给基站,基站通过判断这个接收的信息是否为请求充电信息,决定该六边形区域是否需要充电;
对于移动无线充电智能体,存在四种状态:空闲,补充能量,移动和充电状态,初始时,移动无线充电智能体处于空闲状态,位于服务站内,即在二维平面的左下方于服务站位置相同,每经过一段相等间隔时间Δt,移动无线充电智能体就会接收充电请求,如果有六边形区域的充电请求,则将该六边形区域标识添加服务池,并通过深度强化学习算法,从服务池中选择一个六边形区域前往充电,如果没有充电请求,且服务池为空,就继续位于在服务站内处于空闲状态;移动无线充电智能体在空闲、移动、补充能量状态时,每个相等间隔时间Δt,就会接收充电请求信息,更新服务池,在一次充电完成后就立即接收充电请求信息,更新服务池,在充电状态时,则不能接收充电信息和更新服务池;
移动无线充电智能体收到充电请求信息并更新服务池后,根据深度强化学习算法从服务池确定一个前往充电的六边形区域,然后移动充电装置将其状态由空闲转换为移动状态,在到达六边形区域中心后,移动状态转换为充电状态,在充电状态时,移动无线充电智能体不接收充电请求信息,也不更新服务池,一旦六边形区域内的全部传感器节点完全充电后,就会将此六边形区域标识从服务池中删除,移动无线充电装置会再次接收充电请求更新服务池;如果服务池C不为空,移动无线充电智能体将再次通过深度强化学习算法,从服务池选择下一个需要充电的六边形区域,然后开始新的充电任务,在每次执行充电任务之前,移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量,根据能量是否充足决定是否前往充电,如果不足,则先返回服务站补充能量,到达服务站后移动无线充电智能体由移动状态转换为补充能量状态;补充完能量后,再由补充能量状态转换为空闲状态或移动状态,在补充能量状态时,无线充电智能体会接收充电请求信息并更新服务池,补充能量结束后通过深度强化学习算法,从服务池中选择一个六边形区域进行充电;采用优先级方案,即优先保证移动无线充电智能体能量供应,如果深度强化学习选择出的充电六边形区域不在服务池中,则优先选择深度强化学习算法选择的六边形区域。
4.根据权利要求1或3所述的基于DRL的WSN中单对多移动能量补充方法,其特征在于:所述Step2,整体步骤如下:
Step3.1首先要对监测区域进行六边形区域划分,六边形区域是正六边形,所以边长设为移动无线充电智能体的充电范围是D,于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yj为:
上式的xi和yi的最大值都应大于二维平面横坐标和纵坐标的最大值,这样才能保证六边形区域能覆盖全部监测区域,同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量,然后要判断区域内有哪些传感器节点,因为六边形区域不是圆形区域,六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域;同理,六边形区域中心距离最大距离为D,所以传感器节点距离六边形区域中心长度大于D,则这个传感器节点不属于此六边形区域,对于距离六边形区域中心长度正好等于或者D的传感器节点,则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域;
Step3.2移动无线充电智能简称MC,MC从基站接收充电请求,更新服务池;六边形区域是否充电请求与六边形区域内的传感器节点阈值相关;对于单个传感器节点ni,只要在MC的充电范围内,其接收功率为:
Ui=μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率,Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离,μ(Di)为无线功率传输效率,它满足以下公式:
单个传感器节点ni的能耗率为:
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量,ρ为接收一个单元数据的能量消耗率,表示节点i在Δt时间内接收能量消耗,CiB是一个单位的数据在从节点i传输到基站B时的能耗,Cij是一个单位的数据在从节点i传输到节点j时的能耗,其表示为:
其中Dij表示节点i到节点j之间的距离,β1是数据传输所消耗的能量的常数,β2表示数据传输所消耗的能量系数,α是路径损失指数;
待充电节点的剩余能量应该满足:MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前,节点不能因能量耗尽而死亡,否则,MC不能满足传感器节点的充电需求;MC运动到节点ni所在的六边形区域qj中心的时间为:
其中,v表示MC移动速度,distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离,于是就有节点的阈值Ethred满足以下公式:
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下,或六边形区域内剩余电量的平均值低于阈值,则此六边形区域发送充电请求;
Step3.3由于六边形区域内传感器节点位置已知,MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电,所以可以提前计算MC在六边形区域中心的充电时间,对于单个传感器节点ni在t时刻所需要的充电时间timei为:
则MC在六边形区域qj内的充电时间为:
Step3.4.1 MC初始阶段位于服务站中处于空闲状态,每个相同的间隔时间就从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中;
Step3.4.2 MC更新服务池,服务池可以描述如下:
当服务池为空时,转到Step3.4.1,否则转到Step3.4.3;
Step3.4.3 MC通过深度强化学习算法选择下一个前往充电的六边形区域qj;
Step3.4.4选择下一个即将前往充电的六边形区域后,MC会在前往充电之前先检查自身的能量是否足够在补充完能量后,有足够的能量返回服务站为自身补充能量,MC从当前位置移动到选择的六边形区域qj中心的能量为:
其中speedmove表示MC移动单位距离所消耗的能量,则MC到达六边形区域qj中心所花费的时间为:
则,六边形区域qj内传感器节点在MC到达时候的剩余能量为:
所以,MC为六边形区域qj内传感器节点充电所需要的能量为:
再计算从六边形区域qj中心返回服务站的能量为:
于是,从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为:
如果E小于REMC(t),则转到Step3.4.5,否者MC返回服务站,此轮充电回合结束,步骤转到Step3.4.1;
Step3.4.5 MC前往选择的六边形区域qj为其内部的传感器节点充电;
Step3.4.6如果qj在服务池中,将六边形区域qj从服务池中移除;
Step3.4.7 MC从基站中接收充电请求信息,并将发送请求充电信息的六边形区域标识放入服务池中,转到Step3.4.2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147925.5A CN113891238B (zh) | 2021-09-29 | 2021-09-29 | 一种基于drl的wsn中单对多移动能量补充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147925.5A CN113891238B (zh) | 2021-09-29 | 2021-09-29 | 一种基于drl的wsn中单对多移动能量补充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113891238A CN113891238A (zh) | 2022-01-04 |
CN113891238B true CN113891238B (zh) | 2022-10-14 |
Family
ID=79007788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111147925.5A Active CN113891238B (zh) | 2021-09-29 | 2021-09-29 | 一种基于drl的wsn中单对多移动能量补充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113891238B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278704B (zh) * | 2022-07-31 | 2024-01-12 | 昆明理工大学 | 基于drl的无线传感器网络中单对多充电驻点规划方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107708086A (zh) * | 2017-08-16 | 2018-02-16 | 昆明理工大学 | 一种无线传感器和执行器网络的移动能量补充方法 |
WO2018209571A1 (en) * | 2017-05-16 | 2018-11-22 | Bayerische Motoren Werke Aktiengesellschaft | Smart charging scheduling apparatus and method for electric vehicle |
CN111523722A (zh) * | 2020-04-20 | 2020-08-11 | 武汉大学 | 一种基于深度强化学习的智能充电站优化选择系统 |
CN112738752A (zh) * | 2020-12-24 | 2021-04-30 | 昆明理工大学 | 一种基于强化学习的wrsn多移动充电器优化调度方法 |
-
2021
- 2021-09-29 CN CN202111147925.5A patent/CN113891238B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018209571A1 (en) * | 2017-05-16 | 2018-11-22 | Bayerische Motoren Werke Aktiengesellschaft | Smart charging scheduling apparatus and method for electric vehicle |
CN107708086A (zh) * | 2017-08-16 | 2018-02-16 | 昆明理工大学 | 一种无线传感器和执行器网络的移动能量补充方法 |
CN111523722A (zh) * | 2020-04-20 | 2020-08-11 | 武汉大学 | 一种基于深度强化学习的智能充电站优化选择系统 |
CN112738752A (zh) * | 2020-12-24 | 2021-04-30 | 昆明理工大学 | 一种基于强化学习的wrsn多移动充电器优化调度方法 |
Non-Patent Citations (2)
Title |
---|
On Renewable Sensor Networks with Wireless Energy Transfer: The Multi-Node Case;Liguang Xie;《2012 9th Annual IEEE Communications Society Conference on Sensor, Mesh and Ad Hoc Communications and Networks》;20121231;10-18 * |
一对多充电方式下WRSN 移动充电器驻点选择策略;潘琪;《传感技术学报》;20201031;1503-1508 * |
Also Published As
Publication number | Publication date |
---|---|
CN113891238A (zh) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vijayashree et al. | Energy efficient data collection with multiple mobile sink using artificial bee colony algorithm in large-scale WSN | |
Hani et al. | A Survey on LEACH-Based Energy Aware Protocols for Wireless Sensor Networks. | |
Al-Janabi et al. | A centralized routing protocol with a scheduled mobile sink-based AI for large scale I-IoT | |
CN109451556B (zh) | 基于uav对无线传感网充电的方法 | |
Qu et al. | An energy-efficient dynamic clustering protocol for event monitoring in large-scale WSN | |
CN107708086B (zh) | 一种无线传感器和执行器网络的移动能量补充方法 | |
CN113891238B (zh) | 一种基于drl的wsn中单对多移动能量补充方法 | |
CN111787500B (zh) | 一种基于能量优先的移动充电车辆多目标充电调度方法 | |
Bensaid et al. | Fuzzy C-means based clustering algorithm in WSNs for IoT applications | |
Tsoumanis et al. | Energy-efficient sink placement in wireless sensor networks | |
Chelbi et al. | A new hybrid routing protocol for wireless sensor networks | |
Karabekir et al. | Energy-Efficient Clustering-Based Mobile Routing Algorithm For Wireless Sensor Networks. | |
Romaniuk et al. | Synthesis of data collection methods by telecommunication airplatforms in wireless sensors networks | |
CN112654001B (zh) | 面向多无人艇协同控制的混合通信网络架构、管理方法及通信质量评价 | |
CN107182100B (zh) | 用于无线传感器网络的移动代理的路由方法 | |
CN110049500B (zh) | 基于模拟退火算法的无线可充电传感网中uav能量补偿方法 | |
Satyanarayana et al. | Implementation of Improved Energy Balanced Routing Protocol to Enlarge Energy Efficiency in MANET for IoT Applications | |
Chen et al. | The combined strategy of energy replenishment and data collection in heterogenous wireless rechargeable sensor networks | |
CN108199873B (zh) | 节点拓扑控制方法和节点拓扑控制系统 | |
CN107800542A (zh) | 一种基于虚拟力的无线传感器网络移动能量补充方法 | |
Messai et al. | Energy-efficient data collection in grid-based Wireless Sensor Networks using a mobile sink | |
KR102241029B1 (ko) | 무선 센서 네트워크에서 병합 노드 결정 방법 및 그 장치 | |
KR102239797B1 (ko) | 무선 센서 네트워크에서 병합 노드 결정 방법 및 그 장치 | |
Fan et al. | Exploiting an unmanned aerial vehicle for energy efficient data collection in wireless sensor networks | |
Soni et al. | An Efficient Digital Cluster Scheme to Improve the Lifetime Ratio of Wireless Sensor Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |