CN113891238A - 一种基于drl的wsn中单对多移动能量补充方法 - Google Patents

一种基于drl的wsn中单对多移动能量补充方法 Download PDF

Info

Publication number
CN113891238A
CN113891238A CN202111147925.5A CN202111147925A CN113891238A CN 113891238 A CN113891238 A CN 113891238A CN 202111147925 A CN202111147925 A CN 202111147925A CN 113891238 A CN113891238 A CN 113891238A
Authority
CN
China
Prior art keywords
charging
energy
hexagonal
node
hexagonal area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111147925.5A
Other languages
English (en)
Other versions
CN113891238B (zh
Inventor
冯勇
龚政
李英娜
钱谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202111147925.5A priority Critical patent/CN113891238B/zh
Publication of CN113891238A publication Critical patent/CN113891238A/zh
Application granted granted Critical
Publication of CN113891238B publication Critical patent/CN113891238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J50/00—Circuit arrangements or systems for wireless supply or distribution of electric power
    • H02J50/80—Circuit arrangements or systems for wireless supply or distribution of electric power involving the exchange of data, concerning supply or distribution of electric power, between transmitting devices and receiving devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/10—Current supply arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于DRL的WSN中单对多移动能量补充方法，属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。目前无线传感器网络工作仅仅考虑了基于深度强化学习的无线传感器网络中单对单的移动能量补充，而面对移动无线充电智能体的单对多充电尚未考虑。本发明通过利用了深度强化学习对于高维数据的适应性和单无线充电智能对多传感器节点充电的高充电效率优势，很好地适应了无线传感器网络中无线充电智能体的移动，充电时间和突发事件导致的高动态能量消耗特征，能够确保其能量供应，同时尽可能减少传感器节点的死亡，维护整个无线传感器网络的长期持续运行。

Description

一种基于DRL的WSN中单对多移动能量补充方法
技术领域
本发明涉及一种基于DRL的WSN中单对多移动能量补充方法，属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。
背景技术
无线传感器网络由随机部署到传感器节点、服务站、基站、移动无线充电智能体构成。其中，传感器节点是具有低成本、低功耗并具备感知、接收发送信息和无线通讯能力的优点，可以感知周围环境中的热、红外、火灾和地震等信号，可以探测环境的温度、湿度、噪声、光照强度以及土壤成分等。移动充电智能体有更强的通信和数据处理能力，同时还具有自主移动的能力，计算能力和通信能力，可以基于网络中所发生的事件做出决策并自主地完成任务。基站具有足够的能量和通信能力，与移动无线充电智能体和传感器节点直接进行消息数据的传输。无线传感器网络具有自组织性，动态性优点，目前在军事，工业，环境监测和医疗卫生方面有很好的使用前景，已经引起了国家、科学界和工业界的广泛关注和重视。
无线传感器网络的主要目标是感知环境并提高通信实时性，通过传感器节点之间的网络可以及时地传递消息，达到通信的实时性。传感器节点还可以对事件快速做出反应，如火灾、龙卷风、地震等事件可以及时得到处理，可以将灾难发生造成的损失降到最低，维护和保护国家的财产和人民的生命财产安全。因此实时性尤为重要。
LiguangXie等人于2015年在IEEE TRANSACTIONS ON NETWORKING发表的“Multi-Node Wireless Energy Charging in Sensor Networks”首先基于传统方法实现在无线传感器网络中单对多的移动能量补充。文中利用多节点无线能量传输技术的最新进展，为无线传感器网络中传感器节点的电池充电。文中的方法是开发一个形式化的优化方法，通过联合优化每个六边形区域的移动路径、流量路由和充电时间。通过采用离散化和一种新的公式线性化技术，研究了一个可证明的近似最优解以达到任意期望的精度水平。利用数值结果，文中展示了多节点无线能量传输技术的优势，并说明了它如何解决密集无线传感器网络中的充电可扩展性问题。
从出版的文献中，尚无利用深度强化学习算法和单对多的无线充电技术来解决无线传感器网络的能量短缺问题。现有的利用深度强化学习来解决无线传感其网络能量短缺问题都是针对单对单充电，或者多对单充电，因此这些方案无法有效的发挥无线充电技术中的单对多充电的高效率优势，同时也无法解决密集无线传感器网络中充电可扩展性问题。
发明内容
本发明要解决的技术问题是提供一种基于DRL的WSN中单对多移动能量补充方法，提出一种OTMDRL高效移动能量补充方法，与简单的设置更高的充电优先级不同，OTMDRL是计算每个传感器节点的阈值，然后基于传感器阈值确定六边形区域是否发送充电请求，最后通过深度强化学习算法确定充电六边形区域。本发明特别考虑了网络中的移动无线充电智能体的能量问题，通过确保移动无线充电智能能量是否充足的步骤来确保无线充电智能体能量供应。通过在网络中合理的使用移动无线充电智能体和深度强化学习算法来提高整个无线传感器网络的生存寿命。本发明中的MC为移动无线充电智能体。
本发明采用的技术方案是：基于深度强化学习的无线传感器网络中单对多移动能量补充方法，步骤如下：
Step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，按照移动无线充电智能体最大充电范围D为边长，将区域划分为若干长度的正六边形；NS表示传感器节点构成的集合，传感器节点总数为N；QS表示六边形区域的集合；六边形区域的总数为Q；
Figure BDA0003286107810000021
表示第k个六边形区域内传感器节点的集合；Nk表示第k个六边形区域内传感器节点个数；Ei表示节点i的电池容量；REi(t)表示节点i在时间t时的电池剩余能量；ri表示节点i的能量消耗率；C表示服务池中的六边形区域集合。
初始时ni表示传感器节点i，qi表示第i个六边形区域，
Figure BDA0003286107810000022
表示第k个六边形区域内第i个节点，基站位于二维监测平面的中心位置：基站具有足够的电能和通信能力，用于收集传感器节点和移动无线充电智能体的信息，可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力，计算能力，决策能力和通信能力的设备，它拥有远大于传感器节点最大能量的电池和无线能量传输装置，其能量可通过服务站提供，移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull，移动速度为v(m/s)；服务站位于监测区域左下方，初始时，移动无线充电智能体位于服务站内，即与服务站位置相同，服务站用于为移动无线充电智能体提供能量和维护的功能。服务站，基站，移动无线充电智能体和传感器节点之间通过网络相互通信，移动无线充电智能体可以通过GPS或者其他非GPS定位的方法来实时定位；
Step2：基于避免移动无线充电智能体能量耗尽和降低传感器节点死亡率原则，设计一种称为OTMDRL的高效移动能量补充方法。该方法的工作过程是：首先在含有传感器节点的六边形区域内设置一个汇聚节点，用于统一收集六边形区域内节点感知信息和剩余能量信息，并将收集的信息发送给基站，如果六边形区域内只有一个节点，那么该节点就是汇聚节点；其次每个节点实时监测自己的能量状态，并将状态信息发送到汇聚节点，当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时，向移动无线充电智能体发送充电请求；移动无线充电智能体维护着一个服务池，它根据每个节点的剩余能量，能耗信息，地理位置，通过深度强化学习算法计算，基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，从服务池中选择一个六边形区域进行充电；完成充电后，移动无线充电智能体更新一次服务池，如果服务池不为空，则继续以上步骤从服务池中选择下一个需要充电的六边形区域，如果为空，则返回服务站补充能量和维护；如此循环工作，以保证无线传感器网络的持续运行。
在无线传感器网络中，传感器用来感知环境，接收信息，发送信息到基站，移动无线充电智能体用来做出决策和执行任务，移动无线充电智能体是可移动单元，并配有大容量的电池，本身具有比较高的计算和通信能力，为范围内所有安装了能量接收装置的传感器节点充电，因此得出移动无线充电智能体对于移动能量补充有以下方面：一是其可以自主移动，二是其电池容量大，足够支持移动和长时间充电的能量消耗；三是移动无线传感智能体在无线传感器网络中担任重要角色，必须保证其能量的充足。
具体地，所述Step2所述的避免移动无线充电智能体能量耗尽原则指的是：确保移动无线充电智能体在执行充电任务，不会因为自身能量耗尽而无法返回服务站补充能量；降低传感器节点死亡原则指的是：在确保移动无线充电智能体有足够的能量补充情况下，通过智能体智能决策充电调度，进行对传感器节点进行高效的充电，尽可能地保证传感器节点不因能量耗尽而死亡。
具体地，所述Step2中，OTMDRL工作过程具体为：
为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充，要求每个节点周期性检查自身剩余能量REi(t)，判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值，当小于时，即代表此六边形区域有充电需求，于是就发送这个六边形区域的充电请求。充电请求消息包括：六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t；传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站，六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点，汇聚节点再发送给基站，基站通过判断这个接收的信息是否为请求充电信息，决定该六边形区域是否需要充电；
对于移动无线充电智能体，存在四种状态：空闲，补充能量，移动和充电状态，初始时，移动无线充电智能体处于空闲状态，位于服务站内，即在二维平面的左下方于服务站位置相同，每经过一段相等间隔时间Δt，移动无线充电智能体就会接收充电请求，如果有六边形区域的充电请求，则将该六边形区域标识添加服务池，并通过深度强化学习算法，从服务池中选择一个六边形区域前往充电，如果没有充电请求，且服务池为空，就继续位于在服务站内处于空闲状态；移动无线充电智能体在空闲、移动、补充能量状态时，每个相等间隔时间Δt，就会接收充电请求信息，更新服务池，在一次充电完成后就立即接收充电请求信息，更新服务池，在充电状态时，则不能接收充电信息和更新服务池；
移动无线充电智能体收到充电请求信息并更新服务池后，根据深度强化学习算法从服务池确定一个前往充电的六边形区域，然后移动充电装置将其状态由空闲转换为移动状态，在到达六边形区域中心后，移动状态转换为充电状态，在充电状态时，移动无线充电智能体不接收充电请求信息，也不更新服务池，一旦六边形区域内的全部传感器节点完全充电后，就会将此六边形区域标识从服务池中删除，移动无线充电装置会再次接收充电请求更新服务池；如果服务池C不为空，移动无线充电智能体将再次通过深度强化学习算法，从服务池选择下一个需要充电的六边形区域，然后开始新的充电任务。在每次执行充电任务之前，移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量，根据能量是否充足决定是否前往充电，如果不足，则先返回服务站补充能量，到达服务站后移动无线充电智能体由移动状态转换为补充能量状态；补充完能量后，再由补充能量状态转换为空闲状态或移动状态，在补充能量状态时，无线充电智能体会接收充电请求信息并更新服务池，补充能量结束后通过深度强化学习算法，从服务池中选择一个六边形区域进行充电；本方案采用优先级方案，即优先保证移动无线充电智能体能量供应，如果深度强化学习选择出的充电六边形区域不在服务池中，则优先选择深度强化学习算法选择的六边形区域。
具体地，所述Step3中，整体步骤如下：
Step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是D，于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yj为：
Figure BDA0003286107810000051
上式的xi和yj的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为
Figure BDA0003286107810000052
所以传感器节点距离一个六边形区域中心长度小于
Figure BDA0003286107810000053
则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为D，所以传感器节点距离六边形区域中心长度大于D，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于
Figure BDA0003286107810000054
或者D的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
Step3.2移动无线充电智能简称MC，MC从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点ni，只要在MC的充电范围内，其接收功率为：
Ui＝μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率，Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离，μ(Di)为无线功率传输效率,它满足以下公式：
Figure BDA0003286107810000061
单个传感器节点ni的能耗率为：
Figure BDA0003286107810000062
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量，ρ为接收一个单元数据的能量消耗率，
Figure BDA0003286107810000063
表示节点i在Δt时间内接收能量消耗，CiB是一个单位的数据在从节点i传输到基站B时的能耗，Cij是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
Figure BDA0003286107810000064
其中Dij表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
待充电节点的剩余能量应该满足：MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，MC不能满足传感器节点的充电需求；MC运动到节点ni所在的六边形区域qj中心的时间为：
Figure BDA0003286107810000065
其中,v表示MC移动速度，distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离，于是就有节点的阈值Ethred满足以下公式：
Figure BDA0003286107810000066
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
Step3.3由于六边形区域内传感器节点位置已知，MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算MC在六边形区域中心的充电时间，对于单个传感器节点ni在t时刻所需要的充电时间timei为：
Figure BDA0003286107810000067
Figure BDA0003286107810000071
则MC在六边形区域qj内的充电时间为：
Figure BDA0003286107810000072
Step3.4.1MC初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
Step3.4.2MC更新服务池，服务池可以描述如下：
Figure BDA0003286107810000073
当服务池为空时，转到Step3.4.1，否则转到Step3.4.3；
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj；
Step3.4.4选择下一个即将前往充电的六边形区域后，MC会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，MC从当前位置移动到选择的六边形区域qj中心的能量为：
Figure BDA0003286107810000076
其中speedmove表示MC移动单位距离所消耗的能量，则MC到达六边形区域qj中心所花费的时间为：
Figure BDA0003286107810000074
则，六边形区域qj内传感器节点在MC到达时候的剩余能量为：
Figure BDA0003286107810000075
所以，MC为六边形区域qj内传感器节点充电所需要的能量为：
Figure BDA0003286107810000081
再计算从六边形区域qj中心返回服务站的能量为：
Figure BDA0003286107810000082
于是，从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
Figure BDA0003286107810000083
如果E小于REMC(t),则继续接下来的步骤，否者MC返回服务站，此轮充电回合结束，步骤转到Step3.4.1；
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电；
Step3.4.6如果qj在服务池中，将六边形区域qj从服务池中移除；
Step3.4.7MC从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到Step3.4.2。
本发明的有益效果是：本发明通过对无线传感器网络特征分析，对移动无线充电智能体的自主移动性、智能性、长时间充电等特性，对传感器节点电量的高维数据，动态的能量变化等特征进行深入分析考虑，来保证无线传感器网络中传感器节点的低死亡率。通过深度强化学习算法，将无线传感器网络中传感器节点电量、位置等高维数据进行处理，再通过移动无线充电智能进行选择和执行任务。从多个方面深入考虑，有效地解决了无线传感器网络的能量补充问题。
总之，建立了一种基于深度强化学习的无线传感器网络中单对多移动能量补充方法，综合传感器和移动无线充电智能体的特征，考虑了移动无线充电智能体本身能量和充电调度问题。实现了对无线传感器网络的有效移动能量补充。该方法可以很好的适应移动无线充电智能体的自主移动、长时间持续充电以及传感器节点的能量的动态消耗等特征，同时降低了传感器节点的死亡问题，具有很好的拓展性。
附图说明
图1为无线传感器网络模型；
图2为状态转化图；
图3为下一充电区域示意图；
图4为充电方法流程图；
具体实施方式
为了更详细的描述本发明和便于本领域人员的理解，下面结合附图以及实施例对本发明做进一步的描述，本部分的实施例用于解释说明本发明，便于理解的目的，不以此限制本发明
实施例1：如图4所示，一种基于DRL的WSN中单对多移动能量补充方法，步骤如下：
Step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，按照移动无线充电智能体最大充电范围D为边长，将区域划分为若干长度的正六边形；NS表示传感器节点构成的集合，传感器节点总数为N；QS表示六边形区域的集合；六边形区域的总数为Q；
Figure BDA0003286107810000091
表示第k个六边形区域内传感器节点的集合；Nk表示第k个六边形区域内传感器节点个数；Ei表示节点i的电池容量；REi(t)表示节点i在时间t时的电池剩余能量；ri表示节点i的能量消耗率；C表示服务池中的六边形区域集合。
初始时ni表示传感器节点i，qi表示第i个六边形区域，
Figure BDA0003286107810000092
表示第k个六边形区域内第i个节点，基站位于二维监测平面的中心位置：基站具有足够的电能和通信能力，用于收集传感器节点和移动无线充电智能体的信息，可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力，计算能力，决策能力和通信能力的设备，它拥有远大于传感器节点最大能量的电池和无线能量传输装置，其能量可通过服务站提供，移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull，移动速度为v(m/s)；服务站位于监测区域左下方，初始时，移动无线充电智能体位于服务站内，即与服务站位置相同，服务站用于为移动无线充电智能体提供能量和维护的功能。服务站，基站，移动无线充电智能体和传感器节点可以通过网络通信，移动无线充电智能体可以通过GPS或者其他非GPS定位的方法来实时定位；
Step2：基于避免移动无线充电智能体耗尽能量和降低传感器节点死亡率原则，设计一种称为OTMDRL的高效移动能量补充方法。该方法的工作过程时：首先在含有传感器节点的六边形区域内设置一个汇聚节点，用于统一收集六边形区域内节点感知信息和剩余能量信息，并将收集的信息发送给基站，如果六边形区域内只有一个节点，那么一个节点就是汇聚节点；其次每个节点实时监测自己的能量状态，并将状态信息发送到汇聚节点，当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时，向移动无线充电智能体发送充电请求；移动无线充电智能体维护着一个服务池，它根据每个节点的剩余能量，能耗信息，地理位置，通过深度强化学习算法计算，基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，从服务池中选择一个六边形区域进行充电；完成充电后，移动无线充电智能体更新一次服务池，如果服务池不为空，则继续以上步骤从服务池中选择下一个需要充电的六边形区域，如果为空，则返回服务站补充能量和维护；如此循环工作，以保证无线传感器网络的持续运行；
在无线传感器网络中，传感器用来感知环境，接收信息，发送信息到基站，移动无线充电智能体用来做出决策和执行任务，移动无线充电智能体是可移动单元，并配有大容量的电池，本身具有比较高的计算和通信能力，为范围内所有安装了能量接收装置的传感器节点充电，因此得出移动无线充电智能体对于移动能量补充有以下方面：一是其可以自主移动，二是其电池容量大，足够支持移动和长时间充电的能量消耗；三是移动无线传感智能体在无线传感器网络中担任重要角色，必须保证其能量的充足。
与传统网络相比，无线传感器网络有三个特征：(i)将移动无线充电智能体加入到网络中，使其能够作用并改变环境；(ii)移动无线充电智能体具有移动性，从而导致高动态的网络拓扑结构；(iii)移动无线充电智能体与传感器相比，配有更大能量的电池，可以支持移动和长时间充电等。
现有的移动能量补充方案没有考虑将深度强化学习和一对多充电结合，以达到更高的充电效率和更好的拓展性。
目前，大多数现有的移动充电方案属于离线能量补充和一对一的充电，其基于节点能耗消耗率相对恒定的情况下，可以提前设定移动充电装置的充电路径，对于预定的运动轨迹和充电机制，难以很好的适应节点能耗的动态变化，也无法范围性地为节点充电。
当六边形区域内节点低于一定阈值时，本充电方案允许六边形区域主动及时发送充电请求，这使得本方案很好地适应周围环境的不确定性所造成的动态能量消耗。然而其他的在线充电方案没用考虑网络中移动无线充电智能体的重要性，也没有体现一对多充电的优势。
进一步地，所述Step3所述的避免移动无线充电智能体能量耗尽原则指的是：确保移动无线充电智能体在执行充电任务，不会因为自身能量耗尽而无法返回服务站补充能量；降低传感器节点死亡原则指的是：在确保移动无线充电智能体有足够的能量补充情况下，通过智能体智能决策充电调度，进行对传感器节点进行高效的充电，尽可能地保证传感器节点不因能量耗尽而死亡。虽然传感器节点的重要性要低于移动无线充电智能体，但是二者都是构成无线传感器网络的重要组成部分。传感器节点的死亡将导致数据丢失、链路断开甚至网络分割，因此要尽可能地避免传感器死亡。
进一步地，所述Step2中，OTMDRL工作过程具体为：
为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充，要求每个节点周期性检查自身剩余能量REi(t)，判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值，当小于时，即代表此六边形区域有充电需求，于是就发送这个六边形区域的充电请求。充电请求消息包括：六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t；传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站，六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点，汇聚节点再发送给基站，基站通过判断这个接收的信息是否为请求充电信息，决定该六边形区域是否需要充电；
对于移动无线充电智能体，存在四种状态：空闲，补充能量，移动和充电状态，初始时，移动无线充电智能体处于空闲状态，位于服务站内，即在二维平面的左下方于服务站位置相同，每经过一段相等间隔时间Δt，移动无线充电智能体就会接收充电请求，如果有六边形区域的充电请求，则将该六边形区域标识添加服务池，并通过深度强化学习算法，从服务池中选择一个六边形区域前往充电，如果没有充电请求，且服务池为空，就继续位于在服务站内处于空闲状态；移动无线充电智能体在空闲、移动、补充能量状态时，每个相等间隔时间Δt，就会接收充电请求信息，更新服务池，在一次充电完成后就立即接收充电请求信息，更新服务池，在充电状态时，则不能接收充电信息和更新服务池；
算法从服务池确定一个前往充电的六边形区域，然后移动充电装置将其状态由空闲转换为移动状态，在到达六边形区域中心后，移动状态转换为充电状态，在充电状态时，移动无线充电智能体不接收充电请求信息，也不更新服务池，一旦六边形区域内的全部传感器节点完全充电后，就会将此六边形区域标识从服务池中删除，移动无线充电装置会再次接收充电请求更新服务池；如果服务池C不为空，移动无线充电智能体将再次通过深度强化学习算法，从服务池选择下一个需要充电的六边形区域，然后开始新的充电任务。在每次执行充电任务之前，移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量，根据能量是否充足决定是否前往充电，如果不足，则先返回服务站补充能量，到达服务站后移动无线充电智能体由移动状态转换为补充能量状态；补充完能量后，再由补充能量状态转换为空闲状态或移动状态，在补充能量状态时，无线充电智能体会接收充电请求信息并更新服务池，补充能量结束后通过深度强化学习算法，从服务池中选择一个六边形区域进行充电；本方案采用优先级方案，即优先保证移动无线充电智能体能量供应，如果深度强化学习选择出的充电六边形区域不在服务池中，则优先选择深度强化学习算法选择的六边形区域。
具体地，所述Step2中，整体步骤如下：
Step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是D，于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yi为：
Figure BDA0003286107810000121
上式的xi和yi的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为
Figure BDA0003286107810000122
所以传感器节点距离一个六边形区域中心长度小于
Figure BDA0003286107810000123
则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为D，所以传感器节点距离六边形区域中心长度大于D，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于
Figure BDA0003286107810000131
或者D的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
Step3.2移动无线充电智能简称MC，MC从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点ni，只要在MC的充电范围内，其接收功率为：
Ui＝μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率，Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离，μ(Di)为无线功率传输效率,它满足以下公式：
Figure BDA0003286107810000132
单个传感器节点ni的能耗率为：
Figure BDA0003286107810000133
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量，ρ为接收一个单元数据的能量消耗率，
Figure BDA0003286107810000134
表示节点i在Δt时间内接收能量消耗，CiB是一个单位的数据在从节点i传输到基站B时的能耗，Cij是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
Figure BDA0003286107810000135
其中Dij表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
待充电节点的剩余能量应该满足：MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，MC不能满足传感器节点的充电需求；MC运动到节点ni所在的六边形区域qj中心的时间为：
Figure BDA0003286107810000136
其中,v表示MC移动速度，distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离，于是就有节点的阈值Ethred满足以下公式：
Figure BDA0003286107810000141
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
Step3.3由于六边形区域内传感器节点位置已知，MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算MC在六边形区域中心的充电时间，对于单个传感器节点ni在t时刻所需要的充电时间timei为：
Figure BDA0003286107810000142
则MC在六边形区域qj内的充电时间为：
Figure BDA0003286107810000143
Step3.4.1MC初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
Step3.4.2MC更新服务池，服务池可以描述如下：
Figure BDA0003286107810000144
当服务池为空时，转到Step3.4.1，否则转到Step3.4.3；
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj；
Step3.4.4选择下一个即将前往充电的六边形区域后，MC会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，MC从当前位置移动到选择的六边形区域中心的能量为：
Figure BDA0003286107810000145
其中speedmove表示MC移动单位距离所消耗的能量，则MC到达六边形区域qj中心所花费的时间为：
Figure BDA0003286107810000151
则，六边形区域qj内传感器节点在MC到达时候的剩余能量为：
Figure BDA0003286107810000152
所以，MC为六边形区域qj内传感器节点充电所需要的能量为：
Figure BDA0003286107810000153
再计算从六边形区域qj中心返回服务站的能量为：
Figure BDA0003286107810000154
于是，从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
Figure BDA0003286107810000155
如果E小于REMC(t),则继续接下来的步骤，否者MC返回服务站，此轮充电回合结束，步骤转到Step3.4.1；
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电；
Step3.4.6如果qj在服务池中，将六边形区域qj从服务池中移除；
Step3.4.7MC从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到Step3.4.2。
下面结合附图和具体例子对下一充电六边形区域的选择进行具体的描述：
为了方便描述，移动无线充电智能体简称为MC。如图1所示，无线传感器网络被等边的正六边形划分为若干个区域，每个六边形区域内有若干个传感器节点，基站位于监测区域的中心，服务站位于监测区域的左下，初始时，MC位于服务站内，即MC位置与服务站位置相同。
Step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是D，于是六边形区域中心位置L(xi,yj)的横坐标xi和纵坐标yj为：
Figure BDA0003286107810000161
上式的xi和yi的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为
Figure BDA0003286107810000162
所以传感器节点距离一个六边形区域中心长度小于
Figure BDA0003286107810000163
则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为D，所以传感器节点距离六边形区域中心长度大于D，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于
Figure BDA0003286107810000164
或者D的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
Step3.2移动无线充电智能简称MC，MC从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点ni，只要在MC的充电范围内，其接收功率为：
Ui＝μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率，Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离，μ(Di)为无线功率传输效率,它满足以下公式：
Figure BDA0003286107810000165
单个传感器节点ni的能耗率为：
Figure BDA0003286107810000166
其中fij表示Δt时间内传感器节点i到传感器节点j的流量,fiB表示Δt时间内传感器节点i到基站B的流量，ρ为接收一个单元数据的能量消耗率，
Figure BDA0003286107810000167
表示节点i在Δt时间内接收能量消耗，CiB是一个单位的数据在从节点i传输到基站B时的能耗，Cij是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
Figure BDA0003286107810000168
其中Dij表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
待充电节点的剩余能量应该满足：MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，MC不能满足传感器节点的充电需求；MC运动到节点ni所在的六边形区域qj中心的时间为：
Figure BDA0003286107810000171
其中,v表示MC移动速度，distance(MC,qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离，于是就有节点的阈值Ethred满足以下公式：
Figure BDA0003286107810000172
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
Step3.3由于六边形区域内传感器节点位置已知，MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算MC在六边形区域中心的充电时间，对于单个传感器节点ni在t时刻所需要的充电时间timei为：
Figure BDA0003286107810000173
则MC在六边形区域qj内的充电时间为：
Figure BDA0003286107810000174
Step3.4.1MC初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
Step3.4.2MC更新服务池，服务池可以描述如下：
Figure BDA0003286107810000175
Figure BDA0003286107810000181
当服务池为空时，转到Step3.4.1，否则转到Step3.4.3；
Step3.4.3MC通过深度强化学习算法选择下一个前往充电的六边形区域qj；
Step3.4.4选择下一个即将前往充电的六边形区域后，MC会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，MC从当前位置移动到选择的六边形区域中心的能量为：
Figure BDA0003286107810000182
其中speedmove表示MC移动单位距离所消耗的能量，则MC到达六边形区域qj中心所花费的时间为：
Figure BDA0003286107810000183
则，六边形区域qj内传感器节点在MC到达时候的剩余能量为：
Figure BDA0003286107810000184
所以，MC为六边形区域qj内传感器节点充电所需要的能量为：
Figure BDA0003286107810000185
再计算从六边形区域qj中心返回服务站的能量为：
Figure BDA0003286107810000186
于是，从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
Figure BDA0003286107810000191
如果E小于REMC(t),则继续接下来的步骤，否者MC返回服务站，此轮充电回合结束，步骤转到Step3.4.1；
Step3.4.5MC前往选择的六边形区域qj为其内部的传感器节点充电；
Step3.4.6如果qj在服务池中，将六边形区域qj从服务池中移除；
Step3.4.7MC从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到Step3.4.2。
例如图3，图中六边形区域内的数字代表六边形标识，如1代表六边形区域q1。MC在服务站时初始阶段T0,MC接收带六边形区域q1,q2,q3,q8的充电请求，并将其标识放入服务池中，更新服务池；此时服务池的六边形区域标识为{q1,q2,q3,q8},通过深度强化学习算法，MC决定前往六边形区域q1进行充电，MC在六边形区域q1充完电后，就将六边形区域q1标识移除服务池；此时进入阶段T1，MC的服务池为{q2,q3,q8}，同样的，MC前往六边形区域q2,q3进行充电，充电完成后，进入步骤T3，此时MC的收到了六边形区域q5的充电请求，于是就更新服务池，此时MC的服务池为{q5,q8}。然后，MC通过深度强化学习选择的下一充电六边形区域是q6，尽管此六边形区域不在服务池中，但是根据深度强化学习选择的六边形区域优先级高的原则，所以，MC前往六边形区域q6进行充电，通过完成后，MC本应前往六边形区域q4进行充电，但是经过Step3.4.4得出MC前往充电后将无法有足够的能量返回服务站补充能量，由于避免MC能量耗尽原则，MC将返回服务站补充能量，此轮充电结束，MC补充完能量后再继续进行充电任务。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方案，在本领域普通技术人员具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种基于DRL的WSN中单对多移动能量补充方法，其特征在于：步骤如下：
Step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，按照移动无线充电智能体最大充电范围D为边长，将区域划分为若干长度的正六边形；NS表示传感器节点构成的集合，传感器节点总数为N；QS表示六边形区域的集合；六边形区域的总数为Q；
Figure FDA0003286107800000011
表示第k个六边形区域内传感器节点的集合；Nk表示第k个六边形区域内传感器节点个数；Ei表示节点i的电池容量；REi(t)表示节点i在时间t时的电池剩余能量；ri表示节点i的能量消耗率；C表示服务池中的六边形区域集合；
初始时ni表示传感器节点i，qi表示第i个六边形区域，
Figure FDA0003286107800000012
表示第k个六边形区域内第i个节点，基站位于二维监测平面的中心位置，移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为Ufull，移动速度为v(m/s)；服务站位于监测区域左下方，初始时，移动无线充电智能体位于服务站内，即与服务站位置相同，服务站，基站，移动无线充电智能体和传感器节点之间通过网络相互通信，移动无线充电智能体能够实时定位；
Step2：基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，设计一种称为OTMDRL的高效移动能量补充方法，该方法的工作过程是：首先在含有传感器节点的六边形区域内设置一个汇聚节点，用于统一收集六边形区域内节点感知信息和剩余能量信息，并将收集的信息发送给基站，如果六边形区域内只有一个节点，那么该节点就是汇聚节点；其次每个节点实时监测自己的能量状态，并将状态信息发送到汇聚节点，当汇聚节点计算六边形区域内所有节点全部剩余能量低于预先设定的阈值时，向移动无线充电智能体发送充电请求；移动无线充电智能体维护着一个服务池，它根据每个节点的剩余能量，能耗信息，地理位置，通过深度强化学习算法计算，基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，从服务池中选择一个六边形区域进行充电；完成充电后，移动无线充电智能体更新一次服务池，如果服务池不为空，则继续以上步骤从服务池中选择下一个需要充电的六边形区域，如果为空，则返回服务站补充能量和维护；如此循环工作，以保证无线传感器网络的持续运行。
2.根据权利要求1所述的基于DRL的WSN中单对多移动能量补充方法，其特征在于：所述Step2中，避免移动无线充电智能体能量耗尽原则指的是：确保移动无线充电智能体在执行充电任务，不会因为自身能量耗尽而无法返回服务站补充能量；降低传感器节点死亡率原则指的是：在确保移动无线充电智能体有足够的能量补充情况下，通过智能体智能决策充电调度，进行对传感器节点进行高效的充电，保证传感器节点不因能量耗尽而死亡。
3.根据权利要求1所述的基于DRL的WSN中单对多移动能量补充方法，其特征在于：所述Step3中，OTMDRL的具体工作过程为：
每个节点周期性检查自身剩余能量REi(t)，判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值，当小于时，即代表此六边形区域有充电需求，于是就发送这个六边形区域的充电请求，充电请求消息包括：六边形区域标识-ID、充电类型-Type、六边形区域中心位置-P、六边形区域内所有传感器节点的剩余能量-RE、六边形区域内每个传感器节点的能量消耗率-r、时间戳-t；传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站，六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点，汇聚节点再发送给基站，基站通过判断这个接收的信息是否为请求充电信息，决定该六边形区域是否需要充电；
对于移动无线充电智能体，存在四种状态：空闲，补充能量，移动和充电状态，初始时，移动无线充电智能体处于空闲状态，位于服务站内，即在二维平面的左下方于服务站位置相同，每经过一段相等间隔时间Δt，移动无线充电智能体就会接收充电请求，如果有六边形区域的充电请求，则将该六边形区域标识添加服务池，并通过深度强化学习算法，从服务池中选择一个六边形区域前往充电，如果没有充电请求，且服务池为空，就继续位于在服务站内处于空闲状态；移动无线充电智能体在空闲、移动、补充能量状态时，每个相等间隔时间Δt，就会接收充电请求信息，更新服务池，在一次充电完成后就立即接收充电请求信息，更新服务池，在充电状态时，则不能接收充电信息和更新服务池；
移动无线充电智能体收到充电请求信息并更新服务池后，根据深度强化学习算法从服务池确定一个前往充电的六边形区域，然后移动充电装置将其状态由空闲转换为移动状态，在到达六边形区域中心后，移动状态转换为充电状态，在充电状态时，移动无线充电智能体不接收充电请求信息，也不更新服务池，一旦六边形区域内的全部传感器节点完全充电后，就会将此六边形区域标识从服务池中删除，移动无线充电装置会再次接收充电请求更新服务池；如果服务池C不为空，移动无线充电智能体将再次通过深度强化学习算法，从服务池选择下一个需要充电的六边形区域，然后开始新的充电任务，在每次执行充电任务之前，移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量，根据能量是否充足决定是否前往充电，如果不足，则先返回服务站补充能量，到达服务站后移动无线充电智能体由移动状态转换为补充能量状态；补充完能量后，再由补充能量状态转换为空闲状态或移动状态，在补充能量状态时，无线充电智能体会接收充电请求信息并更新服务池，补充能量结束后通过深度强化学习算法，从服务池中选择一个六边形区域进行充电；采用优先级方案，即优先保证移动无线充电智能体能量供应，如果深度强化学习选择出的充电六边形区域不在服务池中，则优先选择深度强化学习算法选择的六边形区域。
4.根据权利要求1或3所述的基于DRL的WSN中单对多移动能量补充方法，其特征在于：所述Step3，整体步骤如下：
Step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是D，于是六边形区域中心位置L(xi，yj)的横坐标xi和纵坐标yj为：
Figure FDA0003286107800000031
上式的xi和yi的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量，然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为
Figure FDA0003286107800000032
所以传感器节点距离一个六边形区域中心长度小于
Figure FDA0003286107800000033
则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为D，所以传感器节点距离六边形区域中心长度大于D，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于
Figure FDA0003286107800000034
或者D的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
Step3.2移动无线充电智能简称MC，MC从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点nj，只要在MC的充电范围内，其接收功率为：
Ui＝μ(Di)·UFull (2)
其中UFull为MC对单个传感器节点的全部输出功率，Di为六边形区域内的传感器节点ni到其所在的六边形区域中心的距离，μ(Di)为无线功率传输效率，它满足以下公式：
Figure FDA0003286107800000041
单个传感器节点ni的能耗率为：
Figure FDA0003286107800000042
其中fij表示Δt时间内传感器节点i到传感器节点j的流量，fiB表示Δt时间内传感器节点i到基站B的流量，ρ为接收一个单元数据的能量消耗率，
Figure FDA0003286107800000043
表示节点i在Δt时间内接收能量消耗，CiB是一个单位的数据在从节点i传输到基站B时的能耗，Cij是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
Figure FDA0003286107800000044
其中Dij表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
待充电节点的剩余能量应该满足：MC以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，MC不能满足传感器节点的充电需求；MC运动到节点ni所在的六边形区域qj中心的时间为：
Figure FDA0003286107800000045
其中，v表示MC移动速度，distance(MC，qj)表示MC的当前位置到节点ni所在的六边形区域qj中心的距离，于是就有节点的阈值Ethred满足以下公式：
Figure FDA0003286107800000046
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
Step3.3由于六边形区域内传感器节点位置已知，MC到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算MC在六边形区域中心的充电时间，对于单个传感器节点ni在t时刻所需要的充电时间timei为：
Figure FDA0003286107800000051
则MC在六边形区域qj内的充电时间为：
Figure FDA0003286107800000052
Step3.4.1 MC初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
Step3.4.2 MC更新服务池，服务池可以描述如下：
Figure FDA0003286107800000053
当服务池为空时，转到Step3.4.1，否则转到Step3.4.3；
Step3.4.3 MC通过深度强化学习算法选择下一个前往充电的六边形区域qj；
Step3.4.4选择下一个即将前往充电的六边形区域后，MC会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，MC从当前位置移动到选择的六边形区域qj中心的能量为：
Figure FDA0003286107800000055
其中speedmove表示MC移动单位距离所消耗的能量，则MC到达六边形区域qj中心所花费的时间为：
Figure FDA0003286107800000054
则，六边形区域qj内传感器节点在MC到达时候的剩余能量为：
Figure FDA0003286107800000056
所以，MC为六边形区域qj内传感器节点充电所需要的能量为：
Figure FDA0003286107800000061
再计算从六边形区域qj中心返回服务站的能量为：
Figure FDA0003286107800000062
于是，从MC当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
Figure FDA0003286107800000063
如果E小于REMC(t)，则转到Step3.4.5，否者MC返回服务站，此轮充电回合结束，步骤转到Step3.4.1；
Step3.4.5 MC前往选择的六边形区域qj为其内部的传感器节点充电；
Step3.4.6如果qj在服务池中，将六边形区域qj从服务池中移除；
Step3.4.7 MC从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到Step3.4.2。
CN202111147925.5A 2021-09-29 2021-09-29 一种基于drl的wsn中单对多移动能量补充方法 Active CN113891238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147925.5A CN113891238B (zh) 2021-09-29 2021-09-29 一种基于drl的wsn中单对多移动能量补充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147925.5A CN113891238B (zh) 2021-09-29 2021-09-29 一种基于drl的wsn中单对多移动能量补充方法

Publications (2)

Publication Number Publication Date
CN113891238A true CN113891238A (zh) 2022-01-04
CN113891238B CN113891238B (zh) 2022-10-14

Family

ID=79007788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147925.5A Active CN113891238B (zh) 2021-09-29 2021-09-29 一种基于drl的wsn中单对多移动能量补充方法

Country Status (1)

Country Link
CN (1) CN113891238B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278704A (zh) * 2022-07-31 2022-11-01 昆明理工大学 基于drl的无线传感器网络中单对多充电驻点规划方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107708086A (zh) * 2017-08-16 2018-02-16 昆明理工大学 一种无线传感器和执行器网络的移动能量补充方法
WO2018209571A1 (en) * 2017-05-16 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Smart charging scheduling apparatus and method for electric vehicle
CN111523722A (zh) * 2020-04-20 2020-08-11 武汉大学 一种基于深度强化学习的智能充电站优化选择系统
CN112738752A (zh) * 2020-12-24 2021-04-30 昆明理工大学 一种基于强化学习的wrsn多移动充电器优化调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209571A1 (en) * 2017-05-16 2018-11-22 Bayerische Motoren Werke Aktiengesellschaft Smart charging scheduling apparatus and method for electric vehicle
CN107708086A (zh) * 2017-08-16 2018-02-16 昆明理工大学 一种无线传感器和执行器网络的移动能量补充方法
CN111523722A (zh) * 2020-04-20 2020-08-11 武汉大学 一种基于深度强化学习的智能充电站优化选择系统
CN112738752A (zh) * 2020-12-24 2021-04-30 昆明理工大学 一种基于强化学习的wrsn多移动充电器优化调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIGUANG XIE: "On Renewable Sensor Networks with Wireless Energy Transfer: The Multi-Node Case", 《2012 9TH ANNUAL IEEE COMMUNICATIONS SOCIETY CONFERENCE ON SENSOR, MESH AND AD HOC COMMUNICATIONS AND NETWORKS》 *
潘琪: "一对多充电方式下WＲSN 移动充电器驻点选择策略", 《传感技术学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278704A (zh) * 2022-07-31 2022-11-01 昆明理工大学 基于drl的无线传感器网络中单对多充电驻点规划方法
CN115278704B (zh) * 2022-07-31 2024-01-12 昆明理工大学 基于drl的无线传感器网络中单对多充电驻点规划方法

Also Published As

Publication number Publication date
CN113891238B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Long et al. Energy-aware real-time routing for large-scale industrial internet of things
Vijayashree et al. Energy efficient data collection with multiple mobile sink using artificial bee colony algorithm in large-scale WSN
CN109451556B (zh) 基于uav对无线传感网充电的方法
US20080221836A1 (en) Ad Hoc Sensor Networks
Ajay et al. Smart spider monkey optimization (SSMO) for energy‐based cluster‐head selection adapted for biomedical engineering applications
CN107708086B (zh) 一种无线传感器和执行器网络的移动能量补充方法
Zhao et al. Deep reinforcement learning resource allocation in wireless sensor networks with energy harvesting and relay
Qu et al. An energy-efficient dynamic clustering protocol for event monitoring in large-scale WSN
Khriji et al. Energy-efficient techniques in wireless sensor networks
CN113891238B (zh) 一种基于drl的wsn中单对多移动能量补充方法
CN111787500B (zh) 一种基于能量优先的移动充电车辆多目标充电调度方法
Tsoumanis et al. Energy-efficient sink placement in wireless sensor networks
Bensaid et al. Fuzzy C-means based clustering algorithm in WSNs for IoT applications
Bhanderi et al. Machine learning for wireless sensor network: a review, challenges and applications
Chelbi et al. A new hybrid routing protocol for wireless sensor networks
Karabekir et al. Energy-Efficient Clustering-Based Mobile Routing Algorithm For Wireless Sensor Networks.
CN110049500B (zh) 基于模拟退火算法的无线可充电传感网中uav能量补偿方法
Satyanarayana et al. Implementation of Improved Energy Balanced Routing Protocol to Enlarge Energy Efficiency in MANET for IoT Applications
KR102241029B1 (ko) 무선 센서 네트워크에서 병합 노드 결정 방법 및 그 장치
CN107800542A (zh) 一种基于虚拟力的无线传感器网络移动能量补充方法
KR102239797B1 (ko) 무선 센서 네트워크에서 병합 노드 결정 방법 및 그 장치
Soni et al. An Efficient Digital Cluster Scheme to Improve the Lifetime Ratio of Wireless Sensor Networks
Priya et al. Priority based multi senCar technique in wireless sensor networks
Fan et al. Exploiting an unmanned aerial vehicle for energy efficient data collection in wireless sensor networks
CN115278704B (zh) 基于drl的无线传感器网络中单对多充电驻点规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant