CN103974366A - 一种基于增强学习的无线体域网路由方法 - Google Patents
一种基于增强学习的无线体域网路由方法 Download PDFInfo
- Publication number
- CN103974366A CN103974366A CN201410176028.0A CN201410176028A CN103974366A CN 103974366 A CN103974366 A CN 103974366A CN 201410176028 A CN201410176028 A CN 201410176028A CN 103974366 A CN103974366 A CN 103974366A
- Authority
- CN
- China
- Prior art keywords
- node
- value
- neighbor
- aggregation
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002787 reinforcement Effects 0.000 title abstract 2
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims description 43
- 238000004220 aggregation Methods 0.000 claims description 43
- 238000005728 strengthening Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 5
- 238000005265 energy consumption Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 235000008694 Humulus lupulus Nutrition 0.000 abstract 1
- 230000002028 premature Effects 0.000 abstract 1
- 230000002035 prolonged effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明提供一种基于增强学习的无线体域网自组织路由方法,该方法将人体节点看成是智能化节点,将整个无线体域网构成类似多智能化节点的系统,在实施中综合考虑节点跳数、位置、人体节点的剩余能量、节点通信损耗能量,采用Q学习算法建立或更新Q值表,寻找最优路径。本发明能够在保证数据顺利传输的基础上,防止无线体域网部分节点过早死亡,均衡了网络能量,提高了网络生存周期。
Description
技术领域
本发明涉及一种无线体域网路由方法,主要利用增强学习来解决提高无线体域网的能量效率问题,属于无线体域网、机器学习的交叉技术应用领域。
背景技术
微电子、计算机和无线通信技术的进步,推动了低功耗多功能传感器的快速发展,使其在微小体积内能够集成信息采集,数据处理,和无线通信等多种功能,无线体域网是由部署在监测人体区域内的廉价微型传感器节点组成,通过无线通信方式形成的一个多跳的自组织网络系统,其目的是协作感知,采集和处理网络覆盖人体区域中感知对象的信息,并发送给观察者。如果说因特网构成了逻辑上的信息世界,改变了人与人之间的沟通方式,那么无线体域网网络就是将逻辑上的信息世界与客观上的物理世界融合在一起,改变人类与自然界的交互方式。人们可以通过传感器网络客观的感知世界,从而极大地扩展了现有网络的功能和人类认识世界的能力。因此无线体域网在未来的应用中有着巨大的潜力。
网络的迅猛发展,对于网络的使用范围越来越宽广,而集传感器技术、微机电系统技术、无线通信技术、嵌入式计算机技术、分布式信息处理技术和无线通信技术于一体的无线传感器网络就成为当今研究的热点。无线体域网网络是一个多学科交叉的综合性科学研究领域,对于其人体网络所分布的区域内的各种身体指标和检测对象的信息能够进行实吋的监控、感知和采集,并且将这些信息先进行处理,然后通过无线方式传输给监控主机或者需要使用这些信息的医护人员。
无线体域网网络是一种自组织网络,它通过路由算法以多跳的方式传送信息。路由算法在无线体域网中发挥着重要作用,它对各节点的能耗,寿命以及质量起着决定性的作用。建立理想路由的前提是要探测到传感器网络的拓扑结构。
增强学习(Q学习)是这样的一种学习方式,它是一个通过与环境的不断交互得到反馈,从而不断试错,最终找到最优解的过程。增强学习算法分为有模型学习算法以及无模型学习算法,本人通过调研国内外文献,发现比较与无线体域网相近的无线传感网以及无线自组织网络中的路由算法。增强学习的算法一开始是根据瞬时分差算法,并将特征值设置为0改进而来的,也是只考虑一步状态。根据智能化节点所处环境的不同,在网络系统中马尔可夫决策实际上就是指智能化节点从当前的某一状态转换到下一个状态的状态转移概率和立即回报值,这些值仅取决于目前的状态以及后续动作,以前的状态对于这些参数及函数没有任何影响。动态规划算法也是基于马尔科夫决策过程的,同时也是基于模型化的,属于有模型学习折扣型的技术,动态规划法则利用值函数寻求最优解,利用相关函数即可适用迭代法。动态规划法是基于有模型的增强学习算法,系统利用动态规划法必须有特定的环境被感知到,在无线体域网中,环境是可变的,并不适用于动态规划方法。
增强学习算法是由沃特金森在1989年提出的增强学习算法,作为马尔可夫过程的一种,是马尔科夫决策过程的不同变换形式,被业内专家也称作是离策略瞬时分差学习。增强学习算法相对于其他学习算法来说是较为简单的,并且非常方便研究人员使用,原因在于增强学习函数收敛速度较快,这也使得增强学习算法成为近期研究的重点以及热点,在增强学习领域,被称作引领增强学习发展的风向标。
增强学习的实质上就是将智能化节点通过对其状态和动作这两个比较对来重新计算增强学习中所包含的值函数,并进行新的学习,在与环境的交互中,不断更新Q值表,最终找到最终最优解方法。
在增强学习算法中,系统中智能化节点都已设置完成,不断感知周围环境,首先初始化内部Q值表,智能化节点在t时刻,处于某一状态S下以特定概率选择目前为止最高的Q值表,得到关于状态、动作、奖赏值、以及概率组成的四元组,利于增强学习函数进行收敛。
综上所述,Q值的更新根据不断的迭代学习才可以获得Q值的最优解,那么只要无线体域网中的智能化节点达到了系统所要求的目标状态,可以认为第一次学习结束,即将进入第二次学习状态,这样周而复始的迭代,使得无线体域网智能化节点不断地感知周围环境进行学习,不断循环整个学习过程,直到取得最优Q值解,完成整个的增强学习过程。
增强学习应用在多个领域,其中有智能化足球、排课系统、以及网络中的路由选择都有利用增强学习算法的先例,实现自身系统的最优目标。以网络系统为例,目前定向扩散路由、智能蜂群路由都是利用增强学习算法延长网络生存周期的例子。目前已证明增强学习算法在无线传感器网络以及无线自组织网络中的可行性,在此研究基础上,发现无线体域网与以上网络有着极大的相似性,并且鉴于增强学习算法可以运用在小型规模系统的网络中,并且无需指导就可完成自身学习改进。将增强学习算法融入到无线体域网网络中,网络系统中的智能化节点可快速选择路由构成网络,减少能量损耗,延长网络生存周期。
发明内容
技术问题:本发明的目的是提供一种基于增强学习的无线体域网路由方法,解决上述问题。无线体域网节点一般要监测人体状况,诸如血压、体温、脉搏等,但节点一般供电受限,一旦能量耗尽,人体的重要数据得不到有效传递,所以高效的路由规划是非常重要的网络设计问题之一。
技术方案:本发明所述的基于增强学习的无线体域网自组织路由方法利用增强学习算法,在考虑节点剩余能量以及通信所要消耗的能量的基础上,节点不断向邻居节点发送学习包,从而获得所需回报值,选择累积回报值最高的路径为最优路径。
本发明所述的基于增强学习的无线体域网路由方法步骤如下:
步骤1:用户在人体上部署汇聚节点和传感器节点,在传感器节点中指定需要发送人体消息的源节点,在每个传感器节点上预先存储其邻居传感器节点的编号和位置、到邻居传感器节点的通信能耗值;
步骤2:用户启动汇聚节点和所有传感器节点,指定网络运行的最大轮次t,汇聚节点定义一系列Q值,依次为Q、Q1、Q2、…、Qk、…、Qt,这些值均设置为0,k表示路径选择的当前轮次,Q是汇聚节点一个变量,Qi是汇聚节点第i轮对应的变量;每个传感器节点定义一个集合D和一个Q值,该集合存放邻居节点号和对应的已计算好的到该邻居节点的回报值,最初所有回报值为0;然后设置每个传感器节点的Q值为0,对于传感器节点i,它到邻居节点j的回报值R(j)是邻居节点j的剩余能量Rj与传感器节点i到邻居节点j的传输能耗值Ei,j=(2LE1+LEadθ)ehop(j)/hop(i)的比值,其中i和j是节点的编号,E1表示线路发送或接收数据损耗的能量,hop(i)表示节点i到汇聚节点的跳数,hop(j)表示的是节点j到汇聚节点的跳数,d表示的是两节点之间的距离,L代表着发送信息的比特数,Ea是能量放大系数,一般来说Ea取值小于1;θ是一个参数,用户设定阈值d0,当d小于d0时,θ取值为2,当d大于d0时,θ取值为4,所述Q值是存储在汇聚节点或传感器节点中的一个数值,用于选择后续路径;
步骤3:当网络运行的最大轮次超过t时,网络停止工作;当网络运行的最大轮次没有超过t时,需要发送人体消息的源节点从集合D中依次取每一个邻居节点判定到该邻居节点的回报值是否为0,若源节点到该邻居节点的回报值不为0,则取下一个邻居节点进行判定;若源节点到该邻居节点的回报值为0,则源节点向该邻居节点发送握手信息,当在用户指定的阈值时间内收到该邻居节点回复的握手信息,则计算源节点到该邻居节点的回报值,当在用户指定的阈值时间内没有收到该邻居节点的回复信息,则将源节点到该邻居节点的回报值置为-1;需要发送人体消息的源节点完成判定到每一个邻居节点的回报值是否为0的工作后,将回报值最大的任意一个邻居节点确定为下一跳路由节点,设置Q值为上述的最大的回报值,将该Q值发送给确定好的下一跳路由节点;
步骤4:当前已确定好的下一跳路由节点是传感器节点,进入步骤5;当前已确定好的下一跳路由节点是汇聚节点,进入步骤6;
步骤5:已确定好的作为下一跳路由节点的当前传感器节点将接收到的上一跳路由节点发送来的Q值赋值给自己的Q值,并向其邻居节点广播发送握手信息,当在用户指定的阈值时间内收到该邻居节点回复的握手信息,则计算当前传感器节点到其邻居节点的回报值,当在用户指定的阈值时间内没有收到该邻居节点的回复信息,则将当前传感器节点到该邻居节点的回报值置为-1;当前传感器节点完成判定到每一个邻居节点的回报值是否为0的工作后,将回报值最大的任意一个邻居节点确定为下一跳路由节点,将上述最大的回报值增加到当前传感器节点Q值中,当前传感器节点将该更新后的Q值发送给确定好的下一跳路由节点,进入步骤4;
步骤6:已确定好的下一跳路由节点是汇聚节点,则表示寻址成功,汇聚节点将接收到的上一跳路由节点发送来的Q值赋值给自己的Q值,若汇聚节点首次接收到上一跳路由节点发送来的Q值,则自己的Q值赋值给Q1;否则,汇聚节点在第k次接收到上一跳路由节点发送来的Q值,通过Qk=(1-α)Qk-1+αmaxQ计算获取Qk;所述α是学习因子,由用户指定,其取值范围在0-1之间,取值越大,学习效率越高,感知环境的能力越强,但相反会引起数据收发的延迟;maxQ是汇聚节点在第i次接收到上一跳路由节点发送来的Q值时,Q1、Q2、…、Qk-1中的最大值;Qk代表汇聚节点在i次更新所得到的数值,Qk-1代表汇聚节点在第k-1次更新所得到的数值;
步骤7:用户指定一轮稳定传输信息的时间阈值T,汇聚节点选取Q1、Q2、…、Qk中最大值对应的路径向源节点发送通知消息,让源节点在时间阈值T范围内沿着上述路径稳定传输信息;源节点稳定传输信息,当传输信息的时间超过时间阈值T时,进入步骤3。
有益效果:本发明提出了一种基于Q学习的无线体域网自组织路由方法。通过使用本发明所提出的路由方法实现无线体域网的路径寻优,也就是综合考虑节点的剩余能量以及通信所需损耗能量,所设计的基于Q学习的无线体域网自组织路由方法能够很好得解决网络中能量消耗不均匀的问题,从而延长网络生存周期。具体来说,本发明所述的方法具有如下的有益效果:
(1)本发明所述的基于Q学习的无线体域网自组织路由方法,够很好得解决网络中能量消耗不均匀的问题,节省网络能量。
(2)本发明所述的基于Q学习的无线体域网自组织路由方法,综合考虑节点的剩余能量以及通信所需损耗能量,实现无线体域网的路径寻优。
(3)本发明所述的基于Q学习的无线体域网自组织路由方法,采用Q学习机制提出的路由算法,随着节点数的增大,网络生存周期越来越大,所消耗的路由能量逐渐减小,选择的路由的机会增多,通过不断得更新回报值,选择最优路径,网络生存周期也得到了提高。
(4)本发明所述的基于Q学习的无线体域网自组织路由方法,根据路径的剩余能量、跳数、节点距离等因素,采取回报值进行评价下一跳的选择,采用此方法,无线传感器网络的传输可靠性会比现有方法略有提高。
附图说明
图1.基于增强学习的无线体域网路由方法流程图,
图2.体域网节点拓扑图。
具体实施方式
下面根据附图和实施例对本发明作更详细的描述。
所述无线体域网由一个汇聚节点和多个传感器节点组成,所有节点被部署在一个人体区域内,如图2体域网节点拓扑图所示,所构成的网络具有如下要求:(1)所有节点根据人体生理性分布,任意一个节点在固定后不发生移动;(2)汇聚节点位于腰部位置,该节点与传感器节点相比能力充足;(3)所有节点相对人体不发生移动,人体可以发生移动;(4)所有节点之间的通信是双向的;(5)传感器节点直接或者以多跳的方式向汇聚节点传输消息;(6)无线体域网的结构是单层结构。
图1给出本发明所述方法的流程图,以图2为实例,其具体实施方式为:
步骤1:用户在人体上部署汇聚节点和传感器节点,在具体实施中,每个传感器节点都记录下其邻居传感器节点编号及到邻居传感器节点的能耗值,同时设定每个传感器节点的能耗阈值。
步骤2:位于人体腰部的汇聚节点以相同的周期向相邻的节点发送学习评估消息,初始化无线体域网环境,启动所有传感器节点,并设置每个传感器节点的回报值为0。
步骤3:在具体实施中,传感器节点定义一个集合D,用以存放已经进行学习的节点信息,17号节点向邻居节点6、节点9、节点16发送学习信息,并且判断该节点是否存在于集合D,分别计算其到每个邻居节点的回报值节点6反馈给节点17的回报值最大,从而选取回报值高的邻居节点6号节点作为下一跳路由的传感器节点。
步骤4:传感器节点从选取的邻居节点出发按照步骤3的方法计算该节点自身邻居节点,探测下一跳路由,依次寻址,直到找到最终的汇聚节点14号节点。
步骤5:路径选择完毕后,存储下这条路径的Q值Qi=(1-α)Qi-1+αmaxQ。当选取路径中的传感器节点9或节点10的剩余能量低于设定的阈值时,则按照选取的路径反向向源传感器节点发送消息,使节点放弃选择这条路径,而是选取Q值次大的6、7、10路径作为发送信息的路径。
步骤6:节点17选取Q值大的路径向汇聚传感器节点进行稳定传输信息过程,同时更新每个传感器节点的剩余能量信息。
步骤7:汇聚节点14号节点周期性发送学习消息,源节点根据其消息探测路径、选取路径、以及发送消息到汇聚节点,节点汇报值的改变影响了Q值的大小,Q值更新后存储于汇聚节点中。
Claims (1)
1.一种基于增强学习的无线体域网路由方法,其特征在于该方法所包含的步骤为:
步骤1:用户在人体上部署汇聚节点和传感器节点,在传感器节点中指定需要发送人体消息的源节点,在每个传感器节点上预先存储其邻居传感器节点的编号和位置、到邻居传感器节点的通信能耗值;
步骤2:用户启动汇聚节点和所有传感器节点,指定网络运行的最大轮次t,汇聚节点定义一系列Q值,依次为Q、Q1、Q2、…、Qk、…、Qt,这些值均设置为0,k表示路径选择的当前轮次,Q是汇聚节点一个变量,Qi是汇聚节点第i轮对应的变量;每个传感器节点定义一个集合D和一个Q值,该集合存放邻居节点号和对应的已计算好的到该邻居节点的回报值,最初所有回报值为0;然后设置每个传感器节点的Q值为0,对于传感器节点i,它到邻居节点j的回报值R(j)是邻居节点j的剩余能量Rj与传感器节点i到邻居节点j的传输能耗值Ei,j=(2LE1+LEadθ)ehop(j)/hop(i)的比值,其中i和j是节点的编号,E1表示线路发送或接收数据损耗的能量,hop(i)表示节点i到汇聚节点的跳数,hop(j)表示的是节点j到汇聚节点的跳数,d表示的是两节点之间的距离,L代表着发送信息的比特数,Ea是能量放大系数,一般来说Ea取值小于1;θ是一个参数,用户设定阈值d0,当d小于d0时,θ取值为2,当d大于d0时,θ取值为4,所述Q值是存储在汇聚节点或传感器节点中的一个数值,用于选择后续路径;
步骤3:当网络运行的最大轮次超过t时,网络停止工作;当网络运行的最大轮次没有超过t时,需要发送人体消息的源节点从集合D中依次取每一个邻居节点判定到该邻居节点的回报值是否为0,若源节点到该邻居节点的回报值不为0,则取下一个邻居节点进行判定;若源节点到该邻居节点的回报值为0,则源节点向该邻居节点发送握手信息,当在用户指定的阈值时间内收到该邻居节点回复的握手信息,则计算源节点到该邻居节点的回报值,当在用户指定的阈值时间内没有收到该邻居节点的回复信息,则将源节点到该邻居节点的回报值置为-1;需要发送人体消息的源节点完成判定到每一个邻居节点的回报值是否为0的工作后,将回报值最大的任意一个邻居节点确定为下一跳路由节点,设置Q值为上述的最大的回报值,将该Q值发送给确定好的下一跳路由节点;
步骤4:当前已确定好的下一跳路由节点是传感器节点,进入步骤5;当前已确定好的下一跳路由节点是汇聚节点,进入步骤6;
步骤5:已确定好的作为下一跳路由节点的当前传感器节点将接收到的上一跳路由节点发送来的Q值赋值给自己的Q值,并向其邻居节点广播发送握手信息,当在用户指定的阈值时间内收到该邻居节点回复的握手信息,则计算当前传感器节点到其邻居节点的回报值,当在用户指定的阈值时间内没有收到该邻居节点的回复信息,则将当前传感器节点到该邻居节点的回报值置为-1;当前传感器节点完成判定到每一个邻居节点的回报值是否为0的工作后,将回报值最大的任意一个邻居节点确定为下一跳路由节点,将上述最大的回报值增加到当前传感器节点Q值中,当前传感器节点将该更新后的Q值发送给确定好的下一跳路由节点,进入步骤4;
步骤6:已确定好的下一跳路由节点是汇聚节点,则表示寻址成功,汇聚节点将接收到的上一跳路由节点发送来的Q值赋值给自己的Q值,若汇聚节点首次接收到上一跳路由节点发送来的Q值,则自己的Q值赋值给Q1;否则,汇聚节点在第k次接收到上一跳路由节点发送来的Q值,通过Qk=(1-α)Qk-1+αmaxQ计算获取Qk;所述α是学习因子,由用户指定,其取值范围在0-1之间,取值越大,学习效率越高,感知环境的能力越强,但相反会引起数据收发的延迟;maxQ是汇聚节点在第i次接收到上一跳路由节点发送来的Q值时,Q1、Q2、…、Qk-1中的最大值;Qk代表汇聚节点在i次更新所得到的数值,Qk-1代表汇聚节点在第k-1次更新所得到的数值;
步骤7:用户指定一轮稳定传输信息的时间阈值T,汇聚节点选取Q1、Q2、…、Qk中最大值对应的路径向源节点发送通知消息,让源节点在时间阈值T范围内沿着上述路径稳定传输信息;源节点稳定传输信息,当传输信息的时间超过时间阈值T时,进入步骤3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410176028.0A CN103974366B (zh) | 2014-04-28 | 2014-04-28 | 一种基于增强学习的无线体域网路由方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410176028.0A CN103974366B (zh) | 2014-04-28 | 2014-04-28 | 一种基于增强学习的无线体域网路由方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103974366A true CN103974366A (zh) | 2014-08-06 |
CN103974366B CN103974366B (zh) | 2017-08-01 |
Family
ID=51243283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410176028.0A Expired - Fee Related CN103974366B (zh) | 2014-04-28 | 2014-04-28 | 一种基于增强学习的无线体域网路由方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103974366B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680264A (zh) * | 2015-03-27 | 2015-06-03 | 青岛大学 | 一种基于多智能体强化学习的运输车路径优化方法 |
CN104902492A (zh) * | 2015-05-05 | 2015-09-09 | 上海大学 | 一种面向无线体域网的高能效拓扑结构优化方法 |
CN105897585A (zh) * | 2016-04-11 | 2016-08-24 | 电子科技大学 | 一种自组织网络基于时延约束的q学习分组传输方法 |
CN106686533A (zh) * | 2017-01-06 | 2017-05-17 | 东华大学 | 一种基于增强学习算法的无线体域网数据传输方法 |
CN107454650A (zh) * | 2017-08-07 | 2017-12-08 | 西安电子科技大学 | 车载自组织网络中基于q学习和电子地图的路由方法 |
CN107644641A (zh) * | 2017-07-28 | 2018-01-30 | 深圳前海微众银行股份有限公司 | 对话场景识别方法、终端以及计算机可读存储介质 |
CN109547351A (zh) * | 2019-01-22 | 2019-03-29 | 西安电子科技大学 | Ad Hoc网络中基于Q学习和信任模型的路由方法 |
CN110366226A (zh) * | 2019-06-06 | 2019-10-22 | 中国船舶工业系统工程研究院 | 一种基于强化学习的水下无线传感器网络路由算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740395A (zh) * | 2012-07-12 | 2012-10-17 | 南京邮电大学 | 一种面向移动传感器网络的自组织路由方法 |
CN102868972A (zh) * | 2012-09-05 | 2013-01-09 | 河海大学常州校区 | 基于改进q学习算法的物联网错误传感器节点定位方法 |
CN103220216A (zh) * | 2013-04-22 | 2013-07-24 | 南京邮电大学 | 一种基于区域划分的无线体域网路由方法 |
-
2014
- 2014-04-28 CN CN201410176028.0A patent/CN103974366B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740395A (zh) * | 2012-07-12 | 2012-10-17 | 南京邮电大学 | 一种面向移动传感器网络的自组织路由方法 |
CN102868972A (zh) * | 2012-09-05 | 2013-01-09 | 河海大学常州校区 | 基于改进q学习算法的物联网错误传感器节点定位方法 |
CN103220216A (zh) * | 2013-04-22 | 2013-07-24 | 南京邮电大学 | 一种基于区域划分的无线体域网路由方法 |
Non-Patent Citations (3)
Title |
---|
周淑俐等:: ""基于Q学习的多Sink节点无线传感网路由机制研究"", 《传感技术学报》 * |
宝磊:: ""基于增强学习的无线体域网路由算法研究"", 《中国优秀硕士学位论文全文数据库》 * |
陈志等:: ""基于Agent的无线传感器网络AUML交互模型"", 《传感技术学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680264A (zh) * | 2015-03-27 | 2015-06-03 | 青岛大学 | 一种基于多智能体强化学习的运输车路径优化方法 |
CN104680264B (zh) * | 2015-03-27 | 2017-09-22 | 青岛大学 | 一种基于多智能体强化学习的运输车路径优化方法 |
CN104902492B (zh) * | 2015-05-05 | 2019-01-11 | 上海大学 | 一种面向无线体域网的高能效拓扑结构优化方法 |
CN104902492A (zh) * | 2015-05-05 | 2015-09-09 | 上海大学 | 一种面向无线体域网的高能效拓扑结构优化方法 |
CN105897585A (zh) * | 2016-04-11 | 2016-08-24 | 电子科技大学 | 一种自组织网络基于时延约束的q学习分组传输方法 |
CN105897585B (zh) * | 2016-04-11 | 2019-07-23 | 电子科技大学 | 一种自组织网络基于时延约束的q学习分组传输方法 |
CN106686533A (zh) * | 2017-01-06 | 2017-05-17 | 东华大学 | 一种基于增强学习算法的无线体域网数据传输方法 |
CN106686533B (zh) * | 2017-01-06 | 2020-05-26 | 东华大学 | 一种基于增强学习算法的无线体域网数据传输方法 |
CN107644641A (zh) * | 2017-07-28 | 2018-01-30 | 深圳前海微众银行股份有限公司 | 对话场景识别方法、终端以及计算机可读存储介质 |
CN107644641B (zh) * | 2017-07-28 | 2021-04-13 | 深圳前海微众银行股份有限公司 | 对话场景识别方法、终端以及计算机可读存储介质 |
CN107454650A (zh) * | 2017-08-07 | 2017-12-08 | 西安电子科技大学 | 车载自组织网络中基于q学习和电子地图的路由方法 |
CN107454650B (zh) * | 2017-08-07 | 2019-12-24 | 西安电子科技大学 | 车载自组织网络中基于q学习和电子地图的路由方法 |
CN109547351A (zh) * | 2019-01-22 | 2019-03-29 | 西安电子科技大学 | Ad Hoc网络中基于Q学习和信任模型的路由方法 |
CN110366226A (zh) * | 2019-06-06 | 2019-10-22 | 中国船舶工业系统工程研究院 | 一种基于强化学习的水下无线传感器网络路由算法 |
Also Published As
Publication number | Publication date |
---|---|
CN103974366B (zh) | 2017-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103974366A (zh) | 一种基于增强学习的无线体域网路由方法 | |
Sangaiah et al. | Energy consumption in point-coverage wireless sensor networks via bat algorithm | |
Wang et al. | Bio-inspired ant colony optimization based clustering algorithm with mobile sinks for applications in consumer home automation networks | |
Bagci et al. | An energy aware fuzzy approach to unequal clustering in wireless sensor networks | |
CN103297983B (zh) | 一种基于网络流的无线传感器网络节点动态部署方法 | |
Rezaeipanah et al. | A Hybrid Approach for Prolonging Lifetime of Wireless Sensor Networks Using Genetic Algorithm and Online Clustering. | |
CN102685255B (zh) | 一种分布式机会网络社区划分方法 | |
Srivastava et al. | A genetic fuzzy system based optimized zone based energy efficient routing protocol for mobile sensor networks (OZEEP) | |
CN103906164B (zh) | 海上搜救无线传感器网络拓扑及拓扑控制方法 | |
CN104394566A (zh) | 一种基于模糊决策的低功耗自适应分簇多跳无线传感器网络拓扑控制方法 | |
CN106102075A (zh) | 无线传感网络中基于等级区域划分的分簇方法及系统 | |
CN104168661B (zh) | 一种满足公平性条件的最大化网络生存期传输调度方法 | |
CN107295569A (zh) | 一种基于多移动汇聚节点的能量高效的路由协议 | |
CN108924897A (zh) | 一种基于深度强化学习算法的移动sink路径规划方法 | |
CN104994554A (zh) | 基于非均匀分簇的移动协助无线传感器网络路由方法 | |
CN104219704A (zh) | 无线传感器网络中基于双层网格模型的有毒气体监测与追踪方法 | |
CN104411000A (zh) | 一种无线传感器网络中分层路由协议簇头选择方法 | |
CN106789320A (zh) | 一种用于优化无线传感器网络拓扑的多种群协同进化方法 | |
Bhanderi et al. | Machine learning for wireless sensor network: a review, challenges and applications | |
Nazi et al. | Efficient communications in wireless sensor networks based on biological robustness | |
CN104065574A (zh) | 一种无线传感器网络层内非均匀分簇路由方法 | |
CN102946649A (zh) | 一种基于生成树的无线传感网拓扑构建方法 | |
CN104244287B (zh) | 基于非易失性二维元胞自动机的无线传感网络建模方法 | |
Wen et al. | Energy efficient data collection scheme in mobile wireless sensor networks | |
Jena | Artificial bee colony algorithm based multi-objective node placement for wireless sensor network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170801 |
|
CF01 | Termination of patent right due to non-payment of annual fee |