CN112867089B - 基于信息重要度和q学习算法的水声网络路由选择方法 - Google Patents
基于信息重要度和q学习算法的水声网络路由选择方法 Download PDFInfo
- Publication number
- CN112867089B CN112867089B CN202011623741.7A CN202011623741A CN112867089B CN 112867089 B CN112867089 B CN 112867089B CN 202011623741 A CN202011623741 A CN 202011623741A CN 112867089 B CN112867089 B CN 112867089B
- Authority
- CN
- China
- Prior art keywords
- node
- relay
- nodes
- information
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W40/00—Communication routing or communication path finding
- H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
- H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
- H04W40/10—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources based on available power or energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B13/00—Transmission systems characterised by the medium used for transmission, not provided for in groups H04B3/00 - H04B11/00
- H04B13/02—Transmission systems in which the medium consists of the earth or a large mass of water thereon, e.g. earth telegraphy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W40/00—Communication routing or communication path finding
- H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
- H04W40/22—Communication route or path selection, e.g. power-based or shortest path routing using selective relaying for reaching a BTS [Base Transceiver Station] or an access point
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
- Radio Relay Systems (AREA)
Abstract
基于信息重要度和Q学习算法的水声网络路由选择方法,涉及水声网络。将信息重要度引入多跳水声传感网络,将信息重要度等级作为第一优先条件、将中继节点剩余能量作为第二优先条件,用Q学习算法选择最佳路由:对信息重要度等级高的信息,选到较短的路由,确保重要信息快速、准确传输到水面基站;对信息重要度等级较低的信息,选择剩余能量充足的中继节点,避免某些中继节点重复多次利用,导致节点死亡过快、出现能量空洞。选择用于Q学习算法的节点数仅为全网存活节点总数1/7,避免对全网存活节点探索,缩短Q学习迭代算法的候选节点集范围,找到最佳路由所需的探索次数减少,节约算法运行时间、节约水下节点功耗,延长水声网络生命周期。
Description
技术领域
本发明涉及水声网络,尤其涉及一种基于信息重要度和Q学习算法的水声网络路由选择方法。
背景技术
随着智慧海洋概念的提出和发展,为缓解陆地资源短缺的问题,利用水声传感网络进行海洋资源的探索和开发逐渐成为重要的研究方向。
在恶劣的海洋环境中,由于传感器节点电池更换难度大且更换成本大,水下传感器节点的能耗效率,一直是水声传感网络设计中极具挑战性的关键问题。研究表明,通过多跳传输实现远距离传输的技术手段,可降低水声传感网系统整体的能量消耗(W.Zhang,etal.Analysis of a Linear Multi-hop Underwater Acoustic Network[J].IEEE Journalof Oceanic Engineering,2010,35(4):961-970.)。考虑利用多跳水声传感网络进行水下数据搜集的场景,由于水下网络拓扑结构是随洋流运动而动态变化的,在海底信源节点S和水面基站BS之间的每一个传感器节点均有可能成为中继节点R为其转发数据。在多跳水声传感网络中,如何迅速合理地选择出最优多跳传输路径,同时兼顾节点数据的信息重要度/优先级、节点能耗的均衡等需求,是避免水声网络出现能量空洞、延长水声传感网络寿命的关键所在。
随着机器学习的发展,鉴于Q学习算法的优点,Hu等(T.Hu,et al.QELAR:AMachine-Learning-Based Adaptive Routing Protocol for Energy-Efficient andLifetime-Extended Underwater Sensor Networks[J].IEEE Trans.on MobileComputing,2010,9(6):796-809)将Q学习算法用于多跳水声传感网络的路由选择优化,提高了能耗效率并延长了网络寿命,但相应的路由节点会由于其最优性而频繁被选择,进而造成网络中的能量空洞问题。张德干等(张德干,等.一种基于Q-Learning策略的自适应移动物联网路由新算法[J].电子学报,2018,46(10):23-30)将Q学习算法用于移动物联网路由选择,但移动物联网与水声传感网络存在较大差异;考虑水声数据本身的信息重要度问题,Xiong等(C.Xiong,et al.Routing Design Based on Data Importance Rating inUnderwater Acoustic Sensor Networks[C].In Proc.of IEEE ICSPCC 2020,Taipa,Macau,China,Aug.21-23,2020)提出将水声数据的信息重要度进行分级,然后基于不同重要等级进行多跳水声传感网络的路由选择,但其所选的多跳传输路径较长、死亡中继节点较多,本发明将结合Q学习算法,以有效解决这些问题。
发明内容
本发明的目的在于提供可兼顾水声数据节点信息重要度与中继节点剩余能量情况,采用Q学习算法进行多跳路由选择优化,提高系统整体能耗效率,同时避免水声传感网络路由选择热门中继节点容易造成能量空洞问题,进而延长水声传感网络寿命的一种基于信息重要度和Q学习算法的水声网络路由选择方法。
本发明包括以下步骤:
1)在水声传感网络中,包含Ns个信源节点Si(i=1,2,…,Ns)、NR个中继节点Ri’(i’=1,2,3,…,NR)和1个水面基站BS;信源节点Si负责搜集声学数据,中继节点Ri’负责将信源节点搜集的声学数据信息,通过多跳方式传输至水面基站BS;设每个中继节点的初始能量均为E0;
2)选择一个信源节点Si开始进行多跳传输,信源节点Si对搜集到的声学数据的信息重要度进行判定,根据信息重要度将数据分级,包括“一级,二级,三级,四级”四个信息重要度等级IL,分别表示为IL=1,IL=2,IL=3,IL=4;从一级到四级,代表数据的信息重要度越来越高;用ILi表示信源Si搜集到的数据的信息重要度等级;
其中,E0为每个中继节点的初始能量;
设定选择系数Ki的阈值为μ1和μ2,发送功率Pi的阈值为η1、η2和η3,其中μ2>μ1,η3>η2>η1;当Ki≥μ2时,设置发送功率Pi=η3;当μ2>Ki≥μ1时,设置发送功率Pi=η2;当Ki<μ1时,设置发送功率Pi=η1;当发送功率Pi小于中继节点的最低发送功率ηmin,i时,Pi=ηmin,i;
中继节点最低发送功率ηmin,i的计算可根据声纳方程,由中继节点到最低发送功率ηmin,i对应的中继节点之间的距离确定,子集Λ是中继节点的最低发送功率对应中继节点候选集,即 应满足以下目标函数和约束条件:
6)建立中继节点集合Θ,该中继集合Θ中包括信源节点Si、子集Ψ中的NΨ个中继节点水面基站BS,共计NΨ+2个节点;设置Q学习算法的学习效率为α,探索次数为explore,分别设置Q矩阵和奖励矩阵Reward,两个矩阵大小都为(NΨ+2)×(NΨ+2),初始Q矩阵为(NΨ+2)×(NΨ+2)的零矩阵,Q矩阵不断更新,以记录每一步探索之后的成果并作为最终路由选择的依据;奖励矩阵Reward的设置由每一跳是否成功进行、每一跳对于整体的意义决定,是更新Q矩阵的重要依据;
奖励矩阵Reward设置如下:
6.1)设奖励矩阵Reward大小为(NΨ+2)×(NΨ+2),具体如下所示:
其中,第一行代表数据从信源节点Si传输到其余节点的行为是否可行的标记,即对数据从Si传输到Si、NΨ个中继节点和水面基站BS是否可行进行判决和标记;类似地,第二行至第NΨ+1行依次代表数据从NΨ个中继节点传输到其余节点的行为是否可行的标记,第NΨ+2行代表数据从水面基站BS传输到其余节点的行为是否可行的标记;
6.2)若m,n∈Θ,对数据从节点m传输到节点n的行为是否可行的标记规定如下:
若奖励矩阵Reward(m,n)=-1,代表数据从节点m传输到节点n的行为,没有意义或无法正常进行;若奖励矩阵Reward(m,n)=100,代表数据从节点m传输到节点n的行为,可以正常进行,且使数据直接到达水面基站BS,即节点n是水面基站BS,且节点m可以顺利传输信息至水面基站BS;若奖励矩阵Reward(m,n)为其它值,代表数据从节点m传输到节点n的行为,有意义且可以正常进行,但数据目前暂未最终传输到水面基站BS;
6.3)奖励矩阵Reward(m,n)的标记,存在以下特殊关系:
Reward(m,m)=-1(m=Si,1,2,...,NΨ);Reward(BS,m)=-1(m=Si,1,2,...,NΨ),Reward(BS,BS)=100,Reward(m,Si)=-1(m=Si,1,2,...,NΨ,BS);若中继节点使用发送功率Pi时信号可传输的距离,大于中继节点到水面基站BS的距离,则反之则
探索次数explore设置如下:
explore=[NΨ 3.5]
7)更新Q矩阵,每次探索之后Q矩阵都会更新,具体探索步骤如下:
7.1)随机选择集合Θ中的一个节点作为当前节点CN;
7.2)若当前节点CN并不是水面基站BS,从Reward矩阵中CN所在那一行选择一个后续节点NN,后续节点NN满足Reward(CN,NN)>0;若是水面基站BS,则跳到步骤7.6);
7.3)按下列目标函数和约束条件更新Q矩阵:
其中Q′(CN,NN)为更新后的Q值,α为步骤6)所述的学习效率,Q(NN,NPNc)表示后续节点NN到集合Γ中任意节点NPNc对应的Q值,集合Γ是节点NN可能到达的后续节点的集合;
7.4)设置后续节点NN为新的CN;
7.5)重复步骤7.2)~步骤7.4),直至当前节点CN为水面基站BS,完成一次探索;
7.6)重复步骤7.1)~步骤7.5),直至探索次数达到explore为止,Q矩阵更新完成;
8)根据步骤7)中更新完成的Q矩阵,进行路由选择:
8.2)j=j+1,利用Q矩阵重复步骤8.1),直至信源节点Si的数据多跳传输到水面基站BS为止;
9)信息更新,i=i+1,重复步骤2)~步骤8),直到Ns个所有信源节点Si全部完成水声数据传输为止。
本发明兼顾水声数据节点信息重要度与中继节点剩余能量情况,结合Q学习算法进行多跳路由选择优化,一方面可平衡网络中各节点的能量消耗,避免水声传感网络路由选择热门中继节点容易造成能量空洞问题,进而延长水声传感网络的生命周期;另一方面还可以确保重要的数据信息及时、准确地传输到水面基站。
本发明具有以下突出优点:
1)将信息重要度概念引入多跳水声传感网络,将信息重要度等级作为第一优先条件、将中继节点剩余能量作为第二优先条件,用Q学习算法选择最佳路由:对于信息重要度等级高的信息,可以选到较短的路由,确保重要信息快速、准确地传输到水面基站;对于信息重要度等级较低的信息,可以选择剩余能量充足的中继节点,避免某些中继节点重复多次利用,导致节点死亡过快、出现能量空洞问题。
2)针对水下节点能量受限、水声传输时延大的特点,本发明选择用于Q学习算法的节点数仅为全网存活节点总数的1/7,避免对全网存活节点进行探索,大大缩短Q学习迭代算法的候选节点集范围,找到最佳路由所需要的探索次数也大大减少,因此节约算法运行时间、节约水下节点功耗,延长水声网络生命周期。
3)将信源节点Si与水面基站BS连线的虚拟传输路径线段,作为最优路由的基准线,可确保在信息重要度等级和节点剩余能量要求均满足的条件下,最终所选择的路由最短。
附图说明
图1为本发明基于信息重要度和Q学习算法的水声网络路由选择方法流程图。
图2为本发明实施例中水声传感网络的拓扑图。
图3为本发明基于信息重要度和Q学习算法的水声网络路由选择方法中继节点选择模型图。
图4为本发明基于信息重要度和Q学习算法的水声网络路由选择方法与动态最小功率法的传输距离对比图。
图5为本发明基于信息重要度和Q学习算法的水声网络路由选择方法与动态最小功率法的死亡节点对比图。
具体实施方式
下面结合附图和具体实施例对本发明做详细描述。
本发明在多跳水声传感网络中,将信息重要度等级作为第一优先条件、将中继节点剩余能量作为第二优先条件,用Q学习算法选择最佳路由,一方面可平衡系统整体能量消耗,避免能量洞的问题,延长水声通信网络的生命周期;另一方面可以确保重要的信息可准确、及时地传输到水面基站。具体包括以下步骤:
1)在水声传感网络中,包含Ns个信源节点Si(i=1,2,…,Ns)、NR个中继节点Ri’(i’=1,2,3,…,NR)和1个水面基站BS,如图2所示,设Ns=10、NR=100;信源节点Si负责搜集声学数据,中继节点Ri’负责将信源节点搜集的声学数据信息,通过多跳方式传输至水面基站BS;设每个中继节点的初始能量均为E0。
2)选择一个信源节点Si开始进行多跳传输,信源节点Si对搜集到的声学数据的信息重要度进行判定,根据信息重要度将数据分级,包括“一级,二级,三级,四级”四个信息重要度等级IL,分别表示为IL=1,IL=2,IL=3,IL=4;从一级到四级,代表数据的信息重要度越来越高;用ILi表示信源Si搜集到的数据的信息重要度等级;在仿真分析中,不失一般性地,可假设一级和四级的数量分别设置为总数的10%,二级和三级的数量分别设置为总数的40%,四个等级的信息数量大致服从正态分布。
如图3所示,首先选出满足能量要求的节点组成集合Ω;目前网络中死亡的中继节点为9个,存活的中继节点数为91,则需要从集合Ω中选择13个中继节点组成集合Ψ,选出的节点为◇1至◇13。
其中E0为每个中继节点的初始能量。
设定选择系数Ki的阈值为μ1和μ2,发送功率Pi的阈值为η1、η2和η3,其中μ2>μ1,η3>η2>η1。当Ki≥μ2时,设置发送功率Pi=η3;当μ2>Ki≥μ1时,设置发送功率Pi=η2;当Ki<μ1时,设置发送功率Pi=η1;当发送功率Pi小于中继节点的最低发送功率ηmin,i时,Pi=ηmin,i。
中继节点最低发送功率ηmin,i的计算可根据声纳方程,由中继节点到最低发送功率ηmin,i对应的中继节点之间的距离确定,子集Λ是中继节点的最低发送功率对应中继节点候选集,即 应满足以下目标函数和约束条件:
6)建立中继节点集合Θ,该中继集合Θ中包括信源节点Si、子集Ψ中的NΨ个中继节点水面基站BS,共计NΨ+2个节点;设置Q学习算法的学习效率为α,探索次数为explore,分别设置Q矩阵和奖励矩阵Reward,两个矩阵大小都为(NΨ+2)×(NΨ+2),初始Q矩阵为(NΨ+2)×(NΨ+2)的零矩阵,Q矩阵不断更新,以记录每一步探索之后的成果并作为最终路由选择的依据;奖励矩阵Reward的设置由每一跳是否成功进行、每一跳对于整体的意义决定,是更新Q矩阵的重要依据。
奖励矩阵Reward设置如下:
6.1)设奖励矩阵Reward大小为(NΨ+2)×(NΨ+2),具体如下所示:
其中,第一行代表数据从信源节点Si传输到其余节点的行为是否可行的标记,即对数据从Si传输到Si、NΨ个中继节点和水面基站BS是否可行进行判决和标记;类似地,第二行至第NΨ+1行依次代表数据从NΨ个中继节点传输到其余节点的行为是否可行的标记,第NΨ+2行代表数据从水面基站BS传输到其余节点的行为是否可行的标记;
6.2)若m,n∈Θ,对数据从节点m传输到节点n的行为是否可行的标记规定如下:
若奖励矩阵Reward(m,n)=-1,代表数据从节点m传输到节点n的行为,没有意义或无法正常进行;若奖励矩阵Reward(m,n)=100,代表数据从节点m传输到节点n的行为,可以正常进行,且使数据直接到达水面基站BS,即节点n是水面基站BS,且节点m可以顺利传输信息至水面基站BS;若奖励矩阵Reward(m,n)为其它值,代表数据从节点m传输到节点n的行为,有意义且可以正常进行,但数据目前暂未最终传输到水面基站BS;
6.3)奖励矩阵Reward(m,n)的标记,存在以下特殊关系:
Reward(m,m)=-1(m=Si,1,2,...,NΨ);Reward(BS,m)=-1(m=Si,1,2,...,NΨ),Reward(BS,BS)=100,Reward(m,Si)=-1(m=Si,1,2,...,NΨ,BS);若中继节点使用发送功率Pi时信号可传输的距离,大于中继节点到水面基站BS的距离,则反之则
探索次数explore设置如下:
explore=[NΨ 3.5]
7)更新Q矩阵,每次探索之后Q矩阵都会更新,具体探索步骤如下:
7.1)随机选择集合Θ中的一个节点作为当前节点CN;
7.2)若当前节点CN并不是水面基站BS,从Reward矩阵中CN所在那一行选择一个后续节点NN(next node),后续节点NN满足Reward(CN,NN)>0;若是水面基站BS,则跳到步骤7.6);
7.3)按下列目标函数和约束条件更新Q矩阵:
其中,Q′(CN,NN)为更新后的Q值,α为步骤8)所述的学习效率,Q(NN,NPNc)表示后续节点NN到集合Γ中任意节点NPNc对应的Q值,集合Γ是节点NN可能到达的后续节点的集合;
7.4)设置后续节点NN为新的CN;
7.5)重复步骤7.2)~步骤7.4),直至当前节点CN为水面基站BS,完成一次探索;
7.6)重复步骤7.1)~步骤7.5),直至探索次数达到explore为止,Q矩阵更新完成。
8)根据步骤7)中更新完成的Q矩阵,进行路由选择:
8.2)j=j+1,利用Q矩阵重复步骤8.1),直至信源节点Si的数据多跳传输到水面基站BS为止。
9)信息更新,i=i+1,重复步骤2)~步骤8),直到Ns个所有信源节点Si全部完成水声数据传输为止。
图1为本发明基于信息重要度和Q学习算法的水声网络路由选择方法流程图,给出了上述步骤2)~步骤9)的全过程。图3为本发明基于信息重要度和Q学习算法的水声网络路由选择方法中继节点选择模型图,阐述了步骤步骤4)~步骤8)的过程。
下面对本发明所述方法的可行性进行计算机仿真验证。
以下是对于本发明所述方法仿真结果的分析。为验证本发明基于信息重要度和Q学习算法的水声网络路由选择方法的效果,在后续分析中,将结合Xiong等(C.Xiong,etal.Routing Design Based on Data Importance Rating in Underwater AcousticSensor Networks[C].In Proc.of IEEE ICSPCC 2020,Taipa,Macau,China,Aug.21-23,2020)提出的基于节点信息重要度的动态最小功率法,作为对比算法。仿真参数设置如下:海域范围为10km×10km,数据包大小为1024bit,数据速率为160bps,载波频率为10kHz,海洋背景噪声为60dB,接收端能成功译码的最低信噪比为25dB,中继节点初始能量E0为0.1J,Ki的阈值μ1为1.8,μ2为0.4,发射声源级Pi的阈值η1为140dB,η2为137dB,η3为134dB,信源节点数量Ns=10,中继节点数量NR=100,仿真轮次为500。
1)多跳传输距离对比
图4为本发明基于信息重要度和Q学习算法的水声网络路由选择方法与动态最小功率法的传输距离对比图。由图4可见,采用本发明基于信息重要度和Q学习算法的水声网络路由选择方法,重要信息的多跳传输距离明显减少,可确保信源节点Si中的重要信息及时、准确地传输到水面基站BS;不同信息重要度等级的信息,其传输距离的差异更加明显,这说明对于不同信息重要度等级信息所选择的最优多跳传输路径有明显不同,可避免多次重复利用同一条路径,进而避免该条路径上的中继节点能耗较快,出现能量空洞现象。
2)死亡节点对比
图5为本发明基于信息重要度和Q学习算法的水声网络路由选择方法与动态最小功率法的死亡节点对比图。由如图5可见,本发明基于信息重要度分级和Q学习算法的水声网络路由选择方法,死亡节点数明显少于对比算法动态最小功率法。进一步说明,基于信息重要度分级和结合Q学习算法,可以有效降低中继节点死亡过快,进而延长整个多跳水声传感网络的网络寿命。
综上,从两种方案对比来看,本发明基于信息重要度和Q学习算法的水声网络路由选择方法可以更好地找到最优多跳传输路径,一方面可平衡网络中各节点的能量消耗,避免水声传感网络路由选择热门中继节点容易造成能量空洞问题,进而延长水声传感网络的生命周期;另一方面还可以确保重要的数据信息及时、准确地传输到水面基站。
本发明将信息重要度概念引入多跳水声传感网络,将信息重要度等级作为第一优先条件、将中继节点剩余能量作为第二优先条件,用Q学习算法选择最佳路由:对于信息重要度等级高的信息,可以选到较短的路由,确保重要信息快速、准确地传输到水面基站;对于信息重要度等级较低的信息,可以选择剩余能量充足的中继节点,避免某些中继节点重复多次利用,导致节点死亡过快、出现能量空洞问题。此外,针对水下节点能量受限、水声传输时延大的特点,选择用于Q学习算法的节点数仅为全网存活节点总数的1/7,避免对全网存活节点进行探索,大大缩短Q学习迭代算法的候选节点集范围,找到最佳路由所需要的探索次数也大大减少,因此节约算法运行时间、节约水下节点功耗,延长水声网络生命周期。
Claims (6)
1.基于信息重要度和Q学习算法的水声网络路由选择方法,其特征在于包括以下步骤:
1)在水声传感网络中,包含Ns个信源节点Si(i=1,2,…,Ns)、NR个中继节点Ri’(i’=1,2,3,…,NR)和1个水面基站BS;信源节点Si负责搜集声学数据,中继节点Ri’负责将信源节点搜集的声学数据信息,通过多跳方式传输至水面基站BS;设每个中继节点的初始能量均为E0;
2)选择一个信源节点Si开始进行多跳传输,信源节点Si对搜集到的声学数据的信息重要度进行判定,根据信息重要度将数据分级,包括“一级、二级、三级、四级”四个信息重要度等级IL,分别表示为IL=1,IL=2,IL=3,IL=4;从一级到四级,代表数据的信息重要度越来越高;用ILi表示信源Si搜集到的数据的信息重要度等级;
6)建立中继节点集合Θ,该中继节点集合Θ中包括信源节点Si、子集Ψ中的NΨ个中继节点水面基站BS,共计NΨ+2个节点;设置Q学习算法的学习效率为α,探索次数为explore,分别设置Q矩阵和奖励矩阵Reward,两个矩阵大小都为(NΨ+2)×(NΨ+2),初始Q矩阵为(NΨ+2)×(NΨ+2)的零矩阵,Q矩阵不断更新,以记录每一步探索之后的成果并作为最终路由选择的依据;奖励矩阵Reward的设置由每一跳是否成功进行、每一跳对于整体的意义决定,是更新Q矩阵的重要依据;
7)更新Q矩阵,每次探索之后Q矩阵都会更新;
8)根据步骤7)中更新完成的Q矩阵,进行路由选择;
9)信息更新,i=i+1,重复步骤2)~步骤8),直到Ns个信源节点Si全部完成水声数据传输为止。
其中,E0为每个中继节点的初始能量;
设定选择系数Ki的阈值为μ1和μ2,发送功率Pi的阈值为η1、η2和η3,其中μ2>μ1,η3>η2>η1;当Ki≥μ2时,设置发送功率Pi=η3;当μ2>Ki≥μ1时,设置发送功率Pi=η2;当Ki<μ1时,设置发送功率Pi=η1;当发送功率Pi小于中继节点的最低发送功率ηmin,i时,Pi=ηmin,i;
中继节点最低发送功率ηmin,i的计算根据声纳方程,由中继节点到最低发送功率ηmin,i对应的中继节点之间的距离确定,子集Λ是中继节点的最低发送功率对应中继节点候选集,即 应满足以下目标函数和约束条件:
4.如权利要求1所述基于信息重要度和Q学习算法的水声网络路由选择方法,其特征在于在步骤6)中,所述奖励矩阵Reward的设置具体如下:
4.1)设奖励矩阵Reward大小为(NΨ+2)×(NΨ+2),如下所示:
其中,第一行代表数据从信源节点Si传输到其余节点的行为是否可行的标记,即对数据从Si传输到Si、NΨ个中继节点和水面基站BS是否可行进行判决和标记;类似地,第二行至第NΨ+1行依次代表数据从NΨ个中继节点传输到其余节点的行为是否可行的标记,第NΨ+2行代表数据从水面基站BS传输到其余节点的行为是否可行的标记;
4.2)若m,n∈Θ,对数据从节点m传输到节点n的行为是否可行的标记规定如下:
若奖励矩阵Reward(m,n)=-1,代表数据从节点m传输到节点n的行为,没有意义或无法正常进行;若奖励矩阵Reward(m,n)=100,代表数据从节点m传输到节点n的行为,正常进行,且使数据直接到达水面基站BS,即节点n是水面基站BS,且节点m顺利传输信息至水面基站BS;若奖励矩阵Reward(m,n)为其它值,代表数据从节点m传输到节点n的行为,有意义且正常进行,但数据目前暂未最终传输到水面基站BS;
4.3)奖励矩阵Reward(m,n)的标记,存在以下特殊关系:
Reward(m,m)=-1(m=Si,1,2,...,NΨ);Reward(BS,m)=-1(m=Si,1,2,...,NΨ),Reward(BS,BS)=100,Reward(m,Si)=-1(m=Si,1,2,...,NΨ,BS);若中继节点使用发送功率Pi时信号可传输的距离,大于中继节点到水面基站BS的距离,则反之则
探索次数explore设置如下:
explore=[NΨ 3.5]
5.如权利要求1所述基于信息重要度和Q学习算法的水声网络路由选择方法,其特征在于在步骤7)中,所述探索的步骤如下:
5.1)随机选择集合Θ中的一个节点作为当前节点CN;
5.2)若当前节点CN并不是水面基站BS,从Reward矩阵中CN所在那一行选择一个后续节点NN,后续节点NN满足Reward(CN,NN)>0;若是水面基站BS,则跳到步骤5.6);
5.3)按下列目标函数和约束条件更新Q矩阵:
其中,Q′(CN,NN)为更新后的Q值,α为步骤6)所述的学习效率,Q(NN,NPNc)表示后续节点NN到集合Γ中任意节点NPNc对应的Q值,集合Γ是节点NN可能到达的后续节点的集合;
5.4)设置后续节点NN为新的CN;
5.5)重复步骤5.2)~步骤5.4),直至当前节点CN为水面基站BS,完成一次探索;
5.6)重复步骤5.1)~步骤5.5),直至探索次数达到explore为止,Q矩阵更新完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623741.7A CN112867089B (zh) | 2020-12-31 | 2020-12-31 | 基于信息重要度和q学习算法的水声网络路由选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623741.7A CN112867089B (zh) | 2020-12-31 | 2020-12-31 | 基于信息重要度和q学习算法的水声网络路由选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112867089A CN112867089A (zh) | 2021-05-28 |
CN112867089B true CN112867089B (zh) | 2022-04-05 |
Family
ID=75999289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011623741.7A Active CN112867089B (zh) | 2020-12-31 | 2020-12-31 | 基于信息重要度和q学习算法的水声网络路由选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112867089B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113708953B (zh) * | 2021-07-10 | 2022-07-05 | 西北工业大学 | 一种基于节点重要性均衡的水声传感器网络抗毁方法 |
CN114025324B (zh) * | 2021-11-05 | 2023-06-23 | 河南工程学院 | 一种能耗与时延权衡的分布式信息扩散方法 |
CN114024892B (zh) * | 2021-11-05 | 2023-05-02 | 国网四川省电力公司经济技术研究院 | 一种信息敏感度感知的电力敏感信息自适应安全路由方法 |
CN114423083B (zh) * | 2022-01-21 | 2024-05-03 | 厦门大学 | 基于q学习和数据重要度的水声网络介质访问控制方法 |
CN115001598B (zh) * | 2022-04-29 | 2023-04-11 | 厦门大学 | 可远程遥控的水声信号发射装置 |
CN115002865A (zh) * | 2022-06-07 | 2022-09-02 | 厦门大学 | 基于q学习和数据分级的水声网络动态计算簇头路由方法 |
CN115568039B (zh) * | 2022-09-30 | 2023-08-04 | 青岛科技大学 | 水下无线传感器网络中考虑数据紧急程度的数据采集方法 |
CN115987886B (zh) * | 2022-12-22 | 2024-06-04 | 厦门大学 | 一种基于元学习参数优化的水声网络q学习路由方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106162794A (zh) * | 2016-09-20 | 2016-11-23 | 厦门大学 | 一种基于蚁群算法的水声多跳协作通信网络路由选择方法 |
CN111049743A (zh) * | 2019-12-13 | 2020-04-21 | 厦门大学 | 一种联合优化的水声多跳协作通信网络路由选择方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITUB20155063A1 (it) * | 2015-10-16 | 2017-04-16 | Univ Degli Studi Di Roma La Sapienza Roma | ?metodo e dispositivo per selezionare dinamicamente ed in modo autonomo nel tempo, la migliore soluzione da usare per la comunicazione fra i diversi nodi di una rete di sensori sottomarina, al fine di adattarsi automaticamente alle condizioni mutevoli dell?ambiente sottomarino? |
CN109362113B (zh) * | 2018-11-06 | 2022-03-18 | 哈尔滨工程大学 | 一种水声传感器网络合作探索强化学习路由方法 |
CN111065145B (zh) * | 2020-01-13 | 2021-09-21 | 清华大学 | 一种面向水下多智能体的q学习蚁群路由方法 |
-
2020
- 2020-12-31 CN CN202011623741.7A patent/CN112867089B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106162794A (zh) * | 2016-09-20 | 2016-11-23 | 厦门大学 | 一种基于蚁群算法的水声多跳协作通信网络路由选择方法 |
CN111049743A (zh) * | 2019-12-13 | 2020-04-21 | 厦门大学 | 一种联合优化的水声多跳协作通信网络路由选择方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112867089A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112867089B (zh) | 基于信息重要度和q学习算法的水声网络路由选择方法 | |
Bharany et al. | Energy-efficient clustering protocol for underwater wireless sensor networks using optimized glowworm swarm optimization | |
Hamidouche et al. | Genetic algorithm for improving the lifetime and QoS of wireless sensor networks | |
Chen et al. | QMCR: A Q-learning-based multi-hop cooperative routing protocol for underwater acoustic sensor networks | |
Krishnan et al. | energy-efficient cluster-based routing protocol for wsn based on hybrid bso–tlbo optimization model | |
Qin et al. | A hierarchical information acquisition system for AUV assisted internet of underwater things | |
CN105517093A (zh) | 一种无线传感器网络中基于网络均衡性的节能路由方法 | |
Al Hayali et al. | Increasing energy efficiency in wireless sensor networks using GA-ANFIS to choose a cluster head and assess routing and weighted trusts to demodulate attacker nodes | |
Yu et al. | A multi-objective metaheuristics study on solving constrained relay node deployment problem in WSNS | |
CN110740487A (zh) | 一种能量有效且避障的水下路由方法 | |
Seo et al. | Toward semantic communication protocols: A probabilistic logic perspective | |
CN114007231B (zh) | 异构无人机数据卸载方法、装置、电子设备及存储介质 | |
Huang et al. | Machine learning for underwater acoustic communications | |
CN108650030B (zh) | 水下无线传感器网络的水面多个汇聚结点部署方法 | |
CN115099133A (zh) | 一种基于tlmpa-bp的集群系统可靠性评估方法 | |
Sangeetha et al. | Genetic optimization of hybrid clustering algorithm in mobile wireless sensor networks | |
CN106879044A (zh) | 空洞感知的水下传感器网络路由方法 | |
Chaudhary et al. | Internet of underwater things: challenges, routing protocols, and ML algorithms | |
CN109286961A (zh) | 基于机器学习的水下传感器网络能量优化路径选择方法 | |
CN111565430B (zh) | 一种基于预测轨迹的海洋船舶无线网络路由方法 | |
Zhang et al. | A novel data aggregation method for underwater wireless sensor networks using ant colony optimization algorithm | |
Mahdi et al. | Void-hole aware and reliable data forwarding strategy for underwater wireless sensor networks | |
Shoaib et al. | Data aggregation for Vehicular Ad-hoc Network using particle swarm optimization | |
CN116419290A (zh) | 基于跨层设计联合深度q网络的水声通信能量优化方法 | |
Tabatabaei | Introducing a new routing method in the MANET using the symbionts search algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |