CN113507738A - 一种移动自组网路由决策方法 - Google Patents

一种移动自组网路由决策方法 Download PDF

Info

Publication number
CN113507738A
CN113507738A CN202110725561.8A CN202110725561A CN113507738A CN 113507738 A CN113507738 A CN 113507738A CN 202110725561 A CN202110725561 A CN 202110725561A CN 113507738 A CN113507738 A CN 113507738A
Authority
CN
China
Prior art keywords
node
nodes
trust
trust value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110725561.8A
Other languages
English (en)
Other versions
CN113507738B (zh
Inventor
王娟
夏琦
高建彬
胡垚
李铭
杜先龄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Financial Dream Workshop Investment Management Co ltd
University of Electronic Science and Technology of China
Original Assignee
Chengdu Financial Dream Workshop Investment Management Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Financial Dream Workshop Investment Management Co ltd, University of Electronic Science and Technology of China filed Critical Chengdu Financial Dream Workshop Investment Management Co ltd
Priority to CN202110725561.8A priority Critical patent/CN113507738B/zh
Publication of CN113507738A publication Critical patent/CN113507738A/zh
Application granted granted Critical
Publication of CN113507738B publication Critical patent/CN113507738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/009—Security arrangements; Authentication; Protecting privacy or anonymity specially adapted for networks, e.g. wireless sensor networks, ad-hoc networks, RFID networks or cloud networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/66—Trust-dependent, e.g. using trust scores or trust relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种移动自组网路由决策方法，该方法基于可信机制和Q‑Learning动态信任值实现，所述可信机制包括邻居监控、信息共享、评估决策和路由管理等。本发明解决了自组网在恶劣情况下节点自身的不信任程度以及节点自主选择最适合的下一跳节点等问题，实现了节点内部评估信任并剔除不信任节点，也实现了节点根据自身探索网络后的智能选择。同时解决了基于信任机制的移动自组网中激励节点诚实推荐的问题，并在此基础上实现可信路由协议。在移动自组网中引入信任机制评判节点的行为，能够有效地建立节点间的信任关系,从而构建一个稳定、可信的网络环境。

Description

一种移动自组网路由决策方法
技术领域
本发明属于自组网技术领域，具体涉及一种移动自组网路由决策方法。
背景技术
自组网是一种移动通信和计算机网络相结合的网络，网络的信息交换采用计算机网络中的分组交换机制，用户终端是可以移动的便携式终端，自组网中每个用户终端都兼有路由器和主机两种功能，它不依赖于预设的基础设施而临时组建，网络中的移动节点利用自身的无线收发设备交换信息，当相互之间不在通信范围内时,可以借助其他中间节点中继来实现多跳通信。
自组网具有一般通信网络所没有的一些特点，如网络的自组性、拓扑的动态性、带宽的有限性、控制的分布性、多跳性以及有限的安全性等，但同时也面临了一些挑战：自组网的网络拓扑结构复杂且多用于环境急剧变化且存在恶意节点的情况下、通信开销大、吞吐量带宽有限和节点下一跳决策困难等。
在自组网这样一个形势复杂多变的环境中，状态空间极大，不可能用传统的通信方法解决所有的问题，也不可能在所有的态势下指定自组网节点下一跳的行为和动作，甚至是硬件设备和使用环境的变化都会影响到自组网路由决策。因此，针对这种情况，考虑到自组网网络环境的多变性以及节点自身的安全性，我们引入了基于推荐信任的可信路由协议，并在此安全基础上，将自组网路由决策类比为复杂环境下多智能体协作和决策问题，引进机器学习领域中的Q-Learning以提高自组网节点下一跳决策的智能能力。
发明内容
为克服上述缺陷，本发明提供了一种移动自组网路由决策方法，该方法基于可信机制和Q-Learning动态信任值实现，所述可信机制包括邻居监控、信息共享、评估决策和路由管理等，该方法具体包括以下步骤：
步骤1.节点A存储邻居节点B的信息
任意节点A若在第t个时间帧内与邻居节点B有直接交互行为action，则用结构{A：B，action，trust_value，t}记录此次交互行为，每一个节点均维护一个上述结构的信息，并将此结构存储在直接信任值信息表中，trust_value标记交互行为成功与否；节点间信任关系的建立采用两种方式：一是节点在本地获取的关于被评价节点的信任信息，称为直接信任值；二是来自第三方节点的关于被评价节点信任信息的合成，称为间接信任值；推荐信任值属于直接信任值的一种特殊形式，用于描述一个节点对其他节点能否诚实提供推荐信息的主观性预测；
步骤2.信任值量化：计算直接信任值、推荐信任值、间接信任值和总体信任值；
步骤3.节点A转发数据包时进行邻居监控，判断是否监控成功并更新维护监控缓存表peekBuffer，邻居监控的具体流程为：当节点A给其下一跳节点B发送了一个数据包时，节点A首先将该数据包写入缓存peekBuffer中，并设置计时器，然后转发数据包给节点B，同时开始监控节点B，如果节点A监控到节点B成功转发了数据包，或是由于计时器超时而认定节点B没有成功转发数据包，则将监控到的结果传递给信任库，同时删除数据包；如果节点B没有成功转发数据包，则节点A需要初始化信息，其中，信任库包括标准缓存表buffer、监控缓存表peekBuffer、推荐请求缓存waitRecomBuffer和推荐信息缓存表recomBuffer；
步骤4.信息共享：节点A在步骤3中成功监控后，根据本地存储的直接信任值信息表确定评价节点B是否可信，而当节点A无法依据直接信任值信息表来判断某节点B是否可信时，首先需要查看自己缓存在节点本地的推荐信息缓存表recomBuffer，对于recomBuffer中有关待评价节点B的每一条推荐信息，节点A需要计算推荐信任值，若计算得到的推荐信任值高于预先设定的阈值则使用，否则在recomBuffer中删除此条推荐信息；多个节点维护相同信任库，以便后续多节点智能协作；
步骤5.节点评估：对于各个节点的推荐信任值进行评价，找出可信节点；
步骤6.路由管理决策：根据上述建立的可信路由协议，采用Q-Learning框架，将节点类比为多智能体协作中的智能体，选择节点路由的下一跳。
本发明解决了自组网在恶劣情况下节点自身的不信任程度以及节点自主选择最适合的下一跳节点等问题。实现了节点内部评估信任并剔除不信任节点，也实现了节点根据自身探索网络后的智能选择。解决了基于信任机制的移动自组网中激励节点诚实推荐的问题，并在此基础上实现可信路由协议。在移动自组网中引入信任机制评判节点的行为，能够有效地建立节点间的信任关系,从而构建一个稳定、可信的网络环境。
附图说明
图1为本发明所述方法中节点单路推荐的示意图。
图2为本发明所述方法中节点多路推荐的示意图。
图3为本发明所述方法中可信路由协议组成示意图。
图4为本发明所述方法中节点邻居监控的流程图。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本发明提供了一种移动自组网路由决策方法，该方法基于可信机制和Q-Learning动态信任值实现，可信机制包括邻居监控、信息共享、评估决策和路由管理等，如图3所示。本方法具体包括以下步骤：
步骤1.节点A存储邻居节点B的信息
任意节点A若在第t个时间帧内与邻居节点B有直接交互行为action，则用结构{A：B，action，trust_value，t}记录此次交互行为，每一个节点均维护一个上述结构的信息，并将此结构存储在直接信任值信息表中，trust_value标记交互行为成功与否。节点间信任关系的建立采用两种方式：一是节点在本地获取的关于被评价节点的信任信息，称为直接信任值；二是来自第三方节点的关于被评价节点信任信息的合成，称为间接信任值。推荐信任值属于直接信任值的一种特殊形式，用于描述一个节点对其他节点能否诚实提供推荐信息的主观性预测。信任值的符号说明见表1，具体存储量化后的信任值。
表1符号说明
Figure BDA0003138496820000031
注：未列出符号及重复的符号以出现处为准
步骤2.信任值量化
步骤2.1.直接信任值计算。若节点A在第i个时间帧内(i＝1，2，...，I),与邻居节点B交互成功ki次，失败ji次，β1，β2为人为预先设置的两个时间权重因子，则在第I时间帧内选择节点B的可能性为：
Figure BDA0003138496820000041
其中，ti为第i时间帧的时间(即从第1个时间帧到第i时间帧的时间)，tI为第I时间帧的时间，且0≤β1≤1，0≤β2≤1。
将p带入熵函数H(p)中：
Figure BDA0003138496820000042
则信任值公式表示为
Figure BDA0003138496820000043
由上述过程，直接信任值
Figure BDA0003138496820000044
其中subject表示节点A，node表示邻居节点B，action表示A、B节点交互情况。
步骤2.2.推荐信任值计算。将邻居节点B反馈来的trust_value和节点A计算得到的直接信任值进行偏离测试：判断
Figure BDA0003138496820000045
是否成立，其中，η表示预设的偏离阈值，取值范围0≤η＜1。
如果偏离测试成功，即
Figure BDA0003138496820000046
成立，则认为邻居节点B的推荐诚实可靠，否则认为其进行虚假推荐。最后节点A将此次推荐行为写进节点A的推荐信任值信息表中(其中，推荐信任值信息表初始化为空)。根据trust_value的值，若交互行为成功，则表明此次推荐诚实。若此次推荐诚实，且节点A在第i时间帧内(i＝1，2，...，M)(为了区分直接信任值和推荐信任值这两种计算结果，这里的i＝1，2，...，M)，与邻居节点B交互成功ki次，失败ji次，α1，α2为人为预先设置的两个时间权重因子，则在第M时间帧选择节点B的可能性为：
Figure BDA0003138496820000047
其中，ti为第i时间帧的时间，tM为第M时间帧的时间，且0≤α1≤1，0≤α2≤1。
将p′带入
Figure BDA0003138496820000051
则推荐信任值Rsubject：recommender为
Figure BDA0003138496820000052
其中，subiect表示节点A，recommender表示邻居节点B。
步骤2.3.间接信任值计算。间接信任值计算分为单路推荐和多路推荐类型，分别如图1和图2所示，节点可以从一个或多个邻居节点处获得推荐信息，前者称为单路推荐，后者称为多路推荐。本发明考虑到自组网网络的复杂性，采用多路推荐即通过多个邻居节点处获得的推荐信息来计算间接信任倍
Figure BDA0003138496820000053
节点A到节点C的间接信任值
Figure BDA0003138496820000054
表示为：
Figure BDA0003138496820000055
其中，RA：B表示节点A到节点B的推荐信任值，RA：D表示节点A到节点D的推荐信任值，
Figure BDA0003138496820000056
表示节点B到节点C的直接信任值，
Figure BDA0003138496820000057
表示节点D到节点C的直接信任值。其中A、B、C、D均为图2中的节点符号。
步骤2.4.总体信任值计算。直接信任值和间接信任值进行加权求和即为总体信任值：
Figure BDA0003138496820000058
其中，α，β分别为人为预先设定的
Figure BDA0003138496820000059
和
Figure BDA00031384968200000510
的权重值，其中，subject为节点A，node为邻居节点B，action表示交互行为，且α+β＝1。
步骤3.节点A转发数据包时进行邻居监控，判断是否监控成功并更新维护监控缓存表。邻居监控的具体流程如图4所示，当节点A给其下一跳节点B发送了一个数据包时，节点A首先将该数据包写入缓存peekBuffer中，并设置计时器，然后转发数据包给节点B，同时开始监控节点B。如果节点A监控到节点B成功转发了数据包，或是由于计时器超时而认定节点B没有成功转发数据包，则将监控到的结果传递给信任库，同时删除数据包。如果节点B没有成功转发数据包，则节点A需要初始化信息。其中涉及的协议数据结构如表2所示。
表2数据结构解释
结构 解释
buffer 标准缓存表
peekBuffer 监控缓存表
waitRecomBuffer 推荐请求缓存
recomBuffer 推荐信息缓存表
步骤4.信息共享。节点A在步骤3中成功监控后，根据本地存储的直接信任值信息表确定评价节点B是否可信，而当节点A无法依据直接信任值信息表来判断某节点B是否可信时，首先需要查看自己的recomBuffer(前面步骤2.2中的推荐信任值信息表可以存在链路中，也可以存在云端，recomBuffer特指缓存在节点本地的信息表)，对于recomBuffer中有关待评价节点B的每一条推荐信息，节点A需要计算推荐信任值，若计算得到的推荐信任值高于预先设定的阈值λ，则使用，否则在recomBuffer中删除此条推荐信息。多个节点维护相同信任库(信任库即包含buffer、peekBuffer、waitRecomBuffer和recomBuffer等)，以便后续多节点智能协作，信息共享的具体过程如下：
步骤4.1.节点A初始化推荐请求信息，并向节点B发送推荐请求；
步骤4.2.中间节点B处理推荐请求信息，并将信息打包为推荐反馈信息包；
步骤4.3.中间节点B处理推荐反馈信息包，并发送给节点A；
步骤4.4.发起推荐请求的节点A处理推荐反馈信息包并合成间接信任值。
步骤5.节点评估。对于各个节点的推荐信任值进行评价，即进行所述步骤2.2的偏离测试，低于阈值η的即列为不可信节点。后续决策则不考虑这些不可信节点，剩余节点作为可信节点。
步骤6.路由管理决策。根据上述建立的可信路由协议，采用Q-Learning框架，将节点类比为多智能体协作中的智能体。
步骤6.1.基于上述步骤5得到的可信节点，对任意一个可信节点，将链路持续时间t′、可信路由协议中节点直接信任值
Figure BDA0003138496820000061
和推荐信任值
Figure BDA0003138496820000062
三个因素作为路由度量信息来定义Q-Learning中的奖励函数R(s，a)，即：R(s，a)＝g+[μ·t′(s，a)+v·Td(s，a)+λ·Tr(s，a)]。其中，s为当前节点s，a为节点下一跳的选择，即推荐的邻居节点a，g为奖惩因子，t′(s，a)、Td(s，a)、Tr(s，a)分别是t′、
Figure BDA0003138496820000071
Rsubject：recommender的归一化值，μ、v、λ分别是t′(s，a)、Td(s，a)、Tr(s，a)这三个因素预设的权重因子，且满足μ+v+λ＝1。
步骤6.2.各个网络节点作为发送节点将各自本地的信任库发送给其邻居节点，邻居节点作为接收节点根据各自维护的信任库和Q-learning奖励函数计算并更新Q值：Q(s，a)＝R(s，a)+γmaxa′(Q(s′，a′))，其中的Q(s，a)为节点s到节点a的Q值，R(s，a)为节点s到节点a的奖励值，γ为预设的折扣因子，maxa′(Q(s′，a′))为节点s′到节点a′的Q值最大值时的节点a′，Q(s′，a′)为节点s′到节点a′的Q值，节点s′、节点a′为节点s、节点a下一跳的节点双方。
步骤6.3.节点A在存在待转发的数据包时，根据其维护的Q值智能选择下一跳转发节点B，节点路由的最优策略定义为在每一状态选用Q值最大的行为即为节点路由的下一跳，策略为：Π(s)＝arg maxaQ(s，a)。
以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (4)

1.一种移动自组网路由决策方法，其特征在于，该方法基于可信机制和Q-Learning动态信任值实现，所述可信机制包括邻居监控、信息共享、评估决策和路由管理，该方法具体包括以下步骤：
步骤1.节点A存储邻居节点B的信息
任意节点A若在第t个时间帧内与邻居节点B有直接交互行为action，则用结构{A：B，action，trust_value，t}记录此次交互行为，每一个节点均维护一个上述结构的信息，并将此结构存储在直接信任值信息表中，trust_value标记交互行为成功与否；节点间信任关系的建立采用两种方式：一是节点在本地获取的关于被评价节点的信任信息，称为直接信任值；二是来自第三方节点的关于被评价节点信任信息的合成，称为间接信任值；推荐信任值属于直接信任值的一种特殊形式，用于描述一个节点对其他节点能否诚实提供推荐信息的主观性预测；
步骤2.信任值量化
步骤2.1.直接信任值计算：若节点A在第i个时间帧内与邻居节点B交互成功ki次，失败ji次，i＝1，2，...，I，则在第1时间帧内选择节点B的可能性为：
Figure FDA0003138496810000011
其中，ti为第i时间帧的时间，即从第1个时间帧到第i时间帧的时间，tI为第I时间帧的时间，β1，β2为预先设置的两个时间权重因子，且0≤β1≤1，0≤β2≤1；
将p带入熵函数H(p)中：
Figure FDA0003138496810000012
则信任值公式表示为
Figure FDA0003138496810000013
由上述过程，直接信任值
Figure FDA0003138496810000014
其中subject表示节点A，node表示邻居节点B，action表示A、B节点交互情况；
步骤2.2.推荐信任值计算：将邻居节点B反馈来的trust_value和节点A计算得到的直接信任值进行偏离测试：判断
Figure FDA0003138496810000021
是否成立，其中，η表示预设的偏离阈值；
如果偏离测试成功，即
Figure FDA0003138496810000022
成立，则认为邻居节点B的推荐诚实可靠，否则认为其进行虚假推荐；最后节点A将此次推荐行为写进节点A的推荐信任值信息表中，所述推荐信任值信息表初始化为空；若此次推荐诚实，且节点A在第i个时间帧内与邻居节点B交互成功ki次，失败ji次，i＝1，2，...，M，则在第M时间帧选择节点B的可能性为：
Figure FDA0003138496810000023
其中，ti为第i时间帧的时间，tM为第M时间帧的时间，α1，α2为预先设置的两个时间权重因子，且0≤α1≤1，0≤α2≤1；
将p′带入
Figure FDA0003138496810000024
则推荐信任值Rsubject：recommender为
Figure FDA0003138496810000025
其中，subject表示节点A，recommender表示邻居节点B；
步骤2.3.间接信任值计算：采用多路推荐即通过多个邻居节点处获得的推荐信息来计算间接信任值
Figure FDA0003138496810000026
节点A到节点C的间接信任值
Figure FDA0003138496810000027
表示为：
Figure FDA0003138496810000028
其中，RA：B表示节点A到节点B的推荐信任值，RA：D表示节点A到节点D的推荐信任值，
Figure FDA0003138496810000029
表示节点B到节点C的直接信任值，
Figure FDA00031384968100000210
表示节点D到节点C的直接信任值；
步骤2.4.总体信任值计算：直接信任值和间接信任值进行加权求和即为总体信任值
Figure FDA0003138496810000031
其中，α，β分别为预先设定的权重值，且α+β＝1；
步骤3.节点A转发数据包时进行邻居监控，判断是否监控成功并更新维护监控缓存表peekBuffer，邻居监控的具体流程为：当节点A给其下一跳节点B发送了一个数据包时，节点A首先将该数据包写入缓存peekBuffer中，并设置计时器，然后转发数据包给节点B，同时开始监控节点B，如果节点A监控到节点B成功转发了数据包，或是由于计时器超时而认定节点B没有成功转发数据包，则将监控到的结果传递给信任库，同时删除数据包；如果节点B没有成功转发数据包，则节点A需要初始化信息，其中，信任库包括标准缓存表buffer、监控缓存表peekBuffer、推荐请求缓存waitRecomBuffer和推荐信息缓存表recomBuffer；
步骤4.信息共享：节点A在步骤3中成功监控后，根据本地存储的直接信任值信息表确定评价节点B是否可信，而当节点A无法依据直接信任值信息表来判断某节点B是否可信时，首先需要查看自己缓存在节点本地的推荐信息缓存表recomBuffer，对于recomBuffer中有关待评价节点B的每一条推荐信息，节点A需要计算推荐信任值，若计算得到的推荐信任值高于预先设定的阈值λ，则使用，否则在recomBuffer中删除此条推荐信息；多个节点维护相同信任库，以便后续多节点智能协作；
步骤5.节点评估：对于各个节点的推荐信任值进行评价，即进行所述步骤2.2的偏离测试，低于所述偏离阈值η的即列为不可信节点，后续决策则不考虑这些不可信节点，剩余节点作为可信节点；
步骤6.路由管理决策：根据上述建立的可信路由协议，采用Q-Learning框架，将节点类比为多智能体协作中的智能体，选择节点路由的下一跳。
2.根据权利要求1所述的移动自组网路由决策方法，其特征在于，所述步骤4中信息共享的具体过程包括：
步骤4.1.节点A初始化推荐请求信息，并向节点B发送推荐请求；
步骤4.2.中间节点B处理推荐请求信息，并将信息打包为推荐反馈信息包；
步骤4.3.中间节点B处理推荐反馈信息包，并发送给节点A；
步骤4.4.发起推荐请求的节点A处理推荐反馈信息包并合成间接信任值。
3.根据权利要求2所述的移动自组网路由决策方法，其特征在于，所述步骤6中路由管理决策具体包括：
步骤6.1.基于步骤5得到的可信节点，对任意一个可信节点，将链路持续时间t′、可信路由协议中节点直接信任值
Figure FDA0003138496810000041
和推荐信任值Rsubject：recommender三个因素作为路由度量信息来定义Q-Learning中的奖励函数R(s，a)，即：R(s，a)＝g+[μ·t′(s，a)+v·Td(s，a)+λ·Tr(s，a)]。其中，s为当前节点s，a为节点下一跳的选择，即推荐的邻居节点a，g为奖惩因子，t′(s，a)、Td(s，a)、Tr(s，a)分别是t′、
Figure FDA0003138496810000042
Rsubject：recommender的归一化值，μ、ν、λ分别是t′(s，a)、Td(s，a)、Tr(s，a)这三个因素预设的权重因子，且满足μ+ν+λ＝1；
步骤6.2.各个网络节点作为发送节点将各自本地的信任库发送给其邻居节点，邻居节点作为接收节点根据各自维护的信任库和Q-learning奖励函数计算并更新Q值：Q(s，a)＝R(s，a)+γmaxa′(Q(s′，a′))，其中的Q(s，a)为节点s到节点a的Q值，R(s，a)为节点s到节点a的奖励值，γ为预设的折扣因子，maxa′(Q(s′，a′))为节点s′到节点a′的Q值最大值时的节点a′，Q(s′，a′)为节点s′到节点a′的Q值，节点s′、节点a′为节点s、节点a下一跳的节点双方；
步骤6.3.节点A在存在待转发的数据包时，根据其维护的Q值智能选择下一跳转发节点B，节点路由的最优策略定义为在每一状态选用Q值最大的行为即为节点路由的下一跳，策略为：Π(s)＝argmaxaQ(s，a)。
4.根据权利要求3所述的移动自组网路由决策方法，其特征在于，所述偏离阈值η的取值范围为0≤η＜1。
CN202110725561.8A 2021-06-29 2021-06-29 一种移动自组网路由决策方法 Active CN113507738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725561.8A CN113507738B (zh) 2021-06-29 2021-06-29 一种移动自组网路由决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725561.8A CN113507738B (zh) 2021-06-29 2021-06-29 一种移动自组网路由决策方法

Publications (2)

Publication Number Publication Date
CN113507738A true CN113507738A (zh) 2021-10-15
CN113507738B CN113507738B (zh) 2023-12-12

Family

ID=78010957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725561.8A Active CN113507738B (zh) 2021-06-29 2021-06-29 一种移动自组网路由决策方法

Country Status (1)

Country Link
CN (1) CN113507738B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302065A (zh) * 2022-03-07 2022-04-08 广东电网有限责任公司东莞供电局 一种变电站视频的自适应运维方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501346A (zh) * 2013-10-14 2014-01-08 重庆邮电大学 一种基于机器学习及网络节点信誉的非结构化p2p资源搜索方法
US20170251387A1 (en) * 2014-09-12 2017-08-31 Abb Schweiz Ag Detecting the status of a mesh node in a wireless mesh network
CN109041065A (zh) * 2018-09-19 2018-12-18 北京计算机技术及应用研究所 一种面向两跳多副本自组网的节点信任管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501346A (zh) * 2013-10-14 2014-01-08 重庆邮电大学 一种基于机器学习及网络节点信誉的非结构化p2p资源搜索方法
US20170251387A1 (en) * 2014-09-12 2017-08-31 Abb Schweiz Ag Detecting the status of a mesh node in a wireless mesh network
CN109041065A (zh) * 2018-09-19 2018-12-18 北京计算机技术及应用研究所 一种面向两跳多副本自组网的节点信任管理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G.LIU等: "ESRQ: An Efficient Secure Routing Method in Wireless Sensor Networks Based on Q-Learning", 《2018 17TH IEEE INTERNATIONAL CONFERENCE ON TRUST, SECURITY AND PRIVACY IN COMPUTING AND COMMUNICATIONS/12TH IEEE INTERNATIONAL CONFERENCE ON BIG DATA SCIENCE AND ENGINEERING (TRUSTCOM/BIGDATASE)》, pages 149 - 155 *
亓法欣等: "基于强化学习DQN的智能体信任增强", 《计算机研究与发展》, vol. 57, no. 06, pages 1227 - 1238 *
廖新考等: "网络环境下的个性化信任模型PTM", 《计算机科学》, vol. 44, no. 08, pages 100 - 106 *
谭长庚等: "移动自组网中基于推荐的信任模型", 《计算机技术与发展》, vol. 19, no. 11, pages 68 - 71 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302065A (zh) * 2022-03-07 2022-04-08 广东电网有限责任公司东莞供电局 一种变电站视频的自适应运维方法
CN114302065B (zh) * 2022-03-07 2022-06-03 广东电网有限责任公司东莞供电局 一种变电站视频的自适应运维方法

Also Published As

Publication number Publication date
CN113507738B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
Qin et al. Research on trust sensing based secure routing mechanism for wireless sensor network
CN1906898B (zh) 用于在ad-hoc网中有效地路由的方法和系统
CN1886942B (zh) 用于在ad hoc网中路由业务的方法和系统
Wang et al. A light-weight trust-based QoS routing algorithm for ad hoc networks
Mohanty et al. Energy efficient structure-free data aggregation and delivery in WSN
Hanzo II et al. QoS-aware routing and admission control in shadow-fading environments for multirate MANETs
Igartua et al. Self-configured multipath routing using path lifetime for video-streaming services over ad hoc networks
Lal et al. Bandwidth-aware routing and admission control for efficient video streaming over MANETs
Akbaş et al. Lightweight routing with dynamic interests in wireless sensor and actor networks
Nivedita et al. RETRACTED ARTICLE: Improving QoS and efficient multi-hop and relay based communication frame work against attacker in MANET
CN114423061A (zh) 一种基于注意力机制和深度强化学习的无线路由优化方法
Kim et al. Extended OLSR and AODV based on multi-criteria decision making method
Li et al. Learning-based hierarchical edge caching for cloud-aided heterogeneous networks
Prasad et al. Performance comparison of multipath routing protocols for mobile ad hoc network
Arsalaan et al. Quality of information with minimum requirements for emergency communications
CN113507738A (zh) 一种移动自组网路由决策方法
Wei et al. Trust-based ad hoc on-demand multipath distance vector routing in MANETs
CN104053208B (zh) 无线自组网中基于信道分配的路由方法、装置
Ma et al. Socially aware distributed caching in device-to-device communication networks
Patel et al. A cross-layer design and fuzzy logic based stability oriented routing protocol
Alzadjali et al. A contextual bi-armed bandit approach for MPTCP path management in heterogeneous LTE and WiFi edge networks
Pu Adaptive forwarding strategy based on MCDM model in named data networking
Al-Saadi et al. Multi-rate medium access protocol based on reinforcement learning
Mallapur et al. Fuzzy logic based trusted candidate selection for stable multipath routing
Mohankumar et al. Honesty aware congestion concerned secured edge disjoint multi path routing with fuzzy rule descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant