CN111629440A - 一种采用q学习mac协议收敛性判定方法 - Google Patents

一种采用q学习mac协议收敛性判定方法 Download PDF

Info

Publication number
CN111629440A
CN111629440A CN202010426824.0A CN202010426824A CN111629440A CN 111629440 A CN111629440 A CN 111629440A CN 202010426824 A CN202010426824 A CN 202010426824A CN 111629440 A CN111629440 A CN 111629440A
Authority
CN
China
Prior art keywords
learning
mac protocol
network
convergence
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010426824.0A
Other languages
English (en)
Inventor
冯晓宁
陈阿康
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202010426824.0A priority Critical patent/CN111629440A/zh
Publication of CN111629440A publication Critical patent/CN111629440A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0446—Resources in time domain, e.g. slots or frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/002—Transmission of channel access control information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]
    • H04W74/0816—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA] with collision avoidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种采用Q学习MAC协议收敛性判定方法，包括S1：传感器网络初始化；S2：节点通过网络初始化或者广播探测包获得邻居节点数M；S3:节点获取自身周期帧时隙数N；S4:判断采用Q学习的MAC协议在所处网络环境中是否收敛，当M+1≤N时，采用Q学习MAC协议收敛；当M+1≥2N时，采用Q学习MAC协议不收敛；当N＜M+1＜2N时，协议有条件收敛：当(M+1)与N比值在(1，1.5)时，认定采用Q学习MAC协议收敛；(M+1)与N比值在[1.5，2)时，采用Q学习MAC协议不收敛。本发明节点根据周期帧时隙数与邻居节点数的关系，判定所处网络是否可用，可作为动态设定周期帧时隙数的理论依据，能够扩展基于Q学习MAC协议的应用并提升网络性能。

Description

一种采用Q学习MAC协议收敛性判定方法
技术领域
本发明涉及一种采用Q学习MAC协议收敛性判定方法，特别是一种利用Q学习结合基于随机访问方式实现无碰撞传输技术中节点周期帧时隙数与网络收敛性判定方法，属于无线传感器网络、介质访问控制协议技术领域。
背景技术
无线传感器网络(Wireless Sensor Networks,WSNs)由部署在监测区域内的大量节点组成，通过无线通信的方式形成一个多跳自组织网络，其目的是协作感知、采集以及处理网络覆盖区域中感知对象的信息，并以多跳中继的方式将所感知到的信息传送到用户终端，从而实现计算机网络世界、现实世界以及人类社会的连通。WSNs已被广泛应用于包括环境监测、气候分析、国土安全保护以及地震监测等陆地上的各种领域。
介质访问控制(Medium Access Control，MAC)协议处于WSNs通信协议的底层，决定节点访问信道的方式，负责网络中无线通信资源的分配，对网络的性能有直接的影响。由于节点通常是依靠电池供电，电池能量难以补充，所以在MAC协议开发中需节约能量以延长网络生命周期。
不依赖于模型且通过不断与环境试错交互进而获取经验的Q学习算法已被应用于MAC协议中，在现有的基于Q学习的MAC协议中，采用预先设定网络环境与节点周期帧时隙时隙数方式，无法通过节点周期帧时隙数与节点所处网络环境判定网络收敛性，影响网络的扩展以及性能的提升。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种采用Q学习MAC协议收敛性判定方法，通过理论分析节点的周期帧时隙数与邻居节点个数之间的(不同)关系，判定网络收敛性，进而对网络中动态设定周期帧时隙数提供依据，扩展网络应用，提升网络性能。
为解决上述技术问题，本发明的一种采用Q学习MAC协议收敛性判定方法，包括以下步骤：
S1：传感器网络初始化；
S2：节点通过网络初始化或者广播探测包获得邻居节点数M；
S3:节点获取自身周期帧时隙数N；
S4:判断采用Q学习的MAC协议在所处网络环境中是否收敛，具体为：
当M+1≤N时，任一帧时隙的节点选择数小于等于1，最终每个时隙至多被1个节点选择，所述采用Q学习MAC协议收敛；
当M+1≥2N时，任一帧时隙的节点选择数为大于等于2，最终每个时隙至少被2个节点选择，所述采用Q学习MAC协议不收敛；
当N＜M+1＜2N时，协议有条件收敛：当(M+1)与N比值在(1，1.5)时，采用Q学习MAC协议收敛；(M+1)与N比值在[1.5，2)时，即使放宽收敛条件，采用Q学习MAC协议不收敛。
本发明的有益效果：本发明通过分析节点的周期帧时隙数与邻居节点个数之间的(不同)关系，判定采用Q学习MAC协议是否可用，避免了网络不收敛时节点无法正常通信、节点由于不断尝试通信而消耗能量、使网络过早死亡；该方法可用作周期帧时隙数预先设定以及周期性调整的判定条件，有效指导周期帧时隙数的设定。该判定方法同时可作为动态设定周期帧时隙数的理论依据，能够扩展基于Q学习MAC协议的应用并提升网络性能。
附图说明
图1是网络中无线传感器网络分布示意图。
图2是本发明实施例提供的一种采用Q学习MAC协议网络收敛性判定方法的流程图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于发明的实施例，本领域技术人员没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中，节点根据其周期帧时隙数与邻居节点数的关系，判断协议在该网络环境中是否可以收敛，从而判断其可用性。具体包含以下步骤：
(1)节点获取其一跳范围内邻居节点数并与其自身周期帧时隙数进行比较。
(2)节点根据其一跳范围内邻居节点数与其自身周期帧时隙数的关系判断该基于Q学习的MAC协议在所处网络环境中是否可以收敛，即可用。若邻居节点数加1小于等于其自身周期帧时隙数时，该协议在所处网络中一定可以收敛，即每个节点都能通过试错找到专属帧时隙，网络可以正常通信；若邻居节点数加1大于等于2倍的周期帧时隙数时，该协议所处网络一定不能收敛，即所有节点都找不到专属帧时隙，网络无法通信；若邻居节点数加1处在开区间(N，2N)时，该网络有条件收敛，即存在一部分节点找不到专属帧时隙，但网络可以通信，通信性能差。
步骤(2)中，节点通过动态获得邻居节点数并与自身周期帧数进行比较，可以得到该协议在当前网络环境中是否收敛的判断准则。
结合图1和图2，本发明的一种采用Q学习MAC协议收敛性判定方法，包括以下步骤：
(1)传感器网络初始化；
(2)节点通过网络初始化或者广播探测包获得邻居节点数M
(3)节点获取自身周期帧时隙数N；
(4)当M+1≤N时，通过计算可得任一帧时隙的节点选择数的概率分布，进而求得其数学期望一定小于等于1，即任一帧时隙的节点选择数为小于等于1，即最终每个时隙最多被1个节点选择，那么该协议一定能够收敛，可以应用；
(5)若M+1≥2N时，通过计算可得任一帧时隙的节点选择数的概率分布，进而求得其数学期望一定大于等于2，即任一帧时隙的节点选择数为大于等于2，即最终每个时隙最少被2个节点选择，那么该协议一定不能够收敛，无法应用；
(6)若N＜M+1＜2N时，网络有条件收敛：(a)(M+1)与N比值在开区间(1，1.5)时，放宽Q学习收敛条件可认为网络在一定条件下收敛，比值越小网络通信能力越强；(M+1)与N比值在[1.5，2)时，即使放宽收敛条件，也认为网络不能收敛。
结合具体参数给出本发明实施例：
结合图1，以节点a为例，节点a通信范围内有邻居节点b、c、d、e。
结合图2，按此流程图执行步骤如下：
(1)节点a通过广播探测包获得邻居节点数目4，并与自身周期帧时隙数N进行比较；
(2)若其周期帧时隙数N≥5时，网络一定能够收敛；
(3)若其周期帧时隙数N≤2.5时(N取1,2)，网络一定不能收敛；
(4)若2.5＜N＜5时，网络有条件收敛：(a)5与N比值在开区间(1，1.5)时，即3.3<N<5(N取4)，可认为网络在一定条件下收,；5与N比值在[1.5，2)时，即2.5<N≤3.3(N取3)，可认为网络不能收敛。

Claims (1)

1.一种采用Q学习MAC协议收敛性判定方法，其特征在于，包括以下步骤：
S1：传感器网络初始化；
S2：节点通过网络初始化或者广播探测包获得邻居节点数M；
S3:节点获取自身周期帧时隙数N；
S4:判断采用Q学习的MAC协议在所处网络环境中是否收敛，具体为：
当M+1≤N时，任一帧时隙的节点选择数小于等于1，最终每个时隙至多被1个节点选择，所述采用Q学习MAC协议收敛；
当M+1≥2N时，任一帧时隙的节点选择数为大于等于2，最终每个时隙至少被2个节点选择，所述采用Q学习MAC协议不收敛；
当N＜M+1＜2N时，协议有条件收敛：当(M+1)与N比值在(1，1.5)时，认定采用Q学习MAC协议收敛；(M+1)与N比值在[1.5，2)时，采用Q学习MAC协议不收敛。
CN202010426824.0A 2020-05-19 2020-05-19 一种采用q学习mac协议收敛性判定方法 Withdrawn CN111629440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010426824.0A CN111629440A (zh) 2020-05-19 2020-05-19 一种采用q学习mac协议收敛性判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010426824.0A CN111629440A (zh) 2020-05-19 2020-05-19 一种采用q学习mac协议收敛性判定方法

Publications (1)

Publication Number Publication Date
CN111629440A true CN111629440A (zh) 2020-09-04

Family

ID=72260607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010426824.0A Withdrawn CN111629440A (zh) 2020-05-19 2020-05-19 一种采用q学习mac协议收敛性判定方法

Country Status (1)

Country Link
CN (1) CN111629440A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030150A1 (en) * 2010-07-29 2012-02-02 Telcordia Technologies, Inc. Hybrid Learning Component for Link State Routing Protocols
US20120320790A1 (en) * 2011-06-20 2012-12-20 Cisco Technology, Inc. Systematic neighbor detection in shared media computer networks
CN105050186A (zh) * 2015-06-23 2015-11-11 闽南师范大学 一种基于tdma的宽带无线自组网mac层协议方法
CN105306176A (zh) * 2015-11-13 2016-02-03 南京邮电大学 一种基于q学习的车载网mac协议的实现方法
CN105873130A (zh) * 2016-05-30 2016-08-17 电子科技大学 一种用于多跳自组织网络的时隙竞争方法
CN107018575A (zh) * 2017-05-27 2017-08-04 河南科技大学 无线传感器网络的可扩展可预约sr‑bma协议
CN109362113A (zh) * 2018-11-06 2019-02-19 哈尔滨工程大学 一种水声传感器网络合作探索强化学习路由方法
CN109462858A (zh) * 2017-11-08 2019-03-12 北京邮电大学 一种无线传感器网络参数自适应调节方法
CN109660374A (zh) * 2017-10-11 2019-04-19 北京邮电大学 一种基于智能时隙选择的信道接入方法
CN110972228A (zh) * 2019-11-08 2020-04-07 华南农业大学 一种基于认知无线传感器网络的分簇路由方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030150A1 (en) * 2010-07-29 2012-02-02 Telcordia Technologies, Inc. Hybrid Learning Component for Link State Routing Protocols
US20120320790A1 (en) * 2011-06-20 2012-12-20 Cisco Technology, Inc. Systematic neighbor detection in shared media computer networks
CN105050186A (zh) * 2015-06-23 2015-11-11 闽南师范大学 一种基于tdma的宽带无线自组网mac层协议方法
CN105306176A (zh) * 2015-11-13 2016-02-03 南京邮电大学 一种基于q学习的车载网mac协议的实现方法
CN105873130A (zh) * 2016-05-30 2016-08-17 电子科技大学 一种用于多跳自组织网络的时隙竞争方法
CN107018575A (zh) * 2017-05-27 2017-08-04 河南科技大学 无线传感器网络的可扩展可预约sr‑bma协议
CN109660374A (zh) * 2017-10-11 2019-04-19 北京邮电大学 一种基于智能时隙选择的信道接入方法
CN109462858A (zh) * 2017-11-08 2019-03-12 北京邮电大学 一种无线传感器网络参数自适应调节方法
CN109362113A (zh) * 2018-11-06 2019-02-19 哈尔滨工程大学 一种水声传感器网络合作探索强化学习路由方法
CN110972228A (zh) * 2019-11-08 2020-04-07 华南农业大学 一种基于认知无线传感器网络的分簇路由方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王怡浩: "无线传感器网络中感知MAC协议的技术研究", 《中国优秀硕士学位论文全文数据库》 *
马朋委: "Q_learning 强化学习算法的改进及应用研究", 《中国优秀硕士学位论文全文数据库》 *

Similar Documents

Publication Publication Date Title
LaI et al. Measurement and characterization of link quality metrics in energy constrained wireless sensor networks
Cohen et al. Continuous neighbor discovery in asynchronous sensor networks
Akram et al. Deck: A distributed, asynchronous and exact k-connectivity detection algorithm for wireless sensor networks
Mavromoustakis et al. Using real-time backward traffic difference estimation for energy conservation in wireless devices
Trinh et al. A reinforcement learning-based duty cycle adjustment technique in wireless multimedia sensor networks
Haimour et al. Energy efficient sleep/wake-up techniques for IOT: A survey
Sennan et al. LOA-RPL: Novel Energy-Efficient Routing Protocol for the Internet of Things Using Lion Optimization Algorithm to Maximize Network Lifetime.
Anker et al. Efficient clustering for improving network performance in wireless sensor networks
CN103634913A (zh) 基于分簇的多跳多信道认知无线传感网络的通信方法
KR20210103628A (ko) Rpl을 기반한 무선네트워크에서 에너지 효율성 및 패킷 송수신 안정성을 개선하기 위한 라우팅 방법
Barrachina-Muñoz et al. Towards energy efficient LPWANs through learning-based multi-hop routing
Comito et al. An energy-aware clustering scheme for mobile applications
Sreedevi et al. An Efficient Intra‐Cluster Data Aggregation and finding the Best Sink location in WSN using EEC‐MA‐PSOGA approach
Qureshi et al. Evaluation and improvement of CDS-based topology control for wireless sensor networks
Xu et al. Maximizing throughput for low duty-cycled sensor networks
Rahhal et al. A novel trust-based cross-layer model for wireless sensor networks
CN111629440A (zh) 一种采用q学习mac协议收敛性判定方法
Kim et al. Energy efficient clustering algorithm for the mobility support in an IEEE 802.15. 4 based wireless sensor network
Niewiadomska-Szynkiewicz Energy aware communication protocols for wireless sensor networks
Del-Valle-Soto et al. Energy-efficiency model for a smart building: A real application
Sharma et al. Zone-based energy efficient routing protocols for wireless sensor networks
Sinha et al. T-SNIPER: Trust-aware sensor network information protocol for efficient routing
Naidja et al. A dynamic self-organising heterogeneous routing protocol for clustered WSNs
Shivaraman et al. Decoric: Decentralized connected resilient iot clustering
Boughanmi et al. Energy efficient aggregation in wireless sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200904