CN115315020A - 基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 - Google Patents
基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 Download PDFInfo
- Publication number
- CN115315020A CN115315020A CN202210941840.2A CN202210941840A CN115315020A CN 115315020 A CN115315020 A CN 115315020A CN 202210941840 A CN202210941840 A CN 202210941840A CN 115315020 A CN115315020 A CN 115315020A
- Authority
- CN
- China
- Prior art keywords
- backoff
- priority
- channel
- csma
- channel access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002776 aggregation Effects 0.000 title description 2
- 238000004220 aggregation Methods 0.000 title description 2
- 230000009471 action Effects 0.000 claims abstract description 25
- 230000002787 reinforcement Effects 0.000 claims abstract description 23
- 239000003795 chemical substances by application Substances 0.000 claims 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 claims 1
- 229910052739 hydrogen Inorganic materials 0.000 claims 1
- 239000001257 hydrogen Substances 0.000 claims 1
- 230000004069 differentiation Effects 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 15
- 238000004088 simulation Methods 0.000 description 9
- 238000005265 energy consumption Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000005203 cap stage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W74/00—Wireless channel access
- H04W74/08—Non-scheduled access, e.g. ALOHA
- H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]
- H04W74/0816—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA] with collision avoidance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明属于无线传感器网络技术领域，具体涉及一种基于区分服务的IEEE802.15.4协议的智能CSMA/CA退避方法，包括将到达节点的数据业务划分为高优先级和低优先级，每个节点维护高优先级队列和低优先级队列两个队列；设置第一贪婪率，按照第一贪婪率从低优先级队列中选择业务进入高优先级队列进行信道接入；构建强化学习模型，将无线传感器作为智能体，根据智能体在各个状态下执行的动作得到的奖励构建奖励值表；利用构建的强化学习模型进行信道接入；本发明综合考量不同优先级数据以及信道接入情况以及退避参数的选择等因素，能有效提高不同优先级数据的信道接入效率，降低网络时延。
Description
技术领域
本发明属于无线传感器网络技术领域，具体涉及一种基于区分服务的IEEE802.15.4协议的智能带有冲突避免的载波侦听多路访问(Carrier Sense MultipleAccess with Collision Avoid，CSMA/CA)退避方法。
背景技术
目前，物联网设备已广泛应用于各行各业，如医疗救援、精准农业、环境监测等领域，而物联网设备的大规模使用主要依赖于无线传感器网络(Wireless Sensor Network，WSN)的发展。WSN利用无线通信技术，比如WIFI、蓝牙、LoRa、ZigBee等，可以便捷的传输物联网设备采集到的数据。其中ZigBee技术凭借自组网、低功耗、低成本、低复杂度等优势，已被广泛应用于智慧城市、智能农业等物联网场景。ZigBee技术的实现基于IEEE802.15.4标准协议，该协议定义了物理层(Physical Layer，PHY)和媒体访问控制层(Medium AccessControl Layer，MAC)的规范，适用于短距离、低速率、低功耗的WSN网络。在IEEE802.15.4协议中，MAC层采用超帧结构来组织信道占用的时间分配，超帧周期为两次信标帧之间的时间，并由活跃期和非活跃期组成。节点的通信是在活跃期采用载波监听多路访问/冲突避免，机制或者保证时隙(Guaranteed Time Slot，GTS)机制进行信道接入，节点在非活跃期进入休眠状态。
在WSN网络中，事件触发性的数据与周期性采集的数据对传输延迟的要求具有显著差异，需要确保紧急数据传输的实时性和可靠性。为了给紧急业务提供实时通信服务，IEEE 802.15.4协议采取GTS机制，以免竞争的方式进行信道接入，但是GTS机制存在以下限制：首先，节点发送的GTS请求和GTS撤销命令需要在竞争访问阶段(Contention AccessPeriod，CAP))采用CSMA/CA机制和数据帧竞争信道的使用权，对于时间敏感事件的传输，协调器由于无法及时接收节点的GTS请求，从而增加了节点使用GTS时隙的时延；其次，每个超帧中GTS时隙最多只有7个，限制了GTS机制在大规模网络中的使用。
总之，如何为IEEE 802.15.4网络提供更好的区分服务，并实现一种高效的信道接入机制来降低网络时延以及提高可靠性，成为了亟待解决的问题。现研究者主要从改进GST机制和CSMA/CA机制入手，对该问题展开研究。众多学者提出的改进GTS机制算法在有限的GTS资源中寻求更优的GTS分配方法，在网络性能上都获得了一定的优势，但是由于802.15.4协议本身的限制，GTS机制只能为少量的节点提供实时通信，无法满足大多数网络节点对于提供区分服务的要求，因此时隙范围更大的竞争访问期也成为了研究的重点。
竞争访问期主要采用CSMA/CA机制进行信道接入，由于同一时间信道只允许一个节点进行数据传输，于是为了避免冲突，在CSMAC/CA机制中采用二进制退避算法。在设备使用CSMA/CA机制接入时，首先会维护三个变量：后退次数(Number of Backoff，NB)、竞争窗口长度(Content Window，CW)和后退指数(BAckoff Exponent，BE)。后退次数在每次信道接入失败时会增1重发，直到系统定义的上限最大后退次数macMaxCSMABackoff；竞争窗口的长度表示设备在进行信道接入前需要进行空闲信道评估(Clear Channel Assessment，CCA)的次数；后退指数表示每次退避的时长就从(0，2BE-1)范围内随机延迟一个退避周期。
CSMA/CA机制每次监听信道忙时，都会以二进制指数方式增加退避窗口的大小随着网络负载的不断增大，CSMA/CA机制的二进制退避算法没有展现很好的鲁棒性，CSMA/CA机制采用盲退避策略，退避指数BE和竞争窗口CW的盲目增加会影响网络的接入，使得网络冲突、重传的概率升高，导致节点发包失败，造成网络堵塞。另外，CSMA/CA机制无法及时响应特殊时延要求的业务需求，紧急数据(GTS请求帧、命令帧、携带告警信息数据帧等)需和普通数据帧共同竞争时隙进行发送，导致紧急业务数据时延增大，无法及时传递。
发明内容
针对现研究阶段改进算法退避参数自适应程度小，优先级业务的信道接入存在时延高、信道利用率低等问题，对IEEE 802.15.4协议中CSMA/CA算法进行改进，提出一种基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，包括以下步骤：
S1、将到达节点的数据业务划分为高优先级和低优先级，每个节点维护高优先级队列和低优先级队列两个队列；
S2、设置第一贪婪率，按照第一贪婪率从低优先级队列中选择业务进入高优先级队列进行信道接入；
S3、构建强化学习模型，将无线传感器作为智能体，根据智能体在各个状态下执行的动作得到的奖励构建奖励值表；
S4、利用构建的强化学习模型进行信道接入。
进一步的，初始化后退次数和竞争窗口长度时，若为高优先级队列任务则后退次数初始化为高优先级退避次数，竞争窗口长度初始化为2；若为低优先级队列任务则后退次数初始化为低优先级退避次数，竞争窗口长度初始化为3，其中高优先级退避次数小于低优先级退避次数。
进一步的，利用构建的强化学习模型进行信道接入包括以下步骤：
初始化传感器节点的奖励值表、学习效率、贪婪率以及奖励值和回退次数；
判断节点数据包的优先级，根据优先级初始化该数据包的退避指数和竞争窗口长度；
定位带退避周期，若当前是探索期，则传感器节点依据CSMA/CA算法进行信道接入；如果当前时段是利用期，节点采用ε-greedy策略进行信道接入，以第二贪婪率ε选择从奖励值表中选择奖励值最大时对应的退避指数执行退避。
进一步的，依据CSMA/CA算法进行信道接入，即在(0,2BE-1)范围内随机延迟一个退避周期，其中，BE表示退避指数的值。
进一步的，采用ε-greedy策略进行信道接入，即在(0,1)产生一个随机数n，当n大于设置的第二贪婪率ε的值时，从奖励值表中选择一个奖励值最大对应的退避指数作为当前退避指数，然后在(0,2BE-1)范围内随机延迟一个退避周期；其中，BE表示退避指数的值。
进一步的，奖励值表的更新包括：
在退避周期边界处执行CCA，并判断信道状态；
若信道为空，则竞争窗口长度自减1，若竞争窗口长度为0，则根据当前接入状态以及退避指数的值更新奖励值表，结束本次退避；若竞争窗口长度不为0，则继续执行CCA判断；
若信道不为空，则根据数据包优先级更新竞争窗口长度，并根据当前信道状态以及退避指数的值更新奖励值表；
更新数据包的退避指数，并判断退避指数是否在最大退避范围内，若在则令退避指数自加1后继续执行CCA判断；否则根据当前接入状态以及退避指数的值更新奖励值表；
其中，当竞争窗口长度为0时当前信道的接入状态为接入成功；当信道不为空时当前信道的接入状态为忙碌；当信道不为空且退避指数超出最大退避范围时信道状态为接入失败。
进一步的，根据退避指数执行退避之后的奖励值表示为：
Qt(BE)＝Qt-1(BE)+α[rt-Qt-1(BE)]；
其中，Qt(BE)表示当前t时刻根据退避指数BE执行退避后的奖励值，α为学习率；rt表示当前t时刻信道接入获得的奖励值。
进一步的，当前t时刻信道接入获得的奖励值rt表示为：
其中，当信道接入成功时奖励值为1，当信道接入失败时奖励值为-1，当信道接入忙碌时奖励值为-0.5。
本发明是针对无线传感器网络中IEEE802.15.4协议的一种智能时隙CSMA/CA退避方法，该方法综合考量不同优先级数据以及信道接入情况以及退避参数的选择等因素，形成一种基于区分服务的强化学习CSMA/CA退避算法，该算法能有效提高不同优先级数据的信道接入效率，降低网络时延。
附图说明
图1为本发明基于优先级队列的IEEE 802.15.4网络示意图；
图2为基于IEEE 802.15.4标准的CSMA/CA算法示意图；
图3为本发明的优先级队列排队流程设计；
图4为本发明的强化学习模型示意图；
图5为本发明的基于区分服务的CSMA/CA智能退避算法的实施流程图；
图6是OMNET++仿真原始协议(Original)和本发明算法(QCSMA)在网络时延上的比较图；
图7是OMNET++仿真原始协议和本发明算法在投递率上的比较图；
图8是OMNET++仿真原始协议和本发明算法终端设备(terminal)和协调器(coordinator)在平均能耗上的比较图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，包括以下步骤：
S1、将到达节点的数据业务划分为高优先级和低优先级，每个节点维护高优先级队列和低优先级队列两个队列；
S2、设置第一贪婪率，按照第一贪婪率从低优先级队列中选择业务进入高优先级队列进行信道接入；
S3、构建强化学习模型，将无线传感器作为智能体，根据智能体在各个状态下执行的动作得到的奖励构建奖励值表；
S4、利用构建的强化学习模型进行信道接入。
本发明主要应用在时间敏感型业务的信道接入过程中，由于时间敏感型业务在CAP阶段仍需和普通数据帧竞争接入信道，其传输时延较高，信道利用率低下，本发明的目的是针对现研究阶段改进算法退避参数自适应程度小，优先级业务的信道接入存在时延高、信道利用率低等问题，对IEEE 802.15.4协议中CSMA/CA算法进行改进，提出一种基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，以提高优先级业务的信道接入效率，降低网络传输时延。
图1为本发明基于优先级队列的IEEE 802.15.4网络示意图，图中包括上层(UpperLayers)、IEEE 802.15.4链路控制子层(logical link control，LLC)、物理介质(PhysicalMedium)、特定服务的聚合子层(service specific convergence sublayer，SSCS)，MAC子层提供两个服务：MAC通用部分子层(MAC Common Part Sublayer，MCPS)提供数据服务和MAC子层管理实体(MAC Subplayer Management Entity，MLME)提供管理服务，MCPS、MLME通过其接入点，即MCPS-SAP、MLME-SAP，与MAC层连接。
在本实施例中考虑从业务优先级分配以及数据包排队策略、退避参数自适应优化等角度提高节点优先级业务的信道接入效率。首先，针对紧急业务在CAP阶段需和数据帧共同竞争时隙进行发送，设计一种业务优先级排队策略为不同优先级数据提供服务；在此基础上，为进一步提高信道接入效率，研究现有的CSMA/CA改进算法，之后将强化学习方法应用到节点信道接入场景中，具体包括以下步骤：
(1)为了使节点在CAP竞争接入阶段区分服务，在本实施例中首先对节点产生的不同业务进行区分，将数据业务划分为两种优先级，即高优先级和低优先级，每个节点将维护两个优先级队列，即高优先级队列和低优先级队列。
(2)按照一定概率选择低优先级业务进入高优先级队列进行信道接入。
(3)定义无线传感器网络中节点退避周期决策问题，并构建强化学习模型。在节点强化学习模型中，智能体(Agent)表示具有独立决策能力的无线传感器节点，动作(Action)表示节点在CSMA/CA算法中选择的退避参数BE值，环境(Enviroment)表示无线传感器网络信道环境信息，状态(State)表示传感器节点所感知到的无线传感器网络环境信息，以及因自身的动作带来的变化，策略(Policy)表示传感器节点在当前状态采用何种方式选择退避参数BE值，奖励(Reward)表示传感器节点选择并执行退避参数后获得的回报。
(4)在强化学习中，每个智能体在特定状态下执行特定的动作，每个动作都有一个奖励，根据所获得的奖励，智能体将移动到下一个状态。对于每个状态-动作对，智能体将有唯一状态值，利用状态值函数表示传感器节点与无线传感器网络信道环境不断试错从而学习的一个长期累积回报，代表了智能体在一个状态下采取某个动作有多好，这样就将节点退避参数决策问题转化为节点学习最优策略问题，即如何在当前状态选择其最佳的退避参数值。
(5)节点使用强化学习模型进行信道接入。首先初始化阶段终端传感器节点的强化学习参数(Q表、学习速率α、第二贪婪率ε、奖励值r)和后退次数值。
(6)在进行信道接入过程中，判断节点数据包的优先级，根据优先级信息确定初始的退避指数BE和竞争窗口长度CW的值。
(7)定位到退避周期，如果当前时段是探索期，节点依据CSMA/CA算法进行信道接入；如果当前时段是利用期，节点采用式ε-greedy策略进行信道接入，以第二贪婪率ε选择具有最大Q值的BE值进行退避。
(8)根据信道接入的结果给予奖励r，同时根据当前退避指数BE更新Q表。
(9)更新NB、CW、BE值，判断本次信道接入是否成功；信道接入失败但NB未超过最大退避范围RangeBackoff，则进入(7)；信道接入失败且NB超过最大退避范围RangeBackoff则进入(6)；信道接入成功则本次退避结束。
作为一种实现方式，本实施例提供如图5所示的流程示意图，提供基于区分不同优先级数据以及利用强化学习进行智能退避的实现方法，具体包括以下步骤：
步骤1：作为一种可选的实施方式，本实施例通过在应用层数据的头部添加优先级字段，区分不同优先级数据，例如使用字段PH表示高优先级数据、字段PL表示低优先级数据。
步骤2：在MAC上层设置两种优先级队列，高优先级数据进入高优先级队列，同时高优先级队列据按照一定概率选择低优先级业务进入高优先级队列进行信道接入，优先级队列排队流程如图3所示，在处理数据的过程中，优先处理高优先级队列的数据，再处理低优先级队列的数据，直到所有队列完成传输。
步骤3：依据无线传感器网络特征构造节点强化学习模型。该模型如图4所示。节点的状态只有一种，在不断的“试错”中进行学习，积累更多的“经验”。该节点强化学习模型需设计动作集合、奖励、Q值更新以及策略选择：
(1)动作集合
无线节点的动作集合A为退避参数BE的选择范围[macMinBE,macMaxBE]，为区分不同的服务，将不同的优先级数据划分不同的动作集合，高优先级数据的动作集合表示为[macMinBEPH,macMaxBE]，低优先级数据的动作集合表示为[macMinBEPL,macMaxBE]，动作集合的选择如式(1)所示：
其中，data表示MAC层接收到的上层数据，PH表示数据为高优先级，PL表示数据为低优先级；macMinBEPH表示高优先级数据的最小退避指数的值，macMinBEPL表示低优先级数据的最小退避指数的值，且macMinBEPH的值低于macMinBEPL，为高优先级数据提供更广的退避周期选择。
(2)奖励
奖励是由环境给出的反馈，表示在特定的状态采取某个动作的直接收益，在无线传感器网络信道接入中，节点最终目标就是成功的竞争到信道的使用权，同时对于检测信道忙时的退避指数BE也得进行惩罚。因此奖励的具体表示如下：
其中，success表示本次数据传输节点成功竞争到信道使用权，fail表示本次竞争失败，busy表示CCA检测当前信道繁忙。
(3)Q值更新
Q值，即奖励值，表示当前状态下执行该动作在未来可以获得多少奖励，因为无线传感器节点只定义了一种状态，因此每一个动作(退避指数BE)都对应了一个奖励的期望值，表示为式(3)：
Qt(BE)＝Qt-1(BE)+α[rt-Qt-1(BE)] (3)
其中，学习率α表示更新的速率有多快，rt表示节点当前信道接入获得的奖励。
(4)策略选择
在IEEE 802.15.4无线传感器网络中为了使节点平衡探索和利用，本算法采用ε-greedy策略，如式(4)所示。即在每个阶段选择退避动作at时，以第二贪婪率ε选择具有最大Q值的退避参数BE，而以概率(1-ε)依据CSMA/CA机制选择BE值：
其中，at表示退避策略，当策略值为
时表示根据第二贪婪率ε选择具有最大Q值的退避参数BE执行退避操作；当策略值为BE时表示以概率(1-ε)依据CSMA/CA机制选择BE值。
步骤4：节点有数据在CAP阶段发送，进入初始化阶段。初始化强化学习参数(Q表、学习速率α、第二贪婪率ε、奖励值r)以及NB值。若数据为高优先级，则退避指数BE的初始值为macMinBEPH，竞争窗口长度CW的值为2；若数据为低优先级，则退避指数BE的初始值值为macMinBEPL，竞争窗口长度CW的值为3。
步骤5：定位到退避期边界，并判断当前时段。若当前时段为探索期，则在(0,2BE-1)范围内随机延迟一个退避周期；若当前时段为利用期，则首先在(0,1)产生一个随机数n，当n大于第二贪婪率值时，在Q表中选择具有最大Q值的动作赋给退避指数BE，然后在在(0,2BE-1)范围内随机延迟一个退避周期。
步骤6：在退避周期边界处执行CCA，若信道为空，则竞争窗口长度CW自减1，接着判断竞争窗口长度CW是否为0，若竞争窗口长度CW为0，则说明接入成功，网络反馈奖励r＝1，并更新当前BE值的Q表，结束本次退避，若CW不为0，则继续执行CCA判断；若信道不为空，则接着判断数据的优先级，数据为高优先级，更新竞争窗口长度CW为2，否则更新竞争窗口长度CW为3，同时网络反馈奖励r＝-0.5，并更新当前BE值的Q表。继续向下判断。
步骤7：BE在(BE+1,macMaxBE)中选择最小的一个，NB自加1，同时判断NB值，若NB未超过最大退避范围RangeBackoff，则进入到步骤5；否则本次节点接入信道失败，同时网络反馈奖励r＝-1，并更新当前BE值的Q表。本次退避结束。
本发明提出的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，利用强化学习为不同优先级数据的退避参数BE创建Q值来有效地改进CSMA/CA退避策略，该算法能根据不同的信道接入环境自适应调整退避参数，使节点能高效接入信道。为验证本实施例提出算法的有效性，采用OMNET++网络仿真软件提供的IEEE802.15.4协议模型来对改进后的协议进行仿真分析。根据本发明提出的技术方案步骤，使用OMNET++进行仿真，仿真场景如下：
仿真采用IEEE 802.15.4信标使能的星型网络进行通信；
一共测试10个无线节点，网络中心为协调器节点，协调器节点位于(200m×200m)的场地中心，其他终端节点随机分布，因此可能会出现隐藏终端现象，同时在终端节点以概率ω随机产生两种不同优先级的数据。
仿真参数如表1所示。
表1 802.15.4仿真参数
端到端延迟是一个数据包从源到目的地所需要的传输时间。数据包可能由于不同的占空比而延迟，也会由于CSMA/CA退避机制导致在传输信道中发生碰撞而延迟，以及受到外部干扰、CCA机制等的影响。在本文中，固定了超帧结构的占空比(SO、BO)，通过采用优先级排队和QCSMA调整退避参数来自适应退避，提高节点在竞争信道的高效接入。图6显示了在不同流量的情况下采用原始802.15.4协议以及本发明QCSMA算法时两种优先级数据的端到端时延仿真结果。与标准协议相比，QCSMA的高优先级数据平均端到端时延降低了13.35％。值得注意的是，本实施例采用了50％的概率随机产生优先级数据，因此低优先级数据因高优先级数据的增加，两者时延的差距显的更大。
投递率主要指发送节点发送数据帧个数与接收数据节点成功收到的数据帧个数之比。投递率主要受到竞争接入信道的影响，数据包在经过多次重传失败后会选择丢弃，同时由于隐藏终端的问题，节点在无线信道中传输的数据包会产生碰撞，导致协调器无法成功接收数据包。本文主要是通过QCSMA算法来提升CSMA/CA机制的接入性能，QCSMA算法针对不同网络环境调整退避参数BE来自适应退避，并通过优先级设置动作选择集合和不同竞争窗口CW提供区分服务。图7显示了在不同流量的情况下采用原始802.15.4协议以及QCSMA算法时两种优先级数据的投递率仿真结果。与标准协议相比，QCSMA算法的数据包投递率提升了32.79％。投递率的提升主要是由于QCSMA算法根据不同的网络环境自适应的选择退避参数BE，在不同的CBR流量下，QCSMA算法依据信道接入的情况来对退避参数BE进行奖惩，从而优化退避值BE的选择，使之选择最佳的BE值进行信道接入，减少了节点竞争。
节点的能量消耗受节点的数量、占空比、信道接入机制的效率、隐藏终端问题以及传输数据包时发生碰撞的影响。信道接入机制影响的原因是节点采用二进制盲退避策略，在帧传输前检测到信道忙，后退指数BE和竞争窗口CW会盲目增加。图8显示的每个节点每个数据包的平均能耗表明，所提出的QCSMA算法提升了网络中节点的能源效率。与原始协议相比，QCSMA算法中终端节点的每个数据包的平均能耗降低了23.8％。每个数据包能耗降低的主要原因在于QCSMA算法在不额外增加节点总能耗的同时提升了节点的投递率，减少了数据包碰撞次数，该算法使节点尽可能多的接入信道并成功发送数据。
本发明在区分不同的优先级数据后，采用优先级队列提供不同的优先服务；在此基础上，提出QCSMA自适应退避算法，QCSMA算法能根据不同的信道接入环境自适应调整退避参数，使节点能高效接入信道。通过OMNET++仿真验证，方案在时延、投递率、节点能量效率等方面均优于原始802.15.4协议，保证了无线传感器网络的可靠传输。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，包括以下步骤：
S1、将到达节点的数据业务划分为高优先级和低优先级，每个节点维护高优先级队列和低优先级队列两个队列；
S2、设置第一贪婪率，按照第一贪婪率从低优先级队列中选择业务进入高优先级队列进行信道接入；
S3、构建强化学习模型，将无线传感器作为智能体，根据智能体在各个状态下执行的动作得到的奖励构建奖励值表；
S4、利用构建的强化学习模型进行信道接入。
2.根据权利要求1所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，初始化后退次数和竞争窗口长度时，若为高优先级队列任务则后退次数初始化为高优先级退避次数，竞争窗口长度初始化为2；若为低优先级队列任务则后退次数初始化为低优先级退避次数，竞争窗口长度初始化为3，其中高优先级退避次数小于低优先级退避次数。
3.根据权利要求1所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，利用构建的强化学习模型进行信道接入包括以下步骤：
初始化传感器节点的奖励值表、学习效率、贪婪率以及奖励值表和回退次数；
判断节点数据包的优先级，根据优先级初始化该数据包的退避指数和竞争窗口长度；
定位带退避周期，若当前是探索期，则传感器节点依据CSMA/CA算法进行信道接入；如果当前时段是利用期，节点采用ε-greedy策略进行信道接入，以第二贪婪率ε选择从奖励值表中选择奖励值最大时对应的退避指数执行退避。
4.根据权利要求3所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，依据CSMA/CA算法进行信道接入，即在(0,2BE-1)范围内随机延迟一个退避周期，其中，BE表示退避指数的值。
5.根据权利要求3所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，采用ε-greedy策略进行信道接入，即在(0,1)产生一个随机数n，当n大于设置的第二贪婪率ε的值时，从奖励值表中选择一个奖励值最大对应的退避指数作为当前退避指数，然后在(0,2BE-1)范围内随机延迟一个退避周期；其中，BE表示退避指数的值。
6.根据权利要求1所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，奖励值表的更新包括：
在退避周期边界处执行CCA，并判断信道状态；
若信道为空，则竞争窗口长度自减1，若竞争窗口长度为0，则根据当前接入状态以及退避指数的值更新奖励值表，结束本次退避；若竞争窗口长度不为0，则继续执行CCA判断；
若信道不为空，则根据数据包优先级更新竞争窗口长度，并根据当前信道状态以及退避指数的值更新奖励值表；
更新数据包的退避指数，并判断退避指数是否在最大退避范围内，若在则令退避指数自加1后继续执行CCA判断；否则根据当前接入状态以及退避指数的值更新奖励值表；
其中，当竞争窗口长度为0时当前信道的接入状态为接入成功；当信道不为空时当前信道的接入状态为忙碌；当信道不为空且退避指数超出最大退避范围时信道状态为接入失败。
7.根据权利要求6所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，根据退避指数执行退避之后的奖励值表示为：
Qt(BE)＝Qt-1(BE)+α[rt-Qt-1(BE)]；
其中，Qt(BE)表示当前t时刻根据退避指数BE执行退避后的奖励值，α为学习率；rt表示当前t时刻信道接入获得的奖励值。
8.根据权利要求7所述的基于区分服务的IEEE 802.15.4协议的智能CSMA/CA退避方法，其特征在于，当前t时刻信道接入获得的奖励值rt表示为：
其中，当信道接入成功时奖励值为1，当信道接入失败时奖励值为-1，当信道接入忙碌时奖励值为-0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941840.2A CN115315020A (zh) | 2022-08-08 | 2022-08-08 | 基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941840.2A CN115315020A (zh) | 2022-08-08 | 2022-08-08 | 基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115315020A true CN115315020A (zh) | 2022-11-08 |
Family
ID=83860116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210941840.2A Pending CN115315020A (zh) | 2022-08-08 | 2022-08-08 | 基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115315020A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118139201A (zh) * | 2024-05-08 | 2024-06-04 | 上海朗力半导体有限公司 | 基于强化学习的信道竞争优化方法、系统、设备及介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104219776A (zh) * | 2014-08-26 | 2014-12-17 | 中山大学 | 一种基于时隙csma-ca退避算法的优化方法 |
| US20150195855A1 (en) * | 2012-09-21 | 2015-07-09 | Huawei Technologies Co., Ltd. | Channel Access Method and Node |
| CN109462858A (zh) * | 2017-11-08 | 2019-03-12 | 北京邮电大学 | 一种无线传感器网络参数自适应调节方法 |
| CN110049018A (zh) * | 2019-03-25 | 2019-07-23 | 上海交通大学 | 基于增强学习的spma协议参数优化方法、系统及介质 |
| CN110691422A (zh) * | 2019-10-06 | 2020-01-14 | 湖北工业大学 | 一种基于深度强化学习的多信道智能接入方法 |
| CN111245541A (zh) * | 2020-03-07 | 2020-06-05 | 重庆邮电大学 | 一种基于强化学习的信道多址接入方法 |
| CN111278163A (zh) * | 2020-02-21 | 2020-06-12 | 西安电子科技大学 | 解决短距离无线物联网隐藏终端问题的信道接入方法 |
| US20210037569A1 (en) * | 2019-08-02 | 2021-02-04 | Cable Television Laboratories, Inc. | Algorithm to predict optimal wi-fi contention window based on load |
| KR20210097955A (ko) * | 2020-01-31 | 2021-08-10 | 세종대학교산학협력단 | 강화 학습 기반의 채널 액세스 제어 |
| CN113490184A (zh) * | 2021-05-10 | 2021-10-08 | 北京科技大学 | 一种面向智慧工厂的随机接入资源优化方法及装置 |
| CN113613332A (zh) * | 2021-07-14 | 2021-11-05 | 广东工业大学 | 基于协作分布式dqn联合模拟退火算法的频谱资源分配方法和系统 |
| CN113613339A (zh) * | 2021-07-10 | 2021-11-05 | 西北农林科技大学 | 基于深度强化学习的多优先级无线终端的信道接入方法 |
| CN114501667A (zh) * | 2022-02-21 | 2022-05-13 | 清华大学 | 一种考虑业务优先级的多信道接入建模及分布式实现方法 |
| CN114641085A (zh) * | 2022-03-23 | 2022-06-17 | 重庆邮电大学 | 基于ieee802.15.4的csma/ca机制的自适应退避优化方法 |
| US20220217792A1 (en) * | 2020-05-09 | 2022-07-07 | Shenyang Institute Of Automation, Chiese Academy Of Sciences | Industrial 5g dynamic multi-priority multi-access method based on deep reinforcement learning |
-
2022
- 2022-08-08 CN CN202210941840.2A patent/CN115315020A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150195855A1 (en) * | 2012-09-21 | 2015-07-09 | Huawei Technologies Co., Ltd. | Channel Access Method and Node |
| CN104219776A (zh) * | 2014-08-26 | 2014-12-17 | 中山大学 | 一种基于时隙csma-ca退避算法的优化方法 |
| CN109462858A (zh) * | 2017-11-08 | 2019-03-12 | 北京邮电大学 | 一种无线传感器网络参数自适应调节方法 |
| CN110049018A (zh) * | 2019-03-25 | 2019-07-23 | 上海交通大学 | 基于增强学习的spma协议参数优化方法、系统及介质 |
| US20210037569A1 (en) * | 2019-08-02 | 2021-02-04 | Cable Television Laboratories, Inc. | Algorithm to predict optimal wi-fi contention window based on load |
| CN110691422A (zh) * | 2019-10-06 | 2020-01-14 | 湖北工业大学 | 一种基于深度强化学习的多信道智能接入方法 |
| KR20210097955A (ko) * | 2020-01-31 | 2021-08-10 | 세종대학교산학협력단 | 강화 학습 기반의 채널 액세스 제어 |
| CN111278163A (zh) * | 2020-02-21 | 2020-06-12 | 西安电子科技大学 | 解决短距离无线物联网隐藏终端问题的信道接入方法 |
| CN111245541A (zh) * | 2020-03-07 | 2020-06-05 | 重庆邮电大学 | 一种基于强化学习的信道多址接入方法 |
| US20220217792A1 (en) * | 2020-05-09 | 2022-07-07 | Shenyang Institute Of Automation, Chiese Academy Of Sciences | Industrial 5g dynamic multi-priority multi-access method based on deep reinforcement learning |
| CN113490184A (zh) * | 2021-05-10 | 2021-10-08 | 北京科技大学 | 一种面向智慧工厂的随机接入资源优化方法及装置 |
| CN113613339A (zh) * | 2021-07-10 | 2021-11-05 | 西北农林科技大学 | 基于深度强化学习的多优先级无线终端的信道接入方法 |
| CN113613332A (zh) * | 2021-07-14 | 2021-11-05 | 广东工业大学 | 基于协作分布式dqn联合模拟退火算法的频谱资源分配方法和系统 |
| CN114501667A (zh) * | 2022-02-21 | 2022-05-13 | 清华大学 | 一种考虑业务优先级的多信道接入建模及分布式实现方法 |
| CN114641085A (zh) * | 2022-03-23 | 2022-06-17 | 重庆邮电大学 | 基于ieee802.15.4的csma/ca机制的自适应退避优化方法 |
Non-Patent Citations (4)
| Title |
|---|
| R. ALI, N. SHAHIN, Y. B. ZIKRIA, B. -S. KIM AND S. W. KIM: "Deep Reinforcement Learning Paradigm for Performance Optimization of Channel Observation–Based MAC Protocols in Dense WLANs", IEEE, 18 December 2018 (2018-12-18) * |
| 乔冠华;毛剑琳;郭宁;陈波;戴宁;张传龙;: "IEEE 80 2.15.4 MAC协议退避机制的改进", 计算机应用, no. 10, 1 October 2013 (2013-10-01) * |
| 濮俊松: "基于强化学习的无人机群接入协议研究", 信息科技辑, 15 March 2022 (2022-03-15), pages 4 - 1 * |
| 盘小娜;陈哲;李金泽;覃团发;: "一种利用优先经验回放深度Q-Learning的频谱接入算法", 电讯技术, no. 05, 27 May 2020 (2020-05-27) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118139201A (zh) * | 2024-05-08 | 2024-06-04 | 上海朗力半导体有限公司 | 基于强化学习的信道竞争优化方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107040948B (zh) | 一种基于优先级的csma/ca优化方法 | |
| Oliveira et al. | A duty cycle self-adaptation algorithm for the 802.15. 4 wireless sensor networks | |
| CN112911723B (zh) | 一种基于干扰优先级的无人机集群自组网信道接入方法 | |
| Chen et al. | Reinforcement learning-based sensor access control for WBANs | |
| CN114585103B (zh) | 一种业务感知的智能信道接入控制方法 | |
| CN114641085A (zh) | 基于ieee802.15.4的csma/ca机制的自适应退避优化方法 | |
| CN104936303A (zh) | 一种载波监听门限与竞争窗口联合控制的方法 | |
| Balador et al. | A novel contention window control scheme for IEEE 802.11 WLANs | |
| Rasheed et al. | ECM-MAC: An efficient collision mitigation strategy in contention based MAC protocol | |
| CN109660375B (zh) | 一种高可靠的自适应mac层调度方法 | |
| CN116471629A (zh) | 一种基于深度强化学习的物联网智能拥塞控制方法 | |
| Selvaprabhu et al. | Priority‐Based Resource Allocation and Energy Harvesting for WBAN Smart Health | |
| CN105007586A (zh) | 无线传感网smac协议的双因子自适应竞争窗口调整方法 | |
| CN115315020A (zh) | 基于区分服务的ieee 802.15.4协议的智能csma/ca退避方法 | |
| De Rango et al. | Applying Q-learning approach to CSMA Scheme to dynamically tune the contention probability | |
| Wang et al. | A fairness-enhanced intelligent MAC scheme using Q-learning-based bidirectional backoff for distributed vehicular communication networks | |
| CN103281731B (zh) | 一种基于竞争的mac资源管理方法 | |
| Hussien et al. | Evolution of MAC protocols in the machine learning decade: A comprehensive survey | |
| CN118019033A (zh) | 一种面向变电站场景下提升5G切片与WiFi6混合组网时延性能的方法 | |
| CN105792287A (zh) | 无线体域网的保护时隙自适应分配及性能评价方法 | |
| Cordeiro et al. | Fs-mac: A flexible mac platform for wireless networks | |
| CN114051280A (zh) | 一种基于深度强化学习的csma优化方法 | |
| Xu et al. | MDA-SMAC: An energy-efficient improved SMAC protocol for wireless sensor networks | |
| Liu et al. | Enhancement objective q-learning mac for emergency transmission | |
| Modad et al. | A practical TDMA modification of IEEE 802.11 for ultra-dense IoT-health with fairness considerations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |