CN116056090B - 一种基于人工智能的认知自组网通信方法 - Google Patents
一种基于人工智能的认知自组网通信方法 Download PDFInfo
- Publication number
- CN116056090B CN116056090B CN202310315306.5A CN202310315306A CN116056090B CN 116056090 B CN116056090 B CN 116056090B CN 202310315306 A CN202310315306 A CN 202310315306A CN 116056090 B CN116056090 B CN 116056090B
- Authority
- CN
- China
- Prior art keywords
- cognitive
- cognitive user
- network
- authorized
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004891 communication Methods 0.000 title claims abstract description 28
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims abstract description 113
- 230000002787 reinforcement Effects 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
- H04W16/10—Dynamic resource partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/08—Access security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/14—Spectrum sharing arrangements between different networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种基于人工智能的认知自组网通信方法,所述方法通过具有智能计算能力的认知用户设备对自身及周围其他认知用户的频谱感知情况进行持续学习,采用强化学习算法学习自身的频谱信息表、收到的附近用户的频谱信息表、自身上一个时隙接入授权信道的连接情况,通过神经网络计算决定下一个时隙的频谱接入策略,并通过多个认知用户的协作感知有效地解决网络中的隐藏终端问题;通过与实际环境进行交互优化自身的频谱接入策略,使认知用户尽量接入最合适的空闲授权信道,以充分利用频谱资源,提高网络的整体吞吐量的同时降低对授权用户的干扰。
Description
技术领域
本发明属于无线通信网络技术领域,具体涉及一种基于人工智能的认知自组网通信方法。
背景技术
随着移动通信与互联网的发展,5G和物联网的大规模商用使得各种通信设备数量呈爆炸式增长,无线设备的连接和通信方式也发生了很大变化。然而,由于频谱资源是有限的,在传统应用中频谱资源按静态的方式分配给不同的应用,即通过时间段和地理位置信息进行划分,导致频谱资源已经较为饱和,很难找到空闲的频段,非授权频谱信道异常拥堵。而与此同时,分配给授权用户的频谱资源常常并未使用,造成了频谱利用率的不均衡和频谱资源的浪费。
认知无线电(Cognitive Radio, CR)的技术可以有效的改善频谱资源利用率低的问题。它将网络中的用户分为授权用户(主用户,Primary User, PU)和认知用户(次用户,Secondary User,SU),授权用户使用固定分配的频谱,认知用户可以在保证授权用户服务质量的前提下使用授权用户暂时未使用的频谱资源,提高频谱的利用效率。认知用户通过频谱感知的方法主动识别授权用户当前未使用的频谱信道,并可以根据环境条件改变频率、功率、调制方式等参数,通过动态频谱接入(Dynamic spectrum access, DSA)的方式动态地使用授权用户的空闲频谱资源。通过频谱共享的方式来处理多用户同时接入相同的空闲频谱信道的情况,在授权用户需要使用频谱资源时,认知用户能够通过频谱切换技术快速退出正在使用的频谱信道,寻找其他可用的空闲信道跳频,避免干扰授权用户的通信,同时尽可能的保障认知用户的通信持续性。认知自组网是基于认知无线电设备的自组网,除了具有普通自组网的无中心、自组织、多跳多信道、动态拓扑等特性之外,还因为采用认知无线电设备而具有频带感知及选择、多频段传输、频谱切换等特点。传统的频谱管理决策情景比较简单,往往只需要简单预测即可。但现在随着网络中通信设备的增多,在同一频段中信号的类别更多,多个信号在同频段的重叠给频谱管理带来巨大的挑战。
传统的频谱感知技术能快速识别出空闲的频谱,但是对于无线电频谱不断变化的情况难以解决频谱的动态分配问题。未来的无线网络将会接入更多设备,网络速率更高,覆盖更广,如何更好的管理频谱资源是一个急需解决的问题。
发明内容
本发明针对在大规模、大容量、频谱资源动态变化的网络中认知自组网难以高效地动态分配频谱的问题,提出一种基于人工智能的认知自组网通信方法。
一种基于人工智能的认知自组网通信方法,所述方法具体为:
S101 网络启动运行后,网络中的授权用户按照分配的授权频谱信道进行正常通信,认知用户随机选择一个授权信道进行频谱感知;
S102 认知用户继续对不同的授权信道进行频谱感知,选择4个备选信道存储为频谱感知表,按授权信道的空闲情况和受干扰情况进行排序,最空闲、受干扰最小的信道排在最前,若没有4个备选信道则表中靠后的位置为空白;
S103 认知用户初始选择自身频谱感知表中的第一个信道尝试接入,并将自身的频谱感知表打包成消息发送给自己相邻的认知用户,接收到消息的认知用户对比自身的频谱感知表,若与自身频谱感知表中至少一半的信道相同,则继续转发这个消息,通过多跳传输到更远的认知用户,否则停止转发;
S104 认知用户定义强化学习参数作为神经网络模型中的变量,通过学习自身及收到的其他认知用户的频谱感知表,以及自身上一个时隙接入授权信道的连接情况,以决定下一个时隙尝试接入的授权信道;
S105 当认知用户检测到授权用户需要使用授权信道的频谱资源时,退出当前信道并尝试跳频到频谱感知表中的下一个信道,并将尝试接入的结果作为强化学习算法的状态的一部分;
S106 认知用户持续更新自身的频谱感知表,通过强化学习算法学习到稳定的授权频谱接入策略。
进一步的,所述网络是由多个授权用户和多个认知用户组成的认知自组网;所述网络中不存在中心节点,网络中的认知用户可以通过多跳组成自组网进行互相通信,共享感知信息。
进一步的,所述每个认知用户作为一个智能体,分别运行强化学习算法。
进一步的,所述认知用户配置有CPU或GPU;所述认知用户在启动运行之后,初始化预设神经网络模型中的权重和偏置,并定义强化学习算法的参数作为神经网络模型中的变量,采用深度强化学习算法对自身及收到的其他认知用户的频谱信息表以及自身接入授权信道的连接情况进行学习,采用随机梯度下降法及反向传递算法更新所述神经网络模型的权重和参数,并得到对应的强化学习算法的参数,根据输出结果决定下一个时隙尝试接入的信道。
进一步的,所述神经网络模型包括:第一网络eval_net,用于获取自身的频谱感知表、收到的附近节点的频谱感知表以及上一个时隙接入授权信道的连接情况作为观察值;第二网络target_net,用于更新并保存所述神经网络模型的权重和偏置;记忆库,用于利用经验回放方法加快强化学习的速度并防止过拟合。
进一步的,所述第一网络和第二网络为包含3个全连接层的神经网络,并采用ReLU作为激活函数。
进一步的,所述强化学习算法的参数包括:状态、动作、回报、回合结束条件;其中:所属状态为定义自身的频谱信息表、收到的附近用户的频谱信息表、自身上一个时隙接入授权信道的连接情况;
所述动作为下一个时隙选择接入的信道;
所述回报为认知用户接入授权信道的连接情况,若接入后发生信道冲突,则所述回报为-5,若接入后没有发生信道冲突,则所述回报为+3;
所述回合结束条件为认知用户接入授权信道失败的次数达到阈值。
进一步的,所述强化学习算法的参数还包括:Q值、贪婪因子、折扣因子、学习率。
本发明的技术效果:
本发明通过具有智能计算能力的认知用户设备对自身及周围其他认知用户的频谱感知情况进行持续学习,采用强化学习算法计算决定下一个时隙的频谱接入策略,并通过多个认知用户的协作感知有效地解决网络中的隐藏终端问题。
在大规模、大容量、频谱资源动态变化的网络中,本发明提出的方法可以通过神经网络计算得到强化学习算法的最佳动作,得到最大的回报值。认知用户不需要预先知道所处网络环境的知识,可以通过与环境的交互逐渐学习到适合的频谱接入策略,充分利用频谱资源,在提高网络的整体吞吐量的同时降低对授权用户的干扰。
附图说明
附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了本发明的认知自组网网络结构示意图;
图2示出了本发明的基于人工智能的认知自组网通信方法步骤示意图。
具体实施方式
为使本发明的目的、技术方案和效果表达地更加清楚明白,下面结合附图及具体实施方式对本发明做进一步的说明。可以理解的是,本发明的实施例仅仅用于解释本发明,而并非对本发明的限定。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,是本发明实施例的认知自组网网络结构示意图。本发明提出的一种基于人工智能的认知自组网通信方法,适用于存在多个授权用户和认知用户的认知自组网。网络中不存在中心节点,网络中的认知用户可以通过多跳组成自组网进行互相通信,共享感知信息。
如图2所示,是本发明的基于人工智能的认知自组网通信方法步骤示意图。网络启动后,网络中的各用户设备的通信方法和步骤包括:
步骤S101:初始情况下,网络中的授权用户按照分配的授权频谱信道进行正常通信,认知用户随机选择一个授权信道进行频谱感知。
步骤S102:认知用户继续对不同的授权信道进行频谱感知,选择4个备选信道存储为频谱感知表,按授权信道的空闲情况和受干扰情况进行排序,最空闲、受干扰最小的信道排在最前,若没有4个备选信道则表中靠后的位置为空白。
步骤S103:认知用户初始选择自身频谱感知表中的第一个信道尝试接入,并将自身的频谱感知表打包成消息发送给自己相邻的认知用户,接收到消息的认知用户对比自身的频谱感知表,若与自身频谱感知表中至少一半的信道相同,则继续转发这个消息,通过多跳传输到更远的认知用户,否则停止转发。
所述认知用户在网络中可能会因为障碍物遮挡导致感知范围有限,且无法与较远距离的认知用户直接通信。通过将感知信息发送给就近的认知用户,并由就近的认知用户进一步转发信息,通过多跳的方式共享感知信息可以让网络中的认知用户有效地感知到网络中的频谱占用情况。
于本实施例中,接收到带有频谱感知表的消息的认知用户,根据接收到的频谱感知表和自身频谱感知表的相似程度决定是否转发该消息。例如,当一个认知用户收到的消息中,频谱感知表4个信道中的2个也存在于自身的频谱感知表上,则代表这两个认知用户所处的频谱环境比较相似,因此进行转发;若仅有1个相同的信道,则不予转发。类似的,当一个认知用户自身的频谱感知表仅有2个信道时,则若收到的频谱感知表中有1个信道也存在于自身的频谱感知表上,则对该消息进行转发。
步骤S104:认知用户定义强化学习参数作为神经网络模型中的变量,通过学习自身及收到的其他认知用户的频谱感知表,以及自身上一个时隙接入授权信道的连接情况,以决定下一个时隙尝试接入的授权信道。
所述认知用户设备配置有CPU或GPU,具有智能计算能力。认知用户设备在启动运行之后,初始化预设神经网络模型中的权重和偏置,并定义强化学习算法的参数作为神经网络模型中的变量,采用深度强化学习算法对自身及收到的其他认知用户的频谱信息表以及自身接入授权信道的连接情况进行学习,采用随机梯度下降法及反向传递算法更新所述神经网络模型的权重和参数,并得到对应的强化学习算法的参数,根据输出结果决定下一个时隙尝试接入的信道。
于本实施例中,所述神经网络模型包括:第一网络eval_net,用于获取自身的频谱感知表、收到的附近节点的频谱感知表以及上一个时隙接入授权信道的连接情况作为观察值;第二网络target_net,用于更新并保存所述神经网络模型的权重和偏置;记忆库,用于利用经验回放(Experience replay)方法加快强化学习的速度并防止过拟合。
于本实施例中,所述第一网络和第二网络为包含3个全连接层的神经网络,并采用ReLU作为激活函数。
于本实施例中,所述强化学习算法的参数包括:状态、动作、回报、回合结束条件。
于本实施例中,定义自身的频谱信息表、收到的附近用户的频谱信息表、自身上一个时隙接入授权信道的连接情况作为所述强化学习算法中的状态。
于本实施例中,定义下一个时隙选择接入的信道作为所述强化学习算法中的动作。
于本实施例中,定义认知用户接入授权信道的连接情况作为所述强化学习算法中的回报的依据,若接入后发生信道冲突,则所述回报为-5,若接入后没有发生信道冲突,则所述回报为+3。
于本实施例中,定义认知用户接入授权信道失败的次数达到阈值作为所述强化学习算法中的回合结束条件。例如定义回合结束条件为连续3次接入授权信道均发生信道冲突。
于本实施例中,所述强化学习算法的参数还包括:Q值、贪婪因子、折扣因子、学习率。
于本实施例中,所述强化学习算法的参数在所述神经网络中作为变量。例如所述状态参数作为神经网络的输入,所述动作参数和Q值作为神经网络的输出。
于本实施例中,所述Q值通过对应动作作为输出对[动作值,Q值],可以先将所有动作对应的Q值都初始化为0;贪婪因子可以先初始化为0.9,折扣因子可以先初始化为0.9。
于本实施例中,所述记忆库的大小为可存储600个训练样本的记忆库。具体来说,是训练过程中产生的强化学习算法的参数,如状态、动作、回报、回合结束条件、Q值等。
于本实施例中,从t=0时刻开始学习过程,此处t=0代表网络中的认知用户设备开始运行的时间。具体学习步骤包括:
(1)在t时刻,认知用户设备记录自身的频谱信息表、收到的邻居用户的频谱信息表、自身上一个时隙接入授权信道的连接情况,作为状态,并根据Q函数选择相应的动作。此处根据贪婪因子,有0.9的概率选择Q值更大的动作作为下一个动作,有0.1的概率随机选取其他动作;
(2)Q值的更新根据公式
其中,a是采取的动作(Action),s是观察到的状态(State),r是获得的回报(Reward),是t时刻的Q值,/>是学习率,/>是折扣因子,/>是在下一个时间点(状态/>时)采取了动作/>之后,最大的期望回报;
(5)每隔200步,使用第二网络eval_net的最新参数值更新第一网络target_net的参数。
综上,采用随机梯度下降法,利用神经网络的反向传递更新权重参数,直到学习到稳定的下一个时隙选择接入的信道的策略。
步骤S105:当认知用户检测到授权用户需要使用授权信道的频谱资源时,退出当前信道并尝试跳频到频谱感知表中的下一个信道,并将尝试接入的结果作为强化学习算法的状态的一部分。
步骤S106:认知用户持续更新自身的频谱感知表,通过强化学习算法学习到稳定的授权频谱接入策略。
于本实施例中,采用协作感知技术可以有效的解决网络中的隐藏终端问题。当认知用户处在阴影或干扰中时,可能感知不到附近授权用户的存在而选择接入许可信道,对实际存在的授权用户造成干扰。通过与附近的认知用户共享频谱资源表,可以减少这个问题,更充分地获得附近环境中频谱资源信息。
于本实施例中,通过强化学习的方法,认知用户可以通过与实际网络环境的交互,学习历史经验信息预测授权频谱信道资源的使用规律,来达到接入最合适的空闲授权信道的目的,以充分利用频谱资源,提高网络的整体吞吐量的同时降低对授权用户的干扰。通过本申请的方法,认知用户不需要预先知道所处网络环境的知识,可以通过与环境的交互逐渐学习到适合的频谱接入策略。
以上所述,仅为本发明优选的具体实施方式,但本发明的保护范围不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于人工智能的认知自组网通信方法,其特征在于,所述方法具体为:
S101 网络启动运行后,网络中的授权用户按照分配的授权频谱信道进行正常通信,认知用户随机选择一个授权信道进行频谱感知;
S102 认知用户继续对不同的授权信道进行频谱感知,选择4个备选信道存储为频谱感知表,按授权信道的空闲情况和受干扰情况进行排序,最空闲、受干扰最小的信道排在最前,若没有4个备选信道则表中靠后的位置为空白;
S103 认知用户初始选择自身频谱感知表中的第一个信道尝试接入,并将自身的频谱感知表打包成消息发送给自己相邻的认知用户,接收到消息的认知用户对比自身的频谱感知表,若与自身频谱感知表中至少一半的信道相同,则继续转发这个消息,通过多跳传输到更远的认知用户,否则停止转发;
S104 认知用户定义强化学习参数作为神经网络模型中的变量,通过学习自身及收到的其他认知用户的频谱感知表,以及自身上一个时隙接入授权信道的连接情况,以决定下一个时隙尝试接入的授权信道;
S105 当认知用户检测到授权用户需要使用授权信道的频谱资源时,退出当前信道并尝试跳频到频谱感知表中的下一个信道,并将尝试接入的结果作为强化学习算法的状态的一部分;
S106 认知用户持续更新自身的频谱感知表,通过强化学习算法学习到稳定的授权频谱接入策略。
2.根据权利要求1所述的通信方法,其特征在于,
所述网络是由多个授权用户和多个认知用户组成的认知自组网;所述网络中不存在中心节点,网络中的认知用户可以通过多跳组成自组网进行互相通信,共享感知信息。
3.根据权利要求1所述的通信方法,其特征在于,所述每个认知用户作为一个智能体,分别运行强化学习算法。
4.根据权利要求1所述的通信方法,其特征在于,
所述认知用户配置有CPU或GPU;所述认知用户在启动运行之后,初始化预设神经网络模型中的权重和偏置,并定义强化学习算法的参数作为神经网络模型中的变量,采用深度强化学习算法对自身及收到的其他认知用户的频谱信息表以及自身接入授权信道的连接情况进行学习,采用随机梯度下降法及反向传递算法更新所述神经网络模型的权重和参数,并得到对应的强化学习算法的参数,根据输出结果决定下一个时隙尝试接入的信道。
5.根据权利要求4所述的通信方法,其特征在于,
所述神经网络模型包括:第一网络eval_net、第二网络target_net、记忆库;
所述第一网络eval_net,用于获取自身的频谱感知表、收到的附近节点的频谱感知表以及上一个时隙接入授权信道的连接情况作为观察值;
所述第二网络target_net,用于更新并保存所述神经网络模型的权重和偏置;
所述记忆库,用于利用经验回放方法加快强化学习的速度并防止过拟合。
6.根据权利要求5所述的通信方法,其特征在于,
所述第一网络和所述第二网络为包含3个全连接层的神经网络,并采用ReLU作为激活函数。
7.根据权利要求4所述的通信方法,其特征在于,
所述强化学习算法的参数包括:状态、动作、回报、回合结束条件;
所述状态为自身的频谱信息表、收到的附近用户的频谱信息表、自身上一个时隙接入授权信道的连接情况;
所述动作为下一个时隙选择接入的信道;
所述回报为认知用户接入授权信道的连接情况;
所述回合结束条件为认知用户接入授权信道失败的次数达到阈值。
8.根据权利要求4所述的通信方法,其特征在于,所述强化学习算法的参数还包括:Q值、贪婪因子、折扣因子、学习率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310315306.5A CN116056090B (zh) | 2023-03-29 | 2023-03-29 | 一种基于人工智能的认知自组网通信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310315306.5A CN116056090B (zh) | 2023-03-29 | 2023-03-29 | 一种基于人工智能的认知自组网通信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116056090A CN116056090A (zh) | 2023-05-02 |
CN116056090B true CN116056090B (zh) | 2023-06-02 |
Family
ID=86124080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310315306.5A Active CN116056090B (zh) | 2023-03-29 | 2023-03-29 | 一种基于人工智能的认知自组网通信方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116056090B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101765117A (zh) * | 2008-12-26 | 2010-06-30 | 华为技术有限公司 | 一种分配信道和实现通信的方法、装置和系统 |
KR101275007B1 (ko) * | 2013-01-15 | 2013-06-17 | 아주대학교산학협력단 | 인지 무선 네트워크에서 그룹 단위 동적 채널 할당 방법 |
CN103634913A (zh) * | 2012-08-22 | 2014-03-12 | 上海交通大学 | 基于分簇的多跳多信道认知无线传感网络的通信方法 |
CN106507370A (zh) * | 2016-11-25 | 2017-03-15 | 重庆邮电大学 | 主动式频谱感知切换的方法 |
KR20170078223A (ko) * | 2015-12-29 | 2017-07-07 | 연세대학교 산학협력단 | 인지무선 통신 기반의 센서 네트워크 환경에서 네트워크의 수명을 최대화하기 위한 다중홉 클러스터링 방법 |
CN111327376A (zh) * | 2020-03-04 | 2020-06-23 | 南通大学 | 基于认知无线电的应急通信网络的频谱接入方法 |
CN113423110A (zh) * | 2021-06-22 | 2021-09-21 | 东南大学 | 基于深度强化学习的多用户多信道动态频谱接入方法 |
CN114928549A (zh) * | 2022-04-20 | 2022-08-19 | 清华大学 | 基于强化学习的非授权频段的通信资源分配方法及装置 |
CN115250156A (zh) * | 2021-09-09 | 2022-10-28 | 李枫 | 一种基于联邦学习的无线网络多信道频谱接入方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8681693B2 (en) * | 2008-07-11 | 2014-03-25 | Robert A. Kennedy | Dynamic networking spectrum reuse transceiver |
KR101759944B1 (ko) * | 2010-12-16 | 2017-07-20 | 엘지전자 주식회사 | 인지무선 네트워크에서 채널 정보 전송 방법 및 장치, 채널 전환 방법 및 장치 |
CN107359948B (zh) * | 2017-07-11 | 2019-06-14 | 北京邮电大学 | 一种认知无线网络的频谱预测方法、装置及计算机可读存储介质 |
CN111935722B (zh) * | 2020-08-20 | 2021-04-30 | 中国人民解放军国防科技大学 | 基于用户在线学习与低开销合作的动态频谱共享方法 |
-
2023
- 2023-03-29 CN CN202310315306.5A patent/CN116056090B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101765117A (zh) * | 2008-12-26 | 2010-06-30 | 华为技术有限公司 | 一种分配信道和实现通信的方法、装置和系统 |
CN103634913A (zh) * | 2012-08-22 | 2014-03-12 | 上海交通大学 | 基于分簇的多跳多信道认知无线传感网络的通信方法 |
KR101275007B1 (ko) * | 2013-01-15 | 2013-06-17 | 아주대학교산학협력단 | 인지 무선 네트워크에서 그룹 단위 동적 채널 할당 방법 |
KR20170078223A (ko) * | 2015-12-29 | 2017-07-07 | 연세대학교 산학협력단 | 인지무선 통신 기반의 센서 네트워크 환경에서 네트워크의 수명을 최대화하기 위한 다중홉 클러스터링 방법 |
CN106507370A (zh) * | 2016-11-25 | 2017-03-15 | 重庆邮电大学 | 主动式频谱感知切换的方法 |
CN111327376A (zh) * | 2020-03-04 | 2020-06-23 | 南通大学 | 基于认知无线电的应急通信网络的频谱接入方法 |
CN113423110A (zh) * | 2021-06-22 | 2021-09-21 | 东南大学 | 基于深度强化学习的多用户多信道动态频谱接入方法 |
CN115250156A (zh) * | 2021-09-09 | 2022-10-28 | 李枫 | 一种基于联邦学习的无线网络多信道频谱接入方法 |
CN114928549A (zh) * | 2022-04-20 | 2022-08-19 | 清华大学 | 基于强化学习的非授权频段的通信资源分配方法及装置 |
Non-Patent Citations (2)
Title |
---|
基于信道分配的多跳认知无线电网络路由算法;李云;张智慧;黄巍;王勇;曹傧;;系统工程与电子技术(第04期);全文 * |
基于学习策略的动态频谱接入信道选择及系统性能;叶芝慧;冯奇;王健;;东南大学学报(自然科学版)(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116056090A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8995996B2 (en) | Methods and apparatus for performance optimization of heterogeneous wireless system communities | |
JP2010273341A (ja) | 無線通信方法及び装置 | |
CN110492955B (zh) | 基于迁移学习策略的频谱预测切换方法 | |
Mosleh et al. | Dynamic spectrum access with reinforcement learning for unlicensed access in 5G and beyond | |
Salameh et al. | Opportunistic medium access control for maximizing packet delivery rate in dynamic access networks | |
CN114585103B (zh) | 一种业务感知的智能信道接入控制方法 | |
Muteba et al. | Deep reinforcement learning based resource allocation for narrowband cognitive radio-IoT systems | |
Zhang et al. | Multiaccess point coordination for next-gen Wi-Fi networks aided by deep reinforcement learning | |
Mishra et al. | MAC protocol for two level QoS support in cognitive radio network | |
Chen et al. | Efficient spectrum utilization via cross-layer optimization in distributed cognitive radio networks | |
Kaur et al. | Intelligent spectrum management based on reinforcement learning schemes in cooperative cognitive radio networks | |
Dos Santos et al. | Self-organized common control channel design for cognitive radio ad hoc networks | |
CN116056090B (zh) | 一种基于人工智能的认知自组网通信方法 | |
Yadav et al. | Deep Q-network based reinforcement learning for distributed dynamic spectrum access | |
Deng et al. | Distributed resource allocation based on timeslot reservation in high-density VANETs | |
Yau et al. | Context-awareness and intelligence in distributed cognitive radio networks: A reinforcement learning approach | |
Chen et al. | Cognitive radio-enabled distributed cross-layer optimization via genetic algorithms | |
Rubin et al. | Topological performance of mobile backbone based wireless ad hoc network with unmanned vehicles | |
Lee et al. | Energy-efficient spectram access for ultra low power sensor networks | |
Wang et al. | Age of information optimization in heterogeneous multi-access cognitive radio networks | |
Zeinali et al. | AI-based Radio Resource and Transmission Opportunity Allocation for 5G-V2X HetNets: NR and NR-U networks | |
Akhtar et al. | Fuzzification supported spectrum decision framework for cognitive radio networks | |
Chen et al. | Opportunistic Spectrum Access in Imperfect Spectrum Sensing Cognitive Networks. | |
Qureshi et al. | Reliable Cognitive Radio multi-channel MAC protocol for Adhoc networks | |
Ahmad et al. | Reinforcement learning-based coexistence interference management in wireless body area networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |