CN107889115A - 基于马氏决策的机会频谱接入方法 - Google Patents

基于马氏决策的机会频谱接入方法 Download PDF

Info

Publication number
CN107889115A
CN107889115A CN201711159437.XA CN201711159437A CN107889115A CN 107889115 A CN107889115 A CN 107889115A CN 201711159437 A CN201711159437 A CN 201711159437A CN 107889115 A CN107889115 A CN 107889115A
Authority
CN
China
Prior art keywords
channel
time slot
access
cognitive user
mahalanobis distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711159437.XA
Other languages
English (en)
Inventor
赵浩
王丹卉
史文娟
肖潇
关艳艳
钱亚娜
杨子健
王芳
狄浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute Of Microwave Technology (fiftieth Research Institute Of China Electronic Technology Group Corporation)
Original Assignee
Shanghai Institute Of Microwave Technology (fiftieth Research Institute Of China Electronic Technology Group Corporation)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute Of Microwave Technology (fiftieth Research Institute Of China Electronic Technology Group Corporation) filed Critical Shanghai Institute Of Microwave Technology (fiftieth Research Institute Of China Electronic Technology Group Corporation)
Priority to CN201711159437.XA priority Critical patent/CN107889115A/zh
Publication of CN107889115A publication Critical patent/CN107889115A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0808—Non-scheduled access, e.g. ALOHA using carrier sensing, e.g. carrier sense multiple access [CSMA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了基于马氏决策的机会频谱接入方法，用于解决认知无线电系统中，认知用户在不影响授权用户的前提下，利用授权频段的空闲，进行机会通信的问题。认知用户结合自身硬件限制，选择整个频段中的一部分信道执行信道检测，即信道选择策略；信道检测器采用能量检测方法；认知用户根据信道检测结果，结合置信矢量，执行接入策略；在接入完成后，根据通信效能，对接入收益进行评估。这一系列决策过程，归结为马氏决策框架下的部分可观察马氏决策过程POMDP，通过线性规划的方法，求解得到最优策略；避免认知无线电设备需执行宽频段频谱检测，对射频前端的苛刻要求；只需在若干信道执行窄带频谱检测，即可获得较高的接入效率和网络吞吐量。

Description

基于马氏决策的机会频谱接入方法
技术领域
本发明属于认知无线网络通信领域，涉及一种机会频谱接入方法，用于自组织网络中的认知节点接入信道，提高时隙资源利用率和网络吞吐量。
背景技术
动态频谱接入是认知无线电技术的主要应用场景，用于寻找并高效利用可用的频谱机会来满足认知用户的需求。动态频谱接入通过机会接入的方式接入到授权频段上，从而使频谱资源的利用效率大大提高。与传统无线通信系统不同，动态频谱共享系统的无线环境，除了其系统本身的无线传输特性以外，还有一个更为重要特殊的外部环境因素，即授权用户系统对无线环境的影响。在动态频谱接入系统中，认知用户对频谱的共享使用受到授权用户系统占用频谱情况的限制，当认知用户检测到(或其接入节点告知)其当前工作信道有授权用户出现时，认知用户将无条件地释放该信道，并按照相应的切换策略切换到其他空闲信道。如果工作频段内存在空闲信道，认知用户将继续通信，如果没有空闲信道，则认知用户将等待空闲信道的出现或直接中断通信。
常用的无线网络架构有集中式和分布式两种。在集中式频谱共享方案中，频谱分配及接入过程用一个中心控制单元实现，中心控制单元汇集了网络中所有分布式节点的网络信息，由它绘制出频谱分配映射图。实际中，由于授权网络的异构性和授权用户业务的多样性，导致认知无线电用户可用频谱的动态变化特性是难以预测的，认知网络的拓扑也是动态变化的，所以，采用中心控制器进行集中式布网的方式，不能很好地匹配认知网络这种特性，而且还可能造成基础设施的浪费。因此，分布式的网络架构更适合认知无线网络的频谱接入。
在分布式认知无线网络中，认知用户由于硬件条件的限制(如带宽、采样率、能量等)，无法对整个频段进行检测，只能选择其中一部分来检测。在无法获得整个频段空闲信息的情况下，认知用户如何选择信道进行检测、接入，使得认知用户的吞吐量最大化，成为迫切要解决的问题。
发明内容
针对现有技术中的缺陷，本发明提出了一种基于马氏决策的机会频谱接入方法。
根据本发明提供的一种基于马氏决策的机会频谱接入方法，包括：
步骤1：确定授权用户系统模型；
步骤2：确定认知用户系统模型；
步骤3：确定认知用户对所述授权用户系统状态的了解；
步骤4：根据所述了解，认知用户进行信道选择；
步骤5：根据所述信道选择，认知用户进行接入决策；
步骤6：对所述接入决策进行接入收益评估。
优选地，所述步骤1包括：
设授权用户系统共有N条信道，第i条信道带宽为Bi，i＝1,2,…,N，N为正整数；
在授权用户系统中，这N条信道的状态服从状态量M为M＝2N的离散马尔可夫过程；
定义授权用户系统在时隙t的信道状态为：
[S1(t),S2(t),…,SN(t)]；
Si(t)∈{0(忙),1(空闲)}；
其中，Si(t)表示第i条信道在时隙t的信道状态；
设信道状态只在时隙开始时改变，在时隙中保持不变；
每条信道状态转移相互独立，状态转移概率值对认知用户而言为已知，通过矩估计得到。
优选地，所述步骤2包括：
认知用户在N条信道内寻找空闲频谱机会；
设认知无线电系统在时域上分成等长的帧，在每帧开始时，认知用户选择l∈{1,2，……,n}条信道进行检测，n为认知用户由于硬件条件限制的限制最多可检测的信道数；
根据检测结果，选择其中连续的空闲信道聚合成一条信道进行数据传输；
采用相邻的信道聚合以提高数据传输的速率；
每帧结束时，返回确认字符ACK来确认传输成功。
优选地，所述步骤3包括：
在每个时隙开始时，认知用户对授权用户系统状态的了解归纳为一个时隙t的置信矢量Λ(t)：
Λ(t)＝[λ1(t),λ2(t),…,λM(t)]
式中，λj(t),j＝1,2,…,M为已知之前信道检测结果的情况下，授权用户系统第j种状态的条件概率，假设授权用户系统由第i种状态至第j种状态的状态转移概率{pi,j}已知，其中，i＝1,2,…,M且i不等于j。
优选地，所述步骤4包括：
信道选择策略πs表述为映射形式，具体表示为：
即在时隙t，依据置信矢量，确定对某一信道a(t)∈{1,2，……,n}进行接入；
i)选择本时隙内最有可能空闲的信道进行检测；或者
ii)选择本时隙内对推断整体信道占用状态起最大作用的信道进行检测。
优选地，所述步骤5包括：
在时隙t，针对选中的信道a(t)，接入策略πc决定一接入判决行为Φa(t)；其中，共有两种可能的接入行为，Φa(t)∈{0(不接入),1(接入)}。
优选地，所述步骤6包括：
认知用户进行机会频谱接入的收益，用认知用户单位时间内成功接入传输的比特数来衡量；
在时隙t内，当信道选择策略πs确定选择信道a(t)进行检测，接入策略πc的接入判决为Φa(t)，且反馈确认信号为Ka(t)时，在时隙t内的即时收益R(t)＝Ka(t)Ba＝Sa(t)Φa(t)Ba，其中，Ba代表被选中的信道a的带宽，Sa(t)表示被选中的信道a的带宽的信道状态。
优选地，包括：
步骤7：认知用户对授权用户系统状态的了解进行更新。
优选地，所述步骤7包括：
认知用户根据时隙t授权用户的状态s、授权用户已知状态转移概率、以及时隙t认知接入决策πs和收益R(t)，确定t+1时刻授权用户系统信道a处于状态s′的概率为p(s′|s,a)。
与现有技术相比，本发明基于马氏决策的机会频谱接入方法，将分布式认知网络架构下认知用户的信道选择问题，建模为POMDP(部分可观测的马氏决策)问题，通过对POMDP问题的求解，使得认知终端对整个频谱空闲状态的判断更加准确，从而使机会频谱接入的成功率增高，认知网络吞吐量增大。
附图说明
图1为频谱机会变化时域示意图(N＝2)；
图2为信道占用状况马氏转移示意图(N＝2)；
图3为认知用户帧结构图；
图4为认知用户接入决策过程(POMDP过程)图；
图5为置信矢量更新示意图；
图6为本发明的步骤流程图。
具体实施方式
下面对本发明的具体实施方式进行说明。认知用户的机会频谱接入，特别适用于某地区频谱资源缺乏时，在不影响已有授权用户正常通信的情况下，无线传感器网络或其它具有安全应急功能网络的方便快速部署。
本发明公开了基于马氏决策的机会频谱接入方法，用于解决认知无线电系统中，认知用户在不影响授权用户的前提下，利用授权频段的空闲，进行机会通信的问题。认知用户结合自身硬件限制，选择整个频段中的一部分信道执行信道检测，即信道选择策略；信道检测器采用能量检测方法；认知用户根据信道检测结果，结合置信矢量，执行接入策略；在接入完成后，根据通信效能，对接入收益进行评估。这一系列决策过程，归结为马氏决策框架下的部分可观察马氏决策过程POMDP，通过线性规划的方法，求解得到最优策略；避免认知无线电设备需执行宽频段频谱检测，对射频前端的苛刻要求；只需在若干信道执行窄带频谱检测，即可获得较高的接入效率和网络吞吐量。
本发明的技术方案通过如下步骤实现：
(1)确定授权用户系统模型
设系统共有N条信道，每条带宽为Bi(i＝1,2,…,N)，在授权用户系统中，这N条信道的状态服从状态量为M＝2N的离散马尔可夫过程。定义系统在时隙t的信道状态为[S1(t),…,SN(t)]，其中Si(t)∈{0(忙),1(空闲)}。设信道状态只在时隙开始时改变，在时隙中保持不变。每条信道状态转移相互独立，状态转移概率值对认知用户而言为已知，可通过矩估计得到。
(2)确定认知用户系统模型
认知用户在N条信道内寻找空闲频谱机会。设认知无线电系统在时域上分成等长的帧，在每帧开始时，认知用户选择l∈{1,……,n}条信道进行检测，n为认知用户由于硬件条件限制的限制最多可检测的信道数。根据检测结果，选择其中连续的空闲信道聚合成一条信道进行数据传输。采用相邻的信道聚合可以提高数据传输的速率，便于实现。每帧结束时，返回ACK来确认传输成功。
(3)确定认知用户对授权用户系统状态的了解
在每个时隙开始时，认知用户对授权用户系统状态的了解可以归纳为一个置信(belief)矢量，即Λ(t)＝[λ1(t),…,λM(t)]，式中，λj(j＝1,…,M)为已知之前信道检测结果的情况下，授权用户系统状态为j的条件概率，假设授权用户系统状态转移概率{pi,j}已知。
(4)认知用户进行信道选择
信道选择策略πs表述为映射形式，具体表示为即在t时隙，依据置信矢量，确定对某一信道a(t)∈{1,……,n}进行接入。具体设计时，要综合考虑两方面：i)选择本时隙内最有可能空闲的信道进行检测；ii)选择本时隙内对推断整体信道占用状态起最大作用的信道进行检测，以获得更精准的关于信道变化特性的信息，即完成智能跟踪功能。
(5)认知用户进行接入决策
在t时隙，针对选中的信道a(t)，接入策略πc决定一接入判决行为Φa(t)(共有两种可能的接入行为，Φa(t)∈{0(不接入),1(接入)})。
(6)接入收益评估
认知用户进行机会频谱接入的收益(Reward)，可用认知用户单位时间内成功接入传输的比特数来衡量。在时隙t内，当信道选择策略πs确定选择信道a(t)进行检测，接入策略πc的接入判决为Φa(t)，且反馈确认信号为Ka(t)时，在时隙t内的即时收益(ImmediateReward)R(t)＝Ka(t)Ba＝Sa(t)Φa(t)Ba，其中，Ba代表被选中的信道a的带宽。接入收益也直接反映认知用户的吞吐量。
(7)认知用户对授权用户系统状态的了解更新(频谱机会预测)
认知用户根据t时隙授权用户的状态s、授权用户已知状态转移概率、以及t时隙认知接入决策πs和收益R(t)，确定t+1时刻授权用户系统处于s′的概率为p(s′|s,a)。
更为具体地，在优选中，认知用户的机会频谱接入实施过程为：
(1)在每个时隙开始时，认知用户选择一组信道A1(|A1|＝L1≤N)条信道进行检测，其中N为频段中包含的总信道数。L1为组序号。
(2)信道检测可采用能量检测法，以便于实现。第j条信道检测结果为其中0表示信道被授权用户占用，1表示信道空闲。
(3)认知用户根据检测结果，选择一组信道A2(|A2|＝L2≤L1)进行接入，接入行为表示为：Φa(t)∈{0(不接入),1(接入)}。L2为组序号。
(4)在时隙结束时，认知用户将得到一个第j条信道的收益第j条信道的收益函数为
(5)每个时隙开始时，认知用户对系统状态的了解可归纳为一个置信(belief)矢量，即Λ(t)＝[λ1(t),…,λM(t)]。
(6)我们的目标是通过选择{A1.，A2}使得T个时隙的收益总和最大，即最优的机会频谱决策规则为：其中，Eπ为条件期望，Λ(1)为系统初始的置信矢量，π*为最优的决策。
由于π*的计算复杂度较高，可采用线性规划的方法获得，具体为：定义时隙t的值函数为Vt(Λ(t))，表示从时隙t开始用户所能获得的最大收益的期望值，即 Pr为期望。从该式可以看出，Vt(Λ(t))为当前时隙收益的期望值和下一时隙收益的期望值之和，既包括了当前时隙的收益又包括了当前时隙决策对下一时隙收益的影响，所以作出的决策在T个时隙内是最优的。认知用户通过计算Vt(Λ(t))的值来进行决策。
(7)根据贝叶斯公式，对置信矢量进行更新，得到t+1时隙的置信矢量，即：置信矢量在一个时隙内的更新过程如图5所示。
本发明所描述的基于马氏决策的机会频谱接入算法，可适用于不影响授权用户工作前提下，认知用户的频谱机会接入，并可获得较好的认知网络吞吐量。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于马氏决策的机会频谱接入方法，其特征在于，包括：
步骤1：确定授权用户系统模型；
步骤2：确定认知用户系统模型；
步骤3：确定认知用户对所述授权用户系统状态的了解；
步骤4：根据所述了解，认知用户进行信道选择；
步骤5：根据所述信道选择，认知用户进行接入决策；
步骤6：对所述接入决策进行接入收益评估。
2.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤1包括：
设授权用户系统共有N条信道，第i条信道带宽为Bi，i＝1,2,…,N，N为正整数；
在授权用户系统中，这N条信道的状态服从状态量M为M＝2N的离散马尔可夫过程；
定义授权用户系统在时隙t的信道状态为：
[S1(t),S2(t),…,SN(t)]；
Si(t)∈{0(忙),1(空闲)}；
其中，Si(t)表示第i条信道在时隙t的信道状态；
设信道状态只在时隙开始时改变，在时隙中保持不变；
每条信道状态转移相互独立，状态转移概率值对认知用户而言为已知，通过矩估计得到。
3.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤2包括：
认知用户在N条信道内寻找空闲频谱机会；
设认知无线电系统在时域上分成等长的帧，在每帧开始时，认知用户选择l∈{1,2，……,n}条信道进行检测，n为认知用户由于硬件条件限制的限制最多可检测的信道数；
根据检测结果，选择其中连续的空闲信道聚合成一条信道进行数据传输；
采用相邻的信道聚合以提高数据传输的速率；
每帧结束时，返回确认字符ACK来确认传输成功。
4.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤3包括：
在每个时隙开始时，认知用户对授权用户系统状态的了解归纳为一个时隙t的置信矢量Λ(t)：
Λ(t)＝[λ1(t),λ2(t),…,λM(t)]
式中，λj(t),j＝1,2,…,M为已知之前信道检测结果的情况下，授权用户系统第j种状态的条件概率，假设授权用户系统由第i种状态至第j种状态的状态转移概率{pi,j}已知，其中，i＝1,2,…,M且i不等于j。
5.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤4包括：
信道选择策略πs表述为映射形式，具体表示为：
即在时隙t，依据置信矢量，确定对某一信道a(t)∈{1,2，……,n}进行接入；
i)选择本时隙内最有可能空闲的信道进行检测；或者
ii)选择本时隙内对推断整体信道占用状态起最大作用的信道进行检测。
6.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤5包括：
在时隙t，针对选中的信道a(t)，接入策略πc决定一接入判决行为Φa(t)；其中，共有两种可能的接入行为，Φa(t)∈{0(不接入),1(接入)}。
7.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤6包括：
认知用户进行机会频谱接入的收益，用认知用户单位时间内成功接入传输的比特数来衡量；
在时隙t内，当信道选择策略πs确定选择信道a(t)进行检测，接入策略πc的接入判决为Φa(t)，且反馈确认信号为Ka(t)时，在时隙t内的即时收益R(t)＝Ka(t)Ba＝Sa(t)Φa(t)Ba，其中，Ba代表被选中的信道a的带宽，Sa(t)表示被选中的信道a的带宽的信道状态。
8.根据权利要求1所述的基于马氏决策的机会频谱接入方法，其特征在于，包括：
步骤7：认知用户对授权用户系统状态的了解进行更新。
9.根据权利要求8所述的基于马氏决策的机会频谱接入方法，其特征在于，所述步骤7包括：
认知用户根据时隙t授权用户的状态s、授权用户已知状态转移概率、以及时隙t认知接入决策πs和收益R(t)，确定t+1时刻授权用户系统信道a处于状态s′的概率为p(s′|s,a)。
CN201711159437.XA 2017-11-20 2017-11-20 基于马氏决策的机会频谱接入方法 Pending CN107889115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711159437.XA CN107889115A (zh) 2017-11-20 2017-11-20 基于马氏决策的机会频谱接入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711159437.XA CN107889115A (zh) 2017-11-20 2017-11-20 基于马氏决策的机会频谱接入方法

Publications (1)

Publication Number Publication Date
CN107889115A true CN107889115A (zh) 2018-04-06

Family

ID=61777589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711159437.XA Pending CN107889115A (zh) 2017-11-20 2017-11-20 基于马氏决策的机会频谱接入方法

Country Status (1)

Country Link
CN (1) CN107889115A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294128A (zh) * 2019-12-30 2020-06-16 中国人民解放军军事科学院国防科技创新研究院 一种基于马尔可夫信道模型的机会频谱接入方法
CN114172599A (zh) * 2021-12-15 2022-03-11 南京理工大学 一种时限约束下的能量收集认知无线电网络接入方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101711032A (zh) * 2009-11-23 2010-05-19 哈尔滨工业大学 对未知环境模型特性的认知无线电动态智能频谱接入方法
CN102595570A (zh) * 2012-01-11 2012-07-18 北京邮电大学 认知无线电系统中基于隐马尔可夫模型的频谱接入方法
CN102869111A (zh) * 2012-10-09 2013-01-09 南京大学 一种认知无线电中基于三态学习策略的机会频谱接入方法
CN104954088A (zh) * 2014-03-28 2015-09-30 中国科学院声学研究所 基于部分可测马尔科夫决策过程模型的频谱检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101711032A (zh) * 2009-11-23 2010-05-19 哈尔滨工业大学 对未知环境模型特性的认知无线电动态智能频谱接入方法
CN102595570A (zh) * 2012-01-11 2012-07-18 北京邮电大学 认知无线电系统中基于隐马尔可夫模型的频谱接入方法
CN102869111A (zh) * 2012-10-09 2013-01-09 南京大学 一种认知无线电中基于三态学习策略的机会频谱接入方法
CN104954088A (zh) * 2014-03-28 2015-09-30 中国科学院声学研究所 基于部分可测马尔科夫决策过程模型的频谱检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QING ZHAO等: "DECENTRALIZED COGNITIVE MAC FOR DYNAMIC SPECTRUM ACCESS", 《FIRST IEEE INTERNATIONAL SYMPOSIUM ON NEW FRONTIERS IN DYNAMIC SPECTRUM ACCESS NETWORKS》 *
QING ZHAO等: "Decentralized Cognitive MAC for Opportunistic Spectrum Access in Ad Hoc Networks:A POMDP Framework", 《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》 *
夏婷婷: "基于部分可观测马尔可夫决策过程的机会频谱接入方案设计", 《中国优秀硕士学位论文全文数据库》 *
张东东: "认知无线网络动态频谱接入研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294128A (zh) * 2019-12-30 2020-06-16 中国人民解放军军事科学院国防科技创新研究院 一种基于马尔可夫信道模型的机会频谱接入方法
CN111294128B (zh) * 2019-12-30 2021-04-30 中国人民解放军军事科学院国防科技创新研究院 一种基于马尔可夫信道模型的机会频谱接入方法
CN114172599A (zh) * 2021-12-15 2022-03-11 南京理工大学 一种时限约束下的能量收集认知无线电网络接入方法

Similar Documents

Publication Publication Date Title
Challita et al. Proactive resource management for LTE in unlicensed spectrum: A deep learning perspective
Wei et al. Joint optimization of caching, computing, and radio resources for fog-enabled IoT using natural actor–critic deep reinforcement learning
Nakashima et al. Deep reinforcement learning-based channel allocation for wireless lans with graph convolutional networks
Jiang et al. Resource allocation of video streaming over vehicular networks: A survey, some research issues and challenges
Chen et al. RDRL: A recurrent deep reinforcement learning scheme for dynamic spectrum access in reconfigurable wireless networks
He et al. Edge-aided computing and transmission scheduling for LTE-U-enabled IoT
Kumar et al. Multi-agent deep reinforcement learning-empowered channel allocation in vehicular networks
Challita et al. Deep learning for proactive resource allocation in LTE-U networks
Balakrishnan et al. Deep reinforcement learning based traffic-and channel-aware OFDMA resource allocation
Peng et al. Aoi-aware joint spectrum and power allocation for internet of vehicles: A trust region policy optimization-based approach
Du et al. Multi-agent reinforcement learning for dynamic resource management in 6G in-X subnetworks
Ahmed et al. Hybrid machine-learning-based spectrum sensing and allocation with adaptive congestion-aware modeling in CR-assisted IoV networks
Ye et al. Multi-channel opportunistic access for heterogeneous networks based on deep reinforcement learning
CN107889115A (zh) 基于马氏决策的机会频谱接入方法
Scanzio et al. Predicting Wi‐Fi link quality through artificial neural networks
Lin et al. Deep reinforcement learning-based task scheduling and resource allocation for NOMA-MEC in Industrial Internet of Things
Kim et al. Reinforcement learning for accident risk-adaptive V2X networking
Yi et al. DMADRL: A distributed multi-agent deep reinforcement learning algorithm for cognitive offloading in dynamic MEC networks
Zhang et al. Endogenous security-aware resource management for digital twin and 6G edge intelligence integrated smart park
Yi et al. A DRL-driven intelligent joint optimization strategy for computation offloading and resource allocation in ubiquitous edge IoT systems
Ganewattha et al. Confidence aware deep learning driven wireless resource allocation in shared spectrum bands
Mei et al. Semi-decentralized network slicing for reliable V2V service provisioning: A model-free deep reinforcement learning approach
Bardou et al. Mitigating starvation in dense WLANs: A multi-armed Bandit solution
Yifei et al. QoS Provisioning energy saving dynamic access policy for overlay cognitive radio networks with hidden Markov channels
Sun et al. A cost-efficient skipping based spectrum sensing scheme via reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406