CN114900827B - 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统 - Google Patents

基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统 Download PDF

Info

Publication number
CN114900827B
CN114900827B CN202210502957.0A CN202210502957A CN114900827B CN 114900827 B CN114900827 B CN 114900827B CN 202210502957 A CN202210502957 A CN 202210502957A CN 114900827 B CN114900827 B CN 114900827B
Authority
CN
China
Prior art keywords
user
users
communication
transmission
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210502957.0A
Other languages
English (en)
Other versions
CN114900827A (zh
Inventor
胡锦松
李鸿炜
陈由甲
魏宏安
房颖
赵铁松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210502957.0A priority Critical patent/CN114900827B/zh
Publication of CN114900827A publication Critical patent/CN114900827A/zh
Application granted granted Critical
Publication of CN114900827B publication Critical patent/CN114900827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，包括随机分布的M个用户和N个基站；所述N个基站中包含1个宏基站和N‑1个小基站；所述M个用户分别配备了发射天线和接收天线，在蜂窝模式或者D2D模式下通信；所述M个用户的位置固定不变，个数为偶数，每两个用户组成一对进行D2D通信，每对D2D链路由发射者Dr和接收者Dt组成；还包括一无人机，对其中一对用户进行监测，并给定一个隐蔽传输速率R；当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联。本发明能够通过采用深度强化学习的方法让用户进行不同通信模式的选则以及功率分配，从而最大化隐蔽传输速率。

Description

基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统
技术领域
本发明涉及无线通信技术领域，具体涉及一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统。
背景技术
D2D(Device to Device)通信是指两个距离较近用户节点之间直接通信的一种通信方式。在D2D通信网络中，每个用户节点都能发送和接收信号。网络的参与者共享所拥有的一部分硬件资源以及频谱资源。这些共享资源向D2D网络提供服务，能被其它用户直接访问而不需要经过中间实体。在D2D通信网络中，用户节点同时扮演服务器和客户端的角色，能够意识到彼此的存在，自组织地构成一个虚拟或者实际的群体。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，能够通过采用深度强化学习的方法让用户进行不同通信模式的选则以及功率分配，从而最大化隐蔽传输速率。
为实现上述目的，本发明采用如下技术方案：
一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，包括随机分布的M个用户和N个基站；所述N个基站中包含1个宏基站和N-1个小基站，所有用户均能被宏基站所覆盖；所述M个用户分别配备了一根发射天线和一根接收天线，在蜂窝模式或者D2D模式下通信；所述M个用户中有J个用户处于蜂窝通信，K个用户处于D2D通信；所述M个用户的位置固定不变，个数为偶数，每两个用户组成一对进行D2D通信，每对D2D链路由发射者Dr和接收者Dt组成；还包括一无人机，对其中一对用户进行监测，并给定一个隐蔽传输速率R；当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联。
进一步的，将可用频段分成两部分，一部分分配给蜂窝通信，另一部分分配给D2D通信。
一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统的通信方法，包括以下步骤：
步骤S1:根据用户占用的频谱资源、使用的发射功率以及隐蔽性要求，构建所需要优化的目标模型；
步骤S2:构造马尔可夫决策过程模型，采用深度强化学习的方法，通过动态地选择用户的通信模式，最大化隐蔽传输速率。
进一步的，基于有限码长隐蔽传输，具体如下：
考虑到被无人机所监视的用户的隐蔽性设计，设无人机只监视一个用户，且所有用户传输的信息是一样的，则无人机在一个时隙里收到的信号为：
其中i∈1，2，3...L表示占用的信道，Psb和Psr分别表示处于蜂窝通信和D2D通信时的发射功率；hsw和huw表示用户到无人机之间的信道增益；xa(i)表示用户处发送的信息；nw(i)表示无人机接收处的噪声，和/>分别表示没有进行隐蔽传输和有进行隐蔽传输；式子中的第二项表示由于其他用户的通信而产生的干扰项；当处于/>情况下时，无人机处接收信号的信噪比表示为：
令无人机处使用能量检测来监测隐蔽信号的传输，则无人机接收处判决没有发生隐蔽传输时表示为判决有隐蔽传输时表示为/>
当用户处于蜂窝通信模式而无人机处判决为D2D通信模式称为虚警概率当用户处于D2D通信模式而无人机判决为D2D通信模式成为漏警概率/>检测错误概率为/>
ξ满足ξ≥1-∈，其中∈表示一个确定隐蔽性的任意小的常数；
通过似然比检测给出了无人机处最小化的最优检测值如下：
其中和/>分别表示/>和/>情况下的似然函数，/>和/>的表达式如下:
其中表示当被监视的用户处于D2D通信模式时无人机处的接收功率；根据KL散度得出了最小检测错误概率的下界，如下：
其中表示/>到/>的KL散度，L表示信道个数，γw表示处于/>情况下时，无人机处接收信号的信噪比。
由此得到的隐蔽约束条件表示为如下：
该条件能够确保的条件得到满足，即满足隐蔽约束条件；
当用户处于D2D通信模式时，Dr处的接收信号表示为如下：
其中hsr表示D2D链路的信道增益，该式的第二项表示其他用户传输时的干扰，nr(i)表示无人机接收处的噪声，则Dr处的信噪比表示为：
对于一个给定的传输速率R，其有效隐蔽传输吞吐量表示为η＝LR(1-δ)。其中δ表示隐蔽传输的中断概率，L表示信道个数，表达式如下：
其中Q(·)是Q函数。
进一步的，所述步骤S1中，构建的所需要优化的目标模型，具体如下：
Rsb，Rsr≥Rmin
其中，表示隐蔽传输速率，γ是一个折扣系数；第一个约束条件表示D2D用户之间是否产生了关联；第二个约束条件表示用户的发射功率不能超过Pmax；第三个约束条件表示其他用户的传输速率不能小于限定的最低速率；第四个约束条件表示被监测用户处于蜂窝通信模式时要满足传输时的隐蔽性。
进一步的，所述马尔可夫决策过程模型通过一个4元组来描述这个问题，其中/>是状态空间，/>是动作空间，/>是状态转移概率，/>是奖励函数；
将每个用户作为能够执行通信模式选则的智能体，定义智能体的状态、动作和奖励如下：
(1)在一个时隙里的状态空间表示为s＝(ξ1，ξ2，…，ξM)，其中ξM表示如下:
式中的ξm表示第m个用户的服务质量；
(2)在每个时隙里的动作空间表示为a＝(P1，P2，…，PM，β)，其中β表示在t时隙分配给蜂窝通信的频段的比例，PM表示控制用户通信模式和功率分配的变量，其表达式如下：
在该表达式中，当Pm为负数时，选则D2D通信模式，并且将|Pm大小的功率分配给用户作为发射功率；
(3)在一个时隙里的奖励为表示隐蔽传输速率。
进一步的，所述深度强化学习的方法采用TD3的深度强化学习方法。
本发明与现有技术相比具有以下有益效果：
本发明能够通过采用深度强化学习的方法让用户进行不同通信模式的选则以及功率分配，从而最大化隐蔽传输速率
附图说明
图1是本发明系统结构示意图；
图2是本发明一实施例中基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信方法网络结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，包括在一个指定区域(1km×1km)内分布着的M个用户和N个基站，N个基站中包含了1个宏基站和N-1个小基站。每个用户分别配备了一根发射天线和一根接收天线，可以在蜂窝模式或者D2D模式下通信，M个用户中有J个用户处于蜂窝通信，K个用户处于D2D通信。假设用户的位置固定不变，将用户的个数设置为偶数，每两个距离较近的用户组成一对进行D2D通信，每对D2D链路由发射者Dr和接收者Dt组成。考虑用户在D2D模式下的通信为隐蔽通信，空中有一架无人机充当监测者，只对其中一对用户进行监测，并给定一个隐蔽传输速率R。当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联。由于蜂窝通信和D2D通信之间存在相互的干扰，在本发明中将可用频段分成两部分，一部分分配给蜂窝通信，另一部分分配给D2D通信。通过深度强化学习的方法，最大化隐蔽传输速率。当用户与宏基站进行通信时，路径损耗设置为128.1+37.6log10d，d为它们之间的距离，其单位为km。当用户与小基站进行通信时，路径损耗设置为140.7+36.7log10d。当用户采用D2D通信模式时路径损耗设置为148+40log10d。噪声功率为175dBm。限制的最低传输速率为1Mbps。每个用户的静态功率为0.1W。
具体的通信方法如下：
步骤S1:根据用户发射信号的数学表达式以及所分配的频谱资源和能量以及确保被无人机所监视的那对用户处于D2D通信时的隐蔽性，构建所需要优化的目标如下：
当用户处于蜂窝通信模式时，接收端在每个时隙的信干噪比由下面表达式出：
式中ρsb和Pu是一个二进制变量，分别表示蜂窝通信的用户和其他用户与基站是否产生关联。Psb和Pu分别表示蜂窝通信用户和其他用户的发射功率。hsb和hub分别表示蜂窝通信用户和其他用户的信道增益。Nb表示噪声。
当用户处于D2D通信时，接收处在一个时隙里的信干噪比由下面表达式
式中ρsr和ρur是一个二进制变量，分别表示蜂窝通信的用户和其他用户与基站是否产生关联。Psr和Pu分别表示蜂窝通信用户和其他用户占的发射功率。hsr和hur分别表示蜂窝通信用户和其他用户的信道增益。Nr表示噪声。
当用户处于蜂窝通信时，用户到基站的传输速率由下面表达式给出：
Rsb＝βWlog2(1+γsb)
式中βW表示蜂窝通信时占用的带宽。
当用户处于D2D通信时的传输速率由下面表达式给出：
Rsr＝(1-β)Wlog2(1+γsr)
由于每个用户的功率由静态功率和动态功率组成，所以当用户处于不同通信模式时的总功率表达式如下：
PC＝P0+ηPsb
PD＝P0+ηPsr
式中PC和PD分别表示用户处于蜂窝通信和D2D通信时的总功率。P0表示用户的静态功率。η是一个比例因子。
优选的，本实施例采用一种基于有限码长隐蔽传输方案。考虑到被无人机所监视的用户的隐蔽性设计，假设无人机只监视一个用户，且所有用户传输的信息是一样的，则无人机在第t个时隙收到的信号为：
其中i∈1，2，3...L表示占用的信道，Psb和Psr分别表示处于蜂窝通信和D2D通信时的发射功率。hsw和huw表示用户到无人机之间的信道增益。xa(i)表示用户处发送的信息。nw(i)表示无人机接收处的噪声，和/>分别表示没有进行隐蔽传输和有进行隐蔽传输。式子中的第二项表示由于其他用户的通信而产生的干扰项。当处于情况下时，无人机处接收信号的信噪比表示为：
令无人机处使用能量检测来监测隐蔽信号的传输，则无人机接收处判决没有发生隐蔽传输时表示为判决有隐蔽传输时表示为/>当用户处于蜂窝通信模式而无人机处判决为D2D通信模式称为虚警概率/>当用户处于D2D通信模式而无人机判决为D2D通信模式成为漏警概率/>检测错误概率为/>为了确保用户处于D2D通信时的隐蔽性，ξ必须满足ξ≥1-∈，其中∈表示一个确定隐蔽性的任意小的常数。
在一般情况下总是以最小检测错误概率ξ*来监测隐蔽传输的存在，即满足ξ*≥1-∈。通过似然比检测给出了无人机处最小化的最优检测值如下：
其中和/>分别表示/>和/>情况下的似然函数，/>和/>的表达式如下:
其中表示当被监视的用户处于D2D通信模式时无人机处的接收功率。根据KL散度得出了最小检测错误概率的下界，如下：
其中表示/>到/>的KL散度，L表示信道个数，γw表示处于/>情况下时，无人机处接收信号的信噪比。
由此得到的隐蔽约束条件表示为如下：
该条件能够确保的条件得到满足，即满足隐蔽约束条件。
当用户处于D2D通信模式时，Dr处的接收信号表示为如下：
其中hsr表示D2D链路的信道增益，该式的第二项表示其他用户传输时的干扰，nr(i)表示无人机接收处的噪声，则Dr处的信噪比表示为：
对于一个给定的传输速率R，其有效隐蔽传输吞吐量表示为η＝LR(1-δ)。其中δ表示隐蔽传输的中断概率，L表示信道个数，表达式如下：
其中Q(·)是Q函数。
最终的优化问题的模型如下：
Rsb，Rsr≥Rmin
其中，表示隐蔽传输速率，γ是一个折扣系数，用于减小未来时隙对当前时隙的影响。第一个约束条件表示D2D用户之间是否产生了关联。第二个约束条件表示用户的发射功率不能超过Pmax。第三个约束条件表示其他用户的传输速率不能小于限定的最低速率。第四个约束条件表示被监测用户处于蜂窝通信模式时要满足传输时的隐蔽性。
步骤S2:构造所需要解决的优化问题的马尔可夫决策过程(MDP)模型如下：
(1)在一个时隙里的状态空间表示为s＝(ξ1，ξ2，…，ξM)，其中ξM表示如下:
式中的ξm表示第m个用户的服务质量，它的大小由用户的传输速率和限制的最低传输速率决定。
(2)在一个时隙里的动作空间表示为a＝(P1，P2，…，PM，β)，其中β表示在t时隙分配给蜂窝通信的频段的比例，PM表示控制用户通信模式和功率分配的变量，其表达式如下：
在该表达式中，当Pm为负数时，选则D2D通信模式，并且将|Pm大小的功率分配给用户作为发射功率。
(3)在每一个时隙里的奖励为表示隐蔽传输速率。
优选的，每个用户选则通信模式的过程如下：
在当前时隙每个用户将得到一个基于服务质量(ξm)的状态，并且由深度强化学习的方法选则动作(PM，β)，进入下一个时隙，如此反复。通过多次的迭代,当神经网络训练好之后，就能在每个用户的的当前状态下选则最佳的动作以获得最佳的奖励回报来最大化隐蔽传输速率。
优选的，在本实施例中采用TD3的深度强化学习方法来处理MDP模型，如图2所示，TD3深度强化学习方法如下：
TD3的深度强化学习方法，是在深度确定性策略梯度(DDPG)的基础上提出，用于解决DDPG算法的高估问题。TD3拥有两个Q网络，通过选择最小目标Q来解决高估问题。在每次更新中，选择Q值较小的Q目标网络作为Q目标。TD3更新动作网络和目标网络的频率低于当前评论网络。这中频率较低的更新方式能使得值估计的方差较低，从而使当前评论网络变得更稳定。此外，还采用了目标策略平滑正则化。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，其特征在于，包括随机分布的M个用户和N个基站；所述N个基站中包含1个宏基站和N-1个小基站，所有用户均能被宏基站所覆盖；所述M个用户分别配备了一根发射天线和一根接收天线，在蜂窝模式或者D2D模式下通信；所述M个用户中有J个用户处于蜂窝通信，K个用户处于D2D通信；所述M个用户的位置固定不变，个数为偶数，每两个用户组成一对进行D2D通信，每对D2D链路由发射者Dr和接收者Dt组成；还包括一无人机，对其中一对用户进行监测，并给定一个隐蔽传输速率R；当用户与基站进行通信时，采用最大信噪比的方式将用户与基站关联；
所述的一种基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统的通信方法，包括以下步骤：
步骤S1:根据用户占用的频谱资源、使用的发射功率以及隐蔽性要求，构建所需要优化的目标模型；
步骤S2:构造马尔可夫决策过程模型，采用深度强化学习的方法，通过动态地选择用户的通信模式，最大化隐蔽传输速率；
基于有限码长隐蔽传输，具体如下：
考虑到被无人机所监视的用户的隐蔽性设计，设无人机只监视一个用户，且所有用户传输的信息是一样的，则无人机在一个时隙里收到的信号为：
其中i∈1,2,3...L表示占用的信道，Psb和Psr分别表示处于蜂窝通信和D2D通信时的发射功率；hsw和huw表示用户到无人机之间的信道增益；xa(i)表示用户处发送的信息；nw(i)表示无人机接收处的噪声， 和/>分别表示没有进行隐蔽传输和有进行隐蔽传输；式子中的第二项表示由于其他用户的通信而产生的干扰项；当处于/>情况下时，无人机处接收信号的信噪比表示为：
令无人机处使用能量检测来监测隐蔽信号的传输，则无人机接收处判决没有发生隐蔽传输时表示为判决有隐蔽传输时表示为/>
当用户处于蜂窝通信模式而无人机处判决为D2D通信模式称为虚警概率当用户处于D2D通信模式而无人机判决为D2D通信模式成为漏警概率/>检测错误概率为/>
ξ满足ξ≥1-∈，其中∈表示一个确定隐蔽性的任意小的常数；
通过似然比检测给出了无人机处最小化的最优检测值如下：
其中和/>分别表示/>和/>情况下的似然函数，/>和/>的表达式如下:
其中表示当被监视的用户处于D2D通信模式时无人机处的接收功率；根据KL散度得出了最小检测错误概率的下界，如下：
其中表示/>到/>的KL散度，L表示信道个数，γw表示处于/>情况下时，无人机处接收信号的信噪比，
由此得到的隐蔽约束条件表示为如下：
该条件能够确保的条件得到满足，即满足隐蔽约束条件；
当用户处于D2D通信模式时，Dr处的接收信号表示为如下：
其中hsr表示D2D链路的信道增益，该式的第二项表示其他用户传输时的干扰，nr(i)表示无人机接收处的噪声，则Dr处的信噪比表示为：
对于一个给定的传输速率R，其有效隐蔽传输吞吐量表示为η＝LR(1-δ)，其中δ表示隐蔽传输的中断概率，L表示信道个数，表达式如下：
其中Q(·)是Q函数；
所述步骤S1中，构建的所需要优化的目标模型，具体如下：
Rsb,Rsr≥Rmin
其中，表示隐蔽传输速率，γ是一个折扣系数；第一个约束条件表示D2D用户之间是否产生了关联；第二个约束条件表示用户的发射功率不能超过Pmax；第三个约束条件表示其他用户的传输速率不能小于限定的最低速率；第四个约束条件表示被监测用户处于蜂窝通信模式时要满足传输时的隐蔽性；
所述马尔可夫决策过程模型通过一个4元组来描述这个问题，其中/>是状态空间，/>是动作空间，/>是状态转移概率，/>是奖励函数；
将每个用户作为能够执行通信模式选则的智能体，定义智能体的状态、动作和奖励如下：
(1)在一个时隙里的状态空间表示为s＝(ξ1,ξ2,…,ξM)，其中ξM表示如下:
式中的ξm表示第m个用户的服务质量；
(2)在每个时隙里的动作空间表示为a＝(P1,P2,…,PM,β)，其中β表示在t时隙分配给蜂窝通信的频段的比例，PM表示控制用户通信模式和功率分配的变量，其表达式如下：
在该表达式中，当Pm为负数时，选则D2D通信模式，并且将|Pm|大小的功率分配给用户作为发射功率；
(3)在一个时隙里的奖励为表示隐蔽传输速率。
2.根据权利要求1所述的基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统，其特征在于，将可用频段分成两部分，一部分分配给蜂窝通信，另一部分分配给D2D通信。
3.根据权利要求1所述的基于深度强化学习在D2D异构蜂窝网络中的隐蔽通信系统的通信方法，其特征在于，所述深度强化学习的方法采用TD3的深度强化学习方法。
CN202210502957.0A 2022-05-10 2022-05-10 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统 Active CN114900827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210502957.0A CN114900827B (zh) 2022-05-10 2022-05-10 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210502957.0A CN114900827B (zh) 2022-05-10 2022-05-10 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统

Publications (2)

Publication Number Publication Date
CN114900827A CN114900827A (zh) 2022-08-12
CN114900827B true CN114900827B (zh) 2024-05-31

Family

ID=82721079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210502957.0A Active CN114900827B (zh) 2022-05-10 2022-05-10 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统

Country Status (1)

Country Link
CN (1) CN114900827B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117220848A (zh) * 2023-10-09 2023-12-12 昆明学院 一种d2d的隐蔽通信系统及其最大化隐蔽速率的优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729528A (zh) * 2018-12-21 2019-05-07 北京邮电大学 一种基于多智能体深度强化学习的d2d资源分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170314B2 (en) * 2018-10-22 2021-11-09 General Electric Company Detection and protection against mode switching attacks in cyber-physical systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729528A (zh) * 2018-12-21 2019-05-07 北京邮电大学 一种基于多智能体深度强化学习的d2d资源分配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Achieving Adaptive Linkability for Cellular V2X Group Communications in 5G;hongwei li 等;《2018 IEEE Global Communications Conference (GLOBECOM)》;20181231;全文 *
强化学习方法在通信拒止战场仿真环境中多无人机目标搜寻问题上的适用性研究;汪亮;王文;王禹又;侯松林;乔裕哲;吴天珩;陶先平;;中国科学:信息科学(第03期);全文 *
无人机中继协助的有限码长隐蔽通信;胡锦松 等;《电子与信息学报》;20220315;全文 *

Also Published As

Publication number Publication date
CN114900827A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Zhang et al. Beyond D2D: Full dimension UAV-to-everything communications in 6G
Zhu et al. Joint design of access point selection and path planning for UAV-assisted cellular networks
Jia et al. Joint cooperative spectrum sensing and spectrum opportunity for satellite cluster communication networks
Luo et al. Online power control for 5G wireless communications: A deep Q-network approach
Guirguis et al. Cooperation-based multi-hop routing protocol for cognitive radio networks
Ji et al. Power optimization in device-to-device communications: A deep reinforcement learning approach with dynamic reward
CN114900827B (zh) 基于深度强化学习在d2d异构蜂窝网络中的隐蔽通信系统
He et al. On link scheduling in dual-hop 60-GHz mmwave networks
Sana et al. Multi-agent deep reinforcement learning based user association for dense mmWave networks
Ansere et al. Energy efficient resource optimization in cooperative Internet of Things networks
Fotouhi et al. Joint optimization of access and backhaul links for UAVs based on reinforcement learning
Saad et al. On millimeter wave 5G backhaul link scheduling
Anh et al. A deep reinforcement learning approach for backscatter-assisted relay communications
Balcı et al. Massive connectivity with machine learning for the Internet of Things
Peron et al. Physical and MAC cross-layer analysis of energy-efficient cooperative MIMO networks
US20110007702A1 (en) Channel selection in an ad hoc wireless network
Gong et al. Distributed DRL-based resource allocation for multicast D2D communications
Kim et al. Adaptive scheduling and power control for multi-objective optimization in IEEE 802.15. 6 based personalized wireless body area networks
Qu et al. Opportunistic network coding for secondary users in cognitive radio networks
Tian et al. On-Demand Multiplexing of eMBB/URLLC Traffic in a Multi-UAV Relay Network
Seth et al. Forming coalition sets from directional radios
Huang et al. A deep Q-network approach to optimize spatial reuse in WiFi networks
Park et al. Double deep q-learning based backhaul spectrum allocation in integrated access and backhaul network
Herrería-Alonso et al. Improving Uplink Scalability of LoRa-Based Direct-to-Satellite IoT Networks
Wang et al. Reinforcement learning based scheduling for heterogeneous UAV networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant