CN108834109A - 全双工主动窃听下基于q学习的d2d协同中继功率控制方法 - Google Patents
全双工主动窃听下基于q学习的d2d协同中继功率控制方法 Download PDFInfo
- Publication number
- CN108834109A CN108834109A CN201810415644.5A CN201810415644A CN108834109A CN 108834109 A CN108834109 A CN 108834109A CN 201810415644 A CN201810415644 A CN 201810415644A CN 108834109 A CN108834109 A CN 108834109A
- Authority
- CN
- China
- Prior art keywords
- active
- user
- eavesdropper
- power
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000001413 cellular effect Effects 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 10
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/18—TPC being performed according to specific parameters
- H04W52/24—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters
- H04W52/243—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters taking into account interferences
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Radio Relay Systems (AREA)
Abstract
本发明提供一种全双工窃听下基于Q学习的D2D协同中继功率控制方法，在蜂窝系统中存在全双工主动窃听者的情况下，采用基于Q学习的分层学习算法，先后更新主动窃听者的干扰功率和D2D协同中继和友好干扰的发射功率，从而提升蜂窝系统的物理层安全性能。
Description
技术领域
本发明涉及一种全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，具体是一种采用基于Q学习的D2D协同中继功率更新策略来提升蜂窝网络物理层安全性能的方法，属于无线通信中的功率控制技术领域。
背景技术
根据信息论理论，当合法收发信机之间的信道增益优于合法发射机到窃听者之间的信道增益时，可以完美地保证发送信息的安全性，而不会被窃听者截获并译码获知。这是保证信息物理层安全性能的基本前提，也是提升物理层安全的方向，很多技术包括多天线、协同中继、人工干扰等都是通过提升合法用户的传输速率或者降低窃听者的窃听速率来达到提升安全速率的目的。
对于蜂窝移动通信，其中的D2D通信既可以作为协同中继提升蜂窝用户的传输速率，或者作为友好干扰来恶化窃听信道的信道增益，因此采用D2D协同的方法来提升蜂窝网络的物理层安全性能具有与生俱来的优势。同时，在保证蜂窝用户物理层安全性能的同时，还能兼顾D2D用户的通信需要。
考虑到系统中存在的主动窃听者不再像传统的被动窃听者只是静默地窃听合法用户发送的信息，而是既可以被动窃听又能智能调节发射功率进行干扰的全双工主动窃听者，其带来的攻击性和破坏性更大。如果采用全双工的D2D用户进行协同中继可以最大程度地提升蜂窝用户的物理层安全性能，但是就无法实现D2D自身数据的传输，因此联合采用D2D协同中继和友好干扰的模式能最大地兼顾蜂窝用户的物理层安全性能和D2D用户的传输需求。
发明内容
本发明的目的是针对蜂窝网络中存在能够同时被动窃听和主动干扰的智能攻击者的情况下，提出了一种基于Q学习的D2D协同中继功率控制方法，在多个D2D用户和主动窃听者之间建立多个领导者-一个追随者的斯坦伯格博弈模型，并通过分层Q学习的算法获得稳定的D2D协同中继功率选择策略。
本发明的技术方案是：
本发明提供一种全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，该方法包括以下步骤：
1)初始化系统参数；
2)外层循环迭代次数加1：k＝k+1；
3)在第k次循环中，第i个D2D用户根据其功率选择概率qil从传输功率值的集合中选择其协同中继和友好干扰的传输功率值Pil；
4)内层迭代次数加1：t＝t+1；
5)在第t次迭代中，主动窃听者根据其功率选择概率qAm从离散功率值集合中选择其主动干扰功率值PAm；
6)计算第t次迭代中主动窃听者的平均效用函数
7)主动攻击者更新其Q值和功率选择概率qA,m(t+1)；
8)内部循环进行，直到主动攻击者的功率选择概率满足收敛条件；
9)在外部循环中，D2D用户计算其第k次迭代中效用函数
10)每个D2D用户更新其Q值和功率选择概率qi,l(k+1)
11)转向步骤3)，直到每个D2D用户的功率选择概率满足收敛条件，循环结束。
进一步地，步骤1)具体为：初始化系统参数：内层迭代次数t＝0,外层循环迭代次数k＝0,以及D2D用户和主动窃听者的Q值；
并且令qil表示第i个D2D用户选择离散功率集中的第l个传输功率值的概率，其中，i表示D2D用户的编号，表示D2D用户的集合，l表示D2D用户可选的传输功率值的编号，表示每个D2D用户可选的传输功率值的集合，表示为：其中ai表示第i个D2D用户的策略选择，Pil表示第i个D2D用户选择第l个传输功率值；L表示D2D用户可选的传输功率值的总数；
令qAm表示全双工主动窃听者选择第m个干扰功率值的概率，其中，m表示主动窃听者可选的干扰功率值的编号，M表示主动窃听者可选的干扰功率值的总数，表示主动窃听者可选的所有干扰功率值的集合，表示为其中aA表示主动窃听者的策略选择，PAm表示主动窃听者选择第m个传输功率值。
进一步地，步骤3)具体为：
a)计算蜂窝用户的数据传输速率RC
其中表示从基站到蜂窝用户直连链路上的信干噪比SINR，并且表示第i个D2D用户在两阶段中继链路上的信干噪比，
PB、PA、Pi、Pj表示基站、主动窃听者第i个和第j个D2D用户的发射功率，N0表示背景的加性高斯白噪声，α表示D2D用户的自干扰系数。基站和蜂窝用户之间的信道增益用hBC表示，基站和第i个D2D用户之间的信道增益用hBi表示，第i个D2D用户与蜂窝用户之间的信道增益用hiC表示，以及第i个D2D发射机到第j个D2D接收机之间的信道增益用hij表示，主动窃听者到第i个D2D用户以及蜂窝用户的信道增益分别用hAi，hAC表示，hii表示第i个D2D用户的发射天线到自身接收天线的信道增益；
b)计算全双工主动窃听者的窃听速率RA
其中表示从基站到窃听者之间的直连窃听信道上的信干噪比，为主动窃听者窃听的第i个D2D用户中继链路上的信干噪比，其中公式中的β表示主动窃听者的自干扰系数，hAi＝hiA，hiA表示第i个D2D用户到主动窃听者的信道增益，hji＝hij表示D2D收发信机之间的信道增益，并且从主动窃听者发射天线到接收天线的自干扰信道增益用hAA表示，从基站到窃听者之间的信道增益用hBA表示。
c)计算蜂窝系统总的安全可达速率Rs
Rs＝[RC-RA]+ (3)
其中[x]+＝max(0,x)；
d)计算蜂窝用户的效用函数Ui和主动窃听者的效用函数UA；
蜂窝用户的效用函数Ui表示为蜂窝系统的安全可达速率Rs和D2D协同中继的功率消耗代价λiPi之间的折中，其中λi表示第i个D2D用户的单位功率代价因子，主动窃听者的效用函数UA表示为窃听速率与主动窃听者干扰功率消耗代价λAPA的折中，其中λA表示主动窃听者的单位功率代价因子；
Ui＝Rs-λiPi (4)
UA＝RA-λAPA (5)
e)构建D2D用户和主动窃听者之间的博弈模型
其中：博弈的参与者是N个D2D用户和一个主动窃听者，表示所有的D2D用户的集合，A表示主动窃听者；博弈的策略空间为其中表示每个D2D用户可选的传输功率值的集合，表示主动窃听者可选的所有干扰功率值的集合；博弈的效用函数为{Ui,UA}，该博弈模型中的参与者为多个D2D用户和一个主动窃听者，其中多个D2D用户为领导者，而主动窃听者为跟随者，他们采用的策略分别为不同离散功率值的选择，从而构成具有分层结构的斯坦伯格博弈模型，D2D用户和主动窃听者通过下式来选择各自的功率策略
其中ai表示第i个D2D用户的策略选择，a-i表示除了第i个D2D用户其他的D2D用户的策略选择，表示所有D2D用户的策略选择，而aA表示主动窃听者的策略选择；
f)D2D用户和主动窃听者的策略选择概率
在构建的博弈模型下，考虑D2D用户和主动窃听者的平均效用函数最大化，其中
其中qi＝[qi1,qi2,...,qiL]表示第i个D2D用户传输功率选择的概率向量，表示所有的D2D用户的功率选择概率向量的组合，qA＝[qA1,qA2,...,qAM]表示主动窃听者干扰功率选择的概率向量。
进一步地，步骤6)中，根据公式(10)，计算第t次迭代中主动窃听者的平均效用函数
进一步地，步骤7)中，主动攻击者根据下式来更新其Q值和功率选择概率
其中表示主动窃听者的学习速率，τ0∈(0,1)是一个常数，控制Q学习中的开发和探索(exploration-exploitation.)之间的折中。
进一步地，步骤8)中，收敛条件为：
进一步地，步骤9)中，根据公式(9)，D2D用户计算其第k次迭代中效用函数
进一步地，步骤10)中，每个D2D用户根据下式更新其Q值和功率选择概率
其中，是第i个D2D用户的学习速率。
进一步地，步骤11)中，收敛条件为：ε＝10-5。
本发明的有益效果：
本发明本发明针对蜂窝网络中存在全双工主动窃听者攻击的情况，提出了一种基于Q学习的D2D协同中继功率控制方法，在提升蜂窝网络物理层安全性能的同时，兼顾D2D用户数据传输的需要，同时考虑了D2D用户和全双工主动窃听者自干扰对系统总的安全可达速率的影响。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1是D2D离散功率控制系统模型的总体框图。
图2是主动窃听者干扰功率选择概率收敛曲线。
图3是第一个D2D用户中继概率选择概率收敛曲线。
图4是第二个D2D用户中继概率选择概率收敛曲线。
图5是蜂窝系统总的安全可达速率随着D2D自干扰系数变化在不同算法下的比较曲线。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
一种全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，该方法包括以下步骤：
1)初始化系统参数：内层迭代次数t＝0,外层循环迭代次数k＝0,以及D2D用户和主动窃听者的Q值；
并且令qil表示第i个D2D用户选择离散功率集中的第l个传输功率值的概率，其中，i表示D2D用户的编号，表示D2D用户的集合，l表示D2D用户可选的传输功率值的编号，表示每个D2D用户可选的传输功率值的集合，表示为：其中ai表示第i个D2D用户的策略选择，Pil表示第i个D2D用户选择第l个传输功率值；L表示D2D用户可选的传输功率值的总数；
令qAm表示全双工主动窃听者选择第m个干扰功率值的概率，其中，m表示主动窃听者可选的干扰功率值的编号，M表示主动窃听者可选的干扰功率值的总数，表示主动窃听者可选的所有干扰功率值的集合，表示为其中aA表示主动窃听者的策略选择，PAm表示主动窃听者选择第m个传输功率值；
2)外层循环迭代次数加1：k＝k+1
3)在第k次循环中，第i个D2D用户根据其功率选择概率qil从传输功率值的集合中选择其协同中继和友好干扰的传输功率值Pil，
具体操作如下：
a)计算蜂窝用户的数据传输速率RC
其中表示从基站到蜂窝用户直连链路上的信干噪比SINR，并且表示第i个D2D用户在两阶段中继链路上的信干噪比，
PB、PA、Pi、Pj表示基站、主动窃听者第i个和第j个D2D用户的发射功率，N0表示背景的加性高斯白噪声，α表示D2D用户的自干扰系数。基站和蜂窝用户之间的信道增益用hBC表示，基站和第i个D2D用户之间的信道增益用hBi表示，第i个D2D用户与蜂窝用户之间的信道增益用hiC表示，以及第i个D2D发射机到第j个D2D接收机之间的信道增益用hij表示，主动窃听者到第i个D2D用户以及蜂窝用户的信道增益分别用hAi，hAC表示，hii表示第i个D2D用户的发射天线到自身接收天线的信道增益；
b)计算全双工主动窃听者的窃听速率RA
其中表示从基站到窃听者之间的直连窃听信道上的信干噪比，为主动窃听者窃听的第i个D2D用户中继链路上的信干噪比，其中公式中的β表示主动窃听者的自干扰系数，
hAi＝hiA，hiA表示第i个D2D用户到主动窃听者的信道增益，hji＝hij表示D2D收发信机之间的信道增益，并且从主动窃听者发射天线到接收天线的自干扰信道增益用hAA表示，从基站到窃听者之间的信道增益用hBA表示。
c)计算蜂窝系统总的安全可达速率Rs
Rs＝[RC-RA]+ (3)
其中[x]+＝max(0,x)；
d)计算蜂窝用户的效用函数Ui和主动窃听者的效用函数UA；
蜂窝用户的效用函数Ui表示为蜂窝系统的安全可达速率Rs和D2D协同中继的功率消耗代价λiPi之间的折中，其中λi表示第i个D2D用户的单位功率代价因子，主动窃听者的效用函数UA表示为窃听速率与主动窃听者干扰功率消耗代价λAPA的折中，其中λA表示主动窃听者的单位功率代价因子；
Ui＝Rs-λiPi (4)
UA＝RA-λAPA (5)
e)构建D2D用户和主动窃听者之间的博弈模型
其中：博弈的参与者是N个D2D用户和一个主动窃听者，表示所有的D2D用户的集合，A表示主动窃听者；博弈的策略空间为其中表示每个D2D用户可选的传输功率值的集合，表示主动窃听者可选的所有干扰功率值的集合；博弈的效用函数为{Ui,UA}，该博弈模型中的参与者为多个D2D用户和一个主动窃听者，其中多个D2D用户为领导者，而主动窃听者为跟随者，他们采用的策略分别为不同离散功率值的选择，从而构成具有分层结构的斯坦伯格博弈模型，D2D用户和主动窃听者通过下式来选择各自的功率策略
其中ai表示第i个D2D用户的策略选择，a-i表示除了第i个D2D用户其他的D2D用户的策略选择，表示所有D2D用户的策略选择，而aA表示主动窃听者的策略选择；
f)D2D用户和主动窃听者的策略选择概率
在构建的博弈模型下，考虑D2D用户和主动窃听者的平均效用函数最大化，其中
其中qi＝[qi1,qi2,...,qiL]表示第i个D2D用户传输功率选择的概率向量，表示所有的D2D用户的功率选择概率向量的组合，qA＝[qA1,qA2,...,qAM]表示主动窃听者干扰功率选择的概率向量；
4)内层迭代次数加1：t＝t+1；
5)在第t次迭代中，主动窃听者根据其功率选择概率qAm从离散功率值集合中选择其主动干扰功率值PAm；
6)根据公式(10)，计算第t次迭代中主动窃听者的平均效用函数
7)主动攻击者根据下式来更新其Q值和功率选择概率
其中表示主动窃听者的学习速率，τ0∈(0,1)是一个常数，控制Q学习中的开发和探索(exploration-exploitation.)之间的折中；
8)内部循环进行，直到收敛条件满足
9)在外部循环中，根据公式(9)，D2D用户计算其第k次迭代中效用函数
10)每个D2D用户根据下式更新其Q值和功率选择概率
其中是第i个D2D用户的学习速率；
11)转向步骤3)，直到收敛条件满足，循环结束。
图2-图5是本发明的仿真曲线。其中图2-图4是一次仿真中主动窃听者和两个D2D用户干扰功率和中继功率概率选择的收敛曲线。从图中可以看出，在本发明提出的基于Q学习的离散功率选择算法下，D2D中继功率选择的概率向量和主动窃听者采用不同干扰功率的概率在70次左右达到收敛，收敛速度较快。图5是仿真结果为105次独立实验的平均值，是本发明多次仿真中蜂窝网络总的安全可达速率在本文提出的基于Q学习的离散功率控制算法(QDPCA)与基于随机选择算法(RSA)下随着D2D用户自干扰系数的比较曲线。从图5中可以看出，本发明提出的基于Q学习的D2D中继功率控制算法都优于基于随机选择的功率控制算法，并且安全可达速率都随着D2D用户自干扰系数的增大而减小，这是因为D2D用户自干扰的增大会减小中继所带来的通信增益，从而进一步减小蜂窝系统的安全可达速率。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (10)
1.一种全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，该方法包括以下步骤：
1)初始化系统参数；
2)外层循环迭代次数加1：k＝k+1；
3)在第k次循环中，第i个D2D用户根据其功率选择概率qil从传输功率值的集合中选择其协同中继和友好干扰的传输功率值Pil；
4)内层迭代次数加1：t＝t+1；
5)在第t次迭代中，主动窃听者根据其功率选择概率qA m从离散功率值集合中选择其主动干扰功率值PAm；
6)计算第t次迭代中主动窃听者的平均效用函数
7)主动攻击者更新其Q值和功率选择概率qA,m(t+1)；
8)内部循环进行，直到主动攻击者的功率选择概率满足收敛条件；
9)在外部循环中，D2D用户计算其第k次迭代中效用函数
10)每个D2D用户更新其Q值和功率选择概率qi,l(k+1)
11)转向步骤3)，直到每个D2D用户的功率选择概率满足收敛条件，循环结束。
2.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤1)具体为：初始化系统参数：内层迭代次数t＝0,外层循环迭代次数k＝0,以及D2D用户和主动窃听者的Q值；
并且令qil表示第i个D2D用户选择离散功率集中的第l个传输功率值的概率，其中，i表示D2D用户的编号，表示D2D用户的集合，l表示D2D用户可选的传输功率值的编号，表示每个D2D用户可选的传输功率值的集合，表示为：其中ai表示第i个D2D用户的策略选择，Pil表示第i个D2D用户选择第l个传输功率值；L表示D2D用户可选的传输功率值的总数；
令qAm表示全双工主动窃听者选择第m个干扰功率值的概率，其中，m表示主动窃听者可选的干扰功率值的编号，M表示主动窃听者可选的干扰功率值的总数，表示主动窃听者可选的所有干扰功率值的集合，表示为其中aA表示主动窃听者的策略选择，PAm表示主动窃听者选择第m个传输功率值。
3.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤3)具体为：
a)计算蜂窝用户的数据传输速率RC
其中表示从基站到蜂窝用户直连链路上的信干噪比SINR，并且表示第i个D2D用户在两阶段中继链路上的信干噪比，
PB、PA、Pi、Pj表示基站、主动窃听者、第i个和第j个D2D用户的发射功率，N0表示背景的加性高斯白噪声，α表示D2D用户的自干扰系数。基站和蜂窝用户之间的信道增益用hBC表示，基站和第i个D2D用户之间的信道增益用hBi表示，第i个D2D用户与蜂窝用户之间的信道增益用hiC表示，以及第i个D2D发射机到第j个D2D接收机之间的信道增益用hij表示，主动窃听者到第i个D2D用户以及蜂窝用户的信道增益分别用hAi，hAC表示，hii表示第i个D2D用户的发射天线到自身接收天线的信道增益；
b)计算全双工主动窃听者的窃听速率RA
其中表示从基站到窃听者之间的直连窃听信道上的信干噪比，为主动窃听者窃听的第i个D2D用户中继链路上的信干噪比，其中公式中的β表示主动窃听者的自干扰系数，hAi＝hiA，hiA表示第i个D2D用户到主动窃听者的信道增益，hji＝hij表示D2D收发信机之间的信道增益，并且从主动窃听者发射天线到接收天线的自干扰信道增益用hAA表示，从基站到窃听者之间的信道增益用hBA表示。
c)计算蜂窝系统总的安全可达速率Rs
Rs＝[RC-RA]+ (3)
其中[x]+＝max(0,x)；
d)计算蜂窝用户的效用函数Ui和主动窃听者的效用函数UA；
蜂窝用户的效用函数Ui表示为蜂窝系统的安全可达速率Rs和D2D协同中继的功率消耗代价λiPi之间的折中，其中λi表示第i个D2D用户的单位功率代价因子，主动窃听者的效用函数UA表示为窃听速率与主动窃听者干扰功率消耗代价λAPA的折中，其中λA表示主动窃听者的单位功率代价因子；
Ui＝Rs-λiPi (4)
UA＝RA-λAPA (5)
e)构建D2D用户和主动窃听者之间的博弈模型
其中：博弈的参与者是N个D2D用户和一个主动窃听者，表示所有的D2D用户的集合，A表示主动窃听者；博弈的策略空间为其中表示每个D2D用户可选的传输功率值的集合，表示主动窃听者可选的所有干扰功率值的集合；博弈的效用函数为{Ui,UA}，该博弈模型中的参与者为多个D2D用户和一个主动窃听者，其中多个D2D用户为领导者，而主动窃听者为跟随者，他们采用的策略分别为不同离散功率值的选择，从而构成具有分层结构的斯坦伯格博弈模型，D2D用户和主动窃听者通过下式来选择各自的功率策略
其中ai表示第i个D2D用户的策略选择，a-i表示除了第i个D2D用户其他的D2D用户的策略选择，表示所有D2D用户的策略选择，而aA表示主动窃听者的策略选择；
f)D2D用户和主动窃听者的策略选择概率
在构建的博弈模型下，考虑D2D用户和主动窃听者的平均效用函数最大化，其中
其中qi＝[qi1,qi2,...,qiL]表示第i个D2D用户传输功率选择的概率向量，表示所有的D2D用户的功率选择概率向量的组合，qA＝[qA1,qA2,...,qAM]表示主动窃听者干扰功率选择的概率向量。
4.根据权利要求3所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤6)中，根据公式(10)，计算第t次迭代中主动窃听者的平均效用函数
5.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤7)中，主动攻击者根据下式来更新其Q值和功率选择概率
其中表示主动窃听者的学习速率，τ0∈(0,1)是一个常数，控制Q学习中的开发和探索(exploration-exploitation.)之间的折中。
6.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤8)中，收敛条件为：
7.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤9)中，根据公式(9)，D2D用户计算其第k次迭代中效用函数
8.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤10)中，每个D2D用户根据下式更新其Q值和功率选择概率
其中，是第i个D2D用户的学习速率。
9.根据权利要求1所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，步骤11)中，收敛条件为：
10.根据权利要求9所述的全双工主动窃听下基于Q学习的D2D协同中继功率控制方法，其特征在于，ε＝10-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810415644.5A CN108834109B (zh) | 2018-05-03 | 2018-05-03 | 全双工主动窃听下基于q学习的d2d协同中继功率控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810415644.5A CN108834109B (zh) | 2018-05-03 | 2018-05-03 | 全双工主动窃听下基于q学习的d2d协同中继功率控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108834109A true CN108834109A (zh) | 2018-11-16 |
| CN108834109B CN108834109B (zh) | 2021-03-19 |
Family
ID=64148200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810415644.5A Active CN108834109B (zh) | 2018-05-03 | 2018-05-03 | 全双工主动窃听下基于q学习的d2d协同中继功率控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108834109B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109729528A (zh) * | 2018-12-21 | 2019-05-07 | 北京邮电大学 | 一种基于多智能体深度强化学习的d2d资源分配方法 |
| CN110061982A (zh) * | 2019-04-02 | 2019-07-26 | 广州大学 | 一种基于强化学习的对抗智能攻击安全传输方法 |
| CN110149627A (zh) * | 2019-04-22 | 2019-08-20 | 西北工业大学 | 基于深度学习的应急通信系统无线供能d2d通信安全的方法 |
| CN110337094A (zh) * | 2019-08-06 | 2019-10-15 | 中国人民解放军陆军工程大学 | 针对d2d内容共享的安全传输系统及其方法 |
| CN110753329A (zh) * | 2019-10-29 | 2020-02-04 | 吉林大学 | 蜂窝网络中d2d中继通信的功率控制与中继选择方法 |
| CN110933679A (zh) * | 2019-12-11 | 2020-03-27 | 中国人民解放军陆军工程大学 | 一种依概率主动窃听下的稳健d2d功率控制方法 |
| CN113225709A (zh) * | 2021-04-25 | 2021-08-06 | 广州航海学院 | 一种在城市交叉路口处辅助5g nr车联网通信的中继策略优化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104837110A (zh) * | 2015-04-17 | 2015-08-12 | 南京邮电大学 | 蜂窝d2d通信系统中基于中断性能提升的传输策略实现方法 |
| CN105992124A (zh) * | 2015-02-12 | 2016-10-05 | 北京邮电大学 | 基于d2d的簇间通信方法 |
| CN106788661A (zh) * | 2017-01-10 | 2017-05-31 | 华侨大学 | 一种全双工机会式中继的协议自适应切换安全传输方案 |
-
2018
- 2018-05-03 CN CN201810415644.5A patent/CN108834109B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105992124A (zh) * | 2015-02-12 | 2016-10-05 | 北京邮电大学 | 基于d2d的簇间通信方法 |
| CN104837110A (zh) * | 2015-04-17 | 2015-08-12 | 南京邮电大学 | 蜂窝d2d通信系统中基于中断性能提升的传输策略实现方法 |
| CN106788661A (zh) * | 2017-01-10 | 2017-05-31 | 华侨大学 | 一种全双工机会式中继的协议自适应切换安全传输方案 |
Non-Patent Citations (2)
| Title |
|---|
| YIJIE LUO: "Power Control and Channel Access for Physical-Layer Security of D2D Underlay Communication", 《IEEE》 * |
| 罗屹洁: "D2D 使能蜂窝网络中存在主动窃听者的物理层安全研究", 《信号处理》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109729528A (zh) * | 2018-12-21 | 2019-05-07 | 北京邮电大学 | 一种基于多智能体深度强化学习的d2d资源分配方法 |
| CN110061982A (zh) * | 2019-04-02 | 2019-07-26 | 广州大学 | 一种基于强化学习的对抗智能攻击安全传输方法 |
| CN110149627A (zh) * | 2019-04-22 | 2019-08-20 | 西北工业大学 | 基于深度学习的应急通信系统无线供能d2d通信安全的方法 |
| CN110337094A (zh) * | 2019-08-06 | 2019-10-15 | 中国人民解放军陆军工程大学 | 针对d2d内容共享的安全传输系统及其方法 |
| CN110753329A (zh) * | 2019-10-29 | 2020-02-04 | 吉林大学 | 蜂窝网络中d2d中继通信的功率控制与中继选择方法 |
| CN110933679A (zh) * | 2019-12-11 | 2020-03-27 | 中国人民解放军陆军工程大学 | 一种依概率主动窃听下的稳健d2d功率控制方法 |
| CN113225709A (zh) * | 2021-04-25 | 2021-08-06 | 广州航海学院 | 一种在城市交叉路口处辅助5g nr车联网通信的中继策略优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108834109B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108834109B (zh) | 全双工主动窃听下基于q学习的d2d协同中继功率控制方法 | |
| CN109729528B (zh) | 一种基于多智能体深度强化学习的d2d资源分配方法 | |
| Sagduyu et al. | MAC games for distributed wireless network security with incomplete information of selfish and malicious user types | |
| Li et al. | Enhanced secure transmission against intelligent attacks | |
| CN111586646B (zh) | 一种蜂窝网络中联合上下信道的d2d通信的资源分配方法 | |
| CN101588627B (zh) | 协作通信中源与中继节点的功率最优联合分配的方法 | |
| CN105163380B (zh) | Mimo无线多跳网络的分布式跨层优化方法 | |
| CN108834108B (zh) | 对抗半双工主动窃听的基于虚拟决策的d2d协同中继选择方法 | |
| CN107172576B (zh) | 一种增强蜂窝网安全性的d2d通信下行资源共享方法 | |
| Ji et al. | Reconfigurable intelligent surface enhanced device-to-device communications | |
| Fazel et al. | Secure throughput optimization for cache-enabled multi-UAVs networks | |
| CN113225794A (zh) | 一种基于深度强化学习的全双工认知通信功率控制方法 | |
| CN107864507B (zh) | 基于量子猴群搜索机制的认知无线电功率控制方法 | |
| Gao et al. | Resource allocation in IRSs aided MISO-NOMA networks: A machine learning approach | |
| CN111212438A (zh) | 一种无线携能通信技术的资源分配方法 | |
| Song et al. | Maximizing packets collection in wireless powered IoT networks with charge-or-data time slots | |
| Abuzainab et al. | Robust Bayesian learning for wireless RF energy harvesting networks | |
| Li et al. | Multigroup multicast transmission via intelligent reflecting surface | |
| Islam et al. | Distributed power and admission control for cognitive radio networks using antenna arrays | |
| CN116321236A (zh) | Ris辅助的安全无蜂窝大规模mimo系统能效优化方法 | |
| CN116506918A (zh) | 一种基于缓存区预测的中继选择方法 | |
| Ahmadi et al. | Evaluation of machine learning algorithms on power control of massive MIMO systems | |
| CN110933679B (zh) | 一种依概率主动窃听下的稳健d2d功率控制方法 | |
| Nguyen et al. | Power-efficient spatial multiplexing for multiantenna MANETs | |
| CN106954255B (zh) | 基于自适应细菌觅食的认知无线电功率控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |