CN108616916A - 一种合作抗干扰分层博弈模型及抗干扰学习算法 - Google Patents
一种合作抗干扰分层博弈模型及抗干扰学习算法 Download PDFInfo
- Publication number
- CN108616916A CN108616916A CN201810396863.3A CN201810396863A CN108616916A CN 108616916 A CN108616916 A CN 108616916A CN 201810396863 A CN201810396863 A CN 201810396863A CN 108616916 A CN108616916 A CN 108616916A
- Authority
- CN
- China
- Prior art keywords
- interference
- user
- strategy
- channel
- utility function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 claims abstract description 58
- 238000005381 potential energy Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000005562 fading Methods 0.000 claims description 6
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
- H04B17/3911—Fading models or fading generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
- H04B17/3912—Simulation models, e.g. distribution of spectral power density or received signal strength indicator [RSSI] for a given geographic region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
- H04W52/04—TPC
- H04W52/18—TPC being performed according to specific parameters
- H04W52/24—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters
- H04W52/243—TPC being performed according to specific parameters using SIR [Signal to Interference Ratio] or other wireless path parameters taking into account interferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/50—Allocation or scheduling criteria for wireless resources
- H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
- H04W72/541—Allocation or scheduling criteria for wireless resources based on quality criteria using the level of interference
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种合作抗干扰分层博弈模型及抗干扰学习算法。该模型为:将用户建模为领导者,干扰建模为跟随者,干扰始终以最大化降低系统的吞吐量为优化目标,用户利用抗干扰学习算法,不断调整抗干扰策略,最大化系统整体吞吐量。算法为:首先构建Stackelberg博弈模型,参与者是所有用户和干扰;所有用户随机生成初始的抗干扰策略,干扰根据用户的抗干扰策略进行干扰策略选择;然后用户随机选择一个抗干扰策略,计算相应的效用函数并比较,干扰随用户动作改变而更新干扰策略;循环迭代,直至所有用户抗干扰策略实现收敛或者达到设定的迭代次数;最后计算全网吞吐量和干扰效用函数。本发明利用用户间的合作关系,提升了系统抗干扰能力。
Description
技术领域
本发明属于无线通信技术领域,特别是一种合作抗干扰分层博弈模型及抗干扰学习算法。
背景技术
随者无线技术的发展,用户通信需求呈现出指数型的爆发趋势,这使得如何减少恶意干扰对用户通信质量影响的研究越来越重要。针对这个问题,有人提出了一种通过跳频方式避免干扰的抗干扰策略(Liang Xiao,Tianhua Chen,Jinliang Liu,Huaiyu Dai,``Anti-Jamming Transmission Stackelberg Game With Observation Errors”,IEEECommunications Letters,vol.19,no.6,pp.949-952,2015.);有人提出了通过调整发射功率从而增大信噪比的抗干扰策略(Luliang Jia,Fuqiang Yao,Youming Sun,YingtaoNiu,Yonggang Zhu,``Bayesian Stackelberg Game for Antijamming Transmission WithIncomplete Information”,IEEE Communications Letters,vol.20,no.10,pp.1991-1994,2016.)。然而,大部分研究都只是假设了一种简单的干扰样式,并没有考虑智能干扰对抗干扰策略的影响,而且研究集中于单用户单干扰的场景,对更为常见的多用户场景较少涉及。
Stackelberg博弈主要刻画的是分层决策的相互影响关系;抗干扰博弈模型(Luliang Jia,Fuqiang Yao,Youming Sun,Yuhua Xu,Shuo Feng,AlaganAnpalagan,``AHierarchical Learning Solution for Anti-jamming Stackelberg Game withDiscrete Power Strategies”IEEE Wireless Communications Letters,vol.6,no.6,pp.818-821,2017.)中,构建了一个单领导者单跟随者的Stackelberg博弈模型,将干扰定位为领导者,用户通信对定位为跟随者,研究了一种带有观测误差的抗干扰模型,通过构建贝叶斯-Stackelberg博弈进行了求解,但是它仅考虑了单用户的场景,而且抗干扰策略为调整发射功率,并没有考虑多用户多信道系统模型。
发明内容
本发明的目的在于提供一种能够提高系统吞吐量、降低干扰影响的合作抗干扰分层博弈模型及抗干扰学习算法。
实现本发明目的的技术解决方案为:一种合作抗干扰分层博弈模型,将用户建模为领导者,干扰建模为跟随者,干扰始终以最大化降低多用户系统的吞吐量为优化目标,用户利用抗干扰学习算法,不断调整抗干扰策略,在干扰跟随用户的决策始终以最大化干扰效用为目标的前提下,最大化系统整体吞吐量。
一种基于合作抗干扰分层博弈模型的抗干扰学习算法,包括以下步骤:
步骤1,将多用户单干扰场景下的合作抗干扰问题,建模为多领导者单跟随者的Stackelberg博弈模型,博弈的参与者是系统内的所有用户和干扰;
步骤2,所有用户随机生成初始的抗干扰策略,包括信道选择与功率配置,干扰则根据用户的抗干扰策略进行干扰信道选择,定义干扰的效用函数为系统通信用户策略保持不变时干扰存在与否对系统整体吞吐量的影响,定义用户的效用函数为干扰条件下的全网吞吐量与自身的功率消耗开销,引入势能博弈模型;
步骤3,随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略;
步骤4,循环步骤3,用户通过探索学习进行策略选择,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数。
进一步地,步骤1所述的将多用户单干扰场景下的合作抗干扰问题,建模为多领导者单跟随者的Stackelberg博弈模型,该博弈模型定义为:
G=[{N,J},{A,aj},{un,uj}]
该博弈模型G中包含三个组成部分,其中,{N,J}为参与博弈的用户和干扰集合,{A,aj}为用户的策略空间和干扰的策略空间,{un,uj}为用户n的效用函数和干扰j的效用函数。
进一步地,,步骤2所述的引入势能博弈模型,具体如下:
定义用户间势能函数为:
在干扰存在条件下,领导者的博弈模型构成一个势能博弈,至少存在一个纯策略纳什均衡解;由于干扰始终存在且优化其干扰效用,所以Stackelberg博弈模型也存在相应的Stackelberg均衡解;证明过程如下:
其中an为用户n的信道接入和功率配置策略,a-n为其余用户的策略,aj为干扰的干扰策略;rn为用户n的吞吐量,βi是用户i的功率消耗单位代价,cn1,2为用户n的信道策略,为对应信道的功率配置。
进一步地,步骤3所述的随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略,具体如下:
设定系统中共有M信道和N个用户,所有用户随机分布于某个区域内,用户n的发送端到用户m的接收端距离为dnm,用户n的策略为其中cn1,2为用户的信道选择,为对应信道配置的功率,则用户n在信道cn1上受到的干扰为:
其中α为信道衰落系数,若cxk=cni,则δ(cxk,cni)=1,表明用户该信道被干扰,反之δ(cxk,cni)=0,即用户没有收到干扰;
根据Shannon公式进行计算,得用户n在信道cn1上的吞吐量为:
其中,N0为噪声功率,α为信道衰落系数,1-δ(cni,aj)来表明该信道有没有收到干扰;
其中干扰的策略为aj,干扰的效用函数为:
其中,aN为全体用户的策略集合,aj=0表明干扰不对任何信道进行干扰;上式物理意义为施加干扰时,全系统吞吐量降低的性能即为干扰的效用;
在干扰条件下,用户的效用函数un为:
其中,βn为功率消耗代价;
博弈的优化目标:用户和干扰分别以自身效用函数为优化目标,即用户通过调整抗干扰策略,综合优化系统吞吐量和自身功率开销,干扰则通过选择信道进行干扰策略更新,使得干扰效用函数最大化:
即用户和干扰通过分别调整策略,使得自己的效用函数最大化。
进一步地,步骤4所述的循环步骤3,用户通过探索学习进行合作抗干扰,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数,具体如下:
(4.1)所有的用户进行信息交互;
(4.2)每次迭代都随机选择一个用户n进行操作;
(4.3)其他所有的用户重复之前的抗干扰策略选择,即a-n(k+1)=a-n(k);
对于选中的次级用户n,首先计算它选择不同抗干扰策略的效用函数值,用户n根据如下抗干扰策略更新准则进行抗干扰策略更新,即当新生成的策略能够带来更高的效用函数收益时,采用新生成的策略,an(k)表示用户n在第k时刻的策略;
干扰的策略更新规则为:
本发明与现有技术相比,其显著优点在于:(1)充分考虑了多用户合作抗干扰的问题,提出了多领导者单跟随者的Stackelberg博弈模型,同时将抗干扰策略由单一的调整功率扩展到信道选择与功率配置相结合,考虑了功率压制机制下的智能干扰模型;(2)通过引入势能博弈模型,利用势能博弈证明了该Stackelberg博弈模型存在Stackelberg均衡,并且是可以求解的,为算法的设计提供了理论支持;(3)提出的合作抗干扰学习算法,通过信息交互,探测并达到全局最优,避免了在计算全局最优中存在的不收敛问题。
附图说明
图1是本发明合作抗干扰的Stackelberg博弈模型中的多用户单干扰网络示意图。
图2是本发明算法与随机抗干扰、非合作抗干扰算法性能对比图。
图3是本发明算法在信道数目改变时全局吞吐量和干扰效果对比图。
具体实施方式
结合图1,本发明合作抗干扰的Stackelberg博弈模型,5个用户对随机分布,共有3个信道可供选择,例如,用户对1选择了信道1和信道2进行通信,而用户对2选择了信道1进行通信。干扰通过对用户策略进行感知,最终选择了对信道1进行干扰。对于用户而言,当干扰选择信道1进行干扰时,其余使用信道2和信道3的用户性能得到了保证。而用户的优化目标为全网吞吐量与自身功率消耗,若此时被干扰的用户效用函数也达到了最大,那么图中所示策略即为均衡解。
本发明合作抗干扰Stackelber博弈模型,将用户建模为领导者,干扰建模为跟随者,干扰始终以最大化降低多用户系统的吞吐量为优化目标,用户利用抗干扰学习算法,不断调整信道选择与功率配置,在干扰跟随用户的决策始终以最大化其干扰效用为目标的前提下,最大化系统整体吞吐量。
本发明基于和网络全局效用的关系,通过势能博弈证明纳什均衡的存在性,证明Stackelberg均衡的存在性,通过将势能博弈的有限递进提醒,利用势能函数达到最大化全局性能的目的。
本发明基于合作抗干扰分层博弈模型的抗干扰学习算法,包括以下步骤:
步骤1,将多用户单干扰场景下的合作抗干扰问题,建模为多领导者单跟随者的Stackelberg博弈模型,博弈的参与者是系统内的所有用户和干扰;
步骤2,所有用户随机生成初始的抗干扰策略,包括信道选择与功率配置,干扰则根据用户的抗干扰策略进行干扰信道选择,定义干扰的效用函数为系统通信用户策略保持不变时干扰存在与否对系统整体吞吐量的影响,定义用户的效用函数为干扰条件下的全网吞吐量与自身的功率消耗开销,引入势能博弈模型;
步骤3,随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略;
步骤4,循环步骤3,用户通过探索学习进行策略选择,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数。
本发明的具体实施如下:
一、步骤1将用户合作抗干扰问题建模为Stackelberg博弈模型,该博弈模型定义为:
G=[{N,J},{A,aj},{un,uj}]
该博弈模型G中包含三个组成部分,其中,{N,J}为参与博弈的用户和干扰集合,{A,aj}为用户的策略空间和干扰的策略空间,{un,uj}为用户n的效用函数和干扰j的效用函数。
二、步骤2所述的引入势能博弈模型,具体如下:
定义用户间势能函数为:
在干扰存在条件下,领导者的博弈模型构成一个势能博弈,至少存在一个纯策略纳什均衡解;由于干扰始终存在且优化其干扰效用,所以Stackelberg博弈模型也存在相应的Stackelberg均衡解;证明过程如下:
其中an为用户n的信道接入和功率配置策略,a-n为其余用户的策略,aj为干扰的干扰策略;rn为用户n的吞吐量,βi是用户i的功率消耗单位代价,cn1,2为用户n的信道策略,为对应信道的功率配置。
三、步骤3所述的随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略,具体如下:
设定系统中共有M信道和N个用户,所有用户随机分布于某个区域内,用户n的发送端到用户m的接收端距离为dnm,用户n的策略为其中cn1,2为用户的信道选择,为对应信道配置的功率,则用户n在信道cn1上受到的干扰为:
其中α为信道衰落系数,若cxk=cni,则δ(cxk,cni)=1,表明用户该信道被干扰,反之δ(cxk,cni)=0,即用户没有收到干扰;
根据Shannon公式进行计算,得用户n在信道cn1上的吞吐量为:
其中,N0为噪声功率,α为信道衰落系数,1-δ(cni,aj)来表明该信道有没有收到干扰;
其中干扰的策略为aj,考虑干扰对所选择的信道具有功率压制的效用,即该信道上其他的用户无法继续正常通信,干扰的效用函数为:
其中,aN为全体用户的策略集合,aj=0表明干扰不对任何信道进行干扰;上式物理意义为施加干扰时,全系统吞吐量降低的性能即为干扰的效用;
在干扰条件下,用户的效用函数un为:
其中,βn为功率消耗代价。
四、博弈的优化目标:用户和干扰分别以自身效用函数为优化目标,即用户通过调整抗干扰策略,综合优化系统吞吐量和自身功率开销,干扰则通过选择信道进行干扰策略更新,使得干扰效用函数最大化:
即用户和干扰通过分别调整策略,使得自己的效用函数最大化。
五、步骤4所述循环步骤3,用户通过探索学习进行合作抗干扰,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数,具体如下:
(4.1)所有的用户进行信息交互;
(4.2)每次迭代都随机选择一个用户n进行操作;
(4.3)其他所有的用户重复之前的抗干扰策略选择,即a-n(k+1)=a-n(k);
对于选中的次级用户n,首先利用公式(3)计算它选择不同抗干扰策略的效用函数值,用户n根据如下抗干扰策略更新准则进行抗干扰策略更新,即当新生成的策略能够带来更高的效用函数收益时,采用新生成的策略,an(k)表示用户n在第k时刻的策略;
干扰的策略更新规则为:
实施例1
本发明的一个实施例如下描述:系统仿真采用Matlab软件,参数设定不影响一般性;N个用户对随机布设在一个200m×200m的网络场景中,考虑M=5个信道,设用户可以将2个连续的信道进行绑定后发送数据,每个用户有一个发送功率上限0.1W,用户在信道选择之后,对发送功率进行合理配置,假设用户对的发送端和接收端距离范围为[35-50],路径衰落为-3,单位功率消耗代价为20。
本发明基于合作抗干扰的Stackelberg博弈模型的抗干扰学习算法,具体过程如下:
步骤1:初始化,设置迭代次数j=0,每个用户n∈N随机生成信道选择和功率配置,干扰根据用户的策略生成干扰策略:
步骤2:用户策略和干扰策略更新(循环):
①所有的用户进行信息交互。
②每次迭代都随机选择一个次级用户n进行操作。
③其他所有的用户保持之前策略不变,即a-n(k+1)=a-n(k)。对于选中的用户n,随机生成一个抗干扰策略a'n,计算相应效用值,然后用户依据下式更新它的选择抗干扰策略:
干扰的策略更新规则为:
步骤3:当所有用户的抗干扰策略选择实现收敛,或者达到一定的迭代次数时,循环结束。
步骤4:根据收敛后的抗干扰策略和干扰策略,计算全网吞吐量和干扰效用函数。
结合图2,为随着用户数目的变化,全网吞吐量和干扰效用函数变化情况,对比算法为随机抗干扰方法和非合作的抗干扰方法。由图可知,采用本发明所提的合作抗干扰方法取得的全网吞吐量性能远高于随机和非合作的抗干扰方法。随用户数目增加,全网吞吐量性能也呈逐步增加趋势。
结合图3,当信道数目为4和6个两种情况时,用户不同的信道绑定策略下,全网吞吐量性能和干扰效用函数的比较。由图3可知,信道数越大,吞吐量性能越高,干扰损失越小,信道绑定数目增加也会使得吞吐量性能增加。
综上,本发明提出的合作抗干扰的Stackelberg博弈模型及抗干扰学习算法,充分考虑到了多用户场景下的合作问题,通过构建相应的多领导者单跟随者的Stackelberg博弈模型,利用势能博弈特性,证明了Stackelberg均衡的存在性和最优性,有效提高了全网吞吐量性能和抗干扰水平。通过与随机抗干扰方法和非合作抗干扰方法的对比,证明所提合作抗干扰策略能够在降低干扰影响的情况下,提高全网吞吐量。算法仿真结果也表明了所提模型及算法的有效性,验证了理论的正确性。
Claims (6)
1.一种合作抗干扰分层博弈模型,其特征在于,将用户建模为领导者,干扰建模为跟随者,干扰始终以最大化降低多用户系统的吞吐量为优化目标,用户利用抗干扰学习算法,不断调整抗干扰策略,在干扰跟随用户的决策始终以最大化干扰效用为目标的前提下,最大化系统整体吞吐量。
2.一种基于合作抗干扰分层博弈模型的抗干扰学习算法,其特征在于,包括以下步骤:
步骤1,将多用户单干扰场景下的合作抗干扰问题,建模为多领导者单跟随者的Stackelberg博弈模型,博弈的参与者是系统内的所有用户和干扰;
步骤2,所有用户随机生成初始的抗干扰策略,包括信道选择与功率配置,干扰则根据用户的抗干扰策略进行干扰信道选择,定义干扰的效用函数为系统通信用户策略保持不变时干扰存在与否对系统整体吞吐量的影响,定义用户的效用函数为干扰条件下的全网吞吐量与自身的功率消耗开销,引入势能博弈模型;
步骤3,随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略;
步骤4,循环步骤3,用户通过探索学习进行策略选择,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数。
3.根据权利要求2所述的基于合作抗干扰分层博弈模型的抗干扰学习算法,其特征在于,步骤1所述的将多用户单干扰场景下的合作抗干扰问题,建模为多领导者单跟随者的Stackelberg博弈模型,该博弈模型定义为:
G=[{N,J},{A,aj},{un,uj}]
该博弈模型G中包含三个组成部分,其中,{N,J}为参与博弈的用户和干扰集合,{A,aj}为用户的策略空间和干扰的策略空间,{un,uj}为用户n的效用函数和干扰j的效用函数。
4.根据权利要求2所述的基于合作抗干扰分层博弈模型的抗干扰学习算法,其特征在于,步骤2所述的引入势能博弈模型,具体如下:
定义用户间势能函数为:
在干扰存在条件下,领导者的博弈模型构成一个势能博弈,至少存在一个纯策略纳什均衡解;由于干扰始终存在且优化其干扰效用,所以Stackelberg博弈模型也存在相应的Stackelberg均衡解;证明过程如下:
其中an为用户n的信道接入和功率配置策略,a-n为其余用户的策略,aj为干扰的干扰策略;rn为用户n的吞吐量,βi是用户i的功率消耗单位代价,cn1,2为用户n的信道策略,为对应信道的功率配置。
5.根据权利要求2所述的基于合作抗干扰分层博弈模型的抗干扰学习算法,其特征在于,步骤3所述的随机选择一个用户,根据此时其余用户的抗干扰策略和干扰效用函数的特性,通过调整自身的抗干扰策略,在干扰跟随变化的情况下,比较新旧两种策略下自身效用函数的高低,选择自身效用函数高的抗干扰策略,具体如下:
设定系统中共有M信道和N个用户,所有用户随机分布于某个区域内,用户n的发送端到用户m的接收端距离为dnm,用户n的策略为其中cn1,2为用户的信道选择,为对应信道配置的功率,则用户n在信道cn1上受到的干扰为:
其中α为信道衰落系数,若cxk=cni,则δ(cxk,cni)=1,表明用户该信道被干扰,反之δ(cxk,cni)=0,即用户没有收到干扰;
根据Shannon公式进行计算,得用户n在信道cn1上的吞吐量为:
其中,N0为噪声功率,α为信道衰落系数,1-δ(cni,aj)来表明该信道有没有收到干扰;
其中干扰的策略为aj,干扰的效用函数为:
其中,aN为全体用户的策略集合,aj=0表明干扰不对任何信道进行干扰;上式物理意义为施加干扰时,全系统吞吐量降低的性能即为干扰的效用;
在干扰条件下,用户的效用函数un为:
其中,βn为功率消耗代价;
博弈的优化目标:用户和干扰分别以自身效用函数为优化目标,即用户通过调整抗干扰策略,综合优化系统吞吐量和自身功率开销,干扰则通过选择信道进行干扰策略更新,使得干扰效用函数最大化:
即用户和干扰通过分别调整策略,使得自己的效用函数最大化。
6.根据权利要求2所述的基于合作抗干扰分层博弈模型的抗干扰学习算法,其特征在于,步骤4所述的循环步骤3,用户通过探索学习进行合作抗干扰,直至所有用户的抗干扰策略实现收敛,或者达到设定的迭代次数,具体如下:
(4.1)所有的用户进行信息交互;
(4.2)每次迭代都随机选择一个用户n进行操作;
(4.3)其他所有的用户重复之前的抗干扰策略选择,即a-n(k+1)=a-n(k);
对于选中的次级用户n,首先计算它选择不同抗干扰策略的效用函数值,用户n根据如下抗干扰策略更新准则进行抗干扰策略更新,即当新生成的策略能够带来更高的效用函数收益时,采用新生成的策略,an(k)表示用户n在第k时刻的策略;
干扰的策略更新规则为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810396863.3A CN108616916B (zh) | 2018-04-28 | 2018-04-28 | 一种基于合作抗干扰分层博弈模型的抗干扰学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810396863.3A CN108616916B (zh) | 2018-04-28 | 2018-04-28 | 一种基于合作抗干扰分层博弈模型的抗干扰学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108616916A true CN108616916A (zh) | 2018-10-02 |
CN108616916B CN108616916B (zh) | 2021-07-13 |
Family
ID=63661234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810396863.3A Active CN108616916B (zh) | 2018-04-28 | 2018-04-28 | 一种基于合作抗干扰分层博弈模型的抗干扰学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108616916B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109639374A (zh) * | 2018-12-29 | 2019-04-16 | 北京工业大学 | 一种基于强化学习算法的认知抗干扰通信方法 |
CN109743780A (zh) * | 2019-01-31 | 2019-05-10 | 中国人民解放军陆军工程大学 | 信道选择和传输时间联合优化的分层强化学习抗干扰算法 |
CN110891276A (zh) * | 2019-10-30 | 2020-03-17 | 中国人民解放军陆军工程大学 | 多用户抗干扰信道接入系统及动态频谱协同抗干扰方法 |
CN111148254A (zh) * | 2019-12-31 | 2020-05-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于补偿机制的合作抗干扰分层博弈模型及方法 |
CN111726192A (zh) * | 2020-06-12 | 2020-09-29 | 南京航空航天大学 | 基于对数线性算法的通信对抗中用频决策优化方法 |
CN111800185A (zh) * | 2020-07-06 | 2020-10-20 | 中国人民解放军陆军工程大学 | 一种无人机辅助通信中的分布式空地联合部署方法 |
CN111800422A (zh) * | 2020-07-06 | 2020-10-20 | 中国人民公安大学 | 扭曲信息的干预方法、装置及电子设备 |
CN112243281A (zh) * | 2020-10-15 | 2021-01-19 | 广州大学 | 基于可充电无线传感器网络的贝叶斯博弈路由设计方法 |
CN112333767A (zh) * | 2020-11-16 | 2021-02-05 | 南京邮电大学 | 一种在灾后地区部署无人机应急通信系统的方法 |
CN112423234A (zh) * | 2020-11-20 | 2021-02-26 | 华侨大学 | 基于强化学习的无人机辅助物联网抗敌意干扰方法和系统 |
CN113453239A (zh) * | 2021-06-17 | 2021-09-28 | 西安电子科技大学 | 信道资源分配方法及系统、存储介质、电子设备 |
CN113613337A (zh) * | 2021-08-05 | 2021-11-05 | 中国人民解放军陆军工程大学 | 一种面向波束成形通信的用户协作抗干扰方法 |
CN114698128A (zh) * | 2022-05-17 | 2022-07-01 | 中国人民解放军战略支援部队航天工程大学 | 一种认知星地网络的抗干扰信道选择方法和系统 |
CN115022952A (zh) * | 2022-08-09 | 2022-09-06 | 中国人民解放军国防科技大学 | 一种对抗条件下的卫星通信功率资源分配方法 |
CN115378487A (zh) * | 2022-07-05 | 2022-11-22 | 中国人民解放军战略支援部队航天工程大学 | 基于电磁屏障的卫星通信动态频谱接入方法 |
CN116073924A (zh) * | 2023-03-07 | 2023-05-05 | 中国人民解放军军事科学院国防科技创新研究院 | 基于Stackelberg博弈的抗干扰信道分配方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102448159A (zh) * | 2011-09-30 | 2012-05-09 | 南京邮电大学 | 基于干扰管理的功率速率联合控制博弈方法 |
CN102695131A (zh) * | 2012-05-18 | 2012-09-26 | 上海交通大学 | 认知网络中基于合作博弈的分布式功率控制方法 |
CN103313251A (zh) * | 2013-06-04 | 2013-09-18 | 北京邮电大学 | 一种基于势博弈理论的多小区协作资源分配方法 |
WO2013167794A1 (en) * | 2012-05-10 | 2013-11-14 | Nokia Corporation | Method, apparatus, and computer program product for enablement |
CN105848274A (zh) * | 2016-03-25 | 2016-08-10 | 山东大学 | 一种两层异构网络中基于斯坦伯格博弈论的非统一定价的功率控制方法 |
CN107708156A (zh) * | 2017-10-27 | 2018-02-16 | 中国人民解放军陆军工程大学 | 一种具有预判的异构蜂窝网络负载均衡方法 |
-
2018
- 2018-04-28 CN CN201810396863.3A patent/CN108616916B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102448159A (zh) * | 2011-09-30 | 2012-05-09 | 南京邮电大学 | 基于干扰管理的功率速率联合控制博弈方法 |
WO2013167794A1 (en) * | 2012-05-10 | 2013-11-14 | Nokia Corporation | Method, apparatus, and computer program product for enablement |
CN102695131A (zh) * | 2012-05-18 | 2012-09-26 | 上海交通大学 | 认知网络中基于合作博弈的分布式功率控制方法 |
CN103313251A (zh) * | 2013-06-04 | 2013-09-18 | 北京邮电大学 | 一种基于势博弈理论的多小区协作资源分配方法 |
CN105848274A (zh) * | 2016-03-25 | 2016-08-10 | 山东大学 | 一种两层异构网络中基于斯坦伯格博弈论的非统一定价的功率控制方法 |
CN107708156A (zh) * | 2017-10-27 | 2018-02-16 | 中国人民解放军陆军工程大学 | 一种具有预判的异构蜂窝网络负载均衡方法 |
Non-Patent Citations (1)
Title |
---|
朱江等: "认知网络中基于博弈论的联合功率控制与速率分配算法", 《计算机应用》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109639374A (zh) * | 2018-12-29 | 2019-04-16 | 北京工业大学 | 一种基于强化学习算法的认知抗干扰通信方法 |
CN109639374B (zh) * | 2018-12-29 | 2021-05-14 | 北京工业大学 | 一种基于强化学习算法的认知抗干扰通信方法 |
CN109743780B (zh) * | 2019-01-31 | 2020-11-27 | 中国人民解放军陆军工程大学 | 信道选择和传输时间联合优化的分层强化学习抗干扰算法 |
CN109743780A (zh) * | 2019-01-31 | 2019-05-10 | 中国人民解放军陆军工程大学 | 信道选择和传输时间联合优化的分层强化学习抗干扰算法 |
CN110891276A (zh) * | 2019-10-30 | 2020-03-17 | 中国人民解放军陆军工程大学 | 多用户抗干扰信道接入系统及动态频谱协同抗干扰方法 |
CN111148254A (zh) * | 2019-12-31 | 2020-05-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于补偿机制的合作抗干扰分层博弈模型及方法 |
CN111148254B (zh) * | 2019-12-31 | 2023-04-07 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于补偿机制的合作抗干扰分层博弈模型及方法 |
CN111726192A (zh) * | 2020-06-12 | 2020-09-29 | 南京航空航天大学 | 基于对数线性算法的通信对抗中用频决策优化方法 |
CN111726192B (zh) * | 2020-06-12 | 2021-10-26 | 南京航空航天大学 | 基于对数线性算法的通信对抗中用频决策优化方法 |
CN111800422A (zh) * | 2020-07-06 | 2020-10-20 | 中国人民公安大学 | 扭曲信息的干预方法、装置及电子设备 |
CN111800185A (zh) * | 2020-07-06 | 2020-10-20 | 中国人民解放军陆军工程大学 | 一种无人机辅助通信中的分布式空地联合部署方法 |
CN112243281A (zh) * | 2020-10-15 | 2021-01-19 | 广州大学 | 基于可充电无线传感器网络的贝叶斯博弈路由设计方法 |
CN112243281B (zh) * | 2020-10-15 | 2022-06-21 | 广州大学 | 基于可充电无线传感器网络的贝叶斯博弈路由设计方法 |
CN112333767A (zh) * | 2020-11-16 | 2021-02-05 | 南京邮电大学 | 一种在灾后地区部署无人机应急通信系统的方法 |
CN112333767B (zh) * | 2020-11-16 | 2022-08-26 | 南京邮电大学 | 一种在灾后地区部署无人机应急通信系统的方法 |
CN112423234A (zh) * | 2020-11-20 | 2021-02-26 | 华侨大学 | 基于强化学习的无人机辅助物联网抗敌意干扰方法和系统 |
CN113453239A (zh) * | 2021-06-17 | 2021-09-28 | 西安电子科技大学 | 信道资源分配方法及系统、存储介质、电子设备 |
CN113613337A (zh) * | 2021-08-05 | 2021-11-05 | 中国人民解放军陆军工程大学 | 一种面向波束成形通信的用户协作抗干扰方法 |
CN113613337B (zh) * | 2021-08-05 | 2023-06-20 | 中国人民解放军陆军工程大学 | 一种面向波束成形通信的用户协作抗干扰方法 |
CN114698128A (zh) * | 2022-05-17 | 2022-07-01 | 中国人民解放军战略支援部队航天工程大学 | 一种认知星地网络的抗干扰信道选择方法和系统 |
CN115378487A (zh) * | 2022-07-05 | 2022-11-22 | 中国人民解放军战略支援部队航天工程大学 | 基于电磁屏障的卫星通信动态频谱接入方法 |
CN115378487B (zh) * | 2022-07-05 | 2023-12-01 | 中国人民解放军战略支援部队航天工程大学 | 基于电磁屏障的卫星通信动态频谱接入方法 |
CN115022952A (zh) * | 2022-08-09 | 2022-09-06 | 中国人民解放军国防科技大学 | 一种对抗条件下的卫星通信功率资源分配方法 |
CN116073924A (zh) * | 2023-03-07 | 2023-05-05 | 中国人民解放军军事科学院国防科技创新研究院 | 基于Stackelberg博弈的抗干扰信道分配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108616916B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108616916A (zh) | 一种合作抗干扰分层博弈模型及抗干扰学习算法 | |
Zhang et al. | Power control based on deep reinforcement learning for spectrum sharing | |
Li et al. | Resource allocation for NOMA-MEC systems in ultra-dense networks: A learning aided mean-field game approach | |
Bai et al. | Latency minimization for intelligent reflecting surface aided mobile edge computing | |
Al-Eryani et al. | Multiple access in cell-free networks: Outage performance, dynamic clustering, and deep reinforcement learning-based design | |
Meshkati et al. | A game-theoretic approach to energy-efficient power control in multicarrier CDMA systems | |
Zhang et al. | Joint coordinated beamforming and power splitting ratio optimization in MU-MISO SWIPT-enabled HetNets: A multi-agent DDQN-based approach | |
Bennis et al. | Self-organization in small cell networks: A reinforcement learning approach | |
CN109729528A (zh) | 一种基于多智能体深度强化学习的d2d资源分配方法 | |
Scutari et al. | Optimal linear precoding strategies for wideband non-cooperative systems based on game theory—Part II: Algorithms | |
Al-Zahrani et al. | A joint cross-layer and colayer interference management scheme in hyperdense heterogeneous networks using mean-field game theory | |
CN111132347B (zh) | 无线携能物理层安全传输的资源分配方法、装置及计算机 | |
Ren et al. | Distributed power allocation in multi-user multi-channel cellular relay networks | |
Zhang et al. | Distributed power allocation for coordinated multipoint transmissions in distributed antenna systems | |
Zhou et al. | A cache-aided communication scheme for downlink coordinated multipoint transmission | |
Dong et al. | Energy efficiency optimization and resource allocation of cross-layer broadband wireless communication system | |
CN113596785A (zh) | 基于深度q网络的d2d-noma通信系统资源分配方法 | |
CN113795049A (zh) | 一种基于深度强化学习的Femtocell异构网络功率自适应优化方法 | |
CN108880709B (zh) | 一种认知无线网络中分布式多用户动态频谱接入方法 | |
CN115567148A (zh) | 一种基于合作q学习的智能干扰方法 | |
CN114698128A (zh) | 一种认知星地网络的抗干扰信道选择方法和系统 | |
Gao et al. | Joint multiple relay selection and time slot allocation algorithm for the EH-abled cognitive multi-user relay networks | |
Chen et al. | Cache-enabled multicast content pushing with structured deep learning | |
CN106358300A (zh) | 一种微蜂窝网络中的分布式资源分配方法 | |
CN104796991B (zh) | 基于势博弈的ofdma系统的资源分配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |