CN110035539B - 一种基于相关均衡后悔值匹配的资源优化分配方法及装置 - Google Patents

一种基于相关均衡后悔值匹配的资源优化分配方法及装置 Download PDF

Info

Publication number
CN110035539B
CN110035539B CN201910194762.2A CN201910194762A CN110035539B CN 110035539 B CN110035539 B CN 110035539B CN 201910194762 A CN201910194762 A CN 201910194762A CN 110035539 B CN110035539 B CN 110035539B
Authority
CN
China
Prior art keywords
user node
channel
user
interference
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910194762.2A
Other languages
English (en)
Other versions
CN110035539A (zh
Inventor
赵成林
范超琼
李斌
许方敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910194762.2A priority Critical patent/CN110035539B/zh
Publication of CN110035539A publication Critical patent/CN110035539A/zh
Application granted granted Critical
Publication of CN110035539B publication Critical patent/CN110035539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/50Allocation or scheduling criteria for wireless resources
    • H04W72/53Allocation or scheduling criteria for wireless resources based on regulatory allocation policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于相关均衡后悔值匹配的资源优化分配方法及装置。所述方法包括:以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型;根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型;基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解;根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式。本发明通过后悔值匹配算法,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的频谱共享方式,保证了用户间的公平性,提高频谱利用率,实现了更优的网络性能。

Description

一种基于相关均衡后悔值匹配的资源优化分配方法及装置
技术领域
本发明涉及通信领域,特别是指一种超密集无线网络中基于相关均衡后悔值匹配的资源优化分配方法及装置。
背景技术
随着移动互联网的兴起和大数据时代的来临,移动数据在数量和质量上的传输需求呈现几何式增长,然而,与之矛盾的是有限的无线传输资源的日渐匮乏。另一方面,绿色通信、低碳生活已经成为可持续发展的必然要求,这也给无线通信网络的性能管理和服务质量带来了越来越大的挑战。为了满足终端用户对高质量、高速率传输的需求,超密集无线网络是应对此项挑战的一个重要解决方案。在超密集无线网络环境下,传统的资源分配算法已经无法适用于未来网络的发展。因此,如何解决超密集无线网络环境下的资源优化分配问题,以满足网络中密集用户的数据传输需求,成为未来网络发展的严峻考验。
发明内容
有鉴于此,本发明实施例的目的在于提出一种超密集无线网络中基于相关均衡后悔值匹配的资源优化分配方法及装置,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的频谱共享方式,保证了用户间的公平性,提高频谱利用率,实现了更优的网络性能。
基于上述目的本发明实施例提供的一种基于相关均衡后悔值匹配的资源优化分配方法,包括:
以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型;
根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型;
基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解;
根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式。
可选的,所述构建关于多个共享用户的超密集无线网络模型包括:
超密集无线网络中包括一个基站以及随机分布在所述基站覆盖区域内的N个用户节点,所述基站的位置坐标为(x0,y0),用户节点n的位置坐标为(xn,yn),
Figure BDA0001995433580000021
该网络中可用信道集合为
Figure BDA0001995433580000022
用户节点n的发射功率为Pn,用户节点n所在节点的干扰区域表示为:
Figure BDA0001995433580000023
其中rn∝Pn为与发射功率相关的干扰距离;所述超密集无线网络中的有向干扰链路表示为:
ε={(n′→n):dn,n′<rn′}
其中n′表示区别于n的另一个用户节点,dn,n′为两个用户节点间的距离且
Figure BDA0001995433580000024
rn′表示用户节点n′对应的干扰距离;用户节点n的干扰集合表示为:
Figure BDA0001995433580000025
用户节点n的信道选择为sn,则所有用户节点的一个信道选择形式表示为
Figure BDA0001995433580000026
竞争同一信道m的用户节点集合表示为
Figure BDA0001995433580000027
该集合中的用户节点数为
Figure BDA0001995433580000028
用户节点n与基站间上行链路的信干比SINR表示为:
Figure BDA0001995433580000029
其中Dn为用户节点n与基站之间的距离且
Figure BDA00019954335800000210
αm
Figure BDA00019954335800000211
分别是信道m的路径损耗指数和加性高斯白噪声方差,-αm表示对αm取负值,In为用户节点n受到的干扰值且
Figure BDA00019954335800000212
其中
Figure BDA00019954335800000213
为用户节点n的实际干扰集合,i为该集合中的元素;
根据香农公式,用户节点n接入信道m的信道容量表示为:
cn,m=Bmlog2(1+γn,m)
其中Bm为信道m的带宽;则系统吞吐量表示为:
Figure BDA00019954335800000214
可选的,所述非合作博弈模型为:
Figure BDA0001995433580000031
其中
Figure BDA0001995433580000032
为共享用户集,
Figure BDA0001995433580000033
为用户策略空间集,
Figure BDA0001995433580000034
为用户效应函数集,其中
Figure BDA0001995433580000035
可选的,还包括:分析所述非合作博弈模型的粗相关均衡解,所述粗相关均衡解qCCE满足:
Figure BDA0001995433580000036
其中,s-n表示在所有用户节点的一个信道选择形式s={s1,s2,...,sN}集合中除用户节点n之外的其他用户节点的信道选择表征,即s-n=s\sn
Figure BDA0001995433580000039
表示在用户策略空间集
Figure BDA00019954335800000310
中除用户节点n之外的其他用户节点的策略空间表示,
Figure BDA00019954335800000311
Figure BDA00019954335800000312
s′n表示用户节点n′的信道选择。
可选的,所述通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新包括:
初始化用户节点对各个信道的初始选择概率;
各个用户节点根据所述初始选择概率进行信道竞争;
计算各个用户节点在当前信道选择策略下的后悔值;
根据所述后悔值的计算公式更新下一时隙全部的所述用户节点的信道选择概率;
选择后悔值最小的信道选择策略,此时各个用户节点的信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解。
可选的,所述初始选择概率为:
Figure BDA0001995433580000037
其中
Figure BDA0001995433580000038
为网络中的信道个数。
可选的,所述各个用户节点根据所述初始选择概率进行信道竞争包括:
第k个帧时隙开始,各个所述用户节点以所述初始选择概率随机选择信道;
判断信道是否空闲,若是,则选择该信道的多个所述用户节点进行信道资源竞争;若否,所述用户节点等待下一个帧时隙;
计算用户节点n的干扰值In,判断干扰值In是否低于预设的干扰值门限I0:若In<I0,则用户节点n竞争信道成功,计算当前信道收益;若In>I0,则未成功接入信道,信道收益为0。
可选的,各个信道对应的所述后悔值的计算公式为:
Figure BDA0001995433580000041
其中,K表示总时隙个数,k′表示对[1,K]个时隙求和的遍历下标,s-n(k′)表示在k′时隙除n之外的节点的信道选择;
信道选择概率的计算公式为:
Figure BDA0001995433580000042
可选的,还包括:
判断每个用户节点的最大后悔值
Figure BDA0001995433580000043
是否低于预设的门限值
Figure BDA0001995433580000044
Figure BDA0001995433580000045
则循环结束,此时所有用户节点信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解;若
Figure BDA0001995433580000046
则k=k+1,各个用户节点重新根据所述初始选择概率进行信道竞争,直到满足
Figure BDA0001995433580000047
本发明实施例还提供一种基于相关均衡后悔值匹配的资源优化分配装置,包括:
超密集无线网络模型构建模块,用于以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型;
非合作博弈模型构建模块,用于根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型;
求解模块,用于基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解;
频谱接入方式获得模块,用于根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式。
从上面所述可以看出,本发明实施例提供的一种超密集无线网络中基于相关均衡后悔值匹配的资源优化分配方法及装置,针对超密集无线网络环境,基于博弈论,将多维动态频谱共享建模为非合作博弈模型,并基于该非合作博弈模型提出一种自适应的后悔值匹配学习算法,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的频谱接入方式,即资源优化分配方法。本发明所述方法相比于基于纳什均衡的纯策略解,在保证公平性的基础上,提高密集网络中用户服务质量和频谱利用率,能够实现更优的网络性能。
附图说明
图1为本发明实施例一种基于相关均衡后悔值匹配的资源优化分配方法的流程图;
图2为本发明实施例所述超密集无线网络模型的示意图;
图3为本发明实施例另一流程示意图;
图4为本发明实施例用户节点共享复用信道的帧结构示意图;
图5为本发明实施例一种基于相关均衡后悔值匹配的资源优化分配装置的结构示意图;
图6为本发明实施例不同信噪比下两种强化学习算法的网络累计吞吐量性能对比图;
图7为本发明实施例不同用户数下两种强化学习算法的网络累计吞吐量性能对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
图1为本发明实施例一种基于相关均衡后悔值匹配的资源优化分配方法的流程图。在本发明的一些实施例中,所述方法包括:
步骤101,以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型。
步骤102,根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型。
步骤103,基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解。
步骤104,根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式。
本发明实施例所述基于相关均衡后悔值匹配的资源优化分配方法,针对超密集无线网络环境,基于博弈论(game theory),将多维动态频谱共享建模为非合作博弈模型,并基于该非合作博弈模型提出一种自适应的后悔值匹配学习算法,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的频谱接入方式,即资源优化分配方法。本发明所述方法相比于基于纳什均衡的纯策略解,在保证公平性的基础上,提高密集网络中用户服务质量和频谱利用率,能够实现更优的网络性能。
图2为本发明实施例所述超密集无线网络模型的示意图。在超密集无线网络中存在一个基站(Base Station,BS)控制中心,用户随机分布在该基站覆盖区域内。考虑用户上行数据传输中的频谱接入与相互耦合干扰,各个用户节点干扰范围为与功率相关的有限区域。在此基础上,分析该模型时空两维的频谱共享优化,即,网络中共享用户节点以时分与空分相结合的方式共享网络频谱资源,当位于同一干扰区域的用户节点在同一时间接入相同的信道频段时会产生干扰。基于此,对超密集无线网络进行建模分析,具体如下:
超密集无线网络中包括一个基站以及随机分布在所述基站覆盖区域内的N个用户节点,设所述基站的位置坐标为(x0,y0),用户节点n的位置坐标为(xn,yn),
Figure BDA0001995433580000061
该网络中可用信道集合为
Figure BDA0001995433580000062
用户节点n的发射功率为Pn,则用户节点n所在节点的干扰区域表示为:
Figure BDA0001995433580000063
其中rn∝Pn为与发射功率相关的干扰距离;所述超密集无线网络中的有向干扰链路表示为:
ε={(n′→n):dn,n′<rn′} (2)
其中n′表示区别于n的另一个用户节点,dn,n′为两个用户节点n、n′间的距离且
Figure BDA0001995433580000071
rn′表示用户节点n′对应的干扰距离;用户节点n的干扰集合表示为:
Figure BDA0001995433580000072
设用户节点n的信道选择为sn,则所有用户节点的一个信道选择形式表示为
Figure BDA0001995433580000073
竞争同一信道m的用户节点集合表示为
Figure BDA0001995433580000074
该集合中的用户节点数为
Figure BDA0001995433580000075
用户节点n与基站间上行链路的信干比SINR表示为:
Figure BDA0001995433580000076
其中Dn为用户节点n与基站之间的距离且
Figure BDA0001995433580000077
αm
Figure BDA0001995433580000078
分别是信道m的路径损耗(Pass Loss,PL)指数和加性高斯白噪声(Additive White GaussianNoise,AWGN)方差,-αm表示对αm取负值,表征与距离相关的链路增益,In为用户节点n受到的干扰值且
Figure BDA0001995433580000079
其中
Figure BDA00019954335800000710
为用户n的实际干扰集合,即潜在干扰集合、与n竞争同一信道的用户集合;i为该集合中的元素;
根据香农公式,用户节点n接入信道m的信道容量表示为:
cn,m=Bmlog2(1+γn,m) (6)
其中Bm为信道m的带宽;则系统吞吐量,即所有用户累计吞吐量表示为:
Figure BDA00019954335800000711
在该超密集网络模型下频谱多维优化分配的目标为最大化系统吞吐量,即:maxU(s)。在一个具体的实施例中,系统吞吐量的最大值即为全部的用户节点接入信道的信道容量。
在一些实施例中,将上述实施例中的NP-hard组合优化问题用非合作博弈进行建模,得到的非合作博弈模型为:
Figure BDA0001995433580000081
其中
Figure BDA0001995433580000082
为共享用户集,
Figure BDA0001995433580000083
为用户策略空间集,
Figure BDA0001995433580000084
为用户效应函数集,其中
Figure BDA0001995433580000085
在上述实施例的基础上,分析所述非合作博弈模型的粗相关均衡解,共享用户策略空间
Figure BDA0001995433580000089
的联合概率分布qCCE即所述粗相关均衡解qCCE满足:
Figure BDA0001995433580000086
其中,s-n表示在所有用户节点的一个信道选择形式s={s1,s2,...,sN}集合中除用户节点n之外的其他用户节点的信道选择表征,即s-n=s\sn
Figure BDA00019954335800000810
表示在所有用户节点的策略空间集
Figure BDA00019954335800000811
中除用户节点n之外的其他用户节点的策略空间表示,即
Figure BDA00019954335800000812
因此,s-n
Figure BDA00019954335800000813
中的一个元素,即
Figure BDA00019954335800000814
s′n表示区别于用户节点n之外的另外一个用户节点n′的信道选择,根据所述粗相关均衡解qCCE即可获得使得所有用户频段选择策略的后悔值最小的频谱接入方式,即满足相关均衡后悔值匹配的资源优化分配方法。
在本发明的另一些实施例中,为了求解所述非合作博弈模型的粗相关均衡解,需要通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,参照图3所示,具体包括:
步骤201,初始化用户节点对各个信道的初始选择概率。
其中,所述初始选择概率为:
Figure BDA0001995433580000087
其中
Figure BDA0001995433580000088
为超密集无线网络中的信道个数。初始状态各个用户节点选择每个信道的概率是相等的。
可选的,在步骤201中,还需要初始化干扰值门限I0等参数。
之后,各个用户节点根据所述初始选择概率进行信道竞争,图4为本发明实施例中用户节点共享复用信道的帧结构示意图。首先用户节点周期地进行信道的竞争接入;竞争信道成功的用户节点占用该帧中的数据传输时隙传输数据;数据传输时隙结束所有用户节点根据自己当前信道选择的后悔值更新信道选择概率,具体包括:
步骤202,第k个帧时隙开始,各个所述用户节点以所述初始选择概率随机选择信道。
步骤203,判断信道是否空闲。
步骤204,若是,即信道在当前时隙下空闲,则选择该信道的多个所述用户节点进行信道资源竞争,并跳转到步骤206。
步骤205,若否,即信道在当前时隙下被占用,则所述用户节点等待下一个帧时隙。
步骤206,根据公式(5)计算用户节点n的干扰值In,并判断干扰值In是否低于预设的干扰值门限I0
步骤207,若In<I0,则用户节点n竞争信道成功,根据公式(6)计算当前信道收益,并跳转到步骤209。
步骤208,若In>I0,则说明与多个干扰用户发生碰撞,未成功接入信道,信道收益为0,并跳转到步骤209。
步骤209,计算各个用户节点在当前信道选择策略下的后悔值,各个信道对应的所述后悔值的计算公式为:
Figure BDA0001995433580000091
其中,K表示总时隙个数,k′表示对[1,K]个时隙求和的遍历下标,s-n(k′)表示在k′时隙除n之外的节点的信道选择。
步骤210,根据所述后悔值计算公式更新下一时隙全部的所述用户节点的信道选择概率,信道选择概率的计算公式为:
Figure BDA0001995433580000092
之后,选择后悔值最小的信道选择策略,此时各个用户节点的信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解,具体包括:
步骤211,根据步骤209中的后悔值计算公式判断每个用户节点的最大后悔值
Figure BDA0001995433580000101
是否低于预设的门限值
Figure BDA0001995433580000102
其中预设的门限值
Figure BDA0001995433580000103
为接近0的一个预设的数值,例如
Figure BDA0001995433580000104
Figure BDA0001995433580000105
则跳转到步骤213;否则,若
Figure BDA0001995433580000106
则跳转到步骤212。
步骤212,时隙数加一,即k=k+1,返回至步骤202,各个用户节点重新根据所述初始选择概率进行信道竞争,直到满足
Figure BDA0001995433580000107
步骤213,循环结束,此时所有用户节点信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解qCCE
在上述实施例中,利用强化学习思想,通过后悔值匹配算法求解非合作博弈模型的粗相关均衡解,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的多维频谱接入方式即多维频谱接入方式,在保证了超密集无线网络环境中用户服务质量的前提下,有效地提高了有限频段资源的利用率,从而为未来超密集无线网络的频谱资源优化提供一种极具应用潜力的解决方案。
图5为本发明实施例一种基于相关均衡后悔值匹配的资源优化分配装置的结构示意图。所述基于相关均衡后悔值匹配的资源优化分配装置包括:
超密集无线网络模型构建模块11,用于以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型。
非合作博弈模型构建模块12,用于根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型。
求解模块13,用于基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解。
频谱接入方式获得模块14,用于根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式。
可选的,所述超密集无线网络模型构建模块构建关于多个共享用户的超密集无线网络模型包括:
超密集无线网络中包括一个基站以及随机分布在所述基站覆盖区域内的N个用户节点,所述基站的位置坐标为(x0,y0),用户节点n的位置坐标为(xn,yn),
Figure BDA0001995433580000111
该网络中可用信道集合为
Figure BDA0001995433580000112
用户节点n的发射功率为Pn,用户节点n所在节点的干扰区域表示为:
Figure BDA0001995433580000113
其中rn∝Pn为与发射功率相关的干扰距离;所述超密集无线网络中的有向干扰链路表示为:
ε={(n′→n):dn,n′<rn′}
其中n′表示区别于n的另一个用户节点,dn,n′为两个用户节点n、n′间的距离且
Figure BDA0001995433580000114
rn′表示用户节点n′对应的干扰距离;用户节点n的干扰集合表示为:
Figure BDA0001995433580000115
用户节点n的信道选择为sn,则所有用户节点的一个信道选择形式表示为
Figure BDA0001995433580000116
竞争同一信道m的用户节点集合表示为
Figure BDA0001995433580000117
该集合中的用户节点数为
Figure BDA0001995433580000118
用户节点n与基站间上行链路的信干比SINR表示为:
Figure BDA0001995433580000119
其中Dn为用户节点n与基站之间的距离且
Figure BDA00019954335800001110
αm
Figure BDA00019954335800001111
分别是信道m的路径损耗指数和加性高斯白噪声方差,-αm表示对αm取负值,表征与距离相关的链路增益,In为用户节点n受到的干扰值且
Figure BDA00019954335800001112
其中
Figure BDA00019954335800001113
为用户n的实际干扰集合,即潜在干扰集合、与n竞争同一信道的用户集合;i为该集合中的元素;
根据香农公式,用户节点n接入信道m的信道容量表示为:
cn,m=Bmlog2(1+γn,m)
其中Bm为信道m的带宽;则系统吞吐量表示为:
Figure BDA00019954335800001114
可选的,所述非合作博弈模型构建模块12构建的所述非合作博弈模型为:
Figure BDA00019954335800001115
其中
Figure BDA00019954335800001116
为共享用户集,
Figure BDA00019954335800001117
为用户策略空间集,
Figure BDA00019954335800001118
为用户效应函数集,其中
Figure BDA00019954335800001119
可选的,还包括:分析所述非合作博弈模型的粗相关均衡解,所述粗相关均衡解qCCE满足:
Figure BDA0001995433580000121
其中,在所有用户节点的一个信道选择形式s={s1,s2,...,sN}集合中除用户节点n之外的其他用户节点的信道选择表征,即s-n=s\sn
Figure BDA0001995433580000124
表示在所有用户节点的策略空间集
Figure BDA0001995433580000125
中除用户节点n之外的其他用户节点的策略空间表示,即
Figure BDA0001995433580000126
因此,s-n
Figure BDA0001995433580000127
中的一个元素,即
Figure BDA0001995433580000128
s′n表示区别于用户节点n之外的另外一个用户节点n′的信道选择
可选的,所述求解模块13还用于实现:
初始化用户节点对各个信道的初始选择概率;
各个用户节点根据所述初始选择概率进行信道竞争;
计算各个用户节点在当前信道选择策略下的后悔值;
根据所述后悔值计算公式更新下一时隙全部的所述用户节点的信道选择概率;
选择后悔值最小的信道选择策略,此时各个用户节点的信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解。
可选的,所述初始选择概率为:
Figure BDA0001995433580000122
其中
Figure BDA0001995433580000123
为网络中的信道个数。
可选的,所述各个用户节点根据所述初始选择概率进行信道竞争包括:
第k个帧时隙开始,各个所述用户节点以所述初始选择概率随机选择信道;
判断信道是否空闲,若是,则选择该信道的多个所述用户节点进行信道资源竞争;若否,所述用户节点等待下一个帧时隙;
计算用户节点n的干扰值In,判断干扰值In是否低于预设的干扰值门限I0:若In<I0,则用户节点n竞争信道成功,计算当前信道收益;若In>I0,则未成功接入信道,信道收益为0。
可选的,各个信道对应的所述后悔值的计算公式为:
Figure BDA0001995433580000131
其中,K表示总时隙个数,k′表示对[1,K]个时隙求和的遍历下标,s-n(k′)表示在k′时隙除n之外的节点的信道选择;
信道选择概率的计算公式为:
Figure BDA0001995433580000132
可选的,还包括:
判断每个用户节点的最大后悔值
Figure BDA0001995433580000133
是否低于预设的门限值
Figure BDA0001995433580000134
Figure BDA0001995433580000135
则循环结束,此时所有用户节点信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解;若
Figure BDA0001995433580000136
则k=k+1,各个用户节点重新根据所述初始选择概率进行信道竞争,直到满足
Figure BDA0001995433580000137
在本发明的一个具体的实施例中,对本发明提出的基于相关均衡后悔值匹配的资源优化分配方法进行仿真,首先给出本发明算法和原基于纳什均衡强化学习算法在不同信噪比下系统累计信道容量对比图。设置方形区域大小为20×20,网络中共享用户个数为N=10,可用信道数为M=6,信噪比γ0从0dB到20dB。每个信噪比下仿真产生20个网络模型,每个网络模型独立运行500次。累积信道容量的对比如图6所示,横坐标为信噪比,纵坐标为累计信道容量。由仿真结果可以看出基于粗相关均衡的后悔值匹配算法优于基于纳什均衡的强化学习算法。
在本发明的另一个具体的实施例中,对本发明提出的基于相关均衡后悔值匹配的资源优化分配方法进行仿真,给出本发明算法和原基于纳什均衡强化学习算法在不同网络规模(用户数)下系统累计信道容量对比图。设置方形区域大小为20×20,网络中可用信道数为M=6,用户个数从5到30。每个用户数下仿真产生20个网络模型,每个网络模型独立运行500次。累积信道容量的对比如图7所示,横坐标为用户个数,纵坐标为累计信道容量。由仿真结果可以看出,不同网络密集程度下,基于粗相关均衡的后悔值匹配算法均优于基于纳什均衡的强化学习算法。
本发明所述基于相关均衡后悔值匹配的资源优化分配方法及装置,针对超密集无线网络环境,基于博弈论(game theory),将多维动态频谱共享建模为非合作博弈模型,并分析该博弈模型的相关均衡解,获得各个用户信道选择的后悔值最小的共享资源优化分配方案接入混合策略。通过后悔值匹配算法,利用信道选择的随机有限性和学习算法的收敛性通过遗憾匹配得到满足相关均衡混合策略的频谱共享方式。相比于传统基于纳什均衡的强化学习算法,新算法可获得用户后悔值最小的混合策略,进而保证了用户间的公平性,提高频谱利用率,实现更优的网络性能,为保障未来密集网络中无线用户的数据速率和服务质量提供了一种可行的解决方案。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于相关均衡后悔值匹配的资源优化分配方法,其特征在于,包括:
以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型;
根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型;
基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解;
根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式;
其中,所述构建关于多个用户节点的超密集无线网络模型包括:
超密集无线网络中包括一个基站以及随机分布在所述基站覆盖区域内的N个用户节点,所述基站的位置坐标为(x0,y0),用户节点n的位置坐标为(xn,yn),
Figure FDA0002954159880000011
该网络中可用信道集合为
Figure FDA0002954159880000012
用户节点n的发射功率为Pn,用户节点n所在节点的干扰区域表示为:
Figure FDA0002954159880000013
其中rn∝Pn为与发射功率相关的干扰距离;所述超密集无线网络中的有向干扰链路表示为:
ε={(n′→n):dn,n′<rn′}
其中n′表示区别于n的另一个用户节点,dn,n′为两个用户节点间的距离且
Figure FDA0002954159880000014
rn′表示用户节点n′对应的干扰距离;用户节点n的干扰集合表示为:
Figure FDA0002954159880000015
用户节点n的信道选择为sn,则所有用户节点的一个信道选择形式表示为
Figure FDA0002954159880000016
竞争同一信道m的用户节点集合表示为
Figure FDA0002954159880000017
该集合中的用户节点数为
Figure FDA0002954159880000018
用户节点n与基站间上行链路的信干比SINR表示为:
Figure FDA0002954159880000019
其中Dn为用户节点n与基站之间的距离且
Figure FDA0002954159880000021
αm
Figure FDA0002954159880000022
分别是信道m的路径损耗指数和加性高斯白噪声方差,-αm表示对αm取负值,In为用户节点n受到的干扰值且
Figure FDA0002954159880000023
其中
Figure FDA0002954159880000024
为用户节点n的实际干扰集合,i为该集合中的元素;
根据香农公式,用户节点n接入信道m的信道容量表示为:
cn,m=Bmlog2(1+γn,m)
其中Bm为信道m的带宽;则系统吞吐量表示为:
Figure FDA0002954159880000025
所述非合作博弈模型为:
Figure FDA0002954159880000026
其中
Figure FDA0002954159880000027
为用户节点集,
Figure FDA0002954159880000028
为用户策略空间集,
Figure FDA0002954159880000029
为用户效应函数集,其中
Figure FDA00029541598800000210
所述通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新包括:
初始化用户节点对各个信道的初始选择概率;
各个用户节点根据所述初始选择概率进行信道竞争;
计算各个用户节点在当前信道选择策略下的后悔值;
根据所述后悔值的计算公式更新下一时隙全部的所述用户节点的信道选择概率;
选择后悔值最小的信道选择策略,此时各个用户节点的信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解。
2.根据权利要求1所述的方法,其特征在于,还包括:分析所述非合作博弈模型的粗相关均衡解,所述粗相关均衡解qCCE满足:
Figure FDA00029541598800000211
其中,s-n表示在所有用户节点的一个信道选择形式s={s1,s2,...,sN}集合中除节点n之外的其他用户节点的信道选择表征,即s-n=s\sn
Figure FDA00029541598800000212
表示在所有用户节点的策略空间集
Figure FDA00029541598800000213
中除用户节点n之外的其他用户节点的策略空间表示,
Figure FDA00029541598800000214
Figure FDA00029541598800000215
s′n表示用户节点n′的信道选择。
3.根据权利要求1所述的方法,其特征在于,所述初始选择概率为:
Figure FDA0002954159880000031
其中
Figure FDA0002954159880000032
为网络中的信道个数。
4.根据权利要求3所述的方法,其特征在于,所述各个用户节点根据所述初始选择概率进行信道竞争包括:
第k个帧时隙开始,各个所述用户节点以所述初始选择概率随机选择信道;
判断信道是否空闲,若是,则选择该信道的多个所述用户节点进行信道资源竞争;若否,所述用户节点等待下一个帧时隙;
计算用户节点n的干扰值In,判断干扰值In是否低于预设的干扰值门限I0:若In<I0,则用户节点n竞争信道成功,计算当前信道收益;若In>I0,则未成功接入信道,信道收益为0。
5.根据权利要求4所述的方法,其特征在于,各个信道对应的所述后悔值的计算公式为:
Figure FDA0002954159880000033
其中,K表示总时隙个数,k′表示对[1,K]个时隙求和的遍历下标,s-n(k′)表示在k′时隙除n之外的节点的信道选择;
信道选择概率的计算公式为:
Figure FDA0002954159880000034
6.根据权利要求5所述的方法,其特征在于,还包括:
判断每个用户节点的最大后悔值
Figure FDA0002954159880000035
是否低于预设的门限值
Figure FDA0002954159880000036
Figure FDA0002954159880000037
则循环结束,此时所有用户节点信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解;若
Figure FDA0002954159880000041
则k=k+1,各个用户节点重新根据所述初始选择概率进行信道竞争,直到满足
Figure FDA0002954159880000042
7.一种基于相关均衡后悔值匹配的资源优化分配装置,其特征在于,包括:
超密集无线网络模型构建模块,用于以系统吞吐量最大化为优化目标,构建关于多个用户节点的超密集无线网络模型;
非合作博弈模型构建模块,用于根据所述超密集无线网络模型,将用户节点的多维频谱接入优化问题建模为非合作博弈模型;
求解模块,用于基于所述非合作博弈模型,通过后悔值匹配算法对所述用户节点的频段选择进行迭代更新,获得所述非合作博弈模型的粗相关均衡解;
频谱接入方式获得模块,用于根据所述粗相关均衡解,获得所述用户节点的多维频谱接入方式;
所述超密集无线网络模型构建模块构建关于多个用户节点的超密集无线网络模型包括:
超密集无线网络中包括一个基站以及随机分布在所述基站覆盖区域内的N个用户节点,所述基站的位置坐标为(x0,y0),用户节点n的位置坐标为(xn,yn),
Figure FDA0002954159880000043
该网络中可用信道集合为
Figure FDA0002954159880000044
用户节点n的发射功率为Pn,用户节点n所在节点的干扰区域表示为:
Figure FDA0002954159880000045
其中rn∝Pn为与发射功率相关的干扰距离;所述超密集无线网络中的有向干扰链路表示为:
ε={(n′→n):dn,n′<rn′}
其中n′表示区别于n的另一个用户节点,dn,n′为两个用户节点n、n′间的距离且
Figure FDA0002954159880000046
rn′表示用户节点n′对应的干扰距离;用户节点n的干扰集合表示为:
Figure FDA0002954159880000047
用户节点n的信道选择为sn,则所有用户节点的一个信道选择形式表示为
Figure FDA0002954159880000048
竞争同一信道m的用户节点集合表示为
Figure FDA0002954159880000051
该集合中的用户节点数为
Figure FDA0002954159880000052
用户节点n与基站间上行链路的信干比SINR表示为:
Figure FDA0002954159880000053
其中Dn为用户节点n与基站之间的距离且
Figure FDA0002954159880000054
αm
Figure FDA0002954159880000055
分别是信道m的路径损耗指数和加性高斯白噪声方差,-αm表示对αm取负值,表征与距离相关的链路增益,In为用户节点n受到的干扰值且
Figure FDA0002954159880000056
其中
Figure FDA0002954159880000057
为用户节点n的实际干扰集合,即潜在干扰集合、与n竞争同一信道的用户集合;i为该集合中的元素;
根据香农公式,用户节点n接入信道m的信道容量表示为:
cn,m=Bmlog2(1+γn,m)
其中Bm为信道m的带宽;则系统吞吐量表示为:
Figure FDA0002954159880000058
所述非合作博弈模型构建模块12构建的所述非合作博弈模型为:
Figure FDA0002954159880000059
其中
Figure FDA00029541598800000510
为用户节点集,
Figure FDA00029541598800000511
为用户策略空间集,
Figure FDA00029541598800000512
为用户效应函数集,其中
Figure FDA00029541598800000513
所述求解模块还用于实现:
初始化用户节点对各个信道的初始选择概率;
各个用户节点根据所述初始选择概率进行信道竞争;
计算各个用户节点在当前信道选择策略下的后悔值;
根据所述后悔值计算公式更新下一时隙全部的所述用户节点的信道选择概率;
选择后悔值最小的信道选择策略,此时各个用户节点的信道选择的联合概率即为所述非合作博弈模型的粗相关均衡解。
CN201910194762.2A 2019-03-14 2019-03-14 一种基于相关均衡后悔值匹配的资源优化分配方法及装置 Active CN110035539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910194762.2A CN110035539B (zh) 2019-03-14 2019-03-14 一种基于相关均衡后悔值匹配的资源优化分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910194762.2A CN110035539B (zh) 2019-03-14 2019-03-14 一种基于相关均衡后悔值匹配的资源优化分配方法及装置

Publications (2)

Publication Number Publication Date
CN110035539A CN110035539A (zh) 2019-07-19
CN110035539B true CN110035539B (zh) 2021-07-13

Family

ID=67236058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910194762.2A Active CN110035539B (zh) 2019-03-14 2019-03-14 一种基于相关均衡后悔值匹配的资源优化分配方法及装置

Country Status (1)

Country Link
CN (1) CN110035539B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110461040B (zh) * 2019-08-05 2021-11-19 北京邮电大学 一种信道接入策略的确定方法及装置
CN113573103B (zh) * 2021-09-26 2022-01-28 深圳飞骧科技股份有限公司 分布式移动网络视频缓存放置方法、系统及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006658A (zh) * 2010-12-07 2011-04-06 中国人民解放军理工大学 无线传感器网络中基于链式博弈的协同传输方法
CN103796211A (zh) * 2014-03-07 2014-05-14 国家电网公司 一种认知无线网络中联合功率和信道分配方法
CN105636057A (zh) * 2016-01-04 2016-06-01 南京邮电大学 超密集网络中一种基于非协作博弈的资源分配方法
WO2017082632A1 (ko) * 2015-11-09 2017-05-18 삼성전자 주식회사 빔포밍이 적용되는 통신 시스템에서 복수 개의 기지국들에 의한 협력 통신 제공 방법 및 장치
CN109361482A (zh) * 2018-09-04 2019-02-19 中国人民解放军陆军工程大学 一种基于非合作博弈确定多用户选择信道感知顺序的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006658A (zh) * 2010-12-07 2011-04-06 中国人民解放军理工大学 无线传感器网络中基于链式博弈的协同传输方法
CN103796211A (zh) * 2014-03-07 2014-05-14 国家电网公司 一种认知无线网络中联合功率和信道分配方法
WO2017082632A1 (ko) * 2015-11-09 2017-05-18 삼성전자 주식회사 빔포밍이 적용되는 통신 시스템에서 복수 개의 기지국들에 의한 협력 통신 제공 방법 및 장치
CN105636057A (zh) * 2016-01-04 2016-06-01 南京邮电大学 超密集网络中一种基于非协作博弈的资源分配方法
CN109361482A (zh) * 2018-09-04 2019-02-19 中国人民解放军陆军工程大学 一种基于非合作博弈确定多用户选择信道感知顺序的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
异构车载网络中频谱资源分配策略研究;刘红静;《中国优秀硕士学位论文全文数据库》;20190115;摘要、第4章 *

Also Published As

Publication number Publication date
CN110035539A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
Li et al. Coalitional games for resource allocation in the device-to-device uplink underlaying cellular networks
Sun et al. D2D enhanced heterogeneous cellular networks with dynamic TDD
Bloem et al. A stackelberg game for power control and channel allocation in cognitive radio networks
Hussain et al. System capacity maximization with efficient resource allocation algorithms in D2D communication
CN113038616B (zh) 一种基于联邦学习的频谱资源管理分配方法
Lu et al. A cross-layer resource allocation scheme for ICIC in LTE-Advanced
CN113453239B (zh) 信道资源分配方法及系统、存储介质、电子设备
CN108712746B (zh) 一种部分重叠信道聚合博弈模型及学习方法
CN108322916B (zh) 超密集异构网系统中基于双向干扰图的资源分配方法
CN110035539B (zh) 一种基于相关均衡后悔值匹配的资源优化分配方法及装置
EP2752043A1 (en) Method for controlling interference from white space units
Hussain et al. An optimal resource allocation algorithm for D2D communication underlaying cellular networks
CN108307412B (zh) 用户为中心的基于分组博弈的超密集网络干扰管理方法
CN112333754A (zh) 一种可接入用户数的预估方法和装置
Hassan et al. A near optimal interference minimization resource allocation algorithm for D2D communication
Teng et al. Application research of game theory in cognitive radio spectrum allocation
Perlaza et al. On the base station selection and base station sharing in self-configuring networks
CN115379508A (zh) 载波管理方法、资源分配方法及相关设备
CN111343721B (zh) 一种最大化系统广义能效的d2d分布式资源分配方法
Li et al. Multiuser power and channel allocation algorithm in cognitive radio
Maaz et al. Joint user association, power control and scheduling in multi-cell 5G networks
Chen et al. Echo state transfer learning for data correlation aware resource allocation in wireless virtual reality
Khan et al. Interactive trial and error learning method for distributed channel bonding: Model, prototype implementation, and evaluation
CN112291828B (zh) 一种多载波noma系统中多用户分组方法及系统
CN110062399A (zh) 一种基于博弈论的认知异构蜂窝网络频谱分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant