CN102238631A - 基于强化学习的异构网络资源管理方法 - Google Patents

基于强化学习的异构网络资源管理方法 Download PDF

Info

Publication number
CN102238631A
CN102238631A CN2011102360296A CN201110236029A CN102238631A CN 102238631 A CN102238631 A CN 102238631A CN 2011102360296 A CN2011102360296 A CN 2011102360296A CN 201110236029 A CN201110236029 A CN 201110236029A CN 102238631 A CN102238631 A CN 102238631A
Authority
CN
China
Prior art keywords
bandwidth
network
individual
different
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011102360296A
Other languages
English (en)
Inventor
朱琦
赵彦清
赵夙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN2011102360296A priority Critical patent/CN102238631A/zh
Publication of CN102238631A publication Critical patent/CN102238631A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明的基于强化学习的异构网络资源管理方法,针对异构网络的多种业务需求和多样呼叫类型,将强化学习用于异构无线网络的资源管理中,将不同的呼叫类型区分对待,赋予不同的处理优先级,对不同的业务类型采取不同的资源分配策略,给出了基于负载的带宽自适应均衡因子和基于带宽的利润函数,并将二者联合作为回报函数,在尽量满足各种业务带宽需求的情况下实现了不同网络之间的负载均衡和同一网络内的自适应带宽分配,提高了资源利用率。

Description

基于强化学习的异构网络资源管理方法
技术领域
本发明涉及一种特别用于异构网络环境中的无线资源管理方法,并采用了强化学习的控制策略,属于通信技术领域。
背景技术
随着无线通信技术的快速发展,出现了多种无线接入技术并存的局面,由于这些无线接入系统都是专门针对某些特定的业务类型和用户群体而设计的,所以在网络的覆盖范围、可用带宽、资费水平、对用户移动性的支持和服务质量(QoS)保证等方面都存在一定的差异性,这种针对特定业务类型而专门设计的无线接入系统己经无法再满足用户日益复杂多变的业务需求。由于现在的各种无线接入系统在很多区域内都是重叠覆盖的,因此可以将这些相互重叠的不同类型的无线接入系统智能地融合在一起,共同为用户提供随时随地的无线接入服务,从而构成了一种异构无线网络(Heterogeneous Wireless Networks,HWN)。所谓异构(heterogenoous)其实是指两个无线接入系统采用了不同的无线接入技术,或者是采用相同的无线接入技术但属于不同的无线运营商。在异构无线网络中,用户可以根据业务需要和网络状态等因素随时选择接入到最合适的那个无线接入系统中,从而满足用户灵活多变的个性化业务需求。另外,通过合理的无线资源管理,可以充分利用异构无线网络中各种无线接入系统的基础设施和频率资源,充分激发这些系统的潜能,共同为用户提供单系统运营模式下所无法支持的业务和功能,从而在满足用户复杂多变的个性化业务需求的同时提高无线运营商的利润水平
为了实现异构网络的真正融合,无线资源管理已经成为异构网络中的关键技术之一。为此人们针对异构网络中的资源管理问题提出了很多方案和算法。强化学习(RL)可以从延迟的回报中获取最优的控制策略,一个可学习的智能体,它可以观察环境的状态并能做出一组动作改变这些状态,学习的任务是获得一个控制策略,以选择能达到目的的行为。RL以其自适应性和灵活性,被广泛的应用于机器人和自动控制领域,并被引入到动态频谱接入中。
发明内容
技术问题:本发明的目的是提出有一种基于强化学习的异构网络资源管理方法,针对异构网络的多种业务需求和多样呼叫类型,该算法将不同的呼叫类型区分对待,对不同的业务类型采取不同的资源分配策略,提出了基于负载的带宽自适应均衡因子和基于带宽的利润函数,并将二者联合作为回报函数。
技术方案:本发明的基于强化学习的异构网络资源管理方法将强化学习用于异构网络的资源管理中,具体包括以下内容:
a.状态空间由可用网络数量、当前的网络负载状况、呼叫类型及业务类型组成;
b.动作空间包括网络的选择以及带宽的分配,带宽分配是按照2b个带宽单元来分配的,其中b=0,1,2,......,所以在此用b的取值来定义动作空间A:A={0,1,2,......n·(K+1)-1},其中n就是状态空间中的可用网络数量,K表示b的最大取值,K=max(b),如果当前只有一个网络覆盖,则A={0,1,2,......K},分别表示当前网络所能够分配的不同带宽等级:20个带宽单元,21个带宽单元,......22个带宽单元,如果当前有两个网络覆盖,则A={0,1,2,...K,K+1,...2K+1},分别表示不同的网络所能分配的不同带宽等级;
c.回报函数需要根据不同的业务进行定义:语音业务对带宽要求不高,只要Bvc个带宽单元就能满足其通信需求,不管接入哪个网络,只要给它分配的带宽多于Bvc个带宽单元,则回报就是0,如果给它分配的带宽是Bvc个带宽单元,则就获取相应的回报,Bvc为传输语音业务所需要的带宽单元数目;对于视频业务和数据业务就涉及到带宽需求的问题,用一个利润函数P来和每次分配动作相关联,则视频业务的回报函数定义为 r = β · P + ( 1 - β ) · G B min vd ≤ 2 b ≤ B max vd 0 else , 其中β是权重系数,G为自适应带宽均衡因子,Bminvd为视频业务所需的最小带宽,Bmax vd为视频业务所需要的最大带宽;数据业务的回报函数定义为 r = β · P + ( 1 - β ) · G 2 b ≥ B min da 0 else , 其中Bmin da为数据业务所需的最小带宽。
所述的利润函数P=g-σ·l,其中g表示这次分配动作相对于动作之前的带宽收益值,则g=ΔB=Bb-Bf,其中Bb表示动作之后的带宽,Bf表示动作之前的带宽;l表示这次动作所付出的代价值,l=Bf·τ,其中τ表示切换时延;σ是时延敏感系数,σ越大,时延损失在利润函数中占得比重就越大;因此P=g-σ·l=Bb-Bf-σ·Bf·τ。
所述的自适应带宽均衡因子G定义为G=(1-ηi)b,其中b表示本次分配动作为该用户分配了2b个带宽单元,ηi表示所选网络i的负载。
有益效果:本发明提供了一种基于Q学习的异构网络资源管理方法,该方法利用基于带宽的利润函数和基于负载的自适应带宽均衡因子共同作为回报函数,对不同的呼叫类型区分对待赋予了不同的优先级,使得切换中断率远小于始呼阻塞率,对不同的业务类型采取不同的资源管理方案,在尽量满足各种业务带宽需求的情况下实现了不同网络之间的负载均衡和同一网络内的自适应带宽分配,提高了资源利用率。
附图说明
图1网络覆盖模型。
具体实施方式
本发明以图1所示网络环境为背景,此异构网络由一个覆盖范围最大,可用带宽资源最少的网络N所覆盖,其网络覆盖范围是半径为R的圆,可用带宽资源数位B。同时为了满足一些热点地区的服务请求,在该网络范围内又重复覆盖了一些覆盖范围小但是带宽资源丰富的网络Ni,每一个网络的覆盖范围是一个半径为Ri的圆形。每一个网络的可用带宽资源数为Bi,其中Bi>B(i≥1)。网络为每个用户分配的带宽资源以基本带宽单元(bandwidth units,BWU)为基数,按照2b个BWU来分配(b=0,1,2,......)。
根据3GPP(3rd Generation Partnership Project)对3G系统的业务类型的定义,我们选取了语音业务、视频业务和数据业务三个不同的业务作为本场景的业务类型。根据三种业务的服务质量(quality of service,QoS)特征分析如下:(1)语音业务要求时延低,仅需较低信道带宽。所以语音业务应该尽量选择覆盖范围大时延低的网络,如N1,同时我们定义它的带宽需求是Bvc个BWU,即如果网络可以提供Bvc个BWU,就可以为语音业务服务。如果网络为语音业务分配的带宽资源多于Bvc个BWU,由于这不仅不会提高业务的QoS,反而会造成网络宝贵的带宽资源的浪费,所以这样的分配结果不可取。(2)视频业务要求时延低,并且需要足够的信道带宽。在现在的通信网络中,视频通信业务可以有多种级别的编码方式,对应不同级别的服务质量,同时也对应了不同程度的带宽需求。因此我们可以对视频业务的带宽需求分为不同的等级,其中用Bminvd个BWU表示最小带宽需求,即如果为视频业务分配的带宽小于该最小带宽需求量则不能建立该视频通信服务,由于视频通信受其编码方式的限制,QoS并不能随着带宽的增加无限的提高,所以我们用Bmaxvd个BWU表示最大带宽需求,即如果为视频业务分配的带宽大于该最大带宽需求量,由于QoS不会再提高,反而造成频谱资源的浪费,所以这样的分配结果也不可取,然后在Bminvd和Bmaxvd之间有几个不同的服务等级。(3)数据业务允许一定的时延,对带宽要求高。即数据业务是非实时带宽敏感性业务,所以对于数据业务而言带宽越多越好,因为获得的带宽越多,就越能够尽快的完成此次通信。所以我们定义Bminda个BWU为数据业务的最小需求带宽,只要网络能够给视频业务提供的带宽高于此最小带宽需求量就能够为数据业务服务,并且带宽越大,QoS越好。
在本发明中涉及到的呼叫类型有始呼、水平切换和垂直切换。其中刚刚发起的会话为始呼;当用户从同一网络的一个小区移动到相邻小区时为水平切换;当一个用户由当前网络转移到另一个不同类型的网络时为垂直切换。从用户的体验角度来讲,中断一个用户的切换请求比阻塞一个用户的始呼请求更加让人难以接受,这一点在实时性业务的应用上表现更加明显,所以网络在对待实时性业务的始呼和切换时,应该对其赋予不同的优先级,即优先处理切换业务。为此,本发明在处理时采用带宽预留策略,即首先预留一定的带宽资源给切换业务,对于始呼业务,只有网络剩余带宽资源在超过预留资源数量的基础上又能满足该业务的最少带宽需求的情况下才能接受该呼叫请求。
A.问题映射:
(1)状态空间S
本发明中的网络资源管理不仅对不同呼叫类型赋予不同的处理优先级,还要对不同的业务类型采取不同的资源分配方案,所以状态的定义一定要体现出呼叫类型和业务类型的差异。本发明对状态S的定义如下:
S={n,L,c,m}                (1)
其中n表示当前的可用网络数量;L表示当前的网络负载状况;c表示呼叫类型,有始呼、水平切换、垂直切换三种情况;m表示业务类型,有语音业务、视频业务和数据业务三种不同业务。
(2)动作空间A
由于本发明不仅要为每一个通信请求选择一个网络进行接入,还要为其分配合适的带宽。所以动作空间中要把网络和带宽大小都要包含进去。本发明的带宽分配是按照2b(b=0,1,2,......)个BWU来分配的,所以在此用b的取值来定义动作空间A:
A={0,1,2,......n·(K+1)-1}            (2)
其中n就是状态空间中的可见网络数量,K表示b的最大取值(K=max(b))。如果当前只有一个网络覆盖,则A={0,1,2,......K},分别表示当前网络所能够分配的不同带宽等级:20个BWU,21个BWU,......22个BWU.如果当前有两个网络覆盖,则A={0,1,2,...K,K+1,...2K+1},分别表示不同的网络所能分配的不同带宽等级。
(3)回报函数r
对于语音业务,由于其对带宽要求不高,只要Bvc个BWU就能满足他的通信需求,所以不管接入哪个网络,只要给它分配的带宽多于Bvc个BWU,则回报就是0,如果给它分配的带宽是Bvc个BWU,则就获取相应的回报。
对于视频业务和数据业务就涉及到带宽需求的问题,本发明对视频业务和数据业务用一个利润函数P=f(g,l)来和每次分配动作相关联。其中P表示此次分配动作的利润值,g表示这次分配动作相对于动作之前的带宽收益值,l表示这次动作所付出的代价值,则:
g=ΔB=Bb-Bf                (3)
其中Bb表示动作之后的带宽,Bf表示动作之前的带宽。
l=Bf·τ            (4)
其中τ表示切换时延。
P=g-σ·l
                    (5)
=Bb-Bf-σ·Bf·τ
其中σ是时延敏感系数,σ越大,时延损失在利润函数中占得比重就越大。本发明为了体现视频业务与数据业务对时延的不同敏感度,在视频业务中σ=0.7,在数据业务中σ=0.2。
对于始呼业务,由于是初次接入网络,所以Bf=0,τ=0。所以对于始呼业务而言,其利润值只由所获得的带宽来决定,带宽越大,则利润值越大;对于切换业务(包括水平切换和垂直切换)利润值不仅取决于动作之后的带宽,还要看动作之前的带宽值,因为只有动作前后带宽增加才算是有所收获,同时由于是切换,所以切换时延肯定是存在的,所以最终利润要在带宽收益基础上减去切换时延这段时间内所能传输的比特量。
从利润函数的定义来看,如果每次分配动作都按照利润值最大化来执行,从用户的角度来说固然很好,因为它可以尽可能多的获取带宽资源,但是从系统阻塞率的角度来看,一味的给用户分配最大带宽必然造成系统阻塞率的增高,如果负载比较轻阻塞率的增高还不是很明显,但是一旦网络负载过重,阻塞率增高的问题就不可避免。
为了解决此问题本发明在此基础上给出了一个自适应带宽均衡因子G:
G=(1-ηi)b         (6)
其中b表示本次分配动作为该用户分配了2b个BWU;
Figure BDA0000083974230000061
B表示所选网络已经占用的带宽资源数,所以ηi就表示所选网络的负载情况,网络的负载不同,ηi就不同,从而反映到G的差异,因此可以实现不同网络间的负载均衡。在同一网络内部,b不同,G的大小也就不同,并且ηi越大,各个b所对应的G之间的比例相差越大,从而可以实现同一网络内的自适应带宽分配。
视频业务的回报函数定义如下:
r = β · P + ( 1 - β ) · G B min vd ≤ 2 a ≤ B max vd 0 else - - - ( 7 )
数据业务的回报函数定义如下:
r = β · P + ( 1 - β ) · G 2 a ≥ B min da 0 else - - - ( 8 )
其中β是权重系数,从视频业务回报函数的定义可以看出,只有在网络为其分配的带宽介于视频业务所需要的最小与最大带宽之间是才会获得相应的回报,否则,获取的回报将是0,因为为视频业务分配的带宽小于其所需的最小带宽则不能建立此通信服务,故回报是0,如果分配的带宽大于所需的最大带宽,受视频业务编码方式的影响,已经不能再继续提高QoS,反而造成了频谱资源的浪费,故回报也应该是0。
权重系数β的大小直接决定了收益函数和自适应带宽均衡因子在回报中的各自比重大小。如果β=1和β=0就取了两个极限情况,即回报大小完全由收益函数决定和完全由自适应带宽均衡因子决定,对于前者就是本发明中涉及到的非自适应带宽分配,由于带宽越大,收益函数就越大,所以回报函数会驱使网络不断地分配最大带宽;对于后者,由于所分配的带宽越小,G越大,回报函数会驱使网络不断分配最小带宽,两种情况都不可取。所以只有给β赋予0到1之间的值时,就是本发明所提出的自适应带宽分配,才会使带宽分配策略综合考虑带宽和负载两种因素,在负载轻时,尽量满足业务的最大带宽需求,在负载重时,负载的影响作用将增强,为每个业务分配的带宽就会减小。将G融入回报函数中不仅能实现不同网络间的负载均衡,同时能实现同一网络内的自适应带宽分配。通过调节β的大小可以调整带宽和负载的影响比重,从而可以调整分配策略以改变系统性能。B准入条件:
从理论上说,只要网络所能够提供的带宽可以满足各个业务的最小带宽需求就能够将此次通信请求接入为其服务,但是为了体现实时性切换业务的优先性,本发明采用带宽预留机制,预留了Bre个BWU来为实时性切换业务服务,假定当前状态下网络所能提供的带宽资源为Bpr个BWU,Bmin为当前申请业务所需要的最小BWU个数,即对于语音和视频业务的切换请求,只要满足式(9)就将其接入,而对于语音和视频业务的始呼请求,只有满足式(10)才能将其接入:
Bpr≥Bmin          (9)
Bpr≥Bmin+Bre      (10)
由于数据业务对实时性要求比较低,所以就不在对始呼和切换请求赋予不同的优先级,而是同等对待。故其准入条件均为式(1∶2)。
综合考虑了网络负载、业务类型以及呼叫类型等因素,基于Q学习方法,根据上述映射,得到了异构无线网络资源管理算法,具体步骤如下:
第一步:初始化Q(s,a),比如0或者随机产生的值,设定折扣因子γ、初始学习率α以及动作选择算法中的初始探索概率ε;
第二步:获取当前状态s,包括当前各网络的负载情况,呼叫类型以及业务类型;
第三步:选择执行的动作a,观察当前的状态集合和动作集合,根据此状态的动作函数值Qt(s,a),按照一定的策略π选择动作a并执行;
第四步:获取回报r和下一时刻的状态s′,根据动作执行的结果按照式(7)(8)计算当前回报r,并找到下一状态的动作值函数最大值
Figure BDA0000083974230000081
根据式(1)更新Qt(s,a);
第五步:参数更新,每轮迭代结束以后,学习率和探索概率都要进行更新,为了满足Q学习的收敛性,本文设置它们以负指数规律随学习过程逐渐减小到0。

Claims (3)

1.一种基于强化学习的异构网络资源管理方法,其特征在于该方法将强化学习用于异构网络的资源管理中,具体包括以下内容:
a.状态空间由可用网络数量、当前的网络负载状况、呼叫类型及业务类型组成;
b.动作空间包括网络的选择以及带宽的分配,带宽分配是按照2b个带宽单元来分配的,其中b=0,1,2,......,所以在此用b的取值来定义动作空间A:A={0,1,2,......n·(K+1)-1},其中n就是状态空间中的可用网络数量,K表示b的最大取值,K=max(b),如果当前只有一个网络覆盖,则A={0,1,2,......K},分别表示当前网络所能够分配的不同带宽等级:20个带宽单元,21个带宽单元,......22个带宽单元,如果当前有两个网络覆盖,则A={0,1,2,...K,K+1,...2K+1},分别表示不同的网络所能分配的不同带宽等级;
c.回报函数需要根据不同的业务进行定义:语音业务对带宽要求不高,只要Bvc个带宽单元就能满足其通信需求,不管接入哪个网络,只要给它分配的带宽多于Bvc个带宽单元,则回报就是0,如果给它分配的带宽是Bvc个带宽单元,则就获取相应的回报,Bvc为传输语音业务所需要的带宽单元数目;对于视频业务和数据业务就涉及到带宽需求的问题,用一个利润函数P来和每次分配动作相关联,则视频业务的回报函数定义为 r = β · P + ( 1 - β ) · G B min vd ≤ 2 b ≤ B max vd 0 else , 其中β是权重系数,G为自适应带宽均衡因子,Bmin vd为视频业务所需的最小带宽,Bmax vd为视频业务所需要的最大带宽;数据业务的回报函数定义为 r = β · P + ( 1 - β ) · G 2 b ≥ B min da 0 else , 其中Bmin da为数据业务所需的最小带宽。
2.如权利要求1所述的基于强化学习的异构网络资源管理方法,其特征在于所述的利润函数P=g-σ·l,其中g表示这次分配动作相对于动作之前的带宽收益值,则g=ΔB=Bb-Bf,其中Bb表示动作之后的带宽,Bf表示动作之前的带宽;l表示这次动作所付出的代价值,l=Bf·τ,其中τ表示切换时延;σ是时延敏感系数,σ越大,时延损失在利润函数中占得比重就越大;因此P=g-σ·l=Bb-Bf-σ·Bf·τ。
3.如权利要求1所述的基于强化学习的异构网络资源管理方法,其特征在于所述的自适应带宽均衡因子G定义为G=(1-ηi)b,其中b表示本次分配动作为该用户分配了2b个带宽单元,ηi表示所选网络i的负载。
CN2011102360296A 2011-08-17 2011-08-17 基于强化学习的异构网络资源管理方法 Pending CN102238631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011102360296A CN102238631A (zh) 2011-08-17 2011-08-17 基于强化学习的异构网络资源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011102360296A CN102238631A (zh) 2011-08-17 2011-08-17 基于强化学习的异构网络资源管理方法

Publications (1)

Publication Number Publication Date
CN102238631A true CN102238631A (zh) 2011-11-09

Family

ID=44888713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102360296A Pending CN102238631A (zh) 2011-08-17 2011-08-17 基于强化学习的异构网络资源管理方法

Country Status (1)

Country Link
CN (1) CN102238631A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711179A (zh) * 2012-05-04 2012-10-03 北京邮电大学 异构无线网络环境下的多业务动态带宽分配方法
CN102781072A (zh) * 2012-07-27 2012-11-14 南京邮电大学 基于多属性决策和群组决策的网络选择方法
CN102946641A (zh) * 2012-11-27 2013-02-27 重庆邮电大学 异构融合网络带宽资源优化分配方法
CN103024847A (zh) * 2012-11-30 2013-04-03 东南大学 一种TD-LTE femtocell接纳控制方法
CN103124420A (zh) * 2013-01-21 2013-05-29 电子科技大学 一种无线片上网络架构方法
CN103327556A (zh) * 2013-07-04 2013-09-25 中国人民解放军理工大学通信工程学院 异构无线网络中优化用户QoE的动态网络选择方法
CN103458465A (zh) * 2013-08-30 2013-12-18 西安电子科技大学 Lte-a中多小区分布式m2m负荷均衡方法
CN103596280A (zh) * 2013-11-04 2014-02-19 南京邮电大学 异构网络多用户多接入视频通信的自适应带宽分配方法
WO2015192587A1 (zh) * 2014-06-19 2015-12-23 西安中兴新软件有限责任公司 一种分配带宽的方法和装置、计算机存储介质
CN105323856A (zh) * 2015-09-30 2016-02-10 刘运成 一种基于无线资源划分的异构网络数据融合方法及装置
CN105517062A (zh) * 2016-03-04 2016-04-20 电子科技大学 一种处理紧急业务的异构无线网络资源调配方法
CN107426110A (zh) * 2017-09-22 2017-12-01 苏州大学 频谱灵活光网络中自适应负载均衡能耗优化方法及系统
CN107889195A (zh) * 2017-11-16 2018-04-06 电子科技大学 一种区分业务的自学习异构无线网络接入选择方法
CN107919975A (zh) * 2016-10-09 2018-04-17 中兴通讯股份有限公司 一种业务资源分配方法和装置
CN108401254A (zh) * 2018-02-27 2018-08-14 苏州经贸职业技术学院 一种基于强化学习的无线网络资源分配方法
CN108521673A (zh) * 2018-04-09 2018-09-11 湖北工业大学 一种异构网络中基于强化学习的资源分配和功率控制联合优化方法
CN108874545A (zh) * 2018-06-25 2018-11-23 曙光信息产业(北京)有限公司 基于强化学习的集群调度系统
CN108924935A (zh) * 2018-07-06 2018-11-30 西北工业大学 一种基于强化学习算法功率域的noma中的功率分配方法
US10225772B2 (en) 2017-06-22 2019-03-05 At&T Intellectual Property I, L.P. Mobility management for wireless communication networks
CN109445947A (zh) * 2018-11-07 2019-03-08 东软集团股份有限公司 资源的分配处理方法、装置、设备及存储介质
CN109474960A (zh) * 2018-11-14 2019-03-15 南京邮电大学 一种基于q学习的双连接流量分配方法
CN110381541A (zh) * 2019-05-28 2019-10-25 中国电力科学研究院有限公司 一种基于强化学习的智能电网切片分配方法及装置
CN112351433A (zh) * 2021-01-05 2021-02-09 南京邮电大学 一种基于强化学习的异构网络资源分配方法
CN115118780A (zh) * 2022-06-06 2022-09-27 支付宝(杭州)信息技术有限公司 获取资源分配模型的方法、资源分配方法及对应装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136321A1 (en) * 2003-01-10 2004-07-15 Fang-Chin Ren Q-learning-based multi-rate transmission control (MRTC) scheme for RRC in WCDMA systems
CN101132363A (zh) * 2007-08-10 2008-02-27 北京邮电大学 基于强化学习的自主联合无线资源管理系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136321A1 (en) * 2003-01-10 2004-07-15 Fang-Chin Ren Q-learning-based multi-rate transmission control (MRTC) scheme for RRC in WCDMA systems
CN101132363A (zh) * 2007-08-10 2008-02-27 北京邮电大学 基于强化学习的自主联合无线资源管理系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI SHEN等: "Resource Management Schemes for Multiple Traffic in Integrated Heterogeneous Wireless and Mobile Networks", 《COMPUTER COMMUNICATIONS AND NETWORKS,2008.ICCCN "08》 *
柴蓉等: "异构网络垂直切换性能参数分析及算法研究", 《重庆邮电大学学报(自然科学版)》 *
赵彦清等: "基于Q学习的异构网络选择新算法", 《计算机应用》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711179A (zh) * 2012-05-04 2012-10-03 北京邮电大学 异构无线网络环境下的多业务动态带宽分配方法
CN102711179B (zh) * 2012-05-04 2015-10-28 北京邮电大学 异构无线网络环境下的多业务动态带宽分配方法
CN102781072A (zh) * 2012-07-27 2012-11-14 南京邮电大学 基于多属性决策和群组决策的网络选择方法
CN102781072B (zh) * 2012-07-27 2014-11-19 南京邮电大学 基于多属性决策和群组决策的网络选择方法
CN102946641B (zh) * 2012-11-27 2016-04-06 重庆邮电大学 异构融合网络带宽资源优化分配方法
CN102946641A (zh) * 2012-11-27 2013-02-27 重庆邮电大学 异构融合网络带宽资源优化分配方法
CN103024847A (zh) * 2012-11-30 2013-04-03 东南大学 一种TD-LTE femtocell接纳控制方法
CN103024847B (zh) * 2012-11-30 2015-02-18 东南大学 一种TD-LTE femtocell接纳控制方法
CN103124420A (zh) * 2013-01-21 2013-05-29 电子科技大学 一种无线片上网络架构方法
CN103124420B (zh) * 2013-01-21 2015-06-24 电子科技大学 一种无线片上网络架构方法
CN103327556A (zh) * 2013-07-04 2013-09-25 中国人民解放军理工大学通信工程学院 异构无线网络中优化用户QoE的动态网络选择方法
CN103327556B (zh) * 2013-07-04 2016-05-11 中国人民解放军理工大学通信工程学院 异构无线网络中优化用户QoE的动态网络选择方法
CN103458465A (zh) * 2013-08-30 2013-12-18 西安电子科技大学 Lte-a中多小区分布式m2m负荷均衡方法
CN103458465B (zh) * 2013-08-30 2016-01-20 西安电子科技大学 Lte-a中多小区分布式m2m负荷均衡方法
CN103596280B (zh) * 2013-11-04 2016-03-23 南京邮电大学 异构网络多用户多接入视频通信的自适应带宽分配方法
CN103596280A (zh) * 2013-11-04 2014-02-19 南京邮电大学 异构网络多用户多接入视频通信的自适应带宽分配方法
WO2015192587A1 (zh) * 2014-06-19 2015-12-23 西安中兴新软件有限责任公司 一种分配带宽的方法和装置、计算机存储介质
US10193818B2 (en) 2014-06-19 2019-01-29 Xi'an Zhongxing New Software Co. Ltd. Method and apparatus for allocating bandwidths, and computer storage medium
CN105323856A (zh) * 2015-09-30 2016-02-10 刘运成 一种基于无线资源划分的异构网络数据融合方法及装置
CN105323856B (zh) * 2015-09-30 2019-01-01 刘运成 一种基于无线资源划分的异构网络数据融合方法及装置
CN105517062A (zh) * 2016-03-04 2016-04-20 电子科技大学 一种处理紧急业务的异构无线网络资源调配方法
CN105517062B (zh) * 2016-03-04 2018-12-11 电子科技大学 一种处理紧急业务的异构无线网络资源调配方法
CN107919975B (zh) * 2016-10-09 2022-06-03 中兴通讯股份有限公司 一种业务资源分配方法和装置
CN107919975A (zh) * 2016-10-09 2018-04-17 中兴通讯股份有限公司 一种业务资源分配方法和装置
US10225772B2 (en) 2017-06-22 2019-03-05 At&T Intellectual Property I, L.P. Mobility management for wireless communication networks
CN107426110A (zh) * 2017-09-22 2017-12-01 苏州大学 频谱灵活光网络中自适应负载均衡能耗优化方法及系统
CN107889195A (zh) * 2017-11-16 2018-04-06 电子科技大学 一种区分业务的自学习异构无线网络接入选择方法
CN107889195B (zh) * 2017-11-16 2020-06-16 电子科技大学 一种区分业务的自学习异构无线网络接入选择方法
CN108401254A (zh) * 2018-02-27 2018-08-14 苏州经贸职业技术学院 一种基于强化学习的无线网络资源分配方法
CN108521673A (zh) * 2018-04-09 2018-09-11 湖北工业大学 一种异构网络中基于强化学习的资源分配和功率控制联合优化方法
CN108521673B (zh) * 2018-04-09 2022-11-01 湖北工业大学 一种异构网络中基于强化学习的资源分配和功率控制联合优化方法
CN108874545A (zh) * 2018-06-25 2018-11-23 曙光信息产业(北京)有限公司 基于强化学习的集群调度系统
CN108924935A (zh) * 2018-07-06 2018-11-30 西北工业大学 一种基于强化学习算法功率域的noma中的功率分配方法
CN109445947A (zh) * 2018-11-07 2019-03-08 东软集团股份有限公司 资源的分配处理方法、装置、设备及存储介质
CN109445947B (zh) * 2018-11-07 2020-11-06 东软集团股份有限公司 资源的分配处理方法、装置、设备及存储介质
CN109474960A (zh) * 2018-11-14 2019-03-15 南京邮电大学 一种基于q学习的双连接流量分配方法
CN110381541A (zh) * 2019-05-28 2019-10-25 中国电力科学研究院有限公司 一种基于强化学习的智能电网切片分配方法及装置
CN110381541B (zh) * 2019-05-28 2023-12-26 中国电力科学研究院有限公司 一种基于强化学习的智能电网切片分配方法及装置
CN112351433A (zh) * 2021-01-05 2021-02-09 南京邮电大学 一种基于强化学习的异构网络资源分配方法
CN112351433B (zh) * 2021-01-05 2021-05-25 南京邮电大学 一种基于强化学习的异构网络资源分配方法
CN115118780A (zh) * 2022-06-06 2022-09-27 支付宝(杭州)信息技术有限公司 获取资源分配模型的方法、资源分配方法及对应装置
CN115118780B (zh) * 2022-06-06 2023-12-01 支付宝(杭州)信息技术有限公司 获取资源分配模型的方法、资源分配方法及对应装置

Similar Documents

Publication Publication Date Title
CN102238631A (zh) 基于强化学习的异构网络资源管理方法
CN111277437B (zh) 一种智能电网的网络切片资源分配方法
Piamrat et al. Radio resource management in emerging heterogeneous wireless networks
Li et al. An SMDP-based prioritized channel allocation scheme in cognitive enabled vehicular ad hoc networks
CN101132363B (zh) 基于强化学习的自主联合无线资源管理系统和方法
CN105009475A (zh) 考虑到用户设备(ue)移动性的用于准入控制和资源可用性预测的方法和系统
CN105446817B (zh) 移动云计算中一种基于鲁棒优化的联合资源预留配置算法
CN102665282B (zh) 无线异构网络多用户并行传输资源的分配方法
CN104619029B (zh) 一种集中式蜂窝网络架构下的基带池资源分配方法和装置
Alsamhi et al. An efficient channel reservation technique for improved QoS for mobile communication deployment using high altitude platform
CN102572987B (zh) 一种面向异构无线网络环境的网络选择方法
CN109982434B (zh) 无线资源调度一体智能化控制系统及方法、无线通信系统
CN106304093A (zh) 一种网络间共享频谱优化系统及方法
CN104378772B (zh) 一种蜂窝网络中面向小区无定形覆盖的小基站部署方法
CN107484245B (zh) 一种异构网络中支持d2d通信的资源分配方法
WO2007036003A1 (en) Reinforcement learning for resource allocation in a communications system
CN108471616A (zh) 基于物理引力模型部署无人机增强基站通信的方法及系统
CN108848535B (zh) 一种面向共享模式的雾计算环境资源分配方法
Chai et al. Utility-based bandwidth allocation algorithm for heterogeneous wireless networks
Suga et al. Joint resource management with reinforcement learning in heterogeneous networks
CN102711178B (zh) 基于用户需求和网络负载均衡的群体联合接纳控制方法
CN101917753B (zh) 一种异构网络联合呼叫控制策略的确定方法
Puspita et al. An Intelligent Admission Control Scheme for Dynamic Slice Handover Policy in 5G Network Slicing
Murray et al. Policy based access management and handover control in heterogeneous wireless networks
CN104144478B (zh) 基站非连续发送节能控制方法、小站、宏站及异构网络

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111109