CN109714786A - 基于Q-learning的毫微微小区功率控制方法 - Google Patents
基于Q-learning的毫微微小区功率控制方法 Download PDFInfo
- Publication number
- CN109714786A CN109714786A CN201910169456.3A CN201910169456A CN109714786A CN 109714786 A CN109714786 A CN 109714786A CN 201910169456 A CN201910169456 A CN 201910169456A CN 109714786 A CN109714786 A CN 109714786A
- Authority
- CN
- China
- Prior art keywords
- cell
- indicate
- transmission power
- user
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000001413 cellular effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims description 53
- 238000011217 control strategy Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000009087 cell motility Effects 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract description 6
- 238000010295 mobile communication Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种基于Q‑learning的毫微微小区功率控制方法，属于移动通信技术异构蜂窝网络领域；所述方法包括根据异构蜂窝网络模型，在考虑小区间干扰和小区内干扰的同时，建立以最小接收信号信干噪比和最大用户发射功率为约束条件，以毫微微小区总能效为优化目标的能效优化模型；按照Q‑learning算法，根据能效优化模型，定义状态空间、动作空间、奖赏函数；通过更新状态‑动作值函数，获得最佳的功率分配策略。本发明相比与传统的功率控制算法，能够在不确知信道状态信息的情况下，实现对毫微微小区内用户终端发射功率的有效控制，从而降低能耗，提升系统的能效。
Description
技术领域
本发明属于移动通信技术异构蜂窝网络领域，涉及异构蜂窝网络毫微微小区中一种上行链路功率控制方法，具体为基于Q-learning的毫微微小区功率控制方法。
背景技术
移动通信的快速发展使得无线网络面临双重任务，即在支持快速的业务增长前提下，还需进一步降低系统能耗。当前的异构蜂窝网络，一般都是由室外部署宏基站以及室内部署家庭基站组成。室外宏基站主要采用现有蜂窝网络基站。家庭基站，是一种短距离传输的小型基站，被部署在宏基站的覆盖范围内，其能够增加室内的覆盖率，为用户提供高速率的移动服务，能够改善室内移动用户的服务质量。基于此，异构蜂窝网络是支持移动通信业务快速增长的有效方式。
在异构蜂窝网络中，由于用户和基站间存在小区内干扰和小区间干扰，要求基站和用户终端选择合适的发射功率。功率控制对于提升异构蜂窝网络的性能至关重要，合理地为各用户终端分配发射功率，不仅能保证用户终端符合最低的通信要求，同时又避免对其他用户信号产生不必要的干扰，还能节省能耗，提升系统容量和能效。因此研究上行链路用户端发射功率的控制对于异构蜂窝网络具有重要的意义。
(1)近些年来，针对异构蜂窝网络上行链路的功率控制算法的主要研究成果有：基于随机几何的分布式功率控制算法(ZHANG Jing,LIAO Yan and XIN Yili.Uplink PowerControl for Heterogeneous Small Cell Networks.2016IEEE 83rd VehicularTechnology Conference(VTC Spring),Nanjing,China,2016:1–5.):该算法联合考虑上行链路传输速率、用户中断概率以及小区间的干扰，以最大化能效为优化目标，通过调整功率控制系数实现对用户终端发射功率的控制。该算法能够获得最优的功率控制系数，实现系统能效的优化，从而节约系统能量。
(2)基于参数Dinkelbach算法的集中式功率控制算法(WANG Min,GAO Hui,and LVTiejun.Energy-Efficient User Association and Power Control in theHeterogeneous Network.IEEE Access,2017,5:5059–5068.):该算法联合基站选择、信道分配、模式选择以及功率控制，将系统能效作为优化目标。在用户接入基站、选择信道以及通信模式确定的情况下，将分式能效优化目标转化为减式能效优化目标；然后利用参数Dinkelbach算法以迭代的方式更新功率和能效值，即，给定能效值，通过拉格朗日对偶算法求解最优的功率值，利用求解得到的功率值更新能效值，如此循环直至能效收敛。该算法能够有效地优化异构蜂窝网络上行链路的能效，提升系统的性能。
然而以上功率控制算法均存在不足：上面提到的两种算法均需要系统每个时刻或者时间间隔内，获得一个全局的归一化链路增益矩阵来得到最优解；对于整个系统而言，因其涵盖的用户数量较多，周期性获取全局信道状态信息将使得算法复杂度很大。另外，它们均没有考虑获取得到的信道状态信息存在估计误差时，对于能效优化结果的影响。因此，设计一种适用于应对信道状态信息存在估计误差的功率控制算法，对于异构蜂窝网络的节能具有很大的价值。
发明内容
本发明的目的在于提供异构蜂窝网络中一种毫微微小区功率控制方法。该方法针对异构蜂窝网络能耗过大问题，以毫微微小区总能效为优化目标，提出采用Q-learning算法控制用户终端的发射功率，以降低系统能耗。
一种基于Q-learning的毫微微小区功率控制方法，所述方法包括以下步骤：
S1、根据异构蜂窝网络模型，建立以最小接收信号信干噪比和最大用户发射功率为约束条件，以毫微微小区总能效为优化目标的能效优化模型；
S2、按照Q-learning算法，根据能效优化模型，构建出毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值；
S3、通过更新状态-动作值函数，寻找各网络状态下的最佳发射功率动作，从而得到最佳的功率控制策略。
进一步的，所述能效优化模型包括：
其中，ηb表示小区能效；SINRb,μ表示ub,μ与小区b通信时，小区b接收到的信干噪比；Ub表示毫微微小区内的用户集合，具体为Nb表示毫微微小区b内的用户总数，μ∈{1,2,...,Nb}；ub,μ表示第b个小区中第μ个用户；W表示频谱带宽；pb,μ表示用户ub,μ的发射功率，表示ub,μ的固有功率消耗；SINRb,μ min表示引入最小接收信号信干噪比；pb,μ max表示用户最大发射功率。
进一步的，信干噪比SINRb,μ的计算公式为：
其中，表示ub,μ与Bb之间的信道增益；pb,i表示ub,i的发射功率；表示用户ub,i与小区b之间的信道增益；pm,n表示用户小区m中第n个用户um,n的发射功率，表示um,n与小区b之间的信道增益；n0为高斯白噪声信道的功率谱密度；M表示毫微微小区的个数。
进一步的，初始化网络状态，然后控制实体利用ε-贪婪算法即ε-greedy算法确定初始网络状态下的发射功率动作；即以概率ε从功率控制动作空间中随机选择一个发射功率动作，以概率1-ε选择功率控制动作空间中的使得当前状态-动作值最大的发射功率动作；计算采取发射功率动作，得到的系统能效值；记录控制实体采取发射功率动作后，位于的新网络状态；结合状态-动作值的增量求和式，选择新网络状态下对应的最大状态-动作值，更新状态-动作对(初始网络状态，相应的发射功率动作)的状态-动作值；根据最新的状态-动作值，确定初始网络状态对应的最佳发射功率动作，从而更新功率控制策略；接着确定新网络状态对应的最佳发射功率动作，具体过程类似初始网络状态的最佳发射功率动作的确定；重复上述步骤，直到执行步数等于T，返回最佳的功率控制策略。
其中，作为一种可选方式，ε∈(0.2,0.8)；T∈[1000,9000]；
进一步的，所述功率控制动作空间为
其中，Pb,μ为用户ub,μ的发射功率等级集合，根据优化模型的约束条件可以得到用户ub,μ的发射功率取值范围为pb,μ min≤pb,μ≤pb,μ max，在该范围包括db,μ个发送功率等级，则ub,μ的发射功率等级集合具体为毫微微小区b的发射功率向量为则毫微微小区b内的控制实体采取的发射功率动作ab＝Pb，小区内所有用户发射功率等级的排列组合构成小区b控制实体的动作空间，且有ab∈Ab。
进一步的，所述网络状态空间为Sb；
其中，Sb包括状态sb出现的所有可能值；毫微微小区b内控制实体的状态为sb＝(Ib,lb)；Ib表示小区b中Nb个用户的上行干扰向量，lb表示小区b中Nb个用户的信干噪比系数向量；λb,μ用于判断实际的SINRb,μ与SINRb,μ min之间的大小关系，当SINRb,μ≥SINRb,μ min时，λb,μ＝1，否则为0；SINRb,μ表示ub,μ与小区b通信时，小区b接收到的信干噪比；SINRb,μ min表示小区b能够成功解码来自ub,μ的接收信号的最小信干噪比。
进一步的，所述控制实体在各个网络状态采取发射功率动作时的系统能效值包括：
其中，表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值；W表示频谱带宽；pb,μ表示用户ub,μ的发射功率，表示ub,μ的固有功率消耗。
进一步的，所述状态-动作值函数包括：
其中，表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值；λb,μ用于判断实际的SINRb,μ与SINRb,μ min之间的大小关系，其具体的取值为：SINRb,μ表示ub,μ与小区b通信时，小区b接收到的信干噪比；SINRb,μ min表示基站b能够成功解码来自ub,μ的接收信号的最小信干噪比；W表示频谱带宽；pb,μ表示用户ub,μ的发射功率，表示ub,μ的固有功率消耗。
本发明的有益效果：
1、本发明基于Q-learning算法的毫微微小区功率控制方法，与现有的集中式功率控制算法相比，在信道状态信息存在估计误差的情况下，实现对用户终端功率的有效控制；
2、本发明在综合考虑小区内干扰和小区间干扰的情况下，以用户终端最大发射功率和最小信干噪比为约束条件，以一个毫微微小区内上行链路所有用户终端的能效之和为目标，建立功率控制优化模型；能够解决异构蜂窝网络能耗过大的问题；
3、本发明采用了Q-learning算法，构建出了毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值，能够有效的计算出最佳的功率控制策略。
附图说明
图1为本发明采用的异构蜂窝网络模型示意图；
图2为本发明中控制实体在毫微微小区中自主学习过程示意图；
图3为本发明基于Q-learning的毫微微小区功率控制方法流程图；
图4为本发明与现有技术在信道状态信息不存在估计误差时，系统能效与用户数的关系；
图5为本发明与现有技术信道状态信息估计误差为15％时，系统能效与用户数的关系。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
以下将结合具体实例和附图对本发明实施方式作具体描述。
实施例1
如图1所示，本实施例采用异构蜂窝网络模型，该系统由一个宏小区(macro-cell)和多个毫微微小区组成，用户间共享相同的频谱带宽W，当用户与基站进行通信时，会遭到来自同小区内用户的干扰(小区内干扰)以及其他小区内用户的干扰(小区间干扰)。本发明研究的是毫微微小区的能效优化问题，定义单位功率用户吞吐量值为用户能效ηb,μ，定义毫微微小区内用户能效之和为小区能效ηb。
本发明在考虑小区内、小区间干扰的情况下，引入最小接收信号信干噪比SINRb,μ min以及用户最大发射功率pb,μ max作为约束条件，以小区能效为优化目标，建立系统能效优化模型。具体如下所示：
根据上述能效优化模型，定义Q-learning算法的三要素(动作空间(A)、奖赏函数状态空间(S))。
将毫微微小区b内的中心控制器映射为代理，即控制实体，毫微微小区b的总能效ηb为奖赏函数；将小区内用户终端发射功率等级的排列组合结果映射为动作空间；各用户终端的发射功率、信干噪比等信息，共同决定代理的状态空间。具体的，构建出毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值；具体包含以下几个步骤：
定义动作空间：动作空间被定义为代理在某种状态s下可以执行的动作a的所有可能。本发明定义以发射功率向量为毫微微小区b内代理为各用户终端分配的发射功率，也即代理采用的动作ab＝Pb。利用SINRb,μ和SINRb,μ min，得到用户ub,μ的发射功率取值范围为pb,μ min≤pb,μ≤pb,μ max，在该范围包括db,μ个发送功率等级，ub,μ的发射功率等级集合表示为因此，代理的动作空间可以表示为
定义奖赏函数：奖赏函数被定义为代理在状态s下执行动作a所带来的回报值，本发明中则考虑为控制实体在各个网络状态采取发射功率动作后回报的系统能效值；本发明中的优化目标是最大化毫微微小区的能效，代理采取新的动作会导致小区能效的变化，因而本发明定义代理的奖赏函数为毫微微小区b的能效，具体如下所示：
定义状态空间：状态空间被定义为代理可能处于的状态集合，本发明定义代理的状态为sb＝(Ib,lb)，其中表示上行干扰向量；是一个系数向量，λb,μ用于判断实际的SINRb,μ与SINRb,μ min之间的大小关系，具体的取值为：此处的上行干扰和信干噪比可以通过基站端测量得到。因此，代理在状态sb下采取动作ab的奖赏函数表示为：
如图2所示，本发明的控制实体在毫微微小区中进行自主学习，在Q-learning中，控制实体根据各用户的基站信号受到的上行干扰和SINR，动态调整用户终端的发送功率，以实现上行能效(奖赏函数)的优化。代理与环境的互动过程可以建模为四元组的形式其中，t是一个离散的时间计数器。该四元组表示代理在状态时，采取动作后，获得值为的奖赏，然后状态转变即当用户的基站信号受到的上行干扰和信干噪比系数向量分别为时，代理控制各用户终端的发送功率为后，使得小区b的总能效为因为新的发射功率向量会导致干扰和信干噪比改变，因此系统位于新的状态代理的整个学习过程等价于通过更新状态-动作值函数得到最优的功率控制策略从而实现系统各状态下用户终端发射功率的最佳分配。本发明中，基站即为小区。
实施例2
如图3所示，本发明根据Q函数的增量求和表达式来更新Q函数，表达式具体为其中，表示在t+1时隙控制实体在网络状态sb选择发射功率动作ab的状态-动作值函数；表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值；s'b表示控制实体在网络状态sb选择发射功率动作ab后，所位于的新状态；a'b表示网络状态s'b下对应的发射功率动作，α表示学习效率，γ表示折扣奖赏因子。
实施例3
本实施例在前述实施例的基础上，本实施例实现用户终端发射功率控制的详细步骤如下：
步骤1设定信道模型(带宽，增益等)，以及SINRb,μ min，pb,μ max，γ，α等初始信息；确定毫微微小区用户终端的发射功率等级(即，确定代理的动作空间Ab)；设置总的执行步数为T；
作为一种可选方式，本发明中，设置α＝0.1，γ＝0.9，T＝1000。
步骤2以用户终端的发射功率等级为发射功率向量(即代理的动作，以下称为动作)样本，用户终端向基站端发送信号，基站根据接收信号测量出各个发射功率向量对应的上行干扰和信干噪比系数向量，从而确定代理的状态空间；
步骤3初始化代理的初始状态sb＝(Ib,lb)；
步骤4利用ε-greedy算法为小区内用户终端选择发射功率向量；以概率ε对Ab中的动作进行探索，即从整个动作空间中随机选择一个动作；以概率1-ε对Ab中的动作进行利用，即选取使得当前Qπ(sb,ab)最大的动作；并且记录采取动作ab后，代理处于的新状态
步骤5计算采取动作ab后，获得的奖赏值(也即，采取发射功率向量ab后，得到的系统能效值)；然后选择状态下最大的Q值，结合增量求和式更新Qπ(sb,ab)；
步骤6根据步骤5中得到的最新Qπ(sb,ab)，找出状态sb下使得Q值最大的动作然后更新功率控制策略(即，系统处于状态sb＝(Ib,lb)时，最佳的发射功率向量为
步骤7更新状态再次执行步骤4～6，直到执行步数等于T，返回最佳的功率控制策略π*。
对比图4和图5的仿真结果(本发明的方法简称为PCQL，PCPD(基于参数Dinkelbach的功率控制算法)为引入的对比算法)，PCQL-EE指的本发明的能效值，PCPD-EE表示对比算法的能效值；可以看出，在信道状态信息不存在估计误差和存在15％的估计误差两种场景下，PCPD算法得到的能效结果明显下降，而本发明所提PCQL方法得到的能效结果几乎相当，说明本发明能够在信道状态信息存在误差的情况下，实现对用户发射功率的有效控制。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于Q-learning的毫微微小区功率控制方法，所述方法包括以下步骤：
S1、根据异构蜂窝网络模型，建立以最小接收信号信干噪比和最大用户发射功率为约束条件，以毫微微小区总能效为优化目标的能效优化模型；
其特征在于，
S2、按照Q-learning算法，根据能效优化模型，构建出毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值；
S3、通过更新状态-动作值函数，寻找各网络状态下的最佳发射功率动作，从而得到最佳的功率控制策略。
2.根据权利要求1所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，所述能效优化模型包括：
其中，ηb表示毫微微小区b的能效；SINRb,μ表示用户ub,μ与小区b通信时，小区b接收到的信干噪比；Ub表示小区b内的用户集合，具体为Nb表示小区b内的用户总数，μ∈{1,2,...,Nb}；ub,μ表示小区b中第μ个用户；W表示频谱带宽；pb,μ表示用户ub,μ的发射功率，表示ub,μ的固有功率消耗；SINRb,μ min表示基站b能够成功解码来自ub,μ的接收信号的最小信干噪比；pb,μ max表示用户最大发射功率。
3.根据权利要求2所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，信干噪比SINRb,μ的计算公式为：
其中，表示ub,μ与Bb之间的信道增益；pb,i表示ub,i的发射功率；表示用户ub,i与小区b之间的信道增益；pm,n表示用户小区m中第n个用户um,n的发射功率，表示um,n与小区b之间的信道增益；n0为高斯白噪声信道的功率谱密度；M表示毫微微小区的个数。
4.根据权利要求1所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，所述获取最佳的功率控制策略包括：
初始化网络状态，控制实体利用ε-贪婪算法确定初始网络状态下的发射功率动作；即以概率ε从功率控制动作空间中随机选择一个发射功率动作，以概率1-ε选择功率控制动作空间中的使得当前状态-动作值最大的发射功率动作；计算采取发射功率动作，得到的系统能效值；记录控制实体采取发射功率动作后，位于的新网络状态；结合状态-动作值的增量求和式，选择新网络状态下对应的最大状态-动作值，更新状态-动作值；根据最新的状态-动作值，确定初始网络状态对应的最佳发射功率动作，从而更新功率控制策略；确定新网络状态对应的最佳发射功率动作，重复上述步骤，直到执行步数等于T，返回最佳的功率控制策略。
5.根据权利要求1或4所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，
所述功率控制动作空间为
其中，Pb,μ为用户ub,μ的发射功率等级集合，用户ub,μ的发射功率取值范围为pb,μ min≤pb,μ≤pb,μ max，在该范围包括db,μ个发送功率等级，则ub,μ的发射功率等级集合具体为毫微微小区b的发射功率向量为则毫微微小区b内的控制实体采取的发射功率动作ab＝Pb，小区内所有用户发射功率等级的排列组合构成小区b控制实体的动作空间，且有ab∈Ab。
6.根据权利要求1或4所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，
所述网络状态空间为Sb；
其中，Sb包括状态sb出现的所有可能值；毫微微小区b内控制实体的状态为sb＝(Ib,lb)；Ib表示小区b中Nb个用户的上行干扰向量，lb表示小区b中Nb个用户的信干噪比系数向量；λb,μ用于判断实际的SINRb,μ与SINRb,μ min之间的大小关系，当SINRb,μ≥SINRb,μ min时，λb,μ＝1，否则为0；SINRb,μ表示ub,μ与小区b通信时，小区b接收到的信干噪比；SINRb,μ min表示小区b能够成功解码来自ub,μ的接收信号的最小信干噪比。
7.根据权利要求1或4所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，
所述控制实体在各个网络状态采取发射功率动作后回报的系统能效值包括：
其中，表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值；λb,μ用于判断实际的SINRb,μ与SINRb,μ min之间的大小关系，其具体的取值为：SINRb,μ表示ub,μ与小区b通信时，小区b接收到的信干噪比；SINRb,μ min表示基站b能够成功解码来自ub,μ的接收信号的最小信干噪比；W表示频谱带宽；pb,μ表示用户ub,μ的发射功率，表示ub,μ的固有功率消耗。
8.根据权利要求1所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，所述状态-动作值函数包括：
其中，表示在t+1时隙控制实体在网络状态sb选择发射功率动作ab的状态-动作值函数；表示控制实体在网络状态sb采取发射功率动作ab后回报的系统能效值；s'b表示控制实体在网络状态sb选择发射功率动作ab后，所位于的新状态；a'b表示网络状态s'b下对应的发射功率动作，α表示学习效率，γ表示折扣奖赏因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910169456.3A CN109714786B (zh) | 2019-03-06 | 2019-03-06 | 基于Q-learning的毫微微小区功率控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910169456.3A CN109714786B (zh) | 2019-03-06 | 2019-03-06 | 基于Q-learning的毫微微小区功率控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109714786A true CN109714786A (zh) | 2019-05-03 |
| CN109714786B CN109714786B (zh) | 2021-07-16 |
Family
ID=66266491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910169456.3A Active CN109714786B (zh) | 2019-03-06 | 2019-03-06 | 基于Q-learning的毫微微小区功率控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109714786B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111343704A (zh) * | 2020-02-29 | 2020-06-26 | 重庆邮电大学 | 异构蜂窝网络中毫微微基站的联合休眠与功率控制方法 |
| CN112788765A (zh) * | 2020-12-30 | 2021-05-11 | 北京邮电大学 | 用户设备能效的功率优化方法、通信方法及装置 |
| CN113038583A (zh) * | 2021-03-11 | 2021-06-25 | 南京南瑞信息通信科技有限公司 | 适用于超密集网络的小区间下行链路干扰控制方法、装置和系统 |
| CN113875294A (zh) * | 2019-06-03 | 2021-12-31 | 诺基亚通信公司 | 使用深度q学习的上行链路功率控制 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104023384A (zh) * | 2014-05-28 | 2014-09-03 | 北京邮电大学 | 一种家庭基站密集部署场景中考虑时延限制的双层网络资源分配方法 |
| CN104581738A (zh) * | 2015-01-30 | 2015-04-29 | 厦门大学 | 基于q学习的认知无线电抗敌意干扰方法 |
| CN108012248A (zh) * | 2017-12-07 | 2018-05-08 | 宁德师范学院 | 基于功率控制的车联网抗干扰的方法及电子设备 |
| CN108112082A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种基于无状态q学习的无线网络分布式自主资源分配方法 |
| CN108365900A (zh) * | 2018-02-27 | 2018-08-03 | 华北电力大学（保定） | 超密集异构网系统中基于能耗与配对的用户接入方法 |
| WO2018145498A1 (zh) * | 2017-02-10 | 2018-08-16 | 华南理工大学 | 基于强化学习算法的双馈感应风力发电机自校正控制方法 |
| WO2018184204A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for budgeted and simplified training of deep neural networks |
| CN108848561A (zh) * | 2018-04-11 | 2018-11-20 | 湖北工业大学 | 一种基于深度强化学习的异构蜂窝网络联合优化方法 |
| WO2018212941A1 (en) * | 2017-05-15 | 2018-11-22 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
-
2019
- 2019-03-06 CN CN201910169456.3A patent/CN109714786B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104023384A (zh) * | 2014-05-28 | 2014-09-03 | 北京邮电大学 | 一种家庭基站密集部署场景中考虑时延限制的双层网络资源分配方法 |
| CN104581738A (zh) * | 2015-01-30 | 2015-04-29 | 厦门大学 | 基于q学习的认知无线电抗敌意干扰方法 |
| WO2018145498A1 (zh) * | 2017-02-10 | 2018-08-16 | 华南理工大学 | 基于强化学习算法的双馈感应风力发电机自校正控制方法 |
| WO2018184204A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for budgeted and simplified training of deep neural networks |
| WO2018212941A1 (en) * | 2017-05-15 | 2018-11-22 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| CN108012248A (zh) * | 2017-12-07 | 2018-05-08 | 宁德师范学院 | 基于功率控制的车联网抗干扰的方法及电子设备 |
| CN108112082A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种基于无状态q学习的无线网络分布式自主资源分配方法 |
| CN108365900A (zh) * | 2018-02-27 | 2018-08-03 | 华北电力大学（保定） | 超密集异构网系统中基于能耗与配对的用户接入方法 |
| CN108848561A (zh) * | 2018-04-11 | 2018-11-20 | 湖北工业大学 | 一种基于深度强化学习的异构蜂窝网络联合优化方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHANG LIU，YI LU MURPHEY: "Analytical Greedy Control and Q-Learning for Optimal Power Management of Plug-in Hybrid Electric Vehicles", 《2017 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE(SSCI)》 * |
| 宁海芹: "基于机器学习的Femtocell 系统功率控制算法研究及优化", 《中国优秀硕士学位论文库》 * |
| 王倩，聂秀山，耿蕾蕾，尹义龙: "Ｄ２Ｄ通信中基于Ｑ学习的联合资源分配与功率控制算法", 《南京大学学报（自然科学）》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113875294A (zh) * | 2019-06-03 | 2021-12-31 | 诺基亚通信公司 | 使用深度q学习的上行链路功率控制 |
| US11463961B2 (en) | 2019-06-03 | 2022-10-04 | Nokia Solutions And Networks Oy | Uplink power control using deep Q-learning |
| CN113875294B (zh) * | 2019-06-03 | 2023-03-28 | 诺基亚通信公司 | 使用深度q学习的上行链路功率控制 |
| CN111343704A (zh) * | 2020-02-29 | 2020-06-26 | 重庆邮电大学 | 异构蜂窝网络中毫微微基站的联合休眠与功率控制方法 |
| CN111343704B (zh) * | 2020-02-29 | 2022-03-22 | 重庆邮电大学 | 异构蜂窝网络中毫微微基站的联合休眠与功率控制方法 |
| CN112788765A (zh) * | 2020-12-30 | 2021-05-11 | 北京邮电大学 | 用户设备能效的功率优化方法、通信方法及装置 |
| CN112788765B (zh) * | 2020-12-30 | 2022-09-09 | 北京邮电大学 | 用户设备能效的功率优化方法、通信方法及装置 |
| CN113038583A (zh) * | 2021-03-11 | 2021-06-25 | 南京南瑞信息通信科技有限公司 | 适用于超密集网络的小区间下行链路干扰控制方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109714786B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109714786A (zh) | 基于Q-learning的毫微微小区功率控制方法 | |
| CN110213826A (zh) | 一种非理想信道下异构携能通信网络鲁棒资源分配方法 | |
| CN103856947B (zh) | 一种联合信道选择和功率控制的干扰协调方法 | |
| CN103856996B (zh) | 一种联合功率控制和接入控制方法 | |
| CN105392161B (zh) | 协作异构网络中的用户接入与功率控制联合优化方法 | |
| CN102573033A (zh) | 基于博弈论的多Femtocell下行功率干扰控制方法 | |
| CN104301985B (zh) | 一种移动通信中电网与认知基站间能源分配方法 | |
| Wang et al. | Dense femtocell networks power self‐optimization: an exact potential game approach | |
| CN104519559B (zh) | 基站节能的方法和系统 | |
| CN104168653B (zh) | 一种基于干扰管理的宏基站与家庭基站联合资源分配方法 | |
| CN107135538A (zh) | 基于斯坦科尔伯格博弈的d2d功率控制及干扰管理方法 | |
| CN108282822A (zh) | 用户关联与功率控制在异构蜂窝网络中的协同优化算法 | |
| Huang et al. | Power control in two-tier OFDMA femtocell networks with particle swarm optimization | |
| Han et al. | Power allocation for device-to-device underlay communication with femtocell using stackelberg game | |
| CN105764068B (zh) | 一种基于禁忌搜索的小基站容量与覆盖优化方法 | |
| CN105703870A (zh) | 密集异构网络中基于CoMP的动态小区间干扰协调方法 | |
| CN107454601A (zh) | 一种超密集环境下考虑小区间干扰的无线虚拟映射方法 | |
| CN104853425A (zh) | 一种用于异构网络上行链路的功率控制方法 | |
| CN108260132B (zh) | 密集异构蜂窝网络的部署方法 | |
| Lu et al. | Power control based time-domain inter-cell interference coordination scheme in DSCNs | |
| Yang et al. | Green heterogeneous networks: a cognitive radio idea | |
| Guo et al. | Joint design of access and backhaul in densely deployed mmWave small cells | |
| CN104519505A (zh) | 对上行容量和覆盖进行优化的方法和基站 | |
| CN108260199A (zh) | 异构蜂窝网络基站中功率控制方法 | |
| CN114666881A (zh) | 一种基于社交感知d2d网络的功率控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240603 Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee after: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240604 Address after: 200333, Room 201-77, 2nd Floor, Building 2, No. 2691 Zhenbei Road, Putuo District, Shanghai Patentee after: Shanghai Ruiying Information Technology Co.,Ltd. Country or region after: China Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee before: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |