CN112351449B - 一种Massive MIMO单小区权值优化方法 - Google Patents

一种Massive MIMO单小区权值优化方法 Download PDF

Info

Publication number
CN112351449B
CN112351449B CN202110021063.5A CN202110021063A CN112351449B CN 112351449 B CN112351449 B CN 112351449B CN 202110021063 A CN202110021063 A CN 202110021063A CN 112351449 B CN112351449 B CN 112351449B
Authority
CN
China
Prior art keywords
cell
weight
action
optimization
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110021063.5A
Other languages
English (en)
Other versions
CN112351449A (zh
Inventor
徐慧
杜利涛
朱格苗
霍永章
陈大龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Howso Technology Co ltd
Original Assignee
Nanjing Howso Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Howso Technology Co ltd filed Critical Nanjing Howso Technology Co ltd
Priority to CN202110021063.5A priority Critical patent/CN112351449B/zh
Publication of CN112351449A publication Critical patent/CN112351449A/zh
Application granted granted Critical
Publication of CN112351449B publication Critical patent/CN112351449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种Massive MIMO单小区权值优化方法，包括步骤：S1获取数据；S2确认待优化小区：根据运营商的KPI数据及业务需求确认待优化的小区；S3强化学习输出调整权值：结合小区的KPI数据的指标和用户的采样点位置分布，给出候选权值动作组合，选择波束权值方案对候选权值进行强化学习并调整，输出调整权值；S4现网执行：将步骤S3中选择的波束权值方案在现网中执行，并收集反馈后的数据；S5判断是否继续优化：根据收集的反馈数据，判断是否完成优化，若完成优化，则结束该小区的优化过程；若未完成，则返回步骤S3，并循环步骤S3~S5，直至完成优化，并将小区的Q‑table保存。

Description

一种Massive MIMO单小区权值优化方法
技术领域
本发明涉及无线通信网络技术领域，尤其是涉及一种Massive MIMO单小区权值优化方法。
背景技术
随着5G 毫米波的引入，为了解决受限于毫米波传输距离的限制，提出了采用Massive MIMO的天线技术，用以弥补5G传输距离受限的问题。2019年5G建设元年，大量Massive MIMO入网，解决传输距离受限之外，其支持超高接入速率的优势愈发明显，运营商开始在4G网络采用支持超高接入速率的Massive MIMO，以缓解热点区域以及日益增长的流量需求。
随着5G建设进度推进，大量采用Massive MIMO的5G基站逐步入网，同时4GMassive MIMO基站也快速增加，导致3/4/5G无线环境更加复杂，给RF（Radio Frequency）优化带来巨大挑战。
传统RF调整以工程师的人工经验为主导，无法定量分析确定最优调整方案，存在着重复调整效率低，区域影响考虑不足全面性差，分析数据源单一，优化效果难以保证等问题。如何对传统优化中资源投入最大的无线天馈优化这部分工作进行流程化，标准化，自动化，做到定性分析、定量调整，是目前亟待研究的课题。
Massive MIMO天线具备使用权值控制波束来实现RF天馈权优化，权值主要涉及到具体的波束相位、振幅以及电子下倾角等参数的调整，其参数组合优化的候选空间解达到数百万种，异常复杂，远超出人脑可以计算空间。
因此，有必要开发出一套基于智能算法实现Massive MIMO天线波束权值优化的方法，借助人工智能技术来实现，以达到外场RF天馈优化、提高无线通信系统吞吐量、提高用户感知和降低干扰的目的。
发明内容
本发明要解决的技术问题是，提供一种Massive MIMO单小区权值优化方法，借助人工智能技术来实现，以达到外场RF天馈优化、提高无线通信系统吞吐量、提高用户感知和降低干扰的目的。
为了解决上述技术问题，本发明采用的技术方案是：该Massive MIMO单小区权值优化方法，具体包括以下步骤：
S1获取数据：数据包括运营商的KPI数据和工程参数、MR覆盖率、现网权值配置参数和MR采样点数据；
S2确认待优化小区：根据运营商的KPI数据及业务需求确认待优化的小区；
S3强化学习输出调整权值：结合小区的KPI数据的指标和用户的采样点位置分布，给出候选权值动作组合，选择波束权值方案对候选权值进行强化学习并调整，输出调整权值；
S4现网执行：将步骤S3中选择的波束权值方案在现网中执行，并收集反馈后的数据，获得反馈数据；
S5判断是否继续优化：根据收集的反馈数据，判断是否完成优化，若完成优化，则结束该小区的优化过程；若未完成，则返回步骤S3，并循环步骤S3~S5，直至完成优化，并将小区的Q-table保存。
采用上述技术方案，获取运营商通用数据以后，首先识别出识别待优化小区类型，结合待优化小区现网权值配置、PRB（Physical Resource Block）利用率、用户数、MR（Measurement Report）覆盖率等KPI（Key Performance Indicator）指标，用户相对小区的位置分布，并利用专家经验知识库给出优于目前权值的候选权值集合，然后结合强化学习中的Q-learning方法确定动作用以现网执行，并结合数据反馈结果迭代更新Q-table，多次执行反馈，结合专家经验规则的Q-learning算法最终学习到一个完备的策略并不断地学习更新策略直至当前问题小区的当前问题被解决；该Massive MIMO单小区权值优化方法解决了对传统优化中资源投入最大的无线天馈优化这部分工作进行流程化，标准化，自动化，做到定性分析、定量调整；实现了外场RF天馈优化、提高无线通信系统吞吐量、提高用户感知和降低干扰的目的。其中专家经验知识库包括所有网优专家的经验知识；步骤S2中优化的业务需求主要是覆盖优化及容量优化，涉及的KPI数据有覆盖率，重叠覆盖率，PRB利用率，RRC用户数；当业务需求是覆盖优化时，若小区满足覆盖率小于90%，重叠覆盖率大于8%两者中的任意一个，则认为该小区为待优化小区；当业务需求是容量优化时，若小区满足PRB利用率大于65%、RRC用户数大于200两者中的任意一个，则认为该小区为待优化小区；当业务需求为覆盖优化及容量优化，若小区满足覆盖率小于90%、重叠覆盖率大于8%、PRB利用率大于65%、RRC用户数大于200四者中的任意一个，则认为该小区为待优化小区。
作为本发明的优选技术方案，所述步骤S1中的运营商KPI数据包括PRB利用率、流量数据和用户数，所述PRB利用率指后台网管统计的小区PDSCH的 PRB利用率；所述流量数据是指单位时间内小区的吞吐量；所述用户数指小区某时段连接态用户数；所述工程参数包括小区方位角、站高、下倾角、经度和纬度数据；所述MR是指用户终端上报的测量报告统计信息计算的覆盖率和重叠覆盖率；所述现网权值配置参数是指小区的Massive MIMO天线权值配置参数，包括波束方位角、波束下倾角、波束水平半功率波瓣角和波束垂直半功率波瓣角；所述MR采样点数据指用户终端上报的测量统计数据，包括测量时间、参考信号接收功率RSRP（Reference Signal Receiving Power）、参考信号接收质量RSRQ（ReferenceSignal Receiving Quality）。
作为本发明的优选技术方案，所述步骤S3中强化学习输出调整权值的具体步骤包括：
S31：根据获得的小区的KPI数据的指标和用户的采样点位置分布结合经验规则给出候选权值动作组合；
S311：对待优化小区根据业务场景和目标设定不同的KPI数据的指标进行阈值划分；
S312：针对不同阈值的小区结合数据采用专家经验知识库中不同的经验规则，进行动作选择并给出候选权值动作组合，并筛选对应候选动作集；
S32：强化学习输出最终调整权值，采用强化学习中的Q-Learning算法结合候选动作集对候选权值动作组合做出选择，并输出最终选择的权值动作。
作为本发明的优选技术方案，所述步骤S311对待优化小区根据PRB利用率进行阈值划分；其中，当PRB利用率低于PRB_low时，该小区为低利用率小区； PRB利用率高于PRB_high时，该小区为高利用率小区；当PRB利用率位于[ PRB_low，PRB_high]区间时为利用率适中小区；其中PRB_low，PRB_high为预先根据若干表现优异的小区的PRB利用率分析计算得到的门限上下值。
作为本发明的优选技术方案，所述步骤S312中的经验规则根据不同PRB利用率分 为高利用率小区经验、利用率适中小区经验和低利用率小区经验；所述经验规则具体包括： 用户数多少判断、MR覆盖率高低判断和用户区域相对法线主要分布判断。用户数多少判断 为：当小区当前用户数大于等于
Figure DEST_PATH_IMAGE001
时，则认为用户数多，否则认为用户数少，其中
Figure 429993DEST_PATH_IMAGE002
为预先根据若干统计数据计算得到的用户数下限；
所述MR覆盖率高低判断为：当小区MR覆盖率大于等于
Figure DEST_PATH_IMAGE004
时，则认为MR覆盖率高，否则认为MR覆盖率低，其中
Figure 791835DEST_PATH_IMAGE004
为是预先根据若干统计数据计算得到的用户数下限；
所述用户区域相对法线主要分布判断为：依据指标是MR测量报告中的AOA数据，其表示采样点位于小区法线的相对位置，取值范围为[0,719]或[0,359]，此处以0~719为例说明，表示法线方向逆时针的方向，0.5°为间隔，0°表示法线方向，719表示逆时针359.5°。利用MR采样数据中AOA进行统计，假设总条数m，AOA值在[0.359]内为法线左侧采样点数记为l_count，AOA值在[360.719]内为法线右侧采样点数记为R_count，计算L_per=(l_count/m)*100%、R_per=(R_count/m)*100%，如果L_per-R_per > +30%则认为用户区域相对法线主要分布在“左”，如果L_per-R_per < -30%则认为用户区域相对法线主要分布在“右”，否则认为是用户区域相对法线主要分布在“中”。
作为本发明的优选技术方案，所述步骤S312中筛选候选集的原则包括：
S3121收缩覆盖：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角减小或垂直半功率波瓣角减小或下倾角加大，则方位角不做筛选；
S3122向右调整方位角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需方位角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角，不做筛选；
S3123加大下倾角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需下倾角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3124向左调整方位角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需方位角减小，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3125增大覆盖：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角加大或垂直半功率波瓣角加大或下倾角减小，则方位角不做筛选；
S3126结束：若该小区的数据结果表明无法进行进一步优化，候选集为空。
作为本发明的优选技术方案，所述步骤S32中采用Q-learning算法对候选权值动作组合做出选择具体包括以下步骤：
S321：确认该优化小区的所有动作空间和状态空间；将A记为动作空间，包括所有权值的动作组合，包括方位角，下倾角，水平半功率波瓣角及垂直半功率波瓣角，每一个组合为一个动作a；S记为状态空间，此处以MR弱覆盖率和MR重叠覆盖率为基础，组合多个组合区间，每个组合为一个状态s；此外，根据不同的业务需求状态空间设置为其他指标的组合；
S322：判断该小区是否为第一次优化，若为第一次优化，则初始化Q-table，若不是第一次优化，则直接使用其上一次优化时的Q-table；
S323：根据小区当前MR覆盖率和当前波束权值配置，确认当前小区的state和经验规则筛选后的动作集；
S324：利用Q-learning的ε-greedy策略在经验规则筛选后的动作集中输出最终选择的权值动作；
Figure 614298DEST_PATH_IMAGE005
；
Figure 412489DEST_PATH_IMAGE007
是指给定状态s的情况下，动作a的概率；
Figure DEST_PATH_IMAGE008
为0~1的小数，
Figure 188553DEST_PATH_IMAGE009
是指 在给定状态s下的动作集合A，
Figure DEST_PATH_IMAGE010
是指给定状态s的情况下，也给定了动作a的状态 值函数。
作为本发明的优选技术方案，所述步骤S5中若未完成优化，返回步骤S3时，在进行选择运作之前，应先更新Q-table，再进行新一轮的动作选择，更新Q-table的公式为：
Figure 857432DEST_PATH_IMAGE011
；
其中，
Figure DEST_PATH_IMAGE012
为在
Figure 444271DEST_PATH_IMAGE013
状态执行动作
Figure DEST_PATH_IMAGE014
得到的回报；根据业务目标，不同KPI 数据的指标设定不同的回报函数，从而得到回报值；
Figure DEST_PATH_IMAGE016
为
Figure 214912DEST_PATH_IMAGE017
状态执行动作
Figure DEST_PATH_IMAGE018
的 q_value,来源于Q-table；
Figure DEST_PATH_IMAGE020
为状态
Figure 810979DEST_PATH_IMAGE021
下使的q_value最大的动作a对应的 q_value，来源于Q-table；
Figure DEST_PATH_IMAGE022
为折扣系数，
Figure 114790DEST_PATH_IMAGE023
为学习速率，是常数，折扣系数和学习速率可 预先定义数值。
作为本发明的优选技术方案，所述步骤S4中的反馈数据包括运营商KPI数据、MR覆盖率和MR采样点数据；所述KPI数据包括PRB利用率、流量数据和用户数。
相比现有技术，该技术方案具有的有益效果是：该Massive MIMO单小区权值优化方法解决了对传统优化中资源投入最大的无线天馈优化这部分工作进行流程化，标准化，自动化，做到定性分析、定量调整；实现了外场RF天馈优化、提高无线通信系统吞吐量、提高用户感知和降低干扰的目的。
附图说明
下面结合附图和本发明的实施方式进一步详细说明：
图1为本发明的Massive MIMO单小区权值优化方法的流程图；
图2为本发明的Massive MIMO单小区权值优化方法中的专家知识经验库中的高利用率小区的经验规则示意图；
图3为本发明的Massive MIMO单小区权值优化方法中的专家知识经验库中的利用率适中小区的经验规则示意图；
图4为本发明的Massive MIMO单小区权值优化方法中的专家知识经验库中的低利用率小区的经验规则示意图；
图5为本发明的Massive MIMO单小区权值优化方法中的步骤S32中采用Q-learning算法对候选权值动作组合做出选择的流程图。
具体实施方式
实施例：如图1所示，该Massive MIMO单小区权值优化方法，具体包括以下步骤：
S1获取数据：数据包括运营商的KPI数据和工程参数、MR覆盖率、现网权值配置参数和MR采样点数据；
所述步骤S1中的运营商KPI数据包括PRB利用率、流量数据和用户数，所述PRB利用率指后台网管统计的小区PDSCH的 PRB利用率；所述流量数据是指单位时间内小区的吞吐量；所述用户数指小区某时段连接态用户数；所述工程参数包括小区方位角、站高、下倾角、经度和纬度数据；所述MR是指用户终端上报的测量报告统计信息计算的覆盖率和重叠覆盖率；所述现网权值配置参数是指小区的Massive MIMO天线权值配置参数，包括波束方位角、波束下倾角、波束水平半功率波瓣角和波束垂直半功率波瓣角；所述MR采样点数据指用户终端上报的测量统计数据，包括测量时间、参考信号接收功率RSRP（Reference SignalReceiving Power）、参考信号接收质量RSRQ（Reference Signal Receiving Quality）；
S2确认待优化小区：根据运营商的KPI数据及业务需求确认待优化的小区；
步骤S2中优化的业务需求主要是覆盖优化及容量优化，涉及的KPI数据有覆盖率，重叠覆盖率，PRB利用率，RRC用户数；当业务需求是覆盖优化时，若小区满足覆盖率小于90%，重叠覆盖率大于8%两者中的任意一个，则认为该小区为待优化小区；当业务需求是容量优化时，若小区满足PRB利用率大于65%、RRC用户数大于200两者中的任意一个，则认为该小区为待优化小区；当业务需求为覆盖优化及容量优化，若小区满足覆盖率小于90%、重叠覆盖率大于8%、PRB利用率大于65%、RRC用户数大于200四者中的任意一个，则认为该小区为待优化小区；
S3强化学习输出调整权值：结合小区的KPI数据的指标和用户的采样点位置分布，给出候选权值动作组合，选择波束权值方案对候选权值进行强化学习并调整，输出调整权值；
所述步骤S3中强化学习输出调整权值的具体步骤包括：
S31：根据获得的小区的KPI数据的指标和用户的采样点位置分布结合经验规则给出候选权值动作组合；
S311：对待优化小区根据业务场景和目标设定不同的KPI数据的指标进行阈值划分；
所述步骤S311对待优化小区根据PRB利用率进行阈值划分；其中，当PRB利用率低于PRB_low时，该小区为低利用率小区；PRB利用率高于PRB_high时，该小区为高利用率小区；当PRB利用率位于[ PRB_low，PRB_high]区间时为利用率适中小区；其中PRB_low，PRB_high为预先根据若干表现优异的小区的PRB利用率分析计算得到的门限上下值；
S312：针对不同阈值的小区结合数据采用专家经验知识库中不同的经验规则，进 行动作选择并给出候选权值动作组合，并筛选对应候选动作集；如图2~4所示，所述步骤 S312中的经验规则根据不同PRB利用率分为高利用率小区经验、利用率适中小区经验和低 利用率小区经验；所述经验规则具体包括：用户数多少判断、MR覆盖率高低判断和用户区域 相对法线主要分布判断。用户数多少判断为：当小区当前用户数大于等于
Figure 279055DEST_PATH_IMAGE001
时，则认 为用户数多，否则认为用户数少，其中
Figure 786260DEST_PATH_IMAGE002
为预先根据若干统计数据计算得到的用户数 下限；
所述MR覆盖率高低判断为：当小区MR覆盖率大于等于
Figure 123700DEST_PATH_IMAGE025
时，则认为MR覆盖率高，否则认为MR覆盖率低，其中
Figure 298330DEST_PATH_IMAGE025
为是预先根据若干统计数据计算得到的用户数下限；
所述用户区域相对法线主要分布判断为：依据指标是MR测量报告中的AOA数据，其表示采样点位于小区法线的相对位置，取值范围为[0,719]或[0,359]，此处以0~719为例说明，表示法线方向逆时针的方向，0.5°为间隔，0°表示法线方向，719表示逆时针359.5°；利用MR采样数据中AOA进行统计，假设总条数m，AOA值在[0.359]内为法线左侧采样点数记为l_count，AOA值在[360.719]内为法线右侧采样点数记为R_count，计算L_per=(l_count/m)*100%、R_per=(R_count/m)*100%，如果L_per-R_per > +30%则认为用户区域相对法线主要分布在“左”，如果L_per-R_per < -30%则认为用户区域相对法线主要分布在“右”，否则认为是用户区域相对法线主要分布在“中”；
所述步骤S312中筛选候选集的原则包括：
S3121收缩覆盖：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角减小或垂直半功率波瓣角减小或下倾角加大，则方位角不做筛选；
S3122向右调整方位角：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需方位角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角，不做筛选；
S3123加大下倾角：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需下倾角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3124向左调整方位角：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需方位角减小，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3125增大覆盖：对应在当前动作action基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角加大或垂直半功率波瓣角加大或下倾角减小，则方位角不做筛选；
S3126结束：若该小区的数据结果表明无法进行进一步优化，候选集为空；
S32：强化学习输出最终调整权值，采用强化学习中的Q-Learning算法结合候选动作集对候选权值动作组合做出选择，并输出最终选择的权值动作。
如图5所示，所述步骤S32中采用Q-learning算法对候选权值动作组合做出选择具体包括以下步骤：
S321：确认该优化小区的所有动作空间和状态空间；将A记为动作空间，包括所有权值的动作组合，包括方位角，下倾角，水平半功率波瓣角及垂直半功率波瓣角，每一个组合为一个动作a；S记为状态空间，此处以MR弱覆盖率和MR重叠覆盖率为基础，组合多个组合区间，每个组合为一个状态s；此外，根据不同的业务需求状态空间设置为其他指标的组合；
S322：判断该小区是否为第一次优化，若为第一次优化，则初始化Q-table，若不是第一次优化，则直接使用其上一次优化时的Q-table；此处Q-table的形式如下表1所示：
表1 Q-table示意图
Figure 367917DEST_PATH_IMAGE026
如上表1所示，S状态空间为
Figure 378729DEST_PATH_IMAGE027
，A动作空间为
Figure DEST_PATH_IMAGE028
，
Figure 988702DEST_PATH_IMAGE029
即
Figure 17838DEST_PATH_IMAGE031
为状态
Figure DEST_PATH_IMAGE032
选择动作
Figure 55064DEST_PATH_IMAGE033
的q_value；
S323：根据小区当前MR覆盖率和当前波束权值配置，确认当前小区的state和经验规则筛选后的动作集；
S324：利用Q-learning的ε-greedy策略在经验规则筛选后的动作集中输出最终选择的权值动作；
Figure 57567DEST_PATH_IMAGE005
；
Figure 736810DEST_PATH_IMAGE007
是指给定状态s的情况下，动作a的概率；
Figure DEST_PATH_IMAGE034
为0~1的小数，
Figure DEST_PATH_IMAGE036
是指在给 定状态s下的动作集合A，
Figure 151611DEST_PATH_IMAGE037
是指给定状态s的情况下，也给定了动作a的状态值函数；
S4现网执行：将步骤S3中选择的波束权值方案在现网中执行，并收集反馈后的数据，获得反馈数据；所述步骤S4中的反馈数据包括运营商KPI数据、MR覆盖率和MR采样点数据；所述KPI数据包括PRB利用率、流量数据和用户数；
S5判断是否继续优化：根据收集的反馈数据，判断是否完成优化，若完成优化，则结束该小区的优化过程；若未完成，则返回步骤S3，并循环步骤S3~S5，直至完成优化，并将小区的Q-table保存；
所述步骤S5中若未完成优化，返回步骤S3时，在进行选择运作之前，应先更新Q-table，再进行新一轮的动作选择，更新Q-table的公式为：
Figure DEST_PATH_IMAGE038
；
其中，
Figure 110471DEST_PATH_IMAGE012
为在
Figure 345143DEST_PATH_IMAGE013
状态执行动作
Figure 500181DEST_PATH_IMAGE014
得到的回报；根据业务目标，不同KPI数据 的指标设定不同的回报函数，从而得到回报值；
Figure 503909DEST_PATH_IMAGE016
为
Figure 148517DEST_PATH_IMAGE039
状态执行动作
Figure 808168DEST_PATH_IMAGE018
的q_ value,来源于Q-table；
Figure 812902DEST_PATH_IMAGE020
为状态
Figure 936716DEST_PATH_IMAGE021
下使的q_value最大的动作a对应的 q_value，来源于Q-table；
Figure 955488DEST_PATH_IMAGE022
为折扣系数，
Figure 899173DEST_PATH_IMAGE023
为学习速率，是常数，折扣系数和学习速率可 预先定义数值。
上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种Massive MIMO单小区权值优化方法，其特征在于，具体包括以下步骤：
S1获取数据：数据包括运营商的KPI数据和工程参数、MR覆盖率、现网权值配置参数和MR采样点数据；
S2确认待优化小区：根据运营商的KPI数据及业务需求确认待优化的小区；
S3强化学习输出调整权值：结合小区的KPI数据的指标和用户的采样点位置分布，给出候选权值动作组合，选择波束权值方案对候选权值进行强化学习并调整，输出调整权值；
S4现网执行：将步骤S3中选择的波束权值方案在现网中执行，并收集反馈后的数据，获得反馈数据；
S5判断是否继续优化：根据收集的反馈数据，判断是否完成优化，若完成优化，则结束该小区的优化过程；若未完成，则返回步骤S3，并循环步骤S3～S5，直至完成优化，并将小区的Q-table保存；
所述步骤S2中优化的业务需求包括覆盖优化及容量优化，涉及的KPI数据有覆盖率，重叠覆盖率，PRB利用率，RRC用户数；当业务需求是覆盖优化时，若小区满足覆盖率小于90％，重叠覆盖率大于8％两者中的任意一个，则认为该小区为待优化小区；当业务需求是容量优化时，若小区满足PRB利用率大于65％、RRC用户数大于200两者中的任意一个，则认为该小区为待优化小区；当业务需求为覆盖优化及容量优化，若小区满足覆盖率小于90％、重叠覆盖率大于8％、PRB利用率大于65％、RRC用户数大于200四者中的任意一个，则认为该小区为待优化小区；
所述步骤S3中强化学习输出调整权值的具体步骤包括：
S31：根据获得的小区的KPI数据的指标和用户的采样点位置分布结合经验规则给出候选权值动作组合；
S311：对待优化小区根据业务场景和目标设定不同的KPI数据的指标进行阈值划分；
S312：针对不同阈值的小区结合数据采用专家经验知识库中不同的经验规则，进行动作选择并给出候选权值动作组合，并筛选对应候选动作集；
S32：强化学习输出最终调整权值，采用强化学习中的Q-Learning算法结合候选动作集对候选权值动作组合做出选择，并输出最终选择的权值动作；
所述步骤S311对待优化小区根据PRB利用率进行阈值划分；其中，当PRB利用率低于PRB_low时，该小区为低利用率小区；PRB利用率高于PRB_high时，该小区为高利用率小区；当PRB利用率位于[PRB_low，PRB_high]区间时为利用率适中小区；其中PRB_low，PRB_high为预先根据若干表现优异的小区的PRB利用率分析计算得到的门限上下值；
所述步骤S312中的经验规则根据不同PRB利用率分为高利用率小区经验、利用率适中小区经验和低利用率小区经验；所述经验规则具体包括：用户数多少判断、MR覆盖率高低判断和用户区域相对法线主要分布判断；
所述步骤S312中筛选候选集的原则包括：
S3121收缩覆盖：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角减小或垂直半功率波瓣角减小或下倾角加大，则方位角不做筛选；
S3122向右调整方位角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需方位角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角，不做筛选；
S3123加大下倾角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需下倾角加大，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3124向左调整方位角：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需方位角减小，则水平半功率波瓣角、垂直半功率波瓣角和下倾角不做筛选；
S3125增大覆盖：对应在当前动作基础上，若Massive MIMO天线权值候选波束权值需水平半功率波瓣角加大或垂直半功率波瓣角加大或下倾角减小，则方位角不做筛选；
S3126结束：若该小区的数据结果表明无法进行进一步优化，候选集为空；
所述步骤S32中采用Q-learning算法对候选权值动作组合做出选择具体包括以下步骤：
S321：确认该优化小区的所有动作空间和状态空间；将A记为动作空间，包括所有权值的动作组合，包括方位角，下倾角，水平半功率波瓣角及垂直半功率波瓣角，每一个组合为一个动作a；S记为状态空间，此处以MR弱覆盖率和MR重叠覆盖率为基础，组合多个组合区间，每个组合为一个状态s；此外，根据不同的业务需求状态空间设置为其他指标的组合；
S322：判断该小区是否为第一次优化，若为第一次优化，则初始化Q-table，若不是第一次优化，则直接使用其上一次优化时的Q-table；
S323：根据小区当前MR覆盖率和当前波束权值配置，确认当前小区的state和经验规则筛选后的动作集；
S324：利用Q-learning的ε-greedy策略在经验规则筛选后的动作集中输出最终选择的权值动作；
Figure FDA0002952116300000031
π(a|s)是指给定状态s的情况下，动作a的概率；ε为0～1的小数，A(s)是指在给定状态s下的动作集合A，Q(s，a)是指给定状态s的情况下，也给定了动作a的状态值函数；
所述步骤S5中若未完成优化，返回步骤S3时，在进行选择运作之前，应先更新Q-table，再进行新一轮的动作选择，更新Q-table的公式为：
Figure FDA0002952116300000032
其中，Rt+1为在st状态执行动作at得到的回报；根据业务目标，不同KPI数据的指标设定不同的回报函数，从而得到回报值；Q(st，at)为st状态执行动作at的q_value,来源于Q-table；
Figure FDA0002952116300000033
为状态st+1下使的q_value最大的动作a对应的q_value，来源于Q-table；γ为折扣系数，α为学习速率，是常数，折扣系数和学习速率可预先定义数值。
2.根据权利要求1所述的Massive MIMO单小区权值优化方法，其特征在于，所述步骤S1中的运营商KPI数据包括PRB利用率、流量数据和用户数，所述PRB利用率指后台网管统计的小区PDSCH的PRB利用率；所述流量数据是指单位时间内小区的吞吐量；所述用户数指小区某时段连接态用户数；所述工程参数包括小区方位角、站高、下倾角、经度和纬度数据；所述MR覆盖率是指用户终端上报的测量报告统计信息计算的覆盖率和重叠覆盖率；所述现网权值配置参数是指小区的Massive MIMO天线权值配置参数，包括波束方位角、波束下倾角、波束水平半功率波瓣角和波束垂直半功率波瓣角；所述MR采样点数据指用户终端上报的测量统计数据，包括测量时间、参考信号接收功率RSRP、参考信号接收质量RSRQ。
3.根据权利要求1所述的Massive MIMO单小区权值优化方法，其特征在于，所述步骤S4中的反馈数据包括运营商KPI数据、MR覆盖率和MR采样点数据；所述KPI数据包括PRB利用率、流量数据和用户数。
CN202110021063.5A 2021-01-08 2021-01-08 一种Massive MIMO单小区权值优化方法 Active CN112351449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110021063.5A CN112351449B (zh) 2021-01-08 2021-01-08 一种Massive MIMO单小区权值优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110021063.5A CN112351449B (zh) 2021-01-08 2021-01-08 一种Massive MIMO单小区权值优化方法

Publications (2)

Publication Number Publication Date
CN112351449A CN112351449A (zh) 2021-02-09
CN112351449B true CN112351449B (zh) 2022-03-11

Family

ID=74428187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110021063.5A Active CN112351449B (zh) 2021-01-08 2021-01-08 一种Massive MIMO单小区权值优化方法

Country Status (1)

Country Link
CN (1) CN112351449B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245408B (zh) * 2022-02-24 2022-05-10 南京华苏科技有限公司 一种4g/5g互操作的优化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171150B1 (en) * 2017-06-26 2019-01-01 Sprint Communications Company L.P. Dynamic optimization of beamforming weights
CN111246494B (zh) * 2018-11-28 2022-07-01 中国移动通信集团浙江有限公司 Massive MIMO天线波束优化方法及装置
CN110784880B (zh) * 2019-10-11 2023-03-24 深圳市名通科技股份有限公司 天线权值优化方法、终端及可读存储介质
CN111246497B (zh) * 2020-04-10 2021-03-19 卓望信息技术（北京）有限公司 一种基于强化学习的天线调整方法
CN112040507B (zh) * 2020-11-03 2021-01-26 南京华苏科技有限公司 一种基于终端采样数据aoa的方位角的预测方法

Also Published As

Publication number Publication date
CN112351449A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109379752B (zh) Massive MIMO的优化方法、装置、设备及介质
CN103988526B (zh) 用于在自组织网络(son)中进行波束成形的方法
CN111246497B (zh) 一种基于强化学习的天线调整方法
US11451971B2 (en) Networking method, networking apparatus, network access method, and user equipment for coordinated multiple points transmission/reception
EP3890361B1 (en) Cell longitude and latitude prediction method and device, server, base station, and storage medium
US9345032B2 (en) Method and apparatus for determining network clusters for wireless backhaul networks
US20220256358A1 (en) KPI-Based Tilt Range Selection
KR102655903B1 (ko) 기지국의 에너지를 절약하기 위한 처리 방법 및 처리 장치
CN111082840B (zh) 一种天线广播波束的优化方法和装置
JP2000059292A (ja) 無線網の並列最適化
CN102014412A (zh) 一种基于天线参数调整的无线网络话务均衡优化方法
CN104205666A (zh) 用于无线系统的功率动态联合分配以及用户调度的方法和系统
CN103458434B (zh) 一种确定天馈参数的方法及装置
CN110913401A (zh) 一种基于用户数据的网络同覆盖负荷不均衡优化的方法
CN112351449B (zh) 一种Massive MIMO单小区权值优化方法
CN102723974A (zh) 一种自动调整智能天线广播波束的方法和系统
CN107682863B (zh) 一种电力基站选择和布局方法
CN107113633A (zh) 优化通信网络的处理方法和装置
CN110536338B (zh) 天线参数调整方法及装置
Amine et al. Base station placement optimisation using genetic algorithms approach
CN116347461A (zh) 一种5g网络中天线的调整方法及装置
CN109994832A (zh) 一种天馈调整方法、装置及系统
CN116828518A (zh) 定位上行频段干扰源的方法、装置、电子设备及存储介质
CN104469834A (zh) 一种业务仿真感知评价方法及系统
CN116506863A (zh) 决策优化方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant