CN114630348A - 基站天线参数调整方法、装置、电子设备及存储介质 - Google Patents
基站天线参数调整方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114630348A CN114630348A CN202210022024.1A CN202210022024A CN114630348A CN 114630348 A CN114630348 A CN 114630348A CN 202210022024 A CN202210022024 A CN 202210022024A CN 114630348 A CN114630348 A CN 114630348A
- Authority
- CN
- China
- Prior art keywords
- base station
- antenna
- signal
- state information
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000005283 ground state Effects 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 84
- 230000002787 reinforcement Effects 0.000 claims abstract description 74
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 84
- 238000009826 distribution Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000008901 benefit Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 44
- 239000003795 chemical substances by application Substances 0.000 description 32
- 238000005457 optimization Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 16
- 238000004088 simulation Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000306 component Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- -1 hydrogen Chemical class 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/0413—MIMO systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请实施例提供了一种基站天线参数调整方法、装置、电子设备及存储介质，涉及无线通信领域。该方法包括：根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度；接着，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，其中，天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，基站是目标区域的所有基站中的一个；接着，对待调整的天线参数进行调整，以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度。本申请实施例可自动快速计算出天线参数调整方案。
Description
技术领域
本申请涉及无线通信技术领域，具体而言，本申请涉及一种基站天线参数调整方法、装置、电子设备及存储介质。
背景技术
大规模MIMO(Massive MIMO)技术是第五代移动通信技术5G中提高网络覆盖和系统容量的关键性技术。该系统采用多个天线阵列，通过波束赋形的机制发射多个波束扇区，提高发射电磁波的功率密度，增强了覆盖范围，大幅提升区域频谱效率。在大规模MIMO系统中，基站配置有大量的天线，数目通常有几十、几百甚至几千根，是现有MIMO系统天线数目的数倍、数十倍以上。因此，大规模MIMO系统的权值参数，随着波束扇区数目和动态扫描维度的增加，再加上小区环境复杂度，致使波束扇区天线权值和无线参数的组合数量极大增加，导致大规模MIMO系统的优化调整变得异常复杂。
已有的针对大规模MIMO天线系统的优化方案有以下几种：(1)通过人工调整的方式对大规模MIMO天线系统优化调整；(2)基于迭代方式进行大规模MIMO系统优化调整；(3)基于机器学习方式进行单一基站的大规模MIMO系统优化调整。虽然上述这些方案能够在一定程度上实施大规模MIMO系统优化调整，但是，对于快速发展的5G通信技术而言，移动通信基站的建设更新速度很快，已有的方案已远远不能满足实际应用的需求。
发明内容
本申请实施例提供了一种基站天线参数调整方法、装置、电子设备及存储介质，可以解决大规模MIMO天线系统的优化问题。技术方案如下：
根据本申请实施例的一个方面，提供了一种基站天线参数调整方法，应用于基站，该方法包括：
根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度；
若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，其中，天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，基站是目标区域的所有基站中的任一个；
对待调整的天线参数进行调整，以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度。
在一种可能的实现方式中，基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，进行强化学习训练得到天线参数调整模型，包括：
构建目标区域的信号仿真器，以用于模拟目标区域的信号传播路径和目标区域的用户设备接收到的信号强度与信噪比；
基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型。
在一种可能的实现方式中，在基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型，之后，还包括：
基于目标区域实际存在的信号传播路径和目标区域的用户设备实际接收到的信号强度与信噪比，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过再次对天线参数调整模型进行强化学习训练，来修正天线参数调整模型。
在一种可能的实现方式中，构建目标区域的信号仿真器，包括：
步骤1，将目标区域的每个基站的基本信息、目标区域的用户设备分布信息作为输入参数输入至初始信号仿真器；
步骤2，通过初始信号仿真器，针对目标区域的每个基站，根据每个基站的覆盖区域的地形信息、每个基站的覆盖区域的用户设备分布信息，将每个基站的覆盖区域划分为多个栅格；
步骤3，通过初始信号仿真器，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比；
步骤4，通过将每个栅格接收到的信号强度与预先获取的每个栅格的历史接收信号强度进行比较、以及通过将每个栅格的信噪比与预先获取的每个栅格的历史信噪比进行比较，调整初始信号仿真器的相关参数；
重复执行上述步骤1至步骤4的操作，直到初始信号仿真器满足预设条件，并将满足预设条件的初始信号仿真器确定为目标区域的信号仿真器。
在一种可能的实现方式中，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比，包括：
根据预定信号强度衰减公式，通过计算每个栅格从每个基站的每根天线经过每条信号传播路径接收到的信号强度，最终得到每个栅格从每个基站接收到的信号强度；
根据每个栅格从每个基站预先分配给每个栅格的天线接收到的信号强度，和每个栅格从每个基站未预先分配给每个栅格的天线接收到的信号强度，确定每个栅格的信噪比。
在一种可能的实现方式中，基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型，包括：
将目标区域的地面状态信息确定为全局状态信息，并根据目标区域的地理信息和历史信号记录初始化全局状态信息，得到初始化后的全局状态信息，其中，全局状态信息包括目标区域的每个基站的本地状态信息，每个基站的本地状态信息为每个基站的覆盖区域的地面状态信息；
针对每个基站，根据每个基站的本地状态信息，通过每个基站的期望价值表和预定算法，确定每个基站的每根天线可采取的天线参数调整动作，其中，每个基站的期望价值表是根据每个基站在每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的；
通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型。
在一种可能的实现方式中，通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型，包括：
信号仿真器根据初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息；
根据全局状态信息、新的全局状态信和各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至期望价值表满足预设条件，并最终得到天线参数调整模型。
根据本申请实施例的另一个方面，提供了一种基站天线参数调整装置，该装置包括：
第一确定模块，用于根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度；
第二确定模块，用于当覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，其中，天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，基站是目标区域的所有基站中的任一个；
调整模块，用于对待调整的天线参数进行调整，以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度。
在一种可能的实现方式中，该装置还包括构建模块，构建模块用于基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，进行强化学习训练得到天线参数调整模型；其中，该构建模块具体用于：
构建目标区域的信号仿真器，以用于模拟目标区域的信号传播路径和目标区域的用户设备接收到的信号强度与信噪比；
基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型。
在一种可能的实现方式中，构建模块还用于：
基于目标区域实际存在的信号传播路径和目标区域的用户设备实际接收到的信号强度与信噪比，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过再次对天线参数调整模型进行强化学习训练，来修正天线参数调整模型。
在一种可能的实现方式中，构建模块在构建目标区域的信号仿真器时，用于：
步骤1，将目标区域的每个基站的基本信息、目标区域的用户设备分布信息作为输入参数输入至初始信号仿真器；
步骤2，通过初始信号仿真器，针对目标区域的每个基站，根据每个基站的覆盖区域的地形信息、每个基站的覆盖区域的用户设备分布信息，将每个基站的覆盖区域划分为多个栅格；
步骤3，通过初始信号仿真器，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比；
步骤4，通过将每个栅格接收到的信号强度与预先获取的每个栅格的历史接收信号强度进行比较、以及通过将每个栅格的信噪比与预先获取的每个栅格的历史信噪比进行比较，调整初始信号仿真器的相关参数；
重复执行上述步骤1至步骤4的操作，直到初始信号仿真器满足预设条件，并将满足预设条件的初始信号仿真器确定为目标区域的信号仿真器。
在一种可能的实现方式中，构建模块在针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比时，用于：
根据预定信号强度衰减公式，通过计算每个栅格从每个基站的每根天线经过每条信号传播路径接收到的信号强度，最终得到每个栅格从每个基站接收到的信号强度；
根据每个栅格从每个基站预先分配给每个栅格的天线接收到的信号强度，和每个栅格从每个基站未预先分配给每个栅格的天线接收到的信号强度，确定每个栅格的信噪比。
在一种可能的实现方式中，构建模块在基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型时，用于：
将目标区域的地面状态信息确定为全局状态信息，并根据目标区域的地理信息和历史信号记录初始化全局状态信息，得到初始化后的全局状态信息，其中，全局状态信息包括目标区域的每个基站的本地状态信息，每个基站的本地状态信息为每个基站的覆盖区域的地面状态信息；
针对每个基站，根据每个基站的本地状态信息，通过每个基站的期望价值表和预定算法，确定每个基站的每根天线可采取的天线参数调整动作，其中，每个基站的期望价值表是根据每个基站在每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的；
通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型。
在一种可能的实现方式中，构建模块在通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型时，具体用于：
信号仿真器根据初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息；
根据全局状态信息、新的全局状态信和各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至期望价值表满足预设条件，并最终得到天线参数调整模型。
根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述的基站天线参数调整方法的步骤。
根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，计算机程序被处理器执行时实现上述的基站天线参数调整方法的步骤。
根据本申请实施例的一个方面，提供了一种计算机程序产品，计算机程序被处理器执行时实现上述的基站天线参数调整方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：首先，根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度，从而为后续调整基站的天线参数提供必要支撑或依据。接着，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，该天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的；由于一个目标区域中通常会包含有若干个基站，若将目标区域的每个基站定义为一个智能体，则该天线参数调整模型相当于是通过多智能体的强化学习自动训练得到的，从而无需人工能与，仅消耗计算资源即可做到有效调整天线参数，进而提高信号水平；另外，天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，即该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。最后，对待调整的天线参数进行调整，可以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度，从而为基站的覆盖区域内的用户设备提供良好的信号质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的基站天线参数调整方法的流程示意图；
图2为本申请实施例提供的模拟环境下训练天线参数调整模型的示意图；
图3为本申请实施例提供的真实环境下训练天线参数调整模型的示意图；
图4为本申请实施例提供的真实基站部署天线参数调整模型后的运作流程示意图；
图5为本申请实施例提供的基站天线参数调整的总体过程示意图；
图6为本申请实施例提供的一种网络容量预测装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“A”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
先对本申请涉及的几个名词进行介绍和解释：
小区：是一个逻辑概念，也称蜂窝小区，是指在蜂窝移动通信系统中，其中的一个基站或基站的一部分(扇形天线)所覆盖的区域，这个区域的覆盖范围有可能大，也有可能小，在这个区域内移动台可以通过无线信道可靠地与基站进行通信。
相对于4G技术，5G通讯所使用的频率波段大幅提高带来的信号波长降低导致了信号的功率衰减程度提高，传播距离下降，因此需要提高5G基站的部署密度来弥补信号传播距离的损失。而基站密度的增加也导致了相邻基站之间天线波束扇区覆盖范围的冲突可能性增加，从而造成用户设备所收到信号的信噪比下降，影响通讯质量。单个基站的信息采集范围有限，如果需要解决波束扇区冲突问题，需要获知相邻基站的周边环境信息与天线权值参数。但是由此带来的信息传输效率问题与如何调整参数以避免冲突则难以处理。
已有的针对大规模MIMO天线系统的优化方案有以下几种：
第一种，通过人工调整的方式对大规模MIMO天线系统优化调整：
通过基站的大规模MIMO系统收集统计得到用户设备(UE，User Equipment)分布数据、信号接收强度数据RSRP(Reference Signal Receiving Power)和信噪比数据SINR(Signal to Interference plus Noise Ratio)等，再使用测试仪表进行实地测试，发现覆盖、干扰较差的区域，然后通过专家经验和人工调整的方式修改天线参数，实现对大规模MIMO系统的优化调整。
第二种，基于迭代方式进行大规模MIMO系统优化调整：
通过对大规模MIMO系统中天线的各项参数进行遍历，测试分析采集到的网络数据信息，以周边地区网络性能最大化为目标，对采集到的样本数据与天线参数的不同组合进行迭代寻优，最终得到大规模MIMO系统的最佳参数组合，实现优化目标。
第三种，基于机器学习方式进行单一基站的大规模MIMO系统优化调整：
卷积神经网络与强化学习这两种算法属于机器学习的范畴。首先经过卷积神经网络提取基站周边环境关键特征，作为决策的基础，某些方法中会省略这一步直接使用环境信息。然后通过强化学习进行多次的与环境交互训练基站选择参数的策略，以此达成自动优化调节天线参数的目的。
虽然上述这些方案能够在一定程度上实施大规模MIMO系统优化调整，但是，对于快速发展的5G通信技术而言，移动通信基站的建设更新速度很快，已有的方案已远远不能满足实际应用的需求。具体为：
对于第一种，通过人工调整的方式对大规模MIMO天线系统优化调整的方法，由于大规模MIMO系统中天线参数的组合数极多，基于人工调整的方案不但严重依赖操作人员的经验，而且需要后台数据分析和实地测试，每次优化评估均要耗费大量人力成本。特别是在大规模MIMO系统规模入网后，需要优化调整的参数数量巨大，人工调整方式显然已无法满足应用需求，效率极低。
对于第二种，基于迭代方式进行大规模MIMO系统优化调整，处理时需要对所有天线参数进行逐个遍历，采集得到的海量样本数据需要存储和计算，对存储器和计算能力均有很高要求；通过采集到的历史样本数据，再迭代得到最优的权值参数组合是基于旧的优化策略得到的结果，一旦网络环境发生变化，需要采集新的数据才能迭代更新优化策略；并且，由于每个基站的周边环境不同，往往需要逐个迭代进行优化配置，即使应用基于有效样本得出的预测模型进行参数组合配置，仍存在误差，仍需要返回现网继续测试和评估，后期还需要进行多次参数修正，整个过程耗时耗力。
对于第三种，基于机器学习方式进行单一基站的大规模MIMO系统优化调整，训练期间需要多次调整基站天线，在实际工作环境中无法随意对基站进行调整，可能会造成当前服务信号过差。且目前已有的优化方式绝大部分是针对单一基站进行参数调节，而5G信号频率相比4G的大幅提升使得5G基站数量将远大于4G基站数量，因此不同基站之间的信号相互影响不可忽略。单一基站的参数选择策略无法直接应用到多基站系统中，基站之间无法做到协同调节；另外按照单基站的优化算法，多基站的参数数量将会直线增加，相应的计算资源需求大幅增加。
为解决当前技术中存在的上述问题，本申请提出一种基站天线参数调整方案，首先，根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度，从而为后续调整基站的天线参数提供必要支撑或依据。接着，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，该天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的；由于一个目标区域中通常会包含有若干个基站，若将目标区域的每个基站定义为一个智能体，则该天线参数调整模型相当于是通过多智能体的强化学习自动训练得到的，从而无需人工能与，仅消耗计算资源即可做到有效调整天线参数，进而提高信号水平；另外，天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，即该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。最后，对待调整的天线参数进行调整，可以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度，从而为基站的覆盖区域内的用户设备提供良好的信号质量。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1为本申请实施例提供的基站天线参数调整方法的流程示意图，该方法应用于基站，如图1所示，该方法包括：步骤S110，根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度；步骤S120，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，该天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，基站是目标区域的所有基站中的任一个；步骤S130，对待调整的天线参数进行调整，以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度。
本申请实施例中的目标区域是根据实际需要预先划定一片区域，该一片区域中建立有若干个基站(或记作多个基站)，例如2个、5个、10个等等，每个基站有自己的覆盖区域。该目标区域可以是一个乡镇、一个城市的一个城区、一个城市的2个或3个城区等等，本申请实施例不对其作限制。
目标区域中的每个基站对应的基站服务器中均有一个天线参数调整模型，用于调整该每个基站的天线参数。假如目标区域有5个基站，分别记作NB1、NB2、NB3、NB4和NB5，则NB1、NB2、NB3、NB4和NB5各自对应的基站服务器中均有一个天线参数调整模型。其中，该天线参数调整模型是预先根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，即该天线参数调整模型对该目标区域的所有基站(例如NB1、NB2、NB3、NB4和NB5)是通用的。由于该天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，所以该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。
需要说明的是，目标区域的地面状态信息包括但不限于目标区域的所有的地形地貌(比如楼房、街道、水面、山川、河流等)、用户设备分布情况等等。所有基站各自对应的覆盖区域的地面状态信息包括但不限于所有基站各自对应的覆盖区域的地形地貌或地面环境状态(比如楼房、街道、水面、山川、河流等)、该覆盖区域的用户设备分布情况等等。
通常，基站可以根据该基站的覆盖区域的用户设备发送的无线测量报告，确定其覆盖区域的信号强度，其中，该基站是上述目标区域的所有基站(比如若干个)中的任一个，例如上述目标区域的所有基站为5个(分别记作NB1、NB2、NB3、NB4和NB5)，即上述若干个基站为5个(分别记作NB1、NB2、NB3、NB4和NB5)，则该基站可以是该5个基站中的任一个，例如该基站是NB2；其中，该基站(例如NB2)的覆盖区域属于上述目标区域的一部分，即目标区域包括该基站的覆盖区域。
在一个示例中，假如该基站是目标区域的所有基站(分别记作NB1、NB2、NB3、NB4和NB5)中的基站NB2，基站NB2在确定出其覆盖区域的信号强度(记作S1)后，可以通过将信号强度S1与目标信号强度(记作S_t)进行比较，来确定是否需要调整基站NB2的天线参数，若信号强度S1小于目标信号强度S_t，则说明需要调整基站NB2的天线参数，此时，可以根据基站NB2的基站服务器中的天线参数调整模型和基站NB2的覆盖区域的地面状态信息，确定待调整的天线参数。在确定出待调整的天线参数后，对该待调整的天线参数进行调整，得到调整后的天线参数，以使得基站NB2调整天线参数后的覆盖区域的信号强度不小于目标信号强度。
需要说明的是，上述基站天线参数调整的方法可以应用于目标区域的所有基站中的任一个，即目标区域的所有基站中的每一个基站均可以采用上述方法进行基站天线参数调整，其天线参数调整的过程与上述基站NB2的天线参数调整过程相同，在此不再赘述。当目标区域的所有基站中的两个或两个以上的基站同时采用上述基站天线参数调整方法进行基站天线参数调整时，相当于，目标区域的所有基站中的多个基站采用上述基站天线参数调整方法进行各自的基站天线参数调整，即上述基站天线参数调整方法应用于目标区域的所有基站中的多个基站。
本申请实施例提供的方法，首先，根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度，从而为后续调整基站的天线参数提供必要支撑或依据。接着，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，该天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的；由于一个目标区域中通常会包含有若干个基站，若将目标区域的每个基站定义为一个智能体，则该天线参数调整模型相当于是通过多智能体的强化学习自动训练得到的，从而无需人工能与，仅消耗计算资源即可做到有效调整天线参数，进而提高信号水平；另外，天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，即该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。最后，对待调整的天线参数进行调整，可以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度，从而为基站的覆盖区域内的用户设备提供良好的信号质量。
在本申请实施例的一种可能的实现方式中，基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，进行强化学习训练得到天线参数调整模型的过程，可以包括如下处理：
首先，构建目标区域的信号仿真器，以用于模拟目标区域的信号传播路径和目标区域的用户设备接收到的信号强度与信噪比；其次，基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型。
构建目标区域的信号仿真器可以提供一个该目标区域的模拟环境，换言之，构建信号仿真器是为了提供一个以低消耗、低影响的方式获得天线参数调整动作反馈的虚拟环境。通过信号仿真器可以建立一个可交互的模拟环境，从而为之后的强化学习训练提供一个相较调整真实基站的代价小且快速的动作反馈。
本申请实施例通过构建信号仿真器，可以模拟真实环境中信号的传播路径与用户设备接收到的信号强度，通过仿真器的模拟环境代替真实环境，可以避免强化学习训练前期的大量参数尝试对实际基站信号产生影响，降低机器学习的代价。
本申请实施例通过使用信号仿真器作为模拟环境，来训练天线参数调整模型，充分利用了模拟环境的交互快速、无额外影响、消耗少的优势。信号仿真器本身尽可能精确的展示了在不同地点、不同基站位置、不同基站参数设置、不同用户设备分布的情况下整体目标区域接收的信号强度与信噪比。与直接调整实际基站并记录信号反馈相比，使用信号仿真器有以下几点优势：(1)无需调整真实基站，不仅可以防止天线等硬件的损耗，而且可以避免错误参数对基站所在地区信号产生的恶劣影响；(2)可以快速重复反馈信号优化结果，除算力外无需其他资源；(3)可以自由的组合环境、基站、用户的信息等，不受真实环境的硬性要求制约，还可以提高天线参数调整模型对多种不同情况的适应性。
在一种可能的实现方式中，在构建目标区域的信号仿真器的过程中，可以执行如下处理步骤：
步骤1，将目标区域的每个基站的基本信息、目标区域的用户设备分布信息作为输入参数输入至初始信号仿真器；
步骤2，通过初始信号仿真器，针对目标区域的每个基站，根据每个基站的覆盖区域的地形信息、每个基站的覆盖区域的用户设备分布信息，将每个基站的覆盖区域划分为多个栅格；
步骤3，通过初始信号仿真器，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比；
步骤4，通过将每个栅格接收到的信号强度与预先获取的每个栅格的历史接收信号强度进行比较、以及通过将每个栅格的信噪比与预先获取的每个栅格的历史信噪比进行比较，调整初始信号仿真器的相关参数；
重复执行上述步骤1至步骤4的操作，直到初始信号仿真器满足预设条件，并将满足预设条件的初始信号仿真器确定为目标区域的信号仿真器。
在一种可能的实现方式中，在针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比的过程中，可以采用如下处理：
首先，根据预定信号强度衰减公式，通过计算每个栅格从每个基站的每根天线经过每条信号传播路径接收到的信号强度，最终得到每个栅格从每个基站接收到的信号强度；接着，根据每个栅格从每个基站预先分配给每个栅格的天线接收到的信号强度，和每个栅格从每个基站未预先分配给每个栅格的天线接收到的信号强度，确定每个栅格的信噪比。
下面通过具体示例对上述描述的构建目标区域的信号仿真器的过程进行详细介绍，具体包括：
步骤S0101：确定初始信号仿真器的输入参数与输出结果。其中，输入参数需要能够决定信号分布结果。输入参数包括目标区域的每个基站的基本信息和目标区域的用户设备分布信息；目标区域的每个基站的基本信息包括但不限于每个基站的地理位置信息(比如经纬度)、天线高度h、天线水平转动角θ、天线下倾角φ等基本信息；目标区域的用户设备分布信息包括用户设备分布位置(比如经纬度)等。输出结果是目标区域的各个小区的各栅格各自接收到的信号强度与信噪比，以及根据弱信号阈值计算出的整体信号评分，该弱信号阈值是根据通讯要求设定的。
步骤S0102：初始信号仿真器对于输入的每个基站(例如基站NB1)，根据该每个基站的位置，从地表信息文件中读取该基站周边地面环境状态(例如楼房、街道、水面等)，即获取该每个基站的覆盖区域的地形信息，再结合用户设备分布(即每个基站的覆盖区域的用户设备分布信息)，将周边环境(即该每个基站的覆盖区域)划分为多个小区栅格。相当于，通过初始信号仿真器，针对目标区域的每个基站，根据每个基站的覆盖区域的地形信息、每个基站的覆盖区域的用户设备分布信息，将每个基站的覆盖区域划分为多个栅格(也可以记作小区栅格)。
在一个示例中，对于目标基站群所在区域获取历史信号数据，主要来源是无线网络用户和无线网络设备本身上报的无线测量报告MR(Measurement Report)，其中包括了用户设备所在经纬度grid_lon、grid_lat与用户设备数量grid_mr_5g。然后，再通过地形图信息软件获取对应经纬度的地表高度(例如地表、楼房高度等)grid_height与地形类型(例如平地、建筑、路面、水面等)grid_type。对于存在用户设备的区域，可以以20米×20米x2米或30米×30米x3米等等的规格建立立体栅格，栅格中心三维坐标用于标记栅格位置，栅格内用户设备数量表示该栅格所占权重大小，栅格对应的地形类型用于后续的信号强度计算。
步骤S0103：选择一种信号传播的路径计算方法，比如射线追踪法。然后根据基站(例如基站NB1)的位置与环境信息，搜寻该基站到某一小区栅格的所有可传播路径，包括直线传播、反射、穿透等。需要说明的是，此处的基站是基站群(即目标区域的所有基站)中的若干基站中任一个，上述某一小区是将该基站的覆盖区域划分包括的多个栅格中的任一个。
在一个示例中，以栅格类别(如上述栅格对应的地形类型)为基准，将地面，建筑边缘看作反射面。以基站三维坐标位置为发射点，目标栅格中心为目标点，做直线连接；目标点对于每一个反射面做一个镜像点，直线连接发射点与目标点，需要经过反射面；对镜像点再次重复镜像过程，直到找到所有可行的路线；这些直线代表了一个基站(例如基站NB1)到某一小区的所有可行的信号传播路径。
步骤S0104：根据一条路径的初始方向与一根天线的参数，计算该一根天线在该初始方向的信号传播功率。其中，上述的一条路径是所有可行路径中的任一条，上述的一根天线是基站的若干根天线中的任一条。然后，根据信号传播路径类型与长度，结合信号强度衰减公式，计算从该路径到达目的地栅格的接收信号功率。在一个示例中，假设原始信号功率为P，该信号在经过一次反射后的功率为P'＝αP，其中α是反射效率，可以根据实际需要设定为相应的取值，例如设定为0.7。对于在空气中直线传播的信号，接收功率为P'＝Pβ-v，其中β是路径长度，该路径长度需大于1米，若该路径长度小于1米则将接收功率视为等于原始信号功率，v是衰减系数，在空气中可设定为1.1，当然也可以根据需要将v设定为其他数值，本申请实施例不对其作限制。需要说明的是，此处的各个参数的参数大小(即参数的取值)可根据实际环境与模拟效果调整。
步骤S0105：对于每条路径重复执行步骤S0104，直到得到从该天线到达目标栅格的所有路径传输功率，并根据得到的所有路径传输功率计算综合接收功率。其中，综合接收功率为所有路径传输功率的综合，比如，综合接收功率为所有路径传输功率的和，又比如，综合接收功率为所有路径传输功率的平均值。
步骤S0106：对于每根天线重复执行步骤S0104至步骤S0105，直到得到该栅格接收到的该基站的各个天线的天线信号接收功率强度。
步骤S0107：对于每个基站重复执行步骤S0103至步骤S0106，直到得到该栅格接收到的所有基站的天线信号接收功率强度。
步骤S0108：根据用户设备分布情况，分配一根或几根天线负责该栅格的信号传播，计算该栅格接收到的累计信号接收功率。同时，根据接收到的其他天线或基站的信号接收功率，计算该栅格的信噪比。在一个示例中，设定计算得到的栅格g从基站l接收到的信号强度为Pl,g，L为分配给栅格g的基站集合，则接收到的信号强度RSRPg可以为：
信噪比SINRLg可以为：
其中，N0是热噪音，B是系统带宽。
步骤S0109：对于每个栅格重复执行步骤S0103至步骤S0108，得到该目标区域的所有栅格各自接收到的信号强度与信噪比。
需要说明的是，上述步骤S0103至步骤S0109的处理，相当于通过初始信号仿真器，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比。
步骤S0110：与真实历史数据对比，根据差异修正传播公式中的衰减系数、天线分配方式等参数。
步骤S0110的处理相当于，通过将每个栅格接收到的信号强度与预先获取的每个栅格的历史接收信号强度进行比较、以及通过将每个栅格的信噪比与预先获取的每个栅格的历史信噪比进行比较，调整初始信号仿真器的相关参数，该相关参数可以是衰减系数、天线分配方式等参数。
S0111：重复执行步骤S0101至步骤S0110，直到初始信号仿真器输出结果与真实历史数据差距小于设定阈值(即初始信号仿真器满足预设条件)，此时，可以将满足预设条件的该初始信号仿真器确定为目标区域的信号仿真器，即完成信号仿真器的构建。
在一种可能的实现方式中，在基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型的过程中，可以执行如下处理：
首先，将目标区域的地面状态信息确定为全局状态信息，并根据目标区域的地理信息和历史信号记录初始化全局状态信息，得到初始化后的全局状态信息，其中，全局状态信息包括目标区域的每个基站的本地状态信息，每个基站的本地状态信息为每个基站的覆盖区域的地面状态信息；
其次，针对每个基站，根据每个基站的本地状态信息，通过每个基站的期望价值表和预定算法，确定每个基站的每根天线可采取的天线参数调整动作，其中，每个基站的期望价值表是根据每个基站在每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的；
最后，通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型。
在通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型的过程中，可以执行如下处理：
首先，信号仿真器根据初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息；
其次，根据全局状态信息、新的全局状态信和各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至期望价值表满足预设条件，并最终得到天线参数调整模型。
下面通过具体示例对上述描述的基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型的过程进行详细介绍。
该过程的主要目的是通过多智能体强化学习在模拟环境中训练一个天线参数调整模型(下述亦称作基础的天线参数调整模型)，其中，目标区域中的每个基站即为一个智能体，若目标区域中有N个基站，则智能体的数量为N。
需要说明的是，强化学习属于无监督机器学习，包括5个核心组成部分：环境(Environment)、智能体(Agent)、状态(State)、动作(Action)和奖励(Reward)；多智能体强化学习的特点是多个智能体在同一环境下，共同执行动作并且所得奖励会相互影响。强化学习把学习看作试探评价过程，所有智能体各自选择一个动作用于环境，环境接受这些动作后状态发生变化，同时产生一个或数个强化信号(即奖励值)反馈给各个智能体，各个智能体根据强化信号和环境当前状态，选择各自的下一个动作，其中，选择的原则是使得到的正奖励值最大。
图2给出模拟环境下训练天线参数调整模型的结构示意图，该模拟环境下的多智能体强化学习训练主要包括如下处理步骤：
步骤S0201：定义每个基站为一个智能体，目标区域一共有N个基站。第l个基站的本地状态信息ol定义为该基站周边地形地貌、用户设备分布情况，即每个基站的本地状态信息为该每个基站的覆盖区域的地面状态信息。全局状态信息s定义为目标区域所有的地形地貌、用户设备分布情况，即将目标区域的地面状态信息确定为全局状态信息，
基站l天线的动作集Al定义为该基站所属天线在当前状态下所能做的参数调整集合，Al＝{al1,al2,…,alK}，每次训练选取其中一个动作alj∈Al，动作al包括但不限于调整天线水平转动角θlj、天线下倾角
波束(Beamforming)宽度wlj；每次训练选取的全局动作定义为每个基站选取动作的合集
全局动作集A定义为所有可能的动作a的组合，即A＝∪{aj}＝{a1,a2,…,aM}。环境定义为信号仿真器，可以通过输入当前全局状态s与全局动作信息a计算新状态s'，同时提供目标区域信号强度与信噪比的近似值。全局奖励r定义为一个关于s、a、s'的方程r(s,a,s')，详细公式内容以实际需求为核心设计，基础设计原理为从s到s'信号状态提升越多r的值越大。
在一个示例中，假定每个基站周边200米内为基站本地周边范围，即基站的覆盖区域(或覆盖范围)是基站周边200米内的范围，原始本地状态由4个数组组成(Wl，Rl，Sl，Tl)，数组大小由基站覆盖范围内栅格数决定，如10x10x10，每个数组内数字的含义分别为：Wl代表栅格权重、Rl代表栅格平均信号强度、Sl代表栅格平均信噪比、Tl代表栅格当前天线参数。本地状态ol是这4个数组经过多重CNN神经网络(由多重卷积网络与全连接层组成，参数为ω)后得到的一个长度为8的特征向量数列，该数列代表了基站与周边环境信息的汇总。每个基站可选取的动作集合设定为天线参数调整大小与方向，比如
其中，θ表示天线水平转动角、
表示天线下倾角，w表示波束宽度；奖励函数r可定义为
步骤S0202：对每一个基站l，建立一个状态动作期望价值表Ql，以矩阵形式表示，Q的第i行第j列表示在本地状态oli下采取动作alj的收益期望值。然后初始化所有Ql，并根据目标区域的地理信息与历史信号记录初始化全局状态s，相当于根据目标区域的地理信息和历史信号记录初始化全局状态信息，得到初始化后的全局状态信息。
在一个示例中，对于基站l，将可能出现的本地状态ol全部列出并排序，共有Nl种状态。如果采用步骤S0201中设定的动作集，建立一个Nlx10的矩阵Ql，Ql(i，j)表示在本地状态oli下采取动作alj的收益期望值，初始值默认为0。从地形信息与无线测量报告中得到历史栅格信息与实际基站参数配置，并以此初始化全局状态s，得到初始化后的全局状态s0，其中，s0＝(o1,o2,…,oN)。
步骤S0203：对于每一个基站l，根据本地状态ol通过Q表与预定算法选择要执行的动作alj，所有动作汇总成全局动作aj，常用的预定算法有ε贪心算法，在ε贪心算法中，以1-ε的概率选择当前收益期望最高的动作，以ε概率随机选择一个动作。
在一个示例中，对于每一个基站l，假设当前本地状态ol＝oli，按照均匀分布生成一个0到1之间的随机数ε，当这个随机数ε小于一个阈值(可设定为0.1)时，从所有可选动作中随机选取一个动作作为本轮的动作al；如果ε大于等于阈值，则寻找所有符合等式
的j*，如果有复数个j*，从中随机选取一个j*，使得alj*作为本轮的动作al。汇总所有基站的动作，则全局动作为aj＝(a1j*,a2j*,…,aNj*)。
需要说明的是，上述步骤S0202与步骤S0203，相当于针对每个基站，根据每个基站的本地状态信息，通过每个基站的期望价值表和预定算法，确定每个基站的每根天线可采取的天线参数调整动作，其中，每个基站的期望价值表是根据每个基站在每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的。
步骤S0204：传输当前全局状态s与动作aj进入信号仿真器作为输入，计算并输出新的全局状态s'。
步骤S0205：分解新的全局状态s'为本地状态o'l并传回基站l，以用于辅助下次的动作决策。
步骤S0206：将旧全局状态s，新的全局状态s'和全局动作aj传入中央控制器，由中央控制器计算全局奖励值r(s,aj,s')。在一个示例中，
步骤S0207：中央控制器根据r、s、s'、aj对各基站动作进行评价，返回给各基站l其本地奖励值rl。因为各基站间是合作关系，共同提高信号水平，所以各本地奖励值需要与r相同或与r正相关。在一个示例中，可以为：rl＝r，所有本地奖励共通，全局奖励等同于本地奖励。另一种可选项为：
这种算法同时考虑到全局奖励与本地状态变化，并且全局状态变化的权重大于本地状态变化。
步骤S0208：各基站根据本地状态变化与本地奖励值反馈更新本地Q表数值。根据最优Bellman方程，新的状态期望数值计算方法为：
其中,α是学习率、γ是衰减率。
步骤S0209：重复执行步骤S0203至步骤S0208，直到所有Q表的值稳定下来，或者达到最大循环次数，即直至期望价值表Q满足预设条件。
需要说明的是，上述步骤S0204至步骤S0209，相当于通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型。具体地，上述步骤S0204相当于信号仿真器根据初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息。上述步骤S0205至步骤S0209，相当于根据全局状态信息、新的全局状态信和各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至期望价值表满足预设条件，并最终得到天线参数调整模型。
在上述步骤S0201至步骤S0209结束后，各基站的状态价值表就初步训练完成，根据Q表并结合贪心算法即可得到相应的天线参数调整策略。
由于构建的信号仿真器与实际的信号传输环境(即真实环境)存在微小误差，因此在实际部署天线参数调整模型之前，还需要根据的信号传输环境对天线参数调整模型进行微调，以使得天线参数调整模型可以更好地适应实际环境。因此，在基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型，之后，还可以执行如下处理：
基于目标区域实际存在的信号传播路径和目标区域的用户设备实际接收到的信号强度与信噪比，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过再次对天线参数调整模型进行强化学习训练，来修正天线参数调整模型。
图3给出了真实环境下训练天线参数调整模型的结构示意图，该真实环境下的多智能体强化学习训练主要包括如下处理步骤：
步骤S0301：环境定义为真实环境，真实基站通过天线参数调整模型做出天线参数调整动作，并从用户设备收集改动后周边信号状况变化。其余定义与步骤0201中的相同。
步骤S0302：在真实基站上重复步骤S0203至步骤S0209中的相关处理，其中，信号仿真器部分被替换为真实环境，同时，所有状态替换为真实信号状态而非仿真器计算结果。
上述步骤S0301至步骤S0302执行完毕后，基站的天线参数调整模型训练完成，即得到最终的适应于真实环境的天线参数调整模型。
得到适应于真实环境的天线参数调整模型后，需要将该天线参数调整模型部署到真实基站中。其中，部署到真实基站后的天线参数调整模型不再需要中央控制器的干预即可做出合理的天线参数调整。如果一段时间过后，现实环境发生改变导致天线参数调整模型效果下降，则可以重新执行步骤S0301至步骤S0302来再次修正天线参数调整模型。
本申请实施例通过在真实环境中进一步修正天线参数调整模型，可以保证实际的天线参数调整模型不受模拟器环境与真实环境的误差的影响，同时，利用训练好的模拟环境下的天线参数调整模型，可以避免再次在真实环境中训练天线参数调整模型时产生较大影响、大幅降低真实信号反馈所需次数与消耗的情况的发生。
图4给出了真实基站部署天线参数调整模型后的运作流程，该运作流程可以概括为如下处理步骤：
步骤S0401：将经过步骤S0301至步骤S0302训练完毕的天线参数调整模型传入各个基站各自对应的基站服务器中，同时将各个基站各自对应的周边环境信息与信号状态信息转化成天线参数调整模型可接受的格式，并传入至天线参数调整模型中。
在一个示例中，每个基站有固定的物理位置，通过地形信息软件查询地理信息后储存在基站中，在周边环境未发生巨大变化(新建楼房、修建公路等)的情况下，无需更新周边环境信息；周边信号状态信息来自于用户设备发回的无线测量报告；将训练时使用的神经网络安装在基站内，同时将本地状态信息转化成特征向量ol。
步骤S0402：对于每一个基站，如果当前本地信号状态低于目标信号状态，则根据本地信号状态与天线参数调整模型计算所需采取的行动(即需要采取的天线参数调整动作)，并对天线参数进行调整。
在一个示例中，定义弱覆盖小区栅格为该栅格内用户设备平均信号接收强度grid_rsrp<-110dB或信噪比grid_sinr<1，并规定达标水平为弱覆盖小区栅格数量占全体栅格总数的比例少于5％。当基站当前信号水平不达标时，读取基站的当前环境信息(即本地状态信息)ol，查找该本地状态信息对应的状态排序位置i，读取训练完成的Ql矩阵，选择一个可以使得
的动作alj*作为需要执行的实际动作并在基站上执行该动作，相当于，当基站的覆盖区域的信号强度小于目标信号强度时，根据天线参数调整模型和该覆盖区域的地面状态信息，确定待调整的天线参数，并对该待调整的天线参数进行调整。
步骤S0403：如果调整后的本地信号状态没有达到目标信号状态，则重复步骤S0402直到达到目标信号状态或达到最大调整次数。
步骤S0404：在一定周期内停止调整，比如一个月或半个月或三个月等，以避免频繁调整天线参数导致硬件损坏。
步骤S0405：如果整体信号状态在多个周期内持续较差，则再次执行步骤S0301至步骤S0302。
本申请实施例的基站天线参数调整方法的总体过程如图5所示，可以概括为：
步骤S01：构建信号仿真器以提供模拟环境，即构建信号仿真器提供一个能够以低消耗、低影响的方式，获得天线参数调整动作反馈的虚拟环境；其中，步骤S01包括上述介绍的步骤S0101至步骤S0111中的一系列处理过程。
步骤S02：模拟环境下进行多智能体强化学习训练，即在模拟环境下训练天线参数调整模型；这是以信号仿真器为环境，构建由周边信号状态与用户设备分布组成的状态集，和由基站天线可调整动作组成的动作集，目标是提高关注区域整体信号强度与信噪比。其中，步骤S02包括上述介绍的步骤S0201至步骤S0209中的一系列处理过程。
步骤S03：真实环境下进行多智能体强化学习训练，即以真实环境为环境，在得到的模拟环境下的天线参数调整模型的基础上，通过进行多智能体强化学习对该模拟环境下的天线参数调整模型进行误差修正，获得最终的天线参数调整模型(即获得完全训练的天线参数调整模型)。其中，步骤S023包括上述介绍的步骤S0301至步骤S0302中的一系列处理过程。
其中，上述步骤S02和步骤S03构成一个完整的多智能体强化学习(即天线参数调整模型的训练)，即完整的多智能体强化学习包括模拟环境下进行多智能体强化学习训练和真实环境下进行多智能体强化学习训练。
步骤S04：天线参数调整模型的实际部署，将完全训练的天线参数调整模型部署在实际基站中，收集反馈信息，验证天线参数调整模型的效果。其中，步骤S04包括上述介绍的步骤S0401至步骤S0405中的一系列处理过程。
本申请实施例通过构建信号仿真器，模拟了真实环境中信号的传播路径与用户设备接收到的信号强度，用信号仿真器的模拟环境代替真实环境可以避免强化学习训练前期的大量参数尝试对实际基站信号产生影响，降低机器学习的代价。在真实环境中继续训练天线参数调整模型，可以消除因模拟环境与真实环境差异的导致的天线参数调整模型效果下降的情况。本申请实施例利用基于基站天线参数调整优化为目标的强化机器学习代替人工计算，实现了天线参数的优化调整，可以很好的解决不同环境下复杂繁琐的天线参数自动选择计算问题。而且，本申请实施例采用了多智能体强化学习算法，以整体区域的信号状态为目标，而不是以单一基站周边信号状态为目标，有效达成了多个基站之间协同互助的目标，有效解决基站之间的信号冲突问题。
另外，本申请实施例通过使用多智能体强化学习的算法训练天线参数调整模型，相比现有的人工调整方法，本申请实施例的方法具有无需人工参与，仅消耗计算资源即可做到有效调整天线参数提高信号水平的优点；相比现有的迭代修正方法，本申请实施例的方法具有训练所得的天线参数调整模型会根据环境变化改变而调整方案，周边环境变化时无需重新训练天线参数调整模型的优点；相比现有的单一基站的机器学习方法，本申请实施例的方法在训练天线参数调整模型时的目标是提高目标区域整体信号状态，包括全局信号强度与全局信噪比，而非单一基站周边的信号状态，因此，本申请实施例中的天线参数调整模型会考虑到相邻基站之间的协作，避免产生信号冲突。由此可见，本申请实施例的方法可以自动快速的计算出强适应性的天线参数调整方案，并且可以改善多基站之间的协同冲突问题。
此外，本申请实施例的方法使用了中心化训练和去中心化部署的多智能体强化学习算法。其中，中心化训练是指在训练天线参数调整模型的过程中存在一个中央控制器，这个中央控制器负责统筹所有基站的环境反馈、动作评价、天线参数更新方式等。这种训练方式的好处是可以汇总全局的信息，让优化结果向着整体信号状态优化，各基站间必须协作才可以达成最优信号水平。去中心化部署指在部署阶段只保留基站本身的天线参数调整模型，而不再通过中央控制器来调整天线参数，因为在训练天线参数调整模型时考虑到了基站间的协作，因此，在实际部署时，即使只有本地局部信息，基站做出的天线参数调整依旧可以避免与相邻基站的冲突；而且，去中心化后基站无需和中央控制器进行信息交互，大幅度减少了信息传输的要求和信息汇总计算的算力时间消耗，提高了天线参数调整的时效性。
本申请实施例提供了一种基站天线参数调整装置，如图6所示，该网络容量预测装置600可以包括：第一确定模块601、第二确定模块602和调整模块603，其中：
第一确定模块601，用于根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度；
第二确定模块602，用于当覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，其中，天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，基站是目标区域的所有基站中的任一个；
调整模块603，用于对待调整的天线参数进行调整，以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度。
在一种可能的实现方式中，该装置还包括构建模块，构建模块用于基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，进行强化学习训练得到天线参数调整模型；其中，该构建模块具体用于：
构建目标区域的信号仿真器，以用于模拟目标区域的信号传播路径和目标区域的用户设备接收到的信号强度与信噪比；
基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型。
在一种可能的实现方式中，构建模块还用于：
基于目标区域实际存在的信号传播路径和目标区域的用户设备实际接收到的信号强度与信噪比，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过再次对天线参数调整模型进行强化学习训练，来修正天线参数调整模型。
在一种可能的实现方式中，构建模块在构建目标区域的信号仿真器时，用于：
步骤1，将目标区域的每个基站的基本信息、目标区域的用户设备分布信息作为输入参数输入至初始信号仿真器；
步骤2，通过初始信号仿真器，针对目标区域的每个基站，根据每个基站的覆盖区域的地形信息、每个基站的覆盖区域的用户设备分布信息，将每个基站的覆盖区域划分为多个栅格；
步骤3，通过初始信号仿真器，针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比；
步骤4，通过将每个栅格接收到的信号强度与预先获取的每个栅格的历史接收信号强度进行比较、以及通过将每个栅格的信噪比与预先获取的每个栅格的历史信噪比进行比较，调整初始信号仿真器的相关参数；
重复执行上述步骤1至步骤4的操作，直到初始信号仿真器满足预设条件，并将满足预设条件的初始信号仿真器确定为目标区域的信号仿真器。
在一种可能的实现方式中，构建模块在针对多个栅格中的每个栅格，基于预定信号强度衰减公式，根据每个基站的每根天线到每个栅格的每条信号传播路径，确定每个栅格接收到的信号强度与信噪比时，用于：
根据预定信号强度衰减公式，通过计算每个栅格从每个基站的每根天线经过每条信号传播路径接收到的信号强度，最终得到每个栅格从每个基站接收到的信号强度；
根据每个栅格从每个基站预先分配给每个栅格的天线接收到的信号强度，和每个栅格从每个基站未预先分配给每个栅格的天线接收到的信号强度，确定每个栅格的信噪比。
在一种可能的实现方式中，构建模块在基于信号仿真器，根据目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到天线参数调整模型时，用于：
将目标区域的地面状态信息确定为全局状态信息，并根据目标区域的地理信息和历史信号记录初始化全局状态信息，得到初始化后的全局状态信息，其中，全局状态信息包括目标区域的每个基站的本地状态信息，每个基站的本地状态信息为每个基站的覆盖区域的地面状态信息；
针对每个基站，根据每个基站的本地状态信息，通过每个基站的期望价值表和预定算法，确定每个基站的每根天线可采取的天线参数调整动作，其中，每个基站的期望价值表是根据每个基站在每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的；
通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型。
在一种可能的实现方式中，构建模块在通过将初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至信号仿真器，来不断进行强化学习训练，最终得到天线参数调整模型时，具体用于：
信号仿真器根据初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息；
根据全局状态信息、新的全局状态信和各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至期望价值表满足预设条件，并最终得到天线参数调整模型。
本申请实施例的装置，将目标区域的每个基站定义为一个智能体，天线参数调整模型相当于是通过多智能体的强化学习自动训练得到的，从而无需人工能与，仅消耗计算资源即可做到有效调整天线参数，进而提高信号水平；另外，天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，即该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。
本申请实施例的确定网络覆盖的装置可执行本申请上述实施例所示的确定网络覆盖的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现确定网络覆盖的方法的步骤，与现有技术相比可实现：首先，根据基站的覆盖区域的用户设备发送的无线测量报告，确定覆盖区域的信号强度，从而为后续调整基站的天线参数提供必要支撑或依据。接着，若覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和覆盖区域的地面状态信息，确定待调整的天线参数，该天线参数调整模型是预先基于目标区域的地面状态信息、目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的；由于一个目标区域中通常会包含有若干个基站，若将目标区域的每个基站定义为一个智能体，则该天线参数调整模型相当于是通过多智能体的强化学习自动训练得到的，从而无需人工能与，仅消耗计算资源即可做到有效调整天线参数，进而提高信号水平；另外，天线参数调整模型的训练考虑了整个目标区域的地面状态信息和整个目标区域的所有基站的相关信息，即该天线参数调整模型是以整个目标区域的信号状态(包括全局信号强度和全局信噪比)为目标，而不是以单一基站的覆盖区域的信号状态为目标，即该天线参数模型在进行天线参数调整时，会充分考虑相信基站之间的协作，避免产生信号冲突，从而不仅可以自动快速的计算出强适应性的天线参数调整方案，而且可以改善多基站之间的协同冲突问题。最后，对待调整的天线参数进行调整，可以使得调整天线参数后的覆盖区域的信号强度不小于目标信号强度，从而为基站的覆盖区域内的用户设备提供良好的信号质量。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。
Claims (11)
1.一种基站天线参数调整方法，其特征在于，应用于基站，包括：
根据所述基站的覆盖区域的用户设备发送的无线测量报告，确定所述覆盖区域的信号强度；
若所述覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和所述覆盖区域的地面状态信息，确定待调整的天线参数，其中，所述天线参数调整模型是预先基于目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，所述基站是所述目标区域的所有基站中的任一个；
对所述待调整的天线参数进行调整，以使得调整天线参数后的所述覆盖区域的信号强度不小于所述目标信号强度。
2.根据权利要求1所述的方法，其特征在于，基于目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，进行强化学习训练得到天线参数调整模型，包括：
构建所述目标区域的信号仿真器，以用于模拟所述目标区域的信号传播路径和所述目标区域的用户设备接收到的信号强度与信噪比；
基于所述信号仿真器，根据所述目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到所述天线参数调整模型。
3.根据权利要求2所述的方法，其特征在于，在基于所述信号仿真器，根据所述目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到所述天线参数调整模型，之后，还包括：
基于所述目标区域实际存在的信号传播路径和所述目标区域的用户设备实际接收到的信号强度与信噪比，根据所述目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过再次对所述天线参数调整模型进行强化学习训练，来修正所述天线参数调整模型。
4.根据权利要求2或3所述的方法，其特征在于，所述构建所述目标区域的信号仿真器，包括：
步骤1，将所述目标区域的每个基站的基本信息、所述目标区域的用户设备分布信息作为输入参数输入至初始信号仿真器；
步骤2，通过所述初始信号仿真器，针对所述目标区域的每个基站，根据所述每个基站的覆盖区域的地形信息、所述每个基站的覆盖区域的用户设备分布信息，将所述每个基站的覆盖区域划分为多个栅格；
步骤3，通过所述初始信号仿真器，针对所述多个栅格中的每个栅格，基于预定信号强度衰减公式，根据所述每个基站的每根天线到所述每个栅格的每条信号传播路径，确定所述每个栅格接收到的信号强度与信噪比；
步骤4，通过将所述每个栅格接收到的信号强度与预先获取的所述每个栅格的历史接收信号强度进行比较、以及通过将所述每个栅格的信噪比与预先获取的所述每个栅格的历史信噪比进行比较，调整所述初始信号仿真器的相关参数；
重复执行上述步骤1至步骤4的操作，直到所述初始信号仿真器满足预设条件，并将满足预设条件的所述初始信号仿真器确定为所述目标区域的信号仿真器。
5.根据权利要求4所述的方法，其特征在于，所述针对所述多个栅格中的每个栅格，基于预定信号强度衰减公式，根据所述每个基站的每根天线到所述每个栅格的每条信号传播路径，确定所述每个栅格接收到的信号强度与信噪比，包括：
根据所述预定信号强度衰减公式，通过计算所述每个栅格从所述每个基站的每根天线经过所述每条信号传播路径接收到的信号强度，最终得到所述每个栅格从所述每个基站接收到的信号强度；
根据所述每个栅格从所述每个基站预先分配给所述每个栅格的天线接收到的信号强度，和所述每个栅格从所述每个基站未预先分配给所述每个栅格的天线接收到的信号强度，确定所述每个栅格的信噪比。
6.根据权利要求2所述的方法，其特征在于，基于所述信号仿真器，根据所述目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息，通过不断进行强化学习训练，得到所述天线参数调整模型，包括：
将所述目标区域的地面状态信息确定为全局状态信息，并根据所述目标区域的地理信息和历史信号记录初始化所述全局状态信息，得到初始化后的全局状态信息，其中，所述全局状态信息包括所述目标区域的每个基站的本地状态信息，所述每个基站的本地状态信息为所述每个基站的覆盖区域的地面状态信息；
针对所述每个基站，根据所述每个基站的本地状态信息，通过所述每个基站的期望价值表和预定算法，确定所述每个基站的每根天线可采取的天线参数调整动作，其中，所述每个基站的期望价值表是根据所述每个基站在所述每个基站的本地状态信息下采取每个天线参数调整动作的收益期望值得到的；
通过将所述初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至所述信号仿真器，来不断进行强化学习训练，最终得到所述天线参数调整模型。
7.根据权利要求6所述的方法，其特征在于，所述通过将所述初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合输入至所述信号仿真器，来不断进行强化学习训练，最终得到所述天线参数调整模型，包括：
所述信号仿真器根据所述初始化后的全局状态信息和各个基站的各根天线可采取的天线参数调整动作的集合，输出新的全局状态信息；
根据所述全局状态信息、所述新的全局状态信和所述各个基站的各根天线可采取的天线参数调整动作的集合，计算各个基站的本地奖励值，以使得各个基站根据各自的各根天线可采取的天线参数调整动作的集合、各自的本地奖励值，来不断更新各自的期望价值表，直至所述期望价值表满足预设条件，并最终得到所述天线参数调整模型。
8.一种基站天线参数调整装置，其特征在于，包括：
第一确定模块，用于根据所述基站的覆盖区域的用户设备发送的无线测量报告，确定所述覆盖区域的信号强度；
第二确定模块，用于当所述覆盖区域的信号强度小于目标信号强度，根据天线参数调整模型和所述覆盖区域的地面状态信息，确定待调整的天线参数，其中，所述天线参数调整模型是预先基于目标区域的地面状态信息、所述目标区域的所有基站和所有基站各自对应的覆盖区域的地面状态信息进行强化学习训练得到的，所述基站是所述目标区域的所有基站中的任一个；
调整模块，用于对所述待调整的天线参数进行调整，以使得调整天线参数后的所述覆盖区域的信号强度不小于所述目标信号强度。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022024.1A CN114630348A (zh) | 2022-01-10 | 2022-01-10 | 基站天线参数调整方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022024.1A CN114630348A (zh) | 2022-01-10 | 2022-01-10 | 基站天线参数调整方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114630348A true CN114630348A (zh) | 2022-06-14 |
Family
ID=81899057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210022024.1A Pending CN114630348A (zh) | 2022-01-10 | 2022-01-10 | 基站天线参数调整方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114630348A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114785392A (zh) * | 2022-06-17 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 天线选择方法、通信系统和存储介质 |
| CN116806026A (zh) * | 2023-08-25 | 2023-09-26 | 山东高速信息集团有限公司 | 一种基于高速公路建设的5g网络同步铺设方法及设备 |
| CN117014051A (zh) * | 2023-09-27 | 2023-11-07 | 中铁电气化铁路运营管理有限公司 | 基于复合型天线的高铁移动通信方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6587690B1 (en) * | 1999-02-12 | 2003-07-01 | Lucent Technologies Inc. | Method for allocating downlink electromagnetic power in wireless networks |
| CN104754593A (zh) * | 2013-12-27 | 2015-07-01 | 中国移动通信集团广东有限公司 | 一种天线方向角的调整方法、装置及系统 |
| CN110572835A (zh) * | 2019-09-06 | 2019-12-13 | 中兴通讯股份有限公司 | 调节天线参数的方法及装置、电子设备、计算机可读介质 |
| CN111246497A (zh) * | 2020-04-10 | 2020-06-05 | 卓望信息技术（北京）有限公司 | 一种基于强化学习的天线调整方法 |
-
2022
- 2022-01-10 CN CN202210022024.1A patent/CN114630348A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6587690B1 (en) * | 1999-02-12 | 2003-07-01 | Lucent Technologies Inc. | Method for allocating downlink electromagnetic power in wireless networks |
| CN104754593A (zh) * | 2013-12-27 | 2015-07-01 | 中国移动通信集团广东有限公司 | 一种天线方向角的调整方法、装置及系统 |
| CN110572835A (zh) * | 2019-09-06 | 2019-12-13 | 中兴通讯股份有限公司 | 调节天线参数的方法及装置、电子设备、计算机可读介质 |
| WO2021043154A1 (zh) * | 2019-09-06 | 2021-03-11 | 中兴通讯股份有限公司 | 调节天线参数的方法及装置、电子设备、计算机可读介质 |
| CN111246497A (zh) * | 2020-04-10 | 2020-06-05 | 卓望信息技术（北京）有限公司 | 一种基于强化学习的天线调整方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114785392A (zh) * | 2022-06-17 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 天线选择方法、通信系统和存储介质 |
| CN116806026A (zh) * | 2023-08-25 | 2023-09-26 | 山东高速信息集团有限公司 | 一种基于高速公路建设的5g网络同步铺设方法及设备 |
| CN116806026B (zh) * | 2023-08-25 | 2023-11-03 | 山东高速信息集团有限公司 | 一种基于高速公路建设的5g网络同步铺设方法及设备 |
| CN117014051A (zh) * | 2023-09-27 | 2023-11-07 | 中铁电气化铁路运营管理有限公司 | 基于复合型天线的高铁移动通信方法及系统 |
| CN117014051B (zh) * | 2023-09-27 | 2023-12-22 | 中铁电气化铁路运营管理有限公司 | 基于复合型天线的高铁移动通信方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114630348A (zh) | 基站天线参数调整方法、装置、电子设备及存储介质 | |
| US10542330B2 (en) | Automatic adaptive network planning | |
| EP2659697B1 (en) | Method for the prediction of coverage areas of a cellular network | |
| EP1969872B1 (en) | Method for estimating a radio coverage of a geographic area in a cellular mobile radio communication network | |
| EP1946574B1 (en) | Method and system for estimating traffic distribution in a cellular mobile radio communications network | |
| CN105430664A (zh) | 一种基于分类拟合预测传播路损的方法和装置 | |
| CN112950243B (zh) | 一种5g站址规划方法、装置、电子设备及存储介质 | |
| CN114501530B (zh) | 基于深度强化学习的天线参数的确定方法和装置 | |
| CN110366188B (zh) | 干扰测量点部署方法、干扰测量路径规划方法及系统 | |
| CN112866904A (zh) | 基于波束索引地图的免信道训练大维通信波束对齐方法 | |
| CN109495898B (zh) | 一种无线网络覆盖的指标定量预测方法及设备 | |
| JP2018032939A (ja) | 品質推定装置及び品質推定方法 | |
| CN101304595A (zh) | 获取频率规划的方法、装置 | |
| CN113766518B (zh) | 基站天线选择和广播波束规划方法及装置 | |
| CN113395704A (zh) | 一种5g基站的选址方法及装置 | |
| CN113839725A (zh) | 无线信号传播预测方法及装置 | |
| KR20100079433A (ko) | 기지국의 위치를 결정하는 장치 및 방법 | |
| JP2005229453A (ja) | 伝搬モデルをチューニングする方法および装置 | |
| CN114818452A (zh) | 天线配置参数优化方法、装置及存储介质 | |
| CN112738883B (zh) | 一种空中基站位置确定方法及装置 | |
| CN112243242B (zh) | 大规模天线波束配置方法和装置 | |
| CN114584992A (zh) | 一种测控站备选站址获取方法、测控站布设规划方法 | |
| CN114978253A (zh) | 用于广播波束优化的方法、装置以及存储介质 | |
| KR101355363B1 (ko) | 고속 전파 해석 장치 및 그 방법 | |
| CN117082536B (zh) | 一种基于强化学习的空地网络协同覆盖方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |