CN114268390A - Rsrp切换点确定方法、装置、介质及电子设备 - Google Patents

Abstract

本申请涉及无线通信领域，揭示了一种RSRP切换点确定方法、装置、计算机可读程序介质及电子设备。该方法包括：在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。此方法可以确定出最佳RSRP切换点，提升了边缘用户终端的通信速率，同时，还可以大大减少计算资源的开销。

Description

RSRP切换点确定方法、装置、介质及电子设备

技术领域

本申请涉及无线通信技术领域，特别涉及一种RSRP切换点确定方法、装置、计算机可读程序介质及电子设备。

背景技术

当前，在移动通信领域中，大规模MIMO(Massive-MIMO)的下行信道估计是通过近中点场景下的SRS(Sounding Reference Signal，信道探测参考信号)反馈方式和远点场景下的PMI(Precoding Matrix Indicator，预编码矩阵指示)码本反馈方式实现的，用户终端从近中点进入远点时，SRS信号强度不足导致下行Massive-MIMO赋形性能变差，因此需要切换到PMI码本反馈方式。然而目前主设备厂家的两种方案自适应切换方法没有考虑到实际覆盖环境，或者是算法时间过长，导致过早或过晚地进行自适应方案切换，从而对用户终端的速率产生影响。

发明内容

在无线通信技术领域，为了解决上述技术问题，本申请的目的在于提供一种RSRP切换点确定方法、装置、计算机可读程序介质及电子设备。

根据本申请的一方面，提供了一种RSRP切换点确定方法，所述方法包括：

在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；

根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

根据本申请的另一方面，提供了一种RSRP切换点确定装置，所述装置包括：

切换和获取模块，用于在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；

切换点确定模块，用于根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

根据本申请的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请所提供的RSRP切换点确定方法，包括如下步骤：在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

此方法下，通过对用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，从而得到切换前后多个维度的通信指标数据，在此基础上，基于这些通信指标数据进行强化学习模型训练来得到指定小区的最佳RSRP切换点，并且，在模型训练过程中定义即时奖励为通过用户终端的下行速率在切换前后的变化值来计算得到，使得最佳RSRP切换点能够与指定小区精准匹配，有效提升了边缘用户终端的通信速率；同时，在确定了各小区的最佳RSRP切换点之后，当其他用户终端接入某一小区时，便可以快速确定出对应的最佳RSRP切换点，可以大大减少计算资源的开销。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的波束赋形反馈方式的原理示意图；

图2是根据一示例性实施例示出的一种RSRP切换点确定方法的系统架构示意图；

图3是根据一示例性实施例示出的RSRP切换点确定方法的流程图；

图4是根据一示例性实施例示出的通过测试得到的不同波束赋形反馈方式的性能对比示意图；

图5是根据一示例性实施例示出的确定数据统计窗口大小的示意图；

图6是根据一示例性实施例示出的基于通信指标数据确定最佳切换点的示意图表；

图7是根据一示例性实施例示出的统计得到的详细通信指标数据的示意图表；

图8是根据一示例性实施例示出的一种RSRP切换点确定装置的框图；

图9是根据一示例性实施例示出的一种实现上述RSRP切换点确定方法的电子设备示例框图；

图10是根据一示例性实施例示出的一种实现上述RSRP切换点确定方法的程序产品。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

正如在本申请背景技术部分提及的那样，目前，电信3.5GHz SA(standalone，独立组网)宏站在进行大规模MIMO波束赋形时主要依赖于SRS(Sounding Reference Signal，信道探测参考信号)反馈方式和PMI(Precoding Matrix Indicator，预编码矩阵指示)码本反馈方式这两种反馈方式。

图1是根据一示例性实施例示出的波束赋形反馈方式的原理示意图。

请先参见图1中的左图，基于SRS反馈的方式具体过程为：(a)终端发送SRS信号；(b)基站信道估计计算下行赋形权值W，进而可以根据该下行赋形权值W进行波束赋形。

请再参见图1中的右图，基于PMI反馈的方式具体过程为：(a)基站发送CSI-RS；(b)终端选择码本中的W2；(c)终端反馈PMI；(d)基站用权值W1×W2波束赋形。

基于SRS反馈的方式和基于PMI反馈的方式进行波束赋形时性能不同。具体地，图4是根据一示例性实施例示出的通过测试得到的不同波束赋形反馈方式的性能对比示意图。请参见图4所示，在基站覆盖近点及中点进行用户下行峰值速率的测试，对基于SRS反馈这一方式的测试结果分别为1242Mbps和662Mbps，对基于PMI码本反馈这一方式的测试结果分别为851Mbps和560Mbps，因此，在基于SRS反馈的方式下，利用TDD系统上下行互易性，通过上行SRS估计下行信号路径更为准确，单用户下行峰值速率均高于基于PMI码本反馈方案。请继续参见图4所示，在基站覆盖远点进行用户下行峰值速率的测试，对基于SRS反馈这一方式的测试结果为330Mbps，而对基于PMI码本反馈这一方式的测试结果为366Mbps。这是由于终端功率受限，基站对SRS信号接收难以准确判断下行信道，因此采用基于PMI码本反馈方案会取得更大下行增益。

在相关技术中，在进行下行信道估计时，一些设备厂家已具备对基于SRS反馈和基于PMI码本反馈方案的自适应切换能力。但一些厂家的切换点是通过SRS RSRP(ReferenceSignal Receiving Power，参考信号接收功率)达到一定门限进行判断；另一些厂家则通过在一段时间窗口内对用户速率下降的统计达到某门限激活。

然而，由于小区实际覆盖环境迥异，用户行动轨迹不同，导致设置的门限可能并不会符合实际最佳切换点，这会造成过早和过晚切换；若在一段时间窗口内对某些指标进行统计，会占用较长的时间，这也会造成过早和过晚切换。无论过早还是过晚切换，均会对用户终端的速率产生影响，进而影响用户的体验。

为此，本申请首先提供了一种RSRP切换点确定方法。通过本申请提供的RSRP切换点确定方法可以克服以上缺陷，能够获得小区的最佳RSRP切换点，能够精准确定在什么情况下切换反馈方式，从而能够准确地进行波束赋形，提高用户终端的下行速率，还可以提高用户的体验。

本申请的实施终端可以是任何具有运算功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群，此外，还可以是基站、网络控制器等通信设备。

可选地，本申请的实施终端可以为服务器或者基站。

图2是根据一示例性实施例示出的一种RSRP切换点确定方法的系统架构示意图。如图2所示，该系统架构200包括基站201以及通过无线通信网络接入了基站201的用户终端202，其中，用户终端202可以为智能手机，基站201为本申请实施例的实施终端，基站201包括至少一个小区。当本申请提供的RSRP切换点确定方法应用于图2所示系统架构中时，一个过程可以是这样的：首先，基站201在指定时间范围内，对接入基站201的指定小区的用户终端202按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取用户终端202在切换前后的通信指标数据，具体地，每当按照一个RSRP切换点进行波束赋形反馈方式切换，则在检测得到RSRP值大于该RSRP切换点时，采用基于SRS反馈方案进行波束赋形，否则，采用基于PMI码反馈方案进行波束赋形，在指定时间范围内对用户终端202在每个RSRP切换点进行波束赋形反馈方式切换前后的通信指标数据持续进行收集，通信指标数据包括用户终端的下行速率和其他通信指标数据；接着，基站201利用获取到的用户终端202在切换前后的通信指标数据进行强化学习模型的训练，不断进行迭代，在训练过程中以根据用户终端的下行速率在切换前后的变化值确定的奖励值作为即时奖励，从而得到基站201的指定小区的最佳RSRP切换点；最后，基站201可以根据最佳RSRP切换点对接入该指定小区的其他用户终端进行波束赋形反馈方式切换。

在本申请的一个实施例中，基站201为5G网络基站。

值得一提的是，图1仅为本申请的一个实施例。虽然在本实施例中仅获取了一个用户终端在各RSRP切换点切换前后的通信指标数据，但易于理解，为了更好地训练强化学习模型，在实际情况下，通常要收集多个用户终端在各RSRP切换点切换前后的通信指标数据，以进行模型训练；虽然本实施例中用户终端为智能手机，但在本申请的其他实施例中，用户终端还可以为可穿戴设备、车载终端、iPad等各种能够与基站进行无线通信的设备。本申请对此不作任何限定，本申请的保护范围也不应因此而受到任何限制。

图3是根据一示例性实施例示出的RSRP切换点确定方法的流程图。本实施例提供的RSRP切换点确定方法可以由基站执行，可以应用于在电信3.5G宏站中，启动Massive-MIMO波束赋形时需要获得信道反馈信息的场景；当然，也可以应用于如4.9G、毫米波通信等高频或中高频的通信场景，只要这些场景涉及Massive-MIMO波束赋形且需要基于SRS和PMI码本进行反馈，均可适用本申请实施例的方案。如图3所示，具体包括以下步骤：

步骤310，在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取用户终端在切换前后的通信指标数据。

其中，通信指标数据可以包括用户终端的下行速率、CQI(Channel QualityIndication，信道质量指示)、RI(Rank Indication，秩指示)、PMI(Precoding MatrixIndicator，预编码矩阵指示)、SRS RSRP(Reference Signal Receiving Power，参考信号接收功率)。

在本申请的其他实施例中，通信指标数据还可以包括SSB RSRP。

在本申请的一个实施例中，波束赋形反馈方式包括基于PMI码本的反馈方式和基于SRS的反馈方式。

具体地，对用户终端每当按照一个RSRP切换点进行波束赋形反馈方式切换，就在RSRP值大于该RSRP切换点时，采用基于SRS的反馈方式；在RSRP值小于该RSRP切换点时，采用基于PMI码本的反馈方式，每采用一种反馈方式，都要收集相应的通信指标数据。

在本申请的一个实施例中，多个RSRP切换点是预定数据统计窗口中的连续多个RSRP数据，预定数据统计窗口的中点是通过测试得到的最佳测试RSRP切换点。

RSRP数据是整数，因此预定数据统计窗口中的连续多个RSRP数据为整数。可以根据经验设置预定数据统计窗口的大小，以在保证信息收集的有效性的同时，减少信息收集数量，节省资源开销。

具体地，请参见图4，经外场测试，基于SRS的反馈方式和基于PMI码本的反馈方式的性能差异交叉点为RSRP＝-105dbm左右，因此，可以将RSRP＝-105dbm作为预定数据统计窗口的中点。

当然，在本申请的其他实施例中，预定数据统计窗口的中点还可以是其他根据经验设置的切换点，或者还可以直接根据经验设置数据统计窗口。

图5是根据一示例性实施例示出的确定数据统计窗口大小的示意图。请参见图5所示，将RSRP＝-105dbm设为X，那么，预定数据统计窗口可以为[X-Y,X+Y]，参数Y为整数。可以根据需要调整参数Y的大小，进而调整预定数据统计窗口的大小，以减少不必要的信息收集，避免增加系统开销。

因此，在设置预定数据统计窗口之后，当用户终端的RSRP进入该预定数据统计窗口，就会针对用户终端，以该预定数据统计窗口[X-Y,……X-2,X-1,X,X+1,X+2……X+Y]中的每个RSRP点作为RSRP切换点分别进行波束赋形反馈方式切换，并收集切换前后的下行速率等通信指标数据。

步骤320，根据预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据用户终端的下行速率在切换前后的变化值确定的。

即时奖励也可以称为回报，是在进行强化学习模型训练过程中采取某个动作后产生的，即时奖励是基于用户终端的下行速率在切换前后的变化值计算得到的。强化学习模型会根据即时激励反馈影响输入。如有些终端在-105dbm时切换，下行速率从350Mbps跌到了200Mbps；有些终端在-106dbm切换，下行速率从350Mbps跌到了300Mbps；那么强化学习模型会在RSRP＝-106dbm上反馈这是最佳切换点，训练完成后-106dbm即为最佳切换点。

在模型训练过程中不断进行迭代，根据即时激励调整RSRP切换点，从而得到基于PMI码本的反馈方式和基于SRS的反馈方式之间的最佳RSRP切换点。

图6是根据一示例性实施例示出的基于通信指标数据确定最佳切换点的示意图表。请参见图6所示，示出了收集到的各用户终端UE的通信指标数据，包括SRS RSRP、PMI和基于SRS方案的UE下行速率。最终确定出的最佳切换点可以为RSRP＝-106dbm。

图7是根据一示例性实施例示出的统计得到的详细通信指标数据的示意图表。请参见图7所示，收集到的通信指标数据除了包括SRS RSRP和PMI之外，还额外增加了CQI、RI和SSB RSRP。具体地，一个在中点但收到遮挡的UE1，和一个在远点没有遮挡的UE2，两个UE的SRS RSRP可能相等，但可以通过CQI，PMI，SSB RSRP等参数指标来辨识，因此，通过收集这些通信指标数据，可以提高在波束内对UE位置的辨识度，进而提高了确定出的最佳RSRP切换点的精准度。

在本申请的一个实施例中，在得到指定小区的最佳RSRP切换点之后，该方法还包括：对接入指定小区的用户终端按照最佳RSRP切换点进行波束赋形反馈方式切换。

具体地，对所有接入该指定小区的用户终端均根据针对该指定小区确定出的最佳RSRP切换点在基于SRS的反馈方式和基于PMI码本的反馈方式之间进行切换。

在本申请的一个实施例中，该RSRP切换点确定方法还包括：在向接入指定小区的用户终端发送下行数据时，基于根据最佳RSRP切换点确定的波束赋形反馈方式进行波束赋形。

具体地，若最佳RSRP切换点为RSRP＝-105dbm，则可以根据当前检测到的RSRP与最佳RSRP切换点的比较结果来确定是采用基于SRS的反馈方式还是采用基于PMI码本的反馈方式进行波束赋形。

一旦确定了需要使用的波束赋形反馈方式，基站就可以根据该波束赋形反馈方式下终端提供的信息调整不同天线单元发射信号的振幅和相位，以进行波束赋形。

在本申请的一个实施例中，根据预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区的最佳RSRP切换点，包括：对接入指定小区的用户终端按照所接入的波束进行分类；根据预定时间段内接入同一波束的用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区内所述波束的最佳RSRP切换点。

具体地，一个小区可以发射多个波束，每个用户终端可通过一个波束接入小区，不同用户终端接入小区所利用的波束可以不同。通过对接入指定小区的用户终端按照所接入的波束进行分类，可以确定出接入同一波束的用户终端。

由于一个小区内每个波束的覆盖环境存在差异，只为一个小区确定最佳RSRP切换点可能并不适用于小区内所有波束。在本申请实施例中，通过根据同一波束的用户终端的通信指标数据进行强化学习模型训练，并得到指定小区内该波束的最佳RSRP切换点，可以在波束级实现RSRP切换点的优化，提高了整体方案的精细化程度。

在本申请的一个实施例中，在根据预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区的最佳RSRP切换点之前，该RSRP切换点确定方法还包括：

基于预定时间段内多个用户终端在切换前后的通信指标数据，对多个用户终端进行聚类，以得到多个类；

根据预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区的最佳RSRP切换点，包括：

根据预定时间段内每一类中的用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到指定小区内各类对应的最佳RSRP切换点；

在得到指定小区的最佳RSRP切换点之后，该RSRP切换点确定方法还包括：

当目标用户终端接入所述指定小区，获取目标用户终端在切换前后的通信指标数据；

根据目标用户终端在切换前后的通信指标数据，确定目标用户终端所属的类，作为目标类；

对目标用户终端按照目标类对应的最佳RSRP切换点进行波束赋形反馈方式切换。

具体地，可以采用K-means算法基于用户终端在切换前后的用户终端的下行速率、SRS RSRP等通信指标数据对用户终端进行聚类。在聚类结束后，每一类中包括一个或多个用户终端，每一类中用户终端的通信指标数据是类似的。当目标用户终端接入指定小区后，针对目标用户终端获取的切换前后的通信指标数据可以是根据预设RSRP切换点进行波束赋形反馈方式切换之后获取的。

可以采用多种方式确定目标用户终端所属的类(目标类)。比如，可以先确定每个类的类中心，然后根据目标用户终端在切换前后的通信指标数据确定与目标用户终端距离最近的类中心，最后将该类中心所属的类作为目标类；再比如，可以根据目标用户终端和其他用户终端在切换前后的通信指标数据对包括目标用户终端和其他用户终端的用户终端集合重新进行聚类，将聚类结果中目标用户终端所属的类作为目标类。

综上所述，根据本申请实施例提供的RSRP切换点确定方法，实现了对波束赋形反馈机制的优化，能够在波束级别下快速推断出基于SRS的反馈方式和基于PMI码本的反馈方式之间的自适应最优切换点，从而更准确地引导下行大规模MIMO(Massive-MIMO)波束赋形方向，实现了对波束赋形反馈方式切换点的精细化管理，有效提升了边缘用户终端的下行通信速率。同时，传统的基于时间窗口进行统计的方法需要消耗一定的时间进行计算，这可能导致过晚切换，导致给用户终端带来性能损失；而本申请实施例中，在确定了各小区的最佳RSRP切换点之后，当其他用户终端接入某一小区时，便可以快速确定出对应的最佳RSRP切换点，从而可以大大减少计算时延，提高切换波束赋形反馈方式的可靠性和及时性。

本申请还提供了一种RSRP切换点确定装置，以下是本申请的装置实施例。

图8是根据一示例性实施例示出的一种RSRP切换点确定装置的框图。如图8所示，装置800包括：

切换和获取模块810，用于在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；

切换点确定模块820，用于根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

根据本申请的第三方面，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图9来描述根据本申请的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。

存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行，比如与显示单元940通信。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。

根据本申请的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

参考图10所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种RSRP切换点确定方法，其特征在于，所述方法包括：

在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；

根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

2.根据权利要求1所述的方法，其特征在于，在得到所述指定小区的最佳RSRP切换点之后，所述方法还包括：

对接入所述指定小区的用户终端按照所述最佳RSRP切换点进行波束赋形反馈方式切换。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在向接入所述指定小区的用户终端发送下行数据时，基于根据所述最佳RSRP切换点确定的波束赋形反馈方式进行波束赋形。

4.根据权利要求2所述的方法，其特征在于，所述波束赋形反馈方式包括基于PMI码本的反馈方式和基于SRS的反馈方式。

5.根据权利要求1所述的方法，其特征在于，所述根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，包括：

对接入指定小区的用户终端按照所接入的波束进行分类；

根据所述预定时间段内接入同一波束的用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区内所述波束的最佳RSRP切换点。

6.根据权利要求1所述的方法，其特征在于，所述多个RSRP切换点是预定数据统计窗口中的连续多个RSRP数据，所述预定数据统计窗口的中点是通过测试得到的最佳测试RSRP切换点。

7.根据权利要求1所述的方法，其特征在于，在根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点之前，所述方法还包括：

基于所述预定时间段内多个用户终端在切换前后的通信指标数据，对所述多个用户终端进行聚类，以得到多个类；

所述根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，包括：

根据所述预定时间段内每一类中的用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区内各类对应的最佳RSRP切换点；

在得到所述指定小区的最佳RSRP切换点之后，所述方法还包括：

当目标用户终端接入所述指定小区，获取目标用户终端在切换前后的通信指标数据；

根据目标用户终端在切换前后的通信指标数据，确定所述目标用户终端所属的类，作为目标类；

对所述目标用户终端按照所述目标类对应的最佳RSRP切换点进行波束赋形反馈方式切换。

8.一种RSRP切换点确定装置，其特征在于，所述装置包括：

切换和获取模块，用于在预定时间段内，对接入指定小区的用户终端按照多个RSRP切换点分别进行波束赋形反馈方式切换，并获取所述用户终端在切换前后的通信指标数据，所述通信指标数据包括用户终端的下行速率、CQI、RI、PMI、SRS RSRP；

切换点确定模块，用于根据所述预定时间段内多个用户终端在切换前后的通信指标数据进行强化学习模型训练，以得到所述指定小区的最佳RSRP切换点，其中，在进行强化学习模型训练过程中使用的即时奖励是根据所述用户终端的下行速率在切换前后的变化值确定的。

9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。

Images