CN110786046A - 使用深度学习优化蜂窝网络 - Google Patents

Abstract

本技术提供了一种使用深度学习优化无线网络(包括无线网络的覆盖和容量)的新方法。所提的方法涉及生成小区组，该小区组包括被识别为表现不佳的小区和一个或多个相邻小区，基于上述表现不佳的小区与一个或多个相邻小区之间的一个或多个关系参数对上述一个或多个相邻小区进行排序，以及基于上述一个或多个相邻小区的排序生成该小区组的多维多渠道状态张量。用于蜂窝网络优化的该方法使用更快、更准确、花费更少、以及鲁棒性更高的过程改善了蜂窝网络的覆盖和容量。

Description

使用深度学习优化蜂窝网络

相关申请的交叉引用

本申请要求于2017年7月6日提交的发明名称为“深度学习系统和方法以及使用深度学习的无线网络优化”、申请号为No.15/642,563(客户案号85368144US01)的美国专利申请的优先权，其全部内容以引入的方式并入本文。

技术领域

本公开涉及使用深度学习优化蜂窝网络和其他类型的无线网络，尤其涉及将关于相邻小区组的多渠道数据布置成多维状态张量，以将该多维状态张量用作深度神经网络的输入。

背景技术

蜂窝网络或移动网络是可以划分为一个或多个地理区域的无线通信网络，这些地理区域称为小区，小区可以通过一个或多个固定位置的收发器(称为基站)通信互连。通过小区和基站的布置，蜂窝网络可以提供大的地理区域上的无线通信覆盖，并使无线通信装置能够在网络中的任何地方(可能通过长距离)相互通信。随着行业朝着包括大量高度集中的小区、能够提供几乎无处不在的覆盖的密集部署的网络转移，现代蜂窝网络正变得更大且更复杂。随着蜂窝网络的大小和复杂度不断增长，优化其覆盖和容量变得越来越具有挑战性。例如，小区数量的增加导致相邻小区间的交互和潜在干扰的数量呈指数增长。由于干扰的存在，改变一个小区的设置以提高其覆盖和容量可能会潜在地降低该小区的邻区的覆盖和容量以及整个网络的覆盖和容量。

已用于解决这些挑战的一种常规方法是构造蜂窝网络的虚拟模型，从而可以在虚拟环境中调节和优化网络参数。然而，该方法具有若干缺点。首先，优化过程可能较慢，建立模型和优化模拟的网络参数通常需要几天或几周。第二，该过程可能花费较高，因其需要路测(drive testing)并需要知道用户设备的地理位置。第三，由于工程参数(如基站天线的机械倾角)的不准确表示，从模拟环境中产生的解决方案可能是不准确的。

优化蜂窝网络的覆盖和容量的第二种常规方法是通过进行小步长调节并收集关于这些调节对现实网络的影响的现实反馈来迭代地优化网络参数，直到找到最优解决方案。这种迭代方法可能同样较慢，通常需要三到五次或更多次迭代并需要数天来优化网络。另外，必须对现实网络进行许多调节，可能会导致网络的一些部分由于这些调节而失去覆盖。此外，即使找到了对于一个蜂窝网络的最优解决方案，该解决方案也无法应用于不同的蜂窝网络。相反，对于新的蜂窝网络的优化将需要从头开始迭代过程。

发明内容

根据本公开的一方面，提供了一种用于优化具有多个小区的蜂窝网络的计算机实现的方法，该方法包括：选择小区组，该小区组包括被识别为表现不佳的小区和一个或多个相邻小区，基于上述表现不佳的小区和上述一个或多个相邻小区之间的一个或多个关系参数，对上述一个或多个相邻小区进行排序，基于上述一个或多个相邻小区的上述排序生成上述小区组的状态张量，该状态张量反映上述蜂窝网络中的上述小区组内的运行通信条件，处理上述状态张量以产生一个或多个推荐，用以调节上述蜂窝网络的上述一个或多个参数；以及基于上述一个或多个推荐调节上述蜂窝网络的上述一个或多个参数。

可选地，在任何前述方面中，处理上述状态张量以产生一个或多个推荐，用以调节上述蜂窝网络的一个或多个参数包括：将上述状态张量作为输入提交至深度神经网络，以及使用上述深度神经网络产生一个或多个推荐，用以调节上述蜂窝网络的一个或多个参数。

可选地，在任何前述方面中，当一个或多个小区性能测量超过一个或多个阈值时，上述小区被识别为表现不佳。

可选地，在任何前述方面中，上述一个或多个小区性能测量包括基于信号功率和信号质量之间的关系计算的目标函数值。

可选地，在任何前述方面中，上述一个或多个关系参数包括上述表现不佳的小区和上述一个或多个相邻小区之间的干扰水平。

可选地，在任何前述方面中，上述干扰水平是在一段时间上的平均值。

可选地，在任何前述方面中，基于上述一个或多个相邻小区的上述排序生成上述小区组的状态张量包括：选择基本网格的大小，构造所选择的大小的基本网格，其中，上述小区组中的小区被放置在上述基本网格的水平轴和垂直轴上的位置，提取一个或多个小区对的多渠道信息，上述一个或多个小区对中的每个小区对包括来自上述基本网格中的水平轴的小区和来自垂直轴的小区，以及基于上述基本网格和提取的上述多渠道信息，构造上述状态张量。

可选地，在任何前述方面中，上述构造基本网格包括：将上述表现不佳的小区放置在上述基本网格中上述垂直轴和上述水平轴的中心，以及在上述基本网格中布置上述一个或多个相邻小区，使得排序较高的相邻小区在上述水平轴和上述垂直轴上更靠近上述表现不佳的小区放置。

可选地，在任何前述方面中，上述深度神经网络是卷积神经网络。

可选地，在任何前述方面中，上述使用上述深度神经网络产生一个或多个推荐，用以调节上述蜂窝网络的一个或多个参数包括：向上述蜂窝网络应用解决方案，以及基于上述一个或多个推荐对上述蜂窝网络的影响确定是否接受解决方案，其中，通过上述蜂窝网络的整体覆盖和容量的变化测量上述影响。

可选地，在任何前述方面中，上述计算机实现的方法还包括：响应于确定上述一个或多个推荐对上述蜂窝网络的上述整体覆盖和容量产生负面影响，拒绝上述一个或多个推荐，响应于确定上述一个或多个推荐对上述蜂窝网络的上述整体覆盖和容量产生正面影响，接受上述一个或多个推荐，以及基于是否接受上述一个或多个推荐，更新上述深度神经网络。

根据权利要求1上述的方法，其中，为上述小区组和一个或多个额外的小区组中的每个小区组分配优先级。

可选地，在任何前述方面中，基于与上述小区组中的上述表现不佳的小区相关的严重性、偏好、权重、以及相邻关系中一个或多个计算上述小区组和一个或多个额外的小区组的上述优先级。

可选地，在任何前述方面中，按从最高优先级到最低优先级的顺序优化上述小区组和上述一个或多个额外的小区组。

可选地，在任何前述方面中，并行优化具有最高优先级的上述一个或多个额外的小区组中的至少一个和上述小区组。

根据本公开的另一方面，提供了一种蜂窝网络优化装置，该装置包括：非暂时性存储器，包括指令；以及一个或多个处理器，与上述存储器通信，其中，上述一个或多个处理器用于执行上述指令以：选择小区组，该小区组包括被识别为表现不佳的小区和一个或多个相邻小区，基于上述表现不佳的小区和上述一个或多个相邻小区之间的一个或多个关系参数，对上述一个或多个相邻小区进行排序，基于上述一个或多个相邻小区的上述排序生成上述小区组的状态张量，该状态张量反映上述蜂窝网络中的上述小区组内的运行通信条件，处理上述状态张量以产生一个或多个推荐，用以调节上述蜂窝网络的上述一个或多个参数，以及基于上述一个或多个推荐调节上述蜂窝网络的上述一个或多个参数。

可选地，在任何前述方面中，上述一个或多个处理器还用于执行指令以：将上述状态张量作为输入提交至深度神经网络，以及使用上述深度神经网络产生一个或多个推荐，用以调节上述蜂窝网络的一个或多个参数。

可选地，在任何前述方面中，基于上述一个或多个相邻小区的上述排序生成上述小区组的状态张量的步骤包括：选择基本网格的大小，构造所选择的大小的基本网格，其中，上述小区组中的小区被放置在上述基本网格的水平轴和垂直轴上的位置，提取一个或多个小区对的多渠道信息，上述一个或多个小区对中的每个小区对包括来自上述基本网格中的水平轴的小区和来自垂直轴的小区，以及基于上述基本网格和提取的上述多渠道信息，构造上述状态张量。

可选地，在任何前述方面中，上述构造基本网格包括：将上述表现不佳的小区放置在上述基本网格中上述垂直轴和上述水平轴的中心，以及在上述基本网格上布置上述一个或多个相邻小区，使得排序较高的相邻小区在上述水平轴和上述垂直轴上更靠近上述表现不佳的小区放置。

根据本公开的另一方面，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储用于优化具有一个或多个小区的蜂窝网络的计算机指令，当该计算机指令由一个或多个处理器执行时，使上述一个或多个处理器执行以下步骤：选择小区组，该小区组包括被识别为表现不佳的小区和一个或多个相邻小区，基于上述表现不佳的小区和上述一个或多个相邻小区之间的一个或多个关系参数，对上述一个或多个相邻小区进行排序，基于上述一个或多个相邻小区的上述排序生成上述小区组的状态张量，该状态张量反映上述蜂窝网络中的上述小区组内的运行通信条件，处理上述状态张量以产生一个或多个推荐，用以调节上述蜂窝网络的上述一个或多个参数，以及基于上述一个或多个推荐调节上述蜂窝网络的上述一个或多个参数。

附图说明

图1示出了可以在其中实现本技术的蜂窝网络。

图2示出了具有重叠的覆盖区域的基站的网络。

图3示出了蜂窝网络的覆盖区域的六边形平铺表示。

图4示出了可以在其中实现本技术的实施例的示例性深度神经网络。

图5示出了可以在其中实现本技术的实施例的卷积神经网络形式的示例性深度神经网络。

图6a和图6b分别示出了状态张量和状态平面，用于根据本技术的实施例结构化收集的关于蜂窝网络的数据。

图7为示出本技术的实施例的操作的流程图。

图8-图11为包括表现不佳的小区的蜂窝网络的图示。

图12-图14为根据本技术的实施例的状态平面的图示。

图15为示出用于校正蜂窝网络内小区的小区特征的操作的流程图。

图16为可以用于实现本技术的各方面的无线收发器的框图。

图17为可以用于实现本技术的各方面的计算环境的框图。

具体实施方式

概略描述的本技术提供了用于使用深度学习优化无线网络(例如蜂窝网络)的框架，并包括用于结构化深度神经网络(deep neural network，DNN)的输入数据的机制。在各个实施例中，本技术识别蜂窝网络中表现不佳的小区，并选择与该表现不佳的小区相关的待优化的一组或多组小区，每组包含该表现不佳的小区及其相邻小区。对于每组待优化的小区，根据相关信息和小区间关系构造多维状态张量以表示该表现不佳的小区及其相邻小区的状态。该多维状态张量被布置为使得该表现不佳的小区位于张量的中心，并且与该表现不佳的小区关系较密切的相邻小区被置于更靠近该表现不佳的小区的位置。然后，这些多维状态张量被用作DNN的输入，以生成解决方案。该解决方案又用于调节所选择的小区组中小区的小区参数，以优化蜂窝网络。当这些解决方案相对于使用当前使用的或其他最优的可用解决方案提高了网络性能时，可以采纳这些解决方案。然后，可以将对这些解决方案的采纳或拒绝反馈回DNN以改善其操作。

本技术至少提供了以下技术优势。自组织网络(self-organizing networks，SON)，特别是利用深度学习的SON可以用于自动优化蜂窝网络。使用深度学习，本技术使用来自用户设备的移动报告作为输入数据。虽然在本方法下还可以考虑工程参数和用户设备的地理位置信息，但这些信息对于深度神经网络生成最优化解决方案不是必需的。因此，由于不需要进行工程参数的现场验证或大批优化工程师进行路测(drive testing)，本技术可以比传统系统更快地为蜂窝网络找到最优化解决方案。

此外，深度神经网络的使用需要关于目标网络和输入数据的最小假设，因此使深度神经网络能够自适应具有动态和复杂网络交互的难以人工建模的不可预见场景或状况。再者，由于深度神经网络具有自适应新状况的能力，已根据一个地理位置处的数据进行训练的深度神经网络将能够优化新的地理位置处的蜂窝网络，而无需完全从头开始重新训练。

作为另一优势，深度神经网络可以从将解决方案应用于实际网络的先前经验中学习(例如，基于性能或成本方面的正增益或负增益，或基于在解决方案被应用于网络后的网络的新状态张量等)。因为深度神经网络收集来自各个位置的蜂窝网络的数据和反馈，随着时间的推移，深度神经网络的速度和准确性逐渐提高。另外，深度神经网络可以根据各种模拟的或真实的场景进行训练。一旦深度神经网络经过了足够的训练，这些神经网络可以一次生成对于新的现实世界场景的最优解决方案，而无需进行多次迭代调整。

本说明书涉及使用卷积神经网络(convolutional neural network，CNN)来说明本技术的一个实施例。然而应理解，本技术的替代实施例可以使用其他神经网络配置和深度学习算法。这些其他神经网络配置和深度学习算法包括但不限于循环神经网络、深度波尔茨曼机(deep Boltzmann machine)、以及深度信念网络。

本技术的实施例还可以应用于无线网络优化的许多其他方面，例如自动邻区关系(automatic neighbor relation，ANR)、物理小区标识的自动配置(automatedconfiguration of physical cell identity，ACPCI)、移动鲁棒性优化(mobilityrobustness optimization，MRO)、移动负载平衡(mobility load balancing，MLB)、覆盖和容量优化(Coverage and Capacity Optimization，CCO)、节能、干扰减少、RACH优化、小区间干扰协调(Inter-cell interference coordination，ICIC)、不准确工程参数的校准、小区标记、待优化或调节的小区或区域的识别、小区中断检测(Cell Outage Detection，COD)、小区中断补偿(Cell Outage Compensation，COC)、以及其他。此外，虽然本技术的实施例相对蜂窝网络100讨论，但应理解，在其他实施例中可以采用各种不同的网络和部件，包括例如Wi-Fi网络的其他类型的网络。

图1是用于通信数据的示例性蜂窝网络100的示意图，本技术可以在该示例性蜂窝网络中实现。在一个实施例中，蜂窝网络100包括具有无线覆盖区域101的基站110、多个移动设备120、以及服务器130。

基站110在此也称为BS 110，是用于提供无线网络中的无线接入的任何部件(或组件的集合。在无线网络的背景下，更一般地，BS 110可以称为接入点(access point，AP)，AP包括用于提供无线网络中的无线接入的任何部件(或部件的集合)，例如演进型NodeB(evolved NodeB，enB)、宏小区、毫微微小区、或Wi-Fi接入点。在一个实施例中，BS 110可以包括促进移动设备120和蜂窝网络100之间的无线通信的一组电子通信设备。设置于BS 110的电子通信设备可以包括天线、一个或多个收发器、数字信号处理其、控制电路、GPS接收器、主电源和备用电源、sheltering、以及用于向移动设备发送信息或接收来自移动设备的信息的其他设备。BS 110还可以具有工程参数，包括但不限于天线塔的高度、基站天线的机械倾角、以及电倾角。这些参数中的一些可能是固定的，而其他参数可以机械调节或电调节。

移动设备120是能够建立于BS 110的无线连接的任何部件(或部件的集合)。如本领域中使用的，移动设备可以称为用户设备(user equipment，UE)、移动站(mobilestation，STA)、中继、或用于机器类通信的设备。每个移动设备120可以产生关于网络性能的移动报告(mobile report，MR)，包括例如参考信号接收功率(reference signalreceived power，RSRP)和参考信号接收质量(reference signal received quality，RSRQ)之类的测量。

BS 110可以向移动设备120提供无线通信覆盖，使得每个BS 110可以通信链接到零个或更多个移动设备120，直至特定容量。如图所示，BS 110建立与移动设备120的上行(短划线)和/或下行(点线)连接，这些上行和下行连接用于携带从移动设备120到BS 110的数据，反之亦然。上行/下行连接上携带的数据可以包括移动设备120之间通信的数据，以及通信至/来自服务器130的数据。BS 110可以根据一个或多个无线网络协议提供无线接入，例如长期演进(long term evolution，LTE)、先进型LTE(LTE advanced，LTE-A)、高速分组接入(high speed packet access，HSPA)、以及Wi-Fi 802.11a/b/g/n/ac。

在替代实施例中，如图2所示，蜂窝网络100可以包括多个BS 110，多个BS 110通信互联以形成BS 110的网络。每个BS具有其自己的覆盖区域101。通过将来自不同覆盖区域101的移动设备120连接到BS 110的网络，移动设备实际上也通信互联，并且可以通过BS110的网络相互发送和接收信息。

服务器130包括，例如，无线通信器131、存储器132、网络运营商133、以及控制器190。如箭头112所示，无线通信器131发送离开服务器130的出站信息并接收进入服务器130的入站信息。在替代实施例中，这包括发送到BS 110或BS 110的网络和从BS 110或BS 110的网络发送的信息。在一个实施例中，服务器130经由直接通信链路与BS 110通信地链接。在涉及BS 110的网络的替代实施例中，服务器可以直接链接到地理上最接近服务器130位置的BS 110之一。在另一个实施例中，BS网络中的每个BS 110可以具有到服务器130的直接通信链路。应当理解，在本技术的替代实施例中，还可能有网络连接的其他配置。

存储器132将信息存储在服务器130，包括从BS 110接收的信息和关于BS 110的信息。这可以包括来自移动设备120的移动报告(MR)，例如参考信号接收功率、参考信号接收质量、信道质量指示、信干噪比。存储器132还可以存储关于BS 110的工程参数的信息，例如电子倾角(eTilt)、方位角、和机械倾角(mTilt)。存储器132还可存储服务器130可调用并执行的指令、功能、和软件应用。网络运营商133管理BS 110(或在替代实施例中的BS的网络)的操作，并且从无线通信器131和存储器132接收并处理信息以生成用于配置BS 110或与其他BS 110通信的控制信号。蜂窝网络100中的元素。

控制器190可以是适于对无线覆盖区域101执行网络优化的任何组件或组件集合。控制器190可以与BS 110位于同一位置。可替代地，控制器190可以是设备。控制器190可以与服务器110分离并且不同，在这种情况下，控制器190可以经由服务器130与BS 110通信。可替代地，控制器190可以被实现为服务器130的组件，并且因此经由服务器130的通信功能与BS 110通信。在另一实施例中，控制器还可以是第二服务器的组件，该第二服务器与服务器130通信地链接并且经由服务器130与BS通信。

图2示出了包括局部覆盖区域201、202、203、204、和205的蜂窝网络200的实施例，在这些覆盖区域内，分别由BS 211、212、213、214、和215向移动设备220提供无线接入。应理解，为了简洁明了，蜂窝网络200被示出为包括五个BS和覆盖区域，但在蜂窝网络的其他示例中可以采用任何数量的覆盖区域和BS。应理解，在一些实施方式中，蜂窝网络200可以是异构网络(Het-Net)，其中，BS 211、212、213、214、和215中的至少一些使用不同的无线接入技术通信。

修改覆盖区域201、202、203、204、和205中的特定一个覆盖区域的无线配置参数可以影响该特定覆盖区域的性能以及其他附近覆盖区域的性能。例如，增加局部覆盖区域205的发射功率电平可以提高局部覆盖区域205中的覆盖和容量，同时还增加局部覆盖区域201、202、203、和204中的小区间干扰。局部覆盖区域201、202、203、204、和205中的无线配置参数也可以以影响蜂窝网络200的整体性能的方式相互补充。例如，相邻局部覆盖区域201、202、203、204、和205的滞后余量可以影响整个蜂窝网络200上的移动负载平衡(mobilityload balancing，MLB)和移动鲁棒性优化(mobility robustness optimization，MRO)性能。

在一个实施例中，控制器290可以包括深度神经网络(DNN)，DNN用于如下所述通过使用各种SON技术处理从BS 211、212、213、214、和215接收的信息(例如测量报告、关键性能指标(KPI)等)来生成结果(例如优化解决方案、诊断、预测值等)。在一个实施例中，如下所述，控制器290使用替代性SON技术生成替代性结果。

控制器290可以使用SON技术执行蜂窝网络200中的各种SON相关任务，例如自规划任务、自管理任务、自优化任务、或自诊断任务。术语“SON技术”一般指用于执行蜂窝网络200中的SON相关任务的任何自主技术，其中，基于采用的SON技术输出结果。在一个示例中，SON技术是自优化技术，并且结果是自优化技术生成的优化解决方案。在另一示例中，SON技术是自诊断技术，并且结果是自诊断技术生成的诊断。在另一示例中，SON技术是在执行SON相关任务(例如自规划)时使用的预测技术，并且结果是该预测技术生成的预测。应理解，所公开的示例是非限制性的。

替代性SON技术可以使用策略以解决同样的SON相关问题。例如，一种覆盖容量优化(CCO)算法可以使用负载平衡策略以实现所需的覆盖/吞吐量性能水平，而其他CCO算法可能很大程度上依赖于减少干扰以通过管理/减少小区间干扰来实现相似的性能水平。在这样的示例中，前一CCO算法可能试图通过以在多个覆盖区域分发业务的方式调节天线倾角和/或发射功率电平来提高覆盖/吞吐量，而后一CCO算法可能试图通过以减少小区间干扰的方式调节天线倾角和/或发射功率电平来提高覆盖/吞吐量。

作为另一示例，多种自愈技术可以用于小区中断补偿(COC)，例如，基于强化学习的COC技术、基于模拟退火的技术、以及基于领域知识的COC技术。作为另一示例，多种诊断技术可用于识别问题小区(例如，基于卡尔曼滤波器的异常检测技术、基于主成分分析的异常检测技术等)和准确指出所识别的问题的根源(例如，基于决策树的分类技术、基于专家系统的根源分析技术、基于随机森林的分类技术等)。在另一示例中，多种预测技术用于预测感兴趣的实体，例如KPI(例如，基于时间序列的KPI预测技术、基于主成分回归的预测技术、基于偏最小二乘的技术)、UE位置(例如，基于指纹的UE定位技术、基于高斯混合模型的技术)等。

通过使用这些不同的策略，替代性SON技术可以在不同网络环境中产生不同程度的效果。参考上述示例，很大程度上依赖于负载平衡的CCO算法可以在经历不稳定的业务分布(例如，新用户的涌入)的无线网络中提供更好的覆盖和/或吞吐量性能，而很大程度上依赖于干扰减少的CCO算计可以在经历高业务量的无线网络中提供更好的覆盖和/或吞吐量性能。因此，根据网络运营商选择使用的SON技术，网络运营商可以实现非常不同的性能。

图3示出了六边形平铺形式表示的蜂窝网络300。蜂窝网络包括BS 311至BS 317，每个BS被覆盖的地理区域包围，这些覆盖的地理区域分别由六边形小区401至六边形小区407表示。小区401至小区407一起组成小区组。

在一个示例中，小区301至小区307覆盖的区域彼此不重叠，但在其他实施例中，小区301至小区307可能有一些重叠或大部分重叠。相邻小区301至相邻小区307可以相互影响，使得一个BS(例如BS 311)的设置的改变可以不仅影响BS 311所在的小区301的覆盖和容量，还影响相邻小区302至相邻小区307的覆盖和容量，例如影响多个小区301至小区307的交汇处的阴影区域的覆盖和容量。每个小区组可以具有特定的布局和拓扑，包括小区301至小区307之间的相对距离和其相对于彼此的角度方向。图3所示的蜂窝网络仅是实例，在其他实施例中可以有所改变。

可以理解，每个六边形小区301至六边形小区307是BS 311至BS 317的覆盖区域的理想化表示，可能并不反映实际覆盖区域的形状或尺寸。由于小区的覆盖区域的大小和形状可能因各种影响而改变，故小区的实际覆盖区域难以预测。例如，每个基站的天线可能不同地放置，并且诸如建筑的障碍物可能会对无线覆盖产生阴影效应(shadowing effect)。虽然小区的覆盖区域的理想表示可以是具有同样形状的六个邻区的六边形小区，但是小区的实际覆盖区域具有不同的大小和形状。因此，与任意特定小区具有最强关系、交互、或干扰的小区可能不在如图3所示的六边形网格的六个相邻小区中。与特定小区具有最强关系的相邻小区可能是与上述六个相邻小区组成的环相邻的十二个小区之一。

可以收集来自小区301至小区307中的每个小区中的BS 311至BS 317的数据，并将该数据上传至服务器，例如服务器330。这样的数据可以包括，例如，RSRP、RSRQ、信道质量指示(CQI)、信干(signal to interference，SIR)噪比、以及工程参数(例如电子倾角、方位角、和机械倾角)。这些参数仅是示例，在其他实施例中可以收集其他或替代类型的数据。这些数据可以用于诊断蜂窝网络300的覆盖和容量的问题，并用于优化蜂窝网络300。例如，从多个渠道收集的数据可以布置成多维多渠道状态张量，并作为输入数据馈送至深度神经网络，以生成关于如何调节小区参数和BS设置以提高蜂窝网络300的覆盖和容量的一组推荐。这将在以下附图中详细讨论。

图4示出了示例性深度神经网络(DNN)400，在该DNN中可以实现本技术的实施例。如本领域已知的，DNN是具有一个以上的隐藏层的神经网络。DNN 400包括输入层401、多个隐藏层402、以及输出层403。在所公开的实施例中，DNN 400被示出为具有三个隐藏层402，但应理解，替代实施例可以具有任意数量的两个或更多个隐藏层402。每层401至层403可以具有一个或多个节点410，在本领域中也称为神经元。应当理解，替代实施例可以具有比图3所示的更少或更多的节点410。在一个实施例中，DNN 400中的当前层中的每个节点410连接至前一层和下一层中的每个节点410。这被称为全连接神经网络。在DNN 400的替代实施例中，也可以存在其他神经网络结构，其中，并非每一层的每个节点410都需要连接至前一层或下一层的每个节点410。

在一个实施例中，可以为输入层401的每个节点410分配一个值，并可以将该值输出至下一层(隐藏层402)中的每个节点410。在一个实施例中，分配的值可以是0或1。在另一实施例中，上述值可以是0和1之间的任意实数。输入节点410可以表示关于现实世界的特征。例如，用于对对象是否为矩形进行分类的DNN可以具有表示该对象是否具有直边的输入节点，其中，为节点分配值1可以表示该对象具有直边，为节点分配值0可以表示该对象不具有直边。输入层401中还可以存在可以表示其他特征(例如该对象是否具有角度为九十度的角)的其他输入节点410。类似地，对于将图像作为输入的DNN，输入层401的节点410中的每个节点可以表示图像的一个像素，其中，所分配的值可以表示该像素的强度，从而分配的值1意味着该像素是全黑的，分配的值0意味着该像素是全白的。在一个实施例中，用于优化无线网络的神经网络可以具有输入层401，该输入层401具有用于表示无线网络100(图1)中的小区组中的小区对的每种排列的干扰因子的节点410。例如，在一个实施例中，一旦生成了包括小区1、小区2、和小区3的一组小区，则DNN400中将包含用于表示小区间的干扰因子的独立节点，即表示小区1和小区1、小区1和小区2、小区1和小区3、小区2和小区1、小区2和小区2、小区2和小区3、小区3和小区1、小区3和小区2、小区3和小区3间的干扰因子的独立节点。

隐藏层402中的每个节点410可以从前一层中的一个或多个节点410接收输出值，并将前一层中的一个或多个节点410中的每个节点与某个权重相关，该权重具有0到1之间的值。隐藏层402中的每个节点410随后可以用从前一层中的一个或多个节点410中接收的值中的每个值乘以与前一层中的一个或多个节点410相关的权重，并将乘积的总和输出至下一层中的一个或多个节点410中的每个节点。

输出层403中的节点410以与先前所述的隐藏层402中的节点相似的方式处理从隐藏层402的节点410接收的输入值。在一个实施例中，输出层403中的每个节点410可以用从前一隐藏层402中的每个节点410接收的每个输入值乘以权重，并将乘积求和以生成输出值。输出层403中的节点410的输出值可以以预定义格式提供所需的信息，其中，所需的信息可以与提供至输入层401的节点410的信息(输入)具有某些关系。输出层403可以表示的内容的示例包括但不限于分类、关系、测量、指令、以及推荐。作为说明性示例，对图像是矩形还是椭圆进行分类的DNN 400可以具有输出层403的第一节点410，该第一节点410用于指示该对象是否为矩形，其中，输出值1表示该对象是矩形，输出值0表示该对象不是矩形。输出层403还可以具有第二节点410，该第二节点用于指示该对象是否为椭圆，其中，第二节点的输出值1表示该对象是椭圆，输出值0表示该对象不是椭圆。虽然以上提供的示例涉及对几何形状进行分类，但这仅用于说明，DNN的输出层403的节点410可以用于对各种各样的对象和其他特征中的任何对象和特征进行分类，并以所需格式输出各种所需信息中的任何信息。

或者，输出层403的节点410中的每个节点可以表示推荐。例如，根据本技术的一个实施例，用于优化蜂窝网络的DNN 400可以具有输出层403的节点410，该节点410表示是否增大无线网络100中的基站上的天线的倾角，其中，输出值1表示以预定增量增大该倾角，输出值0表示不增大该天线的倾角。

DNN 400中每一层中节点410的数量以及层的数量(即深度)影响DNN400的复杂度，因此影响DNN 400找到解决方案的能力和DNN 400的训练速度。通常，每一层501、502和503中的节点的数量越多以及层数越多，DNN 400越能解决复杂的问题，但也需要越长的训练时间。

图5示出了可以在其中实现本技术的实施例的示例性卷积神经网络(CNN)500。在一个实施例中，CNN500可以具有输入层501、卷积层502、子采样层503、全连接层504、以及输出层505。应理解，在替代实施例中，CNN 500可以具有额外的卷积层505和子采样层503。在一个实施例中，在替代卷积层502和子采样层503后可以有一个以上的全连接层504。图5的虚线箭头指示在图中独立的节点，以更清楚地展现其对于前一层中的节点的连接性。因此，在虚线箭头的两个末端的圆圈表示同一节点。相应地，虚线箭头并不表示不同节点之间的连接。

CNN 500是DNN 400(图4)的一种类型，具有三个额外的特征：局部感受野(localreceptive fields)、共享权重、以及池化。CNN 500的输入层501和输出层505与如图4所示的DNN 400的输入层401和输出层403作用相似。CNN 500与DNN 400(图4)的区别在于，DNN400的隐藏层402被一个或多个卷积层502、子采样层503、以及全连接层504代替。局部感受野的使用涉及使CNN 500的卷积层502中的节点510从前一层中的局部区域520接收输入。共享权重的使用涉及使CNN 500的卷积层502中的每个节点510将同一组权重分配给局部区域520的相对位置。

与图4中的隐藏层402的节点410不同，卷积层502中的节点510并不从前一层的每个节点510接收输出值。相反，卷积层502中的每个节点510仅从前一层的局部区域520内的节点510接收输出值。在一个实施例中，如图6所示，局部区域520是输入层501中的4*4的节点510集。应理解，在替代实施例中，局部区域520可以更大或具有不同的形状。输入层501中的每个4*4区域520(即局部区域)对应于卷积层502中的节点510，使得卷积层502中的每个节点映射到输入层501的不同4*4区域520。

共享权重的使用是卷积层502的另一特征。卷积层502中的每个节点510可以为局部区域520中的节点510的每个输出值分配权重。不同于图4的DNN 400，在DNN 400中隐藏层402中的不同节点410可以将不同的一组权重分配给从前一层接收的输出值，而卷积层502中的节点510将同一组权重分配给与卷积层502中的该节点510对应的局部区域520中的节点510输出的值。

在图5的示例中，卷积层502中的节点510的其中两个节点被独立出来，如虚线箭头所示，以示出其对于输入层501上的局部区域520内的节点510的连接性。如前所述，CNN的卷积层502中的节点相对于前一层的局部区域520上的位置全部使用同一组权重。例如，对于由布置为3*3方形的9个节点510组成的局部区域520，在左列和右列的节点510可以被分配权重0，而在中间一列的节点510可以被分配权重1。对于接受一组像素强度作为其输入的CNN 500，从输入层501接收输入的卷积层502上的节点的权重的这种布置可以指示CNN 500的卷积层502的这些节点510可能试图识别输入层501的局部区域520中的垂直线，或至少在3个高强度节点510被布置在垂直线上时，试图识别输入层501的局部区域520中的垂直线。这样，卷积层502的节点510可以被认为是检测前一层的局部区域520中的特征。

因此，对于CNN，卷积层502中的每个节点510对在输入层501的不同局部区域520中的同一特征进行响应。例如，卷积层502中的每个节点510可以分配待施加至该节点510连接到的局部区域520内的节点输出的值的一组权重。卷积层502中的每个节点510将用该节点从前一层的局部区域520的节点510接收到的输出值乘以值为0到1之间的权重。该节点随后向下一层输出所有乘积的总和。该输出随后作为下一层的节点的输入。

子采样层503对前一层的输出值执行池化操作。在一个实施例中，卷积层502被分为2*2部分530，每一部分530对应于子采样层503中的一个节点510。在一个实施例中，子采样层503的节点510输出来自前一层中的2*2部分530中的节点510的输出值的最高值。在替代实施例中，可以使用其他操作，例如找到来自前一层中的2*2部分530内的节点的输出值的平均值。该池化操作将节点510的层压缩为具有更少节点510的层，从而降低了CNN 500的复杂度，带来更快的处理速度。

全连接层504与图4中的隐藏层402类似地操作，全连接层504中的每个节点连接至前一层中的每个节点510，并且接收来自前一层中的每个节点510的输出值。这些层允许CNN500基于卷积层502和子采样层503中识别和池化的特征执行额外的处理。

提供对深度神经网络和卷积网络的以上描述是为了对这样的网络有一般的理解。图6a至图14示出了根据本技术的各方面如何导出这种网络的输入。根据本技术的各方面，可以收集与蜂窝网络的运行通信条件有关的原始数据，这些原始数据用于导出状态平面，状态平面又可以组成多维状态张量。然后，状态张量可以用作深度神经网络的输入。从原始数据导出状态平面以及将状态平面组成多维状态张量允许上述神经网络更快地处理数据。将参考图6a至图14描述这些特征。

图6a和图6b示出了涉及多维多渠道状态张量600的本技术的实施例，该多维多渠道状态张量600可用于存储收集的与蜂窝网络100(图1)的运行通信条件相关的信息。状态张量600是多维数据结构，例如可以实现为多维数组。在一个实施例中，状态张量600具有三个维度并且包括多个状态平面610。在替代实施例中，状态张量600可以具有更多或更少的维度，并包括任意数量的一个或多个状态平面610。

状态平面610是二维数据结构，例如可以实现为二维数组，以存储与蜂窝网络中的小区的运行通信条件有关的数据。状态平面610具有水平轴和垂直轴620以及多个数据字段630，数据字段630存储关于蜂窝网络100(图1)的信息。如将参考图15更详细所述，深度神经网络的节点可以接收存储在数据字段630中的信息作为输入。这样，状态张量600表现得像图5的深度神经网络500的输入层501。因此，通过在状态张量600中结构化关于蜂窝网络的信息，本技术允许深度神经网络将存储在状态张量600中的信息作为输入，以计算用于优化蜂窝网络的解决方案。

在一个实施例中，状态平面610中的数据字段630可以包含关于小区特征的信息。小区特征是与蜂窝网络中的小区的运行通信条件相关的一种信息，包括与小区或小区对之间的关系相关的信息，例如，小区的基站的机械倾角或两个小区之间的干扰量。另外，可以从不同信息渠道接收不同的小区特征。本文使用的信息渠道是与小区的特征有关的信息源。信息渠道的示例包括(1)蜂窝网络拓扑，其可以提供例如基站间的距离、基站相对彼此的角度位置、以及基站高度的特征的信息，(2)工程参数，其可以提供关于例如基站的方位角、机械倾角、电子倾角的特征的信息(3)关键性能指标，其可以提供关于例如吞吐量和小区负载的特征的信息，以及(4)来自用户设备的移动报告，其可以提供关于例如参考信号接收功率、参考信号接收质量、信干噪比、以及信道质量指示、目标函数、网络性能测量的累积分布函数、以及干扰因子矩阵的特征的信息。

在一个实施例中，状态张量600可以包括一组或多组601状态平面610，每组状态平面存储与蜂窝网络中的不同小区及其相邻小区相关的信息。每个状态平面对应于小区特征(例如mTilt)。现将根据图7的流程图和图8-图14的图示来说明从关于小区特征的数据生成状态平面610。图7示出了本技术的一个实施例的优化蜂窝网络的操作的流程图。图8为包括15个基站的样本蜂窝网络的图示，如图8所示，这15个基站任意标号为1-15。

在步骤702，系统识别表现不佳的基站。在一个实施例中，这可以通过持续监测各个小区测量是否超过一个或多个预定上阈值和/或预定下阈值来完成。这种测量的示例包括但不限于关键性能指标、关键质量指标、以及目标函数。更具体地，例如，噪声和干扰可以与定义了上限的阈值相比，而信号质量阈值可以与最小阈值相比。在一些实施例中，可以基于严重性、权重、自上次优化小区以来的时间、以及这些值是否超过预定阈值来确定小区是否表现不佳。在替代实施例中，除了上述准则或替代上述准则，可以包括其他准则。

图9示出了若干可能示例中的一种，其中，系统通过监测蜂窝网络中的每个小区的参考信号接收功率(RSRP)和参考信号接收质量(RSRQ)来测量性能。注意，在监测网络中的表现不佳的小区时，可以使用其他小区特征。RSRP值和RSRQ值随后被归一化。在一个实施例中，系统接收的最高RSRP值和RSRQ值减去接收的最低RSRP值和RSRQ值，以确定RSRP和RSRQ的方差值。然后，通过用每个小区的RSRP值和RSRQ值减去系统接收的最低RSRQ值和RSRP值并用该结果除以RSRP和RSRQ的方差值，对每个小区的RSRP值和RSRQ值进行归一化。这产生了归一化的RSRP值和归一化的RSRQ值。图9示出了小区1到小区15的样本RSRP值和RSRQ值，其被归一化为0到100之间的值。

在一个实施例中，可以将权重0.75分配给归一化的RSRP值，而将权重0.25分配给归一化的RSRQ值。这些权重仅是示例，在其他实施例中可以有所改变。每个小区的RSRP值和RSRQ值随后乘以其分配的权重，然后相加以产生整体性能值。可以设置用于识别表现不佳的小区的预定阈值，例如设置为5。因此，性能值低于5的任何小区被识别为表现不佳。在一个实施例中，通过为所有表现不佳的小区分配优先值并选择具有最高优先值的小区来选择表现不佳的小区。

在步骤704，系统选择一个表现不佳的小区进行优化。在图9的示例中，小区10低于阈值，因此可以被选为表现不佳的小区。在步骤706，系统生成小区组，该小区组表示为例如列表、数组、或其他数据结构，该小区组包括所选的小区及其相邻小区。在一个实施例中，可以基于位置、邻区关系、和/或组的大小生成组。在替代实施例中，除了上述准则或替代上述准则，可以包括其他准则。在图10的实施例中，系统被设置为选择被识别为表现不佳的小区的两个小区内的所有相邻小区。在该示例的蜂窝网络中，这包括除小区1和小区4外的所有小区。

在步骤708，系统基于所选择的小区和相邻小区之间的一个或多个关系参数对与所选择的小区相关的相邻小区进行排序。一般地，该关系参数可以是相邻小区与所选择的小区相对于一个或多个小区特征的相关程度的测量。这里“相关度”的概念可以是两个小区之间涉及一个或多个小区特征的任何逻辑关系。在一个示例中，在两个小区对于给定小区特征显示相同的测量的情况下，这两个小区可能相对于该小区特征高度相关。在另一实施例中，在两个小区相对给定小区特征一起变化的情况下，这两个小区可能相对该小区特征高度相关。在另一实施例中，在两个小区相对于某个小区特征彼此相反地变化的情况下，这两个小区可能对于该小区特征高度相关。其他关系可以用作相关度的测量。

可以基于每个相邻小区622与所选择的表现不佳的小区621之间的一个或多个关系参数来进行排序，使得与所选择的小区621具有较强关系的相邻小区622被放置在状态平面610的轴上更靠近所选择的小区621的位置。在实施例中，被认为对小区性能影响最大的小区特征可以用于测量相关度。然而，多种小区特征中的任何特征可以用于测量相关度。在图11-图14所示的一个实施例中，一起使用干扰、小区距离、和小区功率的小区特征。即，可以评估每个相邻小区以确定对于一起考虑的小区特征干扰、小区距离、以及小区功率，该小区与所选择的表现不佳的小区的相关程度。在此，两个小区之间的干扰可以是一个小区的操作对另一小区的影响程度。距离可以是两个小区基站之间的距离的测量。小区功率可以是一个小区相对于另一小区的功率输出的测量。可以选择多种其他小区特征或小区特征的组合以评估相对于这些一个或多个特征的小区的相关度。

图11示出了图10的小区，以及每个相邻小区相对于所选择的表现不佳的小区的干扰、小区距离、和功率的任意归一化值。在实施例中，在排序中使用的每个小区特征的值可以如上所述地被单独确定、加权、求和、然后归一化。小区中较小的值意味着对于这些特征，该小区与所选择的表现不佳的小区之间相关度较小，而小区中较大的值意味着对于这些特征，该小区与所选择的表现不佳的小区之间的相关度较大。因此，例如，小区8与表现不佳的小区10之间的归一化值为80。在该示例中，尽管小区11更靠近小区10，但小区11与该表现不佳的小区之间的归一化值为20。这可能是由许多因素引起的，包括例如小区10和小区11之间的干扰非常低。

具有较高相关度值的相邻小区被分配较高的排序。因此，系统将12个相邻小区如下表1所示排序：

小区	相关度值	排序
			C9	90	N1
C8	80	N2
			C13	75	N3
C12	70	N4
			C6	65	N5
C5	60	N6
			C2	50	N7
C7	45	N8
			C3	40	N9
C14	30	N10
			C11	20	N11
C15	10	N12

表1

在步骤710，系统基于上述排序生成该组小区的多维多渠道状态张量。在一个实施例中，这通过在步骤712初始化第一状态平面610(在此也称为基本网格)完成，第一状态平面610具有固定的预定大小和维度，例如n x n，其中，n是该组中小区的数量(在当前实施例中为13)。一旦确定了大小，则可以通过基于该大小分配足够的内存来初始化状态平面610。在替代实施例中，基本网格的大小是可变的和动态的，具有指定的最大大小。所选择的小区及其相邻小区可以沿基本网格的水平轴和垂直轴放置。在一个实施例中。所选择的小区放置在水平轴和垂直轴的中心，在水平轴和垂直轴上，具有较高排序的相邻小区较靠近所选择的小区放置。在替代实施例中，所选择的小区可以放置在水平轴和垂直轴的一端(例如，垂直轴的顶部和水平轴的最左位置)，具有较高排序的相邻小区较靠近所选择的小区放置。

图12示出了包括在水平轴和垂直轴的中心的所选择的表现不佳的小区10的状态平面610。图13示出了按排序填充的其余小区，最高排序的小区(以上表1)放置在最接近所选择的表现不佳的小区的位置。如下所述，该排序是重要的，因为密切相关的小区的信息被密切地聚集在一起，从而当状态张量600被馈入CNN作为输入时，更有可能落入卷积神经网络(CNN)的卷积层内的节点的局部感受野内。

在步骤714，用与所选择的小区特征相关的数据填充包括上述排序的状态平面。特别地，将一组中的每个小区与每个其他小区相比较，以得到归一化值，该归一化值指示相对于所选择的小区特征，每个小区相对每个其他小区的相关度。作为一个示例，可以选择干扰(自身)，并且可以确定归一化值，该归一化值指示相对于干扰，每个小区相对彼此的相关度。相互干扰较重的小区可以具有高相关度值，而相互干扰轻的小区可以具有低相关度值。在步骤716，可以确定相关度值，在步骤718，可以存储得到的状态平面610。

图14示出了包括在步骤716中确定的采样值的状态平面610，示出了不同小区相对彼此的归一化干扰值(图14的状态平面610的数据字段630示出为部分填充，但将具有对于每个相应小区对的值)。小区与其自身的干扰值可以设为100，并且相似的对将在这些对在状态平面中相交的两个位置处具有相同的值；即，例如，对C2、C11具有与对C11、C2相同的值(在图14的任意示例中为49)。这两对均指示小区C11和C2之间的归一化干扰值。

可以使用其他小区特征重复步骤712至步骤718以生成在状态张量600中待分组的额外的状态平面610。每个这样的状态平面将保持如上述步骤708中确定的相同的相关度排序。这些额外的状态平面可以具有相同的轴，并存储与小区对的其他特征相关的其他类型的信息。作为另一示例，对于状态平面610内的所有数据字段630，收集每对小区之间的距离，并将其存储在状态平面610内的相应数据字段630中。在替代实施例中，可以在单个数据字段630中存储关于一个以上特征或渠道的信息。

再次参考图6A，状态平面610的每个集合601可以包括状态平面610的一个或多个子集602(在图6a中用不同程度的阴影以区分)，每个子集602存储从不同信息渠道接收的信息。状态平面的子集对应于信息渠道(例如，工程参数或来自用户设备的移动报告)。多个子集可以组成一组状态平面(如图6A的状态张量600所示)。一组状态平面对应于包括表现不佳的小区及其相邻小区的小区组。一组状态平面内的每个状态平面存储关于同一小区组的信息。

作为按渠道分组的状态平面的一个示例，具有最暗阴影的子集602可以存储关于蜂窝网络拓扑的信息，具有最亮阴影的子集602可以存储关于工程参数的信息，中间的子集602可以包含关于关键性能指标(KPI)的信息。状态平面610的子集602还可以包括一个或多个单独的状态平面610。如上所述，子集602内的每个单独的状态平面610可以包含与一个小区特征相关的信息，该一个小区特征来自与该子集602相关联的渠道。例如，子集602内的具有最暗阴影的第一状态平面610可以包含与小区的基站之间的距离相关的信息，同一子集602内的第二状态平面610可以包含关于基站的高度的信息。应理解，在替代实施例中，关于如何结构化涉及多个渠道、特征、集合、和状态平面610的子集的信息的存储，可以有许多其他变形。

将多渠道信息组合成多维状态张量600并将该状态张量600馈入深度神经网络(例如卷积神经网络)作为输入数据，使该神经网络能够在多渠道信息中找到模式和见解。通过如上所述在状态张量600中结构化信息，密切相关的小区的信息被密切地聚集在一起，从而当状态张量600被馈入CNN作为输入时，更有可能落入卷积神经网络(CNN)的卷积层内的节点的局部感受野内。因此，在处理状态张量600中的信息时，CNN的卷积层能够更快且更有可能地识别密切相关的小区之间的模式和关系。参照图15进一步描述对状态张量600中的信息的处理。这种在状态张量600中结构化信息的方法为深度神经网络识别模式和见解并使用该模式和见解生成优化的解决方案的能力提供了显著优势。

在上述至少一些实施例中，基于相邻小区622的相同排序，对于状态张量600中的所有状态平面610，所选择的小区621和一个或多个相邻小区622在轴620上的位置相同。在替代实施例中，虽然上述位置对于状态平面610的某个集合601或子集602内的所有状态平面610是相同的，但是状态平面610的不同集合601或子集602在该平面的水平轴和垂直轴620上采用不同的小区位置，反映相邻小区622的不同排序。

图15示出了用于使用神经网络中的状态张量调节无线网络中的多个小区的小区参数的实施例方法1500的流程图。方法1500可以使用如共同未决申请No.________(先前通过引入并入本文)所述的DRL方法训练DRL神经网络(DRL-NN)以选择动作以调节与两个基站相关联的两个小区(小区1和小区2)的小区参数。这两个小区从无线网络的小区中选择。在步骤1502，方法1500确定使用随机选择的权值还是专家监督深度神经网络(superviseddeep neural network，SDNN)的权值来初始化DRL-NN。专家SDNN是经过专家监督训练的深度神经网络，用于无线网络优化或调节类似的小区参数。DRL方法1500可以确定进行到步骤1504以使用随机权值初始化DRL-NN，或进行到步骤1506，其中使用专家SDNN的权值初始化DRL-NN。

方法1500随后可以使用多个经验元组以训练DRL-NN。每个经验元组由(C_k,S_t,R_t,A_t,S_t+1,R_t+1,标签)表示。C_k(k＝1,2)表示为其生成经验元组的小区，“标签”指示经验是DRL生成的元组还是专家生成的元组。S_t、R_t、S_t+1、A_t、R_t+1分别表示第一状态、与先前动作相关联的第一奖励、第二状态、将小区从第一状态转变至第二状态的动作、以及与该动作相关联的第二奖励。

当训练开始时，两个小区中的每个小区都具有初始状态。小区的状态可以由如上相对图6A至图14所述的状态张量表示。例如，小区1或小区的状态可以由32x32x10类图像的3D张量表示，包括感兴趣的小区(即，小区1或小区2)的信息和该感兴趣的小区的31个相邻小区的关系信息。3D张量包括10个特征平面，包括诸如以下的信息：倾角、方位角、RSRP或RSRQ的累积分布函数(CDF)、干扰矩阵、ISD等。为了便于说明，在该示例中，每个小区状态由状态向量(倾角，方位角，RSRP的CDF)表示。RSRP是在某个时间窗内(例如一小时内、12小时内、一天内)从32个小区收集的MR中获得的。

在该示例中，可以选择动作以调节倾角、方位角、发射功率、或以上任意组合。该动作可以由动作向量(倾角，方位角，功率)表示。每个向量元素表示用于调节一个小区参数的值。动作可以指示用于调节的相对变化或绝对值。在该示例中，动作向量中的元素值指示相应参数将被调节至的目标值。例如，某一选择的动作(5,15,N/A)指示将倾角调节到5°，将方位角调节到15°，并且不调节发射功率。对于小区1和小区2中的每个小区，在步骤1508，方法1500确定是否使用专家选择动作以调节相应小区的小区参数。基于在步骤1508的确定，方法1500可以进行到1510，生成DRL生成的经验元组，或进行到1512，生成专家生成的经验元组。方法1500可以选择动作(倾角，方位角，功率)，将选择的动作应用至相应小区，更新小区状态，并计算奖励，从而生成经验元组。例如，方法1500可以使用DRL-NN为小区1选择动作(-5,+15,N/A)，并且根据专家为小区2选择动作(+5.2,N/A,N/A)。方法1500分别根据所选择的动作调节小区1和小区2的参数，更新其状态，即，生成更新的状态向量，并计算其相应的奖励。在一个示例中，使用如在先前通过引入并入本文的共同未决申请No______中所讨论的成本函数计算奖励。在该示例中，每个小区的奖励通过f_cost＝(0.5*N1+0.5*N2)/N计算，其中，N1是从32个小区中的其服务小区的RSRP大于或等于RSRP阈值的UE接收的MR的数量，N2是从32个小区中的其服务小区的RSRQ大于或等于RSRQ阈值的UE接收的MR的数量，N是从32个小区中的UE接收的MR的总数。奖励指示针对小区的动作在调节提供小区的覆盖区域的基站的设置以改善无线网络性能上是否是正确的。

在步骤1514，方法1500确定是否需要生成更多经验元组。方法1500可以选择用于小区1和小区2的一系列动作，并且针对两个小区中的每个小区生成多个经验元组。方法1500可以返回步骤1508以生成更多经验元组。当生成经验时，该经验将被存储在经验池中以备将来提取。当不需要更多经验元组时，方法1500可以从经验池中提取小批经验元组。在步骤1516，方法1500确定为该小批选择DRL生成的经验元组还是专家生成的经验元组。当确定使用DRL生成的经验元组时，在步骤1518，方法1500从经验池中提取DRL生成的经验元组(C_k,S_t,R_t,A_t,S_t+1,R_t+1,DRL)。当确定使用专家生成的经验元组时，在步骤1520，方法1500从经验池中提取专家生成的经验元组(C_k,S_t,R_t,A_t,S_t+1,R_t+1,专家)。当方法1500在步骤1522确定该小批需要更多经验元组时，该方法返回到步骤1516以继续从经验池中为该小批选择更多经验元组；否则，该方法进行到步骤1524。在步骤1524，方法1500计算使用损失函数计算与该小批中的经验元组中的每个动作对应的TD误差。例如，可以计算TD误差以通过随机梯度下降来最小化MSE损失。在步骤1526，方法1500反向传播根据TD误差计算的梯度，以更新DRL-NN的权值。在步骤1528，方法1500确定DRL-NN是否需要更多训练。方法1500可以进行到步骤1530并停止训练，或进行到步骤1508执行进一步的训练。

图16示出了适于通过蜂窝网络100(图1)发送和接收信令的收发器1600的框图。可以在基站110中实现一个或多个收发器1600。如本文实施例所述，收发器1600可以用于优化小区特定天线配置参数。如图所示，收发器1600包括网络侧接口1602、耦合器1604、发射器1606、接收器1608、信号处理器1610、以及设备侧接口1612。网络侧接口1602可包括适于通过蜂窝网络100(图1)发送或接收信令的任何部件、电路、或以上组合。耦合器1604可包括适于促进通过网络侧接口1602进行的双向通信的部件或部件组合。发射器1606可包括任何适合将基带信号转换为适合通过网络侧接口1602发送的调制载波信号的部件或部件组合。接收器1608可包括适于将通过网络侧接口1602接收的载波信号转换为基带信号的任何部件或部件组合(例如，下转换器，低噪声放大器等)。信号处理器1610可以包括适于将基带信号转换为适合通过设备侧接口1612传送的数据信号(或反之亦然)的任何部件或部件组合。设备侧接口1612可以包括适于在信号处理器1610和主机(例如，UE设备120(图1)、局域网(local area network，LAN)端口等)内的部件之间通信数据信号的部件或部件组合。

收发器1600可通过任何类型的通信媒介发送和接收信号。在一些实施例中，收发器1600通过无线媒介发送和接收信令。例如，收发器1600可以是适于根据无线电信协议进行通信的无线收发器，该无线电信协议例如是蜂窝协议(如长期演进(LTE)等)、无线局域网(wireless local area network，WLAN)协议(例如Wi-Fi等)、或任何其他类型的无线协议(例如蓝牙、近场通信(near field communication，NFC)等)。在这些实施例中，网络侧接口1602包括一个或多个天线/辐射元件。例如，网络侧接口1602可包括用于多层通信的单个天线、多个独立天线、或多天线阵列，该多层通信例如是单输入单输出(single inputmultiple output，SIMO)、多输入单输出(multiple input single output，MISO)、多输入多输出(multiple input multiple output，MIMO)等。在其他实施例中，收发器1600通过例如双绞线、同轴电缆、光纤等的有线媒介发送和接收信令。具体的处理系统和/或收发器可使用所有示出的部件，或仅使用部件的子集，且集成程度因设备而异。

图17是可以用于实现各种实施例的网络设备1700的框图。特定的网络设备可以使用所示的所有部件，也可以仅使用这些部件的子集，并且集成程度可能因设备而异。此外，网络设备1700可以包含部件的多个实例，例如多个处理单元、处理器、存储器、发射器、接收器等。网络设备1700可以包括配备有一个或多个输入/输出设备(例如网络接口、存储接口等)的处理单元1701。处理单元1701可以包括中央处理单元(central processing unit，CPU)1710、存储器1720、大容量存储设备1730、以及连接到总线1770的I/O接口1760。总线1770可以是任何类型的若干总线架构中的一个或多个，包括存储器总线或存储器控制器、外围总线等。

CPU 1710可以包括任何类型的电子数据处理器。存储器1720可以包括任何类型的系统存储器，诸如静态随机存取存储器(staticrandom access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)、以上组合等。在实施例中，存储器1720可以包括在启动时使用的ROM，以及在执行程序时使用的用于程序和数据存储的DRAM。在实施例中，存储器1720是非暂时性的。在一个实施例中，存储器1720包括小区选择模块1720A，该小区选择模块1720A识别表现不佳的小区，生成小区组，选择待优化的小区组，以及选择待优化的每组小区中的小区。存储器1720还包括小区排序模块1720B，该小区排序模块1720B根据相邻小区与所选择的小区之间的关系强度对所选择的小区的相邻小区进行排序。存储器1720还包括张量构建模块1720C，该张量构建模块1720C提取有关相邻小区对之间关系的多渠道信息，并根据相邻小区的排序以及与相邻小区对之间的关系相关的多渠道信息构造多维状态张量。存储器1720还包括网络优化模块1720D，该网络优化模块1720D将多维状态张量作为输入数据输入到深度神经网络中，并使用该深度神经网络生成并应用用于优化蜂窝网络的解决方案。存储器1720还包括神经网络训练模块1720E，该神经网络训练模块1720E记录由网络优化模块1720D生成的解决方案和基于将解决方案应用于蜂窝网络的蜂窝网络的性能度量，并根据记录的信息更新深度神经网络。

大容量存储设备1730可以包括用于存储数据、程序、和其他信息并使数据、程序、和其他信息能够经由总线1770访问的任何类型的存储设备。大容量存储设备1730可以包括：例如，固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。

处理单元1701还包括一个或多个网络接口1750，该网络接口1750可以包括例如以太网电缆等的有线链路，和/或到接入节点或一个或多个网络1780的无线链路。网络接口1750允许处理单元1701经由网络1780与远程单元通信。例如，网络接口1750可以经由一个或多个发射器/发射天线和一个或多个接收器/接收天线提供无线通信。在实施例中，处理单元1701耦合到局域网或广域网，用于数据处理以及与例如其他处理单元、因特网、远程存储设施等的远程设备进行通信。

一种系统，包括选择装置和排序装置，选择装置用于选择小区组，该小区组包括被识别为表现不佳的小区以及一个或多个相邻小区，排序装置用于基于该表现不佳的小区与该一个或多个相邻小区之间的一个或多个关系参数，对一个或多个相邻小区进行排序。该系统还包括生成装置，用于基于一个或多个相邻小区的排序生成上述小区组的状态张量，该状态张量反映蜂窝网络中的该小区组内的运行通信条件。此外，该系统包括处理装置，用于处理状态张量以产生一个或多个推荐，用以调节蜂窝网络的一个或多个参数。最后，该系统包括调节装置，用于基于上述一个或多个推荐调节蜂窝网络的一个或多个参数。

应当理解，本主题可以以许多不同的形式来实施，并且不应被解释为限于本文所述的实施例。相反，提供这些实施例是为了使该主题彻底且完整，并将本公开完全传达给本领域技术人员。实际上，本主题旨在覆盖这些实施例的替代、修改、和等同形式，其包括在如所附权利要求所限定的本主题的范围和精神内。此外，在本主题的以下详细描述中，阐述了许多具体细节以便提供对本主题的透彻理解。然而，对于本领域的普通技术人员将清楚的是，可以在没有这种具体细节的情况下实践本主题。

根据本公开的各种实施例，可以使用执行软件程序的硬件计算机系统来实现本文描述的方法。此外，在非限制性实施例中，实现方式可以包括分布式处理、组件/对象分布式处理、以及并行处理。虚拟计算机系统处理可以被构造为实现本文所述的方法或功能中的一个或多个，并且本文所述的处理器可以用于支持虚拟处理环境。

在此参考根据本公开的实施例的方法、装置(系统)、和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解，流程图和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，从而使得经由计算机的处理器或其他可编程指令的执行装置执行的指令创建用于实现流程图和/或框图的框或多个框中指定的功能/动作的机制。

计算机可读非暂时性介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质、和固态存储介质，并且具体地排除信号。应该理解，该软件可以安装在设备中并随设备一起出售。可替代地，可以获取软件并将其加载到设备中，包括经由光盘介质或从任何方式的网络或分发系统获取软件，包括例如从软件创建者拥有的服务器或从软件创建者不拥有但使用的服务器获取软件。例如，该软件可以存储在服务器上，以便通过互联网进行分发。

本文所使用的术语仅出于描述特定方面的目的，并且无意限制本公开。如本文所用，除非上下文另外明确指出，单数形式“一”、“一个”、和“该”也意在包括复数形式。还将理解，当在本说明书中使用术语“包括”和/或“包含”时，其指定了所述特征、整数、步骤、操作、元件、和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其组的存在或添加。

已经出于说明和描述的目的给出了本公开的描述，但并非是穷举或将本公开限于所公开的形式。在不脱离本公开的范围和精神的情况下，许多修改和变形形式对于本领域普通技术人员将是显而易见的。选择和描述本文公开内容的各个方面是为了最好地解释本公开内容的原理和实际应用，并使本领域的其他普通技术人员能够理解本公开内容，并进行各种修改，以适应预期的特定用途。

为了本文的目的，与所公开的技术相关的每个过程可以由一个或多个计算设备连续地执行。过程中的每个步骤可以由与其他步骤中使用的相同或不同的计算设备执行，并且每个步骤不一定由单个计算设备执行。

尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应该理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述特定特征和动作被公开为实现权利要求的示例形式。

Claims (20)

1.一种计算机实现的方法，用于优化具有多个小区的蜂窝网络，所述方法包括：

选择小区组，所述小区组包括被识别为表现不佳的小区和一个或多个相邻小区；

基于所述表现不佳的小区和所述一个或多个相邻小区之间的一个或多个关系参数，对所述一个或多个相邻小区进行排序；

基于所述一个或多个相邻小区的所述排序生成所述小区组的状态张量，所述状态张量反映所述蜂窝网络中的所述小区组内的运行通信条件；

处理所述状态张量以产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数；以及

基于所述一个或多个推荐调节所述蜂窝网络的所述一个或多个参数。

2.根据权利要求1所述的计算机实现的方法，其中，处理所述状态张量以产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数包括：

将所述状态张量作为输入提交至深度神经网络；以及

使用所述深度神经网络产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数。

3.根据权利要求1-2中任一项所述的计算机实现的方法，其中，当一个或多个小区性能测量超过一个或多个阈值时，所述小区被识别为表现不佳。

4.根据权利要求1-3中任一项所述的计算机实现的方法，其中，所述一个或多个小区性能测量包括基于信号功率和信号质量之间的关系计算的目标函数值。

5.根据权利要求1-4中任一项所述的计算机实现的方法，其中，所述一个或多个关系参数包括所述表现不佳的小区和所述一个或多个相邻小区之间的干扰水平。

6.根据权利要求1-5中任一项所述的计算机实现的方法，其中，所述干扰水平是在一段时间上的平均值。

7.根据权利要求1-6中任一项所述的计算机实现的方法，其中，基于所述一个或多个相邻小区的所述排序生成所述小区组的状态张量包括：

选择基本网格的大小；

构造所选择的大小的基本网格，其中，所述小区组中的小区被放置在所述基本网格的水平轴和垂直轴上的位置；

提取一个或多个小区对的多渠道信息，所述一个或多个小区对中的每个小区对包括来自所述基本网格中的水平轴的小区和来自垂直轴的小区；以及

基于所述基本网格和提取的所述多渠道信息，构造所述状态张量。

8.根据权利要求1-7中任一项所述的计算机实现的方法，其中，所述构造基本网格包括：

将所述表现不佳的小区放置在所述基本网格中的所述垂直轴和所述水平轴的中心；以及

在所述基本网格中布置所述一个或多个相邻小区，使得排序较高的相邻小区在所述水平轴和所述垂直轴上更靠近所述表现不佳的小区放置。

9.根据权利要求1-8中任一项所述的计算机实现的方法，其中，所述深度神经网络是卷积神经网络。

10.根据权利要求1-9中任一项所述的计算机实现的方法，其中，所述使用所述深度神经网络产生所述一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数包括：

向所述蜂窝网络应用解决方案；以及

基于所述一个或多个推荐对所述蜂窝网络的影响确定是否接受所述一个或多个推荐，其中，通过所述蜂窝网络的整体覆盖和容量的变化测量所述影响。

11.根据权利要求1-10中任一项所述的计算机实现的方法，还包括：

响应于确定所述一个或多个推荐对所述蜂窝网络的所述整体覆盖和容量产生负面影响，拒绝所述一个或多个推荐；

响应于确定所述一个或多个推荐对所述蜂窝网络的所述整体覆盖和容量产生正面影响，接受所述一个或多个推荐；以及

基于是否接受所述一个或多个推荐，更新所述深度神经网络。

12.根据权利要求1-11中任一项所述的计算机实现的方法，其中，为所述小区组和一个或多个额外的小区组中的每个小区组分配优先级。

13.根据权利要求1-12中任一项所述的计算机实现的方法，其中，基于与所述小区组中的所述表现不佳的小区相关的严重性、偏好、权重、以及相邻关系中的一个或多个，计算所述小区组和一个或多个额外的小区组的所述优先级。

14.根据权利要求1-13中任一项所述的计算机实现的方法，其中，按从最高优先级到最低优先级的顺序优化所述小区组和所述一个或多个额外的小区组。

15.根据权利要求1-14中任一项所述的计算机实现的方法，其中，并行优化具有最高优先级的所述一个或多个额外的小区组中的至少一个和所述小区组。

16.一种蜂窝网络优化装置，包括：

非暂时性存储器，包括指令；以及

一个或多个处理器，与所述存储器通信，其中，所述一个或多个处理器用于执行所述指令以：

选择小区组，所述小区组包括被识别为表现不佳的小区和一个或多个相邻小区；

基于所述表现不佳的小区和所述一个或多个相邻小区之间的一个或多个关系参数，对所述一个或多个相邻小区进行排序；

基于所述一个或多个相邻小区的所述排序生成所述小区组的状态张量，所述状态张量反映所述蜂窝网络中的所述小区组的运行通信条件；

处理所述状态张量以产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数；以及

基于所述一个或多个推荐调节所述蜂窝网络的所述一个或多个参数。

17.根据权利要求16所述的蜂窝网络优化装置，其中，所述一个或多个处理器还用于执行指令以：

将所述状态张量作为输入提交至深度神经网络；以及

使用所述深度神经网络产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数。

18.根据权利要求16-17中任一项所述的蜂窝网络优化装置，其中，基于所述一个或多个相邻小区的所述排序生成所述小区组的状态张量的步骤包括：

选择基本网格的大小；

构造所选择的大小的基本网格，其中，所述小区组中的小区被放置在所述基本网格的水平轴和垂直轴上的位置；

提取一个或多个小区对的多渠道信息，所述一个或多个小区对中的每个小区对包括来自所述基本网格中的水平轴的小区和来自垂直轴的小区；以及

基于所述基本网格和提取的所述多渠道信息，构造所述状态张量。

19.根据权利要求16-18中任一项所述的蜂窝网络优化装置，其中，所述构造基本网格包括：

将所述表现不佳的小区放置在所述垂直轴和所述水平轴的中心；以及

在所述基本网格上布置所述一个或多个相邻小区，使得排序较高的相邻小区在所述水平轴和所述垂直轴上更靠近所述表现不佳的小区放置。

20.一种非暂时性计算机可读介质，存储用于优化具有一个或多个小区的蜂窝网络的计算机指令，当由一个或多个处理器执行时，所述计算机指令使所述一个或多个处理器执行以下步骤：

选择小区组，所述小区组包括被识别为表现不佳的小区和一个或多个相邻小区；

基于所述表现不佳的小区和所述一个或多个相邻小区之间的一个或多个关系参数，对所述一个或多个相邻小区进行排序；

基于所述一个或多个相邻小区的所述排序生成所述小区组的状态张量，所述状态张量反映所述蜂窝网络中的所述小区组的运行通信条件；

处理所述状态张量以产生一个或多个推荐，用以调节所述蜂窝网络的一个或多个参数；以及

基于所述一个或多个推荐调节所述蜂窝网络的所述一个或多个参数。

Images