CN111917446B - 用于选择和生成波束成形码本的装置和方法 - Google Patents

Abstract

提供了一种用于动态选择波束成形码本和分层地生成波束成形码本的装置和方法。根据一个实施例，该装置包括：信道估计处理器，被配置为在当前波束扫描周期中使用当前波束成形码本接收信号；查找表，被配置为存储多个波束成形码本；状态抽象处理器，连接在信道估计处理器和查找表之间，并且被配置为基于作为接收的信号和当前波束成形码本的函数的当前信道条件来确定码本索引，并且基于码本索引选择查找表中的多个波束扫描码本中的一个作为用于下一波束扫描周期的波束成形码本。

Description

用于选择和生成波束成形码本的装置和方法

相关申请的交叉引用

本申请要求于2019年5月10日在美国专利局提交的美国临时申请号62/846,170的优先权，其全部内容通过引用结合于此。

技术领域

根据本公开的实施例的一个或多个方面涉及无线通信系统，并且更具体地，涉及针对模拟波束成形用于动态选择码本和生成分层码本的装置和方法。

背景技术

在具有用于频分复用通信的天线阵列的射频(radio frequency，RF)接收或发射系统中，当只有一个RF链可用时，可能无法访问信道的分元(entry-wise)元素。相反，在每个时间或频率资源中，可以获得元素的线性组合。这可能是例如在用于毫米波(mm波)通信的系统中的情况，其中混合信号分量的高功耗和RF链的高成本可能使得为了实现可以用于低频多输入多输出(multiple-input multiple-output，MIMO)系统中的种类的数字基带波束成形变得昂贵。在这种用于mm波通信的系统中，可以替代地使用模拟波束形成；(阵列的)所有天线可以共享单个RF链，并且具有相同幅值的权重，即，恒定幅值约束可以应用于它们的权重。

线性组合可以使用移相器矢量获得，该移相器矢量可以被称为波束成形码字；一组这样的矢量(每一个要形成的波束一个矢量)可以被称为波束成形码本。码本可以被表示为阵列，该阵列的每一列是对应于相应波束成形码字的码字。

发明内容

根据一个实施例，提供了一种用于选择波束成形码本的装置。该装置包括：信道估计处理器，被配置为在当前波束扫描周期中使用当前波束成形码本接收信号；查找表，被配置为存储多个波束成形码本；状态抽象处理器，连接在信道估计处理器和查找表之间，并且被配置为基于作为接收的信号和当前波束成形码本的函数的当前信道条件来确定码本索引，并且基于码本索引选择查找表中的多个波束成形码本中的一个作为用于下一波束扫描周期的波束成形码本。

根据一个实施例，提供了一种选择波束成形码本的方法。该方法包括：由信道估计处理器在当前波束扫描周期中使用当前波束成形码本接收信号；在查找表中存储多个波束成形码本；由连接在信道估计处理器和查找表之间的状态抽象处理器基于作为接收的信号和当前波束成形码本的函数的当前信道条件来确定码本索引；以及基于码本索引，选择查找表中的多个波束成形码本中的一个作为用于下一波束扫描周期的波束成形码本。

根据一个实施例，提供了一种用于生成多个波束成形码本的装置。该装置包括：信道估计处理器，被配置为获得M^L-1个信道样本组作为当前信道样本组，其中M是整数，且L等于1；码本生成处理器，连接到信道估计处理器，其中码本生成处理器被配置为：(a)为当前信道样本组中的每个组选择码本学习函数；以及信道样本选择处理器，其连接到码本生成处理器，其中信道样本选择处理器被配置为(b)将当前信道样本组中的每个组内的信道样本分成M个子集作为当前信道样本组，其中信道样本选择处理器确定L是否等于预定值，并且其中，如果L不等于预定值，则信道样本选择处理器指示码本生成处理器重复(a)，并且信道样本选择处理器重复(b)。

根据一个实施例，提供了一种生成多个波束成形码本的方法。该方法包括(a)由信道估计处理器获得M^L-1个信道样本组作为当前信道样本组，其中M是整数，且L等于1；(b)由连接到信道估计处理器的码本生成处理器为当前信道样本组中的每个组选择码本学习函数；(c)由连接到码本生成处理器的信道样本选择处理器将当前信道样本组中的每个组内的信道样本分成M个子集作为当前信道样本组；(d)由信道样本选择处理器确定L是否等于预定值；以及(e)如果L不等于预定值，则返回到(b)。

附图说明

参考说明书、权利要求书和附图，将理解和了解本公开的这些和其他特征和优点，在附图中：

图1是根据实施例的用于生成码本的方法的流程图；

图2是根据实施例的用于生成码本的方法的流程图；

图3是根据实施例的用于接收或发送通信信号的系统的框图；

图4是根据实施例的用于动态选择波束成形码本的装置的框图；

图5是根据实施例的动态选择波束成形码本的方法的流程图；

图6是根据实施例的用于动态选择波束成形码本的装置的框图；

图7是根据实施例的用于动态选择波束成形码本的方法的流程图；

图8是根据实施例的用于生成波束成形码本的分层的装置的框图；

图9是根据实施例的生成波束成形码本的分层的方法的流程图；

图10是根据实施例的用于动态选择波束成形码本的装置的框图；

图11是根据实施例的用于动态选择波束成形码本的装置的框图；以及

图12是根据实施例的离线(off-policy)学习方法的装置的框图。

具体实施方式

下面结合附图阐述的详细描述旨在作为根据本公开提供的用于生成模拟波束形成的码本的系统和方法的示例性实施例的描述，而不是旨在表示可以构造或利用本公开的唯一形式。该描述结合所示实施例阐述了本公开的特征。然而，应当理解的是，相同或等效的功能和结构可以通过不同的实施例来实现，这些实施例也旨在包含在本公开的范围内。如本文别处所示，相同的元件编号旨在表示相同的元件或特征。

为了形成用于模拟波束成形的码本，如果有足够的时间和/或频率资源可用于扫描足够数量的波束，则可以估计信道矩阵的元素并将波束方向指向信道矩阵的(近似)有效特征向量(significant eigenvector)。然而，对于大尺寸天线阵列，并且如果可用的扫描资源是有限的，则信道状态信息矩阵的获取可能具有挑战性。

在可以被称为“基于选择的”波束成形的替代性方法中，一组码字，即一组移相器矢量，被设计并用于波束扫描阶段。在评估预先设计的码本的码字之后，选择优化性能度量的码本，并将其用于后续传输。

不失一般性地，可以考虑具有N个元件的天线阵列的接收器侧；相同的码本可以用于发射波束成形。应当理解的是，尽管本文在单个天线阵列和单个RF链的上下文中描述了一些实施例，但是本文描述的码本设计的方法可以容易地扩展到多个天线阵列和多个RF链。天线阵列可以具有任何形状，例如，它可以是均匀线性阵列(uniform linear array，ULA)或均匀平面阵列(uniform planar array，UPA)。

接收的信号可以如等式(1)中那样写为：

其中s表示单位功率下的发射的符号，w_R是N×1接收波束形成矢量，h是N×1信道矢量，以及n是具有功率N₀的高斯噪声矢量，即E(nn^H)＝N₀I_N。

因此，从发射器辐射的总功率等于P_tot并且总传输信噪比(signal to noiseratio，SNR)可以定义为由此，接收器处的接收信噪比可以定义为/>其中由于发射器和接收器处的波束成形而导致的总波束成形功率增益可以表示为：

符号可以用于表示具有N个条目的一组矢量，如下式(2)所示：

其中是归一化因子，使得所有矢量都具有单位功率。因此，/>这个可行组的非凸性(non-convexity)可能是使模拟波束形成具有挑战性的一个因素。可行组的子集可以被选择作为码本；可以执行该选择，使得通过波束扫描和波束选择获得的总体性能度量足够好。

用于二维均匀平面阵列的码本的一个示例(可以被称为“线性渐进”码本)具有天线(m_h，m_v)应用移相器旋转的性质，如下式(3)所示：

其中n_h和n_v分别是在水平和竖直方向上的天线元件的数量，θ_etilt是电下倾转向角，以及φ_escan是电水平转向角。如本文所用，“下倾(down-tilt)”角是向下倾斜的角(或俯角)(从水平方向测量)，即，它与相同方向的仰角相反。如本文所用，“水平”角是从天线的轴线测量的方位角(例如，对于平面天线阵列，从垂直于天线平面的轴线测量)。在具有各向同性天线元件的情况下，波束图案的峰值方向可以在θ_peak＝θ_etilt、φ_peak＝φ_escan处。

如果m_h＝1，则二维阵列将简化为具有n_v个天线元件的均匀线性阵列，并且线性渐进码本简化为如下码本，该码本可以被称为离散傅立叶变换(discrete Fouriertransform，DFT)码字，如下式(4)所示：

其中θ_etilt是波束图案的峰值方向。具有线性渐进或DFT码字的码本设计可以包括找到波束图案的峰值点θ_etilt、φ_escan，使得码本满足某些标准。

在一些实施例中，生成码本，而不对波束矢量及其图案强加任何特定结构，使得码本最大化度量，如下式(5)所示：

其中最大化是在码字上进行，并且平均值是关于信道矢量的。

在一些实施例中，基于选择的训练点，使用基于学习的方法来设计码本，而不是设计具有特定波束图案的码字。在一些实施例中，该方法如下进行，如图1所示。本系统生成L个训练点h_l，l＝1，…，L(在110)。本系统为相应的多个码字w_k，k＝1，…，K生成多个初始值(在120)。本系统使用分配规则将训练点中的每一个分配到相应的“期望的”码字(在130)： 本系统更新每组分配的训练点的码字(在140)。如果达到收敛，本系统输出最终码本(在150)，{w_k}，k＝1，…，K，如果没有达到收敛，本系统返回到将训练点中的每一个分配到相应的“期望的”码字的步骤(在130)。

在一些实施例中，由执行本方法产生的码本如下最大化度量，如下式(6)所示：

其中最大化是在码字上进行，并且平均值是关于信道矢量的。

训练点可以是通过测量获得的经验点(empirical point)，或者基于系统的特性从一些分布中提取的经验点。例如，对于移动设备的大量位置，可以通过从移动设备的移动天线发送信号(或者通过移动天线接收信号)并且在每个位置处测量信道矢量来执行测量；每个这样的测量(在相应的移动设备位置处执行)然后可以对应于训练点中的一个。在其他实施例中，可以使用基于均匀覆盖(例如，均匀分布在球体上，或者均匀分布在下倾角(在向下倾角的范围内)和水平角度(在水平角度的范围内))中的一组训练点。均匀分布的训练点可以是均匀间隔的或者从均匀分布中随机选择的(例如，每个训练点可以是基于均匀分布(例如，均匀球形分布或者在水平角度范围内是均匀的以及在下倾角范围内是均匀的分布)生成的伪随机点)。

初始值的生成(在120处)可以通过例如使用DFT码本或者通过其他方法(诸如在Xiao，Z.、He，T.、Xia，P.以及Xia，X.G.，2016.Hierarchical codebook design forbeamforming training in millimeter-wave communication(用于毫米波通信中的波束形成训练的分层码本设计)，IEEE Transactions on Wireless Communications，15(5)，pp.3380-3392中描述的方法，其通过引用结合于此)设计的码本来执行。在一些实施例中，算法以随机开始运行多次，并且从由这些运行产生的各个码本中选择最佳码本。

训练点的分配(在130)可以如下执行。在每次迭代中，训练点h_l可以被分配给码字w_k，其中在一些实施例中，训练点的数量可以超过(例如，可以大大超过，1000倍或更多)码字的数量，使得每个码字可以被分配多个(例如，大量)训练点(在130)。

码字的更新(在140)可以如下执行。在每次迭代中，第k个码字被更新为：其中/>并且

(例如，Ω_k是分配给码字的一组训练点(在130))。度量函数f(.)可以是任何函数，包括例如，f(x)＝x(平均波束形成增益的度量(measure))，f(x)＝log(x)(容量的度量)，f(x)＝Q(x)(对“倒数误码率”的度量，即，误码率(bit error rate，BER)的倒数的度量)和f(x)＝sign(x＞γ)(覆盖范围的度量)。寻找/> 中涉及的最大化可以如下执行。这种最大化可能涉及找到进行最大化的码字：/>其中f(.)可以是任何合适的度量函数(其示例在上文中提及)。梯度下降法可以用于在每次迭代中更新码字。这种梯度下降方法可以利用任何可微函数来使用。相对于矢量θ_k的导数J_k可以如式(7)中表示如下：

该表达式可以在式(8)中计算如下：

其中Θ_k是其第n个对角元素等于的对角矩阵。然后，可以使用梯度下降算法迭代地(例如N_iter＝100)将相对应的码字更新为/> 其中∈是步长，该步长例如可以被调整以相对于稳定性来平衡收敛速度。在一些实施例中，使用另一迭代方法(例如随机梯度下降算法(stochastic gradient descent algorithm))来代替上述的梯度下降法。

由此，为每组分配的训练点Ω_k，k＝1，…，K更新码字(在140)可以包括重复梯度下降更新规则，即，用于N_iter次迭代。

图2示出了该过程，在一些实施例中，本系统生成L个训练点h_l，l＝1，…，L(在210)。本系统为相应的多个码字w_k，k＝1，…，K生成多个初始值(在220)。本系统测试是否达到或“满足”收敛(在235)，并重复步骤230、255、270、260和265，直到达到或“满足”收敛。在230，本系统使用以下分配规则将训练点中的每一个分配给相应的期望码字： 在255、260和265处使用循环计数器来迭代内部循环一组次数(N_iter)。在270，内部循环的每次迭代执行梯度下降更新规则(即/>)一次。如果达到收敛，则本系统停止(在250)，输出最终码本{w_k}，k＝1，…，K；如果没有实现收敛，则本系统返回到将训练点中的每一个分配到相应的期望码字的步骤(在230)。

确定是否达到(或“满足”)收敛(在图1中的150，或在图2中的235)可以以不同的方式实施，包括(i)确定迭代(例如，图1中的步骤130到150)的数量是否等于预定义的数量(ii)确定要优化的度量(即，值 是否大于预定义的值，(iii)确定在两次连续迭代之间该度量的变化小于预定义的阈值，以及(iv)确定在两次连续迭代之间码本的变化是否小于预定义的阈值。

例如，可以如下设计最大化覆盖范围的码本。覆盖范围的最大化可以在式(9)中定义如下：

其中γ是由系统要求指定的性能阈值(当N时，J和1-J可以分别称为xdB覆盖和xdb中断)。为了能够使所提出的算法适应于对应于覆盖范围的目标函数，它可以在式(10)中重写如下：

其中

sign(x)函数不可微；因此，它可以由定义为以下的sigmoid函数来近似：其中α是调整曲线陡度的度量。因此，可以通过替换f(x)＝sigmoid(x-γ)来应用该算法。

实际上，移相器可能只能接收量化值。例如，如果每个移相器的值由B位指定，则码本矢量可以仅从2^NB个可行量化矢量中选择。换句话说，如果每个移相器的值由B位指定，并且有N个移相器，则具有无限数量条目的可行组被减小为具有2^NB个条目的量化组。由此，用于设计具有K个码字的期望码本的一个解决方案将是对可行矢量的所有/>个组合进行穷举搜索，以选择优化度量的最佳组合。然而，这种穷举方法的复杂性阻碍了这种方法的实用性。因此，为了设计码本，投影近似可以与步骤110至150的方法(图1)相结合。特别地，在每次迭代结束时，找到的码字可以被投影到可行组量化矢量中最接近的矢量。此外，为了避免发散，仅当新的可行选项优于先前的可行选项时，才可以更新码字。

一些实施例可以提供一种用于生成码本的而不在波束矢量及其图案上强加(不像一些替代性码本设计方法)任何特定结构方法，并且该方法(不像一些替代性码本设计方法)根据度量优化性能，如下式(11)所示：

在一些实施例中，本文描述的方法可以用于生成接收和发送码本，从而引起(用于接收或发送的)一个或多个性能特征(例如平均波束成形增益、容量、误码率或覆盖范围)方面的改进。

图3示出了包括处理电路310(下面将进一步详细讨论)的系统，该处理电路被配置成根据一些实施例生成码本。处理电路310生成码本并将其馈送到天线系统320，在该天线系统中，其控制移相器阵列，每个移相器控制天线阵列330中的相应天线的相位。

本公开描述了使用分层结构码本和动态码本选择方案来改善波束扫描过程中的覆盖和接收信号功率。常规实施方式通常使用固定的预定义波束扫描码本。这种搜索方法不适应实际场景中信道状态的变化。本系统和方法从一组经学习的分层码本中动态选择波束扫描码本。分层码本和动态码本选择方法两者的设计需要模拟天线上的信道信息的训练样本。

在每个波束扫描过程的开始，可能没有信道的任何先验知识。应该应用具有较大覆盖范围(即，宽波束)的接收器(Rx)波束成形码本来捕获尽可能多的信道信息。一旦获得一些信道信息，可以改变Rx波束成形码本以覆盖具有较高波束成形增益的较小区域(即窄波束)。多层式分层码本可以很好地实现这个目的。例如，在2个扫描符号的情况下，对于3级码本，每个码本可以具有两个码字、总共7个码本(例如，第一较高级别处1个码本，第二中间级处2个码本，以及第三较低级别处4个码本)以及14个码字(例如，对于7个码本中的每一个码本2个码字)。在感兴趣的区域中，较高级别的码本可以具有比较低级别的码本更宽的波束，而较低级别的码本具有比较高级别的码本更大的波束形成增益。

在实施例中，方法和装置各自生成分层码本。在实施例中，方法和装置各自从分层码本中动态选择波束成形码本。模拟天线上的信道信息的训练样本需要用于生成分层码本并且从分层码本中动态选择码本。

在实施例中，其每个都生成分层码本的方法和装置是基于学习的方法，其接收信道样本作为输入并输出更适合于目标信道的分层码本。

在实施例中，为每个波束扫描周期动态选择波束成形码本。在常规方法中，一个码本用于所有波束扫描周期。

在波束扫描过程的开始，可能没有信道的任何先验知识。在实施例中，应用具有大覆盖范围(例如，宽波束)的Rx波束成形码本来捕获尽可能多的信道信息。在获得信道信息之后，改变Rx波束成形码本以覆盖更小的但是具有更大的波束成形增益的区域(例如，窄波束)。在实施例中，多层式分层码本用于生成初始宽波束和具有更大波束成形增益的后续窄波束。例如，在2个扫描码元的情况下，如下表1所示的3级(例如，二叉树)码本，其中对于总共7个码本，每个码本具有两个码字(例如，具有较高级别处的1个码本、第二级别处的2个码本和第三级别处的4个码本的二叉树码本)和总共14个码字。在感兴趣的区域中，较高级别的码本具有比较低级别的码本更宽的波束，而较低级别的码本具有比较高级别的码本更大的波束形成增益。

表1

在实施例中，生成具有M个码字的码本。在实施例中，使用基于学习的码本设计方法，该方法接收数量M和一组信道样本作为输入。基于学习的码本设计方法优化诸如平均波束形成(ABF)增益或中断概率的度量、输出具有M个码字的码本、并将信道样本分成对应于M个码字的M个群组。基于分层学习的码本设计方法可以使用于2019年3月14日在美国专利局提交的美国专利申请序列号16/354,024中公开的码本设计方法，其全部内容通过引用结合于此。

在实施例中，动态波束成形码本选择可以是针对每个波束扫描周期的顺序决策，其中针对后续波束扫描周期的码本选择基于当前和先前观察，其中当前波束成形码本选择影响下一观察。在实施例中，波束扫描码本选择方法可以是马尔可夫(Markov)决策方法。

图4是根据实施例的用于动态选择波束成形码本的装置400的框图。

参考图4，装置400包括信道估计处理器401、状态抽象处理器403和查找表405。在实施例中，信道估计处理器401和状态抽象处理器403可以包括在一个处理器中，或者每个处理器的功能可以分布在多个处理器当中。

信道估计处理器401包括输入407和输出409。信道估计处理器401在波束扫描周期n中使用波束成形码本C_n来接收输入407上的信号R_n，以获得用于估计信道的信道样本，并在输出409上输出码本C_n和接收的信号R_n。

状态抽象处理器403包括连接到信道估计处理器401的输出409的输入和输出411。状态抽象处理器403接收波束扫描周期n中的波束成形码本C_n和所接收的信号R_n，并生成状态标识符(ID)。状态ID被用作存储波束成形码本的查找表405的索引。

查找表405包括连接到状态抽象处理器403的输出411的输入和输出413。查找表405可以被配置为根据基于Q学习的方法存储多个波束成形码本。例如，查找表405可以是Q表，并且查找表405中的波束成形码本可以以某种顺序包括来自波束成形码本的分层的波束成形码本，其中来自波束成形码本的分层的波束成形码本可以在查找表405中出现一次或多次，并且其中在该分层中的某个级别处的波束成形码本可以用于形成比在该分层中的较低级别处的波束成形码本具有更低波束成形增益的更宽的波束。在查找表405中由状态ID标识的码本在输出端413处输出，并且可以在下一波束扫描周期(例如，波束扫描周期n+1)中用作波束成形码本(例如，C_(n+1))。也就是说，将在下一波束扫描周期n+1中使用的波束成形码本C_(n+1)由在当前波束扫描周期n中使用的波束成形码本C_n和在当前波束扫描周期n中接收的信号R_n来确定，并且其中当前波束扫描周期n中的波束成形码本C_n由在先前波束扫描周期n-1中使用的波束成形码本C_n-1和在先前波束扫描周期n-1中接收的信号R_(n-1)来确定。状态抽象处理器403通过对波束扫描周期n中使用的波束成形码本C_n和在波束扫描周期n中接收的信号R_n应用函数f()，基于当前信道条件来确定波束扫描周期n中的状态ID(例如，状态ID_n＝f(C_n,R_n))。

例如，7个波束形成码本(C_1、C_2、……和C_7)的分层被包括在查找表405中，并且存在10个可能的状态ID。也就是说，查找表405可以是一维阵列(例如，10×1)，其中查找表405的每个元素包括7个波束成形码本之一。例如，查找表405可以包括顺序为C_7、C_6、C_5,C_4、C_3、C_2、C_1、C_3、C_2和C_1的7个波束成形码本，其中波束成形码本C_1、C_2和C_3各自在查找表405中出现两次。状态抽象处理器403对波束扫描周期n中使用的波束成形码本C_n和在波束扫描周期n中接收的信号R_n使用函数f()来确定状态ID(例如，来自从1到10的一组数字中的数字)。如果状态ID为3，则从查找表405中选择波束成形码本C_5作为要在下一波束扫描周期n+1中使用的波束成形码本，因为波束成形码本C_5在查找表405中在第三索引处。

查找表405可以包括任何一组波束成形码本。查找表405中的码本限制了系统的性能(例如，误块率(block error rate，BLER)或容量)。波束成形码本的改进组通过生成波束成形码本的分层得到，其中分层中一个级别处的码本可以用于形成比该分层中较低级别处的波束成形码本具有更低波束成形增益的更宽的波束，其中分层的不同级别处的波束成形码本的覆盖范围之间存在关系。例如，分层中一个级别处的所有波束形成码本的覆盖范围与分层中下一级别处的所有码本的覆盖范围相同。因为在较低级别处有更多的波束成形码本，所以较低级别处的每个波束成形码本的覆盖范围可以用于形成具有比较高级别处的波束成形码本更窄的覆盖范围但具有更高的波束成形增益的波束。

信道条件可以使得在波束扫描周期中确定的状态ID可以从查找表405中为下一波束扫描周期选择波束成形码本，该波束成形码本在波束成形码本的分层中处于与当前波束扫描周期中使用的波束成形码本不同的级别。然而，信道条件也可以使得在波束扫描周期中确定的状态ID可以从查找表405中为下一波束扫描周期选择波束成形码本，该波束成形码本在波束成形码本的分层中处于与当前波束扫描周期中使用的波束成形码本相同的级别。

图5是根据实施例的动态选择波束成形码本的方法的流程图。

参考图5，在501，该方法基于先前的信道条件识别当前波束成形码本C_n。在实施例中，波束成形码本C_n可以由在先前的波束扫描周期n-1中使用的波束成形码本C_n-1和在先前的波束扫描周期n-1中接收的信号R_(n-1)来确定。也就是说，当前波束成形码本C_n可以在该方法的紧邻的前一次迭代中确定。

在503，该方法使用当前波束扫描周期n中的波束成形码本C_n来通过信道估计处理器401接收信号R_n，以获得用于估计信道的信道样本。

在505，状态抽象处理器403基于作为波束扫描周期n中的波束成形码本C_n和所接收的信号R_n的函数的当前信道条件来确定码本索引(例如，状态ID)。

在507，码本索引被用作在其中存储波束成形码本的表的索引，以基于由波束扫描周期n中的波束成形码本C_n和所接收的信号R_n所指示的当前信道条件来查找波束成形码本，其中所查找的波束成形码本(例如，C_(n+1))成为将在下一波束扫描周期n+1中使用的当前码本。对于下一波束扫描周期n+1，该方法返回到501。查找表可以是如上所述的Q表。

图6是根据实施例的用于动态选择波束成形码本的装置600的框图。

参考图6，装置600包括信道估计处理器601、状态抽象处理器603、查找表605、奖励(reward)计算处理器607和表更新处理器609。在实施例中，信道估计处理器601、状态抽象处理器603、奖励计算处理器607和表更新处理器609可以被包括在一个处理器中，或者每个处理器的功能可以分布在多个处理器当中。

信道估计处理器601包括输入611和输出613。信道估计处理器601在波束扫描周期n中使用波束成形码本C_n来接收输入611上的信号R_n，以获得用于估计信道的信道样本，并在输出613上输出波束形成码本C_n和接收的信号R_n。

状态抽象处理器603包括连接到信道估计处理器601的输出613的输入和输出615。状态抽象处理器603接收波束扫描周期n中的波束成形码本C_n和所接收的信号R_n，并生成状态标识符(ID)。状态ID被用作在其中存储波束成形码本的查找表605的索引。

查找表605包括连接到状态抽象处理器603的输出615的第一输入、第二输入619和输出623。查找表605可以是Q表，并且查找表605中的波束成形码本可以以某种顺序包括来自波束成形码本的分层的波束成形码本，其中，来自波束成形码本的分层的波束成形码本可以在查找表605中出现一次或多次，并且其中在该分层中的某个级别处的波束成形码本可以用于形成比在该分层中的较低级别处的波束成形码本具有更低波束成形增益的更宽的波束。在查找表605中由状态ID标识并且输出端623处被输出的码本可以在下一波束扫描周期(例如，波束扫描周期n+1)中用作波束成形码本(例如，C_(n+1))。也就是说，将在下一波束扫描周期n+1中使用的波束成形码本C_(n+1)由在当前波束扫描周期n中使用的波束成形码本C_n和在当前波束扫描周期n中接收的信号R_n来确定，并且其中当前波束扫描周期n中的波束成形码本C_n由在先前波束扫描周期n-1中使用的波束成形码本C_n-1和在先前波束扫描周期n-1中接收的信号R_(n-1)来确定。状态抽象处理器603通过对波束扫描周期n中使用的波束成形码本C_n和在波束扫描周期n中接收的信号R_n应用函数f()来确定波束扫描周期n中的状态ID(例如，状态ID_n＝f(C_n,R_n))。

查找表605可以包括任何一组波束成形码本。查找表605中的码本限制了系统的性能(例如，误块率(block error rate，BLER)或容量)。波束成形码本的改进组通过生成波束成形码本的分层得到，其中分层中一个级别处的码本可以用于形成比该分层中较低级别处的波束成形码本具有更低波束成形增益的更宽的波束，其中分层的不同级别处的波束成形码本的覆盖范围之间存在关系。例如，分层中一个级别处的所有波束形成码本的覆盖范围与分层中下一较低级别处的所有码本的覆盖范围相同。因为在较低级别处有更多的波束成形码本，所以较低级别处的每个波束成形码本的覆盖范围可以用于形成具有比较高级别处的波束成形码本更窄的覆盖范围但具有更高的波束成形增益的波束。

信道条件可以使得在波束扫描周期中确定的状态ID可以从查找表605中为下一波束扫描周期选择波束成形码本，该波束成形码本在波束成形码本的分层中处于与当前波束扫描周期中使用的波束成形码本不同的级别。然而，信道条件也可以使得在波束扫描周期中确定的状态ID可以从查找表605中为下一波束扫描周期选择波束成形码本，该波束成形码本在波束成形码本的分层中处于与当前波束扫描周期中使用的波束成形码本相同的级别。

奖励计算处理器607包括连接到状态抽象处理器603的输出615的输入和输出617。奖励计算处理器607接收状态ID，并基于此计算奖励值，并在输出617上输出奖励值。

表更新处理器609包括连接到奖励计算处理器607的输出617的输入和连接到查找表格605的第二输入619的输出。表更新处理器609接收奖励值，并确定关于查找表605应该如何更新的动作索引(例如，应该如何改变查找表中的波束成形码本)，并将动作索引和奖励值输出到查找表605的第二输入619。查找表605接收动作索引和奖励值，并基于状态ID、动作索引和奖励值来更新查找表605。

图7是根据实施例的动态选择波束成形码本的方法的流程图。

参考图7，在701，该方法基于先前的信道条件识别当前波束成形码本C_n。在实施例中，波束成形码本C_n可以由在先前的波束扫描周期n-1中使用的波束成形码本C_n-1和在先前的波束扫描周期n-1中接收的信号R_(n-1)来确定。也就是说，当前波束成形码本C_n可以在该方法的紧邻的前一次迭代中确定。

在703，该方法使用当前波束扫描周期n中的波束成形码本C_n来通过信道估计处理器601接收信号R_n，以获得用于估计信道的信道样本。

在705，状态抽象处理器603基于波束扫描周期n中的波束成形码本C_n和所接收的信号R_n来确定码本索引(例如，状态ID)。

在707，码本索引被用作在其中存储波束成形码本的查找表605的索引，以基于由波束扫描周期n中的波束成形码本C_n和所接收的信号R_n所指示的当前信道条件来查找波束成形码本，其中所查找的波束成形码本(例如，C_(n+1))成为将在下一波束扫描周期n+1中使用的当前码本。

在709，奖励计算处理器607接收码本索引(例如，状态ID)，并基于此计算奖励值。

在711，表更新处理器609接收奖励值，并确定关于查找表605应该如何更新的动作索引(例如，应该如何改变查找表中的波束成形码本)，并将动作索引和奖励值输出到查找表605的第二输入619。查找表605接收动作索引和奖励值，并基于状态ID、动作索引和奖励值来更新查找表605。对于下一波束扫描周期n+1，该方法返回到701。

图8是根据实施例的用于生成波束成形码本的分层的装置800的框图。

参考图8，装置800包括信道估计处理器801、码本生成处理器803和信道样本选择处理器805。在实施例中，信道估计处理器801、码本生成处理器803和信道样本选择处理器805可以包括在一个处理器中，或者每个处理器的功能可以分布在多个处理器当中。

信道估计处理器801包括输入807和输出809。信道估计处理器801在波束扫描周期n中使用波束成形码本C_n来接收输入807上的信号R_n，以获得用于估计信道的信道样本，并在输出809上输出波束形成码本C_n和接收的信号R_n。

码本生成处理器803包括连接到信道估计处理器801的输出809的第一输入、第二输入815和输出811。码本生成处理器803接收所获得的信道样本(例如，M^L-1个信道样本组)作为当前信道样本组，其中M指示码本分层的类型(例如，对于二叉树码本分层，M＝2)，而L指示码本分层中的当前级别(例如，对于码本分层的第一或较高级别，L＝1)。例如，对于M＝2和L＝1，在701处的方法的第一次迭代中，获得一组信道样本作为当前信道样本组。码本生成处理器803为M^L-1个当前信道样本组中的每一个选择码本学习函数，并为M^L-1个当前信道样本组中的每一个生成码本，其中所生成的码本中的每一个包括M个码字。例如，码本生成处理器803可以根据基于Q学习的方法选择码本学习函数。

信道样本选择处理器805包括连接到码本生成处理器803的输出811的输入、连接到码本生成处理器803的第二输入815的第一输出和第二输出813。信道样本选择处理器805将M^L-1个当前信道样本组中的每一个组内的信道样本分成M个子集，增加L，并且如果如下面更详细描述的那样需要另一迭代，则经由码本生成处理器803的第二输入815将信道样本的M个子集提供给码本生成处理器803，用于码本生成处理器803生成具有下面描述的特性的波束形成码本的另一分层层级(tier)。例如，如果M＝2且L＝1，则在第一次迭代中，一组信道样本被分成两个信道样本子集，并且L递增到2。

对于第二次迭代(例如，对于M＝2和L＝2)，信道样本选择处理器805进一步将信道样本的两个子集的每一个分成信道样本的两个子集，以产生四个信道样本子集，并且将L递增至3。例如，在第一次迭代中，一组信道样本可以用于生成如下的码本，该码本用于形成一个波束以覆盖对应于具有特定增益的一组信道样本的整个区域(例如，对于一组信道样本形成一个宽波束)。在第二次迭代中，一组信道样本可以被分成两组信道样本(例如，所述一组信道样本的两个子集)，其中每个信道样本子集用于生成如下的码本，该码本用于形成一个波束以覆盖比从其导出两个信道样本子集的所述一组信道样本所覆盖的面积更小的面积(例如，对于所述一组信道样本的子集形成较窄的波束),其增益大于在该方法的第一次迭代中生成的码本的增益。由在第二次迭代中生成的两个码本形成的两个波束的覆盖范围可以等于由在第一次迭代中生成的一个码本形成的一个波束的覆盖范围，如上表1所示。也就是说，上文表1示出了码本分层的顶部级别处的一个码本形成具有一个覆盖范围的一个第一波束，码本分层的第二级别处的两个码本中的每一个形成具有所述一个第一波束的一半覆盖范围的第二波束，其中所述两个第二波束的组合具有与第一波束相同的覆盖范围，并且码本分层的第三级别处的四个码本中的每一个形成具有第二波束中的每一个的一半覆盖范围的第三波束，其中所述四个第三波束的组合具有与第二波束的组合相同的覆盖范围，其等于所述一个第一波束的覆盖范围。相同的模式可以在随后的迭代中实施。例如，在第三次迭代中，M＝2且L＝3，有四个信道样本子集，生成四个码本，其中每个码本包括2个码字，四个信道样本子集各自被划分以形成用于下一次可能的迭代的8个信道样本子集(除非满足如下面更详细描述的停止的条件)，并且L递增到4。码本生成处理器803确定L是否等于预定值。表1示出了在码本的分层中有三个级别的示例。因此，表1示出了其中用于确定是否停止的预定数量为4的示例。当L小于预定数量时，执行另一迭代。当L等于预定数量时，码本生成终止，其结果是具有上述特性的码本的分层。

在实施例中，需要信道样本来设计码本。信道样本可以从经验测量中获得，或者从已知分布中提取。在后一种情况下，假设信道的到达角(AoA)。

图9是根据实施例的生成码本分层的方法的流程图。

参考图9，在901获得M^L-1个信道样本组作为当前信道样本组，其中M指示码本分层的类型(例如，对于二叉树码本分层，M＝2)，而L指示码本分层中的当前级别(例如，对于码本分层的第一或较高级别，L＝1)。例如，对于M＝2和L＝1，在901处的方法的第一次迭代中，获得一组信道样本作为当前信道样本组。

在903，为M^L-1个当前信道样本组中的每一个选择码本学习函数，并且为M^L-1个当前信道样本组中的每一个生成并输出码本，其中所生成的码本中的每一个包括M个码字。例如，如果M＝2且L＝1，则在903，在该方法的第一次迭代中生成一个码本。在实施例中，码本可以具有比在该方法的后续迭代中生成的码本(例如，所得到的码本分层的后续和较低的级别)更宽的波束和更低的波束成形增益。对于方法在903的第二次迭代(例如，对于M＝2和L＝2)，生成两个码本。在实施例中，在随后的迭代中的码本(例如，所得到的码本分层的较低的级别)可以用于形成比在该方法的先前迭代中的码本(例如，所得到的码本分层的较高或更高级别)的波束更窄的波束，但是具有比在该方法的先前迭代中的码本更大的波束形成增益，因为如下文在905处更详细描述的那样，M^L-1个当前信道样本组是该方法的先前迭代的信道样本的子集。

在905，M^L-1个当前信道样本组中的每个组内的信道样本被分成M个子集，并且L被递增。例如，如果M＝2且L＝1，则在905，一组信道样本在该方法的第一次迭代中被分成两个信道样本子集，并且L递增到2。对于在905的方法的第二次迭代(例如，对于M＝2和L＝2)，两个信道样本子集中的每一个被进一步分成两个信道样本子集，以产生四个信道样本子集，并且L递增到3。例如，在方法的第一次迭代中，一组信道样本可以用于生成如下的码本，该码本用于形成一个波束以覆盖对应于具有特定增益的一组信道样本的整个区域(例如，对于一组信道样本形成一个宽波束)。在方法的第二次迭代中，一组信道样本可以被分成两组信道样本(例如，所述一组信道样本的两个子集)，其中每个信道样本子集用于生成如下的码本，该码本用于形成一个波束以覆盖比从其导出两个信道样本子集的所述一组信道样本所覆盖的面积更小的面积(例如，对于所述一组信道样本的子集形成较窄的波束),其增益大于在该方法的第一次迭代中生成的码本的增益。由在方法的第二次迭代中生成的两个码本形成的两个波束的覆盖范围可以等于由在方法的第一次迭代中生成的一个码本形成的一个波束的覆盖范围，如上表1所示。也就是说，上文表1示出了码本分层的顶部级别处的一个码本形成具有一个覆盖范围的一个第一波束，码本分层的第二级别处的两个码本中的每一个形成具有所述一个第一波束的一半覆盖范围的第二波束，其中两个第二波束的组合具有与第一波束相同的覆盖范围，并且码本分层的第三级别处的四个码本中的每一个形成具有第二波束中的每一个的一半覆盖范围的第三波束，其中四个第三波束的组合具有与第二波束的组合相同的覆盖范围，其等于所述一个第一波束的覆盖范围。相同的模式可以在方法的随后的迭代中实施。例如，在905，在方法的第三次迭代中，M＝2且L＝3，有四个信道样本子集，生成四个码本，其中每个码本包括2个码字，四个信道样本子集各自被划分以形成用于方法的下一次可能的迭代的8个信道样本子集(除非满足如下面更详细描述的停止该方法的条件)，并且L递增到4。

在907，该方法确定L是否等于预定值。表1示出了在码本的分层中有三个级别的示例。因此，表1示出了其中用于确定是否停止该方法的预定数量为4的示例。当L小于预定数量时，该方法返回到903进行方法的另一次迭代。当L等于预定数时，该方法行进到909。

在909，该方法停止。

图10是根据实施例的用于动态选择波束扫描码本的装置1000的框图。

参考图10，装置1000包括信道生成器1001、被配置为确定和记录观察历史的设备1005、用于确定奖励的设备1007和代理1009。

信道生成器1001包括用于接收动作和波束形成码本的输入、用于提供奖励(例如，波束形成增益)的第一输出以及用于提供信道样本的第二输出。信道生成器1001被配置为例如通过仿真来确定信道(1003)。

被配置为确定和记录观察历史的设备1005包括连接到信道生成器1001的第二输出以接收信道样本的输入，以及用于提供根据信道样本确定的观察历史的输出，其中观察历史可以包括波束成形信道和根据信道样本确定的码本索引。

用于确定奖励的设备1007包括连接到信道生成器1001的第一输出的输入以用于接收信道样本，以及用于提供根据信道样本确定的波束成形增益或奖励的输出。

代理1009包括连接到被配置为确定和记录观察历史的设备1005的输出的第一输入、连接到用于确定奖励的设备1007的输出的第二输入、以及用于提供动作和波束形成码本的输出。代理1009包括被配置为确定抽象状态的设备1011、被配置为确定状态的设备1013以及用于确定策略的设备1015。

被配置成确定抽象状态的设备1011包括输出和连接到代理1009的第一输入的输入。被配置成确定抽象状态的设备1011可以在有或没有观察历史信息的情况下确定状态抽象。被配置为确定状态的设备1013包括输出和连接到被配置为确定抽象状态的设备1011的输出的输入。用于确定策略的设备1015包括连接到被配置为确定状态的设备1013的输出的输入和连接到代理1009的输出的输出。用于确定策略的设备1015可以是Q表或神经网络。

在实施例中，波束扫描是周期性的，其中在每个波束扫描时隙中有用于波束扫描的M个连续的符号。下面等式(12)中的码本C_n包含分别应用于M个连续符号的M个码字(例如，波束成形矢量)。在第m个波束扫描符号上，应用第m个码字w_m，n，并且观察到波束形成信道如下式(13)所示。

C_n＝[w_1，n，w_2，n，...，w_M，n]...(12)

每个参数的尺寸用变量w_m，n：N_RX×N_RF和h_m：N_RX×1以及：N_RF×1来指定，其中N_RF：RF链的数量(例如，1)、N_RX＝N_RX，RF*N_RF：总接收模拟天线的数量(例如，4)和N_RX，RF：每个RF链的接收模拟天线的数量(例如，4)。

为了公式化动态码本选择问题，定义了以下变量。

X_k包括第k个波束扫描周期内的所有模拟信道信息，其包括[h₁，h₂，...，h_M]。

Y_k是对模拟信道的部分观察，其是波束成形的数字信道信息

A_k是在第k个波束扫描周期中采取的动作(例如，选择并应用波束成形码本)。

S_k＝(A_k-1，Y_k)是基于观察Y_k和动作A_k-1定义的状态。

R_k是采取动作A_k-1后的奖励，其中奖励是波束形成增益。

k＝0，1，2，...，∞其中k表示波束扫描周期的索引。

图11是根据实施例的用于动态选择波束扫描码本的装置1100的框图。

参考图11，装置1100包括被配置为确定模拟信道信息的第一设备1101、被配置为观察模拟信道的第一设备1103、被配置为确定状态的第一设备1105、被配置为选择码本(例如，采取动作)的第一设备1107以及被配置为确定波束形成增益(例如，奖励)的第一设备1109。根据波束形成码本中有多少个级别，装置1100可以包括被配置为确定模拟信道信息的第一设备1101、被配置为观察模拟信道的第一设备1103、被配置为确定状态的第一设备1105，被配置为选择码本的第一设备1107、以及被配置为确定波束形成增益的第一设备1109的任意数量的组。

例如，图11示出了三组设备。第一组设备包括被配置为确定模拟信道信息的第一设备1101、被配置为观察模拟信道的第一设备1103、被配置为确定状态的第一设备1105、被配置为选择码本的第一设备1107以及被配置为确定波束成形增益的第一设备1109。根据波束形成码本中有多少个级别，第二组设备包括被配置为确定模拟信道信息的第二设备1111、被配置为观察模拟信道的第二设备1113、被配置为确定状态的第二设备1115、被配置为选择码本的第二设备1117以及被配置为确定波束形成增益的第二设备1119。根据波束形成码本中有多少个级别，第三组设备包括被配置为确定模拟信道信息的第三设备1121、被配置为观察模拟信道的第三设备1123、被配置为确定状态的第三设备1125、被配置为选择码本的第三设备1127以及被配置为确定波束形成增益的第三设备1129。然而，本公开不限于此。

被配置为确定模拟信道信息的第一设备1101包括第一输出、第二输出和第三输出。

被配置为观察模拟信道的第一设备1103包括连接到被配置为确定模拟信道信息的第一设备1101的第一输出的第一输入、第二输入以及输出。

被配置为确定状态的第一设备1105包括连接到被配置为观察模拟信道的第一设备1103的输出的第一输入、第二输入以及输出。

被配置为选择码本的第一设备1107包括连接到被配置为观察模拟信道的第一设备1103的第二输入的第一输出、连接到被配置为确定状态的第一设备1105的第二输入的第二输出以及第三输出。

被配置为确定波束成形增益的第一设备1109包括连接到被配置为确定模拟信道信息的第一设备1101的第二输出的第一输入和连接到被配置为选择码本的第一设备1107的第三输出的第二输入。

以上标识的组件的每个附加组类似地与被配置为确定模拟信道信息的第一设备1101的第三输出连接到被配置为确定模拟信道信息的第二设备1111的输入的附加连接相连接，被配置为确定状态的第一设备1105的输出连接到被配置为选择码本的第二设备1117的输入，并且以上标识的组件的后续组类似于以上标识的组件的第二组进行连接。

在一般的马尔可夫决策方法中，回报G_k是从时间步长t开始的总折扣奖励(discounted reward)，如下式(14)所示：

折扣γ∈[0，1]是未来奖励的现值。

策略π是对给定状态下的动作上的分布，如下式(15)所示：

动作a的状态值函数v_π(s)是从状态s开始、并且然后遵循策略π的预期回报，如下式(16)所示：

动作价值函数q_π(s，a)是从状态s开始、采取动作a、然后遵循策略π的预期回报，如下式(17)所示：

最佳动作价值函数q_*(s，a)是所有策略的最大作用值函数，如下式(18)所示：

最佳策略可以通过最大化q_*(s，a)来确定。如果q_*(s，a)已知，则立即已知最优策略。

为了找到最佳策略，使用了下面等式(19)中表示的时间差分(TD)离线学习方法。

经学习的动作价值函数Q直接将q_*近似为最佳动作价值函数，与所遵循的策略无关。这极大地简化了算法的分析，并实现了早期收敛性证明。该策略仍然有效，因为它确定了哪个状态-动作对被访问和更新。然而，正确收敛性所需要的是所有的对继续被更新。这是最小的要求，因为保证在一般情况下找到最佳行为的任何方法都必须需要它。在这种假设和关于步长大小参数序列的通常随机近似条件的变型下，已经显示出Q从而以概率1收敛到q_*。

基于作为在第k个波束扫描周期应用的码本的索引的动作A_k和如等式(20)中如下所示的量化的信道增益g_m，n来定义状态S_k：

不同符号(具有不同m索引的)上的波束成形信道之间的量化相位差可以被添加到状态的定义中。然而，这可能导致更大的Q表，这可能需要更长的时间来进行训练和收敛。在实施例中，码本索引和量化的信道增益可以包括在状态的定义中。

图12是根据实施例的用于执行离线学习方法的装置1200的框图。

参考图12，装置1200包括被配置为获得信道样本的设备1201和多组设备。第一组设备包括被配置为使用第一码本应用模拟波束成形的第一设备1203、被配置为量化观察的第一设备1205、被配置为确定奖励的第一设备1207、被配置为确定下一状态索引的第一设备1209以及被配置为更新Q表的第一设备1211。对于每个附加设备组，装置1200包括一组上述组件。例如，图12示出了与两个码本相关联的组件加上延迟设备1223和用于存储当前状态的设备1225。然而，本公开不限于此。可以使用任何数量的码本，其中每个码本将需要与一个码本相关联的上述一组组件。

图12中与第二组设备相关联的组件包括被配置为使用第二码本应用模拟波束成形的第二设备1213、被配置为量化观察的第二设备1215、被配置为确定奖励的第二设备1217、被配置为确定下一状态索引的第二设备1219以及被配置为更新Q表的第二设备1221。

对于图12所示的示例，被配置为获得信道样本的设备1201包括输出。在实施例中，被配置为获得信道样本的设备1201可以通过仿真来生成信道样本。

被配置为使用第一码本应用模拟波束成形的第一设备1203包括连接到被配置为获得信道样本的设备1201的输出的输入和输出。被配置为量化观察的第一设备1205包括连接到被配置为使用第一码本应用模拟波束成形的第一设备1203的输出的输入和输出。被配置成量化观察的第一设备1205可以量化信道增益。

被配置为确定奖励的第一设备1207包括连接到被配置为使用第一码本应用模拟波束成形的第一设备1203的输出的输入和输出。被配置为确定下一状态索引的第一设备1209包括连接到被配置为量化观察的第一设备1205的输出的输入和输出。被配置为更新Q表的第一设备1211包括连接到被配置为确定奖励的第一设备1207的输出的第一输入和第二输入。

被配置为使用第二码本应用模拟波束成形的第二设备1213包括连接到被配置为获得信道样本的设备1201的输出的输入和输出。被配置为量化观察的第二设备1215包括连接到被配置为使用第二码本应用模拟波束成形的第二设备1213的输出的输入和输出。被配置成量化观测的第二设备1215可以量化信道增益。

被配置为确定奖励的第二设备1217包括连接到被配置为使用第二码本应用模拟波束成形的第二设备1213的输出的输入和输出。被配置为确定下一状态索引的第二设备1219包括连接到被配置为量化观察的第二设备1215的输出的输入和输出。被配置为更新Q表的第二设备1221包括连接到被配置为确定奖励的第二设备1217的输出的第一输入和第二输入。

延迟设备1223包括连接到被配置为确定下一状态索引的第一装置1209的输出的第一输入、连接到被配置为确定下一状态索引的第二设备1219的输出的第二输入、以及输出。用于存储当前状态的设备1225包括连接到延迟设备1223的输出的输入，以及连接到被配置为更新Q表的第一设备1211和被配置为更新Q表的第二设备1221的第二输入的输出。

对于第k个训练样本中的训练信道样本h，Q表更新如下。

测量每个码本(n＝1...N)中所有波束形成矢量(m＝1...M)的ABF增益，如下式(21)和(22)所示：

将ABF增益量化为0和L之间的整数，并计算动作a_n中的每一个的下一状态索引(例如，将码本C_n应用于波束扫描)，如下式(23)和(24)所示：

计算每个动作a_n的奖励值，如下式(25)所示：

对于当前状态池S_k中的每个状态索引s，状态-动作对Q(s，a_n)的Q表值更新如下式(26)所示：

更新状态池S_k+1，如下式(27)中所示：

S_k+1＝[s′₁，s′₂，...，s′_n]...(27)

回到为下一训练信道样本测量每个码本中所有波束成形矢量的ABF增益的步骤。

本文使用的术语“处理电路”是指用于处理数据或数字信号的硬件、固件和软件的任何组合。处理电路硬件可以包括例如专用集成电路(application specific integratedcircuit，ASIC)、通用或专用中央处理单元(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、图形处理单元(graphics processing unit，GPU)和可编程逻辑器件，诸如现场可编程门阵列(field programmable gate array，FPGA)。在本文使用的处理电路中，每个功能或者由被配置(即，硬连线)为执行该功能的硬件来执行，或者由被配置为执行存储在非暂时性存储介质中的指令的更通用的硬件(例如，CPU)来执行。处理电路可以制造在单个印刷电路板上，或者分布在几个互连的PCB上。处理电路可以包含其他处理电路；例如，处理电路可以包括在PCB上互连的两个处理电路，FPGA和CPU。

应当理解的是，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种元件、组件、区域、层和/或区段，这些元件、组件、区域、层和/或区段不应受这些术语的限制。这些术语仅用于区分一个元件、组件、区域、层或区段与另一元件、组件、区域、层或区段。因此，在不脱离本公开的精神和范围的情况下，本文讨论的第一元件、组件、区域、层或区段可以被称为第二元件、组件、区域、层或区段。

本文使用的术语仅仅是为了描述特定的实施例，而不旨在限制本公开。如本文所使用的，术语“基本上”、“大约”和类似术语被用作近似术语，而不是用作程度术语，并且旨在说明本领域普通技术人员将认识到的测量的或计算的值方面的固有偏差。如本文所用，术语“主要(major)组分”是指组合物、聚合物或产品中以大于组合物或产品中任何其它单个组分的量存在的组分。相反，术语“主导(primary)组分”是指按分量计占组合物、聚合物或产品的至少50％或更多的组分。如本文所用，当应用于多个项时，术语“主导部分”指至少一半的项。

如本文所用，单数形式“一”和“一个”也旨在包括复数形式，除非上下文另有明确指示。还应当理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合的存在或添加。如本文所用，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。诸如“至少一个”的表达式在元素列表之前时会修改整个元素列表，而不是用于修改列表中的各个元素。此外，当描述本公开的实施例时，“可以”的使用是指“本公开的一个或多个实施例”。此外，术语“示例性的”旨在指示例或说明。如本文所用，术语“使用”、“在使用”和“被使用”可以被认为分别与术语“利用”、“在利用”和“被利用”同义。

应当理解的是，当元件或层被称为“在另一元件或层上”、“连接到”、“耦合到”或“邻近”另一元件或层时，它可以直接在另一元件或层上、直接连接到、耦合到或邻近另一元件或层，或者可以存在一个或多个中间元件或层。相反，当元件或层被称为“直接在另一元件或层上”、“直接连接到”、“直接耦合到”或“直接邻近”另一元件或层时，不存在中间元件或层。

本文所引述的任何数值范围旨在包括包含在所引述的范围内的具有相同数值精度的所有子范围。例如，“1.0至10.0”的范围旨在包括所引述的最小值1.0和所引述的最大值10.0之间(包括端点)、即，具有等于或大于1.0的最小值和等于或小于10.0的最大值的所有子范围，例如2.4至7.6。本文所引述的任何最大数值限制旨在包括其中包含的所有较低数值限制，并且本说明书中引述的任何最小数值限制旨在包括其中包含的所有较高数值限制。

尽管本文已经具体描述和示出了用于针对模拟波束形成生成码本的系统和方法的某些实施例，但是许多修改和变化对于本领域技术人员来说是显而易见的。因此，应当理解的是，根据本公开的原理构造的用于针对模拟波束形成生成码本的系统和方法可以不同于本文具体描述的方式来实现。本公开还在以下权利要求及其等同物中进行限定。

Claims (10)

1.一种用于选择波束成形码本的装置，包括：

信道估计处理器，被配置为在当前波束扫描周期中使用当前波束成形码本接收信号；

查找表，被配置为存储多个波束成形码本；

状态抽象处理器，连接在所述信道估计处理器和所述查找表之间，并且被配置为基于接收的信号和当前波束成形码本所指示的当前信道条件来确定码本索引，并且基于所述码本索引选择所述查找表中的多个波束成形码本中的一个作为用于下一波束扫描周期的波束成形码本。

2.根据权利要求1所述的装置，其中所述查找表还被配置为基于以Q学习为基础的方法来存储所述多个波束成形码本。

3.根据权利要求2所述的装置，其中所述查找表还被配置为在分层中存储所述多个波束成形码本，其中，所述分层中的一个级别下的每个波束成形码本被配置为生成比所述分层中的下一较低级别下的每个波束成形码本更宽的波束。

4.根据权利要求2所述的装置，其中所述查找表还被配置为在分层中存储所述多个波束成形码本，其中，所述分层中的一个级别下的每个波束成形码本被配置为具有比所述分层中的下一较低级别下的每个波束成形码本更低的波束形成增益。

5.根据权利要求1所述的装置，还包括：

奖励计算处理器，连接到所述状态抽象处理器，并被配置为基于所述当前信道条件来确定状态索引和奖励值；以及

表更新处理器，连接在所述奖励计算处理器和所述查找表之间，所述表更新处理器接收所述奖励值并确定动作索引，

并且基于所述状态索引、所述动作索引和所述奖励值来更新所述查找表中的所述多个波束成形码本。

6.一种选择波束成形码本的方法，包括：

由信道估计处理器在当前波束扫描周期中使用当前波束成形码本接收信号；

在查找表中存储多个波束成形码本；

由连接在所述信道估计处理器和所述查找表之间的状态抽象处理器基于接收的信号和所述当前波束成形码本所指示的当前信道条件来确定码本索引；以及

基于所述码本索引，选择所述查找表中的所述多个波束成形码本中的一个作为用于下一波束扫描周期的波束成形码本。

7.根据权利要求6所述的方法，其中存储所述多个波束成形码本包括基于以Q学习为基础的方法存储所述多个波束成形码本。

8.根据权利要求7所述的方法，其中存储所述多个波束成形码本包括在分层中存储所述多个波束成形码本，其中，所述分层中的一个级别下的每个波束成形码本被配置为生成比所述分层中的下一较低级别下的每个波束成形码本更宽的波束。

9.根据权利要求7所述的方法，其中存储所述多个波束成形码本包括在分层中存储所述多个波束成形码本，其中，所述分层中的一个级别下的每个波束成形码本被配置为具有比所述分层中的下一较低级别下的每个波束成形码本更低的波束形成增益。

10.根据权利要求6所述的方法，还包括：

由连接到所述状态抽象处理器的奖励计算处理器基于所述当前信道条件确定状态索引和奖励值；

由连接在所述奖励计算处理器和所述查找表之间的表更新处理器确定动作索引；

由所述表更新处理器输出所述动作索引和所述奖励值；并且

基于所述状态索引、所述动作索引和所述奖励值来更新所述查找表中的所述多个波束成形码本。