CN113114314A - 融合混类增强与自编码器的大规模mimo性能提升方法 - Google Patents

Abstract

本发明公开了一种融合深度自编码器与混类增强的大规模MIMO网络性能提升方法，包括如下步骤，在大规模MIMO网络场景下，建立基于深度神经网络的功率分配模型，并获取用户设备的位置作为所述功率分配模型的输入样本，分配结果作为输出样本；对大规模MIMO网络的功率分配模型的输入样本和输出样本运用自编码器进行数据增广，并将增广数据集送入MIMO网络的功率分配模型进行训练；构建融合深度自编码器与混类增强的数据增广模型，进一步改善数据增广的性能。通过本发明能够在原始训练集与自编码器生成训练集上运用混类增强的方法来解决数据集大小大于阈值时自编码器无法提升模型性能的问题，从而进一步提升大规模MIMO模型性能和用户服务质量。

Description

融合混类增强与自编码器的大规模MIMO性能提升方法

技术领域

本发明涉及无线通信的技术领域，尤其涉及融合混类增强与自编码器的大规模MIMO性能提升方法。

背景技术

大规模MIMO是一种提升无线网络性能的有效技术。在大规模MIMO网络中，基站配备了大量天线以通过空间复用为多个用户设备提供服务。在工业中，该技术已集成到5G无线通信标准中；在学术界，该技术一直被认为是解决导频污染问题的关键技术。功率分配是大规模MIMO网络中的核心技术，合理地为用户分配传输功率可以有效提升用户服务质量。然而，当前基于优化算法的大规模MIMO功率分配方案复杂度高，很难适应动态变化的实际环境。最近，基于深度学习的无线通信网络优化技术蓬勃发展，这为大规模MIMO网络功率分配问题的低复杂度算法设计提供了新思路。设计合适的深度神经网络，可以学习用户设备的位置和最佳功率分配策略之间的映射，进而实现低复杂度的功率分配算法。与传统基于凸优化的方法相比，深度学习获得了功率分配的复杂度与性能之间的折中。

经典机器学习理论指出，只要机器学习算法(如神经网络)的规模不随着训练数据数量的增加而增加，那么经验风险最小化的收敛性就是可以得到保证的。其中，机器学习算法的规模由参数数量来衡量。然而，对于参数量巨大的深度学习算法，有限的训练样本可能会给神经网络带来过拟合的风险，进而导致泛化性能的下降。缓解过拟合的一种简单有效的方法是数据增广，通过增加样本的多样性，可以提高模型的泛化能力。

然而，基于深度学习的大规模MIMO网络模型的数据增广尚未充分研究。为了生成和原始样本不同的增广数据，我们可以使用自编码器神经网络对数据的分布进行拟合，然后从学习到的分布中重新采样出新的样本，以实现基于自编码器的数据增广。然而，基于自编码器的数据增广方法在数据集较大时会给样本带来过多的噪声，最终导致性能下降。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种融合深度自编码器与混类增强的大规模MIMO网络性能提升方法，该发明能够增强神经网络的泛化性并提高其鲁棒性，从而提升网络性能。

技术方案：为了实现上述发明目的，本发明提供了一种融合深度自编码器与混类增强的大规模MIMO网络性能提升方法，包括如下步骤，

步骤1，在大规模MIMO网络场景下，建立基于深度神经网络的功率分配模型，并获取用户设备的位置作为所述功率分配模型的输入样本，分配结果作为输出样本；

步骤2，对大规模MIMO网络的功率分配模型的输入样本和输出样本运用自编码器进行数据增广，并将增广数据集送入MIMO网络的功率分配模型进行训练；

步骤3，构建融合深度自编码器与混类增强的数据增广模型，进一步改善数据增广的性能。

进一步的，在本发明中：所述步骤1还包括，

步骤1-1，最大化大规模MIMO网络中速率最差的用户的速率，以达到所有用户获得相同下行速率的目的，大规模MIMO网络的输入X为:

X＝{x(k)|k＝1,......,K}

其中,x(k)表示用户k的位置，输出是最佳功率分配方案P，且：

P＝{ρ_j,k|k＝1,......K；j＝1,......,L}

其中，ρ_j,k是基站为用户服务的功率，j表示第j个小区，L为小区的总数，通过解决最大最小优化问题获得最优功率分配方案；

步骤1-2，获取大规模MIMO网络功率分配数据集。在大规模MIMO通信系统中收集用户设备的位置信息作为功率分配模型的输入，通过估计用户与其相关联的基站之间的信道，以最大化最小的用户速率为目标，建立完整的MIMO网络功率分配问题的数学模型，采用经典的凸优化算法对所建立的最大最小问题进行求解，将获得的最优功率分配方案作为标签，收集上述步骤产生的输入和标签，形成功率分配数据集，用于数据增广。

进一步的，在本发明中：所述步骤2还包括，

步骤2-1：采用基于经典自编码器的数据增广方法，首先构建用于数据增广的自编码器模型，设需要增广的数据集为

编码器为

解码器为

其中，κ_f和κ_g分别为编码器和解码器的参数，则可以通过如下损失函数J来训练自编码器：

其中，x为自编码器模型的输入值。

当模型的损失函数J满足下式时停止训练：

c≤||g(f(x；κ_f)；κ_g)-x||²≤d

其中，c和d为超参数，如初始学习率，本实施例中取c＝0.2，d＝0.3，也可由本领域专业人员根据实验结果进行调整。

完成训练后，使用非完美编码器生成

并使用非完美解码器生成新数据

步骤2-2，将所述步骤1所采集的用户设备的位置和其对应的最优功率分配结果分别输入步骤2-1建立好的数据增广器中生成增广数据，得到的结果直接进行拼接形成新的训练数据集，再重新送入MIMO网络模型。

进一步的，在本发明中：所述步骤3还包括，

步骤3-1，使用混类增强的数据增广方法增强用于功率分配的神经网络的泛化性能，对数据的处理公式如下：

其中，x′_i′和y′_i′分别为原始训练样本的输入和标签，x′_i″和y′_i″分别为将x′_i′和y′_i′作为自编码器输入所生成的增广数据，λ∈[0,1]；

步骤3.2，将上述数据增广方法生成的增广数据用于训练MIMO网络的功率分配模型，进一步提升功率分配模型的性能。

有益效果：本发明与现有技术相比，其有益效果是：

(1)本发明基于深度学习的大规模MIMO网络模型的数据增广提升模型性能方面就行了研究，和传统的混类增强方法相比，使用混类增强方法来改善基于自编码器的数据增广方法的性能选择进行融合的数据来源于原始数据集和自编码器增广的数据集，从而更进一步地提升模型性能；

(2)本发明解决了数据集大小大于阈值时自编码器无法提升模型性能的问题，能够提升大规模MIMO的功率分配模型性能，从而更有效地提升用户服务质量；

(3)本发明使用混类增强方法来改善基于自编码器的数据增广方法的性能，通过在不同数据集上进行实验表明数据增广具有正则化作用，增强了神经网络的泛化性并提高了网络的鲁棒性。

附图说明

图1为本发明所述融合深度自编码器与混类增强的大规模MIMO网络性能提升方法的整体流程示意图；

图2为本发明中不同量级数据样本在未使用和使用基于自编码器的数据增广方法下大规模MIMO网络性能曲线对比图；

图3为本发明中融合深度自编码器与混类增强的数据增广方法提升大规模MIMO网络性能的效果对比示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以用许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。

如图1所示，为本发明提出的一种融合深度自编码器与混类增强的大规模MIMO网络性能提升方法的整体流程示意图，该方法具体包括以下步骤，

步骤1，在大规模MIMO网络场景下，建立基于深度神经网络的功率分配模型。获取用户设备的位置作为功率分配模型的输入样本数据，该模型的功率分配结果作为输出样本数据；

具体的，步骤1还包括以下步骤：

步骤1-1，在大规模MIMO网络场景下，所建立的基于深度神经网络的功率分配模型的应用目标是最大化当前网络中速率最差的用户的速率，以达到所有用户获得相同下行速率的目的。本实施例中，该优化问题的输入X为:

X＝{x(k)|k＝1,......,K}

其中,x(k)表示用户k的位置，K为用户的总数，输出是最佳功率分配方案P，且：

P＝{ρ_j,k|k＝1,......K；j＝1,......,L}

其中，ρ_j,k是基站为用户服务的功率，j表示第j个小区，L为小区的总数，通过解决最大最小优化问题，可以获得最优功率分配方案；

步骤1-2，获取大规模MIMO网络功率分配数据集。在大规模MIMO通信系统中收集用户设备的位置信息作为功率分配模型的输入，通过估计用户与其相关联的基站之间的信道，以最大化最小的用户速率为目标，建立完整的MIMO网络功率分配问题的数学模型，采用经典的凸优化算法对所建立的最大最小问题进行求解，将获得的最优功率分配方案作为标签。收集上述步骤产生的输入和标签，形成功率分配数据集，用于数据增广。

步骤1-3，假设包含L个小区的大规模MIMO网络，每个小区l包括一个带有M个天线的基站和K个用户设备，小区l中用户i和基站j之间的信道为

且信道满足如下分布：

其中，

为基站已知的空间相关矩阵。假设基站和用户根据时分双工协议进行通信，且该通信网络使用τ_p＝κ个导频，每个小区中的用户i使用相同的导频，则基站j利用最小均方误差估计技术，获得

的估计为：

其中，ρ^tr为用户的总上行链路导频功率，I_M是M维单位阵，n_li～N_C(0,I_M)为噪声，ρ为基站的服务功率，σ²为噪声功率，Q_li为规范化的接收信号自相关矩阵，

为信道的协方差矩阵，

且

估计误差

且独立于

对于位置为

的用户，其大尺度衰落

为：

其中，

为基站j处的天线到小区l中用户i的平均信道增益，Υ＝-148dB表示在参考距离为1km处的信道增益，α为路径损耗系数且α＝3.76，

为小区l中用户i与基站j之间的距离，大尺度衰落

的单位为dB。

大规模MIMO中下行链路频谱效率的计算式如下：

其中，

w为波束赋形矢量，本实施例中w_jk为

其中，v_jk根据如下公式获得：

其中，

为了实现公平的无线通信传输，本实施例最大化网络中频谱效率最差的用户的性能，可以通过求解最大最小公平性问题来实现公平的功率分配，求解的计算式如下：

其中，

表示最大发送功率，

表示信道容量上限

步骤2，对大规模MIMO网络的功率分配模型的输入和输出样本运用自编码器进行数据增广，将增广数据集送入MIMO网络的功率分配模型进行训练；

具体的，步骤2具体还包括以下步骤：

步骤2-1：采用基于经典自编码器的数据增广方法，首先构建用于数据增广的自编码器模型，设需要增广的数据集为

编码器为

解码器为

其中，κ_f和κ_g分别为编码器和解码器的参数，则可以通过如下损失函数J来训练自编码器：

其中，x为自编码器模型的输入样本。

当模型的损失函数J满足下式时停止训练：

c≤||g(f(x；κ_f)；κ_g)-x||²≤d

其中，c和d为超参数，如初始学习率，本实施例中取c＝0.2，d＝0.3，也可由本领域专业人员根据实验结果进行调整。

完成训练后，使用非完美编码器生成

并使用非完美解码器生成新数据

步骤2-2，将步骤1所采集的用户设备的位置和其对应的最优功率分配结果分别输入步骤2-1建立好的数据增广器中生成增广数据，得到的结果直接进行拼接形成新的训练数据集，再重新送入MIMO网络模型。

具体的，功率分配任务中自编码器的神经网络的主要参数，具体设置如下表1所示，表1：神经网络参数设置表

其中，训练神经网络所使用的批大小不能无限大，过大的批大小会降低网络的泛化能力，通常取批大小最大值为256。学习率以0.001基准，批大小以64为基准，样本数量的取值范围为5000～325000。当样本量在5000～20000范围内时，学习率和批大小分别设定为N_T×0.001/5000和N_T×64/5000。当样本数量在20000～325000区间时，取学习率和批大小分别为0.004和256。本实施例中所使用的自编码器的神经网络输入层大小为40，第一层为512，第二层为256，第三层为128，输出层为40，为了保证自编码器输出的结果和原始数据在同一范围内，输出层采用线性激活函数。采用上述自编码器进行数据增广后，将增广数据和原始数据融合并训练功率分配模型可以获得如下图2所示的实验结果。

从图2中可以看出随着训练数据集大小的增加，神经网络获得了更多的描述用户位置和相应的功率之间的关系的信息。当训练数据集大小在5000到50000之间时，测试均方误差会迅速下降。当训练数据集大小在50000和3250000之间时，测试均方误差从0.25左右缓慢减小到0.21左右，并且慢慢趋向于收敛。还可以看出，当训练数据集大小小于220000时，基于自编码器的数据增广方法减少了测试集均方误差并提高了模型性能。然而，当训练数据集大小大于220000时，增加数据集大小会降低模型的准确性。

步骤3，构建融合深度自编码器与混类增强的数据增广模型，进一步改善数据增广的性能。将步骤2中通过自编码器增广后的数据集与原始数据集运用混类增强方法生成新的训练样本，并把新的训练样本送入MIMO网络的功率分配模型进行训练，进一步提升MIMO网络模型性能。

具体的，步骤3还包括以下步骤：

步骤3-1，使用混类增强的方法增强用于功率分配的神经网络的泛化性能。在监督学习中，寻找一个函数f'∈F，该函数用以描述遵循联合分布P'(X',Y')的随机特征向量X'和随机目标向量Y'之间的关系。为此，首先定义一个损失函数θ，该损失函数用于最小化函数的预测结果f'(x')与实际目标之间的差异。将函数R'(f')作为预期风险，为最小化函数的预测结果f'(x')与实际目标之间差值的损失函数，其计算公式如下：

R'(f')＝∫θ(f'(x'),y')dP'(x',y')

其中，在实际情况下联合分布P'通常为未知，本实施例中获取第i组训练数据

且(x'_i',y'_i')～P'，根据训练数据Z，结合下述经验分布的计算公式来近似得到联合分布P'，

其中，P'_δ为经验分布，δ(x'＝x'_i',y'＝y'_i')是一个以(x'_i',y'_i')为中心的狄拉克函数，根据经验分布P'_δ能够近似得到预期风险R'_δ(f')，其计算式如下：

其中，通过最小化上式来学习函数f'即为经验风险最小化的原理。

进一步的，本实施例中获取联合分布P'的近似值P′_ν还可以使用邻域风险最小化原理，对分布进行如下的近似估算：

其中，v是用于测量在训练特征目标对(x'_i',y'_i')附近找到虚拟特征目标对

的可能性分布。为了学习使用邻域风险最小化原理，对原始样本分布的邻域进行采样，从而构建数据集

并使如下公式得到经验上邻近的风险最小化值：

其中，m是对原始样本分布的领域采样样本数量；

进而可以获得称为混类增强方法中的邻域分布，计算式如下：

其中，λ～Beta(α,α),α∈(0,∞)，超参数α控制特征对之间的插值强度。因此，从混类增强方法中的邻域分布中采样能够生成虚拟特征目标向量，该方法对数据的处理公式如下：

其中，x′_i′和y′_i′分别为原始训练样本的输入和标签，x′_i″和y′_i″分别为将x′_i′和y′_i′作为自编码器输入所生成的增广数据，λ∈[0,1]。

进一步的，混类增强方法原理的关键是参数λ服从Beta(a,b)分布，并且每次随机产生的和通常取0.1～1。超参数a和b控制特征目标之间的插值强度，从而产生模糊的决策边界，并提供更平滑的预测；

为了解决上述自编码器数据增广失效的问题，可以选择如下两种混类增强方案。方案1：通过改变混类增强方法中的Beta分布参数的方法来降低误差。然而，由于不同大小的数据集对应的有效Beta分布参数并不相同，需要从0.1～0.9中搜索，且不同样本数量的有效Beta分布参数不同，因此该方案复杂度较高。

方案2：将混类增强方法中的Beta参数固定为(0.9408,0.0192)，然后切换使用混类增强方法生成的数据与原始数据的方法来降低误差。此时混类增强方法生成的数据用于训练，得到的4个小区下最小均方根误差为(0.19，0.25，0.21，0.20)，而使用原始数据用于训练得到的误差为(0.21，0.23，0.20，0.22)，则我们切换数据集得到的误差为(0.19，0.23，0.20，0.20)。针对不同小区切换使用混类增强方法的数据集和原始数据集，即取两种情况下每个小区误差值最小时对应的数据集用于训练，即可降低模型的测试时误差。使用sigmoid函数作为自编码器隐藏层的激活函数，学习率为0.001，神经网络层数为4。将自编码器生成的数据与相应的原始数据拼接后，训练样本数增加了2倍，达到了数据增广的效果。

进一步的，采用上述数据增广后获得的实验结果如下图3所示。从图3中可以看出，当训练数据集较大时，所提出的两种数据混合方法都可以解决自编码器失效的问题。两种混合方法对于不同大小的训练数据集各有优劣，例如，当训练数据集大小在220000至250000之间时，选择使用混类增强方案2获得较低的测试均方误差。当它在250000到300000之间时，选择使用混类增强方案1获得更好的性能。当在训练示例外部进行预测时，混类增强方法对于数据线性融合会增强神经网络对于训练样本之间的线性表达的能力，从而提供了对样本空间不确定性的更平滑的估计。但是，混类增强方法所带来的性能增益逐渐趋于收敛。这是因为除了数据量会影响性能之外，神经网络的结构和容量也会影响性能。

步骤3.2：将上述数据增广方法生成的增广数据用于训练MIMO网络的功率分配模型，进一步提升功率分配模型的性能。

应说明的是，以上所述实施例仅表达了本发明的部分实施方式，其描述并不能理解为对本发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些均应落入本发明的保护范围。

Claims (4)

1.融合混类增强与自编码器的大规模MIMO性能提升方法，其特征在于：包括如下步骤，

步骤1，在大规模MIMO网络场景下，建立基于深度神经网络的功率分配模型，并获取用户设备的位置作为所述功率分配模型的输入样本，分配结果作为输出样本；

步骤2，对大规模MIMO网络的功率分配模型的输入样本和输出样本运用自编码器进行数据增广，并将增广数据集送入MIMO网络的功率分配模型进行训练；

步骤3，构建融合深度自编码器与混类增强的数据增广模型，进一步改善数据增广的性能。

2.如权利要求1所述的融合混类增强与自编码器的大规模MIMO性能提升方法，其特征在于：所述步骤1还包括，

步骤1-1，最大化大规模MIMO网络中速率最差的用户的速率，以达到所有用户获得相同下行速率的目的，大规模MIMO网络的输入X为:

X＝{x(k)|k＝1,......,K}

其中,x(k)表示用户k的位置，输出是最佳功率分配方案P，且：

P＝{ρ_j,k|k＝1,......K；j＝1,......,L}

其中，ρ_j,k是基站为用户服务的功率，j表示第j个小区，L为小区的总数，通过解决最大最小优化问题获得最优功率分配方案；

步骤1-2，获取大规模MIMO网络功率分配数据集；在大规模MIMO通信系统中收集用户设备的位置信息作为功率分配模型的输入，通过估计用户与其相关联的基站之间的信道，以最大化最小的用户速率为目标，建立完整的MIMO网络功率分配问题的数学模型，采用经典的凸优化算法对所建立的最大最小问题进行求解，将获得的最优功率分配方案作为标签，收集上述步骤产生的输入和标签，形成功率分配数据集，用于数据增广。

3.如权利要求1或2所述的融合混类增强与自编码器的大规模MIMO性能提升方法，其特征在于：所述步骤2还包括，

步骤2-1：采用基于经典自编码器的数据增广方法，首先构建用于数据增广的自编码器模型，设需要增广的数据集为

编码器为

解码器为

其中，κ_f和κ_g分别为编码器和解码器的参数，则可以通过如下损失函数J来训练自编码器：

其中，x为自编码器模型的输入值；

当模型的损失函数J满足下式时停止训练：

c≤||g(f(x；κ_f)；κ_g)-x||²≤d

其中，c和d为超参数，取c＝0.2，d＝0.3；

完成训练后，使用非完美编码器生成

并使用非完美解码器生成新数据

步骤2-2，将所述步骤1所采集的用户设备的位置和其对应的最优功率分配结果分别输入步骤2-1建立好的数据增广器中生成增广数据，得到的结果直接进行拼接形成新的训练数据集，再重新送入MIMO网络模型。

4.如权利要求3所述的融合混类增强与自编码器的大规模MIMO性能提升方法，其特征在于：所述步骤3还包括，

步骤3-1，使用混类增强的数据增广方法增强用于功率分配的神经网络的泛化性能，对数据的处理公式如下：

其中，x′_i′和y′_i′分别为原始训练样本的输入和标签，x′_i′和y′_i′分别为将x′_i′和y′_i′作为自编码器输入所生成的增广数据，λ∈[0,1]；

步骤3.2，将上述数据增广方法生成的增广数据用于训练MIMO网络的功率分配模型，进一步提升功率分配模型的性能。

Images