CN115066019A - 一种基于梯度掩膜的智能波束选择性能提升方法 - Google Patents

一种基于梯度掩膜的智能波束选择性能提升方法 Download PDF

Info

Publication number
CN115066019A
CN115066019A CN202210656050.XA CN202210656050A CN115066019A CN 115066019 A CN115066019 A CN 115066019A CN 202210656050 A CN202210656050 A CN 202210656050A CN 115066019 A CN115066019 A CN 115066019A
Authority
CN
China
Prior art keywords
gradient
neural network
mask
beam selection
gradient mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210656050.XA
Other languages
English (en)
Inventor
徐琴珍
田慕晨
张征明
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210656050.XA priority Critical patent/CN115066019A/zh
Publication of CN115066019A publication Critical patent/CN115066019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/046—Wireless resource allocation based on the type of the allocated resource the resource being in the space domain, e.g. beams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

本发明公开了一种基于梯度掩膜的智能波束选择性能提升方法，具体包含以下步骤：基站收集数据建立数据集；基站建立并初始化一个神经网络结构，以学习输入数据与最优波束索引之间的映射；每一个训练回合开始之前，利用数据集计算一个梯度掩膜；训练过程中，使用随机梯度下降算法更新神经网络的参数，每次执行更新之前，将梯度乘以事先计算的梯度掩膜，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度执行更新；重复上述两步，迭代训练直至神经网络收敛。本发明通过提出的基于梯度掩膜的正则化步骤，有效减轻神经网络训练过程中的过拟合现象，从而提高基于深度学习的波束选择方法的准确率。

Description

一种基于梯度掩膜的智能波束选择性能提升方法
技术领域
本发明涉及无线通信技术领域，尤其涉及基于深度学习的波束选择方法。
背景技术
近年来，智能波束选择方法受到越来越多的关注，因其能够直接预测最优波束，节省信道估计或波束搜索开销而被广泛研究。一般而言，智能波束选择方法的基本范式是利用无线通信系统中的数据资源，训练一个神经网络学习输入数据与最优波束之间的映射关系，然后通过训练好的神经网络预测新数据对应的最优波束。因此，神经网络在新数据上的泛化性能对智能波束选择方法至关重要。过拟合是一个常见的损害神经网络泛化性能的原因，即仅在训练数据上获得很好的拟合，而在测试数据上不能准确的预测。特别的，过拟合问题在训练数据较少的情况下尤其严重，会大大降低基于深度学习的波束选择算法在实际使用时的准确率。
发明内容
本发明的目的在于提供一种基于梯度掩膜的智能波束选择性能提升方法，通过一个基于梯度掩膜的正则化步骤，解决现有方法由于严重的过拟合现象带来的性能损失问题。
本发明的技术方案如下：一种基于梯度掩膜的智能波束选择性能提升方法，包括以下步骤：
步骤1，基站收集数据，包括用户位置、光探测和测距数据、基站位置(作为神经网络的输入)和最优波束索引(作为神经网络的标签)，建立数据集D。
进一步地，将同一时刻收集到的用户位置、光探测和测距数据、基站位置整合成为神经网络的输入x，并将该时刻的最优波束索引作为与之对应的标签y。一对输入和标签构成数据集中的一个样本(x,y)。
步骤2，基站建立并初始化一个以w为参数的深度神经网络结构，以学习输入数据与最优波束索引之间的映射。
进一步地，将所述的波束选择问题建模为在固定码本约束下接收信号功率最大化问题，具体如下：
Figure BDA0003687802040000011
其中，
Figure BDA0003687802040000012
表示最优波束索引，M表示子载波数量，H表示信道，wq和fp表示用户端固定码本
Figure BDA0003687802040000013
中的第q个码字和基站端固定码本
Figure BDA0003687802040000014
中的第p个码字，(·)H表示转置。
进一步地，所建立的神经网络结构具体如下：
神经网络由3层卷积层和1层全连接层连接而成，卷积层提取输入的隐式特征，全连接层将特征映射为预测的波束索引；
神经网络使用激活函数引入非线性成分，增加模型的表达力。
优选地，所述激活函数采用ReLu函数。
步骤3，每一个训练回合开始之前，利用数据集D计算一个梯度掩膜。
进一步地，具体计算方法如下：
(1)用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度
Figure BDA0003687802040000021
具体如下：
Figure BDA0003687802040000022
其中，L代表损失函数，wt代表当前训练回合的神经网络参数。
(2)建立一个与梯度
Figure BDA0003687802040000023
形状相同的张量，即梯度掩膜mt。
(3)对张量
Figure BDA0003687802040000024
中的梯度值求绝对值，将其按从大到小的顺序排序。对于前α的绝对值，梯度掩膜mt中的相应位置设为1；对于其余绝对值，梯度掩膜mt中的相应位置设为0。α是所述方法的超参数，0<α≤1，α越接近0，正则化程度越强。特别的，当α＝1，所述方法将与一般的训练过程相同。
优选地，所述损失函数采用交叉熵损失函数。
步骤4，训练过程中，使用随机梯度下降算法更新神经网络的参数。每次执行更新之前，将梯度乘以事先计算的梯度掩膜，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度执行更新。
进一步地，所述更新规则具体如下：
(1)用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度gt，具体如下：
Figure BDA0003687802040000025
(2)梯度gt乘以梯度掩膜mt，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度更新神经网络的参数，具体如下：
wt+1＝wt+ηgtmt
其中，wt+1为更新的网络参数，η为学习率。
进一步地，训练目标为数据在神经网络上的期望损失最小，具体如下：
Figure BDA0003687802040000031
其中，函数F表示优化目标，w表示神经网络的参数，函数L代表损失函数。
步骤5，重复步骤3和步骤4，迭代训练直至模型收敛。
本发明的有益效果：
本发明提供一种基于梯度掩膜的智能波束选择性能提升方法，通过一个基于梯度掩膜的正则化步骤，减轻现有的基于深度学习的波束选择方法中常见的过拟合现象，从而提高波束选择的性能。
附图说明
图1为本发明一种基于梯度掩膜的智能波束选择性能提升方法的流程图。
图2为智能波束选择方法在测试数据集上的准确率曲线。
图3为智能波束选择方法在测试数据集上的损失曲线。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本实施例考虑一个下行的多输入多输出毫米波系统中的波束选择问题。系统中的基站配有32根天线，基站端码本中包含32个码字，用户配有8根天线，用户端码本中包含8个码字。
如图1所示，本发明提出的基于梯度掩膜的智能波束选择性能提升方法的具体实施步骤包括：
步骤1，基站收集数据，包括用户位置、光探测和测距数据、基站位置(作为神经网络的输入)和最优波束索引(作为神经网络的标签)，建立数据集D。
具体地，步骤1包括：
步骤1.1，将同一时刻收集到的用户位置、光探测和测距数据、基站位置整合成为神经网络的输入x，并将该时刻的最优波束索引作为与之对应的标签y。一对输入和标签构成数据集中的一个样本(x,y)。
步骤2，基站建立并初始化一个以w为参数的深度神经网络结构，以学习输入数据与最优波束索引之间的映射。
具体地，步骤2包括：
步骤2.1，将所述的波束选择问题建模为在固定码本约束下接收信号功率最大化问题，具体如下：
Figure BDA0003687802040000032
其中，
Figure BDA0003687802040000041
表示最优波束索引，M表示子载波数量，H表示信道，wq和fp表示用户端固定码本
Figure BDA0003687802040000042
中的第q个码字和基站端固定码本
Figure BDA0003687802040000043
中的第p个码字，(·)H表示转置。
步骤2.2，基站建立并初始化一个神经网络。具体的，神经网络结构如下：
神经网络由3层卷积层和1层全连接层连接而成，卷积层提取输入的隐式特征，全连接层将特征映射为预测的波束索引；
神经网络使用激活函数引入非线性成分，增加模型的表达力。具体的，本实施例采用ReLu函数作为激活函数。
步骤3，每一个训练回合开始之前，利用数据集D计算一个梯度掩膜。
具体地，步骤3包括：
步骤3.1，用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度
Figure BDA0003687802040000044
具体如下：
Figure BDA0003687802040000045
其中，L代表损失函数，wt代表当前训练回合的神经网络参数。具体的，本实施例使用交叉熵损失函数。
步骤3.2，建立一个与梯度
Figure BDA0003687802040000046
形状相同的张量，即梯度掩膜mt。
步骤3.3，对张量
Figure BDA0003687802040000047
中的梯度值求绝对值，将其按从大到小的顺序排序。对于前α的绝对值，梯度掩膜mt中的相应位置设为1；对于其余绝对值，梯度掩膜mt中的相应位置设为0。α是所述方法的超参数，0<α≤1，α越接近0，正则化程度越强。特别的，当α＝1，所述方法将与一般的训练过程相同。具体的，本实施例中α＝0.05。
步骤4，训练过程中，使用随机梯度下降算法更新神经网络的参数。每次执行更新之前，将梯度乘以事先计算的梯度掩膜，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度执行更新。
具体地，步骤4包括：
步骤4.1，用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度gt，具体如下：
Figure BDA0003687802040000048
步骤4.2，用梯度gt乘以梯度掩膜mt，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度更新神经网络的参数，具体如下：
wt+1＝wt+ηgtmt
其中，wt+1为更新的网络参数，η为学习率。
步骤4.3，按照上述加入梯度掩码的训练过程训练神经网络，训练目标为数据在神经网络上的期望损失最小，具体如下：
Figure BDA0003687802040000051
其中，函数F表示优化目标，w表示神经网络的参数，函数L代表损失函数。
步骤5，重复步骤3和步骤4，迭代训练直至模型收敛。
如图2所示，无梯度掩膜的传统深度学习方法出现了过拟合现象，测试数据准确率在达到最高值后，随训练回合数增加明显呈下降趋势。本发明提出的基于梯度掩膜的方法缓解了这种现象，在更长的训练回合中保持准确率上升趋势，并因此达到了更高的测试数据准确率，提升了波束选择性能。
如图3所示，无梯度掩膜的传统深度学习方法在测试数据上的损失在降低到最低值后显著上升，本发明提出的基于梯度掩膜的方法减轻了这种上升趋势和程度，缓解了过拟合现象，使得智能波束算法拥有更好的泛化性能。
以上所述，仅为本发明的具体实施方式，并不用于限定本发明的保护范围。对本发明技术方案的任何修改或等效替换，凡不脱离本发明技术方案的精神和范围，均涵盖在本发明的权力要求范围当中。

Claims (9)

1.一种基于梯度掩膜的智能波束选择性能提升方法，其特征在于，包括以下步骤：
步骤1，基站收集数据，包括用户位置、光探测和测距数据、基站位置和最优波束索引，建立数据集D；
步骤2，基站建立并初始化一个以w为参数的深度神经网络结构，以学习输入数据与最优波束索引之间的映射；
步骤3，每一个训练回合开始之前，利用数据集D计算一个梯度掩膜；
步骤4，训练过程中，使用随机梯度下降算法更新神经网络的参数，每次执行更新之前，将梯度乘以事先计算的梯度掩膜，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度执行更新；
步骤5，重复步骤3和步骤4，迭代训练直至模型收敛。
2.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤1中，将同一时刻收集到的用户位置、光探测和测距数据、基站位置整合成为神经网络的输入x，并将该时刻的最优波束索引作为与之对应的标签y；一对输入和标签构成数据集中的一个样本(x,y)。
3.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤2中，将所述的波束选择问题建模为在固定码本约束下接收信号功率最大化问题，具体如下：
Figure FDA0003687802030000011
其中，
Figure FDA0003687802030000012
表示最优波束索引，M表示子载波数量，H表示信道，wq和fp表示用户端固定码本
Figure FDA0003687802030000013
中的第q个码字和基站端固定码本
Figure FDA0003687802030000014
中的第p个码字，(·)H表示转置。
4.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤2中，所建立的神经网络结构具体如下：
神经网络由3层卷积层和1层全连接层连接而成，卷积层提取输入的隐式特征，全连接层将特征映射为预测的波束索引；
神经网络使用激活函数引入非线性成分，增加模型的表达力。
5.根据权利要求4所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述激活函数采用ReLu函数。
6.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤3中，利用数据集D计算一个梯度掩膜，具体计算方法如下：
(1)用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度
Figure FDA0003687802030000024
具体如下：
Figure FDA0003687802030000021
其中，L代表损失函数，wt代表当前训练回合的神经网络参数；
(2)建立一个与梯度
Figure FDA0003687802030000025
形状相同的张量，即梯度掩膜mt；
(3)对张量
Figure FDA0003687802030000026
中的梯度值求绝对值，将其按从大到小的顺序排序。对于前α的绝对值，梯度掩膜mt中的相应位置设为1；对于其余绝对值，梯度掩膜mt中的相应位置设为0；α是所述方法的超参数，0<α≤1，α越接近0，正则化程度越强；当α＝1，所述方法将与一般的训练过程相同。
7.根据权利要求6所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述损失函数采用交叉熵损失函数。
8.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤4中，在训练过程中，使用随机梯度下降算法更新神经网络的参数；每次执行更新之前，将梯度乘以事先计算的梯度掩膜，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度执行更新；所述更新规则具体如下：
(1)用数据集D中的数据在当前神经网络上进行前向传播，根据选定的损失函数计算当前网络参数的梯度gt，具体如下：
Figure FDA0003687802030000022
(2)梯度gt乘以梯度掩膜mt，得到被遮挡的梯度，使用被遮挡的梯度代替原始梯度更新神经网络的参数，具体如下：
wt+1＝wt+ηgtmt
其中，wt+1为更新的网络参数，η为学习率。
9.根据权利要求1所述的基于梯度掩膜的智能波束选择性能提升方法，其特征在于：所述步骤4中，训练目标为数据在神经网络上的期望损失最小，具体如下：
Figure FDA0003687802030000023
其中，函数F表示优化目标，w表示神经网络的参数，函数L代表损失函数。
CN202210656050.XA 2022-06-10 2022-06-10 一种基于梯度掩膜的智能波束选择性能提升方法 Pending CN115066019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210656050.XA CN115066019A (zh) 2022-06-10 2022-06-10 一种基于梯度掩膜的智能波束选择性能提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210656050.XA CN115066019A (zh) 2022-06-10 2022-06-10 一种基于梯度掩膜的智能波束选择性能提升方法

Publications (1)

Publication Number Publication Date
CN115066019A true CN115066019A (zh) 2022-09-16

Family

ID=83200179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210656050.XA Pending CN115066019A (zh) 2022-06-10 2022-06-10 一种基于梯度掩膜的智能波束选择性能提升方法

Country Status (1)

Country Link
CN (1) CN115066019A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115261963A (zh) * 2022-09-27 2022-11-01 南通如东依航电子研发有限公司 一种用于pcb板深镀能力提高的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8756175B1 (en) * 2012-02-22 2014-06-17 Google Inc. Robust and fast model fitting by adaptive sampling
CN111867104A (zh) * 2020-07-15 2020-10-30 中国科学院上海微系统与信息技术研究所 一种低轨卫星下行链路的功率分配方法及功率分配装置
CN112073106A (zh) * 2020-08-14 2020-12-11 清华大学 毫米波波束预测方法及装置、电子设备、可读存储介质
CN113300749A (zh) * 2021-03-30 2021-08-24 北京邮电大学 基于机器学习赋能的智慧传输波束优化方法
CN113411110A (zh) * 2021-06-04 2021-09-17 东南大学 一种基于深度强化学习的毫米波通信波束训练方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8756175B1 (en) * 2012-02-22 2014-06-17 Google Inc. Robust and fast model fitting by adaptive sampling
CN111867104A (zh) * 2020-07-15 2020-10-30 中国科学院上海微系统与信息技术研究所 一种低轨卫星下行链路的功率分配方法及功率分配装置
CN112073106A (zh) * 2020-08-14 2020-12-11 清华大学 毫米波波束预测方法及装置、电子设备、可读存储介质
CN113300749A (zh) * 2021-03-30 2021-08-24 北京邮电大学 基于机器学习赋能的智慧传输波束优化方法
CN113411110A (zh) * 2021-06-04 2021-09-17 东南大学 一种基于深度强化学习的毫米波通信波束训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马文焱;戚晨皓;: "基于深度学习的上行传输过程毫米波通信波束选择方法", 合肥工业大学学报(自然科学版), no. 12, 28 December 2019 (2019-12-28) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115261963A (zh) * 2022-09-27 2022-11-01 南通如东依航电子研发有限公司 一种用于pcb板深镀能力提高的方法

Similar Documents

Publication Publication Date Title
CN108596212B (zh) 基于改进布谷鸟搜索优化神经网络的变压器故障诊断方法
CN106600059B (zh) 基于改进rbf神经网络的智能电网短期负荷预测方法
CN110120926B (zh) 基于演化bp神经网络的通信信号调制方式识别方法
CN110334580A (zh) 基于集成增量的动态权重组合的设备故障分类方法
CN109886464B (zh) 基于优化奇异值分解生成特征集的低信息损失短期风速预测方法
CN113887643B (zh) 一种基于伪标签自训练和源域再训练的新对话意图识别方法
CN110941896B (zh) 一种基于pgp的超宽带天线的设计方法
CN110287985B (zh) 一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法
CN109583635A (zh) 一种面向运行可靠性的短期负荷预测建模方法
CN108596204B (zh) 一种基于改进型scdae的半监督调制方式分类模型的方法
CN115114409B (zh) 一种基于软参数共享的民航不安全事件联合抽取方法
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN113315593A (zh) 一种基于flom协方差矩阵和lstm神经网络的频谱感知算法
CN115066019A (zh) 一种基于梯度掩膜的智能波束选择性能提升方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN111340107A (zh) 基于卷积神经网络代价敏感学习的故障诊断方法及系统
CN116031879A (zh) 一种适应电力系统暂态电压稳定评估的混合智能特征选择方法
CN113570032A (zh) 基于半监督深度神经网络的有限数据频谱感知方法
CN115130376A (zh) 一种基于行列式多样性引导的群体强化学习训练方法
CN113379037B (zh) 一种基于补标记协同训练的偏多标记学习方法
Roh et al. Deep Learning-based Wireless Signal Classification in the IoT Environment.
CN110516792A (zh) 基于小波分解和浅层神经网络的非平稳时间序列预测方法
Valadão et al. Mobilenetv3-based automatic modulation recognition for low-latency spectrum sensing
CN117353798A (zh) 一种卫星物联网场景下确定harq传输功率和最大重传次数的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination