CN113489521B - 反射面辅助无小区大规模mimo网络联合波束赋形方法 - Google Patents

反射面辅助无小区大规模mimo网络联合波束赋形方法 Download PDF

Info

Publication number
CN113489521B
CN113489521B CN202110577372.0A CN202110577372A CN113489521B CN 113489521 B CN113489521 B CN 113489521B CN 202110577372 A CN202110577372 A CN 202110577372A CN 113489521 B CN113489521 B CN 113489521B
Authority
CN
China
Prior art keywords
base station
intelligent
aod
reflection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110577372.0A
Other languages
English (en)
Other versions
CN113489521A (zh
Inventor
杨刚
梁应敞
曹智禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110577372.0A priority Critical patent/CN113489521B/zh
Publication of CN113489521A publication Critical patent/CN113489521A/zh
Application granted granted Critical
Publication of CN113489521B publication Critical patent/CN113489521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/04013—Intelligent reflective surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0456—Selection of precoding matrices or codebooks, e.g. using matrices antenna weighting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0837—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station using pre-detection combining
    • H04B7/0842—Weighted combining
    • H04B7/086—Weighted combining using weights depending on external parameters, e.g. direction of arrival [DOA], predetermined weights or beamforming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及无线通信技术领域，其公开了一种反射面辅助无小区大规模MIMO网络联合波束赋形方法，解决现有技术中的优化设计复杂度较高，计算消耗较大，难以根据环境信道状态的变化进行实时的优化求解的问题。该方法基于深度强化学习的方法根据环境中观测到的全局信道状态信息进行基站的波束赋形矢量和智能反射面的反射系数矩阵的优化设计。本发明所设计的深度强化学习算法不仅能极大地提升系统中用户的和速率，而且一旦获得训练收敛之后的深度神经网络，便不再有优化求解的时间和计算资源开销，能够对环境中信道状态的变化作出快速、实时的响应。

Description

反射面辅助无小区大规模MIMO网络联合波束赋形方法
技术领域
本发明涉及无线通信技术领域，具体涉及一种反射面辅助无小区大规模MIMO(Multi-Input-Multi-Output)网络联合波束赋形方法。
背景技术
在蜂窝式移动通信系统中，由于电磁波在空间中传播时的衰减特性以及相邻小区间存在的相互干扰现象，使得蜂窝网络在空间中的不同位置所能提供的通信速率具有极大的差异。而无小区网络(每个用户由多个基站协同服务的新型移动通信网络结构)通过各基站间协同式的服务，在有效抑制用户间干扰的同时也能在网络覆盖范围内提供均衡的高速率的数据传输服务，因而在下一代移动通信系统中具有极大的应用潜力。
然而，当网络规模变大时，由于基站数量的增加，网络的硬件成本和能量消耗也急剧上升。考虑到智能反射面的低成本、低复杂度和能谱高效的特性，因此可以使用一部分智能反射面来替代无小区网络中的一部分基站，并用它们来辅助网络中其它基站和用户之间的通信。
在对基站的波束赋形矢量和智能反射面的反射系数矩阵进行优化设计时，现有的优化方法计算复杂度较高，计算消耗较大，难以根据环境信道状态的变化进行实时的优化求解。
发明内容
本发明所要解决的技术问题是：提出一种反射面辅助无小区大规模MIMO网络联合波束赋形方法，解决现有技术中的优化设计复杂度较高，计算消耗较大，难以根据环境信道状态的变化进行实时的优化求解的问题。
本发明解决上述技术问题采用的技术方案是：
反射面辅助无小区大规模MIMO网络联合波束赋形方法，应用于包括基站和智能反射面的无小区网络通信系统中；该方法基于深度强化学习的方法根据环境中观测到的全局信道状态信息进行基站的波束赋形矢量和智能反射面的反射系数矩阵的优化设计，具体包括：
a.获取无小区网络的全局信道状态信息，所述全局信道包括表示基站与用户之间的信道
Figure GDA0004168412090000011
智能反射面与用户之间的信道
Figure GDA0004168412090000012
以及基站与智能反射面之间的信道{Gb,r}；
b.以最大化无小区网络通信系统中所有用户的和速率为目标，建立优化基站的波束赋形和智能反射面反射系数矩阵的模型，然后求解出基站的波束赋形矢量和智能反射面的反射系数矩阵的最优值。
具体的，步骤b中，建立的优化基站的波束赋形和智能反射面反射系数矩阵的模型为：
Figure GDA0004168412090000021
Figure GDA0004168412090000022
Figure GDA0004168412090000023
其中，ωb,k∈CM×1表示第b个基站对第k个用户所采用的波束赋形矢量；Φr为第r个智能反射面的反射系数矩阵，
Figure GDA0004168412090000024
其中，
Figure GDA0004168412090000025
并且
Figure GDA0004168412090000026
Figure GDA0004168412090000027
表示第r个智能反射面第n个反射单元的反射系数；Λk为用户k的接收信干噪比；Pmax表示每一个基站发送功率的限制大小；σ2为用户k的噪声功率；
Figure GDA0004168412090000028
B表示无小区网络中基站的数量，R表示无小区网络中智能反射面的数量，
Figure GDA0004168412090000029
表示第b个基站用与用户k之间的信道状态估计值，
Figure GDA00041684120900000210
表示第r个智能反射面与用户k之间的信道状态估计值，Gb,r表示第b个基站与第r个智能反射面之间的信道状态估计值。
具体的，Gb,r的计算方式为：
Figure GDA00041684120900000211
Figure GDA00041684120900000212
的计算方式为：
Figure GDA00041684120900000213
Figure GDA00041684120900000214
其中，ρ为相邻两个帧之间信道的相关系数，而在每一帧内，
Figure GDA00041684120900000215
和
Figure GDA00041684120900000216
均服从单环散射信道模型，具体表示为：
Figure GDA00041684120900000217
Figure GDA00041684120900000218
其中，L表示多径的数量；τb,k,l、τr,k,l在[-π,π]上服从独立的均匀分布；θAoD,b,k,l、αAoD,r,k,l和βAoD,r,k,l均为随机的信号发射角，它们分别在区间[θAoD,b,k-Δθ/2,θAoD,b,k+Δθ/2]、[αAoD,r,k-Δα/2,αAoD,r,k+Δα/2]和[βAoD,r,k-Δβ/2,βAoD,r,k+Δβ/2]上服从独立的均匀分布，其中，θAoD,b,k、αAoD,r,k和βAoD,r,k由基站、智能反射面和用户的相对位置决定，Δθ、Δα和Δβ为对应的角度扩展的范围。
具体的，步骤b中，所述求解出基站的波束赋形矢量和智能反射面的反射系数矩阵的最优值的过程包括：
将基站的波束赋形矢量ωb,k和智能反射面的反射系数矩阵对应矢量
Figure GDA0004168412090000031
分解为如下形式：
Figure GDA0004168412090000032
Figure GDA0004168412090000033
其中，pb,k为基站各波束赋形矢量所消耗的功率大小，
Figure GDA0004168412090000034
为各波束的指向；
Figure GDA0004168412090000035
和
Figure GDA0004168412090000036
分别为智能反射面在俯仰角方向和方位角方向上的阵列响应的指向；
将TD3模型中演员网络的输出层定义为对基站的波束赋形矢量和智能反射面的反射系数矩阵的决策，演员网络输出层主要由4类神经元所组成，它们分别为对变量pb,k、
Figure GDA0004168412090000037
和
Figure GDA0004168412090000038
的决策，将此4类神经元的取值分别用
Figure GDA0004168412090000039
和
Figure GDA00041684120900000310
表示，基于tanh激活函数，它们的取值范围均为[-1,1]；
对于
Figure GDA00041684120900000311
和
Figure GDA00041684120900000312
所代表的波束指向的决策，采用多个码字组成的码本来覆盖二维平面上的各个方向，作为波束指向的候选集，神经元
Figure GDA00041684120900000313
和
Figure GDA00041684120900000314
的取值在经过离散化后则代表了在对应码本中选择的波束指向的索引值，码本
Figure GDA00041684120900000315
可以用一个矩阵来表示，
Figure GDA00041684120900000316
其每一列对应一个码字，码本中码字个数
Figure GDA00041684120900000317
大于天线数X，天线间距等于电磁波半波长，码本的第c个码字中第x根天线的权值表示为
Figure GDA00041684120900000318
其中，Ψ表示每一根天线可实现的相位调制数量，
Figure GDA0004168412090000041
表示向下取整运算，mod(·)表示取模运算；
通过解码器对基站的波束赋形矢量ωb,k进行解码：
1)求解波束消耗的功率大小：首先对神经元
Figure GDA0004168412090000042
进行放缩，
Figure GDA0004168412090000043
然后求解pb,k的值，
Figure GDA0004168412090000044
2)求解波束指向：
Figure GDA0004168412090000045
3)求解波束赋形矢量：
Figure GDA0004168412090000046
通过解码器对智能反射面的反射系数矩阵对应矢量
Figure GDA0004168412090000047
进行解码：
1)求解俯仰角方向的波束指向：
Figure GDA0004168412090000048
2)求解方位角方向的波束指向：
Figure GDA0004168412090000049
3)求解反射系数矢量：
Figure GDA00041684120900000410
具体的，在采用深度强化学习进行基站波束赋形矢量和智能反射面的反射系数矩阵优化设计中采用的奖励函数设置为所有用户所取得的和速率，即：
Figure GDA00041684120900000411
本发明的有益效果是：
采用深度强化学习的方法来联合设计基站的波束赋形矢量和智能反射面的反射系数矩阵，以提高系统的性能。本发明所设计的深度强化学习算法不仅能极大地提升系统中用户的和速率，而且一旦获得训练收敛之后的深度神经网络，便不再有优化求解的时间和计算资源开销，能够对环境中信道状态的变化作出快速、实时的响应。
附图说明
图1为无小区网络的一种组成结构示意图；
图2为本发明中智能反射面辅助的无小区网络的系统模型图；
图3为本发明中采用的深度神经网络的模型结构图；
图4为本发明中提出的基站的波束赋形和智能反射面反射系数矩阵的联合设计方法和其它优化设计方法的性能对比图；
图5为本发明中提出的基于深度强化学习的智能联合波束赋形方法的收敛性能曲线图；
图6为基于延迟信道状态信息的条件下，本发明中提出的基于深度强化学习的智能联合波束赋形方法的性能与基于实时信道状态信息的优化方法的性能比较图。
具体实施方式
本发明旨在提出一种反射面辅助无小区大规模MIMO网络联合波束赋形方法，解决现有技术中的优化设计复杂度较高，计算消耗较大，难以根据环境信道状态的变化进行实时的优化求解的问题。
无小区网络结构如图1所示，空间的不同位置上共分布有L个基站，它们共同服务网络覆盖内的所有用户。网络中还存在有一个或多个CPU，它们之间通过有线或无线的前传链路相互连接。此外，每一个基站都通过前传链路与一个CPU相连，这些CPU控制着网络中所有基站间的相互协作。同时，无小区网络也像蜂窝网络一样分为边缘计算部分和核心网部分，其中，基站和CPU均属于边缘计算的部分，它们之间通过前传链路相连，而网络的边缘计算部分与核心网之间的连接称为回传链路。因此，网络中的CPU通过回传链路与核心网相连，用于根据不同的数据服务需要和因特网或其它来源之间进行数据的发送或接收。
本发明考虑如图2所示的一个由智能反射面辅助的无小区网络通信系统模型。在该网络中，所有用户为单天线的设备，同时被所有基站协同式地进行服务，每一个多天线基站采用波束成形技术为网络中的各单天线用户提供下行数据传输。其中，基站表示为b∈{1,2,...,B}，用户表示为k∈{1,2,...,K}，每一个基站对每一个用户所发送的信号相同。基站对所有用户发送的信号以s表示，有
Figure GDA0004168412090000051
为了降低网络的硬件成本并提升能量效率，在该网络中引入了智能反射面来替代其中的一部分基站并用它们来辅助其他基站与用户之间的通信，智能反射面表示为r∈{1,2,...,R}。网络中的所有基站和智能反射面都由一个CPU进行统一控制，其中基站通过光缆或无线前传链路与CPU相连，而对于智能反射面，其控制信号可以由基站或者CPU通过光缆或无线前传链路进行传输。此外，第b个基站的天线数量为M，第r个智能反射面在方位角方向和俯仰角方向的天线数量分别为Na和Ne。
在该智能反射面辅助的无小区网络中，每一条链路中的大尺度衰落项可以表示为η＝η0(d0/d)ξ，其中，η0为基本的信道增益，d0为天线的远场参考距离，d为发射天线和接收天线之间的距离，ξ为路径的衰落指数。在下行链路上，信号从第b个基站在被第r个智能反射面反射后到达第k个用户时会经过两种链路：第一种是从基站到用户的直射链路，表示为
Figure GDA0004168412090000061
第二种是从基站到智能反射面再到用户处的反射链路，而该链路又可以进一步地分解为基站到智能反射面的链路，表示为
Figure GDA0004168412090000062
以及智能反射面到用户的链路，表示为
Figure GDA0004168412090000063
基站天线为均匀的线性阵列，其阵列响应矢量为：
Figure GDA0004168412090000064
其中，D为天线之间的间距，θ表示信号在阵列上的发射角(AoD)或到达角(AoA)，λ表示波长。智能反射面为均匀的矩形阵列，其在方位角和俯仰角方向上的阵列响应矢量为：
Figure GDA0004168412090000065
Figure GDA0004168412090000066
其中，方位角和俯仰角方向上反射单元之间的间距分别用Da和De表示，α为方位角方向上信号的AoD或AoA，β为俯仰角方向上信号的AoD或AoA，则智能反射面的阵列响应为
Figure GDA0004168412090000067
我们假设基站和智能反射面之间主要受一条视距(line-of-sight，LOS)路径的影响，则：
Figure GDA0004168412090000068
θAoD,b,r、αAoA,b,r和βAoA,b,r由基站和智能反射面之间的相对位置决定。对于基站到用户的直射链路和智能反射面到用户的链路，我们采用Jake’s模型来描述相邻两帧之间信道的变化，即
Figure GDA0004168412090000069
Figure GDA00041684120900000610
其中，ρ为相邻两个帧之间信道的相关系数，而在每一帧内，
Figure GDA00041684120900000611
和
Figure GDA00041684120900000612
均服从单环散射信道模型(one-ring scatter model)，具体表示为：
Figure GDA00041684120900000613
Figure GDA0004168412090000071
其中，L表示多径的数量；τb,k,l、τr,k,l在[-π,π]上服从独立的均匀分布；θAoD,b,k,l、αAoD,r,k,l和βAoD,r,k,l均为随机的AoD，它们分别在区间[θAoD,b,k-Δθ/2,θAoD,b,k+Δθ/2]、[αAoD,r,k-Δα/2,αAoD,r,k+Δα/2]和[βAoD,r,k-Δβ/2,βAoD,r,k+Δβ/2]上服从独立的均匀分布，其中，θAoD,b,k、αAoD,r,k和βAoD,r,k由基站、智能反射面和用户的相对位置决定，Δθ、Δα和Δβ为对应的角度扩展的范围。
在每一时刻，用户k所接收到的来自于无小区网络中所有基站所发送的信号表示为
Figure GDA0004168412090000072
其中，
Figure GDA0004168412090000073
表示第b个基站对第k个用户所采用的波束赋形矢量；Φr为第r个智能反射面的反射系数矩阵，进一步地，Φr可以写作
Figure GDA0004168412090000074
其中，
Figure GDA0004168412090000075
并且
Figure GDA0004168412090000076
zk表示用户处所接收到的加性噪声，zk服从复高斯分布
Figure GDA0004168412090000077
由于用户k只解调各基站所发送的对应信息，所以它把接收到的来自于各基站发送的其它信号当作干扰，因此，用户k的接收信干噪比(signal-to-interference-noise-ratio,SINR)为
Figure GDA0004168412090000078
本发明的目标是找出一种有效的联合优化设计方法，通过优化基站的波束赋形矢量和智能反射面的反射系数矩阵，来最大化该智能反射面辅助的无小区网络通信系统中所有用户的和速率，即：
Figure GDA0004168412090000079
其中，Pmax为每一个基站发送功率的限制大小。问题(10)为一个非凸的优化问题，为了求解变量ωb,k和Φr的最优值，常通过分式规划等方法对其进行求解。然而，常用的方法都是基于全局的实时信道状态信息，不但求解的复杂度较高，而且计算的时间消耗也对通信系统响应的实时性有所影响。考虑到深度神经网络对环境中各类信息强大的特征提取能力和对复杂函数的拟合能力，以及深度强化学习能在复杂的动态环境中做出快速和准确的决策的能力，本发明提出了使用深度强化学习的方法来联合设计基站的波束赋形矢量和智能反射面的反射系数矩阵，以提高系统的性能。
本发明所设计的深度强化学习方法基于TD3算法(Twin Delayed DeepDeterministic Policy GradientAlgorithm,TD3)，其神经网络模型结构如图3所示，无小区网络中的CPU为深度神经网络的载体，它通过获取环境中的信道状态信息作为对环境的状态表示，以此来控制各基站的波束赋形矢量和智能反射面的反射系数矩阵。每一时刻，CPU所获得的通信系统的状态信息为整个网络的全局信道状态信息，即信道
Figure GDA0004168412090000081
和{Gb,r}的估计值。
在图3所示的深度神经网络模型中，本发明将演员网络的输出层定义为对基站的波束赋形矢量ωb,k和智能反射面的反射系数矩阵
Figure GDA0004168412090000082
的决策。首先将基站的波束赋形矢量ωb,k和智能反射面的反射系数矩阵
Figure GDA0004168412090000083
分解为如下形式：
Figure GDA0004168412090000084
Figure GDA0004168412090000085
其中，pb,k代表基站各波束赋形矢量所消耗的功率大小，
Figure GDA0004168412090000086
代表各波束的指向；
Figure GDA0004168412090000087
和
Figure GDA0004168412090000088
分别代表智能反射面在俯仰角方向和方位角方向上的阵列响应的指向。因此，演员网络输出层主要由4类神经元所组成，它们分别为对变量pb,k、
Figure GDA0004168412090000089
和
Figure GDA00041684120900000810
的决策，因而可将这4类神经元的取值分别用
Figure GDA00041684120900000811
和
Figure GDA00041684120900000812
表示，基于tanh激活函数，它们的取值范围均为[-1,1]。
对于
Figure GDA00041684120900000813
和
Figure GDA00041684120900000814
所代表的波束指向的决策，本发明提出用多个码字组成的码本来覆盖二维平面上的各个方向，作为波束指向的候选集，神经元
Figure GDA00041684120900000815
和
Figure GDA00041684120900000816
的取值在经过离散化后则代表了在对应码本中选择的波束指向的索引值。
具体来说，码本
Figure GDA00041684120900000817
可以用一个矩阵来表示，
Figure GDA00041684120900000818
其每一列对应一个码字。一般来说，码本中码字个数
Figure GDA00041684120900000819
大于天线数X，天线间距等于电磁波半波长。本发明中
Figure GDA00041684120900000820
和
Figure GDA00041684120900000821
分别对应一个单独的码本，码本的第c个码字中第x根天线的权值表示为：
Figure GDA0004168412090000091
其中，Ψ表示每一根天线可实现的相位调制数量，
Figure GDA0004168412090000092
表示向下取整运算，mod(·)表示取模运算。
对于将
Figure GDA0004168412090000093
和
Figure GDA0004168412090000094
的值映射为pb,k、
Figure GDA0004168412090000095
和
Figure GDA0004168412090000096
并最终得到ωb,k和
Figure GDA0004168412090000097
的过程，本发明通过一个解码器得到，解码方法如下：
对基站的波束赋形矢量ωb,k的解码：
1)求解波束消耗的功率大小：首先对神经元
Figure GDA0004168412090000098
进行放缩，
Figure GDA0004168412090000099
然后求解pb,k的值，
Figure GDA00041684120900000910
2)求解波束指向：
Figure GDA00041684120900000911
3)求解波束赋形矢量：
Figure GDA00041684120900000912
对智能反射面的反射系数矩阵对应矢量
Figure GDA00041684120900000913
的解码：
1)求解俯仰角方向的波束指向：
Figure GDA00041684120900000914
2)求解方位角方向的波束指向：
Figure GDA00041684120900000915
3)求解反射系数矢量：
Figure GDA00041684120900000916
图4示出了本发明中提出的基站的波束赋形和智能反射面反射系数矩阵的联合设计方法和其它优化设计方法的性能对比。对比优化方法为随机策略和启发式算法：
在随机策略中，基站的波束赋形矢量的功率大小、波束指向和智能反射面在两个方向上的波束指向均为随机选择；启发式算法则是通过拉格朗日对偶变换和二次变换等方式将非凸优化问题(10)转换为凸优化子问题进行求解。
仿真条件如下：基站、智能反射面和用户的数量分别为B＝2、R＝2、K＝8。基站和智能反射面离地高度为5m，用户处于地面上，高度为0m。所有用户均为单天线的设备，每个基站的天线数为M＝4，每个智能反射面在方位角和俯仰角方向上的单元数量分别为Na＝8、Ne＝4。噪声功率σ2的大小为-80dBm。基本的信道增益η0＝-30dB。天线的远场参考距离d0＝1m。基站到智能反射面的链路、基站到用户的链路和智能反射面到用户的链路的衰落指数分别为2、2.8、2.8。角度扩展量Δθ、Δα和Δβ均等于3°。每一个信道上多径的数量均为25。相邻帧之间信道的相关系数ρ＝0.64。变量
Figure GDA0004168412090000101
和
Figure GDA0004168412090000102
各自的码本的码字总数均为50。基站上每根天线可实现的相位调制数量为16。智能反射面上每个单元在方位角和俯仰角方向上可实现的相位调制数量均为4。对于深度神经网络，根据上述无小区网络中的参数设计，演员网络的输出维度对应为2×B×K+2×R＝36，评论家网络和演员网络中隐藏层的维度分别为[512,128,32,16]和[512,256,128,64]，激活函数为ELU。
仿真结果图中，横轴是基站的最大发送功率，纵轴是网络中所有用户的和速率。能够看出，本发明提出的基于深度强化学习的联合优化设计方法能够极大地提升智能反射面辅助的无小区网络中用户通信的和速率。
图5示出了本发明中提出的基于深度强化学习技术的智能联合波束赋形方法的收敛性能。在图示所代表的采用TD3算法训练深度神经网络的训练过程中，评论家网络的学习率为μQ＝3×10-4，演员网络的学习率为μπ＝1×10-4。仿真结果图的横轴是对神经网络训练的步数，纵轴是每一步训练之后利用神经网络进行智能联合波束赋形设计所能达到的用户和速率。可以看出，在训练初期，神经网络的性能有着极快的提升，而随着训练进行，神经网络的性能可以很好地维持在一个较高的水平，这一结果证明了本发明所提出的基于深度强化学习算法进行联合波束赋形的稳定性。
图6示出了基于延迟信道状态信息的条件下，本发明中提出的基于深度强化学习技术的智能联合波束赋形方法的性能与基于实时信道状态信息的优化方法的性能比较。由于在实际场景中，要想获取全局的实时信道状态信息对于通信系统的要求很高，同时也会带来大量的开销。因而本发明探究了若基于上一帧中所估计出的信道状态信息，利用本发明提出的智能联合波束赋形方法对当前帧中基站的波束赋形和智能反射面反射系数矩阵进行联合优化设计所能达到的性能水平。仿真结果图中，横轴是基站的最大发送功率，纵轴是网络中所有用户的和速率。能够看出，当基于延迟的信道状态信息时，本发明提出的智能联合波束赋形方法虽然较基于实时信道状态信息的智能联合波束赋形方法有一定的性能损失，但是相较于基于实时信道状态信息的启发式算法，本发明提出的方法仍然可以获得一个较高的性能增益，这一仿真结果说明了本发明提出的智能联合波束赋形方法的鲁棒性以及性能的优势。

Claims (3)

1.反射面辅助无小区大规模MIMO网络联合波束赋形方法，应用于包括基站和智能反射面的无小区网络通信系统中；其特征在于，
该方法基于深度强化学习的方法根据环境中观测到的全局信道状态信息进行基站的波束赋形矢量和智能反射面的反射系数矩阵的优化设计，具体包括：
a.获取无小区网络的全局信道状态信息，所述全局信道包括表示基站与用户之间的信道
Figure FDA0004168412080000011
智能反射面与用户之间的信道
Figure FDA0004168412080000012
以及基站与智能反射面之间的信道{Gb,r}；
b.以最大化无小区网络通信系统中所有用户的和速率为目标，建立优化基站的波束赋形和智能反射面反射系数矩阵的模型，然后求解出基站的波束赋形矢量和智能反射面的反射系数矩阵的最优值；
步骤b中，建立的优化基站的波束赋形和智能反射面反射系数矩阵的模型为：
Figure FDA0004168412080000013
Figure FDA0004168412080000014
Figure FDA0004168412080000015
其中，
Figure FDA0004168412080000016
表示第b个基站对第k个用户所采用的波束赋形矢量；Φr为第r个智能反射面的反射系数矩阵，
Figure FDA0004168412080000017
其中，
Figure FDA0004168412080000018
并且
Figure FDA0004168412080000019
Figure FDA00041684120800000110
表示第r个智能反射面第n个反射单元的反射系数；Λk为用户k的接收信干噪比；Pmax表示每一个基站发送功率的限制大小；
Figure FDA00041684120800000111
B表示无小区网络中基站的数量，R表示无小区网络中智能反射面的数量，
Figure FDA00041684120800000112
表示第b个基站用与用户k之间的信道状态估计值，
Figure FDA00041684120800000113
表示第r个智能反射面与用户k之间的信道状态估计值，Gb,r表示第b个基站与第r个智能反射面之间的信道状态估计值；
步骤b中，所述求解出基站的波束赋形矢量和智能反射面的反射系数矩阵的最优值的过程包括：
将基站的波束赋形矢量ωb,k和智能反射面的反射系数矩阵对应矢量
Figure FDA00041684120800000114
分解为如下形式：
Figure FDA0004168412080000021
Figure FDA0004168412080000022
其中，pb,k为基站各波束赋形矢量所消耗的功率大小，
Figure FDA0004168412080000023
为各波束的指向；
Figure FDA0004168412080000024
和
Figure FDA0004168412080000025
分别为智能反射面在俯仰角方向和方位角方向上的阵列响应的指向；
将TD3模型中演员网络的输出层定义为对基站的波束赋形矢量和智能反射面的反射系数矩阵的决策，演员网络输出层主要由4类神经元所组成，它们分别为对变量pb,k、
Figure FDA0004168412080000026
和
Figure FDA0004168412080000027
的决策，将此4类神经元的取值分别用
Figure FDA0004168412080000028
和
Figure FDA0004168412080000029
表示，基于tanh激活函数，它们的取值范围均为[-1,1]；
对于
Figure FDA00041684120800000210
和
Figure FDA00041684120800000211
所代表的波束指向的决策，采用多个码字组成的码本来覆盖二维平面上的各个方向，作为波束指向的候选集，神经元
Figure FDA00041684120800000212
和
Figure FDA00041684120800000213
的取值在经过离散化后则代表了在对应码本中选择的波束指向的索引值，码本
Figure FDA00041684120800000214
可以用一个矩阵来表示，
Figure FDA00041684120800000215
其每一列对应一个码字，码本中码字个数
Figure FDA00041684120800000216
大于天线数X，天线间距等于电磁波半波长，码本的第c个码字中第x根天线的权值表示为
Figure FDA00041684120800000217
其中，Ψ表示每一根天线可实现的相位调制数量，
Figure FDA00041684120800000218
表示向下取整运算，mod(·)表示取模运算；
通过解码器对基站的波束赋形矢量ωb,k进行解码：
1)求解波束消耗的功率大小：首先对神经元
Figure FDA00041684120800000219
进行放缩，
Figure FDA00041684120800000220
然后求解pb,k的值，
Figure FDA00041684120800000221
2)求解波束指向：
Figure FDA00041684120800000222
3)求解波束赋形矢量：
Figure FDA0004168412080000031
通过解码器对智能反射面的反射系数矩阵对应矢量
Figure FDA0004168412080000032
进行解码：
1)求解俯仰角方向的波束指向：
Figure FDA0004168412080000033
2)求解方位角方向的波束指向：
Figure FDA0004168412080000034
3)求解反射系数矢量：
Figure FDA0004168412080000035
2.如权利要求1所述的反射面辅助无小区大规模MIMO网络联合波束赋形方法，其特征在于，
Gb,r的计算方式为：
Figure FDA0004168412080000036
Figure FDA0004168412080000037
的计算方式为：
Figure FDA0004168412080000038
Figure FDA0004168412080000039
其中，ρ为相邻两个帧之间信道的相关系数，而在每一帧内，
Figure FDA00041684120800000310
和
Figure FDA00041684120800000311
均服从单环散射信道模型，具体表示为：
Figure FDA00041684120800000312
Figure FDA00041684120800000313
其中，L表示多径的数量；τb,k,l、τr,k,l在[-π,π]上服从独立的均匀分布；θAoD,b,k,l、αAoD,r,k,l和βAoD,r,k,l均为随机的信号发射角，它们分别在区间[θAoD,b,k-Δθ/2,θAoD,b,k+Δθ/2]、[αAoD,r,k-Δα/2,αAoD,r,k+Δα/2]和[βAoD,r,k-Δβ/2,βAoD,r,k+Δβ/2]上服从独立的均匀分布，其中，θAoD,b,k、αAoD,r,k和βAoD,r,k由基站、智能反射面和用户的相对位置决定，Δθ、Δα和Δβ为对应的角度扩展的范围。
3.如权利要求1或2所述的反射面辅助无小区大规模MIMO网络联合波束赋形方法，其特征在于，
在采用深度强化学习进行基站波束赋形矢量和智能反射面的反射系数矩阵优化设计中采用的奖励函数设置为所有用户所取得的和速率，即：
Figure FDA0004168412080000041
CN202110577372.0A 2021-05-26 2021-05-26 反射面辅助无小区大规模mimo网络联合波束赋形方法 Active CN113489521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110577372.0A CN113489521B (zh) 2021-05-26 2021-05-26 反射面辅助无小区大规模mimo网络联合波束赋形方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110577372.0A CN113489521B (zh) 2021-05-26 2021-05-26 反射面辅助无小区大规模mimo网络联合波束赋形方法

Publications (2)

Publication Number Publication Date
CN113489521A CN113489521A (zh) 2021-10-08
CN113489521B true CN113489521B (zh) 2023-05-09

Family

ID=77933023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110577372.0A Active CN113489521B (zh) 2021-05-26 2021-05-26 反射面辅助无小区大规模mimo网络联合波束赋形方法

Country Status (1)

Country Link
CN (1) CN113489521B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746520B (zh) * 2021-11-08 2022-02-15 东南大学 基于波束索引地图的智能反射面通信波束选择方法
CN114172552A (zh) * 2021-12-16 2022-03-11 西安梅隆控制工程有限责任公司 一种基于irs辅助的高能效联合波束成型方法
CN114499711B (zh) * 2021-12-20 2023-03-14 浙江大学 基于深度复数网络的智能反射面系统的反射系数估计方法
CN114389730B (zh) * 2021-12-23 2023-11-21 南京邮电大学 一种基于深度学习和脏纸编码的miso系统波束形成设计方法
CN114499718A (zh) * 2022-01-24 2022-05-13 中国信息通信研究院 一种波束赋形方法和装置
CN114614864B (zh) * 2022-03-21 2023-03-28 西南交通大学 多用户场景的3d波束赋形和智能反射面相移优化方法
CN115118315B (zh) * 2022-06-15 2023-03-24 国家工业信息安全发展研究中心 一种低复杂度的通信网络系统、方法和可读介质
CN115664485B (zh) * 2022-11-02 2023-07-25 鹏城实验室 离散相位可调智能反射面的控制方法、装置、终端及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181618A (zh) * 2020-01-03 2020-05-19 东南大学 一种基于深度强化学习的智能反射表面相位优化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10505616B1 (en) * 2018-06-01 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for machine learning based wide beam optimization in cellular network
KR102168650B1 (ko) * 2018-11-27 2020-10-21 한국과학기술원 다중 안테나 다중 사용자 간섭채널에서 기계학습 기반 빔포밍 방법 및 장치
CN111181615B (zh) * 2019-11-29 2022-08-12 广东工业大学 一种基于智能反射面的多小区无线通信方法
CN111181612B (zh) * 2019-12-31 2021-03-30 内蒙古大学 一种大规模mimo系统的协作波束赋型方法
CN111182571B (zh) * 2020-01-13 2021-02-02 电子科技大学 基站激活控制和波束赋形的长期联合优化方法
CN111371482B (zh) * 2020-03-09 2021-02-12 北京理工大学 基于波束聚合的下行广播链路的毫米波mimo-noma方法
CN112073107A (zh) * 2020-09-17 2020-12-11 南通大学 基于智能反射面的多组、多播联合波束赋形算法设计

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181618A (zh) * 2020-01-03 2020-05-19 东南大学 一种基于深度强化学习的智能反射表面相位优化方法

Also Published As

Publication number Publication date
CN113489521A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113489521B (zh) 反射面辅助无小区大规模mimo网络联合波束赋形方法
Zhang et al. Millimeter wave communications with an intelligent reflector: Performance optimization and distributional reinforcement learning
CN113114317B (zh) 一种irs辅助下行多用户通信系统的相移优化方法
CN114070365B (zh) 一种智能反射表面辅助的低射频复杂度多用户mimo上行频谱效率优化方法
CN113438002B (zh) 基于lstm的模拟波束切换方法、装置、设备及介质
CN114614864B (zh) 多用户场景的3d波束赋形和智能反射面相移优化方法
Shahjehan et al. Bat algorithm–based beamforming for mmWave massive MIMO systems
Adhikary et al. A Deep Learning Approach for Target-oriented Communication Resource Allocation in Holographic MIMO
Amiriara et al. IRS-user association in IRS-aided MISO wireless networks: Convex optimization and machine learning approaches
Sun et al. Leveraging uav-ris reflects to improve the security performance of wireless network systems
CN114222310B (zh) 一种联合3d波束赋形和智能反射面反射优化方法
CN114337902B (zh) 一种irs辅助的毫米波多小区间干扰的抑制方法
Wang et al. Transmit/passive beamforming design for multi-IRS assisted cell-free MIMO networks
CN113595609B (zh) 一种基于强化学习的蜂窝移动通信系统协作式信号发送方法
Wei et al. Joint optimization of active and passive beamforming in multi-IRS aided mmWave communications
Hashida et al. IRS-aided communications without channel state information relying on deep reinforcement learning
CN113727312A (zh) 一种基于可重构反射超表面的d2d通信系统与方法
CN113726389A (zh) 基于可重构反射超表面的无小区组网系统及方法
Guan et al. Multi-beam coverage and beamforming technology for high altitude platform station communication system
You et al. Distributed Deep Learning for RIS Aided UAV-D2D Communications in Space-Air-Ground Networks
CN115765900B (zh) 一种叠加导频模式下智能反射面辅助的大规模mimo系统上行传输方法
Chen et al. Multi-agent Deep Reinforcement Learning Based Resource Management in IRS-NOMA Terahertz Network
Kareem et al. Particle swarm optimization based beamforming in massive MIMO systems
Tian et al. A RIS-Assisted Multiuser MIMO Communication Method Based on Deep Reinforcement Learning
KR102546184B1 (ko) 멀티태스크 학습 기반의 보안 통신 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant