CN114726690A - 码本生成方法、装置、电子设备及存储介质 - Google Patents

码本生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114726690A
CN114726690A CN202210407006.5A CN202210407006A CN114726690A CN 114726690 A CN114726690 A CN 114726690A CN 202210407006 A CN202210407006 A CN 202210407006A CN 114726690 A CN114726690 A CN 114726690A
Authority
CN
China
Prior art keywords
environment
base station
codebook
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210407006.5A
Other languages
English (en)
Other versions
CN114726690B (zh
Inventor
高飞飞
陈嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210407006.5A priority Critical patent/CN114726690B/zh
Publication of CN114726690A publication Critical patent/CN114726690A/zh
Application granted granted Critical
Publication of CN114726690B publication Critical patent/CN114726690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03891—Spatial equalizers
    • H04L25/03898—Spatial equalizers codebook-based design
    • H04L25/0391—Spatial equalizers codebook-based design construction details of matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0456—Selection of precoding matrices or codebooks, e.g. using matrices antenna weighting
    • H04B7/0482—Adaptive codebooks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种码本生成方法、装置、电子设备及存储介质，其中码本生成方法应用于基站，所述基站包括图像采集装置，所述方法包括：基于所述图像采集装置采集所述基站的环境图像，其中，所述环境图像中至少包括地形图像和建筑物图像；对所述环境图像进行处理得到所述基站的环境信息；基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本。通过本发明提供的码本生成方法，在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。

Description

码本生成方法、装置、电子设备及存储介质
技术领域
本发明涉及无线通信技术领域，尤其涉及一种码本生成方法、装置、电子设备及存储介质。
背景技术
在毫米波通信系统中，为了弥补超高频带来的严重路径损耗以提供可靠的通信服务，需要采用波束形成技术。当前往往采用混合或模拟波束形成，而这通常依赖于一个预定义的码本。
为了可以达到更高的波束赋形增益，需要利用基站部署环境内用户信道分布信息设计针对于站点的特定的波束赋形码本。然而针对站点的特定的码本生成需要特定环境内所有用户的信道向量集合。在收集信道向量集合的过程中将耗费大量额外时间以及通信系统的频谱资源。
发明内容
本发明提供一种码本生成方法、装置、电子设备及存储介质，用以解决现有技术中在收集信道向量集合的过程中耗费大量额外时间以及通信系统的频谱资源的缺陷，实现了在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
本发明提供一种码本生成方法，所述方法应用于基站，所述基站包括图像采集装置，所述方法包括：基于所述图像采集装置采集所述基站的环境图像，其中，所述环境图像中至少包括地形图像和建筑物图像；对所述环境图像进行处理得到所述基站的环境信息；基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本。
根据本发明提供的一种码本生成方法，所述基站用于为视距关系用户提供通信服务，所述环境信息包括视距关系地面点云信息，所述对所述环境图像进行处理得到所述基站的环境信息，具体包括：基于所述环境图像确定所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，其中，所述像素平面掩膜中至少包括像素地面平面的掩膜；基于实际地面的法向量和偏置、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，在所述像素平面掩膜中确定出所述像素地面平面的掩膜；等间隔采样所述基站覆盖范围内的地面点云，并基于所述像素地面平面的掩膜在所述地面点云中确定出所述视距关系地面点云信息；所述基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本，具体包括：基于所述视距关系地面点云信息，重构所述基站覆盖范围内的信道向量集合；基于所述信道向量集合，生成在所述环境信息对应的环境下的所述基站的码本，其中，所述环境信息对应的环境与所述视距关系用户相对应。
根据本发明提供的一种码本生成方法，所述基于所述环境图像确定所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，具体包括：将所述环境图像和所述图像采集装置的内参输入至平面检测模型，得到所述平面检测模型输出的所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置。
根据本发明提供的一种码本生成方法，所述基于所述像素地面平面的掩膜在所述地面点云中确定出所述视距关系地面点云信息，具体包括：基于所述图像采集装置的内参和旋转角度将所述地面点云中各点投影至像素平面，得到像素地面点云；基于所述像素地面点云和所述像素地面平面的掩膜，在所述地面点云中确定出所述视距关系地面点云信息。
根据本发明提供的一种码本生成方法，所述基站用于为非视距关系用户提供通信服务，所述环境信息还包括非视距关系地面点云信息，在所述对所述环境图像进行处理得到所述基站的环境信息之前，所述方法还包括：基于环境图像确定与所述基站所处环境对应的场景3D点云，以及获取与所述基站所处环境对应的信道向量；所述对所述环境图像进行处理得到所述基站的环境信息，具体包括：基于所述环境图像，得到与所述环境图像对应的整个地面点云信息；基于所述整个地面点云信息和所述视距关系地面点云信息，得到所述非视距关系地面点云信息；所述基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本，具体包括：将所述场景3D点云、所述与所述基站所处环境对应的信道向量以及所述非视距关系地面点云信息输入至融合神经网络模型，得到所述融合神经网络模型输出的与所述基站所处环境对应的目标角度特征，其中，所述融合神经网络模型通过预训练得到；基于所述与所述基站所处环境对应的目标角度特征通过导向矢量计算，生成在所述环境信息对应的环境下的所述基站的码本，其中，所述环境信息对应的环境与所述非视距关系用户相对应。
根据本发明提供的一种码本生成方法，所述融合神经网络模型采用以下方式训练得到：获取训练数据集，其中，所述训练数据集包括场景3D点云训练样本、与所述非视距关系用户对应的信道向量训练样本以及非视距关系地面点云信息训练样本；基于所述训练数据集对所述融合神经网络模型进行训练。
本发明还提供一种码本生成装置，所述装置应用于基站，所述基站包括图像采集装置，所述装置包括：采集模块，用于基于所述图像采集装置采集所述基站的环境图像，其中，所述环境图像中至少包括地形图像和建筑物图像；处理模块，用于对所述环境图像进行处理得到所述基站的环境信息；生成模块用于基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的码本生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的码本生成方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的码本生成方法。
本发明提供的码本生成方法、装置、电子设备及存储介质，应用于基站，其中，基站包括图像采集装置，通过图像采集装置采集的基站的环境图像以获取基站的环境信息，再基于环境信息完成码本中最优的码字分配以及码字优化，得到在环境信息对应的环境下的基站的码本。实现了在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的应用码本生成方法的系统的示意图；
图2是本发明提供的码本生成方法的流程示意图之一；
图3是本发明提供的码本生成方法的流程示意图之二；
图4是本发明提供的码本生成方法的流程示意图之三；
图5是本发明提供的融合神经网络模型的示意图；
图6是本发明提供的码本生成装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
附图标记：
基站：10 图像采集装置：20
视距关系用户：30 非视距关系用户：40
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着无线通信需求的空前增长，毫米波将在下一代通信系统中发挥至关重要的作用。在毫米波通信系统中，为了弥补超高频带来的严重路径损耗用以提供可靠的通信服务，需要采用波束形成技术。由于毫米波波长较短，因此可以在基站中使用大量的天线。由于全数字波束赋形技术需要为每个天线配备昂贵的射频链，全数字的波束赋形技术难以实际应用于毫米波通信系统中。因此，应考虑混合或模拟波束形成，而这通常依赖于一个预定义的码本。传统的通用码本中相应的波束只指向有限的方向，均匀地分布在整个空间，然而通用码本生成方法没有使用任何信道状态信息，是为通用环境而设计。但是，对于特定的站点，用户信道分布可能具有特定的统计特性，因此通用码本通常不是特定环境中最佳的。已有的研究工作提出利用基站部署环境内用户信道分布信息设计针对站点特定的波束赋形码本，相比通用码本可以达到更高的波束赋形增益。
然而，针对站点特定的码本生成方法需要特定环境所有内用户的信道向量集合，存在以下缺点：1)真实通信系统中收集的信道不能代表服务区域内所有可能用户位置的真实分布；2)信道状态信息的获取过程会耗费大量额外时间以及通信系统的频谱资源。
本发明提供的码本生成方法，结合图1可知，通过基站10设置的图像采集装置20采集的视觉信息(对应基站的环境图像)可以在获取基站端全部环境信息的同时减少通信资源的开销。考虑到地面用户在服务区域的分布及其信道基本上由建筑和地形决定，计算机视觉技术可用于捕获基站10的环境中建筑物图像和地形图像作为补充信息，以构建可适应特定场景的码本。本发明提出一种码本生成方法，考虑到在毫米波频段上地面用户与视距关系(又称LOS)信道与非视距关系(又称NLOS)信道存在较大差异，分别提出了视距关系用户30的基于图像信息的码本设计方法以及非视距关系用户40基于3D点云信息的使用融合特征网络的码本设计方法。与传统的通用码本相比，基于本发明生成的码本具有更好的性能，因为它针对特定的场景进行了优化。并且与传统的环境感知码本相比，基于本发明生成的码本不需要任何用户信道信息，极大减少了信道信息采集过程的额外开销，同时可以获得与传统站点特定码本相当的性能。
为了进一步介绍本发明提供的码本生成方法，下面将结合下述实施例进行说明。
在本发明一示例性实施例中，码本生成方法可以应用于基站，基站可以包括图像采集装置，例如相机、摄像机等装置。基站可以用于为覆盖范围内所有用户提供毫米波频段通信服务。在一示例中，基站可以部署单射频链路和具有天线的均匀线性阵列，用户可以部署单天线。在又一示例中，基站中的天线阵列可以是任意形状的均匀阵列，包括但不限于线阵、面阵等。基站中部署的天线数量可以超过数量阈值，其中，数量阈值可以根据实际情况进行确定，例如，数量阈值可以是1000根天线，在本实施例中，不对数量阈值作具体限定。可以理解的是，基站可以属于大规模基站。
在应用过程中，可以利用基站端的图像采集装置获取的基站的环境图像，并对环境图像进行处理获取基站端特定站点的环境信息，再根据环境信息完成码本中最优的码字分配及码字优化，获取特定站点最优的码本。在一示例中，码本中可以具有nc个码字，选择波束增益最大的码字完成波束赋形。
其中，基站与第u个用户之间的下行传输时接收到的信号可以表示为如下公式：
Figure BDA0003602317850000071
其中，y表示用户接收到的信号；PT表示天线能量；
Figure BDA0003602317850000072
表示基站和地面用户之间的下行信道向量；s表示基站发射的信号，E|s|2＝Ps；w表示模拟波束形成向量(又可以称为码字)；
Figure BDA0003602317850000073
表示噪声。
在一示例中，可以采用三维几何信道模型来描述信道，假设信道由L路径组成，发射机到接收机的路径通过自由空间传输、反射、衍射和折射形成。因此，hu可以表示为如下公式：
Figure BDA0003602317850000074
式中
Figure BDA0003602317850000075
表示路径l的信道复增益，
Figure BDA0003602317850000076
和
Figure BDA0003602317850000077
分别表示路径l的出发方位角和仰角。
Figure BDA0003602317850000078
表示路径l在基站处的阵列响应向量，并可以表示为如下公式：
Figure BDA0003602317850000079
其中，d表示天线间距，λ表示天线的载波波长，nw表示天线的数量。
进一步的，模拟波束形成是通过调整每个天线上的移相器来实现的，并且波束形成矢量具有恒定的幅值。因此w可以表示为如下公式：
Figure BDA0003602317850000081
其中，θ1至θnw分别表示各个天线对应的相位。
由于码字增益与信道无关，波束赋形向量w沿φaz(方位角)和φel(仰角)方向的码字增益可表示为如下公式：
Figure BDA0003602317850000082
在基于码本的波束形成中，w是从一个预定义的码本中选择的，其中码本可以表示为
Figure BDA0003602317850000083
其中nc是码字的数量。对于信道为hu的用户，选择波束形成增益最大的最优波束形成向量，可以表示为如下公式：
Figure BDA0003602317850000084
由于用户在覆盖范围内的非均匀分布，所有用户信道在复信道空间
Figure BDA0003602317850000085
中的分布具有一定的统计特征。码本设计的目标是在基站的覆盖范围内最大化对所有可能信道的通信指标的期望，即：
Figure BDA0003602317850000086
其中，E·表示期望操作，
Figure BDA0003602317850000087
表示该基站覆盖范围内所有可能用户的信道向量集合，f[·]表示某些适当选择的通信度量，例如，平均波束形成增益，平均传输速率等。
基站覆盖范围内所有可能用户的信道向量集合本质上取决于环境信息，因为传输信号的传播路径和衰减完全可以由场景对象和基站/用户位置决定。计算机技术可以捕获大部分环境信息(例如通过对图像采集装置采集的环境图像进行处理)，特别是统计特征。
基于上述分析，本发明提出码本生成方法解决公式(7)中所描述的码本设计问题。为了进一步介绍本发明提供的码本生成方法，本发明将结合图2进行说明。
图2是本发明提供的码本生成方法的流程示意图之一。
在本发明一示例性实施例中，结合图2可知，码本生成方法可以包括步骤210至步骤230，下面将分别介绍各步骤。
在步骤210中，基于图像采集装置采集基站的环境图像，其中，环境图像中至少包括地形图像和建筑物图像。
在一种实施例中，可以利用基站端部署的图像采集装置，例如可旋转的相机拍摄基站周围环境的图像，以使拍摄图像集合可以覆盖基站的全体角度域。
在步骤220中，对环境图像进行处理得到基站的环境信息。
在步骤230中，基于环境信息，生成在环境信息对应的环境下的基站的码本。
在一种实施例中，可以对图像采集装置采集基站的环境图像进行处理，以得到关于基站的环境信息，为基于环境信息完成码本中最优的码字分配以及码字优化，得到在环境信息对应的环境下的基站的码本提供基础。
在应用过程中，还可以基于环境信息，生成在环境信息对应的环境下的基站的码本。实现了在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
本发明提供的码本生成方法可以应用于基站，其中，基站包括图像采集装置，通过图像采集装置采集的基站的环境图像以获取基站的环境信息，再基于环境信息完成码本中最优的码字分配以及码字优化，得到在环境信息对应的环境下的基站的码本。实现了在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
由于在毫米波频段上地面用户与视距关系(LOS)信道或与非视距关系(NLOS)信道存在较大差异，因此，在本发明中将分别针对视距关系用户和非视距关系用户提出对应的码本生成方法。
对于针对视距关系用户的码本生成方法，使用了图像技术捕捉环境中具有视距关系的信息。在考虑的室外场景中，可以假设所有潜在的视距关系用户都分布在地面上。因此，视距关系地面分布可以表示服务区域内视距关系用户所有可能位置的分布。此外，利用视距关系用户信道在毫米波频率上具有主导径的特点，可以将视距关系用户信道近似为用户位置的函数。
图3是本发明提供的码本生成方法的流程示意图之二。
下面将结合图3对针对视距关系用户的码本生成方法进行说明。
在本发明一示例性实施例中，基站可以用于为视距关系用户提供通信服务，环境信息可以包括视距关系地面点云信息。结合图3可知，码本生成方法可以包括步骤310至步骤360，其中，步骤310与步骤210相同或相似，其具体实施方式和有益效果请参照前文描述，下面将分别介绍步骤320至步骤360。
在步骤320中，基于环境图像确定环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置，其中，像素平面掩膜中至少包括像素地面平面的掩膜。
在一种实施例中，基于环境图像确定环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置可以采用以下方式实现：
将环境图像和图像采集装置的内参输入至平面检测模型，得到平面检测模型输出的环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置。
在一种实施例中，平面检测模型可以根据实际情况进行调整，在本实施例中不作具体限定，在一示例中，平面检测模型可以是PlaneRCNN算法。在又一示例中，图像采集装置的内参可以根据图像采集装置的型号、出厂设置等信息确定。通过本实施例，可以提取出环境图像中的所有像素平面掩膜。
在步骤330中，基于实际地面的法向量和偏置、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置，在像素平面掩膜中确定出像素地面平面的掩膜。
在一种实施例中，可以根据步骤320中获取的像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置，以及根据实际地面的法向量和偏置匹配出像素地面平面的掩膜。其中，像素地面平面的掩膜可以理解为是在像素坐标系下的地面平面掩膜。通过本实施例，可以获取到像素坐标系下的地面掩膜。
为了提高获取的像素地面平面的掩膜的准确度，还可以使用Canny边缘算法检测图像中地面平面边缘，并将像素地面平面的掩膜拓展至图像边缘。
在步骤340中，等间隔采样基站覆盖范围内的地面点云，并基于像素地面平面的掩膜在地面点云中确定出视距关系地面点云信息。
在一种实施例中，基于像素地面平面的掩膜在地面点云中确定出视距关系地面点云信息可以采用以下方式实现：
基于图像采集装置的内参和旋转角度将地面点云中各点投影至像素平面，得到像素地面点云；
基于像素地面点云和像素地面平面的掩膜，在地面点云中确定出视距关系地面点云信息。
在一种实施例中，图像采集装置的内参和旋转角度可以根据采集装置的型号、出厂设置等信息确定。在应用过程中，可以基于相机内参以及旋转角度将地面点云中的各点投影至像素平面，进一步的，再根据步骤330确定的像素地面平面的掩膜判断采样点是否为视距关系地面点云信息，用以在地面点云中确定出视距关系地面点云信息。通过本实施例可以实现视距关系地面点云的重构。
在步骤350中，基于视距关系地面点云信息，重构基站覆盖范围内的信道向量集合。
在一种实施例中，可以根据毫米波视距关系信道中直射径为主要径的特点，重构基站覆盖范围内所有可能用户分布的信道向量集合，以实现对信道向量集合的估计。
在步骤360中，基于信道向量集合，生成在环境信息对应的环境下的基站的码本，其中，环境信息对应的环境与视距关系用户相对应。
在一种实施例中，可以基于广义劳埃德算法，根据步骤350得到的信道向量集合计算码本，以实现生成针对该环境下的基站的码本。通过本实施例，在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
为了进一步介绍针对视距关系用户的码本生成方法，下面将结合下述实施例进行说明。
基站视角图像(对应环境图像)获取：可以利用部署在基站端的图像采集装置(例如相机)捕捉基站周围环境的RGB图像。在应用过程中，相机水平旋转，可以从基站的视角捕捉到周围的整个环境信息以得到环境图像。其中，环境图像集合覆盖基站全体角度域。在一示例中，获取环境图像集合
Figure BDA0003602317850000121
可以从角度
Figure BDA0003602317850000122
方向获取，其中nx和ny分别表示图像的x轴和y轴像素个数，nI表示得到的图像个数。图像集
Figure BDA0003602317850000123
包含了具有视距关系的周围环境的所有信息。
图像平面分割：可以采用PlaneRCNN算法从单个环境图像中获取平面信息。其中，PlaneRCNN算法是一种基于MaskRCNN的新型平面检测算法，能够从单个RGB图像中检测并分段重构出平面表面。在应用过程中，可以以相机的内在参数(又称内参)Kin和环境图像集合
Figure BDA00036023178500001315
作为输入，并通过PlaneRCNN算法输出关于单个图像Ii内所有平面的掩膜
Figure BDA0003602317850000131
以及相应的平面位置
Figure BDA0003602317850000132
其中
Figure BDA0003602317850000133
表示平面法向量，
Figure BDA0003602317850000134
表示平面偏移量，np表示图像Ii内分割平面的个数。在一示例中，相机的内在参数(又称内参)Kin和环境图像集合
Figure BDA0003602317850000135
可以直接从基站端的相机上得到。
像素地面掩膜(对应像素地面平面的掩膜)获取：在基站坐标系中，相机的位置是固定的，相机水平移动。因此，在相机坐标系中，实际地面的平面法向量n和偏移量d是固定的。在应用过程中，通过估计关于单个图像Ii的平面位置
Figure BDA0003602317850000136
与真实地面md的差值，可以得到所有平面掩膜中的真实地面掩膜(对应像素地面平面的掩膜)，并可以通过以下公式表示：
Figure BDA0003602317850000137
其中，MG表示真实地面掩膜(对应像素地面平面的掩膜)。
在又一示例中，为了提高平面估计结果的准确性，可以进一步使用了canny边缘检测算法。在应用过程中，可以在图像I中得到了精确的边集ε；然后得到关于地平面掩模(对应像素地面平面的掩膜)MG的边缘εG；再扩展地平面掩模MG，以得到满足
Figure BDA0003602317850000138
的更精确的地平面掩模
Figure BDA0003602317850000139
(对应进行边缘处理后的像素地面平面的掩膜)，其中，
Figure BDA00036023178500001310
表示关于进行边缘处理后的像素地面平面的掩膜的边缘。
视距关系地面点云重构：通过获取的特定图像的真实地面掩膜MG，可以重建视距关系地面分布。在基站覆盖范围内均匀采样
Figure BDA00036023178500001311
(对应地面点云)，其中，
Figure BDA00036023178500001312
为基站坐标系中的坐标。然后将
Figure BDA00036023178500001313
映射到
Figure BDA00036023178500001314
像素坐标系上(即映射至与图像Ii对应的坐标系中，对应像素地面点云)。其中，映射关系可以表示为如下公式：
Figure BDA0003602317850000141
其中，Kin表示相机内参，R(θ)表示相机在基站坐标系中的旋转矩阵，其中，R(θ)可以采用以下公式表示：
Figure BDA0003602317850000142
其中，θ为相机的旋转角度。对于某个地面点，点
Figure BDA0003602317850000143
可以投影到
Figure BDA0003602317850000144
然后可以判定
Figure BDA0003602317850000145
是否属于
Figure BDA0003602317850000146
(对应视距关系地面点云信息)，若
Figure BDA0003602317850000147
则
Figure BDA0003602317850000148
信道向量集合估计：视距关系信道的构成可以表示为如下公式：
Figure BDA0003602317850000149
其中，
Figure BDA00036023178500001410
表示关于视距关系信道的直射径，
Figure BDA00036023178500001411
表示关于视距关系信道的第l条反射、折射和绕射径。在毫米波频段，超高的频率会对反射、折射和绕射径造成严重的衰减。因此，hLOS中的主要径为直射径
Figure BDA00036023178500001412
可以利用直射径作为视距关系信道的估计。由此估计的信道向量集合可以表示为如下公式：
Figure BDA00036023178500001413
其中，
Figure BDA00036023178500001414
由幅值和相位组成，可以表示为如下公式：
Figure BDA00036023178500001415
其中，λ表示传输信号的波长，di表示基站到地面点i的距离。
Figure BDA00036023178500001416
以及
Figure BDA00036023178500001417
分别表示地面点i到达基站的俯仰角和象限角。
视距关系码本计算：可以将码本生成问题建模为向量量化问题。向量量化的目标是将基站覆盖范围内所有可能用户的信道向量集合
Figure BDA00036023178500001418
划分为nc子集，并计算出最优码本W。W中的某个码字wi∈W表示一个向量。某向量h(指站和地面用户之间的下行信道向量)与码字wi之间距离的度量d(w，h)称为失真函数。在模拟波束形成中，信道向量h的恒幅约束最优码字为EGC，即
Figure BDA0003602317850000151
波束形成增益的上界可表示为
Figure BDA0003602317850000152
码字w和信道向量h的失真函数可定义为如下公式：
Figure BDA0003602317850000153
利用失真函数，可以利用广义劳埃德算法来解决矢量量化问题。广义劳埃德算法主要包括以下两步：
最近邻条件：码本W的最优划分区域应满足以下条件：
Figure BDA0003602317850000154
其中，
Figure BDA0003602317850000157
表示估计的视距关系信道向量。
这意味着每个信道向量h均应该以最小的码字失真划分为子集。
中心条件：每个码字W[k]应为该分区区域的最佳码向量，即：
Figure BDA0003602317850000155
Ωk表示式(15)中定义的分割集合；d()表示式(14)中定义的失真函数。
由于广义劳埃德算法对初始化敏感，可以采用多起点方法来避免局部最优问题。在应用过程中，可以采用随机向量量化方法对m个码本进行随机初始化，作为广义劳埃德算法的起始码本，并根据码本在重构的信道向量集合
Figure BDA0003602317850000156
上的性能表现选择最好的码本。
对于针对非视距关系用户的码本生成方法，可以将多模态特征，例如场景3D点云、地面分布(对应非视距关系地面点云信息)以及样本信道信息(对应与基站所处环境对应的信道向量)作为输入，输入至融合神经网络模型，用以输出特定站点的非视距关系码本。
基站蜂窝覆盖范围内的三维点云包含了整个必要的空间结构信息。非视距关系用户与基站之间的信道主要由非视距关系用户的位置以及基站覆盖范围内的地形和建筑结构信息决定。因此，三维点云数据包含了为非视距关系用户设计码本所必需的所有信息。此外，还可以利用多个信道样本作为附加信息来提高所有非视距关系用户的平均波束形成增益。由于三维点云数据难以直接获取信道向量集合，在本发明中设计了融合神经网络模型从视觉数据和样本通道中提取目标角度特征，并根据提取的特征构建码本。
图4是本发明提供的码本生成方法的流程示意图之三。
下面将结合图4对针对非视距关系用户的码本生成方法进行说明。
在本发明一示例性实施例中，基站可以用于为非视距关系用户提供通信服务，环境信息还可以包括非视距关系地面点云信息。结合图4可知，码本生成方法可以包括步骤410至步骤460，其中，步骤410与步骤210相同或相似，其具体实施方式和有益效果请参照前文描述，下面将分别介绍步骤420至步骤460。
在步骤420中，基于环境图像确定与基站所处环境对应的场景3D点云，以及获取与基站所处环境对应的信道向量。
在一种实施例中，可以获取与基站所处环境对应的场景3D点云，以及获取与基站所处环境对应的信道向量。其中，场景3D点云可以通过图像采集装置采集的环境图像确定。与基站所处环境对应的信道向量可以通过测量得到。
在步骤430中，基于环境图像，得到与环境图像对应的整个地面点云信息。
在步骤440中，基于整个地面点云信息和视距关系地面点云信息，得到非视距关系地面点云信息。
在一种实施例中，可以将整个地面点云信息中除去视距关系地面点云信息之外的信息作为非视距关系地面点云信息。
在步骤450中，结合图5可知，基于场景3D点云(对应图示中的3D场景点云)、与基站所处环境对应的信道向量(对应图示中的样本信道集合)以及非视距关系地面点云信息(对应图示中的非视距地面点云)输入至融合神经网络模型，得到融合神经网络模型输出的与基站所处环境对应的目标角度特征，进一步的，基于目标角度特征得到码本。其中，融合神经网络模型通过预训练得到。
在一种实施例中，可以将场景3D点云、与基站所处环境对应的信道向量以及非视距关系地面点云信息作为多模态特征，输入至融合神经网络模型，用以输出与基站所处环境对应的目标角度特征。在一示例中，目标角度特征可以是方向角或俯仰角中的一种或几种。
在又一种实施例中，融合神经网络模型可以采用以下方式训练得到：
获取训练数据集，其中，训练数据集可以包括场景3D点云训练样本、与非视距关系用户对应的信道向量训练样本以及非视距关系地面点云信息训练样本；
基于训练数据集对融合神经网络模型进行训练。基于场景3D点云训练样本、与非视距关系用户对应的信道向量训练样本以及非视距关系地面点云信息可以看作是形成了融合的特征，并基于融合的特征对融合神经网络模型进行训练，可以提高模型输出结果的准确性。
在又一种实施例中，可以在多个不同非视距关系场景下获取真实信道向量集合，利用所获取的集合采用广义劳埃德算法计算最优的码本。以每个场景的3D点云，样本信道以及非视距关系地面点云分布作为数据集输入，以码本覆盖角度作为输出制作训练数据集。
在又一示例中，还可以扩充训练数据集。可以基于多个非视距关系场景，在真实信道中随机采样构成新的数据，完成训练数据集的增广。
在步骤460中，基于与基站所处环境对应的目标角度特征通过导向矢量计算，生成在环境信息对应的环境下的基站的码本，其中，环境信息对应的环境与非视距关系用户相对应。
在一种实施例中，可以根据神经网络模型输出结果(目标角度特征，例如方向角)使用导向矢量的方式计算得到针对非视距关系用户的码本。通过本实施例，在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
为了进一步介绍针对非视距关系用户的码本生成方法，下面将结合下述实施例进行说明。
数据集(对应训练数据集)获取：三维点云(场景3D点云训练样本)对应可以表示为
Figure BDA0003602317850000181
其中，
Figure BDA0003602317850000182
是点K在基站坐标系中的位置。npc是点云集
Figure BDA0003602317850000183
中的点总数。为了减少点数据的大小，并将
Figure BDA0003602317850000184
转换为所需的数据个数，在一示例中，可以将整个场景分割为mx×my×mz小块。bxyz块内的点云总数可由
Figure BDA0003602317850000185
计算，表示计算位于块bxyz内的点的数目。由此可以将点云数据转换为
Figure BDA0003602317850000186
该矩阵具有融合神经网络模型所期望的输入结构。其中，bxyz表示整个场景分割后位于[x，y，z]位置的块。
另一个重要的信息是非视距关系地面的分布(对应非视距关系地面点云信息训练样本)，它代表了非视距关系用户的分布。在一示例中，可以使用前文所述的视距关系地面点云重构中提及的方法得到的视距关系地面分布(对应视距关系地面点云信息)
Figure BDA0003602317850000187
由于基站是固定在某一特定位置上的，可以采用相同的z坐标zB得到整个地面分布(对应整个地面点云信息)
Figure BDA0003602317850000188
在一示例中，可以将建筑物点云在地面
Figure BDA0003602317850000189
上的投影和
Figure BDA00036023178500001810
去除，以得到最终的非视距关系点云(对应非视距关系地面点云信息训练样本)
Figure BDA00036023178500001811
为了提高融合神经网络码本的波束形成增益，可以进一步假设ns信道样本
Figure BDA00036023178500001812
可以在设计码本时得到。信道样本
Figure BDA00036023178500001813
将提供不同形式的特征，这将有利于码本的设计。因此，对于特定场景i，融合神经网络模型的输入由三部分组成
Figure BDA0003602317850000191
分别对应场景3D点云、非视距关系地面点云信息和与非视距关系用户对应的信道向量。
融合神经网络模型的目标是由视觉数据作为输入，并输出对应的站点的特定的最优码本。然而，该码本由nw×nc复元组成，其中，nc是码字的数量，nw表示天线的数量。对于融合神经网络模型输出而言维度较高，特别是在大规模MIMO系统中。因此，如果融合神经网络模型的输出是原始码本，则融合神经网络模型可能会面临收敛问题，需要对输出进行降维设计。在一示例中，可以首先获取场景i的非视距关系信道向量集合
Figure BDA0003602317850000192
然后利用广义劳埃德算法从
Figure BDA0003602317850000193
生成目标非视距关系码本(对应针对非视觉关系用户的码本)
Figure BDA0003602317850000194
然后获得目标角度
Figure BDA0003602317850000195
其中，生成的码本中的码字Wi[k]可以在公式(5)中获得最大的码字增益，并表示为如下公式：
Figure BDA0003602317850000196
在室外场景中，大多数用户分布在较远的位置，信道中的径近似水平。因此，可以进一步假设目标的最佳仰角
Figure BDA0003602317850000197
为90°，而只有余弦方位角
Figure BDA0003602317850000198
需要由
Figure BDA0003602317850000199
得到。基于此，融合神经网络模型输出特征空间的维数可以从nc×nw降至nc。利用导向矢量进行波束重构的方法没有考虑波束的整体形状，因此，与目标码本
Figure BDA00036023178500001910
相比，基于融合神经网络模型得到的码本Wi可能无法实现相同的性能。为了更好地训练融合神经网络模型，需要对目标角度进行排序，用以满足以下公式：
Figure BDA00036023178500001911
因此，数据集(对应训练数据集)可以表示为：
Figure BDA00036023178500001912
对数据集中数据进行增广：考虑到对特定场景采集数据集的过程是一个耗时的过程，因此数据集中的样本数量较小。因此，数据集对于网络训练是不足的，这可能会导致过拟合问题。本发明提出了一种数据增广的方法来扩大训练数据集的规模。对于特定场景i，从非视距关系地面点云信息
Figure BDA0003602317850000201
随机抽样非视距关系地面点集
Figure BDA0003602317850000202
以及相应的信道向量集合
Figure BDA0003602317850000203
与原始数据集相比，经过数据增广的非视距关系场景数据集的大小扩展了ne倍。
融合神经网络模型训练：可以使用增广后的数据集训练融合神经网络模型。其中，融合神经网络模型设计结构的网络损失函数可以表示为如下：
Figure BDA0003602317850000204
其中，b为每个周期随机抽样数据集的批量大小，φk为融合神经网络模型的第k输出元素。通过最小化均方误差(MSE)损失函数
Figure BDA0003602317850000205
利用ADAM优化器对网络参数进行更新。
非视距关系码本计算：在新场景下，根据训练得到的融合神经网络模型输出结果，并使用导向矢量的方式计算非视距关系码本。其中，码本可以使用公式(3)中的导向矢量进行计算得到，并可以表示为如下公式：
Figure BDA0003602317850000206
本发明提出的码本生成方法，可以利用视觉信息完成站点特定码本的设计，降低了码本设计为通信系统带来的额外开销，同时波束赋形增益明显好于通用码本，具有明显的实际应用价值。
根据上述描述可知，本发明提供的码本生成方法，应用于基站，其中，基站包括图像采集装置，通过图像采集装置采集的基站的环境图像以获取基站的环境信息，再基于环境信息完成码本中最优的码字分配以及码字优化，得到在环境信息对应的环境下的基站的码本。实现了在保证码本具有良好性能的前提下，可以无需任何用户信道信息，极大得减少了信道信息采集过程的额外开销，提高了通信系统的频谱资源利用率。
基于相同的构思，本发明还提供一种码本生成装置。
下面对本发明提供的码本生成装置进行描述，下文描述的码本生成装置与上文描述的码本生成方法可相互对应参照。
图6是本发明提供的码本生成装置的结构示意图。
在本发明一示例性实施例中，码本生成装置可以应用于基站，其中，基站包括图像采集装置。结合图6可知，码本生成装置可以包括采集模块610、处理模块620和生成模块630，下面将分别介绍各模块。
采集模块610可以被配置为用于基于图像采集装置采集基站的环境图像，其中，环境图像中至少可以包括地形图像和建筑物图像。
处理模块620可以被配置为用于对环境图像进行处理得到基站的环境信息。
生成模块630可以被配置为用于基于环境信息，生成在环境信息对应的环境下的基站的码本。
在本发明一示例性实施例中，基站可以用于为视距关系用户提供通信服务，环境信息可以包括视距关系地面点云信息，处理模块620可以采用以下方式对环境图像进行处理得到基站的环境信息：基于环境图像确定环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置，其中，像素平面掩膜中至少可以包括像素地面平面的掩膜；基于实际地面的法向量和偏置、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置，在像素平面掩膜中确定出像素地面平面的掩膜；等间隔采样基站覆盖范围内的地面点云，并基于像素地面平面的掩膜在地面点云中确定出视距关系地面点云信息；生成模块630可以采用以下方式基于环境信息，生成在环境信息对应的环境下的基站的码本：基于视距关系地面点云信息，重构基站覆盖范围内的信道向量集合；基于信道向量集合，生成在环境信息对应的环境下的基站的码本，其中，环境信息对应的环境与视距关系用户相对应。
在本发明一示例性实施例中，处理模块620可以采用以下方式基于环境图像确定环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置：将环境图像和图像采集装置的内参输入至平面检测模型，得到平面检测模型输出的环境图像中的所有像素平面掩膜、像素平面掩膜对应的平面法向量，以及像素平面掩膜对应的偏置。
在本发明一示例性实施例中，处理模块620可以采用以下方式基于像素地面平面的掩膜在地面点云中确定出视距关系地面点云信息：基于图像采集装置的内参和旋转角度将地面点云中各点投影至像素平面，得到像素地面点云；基于像素地面点云和像素地面平面的掩膜，在地面点云中确定出视距关系地面点云信息。
在本发明一示例性实施例中，基站可以用于为非视距关系用户提供通信服务，环境信息还可以包括非视距关系地面点云信息，处理模块620还可以被配置为用于基于环境图像确定与基站所处环境对应的场景3D点云，以及获取与基站所处环境对应的信道向量；处理模块620可以采用以下方式对环境图像进行处理得到基站的环境信息：基于环境图像，得到与环境图像对应的整个地面点云信息；基于整个地面点云信息和视距关系地面点云信息，得到非视距关系地面点云信息；生成模块630可以采用以下方式基于环境信息，生成在环境信息对应的环境下的基站的码本：将场景3D点云、与基站所处环境对应的信道向量以及非视距关系地面点云信息输入至融合神经网络模型，得到融合神经网络模型输出的与基站所处环境对应的目标角度特征，其中，融合神经网络模型可以通过预训练得到；基于与基站所处环境对应的目标角度特征通过导向矢量计算，生成在环境信息对应的环境下的基站的码本，其中，环境信息对应的环境与非视距关系用户相对应。
在本发明一示例性实施例中，生成模块630可以采用以下方式训练得到融合神经网络模型：获取训练数据集，其中，训练数据集可以包括场景3D点云训练样本、与非视距关系用户对应的信道向量训练样本以及非视距关系地面点云信息训练样本；基于训练数据集对融合神经网络模型进行训练。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行码本生成方法，其中，码本生成方法可以应用于基站，基站可以包括图像采集装置，该方法可以包括：基于图像采集装置采集基站的环境图像，其中，环境图像中至少可以包括地形图像和建筑物图像；对环境图像进行处理得到基站的环境信息；基于环境信息，生成在环境信息对应的环境下的所述基站的码本。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的码本生成方法，其中，码本生成方法可以应用于基站，基站可以包括图像采集装置，该方法可以包括：基于图像采集装置采集基站的环境图像，其中，环境图像中至少可以包括地形图像和建筑物图像；对环境图像进行处理得到基站的环境信息；基于环境信息，生成在环境信息对应的环境下的所述基站的码本。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的码本生成方法，其中，码本生成方法可以应用于基站，基站可以包括图像采集装置，该方法可以包括：基于图像采集装置采集基站的环境图像，其中，环境图像中至少可以包括地形图像和建筑物图像；对环境图像进行处理得到基站的环境信息；基于环境信息，生成在环境信息对应的环境下的所述基站的码本。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
进一步可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种码本生成方法，其特征在于，所述方法应用于基站，所述基站包括图像采集装置，所述方法包括：
基于所述图像采集装置采集所述基站的环境图像，其中，所述环境图像中至少包括地形图像和建筑物图像；
对所述环境图像进行处理得到所述基站的环境信息；
基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本。
2.根据权利要求1所述的码本生成方法，其特征在于，所述基站用于为视距关系用户提供通信服务，所述环境信息包括视距关系地面点云信息，所述对所述环境图像进行处理得到所述基站的环境信息，具体包括：
基于所述环境图像确定所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，其中，所述像素平面掩膜中至少包括像素地面平面的掩膜；
基于实际地面的法向量和偏置、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，在所述像素平面掩膜中确定出所述像素地面平面的掩膜；
等间隔采样所述基站覆盖范围内的地面点云，并基于所述像素地面平面的掩膜在所述地面点云中确定出所述视距关系地面点云信息；
所述基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本，具体包括：
基于所述视距关系地面点云信息，重构所述基站覆盖范围内的信道向量集合；
基于所述信道向量集合，生成在所述环境信息对应的环境下的所述基站的码本，其中，所述环境信息对应的环境与所述视距关系用户相对应。
3.根据权利要求2所述的码本生成方法，其特征在于，所述基于所述环境图像确定所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置，具体包括：
将所述环境图像和所述图像采集装置的内参输入至平面检测模型，得到所述平面检测模型输出的所述环境图像中的所有像素平面掩膜、所述像素平面掩膜对应的平面法向量，以及所述像素平面掩膜对应的偏置。
4.根据权利要求2所述的码本生成方法，其特征在于，所述基于所述像素地面平面的掩膜在所述地面点云中确定出所述视距关系地面点云信息，具体包括：
基于所述图像采集装置的内参和旋转角度将所述地面点云中各点投影至像素平面，得到像素地面点云；
基于所述像素地面点云和所述像素地面平面的掩膜，在所述地面点云中确定出所述视距关系地面点云信息。
5.根据权利要求2所述的码本生成方法，其特征在于，所述基站用于为非视距关系用户提供通信服务，所述环境信息还包括非视距关系地面点云信息，在所述对所述环境图像进行处理得到所述基站的环境信息之前，所述方法还包括：
基于环境图像确定与所述基站所处环境对应的场景3D点云，以及获取与所述基站所处环境对应的信道向量；
所述对所述环境图像进行处理得到所述基站的环境信息，具体包括：
基于所述环境图像，得到与所述环境图像对应的整个地面点云信息；
基于所述整个地面点云信息和所述视距关系地面点云信息，得到所述非视距关系地面点云信息；
所述基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本，具体包括：
将所述场景3D点云、所述与所述基站所处环境对应的信道向量以及所述非视距关系地面点云信息输入至融合神经网络模型，得到所述融合神经网络模型输出的与所述基站所处环境对应的目标角度特征，其中，所述融合神经网络模型通过预训练得到；
基于所述与所述基站所处环境对应的目标角度特征通过导向矢量计算，生成在所述环境信息对应的环境下的所述基站的码本，其中，所述环境信息对应的环境与所述非视距关系用户相对应。
6.根据权利要求5所述的码本生成方法，其特征在于，所述融合神经网络模型采用以下方式训练得到：
获取训练数据集，其中，所述训练数据集包括场景3D点云训练样本、与所述非视距关系用户对应的信道向量训练样本以及非视距关系地面点云信息训练样本；
基于所述训练数据集对所述融合神经网络模型进行训练。
7.一种码本生成装置，其特征在于，所述装置应用于基站，所述基站包括图像采集装置，所述装置包括：
采集模块，用于基于所述图像采集装置采集所述基站的环境图像，其中，所述环境图像中至少包括地形图像和建筑物图像；
处理模块，用于对所述环境图像进行处理得到所述基站的环境信息；
生成模块用于基于所述环境信息，生成在所述环境信息对应的环境下的所述基站的码本。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的码本生成方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的码本生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的码本生成方法。
CN202210407006.5A 2022-04-18 2022-04-18 码本生成方法、装置、电子设备及存储介质 Active CN114726690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210407006.5A CN114726690B (zh) 2022-04-18 2022-04-18 码本生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210407006.5A CN114726690B (zh) 2022-04-18 2022-04-18 码本生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114726690A true CN114726690A (zh) 2022-07-08
CN114726690B CN114726690B (zh) 2024-03-29

Family

ID=82243070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210407006.5A Active CN114726690B (zh) 2022-04-18 2022-04-18 码本生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114726690B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114486A (ko) * 2007-06-25 2008-12-31 삼성전자주식회사 적응적으로 코드북을 생성하고 사용하는 다중 입출력 통신시스템 및 통신 방법
CN103366181A (zh) * 2013-06-28 2013-10-23 安科智慧城市技术（中国）有限公司 多特征视觉码本融合的场景识别方法和装置
CN107864000A (zh) * 2017-11-22 2018-03-30 重庆邮电大学 基于用户分布密度匹配的3d mimo码本生成方法
CN107872259A (zh) * 2016-09-27 2018-04-03 电信科学技术研究院 一种码本生成方法和通信设备
WO2018143995A1 (en) * 2017-02-02 2018-08-09 Nokia Technologies Oy Codebook selection among codebooks with different spatial granularity for wireless networks
CN110363269A (zh) * 2019-06-28 2019-10-22 西安理工大学 基于矢量量化和干涉的多图像加密方法
CN111626393A (zh) * 2020-07-03 2020-09-04 汪金玲 一种基于qr码和回转变换的图像加密方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114486A (ko) * 2007-06-25 2008-12-31 삼성전자주식회사 적응적으로 코드북을 생성하고 사용하는 다중 입출력 통신시스템 및 통신 방법
CN103366181A (zh) * 2013-06-28 2013-10-23 安科智慧城市技术（中国）有限公司 多特征视觉码本融合的场景识别方法和装置
CN107872259A (zh) * 2016-09-27 2018-04-03 电信科学技术研究院 一种码本生成方法和通信设备
WO2018143995A1 (en) * 2017-02-02 2018-08-09 Nokia Technologies Oy Codebook selection among codebooks with different spatial granularity for wireless networks
CN107864000A (zh) * 2017-11-22 2018-03-30 重庆邮电大学 基于用户分布密度匹配的3d mimo码本生成方法
CN110363269A (zh) * 2019-06-28 2019-10-22 西安理工大学 基于矢量量化和干涉的多图像加密方法
CN111626393A (zh) * 2020-07-03 2020-09-04 汪金玲 一种基于qr码和回转变换的图像加密方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张思绮: "基于NOMA的无线网络资源分配技术", 硕士电子期刊, no. 2022 *

Also Published As

Publication number Publication date
CN114726690B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
US11259191B2 (en) Methods and apparatus for coverage prediction and network optimization in 5G new radio networks
US10382230B2 (en) System and method for channel estimation in mmWave communications exploiting joint AoD-AoA angular spread
Li et al. One-stationary bistatic side-looking SAR imaging algorithm based on extended keystone transforms and nonlinear chirp scaling
US7535425B2 (en) Method and system for generating three-dimensional antenna radiation patterns
CN110297213A (zh) 基于装载互质线阵的无人机平台的辐射源定位装置及方法
US20230362039A1 (en) Neural network-based channel estimation method and communication apparatus
EP4266603A1 (en) Space division-based data processing method and communication device
Chen et al. Computer vision aided codebook design for MIMO communications systems
CN111766560A (zh) 一种基于无人机移动监测的多信源高精度直接定位方法
CN115278526A (zh) 终端定位方法、装置、电子设备及存储介质
CN113438682A (zh) 一种基于波束成形的sage-bem 5g无线信道参数提取方法
JP2018032939A (ja) 品質推定装置及び品質推定方法
CN113993074B (zh) 一种5g基站信号收发装置及目标定位方法
Pihlajasalo et al. Absolute positioning with unsupervised multipoint channel charting for 5G networks
Rezaie et al. Deep transfer learning for location-aware millimeter wave beam selection
De Bast et al. Expert-knowledge-based data-driven approach for distributed localization in cell-free massive MIMO networks
WO2022126373A1 (en) Enhanced fingerprint positioning
CN114726690B (zh) 码本生成方法、装置、电子设备及存储介质
Zheng et al. Localization coverage analysis of THz communication systems with a 3D array
CN112235757B (zh) 用于定位的方法、设备、装置和计算机可读存储介质
CN108207026B (zh) 用于确定服务ue的doa信息的方法和装置
Sarkar et al. RADIANCE: Radio-Frequency Adversarial Deep-learning Inference for Automated Network Coverage Estimation
CN107787002B (zh) 一种快速评估无线供电通信中信息传输速率的方法
CN116324803A (zh) 一种数据处理方法及相关设备
Xu et al. Deep learning based channel covariance matrix estimation with scene images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant