CN111566673B - 通信系统中的端到端学习 - Google Patents

通信系统中的端到端学习 Download PDF

Info

Publication number
CN111566673B
CN111566673B CN201780097792.0A CN201780097792A CN111566673B CN 111566673 B CN111566673 B CN 111566673B CN 201780097792 A CN201780097792 A CN 201780097792A CN 111566673 B CN111566673 B CN 111566673B
Authority
CN
China
Prior art keywords
neural network
transmitter
receiver
receiver neural
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097792.0A
Other languages
English (en)
Other versions
CN111566673A (zh
Inventor
J·霍伊迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN111566673A publication Critical patent/CN111566673A/zh
Application granted granted Critical
Publication of CN111566673B publication Critical patent/CN111566673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03165—Arrangements for removing intersymbol interference using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H04L25/497—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems by correlative coding, e.g. partial response coding or echo modulation coding transmitters and receivers for partial response systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H04L5/0007—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT
    • H04L5/001—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT the frequencies being arranged in component carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H04L5/0007—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)

Abstract

本说明书涉及通信系统中的端到端学习，并且描述了：将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中针对多载波传输系统的多个子载波频带中的每个子载波频带，发射器接收器神经网络对被定义；将多载波传输系统的多个符号布置成多个传输块；将所述传输块中的每个传输块映射到发射器接收器神经网络对中的一个发射器接收器神经网络对；使用所映射的发射器接收器神经网络对来传输每个符号；以及针对每个发射器接收器神经网络对，使用损失函数来训练发射和接收神经网络的至少一些权重。

Description

通信系统中的端到端学习
技术领域
本说明书涉及通信系统中的学习。
背景技术
简单的通信系统包括发射器、传输信道和接收器。这种通信系统的设计通常涉及系统的每个部分的单独的设计和优化。一种备选方法是将整个通信系统视为单个系统，并且寻求优化整个系统。尽管在现有技术中已经进行了一些尝试，但是在该领域中仍然存在进一步改进和实现的范围。
发明内容
在第一方面，本说明书描述了一种方法，该方法包括：将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中针对多载波传输系统的多个子载波频带中的每个子载波频带，发射器接收器神经网络对被定义；将多载波传输系统的多个符号布置成多个传输块；将每个上述传输块映射到发射器接收器神经网络对中的一个发射器接收器神经网络对；使用所映射的发射器接收器神经网络对来传输每个符号；以及针对每个发射器接收器神经网络对，使用损失函数来训练发射和接收神经网络的至少一些权重。发射和接收神经网络的至少一些权重可以使用随机梯度下降而被训练。损失函数可以与块错误率有关。多载波传输系统可以是正交频分复用系统。
该方法还可以包括映射在多个接收器神经网络处接收的每个符号，以生成对所传输的符号的估计。
每个符号可以经由信道从所映射的发射器接收器神经网络对的发射器神经网络被传输到接收器神经网络。该信道对于多个发射器和接收器神经网络对中的每个发射器和接收器神经网络对可以是公共的。此外，信道可以是计算模型。
第一方面可以还包括例如使用增强学习来优化每个上述传输块到发射器接收器神经网络对的映射。
第一方面还可以包括跨不同符号的数据比特的交织。
第一方面还可以包括使用载波频率偏移神经网络模块来校正载波频率偏移。备选地或另外地，第一方面可以包括使用信道均衡神经网络模块来执行信道均衡。
在第二方面，本说明书描述了一种装置，该装置被配置为执行参考第一方面描述的任何方法。
在第三方面，本说明书描述了一种计算机可读指令，该计算机可读指令在由计算装置执行时引起计算装置执行参考第一方面描述的任何方法。
在第四方面，本说明书描述了一种计算机可读介质，在其上存储有计算机可读代码，该计算机可读代码在由至少一个处理器执行时引起以下各项的执行：将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中针对多载波传输系统的多个子载波频带中的每个子载波频带，发射器接收器神经网络对被定义；将多载波传输系统的多个符号布置成多个传输块；将每个上述传输块映射到发射器接收器神经网络对中的一个发射器接收器神经网络对；使用所映射的发射器接收器神经网络对来传输每个符号；以及针对每个发射器接收器神经网络对，使用损失函数来训练发射和接收神经网络的至少一些权重。
在第五方面，本说明书描述了一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由至少一个处理器执行时引起该装置：将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中针对多载波传输系统的多个子载波频带中的每个子载波频带，发射器接收器神经网络对被定义；将多载波传输系统的多个符号布置成多个传输块；将所述传输块中的每个传输块映射到发射器接收器神经网络对中的一个发射器接收器神经网络对；使用所映射的发射器接收器神经网络对来传输每个符号；以及针对每个发射器接收器神经网络对，使用损失函数来训练发射和接收神经网络的至少一些权重。
在第六方面，本说明书描述了一种装置，该装置包括：用于将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对的部件，其中针对多载波传输系统的多个子载波频带中的每个子载波频带，发射器接收器神经网络对被定义；用于将多载波传输系统的多个符号布置成多个传输块的部件；用于将所述传输块中的每个传输块被映射到发射器接收器神经网络对中的一个发射器接收器神经网络对的部件；用于使用所映射的发射器接收器神经网络对来传输每个符号的部件；以及用于针对每个发射器接收器神经网络对，使用损失函数来训练发射和接收神经网络的至少一些权重的部件。
附图说明
现在将参考以下示意图借助于非限制性示例来描述示例实施例，在附图中：
图1是示例性通信系统的框图；
图2是可以在图1的系统的示例性实现中使用的发射器的框图；
图3是可以在图1的系统的示例性实现中使用的接收器的框图；
图4示出了示例性OFDM帧；
图5是根据示例性实施例的多载波传输系统的框图；
图6是示出图5的系统的示例性使用的流程图；
图7是示出示例性载波频率偏移模块的框图；
图8是示例性信道均衡模块的框图；
图9是根据示例性实施例的处理系统的组件的框图；以及
图10a和图10b示出了有形介质，分别是可移动存储器单元和存储计算机可读代码的光盘(CD)，该计算机可读代码在由计算机运行时执行根据实施例的操作。
具体实施方式
图1是示例性通信系统的框图，总体上由附图标记1指示。通信系统1包括发射器2、信道4和接收器6。发射器2接收并编码符号s以及经由信道4向接收器传输编码的符号。接收器6从信道4接收信号，并且对所接收的符号进行解码以提供解码的输出符号在理想系统中，该输出符号/>将与在发射器处接收的符号s相同。
通过使用神经网络来实现发射器2和接收器6，可以对神经网络进行联合训练，以便优化系统1的端到端性能。
如图1所示，系统1接收发射器输入向量s。输入s由发射器2编码。发射器2的神经网络被用于将输入s变换成信号，以用于使用信道4进行传输。神经网络可以包括多个层(所谓的深度神经网络)。例如，发射器神经网络可以具有其权重是可训练的的一些层和其权重为固定的一些层。类似地，接收器6被用于将信道的输出变换成输出接收器6的神经网络可以包括多个层(所谓的深度神经网络)。例如，接收器神经网络可以具有其权重是可训练的一些层和其权重为固定的一些层。
在通信系统的上下文中，输出通常是接收器对输入s的最佳猜测。接收器6可以包括损失函数，该损失函数监测输出/>与输入相匹配的精确度。然后，损失函数的输出可以在训练发射器的神经网络和/或接收器的神经网络的权重中被使用。
本说明书描述了将上述基本通信系统1扩展到诸如正交频分复用(OFDM)等多载波传输的实施例。
作为OFDM的典型，我们考虑具有N个子载波的S个OFDM符号的帧。因此，这样的帧在频域中包括N.S个复值符号，并且由表示。在下文中，我们描述了一种如何使用神经网络(NN)在这样的帧上发射和接收数据的方法。
我们分别考虑K≥1个神经网络的两个集合，即和/>其中k＝1，...，K。这些神经网络定义了以下映射
换言之，将来自集合/>的整数映射到nk维复数值向量，而/>将nk维复数值向量映射到Mk个可能的类别上的概率向量。我们分别在图2和图3中解释如何将这些映射实现为神经网络。
为了实现多载波传输系统(诸如OFDM)，将图1的通信系统修改为提供并行操作的多个发射器和并行操作的多个接收器(如下面参考图5详细描述的)。
图2是可以被用作若干并行发射器模块中的一个发射器模块的发射器的框图，该发射器总体上由附图标记10指示。发射器10是多个发射器中的第k发射器。
如图2所示，发射器10接收输入s并且提供输出向量x，其中并且/>发射器包括嵌入模块12、一个或多个神经网络14的密集层、复向量发生器16和归一化模块18。
输入s被馈送到嵌入模块22中，以嵌入：嵌入模块22将s转换为nemb维实数值向量。
嵌入层12之后可以可选地是具有不同的可能的激活函数(诸如ReLU、S形、tanh、线性等(也称为多层感知器(MLP)))的若干密集神经网络(NN)层14。神经网络14的最后一层具有2nk个输出维度、和线性激活函数。如果没有使用密集层，则nemb＝2n。
通过映射(由复向量发生器16)将神经网络12的输出转换为复数值向量，该映射可以实现为/>
应用归一化(在归一化模块18中)以确保满足功率、幅度或其他约束。归一化处理的结果是发射器10的发射向量x(其中)。注意，复向量生成和归一化的顺序可以颠倒。
图3是可以被用作多个并行接收器模块中的一个接收器模块的接收器的框图，该接收器总体上由附图标记20指示。接收器20是多个接收器中的第k接收器。发射器10的输出经由信道(诸如上述信道4)在接收器20处被接收。
如图3所示，接收器20接收向量y，其中并且提供输出/>接收器20包括实向量发生器22、一个或多个神经网络24的密集层、softmax模块26和argmax模块28。
通过映射(由实向量发生器22)将所接收的向量/>转换为2nk维的实数值向量，该映射可以被实现为/>结果被馈送到具有可能的不同的激活函数(例如，ReLU、tanh、Sigmoid、线性)的若干密集神经网络层(神经网络24)。最后一层具有被应用(由softmax模块26)有softmax激活的Mk个输出尺寸。这将生成概率向量/>其元素[p]i可以被解释为Pr(s＝i|y)。该消息的硬判决被获取为(由arg max模块28)。
针对l＝1，...L，帧被划分为分别包括bl个符号的L个传输块Bl。因此，可以将第l块定义为bl个子载波符号坐标的集合：
其中是子载波索引，/>是OFDM符号索引。
图4示出了示例性OFDM帧，总体上由附图标记30指示。OFDM帧30示出了包括12个OFDM符号(S)的帧，其中8个子载波(N)被划分成9个传输块(B1至B9)。注意，我们要求bl∈{n1，...，nK}，l＝1，...L。块不需要包括相邻符号。
图5是根据示例性实施例的多载波传输系统的框图，该多载波传输系统总体上由附图标记40指示。传输系统40包括发射器输入向量42、第一发射器神经网络44、第二发射器神经网络45、第三发射器神经网络46、发射器输出向量48、映射模块50、信道52、解映射模54、发射器输入向量56、第一接收器神经网络58、第二接收器神经网络59、第三接收器神经网络60和接收器输出向量62。尽管以上描述了三个发射器和接收器神经网络，但是从图5可以看出，存在L个发射器和接收器神经网络，而不仅仅是三个。
发射器神经网络44至46中的每个可以是上述发射器10的实现。类似地，接收器神经网络58至60中的每个可以是上述接收器20的实现。
信道52可以包括用于对将在通信信道中发生的变换(例如，噪声、上采样、滤波、与信道脉冲响应的卷积、重采样、时间/频率/相位偏移等)进行建模的网络。网络通常是信道输入的随机变换序列(即，发射器输出向量48)。通常，实现信道模式的网络的权重是不可训练的。
原则上，信道模型52可以利用真实信道被替换，但是使用信道模型存在很多实际的优势(诸如在训练系统40的神经网络时不需要建立物理信道)。同样，在这里使用真实信道也不是直接的，因为在训练期间它的传递函数是未知的。可能的解决方法是使用两阶段训练过程，其中首先使用随机信道模型从头到尾对系统进行训练，并且仅基于真实数据传输来对接收器进行微调。其他布置也是可能的。
在该系统的使用时，发射器神经网络44至46和接收器神经网络58至60被组织成发射器接收器神经网络对。例如，第一发射器神经网络44和第一接收器神经网络58可以形成第一发射器接收器神经网络对，其中数据块经由信道52从第一发射器神经网络44被发送到第一接收器神经网络58。
如上所述，针对l＝1，...L，帧被划分成分别包括bl个符号的L个块Bl。因此，可以将第l块定义为bl个子载波符号坐标的集合：
其中是子载波索引，并且/>是OFDM符号索引。
现在，我们定义任意映射使得对于l＝1，...L，nΦ(l)＝bl。使用该映射，我们定义L个输入的集合{s1，...，sL}，其中/>映射决定每个输入将被映射到哪个块。
现在将每个输入sl馈送到对应中，以产生其bl维复符号表示/>即
接下来，将向量xl映射到帧Xframe，如：
现在根据典型的OFDM方案来传输帧，即，计算Xframe的每一列的N点离散傅立叶逆变换(IDFT)，并且在其上添加长度为P的循环或零前缀(参见图5的映射模块50)。这导致可以在信道上传输的帧的复基带时域表示。
信道52被表示为若干计算层，该计算层可以模拟多种硬件效应(例如，量化、削波、自动增益控制(AGC)、上采样、滤波、以另一频率进行的重采样(采样频率偏移(SFO))、载波频率偏移(CFO))和传播现象(例如，噪声和/或干扰的增加、具有随机或确定性信道冲激响应的卷积)。这些信道层通常不具有可训练的参数。
在接收器侧，所接收的时域信号(在解映射模块54中)被转换到频域(在经由逐列的N点离散傅立叶变换(DFT)循环前缀去除之后)。这得到所接收的帧
如下从Yframe中提取每个传输块的接收符号
i＝1，...，bl，l＝1，...，L
向量yl被馈送到中，以产生概率向量/>其第i元素可以解释为Pr(sl＝i|y)。因此，第l块上的传输消息的估计/>为
系统40被用于在诸如正交频分复用(OFDM)或类似系统的多载波通信系统中提供端对端学习。如下面详细描述的，训练发射器神经网络44至46和接收器神经网络58至60以优化系统40的性能。
训练神经网络是指更新神经网络的参数(或权重)使得在给定特定输入的情况下，网络的输出变得更接近一些期望的对应值。为了做到这一点，我们首先需要对网络输出与期望值的接近程度进行某种测量。该度量通常定义为损失函数L，该损失函数L接受期望值和输出值，并且根据一些测量返回它们的差异。这种差异被称为损失。零损失通常表示期望值与最佳值之间没有差异，其中值越大表示差异越大。现在，我们可以将神经网络训练重述为更新参数以便使损失最小化。
在绝大多数情况下，我们无法利用封闭形式的解决方案来找到这些参数，而必须采用迭代方法，诸如梯度下降。梯度下降使用的观察是，在给定点，关于这些参数在与损失函数的梯度相反的方向上更新参数将导致损失的最大减少。在参数已经被更新之后，梯度被重新计算，并且被重复进行直到收敛，此时损失值不再随每次迭代而显著减小，或者直到某个用户指定迭代极限。传统的或批量的梯度下降在每次迭代中使用所有给定输入和期望值的损失来计算该梯度。在每次迭代中分析整个样本的效率非常低，因此收敛将花费相对较长的时间。取而代之，大多数神经网络都是使用被称为随机梯度下降(SGD)的过程进行训练的。SGD在每次迭代中使用单个或少量输入和期望值对来估计梯度。在大多数情况下，SGD可以更快地收敛，同时仍然可以找到合适的参数值。
假定存在K个神经网络(NN)发射器接收器对NNk TX和NNk RX，其中k＝1，2...K。可以使用以下损失函数经由随机梯度下降来训练K个神经网络发射器接收器对：
其中针对l＝1，...，L，是正权重因子，并且/>是sl与pl之间的(稀疏)分类交叉熵。
K个神经网络发射器接收器对的训练可以如下被实现：
·固定N、S、K以及维度n1，...，nK。
·针对k＝1，...，K，初始化NNk TX和NNk RX的层的权重和偏差。
·根据需要进行重复：
ο从可能的值的集合中选择随机数L，并且将帧拆分为L个块(根据某种可能的概率方案)，使得对于l＝1，....L有
bl∈{n1，...，nK}。
ο针对l＝1，....L，选择满足nΦ(l)＝bl的映射Φ。
ο生成随机消息
ο如上所述，通过随机信道实现来发射和接收消息。
ο对于l＝1，....L，计算损失L，并且应用SGD步骤以更新NNk RX和NNk RX的权重。
图6是示出总体上由附图标记70指示的算法的流程图，该算法示出了图5的系统的示例性使用。
算法70开始于操作72，在操作72，将发射器神经网络44至46和接收器神经网络58至60组织成发射器接收器神经网络对。
接下来，在操作74，被用于传输的符号被布置成传输块。将传输块映射到发射器接收器神经网络对(操作76)。将数据帧划分为块的方式和/或将块映射到发射器接收器对的方式可以随时间变化。例如，这可以取决于发射器处可用的信息(例如，信道状态信息)和/或接收器中的反馈。在这种情况下，以上描述为φ(l)的映射函数可以表示为φ(l，t，θ)，其中t是时间索引，θ是附加参数的向量。
映射Φ(l)确定哪个神经网络被用于块的传输，并且因此定义所使用的星座和速率。例如，的速率为log2(Mk)/nk比特/信道使用。这类似于传统通信系统中的自适应编码和调制(ACM)。
利用符号映射到发射器接收器对，算法移动到操作78，在操作78，其中符号经由信道52被传输。以这种方式，每个发射器接收器对(NNk TX和NNk RX)与信道一起形成可以被优化的自动编码器。
利用在发射器接收器神经网络对的接收器发射处和接收的符号(操作78)，可以训练相应的发射器和接收器神经网络(操作80)，从而为每个发射器接收器神经网络对提供端到端学习。
如上所述，发射器接收器对中的每个发射器接收器对形成通过训练而可以被优化的自动编码器。还可以例如使用增强学习基于来自接收器的反馈(例如，解码的成功/失败)以类似的方式优化映射函数φ(l)。
每个消息Sl可以被映射到长度为log2(MΦ(l))的二进制向量。表示一个消息的比特可以在多个帧或多个传输块上被交织。这增加了多样性，并且因此对衰落具有鲁棒性。
上述某些实施例利用了随机梯度下降(SGD)。在很多已知用途中，SGD是在小批量消息上执行的。该原理也可以应用于本文中描述的实施例。
在一些实施例中，可以预留帧中的一些符号以用于其他数据的传输，诸如可以利用的导频音调，例如，用于信道估计和/或载波频率偏移(CFO)估计。
图7是示出总体上由附图标记90指示的示例性载波频率偏移(CFO)模块的框图。如图7所示，示例性CFO模块90包括CFO神经网络92和CFO补偿模块94。
CFO是一种硬件缺陷，其可能会对OFDM或类似方案产生重大影响，因为CFO会破坏子载波之间的正交性。如图7所示，我们在此建议基于所接收的时域信号Y.NNCFO通过称为NNCFO的另一神经网络(其可以是任何类型的神经网络)来估计为输入Y(或其向量化版本)输出实标量。然后将参数/>馈送到CFO补偿算法中以产生补偿后的时域信号，以产生补偿后的时域信号/>该信号/>用于帧提取和解码。这样的算法可以如下工作：设/>为
i＝1，…，(N+P)S
CFO估计和补偿过程可以被集成到端到端学习过程中。除了估计CFO，还可以估计复标量，例如f，并且执行补偿函数
注意，CFO估计依赖于由多个可能的变化的神经网络生成的整个帧。将导频音调放在帧内的固定位置会很有帮助。注意，也可以使用用于CFO估计/补偿的任何其他传统算法，只要它可以表示为神经网络层，即确定性和可微函数。
图8是总体上由附图标记100指示的示例性信道均衡模块的框图。如图8所示，示例性信道均衡模块100包括信道均衡神经网络102和信道均衡模块104。
与上述CFO补偿类似，我们提出了一种用于信道均衡方法，该方法利用神经网络102从观测Y或Yframe来估计复数值向量h。确定性信道均衡算法使用该向量来产生经均衡的输出或/>例如，h可以被解释为逆时域信道脉冲响应或频域子载波信道系数。根据该解释，信道均衡块或者将Y与h进行卷积，或者将Yframe的第n行乘以/>
以与上述CFO补偿类似的方式，可以将信道均衡过程集成到端到端训练过程中。
当然，特定实现可以并入CFO模块90和信道均衡模块100。
本说明书已经总体描述了利用正交频分复用(OFDM)的应用。这并不是所有实现都必不可少的。一些实现可以被认为是修改的OFDM系统。其他实现可以是不是OFDM或修改的OFDM系统的多载波通信系统。
为了完整起见，图9是先前描述的一个或多个模块的组件(例如，发射器或接收器神经网络)的示意图，其在下文中统称为处理系统110。处理系统110可以具有处理器112、紧密耦合到处理器并且包括RAM 124和ROM 122的存储器114、以及可选的硬件键120和显示器128。处理系统110可以包括用于连接到网络的一个或多个网络接口118，例如可以是有线或无线的调制解调器。
处理器112被连接到其他组件中的每个组件以便控制其操作。
存储器114可以包括非易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器114的ROM 122除别的以外还存储操作系统125，并且可以存储软件应用126。存储器114的RAM 124由处理器112用来临时存储数据。操作系统125可以包含在由处理器执行时实现算法70的各方面的代码。
处理器112可以采用任何合适的形式。例如，它可以是微控制器、多个微控制器、一个处理器或多个处理器。
处理系统110可以是独立的计算机、服务器、控制台或其网络。
在一些实施例中，处理系统110还可以与外部软件应用相关联。这些可以是存储在远程服务器设备上的应用，并且可以部分或专门在远程服务器设备上运行。这些应用可以称为云托管应用。处理系统110可以与远程服务器设备通信，以利用被存储在其中的软件应用。
图10a和10b示出了存储计算机可读代码的有形介质，分别是可移动存储器单元165和光盘(CD)168，该计算机可读代码在由计算机运行时可以执行根据上述实施例的方法。可移动存储器单元165可以是存储棒，例如USB存储棒，其具有存储计算机可读代码的内部存储器166。存储器166可以由计算机系统经由连接器167访问。CD 168可以是CD-ROM或DVD等。可以使用其他形式的有形存储介质。
本发明的实施例可以以软件、硬件、应用逻辑、或软件、硬件和应用逻辑的组合来实现。软件、应用逻辑和/或硬件可以驻留在存储器或任何计算机介质上。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任何一个上。在本文档的上下文中，“存储器”或“计算机可读介质”可以是任何非暂态介质或可以包含、存储、传递、传播或传输指令以供指令系统、装置或设备(诸如计算机)执行或与之相结合使用的装置。
在相关情况下，对“计算机可读存储介质”、“计算机程序产品”、“有形地体现的计算机程序”等或“处理器”或“处理电路系统”等的引用应当被理解为不仅包括具有不同架构(诸如单/多处理器架构和定序器/并行架构)的计算机，而且还包括专用电路，诸如现场可编程门阵列FPGA、应用特定电路ASIC、信号处理设备和其他设备。对计算机程序、指令、代码等的引用应当被理解为表示用于可编程处理器固件的软件，诸如硬件设备的可编程内容，作为用于处理器的指令或用于固定功能设备、门阵列、可编程逻辑设备等的所配置的或配置设置。
在本申请中，“电路系统”一词是指以下所有内容：(a)仅硬件电路实现(诸如仅在模拟和/或数字电路系统中的实现)，以及(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)处理器的组合，或(ii)处理器/软件的部分(包括数字信号处理器)、软件和存储器，其一起工作以引起诸如服务器等装置执行各种功能，以及(c)需要软件或固件才可以运行的电路(即使软件或固件实际上不存在)，诸如微处理器或微处理器的一部分。
如果期望，本文中讨论的不同功能可以以不同的顺序和/或彼此同时地执行。此外，如果期望，上述功能中的一个或多个可以是可选的或可以被组合。类似地，还将意识到，图6的流程图仅是示例，并且其中描绘的各种操作可以省略、重新排序和/或组合。
应当理解，上述示例实施例仅是说明性的，而不限制本发明的范围。在阅读本说明书之后，其他变化和修改对本领域技术人员将是很清楚的。
此外，应当理解，本申请的公开内容包括本文或其任何概括中明确或隐含公开的任何新颖特征或新颖特征组合，并且在本申请或由此衍生的任何申请的起诉期间，可以提出新的权利要求以覆盖任何这样的特征和/或这样的特征的组合。
尽管在独立权利要求中陈述了本发明的各个方面，但是本发明的其他方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的其他组合，而不仅是在权利要求中明确列出的组合。
在此还应当注意，尽管以上描述了各种示例，但是这些描述不应以限制性的意义来理解。而是，在不脱离如所附权利要求书中限定的本发明的范围的情况下，可以进行多种变型和修改。

Claims (17)

1.一种通信方法，包括：
将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中发射器接收器神经网络对针对多载波传输系统的多个子载波频带中的每个子载波频带而被定义；
将所述多载波传输系统的多个符号布置成多个传输块；
将所述传输块中的每个传输块映射到所述发射器接收器神经网络对中的一个发射器接收器神经网络对；
使用所映射的所述发射器接收器神经网络对来传输每个符号；以及
针对每个发射器接收器神经网络对，使用损失函数来训练发射神经网络和接收神经网络的至少一些权重。
2.根据权利要求1所述的方法，还包括映射在所述多个接收器神经网络处接收的每个符号，以生成对传输的所述符号的估计。
3.根据权利要求1或权利要求2所述的方法，其中所述发射神经网络和接收神经网络的所述至少一些权重使用随机梯度下降而被训练。
4.根据权利要求1或权利要求2所述的方法，其中所述损失函数与块错误率有关。
5.根据权利要求1或权利要求2所述的方法，其中每个符号经由信道从所映射的所述发射器接收器神经网络对的所述发射器神经网络被传输到所述接收器神经网络。
6.根据权利要求5所述的方法，其中所述信道对于所述多个发射器和接收器神经网络对中的每个发射器和接收器神经网络对是公共的。
7.根据权利要求5所述的方法，其中所述信道是包括一个或多个计算层的模型。
8.根据权利要求1或权利要求2所述的方法，还包括优化所述传输块中的每个传输块到所述发射器接收器神经网络对的所述映射。
9.根据权利要求8所述的方法，其中所述传输块中的每个传输块的所述映射使用增强学习而被优化。
10.根据权利要求1或权利要求2所述的方法，还包括跨不同符号的数据比特的交织。
11.根据权利要求1或权利要求2所述的方法，还包括使用载波频率偏移神经网络模块来校正载波频率偏移。
12.根据权利要求1或权利要求2所述的方法，还包括使用信道均衡神经网络模块来执行信道均衡。
13.根据权利要求1或权利要求2所述的方法，其中所述多载波传输系统是正交频分复用系统。
14.一种计算机可读介质，其上存储有计算机可读指令，当所述计算机可读指令由计算装置执行时使所述计算装置执行根据权利要求1至13中任一项所述的方法。
15.一种计算机可读介质，其上存储有计算机可读代码，所述计算机可读代码在由至少一个处理器执行时引起以下各项的执行：
将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对，其中发射器接收器神经网络对针对多载波传输系统的多个子载波频带中的每个子载波频带而被定义；
将所述多载波传输系统的多个符号布置成多个传输块；
将所述传输块中的每个传输块映射到所述发射器接收器神经网络对中的一个发射器接收器神经网络对；
使用所映射的所述发射器接收器神经网络对来传输每个符号；以及
针对每个发射器接收器神经网络对，使用损失函数来训练发射神经网络和接收神经网络的至少一些权重。
16.一种无线通信装置，包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码，所述计算机程序代码在由所述至少一个处理器执行时使所述装置：
将多个发射器神经网络和多个接收器神经网络组织为多个发射器接收器神经网络对，其中发射器接收器神经网络对针对多载波传输系统的多个子载波频带中的每个子载波频带而被定义；
将所述多载波传输系统的多个符号布置成多个传输块；
将所述传输块中的每个传输块映射到所述发射器接收器神经网络对中的一个发射器接收器神经网络对；
使用所映射的所述发射器接收器神经网络对来传输每个符号；以及
针对每个发射器接收器神经网络对，使用损失函数来训练发射神经网络和接收神经网络的至少一些权重。
17.一种无线通信装置，包括：
用于将多个发射器神经网络和多个接收器神经网络组织成多个发射器接收器神经网络对的部件，其中发射器接收器神经网络对针对多载波传输系统的多个子载波频带中的每个子载波频带而被定义；
用于将所述多载波传输系统的多个符号布置成多个传输块的部件；
用于将所述传输块中的每个传输块映射到所述发射器接收器神经网络对中的一个发射器接收器神经网络对的部件；
用于使用所映射的所述发射器接收器神经网络对来传输每个符号的部件；以及
用于针对每个发射器接收器神经网络对使用损失函数来训练发射神经网络和接收神经网络的至少一些权重的部件。
CN201780097792.0A 2017-10-23 2017-10-23 通信系统中的端到端学习 Active CN111566673B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/076964 WO2019080987A1 (en) 2017-10-23 2017-10-23 END-TO-END LEARNING IN COMMUNICATION SYSTEMS

Publications (2)

Publication Number Publication Date
CN111566673A CN111566673A (zh) 2020-08-21
CN111566673B true CN111566673B (zh) 2023-09-19

Family

ID=60164690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097792.0A Active CN111566673B (zh) 2017-10-23 2017-10-23 通信系统中的端到端学习

Country Status (6)

Country Link
US (1) US11651190B2 (zh)
EP (1) EP3701427A1 (zh)
JP (1) JP2021500813A (zh)
KR (1) KR102494797B1 (zh)
CN (1) CN111566673B (zh)
WO (1) WO2019080987A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3637324A1 (en) 2018-10-08 2020-04-15 Nokia Solutions and Networks Oy Geometric constellation shaping for optical data transport
EP3977655B1 (en) 2019-05-30 2023-04-26 Nokia Technologies Oy Learning in communication systems
FI20195547A1 (en) 2019-06-20 2020-12-21 Nokia Technologies Oy Systems and apparatus for adaptive modulation category
EP3991372A1 (en) * 2019-06-27 2022-05-04 Nokia Technologies OY Transmitter algorithm
CN110535803B (zh) * 2019-09-03 2021-06-25 西南交通大学 一种无源光网络上行传输接收端解调方法
US11387880B2 (en) 2020-02-28 2022-07-12 Qualcomm Incorporated Channel state information feedback using channel compression and reconstruction
EP3913816A1 (en) 2020-05-19 2021-11-24 Nokia Technologies Oy Method and apparatus for optimization of signal shaping for a multi-user multiple input multiple output (mu-mimo) communication system
US20230388159A1 (en) * 2020-12-09 2023-11-30 Qualcomm Incorporated Communications using a neural network based at least in part on an indicated input size and/or input structure
CN113965281B (zh) * 2021-10-08 2023-09-22 上海科技大学 一种基于端到端学习的空中计算系统设计方法
CN113872911B (zh) * 2021-10-15 2023-10-24 齐鲁工业大学 模型驱动的正交频分复用系统高峰均比抑制方法及系统
TWI806707B (zh) 2022-07-13 2023-06-21 緯創資通股份有限公司 通訊方法及其通訊裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731779A (zh) * 2005-08-05 2006-02-08 西安电子科技大学 基于神经网络均衡器的小波包多载波扩频系统及控制方法
EP2538553A1 (en) * 2011-06-21 2012-12-26 Alcatel Lucent Apparatus and method for mitigating impairments of a transmit signal

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2411327A (en) 2004-02-20 2005-08-24 Toshiba Res Europ Ltd Training sequence for MIMO-OFDM which is suitable for use with null sub-carriers
RU2488967C2 (ru) 2008-07-31 2013-07-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для выделения ресурсов множественных несущих в системе ofdma
US8346711B2 (en) * 2009-11-24 2013-01-01 King Fahd University Of Petroleum And Minerals Method for identifying multi-input multi-output Hammerstein models
JP2012204910A (ja) 2011-03-24 2012-10-22 Sharp Corp 通信システム、基地局装置、移動局装置、移動局装置処理能力の管理方法及び集積回路
US8811514B2 (en) * 2011-05-06 2014-08-19 Dynamic Invention Llc Partial interference alignment for K-user MIMO interference channels
US20150249554A1 (en) 2013-06-21 2015-09-03 Dhadesugoor Vaman Adaptive demodulation method and apparatus using an artificial neural network to improve data recovery in high speed channels
EP3165036B1 (en) * 2014-07-01 2018-12-26 Telefonaktiebolaget LM Ericsson (publ) Predicting resource scheduling
CN104618291A (zh) * 2014-12-31 2015-05-13 重庆邮电大学 基于余量自适应准则的资源分配方法及装置
EP3676966A4 (en) * 2017-08-30 2021-04-21 Telefonaktiebolaget LM Ericsson (Publ) WIRELESS DEVICE FOR DETERMINING THE BEST ANTENNA BEAM AND ASSOCIATED PROCESS
US10638482B2 (en) * 2017-12-15 2020-04-28 Qualcomm Incorporated Methods and apparatuses for dynamic beam pair determination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731779A (zh) * 2005-08-05 2006-02-08 西安电子科技大学 基于神经网络均衡器的小波包多载波扩频系统及控制方法
EP2538553A1 (en) * 2011-06-21 2012-12-26 Alcatel Lucent Apparatus and method for mitigating impairments of a transmit signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TJ O'Shea.Deep Learning Based MIMO Communications.《arXiv.org》.2017,全文. *

Also Published As

Publication number Publication date
WO2019080987A1 (en) 2019-05-02
US11651190B2 (en) 2023-05-16
CN111566673A (zh) 2020-08-21
JP2021500813A (ja) 2021-01-07
EP3701427A1 (en) 2020-09-02
KR102494797B1 (ko) 2023-02-06
US20210192320A1 (en) 2021-06-24
KR20200074194A (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
CN111566673B (zh) 通信系统中的端到端学习
US11575547B2 (en) Data transmission network configuration
CN111712835B (zh) 数据传输系统中的信道建模
CN110474716B (zh) 基于降噪自编码器的scma编解码器模型的建立方法
CN104769875B (zh) 采用正交频分复用的高频谱效率传输
WO2019080988A1 (en) END-TO-END LEARNING IN COMMUNICATION SYSTEMS
WO2019245931A1 (en) Distributed radio system
CN112236782A (zh) 通信系统中的端到端学习
US11159220B2 (en) Single input single output (SISO) physical layer key exchange
WO2018234084A1 (en) METHOD AND DEVICE FOR CONFIGURING A DATA TRANSMISSION SYSTEM
KR20220019828A (ko) 신경망에 기초한 채널 추정을 갖는 송신 시스템
CN110311876A (zh) 基于深度神经网络的水声正交频分复用接收机的实现方法
CN106453162A (zh) 针对多输入多输出正交频分复用系统的信道估计方法
CN113906704A (zh) 通信系统中的学习
CN115250216A (zh) 一种基于深度学习的水声ofdm联合信道估计和信号检测方法
JP2021536078A (ja) 復号のための方法、コンピュータプログラム製品、及びデバイス
WO2022074639A2 (en) Communication system
US11722240B2 (en) Rate adaptation
CN112740631A (zh) 通过接收算法中的参数的更新来在通信系统中学习
WO2014175430A1 (ja) 受信装置、受信方法および受信プログラム
US20240146362A1 (en) Transmitter
JP5535759B2 (ja) 無線通信システム、送信装置、受信装置、通信方法、送信方法及び受信方法
CN114026827A (zh) 发送器算法
WO2023066993A1 (en) Method and system for a receiver in a communication network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant