CN112166567B - 通信系统中的学习 - Google Patents

通信系统中的学习 Download PDF

Info

Publication number
CN112166567B
CN112166567B CN201880093390.8A CN201880093390A CN112166567B CN 112166567 B CN112166567 B CN 112166567B CN 201880093390 A CN201880093390 A CN 201880093390A CN 112166567 B CN112166567 B CN 112166567B
Authority
CN
China
Prior art keywords
transmitter
receiver
training sequence
algorithm
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880093390.8A
Other languages
English (en)
Other versions
CN112166567A (zh
Inventor
F·艾特·奥迪亚
J·霍伊迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN112166567A publication Critical patent/CN112166567A/zh
Application granted granted Critical
Publication of CN112166567B publication Critical patent/CN112166567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/02—Transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202—Channel estimation
    • H04L25/0204—Channel estimation of multiple channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202—Channel estimation
    • H04L25/0224—Channel estimation using sounding signals
    • H04L25/0226—Channel estimation using sounding signals sounding signals per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03012—Arrangements for removing intersymbol interference operating in the time domain
    • H04L25/03114—Arrangements for removing intersymbol interference operating in the time domain non-adaptive, i.e. not adjustable, manually adjustable, or adjustable only during the reception of special signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03165—Arrangements for removing intersymbol interference using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03343—Arrangements at the transmitter end

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述了一种方法、装置和计算机程序，包括：针对传输系统的第一模块的第一传输器获得或生成消息的传输器训练序列，其中该传输系统包括第一模块、第二模块和信道，该第一模块具有第一传输器和第一接收器，该第二模块具有第二传输器和第二接收器，其中第一传输器包括具有至少一些可训练权重的传输器算法；通过传输系统的信道从第一传输器向第二接收器传输消息的传输器训练序列的扰动版本；在第一接收器处从第二传输器接收第一损耗函数，其中第一损耗函数基于的是在第二接收器处接收到的消息的传输器训练序列的所传输的扰动版本、以及针对传输系统的第一传输器的消息的传输器训练序列的知识；以及基于第一损耗函数来训练第一传输器的传输器算法的至少一些权重。

Description

通信系统中的学习
技术领域
本说明书涉及通信系统中的学习。
背景技术
简单的通信系统包括传输器、传输信道和接收器。这种通信系统的设计可以涉及系统的每个部分的单独设计和优化。备选方法是将整个通信系统视为单个系统，并寻求优化整个系统。尽管在现有技术中已经进行了一些尝试，但是在该领域中存在进一步发展的范围。
发明内容
在第一方面中，本说明书描述了一种装置，包括：用于在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列的部件，其中传输系统包括第一模块、第二模块和信道，该第一模块具有第一传输器和第一接收器，该第二模块具有第二传输器和第二接收器，其中第一传输器包括具有至少一些可训练权重的第一传输器算法，第二传输器包括具有至少一些可训练权重的第二传输器算法，第一接收器具有第一接收器算法，该第一接收器算法具有至少一些可训练权重，并且第二接收器包括具有至少一些可训练权重的第二接收器算法；用于获得或生成第一接收器损耗函数的部件，第一接收器损耗函数基于在第一接收器处接收到的第一接收器训练序列、以及由第二传输器传输的第一接收器训练序列的知识而被生成；用于基于第一接收器损耗函数来训练第一接收器训练算法的至少一些权重的部件；用于通过信道从第一传输器向第二接收器传输消息的第二接收器训练序列、以使第二接收器算法的至少一些权重能基于第二接收器损耗函数而被训练的部件，该第二接收器损耗函数基于在第二接收器处接收到的第二接收器训练序列、以及由第一传输器传输的第二接收器训练序列的知识而被生成；用于通过信道从第一传输器向第二接收器传输消息的第一传输器训练序列的扰动版本的部件；用于在第一接收器处接收通过信道从第二传输器发送的第一传输器损耗函数的部件，其中第一传输器损耗函数基于的是在第二接收器处接收到的所传输的消息的第一传输器训练序列的扰动版本、以及消息的第一传输器训练序列的知识；以及用于基于第一传输器损耗函数来训练第一传输器的传输器算法的至少一些权重的部件。第一接收器算法和/或第二接收器算法可以包括接收器神经网络。第一传输器算法和/或第二传输器算法可以包括传输器神经网络。
一些实施例包括用于在传输系统的第一模块处生成消息的第一传输器训练序列的扰动版本的部件。
扰动可以是零均值高斯扰动。
第一传输器损耗函数可以在第二模块处被生成。
第一传输器损耗函数可以基于消息的第一传输器训练序列与消息的第一传输器训练序列的扰动版本之间的均方误差。
一些实施例包括用于重复对第一传输器的第一传输器算法的至少一些权重的训练、直到第一条件被达到的部件。例如，第一条件可以是所定义的迭代次数和/或所定义的性能级别。
在一些实施例中，用于训练第一传输器的至少一些权重的部件可以还包括优化以下一项或多项：消息的第一传输器训练序列的批次大小、学习速率和被应用于消息的第一传输器训练序列的扰动版本的扰动分布。
一些实施例包括用于重复对第一接收器算法的至少一些权重的训练直到第二条件被达到的部件。第二条件可以是所定义的迭代次数和/或所定义的性能级别。
第一接收器损耗函数可以基于由第二传输器传输的消息的第一接收器训练序列与在第一接收器处接收到的消息的第一接收器训练序列之间的均方误差。
一些实施例包括用于重复对第一传输器算法的至少一些权重的训练和重复对第一接收器算法的至少一些权重的训练直到第三条件被达到的部件。
一些实施例包括：用于在第一接收器处接收针对第二传输器的消息的第二传输器训练序列的扰动版本的部件；以及用于生成第二损耗函数的部件，其中第二损耗函数基于在第一接收器处接收到的所接收消息的第二传输器训练序列的扰动版本以及针对传输系统的第二传输器的消息的第二传输器训练序列的知识。此外，一些实施例包括用于从第一传输器向第二接收器发送第二损耗函数的部件。
一些实施例包括：用于在第二接收器处接收针对第一传输器的消息的第一传输器训练序列的扰动版本的部件；用于生成第一传输器损耗函数的部件；以及用于从第二传输器向第一接收器发送第一传输器损耗函数的部件。
所述部件可以包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置的执行。
在第二方面中，本说明书描述了一种方法，该方法包括：在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列，其中传输系统包括第一模块、第二模块和信道，该第一模块具有第一传输器和第一接收器，该第二模块具有第二传输器和第二接收器，其中第一传输器包括具有至少一些可训练权重的第一传输器算法，第二传输器包括具有至少一些可训练权重的第二传输器算法，第一接收器具有第一接收器算法，该第一接收器算法具有至少一些可训练权重，并且第二接收器包括具有至少一些可训练权重的第二接收器算法；获得或生成第一接收器损耗函数，第一接收器损耗函数基于在第一接收器处接收到的第一接收器训练序列、以及由第二传输器传输的第一接收器训练序列的了知识而被生成的；基于第一接收器损耗函数来训练第一接收器训练算法的至少一些权重；通过信道从第一传输器向第二接收器传输消息的第二接收器训练序列，以使第二接收器算法的至少一些权重能基于第二接收器损耗函数而被训练，该第二接收器损耗函数是基于在第二接收器处接收到的第二接收器训练序列、以及由第一传输器传输的第二接收器训练序列的知识而被生成；通过信道从第一传输器向第二接收器传输消息的第一传输器训练序列的扰动版本；在第一接收器处接收通过信道从第二传输器发送的第一传输器损耗函数，其中第一传输器损耗函数基于的是在第二接收器处接收到的所传输的消息的第一传输器训练序列的扰动版本以及消息的第一传输器训练序列的知识；以及基于第一传输器损耗函数来训练第一传输器的传输器算法的至少一些权重。第一接收器算法和/或第二接收器算法可以包括接收器神经网络。第一传输器算法和/或第二传输器算法可以包括传输器神经网络。
消息的第一传输器训练序列的扰动版本可以在传输系统的第一模块处被生成。
第一传输器损耗函数可以在第二模块处被生成。
第一传输器损耗函数可以基于消息的第一传输器训练序列与消息的第一传输器训练序列的扰动版本之间的均方误差。
一些实施例包括重复对第一传输器的第一传输器算法的至少一些权重的训练直到第一条件被达到。例如，第一条件可以是所定义的迭代次数和/或所定义的性能级别。一些实施例包括重复第一接收器算法的至少一些权重的训练直到第二条件被达到为止。第二条件可以是所定义的迭代次数和/或所定义的性能级别。一些实施例包括用于重复对第一传输器算法的至少一些权重的训练以及重复对第一接收器算法的至少一些权重的训练两者，直到第三条件被达到的部件。
一些实施例包括：在第一接收器处接收针对第二传输器的消息的第二传输器训练序列的扰动版本；以及生成第二损耗函数，其中第二损耗函数基于在第一接收器处接收到的消息的第二传输器训练序列的所接收的扰动版本以及针对传输系统的第二传输器的消息的第二传输器训练序列的知识。此外，一些实施例包括从第一传输器向第二接收器发送第二损耗函数。
一些实施例包括：在第二接收器处接收用于第一传输器的消息的第一传输器训练序列的扰动版本；生成第一传输器损耗函数；以及从第二传输器向第一接收器发送第一传输器损耗函数。
在第三方面中，本说明书描述了一种装置，该装置被配置为执行参照第二方面描述的任何方法。
在第四方面中，本说明书描述了计算机可读指令，该计算机可读指令在由计算装置执行时使计算装置执行参照第二方面描述的任何方法。
在第五方面中，本说明书描述了一种计算机程序，包括指令，该指令用于使装置执行至少以下操作：在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列，其中传输系统包括第一模块、第二模和信道，该第一信道具有第一传输器和第一接收器，该第二信道具有第二传输器和第二接收器，其中第一传输器包括具有至少一些可训练权重的第一传输器算法，第二传输器包括具有至少一些可训练权重的第二传输器算法，第一接收器具有第一接收器算法，该第一接收器算法具有至少一些可训练权重，并且第二接收器包括具有至少一些可训练权重的第二接收器算法；获得或生成第一接收器损耗函数，第一接收器损耗函数是基于在第一接收器处接收到的第一接收器训练序列、以及由第二传输器传输的第一接收器训练序列的知识而被生成；基于第一接收器损耗函数来训练第一接收器训练算法的至少一些权重；通过信道从第一传输器向第二接收器传输消息的第二接收器训练序列，以使第二接收器算法的至少一些权重能基于第二接收器损耗函数而被训练，该第二接收器损耗函数基于在第二接收器处接收到的第二接收器训练序列、以及由第一传输器传输的第二接收器训练序列的知识而被生成；通过信道从第一传输器向第二接收器传输消息的第一传输器训练序列的扰动版本；在第一接收器处接收通过信道从第二传输器发送的第一传输器损耗函数，其中第一传输器损耗函数基于的是在第二接收器处接收到的消息的第一传输器训练序列的所传输的扰动版本、以及消息的第一传输器训练序列的知识；以及基于第一传输器损耗函数来训练第一传输器的传输器算法的至少一些权重。
在第六方面中，本说明书描述了一种非瞬态计算机可读介质，该非瞬态计算机可读介质包括被存储在其上的程序指令，所述程序指令用于执行至少以下操作：在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列，其中传输系统包括第一模块、第二模块和信道，该第一模块具有第一传输器和第一接收器，该第二模块具有第二传输器和第二接收器，其中第一传输器包括具有至少一些可训练权重的第一传输器算法，第二传输器包括具有至少一些可训练权重的第二传输器算法，第一接收器具有第一接收器算法，该第一接收器算法具有至少一些可训练权重，并且第二接收器包括具有至少一些可训练权重的第二接收器算法；获得或生成第一接收器损耗函数，第一接收器损耗函数基于在第一接收器处接收到的第一接收器训练序列、以及由第二传输器传输的第一接收器训练序列的知识而被生成；基于第一接收器损耗函数训练第一接收器来训练算法的至少一些权重；通过信道从第一传输器向第二接收器传输消息的第二接收器训练序列，以使第二接收器算法的至少一些权重能基于第二接收器损耗函数而被训练，该第二接收器损耗函数基于在第二接收器处接收到的第二接收器训练序列以及由第一传输器传输的第二接收器训练序列的知识而被生成；通过信道从第一传输器向第二接收器传输消息的第一传输器训练序列的扰动版本；在第一接收器处接收通过信道从第二传输器发送的第一传输器损耗函数，其中第一传输器损耗函数基于的是在第二接收器处接收到的消息的第一传输器训练序列的所传输的扰动版本、以及消息的第一传输器训练序列的知识；以及基于第一传输器损耗函数来训练第一传输器的传输器算法的至少一些权重。
附图说明
现在将参照以下示意图通过非限制性示例来描述示例实施例，其中：
图1是根据示例实施例的示例端到端通信系统的框图；
图2是示出了根据示例实施例的算法的流程图；
图3是在示例实施例中使用的传输器的框图；
图4是在示例实施例中使用的接收器的框图；
图5是根据示例实施例的示例通信系统的框图；
图6是根据示例实施例的示例通信系统的框图；
图7是示出了根据示例实施例的算法的流程图；
图8是示出了根据示例实施例的算法的流程图；
图9是根据示例性实施例的系统组件的框图；以及
图10a和10b示出了有形介质，分别是存储有计算机可读代码的可移动非易失性存储器单元和光盘(CD)，该计算机可读代码在由计算机运行时执行根据实施例的操作。
具体实施方式
图1是根据示例实施例的总体由附图标记10指示的示例端到端通信系统的框图。
系统1包括第一代理12、信道14和第二代理16。第一代理12和第二代理16在本文中有时称为第一模块和第二模块。
第一代理或模块12包括第一传输器18和第一接收器20。第二代理或模块16包括第二接收器22和第二传输器24。
在系统级别上看，系统10将第一传输器18的输入处的第一输入符号(s)(也被称为消息)转换成第二接收器22的输出处的第一输出符号
Figure BDA0002774307130000071
并将第二传输器24的输入处的第二输入符号s′转换成第一接收器20的输出处的第二输出符号
Figure BDA0002774307130000072
如下文进一步描述的，第一传输器18和第二传输器24包括用于实现传输器算法的模块(诸如，神经网络)。同样地，第一接收器20和第二接收器22包括用于实现接收器算法的模块(诸如，神经网络)。可以训练至少一些模块，以便优化系统10的性能。更具体地，一个或多个传输器算法和/或一个或多个接收器算法可以包括至少一些可训练权重(其可以是通过随机梯度下降和/或强化学习而可训练的)。
如下文详细描述的，第一传输器18将实值向量
Figure BDA0002774307130000081
传递到第二接收器22。为此，第一传输器18通过信道14发送s的复数值表示
Figure BDA0002774307130000082
该表示可以被视为复基带符号。通常，传输器硬件对x施加约束，例如，能量约束
Figure BDA0002774307130000083
幅度约束
Figure BDA0002774307130000084
或者平均功率约束
Figure BDA0002774307130000085
由条件概率密度函数(pdf)p(y|x)来描述信道，其中
Figure BDA0002774307130000086
表示接收到的信号。要注意的是，取决于信道，y的维度可以不同于N。在接收到y之后，接收器产生对所传输的实值向量s的估计
Figure BDA0002774307130000087
同样地，第二传输器24将实值向量
Figure BDA0002774307130000088
传递到第一接收器20。为此，第二传输器24通过信道14发送s的复值表示
Figure BDA0002774307130000089
传输器18和传输器24定义映射：
Figure BDA00027743071300000810
换言之，传输器将实值向量(在传输器18的情况下为
Figure BDA00027743071300000811
并且在传输器24的情况下为
Figure BDA00027743071300000812
)映射到N维复值向量。如下所述，该映射可以被实现为神经网络。可以提供其他参数差分映射来代替神经网络。
接收器20和22定义映射：
Figure BDA00027743071300000813
换言之，接收器将实值向量(在接收器20的情况下为
Figure BDA00027743071300000814
并且在接收器22的情况下为
Figure BDA00027743071300000815
)映射到N维实值向量。如下所述，该映射可以被实现为神经网络。可以提供其他参数差分映射来代替神经网络。
图2是示出了根据示例实施例的总体由附图标记30指示的算法的流程图。
在其中系统10的接收器和传输器的可训练参数被初始化(例如，随机地，根据一些所选分布)的初始化过程(未示出)之后，算法30开始于操作32，其中通过使第二传输器24通过信道14向第一接收器20发送预定义数据并且使用监督学习技术来优化第一接收器20，训练第一模块12的第一接收器20。接下来，在操作34，通过使第一传输器18通过信道14向第二接收器22发送预定义数据并且使用监督学习技术来优化第二接收器22，训练第二模块16的第二接收器22。
因此，操作32和34表示针对第一模块12和第二模块16两者的接收器训练的迭代。
在算法30的操作36处，通过使该传输器能通过引入较小的扰动(例如，通过添加高斯零均值噪声)探索用以信道符号映射的可能的实值向量的空间，来训练第一模块12的第一传输器18。第二接收器22以与特定性能度量有关的标量损耗的形式向第一传输器提供反馈。(反馈是由第二传输器24通过信道14发送的，并由第一接收器20接收的)。使用强化学习，可以估计损耗的梯度。
同样地，在算法30的操作38中，通过使该传输器能通过引入较小的扰动探索用以信道符号映射的可能的实值向量的空间，来训练第二模块16的第二传输器24，第一接收器20以与特定性能度量相关的标量损耗的形式(经由信道14)向第一传输器提供反馈。(反馈是由第一传输器18通过信道14发送的，并由第二接收器22接收的)。使用强化学习，可以估计损耗的梯度。
因此，操作36和38表示针对第一模块12和第二模块16两者的传输器训练的迭代。
最终，在操作40，确定算法30是否完成。如果是，则该算法终止。如果否，则该算法返回到操作32。算法30的操作40可以采用许多形式。这些包括在固定次数的训练迭代之后停止，在固定次数的迭代期间误差测量未降低时停止或在均方误差已达到期望值时停止。
以这种方式，算法30可以被用于针对系统10实现接收器和传输器训练的多次迭代。在训练过程之后，相应传输器和接收器可以进行通信。
当然，通过示例的方式提供算法30，并且变型(包括所描述的操作的不同顺序)是可能的。下面提供关于算法30的操作的其他细节。
图3是在示例实施例中使用的总体由附图标记50指示的传输器的框图(诸如，上述传输器18和24)。如图3所示，传输器50包括一个或多个单元52(例如，一个或多个神经网络)的致密层、复向量生成器54和归一化模块56。传输器50内的模块通过示例的方式被提供，并且修改是可能的。例如，可以以不同的顺序来提供复向量生成器54和归一化模块56。
消息索引s被馈送到一系列的层，例如，具有可能的不同非线性激活函数(诸如，ReLU、tanh、signmoid、线性等)的致密神经网络(NN)层52。神经网络的最后一层具有2N个输出维度和线性激活函数。如果未使用致密层，则nemb＝2n。
通过映射
Figure BDA0002774307130000101
将致密层52的输出转换为复值向量(通过复向量生成器54)，该映射可以被实现为
Figure BDA0002774307130000102
通过归一化模块56应用归一化，确保满足功率、幅度或其他约束。归一化过程的结果是传输器50的传输向量x(其中，
Figure BDA0002774307130000103
)。要上文所提到的，复向量生成和归一化的顺序可以被互换。
图4是在示例实施例中使用的总体由附图标记60指示的接收器的框图(诸如，接收器20和22)。
如图4所示，接收器60包括实向量生成器62和一个或多个层64(例如，一个或多个神经网络)。接收器60内的模块以示例的方式被提供，并且修改是可能的。
通过映射
Figure BDA0002774307130000104
将接收到的向量
Figure BDA0002774307130000105
(通过实向量生成器62)变换为2N维度的实值向量，该映射可以被实现为
Figure BDA0002774307130000106
将结果馈送到一个或多个层64中，该层可以具有不同的激活功能，诸如，ReLU、tanh、sigmoid、线性等。最后一层具有M个输出维度。这生成M维实值向量
Figure BDA0002774307130000107
可以将其解释为s的猜测。也可以使用复值中性网络来避免映射
Figure BDA0002774307130000108
换言之，接收器60将N维复值向量映射到M实值向量。
可以认为，根据本文描述的原理的通信系统的训练包括两个单独的阶段，一个阶段用于传输系统的接收器，并且一个阶段用于传输系统的传输器。因此，例如，算法30的操作32和34可以被认为是第一阶段，并且算法30的操作36和38可以被认为是第二阶段。
图5是总体由附图标记70指示的示例通信系统的框图，其图示了根据示例实施例的接收器训练算法。系统70参照操作32和34(即，上述‘第一阶段’)展示了上述接收器训练操作的各个方面。
系统70包括上述第一模块12的第一传输器18和第一接收器20、上述第二模块16的第二接收器22和第二传输器24以及上述信道14。系统70附加地包括总体由附图标记72指示的训练算法以及总体由附图标记74指示的损耗函数生成模块。
在下面的解释中，旨在学习通信的两个模块(或代理)(诸如，上述模块12和16)由A和B表示，a∈{A，B}表示两个代理中的一个，而ā是另一代理，使得：
Figure BDA0002774307130000111
针对两个代理a∈{A，B}，
Figure BDA0002774307130000114
的传输器(示例系统70中的第一传输器18)向a的接收器(系统70的接收器22)发送已知的实值向量的序列。基于随机梯度下降和强化学习，优化接收器22的神经网络(使用训练算法72)。优化的目标是减少均方误差，在模块74中将其定义为：
Figure BDA0002774307130000112
其中：
NR是所使用的实值训练示例的数目；
sT是所传输的符号；以及
Figure BDA0002774307130000113
是接收到的符号。
图6是总体由附图标记90指示的示例通信系统的框图，图示了根据示例实施例的传输器训练算法。系统90参照操作36和38(即，上述‘第二阶段’)展示了上述传输器训练操作的各个方面。
系统90包括上述第一模块12的第一传输器18和第一接收器20、上述第二模块16的第二接收器22和第二传输器24以及上述信道14。系统90附加地包括在第二传输器24和信道14之间的扰动模块92、总体由附图标记94指示的损耗函数生成模块和总体由附图标记96指示的训练算法。
为了继续上面的示例，针对两个代理a∈{A，B}，a的传输器(系统90的第二传输器24)向接收器20发送已知的实值向量序列。然而，扰动模块92通过添加随机向量ε来略微地扰动与每个向量相关联的传输器信号，该随机向量ε取自已知的分布(例如，零均值高斯扰动)。
损耗函数生成模块94基于每个接收到的向量的平方误差来计算损耗函数。在该步骤中，不执行接收器20的优化。
代理ā使用第一传输器18来向代理a反馈在损耗函数生成模块94中生成的平方误差反馈，该代理a通过第二接收器22(从信道14)接收数据。
代理a通过使用所传输的向量和信号的知识以及由扰动模块92施加的扰动的分布对损耗相对于其可训练参数的梯度进行估计，来优化第二传输器24的神经网络。
图7是示出了根据示例实施例的总体由附图标记110指示的算法的流程图，该算法提供了上述接收器训练算法的其他细节。
算法110开始于操作112，代理
Figure BDA0002774307130000125
独立于
Figure BDA0002774307130000121
的子集上的一些分布来绘制NR实定向向量ST＝{sT，i，i＝1，...，NR}的随机集合。
在操作114，代理ā计算对应的输出向量xT，i＝TX(sT，i)。输出向量由传输器18通过信道14传输。
在操作116，代理a在接收器22处接收所传输的向量(现在表示yT，i，i＝1，...，NR)，并计算符号
Figure BDA0002774307130000122
在操作118，代理a从sT和
Figure BDA0002774307130000123
计算均方误差(使用模块74)。
在操作120，使用均方误差(MSE)作为损耗函数，通过将随机梯度描述的一个步骤应用于接收器的可训练参数来使用训练算法72优化接收器22，其中(如上面所提到的)：
Figure BDA0002774307130000124
最终，在操作122，确定算法110是否完成。如果是，则该算法终止；否则，该算法返回到操作112，并且重复操作112至122。
代理a的接收器(上面的示例中的接收器22)应该非偶然地知道所传输消息sT的集合。这可以通过许多方式来实现。例如，两个代理可以使用利用相同种子而初始化的相同随机数生成器。备选地，两个代理可以在训练将在每次训练迭代中使用的sT集合之前达成一致。
批次大小NR以及学习速率(以及所选的随机梯度下降变型的可能的其他参数，例如ADAM、RMSProp、动量)可以是训练操作的优化参数。
算法110的操作122可以采取许多形式。这些包括在固定次数的训练迭代之后停止，在固定次数的迭代期间均方误差未降低时停止或在均方误差已达到期望值时停止。
图8是示出了根据示例实施例的总体由附图标记130指示的算法的流程图，该算法提供了上述传输器训练算法的其他细节。
算法130开始于操作132，其中，代理a独立于
Figure BDA0002774307130000131
的子集上的某种分布来绘制NT个实定向向量ST＝{sT，i，i＝1，...，NT}的随机集合。
在操作134中，代理a计算对应的输出向量xT，i＝TX(sT，i)。输出向量由传输器24输出到扰动模块92。
在操作136，代理a独立于并且根据一些分布p(ε)来绘制NT个扰动向量
Figure BDA0002774307130000132
例如，p(ε)可以是具有某个小变型σ2的多元复高斯分布
Figure BDA0002774307130000133
基于扰动向量εi，扰动模块92生成扰动向量
Figure BDA0002774307130000134
在操作138中，代理a通过到第一接收器20的信道14将扰动向量传输到代理ā。针对给定xT，i，表示
Figure BDA0002774307130000135
Figure BDA0002774307130000136
的结果条件pdf。
第一接收器20接收输出yT，i，i＝1，...，NT。
在操作140中，代理ā在接收器22处接收所传输的向量yT，i，并计算符号
Figure BDA0002774307130000137
在操作142中，代理ā的模块94计算均方误差LT，如下：
Figure BDA0002774307130000141
均方误差被编码为xL，以便使用第一传输器18进行传输。
在操作144中，将编码后的误差函数从传输器18传输到第二接收器22，并且在操作146中，在接收器22处对其进行接收和解码。
在操作148中，使用均方误差(MSE)作为损耗函数，代理a通过应用随机梯度的一个步骤来使用训练算法96优化第二传输器24，描述传输器的可训练参数，其中：
Figure BDA0002774307130000142
要注意的是，损耗函数是计算相对于传输器的可训练参数θ的梯度的函数。该函数
Figure BDA0002774307130000143
也称为策略梯度。
最终，在操作150中，确定算法130是否完成。如果是，则该算法终止；否则，该算法返回到操作132，并且重复操作132至150。
代理ā的接收器(上面的示例中的接收器20)应该非偶然地知道所传输消息sT的集合。这可以通过许多方式来实现。例如，两个代理可以使用以相同种子初始化的相同随机数生成器。备选地，两个代理可以在训练将在每次训练迭代中使用的sT集合之前达成一致。
批次大小NT以及学习率(以及所选的随机梯度下降变型的可能的其他参数，例如ADAM、RMSProp、动量)可以是训练操作的优化参数。
算法130的操作150可以采取许多形式。这些包括在固定次数的训练迭代之后停止，在固定次数的迭代期间均方误差未降低时停止或在均方误差已达到期望值时停止。
本文描述的训练过程包含许多变型。本文描述的强化学习的使用依赖于探索策略空间(即，可能的状态到动作映射的空间)。如本文所描述的，策略是由传输器实施的映射，状态空间是源符号字母，并且动作空间是
Figure BDA0002774307130000144
探索可以通过许多方式完成，其中两种最受欢迎的方法是：
·高斯策略，其中，通过多元零均值正态分布绘制扰动向量ε并将其添加到当前策略。这确保了当前政策“附近”的探索。
·ε-贪婪，其中，概率为1-ε，令牌动作是策略之一，而概率为ε，则采取随机动作。
在高斯策略中绘制扰动向量ε的正态分布的协方差矩阵和ε贪婪方法的ε参数通常是固定参数，即，在训练期间不会学习。这些参数控制“探索量”，因为使这些参数较小会减少随机探索量，并通过当前策略支持动作。
为了完整起见，图9是先前描述的一个或多个示例实施例的组件的示意图，其在下文中通常称为处理系统300。处理系统300可以具有处理器302、被紧密耦合到处理器并且包括RAM 314和ROM 312的存储器304，以及可选地具有用户输入310和显示器318。接口308还可以作为与不是网络侧装置的其他装置(诸如，设备/装置)的连接操作。因此，可以在没有网络参与的情况下在设备/装置之间进行直接连接。
处理器302连接至每个其他组件，以便控制其操作。
存储器304可以包括非易失性存储器，诸如，硬盘驱动器(HDD)或固态驱动器(SSD)。存储器314的ROM 312还存储操作系统315，并且可以存储软件应用316。处理器302将存储器304的RAM 314用于数据的临时存储。操作系统315可以包含代码，该代码在由处理器执行时实施上述算法30、110和130的各个方面。要注意的是，在小型设备/装置的情况下，存储器可能最适合于小尺寸使用，即，不总是使用硬盘驱动器(HDD)或固态驱动器(SSD)。
处理器302可以采用任何合适的形式。例如，它可以是微控制器、多个微控制器、处理器或多个处理器。
处理系统300可以是独立的计算机、服务器、控制台或其网络。处理系统300和所需的结构部分可以全部在诸如IoT设备/装置等设备/装置内，即，嵌入到非常小的尺寸。
在一些示例实施例中，处理系统300还可以与外部软件应用相关联。这些可以是存储在远程服务器设备/装置上的应用，并且可以部分或专门在远程服务器设备/装置上运行。这些应用可以称为云托管应用。处理系统300可以与远程服务器设备/装置通信，以利用存储在此处的软件应用。
图10a和10b示出了有形介质，分别是存储有计算机可读代码的可移动非易失性存储器单元365和光盘(CD)368，当由计算机运行时，该计算机可读代码可以执行根据上述示例实施例的方法。可移动存储器单元365可以是记忆棒，例如，USB记忆棒，其具有存储计算机可读代码的内部存储器366。存储器366可以由计算机系统经由连接器367访问。CD 368可以是CD-ROM或DVD或类似物。可以使用其他形式的有形存储介质。有形介质可以是能够存储数据/信息的任何设备/装置，该数据/信息可以在设备/装置/网络之间交换。
可以以软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合来实施本发明的实施例。软件、应用逻辑和/或硬件可以驻留在存储器或任何计算机介质上。在示例实施例中，应用逻辑、软件或指令集被维持在各种传统的计算机可读介质中的任何一个上。在本文档的上下文中，“存储器”或“计算机可读介质”可以是可以包含、存储、传递、传播或传输由指令执行系统、装置或设备(诸如，计算机)使用或与其结合使用的指令的任何非暂时性介质或部件。
在相关的情况下，对“计算机可读存储介质”、“计算机程序产品”、“有形体现的计算机程序”等或“处理器”或“处理电路系统”等的引用应该被理解为不仅包含具有不同架构(诸如，单/多处理器架构和顺序/并行架构)的计算机，还包括专用电路，诸如，现场可编程门阵列FPGA、专用电路ASIC、信号处理设备/装置和其他设备/装置。对计算机程序、指令、代码等的引用应该被理解为表示用于可编程处理器固件的软件，诸如，硬件设备/装置的可编程内容，无论是用于处理器的指令还是用于固定功能设备/装置、门阵列、可编程逻辑设备/装置等的已配置或配置设置。
如在本申请中所使用的，术语“电路系统”指代以下中的所有：(a)仅硬件电路实施方式，(诸如，仅模拟和/或数字电路系统中的实施方式)，以及(b)电路和软件(和/或固件)的组合，诸如(如果适用的话)：(i)(多个)处理器的组合，或者(ii)(多个)处理器/软件的部分(包括一起工作以使诸如服务器等装置执行各种功能的(多个)数字信号处理器、软件和(多个)存储器)，以及(c)即使软件或固件不是物理存在的也需要软件或固件进行操作的电路，诸如，(多个)微处理器或(多个)微处理器的一部分。
如果需要的话，本文讨论的不同功能可以以不同顺序执行和/或彼此并发地执行。此外，如果需要的话，上述功能中的一个或多个可以是可选的或者可以组合。同样地，还将了解到，图2、7和8的流程图仅是示例，并且可以省略、重新排序和/或组合其中描绘的各种操作。
要了解的是，上述示例实施例仅是说明性的，并且不限制本发明的范围。在阅读本说明书时，其他变型和修改对本领域技术人员将是显而易见的。
而且，应该理解本申请的公开内容包括本文中明确或隐式公开的任何新颖特征或特征的任何新颖组合或其任何概括，并且在本申请或由此衍生的任何申请的审查期间，可以制定新的权利要求以覆盖任何这种特征和/或这种特征的组合。
尽管在独立权利要求中陈述了本发明的各个方面，但是本发明的其他方面包括来自所描述的示例实施例和/或从属权利要求的特征与独立权利要求的特征的其他组合，而不是仅仅在权利要求中明确陈述的组合。
在本文中还要注意的是，尽管上文描述了各种示例，但是这些描述不应该被视为限制性的。相反，存在可以在不脱离所附权利要求限定的本发明的范围的情况下做出的若干变型和修改。

Claims (20)

1.一种用于通信的装置，包括：
用于在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列的部件，其中所述传输系统包括所述第一模块、第二模块和所述信道，所述第一模块具有第一传输器和所述第一接收器，所述第二模块具有所述第二传输器和第二接收器，其中所述第一传输器包括具有至少一些可训练权重的第一传输器算法，所述第二传输器包括具有至少一些可训练权重的第二传输器算法，所述第一接收器具有第一接收器算法，所述第一接收器算法具有至少一些可训练权重，并且所述第二接收器包括具有至少一些可训练权重的第二接收器算法；
用于获得或生成第一接收器损耗函数的部件，所述第一接收器损耗函数基于以下被生成：在所述第一接收器处被接收的所述第一接收器训练序列以及由所述第二传输器传输的所述第一接收器训练序列的知识；
用于基于所述第一接收器损耗函数来训练所述第一接收器训练算法的至少一些权重的部件；
用于以下的部件：通过所述信道从所述第一传输器向所述第二接收器传输消息的第二接收器训练序列，以使所述第二接收器算法的至少一些权重能够基于第二接收器损耗函数而被训练，所述第二接收器损耗函数基于以下被生成：在所述第二接收器处被接收的所述第二接收器训练序列以及由所述第一传输器传输的所述第二接收器训练序列的知识；
用于通过所述信道从所述第一传输器向所述第二接收器传输消息的第一传输器训练序列的扰动版本的部件；
用于在所述第一接收器处接收通过所述信道从所述第二传输器发送的第一传输器损耗函数的部件，其中所述第一传输器损耗函数基于在所述第二接收器处被接收的消息的所述第一传输器训练序列的所传输的所述扰动版本以及消息的所述第一传输器训练序列的知识；以及
用于基于所述第一传输器损耗函数来训练所述第一传输器的所述传输器算法的至少一些权重的部件。
2.根据权利要求1所述的装置，还包括：用于在所述传输系统的所述第一模块处生成消息的所述第一传输器训练序列的所述扰动版本的部件。
3.根据权利要求1所述的装置，其中所述扰动是零均值高斯扰动。
4.根据权利要求1所述的装置，其中所述第一传输器损耗函数在所述第二模块处被生成。
5.根据权利要求1所述的装置，其中所述第一传输器损耗函数基于消息的所述第一传输器训练序列与消息的所述第一传输器训练序列的所述扰动版本之间的均方误差。
6.根据权利要求1所述的装置，还包括：用于重复对所述第一传输器的所述第一传输器算法的所述至少一些权重的所述训练直到第一条件被达到为止的部件。
7.根据权利要求6所述的装置，其中所述第一条件是所定义的迭代次数和/或所定义的性能水平。
8.根据权利要求1所述的装置，其中用于训练所述第一传输器的至少一些权重的所述部件还包括优化以下一项或多项：消息的所述第一传输器训练序列的批量大小、学习速率以及被应用于消息的所述第一传输器训练序列的所述扰动版本的所述扰动的分布。
9.根据权利要求1所述的装置，还包括：用于重复对所述第一接收器算法的所述至少一些权重的所述训练直到第二条件被达到的部件。
10.根据权利要求9所述的装置，其中所述第二条件是所定义的迭代次数和/或所定义的性能水平。
11.根据权利要求1所述的装置，其中所述第一接收器损耗函数基于由所述第二传输器传输的消息的所述第一接收器训练序列与在所述第一接收器处被接收的消息的所述第一接收器训练序列之间的均方误差。
12.根据权利要求1所述的装置，还包括用于以下的部件：重复对所述第一传输器算法的所述至少一些权重的所述训练和重复对所述第一接收器算法的所述至少一些权重的所述训练两者，直到第三条件被达到为止。
13.根据权利要求1所述的装置，其中所述第一接收器算法包括接收器神经网络。
14.根据权利要求1所述的装置，其中所述第一传输器算法包括传输器神经网络。
15.根据权利要求1所述的装置，还包括：
用于在所述第一接收器处接收用于所述第二传输器的消息的第二传输器训练序列的扰动版本的部件；以及
用于生成第二损耗函数的部件，其中所述第二损耗函数基于在所述第一接收器处被接收的消息的所述第二传输器训练序列的被接收的所述扰动版本以及针对所述传输系统的所述第二传输器的消息的所述第二传输器训练序列的知识。
16.根据权利要求15所述的装置，还包括：用于从所述第一传输器向所述第二接收器发送所述第二损耗函数的部件。
17.根据权利要求1所述的装置，还包括：
用于在所述第二接收器处接收针对所述第一传输器的消息的所述第一传输器训练序列的所述扰动版本的部件；
用于生成所述第一传输器损耗函数的部件；以及
用于从所述第二传输器向所述第一接收器发送所述第一传输器损耗函数的部件。
18.根据前述权利要求中任一项所述的装置，其中所述部件包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码，所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起引起所述装置的执行。
19.一种通信方法，包括：
在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列，其中所述传输系统包括所述第一模块、第二模块和所述信道，所述第一模块具有第一传输器和所述第一接收器，所述第二模块具有所述第二传输器和第二接收器，其中所述第一传输器包括具有至少一些可训练权重的第一传输器算法，所述第二传输器包括具有至少一些可训练权重的第二传输器算法，所述第一接收器具有第一接收器算法，所述第一接收器算法具有至少一些可训练权重，并且所述第二接收器包括具有至少一些可训练权重的第二接收器算法；
获得或生成第一接收器损耗函数，所述第一接收器损耗函数基于以下被生成：在所述第一接收器处被接收的所述第一接收器训练序列以及由所述第二传输器传输的所述第一接收器训练序列的知识；
基于所述第一接收器损耗函数来训练所述第一接收器训练算法的至少一些权重；
通过所述信道从所述第一传输器向所述第二接收器传输消息的第二接收器训练序列，以使所述第二接收器算法的至少一些权重能够基于第二接收器损耗函数而被训练，所述第二接收器损耗函数基于以下被生成：在所述第二接收器处被接收的所述第二接收器训练序列以及由所述第一传输器传输的所述第二接收器训练序列的知识；
通过所述信道从所述第一传输器向所述第二接收器传输消息的第一传输器训练序列的扰动版本；
在所述第一接收器处接收通过所述信道从所述第二传输器发送的第一传输器损耗函数，其中所述第一传输器损耗函数基于在所述第二接收器处被接收的消息的所述第一传输器训练序列的所传输的所述扰动版本以及消息的所述第一传输器训练序列的知识；以及
基于所述第一传输器损耗函数来训练所述第一传输器的所述传输器算法的至少一些权重。
20.一种计算机可读存储介质，其上存储有程序代码，所述程序代码被配置为在执行时使装置执行以下操作：
在传输系统的第一模块的第一接收器处通过信道从第二传输器接收消息的第一接收器训练序列，其中所述传输系统包括第一模块、第二模块和所述信道，所述第一模块具有第一传输器和所述第一接收器，所述第二模块具有所述第二传输器和第二接收器，其中所述第一传输器包括具有至少一些可训练权重的第一传输器算法，所述第二传输器包括具有至少一些可训练权重的第二传输器算法，所述第一接收器具有第一接收器算法，所述第一接收器算法具有至少一些可训练权重，并且所述第二接收器包括具有至少一些可训练权重的第二接收器算法；
获得或生成第一接收器损耗函数，所述第一接收器损耗函数基于以下被生成：在所述第一接收器处被接收的所述第一接收器训练序列以及由所述第二传输器传输的所述第一接收器训练序列的知识；
基于所述第一接收器损耗函数来训练所述第一接收器训练算法的至少一些权重；
通过所述信道从所述第一传输器向所述第二接收器传输消息的第二接收器训练序列，以使所述第二接收器算法的至少一些权重能够基于第二接收器损耗函数而被训练，所述第二接收器损耗函数基于以下被生成：在所述第二接收器处被接收的所述第二接收器训练序列以及由所述第一传输器传输的所述第二接收器训练序列的知识；
通过所述信道从所述第一传输器向所述第二接收器传输消息的第一传输器训练序列的扰动版本；
在所述第一接收器处接收通过所述信道从所述第二传输器发送的第一传输器损耗函数，其中所述第一传输器损耗函数基于在所述第二接收器处被接收的消息的所述第一传输器训练序列的所传输的所述扰动版本以及消息的所述第一传输器训练序列的知识；以及
基于所述第一传输器损耗函数来训练所述第一传输器的所述传输器算法的至少一些权重。
CN201880093390.8A 2018-04-03 2018-06-29 通信系统中的学习 Active CN112166567B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/IB2018/000814 WO2019193377A1 (en) 2018-04-03 2018-04-03 End-to-end learning in communication systems
FRPCT/IB2018/000814 2018-04-03
PCT/IB2018/001029 WO2019193380A1 (en) 2018-04-03 2018-06-29 Learning in communication systems

Publications (2)

Publication Number Publication Date
CN112166567A CN112166567A (zh) 2021-01-01
CN112166567B true CN112166567B (zh) 2023-04-18

Family

ID=63517920

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880094274.8A Pending CN112236782A (zh) 2018-04-03 2018-04-03 通信系统中的端到端学习
CN201880093531.6A Active CN112166568B (zh) 2018-04-03 2018-06-07 通信系统中的学习
CN201880093390.8A Active CN112166567B (zh) 2018-04-03 2018-06-29 通信系统中的学习

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201880094274.8A Pending CN112236782A (zh) 2018-04-03 2018-04-03 通信系统中的端到端学习
CN201880093531.6A Active CN112166568B (zh) 2018-04-03 2018-06-07 通信系统中的学习

Country Status (4)

Country Link
US (3) US20210201135A1 (zh)
EP (3) EP3776365A1 (zh)
CN (3) CN112236782A (zh)
WO (3) WO2019193377A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3824606A1 (en) 2018-07-20 2021-05-26 Nokia Technologies Oy Learning in communication systems by updating of parameters in a receiving algorithm
CN113906704A (zh) * 2019-05-30 2022-01-07 诺基亚技术有限公司 通信系统中的学习
FI20195547A1 (en) 2019-06-20 2020-12-21 Nokia Technologies Oy Systems and apparatus for adaptive modulation category
US11570030B2 (en) * 2019-10-11 2023-01-31 University Of South Carolina Method for non-linear distortion immune end-to-end learning with autoencoder—OFDM
US11128498B2 (en) 2020-02-25 2021-09-21 Nokia Solutions And Networks Oy Communication-channel tracking aided by reinforcement learning
US20210303662A1 (en) * 2020-03-31 2021-09-30 Irdeto B.V. Systems, methods, and storage media for creating secured transformed code from input code using a neural network to obscure a transformation function
US20230188394A1 (en) * 2020-05-22 2023-06-15 Nokia Technologies Oy Communication system
EP3975453A1 (en) * 2020-09-24 2022-03-30 Rohde & Schwarz GmbH & Co. KG Adaptive coverage optimization in single-frequency networks (sfn)
CN113193925B (zh) * 2021-02-09 2023-08-11 中国人民解放军战略支援部队信息工程大学 一种通信系统的优化处理方法、装置及电子设备
CN115186797B (zh) * 2022-06-06 2023-05-30 山西大学 一种语用通信方法及系统
CN117295096B (zh) * 2023-11-24 2024-02-09 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060809A (ja) * 2008-09-03 2010-03-18 Nippon Telegr & Teleph Corp <Ntt> 誤り数別識別スコア・事後確率計算方法と、その方法を用いた誤り数重み付き識別学習装置とその方法と、その装置を用いた音声認識装置と、プログラムと記録媒体
CN106922217A (zh) * 2014-11-20 2017-07-04 华为技术有限公司 无线通信网络中的方法和节点
CN107241320A (zh) * 2017-05-26 2017-10-10 微梦创科网络科技（中国）有限公司 一种基于图像的人机鉴别方法及鉴别系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293453A (en) * 1990-06-07 1994-03-08 Texas Instruments Incorporated Error control codeword generating system and method based on a neural network
FI102797B1 (fi) * 1994-10-07 1999-02-15 Nokia Telecommunications Oy Signaalin ilmaisumenetelmä TDMA-matkaviestinjärjestelmän vastaanottimessa sekä menetelmän toteuttava vastaanotin
GB9807335D0 (en) * 1998-04-07 1998-06-03 Motorola Ltd A receiver for spread spectrum communications signals
JP4154229B2 (ja) * 2002-12-27 2008-09-24 富士通株式会社 適応アレーアンテナ制御装置
GB2398976B (en) * 2003-02-28 2006-03-08 Samsung Electronics Co Ltd Neural network decoder
JP4281419B2 (ja) * 2003-06-02 2009-06-17 住友電気工業株式会社 前置型非線形歪補償器
US7606138B2 (en) * 2003-09-29 2009-10-20 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Multi-symbol encapsulated OFDM system
US7631246B2 (en) * 2006-01-09 2009-12-08 Broadcom Corporation LDPC (low density parity check) code size adjustment by shortening and puncturing
US8331420B2 (en) * 2008-04-14 2012-12-11 General Dynamics C4 Systems, Inc. Methods and apparatus for multiple-antenna communication of wireless signals with embedded pilot signals
EP2578051B1 (en) * 2010-06-03 2018-10-24 Nokia Solutions and Networks Oy Base station calibration
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9130630B2 (en) * 2013-06-21 2015-09-08 Marvell World Trade Ltd. Methods and systems for determining indicators used in channel state information (CSI) feedback in wireless systems
CN105409179A (zh) * 2013-07-25 2016-03-16 英派尔科技开发有限公司 正交频分复用（ofdm）系统中的定时同步
US9483728B2 (en) * 2013-12-06 2016-11-01 International Business Machines Corporation Systems and methods for combining stochastic average gradient and hessian-free optimization for sequence training of deep neural networks
CN105046277B (zh) * 2015-07-15 2019-06-14 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US10546230B2 (en) * 2016-08-12 2020-01-28 International Business Machines Corporation Generating labeled data by sequence-to-sequence modeling with added perturbations to encoded information
US10552738B2 (en) * 2016-12-15 2020-02-04 Google Llc Adaptive channel coding using machine-learned models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060809A (ja) * 2008-09-03 2010-03-18 Nippon Telegr & Teleph Corp <Ntt> 誤り数別識別スコア・事後確率計算方法と、その方法を用いた誤り数重み付き識別学習装置とその方法と、その装置を用いた音声認識装置と、プログラムと記録媒体
CN106922217A (zh) * 2014-11-20 2017-07-04 华为技术有限公司 无线通信网络中的方法和节点
CN107241320A (zh) * 2017-05-26 2017-10-10 微梦创科网络科技（中国）有限公司 一种基于图像的人机鉴别方法及鉴别系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An Introduction to Machine Learning Communications Systems;Timothy O’Shea ET-AL;《ARXIV》;全文 *
基于叠加训练序列的低复杂度时变信道估计方案;何纯全等;《电子与信息学报》(第09期);全文 *
应用位置信息损失的Listwise排序学习方法的研究;薛剑等;《小型微型计算机系统》(第01期);全文 *

Also Published As

Publication number Publication date
US20210027161A1 (en) 2021-01-28
CN112236782A (zh) 2021-01-15
US20210099327A1 (en) 2021-04-01
EP3776941A1 (en) 2021-02-17
WO2019193380A1 (en) 2019-10-10
CN112166567A (zh) 2021-01-01
US11082264B2 (en) 2021-08-03
WO2019192740A1 (en) 2019-10-10
CN112166568B (zh) 2023-10-20
EP3776940A1 (en) 2021-02-17
CN112166568A (zh) 2021-01-01
WO2019193377A1 (en) 2019-10-10
EP3776365A1 (en) 2021-02-17
US20210201135A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN112166567B (zh) 通信系统中的学习
CN111712835B (zh) 数据传输系统中的信道建模
US20210374529A1 (en) End-to-end learning in communication systems
US11750436B2 (en) Learning in communication systems
WO2019080988A1 (en) END-TO-END LEARNING IN COMMUNICATION SYSTEMS
US11552731B2 (en) Learning in communication systems by updating of parameters in a receiving algorithm
CN113748626A (zh) 通信系统中的迭代检测
US20220083870A1 (en) Training in Communication Systems
US12015507B2 (en) Training in communication systems
JP7455240B2 (ja) ディリクレ過程を使用して通信チャネルの容量を最適化する方法、システム、及びコンピュータープログラム
US20220263596A1 (en) Transmitter Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant