CN110249342B - 使用机器学习模型的自适应信道编码 - Google Patents

使用机器学习模型的自适应信道编码 Download PDF

Info

Publication number
CN110249342B
CN110249342B CN201780085395.1A CN201780085395A CN110249342B CN 110249342 B CN110249342 B CN 110249342B CN 201780085395 A CN201780085395 A CN 201780085395A CN 110249342 B CN110249342 B CN 110249342B
Authority
CN
China
Prior art keywords
model
channel
outputs
decoder
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085395.1A
Other languages
English (en)
Other versions
CN110249342A (zh
Inventor
J.E.霍尔特
M.赫雷肖夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202311120368.7A priority Critical patent/CN117273065A/zh
Publication of CN110249342A publication Critical patent/CN110249342A/zh
Application granted granted Critical
Publication of CN110249342B publication Critical patent/CN110249342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开提供了能够对信道编码模型进行自适应训练的系统和方法，其中该信道编码模型包括编码器模型、结构上位于编码器模型之后的信道模型、和结构上位于信道模型之后的解码器模型。信道模型可以已经例如通过在已经经由通信信道发送的示例数据上训练信道模型而训练，以模拟通信信道。信道编码模型可以在损失函数上被训练，其中该损失函数描述输入到编码器模型中的输入数据和从解码器模型接收的输出数据之间的差异。具体地，这种损失函数可以通过解码器模型而反向传播同时修改解码器模型，通过信道模型而反向传播同时保持信道模型不变，然后通过编码器模型而反向传播同时修改编码器模型。

Description

使用机器学习模型的自适应信道编码
技术领域
本公开总体上涉及机器学习。更具体地，本公开涉及用于使用机器学习模型实施自适应信道编码的系统和方法。
背景技术
机器学习一般是指计算机科学领域，该领域的重点是使诸如计算机的机器能够在没有显式编程的情况下学习。机器学习包括研究和构建使机器能够从数据中学习并对数据进行预测的机器执行的算法或技术。具体地，这种算法可以通过从输入观察的训练集中建立模型来操作，以便做出被表示为输出的数据驱动的预测或决策，而不是严格遵循静态编程指令。
机器学习技术的一个主要分支包括监督学习技术。监督学习可以包括从包括许多标记示例的训练数据集中推断或学习函数或模型。例如，训练数据集中的每个示例可以包括一个或多个输入值(可以表示为具有许多特征的向量)和一个或多个期望的输出值(也可以称为监督信号)。通常，使用提供输入值和输出值的已知的地面真值(ground truth)信息来标记训练数据。监督机器学习算法可以分析训练数据并产生推断模型，该模型然后可以用于对新的、未标记的示例进行映射或预测。然而，在许多场景中，标记数据和/或地面真值数据可能难以获得和/或获得成本高。通信信道的机器学习模型可能就是这种情况，其经常受制于改变的信道条件。因此，在这种场景中执行监督学习可能是困难的或不可能的。
发明内容
本公开的实施例的各方面和优点将在以下描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。
本公开的一个示例方面针对一种执行机器学习的计算系统。该计算系统包括至少一个处理器和至少一个有形的、非暂时性计算机可读介质，该介质存储指令，其中当该指令被至少一个处理器执行时，使得计算系统获得描述包括编码器模型、信道模型和解码器模型的模型的数据。编码器模型被配置为接收第一组输入，并且响应于接收到第一组输入，生成第一组输出。信道模型被配置为接收第一组输出，并且响应于接收到第一组输出，生成第二组输出。解码器模型被配置为接收第二组输出，并且响应于接收到第二组输出，生成第三组输出。指令进一步使得计算系统确定描述第一组输入和第三组输出之间的差异的第一损失函数。指令进一步使得计算系统通过解码器模型反向传播第一损失函数，同时修改解码器模型，以训练解码器模型。指令进一步使得计算系统在通过解码器模型反向传播第一损失函数之后，继续通过信道模型反向传播第一损失函数，而不修改信道模型。指令进一步使得计算系统在通过信道模型反向传播第一损失函数之后，继续通过编码器模型反向传播第一损失函数，同时修改编码器模型，以训练编码器模型。
在一些实施方式中，编码器模型定义了可以用于编码要通过由信道模型建模的信道而发送的消息的编码器。因此，当训练的系统正在使用时，到编码器模型的输入因此可以包括要通过信道而发送的数据，并且输出可以包括编码的数据。对数据的编码可以包括将数据编码为用于发送的符号，实际上是调制。在一些实施方式中，解码器模型定义了可以用于从来自信道模型或信道的输出解码通过信道而发送的消息的解码器。解码器模型可以有效地包括解调。
模型中的一个或多个可以包括通过反向传播而训练的神经网络模型，具体是深度神经网络模型。损失函数的反向传播可以包括损失(误差)函数相对于神经网络权重的导数的反向传播。神经网络可以是任何类型的神经网络，并且可以包括例如卷积神经网络和/或递归神经网络。使用递归神经网络可以提供存储器的优点和执行序列到序列学习的能力；这在包括存储器的诸如多径信道的信道中可能是有利的。
我们还描述了使用该系统来提供包括编码器模型的训练的编码器；以及提供使用解码器模型的训练的解码器。
本公开的另一示例方面针对一种确定通信信道的编码方案的计算设备。计算设备包括至少一个处理器。计算设备还包括被配置为接收第一组输入并输出第一组输出的机器学习编码器模型，编码器模型已经通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以修改解码器模型的至少一个权重，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以修改编码器模型的至少一个权重。信道模型可以已经被配置为接收第一组输出并输出第二组输出，解码器模型被配置为接收第二组输出并输出第三组输出，并且损失函数描述第一组输入和第三组输出之间的差异。计算设备还包括至少一个有形的、非暂时性计算机可读介质，该介质存储指令，其中当该指令由至少一个处理器执行时，使得至少一个处理器获得用于通过通信信道发送的第一组发送数据。指令还可以使得至少一个处理器将第一组发送数据输入到机器学习编码器模型中。指令还可以使得至少一个处理器，作为机器学习信道编码器模型的输出，接收发送数据的编码版本。指令还可以使得至少一个处理器通过通信信道发送该发送数据的编码版本。
本公开的另一示例方面针对一个或多个有形的、非暂时性计算机可读介质，该介质存储计算机可读指令，其中当该计算机可读指令由一个或多个处理器执行时，使得一个或多个处理器执行操作。操作包括获得描述机器学习解码器模型的数据，解码器模型已经通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以训练解码器模型，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以训练编码器模型，编码器模型被配置为接收第一组输入并输出第一组输出，信道模型被配置为接收第一组输出并输出第二组输出，解码器模型被配置为接收第二组输出并输出第三组输出，损失函数描述第一组输入和第三组输出之间的差异。操作还包括获得从通信信道接收的第一组通信数据。操作还包括将第一组通信数据输入到机器学习解码器模型中。操作还包括响应于接收到第一组通信数据，作为机器学习解码器模型的输出，接收通信数据的解码版本。
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中且构成其一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：
图1描绘了根据本公开的示例实施例的示例计算设备的框图；
图2描绘了根据本公开的示例实施例的示例计算系统的框图；
图3描绘了根据本公开的示例实施例的示例模型训练技术的第一方面的框图；
图4描绘了根据本公开的示例实施例的示例模型训练技术的第二方面的框图；
图5描绘了根据本公开的示例实施例的示例模型训练技术的第三方面的框图；
图6描绘了根据本公开的示例实施例的示例模型训练技术的第四方面的框图；
图7描绘了根据本公开的示例实施例的执行机器学习的示例方法的流程图；
图8描绘了根据本公开的示例实施例的执行机器学习的示例方法的第一附加方面的流程图；
图9描绘了根据本公开的示例实施例的执行机器学习的示例方法的第二附加方面的流程图；
图10描绘了根据本公开的示例实施例的执行机器学习的示例方法的第三附加方面的流程图；和
图11描绘了根据本公开的示例实施例的执行机器学习的示例方法的第四附加方面的流程图；
图12描绘了根据本公开的示例实施例的编码通信数据的示例方法的流程图；并且
图13描绘了根据本公开的示例实施例的解码通信数据的示例方法的流程图。
具体实施方式
本公开提供了机器学习通信模型(例如，机器学习信道编码模型)和使得信道编码模型能够生成通信信道的机器学习编码方案的相关联训练技术。在一个示例中，机器学习信道编码模型可以包括编码器模型、结构上位于编码器模型之后的信道模型、和结构上位于信道模型之后的解码器模型。信道模型可以已经例如通过在已经经由通信信道发送的示例数据上训练信道模型而训练，以模拟通信信道。根据本公开的一方面，信道编码模型可以在描述输入到编码器模型中的输入数据和从解码器模型接收的输出数据之间的差异的损失函数上被训练。具体地，在一些实施方式中，这种损失函数可以通过解码器模型而反向传播同时修改解码器模型，通过信道模型而反向传播同时保持信道模型不变，然后通过编码器模型而反向传播同时修改编码器模型。以这种方式反向传播损失函数使得能够只修改编码器模型和解码器模型，而不修改信道模型，因为信道模型的作用是如实地模拟通信信道。通过以这种方式训练信道编码模型，编码器模型可以学习如何编码输入数据以用于通过通信信道发送，并且解码器模型可以学习如何将来自通信信道的数据解码回提供给编码器模型的原始输入数据。因此，信道编码模型的编码器模型和解码器模型可以自动设计通信信道的适当编码方案。这样，在如上所述的训练之后，编码器模型和解码器模型可以用于分别编码数据和解码通过通信信道而发送的数据。例如，编码器模型可以由发送器设备或组件实施，以在经由通信信道发送通信数据之前编码通信数据，而解码器模型可以由接收器设备或组件实现，以解码经由通信信道接收的通信数据。
此外，根据本公开的另一方面，可以重新训练信道编码模型，以便使信道编码模型和对应的编码方案适应通信信道随时间的改变的条件。例如，如果通信信道的行为或与通信信道相关联的条件随时间改变，则可以(例如，在最近经由通信信道发送的数据上)重新训练信道模型，以模拟通信信道的新行为。信道编码模型的编码器模型部分和解码器模型部分然后可以使用更新的信道模型如上所述而重新训练，从而使得信道编码模型的编码器模型部分和解码器模型部分学习适合于新通信信道条件的更新的编码方案。此外，在一些实施方式中，可以在现场执行对信道编码模型的上述重新训练。
更具体地，根据本公开的一方面，编码器模型可以被配置为接收第一组输入，并且响应于接收到第一组输入，生成第一组输出。编码器模型可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。在一些实施方式中，第一组输入可以根据第一组维度而表示，并且第一组输出可以根据不同于第一组维度的第二组维度而表示。第二组维度可以包括比第一组维度相对更少数量的维度，反之亦然。此外，在一些实施方式中，第一组输入可以包括任意的、未标记的真实世界数据。
根据本公开的另一方面，信道模型可以被训练以模拟通信信道。这样，信道模型可以被配置为接收一组输入(例如，由编码器模型生成的第一组输出)，并且响应于接收到第一组输出，生成第二组输出。信道模型可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。在一些实施方式中，作为输入提供给信道模型的第一组输出可以根据第二组维度而表示，并且第二组输出可以根据相同的第二组维度而表示。在一些示例中，信道模型可以代表无线信道(例如，射频(Radio Frequency，RF)链路)。在一些示例中，信道模型可以代表有线信道(例如，用于根据以太网、LVDS(Low-Voltage Differential Signaling，低压差分信令)、I2C(Inter-Integrated Circuit，内部集成电路)或其他数据传输协议来中继数据的数据传输链路)。
根据本公开的另一方面，解码器模型可以被配置为接收一组输入(例如，由信道模型生成的第二组输出)，并且响应于接收到第二组输出，生成第三组输出。解码器模型可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。在一些实施方式中，第三组输出可以根据第一组维度而表示。因此，在一些实施方式中，当编码器模型将数据从第一组维度变换为第二组维度时，解码器模型将数据从第二组维度变换回第一组维度。这样，解码器模型可以说已经相对于编码器模型执行了逆变换。然而，向解码器提供输入的维度的数量不必匹配从编码器输出的维度的数量；例如，输入到解码器的维度的数量可以取决于通过信道接收数据的接收器的配置。
用于编码器、解码器和信道模型的神经网络可以是任何类型的神经网络，并且可以包括例如卷积神经网络和/或递归神经网络。特定的实施方式，例如深度神经网络的层的数量和配置，可以取决于诸如可用处理能力和训练时间的因素。
在这方面，当结合在一起时，本公开的编码器模型和解码器模型在某些方面类似于自动编码器。例如，自动编码器通常可以包括编码器部分和解码器部分，其中在该两个部分之间具有相对窄的数据传递连接。然而，所公开的信道编码模型在编码器和解码器部分之间并入了第三部分，即信道模型。在编码器模型和解码器模型之间提供信道模型提供了对编码器模型的输出添加噪声进行建模的能力，诸如当数据在由解码器接收和评估之前通过有线和/或无线噪声通信信道而发送时，在许多应用中会出现这种情况。尽管典型的自动编码器可以在编码器和解码器部分之间具有相对窄的连接，但是如稍后描述的，编码器模型的输出可以具有大于输入的一组维度的一组维度(即，代表编码数据的参数)。以这种方式，编码器可以以附加冗余的形式隐含地提供一类型的前向纠错。解码器的输入维度的数量可以匹配，但不必匹配。
在本公开的一个方面中，训练信道编码模型可以包括当信道模型在结构上被提供在编码器模型和解码器模型之间时训练编码器模型和解码器模型。如果编码器模型被配置为接收第一组输入，则编码器模型可以响应于接收到第一组输入而生成第一组输出。第一组输出可以作为输入提供给信道模型，信道模型然后可以响应于接收到第一组输出而生成第二组输出。第二组输出可以作为输入提供给解码器模型，解码器模型然后可以响应于接收到第二组输出而生成第三组输出。可以确定描述第一组输入和第三组输出之间的差异的第一损失函数。可以通过解码器模型反向传播第一损失函数，同时例如通过修改与解码器模型相关联的至少一个权重，修改解码器模型以训练解码器模型。在通过解码器模型反向传播第一损失函数之后，可以继续通过信道模型反向传播第一损失函数，而不修改信道模型。在通过信道模型反向传播第一损失函数之后，可以通过编码器模型反向传播第一损失函数，同时例如通过修改与编码器模型相关联的至少一个权重，修改编码器模型以训练编码器模型。这样，编码器模型和解码器模型都可以相对于信道模型的输入和输出而训练。
在本公开的一个方面中，训练信道编码模型可以包括训练其信道模型部分。信道模型可以被训练以模拟或表现得像通信信道。这样，可以通过实际通信信道传送第二组输入，并且可以响应于接收到第二组输入，从通信信道接收第四组输出。信道模型部分可以至少部分基于到通信信道的第二组输入和从通信信道接收的第四组输出而训练。在一些示例中，可以响应于接收到第二组输入，将来自通信信道的第四组输出与由信道模型输出的第五组输出进行比较，以生成损失函数(例如，第二损失函数)。可以通过信道模型反向传播第二损失函数，以例如通过修改与信道模型相关联的至少一个权重来训练信道模型。
在本公开的另一方面中，训练信道编码模型可以包括进一步训练其解码器模型部分。在一些实施方式中，除了上述使得解码器模型能够解码来自信道模型的数据的训练之外，解码器模型还可以被进一步训练(例如，在上述训练之前或之后)，以学习如何解码来自通信信道(例如，用于训练信道模型的实际通信信道)的数据。
更具体地，在一些示例中，解码器模型可以被训练以将来自通信信道的数据解码回作为输入提供给通信信道的通信数据。考虑上述提供给从其接收到第四组输出的通信信道的第二组输入。第四组输出可以被提供给解码器模型，该解码器模型可以响应于接收到第四组输出而生成第六组输出。在一个示例中，可以将来自解码器模型的第六组输出与到通信信道的第二组输入进行比较，以确定损失函数，例如第三损失函数。可以通过解码器模型反向传播第三损失函数，同时(例如，通过修改与解码器模型相关联的一个或多个权重)修改解码器模型以训练解码器模型，以生成尝试重构提供给通信信道的数据的输出。
更具体地，在其他示例中，解码器模型可以被训练以将来自通信信道的数据解码回通过通信信道传送之前被编码的原始的一组输入数据。例如，考虑到通信信道的第二组输入对应于由编码器模型响应于接收到提供给编码器模型的第三组输入而生成的一组输出。在这种实例中，可以确定将来自解码器模型的第六组输出与提供给编码器模型的第三组输入进行比较的第四损失函数。可以通过解码器模型反向传播该第四损失函数，同时(例如，通过修改与解码器模型相关联的一个或多个权重)修改解码器模型以训练解码器模型，以生成尝试重构提供给编码器模型的数据的输出。
在已经根据所公开的机器学习技术中的一种或多种训练了包括解码器模型、信道模型和编码器模型的信道编码模型之后，可以采用信道编码模型或其所选部分来实施增强的编码和/或解码方案。在一个示例中，可以由发送器设备或组件来实施训练的编码器模型，以在经由通信信道发送通信数据之前编码通信数据(例如，发送数据)。例如，可以获得用于通过通信信道发送的第一组发送数据。第一组发送数据可以作为输入提供给训练的机器学习编码器模型。响应于接收到发送数据，发送数据的编码版本可以作为机器学习训练编码器模型的输出而接收。发送数据的编码版本然后可以通过通信信道而发送。
在另一示例中，训练的解码器模型可以由接收器设备或组件来实施，以在从通信信道接收到通信数据之后解码通信数据(例如，所发送的发送数据的编码版本)。例如，所发送的发送数据的编码版本可以对应于从编码器模型输出的、随后通过通信信道而发送的发送数据的编码版本。该所发送的发送数据的编码版本可以从通信信道接收并作为输入提供给训练的机器学习解码器模型。响应于接收到从通信信道接收的所发送的发送数据的编码版本，发送数据的解码版本可以作为机器学习训练解码器模型的输出而接收。在一些示例中，解码器模型被训练以尝试重构提供给编码器模型的原始发送数据，使得发送数据的解码版本尽可能接近原始发送数据。发送数据的解码版本然后可以被提供给一个或多个计算设备或其组件，以用于进一步处理或(例如，经由显示设备和/或音频设备)提供为输出数据。
本文描述的系统和方法可以提供许多技术效果和益处。例如，机器学习模型可以用于自动设计改进的信道适当编码用于各种应用中的数据传输。在一些实例中，可以为无线通信应用确定增强的编码方案。可以为包括但不限于数据压缩、加密、纠错、联网等的应用确定附加和/或替代的编码参数。其他数据传输应用可以利用有线链路，例如使用诸如以太网、低压差分信令(LVDS)、内部集成电路(I2C)和其他数据编码技术的专用传输协议的应用。可以为特定应用定制编码方案，以便纠正和/或检测发送数据中的错误。
本文描述的系统和方法还可以带来提供用于动态确定增强的编码方案的特征的技术效果和益处，特别是与一些涉及手动设计编码的传统技术相比。所公开的系统和方法利用包括提供了对大范围的参数(包括输入和输出之间可以存在的复杂关系)的增强的适应性的一个或多个神经网络的信道编码模型。因为编码方案可以涉及多个不同的参数，所以与手动统计确定相比，可以使用所公开的深度机器学习技术更有效和准确地实施对理想编码方案的确定。
本文描述的系统和方法可以进一步带来提供适应各种通信信道场景的增强的能力的技术效果和益处。通信信道条件可以基于时间、地理位置、射频、衰落、环境因素和其他影响因素来改变。所公开的深度机器学习技术可以在改变的信道条件下动态地适应，使得增强的编码方案随时间主动增强。例如，输入数据可以被连续地馈送到训练的信道编码模型中，以在实时或接近实时条件下确定增强的编码参数和相关编码方案。这样，当信道条件改变时，增强的编码方案的对应改变也可以动态地适应改变的信道条件。
本文描述的系统和方法还可以进一步带来提供在现场训练信道编码模型而无需大量训练数据集的能力的技术效果和益处。可以提供使用反向传播技术以用于训练信道编码模型内的编码器模型和解码器模型的特征。这种训练方法可选地使得能够使用未标记的数据来训练编码器模型和解码器模型，从而消除或至少减少对在某些场景下可能难以获得和/或获得成本高的标记数据和/或地面真值数据的需要。本公开进一步可选地使得能够在现场训练编码器模型和/或解码器模型，从而消除对聚合来自多个其他设备或源的数据以建立训练数据集的需要。
本文描述的系统和方法还可以通过提供用于自动确定通信信道的一个或多个理想信道编码方案的基于计算的系统和方法来提供改进通信领域中的计算机技术的技术效果和益处。用于确定这种编码的传统的基于计算的系统可能已经涉及对用于确定这种参数的显式算法进行编程。使用机器学习模型来实现这一点提供了可以更容易地适应现场的改变的信道条件的更可行和高效的基于计算的方法。通过改进数据传输系统中与编码相关联的计算资源的使用，宝贵的存储器、带宽和处理资源可以被节省和/或专用于数据通信和信令协调的其他方面。
在一些实施方式中，为了获得本文描述的技术的益处，可能要求用户允许收集和分析用于通过通信信道发送的数据，或者与用户或者用户的计算设备或通信设备相关联的其他信息。因此，在一些实施方式中，可以向用户提供控制与程序或特征是否收集这种信息相关联的设置的机会。如果用户不允许收集和使用这种信号，则用户可能没有得到本文描述的技术的益处。在一些实施方式中，还可以向用户提供工具以撤销或修改同意。此外，在一些实施方式中，在存储或使用某个信息或数据之前，可以以一种或多种方式对某个信息或数据进行处理，使得个人可识别信息被移除。
因此，本公开提供了使得能够训练信道编码模型(特别是其编码器模型和/或解码器模型部分)的系统和方法。本文描述的特定示例应用仅作为示例而提供。本公开的系统和方法可以应用于通过使用所公开的训练技术来训练任何编码器模型、信道模型、解码器模型和/或信道编码模型。
现在参考附图，将进一步详细讨论本公开的示例实施例。
示例设备和系统
图1描绘了根据本公开的示例实施例的示例计算设备100的框图。计算设备100可以被配置为或可操作来执行本公开的各方面，包括创建和/或使用包括编码器模型112、信道模型114和解码器模型116的信道编码模型110。
计算设备100可以是任何类型的计算设备，包括个人计算机(例如，台式机或膝上型电脑)，移动计算设备(例如，智能手机或平板电脑)，嵌入式计算设备，服务器计算设备，诸如基站、路由器、信标、其他通信节点的网络计算设备，或其他形式的计算设备。计算设备100可以包括一个或多个处理器102和存储器104。一个或多个处理器102可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器104可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存器件、磁盘等、及其组合。存储器104可以存储由处理器102执行以使得计算设备100执行操作的数据106和指令108。
计算设备100可以存储或以其他方式包括一个或多个机器学习编码器模型112。例如，编码器模型112可以是或可以以其他方式包括各种机器学习模型，诸如一个或多个神经网络(例如，深度神经网络)或其他多层非线性模型。编码器模型112可以根据由本公开描述的技术而训练以编码输入数据，以用于通过通信信道发送。图3、图4和图7不同地包括与训练编码器模型112相关联的一些方面。
计算设备100可以存储或以其他方式包括一个或多个机器学习信道模型114。例如，信道模型114可以是或可以以其他方式包括各种机器学习模型，诸如一个或多个神经网络(例如，深度神经网络)或其他多层非线性模型。根据本公开描述的技术，信道模型114可以根据由本公开描述的技术而训练以模拟通信信道。图5、图8和图9不同地包括与训练信道模型114相关联的一些方面。在一些示例中，信道模型114可以代表无线信道(例如，射频(RF)链路)。在一些示例中，信道模型114可以代表有线信道(例如，用于根据以太网、LVDS、I2C或其他数据传输协议来中继数据的数据传输链路)。
计算设备100还存储或以其他方式包括一个或多个解码器模型116。例如，解码器模型116可以是或可以以其他方式包括各种机器学习模型，诸如一个或多个神经网络(例如，深度神经网络)或其他多层非线性模型。解码器模型116可以根据由本公开描述的技术而训练以学习如何将来自通信信道的数据解码回提供给编码器模型112和/或通信信道的原始输入数据。图3-图4、图6-图7和图10-图11不同地包括与训练解码器模型116相关联的一些方面。
计算设备100可以包括使用诸如例如一个或多个损失函数的反向传播的各种训练或学习技术来训练包括编码器模型112、信道模型114和解码器模型116的信道编码模型110的模型训练器118。例如，模型训练器118可以使用已经经由通信信道而发送的示例数据来训练信道编码模型110的信道模型114。模型训练器118可以使用描述输入到编码器模型112中的输入数据和从解码器模型116接收的输出数据之间的差异的损失函数来训练编码器模型112和解码器模型116。具体地，在一些实施方式中，可以通过解码器模型116反向传播这种损失函数，同时(例如，通过修改解码器模型116的至少一个权重)修改解码器模型116。然后可以通过信道模型114反向传播损失函数同时保持信道模型114不变，并且然后可以通过编码器模型112反向传播该损失函数同时(例如，通过修改编码器模型112的至少一个权重)修改编码器模型112。以这种方式反向传播损失函数能够仅修改编码器模型112和解码器模型116，而不修改信道模型114，因为信道模型114的作用是如实地模拟通信信道。
模型训练器118可以进一步被配置为使用诸如例如一个或多个损失函数的反向传播的各种训练或学习技术来训练信道编码模型110内的信道模型114。信道模型114可以被训练以模拟或表现得像通信信道。在一些示例中，当相同的一组输入数据被提供给通信信道和信道模型114两者时，模型训练器118可以使用描述信道模型114的输出和通信信道的输出之间的差异的损失函数来训练信道模型114。具体地，在一些实施方式中，可以通过信道模型114反向传播这种损失函数，同时(例如，通过修改信道模型114的至少一个权重)修改信道模型114。
在一些实施方式中，模型训练器118还可以帮助重新训练信道模型114，以便使信道编码模型110和对应的编码方案适应通信信道随时间的改变的条件。例如，如果通信信道的行为或与通信信道相关联的条件随时间改变，则信道模型114可以(例如，在最近经由通信信道发送的数据上)被重新训练，以模拟通信信道的新行为。信道编码模型110的编码器模型112部分和解码器模型116部分然后可以使用更新的信道模型114如上所述而重新训练，从而使得信道编码模型110的编码器模型112部分和解码器模型116部分学习适合于新通信信道条件的更新的编码方案。此外，在一些实施方式中，可以在现场执行对信道编码模型110的上述重新训练。
在一些实施方式中，模型训练器118还可以通过进一步训练信道编码模型110的解码器模型116来帮助训练信道编码模型110。在一些实施方式中，除了上述使得解码器模型116能够解码来自信道模型114的数据的训练之外，解码器模型116还可以被进一步训练(例如，在上述训练之前或之后)，以学习如何解码来自通信信道(例如，用于训练信道模型114的实际通信信道)的数据。更具体地，在一些示例中，模型训练器118可以训练解码器模型116以将来自通信信道的数据解码回作为输入提供给通信信道的通信数据。模型训练器118可以在这种示例中使用描述作为输入提供给通信信道的数据和解码器模型116的输出之间的差异的损失函数来进一步训练解码器模型116。在其他示例中，模型训练器118可以训练解码器模型116以将来自通信信道的数据解码回通过通信信道传送之前被编码的原始的一组输入数据。模型训练器118可以在这种示例中使用损失函数来进一步训练解码器模型116，其中该损失函数描述作为输出从解码器模型116接收的数据与在通过编码器模型112传送之前作为输入提供给编码器模型112、然后在由解码器模型116接收之前作为输入提供给实际通信信道的数据之间的差异。在一些实施方式中，可以通过解码器模型116反向传播这种损失函数，同时(例如，通过修改解码器模型116的至少一个权重)修改解码器模型116。
模型训练器118可以包括用于提供期望功能的计算机逻辑。模型训练器118可以以控制通用处理器的硬件、固件和/或软件来实施。例如，在一些实施方式中，模型训练器118包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实施方式中，模型训练器118包括存储在诸如RAM硬盘或者光学或磁性介质的有形的计算机可读存储介质中的一组或多组计算机可执行指令。
因此，计算设备100可以本地和在现场训练包括信道编码模型110的编码器模型112部分、信道模型114部分和解码器模型116部分的信道编码模型110，并且因此不需要与另一设备通信，以使得能够训练信道编码模型110。
图2描绘了根据本公开的示例实施例的示例计算系统140的框图。系统140包括通过网络142而通信连接的第一客户端计算设备150、第二客户端计算设备180和机器学习计算系统160。尽管仅示出了两个客户端计算设备150/180，但是任何数量的客户端计算设备150/180可以通过网络142而连接到机器学习计算系统160。
机器学习计算系统160可以包括一个或多个处理器162和存储器164。一个或多个处理器162可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器164可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存器件、磁盘等、及其组合。存储器164可以存储由处理器162执行以使得机器学习计算系统160执行操作的数据166和指令168。
在一些实施方式中，机器学习计算系统160包括一个或多个服务器计算设备或者以其他方式由一个或多个服务器计算设备实施。在机器学习计算系统160包括多个服务器计算设备的实例中，这种服务器计算设备可以根据顺序计算体系结构、并行计算体系结构、或其某个组合来操作。
机器学习计算系统160存储或以其他方式包括一个或多个机器学习信道编码模型170，其中该一个或多个机器学习信道编码模型170包括一个或多个编码器模型172、一个或多个信道模型174和一个或多个解码器模型176。例如，编码器模型172、信道模型174和/或解码器模型176可以是或可以以其他方式包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其他多层非线性模型。
在一些实施方式中，计算系统160可以存储分别对应于多个客户端计算设备150的多个编码器模型172。在一些实施方式中，多个编码器模型172可以分别在特定于对应的客户端计算设备150的数据上而训练。例如，用于训练每个编码器模型172的输入数据可以从对应的客户端计算设备150而接收。这样可以使得能够进行例如对编码器模型172的设备特定训练，其中该编码器模型172可以对应于设计用于设备特定通信信道或其他设备特定环境的编码器模型172。
在一些实施方式中，系统160可以存储分别对应于多个客户端计算设备180的多个解码器模型176。在一些实施方式中，多个解码器模型176可以分别在特定于对应的客户端计算设备180的数据上而训练。例如，用于训练每个解码器模型176的输入数据可以从对应的客户端计算设备180而接收。这样可以使得能够进行例如对解码器模型176的设备特定训练，其中该解码器模型176可以对应于设计用于设备特定通信信道或其他设备特定环境的解码器模型176。
机器学习计算系统160可以包括使用诸如例如一个或多个损失函数的反向传播的各种训练或学习技术来训练包括编码器模型172、信道模型174和解码器模型176的信道编码模型170的模型训练器178。在一些实施方式中，用于训练模型170-176的输入数据可以由客户端计算设备150/180提供或以其他方式选择(例如，已经经由与客户端计算设备150和/或客户端计算设备180相关联的通信信道而发送的数据)。模型训练器178可以使用描述输入到编码器模型172中的输入数据和从解码器模型176接收的输出数据之间的差异的损失函数来训练编码器模型172和解码器模型176。具体地，在一些实施方式中，可以通过解码器模型176反向传播这种损失函数，同时(例如，通过修改解码器模型的至少一个权重)修改解码器模型176。然后可以通过信道模型174反向传播损失函数同时保持信道模型174不变，然后可以通过编码器模型172反向传播该损失函数同时修改编码器模型172。以这种方式反向传播损失函数使得能够仅修改编码器模型172和解码器模型176，而不修改信道模型174，因为信道模型174的作用是如实地模拟通信信道。
模型训练器178可以进一步被配置为使用诸如例如一个或多个损失函数的反向传播的各种训练或学习技术来训练信道编码模型170内的信道模型174。信道模型174可以被训练以模拟或表现得像通信信道。在一些示例中，当相同的一组输入数据被提供给通信信道和信道模型174两者时，模型训练器178可以使用描述信道模型174的输出和通信信道的输出之间的差异的损失函数来训练信道模型174。具体地，在一些实施方式中，可以通过信道模型174反向传播这种损失函数，同时(例如，通过修改信道模型174的至少一个权重)修改信道模型174。
在一些实施方式中，模型训练器178还可以帮助重新训练信道模型174，以便使信道编码模型170和对应的编码方案适应通信信道随时间的改变的条件。例如，如果通信信道的行为或与通信信道相关联的条件随时间改变，则信道模型174可以(例如，在最近经由通信信道发送的数据上)被重新训练，以模拟通信信道的新行为。信道编码模型170的编码器模型172部分和解码器模型176部分然后可以使用更新的信道模型174如上所述而重新训练，从而使得信道编码模型170的编码器模型172部分和解码器模型176部分学习适合于新通信信道条件的更新的编码方案。此外，在一些实施方式中，可以在现场执行对信道编码模型170的上述重新训练。
在一些实施方式中，模型训练器178还可以通过进一步训练信道编码模型170的解码器模型176来帮助训练信道编码模型170。在一些实施方式中，除了上述使得解码器模型176能够解码来自信道模型174的数据的训练之外，解码器模型176还可以被进一步训练(例如，在上述训练之前或之后)，以学习如何解码来自通信信道(例如，用于训练信道模型174的实际通信信道)的数据。更具体地，在一些示例中，模型训练器178可以训练解码器模型176以将来自通信信道的数据解码回作为输入提供给通信信道的通信数据。模型训练器178可以在这种示例中使用描述作为输入提供给通信信道的数据和解码器模型176的输出之间的差异的损失函数来进一步训练解码器模型176。在其他示例中，模型训练器178可以训练解码器模型176以将来自通信信道的数据解码回通过通信信道传送之前被编码的原始的一组输入数据。模型训练器178可以在这种示例中使用损失函数来进一步训练解码器模型176，其中该损失函数描述作为输出从解码器模型176接收的数据与在通过编码器模型172传送之前作为输入提供给编码器模型172、然后在由解码器模型176接收之前作为输入提供给实际通信信道的数据之间的差异。在一些实施方式中，可以通过解码器模型176反向传播这种损失函数，同时(例如，通过修改解码器模型176的至少一个权重)修改解码器模型176。
模型训练器178可以包括用于提供期望功能的计算机逻辑。模型训练器178可以以控制通用处理器的硬件、固件和/或软件来实施。例如，在一些实施方式中，模型训练器178包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实施方式中，模型训练器178包括存储在诸如RAM硬盘或者光学或磁性介质的有形的计算机可读存储介质中的一组或多组计算机可执行指令。
系统140可以进一步包括通过网络142而通信耦合的客户端计算设备150。客户端计算设备150可以是任何类型的计算设备，诸如，例如个人计算设备(例如，膝上型电脑或台式机)、移动计算设备(例如，智能手机或平板电脑)、路由器、基站、信标或任何其他类型的计算设备。
客户端计算设备150可以包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存器件、磁盘等、及其组合。存储器154可以存储由处理器152执行以使得客户端计算设备150执行操作的数据156和指令158。
客户端计算设备150可以分别包括发送器159，其中该发送器159包括编码器模型172。发送器159可以被配置为在经由通信信道发送通信数据之前编码通信数据。在编码器模型172已经由模型训练器178训练之后，客户端计算设备150可以从机器学习计算系统160接收编码器模型172。客户端计算设备150可以存储编码器模型172，并在新数据通过通信信道通信传送之前使用它来自动设计新数据的编码方案。客户端计算设备150可以周期性地与机器学习计算系统160通信，以更新或以其他方式重新训练编码器模型172。
系统140可以进一步包括通过网络142而通信耦合的客户端计算设备180。客户端计算设备180可以是任何类型的计算设备，诸如，例如个人计算设备(例如，膝上型电脑或台式机)、移动计算设备(例如，智能手机或平板电脑)、路由器、基站、信标或任何其他类型的计算设备。
客户端计算设备180可以包括一个或多个处理器182和存储器184。一个或多个处理器182可以是任何合适的处理设备(例如，处理器内核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器184可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存器件、磁盘等、及其组合。存储器184可以存储由处理器182执行以使得客户端计算设备180执行操作的数据186和指令188。
客户端计算设备180可以分别包括接收器189，其中该接收器189包括解码器模型176。接收器189可以被配置为解码从通信信道接收的通信数据。在解码器模型176已经由模型训练器178训练之后，客户端计算设备180可以从机器学习计算系统160接收解码器模型176。客户端计算设备180可以存储解码器模型176，并使用它将来自通信信道的数据自动解码回提供给编码器模型和/或通信信道的原始输入数据。客户端计算设备180可以周期性地与机器学习计算系统160通信，以更新或以其他方式重新训练解码器模型176。
客户端计算设备可以包括编码器模型和解码器模型两者。
网络142可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)、或其某个组合，并且可以包括任何数量的有线或无线链路。一般来说，通过网络142的通信可以使用各种各样的通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)，经由任何类型的有线和/或无线连接而承载。
示例模型布置
图3描绘了根据本公开的示例实施例的示例模型训练技术的第一方面的框图。更具体地，图3描绘了包括被配置为接收第一组输入204并且响应于接收到第一组输入204而生成第一组输出206的编码器模型202的信道编码模型200。编码器模型202可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。在一些实施方式中，第一组输入204可以根据第一组维度而表示，并且第一组输出206可以根据不同于第一组维度的第二组维度而表示。第二组维度可以包括比第一组维度相对更少数量的维度，反之亦然。此外，在一些实施方式中，第一组输入204可以包括任意的、未标记的真实世界数据。
图3的信道编码模型200还可以包括可以被训练以模拟通信信道的信道模型208。这样，信道模型208可以被配置为接收一组输入(例如，由编码器模型202生成的第一组输出206)，并且响应于接收到第一组输出206，生成第二组输出210。信道模型208可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。在一些实施方式中，作为输入提供给信道模型208的第一组输出206可以根据第二组维度而表示，并且第二组输出210可以根据相同的第二组维度而表示。在一些示例中，信道模型208可以被训练以模拟无线信道(例如，射频(RF)链路)。在一些示例中，信道模型208可以被训练以模拟有线信道(例如，用于根据以太网、LVDS、I2C或其他数据传输协议来中继数据的数据传输链路)。
仍然参考图3，信道编码模型300还可以包括解码器模型212。解码器模型212可以被配置为接收一组输入(例如，由信道模型208生成的第二组输出210)，并且响应于接收到第二组输出210，生成第三组输出214。解码器模型212可以是例如神经网络，诸如深度神经网络或其他多层非线性模型。
在一些实施方式中，第三组输出214可以根据第一组维度而表示。因此，在一些实施方式中，当编码器模型202将数据从第一组维度变换为第二组维度时，解码器模型212将数据从第二组维度变换回第一组维度。这样，解码器模型212可以说已经相对于编码器模型202执行了逆变换。
在这方面，当结合在一起时，本公开的编码器模型202和解码器模型212在某些方面类似于自动编码器。例如，自动编码器通常可以包括编码器部分和解码器部分，其中在该两个部分之间具有相对窄的数据传递连接。然而，所公开的信道编码模型200在编码器模型202部分和解码器模型212部分之间并入了第三部分，即信道模型208。在编码器模型202和解码器模型212之间提供信道模型208提供了对编码器模型202的输出添加噪声进行建模的能力，诸如当数据在由解码器接收和评估之前通过有线和/或无线噪声通信信道而发送时，在许多应用中会出现这种情况。
更具体地，图3描绘了在第一组输入204和第三组输出214之间定义的示例损失函数(例如，第一损失函数216)的框图。第一损失函数216可以描述第一组输入204和第三组输出214之间的差异。例如，第一损失函数216可以是第一组输入204和第三组输出214之间的平方差(例如，第一组维度中的每个维度的平方差之和)。然而，也可以使用除平方差之外的损失函数，包括例如包括各种加权的损失函数(例如，应用于第一组维度中的每个维度的特定权重)。
图4描绘了根据本公开的示例实施例的示例模型训练技术的第二方面的框图。更具体地，为了训练解码器模型212，可以通过解码器模型212反向传播第一损失函数216，同时例如通过修改与解码器模型212相关联的至少一个权重，修改解码器模型212以训练解码器模型212。在通过解码器模型212反向传播第一损失函数216之后，可以继续通过信道模型208反向传播第一损失函数216，而不修改信道模型208。在通过信道模型208反向传播第一损失函数216之后，可以通过编码器模型202反向传播第一损失函数216，同时例如通过修改与编码器模型202相关联的至少一个权重，修改编码器模型202以训练编码器模型202。这样，编码器模型202和解码器模型212都可以相对于信道模型208的输入和输出而训练。
在一些实施方式中，诸如TensorFlow和/或Theano的机器学习工具可以用于执行图3和图4所示的对第一损失函数216的反向传播。作为一个示例，通过信道模型208反向传播第一损失函数216而不修改信道模型208可以通过以下方式来执行：将信道模型208编程为一个或多个操作或节点的图形或系列；将与信道模型208相关联的一个或多个可学习标志设置为假(false)；然后通过解码器模型208反向传播第一损失函数216。相反，可以将与编码器模型202和解码器模型212相关联的一个或多个可学习标志设置为真(true)，以允许在通过编码器模型202和解码器模型212反向传播第一损失函数216期间修改编码器模型202和解码器模型212。
图5描绘了根据本公开的示例实施例的示例模型训练技术的第三方面的框图。更具体地，图5描绘了与训练信道模型208以模拟或表现得像通信信道302相关联的各个方面。这样，可以通过实际通信信道302传送第二组输入304，并且可以响应于接收到第二组输入304，从通信信道302接收第四组输出306。信道模型208可以至少部分基于到通信信道302的第二组输入304和从通信信道302接收的第四组输出306而训练。在一些示例中，可以响应于接收到第二组输入304，将来自通信信道302的第四组输出306与由信道模型208输出的第五组输出308进行比较，以生成损失函数(例如，第二损失函数310)。第二损失函数310可以描述第四组输出306和第五组输出308之间的差异。在一些示例中，第二损失函数310可以描述第四组输出306和第五组输出308之间的噪声分布的差异。可以通过信道模型208反向传播第二损失函数310，以例如通过修改与信道模型相关联的至少一个权重来训练信道模型。在一些实施方式中，诸如TensorFlow和/或Theano的机器学习工具可以用于执行对第二损失函数310的反向传播。
图6描绘了根据本公开的示例实施例的示例模型训练技术的第四方面的框图。更具体地，图6描绘了与进一步训练解码器模型212相关联的各个方面。在一些实施方式中，除了上面相对于图3和图4描述的使得解码器模型212能够解码来自信道模型208的数据的训练之外，解码器模型212可以被进一步训练(例如，在上述训练之前或之后)，以学习如何解码来自通信信道302(例如，如图5所描绘的，用于训练信道模型208的实际通信信道302)的数据。
更具体地，在一些示例中，解码器模型212可以被训练以将来自通信信道302的数据解码回作为输入提供给通信信道的通信数据。考虑上述提供给从其接收到第四组输出306的通信信道302的第二组输入304。第四组输出306可以被提供给解码器模型212，该解码器模型212可以响应于接收到第四组输出306而生成第六组输出312。在一个示例中，可以将来自解码器模型212的第六组输出312与到通信信道302的第二组输入304进行比较，以确定损失函数(例如，第三损失函数314)。第三损失函数314可以描述第二组输入304和第六组输出312之间的差异。可以通过解码器模型212反向传播第三损失函数314，同时(例如，通过修改与解码器模型212相关联的一个或多个权重)修改解码器模型212以训练解码器模型，以生成尝试重构提供给通信信道302的数据的输出。在一些实施方式中，诸如TensorFlow和/或Theano的机器学习工具可以用于执行对第三损失函数314的反向传播。
更具体地，在其他示例中，解码器模型212可以被训练以将来自通信信道302的数据解码回通过通信信道302传送之前被编码的原始的一组输入数据。例如，考虑到通信信道302的第二组输入304对应于由编码器模型202响应于接收到提供给编码器模型202的第三组输入316而生成的一组输出。在这种实例中，可以确定将来自解码器模型212的第六组输出312与提供给编码器模型202的第三组输入316进行比较的第四损失函数318。第四损失函数318可以描述第三组输入316和第六组输出312之间的差异。可以通过解码器模型212反向传播第四损失函数318，同时(例如，通过修改与解码器模型212相关联的一个或多个权重)修改解码器模型212以训练解码器模型，以生成尝试重构提供给编码器模型202的数据的输出。在一些实施方式中，诸如TensorFlow和/或Theano的机器学习工具可以用于执行对第四损失函数318的反向传播。
示例方法
图7-图13分别阐述了与根据本公开的示例实施例的一个或多个计算机实施的方法相关联的各方面。在一些实施例中，图7-图13的计算机实施的方法可以包括本文公开的其他特征或步骤。在一些实施例中，参考图1和图2描述的计算设备、计算系统、发送器、接收器或其他示例系统或设备，或者其他示例系统或设备可以实施图7-图13中描绘的方法中的一些或全部。在一些实施例中，一个或多个有形的、非暂时性计算机可读介质存储计算机可读指令，其中当该计算机可读指令由一个或多个处理器执行时，这些指令使得一个或多个处理器执行操作，该操作包括如图7-图13中描绘的方法中的一个或多个阐述的步骤。
图7描绘了根据本公开的示例实施例的执行机器学习的示例方法500的流程图。方法500的一些方面参照图3和图4而类似地描绘和描述。
在502处，一个或多个计算设备获得描述被配置为接收第一组输入并且响应于接收到第一组输入而生成第一组输出的编码器模型的数据。在一些实施方式中，在502处针对其获得数据的编码器模型被配置为接收根据第一组维度而表示的第一组输入；并且输出根据不同于第一组维度的第二组维度而表示的第一组输出。在一些实施方式中，编码器模型是神经网络。
在504处，一个或多个计算设备获得描述被配置为接收第一组输出并且响应于接收到第一组输出而生成第二组输出的信道模型的数据。在一些实施方式中，在504处针对其获得数据的信道模型被配置为接收根据第二组维度而表示的第一组输出；并且输出根据相同的第二组维度而表示的第二组输出。在一些实施方式中，信道模型是神经网络。
在506处，一个或多个计算设备获得描述被配置为接收第二组输出并且响应于接收到第二组输出而生成第三组输出的解码器模型的数据。在一些实施方式中，在506处针对其获得数据的解码器模型被配置为接收根据第二组维度而表示的第二组输出；并且输出根据第一组维度而表示的第三组输出。在一些实施方式中，解码器模型是神经网络。因此，在一些实施方式中，当编码器模型将数据从第一组维度变换为第二组维度时，解码器模型将数据从第二组维度变换回第一组维度。这样，解码器模型可以说已经相对于编码器模型执行了逆变换。
在508处，一个或多个计算设备确定描述第一组输入和第三组输出之间的差异的损失函数。然后可以在510处通过解码器模型反向传播在508处确定的损失函数，同时(例如，通过修改与解码器模型相关联的至少一个权重)修改解码器模型以训练解码器模型。在510处的反向传播之后，在508处确定的损失函数然后可以在512处通过信道模型反向传播，而不修改信道模型。在512处反向传播之后，然后可以在514处通过编码器模型反向传播在508处确定的损失函数，同时(例如，通过修改与编码器模型相关联的至少一个权重)修改编码器模型以训练编码器模型。
图8描绘了根据本公开的示例实施例的执行机器学习的示例方法的第一附加方面的流程图。更具体地，方法600包括与训练信道模型相关联的各方面。方法600的一些方面参考图5而类似地描绘和描述。在602处，一个或多个计算设备可以获得描述信道模型的数据。在一些示例中，信道模型被配置为接收一组输入，并且响应于接收到该一组输入，生成一组输出。在一些实施方式中，信道模型是神经网络。在604处，一个或多个计算设备可以通过实际通信信道传送第二组输入。在606处，一个或多个计算设备可以响应于接收到在604处传送的第二组输入，从通信信道接收第四组输出。然后可以在608处至少部分基于在604处通过通信信道而传送的第二组输入和在606处从通信信道接收的第四组输出来训练信道模型。
图9描绘了根据本公开的示例实施例的执行机器学习的示例方法的第二附加方面的流程图。更具体地，图9描绘了在608处至少部分基于第二组输入和第四组输出来训练信道模型的更具体的实施方式。在610处，一个或多个计算设备可以向信道模型(例如，在602处针对其获得数据的信道模型)提供第二组输入。在612处，一个或多个计算设备可以响应于接收到在610处提供的第二组输入，从信道模型接收第五组输出。在614处，一个或多个计算设备可以确定描述第四组输出和第五组输出之间的差异的第二损失函数。然后可以在616处通过信道模型反向传播在614处确定的第二损失函数，同时(例如，通过修改与信道模型相关联的至少一个权重)修改信道模型以训练信道模型。
图10描绘了根据本公开的示例实施例的执行机器学习的示例方法的第三附加方面的流程图。更具体地，图10描绘了实施附加解码器模型训练的示例方法700。在702处，一个或多个计算设备可以将来自通信信道的一组输出作为输入提供给解码器模型。在一些示例中，在702处提供的到解码器模型的输入对应于由通信信道响应于接收到第二组输入而生成的第四组输出，如图6所示。在704处，一个或多个计算设备可以响应于在702处接收到第四组输出，从解码器模型接收第六组输出。在706处，一个或多个计算设备可以确定描述第二组输入和第六组输出之间的差异的第三损失函数。在708处，一个或多个计算设备可以基于在706处确定的第三损失函数来训练解码器模型。在一些示例中，在708处基于第三损失函数来训练解码器模型涉及通过解码器模型反向传播第三损失函数以通过修改解码器模型(例如，通过修改与解码器模型相关联的至少一个权重)来训练解码器模型。
图11描绘了根据本公开的示例实施例的执行机器学习的示例方法的第四附加方面的流程图。更具体地，图11描绘了实施附加解码器模型训练的示例方法710。在712处，一个或多个计算设备可以将来自通信信道的一组输出作为输入提供给解码器模型。在一些示例中，在712处提供的到解码器模型的输入对应于由通信信道响应于接收到第二组输入而生成的第四组输出，第二组输入由编码器模型响应于第三组输入而生成作为一组输出，如图6所示。在714处，一个或多个计算设备可以响应于在712处接收到第四组输出，从解码器模型接收第六组输出。在716处，一个或多个计算设备可以确定描述第三组输入和第六组输出之间的差异的第四损失函数。在718处，一个或多个计算设备可以基于在716处确定的第四损失函数来训练解码器模型。在一些示例中，在718处基于第四损失函数来训练解码器模型涉及通过解码器模型反向传播第四损失函数以通过修改解码器模型(例如，通过修改与解码器模型相关联的至少一个权重)来训练解码器模型。
图12描绘了根据本公开的示例实施例的编码通信数据的示例方法800的流程图。在一些实施例中，示例方法800可以由包括发送器的计算设备(例如，包括发送器159的计算设备150，如图2所描绘的)来实施。
在802处，一个或多个计算设备可以训练被配置为接收第一组输入并输出第一组输出的机器学习编码器模型。机器学习编码器模型可以在802处通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以修改解码器模型的至少一个权重，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以修改编码器模型的至少一个权重。在802处用于训练编码器模型的信道模型可以被配置为接收第一组输出并输出第二组输出。在802处用于训练编码器模型的解码器模型可以被配置为接收第二组输出并输出第三组输出。在802处用于训练编码器模型的损失函数可以描述第一组输入和第三组输出之间的差异
仍然参考图12，在804处，一个或多个计算设备可以获得用于通过通信信道发送的第一组发送数据。在806处，一个或多个计算设备可以将在804处获得的第一组发送数据输入到在802处训练的机器学习编码器模型中。在808处，一个或多个计算设备可以，作为机器学习编码器模型的输出，接收发送数据的编码版本。在810处，一个或多个计算设备可以通过通信信道发送该发送数据的编码版本。以这种方式，发送器设备或组件可以实施图12的方法800，以在经由通信信道发送通信数据之前编码通信数据，并且通过通信信道发送该发送数据的编码版本。
图13描绘了根据本公开的示例实施例的解码通信数据的示例方法900的流程图。在一些实施例中，示例方法900可以由包括接收器的计算设备(例如，包括接收器189的计算设备180，如图2所描绘的)来实施。
在902处，一个或多个计算设备可以训练机器学习解码器模型。机器学习解码器模型可以在902处通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以修改解码器模型的至少一个权重，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以修改编码器模型的至少一个权重。在902处用于训练解码器模型的信道模型可以被配置为接收第一组输出并输出第二组输出。在902处用于训练解码器模型的解码器模型可以被配置为接收第二组输出并输出第三组输出。在902处用于训练解码器模型的损失函数可以描述第一组输入和第三组输出之间的差异。
仍然参考图13，在904处，一个或多个计算设备可以获得从通信信道接收的第一组通信数据。例如，在904处获得的通信数据可以对应于所发送的发送数据的编码版本，诸如在图12中的810处通过通信信道而发送的数据。在906处，一个或多个计算设备可以将在904处获得的第一组通信数据输入到在902处训练的机器学习解码器模型中。在908处，一个或多个计算设备可以，作为机器学习解码器模型的输出，接收通信数据的解码版本。在910处，一个或多个计算设备可以提供通信数据的解码版本作为输出。在一些示例中，在908处接收的通信数据的解码版本可以被提供给一个或多个其他计算设备或组件。
附加公开
本文讨论的技术涉及服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和传送到这种系统和从这种系统传送的信息。基于计算机的系统的固有灵活性允许各种各样可能的配置、组合、以及组件之间及当中的任务和功能的划分。例如，本文讨论的过程可以使用单个设备或组件或者组合工作的多个设备或组件来实施。数据库和应用可以在单个系统上实施，或跨在多个系统而分布。分布式组件可以顺序或并行操作。
尽管已经针对本发明的各种具体示例实施例详细描述了本发明，但是每个示例都是通过解释的方式提供的，而不是对本公开的限制。本领域技术人员在理解前述内容后，可以容易地对这种实施例进行替代、变化和等同。因此，本主题公开不排除包括对本主题的这种修改、变化和/或添加，这对本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用，以产生又一实施例。因此，本公开旨在覆盖这种替代、变化和等同。
具体地，尽管图7-图13为了图示和讨论的目的分别描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体示出的次序或布置。方法500、600、608、700、710、800和900的各个步骤可以以各种方式省略、重新布置、组合和/或调整，而不偏离本公开的范围。

Claims (15)

1.一种执行机器学习的计算系统，所述计算系统包括：
至少一个处理器；以及
至少一个有形的、非暂时性计算机可读介质，存储指令，其中当所述指令由所述至少一个处理器执行时，使得所述计算系统：
获得描述包括编码器模型、信道模型和解码器模型的模型的数据，其中编码器模型被配置为接收第一组输入，并且响应于接收到第一组输入，生成第一组输出，其中信道模型被配置为接收第一组输出，并且响应于接收到第一组输出，生成第二组输出，并且其中解码器模型被配置为接收第二组输出，并且响应于接收到第二组输出，生成第三组输出；
确定描述第一组输入和第三组输出之间的差异的第一损失函数；
通过解码器模型反向传播第一损失函数，同时修改解码器模型以训练解码器模型；
在通过解码器模型反向传播第一损失函数之后，继续通过信道模型反向传播第一损失函数，而不修改信道模型；
在通过信道模型反向传播第一损失函数之后，继续通过编码器模型反向传播第一损失函数，同时修改编码器模型以训练编码器模型；
使用包括训练的编码器模型的训练的编码设备来编码数据以通过通信信道发送；和
使用包括解码器模型的训练的解码设备来解码通过通信信道发送的数据。
2.根据权利要求1所述的计算系统，其中，所述指令进一步使得所述计算系统：
通过通信信道传送第二组输入；
从通信信道接收第四组输出；以及
至少部分基于第二组输入和第四组输出来训练信道模型。
3.根据权利要求2所述的计算系统，其中，至少部分基于第二组输入和第四组输出来训练信道模型包括：
向信道模型提供第二组输入，并且响应于接收到第二组输入，从信道模型接收第五组输出；
确定第四组输出和第五组输出之间的第二损失函数；以及
通过信道模型反向传播第二损失函数，同时修改信道模型以训练信道模型。
4.根据权利要求2或3所述的计算系统，其中，解码器模型进一步被配置为接收第四组输出，并且响应于接收到第四组输出，生成第六组输出。
5.根据权利要求4所述的计算系统，其中，所述指令进一步使得所述计算系统：
确定描述第二组输入和第六组输出之间的差异的第三损失函数；以及
通过解码器模型反向传播第三损失函数，同时修改解码器模型以训练解码器模型。
6.根据权利要求4所述的计算系统，其中，通过通信信道而传送的第二组输入包括由编码器模型响应于接收到第三组输入而生成的编码器模型的输出。
7.根据权利要求6所述的计算系统，其中，所述指令进一步使得所述计算系统：
确定描述第三组输入和第六组输出之间的差异的第四损失函数；以及
通过解码器模型反向传播第四损失函数，同时修改解码器模型以训练解码器模型。
8.根据权利要求1所述的计算系统，其中，编码器模型、信道模型和解码器模型中的一个或多个包括神经网络。
9.根据权利要求1所述的计算系统，其中，所述模型包括无线通信模型，其中所述无线通信模型包括被训练以模拟无线通信信道的信道模型。
10.根据权利要求1所述的计算系统，其中，所述模型包括有线通信模型，其中所述有线通信模型包括被训练以模拟有线通信信道的信道模型。
11.根据权利要求1所述的计算系统，其中：
编码器模型被配置为接收根据第一组维度而表示的第一组输入；
编码器模型被配置为响应于接收到第一组输入，输出根据第二组维度而表示的第一组输出；并且
解码器模型被配置为输出根据第一组维度而表示的第三组输出。
12.一种编码数据用于通过通信信道发送的方法，所述方法包括使用根据权利要求1至11中任一项所述的计算系统来训练编码设备的方法，所述方法包括：
获得描述包括编码器模型、信道模型和解码器模型的模型的数据，其中编码器模型被配置为接收第一组输入，并且响应于接收到第一组输入，生成第一组输出，其中信道模型被配置为接收第一组输出，并且响应于接收到第一组输出，生成第二组输出，并且其中解码器模型被配置为接收第二组输出，并且响应于接收到第二组输出，生成第三组输出；
确定描述第一组输入和第三组输出之间的差异的第一损失函数；
通过解码器模型反向传播第一损失函数，同时修改解码器模型以训练解码器模型；
在通过解码器模型反向传播第一损失函数之后，继续通过信道模型反向传播第一损失函数，而不修改信道模型；以及
在通过信道模型反向传播第一损失函数之后，继续通过编码器模型反向传播第一损失函数，同时修改编码器模型以训练编码器模型；以及
使用包括训练的编码器模型的训练的编码设备来编码数据以通过通信信道发送。
13.一种解码通过通信信道发送的数据的方法，所述方法包括使用根据权利要求1至11中任一项所述的计算系统来训练解码设备的方法，所述方法包括：
获得描述包括编码器模型、信道模型和解码器模型的模型的数据，其中编码器模型被配置为接收第一组输入，并且响应于接收到第一组输入，生成第一组输出，其中信道模型被配置为接收第一组输出，并且响应于接收到第一组输出，生成第二组输出，并且其中解码器模型被配置为接收第二组输出，并且响应于接收到第二组输出，生成第三组输出；
确定描述第一组输入和第三组输出之间的差异的第一损失函数；
通过解码器模型反向传播第一损失函数，同时修改解码器模型以训练解码器模型；
在通过解码器模型反向传播第一损失函数之后，继续通过信道模型反向传播第一损失函数，而不修改信道模型；以及
在通过信道模型反向传播第一损失函数之后，继续通过编码器模型反向传播第一损失函数，同时修改编码器模型以训练编码器模型；以及
使用包括解码器模型的训练的解码设备来解码通过通信信道发送的数据。
14.一种确定通信信道的编码方案的计算设备，包括：
至少一个处理器；
机器学习编码器模型，被配置为接收第一组输入并输出第一组输出，编码器模型已经通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以修改解码器模型的至少一个权重，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以修改编码器模型的至少一个权重，信道模型被配置为接收第一组输出并输出第二组输出，解码器模型被配置为接收第二组输出并输出第三组输出，损失函数描述第一组输入和第三组输出之间的差异，其中，用于训练编码器模型的信道模型通过以下被训练：
通过通信信道传送第二组输入；
从通信信道接收第四组输出；
向信道模型提供第二组输入，并且响应于接收到第二组输入，从信道模型接收第五组输出；
确定第四组输出和第五组输出之间的第二损失函数；以及
通过信道模型反向传播第二损失函数，同时修改信道模型以训练信道模型；以及
至少一个有形的、非暂时性计算机可读介质，存储指令，其中当所述指令由所述至少一个处理器执行时，使得所述至少一个处理器：
获得用于通过通信信道发送的第一组发送数据；
将第一组发送数据输入到机器学习编码器模型中；
作为机器学习信道编码器模型的输出，接收发送数据的编码版本；以及
通过通信信道发送所述发送数据的编码版本。
15.一个或多个有形的、非暂时性计算机可读介质，存储计算机可读指令，其中当所述计算机可读指令由一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：
获得描述机器学习解码器模型的数据，解码器模型已经通过如下顺序地反向传播损失函数而训练：通过解码器模型反向传播损失函数以训练解码器模型，然后通过信道模型反向传播损失函数而不修改信道模型，然后通过编码器模型反向传播损失函数以训练编码器模型，编码器模型被配置为接收第一组输入并输出第一组输出，信道模型被配置为接收第一组输出并输出第二组输出，解码器模型被配置为接收第二组输出并输出第三组输出，损失函数描述第一组输入和第三组输出之间的差异，其中，用于训练解码器模型的信道模型通过以下被训练：
通过通信信道传送第二组输入；
从通信信道接收第四组输出；
向信道模型提供第二组输入，并且响应于接收到第二组输入，从信道模型接收第五组输出；
确定第四组输出和第五组输出之间的第二损失函数；以及
通过信道模型反向传播第二损失函数，同时修改信道模型以训练信道模型；以及
获得从通信信道接收的第一组通信数据；
将第一组通信数据输入到机器学习解码器模型中；以及
响应于接收到第一组通信数据，作为机器学习解码器模型的输出，接收通信数据的解码版本。
CN201780085395.1A 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码 Active CN110249342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311120368.7A CN117273065A (zh) 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/380,399 US10552738B2 (en) 2016-12-15 2016-12-15 Adaptive channel coding using machine-learned models
US15/380,399 2016-12-15
PCT/US2017/053943 WO2018111376A1 (en) 2016-12-15 2017-09-28 Adaptive channel coding using machine-learned models

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311120368.7A Division CN117273065A (zh) 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码

Publications (2)

Publication Number Publication Date
CN110249342A CN110249342A (zh) 2019-09-17
CN110249342B true CN110249342B (zh) 2023-09-15

Family

ID=60083479

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780085395.1A Active CN110249342B (zh) 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码
CN202311120368.7A Pending CN117273065A (zh) 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311120368.7A Pending CN117273065A (zh) 2016-12-15 2017-09-28 使用机器学习模型的自适应信道编码

Country Status (4)

Country Link
US (1) US10552738B2 (zh)
EP (3) EP3555817B1 (zh)
CN (2) CN110249342B (zh)
WO (1) WO2018111376A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US9622041B2 (en) 2013-03-15 2017-04-11 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US12205477B2 (en) 2017-01-23 2025-01-21 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US12183213B1 (en) 2017-01-23 2024-12-31 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
US10879620B2 (en) * 2017-03-22 2020-12-29 Nec Corporation Antenna directivity adjustment apparatus and antenna directivity adjustment method
EP3616198B1 (en) * 2017-04-24 2024-10-16 Virginia Tech Intellectual Properties, Inc. Radio signal identification, identification system learning, and identifier deployment
CN111512323A (zh) * 2017-05-03 2020-08-07 弗吉尼亚科技知识产权有限公司 自适应无线通信的学习与部署
US10429486B1 (en) * 2017-08-18 2019-10-01 DeepSig Inc. Method and system for learned communications signal shaping
US10749594B1 (en) 2017-08-18 2020-08-18 DeepSig Inc. Learning-based space communications systems
EP3759654A4 (en) 2018-03-02 2021-09-08 Deepsig Inc. LEARNING COMMUNICATION SYSTEMS USING CHANNEL PROXIMITY
EP3776365A1 (en) * 2018-04-03 2021-02-17 Nokia Technologies Oy End-to-end learning in communication systems
CN112740631B (zh) * 2018-07-20 2024-09-20 诺基亚技术有限公司 通过接收算法中的参数的更新来在通信系统中学习
US10250574B1 (en) * 2018-08-08 2019-04-02 Capital One Services, Llc Systems and methods for encoded communications
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
CN109215092B (zh) * 2018-09-10 2020-03-13 百度在线网络技术（北京）有限公司 仿真场景的生成方法及装置
US11284277B2 (en) * 2018-11-07 2022-03-22 DeepSig Inc. Communications and measurement systems for characterizing radio propagation channels
US11599773B2 (en) 2018-12-27 2023-03-07 Micron Technology, Inc. Neural networks and systems for decoding encoded data
US11574232B2 (en) * 2019-05-15 2023-02-07 Google Llc Compression of machine-learned models via entropy penalized weight reparameterization
CN114175051A (zh) * 2019-08-14 2022-03-11 谷歌有限责任公司 关于深度神经网络的基站-用户设备消息传递
US11424764B2 (en) 2019-11-13 2022-08-23 Micron Technology, Inc. Recurrent neural networks and systems for decoding encoded data
CN111046422B (zh) * 2019-12-09 2021-03-12 支付宝(杭州)信息技术有限公司 防止隐私数据泄漏的编码模型训练方法及装置
US12096230B2 (en) 2020-05-01 2024-09-17 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US12212974B2 (en) 2020-05-01 2025-01-28 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11395149B2 (en) 2020-05-01 2022-07-19 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11700533B2 (en) 2020-05-01 2023-07-11 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11665547B2 (en) 2020-05-01 2023-05-30 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11849332B2 (en) 2020-05-01 2023-12-19 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11638160B2 (en) 2020-05-01 2023-04-25 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US12133082B2 (en) 2020-05-01 2024-10-29 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US12219365B2 (en) 2020-05-01 2025-02-04 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US12177679B2 (en) 2020-05-01 2024-12-24 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US11653213B2 (en) 2020-05-01 2023-05-16 Digital Global Systems. Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US12192777B2 (en) 2020-05-01 2025-01-07 Digital Global Systems, Inc. System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization
US20230231653A1 (en) * 2020-06-18 2023-07-20 Lg Electronics Inc. Method for transmitting or receiving data in wireless communication system and apparatus therefor
EP4277131A4 (en) * 2021-01-13 2024-03-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INFORMATION TRANSMITTING METHOD AND APPARATUS, INFORMATION RECEIVING METHOD AND APPARATUS, APPARATUS AND MEDIUM
CN112862106B (zh) * 2021-01-19 2024-01-30 中国人民大学 一种基于自适应编解码迭代学习控制信息传输系统和方法
US11563449B2 (en) * 2021-04-27 2023-01-24 Micron Technology, Inc. Systems for error reduction of encoded data using neural networks
US11973513B2 (en) 2021-04-27 2024-04-30 Micron Technology, Inc. Decoders and systems for decoding encoded data using neural networks
CN113297974A (zh) * 2021-05-25 2021-08-24 北京沃东天骏信息技术有限公司 模型训练方法、信息生成方法、装置、设备和介质
US20230057100A1 (en) * 2021-08-20 2023-02-23 Robert Bosch Gmbh Method and system for a continuous discrete recurrent kalman network
US11764806B2 (en) * 2021-09-06 2023-09-19 Nec Corporation Data compression system and method of using
US11755408B2 (en) 2021-10-07 2023-09-12 Micron Technology, Inc. Systems for estimating bit error rate (BER) of encoded data using neural networks
US20250047568A1 (en) * 2021-12-14 2025-02-06 Sony Group Corporation Transmission device, reception device, transmission method, and reception method
WO2023113677A1 (en) * 2021-12-15 2023-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Nodes, and methods for proprietary ml-based csi reporting
US11570627B1 (en) 2022-08-02 2023-01-31 Digital Global Systems, Inc. System, method, and apparatus for providing optimized network resources
US12156037B2 (en) 2022-08-02 2024-11-26 Digital Global Systems, Inc. System, method, and apparatus for providing optimized network resources
US11751064B1 (en) 2022-08-02 2023-09-05 Digital Global Systems, Inc. System, method, and apparatus for providing optimized network resources
US11659401B1 (en) 2022-08-02 2023-05-23 Digital Global Systems, Inc. System, method, and apparatus for providing optimized network resources
US11843953B1 (en) 2022-08-02 2023-12-12 Digital Global Systems, Inc. System, method, and apparatus for providing optimized network resources
WO2024077453A1 (en) * 2022-10-10 2024-04-18 Nokia Shanghai Bell Co., Ltd. Apparatus, methods, and computer programs
WO2024092737A1 (en) * 2022-11-04 2024-05-10 Qualcomm Incorporated Hybrid sequential training for encoder and decoder models
WO2024208282A1 (en) * 2023-04-06 2024-10-10 Mediatek Inc. Method and apparatus for generalizing artificial intelligence (ai)/ machine learning (ml) models

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892847A (en) * 1994-07-14 1999-04-06 Johnson-Grace Method and apparatus for compressing images
CN102648582A (zh) * 2009-07-28 2012-08-22 洛桑联邦理工学院 编码和解码信息
CN102893635A (zh) * 2010-03-31 2013-01-23 香港科技大学 通过副信道发送和/或接收数据的方法
CN103222200A (zh) * 2010-09-17 2013-07-24 英特尔公司 用于增强多媒体通信的失真已知链路自适应的cqi反馈机制
CN105007118A (zh) * 2015-06-10 2015-10-28 重庆邮电大学 一种用于室内可见光通信系统的神经网络均衡方法
CN105868829A (zh) * 2015-02-06 2016-08-17 谷歌公司 用于数据项生成的循环神经网络
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2398976B (en) * 2003-02-28 2006-03-08 Samsung Electronics Co Ltd Neural network decoder
EP2333999A1 (en) 2004-10-13 2011-06-15 McMASTER UNIVERSITY Operating environment analysis techniques for wireless communication systems
US8515473B2 (en) 2007-03-08 2013-08-20 Bae Systems Information And Electronic Systems Integration Inc. Cognitive radio methodology, physical layer policies and machine learning
US8442445B2 (en) 2007-11-09 2013-05-14 Bae Systems Information And Electronic Systems Integration Inc. Protocol reference model, security and inter-operability in a cognitive communications system
US8885745B2 (en) * 2009-12-23 2014-11-11 Intel Corporation Distortion-aware multiple input multiple output communications
US20130242971A1 (en) * 2012-03-13 2013-09-19 Auckland Uniservices Limited Systems and methods for data communications using soft-decision and support vector machines
CN105142177B (zh) * 2015-08-05 2018-08-21 西安电子科技大学 复数神经网络信道预测方法
US10552727B2 (en) * 2015-12-15 2020-02-04 Deep Instinct Ltd. Methods and systems for data traffic analysis
CN105790813B (zh) * 2016-05-17 2018-11-06 重庆邮电大学 一种大规模mimo下基于深度学习的码本选择方法
CN106126807B (zh) * 2016-06-22 2019-04-09 北京邮电大学 一种基于大数据挖掘的无线信道建模方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892847A (en) * 1994-07-14 1999-04-06 Johnson-Grace Method and apparatus for compressing images
CN102648582A (zh) * 2009-07-28 2012-08-22 洛桑联邦理工学院 编码和解码信息
CN102893635A (zh) * 2010-03-31 2013-01-23 香港科技大学 通过副信道发送和/或接收数据的方法
CN103222200A (zh) * 2010-09-17 2013-07-24 英特尔公司 用于增强多媒体通信的失真已知链路自适应的cqi反馈机制
CN105868829A (zh) * 2015-02-06 2016-08-17 谷歌公司 用于数据项生成的循环神经网络
CN105007118A (zh) * 2015-06-10 2015-10-28 重庆邮电大学 一种用于室内可见光通信系统的神经网络均衡方法
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Generative Modeling of Pseudo-Whisper for Robust Whispered Speech Recognition;Shabnam Ghaffarzadegan et al.;《IEEE/ACM Transactions on Audio, Speech, and Language Processing 》;20160614;第24卷(第10期);第1-16页 *
Learning to Communicate: Channel Auto-encoders,Domain Specific Regularizers, and Attention;Timothy J. O’Shea et al.;《arXiv:1608.06409v1》;20160823;第1-10页 *
Sequential neural network model;Hui Wang et al.;《Proceedings of ANZIIS "94 - Australian New Zealnd Intelligent Information Systems Conference》;20220806;第1-5页 *

Also Published As

Publication number Publication date
EP4350576A2 (en) 2024-04-10
EP3555817A1 (en) 2019-10-23
EP3555817B1 (en) 2022-04-13
EP4053754B1 (en) 2023-12-13
WO2018111376A1 (en) 2018-06-21
CN117273065A (zh) 2023-12-22
US20180174050A1 (en) 2018-06-21
EP4350576A3 (en) 2024-07-03
CN110249342A (zh) 2019-09-17
EP4053754A1 (en) 2022-09-07
US10552738B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110249342B (zh) 使用机器学习模型的自适应信道编码
Qin et al. Deep learning in physical layer communications
CN112329073B (zh) 分布式数据处理方法、装置、计算机设备及存储介质
US11575547B2 (en) Data transmission network configuration
EP3596664B1 (en) Generating discrete latent representations of input data items
Farshbafan et al. Curriculum learning for goal-oriented semantic communications with a common language
US10482379B2 (en) Systems and methods to perform machine learning with feedback consistency
US20210374617A1 (en) Methods and systems for horizontal federated learning using non-iid data
CN108985446A (zh) 用于告警的方法及装置
CN113194493B (zh) 基于图神经网络的无线网络数据缺失属性恢复方法及装置
US20240135191A1 (en) Method, apparatus, and system for generating neural network model, device, medium, and program product
Diao et al. Event-triggered identification of FIR systems with binary-valued output observations
Dong et al. Secure distributed on-device learning networks with byzantine adversaries
Huang et al. AI-generated network design: A diffusion model-based learning approach
KR20220107690A (ko) 무선 네트워크를 통한 베이지안 연합학습 구동 방법 및 시스템
CN113361618A (zh) 一种基于联邦学习的工业数据联合建模方法及系统
CN116841732A (zh) 一种基于单比特量化的联邦学习资源优化设计方法
Li et al. Software-defined gpu-cpu empowered efficient wireless federated learning with embedding communication coding for beyond 5g
CN116264704B (zh) 基于信道感知和强化学习的低功耗广域网通感融合方法
CN117669699A (zh) 一种工业物联网场景下面向数字孪生的语义信息联邦学习方法及系统
JP7455240B2 (ja) ディリクレ過程を使用して通信チャネルの容量を最適化する方法、システム、及びコンピュータープログラム
JP2022013844A (ja) 情報処理方法、情報処理装置及びプログラム
CN117897931A (zh) 信息处理方法、装置、设备、介质、芯片、产品及程序
Baldvinsson Rare Event Learning In URLLC Wireless Networking Environment Using GANs
WO2022105374A1 (zh) 信息处理方法、模型的生成及训练方法、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant