JP2020520497A - 適応的無線通信の学習とデプロイメント - Google Patents

適応的無線通信の学習とデプロイメント Download PDF

Info

Publication number
JP2020520497A
JP2020520497A JP2019559296A JP2019559296A JP2020520497A JP 2020520497 A JP2020520497 A JP 2020520497A JP 2019559296 A JP2019559296 A JP 2019559296A JP 2019559296 A JP2019559296 A JP 2019559296A JP 2020520497 A JP2020520497 A JP 2020520497A
Authority
JP
Japan
Prior art keywords
information
machine learning
encoder
learning network
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019559296A
Other languages
English (en)
Other versions
JP6758524B2 (ja
Inventor
ティモシー ジェイムス オシェラ,
ティモシー ジェイムス オシェラ,
Original Assignee
ヴァージニア テック インテレクチュアル プロパティーズ,インコーポレーテッド
ヴァージニア テック インテレクチュアル プロパティーズ,インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァージニア テック インテレクチュアル プロパティーズ,インコーポレーテッド, ヴァージニア テック インテレクチュアル プロパティーズ,インコーポレーテッド filed Critical ヴァージニア テック インテレクチュアル プロパティーズ,インコーポレーテッド
Publication of JP2020520497A publication Critical patent/JP2020520497A/ja
Application granted granted Critical
Publication of JP6758524B2 publication Critical patent/JP6758524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0033Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0036Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

無線周波数(RF)チャネルを介する機械学習された通信をトレーニング及びデプロイするための、コンピュータ記憶メディアにエンコーダされたコンピュータプログラムを含む、方法、システム、装置。方法の内の1つは、第1情報を決定すること、エンコーダ機械学習ネットワークを使って第1情報を処理して通信チャネルを介して送信するための第1RF信号を生成すること、通信チャネルを介した送信により変更されている第1RF信号を表す第2RF信号を決定すること、デコーダ機械学習ネットワークを使って、第2RF信号を処理して第1情報の復元として第2情報を生成すること、第2情報と第1情報の間の距離の大きさを計算すること、第2情報と第1情報の間の距離の大きさに基づいてエンコーダ機械学習ネットワーク又はデコーダ機械学習ネットワークの少なくとも一方を更新すること、を含む。補正クレーム1.少なくとも1つの機械学習ネットワークを通信チャネルを介して通信するようにトレーニングする少なくとも1つのプロセッサにより行われる方法であって、前記方法は、第1情報を決定すること、エンコーダ機械学習ネットワークを使って、前記第1情報を処理して通信チャネルを介して送信のための第1RF信号を生成すること、前記通信チャネルを介する送信により変更されている第1RF信号を表す第2RF信号を決定すること、デコーダ機械学習ネットワークを使って、前記第2RF信号を処理して前記第1情報の復元として第2情報を生成すること、前記第2情報と前記第1情報の間の距離の大きさを計算すること、前記第2情報と前記第1情報の間の距離の前記距離の大きさに基づいて、前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、

Description

関連出願への相互参照
この出願は、2017年5月3日に提出された米国仮出願第62 /500,621号の優先権を主張する。この先行出願の開示は、この出願の開示の一部と見なされ、参照により本出願の開示に組み込まれる。
本開示は、適応無線通信の機械学習およびデプロイメントに関し、特に無線周波数(RF)信号に関する。
無線周波数(RF)波形は、通信、保存、検知、測定、および監視のための多くのシステムで普及している。RF波形は、空中、水中、宇宙空間など、さまざまなタイプの通信メディアを介して送受信される。一部のシナリオでは、RF波形は、RF周波数で動作する1つ以上の搬送波波形に変調された情報を送信する。他のシナリオでは、RF波形自体がセンサーやプローブの出力などの情報である。RF波形で伝送される情報は通常、処理、保存、および/またはコンピュータの内部システムバスまたはローカルまたはワイドエリアネットワークなどを介した通信のような他の形式で伝送される
一般に、本開示で説明する主題は、RFチャネルを介して通信し、特にRFチャネルを介して通信するための情報をエンコードおよびデコードするための機械学習ネットワークをトレーニングおよびデプロイメントするための方法、装置、およびシステムで具現化できる。
一態様では、少なくとも1つのプロセッサにより、少なくとも1つの機械学習ネットワークをトレーニングしてRFチャネルを介して通信する方法が実行される。この方法は、第1情報を決定し、エンコーダ機械学習ネットワークを使用して、第1情報を処理し、通信チャネルを介して送信するための第1RF信号を生成し、通信チャネルを介した送信によって変更された第1RF信号を表す第2RF信号を決定し、デコーダ機械学習ネットワークを使用して、第2RF信号を処理し、第1情報の復元として第2情報を生成し、第2情報と第1情報の間の距離の大きさを計算し、第2情報と第1情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新すること、を含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも1つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された1つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
実装には、次の特徴の1つ以上が含まれる場合がある。第2情報と第1情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する方法は、第2情報と第1情報間の距離の大きさを含む目的関数を決定し、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方の変化に対する目的関数の変化率を計算し、計算された目的関数の変化率に基づいて、エンコーダ機械学習ネットワークの第1変化量またはデコーダ機械学習ネットワークの第2変化量の少なくとも1つを選択すること、エンコーダ機械学習ネットワークの選択された第1変化量またはデコーダ機械学習ネットワークの選択された第2変化量の少なくとも1つに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つを更新すること、を含む。第2情報と第1情報の間の距離の大きさは、(i)第2情報と第1情報の間のクロスエントロピー、又は(ii)第2情報と第1情報の間の幾何学的距離メトリック、の少なくとも1つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つを更新する方法は、エンコーダ機械学習ネットワークの1つまたは複数のレイヤの少なくとも1つのエンコードネットワークの重みまたはネットワーク接続を更新すること、または、デコーダ機械学習ネットワークの1つまたは複数のレイヤで、少なくとも1つのデコードネットワークの重みまたはネットワーク接続を更新すること、の少なくとも1つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する方法はさらに、複数のチャネルモードの中から、通信チャネルの状態を表すチャネルモードを決定すること、および通信チャネルのチャネルモードに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新すること、を含む。エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークが、通信チャネルを介した通信を学習するためのオートエンコーダとして一緒にトレーニングされる方法であって、オートエンコーダは、送信された波形で通信チャネルの影響を表す少なくとも1つのチャネルモデル化レイヤを含む。方法は、少なくとも1つのチャネルモデル化レイヤは、(i)通信チャネルにおける加法性ガウス熱雑音、(ii)通信チャネルの時間変化の影響によって生じる遅延スプレッド、(iii)通信チャネルを介した送受信により生じる位相ノイズ、または(iv)通信チャネルを介した送受信により生じる位相、周波数、またはタイミングのオフセット、の少なくとも1つを表す。方法であって、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つは、ディープデンスニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、またはパラメトリック乗算、加算、非線形性を含むリカレントニューラルネットワーク(RNN)の少なくとも1つを含む。この方法はさらに、第1RF信号を処理して、通信チャネルに入力される第1アナログRF波形を生成し、通信チャネルによって変更された第1アナログRF波形を表す第2アナログRF波形を通信チャネルの出力として受信し、そして、第2アナログRF波形を処理して、第2RF信号を生成すること、を含む。通信チャネルは無線通信チャネル、音響通信チャネル、または光通信チャネルの少なくとも1つを含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
別の態様では、学習された通信システムをRFチャネル上にデプロイメントするための方法が少なくとも1つのプロセッサによって実行される。この方法は、エンコーダおよびデコーダを決定することを含み、そのうちの少なくとも1つは、通信チャネルを介して情報をエンコードまたはデコードエンコーダするためにトレーニングされたエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つに基づいてエンコードまたはデコードを実装するように構成されており、方法は、第1情報を決定し、エンコーダを使用して、第1情報を処理し、第1RF信号を生成し、少なくとも1つの送信器により、通信チャネルを介して第1RF信号を送信し、少なくとも1つの受信器により、通信チャネルを介した送信により変更された第1RF信号を表す第2RF信号を受信し、そして、デコーダを使用して、第2RF信号を処理し、第1情報の復元として第2情報を生成すること、を含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも1つの動作可能に接続されたプロセッサに方法の動作を実行させるように構成された、1つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
実装には、次の特徴の1つ以上が含まれる場合がある。この方法はさらに、(i)第2情報と第1情報の間の距離の大きさ、または(ii)通信チャネルに関するチャネル状態情報、の少なくとも1つを示すフィードバック情報を決定すること、及びフィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新することを含む。フィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新する方法はさらに、複数のチャネルモードの中から、フィードバック情報に基づいて通信チャネルの状態を表すチャネルモードを決定し、通信チャネルのチャネルモードに基づいて、エンコーダまたはデコーダの少なくとも一方を更新すること、を含む。方法は、エンコーダは、機械学習ネットワークのトレーニング結果に基づくエンコードマッピングを実装し、デコーダは、機械学習ネットワークのトレーニング結果に基づいたデコードマッピングを実装し、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークは、オートエンコーダとして一緒にトレーニングされて通信チャネルを介した通信を学習する。この方法は、第1RF信号を処理して第1アナログRF波形を生成し、1つ以上の送信アンテナを使用して、通信チャネルで第1アナログRF波形を送信し、1つ以上の受信アンテナを使用して、通信チャネルによって変更された第1アナログRF波形を表す第2アナログRF波形を受信し、そして、第2アナログRF波形を処理して、第2RF信号を生成すること、をさらに含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータがアクセス可能な媒体上のコンピュータソフトウェアを含みうる。
別の態様は、少なくとも1つのプロセッサ、および、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに以下を含む動作を実行させる命令を格納した、少なくとも1つのプロセッサに結合された少なくとも1つのコンピュータメモリであって、第1情報を決定し、エンコーダ機械学習ネットワークを使用して、第1情報を処理し、通信チャネルを介して送信するための第1RF信号を生成し、通信チャネルを介した送信によって変更された第1RF信号を表す第2RF信号を決定し、デコーダ機械学習ネットワークを使用して、第2RF信号を処理し、第1情報の復元として第2情報を生成し、第2情報と第1情報の間の距離の大きさを計算し、そして、第2情報と第1情報の間の距離の大きさに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新する、システムを含む。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも1つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された1つ以上のコンピュータ記憶装置に記録されるコンピュータプログラムを含む。
実装には、次の特徴の1つ以上が含まれてもよい。第2情報と第1情報の間の距離の大きさに基づいてエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新するシステムは、第2情報と第1情報間の距離の大きさを含む目的関数を決定し、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方の変化に対する目的関数の変化率を計算し、計算された目的関数の変化率に基づいて、エンコーダ機械学習ネットワークの第1変化量またはデコーダ機械学習ネットワークの第2変化量の少なくとも1つを選択し、エンコーダ機械学習ネットワークの選択された第1変化量またはデコーダ機械学習ネットワークの選択された第2変化量の少なくとも1つに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つを更新すること、を含む。システムは、第2情報と第1情報間の距離の大きさが、(i)第2情報と第1情報間のクロスエントロピー、または(ii)第2情報と第1情報間の幾何学的距離メトリック、の少なくとも1つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つを更新するシステムは、エンコーダ機械学習ネットワークの1つまたは複数のレイヤで少なくとも1つのエンコードネットワークの重みまたはネットワーク接続を更新すること、または、デコーダマシン学習ネットワークの1つまたは複数のレイヤで、少なくとも1つのデコードネットワークの重みまたはネットワーク接続を更新すること、の少なくとも1つを含む。エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新するシステムは、複数のチャネルモードの中から、通信チャネルの状態を表すチャネルモードを決定し、通信チャネルのチャネルモードに基づいて、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも一方を更新することをさらに含む。システムは、エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークがオートエンコーダとして一緒にトレーニングされて、通信チャネルを介する通信を学習する、そしてオートエンコーダは送信された波形で通信チャネルの影響を表す少なくとも1つのチャネルモデル化レイヤを含む。システムは、少なくとも1つのチャネルモデル化レイヤが、(i)通信チャネル内の加法性ガウス熱雑音、(ii)通信チャネルの時間変化の影響により生じる遅延スプレッド、(iii)通信チャネルを介した送受信により生じる位相雑音、または、(iv)通信チャネルを介した送受信により生じる位相、周波数、またはタイミングのオフセット、の少なくとも1つを表す。システムは、エンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つが、ディープデンスニューラルネットワーク(deep dense neural network(DNN))、畳み込みニューラルネットワーク(CNN)、またはパラメトリック乗算、加算、および非線形性を含むリカレントニューラルネットワーク(RNN)の少なくとも1つを含む。システムは、第1RF信号を処理して、通信チャネルに入力される第1アナログRF波形を生成し、通信チャネルによって変更された第1アナログRF波形を表す第2アナログRF波形を通信チャネルの出力として受信し、そして、第2アナログRF波形を処理して、第2RF信号を生成する動作をさらに含む。システムは、通信チャネルが無線通信チャネル、音響通信チャネル、または光通信チャネルの少なくとも1つを含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含みうる。
別の態様は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに以下を含む動作を実行させる命令を格納した少なくとも1つのプロセッサに結合された少なくとも1つのコンピュータメモリとを備え、通信チャネル上で情報をエンコードまたはデコードするようにトレーニングされたエンコーダ機械学習ネットワークまたはデコーダ機械学習ネットワークの少なくとも1つに基づくエンコードまたはデコードを実装するように構成される少なくとも1つのエンコーダおよびデコーダを決定し、第1情報を決定し、エンコーダを使用して第1情報を処理して第1RF信号を生成し、少なくとも1つの送信器により通信チャネルを介して第1RF信号を送信し、少なくとも1つの受信器により通信チャネルを介した送信により変更された第1RF信号を表す第2RF信号を受信する、そしてデコーダを使用して、第2RF信号を処理して第1情報の復元として第2情報を生成する、システムを含む。。この態様の他の実装は、対応するコンピュータシステム、装置、および少なくとも1つの動作可能に接続されたプロセッサに方法の動作を実行させるようにそれぞれ構成された1つ以上のコンピュータストレージデバイスに記録されるコンピュータプログラムを含む。
実装には、次の特徴の1つ以上が含まれる場合がある。システムは、(i)第2情報と第1情報の間の距離の大きさ又は(ii)通信チャネルに関するチャネル状態情報、の少なくとも一方を示すフィードバック情報を決定し、フィードバック情報に基づいて、エンコーダまたはデコーダの少なくとも一方を更新すること、をさらに含む。フィードバック情報に基づいてエンコーダまたはデコーダの少なくとも一方を更新するシステムはさらに、複数のチャネルモードの中からフィードバック情報に基づいて通信チャネルの状態を表すチャネルモードを決定すること、および、通信チャネルのチャネルモードでエンコーダまたはデコーダの少なくとも一方を更新すること、を含む。システムは、エンコーダがエンコーダ機械学習ネットワークのトレーニング結果に基づくエンコードマッピングを実装し、デコーダがデコーダ機械学習ネットワークのトレーニング結果に基づくデコードマッピングを実装し、エンコーダ機械学習ネットワークとデコーダ機械学習ネットワークとは、通信チャネルを介した通信を学習するオートエンコーダとして一緒にトレーニングされる。システムはさらに、第1RF信号を処理して第1アナログRF波形を生成し、1つ以上の送信アンテナを使用して通信チャネルで第1アナログRF波形を送信し、1つ以上の受信アンテナを使用して、通信チャネルによって変更された第1アナログRF波形を表す第2アナログRF波形を受信し、そして、第2アナログRF波形を処理して、第2RF信号を生成すること、を含む。説明された技術の実装は、ハードウェア、方法またはプロセス、またはコンピュータがアクセス可能な媒体上のコンピュータソフトウェアを含んでもよい。
この態様および他の態様の他の実装は、方法のアクションを実行するように構成され、コンピュータ記憶装置にエンコードされた、対応するシステム、装置、およびコンピュータプログラムを含む。1つまたは複数のコンピュータのシステムは、システムにインストールされているソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせにより、動作するときにシステムにアクションを実行させるように構成できる。1つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を有することにより、そのように構成されうる。
この出願全体で説明されている特徴のすべてまたは一部は、1つまたは複数の非一時的な機械可読記憶媒体に格納され、1つまたは複数の処理デバイスで実行可能な命令を含むコンピュータプログラム製品として実装できる。本出願を通して記載される特徴のすべてまたは一部は、1つまたは複数の処理デバイスと記載の機能を実装する実行可能な命令を記憶するメモリとを含むことができる装置、方法、または電子システムとして実装することができる。
本開示の主題の1つまたは複数の実装の詳細は、添付の図面および以下の説明において明らかにされる。本主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
1つまたは複数のRFチャネルを介して学習された通信を実行する機械学習エンコーダおよびデコーダを実装する無線周波数(RF)システムの例を示す図。 RFチャネルを介して学習された通信を実行するためにRFシステムに実装されうる機械学習エンコーダおよびデコーダネットワークのネットワーク構造の例を示す図。 RFチャネルを介してエンコードおよびデコードを学習する機械学習エンコーダおよびデコーダネットワークを実装するRFシステムのトレーニングの例を示す図。 RFチャネルを介したエンコーディングおよびデコーディングを学習する機械学習エンコーダおよびデコーダネットワークを実装するRFシステムをトレーニングする例示的な方法を示すフローチャート。 エンコーダ機械学習ネットワークおよび/またはデコーダ機械学習ネットワークによってRFチャネルを介して通信するために学習されおよび利用されうる基底関数の例を示す図。 RFチャネルを介して通信するためのエンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークによって学習されうる送信RF信号および受信RF信号の例を示す図。 現実世界のRFチャネルを介してトレーニングされた通信を実行するためのエンコーディングおよびデコーディング機械学習ネットワークのトレーニング結果に基づいてエンコーディングおよび/またはデコーディング技術を利用するエンコーダおよびデコーダを実装するシステムをデプロイする例を示す図。 現実世界のRFチャネルを介して学習された通信を実行するためのエンコーディングおよびデコーディング機械学習ネットワークをトレーニングした結果に基づくエンコーディングおよび/またはデコーディング技術を利用して、エンコーダおよびデコーダをデプロイする例示的な方法を示すフローチャート。 RFチャネルを介して学習された通信を実行するシステムの1つまたは複数のコンポーネントを実装するために使用されうるコンピューティングシステムの例を示す図。
本明細書では、障害のあるRFチャネルを介した機械学習および通信のデプロイメントを可能にするシステムおよび技術を開示する。いくつかの実装では、少なくとも1つの機械学習ネットワークは、情報を無線伝送チャネルを介して送信される信号としてエンコードし、受信信号をデコードして元の情報を復元するようにトレーニングされる。トレーニングは、低ビット誤り率、低電力、低帯域幅、低複雑性などのさまざまな基準を達成するように設計することができ、低信号対雑音(SNR)比または特定のタイプのチャネルフェージングまたは干渉、および/または他の基準などの特定の状況で良好に機能する。そのような機械学習ネットワークをトレーニングした結果を利用して、通信シナリオで現実世界のエンコーダとデコーダをデプロイし、RF通信メディアのさまざまなタイプを介した情報をエンコードおよびデコードできる。いくつかの実装では、フィードバック情報に基づいて、デプロイ中にエンコーダおよびデコーダのさらなる学習および適応を実装することができる。これらのエンコーダとデコーダは、変調、復調、マッピング、エラー訂正、または現在それらのシステムに存在する他のコンポーネントなど、1つ以上の信号処理機能を置き換えたり、改良したりできる。
開示された実装は、無線通信アプリケーション向けにデジタル無線システムがどのように設計およびデプロイされるかについての新しいアプローチを提示する。たとえば、開示された実装は、無線信号処理エンジニアリングの一般的に低速でインクリメンタルなプロセスの改善に役立ち、代わりに無線通信システムの設計、構成、および実現の新しい方法を可能にする。異なるタイプの通信メディアに適したエンコーディングおよびデコーディング技術を学習するようにトレーニングできる機械学習ネットワークを実装することにより、ここで開示する技術は、現在利用可能なシステムに対する改善された電力、弾力性(resiliency)、複雑さの利点などのさまざまな利点を提供する。いくつかのシナリオでは、これは、モデル化が困難な、または他のアプローチを使用するために最適化が困難な非常に複雑な影響のセットを持つ通信チャネルにとって特に重要である。
本明細書で開示される実装は、セルラ、衛星、光学、音響、物理、緊急ハンドヘルド、ブロードキャスト、ポイントツーポイント、Wi-Fi、Bluetooth、および伝送障害を受けるその他の形式の無線などの広範囲の無線通信システムに適用されうる。チャネル障害には、例えば、ガウス様ノイズなどの熱雑音、マルチパスフェージング、インパルスノイズ、スプリアスまたは連続ジャミング、干渉、歪み、ハードウェアの影響、およびその他の障害などのより複雑な障害が含まれうる。
エンコーダおよびデコーダは、1つまたは複数の目的(objective)の基準に基づいて適切な入出力エンコードおよびデコードマッピングを学習するようにトレーニングされた1つまたは複数の機械学習ネットワークから学習したエンコードおよびデコード技術を実装できる。たとえば、機械学習ネットワークは人工ニューラルネットワークでありうる。トレーニング中、機械学習ネットワークは、エンコードおよびデコードマッピングを学習するために、エンコーダおよび/またはデコーダのモデルアーキテクチャ、重み、およびパラメータの選択を通じて適応させることができる。エンコード及びデコード機械学習ネットワークは、一緒にトレーニングすることも、繰り返しトレーニングすることもできる。
例えば、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークは、エンコーダネットワークとデコーダネットワークが一緒に最適化されるオートエンコーダとして実装されてもよい。いくつかの実装では、オートエンコーダネットワーク内の正則化レイヤ(例えば、正則化レイヤ(regularization layers)、変換レイヤ(transform layers)、変分レイヤ(variational layers)/サンプラー、ノイズレイヤ、ミキシングプレイヤーなど)を含みうる確率レイヤや無線チャネルの動作を表す別の微分可能な関数のセットなど、1つ以上のチャネルモデル化レイヤとして、障害のあるチャネルの影響をモデリングすることによりオートエンコーダをトレーニングすることができる。チャネルをモデル化するレイヤは、チャネルのランダムな挙動にわたる正則化関数を形成する場合がある。
トレーニング中に、エンコーダ機械学習ネットワークおよびデコーダ機械学習ネットワークをトレーニングして、教師なしまたは部分的に教師付きの機械学習を実行し、障害のあるチャネルで情報を送受信するための手法を決定することができる。したがって、いくつかのシナリオでは、エラー訂正、変調、プリコーディング、およびシェーピングに関して事前に設計されたシステムに依存するのではなく、本明細書で開示される実装は、チャネルを介して送信される波形に情報をエンコードするための技術を適応的に学習し、同様に受信した波形を復元された情報にデコードする技術を学習しうる。エンコーダ機械学習ネットワークおよび/またはデコーダ機械学習ネットワークは、実際のまたはシミュレートされたチャネル条件でトレーニングされてもよい。このような機械学習ネットワークのトレーニング結果を利用するエンコーダおよび/またはデコーダは、デプロイ中にさらに更新される可能性があり、さまざまな種類の無線システム要求に適応する利点を提供し、場合によってはそのようなシステムのスループット、エラー率、複雑さ、および電力消費パフォーマンスを改善する。
そのため、RFチャネルのタイプまたはRFチャネル障害に関係なく、本明細書で開示される実装は、障害のあるRFチャネルを介した信頼できる通信を可能にする情報の表現を学習するための広く適用可能な技術を提供できる。トレーニングシステムの構成、および使用するデータセットとチャネルモデルに応じて、このような機械学習通信技術は、狭いクラスの条件、信号またはチャネルタイプのパフォーマンスに専門化するか、または信号、チャネルタイプ又は1以上の信号またはチャネルの混合の広い範囲についてパフォーマンスを一般化し、最適化することができる。
図1は、1つまたは複数のRFチャネルを介して学習された通信を実行するためにエンコーダおよびデコーダを実装する無線周波数(RF)システム100の例を示す。システム100は、障害のあるRFチャネル106を介して通信する機械学習ネットワークによって学習される、エンコードおよびデコード技術を実装するエンコーダ102およびデコーダ104の両方を含む。
トレーニングのシナリオでは、エンコーダ102は、チャネル106を介した送信のための送信信号112として入力情報108を表す方法を学習する機械学習ネットワークを含む。同様に、トレーニング中、デコーダ104は、受信信号114を元の入力情報108に近似する復元情報110にデコードする方法を学習する機械学習ネットワークを含む。トレーニング中、エンコーダ102および/またはデコーダ104は、ネットワーク更新プロセス116によってトレーニングされてもよい。エンコーダ102およびデコーダ104は、復元エラーの大きさ、計算の複雑さの程度、帯域幅、遅延、電力、またはそれらのさまざまな組み合わせやその他の目的などの、様々なタイプの目的関数を達成するようにトレーニングされうる。トレーニングのさらなる詳細は、例えば図3を参照して以下に説明される。
デプロイメントのシナリオでは、エンコーダ102およびデコーダ104は、以前にトレーニングから学習されたエンコードおよびデコード技術を実装してもよく、またはデプロイ中に(さらに)トレーニングされてもよい。エンコーダ102およびデコーダ104は、トレーニング中に学習されたエンコードおよびデコード表現を使用して、通信を実行するために様々なアプリケーションシナリオでデプロイされてもよい。いくつかの実装形態では、エンコーダ102および/またはデコーダ104は、復元エラー、電力消費、遅延などのリアルタイム性能結果に基づいてデプロイ中にさらに更新されうる。デプロイメントのさらなる詳細は、例えば図7を参照して以下で説明される。これらの場合、損失関数のエラーフィードバックは、通信バスまたはエンコーダ102および/またはデコーダ104の更新に使用できる無線システム内のプロトコルメッセージを介する場合に、チャネル106の応答の特徴付けに役立つ情報とともに発生する場合がある。
入力情報108および復元情報110は、ビットストリーム、パケット、離散時間信号、または連続時間波形など、チャネルを介して通信される情報の任意の適切な形態でありうる。本明細書で開示される実装は、特定のタイプの入力情報108および復元された情報110に限定されず、RFチャネル106を介して多種多様な情報を通信するための符号化および復号技術の学習に一般的に適用可能である。
いくつかの実装形態では、エンコーダ102およびデコーダ104は、RF通信ドメインのタイプに適した1つまたは複数の信号処理動作を使用する。例として、エンコーダ102および/またはデコーダは、フィルタリング、変調、アナログからデジタル(A/ D)またはデジタルからアナログ(D / A)への変換、等化、または特定のタイプのRF信号または通信ドメインについて適切でありうる他の信号処理方法を実装しうる。いくつかの実施形態では、エンコーダ102および/またはデコーダ104は、1つまたは複数の送信アンテナおよび受信アンテナ、ならびにRFチャネル106を介して信号112を送信し、信号114を受信するのに適した他のハードウェアまたはソフトウェアを実装しうる。
したがって、そのようなシナリオでは、図1の例に示されるように、送信信号112および受信信号114は、1つ以上のアンテナを介してRFチャネル106を介して送信および受信される実際のRF波形を表してもよい。したがって、エンコーダ102およびデコーダ104は、情報108/110とRF波形112/114との間の一般化されたマッピングを表す。
対照的に、いくつかの実装形態では、システム100は、エンコーダ102およびデコーダ104とは別に信号処理およびRF送信/受信プロセスを実装してもよい。そのような実装では、フィルタリング、変調、A / DまたはD / A変換、1つまたは複数のアンテナなどの1つまたは複数の信号送信および/または信号受信コンポーネントは、チャネル106の一部として表されてもよい。したがって、チャネル106の障害には、フィルタリング障害、加法性ノイズ、または送信器および/または受信器コンポーネントの他の障害などの送信器/受信器の影響(effects)が含まれる場合がある。したがって、そのようなシナリオでは、送信信号112および受信信号114は、情報108/110の中間表現を表し、チャネル106は、RF媒体を介して送信され受信される実際のRF波形との間の情報のそれらの中間表現の一般的な変形(transformation)を表す。例えば、送信信号112および受信信号114は、RF波形、RF波形の時間ドメインサンプル、RF波形値にわたる分布、またはRF波形との間で変形されうる他の中間表現についての基底係数(basis coefficients)を表してもよい。
トレーニングのシナリオでは、復元された情報110は元の情報108と比較され、エンコーダ102および/またはデコーダ104は復元の結果に基づいてトレーニング(更新)される。いくつかの実装形態では、エンコーダ102および/またはデコーダ104の更新は、機械学習ネットワークの計算の複雑さ(これは、例えば、パラメータの数、乗算/加算の数、実行時間、コルモゴロフの複雑さ、またはその他により測ることができる。)、チャネル106を介した通信に使用される送信帯域幅または電力、またはそれらのさまざまな組み合わせおよび他のメトリックなどの他の要因に基づいてもよい。
いくつかの実装形態では、エンコーダ102およびデコーダ104は、パラメトリック乗算、加算、および非線形性の1つまたは複数の接続されたレイヤからなる人工ニューラルネットワークを含みうる。そのようなシナリオでは、エンコーダ102および/またはデコーダ104の更新は、入力の出力へのマッピングを修正するような、ニューラルネットワークレイヤの重みの更新、ニューラルネットワークレイヤの接続性の更新、またはニューラルネットワークアーキテクチャの他の修正を含みうる。
エンコーダ102およびデコーダ104は、任意の適切な機械学習技術を使用してエンコードおよびデコードするように構成されうる。一般に、エンコーダ102は、入力情報108から、送信信号112としての低次元または高次元の表現へのマッピングを学習するように構成されてもよい。同様に、デコーダ104は、低次元または高次元の受信信号114から復元情報110への逆マッピングを学習するように構成されてもよい。
一例として、エンコーダ102およびデコーダ104で実施されるマッピングは、RF信号の基底関数(basis functions)のセットを学習することを伴いうる。そのようなシナリオでは、基底関数の特定のセットについて、エンコーダ102は入力情報108をそれらの基底関数に対応する基底係数のセットに変換することができ、基底係数は送信RF波形(例えば、基底係数で重み付けされた基底関数の重み付けされた組み合わせを取ることにより)を生成するのに使用される。同様に、デコーダ104は、受信したRF波形から基底係数のセットを生成することにより(例えば、基底関数のセットに受信したRF波形の投影をとることにより)復元情報110を生成しうる。基底関数自体は、エネルギー、振幅、帯域幅、またはその他の条件に対する適切な制約を受ける、基底関数の任意の適切な直交または非直交セットでありうる。
デプロイメントの間、いくつかの実装形態では、エンコーダ102および/またはデコーダ104は、トレーニング機械学習ネットワークの結果に基づいて単純化されたエンコードおよびデコード技術を利用することができる。例えば、エンコーダ102および/またはデコーダ104は、学習したエンコード/デコードマッピングに基づく近似またはコンパクトなルックアップテーブルを利用してもよい。そのようなデプロイメントシナリオでは、エンコーダ102および/またはデコーダ104は、完全な機械学習ネットワークではなく、より単純化された構造を実装してもよい。たとえば、蒸留(distillation)などの技術は、同じ信号処理機能を実行する、より小さな機械学習ネットワークをトレーニングするのに使われてもよい。そのようなデプロイメントシナリオのさらなる議論は図7に関し、以下提供される。
いくつかの実装形態では、エンコーダ102および/またはデコーダ104は、エキスパートシンクロナイザ、イコライザなど、RFチャネルを介した通信を容易にするように設計された1つまたは複数の固定コンポーネントまたはアルゴリズムを含みうる。したがって、トレーニング中に、エンコーダ102および/またはデコーダ104は、そのような固定コンポーネントまたはアルゴリズムに適したエンコード/デコード技術を学習するようにトレーニングされうる。
システム100によって送信および受信されるRF信号は、音響信号、光信号、または他のアナログ波形などの任意の適切な無線周波数信号を含みうる。システム100によって処理されるRF信号のスペクトルは、1kHzから300GHzの範囲でありうる。たとえば、このようなRF信号には、1kHzから30kHzの超低周波(VLF)RF信号、30kHzから300kHzの低周波(LF)RF信号、300KHz〜1MHzの中周波(MF)RF信号、1MHz〜30MHzの高周波(HF)RF信号、および最大300GHzのより高い周波数RF信号が含まれる。
図2は、RFチャネル上で学習された通信を実行するためにRFシステムに実装されうる機械学習エンコーダネットワークおよびデコーダネットワークのネットワーク構造200の例を示す。
ネットワーク構造200は、エンコーダネットワーク202およびデコーダネットワーク204を形成する1つ以上のレイヤを使用する。各レイヤの出力は、ネットワーク内の次のレイヤへの入力として使用される。ネットワークの各レイヤは、パラメータのそれぞれのセットの現在の値に従って、受信した入力から出力を生成する。例えば、いくつかの実装形態では、エンコーダネットワーク202および/またはデコーダネットワーク204は、集合的または反復的にトレーニングされうる複数のネットワークを含みうる。したがって、図2のネットワーク入力208は元の情報(例えば、上記図1の入力情報108)であってもよいし、またはエンコーダネットワーク204内の以前の1つ以上のレイヤの出力であってもよい。同様に、ネットワーク出力210は、復元された情報(例えば、上記の図1の復元された情報110)を表すか、またはデコーダネットワーク204内の後続の1つ以上のレイヤへの入力でありうる。場合によっては、ネットワークは本質的にシーケンシャルではなく、複数の可能なアーキテクチャをバイパスまたはルーティング(route through)するさまざまなレイヤまたはニューロン間の接続を活用する。
トレーニング中、エンコーダネットワーク202および/またはデコーダネットワーク204は、様々なタイプのRFチャネルを介して通信するためのエンコードおよび/またはデコード技術を学習するようにトレーニングされうる。デプロイ中、エンコーダネットワーク202および/またはデコーダネットワーク204(トレーニング済み)は、エンコーダおよび/またはデコーダに実装されてもよい。あるいは、デプロイメントのいくつかのシナリオでは、デプロイされたエンコーダおよびデコーダは、エンコーダネットワーク202および/またはデコーダネットワーク204のトレーニングの結果に基づいて単純化されたエンコードおよびデコードマッピングを利用してもよい。後者のシナリオでは、エンコーダネットワーク202および/またはデコーダネットワーク204はトレーニング中にのみ使用され、現実世界のシステムでデプロイされる、より単純化されたエンコーダおよびデコーダで使用できる学習されたエンコードおよび/またはデコード技術を提供する。そのような単純化されたデプロイメントシナリオのさらなる議論は、図7に関して以下に提供される。
図2の例では、エンコーダネットワーク202およびデコーダネットワーク204は、オートエンコーダとして構成されるニューラルネットワーク構造200を使用して実装される。オートエンコーダ構造のシナリオでは、エンコーダとデコーダは,チャネル206を介した通信についての情報の最適な表現を学習するために一緒にトレーニングされる。しかし、一般に、ネットワーク構造200は、エンコーダネットワーク202およびデコーダネットワーク204内の別個のネットワークとして構成されてもよく、それらは一緒にまたは反復的にトレーニングされてもよい。トレーニング中、エンコーダネットワーク202および/またはデコーダネットワーク204は、ネットワーク更新プロセス216によって更新されうる。
一般に、エンコーダネットワーク202および/またはデコーダネットワーク204は、入力および中間値の乗算、除算、加算またはその他の演算、の1つ以上のコレクションを含むことができ、オプションで非線形性(正規化線形ユニット(rectified linear units)、シグモイド関数、またはその他など)またはその他の操作(たとえば正規化)が続き、これはフィードフォワード方式またはフィードバックおよびインレイヤ接続(in-layer connections)(たとえば、トレーニング情報のシーケンスがいくつかのインスタンスで使用可能なリカレントニューラルネットワーク(recurrent neural network(RNN)))を持つ方式でアレンジされうる。たとえば、リカレントニューラルネットワークは、1つ以上の長期短期メモリ(LSTM)メモリブロックを含むLSTMニューラルネットワーク、または畳み込みネットワークの要素とリカレントネットワークを組み合わせた準リカレントニューラルネットワーク(QRNN)でありえる。
ネットワーク内のパラメータと重み値は、完全に接続されたニューラルネットワーク(DNN)のように単一の乗算に使用されるか、畳み込みニューラルネットワーク、拡張畳み込みニューラルネットワーク(dilated convolutional neural network)、残差ネットワークユニット(residual network unit)などのネットワーク内の複数の場所に「結び付け」または複製されて、1つ以上の受容野を形成する。これらのレイヤの1つ以上のコレクションは、図2の例に示されるように、エンコーダ202とデコーダ204の両方を構成してもよい。ネットワークの特定の構造は、設計時に明示的に指定することも、複数の可能なアーキテクチャの候補から選択して、最高のパフォーマンスの候補を確認することもできる。
いくつかの実装では、エンコーダネットワーク202は線形回帰レイヤ(linear regression layer)を含む出力レイヤを含んでもよい。デコーダネットワーク204は、(i)受信されたRF信号214をデコードする場合に復元情報210の回帰のための線形レイヤを含む出力レイヤ、又は(ii)受信されたRF信号214の確率回帰又はスライスのためのシグモイド又はハードシグモイドアクチベーションレイヤ、又は(iii)離散メッセージ又はビットの組の疑似尤度等の確率的表現を計算することができるソフトマックス又は階層ソフトマックスなどのシグモイド表現の組み合わせのアクチベーション、の内の少なくとも1つを含んでもよい。
いくつかの実装では、エンコーダネットワーク202及び/又はデコーダネットワーク204は、同期や等化などの固定された通信アルゴリズムを実装する1以上のレイヤを含みうる。したがって、いくつかのシナリオでは、エンコーダネットワーク202及び/又はデコーダネットワーク204はネットワークにおけるこのような固定されたレイヤに基づいて適切なエンコード及び/又はデコード技術を学習するためにトレーニングされかつデプロイされてもよい。したがって、一般に、ここで開示されるネットワーク構造200は、例えばこれらの固定アルゴリズムを最適化するための機械学習技術と連携して現実世界のシステムにデプロイされうる1以上の既存の通信アルゴリズムを組み込むことにより、エンコーダネットワーク202及びデコーダネットワーク204の柔軟な設計とトレーニングを可能にする。
図2の例は実装されうるネットワーク構造の1つの可能な実装のみを示す。一般に、実装はこれらの特定のレイヤのタイプには限定されない。正規化線形ユニット(ReLU)、シグモイド、ハイパボリックタンジェント(tanh)及びその他を含むデンス(dense)、全結合(fully conected)、及び/又はDNNレイヤなど、レイヤ及び非線形の別の構成が使用されてもよい。ネットワーク構造200はこれらのレイヤを使用して受信入力208に対する出力210を予測する。いくつかの実装では、線形回帰レイヤはエンコーダ202の出力に、線形レイヤはデコーダ204の出力(ソフトデコーディングのため)に又はハードシグモイドアクチベーションはデコーダ204の出力(ハードデコーディングのため)に実装されうる。
エンコーダ202によって生成される送信信号212は、入力情報208を、チャネル206を介する送信のためのRF波形にマッピングするためのアナログ形式の実際のRF波形でもよく、時間、周波数又は他の信号表現に基づく無線サンプルの系列でもよく、中間的な表現(例えば、RFサンプル、基底係数、RF波形値にわたる分布など)でもよい。類似して、受信信号214は、受信されたRF波形を復元情報210へマッピングするための、アナログ形式の実際に受信されたRF波形でもよく、又は中間的な表現(例えば、RFサンプル、基底係数、RF波形値にわたる分布など)でもよい。例えば、エンコーダ202とデコーダ204とが変分オートエンコーダとして実装されるシナリオでは、送信されたRF信号212と受信されたRF信号214とはRF波形値にわたる分布を表してもよい。
ネットワーク構造200は1以上のチャネルモデル化レイヤ207を含んでもよく、それは確率レイヤ(例えば、正則化レイヤ(regularization layer))であってもよい。ときには、チャネルモデル化レイヤ207は畳み込みネットワークレイヤ重みの重み正則化、デンス(dense)ネットワークレイヤアクチベーションのアクティビティ正則化、又はドロップアウトなどのアクチベーション又は重みのその他の確率的障害、の少なくとも一つを有してもよい。ときには、あるいはそれに加えて、チャネルシステムに存在する非線形の追加的な近似を実行するか、重み又はアクチベーションによって特定され又はパラメータ化される不規則分布からサンプリングするなどの変分レイヤを利用しうる。
いくつかの実装では、チャネルモデル化レイヤ207はチャネル206における障害の影響をモデリングすることができ、これはRF媒体及び/又は送受信コンポーネントにおける障害の様々なタイプを含むことができる。このようなチャネルモデル化レイヤ207はネットワーク構造200のトレーニングの間に実装され得、その場合にチャネルモデル化レイヤ207は、チャネル206の障害の影響を表すための全オートエンコーダ構造における1以上のレイヤとして実装されうる。現実のRFチャネルにわたる評価又はデプロイメントの間、チャネル206は現実世界の通信チャネル(可能な送信器及び/又は受信器の影響を含む)であり、対応するチャネルモデル化レイヤ207はデプロイメントから削除され、エンコーダ202及びデコーダ204のネットワークレイヤのみが現実のチャネルにデプロイされる。
しかし、一般に、チャネルモデル化レイヤ207は、過剰適合を防ぐため、又は畳み込みレイヤ重みでのペナルティのようなドロップアウトを実装するため、最小エネルギーベースを促進するため、またはデンスレイヤアクチベーションにペナルティを実装してソリューションのスパース性(sparsity)を促進するため、システムの一般化を改善して見えない条件やチャネル状態又は動きを改善するためなどの様々な理由のためにネットワーク構造200の異なる部分に様々に実装されうる。
トレーニング中にチャネルモデル化レイヤ207を使ってチャネル206をモデル化するシナリオでは、ネットワーク構造200は、RFチャネル障害の影響をモデル化するために、ドメイン特有の正則化を実装しうる。例えば、チャネルモデル化レイヤ207は無線RFシステムで無線送信中に発生する、加法性ガウス熱雑音、未知の到着時間及びレート、キャリア周波数と位相オフセット、フェーディング、ハードウェア歪、干渉及び/又は受信信号における遅延スプレッドなどの障害の異なるタイプをモデル化しうる。
ガウス雑音やドロップアウトなどのチャネルモデル化レイヤ207はトレーニング中に使用され、実際のチャネルにわたる評価やデプロイメントの間は削除されてよい。無線通信では、加法性ホワイトガウス雑音(AWGN)などの加法性雑音は、信号基底関数(例えば同相(I)及び直角(Q)成分)であってもよい、チャネルを通過する、異なる信号成分に現実の値のガウス確率変数を加えることによってモデル化されうる。いくつかの実装では、正規化レイヤはAWGNが影響する前に実装され、例えば1に等しい正規化された値に、平均電力入来アクチベーションを正規化する。この制約の形式はエンコーダ202に適用されて、最大電力、最小電力、平均電力、平均振幅、ピーク対平均値電力比、又はハードな制約として使用されうる送信波形の広範囲な特性など,広範囲な可能な波形設計基準の実施をすることができる。または、同様なそのような波形設計の目標は、以下図3に関してさらに論じられるように、トレーニング中にネットワークの損失関数に組み合わされるソフト制約として含まれうる。
チャネルモデル化レイヤ207は、例えばランダム又は先験的に未知のシフト及び時間ドメインにおけるスケーリングを適用することによって、未知の到着時間及びレートをモデル化するために実装されてもよく、無線伝搬時間が変化し、分散無線システムのクロックが同期されないシナリオをモデル化できる。これらの影響は、例えば、ガウス分布を持つランダムな時間シフトとランダムな時間膨張率(time-dilation rate)によってモデル化できる。
チャネルモデル化レイヤ207のその他の例として、信号基底関数でありうる搬送周波数及び位相オフセットは信号成分の回転としてモデル化されうる。いくつかの実装では、サンプリングは複雑なベースバンド表現を使用して実行されうる。この場合、送信器と受信器の非同期の発振器のために中心周波数の未知のオフセット及び到来の絶対位相は、ドップラーシフトと同様に、異なる信号成分の静的又は線形な極混合を生じうる。実際のシステムをシミュレートし、一般化を改善するために、そのようなチャネルモデル化レイヤ207は、独立したドリフト発振器のための予想される中心周波数オフセット誤差に基づいて、位相と周波数オフセット、又は、直線位相ランプ(linear phase ramp)をランダムに選択してもよい。
チャネルモデル化レイヤ207のさらに別の例として、受信された信号における遅延スプレッドがモデル化され、受信器に到着する信号の多数の遅延及び位相シフトされたコピーの到着をシミュレートすることができる。これは線形システムとしてシミュレートされ、単一のサンプル時間窓にわたる安定性を前提とするので、我々はランダムな非インパルス的チャネル遅延スプレッドフィルタを選択し、これを、ランダムなチャネル応答に従って時間的に線形に拡散された出力を取得するために、入力信号と畳み込むことができる。この前提は、例えば、単一の窓がチャネルコヒーレンスタイムより小さいシナリオでは適切である。単一の窓がチャネルのコヒーレンスタイムよりも大きいシナリオでは、チャネルの進行はある相関度を持つシーケンスとしてモデル化され、ネットワーク200は遅延スプレッドモードのシーケンスを修正する技術を学習しうる。
このような遅延スプレッドとコヒーレンスタイムは、非常に短いインパルス的なチャネル応答を持ちうる有線及び宇宙の無線システム、あるいは長い遅延スプレッドを持ちうる高周波及びデンス(dense)マルチパス無線システムを含む、通信システムの異なるタイプにおいて変化しうる。いくつかの実装では、遅延スプレッドは、送信されるRF信号についての1以上の畳み込み又はフィルタリング操作を実装するチャネルモデル化レイヤ207としてモデル化される。
いくつかの実装では、ネットワーク構造200は1以上の固定送信及び/又は受信技術と共に利用でき、それらの固定送信/受信コンポーネントに適合したエンコード及びデコード動作の学習のために、エンコードネットワーク202及び/又はデコードネットワーク204のレイヤを適合させうる。例えば、いくつかのシナリオではネットワーク構造200は固定フィルタリング、サンプリング、変調、等化、サブキャリア割り当て、参照信号挿入、エンコード、又は他の送信/受信技術を用いるものであってもよく、それらの固定コンポーネントを最大限に利用するために全部の通信システムに適合させる適切なネットワークレイヤパラメータ又はネットワーク構造を学習しうる。
ネットワーク構造200の基本的な設計目標は、他の目標又は制約を条件として、復元される情報210の所望の復元性能を取得することでありうる。例えば、システムのある種の実現は、電力及び/又は帯域幅の減少、チャネルを介して送信されるRF信号の他の改善された特性、又は計算量の改善を促進する。したがって、システムはこれらの目標の間のトレードオフを評価でき、エンコード、デコード、又は他の信号推論タスクに使用される特定のアーキテクチャを決定するのを助けるために使用できる。
図3は、RFチャネルを介して通信する機械学習エンコーダ及びデコーダネットワークを実施するRFシステム300のトレーニングの例を示す。システム300は、チャネル306を介して通信するためにトレーニングされるエンコーダネットワーク302とデコーダネットワーク304とを含む。図3に示されるトレーニングは,デプロメントに先立って実行され、いくつかのシナリオでは、例えば、現実世界のパフォーマンスに基づいてエンコーダネットワーク302とデコーダネットワーク304とをさらに更新し洗練するために、デプロイメントの一部として組み込まれうる。
いくつかの実装では、エンコーダネットワーク302とデコーダネットワーク304とは適切なエンコード、デコードマッピングを学習するトレーニングに利用されうる、そして、そのようなマッピングは、より単純化されたエンコード及びデコードを使用するデプロイされたシステムで実行されうる。例えば、デプロイされたシステムはエンコーダでルックアップテーブル及びデコーダで距離ベースメトリックの使用、又は、エンコーダネットワーク及びデコーダネットワークをトレーニングした結果に基づいて設計されたエンコードとデコードの他の単純化された形式の使用を利用できる。さらなるこのような単純化されたデプロイのシナリオは、以下に図7に関して与えられる。
トレーニングの間に実装されるチャネル306は、シミュレーションを介して及び/又は現実世界のRFチャネルデータに基づいて取得されたRFチャネルのモデルでありうる。例えば、いくつかの実装では、トレーニングはシミュレートされたチャネルモデルから開始されてもよく、現実世界の伝搬環境又は放射されたデータを反映するシミュレートされた伝搬モデルに基づいてエンコーダネットワーク302及びデコーダネットワーク304をトレーニングできる。エンコーダネットワーク302とデコーダネットワーク304とは、ハードウェアがトレーニングフィードバックループと共に使用される現実のチャネルに対してさらにトレーニングされてもよい。
いくつかの実装では、チャネル306のモデルは、フィルタリング、変調などの送信器及び受信器コンポーネントの影響を含みうる。例えば、シミュレートされたチャネルがトレーニングに使用されるシナリオでは、ハードウェア/ソフトウェアの特定のセット及び無線デプロイメント条件に適合する分析的なチャネル障害モデルが利用されうる。したがって、図3のトレーニングは、異なるチャネル条件下で、および異なる現実世界の送信器及び受信器シナリオのために動作するように、エンコーダネットワーク302及びデコーダネットワーク304をトレーニングする。
トレーニングの間に、エンコーダネットワーク302とデコーダネットワーク304とは一緒にトレーニングされるか反復的にトレーニングされうる。例えば、エンコーダネットワーク302とデコーダネットワーク304とは(上記図2に関して説明したように)オートエンコーダとして一緒にトレーニングされてもよい。いくつかの実装では、エンコーダネットワーク302とデコーダネットワーク304とは別々にトレーニングされてもよい。そのようなシナリオでは、ネットワークの1つは以前のトレーニング又は送信/受信スキームのいずれかにより固定されてもよく、他のネットワークは固定された対応するネットワークについて適切なエンコード/デコード戦略を学習するようにトレーニングされる。
例えば、エンコーダネットワーク302は、入力情報308の送信されるRF信号312への特定のマッピングを生成するように固定されてもよく、デコーダネットワーク304は、固定エンコーダ302に最も適した、受信RF信号314から復元された情報310へのマッピングを学習するようトレーニングされてもよい。いくつかの実装では、入力情報308はトレーニング目的で利用されるトレーニングデータによって表されてもよい。トレーニングデータは入力情報308とは異なる形式を持ってもよく、それにもかかわらずトレーニング目的で入力情報308を表しうる。そのようなシナリオでは、エンコーダネットワーク302は第1情報を表すトレーニングデータを処理してもよい。デコーダ304はトレーニングデータによって表される第1情報308の復元として復元された情報310を生成してもよい。
システム300は元の入力情報308と復元された情報310の間の損失関数318を計算できる。損失関数318は、クロスエントロピー、平均二乗誤差、又は他の幾何学的距離メトリック(例えば、MAE)等の入力情報308と復元された情報310の間の距離のいずれかの適切な大きさでありうる。いくつかの実装では、損失関数318は、いくつかの幾何学的な、エントロピーベースの、及び/又は他のクラスを、距離又は損失の集合体式へ組み合わせる。
いくつかの実装では、追加の損失条件が、例えば2次的な目的(例えば、2次受信器に課された干渉を減らす、又はピーク対平均電力比(PAPR)などの有利な信号特性を改善する)を達成するために、そのようなプライマリな損失条件と組み合わせて損失関数318において使われうる。
損失関数318を含む目的を達成することに加えて、システム300は、電力、帯域幅、複雑さ、又は通信に関連するその他のパフォーマンスメトリックなどの他のパフォーマンスの大きさに関連する目的を達成するように構成されてもよい。いくつかの実装では、システム300は異なるパフォーマンスメトリックの間の所望のトレードオフを達成するように構成されていてもよい。例えば、そのようなトレードオフを達成することは、例えばメトリックの重み付けされた組み合わせとして、異なるメトリックを組み合わせる目的関数を使用して実装されてもよい。加えてあるいは代わりに、このトレードオフは、ユーザプリファレンス又はアプリケーションの仕様に従ってモデルを選択することにより達成されうる。加えてあるいは代わりに、システム300は、電力、帯域幅、復元エラーなどの制約など、パフォーマンスメトリックの1つ以上の厳しい制約を実行することができる。
いくつかの実装では、ネットワーク更新プロセス316は、さまざまなパフォーマンスメトリックに基づいてエンコーダネットワーク302及び/又はデコーダネットワーク304を更新できる。この更新は、エンコーダネットワーク302及び/又はデコーダネットワーク304における、ネットワークアーキテクチャ、パラメータ又はネットワークの重みの更新を含みうる。例えば、更新は、ネットワークの1つ以上のレイヤにおける重み又はパラメータの更新、エンコードネットワーク302及びデコードネットワーク304についての機械学習モデルの選択、又はレイヤの選択、レイヤのハイパーパラメータ又は他のネットワークの特徴などの特定のネットワークアーキテクチャの選択を含みうる。説明したように、更新は一緒又は反復の方法で、または個別に(ネットワークの1つが固定される場合のように)エンコーダネットワーク302及びデコーダネットワーク304上で実装されうる。
上述のように、ネットワーク更新プロセス316により実行される更新は、デプロイメントに先立って適切なエンコード及びデコード技術を学習するためにトレーニングの間に実行されうる、及び/又は、現実の世界のデプロイの実行の結果に基づいてエンコーダネットワーク302及び/又はデコーダネットワーク304をさらに更新するためにデプロイメントの間に(デプロイされたエンコーダ及び/又はデコーダが機械学習ネットワークを実装する場合)に実行されてもよい。
いくつかの実装では、ネットワーク更新プロセス316はエンコーダネットワーク302及び/又はデコーダネットワーク304を、損失関数318及び上述された他のパフォーマンスメトリックを含みうる、所望の目的関数を実現するために更新できる。いくつかの実装では、ネットワーク更新プロセス316はエボリューション、最急降下法、確率的勾配降下法、又は他の解決手法の1つのような最適化手法を利用しうる。
勾配ベースの更新の例として、ネットワーク更新プロセス316は、例えば目的関数の勾配を計算又は近似することにより、エンコーダネットワーク302及び/又はデコーダネットワーク304における変化に対する目的関数の変化率を計算してもよい。そのような変化は、例えば、図3の例に示されるように、1つ以上のネットワークレイヤの重みの変動又は他のネットワークアーキテクチャの選択を含みうる。チャネル306が現実のRFチャネルデータに基づくものであり、閉形式の勾配解を持たないシナリオでは、目的関数の勾配を推定するために近似法が使用できる。
計算された目的関数の変化率に基づいて、ネットワーク更新プロセス316はエンコーダネットワーク302について第1変化量及び/又はデコーダネットワーク304について第2変化量を判定しうる。これらの変化量は、例えば、Adam、AdaGrad、Nesterov SGD又はその他などの確率的勾配降下法(SGD)スタイルのオプティマイザーを使用して算出されうる。いくつかの実装では、これらの変化量は、進化的アルゴリズム又は粒子群最適化など、直接検索のための他のスケーラブルな方法を使用して算出されうる。
いったん変化量が判定されると、ネットワーク更新プロセス316は、エンコーダネットワーク302及び/又はデコーダネットワーク304にこれらの変化量を適用する。例えば、ネットワーク更新プロセス316はエンコーダネットワーク302の1つ以上のレイヤにおける少なくとも1つのエンコーダネットワーク重み、及び/又はデコーダネットワーク304の1つ以上のレイヤにおける少なくとも1つのデコーダネットワーク重みを更新しうる。
概して、エンコーダネットワーク302及びデコーダネットワーク304を更新することは、ネットワーク重みを更新することに限定されず、更新の他のタイプが実施されうる。例えば、エンコーダネットワーク302及びデコーダネットワーク304を更新することは、複数のエンコードモデルの中から、エンコーダネットワーク302に対して機械学習モデルを選択することを含みうる、そして複数のデコードモデルの中から、デコーダネットワーク304に対して機械学習モデルを選択することを含みうる。このような実装では、機械学習モデルの選択は、レイヤの選択、レイヤのハイパーパラメータ又は他のネットワークの特徴などの特定のネットワークアーキテクチャの選択とを含みうる。
エンコーダネットワーク302及び/又はデコーダネットワーク304は、チャネルモデルの同じタイプ又は異なるタイプでありうる、チャネル306のさまざまなトレーニングモデルにわたりトレーニングされうる。チャネル306についてのモデルのセットの構成に応じて、エンコーダネットワーク302及びデコーダネットワーク304はRFチャネルの所定のタイプ又はRFチャネルの異なるタイプの広い範囲にわたり通信を最適化されうる。
いくつかの実装では、チャネル306のモデルは多くの異なるモードに分類できる。トレーニング中、エンコーダネットワーク302及び/又はデコーダネットワーク304はチャネル306の異なるモードでトレーニングされてもよい。これらのモードのそれぞれについて、エンコーダネットワーク302及び/又はデコーダネットワーク304は、異なるモードに対する適切なエンコード及び/又はデコード技術を学習しうる。チャネル306の異なるモードは、ノイズのレベル、SNR、遅延スプレッド、チャネル変化レート、帯域幅などのチャネル条件のいかなる適切な分類を表現してもよい。
いくつかの実装では、チャネル306がシミュレートされるチャネルであることに代えて、現実のチャネルがエンコーダネットワーク302及び/又はデコーダネットワーク304をトレーニングするために使用できる。そのような実装では、追加の送信及び受信コンポーネント(ハードウェアまたはソフトウェア)が現実のチャネルを介してアナログRF波形を送信及び受信するために実装されてもよい。そのような送信及び受信コンポーネントはエンコーダネットワーク302及びデコーダネットワーク304のいずれかに実装されてもよく、またはそれらの影響は、チャネル306のモデルにおいて説明されるチャネルの影響に含まれてもよい。したがって、図3のトレーニングは、シミュレートされたものであろうと現実のものであろうと、適切なエンコードとデコード技術を学習するためにエンコーダネットワーク302及びデコーダネットワーク304をトレーニングするため、任意の適切なチャネル306上で実行されうる。
トレーニングの間、エンコーダネットワーク302は、入力情報308から送信されるRF信号312へのマッピングを学習するように構成されうる。同様に、デコーダネットワーク304は、受信されたRF信号314から復元される情報310への逆マッピングを学習するように構成されうる。上述のように、送信RF信号312及び受信RF信号314は、RFチャネルを介して送信及び受信されたアナログRF波形を表しうる、あるいはフィルタ、変調器、等化器などの1つ以上の他のコンポーネントによる処理を介してアナログRF波形との間で変形される中間表現(例えば、RF波形のサンプル、基底関数の係数、RF波形にわたる分布など)を表しうる。例えば、エンコーダネットワーク302及びデコーダネットワーク304が変分オートエンコーダ(上記の図2に関して論じられた)として実装されるシナリオでは、RF信号212及び214はRF波形値にわたる分布を表してもよい。一般に、送信RF信号312及び受信RF信号314は、特定のチャネル又はチャネルのクラスを介して情報をエンコード及びデコードするためにエンコードネットワーク302及びデコードネットワーク304により学習される適切なRF信号表現を表しうる。
いくつかの実装では、エンコード及びデコードマッピングは基底関数のセットを含みうる。基底関数は、入力情報308を、基底係数のセット、又は基底関数の重み付けされた組み合わせであるRF波形、又は基底関数の特定のセットを使った他の適切な表現でありうる送信RF信号へ変形するためにエンコーダネットワーク302により使用できる。同様に、デコーダネットワーク304は、例えば、基底係数を生成するためにRF信号314を基底関数のセットに対し投影をすることにより、又はRF信号314が基底係数のセット自身であるシナリオでは、RF信号314の基底係数を復元される情報310へ変形することにより、受信RF信号314を処理するための基底関数の同じセットを使用して復元される情報310を生成できる。
基底関数は基底関数の直交又は非直交の任意の適切なセットでありうる。例えば、基底関数は、同位相及び直角位相(I/Q)信号、フーリエベースの関数、多項式ベースの関数、ガウスベースの関数、指数関数ベースの関数、ウェーブレットベースの関数、又はこれらの組み合わせ及び/又はチャネルを介して送信されるRF波形を表すのに利用されうる基底関数の他の適切なセットでありうる。基底関数は異なる位相、振幅及び/又は周波数成分を有しうる。いくつかの実装では、基底関数はパラメータ化されてもよく、トレーニングは基底関数のパラメータにわたり最適化することを含みうる。
エンコーダネットワーク302及びデコーダネットワーク304をトレーニングすることは、初期条件の適切なセットから開始されうる。例えば、トレーニングは特定の条件下の基底関数のランダムなセットから開始されてもよい。あるいは、トレーニングは、直交位相シフトキーイング(QPSK)又はガウス2値周波数シフトキーイング(GFSK)、直交周波数分割多重アクセス(OFDM)、又は基底関数の他の定められたセットを含む、一般に使用されるRF通信ベースの関数などの、基底関数の定められたセットから開始されうる。
トレーニング中、エンコード及びデコードの結果に従い、エンコーダネットワーク302及びデコーダネットワーク304は改善された基底関数を学習しようとする。エンコーダ102及びデコーダ104をトレーニングすることは、例えば貪欲なサーチ又は他の最適化タイプのアルゴリズムを使って、基底関数のセット又は基底関数の異なるセットにわたり最適化することを含みうる。
いくつかの実装では、入力情報308は情報のトレーニングセットから選択されうる。いくつかの実装では、入力情報308は、2値情報、離散時間情報、アナログ波形、又は情報の他のクラスなどの情報の特定のクラスに限定されてもよい。そのようなシナリオでは、システム300は、その情報の特定のクラスを通信するように調整された通信エンコード及びデコード技術を学習するようトレーニングされる。情報308の異なるタイプ及びチャネル306の異なるタイプでトレーニングすることにより、システム300は異なる通信シナリオに適用できる異なるエンコード及びデコード動作を学習することをトレーニングされうる。
損失関数318は、入力情報308と復元された情報310の間の距離の適切な大きさ又は大きさの組み合わせでありうる。例えば、損失関数318はクロスエントロピー、平均二乗誤差(MSE)、MSEに従って予測値にペナルティを与えるが、決定閾値の誤った側にある値に対してのみであるクリップ(clip)されたMSE、又は損失を指数関数的にペナルティにする指数関数的損失関数、又は他の適切な距離メトリックを含みうる。
加えて、上述したように、例えば損失関数318の一部として及び/又は厳しい制約として、他のパフォーマンスメトリックはトレーニングに組み込まれてもよい。例えば、このようなパフォーマンスメトリックは、信号対雑音比(SNR)、通信帯域幅、通信電力、周波数利用効率(特定のSNRでの固定帯域幅チャネルを介して送信できる1秒あたりのビット数)の関数としてビット誤り率(BER)を含みうる。このようなメトリックのいずれか1つ又は組み合わせは損失関数318の一部として(例えば、重み付け組み合わせとして)及び/又は損失関数318に加えて厳しい制約としてトレーニング中に利用されうる。
図4は、RFチャネルを介してエンコード及びデコードを学習する機械学習エンコーダ及びデコーダネットワークを実装するRFシステムをトレーニングする例示的方法400を説明するフローチャートである。トレーニング方法400はコンピュータ記憶媒体にエンコードされた命令を実行する、1つ以上のCPU、GPU、DSP、FPGA、ASIC、TPU、ニューロモーフィックチップ、又はベクトルアクセラレータなどの1つ以上のプロセッサによって実行されうる。
トレーニング方法400は、RFチャネルを介して通信されることになる情報である、第1情報を決定することを含む(402)。上述したように、第1情報は、任意の適切な離散時間、アナログ、離散値、又は連続値の情報でありうる。例えば、ある場合では、この入力情報は白色化された離散的なビット又はシンボルでありうる、又は他の場合には、入力情報は非白色情報源の分布に従う。上記、図3に関して前述したように、いくつかの実装では、第1情報はトレーニングの目的のために利用されるトレーニングデータにより表されうる。このようなシナリオでは、トレーニングデータは第1情報と異なる形式を持ち、それにもかかわらずトレーニングの目的のために第1情報を表しうる。
エンコーダ機械学習ネットワークは、この第1情報を処理するのに使用され、通信チャネルを介して送信される第1RF信号を生成する(404)。上述したように、いくつかの実装では、第1情報はトレーニングデータにより表され、この場合にはエンコーダ機械学習ネットワークは第1情報を表すトレーニングデータを処理する。さらに、上述のように、生成された第1RF信号は、チャネルを介して送信されるアナログRF波形を表すことができ、又はアナログRF波形を生成するためにさらに処理(例えば、フィルタリング、D/A変換、変調など)を受ける中間表現(例えば、サンプル、基底係数、RF波形わたる分布など)でありうる。このエンコードプロセスは、上で図3に関して説明されたように、入力情報空間からRF信号空間へのいかなる適切なマッピングも利用しうる。
トレーニング方法400は、通信チャネルを介して送信することによって変更された第1RF信号を表す、第2RF信号を決定することをさらに含む(406)。トレーニングのシナリオでは、通信チャネルの影響は、シミュレーション及び/又は現実のチャネルデータにより取得されたチャネルのモデルによって実現されうる、又は現実の世界の通信チャネルにより実現されうる。上述のように、第2RF信号はチャネルを介して受信されたアナログRF波形を表しうるか、又は受信したアナログRF波形の処理の結果(例えばフィルタリング、サンプリング、等化など)である中間表現(例えば、サンプル、基底係数、RF波形にわたる分布など)でありうる。
それから、デコーダ機械学習ネットワークは受信RF信号を処理するのに使用され、第1情報の復元として第2情報を生成する(408)。上記、図3及びステップ402及び404に関して前述したように、いくつかの実装では、第1情報はトレーニングの目的に利用されるトレーニングデータにより表されている。このようなシナリオでは、入力トレーニングデータは元の第1情報とは異なる形式を持ちうる、しかしそれにもかかわらず、デコーダはトレーニングデータにより表される第1情報の復元として第2情報を生成してもよい。上記、図3に関して説明したように、デコードプロセスはRF信号空間から復元された情報空間への任意の適切なマッピングを利用しうる。
第2情報と第1情報の間の距離の大きさが計算される(410)。この距離の大きさは損失関数(例えば図3の損失関数318)として実装されうる。そして、それは元の入力情報と第2情報(復元された)の間の差分又は誤差を表しうる。例えば、距離の大きさはクロスエントロピー、平均二乗誤差、又は他の幾何学的距離メトリック(例えば、MSE、MAE、KLダイバージェンス)を含みうる、又はさまざまな幾何学的及び/又はエントロピーベースの距離メトリックを距離についての集合体式に組み合わせることができる。
トレーニング方法400は、第2情報と第1情報の間の距離の大きさに基づいて、エンコーダネットワーク又はデコーダネットワークの少なくとも1つを更新することをさらに含む(412)。この更新は、上述のように、一緒に、又は反復して、又は個別にエンコーダネットワーク及び/又はデコーダネットワークに適用されうる。更新は、総じて、上記に図3に関して説明したように、ネットワークの重み、アーキテクチャの選択、機械学習モデル、又は他のパラメータ、又は接続性の設計など、エンコーダネットワーク及び/又はデコーダネットワークの任意の適切な機械学習ネットワークの特徴を更新することを含みうる。例として、いくつかの実装では、エンコーダネットワーク及び/又はデコーダネットワークがRFチャネルを介して通信するための基底関数のセットを学習するためにトレーニングされるならば、更新プロセスはエンコーダネットワーク及び/又はデコーダネットワークで利用される基底関数のセットを更新することを含みうる。
図5はRFチャネルを介して通信するためにエンコーダ機械学習ネットワーク及び/又はデコーダ機械学習ネットワークにより学習されかつ利用される基底関数の例を示す。図5の例は、通信チャネルにおいて遅延スプレッドの4つの異なる値についてエンコーダにより学習された畳み込み基底関数の4つの異なるセットを示す。しかし、一般に基底関数の任意の適切な形式はエンコーダネットワーク及び/又はデコーダネットワークにより学習されうる。
図5に示されるように、基底関数の異なるタイプは遅延スプレッドの異なる値(遅延スプレッド値4、3、2、及び1)に対して学習される。これらの例では、基底関数の各セットは2つのコンポーネントを持つが、一般には適切な数の基底関数が学習されうる。これらの例では、エンコーダはチャネルの遅延スプレッドに応じて2つの基本コンポーネントのコンパクト性を調整することを学習した。
したがって、そのようなトレーニングに基づいて、エンコーダ及び/又はデコーダはデプロイされ、適応的な方法で、異なるチャネル状態(例えば、異なるチャネル遅延スプレッド)に対して基底関数の異なるセットを利用できる。例えば、機械学習ネットワークが現実世界の通信システムにデプロイされるシナリオでは、システムはチャネル状態情報(CSI)を取得し、かつチャネル状態に従いエンコーダネットワーク及び/又はデコーダネットワークを調整しうる。チャネル状態に応じて、エンコーダネットワーク及び/又はデコーダネットワークは、基底関数の同じセットに対してシンプルにパラメータを調整するか、又は基底関数のセットを全面的に変更(例えば、図5の基底関数の4つのセットを切り替えることにより)できる。このような更新は、完全な機械学習ネットワークを利用しない単純化されたエンコーダ及び/又はデコーダに基づくデプロイ中に実行されてもよく、しかし代わりに、対応するエンコーダ機械学習ネットワーク及びデコーダ機械学習ネットワークをトレーニングしたことの結果に基づき単純化されたエンコード及び/又はデコード技術を利用してもよい。
図6はRFチャネルを介して通信するためのエンコーダ及びデコーダ機械学習ネットワークにより学習されうる送信RF信号612及び受信RF信号614の例を示す。信号は、上記図3で論ぜられた送信信号312及び受信信号314に対応する。
図6の例では、送信RF信号612及び受信RF信号614はチャネルを介して実際に送信及び受信されたアナログRF波形を表す。例えば、送信RF信号312は通信媒体を介して実際に送信される波形でありうる。受信RF信号314は、通信媒体を介して障害を受けた後の実際に受信される波形でありうる。しかし、上記に、図1及び図3に関し説明されたように、一般に、エンコーダ及びデコーダにより学習された送信RF信号及び受信RF信号は、アナログRF波形へさらに処理され又は変換される任意の適切な表現(例えば、サンプル、基底係数など)でありうる。
図6に示されるように、RF信号は128ビットの情報に対して0dB SNRであり、送信及び受信RF信号に対して同位相及び直交位相成分が示されている。しかし一般に、エンコーダ及びデコーダ機械学習ネットワークは送信及び受信RF信号の適切な形式を学習するためにトレーニングでき、各RF信号の成分の数には制限されない。
図6に示されるように、送信RF信号612は、今日のシステムで現在使用されているいずれかの既知の変調方式に対応するものとしてすぐには認識されない。例えば、送信RF信号612は少なくとも3つの共通の離散レベルを使用するように見え、サンプル空間にわたり時間と周波数のある混合に情報がエンコードされたように見える。
図7は、現実の世界の通信チャネルを介する情報の学習された通信についてデプロイされうるエンコーダ及びデコーダを備えるシステム700の例を示す。システム700は現実の世界のチャネル706を介する通信のためにデプロイされるエンコーダ702及びデコーダ740を含む。
エンコーダ702は通信されるための入力情報708を受け取り、入力情報708を送信RF信号712へマッピングする。エンコーダ702により利用されるエンコードマッピングは、上記、図3及び図4に関し説明されたトレーニングを使用して、情報をRF信号へエンコードする方法を学習した、前の機械学習ネットワークのトレーニングに基づいて設計されうる。例えば、エンコーダ702はデプロイメント中に、トレーニングされた機械学習ネットワークを実施してもよい、又は、さらに以下に論じるように、機械学習ネットワークをトレーニングした結果を利用した単純化されたエンコードマッピングを実装してもよい。
前に論じたように、いくつかの実装では、エンコーダ702は送信のためのアナログRF波形としてRF信号712を生成する処理(例えばフィルタリングや変調など)を含みうる。代わりに、他の実装では、エンコーダ702は、フィルタリング又はチャネル706を介した送信のための変調などの、追加の処理によりその後にアナログRF波形へ処理される中間表現としてRF信号712を生成しうる。
デコーダ704はチャネル706により損なわれたRF信号714を受信し、受信RF信号714を復元された情報710へマッピングする。デコーダ704により利用されるデコードマッピングは、上記に、図3及び4に関して説明されたトレーニングを使って、RF信号を復元された情報へデコードする方法を学習した機械学習ネットワークの以前のトレーニングに基づいて設計されうる。例えば、デコーダ704は、デプロイメント中にトレーニングされた機械学習ネットワークを実装しうる、又は以下にさらに論じられる、機械学習ネットワークをトレーニングした結果を利用する単純化されたデコードマッピングを実施しうる。
これまで論じられたように、いくつかの実装では、デコーダ704はチャネルを介して受信されるアナログRF波形として受信RF信号714を直接入力する処理(例えばフィルタリング、変調など)を含みうる。あるいは、他の実装では、デコーダ704はチャネル706から受信されたアナログRF波形の前処理から生じる中間表現としてRF信号を処理しうる。
いくつかの実装では、エンコーダ702及び/又はデコーダ704は、通信の結果に基づいて、例えば更新プロセス716によりデプロイメント中に更新されうる。このような更新はデプロイメントの間に送信及び復元の結果に基づいて決定されるフィードバック情報に基づきうる。
いくつかの実装では、システム700は、例えばチャネル状態及びパフォーマンス推定器718を使用して、チャネル706及び/又はパフォーマンスメトリックに関する情報を収集するように構成されてもよい。推定器718は、例えば、送信RF信号712として送信されたトレーニング信号を検出することにより、このような情報を検出するように構成されてもよい。推定器718は、図7の例に示されるように、デプロイメントの間にエンコーダ702及び/又はエンコーダ704へさまざまな更新を制御するためにフィードバックを介してこのような情報を提供しうる。このような更新は1以上の機械学習の特徴を更新することを含みうる(エンコーダ702及び/又はデコーダ704がデプロイメント中に機械学習ネットワークを実装するシナリオでは)、又はエンコーダ702及び/又はデコーダ704により利用される単純化されたエンコード及び/又はデコードマッピングを更新することを含みうる(前にトレーニングされた機械学習ネットワークに基づく単純化されたエンコード/デコード技術をエンコーダ702及び/又はデコーダ704が実装するシナリオでは)。
チャネル状態及びパフォーマンス推定器718から送られるフィードバックは任意の適切な形式をとることができ、任意の適切な時間スケールで送信される。例えば、このようなフィードバックは、チャネルの状態及び/又はパフォーマンスの推定を推定するために、フォワードリンク(エンコーダ702からデコーダ704へ)から取得される推定又はリバースリンク(デコーダ704からエンコーダ702へ)から取得される推定に基づき適用できる。フィードバック情報は、選択するモードの数、フィードバックチャネルの帯域幅やレイテンシ、その他の考慮事項など、さまざまな要因に応じてサイズが変化しうる。ある場合には、このフィードバック情報は無線システム内のプロトコルメッセージへエンコーダされうる。
一例として、フィードバックは既知のトレーニングRF信号を送信するエンコーダ702により生成でき、デコーダ704(及び/又はRF受信器の他のコンポーネント)は、受信RF信号を既知の送信されたトレーニングRF信号と比較することに基づいてチャネル状態とパフォーマンスの大きさを判定する。いくつかの実装では、エンコーダ702を更新(ハーフモデル更新)するために送信器へフィードバックを必ずしも提供することなく、フィードバックはデコーダ704を更新するために受信器へのみ提供されうる。
チャネル706の状態は、例えばRF信号が通信する環境のタイプに応じて、異なる時間スケールにわたって変化しうる。例えば、チャネル706における時間スケールの変化は、環境が農村か都会かどうか、環境オブジェクトが早く又は低速で動いているかどうか(例えば、コヒーレンスタイム又はチャネル統計の相関時間を規定)、環境が航空機内か宇宙船内かどうか、又は他の無線エミッタがそばにあるかどうかに応じる。チャネルコヒーレンスタイムが非常に長いか静的な場合には(例えば、固定無線通信及び反射物(fixed radios and reflectors))、エンコーディングは長い時間スケールにわたってこれらの障害について明確に学習することがある。この一例は、固定ジオメトリ工業(fixed geometry industrial)又は都市通信環境である。
いくつかの実装では、チャネル706に存在する状態は多くのモードに分類される。異なるモードは、ノイズのレベル、SNR、遅延スプレッド、チャネル変化の時間スケールなどのチャネル状態の適切な分類を表すことができる。これらのモードのそれぞれについて、上記、図3に関し論じられたように、エンコーダ702及び/又はデコーダ704はエンコード及び/又はデコード技術の適切なセットを学習することをトレーニングされてもよい。デプロイメント中に、エンコーダ702及び/又はデコーダ704は、推定されたチャネル706の特定のモードに基づいて適応的に更新されうる。図7に示すように、いくつかの実装では、伝送モードコントローラ720はエンコーダ702及び/又はデコーダ704についてどのモード構成が利用されるべきかを決定するように実装される。
伝送モードコントローラ720はチャネル状態及びパフォーマンス推定器718からのフィードバックを利用できる。上述のように、このようなフィードバックはフォワード及び/又はリバースリンクから取得され、いつでも、動作のどのモードを選択すべきか、という決定を支援するように伝送モードコントローラ720へ提供されうる。このようにして、システム700は異なるチャネル状態の範囲について適切なエンコード及び/又はデコード技術を学習でき、したがってエンコーダ702及び/又はデコーダ704を適応的に更新し、いかなるチャネル状態下でも適切なモードを選択する。
学習した通信を現実世界のアプリケーションで使用できる多くのシナリオがある。例えば、トレーニング中に、エンコーダ702及び/又はデコーダ704はチャネル706の閉形式解析的モデルでトレーニングされうる。対象チャネルの十分に正確な安定的な解析的モデルが与えられると、チャネル706にわたる通信に対する効率的な表現が学習され、いかなるオンライン適応なしで使用されうる。このような実装は、現実世界のチャネル706が、時間的に変化がゆっくりしたチャネル、又はより安定でかつ予測可能なチャネルなどの解析的モデルに十分に対応する環境に適するだろう。
別の例として、デプロイメント、ロケーション、状態、又は近くの効果に応じてなど、現実世界でチャネルがより予測不可能に変化するシナリオでは、システム700は、所定の現実世界のデプロイメントシナリオに対して良好に機能する専用のエンコード及び/又はデコード技術のオンライン適応及びオンライン学習を行いうる。このような実装では、チャネル及び/又はシステムパフォーマンスの現実世界の測定に基づいて、デプロイメント中に、エンコーダ702及び/又はデコーダ704への更新は行われうる。このような更新は、上記の図3及び図4のトレーニングに関し学習される目標達成戦略の結果に基づいて行われてもよい。
しかし、現実世界のフィードバックがチャネル変形の正確な分析的表現に寄与しないならば、更新プロセス716は、エンコーダ702及び/又はデコーダ704に対する更新を決定するために、正確な分析的解決方法よりも近似を利用しうる。例えば、目的関数の勾配が計算される実装では、正確な導関数計算ではなく近似勾配が計算されうる。さらに、現実世界のシナリオでは、更新プロセス716は、通信コスト、レイテンシ、チャネル状態及びパフォーマンス推定器718からのフィードバックチャネルの能力など、現実世界の因子を追加的に考慮しうる。一般に、より正確でより大きなフィードバックは、通信コストとレイテンシと帯域幅とを犠牲にして、更新プロセス716により効果的な更新を許容する。したがって、エンコーダ702及び/又はデコーダ704がフィードバック情報に基づいて更新されるデプロイメントのシナリオでは、このような追加的な考慮は更新プロセス716に組み込まれてもよい。
いくつかの実装では、エンコーダ702及びデコーダ704は、トレーニング中に学習されたエンコーダ及び/又はデコードマッピングの単純化された形式を利用しうる。例えば、エンコーダ702は入力情報708に基づいて送信RF信号712を生成するために単純化されたルックアップテーブルを利用しうる。同様に、いくつかの実装では、デコーダ704は距離ベースのデコード技術を利用することにより、又はトレーニング中に学習されたより一般的なデコードマッピングに基づく又はトレーニング中に学習されたエンコーダマッピングに基づく他の単純化されたデコード技術により、受信RF信号714から復元された情報710を生成しうる。
ある実装では、このような単純化されたデプロイメントの具体例として、トレーニング中に、エンコーダ機械学習ネットワークが入力情報708からRF信号712へのマッピングを学習してもよい。マッピングは、例えば、具体的な入力708に対応するコンスタレーションの異なる点として、異なるRF信号712を表現する信号コンスタレーションでありうる。しかし、デプロイメント中に、エンコーダ702は、エンコーダ機械学習ネットワークのトレーニング結果に基づいて、単純化されたルックアップテーブル(LUT)を利用して、RF信号712を生成するためにコンスタレーション上の点へ入力情報708をマッピングしうる。同様に、デコーダ704は、デコーダ機械学習ネットワークをトレーニングした結果に基づく、又はカウンターパートのトレーニングされたエンコーダ機械学習ネットワークに基づく、単純化されたデコードアルゴリズム(例えば、距離ベースのデコードアルゴリズム)を利用しうる。
そのようなシナリオでは、エンコーダ702及び/又はデコーダ704はトレーニング中にシステム設計のためにトレーニング(例えば、オートエンコーダとして)されうる。しかし、エンコーダ702及び/又はデコーダ704で、現実世界のアプリケーションでシステム700をデプロイかつ実装するために、近似又はコンパクトなルックアップテーブルが利用されうる。したがって、いくつかの実装では、デプロイされたシステムで実装されるエンコーダ702及びデコーダ704は、フルの機械学習ネットワークを実装しないでよく、代わりにトレーニング中に機械学習ネットワークにより学習されたエンコード及びデコードマッピングの結果を利用してもよい。場合によっては、これらのニューラルネットワークから学習されたマッピングは、ベースバンドプロセッサに効率的にデプロイできる非常にコンパクトで効率的なテンソル計算式をすでに形成している。
図8は、現実世界のRFチャネルにわたって学習された通信を実行するエンコーダとデコーダをデプロイする例示的方法800を説明するフローチャートである。このようなデプロイメントは、例えば、上記図3及び図4に関し論じられたトレーニング技術又は同様なトレーニング技術を使用することにより、トレーニングされる間に機械ネットワークにより既に学習されたエンコード及びデコード技術を利用しうる。
方法800は、通信チャネルを介する情報をエンコード又はデコードするようにトレーニングされたエンコーダ機械学習ネットワーク又はデコーダ機械学習ネットワークの少なくとも1つに基づくエンコード又はデコードを実装する少なくとも1つの、エンコーダ及びデコーダを決定することを含む(802)。あるシナリオでは、デプロイされたエンコーダ及び/又はデコーダは既にトレーニングされた機械学習ネットワークを実装する。または、他のシナリオでは、エンコーダ及び/又はデコーダは、上記図7に関し論じられたように、エンコーダ機械学習ネットワーク及び/又はデコーダ機械学習ネットワークを前にトレーニングした結果に基づく単純化されたエンコード/デコードマッピングを利用しうる。
方法800は、第1情報を決定することをさらに含む(804)。上述のように、第1情報は、任意の適切な離散時間、アナログ、離散値、又は連続値の情報でありうる。
次に、エンコーダは第1RF信号を生成するために第1情報を処理する(806)。上述のように、第1RF信号は、チャネルを介して送信されるアナログRF波形、又はアナログRF波形を生成するためにさらに処理を受ける(例えば、フィルタリング、D/A変換、変調など)中間表現(例えば、サンプル、基底係数など)を表しうる。このエンコードプロセスは、入力情報空間からRF信号空間へ、例えば上記図3に関し論じられたトレーニング技術を使って、エンコーダ機械学習ネットワークをトレーニングする間に学習された、任意の適切なマッピング又はマッピングの単純化された形式を利用しうる。
方法800は、少なくとも1つの送信器を使って、通信チャネルを介して第1RF信号を送信することをさらに含む(808)。上記でステップ806に関し論じられたように、第1RF信号の送信は第1RF信号自身を直接送信する(例えば、エンコーダがチャネルを介して送信するのに適切なアナログRF波形として第1RF信号を生成した場合)ことを含みうる、又は送信のために第1RF信号を処理してアナログRF波形へ変換すること(例えば、フィルタリング、D/A変換、変調などを使って)を含みうる。送信は、例えば単一の又は複数のアンテナ、適応的な電力制御の使用などの他の機能又はパラメータを含みうる、任意の適切な送信技術を利用しうる。
方法800は、通信チャネルを介する送信により変更されている第1RF信号を表す、第2RF信号を受信することをさらに含む(810)。デプロイメントシナリオでは、通信は現実世界のチャネル(図3又は図4のトレーニングシナリオと対照的に、チャネルはシミュレートされたチャネル又は現実世界のチャネルでありうる)である。上述のように、第2RF信号は、チャネルを介して受信されるアナログRF波形、又は受信したアナログRF波形を処理(例えばフィルタリング、サンプリング、等化など)した結果である中間表現(例えば、サンプル、基底係数など)を表しうる。
次に、デコーダは受信RF信号を処理するのに使用され、第1情報の復元として第2情報を生成する(812)。このデコードプロセスは、例えば上記図3に関し論じられたトレーニング技術を使って、トレーニングの間にデコーダ機械学習ネットワークにより学習される、RF信号空間から復元される情報空間への任意の適切なマッピング、又はマッピングの単純化された形式を利用しうる。
上記図7に関し論じられたように、ある実装では、デプロイされたシステムは受信された第2RF信号(及び/又は通信に起因する他の情報)をさらに利用して、フィードバックを生成し、エンコーダ及び/又はデコーダを更新しうる。
さらに上記図7に関し論じられてように、ある実装では、エンコーダ及び/又はデコーダはトレーニング中に学習されたエンコード及び/又はデコードマッピングの単純化された形式を利用しうる。例えば、エンコーダは、単純化されたルックアップテーブルを利用し、第1情報に基づいて第1RF信号を生成する。さらに、ある実装では、デコーダは、距離ベースのデコード技術、又はトレーニング中に学習されたより一般的なデコードマッピング基づく又はトレーニング中に学習されたエンコーダマッピングに基づく他の単純化されたデコード技術を利用しうる。したがって、そのような実装では、デプロイされたシステムに実装されるエンコーダとデコーダはフル機械学習ネットワークを実装しないが、代わりにトレーニング中に機械学習ネットワークにより学習されたエンコード及びデコードマッピングの結果を利用しうる。
図9は、RFチャネルを介する学習された通信を実行するシステムの1つ以上のコンポーネントを実装するのに使用されうる計算システムの例を説明する図である。
計算システムは、ここに記載の技術を実装するのに使用できるコンピューティングデバイス900及びモバイルコンピューティングデバイス950を含む。例えば、エンコーダ機械学習ネットワークシステム又はデコーダ機械学習ネットワークシステムの1つ又は複数の部分は、機械学習ネットワークのいずれかに実装されるコンピュータシステム、機械学習ネットワークから情報へアクセスするデバイス、又は機械学習ネットワークにより実行されるエンコード及びデコードに関する情報へアクセス又は情報を格納するサーバなどの、ここで説明されるシステム900の1例でありうる。
コンピューティングデバイス900は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシステント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの、デジタルコンピュータのさまざまな形式を表すことを意図する。モバイルコンピューティングデバイス950は、パーソナルデジタルアシスタント、セルラフォン、スマートフォン、携帯の埋め込み型無線システム、無線診察コンピューティングデバイス、及び他の類似のコンピューティングデバイスなどの、モバイルデバイスのさまざまな形式を表すことを意図する。ここに示されるコンポーネントは、それらの接続と関係、及びそれらの機能は例にすぎず、限定することを意図したものではない。
コンピューティングデバイス900は、プロセッサ902、メモリ904、記憶デバイス906、メモリ904及び複数の高速拡張ポート910に接続する高速インタフェース908、低速拡張ポート914及び記憶デバイス906に接続する低速インタフェース912を含む。プロセッサ902、メモリ904、記憶デバイス906、高速インタフェース908、高速拡張ポート910、及び低速インタフェース912のそれぞれはさまざまなバスを使って相互接続され、共通のマザーボードに又は適切な他の方法で搭載されうる。プロセッサ902は、メモリ904又は記憶デバイス906に格納された命令を含む、コンピューティングデバイス900内での実行のための命令を処理でき、高速インタフェース908に接続されたディスプレイ916のような、外部入出力デバイスにGUIのためのグラフィカル情報を表示する。他の実装では、複数のメモリ及びメモリのタイプと共に、適宜、複数のプロセッサ及び/又は複数のバスが使用できる。加えて、複数のコンピューティングデバイスが接続され、各デバイスは動作の部分(例えば、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして)を提供できる。いくつかの実装では、プロセッサ902はシングルスレッドプロセッサである。いくつかの実装では、プロセッサ902はマルチスレッドプロセッサである。ある実装では、プロセッサは量子コンピュータである。
メモリ904は、コンピューティングデバイス900内の情報を格納する。いくつかの実装では、メモリ904は、1つまたは複数の揮発性メモリユニットである。いくつかの実装では、メモリ904は、1つまたは複数の不揮発性メモリユニットである。メモリ904は、磁気または光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。
ストレージデバイス906は、コンピューティングデバイス900に大容量ストレージを提供することができる。いくつかの実装では、ストレージデバイス906は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたは他の同様のソリッドステートメモリデバイス又はデバイスのアレイ、ストレージエリアネットワーク又は他の構成のデバイスを含む、などのコンピュータ可読媒体であってもよく、またはそれを含んでもよい。情報は情報キャリアに格納されることができる。命令は、1つ以上の処理デバイス(例えば、プロセッサ902)により実行される場合、上記に説明したような1つ以上の方法を実行する。命令はコンピュータ可読媒体又は機械可読媒体(例えば、メモリ904、記憶デバイス906又はプロセッサ902のメモリ)などの1以上の記憶デバイスに格納されてもよい。低速インタフェース912が低い帯域幅インテンシブな動作を管理するのに対して、高速インタフェース908はコンピューティングデバイス900にとって帯域幅インテンシブな動作を管理する。機能のこのような割り当ては例にすぎない。いくつかの実装では、高速インタフェース908はメモリ904、ディスプレイ916(例えば、グラフィックプロセッサ又はアクセラレータを介して)、さまざまな拡張カード(不図示)を受け入れるうる高速拡張ポート910へ接続される。実装では、低速インタフェース912は記憶デバイス906及び低速拡張ポート914へ接続される。さまざまな通信ポート(例えば、USB、ブルートゥース、イーサネット、無線イーサネット)を含みうる低速拡張ポート914は、キーボード、ポインティングデバイス、スキャナなどの1つ以上の入出力デバイス、又は例えばネットワークアダプタを介してスイッチやルータなどのネットワーキングデバイスと接続されうる。
コンピューティングデバイス900は図示されるように多くの異なる形式で実装されうる。例えば、それは標準的サーバ920として、又はそのようなサーバのグループに複数回実装されうる。加えて、ラップトップコンピュータ922のようなパーソナルコンピュータに実装されうる。ラックサーバシステム924の一部としても実装されうる。または、コンピューティングデバイス900からのコンポーネントは、モバイルコンピューティングデバイス950などのモバイルデバイス(不図示)の他のコンポーネントと組み合わせることができる。このようなデバイスのそれぞれは1つ以上のコンピューティングデバイス900及びモバイルコンピューティングデバイス950を含みうる、そして全体のシステムはお互いに通信するマルチコンピューティングデバイスを構成しうる。
モバイルコンピューティングデバイス950は、他のコンポーネントの中にプロセッサ952、メモリ964、ディスプレイ954などの入出力デバイス、通信インタフェース966及び送受信器968を含む。モバイルコンピューティングデバイス950は、追加的な記憶を提供するマイクロドライブ又は他のデバイスなどの記憶デバイスを備えてもよい。プロセッサ952、メモリ964、ディスプレイ954、通信インタフェース966及び送受信器968のそれぞれはさまざまなバスを使って相互接続され、コンポーネントのいくつかは共通のマザーボードに又は適切な方法で搭載されうる。
プロセッサ952は、メモリに記憶された命令を含む、モバイルコンピューティングデバイス950内の命令を実行可能である。プロセッサ952は別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装されてもよい。例えば、プロセッサ952は、ユーザインタフェースの制御、モバイルコンピューティングデバイス950により実行されるアプリケーション、モバイルコンピューティングデバイス950による無線通信などの、モバイルコンピューティングデバイス950の他のコンポーネントの調整を提供してもよい。
プロセッサ952はディスプレイ954に接続された制御インタフェース958及び表示インタフェース956を介してユーザと通信する。例えば、ディスプレイ954はTFT(薄膜トランジスタ液晶ディスプレイ)又はOLED(有機発光ダイオード)ディスプレイ、又は他の適切な表示技術のものでありうる。表示インタフェース956は、ユーザへグラフィカル及び他の情報を提示するためのディスプレイ954を駆動する適切な回路を含みうる。制御インタフェース958はユーザから指示を受け取って、それらをプロセッサ952へ提出するために変換してもよい。さらに、外部インタフェース962は、モバイルコンピューティングデバイス950と他のデバイスとの近距離通信を可能にするように、プロセッサ952との通信を提供しうる。外部インタフェース962は、例えば、いくつかの実装では有線通信を、他の実装では無線通信を提供でき、複数のインタフェースも使用できる。
メモリ964はモバイルコンピューティングデバイス950の中の情報を記憶する。メモリ964は1つ以上のコンピュータ可読媒体、1つ以上の揮発性メモリユニット、又は1つ以上の不揮発性メモリユニットとして実装できる。拡張メモリ974も備えることができ、例えば、SIMM(シングルインラインメモリモジュール)カードインタフェースを含みうる拡張インタフェース972を介してコンピューティングデバイス950と接続できる。拡張メモリ974はモバイルコンピューティングデバイス950に追加の記憶スペースを提供しうる、又はモバイルコンピューティングデバイス950のためのプリケーション又は他の情報も記憶しうる。特に、拡張メモリ974は上記説明したプロセスを実行又は補足するための命令を含むことができ、セキュア情報も含みうる。したがって、例えば、拡張メモリ974は、モバイルコンピューティングデバイス950のセキュリティモジュールとして提供されてもよく、モバイルコンピュータ950のセキュアな使用を許容する命令でプログラムされうる。さらに、SIMMカードにハッキングできない方法で識別情報を配置するなどの追加的情報と共に、SIMMカードを介してセキュアなアプリケーションが提供されうる。
メモリは、例えば、以下に論じられるような、フラッシュメモリ及び/又はNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含みうる。いくつかの実装では、命令は、1つ以上の処理デバイス(例えば、プロセッサ952)により実行されると、上記に説明されたような1つ以上の方法を実行するように、情報担体に記憶される。命令は、1つ以上のコンピュータ可読媒体又は機械可読媒体(例えば、メモリ964、拡張メモリ974、又はプロセッサ952上のメモリ)などの1つ以上の記憶デバイスによっても記憶されうる。いくつかの実装では、例えば、送受信器968又は外部インタフェース962を介して、命令は伝搬される信号で受信されうる。
モバイルコンピューティングデバイス950は、必要ならデジタル信号プロセッサ回路を含みうる、通信インタフェース966を介して無線で通信しうる。通信インタフェース966は、GSM(モバイル通信用グローバルシステム)音声コール、SMS(ショートメッセージサービス)、EMS(拡張されたメッセージサービス)、又はMMSメッセージ(マルチメディアメッセージシステム)、CDMA(符号分割多元接続)、TDMA(時分割多元接続)、PDC(パーソナルデジタルセルラ)、WCDMA(ワイドバンド符号分割多元アクセス)、CDMA2000又はGPRS(ジェネラルパケット無線サービス)、LTE、5G/6Gセルラ、などの様々なモードやプロトコル下での通信を提供しうる。このような通信は、例えば、無線周波数を使って送受信器968を介して行われうる。加えて、ブルートゥース、WiFi、又は他のそのような送受信器(不図示)を使うなどの短距離通信が行われうる。さらに、GPS(全地球測位システム)受信モジュール970は、モバイルコンピューティングデバイス950に追加のナビゲーション関連無線データ及びロケーション関連無線データを提供することができ、モバイルコンピューティングデバイス950上で実行されるアプリケーションにより適切に使用されうる。
モバイルコンピューティングデバイス950は、ユーザから話された情報を受け取り、利用可能なデジタル情報へ変換する、音声コーデック960を使用して音により通信してもよい。同様に音声コーデック960はユーザへ、例えば、モバイルコンピューティングデバイス950のハンドセットのスピーカを通じてなど、可聴音を生成しうる、このような音は、音声電話呼からの音、記録された音(例えば、音声メッセージ、音楽ファイルなど)を含むことができ、モバイルコンピューティングデバイス950で動作するアプリケーションにより生成された音をも含みうる。
モバイルコンピューティングデバイス950は図に示されるように、多くの異なる形式に実装できる。例えば、携帯電話980として実装されうる。それはスマートフォン982、パーソナルデジタルアシスタント、又は他の類似のモバイルデバイスの一部分としても実装できる。
本開示で使用される「システム」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、又はマルチプロセッサ又はコンピュータを含む、データを処理するすべての装置、デバイス及び機械を含むことができる。処理システムは、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組み合わせを構成するコード、を含むことができる。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、実行可能なロジック又はコードとしても知られる)は、コンパイル言語、インタープリタ言語、又は宣言型又は手続型言語を含む、プログラミング言語の任意の形式で記述され、それは、スタンドアロンプログラム、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境で使用するのに適した他のユニットを含む、任意の形式でデプロイされうる。コンピュータプログラムはファイルシステムのファイルに対応する必要はない。プログラムは、他のプログラムやデータを保持するファイルの一部(例えば、マークアップ言語ドキュメントに格納された1つ以上のスクリプト)、問題のプログラム専用の単一のファイル、又は複数の協働されるファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの一部を記憶する複数ファイル、)に記憶できる。コンピュータプログラムは、1つのコンピュータで又は、1つのサイト又は複数のサイトにわたって分散されて配置され通信ネットワークにより相互接続された複数コンピュータで実行されるようデプロイされうる。
コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体は、不揮発性又は揮発性メモリ、メディア、及び、メモリデバイスのすべての形式を含む、例として、例えばEPROM、EEPROM及びフラッシュメモリデバイスなどの半導体メモリデバイス、磁気ディスク、例えば、内蔵ハードディスク、又は着脱可能なディスク又は磁気テープ、磁気光ディスク、及びCD−ROM及びDVD−ROMディスクを含む。プロセッサとメモリは特別な目的の論理回路により補われ、又は特別な目的の論理回路に組み込むことができる。サーバは汎用目的コンピュータであったり、オーダーメードで作られた特別な目的の電子デバイスだったり、それらの組み合わせだったりする。
実装は、例えばデータサーバなどのバックエンドコンポーネント、例えばアプリケーションサーバなどのミドルウエアコンポーネント、例えばグラフィカルユーザインタフェース又はウエブブラウザを通して本明細書に説明された主題の実装とインタラクトできるクライアントコンピュータなどのフロントエンドコンポーネント、又はこのようなバックエンド、ミドルウエア又はフロントエンドコンポーネントの1つ以上の任意の組み合わせを含むことができる。システムのコンポーネントはデジタルデータ通信の任意の形式又は媒体、例えば通信ネットワーク、により相互接続できる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)及びワイドエリアネットワーク(WAN)、例えばインターネット、を含む。
説明した特徴はデジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせに実装できる。装置は、情報担体に現実的に具体化されるコンピュータプログラム製品、例えば、プログラマブルプロセッサにより実行される機械可読記憶デバイスなどに実装でき、方法のステップは、入力データに作用して出力を生成することにより、説明された実装の機能を実行するための命令のプログラムをプログラマブルプロセッサが実行することにより実行されうる。説明された特徴は、データ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスからデータと命令を受信し、データ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスへデータと命令を送信するように接続された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行される1つ以上のコンピュータプログラムに有利に実装することができる。コンピュータプログラムは、所定のアクティビティを行ったり、又は所定の効果をもたらすためにコンピュータで、直接又は間接に使用されうる命令のセットである。コンピュータプログラムは、コンパイル又はインタープリター言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして又はモジュールとして、コンポーネント、サブルーチン又はコンピューティング環境で使用するのに適切な他のユニットを含む、任意の形式でデプロイできる。
この開示には多くの特定の実施の詳細が含まれるが、これらは発明又は請求の範囲を制限としてではなく、特定の発明の特定の実施に特有な特徴の説明として解釈されるべきである。別個の実装のコンテクストにおける開示で説明される特定の特徴は、単一の実施に組み合わせて実施することができる。一方、単一の実装のコンテクストで説明されるさまざまな特徴は、複数の実施で別個に又は任意の適切なサブコンビネーションで実施しうる。さらに、特徴は所定の組み合わせで動作するとして上記で説明され、最初にそのようにクレームされているけれども、クレームされた組み合わせの1つ以上の特徴は、場合によっては、組み合わせから削除され、クレームされた組み合わせはサブコンビネーション又はサブコンビネーションのバリエーションへ向けられうる。
同様に、動作は特定の順序で図面に描かれているが、所望の結果をもたらすために、示された特定の順序で又はシーケンシャルな順でこの動作が行われることが、又はすべての図示された動作が行われることが、必要と理解されるべきではない。特定の状況では、マルチタスクやパラレル処理が有利でありうる。さらに、上記に説明した実装におけるさまざまなシステムモジュール及びコンポーネントの分離は、すべての実装においてこのような分離が必要として理解されるべきではない。説明されたプログラムコンポーネント及びシステムは一般に単一のソフトウェアプロダクトに統合又は複数のソフトウェアプロダクトにパッケージ化できると理解すべきである。

Claims (30)

  1. 少なくとも1つの機械学習ネットワークを、通信チャネルを介して通信するためにトレーニングする少なくとも1つのプロセッサにより行われる方法であって、前記方法は、
    第1情報を決定すること、
    エンコーダ機械学習ネットワークを使って、前記第1情報を処理して通信チャネルを介する送信のための第1RF信号を生成すること、
    前記通信チャネルを介する送信により変更されている第1RF信号を表す第2RF信号を決定すること、
    デコーダ機械学習ネットワークを使って、前記第2RF信号を処理して前記第1情報の復元として第2情報を生成すること、
    前記第2情報と前記第1情報の間の距離の大きさを計算すること、及び
    前記第2情報と前記第1情報の間の前記距離の大きさに基づいて、前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、を含む方法。
  2. 前記第2情報と前記第1情報の間の前記距離の大きさに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新することは、
    前記第2情報と前記第1情報の間の前記距離の大きさを含む目的関数を決定すること、
    前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つにおける変化量に対する前記目的関数の変化率を計算すること、
    前記目的関数の前記計算された変化率に基づいて、前記エンコーダ機械学習ネットワークに対する第1変化量又は前記デコーダ機械学習ネットワークに対する第2変化量の少なくとも1つを選択すること、及び
    前記エンコーダ機械学習ネットワークに対して前記選択された第1変化量又は前記デコーダ機械学習ネットワークに対して前記選択された第2変化量の少なくとも1つに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、を含むことを特徴とする請求項1に記載の方法。
  3. 前記第2情報と前記第1情報の間の前記距離の大きさは、(i)前記第2情報と前記第1情報の間のクロスエントロピー、又は(ii)前記第2情報と前記第1情報の間の幾何学的距離メトリック、の少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  4. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新することは、
    前記エンコーダ機械学習ネットワークの1つ以上のレイヤにおける少なくとも1つのエンコードネットワーク重み又はネットワーク接続性を更新すること、又は、
    前記デコーダ機械学習ネットワークの1以上のレイヤにおける少なくとも1つのデコードネットワーク重み又はネットワーク接続性を更新すること、の少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  5. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新することは、
    複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、及び、
    前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、
    をさらに含むことを特徴とする請求項1に記載の方法。
  6. 前記エンコーダ機械学習ネットワーク及び前記デコーダ機械学習ネットワークは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされ、
    前記オートエンコーダは、送信された波形の前記通信チャネルの影響を表す少なくとも1つのチャネルモデル化レイヤを含む、ことを特徴とする請求項1に記載の方法。
  7. 前記少なくとも1つのチャネルモデル化レイヤは(i)前記通信チャネルの加法性ガウス熱雑音、(ii)前記通信チャネルの時間変化の影響により生じる遅延スプレッド、(iii)前記通信チャネルを介する送信及び受信により生じる位相雑音、又は(iv)前記通信チャネルを介する送信及び受信により生じる、位相、周波数又はタイミングのオフセット、の少なくとも1つを表すことを特徴とする請求項6に記載の方法。
  8. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つは、ディープデンスニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、又はパラメトリック乗算、加算、及び非線形を含むリカレントニューラルネットワーク(RNN)、の少なくとも1つを含む、請求項1に記載の方法。
  9. 前記第1RF信号を処理して、前記通信チャネルに入力される第1アナログRF波形を生成すること、
    前記通信チャネルにより変更されている第1アナログRF波形を表す前記通信チャネルの出力として第2アナログRF波形を受信すること、及び
    前記第2アナログRF波形を処理して第2RF信号を生成すること、をさらに含むことを特徴とする請求項1に記載の方法。
  10. 前記通信チャネルは、無線通信チャネル、音響通信チャネル、又は光通信チャネルの少なくとも1つを含むことを特徴とする請求項1に記載の方法。
  11. 通信チャネルを介して情報を送信及び受信する方法であって、
    通信チャネルを介して情報をエンコード又はデコードすることをトレーニングされたエンコーダ機械学習ネットワーク又はデコーダ機械学習ネットワークの少なくとも1つに基づいて、少なくとも一方がエンコード又はデコードを実装するように構成された、エンコーダ及びデコーダを決定すること、
    第1情報を決定すること、
    前記エンコーダを使って第1情報を処理し、第1RF信号を生成すること、
    少なくとも1つの送信器により、前記通信チャネルを介して前記第1RF信号を送信すること、
    少なくとも1つの受信器により、前記通信チャネルを介した送信により変更された前記第1RF信号を表す第2RF信号を受信すること、及び
    デコーダを使って前記第2RF信号を処理し、前記第1情報の復元として第2情報を生成すること、を含む方法。
  12. (i)前記第2情報と前記第1情報の間の距離の大きさ、又は(ii)前記通信チャネルに関するチャネル状態情報、の少なくとも1つを示すフィードバック情報を決定すること、及び
    前記フィードバック情報に基づいて前記エンコーダ又は前記デコーダの少なくとも一方を更新すること、をさらに含むことを特徴とする請求項11に記載の方法。
  13. 前記フィードバック情報に基づいて前記エンコーダ又は前記デコーダの少なくとも1つを更新することは、
    前記フィードバック情報に基づいて、複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、及び
    前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ又は前記デコーダの少なくとも1つを更新すること、をさらに含むことを特徴とする請求項12に記載の方法。
  14. 前記エンコーダはエンコーダ機械学習ネットワークをトレーニングした結果に基づくエンコードマッピングを実装し、前記デコーダはデコーダ機械学習ネットワークをトレーニングした結果に基づくデコードマッピングを実装し、
    前記エンコーダ機械学習ネットワークと前記デコーダ機械学習ネットワークとは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされたことを特徴とする請求項11に記載の方法。
  15. 前記第1RF信号を処理して第1アナログRF波形を生成すること、
    1つ以上の送信アンテナを使って、前記通信チャネルを介して第1アナログRF波形を送信すること、
    1つ以上の受信アンテナを使って、前記通信チャネルにより変更されている前記第1アナログRF波形を表す第2アナログRF波形を受信すること、及び
    前記第2アナログRF波形を処理して、第2RF信号を生成すること、をさらに含むことを特徴とする請求項11に記載の方法。
  16. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに接続された少なくとも1つのコンピュータメモリであって、前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに、
    第1情報を決定すること、
    エンコーダ機械学習ネットワークを使って前記第1情報を処理し、通信チャネルを介して送信する第1RF信号を生成すること、
    前記通信チャネルを介した送信により変更された前記第1RF信号を表す第2RF信号を決定すること、
    デコーダ機械学習ネットワークを使って前記第2RF信号を処理し、第1情報の復元として第2情報を生成すること、
    前記第2情報と前記第1情報の間の距離の大きさを計算すること、及び
    前記第2情報と前記第1情報の間の前記距離の大きさに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、を含む動作を実行させる命令を格納したコンピュータメモリと、を備えることを特徴としたシステム。
  17. 前記第2情報と前記第1情報の間の前記距離の大きさに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも一方を更新することは、
    前記第2情報と前記第1情報の間の前記距離の大きさを含む目的関数を決定すること、
    前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つにおける変化量に対する前記目的関数の変化率を計算すること、
    前記目的関数の前記計算された変化率に基づいて、前記エンコーダ機械学習ネットワークに対する第1変化量又は前記デコーダ機械学習ネットワークに対する第2変化量の少なくとも1つを選択すること、及び
    前記エンコーダ機械学習ネットワークに対して前記選択された第1変化量又は前記デコーダ機械学習ネットワークに対して前記選択された第2変化量の少なくとも1つに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、を含むことを特徴とする請求項16に記載のシステム。
  18. 前記第2情報及び前記第1情報の間の前記距離の大きさは、(i)前記第2情報と前記第1情報の間のクロスエントロピー、又は(ii)前記第2情報と前記第1情報の間の幾何学的距離メトリック、の少なくとも1つを含むことを特徴とする請求項16に記載のシステム。
  19. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新することは、
    前記エンコーダ機械学習ネットワークの1つ以上のレイヤにおける少なくとも1つのエンコードネットワーク重み又はネットワーク接続性を更新すること、又は
    前記デコーダ機械学習ネットワークの1つ以上のレイヤにおける少なくとも1つのデコードネットワーク重み又はネットワーク接続性を更新すること、の少なくとも1つを含むことを特徴とする請求項16に記載のシステム。
  20. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新することは、
    複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、及び
    前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つを更新すること、をさらに含むことを特徴とする請求項16に記載のシステム。
  21. 前記エンコーダ機械学習ネットワーク及び前記デコーダ機械学習ネットワークは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされ、
    前記オートエンコーダは、送信された波形の前記通信チャネルの影響を表す少なくとも1つのチャネルモデル化レイヤを含む、ことを特徴とする請求項16に記載のシステム。
  22. 前記少なくとも1つのチャネルモデル化レイヤは、(i)前記通信チャネルの加法性ガウス熱雑音、(ii)前記通信チャネルの時間変化の影響により生じる遅延スプレッド、(iii)前記通信チャネルを介する送信及び受信により生じる位相雑音、又は(iv)前記通信チャネルを介する送信及び受信により生じる、位相、周波数又はタイミングのオフセット、の少なくとも1つを表すことを特徴とする請求項21に記載のシステム。
  23. 前記エンコーダ機械学習ネットワーク又は前記デコーダ機械学習ネットワークの少なくとも1つは、ディープデンスニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、又はパラメトリック乗算、加算、及び非線形を含むリカレントニューラルネットワーク(RNN)、の少なくとも1つを含む、請求項16に記載のシステム。
  24. 前記第1RF信号を処理して、前記通信チャネルに入力される第1アナログRF波形を生成すること、
    前記通信チャネルにより変更されている前記第1アナログRF波形を表す、前記通信チャネルの出力として第2アナログRF波形を受信すること、及び
    前記第2アナログRF波形を処理して第2RF信号を生成すること、をさらに含むことを特徴とする請求項16に記載のシステム。
  25. 前記通信チャネルは、無線通信チャネル、音響通信チャネル、又は光通信チャネルの少なくとも1つを含むことを特徴とする請求項16に記載のシステム。
  26. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに接続された少なくとも1つのコンピュータメモリであって、前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに、
    通信チャネルを介する情報をエンコード又はデコードするトレーニングをされたエンコーダ機械学習ネットワーク又はデコーダ機械学習ネットワークの少なくとも1つに基づいて、少なくとも一方がエンコード又はデコードを実行するように構成された、エンコーダ及びデコーダを決定すること、
    第1情報を決定すること、
    前記エンコーダを使って第1情報を処理し、第1RF信号を生成すること、
    少なくとも1つの送信器により、前記通信チャネルを介して前記第1RF信号を送信すること、
    少なくとも1つの受信器により、前記通信チャネルを介した送信により変更された前記第1RF信号を表す第2RF信号を受信すること、
    デコーダを使って前記第2RF信号を処理し、前記第1情報の復元として第2情報を生成すること、を含む動作を実行させる命令を格納したコンピュータメモリと、を備えることを特徴としたシステム。
  27. 前記動作は、(i)前記第2情報と前記第1情報の間の距離の大きさ、又は(ii)前記通信チャネルに関するチャネル状態情報、の少なくとも1つを示すフィードバック情報を決定すること、及び
    前記フィードバック情報に基づいて前記エンコーダ又は前記デコーダの少なくとも一方を更新すること、をさらに含むことを特徴とする請求項26に記載のシステム。
  28. 前記フィードバック情報に基づいてエンコーダ又はデコーダの少なくとも1つを更新することは、
    前記フィードバック情報に基づいて複数のチャネルモードの中から、前記通信チャネルの状態を表すチャネルモードを決定すること、
    前記通信チャネルの前記チャネルモードに基づいて前記エンコーダ又は前記デコーダの少なくとも1つを更新すること、をさらに含むことを特徴とする請求項27に記載のシステム。
  29. 前記エンコーダはエンコーダ機械学習ネットワークをトレーニングした結果に基づくエンコードマッピングを実装し、前記デコーダはデコーダ機械学習ネットワークをトレーニングした結果に基づくデコードマッピングを実装し、
    前記エンコーダ機械学習ネットワークと前記デコーダ機械学習ネットワークとは、通信チャネルを介する通信を学習するオートエンコーダとして一緒にトレーニングされたことを特徴とする請求項27に記載のシステム。
  30. 前記動作は、前記第1RF信号を処理して第1アナログRF波形を生成すること、
    1つ以上の送信アンテナを使って、前記通信チャネルを介して第1アナログRF波形を送信すること、
    1つ以上の受信アンテナを使って、前記通信チャネルにより変更されている前記第1アナログRF波形を表す第2アナログRF波形を受信すること、及び
    前記第2アナログRF波形を処理して、第2RF信号を生成すること、をさらに含むことを特徴とする請求項27に記載のシステム。
JP2019559296A 2017-05-03 2018-05-03 適応的無線通信の学習とデプロイメント Active JP6758524B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762500621P 2017-05-03 2017-05-03
US62/500,621 2017-05-03
PCT/US2018/030876 WO2018204632A1 (en) 2017-05-03 2018-05-03 Learning and deployment of adaptive wireless communications

Publications (2)

Publication Number Publication Date
JP2020520497A true JP2020520497A (ja) 2020-07-09
JP6758524B2 JP6758524B2 (ja) 2020-09-23

Family

ID=64014789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559296A Active JP6758524B2 (ja) 2017-05-03 2018-05-03 適応的無線通信の学習とデプロイメント

Country Status (6)

Country Link
US (3) US10217047B2 (ja)
EP (1) EP3619656A4 (ja)
JP (1) JP6758524B2 (ja)
KR (1) KR102165645B1 (ja)
CN (1) CN111512323A (ja)
WO (1) WO2018204632A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072539A (ja) * 2019-10-30 2021-05-06 キヤノン株式会社 画像符号化装置、復号装置、伝送システム、及びその制御方法
JPWO2022130572A1 (ja) * 2020-12-17 2022-06-23

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10879620B2 (en) * 2017-03-22 2020-12-29 Nec Corporation Antenna directivity adjustment apparatus and antenna directivity adjustment method
US10572830B2 (en) 2017-04-24 2020-02-25 Virginia Tech Intellectual Properties, Inc. Learning and deploying compression of radio signals
WO2018204632A1 (en) 2017-05-03 2018-11-08 Oshea Timothy James Learning and deployment of adaptive wireless communications
US11228379B1 (en) 2017-06-23 2022-01-18 DeepSig Inc. Radio signal processing network model search
US10749594B1 (en) * 2017-08-18 2020-08-18 DeepSig Inc. Learning-based space communications systems
US10429486B1 (en) 2017-08-18 2019-10-01 DeepSig Inc. Method and system for learned communications signal shaping
WO2019151984A1 (en) * 2018-01-30 2019-08-08 Google Llc Dynamic placement of computation sub-graphs
FR3088463A1 (fr) * 2018-11-09 2020-05-15 Adagos Procede de construction de reseau de neurones pour la simulation de systemes reels
WO2020094995A1 (fr) * 2018-11-09 2020-05-14 Adagos Procédé de construction de réseau de neurones pour la simulation de systèmes physiques
US11599773B2 (en) * 2018-12-27 2023-03-07 Micron Technology, Inc. Neural networks and systems for decoding encoded data
CN111416642B (zh) * 2019-01-04 2023-02-17 财团法人工业技术研究院 基于深度学习与信道状态信息的通信系统及编解码方法
US12045726B2 (en) * 2019-02-08 2024-07-23 DeepSig Inc. Adversarially generated communications
WO2020183059A1 (en) 2019-03-14 2020-09-17 Nokia Technologies Oy An apparatus, a method and a computer program for training a neural network
US10833785B1 (en) * 2019-04-23 2020-11-10 DeepSig Inc. Processing communications signals using a machine-learning network
CN110351658B (zh) * 2019-06-03 2020-12-01 西北大学 一种基于卷积神经网络的室内定位方法
CN110351212A (zh) * 2019-08-10 2019-10-18 南京理工大学 快衰落信道下基于卷积神经网络的信道估计方法
US11005697B2 (en) 2019-09-03 2021-05-11 Cisco Technology, Inc. Orthogonal frequency-division multiplexing equalization using deep neural network
WO2021049984A1 (en) * 2019-09-12 2021-03-18 Telefonaktiebolaget Lm Ericsson (Publ) Provision of precoder selection policy for a multi-antenna transmitter
CN110620632B (zh) * 2019-09-12 2021-02-23 华为技术有限公司 一种时间同步方法及装置
GB2587008B (en) * 2019-09-12 2024-03-27 Airbus Defence & Space Ltd Soft-decision decoding
CN110728314B (zh) * 2019-09-30 2022-10-25 西安交通大学 一种大规模免调度系统活跃用户检测方法
US10924152B1 (en) * 2019-11-13 2021-02-16 Micron Technology, Inc. Mixing coefficient data for processing mode selection
US11424764B2 (en) * 2019-11-13 2022-08-23 Micron Technology, Inc. Recurrent neural networks and systems for decoding encoded data
JP6854969B1 (ja) * 2019-12-04 2021-04-07 三菱電機株式会社 送信装置、送信方法および記憶媒体
US20210185700A1 (en) * 2019-12-13 2021-06-17 Qualcomm Incorporated Scheduling request associated with artificial intelligence information
US11468328B2 (en) 2020-02-24 2022-10-11 Qualcomm Incorporated Managing information transmission for wireless communication
US11356305B2 (en) 2020-02-24 2022-06-07 Qualcomm Incorporated Method to convey the TX waveform distortion to the receiver
US11533658B2 (en) 2020-02-24 2022-12-20 Qualcomm Incorporated Compressed measurement feedback using an encoder neural network
US11653228B2 (en) * 2020-02-24 2023-05-16 Qualcomm Incorporated Channel state information (CSI) learning
US11936452B2 (en) * 2020-02-28 2024-03-19 Qualcomm Incorporated Neural network based channel state information feedback
KR20230002385A (ko) * 2020-04-17 2023-01-05 퀄컴 인코포레이티드 채널 상태 피드백(csf) 학습을 위한 구성가능 뉴럴 네트워크
CN111582200B (zh) * 2020-05-12 2023-11-21 北京邮电大学 人体姿态估计方法、装置、电子设备及介质
WO2021251510A1 (ko) * 2020-06-08 2021-12-16 엘지전자 주식회사 무선 통신 시스템에서 상향링크 데이터 또는 하향링크 데이터를 전송하는 방법 및 이를 위한 장치
US12057989B1 (en) * 2020-07-14 2024-08-06 Hrl Laboratories, Llc Ultra-wide instantaneous bandwidth complex neuromorphic adaptive core processor
US11863221B1 (en) * 2020-07-14 2024-01-02 Hrl Laboratories, Llc Low size, weight and power (swap) efficient hardware implementation of a wide instantaneous bandwidth neuromorphic adaptive core (NeurACore)
WO2022037785A1 (en) * 2020-08-20 2022-02-24 Nokia Technologies Oy Neural-network-based receivers
US20220070822A1 (en) * 2020-08-31 2022-03-03 Qualcomm Incorporated Unsupervised learning for simultaneous localization and mapping in deep neural networks using channel state information
CN114337911A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 一种基于神经网络的通信方法以及相关装置
CN112188487B (zh) * 2020-12-01 2021-03-12 索信达(北京)数据技术有限公司 一种提高用户鉴权准确性的方法与系统
CN112600772B (zh) * 2020-12-09 2022-05-17 齐鲁工业大学 一种基于数据驱动神经网络的ofdm信道估计与信号检测方法
CN112713966B (zh) * 2020-12-30 2023-07-25 大连大学 基于似然估计修正信噪比的编码调制切换方法
KR102520316B1 (ko) * 2021-02-09 2023-04-11 한양대학교 에리카산학협력단 집중화 모델 학습 장치 및 그 방법
CN113052081B (zh) * 2021-03-26 2024-03-15 江苏师范大学 一种基于柯西Score星座图的调制方式识别方法
WO2022221388A1 (en) * 2021-04-13 2022-10-20 Google Llc Wireless system employing end-to-end neural network configuration for data streaming
US11563449B2 (en) 2021-04-27 2023-01-24 Micron Technology, Inc. Systems for error reduction of encoded data using neural networks
US11973513B2 (en) 2021-04-27 2024-04-30 Micron Technology, Inc. Decoders and systems for decoding encoded data using neural networks
EP4359998A1 (en) * 2021-06-25 2024-05-01 Telefonaktiebolaget LM Ericsson (publ) Training network-based decoders of user equipment (ue) channel state information (csi) feedback
WO2023004638A1 (zh) * 2021-07-28 2023-02-02 Oppo广东移动通信有限公司 信道信息反馈的方法、发端设备和收端设备
CN117837130A (zh) * 2021-09-02 2024-04-05 Oppo广东移动通信有限公司 模型处理方法、电子设备、网络设备和终端设备
US11755408B2 (en) 2021-10-07 2023-09-12 Micron Technology, Inc. Systems for estimating bit error rate (BER) of encoded data using neural networks
CN113872911B (zh) * 2021-10-15 2023-10-24 齐鲁工业大学 模型驱动的正交频分复用系统高峰均比抑制方法及系统
WO2023083431A1 (en) * 2021-11-09 2023-05-19 Nokia Technologies Oy Reconfigurable demodulation and decoding
EP4436234A1 (en) * 2021-11-15 2024-09-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Model updating method for wireless channel processing, apparatus, terminal, and medium
CN117897917A (zh) * 2021-11-30 2024-04-16 Oppo广东移动通信有限公司 用于无线信道处理的模型更新方法、装置、设备及介质
WO2023113668A1 (en) * 2021-12-15 2023-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Communications nodes and methods for proprietary machine learning-based csi reporting
CN116961711A (zh) * 2022-04-19 2023-10-27 华为技术有限公司 一种通信方法及装置
CN114978342B (zh) * 2022-04-29 2023-09-26 上海交通大学 相干光通信数字多载波系统中光滤波损伤补偿方法和系统
WO2024000437A1 (en) * 2022-06-30 2024-01-04 Huawei Technologies Co., Ltd. Representing underlying logical constructs related to temporal sensing and measuring of a radio environment
WO2024087154A1 (en) * 2022-10-28 2024-05-02 Qualcomm Incorporated Control information reporting test framework
WO2024150202A1 (en) * 2023-02-16 2024-07-18 Lenovo (Singapore) Pte. Ltd. A method for a flexible and adaptable end-to-end communication using a two-sided machine learning model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174050A1 (en) * 2016-12-15 2018-06-21 Google Inc. Adaptive Channel Coding Using Machine-Learned Models

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950003285B1 (ko) 1993-03-25 1995-04-07 삼성전자 주식회사 압축기
US6104991A (en) * 1998-02-27 2000-08-15 Lucent Technologies, Inc. Speech encoding and decoding system which modifies encoding and decoding characteristics based on an audio signal
US6307895B1 (en) 1998-04-01 2001-10-23 The United States Of America As Represented By The Secretary Of The Navy Complex Fourier coefficient extractor
US6850735B2 (en) 2002-04-22 2005-02-01 Cognio, Inc. System and method for signal classiciation of signals in a frequency band
GB2398976B (en) * 2003-02-28 2006-03-08 Samsung Electronics Co Ltd Neural network decoder
US7554989B2 (en) * 2005-01-18 2009-06-30 Creative Technology Ltd. Real time optimization over a shared communication channel
US7487066B2 (en) 2005-04-28 2009-02-03 Caterpillar Inc. Classifying a work machine operation
TWI364919B (en) * 2008-05-16 2012-05-21 Hon Hai Prec Ind Co Ltd Radio signal transceiver and communication system employing the same
US8209080B2 (en) * 2009-04-27 2012-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. System for determining most probable cause of a problem in a plant
CN101741782B (zh) 2009-11-24 2012-08-15 东南大学 双层多载波超宽带无线通信方法
US8494464B1 (en) 2010-09-08 2013-07-23 Rockwell Collins, Inc. Cognitive networked electronic warfare
JP6183983B2 (ja) 2014-09-12 2017-08-23 株式会社日立国際電気 無線通信装置及び方法
US10338191B2 (en) 2014-10-30 2019-07-02 Bastille Networks, Inc. Sensor mesh and signal transmission architectures for electromagnetic signature analysis
US10082551B2 (en) 2015-10-19 2018-09-25 Ecole Polytechnique Federale De Lausanne (Epfl) Learning-based subsampling
EP3412063A4 (en) * 2016-02-03 2019-09-18 TrellisWare Technologies, Inc. METHOD AND SYSTEM FOR COMMUNICATION USING HETEROGENEOUS BONDS
CN106126807B (zh) * 2016-06-22 2019-04-09 北京邮电大学 一种基于大数据挖掘的无线信道建模方法
CN106060852A (zh) * 2016-07-08 2016-10-26 北京全路通信信号研究设计院集团有限公司 一种参数调整方法、基站和移动终端
WO2018063445A1 (en) 2016-09-27 2018-04-05 Bae Systems Information And Electronic Systems Integration Inc. Techniques for implementing a portable spectrum analyzer
JP2018074522A (ja) 2016-11-02 2018-05-10 日本電気株式会社 ゲートウェイ装置、移動管理装置、基地局、通信方法、制御方法、ページング方法、及びプログラム
US20180144241A1 (en) * 2016-11-22 2018-05-24 Mitsubishi Electric Research Laboratories, Inc. Active Learning Method for Training Artificial Neural Networks
US10382478B2 (en) 2016-12-20 2019-08-13 Cisco Technology, Inc. Detecting malicious domains and client addresses in DNS traffic
US11832969B2 (en) 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
US10572830B2 (en) 2017-04-24 2020-02-25 Virginia Tech Intellectual Properties, Inc. Learning and deploying compression of radio signals
WO2018204632A1 (en) 2017-05-03 2018-11-08 Oshea Timothy James Learning and deployment of adaptive wireless communications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174050A1 (en) * 2016-12-15 2018-06-21 Google Inc. Adaptive Channel Coding Using Machine-Learned Models

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072539A (ja) * 2019-10-30 2021-05-06 キヤノン株式会社 画像符号化装置、復号装置、伝送システム、及びその制御方法
JPWO2022130572A1 (ja) * 2020-12-17 2022-06-23
WO2022130572A1 (ja) * 2020-12-17 2022-06-23 三菱電機株式会社 送信装置、送信方法、制御回路および記憶媒体
JP7258249B2 (ja) 2020-12-17 2023-04-14 三菱電機株式会社 送信装置、送信方法、制御回路および記憶媒体

Also Published As

Publication number Publication date
KR102165645B1 (ko) 2020-10-14
JP6758524B2 (ja) 2020-09-23
KR20200004340A (ko) 2020-01-13
EP3619656A4 (en) 2021-01-20
WO2018204632A1 (en) 2018-11-08
EP3619656A1 (en) 2020-03-11
US11423301B2 (en) 2022-08-23
US20230055213A1 (en) 2023-02-23
US20190188565A1 (en) 2019-06-20
CN111512323A (zh) 2020-08-07
US20180322388A1 (en) 2018-11-08
US10217047B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
JP6758524B2 (ja) 適応的無線通信の学習とデプロイメント
US11863258B2 (en) Encoding and decoding of information for wireless transmission using multi-antenna transceivers
US10531415B2 (en) Learning communication systems using channel approximation
US11699086B1 (en) Learning approximate estimation networks for communication channel state information
US12045726B2 (en) Adversarially generated communications
US10746843B2 (en) Method and system for learned communications signal shaping
US11575547B2 (en) Data transmission network configuration
US11973540B1 (en) Radio signal processing network model search
JP2024522352A (ja) 機械学習ネットワークを使用した可変通信チャネル応答の生成

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6758524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250