JP2022529870A - 人工神経ネットワークのための光子テンソルアクセラレータ - Google Patents
人工神経ネットワークのための光子テンソルアクセラレータ Download PDFInfo
- Publication number
- JP2022529870A JP2022529870A JP2021543463A JP2021543463A JP2022529870A JP 2022529870 A JP2022529870 A JP 2022529870A JP 2021543463 A JP2021543463 A JP 2021543463A JP 2021543463 A JP2021543463 A JP 2021543463A JP 2022529870 A JP2022529870 A JP 2022529870A
- Authority
- JP
- Japan
- Prior art keywords
- optical
- dof
- freedom
- dimension
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 239000013598 vector Substances 0.000 claims abstract description 75
- 230000001427 coherent effect Effects 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims description 254
- 238000013507 mapping Methods 0.000 claims description 13
- 230000010287 polarization Effects 0.000 claims description 12
- 230000003362 replicative effect Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000004913 activation Effects 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/516—Details of coding or modulation
- H04B10/54—Intensity modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/58—Compensation for non-linear transmitter output
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Nonlinear Science (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
Description
この出願は、この出願と同じ出願人に譲渡されて引用によって本明細書にその教示が全体的に組み込まれている代理人整理番号UCF34129PROVで2019年5月3日に出願された「人工神経ネットワークのための光子テンソルアクセラレータ(Photonic Tensor Accelerators for Artificial Neural Networks)」という名称の米国仮特許出願第62/842,771号に関連し、かつそれに対する優先権を主張するものである。
「ビーム結合器」という用語は、コヒーレントビームが互いに干渉し合うことを可能にするデバイスである。ビーム結合器は、非限定的に反射光学系、屈折光学系、回折光学要素、光ファイバデバイス、又はそのような構成要素の組合せによって実施することができる。
電子ハードウエアアクセラレータ(TPU及びGPU)が演じる重要な役割は、ANNでの将来の開発がソフトウエアとハードウエアの両方の進歩に依存することを明確に示している。しかし、現在、電子ハードウエアアクセラレータは、拡張性に関して既にその限界まで押しやられている。こうした経緯を踏まえて、光相互接続を益々短くなる長さスケールまで押し進めること、並びに光ニューロモルフィックコンピュータ[18]~[23]及び光リザーバコンピュータ[24]~[30]
1.相互接続、
2.マトリクス-ベクトル乗算及びマトリクス-マトリクス乗算、及び
3.非線形性
3つの一般的なANNモデル[31]、すなわち、(a)各ニューロンの出力が直前層からの全てのニューロンの線形結合の非線形応答である完全接続(FC)ネットワークとしても公知の多層パーセプトロン、(b)各ニューロンの出力が直前層からのニューロンの部分集合の指定線形結合(すなわち、カーネルとこの部分集合との畳み込み)の非線形応答である畳み込み神経ネットワーク(CNN)、及び(c)各ニューロンの出力が直前層からのニューロンと同じ層からのものであるが前回のものであるニューロンとの両方の線形結合の非線形応答である回帰型神経ネットワーク(RNN)がある。図1は、畳み込み隠れ層と完全接続出力層とを有するANNを示している。
と入力ベクトルのバッチ:
の間のマトリクス乗算に数学的に還元することができる。神経ネットワークにおいてマトリクス計算速度を改善するために、データ変換とスレッド並列化スキームとがCPU及びGPUに実施される[32]、[33]。処理並列化及びクロック速度を押し進めることはできるが、マイクロプロセッサの性能は、最終的にオンチップ電力散逸によって制限される。電力効率を評価するための重要なメトリックは、マトリクス乗算に対して不可欠な演算である乗累算演算(MAC)毎のエネルギ消費である。図2(a)は、乗累算演算に還元されて図2(b)に示すCPU、図2(c)に示すGPU、及び図2(d)に示す高い並列化とメモリアクセスの改善されたエネルギ効率とを有するTPUを用いて実施されるマトリクス乗算の図である。図2Bに示すように、各MACは、3回のメモリ読取(フィルタ重み、ニューロン入力、及び部分和に関する)と1回のメモリ書込(更新された部分和)とを必要とする。
光人工神経ネットワークは、1980年代から研究題材であり続けている。この分野での代表的な研究を振り返る。明らかなように、ANNの分野は、比較的長い活動休止期間の後に復活を享受している。
1980年代には、パターン認識のための全光ANNを実現することを目指した一連の研究があった。全ての機能(神経ネットワークトレーニングとパターン認識の両方)及び全ての基礎的要素が光学系を用いて達成されたので、光屈折(PR)体積ホログラム及び非線形ファブリ-ペロー(FP)共振器を用いた顔認識に関する代表的な研究[34]、[35]は、現在までのところ唯一の完全な全光ANNに留まっている。この従来技術は、光学系がANNに基づいてパターン認識を実施することができることを明らかにしたが、
・非線形FP共振器を起動するのに必要とされる高い電力消費、
・光屈折ホログラムのダイナミックレンジに起因して限られる拡張性、及び
・ミリ秒程度のPR搬送波搬送寿命によって限られる低速のトレーニング速度、
という欠点を有し、この技術が有意な実用的応用になることが阻まれた。
従来技術[36]では、パターン認識を特にデジタル分類子として実行するために多平面光回折ネットワークが使用される。ネットワーク内の位相スクリーンは、機械学習技術を用いて設計される。MNIST(改変国立標準技術研究所)手書きデジタルデータセットからの10,000枚の画像に対する数値試験が行われた[11]。3D印刷された位相スクリーンを用いた実験結果は、シミュレーションと実験の間の88%の一致を示している。この分類子では、相互接続を構成するために自由空間光回折が使用され、同時に相互接続を多様化すること、及び各回折層に対する重みマトリクスを確立することの両方の目的で位相マスクが使用される。
この研究では、マトリクス-ベクトル乗算は、再構成可能シリコン光子集積回路(PIC)を通してコヒーレント入力光信号アレイを伝播させることによって実施された。その結果、出力光信号は、PIC伝達マトリクスと入力信号の積になる。
として分解することができることに起因する。同様に、光ビームスプリッタ及び位相調整器を用いてあらゆるユニタリ変換を実施することができることも示された[37]。
これは、MAC演算が光ドメイン内で実行され、非線形活性化が電気ドメイン内で実行される混成手法である[39]。デジタル分類は、数値シミュレーションを用いて明らかにされる。最先端電子系よりも低いエネルギ消費毎MACが予想された。
図3の表には、光子アクセラレータの性能及び最先端電子系との比較が要約されている。上述のように、拡張性が最も重要なメトリックである。乗算が受動的であることに起因して光学技術の全てがエネルギ効率に対する潜在性を有するが、エネルギ効率は厳密で系統的な計算を必要とするので、この表にはエネルギ効率を列挙していない。光学技術の各々は、手本とすることができる重要な革新技術を実現する。以下に示すように、これらの革新技術及び本明細書に開示する本発明者の多次元手法を組み込むことにより、光子テンソルアクセラレータ(PTA)が拡張性に関して最終的に電子系を追い越すことを可能にするはずである。
・ANNが、汎用コンピュータではなく特に光子アクセラレータに適する特殊演算/計算(例えば、MAC)しか必要とせず、
・ANNが、データのダイナミックレンジ内の変動性及び非線形活性化に対してロバストであるので[40]、アナログ光子アクセラレータが、そのデジタル論理対応物と同等の性能を実現することができる、
ということである。
波長符号化及びモード符号化マトリクス-ベクトル乗算アクセラレータ
図4A及び図4Bのマトリクス-ベクトル乗算は、乗算がコヒーレント混合及び二乗則検出によって実施される点で[39]への単一類似性を有する。本発明者の手法と[39]の間には大きい相違点があり、[39]での累算は時間ドメイン内を用いて実施されるが、本発明者の手法での累算は、光の波長、空間、及び他の全ての非時間ドメイン/自由度/次元を用いて実施される。図4A及び図4Bでは、入力ベクトル及び重みベクトルは、特異波長又は空間モード[例えば、エルミート-ガウス(HG)モード]上に要素毎に投影される。波長符号化又はモード符号化された入力ベクトルは、所望数のコピーに展開され、重みマトリクスを構成する重みベクトルを含有する対応する波長符号化又はモード符号化されたLOと混合される。波長又は空間モード間の直交性[41]に起因して、1対の信号とLO[図4A]又は[図4B]のストリームの間のコヒーレント混合は、ベクトル-ベクトル乗算を生成し、2D空間並列化は、全体的にマトリクス-ベクトル乗算を生成する。
本発明は、更にy方向の中への3D空間並列化によって先例のないサイズのマトリクス-マトリクス乗算を可能にする。この場合に、図5に指定しているように、入力マトリクスは、(波長及び/又はモード、y)次元で表され、重みマトリクスは、(波長及び/又はモード、z)次元にあり、y方向に繰り返され、出力マトリクスは、(x,y)内に含有される。
全体的に、光子アクセラレータを構成するのに自由に使用することができる光の多くの次元(波長、ベクトルモード、直角位相、及び空間の三(3)次元)が存在する。自由空間実施では、3つの空間次元を使用することが自然であり、IC又はPICに対しては2つの空間次元が自然である。マトリクス-ベクトル(マトリクス-マトリクス)乗算のための光子アクセラレータを構成するには、いずれかの2つ(3つ)の次元を使用することができる。拡張性を高めるために、複数の次元(例えば、上述した波長-モード)を超次元に組み合わせることができる。ベクトルモードは、空間モードと偏光モードとの組合せである。同様に、バッチマトリクス乗算演算のための光子テンソルアクセラレータ(PTA)を構成するにも各次元を独立に使用することができる。例えば、画像のバッチ(3Dデータキューブ)を表すために波長-モード次元を使用することができ、更にそれに重みマトリクスを1回のクロックサイクル内で全て一度に乗算し、すなわち、互いに加速することができる。これに代えて、独立/直交自由度の個数を実質的に増大するために、多数のパラメータを有する各次元を相互直交部分集合に分割することができる。例えば、波長は、2つのパラメータのみを有する偏光よりも遥かに多くのパラメータを有する。空間は、相互直交部分集合に分割するための非常に多数のパラメータを有する別の自由度である。空間は、テンソル-テンソル乗算を実施するのに取りわけ有利である。
本発明の特定の実施形態を議論したが、当業者は、本発明の範囲から逸脱することなく特定の実施形態に変更を加えることができることを理解するであろう。従って、本発明の範囲を特定の実施形態に限定すべきではなく、特許請求の範囲は、いずれかの及び全てのそのような応用、修正、及び実施形態を本発明内に網羅するように意図している。
1、2 非線形性
f 活性化関数
ReLU 漏出
Claims (32)
- ベクトル乗算のための光子ユニットであって、
第1のベクトルを表す第1の光信号を受信する第1の光マルチプレクサであって、該第1のベクトル内の各要素が、第1の多重化光信号を生成するために第1の光自由度(DOF)/次元上で符号化され、かつ1回の乗算サイクル中に非一時的である前記第1の光マルチプレクサと、
前記第1の光信号とコヒーレントであって第2のベクトルを表す第2の光信号を受信する第2の光マルチプレクサであって、該第2のベクトル内の各要素が、第2の多重化光信号を生成するために前記第1のベクトルと同一の要素から直交の光自由度(DOF)/次元マッピングを用いて符号化される前記第2の光マルチプレクサと、
前記第1の光マルチプレクサから前記第1の多重化光信号及び前記第2の光マルチプレクサから第2の多重化光信号を受信し、それらを組み合わせて全体干渉強度での前記第1のベクトルと前記第2のベクトルの乗算結果を含有する該第1の光信号及び第2の光信号間の干渉を生成するビーム結合器と、
を含むことを特徴とする光子ユニット。 - 光のそれを符号化するのに使用される前記第1の自由度(DOF)/次元は、波長、空間モード、偏光、直角位相、及び波数ベクトルの成分のうちの少なくとも1つであることを特徴とする請求項1に記載の光子ユニット。
- 符号化するのに使用される前記第1の光自由度(DOF)/次元は、2又は3以上の光自由度(DOF)/次元の組合せで構成される超次元であることを特徴とする請求項1に記載の光子ユニット。
- 前記空間モードは、
エルミート-ガウスモード、
ラゲール-ガウスモード、又は
空間正規直交基底を形成する離散空間サンプル、
のうちの少なくとも1つである、
ことを特徴とする請求項2に記載の光子ユニット。 - 干渉信号が、非線形光学要素に入ることを特徴とする請求項2に記載の光子ユニット。
- 前記全体干渉強度は、電気信号に変換されることを特徴とする請求項2に記載の光子ユニット。
- 前記電気信号は、非線形電気要素に入ることを特徴とする請求項6に記載の光子ユニット。
- M×1ベクトルとのN×Mマトリクス乗算のための光子ユニットであって、
M個の要素を有する少なくともM×1ベクトルを表す少なくとも第1の光信号を受信する第1の光マルチプレクサであって、該M×1ベクトル内の各要素が、第1の多重化光信号を生成するために第1の直交光自由度(DOF)/次元上で符号化され、かつ1回の乗算サイクル中に非一時的であり、Mが、1よりも大きいか又はそれに等しい正の整数である前記第1の光マルチプレクサと、
前記M×1ベクトルを表す少なくとも前記第1の光信号を第2の直交光自由度(DOF)/次元でのN個の追加の光信号内で複数のN個のコピーの中に複製するための光複製器であって、Nが、1よりも大きいか又はそれに等しい正の整数である前記光複製器と、
前記光複製器と同一であり、各々がM個の追加の光信号を受信する前記第2の直交光自由度(DOF)/次元でのN個の光マルチプレクサであって、該M個の追加の光信号の各々が、前記第1の光信号とコヒーレントであり、前記N個の追加の光信号の各々が、M×Nマトリクスの独立行を表し、該M×Nマトリクスの行内の各要素が、N個の追加の多重化光信号を生成するために前記M×1ベクトルを表す該第1の光信号と同一の要素から直交の光自由度(DOF)/次元マッピングを用いて符号化される前記N個の光マルチプレクサと、
前記第1の光マルチプレクサから前記第1の多重化光信号のN個のコピー及び前記N個の光マルチプレクサから前記N個の追加の多重化光信号を受信し、それらを組み合わせてN個の全体干渉強度での前記M×Nマトリクスと前記M×1ベクトルの乗算結果を含有する該第1の光信号と該N個の追加の光信号の各々との間の干渉のN回の発生を生成する少なくとも1つのビーム結合器と、
を含むことを特徴とする光子ユニット。 - 符号化又は複製のために使用される前記第1及び前記第2の直交光自由度(DOF)/次元のうちの少なくとも一方が、波長、空間モード、偏光、直角位相、及び波数ベクトルの成分のうちの少なくとも1つであることを特徴とする請求項8に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1及び前記第2の直交光自由度(DOF)/次元のうちの少なくとも一方が、2又は3以上の光自由度(DOF)/次元の組合せで構成される超次元であることを特徴とする請求項8に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1及び前記第2の直交光自由度(DOF)/次元は、光の次元又は超次元の非重複部分集合であることを特徴とする請求項8に記載の光子ユニット。
- 空間モードが、
エルミート-ガウスモード、
ラゲール-ガウスモード、又は
空間正規直交基底を形成する離散空間サンプル、
のうちの少なくとも1つである、
ことを特徴とする請求項8に記載の光子ユニット。 - 少なくとも1つの干渉信号が、非線形光学要素に入ることを特徴とする請求項8に記載の光子ユニット。
- 少なくとも1つの全体干渉強度が、電気信号に変換されることを特徴とする請求項8に記載の光子ユニット。
- 前記電気信号は、非線形電気要素に入ることを特徴とする請求項14に記載の光子ユニット。
- M×WマトリクスとのN×Mマトリクス乗算のための光子ユニットであって、
N×MマトリクスのM個の要素を有する独立行を各々が表すN個の光信号を受信する第1の直交光自由度(DOF)/次元でのN個の光マルチプレクサの第1のセットであって、該N×Mマトリクスの各独立行内の各要素が、N個の多重化光信号を生成するために第2の直交光自由度(DOF)/次元上で符号化され、かつ1回の乗算サイクル中に非一時的であり、M及びNの各々が、1よりも大きいか又はそれに等しい正の整数である前記N個の光マルチプレクサの第1のセットと、
N×Mマトリクスの独立行を表す前記N個の多重化光信号の各々を第3の直交光自由度(DOF)/次元での複数のW個のコピーの中に複製するための第1の光複製器であって、Wが、1よりも大きいか又はそれに等しい正の整数である前記第1の光複製器と、
W個の追加の光信号を受信する前記第1の光複製器と同一である前記第3の直交光自由度(DOF)/次元でのW個の光マルチプレクサの第2のセットであって、該W個の追加の光信号の各々が、前記N個の光信号とコヒーレントであり、該W個の追加の光信号の各々が、前記M×WマトリクスのM個の要素を有する独立列を表し、該M×Wマトリクスの各独立列内の各要素が、W個の追加の多重化光信号を生成するために前記N×Mマトリクスの各独立行内の各要素と同一の要素から直交の光自由度(DOF)/次元マッピングを用いて符号化される前記W個の光マルチプレクサの第2のセットと、
前記M×Wマトリクスの独立列を表す前記W個の多重化信号の各々を前記N個の光マルチプレクサの第1のセットと同一である前記第1の直交光自由度(DOF)/次元での複数のN個のコピーの中に複製するための第2の光複製器と、
前記N×Mマトリクス及び前記M×Wマトリクスのうちの各々の適切に複製された行又は列を表すN×W個の多重化光信号の2つのセットを受信し、それらを組み合わせてN×W個の全体干渉強度での乗算結果を含有する該N×Mマトリクスの行の各々と該M×Wマトリクスの該列との間の干渉のN×W回の発生を生成する少なくとも1つのビーム結合器と、
を含むことを特徴とする光子ユニット。 - 符号化又は複製のために使用される前記第1、前記第2、前記第3、及び第4の直交光自由度(DOF)/次元のうちの少なくとも1つが、波長、空間モード、偏光、直角位相、及び波数ベクトルの成分のうちの少なくとも1つであることを特徴とする請求項16に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1、前記第2、及び前記第3の直交自由度(DOF)/次元のうちの少なくとも1つが、2又は3以上の光自由度(DOF)/次元の組合せで構成される超次元であることを特徴とする請求項16に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1、前記第2、及び前記第3の直交光自由度(DOF)/次元のうちの少なくとも2つが、光の次元又は超次元の非重複部分集合であることを特徴とする請求項16に記載の光子ユニット。
- 空間モードが、
エルミート-ガウスモード、
ラゲール-ガウスモード、又は
空間正規直交基底を形成する離散空間サンプル、
のうちの少なくとも1つである、
ことを特徴とする請求項16に記載の光子ユニット。 - 少なくとも1つの干渉信号が、非線形光学要素に入ることを特徴とする請求項16に記載の光子ユニット。
- 少なくとも1つの全体干渉強度が、電気信号に変換されることを特徴とする請求項16に記載の光子ユニット。
- 前記電気信号は、非線形電気要素に入ることを特徴とする請求項22に記載の光子ユニット。
- B個のN×MマトリクスにM×Wマトリクスを乗じるバッチを加算するための光子ユニットであって、
第1のM×NマトリクスのM個の要素を各々が有する独立行を各々が表すN個の光信号を受信する第1の直交光自由度(DOF)/次元でのN個の光マルチプレクサの第1のセットであって、該第1のM×Nマトリクスの各独立行内の各要素が、N個の多重化光信号を生成するために第2の直交光自由度(DOF)/次元上で符号化され、かつ1回の乗算サイクル中に非一時的であり、M及びNの各々が、1よりも大きいか又はそれに等しい正の整数である前記N個の光マルチプレクサの第1のセットと、
第1のN×Mマトリクスの独立行を表す前記N個の多重化光信号の各々をN×Mマトリクスの第3の直交光自由度(DOF)/次元での複数のW個のコピーの中に複製するための第1の光複製器であって、Wが、1よりも大きいか又はそれに等しい正の整数である前記第1の光複製器と、
B個のN×Mマトリクスのうちの1つの独立行を表す前記N個の多重化光信号の第3の直交自由度(DOF)/次元でのW個のコピーを各々が含有するB個の光信号を受信する第4の直交光自由度(DOF)/次元での第2のマルチプレクサであって、Bが、1よりも大きいか又はそれに等しい正の整数である前記第2のマルチプレクサと、
W個の追加の光信号を受信する前記第1の光複製器によって使用されるものと同一である前記第3の直交光自由度(DOF)/次元でのW個の光マルチプレクサの第3のセットであって、該W個の追加の光信号の各々が、前記N個の光信号とコヒーレントであり、該W個の追加の光信号の各々が、前記M×Wマトリクスのうちの各々のM個の要素を有する独立列を表し、該M×Wマトリクスの各独立列内の各要素が、W個の追加の多重化光信号を生成するために前記N×Mマトリクスのうちの各々の各独立行内の各要素と同一の要素から直交の光自由度(DOF)/次元マッピングを用いて符号化される前記W個の光マルチプレクサの第3のセットと、
前記M×Wマトリクスの独立列を表す前記W個の多重化光信号の各々を前記N個の光マルチプレクサの第1のセットと同一である前記第1の直交光自由度(DOF)/次元での複数のN個のコピーの中に複製するための第2の光複製器と、
前記M×Wマトリクスのうちの各々の独立列を表す前記W個の多重化信号の前記第1の直交自由度(DOF)/次元でのN個のコピーを各々が含有するB個の同一光信号を生成する前記第4の直交光自由度(DOF)/次元での第3の光複製器と、
前記第2のマルチプレクサ及び前記第3の光複製器からB×N×W個の多重化光信号の2つのセットを受信し、それらを組み合わせてN×W個の全体干渉強度でのB個の個別のN×Mマトリクスに同じM×Wマトリクスを乗じた乗算の総和を含有する干渉のN×W回の発生を生成する少なくとも1つのビーム結合器であって、前記第1の直交光自由度(DOF)/次元、前記第2の直交光自由度(DOF)/次元、前記第3の直交光自由度(DOF)/次元、及び前記第4の直交光自由度(DOF)/次元が異なる前記少なくとも1つのビーム結合器と、
を含むことを特徴とする光子ユニット。 - 符号化又は複製のために使用される前記第1、前記第2、前記第3、及び前記第4の直交光自由度(DOF)/次元のうちの少なくとも1つが、波長、空間モード、偏光、直角位相、及び波数ベクトルの成分のうちの少なくとも1つであることを特徴とする請求項24に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1、前記第2、前記第3、及び前記第4の直交光自由度(DOF)/次元のうちの少なくとも1つが、2又は3以上の光DOF/次元の組合せで構成される超次元であることを特徴とする請求項24に記載の光子ユニット。
- 符号化又は複製のために使用される前記第1、前記第2、前記第3、及び前記第4の直交光自由度(DOF)/次元のうちの少なくとも2つが、光の次元又は超次元の非重複部分集合であることを特徴とする請求項24に記載の光子ユニット。
- 空間モードが、
エルミート-ガウスモード、
ラゲール-ガウスモード、又は
空間正規直交基底を形成する離散空間サンプル、
のうちの少なくとも1つである、
ことを特徴とする請求項24に記載の光子ユニット。 - 少なくとも1つの干渉信号が、非線形光学要素に入ることを特徴とする請求項24に記載の光子ユニット。
- 少なくとも1つの全体干渉強度が、電気信号に変換されることを特徴とする請求項24に記載の光子ユニット。
- 前記電気信号は、非線形電気要素に入ることを特徴とする請求項30に記載の光子ユニット。
- 各々が2よりも高い階数を有する2つのテンソルの乗算のための光子ユニットであって、
階数pを有する第1のテンソルを表す第1の光信号を受信する第1の光マルチプレクサであって、該第1のテンソルの形状が、[N1,N2,...,Np-1,M]である前記第1の光マルチプレクサと、
前記第1のテンソルの各要素を1番目の階数からp番目の階数までに沿ってそれぞれ1番目からp番目までの直交自由度(DOF)/次元に対して符号化するための第1の符号器と、
階数qを有する第2のテンソルを表し、前記第1の光信号とコヒーレントである第2の光信号を受信する第2の光マルチプレクサであって、該第2のテンソルの形状が、[M,W1,...,Wq-1].N1,N2,...,Np-1,M,W1,...,Wq-1であり、p及びqの各々が、1よりも大きいか又はそれに等しい正の整数である前記第2の光マルチプレクサと、
前記テンソルを表す多重化光信号を(p+1)番目から(p+q)番目までの直交光自由度(DOF)/次元での複数のW1×W2×...×Wq-1個のコピーの中に複製するための光複製器の第1のセットと、
前記第2のテンソルの各要素を前記第1のテンソルの(p+1)番目から(p+q)番目までの直交自由度(DOF)/次元の複製物と同一の要素から直交の光自由度(DOF)/次元マッピングを用いて1番目の階数からq番目の階数までに沿ってそれぞれ(p)番目から(p+q-1)番目までの直交自由度(DOF)/次元の上に符号化するための第2の符号器と、
前記第2のテンソルを表す前記多重化信号を前記第1のテンソルの1番目から(p-1)番目までの直交自由度(DOF)/次元のように前記要素から直交の光自由度(DOF)/次元マッピングと同一である1番目から(p-1)番目までの直交光自由度(DOF)/次元での複数のN1×N2×...×Np-1個のコピーの中に複製するための光複製器の第2のセットと、
光複製器の前記2つのセットから[N1,N2,...,Np-1,M,W1,...,Wq-1]個の多重化光信号の2つのセットを受信し、それらを組み合わせて干渉強度でのN1×N2×...×Np-1×W1×...×Wq-1個の個別のM-要素ベクトル-ベクトル乗算の乗算の総和を含有する干渉の[N1,N2,...,Np-1,W1,...,Wq-1]回の発生を生成する少なくとも1つのビーム結合器と、
を含むことを特徴とする光子ユニット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962842771P | 2019-05-03 | 2019-05-03 | |
US62/842,771 | 2019-05-03 | ||
PCT/US2019/056239 WO2020180351A1 (en) | 2019-03-05 | 2019-10-15 | Photonic tensor accelerators for artificial neural networks |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022529870A true JP2022529870A (ja) | 2022-06-27 |
JP7497063B2 JP7497063B2 (ja) | 2024-06-10 |
Family
ID=72336977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543463A Active JP7497063B2 (ja) | 2019-05-03 | 2019-10-15 | 人工神経ネットワークのための光子テンソルアクセラレータ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220164642A1 (ja) |
EP (1) | EP3864535A4 (ja) |
JP (1) | JP7497063B2 (ja) |
CN (1) | CN113518986A (ja) |
WO (1) | WO2020180351A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232487B (zh) * | 2020-10-19 | 2023-09-22 | 中国科学院半导体研究所 | 光学神经网络芯片及其计算方法 |
WO2022115935A1 (en) * | 2020-12-02 | 2022-06-09 | Huawei Technologies Canada Co., Ltd. | Photonic computing system and method for wireless communication signal processing |
CN114819089B (zh) * | 2022-04-28 | 2024-09-06 | 华中科技大学 | 一种基于模式复用的光子卷积加速器 |
CN114819132B (zh) * | 2022-06-27 | 2022-10-11 | 之江实验室 | 一种基于时间-波长交织的光子二维卷积加速方法及系统 |
CN114970836B (zh) * | 2022-07-28 | 2022-10-28 | 浙江大学 | 蓄水池神经网络实现方法、系统、电子设备及存储介质 |
CN116029350B (zh) * | 2023-03-29 | 2023-07-07 | 之江实验室 | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 |
CN116681117A (zh) * | 2023-05-24 | 2023-09-01 | 浙江大学 | 一种基于光学神经元波长复用模块的光电计算机 |
CN117349225B (zh) * | 2023-12-06 | 2024-02-13 | 清华大学 | 大规模分布式光电智能计算架构与芯片系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09211513A (ja) * | 1996-02-07 | 1997-08-15 | Olympus Optical Co Ltd | 光演算装置 |
US8027587B1 (en) * | 2007-08-21 | 2011-09-27 | Sandia Corporation | Integrated optic vector-matrix multiplier |
WO2017210550A1 (en) * | 2016-06-02 | 2017-12-07 | Massachusetts Institute Of Technology | Apparatus and methods for optical neural network |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7515828B2 (en) * | 2005-03-15 | 2009-04-07 | Fujitsu Limited | System and method for implementing optical light-trails |
WO2018071866A1 (en) * | 2016-10-13 | 2018-04-19 | Fathom Computing | Wavelength multiplexed matrix-matrix multiplier |
TWI818020B (zh) * | 2018-05-15 | 2023-10-11 | 美商萊特美特股份有限公司 | 光子處理系統及方法 |
TW202005312A (zh) * | 2018-05-15 | 2020-01-16 | 美商萊特美特股份有限公司 | 用於訓練基於矩陣的可微分程式的系統及方法 |
WO2019236251A1 (en) * | 2018-06-04 | 2019-12-12 | Lightmatter, Inc. | Convolutional layers for neural networks using programmable nanophotonics |
US10743749B2 (en) * | 2018-09-14 | 2020-08-18 | Canon U.S.A., Inc. | System and method for detecting optical probe connection |
-
2019
- 2019-10-15 JP JP2021543463A patent/JP7497063B2/ja active Active
- 2019-10-15 US US17/432,618 patent/US20220164642A1/en active Pending
- 2019-10-15 CN CN201980091572.6A patent/CN113518986A/zh active Pending
- 2019-10-15 WO PCT/US2019/056239 patent/WO2020180351A1/en unknown
- 2019-10-15 EP EP19917928.4A patent/EP3864535A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09211513A (ja) * | 1996-02-07 | 1997-08-15 | Olympus Optical Co Ltd | 光演算装置 |
US8027587B1 (en) * | 2007-08-21 | 2011-09-27 | Sandia Corporation | Integrated optic vector-matrix multiplier |
WO2017210550A1 (en) * | 2016-06-02 | 2017-12-07 | Massachusetts Institute Of Technology | Apparatus and methods for optical neural network |
Also Published As
Publication number | Publication date |
---|---|
WO2020180351A1 (en) | 2020-09-10 |
CN113518986A (zh) | 2021-10-19 |
WO2020180351A8 (en) | 2020-10-01 |
JP7497063B2 (ja) | 2024-06-10 |
EP3864535A4 (en) | 2022-08-03 |
US20220164642A1 (en) | 2022-05-26 |
EP3864535A1 (en) | 2021-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7497063B2 (ja) | 人工神経ネットワークのための光子テンソルアクセラレータ | |
US11604978B2 (en) | Large-scale artificial neural-network accelerators based on coherent detection and optical data fan-out | |
Wu et al. | Analog optical computing for artificial intelligence | |
Hamerly et al. | Large-scale optical neural networks based on photoelectric multiplication | |
TWI825452B (zh) | 光電計算系統 | |
Stark et al. | Opportunities for integrated photonic neural networks | |
CN111478735B (zh) | 一种基于集成光学的通用量子漫步模拟芯片结构 | |
Gu et al. | SqueezeLight: Towards scalable optical neural networks with multi-operand ring resonators | |
Ma et al. | BaGuaLu: targeting brain scale pretrained models with over 37 million cores | |
Peng et al. | Dnnara: A deep neural network accelerator using residue arithmetic and integrated photonics | |
Momose et al. | Systems and circuits for AI chips and their trends | |
Gu et al. | Efficient on-chip learning for optical neural networks through power-aware sparse zeroth-order optimization | |
Gu et al. | SqueezeLight: A multi-operand ring-based optical neural network with cross-layer scalability | |
Han et al. | Direct feedback alignment based convolutional neural network training for low-power online learning processor | |
Zhu et al. | Lightening-transformer: A dynamically-operated optically-interconnected photonic transformer accelerator | |
Li et al. | An Energy‐Efficient Silicon Photonic‐Assisted Deep Learning Accelerator for Big Data | |
US20230152667A1 (en) | Photonic tensor core matrix vector multiplier | |
US20240135118A1 (en) | Hybrid analog and digital computational system | |
Nakajima et al. | Physical deep learning with biologically plausible training method | |
Feng et al. | Optical Neural Networks for Holographic Image Recognition | |
CN111949067B (zh) | 达曼卷积光计算机 | |
Sludds | Attojoule scale computation of large optical neural networks | |
Xia et al. | Photonic computing and communication for neural network accelerators | |
US20240311081A1 (en) | Floating-point multiplication unit and floating point photonic tensor accelerator | |
Nakajima et al. | Neural Schr\"{o} dinger Equation: Physical Law as Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7497063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |