CN116324813A - 用于形成人工神经网络的光电子系统的光学矩阵乘法单元 - Google Patents
用于形成人工神经网络的光电子系统的光学矩阵乘法单元 Download PDFInfo
- Publication number
- CN116324813A CN116324813A CN202180067867.7A CN202180067867A CN116324813A CN 116324813 A CN116324813 A CN 116324813A CN 202180067867 A CN202180067867 A CN 202180067867A CN 116324813 A CN116324813 A CN 116324813A
- Authority
- CN
- China
- Prior art keywords
- matrix multiplication
- multiplication unit
- optical
- waveguides
- directional coupler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
- G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
- G06E3/001—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Nonlinear Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
- Optical Integrated Circuits (AREA)
Abstract
本发明涉及用于形成人工神经网络的光电子系统的光矩阵乘法单元(12)，其具有N个输入波导(14)，M个输出波导(16)和多个矩阵乘法单元元素(10)，其用于对N个输入波导(14)的每一者的光信号进行信号处理并且将经处理的信号传输到M个输出波导(16)的每一者中，其中每个矩阵乘法单元元素(10)被分配给一个输入波导(14)和一个输出波导(16)，并且在两个所分配的波导(14，16)之间实现唯一分配。根据本发明，每个矩阵乘法单元元素(10)具有用于信号处理和信号传输的定向耦合器(24)，其具有用于定向耦合器(24)的传输控制的电光调制器(26)并且互连在所分配的输入波导(14)和所分配的输出波导(16)之间。本发明还涉及用于这种光学矩阵乘法单元(12)的相应矩阵乘法单元元素(10)以及用于形成人工神经元网络的相应光电子系统(44)。
Description
技术领域
本发明涉及用于形成人工神经网络的光电子系统的光学矩阵乘法单元(multiplication unit)，该单元包括N个输入波导，M个输出波导和多个矩阵乘法单元元素，其用于对来自N个输入波导中的每一者的光信号进行信号处理，并且用于将相应的经处理信号传输到M个输出波导中的一者中，其中矩阵乘法单元元素中的每一者被分配给输入波导中的一者和输出波导中的一者，并且在这两个所分配的波导之间提供唯一分配。
本发明还涉及用于这种光学矩阵乘法单元的相应的矩阵乘法单元元素以及用于形成人工神经网络的相应的光电子系统。
背景技术
在人工神经网络的实现方式中，存在将这些神经网络的计算密集型步骤从电子实现方式转移到光子实现方式的趋势。这包括用大小不受限制的矩阵来实现矩阵乘法。光子实现方式降低了功耗并同时提高了切换速度。以这种方式，极强的矩阵乘法是可能的，其远远超过当前计算系统的性能。
US2020/0110992A1描述了一种用于形成人工神经网络的光电子系统，该系统包括光学矩阵乘法单元，该光学矩阵乘法单元包括N个输入波导，M个输出波导和多个矩阵乘法单元，所述矩阵乘法单元用于对来自N个输入波导中的每一者的光信号进行信号处理，并且将相应的经处理信号传输到M个输出波导中的一者中。这些矩阵乘法单元中的每一者均被分配给一个输入波导和一个输出波导，并且在这两个分配的波导之间实现唯一分配。该光学矩阵乘法单元种的每个单元包括马赫-曾德尔(Mach-Zehnder)干涉仪和两个移相器。除了光学矩阵乘法单元之外，该光电子系统还包括连接在光学矩阵乘法单元上游的光源单元，互连在光源单元和矩阵乘法单元之间的调制单元，以及连接在矩阵乘法单元下游的传感器单元。在该系统中，所使用的光的相位信息被用于乘法。这种方法的基础是使用相干(激光)光。
发明内容
本发明的目的是提供使光电子系统更有效的措施。
根据本发明，该目的通过独立权利要求的特征来实现。在从属权利要求中提供了本发明的有利实施例。
在根据本发明的用于形成人工神经网络的光电子系统的光矩阵乘法单元中，其包括：N个输入波导，M个输出波导和多个矩阵乘法单元元素，所述矩阵乘法单元元素用于对来自N个输入波导中的每一者的光信号进行信号处理，并且用于将相应的经处理的信号传输到M个输出波导中的一者，其中所述矩阵乘法单元元素中的每一者被分配给输入波导中的一者和输出波导中的一者，并在这两个所分配的波导之间实现唯一分配，所提供的矩阵乘法单元元素中的每一者包括：用于信号处理和信号传输的定向耦合器，该定向耦合器互连在所分配的输入波导和所分配的输出波导之间并且包括用于该定向耦合器的传输控制的电光调制器。
与已知的光学矩阵乘法单元相对，这里凭借相应乘法的幅度而不是通过其相位或相位关系来执行乘法。由一个单元元素执行的各个乘法的乘数对应于由该单元元素的电光调制器的调制器设置所确定的相应输入波导和输出波导之间的光信号的幅度比。
这种基于幅度变化的乘法产生更高的带宽，这使得包括这种光学矩阵乘法单元的光电子系统更强大。
根据本发明的优选实施例，相应的单元元素的电光调制器是相位调制器。电光调制器(electro-optical modulator，EOM)基于折射率的变化。在该过程中，通过向掺杂材料施加电场来改变折射率。这具有改变光的相位位置的效果，这意味着光波位移。这种相位调制器的示例是Kerr单元和Pockels单元。
特别地，所提供的相应的定向耦合器包括马赫-曾德尔干涉仪，其中该马赫-曾德尔干涉仪中集成相位调制器。该马赫-曾德尔干涉仪包括两个信号路径臂，其中一个信号路径臂中设置有相位调制器。
特别优选地，相应的定向耦合器在马赫-曾德尔干涉仪的输入和输出处还包括用于分波的多模干涉耦合器。
作为使用相位调制器的替代方案，有利地是所提供的相应的单元元素的电光调制器是吸收调制器。这也被称为电吸收调制器(electro-absorption modulator，EAM)。利用这种吸收调制器，所使用的光学材料的不透明度总体上根据所施加的电压而改变。
根据本发明的另一优选实施例，矩阵乘法单元被设计为基于半导体的矩阵乘法单元。针对这一点的最常见的材料是硅。
根据本发明的又一优选实施例，矩阵乘法单元被设计为基于至少一种光学活性材料的矩阵乘法单元。可能的材料包括例如铌酸锂，氮化铝或氮化镓。
在用于前述光学矩阵乘法单元的根据本发明的矩阵乘法单元元素中，该单元元素包括具有集成的电光调制器的定向耦合器，该定向耦合器用于对光学矩阵乘法单元的输入波导的光信号进行信号处理，并且用于将分别处理的信号传输到光学矩阵乘法单元的输出波导中。
结合矩阵乘法单元以及与矩阵乘法单元元素的配置有关的所提及的所有有利实施例是矩阵乘法单元元素本身的有利设计。
在根据本发明的用于形成人工神经网络的光电子系统中，包括光源单元，光学矩阵乘法单元和传感器单元，所述矩阵乘法单元被配置为前述的矩阵乘法单元。
附图说明
在下文中，通过参考附图并基于优选的示例性实施例以示例方式来解释本发明，其中以下示出的特征可以单独地或组合地表示本发明的方面。在附图中：
图1是用于根据本发明第一优选实施例的光学矩阵乘法单元的矩阵乘法单元；
图2是用于根据本发明第二优选实施例的光学矩阵乘法单元的矩阵乘法单元；以及
图3是用于形成人工神经网络的光电子系统，该光电子系统包括根据本发明优选实施例的光学矩阵乘法单元。
具体实施方式
图1示出了用于图3所示的光学矩阵乘法单元12的矩阵乘法单元元素10的示意图。在下文中，矩阵乘法单元元素10将被简称为单元元素10。除了单元元素10的实际部件之外，还分别示出了分配给单元元素10的一段输入波导14和分配给单元元素10的一段输出波导16。这两个输入波导14和输出波导16用于传输光信号并且在所分配的单元元素10的区域中彼此相交，并因此具有相交点18。在附图中，水平绘出了输入波导14，并且垂直汇出了输出波导16。
单元元素10现在包括用于对输入波导14的光信号(箭头20)进行信号处理和用于将相应的经处理信号(箭头22)传输到输出波导16中的定向耦合器24，定向耦合器24互连在输入波导14和所分配的输出波导16之间，并装配有用于定向耦合器24的传输控制的电光调制器26。定向耦合器24本身主要用于从输入波导14经由信号路径28到输出波导16的信号传输/信号重定向。定向耦合器24的电光调制器26负责与乘法有关的信号处理。电光调制器26包括电连接30。在图1所示的示例中，电光调制器26被具体设计为吸收调制器32，其中所使用的光学材料的不透明度根据施加到电连接30的电压而变化。该单元元素10中的乘法是由输入波导14的光信号(箭头20)及其通过电光调制器26对经处理信号(箭头22)的衰减产生的。
图2示出了矩阵乘法单元元素10的变体的示意图。除了单元元素10的实际部件之外，还分别示出了分配给单元元素10的一段输入波导14和分配给单元元素10的一段输出波导16。这两个输入波导14和输出波导16用于传输光信号并且在所分配的单元元素10的区域中彼此相交。
在该变体中，单元元素10包括用于输入波导14的光信号(箭头20)进行信号处理和用于将相应的经处理信号(箭头22)传输到输出波导16中的定向耦合器24，定向耦合器24互连在输入波导14和分配的输出波导24之间，并且具有用于定向耦合器24的传输控制的电光调制器26。在图2所示的示例中，电光调制器26被配置为相位调制器34。定向耦合器24包括马赫-曾德尔干涉仪36，其中信号路径28在中间段被分成两个信号路径臂38，40。相位调制器34位于这些信号路径臂38的一者中。此外，定向耦合器24在马赫-曾德尔干涉仪36的输入和输出处包括用于相对于信号路径臂38，40进行分波的多模干涉耦合器42(WMI耦合器)。
最后，图3示出了用于形成人工神经网络的光电子系统44的示意图。这里，该光电子系统44的各个组件以框图形式示出。该框图的各个块反映了功能关系而不是光电子系统44内的空间结构。并未示出用于各个组件的可控部件的必要的控制电子装置。这些组件是(i)矩阵乘法单元12，(ii)光源单元46，其经由N个输入波导14连接到矩阵乘法单元12的上游，以及传感器单元48，其经由M个输出波导16连接到矩阵乘法单元12的下游。在所示的示例中，N＝M＝4。当然，N≠M的变体也是可能的，例如N＝4且M＝3。并未明确示出光源单元46的相应N个光源和传感器单元48的M个传感器。
在下文中，将以其它方式重新陈述本发明的重要方面：
矩阵乘法单元12的基底可以由半导体材料(例如硅)制成。矩阵本身包括用于波导的无源光子器件，即波导14，16。这些波导14，16引导宽范围，特别是在电信范围内的波长。波导14，16被布置成行和列。凭借定向耦合器24实现从行波导到列波导的光功率的确定性传递。
定向耦合器24的传输值对用于乘法的矩阵元素(即矩阵乘法单元元素10)编码。在完全传输时，将最大光功率转移到列，并映射矩阵元素的最大值；在最小传输时，实现最小矩阵元素。通过控制传输来设置其间的任何值。
由电光调制器26控制传输，电光调制器26用于改变折射率的实部或虚部。在实部的情况下，调制器是相位调制器34，其被集成用于马赫-曾德尔干涉仪36中的调制，该马赫-曾德尔干涉仪36由两个相等长度的波导臂(信号路径臂38，40)实现。电光相位调制器34被集成到一个臂38中。通过MMI耦合器42来实现将光功率等分到两个臂38，40中。可以例如凭借将电荷载流子注入PIN二极管来实现相位调制器34，或者也可以凭借热光学部件来实现相位调制器34。吸收调制器32用于控制虚部。在硅平台上，例如，锗基电吸收调制器是合适的。这些可以在GHz范围内以非常高的速度进行调制，并提供紧凑的设计。
进一步的实施方案选项是电光活性材料，例如铌酸锂，氮化铝或氮化镓。由这些材料可以产生有效的波导14，16以及有效的电光调制器26。这些凭借电光效应工作，并且仅在切换状态中消耗光功率。然而，它们提供了与硅基调制器26相比不紧凑的设计。然而，切换速度可以在高GHz范围内。此外，这些材料提供了非常宽的光学透明度，因此也允许在可见光波长范围内操作。
本发明允许以光学方式和受控电气方式执行矩阵矢量乘法。通过使用电光调制器26，可以在不引起材料疲劳的情况下实现非常高的切换速度。这允许根据需要时常地配置矩阵乘法单元12。一方面，这允许通过重新编程生成更大的矩阵。另一方面，也可以随时间调整单元元素10(即相应的矩阵元素)。这对于计算优化以及机器学习是特别有必要的。
通过使用电光调制器26实现了高精度。调制器26提供了可凭借电压精确控制的高动态范围。这使得能够以高精确度调整矩阵元素。这还允许矩阵乘法的总体结果非常精确，因为可以精确地控制光输入功率。高精度乘法对于机器学习是必要的，并且迄今为止只能以电子方式实现。
凭借组合的光电变体的相乘方法允许不能通过常规方法实现的非常高的计算速率。由于可重编程性，矩阵的大小不受限制，从而可以根据本发明有效地对其进行缩放。同时，光学方法提供了非常高的能量效率，从而通过该方法解决了人工智能的核心问题。
附图标号
10矩阵乘法单元元素
12矩阵乘法单元
14输入波导
16输出波导
18相交点
20箭头(信号)
22箭头(经处理信号)
24定向耦合器
26电光调制器
28信号路径(定向耦合器)
30电连接
32吸收调制器
34相位调制器
36马赫-曾德尔干涉仪
38信号路径臂
40信号路径臂
42多模干涉耦合器
44光电子系统
46光源单元
48传感器单元
Claims (9)
1.一种用于形成人工神经网络的光电子系统的光学矩阵乘法单元(12)，包括：
N个输入波导(14)；
M个输出波导(16)；和
多个矩阵乘法单元元素(10)，其用于对来自所述N个输入波导(14)中的每一者的光信号进行信号处理，并且用于将相应的经处理信号传输到所述M个输出波导(16)中的一者中，其中，所述矩阵乘法单元元素(10)中的每一者被分配给所述输入波导(14)中的一者和所述输出波导(16)中的一者，并且在这两个所分配的波导(14，16)之间实现唯一分配，
其中，所述矩阵乘法单元元素(10)中的每一者包括：用于信号处理和信号传输的定向耦合器(24)，所述定向耦合器(24)互连在所分配的输入波导(14)和所分配的输出波导(16)之间并且包括用于该定向耦合器(24)的传输控制的电光调制器(26)。
2.根据权利要求1所述的矩阵乘法单元，其特征在于，相应的矩阵乘法单元元素(10)的所述电光调制器(26)是相位调制器(34)。
3.根据权利要求2所述的矩阵乘法单元，其特征在于，相应的定向耦合器(24)包括马赫-曾德尔干涉仪(36)，其中在所述马赫-曾德尔干涉仪(36)中集成所述相位调制器(34)。
4.根据权利要求3所述的矩阵乘法单元，其特征在于，所述相应的定向耦合器(24)在所述马赫-曾德尔干涉仪(36)的输入和输出处还包括用于分波的多模干涉耦合器(42)。
5.根据权利要求1所述的矩阵乘法单元，其特征在于，相应的矩阵乘法单元元素(10)的所述电光调制器(26)是吸收调制器(32)。
6.根据权利要求1至5中任一项所述的矩阵乘法单元，其特征在于，所述矩阵乘法单元(12)被配置为基于半导体的矩阵乘法单元(12)。
7.根据权利要求1至5中任一项所述的矩阵乘法单元，其特征在于，所述矩阵乘法单元(12)被配置为基于至少一种光学活性材料的矩阵乘法单元。
8.一种矩阵乘法单元元素(10)，其用于根据权利要求1至7中任一项所述的光学矩阵乘法单元(12)，其中，所述单元元素(10)包括定向耦合器(24)，所述定向耦合器(24)用于对所述光学矩阵乘法单元(12)的输入波导(14)的光信号进行信号处理并且用于将分别处理的信号传输到所述光学矩阵乘法单元(12)的输出波导(16)中，所述定向耦合器(24)包括集成的电光调制器(26)。
9.一种用于形成人工神经网络的光电子系统(44)，包括：
光源单元(46)；
根据权利要求1至8中任一项所述的光学矩阵乘法单元(12)；和
传感器单元(48)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020124034.1 | 2020-09-15 | ||
| DE102020124034.1A DE102020124034A1 (de) | 2020-09-15 | 2020-09-15 | Optische Matrixmultiplikationseinheit für ein optoelektronisches System zur Bildung eines künstlichen neuralen Netzes |
| PCT/EP2021/075232 WO2022058307A1 (de) | 2020-09-15 | 2021-09-14 | Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116324813A true CN116324813A (zh) | 2023-06-23 |
Family
ID=77914329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180067867.7A Pending CN116324813A (zh) | 2020-09-15 | 2021-09-14 | 用于形成人工神经网络的光电子系统的光学矩阵乘法单元 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230342596A1 (zh) |
| EP (1) | EP4214641A1 (zh) |
| CN (1) | CN116324813A (zh) |
| DE (1) | DE102020124034A1 (zh) |
| WO (1) | WO2022058307A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023233239A1 (en) | 2022-05-31 | 2023-12-07 | W Endoluminal Robotics Ltd | Systems and techniques for minimally-invasive procedures |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11507818B2 (en) | 2018-06-05 | 2022-11-22 | Lightelligence PTE. Ltd. | Optoelectronic computing systems |
-
2020
- 2020-09-15 DE DE102020124034.1A patent/DE102020124034A1/de active Pending
-
2021
- 2021-09-14 WO PCT/EP2021/075232 patent/WO2022058307A1/de unknown
- 2021-09-14 EP EP21777702.8A patent/EP4214641A1/de active Pending
- 2021-09-14 CN CN202180067867.7A patent/CN116324813A/zh active Pending
- 2021-09-14 US US18/044,650 patent/US20230342596A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102020124034A1 (de) | 2022-03-17 |
| WO2022058307A1 (de) | 2022-03-24 |
| US20230342596A1 (en) | 2023-10-26 |
| EP4214641A1 (de) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104133336B (zh) | 基于硅基纳米线波导的片上集成光学数模转换器 | |
| CN103091869B (zh) | 集成化的相干光通信用电光调制器结构 | |
| JPH09105894A (ja) | 偏光独立性光学装置 | |
| CN113805641B (zh) | 一种光子神经网络 | |
| Khatun et al. | Optimization of 2× 2 MZI electro-optic switch and its application as logic gate | |
| CN115905792A (zh) | 一种用于光学实数矩阵计算的马赫曾德尔干涉仪网络 | |
| US20230342596A1 (en) | Optical matrix multiplication unit for an optoelectronic system for forming an artificial neural network | |
| US20240078419A1 (en) | Optical neuron unit and network of the same | |
| CN110149153A (zh) | 光调制器、调制方法及光调制系统 | |
| CN106772819B (zh) | 硫系玻璃光子晶体光纤2×2干涉型全光开关及控制方法 | |
| Stanley et al. | Mach–Zehnder interferometer: A review of a perfect all-optical switching structure | |
| CN115755442A (zh) | 一种基于波导上硫化锑的o波段多模干涉型硅基光开关 | |
| Hu et al. | A novel MZ modulator based on photonic crystal and nanowire waveguide | |
| Duy Tien et al. | Zero-chirp and low power PAM-4 modulation based on SOI cascaded multimode interference structures | |
| CN114337837B (zh) | 波长可编程多功能微波光子信号处理方法 | |
| Le et al. | On-Chip Generation of PAM-4 Signals Based on a 3× 3 MMI Architecture for Optical Interconnect and Computing Systems | |
| CN113253537B (zh) | 一种基于soi材料制备的马赫-曾德尔干涉仪型可调分数阶光场微分器 | |
| JPH05224245A (ja) | ハイブリッド光回路およびマトリクス光スイッチ | |
| CN114966967B (zh) | 一种基于导波驱动超构表面的空间光场调控器件 | |
| Dourado et al. | Mach-Zehnder modulator modeling based on imec-ePixFab ISIPP25G SiPhotonics | |
| CN116739063A (zh) | 一种基于多模干涉仪以及相干检测的神经网络加速器 | |
| Zolfaghari | Design of Reconfigurable On-Chip Optical Architectures based on Phase Change Material | |
| Tan | All-optical associative learning element | |
| Zhu et al. | Behavioral modeling and characterization of silicon photonic Mach-Zehnder modulator | |
| WO2023242834A1 (en) | Photonic network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |