CN114861734B - 一种基于光散射的矩阵运算立体结构单元 - Google Patents
一种基于光散射的矩阵运算立体结构单元 Download PDFInfo
- Publication number
- CN114861734B CN114861734B CN202210589380.1A CN202210589380A CN114861734B CN 114861734 B CN114861734 B CN 114861734B CN 202210589380 A CN202210589380 A CN 202210589380A CN 114861734 B CN114861734 B CN 114861734B
- Authority
- CN
- China
- Prior art keywords
- light scattering
- optical
- dimensional
- unit
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000149 argon plasma sintering Methods 0.000 title claims abstract description 78
- 239000011159 matrix material Substances 0.000 title claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 111
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 4
- 241000276420 Lophius piscatorius Species 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Optical Integrated Circuits (AREA)
Abstract
本发明公开了一种基于光散射的矩阵运算立体结构单元，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器；所述电光调制单元用于将输入的电信号转换为各自不同频率的N维光信号并输出到该立体结构单元，该立体结构将计算该矩阵与列向量的叉乘结果并输出到光电检测器转化为电信号，得到最终的输出。本发明的电光混合的矩阵乘法，具备高带宽、低损耗、所需空间小等优势。
Description
技术领域
本发明涉及了一种基于反向优化的立体结构光子矩阵乘法单元，从而实现电光混合的片上矩阵运算。
背景技术
近年来，随着机器学习技术的发展，深度神经网络在各种新兴应用中表现出革命性的性能提升。特别是深度卷积神经网络(CNN)在计算机视觉、图像处理、语音处理、医疗诊断、游戏、信号处理等领域产生了深远的影响，成为现代人工智能的基石。深度神经网络虽然具有先进的性能，但其复杂的结构和大量的参数在训练和推理过程中消耗了大量的计算资源。因此，对高速、低功耗的神经网络加速器有着迫切的需求。
光学方法是下一代神经网络加速器的潜在方法，因为光学元件和技术具有超宽频带和低功耗的特点。利用空间光衍射、片上相干干涉、波分复用等光学技术论证了光学神经网络(ONN)的可行性。从数值和实验结果可以很好地推断出它的高速和低功耗性能。在这些关于光学神经网络的先驱工作中，主要考虑了全连接神经网络，因此这些架构被设计成矢量矩阵乘法器。当涉及到卷积神经网络(CNN)时，这些架构可能会面临巨大的挑战，因为将卷积层转换为向量-矩阵乘法需要一个巨大的光学电路。如果输入图像的大小为N×N，则该光电路的内嵌参数个数为N4。克服这一障碍的一种可行方法是通过复用光学硬件将卷积层转换为矩阵-矩阵乘法。因此，嵌入参数的数量显著减少，大约几十个，完整的计算在N2时间周期内完成。
发明内容
根据硬件复用的概念，本发明提出了一种光学矩阵计算单元立体结构，该结构可以在一个单元中执行任意复杂CNN中的所有卷积。由于一个矩阵乘法可以通过多个点积运算等价地实现，因此该架构可以重复使用以实现矩阵乘法器的相同功能，从而减轻了控制难度。
为了克服集成电子电路巨大的能耗和显著的信号延迟，利用光子器件高带宽、低功耗、所需空间小的优势，本发明提出了一种基于光散射的矩阵运算立体结构，可以高速低能耗地进行N维矩阵运算。
一种基于光散射的矩阵运算立体结构单元，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器。所述电光调制单元用于将输入的N维列向量电信号转换为各自不同频率的N维光信号并输出到光学矩阵计算单元，光学矩阵计算单元中实现矩阵P与N维列向量的叉乘结果并输出到光电检测器转化为电信号，得到最终的输出。
所述矩阵P表述形式：
设输入光学矩阵计算单元的N维光信号为光学矩阵计算单元实现矩阵P与N维列向量的叉乘结果后，输出N维光信号为/>其中：
通过以光信号的功率来表征所传递的电信号和矩阵元素，方便了光电之间的读数和转换。借助规定N维光信号的频率各不相同，从而使得将光信号在后端只需简单线性相加而无需讨论相位匹配问题，并且便于使用到后续光学神经网络的训练。
进一步的，所述光学矩阵计算单元包括N层前端光散射单元和N层后端光散射单元，且二者之间通过波导连接，前端光散射单元和后端光散射单元的个数和矩阵P的维度相同；
N层前端光散射单元由N个前端光散射单元堆叠而成，N层后端光散射单元由N个后端光散射单元堆叠而成，N层前端光散射单元和N层一端光散射单元的堆叠方向呈垂直关系，每层前端光散射单元均通过N个波导分别与N个后端光散射单元连接；
N维光信号到达光学矩阵计算单元时，N个光信号分别输入到N个前端光散射单元，在每层前端光散射单元中对输入的光信号进行线性运算分配光功率后，每层前端光散射单元输出N维光信号，分别到达N层后端光散射单元，每层后端光散射单元再对输入的光信号进行线性叠加运算分配光功率，最后将运算结果输出光电检测器。
进一步的，每层的前端光散射单元和后端光散射单元均通过基于python的angler库编程实现，利用片上梯度算法对各层分光结构进行优化设计，在三维坐标上设计各光散射单元结构和排版，与传统芯片设计不对芯片厚度做具体要求且只考虑其二维坐标上排版不同。
进一步的，在每层前端光散射单元中对输入的光信号进行线性运算分配光功率，具体为：
设输入前端光散射单元的N维光信号为前端光散射单元输出N维光信号为/>其中：
进一步的，每层后端光散射单元对输入的光信号进行线性叠加运算分配光功率，具体为：
设输入后端光散射单元的N维光信号为输出的N维光信号为/>其中：
由于输入的N维光信号互为非相干光，线性叠加过程无需做相位上的调整。
采用上述技术方案带来的有益效果：
(1)利用梯度算法训练得到本发明的光学矩阵计算单元，可以代替传统电路，从而实现电光混合的片上矩阵乘法运算，具备高带宽、低损耗、所需空间小等优势。
(2)本发明提出的对输入电信号进行的光信号转换方法易于实现，且可以极大地方便神经网络的训练过程。
(3)本发明使用的光学矩阵计算单元前端结构对光信号进行线性分光运算，功耗低且运算速度远高于纯电路运算速度。
附图说明
图1是本发明的实现矩阵计算的架构示意图；
图2是N层前端光散射单元(左)和N层后端光散射单元(右)的示意图；
图3是光学矩阵计算单元的连接结构示意图；
图4是各层前端光散射单元版图；
图5是各层后端光散射单元版图；
图6是光学矩阵计算单元对光功率的传播效率与迭代次数的关系示意图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，本发明的一种基于光散射的矩阵运算立体结构，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器，所述光学矩阵计算单元包括N层前端光散射单元和N层后端光散射单元，本实施例中的矩阵P为4*4矩阵，所以实施例中的光学矩阵计算单元包括四层前端光散射单元和四层后端光散射单元。
数字电信号作为本发明光学矩阵计算单元的输入，所述电光调制单元用于将输入的电信号转换为四维光信号并分别输出到四层前端光散射单元，用于对接收到的四维光信号进行线性分光运算，将每一维光信号按照所定义矩阵中的对应列元素分光后，每层前端光散射单元输出光信号分别至四层后端光散射单元，再由后端结构对各列光叠加输出至光电检测器得到最终的矩阵计算结果并将其转换回电信号。
四维光信号经过四层前端光散射单元时，每层前端光散射单元作为线性光子元件先对输入的光信号进行线性运算并输出至后端光散射单元，每层后端光散射单元再对信号进行线性叠加运算，再将运算结果从后端光散射单元输出。
四层前端光散射单元，在每层光散射单元中对输入的光信号进行线性运算分配光功率，具体为：
设输入四层前端光散射单元的四维光信号为四层前端光散射单元分别输出为/>其中：
并且可以通过设计前端结构的各层光学芯片单元的结构实现不同的矩阵。
如图2、3所示，四层前端光散射单元与四层后端光散射单元的叠层方向呈垂直关系，两者的结构特点使得连接可用直波导减少信号干扰。
四层后端光散射单元，在每层后端光散射单元中对输入的光信号进行线性叠加运算分配光功率，具体为：
设输入的的光信号为输出四维光信号为/> 其中：
综上，则该光学矩阵计算单元实现了如下矩阵：
对于各层光学芯片单元，可以利用梯度算法对其进行优化设计所得GDS版图如图4、5所示，得到输入响应准确度较高的光学矩阵计算单元。
本发明的光学矩阵计算单元基于L-BFGS算法被优化设计以使得光功率线性误差最小化，其功率传输精确度随着训练次数的增加而增加。如本发明中光学矩阵计算单元实现了4*4的矩阵，则经过400次的迭代优化，光功率的传播效率达到99.87％，其传播效率与迭代次数的关系如图6所示。可以认为该光学矩阵计算单元是可以实现四输入的矩阵运算的。
Claims (5)
1.一种基于光散射的矩阵运算立体结构单元，其特征在于，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器；
所述电光调制单元用于将输入的N维列向量电信号转换为各自不同频率的N维光信号并输出到光学矩阵计算单元，光学矩阵计算单元中实现矩阵P与N维列向量的叉乘结果并输出到光电检测器转化为电信号，得到最终的输出；
所述矩阵P表述形式：
所述光学矩阵计算单元包括N层前端光散射单元和N层后端光散射单元，且二者之间通过波导连接；
N层前端光散射单元由N个前端光散射单元堆叠而成，N层后端光散射单元由N个后端光散射单元堆叠而成，N层前端光散射单元和N层后端光散射单元的堆叠方向呈垂直关系，每层前端光散射单元均通过N个波导分别与N个后端光散射单元连接；
N维光信号到达光学矩阵计算单元时，N个光信号分别输入到N个前端光散射单元，在每层前端光散射单元中对输入的光信号进行线性运算分配光功率后，每层前端光散射单元输出N维光信号，分别到达N层后端光散射单元，每层后端光散射单元再对输入的光信号进行线性叠加运算分配光功率，最后将运算结果输出光电检测器。
2.根据权利要求1所述一种基于光散射的矩阵运算立体结构单元，其特征在于，每层的前端光散射单元和后端光散射单元均通过基于python的angler库编程实现，在三维坐标上设计各光散射单元结构和排版。
3.根据权利要求2所述一种基于光散射的矩阵运算立体结构单元，其特征在于，
利用片上梯度算法对各层光散射单元进行优化设计。
4.根据权利要求1所述一种基于光散射的矩阵运算立体结构单元，其特征在于，在每层前端光散射单元中对输入的光信号进行线性运算分配光功率，具体为：
设输入前端光散射单元的N维光信号为前端光散射单元输出N维光信号为/>其中：
5.根据权利要求1所述一种基于光散射的矩阵运算立体结构单元，其特征在于，每层后端光散射单元对输入的光信号进行线性叠加运算分配光功率，具体为：
设输入后端光散射单元的N维光信号为输出的N维光信号为其中：
由于输入的N维光信号互为非相干光，线性叠加过程无需做相位上的调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210589380.1A CN114861734B (zh) | 2022-05-26 | 2022-05-26 | 一种基于光散射的矩阵运算立体结构单元 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210589380.1A CN114861734B (zh) | 2022-05-26 | 2022-05-26 | 一种基于光散射的矩阵运算立体结构单元 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114861734A CN114861734A (zh) | 2022-08-05 |
| CN114861734B true CN114861734B (zh) | 2024-04-16 |
Family
ID=82642116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210589380.1A Active CN114861734B (zh) | 2022-05-26 | 2022-05-26 | 一种基于光散射的矩阵运算立体结构单元 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114861734B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001036471A (ja) * | 1999-07-15 | 2001-02-09 | Mitsubishi Electric Corp | 波面誤差検出装置及び波面誤差検出方法 |
| CN111600653A (zh) * | 2020-05-14 | 2020-08-28 | 兰州理工大学 | 一种差分光空移键控调制系统及调制方法 |
| CN112384748A (zh) * | 2018-05-15 | 2021-02-19 | 轻物质公司 | 光子处理系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11556312B2 (en) * | 2020-07-10 | 2023-01-17 | International Business Machines Corporation | Photonic in-memory co-processor for convolutional operations |
-
2022
- 2022-05-26 CN CN202210589380.1A patent/CN114861734B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001036471A (ja) * | 1999-07-15 | 2001-02-09 | Mitsubishi Electric Corp | 波面誤差検出装置及び波面誤差検出方法 |
| CN112384748A (zh) * | 2018-05-15 | 2021-02-19 | 轻物质公司 | 光子处理系统和方法 |
| CN111600653A (zh) * | 2020-05-14 | 2020-08-28 | 兰州理工大学 | 一种差分光空移键控调制系统及调制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114861734A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Holylight: A nanophotonic accelerator for deep learning in data centers | |
| TWI825452B (zh) | 光電計算系統 | |
| TWI767877B (zh) | 光電處理系統 | |
| WO2020102204A1 (en) | Large-scale artificial neural-network accelerators based on coherent detection and optical data fan-out | |
| TWI777108B (zh) | 計算系統、計算裝置及計算系統的操作方法 | |
| CN109784485B (zh) | 一种光学神经网络处理器及其计算方法 | |
| US12039433B2 (en) | Optical multiply and accumulate unit | |
| WO2023201970A1 (zh) | 一种计算芯片、系统及数据处理方法 | |
| TW202147060A (zh) | 光電計算系統 | |
| CN113705774B (zh) | 光学电路搭建方法、光学电路、光信号处理方法及装置 | |
| CN111898316A (zh) | 一种超表面结构设计模型的构建方法及其应用 | |
| Kirtas et al. | Quantization-aware training for low precision photonic neural networks | |
| CN115543012A (zh) | 一种用于求解线性方程组的光子计算求解器 | |
| Tsakyridis et al. | Photonic neural networks and optics-informed deep learning fundamentals | |
| Xiao et al. | Scalable and compact 3D tensorized photonic neural networks | |
| CN114861734B (zh) | 一种基于光散射的矩阵运算立体结构单元 | |
| Vatsavai et al. | Sconna: A stochastic computing based optical accelerator for ultra-fast, energy-efficient inference of integer-quantized cnns | |
| CN113592084B (zh) | 基于反向优化超结构卷积核的片上光子神经网络 | |
| US20240135118A1 (en) | Hybrid analog and digital computational system | |
| Kang et al. | Design of convolution operation accelerator based on FPGA | |
| Shiflett et al. | Bitwise neural network acceleration using silicon photonics | |
| CN114970868A (zh) | 空间并行的相干伊辛机及包含其的求解器 | |
| CN114707629A (zh) | 基于光散射的矩阵计算方法及光学神经网络 | |
| CN114742219A (zh) | 神经网络计算方法及光子神经网络芯片架构 | |
| Pei et al. | Joint device architecture algorithm codesign of the photonic neural processing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |