CN115146771A - 一种基于串联结构的二维光子神经网络卷积加速芯片 - Google Patents
一种基于串联结构的二维光子神经网络卷积加速芯片 Download PDFInfo
- Publication number
- CN115146771A CN115146771A CN202211070007.1A CN202211070007A CN115146771A CN 115146771 A CN115146771 A CN 115146771A CN 202211070007 A CN202211070007 A CN 202211070007A CN 115146771 A CN115146771 A CN 115146771A
- Authority
- CN
- China
- Prior art keywords
- micro
- wavelength
- ring
- waveguide
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 230000001133 acceleration Effects 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims description 180
- 230000008878 coupling Effects 0.000 claims description 55
- 238000010168 coupling process Methods 0.000 claims description 55
- 238000005859 coupling reaction Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000005693 optoelectronics Effects 0.000 claims description 3
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 230000008054 signal transmission Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种基于串联结构的二维光子神经网络卷积加速芯片，所述芯片由调制器、M个微环延时加权单元、M‑1个二级延时波导、波分复用器及光电探测器一体化集成。本发明基于微环谐振器阵列实现待卷积信号的任意卷积核矩阵系数加权，调节速度快，实时反馈训练提取最优卷积核矩阵；通过微环谐振器级联集成波导实现不同波长子加权调制信号一级波长‑时间交织，通过二级延时波导串联连接微环延时加权单元实现不同波长子加权调制信号二级波长‑时间交织，实现波导的延时复用，相对并联在降低芯片尺寸的同时，降低延时波导带来的信号传输损耗，从而提高芯片的能量利用效率。
Description
技术领域
本发明涉及一种光子集成技术领域，尤其涉及一种基于串联结构的二维光子神经网络卷积加速芯片。
背景技术
人工智能如今广泛应用于机器视觉、自然语言处理及自动驾驶等领域，其中作为人工智能技术重要模型之一的人工神经网络因具有优秀泛化能力及稳定性而被广泛使用。人工神经网络本质上通过模仿生物神经系统结构，建立类似的神经元网络互联模式。基于电子技术的成熟发展，如今主流神经网络模型训练与测试主要以电子集成芯片为载体，例如，CPU、GPU、FPGA以及专用集成电路等。由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据载荷不稳定且功耗较高，限制网络模型训练的效率。虽然可以通过提高电子芯片集成度或通过内存计算来提高运算效率，但受限于电子芯片的微观量子特性及宏观高频响应特性，这些技术方向也面临巨大挑战（参见[1. 陈宏伟, 于振明, 张天, 等. 光子神经网络发展与挑战. 中国激光, 2020, 47(5): 0500004.]）。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，广泛应用于雷达、通信以及成像等领域，将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈（参见[Shen Y, Harris N C, Skirlo S, et al. " Deep learning with coherentnanophotonic circuits，"Nature Photonics, vol. 11, no. 7, pp. 441-446,2017.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[Xu X, Tan M, Corcoran B, et al. "11 TOOSphotonic convolutional accelerator for optical neural networks," Nature, vol.589, no. 7840, pp. 45-51, 2021.]）提出一种基于色散技术实现待卷积信号的卷积运算与全连接前馈神经网络，运算速度已接近现有基于电子技术的最新芯片，但该方案功耗却得到大大降低，为光子神经网络迈向实用化提供了可靠依据。但上述方案主要网络基于分立光模块，各光模块体积较大，且方案中使用的商用仪器波形整形器难以集成，导致该方案成本较高，难以大规模应用于普通商业场景。
为此，我们提出一种基于串联结构的二维光子神经网络卷积加速芯片。
发明内容
本发明的目的在于提供一种基于串联结构的二维光子神经网络卷积加速芯片，解决了现有技术中如何基于光子集成技术，利用包含延迟波导的微环谐振器单元实现信号卷积核矩阵系数加权及加权调制光信号的时间-波长一级交织，利用二级延时波导实现加权调制光信号的时间-波长二级交织，解决传统方法数据冗余以及延时波导不能复用的问题，适用于多维数据卷积运算的问题。
本发明采用的技术方案如下：
一种基于串联结构的二维光子神经网络卷积加速芯片，所述芯片由调制器、M个微环延时加权单元、M-1个二级延时波导、波分复用器及光电探测器一体化集成；其中：
所述调制器具有电输入端、光输入端及光输出端，所述调制器的光输入端作为整个芯片的光输入端，所述调制器的光输入端用于接收多波长光信号；所述调制器的光输出端连接第一个微环延时加权单元的光输入端；所述调制器的电输入端用于接收待卷积信号，所述调制器用于将所述待卷积信号调制到多波长光信号，得到包含MN个子调制光信号的多波长调制光信号；
每个所述微环延时加权单元均由单个直通波导、单个耦合波导及N个微环谐振器组成，N个微环谐振器通过直通波导和耦合波导串联连接；其中，所述直通波导的输入端作为所述微环延时加权单元的光输入端，所述耦合波导的输出端与所述直通波导的输出端分别作为所述微环延时加权单元的两个光输出端；M个微环延时加权单元通过M-1个二级延时波导串联连接，二级延时波导的输入端与二级延时波导前一个微环延时加权单元中直通波导的输出端连接，二级延时波导的输出端与二级延时波导后一个微环延时加权单元中直通波导的输入端连接；通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，在M个微环延时加权单元中耦合波导的输出端分别得到各包含N个波长的加权调制光信号；
所述波分复用器具有M个光输入端和单个光输出端，波分复用器的M个光输入端分别与M个微环延时加权单元中耦合波导的输出端连接，波分复用器的光输出端连接光电探测器的光输入端；输入波分复用器的M个各包含N个波长的加权调制光信号波分复用为一路复合多波长加权调制光信号；
所述光电探测器的光输入端与所述波分复用器的光输出端连接，用于对所述复合多波长加权调制光信号进行光电转换，得到电输出信号，所述电输出信号经采集处理重构得到待卷积信号完成二维卷积运算后的特征信号。
进一步地，通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，具体过程为：从第一个微环延时加权单元开始，根据卷积核矩阵控制信号控制所述微环延时加权单元中N个相邻微环谐振器耦合系数，依次将N个子调制光信号按不同耦合系数耦合到耦合波导中，实现N个子调制光信号卷积核系数加权，在耦合波导输出端得到包含N个波长的第一微环延时加权单元的加权调制光信号，在直通波导输出端得到包含（M-1）N个子调制光信号的多波长光信号；包含（M-1）N个子调制光信号的多波长光信号经过第一个二级延时波导延时后送入第二个微环延时加权单元的光输入端执行与第一个微环延时加权单元的相同操作；依次类推，在第M个微环延时加权单元的耦合波导输出端得到包含N个波长的第M微环延时加权单元的加权调制光信号。
进一步地，通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，具体为：
根据卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个所述微环延时加权单元中N个微环谐振器对应卷积核矩阵中一行系数，M个微环延时加权单元中M×N个微环谐振器对应大小为M×N的二维卷积核矩阵系数。
进一步地，所述待卷积信号为二维待卷积数据平坦化处理后得到的一维时间序列，二维待卷积数据为原始二维数据通过矩阵变换得到，具体变换过程为：
原始二维数据AQ×O在列方向以步进P-N+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积数据，其中，Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积数据矩阵的列数，N为二维卷积核矩阵的列数。
进一步地，所述微环延时加权单元中的N个微环谐振器在直通波导端之间有长为∆l=c∆t/nw的延迟波导，其中，c为光在真空中速度，nw为波导延迟线有效折射率，∆t=1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率，二级延时波导长为∆L=(P-N+1)c∆t/nw。
进一步地，M个所述微环延时加权单元中总共的M×N个微环谐振器的半径不相同，每个所述微环谐振器分别对应一个谐振波长，且半径最大所述微环谐振器对应的自由光谱范围
大于所述多波长光信号所占据的光谱范围MN
，
为多波长光信号的波长间距。
进一步地，所述原始二维数据为三维或多维原始数据分解得到。
进一步地，所述波分复用器单个通道频谱响应宽度为N
，且波分复用器的M个光输入端对应M个通道，每个通道分别对应包含N个波长的加权调制光信号。
进一步地，所述芯片基于三五族材料集成工艺，或硅基集成工艺集成。
进一步地，所述多波长光信号由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器产生。
本发明的有益效果是：
1、本发明基于微环谐振器阵列实现待卷积信号的任意卷积核矩阵系数加权，方案简单紧凑，调节速度快，可实现实时反馈训练提取最优卷积核矩阵，卷积运算速度仅限制于调制器速度。
2、本发明通过微环谐振器级联集成波导实现不同波长子加权调制信号一级波长-时间交织，利用串联二级延时波导实现不同波长子加权调制信号二级波长-时间交织，在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效。
3、本发明通过二级延时波导串联连接微环延时加权单元实现不同波长子加权调制信号二级波长-时间交织，可实现波导的延时复用，相对并联在降低芯片尺寸的同时，降低延时波导带来的信号传输损耗，从而提高芯片的能量利用效率。
附图说明
图1为本发明一种基于串联结构的二维光子神经网络卷积加速芯片的结构示意图；
图2为本发明二维光子卷积加速芯片一个具体实施例结构示意图；
图3为本发明二维光子卷积加速芯片一个具体实施例中微环延时加权单元结构示意图；
图4为本发明二维光子卷积加速芯片一个具体实施例中原始二维数据到二维待卷积数据的矩阵变换过程示意图；
图5为本发明二维光子卷积加速芯片一个具体实施例中二维待卷积数据矩阵平坦化处理示意图；
图6为本发明二维光子卷积加速芯片一个具体实施例中调制器输出信号光谱示意图；其中A为多波长强度调制光信号的光谱分布图，B为多波长强度调制光信号的时间序列与波长关系图。
图7为本发明二维光子卷积加速芯片一个具体实施例中各工作节点的光谱示意图；
图8为本发明二维光子卷积加速芯片一个具体实施例中波分复用器输出复合多波长加权调制光信号的时间序列与波长关系图；
图9为本发明二维光子卷积加速芯片一个具体实施例中二维特征数据到原始二维特征数据的矩阵变换过程示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，一种基于串联结构的二维光子神经网络卷积加速芯片，所述芯片由调制器、M个微环延时加权单元、M-1个二级延时波导、波分复用器及光电探测器一体化集成；其中：
所述调制器具有电输入端、光输入端及光输出端，所述调制器的光输入端作为整个芯片的光输入端，所述调制器的光输入端用于接收多波长光信号；所述调制器的光输出端连接第一个微环延时加权单元的光输入端；所述调制器的电输入端用于接收待卷积信号，所述调制器用于将所述待卷积信号调制到多波长光信号，得到包含MN个子调制光信号的多波长调制光信号；
所述芯片基于三五族材料集成工艺，或硅基集成工艺集成。
所述多波长光信号由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器产生。
所述待卷积信号为二维待卷积数据平坦化处理后得到的一维时间序列，二维待卷积数据为原始二维数据通过矩阵变换得到，具体变换过程为：
原始二维数据AQ×O在列方向以步进P-N+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积数据，其中，Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积数据矩阵的列数，N为二维卷积核矩阵的列数。
所述原始二维数据为三维或多维原始数据分解得到。
每个所述微环延时加权单元均由单个直通波导、单个耦合波导及N个微环谐振器组成，N个微环谐振器通过直通波导和耦合波导串联连接；其中，所述直通波导的输入端作为所述微环延时加权单元的光输入端，所述耦合波导的输出端与所述直通波导的输出端分别作为所述微环延时加权单元的两个光输出端；M个微环延时加权单元通过M-1个二级延时波导串联连接，二级延时波导的输入端与二级延时波导前一个微环延时加权单元中直通波导的输出端连接，二级延时波导的输出端与二级延时波导后一个微环延时加权单元中直通波导的输入端连接；通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，在M个微环延时加权单元中耦合波导的输出端分别得到各包含N个波长的加权调制光信号；
通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，具体过程为：从第一个微环延时加权单元开始，根据卷积核矩阵控制信号控制所述微环延时加权单元中N个相邻微环谐振器耦合系数，依次将N个子调制光信号按不同耦合系数耦合到耦合波导中，实现N个子调制光信号卷积核系数加权，在耦合波导输出端得到包含N个波长的第一微环延时加权单元的加权调制光信号，在直通波导输出端得到包含（M-1）N个子调制光信号的多波长光信号；包含（M-1）N个子调制光信号的多波长光信号经过第一个二级延时波导延时后送入第二个微环延时加权单元的光输入端执行与第一个微环延时加权单元的相同操作；依次类推，在第M个微环延时加权单元的耦合波导输出端得到包含N个波长的第M微环延时加权单元的加权调制光信号。
通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，具体为：
根据卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个所述微环延时加权单元中N个微环谐振器对应卷积核矩阵中一行系数，M个微环延时加权单元中M×N个微环谐振器对应大小为M×N的二维卷积核矩阵系数。
所述微环延时加权单元中的N个微环谐振器在直通波导端之间有长为∆l=c∆t/nw的延迟波导，其中，c为光在真空中速度，nw为波导延迟线有效折射率，∆t=1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率，二级延时波导长为∆L=(P-N+1)c∆t/nw。
M个所述微环延时加权单元中总共的M×N个微环谐振器的半径不相同，每个所述微环谐振器分别对应一个谐振波长，且半径最大所述微环谐振器对应的自由光谱范围
大于所述多波长光信号所占据的光谱范围MN
，
为多波长光信号的波长间距。
所述波分复用器具有M个光输入端和单个光输出端，波分复用器的M个光输入端分别与M个微环延时加权单元中耦合波导的输出端连接，波分复用器的光输出端连接光电探测器的光输入端；输入波分复用器的M个各包含N个波长的加权调制光信号波分复用为一路复合多波长加权调制光信号；
所述波分复用器单个通道频谱响应宽度为N
，且波分复用器的M个光输入端对应M个通道，每个通道分别对应包含N个波长的加权调制光信号。
所述光电探测器的光输入端与所述波分复用器的光输出端连接，用于对所述复合多波长加权调制光信号进行光电转换，得到电输出信号，所述电输出信号经采集处理重构得到待卷积信号完成二维卷积运算后的特征信号。
参见图2，本实施例多波长光信号由多波长激光器产生，调制器采用马赫-曾德尔调制器（MZM），首先，多波长激光器输出包含MN个波长强度相等的多波长光信号，用矩阵表示为A=[A,A,A,…,A]T MN×1，其中M与N为正整数，分别对应卷积核矩阵的行数与列数，A为单波长光信号强度。多波长光信号通过光纤-波导耦合技术送入光子芯片的马赫-曾德尔调制器（MZM）的光输入端，待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器（MZM）对多波长光信号进行调制，将待卷积信号分别加载到多波长光信号的不同波长上。待卷积信号序列表示为x(i)=[x(1),x(2),x(3),…,x(R)]，其中i表示离散化时间序号，R=QP为待卷积信号的长度，待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号，而二维待卷积信号为原始二维数据通过矩阵变换得到，变换过程如图4所示，原始二维数据AQ×O在列方向以步进P-N+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积信号，其中，Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积信号矩阵的列数，N为二维卷积核矩阵的列数。二维待卷积信号矩阵如图5中的（A）所示，为一个Q行P列的矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图5中的（B）所示。每一个强度调制的载波对应一个待卷积信号，得到多波长调制光信号，多波长调制光信号SMod用矩阵表示为：
对应的光谱分布如图6中的（A）所示，不同波长对应的子调制光信号的时间序列与波长关系图如图6中的（B）所示。马赫-曾德尔调制器（MZM）输出的多波长调制光信号依次送入通过二级延时波导串联连接的M个微环延时加权单元。微环延时加权单元的结构示意图如图3所示，每个延时加权单元由1个直通波导、1个耦合波导以及N个微环谐振器组成，微环谐振器在直通波导端彼此之间有一段长为∆l=c∆t/nw的延时波导，其中，c为光在真空中速度，nw为波导延时线有效折射率，∆t=1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率，二级延时波导长为∆L=(P-N+1)c∆t/nw。每个延时加权单元中N个微环的谐振特性依次对应于一个波长，根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个微环延时微环单元中N个微环谐振器对应卷积核矩阵中一行元素。卷积核矩阵控制单元输出的卷积核矩阵控制信号首先控制第一个微环谐振器谐振特性，使在直通波导中传输的对应波长子强度调制光信号按特定耦合系数耦合到耦合波导中，实现卷积核矩阵系数加权。直通波导中的子多波长调制光信号经过第一个微环谐振器后进入直通波导的延时波导实现∆t延时，延时后的多波长强度调制光信号通过第二个微环谐振器对相应波长信号实现系数加权，延时后依次完成所有波长信号加权。在耦合波导输出端得到N个子加权强度调制光信号，设卷积核矩阵系数Mcon表示为：
其中，w表示卷积核矩阵元素；则第一个微环延时加权单元耦合波导输出的子加权调制光信号SModcon_1表示为：
第一个微环延时加权单元耦合波导输出的子加权调制光信号的时间序列与波长关系图如图7中的（A）所示，在直通波导输出端得到包含（M-1）N个子调制光信号的多波长光信号的时间序列与波长关系图如图7中的（B）所示。第一微环延时加权单元输出的多波长光信号送入长为∆L=(P-N+1)c∆t/nw的二级延时波导实现二级延时，二级延时后的多波长光信号送入第二微环延时加权单元进行与在第一微环延时加权单元中相同的操作，在第二微环延时加权单元耦合波导输出的子加权调制光信号的时间序列与波长关系图如图7中的（C）所示，在直通波导输出端得到包含（M-2）N个子调制光信号的多波长光信号的时间序列与波长关系图如图7中的（D）所示。在后续串联的微环延时加权单元及二级延时波导中进行相同的操作，直至最后一个微环延时加权单元。最后一个微环延时加权单元耦合波导输出的子加权调制光信号的时间序列与波长关系图如图7中的（E）所示。则延时微环延时加权单元耦合波导输出的子加权调制光信号SModcon_m表示为：
M个微环延时加权单元输出的子加权调制光信号分别送入波分复用器的M个光输入端复用为一路复合多波长加权调制光信号，复合多波长加权调制光信号的时间序列与波长关系图如图8所示。复合多波长加权调制光信号通过波导输入到光电探测器中实现光电转换，得到二维光子卷积加速芯片的电输出信号，电输出信号有效时序内的信号表示为：
其中，Sca(r)为第r次卷积运算的结果，wmn为卷积核矩阵系数。采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图5中的（C）所示，其中灰色的N-1列为冗余数据。去除冗余数据后即可得到二维待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
最后，将H个二维特征信号通过图9所示的方法合为一个对应原始二维数据的特征信号，继而完成原始二维数据的卷积运算。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述芯片由调制器、M个微环延时加权单元、M-1个二级延时波导、波分复用器及光电探测器一体化集成；其中：
所述调制器具有电输入端、光输入端及光输出端，所述调制器的光输入端作为整个芯片的光输入端，所述调制器的光输入端用于接收多波长光信号；所述调制器的光输出端连接第一个微环延时加权单元的光输入端；所述调制器的电输入端用于接收待卷积信号，所述调制器用于将所述待卷积信号调制到多波长光信号，得到包含MN个子调制光信号的多波长调制光信号；
每个所述微环延时加权单元均由单个直通波导、单个耦合波导及N个微环谐振器组成，N个微环谐振器通过直通波导和耦合波导串联连接；其中，所述直通波导的输入端作为所述微环延时加权单元的光输入端，所述耦合波导的输出端与所述直通波导的输出端分别作为所述微环延时加权单元的两个光输出端；M个微环延时加权单元通过M-1个二级延时波导串联连接，二级延时波导的输入端与二级延时波导前一个微环延时加权单元中直通波导的输出端连接，二级延时波导的输出端与二级延时波导后一个微环延时加权单元中直通波导的输入端连接；通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，在M个微环延时加权单元中耦合波导的输出端分别得到各包含N个波长的加权调制光信号；
所述波分复用器具有M个光输入端和单个光输出端，波分复用器的M个光输入端分别与M个微环延时加权单元中耦合波导的输出端连接，波分复用器的光输出端连接光电探测器的光输入端；输入波分复用器的M个各包含N个波长的加权调制光信号波分复用为一路复合多波长加权调制光信号；
所述光电探测器的光输入端与所述波分复用器的光输出端连接，用于对所述复合多波长加权调制光信号进行光电转换，得到电输出信号，所述电输出信号经采集处理重构得到待卷积信号完成二维卷积运算后的特征信号。
2.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，实现包含MN个子调制光信号的多波长调制光信号加权，具体过程为：从第一个微环延时加权单元开始，根据卷积核矩阵控制信号控制所述微环延时加权单元中N个相邻微环谐振器耦合系数，依次将N个子调制光信号按不同耦合系数耦合到耦合波导中，实现N个子调制光信号卷积核系数加权，在耦合波导输出端得到包含N个波长的第一微环延时加权单元的加权调制光信号，在直通波导输出端得到包含（M-1）N个子调制光信号的多波长光信号；包含（M-1）N个子调制光信号的多波长光信号经过第一个二级延时波导延时后送入第二个微环延时加权单元的光输入端执行与第一个微环延时加权单元的相同操作；依次类推，在第M个微环延时加权单元的耦合波导输出端得到包含N个波长的第M微环延时加权单元的加权调制光信号。
3.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，通过卷积核矩阵控制信号控制M个微环延时加权单元中微环谐振器耦合系数，具体为：
根据卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个所述微环延时加权单元中N个微环谐振器对应卷积核矩阵中一行系数，M个微环延时加权单元中M×N个微环谐振器对应大小为M×N的二维卷积核矩阵系数。
4.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述待卷积信号为二维待卷积数据平坦化处理后得到的一维时间序列，二维待卷积数据为原始二维数据通过矩阵变换得到，具体变换过程为：
原始二维数据AQ×O在列方向以步进P-N+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积数据，其中，Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积数据矩阵的列数，N为二维卷积核矩阵的列数。
5.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述微环延时加权单元中的N个微环谐振器在直通波导端之间有长为∆l=c∆t/nw的延迟波导，其中，c为光在真空中速度，nw为波导延迟线有效折射率，∆t=1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率，二级延时波导长为∆L=(P-N+1)c∆t/nw。
6.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，M个所述微环延时加权单元中总共的M×N个微环谐振器的半径不相同，每个所述微环谐振器分别对应一个谐振波长，且半径最大所述微环谐振器对应的自由光谱范围
大于所述多波长光信号所占据的光谱范围MN
，
为多波长光信号的波长间距。
7.如权利要求4所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述原始二维数据为三维或多维原始数据分解得到。
8.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述波分复用器单个通道频谱响应宽度为N
，且波分复用器的M个光输入端对应M个通道，每个通道分别对应包含N个波长的加权调制光信号。
9.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述芯片基于三五族材料集成工艺，或硅基集成工艺集成。
10.如权利要求1所述的一种基于串联结构的二维光子神经网络卷积加速芯片，其特征在于，所述多波长光信号由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器产生。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211070007.1A CN115146771B (zh) | 2022-09-02 | 2022-09-02 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
| US18/237,839 US11934943B1 (en) | 2022-09-02 | 2023-08-24 | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211070007.1A CN115146771B (zh) | 2022-09-02 | 2022-09-02 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115146771A true CN115146771A (zh) | 2022-10-04 |
| CN115146771B CN115146771B (zh) | 2022-11-22 |
Family
ID=83415775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211070007.1A Active CN115146771B (zh) | 2022-09-02 | 2022-09-02 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11934943B1 (zh) |
| CN (1) | CN115146771B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116029350A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180217328A1 (en) * | 2017-02-02 | 2018-08-02 | International Business Machines Corporation | Waveguide architecture for photonic neural component |
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| CN110351073A (zh) * | 2018-04-04 | 2019-10-18 | 华为技术有限公司 | 多波长调制解调结构、光子发射装置和光子接收装置 |
| US20190370652A1 (en) * | 2018-06-05 | 2019-12-05 | Lightelligence, Inc. | Optoelectronic computing systems |
| US20200019851A1 (en) * | 2018-07-10 | 2020-01-16 | The George Washington University | Optical convolutional neural network accelerator |
| CN111461317A (zh) * | 2020-04-03 | 2020-07-28 | 上海交通大学 | 单片集成光子卷积神经网络计算系统及其制备方法 |
| CN111882052A (zh) * | 2020-08-19 | 2020-11-03 | 北京大学 | 光子卷积神经网络系统 |
| CN113961035A (zh) * | 2021-10-15 | 2022-01-21 | 北京理工大学 | 面向深度学习的高效能可重构全光神经网络计算芯片架构 |
| CN114358271A (zh) * | 2022-03-18 | 2022-04-15 | 之江实验室 | 一种时间-波长交织光子神经网络卷积加速芯片 |
| CN114815959A (zh) * | 2022-06-27 | 2022-07-29 | 之江实验室 | 一种基于波分复用的光子张量计算加速方法及装置 |
| CN114819089A (zh) * | 2022-04-28 | 2022-07-29 | 华中科技大学 | 一种基于模式复用的光子卷积加速器 |
| CN114819132A (zh) * | 2022-06-27 | 2022-07-29 | 之江实验室 | 一种基于时间-波长交织的光子二维卷积加速方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210264241A1 (en) * | 2020-02-20 | 2021-08-26 | Ohio University | Optical multiply and accumulate unit |
| US11057143B1 (en) * | 2020-06-18 | 2021-07-06 | Hewlett Packard Enterprise Development Lp | Wavelength division multiplexing (WDM)-based and multipath interferometry based optical ternary content addressable memory (TCAM) |
| US11469764B2 (en) * | 2020-08-28 | 2022-10-11 | Hewlett Packard Enterprise Development Lp | Optical comb source for content-addressable memory encoders |
| US20230274156A1 (en) * | 2020-09-29 | 2023-08-31 | Massachusetts Institute Of Technology | Low-Power Edge Computing with Optical Neural Networks via WDM Weight Broadcasting |
| WO2022164746A1 (en) * | 2021-02-01 | 2022-08-04 | Ohio University | Photonic accelerator for deep neural networks |
-
2022
- 2022-09-02 CN CN202211070007.1A patent/CN115146771B/zh active Active
-
2023
- 2023-08-24 US US18/237,839 patent/US11934943B1/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180217328A1 (en) * | 2017-02-02 | 2018-08-02 | International Business Machines Corporation | Waveguide architecture for photonic neural component |
| CN110351073A (zh) * | 2018-04-04 | 2019-10-18 | 华为技术有限公司 | 多波长调制解调结构、光子发射装置和光子接收装置 |
| US20190370652A1 (en) * | 2018-06-05 | 2019-12-05 | Lightelligence, Inc. | Optoelectronic computing systems |
| US20200019851A1 (en) * | 2018-07-10 | 2020-01-16 | The George Washington University | Optical convolutional neural network accelerator |
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| CN111461317A (zh) * | 2020-04-03 | 2020-07-28 | 上海交通大学 | 单片集成光子卷积神经网络计算系统及其制备方法 |
| CN111882052A (zh) * | 2020-08-19 | 2020-11-03 | 北京大学 | 光子卷积神经网络系统 |
| CN113961035A (zh) * | 2021-10-15 | 2022-01-21 | 北京理工大学 | 面向深度学习的高效能可重构全光神经网络计算芯片架构 |
| CN114358271A (zh) * | 2022-03-18 | 2022-04-15 | 之江实验室 | 一种时间-波长交织光子神经网络卷积加速芯片 |
| CN114819089A (zh) * | 2022-04-28 | 2022-07-29 | 华中科技大学 | 一种基于模式复用的光子卷积加速器 |
| CN114815959A (zh) * | 2022-06-27 | 2022-07-29 | 之江实验室 | 一种基于波分复用的光子张量计算加速方法及装置 |
| CN114819132A (zh) * | 2022-06-27 | 2022-07-29 | 之江实验室 | 一种基于时间-波长交织的光子二维卷积加速方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| XU X, ET AL: "11 TOPS photonic convolutional accelerator for optical neural networks", 《NATURE》 * |
| YM ZHANG, ET AL: "Photonic Generation of Linear-Frequency-Modulated Waveforms With Improved Time-Bandwidth Product Based on Polarization Modulation", 《JOURNAL OF LIGHTWAVE TECHNOLOGY》 * |
| YUE JIANG,ET AL: "Photonic Convolution Neural Network Based on Interleaved Time-Wavelength Modulation", 《JOURNAL OF LIGHTWAVE TECHNOLOGY》 * |
| 郑鹏飞等: "可重构自耦合微环辅助的MZI集成光子滤波器", 《光学精密工程》 * |
| 黄禹尧: "可编程时频交织光子神经网络研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116029350A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240086698A1 (en) | 2024-03-14 |
| US11934943B1 (en) | 2024-03-19 |
| CN115146771B (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114358271B (zh) | 一种时间-波长交织光子神经网络卷积加速芯片 | |
| CN114819132B (zh) | 一种基于时间-波长交织的光子二维卷积加速方法及系统 | |
| CN115167610B (zh) | 二维光子卷积加速芯片及应用系统与方法 | |
| CN115169542B (zh) | 一种面向卷积神经网络的二维光子卷积加速系统和装置 | |
| CN114815959B (zh) | 一种基于波分复用的光子张量计算加速方法及装置 | |
| CN112001487A (zh) | 一种光子神经网络 | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| CN115146771B (zh) | 一种基于串联结构的二维光子神经网络卷积加速芯片 | |
| CN117077750B (zh) | 一种并行光子卷积运算芯片及系统 | |
| CN108880695B (zh) | 光子连续时间压缩装置及其方法 | |
| CN117784313B (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 | |
| CN116029350B (zh) | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 | |
| CN115130666B (zh) | 一种二维光子卷积加速方法和系统 | |
| CN114503000A (zh) | 光学神经元单元及其网络 | |
| CN114723016A (zh) | 片上光子卷积神经网络及其构建方法 | |
| CN115374828A (zh) | 一种张量卷积核加速芯片及方法 | |
| Shinya et al. | High-speed optical convolutional neural network accelerator with 100 GBaud EO-polymer/Si hybrid optical modulator | |
| Nakajima et al. | Densely parallelized photonic tensor processor on hybrid waveguide/free-space-optics | |
| CN116739065A (zh) | 一种用于多通道数据处理的光子张量卷积计算方法与系统 | |
| CN117709423B (zh) | 一种深度神经网络光子加速芯片及其运算系统 | |
| CN115641494B (zh) | 一种基于微环调制器的神经网络图像处理系统 | |
| Nakajima | Parallel neuromorphic computing on space and wavelength division multiplexed photonic processor | |
| Shi et al. | Emulation and modelling of semiconductor optical amplifier-based all-optical photonic integrated deep neural network with arbitrary depth | |
| CN117574034A (zh) | 一种基于布拉格光栅的片上光电混合卷积加速器 | |
| CN117688997A (zh) | 一种基于频率编码dfb神经元的可重构逻辑运算装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |