CN117709423A - 一种深度神经网络光子加速芯片及其运算系统 - Google Patents
一种深度神经网络光子加速芯片及其运算系统 Download PDFInfo
- Publication number
- CN117709423A CN117709423A CN202410160786.7A CN202410160786A CN117709423A CN 117709423 A CN117709423 A CN 117709423A CN 202410160786 A CN202410160786 A CN 202410160786A CN 117709423 A CN117709423 A CN 117709423A
- Authority
- CN
- China
- Prior art keywords
- neural network
- array
- weighting
- micro
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 140
- 230000001133 acceleration Effects 0.000 title claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 135
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 35
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 239000012212 insulator Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 229910052581 Si3N4 Inorganic materials 0.000 claims description 2
- 239000011149 active material Substances 0.000 claims description 2
- 230000005693 optoelectronics Effects 0.000 claims description 2
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 claims description 2
- 238000003491 array Methods 0.000 claims 2
- 239000000969 carrier Substances 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 33
- 238000010586 diagram Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
本发明公开了一种深度神经网络光子加速芯片及其运算系统，属于光电集成技术领域。本发明深度神经网络光子加速芯片由调制器阵列、微环加权阵列、循环阵列波导光栅及探测器阵列一体化集成。前一层神经网络节点信号通过调制器阵列中不同调制器分别加载到包含多个波长的光载波上，通过调节微环加权阵列中微环实现不同载波信号的加权矩阵系数加权，并基于循环阵列波导光栅实现不同信号的循环路由分配，探测器阵列中探测器分别将循环路由后的光信号转为电信号，该信号即为完成一层神经网络运算的加权求和信号，加权求和信号经过采集，在电域完成偏置信号添加与非线性激活函数运算即可完成一层神经网络运算，得到后一层神经网络节点信号。
Description
技术领域
本发明涉及一种面向人工智能的深度神经网络光子加速芯片及相应的运算系统，属于光子计算领域。
背景技术
如今，人工智能技术广泛应用于自动驾驶、生物医药及消费电子等领域，而人工智能的高效运行离不开人工神经网络模型。目前主流人工神经网络模型主要基于CPU、GPU以及专用集成电路等电子芯片通过软件模拟来搭建算法模型。受限于传统电子计算机架构，目前电子芯片因程序空间与数据空间分离，致使存储单元与计算单元之间数据传输速度有限，且功耗较大，从而限制网络模型运行速率与效率。受益于光子技术的发展，研究人员正尝试将光子技术应用在人工智能领域（参见[Lin, Xing, et al. "All-optical machinelearning using diffractive deep neural networks." Science 361.6406 (2018):1004-1008.]）。利用光子技术大带宽、低损耗以及可并行等特点，将光子技术与神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈。（参见[Huang C, Fujisawa S, de Lima T F, et al. A siliconphotonic–electronic neural network for fibre nonlinearity compensation.Nature Electronics, 2021, 4(11): 837-844.]）。首先，光子神经网络可采用模拟计算架构，存算可同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[AshtianiF, Geers A J, Aflatouni F. An on-chip photonic deep neural network for imageclassification. Nature, 2022: 1-6.]）提出一种面向图像分类的集成光子深度神经网络，原始图像像素点作为光信号直接输入芯片，光信号在芯片内可依次完成卷积运算与三层神经网络传输。该方案直接使用原始图像信号，而无需光电转换与采集，可以省略高功耗的采集、电预处理单元。但受限于光信号接收的光栅阵列规模有限，该方案目前仅能处理小规模图像，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。
发明内容
本发明所要解决的技术问题在于：克服现有技术不足，利用单片集成微环加权阵列及循环阵列波导光栅实现神经网络节点信号的二维系数加权求和，方案简单紧凑，卷积加权系数可灵活扩展，神经网络拓扑结构可动态调整，适用于二维神经网络的加权求和运算；基于所述深度神经网络光子加速芯片，结合包含数据采集与处理单元的中央控制单元，可完整实现深度神经网络单层网络运算，根据实际神经网络模型，可以实现多层运算。
本发明具体采用以下技术方案解决上述技术问题：
一种深度神经网络光子加速芯片，所述芯片由调制器阵列、微环加权阵列、M×M循环阵列波导光栅及探测器阵列一体化集成；其中：
所述调制器阵列由M个调制器组成，每个调制器包含1个电输入端、1个光输入端与1个光输出端，调制器阵列共M个光输入端为整个光子芯片的光输入端，用于接收外部多波长光载波信号，分别连接微环加权阵列M个光输入端；调制器阵列共M个电输入端用于接收神经网络前一层神经网络节点信号，将神经网络前一层神经网络节点信号通过调制器阵列分别加载到多波长光载波信号上，得到M个子多波长调制光信号；
所述微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导与M个微环谐振器串联组成，M个直通波导的输入端为微环加权阵列的光输入端，分别连接调制器阵列共M个光输出端；M个直通波导的输出端为微环加权阵列的光输出端；M个直通波导的光输入端分别接收M个子多波长调制光信号，加权系数控制信号通过控制每个微环加权单元中M个微环谐振器的耦合系数分别实现子多波长调制光信号中M个波长的卷积核系数加权，在直通波导输出端得到M个子加权强度调制光信号；
所述M×M循环阵列波导光栅包含M个光输入端与M个光输出端，M个光输入端分别连接所述微环加权阵列的M个光输出端；所述M个子加权强度调制光信号在所述M×M循环阵列波导光栅中根据波长实现不同波长信号循环路由，在光输出端得到M个重构子加权强度调制光信号；
所述探测器阵列包含M个探测器，每个探测器包含1个光输入端与1个电输出端，光输入端分别与所述M×M循环阵列波导光栅的光输出端连接，探测器阵列共M个电输出端为整个光子芯片的电输出端；用于将所述M个重构子加权强度调制光信号转换为电信号，M个探测器输出电信号作为深度神经网络光子加速芯片的电输出信号，经过数据采集实现神经网络前一层神经网络节点信号与神经网络矩阵完成矩阵乘加运算。
优选地，所述循环阵列波导光栅的自由频谱范围fFSR与波长通道间隔Δf满足关系为：fFSR=MΔf；所述多波长光载波信号对应的不同波长分别位于所述循环阵列波导光栅不同波长通道内。
优选地，所述微环加权阵列中M个微环加权单元具有相同的结构，每个微环加权单元中M个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。
进一步地，所述芯片可以选用绝缘体上硅材料工艺、三五族有源材料工艺或绝缘体上硅混合氮化硅材料工艺集成。
进一步地，所述加权系数控制信号通过控制微环加权阵列中每个微环加权单元中M个微环的耦合系数分别实现子多波长调制光信号中M个波长的卷积核系数加权，具体为：
根据二维系数加权矩阵中卷积核系数的大小及多波长光载波信号中各个波长的初始信号强度确定微环谐振器耦合系数，再通过热光效应或电光效应改变微环谐振器耦合系数，M个微环加权单元中M×M个微环谐振器对应大小为M×M的二维系数加权矩阵；M×M的二维卷积核系数与M个微环加权单元中M×M个微环谐振器的映射关系根据循环阵列光栅的波长路由映射关系确定。
在上述技术方案基础上还可进一步得到以下技术方案：
一种基于深度神经网络光子加速芯片的运算系统，包括多波长光源、1×M功分器、跨阻放大器阵列、驱动放大器阵列、中央处理单元以及所述的深度神经网络光子加速芯片；所述多波长光源与所述1×M功分器的光输入端连接，1×M功分器的光输出端通过光纤波导耦合方式与所述芯片的光输入端连接，驱动放大器阵列的电输出端分别与所述深度神经网络光子加速芯片中调制器阵列的电输入端连接，所述深度神经网络光子加速芯片的电输出端分别与跨阻放大器阵列的电输入端连接，跨阻放大器阵列的电输出端与中央处理单元连接；中央处理单元分别与所述深度神经网络光子加速芯片中的微环加权阵列电输入端、所述驱动放大器阵列的电输入端以及跨阻放大器阵列的输出端连接，分别用于产生神经网络节点信号并输入至驱动放大器阵列中，根据深度神经网络模型参数产生加权系数控制信号并输入至所述深度神经网络光子加速芯片中的微环加权阵列中以及接收跨阻放大器阵列输出的信号并进行处理。其中：
多波长光源，用于产生包含M个波长的多波长光载波信号；
1×M功分器，用于将多波长光载波信号功分为M路子多波长光载波信号，并作为光输入信号分别送入深度神经网络光子加速芯片的光输入端；
跨阻放大器阵列，包含M个跨阻放大器，用于对所述深度神经网络光子加速芯片输出的电信号分别进行放大，得到电加权求和信号；
中央处理单元，用于根据深度神经网络模型参数，实现不同层神经网络节点信号、加权系数控制信号的产生，并接收电加权求和信号，在电域对电加权求和信号进行处理，完成一层神经网络运算；
驱动放大器阵列，包含M个驱动放大器，用于对中央处理单元产生的前一层神经网络节点信号进行放大，并分别输入到所述深度神经网络光子加速芯片中调制器阵列的电输入端。
进一步地，所述中央处理单元包括：
信号采集与处理单元，用于接收跨阻放大器阵列输出的电加权求和信号，并在电域完成电加权求和信号的偏置附加并基于非线性激活函数完成非线性转换，得到新一层神经网络节点信号；以初始神经网络赋值产生前一层神经网络节点信号或根据新一层神经网络节点信号产生前一层神经网络节点信号。
加权系数控制单元，用于产生加权系数控制信号，并输入到所述深度神经网络光子加速芯片中微环加权阵列的电输入端；
主控制单元，用于根据深度神经网络模型参数控制加权系数控制单元产生加权系数控制信号，控制信号采集与处理单元实现神经网络节点信号的产生与处理。
进一步地，所述多波长光源可以为多波长激光器或多个波长不同的单波长激光器通过波分复用器合成的组合器件。
进一步地，所述深度神经网络模型前一层神经网络节点数O与后一层神经网络节点数P需要小于等于M。
进一步地，所述调制器为热光调制器、光衰减器或马赫-曾德尔调制器等。
相比现有技术，本发明技术方案具有以下有益效果：
1）本发明基于光子技术大带宽的优势在光域实现神经网络的加权求和，加权求和运算速度仅限制于调制器与探测器速度。
2）本发明基于二维微环加权阵列及循环阵列波导光栅在单个信号周期即可实现二维神经网络数据的加权求和运算，方案简单高效，且神经网络拓扑架构灵活可重构。
3）本发明单片集成主要功能器件，可有效降低系统复杂度，功耗，可广泛增加发明的应用场景。
附图说明
图1为本发明深度神经网络光子加速芯片的结构示意图；
图2为本发明基于深度神经网络光子加速芯片的运算系统的结构示意图；
图3为本发明深度神经网络光子加速芯片一个具体实施例的结构示意图；
图4为本发明基于深度神经网络光子加速芯片的运算系统一个具体实施例的结构示意图；
图5为本发明基于深度神经网络光子加速芯片的运算系统一个具体实施中深度神经网络前一层神经网络节点信号与其加权求和信号的映射关系图；
图6为本发明基于深度神经网络光子加速芯片的运算系统一个具体实施中循环阵列波导光栅波长路由映射关系图；
图7为本发明基于深度神经网络光子加速芯片的运算系统一个具体实施中原始二维系数加权矩阵根据阵列波导光栅波长路由映射关系图修正后的二维系数加权矩阵；
图8为本发明深度神经网络光子加速芯片中调制器阵列分别加载前一层神经网络节点信号与输出光信号的时间序列与波长关系图；其中，图8中的A对应调制器阵列加载前一层神经网络节点信号与第一个微环加权单元输出光信号的时间序列与波长关系图，图8中的B对应调制器阵列加载前一层神经网络节点信号与第二个微环加权单元输出光信号的时间序列与波长关系图，图8中的C对应调制器阵列加载前一层神经网络节点信号与第三个微环加权单元输出光信号的时间序列与波长关系图，图8中的D对应调制器阵列加载前一层神经网络节点信号与第四个微环加权单元输出光信号的时间序列与波长关系图；
图9为本发明深度神经网络光子加速芯片中分别输入探测器阵列的重构子加权强度调制光信号和探测器输出加权求和信号的时间序列与波长关系图；其中，图9中的A对应第一个探测器输出加权求和信号的时间序列与波长关系图，图9中的B对应第二个探测器输出加权求和信号的时间序列与波长关系图，图9中的C对应第三个探测器输出加权求和信号的时间序列与波长关系图，图9中的D对应第四个探测器输出加权求和信号的时间序列与波长关系图。
具体实施方式
针对现有技术的不足，本发明的思路是将实现神经网络加权运算的核心器件：调制器阵列、微环加权阵列、循环阵列波导光栅以及探测器阵列单片集成，利用调制器阵列作为前一层神经网络节点，通过微环加权阵列实现加权系数的加载，基于循环阵列波导光栅实现不同波长信号的路由重构，最终探测器阵列完成光电转换即可得到前一层神经网络节点信号的加权求和信号。方案中神经网络模型可灵活扩展，信号处理实时高效。
本发明的深度神经网络光子加速芯片结构示意图如图1所示，由调制器阵列、微环加权阵列、M×M循环阵列波导光栅及探测器阵列一体化集成；其中：
所述探调制器阵列由M个调制器组成，每个调制器包含1个电输入端、1个光输入端与1个光输出端，调制器阵列共M个光输入端为整个光子芯片的光输入端，用于接收外部多波长光载波信号，调制器阵列共M个光输出端分别连接微环加权阵列M个光输入端；调制器阵列共M个电输入端用于接收神经网络前一层神经网络节点信号；
所述微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导与M个微环谐振器串联组成，M个直通波导的输入端为微环加权阵列的光输入端，M个直通波导的输出端为微环加权阵列的光输出端，分别连接M×M循环阵列波导光栅的M个光输入端；
所述M×M循环阵列波导光栅包含M个光输入端与M个光输出端，光输出端分别与探测器阵列的光输入端连接；
所述探测器阵列包含M个探测器，每个探测器包含1个光输入端与1个电输出端，探测器阵列共M个电输出端为整个光子芯片的电输出端。
本发明基于深度神经网络光子加速芯片的运算系统如图2所示，包括：多波长光源、1×M功分器、跨阻放大器阵列、驱动放大器阵列、中央处理单元以及深度神经网络光子加速芯片等。其中，中央处理单元包含加权系数控制单元、主控制单元及信号采集与处理单元。主控制单元根据深度神经网络模型参数控制加权系数控制单元产生加权系数控制信号，控制信号采集与处理单元实现神经网络节点信号的采集与处理。
首先，多波长光源产生包含M个波长的多波长光载波信号并送入1×M功分器，1×M功分器将多波长光载波信号功分为M路子多波长光载波信号，并作为光输入信号分别送入深度神经网络光子加速芯片的光输入端；调制器阵列共M个光输入端作为整个光子加速芯片的光输入端，分别接收外部的M路子多波长光载波信号。中央处理单元中信号采集与处理单元采集的神经网络前一层神经网络节点信号通过驱动放大器阵列放大后分别加载到调制器阵列共M个电输入端，将神经网络前一层神经网络节点信号通过调制器阵列分别加载到多波长光载波上，得到M个多波长调制光信号。调制器阵列共M个光输出端分别连接微环加权阵列M个光输入端，中央控制单元中加权系数控制单元输出的加权系数控制信号通过控制微环加权阵列每个微环加权单元中M个微环谐振器的耦合系数分别实现多波长调制光信号中M个波长的卷积核系数加权，在微环加权阵列直通波导输出端得到M个子加权强度调制光信号；M个子加权强度调制光信号在所述M×M循环阵列波导光栅中根据波长实现不同波长信号循环路由，在光输出端得到M个重构子加权强度调制光信号，探测器阵列分别将M个重构子加权强度调制光信号转换为电信号，并作为深度神经网络光子加速芯片的电输出信号；跨阻放大器阵列将深度神经网络光子加速芯片输出的电信号分别进行放大，得到电加权求和信号；中央处理单元中数据采集与处理单元对电加权求和信号进行接收，并在电域完成电加权求和信号的偏置附加并基于非线性激活函数完成非线性转换，得到新一层神经网络节点信号。
需要说明的是，所述调制器可为热光调制器、光衰减器、马赫-曾德尔调制器等，本实施例优选马赫-曾德尔调制器。
为了便于公众理解，下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明，本发明深度神经网络光子加速芯片一个具体实施例结构示意图如图3所示，探测器阵列包含4个马赫-曾德尔调制器（MZM），微环加权阵列包含4个微环加权单元，每个微环加权单元由4个微环谐振器组成，循环阵列波导光栅的输入端口数与输出端口数都为4，探测器阵列包含4个探测器。同时基于上述深度神经网络光子加速芯片的一个具体实施例运算系统结构示意图如图4所示。
首先，作为多波长光源的多波长激光器输出4个波长强度相等的多波长光载波信号，用矩阵可以表示为，A为单波长信号强度。多波长光载波信号送入1×4功分器，1×4功分器将多波长光载波信号功分为4路子多波长光载波信号，并作为光输入信号通过光纤-芯片耦合技术分别送入深度神经网络光子加速芯片的光输入端；调制器阵列共4个光输入端作为整个光子加速芯片的光输入端，分别接收外部的子多波长光载波信号。深度神经网络前一层神经网络节点信号与其加权求和信号的映射关系图如图5所示，为4×4的网络拓扑架构。深度神经网络前一层神经网络节点信号用矩阵可以表示为, 其中n表示离散化时间序号，经过深度神经网络光子加速芯片加速后，其对应的加权求和信号用矩阵可以表示为/>。中央处理单元中信号采集与处理单元采集的神经网络前一层神经网络节点信号通过驱动放大器阵列放大后分别加载到调制器阵列中4个马赫-曾德尔调制器的电输入端，调制器阵列将神经网络前一层神经网络节点信号通过马赫-曾德尔调制器分别加载到子多波长光载波上，得到4个子多波长调制光信号。调制器阵列4个光输出端分别连接微环加权阵列4个光输入端，微环加权阵列包含4个微环加权单元，微环加权单元的结构示意图如图3所示，每个微环加权单元由1个直通波导与4个微环谐振器串联组成，且所述微环加权阵列中4个微环加权单元具有相同的结构，每个微环加权单元中4个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。中央控制单元中加权系数控制单元输出的加权系数控制信号通过热光效应或电光效应控制微环加权阵列每个微环加权单元中4个微环谐振器的耦合系数分别实现多波长调制光信号中4个波长的卷积核系数加权，在微环加权阵列直通波导输出端得到4个子加权强度调制光信号。4个直通波导的输出端分别连接4×4循环阵列波导光栅的4个光输入端，4个子加权强度调制光信号在4×4循环阵列波导光栅中根据波长实现不同波长信号循环路由，得到4个重构子加权强度调制光信号。所述循环阵列波导光栅的自由频谱范围fFSR与波长通道间隔Δf满足关系为fFSR=MΔf；所述多波长光载波信号中不同波长分别位于所述循环阵列波导光栅不同波长通道内。循环阵列波导光栅对不同波长信号的循环路由关系如图6所示。设原始二维系数加权矩阵MTW表示为：
wij表示第i行第j列的加权矩阵元素，则根据阵列波导光栅波长路由映射关系图修正后的二维加权矩阵系数MNW表示为：
原始二维系数加权矩阵根据阵列波导光栅波长路由映射关系图修正后的二维系数加权矩阵示意图如图7所示。加权系数控制单元输出的加权系数控制信号根据修正后的二维系数加权矩阵分别控制微环加权阵列中对应位置的微环谐振器耦合系数。4个微环加权单元输出的子加权强度调制光信号与对应加载在马赫-曾德尔调制器上的深度神经网络前一层神经网络节点信号对应的时间序列与波长关系图分别如图8中的A、图8中的B、图8中的C和图8中的D所示。4个子加权强度调制光信号送入4×4循环阵列波导光栅完成波长路由得到循环路由后的4个重构子加权强度调制光信号分别输入到4个探测器中实现光电转换，得到4个电输出信号，即为经过深度神经网络光子加速芯片加速后，深度神经网络前一层神经网络节点信号对应的加权求和信号。4个重构子加权强度调制光信号和对应探测器输出的加权求和信号对应的时间序列与波长关系图分别如图9中的A、图9中的B、图9中的C和图9中的D所示。探测器输出信号作为深度神经网络光子加速芯片的电输出信号，包含4个跨阻放大器的跨阻放大器阵列对深度神经网络光子加速芯片输出的电信号分别进行放大，中央处理单元中数据采集与处理单元对电加权求和信号进行接收，并在电域完成加权求和信号的偏置附加，并基于非线性激活函数完成非线性转换，得到新一层神经网络节点信号。此外，中央处理单元中主控制单元根据深度神经网络模型参数控制加权系数控制单元产生加权系数控制信号，控制信号采集与处理单元实现神经网络节点信号的产生与处理。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (10)
1.一种深度神经网络光子加速芯片，其特征在于，所述芯片由调制器阵列、微环加权阵列、M×M循环阵列波导光栅及探测器阵列一体化集成；其中：
所述调制器阵列由M个调制器组成，用于接收外部多波长光载波信号；调制器阵列共M个电输入端用于接收神经网络前一层神经网络节点信号，将神经网络前一层神经网络节点信号通过调制器阵列分别加载到多波长光载波信号上，得到M个子多波长调制光信号；
所述微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导与M个微环谐振器串联组成；M个直通波导的输入端为微环加权阵列的光输入端，M个直通波导的输出端为微环加权阵列的光输出端，微环加权阵列M个光输入端与调制器阵列M个调制器的光输出端连接，M个直通波导的光输入端分别接收M个子多波长调制光信号，加权系数控制信号通过控制每个微环加权单元中M个微环谐振器的耦合系数分别实现子多波长调制光信号中M个波长的卷积核系数加权，在直通波导输出端得到M个子加权强度调制光信号；
所述M×M循环阵列波导光栅的光输入端分别与微环加权阵列M个光输出端连接；所述M个子加权强度调制光信号在所述M×M循环阵列波导光栅中根据波长实现不同波长信号循环路由，在光输出端得到M个重构子加权强度调制光信号；
所述探测器阵列包含M个探测器，每个探测器包含1个光输入端与1个电输出端，探测器阵列共M个电输出端为整个光子芯片的电输出端；所述M×M循环阵列波导光栅的光输出端分别与探测器阵列的光输入端连接，探测器阵列将所述M个重构子加权强度调制光信号转换为电信号，M个探测器输出电信号作为深度神经网络光子加速芯片的电输出信号，经过数据采集实现神经网络前一层神经网络节点信号与神经网络矩阵完成矩阵乘加运算。
2.如权利要求1所述的深度神经网络光子加速芯片，其特征在于，所述M×M循环阵列波导光栅的自由频谱范围fFSR与波长通道间隔Δf满足关系为：fFSR=MΔf；所述多波长光载波信号对应的不同波长分别位于所述M×M循环阵列波导光栅不同波长通道内。
3.如权利要求1所述的深度神经网络光子加速芯片，其特征在于，所述微环加权阵列中M个微环加权单元具有相同的结构，每个微环加权单元中M个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。
4.如权利要求1所述的深度神经网络光子加速芯片，其特征在于，所述芯片选用绝缘体上硅材料工艺、三五族有源材料工艺或绝缘体上硅混合氮化硅材料工艺集成。
5.如权利要求1所述的深度神经网络光子加速芯片，其特征在于，所述加权系数控制信号通过控制微环加权阵列中每个微环加权单元中M个微环的耦合系数分别实现子多波长调制光信号中M个波长的卷积核系数加权，具体为：
根据二维系数加权矩阵中卷积核系数的大小及多波长光载波信号中各个波长的初始信号强度确定微环谐振器耦合系数，再通过热光效应或电光效应改变微环谐振器耦合系数，M个微环加权单元中M×M个微环谐振器对应大小为M×M的二维系数加权矩阵；M×M的二维卷积核系数与M个微环加权单元中M×M个微环谐振器的映射关系根据循环阵列光栅的波长路由映射关系确定。
6.一种基于深度神经网络光子加速芯片的运算系统，其特征在于，包括用于产生包含M个波长的多波长光载波信号的多波长光源、1×M功分器、跨阻放大器阵列、驱动放大器阵列、中央处理单元以及权利要求1至5任一项所述的深度神经网络光子加速芯片；所述多波长光源与所述1×M功分器的光输入端连接，1×M功分器的光输出端通过光纤波导耦合方式与所述深度神经网络光子加速芯片的光输入端连接，驱动放大器阵列的电输出端分别与所述深度神经网络光子加速芯片中调制器阵列的电输入端连接，所述深度神经网络光子加速芯片的电输出端分别与跨阻放大器阵列的电输入端连接；中央处理单元分别与所述深度神经网络光子加速芯片中的微环加权阵列电输入端、所述驱动放大器阵列的电输入端以及跨阻放大器阵列的输出端连接，分别用于产生神经网络节点信号并输入至驱动放大器阵列中，根据深度神经网络模型参数产生加权系数控制信号并输入至所述深度神经网络光子加速芯片中的微环加权阵列中以及接收跨阻放大器阵列输出的信号并进行处理。
7.如权利要求6所述的运算系统，其特征在于，所述中央处理单元包括：
信号采集与处理单元，用于接收跨阻放大器阵列输出的电加权求和信号，并在电域完成电加权求和信号的偏置附加并基于非线性激活函数完成非线性转换，得到新一层神经网络节点信号；以初始神经网络赋值产生前一层神经网络节点信号或根据新一层神经网络节点信号产生前一层神经网络节点信号；
加权系数控制单元，用于产生加权系数控制信号，并输入到所述深度神经网络光子加速芯片中微环加权阵列的电输入端；
主控制单元，用于根据深度神经网络模型参数控制加权系数控制单元产生加权系数控制信号，控制信号采集与处理单元实现神经网络节点信号的产生与处理。
8.如权利要求6所述的运算系统，其特征在于，所述多波长光源为多波长激光器或多个波长不同的单波长激光器通过波分复用器合成的组合器件。
9.如权利要求6所述的运算系统，其特征在于，深度神经网络模型前一层神经网络节点数O与后一层神经网络节点数P需要小于等于M。
10.如权利要求6所述的运算系统，其特征在于，所述调制器为热光调制器、光衰减器或马赫-曾德尔调制器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160786.7A CN117709423B (zh) | 2024-02-05 | 2024-02-05 | 一种深度神经网络光子加速芯片及其运算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410160786.7A CN117709423B (zh) | 2024-02-05 | 2024-02-05 | 一种深度神经网络光子加速芯片及其运算系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117709423A true CN117709423A (zh) | 2024-03-15 |
| CN117709423B CN117709423B (zh) | 2024-05-24 |
Family
ID=90157267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410160786.7A Active CN117709423B (zh) | 2024-02-05 | 2024-02-05 | 一种深度神经网络光子加速芯片及其运算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117709423B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| CN111882052A (zh) * | 2020-08-19 | 2020-11-03 | 北京大学 | 光子卷积神经网络系统 |
| US20220044100A1 (en) * | 2019-07-31 | 2022-02-10 | The Regents Of The University Of California | Parallel architectures for nanophotonic computing |
| WO2022164746A1 (en) * | 2021-02-01 | 2022-08-04 | Ohio University | Photonic accelerator for deep neural networks |
| CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
| CN117077750A (zh) * | 2023-08-21 | 2023-11-17 | 之江实验室 | 一种并行光子卷积运算芯片及系统 |
-
2024
- 2024-02-05 CN CN202410160786.7A patent/CN117709423B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| US20220044100A1 (en) * | 2019-07-31 | 2022-02-10 | The Regents Of The University Of California | Parallel architectures for nanophotonic computing |
| CN111882052A (zh) * | 2020-08-19 | 2020-11-03 | 北京大学 | 光子卷积神经网络系统 |
| WO2022164746A1 (en) * | 2021-02-01 | 2022-08-04 | Ohio University | Photonic accelerator for deep neural networks |
| CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
| CN117077750A (zh) * | 2023-08-21 | 2023-11-17 | 之江实验室 | 一种并行光子卷积运算芯片及系统 |
Non-Patent Citations (3)
| Title |
|---|
| ASHTIANI F 等: "An on-chip photonic deep neural network for image classification", NATURE, 1 June 2022 (2022-06-01) * |
| SHIJI ZHANG 等: "Redundancy-free integrated optical convolver for optical neural networks based on arrayed waveguide grating", NANOPHOTONICS, 2 January 2024 (2024-01-02) * |
| 刘晏辰;刘洋;: "一种细粒度可重构的深度神经网络加速芯片", 半导体技术, no. 01, 3 January 2020 (2020-01-03) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117709423B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639359B (zh) | 基于微环谐振器的光子神经网络卷积层芯片 | |
| CN114358271B (zh) | 一种时间-波长交织光子神经网络卷积加速芯片 | |
| CN111882052B (zh) | 光子卷积神经网络系统 | |
| CN112001487A (zh) | 一种光子神经网络 | |
| CN114819132B (zh) | 一种基于时间-波长交织的光子二维卷积加速方法及系统 | |
| CN115167610B (zh) | 二维光子卷积加速芯片及应用系统与方法 | |
| CN102866876A (zh) | 一种单片集成的光学矩阵-向量乘法器 | |
| CN114815959B (zh) | 一种基于波分复用的光子张量计算加速方法及装置 | |
| CN115169542B (zh) | 一种面向卷积神经网络的二维光子卷积加速系统和装置 | |
| CN113805641B (zh) | 一种光子神经网络 | |
| CN111561953A (zh) | 基于波分复用与平衡探测的片上集成光学矩阵矢量乘法器 | |
| Yang et al. | On-chip optical matrix-vector multiplier | |
| CN112101540B (zh) | 光学神经网络芯片及其计算方法 | |
| CN117077750B (zh) | 一种并行光子卷积运算芯片及系统 | |
| CN114325932B (zh) | 一种片上集成的全光神经网络光计算芯片 | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| US11934943B1 (en) | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure | |
| CN117709423B (zh) | 一种深度神经网络光子加速芯片及其运算系统 | |
| CN113325917A (zh) | 一种光计算装置、系统以及计算方法 | |
| CN115472603B (zh) | 基于光频梳实现卷积神经网络的单片光子集成芯片 | |
| CN112232487B (zh) | 光学神经网络芯片及其计算方法 | |
| CN117784313B (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 | |
| CN114488650A (zh) | 硅基光子集成芯片 | |
| CN113630207A (zh) | 一种光子神经网络芯片 | |
| CN117784313A (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |