CN113961035A - 面向深度学习的高效能可重构全光神经网络计算芯片架构 - Google Patents

面向深度学习的高效能可重构全光神经网络计算芯片架构 Download PDF

Info

Publication number
CN113961035A
CN113961035A CN202111205466.1A CN202111205466A CN113961035A CN 113961035 A CN113961035 A CN 113961035A CN 202111205466 A CN202111205466 A CN 202111205466A CN 113961035 A CN113961035 A CN 113961035A
Authority
CN
China
Prior art keywords
micro
module
nonlinear
matrix
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205466.1A
Other languages
English (en)
Inventor
张伟锋
郑爽
杨舒文
王彬
曾涛
胡善清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202111205466.1A priority Critical patent/CN113961035A/zh
Publication of CN113961035A publication Critical patent/CN113961035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Nonlinear Science (AREA)
  • Neurology (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

本发明公开了面向深度学习的高效能可重构全光神经网络计算芯片架构，包括输入层、隐藏层和输出层；输入层由强度编码MZI阵列构成，多个不同波长的输入信号通过强度编码后输入到隐藏层；隐藏层包括可编程线性计算模块和非线性模块；可编程线性计算模块由可构建任意矩阵的MZI阵列实现；其中，MZI阵列中的相移器由多个可调谐的过耦合微环谐振器代替，来实现并行计算，可并行计算的波长通道数由微环谐振器数量决定；非线性模块由多个级联的Add‑drop型微环谐振器构成，通过微环谐振器的非线性效应实现非线性输出；输出层对隐藏层输出信号进行光电转换；本发明能够解决目前芯片存在的集成度和并行计算能力不足的问题。

Description

面向深度学习的高效能可重构全光神经网络计算芯片架构
技术领域
本发明属于集成光电子的技术领域，具体涉及一种面向深度学习的高效能可重构全光神经网络计算芯片架构。
背景技术
人工智能，作为当下信息科学中最为活跃的领域之一，在机器视觉、自动驾驶、目标跟踪以及等领域有着重要的应用。神经网络，作为人工智能中最重要的模型之一，因具有较好的泛化能力和鲁棒性而被应用于各类场景中。集成电路(IC)芯片是当今主流神经网络模型训练和测试的硬件载体，例如中央处理器(CPU)、图形处理器(GPU)、现场可编程门阵列(FPGA)以及专用集成电路(ASIC)。但是，无论采用哪种IC芯片，其都是基于“冯·诺伊曼”计算体系，该体系存在计算和存储分离的特点，导致神经网络的计算效率受到了极大限制。在某些实时控制的应用场景下，功耗大、速度慢，成为了阻碍深度学习神经网络技术应用的主要问题。
光子技术，是采用光子作为信息传输和处理的基本载体的技术。相比传统的电子计算，光子计算直接利用光信号在光域内实现信息的高速处理和复杂运算，其主要优势包括：(1)以光为载体的信息传递具备大带宽、低延时和超高速的特点；(2)可实现多维度的并行处理，具有大容量处理的潜力；(3)低功耗。因此，基于光子计算的硬件加速技术是一种极有前景的颠覆性创新技术。
近年来，随着硅基光子集成技术蓬勃发展，国内外科研团队在光子计算芯片研制方面取得了非常大的进展。基于光子集成平台的光子计算芯片架构主要分为两类，第一类是基于光干涉的马赫-曾德尔干涉仪(MZI)阵列架构；第二类是基于微环谐振器阵列的架构。2012年，中科院半导体所研究人员研制了微环谐振器阵列器件，并结合波分复用技术(WDM)，实现了高速的矩阵向量乘法运算。2016年，美国麻省理工学院研究团队研制了第一款面向深度学习的全光神经网络芯片，该硅基光子计算芯片的线性计算模块由级联的马赫-曾德尔干涉仪(MZI)构建，可利用矩阵分解算法满足通用的矩阵向量乘积运算，其非线性计算模块则是在片外实现。2017年，英国牛津大学研究人员基于相变材料和光子集成器件研制了光子突触结构，完成光学神经拟态计算。
2019年，德国明斯特大学研究团队基于微环谐振器和相变材料，研制了第一个可用于构建脉冲神经网络的全光集成和可扩展神经形态框架，并证明该系统能够完成典型的人工智能模式识别任务。2020年，我国华中科技大学研究人员基于通用MZI级联网络阵列结构实现了多功能光信号处理，包括滤波、光交换、矩阵运算等。此外，上海交通大学和斯威本理工大学研究团队在基于离散光电器件的光计算方面也做了很多有代表性研究工作。
目前，基于MZI二维拓扑网络结构具备可编程性、可重构性和一定的通用性，但非线性激活函数模块尚未与线性计算模块集成，且功耗较大，不能够实现并行计算。基于微环谐振器的阵列结构可集成度高且功耗低，但在通用性方面不足。
综上所述，现有方案存在两个关键问题：(1)并行计算能力弱(2)芯片架构完整性不足。
发明内容
有鉴于此，本发明提供了一种面向深度学习的高效能可重构全光神经网络计算芯片架构，能够解决目前芯片存在的集成度和并行计算能力不足的问题。
实现本发明的技术方案如下：
面向深度学习的高效能可重构全光神经网络计算芯片架构，包括由左至右依次相连的输入层、隐藏层和输出层；
输入层由强度编码MZI阵列构成，多个不同波长的输入信号通过强度编码MZI阵列进行强度编码后输入到隐藏层；
所述隐藏层包括可编程线性计算模块和非线性模块；
可编程线性计算模块是由可构建任意矩阵的MZI阵列实现；其中，MZI阵列中的相移器由多个可调谐的过耦合微环谐振器代替，来实现并行计算，可并行计算的波长通道数由微环谐振器数量决定；
非线性模块由多个级联的Add-drop型微环谐振器构成，通过微环谐振器的非线性效应实现对可编程线性计算模块输出信号的非线性输出；
输出层对隐藏层输出信号进行光电转换。
进一步地，所述强度编码通过矩阵分解理论实现，其信号传输过程为Eout1＝M1·Ein，Ein代表输入信号，M1代表强度编码矩阵。
进一步地，所述可编程线性计算模块的信号传输过程为Eout2＝M2·Eout1，M2为一个任意矩阵，Eout1代表输入层的输出信号，Eout2代表可编程线性计算模块的输出信号。
进一步地，所述任意矩阵通过奇异值分解拆分为酉矩阵、对角矩阵、酉矩阵的复共轭，则所述可编程线性计算模块分为酉矩阵、对角矩阵、酉矩阵的复共轭三部分。
进一步地，所述输出层通过光探测器实现。
有益效果：
1、本发明基于MZ I二维拓扑网络阵列结构，在具有通用性的基础上实现了多波长复用，解决了并行计算的问题，且相比于传统相移器，过耦合微环谐振器对热光、电光调制更加敏感，且在器件长度和功耗上均可下降1-2个数量级，极大提高了网络的计算能效。
2、本发明的Add-drop型微环谐振器的非线性效应为线性计算模块与非线性功能模块的同片集成提供可能，有利于光子计算芯片的进一步集成化和小型化。
附图说明
图1为本发明面向深度学习的高效能可重构全光神经网络计算芯片架构的整体结构示意图。
图2为本发明面向深度学习的高效能可重构全光神经网络计算芯片架构的可编程线性计算模块的MZI单元结构示意图。
图3为本发明使用的微环谐振器三种耦合状态的幅度谱和相位谱示意图；(a)幅度谱示意图，(b)相位谱示意图。
图4为本发明不同波长的光通过不同微环谐振器时实现独立调控和并行计算的线性模块光输出结果示意图。
图5为本发明微环谐振腔的非线性功能模块结构示意图。
图6为本发明微环谐振腔的非线性效应示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如图1所示，本发明提供了一种面向深度学习的高效能可重构全光神经网络计算芯片架构，包括由左至右依次相连的输入层、隐藏层(包括可编程线性计算功能模块和非线性模块)、输出层。
输入层由强度编码MZI阵列构成，λ1、λ2、λ3......λj分别代表输入到强度编码MZI阵列的不同波长的信号，通过强度编码MZI阵列进行强度编码后输入到隐藏层。
强度编码模块也由矩阵分解理论来实现(具体原理参见隐藏层可编程线性计算模块)，其信号传输过程可以写为Eout1＝M1·Ein，Ein代表输入信号，M1代表强度编码矩阵。
隐藏层由可编程线性计算功能模块和非线性模块构成。
可编程线性计算功能模块是由可构建任意矩阵的MZI阵列实现。其信号传输过程为Eout2＝M2·Eout1，M2为一个任意矩阵，Eout1代表输入层的输出信号；其中，MZI阵列中的相移器由多个可调谐的过耦合微环谐振器代替，来实现并行计算，可并行计算的波长通道数由微环谐振器数量决定。
依据矩阵分析理论，一个任意矩阵可以通过奇异值分解来拆分，即
Figure BDA0003306698000000051
其中U为m×m的酉矩阵，∑为m×n的对角矩阵，
Figure BDA0003306698000000052
为n×n的酉矩阵V的复共轭，因此，隐藏层中的可编程线性计算功能模块可以分为酉矩阵、对角矩阵、酉矩阵的复共轭三部分。每个MZI由两个分光比均为50％的分束器和两个相移器(θ,φ)组成。通过两个相移器控制MZI便可以实现两输入与两输出端口之间的酉矩阵变换：
Figure BDA0003306698000000053
基于可调MZI基本单元即可构造满足酉矩阵阵列结构。并行计算通过用可调谐的过耦合微环谐振器代替相移器实现，可并行计算的波长通道数由单元结构的微环数量决定。
图2展示了本发明面向深度学习的高效能可重构全光神经网络计算芯片架构的可编程线性计算模块的MZI单元结构示意图。基于微环辅助的MZI单元结构可以实现波分复用进而进行并行计算，这里以3个环为例(可并行计算的信道数等于微环的个数)。通过电极独立控制每个微环谐振腔，其对应的工作波长即可以灵活调控。为了尽可能地密集波分复用，微环谐振器的尺寸可进一步减小，经初步仿真和计算，其FSR最大可以达到90nm。
图3(a)、(b)分别为本发明使用的微环谐振器三种耦合状态的幅度谱和相位谱示意图。通过图3可知，当微环谐振器处于过耦合状态时，其直通输出光谱在谐振波长附近有2π的相移，且过耦合状态的幅度衰减较低，因此凭借其过耦合状态波长依赖的相位和幅度分布特性，可以为每个波长信道引入独立的相移。据充分调研和理论估算，相比于直波导相移器，拟设计的过耦合微环谐振腔器件对热光、电光调制更加敏感，并且环辅助相移器在器件长度和功耗上均可下降1-2个数量级。
图4为本发明不同波长的光通过不同微环谐振器时实现独立调控和并行计算的线性模块光输出结果图。可以看出不同波长的光经过其对应的微环谐振器的独立调控后输出的光强有所不同，说明实现了并行计算。
非线性功能模块由多个级联的Add-drop型微环谐振器构成，通过微环谐振器的非线性效应实现对可编程线性计算功能模块输出信号的非线性输出。
非线性功能模块基于硅基微环的非线性效应动力学机制，包括载流子吸收和双光子吸收引起的热光效应(TOE-FCA,TOE-TPA)在整个光功率范围内引起微环复折射率的变化。该非线性效应引起的非线性光学现象可直接体现在微环谐振腔的输出光谱上，可模拟Relu6函数。信号通过非线性模块后进行输出。
图5为本发明微环谐振腔的非线性功能模块结构示意图。不同波长且不同光强的光进入到对应的微环腔之后，由于微环腔在谐振波长处的非线性效应和输入光功率的不同，可以实现非线性的输出光。
图6为本发明微环谐振腔的非线性效应示意图。载流子吸收和双光子吸收引起的热光效应(TOE-FCA,TOE-TPA)在整个光功率范围内引起微环复折射率的变化。该非线性效应引起的非线性光学现象可直接体现在微环谐振腔的输出光谱上：当输入泵浦光功率较小时，微环的透射光谱呈现对称的倒洛伦兹线型分布；当输入泵浦光功率较大时，可观测到谐振峰漂移和不对称谱型。理论仿真发现，在谐振波长处，微环透射光功率随输入光功率呈非线性变化。图6为实验中测得谐振波长处微环drop端的透射光功率随输入光功率的变化曲线。该曲线具有良好的数学性质，且在整个域上类似Relu6非线性激活函数，可满足全光神经网络中的非线性计算。
输出层通过光探测器实现的，对隐藏层输出信号进行光电转换。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.面向深度学习的高效能可重构全光神经网络计算芯片架构，其特征在于，包括由左至右依次相连的输入层、隐藏层和输出层；
输入层由强度编码MZI阵列构成，多个不同波长的输入信号通过强度编码MZI阵列进行强度编码后输入到隐藏层；
所述隐藏层包括可编程线性计算模块和非线性模块；
可编程线性计算模块是由可构建任意矩阵的MZI阵列实现；其中，MZI阵列中的相移器由多个可调谐的过耦合微环谐振器代替，来实现并行计算，可并行计算的波长通道数由微环谐振器数量决定；
非线性模块由多个级联的Add-drop型微环谐振器构成，通过微环谐振器的非线性效应实现对可编程线性计算模块输出信号的非线性输出；
输出层对隐藏层输出信号进行光电转换。
2.如权利要求1所述的面向深度学习的高效能可重构全光神经网络计算芯片架构，其特征在于，所述强度编码通过矩阵分解理论实现，其信号传输过程为Eout1＝M1·Ein，Ein代表输入信号，M1代表强度编码矩阵。
3.如权利要求1所述的面向深度学习的高效能可重构全光神经网络计算芯片架构，其特征在于，所述可编程线性计算模块的信号传输过程为Eout2＝M2·Eout1，M2为一个任意矩阵，Eout1代表输入层的输出信号，Eout2代表可编程线性计算模块的输出信号。
4.如权利要求1所述的面向深度学习的高效能可重构全光神经网络计算芯片架构，其特征在于，所述任意矩阵通过奇异值分解拆分为酉矩阵、对角矩阵、酉矩阵的复共轭，则所述可编程线性计算模块分为酉矩阵、对角矩阵、酉矩阵的复共轭三部分。
5.如权利要求1所述的面向深度学习的高效能可重构全光神经网络计算芯片架构，其特征在于，所述输出层通过光探测器实现。
CN202111205466.1A 2021-10-15 2021-10-15 面向深度学习的高效能可重构全光神经网络计算芯片架构 Pending CN113961035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205466.1A CN113961035A (zh) 2021-10-15 2021-10-15 面向深度学习的高效能可重构全光神经网络计算芯片架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205466.1A CN113961035A (zh) 2021-10-15 2021-10-15 面向深度学习的高效能可重构全光神经网络计算芯片架构

Publications (1)

Publication Number Publication Date
CN113961035A true CN113961035A (zh) 2022-01-21

Family

ID=79464188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205466.1A Pending CN113961035A (zh) 2021-10-15 2021-10-15 面向深度学习的高效能可重构全光神经网络计算芯片架构

Country Status (1)

Country Link
CN (1) CN113961035A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358271A (zh) * 2022-03-18 2022-04-15 之江实验室 一种时间-波长交织光子神经网络卷积加速芯片
CN115146771A (zh) * 2022-09-02 2022-10-04 之江实验室 一种基于串联结构的二维光子神经网络卷积加速芯片
CN115167610A (zh) * 2022-09-08 2022-10-11 之江实验室 二维光子卷积加速芯片及应用系统与方法
CN115358381A (zh) * 2022-09-01 2022-11-18 清华大学 光学全加器及其神经网络设计方法、设备及介质
CN115496195A (zh) * 2022-08-08 2022-12-20 西安电子科技大学 基于mzi阵列和fp-sa的光脉冲神经网络实现装置
CN116107037A (zh) * 2023-04-13 2023-05-12 中国科学院长春光学精密机械与物理研究所 密集波导阵列的片上光学器件光计算网络结构
CN115358381B (zh) * 2022-09-01 2024-05-31 清华大学 光学全加器及其神经网络设计方法、设备及介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358271A (zh) * 2022-03-18 2022-04-15 之江实验室 一种时间-波长交织光子神经网络卷积加速芯片
CN114358271B (zh) * 2022-03-18 2022-07-12 之江实验室 一种时间-波长交织光子神经网络卷积加速芯片
CN115496195A (zh) * 2022-08-08 2022-12-20 西安电子科技大学 基于mzi阵列和fp-sa的光脉冲神经网络实现装置
CN115358381A (zh) * 2022-09-01 2022-11-18 清华大学 光学全加器及其神经网络设计方法、设备及介质
CN115358381B (zh) * 2022-09-01 2024-05-31 清华大学 光学全加器及其神经网络设计方法、设备及介质
CN115146771A (zh) * 2022-09-02 2022-10-04 之江实验室 一种基于串联结构的二维光子神经网络卷积加速芯片
CN115146771B (zh) * 2022-09-02 2022-11-22 之江实验室 一种基于串联结构的二维光子神经网络卷积加速芯片
US11934943B1 (en) 2022-09-02 2024-03-19 Zhejiang Lab Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure
CN115167610A (zh) * 2022-09-08 2022-10-11 之江实验室 二维光子卷积加速芯片及应用系统与方法
CN116107037A (zh) * 2023-04-13 2023-05-12 中国科学院长春光学精密机械与物理研究所 密集波导阵列的片上光学器件光计算网络结构

Similar Documents

Publication Publication Date Title
CN109639359B (zh) 基于微环谐振器的光子神经网络卷积层芯片
CN113961035A (zh) 面向深度学习的高效能可重构全光神经网络计算芯片架构
Zhou et al. Photonic matrix multiplication lights up photonic accelerator and beyond
Wu et al. Analog optical computing for artificial intelligence
Nahmias et al. Photonic multiply-accumulate operations for neural networks
Bagherian et al. On-chip optical convolutional neural networks
Bai et al. Photonic multiplexing techniques for neuromorphic computing
Rakshit et al. Design of ring resonator based all optical switch for logic and arithmetic operations–a theoretical study
Bai et al. Towards silicon photonic neural networks for artificial intelligence
CN111683304A (zh) 在光波导和/或光芯片上实现的全光衍射神经网络及系统
Dabos et al. Neuromorphic photonic technologies and architectures: scaling opportunities and performance frontiers
Peserico et al. Integrated photonic tensor processing unit for a matrix multiply: a review
Guo et al. StarLight: a photonic neural network accelerator featuring a hybrid mode-wavelength division multiplexing and photonic nonvolatile memory
Xiao et al. Scalable and compact 3D tensorized photonic neural networks
Zhu et al. Dota: A dynamically-operated photonic tensor core for energy-efficient transformer accelerator
Thomaschewski et al. High-performance optoelectronics for integrated photonic neural networks
CN115905792A (zh) 一种用于光学实数矩阵计算的马赫曾德尔干涉仪网络
Xu et al. High-energy-efficiency integrated photonic convolutional neural networks
Dan et al. Optoelectronic integrated circuits for analog optical computing: Development and challenge
CN113630207A (zh) 一种光子神经网络芯片
Xu et al. Performance evaluation of an integrated photonic convolutional neural network based on delay buffering and wavelength division multiplexing
Moss Photonic multiplexing architectures for optical neuromorphic computation
Moss Photonic multiplexing techniques for optical neuromorphic computing
Bui et al. Coherent Optical Convolution Processor Based on MMI Structures for Deep Learning Applications
Tsirigotis et al. Photonic Neuromorphic Accelerator for Convolutional Neural Networks based on an Integrated Reconfigurable Mesh

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination