CN113592084B - 基于反向优化超结构卷积核的片上光子神经网络 - Google Patents

基于反向优化超结构卷积核的片上光子神经网络 Download PDF

Info

Publication number
CN113592084B
CN113592084B CN202110837609.4A CN202110837609A CN113592084B CN 113592084 B CN113592084 B CN 113592084B CN 202110837609 A CN202110837609 A CN 202110837609A CN 113592084 B CN113592084 B CN 113592084B
Authority
CN
China
Prior art keywords
superstructure
light scattering
output
neural network
scattering unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110837609.4A
Other languages
English (en)
Other versions
CN113592084A (zh
Inventor
刘旭
王春清
朱旭东
曹一凡
吴奕征
梅奇勋
欧瀚文
王百航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110837609.4A priority Critical patent/CN113592084B/zh
Publication of CN113592084A publication Critical patent/CN113592084A/zh
Application granted granted Critical
Publication of CN113592084B publication Critical patent/CN113592084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了基于反向优化超结构卷积核的片上光子神经网络，包括N个隐藏层和一个全连接层，所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层，所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器，其中，超结构波分复用器用于将光信号被分为m路不同波长范围输出，超结构光散射单元将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，实现卷积运算中不同权重的分配。本发明的片上光子神经网络，具备高带宽、低损耗等优势，且超结构的光子器件经反向设计具有良好性能，可便捷改变器件的目标性能，减少芯片制作时的内部器件需求。

Description

基于反向优化超结构卷积核的片上光子神经网络
技术领域
本发明涉及了一种基于反向优化的超结构光子卷积核代替电域神经网络卷积核，从而实现电光混合的片上神经网络。
背景技术
类脑计算是指在硬件、软件层面上来模拟生物大脑而实现的一种与以往不同的新的计算方式，为解决电子计算机瓶颈问题提供了新的解决办法。其中神经网络作为人工智能与类脑计算最重要的模型之一，通过模仿神经系统结构，建立神经网络中各层神经元之间的连接。目前人工神经网络几乎全部依赖于传统的电子集成芯片，包括中央处理器(CPU)、图形处理器(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)。微电子芯片因为其结构上无法规避的缺点，在处理大量的矩阵运算时会受到电子瓶颈的制约。光子技术，是采用光子作为信息传输和处理基本载体的技术，相比于传统的电子技术，具有带宽大、损耗低、速度快以及高传输信息量等优势，在硅基光电子集成平台上，通过引入光学器件的优势，设计构造软硬件深度融合的光电计算体系，在特定的计算应用场景下，突破传统电子芯片的局限，实现更高的能效比，解决微电子处理器不能解决的复杂算法问题，为大规模神经拟态芯片的实现提供了广阔的发展前景。卷积神经网络作为前馈神经网络中的一个典型结构，目前已经有使用MZI阵列来实现全连接的卷积神经网络的方案；而反向设计作为光子器件设计的一种全新的方式，可以通过对器件内部的拓扑结构进行反向设计，获得一些复杂结构的器件，获得良好的器件性能。
发明内容
本发明要解决的技术问题是基于反向优化超结构波分复用器和光散射单元设计光子神经网络，实现光子神经网络高带宽、低功耗的优势，本发明提出了一种基于反向优化超结构卷积核的片上光子神经网络。
本发明的基于反向优化超结构卷积核的片上光子神经网络，包括N个隐藏层和一个全连接层，所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；
所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；
所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器。
电信号从电光调制器输入，电光调制器在经激光器阵列的调制后，输入的电信号转换为光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，输入到超结构光散射单元，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，超结构光散射单元的输出端口有m个，超结构光散射单元的每个输出端口分别连接移相器，超结构光散射单元的输出端共连接有m个移相器，m个移相器的输出端分别与下一级的超结构光散射单元连接，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端，光电探测器将光信号转换为电信号输出到池化层，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。
采用上述技术方案带来的有益效果：
(1)本发明提出的卷积核使用光子器件进行搭建，实现了光电混合的神经网络架构，具备高带宽、低损耗等优势；
(2)本发明提出的反向设计的超结构的光子器件具有良好的性能，且可以根据设计者的需求便捷改变器件的目标性能；
(3)该卷积核不需要大量的MZI器件构成阵列，可以减少芯片制作时的内部器件需求。
附图说明
图1是本发明片上神经网络的示意图；
图2是本发明的神经网络进行手写体数字识别的流程示意图；
图3是本发明超结构卷积核中超结构波分复用器和超结构光散射单元结构示意图；
图4是超结构波分复用器GDS版图；
图5是超结构光散射单元GDS版图；
具体实施方式
如图1所示，本发明的基于反向优化超结构卷积核的片上光子神经网络包括N个隐藏层和一个全连接层；所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；其中隐藏层的N的数量大于等于1。
所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；
所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器；其中M大于等于1。
电信号作为本发明片上神经网络的输入信号，输入到隐藏层，具体为，电信号从电光调制器输入，电光调制器在激光器阵列的调制后输入的电信号转换为单束波长的光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，波分复用器的输出端口的数量m与超结构光散射单元实现的权重矩阵维数相同，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，m路不同波长范围光信号的中心波长分别为λ1、λ2…λm，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，从而实现卷积运算中不同权重的分配，提取输入信号特征；超结构光散射单元的输出端有m个，超结构光散射单元的每个输出端分别连接一个移相器，在超结构光散射单元的输出端共连接有m个移相器，移相器用于为本发明片上神经网络提供训练偏置参数b；m个移相器的输出端与下一级的超结构光散射单元，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端相连，超结构卷积核输出光信号，经光电探测器将所述提取的输入数据特征转换为电信号。光电探测器输出端与池化层输入端相连，池化层用于简化超结构卷积核提取的数据特征，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。
具体的，超结构波分复用器和超结构光散射单元的连接关系如图3所示，本实施例中超结构波分复用器输出端口的数量m取4，与其相连接的超结构光散射单元也有4个输入端口和4个输出端口。
其中超结构波分复用器的结构通过反向优化得到，超结构波分复用器的结构不同则光信号被分成的波长范围也不同；如图4所示，是超结构波分复用器的GDS版图，反向优化后的超结构波分复用器导入版图软件，得到相应的超结构图，可供后续芯片制造使用。
其中超结构光散射单元的结构通过反向优化得到，不同超结构光散射单元的结构用于实现不同的权重矩阵乘法，从而代替传统卷积核实现卷积运算中不同权重的分配，提取输入数据的特征，如图5所示，是超结构光散射单元的GDS版图，反向优化后的超结构光散射单元导入版图软件，得到相应的超结构图，可供后续芯片制造使用。
用乘法矩阵来描述反向优化后的超结构光散射单元的输入和输出光信号之间的关系，可表示为：
Iout＝w·Iin
其中Iout表示超结构光散射单元本级输出光信号，w表示超结构光散射单元经过反向优化后实现的核矩阵，即超结构光散射单元需要完成的权重矩阵，Iin表示光散射单元本级的输入光信号。
以马尔可夫矩阵为乘法矩阵举例，马尔可夫矩阵用P表示。先对超结构光散射单元进行反向优化，得到实现马尔可夫矩阵乘法的超结构，马尔可夫矩阵的表达形式如下：
Figure BDA0003177796640000041
其中，Pi,j表示第i行第j列的元素；且
Figure BDA0003177796640000042
上式表示由于从状态i到下一状态的概率总和必须是1。
超结构光散射单元代替传统核矩阵，有效的与输入光信号进行矩阵乘法运算，相当于卷积运算，实现了在光域中进行卷积运算；
基于反向优化超结构卷积核的片上光子神经网络神经网络，其每个隐藏层的输出为
y＝f(∑w·x+b)
上式中，y为隐藏层的输出信号，x为隐藏层输入信号，f为非线性函数，由池化层电域内完成，w表示超结构光散射单元经过反向优化后实现的核矩阵，即超结构光散射单元需要完成的权重矩阵，由超结构光散射单元在光域内实现，b为偏置，由相移器实现。
如图2所示，给出了采用本发明方法对数字识别的过程，该识别过程中超结构光散射单元和移相器的级数M取2，隐藏层的N的数量取2。数字图片做为电信号输入本发明的第一个隐藏层对图片进行卷积运算和池化运算后，再输入到第二个隐藏层对图片进行卷积运算和池化运算，再经过全连接层，最后输出本片上光子神经网络对输入数字图片的特征数据提取结果，完成数字识别任务。

Claims (6)

1.基于反向优化超结构卷积核的片上光子神经网络，其特征在于，包括N个隐藏层和一个全连接层，所述N个隐藏层依次连接，第N个隐藏层的输出端连接全连接层的输入端；
所述隐藏层包括依次连接的激光器阵列、电光调制器、超结构卷积核、光电探测器和池化层；
所述超结构卷积核包括超结构波分复用器、以及M个级联的超结构光散射单元和移相器；
电信号从电光调制器输入，电光调制器在经激光器阵列的调制后，输入的电信号转换为光信号，输入到超结构波分复用器，超结构波分复用器的输出端口有m个，光信号经过超结构波分复用器后被分为m路不同波长范围的光信号，输入到超结构光散射单元，超结构光散射单元的输入端口数量与超结构波分复用器的输出端口数量相同，超结构光散射单元用于将m路不同波长范围的光信号按比例重新分配功率后从不同的输出端口分别输出，超结构光散射单元的输出端口有m个，超结构光散射单元的每个输出端口分别连接移相器，超结构光散射单元的输出端共连接有m个移相器，m个移相器的输出端分别与下一级的超结构光散射单元连接，经过第M级的超结构光散射单元和移相器后，第M级的移相器输出端连接光电探测器输入端，光电探测器将光信号转换为电信号输出到池化层，池化层输出端连接下一个隐藏层的输入端，经过第N个隐藏层后，第N个隐藏层的池化层输出端连接全连接层，输出最终运算结果。
2.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，超结构光散射单元的结构通过反向优化得到，不同超结构光散射单元的结构用于实现不同的矩阵乘法。
3.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，超结构波分复用器结构通过反向优化得到。
4.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，移相器用于提供训练偏置参数b。
5.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，每个隐藏层的输出为y＝f(∑w·x+b)；
其中，y为隐藏层的输出信号，x为隐藏层输入信号，f为非线性函数，在池化层电域内完成，w表示超结构光散射单元经过反向优化后实现的核矩阵，b为偏置。
6.根据权利要求1所述基于反向优化超结构卷积核的片上光子神经网络，其特征在于，波分复用器的输出端口的数量m与超结构光散射单元实现的权重矩阵维数相同。
CN202110837609.4A 2021-07-23 2021-07-23 基于反向优化超结构卷积核的片上光子神经网络 Active CN113592084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837609.4A CN113592084B (zh) 2021-07-23 2021-07-23 基于反向优化超结构卷积核的片上光子神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837609.4A CN113592084B (zh) 2021-07-23 2021-07-23 基于反向优化超结构卷积核的片上光子神经网络

Publications (2)

Publication Number Publication Date
CN113592084A CN113592084A (zh) 2021-11-02
CN113592084B true CN113592084B (zh) 2022-11-11

Family

ID=78249780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837609.4A Active CN113592084B (zh) 2021-07-23 2021-07-23 基于反向优化超结构卷积核的片上光子神经网络

Country Status (1)

Country Link
CN (1) CN113592084B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358381A (zh) * 2022-09-01 2022-11-18 清华大学 光学全加器及其神经网络设计方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805270A (zh) * 2018-05-08 2018-11-13 华中科技大学 一种基于存储器的卷积神经网络系统
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN110516802A (zh) * 2019-07-03 2019-11-29 上海交通大学 基于光延时线缓存的光子卷积神经网络架构
CN111882052A (zh) * 2020-08-19 2020-11-03 北京大学 光子卷积神经网络系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805270A (zh) * 2018-05-08 2018-11-13 华中科技大学 一种基于存储器的卷积神经网络系统
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN110516802A (zh) * 2019-07-03 2019-11-29 上海交通大学 基于光延时线缓存的光子卷积神经网络架构
CN111882052A (zh) * 2020-08-19 2020-11-03 北京大学 光子卷积神经网络系统

Also Published As

Publication number Publication date
CN113592084A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Liu et al. Holylight: A nanophotonic accelerator for deep learning in data centers
CN109903221B (zh) 图像超分方法及装置
Qu et al. Inverse design of an integrated-nanophotonics optical neural network
JP7325158B2 (ja) ニューラル・ネットワーク・コアにおける動的精度のためのデータ表現
WO2022134391A1 (zh) 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备
CN106951395A (zh) 面向压缩卷积神经网络的并行卷积运算方法及装置
CN107341544A (zh) 一种基于可分割阵列的可重构加速器及其实现方法
CN110543939B (zh) 一种基于fpga的卷积神经网络后向训练的硬件加速实现装置
CN110263925A (zh) 一种基于fpga的卷积神经网络前向预测的硬件加速实现架构
CN113298246B (zh) 数据处理方法、装置及计算机可读存储介质
CN111723337B (zh) 用于神经网络训练的光子张量核集成电路架构及其神经网络训练方法
Huang et al. Accelerating sparse deep neural networks on FPGAs
Momose et al. Systems and circuits for AI chips and their trends
CN113592084B (zh) 基于反向优化超结构卷积核的片上光子神经网络
CN114519403B (zh) 基于片上衍射神经网络的光学图神经分类网络、方法
CN113627605A (zh) 光子神经网络的光学干涉单元配置方法、装置及存储介质
Xiao et al. FPGA implementation of CNN for handwritten digit recognition
WO2023005084A1 (zh) 光学电路搭建方法、光学电路、光信号处理方法及装置
Reddy et al. Low Power and Efficient Re-Configurable Multiplier for Accelerator
Shi et al. Image classification with a 3-layer soa-based photonic integrated neural network
CN116596056A (zh) 基于混合变异策略遗传算法的深度光学神经网络训练方法及系统
Tsakyridis et al. Photonic neural networks and optics-informed deep learning fundamentals
CN113325650B (zh) 一种光学电路、光信号处理方法、装置及可读存储介质
CN114707629A (zh) 基于光散射的矩阵计算方法及光学神经网络
Shiflett et al. Bitwise neural network acceleration using silicon photonics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant