CN117436494B - 一种神经网络运算芯片及运算方法 - Google Patents

一种神经网络运算芯片及运算方法 Download PDF

Info

Publication number
CN117436494B
CN117436494B CN202311733279.XA CN202311733279A CN117436494B CN 117436494 B CN117436494 B CN 117436494B CN 202311733279 A CN202311733279 A CN 202311733279A CN 117436494 B CN117436494 B CN 117436494B
Authority
CN
China
Prior art keywords
output
optical
input
light
beam splitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311733279.XA
Other languages
English (en)
Other versions
CN117436494A (zh
Inventor
安雪碧
丁士俊
丁禹阳
周志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Si Zhen Chip Technology Co ltd
Original Assignee
Hefei Si Zhen Chip Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Si Zhen Chip Technology Co ltd filed Critical Hefei Si Zhen Chip Technology Co ltd
Priority to CN202311733279.XA priority Critical patent/CN117436494B/zh
Publication of CN117436494A publication Critical patent/CN117436494A/zh
Application granted granted Critical
Publication of CN117436494B publication Critical patent/CN117436494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Optical Communication System (AREA)

Abstract

本申请公开一种神经网络运算芯片及运算方法,包括依次相连的输入层、隐藏层和输出层;输入层包括用于接收光脉冲的N个耦合模块,隐藏层包括至少一个光运算单元,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关;输出层包括N个第二光电探测器。干涉网络对输入的光脉冲实现幺正变换后通过波导分束器分束,分别通过两条路径传输。本申请利用电学芯片上的跨阻放大器和脉冲幅度甄别器实现神经网络中的非线性运算,将光学芯片上的线性矩阵运算与电学芯片上的非线性运算结合,通过光电混合封装实现全片上集成,使整个神经网络系统小型化和集成化。

Description

一种神经网络运算芯片及运算方法
技术领域
本申请属于光芯片技术领域,具体而言,涉及一种神经网络运算芯片及运算方法。
背景技术
人工智能是研究、开发用于模拟延伸和扩展人的智能理论、方法技术及应用系统的一门新技术科学,在机器视觉、自动驾驶、目标跟踪以及等领域有着重要的应用。深度学习是目前人工智能发展的重要方向,是一种利用神经网络进行学习的技术。而神经网络是一种由大量相互连接的神经元构成的计算模型,其灵感来源于人类神经系统,通过多层神经元的组合和训练,能够实现从输入数据到输出结果的高度自适应和非线性映射,已被广泛应用于计算机视觉、语音识别、自然语义理解、人机博弈等领域。神经网络通常由多个层组成,包括输入层、隐藏层和输出层,输入层接收输入数据,隐藏层和输出层负责计算输出结果。
目前集成电路芯片都是遵照冯诺依曼架构而设计,其训练和运算速度慢、能耗高,不适合深度学习训练和运算过程中的大规模矩阵运算。基于光子运算芯片实现深度学习是一条可行的技术路径,但目前光子芯片实现的结构大多数为矩阵乘法运算,难以实现深度学习中神经元的“激活函数”这一类非线性运算,因此无法实现全集成的光子深度学习芯片。
发明内容
为了解决上述问题,本申请提供一种神经网络运算芯片及运算方法,利用电学芯片上的跨阻放大器和脉冲幅度甄别器实现神经网络中的非线性运算,将光学芯片上的线性矩阵运算与电学芯片上的非线性运算结合,通过光电混合封装实现全片上集成。其具体方案如下:
第一方面,本申请公开了一种神经网络运算芯片,包括依次相连的输入层、隐藏层和输出层,输入层包括N个耦合模块,每个耦合模块用于接收一路光脉冲;
隐藏层包括至少一个光运算单元,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关;干涉网络用于对输入其上的光实现幺正变换,由(N-1)×(N/2)个MZ干涉仪按照方型结构交叉级联组成,具有N个输入端和N个输出端;干涉网络的N个输入端分别与N个耦合模块一一对应连接,用于同时接收N路光脉冲;干涉网络的每个输出端对应连接一个波导分束器,波导分束器具有输出上端和输出下端,波导分束器的输出上端与第一光电探测器的输入端连接,波导分束器的输出下端与光放大器的输入端连接,波导分束器用于将干涉网络相应输出端输出的光分束,使一部分光束输入至第一光电探测器,另一部分光束输入至光放大器;第一光电探测器用于探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号,光放大器用于将接收的光脉冲的光强放大到与波导分束器输入端的光强一致;跨阻放大器的输入端与第一光电探测器的输出端连接,用于将接收的电流信号转换为电压信号;脉冲幅度甄别器的输入端与跨阻放大器的输出端连接,脉冲幅度甄别器的输出端和光放大器的输出端均与光开关连接;脉冲幅度甄别器用于对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光强信号传输给下一运算过程或直接输出给输出层;
输出层包括N个第二光电探测器,N个第二光电探测器与光运算单元中的N个光开关的输出端一一对应连接,N个第二光电探测器分别用于探测隐藏层相应输出的光强并将光强转换电信号作为运算结果;
跨阻放大器和脉冲幅度甄别器集成在电学芯片上,耦合模块、干涉网络、第一光电探测器、波导分束器、光放大器、光开关和第二光电探测器集成在光学芯片上,电学芯片和光学芯片混合封装形成运算芯片。
进一步地,光运算单元还包括N个延时线圈,延时线圈的输入端与波导分束器的输出下端连接,其输出端与光放大器的输入端连接,用于对波导分束器输出下端输出的光延时处理,使脉冲幅度甄别器输出的电压信号与光放大器输出的光信号同时到达光开关。
进一步地,若隐藏层包括多个光运算单元,光运算单元之间级联,上一级光运算单元中N个光开关的输出端与下一级光运算单元中干涉网络的N个输入端一一对应连接。
进一步地,若隐藏层包括一个光运算单元,隐藏层还包括N个合束器、N条循环波导和N个可调分束器,合束器具有输入上端、输入下端和一个输出端,可调分束器具有两个输入端和两个输出端, N个合束器的输入上端分别与N个耦合模块一一对应连接,N个可调分束器的输入下端与N个光开关的输出端一一对应连接,N个可调分束器的输出上端与N个第二光电探测器一一对应连接,N个可调分束器的输出下端通过相应的循环波导与N个合束器的输入下端一一对应连接,可调分束器用于将接收的光全部从其输出上端输出或全部从其输出下端输出。
优选地,光开关为MZI型光开关,MZI型光开关包括第一50:50分束器、干涉上臂、干涉下臂、第二50:50分束器和相位调制器,干涉上臂的两端分别连接第一50:50分束器的输出上端和第二50:50分束器的输入上端,干涉下臂的两端分别连接第一50:50分束器的输出下端和第二50:50分束器的输入下端,相位调制器设置在干涉上臂或干涉下臂上;脉冲幅度甄别器的输出端与MZI型光开关中的相位调制器连接。
优选地,波导分束器为固定分束比分束器。
优选地,光放大器为半导体光放大器。
优选地,第一光电探测器和第二光电探测器均为光电二极管或光电倍增管。
第二方面,本申请公开了一种神经网络运算方法,所述方法由神经网络运算芯片执行,所述方法包括:
每个耦合模块接收一路光脉冲且N个耦合模块接收的N路光脉冲同时传输至干涉网络;
干涉网络对接受的N路光脉冲按照预设的幺正矩阵实现幺正变换;
经过幺正变换后的光脉冲分别输入至N个波导分束器,波导分束器将接受的光分束,使一部分光束输入至相应的第一光电探测器,另一部分光束输入至相应的光放大器;
第一光电探测器探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号同时将电流信号传输给跨阻放大器,跨阻放大器将接收的电流信号转换为电压信号并将电压信号传输给相应的脉冲幅度甄别器,脉冲幅度甄别器对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;
光放大器将接收的光脉冲的光强放大到与相应波导分束器输入端的光强一致且将光强信号传输给光开关;
光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给下一运算过程或直接传输给输出层中相应的第二光电探测器。
进一步地,当隐藏层包括一个光运算单元,隐藏层还包括N个合束器、N条循环波导和N个可调分束器时,所述方法包括:
光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给可调分束器,可调分束器将接收的光全部从其输出下端通过循环波导传输至相应合束器的输入下端进行下一层神经网络运算,在每一层神经网络运算中,干涉网络对接受的光脉冲按照不同的幺正矩阵实现幺正变换,直至完成所有预设循环次数,可调分束器将接收的光全部从其输出上端传输给输出层中相应的第二光电探测器。
总体而言,通过本申请所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
本申请提供了一种神经网络运算芯片及运算方法,神经网络运算芯片包括依次相连的输入层、隐藏层和输出层;输入层包括N个耦合模块,每个耦合模块接收一路光脉冲;隐藏层包括至少一个光运算单元,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关;输出层包括N个第二光电探测器。N个耦合模块接收的N路光脉冲同时传输至干涉网络,按照预设的幺正矩阵实现幺正变换,实现深度学习神经网络中线性运算功能;经过幺正变换后的光脉冲分别输入至N个波导分束器进行分束,经过分束后,一部分光束输入至相应的第一光电探测器,另一部分光束输入至相应的光放大器;第一光电探测器探测波导分束器输出上端输出的光束的强度并将光强转换为电流信号同时将电流信号传输给跨阻放大器,跨阻放大器将接收的电流信号转换为电压信号并将电压信号传输给相应的脉冲幅度甄别器,脉冲幅度甄别器对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;光放大器将接收的光脉冲的光强放大到与相应波导分束器输入端的光强一致且将光强信号传输给光开关;光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强,实现神经网络中的非线性运算,光开关将输出的光传输给下一运算过程实现下一层运算或直接传输给输出层中相应的第二光电探测器进行处理并输出运算结果。
本申请中跨阻放大器和脉冲幅度甄别器集成在电学芯片上,耦合模块、干涉网络、第一光电探测器、波导分束器、光放大器、光开关和第二光电探测器集成在光学芯片上,电学芯片和光学芯片混合封装形成运算芯片。利用电学芯片上的跨阻放大器和脉冲幅度甄别器实现神经网络中的非线性运算,将光学芯片上的线性矩阵运算与电学芯片上的非线性运算结合,通过光电混合封装实现全片上集成,使整个神经网络系统小型化和集成化,提高神经网络处理过程的可靠性和稳定性。
此外,在本申请中当隐藏层包括一个光运算单元,隐藏层还可以包括N个合束器、N条循环波导和N个可调分束器,通过利用循环波导和可调控分束器实现一个光运算单元的多层运算,且在每一层运算中对干涉网络进行调控,进行不同的线性矩阵变换实现多层运算,通过循环设置实现光运算单元的复用,不仅减少元器件数量、节省成本且进一步减小芯片体积。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种神经网络运算芯片的结构示意图;
图2为本申请一个实施例中光运算单元的结构示意图;
图3为本申请中跨阻放大器的结构示意图;
图4为本申请中脉冲幅度甄别器的工作原理图;
图5为本申请一个实施例中光开关的结构示意图;
图6为本申请另一实施例中光运算单元的结构示意图;
图7为本申请中光学芯片和电学芯片的混合封装结构图;
图8为本申请再一实施例中光运算单元的结构示意图;
图9为本申请另一实施例中隐藏层的结构示意图;
图10为本申请另一实施例提供的一种神经网络运算芯片的结构示意图;
图11为本申请实施例提供的一种神经网络运算方法的流程图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是本申请还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施例的限制。
为了便于理解和解释本申请实施例提供的技术方案,下面将先对本申请的背景技术进行说明。
目前集成电路芯片都是遵照冯诺依曼架构而设计,其训练和运算速度慢、能耗高,不适合深度学习训练和运算过程中的大规模矩阵运算。基于光子运算芯片实现深度学习是一条可行的技术路径,但目前光子芯片实现的结构大多数为矩阵乘法运算,难以实现深度学习中神经元的“激活函数”这一类非线性运算,因此无法实现全集成的光子深度学习芯片。
基于此,本申请提供一种神经网络运算芯片,包括依次相连的输入层、隐藏层和输出层,具体地,如图1所示,输入层包括N个耦合模块,每个耦合模块用于接收一路光脉冲。
在本申请中耦合模块可以为边缘耦合器或光栅耦合器。每个耦合模块可以对应一个外部光源,则N个耦合模块需要N个外部光源,每个光源输出一定强度的光脉冲到对应的耦合模块,N个耦合模块将接收的光脉冲同时耦合至隐藏层。当然也可以采用一个光源输出,通过光分路器按照不同功率比例分成N路输入至N个耦合模块。N路光脉冲的强度组成N维输入列向量,列向量/>中的N个元素分别一一对应N路光脉冲的强度。
隐藏层包括至少一个光运算单元,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关;干涉网络用于对输入其上的光实现幺正变换,由(N-1)×(N/2)个MZ干涉仪按照方型结构交叉级联组成,具有N个输入端和N个输出端;干涉网络的N个输入端分别与N个耦合模块一一对应连接,用于同时接收N路光脉冲;干涉网络的每个输出端对应连接一个波导分束器,波导分束器具有输出上端和输出下端,波导分束器的输出上端与第一光电探测器的输入端连接,波导分束器的输出下端与光放大器的输入端连接,波导分束器用于将干涉网络相应输出端输出的光分束,使一部分光束输入至第一光电探测器,另一部分光束输入至光放大器;第一光电探测器用于探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号,光放大器用于将接收的光脉冲的光强放大到与波导分束器输入端的光强一致;跨阻放大器的输入端与第一光电探测器的输出端连接,用于将接收的电流信号转换为电压信号;脉冲幅度甄别器的输入端与跨阻放大器的输出端连接,脉冲幅度甄别器的输出端和光放大器的输出端均与光开关连接;脉冲幅度甄别器用于对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光强信号传输给下一运算过程或直接输出给输出层。
在本申请中,隐藏层可以只包括一个光运算单元也可以由多个级联的光运算单元组成。光运算单元实现对输入光脉冲的运算处理。具体地,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关。干涉网络由(N-1)×(N/2)个MZ干涉仪按照方型结构交叉级联组成。当N=4时,光运算单元的结构如图2所示,也即是光运算单元包括一个干涉网络、N个波导分束器、4个第一光电探测器、4个跨阻放大器、4个脉冲幅度甄别器、4个光放大器和4个光开关,且干涉网络由6个MZ干涉仪按照方型交叉级联组成,具有4个输入端和4个输出端,用于对四维向量进行任意的幺正变换,也即是对4路光脉冲进行幺正变换。该干涉网络可实现对输入列向量的任意实数变换,变换矩阵记为U。具体地,/>和U的表示如下:
/>
输入列向量中的四个元素x1、x2、x3和x4分别对应4路光脉冲的强度,U中的各矩阵元/>均为实数,/>中i表示行,j表示列,U中的各矩阵元/>由干涉网络中各MZ干涉仪的相位调制器的相位值决定,通过调整各MZ干涉仪中的相位调制器的相位获得不同的变换矩阵U,经过幺正变换后,各光脉冲的强度向量变为:
中的四个元素/>、/>和/>分别对应干涉网络四个输出端的光脉冲的强度,从干涉网络的四个输出端输出的光脉冲分别传输到相应的波导分束器,波导分束器对接收的光脉冲进行分束,使使一部分光束输入至第一光电探测器,另一部分光束输入至光放大器。为了便于后续对光脉冲的处理,如放大处理等,波导分束器采用固定分束比分束器,如50:50分束器,对接收的光脉冲进行能量均分,分别输入至第一光电探测器和光放大器。当然波导分束器也可以采用其他分束比的分束器,如10:90分束器等,本申请不对波导分束器的分束比做具体限定。
光放大器将接收的光脉冲的光强放大到与波导分束器输入端的光强一致。基于波导分束器的分束作用,传输到光放大器上光脉冲的光强相对于波导分束器输入端光脉冲的光强,能量被削弱。为了补偿波导分束器的分束作用带来的光衰减,故采用光放大器对光脉冲放大使光放大器输出光脉冲的光强与波导分束器输入端的光强一致。若波导分束器的分束比为50:50,则光放大器对输入的光脉冲的光强放大一倍使光放大器输出光脉冲的光强与波导分束器输入端的光强一致。光放大器是利用反馈机制将光信号反复引入到放大介质中,使其不断受到激发,从而达到放大光信号的目的,由于本申请芯片为片上集成芯片,故光放大器优选采用半导体光放大器。
第一光电探测器探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号传输给跨阻放大器,第一光电探测器优选采用光电二极管或光电倍增管。跨阻放大器将接收的电流信号转换为电压信号,通常由一个电阻和一个运算放大器组成,可将输入电流变为成比例的输出电压,主要用于将光电倍增管、盖革-米勒管、光电探测器的输出电流改变为功能电压。简单的跨阻放大电路主要包括一个Rf的大值反馈电阻,如图3所示,该Rf电阻器用于设置跨阻放大器的增益,Rf反馈电阻连接到运算放大器的反相端子(-)。
脉冲幅度甄别器是将幅度超过某一设定电平的输入脉冲转换成幅度和宽度符合一定标准的脉冲输出,剔除此电平以下的任何输入信号。在本申请中脉冲幅度甄别器接收跨阻放大器输出的电压信号进行阈值甄别,并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关。这里便于理解,设置脉冲幅度甄别器的阈值电压(甄别阈)为,脉冲幅度甄别器的输入电压为/>,脉冲幅度甄别器的输出电压为/>,脉冲幅度甄别器的工作原理参见图4,若输入电压/>低于阈值电压/>时,脉冲幅度甄别器不输出任何信号,即输出电压/>,如脉冲信号1和3;若输入电压/>高于阈值电压/>时,如脉冲信号2和4,脉冲幅度甄别器的输出电压/>,/>为脉冲幅度甄别器的固定幅度电压。常用脉冲幅度甄别器类型有二极管甄别器、射极耦合触发器、集成电压比较器以及隧穿二极管甄别器。
脉冲幅度甄别器的输出电压信号和经过光放大器放大后的光脉冲光强信号均传输给光开关,光开关基于脉冲幅度甄别器的输出电压信号控制其输出的光强为零或等于其输入端的光强。具体地,当脉冲幅度甄别器的输出电压为0,也即是反馈给光开关的电压为0时,则光开关处于关闭状态,光开关的输出光强为0;当脉冲幅度甄别器的输出电压为,也即是反馈给光开关的电压为/>时,则光开关处于全开状态,光开关的输出光强等于其输入端的光强,也即是等于波导分束器的输入端的光强。因此光开关的输出光强/>与相应波导分束器的输入端光强/>的关系可以表示为:
其中,为光强和电压的转换比例系数,由跨阻放大器和第一光电探测器决定;为波导分束器输出上端输出的光束/波导分束器输入端的光脉冲,如波导分束器为50:50分束器,则/>。上述关系式为非线性函数,可以作为神经网络中的“激活函数”,实现神经网络中的非线性运算。
在本申请的一个实施例中,光开关为MZI型光开关,如图5所示,MZI型光开关包括第一50:50分束器、干涉上臂、干涉下臂、第二50:50分束器和相位调制器,干涉上臂的两端分别连接第一50:50分束器的输出上端和第二50:50分束器的输入上端,干涉下臂的两端分别连接第一50:50分束器的输出下端和第二50:50分束器的输入下端,相位调制器设置在干涉上臂或干涉下臂上,脉冲幅度甄别器的输出端与MZI型光开关中的相位调制器连接。
基于图2和图5形成另一实施例的光运算单元结构,如图6所示。具体地,第一50:50分束器的输入上端无效输入端、其输入下端与光放大器的输出端连接。第二50:50分束器的输出上端与输出层中相应第二光电探测器连接或与下一运算过程中的相关元器件连接,其输出下端为无效输出端。脉冲幅度甄别器的输出端与MZI型光开关中的相位调制器连接。MZI型光开关的工作过程为:若脉冲幅度甄别器的输出电压为0,MZI型光开关中的相位调制器基于此信号调节相位,使第一50:50分束器输入下端接收的光脉冲全部从第二50:50分束器的输出下端输出,即从无效输出端输出,此时光开关的输出光强为0;若脉冲幅度甄别器的输出电压为,则MZI型光开关中的相位调制器基于此电压信号调节相位,使第一50:50分束器输入下端接收的光脉冲全部从第二50:50分束器的输出上端输出,也即是MZI型光开关的输出光强等于其输入光强。
输出层包括N个第二光电探测器,N个第二光电探测器与光运算单元中的N个光开关的输出端一一对应连接,N个第二光电探测器分别用于探测隐藏层相应输出的光强并将光强转换电信号作为运算结果。
跨阻放大器和脉冲幅度甄别器集成在电学芯片上,耦合模块、干涉网络、第一光电探测器、波导分束器、光放大器、光开关和第二光电探测器集成在光学芯片上,如图7所示,电学芯片和光学芯片混合封装形成运算芯片。
本申请中利用电学芯片上的跨阻放大器和脉冲幅度甄别器实现神经网络中的非线性运算,将光学芯片上的线性矩阵运算与电学芯片上的非线性运算结合,通过光电混合封装实现全片上集成,使整个神经网络系统小型化和集成化,提高神经网络处理过程的可靠性和稳定性。
在光运算单元中,基于波导分束器的分束作用形成两路信号分别传输至光开关,为了补偿电子学线路以及各元器件产生的延时,在本申请的一个实施例中,光运算单元还包括N个延时线圈,延时线圈的输入端与波导分束器的输出下端连接,其输出端与光放大器的输入端连接,用于对波导分束器输出下端输出的光延时处理,使脉冲幅度甄别器输出的电压信号与光放大器输出的光信号同时到达光开关。基于图6,此实施例下的光运算单元的结构如图8所示。
在本申请的另一个实施例中,隐藏层包括多个光运算单元,光运算单元之间级联,基于图2,此实施例下的隐藏层结构如图9所示,上一级光运算单元中N个光开关的输出端与下一级光运算单元中干涉网络的N个输入端一一对应连接。多个光运算单元中各干涉网络的线性变换矩阵U不同,可以在外部的上位机上预先设定每个光运算单元中干涉网络的变换矩阵。通过多个光运算单元的级联结构,实现对输入光脉冲的多层运算,达到深度学习的目的。
在此实施例下,若光开关为MZI型光开关,光运算单元之间级联的具体结构为:当前级光运算单元中各MZI型光开关的第二50:50分束器的输出上端与下一级光运算单元中干涉网络的各输入端一一对应连接。当前级光运算单元中各MZI型光开关的第二50:50分束器的输出上端输出的电压信号传输至下一级光运算单元中的干涉网络中进行下一级运算。
在本申请的再一实施例中,隐藏层包括一个光运算单元时,隐藏层还包括N个合束器、N条循环波导和N个可调分束器,合束器具有输入上端、输入下端和一个输出端,可调分束器具有两个输入端和两个输出端, N个合束器的输入上端分别与N个耦合模块一一对应连接,N个可调分束器的输入下端与N个光开关的输出端一一对应连接,N个可调分束器的输出上端与N个第二光电探测器一一对应连接,N个可调分束器的输出下端通过相应的循环波导与N个合束器的输入下端一一对应连接,可调分束器用于将接收的光全部从其输出上端输出或全部从其输出下端输出。
可调分束器的输入上端为无效输入端,当开始进行运算处理时,外部光源产生的光脉冲输入至对应的耦合模块,N个耦合模块将接收的光脉冲同时耦合至相应的合束器的输入上端,然后输入至光运算单元进行第一层运算处理,第一层运算处理完成后,相应光脉冲的电压信号输入至可调分束器,可调分束器将接收的光全部从其输出下端通过循环波导和合束器的输入下端再次输入至光运算单元进行第二次运算,如此循环,直至完成预设循环次数的运算处理,可调分束器将接收的光全部从其输出上端输入至输出层。
当N=4时,此实施例下神经网络运算芯片的结构如图10所示。在隐藏层上增设可调分束器、循环波导和合束器,通过多次循环,达到只采用一个光运算单元就可实现多层运算的目的。通过循环设置实现光运算单元的复用,不仅减少元器件数量、节省成本且进一步减小芯片体积。
在此实施例下,当需要进行循环时,调节可调分束器的分束比使其接收的光全部从其输出下端输出并通过循环波导传输至相应合束器的输入下端再次输入至光运算单元进行处理运算。当完成预设的循环次数后,调节可调分束器使其接收的光全部从其输出上端输出至输出层中相应第二光电探测器。在本申请中,可调分束器可采用MZ干涉仪,可在外部的上位机上预设循环次数以及每个循环中各MZ干涉仪中的相位调制器的相位,在不同的过程中,可调分束器基于预设的相位将接收的光全部从其输出上端输出或全部从其输出下端输出。当光运算单元中光开关为MZI型光开关时,光开关的第二50:50分束器的输出上端与可调分束器的输入下端连接。
在此结构下,每一个循环中干涉网络的变换矩阵不同。通过调节每个循环过程中干涉网络的各相位调制器,达到对经过其中的光脉冲进行不同的调制,实现对每个循环进行不同的线性矩阵变换。这里,干涉网络中的各相位调制器与可调分束器中的相位调制器一样,均与外部的上位机连接,通过外部的上位机调节每个循环过程中各相位调制器的相位。
针对本申请提供的一种神经网络运算芯片,本申请还对应提供一种神经网络运算方法,如图11所示,所述方法包括:
S11:每个耦合模块接收一路光脉冲且N个耦合模块接收的N路光脉冲同时传输至干涉网络。
S12:干涉网络对接受的N路光脉冲按照预设的幺正矩阵实现幺正变换。
S13:经过幺正变换后的光脉冲分别输入至N个波导分束器,波导分束器将接受的光分束,使一部分光束输入至相应的第一光电探测器,另一部分光束输入至相应的光放大器。
若光运算单元包括N个延时线圈,在S13中,则波导分束器将接收的光分束,使一部分光束输入至相应的第一光电探测器,另一部分光束输入至相应的延时线圈,延时线圈对接收的光延时处理并将延时处理后的光传输至光放大器。经过延时线圈的延时处理,脉冲幅度甄别器输出的电压信号与光放大器输出的光信号同时到达光开关。
S14:第一光电探测器探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号同时将电流信号传输给跨阻放大器,跨阻放大器将接收的电流信号转换为电压信号并将电压信号传输给相应的脉冲幅度甄别器,脉冲幅度甄别器对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关。
S15:光放大器将接收的光脉冲的光强放大到与相应波导分束器输入端的光强一致且将光强信号传输给光开关。
S16:光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给下一运算过程或直接传输给输出层中相应的第二光电探测器。
具体地,当隐藏层包括一个光运算单元,光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给输出层中相应的第二光电探测器。
当隐藏层包括多个光运算单元,且光运算单元之间级联,则当前光运算单元中的光开关将输出的光传输给下一级光运算单元进行运算,直至传输至最后一个光运算单元,最后一个光运算单元中的光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给输出层中相应的第二光电探测器,最终得到运算结果。
在本申请的一个实施例中,当隐藏层包括一个光运算单元,隐藏层还包括N个合束器、N条循环波导和N个可调分束器时,基于此循环结构的神经网络运算方法与图11中各步骤的区别点在于S16。具体地,对应的神经网络运算方法包括:
光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给可调分束器,可调分束器将接收的光全部从其输出下端通过循环波导传输至相应合束器的输入下端进行下一层神经网络运算,在每一层神经网络运算中,干涉网络对接受的光脉冲按照不同的幺正矩阵实现幺正变换,直至完成所有预设循环次数,可调分束器将接收的光全部从其输出上端传输给输出层中相应的第二光电探测器。
在上述方法中,通过多次循环过程,达到只采用一个光运算单元就可实现多层运算的目的。在每次循环过程中干涉网络的线性变换矩阵不同,具体的可通过调制每个过程中干涉网络的各相位调制器的相位,对输入的光脉冲实现相应的幺正变换。
本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种神经网络运算芯片,包括依次相连的输入层、隐藏层和输出层,其特征在于,输入层包括N个耦合模块,每个耦合模块用于接收一路光脉冲;
隐藏层包括至少一个光运算单元,光运算单元包括一个干涉网络、N个波导分束器、N个第一光电探测器、N个跨阻放大器、N个脉冲幅度甄别器、N个光放大器和N个光开关;干涉网络用于对输入其上的光实现幺正变换,由(N-1)×(N/2)个MZ干涉仪按照方型结构交叉级联组成,具有N个输入端和N个输出端;干涉网络的N个输入端分别与N个耦合模块一一对应连接,用于同时接收N路光脉冲;干涉网络的每个输出端对应连接一个波导分束器,波导分束器具有输出上端和输出下端,波导分束器的输出上端与第一光电探测器的输入端连接,波导分束器的输出下端与光放大器的输入端连接,波导分束器用于将干涉网络相应输出端输出的光分束,使一部分光束输入至第一光电探测器,另一部分光束输入至光放大器;第一光电探测器用于探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号,光放大器用于将接收的光脉冲的光强放大到与波导分束器输入端的光强一致;跨阻放大器的输入端与第一光电探测器的输出端连接,用于将接收的电流信号转换为电压信号;脉冲幅度甄别器的输入端与跨阻放大器的输出端连接,脉冲幅度甄别器的输出端和光放大器的输出端均与光开关连接;脉冲幅度甄别器用于对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光强信号传输给下一运算过程或直接输出给输出层;
输出层包括N个第二光电探测器,N个第二光电探测器与光运算单元中的N个光开关的输出端一一对应连接,N个第二光电探测器分别用于探测隐藏层相应输出的光强并将光强转换电信号作为运算结果;
跨阻放大器和脉冲幅度甄别器集成在电学芯片上,耦合模块、干涉网络、第一光电探测器、波导分束器、光放大器、光开关和第二光电探测器集成在光学芯片上,电学芯片和光学芯片混合封装形成运算芯片。
2.根据权利要求1所述的一种神经网络运算芯片,其特征在于,光运算单元还包括N个延时线圈,延时线圈的输入端与波导分束器的输出下端连接,其输出端与光放大器的输入端连接,用于对波导分束器输出下端输出的光延时处理,使脉冲幅度甄别器输出的电压信号与光放大器输出的光信号同时到达光开关。
3.根据权利要求1所述的一种神经网络运算芯片,其特征在于,若隐藏层包括多个光运算单元,光运算单元之间级联,上一级光运算单元中N个光开关的输出端与下一级光运算单元中干涉网络的N个输入端一一对应连接。
4.根据权利要求1所述的一种神经网络运算芯片,其特征在于,若隐藏层包括一个光运算单元,隐藏层还包括N个合束器、N条循环波导和N个可调分束器,合束器具有输入上端、输入下端和一个输出端,可调分束器具有两个输入端和两个输出端, N个合束器的输入上端分别与N个耦合模块一一对应连接,N个可调分束器的输入下端与N个光开关的输出端一一对应连接,N个可调分束器的输出上端与N个第二光电探测器一一对应连接,N个可调分束器的输出下端通过相应的循环波导与N个合束器的输入下端一一对应连接,可调分束器用于将接收的光全部从其输出上端输出或全部从其输出下端输出。
5.根据权利要求1所述的一种神经网络运算芯片,其特征在于,光开关为MZI型光开关,MZI型光开关包括第一50:50分束器、干涉上臂、干涉下臂、第二50:50分束器和相位调制器,干涉上臂的两端分别连接第一50:50分束器的输出上端和第二50:50分束器的输入上端,干涉下臂的两端分别连接第一50:50分束器的输出下端和第二50:50分束器的输入下端,相位调制器设置在干涉上臂或干涉下臂上;脉冲幅度甄别器的输出端与MZI型光开关中的相位调制器连接。
6.根据权利要求1所述的一种神经网络运算芯片,其特征在于,波导分束器为固定分束比分束器。
7.根据权利要求1所述的一种神经网络运算芯片,其特征在于,光放大器为半导体光放大器。
8.根据权利要求1所述的一种神经网络运算芯片,其特征在于,第一光电探测器和第二光电探测器均为光电二极管或光电倍增管。
9.一种神经网络运算方法,其特征在于,所述方法由神经网络运算芯片执行,所述方法包括:
每个耦合模块接收一路光脉冲且N个耦合模块接收的N路光脉冲同时传输至干涉网络;
干涉网络对接受的N路光脉冲按照预设的幺正矩阵实现幺正变换;
经过幺正变换后的光脉冲分别输入至N个波导分束器,波导分束器将接受的光分束,使一部分光束输入至相应的第一光电探测器,另一部分光束输入至相应的光放大器;
第一光电探测器探测从波导分束器输出上端输出的光束的强度并将光强转换为相应的电流信号同时将电流信号传输给跨阻放大器,跨阻放大器将接收的电流信号转换为电压信号并将电压信号传输给相应的脉冲幅度甄别器,脉冲幅度甄别器对其接收的电压信号进行阈值甄别并根据甄别结果输出零电压或固定幅度电压且将零电压或固定幅度电压反馈给光开关;
光放大器将接收的光脉冲的光强放大到与相应波导分束器输入端的光强一致且将光强信号传输给光开关;
光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给下一运算过程或直接传输给输出层中相应的第二光电探测器。
10.根据权利要求9所述的一种神经网络运算方法,其特征在于,当隐藏层包括一个光运算单元,隐藏层还包括N个合束器、N条循环波导和N个可调分束器时,所述方法包括:
光开关基于脉冲幅度甄别器输出的电压信号控制其输出的光强为零或等于其输入端的光强且将输出的光传输给可调分束器,可调分束器将接收的光全部从其输出下端通过循环波导传输至相应合束器的输入下端进行下一层神经网络运算,在每一层神经网络运算中,干涉网络对接受的光脉冲按照不同的幺正矩阵实现幺正变换,直至完成所有预设循环次数,可调分束器将接收的光全部从其输出上端传输给输出层中相应的第二光电探测器。
CN202311733279.XA 2023-12-18 2023-12-18 一种神经网络运算芯片及运算方法 Active CN117436494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311733279.XA CN117436494B (zh) 2023-12-18 2023-12-18 一种神经网络运算芯片及运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311733279.XA CN117436494B (zh) 2023-12-18 2023-12-18 一种神经网络运算芯片及运算方法

Publications (2)

Publication Number Publication Date
CN117436494A CN117436494A (zh) 2024-01-23
CN117436494B true CN117436494B (zh) 2024-02-23

Family

ID=89555603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311733279.XA Active CN117436494B (zh) 2023-12-18 2023-12-18 一种神经网络运算芯片及运算方法

Country Status (1)

Country Link
CN (1) CN117436494B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197277A (zh) * 2019-05-13 2019-09-03 浙江大学 实现数字识别的光学神经网络方法
CN113570051A (zh) * 2020-04-29 2021-10-29 光子智能股份有限公司 光电处理系统
CN115472603A (zh) * 2022-08-30 2022-12-13 浙江大学 实现卷积神经网络的单片光子集成芯片
CN116432726A (zh) * 2023-06-14 2023-07-14 之江实验室 一种光电混合的深度神经网络运算装置和运算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11604978B2 (en) * 2018-11-12 2023-03-14 Massachusetts Institute Of Technology Large-scale artificial neural-network accelerators based on coherent detection and optical data fan-out
US20210264241A1 (en) * 2020-02-20 2021-08-26 Ohio University Optical multiply and accumulate unit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197277A (zh) * 2019-05-13 2019-09-03 浙江大学 实现数字识别的光学神经网络方法
CN113570051A (zh) * 2020-04-29 2021-10-29 光子智能股份有限公司 光电处理系统
CN115472603A (zh) * 2022-08-30 2022-12-13 浙江大学 实现卷积神经网络的单片光子集成芯片
CN116432726A (zh) * 2023-06-14 2023-07-14 之江实验室 一种光电混合的深度神经网络运算装置和运算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Optical Convolutional Neural Networks: Methodology and Advances (Invited);Xiangyan Meng ed.;Appl. Sci. 2023, 13, 7523. https://0-doi-org.brum.beds.ac.uk/10.3390/app13137523;20230626;1-19 *
光子神经网络发展与挑战;陈宏伟;于振明;张天;臧裕斌;淡一航;徐坤;;中国激光;20200531(第05期);0500004-1~0500004-12 *

Also Published As

Publication number Publication date
CN117436494A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112232504B (zh) 一种光子神经网络
Mourgias-Alexandris et al. Neuromorphic photonics with coherent linear neurons using dual-IQ modulation cells
US11373089B2 (en) Serialized electro-optic neural network using optical weights encoding
CN111860822B (zh) 光学神经网络的全光非线性激活函数实现方法、装置
CN112232503B (zh) 计算装置、计算方法以及计算系统
CN114358271A (zh) 一种时间-波长交织光子神经网络卷积加速芯片
CN115169542B (zh) 一种面向卷积神经网络的二维光子卷积加速系统和装置
CN115222035B (zh) 一种光子神经网络卷积加速芯片
US20240063936A1 (en) Systems and methods for utilizing photonic degrees of freedom in a photonic processor
CN115167610A (zh) 二维光子卷积加速芯片及应用系统与方法
Tsakyridis et al. Universal linear optics for ultra-fast neuromorphic silicon photonics towards Fj/MAC and TMAC/sec/mm 2 engines
CN114565091A (zh) 光学神经网络装置、芯片及神经网络计算的光学实现方法
Wang et al. Multi-wavelength photonic neuromorphic computing for intra and inter-channel distortion compensations in wdm optical communication systems
CN117436494B (zh) 一种神经网络运算芯片及运算方法
Meng et al. On-demand reconfigurable incoherent optical matrix operator for real-time video image display
CN114325932A (zh) 一种片上集成的全光神经网络光计算芯片
Shi et al. Image classification with a 3-layer soa-based photonic integrated neural network
Ohno et al. Demonstration of classification task using optical neural network based on Si microring resonator crossbar array
Filipovich et al. Training deep neural networks in situ with neuromorphic photonics
CN112232487B (zh) 光学神经网络芯片及其计算方法
CN113517932A (zh) 一种基于级联调制器的光学卷积信号处理系统及方法
Peserico et al. PhotoFourier: silicon photonics joint transfer correlator for convolution neural network
CN221079153U (zh) 一种光学数模转换器和光学数模转换装置
CN116107037B (zh) 密集波导阵列的片上光学器件光计算网络结构
CN117498951B (zh) 一种Toffoli光量子逻辑门

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant