CN115222035A - 一种光子神经网络卷积加速芯片 - Google Patents

Abstract

本发明公开了一种光子神经网络卷积加速芯片，适用于所有包含卷积运算的深度学习网络。本发明光子神经网络卷积加速芯片由完成卷积加速运算的调制器、耦合器、波分延时加权单元及平衡光电探测器一体化集成。本发明基于波分复用技术将待处理信号分别加载到多个光载波上，通过解波分复用、光幅度控制与延迟波导实现不同载波信号的卷积核系数加权与时间交织，通过平衡光电探测器实现加权后求和运算。本发明利用一对集成波分延时加权单元即可实现任意实数卷积核矩阵系数的构建，结合延时可完成任意信号的卷积加速运算。将光作为信息载体，可实现低功耗、高速率卷积运算。

Description

一种光子神经网络卷积加速芯片

技术领域

本发明涉及一种面向深度学习的光子神经网络卷积加速芯片，属于光子集成技术领域。

背景技术

机器视觉、自然语言处理及自动驾驶等领域如今广泛应用人工智能技术，其中人工神经网络是人工智能技术重要落地模型。人工神经网络本质上通过模仿生物神经系统结构，基于软件或硬件建立类似的神经元网络互联模式。基于电子技术的成熟发展，如今主流神经网络模型训练与测试可以以CPU、GPU、FPGA以及专用集成电路等电子集成芯片为载体。但电子芯片采用程序空间与数据空间分离的经典计算机结构，存储单元与计算单元之间数据载荷大、功耗高，限制网络模型训练的效率。（参见[陈宏伟, 于振明, 张天, 等. 光子神经网络发展与挑战. 中国激光, 2020, 47(5): 0500004.]）。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点, 广泛应用于雷达、通信以及计算等领域（参见[J. Capmany, D. Novak, " Microwave photonics combines two worlds," Nature photonics, vol. 1, no. 6, pp. 319-330, 2007.]与Shastri B J, Tait A N,Ferreira de Lima T, et al. Photonics for artificial intelligence andneuromorphic computing. Nature Photonics, 2021, 15(2): 102-114.），将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[Ashtiani F, Geers A J,Aflatouni F. An on-chip photonic deep neural network for imageclassification. Nature, 2022: 1-6.]）提出一种集成的端到端光子深度神经网络，可在亚秒级对入射到片上像素阵列的光图像信号通过神经元传播处理实现图像分类，无需图像信号的捕捉、转化及储存。但受限于像素阵列有限，目前只能处理低像素图片数据。此外（参见（Shen Y, Harris N C, Skirlo S, et al. Deep learning with coherentnanophotonic circuits. Nature Photonics, 2017, 11(7): 441-446.））基于三角分解矩阵运算算法基本理论模型研制了世界第一款光子计算芯片，通过光子芯片结合电域仿真实现线性运算及非线性激活函数，从而构建全连接光子神经网络，基于芯片两次运算可实现一层全连接神经网络线性运算。相较于目前发展得较为成熟的电子神经网络，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。

发明内容

本发明的目的在于：克服现有技术不足，基于光子集成技术，利用回环阵列波导光栅结合幅度调节延时阵列实现信号卷积核矩阵系数加权及时间交织。除了光源整个加速芯片的所有光子组件集成在一个芯片上，系统紧凑简单、体积小、成本低且卷积核矩阵可灵活扩展。

本发明具体采用以下技术方案解决上述技术问题：

一种光子神经网络卷积加速芯片，所述芯片由调制器、1×2光耦合器、2个波分延时加权单元及平衡光电探测器一体化集成；其中：

所述调制器具有1个电输入端、1个光输入端及1个光输出端，所述调制器的光输入端为整个芯片的光输入端，用于接收外部多波长光信号，电输入端用于接收外部待卷积信号，所述待卷积信号是一维信号，可以直接是一维信号或是实际信号经矩阵平坦化处理后得到的一维信号；所述调制器的光输出端连接1×2光耦合器的光输入端；

所述1×2光耦合器的2个输出端分别连接两个波分延时加权单元的输入端；用于将多波长强度调制光信号均分为两路，并分别送入2个波分延时加权单元；

所述2个波分延时加权单元具有相同的设计，每个波分延时加权单元由1个回环结构阵列波导光栅与M个幅度调节延时单元组成；所述回环结构阵列波导光栅包含M个回环，每个回环中连接一个幅度调节延时单元，所述幅度调节延时单元由幅度调节器与延时波导串联组成；回环结构阵列波导光栅的光输出端是波分延时加权单元的光输出端；所述平衡光电探测器具有2个光输入端，1个电输出端，2个光输入端分别与2个波分延时加权单元的光输出端连接，平衡光电探测器的一个电输出端为整个芯片的电输出端；

所述芯片的工作流程是：首先，待卷积信号通过所述调制器强度调制输入调制器的多波长光信号，将待卷积信号分别加载到多波长光信号的不同载波上，得到包含O个子强度调制光信号的多波长强度调制光信号；多波长强度调制光信号通过1×2光耦合器均分为两路，分别送入1个波分延时加权单元，根据控制信号分别控制所述波分延时加权单元中M个幅度调节器的传输特性，分别实现O个子强度调制光信号的幅度调节，最后在2个波分延时加权单元输出端得到第一加权强度调制光信号与第二加权强度调制光信号；最后将第一加权强度调制光信号与第二加权强度调制光信号分别送入平衡光电探测器完成光电转换，得到电输出信号，此信号即为待卷积信号完成卷积运算后得到的特征信号。

优选地，所述波分延时加权单元中的M个回环以第1个回环为参考，其余回环中的延时波导长度依次增加∆L=c∆t/n _w，其中c为光在真空中速度，n _w为波导延迟线有效折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率。

优选地，所述幅度调节器是半导体光放大器、半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器中的一种或多种；当所述芯片基于三五族材料集成工艺一体化集成时，所述幅度调节器可采用半导体光放大器、电光强度调制器、热光强度调制器中的一种或多种，当所述芯片基于硅基集成工艺一体化集成时，所述幅度调节器可采用半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器中的一种或多种。

进一步地，所述M个回环分别对应多波长强度调制光信号中的不同波长子强度调制光信号。

进一步地，所述第一加权强度调制光信号与第二加权强度调制光信号通过平衡探测器完成光电探测实现任意实数卷积核矩阵系数。

优选地，所述根据控制信号控制所述波分延时加权单元中M个回环中幅度调节器的传输特性，分别实现O个子强度调制光信号的幅度调节，具体为：通过热光效应或电光效应控制半导体光放大器、半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器对特定波长信号的放大或衰减，分别实现O个子强度调制光信号的幅度调节。

进一步地，所述多波长光信号的波长个数O与卷积核矩阵元素个数O相等，且小于等于每个波分延时加权单元中幅度调节延时单元个数M。

进一步地，所述多波长光信号由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器产生。

相比现有技术，本发明技术方案具有以下有益效果：

1）本发明基于片上幅度调节器件阵列实现待卷积信号的任意卷积核矩阵系数加权，方案简单紧凑，调节速度快，可实现实时反馈训练提取最优卷积核矩阵，卷积运算速度仅限制于调制器速度。

2）本发明通过两个波分延时加权单元结合平衡光电探测器可实现负数、正数、零等任意实数卷积核系数加权求和。

3）本发明通过基于回环结构的阵列波导光栅结合幅度控制延时波导实现不同波长子强度调制信号波长-时间交织，方案简单高效，无需色散校准补偿，且可大规模集成。

附图说明

图1为本发明一示例性的光子神经网络卷积加速芯片结构示意图；

图2为本发明光子神经网络卷积加速芯片一个具体实施例结构示意图；

图3为本发明光子神经网络卷积加速芯片一个具体实施例各工作节点的加权强度调制光信号时间序列与波长关系图；其中，A为第一加权强度调制光信号时间序列与波长关系图，B为第二加权强度调制光信号时间序列与波长关系图。

具体实施方式

针对现有技术的不足，本发明的思路是基于波分复用技术将待处理信号分别加载到多个光载波上，通过解波分复用、光幅度控制与延迟波导实现不同载波信号的卷积核系数加权与时间交织，通过平衡光电探测器实现加权后求和运算。本发明利用一对集成波分延时加权单元即可实现任意实数卷积核矩阵系数的构建，结合延时可完成任意信号的卷积加速运算。将光作为信息载体，可实现低功耗、高速率卷积运算。

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。

在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1示出为本发明一示例性的光子神经网络卷积加速芯片结构，如图1所示，集成光子组件有：调制器、1×2光耦合器（OC）、2个波分延时加权单元及平衡光电探测器（BPD）；各光子组件之间通过光波导连接；所述调制器具有1个电输入端、1个光输入端及1个光输出端，所述调制器的光输入端为整个芯片的光输入端，用于接收外部多波长光信号，电输入端用于接收外部待卷积信号，所述调制器的光输出端连接1×2光耦合器的输入端；

所述1×2光耦合器的2个输出端分别连接两个波分延时加权单元的输入端；所述2个波分延时加权单元具有相同的设计，每个波分延时加权单元由1个回环结构阵列波导光栅（AWG）与M个幅度调节延时单元组成；所述回环结构阵列波导光栅包含M个回环，每个回环中连接一个幅度调节延时单元，所述幅度调节延时单元由幅度调节器（OVA）与延时波导串联组成；回环结构阵列波导光栅的光输出端是波分延时加权单元的光输出端；所述平衡光电探测器具有2个光输入端，1个电输出端，2个光输入端分别与2个波分延时加权单元的光输出端连接，平衡光电探测器的一个电输出端为整个芯片的电输出端；

所述芯片的工作流程是：首先，待卷积信号通过所述调制器强度调制输入调制器的多波长光信号，将待卷积信号分别加载到多波长光信号的不同载波上，得到包含O个子强度调制光信号的多波长强度调制光信号；多波长强度调制光信号通过1×2光耦合器均分为两路，分别送入1个波分延时加权单元，根据控制信号分别控制所述波分延时加权单元中M个幅度调节器的传输特性，分别实现O个子强度调制光信号的幅度调节，最后在2个波分延时加权单元输出端得到第一加权强度调制光信号与第二加权强度调制光信号；最后将第一加权强度调制光信号与第二加权强度调制光信号分别送入平衡光电探测器完成光电转换，得到电输出信号，此信号即为待卷积信号完成卷积运算后得到的特征信号。

需要说明的是，所述多波长光信号是由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器、光孤子光频梳发生器等多波长光源产生的；此外，当多波长光源中每个波长的信号强度不相等时，则根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定幅度调节器传输系数，当多波长光源中每个波长的信号强度相等时，则根据卷积核矩阵元素的大小确定幅度调节器传输系数；为方便数据处理，实施例优选多波长光源中每个波长的强度相等。

实际工作中，所述多波长光信号的波长个数O与卷积核矩阵元素个数相等，且小于等于波分延时加权单元中幅度调节延时单元数M，为充分利用每个幅度调节器，实施例优选多波长光信号的波长个数与卷积核矩阵元素个数均等于波分延时加权单元中幅度调节延时单元数M。

进一步地，所述调制器、1×2光耦合器、波分延时加权单元及平衡光电探测器等光子组件与光波导均可以采用三五族材料或硅制备集成，所述芯片可基于三五族材料集成工艺，或硅基集成工艺等成熟工艺集成。所述幅度调节器是半导体光放大器、半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器；当所述芯片基于三五族材料集成工艺一体化集成时，所述幅度调节器可采用半导体光放大器、电光强度调制器、热光强度调制器，当所述芯片基于硅基集成工艺一体化集成时，所述幅度调节器可采用半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器。通过热光效应或电光效应控制半导体光放大器、半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器对特定波长信号的放大或衰减即可控制幅度调节器的传输特性。

基于光子神经网络卷积加速芯片的卷积运算应用系统一个具体实施例如图2所示，其包括：上述光子神经网络卷积加速芯片、多波长光源、待卷积信号源、卷积核矩阵控制信号以及模数转换及数字信号处理器（ADC&DSP）。

首先，多波长光源输出各个波长强度相等的多波长光信号并通过光子芯片的光输入端进入调制器，多波长光信号的各个波长强度用矩阵可以表示为A=[A,A,A,…,A]^T _1×M，M为每个波分延时加权单元中幅度调节延时单元的个数，A为波长强度。待卷积信号源输出的待卷积信号通过调制器对多波长光信号进行调制，将待卷积信号分别加载到多波长光信号的不同载波上，待卷积信号可以表示为x(n)=[x(1), x(2), x(3),…, x(N)], 其中n表示离散化时间序号，N为待卷积信号的长度，待卷积信号是实际信号经矩阵平坦化处理后得到的一维信号，矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵。每一个强度调制的载波对应一个待卷积信号，得到多波长强度调制光信号，多波长强度调制光信号用矩阵可以表示为：

(1)

多波长强度调制光信号进入1×2光耦合器，1×2光耦合器将多波长光信号分为两路，分别为第一多波长强度调制光信号与第二多波长强度调制光信号，并分别送入1个波分延时加权单元。两个波分延时加权单元组成相同，以进入第一波分延时加权单元为例，波分延时加权单元由1个回环结构阵列波导光栅与M个幅度调节延时单元组成，所述回环结构阵列波导光栅包含M个回环，每个回环中连接一个幅度调节延时单元，所述幅度调节延时单元由幅度调节器（OVA）与延时波导串联组成，M个幅度调节延时单元以第1个单元为参考，其余单元中的延时波导长度依次增加∆L=c∆t/n _w，其中c为光在真空中速度，n _w为波导延迟线有效折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，即x(n)与x(n-1)之间的时间差，S _M 为待卷积信号符号速率。进入第一波分延时加权单元的第一多波长强度调制光信号通过回环结构阵列波导光栅先解波分为M路单波长强度调制光信号，并分别送入M个回环中的幅度调节延时单元，卷积核矩阵控制信号根据卷积核矩阵系数分别控制幅度调节延时单元中幅度调节器的传输特性，实现卷积核矩阵系数加权，然后分别经历等间隔递增的延时后通过回环返回到回环结构阵列波导光栅波分复用合为一路，在回环结构阵列波导光栅光输出端得到第一加权强度调制光信号，同理可得到第二加权强度调制光信号。第一波分延时加权单元中幅度调节延时单元与第二波分延时加权单元中幅度调节延时单元具有相同延时波导长度的单元一一对应，共同调节实现任意实数卷积核矩阵系数。

设经过平坦化处理后的卷积核矩阵系数为C _w =[w ₁,w ₂,w ₃,…,w _M]^T，不同波长强度调制光信号在2个波分延时加权单元对应幅度调节器的传输特性分别为C _wc1 =[w _{c1_1},w _{c1_2},w _{c1_3},…, w _{c1_M}]^T与C _wc2 =[w _{c2_1},w _{c2_2},w _{c2_3},…,w _{c2_M}]^T，C _w ，C _wc1 ，C _wc1 ，需满足以下关系：

C _w=C _wc1 - C _wc2 或C _w=C _wc2 - C _wc1 (2)

则第一加权强度调制光信号S _{Mod_wc1} 可以表示为：

(3)

其时间序列与波长关系如图3中的A所示。同样地，第二加权强度调制光信号S _{Mod_wc2} 可以表示为：

(4)

相应的信号时间序列与波长关系如图3中的B所示。将第一加权强度调制光信号与第二加权强度调制光信号两路信号送入平衡光电探测器完成光电转换后，即可完成待卷积信号的卷积乘加运算，得到相应特征信号，其中第一加权强度调制光信号经过平衡光电探测器其中一个光电探测器完成光电转换后，有效时序内的信号可以表示为：

m=1, 2,…,M (5)

而第二加权强度调制光信号经过平衡光电探测器另一个光电探测器完成光电转换后，有效时序内的信号可以表示为：

m=1, 2,…,M (6)

相应的，平衡光电探测器在有效时序内的信号可以表示为：

m=1, 2,…,M (7)

其中，S _ca (r)为第r次乘加运算的结果，w _m 为卷积核矩阵系数。

模数转换及数字信号处理器可对相应电信号进行采集与处理，在数字域实现信号重构即可获得相应特征信号矩阵。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.一种光子神经网络卷积加速芯片，其特征在于，所述芯片由调制器、1×2光耦合器、2个波分延时加权单元及平衡光电探测器一体化集成；其中：

所述调制器具有1个电输入端、1个光输入端及1个光输出端，光输入端为整个芯片的光输入端，用于接收外部多波长光信号，光输出端连接1×2光耦合器的输入端；电输入端用于接收外部待卷积信号，所述待卷积信号是一维信号，待卷积信号通过所述调制器强度调制输入调制器的多波长光信号，得到包含O个子强度调制光信号的多波长强度调制光信号；

所述1×2光耦合器的2个输出端分别连接两个波分延时加权单元的输入端；用于将多波长强度调制光信号均分为两路，并分别送入2个波分延时加权单元；

每个波分延时加权单元由1个回环结构阵列波导光栅与M个幅度调节延时单元组成；所述回环结构阵列波导光栅包含M个回环，每个回环中连接一个幅度调节延时单元，所述幅度调节延时单元由幅度调节器与延时波导串联组成；所述2个波分延时加权单元用于分别根据控制信号控制所述波分延时加权单元中M个幅度调节器的传输特性，分别实现O个子强度调制光信号的幅度调节，最后分别输出第一加权强度调制光信号与第二加权强度调制光信号；

所述平衡光电探测器具有2个光输入端，1个电输出端，2个光输入端分别与2个波分延时加权单元的光输出端连接，用于对第一加权强度调制光信号与第二加权强度调制光信号进行光电转换，得到电输出信号，所述电输出信号即为待卷积信号完成卷积运算后得到的特征信号。

2.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述波分延时加权单元中的M个回环以第1个回环为参考，其余回环中的延时波导长度依次增加∆L=c∆t/n _w，其中c为光在真空中速度，n _w为波导延迟线有效折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率。

3.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述幅度调节器是半导体光放大器、半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器中的一种或多种；当所述芯片基于三五族材料集成工艺一体化集成时，所述幅度调节器采用半导体光放大器、电光强度调制器、热光强度调制器中的一种或多种，当所述芯片基于硅基集成工艺一体化集成时，所述幅度调节器采用半导体光衰减器、微环谐振器、电光强度调制器、热光强度调制器中的一种或多种。

4.如权利要求3所述的光子神经网络卷积加速芯片，其特征在于，所述根据控制信号控制所述波分延时加权单元中M个回环中幅度调节器的传输特性，分别实现O个子强度调制光信号的幅度调节，具体为：通过热光效应或电光效应控制幅度调节器对特定波长信号的放大或衰减，分别实现O个子强度调制光信号的幅度调节。

5.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述M个回环分别对应多波长强度调制光信号中的不同波长子强度调制光信号。

6.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述第一加权强度调制光信号与第二加权强度调制光信号通过平衡探测器完成光电探测实现任意实数卷积核矩阵系数。

7.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述多波长光信号的波长个数O与卷积核矩阵元素个数相等，且小于等于每个波分延时加权单元中幅度调节延时单元个数M。

8.如权利要求1所述的光子神经网络卷积加速芯片，其特征在于，所述多波长光信号由多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器产生。

Images