CN114819132B - 一种基于时间-波长交织的光子二维卷积加速方法及系统 - Google Patents

Abstract

本发明公开了一种基于时间‑波长交织的光子二维卷积加速方法及系统，首先将待卷积信号加载到包含M×N个波长的多波长光信号上，通过解波分复用器将多波长光信号分为M个各包含N个波长的子光信号；M个子光信号依次增加等间隔延时后送入延时加权微环阵列，控制延时加权微环阵列中M个延时加权微环单元中共M×N个微环的耦合系数分别实现M×N个波长信号幅度加权；幅度加权后的M个子光信号波分复用为一路复合光信号后完成光电转换即可得到相应特征信号。本发明将光作为信息载体，基于两级延时与二维微环阵列加权，在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，大幅提高卷积运算的速率及能效比。

Description

一种基于时间-波长交织的光子二维卷积加速方法及系统

技术领域

本发明涉及一种面向人工智能的光子神经网络卷积加速方法，尤其涉及一种光子神经网络卷积加速系统，属于光子计算领域。

背景技术

人工智能如今广泛应用于机器视觉、自然语言处理及自动驾驶等领域，其中作为人工智能技术重要模型之一的人工神经网络因具有优秀泛化能力及稳定性而被广泛使用。由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构，致使存储单元与计算单元之间数据载荷不稳定且功耗较高，限制网络模型训练的效率。常用解决方案是通过提高电子芯片集成度或通过存内计算来提高运算效率，但受限于电子芯片的微观量子特性及宏观高频响应特性，这些技术方向也面临巨大挑战。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在人工智能领域（参见[Shastri B J, Tait A N, Ferreira de Lima T, et al. Photonics forartificial intelligence and neuromorphic computing. Nature Photonics, 2021,15(2): 102-114.]）。将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈，解决传统电子技术受限的技术问题（参见[Huang C, Fujisawa S, de Lima T F, et al. A silicon photonic–electronic neural network for fibre nonlinearity compensation. NatureElectronics, 2021, 4(11): 837-844.]）。首先，光子神经网络采用模拟计算架构，存算同时进行，在提高计算速度的同时能够降低计算时延；其次，基于光传输介质的本质特性，光链路具有低损耗特性，间接可降低系统功耗；最后，光子器件相对电子器件，有效工作带宽增加了几个数量级，更适应神经网络的高速实时运算。如方案（参见[Xu X, Tan M,Corcoran B, et al. "11 TOOS photonic convolutional accelerator for opticalneural networks," Nature, vol. 589, no. 7840, pp. 45-51, 2021.]）提出一种基于色散技术实现待卷积信号的卷积运算与全连接前馈神经网络，运算速度已接近现有基于电子技术的最新芯片，但该方案功耗却得到大大降低，为光子神经网络迈向实用化提供了可靠依据。除了基于分立器件的系统级神经网络，光子集成神经网络芯片也在不断迭代更新，如（参见（Shen Y, Harris N C, Skirlo S, et al. Deep learning with coherentnanophotonic circuits. Nature Photonics, 2017, 11(7): 441-446.））基于三角分解矩阵运算算法基本理论模型研制了世界第一款光子计算芯片，通过光子芯片结合电域仿真实现线性运算及非线性激活函数，从而构建全连接光子神经网络，基于芯片两次运算可实现一层全连接神经网络线性运算，同时基于计算机藩镇饱和吸收体的传输特性实现非线性运算。相较于目前发展得较为成熟的电子神经网络，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。

发明内容

本发明所要解决的技术问题在于：克服现有技术不足，利用包含延迟波导的微环谐振器阵列结合延时阵列实现待卷积信号二维卷积核矩阵系数加权，解决传统方法数据冗余、部分数据丢失的问题，且卷积核矩阵可灵活扩展，适用于多维数据卷积运算。

本发明具体采用以下技术方案解决上述技术问题：

一种基于时间-波长交织的光子二维卷积加速方法，首先，将待卷积信号通过电光调制器加载到包含M×N个波长的多波长光信号上得到多波长调制光信号，其中，所述待卷积信号为实际二维数据经矩阵平坦化处理后得到的一维信号；通过解波分复用器将多波长调制光信号分为M个各包含N个波长的子调制光信号；M个子调制光信号进入延时阵列分别通过延时等间隔增加的延时线，延时后的M个子调制光信号分别送入延时加权微环阵列中M个延时加权微环单元，控制信号通过控制每个延时加权微环单元中N个微环的耦合系数实现M×N个波长调制信号卷积核系数加权；幅度加权后的M个子调制光信号从延时加权微环阵列输出后通过波分复用器波分复用为一路复合光信号，复合光信号送入光电探测器完成光电转换得到电输出信号，电输出信号采集重构后，即可得到待卷积信号完成卷积运算后的特征信号。

优选地，所述多波长光信号中M×N个波长信号幅度相等或不相等，其中M与N为正整数，分别为最大可支持卷积核矩阵的行数与列数；所述解波分复用器与波分复用器的通道间隔为N×∆f，其中∆f为多波长光信号中两个波长之间的频率间隔。

优选地，所述延时阵列由M段长度不同的光纤组成，以第一根为参考，其它根光纤长度依次增加∆L=O×c×∆t/n _f ，其中O为可处理的待卷积二维数据列数，c为光在真空中速度，n _f 为光纤折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率，且待卷积信号符号速率最大值取决于调制器带宽。

进一步地，所述延时加权微环阵列为一体集成芯片，由M个延时加权微环单元组成，每个延时加权微环单元由1个直通波导、1个耦合波导以及N个微环谐振器组成， N个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n _w的延迟波导，其中n _w为延迟波导有效折射率。

进一步地，所述控制信号通过控制每个延时加权微环单元中N个微环的耦合系数实现M×N个波长调制信号卷积核系数加权，具体为：

根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个延时加权微环单元中N个微环对应卷积核矩阵中一行元素。

一种基于时间-波长交织的光子二维卷积加速系统，包括：

多波长光源，用于产生包含M×N个波长的多波长光信号；

光放大器，用于对多波长光源产生的多波长光信号进行放大；

待卷积信号源，用于将原始待卷积的二维数据转换成一维待卷积信号；

调制器，用于将待卷积信号源产生的一维待卷积信号加载到多波长光信号上，得到多波长调制光信号；

解波分复用器，用于将多波长调制光信号分为M个各包含N个波长的子调制光信号；

延时阵列，用于对M个子调制光信号依次增加等间隔延时；

卷积核矩阵控制单元，用于向延时加权微环阵列提供卷积核控制信号；

延时加权微环阵列，用于基于卷积核控制信号控制延时加权微环阵列中M个延时加权微环单元中共M×N个微环的耦合系数，实现M×N个波长调制信号卷积核系数加权；

波分复用器，用于将延时加权微环阵列输出的光信号波分复用为一路复合光信号；

光电探测器，用于将复合光信号转换为电信号；

采集处理单元，用于将电信号采集，并采集重构为对应原始待卷积信号的特征信号。

优选地，所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器。

优选地，所述延时加权微环阵列中M×N个微环谐振器的半径依次增加，分别对应一个谐振波长，且半径最大微环谐振器对应的自由光谱范围∆f _FSR应大于多波长光信号所占据的光谱范围M×N×∆f。

进一步地，所述延时阵列由M段光纤组成，以第一根为参考，其它根光纤长度依次增加∆L=O×c×∆t/n _f ，其中O为待处理二维数据的列数，c为光在真空中速度，n _f 为光纤折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率，且待卷积信号符号速率最大值取决于调制器带宽。

进一步地，所述延时加权微环阵列为一体集成芯片，由M个延时加权微环单元组成，延时加权微环单元中的N个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n _w的延迟波导,其中n _w为延迟波导有效折射率。

相比现有技术，本发明技术方案具有以下有益效果：

1）本发明基于波长-时间交织技术实现二维卷积加速，单个调制器即可实现信号的光域加载，卷积运算速度仅限制于调制器速度。

2）本发明基于两级延时结合二维微环阵列在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效，无需色散校准补偿。

3）本发明基于微环阵列实现卷积核矩阵系数的控制，可实现卷积核矩阵系数的快速更新，适应于实时数据处理应用。

附图说明

图1为本发明基于时间-波长交织的光子二维卷积加速系统结构示意图；

图2为本发明基于时间-波长交织的光子二维卷积加速系统一个具体实施例结构示意图；

图3为本发明基于时间-波长交织的光子二维卷积加速系统一个具体实施例中延时加权微环单元的结构示意图；

图4为本发明基于时间-波长交织的光子二维卷积加速系统一个具体实施例二维数据及处理示意图：其中A为原始二维待卷积数据及卷积核矩阵，B为二维数据一维平坦化处理方法示意图。

图5为本发明基于时间-波长交织的光子二维卷积加速系统一个具体实施例各工作节点的光谱示意图；其中，A为多波长强度调制光信号的光谱分布图，B为第一个延时加权微环单元输出信号的光谱分布图，C为第二个延时加权微环单元输出信号的光谱分布图，D为第M个延时加权微环单元输出信号的光谱分布图，E为波分复用器输出复合光信号时间序列与波长关系图。

图6为本发明基于时间-波长交织的光子二维卷积加速系统一个具体实施例有效时序重构的二维特征信号。

具体实施方式

针对现有技术的不足，本发明的思路是基于二维微环阵列结合两级延时实现多波长信号的时间-波长交织及待卷积信号的卷积核矩阵系数加权。方案中卷积核矩阵可灵活扩展，信号处理实时高效。

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。

在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明的一种基于时间-波长交织的光子二维卷积加速系统具体如图1所示，包括：多波长光源、光放大器、待卷积信号源、调制器、解波分复用器、延时阵列、卷积核矩阵控制单元、延时加权微环阵列、波分复用器、光电探测器、采集处理单元等，其中，解波分复用器、波分复用器包含M个通道，延时阵列包含M段长度不同的光纤，延时加权微环阵列包含M个延时加权微环单元，M个通道、M段光纤与M个延时加权微环单元一一对应。解波分复用器与波分复用器的通道间隔为N×∆f，其中∆f为多波长光信号中两个波长之间的频率间隔。

首先，多波长光源输出的包含M×N个波长的多波长光信号经光放大器放大后送入调制器，待卷积信号源输出的待卷积信号通过调制器加载到多波长光信号上得到多波长调制光信号；其中，所述待卷积信号为是实际二维数据经矩阵平坦化处理后得到的一维信号；然后通过解波分复用器将多波长调制光信号分为M个分别包含N个波长的子调制光信号，M个子调制光信号进入延时阵列依次增加等间隔延时后送入延时加权微环阵列，卷积核控制信号通过控制延时加权微环阵列中M个延时加权微环单元中共M×N个微环的耦合系数实现M×N个波长调制信号卷积核系数加权；最后，实现加权的所有子调制信号从延时加权微环阵列输出后通过波分复用器波分复用为一路复合光信号，将复合光信号送入光电探测器完成光电转换得到电输出信号，电输出信号经过采集处理单元采集重构后，即可得到待卷积信号完成卷积运算后的特征信号。

所述延时加权微环阵列中M×N个微环谐振器的半径依次增加，分别对应一个谐振波长，且半径最大微环谐振器对应的自由光谱范围∆f _FSR应大于多波长光信号所占据的光谱范围M×N×∆f。

需要说明的是，所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器，本实施例优选锁模激光器；所述调制器可为电吸收调制器、马赫-曾德尔调制器等，本实施例优选马赫-曾德尔调制器。

此外，所述多波长光源输出信号中M×N个波长信号幅度可以相等或不相等，本实施优选相等。

为了便于公众理解，下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明：

如图2所示，本实施例的基于时间-波长交织的光子二维卷积加速系统包括：1个锁模激光器、1个光放大器、1个待卷积信号源、1个马赫-曾德尔调制器（MZM）、1个解波分复用器、1个延时阵列、1个卷积核矩阵控制单元、1个延时加权微环阵列、1个波分复用器、1个光电探测器、1个采集处理单元等。

首先，锁模激光器输出各个波长强度相等的多波长光信号并通过光放大器进行放大，放大后的多波长光信号的各个波长强度用矩阵可以表示为A=[A,A,A,…,A]^T _(M×N)×1，其中M与N为正整数，分别对应卷积核矩阵的行数与列数，A为单波长信号强度。放大后的多波长光信号送入马赫-曾德尔调制器，待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器对多波长光信号进行调制，将待卷积信号分别加载到多波长光信号的不同波长上。待卷积信号序列可以表示为x(i)=[x(1), x(2), x(3),…, x(P)], 其中i表示离散化时间序号，P=O×Q为待卷积信号的长度，待卷积信号是实际二维数据经矩阵平坦化处理后得到的一维信号，原始待卷积信号如图4的A所示，为一个Q行O列的矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图4的B所示。每一个强度调制的载波对应一个待卷积信号，得到多波长强度调制光信号，多波长强度调制光信号S _Mod 用矩阵可以表示为：

(1)

对应的光谱分布如图5中的A所示。多波长强度调制光信号送入解波分复用器分为M个各包含N个波长的子强度调制光信号S _{Mod_m} ，用矩阵可以表示为：

(2)

M个子强度调制光信号送入包含M个延迟光纤的延时阵列，延时阵列中以第一根光纤为参考，其它根光纤长度依次增加∆L=O×c×∆t/n _f ，其中O为待卷积二维数据列数，c为光在真空中速度，n _f 为光纤折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，即x(i)与x(i-1)之间的时间差，S _M 为待卷积信号符号速率，待卷积信号符号速率最大值取决于调制器带宽。延时后的子强度调制光信号S _{Mod_m_delay} 可以表示为：

( m=1,2,..，M) (3)

延时阵列输出的子强度调制光信号通过光纤波导耦合技术依次耦合到包含M个延时加权微环单元的延时加权微环阵列芯片中，延时加权微环单元的结构示意图如图3所示，每个延时加权微环单元由1个直通波导、1个耦合波导以及N个微环谐振器组成，微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n _w的延迟波导，其中n _w为波导延迟线有效折射率，∆t同上为待卷积信号单个符号持续时间。每个延时加权微环单元中N个微环的谐振特性依次对应于一个波长，根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个延时加权微环单元中N个微环对应卷积核矩阵中一行元素。卷积核矩阵控制单元输出的卷积核矩阵控制信号首先控制第一个微环谐振器谐振特性，使在直通波导中传输的对应波长子强度调制光信号按特定耦合系数耦合到耦合波导中，实现卷积核矩阵系数加权。直通波导中的子多波长强度调制光信号经过第一个微环谐振器后进入直通波导的延迟波导实现∆t延时。延时后的多波长强度调制光信号通过第二个微环谐振器对相应波长信号实现系数加权，延时后依次完成所有波长信号加权。在耦合波导输出端得到M个子加权强度调制光信号。设卷积核矩阵系数M _con 可以表示为：

(4)

w表示卷积核矩阵元素；则延时加权微环单元耦合波导输出的子加权强度调制光信号S _{Modcon_m} 可以表示为：

( m=1,2,..，M) (5)

其光谱图如图5中的B, C, D所示，需要说明得是，为了公众便于理解，图5中的B,C, D所对应的分别为第1，2，M个延时加权微环单元输出的子加权强度调制光信号。基于波导光纤耦合技术，将M个子加权强度调制光信号耦合进光纤后通过波分复用器合为一路复合光信号，复合光信号时间序列与波长关系如图5中的E所示。将复合光信号送入光电探测器完成光电转换后得到电输出信号。电输出信号有效时序内的信号可以表示为：

(6)

其中，S _ca (r)为第r次卷积运算的结果，w _mn 为卷积核矩阵系数。采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图6所示，其中灰色的N-1列为冗余数据。去除冗余数据后即可得到待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.一种基于时间-波长交织的光子二维卷积加速方法，其特征在于，将待卷积信号通过调制器加载到包含M×N个波长的多波长光信号上得到多波长调制光信号，其中，所述待卷积信号为实际二维数据经矩阵平坦化处理后得到的一维信号；通过解波分复用器将多波长调制光信号分为M个各包含N个波长的子调制光信号；M个子调制光信号进入延时阵列分别通过延时等间隔增加的延时线，延时后的M个子调制光信号送入延时加权微环阵列中，延时加权微环阵列包含M个延时加权微环单元，控制信号通过控制每个延时加权微环单元中N个微环的耦合系数实现M×N个波长调制信号卷积核矩阵加权；加权后的M个子调制光信号从延时加权微环阵列输出后通过波分复用器波分复用为一路复合光信号，复合光信号送入光电探测器完成光电转换得到电输出信号，电输出信号采集重构后，即得到待卷积信号完成卷积运算后的特征信号；

所述延时阵列由M段长度不同的光纤组成，以第一根为参考，其它根光纤长度依次增加∆L=O×c×∆t/n _f ，其中O为待卷积信号二维数据列数，c为光在真空中速度，n _f 为光纤折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率，且待卷积信号符号速率最大值取决于调制器带宽。

2.如权利要求1所述的方法，其特征在于，所述多波长光信号中M×N个波长信号幅度相等或不相等，其中M与N为正整数，分别为最大可支持卷积核矩阵的行数与列数；所述解波分复用器与波分复用器的通道间隔为N×∆f，其中∆f为多波长光信号中两个波长之间的频率间隔。

3.如权利要求1所述的方法，其特征在于，所述延时加权微环阵列为一体集成芯片，由M个延时加权微环单元组成，每个延时加权微环单元由1个直通波导、1个耦合波导以及N个微环谐振器组成，N个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n _w的延迟波导，其中n _w为延迟波导有效折射率。

4.如权利要求1所述的方法，其特征在于，所述控制信号通过控制每个延时加权微环单元中N个微环的耦合系数实现M×N个波长调制信号卷积核系数加权，具体为：

根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数，且通过热光效应或电光效应改变微环谐振器耦合系数，每个延时加权微环单元中N个微环对应卷积核矩阵中一行元素。

5.一种基于时间-波长交织的光子二维卷积加速系统，其特征在于，包括：

多波长光源，用于产生包含M×N个波长的多波长光信号；

光放大器，用于对多波长光源产生的多波长光信号进行放大；

待卷积信号源，用于将原始待卷积的二维数据转换成一维待卷积信号；

调制器，用于将待卷积信号源产生的一维待卷积信号加载到多波长光信号上，得到多波长调制光信号；

解波分复用器，用于将多波长调制光信号分为M个各包含N个波长的子调制光信号；

延时阵列，用于对M个子调制光信号依次增加等间隔延时；所述延时阵列由M段光纤组成，以第一根为参考，其它根光纤长度依次增加∆L=O×c×∆t/n _f ，其中O为待处理二维数据的列数，c为光在真空中速度，n _f 为光纤折射率，∆t=1/S _M 为待卷积信号单个符号持续时间，S _M 为待卷积信号符号速率，且待卷积信号符号速率最大值取决于调制器带宽；

卷积核矩阵控制单元，用于向延时加权微环阵列提供卷积核控制信号；

延时加权微环阵列，用于基于卷积核控制信号控制延时加权微环阵列中M个延时加权微环单元中共M×N个微环的耦合系数，实现M×N个波长调制信号卷积核系数加权；

波分复用器，用于将延时加权微环阵列输出的光信号波分复用为一路复合光信号；

光电探测器，用于将复合光信号转换为电信号；

采集处理单元，用于将电信号采集，并采集重构为对应原始待卷积信号的特征信号。

6.如权利要求5所述的基于时间-波长交织的光子二维卷积加速系统，其特征在于，所述多波长光源为多波长激光器、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器。

7.如权利要求5所述的基于时间-波长交织的光子二维卷积加速系统，其特征在于，所述延时加权微环阵列中M×N个微环谐振器的半径依次增加，分别对应一个谐振波长，且半径最大微环谐振器对应的自由光谱范围∆f _FSR应大于多波长光信号所占据的光谱范围M×N×∆f。

8.如权利要求5所述的基于时间-波长交织的光子二维卷积加速系统，其特征在于，所述延时加权微环阵列为一体集成芯片，由M个延时加权微环单元组成由1个直通波导、1个耦合波导以及N个微环谐振器组成， N个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n _w的延迟波导,其中n _w为延迟波导有效折射率。

Images