CN116011537A

CN116011537A - 一种基于光散射的灵活高维复杂矩阵运算单元

Info

Publication number: CN116011537A
Application number: CN202211647943.4A
Authority: CN
Inventors: 刘旭; 张嘉龙; 刘仁韬; 从哲; 王百航; 王春清; 邹波; 马飘扬; 赵洋; 曹然
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2022-12-21
Filing date: 2022-12-21
Publication date: 2023-04-25

Abstract

本发明公开了一种基于光散射的灵活高维复杂矩阵运算结构，包括光分路器，电光开关，4个CWDM的波分复用单元，4个OSU矩阵运算单元和光电检测器；利用电信号控制入射光按照不同的时间，入射到不同的CWDM波分复用单元，CWDM波分复用单元将入射光按照波长分离并从不同的出射波导出射；之后，这些出射光会被送入OSU矩阵运算单元的相对应波长波导处，经过单元散射后按照一定比例从相应波导出射；光电检测单元通过检测一段时间内各个波导的出射光的归一化功率，来进行矩阵运算的模拟。本发明的电光混合的矩阵乘法，具备高带宽、低损耗、所需空间小等优势，同时具有很好的拓展性，能够实现灵活的矩阵运算模拟。

Description

一种基于光散射的灵活高维复杂矩阵运算单元

技术领域

本发明涉及了一种基于光散射的灵活高维复杂矩阵运算单元，从而实现电光混合的片上矩阵运算，并设计了多个环节对矩阵运算进行控制和灵活拓展。

背景技术

近年来，随着机器学习技术的发展，深度神经网络在各种新兴应用中表现出革命性的性能提升。特别是深度卷积神经网络(CNN)在计算机视觉、图像处理、语音处理、医疗诊断、游戏、信号处理等领域产生了深远的影响，成为现代人工智能的基石。深度神经网络虽然具有先进的性能，但其复杂的结构和大量的参数在训练和推理过程中消耗了大量的计算资源。因此，对高速、低功耗的神经网络加速器有着迫切的需求。

光学方法是下一代神经网络加速器的潜在方法，因为光学元件和技术具有超宽频带和低功耗的特点。利用空间光衍射、片上相干干涉、波分复用等光学技术论证了光学神经网络(ONN)的可行性。从数值和实验结果可以很好地推断出它的高速和低功耗性能。在这些关于光学神经网络的先驱工作中，主要考虑了全连接神经网络，因此这些架构被设计成矢量矩阵乘法器。当涉及到卷积神经网络(CNN)时，这些架构可能会面临巨大的挑战，因为将卷积层转换为向量-矩阵乘法需要一个巨大的光学电路。如果输入图像的大小为N×N，则该光电路的内嵌参数个数为N⁴。克服这一障碍的一种可行方法是通过复用光学硬件将卷积层转换为矩阵-矩阵乘法。因此，嵌入参数的数量显著减少，大约几十个，完整的计算在N²时间周期内完成。

发明内容

根据硬件复用的概念，本发明提出了一种基于光散射的灵活高维复杂矩阵运算单元，该结构可以在一个单元中执行一定特征的复杂矩阵运算。该模块具有一定的灵活性，可以从入射光的组成，光入射的时间比例来控制不同的矩阵运算和加权系数；同时只需要对其中的矩阵运算单元进行进一步的设计，就可以实现不同特征的矩阵运算模拟。重复利用该单元可以实现一系列连续的矩阵乘法，和更为复杂的矩阵运算的模拟。

本发明的一种基于光散射的灵活高维复杂矩阵运算单元用于实现4x4的矩阵运算，包括光分路器、电光开关、四个CWDM的波分复用单元、四个OSU矩阵运算单元依次连接；光分路器用于将混合光分为四路，所述混合光中各波长光强的比例α＝[α₁,α₂,α₃,α₄]，混合光中包括的波长为1270nm，1290nm，1310nm，1330nm；

四个CWDM波分复用单元按照叠放的顺序排序，从下到上依次为第一CWDM波分复用单元、第二CWDM波分复用单元、第三CWDM波分复用单元、第四CWDM波分复用单元；经光分路器匀分后的四路混合光分别入射不同的CWDM波分复用单元，CWDM波分复用单元用于将混合光进行不同波长的分离；

电光开关位于光分路器与四个CWDM波分复用单元之间，用于控制各个CWDM波分复用单元的入射光单独通断，使得在同一时间只有一个CWDM波分复用单元接收到入射光，电光开关将将矩阵所表示为的电信号转换为各个CWDM波分复用单元接收到入射光的相对持续时间β＝[β₁,β₂,β₃,β₄]；实现对于如下输入矩阵的模拟：

X＝[x₁,x₂,x₃,x₄]＝[β₁α,β₂α,β₃α,β₄α]；

四个OSU矩阵运算单元横向叠放，每个CWDM的出射的四个波长分别入射到四个OSU矩阵运算单元。

进一步的，所述混合光采用1320nm～1270nm波段的光混合而成。

各CWDM波分复用单元出射波段按照CWDM单元的序列的4个波导依次对应的出射波长为：

第一CWDM波分复用单元出射的波长为1270nm，1290nm，1310nm，1330nm；

第二CWDM波分复用单元出射的波长为1290nm，1310nm，1330nm，1270nm；

第三CWDM波分复用单元出射的波长为1310nm，1330nm，1270nm，1290nm；

第四CWDM波分复用单元出射的波长为1330nm，1270nm，1290nm，1310nm。

进一步的，所述CWDM波分复用单元是采用L-BFGS算法进行逆向优化设计得到。

采用上述技术方案带来的有益效果：

(1)利用逆向优化算法进行结构的优化设计，设计出的芯片结构更为紧凑，性能更佳。

(2)本发明采用了两种可行的电光信号转换方法，即对光波长的组成比例的调制，以及对个通道光输入时间的长短控制，对输入电信号进行的光信号转换方法易于实现。

(3)本发明使用的光学矩阵计算单元前端结构对光信号进行线性分光运算，功耗低且运算速度远高于纯电路运算速度。

(4)本发明设计了两个可供控制的输入矩阵，提升了可供矩阵模拟的自由性，同时提供了实现类似高维矩阵运算设计的可行拓展。

附图说明

图1是本发明的实现的整体结构示意图；

图2是波分复用单元和矩阵运算单元的空间结构示意图；

图3是整体结构的链接方式图；

图4是四路光分路器的拓扑结构示意图与传输效果图；

图5是CWDM波分复用单元的拓扑结构示意图；

图6是OSU矩阵运算单元的拓扑结构示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，一种基于光散射的灵活高维复杂矩阵运算单元包括光分路器、电光开关、四个CWDM的波分复用单元、四个OSU矩阵运算单元。

分路器、电光开关、四个CWDM的波分复用单元和四个OSU矩阵运算单元依次连接；

光分路器用于将入射的混合光均分为四路，所述混合光中各波长光强的比例α＝[α₁,α₂,α₃,α₄]，混合光采用1320nm～1270nm附近混合波段的光波长，具体的包含了这几种确定的波长1270nm，1290nm，1310nm，1330nm。

四个CWDM的波分复用单元纵向排列按照叠放的顺序排序，从下到上依次为第一CWDM波分复用单元、第二CWDM波分复用单元、第三CWDM波分复用单元、第四CWDM波分复用单元；混合光均分后的四路光分别入射不同的CWDM波分复用单元；

电光开关用于控制各个CWDM波分复用单元的入射光单独通断，使得在同一时间只有一个CWDM波分复用单元能接收到入射光，电光开关将电信号转换为各个CWDM波分复用单元接收到入射光的相对持续时间β＝[β₁,β₂,β₃,β₄]；

例如，β₁对应第一CWDM波分复用单元的入射时间，β₂对应第二CWDM波分复用单元的入射时间，β₃对应第三CWDM波分复用单元的入射时间，β₄对应第四CWDM波分复用单元的入射时间；

实现输入矩阵X可以用以上的变量表示为：

X＝[x₁,x₂,x₃,x₄]＝[β₁α,β₂α,β₃α,β₄α]

每个CWDM波分复用单元用于将接收到的混合光进行不同波长的分离；每个CWDM波分复用单元有四个出射的端口，混合光经CWDM波分复用单元后不同波长的光按照α＝[α₁,α₂,α₃,α₄]光强比例从四个出射的端口出射；

第四CWDM波分复用单元出射的波长为1330nm，1270nm，1290nm，1310nm；

每个波段的跨度为10nm，如1270nm波段的入射波长范围为1265～1275nm。

OSU矩阵运算单元入射波段与CWDM的出射波相对应，波长关系对应的波导直接相连，其中，OSU矩阵运算单元横向叠放，如图3所示，每个CWDM的出射的四个波长分别入射到四个OSU矩阵运算单元。

具体的，数字信号利用前置的电光调制单元转化为光信号，输入该电光调制单元的光波长的强度对应关系为α＝[α₁,α₂,α₃,α₄]，比例依次对应于1270nm，1290nm，1310nm，1330nmnm波长。

经电光转换后的光信号，入射到本发明的灵活高位矩阵运算单元进行运算。首先经过四路的光分路器，将入射的混合光平均分为四束后出射，四路的光分路器采用优化方法设计，拓扑优化结构如图4中(a)所示，图4中的(b)是四路光分路器传输效果图。经四路的光分路器散射后，四束混合光入射到电光开关，电光开关将电信号转换为各路光通入CWDM波分复用单元的相对持续时间β＝[β₁,β₂,β₃,β₄]则输入到第i个CWDM波分复用单元的光强按照波长表示为x_i＝β_iα，其中i＝1、2、3或4。

CWDM波分复用器按照混合光中各个波长组成部分的光强比例α＝[α₁,α₂,α₃,α₄]将不同波长的光分离并从对应的波导中出射，之后入射到OSU矩阵运算模块中完成矩阵的运算，如图5是该结构中所包含的4个CWDM波分复用器的拓扑结构，其对应关系为：从下到上的4个波导出射波长依次为1270nm，1290nm，1310nm，1330nm；1290nm，1310nm，1330nm，1270nm；1310nm，1330nm，1270nm，1290nm和1330nm，1270nm，1290nm，1310nm；四种情况的CWDM波分复用单元。

经过波分复用单元处理之后，出射光入射到OSU矩阵运算单元相关波导进行矩阵运算模拟。图6为本发明所设计的4个OSU矩阵运算单元的拓扑结构，其相对应的实现了以下的矩阵I₁,I₂,I₃,I₄运算结果：

CWDM波分复用单元将入射光按照光波长的组成比例分离到四个输出波导中的出射实际为x_i＝[β_iα₁,β_iα₂,β_iα₃,β_iα₄],4个CWDM波分复用单元的总输出表示为：

最后，OSU矩阵运算单元将输出的光入射到光电转换单元中，光电检测单元检测一个周期内的各个波导输出光的功率比，将其转化为相应的矩阵运算结果所对应的电信号从而完成矩阵运算的模拟。

经过矩阵运算后，最终得到的矩阵为：

将其可以简写为[β₁,β₂,β₃,β₄]·[α₁,α₂,α₃,α₄]^T·[I₁,I₂,I₃,I₄]^T＝X·[I₁,I₂,I₃,I₄]^T

利用这一矩阵单元，可以实现对于一些矩阵的运算模拟。通过控制入射到矩阵运算单元的光的波长组成，实现对于矩阵α的组成的控制，通过控制输入对应的CWDM矩阵的相对时间长度，来控制矩阵β的组成；具有其他特点的矩阵运算和矩阵模拟，可以通过更换I所对应的基矩阵的实现功能来构造。

另一个实施例，采用本发明的一种基于光散射的矩阵运算单元对输入的光信号进行线性运算模拟。设输入本发明光散射的矩阵运算单元4维光信号为

输出4维光信号为

其中：

4个OSU矩阵运算单元所输出的系数a_mn的取值不同，分别模拟了对于I₁,I₂,I₃,I₄的乘法运算，通过4个OSU矩阵运算单元的输出叠加从而来实现矩阵模拟。

光电检测单元对输入的光信号进行线性叠加运算分配光功率，具体为：

设输入光电检测单元的四维光信号为

输出的4维电信号为

其中：

通过电光开关控制后，每个OSU矩阵运算模块同时仅有单一波长的输出，检测各个CWDM波分复用单元入射一次后每个通道的总功率就可以得到如上的关系。

若不适用电光开关，各个矩阵运算中输入的光实际具有不同的波长，对应功率也可以进行线性的直接叠加。

本发明利用L-BFGS算法结合Lumerical FDTD Solutions进行器件的优化设计，得到具有非直观拓扑结构的光计算器件，经过不断的迭代优化，实现了各部分器件的相应功能，完成了对于矩阵的运算模拟。

Claims

1.一种基于光散射的灵活高维复杂矩阵运算单元，其特征在于，包括光分路器、电光开关、四个CWDM的波分复用单元、四个OSU矩阵运算单元；光分路器、电光开关、四个CWDM的波分复用单元、四个OSU矩阵运算单元依次连接；光分路器用于将混合光分为四路，所述混合光中各波长光强的比例α＝[α₁,α₂,α₃,α₄]；

电光开关位于光分路器与四个CWDM波分复用单元之间，用于控制各个CWDM波分复用单元的入射光单独通断，使得在同一时间只有一个CWDM波分复用单元接收到入射光，电光开关将矩阵所表示为的电信号转换为各个CWDM波分复用单元接收到入射光的相对持续时间β＝[β₁,β₂,β₃,β₄]；实现对于如下输入矩阵的模拟：

X＝[x₁,x₂,x₃,x₄]＝[β₁α,β₂α,β₃α,β₄α]；

2.根据权利要求1所述一种基于光散射的灵活高维复杂矩阵运算单元，其特征在于，所述混合光采用1320nm～1270nm波段的光混合而成。

3.根据权利要求2所述一种基于光散射的灵活高维复杂矩阵运算单元，其特征在于，各CWDM波分复用单元出射波段按照CWDM单元的序列的4个波导依次对应的出射波长为：

4.根据权利要求2所述一种基于光散射的灵活高维复杂矩阵运算单元，其特征在于，所述CWDM波分复用单元是采用L-BFGS算法进行逆向优化设计得到。