CN116258624A - 基于多成像投影架构的光学张量卷积计算系统及方法 - Google Patents

Abstract

一种基于多成像投影架构的光学张量卷积计算系统及方法，包括：光学张量卷积组件和电子控制组件，光学张量卷积组件包括：光源阵列模块，对输入的光学信号加载多通道图像矩阵的信息，得到携带多通道图像信息的光学信号；成像投影模块，生成不同衍射级次的携带多通道图像信息的光学信号；信号调制模块，得到频域相乘信息；探测模块，得到光学张量卷积结果；电子控制组件包括：数据并行加载模块，用于预处理和加载多通道图像矩阵和多通道卷积核矩阵；数据并行下载模块，用于对探测模块探测到的光学信号进行后续处理；自动化控制模块。本发明有望实现光学深度神经网络并在目标识别、自动驾驶、高性能计算等实际场景中得到应用。

Description

基于多成像投影架构的光学张量卷积计算系统及方法

技术领域

本发明涉及光学计算技术领域，具体地，涉及一种基于多成像投影架构的光学张量卷积计算系统及方法。

背景技术

目前已经提出并发展了各种光计算方案，其中，基于平面光波导架构的矩阵矢量乘法器(现有技术1：Nat.Photon.11,441(2017)、现有技术2：Nature 569,208(2019)，现有技术3：Nature 589,52(2021)、现有技术4：Nature 589,44(2021))只能实现一维矢量矩阵乘法计算，其算力可拓展性严重受限于芯片制造工艺，因而该方案存在难以逾越的算力天花板。此外，基于衍射光学元件的空间衍射光学神经网络(现有技术5：Science 361,1004-1008(2018))采用级联的衍射光学器件的实现不同卷积层之间的空间互连，从原理上避免了一维向量实现高密度互连的障碍，能够充分利用光学空间互连能力。然而，该方案需要根据衍射光学的相关公式迭代计算衍射光学元件的振幅及相位才能实现指定矩阵计算，实际上造成了额外的计算量。这一定程度上制约了该方案的使用范围。最后，基于4f系统的卷积计算系统(现有技术6：Optica 7,1812-1819(2020))，由于物面和像面之间受到傅里叶变换关系的限制，因此难以实现大规模、高精度的卷积计算。中科院上海光机所基于阴影投递法提出了一种基于多成像投影架构的光学卷积计算系统，通过引入达曼光栅有望实现大规模矩阵-矩阵的光学卷积，是数学卷积过程的完美光学实现。然而，在实际卷积神经网络的应用中往往都是采用3×3、5×5、7×7的小卷积核，这很难充分发挥该方案的优势。因此，上海光机所提出了相应的矩阵重排方法来实现多通道卷积核和多通道输入图像的卷积。然而，该方法需要占用输入图像矩阵和卷积核矩阵的空间资源而降低了系统的算力。

总而言之，平面集成光学波导方案存在明显的算力天花板。目前，平面集成光学波导方案主要采用波分复用加延时的方案实现光学张量卷积计算。然而，这种方法仍然需要将卷积核展开为一维向量输入权重矩阵中，将数学上卷积的平移滑动过程转为按照时间序列依次完成，这一定程度上会限制光学卷积计算的速度。

而空间衍射光学方案虽然从原理上可以实现大规模矩阵计算，但实际中如何实现复杂电磁场精确调控的三维亚波长光学元件，尤其是在光学波段，依然面临着相当的困难；基于4f光学系统的光计算方案在频谱面对输入信号进行处理，进而利用卷积定理实现光学卷积过程。然而，该方案受制于物面和频谱面的制约关系无法进一步拓展算力；基于多成像投影架构的光学卷积方案利用分束器实现输入矩阵的复制和移位，然而在实用的卷积神经网络中其算力优势无法最大程度发挥。可以看到，基于4f光学系统可以在频谱面实现卷积核矩阵的复用，而基于多成像投影架构可以在物面实现卷积核矩阵的复用。但是，目前仍然没有可以实现在物面和频谱面同时进行输入图像矩阵和卷积核矩阵复用的光计算架构，因此，仍然没有基于空间互连光学方案实现光学张量卷积计算的光计算架构被提出。

发明内容

本发明针对现有技术中存在的上述不足与空白，提供了一种基于多成像投影架构的光学张量卷积计算系统及方法。

根据本发明的一个方面，提供了一种基于多成像投影架构的光学张量卷积计算系统，包括：光学张量卷积组件，所述光学张量卷积组件依据光路传播方向依次包括：光源阵列模块，成像投影模块、信号调制模块以及探测模块；其中：

所述光源阵列模块，用于对输入的光学信号加载多通道图像矩阵的信息，得到携带多通道图像信息的光学信号；

所述成像投影模块，用于对所述携带多通道图像信息的光学信号生成不同衍射级次的子光束，其中，每一衍射级次都携带所述多通道图像的全部信息。然后对所述不同衍射级次的子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息并输出至信号调制模块；

所述信号调制模块，用于加载多通道卷积核矩阵的频谱信息，并将所述不同衍射级次的子光束中携带的所述多通道图像矩阵的频谱信息与多通道卷积核矩阵的频谱信息进行频域乘法操作，得到多通道图像矩阵和多通道卷积核矩阵的频域相乘信息，进而得到携带所述频域相乘信息的光学信号；

所述探测模块，用于将携带频域相乘信息的光学信号进行光学傅里叶反变换得到所述多通道图像矩阵和所述多通道卷积核矩阵的光学张量卷积结果。

优选地，所述成像投影模块，包括多个分束器件，所述多个分束器件将所述携带多通道图像矩阵信息的光学信号分为若干子光束；然后，对所述子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息。其中，每一个子光束都携带了所述多通道图像矩阵的频谱信息，并且根据各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带多通道图像矩阵频谱信息的光学信号的并行平移操作；入射到所述信号调制模块的不同位置的子光束中携带的多通道图像矩阵的频谱信息分别与所述多通道卷积核矩阵的频谱信息进行像素级点乘，实现所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作。

优选地，所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作，包括：

通过成像投影模块中所述多个分束器实现所述多通道图像矩阵的复制；

对复制后的所述多通道图像矩阵进行光学傅里叶变换得到其频谱信息，并将其投射到信号调制模块的不同位置；

在调制模块的不同位置加载不同通道的卷积核矩阵的频谱信息，实现所述多通道图像矩阵频谱信息中的元素与所述多通道卷积核矩阵频谱中对应的元素点乘操作；

不同位置的光束携带着各自卷积核矩阵频谱和所述多通道图像矩阵频谱的点乘信息；

对全部位置的频域相乘信息进行光学傅里叶反变换得到多通道图像矩阵和多通道卷积核矩阵的光学张量卷积结果，其特征在于，不同位置处携带所述频域相乘信息的光学信号按照各自的衍射倾角分别入射到所述探测模块探测面的不同位置；

根据具体的神经网络结构，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，将不同通道的卷积核矩阵和所述多通道图像矩阵的光子卷积结果相加，得到不同神经网络结构的卷积后的最终结果。

优选地，所述光源阵列模块的信号加载面和所述信号调制模块的调制平面满足物像共轭关系，所述信号调制模块的调制平面和所述探测模块的探测面也满足物像共轭关系。

优选地，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，使得所述成像投影模块各衍射级次的衍射角度和所述信号调制模块中的不同通道卷积核的对应位置进行对准和匹配，进而实现所述多通道图像矩阵和所述多通道卷积核矩阵频谱信息的点乘操作。

优选地，所述系统还包括如下任意一项或任意多项：

-所述光源阵列模块采用发光元件阵列、光纤阵列或空间光调制器；

-所述成像投影模块包括傅里叶变换透镜和一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

-所述成像投影模块采用超表面分光元件或超材料分光元件；

-所述信号调制模块采用空间光调制器或光学掩模；

-所述探测模块包括傅里叶变换透镜和光接收机阵列。

优选地，所述系统还包括电子控制组件：所述电子控制组件包括数据并行加载模块、数据并行下载模块、自动化控制模块；

所述数据并行加载模块，用于对加载多通道图像矩阵和多通道卷积核矩阵进行预处理，并将预处理后的信息并行加载到所述光源阵列模块和所述信号调制模块；

所述数据并行下载模块，用于将所述探测模块探测到的光信号并行转换为电信号，并对所述电信号进行后续处理；

所述自动化控制模块，用于根据不同的算法结构实现所述光学张量卷积组件的自动调节，改变所述成像投影模块的投影平移步长以实现光学张量卷积结果的相加。

根据本发明的第二个方面，提供了一种基于多成像投影架构的光学张量卷积计算方法，其特征在于，包括：

对输入的光学信号加载所述多通道图像矩阵信息，得到携带多通道图像矩阵信息的光学信号；

对所述携带多通道图像矩阵信息的光学信号生成不同衍射级次的子光束；

对所有衍射级次的子光束进行光学傅里叶变换得到其对应的频谱信息；

在所述信号调制模块中对应于每一衍射级次子光束的位置加载各自的卷积核矩阵频谱信息，并将所述不同衍射级次的子光束携带的所述多通道图像矩阵频谱信息与所述多通道卷积核矩阵频谱信息进行点乘操作，得到所有位置处携带二者频域相乘信息的光学信号；

对携带频域相乘信息的光学信号进行光学傅里叶反变换，在所述探测模块中得到所述多通道图像矩阵和所述卷积和矩阵的光学张量卷积结果。

优选地，所述不同衍射级次的子光束以不同衍射角度传输到所述信号调制模块的不同位置，其中，每个衍射级次的光学信号均携带所述多通道图像矩阵的全部信息；

优选地，所述光源阵列模块中加载多通道图像矩阵，

其中，X₁₁为第一通道的图像矩阵，X_1m第m个通道的图像矩阵，X_n1是n×(m-1)+1个通道的图像矩阵，X_nm是第n×m个通道的图像矩阵，n、m分别为所述多通道图像矩阵中个元素的行数、列数，O是相邻排布的图像矩阵之间的零矩阵。零矩阵中包括的零元素的个数需要保证相邻排布的图像矩阵卷积后的结果不互相重叠。

将所述多通道图像矩阵进行傅里叶变换，

其中，v₁₁、v₁₂…v_nm是所述多通道图像矩阵的频谱信息，n、m分别为所述多通道图像矩阵中个元素的行数、列数。

经过所述成像投影模块中所述多个分束器实现所述多通道图像矩阵的频谱信息的复制，每个衍射级次的子光束都携带着全部频谱信息并且沿着各自的衍射方向传播至所述信号调制模块调制面的不同位置，

其中，V₁₁、V₁₂…V_kp是所述信号调制模块调制面不同位置处的多通道图像矩阵的频谱信息，下标k、p分别为所述子光束的行号和列号。

将所述多通道图像矩阵的频谱信息与所述卷积核矩阵频谱信息相乘，

其中，C ₁₁是第一个通道卷积核矩阵的频谱，C₁₂是第二个通道卷积核矩阵的频谱，C_kp是第p×(k-1)+1个通道卷积核矩阵的频谱。Y₁₁是第一个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y ₁₂是第二个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y _kp是第p×(k-1)+1个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果。

对所述多通道卷积核矩阵的频谱和所述多通道图像矩阵频谱信息的点乘结果做傅里叶反变换，

其中，y₁₁是第一个通道卷积核矩阵和多通道图像矩阵的卷积结果，y ₁₂是第二个通道卷积核矩阵和多通道图像矩阵的卷积结果，y _kp是第p×(k-1)+1个通道卷积核矩阵和多通道图像矩阵的卷积结果。

优选地，加载的所述多通道图像信息、加载的所述多通道卷积核信息以及得到的所述卷积结果矩阵信息均为模拟量，将所述卷积结果矩阵信息经过数字化处理后量化为数字结果，实现模拟光学张量卷积运算。

优选地，将待处理的高bit多通道卷积核矩阵信息和高bit多通道图像矩阵信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息；将所述低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息分别作为加载的矩阵信息，得到低bit卷积结果矩阵信息；将所述低bit卷积结果矩阵信息解码为高bit卷积结果矩阵信息，实现数字光学张量卷积运算。

优选地，所述系统可以基于任意形式的满足所述多通道图像矩阵X和所述卷积结果矩阵Y之间物像共轭关系的光学系统进行优化设计和开发；

优选地，所述基于多成像投影架构的光学张量卷积计算系统可以通过扩大容量的新型光通信技术进一步提高算力，其特征在于，光源阵列模块利用两种及两种以上不同特征的光信号同时加载两个及两个以上的多通道图像矩阵X的信息，光信号的特征包括但不限于波长、模式、偏振等，携带多个多通道图像矩阵信息的多种不同特征的光信号经过所述成像投影模块和所述信号调制模块后分别和所述多通道卷积核矩阵C的频谱信息完成点乘运算，最后所述探测模块探测得到多个多通道图像矩阵V和多通道卷积核矩阵C的卷积结果矩阵Y。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，可以以高度并行、高速、低功耗的方式完成多通道图像矩阵和多通道卷积和矩阵的光学张量卷积计算，并直接在探测模块(探测器)端面上得到卷积结果矩阵。基于本发明提供的系统及方法，可以高效地计算具有大规模并行性和足够高的准确性的任意位矩阵的张量卷积。而且，张量卷积是通用的，所获得的计算结果非常容易移植到任何其他计算平台。通过开发具有更高对比度的高速空间光调制器，优化专用投影成像系统，并配置专用的点阵光源，可以构建与电子计算机相比，具有更高计算能力和更低能耗的光学张量卷积处理器。另外，由于成像系统本身的特性，通过级联多个4f系统并采用额外的多路复用自由度，可以成倍地增加系统的计算能力，有望构造基于多成像投影架构的光学张量卷积器的混合光电高性能计算中心或数据中心。

本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，充分提高了光学张量卷积计算系统中空间光调制器的像素利用率，降低了对探测模块动态探测范围的要求，并可以进一步提高光学张量卷积系统的运算精度。相较于电子AI加速器和其他光学计算方案，本发明提供的系统及方法，可以实现通用的、任意进制的数字光学张量卷积计算，具有高速、低功耗、高度并行、高容差、大规模和可重构等特性。本发明提供的系统及方法，为数字光子张量计算奠定了研究基础，有望进一步开发基于矩阵变换、分解等操作的数字光学计算系统，算力远远超过英伟达的GPU，在深度学习及其他涉及到海量矩阵运算的领域，具有重大应用价值和良好的经济效益。

本发明提供的基于多成像投影架构的光学张量卷积计算系统及方法，是一种具有真正大规模并行性和足够高精度的光学张量卷积计算系统，将多通道图像矩阵和多通道卷积核矩阵加载到输入模块后，在光信号一次通过系统后即可以在探测模块中直接得到大规模、高精度的光学张量卷积计算结果矩阵；其中，通过引入成像投影模块实现了多通道输入图像矩阵频谱信息的复制和处理，极大地提高了系统算力。更进一步地，通过调整多通道图像矩阵和成像投影模块之间的特征距离并与分束器的衍射角进行完美匹配，可以实现各种复杂神经网络结构。本发明提供的光学张量卷积计算系统及方法，首次实现了空间互连光学系统中物面和频谱面同时复用矩阵的光计算架构，相较于以往的光计算架构，本发明解决了空间互连式光计算方案在实现小卷积核时的限制，可以充分利用系统的资源实现更高的算力。因此，本发明是真正可以在使用的深度学习模型，特别是以卷积神经网络为核心技术的目标识别、自动驾驶等实际应用场景中得到真正的应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一优选实施中基于多成像投影架构的光学张量卷积计算系统的工作原理示意图。其中，101是光源阵列模块，102是成像投影模块中的分束器，103是成像模块中的傅里叶变换，104是信号调制模块，105是探测模块中的傅里叶反变换，106是探测模块。

图2是本发明一实施例中基于多成像投影架构的光学张量卷积计算系统的架构示意图。其中，200是光学张量卷积计算部分，300是电子控制组件，201是光源阵列模块、202是成像投影模块、2021是成像投影模块中的分束器，2022是成像模块中的傅里叶变换，203是信号调制模块、204是探测模块，2401是探测模块中的傅里叶反变换，301是系统初始化，302是自动控制模块，303是信号并行加载模块，3031是预处理，3032是并行化，304是信号并行下载模块，3041是光电转换，3042是后处理。

图3是本发明一具体应用实例中基于多成像投影架构的光学张量卷积计算系统的示意图。其中，所述光学元件按照顺序：401是VCSEL光源阵列、402是达曼光栅，403是第一块傅里叶变换透镜，404是空间光调制器，405是第二块傅里叶变换透镜，406是CMOS相机。

图4是本发明一实施例中基于多成像投影架构的光学卷积计算方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明一优选实施例提供了一种基于多成像投影架构的光学张量卷积计算系统，包括：光学张量卷积组件，光学张量卷积组件包括：光源阵列模块，设置于光源阵列模块后端的成像投影模块、设置于成像投影模块后端的信号调制模块以及设置于信号调制模块后端的探测模块；其中：

光源阵列模块，用于对输入的光学信号加载多通道图像矩阵的信息，得到携带多通道图像信息的光学信号；

成像投影模块，用于对携带多通道图像信息的光学信号生成不同衍射级次的子光束，其中，每一衍射级次都携带多通道图像的全部信息。然后对不同衍射级次的子光束进行光学傅里叶变换得到多通道图像矩阵的频谱信息并输出至信号调制模块；

信号调制模块，用于加载多通道卷积核矩阵的频谱信息，并将不同衍射级次的子光束中携带的多通道图像矩阵的频谱信息与多通道卷积核矩阵的频谱信息进行频域乘法操作，得到多通道图像矩阵和多通道卷积核矩阵的频域相乘信息，进而得到携带频域相乘信息的光学信号；

探测模块，用于将携带频域相乘信息的光学信号进行光学傅里叶反变换得到多通道图像矩阵和多通道卷积核矩阵的光学张量卷积结果。

作为一优选实施例，成像投影模块，包括多个分束器件，所述多个分束器件将携带多通道图像矩阵信息的光学信号分为若干子光束；然后，子光束进行光学傅里叶变换得到多通道图像矩阵的频谱信息。其中，每一个子光束都携带了多通道图像矩阵的频谱信息，并且根据各自的衍射角度分别入射至信号调制模块的不同位置，实现携带多通道图像矩阵频谱信息的光学信号的并行平移操作；入射到信号调制模块的不同位置的子光束中携带的多通道图像矩阵的频谱信息分别与多通道卷积核矩阵的频谱信息进行像素级点乘，实现多通道图像矩阵与多通道卷积核矩阵的并行频域乘法操作。

作为一优选实施例，多通道图像矩阵与多通道卷积核矩阵的并行频域乘法操作，包括：

通过成像投影模块中多个分束器实现多通道图像矩阵的复制；

对复制后的多通道图像矩阵进行光学傅里叶变换得到其频谱信息，并将其投射到信号调制模块的不同位置；

在调制模块的不同位置加载不同通道的卷积核矩阵的频谱信息，实现多通道图像矩阵频谱信息中的元素与多通道卷积核矩阵频谱中对应的元素点乘操作；

不同位置的光束携带着各自卷积核矩阵频谱和多通道图像矩阵频谱的点乘信息；

对全部位置的频域相乘信息进行光学傅里叶反变换得到多通道图像矩阵和多通道卷积核矩阵的光学张量卷积结果，其特征在于，不同位置处携带所述频域相乘信息的光学信号按照各自的衍射倾角分别入射到探测模块探测面的不同位置。

在该优选实施例中，根据具体的神经网络结构，通过调整多个分束器的衍射倾角及成像投影模块与光源阵列模块之间的特征距离，将不同通道的卷积核矩阵和多通道图像矩阵的光子卷积结果相加，得到不同神经网络结构的卷积后的最终结果。

作为一优选实施例，光源阵列模块的信号加载面和信号调制模块的调制平面满足物像共轭关系，信号调制模块的调制平面和探测模块的探测面也满足物像共轭关系。

作为一优选实施例，通过调整多个分束器的衍射倾角及成像投影模块与光源阵列模块之间的特征距离，使得成像投影模块各衍射级次的衍射角度和信号调制模块中的不同通道卷积核的对应位置进行对准和匹配，进而实现多通道图像矩阵和多通道卷积核矩阵频谱信息的点乘操作。

作为一优选实施例，光学张量卷积计算系统还包括如下任意一项或任意多项：

作为一优选实施例，光源阵列模块采用发光元件阵列、光纤阵列或空间光调制器；

作为一优选实施例，成像投影模块包括傅里叶变换透镜和一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

作为一优选实施例，成像投影模块采用超表面分光元件或超材料分光元件；

作为一优选实施例，信号调制模块采用空间光调制器或光学掩模；

作为一优选实施例，探测模块包括傅里叶变换透镜和光接收机阵列。

作为一优选实施例，系统还包括电子控制组件：电子控制组件包括数据并行加载模块、数据并行下载模块、自动化控制模块；

数据并行加载模块，用于对加载多通道图像矩阵和多通道卷积核矩阵进行预处理，并将预处理后的信息并行加载到光源阵列模块和信号调制模块；

数据并行下载模块，用于将探测模块探测到的光信号并行转换为电信号，并对电信号进行后续处理；

自动化控制模块，用于根据不同的算法结构实现光学张量卷积组件的自动调节，改变成像投影模块的投影平移步长以实现光学张量卷积结果的相加。

作为一优选实施例，本发明还提供了一种基于多成像投影架构的光学张量卷积计算方法，其特征在于，包括：

对输入的光学信号加载多通道图像矩阵信息，得到携带多通道图像矩阵信息的光学信号；

对携带多通道图像矩阵信息的光学信号生成不同衍射级次的子光束；

对所有衍射级次的子光束进行光学傅里叶变换得到其对应的频谱信息；

在信号调制模块中对应于每一衍射级次子光束的位置加载各自的卷积核矩阵频谱信息，并将不同衍射级次的子光束携带的多通道图像矩阵频谱信息与多通道卷积核矩阵频谱信息进行点乘操作，得到所有位置处携带二者频域相乘信息的光学信号；

对携带频域相乘信息的光学信号进行光学傅里叶反变换，在探测模块中得到多通道图像矩阵和卷积和矩阵的光学张量卷积结果。

作为一优选实施例，不同衍射级次的子光束以不同衍射角度传输到信号调制模块的不同位置，其中，每个衍射级次的光学信号均携带多通道图像矩阵的全部信息；

作为一优选实施例，光源阵列模块中加载多通道图像矩阵，

其中，X₁₁为第一通道的图像矩阵，X_1m第m个通道的图像矩阵，X_n1是n×(m-1)+1个通道的图像矩阵，X_nm是第n×m个通道的图像矩阵，n、m分别为多通道图像矩阵中个元素的行数、列数，O是相邻排布的图像矩阵之间的零矩阵。零矩阵中包括的零元素的个数需要保证相邻排布的图像矩阵卷积后的结果不互相重叠。

将多通道图像矩阵进行傅里叶变换，

其中，v₁₁、v₁₂…v_nm是多通道图像矩阵的频谱信息，n、m分别为多通道图像矩阵中个元素的行数、列数。

经过成像投影模块中所述多个分束器实现多通道图像矩阵的频谱信息的复制，每个衍射级次的子光束都携带着全部频谱信息并且沿着各自的衍射方向传播至所述信号调制模块调制面的不同位置，

其中，V₁₁、V₁₂…V_kp是信号调制模块调制面不同位置处的多通道图像矩阵的频谱信息，下标k、p分别为所述子光束的行号和列号。

将多通道图像矩阵的频谱信息与卷积核矩阵频谱信息相乘，

其中，C ₁₁是第一个通道卷积核矩阵的频谱，C₁₂是第二个通道卷积核矩阵的频谱，C_kp是第p×(k-1)+1个通道卷积核矩阵的频谱。Y₁₁是第一个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y ₁₂是第二个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y _kp是第p×(k-1)+1个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果。

对多通道卷积核矩阵的频谱和所述多通道图像矩阵频谱信息的点乘结果做傅里叶反变换，

其中，y₁₁是第一个通道卷积核矩阵和多通道图像矩阵的卷积结果，y ₁₂是第二个通道卷积核矩阵和多通道图像矩阵的卷积结果，y _kp是第p×(k-1)+1个通道卷积核矩阵和多通道图像矩阵的卷积结果。

作为一优选实施例，加载的多通道图像信息、加载的多通道卷积核信息以及得到的卷积结果矩阵信息均为模拟量，将卷积结果矩阵信息经过数字化处理后量化为数字结果，实现模拟光学张量卷积运算。

作为一优选实施例，将待处理的高bit多通道卷积核矩阵信息和高bit多通道图像矩阵信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息；将低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息分别作为加载的矩阵信息，得到低bit卷积结果矩阵信息；将低bit卷积结果矩阵信息解码为高bit卷积结果矩阵信息，实现数字光学张量卷积运算。

作为一优选实施例，光源阵列模块可以是发光元件阵列，包括但不限于LED、LD、光纤阵列、垂直腔面半导体激光器阵列(VCSEL)，也可以是空间光调制器(SLM)，包括但不限于液晶空间光调制器(LCSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列。

作为一优选实施例，大规模分束器可以是分束比可以为1×3至1×128的一维达曼光栅，也可以是3×3至128×128或更大规模的二维达曼光栅，其中，通过组合达曼光栅的方法可以实现更高衍射效率、更大规模的分光效果，也可以是其他分光元件，包括但不限于衍射光学元件(DOE)、低维功能材料、超表面(metasurface)和超材料(metamaterials)等。

作为一优选实施例，信号调制模块包括但不限于各类空间光调制器(SLM)，如液晶空间光调制器(LDSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列。

作为一优选实施例，探测模块包括傅里叶变换透镜和光接收机阵列，其中，透镜用以完成频谱点乘信息的傅里叶反变换，光接收机阵列用以实现光学张量卷积信号的探测，包括但不限于CMOS、CCD及各类光电探测器阵列。

该优选实施例提供的基于多成像投影架构的光学张量卷积计算系统，可以基于任意形式的满足多通道图像矩阵和光学张量卷积结果矩阵之间物像共轭关系的光学系统进行优化设计和开发，可以是透射式光学系统，或者是折射式光学系统，也可以是反射式光学系统，可以是近轴光学系统，或者是离轴光学系统，也可以是平板式空间光学波导系统，包括但不限于单个或多个级联的4f正则信号系统、显微系统、望远系统、投影系统及以上光学系统的各种变形及组合式光学系统。

该优选实施例提供的基于多成像投影架构的光学张量卷积计算系统，可以通过扩大容量的新型光通信技术进一步提高算力，包括但不限于波分复用、模分复用、偏振复用等。

相比于目前提出的各种技术方案，本发明上述实施例提供的基于多成像投影架构的光学张量卷积计算系统及方法可以同时在物面和频谱面复用多通道输入图像矩阵和多通道卷积核矩阵，可以充分利用光学系统物面和频谱面的像素实现复杂的卷积神经网络。本发明有望在实际的应用场景中构建实用的光学张量卷积计算系统，在目标识别、自动驾驶等应用领域有重大应用价值和良好的经济效益。

下面结合附图，对本发明上述实施例提供的技术方案进一步详细描述如下。

本发明基于光学多成像投影法(OMica)原理实现光学张量卷积操作。图1是光学张量卷积计算系统的原理示意图，包括光源阵列模块101，成像投影模块中的分束器102，成像模块中的傅里叶变换103，信号调制模块104，探测模块中的傅里叶反变换105，探测模块106。其中，光源阵列模块101用来加载多通道图像矩阵的信息，信号调制模块104用来加载多通道卷积核矩阵的频谱信息，探测模块106用来探测光学张量卷积结果矩阵的信息，成像投影模块中分束器102用来实现多通道图像矩阵的复制和平移，成像投影模块中的傅里叶变换103用来实现子光束的傅里叶变换，并得到多通道图像矩阵的频谱信息。进一步地，成像投影模块中的傅里叶变换103和探测模块中的傅里叶反变换构成一对傅里叶变换关系。作为一优选实施例，该傅里叶变换关系可以由一个4f光学系统实现，多通道图像矩阵所在平面和光学张量卷积结果矩阵所在平面满足物像共轭关系，多通道卷积核矩阵所在平面和多通道图像矩阵所在平面及光学张量卷积结果矩阵分别满足傅里叶变换关系。加入成像投影模块102、103后，通过改变成像投影模块中的分束器102和光源阵列模块101的特征距离d和成像投影模块中的分束器102的衍射角度进行完美匹配，成像投影模块中的分束器102的每个衍射级次都携带卷积核矩阵B的全部信息，并且经过成像投影模块中的傅里叶变换103得到其频谱信息。然后，不同频谱分量的子光束将入射到信号模块104中的调制平面的不同位置处，并和不同位置处加载的各通道卷积核矩阵进行点乘运算。最后，经调制模块中的傅里叶反变换105对频域点乘信息进行傅里叶反变换并由探测模块中的探测器阵列输出光学张量卷积结果106。本发明提出的一种基于多成像投影架构的光学张量卷积矩阵计算系统，具备实现具有超高算力、超低功耗的新型光学计算系统的潜力。

本发明上述实施例提供的基于多成像投影架构的光学张量卷积计算系统的架构示意图，如图2所示。该架构包括光学张量卷积计算部分200，电子控制组件300，光源阵列模块201、成像投影模块202、成像投影模块中的分束器2021，成像模块中的傅里叶变换2022，信号调制模块203、探测模块204，探测模块中的傅里叶反变换2401.其中，光源阵列模块210用于加载多通道图像矩阵的信息，光源阵列模块210可以是发光元件阵列，包括但不限于LED、LD、光纤阵列、VCSEL，也可以是空间光调制器SLM，包括但不限于液晶空间光调制器、数字微镜阵列DMD、微机电系统MEMS、光纤阵列、光波导阵列；信号调制模块203用于对经过成像投影模块202后的光学信号进行调制，其中，信号调制模块203上加载多通道卷积核矩阵的频谱信息，信号调制模块203包括但不限于各类空间光调制器SLM，如液晶空间光调制器、数字微镜阵列DMD、微机电系统MEMS、光纤阵列、光波导阵列；探测模块204用于实现卷积结果的会聚求和和探测，其中，经过成像投影模块202中的分束器2021得到不同衍射级次的子光束，并通过成像投影模块202中的傅里叶变换2022得到子光束的频谱信息。通过信号调制模块203实现多通道图像矩阵的频谱和多通道卷积核矩阵频谱的点乘信息。最后通过探测模块204中的傅里叶反变换2401得到光学张量卷积结果矩阵。

电子控制组件300主要包括，系统初始化301，自动控制模块302，信号并行加载模块303，预处理3031，并行化3032，信号并行下载模块304，光电转换3041，后处理3042。其中，系统初始化301完成对系统各参数的初始化设置。自动控制模块302根据系统初始化301后的结果及具体神经网络架构完成光学张量卷积组件的成像模块的相关设置，通过调节成像投影中的分束器2021和光源阵列模块201的特征距离及更换新的分束器实现光学张量卷积结果矩阵的重合相加或分离。信号并行加载模块303将单次卷积过程所需的多通道图像矩阵及多通道卷积核矩阵加载到对应的光源阵列模块201和信号调制模块203，在加载信号以前要完成数据预处理3031和并行化3032。信号并行下载模块304实现探测模块中光学张量卷积结果矩阵的下载，首先要将光信号通过光电转换3401转化为电信号，然后进行后处理3402得到最终卷积结果。最终卷积结果根据自动控制模块302的控制信号将数据传递至信号并行加载模块303进入下一次卷积过程或作为最终卷积结果直接输出。

本发明上述实施例提供的基于多成像投影架构的光学张量卷积计算系统的一个优选的具体应用实施示意图如图3所示。光学元件按照顺序分别是：VCSEL光源阵列401、达曼光栅402，第一块傅里叶变换透镜403，空间光调制器404，第二块傅里叶变换透镜405，CMOS相机406。

光源阵列401的波长为450nm的VCSEL光源阵列，其光束排布比为526×526，光束彼此之间的间隔均为40μm，光源阵列401通过控制输入电流的开关实现光源阵列的调制，并完成对多通道图像矩阵信息的加载；

达曼光栅402分光比是1:10，周期为1mm，相邻级次衍射角为0.45mrad；

达曼光栅402放置于光源阵列401后距离d处，将经过光源阵列401加载多通道图像矩阵信息的光学信号均匀分束为10×10的阵列平行光，并经过第一块傅里叶变换透镜403进行光学傅里叶变换，在第一块傅里叶变换透镜403的后焦面上得到10×10阵列平行光的频谱信息。然后，将空间光调制器404放置于第一款傅里叶变换透镜403的后焦面上，10×10的阵列平行光入射的频谱信息入射到空间光调制器404的不同位置处，并与其上加载的不同通道的卷积核矩阵的频谱信息进行点乘运算。

第一块傅里叶透镜403的后焦面是第二块傅里叶透镜404的前焦面，第二傅里叶透镜405的后焦面为CMOS相机406所在平面。第一块傅里叶透镜403焦距为300mm，通光孔径是50mm，第二块傅里叶透镜405焦距是400mm，通光孔径是50mm；

空间光调制器404选择液晶空间光调制器，其分辨率为1920×1080，单像素大小为8μm；

空间光调制器404的单个编码元素用54×54像素表示，对应每个矩阵单元大小为432μm；

空间光调制器404通过控制面板上不同位置的透射率来实现对多通道卷积核矩阵的加载；

探测模块选择CMOS相机406，分辨率为1920×1200，单个像素大小为4.8μm，CMOS探测器接受最终光学张量卷积结果矩阵。

根据上述基于多成像投影架构的光学张量卷积系统的工作原理，以四通道3×3输入图像矩阵和四通道3×3矩阵为例对光子张量过程进行描述：

首先，四通道3×3输入图像矩阵表示为：

其傅里叶变换结果为：

四个通道卷积核矩阵分别为：

四通道图像矩阵和四个通道卷积核矩阵卷积结果为:

通过调节成像投影模块中分束器的衍射角度及成像投影模块中分束器和光源阵列模块之间的距离，可以令四个通道的光子卷积结果相加，

总而言之，与传统光学卷积方案或者目前已经提出的光学计算方案相比，本发明提出的基于多成像投影架构的光学张量卷积计算系统，实现了大规模、高精度、高并行的光学张量卷积计算。通过引入成像投影模块，有效利用分束器的衍射效应，如达曼光栅，实现了高通量的光学张量卷积计算。此外，达曼光栅的高阶可以被光阑完全过滤，而对计算结果没有任何影响。通过优化和组合具有不同分光比的达曼光栅，可以实现几乎没有能量损失的更大矩阵的高效分光。因此，矩阵元素的物理尺寸可以大大减小。最后，基于合适的数值编码算法，通过优化光学系统并使用对比度更高的SLM(包括MEMS和DMD)，可以实现更高精度和更大规模的卷积计算。

此外，如果使用包括偏振，波长和模式等提高光通信容量的高维复用方法，则至少可以实现10²到10³倍的算力提升。通过使用高性能设备(例如具有更高更新频率的大型调制器，具有更宽动态范围和更高采样频率的检测器或检测器阵列)逐步提高卷积的计算能力和能量效率，该系统提出的光学卷积计算架构可以不断提高算力和计算精度，具备良好的可拓展性，为实现大规模、高精度的光学卷积计算打开了一个新的大门。

图4为本发明一实施例提供的基于多成像投影架构的光学张量卷积计算方法流程图。

如图4所示，该实施例提供的基于多成像投影架构的光学张量卷积计算方法，可以包括如下步骤：

S100，对输入的光学信号加载多通道图像矩阵信息，得到携带多通道图像信息的光学信号；

S200，对携带多通道图像信息的光学信号进行复制和平移，生成不同衍射级次的子光束；

S300，对不同衍射级次的子光束进行傅里叶变换；

S400，加载多通道卷积核矩阵的频谱信息，并将不同衍射级次的子光束和对应通道的卷积核矩阵进行点乘操作；

S500，对频谱点乘信息进行傅里叶反变换，得到光学张量卷积结果矩阵。

作为一优选实施例，S200中，不同衍射级次的子光束以不同角度传输到信号调制模块的不同位置，其中，每个衍射级次的光学信号均携带多通道图像矩阵频谱的全部信息。

作为一优选实施例，光源阵列模块中加载多通道图像矩阵，

其中，X₁₁为第一通道的图像矩阵，X_1m第m个通道的图像矩阵，X_n1是n×(m-1)+1个通道的图像矩阵，X_nm是第n×m个通道的图像矩阵，n、m分别为多通道图像矩阵中个元素的行数、列数，O是相邻排布的图像矩阵之间的零矩阵。零矩阵中包括的零元素的个数需要保证相邻排布的图像矩阵卷积后的结果不互相重叠。

将多通道图像矩阵进行傅里叶变换，

其中，v₁₁、v₁₂…v_nm是多通道图像矩阵的频谱信息，n、m分别为多通道图像矩阵中个元素的行数、列数。

经过成像投影模块中所述多个分束器实现多通道图像矩阵的频谱信息的复制，每个衍射级次的子光束都携带着全部频谱信息并且沿着各自的衍射方向传播至所述信号调制模块调制面的不同位置，

其中，V₁₁、V₁₂…V_kp是信号调制模块调制面不同位置处的多通道图像矩阵的频谱信息，下标k、p分别为所述子光束的行号和列号。

将多通道图像矩阵的频谱信息与卷积核矩阵频谱信息相乘，

其中，C ₁₁是第一个通道卷积核矩阵的频谱，C₁₂是第二个通道卷积核矩阵的频谱，C_kp是第p×(k-1)+1个通道卷积核矩阵的频谱。Y₁₁是第一个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y ₁₂是第二个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y _kp是第p×(k-1)+1个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果。

对多通道卷积核矩阵的频谱和所述多通道图像矩阵频谱信息的点乘结果做傅里叶反变换，

其中，y₁₁是第一个通道卷积核矩阵和多通道图像矩阵的卷积结果，y ₁₂是第二个通道卷积核矩阵和多通道图像矩阵的卷积结果，y _kp是第p×(k-1)+1个通道卷积核矩阵和多通道图像矩阵的卷积结果。

作为一优选实施例，加载的多通道图像信息、加载的多通道卷积核信息以及得到的卷积结果矩阵信息均为模拟量，将卷积结果矩阵信息经过数字化处理后量化为数字结果，实现模拟光学张量卷积运算。

作为一优选实施例，将待处理的高bit多通道卷积核矩阵信息和高bit多通道图像矩阵信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息；将低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息分别作为加载的矩阵信息，得到低bit卷积结果矩阵信息；将低bit卷积结果矩阵信息解码为高bit卷积结果矩阵信息，实现数字光学张量卷积运算。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本发明上述实施例提供的基于多成像投影架构的光学卷积计算系统及方法，实现卷积核矩阵B和输入矩阵A的高并行度、高精度的卷积计算。采用本发明上述实施例提供的技术方案，只要将卷积核矩阵B和输入矩阵A加载到对应光源阵列模块和信号调制模块上，即可以在光学信号单次通过光学卷积计算系统后直接在探测模块上得到大规模、高精度的卷积运算结果矩阵C。本发明上述实施例提出的基于多成像投影架构的光学卷积计算系统及方法，可实现大规模、高精度、全并行的光计算的新技术路线，为满足人工智能、神经网络图像处理等任务对海量卷积运算的需求提供了通用的、高效的解决方案。

以上公布的基于多成像投影架构的光学卷积计算系统及方法，仅代表本发明的一种具体实施例，并不能因此而理解为对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明基本思想的前提下，还可以对本专利所提出的具体实施细节和代表性装置做出若干不具创造性的变形和改进，这些都属于本发明的保护范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的普通技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在如此详细地描述本申请的发明并且参考其优选实施例之后，将显而易见的是在不脱离在所附权利要求书中限定的本发明的范围的情况下修改和变化是可能的。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (13)

1.一种基于多成像投影架构的光学张量卷积计算系统，其特征在于，包括：光学张量卷积组件，所述光学张量卷积组件依据光路传播方向依次包括：光源阵列模块，成像投影模块、信号调制模块以及探测模块；其中：

所述光源阵列模块，用于对输入的光学信号加载多通道图像矩阵的信息，得到携带多通道图像信息的光学信号；

所述成像投影模块，用于对所述携带多通道图像信息的光学信号生成不同衍射级次的子光束，其中，每一衍射级次子光束都携带所述多通道图像的全部信息。然后对所述不同衍射级次的子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息并输出至信号调制模块；

所述信号调制模块，用于加载多通道卷积核矩阵的频谱信息，并将所述不同衍射级次的子光束中携带的所述多通道图像矩阵的频谱信息与所述多通道卷积核矩阵的频谱信息进行频域乘法操作，得到多通道图像矩阵和多通道卷积核矩阵的频域相乘信息，进而得到携带所述频域相乘信息的光学信号；

所述探测模块，用于将携带频域相乘信息的光学信号进行光学傅里叶反变换得到所述多通道图像矩阵和所述多通道卷积核矩阵的光学张量卷积结果。

2.根据权利要求1所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，所述成像投影模块，包括多个分束器件，所述多个分束器件将所述携带多通道图像矩阵信息的光学信号分为若干子光束；然后，对所述子光束进行光学傅里叶变换得到所述多通道图像矩阵的频谱信息。其中，每一个子光束都携带了所述多通道图像矩阵的频谱信息，并且根据各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带多通道图像矩阵频谱信息的光学信号的并行平移操作；入射到所述信号调制模块的不同位置的子光束中携带的多通道图像矩阵的频谱信息分别与所述多通道卷积核矩阵的频谱信息进行像素级点乘，实现所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作。

3.根据权利要求2所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，所述多通道图像矩阵与所述多通道卷积核矩阵的并行频域乘法操作，包括：

通过所述成像投影模块中所述多个分束器实现所述多通道图像矩阵的复制；

对复制后的所述多通道图像矩阵进行光学傅里叶变换得到其频谱信息，并将其投射到所述信号调制模块的不同位置；

在所述调制模块的不同位置加载不同通道的卷积核矩阵的频谱信息，实现所述多通道图像矩阵频谱信息中的元素与所述多通道卷积核矩阵频谱中对应的元素点乘操作；

不同位置的光束携带着各自卷积核矩阵频谱和所述多通道图像矩阵频谱的点乘信息；

对全部位置的频域相乘信息进行光学傅里叶反变换得到多通道图像矩阵和多通道卷积核矩阵的光学张量卷积结果，其特征在于，不同位置处携带所述频域相乘信息的光学信号按照各自的衍射倾角分别入射到所述探测模块探测面的不同位置；

根据具体的神经网络结构，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，将不同通道的卷积核矩阵和所述多通道图像矩阵的光学卷积结果相加，得到不同神经网络结构的卷积后的最终结果。

4.根据权利要求1所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，所述光源阵列模块的信号加载平面和所述信号调制模块的调制平面满足傅里叶变换关系，所述信号调制模块的调制平面和所述探测模块的探测平面也满足傅里叶变换关系。

5.根据权利要求1所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，通过调整所述多个分束器的衍射倾角及所述成像投影模块与所述光源阵列模块之间的特征距离，使得所述成像投影模块各衍射级次的衍射角度和所述信号调制模块中的不同通道卷积核的对应位置进行对准和匹配，进而实现所述多通道图像矩阵和所述多通道卷积核矩阵频谱信息的点乘操作。

6.根据权利要求1所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，所述系统还包括如下任意一项或任意多项：

-所述光源阵列模块采用发光元件阵列、光纤阵列或空间光调制器；

-所述成像投影模块包括傅里叶变换透镜和一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

-所述成像投影模块采用超表面分光元件或超材料分光元件；

-所述信号调制模块采用空间光调制器或光学掩模；

-所述探测模块包括傅里叶变换透镜和光接收机阵列。

7.根据权利要求1-6中任一项所述的基于多成像投影架构的光学张量卷积计算系统，其特征在于，还包括：电子控制组件：所述电子控制组件包括数据并行加载模块、数据并行下载模块、自动化控制模块；

所述数据并行加载模块，用于对加载多通道图像矩阵和多通道卷积核矩阵进行预处理，并将预处理后的信息并行加载到所述光源阵列模块和所述信号调制模块；

所述数据并行下载模块，用于将所述探测模块探测到的光信号并行转换为电信号，并对所述电信号进行后续处理；

所述自动化控制模块，用于根据不同的算法结构实现所述光学张量卷积组件的自动调节，改变所述成像投影模块的投影平移步长以实现光学张量卷积结果的相加。

8.一种基于多成像投影架构的光学张量卷积计算方法，其特征在于，包括：

对输入的光学信号加载所述多通道图像矩阵信息，得到携带多通道图像矩阵信息的光学信号；

对所述携带多通道图像矩阵信息的光学信号生成不同衍射级次的子光束；

对所有衍射级次的子光束进行光学傅里叶变换得到其对应的频谱信息；

在所述信号调制模块中对应于每一衍射级次子光束的位置加载各自的卷积核矩阵频谱信息，并将所述不同衍射级次的子光束携带的所述多通道图像矩阵频谱信息与所述多通道卷积核矩阵频谱信息进行点乘操作，得到所有位置处携带二者频域相乘信息的光学信号；

对携带频域相乘信息的光学信号进行光学傅里叶反变换，在所述探测模块中得到所述多通道图像矩阵和所述卷积和矩阵的光学张量卷积结果。

9.根据权利要求8所述的基于多成像投影架构的光学张量卷积计算方法，其特征在于，所述不同衍射级次的子光束以不同衍射角度传输到所述信号调制模块的不同位置，其中，每个衍射级次的光学信号均携带所述多通道图像矩阵的全部信息。

10.根据权利要求8所述的基于多成像投影架构的光学张量卷积计算方法，其特征在于，所述光源阵列模块中加载多通道图像矩阵，

其中，X₁₁为第一通道的图像矩阵，X_1m第m个通道的图像矩阵，X_n1是n×(m-1)+1个通道的图像矩阵，X_nm是第n×m个通道的图像矩阵，n、m分别为所述多通道图像矩阵中个元素的行数、列数，O是相邻排布的图像矩阵之间的零矩阵。零矩阵中包括的零元素的个数需要保证相邻排布的图像矩阵卷积后的结果不互相重叠。

将所述多通道图像矩阵进行傅里叶变换，

其中，v₁₁、v₁₂…v_nm是所述多通道图像矩阵的频谱信息，n、m分别为所述多通道图像矩阵中个元素的行数、列数。

经过所述成像投影模块中所述多个分束器实现所述多通道图像矩阵的频谱信息的复制，每个衍射级次的子光束都携带着全部频谱信息并且沿着各自的衍射方向传播至所述信号调制模块调制面的不同位置，

其中，V₁₁、V₁₂…V_kp是所述信号调制模块调制面不同位置处的多通道图像矩阵的频谱信息，下标k、p分别为所述子光束的行号和列号。

将所述多通道图像矩阵的频谱信息与所述卷积核矩阵频谱信息相乘，

其中，C ₁₁是第一个通道卷积核矩阵的频谱，C₁₂是第二个通道卷积核矩阵的频谱，C_kp是第p×(k-1)+1个通道卷积核矩阵的频谱。Y₁₁是第一个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y ₁₂是第二个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果，Y _kp是第p×(k-1)+1个通道卷积核矩阵的频谱和多通道图像矩阵频谱信息的点乘结果。

对所述多通道卷积核矩阵的频谱和所述多通道图像矩阵频谱信息的点乘结果做傅里叶反变换，

其中，y₁₁是第一个通道卷积核矩阵和多通道图像矩阵的卷积结果，y ₁₂是第二个通道卷积核矩阵和多通道图像矩阵的卷积结果，y _kp是第p×(k-1)+1个通道卷积核矩阵和多通道图像矩阵的卷积结果。

11.根据权利要求8-10中任一项所述的基于多成像投影架构的光学张量卷积计算方法，其特征在于，加载的所述多通道图像信息、加载的所述多通道卷积核信息以及得到的所述卷积结果矩阵信息均为模拟量，将所述卷积结果矩阵信息经过数字化处理后量化为数字结果，实现模拟光学张量卷积运算。

12.根据权利要求8-10中任一项所述的基于多成像投影架构的光学张量卷积计算方法，其特征在于，将待处理的高bit多通道卷积核矩阵信息和高bit多通道图像矩阵信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息；将所述低bit多通道卷积核矩阵信息和低bit多通道图像矩阵信息分别作为加载的矩阵信息，得到低bit卷积结果矩阵信息；将所述低bit卷积结果矩阵信息解码为高bit卷积结果矩阵信息，实现数字光学张量卷积运算。

13.根据权利要求8-10中任一项所述的基于多成像投影架构的光学张量卷积计算方法，其特征在于，所述基于多成像投影架构的光学张量卷积计算系统可以基于任意形式的满足所述多通道图像矩阵X和所述卷积结果矩阵Y之间物像共轭关系的光学系统进行优化设计和开发；

所述基于多成像投影架构的光学张量卷积计算系统可以通过扩大容量的新型光通信技术进一步提高算力，其特征在于，光源阵列模块利用两种及两种以上不同特征的光信号同时加载两个及两个以上的多通道图像矩阵X的信息，光信号的特征包括但不限于波长、模式、偏振等，携带多个多通道图像矩阵信息的多种不同特征的光信号经过所述成像投影模块和所述信号调制模块后分别和所述多通道卷积核矩阵C的频谱信息完成点乘运算，最后所述探测模块探测得到多个多通道图像矩阵V和多通道卷积核矩阵C的卷积结果矩阵Y。

Images