CN115237201A - 基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法 - Google Patents

Abstract

本发明提供了一种基于多成像投影架构的光学矩阵‑矩阵乘法计算系统及方法，包括：光源阵列模块，对输入的光学信号加载矩阵A的信息，得到携带矩阵A信息的光学信号；成像投影模块，携带矩阵A信息的光信号经过成像投影模块在x、y两个正交方向上分别得到具有不同位移步长和不同衍射角的子光束阵列；信号调制模块，加载矩阵B的信息，将携带矩阵A的信息的子光束与矩阵B的信息进行点乘操作，得到在不同位置的对应矩阵元素的相乘信息；探测模块，将携带矩阵相乘信息的光学信号进行会聚，实现对应角谱相乘信号的求和操作，得到矩阵‑矩阵相乘结果。相比于之前已经提出的各种光学矢量‑矩阵乘法系统，本发明可以在光域中直接实现两个大规模矩阵的乘法计算，充分利用了光学并行计算的优势，将为人工智能、数据中心、超算中心等具有海量算力需求的任务中对加速超大规模矩阵‑矩阵乘法计算提供通用的、高能效比和高度并行的新解决方法。

Description

基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法

技术领域

本发明涉及光学计算技术领域，具体地，涉及一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法。

背景技术

随着深度学习框架、模型、算法等飞速发展，为了满足深度学习对算力的严苛要求，一系列加速深度学习的硬件体系架构及加速方案得到了研究。值得注意的是，深度学习中约80％的运算为神经网络层与层之间的矩阵卷积计算。然而，目前大部分电子计算机及各类AI加速器无法直接实现矩阵卷积运算，因此，大部分深度学习框架都是在把矩阵卷积计算转换为矩阵-矩阵乘法计算后，再通过AI加速器实现矢量-矩阵乘法的加速计算，从而实现对深度学习任务的加速。因为这些AI加速器首先将矩阵卷积计算转换为矩阵-矩阵乘法，其次又按照矢量-矩阵乘法逐次实现加速计算效果，所以，这大大增加了访问内存的数据量及等待时间。这是电子AI加速器架构上的瓶颈。然而，光计算因为其天然的并行性、超快传播速度、极低功耗、无电磁干扰等优势，自2010年之后再次兴起研究热潮，并成为后摩尔时代矩阵计算的极具潜力的解决方案。

目前两种主流的光计算方案，一种是基于平面光波导架构的矢量-矩阵乘法器，主要由级联的马赫曾得干涉仪(现有技术1：Nat.Photon.11,441(2017))或者微环谐振器(现有技术2：Nature 569,208(2019)，现有技术3：Nature 589,52(2021)，现有技术4：Nature589,44(2021))组成，该技术通过调控波导折射率改变光信号的相位或者强度来调制信号完成矢量矩阵相乘功能；另外一种是基于衍射光学元件的空间衍射光学神经网络(现有技术5：Science 361,1004-1008(2018)，现有技术6：Nature Photonics 15，367-373(2021))，该系统通过3D打印技术将训练好的衍射光学层级联在一起实现矩阵-矩阵乘法神经网络的功能。其中，平面光波导架构只能实现光学矢量-矩阵乘法器，且其集成度存在明显的天花板，这将导致有限的算力，因此只能作为电子AI加速器的协处理器。而衍射光学计算方案虽然充分利用了空间光学巨大的二维并行性，然而，由于衍射的复杂关系造成的额外的计算量一定程度抵消了该系统的加速优势。除此，这种方案采用级联的衍射光学器件的实现不同矩阵-矩阵乘法层之间的空间互连，从原理上避免了向量实现高密度互连的障碍，能够充分利用光学空间互连能力。从本质上讲，这种多层级联的衍射光学元件是一种能够实现复杂电磁场精确调制的三维亚波长光学元件。然而，这种亚波长三维光学器件在实际实现上面临着巨大挑战。

事实上，空间光学计算系统因天然的二维并行特点早在上世纪八九十年代得到了广泛研究，并产生了多种具有实际价值的信号处理系统。1992年周常河等人基于阴影投递法实现了二进制光学矢量-矩阵乘法器(现有技术7：Opt.Lett.17,1800-1802(1992))。然而，该方案本质上仍然属于矩阵卷积计算架构，只是通过重排矩阵A实现了矢量-矩阵乘法器，这导致探测平面很多位置的信息属于无用信息，造成算力浪费。除此，传统的阴影投递法中矩阵A的信息直接投影到矩阵B所在平面用于实现A、B矩阵相乘，其中，矩阵A、B所在平面之间存在特征距离d₀＝Δ/(tanθ_p)，其中Δ是矩阵A、B平面的像素的实际物理尺寸，θ_p是不同衍射级次的光和z轴光轴的夹角，p＝±1，±2，…。因此，不可避免地产生由光场传播引入的衍射干扰。这意味着矩阵像素越小，衍射效果越明显，计算精度也越差。尽管通过增加矩阵像素的尺寸可以进一步减少计算结果的误差，并且较大的像素尺寸还可以减小矩阵A、B所在平面上所有像素的对齐误差，并且信噪比足够高。然而，矩阵单元越大，距离d同样越大，衍射效应的影响也越显着。因此，传统的阴影投递法的光计算架构的算力和精度之间存在严重制约，因而无法实现大规模矩阵-矩阵乘法，这严重限制了该方案的计算能力和计算精度。

总而言之，目前没有有效的可以实现大规模光学矩阵-矩阵乘法的架构和方法，平面集成光学波导方案只能执行矢量-矩阵乘法，算力存在明显的天花板，空间衍射光学方案虽然从原理上可以实现大规模矩阵计算，但实际中如何实现复杂电磁场精确调控的三维亚波长光学元件，尤其是在光学波段，依然面临无法克服的困难。

发明内容

本发明针对现有技术中存在的不足，提供一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法。

一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，其特征在于，包括：光学矩阵-矩阵相乘组件，所述光学矩阵-矩阵相乘组件依据光路传播方向依次包括：光源阵列模块、成像投影模块、信号调制模块以及探测模块；其中：

所述光源阵列模块，用于对输入的光学信号加载矩阵A的信息，得到携带矩阵A信息的光学信号；

所述成像投影模块，用于对所述携带矩阵A信息的光学信号分别在x，y两个相互正交的方向上生成具有不同位移步长和不同衍射角谱的子光束并输出至所述信号调制模块；

所述信号调制模块，用于加载矩阵B信息，并将所述不同位移步长和不同衍射角谱的子光束携带的所述矩阵A的信息与所述矩阵B信息进行乘法操作，在不同位置分别得到矩阵A的行与对应的矩阵B的列相乘后的信息，进而得到携带了所述相乘信息的光学信号；

所述探测模块，用于将携带所述相乘信息的光学信号进行会聚，实现对所述相乘信息的求和操作，得到矩阵A和矩阵B的相乘信息。

2、根据权利要求1所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，其特征在于，所述成像投影模块，包括多个分束器件，多个所述分束器件将所述携带矩阵A信息的光学信号在x，y两个相互正交方向上分别生成若干子光束并形成不同的位移步长和衍射角谱；其中，每一个子光束按照各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带矩阵A信息的光学信号的并行平移和复制操作；入射到所述信号调制模块的每一个子光束中所携带的矩阵A信息分别与所述矩阵B信息进行像素级相乘，实现所述矩阵A信息与所述矩阵B信息的并行乘法操作。

优选地，所述矩阵A信息与所述矩阵B信息的并行乘法操作，包括：

将所述矩阵A信息在x方向上进行平移复制，并控制移动步长将矩阵A的不同行或列信息重叠到相同的行或列，然后截取重叠部分，得到包含重叠信息的矩阵A’；

将所述包含重叠信息的矩阵A’在与x正交的y方向上进行平移复制，并控制移动步长使包含重叠信息的矩阵A’在y方向上完全错开，得到包含重叠信息的A”；

按照矩阵乘法运算规则将所述包含重叠信息的A”与所述矩阵B进行对准并相乘，然后对应位置得到所述包含重叠信息的矩阵A”和矩阵B信息的相乘信息；

所述相乘信息按照x和y方向不同的衍射角谱进行传播，直到相乘信息彼此完全分开。

对所述相乘信息的求和操作，包括：

将完全分开的携带矩阵A对应行或列与矩阵B列或行相乘信息的子光束按照各自的衍射角谱分别会聚到所述探测模块探测面的不同位置，实现对所述相乘信息的求和操作。

优选地，所述光源阵列模块所在平面和所述信号调制模块所在平面满足物像共轭关系。

优选地，通过调整所述成像投影模块与所述光源阵列模块之间的特征距离d与所述分束器件的分束比，使得所述光源阵列模块与所述成像投影模块各衍射级次的散射角度θx和θy进行匹配，进而调节所述矩阵A信息在x，y方向上相对于所述矩阵B的位移步长。

优选地，所述光源阵列模块和所述信号调制模块在x，y两个正交方向上形成不同位移步长的错位，使得所述矩阵A信息在x方向上将不同行或不同列的信息部分重叠到一起，然后在y方向上将重叠后的信息完全错开。

优选地，所述系统还包括如下任意一项或任意多项：

优选地，所述光源阵列模块采用发光元件阵列或空间光调制器；

优选地，所述成像投影模块包括一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

优选地，所述成像投影模块采用超表面分光元件或超材料分光元件；

优选地，所述信号调制模块采用空间光调制器；

优选地，所述探测模块包括透镜和光探测器阵列，其中，所述透镜用于对不同衍射级次的光学信号按照特定的衍射角度会聚到不同位置实施求和操作，所述光探测器阵列用于实现对所述矩阵-矩阵乘法结果矩阵C信息的探测及光电转换。

所述硬件组件包括：精密位移平台、伺服驱动电机、数据采集卡和时钟同步装置，其中，所述伺服驱动电机用于控制所述精密位移平台的移动步长，所述精密位移平台用于控制所述光学矩阵-矩阵乘法组件中所有功能模块的多维度精密调整，所述数据采集卡用于采集所述探测模块中探测到的矩阵-矩阵乘法结果矩阵信息，所述时钟同步装置用于实现光源阵列模块、信号调制模块和探测模块中加载信息的同步上传和下载；

所述控制组件包括：Labview驱动模块、C语言驱动模块和单片机控制模块，其中，所述Labview驱动模块用于提供图形化人机交互界面，所述C语言驱动模块用于定义所述硬件组件的操作指令，所述单片机控制模块根据所述C语言驱动模块定义的操作指令对所述硬件组件进行控制。

根据本发明的第二个方面，提供了一种基于多成像投影架构的光学矩阵-矩阵乘法计算方法，包括：

对输入的光学信号加载矩阵A信息，得到携带矩阵A信息的光学信号；

对所述携带矩阵A信息的光学信号在x，y两个相互正交方向上分别生成具有不同位移步长和不同衍射角谱的光学信号；

加载矩阵B信息，并将所述具有不同位移步长和不同衍射角谱的携带矩阵A信息的光学信号与所述矩阵B信息进行乘法操作，得到所述矩阵A信息和所述矩阵B信息在不同位置的对应元素的相乘信息，进而得到携带了所述相乘信息的光学信号；

将携带所述相乘信息的光学信号进行会聚，实现对所述相乘信息的求和操作，得到矩阵A和矩阵B相乘信息。

优选地，所述在x方向上不同衍射级次的光学信号以不同角度θ_x传播，并控制特征距离d使矩阵A的不同行或列信息部分重叠在相同行或列，所述在y方向上不同衍射级次的光学信号以不同角度θ_y传播，并控制特征距离d将重叠在相同行或列的矩阵A信息在y方向上完全分开，所述包含重叠信息的子光束按照各自的衍射角谱传输到矩阵B的不同位置，其中，在y方向上完全分开每个衍射级次的光学信号均携带矩阵A部分重叠在相同行或列的全部信息；

对所述矩阵A信息与所述矩阵B信息进行乘法操作，包括：

将所述矩阵A信息在x方向上进行平移复制，并控制移动步长将矩阵A的不同行或列信息重叠到相同的行或列，然后截取重叠部分，得到包含重叠信息的矩阵A’；

将所述包含重叠信息的矩阵A’在与x正交的y方向上进行平移复制，并控制移动步长使包含重叠信息的矩阵A’在y方向上完全错开，得到包含重叠信息的矩阵A”；

按照矩阵乘法运算规则将所述包含重叠信息的矩阵A”与所述矩阵B进行对准并相乘，然后得到矩阵A”和矩阵B信息的重叠的相乘信息；

所述重叠的相乘信息按照x和y方向不同的衍射角谱进行传播，直到重叠的相乘信息彼此完全分开。

对所述相乘信息进行求和操作，包括：

将完全分开的携带矩阵A对应行或列与矩阵B列或行相乘信息的子光束按照各自的衍射角谱分别会聚到所述探测模块探测面的不同位置，实现对所述相乘信息的求和操作。

优选地，将所述矩阵A信息中的元素与所述矩阵B信息中对应位置的元素相乘，包括：

对所述矩阵A信息中的元素与所述矩阵B信息中对应位置的元素进行相乘操作：

A_mn·B_nm＝C_nn；

其中，[a₁₁，a₁₂，…，a_nm]为矩阵A的元素，[b₁₁，b₁₂，…，b_nm]为矩阵B的元素，下标n，m分别为矩阵A、B和C的行数，列数；

对所述相乘信息中所述矩阵A信息中的元素与所述矩阵B信息中对应位置处相乘元素进行求和操作：

c₁₁＝[a₁₁,a₂₁,…,a_n1]×[b₁₁,b₁₂,…,b_n1],c₁₂＝[a₁₁,a₂₁,…,a_n1]×[b₁₂,b₂₂,…,b_n2],…；

c₂₁＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],c₂₂＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],…；

…,

c_n1＝[a_1m,a_2m,…,a_nm]×[b₁₁,b₁₂,…,b_n1],c_n2＝[a_1m,a_2m,…,a_nm]×[b₁₂,b₂₂,…,b_n2],…；

优选地，加载的所述矩阵A信息、加载的所述矩阵B信息以及得到的所述矩阵-矩阵乘法结果矩阵C信息均为模拟量，将所述矩阵-矩阵乘法结果矩阵C信息经过数字化处理后量化为数字结果，实现模拟光学矩阵-矩阵运算。

优选地，将待处理的高bit矩阵A信息和高bit矩阵B信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit矩阵A信息和低bit矩阵B信息；将所述低bit矩阵A信息和低bit矩阵B信息分别作为加载的矩阵信息，得到低bit矩阵-矩阵乘法结果矩阵信息；将所述低bit矩阵-矩阵乘法结果矩阵信息解码为高bit矩阵-矩阵乘法结果矩阵C信息，实现数字光学矩阵-矩阵运算。

所述基于多成像投影架构的光学矩阵-矩阵乘法计算系统可以基于任意形式的满足矩阵A和矩阵B之间物像共轭关系的光学系统进行优化设计和开发；

所述基于多成像投影架构的光学矩阵-矩阵乘法计算系统可以通过扩大容量的新型光通信技术进一步提高算力，其特征在于，光源阵列模块利用两种及两种以上不同特征的光信号同时加载两个及两个以上的矩阵A的信息，光信号的特征包括但不限于波长、模式、偏振等，携带多个矩阵-矩阵乘法信息的多种不同特征的光信号经过成像投影模块和信号调制模块后分别和矩阵B完成相乘运算，最后探测模块探测得到多个矩阵A和矩阵B的相乘结果，实现光学矩阵计算的算力的成倍提升。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

本发明提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，可以以高度并行、高速、低功耗的方式完成矩阵A和矩阵B的乘法运算，并直接在探测模块(探测器)端面上得到矩阵相乘结果矩阵C。基于本发明提供的系统及方法，可以高效地计算具有大规模并行性和足够高准确性的任意bit的模拟和数字矩阵-矩阵乘法。而且，乘法是通用的，所获得的计算结果非常容易移植到任何其他计算平台。通过开发具有更高对比度的高速空间光调制器，优化专用投影成像系统，并配置专用的点阵光源，可以构建与电子计算机相比，具有更高计算能力和更低能耗的光学矩阵-矩阵计算系统。另外，由于成像系统本身的特性，通过级联多个4F系统并采用额外的多路复用自由度，可以成倍地增加系统的计算能力，有望构造基于多成像投影架构的光学矩阵-矩阵乘法器的混合光电计算机中心或数据中心。

本发明提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，充分提高了光学矩阵-矩阵乘法计算系统中空间光调制器的像素利用率，降低了对探测模块动态探测范围的要求，并可以进一步提高光学矩阵-矩阵乘法系统的运算精度。相较于电子AI加速器和其他光学计算方案，本发明提供的系统及方法，可以实现通用的、任意进制的数字光学矩阵-矩阵乘法计算，具有高速、低功耗、高度并行、高容差、大规模和可重构等特性。本发明提供的系统及方法，为数字光计算奠定了研究基础，有望进一步开发基于矩阵变换、分解等操作的数字光学计算系统，在深度学习及其他涉及到大量矩阵运算的领域，具有重大应用价值和良好的经济效益。

本发明提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，是一种具有真正大规模并行性和足够高精度的光学矩阵-矩阵乘法计算系统，将矩阵A和矩阵B加载到输入模块后，在光信号一次通过系统后即可以在探测模块中直接得到大规模、高精度的光学矩阵乘法的计算结果矩阵C；其中，矩阵A、B所在平面满足物像共轭关系避免了传统阴影投递法中存在的衍射问题，通过引入成像投影模块，将携带矩阵A的全部信息的每一衍射级次子光束完美成像在矩阵A平面对应位置，实现并行相乘操作，通过透镜实现并行求和操作；更进一步地，通过调整矩阵A和成像投影模块之间的距离d并与分束器的衍射角θ_x和θ_y进行完美匹配，用于改变矩阵-矩阵乘法计算的参数。本发明提供的系统及方法，解决了需要计算海量大规模矩阵-矩阵乘法需求的各类应用，在大数据、人工智能、万物互联、工业4.0等涉及国民经济、国家综合国力的新兴产业中都具有重要的经济意义和发展前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实现的乘法运算原理的示意图；其中，101是矩阵A，102是矩阵B，103是矩阵C，101a是矩阵A的第一行，101b是矩阵A的第二行，101m是矩阵A的第m行，102a是矩阵B的第一列，102b是矩阵B的第二列，102m是矩阵B的第m列，103a是矩阵C的第一行，103b是矩阵C的第二行，103m是矩阵C的第m行。

图2是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统原理图；其中，201是光源阵列，202是分光器件，203是傅里叶变换透镜L₁，204是傅里叶变换透镜L₂，205是光源阵列的像面，206是空间光调制器，207是截止光阑，208是聚焦透镜L₃，209是探测器阵列。

图3是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统的光源阵列的四个实施例的示意图；其中，201A是光纤阵列，201A0是调制器，201A1是光纤，201A2是集成发光端，201B是片上集成激光器阵列，201C是VCSEL阵列，201D是LED阵列。

图4是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统的x方向分光元件的三个实施例的示意图；其中，203A是超材料和超表面，203B是衍射光学元件，203C是微镜阵列。

图5是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的与x方向正交的y方向的三个实施案例的示意图；其中，205A是超材料和超表面，205B是衍射光学元件，205C是微镜阵列。

图6是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统的信号调制模块的三个实施例的示意图；其中，209A是光纤阵列，209B是相机，209C是探测器阵列。

图7是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统的光接收机的三个实施例的示意图；其中，210A是光纤阵列，210B是相机，210C是探测器阵列。

图8是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算系统的一优选的实施例示意图；其中，3001是VCSEL阵列，3002是二维达曼光栅，3003是傅里叶变换透镜L₁，3004是傅里叶变换透镜L₂，3005是VCSEL的像面，3006是空间光调制器，3007是截止光阑，3008是聚焦透镜L₃，3009是探测器阵列，3010是控制系统，3101是矩阵A，3102是重排成一列的矢量A，3103是3个携带重排成一列的矢量A信息的子光束，在x方向上有3行信息部分重叠，且在y方向完全分开的矩阵A，3104是经过截止光阑截取后的所有重叠在一起的矩阵A，3105是矩阵B，3106是矩阵C。

图9是本发明基于多成像投影架构的光学矩阵-矩阵乘法计算方法的流程图；其中，401是根据矩阵A、B规模设计系统参数，402是根据系统原理及参数选择合适的器件搭建系统，403是根据矩阵乘法原理，重新排列矩阵A、B，尽可能提高光源模块、信号调制模块和探测模块的像素利用率，404是将矩阵A、B分别加载到光源模块和信号调制模块上，将矩阵乘法结果C采集到电脑上进行后续处理。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明一实施例提供了一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统，包括：光学矩阵-矩阵相乘组件，所述光学矩阵-矩阵相乘组件包括：光源阵列模块、设置于所述光源阵列模块后端的成像投影模块、设置于所述成像投影模块后端的信号调制模块以及设置于所述信号调制模块后端的探测模块；其中：

所述光源阵列模块，用于对输入的光学信号加载矩阵A的信息，得到携带矩阵A信息的光学信号；

所述成像投影模块，用于对所述携带矩阵A信息的光学信号分别在x，y两个相互正交的方向上生成具有不同位移步长和不同衍射角谱的子光束并输出至所述信号调制模块；

所述信号调制模块，用于加载矩阵B信息，并将所述不同位移步长和不同衍射角谱的子光束携带的所述矩阵A的信息与所述矩阵B信息进行乘法操作，在不同位置分别得到矩阵A的行与对应的矩阵B的列相乘后的信息，进而得到携带了所述相乘信息的光学信号；

所述探测模块，用于将携带所述相乘信息的光学信号进行会聚，实现对所述相乘信息的求和操作，得到所述矩阵-矩阵乘法结果矩阵C信息。

作为一优选实施例，所述成像投影模块，包括多个分束器件，多个所述分束器件将所述携带矩阵A信息的光学信号在x，y两个相互正交方向分别生成若干子光束并形成不同的位移步长和衍射角谱；其中，每一个子光束按照各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带矩阵A信息的光学信号的并行平移和复制操作；入射到所述信号调制模块的每一个子光束中所携带的矩阵A信息分别与所述矩阵B信息进行逐像素点乘，实现所述矩阵A信息与所述矩阵B信息的并行乘法操作。

作为一优选实施例，所述矩阵A信息与所述矩阵B信息的并行乘法操作，包括：

将所述矩阵A信息在x方向上进行平移复制，并控制移动步长将矩阵A的不同行或列信息重叠到相同的行或列，然后截取重叠部分的一维矢量；

将所述包含重叠信息的一维矢量在与x正交的y方向上进行平移复制，并控制移动步长使包含重叠信息的一维矢量在y方向上完全错开，得到包含重叠信息的二维矩阵；

按照矩阵乘法运算规则将所述包含重叠信息的二维矩阵与所述矩阵B进行对准，然后对应位置得到所述包含重叠信息的二维矩阵和矩阵B信息的相乘信息；

所述包含重叠信息的二维矩阵和矩阵B信息的相乘信息按照x和y方向不同的衍射角谱进行传播，直到重叠相乘信息彼此完全分开。

对所述相乘信息的求和操作，包括：

将完全分开的携带矩阵A对应行或列与矩阵B列或行相乘信息的子光束按照各自的衍射角谱分别会聚到所述探测模块探测面的不同位置，实现对所述相乘信息的求和操作。

作为一优选实施例，所述光源阵列模块所在平面和所述信号调制模块所在平面满足物像共轭关系。

作为一优选实施例，通过调整所述成像投影模块与所述光源阵列模块之间的特征距离d与所述分束器件的分束比，使得所述光源阵列模块与所述成像投影模块各衍射级次的散射角度θ_x和θ_y进行匹配，进而调节所述矩阵A信息在x，y方向上相对于所述矩阵B的位移步长。

作为一优选实施例，所述光源阵列模块和所述信号调制模块在x，y两个正交方向上形成不同位移步长的错位，使得所述矩阵A信息在x方向上将同一行或同一列的信息部分重叠到一起，然后在y方向上将重叠后的信息完全错开。

作为一优选实施例，所述系统还包括如下任意一项或任意多项：

作为一优选实施例，所述光源阵列模块采用发光元件阵列或空间光调制器；

作为一优选实施例，所述成像投影模块包括一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；

作为一优选实施例，所述成像投影模块采用超表面分光元件或超材料分光元件；

作为一优选实施例，所述信号调制模块采用空间光调制器；

作为一优选实施例，所述探测模块包括透镜和光接收机阵列，其中，所述透镜用于对不同衍射级次的光学信号按照特定的衍射角度会聚到不同位置实施求和操作，所述光接收机阵列用于实现对所述矩阵-矩阵乘法结果矩阵信息的探测。

本发明一优选实施例提供了一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统，该系统可以实现C＝A×B的高精度、大规模的乘法计算，其中A是输入矩阵A，B是输入矩阵B，C是乘法结果矩阵，×表示乘法操作，乘法操作是指矩阵A中的元素和矩阵B中对应位置的元素相乘并求和，并且矩阵A按照固定步长在矩阵B上滑动后重复执行相乘与求和操作，最终遍历全部位置后得到二者相乘后的矩阵。

该优选实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，包括光学矩阵乘法部分和电子学控制两部分，其中，光学矩阵乘法部分包括光源阵列模块、成像投影模块、信号调制模块和探测模块；电子学控制部分包括各硬件组件及控制组件。

作为一优选实施例，成像投影模块采用大规模分束器件来实现矩阵A在矩阵B上的并行复制、平移和相乘操作，其中，携带矩阵A信息的光信号经过大规模分束器后分为若干子光束，每个子光束都与矩阵A进行并行复制操作，每个子光束根据各自的衍射角度分别入射到加载矩阵A信息的信号调制模块的不同位置，这对应于并行平移操作，入射到信号调制模块不同位置的光信号由信号调制模块实现矩阵核矩阵B和矩阵A的像素级乘法，这对应于并行相乘操作，上述过程可表示为：

A_mn·B_mn＝C_nn；

其中，[a₁₁，a₁₂，…，a_nm]为矩阵A的元素，[b₁₁，b₁₂，…，b_nm]为矩阵B的元素，下标n，m分别为矩阵A、B和C的行数或列数；

对所述相乘信息中所述矩阵A信息中的元素与所述矩阵B信息中对应位置处相乘元素进行求和操作：

c₁₁＝[a₁₁,a₂₁,…,a_n1]×[b₁₁,b₁₂,…,b_n1],c₁₂＝[a₁₁,a₂₁,…,a_n1]×[b₁₂,b₂₂,…,b_n2],…

c₂₁＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],c₂₂＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],…

…,

c_n1＝[a_1m,a_2m,…,a_nm]×[b₁₁,b₁₂,…,b_n1],c_n2＝[a_1m,a_2m,…,a_nm]×[b₁₂,b₂₂,…,b_n2],…

成像投影模块置于光源阵列模块之后和信号调制模块之前，主要由大规模分束器、投影透镜组组成，大规模分束器用于实现加载矩阵A的信息的光学信号在信号调制模块上的并行平移和复制，其中，经过大规模分束器的不同衍射级次的光学信号以不同传播角度θ_x和θ_y传输到信号调制模块平面的不同位置，其中，x和y是在两个相互正交方向上衍射级次的序号，每个衍射级次的光学信号都携带矩阵A的全部信息并和信号调制模块上加载的矩阵A对应位置的信息进行相乘，大规模分束器的不同衍射级次的光信号传播到信号调制模块平面的不同位置，对应于乘法计算中矩阵A在矩阵B上的并行平移滑动和相乘操作；

信号调制模块置于成像投影模块之后和探测模块之前，信号调制模块用于对经过成像投影模块后携带矩阵A信息的不同衍射级次的光学信号进行调制，实现矩阵-矩阵乘法核B和矩阵A的相乘操作，其中，信号调制模块上加载矩阵B的信息；

探测模块置于信号调制模块之后，探测模块用于实现矩阵-矩阵乘法结果的会聚求和与探测，其中，通过探测模块中的透镜等光学元件，携带A矩阵和B矩阵在不同位置的对应元素相乘信息的光学信号按照衍射级次的倾角分量分别会聚到探测模块探测面的不同位置实现求和操作，探测模块中的透镜元件对携带A、B相乘信息的光信号进行会聚操作，对应于矩阵-矩阵乘法计算中矩阵A和矩阵B的对应元素相乘信息的求和操作。

该优选实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，可以实现模拟光学乘法运算，也可以实现数字光学乘法运算；其中：

通过光学矩阵-矩阵乘法计算系统执行模拟光学乘法运算时，矩阵A、矩阵B都是模拟量，探测模块上得到乘法结果矩阵C也是模拟量，经过数字化处理后将乘法结果矩阵C量化为数字结果；

通过光学矩阵-矩阵乘法计算系统执行高精度、大规模的数字光学乘法运算时，首先根据矩阵编码和解码算法将待处理的高bit矩阵表示为多个编码后的低bit矩阵，然后将编码后的低bit矩阵A和低bit矩阵B分别加载到光源阵列模块和信号调制模块上，当光单次通过系统后在探测模块探测面上得到低bit乘法结果矩阵C，最后将低bit乘法结果矩阵解码为高bit矩阵。

作为一优选实施例，电子学控制部分，包括硬件组件以及控制组件；其中：硬件组件包括：精密位移平台、伺服驱动电机、数据采集卡和锁相同步装置，伺服驱动电机用来控制精密位移平台的移动步长，精密位移平台用以控制光学矩阵-矩阵乘法部分中所有光学元件的多维度精密调整，数据采集卡用以高速采集探测模块中探测到的矩阵-矩阵乘法结果矩阵，锁相同步装置用来实现光源阵列模块、信号调制模块和探测模块的中加载信息的同步上传和下载；控制组件包括：Labview驱动模块、C语言驱动模块和单片机控制模块，Labview驱动模块用以完成图形化人机交互界面，C语言驱动模块用以定义硬件组件的操作指令，单片机控制模块根据C语言驱动模块定义的操作指令完成所有硬件组件的控制。

作为一优选实施例，光源阵列模块可以是发光元件阵列，包括但不限于LED、LD、光纤阵列、垂直腔面半导体激光器阵列(VCSEL)，也可以是空间光调制器(SLM)，包括但不限于液晶空间光调制器(LCSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列。

作为一优选实施例，大规模分束器可以是分束比可以为1×3至1×128的达曼光栅，也可以是3×3至128×128或更大规模的二维达曼光栅，其中，通过组合达曼光栅的方法可以实现更高衍射效率、更大规模的分光效果，也可以是其他分光元件，包括但不限于衍射光学元件(DOE)、低维功能材料、超表面(metasurface)等。

作为一优选实施例，信号调制模块包括但不限于各类空间光调制器(SLM)，如液晶空间光调制器(LDSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列。

作为一优选实施例，探测模块包括透镜和光接收机阵列，其中，透镜用以完成不同衍射级次光学信号的在不同位置的会聚求和，光接收机阵列用以实现光学矩阵-矩阵乘法信号的探测，包括但不限于CMOS、CCD及各类光电探测器阵列。

本实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，可以基于任意形式的满足矩阵A和矩阵B之间物像共轭关系的光学系统进行优化设计和开发，可以是透射式光学系统，或者是折射式光学系统，也可以是反射式光学系统，可以是近轴光学系统，或者是离轴光学系统，也可以是平板式空间光学波导系统，包括但不限于单个或多个级联的4F正则信号系统、显微系统、望远系统、投影系统及以上光学系统的各种变形及组合式光学系统。

可以通过扩大容量的新型光通信技术进一步提高算力，包括但不限于波分复用、模分复用、偏振复用等。

探测模块置于信号调制模块之后，探测模块用于实现矩阵-矩阵乘法结果的会聚求和与探测，其中，通过探测模块中的透镜等光学元件，矩阵A矩阵和矩阵B矩阵在不同位置的对应元素相乘信息的光学信号，按照衍射级次分别会聚到探测模块探测面的不同位置实现求和操作，探测模块中的透镜元件对携带A、B相乘信息的光信号进行会聚，对应于矩阵乘法计算中矩阵A和矩阵B的对应元素相乘信息的求和操作；探测模块包括透镜和光接收机阵列，其中，透镜用以完成不同衍射级次光学信号在不同位置的会聚求和，光接收机阵列用以实现光学矩阵乘法信号的探测，包括但不限于CMOS、CCD探测器。

与传统阴影投递法相比，本发明上述实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，有效利用衍射效应实现大规模的矩阵-矩阵乘法计算。这是因为矩阵A、矩阵B和探测模块所在平面彼此具有物像共轭关系。当将诸如达曼光栅之类的衍射光学元件(DOE)放在A矩阵平面的前面时，仍然可以满足各平面的物像关系，并且清晰地成像了DOE矩阵-矩阵乘法中涉及的每个衍射级次。因此，矩阵元素的物理尺寸可以大大减小。即使是商用光学成像系统，也可以轻松实现尺寸为数十μm量级的矩阵元素的高质量成像，这使得该架构具有实现具有超高计算能力和超低能耗，且具有可与手持相机媲美的高度集成的微型光学矩阵-矩阵乘法计算机的巨大潜力。此外，达曼光栅的高阶级次可以被光阑完全过滤，而对计算结果没有任何影响。此外，通过优化和组合具有高衍射效率的不同分光比的达曼光栅，可以实现几乎没有能量损失的大规模矩阵的高效分光效果。

相比于目前提出的各种技术方案，本发明上述实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，充分利用了光学二维并行性，有效解决了传统阴影投递法架构中存在的精度低、规模小等问题，具有容差性能好、高精度、大规模等优点，在未来的大数据分析、高级人工智能应用场景中，特别是以矩阵-矩阵乘法神经网络技术为核心的图像处理领域，具有重大应用价值和良好的经济效益。

下面结合附图，对本发明上述实施例提供的技术方案进一步详细描述如下。

本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，是基于成像投影法(OMica)原理实现数字光学矩阵-矩阵乘法操作。图1是本发明实现的乘法运算原理的示意图，包括矩阵A101，矩阵B102，矩阵C103，矩阵A的第一101a，矩阵A的第二行101b，矩阵A的第m行101m，矩阵B的第一列102a，矩阵B的第二列102b，矩阵B的第m列102m，矩阵C的第一行103a，矩阵C的第二行103b，矩阵C的第m行103m。

本发明实现两个矩阵A、B乘法的原理，即式C＝A×B。首先，将矩阵A按行进行拆分，这是因为矩阵乘法要求“×”左侧的矩阵A的每一行或列101a，101b，101m与“×”右侧的矩阵B的全部列或全部行102a，102b，102m分别进行对应元素相乘，即：

最后遍历所有位置，得到矩阵相乘的结果。

图2是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统原理图，包括，光源阵列201，分光器件202，傅里叶变换透镜L₁203，傅里叶变换透镜L₂204，光源阵列的像面205，空间光调制器206，截止光阑207，聚焦透镜L₃208，探测器阵列209。光源阵列201产生携带矩阵A信息的光学信号，傅里叶变换透镜L₁203和傅里叶变换透镜L₂204构成的4F成像系统在其后焦面成像205。将分光元件202置于傅里叶变换透镜L₁203前，距离光源阵列存在一个特征距离d，分光元件在x、y方向具有不同的分光比和衍射角，因此通过改变d可以令经过分光元件得到的携带矩阵A全部信息的子光束在x方向上部分重叠在一起，在与x方向正交的另外一个方向上完全分开。然后，截止光阑207截取携带所有重叠信息的光信号。将空间光调制器208放置到光源阵列的像面205处，携带所有重叠信息的光信号与空间光调制器208上加载的矩阵B信息进行像素级点乘。然后携带矩阵A和B像素级点乘信息的光信号经过聚焦透镜L₃208将不同倾角分量的光信号汇聚到探测器阵列209平面的不同位置，实现矩阵A、B矩阵像素级点乘信息的求和运算。

图3是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的光源阵列的四个具体实施案例的示意图。光纤阵列201A，调制器201A0，光纤201A1，集成发光端201A2，片上集成激光器阵列201B，VCSEL阵列201C，LED阵列201D。其中，光纤阵列201A包括调制器201A0、光纤201A1及集成发光端201A2三部分，调制器主要用来对光源信号进行调制，即加载信息，光纤用来传输加载信息的光信号，集成发光端将所有光纤按照固定间距进行集成和封装，形成二维发光阵列。片上集成激光器阵列可以通过量子阱级联激光器、微环谐振光频梳、量子点激光器、DFB激光器等技术直接对光源输出信号进行调制，或者采用马赫曾德干涉仪、光子晶体、微环谐振腔等实现对光信号的调制。VCSEL阵列即端面垂直发射激光器，每一个通道输出的光信号均可以单独控制。LED阵列主要包括OLED、μLED、MiniLED等LED光源，每一个通道输出的光信号均可以单独控制。

图4是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的x方向分光元件的三个具体实施案例的示意图。超材料和超表面203A，衍射光学元件203B，微镜阵列203C。其中，超材料和超表面203A可以通过设计微结构调制使光信号的特征参数进行调节，从而使具有不同特征参数的光信号携带相同的光源信息。衍射光学元件203B通过叠加不同的相位信息使不同角谱的光信号携带相同的光源信息。微镜阵列203C通过不同方向的微反射镜使携带相同光源信息的光信号以不同的倾角分量传播。

图5是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的与x方向正交的y方向的三个具体实施案例的示意图。超材料和超表面205A，衍射光学元件205B，微镜阵列205C。其中，超材料和超表面205A可以通过设计微结构调制使光信号的特征参数进行调节，从而使具有不同特征参数的光信号携带相同的光源信息。衍射光学元件205B通过叠加不同的相位信息使不同角谱的光信号携带相同的光源信息。微镜阵列205C通过不同方向的微反射镜使携带相同光源信息的光信号以不同的倾角分量传播。

图6是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的信号调制模块的三个具体实施案例的示意图。液晶空间光调制器209A，微镜阵列209B，微机械阵列209C。其中，液晶空间光调制器调制速度为60Hz，速度较慢，且对比度较低。微镜阵列和微机械阵列调制速度更高，可到KHz。三者对携带矩阵A信息的光信号进行调制，即加载矩阵B的信息，当光通过空间光调制器实现矩阵A和矩阵B的像素级点乘。

图7是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的光接收机的三个具体实施案例的示意图。光纤阵列210A，相机210B，探测器阵列210C。其中，光纤阵列210A包括集成接受端210A2和光纤210A1，集成接收端用于接收携带矩阵A和矩阵B的点乘信息的光信号，并将采集到的信号传送至后面的探测器中转换为电信号。相机主要包括CCD、CMOS，可以实现完整信息的采集，但采集速度小于100帧/s。探测器阵列的尺寸较大，难以集成到一起。

本发明上述实施例提供的一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其矩阵-矩阵乘法过程的具体光学实现方法表述如下：

图8是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统的一优选的具体实施案例示意图。其中，VCSEL阵列3001，二维达曼光栅3002，傅里叶变换透镜L₁3003，傅里叶变换透镜L₂3004，VCSEL的像面3005，空间光调制器3006，截止光阑3007，聚焦透镜L₃3008，探测器阵列3009，控制系统3010，矩阵A3101，重排成一列的矢量A3102，3个携带重排成一列的矢量A信息的子光束3103，在x方向上有3行信息部分重叠，且在y方向完全分开的矩阵A，经过截止光阑截取后的所有重叠在一起的矩阵A3104，矩阵B3105，矩阵C3106。

其中，VCSEL阵列3001的波长为808nm，像素间距为250μm，像素大小为10μm，阵列数为128*128，总功率为6W。首先，将矩阵A加载到VCSEL3001上，矩阵A3101的大小为3×3，重排后的矩阵为9×13102。

VCSEL阵列3001经过傅里叶变换透镜L₁3003和傅里叶变换透镜L₂3004成像到其后焦面3005。

二维达曼光栅3002置于距离VCSEL阵列3001成像面前104mm处，x方向的达曼光栅阵列数为1×14，周期是112μm。Y方向的达曼光栅阵列数为1×14，周期是112*8μm。

傅里叶变换透镜L₁3003和傅里叶变换透镜L₂3004焦距为400mm。从VCSEL阵列发出的光信号携带矩阵A信息，经过分光元件后的子光束在x方向上形成错位，并将不同列的信息重叠到同一列3103。同时，在y方向上这些重部分重叠到一起的光信号完全分开，因此，得到了三列携带重叠信息的子光束信号3103。

截止光阑3007的间距为0.75mm，用以截取三列携带重叠信息的子光束信号3103。截取后的子光束光信号按照各自衍射角度向前传播至空间光调制器调制面上3006，并被加载到空间光调制器上的B矩阵3104信息二次调制，实现矩阵A和矩阵B对应位置像素级的点乘运算。

携带矩阵A、B点乘信息的光信号经过透镜L₃3008，其焦距为150mm，传播到光电探测器阵列平面3009的不同位置处得到矩阵C3106，实现矩阵A、B信息的求和运算。

电子控制部分3010主要包含自硬件系统和软件控制系统，其中硬件系统包括运算单元、数据采集卡、锁相同步装置，软件系统包括Labview驱动、C语言驱动、单片机控制软件，硬件系统可以实现数据加载、同步、采集、数模/模数转换及光电转换等过程，软件系统可以实现上述硬件的自动化控制和实验结果的实时显示和处理。电子控制部分3011将矩阵A3102和矩阵B3104加载到对应的VCSEL模块3001和空间光调制器3006上，并控制成像投影模块3002、3003、3004、3005和特征距离d和达曼光栅3002在x、y方向的不同衍射角谱进行匹配，当光信号单次通过该系统后直接在探测模块3009中得到A、B矩阵-矩阵乘法结果矩阵C3106，然后将该结果采集到电脑中进行处理并将正确解码矩阵-矩阵乘法结果输出，即完成了一次光学矩阵-矩阵乘法计算。

图9是本发明提出的基于多成像投影架构的光学矩阵-矩阵乘法计算方法的流程图。根据矩阵A、B规模设计系统参数401，根据系统原理及参数选择合适的器件搭建系统402，根据矩阵乘法原理403重排A、B矩阵，将矩阵A、B分别加载到光源模块和信号调制模块404，将矩阵乘法结果C采集到电脑上进行后续进一步处理和分析。基于多成像投影架构的光学矩阵-矩阵乘法计算方法的流程如下，(1)根据矩阵A、B规模计算系统参数，包括x方向的达曼光栅距离矩阵A的成像平面的特征距离d1，y方向的达曼光栅距离矩阵A的成像平面的特征距离的d2，截至光栅的间距，达曼光栅的周期；(2)根据计算得到的参数制作达曼光栅。并选择相应的光电设备搭建系统；(3)根据附图1所示的矩阵乘法原理，重排A、B矩阵，(4)将重排后的矩阵A、B分别加载到光源模块和信号调制模块上，当光一次通过系统后即可在探测器平面上得到乘法结果矩阵C，(5)将乘法结果矩阵C采集到电脑上并根据编码、解码算法进行后续处理。

在本发明部分实施例中：

该基于多成像投影架构的光学矩阵-矩阵乘法计算系统可以实现C＝A×B的高精度、大规模的矩阵-矩阵乘法计算，其中A是矩阵A，B是矩阵B，C是矩阵-矩阵乘法结果矩阵，×表示矩阵-矩阵乘法操作，矩阵-矩阵乘法操作是指矩阵A中的元素和矩阵B中对应位置的元素相乘并求和，并且矩阵-矩阵乘法核按照固定步长在另一矩阵上滑动后重复执行相乘与求和操作，最终遍历全部位置得到二者矩阵-矩阵乘法后的矩阵。

光源阵列模块置于成像投影模块之前，光源阵列模块用于加载矩阵A的信息。

成像投影模块置于光源阵列模块之后和信号调制模块之前，成像投影模块用于实现加载矩阵A的信息的光学信号，在信号调制模块上的平移和复制，其中，经过成像投影模块在x、y方向上的不同衍射级次的光学信号，以不同角度θ_x(p)和θ_y(p)传输到信号调制模块平面的不同位置，其中，x(p)、y(p)是衍射级次的序号，每个衍射级次的光学信号都携带矩阵A的全部信息，并和信号调制模块上加载的矩阵B对应位置的信息进行相乘，成像投影模块的不同衍射级次的光信号，传播到信号调制模块平面的不同位置，对应于矩阵-矩阵乘法计算中矩阵A在矩阵B上的平移滑动和相乘操作。

信号调制模块置于成像投影模块之后和探测模块之前，信号调制模块用于对经过成像投影模块后携带矩阵A信息的不同衍射级次的光学信号进行调制，其中，信号调制模块上加载矩阵B的信息；探测模块置于信号调制模块之后，探测模块用于实现矩阵-矩阵乘法结果的会聚求和与探测，其中，通过探测模块中的透镜等光学元件，B矩阵和A矩阵在不同位置的对应元素相乘信息的光学信号，按照衍射级次的倾角分量分别会聚到探测模块探测面的不同位置实现求和操作，探测模块中的透镜元件对携带A、B相乘信息的光信号进行会聚，对应于矩阵-矩阵乘法计算中矩阵A和矩阵B的对应元素相乘信息的求和操作。

该基于多成像投影架构的光学矩阵-矩阵乘法计算系统，可实现模拟矩阵-矩阵乘法运算，也可以数字矩阵-矩阵乘法运算；通过基于多成像投影架构的光学矩阵-矩阵乘法计算系统执行模拟矩阵-矩阵乘法计算时，矩阵A、矩阵B都是模拟量，探测模块上得到矩阵-矩阵乘法结果矩阵C也是模拟量，经过数字化处理后将矩阵-矩阵乘法结果矩阵C量化为数字结果；通过基于多成像投影架构的光学矩阵-矩阵乘法计算系统可以直接执行高精度、大规模的数字光学矩阵-矩阵乘法计算时，根据矩阵编码和解码算法将待处理的高bit矩阵表示为多个编码后的低bit矩阵，然后将编码后的低bit矩阵A和低bit矩阵B分别加载到光源阵列模块和信号调制模块上，当光单次通过系统后在探测模块探测面上得到低bit矩阵-矩阵乘法结果矩阵C，最后将低bit矩阵-矩阵乘法结果矩阵解码为高bit矩阵。

在电子学控制组件部分，包含硬件组件和控制组件，其中硬件组件包括精密位移平台、伺服驱动电机、数据采集卡、锁相同步装置，控制组件包括Labview驱动模块、C语言驱动模块、单片机控制模块，硬件组件可以实现数据加载、同步、采集、数模/模数转换及光电转换等过程，控制组件可以实现上述硬件组件的自动化控制和实验结果的实时显示和处理。

光源阵列模块可以是发光元件阵列，包括但不限于LED、LD、光纤阵列、垂直腔面半导体激光器阵列(VCSEL)，也可以是空间光调制器(SLM)，包括但不限于液晶空间光调制器(LCSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列。

成像投影模块可以是分束比为1×3至1×128的达曼光栅，也可以是3×3至128×128或更大规模的二维达曼光栅，其中，通过组合达曼光栅的方法可以实现更高衍射效率、更大规模的分光效果，也可以是其他分光元件，包括但不限于衍射光学元件(DOE)、超表面(metasurface)和超材料(metamaterials)等；

信号调制模块包括但不限于各类空间光调制器(SLM)，如液晶空间光调制器(LDSLM)、数字微镜阵列(DMD)、微机电系统(MEMS)、光纤阵列、光波导阵列；

探测模块包括至少一个透镜和光接收机阵列，其中，透镜用以完成不同衍射级次光学信号，在不同位置的会聚求和，光接收机阵列用以实现光学矩阵-矩阵乘法信号的探测，包括但不限于CMOS、CCD探测器。

本发明上述实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，可以基于任意形式的满足矩阵A和矩阵B之间物像共轭关系的光学系统，进行优化设计和开发，可以是透射式光学系统，或者是折射式光学系统，也可以是反射式光学系统，可以是近轴光学系统，或者是离轴光学系统，也可以是平板式空间光学波导系统，包括但不限于单个或多个级联的4F正则信号系统、显微系统、望远系统、投影系统及以上系统的各种变形及组合式光学系统。

本发明上述实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，可以通过扩大容量的新型光通信技术进一步提高算力，包括但不限于波分复用、模分复用、偏分复用等。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本发明上述实施例提供的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，实现矩阵A和矩阵B的高并行度、高精度的矩阵-矩阵乘法计算。采用本发明上述实施例提供的技术方案，只要将矩阵A和矩阵B加载到对应光源阵列模块和信号调制模块上，即可以在光学信号单次通过光学矩阵-矩阵乘法计算系统后直接在探测模块上得到大规模、高精度的矩阵-矩阵乘法运算结果矩阵C。本发明上述实施例提出的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，可实现大规模、高精度、全并行的光计算的新技术路线，为满足人工智能、神经网络图像处理等任务对海量矩阵-矩阵乘法运算的需求提供了通用的、高效的解决方案。

以上公布的基于多成像投影架构的光学矩阵-矩阵乘法计算系统及方法，仅代表本发明的一种具体实施例，并不能因此而理解为对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明基本思想的前提下，还可以对本专利所提出的具体实施细节和代表性装置做出若干不具创造性的变形和改进，这些都属于本发明的保护范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的普通技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在如此详细地描述本申请的发明并且参考其优选实施例之后，将显而易见的是在不脱离在所附权利要求书中限定的本发明的范围的情况下修改和变化是可能的。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (13)

1.一种基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，包括：光学矩阵-矩阵相乘组件，所述光学矩阵-矩阵相乘组件依据光路传播方向依次包括：光源阵列模块、成像投影模块、信号调制模块以及探测模块；其中：

所述光源阵列模块，用于对输入的光学信号加载矩阵A的信息，得到携带矩阵A信息的光学信号；

所述成像投影模块，用于对所述携带矩阵A信息的光学信号分别在x，y两个相互正交的方向上生成具有不同位移步长和不同衍射角谱的子光束，并输出至所述信号调制模块；

所述信号调制模块，用于加载矩阵B信息，并将所述不同位移步长和不同衍射角谱的子光束携带的所述矩阵A的信息与所述矩阵B信息进行并行乘法操作，在不同位置分别得到矩阵A的行与对应的矩阵B的列相乘后的信息，进而得到携带了所述相乘信息的光学信号；

所述探测模块，用于将携带所述相乘信息的光学信号进行会聚，实现对所述相乘信息的求和操作，得到矩阵A和矩阵B的相乘信息。

2.根据权利要求1所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，所述成像投影模块，包括多个分束器件，多个所述分束器件将所述携带矩阵A信息的光学信号在x，y两个相互正交方向上分别生成若干子光束并形成不同的位移步长和衍射角谱；其中，每一个子光束按照各自的衍射角度分别入射至所述信号调制模块的不同位置，实现所述携带矩阵A信息的光学信号的并行平移和复制操作；入射到所述信号调制模块的每一个子光束中所携带矩阵A信息分别与所述矩阵B信息进行像素级相乘，实现所述矩阵A信息与所述矩阵B信息的并行乘法操作。

3.根据权利要求2所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，所述矩阵A信息与所述矩阵B信息的并行乘法操作，包括：对所述矩阵A信息与所述矩阵B信息进行乘法操作，以及对相乘信息的求和操作；其中，所述对所述矩阵A信息与所述矩阵B信息进行乘法操作，包括：

将所述矩阵A信息在x方向上进行平移复制，并控制移动步长将矩阵A的不同行或列信息重叠到相同的行或列，然后截取重叠部分，得到包含重叠信息的矩阵A’；

将所述包含重叠信息的矩阵A’在与x正交的y方向上进行平移复制，并控制移动步长使包含重叠信息的矩阵A’在y方向上完全错开，得到包含重叠信息的A”；

按照矩阵乘法运算规则将所述包含重叠信息的A”与所述矩阵B进行对准并相乘，然后对应位置得到所述包含重叠信息的矩阵A”和矩阵B信息的相乘信息；

所述相乘信息按照x和y方向不同的衍射角谱进行传播，直到相乘信息彼此完全分开；

对相乘信息的求和操作，包括：

将完全分开的携带矩阵A对应行或列与矩阵B列或行相乘信息的子光束按照各自的衍射角谱分别会聚到所述探测模块探测面的不同位置，实现对所述相乘信息的求和操作。

4.根据权利要求1所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，所述光源阵列模块所在平面和所述信号调制模块所在平面满足物像共轭关系。

5.根据权利要求2所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，通过调整所述成像投影模块与所述光源阵列模块之间的特征距离d与所述分束器件的分束比，使得所述光源阵列模块与所述成像投影模块各衍射级次的散射角度θ_x和θ_y进行匹配，进而调节所述矩阵A信息在x，y方向上相对于所述矩阵B的位移步长。

6.根据权利要求1所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，所述光源阵列模块和所述信号调制模块在x，y两个正交方向上形成不同位移步长的错位，使得所述矩阵A信息在x方向上将不同行或不同列的信息部分重叠到一起，然后在与x正交的y方向上将重叠后的信息完全错开。

7.根据权利要求1所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，所述系统还包括如下任意一项或任意多项：

-所述光源阵列模块采用发光元件阵列或空间光调制器；

-所述成像投影模块包括一个或多个达曼光栅，所述达曼光栅采用一维达曼光栅或二维达曼光栅；采用超表面分光元件或超材料分光元件；

-所述信号调制模块采用空间光调制器；

-所述探测模块包括透镜和光探测器阵列，其中，所述透镜用于对不同衍射级次的光学信号按照特定的衍射角度会聚到不同位置实施求和操作，所述光探测器阵列用于实现对所述矩阵-矩阵乘法结果矩阵C信息的探测及光电转换。

8.根据权利要求1-7中任一项所述的基于多成像投影架构的光学矩阵-矩阵乘法计算系统，其特征在于，还包括：电子学控制组件；

所述电子学控制组件包括硬件组件和控制组件；其中：

所述硬件组件包括：精密位移平台、伺服驱动电机、数据采集卡和时钟同步装置，其中，所述伺服驱动电机用于控制所述精密位移平台的移动步长，所述精密位移平台用于控制所述光学矩阵-矩阵乘法组件中所有功能模块的多维度精密调整，所述数据采集卡用于采集所述探测模块中探测到的矩阵-矩阵乘法结果矩阵信息，所述时钟同步装置用于实现光源阵列模块、信号调制模块和探测模块中加载信息的同步上传和下载；

所述控制组件包括：Labview驱动模块、C语言驱动模块和单片机控制模块，其中，所述Labview驱动模块用于提供图形化人机交互界面，所述C语言驱动模块用于定义所述硬件组件的操作指令，所述单片机控制模块根据所述C语言驱动模块定义的操作指令对所述硬件组件进行控制。

9.一种基于多成像投影架构的光学矩阵-矩阵乘法计算方法，其特征在于，包括：

对输入的光学信号加载矩阵A信息，得到携带矩阵A信息的光学信号；

对所述携带矩阵A信息的光学信号在x，y两个相互正交方向上分别生成具有不同位移步长和不同衍射角谱的光学信号；

加载矩阵B信息，并将所述具有不同位移步长和不同衍射角谱的携带矩阵A信息的光学信号与所述矩阵B信息进行乘法操作，得到所述矩阵A信息和所述矩阵B信息在不同位置的对应元素的相乘信息，进而得到携带了所述相乘信息的光学信号；

将携带所述相乘信息的光学信号进行会聚，实现对所述相乘信息的求和操作，得到矩阵A和矩阵B相乘信息。

10.根据权利要求9所述的基于多成像投影架构的光学矩阵-矩阵乘法计算方法，其特征在于，所述在x方向上不同衍射级次的光学信号以不同角度θ_x传播，并控制特征距离d使矩阵A的不同行或列信息部分重叠在相同行或列，所述在y方向上不同衍射级次的光学信号以不同角度θ_y传播，并控制特征距离d将重叠在相同行或列的矩阵A信息在y方向上完全分开，所述包含重叠信息的子光束按照各自的衍射角谱传输到矩阵B的不同位置，其中，在y方向上完全分开每个衍射级次的光学信号均携带矩阵A部分重叠在相同行或列的全部信息；

对所述矩阵A信息与所述矩阵B信息进行乘法操作，包括：

将所述矩阵A信息在x方向上进行平移复制，并控制移动步长将矩阵A的不同行或列信息重叠到相同的行或列，然后截取重叠部分，得到包含重叠信息的矩阵A’；

将所述包含重叠信息的矩阵A’在与x正交的y方向上进行平移复制，并控制移动步长使包含重叠信息的矩阵A’在y方向上完全错开，得到包含重叠信息的矩阵A”；

按照矩阵乘法运算规则将所述包含重叠信息的矩阵A”与所述矩阵B进行对准并相乘，然后得到矩阵A”和矩阵B信息的重叠的相乘信息；

所述重叠的相乘信息按照x和y方向不同的衍射角谱进行传播，直到重叠的相乘信息彼此完全分开；

对所述相乘信息进行求和操作，包括：

将完全分开的携带矩阵A对应行或列与矩阵B列或行相乘信息的子光束按照各自的衍射角谱分别会聚到所述探测模块探测面的不同位置，实现对所述相乘信息的求和操作。

11.根据权利要求10所述的基于多成像投影架构的光学矩阵-矩阵乘法计算方法，其特征在于，将所述矩阵A信息中的元素与所述矩阵B信息中对应位置的元素并行乘法，包括：

对所述矩阵A信息中的元素与所述矩阵B信息中对应位置的元素进行相乘操作：

A_mn·B_nm＝C_nn；

其中，[a₁₁，a₁₂，…，a_nm]为矩阵A的元素，[b₁₁，b₁₂，…，b_nm]为矩阵B的元素，下标n，m分别为矩阵A、B和C的行数和列数；

对所述相乘信息中所述矩阵A信息中的元素与所述矩阵B信息中对应位置处相乘元素进行求和操作：

c₁₁＝[a₁₁,a₂₁,…,a_n1]×[b₁₁,b₁₂,…,b_n1],c₁₂＝[a₁₁,a₂₁,…,a_n1]×[b₁₂,b₂₂,…,b_n2],…；

c₂₁＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],c₂₂＝[a₂₁,a₂₂,…,a_n2]×[b₁₂,b₂₂,…,b_n2],…；

…,

c_n1＝[a_1m,a_2m,…,a_nm]×[b₁₁,b₁₂,…,b_n1],c_n2＝[a_1m,a_2m,…,a_nm]×[b₁₂,b₂₂,…,b_n2],…。

12.根据权利要求9-11中任一项所述的基于多成像投影架构的光学矩阵-矩阵乘法计算方法，其特征在于，所述加载的所述矩阵A信息、加载的所述矩阵B信息以及得到的所述矩阵-矩阵乘法结果矩阵C信息均为模拟量，将所述矩阵-矩阵乘法结果矩阵C信息经过数字化处理后量化为数字结果，实现模拟光学矩阵-矩阵运算。

13.根据权利要求9-11中任一项所述的基于多成像投影架构的光学矩阵-矩阵乘法计算方法，其特征在于，将待处理的高bit矩阵A信息和高bit矩阵B信息分别表示为多个编码后的低bit矩阵，得到编码后的低bit矩阵A信息和低bit矩阵B信息；将所述低bit矩阵A信息和低bit矩阵B信息分别作为加载的矩阵信息，得到低bit矩阵-矩阵乘法结果矩阵信息；将所述低bit矩阵-矩阵乘法结果矩阵信息解码为高bit矩阵-矩阵乘法结果矩阵C信息，实现数字光学矩阵-矩阵运算。

Images