CN113630517B

CN113630517B - 光电感算一体光场智能成像方法及装置

Info

Publication number: CN113630517B
Application number: CN202111168889.0A
Authority: CN
Inventors: 方璐; 王勇; 袁肖赟; 周天贶; 戴琼海
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-10-08
Filing date: 2021-10-08
Publication date: 2022-01-25
Anticipated expiration: 2041-10-08
Also published as: CN113630517A; US11425292B1

Abstract

本申请提出一种光电感算一体光场智能成像方法和装置，其中，方法包括：待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算，并通过设计模拟电路实现简单的电计算，不需要额外的模数转换和存储环节，避免了光电转换过程造成的信息损失，从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

Description

光电感算一体光场智能成像方法及装置

技术领域

本发明涉及光场视觉处理技术领域，特别涉及一种光电感算一体光场智能成像方法及装置。

背景技术

近年来，深度神经网络的发展为光场视觉处理领域带来了很大的进步，已在很多任务中落地，如光场图像识别、对象分割等。在实际系统中，为了运行基于深度神经网络的人工智能算法，需要特定的硬件设备，如图形处理器（GPU）、嵌入式神经网络处理器（NPU）和FPGA等，但这些设备都面临着以下的问题。1）比如，GPU的高能耗高带宽使得其不合适部署在边缘计算智能终端（如商用相机、自动驾驶汽车）上；2）对于NPU、FPGA等嵌入式设备硬件，设备算力和功耗都受到固有的限制，无法满足诸如自动驾驶、实时监控等需要大量计算资源和较高计算功耗的实时视觉任务；3）摩尔定律失效，传统硅基计算芯片算力发展变缓，难以跟上人工智能算法的需求。针对这一问题，研究人员提出利用光来实现神经网络的计算，也称为光计算。当前较主流的一些方案包括，利用相干光在自由空间或波导中的传播模拟人工神经网络（ANN），如深度衍射神经网络（D2NN）、波导芯片等；利用光脉冲致相变材料晶态的改变模拟卷积神经网络（CNN）和脉冲神经网络（SNN）等。光计算可以克服目前主流电子计算的固有局限性，具有高速度、高并行性、高计算吞吐量、低能耗等优势，通过光计算实现神经网络算法成为了当前国际上的一个研究热点。此外，光计算可以直接利用待成像物体或场景发出的光信号来进行计算，因而可避免现有感算分离方案中图像传感器的光电转换和模数转换造成的有效信息丢失与处理速度受限的缺陷。

神经网络中的非线性运算对提升网络的性能至关重要，而目前基于纯光学实现非线性运算的技术还不成熟，所以将光计算和电子计算结合起来是当前技术体系下的主流操作，称为光电计算。在光电计算中，光计算与电计算优势互补，大部分计算内容由光计算承担，电计算完成目前光学技术难以实现的操作，从而在性能提升和实现难度之间进行了折衷。

目前的光电计算主要有基于波导技术和空间光传播两种途径。基于波导的技术中，可通过56个马赫-曾德尔干涉仪（Mach–Zehnder interferometer）的级联阵列完成4种元音声波信号的分类，或基于相变材料在光照下从晶态切换为非晶态的特性实现简单的脉冲神经网络。

基于空间光传播的方法中，光被不同种类的元器件调制，如薄透镜、相位掩膜、空间光调制器等，以完成不同种类的运算。空间光方法中较为重要的一类方法为深度衍射神经网络，其中相干光（激光）在空间中自由传播衍射一段距离后通过一相位掩膜（phasemask），各点的相位会产生不同的延迟，然后再自由传播衍射一段距离，以此类推。深度衍射神经网络中的各层相位掩膜参数可通过物理仿真优化得出，从而完成特定的人工智能任务，如手写数字分类，简单图片分类等。深度衍射神经网络是纯光学计算，可搭配简单的电学计算和光电转换的物理过程中固有的平方非线性关系形成更高级的光电计算方案，从而提升分类准确率。

在光场智能成像方面，一些计算成像技术通过单个光学层（光学元件或光学单元）完成预处理或信息编码步骤，例如在成像镜头或图像传感器之前放置一个固定的相位掩模或散射片等，使得拍摄场景先由光学层调制，然后由图像传感器记录信号强度，最后由算法计算处理得到拍摄场景信息，形成光学编码-电子解码的结构。光学层中的元件参数和后端解码算法可通过联合优化得到，以执行特定的视觉任务。例如，可通过特定的相位掩模扩展成像系统的点扩散函数（point spread function），使得在某些区域像素处过度曝光的信号扩散到其相邻的像素区域，再通过后端算法从相邻的像素区域中恢复出过度曝光区域的信息，从而避免了信息的丢失并实现高动态范围成像。再如，可利用光学中常见的4f系统完成卷积操作，输入的场景通过一个4f单元可视作对输入的场景进行一次卷积运算，从而可从输入图像中提取特征，然后后端通过神经网络进行其他的运算操作。

综上，传统技术有以下缺点：

1）目前的光电计算技术中，基于波导技术的方案加工工艺复杂，所需元件数与任务维度为平方增长关系，较复杂的任务对应过多的元件，导致加工造价过高，同时噪声和串扰也随着元件增多而越发严重，很难应用在复杂的任务中。基于空间光传播的方案基本均使用相干光（激光），而人类生活中的绝大部分光源都为非相干光，使用相干光做光电计算需要额外提供光源，不利于部署在边缘计算设备中。

2）目前的光场智能成像研究中，来自待成像场景或物体的光信号只经过单个光学层完成信息编码或调制，后端所有的计算和重建任务都通过电子计算（通常为神经网络）完成，所需功耗较高。另一方面，此类方法仍然是基于先成像后处理的框架，需要经过模数转换和额外的存储环节，从而不利于感算一体架构的实现。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种光电感算一体光场智能成像方法，在硬件系统层面上将光场成像与人工智能算法融合，以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

本发明的第二个目的在于提出一种光电感算一体光场智能成像装置。

为达上述目的，本发明第一方面实施例提出了一种光电感算一体光场智能成像方法，包括以下步骤：

待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；所述光学计算结果为所述待成像场景或物体的光场成像；

获取所述光学计算结果，通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果；

根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。

另外，根据本发明上述实施例的光电感算一体光场智能成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在所述光学计算模块完成的运算操作为卷积操作；所述光学计算模块包括：空域调制和频域调制两种形式；其中，所述空域调制由输入平面的光信号自由传播至调制平面，经所述调制平面调制后再自由传播至输出平面；所述频域调制由输入平面的光信号经过一个透镜自由传播至调制平面，经所述调制平面调制后，经过另一透镜到达输出平面；其中，每两个平面间的距离均为所述透镜的焦距。

进一步地，在本发明的一个实施例中，定义所述光学计算结果为f_opt(x,y)，所述电学计算操作的输出为：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整实数域上取值，为待优化参数，H为一种固定的非线性运算。

进一步地，在本发明的一个实施例中，所述电学计算操作，通过设计模拟电路实现，包括：输入光信号经过光学卷积模块后到达传感器表面，由所述传感器将所述光信号转变为电信号，通过设计好的模拟电路改变所述电信号的取值，完成所述电学计算操作。

进一步地，在本发明的一个实施例中，经过所述电学计算操作的电信号，用于操控编程的非相干光源，将上一级电学计算结果投射出来，作为下一级光学计算模块的输入光源，以形成级联结构。

进一步地，在本发明的一个实施例中，搭建卷积神经网络，完成光学参数和电学参数的联合优化；通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数。

进一步地，在本发明的一个实施例中，所述搭建卷积神经网络，完成光学参数和电学参数的联合优化，包括：在搭建卷积神经网络的过程中，利用光学计算高并行性的优势将多通道卷积转为单通道；其中，将所述多通道卷积中的多个卷积核，以拼图拼接的方式将所述多个卷积核堆砌在一个平面内，形成一个大尺寸的卷积核。

进一步地，在本发明的一个实施例中，通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数，包括：基于拼接好的所述大尺寸的卷积核，以梯度下降的方式优化调制平面参数，并基于L1范数损失函数使得所述光学计算模块对于点光源输入的输出图案与目标的卷积核图案接近，直到所述损失函数的值下降到预设阈值以下。

进一步地，在本发明的一个实施例中，所述输出最终结果，包括：最后一级的输出形式由待完成的任务而定，其中，对于n个目标种类的分类任务，通过微调光学结构，将所述光学计算结果汇聚到n个像素点处后接收，或者在传感器端进行平均池化或最大池化操作，将输出化为n个数值的形式，若第i个取值最大，光电计算系统的分类结果为i；对于回归类型的任务，所述最后一级的输出为二维图像的形式。

本发明实施例的光电感算一体光场智能成像方法，通过待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算，并通过设计模拟电路实现简单的电计算，不需要额外的模数转换和存储环节，避免了光电转换过程造成的信息损失，从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

为达上述目的，本发明第二方面实施例提出了一种光电感算一体光场智能成像装置，包括：

光学计算模块，用于待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；所述光学计算结果为所述待成像场景或物体的光场成像；

电学计算模块，用于获取所述光学计算结果，通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果；

判断模块，用于根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。

本发明实施例的光电感算一体光场智能成像装置，通过光学计算模块，用于待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；电学计算模块，用于获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；判断模块，用于根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算，并通过设计模拟电路实现简单的电计算，不需要额外的模数转换和存储环节，避免了光电转换过程造成的信息损失，从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的光电感算一体光场智能成像方法的流程图；

图2为根据本发明一个实施例的光电感算一体光场智能成像流程示意图；

图3（1）、图3（2）分别为根据本发明一个实施例的空域调制和频域调制示意图；

图4为根据本发明一个实施例的输出平面的调制平面的参数示意图；

图5为根据本发明一个实施例的光电感算一体光场智能成像示意图；

图6为根据本发明一个实施例的光电感算一体光场智能成像装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的光电感算一体光场智能成像方法和装置。

本发明提出的光电感算一体光场智能成像方法，来自待成像场景或物体的光信号，首先经过光学计算模块，然后通过简单的电学运算，对光学计算的结果进行进一步地处理，如非线性操作等。然后判断是否需要级联，如果需要，即将上一级电学运算的结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，即输出最终结果。总的结构图如图2所示。

图1为本发明实施例所提供的一种光电感算一体光场智能成像方法的流程图。

如图1所示，该方法包括以下步骤：

步骤S1，待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像。

具体的，输入场景或上一级电学计算结果经过光学计算模块。

可以理解的是，光学计算模块主要有图3中的两种形式：第一种空域调制，如图3（1）所示，输入平面的光信号自由传播至调制平面，经调制后再自由传播至输出平面。根据傅里叶光学中菲涅尔衍射的知识可以推导出，在傍轴近似下，输入平面上一点光源(u,v)在输出平面

点出的脉冲强度响应可以表示为：

其中g(x,y)是一个与元件间距z1,z2和调制平面参数

有关的函数：

只与输入平面和输出平面的点坐标差值有关：

可见脉冲强度响应也只与输入平面和输出平面的点坐标差值有关，故输出平面的强度是输入平面上的强度和函数

的卷积。

第二种形式为常见的4f系统，又称为频域调制，因为调制平面处在第一个透镜的傅里叶平面上。如图3（2）所示，输入平面的光信号经过透镜1，调制平面调制，透镜2到达输出平面，每两个平面间的距离均为透镜的焦距。根据傅里叶光学的知识，在相干光（激光）照明和傍轴近似的条件下，薄透镜前后焦面上的信号满足傅里叶变换关系。记调制平面参数为

，则输出平面的光信号

和输入平面的光信号

满足：

其中F{}表示傅里叶变换，可见输出平面的信号也可看做是输入平面的光信号与一固定核函数的卷积。在非相干照明下，只需考虑强度信息即可，此时输出强度和输入强度依旧满足如下的卷积关系：

因为现实生活中，待拍摄场景与镜头间的距离均远大于镜头孔径，故可认为傍轴近似是一个符合现实条件且不失一般性的近似。由上面的推导可见，两种光学计算模块在数学上均为卷积操作，故我们可以将其抽象成光学卷积模块，即光学计算模块完成的运算操作是卷积操作。事实上，在神经网络的电子计算实现方式中，卷积是计算量最大、所需显存最多、最耗时耗能的操作，故我们的光学计算模块可替代电学卷积，高效低功耗地完成卷积操作。

S2，获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果。

具体的，通过电学计算模块对同级光学计算模块的结果进行处理。

可以理解的是，经本发明的实验证明，对卷积核施加非负约束会使得卷积神经网络的性能大幅下降，故我们需要简单的电学计算，如引入完整实数域上的线性运算或截断操作，配合光学卷积以达到与电学卷积相当或接近的性能。具体而言，若光学计算的结果为f_opt(x,y)，则电学计算操作的输出可写为：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中k和b可在完整实数域上取值，为待优化参数，H为某种固定的非线性运算，如神经网络中经常使用的ReLU,sigmoid等等均可。值得指出的是，上式中的电学计算操作，如线性运算和固定的非线性运算，均可通过设计模拟电路来实现。具体而言，输入光信号经过光学卷积模块后到达图像传感器表面，由传感器将光信号转变为电信号，然后可通过设计好的模拟电路改变电信号的取值，即完成简单的电学运算。经电学运算后的电信号可用于操控可编程的非相干光源，如投影仪、液晶屏幕等，可将上一级运算完的结果投射出来，做为下一级光学计算模块的输入光源，以此类推，从而实现级联效果。这样做的好处是，通过模拟电路完成运算可以避免数模转换带来的速度和带宽瓶颈，光信号和电信号之间的转换均为无缝衔接，从而形成了感算一体的架构。

S3，根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。

可以理解的是，本发明结合硬件参数优化和对最终输出结果进行理解和解释。

具体的，首先，本发明基于给定的任务搭建卷积神经网络，完成光学参数和电学参数的联合优化，例如在图片分类的任务中，可将数据集中的图像二维像素分布作为网络的输入，将其对应的分类标签作为网络的输出。

进一步地，在搭建卷积神经网络的过程中，本发明利用光学计算高并行性的优势将多通道卷积转为单通道，具体操作为，将多通道卷积中的多个卷积核（矩阵），以类似拼图拼接的方式堆砌在一个平面内，形成一个大的卷积核（矩阵），如图4（左）所示的，将四个0,1,2,3形状的卷积核拼接在一起。这样做的好处为，既可以利用卷积神经网络中增加通道数带来的性能提升，又可以通过一次光学传播完成多次卷积运算，不必考虑电学卷积中大尺寸卷积对显存的消耗，从而可以提升性能和效率。

进一步地，在搭建卷积神经网络的过程中，需要考虑到系统的物理限制，如受限于光学卷积的固有属性，卷积神经网络中的卷积核必须为非负；多通道的卷积结果可先以上述方式合并为单通道，然后作为下层卷积的输入，这和传统卷积神经网络中，输入和输出均为多通道的操作有着较大的差距。事实上，根据实验结果，将多通道的卷积结果合并为单通道的做法不会明显地降低性能，这与深度可分离卷积(channel-wise)保证性能的同时通过改变输入到输出的稠密连接减少网络的计算量和参数量是类似的。

进一步地，是光学参数优化，即通过上一步拼接好的大卷积核优化光学计算模块中的调制平面参数。前面已经提到，两种常见的光路结构都可视作卷积，优化光学计算模块的卷积核可视为优化光学计算模块的脉冲强度响应函数。我们假定输入平面为一像素为1x1或2x2的点光源，而输出平面为拼接好的大卷积核图案，其中选择1x1还是2x2取决于总维度的像素数是奇数还是偶数，以保证系统的对称性。以梯度下降的方式（如使用Adam优化器）不断优化调制平面的参数，并基于L1范数损失函数（最大绝对值偏差函数）使得光学计算模块对于点光源输入的输出图案与目标的大卷积核图案尽可能的接近，直到损失函数的值下降到某一阈值以下。例如，若假定调制平面均只能调节光的相位，并要求输出平面为图4（左），在空域调制的情况下，调制平面的参数如图4（中）所示；在频域调制的情况下，调制平面的参数如图4（右）所示。

如前所示，电学计算操作可通过设计模拟电路实现优化好的电学参数。对于对时延和带宽要求不太高的应用场景，也可先由图像传感器记录至计算机，经计算机完成简单的图像处理操作后投射到屏幕上，作为下一级计算模块的输入光源，以此类推即可。

进一步地，最后一级的输出形式可由待完成的任务而定。对于n个目标种类的分类任务，我们既可以通过微调光学结构，如加入一微透镜阵列，将光学运算结果汇聚到n个像素点处后接收，也可在传感器端进行简单的平均池化或最大池化操作，将输出化为n个数值的形式，若第i个取值最大，即认为光电计算系统的分类结果为i。对于回归类型的任务，如目标跟踪，显著性检测，关键点提取等等，最后一级的输出即为二维图像的形式，供用户查看或后接其他的算法继续运算处理。

根据本发明的一个实施例，本发明整个运行流程，如图5所示。

图6为根据本发明一个实施例的光电感算一体光场智能成像装置的结构示意图。

如图2所示，该装置10包括：光学计算模块100、电学计算模块200和判断模块300。

光学计算模块100，用于待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；

电学计算模块200，用于获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；

判断模块300，用于根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。

根据本发明实施例提出的光电感算一体光场智能成像装置，通过光学计算模块，用于待成像场景或物体的光信号，经过光学计算模块，得到光学计算结果；光学计算结果为待成像场景或物体的光场成像；电学计算模块，用于获取光学计算结果，通过电学计算操作对光学计算结果进行计算，得到电学计算结果；判断模块，用于根据电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算，并通过设计模拟电路实现简单的电计算，不需要额外的模数转换和存储环节，避免了光电转换过程造成的信息损失，从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种光电感算一体光场智能成像方法，其特征在于，包括以下步骤：

根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终电学计算结果；

定义所述光学计算结果为 f_opt(x,y)，所述电学计算操作的输出为：

f_elec(x,y)=H{kf_opt(x,y)+b}

其中，k和b在完整实数域上取值，为待优化参数，H为一种固定的非线性运算；

所述通过电学计算操作对所述光学计算结果进行计算，得到电学计算结果，包括：输入光信号经过光学卷积模块后到达传感器，所述传感器将光信号转变为电信号，通过设计好的模拟电路改变电信号的取值完成电学运算，得到所述电学计算结果。

2.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，在所述光学计算模块完成的运算操作为卷积操作；所述光学计算模块包括：空域调制和频域调制两种形式；其中，

所述空域调制由输入平面的光信号自由传播至调制平面，经所述调制平面调制后再自由传播至输出平面；

所述频域调制由输入平面的光信号经过一个透镜自由传播至调制平面，经所述调制平面调制后，经过另一透镜到达输出平面；其中，每两个平面间的距离均为所述透镜的焦距。

3.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，经过所述电学计算操作的电信号，用于操控编程的非相干光源，将上一级电学计算结果投射出来，做为下一级光学计算模块的输入光源，以形成级联结构。

4.根据权利要求1所述的光电感算一体光场智能成像方法，其特征在于，所述方法还包括：

搭建卷积神经网络，完成光学参数和电学参数的联合优化；

通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数。

5.根据权利要求4所述的光电感算一体光场智能成像方法，其特征在于，所述搭建卷积神经网络，完成光学参数和电学参数的联合优化，包括：

在搭建卷积神经网络的过程中，利用光学计算高并行性的优势将多通道卷积转为单通道；其中，将所述多通道卷积中的多个卷积核，以拼图拼接的方式将所述多个卷积核堆砌在一个平面内，形成一个大尺寸的卷积核。

6.根据权利要求5所述的光电感算一体光场智能成像方法，其特征在于，所述通过搭建好的所述卷积神经网络，优化所述光学计算模块中的调制平面参数，包括：

基于拼接好的所述大尺寸的卷积核，以梯度下降的方式优化调制平面参数，并基于L1范数损失函数使得所述光学计算模块对于点光源输入的输出图案与目标的卷积核图案接近，直到所述损失函数的值下降到预设阈值以下。

7.根据权利要求5所述的光电感算一体光场智能成像方法，其特征在于，所述输出最终电学计算结果，包括：

最后一级的输出形式由待完成的任务而定，其中，对于n个目标种类的分类任务，通过微调光学结构，将所述光学计算结果汇聚到n个像素点处后接收，或者在传感器端进行平均池化或最大池化操作，将输出化为n个数值的形式，若第i个取值最大，光电计算系统的分类结果为i；对于回归类型的任务，所述最后一级的输出为二维图像的形式。

8.一种光电感算一体光场智能成像装置，其特征在于，包括：

判断模块，用于根据所述电学计算结果，判断是否需要级联，如果需要，则将上一级电学计算结果作为下一级光学计算模块的输入，形成级联结构；如果不需要，则输出最终电学计算结果；

f_elec(x,y)=H{kf_opt(x,y)+b}

所述电学计算模块，还用于输入光信号经过光学卷积模块后到达传感器，所述传感器将光信号转变为电信号，通过设计好的模拟电路改变电信号的取值完成电学运算，得到所述电学计算结果。