CN113595637B - 全光感算一体光场智能处理系统及方法 - Google Patents

Abstract

本发明公开了一种全光感算一体光场智能处理系统及方法，其中，系统包括：采集模块由数字微镜与耦合光纤组成，用于通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；计算模块，用于模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；输出模块包括光电探测器或者中继光纤，光电探测器，用于接收预处理信号，通过光电探测器输出电信号；或者中继光纤，用于将预处理信号通过中继光纤进行中继传输。本发明提出了一套基于光学循环神经网络、集感知与智能计算一体化的光场成像系统，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

Description

全光感算一体光场智能处理系统及方法

技术领域

本发明涉及光电计算智能感知技术领域，特别涉及一种全光感算一体光场智能处理系统及方法。

背景技术

现有的成像系统或者视觉信号处理技术均采用电学方案，概言之，借助光电传感器首先实现光电转换，在硅基设备(如PC)上进行进一步计算。此类方案中，目标场景发出的光线，经过光学镜头投射到感光芯片，即光电探测器平面上，此时光学信号被转换成电信号。电信号再次经过传感器模数转换后成为一般所见到的视频帧的数据形式。基于帧形式数据的技术构成了计算机视觉与图像(视频)处理的主流。

在主流技术之外，现有压缩感知方向的单光子压缩成像技术。单光子成像同样使用数字微镜阵列压缩采集视觉信号，将二维信号输出为单点的一维信号。在压缩采集到信号后，单光子成像技术立即通过光电探测器将信号做光电转换，而不经过光学计算环节。这是由于其成像应用的输出为帧格式以用于可视化。

在时序光学计算的相关交叉研究领域，比如自然语言处理、光纤通信中存在相近结构的研究。如在现有文献中将自然语言处理中的语料序列化后输入由光纤环组成的水库系统中（循环神经网络的变种），也是利用光纤时延做为循环神经网络的反馈机制，利用信号调制做权重耦合。

现有技术有如下缺点：

1）现有的图像(视频)处理技术由于遵循光电转换-硅基计算的架构，其载体为电信号，功耗、运算速度表现不佳。

2）此外，图像(视频)处理技术中大多数以帧作为计算结构的输入形式，存在着大量的信息冗余。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种全光感算一体光场智能处理系统，基于本发明提出的一套基于光学循环神经网络、集感知与智能计算一体化的光场成像系统，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

本发明的第二个目的在于提出一种全光感算一体光场智能处理方法。

为达上述目的，本发明第一方面实施例提出了一种全光感算一体光场智能处理系统，包括：

采集模块由数字微镜与耦合光纤组成，用于通过所述数字微镜与所述耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；

计算模块，用于模拟循环神经网络结构中的乘加模型，对所述输入信号进行预处理得到预处理信号；

输出模块包括光电探测器或者中继光纤，所述光电探测器，用于接收所述预处理信号，通过所述光电探测器输出电信号；或者所述中继光纤，用于将所述预处理信号通过所述中继光纤进行中继传输。

另外，根据本发明上述实施例的全光感算一体光场智能处理系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述采集模块，用于所述二维的空间光信号是采用降维压缩的方式采集，所述将二维的空间光信号映射成一维的输入信号是通过DMD调制的掩膜转换，并且利用压缩感知以使得光信号的形式连续。

进一步地，在本发明的一个实施例中，所述计算模块中，循环神经网络结构的表达式为：

其中，h^t和h^t-1代表t和t-1时刻网络中的隐藏状态向量，x^t代表t时刻网络的输入向量，y^t代表t时刻网络的输出向量；W和b代表相应的权重及偏置，f_NL表示非线性函数。

进一步地，在本发明的一个实施例中，所述计算模块，包括：光纤环结构，用于作为信号传输与耦合的载体，顺序执行所述循环神经网络结构。

进一步地，在本发明的一个实施例中，所述光纤环结构，包括：调制器、光纤放大器、光纤延迟线、耦合器和非线性器件。

进一步地，在本发明的一个实施例中，

所述调制器，用于产生信号序列w，与输入信号序列x进行耦合，并得到加权信号w*x；

所述光纤放大器，用于增益所述光信号以补偿所述光信号在光纤传播中的衰减；

所述光纤延迟线，用于将时间间隔的信号进行耦合，以提供延迟；

所述耦合器，用于将光分流，一部分直接输出，剩余部分在所述光纤环结构中循环；

所述非线性器件，用于提供非线性响应函数，所述非线性响应函数的曲线呈饱和吸收的形状。

进一步地，在本发明的一个实施例中，所述计算模块，还包括，训练模块，用于构建特定的训练集对所述循环神经网络结构进行训练与部署，并产生网络参数。

进一步地，在本发明的一个实施例中，所述训练模块中的网络参数包括：DMD调制的图样、调制器调制的信号和光纤放大器的工作电压中的多种。

进一步地，在本发明的一个实施例中，所述计算模块还用于，采取随机生成与梯度下降相结合的方式，通过构建特定的训练集生成特定场景下的所述网络参数。

本发明实施例的全光感算一体光场智能处理系统，通过采集模块由数字微镜与耦合光纤组成，用于通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；计算模块，用于模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；输出模块包括光电探测器或者中继光纤，光电探测器，用于接收预处理信号，通过光电探测器输出电信号；或者中继光纤，用于将预处理信号通过中继光纤进行中继传输。本发明提出了一套基于光学循环神经网络、集感知与智能计算一体化的光场成像系统，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

为达上述目的，本发明第二方面实施例提出了一种全光感算一体光场智能处理方法，包括以下步骤：

通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；

模拟循环神经网络结构中的乘加模型，对所述输入信号进行预处理得到预处理信号；

接收所述预处理信号，通过光电探测器输出电信号，或者将所述预处理信号通过中继光纤进行中继传输。

本发明实施例的全光感算一体光场智能处理方法，通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；接收预处理信号，通过光电探测器输出电信号，或者将预处理信号通过中继光纤进行中继传输。本发明提出了一套基于光学循环神经网络、集感知与智能计算一体化的光场成像方法，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

本发明的有益效果为：

本发明可以为现有的视频解决方案带来更快的处理速度、更低的能耗以及更方便的部署，具体的贡献为将采集与计算过程集为一体，系统流程除最终输出外全部以相干光作为载体，并在信号传输的流程中避免了光电转换、模电转换带来的延迟与失真。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的全光感算一体光场智能处理系统整体框图；

图2为根据本发明一个实施例的仿全光感算一体光场智能处理系统的结构示意图；

图3为根据本发明一个实施例的采集部分结构示意图；

图4为根据本发明一个实施例的循环神经网络(RNN)结构示意图；

图5为根据本发明一个实施例的光纤环2计算示意图；

图6为根据本发明一个实施例的全光感算一体光场智能处理方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的全光感算一体光场智能处理系统和方法。

本发明提出了一种集感知与运算一体的光电系统，可应用于视频信号的处理。系统框架如附图1所示，按照信号传输介质，该系统主要分为采集部分、计算部分以及输出部分。

图2为本发明实施例所提供的一种全光感算一体光场智能处理系统。

如图2所示，该系统10包括：采集模块100、计算模块200和输出模块300。

采集模块100，由数字微镜与耦合光纤组成，用于通过数字微镜与所述耦合光纤的组合，将二维的空间光信号映射成一维的输入信号。

可以理解的是，本发明提出的感知部分由数字微镜与耦合光纤组成，如附图3所示，将二维的空间光信号（相干激光）压缩成一维光信号。

具体的，在一个具体的案例中将直径2mm的激光光束投射到目标场景上，反射光斑对准数字微镜阵列(像素尺度10.8um, 1920x1080分辨率)。数字微镜的功效等效于具有两个方向(与载体平面分别成正负12度角)的反射镜阵列， 通过将光纤耦合镜的朝向与倾斜部分微镜（对应掩膜中的非零区域）的法线垂直，或者寻找反射光斑的零级主极大处，可以将目标场景的信息采集下来。

进一步地，对于每一个传统意义上的“视频帧”概念，在数字微镜上调制一组256个掩膜，一个掩膜即为1920x1080的二值图样，从而获得长度l=256的压缩特征，能够在压缩域完整保留目标场景反射的信息。从压缩比的角度而言，相对1920x1080分辨率的帧，数据通量大大降低。从公式上，整个采集过程可以表示为

,其中Ø_i表示二值掩膜图样，F_t表示t时刻DMD平面处入射光强，x_i则为输出向量的第i个分量，<,>则表示从DMD出射图样到光纤的耦合过程。

可以理解的是，采集部分技术与当前主流电学技术方案的主要区别在于本发明通过数字微镜与耦合光纤的组合将二维的空间信号映射成一维的信号，其方法类似于压缩感知的测量技术，是全光学的过程；而电学技术方案通常经过光电转换、模数转换、序列化等操作将空间信号转换为可计算的信号，虽然可以借助成熟的数字计算芯片实现灵活计算，但是在功耗和响应速度上不如本发明提出的技术方案。

计算模块200，用于模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号。

具体的，本发明提出的计算模块200，可以由光纤环、光探测器、信号调制器与若干光学功能元件组成（如附图1所述）。计算模块200的结构在数学上可以等效为一个循环神经网络(RNN)。 循环神经网络(RNN)基本结构可以表达为

其中，h^t和h^t-1代表t和t-1时刻网络中的隐藏状态向量，x^t代表t时刻网络的输入向量，y^t代表t时刻网络的输出向量；W和b代表相应的权重及偏置，f_NL表示非线性函数。

在器件实现上，附图1中的两个光纤环分别执行神经网络中的输入与输出部分的权重(全连接)操作。设权重

其中k到k+1的时间间隔对应光信号完整经过光纤延迟线的时间

，t到t+1的时间间隔对应

。本质上在(t,t+1)时间内，这是通过调制器调制权重W，与前述采集部分中输入的一维信号x逐行相乘，并利用光纤延迟线在时间上实现每一行乘法结果的相加，最终达到与权重操作W·x^t或W·h^t等效的计算结果。

进一步地，结合附图1与附图4，各光学器件实现系统结构中的一部分功能。调制器的作用是产生信号序列w，与输入信号序列x进行耦合，得到w*x。光纤放大器的作用是增益信号以补偿信号在光纤传播中的衰减。光纤延迟线主要提供延迟，比如光信号走完一段长20-30km的光纤需要0.1ms，则我们可以通过光纤“首尾相接”将时间间隔0.1ms的信号进行耦合。耦合器则负责将光分流，一部分直接输出，一部分仍然在光纤环结构中循环。非线性器件一般采用半导体激光放大器(SOA)提供非线性响应函数，该非线性响应函数的曲线呈饱和吸收的形状。

进一步地，如附图5所示，光纤环2对光纤环1的输出向量进行全连接操作，输出向量经过最大值判别后，即为输入图像(帧)的一个分类结果。

特别注意的是，计算部分信号调制器调制的权重W需与前述采集部分中数字微镜调制的掩膜Ø由神经网络联合训练的方式产生，针对不同的训练集，信号调制器调制的权重也不同。本发明设计的计算部分旨在对采集的输入信号进行预处理，以减少传输环节的数据通量，与电学方案依托硅基集成电路等相比，采用了整体基于光纤的设计，模拟循环神经网络结构中的乘加模型，支持更为高速的运算，并且有利于与通讯系统的结合。

输出模块300包括光电探测器或者中继光纤，光电探测器，用于接收预处理信号，通过光电探测器输出电信号；或者中继光纤，用于将预处理信号通过中继光纤进行中继传输。

可以理解的是，本发明中输出模块300是信号输出部分，可以直接连接光电探测器输出电信号，也可以连接低损耗的长光纤进行远距离中继传输，适用于诸如数据中心大通量传输或者特殊环境下信号传感等应用场景。

根据本发明实施例的全光感算一体光场智能处理系统，通过采集模块由数字微镜与耦合光纤组成，用于通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；计算模块，用于模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；输出模块包括光电探测器或者中继光纤，光电探测器，用于接收预处理信号，通过光电探测器输出电信号；或者中继光纤，用于将预处理信号通过中继光纤进行中继传输。本发明提出了一套基于光学循环神经网络、集感知与智能计算一体化的光场成像系统，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

作为一种示例，本发明可以在光纤头尾相接处，使用光电探测器信号作为循环神经网络中反馈信号的触发，以提升信噪比。

作为另一种示例，本发明可以使用单层环输出中间预处理结果，传输到后端工作站进行进一步计算。

作为又一种示例，采集端可以利用固定掩模版替代本方案中的DMD，以降低发明的价格成本。

综上，可知本发明空间光信号的降维压缩采集方式，通过DMD调制的掩膜将二维的空间光强度转换成一维的光纤信号，利用压缩感知的原理降低带宽的同时保证光信号的形式连续，避免光电转换；基于光纤环路的计算网络结构，光纤环路的设计模拟循环神经网络的结构，可以作为一种通用的计算模块，通过级联有望实现大型全光网络计算系统。网络结构的训练与部署，整个系统中涉及到大量的网络参数，包括DMD调制的图样，调制器调制的信号，光纤放大器的工作电压等。本发明采取随机生成与梯度下降相结合的方式，通过构建特定的训练集生成特定场景下的网络参数，保证计算部分输出的可信度。例如在输入为人体动作序列的情况下，使得计算部分输出的动作分类准确率达到90%以上。

本发明针对带宽有要求，而不必严格需要原始数据的应用场景，比如连续自动化监控。

本发明所提出的全部以光信号作为载体的架构。对于一些对响应速度要求比较高的应用场景，比如工业监测，本发明要具有优势。本发明从采集部分开始就将二维的视觉信号映射到一维的压缩形式，在最大程度保留目标场景的信息以供计算部分处理，降低整个系统的带宽传输要求。

图6为根据本发明一个实施例的全光感算一体光场智能处理方法流程图。

如图6所示，该全光感算一体光场智能处理方法包括：

S1，通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；

S2，模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；

S3，接收预处理信号，通过光电探测器输出电信号，或者将预处理信号通过中继光纤进行中继传输。

本发明实施例的全光感算一体光场智能处理方法，通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；模拟循环神经网络结构中的乘加模型，对输入信号进行预处理得到预处理信号；接收预处理信号，通过光电探测器输出电信号，或者将预处理信号通过中继光纤进行中继传输。本发明提出了一套基于光学循环神经网络、集感知与智能计算一体化的光场成像方法，在响应速度、能耗、传输带宽上相比现有感算分离的光场成像系统有很大提升，未来潜力巨大。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种全光感算一体光场智能处理系统，其特征在于，包括：

采集模块，由数字微镜与耦合光纤组成，用于通过所述数字微镜与所述耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；

循环计算模块，用于构建循环神经网络结构对所述输入信号进行计算得到预处理信号，其中，所述循环神经网络结构的表达式为：

其中，h^t和h^t-1代表t和t-1时刻网络中的隐藏状态向量，x^t代表t时刻网络的输入向量，y^t代表t时刻网络的输出向量；W和b代表相应的权重及偏置， f_NL表示非线性函数；

输出模块，包括光电探测器或者中继光纤，所述光电探测器，用于接收所述预处理信号，通过所述光电探测器输出电信号；或者所述中继光纤，用于将所述预处理信号通过所述中继光纤进行中继传输。

2.根据权利要求1所述的全光感算一体光场智能处理系统，其特征在于，所述采集模块，用于：

所述二维的空间光信号是采用降维压缩的方式采集，所述将二维的空间光信号映射成一维的输入信号是通过DMD调制的掩膜转换，并且利用压缩感知以使得光信号的形式连续。

3.根据权利要求1所述的全光感算一体光场智能处理系统，其特征在于，所述循环计算模块，包括：光纤环结构，用于作为信号传输与耦合的载体，顺序执行所述循环神经网络结构。

4.根据权利要求3所述的全光感算一体光场智能处理系统，其特征在于，所述光纤环结构，包括：调制器、光纤放大器、光纤延迟线、耦合器和非线性器件。

5.根据权利要求4所述的全光感算一体光场智能处理系统，其特征在于，

所述调制器，用于产生信号序列w，与输入信号序列x进行耦合，并得到加权信号w*x；

所述光纤放大器，用于增益所述光信号以补偿所述光信号在光纤传播中的衰减；

所述光纤延迟线，用于将时间间隔的信号进行耦合，以提供延迟；

所述耦合器，用于将光按比例分流，一部分直接输出，剩余部分在所述光纤环结构中循环；

所述非线性器件，用于提供非线性响应函数，所述非线性响应函数的曲线呈饱和吸收的形状。

6.根据权利要求2或5所述的全光感算一体光场智能处理系统，其特征在于，所述循环计算模块，还包括，训练模块，用于构建特定的训练集对所述循环神经网络结构进行训练与部署，并产生网络参数。

7.根据权利要求6所述的全光感算一体光场智能处理系统，其特征在于，所述训练模块中的网络参数包括：DMD调制的图样、调制器调制的信号和光纤放大器的工作电压中的多种。

8.根据权利要求7所述的全光感算一体光场智能处理系统，其特征在于，所述循环计算模块还用于，采取随机生成与梯度下降相结合的方式，通过构建特定的训练集生成特定场景下的所述网络参数。

9.一种全光感算一体光场智能处理方法，其特征在于，采用如权利要求1-8任一项所述的系统，所述方法包括：

通过数字微镜与耦合光纤的组合，将二维的空间光信号映射成一维的输入信号；

构建循环神经网络结构中的乘加模型，对所述输入信号进行计算得到预处理信号；

接收所述预处理信号，通过光电探测器输出电信号，或者将所述预处理信号通过中继光纤进行中继传输。

Images