CN115641494B - 一种基于微环调制器的神经网络图像处理系统 - Google Patents

Abstract

本发明提供了一种基于微环调制器的神经网络图像处理系统，包括：阵列的多个激光器，以及多个全通型微环，每个激光器连接的每个全通型微环的输入端，其中，通过对每个所述全通型微环施加恒定电压，使输出的光强值与待处理图像的像素值成正比；每个全通型微环的输出端通过波分复用器连接至分插复用型微环的输入端，分插复用微环的输出端连接至平衡探测器，将分插复用微环输出的光信号转换成电信号并进行乘法运算，其中，通过对分插复用微环施加恒定电压，使分插复用微环的输入信号的光强值与输出信号的光强值成对应比值，比值为卷积核的参数值；平衡探测器连接至跨阻放大器。本发明极大的提高了图像处理过程中的运算速度。

Description

一种基于微环调制器的神经网络图像处理系统

技术领域

本发明涉及光学计算技术领域，特别是涉及一种基于微环调制器的神经网络图像处理系统。

背景技术

随着计算设备算力的不断提升，人工深度神经网络在工业机器人，自然语言处理，自动驾驶等领域取得了大规模的应用，并且在这些任务上的表现甚至超过了人类平均水平。

目前，工业领域的主流方案是采用图形处理器进行神经形态运算，利用图形处理器等硬件实现神经网络运算，从而对图像进行处理。然而图形处理器具有功耗大、体积大、神经网路运算速度慢等特点。因此，难以在小型移动设备、边缘计算等场景实现大规模的应用。

发明内容

为了解决现有技术中图形处理器实现神经网路运算，对图像进行处理过程中，功耗大、体积大、神经网路运算速度慢的技术问题，本发明的一个目的在于提供一种基于微环调制器的神经网络图像处理系统，所述图像处理系统包括：

阵列的多个激光器，以及多个全通型微环，每个激光器连接的每个全通型微环的输入端，

其中，通过对每个所述全通型微环施加恒定电压，使输出的光强值与待处理图像的像素值成正比；

每个全通型微环的输出端通过波分复用器连接至分插复用型微环的输入端，所述分插复用微环的输出端连接至平衡探测器，将分插复用微环输出的光信号转换成电信号并进行乘法运算，

其中，通过对所述分插复用微环施加恒定电压，使所述分插复用微环的输入信号的光强值与输出信号的光强值成对应比值，所述比值为卷积核的参数值；

所述平衡探测器连接至跨阻放大器，将处理后电信号输出，用于转换成处理后的数字图像信号。

进一步地，待处理图像的的像素值为归一化处理后的像素值。

进一步地，卷积核的参数值为归一化处理后的参数值。

进一步地，每个激光器的输出波长与每个全通型微环的谐振波长对应。

进一步地，每个激光器的输出功率相同。

本发明提供的一种基于微环调制器的神经网络图像处理系统，相较于图形处理器等硬件实现神经网络对图像进行处理，光学计算方案采用了光互连技术将计算和存储部分连接起来，突破了传统的计算单元、存储器、输入输出设备通过总线连接的冯诺依曼架构。

本发明提供的一种基于微环调制器的神经网络图像处理系统，光子神经网络具有大量的线性层，可以实现大规模的矩阵线性运算，并且光的传播速度非常快，可以忽略时间延迟，极大的提高了图像处理过程中的运算速度。此外光计算与神经网络的前向传播算法匹配度更高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了全通型微环的结构示意图。

图2示出了分插复用型微环的结构示意图。

图3示出了本发明一种基于微环调制器的神经网络图像处理系统的结构示意图。

图4示出了本发明一个实施例中手写数字识别数据集的示意图。

图5示出了本发明一个实施例中神经网络的拓扑结构示意图。

图6示出了本发明一个实施例中神经网络卷积运算示意图。

图7示出了本发明一个实施例中基于微环调制器的神经网络图像处理系统的图像处理过程示意图。

图8示出了本发明一个实施例中正确率曲线和损失函数曲线示意图。

图9示出了本发明一个实施例中不同调制精度下混淆矩阵的示意图。

具体实施方式

为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。

为了解决现有技术中图形处理器实现神经网路运算，对图像进行处理过程中，功耗大、体积大、神经网路运算速度慢的技术问题，提出一种基于微环调制器的神经网络图像处理系统。

为了更加清晰的对本发明进行阐释，有必要对光在微环中传播的机理进行阐述。

如图1所示示出了全通型微环的结构示意图，图2所示分插复用型微环的结构示意图。微环是一个圆形波导，它与一个或两个直波导相耦合。微环波导的宽度为500纳米，厚度为220纳米，弯曲半径为5μm。如图1所示，单波导结构的微环为全通型微环，包括第一输入端201(input)和第一输出段202(through)。如图2所示，双波导结构的微环为分插复用型微环，包括第二输入端401(input)、第二输出端402(through)、第三输入端404(add)和第三输出端403(drop)。

对于全通型微环。

在波导的中传输的光通过单向耦合器进入微环中，光在微环中传输时如果满足绕微环传输一周时所产生的光程差恰好为波长的整数倍，光会因产生谐振而得到加强。

2πRn_c＝mλ，

式中，R为微环谐振半径，n_c为微环波导中模的有效折射率，β为模传播常数，λ为真空中光波长，m为谐振级数(为正整数)。

输入光在进入微环之后发生了相移，从而改变了输出光强度，通过改变相位以控制输出端光强，即可模拟乘法运算，以调制神经网络的输入。通过第一输出端202输出的光与第一输入端201输入的光的传递函数为：

式中，参数r为耦合系数，a为直波导和微环之间的传输损耗。相位与光的波长λ和微环的直径d有关：

在微环上施加一定强度的电压时会加热微环，从而改变有效折射率，间接产生共振峰位移。对应于一个特定光强度的调制值F，全通型微环谐振器的相位可以通过如下公式计算出来：

对于分插复用微环。

第二输出端402输出的光强相对于第二输入端401输入的光强度的传递函数为：

第三输出端403输出的的光强相对于第二输入端401输入的光强度的传递函数为：

如图3所示本发明一种基于微环调制器的神经网络图像处理系统的结构示意图，根据本发明的实施例，提供一种基于微环调制器的神经网络图像处理系统，包括：阵列的多个激光器101，以及多个全通型微环102，每个激光器101连接的每个全通型微环102的第一输入端201，每个全通型微环102的第一输出端202通过波分复用器103(wdm)连接至分插复用型微环104的第二输入端401，分插复用微环104的第二输出端402连接至平衡探测器105，平衡探测器105将分插复用微环104输出的光信号转换成电信号并进行乘法运算。平衡探测器105连接至跨阻放大器106，将处理后电信号输出，用于转换成处理后的数字图像信号。

通过本发明提供的基于微环调制器的神经网络图像处理系统，对图像进行处理。具体为，通过对每个全通型微环102施加恒定电压，使输出的光强值与待处理图像的像素值成正比。通过对分插复用微环104施加恒定电压，使分插复用微环104的输入信号的光强值与输出信号的光强值成对应比值，该比值为神经网路卷积核的参数值，从而利用光强度模拟图像像素进行光子神经网络传输。

根据本发明的实施例，适用手写数字识别数据集(Modified National Instituteof Standards and Technology database，MNIST)进行训练和测试，该数据集具体内容为0～9的手写数字，一共包含60000条数据，这些数据被分为4组：训练集图像、训练集标签、测试集图像和测试集标签，训练集包含50000条数据，测试集包含10000条数据。该数据集中每条数据都由28×28个像素点组成，如图4所示本发明一个实施例中手写数字识别数据集的示意图。

根据本发明的实施例，通过本发明提供一种基于微环调制器的神经网络图像处理系统，实现卷积神经网络(Lenet-5网络)结构，如图5所示本发明一个实施例中神经网络的拓扑结构示意图，卷积神经网络(Lenet-5网络)结构输入层大小为28×28，随后进行第一层卷积操作，该卷积层长度、宽度、深度分别为5×5×6，输出图像大小为24×24×6，随后进行2×2的下采样操作，输出图像大小为14×14×6的图像。第二层卷积大小为5×5×16，输出图像大小为5×5×16，再进行一次2×2的下采样操作，输出图像大小为5×5×16。随后展开连接至全连接层进行分类。

如图6所示本发明一个实施例中神经网络卷积运算示意图，对于卷积神经网络(Lenet-5网络)运算，两个离散域函数g与f的卷积数学定义如下所示：

其中，其中(f□g)表示函数f[τ]在g[-τ]移动t时的加权平均值。

例如，对于图像A与卷积核F进行卷积计算得到卷积图像O，图像A为一个维数，尺寸为H×W的矩阵，其中H和W分别为图像的高度和宽度。矩阵中的每个元素都代表了该特定空间位置上的像素。卷积核是一个维度为R×R的实数矩阵。那么卷积得到的单个像素值为：

如图7所示本发明一个实施例中基于微环调制器的神经网络图像处理系统的图像处理过程示意图，根据本发明的实施例，对于具有m×m个像素的图像A，一次卷积计算产生一个卷积图像，需要通过阵列的m²个波长不同的激光器101模拟图像A的m×m个像素，每个激光器输出的输出功率相同。

将不同波长的每个激光器101输出的激光输入至每个全通型微环102，每个激光器101的输出波长与每个全通型微环102的谐振波长对应。

根据图像A的像素值，通过对每个全通型微环102施加恒定电压，输入光进入对应全通型微环102因谐振产生加强，使输出的光强值与待处理图像(图像A)的像素值成正比，从而对每个全通型微环102输出的激光的光强度以图像A的像素A_i，j(i＝1,...,m；j＝1,...,m)进行编码。即，一个全通型微环102输出的光强度对应一个图像A的像素值。待处理的图像A的像素值为归一化处理后的像素值。

通过波分复用器103将每个全通型微环102输出的激光合成一束激光，由直波导经分插复用微环104的第二输入端401传输至分插复用微环104。

根据本发明的实施例，如图6所示，卷积核以2×2的卷积核为例，通过分插复用微环104特定光强度的调制值F模拟卷积核的元素(卷积核的参数值F_i，j(i＝1,...,3；j＝1,...,4))。

具体地，根据神经网路卷积核的参数值F_i，j(i＝1,...,3；j＝1,...,4)，通过对分插复用微环104施加恒定电压，使分插复用微环104的输入信号的光强值与输出信号的光强值成对应比值(调制值F)。即该比值(调制值F)为神经网路卷积核的参数值F_i，j(i＝1,...,3；j＝1,...,4)。

实施例中，三个卷积核中，每个2×2的卷积核包括4个元素(4个卷积核的参数值F_i，j)，通过12次(3×4＝12)施加恒定电压得到分插复用微环104的12个特定光强度的调制值F。即一个分插复用微环104的特定光强度的调制值F对应一个卷积核的参数值F_i，j。卷积核的参数值为归一化处理后的参数值。

将分插复用微环104第二输出端402输出的激光信号输入至平衡探测器105，平衡探测器105将分插复用微环104输出的光信号转换成电信号并进行乘法运算。平衡探测器105连接至跨阻放大器106，将处理后电信号输出，用于转换成处理后的数字图像信号。

如图8所示本发明一个实施例中正确率曲线和损失函数曲线示意图，(a)为正确率曲线，(b)为损失函数曲线。本发明提供的一种基于微环调制器的神经网络图像处理系统，光子神经网络在经过50个epoch训练之后，损失曲线和准确率曲线基本平稳，网络达到收敛状态，网络在测试集上的正确率达到98.68％。

图9所示本发明一个实施例中不同调制精度下混淆矩阵的示意图，(d)为6bit调制精度下的混淆矩阵，(e)为5bit调制精度下的混淆矩阵，(f)为4bit调制精度下的混淆矩阵。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于微环调制器的神经网络图像处理系统，其特征在于，所述图像处理系统包括：

阵列的多个激光器，以及多个全通型微环，每个激光器连接的每个全通型微环的输入端，通过阵列的m²个波长不同的激光器模拟待处理图像的m×m个像素，将不同波长的每个激光器输出的激光输入至每个全通型微环，每个激光器的输出波长与相应连接的全通型微环的谐振波长对应；

其中，通过对每个所述全通型微环施加恒定电压，输入光进入对应全通型微环因谐振产生加强，使输出的光强值与待处理图像的像素值成正比，从而对每个全通型微环输出的激光的光强度以待处理图像的像素值进行编码，使得一个全通型微环输出的光强度对应待处理图像的一个像素值；

每个全通型微环的输出端通过波分复用器连接至分插复用型微环的输入端，所述分插复用微环的输出端连接至平衡探测器，将分插复用微环输出的光信号转换成电信号并进行乘法运算，

其中，根据神经网路卷积核的参数值通过对所述分插复用微环施加恒定电压，使所述分插复用微环的输入信号的光强值与输出信号的光强值成对应比值，所述比值为卷积核的参数值，以实现通过分插复用微环特定光强度的调制值模拟神经网路卷积核的参数值；

所述平衡探测器连接至跨阻放大器，将处理后电信号输出，用于转换成处理后的数字图像信号。

2.根据权利要求1所述的图像处理系统，其特征在于，待处理图像的像素值为归一化处理后的像素值。

3.根据权利要求1所述的图像处理系统，其特征在于，卷积核的参数值为量化处理后的参数值。

4.根据权利要求1所述的图像处理系统，其特征在于，每个激光器的输出功率相同。