CN111882052A - 光子卷积神经网络系统 - Google Patents

Abstract

本发明实施例提供一种光子卷积神经网络系统，包括：多波长光源，用于输出具有多个波长的光信号；第一调制器，用于将待处理的第一矩阵中的元素加载到光信号上得到第一调制光信号；波分解复用器，用于将第一调制光信号分解输出为多个分波光信号；第二调制器，用于将待处理的第二矩阵中的元素加载到多个分波光信号上得到多个第二调制光信号；延时线，用于将多个第二调制光信号按照时序重新排布；波分复用器，用于将经过重新排布的多个第二光调制信号汇合输出为合波光信号；光电探测器，用于将合波光信号进行采样并转换为电信号，输出卷积结果。本发明实施例的光子卷积神经网络系统，能够实现高速浮点运算，提高运算速率，且降低能耗。

Description

光子卷积神经网络系统

技术领域

本发明涉及光子计算技术领域，尤其涉及一种光子卷积神经网络系统。

背景技术

在计算机科学的飞速发展和数据爆炸的推动下，基于人工神经网络的深度学习系统已成为目前计算领域研究的前沿热点。卷积神经网络是深度学习中广泛采用的神经网络模型，特别是在机器视觉、图像识别等研究领域具有重要应用。卷积神经网络中的卷积核是图像模糊、锐化、边缘检测等处理方案的基本运算单元，其一般情况下为一个小规模矩阵。利用卷积核在图像信息的大规模矩阵上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘后再相加，可以对图像每像素的信息重新加权，并实现图像特征提取。

现有的卷积神经网络采用电子作为载体进行运算，但在目前计算机体系中，随着电路集成度和运算速率的不断提高，电子作为信息处理和传递的载体面临串扰、功耗、时延等一系列固有瓶颈，使得现有的卷积神经网络能耗较大，速率较低。

发明内容

本发明实施例提供一种光子卷积神经网络系统，用以解决现有技术中卷积神经网络能耗较大，速率较低的缺陷，实现高速浮点运算，提高运算速率，而且能够降低能耗。

本发明实施例提供一种光子卷积神经网络系统，包括：多波长光源，用于输出具有多个波长的光信号；第一调制器，所述第一调制器的输入端与所述多波长光源的输出端光通信连接，所述第一调制器用于将待处理的第一矩阵中的元素加载到所述光信号上得到第一调制光信号；波分解复用器，所述波分解复用器的输入端与所述第一调制器的输出端光通信连接，所述波分解复用器用于将所述第一调制光信号分解输出为多个分波光信号；第二调制器，所述第二调制器的输入端与所述波分解复用器的输出端光通信连接，所述第二调制器用于将待处理的第二矩阵中的元素加载到所述多个分波光信号上得到多个第二调制光信号；延时线，所述延时线的输入端与所述第二调制器的输出端光通信连接，用于将多个第二调制光信号按照所述时序重新排布；波分复用器，所述波分复用器的输入端与所述延时线的输出端光通信连接，用于将经过重新排布的多个第二光调制信号汇合输出为合波光信号；光电探测器，所述光电探测器的输入端与波分复用器的输出端电连接，用于将所述合波光信号进行采样并转换为电信号，输出卷积结果。

根据本发明一个实施例的光子卷积神经网络系统，所述第一调制器还用于将待处理的第一矩阵中的多个元素按照时序加载到所述光信号的每个波长上得到第一调制光信号，所述第二调制器还用于将待处理的第二矩阵中的多个元素分别对应加载到所述多个分波光信号上得到多个第二调制光信号；或者，所述第一调制器还用于将待处理的第一矩阵中的多个元素分别对应加载到所述光信号的多个波长上得到第一调制光信号；所述第二调制器用于将待处理的第二矩阵中的多个元素按照时序加载到每一个所述分波光信号上得到多个第二调制光信号。

根据本发明一个实施例的光子卷积神经网络系统，所述波分解复用器的输出端包括多个输出通道，每个所述输出通道对应输出一个所述分波光信号；所述第二调制器具有多个子调制器，所述多个子调制器与所述多个输出通道一一对应；所述子调制器的数量与所述光信号的波长数量、所述第一矩阵中的元素数量、所述第二矩阵中的元素数量均相等。

根据本发明一个实施例的光子卷积神经网络系统，所述多个子调制器以阵列的方式排布。

根据本发明一个实施例的光子卷积神经网络系统，所述多个子调制器沿同一条直线排布。

根据本发明一个实施例的光子卷积神经网络系统，所述光子卷积神经网络系统还包括：处理器，所述处理器的输入端与所述光电探测器的输出端电连接，用于对所述卷积结果进行补偿。

根据本发明一个实施例的光子卷积神经网络系统，所述光子卷积神经网络系统还包括：显示器，所述显示器的输入端与所述光电探测器的输出端电连接，用于对所述卷积结果进行显示。

根据本发明一个实施例的光子卷积神经网络系统，所述多波长光源包括：片上光学频率梳、微环谐振腔或者锁模激光器。

根据本发明一个实施例的光子卷积神经网络系统，所述波分复用器包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

根据本发明一个实施例的光子卷积神经网络系统，所述波分解复用器包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

本发明实施例提供的光子卷积神经网络系统，通过以光信号作为卷积运算的载体，能够实现高速浮点运算，提高运算速率，而且能够降低能耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种光子卷积神经网络系统的结构示意图；

图2是本发明实施例提供的多波长光源输出的光信号的示意图；

图3是本发明实施例提供的加载第一矩阵以及分解得到多个分波光信号的过程示意图；

图4是本发明实施例提供的加载第二矩阵得到多个第二调制光信号的过程示意图；

图5是本发明实施例提供的采样过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图2描述本发明实施例的光子卷积神经网络系统。

本发明实施例提供的光子卷积神经网络系统可以应用于图像识别领域，比如可以采用光子卷积神经网络系统将待识别图像中的文字信息识别出来。

如图1所示，本发明实施例提供一种光子卷积神经网络系统，包括：多波长光源10、第一调制器20、波分解复用器30、第二调制器40、延时线50、波分复用器60以及光电探测器70。

其中，多波长光源10用于输出具有多个波长的光信号。

可以理解的是，如图2所示，多波长光源10能够产生具有多个波长的光信号，这种光信号的多个波长能够携带不同的信息，可以作为卷积运算的信息载体。

第一调制器20的输入端与多波长光源10的输出端光通信连接，第一调制器20用于将待处理的第一矩阵中的元素加载到光信号上得到第一调制光信号。

比如：第一调制器用于将待处理的第一矩阵中的多个元素按照时序加载到光信号的每个波长上得到第一调制光信号。

第一矩阵可以是是输入数据矩阵，在图像识别的场景中具体来说可以是图像像素点的灰度值。

可以理解的是，如图3所示，待处理的第一矩阵具有多个元素，例如第一矩阵可以具有9个元素，用X表示第一矩阵：

其中，xi为第一矩阵X中的第i个元素。

可以根据第一矩阵中的元素数量确定多波长光源10输出的光信号的波长的数量，在此例中波长的数量可以是9，那么第一矩阵中元素对应的波长分别表示为λ₁至λ₉，第一调制器20将第一矩阵X的每一元素以光强的形式同时加载到9个波长上，x1至x9的信号加载间隔为Δt₁。

换言之，每个波长上均加载有9个元素，在每个波长上，x1至x9的信号加载间隔为Δt₁，也就是说，第一调制光信号可以由9个波长组成，每个波长上按照时序加载有9个元素。

波分解复用器30的输入端与第一调制器20的输出端光通信连接，波分解复用器30用于将第一调制光信号分解输出为多个分波光信号。

波分解复用器30将上述由多个波长组成的第一调制光信号进行分解，得到多个分波光信号，比如，多个分波光信号可以用C1至C9表示。

第二调制器40的输入端与波分解复用器30的输出端光通信连接，第二调制器40用于将待处理的第二矩阵中的元素加载到多个分波光信号上得到多个第二调制光信号。

比如，第二调制器用于将待处理的第二矩阵中的多个元素分别对应加载到多个分波光信号上得到多个第二调制光信号。

第二矩阵可以是卷积核矩阵，可以理解为一种滤波器，具有平滑，模糊，去燥，锐化，边缘提取等功能。

可以理解的是，如图4所示，待处理的第二矩阵具有多个元素，例如第二矩阵可以具有9个元素，用Y表示第二矩阵：

其中，yi为第二矩阵Y中的第i个元素。

第二调制器40可以将第二矩阵Y中的多个元素以光强的形式加载到多个分波光信号上，最终形成多个第二调制光信号。

如图4所示，可以将y₁加载到C1，则得到了x₁y₁、x₂y₁……x₉y₁，对应的y₂加载到C2，则得到了x₁y₂、x₂y₂……x₉y₂，类推y₉加载到C9，则得到了x₁y₉、x₂y₉……x₉y₉。

延时线50的输入端与第二调制器40的输出端光通信连接，用于将多个第二调制光信号按照时序重新排布。

可以理解的是，延时线50能够将多个第二调制光信号按照一定的时间间隔Δt₁进行加载，使得多个第二调制光信号按照时序重新排布，此处相邻的两个第二调制光信号之间的时间间隔为Δt₁，与上述x₁至x₉在光信号的每个波长上的加载时间间隔相同。

波分复用器60的输入端与延时线50的输出端光通信连接，用于将经过重新排布的多个第二光调制信号汇合输出为合波光信号。

可以理解的是，波分复用器60将上述经过延时后按照时序重新排布的多个第二调制光信号汇合到一个通道，输出合波光信号。

光电探测器70的输入端与波分复用器60的输出端电连接，用于将合波光信号进行采样并转换为电信号，输出卷积结果。

可以理解的是，如图5所示，光电探测器70可以选择合适的采样时刻，对合波光信号上承载的信息进行采样，比如，按照得到第一矩阵X和第二矩阵Y按位相乘结果的采样时刻进行采样，即只采集合波光信号中的x₁y₁、x₂y₂……x₉y₉信息，并将其转化为电信号，最终得到卷积结果，卷积结果可以表示为：

最终光电探测器70输出的电流强度可与

成正比。

最终得到的卷积结果就是经过滤波处理后的图像信息，可以用于信息的提取和识别。

值得一提的是，本发明实施例提供的光子卷积神经网络系统，可以利用光电子器件高带宽，低功耗的特性，实现超高速计算。光计算的过程发生在光传播以及光电转换的过程中。计算数据加载在到光载波上之后，将随载波以光速通过各个光电子器件。当光信号传播至接收端时，计算过程便已完成。

另外，光信号本身为模拟信号，理论上可以进行高精度的浮点运算。浮点数据可以转换为光强，转换精度与光电子器件的线性度、接收端灵敏度以及系统噪声有关。相比利用电子作为信息载体进行运算，片上光计算架构可以避免数据的二进制转换的过程，实现高速的浮点运算。

本发明实施例提供的光子卷积神经网络系统，通过以光信号作为卷积运算的载体，能够实现高速浮点运算，提高运算速率，而且能够降低能耗。

在图像识别的场景运用中，本发明实施例通过多波长光源输出具有多个波长的光信号；第一调制器将包含图像像素点灰度值的第一矩阵加载到光信号上得到第一调制光信号；波分解复用器将第一调制光信号进行分解得到多个分波光信号；第二调制器将作为卷积核的第二矩阵加载到多个分波光信号上得到多个第二调制光信号；延时线将多个第二调制光信号按照时序重新排布；波分复用器将经过重新排布的多个第二光调制信号汇合输出为合波光信号；光电探测器70将合波光信号进行采样并转换为电信号，输出包含经过滤波处理后的图像信息的卷积结果。

换言之，在图像识别的场景运用中，本发明实施例提供的光子卷积神经网络模型能够将图像进行滤波处理，得到准确的图像信息，用于进一步信息提取和识别。

在一些实施例中，第一调制器还用于将待处理的第一矩阵中的多个元素分别对应加载到光信号的多个波长上得到第一调制光信号。

可以理解的是，此时第一矩阵中的多个元素并不是按照时序加载到光信号的每个波长上，而是每个波长上加载一个元素，例如：λ₁加载x₁，λ₉加载x₉，此时9个波长上就加载了9个元素。

第二调制器用于将待处理的第二矩阵中的多个元素按照时序加载到每一个分波光信号上得到多个第二调制光信号。

比如，将y₁、y₂……y₉均加载到C1，则得到了x₁y₁、x₁y₂……x₁y₉，将y₁、y₂……y₉均加载到C2，则得到了x₂y₁、x₂y₂……x₂y₉，类推将y₁、y₂……y₉均加载到C9，则得到了x₉y₁、x₉y₂……x₉y₉。同样的，光电探测器只采集合波光信号中的x₁y₁、x₂y₂……x₉y₉信息，并将其转化为电信号，最终得到卷积结果，卷积结果可以表示为：

在一些实施例中，波分解复用器30的输出端包括多个输出通道，每个输出通道对应输出一个分波光信号。

可以理解的是，波分解复用器30的输出端可以包括多个输出通道，多个分波光信号分别从多个输出通道中输出。

第二调制器40具有多个子调制器，多个子调制器与多个输出通道一一对应，每个子调制器加载第二矩阵Y的一个元素，子调制器的数量与光信号的波长数量、第一矩阵中的元素数量、第二矩阵中的元素数量均相等。这样设置能够实现多线程同时处理，进一步提高运算速率，且能够避免卷积运算过程中的数据干扰和混杂。

在一些实施例中，多个子调制器以阵列的方式排布。

可以理解的是，多个子调制器是以阵列的方式进行排布，这样使得经过波分解复用器30分解处理得到的多个分波光信号能够以阵列的方式进入第二调制器40，阵列的布置方式能够避免分波光信号互相干扰或者发生混杂，能够降低误差。

在一些实施例中，多个子调制器的阵列排列方式与第二矩阵的元素排列方式一致。

比如第二矩阵Y的排列方式为3*3时，第二调制器40中多个子调制器的阵列排列方式也为3*3，这样布置能够使得在加载第二矩阵Y时更加准确，避免错位，且由于排列方式相同，加载的时候速度更快。

当然子调制器的阵列排列方式可以为纵向排布，多个子调制器可以沿同一条直线排布，所有的子调制器构成一列，可以和Y矩阵元素具体位置无关，只是调制器数量上与Y矩阵元素数量相同。比如Y矩阵元素数量为3*3＝9，子调制器的阵列排列方式为9*1。

如图1所示，在一些实施例中，光子卷积神经网络系统还包括：处理器80。

处理器80的输入端与光电探测器70的输出端电连接，用于对卷积结果进行补偿。

如图1所示，在一些实施例中，光子卷积神经网络系统还包括：显示器90。

显示器90的输入端与光电探测器70的输出端电连接，用于对卷积结果进行显示。

在一些实施例中，处理器80和显示器90还可以集成为显示处理单元，在显示处理单元上对卷积结果进行显示和补偿。

在一些实施例中，多波长光源10包括：片上光学频率梳、微环谐振腔或者锁模激光器。

片上光学频率梳、微环谐振腔以及锁模激光器属于激光光源的一种，能够获得窄脉宽、高峰值功率的超短脉冲激光。本发明实施例的多波长光源10可以采用片上光学频率梳、微环谐振腔或者锁模激光器中的任意一种。

在一些实施例中，波分复用器60包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

关于片上平面阵列波导光栅，AWG(Arrayed Waveguide Grating)是密集波分复用系统(DWDM)中的首选技术。一组具有相等长度差的阵列波导形成的光栅，使用具有分波的能力。其原理为：含有多个波长的复用信号光经中心输入信道波导输出后，在输入平板波导内发生衍射，到达输入凹面光栅上进行功率分配，并耦合进入阵列波导区。因阵列波导端面位于光栅圆的圆周上，所以衍射光以相同的相位到达阵列波导端面上。经阵列波导传输后，因相邻的阵列波导保持有相同的长度差ΔL，因而在输出凹面光栅上相邻阵列波导的某一波长的输出光具有相同的相位差，对于不同波长的光此相位差不同，于是不同波长的光在输出平板波导中发生衍射并聚焦到不同的输出信道波导位置，经输出信道波导输出后完成了波长分配即解复用功能。这一过程的逆过程，即如果信号光反向输入，则完成复用功能，原理相同。

关于马赫-曾德尔干涉仪(Mach–Zehnder interferometer)，是由两个3dB耦合器级联而成，利用两耦合器间的两干涉臂长差可以使不同的波长在不同的输出臂输出。

关于微环谐振腔，微环谐振腔具有体积小，结构简单，性能稳定，适合于大规模单片集成等一系列优势，因此其功能强大，是集成光学中非常关键的元器件之一。它在光滤波器、光延时线50、光缓存、光开关、光调制器、波长转换器、传感器、光逻辑门以及激光器等领域都有着重要的研究和应用价值。

在一些实施例中，波分解复用器30包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

换言之，波分解复用器30与波分复用器60可采用类似的器件，仅在设置或者使用功能上存在区别，均可使用片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术有关的部分可以以软件的形式体现出来，该计算架构可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种光子卷积神经网络系统，其特征在于，包括：

多波长光源，用于输出具有多个波长的光信号；

第一调制器，所述第一调制器的输入端与所述多波长光源的输出端光通信连接，所述第一调制器用于将待处理的第一矩阵中的元素加载到所述光信号上得到第一调制光信号；

波分解复用器，所述波分解复用器的输入端与所述第一调制器的输出端光通信连接，所述波分解复用器用于将所述第一调制光信号分解输出为多个分波光信号；

第二调制器，所述第二调制器的输入端与所述波分解复用器的输出端光通信连接，所述第二调制器用于将待处理的第二矩阵中的元素加载到所述多个分波光信号上得到多个第二调制光信号；

延时线，所述延时线的输入端与所述第二调制器的输出端光通信连接，用于将所述多个第二调制光信号按照所述时序重新排布；

波分复用器，所述波分复用器的输入端与所述延时线的输出端光通信连接，用于将经过重新排布的多个第二光调制信号汇合输出为合波光信号；

光电探测器，所述光电探测器的输入端与所述波分复用器的输出端光通信连接，用于将所述合波光信号进行采样并转换为电信号，输出卷积结果。

2.根据权利要求1所述的光子卷积神经网络系统，其特征在于，

所述第一调制器还用于将待处理的第一矩阵中的多个元素按照时序加载到所述光信号的每个波长上得到第一调制光信号，所述第二调制器还用于将待处理的第二矩阵中的多个元素分别对应加载到所述多个分波光信号上得到多个第二调制光信号；

或者，所述第一调制器还用于将待处理的第一矩阵中的多个元素分别对应加载到所述光信号的多个波长上得到第一调制光信号；所述第二调制器还用于将待处理的第二矩阵中的多个元素按照时序加载到每一个所述分波光信号上得到多个第二调制光信号。

3.根据权利要求1所述的光子卷积神经网络系统，其特征在于，

所述波分解复用器的输出端包括多个输出通道，每个所述输出通道对应输出一个所述分波光信号；

所述第二调制器具有多个子调制器，所述多个子调制器与所述多个输出通道一一对应；

所述子调制器的数量与所述光信号的波长数量、所述第一矩阵中的元素数量、所述第二矩阵中的元素数量均相等。

4.根据权利要求3所述的光子卷积神经网络系统，其特征在于，所述多个子调制器以阵列的方式排布。

5.根据权利要求4所述的光子卷积神经网络系统，其特征在于，所述多个子调制器沿同一条直线排布。

6.根据权利要求1-5中任一项所述的光子卷积神经网络系统，其特征在于，还包括：处理器，所述处理器的输入端与所述光电探测器的输出端电连接，用于对所述卷积结果进行补偿。

7.根据权利要求1-5中任一项所述的光子卷积神经网络系统，其特征在于，还包括：显示器，所述显示器的输入端与所述光电探测器的输出端电连接，用于对所述卷积结果进行显示。

8.根据权利要求1-5中任一项所述的光子卷积神经网络系统，其特征在于，所述多波长光源包括：片上光学频率梳、微环谐振腔或者锁模激光器。

9.根据权利要求1-5中任一项所述的光子卷积神经网络系统，其特征在于，所述波分复用器包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

10.根据权利要求1-5中任一项所述的光子卷积神经网络系统，其特征在于，所述波分解复用器包括：片上平面阵列波导光栅、级连型马赫-曾德尔干涉仪或者级连型微环谐振腔。

Images