CN109376855A - 一种光神经元结构和包含该结构的神经网络处理系统 - Google Patents

Abstract

本发明提供一种光神经元结构和包含该结构的神经网络处理系统。该神经元结构包括突触输入调制模块、突触权值调制模块、光线聚合模块和光强度探测模块，其中，突触输入调制模块用于接收光信号并在与输入神经元关联的电信号的控制下执行光路调制；突触权值调制模块用于在与权值关联的电信号控制下执行对所述承载输入神经元的光信号进行调制；光线聚合模块用于对多个突触权值调制模块的输出光信号进行聚合；光强度探测模块用于将来自于光线聚合模块的输出光信号转换为电信号并执行激活操作。本发明的光神经元结构和包含该结构的神经网络处理系统能够实现神经网络的快速计算。

Description

一种光神经元结构和包含该结构的神经网络处理系统

技术领域

本发明涉及人工神经网络技术领域，尤其涉及一种光神经元结构和包含该结构的神经网络处理系统。

背景技术

近年来，基于大数据的深度神经网络学习算法成为人工智能的主流方法之一，其以一种模拟人脑的机制解释数据，并通过组合低层特征形成更加抽象的高层属性。当前，深度神经网络技术在智能汽车、自然语言处理、无人机、信息安全等领域发挥基础性的作用。

人工神经网络是由大量的神经元组成，每一个神经元接受多路输入刺激，执行加权求和并在超过一定阈值时产生激活，将信号输出到下一级，神经元之间通过层次化关系构成神经网络结构。通常，神经网络包含一个输入层、多个隐藏层和一个输出层，神经元之间的交互可以抽象为三种计算模式，分别为：突触传播的加权操作、神经元内部的信号累加操作和传导到下一级的激活操作。

然而，目前电域计算方式(例如CPU、FPGA等)在神经元的推理计算方面面临功耗、速度等多方面的挑战。与电域技术相比，光在并行度、速度等方面有先天的优势，非常适合于神经元和神经网络的突触计算。由于神经元之间的大量复杂互联具有简单非线性运算的特点，而光学互联是高度并行的，在光域计算中光束不易产生串扰，并且光的传播速度极快，因此相比传统的电域计算，光域计算在人工神经网络的实现领域，有更大的优势和计算潜力。目前，基于光技术的神经网络处理还处于初步研究阶段，现有的光神经网络结构，不仅体积大、功耗高、性能差而且规模不容易扩展，而且这些神经网络结构较为固定，不能根据应用的需要动态的改变，普适性差。

因此，需要对现有技术进行改进，以提供普适性强、功耗低的光神经网络。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种光神经元结构和包含该结构的神经网络处理系统。

根据本发明的一个实施例，提供一种光神经元结构。该神经元结构包括突触输入调制模块、突触权值调制模块、光线聚合模块和光强度探测模块，其中：

所述突触输入调制模块用于接收光信号并在与输入神经元关联的电信号的控制下执行光路调制，获得承载所述输入神经元的光信号；

所述突触权值调制模块用于在与权值关联的电信号控制下执行对所述承载输入神经元的光信号进行调制，获得承载所述输入神经元和所述权值的乘法结果的光信号；

所述光线聚合模块用于对多个所述突触权值调制模块的输出光信号进行聚合，获得承载多个所述乘法结果的累加和的光信号；

所述光强度探测模块用于将来自于所述光线聚合模块的输出光信号转换为电信号并执行激活操作。

在一个实施例中，所述突触输入调制模块包括正输入调制器、负输入调制器，所述突触权值调制模块包括正权值调制器、负权值调制器，所述光线聚合模块包括正值光线聚合器、负值光线聚合器，所述光强度探测模块包括第一光电转换器、第二光电转换器和模数转换器，其中，所述正输入调制器用于调制正值的输入神经元，所述负输入调制器用于调制负值的神经元，所述正权值调制器连接所述正输入调制器，所述负权值调制器连接所述负输入调制器，所述正值光线聚合器接收所述正权值调制器的输出，所述负值光线聚合器接收所述负权值调制器的输出，所述第一光电转换器接收所述正值光线聚合器的输出，所述第二光电转换器用于接收所述负值光线聚合器的输出，所述模数转换器用于将所述第一光电转换器和所述第二光电转换器的输出电位差转换为数字信号，并执行对所述数字信号的激活操作。

在一个实施例中，利用半导体材料的非线性效应执行对所述数字信号的激活操作。

在一个实施例中，所述光线聚合模块是基于微机电系统的反射镜阵列。

在一个实施例中，所述光纤聚合模块由基于波长的无源阵列波导光栅路由器实现。

在一个实施例中，所述突触输入调制模块和所述突触权值调制模块由光调制器实现。

根据本发明的第二方面，提供了一种神经网络处理系统，其利用本发明提供的光神经元结构构成神经网络的输入层、隐层和输出层。

在一个实施例中，所述系统配置权值可变运行模式或权值固定的运行模式，对于权值可变的运行模式，在所述系统中设置相对小规模的光神经元，对于权值固定的模式，所述系统设置相对大规模的神经元。

在一个实施例中，对于权值可变的运行模式，基于所述系统中光神经元的规模将权值矩阵进行块分解通过复用配置的光神经元来执行神经网络的计算。

根据本发明的第三方面，提供了一种电子设备，其包含本发明提供的神经网络处理系统。

与现有技术相比，本发明的优点在于：采用基于光技术的神经元和神经网络计算结构，通过将人工神经元模型映射到光器件上，充分利用光线路高速度、高并行的特点，从而实现了高速度、低能耗和抗干扰的神经网络计算。本发明提供的神经网络处理系统能够根据需要的神经网络结构灵活配置，完成神经网络的各种操作，而且具有体积小、速度快、能耗低的特点并能够适用于不同的应用需求，具有很好的普适性。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了现有技术中通常的神经元结构和神经网络的示意图；

图2示出了根据本发明一个实施例的光神经元的结构示意图；

图3示出了根据本发明另一个实施例的光神经元的结构示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

图1示出了现有技术通常的神经元结构和神经网络结构的示意图，其中，图1(a)是神经元结构，其由突触计算、累加操作以及激活等三部分组成，每个突触有一个输入值xi和一个对应权值wi(示出为i＝1、2、3)，这两个值是有符号数(正数或负数)，每次突触计算完成一次乘法操作xi*wi，然后在神经元内部实现一个累加操作，并将累加和经过激活函数f处理后输出到下一级神经元，神经元的计算模型可以表示为输出y＝f(∑xi*wi+b)，其中b为偏置值。神经网络由若干层的神经元组成，参见图1(b)，示出了输入层、隐层和输出层，每层包括若干神经元，层与层之间、层内部按照需要组织神经元之间的连接关系。

根据本发明的一个实施例中，提供了一种基于光技术的神经元结构(在本文中也称为光神经元)，参见图2所示，该光神经元包括激光器模块210，突触输入调制模块220、突触权值调制模块230、光线聚合模块240和光强度探测模块250。

激光器模块210包括多个激光器，用于产生持续稳定的、单波长或多波长的光信号。

突触输入调制模块220包括多个突触输入调制器，光神经元的每一个神经突触对应一个突触权值调制器，突触输入调制模块220用于将激光器产生的光信号进行调制，例如，采用强度调制产生期望的光强分布，以承载与输入神经元值相对应的光信号。

突触权值调制模块230包括多个突触权值调制器，用于根据预定义的突触权值，将经突触输入调制模块220调制过的光信号进行再次调制，获得承载神经元输入信息和权值相乘结果的光信号。

光线聚合模块240用于将完成突触调制的多路光信号进行聚合，获得承载乘累加结果的光信号。例如，可利用光的反射或者折射原理将突触权值调制模块调制完成的光信号进行聚合，采用光强度的叠加完成累加操作。

光强度探测模块250用于接收光线聚合模块240的输出，执行光信号的强度检测并执行乘累加之后的激活操作。

综上，图2实施例中的光神经元与图1(a)的神经元结构对应，其模块间的互连关系为：激光器发出的光经过突触输入调制模块和突触权值调制模块分别调制后，多个突触的光线在光线聚合模块中聚合，经过强度探测模块探测后输出至下一级神经元。激光器对应现有神经元的驱动电信号，突触输入调制模块对应每一个突触的输入xi，突触权值调制模块对应神经元的每个突触的权值wi，光线聚合模块对应于神经元的累加和操作，光强度探测模块对应于神经元的激活函数操作。

图3进一步示出了本发明一个优选实施例的光神经元结构，包括激光器模块310，突触输入调制模块320、突触权值调制模块330、光线聚合模块340和光强度探测模块350，与图2实施例不同的是，图3的实施例中，通过两路光信号实现神经元结构。

突触输入调制模块320由两个分立的光调制器组成，分别称为正输入调制器和负输入调制器。根据本发明的另一个实施例，突触输入调制模块320是集成的光调制器。相应地，突触权值调制模块330分为正权值调制器和负权值调制器，光线聚合模块340由正值光线聚合器和负值光线聚合器组成。此外，在该实施例中，光强度探测模块350由两个光电转换器和一个模数转换器(ADC)构成。

正输入调制器和负输入调制器均可采用市售的光调制器实现，分别用于完成输入神经元的正数和负数调制，每个光调制器连接一个电域输入控制引脚，通过改变输入电压或输入电流来控制光调制器完成调制功能。

例如，在一个示例中，输入神经元和电压值的对应关系参见下表1所示。

表1输入值和电压值的映射表

输入神经元	电压值
		0	V0
1	V1
		2	V2
…	…
		255	V255

由表1可知，对于不同的输入神经元，控制光调制器的电域输入控制引脚接收对应的电压值，在该电压值的作用下，光调制器将激光器产生的光信号调制为承载输入神经元的光信号，其中，光调制器的电域输入控制引脚接收的电压值可通过外部单片机或者FPGA等控制。

类似地，突触权值调制模块330的正权值调制器和负权值调制器也可由光调制器实现，其工作原理与正输入调制器和负输入调制器类似，在此不再详述。

光线聚合模块340也分成两个部分，即正值光线聚合器和负值光线聚合器，这两个部分是两个独立的器件，但是根据本发明的另一个实施例，也可以是一个器件的两个不同端口。正值光线聚合器和负值光线聚合器分别对来自于正权值调制器和负权值调制器的光信号进行聚合。光线聚合器采用基于MEMS(微机电系统)的反射镜阵列实现，根据本发明的其他实施例，也可以采用基于波长的无源阵列波导光栅(AWG)路由器实现。

光强度探测模块350包含两个光电转换器和一个模数转换器，其中，两个光电转换器分别与正值光线路聚合器和负值光线路聚合器相连，完成光信号到电信号的转换。两个光电转换器的输出端相连与模数转换器(ADC)的输入端相连，模数转换器接收两个光电转换器的输出，以获得两个光电转换器之间的电位差，将采集的电位差转换成数字信号，并可利用半导体材料的非线性效应完成激活操作，然后输出至下一级。半导体材料的非线性效应是指，例如二阶非线性光学材料磷酸二氢钾、磷酸二氘钾、磷酸二氢铵、碘酸锂、铌酸锂等，在一定的相干激光照射下产生的非线性的效应。

基于图3示意的光神经元结构，对于光神经元中的若干突触，每个突触都有一个激光器的输入，其输入的是稳定的、单波长或多波长的光信号，该光信号在分光器作用下，分成两路，分别用于对正数和负数的调制。对于正数或负数调制的两路光线分别串联了两个调制器：一个是输入调制器，其在电信号的控制下完成神经元的输入，例如输入的值为x1，在外部单片机或者FPGA系统的控制下，电信号根据预定义的对应关系(如上表1所示)改变输入调制器的输入电压或输入电流，调制器完成光路的调制；另一个调制器是权值调制器，其工作原理与输入调制器类似，用于完成突触权值的调制。

在图3的实施例中，每个突触中分别对正值和负值进行分别调制的目的在于克服光单极性的问题(即光强度只能是正值或0，而不会是负数)。例如，输入神经元的值xi为3，则正输入调制器的调制值为3，而负输入调制器的调制值为0；如果输入神经元的值xi为-3，则正输入调制器的调制值为0，而负输入调制器的调制值为3，正负输入调制器的差值为-3。

应理解的是，也可采用其他方式来克服光的单极性问题，例如，通过线性变换将神经元值和权值均转变为正值，再经由调制模块调制，相应地，例如光线聚合器之后，首先通过逆变换再输入到光电转换器。

根据本发明提供的光神经元，能够构成神经网络处理系统(如图1(b)所示)，光神经网络由上述的若干光神经元组成，若干的光神经元组成一个光神经元层(例如，输入层、隐层和输出层等)，多个光神经元层组成光神经网络，其中每个层次中的光神经元数量和层次的个数可根据需要灵活配置，例如，配置每层中，正负输入调制器的数量、正负权值调制器的数量等、以及包含的隐层数量等。

应理解的是，在实际的光神经网络处理系统中，还包括控制模块和存储模块等，其中控制模块用于控制神经网络处理系统中各功能单元以及各层之间数据处理过程，以协调神经网络处理过程，所述存储模块用于保存待处理的神经元信息、权值、计算结果等。

本发明提供的光神经网络利用光器件来执行神经网络模型的各种功能，并且适用于权值可变和权值固定两种运行模式，它们之间的区别在于突触权值调制模块是否要实时的改变。

例如，在权值可变模式中，可以使用小规模的光神经元硬件系统，采用硬件复用的方式实现较大规模的神经元计算，这需要突触权值调制模块不断的改变突触的权值，以达到硬件复用的目的。而在权值固定模式下，突触权值调制模块的权值输入是固定的，无法实现硬件共享的目的，但由于不需改变权值，运行速度将会得以提高。

在一个实施例中，对于可变权值运行模式，配置较少的神经元数量，神经网络处理系统(结合图3所示)的工作流程包括以下步骤：

步骤S410，在系统运行之前，将神经网络的权值矩阵进行块分解，将一个大的矩阵分成若干的小块矩阵，从而适应系统中神经元的数量；

步骤S420，对每一个突触输入值xi按照正数和负数的形式进行分解，用于分别对每个突触的正输入调制器和负输入调制器进行控制；

步骤S430，对于每一组神经元操作，向突触权值调制模块输入权值信息，完成突触权值的调制；

步骤S440，对于每一组神经元操作，向突触输入调制模块输入神经元信息，完成突触输入的调制；

步骤S450，等待模数转换器输出稳定时读取输出数值，并进行缓存；

步骤S460，跳转至步骤S430，开始下一组神经元操作。

在另一个实施例中，对于以固定权值运行模式，神经网络处理系统的工作流程包括以下步骤：

步骤S510，在系统运行开始时，向突触权值调制模块输入权值信息，完成突触权值的调制，并将该权值固定，后续不再进行改变；

步骤S520，系统在运行之前对每一个突触输入值xi按照正数和负数的形式进行分解，用于分别对每个突触的正输入调制器和负输入调制器进行控制；

步骤S530，对于神经元操作，向突触输入调制模块输入神经元信息，以完成突触输入的调制；

步骤S540，等待模数转换器输出稳定时读取输出数值，并传递到下一级；

步骤S550，跳转至步骤S530，开始下一组突触输入调制。

本发明的光神经网络处理系统可应用了各种电子设备，例如、移动电话、嵌入式电子设备等。

本发明的光神经网络处理系统和包含该系统的电子设备可用于文字处理、语音识别与处理、多国语言翻译、图像识别、生物特征识到、智能控制等领域，可用作智能计算处理器、机器人、移动设备、也可用于构建大规模神经网络计算超级计算机。

综上所述，本发明基于空间光学技术和集成光学技术，利用光的衍射、折射和反射等物理特性设计的分立光器件和集成光芯片来实现光神经元架构和光神经网络，能够实现集成度高、能耗低、处理性能和扩展性强的光神经网络。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种光神经元结构，其特征在于，包括突触输入调制模块、突触权值调制模块、光线聚合模块和光强度探测模块，其中：

所述突触输入调制模块用于接收光信号并在与输入神经元关联的电信号的控制下执行光路调制，获得承载所述输入神经元的光信号；

所述突触权值调制模块用于在与权值关联的电信号控制下执行对所述承载输入神经元的光信号进行调制，获得承载所述输入神经元和所述权值的乘法结果的光信号；

所述光线聚合模块用于对多个所述突触权值调制模块的输出光信号进行聚合，获得承载多个所述乘法结果的累加和的光信号；

所述光强度探测模块用于将来自于所述光线聚合模块的输出光信号转换为电信号并执行激活操作。

2.根据权利要求1所述的光神经元结构，其特征在于，所述突触输入调制模块包括正输入调制器、负输入调制器，所述突触权值调制模块包括正权值调制器、负权值调制器，所述光线聚合模块包括正值光线聚合器、负值光线聚合器，所述光强度探测模块包括第一光电转换器、第二光电转换器和模数转换器，其中，所述正输入调制器用于调制正值的输入神经元，所述负输入调制器用于调制负值的神经元，所述正权值调制器连接所述正输入调制器，所述负权值调制器连接所述负输入调制器，所述正值光线聚合器接收所述正权值调制器的输出，所述负值光线聚合器接收所述负权值调制器的输出，所述第一光电转换器接收所述正值光线聚合器的输出，所述第二光电转换器用于接收所述负值光线聚合器的输出，所述模数转换器用于将所述第一光电转换器和所述第二光电转换器的输出电位差转换为数字信号，并执行对所述数字信号的激活操作。

3.根据权利要求2所述的光神经元结构，其特征在于，利用半导体材料的非线性效应执行对所述数字信号的激活操作。

4.根据权利要求1所述的光神经元结构，其特征在于，所述光线聚合模块是基于微机电系统的反射镜阵列。

5.根据权利要求1所述的光神经元结构，其特征在于，所述光纤聚合模块由基于波长的无源阵列波导光栅路由器实现。

6.根据权利要求1所述的光神经元结构，其特征在于，所述突触输入调制模块和所述突触权值调制模块由光调制器实现。

7.一种神经网络处理系统，其特征在于，利用权利要求1至6任一项所述的光神经元结构构成神经网络的输入层、隐层和输出层。

8.根据权利要求7所述的系统，其特征在于，所述系统配置权值可变运行模式或权值固定的运行模式，对于权值可变的运行模式，在所述系统中设置相对小规模的光神经元，对于权值固定的模式，所述系统设置相对大规模的神经元。

9.根据权利要求8所述的系统，其特征在于，对于权值可变的运行模式，基于所述系统中光神经元的规模将权值矩阵进行块分解通过复用配置的光神经元来执行神经网络的计算。

10.一种电子设备，包含根据权利要求6至9任一项所述的神经网络处理系统。