CN114970836B - 蓄水池神经网络实现方法、系统、电子设备及存储介质 - Google Patents

蓄水池神经网络实现方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114970836B
CN114970836B CN202210894946.1A CN202210894946A CN114970836B CN 114970836 B CN114970836 B CN 114970836B CN 202210894946 A CN202210894946 A CN 202210894946A CN 114970836 B CN114970836 B CN 114970836B
Authority
CN
China
Prior art keywords
wavelength
neural network
reservoir
signals
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210894946.1A
Other languages
English (en)
Other versions
CN114970836A (zh
Inventor
王曰海
赵子超
杨建义
余辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Research Institute Of Zhejiang University
Zhejiang University ZJU
Original Assignee
Shaoxing Research Institute Of Zhejiang University
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoxing Research Institute Of Zhejiang University, Zhejiang University ZJU filed Critical Shaoxing Research Institute Of Zhejiang University
Priority to CN202210894946.1A priority Critical patent/CN114970836B/zh
Publication of CN114970836A publication Critical patent/CN114970836A/zh
Application granted granted Critical
Publication of CN114970836B publication Critical patent/CN114970836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/503—Laser transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J14/00—Optical multiplex systems
    • H04J14/02—Wavelength-division multiplex systems
    • H04J14/0201—Add-and-drop multiplexing
    • H04J14/0202—Arrangements therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Optical Communication System (AREA)

Abstract

本发明公开了一种蓄水池神经网络实现方法，包括通过激光器发射光信号，通过调制器向光信号加载输入信息和其他波长对应的反馈信息，通过波分复用单元汇合得到波分复用信号，输入至MZI阵列中；MZI阵列对波分复用信号矩阵运算，通过波分解复用分离得到波长光信号，通过探测器将波长光信号转化为电信号，通过FPGA向电信号施加激活函数得到反馈信息；循环迭代得到稳定的反馈信息作为蓄水池节点的状态，然后输入至初始全连接神经网络，通过交叉熵损失函数训练后得到全连接神经网络；该方法能够提升蓄水池神经网络的运算速度，较低功率，且具有较好的拟合能力。本发明还提供了蓄水池神经网络实现系统、电子设备及存储介质。

Description

蓄水池神经网络实现方法、系统、电子设备及存储介质
技术领域
本申请属于人工神经网络技术领域，特别涉及蓄水池神经网络实现方法、系统、电子设备及存储介质。
背景技术
人工神经网络是一种模仿人脑工作方式，依靠各层神经元之间的连接进行信息处理的系统，神经网络能够对大量数据进行分析。并且在输入信息不完整或部分信息不正确的情况下，也能完成所要求的任务。近年来。神经网络被广泛应用于语音识别、图像处理、自动驾驶等热门领域。有着广阔的应用前景。
在诸多人工神经网络类别当中，循环神经网络因为其内部存在的反馈回路机制，使得其在工作时具有前馈神经网络所没有的记忆能力，能够用于处理具有时序特征的信息。但是，在通过反向传播算法对循环神经网络进行训练的过程中，由于其偏导误差的不断累加，可能会遇到梯度消失或者梯度爆炸等问题，从而增加网络训练的复杂度。
蓄水池神经网络是循环神经网络的一种，由回声状态网络（Echo StateNetworks，ESNs）和液体状态机（Liquid State Machines，LSMs）发展而来。蓄水池神经网络有三层网络组成，分别为输入层、中间层（也被称为蓄水池，reservoir）、输出层。其中，蓄水池层内部的神经元具有系数、随机且固定的互联特点，从而形成蓄水池内神经元的反馈回路。
蓄水池神经网络工作时，待处理的信号经过输入加权矩阵
Figure 869441DEST_PATH_IMAGE001
后进入到蓄水池中， 其内部神经元间的互连权重矩阵为
Figure 333920DEST_PATH_IMAGE002
，输出权重矩阵为
Figure 143744DEST_PATH_IMAGE003
。则蓄水池层中神经元更 新状态可以由以下等式所表征
Figure 402687DEST_PATH_IMAGE004
上式中：x为蓄水池节点的状态；u为蓄水池输入，y为水池输出，
Figure 422596DEST_PATH_IMAGE005
为从输出 到输入的反馈权重矩阵，该反馈在蓄水池神经网络中不是必须的，
Figure 425187DEST_PATH_IMAGE006
为非线性函数，t 为当前计算循环的时间，
Figure 338785DEST_PATH_IMAGE007
为每次计算循环迭代的时间间隔。
在训练蓄水池神经网络的过程中，只需要对输出矩阵
Figure 34209DEST_PATH_IMAGE008
进行反向传播算法训 练，而输入矩阵
Figure 541413DEST_PATH_IMAGE009
和内部互连权重矩阵
Figure 82116DEST_PATH_IMAGE010
则可以保持不变。因此在训练过程中 的复杂度会大大降低，从而避免了循环网络时由误差累计带来的梯度消失或梯度爆炸问 题。因此，蓄水池神经网络有望替代常规的循环神经网络，在语音识别、时间序列预测、信号 处理等需要引入反馈功能的深度学习应用领域中发挥作用。然而，电蓄水池网络在发展的 过程中表现出一些局限性，为了提供分析和处理的能力，神经网络向着增大规模、增加复杂 性的方向发展，同时所需处理的数据量也急剧增加，这对芯片的性能提出更高的要求，传统 的电学芯片无法满足需要。
在这种情况下，以光作为信息载体的光神经网络逐渐引起了人们的兴趣，利用光学或光电混合方式实现神经网络中的神经元互连、矩阵乘法、训练算法、联想记忆等得到广泛研究，光学神经网络具有运算速度快，功率低，并行性好等优点。
因此亟需设计一种能够实现蓄水池神经网络架构的光学模块，达到提升蓄水池神经网络的运算速度和较低功率的作用。
发明内容
本发明提供一种蓄水池神经网络实现方法，该方法能够提升蓄水池神经网络的运算速度，较低功率，且具有较好的拟合能力。
一种蓄水池神经网络实现方法，包括：
（1）通过激光器发射多个波长光束，每个波长光束再分成数量与MZI阵列端口数相同的多束光信号，通过调制器向每个波长的每束光信号加载输入信息和其他波长对应的反馈信息；然后将每个波长的光信号分别通过对应的波分复用单元进行合束，并将得到的与MZI阵列端口数量相同的波分复用信号输入MZI阵列的各个端口中；
（2）通过现场可编程逻辑门阵列（FPGA）向MZI阵列输入稳定电压使得MZI阵列能够对输入的不同波分复用信号分别进行相同矩阵运算，通过波分解复用单元对运算结果进行分离得到多个运算后的波长光信号，通过探测器将多个运算后的波长光信号转化为对应的多个电信号，通过FPGA分别向多个电信号施加激活函数得到对应的多个反馈信息；
（3）循环迭代步骤（1）和（2），直到多个反馈信息收敛后停止迭代，将收敛后的多个反馈信息作为不同蓄水池节点的状态；
（4）将多个蓄水池节点的状态输入至初始全连接神经网络中得到输入信息的预测类别，通过输入信息的预测类别和真实类别构建交叉熵损失函数，通过交叉熵损失函数训练初始全连接神经网络，将初始全连接神经网络的参数更新后得到全连接神经网络；
（5）通过蓄水池网络和全连接神经网络构建蓄水池神经网络，蓄水池网络包括激光器，波分复用单元，调制器，MZI阵列，波分解复用单元，探测器和FPGA，应用时，将输入信息输入至蓄水池神经网络得到输入信息的类别，输入信息包括语音识别信息，时间序列信息或信号处理信息。
当输入信息为语音识别信息时，通过调制器向向每个波长的每束光信号加载输入信息，包括：
将语音识别信息分成多个音节信息，将每个音节信息进行特征提取得到多维音节向量，通过线性归一化将音节向量中的每个元素转化为满足MZI阵列各个调制器调制电压范围的电信号以得到多维音节向量电信号；
将每个音节信息分别加载到对应波长的光信号上，具体步骤为：通过调制器将对应音节信息中的每一维音节向量电信号分别加载在对应波长的每束光信号上。
波分复用单元与MZI阵列的输入端口一一对应，通过波分复用单元将每个MZI端口各自对应的多个波长的光信号合成一束后输入至MZI阵列各端口中。
通过调制器向每个波长的光信号加载输入信息和其他波长反馈信息之前，将输入信息和其他波长反馈信息归一化为满足MZI阵列调制电压范围的电信号。
波分解复用单元与MZI阵列输出端口一一对应，通过波分解复用单元将每个通过矩阵运算后的波分复用信号进行分解，将经过MZI矩阵运算后得到的多个波分复用信号分解为多个单波长信号。
通过FPGA分别向不同的电信号施加激活函数得到不同波长对应的反馈信息，激活函数为ReLU非线性激活函数。
通过输入信息的预测类别和真实类别构建交叉熵损失函数H为：
Figure 866533DEST_PATH_IMAGE011
其中，
Figure 467278DEST_PATH_IMAGE012
是第i个蓄水池节点的状态，
Figure 461779DEST_PATH_IMAGE013
是输入信息的预测类别，
Figure 806173DEST_PATH_IMAGE014
是输入信息的真实类别，
Figure 694363DEST_PATH_IMAGE015
为与权重矩阵和偏置向量相关的参数，
Figure 731589DEST_PATH_IMAGE016
为连接权重矩阵和 偏置向量的组合，n为蓄水池节点数量。
一种蓄水池神经网络实现系统，应用于硅基光芯片，包括：
输入模块，用于接收激光器发射的多个波长光束，每个波长光束再分成数量与MZI阵列端口数相同的多束光信号，通过调制器向每个波长的每束光信号加载输入信息和其他波长对应的反馈信息；
中间模块，用于将每个波长的光信号分别通过对应的波分复用单元进行合束，并将得到的与MZI阵列端口数量相同的波分复用信号输入MZI阵列的各个端口中；通过FPGA向MZI阵列输入稳定电压使得MZI阵列对输入的不同波分复用信号分别进行相同矩阵运算，将运算结果通过波分解复用单元分离得到多个运算后的波长光信号，通过探测器将多个运算后的波长光信号转化为对应的多个电信号，通过FPGA分别向多个电信号施加激活函数得到对应的多个反馈信息；将不同波长对应的反馈信息再次加载到对应的波长光信号上，循环迭代，直到每个波长对应的反馈信息收敛后停止迭代，将收敛后的每个波长对应的反馈信息作为不同蓄水池节点的状态；
输出模块，用于将不同蓄水池节点的状态输入至全连接神经网络得到输入信息的预测类别。
一种电子设备，包括存储器和硅基光芯片，存储器中存储有计算机程序，硅基光芯片调用存储器中的计算机程序时实现蓄水池神经网络实现方法的步骤。
一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现蓄水池神经网络实现方法的步骤。
与现有技术相比，本发明的有益效果为：
（1）本发明利用MZI阵列中的矩阵运算模块的宽谱特性，能够同时对多个波长的光进行运算，同时通过波分复用单元将加载信息后的多个波长汇合后作为MZI阵列的输入，能够将较多波长的光信号同时输入至MZI阵列，以增加蓄水池节点的数量，本发明提供的方法中将每个波长对应的一组相同波长的多个光信号视作一个蓄水池节点，蓄水池运算循环中的蓄水池节点数量与调用的光波长数量相同，蓄水池节点数量的增加能够为全连接网络提供更多的抽样节点，从而实现更好的拟合能力。
（2）本发明通过将其他波长光信号的反馈信息同时加载到当前波长光信号上，与现有的蓄水池神经网络需要将上一个波长光信号的反馈信息加载到当前波长光信号上，逐次加载直到完成一个循环相比，能够更快的使得蓄水池网络趋近于收敛状态，以加快运算速度，降低功率。
（3）利用蓄水池神经网络不需要训练蓄水池层，即中间层的特点，极大降低了MZI阵列调制改变而引入的误差和功耗问题。
附图说明
图1为本发明具体实施方式提供的蓄水池神经网络架构图；
图2为本发明具体实施方式提供的蓄水池神经网络中的波分复用单元工作示意图；
图3为本发明具体实施方式提供的蓄水池网络信息处理流程图；
图4为本发明具体实施例方式提供的蓄水池神经网络中的全连接层框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明提供一种基于相干光学模块的蓄水池神经网络实现方式，如图1所示，包括：
由激光器（Laser）所发出的光束包含多个波长的等功率光信号（①），在经过各自调制器（MOD）将输入信息和其他波长对应的反馈信息调制到当前波长光信号上，将输入信息和其他波长反馈信息归一化为满足MZI阵列调制电压范围的电信号。
如图2所示，将每个波长的光信号按照MZI阵列的4个端口划分为4束功率相同的光信号，每个单波长中的多个光信号分别经过调制器调制（MOD）调制信号后，通过对应的波分复用单元，即WDM1、WDM2、WDM3和WDM4，最终合束成4个波分复用信号，然后分别将4个波分复用信号通过对应MZI端口，即MZI端口1，MZI端口2，MZI端3和MZI端口4输入至MZI阵列（MZIarray）中（②），波分复用单元与MZI端口一一对应。
FPGA向MZI阵列输入稳定的控制电压，使得MZI阵列中的矩阵参数固定（⑤），每个波分复用信号在MZI阵列中分别进行相同的矩阵运算，将运算后的波分复用信号输入至波分解复用单元（DWDM）（③）得到多个运算后的波长光信号，通过对应的探测器（PD）将多个运算后的波长光信号转化为对应的多个电信号。
将对应的多个电信号（④）向FPGA传输，FPGA分别向多个电信号施加ReLU非线性激活函数得到对应的多个反馈信息，FPGA将对应的多个反馈信息通过电信号（⑥）分别输入到调制器（MOD）中以调制到其他波长的光信号上，通过循环迭代，直到多个反馈信息收敛后停止迭代，将收敛后的多个反馈信息作为不同蓄水池节点的状态；从而实现波分复用信号不同波长同时计算、相互循环反馈的机制。信号传输过程中，①、②、③信号为光信号，用黑色标出，④、⑤、⑥信号为电信号，用红色标出。
本实施例构建的训练样本主要选取语音识别信息对光学蓄水池神经网络功能进行验证和训练，用于进行音节单词的识别任务。训练时，将输入信息通过调制器输入电压的形式载入光学计算模块中，即MZI阵列，将语音识别信息分成4个音节信息，分别为第一音节信息，第二音节信息，第三音节信息和第四音节信息，将每个音节信息进行特征提取得到4维音节向量，通过线性归一化将音节向量中的每个元素转化为满足MZI阵列中各个调制器的调制电压范围内的电信号以得到4维音节向量电信号；
如图2所示，将第一个音节信息加载到
Figure 947807DEST_PATH_IMAGE017
波长的光信号上，具体步骤为：将
Figure 95891DEST_PATH_IMAGE017
波长按照MZI端口数分为4束相同功率的光信号，将第一音节信息对应的4维向量电信号由 调制器（MOD）分别加载到激光器发射的
Figure 589321DEST_PATH_IMAGE017
波长的4束相同功率的光信号中；
采用第一个音节信息加载到
Figure 797448DEST_PATH_IMAGE017
波长的光信号上的方法依次将第二音节信息，第 三音节信息和第四音节信息分别加载到
Figure 500962DEST_PATH_IMAGE018
波长的光信号上，然后，分别从
Figure 187158DEST_PATH_IMAGE019
波长的多个光信号中选择一束加载信息的光信号形成由4个不同波 长的光信号组成的光信号集合，将4组光信号集合分别通过对应的波分复用单元，即WDM1、 WDM2、WDM3和WDM4进行合束，将合束后的4个波分复用信号分别通过对应的MZI端口，即MZI 端口1，MZI端口2，MZI端3和MZI端口4输入至MZI阵列（MZI array）中。
如图3所示，蓄水池网络对第一音节信息实施循环计算处理方法，具体步骤为：将 第一音节信息的4维特征向量做为
Figure 49941DEST_PATH_IMAGE017
波长输入信息，将
Figure 163391DEST_PATH_IMAGE017
波长输入信息和其他波长对 应的反馈信息经归一化处理转化为电压信号，然后通过调制器加载到MZI每个端口对应的
Figure 354200DEST_PATH_IMAGE017
波长的光信号上，4个
Figure 844088DEST_PATH_IMAGE017
波长的光信号经过各自对应的波分复用单元后，进入MZI阵 列的各个端口中同时进行矩阵运算，将矩阵运算得到的结果，即MZI阵列输出的4个光信号 通过波分解复用单元，被探测器接收至FPGA中施加ReLU非线性激活函数后得到的
Figure 171164DEST_PATH_IMAGE020
波 长的的对应反馈信息，将
Figure 862039DEST_PATH_IMAGE017
波长的对应反馈信息归一化后加载到
Figure 540145DEST_PATH_IMAGE021
波长的 光信号上，循环迭代直到得到收敛的
Figure 833723DEST_PATH_IMAGE017
波长对应的反馈信息，将收敛的
Figure 15306DEST_PATH_IMAGE017
波长对应的 反馈信息视为蓄水池节点1的状态
Figure 595192DEST_PATH_IMAGE022
。
采用上述的第一音节信息实施循环计算处理方法来处理其余的3个音节信息得到 蓄水池节点1，2，3的状态。MZI阵列的4个输入端口中，每个MZI阵列端口都将输入含有四个 波长
Figure 760594DEST_PATH_IMAGE023
且各自携带音节信息的光信号，且每个波长在经过MZI矩阵乘法运算，转化成 电信号后在FPGA上的运算结果均视为一个蓄水池的节点状态，每个MZI阵列的输入光信号 将会携带其他波长光信号计算得到蓄水池节点状态的反馈信息，每个波长的计算结果相互 之间的反馈形成循环。以此类推，利用MZI同时完成多个波长的矩阵运算，从而实现蓄水池 层中多个蓄水池节点的状态表征。
如图4所示四个蓄水池节点计算得到的一维向量输入进含有一层隐藏层的全连接网络中，全连接网络中的非线性激活函数采用ReLU函数，通过全连接网络得到one-hot形式的分类结果。
训练蓄水池神经网络中的全连接网络时，蓄水池网络的参数并固定不动，蓄水池网络包括激光器，波分复用单元，调制器， MZI阵列，波分解复用单元，探测器和FPGA，仅仅对全连接网络进行训练，训练时，输入不同语音信号样本进入蓄水池循环中并得到循环收敛后的各个蓄水池节点状态。之后，利用输入得到的样本蓄水池节点状态对全连接网络中进行训练，训练时利用交叉熵损失函数H为：
Figure 592284DEST_PATH_IMAGE011
其中，
Figure 159531DEST_PATH_IMAGE012
是第i个蓄水池节点的状态，
Figure 661051DEST_PATH_IMAGE013
是输入信息的预测类别，
Figure 313749DEST_PATH_IMAGE014
是输入信息的真实类别，
Figure 949130DEST_PATH_IMAGE015
为与权重矩阵和偏置向量相关的参数，
Figure 105305DEST_PATH_IMAGE016
为连接权重矩阵和 偏置向量的组合，n为蓄水池节点数量。
最终通过优化
Figure 292572DEST_PATH_IMAGE024
函数完成初始全连接神经网络的参数更新得到全连接神 经网络，通过蓄水池网络和全连接神经网络构建蓄水池神经网络，蓄水池网络包括激光器， 波分复用单元，调制器， MZI阵列，波分解复用单元，探测器和FPGA，应用时，将语音识别信 息输入至蓄水池神经网络得到音节单词的类别。
一种蓄水池神经网络实现系统，应用于硅基光芯片，包括：
输入模块，用于接收激光器发射的多个波长光束，每个波长光束再分成数量与MZI阵列端口数相同的多束光信号，通过调制器向每个波长的每束光信号加载输入信息和其他波长对应的反馈信息；
中间模块，用于将每个波长的光信号分别通过对应的波分复用单元进行合束，并将得到的与MZI阵列端口数量相同的波分复用信号输入MZI阵列的各个端口中；通过FPGA向MZI阵列输入稳定电压使得MZI阵列对输入的不同波分复用信号分别进行相同矩阵运算，将运算结果通过波分解复用单元分离得到多个运算后的波长光信号，通过探测器将多个运算后的波长光信号转化为对应的多个电信号，通过FPGA分别向多个电信号施加激活函数得到对应的多个反馈信息；将不同波长对应的反馈信息再次加载到对应的波长光信号上，循环迭代，直到每个波长对应的反馈信息收敛后停止迭代，将收敛后的每个波长对应的反馈信息作为不同蓄水池节点的状态；
输出模块，用于将不同蓄水池节点的状态输入至全连接神经网络得到输入信息的预测类别。
一种电子设备，包括存储器和硅基光芯片，存储器中存储有计算机程序，硅基光芯片调用所述存储器中的计算机程序时实现蓄水池神经网络实现方法的步骤。
一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现蓄水池神经网络实现方法的步骤。

Claims (10)

1.一种蓄水池神经网络实现方法，其特征在于，包括：
（1）通过激光器发射多个波长光束，每个波长光束再分成数量与MZI阵列端口数相同的多束光信号，通过调制器向每个波长的每束光信号加载输入信息和其他波长对应的反馈信息；然后将每个波长的光信号分别通过对应的波分复用单元进行合束，并将得到的与MZI阵列端口数量相同的波分复用信号输入MZI阵列的各个端口中；
（2）通过FPGA向MZI阵列输入稳定电压使得MZI阵列能够对输入的不同波分复用信号分别进行相同矩阵运算，通过波分解复用单元对运算结果进行分离得到多个运算后的波长光信号，通过探测器将多个运算后的波长光信号转化为对应的多个电信号，通过FPGA分别向多个电信号施加激活函数得到对应的多个反馈信息；
（3）循环迭代步骤（1）和（2），直到多个反馈信息收敛后停止迭代，将收敛后的多个反馈信息作为不同蓄水池节点的状态；
（4）将多个蓄水池节点的状态输入至初始全连接神经网络中得到输入信息的预测类别，通过输入信息的预测类别和真实类别构建交叉熵损失函数，通过交叉熵损失函数训练初始全连接神经网络，将初始全连接神经网络的参数更新后得到全连接神经网络；
（5）通过蓄水池网络和全连接神经网络构建蓄水池神经网络，蓄水池网络包括激光器，波分复用单元，调制器，MZI阵列，波分解复用单元，探测器和FPGA，应用时，将输入信息输入至蓄水池神经网络得到输入信息的类别，输入信息包括语音识别信息，时间序列信息或信号处理信息。
2.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，当输入信息为语音识别信息时，通过调制器向每个波长的每束光信号加载输入信息，包括：
将语音识别信息分成多个音节信息，将每个音节信息进行特征提取得到多维音节向量，通过线性归一化将音节向量中的每个元素转化为满足MZI阵列各个调制器调制电压范围的电信号以得到多维音节向量电信号；
将每个音节信息分别加载到对应波长的光信号上，具体步骤为：通过调制器将对应音节信息中的每一维音节向量电信号分别加载在对应波长的每束光信号上。
3.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，波分复用单元与MZI阵列的输入端口一一对应，通过波分复用单元将每个MZI端口各自对应的多个波长的光信号合成一束后输入至MZI阵列各端口中。
4.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，通过调制器向每个波长的光信号加载输入信息和其他波长反馈信息之前，将输入信息和其他波长反馈信息归一化为满足MZI阵列调制电压范围的电信号。
5.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，波分解复用单元与MZI阵列输出端口一一对应，通过波分解复用单元将每个通过矩阵运算后的波分复用信号进行分解，将经过MZI矩阵运算后得到的多个波分复用信号分解为多个单波长信号。
6.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，通过FPGA分别向不同的电信号施加激活函数得到不同波长对应的反馈信息，激活函数为ReLU非线性激活函数。
7.根据权利要求1所述的蓄水池神经网络实现方法，其特征在于，通过输入信息的预测类别和真实类别构建交叉熵损失函数H为：
Figure 282620DEST_PATH_IMAGE001
其中，
Figure 340706DEST_PATH_IMAGE002
是第i个蓄水池节点的状态，
Figure 386022DEST_PATH_IMAGE003
是输入信息的预测类别，
Figure 46810DEST_PATH_IMAGE004
是输入信息的真实类别，
Figure 126762DEST_PATH_IMAGE005
为与权重矩阵和偏置向量相关的参数，
Figure 339437DEST_PATH_IMAGE006
为连接权重矩阵和偏置向量的组合，n为蓄水池节点数量。
8.一种蓄水池神经网络实现系统，其特征在于，应用于硅基光芯片，包括：
输入模块，用于接收激光器发射的多个波长光束，每个波长光束再分成数量与MZI阵列端口数相同的多束光信号，通过调制器向每个波长的每束光信号加载输入信息和其他波长对应的反馈信息；
中间模块，用于将每个波长的光信号分别通过对应的波分复用单元进行合束，并将得到的与MZI阵列端口数量相同的波分复用信号输入MZI阵列的各个端口中；通过FPGA向MZI阵列输入稳定电压使得MZI阵列对输入的不同波分复用信号分别进行相同矩阵运算，将运算结果通过波分解复用单元分离得到多个运算后的波长光信号，通过探测器将多个运算后的波长光信号转化为对应的多个电信号，通过FPGA分别向多个电信号施加激活函数得到对应的多个反馈信息；将不同波长对应的反馈信息再次加载到对应的波长光信号上，循环迭代，直到每个波长对应的反馈信息收敛后停止迭代，将收敛后的每个波长对应的反馈信息作为不同蓄水池节点的状态；
输出模块，用于将不同蓄水池节点的状态输入至全连接神经网络得到输入信息的预测类别。
9.一种电子设备，其特征在于，包括存储器和硅基光芯片，存储器中存储有计算机程序，硅基光芯片调用存储器中的计算机程序时实现如权利要求1-7任一项所述蓄水池神经网络实现方法的步骤。
10.一种存储介质，其特征在于，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现如权利要求1-7任一项所述的蓄水池神经网络实现方法的步骤。
CN202210894946.1A 2022-07-28 2022-07-28 蓄水池神经网络实现方法、系统、电子设备及存储介质 Active CN114970836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210894946.1A CN114970836B (zh) 2022-07-28 2022-07-28 蓄水池神经网络实现方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210894946.1A CN114970836B (zh) 2022-07-28 2022-07-28 蓄水池神经网络实现方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114970836A CN114970836A (zh) 2022-08-30
CN114970836B true CN114970836B (zh) 2022-10-28

Family

ID=82969244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210894946.1A Active CN114970836B (zh) 2022-07-28 2022-07-28 蓄水池神经网络实现方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114970836B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508958B (zh) * 2022-10-08 2024-05-24 深圳中科天鹰科技有限公司 一种基于光学神经网络的光子芯片
CN116681117A (zh) * 2023-05-24 2023-09-01 浙江大学 一种基于光学神经元波长复用模块的光电计算机
CN117057407A (zh) * 2023-08-21 2023-11-14 浙江大学 一种面向有串扰的波分复用光学神经网络的训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983637A (zh) * 2016-09-27 2019-07-05 国立科学研究中心 带有光学反馈的激光器系统
CN112418403A (zh) * 2020-11-25 2021-02-26 清华大学 基于光学衍射原理和可编程器件的光学衍射计算处理器
CN113935474A (zh) * 2021-12-15 2022-01-14 苏州浪潮智能科技有限公司 循环神经网络的实现方法、系统、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210264242A1 (en) * 2018-06-27 2021-08-26 Ohio State Innovation Foundation Rapid time-series prediction with hardware-based reservoir computer
WO2020180351A1 (en) * 2019-03-05 2020-09-10 University Of Central Florida Photonic tensor accelerators for artificial neural networks
US20220012582A1 (en) * 2020-07-09 2022-01-13 Inorganic Intelligence, Inc. Neuromorphic photonics with coherent linear neurons

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983637A (zh) * 2016-09-27 2019-07-05 国立科学研究中心 带有光学反馈的激光器系统
CN112418403A (zh) * 2020-11-25 2021-02-26 清华大学 基于光学衍射原理和可编程器件的光学衍射计算处理器
CN113935474A (zh) * 2021-12-15 2022-01-14 苏州浪潮智能科技有限公司 循环神经网络的实现方法、系统、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Photonic matrix multiplication lights up photonic accelerator and beyond;Hailong Zhou et al;《light: science & applications》;20220203;全文 *
Scalable reservoir computing on coherent linear photonic processor;Mitsumasa Nakajima et al;《communications physics》;20210210;全文 *
光蓄水池神经网络研究进展;杨凌雁等;《中国激光》;20211031;全文 *

Also Published As

Publication number Publication date
CN114970836A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114970836B (zh) 蓄水池神经网络实现方法、系统、电子设备及存储介质
De Marinis et al. Photonic neural networks: A survey
Mengu et al. Analysis of diffractive optical neural networks and their integration with electronic neural networks
Li et al. Class-specific differential detection in diffractive optical neural networks improves inference accuracy
US11704550B2 (en) Optical convolutional neural network accelerator
Fan et al. Joint optical performance monitoring and modulation format/bit-rate identification by CNN-based multi-task learning
CN109376855B (zh) 一种光神经元结构和包含该结构的神经网络处理系统
CN109784486A (zh) 一种光学神经网络处理器及其训练方法
CN109784485A (zh) 一种光学神经网络处理器及其计算方法
CN115545173A (zh) 用于信号处理的光调制神经元及全光衍射神经网络方法
CN111582468B (zh) 光电混合智能数据生成计算系统及方法
Wu et al. Photonic bayesian neural network using programmed optical noises
Freire et al. Artificial neural networks for photonic applications—from algorithms to implementation: tutorial
Nguimdo et al. Impact of optical coherence on the performance of large-scale spatiotemporal photonic reservoir computing systems
Vatsavai et al. Photonic reconfigurable accelerators for efficient inference of cnns with mixed-sized tensors
Villar-Rodriguez et al. Analyzing the behaviour of D'WAVE quantum annealer: fine-tuning parameterization and tests with restrictive Hamiltonian formulations
Shi et al. Image classification with a 3-layer soa-based photonic integrated neural network
CN116596056A (zh) 基于混合变异策略遗传算法的深度光学神经网络训练方法及系统
CN114707629A (zh) 基于光散射的矩阵计算方法及光学神经网络
Vahdat et al. Active learning for high-dimensional binary features
Khan et al. Data augmentation to improve machine learning for optical network failure management
CN115496195A (zh) 基于mzi阵列和fp-sa的光脉冲神经网络实现装置
CN114004353A (zh) 减少光器件数量的光神经网络芯片构建方法及系统
CN115168864A (zh) 一种基于特征交叉的智能交叉合约漏洞检测方法
Picco et al. Real-Time Photonic Deep Reservoir Computing for Speech Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant