CN110956259A - 一种基于正向传播的光子神经网络训练方法 - Google Patents

一种基于正向传播的光子神经网络训练方法 Download PDF

Info

Publication number
CN110956259A
CN110956259A CN201911158372.6A CN201911158372A CN110956259A CN 110956259 A CN110956259 A CN 110956259A CN 201911158372 A CN201911158372 A CN 201911158372A CN 110956259 A CN110956259 A CN 110956259A
Authority
CN
China
Prior art keywords
signal
neural network
modulation
forward propagation
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911158372.6A
Other languages
English (en)
Other versions
CN110956259B (zh
Inventor
田野
赵洋
王玮
刘胜平
李强
冯俊波
郭进
韩建忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
United Microelectronics Center Co Ltd
Original Assignee
United Microelectronics Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Microelectronics Center Co Ltd filed Critical United Microelectronics Center Co Ltd
Priority to CN201911158372.6A priority Critical patent/CN110956259B/zh
Publication of CN110956259A publication Critical patent/CN110956259A/zh
Application granted granted Critical
Publication of CN110956259B publication Critical patent/CN110956259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于正向传播的光子神经网络训练方法，在光子神经网络的输入端设置光源，输出端设置光探测器，仅通过一次正向传播即可实现对整个网络所有参数的并行更新，优于现有电子芯片中训练神经网络所常用的反向传播‑逐层更新网络的方法。本发明仅需在输入端引入光源，在输出端配置光探测器即可实现参数梯度的计算；利用训练和推理都同样是通过正向传播来完成的特征，基于本发明的光子神经网络芯片可以实现训练和推理的同步进行；本发明可以给出额外的线索，帮助避免网络参数的训练陷入某些不正确的局域极值点，从而获得更好的训练效果。

Description

一种基于正向传播的光子神经网络训练方法
技术领域
本发明涉及光子神经网络训练方法技术领域，尤其涉及一种基于正向传播的光子神经网络训练方法。
背景技术
2017年，麻省理工学院的研究人员提出了一种典型的光子神经网络芯片(参见Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017).)，此芯片运用SVD算法将任意矩阵分解为2个酉矩阵和1个对角矩阵，然后用马赫—曾德干涉仪(Mach-Zehnder interferometer，MZI)组成的阵列模拟这3个矩阵，从而实现了全光任意矩阵相乘计算，为全连接神经网络的计算加速提供了一种光子学的解决思路。同时，将光子回路不擅长的存储、控制、非线性计算等部分放在外接的电路中进行，通过光电集成的方式实现一个理想智能功能的神经网络。然而，这种光子神经网络目前更多是应用在推理端，其训练则严重依赖于传统电子计算机对这一系统的模拟，因此光子神经网络芯片的实际性能受到模拟精度的制约。发展在片上直接训练光子神经网络的技术是提升其性能表现的关键。
人工神经网络的训练实际上对应着一个通过调整不同神经元之间连接权重提升网络输出结果准确性的过程。这一准确性可以通过神经网络模型的预测值f(x)与真实值Y的不一致程度，即损失函数(Loss function)来估量。损失函数的表达有交叉熵损失，平方损失，指数损失，hinge损失等。无论选择何种损失函数，通过训练更新权重使所使用的损失函数不断减小，总是意味着人工神经网络的分析判断与真实结果不断接近。最终损失函数无法通过训练继续减小时，认为人工神经网络的训练完成。
光子神经网络包含若干关联连接的MZI，光从光子神经网络输入并输出，对应着一个人工神经网络分析加载有信息的光信号并给出分析结果的过程(相关具体技术细节可参考论文Y.Shen，et al.“Deep learning with coherent nanophotonic circuits，”Nat.Photonics 11，441(2017))。而从这个意义上来讲，光子神经网络实际上是由一系列MZI的相位参数来描述，训练光子神经网络就是要通过不断的调整MZI的相位参数来降低损失函数，使之达到最小。即，
Min L(θ1,φ1,θ2,φ2......θn,φn)其中n为MZI数量
人工神经网络训练的一个核心工作在于如何获得网络参数的梯度，从而实现整个网络的更新。在论文Y.Shen，et al.“Deep learning with coherent nanophotoniccircuits，”Nat.Photonics 11，441(2017)中，麻省理工学院的研究人员提出了一种基于简单的片上原位(in-situ)训练方法：逐一扰动光子回路中各个器件的参数，比较被扰动前后计算结果的差别测量损失函数的梯度。这种逐个器件量测的方法对于大规模的光子神经网络是极为低效的。鉴于此，斯坦福大学的研究人员(Hughes T W，Momchil M，Yu S，etal.Training of photonic neural networks through in situ backpropagation andgradient measurement.Optica，2018，5(7)：864.)提出了一种基于反向传播的片上训练方法。这种方法某种程度上可认为是当前基于电子计算芯片的人工神经网络反向传播训练方法的“光学”版本，可以基于链式法则的特性逐层同步更新网络参量。然而，要实现这种方法需要对光子回路中的所有器件(或者其附近)的场分布进行无损的监测(即监测器的存在不能影响到光子回路的实际传播行为)。同时，基于反向传播来进行训练意味着光子神经网络芯片中，所有的端口都需要同时引入光源和探测器。这些都使得系统的复杂性大大增加。
有鉴于此，需要提供一种使得系统复杂性较低的训练方法。
发明内容
本发明的目的是为了克服现有技术的不足，提供了一种基于正向传播的光子神经网络训练方法，仅通过一次正向传播即可实现对整个网络所有参数的并行更新，解决了现有技术中对光子神经网络芯片训练增加系统复杂性的问题。
本发明是通过以下技术方案实现：
一种基于正向传播的光子神经网络训练方法，其中，光子神经网络包含若干关联连接的MZI干涉仪；包括以下方法或步骤：
A：向光子神经网络输入光信号，将该光子神经网络的光信号输出进行光电转换，并处理为代表该光子神经网络损失函数的电信号或电信息；各MZI干涉仪对应的调制信号记为初始信号S0；
B：在各MZI干涉仪的调制信号上分别叠加扰动调制信号，各扰动调制信号互为正交信号，且频率各不相同，扰动调制信号组记为ΔS；将该光子网络的损失函数记为L(s)；
C：获取或分析计算初始信号S0处所述损失函数的梯度，并记为
Figure BDA0002285405440000021
D：选择合适的比例参数α及扰动调制信号ΔS的大小，更新各MZI干涉仪对应的调制信号,更新公式为:
Figure BDA0002285405440000022
E、将调制信号更改为S2＝S1+ΔS，按照步骤A至D进行反复迭代，直至所得到的梯度趋近于0或无法进一步减小，则训练完成。
由于各个MZI分析仪的权重由其传输函数对应不同光通道的相位参数θ和φ共同决定，而θ和φ的具体数值可以由一组调制信号的状态组合来定义，因此，本技术方案通过对调制信号的处理，使得损失函数成为一种同时包含多个频点信息的含时函数，调制信号的正交性便于同时提取各个MZI分析仪的梯度分量信息。以泰勒展开进行分析，扰动调制信号已知，获取梯度信号及海塞矩阵即基本近似还原了损失函数。
进一步的，所述初始信号S0及扰动调制信号为同类信号，包含电压信号、电流信号、声波信号中的其中一种。
进一步的，所述扰动调制信号为电压信号，其电压表达式为ΔVsinωt或ΔVcosωt，其中，ΔV为幅值，ω为频率，t为时间因子。
进一步的，设置若干锁相放大器；在步骤C中，任一锁相放大器的参考通道仅唯一对应输入一个MZI干涉仪的相位调制信号，锁相放大器的信号通道输入损失函数的电信号或电信息L(s)；锁相放大器输出信号的电压幅值则正比于该MZI干涉仪对应梯度分量值的大小。
通过锁相放大器的设置，使得每一个MZI干涉仪对应损失函数的分量梯度都能够方便的获取，且电压幅值与分量梯度成正比关系，比例系数的调整也相对灵活，容错性更高，简单调整相位调制信号，还可提取海塞矩阵信息。
与现有的技术相比，本发明有以下有益之处：
1)仅通过一次正向传播即可实现对整个网络所有参数的并行更新，优于现有电子芯片中训练神经网络所常用的反向传播-逐层更新网络的方法；
2)本申请所述的基于前向传播的方案是一种端到端的训练方案，优于Hughes TW，Momchil M，Yu S，et al.Training of photonic neural networks through in situback propagation and gradient measurement.Optica，2018，5(7)：864.一文所述的光子芯片反向传播训练方案----需要对光子回路中的所有器件(或者其附近)的场分布进行无损的监测，且芯片的每一个端口都需要同时引入光源和光探测器----本发明仅在光子神经网络的输入端引入光源，在输出端配置光探测器即可实现参数梯度的获取或计算；
3)利用训练和推理都同样是通过正向传播来完成的特征，基于本方案的光子神经网络芯片可以实现训练和推理的同步进行；
4)本方案可以给出海塞矩阵等额外的线索，帮助避免网络参数的训练陷入某些不正确的局域极值点，从而获得更好的训练效果。
附图说明
图1为实施例中光子神经网络训练示意图。
图2为实施例中一个锁相放大器对应的信号处理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
已有的通过训练实现损失函数最小化的方法主要是反向传播算法。它通过链式法则，从神经网络的输出层开始，逐层反推网络中每一个权重的梯度，根据梯度给出的信息更新权重。区别于反向传播算法，本实施例提供的方法基于前向传播的信息来获取梯度进行权重的更新，从而达到训练神经网络的目的。
参见图1，本实施例中光子神经网络1包含若干关联连接的MZI干涉仪2；图1中的MZI干涉仪成矩形网格连接关系，其他如三角网格、FFT网格连接关系原理相同；基于此，本实施例提供的一种基于正向传播的光子神经网络训练方法，包括以下方法或步骤：
A：向光子神经网络输入光信号，将该光子神经网络的光信号输出进行光电转换，并处理为代表该光子神经网络损失函数的电信号或电信息；各MZI干涉仪对应的调制信号记为初始信号S0；
B：在各MZI干涉仪的调制信号上分别叠加扰动调制信号，各扰动调制信号互为正交信号，且频率各不相同，扰动调制信号组记为ΔS；将该光子网络的损失函数记为L(s)；
C：获取或分析计算初始信号S0处所述损失函数的梯度，并记为
Figure BDA0002285405440000041
D：选择合适的比例参数α及扰动调制信号ΔS的大小，更新各MZI干涉仪对应的调制信号,更新公式为:
Figure BDA0002285405440000042
E、将调制信号更改为S2＝S1+ΔS，按照步骤A至D进行反复迭代，直至所得到的梯度趋近于0或无法进一步减小，则训练完成。
所述初始信号S0及扰动调制信号为同类信号，包含电压信号、电流信号、声波信号中的其中一种。MZI干涉仪的相位调制方式包括热光调制、电光调制或基于等离子体色散效应进行光调制的其中一种，由于原理相同，本实施例以热光调制方式予以说明。
在采用热光调制的方式时，相位参数由MZI干涉仪的加热电压决定：θ,φ＝γVθ,φ 2(γ为取决于器件制作工艺和结构尺寸的固定参数，Vθ,φ为加热电压)。因此，损失函数的最优化Min L(θ1,φ1,θ2,φ2......θn,φn)可被改写为寻找合适的电压组合
Figure BDA0002285405440000051
输入光信号被光探测器接收后转换成电信号，并处理为光子神经网络的损失函数L，将损失函数在S0附近进行泰勒展开：
Figure BDA0002285405440000052
其中，S0处的海塞矩阵为H(S0)；O(n)为高阶项；由于主动添加了扰动调制信号，因此(1)式中(S-S0)T是已知的，为ΔS。
当扰动调制信号是ΔVsinωt时(扰动调制信号是ΔVcosωt时作对应替换即可，同时S0对应为电压V0)，将上述损失函数表示成关于调制电压信号的含时函数：
Figure BDA0002285405440000053
其中，
Figure BDA0002285405440000054
为电压调制所使用的频率，对L(V(t))进行低通滤波，即可得L(V0)。
使
Figure BDA0002285405440000055
取不同值，则利用正弦函数的正交性，梯度的每一个分量都可以通过锁相放大的方法得到(只差一个系数ΔV/2)。具体来说，将含时的损失函数L(V(t))与调制电压信号的一个分量
Figure BDA0002285405440000056
相乘并积分，经过积分时间T后，除了与ωθi同频的成分，其余部分的积分均为0，即：
Figure BDA0002285405440000061
其中
Figure BDA0002285405440000062
对φi的处理与之类似
通过公式(3)即可计算分析获得MZI干涉仪梯度各个分量值的大小。
在上述步骤C中，我们使用多路锁相放大器基于公式(3)来达成光子神经网络芯片中所有MZI干涉仪的加热电压同步跟新的效果。这其中，如图2所示，任一锁相放大器的参考通道仅唯一对应一个输入MZI干涉仪的相位调制信号，锁相放大器的信号通道输入损失函数的电信号或电信息L(V(t))；在本实施例中，某一MZI干涉仪的相位受到加热电压信号
Figure BDA0002285405440000063
的调制，则损失函数为于该正弦函数相关的信号，参考通道信号为正弦函数
Figure BDA0002285405440000064
时，参考通道与信号通道输入的损失函数电信号或电信息经过锁相放大器的混频，低通滤波后，和参考通道输入的
Figure BDA0002285405440000065
同频的信号得以输出，实现了与公式3相同的输出效果，锁相放大器输出信号的电压幅值则正比于该MZI干涉仪对应梯度分量值的大小，而锁相放大器输出信号中相位差决定了梯度分量值的符号：相位差接近0，意味着梯度应为正，相位差接近π，意味着梯度应为负。
由于所有的θ和φ共享同一个损失函数L(V(t))，同上述公式所示，锁相放大操作方式对所有的相位参量都是一致的，即n个MZI的相位参数所对应电压的梯度可以并行化(同步)获得；即得到梯度
Figure BDA0002285405440000066
从损失函数表达式(2)中还可以看到，L(V(t))与
Figure BDA0002285405440000067
有关，这一项包含各个MZI干涉仪相位的加热电压调制频率
Figure BDA0002285405440000068
中任意两个频率的和频信号，即ω1+ω2(ω1,ω2为任意两个MZI干涉仪的调制频率)，因此当锁相放大器的参考通道信号为正弦函数sin(ω1t+ω2t)时，通过与损失函数的电信号或电信息L(V(t))的混频和低通滤波，得到的就是海塞矩阵H(V0)各个分量的值，同样的，由于所有的和频信号都共享一个损失函数L(V(t))，海塞矩阵H(V0)各个分量的分析可以并行化(同步)获得----即在一轮前向传播训练中得到整个海塞矩阵H(V0)，由此可以给出海塞矩阵等额外的线索，帮助避免网络参数的训练陷入某些不正确的局域极值点，从而获得更好的训练效果。
总之在本实施例中，在对相位参数进行合理调制的情况下，直接对正向传播的输出结果做分析处理就可以获得损失函数的梯度，进而在片上实现对光子神经网络的训练；通过分析过程的并行化，可以在一个循环中完成所有参数的更新；这一过程支持损失函数海塞矩阵的提取，有助于避免网络参数的训练陷入某些局域极值，这在主流的反向传播算法框架中是没能提供的；此外，在实现训练的同时，推理也同步完成；由于无需反向传播的信息，本实施例中仅需在输入端引入光源，在输出端配置光探测器即可实现参数梯度的计算。
不同于论文Y.Shen，et al.“Deep learning with coherent nanophotoniccircuits，”Nat.Photonics 11，441(2017)中给出的简单通过逐一扰动光子回路中各个器件的参数，比较被扰动前后计算结果的差别测量损失函数梯度的方法----这种方法在扰动过小时，差别可能淹没在噪声中，而加大扰动则不可避免的增加差分近似微分的数值误差，得益于锁相放大器强大的微弱信号检测能力，本实施例在ΔV很小的情况下也能够工作，大大减小了梯度提取的数值误差。
本实施例中的调制方案不限于正弦信号，其他满足正交性的调制方案，即满足强自相关和弱互相关的模拟或数字调制方法也同样可用于梯度的分析。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于正向传播的光子神经网络训练方法，其中，光子神经网络包含若干关联连接的MZI干涉仪；其特征在于，包括以下方法或步骤：
A：向光子神经网络输入光信号，将该光子神经网络的光信号输出进行光电转换，并处理为代表该光子神经网络损失函数L的电信号或电信息；各MZI干涉仪对应的调制信号记为初始信号S0；
B：在各MZI干涉仪的调制信号上分别叠加扰动调制信号，各扰动调制信号互为正交信号，且频率各不相同，扰动调制信号组记为ΔS；将该光子网络的损失函数记为L(s)；
C：获取或分析计算初始信号S0处所述损失函数的梯度，并记为
Figure FDA0002285405430000012
D：选择合适的比例参数α及扰动调制信号ΔS的大小，更新各MZI干涉仪对应的调制信号,更新公式为:
Figure FDA0002285405430000011
E、将调制信号更改为S2＝S1+ΔS，按照步骤A至D进行反复迭代，直至所得到的梯度趋近于0或无法进一步减小，则训练完成。
2.根据权利要求1所述的一种基于正向传播的光子神经网络训练方法，其特征在于：所述初始信号S0及扰动调制信号为同类信号，包含电压信号、电流信号、声波信号中的其中一种。
3.根据权利要求2所述的一种基于正向传播的光子神经网络训练方法，其特征在于：所述扰动调制信号为电压信号，其电压表达式为ΔVsinωt或ΔVcosωt，其中，ΔV为幅值，ω为频率，t为时间因子。
4.根据权利要求3所述的一种基于正向传播的光子神经网络训练方法，其特征在于：
设置若干锁相放大器；在步骤C中，任一锁相放大器的参考通道仅唯一对应输入一个MZI干涉仪的相位调制信号，锁相放大器的信号通道输入损失函数的电信号或电信息L(s)；锁相放大器输出信号的电压幅值则正比于该MZI干涉仪对应梯度分量值的大小。
5.根据权利要求4所述的一种基于正向传播的光子神经网络训练方法，其特征在于，在锁相放大器的参考通道输入信号ΔVsin(ω1t+ω2t)或ΔVcos(ω1t+ω2t)，以获取该光子神经网络在初始信号附近损失函数的海塞矩阵分量信息；其中ω1、ω2为光子神经网络中任意两个MZI干涉仪的调制信号频率。
6.根据权利要求1所述的一种基于正向传播的光子神经网络训练方法，其特征在于：在步骤C中，将任一MZI干涉仪的相位调制信号与损失函数L(s)相乘，再对时间进行积分，以计算分析该MZI干涉仪梯度分量值大小。
7.根据权利要求1～6中任一项所述的一种基于正向传播的光子神经网络训练方法，其特征在于，MZI干涉仪的相位调制方式包括热光调制、电光调制或基于等离子体色散效应进行光调制的其中一种。
CN201911158372.6A 2019-11-22 2019-11-22 一种基于正向传播的光子神经网络训练方法 Active CN110956259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158372.6A CN110956259B (zh) 2019-11-22 2019-11-22 一种基于正向传播的光子神经网络训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158372.6A CN110956259B (zh) 2019-11-22 2019-11-22 一种基于正向传播的光子神经网络训练方法

Publications (2)

Publication Number Publication Date
CN110956259A true CN110956259A (zh) 2020-04-03
CN110956259B CN110956259B (zh) 2023-05-12

Family

ID=69978276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158372.6A Active CN110956259B (zh) 2019-11-22 2019-11-22 一种基于正向传播的光子神经网络训练方法

Country Status (1)

Country Link
CN (1) CN110956259B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110493A (zh) * 2021-05-07 2021-07-13 北京邮电大学 一种基于光子神经网络的路径规划设备及路径规划方法
CN113298246A (zh) * 2021-05-27 2021-08-24 山东云海国创云计算装备产业创新中心有限公司 数据处理方法、装置及计算机可读存储介质
WO2022001002A1 (zh) * 2020-07-01 2022-01-06 浙江大学 基于可调谐滤波器的硅基片上光子神经网络及其调制方法

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992017855A1 (en) * 1991-03-28 1992-10-15 The University Of Sydney A neural network
JPH06137856A (ja) * 1992-09-14 1994-05-20 Tadatomo Suga 圧電薄膜式非接触走査型力顕微鏡
US5390285A (en) * 1990-11-08 1995-02-14 British Telecommunications Public Limited Company Method and apparatus for training a neural network depending on average mismatch
US5459817A (en) * 1992-03-30 1995-10-17 Kabushiki Kaisha Toshiba Neural network with learning function based on simulated annealing and Monte-Carlo method
US20030236760A1 (en) * 2002-06-05 2003-12-25 Alex Nugent Multi-layer training in a physical neural network formed utilizing nanotechnology
CN104408753A (zh) * 2014-10-27 2015-03-11 浙江大学 锥束ct的自适应迭代散射修正方法
US20170351293A1 (en) * 2016-06-02 2017-12-07 Jacques Johannes Carolan Apparatus and Methods for Optical Neural Network
CN107688849A (zh) * 2017-07-28 2018-02-13 北京深鉴科技有限公司 一种动态策略定点化训练方法及装置
US20180046915A1 (en) * 2016-08-12 2018-02-15 Beijing Deephi Intelligence Technology Co., Ltd. Compression of deep neural networks with proper use of mask
US10031287B1 (en) * 2017-02-02 2018-07-24 International Business Machines Corporation Waveguide architecture for photonic neural component with multiplexed optical signals on inter-node waveguides
US20180262291A1 (en) * 2017-03-07 2018-09-13 Government Of The United States Of America, As Represented By The Secretary Of The Navy Method for free space optical communication utilizing patterned light and convolutional neural networks
CN108932480A (zh) * 2018-06-08 2018-12-04 电子科技大学 基于1d-cnn的分布式光纤传感信号特征学习与分类方法
WO2019006088A1 (en) * 2017-06-28 2019-01-03 The Regents Of The University Of California LEARNING OF ARTIFICIAL NEURAL NETWORKS WITH REDUCED COMPLEXITY OF CALCULATION
US20190050727A1 (en) * 2018-01-12 2019-02-14 Timothy Anderson Neural network training
WO2019038693A1 (en) * 2017-08-23 2019-02-28 Telefonaktiebolaget Lm Ericsson (Publ) NEURAL NETWORKS FOR DECODING
CN109410310A (zh) * 2018-10-30 2019-03-01 安徽虚空位面信息科技有限公司 一种基于深度学习网络的实时光照渲染算法
CN109656134A (zh) * 2018-12-07 2019-04-19 电子科技大学 一种基于时空联合递归神经网络的智能车端到端决策方法
US20190258926A1 (en) * 2018-02-22 2019-08-22 International Business Machines Corporation Hardware-Implemented Training Of An Artificial Neural Network
CN110187454A (zh) * 2019-02-27 2019-08-30 联合微电子中心有限责任公司 基于设计版图对硅光芯片进行光耦合测试的方法及系统
CN110197277A (zh) * 2019-05-13 2019-09-03 浙江大学 实现数字识别的光学神经网络方法
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
US20190318234A1 (en) * 2018-04-14 2019-10-17 International Business Machines Corporation Optical neuron
WO2019199307A1 (en) * 2018-04-12 2019-10-17 Siemens Aktiengesellschaft Second-order optimization methods for avoiding saddle points during the training of deep neural networks
US20190319633A1 (en) * 2018-04-14 2019-10-17 Shanghai Jiao Tong University Deep learning based method and device for noise suppression and distortion correction of analog-to-digital converters
CN110414565A (zh) * 2019-05-06 2019-11-05 北京邮电大学 一种用于功率放大器的基于Group Lasso的神经网络裁剪方法
RU2018117355A3 (zh) * 2018-05-10 2019-11-11
WO2019217835A1 (en) * 2018-05-10 2019-11-14 The Board Of Trustees Of The Leland Stanford Junior University Training of photonic neural networks through in situ backpropagation
CN110472733A (zh) * 2019-07-22 2019-11-19 天津大学 一种基于神经形态学的在体神经元建模方法
WO2019222401A2 (en) * 2018-05-17 2019-11-21 Magic Leap, Inc. Gradient adversarial training of neural networks

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390285A (en) * 1990-11-08 1995-02-14 British Telecommunications Public Limited Company Method and apparatus for training a neural network depending on average mismatch
WO1992017855A1 (en) * 1991-03-28 1992-10-15 The University Of Sydney A neural network
US5459817A (en) * 1992-03-30 1995-10-17 Kabushiki Kaisha Toshiba Neural network with learning function based on simulated annealing and Monte-Carlo method
JPH06137856A (ja) * 1992-09-14 1994-05-20 Tadatomo Suga 圧電薄膜式非接触走査型力顕微鏡
US20030236760A1 (en) * 2002-06-05 2003-12-25 Alex Nugent Multi-layer training in a physical neural network formed utilizing nanotechnology
CN104408753A (zh) * 2014-10-27 2015-03-11 浙江大学 锥束ct的自适应迭代散射修正方法
US20170351293A1 (en) * 2016-06-02 2017-12-07 Jacques Johannes Carolan Apparatus and Methods for Optical Neural Network
CN109477938A (zh) * 2016-06-02 2019-03-15 麻省理工学院 用于光学神经网络的设备和方法
US20180046915A1 (en) * 2016-08-12 2018-02-15 Beijing Deephi Intelligence Technology Co., Ltd. Compression of deep neural networks with proper use of mask
US10031287B1 (en) * 2017-02-02 2018-07-24 International Business Machines Corporation Waveguide architecture for photonic neural component with multiplexed optical signals on inter-node waveguides
US20180262291A1 (en) * 2017-03-07 2018-09-13 Government Of The United States Of America, As Represented By The Secretary Of The Navy Method for free space optical communication utilizing patterned light and convolutional neural networks
WO2019006088A1 (en) * 2017-06-28 2019-01-03 The Regents Of The University Of California LEARNING OF ARTIFICIAL NEURAL NETWORKS WITH REDUCED COMPLEXITY OF CALCULATION
CN107688849A (zh) * 2017-07-28 2018-02-13 北京深鉴科技有限公司 一种动态策略定点化训练方法及装置
WO2019038693A1 (en) * 2017-08-23 2019-02-28 Telefonaktiebolaget Lm Ericsson (Publ) NEURAL NETWORKS FOR DECODING
US20190050727A1 (en) * 2018-01-12 2019-02-14 Timothy Anderson Neural network training
US20190258926A1 (en) * 2018-02-22 2019-08-22 International Business Machines Corporation Hardware-Implemented Training Of An Artificial Neural Network
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
WO2019199307A1 (en) * 2018-04-12 2019-10-17 Siemens Aktiengesellschaft Second-order optimization methods for avoiding saddle points during the training of deep neural networks
US20190318234A1 (en) * 2018-04-14 2019-10-17 International Business Machines Corporation Optical neuron
US20190319633A1 (en) * 2018-04-14 2019-10-17 Shanghai Jiao Tong University Deep learning based method and device for noise suppression and distortion correction of analog-to-digital converters
RU2018117355A3 (zh) * 2018-05-10 2019-11-11
WO2019217835A1 (en) * 2018-05-10 2019-11-14 The Board Of Trustees Of The Leland Stanford Junior University Training of photonic neural networks through in situ backpropagation
WO2019222401A2 (en) * 2018-05-17 2019-11-21 Magic Leap, Inc. Gradient adversarial training of neural networks
CN108932480A (zh) * 2018-06-08 2018-12-04 电子科技大学 基于1d-cnn的分布式光纤传感信号特征学习与分类方法
CN109410310A (zh) * 2018-10-30 2019-03-01 安徽虚空位面信息科技有限公司 一种基于深度学习网络的实时光照渲染算法
CN109656134A (zh) * 2018-12-07 2019-04-19 电子科技大学 一种基于时空联合递归神经网络的智能车端到端决策方法
CN110187454A (zh) * 2019-02-27 2019-08-30 联合微电子中心有限责任公司 基于设计版图对硅光芯片进行光耦合测试的方法及系统
CN110414565A (zh) * 2019-05-06 2019-11-05 北京邮电大学 一种用于功率放大器的基于Group Lasso的神经网络裁剪方法
CN110197277A (zh) * 2019-05-13 2019-09-03 浙江大学 实现数字识别的光学神经网络方法
CN110472733A (zh) * 2019-07-22 2019-11-19 天津大学 一种基于神经形态学的在体神经元建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUMIO HASHIMOTO: "Dynamic PET Image Denoising Using Deep Convolutional Neural Network Without Training Datasets" *
白乐;赖雪峰;韩维强;王昊光;周金梅;廖胜;赵汝进;: "适应积分时间调整的红外图像非均匀性校正方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022001002A1 (zh) * 2020-07-01 2022-01-06 浙江大学 基于可调谐滤波器的硅基片上光子神经网络及其调制方法
CN113110493A (zh) * 2021-05-07 2021-07-13 北京邮电大学 一种基于光子神经网络的路径规划设备及路径规划方法
CN113298246A (zh) * 2021-05-27 2021-08-24 山东云海国创云计算装备产业创新中心有限公司 数据处理方法、装置及计算机可读存储介质
CN113298246B (zh) * 2021-05-27 2023-02-28 山东云海国创云计算装备产业创新中心有限公司 数据处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110956259B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Hughes et al. Training of photonic neural networks through in situ backpropagation and gradient measurement
Xu et al. Optical coherent dot-product chip for sophisticated deep learning regression
CN110956259A (zh) 一种基于正向传播的光子神经网络训练方法
Pai et al. Parallel programming of an arbitrary feedforward photonic network
Tait et al. Feedback control for microring weight banks
Tait et al. Neuromorphic photonic networks using silicon photonic weight banks
Zhang et al. Efficient on-chip training of optical neural networks using genetic algorithm
Tait et al. Microring weight banks
Fuhg et al. The mixed deep energy method for resolving concentration features in finite strain hyperelasticity
US20210192342A1 (en) Training of Photonic Neural Networks Through in situ Backpropagation
Giovannetti et al. Advances in quantum metrology
Rahimi-Keshari et al. Direct characterization of linear-optical networks
CN113646681B (zh) 基于集成光波导网状结构的可编程光子器件的配置和优化方法
Elesin et al. Design of robust and efficient photonic switches using topology optimization
CN112232503B (zh) 计算装置、计算方法以及计算系统
JP2020079980A (ja) 光偏微分演算装置および光ニューラルネットワーク
CN113408720B (zh) 光学神经网络及基于其的数据处理方法、装置、存储介质
Sun et al. Induced homomorphism: Kirchhoff’s law in photonics
Kang et al. A graph subspace approach to system identification based on errors-in-variables system models
Kumar et al. Mitigating linear optics imperfections via port allocation and compilation
Filipovich et al. Monolithic silicon photonic architecture for training deep neural networks with direct feedback alignment
Ehrhardt et al. Exact artificial boundary conditions for problems with periodic structures
Zhang et al. On the geometric analysis of a quartic–quadratic optimization problem under a spherical constraint
CN117233960A (zh) 基于智能光计算的光学系统在线设计方法与装置
Davis III et al. Frequency-encoded deep learning with speed-of-light dominated latency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant