CN112308224B - 光学神经网络装置、芯片及神经网络计算的光学实现方法 - Google Patents

光学神经网络装置、芯片及神经网络计算的光学实现方法 Download PDF

Info

Publication number
CN112308224B
CN112308224B CN202011074844.2A CN202011074844A CN112308224B CN 112308224 B CN112308224 B CN 112308224B CN 202011074844 A CN202011074844 A CN 202011074844A CN 112308224 B CN112308224 B CN 112308224B
Authority
CN
China
Prior art keywords
optical signals
paths
optical
sub
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011074844.2A
Other languages
English (en)
Other versions
CN112308224A (zh
Inventor
王磊
肖希
李维忠
胡晓
李淼峰
陈代高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Optical Valley Information Optoelectronic Innovation Center Co Ltd
Original Assignee
Wuhan Optical Valley Information Optoelectronic Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Optical Valley Information Optoelectronic Innovation Center Co Ltd filed Critical Wuhan Optical Valley Information Optoelectronic Innovation Center Co Ltd
Priority to CN202011074844.2A priority Critical patent/CN112308224B/zh
Publication of CN112308224A publication Critical patent/CN112308224A/zh
Application granted granted Critical
Publication of CN112308224B publication Critical patent/CN112308224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Optical Communication System (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

本发明实施例提供一种光学神经网络装置、芯片及神经网络计算的光学实现方法。其中，装置包括：光产生子装置，用于产生N路不同波长的光信号；N为＞1的整数；第一调制子装置，用于根据N个第一电压，分别对N路光信号的强度进行调制，得到N路第一光信号；第一转换子装置，用于将N路第一光信号进行并串转换，得到第二光信号；分光器，用于将第二光信号分成N路第三光信号；第二调制子装置，用于根据N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；第二转换子装置，用于将N路第四光信号中每一路分别进行串并转换，得到N路第五光信号；处理子装置，用于基于N路第五光信号，调整N个第一电压及N个第一电压集的值。

Description

光学神经网络装置、芯片及神经网络计算的光学实现方法
技术领域
本发明涉及光子集成和高性能计算技术领域，尤其涉及一种光学神经网络装置、芯片及神经网络计算的光学实现方法。
背景技术
神经网络计算是人工智能芯片的主要功能之一，神经网络计算需要快速的完成一系列复杂的矩阵乘法运算。神经网络计算可以利用电学芯片实现。然而，传统电学芯片因受工艺节点和材料特性的影响，计算效率有限。光子集成器件特别是硅基光子集成器件近年来得到了快速的发展，硅基光子集成器件具有速率高，抗干扰能力强，集成度高，半导体工艺兼容等优点，利用光集成器件的调制、滤波、分束等功能，可以组成高效率的光子计算芯片，有望极大的提升神经网络计算的效率。也就是说，神经网络计算在利用光学芯片实现时，效率的得到了很大提升。
光学芯片中神经网络权重的乘法计算主要基于光调制器，当权重数量较多时，对光调制器的需求很大。然而，过多的调制器会造成光学芯片的功耗和成本偏高。
发明内容
为解决现有存在的技术问题，本发明实施例提出一种光学神经网络装置、芯片及神经网络计算的光学实现方法。
本发明实施例提供了一种光学神经网络装置，包括：
光产生子装置，用于产生N路不同波长的光信号；其中，所述N为大于1的正整数；
第一调制子装置，用于根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
第一转换子装置，用于将所述N路第一光信号进行并串转换，得到第二光信号；
分光器，用于将所述第二光信号分成N路第三光信号；
第二调制子装置，用于根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
第二转换子装置，用于将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；
处理子装置，用于基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
上述方案中，所述第一转换子装置包括：第一延时单元和第一合波器；其中，
所述第一延时单元，用于将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一合波器，用于将延时处理后的N路第一光信号合成所述第二光信号。
上述方案中，所述第二转换子装置包括：分波器、第二延时单元和第二合波器；其中，
所述分波器，用于将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一路光信号的时延相同；
所述第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
上述方案中，所述处理子装置包括：光探测器、归一化单元和处理器；其中，
所述光探测器，用于将N路第五光信号转化为N路电信号；
所述归一化单元，用于将所述N路电信号进行归一化处理，将归一化处理的N路结果作为所述N个第一电压的值；产生N个第一电压，并施加在所述第一调制子装置上；
所述处理器，用于基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值；产生N个第一电压集，并施加在所述第二调制子装置上。
上述方案中，所述处理器，具体用于：
将所述归一化处理的N路结果与第一数据集进行比较；所述第一数据集表征N路不同波长的光信号承载的信息对应的训练集；
根据比较结果，并结合梯度下降算法，调整所述N个第一电压集中各电压的值。
上述方案中，所述处理子装置还包括：非线性单元；
所述非线性单元，用于将N路第五光信号中的每一路光信号分别进行非线性处理；
所述光探测器，还用于将N路非线性处理后第五光信号转化为N路电信号。
本发明实施例又提供了一种光学神经网络芯片，包括：
包括本发明实施例所述的光学神经网络装置。
本发明实施例还提供了一种神经网络计算的光学实现方法，包括：
光学神经网络装置的光产生子装置产生N路不同波长的光信号；其中，所述N为大于1的正整数；
所述光学神经网络装置的第一调制子装置根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号；
所述光学神经网络装置的分光器将所述第二光信号分成N路第三光信号；
所述光学神经网络装置的第二调制子装置根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；
所述光学神经网络装置的处理子装置基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
上述方案中，所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号，包括：
所述第一转换子装置的第一延时单元将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一转换子装置的第一合波器将延时处理后的N路第一光信号合成所述第二光信号。
上述方案中，所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号，包括：
所述第二转换子装置的分波器将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二转换子装置的第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一路光信号的时延相同；
所述第二转换子装置的第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
本发明实施例提供了一种光学神经网络装置、芯片及神经网络计算的光学实现方法。其中所述装置包括：光产生子装置，用于产生N路不同波长的光信号；其中，所述N为大于1的正整数；第一调制子装置，用于根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；第一转换子装置，用于将所述N路第一光信号进行并串转换，得到第二光信号；分光器，用于将所述第二光信号分成N路第三光信号；第二调制子装置，用于根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；第二转换子装置，用于将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；处理子装置，用于基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。本发明实施例中利用N个第一电压的调整实现对神经网络中各神经网络层的输入值的调整，并利用N个第一电压集的调整实现对神经网络中权重值的调整。由于在本发明实施例中对各神经网络层的输入值(即N路第一光信号)进行了并串转换，得到的是光信号的序列，并将该光信号的序列分成N路子光信号的序列(即N路第三光信号)，使得第二调制子装置中包含的每一个调制器均可以在电压序列(即第一电压集)的作用下，实现对多个权重值的调制，从而在权重数量一定时，本发明实施例提供的光学神经网络装置能够减少了需求的光调制器的数量，进而在利用本发明实施例提供的光学神经网络装置形成光学芯片时，可以降低该光学芯片的功耗和成本。
附图说明
图1为本发明实施例光学神经网络装置的结构组成示意图；
图2为本发明实施例光学神经网络装置的硬件结构示意图；
图3为本发明应用实施例光学神经网络装置的硬件组成示意图；
图4为本发明实施例神经网络计算的光学实现方法的实现流程示意图。
具体实施方式
为使本发明实施例的技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明实施例的各种实施例中，利用N个第一电压的调整实现对神经网络中各神经网络层的输入值的调整，并利用N个第一电压集的调整实现对神经网络中权重值的调整。由于在本发明实施例中对各神经网络层的输入值进行了并串转换，得到的是光信号的序列，并将该光信号的序列分成N路子光信号的序列，使得第二调制子装置中包含的每一个调制器均可以在电压序列的作用下，实现对多个权重值的调制，从而在权重数量一定时，本发明实施例提供的光学神经网络装置能够减少了需求的光调制器的数量，进而在利用本发明实施例提供的光学神经网络装置形成光学芯片时，可以降低该光学芯片的功耗和成本。
图1示出了本发明实施例光学神经网络装置的结构组成图，本发明实施例的光学神经网络装置100包括：光产生子装置101、第一调制子装置102、第一转换子装置103、分光器104、第二调制子装置105、第二转换子装置106及处理子装置107；其中，
所述光产生子装置101，用于产生N路不同波长的光信号；其中，所述N为大于1的正整数；
所述第一调制子装置102，用于根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
所述第一转换子装置103，用于将所述N路第一光信号进行并串转换，得到第二光信号；
所述分光器104，用于将所述第二光信号分成N路第三光信号；
所述第二调制子装置105，用于根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
所述第二转换子装置106，用于将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；
所述处理子装置107，用于基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
图2中示出了本发明实施例光学神经网络装置的硬件结构示意图，下面结合图2对本发明实施例光学神经网络装置进行详细说明。
图2中各硬件结构之间的光信号可以采用传输光信号的介质，如光纤或光波导进行连接。
这里，所述光产生子装置101的输出端与所述第一调制子装置102的输入端连接。光产生子装置101可以产生不同波长的光信号。不同波长的光信号可以用于承载待测试集的信息。
实际应用中，光产生子装置101可以包括N个激光器形成的阵列，所述N个激光器能够产生并输出N个波长不同的单频连续光；光产生子装置101也可以包括能够直接产生并输N路不同波长的光信号的集成器件。
实际应用中，所述N个激光器中的每个激光器具体可以包括：GaAIAs/GaAs激光器、InGaAsP/InP激光器、分布反馈激光器或量子阱激光器。
所述第一调制器子装置102的输入端与所述光产生子装置101的输出端连接，且第一调制器子装置102的输出端与所述第一转换子装置103连接。第一调制子装置102，主要用于根据输入的N个第一电压，分别对光产生子装置101输出的N路不同波长的光信号的强度进行调制，从而得到N路第一光信号。这里的N路第一光信号为并行的光信号。
实际应用中，第一调制器子装置102可以包括N个调制器形成的阵列，所述N个调制器能够分别对N路不同波长的光信号的强度进行调制；第一调制器子装置102也可以包括能够直接对N路不同波长的光信号的强度进行调制的集成器件。
实际应用中，所述N个调制器中的每个调制器具体可以包括：铌酸锂电光调制器、聚合物电光调制器、硅基电光调制器、电吸收调制器、集成电光调制器或空间光调制器。
需要说明的是，第一调制器子装置102包括N个电压输入端口，该N个电压输入端口与所述处理子装置107连接，由处理子装置107提供动态变化的N个第一电压，以分别施加在第一调制器子装置102的N个调制器上。可以理解的是，通过对N个第一电压的值的调整，可以实现对神经网络中各神经网络层的输入值的调整。
所述第一转换子装置103的输入端与所述第一调制器子装置102的输出端连接，且第一转换子装置103的输出端与所述分光器104的输入端连接。第一转换子装置103主要用于将第一调制子装置102输出的N路第一光信号进行并串转换，从而得到第二光信号。这里的第二光信号为串行的光信号。
实际应用中，在一些实施例中，所述第一转换子装置103包括：第一延时单元和第一合波器；其中，
所述第一延时单元，用于将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一合波器，用于将延时处理后的N路第一光信号合成所述第二光信号。
这里，所述第一延时单元的输入端与所述第一调制器子装置102的输出端连接，且第一延时单元的输出端与所述第一合波器的输入端连接。所述第一延时单元可以包括N个不同的延时器。利用该N个不同延时器分别作用N路第一光信号中一路光信号，以使所述N路第一光信号中每一路光信号的时延不同。所述第一预设规则可以包括将N路第一光信号中每一路光信号的时延间隔设置为相同或不同。当将N路第一光信号中每一路光信号的时延间隔设置为相同时，具体实施方法可以包括：将N路第一光信号中第一路第一光信号的延时定为初始值(如0)，在该初始值的基础上对N路第一光信号中其它路第一光信号延时分别按照预设时延间隔(△t)依次进行增长(至第N路第一光信号的延时为(N-1)△t)，从而N路第一光信号中每一路光信号的时延间隔均为△t。实际应用中，这里的延时器可以包括光纤延迟线或能够产生延时功能的光波导结构。
所述第一合波器的输入端与所述第一延时单元的输出端连接，且第一合波器的输出端与所述分光器的输入端连接。第一合波器主要用于将延时处理后的N路第一光信号合成所述第二光信号。这里，结合延时实现了将并行的光信号转化为串行的光信号。
所述分光器104的输入端与所述第一转换子装置103的输出端连接，且分光器104的输出端与所述第二调制器子装置105的输入端连接。所述分光器104主要用于将第一转换子装置103输出的第二光信号分成N路第三光信号。所述第三光信号与第二光信号的光波段相同。在一些实施例中，所述第三光信号的功率为所述第二光信号的功率的1/N。也就是说，这里的第三光信号仍为串行的光信号。
实际应用中，所述分光器是一种无源器件。分光器具体可以由入射和出射狭缝、反射镜、多模干涉器和色散元件组成。
所述第二调制器子装置105的输入端与所述分光器104的输出端连接，且第二调制器子装置105的输出端与所述第二转换子装置106连接。第二调制子装置105，主要用于根据输入的N个第一电压集，分别对分光器104输出的N路第三光信号的强度进行调制，从而得到N路第四光信号。这里的N路第四光信号为强度调制后的对串行的光信号。
实际应用中，第二调制器子装置105同样可以包括N个调制器形成的阵列，所述N个调制器能够分别对N路第三光信号的强度进行调制；第二调制器子装置105同样也可以包括能够直接对N路第三光信号的强度进行调制的集成器件。
实际应用中，所述N个调制器中的每个调制器具体可以包括：铌酸锂电光调制器、聚合物电光调制器、硅基电光调制器、电吸收调制器、集成电光调制器或空间光调制器。
需要说明的是，第二调制器子装置105包括N个电压输入端口，该N个电压输入端口与所述处理子装置107连接，由处理子装置107提供动态变化的N个第一电压集，以分别施加在第二调制器子装置105的N个调制器上。可以理解的是，通过对N个第一电压集中各电压值的调整，可以实现对神经网络中权重值的调整。
可以理解的是由于N路第三光信号均可以看是N路光信号的序列，因此需要对第二调制子装置中包含的每一个调制器均施加电压序列(即第一电压集)。并且在该电压序列的作用下，实现对多个权重值的调制，从而在权重数量一定时，本发明实施例提供的光学神经网络装置能够减少了需求的光调制器的数量。这里，该电压序列中各电压的施加间隔与前述N路第一光信号中每一路光信号之间的延时间隔相关。
所述第二转换子装置106的输入端与所述第二调制器子装置105的输出端连接，且第二转换子装置106的输出端与处理子装置107的输入端连接。第二转换子装置106主要用于将第二调制子装置105输出的N路第四光信号进行串并转换，从而得到N路第五光信号。这里的第五光信号为并行的光信号。
实际应用中，在一些实施例中，所述第二转换子装置106包括：分波器、第二延时单元和第二合波器；其中，
所述分波器，用于将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一光路信号的时延相同；
所述第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
这里，所述分波器的输入端与所述第二调制器子装置105的输出端连接，且分波器的输出端与所述第二延时单元的输入端连接。实际应用中，分波器可以包括N个，N个分波器主要同于将第二调制器子装置105的输出N路第四光信号中每一路光信号都分为相应的N路并行的光信号；这里，所述N路并行的光信号对应的光波段共同形成了每一路光信号对应的光波段。
所述第二延时单元的输入端与所述分波器的输出端连接，且第二延时单元的输出端与所述第二合波器的输入端连接。所述第二延时单元可以包括N2个,不同的延时器。利用该N2个不同延时器分别作用在N路第四光信号中每一路光信号分别相应的N路并行的光信号上，以使每一路光信号中相应的N路并行的光信号都能够同时到达第二合波器出口。可以理解的是，第二预设规则为与第一预设规格相关，这样才可以使每一路光信号中相应的N路并行的光信号都能够同时到达第二合波器出口。对应地，所述第二预设规则可以包括将N路并行的光信号中每一路光信号的时延间隔设置为相同或不同。当将N路并行光信号中每一路光信号的时延间隔设置为相同时，具体实施方法可以包括：将N路并行光信号中第一路并行光信号的延时定为初始值(如(N-1)△t)，在该初始值的基础上对N路并行光信号中其它路并行光信号延时分别按照预设时延间隔(△t)依次进行减小(至第N路并行光信号的延时为0)，从而N路并行光信号中每一路光信号的时延间隔均为△t。实际应用中，这里的延时器同样可以包括光纤延迟线或能够产生延时功能的光波导结构。
所述第二合波器的输入端与所述第二延时单元的输出端连接，且第二合波器的输出端与所述处理器子装置107的输入端连接。第二合波器主要用于将延时处理后的N路并行光信号合成所述第五光信号。这里，结合延时实现了将串行的光信号转化为并行的光信号。
所述处理器子装置107的输入端与所述第二转换子装置106的输出端连接，且所述处理器子装置107的第一输出端与第一调制子装置102连接，所述处理器子装置107的第二输出端与第二调制子装置105连接。处理子装置107主要用于基于第二转换子装置106输出的N路第五光信号，调整施加在第一调制子装置102上的N个第一电压的值及调整施加在第二调制子装置105上N个第一电压集的值。
其中，在一实施例中，所述处理器子装置107包括：光探测器、归一化单元和处理器；其中，
所述光探测器，用于将N路第五光信号转化为N路电信号；
所述归一化单元，用于将所述N路电信号进行归一化处理，将归一化处理的N路结果作为所述N个第一电压的值；产生N个第一电压，并施加在所述第一调制子装置上；
所述处理器，用于基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值；产生N个第一电压集，并施加在所述第二调制子装置上。
实际应用时，所述光探测器的输入端与所述第二转换子装置106的输出端连接，且光探测器的输出端与归一化单元的输入端连接。光探测器可以包括多N个，N个光探测器用于测量N路第五光信号中每一路光信号的强度。
实际应用时，光探测器能检测出入射到其面上的光功率，并把这个光功率的变化转化为相应的电流，即光探测器将载有光信号的光强度的N路电信号发送给归一化单元。实际应用时，光探测器具体可以包括PIN管或APD管。
所述归一化单元的输入端与所述光探测器的输出端连接，且归一化单元的输出端与处理器的输入端连接。归一化单元主要用于将所述N路电信号进行归一化处理，将归一化处理的N路结果作为所述N个第一电压的值；产生N个第一电压，并施加在所述第一调制子装置102上。可以理解的是，光探测器测量的光强度对应的电压值与光调制器中电压与光强度之间的关系存在区别，因此需要归一化单元的介入。这里，第一电压的值以反馈的方式接入到第一调制子装置102上可以类比理解为神经网络中上一卷集层的输出端口与下一卷集层的输入端口连接。
所述处理器的输入端与归一化单元的输出端连接，且处理器的输出端与第二调制子装置105连接。处理器主要用于基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值；产生N个第一电压集，并施加在所述第二调制子装置105上。这里，第一电压的集中各电压的值以反馈的方式接入到第二调制子装置105上，并且循环的调整第一电压的集中各电压的值可以类比理解为神经网络中循环对各待进行卷积计算的数据的权重值的调整。
其中，在一些实施例中，所述处理器，具体用于：
将所述归一化处理的N路结果与第一数据集进行比较；所述第一数据集表征N路不同波长的光信号承载的信息对应的训练集；
根据比较结果，并结合梯度下降算法，调整所述N个第一电压集中各电压的值。
这里，N路不同波长的光信号承载的信息即可以对应为神经网络的测试集，且将处理器的存储单元中保存有该测试集对应的训练集。实际应用中，将所述归一化处理的N路结果与第一数据集进行比较，并结合梯度下降等算法，不断调整所述N个第一电压集中各电压的值，直到获得权重值的最优解。这里，梯度下降法的思想就是沿梯度下降的方向求解极小值。
实际应用时，所述处理器包括专用集成电路(ASIC，Application SpecificIntegrated Circuit)。
对于N路第五光信号，实际应用中，为了适应某些处理要求还可以在进行非线性处理后再进行光电转化。
在一些实施例中，所述处理子装置还包括：非线性单元；
所述非线性单元，用于将N路第五光信号中的每一路光信号分别进行非线性处理；
所述光探测器，还用于将N路非线性处理后第五光信号转化为N路电信号。
本发明实施例提供了一种光学神经网络装置，包括：光产生子装置，用于产生N路不同波长的光信号；其中，所述N为大于1的正整数；第一调制子装置，用于根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；第一转换子装置，用于将所述N路第一光信号进行并串转换，得到第二光信号；分光器，用于将所述第二光信号分成N路第三光信号；第二调制子装置，用于根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；第二转换子装置，用于将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；处理子装置，用于基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。本发明实施例中利用N个第一电压的调整实现对神经网络中各神经网络层的输入值的调整，并利用N个第一电压集的调整实现对神经网络中权重值的调整。由于在本发明实施例中对各神经网络层的输入值(即N路第一光信号)进行了并串转换，得到的是光信号的序列，并将该光信号的序列分成N路子光信号的序列(即N路第三光信号)，使得第二调制子装置中包含的每一个调制器均可以在电压序列(即第一电压集)的作用下，实现对多个权重值的调制，从而在权重数量一定时，本发明实施例提供的光学神经网络装置能够减少了需求的光调制器的数量，进而在利用本发明实施例提供的光学神经网络装置形成光学芯片时，可以降低该光学芯片的功耗和成本。
下面将结合具体的应用场景对本发明实施例进行更详细的说明。在该应用实施例中，如图3所示，所述光产生子装置101包括n个直流光源LD1，LD2，……，LDn；所述第一调制子装置102包括n个调制器MOD1，MOD2，……，MODn；所述第一转换子装置103包括一组延时单元及光延时单元及波分复用器MUX0；所述所述分光器104包括分光器S；所述所述第二调制子装置105包括n个调制器MODW1，MODW2……，MODWn；所述第二转换子装置106包括n个波分器DMUX1，……，DMUXn，n组光延时单元以及n个波分复用器MUX1，……，MUXn；所述处理子装置107包括n个非线性单元NL1，NL2，……，NLn，n路光电探测器PD1，PD2，……，PDn，n个转化芯片IC1，……，ICn以及一个专用处理器芯片ASIC。所述光学神经网络装置的具体实现原理如下：
n个一组的直流光源LD1，LD2，……，LDn，其产生波长分别为λ1，λ2，……，λn的光信号，每个直流光源分别连接一个调制器MOD1，MOD2，……，MODn，产生不同强度的并行脉冲光信号X1，X2，……，Xn。
n个调制器后连接一组延时逐步增加的光延时单元，产生的延时差分别为0，Δt，……，(n-1)Δt，最后由波分复用器MUX0合束，产生(X1，X2，……，Xn)的串行脉冲光信号序列，信号之间的时间间隔为Δt。
串行脉冲光信号序列经过分光器S分为n个功率相等的通道，每个通道连接一个调制器MODW1，MODW2……，MODWn，每个调制器对依次对串行脉冲光信号(X1，X2，……，Xn)/n进行强度调制，调制权重依次为(W11，W12，……，W1n)，(W21，W22，……，W2n)，……，(Wn1，Wn2，……，Wnn)，依此类推。
通过W1调制器产生(W11·X1，W12·X2，……，W1n·Xn)/n的串行脉冲光信号，通过Wn调制器产生(Wn1·X1，Wn2·X2，……，Wnn·Xn)/n的串行脉冲光信号，依此类推。
每一路W1，……，Wn路调制器连接一个波分器DMUX1，……，DMUXn，DMUX1将光信号分为W11·X1/n，W12·X2/n，……，W1n·Xn/n的n路并行光信号，DMUXn将信号分为Wn1·X1/n，Wn2·X2/n，……，Wnn·Xn/n的n路并行光信号，依此类推。每个波分复用器DMUX1，……，DMUXn分开的n路后连接一组延时逐步减少的光延时单元，产生的延时差分别为(n-1)Δt，(n-2)Δt，……，0，最后由波分复用器MUX1，……，MUXn合束，MUX1输出强度为(W11·X1+W12·X2+……W1n·Xn)/n的脉冲光信号，MUXn输出强度为(Wn1·X1+Wn2·X2+……Wnn·Xn)/n的脉冲光信号，依此类推，产生共n路并行光信号。
每一路波分复用器MUX1，……，MUXn输出的信号各连接一个非线性单元NL1，NL2，……，NLn，产生F((W11·X1+W12·X2+……W1n·Xn)/n)，……，F((Wn1·X1+Wn2·X2+……Wnn·Xn)/n)的n路并行光信号，其中F为神经网络所需的分线性变换函数。n路并行光信号通过n路光电探测器PD1，PD2，……，PDn将并行光信号转化为并行电信号，并行电信号进入转化芯片IC1，……，ICn，经归一化处理后将控制电压发送到MOD1，MOD2，……，MODn，产生新的X1，X2，……，Xn并行光信号。同时，专用处理器芯片ASIC根据输入的并行电信号和学习数据的比较结果，调整加载在调制器MODW1，MODW2……，MODWn上的电压，以更新调制权重(W11，W12，……，W1n)，(W21，W22，……，W2n)，……，(Wn1，Wn2，……，Wnn)。
循环以上过程，直到处理器芯片中输入的并行电信号和学习数据的比较结果达到应用要求为止。
本应用实施例中提供的光学神经网络结构，减少了同样权重乘法计算所需的光调制器数量。
在示例性实施例中，本发明实施例还提供了一种光学神经网络芯片，所述光学神经网络芯片包括：本发明实施例提供的所述光学神经网络装置100。
上述实施例提供的光学神经网络芯片中使用的光学神经网络结构与光学神经网络装置实施例属于同一构思，其具体实现过程详见装置实施例，这里不再赘述。
在示例性实施例中，本发明实施例提供一种神经网络计算的光学实现方法。图4为本发明实施例神经网络计算的光学实现方法的实现流程示意图。如图4所示，所述方法包括以下步骤：
步骤401：光学神经网络装置的光产生子装置产生N路不同波长的光信号；其中，所述N为大于1的正整数；
步骤402：所述光学神经网络装置的第一调制子装置根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
步骤403：所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号；
步骤404：所述光学神经网络装置的分光器将所述第二光信号分成N路第三光信号；
步骤405：所述光学神经网络装置的第二调制子装置根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
步骤406：所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号；
步骤407：所述光学神经网络装置的处理子装置基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
其中，在一些实施例中，所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号，包括：
所述第一转换子装置的第一延时单元将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一转换子装置的第一合波器将延时处理后的N路第一光信号合成所述第二光信号。
在一些实施例中，所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号，包括：
所述第二转换子装置的分波器将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二转换子装置的第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一路光信号的时延相同；
所述第二转换子装置的第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
在一些实施例中，所述光学神经网络装置的处理子装置基于所述N路第五光信号，调整所述第一电压及第一电压集的值，包括：
所述处理子装置的光探测器将N路第五光信号转化为N路电信号；
所述处理子装置的归一化单元将所述N路电信号进行归一化处理；将归一化处理的N路结果作为所述N个第一电压的值；产生N个第一电压，并施加在所述第一调制子装置上；
所述处理子装置的处理器基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值；产生N个第一电压集，并施加在所述第二调制子装置上。
在一些实施例中，所述处理子装置的处理器基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值，包括：
将所述归一化处理的N路结果与第一数据集进行比较；所述第一数据集表征N路不同波长的光信号承载的信息对应的训练集；
根据比较结果，并结合梯度下降算法，调整所述N个第一电压集中各电压的值。
在一些实施例中，所述在所述光探测器将N路第五光信号转化为N路电信号之前，所述方法还包括：
所述处理子装置的非线性单元将N路第五光信号中的每一路光信号分别进行非线性处理；
所述光探测器将N路第五光信号转化为N路电信号时，包括：
所述光探测器将N路非线性处理后第五光信号转化为N路电信号。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种光学神经网络装置，其特征在于，包括：
光产生子装置，用于产生N路不同波长的光信号；其中，所述N为大于1的正整数；
第一调制子装置，用于根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
第一转换子装置，用于将所述N路第一光信号进行并串转换，得到第二光信号；其中，所述第二光信号中的所有所述第一光信号依次串行；
分光器，用于将所述第二光信号分成N路第三光信号；
第二调制子装置，用于根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
第二转换子装置，用于将所述N路第四光信号中的每一路分别进行串并转换，以使所述N路第四光信号中的每一路分为相应的N路并行的光信号；将所述N路并行的光信号处理至时延相同，将时延相同的所述N路并行的光信号合成一路第五光信号；其中，所述N路第四光信号经所述串并转换得到的所有路光信号合成N路所述第五光信号；
处理子装置，用于基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
2.根据权利要求1所述的装置，其特征在于，所述第一转换子装置包括：第一延时单元和第一合波器；其中，
所述第一延时单元，用于将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一合波器，用于将延时处理后的N路第一光信号合成所述第二光信号。
3.根据权利要求2所述的装置，其特征在于，所述第二转换子装置包括：分波器、第二延时单元和第二合波器；其中，
所述分波器，用于将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一路光信号的时延相同；
所述第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
4.根据权利要求1所述的装置，其特征在于，所述处理子装置包括：光探测器、归一化单元和处理器；其中，
所述光探测器，用于将N路第五光信号转化为N路电信号；
所述归一化单元，用于将所述N路电信号进行归一化处理，将归一化处理的N路结果作为所述N个第一电压的值；产生N个第一电压，并施加在所述第一调制子装置上；
所述处理器，用于基于归一化处理的N路结果，确定所述N个第一电压集中各电压的值；产生N个第一电压集，并施加在所述第二调制子装置上。
5.根据权利要求4所述的装置，其特征在于，所述处理器，具体用于：
将所述归一化处理的N路结果与第一数据集进行比较；所述第一数据集表征N路不同波长的光信号承载的信息对应的训练集；
根据比较结果，并结合梯度下降算法，调整所述N个第一电压集中各电压的值。
6.根据权利要求4所述的装置，其特征在于，所述处理子装置还包括：非线性单元；
所述非线性单元，用于将N路第五光信号中的每一路光信号分别进行非线性处理；
所述光探测器，还用于将N路非线性处理后的第五光信号转化为N路电信号。
7.一种光学神经网络芯片，其特征在于，包括权利要求1至6任一项所述的光学神经网络装置。
8.一种神经网络计算的光学实现方法，其特征在于，包括：
光学神经网络装置的光产生子装置产生N路不同波长的光信号；其中，所述N为大于1的正整数；
所述光学神经网络装置的第一调制子装置根据输入的N个第一电压，分别对N路不同波长的光信号的强度进行调制，得到N路第一光信号；
所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号；其中，所述第二光信号中的所有所述第一光信号依次串行；
所述光学神经网络装置的分光器将所述第二光信号分成N路第三光信号；
所述光学神经网络装置的第二调制子装置根据输入的N个第一电压集，分别对N路第三光信号的强度进行调制，得到N路第四光信号；
所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，以使所述N路第四光信号中的每一路分为相应的N路并行的光信号；将所述N路并行的光信号处理至时延相同，将时延相同的所述N路并行的光信号合成一路第五光信号；其中，所述N路第四光信号经所述串并转换得到的所有路光信号合成N路所述第五光信号；
所述光学神经网络装置的处理子装置基于所述N路第五光信号，调整所述N个第一电压及N个第一电压集的值。
9.根据权利要求8所述的方法，其特征在于，所述光学神经网络装置的第一转换子装置将所述N路第一光信号进行并串转换，得到第二光信号，包括：
所述第一转换子装置的第一延时单元将所述N路第一光信号中每一路光信号按照第一预设规则分别进行延时处理，以使所述N路第一光信号中每一路光信号的时延不同；
所述第一转换子装置的第一合波器将延时处理后的N路第一光信号合成所述第二光信号。
10.根据权利要求9所述的方法，其特征在于，所述光学神经网络装置的第二转换子装置将所述N路第四光信号中的每一路分别进行串并转换，得到N路第五光信号，包括：
所述第二转换子装置的分波器将所述N路第四光信号中每一路光信号分为相应的N路并行的光信号；
所述第二转换子装置的第二延时单元，用于对所述相应的N路并行的光信号中的每一路光信号按照第二预设规则分别进行延时处理，以使所述N路并行的光信号中每一路光信号的时延相同；
所述第二转换子装置的第二合波器，用于将延时处理后的相应的N路并行光信号合成第五光信号；其中，N路第四光信号中所有路光信号合成N路第五光信号。
CN202011074844.2A 2020-10-09 2020-10-09 光学神经网络装置、芯片及神经网络计算的光学实现方法 Active CN112308224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011074844.2A CN112308224B (zh) 2020-10-09 2020-10-09 光学神经网络装置、芯片及神经网络计算的光学实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011074844.2A CN112308224B (zh) 2020-10-09 2020-10-09 光学神经网络装置、芯片及神经网络计算的光学实现方法

Publications (2)

Publication Number Publication Date
CN112308224A CN112308224A (zh) 2021-02-02
CN112308224B true CN112308224B (zh) 2023-08-11

Family

ID=74489439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011074844.2A Active CN112308224B (zh) 2020-10-09 2020-10-09 光学神经网络装置、芯片及神经网络计算的光学实现方法

Country Status (1)

Country Link
CN (1) CN112308224B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642725B (zh) * 2021-10-13 2022-03-08 清华大学 用于消息散列算法的消息扩展的光电集成电路
CN114358271B (zh) * 2022-03-18 2022-07-12 之江实验室 一种时间-波长交织光子神经网络卷积加速芯片
CN115508958B (zh) * 2022-10-08 2024-05-24 深圳中科天鹰科技有限公司 一种基于光学神经网络的光子芯片
CN117784313B (zh) * 2024-02-28 2024-06-07 之江实验室 基于循环阵列波导光栅的二维光子卷积运算芯片及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516802A (zh) * 2019-07-03 2019-11-29 上海交通大学 基于光延时线缓存的光子卷积神经网络架构
CN111095303A (zh) * 2017-07-11 2020-05-01 麻省理工学院 光学伊辛机器以及光学卷积神经网络
WO2020149953A1 (en) * 2019-01-14 2020-07-23 Lightelligence, Inc. Optoelectronic computing systems

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020159114A1 (en) * 2001-04-17 2002-10-31 Laxman Sahasrabuddhe Method and apparatus for routing signals through an optical network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095303A (zh) * 2017-07-11 2020-05-01 麻省理工学院 光学伊辛机器以及光学卷积神经网络
WO2020149953A1 (en) * 2019-01-14 2020-07-23 Lightelligence, Inc. Optoelectronic computing systems
CN110516802A (zh) * 2019-07-03 2019-11-29 上海交通大学 基于光延时线缓存的光子卷积神经网络架构

Also Published As

Publication number Publication date
CN112308224A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112308224B (zh) 光学神经网络装置、芯片及神经网络计算的光学实现方法
CN112001487B (zh) 一种光子神经网络
CN112101540B (zh) 光学神经网络芯片及其计算方法
CN113805641B (zh) 一种光子神经网络
CN114565091A (zh) 光学神经网络装置、芯片及神经网络计算的光学实现方法
CN115222035B (zh) 一种光子神经网络卷积加速芯片
Xu et al. Scalable networks of neuromorphic photonic integrated circuits
CN113325917A (zh) 一种光计算装置、系统以及计算方法
CN116258189A (zh) 一种交叉阵列的光子突触权重矩阵装置及其权重调整方法
CN112232487B (zh) 光学神经网络芯片及其计算方法
JPS6043929A (ja) 光分散補償方式
JPH0779212A (ja) 光波長多重伝送装置
Shi et al. Multi-wavelength, multi-level inputs for an all-optical SOA-based neuron
CN112783260A (zh) 一种光计算设备、光运算方法以及计算系统
CN111245553A (zh) 形成光子辅助光学串并转换系统及采用其的光通信设备
Singh et al. Optical prbs generation with threefold bandwidth of the employed electronics and photonics
CN117709423B (zh) 一种深度神经网络光子加速芯片及其运算系统
CN117436494B (zh) 一种神经网络运算芯片及运算方法
CN114137777B (zh) 基于脉冲处理的光子数模转换系统
Adcock et al. Temporal Multiplexing Enhancement with a Silicon Waveguide Single Photon Source
Stephanie et al. Photonic Neuron with on Frequency-Domain ReLU Activation Function
CN114265260B (zh) 基于光学单环镶嵌式谐振腔的d触发器
CN115826673A (zh) 一种光电混合张量卷积运算系统和方法
Fardoost et al. Vector-mode Multiplexing For Photonic Tensor Accelerator
CN117474064A (zh) 一种基于波长模式复用的光学卷积神经网络计算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant