CN112001487A - 一种光子神经网络 - Google Patents
一种光子神经网络 Download PDFInfo
- Publication number
- CN112001487A CN112001487A CN202010700756.2A CN202010700756A CN112001487A CN 112001487 A CN112001487 A CN 112001487A CN 202010700756 A CN202010700756 A CN 202010700756A CN 112001487 A CN112001487 A CN 112001487A
- Authority
- CN
- China
- Prior art keywords
- array
- optical
- optical signal
- wavelength
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 79
- 230000003287 optical effect Effects 0.000 claims abstract description 534
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000003491 array Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 16
- 230000010363 phase shift Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005200 bud stage Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
一种光子神经网络，包括：光发射模块，所述光发射模块根据待处理信号调制得到第一阵列的光学信号；光信号处理模块，与所述光发射模块耦接以接收所述第一阵列的光学信号，所述光信号处理模块至少对所述第一阵列的光学信号进行线性运算以得到第二阵列的光学信号，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的；光接收模块，与所述光信号处理模块耦接以接收所述第二阵列的光学信号，所述光接收模块基于所述第二阵列的光学信号获取处理后信号。通过本发明方案能够极大地提高光子人工智能芯片的算力及灵活性。
Description
技术领域
本发明涉及光子人工智能芯片技术领域，具体地涉及一种光子神经网络。
背景技术
在当今人工智能领域最热门的深度学习中，其运算过程主要涉及两个部分：矩阵乘法和非线性激活函数。具体而言，人工智能算法具有处理内容为非结构化数据(如视频、图像或语音)、处理过程需要进行大量的线性代数运算以及处理过程参数量大的特点。以中央处理器为主的计算硬件无法满足人工智能的计算力需求，只能依赖人工智能(Artificial intelligence，简称AI)芯片实现。具体而言，AI芯片是专门面向AI应用的芯片，是AI技术的一种重要的物理基础载体。
当前，AI芯片主要基于互补金属氧化物半导体(Complementary Metal OxideSemiconductor，简称CMOS)技术实现。随着集成电路器件尺寸不断逼近物理极限，摩尔定律呈现放缓趋势，同时微电子处理器存在能效比下降、时钟频率受限(难以超过6GHz)、电子串扰、高功耗以及发热等问题，严重制约着现有的电子AI芯片性能的继续提升。
为突破电子芯片在AI领域所面临的问题，光子人工智能芯片应运而生。但是，当前光子人工智能芯片技术尚处于萌芽阶段，对光子人工智能芯片的架构设计仍有较多欠缺，无法充分发挥光子人工智能芯片的优势。
发明内容
本发明解决的技术问题是如何提高光子人工智能芯片的算力。
为解决上述技术问题，本发明实施例提供一种光子神经网络，包括：光发射模块，所述光发射模块根据待处理信号调制得到第一阵列的光学信号，其中，所述第一阵列的光学信号中每一束光学信号包括多个波长的光；光信号处理模块，与所述光发射模块耦接以接收所述第一阵列的光学信号，所述光信号处理模块至少对所述第一阵列的光学信号进行线性运算以得到第二阵列的光学信号，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的；光接收模块，与所述光信号处理模块耦接以接收所述第二阵列的光学信号，所述光接收模块基于所述第二阵列的光学信号获取处理后信号。
可选的，所述对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的，是指：所述光信号处理模块对所述光学信号中不同波长的光分别配置对应的卷积核，且各卷积核对各自对应波长的光的线性运算是相互独立的。
可选的，所述光信号处理模块包括：线性矩阵乘法单元，用于对所述第一阵列的光学信号中的每束光学信号多核并行地进行矩阵乘法操作，以得到所述第二阵列的光学信号。
可选的，所述线性矩阵乘法单元包括：多个相互串并联的光学干涉单元，其中每一光学干涉单元的干涉臂设置有波长敏感的移相器阵列，且每一光学干涉单元的输入臂和输出臂中的至少一个设置有所述波长敏感的移相器阵列，以对输入所述光学干涉单元的光学信号中各波长的光进行独立的移相操作。
可选的，所述光信号处理模块包括多个级联的所述线性矩阵乘法单元，其中，前一级所述线性矩阵乘法单元的输出为后一级所述线性矩阵乘法单元的输入，第一级所述线性矩阵乘法单元的输入为所述第一阵列的光学信号，最后一级所述线性矩阵乘法单元的输出为所述第二阵列的光学信号。
可选的，所述光信号处理模块还包括：光学非线性单元，与所述线性矩阵乘法单元耦接以接收所述线性矩阵乘法单元对所述第一阵列的光学信号的线性运算结果，并根据参考阵列的光学信号对所述第一阵列的光学信号的线性运算结果进行非线性运算，以得到所述第二阵列的光学信号。
可选的，将相耦接的所述线性矩阵乘法单元以及所述光学非线性单元记作神经网络单元，所述光信号处理模块包括多个级联的所述神经网络单元，其中，前一级神经网络单元的输出为后一级神经网络单元的输入，第一级神经网络单元的输入为所述第一阵列的光学信号，最后一级神经网络单元的输出为所述第二阵列的光学信号。
可选的，将所述第一阵列的光学信号的线性运算结果记作第四阵列的光学信号，所述光学非线性单元对所述第四阵列的光学信号中各波长的光的非线性运算是独立进行的。
可选的，所述光学非线性单元包括：多个光学干涉单元，其中每一光学干涉单元分别接收所述第四阵列的光学信号以及参考阵列的光学信号，所述光学干涉单元的输入臂以及干涉臂设置有波长敏感的移相器阵列，以根据所述参考阵列的光学信号对所述第四阵列的光学信号中各波长的光进行独立的非线性变换操作。
可选的，所述光学非线性单元包括：多个光学干涉单元，其中每一光学干涉单元分别接收所述第四阵列的光学信号以及参考阵列的光学信号，所述光学干涉单元的输入臂设置有波长敏感的移相器阵列，以根据所述参考阵列的光学信号对所述第四阵列的光学信号中各波长的光进行独立的非线性变换操作。
可选的，所述波长敏感的移相器阵列包括多个移相器，所述多个移相器与输入的光学信号中各波长的光一一对应。
可选的，所述光发射模块包括：光学信号阵列产生单元，所述光学信号阵列产生单元用于产生光学信号阵列，且所述光学信号阵列中的每一束光学信号包括多个波长的连续光，将所述光学信号阵列产生单元产生的光学信号阵列记作第三阵列的光学信号；调制器阵列，与所述光学信号阵列产生单元耦接以接收所述第三阵列的光学信号，所述调制器阵列用于向所述第三阵列的光学信号施加调制信号，以得到所述第一阵列的光学信号，其中，所述调制信号与所述待处理信号相关联。
可选的，所述调制器阵列对所述第三阵列的光学信号中同一束光学信号的各波长的光施加相同的调制信号，对所述第三阵列的光学信号中不同束光学信号施加不同的调制信号。
可选的，所述调制器阵列对所述第三阵列的光学信号中同一束光学信号的不同波长的光施加不同的调制信号。
可选的，所述调制器阵列包括多个多波长光调制器单元，其中每一所述多波长光调制器单元包括光学干涉单元，所述光学干涉单元的上臂和下臂分别设置有波长敏感的移相器阵列，以对输入的光学信号中各波长的光进行独立调制。
可选的，所述波长敏感的移相器阵列包括多个移相器，所述多个移相器与所述输入的光学信号中各波长的光一一对应。
可选的，设置于所述上臂的波长敏感的移相器阵列和设置于所述下臂的波长敏感的移相器阵列中对应相同波长的移相器的移相参数之和为2π的整倍数。
可选的，所述光子神经网络还包括：电控制模块，与所述光接收模块耦接，所述电控制模块用于接收并调整所述处理后信号。
可选的，所述电控制模块还与所述光发射模块耦接，以将调整后的所述处理后信号作为待处理信号传输至所述光发射模块。
可选的，所述光子神经网络用于图像处理、图像识别、语音识别、基因测序、量子通信或量子计算。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种光子神经网络，包括：光发射模块，所述光发射模块根据待处理信号调制得到第一阵列的光学信号，其中，所述第一阵列的光学信号中每一束光学信号包括多个波长的光；光信号处理模块，与所述光发射模块耦接以接收所述第一阵列的光学信号，所述光信号处理模块至少对所述第一阵列的光学信号进行线性运算以得到第二阵列的光学信号，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的；光接收模块，与所述光信号处理模块耦接以接收所述第二阵列的光学信号，所述光接收模块基于所述第二阵列的光学信号获取处理后信号。
其中，运算是相互独立的，是指运算过程中使用的参数和/或运算算法是相互独立的，没有依赖关系的，彼此之间可以相同或不同，可以具有关联或者不具有关联。
本实施例方案能够极大地提高光子人工智能芯片的算力及灵活性。具体而言，现有光子人工智能芯片是对单一波长的光进行线性运算，或是对同一束光学信号中各个波长的光进行相同的线性运算，导致光子神经网络的算力和灵活性受到极大限制。本实施例方案通过对同一束光学信号中各波长的光独立地进行线性运算，使得对输入光的多核并行处理成为可能，利于提高光子人工智能芯片的算力和灵活性。进一步，还能够提高单位面积的光子人工智能芯片算力。
进一步，所述对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的，是指：所述光信号处理模块对所述光学信号中不同波长的光分别配置对应的卷积核，且各卷积核对各自对应波长的光的线性运算是相互独立的。由此，通过针对每个波长独立设立卷积核，使得各波长的计算结果彼此之间不会相互影响。进一步而言，本实施例方案提供一种多核并行运算的光子神经网络，通过多个卷积核并行地对光学信号中多个波长的光分别进行线性运算，极大地提高整体运算速度和算力。
附图说明
图1是本发明实施例一种光子神经网络的原理示意图；
图2是图1中光发射模块的第一种具体实施方式的结构示意图；
图3是图2所示调制器阵列中单个调制器的一种具体实施方式的结构示意图；
图4是图1中光发射模块的第二种具体实施方式的结构示意图；
图5是图1中光信号处理模块的第一种具体实施方式的结构示意图；
图6是图1中光信号处理模块的最小基本单元的第一种具体实施方式的结构示意图；
图7是图5所示M2×M1卷积核单元的一种具体实施方式的结构示意图；
图8是图1中光信号处理模块的第二种具体实施方式的结构示意图；
图9是图8中光学非线性单元的第一种具体实施方式的结构示意图；
图10是采用图9所示光学非线性单元时在不同条件下对光振幅的非线性函数的仿真结果；
图11是采用图9所示光学非线性单元时在不同条件下对光强度的非线性函数的仿真结果；
图12是图1中光信号处理模块的第三种具体实施方式的结构示意图；
图13是图1中光接收模块的一种具体实施方式的结构示意图；
图14是图8中光学非线性单元的第二种具体实施方式的结构示意图；
图15是采用图14所示光学非线性单元时在不同条件下对光振幅的非线性函数的仿真结果；
图16是采用图14所示光学非线性单元时在不同条件下对光强度的非线性函数的仿真结果；
图17是图1中光信号处理模块的最小基本单元的第二种具体实施方式的结构示意图。
具体实施方式
如背景技术所言，现有光子人工智能芯片的算力不尽如人意。
本申请发明人经过分析发现，这是由于现有光子人工智能芯片是对单一波长的光进行线性运算，或是对同一束光学信号中各个波长的光进行相同的线性运算，导致光子神经网络的算力和灵活性受到极大限制。
为解决上述技术问题，本发明实施例提供一种光子神经网络，包括：光发射模块，所述光发射模块根据待处理信号调制得到第一阵列的光学信号，其中，所述第一阵列的光学信号中每一束光学信号包括多个波长的光；光信号处理模块，与所述光发射模块耦接以接收所述第一阵列的光学信号，所述光信号处理模块至少对所述第一阵列的光学信号进行线性运算以得到第二阵列的光学信号，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的；光接收模块，与所述光信号处理模块耦接以接收所述第二阵列的光学信号，所述光接收模块基于所述第二阵列的光学信号获取处理后信号。其中，运算是相互独立的，是指运算过程中使用的参数和/或运算算法是相互独立的，没有依赖关系的，彼此之间可以相同或不同，可以具有关联或者不具有关联。
本实施例方案能够极大地提高光子人工智能芯片的算力及灵活性。具体而言，本实施例方案通过对同一束光学信号中各波长的光独立地进行线性运算，使得对输入光的多核并行处理成为可能，利于提高光子人工智能芯片的算力和灵活性。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种光子神经网络的原理示意图。
本实施例方案可以应用于图像识别、语音识别等应用场景，采用本实施所述光子神经网络1能够以较优算力实现对图像、语音等的识别。
具体地，参考图1，本实施例所述光子神经网络1可以包括：光发射模块11，所述光发射模块11根据待处理信号调制得到第一阵列的光学信号(图中以1,2,...,M1标识)，其中，所述第一阵列的光学信号中每一束光学信号包括多个波长的光。
在一个具体实施中，所述待处理信号可以包括待处理的数字信号或模拟信号。例如，用于图像识别的图像信号、语音识别的语音信号。所述光发射模块11将所述待处理的数字信号或模拟信号编码成光学信号以供后续运算。
例如，所述光子神经网络1可以从扬声器接收例如语音信号，并处理所接收的语音信号，以识别语音信号的内容。由此，可以基于光子神经网络1实现语音识别。
又例如，所述光子神经网络1可以从图像采集设备接收例如图像信号，并处理所接收的图像信号，以识别图像信号的内容。由此，可以基于光子神经网络1实现图像识别。相应的，所述待处理信号可以为图像的多个像素点的灰度。
在一个具体实施中，光学信号在本实施例所述光子神经网络1内各模块之间的传输可以是基于波导承载的。具体而言，波导是指能够以任意方式引导光学信号的任何结构。如光纤、在衬底中制造的半导体波导、被配置成引导光学信号的光子晶体结构或任何其他适合的结构。
在一个具体实施中，待处理信号可以由其他部件输入所述光发射模块11，所述其他部件可以集成于所述光子神经网络1内部，或者，也可以为其他与所述光子神经网络1耦接的外部器件。
例如，所述光子神经网络1可以包括电控制模块14，所述电控制模块14与所述光发射模块11耦接以向所述光发射模块11传输所述待处理信号。
具体而言，所述待处理信号可以表征为携带有相应信息的电信号，电控制模块14将电信号传输至光发射模块11，使得光发射模块11能够将电信号里的信息加载到光学信号上以形成所述第一阵列的光学信号。
在一个具体实施中，参考图2，光发射模块11可以包括：光学信号阵列产生单元111，所述光学信号阵列产生单元111用于产生光学信号阵列，且所述光学信号阵列中的每一束光学信号包括多个波长的连续光，将所述光学信号阵列产生单元111产生的光学信号阵列记作第三阵列的光学信号；调制器阵列112，与所述光学信号阵列产生单元111耦接以接收所述第三阵列的光学信号，所述调制器阵列112用于向所述第三阵列的光学信号施加调制信号，以得到所述第一阵列的光学信号，其中，所述调制信号与所述待处理信号相关联。
具体地，图中对第三阵列的光学信号和第一阵列的光学信号均以1,2,...,M1标识。两者的区别在于，第三阵列的光学信号是光学信号阵列产生单元111输出的、没有经过调制的原始光，而第一阵列的光学信号则是被调制器阵列112调制过的、携带有待处理信号相关信息的光。
进一步地，所述调制信号与所述待处理信号相关联可以指，根据所述待处理信号的具体信息确定调制信号的具体数值。
例如，所述第三阵列的光学信号经过调制器阵列112后，可以被调制器阵列进行强度调节，根据施加电压的不同，每束光学信号的强度调节量不同。输入光和输出光的强度有关联关系，通过这个关联关系就可以把待处理信号的信息加载在光上。
在一个具体实施中，所述第三阵列的光学信号可以由不同出射波长的激光器阵列经波长复用器复用后得到。
具体地，继续参考图2，所述光学信号阵列产生单元111可以包括激光器单元113，用于产生多个波长的光学信号(图中以λ1,λ2,...,λN标识)。
例如，所述激光器单元113可以由具有不同出射波长的激光器阵列实现，激光器阵列中包含多个激光器，其中每一激光器分别输出特定波长的光。
又例如，所述激光器单元113可以包括一个或多个多波长激光器，其中每一激光器产生特定的一个或多个波长的光学信号。
进一步，所述光学信号阵列产生单元111可以包括复用器114，与所述激光器单元113耦接，以将所述多个波长的光学信号波长复用为一束包含多个波长的连续光。
例如，所述复用器114可以为阵列波导光栅(Arrayed Waveguide Grating，简称AWG)光复用器。
进一步，所述光学信号阵列产生单元111可以包括分束器115，与所述复用器114耦接。所述分束器115可以为1×M1分束器，用于将复用器114输出的包含多个波长的单束光学信号分束为M1束光学信号。分束得到的即为所述第三阵列的光学信号，其中每一束光学信号均包含λ1至λN共N个波长的光。
例如，所述分束器115可以为单一分束器件。
又例如，所述分束器115可以由多个分束器级联构成。
在实际应用中，所述光学信号阵列产生单元111可以采用其他类似结构，以生成M1束光学信号组成的第三阵列的光学信号，其中每束光学信号均包含λ1至λN共N个波长的连续光。
例如，所述光学信号阵列产生单元111可以为多波长激光器，通过所述多波长激光器直接出射得到一束包含多个波长的连续光，然后由分束器分束得到所述第三阵列的光学信号。
在一个具体实施中，光发射模块11的输出光信号(即第一阵列的光学信号)可以是多种波长且调制信号相同的光信号。也即，所述调制器阵列112对所述第三阵列的光学信号中同一束光学信号的各波长的光施加相同的调制信号。
进一步，所述调制器阵列112对所述第三阵列的光学信号中不同束光学信号可以施加不同的调制信号。
例如，所述调制器阵列112可以包括M1个调制器，其中每一调制器用于对一路光学信号进行调制。具体地，每一调制器加载的光信号相同，但各调制器向光信号施加不同的电压，由此得到不同强度的调制结果。由此，调制器阵列112输出的第一阵列的光学信号中，同一束光学信号中各波长携带的待处理的信息是一样的，不同束光学信号中相同波长携带的信息可以是不一样的。
当然，调制器阵列112可以向部分束光学信号施加相同的调制信号，则这些不同束光学信号中相同波长携带的信息也可以是一样的。
在一个具体实施中，所述调制器阵列112对所述第三阵列的光学信号中同一束光学信号的不同波长的光可以施加不同的调制信号。由此，所述光发射模块11的输出光信号可以是多种波长且调制信号不同的光信号。
例如，对于同一束光学信号，对应的调制器针对该束光的不同波长加载不同的电压，以得到不同强度的调制结果。
在一个具体实施中，调制器阵列112可以采用电光、声光、热光等类型的调制器。
在一个具体实施中，图3示出调制器阵列112中单个调制器的一种具体实施方式的结构示意图。所述调制器阵列112可以包括M1个图3示出的调制器。所述调制器可以称为多波长光调制器单元116，以实现对不同波长的光信号的调制。
所述多个多波长光调制器单元116与所述第三阵列的光学信号一一对应，其中每一多波长光调制器单元116用于对第三阵列的光学信号中的某一束光学信号进行调制。
具体地，参考图3，所述多波长光调制器单元116可以包括输入波导、光学干涉单元117以及输出波导。
输入波导接收到的输入光信号可以为多种波长的连续光(λ1,λ2,...,λN)，即第三阵列的光学信号中的单束光学信号。
进一步，所述光学干涉单元117可以为1×1马赫曾德干涉仪。所述1×1马赫曾德干涉仪可以包括两个1×2分束器(图中分别以分束器1和分束器2标识)和两个波长敏感的移相器阵列118。其中，波长敏感的移相器阵列也可以称为波长相关的移相器阵列。
例如，分束器可以采用定向耦合器(Directional Coupler，简称DC)、多模干涉器(Muti-Mode Interferometer，简称MMI)等。
进一步，两个波长敏感的移相器阵列118可以分别设置于1×1马赫曾德干涉仪的上臂和下臂，以对输入的光学信号中各波长的光进行独立调制。
例如，波长敏感的移相器阵列118可以对单个波长的光信号进行独立的移相操作。
进一步，波长敏感的移相器阵列118可以由微环谐振腔、光栅等波长相关器件实现。移相可以通过热光、电光、相变、等离子体色散等方式实现，图3以微环谐振腔为例进行示例性展示。
进一步，所述波长敏感的移相器阵列118可以包括多个移相器(图中以圆环标识)，所述多个移相器与所述输入的光学信号中各波长的光一一对应。也就是说，单个波长敏感的移相器阵列118包括的移相器的数量与输入光的波长数量相对应，以多核并行地对输入的包含多个波长的连续光进行移相操作。
进一步，设置于所述上臂的波长敏感的移相器阵列118和设置于所述下臂的波长敏感的移相器阵列118中对应相同波长的移相器的移相参数之和为2π的整数倍。由此，可以避免引入相位偏差，实现纯粹的强度调节。
假设移相器上臂谐振波长为λm的微环移相器，对应的移相参数为θλm-U；移相器下臂谐振波长为λm的微环移相器，对应的移相参数为θλm-D。则所述光学干涉单元117在对输入的光学信号进行调制时，令θλm-U+θλm-D＝2kπ，其中k为整数。
相应的，对于波长为λm的光学信号，所述光学干涉单元117的传输矩阵
可以描述为如公式(1)所示：
其中，所述传输矩阵
用于描述光学信号的复振幅的变化情况。
由此，基于波长敏感的移相器阵列118实现对同一束光学信号中不同波长的光学信号进行独立的移相操作。
在一个具体实施中，光发射模块11可以采用图4所示结构，每一波长的光分成M1束光学信号并分别调制输出到对应的复用器，由复用器将不同波长的光合并到同一波导中，最终形成第一阵列的光学信号。
采用图4所示结构生成的第一阵列的光学信号中，同一束光学信号中每个波长携带的信息是不一样的。也即，采用图4所示结构生成的第一阵列的光学信号可以是多种波长且调制信号不同的光学信号。当然，采用图4所示结构生成的第一阵列的光学信号中，同一束光学信号中每个波长携带的信息也可以是相同的，只要调制器施加的待处理信号相同，则每个波长携带的信息就可以认为是相同的。
具体地，参考图4，光发射模块11可以包括激光器单元113，用于产生N个波长的光。关于激光器单元113的具体结构可以参考图2所示实施例的相关描述，在此不与赘述。当所述激光器单元113包括一个或多个多波长激光器时，所述激光器单元113输出的光学信号需先经过波分解复用器将不同波长的光信号分离，然后再输出至后续模块。
进一步，所述光发射模块11可以包括N个1×M1分束器(图中以分束器1至分束器N标识)，所述N个1×M1分束器与所述N个波长一一对应，用于将接收到的单一波长的单束光学信号分束为M1束单一波长的光学信号。
进一步，所述光发射模块11可以包括N个调制器阵列(图中以调制器阵列1至调制器阵列N标识)，所述N个调制器阵列与所述N个分束器一一对应，用于对接收到的M1束单一波长的光学信号进行调制。
对于所述N个调制器阵列中的任一调制器阵列，所述调制器阵列可以包含M1个光调制器，可以是电光、声光、热光等调制器等。关于所述调制器阵列的具体结构可以参考图2中的相关描述。
对于所述N个调制器阵列中的任一调制器阵列，所述调制器阵列可以对输入的M1束单一波长的光学信号施加不同的调制信号。
进一步，所述光发射模块11可以包括M1个波分复用器(图中以复用器1至复用器M1标识)，其中每一波分复用器用于将N个调制器阵列各自输出的一路调制后的光学信号波分复用成一路光学信号。M1个波分复用器的输出即为所述第一阵列的光学信号。
以激光器单元113输出的波长为λm的光学信号为例，该路光学信号先经1×M1分束器m等分为M1束光。该M1束光分别经调制器阵列m中的对应调制器调制后，再分别与M1个波分复用器相连接。
相应的，对于每一波分复用器，所述波分复用器接收到的不同波长的光学信号是经由不同的调制器阵列调制得到的，由此，所述光发射模块11可以对多种波长的光实现不同的调制。
或者，所述M1个波分复用器可以对各调制器阵列施加相同调制信号调制得到的不同波长的光进行波分复用，以复合得到所述第一阵列的光学信号中的单束光学信号。由此，采用图4所示结构的光发射模块11可以输出多个波长调制相同的光学信号。
在图4所示光发射模块11中，光学信号阵列产生单元111可以等效为除调制器阵列1至N外的剩余模块，与图2所示光学信号阵列产生单元111的区别在于，本实施例所述光学信号阵列产生单元111是对每一波长的光单独进行调制的，并在最后才复合到一路光学信号中。
由上，所述光发射模块11输出的所述第一阵列的光学信号可以是多种不同波长且调制信号相同的光学信号，也可以是多种不同波长但调制信号不同的光学信号。
在一个具体实施中，继续参考图1，所述光子神经网络1还可以包括光信号处理模块12，与所述光发射模块11耦接以接收所述第一阵列的光学信号，所述光信号处理模块12至少对所述第一阵列的光学信号进行线性运算以得到第二阵列的光学信号(图中以1,2,...,M2标识)，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块12对所述光学信号中各波长的光的线性运算是独立进行的。
具体地，所述对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块12对所述光学信号中各波长的光的线性运算是独立进行的，可以是指：所述光信号处理模块12对所述光学信号中不同波长的光分别配置对应的卷积核，且各卷积核对各自对应波长的光的线性运算是相互独立的。
由此，通过针对每个波长独立设立卷积核，使得各波长的计算结果彼此之间不会相互影响。进一步而言，本实施例方案提供一种多核并行运算的光子神经网络1，通过多个卷积核并行地对光学信号中多个波长的光分别进行线性运算，极大地提高整体运算速度和算力。
在一个具体实施中，参考图5，所述光信号处理模块12可以包括线性矩阵乘法单元121，用于对所述第一阵列的光学信号中的每束光学信号多核并行地进行矩阵乘法操作，以得到所述第二阵列的光学信号。
在本实施例中，所述线性矩阵乘法单元121的数量可以为一个。
具体地，所述线性矩阵乘法单元121可以包括输入波导阵列、M2×M1卷积核单元122以及输出波导阵列。其中，所述输入波导阵列适于接收所述第一阵列的光学信号，所述输出波导阵列适于输出所述第二阵列的光学信号。
在一个具体实施中，结合图6，所述线性矩阵乘法单元121中的M2×M1卷积核单元122可以包括：多个相互串并联的光学干涉单元123，其中每一光学干涉单元123的干涉臂设置有波长敏感的移相器阵列124，且每一光学干涉单元123的输入臂和输出臂中的至少一个设置有所述波长敏感的移相器阵列124，以对输入所述光学干涉单元123的光学信号中各波长的光进行独立的移相操作。
具体地，所述光学干涉单元123可以作为M2×M1卷积核单元122的最小基本单元。所述M2×M1卷积核单元122可以由图6所示的光学干涉单元123通过一定连接方式组成。
图7以4×4卷积核单元为例进行示例性展示，其中In1至In4为第一阵列的光学信号，Out1至Out4为第二阵列的光学信号。VT为酉矩阵，∑为对角矩阵，U为酉矩阵。需要指出的是，M2×M1卷积核单元122内各光学干涉单元123的具体连接方式可以根据实际需要进行调整，在此不作限制。
结合图5至图7，所述光学干涉单元123可以为输入臂(或输出臂)以及干涉臂设置有波长敏感的移相器阵列124的2×2马赫曾德干涉仪。所述2×2马赫曾德干涉仪可以包括两个2×2分束器125，所述两个2×2分束器125之间的臂为干涉臂，位于第一个2×2分束器125左侧的臂为输入臂，位于第二个2×2分束器125右侧的臂为输出臂。波长敏感的移相器阵列124在图中以微环谐振腔移相器为例进行示例性展示。
进一步，所述波长敏感的移相器阵列124可以包括多个移相器(图中以圆环示例)，所述多个移相器与输入的光学信号中各波长的光一一对应。也即，构成光信号处理模块12的最基本单元的光学干涉单元123的干涉臂以及输入臂设置有多个移相器组成的光学敏感的移相器阵列124，各移相器阵列包括的移相器的数量与输入光的波长数量相对应，以实现对输入光的多核并行处理。
图6是以光学干涉单元123的干涉臂和输入臂的上臂均设置有所述波长敏感的移相器阵列124为例进行示例性展示的。在实际应用中，也可以是干涉臂和输出臂设置有所述波长敏感的移相器阵列124，或者，干涉臂、输入臂和输出臂均设置有所述波长敏感的移相器阵列124。在实际应用中，位于所述干涉臂的所述波长敏感的移相器阵列124可以设置于干涉臂的上臂，位于所述输入臂的所述波长敏感的移相器阵列124可以设置于输入臂的上臂；或者，位于所述干涉臂的所述波长敏感的移相器阵列124可以设置于干涉臂的下臂，位于所述输入臂的所述波长敏感的移相器阵列124可以设置于输入臂的下臂；或者，位于所述干涉臂的所述波长敏感的移相器阵列124可以设置于干涉臂的上臂，位于所述输入臂的所述波长敏感的移相器阵列124可以设置于输入臂的下臂；或者，位于所述干涉臂的所述波长敏感的移相器阵列124可以设置于干涉臂的下臂，位于所述输入臂的所述波长敏感的移相器阵列124可以设置于输入臂的上臂。
例如，光学敏感的移相器阵列124中的每一移相器分别对对应波长的光进行移相操作。
进一步，图6示出的2×2马赫曾德干涉仪可以由一个2×2传输矩阵表述，如公式(2)所示：
其中，
为对波长为λm的光的传输矩阵，
和θλm为2×2马赫曾德干涉仪中对波长为λm的移相器参数。
由上，设置有光学敏感的移相器阵列124的光学干涉单元123可以对不同波长的光实现独立的矩阵乘法操作。以图6所示的卷积核基本单元为例，可以同时实现N种波长的光信号的矩阵乘法操作。
在一个具体实施中，所述光信号处理模块12可以包括多个级联的所述线性矩阵乘法单元121，其中，前一级所述线性矩阵乘法单元121的输出为后一级所述线性矩阵乘法单元121的输入，第一级所述线性矩阵乘法单元121的输入为所述第一阵列的光学信号，最后一级所述线性矩阵乘法单元121的输出为所述第二阵列的光学信号。
在一个具体实施中，所述光信号处理模块12还可以包括：光学非线性单元126，与所述线性矩阵乘法单元122耦接以接收所述线性矩阵乘法单元122对所述第一阵列的光学信号的线性运算结果，并根据参考阵列的光学信号对所述第一阵列的光学信号的线性运算结果进行非线性运算，以得到所述第二阵列的光学信号。
具体而言，参考图8，所述光信号处理模块12可以是线性矩阵乘法单元122与光非线性单元126的级联结构。
其中，所述线性矩阵乘法单元122的具体结构可以参考图6所示的最小基本单元构成。
在一个具体实施中，将所述第一阵列的光学信号的线性运算结果记作第四阵列的光学信号，所述光学非线性单元126对所述第四阵列的光学信号中各波长的光的非线性运算是独立进行的。也即，所述光学非线性单元126可以对单一波长的光进行独立的非线性运算。
具体而言，参考图9，所述光学非线性单元126可以包括：多个光学干涉单元127，其中每一光学干涉单元127分别接收所述第四阵列的光学信号以及参考阵列的光学信号，所述光学干涉单元127的输入臂以及干涉臂设置有波长敏感的移相器阵列124，以根据所述参考阵列的光学信号对所述第四阵列的光学信号中各波长的光进行独立的非线性变换操作。
图9是以输入臂的上臂接收第四阵列的光学信号，输入臂的下臂接收参考阵列的光学信号为例进行示例性展示的。在实际应用中，也可以是输入臂的下臂接收第四阵列的光学信号，输入臂的上臂接收参考阵列的光学信号。进一步，设置于干涉臂的波长敏感的移相器阵列124与设置于输入臂的波长敏感的移相器阵列124可以是同侧的，如都在上臂或都在下臂。或者，设置于干涉臂的波长敏感的移相器阵列124与设置于输入臂的波长敏感的移相器阵列124可以是异侧的，如输入臂的上臂设置有波长敏感的移相器阵列124，且干涉臂的下臂设置有波长敏感的移相器阵列124。
多个所述光学干涉单元127与所述第四阵列的光学信号一一对应，其中每一光学干涉单元127用于对一束光中的各波长进行独立的非线性变换操作。进一步，各光学干涉单元127对对应波长的光的非线性变化操作不受其他光学干涉单元的影响。
进一步地，所述光学干涉单元127可以为上臂设置有波长敏感的移相器阵列124的2×2马赫曾德干涉仪。所述2×2马赫曾德干涉仪可以包括两个2×2分束器125，所述两个2×2分束器125中第一个2×2分束器125的输入端为所述光学干涉单元127的输入臂，所述输入臂的上臂设置有光学敏感的移相器阵列124并用于接收第四阵列的光学信号。所述输入臂的下臂未设置光学敏感的移相器阵列124并用于接收参考阵列的光学信号。波长敏感的移相器阵列124在图中以微环谐振腔移相器为例进行示例性展示。
进一步，所述波长敏感的移相器阵列124可以包括多个移相器(图中以圆环示例)，所述多个移相器与输入的光学信号中各波长的光一一对应。例如，光学敏感的移相器阵列124中的每一移相器分别对对应波长的光进行移相操作。
图9所示光学干涉单元127与图6所示光学干涉单元123的区别在于，图9所示2×2马赫曾德干涉仪的输入臂的下臂适于接收参考阵列的光学信号。由此，光学干涉单元127包括的两个波长敏感的移相器阵列124中，位于输入臂的波长敏感的移相器阵列124可以用于调整信号光与参考光之间的相位差。
继续参考图9，所述第四阵列的光学信号Ein(λm)和参考阵列的光学信号Eref(λm)同时输入所述2×2马赫曾德干涉仪，其输出可描述为公式(3)所示：
其中，
为第四阵列的光学信号与参考阵列的光学信号之间的相位差；Eout1(λm)和Eout2(λm)均可作为2×2马赫曾德干涉仪的输出。
具体地，所述参考阵列的光学信号与所述第四阵列的光学信号来自同一激光器，且未经调制器进行强度调制，为一连续光。
例如，所述参考阵列的光学信号可以为光学信号阵列产生单元111输出的未经调制的第三阵列的光学信号。
以Eout1(λm)为例，其强度O1(λm)可以描述为如公式(4)所示：
其中Iin(λm)为第四阵列的光学信号的光强度，Iref(λm)为参考阵列的光学信号的光强度。
本实例所提供的由所述光学干涉单元127构成的全光非线性激活函数结构可以实现对光振幅的非线性变换，也可以实现对光强度的非线性变换。通过调整2×2马赫曾德干涉仪的移相器参数
和θλm以及参考阵列的光学信号的光强度Iref(λm)，可实现不同的非线性激活函数。
在一个典型的应用场景中，参见图10，图10示出采用图9所示结构时不同移相器参数
和θλm以及参考阵列的光学信号的光强度Iref(λm)条件下对光振幅的非线性变换曲线。其中，
Iref＝53uW，
图10中实线对应移相器参数θλm＝0.534π，虚线对应移相器参数θλm＝0.789π，点划线对应移相器参数θλm＝0.985π，实线加圆形标记对应移相器参数θλm＝1.294π；虚线加圆形标记对应移相器参数θλm＝1.454π。
在一个典型的应用场景中，参见图11，图11示出采用图9所示结构时不同移相器参数
和θλm以及参考阵列的光学信号的光强度Iref(λm)条件下对光强度的非线性变换曲线。其中，Iref(λm)＝53uW，
图11中实线对应θλm＝0.534π，
虚线对应θλm＝0.789π，
点划线对应θλm＝1.294π，
在一个变化例中，在输入臂侧，光学敏感的移相器阵列124的具体设置位置除图9示出的实施例外，还可以设置于光学干涉单元127的用于接收参考阵列的光学信号的输入臂。也就是说，输入臂的上臂和下臂均可以设置有光学敏感的移相器阵列124，且上臂和下臂中的任一臂接收参考阵列的光学信号而另一臂接收第四阵列的光学信号。
或者，在输入臂侧，光学敏感的移相器阵列124可以仅设置于接收参考阵列的光学信号的臂。
在一个变化例中，在干涉臂侧，光学敏感的移相器阵列124的具体设置位置除图9示出的实施例外，还可以设置于干涉臂的下臂。也就是说，干涉臂的上臂和下臂均可以设置有光学敏感的移相器阵列124。
或者，在干涉臂侧，光学敏感的移相器阵列124可以仅设置于下臂。
在一个具体实施中，参考图8和图12，将相耦接的所述线性矩阵乘法单元122以及所述光学非线性单元126记作神经网络单元128，所述光信号处理模块12可以包括多个级联的所述神经网络单元128，其中，前一级神经网络单元128的输出为后一级神经网络单元128的输入，第一级神经网络单元128的输入为所述第一阵列的光学信号，最后一级神经网络单元128的输出为所述第二阵列的光学信号。
也就是说，所述光信号处理模块12可以是由多个线性矩阵乘法单元122与光学非线性单元126的组合级联形成的。
图12以L个神经网络单元128为例进行示例性展示，其中，第一级神经网络单元128的输入为第一阵列的光学信号，第L级神经网络单元128的输出为第二阵列的光学信号。
进一步，L个神经网络单元128中至少部分神经网络单元128的线性矩阵乘法单元122的输出数量，可以不同于其他神经网络单元128的线性矩阵乘法单元122的输出数量。
例如，第一级神经网络单元128的线性矩阵乘法单元122可以包括M2×M1卷积核，第二级神经网络单元128的线性矩阵乘法单元122可以包括M3×M2卷积核，...，第L级神经网络单元128的线性矩阵乘法单元122可以包括ML+1×ML卷积核。其中，M1、M2、M3、...、ML和ML+1可以完全相等、部分相等或互不相等。
在一个具体实施中，继续参考图1，所述光子神经网络1还可以包括：光接收模块13，与所述光信号处理模块12耦接以接收所述第二阵列的光学信号，所述光接收模块13可以基于所述第二阵列的光学信号获取处理后信号。
具体地，参考图13，所述光接收模块13可以包括M2个解复用器131和M2个光探测器阵列132。所述第二阵列的光学信号中的每一束光学信号输入对应的解复用器131。在经所述对应的解复用器131解复用后，可以得到N种波长的光(λ1,λ2,...,λN)。
所述M2个光探测器阵列132与所述M2个解复用器131一一对应。对于每一所述光探测器阵列132，所述光探测器阵列132包括N个探测器，以分别对解复用得到的N个波长的光进行光电转换，从而得到电信号。所述电信号即为处理后信号。
在一个具体实施中，所述处理后信号通过电路传输到所述电控制模块14。
所述电控制模块14可以接收并调整所述处理后信号。例如，对所述处理后信号进行放大等操作。
在一个具体实施中，所述电控制模块14还可以对调制器阵列112、光信号处理模块12中的参数进行调控。
在一个具体实施中，当所述光信号处理模块12仅包括线性矩阵乘法单元122时，所述电控制模块14还用于在电域中对接收到的所述处理后信号进行非线性变换运算。
在一个具体实施中，所述电控制模块14还可以与所述光发射模块11耦接，以将调整后的所述处理后信号作为待处理信号传输至所述光发射模块11，从而执行另一轮线性变换。由此，可以实现循环迭代的深度学习。
在一个具体实施中，所述电控制模块14可以将接收到的处理后信号传输至其他光子计算结构的输入波导，以执行另一轮线性变换。
在本实施例的一个变化例中，所述光学干涉单元127的具体结构可以如图14所示。具体而言，与图9所示结构的区别在于，图14所示光学干涉单元127仅包括一个2×2分束器125，且波长敏感的移相器阵列124的数量也为一个并位于输入臂，以调整信号光与参考光之间的相位差。图14所示光学干涉单元127同样可以实现全光非线性激活函数。
继续参考图14，所述第四阵列的光学信号Ein(λm)和参考阵列的光学信号Eref(λm)同时输入所述2×2分束器125，所述2×2分束器125可以采用定向耦合器(DirectionalCoupler，简称DC)、多模干涉器(Muti-Mode Interferometer，简称MMI)等。所述光学干涉单元127的输出可描述为公式(5)所示：
其中，
为第四阵列的光学信号与参考阵列的光学信号之间的相位差；Eout1(λm)和Eout2(λm)均可作为2×2分束器125的输出。
具体地，所述参考阵列的光学信号与所述第四阵列的光学信号来自同一激光器，且未经调制器进行强度调制，为一连续光。
例如，所述参考阵列的光学信号可以为光学信号阵列产生单元111输出的未经调制的第三阵列的光学信号。
以Eout1(λm)为例，其强度O1(λm)可以描述为如公式(6)所示：
其中，Iin(λm)为第四阵列的光学信号的光强度；Iref(λm)为参考阵列的光学信号的光强度；*表示复共轭；
本实例所提供的由所述光学干涉单元127构成的全光非线性激活函数结构可以实现对光振幅的非线性变换，也可以实现对光强度的非线性变换。通过调整2×2分束器的移相器参数
和参考阵列的光学信号的光强度Iref(λm)，可实现不同的非线性激活函数。
在采用图14所示光学干涉单元127构成光学非线性单元126的应用场景中，参见图15，图15示出不同移相器参数
和参考阵列的光学信号的光强度Iref(λm)条件下对光振幅的非线性变换曲线。其中，
图15中实线对应移相器参数
虚线对应移相器参数
点划线对应移相器参数
实线加圆形标记对应移相器参数
虚线加圆形标记对应移相器参数
在采用图14所示光学干涉单元127构成光学非线性单元126的应用场景中，参见图16，图6示出不同移相器参数
和参考阵列的光学信号的光强度Iref(λm)条件下对光强度的非线性变换曲线。其中，
图16中实线对应
Iref(λm)＝53uW；虚线对应
Iref(λm)＝10uW；点虚线对应
Iref(λm)＝5uW。
在一个变化例中，在输入臂侧，光学敏感的移相器阵列124的具体设置位置除图14示出的实施例外，还可以设置于光学干涉单元127的用于接收参考阵列的光学信号的输入臂。也就是说，输入臂的上臂和下臂均可以设置有光学敏感的移相器阵列124，且上臂和下臂中的任一臂接收参考阵列的光学信号而另一臂接收第四阵列的光学信号。
或者，在输入臂侧，光学敏感的移相器阵列124可以仅设置于接收参考阵列的光学信号的臂。
在本实施例的一个变化例中，所述线性矩阵乘法单元121中的光学干涉单元123的结构可以如图17所示，与图6所示结构的区别在于，图17所示光学干涉单元123可以为输入臂(或输出臂)以及干涉臂设置有波长敏感的移相器阵列124的N1×N3马赫曾德干涉仪。
所述N1×N3马赫曾德干涉仪可以包括两个分束器125，其中位于输入臂和干涉臂之间的分束器125(图中以分束器1标识)为N1×N2分束器，位于干涉臂和输出臂之间的分束器125(图中以分束器2标识)为N2×N3分束器。其中，N1、N2和N3均为大于等于2的整数，N1、N2和N3的具体数值可以完全相同、部分相同或完全不同。
对于输入臂包括的N1个臂中，N1-1个臂可以分别设置有所述波长敏感的移相器阵列124。
对于干涉臂包括的N2个臂中，N2-1个臂可以分别设置有所述波长敏感的移相器阵列124。
关于所述波长敏感的移相器阵列124的具体结构可以参考图6所示实施例中的相关描述。
本实施例所述光子神经网络1可以用于图像处理、图像识别、语音识别、基因测序、量子通信或量子计算等应用领域。
由上，本实施例方案能够极大地提高光子人工智能芯片的算力及灵活性。具体而言，本实施例方案通过对同一束光学信号中各波长的光独立地进行线性运算，使得对输入光的多核并行处理成为可能，利于提高光子人工智能芯片的算力和灵活性。进一步，还能够提高单位面积的光子人工智能芯片算力。
进一步，本实施例所述光子神经网络1可以实现对相同调制信号的不同矩阵乘法运算以及非线性运算，还可以实现对不同调制信号的不同矩阵乘法运算以及非线性运算。
本发明的益处在于：首先，可以使用单一光学结构实现对相同调制信号的不同矩阵乘法运算以及非线性运算的并行运算，大大提高了光子神经网络芯片的算力以及单位面积算力；其次，可以使用单一光学结构实现对不同调制信号的不同矩阵乘法运算以及非线性运算的并行运算，可以实现对单一任务的并行运算或不同任务的并行运算，大大提高了光子神经网络芯片的算力、单位面积算力，以及灵活性。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (20)
1.一种光子神经网络，其特征在于，包括：
光发射模块，所述光发射模块根据待处理信号调制得到第一阵列的光学信号，其中，所述第一阵列的光学信号中每一束光学信号包括多个波长的光；
光信号处理模块，与所述光发射模块耦接以接收所述第一阵列的光学信号，所述光信号处理模块对所述第一阵列的光学信号至少进行线性运算以得到第二阵列的光学信号，其中，对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的；
光接收模块，与所述光信号处理模块耦接以接收所述第二阵列的光学信号，所述光接收模块基于所述第二阵列的光学信号获取处理后信号。
2.根据权利要求1所述的光子神经网络，其特征在于，所述对于所述第一阵列的光学信号中的每一束光学信号，所述光信号处理模块对所述光学信号中各波长的光的线性运算是独立进行的，是指：
所述光信号处理模块对所述光学信号中不同波长的光分别配置对应的卷积核，且各卷积核对各自对应波长的光的线性运算是相互独立的。
3.根据权利要求1所述的光子神经网络，其特征在于，所述光信号处理模块包括：
线性矩阵乘法单元，用于对所述第一阵列的光学信号中的每束光学信号多核并行地进行矩阵乘法操作，以得到所述第二阵列的光学信号。
4.根据权利要求3所述的光子神经网络，其特征在于，所述线性矩阵乘法单元包括：
多个相互串并联的光学干涉单元，其中每一光学干涉单元的干涉臂设置有波长敏感的移相器阵列，且每一光学干涉单元的输入臂和输出臂中的至少一个设置有所述波长敏感的移相器阵列，以对输入所述光学干涉单元的光学信号中各波长的光进行独立的移相操作。
5.根据权利要求3所述的光子神经网络，其特征在于，所述光信号处理模块包括多个级联的所述线性矩阵乘法单元，其中，前一级所述线性矩阵乘法单元的输出为后一级所述线性矩阵乘法单元的输入，第一级所述线性矩阵乘法单元的输入为所述第一阵列的光学信号，最后一级所述线性矩阵乘法单元的输出为所述第二阵列的光学信号。
6.根据权利要求3所述的光子神经网络，其特征在于，所述光信号处理模块还包括：
光学非线性单元，与所述线性矩阵乘法单元耦接以接收所述线性矩阵乘法单元对所述第一阵列的光学信号的线性运算结果，并根据参考阵列的光学信号对所述第一阵列的光学信号的线性运算结果进行非线性运算，以得到所述第二阵列的光学信号。
7.根据权利要求6所述的光子神经网络，其特征在于，将相耦接的所述线性矩阵乘法单元以及所述光学非线性单元记作神经网络单元，所述光信号处理模块包括多个级联的所述神经网络单元，其中，前一级神经网络单元的输出为后一级神经网络单元的输入，第一级神经网络单元的输入为所述第一阵列的光学信号，最后一级神经网络单元的输出为所述第二阵列的光学信号。
8.根据权利要求6所述的光子神经网络，其特征在于，将所述第一阵列的光学信号的线性运算结果记作第四阵列的光学信号，所述光学非线性单元对所述第四阵列的光学信号中各波长的光的非线性运算是独立进行的。
9.根据权利要求8所述的光子神经网络，其特征在于，所述光学非线性单元包括：
多个光学干涉单元，其中每一光学干涉单元分别接收所述第四阵列的光学信号以及参考阵列的光学信号，所述光学干涉单元的输入臂以及干涉臂设置有波长敏感的移相器阵列，以根据所述参考阵列的光学信号对所述第四阵列的光学信号中各波长的光进行独立的非线性变换操作。
10.根据权利要求8所述的光子神经网络，其特征在于，所述光学非线性单元包括：
多个光学干涉单元，其中每一光学干涉单元分别接收所述第四阵列的光学信号以及参考阵列的光学信号，所述光学干涉单元的输入臂设置有波长敏感的移相器阵列，以根据所述参考阵列的光学信号对所述第四阵列的光学信号中各波长的光进行独立的非线性变换操作。
11.根据权利要求4、9或10所述的光子神经网络，其特征在于，所述波长敏感的移相器阵列包括多个移相器，所述多个移相器与输入的光学信号中各波长的光一一对应。
12.根据权利要求1至10中任一项所述的光子神经网络，其特征在于，所述光发射模块包括：
光学信号阵列产生单元，所述光学信号阵列产生单元用于产生光学信号阵列，且所述光学信号阵列中的每一束光学信号包括多个波长的连续光，将所述光学信号阵列产生单元产生的光学信号阵列记作第三阵列的光学信号；
调制器阵列，与所述光学信号阵列产生单元耦接以接收所述第三阵列的光学信号，所述调制器阵列用于向所述第三阵列的光学信号施加调制信号，以得到所述第一阵列的光学信号，其中，所述调制信号与所述待处理信号相关联。
13.根据权利要求12所述的光子神经网络，其特征在于，所述调制器阵列对所述第三阵列的光学信号中同一束光学信号的各波长的光施加相同的调制信号，对所述第三阵列的光学信号中不同束光学信号施加不同的调制信号。
14.根据权利要求12所述的光子神经网络，其特征在于，所述调制器阵列对所述第三阵列的光学信号中同一束光学信号的不同波长的光施加不同的调制信号。
15.根据权利要求12所述的光子神经网络，其特征在于，所述调制器阵列包括多个多波长光调制器单元，其中每一所述多波长光调制器单元包括光学干涉单元，所述光学干涉单元的上臂和下臂分别设置有波长敏感的移相器阵列，以对输入的光学信号中各波长的光进行独立调制。
16.根据权利要求15所述的光子神经网络，其特征在于，所述波长敏感的移相器阵列包括多个移相器，所述多个移相器与所述输入的光学信号中各波长的光一一对应。
17.根据权利要求16所述的光子神经网络，其特征在于，设置于所述上臂的波长敏感的移相器阵列和设置于所述下臂的波长敏感的移相器阵列中对应相同波长的移相器的移相参数之和为2π的整倍数。
18.根据权利要求1至10中任一项所述的光子神经网络，其特征在于，还包括：
电控制模块，与所述光接收模块耦接，所述电控制模块用于接收并调整所述处理后信号。
19.根据权利要求18所述的光子神经网络，其特征在于，所述电控制模块还与所述光发射模块耦接，以将调整后的所述处理后信号作为待处理信号传输至所述光发射模块。
20.根据权利要求1所述的光子神经网络，其特征在于，所述光子神经网络用于图像处理、图像识别、语音识别、基因测序、量子通信或量子计算。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700756.2A CN112001487B (zh) | 2020-07-20 | 一种光子神经网络 | |
| PCT/CN2021/082632 WO2022016894A1 (zh) | 2020-07-20 | 2021-03-24 | 一种光子神经网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010700756.2A CN112001487B (zh) | 2020-07-20 | 一种光子神经网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001487A true CN112001487A (zh) | 2020-11-27 |
| CN112001487B CN112001487B (zh) | 2024-05-28 |
Family
ID=
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988113A (zh) * | 2021-04-29 | 2021-06-18 | 中国科学院西安光学精密机械研究所 | 一种光子矩阵向量乘法器 |
| CN113595649A (zh) * | 2021-07-19 | 2021-11-02 | 联合微电子中心有限责任公司 | 光学非线性激活单元、方法和光子神经网络 |
| CN113595647A (zh) * | 2021-07-21 | 2021-11-02 | 联合微电子中心有限责任公司 | 光子波束成形单元、发射系统和接收系统 |
| CN113792870A (zh) * | 2021-10-29 | 2021-12-14 | 广西大学 | 基于声光技术的全光控制光学神经网络系统 |
| CN113805641A (zh) * | 2021-09-23 | 2021-12-17 | 联合微电子中心有限责任公司 | 一种光子神经网络 |
| CN113822425A (zh) * | 2021-11-02 | 2021-12-21 | 广西大学 | 一种抗传输损耗干扰的集成化光学神经网络系统 |
| WO2022016894A1 (zh) * | 2020-07-20 | 2022-01-27 | 联合微电子中心有限责任公司 | 一种光子神经网络 |
| CN115222035A (zh) * | 2022-09-20 | 2022-10-21 | 之江实验室 | 一种光子神经网络卷积加速芯片 |
| CN115641494A (zh) * | 2022-10-26 | 2023-01-24 | 广州市南沙区北科光子感知技术研究院 | 一种基于微环调制器的神经网络图像处理系统 |
| CN115641494B (zh) * | 2022-10-26 | 2024-05-31 | 广州市南沙区北科光子感知技术研究院 | 一种基于微环调制器的神经网络图像处理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166910A (zh) * | 2014-04-30 | 2014-11-26 | 深圳光启创新技术有限公司 | 基于光子钱包的光子支付方法和系统 |
| CN105634603A (zh) * | 2016-03-21 | 2016-06-01 | 文成县刀锋科技有限公司 | 一种家用lifi光子通信节能系统 |
| EP3465302A1 (en) * | 2016-06-02 | 2019-04-10 | Massachusetts Institute of Technology | Apparatus and methods for optical neural network |
| CN110197277A (zh) * | 2019-05-13 | 2019-09-03 | 浙江大学 | 实现数字识别的光学神经网络方法 |
| CN110503196A (zh) * | 2019-08-26 | 2019-11-26 | 光子算数(北京)科技有限责任公司 | 一种光子神经网络芯片以及数据处理系统 |
| US20190370652A1 (en) * | 2018-06-05 | 2019-12-05 | Lightelligence, Inc. | Optoelectronic computing systems |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166910A (zh) * | 2014-04-30 | 2014-11-26 | 深圳光启创新技术有限公司 | 基于光子钱包的光子支付方法和系统 |
| CN105634603A (zh) * | 2016-03-21 | 2016-06-01 | 文成县刀锋科技有限公司 | 一种家用lifi光子通信节能系统 |
| EP3465302A1 (en) * | 2016-06-02 | 2019-04-10 | Massachusetts Institute of Technology | Apparatus and methods for optical neural network |
| US20190370652A1 (en) * | 2018-06-05 | 2019-12-05 | Lightelligence, Inc. | Optoelectronic computing systems |
| CN110197277A (zh) * | 2019-05-13 | 2019-09-03 | 浙江大学 | 实现数字识别的光学神经网络方法 |
| CN110503196A (zh) * | 2019-08-26 | 2019-11-26 | 光子算数(北京)科技有限责任公司 | 一种光子神经网络芯片以及数据处理系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022016894A1 (zh) * | 2020-07-20 | 2022-01-27 | 联合微电子中心有限责任公司 | 一种光子神经网络 |
| CN112988113B (zh) * | 2021-04-29 | 2021-09-14 | 中国科学院西安光学精密机械研究所 | 一种光子矩阵向量乘法器 |
| CN112988113A (zh) * | 2021-04-29 | 2021-06-18 | 中国科学院西安光学精密机械研究所 | 一种光子矩阵向量乘法器 |
| CN113595649A (zh) * | 2021-07-19 | 2021-11-02 | 联合微电子中心有限责任公司 | 光学非线性激活单元、方法和光子神经网络 |
| CN113595649B (zh) * | 2021-07-19 | 2022-09-30 | 联合微电子中心有限责任公司 | 光学非线性激活单元、方法和光子神经网络 |
| CN113595647A (zh) * | 2021-07-21 | 2021-11-02 | 联合微电子中心有限责任公司 | 光子波束成形单元、发射系统和接收系统 |
| CN113805641B (zh) * | 2021-09-23 | 2023-08-01 | 联合微电子中心有限责任公司 | 一种光子神经网络 |
| CN113805641A (zh) * | 2021-09-23 | 2021-12-17 | 联合微电子中心有限责任公司 | 一种光子神经网络 |
| CN113792870A (zh) * | 2021-10-29 | 2021-12-14 | 广西大学 | 基于声光技术的全光控制光学神经网络系统 |
| CN113822425A (zh) * | 2021-11-02 | 2021-12-21 | 广西大学 | 一种抗传输损耗干扰的集成化光学神经网络系统 |
| CN113822425B (zh) * | 2021-11-02 | 2023-07-18 | 广西大学 | 一种抗传输损耗干扰的集成化光学神经网络系统 |
| CN115222035B (zh) * | 2022-09-20 | 2022-12-30 | 之江实验室 | 一种光子神经网络卷积加速芯片 |
| CN115222035A (zh) * | 2022-09-20 | 2022-10-21 | 之江实验室 | 一种光子神经网络卷积加速芯片 |
| CN115641494A (zh) * | 2022-10-26 | 2023-01-24 | 广州市南沙区北科光子感知技术研究院 | 一种基于微环调制器的神经网络图像处理系统 |
| CN115641494B (zh) * | 2022-10-26 | 2024-05-31 | 广州市南沙区北科光子感知技术研究院 | 一种基于微环调制器的神经网络图像处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022016894A1 (zh) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860822B (zh) | 光学神经网络的全光非线性激活函数实现方法、装置 | |
| CN109639359B (zh) | 基于微环谐振器的光子神经网络卷积层芯片 | |
| WO2022016894A1 (zh) | 一种光子神经网络 | |
| Shi et al. | InP photonic integrated multi-layer neural networks: Architecture and performance analysis | |
| CN112232504A (zh) | 一种光子神经网络 | |
| CN116348886A (zh) | 相干光子计算架构 | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| US20220012582A1 (en) | Neuromorphic photonics with coherent linear neurons | |
| CN112101540B (zh) | 光学神经网络芯片及其计算方法 | |
| JP2024503991A (ja) | 行列計算用のバランス型フォトニック・アーキテクチャ | |
| US20050168364A1 (en) | Optical digital-to-analog converter | |
| CN113805641B (zh) | 一种光子神经网络 | |
| Luan et al. | Towards a high-density photonic tensor core enabled by intensity-modulated microrings and photonic wire bonding | |
| US11934943B1 (en) | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure | |
| CN112001487B (zh) | 一种光子神经网络 | |
| Shi et al. | Parallel photonic convolutional processing on-chip with cross-connect architecture and cyclic AWGs | |
| CN114565091A (zh) | 光学神经网络装置、芯片及神经网络计算的光学实现方法 | |
| WO2022245769A1 (en) | Optical addressing methods and apparatus | |
| Mourgias-Alexandris et al. | Experimental demonstration of an optical neuron with a logistic Sigmoid activation function | |
| CN113630207A (zh) | 一种光子神经网络芯片 | |
| CN112232487B (zh) | 光学神经网络芯片及其计算方法 | |
| CN117709423B (zh) | 一种深度神经网络光子加速芯片及其运算系统 | |
| Nakajima | Parallel neuromorphic computing on space and wavelength division multiplexed photonic processor | |
| CN116306858A (zh) | 基于多模干涉的神经网络装置及其运算方法 | |
| JP3643281B2 (ja) | 光信号処理回路及び光信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |