CN116306858A - 基于多模干涉的神经网络装置及其运算方法 - Google Patents

基于多模干涉的神经网络装置及其运算方法 Download PDF

Info

Publication number
CN116306858A
CN116306858A CN202111558927.3A CN202111558927A CN116306858A CN 116306858 A CN116306858 A CN 116306858A CN 202111558927 A CN202111558927 A CN 202111558927A CN 116306858 A CN116306858 A CN 116306858A
Authority
CN
China
Prior art keywords
laser
optical signals
multimode interference
module
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111558927.3A
Other languages
English (en)
Inventor
李明
孟祥彦
石暖暖
张国杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN202111558927.3A priority Critical patent/CN116306858A/zh
Publication of CN116306858A publication Critical patent/CN116306858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Optical Communication System (AREA)

Abstract

本公开提供一种基于多模干涉的神经网络装置，包括：至少一个卷积运算模块，用于基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果；数据转换模块，用于将卷积运算结果转换成一维数据；至少一个全连接运算模块，用于对一维数据进行全连接运算，得到全连接运算结果；以及逻辑运算模块，用于对全连接运算结果进行逻辑运算，得到识别结果。本公开还提供一种运算方法。

Description

基于多模干涉的神经网络装置及其运算方法
技术领域
本公开涉及大数据技术和微波光子学领域，具体涉及一种基于多模干涉的神经网络装置及其运算方法。
背景技术
神经网络作为一种可以广泛应用于信号处理、物理学、图像处理、人工智能等领域的大数据运算模型，需要依托于高性能计算机提高数据处理的效率。但传统的基于电的计算机正面临着带宽、延时、能耗等瓶颈。因此，传统的计算机已经逐渐无法满足对大数据进行高效处理的事实已经成为亟待解决问题。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本公开提供一种基于多模干涉的神经网络装置，包括：至少一个卷积运算模块，用于基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果；数据转换模块，用于将所述卷积运算结果转换成一维数据；至少一个全连接运算模块，用于对所述一维数据进行全连接运算，得到全连接运算结果；以及逻辑运算模块，用于对所述全连接运算结果进行逻辑运算，得到识别结果。
根据本公开实施例，所述卷积运算模块包括：第一激光发生模块，用于产生第一激光；第一数据输入模块，用于将所述待识别对象调制到所述第一激光上；第一延时模块，用于对调制后的第一激光进行延时和分束，得到N束第二激光；至少一个多模干涉耦合器，用于根据预设卷积矩阵同时对所述N束第二激光进行多模干涉，输出M组光信号；以及第一探测器阵列包括M个光电探测器，所述M个光电探测器用于分别接收所述M组光信号，并探测所述M组光信号的强度，得到所述卷积运算结果；其中，M和N为正整数。
根据本公开实施例，所述预设卷积矩阵包括M个卷积核；所述多模干涉耦合器，用于分别根据所述M个卷积核调整所述N束第二激光的强度，得到M组光信号；其中，所述M个卷积核与所述M组光信号一一对应。
根据本公开实施例，所述多模干涉耦合器包括N个输入端口和M个输出端口；所述多模干涉耦合器，用于通过所述N个输入端口分别接收所述N束第二激光，并分别根据N组预设分光比将所述N束第二激光分束至所述M个输出端口，得到M组光信号；其中，所述N组预设分光比与所述N束第二激光一一对应。
根据本公开实施例，在所述至少一个多模干涉耦合器包括多个多模干涉耦合器的情况下，所述多个多模干涉耦合器并联；所述多模干涉耦合器包括N个输入波导、M个输出波导和多模干涉区；所述多模干涉区包括多个多模干涉单元和多个调控件，所述多个调控件分别用于调整所述多个多模干涉单元的折射率。
根据本公开实施例，所述全连接运算模块包括：第二激光发生模块，用于产生第三激光，所述第三激光包括P个激光分量；第二数据输入模块，用于将所述卷积运算结果调制到所述第三激光上；第二延时模块，用于对调制后的P个激光分量进行延时，得到第四激光；波形整形器，用于接收所述第四激光，根据Q个预设判决调整所述第四激光的强度，并对调整后的第四激光进行分束，得到Q组光信号；第二探测器阵列包括Q个平衡光电探测器，所述Q个平衡光电探测器用于分别探测所述Q组光信号的强度，得到所述全连接运算结果；其中，所述P个激光分量的波长不同，波长相邻的任意两个激光分量之间的波长间隔相等，P和Q为正整数。
根据本公开实施例，所述波形整形器包括Q组输出端口，每组输出端口包括第一输出端口和第二输出端口；所述波形整形器，用于对所述第四激光进行功分，得到Q组光信号，每组光信号包括P个激光分量，并根据所述Q个预设判决分别调整所述Q组光信号中P个激光分量的强度，得到强度调整后的Q组光信号；所述波形整形器，还用于将所述强度调整后的Q组光信号中一组光信号的第一光信号分别从对应的所述Q组输出端口的一组输出端口的第一输出端口输出，将所述调整后的Q组光信号的中一组光信号的第二光信号分别从对应的所述Q组输出端口的一组输出端口的第二输出端口中输出；其中，调整后的一组光信号包括第一光信号和第二光信号，所述第一光信号为根据预设判决中负权重值调整得到激光分量对应的光信号，所述第二光信号为根据所述预设判决中非负权重值调整得到激光分量对应的光信号，所述Q个预设判决与所述Q组光信号一一对应。
根据本公开实施例，所述平衡光电探测器包括两个输入端口；所述平衡光电探测器，用于通过所述两个输入端口分别接收一组光信号的第一和第二光信号；所述平衡光电探测器，还用于将所述第一和第二光信号分别转换为第一和第二电信号，并对所述第一和第二电信号进行作差运算，得到全连接运算结果。
根据本公开实施例，所述神经网络装置还包括：电放大器，用于放大所述神经网络装置的电学链路中电信号的功率；光放大器，用于放大所述神经网络装置的光学链路中激光的功率；偏振控制器，用于调整所述神经网络装置的光学链路中激光的偏振态。
本公开提供一种运算方法，包括：基于上述任意一项所述的基于多模干涉的神经网络装置，所述方法包括：通过至少一个卷积运算模块基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果；通过数据转换模块将所述卷积运算结果化成一维数据；通过至少一个全连接运算模块对所述一维数据进行全连接运算，得到全连接运算结果；以及通过逻辑运算模块对所述全连接运算结果进行逻辑运算，得到识别结果。
与现有技术相比，本公开具有以下有益效果：
1、利用光具有的大带宽、高速率和低延时等优点，对光的传输时间和光的波长进行设计，通过光传输进行高效的大数据处理。
2、依托多个激光实现多个卷积层和多个全连接层的并行运算，不仅提高了数据的输入速率，还使得数据处理过程更加高速。
3、采用激光强度的变化表示运算过程，仅通过调整激光的数量和强度就可以实现多个卷积层和多个全连接层的运算，这使得本装置具有很高的可重构能力和可扩展能力。同时还可以级联多个运算模块而实现更深层次的神经网络结构，具有很强的可拓展性。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的基于多模干涉的神经网络装置的示意图；
图2示意性示出了根据本公开实施例的卷积运算模块的示意图；
图3示意性示出了根据本公开实施例的激光延时的示意图；
图4示意性示出了本公开实施例的多模干涉耦合器的结构示意图；
图5示意性示出了本公开另一实施例的多模干涉耦合器的结构示意图；
图6示意性示出了根据本公开另一实施例的卷积运算模块的示意图；
图7示意性示出了根据本公开实施例的全连接运算单元的示意图；以及
图8示意性示出了根据本公开实施例的运算方法的流程图。
具体实施方式
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，这些描述只是示例性的，而并非要限制本公开的范围。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
图1示意性示出了根据本公开实施例的基于多模干涉的神经网络装置的示意图。如图1所示，本公开提供了一种基于多模干涉的神经网络装置100，包括：至少一个卷积运算模块1、数据转换模块2、至少一个全连接运算模块3和逻辑运算模块4。
卷积运算模块1、数据转换模块2、全连接运算模块3和逻辑运算模块4通过电缆依次连接。
在基于多模干涉的神经网络装置100为实现更复杂的运算的情况下，基于多模干涉的神经网络装置100包括级联的多个卷积运算模块1和多个全连接运算模块4。多个卷积运算模块1和多个全连接运算模块4组成更加深层次的神经网络结构。
卷积运算模块1，用于基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果。
数据转换模块2，用于将卷积运算结果转换成一维数据。
卷积运算模块1根据多个卷积核进行卷积运算后，得到多个卷积运算结果。数据转换模块2先对多个卷积运算结果进行池化，减少数据量，降低后续全连接运算的复杂度；再将池化后的卷积运算结果转成为一维数据。
示例性地，卷积运算结果通常为模拟信号，数据转换模块2将并行的多个卷积运算结果由模拟信号转化为数字信号，再将多个数字信号转化为一维数据，实现数据格式由并行转化为串行，以便于全连接运算模块3进行全连接运算。
全连接运算模块3，用于对一维数据进行全连接运算，得到全连接运算结果。
逻辑运算模块4，用于对全连接运算结果进行逻辑运算，得到识别结果。
全连接运算结果通常为模拟信号，逻辑运算模块4将全连接运算结果由模拟信号转换为数字信号，并对数字信号形式的多个全连接结果进行比较，从而得到识别结果。
待识别对象包括但不限于图像、音频、视频和文本。例如，待识别对象为图像，对复杂的图像进行卷积运算和全连接运算后识别出图像中的文字和图像等。
图2示意性示出了根据本公开实施例的卷积运算模块的示意图。如图2所示，卷积运算模块1包括：第一激光发生模块11、第一数据输入模块12、第一延时模块13、至少一个多模干涉耦合器14和第一探测器阵列15。
第一激光发生模块11、第一数据输入模块12、第一延时模块13、至少一个多模干涉耦合器14和第一探测器阵列15依次通过光纤跳线连接。卷积运算模块1还包括光放大器，光放大器可位于光学链路中任意位置，用于放大光学链路中激光的功率。
第一激光发生模块11，用于产生第一激光。
为实现对多个卷积核的卷积运算，第一激光可以包括N个激光分量，N为正整数。
示例性地，第一激光发生模块11包括N个激光器和合束器。该N个激光器分别生成N个具有不同波长的激光，合束器将N个具有不同波长的激光合束为第一激光。合束器包括但不限于光耦合器、波分复用器、密集波分复用器和阵列波导光栅。
示例性地，第一激光发生模块11可以是多波长激光器。多波长激光器产生一束激光，该激光包括具有不同波长的N个激光分量。
第一数据输入模块12，用于将待识别对象调制到第一激光上。
第一数据输入模块12包括任意波形产生器和电光调制器。
第一激光发生模块11、电光调制器和第一延时模块13依次通过光纤跳线连接。任意波形产生器和电光调制器通过电缆连接。
第一数据输入模块12还包括电放大器。电放大器可位于任意波形产生器和电光调制器之间，电放大器通过电缆两端分别连接任意波形产生器和电光调制器，用于接收并放大待处理信号的功率，将放大后的待处理信号发送给电光调制器。
任意波形产生器，用于将待识别对象转换为待处理信号。待识别对象包括但不限于图像、音频、视频和文本。任意波形产生器将待识别的图像、音频和文本等转换为待识别的电信号。
示例性地，可以通过可编程脉冲发生器(PPG)将待识别对象转换为待识别信号，也可以通过现场可编程门阵列(FPGA)、中央处理器(CPU)、图形处理器(GPU)、专用集成电路(ASIC)等逻辑运算的单元与数模转换器的组合将待识别对象转换为待识别信号。
电光调制器，用于接收待处理信号和第一激光，将待处理信号调制到第一激光上。
待处理的电信号作为调制信号，通过电光调制器将待处理信号调制到第一激光上。可理解地，通过电光调制器将待识别对象加载到第一激光的强度上。
需要说明的是，调制后的第一激光的强度发生改变。调制后的第一激光包括的N个激光分量的强度都发生了改变，但每个激光分量的强度是发生同等比例的变化。调制后的激光分量之间的相对强度关系与调制前激光分量之间的相对强度关系一致。
第一延时模块13，用于对调制后的第一激光进行延时和分束，得到N束第二激光。
由于在进行卷积运算时，需要将N位待卷积数据同时输入至多模干涉耦合器14，而待识别对象是串行的调制到第一激光上，因此需要对调制后的第一激光的N个激光分量进行不同程度的延时，使得N位待卷积数据可以同时输入至多模干涉耦合器14。
第一延时模块13包括分束器和至少N-1个光延时线。待识别对象包括连续输入的N位数据，每位数据持续的时间为一个输入周期。
分束器用于将调制后的第一激光分为N束，得到N个激光分量。分束器根据波长将调制后的第一激光分束为N束，每个波长分为一束，每一束形成一个激光分量。分束器包括但不限于波分解复用器、密集波分解复用器、阵列波导光栅和波形整形器。
至少N-1个光延时线分别对分束后的N束激光分量中的N-1束激光分量进行延时，得到N束第二激光。其中，N束第二激光的N-1束第二激光被依次延时一个输入周期，以使N位数据同时分别输入多模干涉耦合器14。
图3示意性示出了根据本公开实施例的激光延时的示意图。
如图3(A)所示，第一激光发生模块11产生4束激光Laser1～Laser4。待识别对象包括数据X1～X4，待识别对象的输入频率为f。在经过第一数据输入模块12后，激光Laser1～Laser4均携带有数据X1～X4。由于数据的输入频率为f，因此每个数据之间的输入时刻相差一个输入周期T＝1/f。
若4束激光同时输入多模干涉耦合器14，多模干涉耦合器14在第一个数据输入周期只能同时接收到数据X1，在第二个数据输入周期只能同时接收到数据X2。
如图3(B)所示，通过第一延时模块13对4束激光分别进行延时，使得多模干涉耦合器4在某一时刻可以同时接收到数据X1～X4。延时操作包括将激光Laser1延时3个输入周期、将激光Laser2延时2个输入周期、将激光Laser3延时1个输入周期，对激光Laser4不延时。
多模干涉耦合器14，用于根据预设卷积矩阵同时对N束第二激光进行多模干涉，输出M组光信号。第一探测器阵列15包括M个光电探测器151，M个光电探测器用于分别接收M组光信号，并探测M组光信号的强度，得到卷积运算结果。
光电探测器151将接收到光信号转换为电信号，从而将卷积运算结果转换到电域。
多模干涉耦合器14包括N个输入端口和M个输出端口。多模干涉耦合器14通过N个输入端口分别接收N束第二激光，并分别根据N组预设分光比将N束第二激光分束至M个输出端口，通过M个输出端口输出M组光信号。
N组预设分光比与N束第二激光一一对应。每束第二激光根据对应的分光比分束至M个输出端，每个输出端口都输出由N束第二激光分束而来的激光。
例如，多模干涉耦合器14包括4个输入端口和5个输出端口，多模干涉耦合器14通过4个输入端口分别接收4束激光Laser’1～Laser’4。根据4组预设分光比S11～S15、S21～S25、S31～S35、S41～S45对将4束激光Laser’1～Laser’4进行分束。
根据预设分光比S11～S15将激光Laser’1分束至5个输出端口，根据预设分光比S21～S25将激光Laser’2分束至5个输出端口，根据预设分光比S31～S35将激光Laser’3分束至5个输出端口，根据预设分光比S41～S45将激光Laser’4分束至5个输出端口。5个输出端口输出5组光信号，第一个输出端口输出的光信号包括激光Laser’1～Laser’4分别根据预设分光比S11、S21、S31和S41分束至第一个输出端口的激光，第二个输出端口输出的光信号包括激光Laser’1～Laser’4分别根据预设分光比S12、S22、S32和S42分束至第二个输出端口的激光，第三个输出端口输出的光信号包括激光Laser’1～Laser’4分别根据预设分光比S13、S23、S33和S43分束至第三个输出端口的激光，第四个输出端口输出的光信号包括激光Laser’1～Laser’4分别根据预设分光比S14、S24、S34和S44分束至第四个输出端口的激光，以及第五个输出端口输出的光信号包括激光Laser’1～Laser’4分别根据预设分光比S15、S25、S35和S45分束至第五个输出端口的激光。
N束激光根据预设分光比进行分束实质是激光上负载的待处理数据根据预设卷积矩阵进行卷积运算。预设卷积矩阵包括M个卷积核。多模干涉耦合器分别根据M个卷积核的其中一个卷积核调整N束第二激光的强度，得到M组光信号。其中，M个卷积核与M组光信号一一对应。
示例性的，预设卷积矩阵为
Figure BDA0003417929350000101
卷积核分别为{(K11 ...K1N)，...，(KM1 ... KMN)}，待处理数据包括X1～XN，输出的卷积运算结果为Y1～YM。
卷积运算过程可表示为式(1)：
Figure BDA0003417929350000102
卷积运算结果Y1＝X1K11+X2K12+...+XNK1N。
例如，预设卷积矩阵包括5个卷积核C1～C5。多模干涉耦合器4分别根据5个卷积核C1～C5调整4束激光Laser’1～Laser’4的强度，得到5组光信号。
根据卷积核C1调整4个激光Laser’1～Laser’4的强度，对激光Laser’1～Laser’4上负载的待处理数据进行卷积运算，输出第一组光信号Laser”1。同理，输出光信号Laser”2～Laser”5。其中，5个卷积核与5组光信号一一对应，每个卷积核包括4个元素。
需要说明的是，每个卷积核包括的元素数量与多模干涉耦合器输入端口数量相同。卷积核具有多种形式。在上述实施例中，卷积核以一维横向量的形式表示，卷积核还可以多维矩阵的形式表示。但无论卷积核以何种形式表示，卷积运算过程均可以通过上述式(1)表示。在卷积核为多维矩阵的情况下，可将多维矩阵转化为一维横向量。
图4示意性示出了本公开实施例的多模干涉耦合器的结构示意图。
如图4所示，多模干涉耦合器14包括N个输入波导141、M个输出波导142和多模干涉区143。N个输入波导141和M个输出波导142分别以预设间距安装在多模干涉区143两侧。改变输入波导141和输出波导142的安装位置可实现对预设卷积矩阵的调整。多模干涉区143的长L、宽W和高H可以被设计，以实现对预设卷积矩阵的调整。
多模干涉耦合器14在N个输入波导141、M个输出波导142和多模干涉区143的基础上，还包括N个偏振控制器。
在光信号输入至输入波导141之前，将光信号先输入至偏振控制器。偏振控制器分别控制激光的偏振态，以实现对卷积矩阵的调整。
偏振控制器还可以位于光学链路的任意位置，用于调整神经网络装置的光学链路中激光的偏振态。
图5示意性示出了本公开另一实施例的多模干涉耦合器的结构示意图。
如图5所示，多模干涉区43包括多个多模干涉单元和多个调控件，多个调控件分别用于调整多个多模干涉单元的折射率。多个多模干涉单元和多个调控件分别一一对应。
在本公开实施例中，调控多模干涉单元的方法包括多种。可以在每个多模干涉单元内制作电极，在电极上施加不同的电压，通过载流子注入的方式实现对折射率的调整；也可以使用相变材料或者铁电材料制作这些多模干涉区域实现对折射率的独立进行调控；还可以通过独立设计每个多模干涉单元的厚度、掺杂浓度等方式实现对每个多模干涉单元折射率的独立调整。
本公开还提供另一种实施例，第一延时模块13还可以是色散介质和分束器。在第一延时模块13为色散介质和分束器的情况下，第一激光发生模块11产生具有梳状光谱的激光，该激光包括N个激光分量。每个激光分量的波长不同，波长相邻的任意两个激光分量之间的波长间隔相等。
例如，激光发生模块1产生包括4个激光分量Laser1～Laser4，4个激光分量Laser1～Laser4的波长分别为λ1、λ2、λ3和λ4。其中，λ1、λ2、λ3和λ4中任意波长相邻的两个激光分量之间的波长间隔相同。可理解地，λ1、λ2、λ3和λ4之间的波长关系满足Δλ＝λ1-λ2＝λ2-λ3＝λ3-λ4。
第一激光发生模块11可以是多波长激光器，也可以是N个激光器，还可以是主动锁模激光器、光频梳、高速直调激光器以及激光器与电光调制器的组合。
色散介质包括但不限于色散补偿光纤、啁啾光纤光栅、普通单模光纤和多模光纤中的至少一种。色散介质对N个激光分量进行不同程度的延时。
本公开提供一种实现波长相邻的任意两个激光分量之间具有一个数据输入周期的延迟的示例性方法。但本公开对具体的激光延时方法不作限定。
例如，可以设置使激光分量与色散介质之间满足：
Figure BDA0003417929350000121
其中，Δλ为波长相邻的任意两个激光分量之间的波长间隔，fk为待处理数据的输入频率，
Figure BDA0003417929350000122
为色散介质的色散系数和L为色散介质的长度。可理解地，波长相邻的任意两个激光分量之间的延迟量为1/f。
需要说明的是，在第一延时模块13为分束器和N-1个光延时线的情况下，需要先将激光根据波长分束为N束，再通过光延时线进行延时，将延时后的N束激光输入至多模干涉耦合器14。在第一延时模块13为色散介质和分束器的情况下，直接对调制后的激光进行群速度色散，将色散后的激光分束为N束，将N束激光输入至多模干涉耦合器14。
本公开还提供另一种实施例，第一激光发生模块11可以是单波长激光器，单波长激光器产生单个波长激光。第一延时模块13为多个光延时线。在光延时线对激光进行延时之前，还需要通过光耦合器，将调制后的单波长激光功分为N束，光延时线对N束激光分别进行延时。
图6示意性示出了根据本公开另一实施例的卷积运算模块的示意图。
如图6所示，卷积运算模块1包括第一激光发生模块11、第一数据输入模块12、第一延时模块13和N个光耦合器16、R个多模干涉耦合器14和R个第一探测器阵列15，R个多模干涉耦合器4并联。
第一激光发生模块11、第一数据输入模块12、第一延时模块13和第一探测器阵列15参见上一基于卷积运算模块的实施例，在此不再赘述。
第一延时模块13对N个激光分量延时后得到N束第二激光，N个光耦合器16分别将N束第二激光功分为R束。通过每一光耦合器16功分的R束激光分别输入R个多模干涉耦合器14，实现多个卷积核的并行卷积计算。
通过本公开实施例，通过激光做载体对数据进行卷积运算，利用光具有的大带宽、高速率和低延时等优点提高运算效率。利用具有不同波长的多个激光分量进行多个卷积核的并行卷积运算，不仅提高了数据的输入速率，还使得数据处理过程更加高速。此外，在不改变装置硬件设施的前提下，仅需要调整激光分量的数量和激光分量的强度即可实现对参与运算的卷积核数量和维度的调整，从而实现了对不同数量和不同维度卷积的运算能力。这使得本装置具有很高的可重构能力和可扩展能力。
图7示意性示出了根据本公开实施例的全连接运算单元的示意图。如图7所示，全连接运算模块3包括：第二激光发生模块31、第二数据输入模块32、第二延时模块33、波形整形器34和第二探测器阵列35。
第二激光发生模块31、第二数据输入模块32、第二延时模块33、波形整形器34和第二探测器阵列35依次通过光纤跳线连接。全连接运算模块3还包括光放大器，光放大器可位于光学链路中任意位置，用于放大光学链路中激光的功率。
第二激光发生模块31，用于产生第三激光，第三激光包括P个激光分量。
第二激光发生模块31产生具有梳状光谱的激光，该激光包括P个激光分量。每个激光分量的波长不同，波长相邻的任意两个激光分量之间的波长间隔相等。
例如，第二激光发生模块31产生包括4个激光分量Laser1～Laser4，4个激光分量Laser1～Laser4的波长分别为λ1、λ2、λ3和λ4。其中，λ1、λ2、λ3和λ4中任意波长相邻的两个激光分量之间的波长间隔相同。可理解地，λ1、λ2、λ3和λ4之间的波长关系满足Δλ＝λ1-λ2＝λ2-λ3＝λ3-λ4。
第二激光发生模块31可以是多波长激光器，也可以是P个激光器，还可以是主动锁模激光器、光频梳、高速直调激光器以及激光器与电光调制器的组合。
第二数据输入模块32，用于将卷积运算结果调制到第三激光上。
例如，第二数据输入模块32为电光调制器，第二数据输入模块32与数据转换模块2通过电缆相连。
数据转换模块2还包括数模转换器。一维数据为数字信号，还需要通过数模转换器将一维数据由数字信号转换为模拟信号。电光调制器将卷积数据调制到第三激光上。
第二数据输入模块32还包括电放大器。电放大器可位于数模转换器和电光调制器之间，电放大器通过电缆两端分别连接数模转换器和电光调制器，用于接收并放大待处理信号的功率，将放大后的待处理信号发送给电光调制器。
第二延时模块33，用于对调制后的第三激光进行延时，得到第四激光。第二延时模块33为色散介质。
本公开实施例的电光调制器与第一数据输入模块121包括的电光调制器的具体实施细节及带来的技术效果是相同的本公开实施例不再赘述。
波形整形器34，用于接收第四激光，根据Q个预设判决调整第四激光的强度，并对调整后的第四激光进行分束，得到Q组光信号。Q组光信号分别Q与个预设判决一一对应。其中，Q为正整数。
波形整形器34还可以被替换为波长选择开关。波形整形器34对不同的激光分量的强度进行衰减，使衰减后各激光分量的相对强度关系与预设判决中值的相对关系相同。
波形整形器34，用于对第四激光进行功分，得到Q组光信号，每组光信号包括P个激光分量，并根据Q个预设判决分别调整Q组光信号中P个激光分量的强度，得到强度调整后的O组光信号。
例如，波形整形器34将第四激光功分为Q组光信号，每组包含P个激光分量，每个预设判决对应Q组光信号的其中一组光信号。
每个预设判决包括G个全连接权重，根据每个预设判决中G个全连接权重分别调整一组光信号P个激光分量中的G个激光分量的强度，得到强度调整后的Q组光信号，调整后的每个组光信号包括G个激光分量。其中，每组光信号包括的G个激光分量为该组光信号的原本P个激光分量中波长连续相邻的G个激光分量，G≤P，G、P和Q为正整数。
波形整形器34包括Q组输出端口，每组输出端口包括第一输出端口和第二输出端口。
波形整形器34将强度调整后的Q组光信号中一组光信号的第一光信号分别从对应的Q组输出端口的一组输出端口的第一输出端口输出，将调整后的Q组光信号的中一组光信号的第二光信号分别从对应的Q组输出端口的一组输出端口的第二输出端口中输出。
调整后的一组光信号包括第一光信号和第二光信号。第一光信号为一组光信号中根据预设判决中负权重值调整得到的激光分量对应的光信号，第二光信号为一组光信号中根据预设判决中非负权重值调整得到的激光分量对应的光信号。
第二探测器阵列35包括Q个平衡光电探测器351，Q个平衡光电探测器用于分别探测Q组光信号的强度，得到全连接运算结果。
平衡光电探测器351包括两个输入端口。通过两个输入端口分别接收一组光信号的第一和第二光信号。平衡光电探测器351再将第一和第二光信号分别转换为第一和第二电信号，并对第一和第二电信号进行作差运算，得到全连接运算结果。通过Q个平衡光电探测器可以得到Q个全连接结果。
本公开提供了一种详细的运算方法，适用于上述的基于多模干涉的神经网络装置，图8示意性示出了根据本公开实施例的运算方法的流程图。
如图8所示，对象识别方法至少包括以下步骤：
S1，通过至少一个卷积运算模块基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果。
S2，通过数据转换模块将卷积运算结果转换成一维数据。
S3，通过至少一个全连接运算模块对一维数据进行全连接运算，得到全连接运算结果。
S4，通过逻辑运算模块对全连接运算结果进行逻辑运算，得到识别结果。
需要说明的是，本公开的实施例中运算方法与本公开的实施例中基于多模干涉的神经网络装置部分是相对应的，运算方法的描述具体参考基于多模干涉的神经网络装置部分，在此不再赘述。
对于本公开的实施例，还需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
最后应说明的是，以上实施例仅用以说明本公开的技术方案而非限制，尽管参照较佳实施例对本公开进行了详细说明，本领域的普通技术人员应当理解，可以对本公开的技术方案进行修改或等同替换，而不脱离本公开技术方案的精神和范围。

Claims (10)

1.一种基于多模干涉的神经网络装置，其特征在于，包括：
至少一个卷积运算模块，用于基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果；
数据转换模块，用于将所述卷积运算结果转换成一维数据；
至少一个全连接运算模块，用于对所述一维数据进行全连接运算，得到全连接运算结果；以及
逻辑运算模块，用于对所述全连接运算结果进行逻辑运算，得到识别结果。
2.根据权利要求1所述的神经网络装置，其特征在于，所述卷积运算模块包括：
第一激光发生模块，用于产生第一激光；
第一数据输入模块，用于将所述待识别对象调制到所述第一激光上；
第一延时模块，用于对调制后的第一激光进行延时和分束，得到N束第二激光；
至少一个多模干涉耦合器，用于根据预设卷积矩阵同时对所述N束第二激光进行多模干涉，输出M组光信号；以及
第一探测器阵列包括M个光电探测器，所述M个光电探测器用于分别接收所述M组光信号，并探测所述M组光信号的强度，得到所述卷积运算结果；
其中，M和N为正整数。
3.根据权利要求2所述的神经网络装置，其特征在于，所述预设卷积矩阵包括M个卷积核；
所述多模干涉耦合器，用于分别根据所述M个卷积核调整所述N束第二激光的强度，得到M组光信号；
其中，所述M个卷积核与所述M组光信号一一对应。
4.根据权利要求2所述的神经网络装置，其特征在于，所述多模干涉耦合器包括N个输入端口和M个输出端口；
所述多模干涉耦合器，用于通过所述N个输入端口分别接收所述N束第二激光，并分别根据N组预设分光比将所述N束第二激光分束至所述M个输出端口，得到M组光信号；
其中，所述N组预设分光比与所述N束第二激光一一对应。
5.根据权利要求2所述的神经网络装置，其特征在于，在所述至少一个多模干涉耦合器包括多个多模干涉耦合器的情况下，所述多个多模干涉耦合器并联；
所述多模干涉耦合器包括N个输入波导、M个输出波导和多模干涉区；
所述多模干涉区包括多个多模干涉单元和多个调控件，所述多个调控件分别用于调整所述多个多模干涉单元的折射率。
6.根据权利要求1所述的神经网络装置，其特征在于，所述全连接运算模块包括：
第二激光发生模块，用于产生第三激光，所述第三激光包括P个激光分量；
第二数据输入模块，用于将所述卷积运算结果调制到所述第三激光上；
第二延时模块，用于对调制后的P个激光分量进行延时，得到第四激光；
波形整形器，用于接收所述第四激光，根据Q个预设判决调整所述第四激光的强度，并对调整后的第四激光进行分束，得到Q组光信号；
第二探测器阵列包括Q个平衡光电探测器，所述Q个平衡光电探测器用于分别探测所述Q组光信号的强度，得到所述全连接运算结果；
其中，所述P个激光分量的波长不同，波长相邻的任意两个激光分量之间的波长间隔相等，P和Q为正整数。
7.根据权利要求6所述的神经网络装置，其特征在于，所述波形整形器包括Q组输出端口，每组输出端口包括第一输出端口和第二输出端口；
所述波形整形器，用于对所述第四激光进行功分，得到Q组光信号，每组光信号包括P个激光分量，并根据所述Q个预设判决分别调整所述Q组光信号中P个激光分量的强度，得到强度调整后的Q组光信号；
所述波形整形器，还用于将所述强度调整后的Q组光信号中一组光信号的第一光信号分别从对应的所述Q组输出端口的一组输出端口的第一输出端口输出，将所述调整后的Q组光信号的中一组光信号的第二光信号分别从对应的所述Q组输出端口的一组输出端口的第二输出端口中输出；
其中，调整后的一组光信号包括第一光信号和第二光信号，所述第一光信号为根据预设判决中负权重值调整得到的激光分量对应的光信号，所述第二光信号为根据所述预设判决中非负权重值调整得到激光分量对应的光信号，所述Q个预设判决与所述Q组光信号一一对应。
8.根据权利要求7所述的神经网络装置，其特征在于，所述平衡光电探测器包括两个输入端口；
所述平衡光电探测器，用于通过所述两个输入端口分别接收一组光信号的第一和第二光信号；
所述平衡光电探测器，还用于将所述第一和第二光信号分别转换为第一和第二电信号，并对所述第一和第二电信号进行作差运算，得到全连接运算结果。
9.根据权利要求1所述的神经网络装置，其特征在于，所述神经网络装置还包括：
电放大器，用于放大所述神经网络装置的电学链路中电信号的功率；
光放大器，用于放大所述神经网络装置的光学链路中激光的功率；
偏振控制器，用于调整所述神经网络装置的光学链路中激光的偏振态。
10.一种运算方法，其特征在于，基于权利要求1-9中任意一项所述的基于多模干涉的神经网络装置，所述方法包括：
通过至少一个卷积运算模块基于多模干涉耦合器对待识别对象进行卷积运算，得到卷积运算结果；
通过数据转换模块将所述卷积运算结果转换成一维数据；
通过至少一个全连接运算模块对所述一维数据进行全连接运算，得到全连接运算结果；以及
通过逻辑运算模块对所述全连接运算结果进行逻辑运算，得到识别结果。
CN202111558927.3A 2021-12-17 2021-12-17 基于多模干涉的神经网络装置及其运算方法 Pending CN116306858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111558927.3A CN116306858A (zh) 2021-12-17 2021-12-17 基于多模干涉的神经网络装置及其运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111558927.3A CN116306858A (zh) 2021-12-17 2021-12-17 基于多模干涉的神经网络装置及其运算方法

Publications (1)

Publication Number Publication Date
CN116306858A true CN116306858A (zh) 2023-06-23

Family

ID=86783798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111558927.3A Pending CN116306858A (zh) 2021-12-17 2021-12-17 基于多模干涉的神经网络装置及其运算方法

Country Status (1)

Country Link
CN (1) CN116306858A (zh)

Similar Documents

Publication Publication Date Title
WO2022016894A1 (zh) 一种光子神经网络
CN114358271B (zh) 一种时间-波长交织光子神经网络卷积加速芯片
CN111882052A (zh) 光子卷积神经网络系统
WO2023201970A1 (zh) 一种计算芯片、系统及数据处理方法
CN115222035B (zh) 一种光子神经网络卷积加速芯片
CN117077750B (zh) 一种并行光子卷积运算芯片及系统
CN113805641B (zh) 一种光子神经网络
CN110908428A (zh) 一种高效实现大规模矩阵运算的并行光计算系统
KR20230129447A (ko) 매트릭스 계산을 위한 밸런스된 포토닉 아키텍처
CN112308224A (zh) 光学神经网络装置、芯片及神经网络计算的光学实现方法
CN115167610A (zh) 二维光子卷积加速芯片及应用系统与方法
CN117436486A (zh) 一种基于薄膜铌酸锂和硅混合的光学卷积神经网络
CN112101540A (zh) 光学神经网络芯片及其计算方法
CN114565091B (zh) 光学神经网络装置、芯片及神经网络计算的光学实现方法
CN117784313B (zh) 基于循环阵列波导光栅的二维光子卷积运算芯片及系统
US11934943B1 (en) Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure
WO2021170107A1 (zh) 一种光计算装置、系统以及计算方法
CN116266771A (zh) 基于多模干涉的卷积运算装置和卷积运算方法
US11880116B2 (en) Optical digital/analog converter
CN116306858A (zh) 基于多模干涉的神经网络装置及其运算方法
US8089381B2 (en) Photonic D/A
CN112799464B (zh) 一种基于多波长光源的矩阵向量乘法器及其运算方法
CN116384459A (zh) 对象识别装置以及对象识别方法
CN117255967A (zh) 用于矩阵计算的平衡光子架构
CN116107037B (zh) 密集波导阵列的片上光学器件光计算网络结构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination