CN117077750A - 一种并行光子卷积运算芯片及系统 - Google Patents
一种并行光子卷积运算芯片及系统 Download PDFInfo
- Publication number
- CN117077750A CN117077750A CN202311052903.XA CN202311052903A CN117077750A CN 117077750 A CN117077750 A CN 117077750A CN 202311052903 A CN202311052903 A CN 202311052903A CN 117077750 A CN117077750 A CN 117077750A
- Authority
- CN
- China
- Prior art keywords
- micro
- array
- optical
- wavelength
- ring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 202
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 42
- 230000008878 coupling Effects 0.000 claims abstract description 32
- 238000010168 coupling process Methods 0.000 claims abstract description 32
- 238000005859 coupling reaction Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 229910052581 Si3N4 Inorganic materials 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000005693 optoelectronics Effects 0.000 claims description 4
- 230000006798 recombination Effects 0.000 claims description 4
- 238000005215 recombination Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 239000012212 insulator Substances 0.000 claims description 3
- GPXJNWSHGFTCBW-UHFFFAOYSA-N Indium phosphide Chemical compound [In]#P GPXJNWSHGFTCBW-UHFFFAOYSA-N 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种并行光子卷积运算芯片及系统，芯片由功分器、延时波导阵列、循环阵列波导光栅、微环加权阵列及平衡探测器阵列一体化集成，系统包括多波长光源、待卷积信号源、调制器、光放大器、并行光子卷积运算芯片、多卷积核控制单元、跨阻放大器阵列和信号采集与处理单元。该芯片及系统利用延时波导阵列级联循环阵列波导光栅可同时实现多路信号时间‑波长交织，基于直通加耦合的微环结构设计联合平衡探测原理，可实现任意实数的卷积核矩阵系数加权，且卷积核矩阵系数可灵活扩展，适用于二维数据的多个卷积核并行卷积运算。
Description
技术领域
本发明属于光子计算领域，特别涉及一种并行光子卷积运算芯片及系统。
背景技术
卷积运算广泛应用于人工智能领域，作为人工神经网络模型实现的重要运算方式之一占据了70％以上硬件算力。受限于电子芯片程序空间与数据空间分离，致使存储单元与计算单元之间数据传输速度有限、功耗较大等问题。随着后摩尔时代的来临，目前基于CPU、GPU以及专用集成电路等电子芯片的传统神经网络模型存在网络模型运算效率受限等问题。光子技术因具有大带宽、低损耗以及可并行等特点，目前已吸引研究人员将光子技术应用在高速卷积计算领域(参见[Feldmann,Johannes,et al."Parallel convolutionalprocessing using an integrated photonic tensor core."Nature 589.7840(2021):52-58.])。通过光子技术优势解决电子技术高功耗、长延时、速度有限的技术发展瓶颈。如方案(参见[Meng,Xiangyan,et al."Compact optical convolution processing unitbased on multimode interference."Nature Communications14.1(2023):3000.])提出一种基于多模干涉器的并行卷积运算方案，可同时实现多个卷积核的卷积运算，但受限计算架构，该方案在光域只能实现非负数卷积核卷积运算，如果实现实数卷积核运算，需在数字域做信号处理，该方案系统通用化、规模化及实用化等方面仍然具有广阔的提升空间。
发明内容
本发明的目的在于提供一种并行光子卷积运算芯片及系统，利用延时波导阵列级联循环阵列波导光栅可同时实现多路信号时间-波长交织，基于直通加耦合的微环结构设计联合平衡探测原理，可实现任意实数的卷积核矩阵系数加权，且卷积核矩阵系数可灵活扩展，适用于二维数据的多个卷积核并行卷积运算。
本发明具体采用以下技术方案解决上述技术问题：
一种并行光子卷积运算芯片，所述并行光子卷积运算芯片包括一体化集成的1×M功分器、延时波导阵列、M×M循环阵列波导光栅、微环加权阵列及平衡探测器阵列；
1×M功分器，用于将多波长调制光信号分为M路子多波长调制光信号并送入延时波导阵列；
延时波导阵列，M路子多波长调制光信号分别送入延时波导阵列中M段长度依次增加的延时波导，得到M路延时依次等间隔增加的子多波长调制光信号，即M个第一子多波长调制光信号并送入M×M循环阵列波导光栅；
M×M循环阵列波导光栅，根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系实现输入信号不同波长循环路由，得到M个第二子多波长调制光信号并送入微环加权阵列；
微环加权阵列，包含M个微环加权单元，基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号实现卷积核系数加权得到M对子加权强度调制光信号；
平衡探测器阵列，包含M个平衡探测器，用于将所述M对子加权强度调制光信号转换为电信号并输出，所述电信号作为光子卷积运算芯片的电输出信号；
其中，所述多波长调制光信号是待卷积信号通过调制器加载到多波长光载波信号上得到的，所述待卷积信号为二维待卷积矩阵经矩阵平坦化处理后得到的一维信号。
优选地，在并行光子卷积运算芯片中：
所述1×M功分器包含1个光输入端与M个光输出端，光输入端为整个芯片的光输入端，用于接收外部多波长调制光信号，M个光输出端分别连接延时波导阵列中M段长度依次增加的延时波导；
所述M×M循环阵列波导光栅包含M个光输入端与M个光输出端，延时波导阵列的光输出端分别连接其M个光输入端，M个光输出端分别与微环加权阵列的光输入端连接；
所述微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导、1个耦合波导与M个微环谐振器串联组成，每个直通波导的输入端为微环加权单元的光输入端，每个直通波导的输出端与每个耦合波导的输出端为微环加权单元的一对光输出端，分别连接一个平衡探测器的两个光输入端；M个直通波导的光输入端分别接收M个第二子多波长调制光信号，M个直通波导与M个耦合波导的光输出端输出M对子加权强度调制光信号；
平衡探测器阵列，M个平衡探测器的电输出端作为整个芯片的电输出端。
优选地，所述延时波导阵列中M段延时波导以第一段延时波导为参考，其余延时波导依次增加长度为Δl＝cΔt/nw，其中c为光在真空中的速度，nw为延时波导有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率。
优选地，所述M×M循环阵列波导光栅的自由频谱范围fFSR与多波长光载波信号相邻波长间隔Δf满足关系为：fFSR＝MΔf；所述多波长光载波信号对应的不同波长分别位于所述M×M循环阵列波导光栅不同波长通道内。
优选地，所述微环加权阵列中M个微环加权单元具有相同的结构，每个微环加权单元中M个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。
优选地，所述微环加权阵列中M个微环加权单元分别对应M个卷积核矩阵，卷积核矩阵的元素个数等于每个微环加权单元微环个数M，M个微环加权单元中M×M个微环谐振器对应M个卷积核矩阵。
优选地，基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号的卷积核系数加权得到M对子加权强度调制光信号，具体为：
每个卷积核矩阵MconT_j包含M个元素，为了实现任意实数元素的加权，每个卷积核矩阵MconT_j分为两部分M+ conT_j与M- conT_j，矩阵M+ conT_j与M- conT_j的元素都为非负数，MconT_j、M+ conT_j与M- conT_j满足关系为MconT_j＝M+ conT_j-M- conT_j，j＝1,2,3,…,M,表示第j个卷积核矩阵；第j个微环加权单元基于M+ conT_j与M- conT_j产生的控制信号控制微环加权单元中微环谐振器传输系数与耦合系数，所述M个卷积核矩阵系数与M个微环加权单元中M×M个微环谐振器的映射关系根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系确定；具体通过热光效应或电光效应实现微环谐振器传输系数与耦合系数的调节。
在本发明中，所述并行光子卷积运算芯片的制造工艺选用绝缘体上硅材料工艺、磷化铟材料工艺或绝缘体上硅-氮化硅混合材料工艺。
本发明还提供了一种并行光子卷积运算系统，所述并行光子卷积运算系统包括：
多波长光源，用于产生包含M个波长的多波长光载波信号并送入调制器；
待卷积信号源，用于将二维待卷积矩阵平坦化处理为一维待卷积数据，并根据一维待卷积数据产生一维待卷积信号并送入调制器；
调制器，用于将一维待卷积信号加载到多波长光载波信号上得到多波长调制光信号；
光放大器，用于将调制器输出的多波长调制光信号进行放大并送入上述并行光子卷积运算芯片；
上述并行光子卷积运算芯片，用于将放大后的多波长调制光信号依次进行时间交织、重新路由分配和系数加权，并转换为电信号送入跨阻放大器阵列；
多卷积核控制单元，用于根据M个卷积核矩阵分别产生卷积核控制信号并送入并行光子卷积运算芯片进行系数加权；
跨阻放大器阵列，用于将电信号分别进行放大并送入信号采集与处理单元；
信号采集与处理单元，用于对放大后的电信号分别进行数据采集与重组得到二维待卷积矩阵分别对应M个卷积核的二维特征矩阵；
其中，多波长光源与调制器的光输入端连接，待卷积信号源与调制器的电输入端连接，调制器的光输出端与光放大器的输入端连接，光放大器的输出端与并行光子卷积运算芯片的光输入端连接，多卷积核控制单元与并行光子卷积运算芯片中微环加权阵列的电输入端连接，并行光子卷积运算芯片的电输出端与跨阻放大器阵列的电输入端连接，跨阻放大器阵列的电输出端与信号采集与处理单元连接。
在本发明中，电信号也可以称之为特征电信号。
进一步地，所述将二维待卷积矩阵平坦化处理为一维待卷积信号，具体过程为：
二维待卷积矩阵为一个Q行O列的二维矩阵，首先将包含Q×O个元素的二维矩阵分为Q个1×O的一维矩阵，其次将Q个1×O的一维矩阵依次首尾连接得到一个1×QO的一维矩阵，该一维矩阵数模转换即可得到一维待卷积信号。
进一步地，所述多卷积核控制单元根据M个卷积核矩阵分别产生对应所述微环加权阵列中M个微环加权单元的卷积核控制信号。
本发明提供的并行光子卷积运算芯片及系统通过长度不同的延时波导实现功分器输出多路多波长调制光信号时间交织，在此基础上，循环阵列波导光栅对延时后的多波长调制光信号实现不同波长信号重新路由分配，得到多路时间-波长交织的多波长调制光信号，根据多个卷积核矩阵系数分别调节多个微环加权阵列中微环耦合系数与传输系数，实现系数为实数的多个卷积核矩阵并行系数加权，最后，通过多个平衡探测器分别将微环加权阵列输出光信号转为电信号，完成数据采集与重构即可得到待卷积信号分别对应不同卷积核矩阵的特征信号。
相比现有技术，本发明技术方案具有以下有益效果：
1)本发明利用延时波导阵列级联循环阵列波导光栅可同时实现面向多个卷积核的子多波长调制光信号波长-时间交织，通过复用延时波导阵列可降低光路损耗。
2)本发明通过微环加权阵列结合平衡探测器可实现实数系数的卷积核矩阵卷积运算，且主要功能器件单片集成，可有效降低系统复杂度，功耗，可广泛增加发明的应用场景。
3)本发明基于光子技术可并行同时实现单个待卷积数据与多个卷积核卷积运算，方案运算速度高、简单高效。
附图说明
图1为本发明提供的一种并行光子卷积运算芯片结构示意图；
图2为本发明提供的并行光子卷积运算系统的一个具体实施例结构示意图；
图3为本发明提供的并行光子卷积运算系统的一个具体实施例中二维待卷积信号矩阵平坦化处理示意图：其中，图3中的A、B和C分别二维待卷积信号矩阵及卷积核矩阵、二维待卷积信号矩阵一维平坦化处理方法示意图和重构得到的二维特征信号；
图4为本发明提供的并行光子卷积运算系统的一个具体实施例中延时波导阵列中各延时波导输出子多波长调制光信号的时间序列与波长关系图；其中，图4中的A、B、C和D分别对应第一个延时波导、第二个延时波导、第三个延时波导和第四个延时波导；
图5为本发明提供的并行光子卷积运算系统的一个具体实施例中循环阵列波导光栅波长路由映射关系图；
图6为本发明提供的并行光子卷积运算系统的一个具体实施例中原始二维卷积核矩阵根据阵列波导光栅波长路由映射关系图修正后的二维卷积核矩阵；
图7为本发明提供的并行光子卷积运算系统的一个具体实施例中微环加权阵列中第一个微环加权单元输出子加权强度调制光信号的时间序列与波长关系图；
图8为本发明提供的并行光子卷积运算系统的一个具体实施例中微环加权阵列中第二个微环加权单元输出子加权强度调制光信号的时间序列与波长关系图；
图9为本发明基于并行光子卷积运算芯片的运算系统一个具体实施例中微环加权阵列中第三个微环加权单元输出子加权强度调制光信号的时间序列与波长关系图；
图10为本发明基于并行光子卷积运算芯片的运算系统一个具体实施例中微环加权阵列中第四个微环加权单元输出子加权强度调制光信号的时间序列与波长关系图。
具体实施方式
针对现有技术的不足，本发明的思路是在单个芯片上基于延时波导阵列实现调制光信号的时间延时，基于循环阵列波导光栅实现不同波长信号的路由重构，从而实现调制光信号的时间-波长交织，基于二维微环阵列结合平衡探测器阵列实现待卷积信号多个卷积核系数并行加权。方案中卷积核矩阵可灵活扩展，卷积核矩阵系数为任意实数，信号处理实时高效。
本发明提供的一种并行光子卷积运算芯片结构示意图如图1所示，由1×M功分器、延时波导阵列、M×M循环阵列波导光栅、微环加权阵列及平衡探测器阵列一体化集成；其中：
1×M功分器包含1个光输入端与M个光输出端，光输入端为整个光子芯片的光输入端，用于接收外部多波长调制光信号，光输出端分别连接延时波导阵列中M段长度依次增加的延时波导，延时波导阵列的光输出端分别连接M×M循环阵列波导光栅的光输入端；
M×M循环阵列波导光栅包含M个光输入端与M个光输出端，M个光输出端分别与微环加权阵列的光输入端连接；
微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导、1个耦合波导与M个微环谐振器串联组成，每个直通波导的输入端为微环加权单元的光输入端，每个直通波导的输出端与每个耦合波导的输出端为微环加权单元的一对光输出端，分别连接一个平衡探测器的两个光输入端；
平衡探测器阵列包含M个平衡探测器，M个平衡探测器输出电信号作为光子卷积运算芯片的电输出信号，M个平衡探测器电输出端即为整个光子芯片的电输出端。
在本发明提供的并行光子卷积运算芯片中：
1×M功分器，用于将多波长调制光信号分为M路子多波长调制光信号并送入延时波导阵列；
延时波导阵列，M路子多波长调制光信号分别送入延时波导阵列中M段长度依次增加的延时波导，得到M路延时依次等间隔增加的子多波长调制光信号，即M个第一子多波长调制光信号并送入M×M循环阵列波导光栅；
M×M循环阵列波导光栅，根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系实现输入信号不同波长循环路由，得到M个第二子多波长调制光信号并送入微环加权阵列；
微环加权阵列，包含M个微环加权单元，基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号的卷积核系数加权得到M对子加权强度调制光信号；
平衡探测器阵列，包含M个平衡探测器，用于将所述M对子加权强度调制光信号转换为电信号并输出，电信号作为光子卷积运算芯片的电输出信号；
其中，多波长调制光信号是待卷积信号通过调制器加载到多波长光载波信号上得到的，待卷积信号为二维待卷积矩阵经矩阵平坦化处理后得到的一维信号。
延时波导阵列中M段延时波导以第一段延时波导为参考，其余延时波导依次增加长度为Δl＝cΔt/nw，其中c为光在真空中的速度，nw为延时波导有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率。
M×M循环阵列波导光栅的自由频谱范围fFSR与多波长光载波信号相邻波长间隔Δf满足关系为：fFSR＝MΔf；多波长光载波信号对应的不同波长分别位于M×M循环阵列波导光栅不同波长通道内。
微环加权阵列中M个微环加权单元具有相同的结构，每个微环加权单元中M个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。
微环加权阵列中M个微环加权单元分别对应M个卷积核矩阵，卷积核矩阵的元素个数等于每个微环加权单元微环个数M，M个微环加权单元中M×M个微环谐振器对应M个卷积核矩阵。
基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号的卷积核系数加权得到M对子加权强度调制光信号，具体为：
每个卷积核矩阵MconT_j包含M个元素，为了实现任意实数元素的加权，每个卷积核矩阵MconT_j分为两部分M+ conT_j与M-conT_j，矩阵M+ conT_j与M-conT_j的元素都为非负数，MconT_j、M+ conT_j与M- conT_j满足关系为MconT_j＝M+ conT_j-M- conT_j，j＝1,2,3,…,M,表示第j个卷积核矩阵；第j个微环加权单元基于M+ conT_j与M- conT_j产生的控制信号控制微环加权单元中微环谐振器传输系数与耦合系数，M个卷积核矩阵系数与M个微环加权单元中M×M个微环谐振器的映射关系根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系确定；具体通过热光效应或电光效应实现微环谐振器传输系数与耦合系数的调节。
本发明提供的基于并行光子卷积运算芯片的运算系统(也可以称之为并行光子卷积运算系统)一个具体实施例如图2所示，包括：多波长光源、调制器、光放大器、待卷积信号源、多卷积核控制单元、跨阻放大器阵列、信号采集与处理单元以及并行光子卷积运算芯片等：
多波长光源，用于产生包含M个波长的多波长光载波信号并送入调制器；
待卷积信号源，用于将二维待卷积矩阵平坦化处理为一维待卷积数据，并根据一维待卷积数据产生一维待卷积信号并送入调制器；
调制器，用于将一维待卷积信号加载到多波长光载波信号上得到多波长调制光信号；
光放大器，用于将调制器输出的多波长调制光信号进行放大并送入并行光子卷积运算芯片；
并行光子卷积运算芯片，用于将放大后的多波长调制光信号依次进行时间交织、重新路由分配和系数加权，并转换为电信号送入跨阻放大器阵列；
多卷积核控制单元，用于根据M个卷积核矩阵分别产生卷积核控制信号并送入并行光子卷积运算芯片进行系数加权；
跨阻放大器阵列，用于将电信号分别进行放大并送入信号采集与处理单元；
信号采集与处理单元，用于对放大后的电信号分别进行数据采集与重组得到二维待卷积矩阵分别对应M个卷积核的二维特征矩阵；
其中，多波长光源与调制器的光输入端连接，待卷积信号源与调制器的电输入端连接，调制器的光输出端与光放大器的输入端连接，光放大器的输出端与并行光子卷积运算芯片的光输入端连接，多卷积核控制单元与并行光子卷积运算芯片中微环加权阵列的电输入端连接，并行光子卷积运算芯片的电输出端与跨阻放大器阵列的电输入端连接，跨阻放大器阵列的电输出端与信号采集与处理单元连接。
本发明提供的基于并行光子卷积运算芯片的运算系统的具体工作过程为：
多波长光源产生包含M个波长的多波长光载波信号并送入调制器(具体实施例中选择M＝4)，待卷积信号通过调制器加载到多波长光载波信号上得到多波长调制光信号，其中，待卷积信号为二维待卷积矩阵经矩阵平坦化处理后得到的一维信号；多波长调制光信号通过光放大器放大后送入并行光子卷积运算芯片中1×M功分器的光输入端，通过1×M功分器分为M路子多波长调制光信号；M路子多波长调制光信号分别送入延时波导阵列中M段长度依次增加的延时波导，得到M路延时依次等间隔增加的子多波长调制光信号，即M个第一子多波长调制光信号；M路延时依次等间隔增加的子多波长调制光信号分别送入M×M循环阵列波导光栅中，根据循环阵列波导光栅输入端口-输出端口波长循环路由关系实现输入信号不同波长循环路由，得到M个第二子多波长调制光信号。M×M循环阵列波导光栅M个输出端口输出光信号分别输入微环加权阵列中M个微环加权单元，多卷积核控制单元输出对应多个卷积核矩阵的卷积核控制信号通过控制每个微环加权单元中M个微环谐振器的耦合系数与传输系数分别得到M个第二子多波长调制光信号的卷积核系数加权，光输出端得到M对子加权强度调制光信号；M对子加权强度调制光信号通过平衡探测器阵列中M个平衡探测器完成光电转换得到M个电输出信号；M个平衡探测器输出电信号作为并行光子卷积运算芯片的电输出信号，跨阻放大器阵列分别对并行光子卷积运算芯片的电输出信号放大后，经过数据采集与处理单元完成数据采集与重组得到二维待卷积矩阵分别完成M个卷积核卷积运算后的二维特征矩阵。
需要说明的是，调制器可为电吸收调制器、马赫-曾德尔调制器等，本实施例优选马赫-曾德尔调制器。芯片部分或全部可以选用绝缘体上硅材料工艺、磷化铟材料工艺或绝缘体上硅-氮化硅混合材料工艺，本发明优选绝缘体上硅-氮化硅混合材料工艺，其中微环加权单元与平衡探测器选择绝缘体上硅材料工艺，1×M功分器、延时波导阵列，循环阵列波导光栅等光子器件选用氮化硅工艺
为了便于公众理解，下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明：
首先，多波长激光器输出4个波长强度相等的多波长光载波信号送入马赫-曾德尔调制器，待卷积信号源输出的待卷积信号通过马赫-曾德尔调制器对多波长光载波信号进行调制，将待卷积信号分别加载到多波长光载波信号的不同波长上。待卷积信号序列可以表示为x(i)＝[x(1),x(2),x(3),…,x(R)],其中i表示离散化时间序号，R＝QO为待卷积信号的长度，待卷积信号为二维待卷积矩阵经矩阵平坦化处理后得到的一维信号。二维待卷积数据矩阵如图3中的A所示，为一个Q行O列的矩阵，卷积核矩阵为包含4个矩阵元素的2×2的二维矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图3中的B所示。每一个强度调制的波长对应一个待卷积信号，得到多波长强度调制光信号。
多波长调制光信号通过光放大器放大后通过光纤-芯片耦合技术送入并行光子卷积运算芯片中1×4功分器的光输入端，通过1×4功分器分为4路子多波长调制光信号。1×4功分器的4个光输出端分别连接延时波导阵列中4段长度依次增加的延时波导。延时波导阵列中4段延时波导以第一段延时波导为参考，其余延时波导依次增加长度为Δl＝cΔt/nw，其中c为光在真空中的速度，nw为延时波导有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，即x(i)与x(i-1)之间的时间差，SM为待卷积信号符号速率。延时波导阵列中4个延时波导输出第一子多波长调制光信号的时间序列与波长关系图分别如图4中的A、B、C和D所示。
延时波导阵列的光输出端分别连接4×4循环阵列波导光栅的4个光输入端，4个第一子加权强度调制光信号在4×4循环阵列波导光栅中根据输入输出端口不同波长信号路由关系实现4个第一子加权强度调制光信号中不同波长信号循环路由，得到4个第二子加权强度调制光信号。循环阵列波导光栅的自由频谱范围fFSR与光载波波长间隔Δf满足关系为：fFSR＝NΔf；多波长光载波信号对应的不同波长分别位于循环阵列波导光栅不同波长通道内。循环阵列波导光栅对输入输出端口不同波长信号循环路由关系如图5所示，λe,f(e＝1,2,3,4；f＝1,2,3,4)中，e表示循环阵列波导光栅第e个光输入端口，f表示多波长光载波信号不同波长序号。
4个第二子加权强度调制光信号分别送入包含4个微环加权单元的微环加权阵列中，微环加权单元的结构示意图如图2所示，每个微环加权单元由1个直通波导、1个耦合波导与4个微环谐振器串联组成，每个直通波导的输入端为微环加权单元的光输入端，每个直通波导的输出端与每个耦合波导的输出端为微环加权单元的一对光输出端，每个延时加权单元中4个微环的谐振特性依次对应于多波长光载波信号的一个波长，根据卷积核矩阵元素的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器传输系数与耦合系数，且通过热光效应或电光效应改变微环谐振器传输系数与耦合系数，4个微环加权单元对应4个2×2的卷积核矩阵。如图6所示，4个2×2的卷积核矩阵根据阵列波导光栅波长路由映射关系组合的二维卷积核矩阵系数MconT表示为：
需要说明的是，因为微环加权单元中微环谐振器传输系数与耦合系数只能对应正数，为了实现卷积核系数取值范围在实数域，组合二维卷积核矩阵需要分为两部分M+ conT与M- conT，并分别控制微环加权单元中微环谐振器传输系数与耦合系数，MconT、M+ conT与M- conT满足关系为MconT＝M+ conT-M- conT。二维卷积核矩阵控制单元输出的卷积核控制信号根据组合二维卷积核矩阵系数分别控制微环加权阵列中对应位置的微环谐振器的耦合系数与传输系数分别实现第二子多波长调制光信号中4个波长的卷积核系数加权。光输出端得到4对子加权强度调制光信号。4对子加权强度调制光信号时间序列与波长关系图分别如图7、图8、图9和图10所示。
4对子加权强度调制光信号分别输入到4个平衡探测器中实现光电转换，得到4个电输出信号，4个平衡探测器输出电信号作为并行光子卷积运算芯片的电输出信号。
外置跨阻放大器对电输出信号放大，采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图3中的C所示，其中灰色的1列为冗余数据。去除冗余数据后即可得到二维待卷积矩阵并行完成多个卷积核卷积运算后的二维特征矩阵。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (10)
1.一种并行光子卷积运算芯片，其特征在于，所述并行光子卷积运算芯片包括一体化集成的1×M功分器、延时波导阵列、M×M循环阵列波导光栅、微环加权阵列及平衡探测器阵列；
1×M功分器，用于将多波长调制光信号分为M路子多波长调制光信号并送入延时波导阵列；
延时波导阵列，M路子多波长调制光信号分别送入延时波导阵列中M段长度依次增加的延时波导，得到M路延时依次等间隔增加的子多波长调制光信号，即M个第一子多波长调制光信号并送入M×M循环阵列波导光栅；
M×M循环阵列波导光栅，根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系实现输入信号不同波长循环路由，得到M个第二子多波长调制光信号并送入微环加权阵列；
微环加权阵列，包含M个微环加权单元，基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号实现卷积核系数加权得到M对子加权强度调制光信号；
平衡探测器阵列，包含M个平衡探测器，用于将所述M对子加权强度调制光信号转换为电信号并输出，所述电信号作为光子卷积运算芯片的电输出信号；
其中，所述多波长调制光信号是待卷积信号通过调制器加载到多波长光载波信号上得到的，所述待卷积信号为二维待卷积矩阵经矩阵平坦化处理后得到的一维信号。
2.如权利要求1所述的并行光子卷积运算芯片，其特征在于，在并行光子卷积运算芯片中：
所述1×M功分器包含1个光输入端与M个光输出端，光输入端为整个芯片的光输入端，用于接收外部多波长调制光信号，M个光输出端分别连接延时波导阵列中M段长度依次增加的延时波导；
所述M×M循环阵列波导光栅包含M个光输入端与M个光输出端，延时波导阵列的光输出端分别连接其M个光输入端，M个光输出端分别与微环加权阵列的光输入端连接；
所述微环加权阵列包含M个微环加权单元，每个微环加权单元由1个直通波导、1个耦合波导与M个微环谐振器串联组成，每个直通波导的输入端为微环加权单元的光输入端，每个直通波导的输出端与每个耦合波导的输出端为微环加权单元的一对光输出端，分别连接一个平衡探测器的两个光输入端；M个直通波导的光输入端分别接收M个第二子多波长调制光信号，M个直通波导与M个耦合波导的光输出端输出M对子加权强度调制光信号；
平衡探测器阵列，M个平衡探测器的电输出端作为整个芯片的电输出端。
3.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述延时波导阵列中M段延时波导以第一段延时波导为参考，其余延时波导依次增加长度为Δl＝cΔt/nw，其中c为光在真空中的速度，nw为延时波导有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率。
4.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述M×M循环阵列波导光栅的自由频谱范围fFSR与多波长光载波信号相邻波长间隔Δf满足关系为：fFSR＝MΔf；所述多波长光载波信号对应的不同波长分别位于所述M×M循环阵列波导光栅不同波长通道内。
5.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述微环加权阵列中M个微环加权单元具有相同的结构，每个微环加权单元中M个微环谐振器具有不同的半径，其谐振波长分别对应多波长光载波信号中的一个波长。
6.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述微环加权阵列中M个微环加权单元分别对应M个卷积核矩阵，卷积核矩阵的元素个数等于每个微环加权单元微环个数M，M个微环加权单元中M×M个微环谐振器对应M个卷积核矩阵。
7.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述基于M个卷积核矩阵的多卷积核控制信号分别控制对应微环加权单元中M个微环谐振器的耦合系数与传输系数，对M个第二子多波长调制光信号的卷积核系数加权得到M对子加权强度调制光信号，具体为：
每个卷积核矩阵MconT_j包含M个元素，为了实现任意实数元素的加权，每个卷积核矩阵MconT_j分为两部分M+ conT_j与M- conT_j，矩阵M+ conT_j与M- conT_j的元素都为非负数，MconT_j、M+ conT_j与M- conT_j满足关系为MconT_j＝M+ conT_j-M- conT_j，j＝1,2,3,…,M,表示第j个卷积核矩阵；第j个微环加权单元基于M+ conT_j与M- conT_j产生的控制信号控制微环加权单元中微环谐振器传输系数与耦合系数，所述M个卷积核矩阵系数与M个微环加权单元中M×M个微环谐振器的映射关系根据M×M循环阵列波导光栅输入端口-输出端口波长循环路由关系确定；具体通过热光效应或电光效应实现微环谐振器传输系数与耦合系数的调节。
8.如权利要求1所述的并行光子卷积运算芯片，其特征在于，所述芯片的制造工艺选用绝缘体上硅材料工艺、磷化铟材料工艺或绝缘体上硅-氮化硅混合材料工艺。
9.一种并行光子卷积运算系统，其特征在于，所述并行光子卷积运算系统包括：
多波长光源，用于产生包含M个波长的多波长光载波信号并送入调制器；
待卷积信号源，用于将二维待卷积矩阵平坦化处理为一维待卷积数据，并根据一维待卷积数据产生一维待卷积信号并送入调制器；
调制器，用于将一维待卷积信号加载到多波长光载波信号上得到多波长调制光信号；
光放大器，用于将调制器输出的多波长调制光信号进行放大并送入权利要求1至7任一项所述的并行光子卷积运算芯片；
权利要求1至8任一项所述的并行光子卷积运算芯片，用于将放大后的多波长调制光信号依次进行时间交织、重新路由分配和系数加权，并转换为电信号送入跨阻放大器阵列；
多卷积核控制单元，用于根据M个卷积核矩阵分别产生卷积核控制信号并送入并行光子卷积运算芯片进行系数加权；
跨阻放大器阵列，用于将电信号分别进行放大并送入信号采集与处理单元；
信号采集与处理单元，用于对放大后的电信号分别进行数据采集与重组得到二维待卷积矩阵分别对应M个卷积核的二维特征矩阵；
其中，多波长光源与调制器的光输入端连接，待卷积信号源与调制器的电输入端连接，调制器的光输出端与光放大器的输入端连接，光放大器的输出端与并行光子卷积运算芯片的光输入端连接，多卷积核控制单元与并行光子卷积运算芯片中微环加权阵列的电输入端连接，并行光子卷积运算芯片的电输出端与跨阻放大器阵列的电输入端连接，跨阻放大器阵列的电输出端与信号采集与处理单元连接。
10.如权利要求9所述的并行光子卷积芯片运算系统，其特征在于，所述将二维待卷积矩阵平坦化处理为一维待卷积信号，具体过程为：
二维待卷积矩阵为一个Q行O列的二维矩阵，首先将包含Q×O个元素的二维矩阵分为Q个1×O的一维矩阵，其次将Q个1×O的一维矩阵依次首尾连接得到一个1×QO的一维矩阵，该一维矩阵数模转换即可得到一维待卷积信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311052903.XA CN117077750B (zh) | 2023-08-21 | 2023-08-21 | 一种并行光子卷积运算芯片及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311052903.XA CN117077750B (zh) | 2023-08-21 | 2023-08-21 | 一种并行光子卷积运算芯片及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117077750A true CN117077750A (zh) | 2023-11-17 |
| CN117077750B CN117077750B (zh) | 2024-04-05 |
Family
ID=88707577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311052903.XA Active CN117077750B (zh) | 2023-08-21 | 2023-08-21 | 一种并行光子卷积运算芯片及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117077750B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117709423A (zh) * | 2024-02-05 | 2024-03-15 | 之江实验室 | 一种深度神经网络光子加速芯片及其运算系统 |
| CN117784313A (zh) * | 2024-02-28 | 2024-03-29 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| US20220045757A1 (en) * | 2020-08-06 | 2022-02-10 | Celestial Ai Inc. | Coherent photonic computing architectures |
| CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
| CN115167610A (zh) * | 2022-09-08 | 2022-10-11 | 之江实验室 | 二维光子卷积加速芯片及应用系统与方法 |
| CN115222035A (zh) * | 2022-09-20 | 2022-10-21 | 之江实验室 | 一种光子神经网络卷积加速芯片 |
-
2023
- 2023-08-21 CN CN202311052903.XA patent/CN117077750B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
| US20220045757A1 (en) * | 2020-08-06 | 2022-02-10 | Celestial Ai Inc. | Coherent photonic computing architectures |
| CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
| CN115167610A (zh) * | 2022-09-08 | 2022-10-11 | 之江实验室 | 二维光子卷积加速芯片及应用系统与方法 |
| CN115222035A (zh) * | 2022-09-20 | 2022-10-21 | 之江实验室 | 一种光子神经网络卷积加速芯片 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117709423A (zh) * | 2024-02-05 | 2024-03-15 | 之江实验室 | 一种深度神经网络光子加速芯片及其运算系统 |
| CN117709423B (zh) * | 2024-02-05 | 2024-05-24 | 之江实验室 | 一种深度神经网络光子加速芯片及其运算系统 |
| CN117784313A (zh) * | 2024-02-28 | 2024-03-29 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
| CN117784313B (zh) * | 2024-02-28 | 2024-06-07 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117077750B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117077750B (zh) | 一种并行光子卷积运算芯片及系统 | |
| CN114358271B (zh) | 一种时间-波长交织光子神经网络卷积加速芯片 | |
| CN111882052B (zh) | 光子卷积神经网络系统 | |
| CN115167610B (zh) | 二维光子卷积加速芯片及应用系统与方法 | |
| US20240078421A1 (en) | Two-dimensional photonic convolutional acceleration system and device for convolutional neural network | |
| CN117784313B (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 | |
| CN102866876A (zh) | 一种单片集成的光学矩阵-向量乘法器 | |
| CN111561953B (zh) | 基于波分复用与平衡探测的片上集成光学矩阵矢量乘法器 | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| CN113805641B (zh) | 一种光子神经网络 | |
| US20210264241A1 (en) | Optical multiply and accumulate unit | |
| WO2022160784A1 (zh) | 一种光计算装置、系统及卷积计算方法 | |
| CN114819132A (zh) | 一种基于时间-波长交织的光子二维卷积加速方法及系统 | |
| CN116432726B (zh) | 一种光电混合的深度神经网络运算装置和运算方法 | |
| CN114815959A (zh) | 一种基于波分复用的光子张量计算加速方法及装置 | |
| US11934943B1 (en) | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure | |
| CN116029350B (zh) | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 | |
| CN114723016A (zh) | 片上光子卷积神经网络及其构建方法 | |
| CN117709423B (zh) | 一种深度神经网络光子加速芯片及其运算系统 | |
| CN117255967A (zh) | 用于矩阵计算的平衡光子架构 | |
| CN114488650A (zh) | 硅基光子集成芯片 | |
| CN112232487A (zh) | 光学神经网络芯片及其计算方法 | |
| CN113630207A (zh) | 一种光子神经网络芯片 | |
| CN115508958B (zh) | 一种基于光学神经网络的光子芯片 | |
| Peserico et al. | PhotoFourier: silicon photonics joint transfer correlator for convolution neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |