CN114815959A - 一种基于波分复用的光子张量计算加速方法及装置 - Google Patents
一种基于波分复用的光子张量计算加速方法及装置 Download PDFInfo
- Publication number
- CN114815959A CN114815959A CN202210734532.2A CN202210734532A CN114815959A CN 114815959 A CN114815959 A CN 114815959A CN 202210734532 A CN202210734532 A CN 202210734532A CN 114815959 A CN114815959 A CN 114815959A
- Authority
- CN
- China
- Prior art keywords
- wavelength
- micro
- signal
- signals
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 46
- 230000001133 acceleration Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 133
- 230000008878 coupling Effects 0.000 claims abstract description 26
- 238000010168 coupling process Methods 0.000 claims abstract description 26
- 238000005859 coupling reaction Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 230000005693 optoelectronics Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100436086 Escherichia coli (strain K12) asmA gene Proteins 0.000 description 1
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000299 nuclear matrix Anatomy 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
- G06E1/00—Devices for processing exclusively digital data
- G06E1/02—Devices for processing exclusively digital data operating upon the order or content of the data handled
- G06E1/04—Devices for processing exclusively digital data operating upon the order or content of the data handled for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06E1/045—Matrix or vector computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种基于波分复用的光子张量计算加速方法及装置,本发明首先将多波长光信号分为M个各包含O个波长的子光信号并送入M个调制器,M个待处理信号分别通过对应的调制器加载到对应的子光信号上得到M个子调制光信号;子调制光信号送入延时加权微环阵列,控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数分别实现M×O个波长信号幅度加权;幅度加权后的M个子调制光信号送入波束整形器实现二级幅度加权得到N个加权调制多波长光信号,对上述信号完成光电转换即可完成张量计算。本发明将光作为信息载体,基于延时加权微环阵列与波束整形器,可实现信号的张量计算加速,大幅提高神经网络的计算速率及能效比。
Description
技术领域
本发明涉及一种面向人工智能的光子张量计算加速方法,和一种光子张量计算加速装置,属于光子计算领域。
背景技术
将多维数据叠加形成一个张量,为发现隐藏在数据中的内在结构特征提供了机会,例如,脑电图数据的多维表征是利用时间、空间以及频谱叠加的张量检测电磁波特征信息,是神经科学数据处理的有效方式。而张量计算则是多维信号处理的数学基础,在张量的基本计算中,卷积计算是提取数据结构特征的有效方法。作为一个缩影,卷积神经网络是在多通道张量处理的概念下设计的,在现代人工智能(AI)中起着基础性作用(参见[CichockiA, Mandic D, De Lathauwer L, et al. Tensor decompositions for signalprocessing applications: From two-way to multiway component analysis. IEEEsignal processing magazine, 2015, 32(2): 145-163.]与[He K, Zhang X, Ren S, etal. Deep residual learning for image recognition,Proceedings of the IEEEconference on computer vision and pattern recognition. 2016: 770-778.])。为了提高计算吞吐量,主流处理器将张量卷积变换为矩阵乘法,以提高计算的并行性,由于目前电子芯片采用将程序空间与数据空间分离的经典计算机结构,这种降维转换会产生重复数据并消耗额外内存,限制计算效率。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点, 目前已吸引研究人员将光子技术应用在人工智能领域(参见[Shastri BJ, Tait A N, Ferreira de Lima T, et al. Photonics for artificial intelligenceand neuromorphic computing. Nature Photonics, 2021, 15(2): 102-114.])。将光子技术与传统张量计算模型相结合,有望充分发挥两种技术的优势,突破电域张量计算高功耗、长延时、速度有限的技术发展瓶颈,解决传统电子技术受限的技术问题(参见[Huang C,Fujisawa S, de Lima T F, et al. A silicon photonic–electronic neural networkfor fibre nonlinearity compensation. Nature Electronics, 2021, 4(11): 837-844.])。首先,光子神经网络采用模拟计算架构,存算同时进行,在提高计算速度的同时能够降低计算时延;其次,基于光传输介质的本质特性,光链路具有低损耗特性,间接可降低系统功耗;最后,光子器件相对电子器件,有效工作带宽增加了几个数量级,更适应神经网络的高速实时计算。
发明内容
本发明所要解决的技术问题在于:克服现有技术不足,利用包含延迟波导的微环谐振器阵列结合波束整形器在光域实现张量信号的张量计算,解决传统电子技术存算分离及数据维度转换造成的算力有限及功耗大问题,且张量核可灵活扩展,适用于多维数据张量计算。
本发明具体采用以下技术方案解决上述技术问题:
一种基于波分复用的光子张量计算加速方法,首先,将多波长光源输出的多波长光信号经光放大器放大后送入解波分复用器,解波分复用器将多波长光信号分为M个各包含O个波长的子光信号并送入M个调制器,M个待处理信号分别通过对应的调制器分别加载到对应子光信号上得到M个子调制光信号;其中,M个待处理信号由张量[D data ,S in ]分解获得,其中D data 为待处理信号的矩阵大小,S in 为待处理信号个数,S in =M;每个待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号;M个子调制光信号送入延时加权微环阵列,控制信号基于M组卷积核矩阵系数控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数实现M×O个波长信号幅度加权;幅度加权后的M个子调制光信号送入M×N波束整形器实现二级幅度加权,得到N个包含M×O个波长的加权调制多波长光信号,对N个加权调制多波长光信号分别进行光电转换得到电信号,对电信号分别进行采集与处理即可得到N个张量运算结果。
进一步地,所述幅度加权后的M个子调制光信号送入M×N波束整形器实现二级幅度加权具体为:首先,将输入波束整形器的M个幅度加权后的子调制光信号合为一路复合光信号,然后将该复合光信号分为N路,通过控制波束整形器响应特性,分别实现每路加权调制多波长光信号中M个子调制光信号的幅度调节,实现第二级幅度加权。
优选地,所述多波长光信号中M×O个波长信号幅度相等或不相等,其中M与O为正整数,分别为最大可支持待处理信号个数与每组最大可支持卷积核矩阵系数的个数;所述解波分复用器的通道间隔为O×∆f,其中∆f为多波长光信号中两个波长之间的频率间隔。
进一步地,所述延时加权微环阵列为集成芯片,由M个延时加权微环单元组成,每个延时加权微环单元由1个直通波导、1个耦合波导以及O个微环谐振器组成,其中的O个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n w的延迟波导,其中n w为延迟波导有效折射率,∆t=1/S M 为待处理信号单个符号持续时间,S M 为待处理信号符号速率,且待处理信号符号速率最大值取决于调制器带宽。
进一步地,所述控制信号通过控制每个延时加权微环单元中O个微环的耦合系数实现M×O个波长调制信号卷积核矩阵系数加权,具体为:
根据对应的卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数,且通过热光效应或电光效应改变微环谐振器耦合系数,每个延时加权微环单元中O个微环对应一个子光信号。
一种基于波分复用的光子张量计算加速装置,包括:
多波长光源,用于产生包含M×O个波长的多波长光信号;
光放大器,用于对多波长光源产生的多波长光信号进行放大;
待处理信号源,用于将张量[D data ,S in ]分解获得M个待处理信号,其中D data 为待处理信号的矩阵大小,S in 为待处理信号个数,S in =M;每个待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号;
解波分复用器,用于将多波长光信号分为M个各包含O个波长的子光信号;
调制器阵列,包含M个调制器,用于将待处理信号源产生的M个待处理信号分别加载到对应的M个子光信号上,得到M个子调制光信号;
张量核矩阵控制单元,用于根据张量核系数向延时加权微环阵列及M×N波束整形器分别提供第一控制信号和第二控制信号;其中,张量核系数分解为M组卷积核矩阵系数和多端口响应特性矩阵,M组卷积核矩阵系数对应于第一控制信号,多端口响应特性矩阵对应于第二控制信号。
延时加权微环阵列,用于基于第一控制信号控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数,实现M×O个波长调制信号卷积核系数加权得到M个幅度加权子调制信号;
M×N波束整形器,用于将M个幅度加权子调制光信号合为一路加权调制多波长光信号并分为N路,再基于第二控制信号实现每路加权调制多波长光信号中M个子调制光信号的幅度调节;
探测器阵列,包含N个探测器,用于分别将幅度调节后的N路加权调制多波长光信号转换为N路电信号;
采集处理单元,用于采集探测器阵列输出的N路电信号,并重构为对应原始待处理信号的张量运算结果。
优选地,所述多波长光源为多波长激光器、激光器阵列、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器。
优选地,所述多波长光信号中M×O个波长信号幅度相等或不相等,其中M与O为正整数,分别为最大可支持待处理信号个数与每组最大可支持卷积核矩阵系数的个数;所述解波分复用器的通道间隔为O×∆f,其中∆f为多波长光信号中两个波长之间的频率间隔。
进一步地,所述延时加权微环阵列中M×O个微环谐振器的半径依次增加,分别对应一个谐振波长,且半径最大微环谐振器对应的自由光谱范围∆f FSR应大于多波长光信号所占据的光谱范围M×O×∆f。
进一步地,所述延时加权微环阵列为集成芯片,由M个延时加权微环单元组成,每个延时加权微环单元由1个直通波导、1个耦合波导以及O个微环谐振器组成,其中的O个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n w的延迟波导,其中n w为延迟波导有效折射率,∆t=1/S M 为待处理信号单个符号持续时间,S M 为待处理信号符号速率,且待处理信号符号速率最大值取决于调制器带宽。
相比现有技术,本发明技术方案具有以下有益效果:
1)本发明基于光子可并行得特性,在光域结合波长、时间、空间多个维度实现张量数据的张量计算,可有效避免电域存算分离及多维数据转换引起的计算复杂度增加及功耗问题。
2)本发明基于嵌入级联延迟波导的微环阵列实现数据的卷积核卷积加速计算,方案简单高效,相对基于光纤色散技术,系统紧凑,抗干扰强,且无需色散校准补偿。
3)本发明基于微环阵列实现卷积核矩阵系数的控制,可实现张量计算中卷积核矩阵系数的快速更新,适应于实时数据处理应用。
附图说明
图1为本发明基于波分复用的光子张量计算加速装置结构示意图。
图2为本发明基于波分复用的光子张量计算加速装置一个具体实施例结构示意图。
图3为本发明基于波分复用的光子张量计算加速装置一个具体实施例中延时加权微环单元的结构示意图。
图4为本发明基于波分复用的光子张量计算加速装置一个具体实施例各工作节点的光谱示意图;其中,A为多波长光信号的光谱分布图,B为第一个延时加权微环单元输出信号的光谱分布图,C为第二个延时加权微环单元输出信号的光谱分布图,D为第M个延时加权微环单元输出信号的光谱分布图。
图5为本发明基于波分复用的光子张量计算加速装置一个具体实施例M×N波束整形器一个端口输出光信号的时间序列与波长关系图。
具体实施方式
针对现有技术的不足,本发明的思路是基于二维微环阵列结合波束整形器在光域实现张量数据的张量计算,解决传统电子技术因存算分立及数据维度转换造成的算力有限及大功耗问题,方案中张量系数可灵活调节,信号处理实时高效。
下面将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明的一种基于波分复用的光子张量计算加速装置具体如图1所示,包括:多波长光源、光放大器、解波分复用器、调制器阵列、待处理信号源、张量核矩阵控制单元、延时加权微环阵列、M×N波束整形器、光电探测器阵列、采集处理单元等。其中,解波分复用器包含M个输出端口,调制器阵列包含M个调制器,延时加权微环阵列包含M个延时加权微环单元,M个调制器和M个延时加权微环单元一一对应。
首先,多波长光源输出的包含M×O个波长的多波长光信号经光放大器放大后送入解波分复用器,通过解波分复用器将多波长光信号分为M个各包含O个波长的子光信号并送入包含M个调制器的调制器阵列;待处理信号源输出的M个待处理信号分别通过M个调制器加载到子光信号上得到M个子调制光信号;其中,待处理信号源是将张量[D data ,S in ]分解为M个待处理信号,其中D data 为待处理信号的矩阵大小,S in 为待处理信号个数,S in =M,每个待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号;M个子调制光信号送入延时加权微环阵列,张量核矩阵控制单元输出的第一控制信号基于M组卷积核矩阵系数控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数实现M×O个波长信号幅度加权;幅度加权后的M个子调制光信号送入M×N波束整形器,张量核矩阵控制单元输出的第二控制信号控制M×N波束整形器实现M个子调制光信号二级幅度加权,得到N个包含M×O个波长的加权调制多波长光信号,对N个加权调制多波长光信号送入包含N个探测器的探测器阵列分别进行光电转换得到电信号,采集与处理单元对电信号分别进行采集与处理从而得到N个张量运算结果。
其中,张量核矩阵控制单元输出的第一控制信号是基于M组卷积核矩阵系数生成的M×O个卷积核矩阵控制信号,卷积核矩阵控制信号通过热光效应或电光效应改变对应的微环谐振器耦合系数,其中每个微环谐振器耦合系数根据卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定,多波长光信号中M×O个波长信号幅度相等或不相等,其中M与O为正整数,分别为待处理信号个数和每组卷积核矩阵系数的个数,优选为最大可支持待处理信号个数与最大可支持卷积核矩阵系数的个数。优选地,所述延时加权微环阵列中M×O个微环谐振器的半径依次增加,分别对应一个谐振波长,且半径最大微环谐振器对应的自由光谱范围∆f FSR应大于多波长光信号所占据的光谱范围M×O×∆f。
张量核矩阵控制单元输出的第二控制信号用于控制波束整形器响应特性,分别实现N路加权调制多波长光信号中M个子调制光信号的幅度调节,实现第二级幅度加权。
所述解波分复用器的通道间隔为O×∆f,其中∆f为多波长光信号中两个波长之间的频率间隔,从而对应地将多波长光信号分为M个各包含O个波长的子光信号。
为了便于公众理解,下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明。
需要说明的是,所述多波长光源为多波长激光器、激光器阵列、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器等,本实施例优选锁模激光器;所述调制器可为电吸收调制器、马赫-曾德尔调制器,本实施例优选马赫-曾德尔调制器;所述M×N波束整形器可以为单个商用M×N波束整形器、或波分复用器级联多个1×N波束整形器等装置实现。
此外,所述多波长光源输出信号中M×N个波长信号幅度可以相等或不相等,本实施优选相等。
如图2所示,本实施例的基于波分复用的光子张量计算加速装置包括:1个锁模激光器、1个光放大器、1个解波分复用器、1个待处理信号源、1个调制器阵列(由M个马赫-曾德尔调制器(MZM)组成)、1个张量核矩阵控制单元、1个延时加权微环阵列、1个M×N波束整形器、1个光电探测器阵列(由N个探测器组成)、1个采集处理单元等。
首先,锁模激光器输出各个波长强度相等的多波长光信号并通过光放大器进行放大,放大后的多波长光信号的各个波长强度用矩阵可以表示为A=[A,A,A,…,A]T M×O,其光谱分布如图4中的A所示,其中M与O为正整数,分别为最大可支持待处理信号个数与每组最大可支持卷积核矩阵系数的个数,A为单波长信号强度。放大后的等幅度多波长光信号送入解波分复用器分为M个各包含O个波长的子多波长光信号,子多波长光信号可以表示为A m =[A,A,A,…,A]T O,A m 表示第m个子多波长光信号,m=1,2,…, M。调制器阵列包含与解波分复用器M个输出端口一一对应的M个马赫-曾德尔调制器,M个子多波长光信号分别送入调制器阵列中对应的马赫-曾德尔调制器,待处理信号源输出的M个待处理信号分别通过对应的马赫-曾德尔调制器对子多波长光信号进行强度调制,将M个待处理信号分别加载到对应子多波长光信号上,得到M个子多波长调制光信号。待处理信号序列可以表示为x m (n)=[x m (1), x m (2), x m (3),…, x m (P)], 其中n表示离散化时间序号,x m (n)表示第m个待处理信号序列,P为待处理信号的长度,待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号,平坦化具体操作为将二维矩阵转为一维矩阵。待处理信号源输出的M个待处理信号维度用张量可以表示为[D data ,S in ],其中D data 为待处理信号的矩阵大小,对于一维信号,D data 表示信号数据的个数;对于二维信号,D data =[W,H],W与H分别表示二维信号宽与高的数据个数, S in 为待处理信号个数,此处S in =M。子多波长调制光信号S Mod_m 用矩阵可以表示为:
M个子多波长调制光信号通过光纤波导耦合技术依次耦合到包含M个延时加权微环单元的延时加权微环阵列芯片中,延时加权微环单元的结构示意图如图3所示,每个延时加权微环单元由1个直通波导、1个耦合波导以及O个微环谐振器组成,微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n w的延迟波导,其中n w为波导延迟线的有效折射率,∆t=1/S M 为待处理信号单个符号持续时间,S M 为待处理信号符号速率。每个延时加权微环单元中O个微环的谐振特性依次对应于一个波长。张量核矩阵控制单元输出的卷积核矩阵控制信号首先控制第一个微环谐振器谐振特性,使在直通波导中传输的对应波长子强度调制光信号按特定耦合系数耦合到耦合波导中,耦合系数根据卷积核矩阵系数大小设定,实现卷积核矩阵系数加权。直通波导中的子多波长调制光信号经过第一个微环谐振器后进入直通波导的延迟波导实现∆t延时。延时后的多波长强度调制光信号通过第二个微环谐振器对相应波长信号实现系数加权,延时后依次完成所有波长信号加权。在耦合波导输出端得到M个子多波长加权调制光信号。
设第m组卷积核矩阵系数为W mO =[w m1,w m2,w m3,…,w mO]T,w为卷积核矩阵系数,设卷积核的维度用D k 表示,当卷积核为一维时,D k 为一维卷积核系数个数O,当卷积核为二维时,D k =[C,L],C与L分别为二维卷积核行与列的系数个数,且C·L=O。延时加权微环单元耦合波导输出的子多波长加权调制光信号S Modcon_m 可以表示为:
( m=1,2,..,M) (2)
子多波长加权调制光信号光谱图如图4中的B, C, D所示,需要说明得是,为了公众便于理解,图4中的B, C, D所对应的分别为第1,2,M个延时加权微环单元输出的子多波长加权调制光信号。基于波导光纤耦合技术,将M个子加权强度调制光信号耦合进光纤后输入M×N波束整形器。M×N波束整形器具体工作方式为,输入波束整形器的M个子多波长加权调制光信号合为一路加权调制多波长光信号,然后将该加权调制多波长光信号分为N路。基于张量核矩阵控制单元的第二控制信号控制波束整形器响应特性,分别实现每路加权调制多波长光信号中M个子调制光信号的幅度调节,实现二级幅度加权。M×N波束整形器的多端口响应特性M con 可以用矩阵表示为:
v是对应每个端口响应特性系数,设M×N波束整形器的多端口响应特性维度用维度D m =[S Min , S Mout ]表示,为波束整形器有效输入输出端口个数,此处S Min =M,此处S Mout =N。加权调制多波长光信号时间序列与波长关系如图5所示。需要说明的是,图5中所对应的只是M×N波束整形器第一个输出端口加权调制多波长光信号的时间序列与波长关系,其它端口输出端口加权调制多波长光信号的时间序列与波长关系与此类似。将N路加权调制多波长光信号分别送入包含N个探测器的探测器阵列完成光电转换后得到电输出信号。电输出信号有效时序内的信号可以表示为:
其中,S ca_n (r)为第n个探测器的第r次张量计算的结果。采集处理单元对N个电输出信号采集后,对有效时序信号进行处理即可得到N个张量计算结果。即经过张量加速运算后的数据维度用张量可以表示为[D data , S out ], 其中D data 为输出信号维度,与输入待处理信号维度相同,S out 为待处理信号个数,此处S out =N。综上张量卷积核的维度可以表示为[D k , ,D m , S in , S out ]。
最后,需要注意的是,以上列举的仅是本发明的具体实施例。本发明不限于以上实施例,还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形,均应认为是本发明的保护范围。
Claims (10)
1.一种基于波分复用的光子张量计算加速方法,其特征在于,将多波长光源输出的多波长光信号放大后送入解波分复用器,解波分复用器将多波长光信号分为M个各包含O个波长的子光信号并送入M个调制器,M个待处理信号分别通过对应的调制器分别加载到对应子光信号上得到M个子调制光信号;其中,M个待处理信号由张量[D data ,S in ]分解获得,其中D data 为待处理信号的矩阵大小,S in 为待处理信号个数,S in =M;每个待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号;M个子调制光信号送入延时加权微环阵列,控制信号基于M组卷积核矩阵系数控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数实现M×O个波长信号幅度加权;幅度加权后的M个子调制光信号送入M×N波束整形器实现二级幅度加权,得到N个包含M×O个波长的加权调制多波长光信号,对N个加权调制多波长光信号分别进行光电转换得到电信号,对电信号分别进行采集与处理即得到N个张量运算结果。
2.如权利要求1所述的方法,其特征在于,所述幅度加权后的M个子调制光信号送入M×N波束整形器实现二级幅度加权具体为:首先,将输入波束整形器的M个幅度加权后的子调制光信号合为一路复合光信号,然后将该复合光信号分为N路,通过控制波束整形器响应特性,分别实现每路加权调制多波长光信号中M个子调制光信号的幅度调节,实现第二级幅度加权。
3.如权利要求1所述的方法,其特征在于,所述多波长光信号中M×O个波长信号幅度相等或不相等,其中M与O为正整数,分别为最大可支持待处理信号个数与每组最大可支持卷积核矩阵系数的个数;所述解波分复用器的通道间隔为O×∆f,其中∆f为多波长光信号中两个波长之间的频率间隔。
4.如权利要求1所述的方法,其特征在于,所述延时加权微环阵列为集成芯片,由M个延时加权微环单元组成,每个延时加权微环单元由1个直通波导、1个耦合波导以及O个微环谐振器组成,其中的O个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t/n w的延迟波导,其中n w为延迟波导的有效折射率,∆t=1/S M 为待处理信号单个符号持续时间,S M 为待处理信号符号速率,且待处理信号符号速率最大值取决于调制器带宽。
5.如权利要求1所述的方法,其特征在于,所述控制信号通过控制每个延时加权微环单元中O个微环的耦合系数实现M×O个波长调制信号卷积核矩阵系数加权,具体为:
根据对应的卷积核矩阵系数的大小及多波长光信号中各个波长的初始信号强度确定微环谐振器耦合系数,且通过热光效应或电光效应改变微环谐振器耦合系数,每个延时加权微环单元中O个微环对应一个子光信号。
6.一种基于波分复用的光子张量计算加速装置,其特征在于,包括:
多波长光源,用于产生包含M×O个波长的多波长光信号;
光放大器,用于对多波长光源产生的多波长光信号进行放大;
待处理信号源,用于将张量[D data ,S in ]分解获得M个待处理信号,其中D data 为不同待处理信号的矩阵大小,S in 为待处理信号个数,S in =M;每个待处理信号是一维信号或实际二维信号经平坦化处理后得到的一维信号;
解波分复用器,用于将多波长光信号分为M个各包含O个波长的子光信号;
调制器阵列,包含M个调制器,用于将待处理信号源产生的M个待处理信号分别加载到对应的M个子光信号上,得到M个子调制光信号;
张量核矩阵控制单元,用于根据张量核系数向延时加权微环阵列及M×N波束整形器分别提供第一控制信号和第二控制信号;
延时加权微环阵列,用于基于第一控制信号控制延时加权微环阵列中M个延时加权微环单元中共M×O个微环的耦合系数,实现M×O个波长调制信号卷积核矩阵系数加权得到M个幅度加权子调制信号;
M×N波束整形器,用于将M个幅度加权子调制光信号合为一路加权调制多波长光信号并分为N路,再基于第二控制信号实现每路加权调制多波长光信号中M个子调制光信号的幅度调节;
探测器阵列,包含N个探测器,用于将幅度调节后的N路加权调制多波长光信号转换为N路电信号;
采集处理单元,用于采集探测器阵列输出的N路电信号,并重构为对应原始待处理信号的张量运算结果。
7.如权利要求6所述的基于波分复用的光子张量计算加速装置,其特征在于,所述多波长光源为多波长激光器、激光器阵列、锁模激光器、飞秒激光器、光频梳发生器或光孤子光频梳发生器。
8.如权利要求6所述的基于波分复用的光子张量计算加速装置,其特征在于,所述多波长光信号中M×O个波长信号幅度相等或不相等,其中M与O为正整数,分别为最大可支持待处理信号个数与每组最大可支持卷积核矩阵系数的个数;所述解波分复用器的通道间隔为O×∆f,其中∆f为多波长光信号中两个波长之间的频率间隔。
9.如权利要求6所述的基于波分复用的光子张量计算加速装置,其特征在于,所述延时加权微环阵列中M×O个微环谐振器的半径依次增加,分别对应一个谐振波长,且半径最大微环谐振器对应的自由光谱范围∆f FSR应大于多波长光信号所占据的光谱范围M×O×∆f。
10.如权利要求6所述的基于波分复用的光子张量计算加速装置,其特征在于,所述延时加权微环阵列为集成芯片,由M个延时加权微环单元组成,每个延时加权微环单元由1个直通波导、1个耦合波导以及O个微环谐振器组成,其中的O个微环谐振器在直通波导端彼此之间有一段长为∆l=c×∆t /n w的延迟波导,其中n w为延迟波导的有效折射率,∆t=1/S M 为待处理信号单个符号持续时间,S M 为待处理信号符号速率,且待处理信号符号速率最大值取决于调制器带宽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210734532.2A CN114815959B (zh) | 2022-06-27 | 2022-06-27 | 一种基于波分复用的光子张量计算加速方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210734532.2A CN114815959B (zh) | 2022-06-27 | 2022-06-27 | 一种基于波分复用的光子张量计算加速方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114815959A true CN114815959A (zh) | 2022-07-29 |
CN114815959B CN114815959B (zh) | 2022-11-01 |
Family
ID=82523217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210734532.2A Active CN114815959B (zh) | 2022-06-27 | 2022-06-27 | 一种基于波分复用的光子张量计算加速方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114815959B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146771A (zh) * | 2022-09-02 | 2022-10-04 | 之江实验室 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
CN115167610A (zh) * | 2022-09-08 | 2022-10-11 | 之江实验室 | 二维光子卷积加速芯片及应用系统与方法 |
CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
CN115508958A (zh) * | 2022-10-08 | 2022-12-23 | 深圳中科天鹰科技有限公司 | 一种基于光学神经网络的光子芯片 |
CN117784313A (zh) * | 2024-02-28 | 2024-03-29 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
CN118394172A (zh) * | 2024-06-26 | 2024-07-26 | 光本位科技(苏州)有限公司 | 一种利用阵列激光器的光子计算阵列及方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191904A1 (en) * | 2001-06-13 | 2002-12-19 | Nippon Telegraph And Telephone Corporation | Multi-wavelength optical modulation circuit and wavelength-division multiplexed optical signal transmitter |
US20050259989A1 (en) * | 2004-05-18 | 2005-11-24 | Sorin Wayne V | Multiple-wavelength pulsed light source for a wavelength division multiplexed passive optical network |
US20150168803A1 (en) * | 2013-12-13 | 2015-06-18 | Telefonaktiebolaget L M Ericsson (Publ) | Parallel and WDM Silicon Photonics Integration in Information and Communications Technology Systems |
CN105009486A (zh) * | 2013-02-26 | 2015-10-28 | 日本电气株式会社 | 波分复用光传输设备和波分复用光传输方法 |
CN106709441A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 一种基于卷积定理的人脸验证加速方法 |
CN106933001A (zh) * | 2017-05-04 | 2017-07-07 | 上海交通大学 | 基于硅光集成的光子模数转换芯片 |
EP3196695A1 (en) * | 2016-01-19 | 2017-07-26 | Technische Universität Dresden | Optically-assisted time-interleaving digital-to-analogue converter and a method using it |
US20170316312A1 (en) * | 2016-05-02 | 2017-11-02 | Cavium, Inc. | Systems and methods for deep learning processor |
CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
CN111723337A (zh) * | 2020-06-16 | 2020-09-29 | 上海交通大学 | 用于神经网络训练的光子张量核集成电路架构及其神经网络训练方法 |
CN111751812A (zh) * | 2020-06-03 | 2020-10-09 | 之江实验室 | 一种微波光子时分复用mimo雷达探测方法及系统 |
CN112099048A (zh) * | 2020-11-12 | 2020-12-18 | 之江实验室 | 基于时分-差频复用的微波光子mimo雷达探测方法及系统 |
CN113267849A (zh) * | 2021-05-28 | 2021-08-17 | 联合微电子中心有限责任公司 | 相干多波长光信号收发系统 |
CN113960718A (zh) * | 2021-10-13 | 2022-01-21 | 华中科技大学 | 光电混合非相干复值矩阵运算处理器及复值矩阵运算方法 |
CN114358271A (zh) * | 2022-03-18 | 2022-04-15 | 之江实验室 | 一种时间-波长交织光子神经网络卷积加速芯片 |
WO2022086615A2 (en) * | 2020-09-29 | 2022-04-28 | Massachusetts Institute Of Technology | Low-power edge computing with optical neural networks via wdm weight broadcasting |
-
2022
- 2022-06-27 CN CN202210734532.2A patent/CN114815959B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191904A1 (en) * | 2001-06-13 | 2002-12-19 | Nippon Telegraph And Telephone Corporation | Multi-wavelength optical modulation circuit and wavelength-division multiplexed optical signal transmitter |
US20050259989A1 (en) * | 2004-05-18 | 2005-11-24 | Sorin Wayne V | Multiple-wavelength pulsed light source for a wavelength division multiplexed passive optical network |
CN105009486A (zh) * | 2013-02-26 | 2015-10-28 | 日本电气株式会社 | 波分复用光传输设备和波分复用光传输方法 |
US20160006537A1 (en) * | 2013-02-26 | 2016-01-07 | Nec Corporation | Wavelength division multiplexing optical transmission apparatus and wavelength division multiplexing optical transmission method |
US20150168803A1 (en) * | 2013-12-13 | 2015-06-18 | Telefonaktiebolaget L M Ericsson (Publ) | Parallel and WDM Silicon Photonics Integration in Information and Communications Technology Systems |
EP3196695A1 (en) * | 2016-01-19 | 2017-07-26 | Technische Universität Dresden | Optically-assisted time-interleaving digital-to-analogue converter and a method using it |
US20170316312A1 (en) * | 2016-05-02 | 2017-11-02 | Cavium, Inc. | Systems and methods for deep learning processor |
CN106709441A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 一种基于卷积定理的人脸验证加速方法 |
CN106933001A (zh) * | 2017-05-04 | 2017-07-07 | 上海交通大学 | 基于硅光集成的光子模数转换芯片 |
CN109639359A (zh) * | 2019-01-07 | 2019-04-16 | 上海交通大学 | 基于微环谐振器的光子神经网络卷积层芯片 |
CN111751812A (zh) * | 2020-06-03 | 2020-10-09 | 之江实验室 | 一种微波光子时分复用mimo雷达探测方法及系统 |
CN111723337A (zh) * | 2020-06-16 | 2020-09-29 | 上海交通大学 | 用于神经网络训练的光子张量核集成电路架构及其神经网络训练方法 |
WO2022086615A2 (en) * | 2020-09-29 | 2022-04-28 | Massachusetts Institute Of Technology | Low-power edge computing with optical neural networks via wdm weight broadcasting |
CN112099048A (zh) * | 2020-11-12 | 2020-12-18 | 之江实验室 | 基于时分-差频复用的微波光子mimo雷达探测方法及系统 |
CN113267849A (zh) * | 2021-05-28 | 2021-08-17 | 联合微电子中心有限责任公司 | 相干多波长光信号收发系统 |
CN113960718A (zh) * | 2021-10-13 | 2022-01-21 | 华中科技大学 | 光电混合非相干复值矩阵运算处理器及复值矩阵运算方法 |
CN114358271A (zh) * | 2022-03-18 | 2022-04-15 | 之江实验室 | 一种时间-波长交织光子神经网络卷积加速芯片 |
Non-Patent Citations (9)
Title |
---|
ANDRZEJ CICHOCKI 等: "Tensor Decompositions for Signal Processing Applications: From two-way to multiway component analysis", 《IEEE SIGNAL PROCESSING MAGAZINE 》 * |
SHASTRI B J 等: "Photonics for artificial intelligence and neuromorphic computing", 《NATURE PHOTONICS》 * |
XIAOXUAN MA 等: "Photonic Tensor Core with Photonic Compute-in-Memory", 《2022 OPTICAL FIBER COMMUNICATIONS CONFERENCE AND EXHIBITION (OFC)》 * |
YAMEI ZHANG 等: "Photonic Generation of Linear-Frequency-Modulated Waveforms With Improved Time-Bandwidth Product Based on Polarization Modulation", 《 JOURNAL OF LIGHTWAVE TECHNOLOGY》 * |
刘春娟等: "新型微环谐振密集波分复用器仿真研究", 《计算机仿真》 * |
潘时龙等: "偏振调制微波光子信号处理", 《数据采集与处理》 * |
郑鹏飞等: "可重构自耦合微环辅助的MZI集成光子滤波器", 《光学精密工程》 * |
钱娜 等: "高速光子模数转换技术及其集成化研究进展", 《半导体光电》 * |
项水英 等: "光神经形态计算研究进展与展望", 《光子学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146771A (zh) * | 2022-09-02 | 2022-10-04 | 之江实验室 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
CN115169542A (zh) * | 2022-09-02 | 2022-10-11 | 之江实验室 | 一种面向卷积神经网络的二维光子卷积加速系统和装置 |
CN115146771B (zh) * | 2022-09-02 | 2022-11-22 | 之江实验室 | 一种基于串联结构的二维光子神经网络卷积加速芯片 |
US11934943B1 (en) | 2022-09-02 | 2024-03-19 | Zhejiang Lab | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure |
CN115167610A (zh) * | 2022-09-08 | 2022-10-11 | 之江实验室 | 二维光子卷积加速芯片及应用系统与方法 |
CN115508958A (zh) * | 2022-10-08 | 2022-12-23 | 深圳中科天鹰科技有限公司 | 一种基于光学神经网络的光子芯片 |
CN115508958B (zh) * | 2022-10-08 | 2024-05-24 | 深圳中科天鹰科技有限公司 | 一种基于光学神经网络的光子芯片 |
CN117784313A (zh) * | 2024-02-28 | 2024-03-29 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
CN117784313B (zh) * | 2024-02-28 | 2024-06-07 | 之江实验室 | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 |
CN118394172A (zh) * | 2024-06-26 | 2024-07-26 | 光本位科技(苏州)有限公司 | 一种利用阵列激光器的光子计算阵列及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114815959B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114815959B (zh) | 一种基于波分复用的光子张量计算加速方法及装置 | |
CN114358271B (zh) | 一种时间-波长交织光子神经网络卷积加速芯片 | |
CN114819132B (zh) | 一种基于时间-波长交织的光子二维卷积加速方法及系统 | |
CN111882052B (zh) | 光子卷积神经网络系统 | |
CN115167610B (zh) | 二维光子卷积加速芯片及应用系统与方法 | |
CN115169542B (zh) | 一种面向卷积神经网络的二维光子卷积加速系统和装置 | |
CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
CN116029350B (zh) | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 | |
CN117077750B (zh) | 一种并行光子卷积运算芯片及系统 | |
CN117784313B (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 | |
US20240086698A1 (en) | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure | |
CN115374828A (zh) | 一种张量卷积核加速芯片及方法 | |
CN115130666B (zh) | 一种二维光子卷积加速方法和系统 | |
Shi et al. | Emulation and modelling of semiconductor optical amplifier-based all-optical photonic integrated deep neural network with arbitrary depth | |
CN116739065A (zh) | 一种用于多通道数据处理的光子张量卷积计算方法与系统 | |
CN115906977A (zh) | 一种基于双梳的全光卷积器 | |
CN117709423B (zh) | 一种深度神经网络光子加速芯片及其运算系统 | |
Moss | Ultra-high bandwidth optical neuromorphic processing with Kerr soliton crystal microcombs: Scaling the network to the PetaOp regime | |
Xu et al. | Single photonic perceptron based on a soliton crystal Kerr microcomb for high-speed, scalable, optical neural networks | |
CN116107037B (zh) | 密集波导阵列的片上光学器件光计算网络结构 | |
Xu et al. | High-speed optical neural networks based on microcombs | |
Moss | High-speed single perceptron for optical neural networks based on microcombs | |
Moss | Laser and Photonics Reviews photonic single perceptron based on time-wavelength multiplexing with a microcomb for optical neural networks | |
CN115481723A (zh) | 基于时域泰伯效应的光学卷积加速装置及方法 | |
Moss | Ultra-high bandwidth optical neural networks with Kerr soliton crystal microcombs: Scaling the network to the PetaOp regime |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |