CN116542306A - 一种二维光子相干卷积运算芯片及其应用系统 - Google Patents
一种二维光子相干卷积运算芯片及其应用系统 Download PDFInfo
- Publication number
- CN116542306A CN116542306A CN202310475354.0A CN202310475354A CN116542306A CN 116542306 A CN116542306 A CN 116542306A CN 202310475354 A CN202310475354 A CN 202310475354A CN 116542306 A CN116542306 A CN 116542306A
- Authority
- CN
- China
- Prior art keywords
- optical
- coherent
- signal
- dimensional
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001427 coherent effect Effects 0.000 title claims abstract description 165
- 230000003287 optical effect Effects 0.000 claims abstract description 321
- 239000011159 matrix material Substances 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000010354 integration Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种二维光子相干卷积运算芯片及其应用系统，属于光电集成技术领域，本发明通过光子集成技术将完成卷积运算的强度调制器、相干延时加权单元、一级延时波导一体化集成。利用一级延时波导实现强度调制光信号的一级时间交织；利用包含幅度控制器、移相器和二级延时波导的相干延时加权单元实现待卷积信号的二级时间交织、卷积核矩阵系数加权及相干求和得到一级相干求和光信号，一级相干求和光信号在光域融合得到二级相干求和光信号，二级相干求和光信号与参考光信号光域融合得到相干求和光信号，相干求和光信号完成光电转换即可实现卷积求和运算。本发明将光作为信息载体，可大幅提高卷积运算的速率及能效比。
Description
技术领域
本发明涉及一种面向卷积神经网络的相干卷积运算芯片，具体为基于时间交织的二维光子相干卷积运算芯片及其应用系统，属于光子集成技术领域。
背景技术
矩阵运算作为卷积神经网络中的主要运算，占用了卷积神经网络大部分运算算力。目前主流神经网络模型训练与测试主要以CPU、GPU、TPU等电子集成芯片为载体，受限于电子芯片程序空间与数据空间分离的计算结构，电子芯片的微观量子特性及宏观高频响应特性，基于电子芯片的卷积神经网络运算存在计算单元之间数据载荷不稳定且功耗较高等问题。此外，随着人工智能技术的快速发展，神经网络模型对算力的需求在快速增加，但随着摩尔定律的失效，未来基于电子芯片的人工智能应用模型性能将受到制约。以光子作为信息载体的光子技术具有大带宽、低损耗以及可并行等特点,将光子技术与传统神经网络相结合，有望充分发挥两种技术的优势，突破传统电子神经网络高功耗、长延时、速度有限的技术发展瓶颈。但是，目前提出的光子卷积运算方法大多基于波分复用技术，而波分复用技术的实现基础是多波长光源，多波长光源的实现方法往往比较复杂且成本较高。
发明内容
本发明所要解决的技术问题在于：克服现有技术的不足，基于光子集成技术，利用一级延时波导实现强度调制光信号的一级时间交织；利用包含幅度控制器、移相器和二级延时波导的相干延时加权单元实现待卷积信号的二级时间交织、卷积核矩阵系数加权及相干求和得到一级相干求和光信号，一级相干求和光信号在光域融合得到二级相干求和光信号，二级相干求和光信号与参考光信号光域融合得到相干求和光信号，通过光电探测器完成光电转换后实现加权后求和运算，无需波分复用，适用于多维数据卷积运算。
本发明具体采用以下技术方案解决上述技术问题：
一种二维光子相干卷积运算芯片，所述芯片由强度调制器、K个相干延时加权单元、K-1个一级延时波导一体化集成；其中：
整个芯片的光输入端为第一1×2光耦合器的1个光输入端，用于接收外部光信号；第一1×2光耦合器的1个光输出端连接第一2×1光耦合器的一个光输入端，用于提供参考光信号，另1个光输出端连接强度调制器的光输入端，用于提供载波光信号；
所述强度调制器的电输入端用于接收外部待卷积信号，待卷积信号通过所述强度调制器强度调制输入强度调制器的光信号，得到强度调制光信号；强度调制器、前K-2个一级延时波导的光输出端通过与一光耦合器的光输入端连接，利用光耦合器两个光输出端作为连接对应强度调制器、前K-2个一级延时波导的两个子输出端，强度调制器、K-1个一级延时波导通过一个子输出端串联连接，强度调制器的另一子输出端与第一相干延时加权单元的输入端连接，前K-2个一级延时波导的另一子输出端和最后一个一级延时波导的输出端按顺序分别与K-1个相干延时加权单元的输入端连接；相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到对应的一级相干求和光信号；K个相干延时加权单元的光输出端输出的K个一级相干求和光信号通过一个或多个光耦合器在光域融合得到二级相干求和光信号，二级相干求和光信号送入第一2×1光耦合器的另一个光输入端与参考光信号光域融合得到相干求和光信号，第一2×1光耦合器的光输出端为整个芯片的光输出端，相干求和光信号通过芯片的光输出端输出；
所述相干延时加权单元由L个幅度控制器、L个移相器、信号分配单元与信号汇总单元组成，其中，信号分配单元是由L-1个1×2光耦合器与L-1个分别位于1×2光耦合器一个输出端的延时波导级联组成的一分二树状结构，包含1个输入端与L个输出端，信号汇总单元为由L-1个2×1光耦合器级联组成的二合一树状结构，包含L个输入端与1个输出端；信号分配单元的L个输出端、L个幅度控制器、L个移相器和信号汇总单元的输入端按顺序一一对应连接，信号汇总单元的L个输出端得到L路时间交织的子强度调制光信号；卷积核矩阵控制信号控制L个幅度控制器与L个移相器分别对L路时间交织的子强度调制光信号按卷积核矩阵系数加权，得到L路时间交织的子加权调制光信号；信号汇总单元实现L路时间交织的子加权调制光信号相干求和，得到一级相干求和光信号；其中，L＝2Z，Z为信号分配单元与信号接收单元树状结构的级数。
进一步地，所述相干延时加权单元中信号分配单元中不同级数对应延时波导长为Δlr＝2(Z-z)cΔt/nw，其中c为光在真空中的速度，nw为波导延迟线有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率,z＝1,2,3,…,Z,对应信号分配单元树状结构的级数。进一步地，所述移相器为热控移相器或电控移相器；所述幅度控制器为马赫曾德尔调制器、微环调制器、光放大器或光衰减器。
进一步地，所述卷积核矩阵控制信号控制L个幅度控制器与L个移相器分别对L路时间交织的子强度调制光信号按卷积核矩阵系数加权，具体为：
根据卷积核矩阵系数的大小及正负符号分别确定幅度控制器的传输特性及移相器的相位，每个相干延时加权单元中L个幅度控制器与对应L个移相器对应卷积核矩阵中一行系数，K个相干延时加权单元中K×L个幅度控制器与对应K×L个移相器对应大小为K×L的二维卷积核矩阵。
进一步地，所述一级延时波导长为ΔL＝(P-L+1)cΔt/nw，其中，P为二维待卷积数据矩阵的列数。进一步地，所述芯片基于三五族材料集成工艺，或硅基集成工艺集成。
进一步地，所述强度调制器为马赫-曾德尔调制器或微环调制器。
进一步地，所述待卷积信号为二维待卷积数据平坦化处理后得到的一维时间序列，二维待卷积数据为原始二维数据通过矩阵变换得到，具体变换过程为：
原始二维数据AQ×O在列方向以步进P-L+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积数据，其中Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积数据矩阵的列数。
进一步地，所述原始二维数据为三维或多维原始数据分解得到。
基于相同的原理，本发明还提供了一种二维光子相干卷积运算芯片的卷积运算应用系统，包括：
所述的二维光子相干卷积运算芯片、光源、待卷积信号源、卷积核控制单元、光放大器、光电探测器以及采集处理单元；其中，待卷积信号源的输出端与所述二维光子相干卷积运算芯片的电输入端相连，光源的光输出端与所述二维光子相干卷积运算芯片的光输入端相连，卷积核控制单元用于根据卷积核矩阵系数的大小及正负符号分别确定控制幅度控制器的传输系数及移相器的相位；光放大器的输入端与所述二维光子相干卷积运算芯片的光输出端连接，用于对相干求和信号进行放大；光电探测器的光输入端与光放大器的光输出端连接，用于完成相干求和信号的光电转换；采集处理单元与所述光电探测器的电输出端相连，用于对电输出信号进行重构得到待卷积信号完成二维卷积运算后的特征信号。
相比现有技术，本发明技术方案具有以下有益效果：
1)本发明基于单波长承载待卷积信号，利用相干技术实现实数域卷积核矩阵系数的加权，利用参考光信号实现相干求和信号幅度偏置加载，相对波分复用技术，无需多波长光信号，方案简单紧凑。
2)本发明通过两级延时波导实现单波长加权调制光信号的两级时间交织，在单个信号周期即可实现二维数据的二维卷积核卷积加速运算，解决传统方法数据冗余问题，方案简单高效。
3)本发明通过两级延时波导串联-并联结合的方式连接相干延时加权单元实现调制光信号延时波导的复用，降低芯片尺寸的同时，降低延时波导带来的信号传输损耗，从而提高芯片的能量利用效率。
附图说明
图1为本发明一示例性的一种二维光子相干卷积运算芯片结构示意图。
图2为本发明一示例性的一种二维光子相干卷积运算芯片中相干延时加权单元的结构示意图。
图3为本发明一种二维光子相干卷积运算芯片一个具体实施例结构示意图。
图4为本发明一种二维光子相干卷积运算芯片一个具体实施例中原始二维数据到二维待卷积数据的矩阵变换过程示意图。
图5为本发明一种二维光子相干卷积运算芯片一个具体实施例中二维待卷积数据矩阵平坦化处理示意图，图5中的A为二维待卷积数据矩阵及卷积核矩阵，图5中的B为二维待卷积数据矩阵一维平坦化处理方法示意图，图5中的C为一维特征数据重组的二维特征数据矩阵。
图6为本发明一种二维光子相干卷积运算芯片一个具体实施例中强度调制器输出强度调制光信号的时间序列与波长关系图。
图7为本发明一种二维光子相干卷积运算芯片一个具体实施例中各工作节点的光谱示意图，图7中的A为第1个相干延时加权单元中4个移相器输出的加权调制光信号的时间序列与各移相器关系图，图7中的B为第1个相干延时加权单元输出端得到一级相干求和光信号的时间序列与波长关系图，图7中的C为第4个相干延时加权单元中4个移相器输出的加权调制光信号的时间序列与各移相器关系图，图7中的D为第4个相干延时加权单元输出端得到一级相干求和光信号的时间序列与波长关系图，图7中的E为4个相干延时加权单元输出端得到4个一级相干求和光信号及参考光信号的时间序列与波长关系图，图7中的F为相干求和光信号的时间序列与波长关系图。
图8为本发明一种二维光子卷积运算芯片一个具体实施例中二维特征数据到原始二维特征数据的矩阵变换过程示意图。
具体实施方式
针对现有技术的不足，本发明的思路是基于光子集成技术，利用一级延时波导实现强度调制光信号的一级时间交织；利用包含幅度控制器、移相器和二级延时波导的相干延时加权单元实现待卷积信号的二级时间交织、卷积核矩阵系数加权及相干求和，降低传统方法对多波长信号的需求。
图1示出为本发明的一种二维光子相干卷积运算芯片结构示意图，如图1所示，二维光子相干卷积运算芯片上集成的光子组件有：强度调制器、K个相干延时加权单元及K-1个一级延时波导(图中示出K＝4)；各光子组件之间通过1×2光耦合器(OC)、2×1光耦合器及光波导连接；所述1×2光耦合器包含1个光输入端与2个光输出端，所述2×1光耦合器包含2个光输入端与1个光输出端；其中第一1×2光耦合器的光输入端为整个芯片的光输入端，用于接收外部光信号，1个光输出端连接第一2×1光耦合器的一个光输入端，用于提供参考光信号，另1个光输出端连接强度调制器的光输入端，用于提供载波光信号；
所述强度调制器具有1个电输入端、1个光输入端及1个光输出端，电输入端用于接收外部待卷积信号，待卷积信号通过所述强度调制器强度调制输入调制器的载波光信号，得到强度调制光信号，光输出端连接第二1×2光耦合器的光输入端；第二1×2光耦合器将强度调制光信号分为两路，利用第二1×2光耦合器两个光输出端作为强度调制器的两个子输出端；其中，强度调制器的一个子输出端即第二1×2光耦合器的1个光输出端连接第一一级延时波导的光输入端，用于实现强度调制光信号的第1次一级延时得到第一一级延时强度调制光信号，强度调制器的另一子输出端即第二1×2光耦合器的另1个光输出端连接第一相干延时加权单元的光输入端，用于通过第一相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到第一一级相干求和光信号；同样地，前K-2个一级延时波导的光输出端通过与一光耦合器的光输入端连接，利用光耦合器两个光输出端作为连接对应前K-2个一级延时波导的两个子输出端，K-1个一级延时波导通过一个子输出端串联连接，前K-2个一级延时波导的另一子输出端和最后一个一级延时波导的输出端按顺序分别与K-1个相干延时加权单元的输入端连接；以第一一级延时波导的连接为例，具体地，所述第一一级延时波导的光输出端连接第三1×2光耦合器的光输入端，第三1×2光耦合器的1个光输出端连接第二一级延时波导的光输入端，用于实现强度调制光信号的第2次一级延时得到第二一级延时强度调制光信号，第三1×2光耦合器的另1个光输出端连接第二相干延时加权单元的光输入端，用于通过第二相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到第二一级相干求和光信号，以此类推。最终在所有相干延时加权单元光输出端得到K个一级相干求和光信号；所述一级相干求和光信号通过多个2×1光耦合器在光域融合得到二级相干求和光信号，二级相干求和光信号送入第一2×1光耦合器的另一个光输入端与参考光信号光域融合得到相干求和光信号，第一2×1光耦合器的光输出端为整个芯片的光输出端，相干求和光信号通过芯片的光输出端输出。
所述相干延时加权单元的结构示意图如图2所示，由L个幅度控制器(IM)、L个移相器(PS)(图中示出L＝4)、信号分配单元与信号汇总单元组成，其中，信号分配单元为级联的一分二树状结构，包含1个输入端与L个输出端，由L-1个1×2光耦合器与L-1个分别位于1×2光耦合器一个输出端的延时波导组成，实现强度调制光信号的一级时间交织与分配，得到L路时间交织的子强度调制光信号；L路时间交织的子强度调制光信号分别输入对应的幅度控制器，L个幅度控制器和L个移相器一一对应，幅度控制器的输出端与对应的移相器的输入端连接，卷积核矩阵控制信号控制L个幅度控制器与L个移相器分别对L路时间交织的子强度调制光信号按卷积核矩阵系数加权，得到L路时间交织的子加权调制光信号；信号汇总单元为级联的二合一树状结构，由L-1个2×1光耦合器组成，包含L个输入端与1个输出端，L个输入端与L个移相器的输出端一一对应连接，信号汇总单元的输出端为相干延时加权单元的输出端，信号汇总单元实现L路时间交织的子加权调制光信号相干求和，得到一级相干求和光信号；其中，L＝2Z，Z为信号分配单元与信号接收单元树状结构的级数(图中Z＝2)；
所述芯片可以基于三五族材料集成工艺，或硅基集成工艺集成。
一种基于二维光子相干卷积运算芯片的卷积运算应用系统一个具体实施例如图3所示，其包括：上述二维光子相干卷积运算芯片、光源、待卷积信号源、卷积核矩阵控制单元、光放大器、光电探测器以及采集处理单元。
首先，光源产生光信号并通过二维光子相干卷积运算芯片的光输入端送入强度调制器，待卷积信号源输出的待卷积信号通过二维光子相干卷积运算芯片的电输入端送入强度调制器，待卷积信号通过强度调制器加载到光信号上得到强度调制光信号，其中，所述待卷积信号为二维待卷积数据经矩阵平坦化处理后得到的一维时间序列；强度调制光信号送入第二1×2光耦合器并将强度调制光信号分为两路，其中一路送入串联的一级延时波导分别进行一级延时得到一级延时强度调制光信号，另一路送入第一相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到第一一级相干求和光信号；经过各一级延时波导延时的一级延时强度调制光信号按顺序分别送入第二相干延时加权单元至第四相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到一级相干求和光信号，如图中所示，最终在4个相干延时加权单元光输出端得到四个一级相干求和光信号；四个一级相干求和光信号通过三个2×1光耦合器在光域融合得到二级相干求和光信号，二级相干求和光信号送入第一2×1光耦合器的另一个光输入端与参考光信号光域融合得到相干求和光信号，第一2×1光耦合器的光输出端为整个芯片的光输出端，相干求和光信号通过芯片的光输出端输出；输出的相干求和光信号通过光放大器放大后通过光电探测器完成光电探测即可得到电输出信号，此信号经采集处理重构即可得到待卷积信号完成二维卷积运算后的特征信号。
为了便于公众理解，下面通过一个具体实施例来对本发明的技术方案进行进一步详细说明：
首先，光源输出波长为λ的光信号，光信号的信号强度为A，光信号通过光纤-波导耦合技术送入二维光子相干卷积运算芯片的第一1×2光耦合器的光输入端，第一1×2光耦合器的1个光输出端连接第一2×1光耦合器的一个光输入端，用于提供参考光信号，另1个光输出端连接强度调制器的光输入端，待卷积信号源输出的待卷积信号通过强度调制器对光信号进行调制，将待卷积信号分别加载到光信号上。待卷积信号序列可以表示为x(i)＝[x(1),x(2),x(3),…,x(R)],其中i表示离散化时间序号，R＝QP为待卷积信号的长度，待卷积信号为二维待卷积信号经矩阵平坦化处理后得到的一维信号，而二维待卷积信号为原始二维数据通过矩阵变换得到，变换过程如图4所示，原始二维数据AQ×O在列方向以步进P-N+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积信号，其中Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积信号矩阵的列数，N为二维卷积核矩阵的列数，本实施例中N＝4。二维待卷积信号如图5中的A所示，为一个Q行P列的矩阵。矩阵平坦化具体操作为将二维或多维矩阵转为一维矩阵，其过程如图5中的B所示。得到强度调制光信号，强度调制光信号SMod用矩阵可以表示为：
SMod＝Ax(i)＝[Ax(1)Ax(2)…Ax(R)]1×R (1)
对应的强度调制光信号的时间序列与波长关系图如图6所示。强度调制器输出的强度调制光信号送入第二1×2光耦合器的光输入端，第二1×2光耦合器将强度调制光信号分为两路，第二1×2光耦合器的1个光输出端连接第一一级延时波导的光输入端，第一一级延时波导实现强度调制光信号的第1次一级延时得到第一一级延时强度调制光信号，一级延时波导长为ΔL＝(P-3)cΔt/nw，其中，P为二维待卷积信号矩阵的列数；另1个光输出端连接第一相干延时加权单元的光输入端，通过第一相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到第一一级相干求和光信号。所述相干延时加权单元由4个幅度控制器、4个移相器、1个第一级延时波导、2个第二级延时波导、3个1×2光耦合器及3个2×1光耦合器组成；其中，3个1×2光耦合器与3个延时波导组成信号分配单元，包含1个光输入端与4个光输出端，实现强度调制光信号的一级时间交织与分配，得到4路时间交织的子强度调制光信号；卷积核矩阵控制信号控制4个幅度控制器与4个移相器分别对4路时间交织的子强度调制光信号按卷积核矩阵系数加权，得到4路时间交织的子加权调制光信号，3个2×1光耦合器组成信号汇总单元，实现4路时间交织的子加权调制光信号相干求和，得到一级相干求和光信号。第1个相干延时加权单元中4个移相器输出的加权调制光信号的时间序列与各移相器关系图如图7中的A所示，第1个相干延时加权单元输出端得到一级相干求和光信号的时间序列与波长关系图如图7中的B所示。第一级延时波导为一段长为Δl1＝2cΔt/nw的延迟波导，第二级延时波导为一段长为Δl2＝cΔt/nw的延迟波导，其中c为光在真空中的速度，nw为波导延迟线有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率。根据卷积核矩阵系数的大小及正负符号分别确定幅度控制器的传输特性及移相器的相位，每个相干延时加权单元中4个幅度控制器与对应4个移相器对应卷积核矩阵中一行系数。设卷积核矩阵Mcon可以表示为：
w表示卷积核矩阵元素的绝对值大小；设相移量Mpm可以表示为：
S表示相移量大小，其值为0或π，分别对应卷积核矩阵元素的正负符号。
按照以上相同连接方式重复操作三次，最终在4个相干延时加权单元光输出端得到四个一级相干求和光信号。对应第4个相干延时加权单元中4个移相器输出的加权调制光信号的时间序列与各移相器关系图如图7中的C所示，第4个相干延时加权单元输出端得到一级相干求和光信号的时间序列与波长关系图如图7中的D所示。4个一级相干求和光信号通过三个2×1光耦合器在光域融合得到二级相干求和光信号，二级相干求和光信号送入第一2×1光耦合器的另一个光输入端与参考光信号光域融合得到相干求和光信号。对应4个相干延时加权单元输出的一级相干求和光信号的时间序列与波长关系图如图7中的E所示，相干求和光信号的时间序列与波长关系图如图7中的F所示。第一2×1光耦合器的光输出端为整个芯片的光输出端，相干求和光信号通过芯片的光输出端输出；输出的相干求和光信号通过光放大器放大后通过光电探测器完成光电探测即可得到电输出信号：
其中，Sca(r)为第r次卷积运算的结果，wmn为卷积核矩阵系数，Smn为相移量。采集处理单元对该信号采集后，对有效时序信号以矩阵平坦化处理相反的方式即可在数字域实现信号二维重构，二维重构的数据如图5中的C所示，其中灰色的3列为冗余数据。去除冗余数据后即可得到二维待卷积信号完成卷积运算后的二维特征信号。以上过程是在原始数据没有补零的情况下进行的具体实施例说明。当对原始数据补零时，补完零的数据可作为原始二维数据同上进行的操作。
最后，将H个二维特征信号通过图8所示的方法合为一个对应原始二维数据的特征信号，继而完成原始二维数据的卷积运算。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (10)
1.一种二维光子相干卷积运算芯片，其特征在于，所述芯片由强度调制器、K个相干延时加权单元、K-1个一级延时波导一体化集成；其中：
整个芯片的光输入端为第一1×2光耦合器的1个光输入端，用于接收外部光信号；第一1×2光耦合器的1个光输出端连接第一2×1光耦合器的一个光输入端，用于提供参考光信号，另1个光输出端连接强度调制器的光输入端，用于提供载波光信号；
所述强度调制器的电输入端用于接收外部待卷积信号，待卷积信号通过所述强度调制器强度调制输入强度调制器的光信号，得到强度调制光信号；强度调制器、前K-2个一级延时波导的光输出端通过与一光耦合器的光输入端连接，利用光耦合器两个光输出端作为连接对应强度调制器、前K-2个一级延时波导的两个子输出端，强度调制器、K-1个一级延时波导通过一个子输出端串联连接，强度调制器的另一子输出端与第一相干延时加权单元的输入端连接，前K-2个一级延时波导的另一子输出端和最后一个一级延时波导的输出端按顺序分别与K-1个相干延时加权单元的输入端连接；相干延时加权单元实现强度调制光信号的卷积核矩阵系数加权及相干求和得到对应的一级相干求和光信号；K个相干延时加权单元的光输出端输出的K个一级相干求和光信号通过一个或多个光耦合器在光域融合得到二级相干求和光信号，二级相干求和光信号送入第一2×1光耦合器的另一个光输入端与参考光信号光域融合得到相干求和光信号，第一2×1光耦合器的光输出端为整个芯片的光输出端，相干求和光信号通过芯片的光输出端输出；
所述相干延时加权单元由L个幅度控制器、L个移相器、信号分配单元与信号汇总单元组成，其中，信号分配单元是由L-1个1×2光耦合器与L-1个分别位于1×2光耦合器一个输出端的延时波导级联组成的一分二树状结构，包含1个输入端与L个输出端，信号汇总单元为由L-1个2×1光耦合器级联组成的二合一树状结构，包含L个输入端与1个输出端；信号分配单元的L个输出端、L个幅度控制器、L个移相器和信号汇总单元的输入端按顺序一一对应连接，信号汇总单元的L个输出端得到L路时间交织的子强度调制光信号；卷积核矩阵控制信号控制L个幅度控制器与L个移相器分别对L路时间交织的子强度调制光信号按卷积核矩阵系数加权，得到L路时间交织的子加权调制光信号；信号汇总单元实现L路时间交织的子加权调制光信号相干求和，得到一级相干求和光信号；其中，L＝2Z，Z为信号分配单元与信号接收单元树状结构的级数。
2.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述相干延时加权单元中信号分配单元中不同级数对应延时波导长为Δlr＝2(Z-z)cΔt/nw，其中c为光在真空中的速度，nw为波导延迟线有效折射率，Δt＝1/SM为待卷积信号单个符号持续时间，SM为待卷积信号符号速率,z＝1,2,3,…,Z,对应信号分配单元树状结构的级数。
3.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述移相器为热控移相器或电控移相器；所述幅度控制器为马赫曾德尔调制器、微环调制器、光放大器或光衰减器。
4.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述卷积核矩阵控制信号控制L个幅度控制器与L个移相器分别对L路时间交织的子强度调制光信号按卷积核矩阵系数加权，具体为：
根据卷积核矩阵系数的大小及正负符号分别确定幅度控制器的传输特性及移相器的相位，每个相干延时加权单元中L个幅度控制器与对应L个移相器对应卷积核矩阵中一行系数，K个相干延时加权单元中K×L个幅度控制器与对应K×L个移相器对应大小为K×L的二维卷积核矩阵。
5.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述一级延时波导长为ΔL＝(P-L+1)cΔt/nw，其中，P为二维待卷积数据矩阵的列数。
6.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述芯片基于三五族材料集成工艺，或硅基集成工艺集成。
7.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述强度调制器为马赫-曾德尔调制器或微环调制器。
8.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述待卷积信号为二维待卷积数据平坦化处理后得到的一维时间序列，二维待卷积数据为原始二维数据通过矩阵变换得到，具体变换过程为：
原始二维数据AQ×O在列方向以步进P-L+1滑动分割为H个子二维数据BQ×P，每个子二维数据即是一个二维待卷积数据，其中Q为原始二维数据的行数，O为原始二维数据的列数，P为二维待卷积数据矩阵的列数。
9.如权利要求1所述的一种二维光子相干卷积运算芯片，其特征在于，所述原始二维数据为三维或多维原始数据分解得到。
10.一种二维光子相干卷积运算芯片的卷积运算应用系统，其特征在于，包括：
权利要求1-9任一项所述的二维光子相干卷积运算芯片、光源、待卷积信号源、卷积核控制单元、光放大器、光电探测器以及采集处理单元；其中，待卷积信号源的输出端与所述二维光子相干卷积运算芯片的电输入端相连，光源的光输出端与所述二维光子相干卷积运算芯片的光输入端相连，卷积核控制单元用于根据卷积核矩阵系数的大小及正负符号分别确定控制幅度控制器的传输系数及移相器的相位；光放大器的输入端与所述二维光子相干卷积运算芯片的光输出端连接，用于对相干求和信号进行放大；光电探测器的光输入端与光放大器的光输出端连接，用于完成相干求和信号的光电转换；采集处理单元与所述光电探测器的电输出端相连，用于对电输出信号进行重构得到待卷积信号完成二维卷积运算后的特征信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310475354.0A CN116542306A (zh) | 2023-04-28 | 2023-04-28 | 一种二维光子相干卷积运算芯片及其应用系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310475354.0A CN116542306A (zh) | 2023-04-28 | 2023-04-28 | 一种二维光子相干卷积运算芯片及其应用系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116542306A true CN116542306A (zh) | 2023-08-04 |
Family
ID=87444642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310475354.0A Pending CN116542306A (zh) | 2023-04-28 | 2023-04-28 | 一种二维光子相干卷积运算芯片及其应用系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542306A (zh) |
-
2023
- 2023-04-28 CN CN202310475354.0A patent/CN116542306A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114358271B (zh) | 一种时间-波长交织光子神经网络卷积加速芯片 | |
| CN111882052A (zh) | 光子卷积神经网络系统 | |
| CN115169542B (zh) | 一种面向卷积神经网络的二维光子卷积加速系统和装置 | |
| CN117077750B (zh) | 一种并行光子卷积运算芯片及系统 | |
| CN115167610B (zh) | 二维光子卷积加速芯片及应用系统与方法 | |
| CN116432726B (zh) | 一种光电混合的深度神经网络运算装置和运算方法 | |
| CN117784313B (zh) | 基于循环阵列波导光栅的二维光子卷积运算芯片及系统 | |
| CN115222035B (zh) | 一种光子神经网络卷积加速芯片 | |
| CN114819132A (zh) | 一种基于时间-波长交织的光子二维卷积加速方法及系统 | |
| WO2022164746A1 (en) | Photonic accelerator for deep neural networks | |
| CN116029350B (zh) | 基于时间交织的二维光子相干卷积加速芯片及其应用系统 | |
| CN110852431B (zh) | 一种光子人工智能计算芯片的数字式信号调制方法 | |
| US11934943B1 (en) | Two-dimensional photonic neural network convolutional acceleration chip based on series connection structure | |
| Shi et al. | First demonstration of a two-layer all-optical neural network by using photonic integrated chips and SOAs | |
| CN116542306A (zh) | 一种二维光子相干卷积运算芯片及其应用系统 | |
| Zhu et al. | Lightening-transformer: A dynamically-operated optically-interconnected photonic transformer accelerator | |
| CN113992263B (zh) | 基于微波光子滤波和压缩感知技术的宽带测频系统及方法 | |
| CN114723016A (zh) | 片上光子卷积神经网络及其构建方法 | |
| CN115130666A (zh) | 一种二维光子卷积加速方法和系统 | |
| CN114970868A (zh) | 空间并行的相干伊辛机及包含其的求解器 | |
| CN115840322A (zh) | 基于波长复用和光学捕获的光子模数转换系统及芯片 | |
| CN115688898A (zh) | 一种用于自动驾驶的光子卷积三维图像处理系统和方法 | |
| CN117270625A (zh) | 一种位宽可拓展的光学数字乘法器 | |
| Shi et al. | Emulation and modelling of semiconductor optical amplifier-based all-optical photonic integrated deep neural network with arbitrary depth | |
| CN115641494B (zh) | 一种基于微环调制器的神经网络图像处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |