CN115393602A - 混合集成型光子脉冲神经网络装置及数字图像分类方法 - Google Patents
混合集成型光子脉冲神经网络装置及数字图像分类方法 Download PDFInfo
- Publication number
- CN115393602A CN115393602A CN202210815918.6A CN202210815918A CN115393602A CN 115393602 A CN115393602 A CN 115393602A CN 202210815918 A CN202210815918 A CN 202210815918A CN 115393602 A CN115393602 A CN 115393602A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neural network
- mzi
- optical
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 230000003287 optical effect Effects 0.000 claims abstract description 96
- 210000000225 synapse Anatomy 0.000 claims abstract description 31
- 210000002569 neuron Anatomy 0.000 claims abstract description 27
- 210000005215 presynaptic neuron Anatomy 0.000 claims abstract description 20
- 230000001242 postsynaptic effect Effects 0.000 claims abstract description 15
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 230000004298 light response Effects 0.000 claims abstract description 10
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000000946 synaptic effect Effects 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000010521 absorption reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 101000588012 Homo sapiens SREBP regulating gene protein Proteins 0.000 description 5
- 102100031580 SREBP regulating gene protein Human genes 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 229910052710 silicon Inorganic materials 0.000 description 5
- 239000010703 silicon Substances 0.000 description 5
- GPXJNWSHGFTCBW-UHFFFAOYSA-N Indium phosphide Chemical compound [In]#P GPXJNWSHGFTCBW-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000006096 absorbing agent Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 101150086396 PRE1 gene Proteins 0.000 description 1
- 101150005253 PRE4 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了混合集成型光子脉冲神经网络装置，包括：光编码模块包括N个突触前神经元；光响应输出模块包括N个突触后神经元；神经元均为VCSEL‑SA，N≥1；光突触模块包括顺次级联的第一MZI子网络、MZI阵列以及第二MZI子网络，形成一个具有N输入、N输出的MZI网络；第一MZI子网络和第二MZI子网络均包括N(N‑1)/2个呈Reck架构排布的MZI，MZI阵列包括N个并行排布的MZI；光突触模块中各MZI的相位参数，是通过对一N×N的权重矩阵进行奇异值分解、以及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到的。
Description
技术领域
本发明属于光子脉冲神经网络领域，具体涉及混合集成型光子脉冲神经网络装置及数字图像分类方法。
背景技术
脉冲神经网络(Spiking Neural Network，SNN)作为第三代人工神经网络，是理论神经科学和神经形态工程中一类新兴的计算范式。与传统的人工神经网络(ANN)相比，SNN具有更高的计算效率和生物模拟性，它使用脉冲序列进行信息表示，并且使用稀疏的异步二元信号对信息进行传递和计算，能够对信息进行并行处理，从而提升计算效率。
光子脉冲神经网络(Photonic Spiking Neural Network，PSNN)是指使用光学器件实现的SNN；光学器件具有高带宽、超高速和低功耗等优势，因此利用光学器件实现的SNN可以在继承这些优势的基础上实现其任务功能，具有较好的发展前景。
现有技术中，关于PSNN的研究主要聚焦于单个神经元的基本功能特性研究或借助于电学方法(在FPGA或计算机上实现)来模拟神经突触，对于如何使用纯光学手段实现光子脉冲神经网络，现有技术中尚没有切实可行的解决方案。
发明内容
为了解决现有技术中所存在的上述问题，本发明提供了混合集成型光子脉冲神经网络装置及数字图像分类方法。
本发明要解决的技术问题通过以下技术方案实现：
一种混合集成型光子脉冲神经网络装置，包括：光编码模块；光突触模块以及光响应输出模块；其中，
所述光编码模块，包括N个突触前神经元；所述光响应输出模块，包括N个突触后神经元；所述突触前神经元和所述突触后神经元均为VCSEL-SA，N≥1；
所述光突触模块，包括顺次级联的第一MZI子网络、MZI阵列以及第二MZI子网络，形成一个具有N输入、N输出的MZI网络；其中，所述第一MZI子网络和所述第二MZI子网络均包括N(N-1)/2个呈Reck架构排布的MZI，所述MZI阵列包括N个并行排布的MZI；所述N输入和所述N个突触前神经元一一对应光连接，所述N输出和所述N个突触后神经元一一对应光连接；
所述光突触模块中各MZI的相位参数，是通过对一N×N的权重矩阵进行奇异值分解、以及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到的；所述权重矩阵是实现所述光编码模块以及所述光响应输出模块两者之间权重传递、使所述两者基于该权重矩阵能够实现光子脉冲神经网络的任务功能的矩阵。
可选地，所述任务功能包括：对数字图像进行分类；
所述装置在工作时，所述光编码模块对所述数字图像进行编码，得到N个编码脉冲序列；所述N个编码脉冲序列经过所述MZI网络后被赋予突触权重，形成N个加权脉冲序列；所述光响应输出模块对所述N个加权脉冲序列进行非线性响应，并输出所述数字图像的分类结果。
可选地，所述权重矩阵是通过预先进行训练得到的，训练方式包括：
获取多个样本数字图像；所述多个样本数字图像分属于不同的已知分类；
构建并初始化权重矩阵；
将所述多个样本数字图像分别输入至未启用的所述装置，得到对应的训练数据；所述训练数据包括：样本数字图像的分类结果、所述光编码模块响应于样本数字图像输出的编码脉冲序列的脉冲时刻，以及所述光响应输出模块响应于编码脉冲序列输出的加权脉冲序列的脉冲时刻；
根据各样本数字图像的已知分类及对应的训练数据，利用ReSuMe监督学习算法不断调整所述权重矩阵，直至所述装置针对各样本数字图像输出的分类结果与样本数字图像的已知分类一致，得到训练完成的权重矩阵；
其中，在未启用的所述装置中，各MZI的相位参数随所述权重矩阵变化。
可选地，所述ReSuMe监督学习算法为一种改进型ReSuMe监督学习算法；
所述改进型ReSuMe监督学习算法为：
ωxy(l+1)＝ωxy(l)+ωf×Δωxy，
其中，ωxy(l+1)表示在第l个训练周期中，所述权重矩阵中位于(x,y)处的调整后权重，ωxy(l)表示在第l个训练周期中，所述权重矩阵中位于(x,y)处的调整前权重；ωf为预设的学习率，Δωxy表示连接第x∈[1,N]个突触前神经元和第y∈[1,N]个突触后神经元的突触权重的更新量；
ΔωSTDP(Δt)表示利用垂直腔半导体光放大器VCSOA产生的光学STDP曲线在Δt处的取值，Δt表示时间差；
为所述编码脉冲序列中的第p个编码脉冲的脉冲时刻，
为所述光响应输出模块响应于该第p个编码脉冲，在对应的时间窗口
内所输出的加权脉冲的脉冲时刻，tmax表示的含义为：当所述光响应输出模块未在
内输出加权脉冲时，在时间区间
内输出最高功率的加权脉冲的脉冲时刻，P表示编码脉冲序列中的编码脉冲总数；nd＝1表示期望在
内产生加权脉冲，nd＝0表示不期望在
内产生加权脉冲，nd的取值根据样本数字图像的已知分类确定；no＝1表示实际在
内产生了加权脉冲，no＝0表示实际在
内未产生加权脉冲。
可选地，当N＝4时，所述装置的用途包括：被时分复用以实现比所述光子脉冲神经网络的规模更大、且具有任意输入维度和输出维度的大规模光子脉冲神经网络。
可选地，时分复用所述装置实现所述大规模光子脉冲神经网络的方式，包括：
对所述大规模光子脉冲神经网络的输入数据进行划分，以使分块数据匹配所述光编码模块包括的N个突触前神经元；
对所述大规模光子脉冲神经网络的权重矩阵进行划分，以使划分得到的每个子矩阵均匹配N输入、N输出的所述MZI网络；
根据所述大规模光子脉冲神经网络的输入数据与权重矩阵之间的已知运算关系，确定分块数据和子矩阵的对应关系，得到多组待处理数据；每组待处理数据均包括一子矩阵以及对应的分块数据；
针对每组待处理数据，以其中包含的分块数据作为所述装置的输入，并以其中包含的子矩阵作为所述装置的权重矩阵，使用所述装置对该组待处理数据进行处理，得到处理结果；
根据得到的各组所述处理结果，得到所述大规模光子脉冲神经网络的输出结果。
可选地，所述输入数据包括：数字图像。
本发明还提供了一种数字图像分类方法，包括：
获取数字图像；
将所述数字图像输入至上述的任一种混合集成型光子脉冲神经网络装置，以使所述装置输出所述数字图像的分类结果。
本发明还提供了一种混合集成型光子脉冲神经网络芯片，包含上述的任一种混合集成型光子脉冲神经网络装置。
本发明还提供了一种混合集成型光子脉冲神经网络芯片，包含上述的任一种混合集成型光子脉冲神经网络装置以及时分复用模块；
其中，所述时分复用模块用于控制所述混合集成型光子脉冲神经网络装置时分工作。
本发明提供的混合集成型光子脉冲神经网络装置，包括光编码模块；光突触模块以及光响应输出模块；其中，光编码模块和光响应输出模块均采用VCSEL-SA实现，VCSEL-SA是引入了可饱和吸收体(SA)的垂直腔面发射激光器(VCSEL)；它能够表现出类似泄漏累积和发放(Leaky Integrate-and-Fired，简称LIF)神经元模型的可激发行为，因此可以作为神经元来实现光子脉冲神经网络的非线性运算功能；光突触模块采用Reck架构排布的多个马赫-曾德尔干涉仪实现；并且，该光突触模块中各MZI的相位参数，可通过对权重矩阵进行奇异值分解、以及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到；这样，就可以根据光子脉冲神经网络所负责的不同任务功能来使用不同的权重矩阵，即通过调整各MZI的相位参数重构不同的突触权重，从而使本发明提供混合集成型光子脉冲神经网络装置能够适用于多种应用场景，实现不同的任务功能。
综上可见，本发明提供混合集成型光子脉冲神经网络装置，其各模块均为光学器件，使用纯光学手段实现，为促进实现光子神经形态计算的芯片/系统实现提供了切实可行的方案。
以下将结合附图及对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种混合集成型光子脉冲神经网络装置的结构示意图；
图2是图1所示装置中使用的马赫-曾德尔干涉仪(MZI)的结构示意图；
图3(a)是图2所示MZI的2个输出端口的功率随内部移相器上电压变化的曲线；
图3(b)是在图2所示MZI的移相器上施加电压改变传输相位的变化图；
图3(c)是分别从图2所示MZI的2个3dB MMI(Multi Mode Interference,多模干涉)输入端口输入光源的场强图；
图4是本发明实施例中使用的一种4输入、4输出的MZI网络的结构示意图；
图5是一组数字图像；
图6(a)～6(c)中示出了本发明实施例提供的混合集成型光子脉冲神经网络装置对图5中的数字图像进行分类的处理过程；
图7(a)是本发明实施例中使用的一种光学STDP曲线；
图7(b)是本发明实施例中测得图7所示曲线的原理示意图；
图8中示出了对一个N＝4的混合集成型光子脉冲神经网络装置进行训练时的一些记录；
图9是图4中包含的Reck架构的MZI网络的结构示意图；
图10是本发明实施例中对图1所示装置进行复用实现大规模光子脉冲神经网络的流程图；
图11是本发明实施例中对大规模光子脉冲神经网络的权重矩阵进行划分的示意图；
图12是图10所示方法中，确定分块数据与子矩阵的对应关系时参考的示意图；
图13是图10所示方法中根据各组处理结果得到大规模光子脉冲神经网络的输出结果时，进行矩阵求和操作的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
为促进实现光子神经形态计算的芯片/系统实现，本发明实施例提供了一种混合集成型光子脉冲神经网络装置。参见图1所示，该装置包括：光编码模块1；光突触模块2以及光响应输出模块3。
其中，光编码模块1包括N个突触前神经元PRE；光响应输出模块3，包括N个突触后神经元POST,N≥1；突触前神经元PRE和突触后神经元POST均为VCSEL-SA，VCSEL-SA是引入了可饱和吸收体(SA)的垂直腔面发射激光器(VCSEL)；它能够表现出类似泄漏累积和发放(Leaky Integrate-and-Fired，简称LIF)神经元模型的可激发行为，因此可以作为神经元来实现光子脉冲神经网络的非线性运算功能。
VCSEL-SA的速率方程为：
该方程中，S代表腔中的光子密度，e是最小电荷量；na是VCSEL-SA的增益区的载流子密度，其动力学模拟LIF神经元的膜电位；ns是VCSEL-SA的吸收区的载流子密度；ke表示输入脉冲的强度，Δτ表示输入脉冲的持续时间。P(t)表示输出功率，P(t)＝kp·S(t)，kp＝1.17×10-9。Va为增益区的腔体积，Vs为吸收区的腔体积。Γa为增益区的光模场限制因子，Γs为吸收区的光模场限制因子。τa为增益区的载流子寿命，τs为吸收区的载流子寿命。Ia为增益区的偏置电流，Is为吸收区的偏置电流，τph为光子寿命。Br为双分子复合项。β为自发辐射耦合因子，ηc为输出功率耦合系数。ga为增益区的差分增益/损失，gs为吸收区的差分增益/损失。n0a为增益区的透明载流子密度，n0s为吸收区的透明载流子密度。Φ为VCSEL-SA的外部输入，Φ扰动载流子na并在载流子密度超过阈值时触发VCSEL-SA发放脉冲。
在一个实施例中，所采用的一种VCSEL-SA其各项参数的数值如下表所示：
光突触模块2，包括顺次级联的第一MZI子网络、MZI阵列以及第二MZI子网络，形成一个具有N输入、N输出的MZI网络，即该MZI网络构成了光突触模块2；其中，第一MZI子网络和第二MZI子网络均包括N(N-1)/2个呈Reck架构排布的MZI，MZI阵列包括N个并行排布的MZI。
单个MZI的结构如图2所示，包括：2个3dB耦合器以及2个移相器(PS)，该移相器可以是热光移相器，当然并不局限于此。在单个MZI中，用于与其他MZI相连的一个PS为外PS，另一个PS为内PS。内PS的相位θ的取值范围为[0,π]，外PS的相位
的取值范围为[0,2π)。
当采用热光移相器时，单个MZI的性能如图3(a)～图3(c)所示；其中，图3(a)示出了单个MZI的2个输出端口P1和P2的功率随内部移相器上电压变化的曲线；图3(b)是在热光移相器上施加电压从而改变硅波导温度，进一步改变硅波导折射率从而改变传输相位的变化图；图3(c)是分别从2个3dB MMI输入端口输入光源的的场强图，从中可以看到从2个端口输入光源最终的分光比都为1。
Reck架构是根据1994年Michael Reck等研究员证明的一种使用光学设备构造能表达任何离散有限维酉算子而提出的三角形架构。图4中示例性地示出了一个具有4输入、4输出的MZI网络；其中第一MZI子网络21和第二MZI子网络23均包括6个呈Reck架构排布的MZI，MZI阵列22则由4个MZI并行排布而成。
参见图1和图4所示，MZI网络的N输入和光编码模块1的N个突触前神经元一一对应光连接，MZI网络的N输出和光编码模块1的N个突触后神经元一一对应光连接，一个突触后神经元接收到的输入是来自所有突触前神经元的输出脉冲的加权和。
其中，光突触模块中各MZI的相位参数，是通过对一N×N的权重矩阵进行奇异值分解、以及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到的，具体计算方式后续进行举例说明；该权重矩阵是实现光编码模块以及光响应输出模块两者之间权重传递、使该两者基于该权重矩阵能够实现光子脉冲神经网络的任务功能的矩阵。
可以理解的是，具有不同任务功能的权重矩阵不同，针对不同的权重矩阵，可分别按照上述方式确定相应的MZI相位参数，从而将相位配置到光突触模块中，使得该混合集成型光子脉冲神经网络装置实现相应的任务功能。由此可见，本发明实施例提供的该装置还具有突触权重可重构的特点。这样，可以根据光子脉冲神经网络所负责的不同任务功能来使用不同的权重矩阵，即通过调整各MZI的相位参数重构不同的突触权重，从而使本发明实施例提供混合集成型光子脉冲神经网络装置能够适用于多种应用场景，实现不同的任务功能。
可以理解的是，PSNN的基本架构包括光子神经元和光子突触，其中的光子神经元用于实现神经网络的非线性计算功能，光子突触则用于实现神经网络的线性计算功能。在本发明实施例中，光子神经元采用VCSEL-SA实现，VCSEL-SA是基于In-P(磷化铟)材料的光电器件，光子突触采用MZI网络实现，其中的MZI是基于SOI(绝缘体上硅)材料的硅光器件，将VCSEL-SA与MZI通过混合集成使之协同工作，这种使用纯光学手段实现的混合集成型光子脉冲神经网络装置，具有推理速度快、计算效率高和功耗低的优点。因此，本发明实施例提供的基于硅光的MZI网络与基于In-P基的VCSEL-SA的混合集成方案，为促进实现光子神经形态计算的芯片/系统实现提供了切实可行的方案。
在一个实施例中，本发明实施例提供混合集成型光子脉冲神经网络装置可以用于对数字图像进行分类，即光子脉冲神经网络的任务功能包括：对数字图像进行分类。这里说的数字图像，指的是数字化的图像，即包含信息的数字矩阵，如二值图像或灰度图像等。分类目的与光子脉冲神经网络的实际任务功能相关，如识别不同数字图像中所包含图像信息对应的具体模式等，本发明实施例对此不做限定。
具体的，该混合集成型光子脉冲神经网络装置在工作时，光编码模块1对数字图像进行编码，得到N个编码脉冲序列；N个编码脉冲序列经过MZI网络后被赋予突触权重，形成N个加权脉冲序列；光响应输出模块3对这N个加权脉冲序列进行非线性响应，并输出数字图像的分类结果。
图5示例性地示出了一组二值化的5×4数字图像，包含不同的图像信息：0、1、2、3，分别对应分类0、分类1、分类2以及分类3。使用包含图4所示MZI网络的混合集成型光子脉冲神经网络装置对这些数字图像进行分类。此时该装置的具体工作过程如下：
(1)数字图像(如含数字2的图像)的每一列分别被输入到4个突触前神经元PRE1～PRE4中进行编码，得到的4组编码脉冲序列如图6(a)中左半部分所示。
(2)4组编码脉冲序列分别进入MZI网络的4个输入端口进行加权求和，得4组加权脉冲序列如图6(a)中右半部分所示。
(3)4组加权脉冲序列分别进入到4个突触后神经元POST1～POST4，由这些POST进行响应；其中，POST1～POST4分别对应分类0、分类1、分类2以及分类3。响应结果如图6(b)中右半部分所示。可以看到，只有POST3发放了脉冲，即POST3输出了该数字图像对应分类2的结果，这与输入数字图像原本对应的分类2是一致的，其他3个POST则均没有响应。
对图5中的另外三个数字图像进行分类，POST1～POST4输出的结果如图6(c)中所示，可以看到包含数字“0”、“1”、“3”的数字图像分别只有POST1、POST2、POST4发放了脉冲，与这三张图像原本对应的分类均一致。
可选地，在一种实现方式中，为了使光子脉冲神经网络针对数字图像的分类性能更加准确，上述权重矩阵可以通过预先进行训练得到的，训练方式包括：
(1)获取多个样本数字图像；这些样本数字图像分属于不同的已知分类；
(2)构建并初始化权重矩阵；
(3)将样本数字图像分别输入至未启用的装置，得到对应的训练数据；该训练数据包括：样本数字图像的分类结果、光编码模块响应于样本数字图像输出的编码脉冲序列的脉冲时刻，以及光响应输出模块响应于编码脉冲序列输出的加权脉冲序列的脉冲时刻；
其中，在未启用的装置中，各MZI的相位参数随权重矩阵变化。可以理解的是，所谓未启用的装置，即是权重矩阵还未最终确定的混合集成型光子脉冲神经网络装置。
(4)根据各样本数字图像的已知分类及对应的训练数据，利用ReSuMe监督学习算法不断调整权重矩阵，直至装置针对各样本数字图像输出的分类结果与样本数字图像的已知分类一致，得到训练完成的权重矩阵。
其中，在步骤(2)中，初始化权重矩阵具体将权重矩阵中的元素值统一置为A；该A的取值范围可以为1.2×107～1.4×107。
步骤(3)中所说的脉冲时刻，即脉冲序列中的脉冲的产生时刻。例如在图6(a)中，左半部分展示出的编码脉冲在时间轴上的记录即是这些编码脉冲的脉冲时刻，右半部分展示出的加权脉冲在时间轴上的记录即是这些加权脉冲的脉冲时刻。
步骤(4)中所说的ReSuMe监督学习算法是一种类Tempotron远程监督方法，Tempotron算法是单脉冲输出的监督学习算法。
ReSuMe监督学习算法的表达式如下：
ωxy(l+1)＝ωxy(l)+ωf×Δωxy，
其中，ωxy(l+1)表示在第l个训练周期中，权重矩阵中位于(x,y)处的调整后权重，ωxy(l)表示在第l个训练中，权重矩阵中位于(x,y)处的调整前权重。ωf为预设的学习率，如可以设置为ωf＝0.6×106，当然并不局限于此。Δωxy表示连接第x∈[1,N]个突触前神经元和第y∈[1,N]个突触后神经元的突触权重的更新量。
ΔωSTDP(Δt)表示STDP(Spike Timing Dependent Plasticity，脉冲时间依赖可塑性)曲线在Δt处的取值，Δt表示时间差；STDP是人脑信息处理过程中的一种重要的突触学习规则。
为编码脉冲序列中的第p个编码脉冲的脉冲时刻；
为光响应输出模块响应于该第p个编码脉冲，在对应的时间窗口
内所输出的加权脉冲的脉冲时刻；tmax表示的含义为：当光响应输出模块未在
内输出加权脉冲时，在时间区间
内输出最高功率的加权脉冲的脉冲时刻；P表示编码脉冲序列中的编码脉冲总数。nd＝1表示期望在
内产生加权脉冲，nd＝0表示不期望在
内产生加权脉冲，no＝1表示实际在
内产生了加权脉冲，no＝0表示实际在
内未产生加权脉冲。
其中，nd的取值根据样本数字图像的已知分类确定，例如在图6(a)中，已知包含数字2的图像对应分类2，则期望POST1、POST2以及POST4不输出加权脉冲，期望POST3输出加权脉冲。因此，对于POST1来说，本轮训练设置nd＝0；对于POST2来说，本轮训练设置nd＝0；对于POST3来说，本轮训练设置nd＝1；对于POST4来说，本轮训练设置nd＝0。
优选地，在一种实现方式中，为了构建性能更好的混合集成型光子脉冲神经网络，本发明实施例还对ReSuMe监督学习算法进行了改进，具体改进之处在于，将上述的STDP曲线替换为利用垂直腔半导体光放大器(VCSOA)产生的光学STDP曲线，该光学曲线如图7(a)所示。
其中，获得该光学STDP曲线的过程原理可参见图7(b)。
具体而言，向VCSOA先后两个脉冲Pin1和Pin2；其中，先行输入的Pin1引起VCSOA中的载波损耗，导致后输入的Pin2被功率放大时会经历不同的增益。也就是说，Pin1对Pin2产生了抑制作用。Pin1和Pin2之间的时间差越大，抑制作用越弱，Pin2的输出功率越高。因此，通过连续调整Pin1和Pin2之间的时间差Δt，便可以得到上述光学STDP曲线。
可以理解的是，采用光学STDP曲线来训练光子脉冲神经网络的权重矩阵，可以使训练算法与光子脉冲神经网络的硬件结构更好的匹配，从而使光子脉冲神经网络的性能更优。
图8示出了对一个N＝4的混合集成型光子脉冲神经网络装置进行训练时的一些记录，学习率设置为ωf＝0.6×106。图8中，(a)部分是装置输入的数字图像，不同图像对应不同的分类，(b)部分是在连续300个训练周期内4个POST的输出脉冲时间的变化，一列对应一个分类，一行对应一个POST。POST没有响应在图中表示为在20ns处发放脉冲。从(b)部分可以观察到，对于数字“0”、“1”、“2”和“3”，分别在圆圈框住的周期处达到目标输出。训练前后，权重矩阵的三维立体图分别如图8的(c)部分和(d)部分所示。
最终训练得到的MZI网络的相位参数如下表所示：
下面，对基于训练好的权重矩阵确定光突触模块中各MZI的相位参数的具体实现方式进行详细说明。
在开始对具体实现方式进行说明之前，首先对Reck架构的MZI网络的实现原理进行说明：
理论上来说，一个任意的N×N酉矩阵SU(N)均可以分解为一系列子矩阵SU(2)的乘积，表示为：
SU(N)＝SU1(2)*SU2(2)*SU3(2)…*SUN(2) (1)。
其中，各SU(2)均为2×2的酉矩阵。
Reck架构中，MZI网络的传输矩阵即酉矩阵，因此，通过级联多个MZI可构建任意N输入、N输出的Reck架构的MZI网络，其中的每个MZI的传输矩阵均为SU(2)。单个MZI的传输矩阵为：
其中，B1和B2分别是两个3dB耦合器的传输矩阵，
和Rθ分别是外PS和内PS的传输矩阵，i是虚数单位，e是自然底数；θ是内PS的相位，其取值范围为[0,π]；
是外PS的相位，其取值范围为[0,2π)。
Reck架构的MZI网络在硬件上需要N(N-1)/2个MZI，每个MZI的传输矩阵在MZI网络的传输矩阵SU(N)中的表示与该MZI在MZI网络中的位置相关，且这些传输矩阵满足：
[T(1)]-1*[T(2)]-1*[T(3)]-1…*[T(N)]-1*SU(N)＝I(N) (2)。
其中，I(N)是N×N的单位矩阵，T(·)为单个MZI的传输矩阵在SU(N)中的表示。单个MZI本身的传输矩阵是SU(2)，将其维度变换到与SU(N)的维度相同时，即是T(·)。
每个MZI的T(·)的表达式可以根据该MZI的两个移相器的相位θ、
构建出来。以4输入、4输出的MZI网络为例，需要6个MZI，这6个MZI在网络中的位置如图9所示。
其中，MZI1～MZI6的传输矩阵在该MZI网络的传输矩阵SU(4)中的表示分别如下：
其中，i为虚数单位，e是自然底数。
因此，根据式(2)，基于三角分解法对SU(N)进行分解的思想，可以构建出N个以各MZI的θ、
为求解参数的三角函数方程。通过求解方程组，便可以得到MZI网络中各MZI的相位参数，将得到相位参数设置到MZI网络中，便得到了Reck架构的MZI网络。
其中，以SU(4)为例，基于三角分解法对其进行分解的过程思想构建包含三角函数的方程，包括：从最左侧开始，依次对SU(4)乘以[T(6)]-1、[T(5)]-1、[T(4)]-1、[T(3)]-1、[T(2)]-1、[T(1)]-1，每次相乘都使乘法结果矩阵中的目标位置处的像素为0。具体而言，对SU(4)乘以[T(6)]-1，使乘法结果矩阵中的第4列、第1行元素为0，得到SU*6(4)；然后，对SU*6(4)乘以[T(5)]-1，使乘法结果矩阵中的第4列、第2行元素为0，得到SU*5(4)；然后，对SU*5(4)乘以[T(4)]-1，使乘法结果矩阵中的第4列、第3行元素为0，得到SU*4(4)；然后，对SU*4(4)乘以[T(3)]-1，使乘法结果矩阵中的第3列、第1行元素为0，得到SU*3(4)；然后，对SU*3(4)乘以[T(2)]-1，使乘法结果矩阵中的第3列、第2行元素为0，得到SU*2(4)；最后，对SU*2(4)乘以[T(1)]-1，使乘法结果矩阵中的第2列、第1行元素为0，得到的SU*1(4)是一个对角矩阵。其中，每次相乘得到的都是以本次相乘所用的T(·)中的相位参数为求解参数的三角函数方程。并且，每次乘以新的T(·)都是在上一次的乘法结果矩阵的基础上进行的，这样在每一步相乘中，一旦非对角元素变为零，它就不会被接下来的变换改变，依次类推直至乘完所有的6个T(·)。
需要说明的是，在上述原理实现的说明中，MZI网络泛指由多个MZI级联形成的Reck架构的MZI网络，并非本发明实施例中用作光突触模块的MZI网络。
下面对本发明实施例中，确定光突触模块中各MZI的相位参数的具体实现方式进行举例说明。
以具有4输入、4输出的MZI网络(此处指光突触模块)为例，首先将预先训练完成的该MZI网络的权重矩阵进行奇异值分解：M＝UΣVT。其中，M表示该权重矩阵，U和VT都是4×4酉矩阵SU(4)，Σ是4×4的对角矩阵。
然后，按照上述原理实现中所描述实现Reck架构的MZI网络的方式，计算以U为传输矩阵的MZI网络的相位参数，得到第二MZI子网络，并计算以VT为传输矩阵的MZI网络的相位参数，得到第一MZI子网络。
并且，计算以Σ为传输矩阵的MZI阵列的相位参数，从而得到光突触模块中的MZI阵列。其中，Σ的表达式如下：
综上，本发明实施例提供的混合集成型光子脉冲神经网络装置具有以下有益效果：
将基于硅基的线性部分(MZI网络)和基于In-P的非线性(神经元)部分混合集成，采用纯光学手段实现了光子脉冲神经网络，具有推理速度快、计算效率高和功耗低的优点。
在以上任一种混合集成型光子脉冲神经网络装置的基础上，本发明实施例还提供了一种数字图像分类方法，该方法包括以下步骤：
(1)获取数字图像；
(2)将数字图像输入至上文所提出的任一种混合集成型光子脉冲神经网络装置，以使该装置输出数字图像的分类结果。
这里，关于利用本发明实施例提供的混合集成型光子脉冲神经网络装置对数字图像进行分类的具体实现方式，已经在上述装置实施例的基础上进行了详细的描述，因此相关之处参见上述装置实施例的部分说明即可。
在上述装置实施例的基础上，本发明实施例还提供了一种混合集成型光子脉冲神经网络芯片，包含上述的任一种混合集成型光子脉冲神经网络装置。
该芯片是光处理芯片，其封装方式可以参见现有的光处理芯片。其中，封装好的芯片的管脚中至少包含有2N个光端口，分别对应光编码模块1的N个VCSEL-SA的入光口以及光响应输出模块3的N个VCSEL-SA的出光口，此外还包含这2N个VCSEL-SA的电流偏置管脚。
在上述装置实施例的基础上，在另一个实施例中，图1所示的混合集成型光子脉冲神经网络装置可以被时分复用，从而实现比上文所示的光子脉冲神经网络的规模更大、且具有任意输入维度和输出维度的大规模光子脉冲神经网络。其中，在复用图1所示装置实现大规模光子脉冲神经网络时，装置内部各MZI的相位参数根据大规模光子脉冲神经网络的权重矩阵确定。
另外，考虑到复用效率以及硬件成本，优选将混合集成型光子脉冲神经网络装置的N设置为4，即N＝4，当然并不局限于此。
参见图10所示，具体的复用方式包括：
S1：对大规模光子脉冲神经网络的输入数据进行划分，以使分块数据匹配所述光编码模块包括的N个突触前神经元。
这里，分块数据匹配N个突触前神经元，指的是分块数据能够被N个突触前神经元进行编码。
S2：对大规模光子脉冲神经网络的权重矩阵进行划分，以使划分得到的每个子矩阵均匹配N输入、N输出的MZI网络。
其中，大规模光子脉冲神经网络的权重矩阵可以预先在计算机上模拟光子脉冲神经网络进行训练得到，本发明实施例对其来源不做限定。
假设大规模光子脉冲神经网络的权重矩阵的维度为I×J，则若是I或J不是N的倍数，可以通过补零操作以实现划分；划分后的每个子矩阵的维度均为N×N。图11示出了当N＝4时通过补零操作实现划分的方法。
S3：根据大规模光子脉冲神经网络的输入数据与权重矩阵之间的已知运算关系，确定分块数据和子矩阵的对应关系，得到多组待处理数据；每组待处理数据均包括一子矩阵以及对应的分块数据。
具体的，如果将各分块数据送入光编码模块中进行编码后再进行组合，则编码结果可以用一个J维向量来表示。该J维向量会与大规模光子脉冲神经网络的权重矩阵相乘。
以N＝4时的情况为例，参见图12所示，I×J的权重矩阵被划分为(I*J)/16个子矩阵，J维向量被划分为J/4个4维向量；各子矩阵和各4维向量对应相关系在图12中用箭头进行了表示。可以理解的是，子矩阵和4维向量的对应关系是指它们两者具有相乘关系。4维向量和分块数据是一一对应的，因此子矩阵和4维向量的对应关系，即是分块数据和子矩阵的对应关系。
S4：针对每组待处理数据，以其中包含的分块数据作为混合集成型光子脉冲神经网络装置的输入，并以其中包含的子矩阵作为该装置的权重矩阵，使用该装置对该组待处理数据进行处理，得到处理结果。
具体的，仍以N＝4时的情况为例，首先根据作为权重矩阵的子矩阵，按照上文给出的光突触模块中各MZI的相位参数的确定方式，得到各MZI的相位参数，并将相位参数设置到光突触模块(4输入、4输出的MZI网络)中，然后将分块数据送入光编码模块，便可以在光响应输出模块的输出端得到处理结果。该处理结果实际中是光响应输出模块的4个POST的脉冲输出结果，可以用一个4维向量来表示。
S5：根据得到的各组理结果，得到大规模光子脉冲神经网络的输出结果。
具体的，仍以N＝4时的情况为例，参见图13所示，每个子矩阵和其对应的4维向量相乘，都会得到一个4维向量，这里用[O1 O2 O3 O4]来表示。对于划分得到的每行子矩阵，将它们各自对应的4维向量[O1 O2 O3 O4]进行求和，得到
即I×J的权重矩阵和J维向量的乘积结果中所包含的4个相邻元素。由于一共有I/4行子矩阵，因此对各行求和得来的
进行拼接，得到的I维拼接向量即是大规模光子脉冲神经网络的输出结果。
在实际应用中，M×N维度的权重矩阵需要复用
次。其中，m是由补零操作而引入的、元素全为0的行数，n由补零操作而引入的、元素全为0的列数。
以上，是基于混合集成型光子脉冲神经网络装置进行时分复用，从而实现大规模光子脉冲神经网络的详细说明。
基于该混合集成型光子脉冲神经网络装置以及复用该装置实现大规模光子脉冲神经网络的方法，本发明实施例还提供了另一种混合集成型光子脉冲神经网络芯片，该芯片包含该混合集成型光子脉冲神经网络装置以及一时分复用模块。
该时分复用模块用于控制混合集成型光子脉冲神经网络装置时分工作，从而通过时分复用该装置实现大规模光子脉冲神经网络。
具体的，在一种实现方式中，该时分复用模块可以用于：接收并存储在芯片外部已被分划分好的子矩阵，根据按序输入的分块数据调用对应的子矩阵，按照上述步骤S4中所示的处理过程对分块数据进行处理，并存储处理结果；以及按照上述步骤S5中所示的处理过程对所存储的各个处理结果进行处理，得到并输出大规模光子脉冲神经网络的输出结果。
在另一种实现方式中，该时分复用模块可以直接接收大规模光子脉冲神经网络的权重矩阵，并按照外部输入的配置对该权重矩阵进行划分，得到各个子矩阵，剩余操作与上一种实现方式大致相同，此处不再进行赘述。
在实际应用中，该时分复用模块可以利用CPU(Central Processing Unit，中央处理器)、DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、MCU(Microcontroller Unit，微控制单元)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等实现。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种混合集成型光子脉冲神经网络装置，其特征在于，包括：光编码模块；光突触模块以及光响应输出模块；其中，
所述光编码模块，包括N个突触前神经元；所述光响应输出模块，包括N个突触后神经元；所述突触前神经元和所述突触后神经元均为VCSEL-SA，N≥1；
所述光突触模块，包括顺次级联的第一MZI子网络、MZI阵列以及第二MZI子网络，形成一个具有N输入、N输出的MZI网络；其中，所述第一MZI子网络和所述第二MZI子网络均包括N(N-1)/2个呈Reck架构排布的MZI，所述MZI阵列包括N个并行排布的MZI；所述N输入和所述N个突触前神经元一一对应光连接，所述N输出和所述N个突触后神经元一一对应光连接；
所述光突触模块中各MZI的相位参数，是通过对一N×N的权重矩阵进行奇异值分解、以及基于分解得到的酉矩阵构建包含三角函数的方程组并求解方程组得到的；所述权重矩阵是实现所述光编码模块以及所述光响应输出模块两者之间权重传递、使所述两者基于该权重矩阵能够实现光子脉冲神经网络的任务功能的矩阵。
2.根据权利要求1所述的混合集成型光子脉冲神经网络装置，其特征在于，所述任务功能包括：对数字图像进行分类；
所述装置在工作时，所述光编码模块对所述数字图像进行编码，得到N个编码脉冲序列；所述N个编码脉冲序列经过所述MZI网络后被赋予突触权重，形成N个加权脉冲序列；所述光响应输出模块对所述N个加权脉冲序列进行非线性响应，并输出所述数字图像的分类结果。
3.根据权利要求2所述的混合集成型光子脉冲神经网络装置，其特征在于，所述权重矩阵是通过预先进行训练得到的，训练方式包括：
获取多个样本数字图像；所述多个样本数字图像分属于不同的已知分类；
构建并初始化权重矩阵；
将所述多个样本数字图像分别输入至未启用的所述装置，得到对应的训练数据；所述训练数据包括：样本数字图像的分类结果、所述光编码模块响应于样本数字图像输出的编码脉冲序列的脉冲时刻，以及所述光响应输出模块响应于编码脉冲序列输出的加权脉冲序列的脉冲时刻；
根据各样本数字图像的已知分类及对应的训练数据，利用ReSuMe监督学习算法不断调整所述权重矩阵，直至所述装置针对各样本数字图像输出的分类结果与样本数字图像的已知分类一致，得到训练完成的权重矩阵；
其中，在未启用的所述装置中，各MZI的相位参数随所述权重矩阵变化。
4.根据权利要求3所述的混合集成型光子脉冲神经网络装置，其特征在于，所述ReSuMe监督学习算法为一种改进型ReSuMe监督学习算法；
所述改进型ReSuMe监督学习算法为：
ωxy(l+1)＝ωxy(l)+ωf×Δωxy，
其中，ωxy(l+1)表示在第l个训练周期中，所述权重矩阵中位于(x,y)处的调整后权重，ωxy(l)表示在第l个训练周期中，所述权重矩阵中位于(x,y)处的调整前权重；ωf为预设的学习率，Δωxy表示连接第x∈[1,N]个突触前神经元和第y∈[1,N]个突触后神经元的突触权重的更新量；
ΔωSTDP(Δt)表示利用垂直腔半导体光放大器VCSOA产生的光学STDP曲线在Δt处的取值，Δt表示时间差；
为所述编码脉冲序列中的第p个编码脉冲的脉冲时刻，
为所述光响应输出模块响应于该第p个编码脉冲，在对应的时间窗口
内所输出的加权脉冲的脉冲时刻，tmax表示的含义为：当所述光响应输出模块未在
内输出加权脉冲时，在时间区间
内输出最高功率的加权脉冲的脉冲时刻，P表示编码脉冲序列中的编码脉冲总数；nd＝1表示期望在
内产生加权脉冲，nd＝0表示不期望在
内产生加权脉冲，nd的取值根据样本数字图像的已知分类确定；no＝1表示实际在
内产生了加权脉冲，no＝0表示实际在
内未产生加权脉冲。
5.根据权利要求1所述的混合集成型光子脉冲神经网络装置，其特征在于，当N＝4时，所述装置的用途包括：被时分复用以实现比所述光子脉冲神经网络的规模更大、且具有任意输入维度和输出维度的大规模光子脉冲神经网络。
6.根据权利要求5所述的装置，其特征在于，时分复用所述装置实现所述大规模光子脉冲神经网络的方式，包括：
对所述大规模光子脉冲神经网络的输入数据进行划分，以使分块数据匹配所述光编码模块包括的N个突触前神经元；
对所述大规模光子脉冲神经网络的权重矩阵进行划分，以使划分得到的每个子矩阵均匹配N输入、N输出的所述MZI网络；
根据所述大规模光子脉冲神经网络的输入数据与权重矩阵之间的已知运算关系，确定分块数据和子矩阵的对应关系，得到多组待处理数据；每组待处理数据均包括一子矩阵以及对应的分块数据；
针对每组待处理数据，以其中包含的分块数据作为所述装置的输入，并以其中包含的子矩阵作为所述装置的权重矩阵，使用所述装置对该组待处理数据进行处理，得到处理结果；
根据得到的各组所述处理结果，得到所述大规模光子脉冲神经网络的输出结果。
7.根据权利要求5或6所述的装置，其特征在于，所述输入数据包括：数字图像。
8.一种数字图像分类方法，其特征在于，包括：
获取数字图像；
将所述数字图像输入至权利要求1～4任一项所述的混合集成型光子脉冲神经网络装置，以使所述装置输出所述数字图像的分类结果。
9.一种混合集成型光子脉冲神经网络芯片，其特征在于，包含如权利要求1～4任一项所述的混合集成型光子脉冲神经网络装置。
10.一种混合集成型光子脉冲神经网络芯片，其特征在于，包含如权利要求1所述的混合集成型光子脉冲神经网络装置以及时分复用模块；
其中，所述时分复用模块用于控制所述混合集成型光子脉冲神经网络装置时分工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210815918.6A CN115393602A (zh) | 2022-07-12 | 2022-07-12 | 混合集成型光子脉冲神经网络装置及数字图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210815918.6A CN115393602A (zh) | 2022-07-12 | 2022-07-12 | 混合集成型光子脉冲神经网络装置及数字图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393602A true CN115393602A (zh) | 2022-11-25 |
Family
ID=84116108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210815918.6A Pending CN115393602A (zh) | 2022-07-12 | 2022-07-12 | 混合集成型光子脉冲神经网络装置及数字图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393602A (zh) |
-
2022
- 2022-07-12 CN CN202210815918.6A patent/CN115393602A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| De Marinis et al. | Photonic neural networks: A survey | |
| Song et al. | Design of logic gates using spiking neural P systems with homogeneous neurons and astrocytes-like control | |
| WO2022134391A1 (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
| CN109376855B (zh) | 一种光神经元结构和包含该结构的神经网络处理系统 | |
| JP2019502970A (ja) | 抵抗型処理ユニット | |
| Toole et al. | Photonic implementation of spike-timing-dependent plasticity and learning algorithms of biological neural systems | |
| Graupe | Principles of artificial neural networks: basic designs to deep learning | |
| KR20170031695A (ko) | 신경망들에서의 콘볼루션 동작의 분해 | |
| Farhat | Optoelectronic neural networks and learning machines | |
| CN114970836B (zh) | 蓄水池神经网络实现方法、系统、电子设备及存储介质 | |
| Song et al. | A hybrid-integrated photonic spiking neural network framework based on an MZI array and VCSELs-SA | |
| Farhat | Photonic neural networks and learning machines | |
| US5390285A (en) | Method and apparatus for training a neural network depending on average mismatch | |
| Wu et al. | Photonic bayesian neural network using programmed optical noises | |
| CN115393602A (zh) | 混合集成型光子脉冲神经网络装置及数字图像分类方法 | |
| Jacobson et al. | Image classification using delay-based optoelectronic reservoir computing | |
| CN115496195A (zh) | 基于mzi阵列和fp-sa的光脉冲神经网络实现装置 | |
| CN116029343A (zh) | 基于mrr和相变材料的光子脉冲神经网络实现方法 | |
| Skinner et al. | Neural network implementation using self-lensing media | |
| US6397201B1 (en) | E-cell (equivalent cell) and the basic circuit modules of e-circuits: e-cell pair totem, the basic memory circuit and association extension | |
| Luo et al. | A comparison of controller architectures and learning mechanisms for arbitrary robot morphologies | |
| Jang et al. | Dynamic optical interconnections using holographic lenslet arrays for adaptive neural networks | |
| Orchard et al. | Making predictive coding networks generative | |
| Li et al. | Photonic Neural Cellular Automata for Self-Organized Image Classification | |
| EP3910558A2 (en) | Computer system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |