CN110245324B - 一种基于光电计算阵列的反卷积运算加速器及其方法 - Google Patents
一种基于光电计算阵列的反卷积运算加速器及其方法 Download PDFInfo
- Publication number
- CN110245324B CN110245324B CN201910416014.4A CN201910416014A CN110245324B CN 110245324 B CN110245324 B CN 110245324B CN 201910416014 A CN201910416014 A CN 201910416014A CN 110245324 B CN110245324 B CN 110245324B
- Authority
- CN
- China
- Prior art keywords
- calculation
- photoelectric
- module
- region
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 90
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 230000004913 activation Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 230000008878 coupling Effects 0.000 claims description 33
- 238000010168 coupling process Methods 0.000 claims description 33
- 238000005859 coupling reaction Methods 0.000 claims description 33
- 239000000969 carrier Substances 0.000 claims description 12
- 239000002800 charge carrier Substances 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims description 2
- 239000000758 substrate Substances 0.000 description 22
- 239000004065 semiconductor Substances 0.000 description 14
- 238000005468 ion implantation Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 206010070834 Sensitisation Diseases 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008313 sensitization Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000013016 learning Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 208000017983 photosensitivity disease Diseases 0.000 description 1
- 231100000434 photosensitization Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明公开一种基于光电计算阵列的反卷积运算加速器及其方法。反卷积运算加速器包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵变换顺序并按行展开成权重向量的形式传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加并输出计算结果；结果叠加模块，用于对累加器模块的计算结果中需要叠加的部分进行叠加，输出最终结果。本发明的加速器具有巨大的计算能效。
Description
技术领域
本发明涉及反卷积运算加速器，尤其涉及一种基于光电计算阵列的反卷积运算加速器及其方法。
背景技术
生成对抗网络是基于深度学习的一种强大的生成模型。可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。所以快速地训练以及推断生成对抗网络成为越来越重要的课题。
相对于传统的卷积神经网络，生成对抗网络引入一种反卷积的操作。反卷积在计算时，输入激活值会插入很多0值，采用直接卷积计算方式会导致计算效率低下。而且由于传统器件对器件面积和器件功耗的限制，不能完全展开整个计算过程，导致传统器件的计算力很有限。
光电计算阵列和传统器件相比，在相同的器件面积下可以集成更为丰富的光电计算单元，并且器件的运算功耗很低，所以如果使用光电计算阵列来计算反卷积，一方面可以获得极大的计算力，提高运算吞吐率，另一方面能极大提高计算能效。
发明内容
本发明的目的在于克服传统器件反卷积计算能力的不足，提供一种高计算力、高计算能效的基于光电计算阵列的反卷积运算加速器。本发明的另外一个目的是提供该反卷积运算加速器的运算方法。
本发明装置采用的技术方案如下：
一种基于光电计算阵列的反卷积运算加速器，包括：数据存储模块，用于数据的读写和传输；数据分发模块，用于将从数据存储模块中读取的权重矩阵变换顺序并按行展开成权重向量的形式传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；光电计算阵列，用于对输入数据进行乘法运算；A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；累加器模块，用于对经A/D转换后的计算结果进行移位累加，并输出计算结果；结果叠加模块，用于对累加器模块的计算结果中需要叠加的部分进行叠加，输出最终结果。
进一步地，所述光电计算阵列由多个光电计算单元周期性排列组成，每个光电计算单元包括发光单元和计算单元，发光单元发出的光入射到计算单元中；每个计算单元包括载流子控制区、耦合区、以及光生载流子收集区和读出区；所述载流子控制区用于控制并调制光生载流子收集区和读出区内的载流子；所述光生载流子收集区和读出区中的收集区用于吸收发光单元发射的光子并收集产生的光生载流子；所述载流子控制区或者光生载流子收集区和读出区中的读出区与电信号连接，读出区用于输出被所述光生载流子和所述电信号作用后的载流子；所述耦合区连接收集区和读出区。
本发明一种基于光电计算阵列的反卷积运算加速器的运算方法，包括如下步骤：
所述数据分发模块一方面从数据存储模块中读取权重矩阵，并将权重矩阵按照中心对称的方式进行上下左右对称变换顺序后，按行展开成权重向量的形式发送给光电计算阵列；另一方面将从数据存储模块中读取的每一个激活值数据按二进制拆分成单比特的形式，然后将拆分后的多个单比特数据依次发送给光电计算阵列；
所述光电计算阵列接收数据分发模块传递的权重向量并将权重向量存储在光电计算阵列中，然后在收到数据分发模块发送的单比特数据后，对单个激活值和权重向量直接进行乘法运算；接着将乘法运算结果转化为数字信号后输入所述累加器模块中进行移位累加；所述累加器模块将累加结果输出给所述结果叠加模块暂存，所述结果叠加模块从暂存的累加结果中取出不同运算数据反卷积计算结果中重叠的部分进行叠加输出，对于没有重叠的结果数据直接输出。
本发明采用光电计算单元取代传统硬件的乘法计算单元，在相同芯片面积的条件下，本发明光电计算阵列可以集成更丰富的光电计算单元，拥有更为强大的计算力。因此，本发明的反卷积运算加速器拥有巨大的计算能效，在相同操作数的情况下，比传统计算器件更为节省功耗。而且本发明的反卷积使用直接计算的方式，可以避免传统反卷积计算时需要存储零值，其存储的零值和卷积核相乘的低效的计算方式，大大提高了计算效率。
附图说明
图1是计算单元的多功能区框图。
图2是光电计算阵列的结构示意图，其中，1-发光阵列，2-计算阵列。
图3是实施例1计算单元结构的(a)截面图和(b)立体图。
图4是实施例2计算单元结构的(a)截面图和(b)立体图。
图5是实施例3计算单元的(a)结构示意图和(b)多功能区示意图。
图6是实施例4基于光电计算阵列的反卷积运算加速器的整体架构图。
图7是反卷积运算的流程图。
图8是实施例4的反卷积运算加速器的反卷积计算流程图。
具体实施方式
本发明光电计算单元中的计算单元为包括三大功能区的多功能区结构，如图1所示，三大功能区为：载流子控制区、耦合区、光生载流子收集区和读出区，具体功能分别如下：
载流子控制区：负责控制并调制光电计算单元内的载流子，并且作为计算单元的电输入端口，输入其中一个运算量作为电输入量；或者只控制并调制计算单元内的载流子，通过其他区域输入电输入量。
耦合区：负责连接光生载流子收集区和读出区，使得光子入射产生的光生载流子作用于光电计算单元内的载流子，形成运算关系。
光生载流子收集区和读出区：其中收集区负责吸收入射的光子并收集产生的光生载流子，并且作为计算单元的光输入端口，输入其中一个运算量作为光输入量；读出区可以作为计算单元的电输入端口，输入其中一个运算量作为电输入量，并且作为计算单元的输出端口，输出被光输入量和电输入量作用后的载流子作为单元输出量；或者通过其他区域输入电输入量，读出区只作为计算单元的输出端口，输出被光输入量和电输入量作用后的载流子，作为单元输出量。
发光单元发出的光作为入射计算单元光生载流子收集和读出区的光子，参与运算。光电计算阵列包括发光阵列1和计算阵列2，结构如图2所示。发光阵列1由多个发光单元周期性排列组成，计算阵列2由多个计算单元周期性排列组成。
实施例1
如图3所示，本实施例的计算单元包括：作为载流子控制区的控制栅极、作为耦合区的电荷耦合层，以及作为光生载流子收集区和读出区的P型衬底，P型衬底中分为左侧收集区和右侧读出区，其中右侧读出区中包括浅槽隔离、通过离子注入形成的N型源端和N型漏端。浅槽隔离位于半导体衬底中部、收集区和读出区的中间，浅槽隔离通过刻蚀并填充入二氧化硅来形成，以用于隔离收集区和读出区的电信号。N型源端位于读出区内靠近底层介质层的一侧，通过离子注入法掺杂而形成。N型漏端位于半导体衬底中靠近底层介质层与N型源端相对的另一侧，同样通过离子注入法进行掺杂法形成。应理解，本文中提及的左侧、右侧、上方以及下方只代表在通过图中所示视角观察下的相对位置随观察视角变化而变化，并不理解为对具体结构的限制。
在收集区的衬底上施加一个电压范围为负压的脉冲，或在控制栅上施加一个电压范围为正压的脉冲，使得收集区衬底中产生用于光电子收集的耗尽层，并通过右侧读出区读出收集的光电子数量，作为光输入端的输入量。读出时，在控制栅极上施加一正电压，使N型源端和收集区N型漏端间形成导电沟道，再通过在N型源端和N型漏端间施加一个偏置脉冲电压，使得导电沟道内的电子加速形成源漏之间的电流。源漏之间沟道内形成电流的载流子，受到控制栅电压、源漏间电压和收集区收集的光电子数量共同作用，作为被光输入量和电输入量共同作用后的电子，以电流的形式进行输出，其中控制栅电压、源漏间电压可以作为器件的电输入量，光电子数量则为器件的光输入量。
耦合区的电荷耦合层用于连接收集区和读出区，使收集区衬底内耗尽区开始收集光电子以后，收集区衬底表面势就会受到收集的光电子数量影响；通过电荷耦合层的连接，使得读出区半导体衬底表面势受到收集区半导体衬底表面势影响，进而影响读出区源漏间电流大小，从而通过判断读出区源漏间电流来读出收集区收集的光电子数量；
载流子控制区的控制栅，用以在其上施加一个脉冲电压，使得在P型半导体衬底读出区中产生用于激发光电子的耗尽区，同时也可以作为电输入端，输入其中一位运算量。
此外，P型半导体衬底和电荷耦合层之间存在用于隔离的底层介质层；电荷耦合层和控制栅之间亦存在用于隔离的顶层介质层。
实施例2
如图4所示，本实施例的计算单元包括：作为载流子控制区的控制栅极、作为耦合区的电荷耦合层，以及作为光生载流子收集区和读出区的P型半导体衬底，其中P型衬底中包含通过离子注入形成的N型源端和漏端。P型半导体衬底可以同时承担感光和读出的工作。N型源端位于读出区内靠近底层介质层的一侧，通过离子注入法掺杂而形成。N型漏端位于半导体衬底中靠近底层介质层与所述N型源端相对的另一侧，同样通过离子注入法进行掺杂法形成。
感光时，在P型半导体衬底上施加一个电压范围为负压的脉冲，同时在作为载流子控制区的控制栅极上施加一个电压范围为正压的脉冲，使得P型衬底中产生用于光电子收集的耗尽层，产生在耗尽区内的电子在控制栅极和P型衬底两端之间的电场作用下被加速，并在到达获得足够高的能量，穿过P型衬底和电荷耦合层之间的底层介质层势垒，进入电荷耦合层并储存于此，电荷耦合层中的电荷数量，会影响器件开启时的阈值，进而影响读出时的源漏间电流大小；读出时，在控制栅极上施加一脉冲电压，使N型源端和N型漏端间形成导电沟道，再通过在N型源端和N型漏端间施加一个脉冲电压，使得导电沟道内的电子加速形成源漏之间的电流。源漏之间的电流受到控制栅脉冲电压、源漏间电压和电荷耦合层中存储的电子数量共同作用，作为被光输入量和电输入量共同作用后的电子，以电流的形式进行输出，其中控制栅电压、源漏间电压可以作为器件的电输入量，电荷耦合层中存储的光电子数量则为器件的光输入量。
耦合区的电荷耦合层用于储存进入其中的光电子，并改变读出时器件阈值大小，进而影响读出区源漏间电流，从而通过判断读出区源漏间电流来读出感光时产生并且进入电荷耦合层中的光电子数量。
载流子控制区的控制栅，用以在其上施加一个脉冲电压，使得在P型半导体衬底读出区中产生用于激发光电子的耗尽区，同时也可以作为电输入端，输入其中一位运算量。
此外，P型半导体衬底和电荷耦合层之间存在一层用于隔离的底层介质层；电荷耦合层和控制栅之间亦存在一层用于隔离的顶层介质层。
实施例3
如图5所示，本实施例的计算单元包括：作为光生载流子收集和读出区的光电二极管和读出管，其中，光电二极管通过离子掺杂形成，负责感光。光电二极管的N区通过作为耦合区的光电子耦合引线连接到读出管的控制栅和复位管的源端上，读出管的漏端施加一正电压脉冲，作为读出电流的驱动电压；曝光前，复位管打开，复位管漏端电压施加到光电二极管上，使作为收集区的光电二极管处于反偏状态，产生耗尽层；曝光时，复位管关断，光电二极管被电学上隔离，光子入射光电二极管耗尽区后产生光电子，并在二极管中积累，二极管的N区和在电学上通过作为耦合区的光电子耦合引线和N区连接的读出管控制栅电势开始下降，进而影响读出管沟道内的电子浓度。读出管负责读出，其漏端施加一正脉冲电压，源端和选址管漏端连接，读出时，打开选址管，读出管中产生电流电流，电流大小受到复位管漏端电压、读出管漏端电压和入射光子数共同影响，读出管沟道内的电子，作为被光输入量和电输入量共同作用后的电子，以电流的形式输出，其中复位管漏端电压、读出管漏端电压可以作为器件的电输入量，电入射光子数则为器件的光输入量。
耦合区的光电子耦合引线用于连接作为光生载流子收集和读出区中收集区的光电二极管和作为读出区的读出管，将光电二极管N区电势施加到读出管控制栅上。
作为载流子控制区的复位管，通过其漏端输入一个正电压作用于光电二极管，当复位管打开时，正电压即会作用在光电二极管上，使光电二极管产生耗尽区并感光，同时也可以作为电输入端，输入其中一位运算量。
此外，选址管用于控制整个运算器件作为输出量的输出电流的输出，可以在光电计算单元组成阵列时行列选址使用。
实施例4
本实施例使用多个发光单元和实施例1、2或3的计算单元结构组成光电计算阵列，来实现反卷积的运算。
如图6所示，本实施例的基于光电计算阵列的反卷积运算加速器包括数据存储模块、数据分发模块、光电计算阵列、A/D转换模块和结果叠加模块。权重矩阵和激活值数据均保存在数据存储模块，并输入给数据分发模块。权重矩阵在数据分发模块中调整顺序后输入给光电计算阵列，激活值数据在数据分发模块中进行单比特分离后发送给光电计算阵列。光电计算阵列计算出权重矩阵和激活值数据的乘法运算结果，结果数据在经过A/D转换后发送给累加器模块，累加器对A/D转换后的结果进行移位累加，结果叠加模块反卷积计算结果的重叠部分进行叠加输出。
如图7所示，主要由4步来计算反卷积：
①将一个权重矩阵WK×K进行上下左右对称变换，变换为新的权重矩阵W′K×K，K表示权重矩阵的大小，图中以3×3的权重矩阵为例；
②从一个激活值数据块AM×M取出一个待计算数据，和转换后的权重矩阵W′K×K中的所有数据相乘。图中以3×3的数据块为例，卷积步长为2，分别让A1和A2和W′K×K相乘，可以看到有部分计算结果会重叠，重叠的部分需要进行叠加。如果对A4和A5做相同的操作后，可以得到O7＝W1×A1+W3×A2+W7×A4+W9×A5；
③将第二步中不同输入数据反卷积计算结果的部分重叠部分进行叠加；
④对余下的输入数据，重复②和③的操作。当所有步骤结束后，对结果中有要删去的冗余计算结果，进行删除。
如图8所示，光电计算阵列是执行O＝A×W的点与向量乘操作，其中A＝(a7a6…a0)2，2表示每个操作数用2进制表示，W＝[W1，W2，...，Wm]。当加速反卷积运算时，从数据存储模块中取出1个反卷积的权重矩阵WK×K发送给数据分发模块，数据分发模块将这1个反卷积的权重矩阵
部做上下左右变换为新的权重矩阵
再将变换后反卷积的权重矩阵W′K×K，按行展开成W＝[W1，W2，...，Wm]＝[WK×K，WK×K-1，...，W1]，m＝K×K的形式，发送给n个相同的光电计算阵列。其中每个光电计算阵列会自动保存相同的权重值W＝[WK×K，WK×K-1，...，W1]。
从数据存储模块中读取一个激活值数据块AM×M，并将该计算块分割为n个激活值，A1＝(a17a16…a10)2，A2＝(a27a26…a20)2，…，An＝(an7an6…an0)2，其中n＝M×M。再将向量A的每一个元素在数据分发模块中分离成8个单比特数据。然后分8次(T0，T1，...，T7)，将n个单比特数据(a10，a20，...，an0)，(a11，a21，...，an1)，...，(a17，a27，...，an7)发送给光电计算阵列和存在光电计算单元上的权重数据W进行计算。图8中的计算方式是：O＝A×W＝A×[W1，W2，...，Wm]＝[O1，O2，...，Om]。其中图8中的“ADC”表示数字/模拟转换模块，“＜＜”表示向左移位。
计算后的结果数据首先经过A/D转换，将模拟信号转换为数字信号。转换后的数字信号发送到累加器模块。累加器是对A/D转换后的数据进行移位累加。具体移位方式是对于a10，a20，...，an0和权重矩阵相乘的结果O10，O20，...，Om0向左移位0位，a11，a21，...，an1和权重矩阵相乘的结果O11，O21，...，Om1向左移位1位，然后和前面的计算结果累加，依次类推，直到最高位a17，a27，...，an7权重矩阵相乘的结果O17，O27，...，Om7向左移位7位后，和前面的计算结果累加后输出。当n个激活值全部8位的结果移位累加结束后，累加结果输出给结果叠加模块。结果叠加模块会暂存n个激活值的计算结果O1，O2，...，Om，然后对n个激活值的反卷积计算结果的重叠部分进行叠加输出。
Claims (1)
1.一种基于光电计算阵列的反卷积运算加速器，其特征在于，包括：
数据存储模块，用于数据的读写和传输；
数据分发模块，用于将从数据存储模块中读取的权重矩阵变换顺序并按行展开成权重向量的形式传输给光电计算阵列，以及用于将从数据存储模块中读取的激活值数据拆分成单比特的形式并传输给光电计算阵列；
光电计算阵列，用于对输入数据进行乘法运算；
A/D转换模块，用于将光电计算阵列的计算结果由模拟信号转化为数字信号；
累加器模块，用于对经A/D转换后的计算结果进行移位累加，并输出计算结果；
结果叠加模块，用于对累加器模块的计算结果中需要叠加的部分进行叠加，输出最终结果；
所述光电计算阵列由多个光电计算单元周期性排列组成，每个光电计算单元包括发光单元和计算单元，发光单元发出的光入射到计算单元中；每个计算单元包括载流子控制区、耦合区、以及光生载流子收集区和读出区；所述载流子控制区用于控制并调制光生载流子收集区和读出区内的载流子；所述光生载流子收集区和读出区中的收集区用于吸收发光单元发射的光子并收集产生的光生载流子；所述载流子控制区或者光生载流子收集区和读出区中的读出区与电信号连接，读出区用于输出被所述光生载流子和所述电信号作用后的载流子；所述耦合区连接收集区和读出区；
所述数据分发模块一方面从数据存储模块中读取权重矩阵，并将权重矩阵按照中心对称的方式进行上下左右对称变换顺序后，按行展开成权重向量的形式发送给光电计算阵列；另一方面将从数据存储模块中读取的每一个激活值数据按二进制拆分成单比特的形式，然后将拆分后的多个单比特数据依次发送给光电计算阵列；
所述光电计算阵列接收数据分发模块传递的权重向量并将权重向量存储在光电计算阵列中，然后在收到数据分发模块发送的单比特数据后，对单个激活值和权重向量直接进行乘法运算；接着将乘法运算结果转化为数字信号后输入所述累加器模块中进行移位累加；所述累加器模块将累加结果输出给所述结果叠加模块暂存，所述结果叠加模块从暂存的累加结果中取出不同运算数据反卷积计算结果中重叠的部分进行叠加输出，对于没有重叠的结果数据直接输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910416014.4A CN110245324B (zh) | 2019-05-19 | 2019-05-19 | 一种基于光电计算阵列的反卷积运算加速器及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910416014.4A CN110245324B (zh) | 2019-05-19 | 2019-05-19 | 一种基于光电计算阵列的反卷积运算加速器及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110245324A CN110245324A (zh) | 2019-09-17 |
| CN110245324B true CN110245324B (zh) | 2023-01-17 |
Family
ID=67884296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910416014.4A Active CN110245324B (zh) | 2019-05-19 | 2019-05-19 | 一种基于光电计算阵列的反卷积运算加速器及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245324B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749784B (zh) * | 2019-10-31 | 2024-05-14 | 华为技术有限公司 | 一种计算设备及神经网络的加速方法 |
| CN113657580B (zh) * | 2021-08-17 | 2023-11-21 | 重庆邮电大学 | 基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8829409B2 (en) * | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
| CN107239823A (zh) * | 2016-08-12 | 2017-10-10 | 北京深鉴科技有限公司 | 一种用于实现稀疏神经网络的装置和方法 |
| CN107348969B (zh) * | 2017-07-11 | 2020-07-14 | 上海联影医疗科技有限公司 | 一种pet数据处理方法、系统及pet成像设备 |
| CN109543830B (zh) * | 2018-09-20 | 2023-02-03 | 中国科学院计算技术研究所 | 一种用于卷积神经网络加速器的拆分累加器 |
-
2019
- 2019-05-19 CN CN201910416014.4A patent/CN110245324B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110245324A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263296B (zh) | 一种基于光电计算阵列的矩阵向量乘法器及其运算方法 | |
| CN110276440B (zh) | 一种基于光电计算阵列的卷积运算加速器及其方法 | |
| CN110245324B (zh) | 一种基于光电计算阵列的反卷积运算加速器及其方法 | |
| KR102608628B1 (ko) | 광전자 컴퓨팅 유닛, 광전자 컴퓨팅 어레이 및 광전자 컴퓨팅 방법 | |
| CN110263295B (zh) | 一种基于光电计算阵列的矩阵向量乘法器的运算优化方法 | |
| CN110009102B (zh) | 一种基于光电计算阵列的深度残差网络的加速方法 | |
| CN109728006B (zh) | 基于复合介质栅mosfet的全局曝光光敏探测器 | |
| KR101905978B1 (ko) | 이미지 센서와 솔라 셀로서 동작 가능한 단위 픽셀 엘리먼트 | |
| US8248498B2 (en) | Photosensitive microelectronic device with avalanche multipliers | |
| CN103888692B (zh) | 图像传感装置及其操作方法 | |
| CN109993283B (zh) | 基于光电计算阵列的深度卷积生成式对抗网络的加速方法 | |
| CN110244817B (zh) | 一种基于光电计算阵列的偏微分方程求解器及其方法 | |
| CN110276047B (zh) | 一种利用光电计算阵列进行矩阵向量乘运算的方法 | |
| Huang et al. | The design and implementation of a solar tracking generating power system | |
| CN110275569B (zh) | 光电计算单元工作状态的控制方法 | |
| CN102820313B (zh) | Cmos图像传感器 | |
| CN109976441B (zh) | 一种可实现高精度光输入的光电计算装置 | |
| CN110288078B (zh) | 一种针对GoogLeNet模型的加速器及其方法 | |
| CN110263297B (zh) | 一种矩阵向量乘法器工作状态的控制方法 | |
| CN102201421B (zh) | Cmos图像传感器及其形成方法 | |
| CN110262774B (zh) | 一种光电乘法器的计算方法 | |
| CN110276048B (zh) | 一种矩阵向量乘阵列的控制方法 | |
| CN107024288A (zh) | 一种应用于单光子探测器的淬灭和限流电路 | |
| EP3227921A1 (en) | Pixel structure for energy harvesting and image sensing | |
| CN101771800A (zh) | Cmos图像传感器及其成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240409 Address after: 210000 two, B unit 300, Zhihui Road, Kirin science and Technology Innovation Park, Jiangning District, Nanjing, Jiangsu. Patentee after: NANJING JIXIANG SENSING IMAGING TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. Country or region after: China Address before: 9/F, Building B, No. 100, Tianjiao Road, Qilin Hi-tech Industrial Development Zone, Jiangning District, Nanjing, Jiangsu, 210000 Patentee before: Nanjing Weixin Photoelectric System Co.,Ltd. Country or region before: China |