CN110991623A - 基于数模混合神经元的神经网络运算系统 - Google Patents

基于数模混合神经元的神经网络运算系统 Download PDF

Info

Publication number
CN110991623A
CN110991623A CN201911324022.2A CN201911324022A CN110991623A CN 110991623 A CN110991623 A CN 110991623A CN 201911324022 A CN201911324022 A CN 201911324022A CN 110991623 A CN110991623 A CN 110991623A
Authority
CN
China
Prior art keywords
circuit
neural network
digital
capacitors
operation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911324022.2A
Other languages
English (en)
Other versions
CN110991623B (zh
Inventor
张峰
李淼
马春宇
赵婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911324022.2A priority Critical patent/CN110991623B/zh
Priority claimed from CN201911324022.2A external-priority patent/CN110991623B/zh
Publication of CN110991623A publication Critical patent/CN110991623A/zh
Application granted granted Critical
Publication of CN110991623B publication Critical patent/CN110991623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本发明属于神经网络技术领域，具体涉及了一种基于数模混合神经元的神经网络运算系统，旨在解决现有技术无法在满足精度的同时克服运算速度低、内存及功耗大的问题。本发明包括：卷积电路，用于进行输入数据的二值权重和定点量化激活值乘法操作后进行宽矢量求和操作；缩放电路，通过增益可编程放大电路基于获取的权重缩放因子对卷积结果进行缩放操作；AD转换电路，用于将神经元输出的模拟信号转换为数字信号。本发明对神经网络权重进行二值化，并通过不同大小的电容代替神经网络模型中激活值的多比特位的数模混合电路，在几乎不降低精度的前提下大大降低了内存占用，提高了模型运算速度，有利于把模型从云端推向终端。

Description

基于数模混合神经元的神经网络运算系统
技术领域
本发明属于神经网络技术领域，具体涉及了一种基于数模混合神经元的神经网络运算系统。
背景技术
近年来，随着机器学习算法的兴起，芯片计算能力的不断提升和超大数据集的支持，使得大规模神经网络的训练变得越来越简单。因此，在诸如图像处理、语音识别等领域，深度神经网络在云端都取得了非常好的成绩。但是基于延迟、带宽、隐私等的要求，需要把神经网络从云端推向终端，在终端进行关键词检测、人脸识别、图像分类等推理类应用。在终端电子产品中，对神经网络有非常高的能耗比、推理速度等的要求。而神经网络伴随着精度的提升，网络的深度和参数量也会急剧增加，这与神经网络的终端化是相违背的，因此迫切需要在算法和硬件中进行改进，以适应网络的终端化需求。
许多诸如网络剪枝、权重共享、知识蒸馏等对神经网络进行轻量化处理的方式，由于算法本身的复杂性和硬件的不易实施性，无法实现网络的终端部署。而神经网络量化算法，无需改变网络结构，且由于数据量化带来的内存需求的降低，为网络的终端实现提供了极大的便利。然而，同时对网络的权重和激活值都进行1bit量化会使得网络的精度有较大的损失。
深度神经网络中的计算量最大的操作是乘加(MAC)操作，在一个卷积神经网络中有数百万甚至数亿的MAC操作，传统的数字电路进行如此多的MAC操作功耗是非常高的，是无法在常开的终端设备中进行部署的。而且，对于内存的存取操作所消耗的能量比MAC操作也是高得多。
发明内容
为了解决现有技术中的上述问题，即现有技术无法在满足精度的同时克服运算速度低、内存及功耗大的问题，本发明提供了一种基于数模混合神经元的神经网络运算系统，该运算系统包括卷积电路、缩放电路、AD转换电路；
所述卷积电路用于进行输入数据的二值权重和定点量化激活值乘法操作后进行宽矢量求和操作；
所述缩放电路通过增益可编程放大电路基于获取的权重缩放因子对卷积结果进行缩放操作；
所述AD转换电路用于将神经元输出的模拟信号转换为数字信号。
在一些优选的实施例中，所述卷积电路包括乘运算电路、加运算电路；
所述乘运算电路用于进行输入数据的二值权重和定点量化激活值乘法操作；
所述加运算电路用于对乘法操作后的输入数据进行宽矢量求和操作。
在一些优选的实施例中，所述乘运算电路包括N*m个异或逻辑电路，分别用于对输入数据N个维度中每一个维度数据的二值权重和该维度数据的定点量化激活值的每一位进行乘法操作。
在一些优选的实施例中，所述加运算电路包括开关电容阵列、偏置电路、运算放大器；
所述开关电容阵列用于向所述运算放大器提供分压；
所述偏置电路用于修正所述分压；
所述运算放大器基于所述偏置电路修正后的分压获取乘法操作后的输入数据的宽矢量和。
在一些优选的实施例中，所述开关电容阵列包括N*m个设定大小的电容、2N*m+1个开关；
所述开关基于获取的二项非重叠时钟信号，控制所述开关电容阵列中N*m个设定大小的电容的连接状态：
所述二项非重叠时钟信号为Φ1时，所述开关电容阵列中N*m个设定大小的电容的两个极板均与参考地相连，电容清零；
所述二项非重叠时钟信号为Φ2时，基于获取的各异或逻辑电路输出信号，将所述开关电容阵列中N*m个设定大小的电容的一个极板与参考电源或参考地相连，电容的另一极板与所述运算放大器正向输入端相连。
在一些优选的实施例中，“基于获取的各异或逻辑电路输出信号，将所述开关电容阵列中N*m个设定大小的电容的一个极板与参考电源或参考地相连”，其方法为：
异或逻辑电路输出信号为1时，其对应电容的一个极板通过所述开关与参考电源相连；
异或逻辑电路输出信号为0时，其对应电容的一个极板通过所述开关与参考地相连。
在一些优选的实施例中，所述m个设定大小的电容，其电容大小依次为Cu,21Cu,22Cu,...,2m-1Cu。
在一些优选的实施例中，所述电容为MOM插指电容。
在一些优选的实施例中，所述权重缩放因子通过真实权重的L1范数获取。
本发明的有益效果：
(1)本发明基于数模混合神经元的神经网络运算系统，对神经网络权重进行二值化，对神经网络激活值进行设定比特位的定点量化，降低了神经网络模型对内存的占用，但几乎不会降低神经网络模型的精度，不影响神经网络模型输出结果的准确性。
(2)本发明基于数模混合神经元的神经网络运算系统，通过不同大小的电容代替神经网络模型中激活值的多比特位的数模混合电路，减少了神经网络模型加法运算对资源的消耗，提高了神经网络模型的运算速度，降低能源消耗。
(3)本发明基于数模混合神经元的神经网络运算系统，在保证精度与准确性的前提下，降低资源消耗和内存需求，提高运算速度，为把神经网络模型从云端推向终端提供了可行方案。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于数模混合神经元的神经网络运算系统的运算单元结构示意图；
图2是本发明基于数模混合神经元的神经网络运算系统一种实施例的1bit权重与4bit激活值神经元N维数据宽矢量求和示例图；
图3是本发明基于数模混合神经元的神经网络运算系统一种实施例的4bit激活值的插指电容示例图；
图4是本发明基于数模混合神经元的神经网络运算系统一种实施例的1bit权重与4bit激活值神经元N维数据差分结构宽矢量求和示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于数模混合神经元的神经网络运算系统，该运算系统包括卷积电路、缩放电路、AD转换电路；
所述卷积电路用于进行输入数据的二值权重和定点量化激活值乘法操作后进行宽矢量求和操作；
所述缩放电路通过增益可编程放大电路基于获取的权重缩放因子对卷积结果进行缩放操作；
所述AD转换电路用于将神经元输出的模拟信号转换为数字信号。
为了更清晰地对本发明基于数模混合神经元的神经网络运算系统进行说明，下面结合图1对本发明实施例中各模块展开详述。
本发明一种实施例的基于数模混合神经元的神经网络运算系统，包括卷积电路、缩放电路、AD转换电路，各模块详细描述如下：
卷积电路用于进行输入数据的二值权重和定点量化激活值乘法操作后进行宽矢量求和操作。
卷积电路包括乘运算电路、加运算电路：
乘运算电路用于进行输入数据的二值权重和定点量化激活值乘法操作。
乘运算电路包括N*m个异或逻辑电路，分别用于对输入数据N个维度中每一个维度数据的二值权重和该维度数据的定点量化激活值的每一位进行乘法操作。
加运算电路用于对乘法操作后的输入数据进行宽矢量求和操作。
加运算电路包括开关电容阵列、偏置电路、运算放大器：
开关电容阵列中每一个电容在宽矢量求和操作之前，两个极板均接地，实现电容清零；清零操作后，电容的一个极板通过开关选择连接到参考电源或参考地，电容的另一个极板与运算放大器的正向输入端连接，用于向运算放大器提供分压。
开关电容阵列包括N*m个设定大小的电容、2N*m+1个开关，其中，开关基于获取的二项非重叠时钟信号，控制开关电容阵列中N*m个设定大小的电容的连接状态：
二项非重叠时钟信号为Φ1时，开关电容阵列中N*m个设定大小的电容的两个极板均与参考地相连，电容清零；
二项非重叠时钟信号为Φ2时，基于获取的各异或逻辑电路输出信号，将开关电容阵列中N*m个设定大小的电容的一个极板与参考电源或参考地相连，电容的另一极板与运算放大器正向输入端相连。
其中，异或逻辑电路输出信号为1时，其对应电容的一个极板通过开关与参考电源相连；异或逻辑电路输出信号为0时，其对应电容的一个极板通过开关与参考地相连。
m个电容大小依次为Cu,21Cu,22Cu,...,2m-1Cu，本发明选用的电容为MOM插指电容。
偏置电路用于修正分压。
运算放大器基于所述偏置电路修正后的分压获取乘法操作后的输入数据的宽矢量和。
如图2所示，为本发明基于数模混合神经元的神经网络运算系统一种实施例的1bit权重与4bit激活值神经元N维数据宽矢量求和示例图，包括开关电容阵列、偏置电路、参考电源、参考地、运算放大器。
开关状态为Φ2时，电容的一个极板由异或逻辑电路进行1bit权重和4bit激活值乘法操作的最终结果来控制，若结果为1，则与参考电源连接，若结果为0，则与参考地连接；电容的另一个极板与运算放大器正向输入端连接。
对神经网络的权重进行1bit量化，本发明一个实施例中，量化方式选用符号量化，即若权重值为非负值，则量化为1；若权重值为负值则量化为-1。在其他实施例中可以采用其他的量化方式，本发明在此不再一一详述。
对神经网络的激活值进行指定比特数的定点量化，如4bit、8bit、16bit等。本发明一个实施例中，对神经网络的激活值进行4bit的定点量化，先把激活值缩减到[0,1]范围内，然后根据需要量化的比特数进行定点量化。
当网络中的权重量化成1bit，并且激活值量化成4bit之后，实值网络中的MAC运算就可以简化为权重与对应激活值的每个比特位的异或逻辑操作后求和，来完成整个卷积运算。
本发明采用不同电容值代替激活值的多比特位的数模混合电路实现求和运算。具体地，基于开关电容阵列的神经元计算单元是通过电荷再分配技术实现的，单个神经元可以与前一层N个激活值进行连接，连接权重为1bit的二值，输入信号为四位有效位。神经元激活值Xi,j与二值权重值Wi进行逐位逻辑运算，并将运算后的信号施加到控制开关，若运算后的结果为1，使电容一个极板与参考电源连接，若运算后的结果为0，使电容一个极板与参考地连接；电容另一个极板连接到运算放大器正向输入端。开关采用二相非重叠时钟信号控制，在二相非重叠时钟信号为Φ1期间所有电容的两个极板都接地，对电容进行清零处理，在二相非重叠时钟信号为Φ2期间，激活值Xi,j与权重Wi的乘法操作结果为1的电容与参考电源连接，激活值Xi,j与权重Wi的乘法操作结果为0的电容仍与参考地连接，电容的另一个极板与运算放大器的正向输入端连接，通过运算放大器后输出模拟电压值。
本发明一个实施例中，使用的电容为MOM插指电容，如图3所示，为本发明基于数模混合神经元的神经网络运算系统一种实施例的4bit激活值的插指电容示例图，通过15个容值为Cu的单位电容构成4个不同容值的开关电容，实现激活值的4bit定点量化，高比特位的开关电容的容值是次高比特位的双倍，最低比特位开关电容的容值为Cu，那么第二、三、四比特位的开关电容的容值分别为2Cu、4Cu、8Cu。
缩放电路通过增益可编程放大电路基于获取的权重缩放因子对卷积结果进行缩放操作。
权重缩放因子通过真实权重的L1范数获取。
因为在量化过程中不可避免的丢失权重的真实信息，为了弥补这一损失，通过计算真实权重的L1范数作为权重1bit量化后的缩放因子来弥补1bit量化后带来的精度损失。本发明一个实施例中，采用可编程增益放大器实现对权重的符号二值化进行缩放因子的补偿。
AD转换电路用于将神经元输出的模拟信号转换为数字信号。
完成神经元缩放操作之后，AD转换电路将缩放结果通过模拟数字电路转化量化为数字信号，并写入存储器中，作为神经网络下一层的输入。流水线结构模数转换器具有高吞吐率、低功耗和占用面积小的优点，因此本发明一个实施例中，采用流水线式的ADC实现AD转换。
至此，上述电路可以在一个周期内完成多比特位N维的宽矢量加权求和操作，即采用模拟电路在单周期内实现了二值权重神经网络中最关键的宽矢量求和计算。
与数字信号实现卷积神经网络相比，采用不同电容值代替多比特位权重的数模混合电路实现神经网络的计算具有更高的计算性能和更低的功耗。
本发明一个实施例中，加运算电路可采用差分方式工作，如图4所示，为本发明基于数模混合神经元的神经网络运算系统一种实施例的1bit权重与4bit激活值神经元N维数据差分结构宽矢量求和示例图，上半部分电路电容驱动电压为高时，与其相对应的电容在下半部分电路中驱动电压为低；反之上半部分电路电容驱动电压为低时，与其相对应的电容在下半部分电路中驱动电压为高。采用此差分结构电路进行加运算操作，可以降低噪声干扰，确保信号稳定可靠。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于数模混合神经元的神经网络运算系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块的名称，仅仅是为了区分各个模块，不视为对本发明的不当限定。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于数模混合神经元的神经网络运算系统，其特征在于，该运算系统包括卷积电路、缩放电路、AD转换电路；
所述卷积电路用于进行输入数据的二值权重和定点量化激活值乘法操作后进行宽矢量求和操作；
所述缩放电路通过增益可编程放大电路基于获取的权重缩放因子对卷积结果进行缩放操作；
所述AD转换电路用于将神经元输出的模拟信号转换为数字信号。
2.根据权利要求1所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述卷积电路包括乘运算电路、加运算电路；
所述乘运算电路用于进行输入数据的二值权重和定点量化激活值乘法操作；
所述加运算电路用于对乘法操作后的输入数据进行宽矢量求和操作。
3.根据权利要求2所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述乘运算电路包括N*m个异或逻辑电路，分别用于对输入数据N个维度中每一个维度数据的二值权重和该维度数据的定点量化激活值的每一位进行乘法操作。
4.根据权利要求2所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述加运算电路包括开关电容阵列、偏置电路、运算放大器；
所述开关电容阵列用于向所述运算放大器提供分压；
所述偏置电路用于修正所述分压；
所述运算放大器基于所述偏置电路修正后的分压获取乘法操作后的输入数据的宽矢量和。
5.根据权利要求4所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述开关电容阵列包括N*m个设定大小的电容、2N*m+1个开关；
所述开关基于获取的二项非重叠时钟信号，控制所述开关电容阵列中N*m个设定大小的电容的连接状态：
所述二项非重叠时钟信号为Φ1时，所述开关电容阵列中N*m个设定大小的电容的两个极板均与参考地相连，电容清零；
所述二项非重叠时钟信号为Φ2时，基于获取的各异或逻辑电路输出信号，将所述开关电容阵列中N*m个设定大小的电容的一个极板与参考电源或参考地相连，电容的另一极板与所述运算放大器正向输入端相连。
6.根据权利要求5所述的基于数模混合神经元的神经网络运算系统，其特征在于，“基于获取的各异或逻辑电路输出信号，将所述开关电容阵列中N*m个设定大小的电容的一个极板与参考电源或参考地相连”，其方法为：
异或逻辑电路输出信号为1时，其对应电容的一个极板通过所述开关与参考电源相连；
异或逻辑电路输出信号为0时，其对应电容的一个极板通过所述开关与参考地相连。
7.根据权利要求5所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述m个设定大小的电容，其电容大小依次为Cu,21Cu,22Cu,...,2m-1Cu。
8.根据权利要求4-7任一项所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述电容为MOM插指电容。
9.根据权利要求1所述的基于数模混合神经元的神经网络运算系统，其特征在于，所述权重缩放因子通过真实权重的L1范数获取。
CN201911324022.2A 2019-12-20 基于数模混合神经元的神经网络运算系统 Active CN110991623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911324022.2A CN110991623B (zh) 2019-12-20 基于数模混合神经元的神经网络运算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911324022.2A CN110991623B (zh) 2019-12-20 基于数模混合神经元的神经网络运算系统

Publications (2)

Publication Number Publication Date
CN110991623A true CN110991623A (zh) 2020-04-10
CN110991623B CN110991623B (zh) 2024-05-28

Family

ID=

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639757A (zh) * 2020-04-11 2020-09-08 复旦大学 一种基于柔性材料的模拟卷积神经网络
CN112766477A (zh) * 2021-01-13 2021-05-07 天津智模科技有限公司 神经网络运算电路
CN112784971A (zh) * 2021-01-13 2021-05-11 天津智模科技有限公司 基于数模混合神经元的神经网络运算电路
WO2021219822A1 (de) * 2020-04-29 2021-11-04 Semron Gmbh Anordnung und verfahren zur durchführung einer vektor-matrix multiplikation mit kapazitiven oder resistiven synaptischen bauelementen
WO2022206193A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 脉冲神经网络电路和基于脉冲神经网络的计算方法
WO2023138656A1 (en) * 2022-01-24 2023-07-27 Liu Ren Shuo Bit-serial computing device and test method for evaluating the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544770A (zh) * 2017-09-15 2018-01-05 中国科学技术大学 一种数模混合输入的、电荷域的模拟乘加器电路
CN109784483A (zh) * 2019-01-24 2019-05-21 电子科技大学 基于fd-soi工艺的二值化卷积神经网络内存内计算加速器
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
KR101991041B1 (ko) * 2018-12-31 2019-06-19 서울대학교산학협력단 아날로그 이진인공신경망 회로에서 활성도 조절을 통한 공정변이 보상방법 및 그 시스템
US20190205729A1 (en) * 2018-01-03 2019-07-04 Silicon Storage Technology, Inc. Programmable Neuron For Analog Non-Volatile Memory In Deep Learning Artificial Neural Network
CN110070178A (zh) * 2019-04-25 2019-07-30 北京交通大学 一种卷积神经网络计算装置及方法
WO2019227518A1 (zh) * 2018-05-08 2019-12-05 华中科技大学 一种基于存储器的卷积神经网络系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544770A (zh) * 2017-09-15 2018-01-05 中国科学技术大学 一种数模混合输入的、电荷域的模拟乘加器电路
US20190205729A1 (en) * 2018-01-03 2019-07-04 Silicon Storage Technology, Inc. Programmable Neuron For Analog Non-Volatile Memory In Deep Learning Artificial Neural Network
WO2019227518A1 (zh) * 2018-05-08 2019-12-05 华中科技大学 一种基于存储器的卷积神经网络系统
KR101991041B1 (ko) * 2018-12-31 2019-06-19 서울대학교산학협력단 아날로그 이진인공신경망 회로에서 활성도 조절을 통한 공정변이 보상방법 및 그 시스템
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN109784483A (zh) * 2019-01-24 2019-05-21 电子科技大学 基于fd-soi工艺的二值化卷积神经网络内存内计算加速器
CN110070178A (zh) * 2019-04-25 2019-07-30 北京交通大学 一种卷积神经网络计算装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周伟雄, 靳东明, 李志坚: "模拟神经元电路实现研究现状与进展", 固体电子学研究与进展, no. 03, 30 September 2002 (2002-09-30), pages 22 - 33 *
潘中良, 张光昭: "数字电路的神经网络模型研究", 中山大学学报(自然科学版), no. 01, 25 January 2000 (2000-01-25), pages 28 - 31 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639757A (zh) * 2020-04-11 2020-09-08 复旦大学 一种基于柔性材料的模拟卷积神经网络
CN111639757B (zh) * 2020-04-11 2023-04-18 复旦大学 一种基于柔性材料的模拟卷积神经网络
WO2021219822A1 (de) * 2020-04-29 2021-11-04 Semron Gmbh Anordnung und verfahren zur durchführung einer vektor-matrix multiplikation mit kapazitiven oder resistiven synaptischen bauelementen
CN112766477A (zh) * 2021-01-13 2021-05-07 天津智模科技有限公司 神经网络运算电路
CN112784971A (zh) * 2021-01-13 2021-05-11 天津智模科技有限公司 基于数模混合神经元的神经网络运算电路
WO2022206193A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 脉冲神经网络电路和基于脉冲神经网络的计算方法
WO2023138656A1 (en) * 2022-01-24 2023-07-27 Liu Ren Shuo Bit-serial computing device and test method for evaluating the same

Similar Documents

Publication Publication Date Title
CN110209375B (zh) 一种基于radix-4编码和差分权重存储的乘累加电路
CN111431536A (zh) 子单元、mac阵列、位宽可重构的模数混合存内计算模组
US10977339B2 (en) Systems and methods for mapping matrix calculations to a matrix multiply accelerator
KR102653822B1 (ko) 혼성 신호 컴퓨팅 시스템 및 방법
US11194886B2 (en) Bit-ordered binary-weighted multiplier-accumulator
US20220414427A1 (en) Spiking convolutional neural network based on flash storage and computing array
CN111144558B (zh) 基于时间可变的电流积分和电荷共享的多位卷积运算模组
CN110378475B (zh) 一种基于多位并行二进制突触阵列的神经形态计算电路
US20050125477A1 (en) High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof
US11386321B2 (en) Neural network circuit
CN110782022A (zh) 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法
CN103095300A (zh) 逐次逼近模拟至数字转换器及转换方法
CN111694544A (zh) 多位复用乘加运算装置、神经网络运算系统以及电子设备
Diaz et al. Spike-based compact digital neuromorphic architecture for efficient implementation of high order FIR filters
CN111327317B (zh) 一种数模混合神经元电路
KR102318819B1 (ko) 멀티 비트 가중치의 연산을 위한 인 메모리 장치
CN110991623B (zh) 基于数模混合神经元的神经网络运算系统
CN110991623A (zh) 基于数模混合神经元的神经网络运算系统
CN112784971A (zh) 基于数模混合神经元的神经网络运算电路
CN111611529A (zh) 电容容量可变的电流积分和电荷共享的多位卷积运算模组
US9847789B1 (en) High precision sampled analog circuits
CN116612794A (zh) 存内计算单元sram、存内计算芯片及存内计算方法
Kiyoyama et al. Design for 3-D Stacked Neural Network Circuit with Cyclic Analog Computing
CN115906976A (zh) 一种全模拟向量矩阵乘法存内计算电路及其应用
Kalade et al. Using sequence to sequence learning for digital bpsk and qpsk demodulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant