CN110311676B - 一种采用开关电流技术的物联网视觉系统和数据处理方法 - Google Patents
一种采用开关电流技术的物联网视觉系统和数据处理方法 Download PDFInfo
- Publication number
- CN110311676B CN110311676B CN201910549402.XA CN201910549402A CN110311676B CN 110311676 B CN110311676 B CN 110311676B CN 201910549402 A CN201910549402 A CN 201910549402A CN 110311676 B CN110311676 B CN 110311676B
- Authority
- CN
- China
- Prior art keywords
- analog
- current
- switch
- circuit
- mixed signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 22
- 210000002569 neuron Anatomy 0.000 claims description 52
- 239000003990 capacitor Substances 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000004148 unit process Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 35
- 238000000034 method Methods 0.000 abstract description 22
- 238000013528 artificial neural network Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 12
- 238000005265 energy consumption Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 41
- 239000000243 solution Substances 0.000 description 15
- 238000004088 simulation Methods 0.000 description 14
- 238000002347 injection Methods 0.000 description 12
- 239000007924 injection Substances 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- WCUXLLCKKVVCTQ-UHFFFAOYSA-M Potassium chloride Chemical compound [Cl-].[K+] WCUXLLCKKVVCTQ-UHFFFAOYSA-M 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/001—Analogue/digital/analogue conversion
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
- H03M1/124—Sampling or signal conditioning arrangements specially adapted for A/D converters
- H03M1/1245—Details of sampling arrangements or methods
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
- H03M1/34—Analogue value compared with reference values
- H03M1/36—Analogue value compared with reference values simultaneously only, i.e. parallel type
- H03M1/361—Analogue value compared with reference values simultaneously only, i.e. parallel type having a separate comparator and reference value for each quantisation level, i.e. full flash converter type
- H03M1/366—Analogue value compared with reference values simultaneously only, i.e. parallel type having a separate comparator and reference value for each quantisation level, i.e. full flash converter type using current mode circuits, i.e. circuits in which the information is represented by current values rather than by voltage values
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
本发明实施例提供了一种采用开关电流技术的物联网视觉系统和数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。
Description
技术领域
本发明涉及神经网络系统架构技术领域，尤其是涉及一种采用开关电流技术的物联网视觉系统和数据处理方法。
背景技术
神经网络(Neural Network,NN)在不同的应用领域取得重大进展，在分类、识别、分割以及其他领域具有优异的表现。然而，尽管它在基于图形处理器GPU的大规模系统中取得了成功，但是在现有处理平台上实时且低能耗的处理这些任务仍然是一项具有挑战性的工作。在低功率感器节点以及具有高度计算和存储密集型神经网络算法的嵌入式系统的应用中，这种挑战尤为突出。
传统的基于开关电容(Switched-capacitor，SC)的计算系统存在着一些问题。首先，基于开关电容的计算需要精准的线性电容，这在标准数字技术下难以实现。其次，电容值对于失配问题和工艺误差非常敏感。再次，低功耗设计中常使用低电压和近阈值电源，引起了低摆幅和低动态范围，从而不可避免地导致了应用性能的下降。最后，线性电容占用了非常大的面积，减少了系统的面积利用率。
在实际应用过程中，发明人发现现有的物联网视觉系统架构在计算过程中，模数转换器在数据转换时需消耗大量能量，导致整个系统的处理效率低、能耗高。
发明内容
本发明实施例提供一种采用开关电流技术的物联网视觉系统和数据处理方法，用以解决现有技术中的物联网视觉系统架构在计算过程中，模数转换器在数据转换时需消耗大量能量，导致整个系统的处理效率低、能耗高的问题。
针对以上技术问题，第一方面，本发明的实施例提供了一种采用开关电流技术的物联网视觉系统，包括传感器单元、混合信号计算单元、模数转换器；
所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；
其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中。
可选地，所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；
每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；
其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。
可选地，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；
每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。
可选地，包括：
所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；
所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；
所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；
所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。
可选地，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。
可选地，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。
第二方面，本实施例提供了一种基于以上任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，包括：
所述传感器单元采集图片，生成采集的图片对应的模拟信号；
所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；
训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。
可选地，对所述混合信号计算单元的训练包括：
获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；
将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元
本发明的实施例提供了一种采用开关电流技术的物联网视觉系统和数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的传统的物联网视觉系统架构示意图；
图2是本发明另一个实施例提供一种采用开关电流技术的物联网视觉系统的架构示意图；
图3是本发明另一个实施例提供的物联网视觉系统中传感器单元和混合信号计算单元的电路结构示意图；
图4是本发明另一个实施例提供的典型的开关电流电路的原理示意图，其中，(a)为典型的开关电流电路的电路结构，(b)为典型的开关电流电路的控制原理图；
图5是本发明另一个实施例提供的神经元电路的原理示意图，其中，(a)为本实施例神经元电路的电路图，(b)为本实施例的神经元电路的控制信号时序图；
图6是本发明另一个实施例提供的沟道长度调制效应的解决方案示意图，(a)为普通标准电流镜的电路图，(b)为本实施例中CSCG电流镜像电路图，(c)普通电流镜像电路的仿真结果和CSCG电流镜像电路的仿真结果对比示意图；
图7是本发明另一个实施例提供的电荷注入和时钟馈通的解决方案示意图，(a)为电荷注入问题示意图，(b)为时钟馈通的问题示意图，(c)为本实施例中使用互补开关和增加虚拟开关解决电荷注入和时钟馈通的问题的示意图，(d)为本实施例中使用非重叠采样时钟阻断了电流通路降低电荷注入和时钟馈通的问题干扰的示意图；
图8是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的基于SI的神经元电路的工作时序图；
图9是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的基于开关电流的神经元电路的蒙特卡洛仿真结果；
图10是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的仿真配置图；
图11是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的工作时序图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请旨在对物联网视觉系统进行改进，具体对物联网视觉系统整体架构和物联网视觉系统的神经网络的结构进行改进，以降低系统运行的功耗，提高系统计算效率。
在对本申请提供的采用开关电流技术的物联网视觉系统进行介绍之前，先对传统的物联网视觉系统架构进行介绍，图1为本实施例提供的传统的物联网视觉系统架构示意图，参见图1，在传统的架构中，用于进行图片采集的传感器将模拟信号传入模数转换器(ADC)，由模数转换器将模拟信号转换为数字信号后，再通过数字计算单元处理该数字信号，将处理结果传输到其它数字系统。在传统的物联网视觉系统中，模数转换器需要处理大量的数据，使得系统运行的功耗较高，计算效率较低。
为了解决上述技术问题，图2是本实施例提供的一种采用开关电流技术的物联网视觉系统的架构示意图，参见图2，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器；
所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；
其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中。
如图2所示，在本实施例提供的采用开关电流技术的物联网视觉系统中，传感器单元连接混合信号计算单元，混合信号计算单元连接模数转换器ADC，ADC连接该物联网视觉系统之外的数字系统。传感器单元读出模拟信号传输到混合信号计算单元，由混合信号计算单元处理由传感器单元输入的模拟信号。这种传感器单元将模拟信号直接输入到混合信号计算单元的计算叫做近传感计算，本实施例提供的采用开关电流技术的物联网视觉系统通过近传感器设计。近传感器设计中，ADC不需要对大量的模拟信号进行模数转换，大大降低了ADC的处理数据量，降低了系统功耗，提高了系统的计算效率。
具体来说，传统计算架构在计算之前，通过ADC将模拟传感器读数转换为数字信号，然而数据转换时消耗的大量能量会降低整个系统的处理效率。针对这一问题，本实施例提供了近传感器设计。首先通过混合信号计算单元处理传感器单元的模拟输出数据，然后通过ADC将计算结果传给数字系统。与传统的数字系统相比，基于近传感器设计的处理架构速度更快，能耗更低。
本实施例提供了一种采用开关电流技术的物联网视觉系统，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。
进一步地，在上述实施例的基础上，所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；
每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；
其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。
混合信号计算单元为物联网视觉系统的神经网络，本实施例对该神经网络中的硬件电路做出了改进。图3为本实施例提供的物联网视觉系统中传感器单元和混合信号计算单元的电路结构示意图，参见图3，电流模有源像素传感器即物联网视觉系统中用于采集图片的传感器单元，与传感器单元连接的混合信号计算单元包括多个运算层，图3中示意出了第1层的电路结构。每一运算层包括至少一个运算通道，图3中第1层运算层中包括Channel1至Channeln个运算通道。以Channel1这一运算通道为例，其包括W11所在模块至Wm1所在模块共m个运算模块。以W11所在模块为例，其包括W11这一存储部件和在W11周围的用于进行计算的元件组成的运算部件。如虚线框中的放大图所示，每一运算通道包括两条输出总线，分别是BL和BLB。BL和BLB作为正极线和负极线连接神经元电路，由神经元电路进行计算后输入到后一个计算层或者输入到模数转换器中。
传统的基于ASIC/FPGA的神经网络加速器中，用于存储神经网络参数的存储器位于主要处理单元之外。然而，这种传统结构在外部存储器遇到了“Von Neumann瓶颈”，其吞吐量和能量效率受限于外部存储器的访问速度。为了解决这一问题，在本实施例中，混合信号计算单元的每一运算部件包括存储部件和运算部件，这种存储一体化(Processing-in-memory，PIM)的电路设计将计算操作移动到存储器元件附近甚至在存储器元件内进行计算，对于克服存储器的瓶颈具有巨大潜力。
进一步地，每一存储部件均存储有其所在的运算通道对应的权重，权重仅为两个值，即-1或1。
具体来说，如图3中的虚线框所示，每个权重都存储于6T SRAM(存储部件)中，并且这些值控制着MOS开关Mp和Mn。电流镜像电路使得Iin等于输入激活电流Iact。当对应的权重为1时，正极线的电流Ip为Iin之和。当对应的权重为-1时，负极线的电流Ip为Iin之和。第k个通道的输出电流Ip,k和In,k可通过下列等式计算得出：
本实施例提供了一种采用开关电流技术的物联网视觉系统，混合信号计算单元采用存储一体化设计，运算模块不需要通过访问外部存储设备获取数据，提高了运算模块计算效率。
以下结合图3对混合信号计算单元的实现原理进行分析，如图3所示，线性电流模式有源像素传感器的模拟信号数据可以直接连接到我们的PIM视觉系统，在该系统中完成基于NN的MAC运算。
信号流向外围电路部分去完成诸如最大化池化(max pooling)等的操作。考虑到全连接层和卷积层的算法可以被兼容，MAC运算可以表示为下式：
其中W代表权重矩阵，
代表输入的激活向量
的电流。
假设W是m×n矩阵，
是1×m的行向量，输出
则是1×n的行向量。首先，
中的激活电流需要通过电流镜像电路复制出n份。之后电流流向突触部分(即混合信号计算单元的每一运算通道)。突触部分含有存储单元和开关。本实施例使用6T SRAM去存储NN模型的权重值：高电平代表权重“1”，低电平代表权重“-1”。这些值控制着连接在SRAM单元的开关：当存储值为“高”时，输入电流
会被加到左边的正极线。反之，
会被加到右边的负极线。在神经元电路部分，正极电流和负极电流会在基于SI的积分器中相减得到输出电流。输出电流便会流入外围电路以实现线性整流ReLU和最大池化操作。最后输出数据会被送到NN的下一层去完成整个NN算法。
进一步地，在上述各实施例的基础上，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；
每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。
如图3所示，运算通道的正极线和负极线输出的电流进入神经元电路，由神经元电路做进一步地处理。在传统的架构中，神经元电路采用开关电容电路，这种电路需要精确的电容，而目前难以制造出集成电路中的精确电容，并且电容值会根据失配、工艺问题等原因而发生变化，此外，线性电容通常需要消耗大量面积，从而降低了芯片的面积利用率。针对这一问题，本实施例中的神经元电流均为开关电流(Switched Current，SI)电路，相比于传统技术中的开关电容电路不需要线性电容，避免了线性电容需要占用较大面积的情况，提高了芯片的空间利用率。
给了更好的说明在神经元电路中使用开关电流电路的优势，以下对典型的开关电流电路进行介绍，图4为本实施例提供的典型的开关电流电路的原理示意图，其中，(a)为典型的开关电流电路的电路结构，(b)为典型的开关电流电路的控制原理图。参见图4，在典型的开关电流电路中，开关S1，S2由两相非重叠时钟电压脉冲Φ1，Φ2所控制。假设两个MOS晶体管规格相同，且当电平为高时开关闭合。当Φ1为高电平时，S1闭合，S2断开，流过M1的电流为J+Iin，同时将电容C(连接在栅极和地之间的电容)充电至Vgs1。在下个时钟周期，当Φ2为高电平时，S1断开，S2闭合，此时电路为电流镜像电路，通过简单计算可得出此时的输出电流为-Iin。也就是说，当S2断开时，电容C的电压不会改变，使得M2的电流维持在J+Iin。因此，在Φ2的下个周期前，输出电流一直为-Iin。其中，在开关电流电路中，可以使用MOS电容器代替MIM电容器作为存储元件来提供模拟存储器的能力。与动态逻辑电路的操作类似，电压由MOSFET的栅极采样并保持在其非临界栅极电容上。栅极上稳定的电压信号在漏极中产生相应的稳定电流信号，且该电流信号通常与栅极-源极电压的平方成比例。
本实施例提供了一种采用开关电流技术的物联网视觉系统，混合信号计算单元的神经网络采用开关电流电路，相比于开关电容电路节省了芯片的空间利用率。
进一步地，在上述各实施例的基础上，包括：
所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；
所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；
所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；
所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。
本实施例提供了神经元电路的电路设计，图5为本实施例提供的神经元电路的原理示意图，其中，(a)为本实施例神经元电路的电路图，(b)为本实施例的神经元电路的控制信号时序图。参见图5，正极线电流Iin_p，负极线电流Iin_n，第一电流源2J，第二电流源J，第一晶体管M1，第二晶体管M2，第三晶体管M3，第一电容C1，第二电容C2，第一开关S1，第二开关S2，第三开关P1，第四开关P2和神经元电路输出端Iout。第一电路节点为图5中的A，第二电路节点为图5中B，第三电路节点为图5中C，第四电路节点为图5中的D。所述第一晶体管的第一极为源极且所述第一晶体管的第二极为漏极，或者所述第一晶体管的第一极为漏极且所述第一晶体管的第二极为源极。所述第二晶体管的第一极为源极且所述第二晶体管的第二极为漏极，或者所述第二晶体管的第一极为漏极且所述第二晶体管的第二极为源极。所述第三晶体管的第一极为源极且所述第三晶体管的第二极为漏极，或者所述第三晶体管的第一极为漏极且所述第三晶体管的第二极为源极。
进一步地，在上述各实施例的基础上，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。
现结合图5中(b)所示的时序图，对神经元电路的几个处理模式进行介绍：
正极电流Iin_p和负极电流Iin_n被送入神经元电路，并且整个电路被四个信号S1,P1,S2,P2,所控制，包括以下几个模式。
(1)重置模式(Reset)：电路被重置，且M1，M2和M3的电流均为J。
(2)正积分(+integ)模式：在第一个周期，当S1和S1闭合时，M1的电流为J+Iin_p，M2和M3的电流均为J。在下一个周期，P2闭合，M2和M3组成了电流镜像电路。由于第一个周期后P1断开，C1的电压保持不变，也就是说IM1维持J+Iin_p不变。因此，通过M2和M3的电流均为2J-(J+Iin_p)＝J-Iin_p。根据基尔霍夫电流定律(KCL)，输出电流Iout等于Iin_p。
(3)负积分(-integ)模式：在S2闭合前的周期，M1，M2和M3的电流均为J。S2和P2闭合后，IM1仍为J，
因此，输出电流为-Iin_n。
(4)正负积分(+/-integ)模式：和+integ，-integ分析类似，可以得出Iout＝Iin_p-Iin_n。
在图5所示的神经元电路中所用的电容(C1和C2)仅用来采样以及保持，不参与计算，意味着他们的电容值不用是精确值。因此，可以使用MOS电容替代MIM电容。并且C1和C2不需要有很大的电容值，从而节省了空间。此外，基于电流的神经元仅受低电压影响，而不受低动态范围的影响，并且可以通过增加M1，M2和M3的电流减少噪声影响。
本实施例提供了一种采用开关电流技术的物联网视觉系统，通过神经元电路实现了对正极线电流和负极线电流的处理，为后续计算做好了准备。
进一步地，在上述各实施例的基础上，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。
为了解决电路中存在的沟道长度调制效应的问题，本实施例提供的方案在电流源输出端设置CSCG电路。沟道长度调制效应给电流带来了显著误差。本实例设置的CSCG电路能够减少沟道长度调制的影响。通过把Vb设定为Vgs4+Vov3，该共源共栅电流镜像电路可以更精确地复制电流。图6为本实施例提供的沟道长度调制效应的解决方案示意图，(a)为普通标准电流镜的电路图，(b)为本实施例中CSCG电流镜像电路图，(c)普通电流镜像电路的仿真结果和CSCG电流镜像电路的仿真结果对比示意图。参见图6，实线代表普通电流镜像电路的仿真结果，虚线代表CSCG电流镜像电路的仿真结果。仿真结果表明，CSCG电流镜像电路基本上消除了沟道长度调制带来的误差，且不会引起输出动态范围的大幅度下降。
本实施例提供了一种采用开关电流技术的物联网视觉系统，通过CSCG电流镜像电路解决了沟道长度调制带来的误差。
此外，电路还可能存在的电荷注入和时钟馈通的问题，图7为本实施例提供的电荷注入和时钟馈通的解决方案示意图，(a)为电荷注入问题示意图，(b)为时钟馈通的问题示意图，(c)为本实施例中使用互补开关和增加虚拟开关解决电荷注入和时钟馈通的问题的示意图，(d)为本实施例中使用非重叠采样时钟阻断了电流通路降低电荷注入和时钟馈通的问题干扰的示意图。如图7中(a)所示，若只使用NMOS作为开关，当开关断开时，NMOS沟道反转层中的电荷会经源极和漏极流出。如图7中(b)所示，因为MOS开关通过其栅极-漏极或栅极-源极重叠电容将时钟转变耦合到电容器C1，出现时钟馈通，引起C1电压误差。图7的(c)中使用互补开关和增加虚拟开关来减少电荷注入和时钟馈通，图7的(d)中使用非重叠采样时钟阻断了电流通路，从而减少了电荷注入和时钟馈通。
第二方面，基于上述的采用开关电流技术的物联网视觉系统，本实施例提供了一种基于以上任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，包括：
所述传感器单元采集图片，生成采集的图片对应的模拟信号；
所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；
训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。
混合信号计算单元作为一种神经网络的电路，在通过其实现运算时，需要预先通过样本对其进行训练。
进一步地，在上述实施例的基础上，对所述混合信号计算单元的训练包括：
获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；
将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元。
本实施例提供了一种基于采用开关电流技术的物联网视觉系统的数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。
为了更为清楚的说明本实施例设计的采用开关电流技术的物联网视觉系统的性能，以下使用SMIC 180nm混合信号CMOS技术库，在Cadence上对基于SI电路的神经元单元和整个PIM突触神经元视觉系统进行了仿真，并对通过不同平台和设计方法的工作进行了比较。
图8为本实施例提供的采用开关电流技术的物联网视觉系统的基于SI的神经元电路的工作时序图，参见图8，神经元电路被S1，P1，S2，P2所控制。为了更好的表示神经元单元的功能，+/-integ被分为了两部分：+integ和-integ。首先，在+integ部分，输出电流(Iinteg)等于Iin_p。之后是-integ部分，这时输出电流变为Iin_p-Iin_n。该时序图表明了基于SI地神经元电路的正确性。
图9为本实施例提供的采用开关电流技术的物联网视觉系统的基于开关电流的神经元电路的蒙特卡洛仿真结果。该仿真中模拟了静态电流误差(Ierror)，并且考虑了失配和工艺变化问题。考虑到电路的最大电流可达25μA，输出电流的精度为8位，可知本实施例提供的基于SI的神经元的标准偏差仅为当前摆幅的1.13％。因此，本实施例提供的基于SI的神经元电路中的失配和过程变化所带来的影响可以忽略不计。从仿真结果得出基于SI的神经元打动态范围达到了58dB，意味着模拟激活的最大量化精度可达到9位。
图10为本实施例提供的采用开关电流技术的物联网视觉系统的仿真配置图。输入是传感器单元的行读数。然后，在模拟域中完成计算(MAC，ReLU)。将同步输出通道数设置为4。因此，四个输出电流(Iout,1,Iout,2,Iout,3和Iout,4)以相同的周期从基于SI的神经元发送到诸如ReLU的外围电路部分。
图11为本实施例提供的采用开关电流技术的物联网视觉系统的工作时序图，从图中可以看出，本发明将传感器与计算单元结合在一起，从传感器输出的模拟信号直接流入计算单元完成运算，整个计算单元时序如下：首先，在数字域中，权重矩阵被写入SRAM阵列。之后成计算(MAC，ReLU)。经过ReLU，负极电流被设为0，正极电流维持原值。在模拟计算中，由于总电流没有明显变化，静态功耗在总能耗中占比较大，说明通过调整电路的直流偏置点，本发明提供的采用开关电流技术的物联网视觉系统的功率可以大幅减少。
最后，仿真结果表明：通过构建基于SMIC 180nm CMOS技术和1.8V电源的4个MAC单元(MAU)(每个MAU的最大MAC数为1024)，系统的平均功耗为1.45mW。如图11所示，MAC运算可以在200ns内完成。因此，考虑到每个MAC包含两步操作(1次乘法和1次加法)，本发明的采用开关电流技术的物联网视觉系统架构的能量效率达到4×1024×2/200ns/1.45mW＝28.25TOPS/W.面积开销为2.44mm×2.60mm＝5.82mm2，仿真时使用频率为50MHz的时钟。
为了更为清楚的展示本申请提供的采用开关电流技术的物联网视觉系统与传统物联网视觉系统的差别，表1为本申请提供的采用开关电流技术的物联网视觉系统与传统物联网视觉系统的性能对比表，其中，这些系统都使用二进制权重网络。由表1可知，虽然使用的技术节点是180nm，但在功耗方面本发明提供的采用开关电流技术的物联网视觉系统胜过现有技术。此外，本发明提供的采用开关电流技术的物联网视觉系统的PIM视觉系统具有28.25TOPS/W的能效，这比其余使用了更先进技术的工作更高。
表1采用开关电流技术的物联网视觉系统与传统物联网视觉系统的性能对比表
本发明提出了一种采用开关电流技术的物联网视觉系统，基于该系统低功耗PIM的架构，利用SRAM存储二进制权重和基于SI的神经元来进行计算。该电路设计通过加速MAC运算来加速密集计算的NN算法，仿真结果表明该混合信号PIM架构具有高能效。本发明采用开关电流技术的物联网视觉系统的设计使用了SMIC 180nm CMOS技术的58mm2。本发明工作电压为1.8V，平均功耗1.45mW。本发明提供的采用开关电流技术的物联网视觉系统在功耗方面优于现有技术，并在180nm技术中实现了高能效(高达28.25TOPS/W)。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (7)
1.一种采用开关电流技术的物联网视觉系统，其特征在于，包括传感器单元、混合信号计算单元、模数转换器；
所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；
其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中；
所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；
每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；
其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。
2.根据权利要求1所述的采用开关电流技术的物联网视觉系统，其特征在于，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；
每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。
3.根据权利要求2所述的采用开关电流技术的物联网视觉系统，其特征在于，包括：
所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；
所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；
所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；
所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。
4.根据权利要求3所述的采用开关电流技术的物联网视觉系统，其特征在于，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。
5.根据权利要求3所述的采用开关电流技术的物联网视觉系统，其特征在于，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。
6.一种基于权利要求1-5任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，其特征在于，包括：
所述传感器单元采集图片，生成采集的图片对应的模拟信号；
所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；
训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。
7.根据权利要求6中所述的数据处理方法，其特征在于，对所述混合信号计算单元的训练包括：
获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；
将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549402.XA CN110311676B (zh) | 2019-06-24 | 2019-06-24 | 一种采用开关电流技术的物联网视觉系统和数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549402.XA CN110311676B (zh) | 2019-06-24 | 2019-06-24 | 一种采用开关电流技术的物联网视觉系统和数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110311676A CN110311676A (zh) | 2019-10-08 |
| CN110311676B true CN110311676B (zh) | 2020-10-16 |
Family
ID=68076508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910549402.XA Active CN110311676B (zh) | 2019-06-24 | 2019-06-24 | 一种采用开关电流技术的物联网视觉系统和数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110311676B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202141290A (zh) * | 2020-01-07 | 2021-11-01 | 韓商愛思開海力士有限公司 | 記憶體中處理（ｐｉｍ）系統和ｐｉｍ系統的操作方法 |
| CN111753975B (zh) * | 2020-07-01 | 2024-03-05 | 复旦大学 | 一种面向物联网的自然模拟信号的类脑处理方法 |
| CN111901541B (zh) * | 2020-07-14 | 2021-07-09 | 清华大学 | 一种直接光电流计算单元电路 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9410850B2 (en) * | 2013-09-20 | 2016-08-09 | Vlad Joseph Novotny | Infrared imager readout electronics |
| CN106856405A (zh) * | 2015-12-08 | 2017-06-16 | 清华大学 | 一种开关电流装置及基于该装置的数模转换器 |
| CN107679622A (zh) * | 2017-09-06 | 2018-02-09 | 清华大学 | 一种面向神经网络算法的模拟感知计算架构 |
| CN108513042A (zh) * | 2017-02-24 | 2018-09-07 | 清华大学 | 用于图像处理的装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665049B (zh) * | 2012-03-29 | 2014-09-17 | 中国科学院半导体研究所 | 基于可编程视觉芯片的视觉图像处理系统 |
| US11475269B2 (en) * | 2015-12-15 | 2022-10-18 | Analog Devices, Inc. | Convolutional neural network |
| CN107070452A (zh) * | 2017-03-29 | 2017-08-18 | 上海新储集成电路有限公司 | 一种能够降低模数转换器功耗的模数转换系统 |
| CN107437944B (zh) * | 2017-07-21 | 2020-10-20 | 北京大学（天津滨海）新一代信息技术研究院 | 一种电容型逐次逼近模数转换器及其自校准方法 |
-
2019
- 2019-06-24 CN CN201910549402.XA patent/CN110311676B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9410850B2 (en) * | 2013-09-20 | 2016-08-09 | Vlad Joseph Novotny | Infrared imager readout electronics |
| CN106856405A (zh) * | 2015-12-08 | 2017-06-16 | 清华大学 | 一种开关电流装置及基于该装置的数模转换器 |
| CN108513042A (zh) * | 2017-02-24 | 2018-09-07 | 清华大学 | 用于图像处理的装置 |
| CN107679622A (zh) * | 2017-09-06 | 2018-02-09 | 清华大学 | 一种面向神经网络算法的模拟感知计算架构 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110311676A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110311676B (zh) | 一种采用开关电流技术的物联网视觉系统和数据处理方法 | |
| US11948659B2 (en) | Sub-cell, mac array and bit-width reconfigurable mixed-signal in-memory computing module | |
| CN110352436B (zh) | 用于神经网络训练的具有迟滞更新的电阻处理单元 | |
| US9697877B2 (en) | Compute memory | |
| CN110008440A (zh) | 一种基于模拟矩阵运算单元的卷积运算及其应用 | |
| Liu et al. | NS-CIM: A current-mode computation-in-memory architecture enabling near-sensor processing for intelligent IoT vision nodes | |
| US11055611B2 (en) | Circuit for CMOS based resistive processing unit | |
| EP3985670A1 (en) | Subunit, mac array, and analog and digital combined in-memory computing module having reconstructable bit width | |
| Kang et al. | An energy-efficient memory-based high-throughput VLSI architecture for convolutional networks | |
| CN110288510B (zh) | 一种近传感器视觉感知处理芯片及物联网传感装置 | |
| CN113593622B (zh) | 存内计算装置及运算装置 | |
| CN110941185B (zh) | 一种用于二值神经网络的双字线6tsram单元电路 | |
| Milev et al. | Analog implementation of ANN with inherent quadratic nonlinearity of the synapses | |
| CN108712621B (zh) | 一种基于忆阻和cmos的运动目标检测电路 | |
| Molin et al. | Low-power, low-mismatch, highly-dense array of VLSI Mihalas-Niebur neurons | |
| CN114758699A (zh) | 一种数据处理方法、系统、装置及介质 | |
| US11610101B2 (en) | Formation failure resilient neuromorphic device | |
| Kohda et al. | Unassisted true analog neural network training chip | |
| US20190294957A1 (en) | Arithmetic device and arithmetic method | |
| TWI752823B (zh) | 記憶體系統 | |
| Krestinskaya et al. | Real-time analog pixel-to-pixel dynamic frame differencing with memristive sensing circuits | |
| Laleni et al. | In-Memory Computing exceeding 10000 TOPS/W using Ferroelectric Field Effect Transistors for EdgeAI Applications | |
| US20220092401A1 (en) | Random weight generating circuit | |
| JP2001052101A (ja) | 半導体演算回路及び演算装置 | |
| JPH06187472A (ja) | アナログニューラルネットワーク |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |