CN110311676A - 一种采用开关电流技术的物联网视觉系统和数据处理方法 - Google Patents

Abstract

本发明实施例提供了一种采用开关电流技术的物联网视觉系统和数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。

Description

一种采用开关电流技术的物联网视觉系统和数据处理方法

技术领域

本发明涉及神经网络系统架构技术领域，尤其是涉及一种采用开关电流技术的物联网视觉系统和数据处理方法。

背景技术

神经网络(Neural Network,NN)在不同的应用领域取得重大进展，在分类、识别、分割以及其他领域具有优异的表现。然而，尽管它在基于图形处理器GPU的大规模系统中取得了成功，但是在现有处理平台上实时且低能耗的处理这些任务仍然是一项具有挑战性的工作。在低功率感器节点以及具有高度计算和存储密集型神经网络算法的嵌入式系统的应用中，这种挑战尤为突出。

传统的基于开关电容(Switched-capacitor，SC)的计算系统存在着一些问题。首先，基于开关电容的计算需要精准的线性电容，这在标准数字技术下难以实现。其次，电容值对于失配问题和工艺误差非常敏感。再次，低功耗设计中常使用低电压和近阈值电源，引起了低摆幅和低动态范围，从而不可避免地导致了应用性能的下降。最后，线性电容占用了非常大的面积，减少了系统的面积利用率。

在实际应用过程中，发明人发现现有的物联网视觉系统架构在计算过程中，模数转换器在数据转换时需消耗大量能量，导致整个系统的处理效率低、能耗高。

发明内容

本发明实施例提供一种采用开关电流技术的物联网视觉系统和数据处理方法，用以解决现有技术中的物联网视觉系统架构在计算过程中，模数转换器在数据转换时需消耗大量能量，导致整个系统的处理效率低、能耗高的问题。

针对以上技术问题，第一方面，本发明的实施例提供了一种采用开关电流技术的物联网视觉系统，包括传感器单元、混合信号计算单元、模数转换器；

所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；

其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

可选地，所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；

每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；

其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。

可选地，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；

每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。

可选地，包括：

所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；

所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；

所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；

所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。

可选地，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。

可选地，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。

第二方面，本实施例提供了一种基于以上任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，包括：

所述传感器单元采集图片，生成采集的图片对应的模拟信号；

所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；

训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

可选地，对所述混合信号计算单元的训练包括：

获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；

将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元

本发明的实施例提供了一种采用开关电流技术的物联网视觉系统和数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的传统的物联网视觉系统架构示意图；

图2是本发明另一个实施例提供一种采用开关电流技术的物联网视觉系统的架构示意图；

图3是本发明另一个实施例提供的物联网视觉系统中传感器单元和混合信号计算单元的电路结构示意图；

图4是本发明另一个实施例提供的典型的开关电流电路的原理示意图，其中，(a)为典型的开关电流电路的电路结构，(b)为典型的开关电流电路的控制原理图；

图5是本发明另一个实施例提供的神经元电路的原理示意图，其中，(a)为本实施例神经元电路的电路图，(b)为本实施例的神经元电路的控制信号时序图；

图6是本发明另一个实施例提供的沟道长度调制效应的解决方案示意图，(a)为普通标准电流镜的电路图，(b)为本实施例中CSCG电流镜像电路图，(c)普通电流镜像电路的仿真结果和CSCG电流镜像电路的仿真结果对比示意图；

图7是本发明另一个实施例提供的电荷注入和时钟馈通的解决方案示意图，(a)为电荷注入问题示意图，(b)为时钟馈通的问题示意图，(c)为本实施例中使用互补开关和增加虚拟开关解决电荷注入和时钟馈通的问题的示意图，(d)为本实施例中使用非重叠采样时钟阻断了电流通路降低电荷注入和时钟馈通的问题干扰的示意图；

图8是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的基于SI的神经元电路的工作时序图；

图9是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的基于开关电流的神经元电路的蒙特卡洛仿真结果；

图10是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的仿真配置图；

图11是本发明另一个实施例提供的采用开关电流技术的物联网视觉系统的工作时序图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请旨在对物联网视觉系统进行改进，具体对物联网视觉系统整体架构和物联网视觉系统的神经网络的结构进行改进，以降低系统运行的功耗，提高系统计算效率。

在对本申请提供的采用开关电流技术的物联网视觉系统进行介绍之前，先对传统的物联网视觉系统架构进行介绍，图1为本实施例提供的传统的物联网视觉系统架构示意图，参见图1，在传统的架构中，用于进行图片采集的传感器将模拟信号传入模数转换器(ADC)，由模数转换器将模拟信号转换为数字信号后，再通过数字计算单元处理该数字信号，将处理结果传输到其它数字系统。在传统的物联网视觉系统中，模数转换器需要处理大量的数据，使得系统运行的功耗较高，计算效率较低。

为了解决上述技术问题，图2是本实施例提供的一种采用开关电流技术的物联网视觉系统的架构示意图，参见图2，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器；

所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；

其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

如图2所示，在本实施例提供的采用开关电流技术的物联网视觉系统中，传感器单元连接混合信号计算单元，混合信号计算单元连接模数转换器ADC，ADC连接该物联网视觉系统之外的数字系统。传感器单元读出模拟信号传输到混合信号计算单元，由混合信号计算单元处理由传感器单元输入的模拟信号。这种传感器单元将模拟信号直接输入到混合信号计算单元的计算叫做近传感计算，本实施例提供的采用开关电流技术的物联网视觉系统通过近传感器设计。近传感器设计中，ADC不需要对大量的模拟信号进行模数转换，大大降低了ADC的处理数据量，降低了系统功耗，提高了系统的计算效率。

具体来说，传统计算架构在计算之前，通过ADC将模拟传感器读数转换为数字信号，然而数据转换时消耗的大量能量会降低整个系统的处理效率。针对这一问题，本实施例提供了近传感器设计。首先通过混合信号计算单元处理传感器单元的模拟输出数据，然后通过ADC将计算结果传给数字系统。与传统的数字系统相比，基于近传感器设计的处理架构速度更快，能耗更低。

本实施例提供了一种采用开关电流技术的物联网视觉系统，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。

进一步地，在上述实施例的基础上，所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；

每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；

其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。

混合信号计算单元为物联网视觉系统的神经网络，本实施例对该神经网络中的硬件电路做出了改进。图3为本实施例提供的物联网视觉系统中传感器单元和混合信号计算单元的电路结构示意图，参见图3，电流模有源像素传感器即物联网视觉系统中用于采集图片的传感器单元，与传感器单元连接的混合信号计算单元包括多个运算层，图3中示意出了第1层的电路结构。每一运算层包括至少一个运算通道，图3中第1层运算层中包括Channel1至Channeln个运算通道。以Channel1这一运算通道为例，其包括W11所在模块至Wm1所在模块共m个运算模块。以W11所在模块为例，其包括W11这一存储部件和在W11周围的用于进行计算的元件组成的运算部件。如虚线框中的放大图所示，每一运算通道包括两条输出总线，分别是BL和BLB。BL和BLB作为正极线和负极线连接神经元电路，由神经元电路进行计算后输入到后一个计算层或者输入到模数转换器中。

传统的基于ASIC/FPGA的神经网络加速器中，用于存储神经网络参数的存储器位于主要处理单元之外。然而，这种传统结构在外部存储器遇到了“Von Neumann瓶颈”，其吞吐量和能量效率受限于外部存储器的访问速度。为了解决这一问题，在本实施例中，混合信号计算单元的每一运算部件包括存储部件和运算部件，这种存储一体化(Processing-in-memory，PIM)的电路设计将计算操作移动到存储器元件附近甚至在存储器元件内进行计算，对于克服存储器的瓶颈具有巨大潜力。

进一步地，每一存储部件均存储有其所在的运算通道对应的权重，权重仅为两个值，即-1或1。

具体来说，如图3中的虚线框所示，每个权重都存储于6T SRAM(存储部件)中，并且这些值控制着MOS开关M_p和M_n。电流镜像电路使得I_in等于输入激活电流I_act。当对应的权重为1时，正极线的电流I_p为I_in之和。当对应的权重为-1时，负极线的电流I_p为I_in之和。第k个通道的输出电流I_p,k和I_n,k可通过下列等式计算得出：

本实施例提供了一种采用开关电流技术的物联网视觉系统，混合信号计算单元采用存储一体化设计，运算模块不需要通过访问外部存储设备获取数据，提高了运算模块计算效率。

以下结合图3对混合信号计算单元的实现原理进行分析，如图3所示，线性电流模式有源像素传感器的模拟信号数据可以直接连接到我们的PIM视觉系统，在该系统中完成基于NN的MAC运算。

信号流向外围电路部分去完成诸如最大化池化(max pooling)等的操作。考虑到全连接层和卷积层的算法可以被兼容，MAC运算可以表示为下式：

其中W代表权重矩阵，代表输入的激活向量的电流。

假设W是m×n矩阵，是1×m的行向量，输出则是1×n的行向量。首先，中的激活电流需要通过电流镜像电路复制出n份。之后电流流向突触部分(即混合信号计算单元的每一运算通道)。突触部分含有存储单元和开关。本实施例使用6T SRAM去存储NN模型的权重值：高电平代表权重“1”，低电平代表权重“-1”。这些值控制着连接在SRAM单元的开关：当存储值为“高”时，输入电流会被加到左边的正极线。反之，会被加到右边的负极线。在神经元电路部分，正极电流和负极电流会在基于SI的积分器中相减得到输出电流。输出电流便会流入外围电路以实现线性整流ReLU和最大池化操作。最后输出数据会被送到NN的下一层去完成整个NN算法。

进一步地，在上述各实施例的基础上，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；

每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。

如图3所示，运算通道的正极线和负极线输出的电流进入神经元电路，由神经元电路做进一步地处理。在传统的架构中，神经元电路采用开关电容电路，这种电路需要精确的电容，而目前难以制造出集成电路中的精确电容，并且电容值会根据失配、工艺问题等原因而发生变化，此外，线性电容通常需要消耗大量面积，从而降低了芯片的面积利用率。针对这一问题，本实施例中的神经元电流均为开关电流(Switched Current，SI)电路，相比于传统技术中的开关电容电路不需要线性电容，避免了线性电容需要占用较大面积的情况，提高了芯片的空间利用率。

给了更好的说明在神经元电路中使用开关电流电路的优势，以下对典型的开关电流电路进行介绍，图4为本实施例提供的典型的开关电流电路的原理示意图，其中，(a)为典型的开关电流电路的电路结构，(b)为典型的开关电流电路的控制原理图。参见图4，在典型的开关电流电路中，开关S₁，S₂由两相非重叠时钟电压脉冲Φ₁，Φ₂所控制。假设两个MOS晶体管规格相同，且当电平为高时开关闭合。当Φ₁为高电平时，S₁闭合，S₂断开，流过M₁的电流为J+I_in，同时将电容C(连接在栅极和地之间的电容)充电至V_gs1。在下个时钟周期，当Φ₂为高电平时，S₁断开，S₂闭合，此时电路为电流镜像电路，通过简单计算可得出此时的输出电流为-I_in。也就是说，当S₂断开时，电容C的电压不会改变，使得M₂的电流维持在J+I_in。因此，在Φ₂的下个周期前，输出电流一直为-I_in。其中，在开关电流电路中，可以使用MOS电容器代替MIM电容器作为存储元件来提供模拟存储器的能力。与动态逻辑电路的操作类似，电压由MOSFET的栅极采样并保持在其非临界栅极电容上。栅极上稳定的电压信号在漏极中产生相应的稳定电流信号，且该电流信号通常与栅极-源极电压的平方成比例。

本实施例提供了一种采用开关电流技术的物联网视觉系统，混合信号计算单元的神经网络采用开关电流电路，相比于开关电容电路节省了芯片的空间利用率。

进一步地，在上述各实施例的基础上，包括：

所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；

所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；

所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；

所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。

本实施例提供了神经元电路的电路设计，图5为本实施例提供的神经元电路的原理示意图，其中，(a)为本实施例神经元电路的电路图，(b)为本实施例的神经元电路的控制信号时序图。参见图5，正极线电流I_{in_p}，负极线电流I_{in_n}，第一电流源2J，第二电流源J，第一晶体管M₁，第二晶体管M₂，第三晶体管M₃，第一电容C₁，第二电容C₂，第一开关S₁，第二开关S₂，第三开关P₁，第四开关P₂和神经元电路输出端I_out。第一电路节点为图5中的A，第二电路节点为图5中B，第三电路节点为图5中C，第四电路节点为图5中的D。所述第一晶体管的第一极为源极且所述第一晶体管的第二极为漏极，或者所述第一晶体管的第一极为漏极且所述第一晶体管的第二极为源极。所述第二晶体管的第一极为源极且所述第二晶体管的第二极为漏极，或者所述第二晶体管的第一极为漏极且所述第二晶体管的第二极为源极。所述第三晶体管的第一极为源极且所述第三晶体管的第二极为漏极，或者所述第三晶体管的第一极为漏极且所述第三晶体管的第二极为源极。

进一步地，在上述各实施例的基础上，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。

现结合图5中(b)所示的时序图，对神经元电路的几个处理模式进行介绍：

正极电流I_{in_p}和负极电流I_{in_n}被送入神经元电路，并且整个电路被四个信号S₁,P₁,S₂,P₂,所控制，包括以下几个模式。

(1)重置模式(Reset)：电路被重置，且M₁，M₂和M₃的电流均为J。

(2)正积分(+integ)模式：在第一个周期，当S₁和S₁闭合时，M₁的电流为J+I_{in_p}，M₂和M₃的电流均为J。在下一个周期，P₂闭合，M₂和M₃组成了电流镜像电路。由于第一个周期后P₁断开，C₁的电压保持不变，也就是说I_M1维持J+I_{in_p}不变。因此，通过M₂和M₃的电流均为2J-(J+I_{in_p})＝J-I_{in_p}。根据基尔霍夫电流定律(KCL)，输出电流I_out等于I_{in_p}。

(3)负积分(-integ)模式：在S₂闭合前的周期，M₁，M₂和M₃的电流均为J。S₂和P₂闭合后，I_M1仍为J，因此，输出电流为-I_{in_n}。

(4)正负积分(+/-integ)模式：和+integ，-integ分析类似，可以得出I_out＝I_{in_p}-I_{in_n}。

在图5所示的神经元电路中所用的电容(C1和C2)仅用来采样以及保持，不参与计算，意味着他们的电容值不用是精确值。因此，可以使用MOS电容替代MIM电容。并且C1和C2不需要有很大的电容值，从而节省了空间。此外，基于电流的神经元仅受低电压影响，而不受低动态范围的影响，并且可以通过增加M1，M2和M3的电流减少噪声影响。

本实施例提供了一种采用开关电流技术的物联网视觉系统，通过神经元电路实现了对正极线电流和负极线电流的处理，为后续计算做好了准备。

进一步地，在上述各实施例的基础上，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。

为了解决电路中存在的沟道长度调制效应的问题，本实施例提供的方案在电流源输出端设置CSCG电路。沟道长度调制效应给电流带来了显著误差。本实例设置的CSCG电路能够减少沟道长度调制的影响。通过把V_b设定为V_gs4+V_ov3，该共源共栅电流镜像电路可以更精确地复制电流。图6为本实施例提供的沟道长度调制效应的解决方案示意图，(a)为普通标准电流镜的电路图，(b)为本实施例中CSCG电流镜像电路图，(c)普通电流镜像电路的仿真结果和CSCG电流镜像电路的仿真结果对比示意图。参见图6，实线代表普通电流镜像电路的仿真结果，虚线代表CSCG电流镜像电路的仿真结果。仿真结果表明，CSCG电流镜像电路基本上消除了沟道长度调制带来的误差，且不会引起输出动态范围的大幅度下降。

本实施例提供了一种采用开关电流技术的物联网视觉系统，通过CSCG电流镜像电路解决了沟道长度调制带来的误差。

此外，电路还可能存在的电荷注入和时钟馈通的问题，图7为本实施例提供的电荷注入和时钟馈通的解决方案示意图，(a)为电荷注入问题示意图，(b)为时钟馈通的问题示意图，(c)为本实施例中使用互补开关和增加虚拟开关解决电荷注入和时钟馈通的问题的示意图，(d)为本实施例中使用非重叠采样时钟阻断了电流通路降低电荷注入和时钟馈通的问题干扰的示意图。如图7中(a)所示，若只使用NMOS作为开关，当开关断开时，NMOS沟道反转层中的电荷会经源极和漏极流出。如图7中(b)所示，因为MOS开关通过其栅极-漏极或栅极-源极重叠电容将时钟转变耦合到电容器C1，出现时钟馈通，引起C1电压误差。图7的(c)中使用互补开关和增加虚拟开关来减少电荷注入和时钟馈通，图7的(d)中使用非重叠采样时钟阻断了电流通路，从而减少了电荷注入和时钟馈通。

第二方面，基于上述的采用开关电流技术的物联网视觉系统，本实施例提供了一种基于以上任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，包括：

所述传感器单元采集图片，生成采集的图片对应的模拟信号；

所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；

训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

混合信号计算单元作为一种神经网络的电路，在通过其实现运算时，需要预先通过样本对其进行训练。

进一步地，在上述实施例的基础上，对所述混合信号计算单元的训练包括：

获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；

将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元。

本实施例提供了一种基于采用开关电流技术的物联网视觉系统的数据处理方法，该采用开关电流技术的物联网视觉系统包括传感器单元、混合信号计算单元、模数转换器，传感器单元的输出端连接混合信号计算单元的输入端，混合信号计算单元的输出端连接模数转换器的输入端。混合信号计算单元直接处理传感器单元输入的模拟信号，将对模拟信号处理后得到的模拟输出结果传输到模数转换器。该系统中这种近传感器的架构与传统的神经网络系统架构相比，大大降低了模数转换器处理的数据量，提高了整个系统的处理效率，降低了能耗。

为了更为清楚的说明本实施例设计的采用开关电流技术的物联网视觉系统的性能，以下使用SMIC 180nm混合信号CMOS技术库，在Cadence上对基于SI电路的神经元单元和整个PIM突触神经元视觉系统进行了仿真，并对通过不同平台和设计方法的工作进行了比较。

图8为本实施例提供的采用开关电流技术的物联网视觉系统的基于SI的神经元电路的工作时序图，参见图8，神经元电路被S₁，P₁，S₂，P₂所控制。为了更好的表示神经元单元的功能，+/-integ被分为了两部分：+integ和-integ。首先，在+integ部分，输出电流(I_integ)等于I_{in_p}。之后是-integ部分，这时输出电流变为I_{in_p}-I_{in_n}。该时序图表明了基于SI地神经元电路的正确性。

图9为本实施例提供的采用开关电流技术的物联网视觉系统的基于开关电流的神经元电路的蒙特卡洛仿真结果。该仿真中模拟了静态电流误差(I_error)，并且考虑了失配和工艺变化问题。考虑到电路的最大电流可达25μA，输出电流的精度为8位，可知本实施例提供的基于SI的神经元的标准偏差仅为当前摆幅的1.13％。因此，本实施例提供的基于SI的神经元电路中的失配和过程变化所带来的影响可以忽略不计。从仿真结果得出基于SI的神经元打动态范围达到了58dB，意味着模拟激活的最大量化精度可达到9位。

图10为本实施例提供的采用开关电流技术的物联网视觉系统的仿真配置图。输入是传感器单元的行读数。然后，在模拟域中完成计算(MAC，ReLU)。将同步输出通道数设置为4。因此，四个输出电流(I_out,1,I_out,2,I_out,3和I_out,4)以相同的周期从基于SI的神经元发送到诸如ReLU的外围电路部分。

图11为本实施例提供的采用开关电流技术的物联网视觉系统的工作时序图，从图中可以看出，本发明将传感器与计算单元结合在一起，从传感器输出的模拟信号直接流入计算单元完成运算，整个计算单元时序如下：首先，在数字域中，权重矩阵被写入SRAM阵列。之后成计算(MAC，ReLU)。经过ReLU，负极电流被设为0，正极电流维持原值。在模拟计算中，由于总电流没有明显变化，静态功耗在总能耗中占比较大，说明通过调整电路的直流偏置点，本发明提供的采用开关电流技术的物联网视觉系统的功率可以大幅减少。

最后，仿真结果表明：通过构建基于SMIC 180nm CMOS技术和1.8V电源的4个MAC单元(MAU)(每个MAU的最大MAC数为1024)，系统的平均功耗为1.45mW。如图11所示，MAC运算可以在200ns内完成。因此，考虑到每个MAC包含两步操作(1次乘法和1次加法)，本发明的采用开关电流技术的物联网视觉系统架构的能量效率达到4×1024×2/200ns/1.45mW＝28.25TOPS/W.面积开销为2.44mm×2.60mm＝5.82mm²，仿真时使用频率为50MHz的时钟。

为了更为清楚的展示本申请提供的采用开关电流技术的物联网视觉系统与传统物联网视觉系统的差别，表1为本申请提供的采用开关电流技术的物联网视觉系统与传统物联网视觉系统的性能对比表，其中，这些系统都使用二进制权重网络。由表1可知，虽然使用的技术节点是180nm，但在功耗方面本发明提供的采用开关电流技术的物联网视觉系统胜过现有技术。此外，本发明提供的采用开关电流技术的物联网视觉系统的PIM视觉系统具有28.25TOPS/W的能效，这比其余使用了更先进技术的工作更高。

表1采用开关电流技术的物联网视觉系统与传统物联网视觉系统的性能对比表

本发明提出了一种采用开关电流技术的物联网视觉系统，基于该系统低功耗PIM的架构，利用SRAM存储二进制权重和基于SI的神经元来进行计算。该电路设计通过加速MAC运算来加速密集计算的NN算法，仿真结果表明该混合信号PIM架构具有高能效。本发明采用开关电流技术的物联网视觉系统的设计使用了SMIC 180nm CMOS技术的58mm2。本发明工作电压为1.8V，平均功耗1.45mW。本发明提供的采用开关电流技术的物联网视觉系统在功耗方面优于现有技术，并在180nm技术中实现了高能效(高达28.25TOPS/W)。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (8)

1.一种采用开关电流技术的物联网视觉系统，其特征在于，包括传感器单元、混合信号计算单元、模数转换器；

所述传感器单元的输出端连接所述混合信号计算单元的输入端，所述混合信号计算单元的输出端连接所述模数转换器的输入端；

其中，所述传感器单元将采集的图片对应的模拟信号传输到所述混合信号计算单元，所述混合信号计算单元处理所述模拟信号得到模拟输出结果，将所述模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，并将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

2.根据权利要求1所述的采用开关电流技术的物联网视觉系统，其特征在于，所述混合信号计算单元包括至少一个运算层，前一运算层的输出作为后一运算层的输入；

每一运算层包括至少一个运算通道，每一运算通道包括至少一个运算模块，每一运算模块均包括用于进行数据存储的存储部件和用于进行数据运算的运算部件；

其中，每一存储部件均存储有其所在的运算通道对应的权重，运算通道根据其对应的权重输出正极线电流或者负极线电流。

3.根据权利要求2所述的采用开关电流技术的物联网视觉系统，其特征在于，还包括与每一运算通道的输出端连接的神经元电路，每一神经元电路均用于计算由运算通道输入的正极线电流和负极线电流的电流差值，以作为后一个运算层的输入；

每一神经元电路均为开关电流电路，包括正极线电流输入端、负极线电流输入端、第一电流源、第二电流源、第一晶体管、第二晶体管、第三晶体管、第一电容、第二电容、第一开关、第二开关、第三开关、第四开关和神经元电路输出端。

4.根据权利要求3所述的采用开关电流技术的物联网视觉系统，其特征在于，包括：

所述正极线电流输入端一端连接运算通道的正极线，另一端连接所述第一开关的第一端，所述第一开关的第二端连接所述第一电流源和第一电路节点，所述负极线电流输入端一端连接运算通道的负极线，另一端连接所述第二开关的第一端，所述第二开关的第二端连接所述第一电流源和所述第一电路节点；

所述第一晶体管的第一极连接所述第一电路节点，所述第一晶体管的第二极连接第二电路节点，所述第一晶体管的栅极连接所述第一电容的一端和所述第三开关的一端，所述第一电容的另一端连接所述第二电路节点，所述第三开关的另一端连接所述第一电路节点；

所述第二晶体管的第一极连接所述第一电路节点，所述第二晶体管的第二极连接第二电路节点，所述第二晶体管的栅极连接第三电路节点，所述第二电容的一端连接所述第三电路节点，所述第二电容的另一端连接所述第二电路节点，所述第四开关的一端连接所述第三电路节点，所述第四开关的另一端连接所述第一电路节点；

所述第三晶体管的第一极连接第四电路节点，所述第三晶体管的第二极连接所述第二电路节点，所述第三晶体管的栅极连接所述第三电路节点，所述第二电流源和所述神经元电路输出端均连接所述第四电路节点。

5.根据权利要求4所述的采用开关电流技术的物联网视觉系统，其特征在于，在所述第一电流源和所述第一电路节点之间，以及所述第二电流源和所述第四电路节点之间均设置有低压共源共栅电流镜CSCG。

6.根据权利要求4所述的采用开关电流技术的物联网视觉系统，其特征在于，四路控制信号通过控制所述第一开关、所述第二开关、所述第三开关和所述第四开关的通断控制神经元电路的处理模式。

7.一种基于权利要求1-6任一项所述的采用开关电流技术的物联网视觉系统的数据处理方法，其特征在于，包括：

所述传感器单元采集图片，生成采集的图片对应的模拟信号；

所述传感器单元将图片对应的模拟信号输入经过若干样本训练得到的训练后的混合信号计算单元，由训练后的混合信号计算单元处理所述模拟信号得到模拟输出结果；

训练后的混合信号计算单元将模拟输出结果传输到所述模数转换器，由所述模数转换器将所述模拟输出结果转换为数字输出结果，所述模数转换器输出所述数字输出结果或者将所述数字输出结果输入到与所述模数转换器连接的数字系统中。

8.根据权利要求7中所述的数据处理方法，其特征在于，对所述混合信号计算单元的训练包括：

获取若干用于进行模型训练的样本，得到每一样本对应的输入参数和输出结果；其中，样本对应的输入参数为图片对应的模拟信号；

将样本对应的输入参数作为所述混合信号计算单元的输入，将样本对应的输出结果作为所述混合信号计算单元的期望输出，对所述混合信号计算单元进行训练，得到训练后的所述混合信号计算单元。