CN112805912A - 基于电荷的开关矩阵及其方法 - Google Patents

基于电荷的开关矩阵及其方法 Download PDF

Info

Publication number
CN112805912A
CN112805912A CN201980066710.5A CN201980066710A CN112805912A CN 112805912 A CN112805912 A CN 112805912A CN 201980066710 A CN201980066710 A CN 201980066710A CN 112805912 A CN112805912 A CN 112805912A
Authority
CN
China
Prior art keywords
charge
input
output
storage device
charge storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980066710.5A
Other languages
English (en)
Other versions
CN112805912B (zh
Inventor
大卫·希尔
彼得·卓鲍斯
安德鲁斯·斯博瑞
艾瑞克·斯博瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastom Ltd
Original Assignee
Eastom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastom Ltd filed Critical Eastom Ltd
Publication of CN112805912A publication Critical patent/CN112805912A/zh
Application granted granted Critical
Publication of CN112805912B publication Critical patent/CN112805912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/01—Shaping pulses
    • H03K5/04—Shaping pulses by increasing duration; by decreasing duration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02M—APPARATUS FOR CONVERSION BETWEEN AC AND AC, BETWEEN AC AND DC, OR BETWEEN DC AND DC, AND FOR USE WITH MAINS OR SIMILAR POWER SUPPLY SYSTEMS; CONVERSION OF DC OR AC INPUT POWER INTO SURGE OUTPUT POWER; CONTROL OR REGULATION THEREOF
    • H02M3/00—Conversion of dc power input into dc power output
    • H02M3/02—Conversion of dc power input into dc power output without intermediate conversion into ac
    • H02M3/04—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters
    • H02M3/06—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using resistors or capacitors, e.g. potential divider
    • H02M3/07—Conversion of dc power input into dc power output without intermediate conversion into ac by static converters using resistors or capacitors, e.g. potential divider using capacitors charged and discharged alternately by semiconductor devices with control electrode, e.g. charge pumps
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/22—Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral
    • H03K5/24—Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral the characteristic being amplitude
    • H03K5/2472—Circuits having more than one input and one output for comparing pulses or pulse trains with each other according to input signal characteristics, e.g. slope, integral the characteristic being amplitude using field effect transistors
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K5/00—Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K5/156—Arrangements in which a continuous pulse train is transformed into a train having a desired pattern
    • H03K5/1565—Arrangements in which a continuous pulse train is transformed into a train having a desired pattern the output pulses having a constant duty cycle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nonlinear Science (AREA)
  • Neurology (AREA)
  • Power Engineering (AREA)
  • Electronic Switches (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本发明涉及一种例如随时间变化可重配置的网络开关矩阵耦合开关电荷电路，其代表乘加电路(MAC)和神经元(具有激活功能的MAC)，能够通过所述网络内的交叉开关接受并按比例输出电荷脉冲，所述交叉开关由局部控制器和更高级别的控制器来控制设置所述交叉开关的通信。

Description

基于电荷的开关矩阵及其方法
优先权文件
本专利申请涉及发明人为David Schie、申请日为2019年10月10日、名称为“ACHARGE BASED SWITCH MATRIX”、申请号为62/743,130的美国临时申请，其全文通过引用归并本文。本专利申请依据35 U.S.C§119(e)主张优先权。
技术领域
本发明总体上涉及模拟机器学习，更具体地涉及使用由神经元组成的开关矩阵的模拟神经网络，其中该开关矩阵允许：(i)迅速重新连接通信路径；(ii)通信不受有限环带宽限制；(iii)连接手段不受物理连接限制；(iv)连接手段独立于装置值、环境、温度和其他匹配效果；以及(v)无需大量调谐、微调或全局参数匹配或特殊装置。
背景技术
与数字实施相比，模拟机器学习有望显著节省功率、改善性能、提高精度和降低噪声。通常，机器学习需要实施加权加法器，其可具有称为偏置的线性移位，还需要激活或判决手段来产生输出。每个输出可连接到许多其他加权加法器，并且这些连接可能需要动态编程，例如在递归网络或虚拟神经元方案中，所有网络中的权重和偏置值也是如此。
模拟实施手段包括几种可能的方法：(i)调制晶体管操作点(诸如三极管模式电阻)作为对输入(诸如电压)的权重，以及对多个这样的路径求和以产生加权总和；(ii)使用诸如模拟乘法器(例如Gilbert型乘法器)等跨线性环来产生相乘结果；(iii)使用诸如忆阻器等特殊装置来产生针对电压或电流输入的加权输入；(iv)使用加权电流DAC对电流作乘法；(v)使用开关电容电路，其中使用输入电容器单元电池和开关来改变开关电容器的尺寸。
上述每种模拟实施手段均具有明显的劣势。举例而言(使用上述方法的索引)：(i)难以产生可编程的开关矩阵连接性，因为多路复用器和交叉开关的固定阻抗会增加装置阻抗，这与调制、自身环境(例如温度)和干扰与装置调制结果的处理依赖关系无关，会导致失真，需要采取定时措施。此外，电流求和具有带宽限制，并且三极管模式即使仅短期使用也具有高功率。(ii)跨线性环需要大量建立时间，并且无法动态地门控功耗，这也受带宽限制。(iii)难以可靠地制造和使用这类特殊装置，并且它们通常需要通过使用查找表等进行大量调谐和微调，但这仍会导致失真和速度限制。(iv)加权DAC需要数字位存储，这在学习和操作期间功率效率低下，同样存在失真问题和带宽限制；(v)开关电容器电路需要单位电容器，它们占用大量硅面积，而且非常难以匹配，从而限制分辨率并导致严重失真。
神经网络能够以极高的数据速率通信信息，还允许开关矩阵或通信网络快速地动态重新连接，也可以用于通过非常快速地重新连接神经元来虚拟地增加有效数目的神经元，并基于时间分帧重新使用它们。这样可以通过使用的帧数来增加有效神经元的数目。它可以替选地或者也可以允许递归网络功能。例如，如果存在十六个时间帧或时隙，则第一帧中可能具有一种网络连通性，第二时间帧中可能具有另一种网络连通性，依此类推。对于用户而言，结果将看起来像16倍大的网络。
因此，希望提供一种克服上述问题的系统及方法。该系统及方法会产生由神经元(加权加法器和激活函数)组成的开关矩阵，其允许：(i)迅速重新连接通信路径；(ii)通信不受有限环带宽限制；(iii)连接手段不受物理连接限制；(iv)连接手段独立于装置值、环境、温度和其他匹配效果；以及(v)无需大量调谐、微调或全局参数匹配或特殊装置。
发明内容
根据某一实施例，公开了一种开关电荷电路。该开关电荷电路具有至少一个输入电荷存储装置，其耦合到输入以在初始阶段期间接收电荷，其中，该至少一个输入电荷存储装置被初始复位为电位或电荷阈值之一。至少一个输出电荷存储装置耦合到输出且耦合到至少一个输入电荷存储装置，其中，该至少一个输出电荷存储装置被初始复位为电荷电平。比较装置耦合到使至少一个输入电荷存储装置与至少一个输出电荷存储装置连接的共享节点。至少一个第一电流源耦合到至少一个输出电荷存储装置。至少一个第二电流源耦合到使至少一个输入电荷存储装置与至少一个输出电荷存储装置连接的共享节点，该至少一个第二电流源在幅值上与至少一个第一电流源成比例，以在至少一个输出电荷存储装置上产生电荷乘(multiplication)或除(division)之一。至少一个第一电流源和至少一个第二电流源在第二阶段开始时接通，并在共享节点达到电位或电荷阈值之一时关断，以产生与电荷乘或除之一的幅值成比例的输出脉冲。
根据某一实施例，公开了一种产生输入加权求和输出的设备。该设备具有输入电荷存储装置和输出电荷存储装置。至少一个输入电荷耦合到输入电荷储存装置。电荷转移装置使输入电荷存储装置与输出电荷存储装置耦合。由该设备产生与输入电荷乘以由电荷转移装置提供的电荷比率成比例的输出电荷。
根据某一实施例，公开了一种ReLU判决电路。该ReLU判决电路输出对应于阈值电荷的最小脉冲宽度，并抑制进一步的脉冲扩展，直到开关电荷电路上至少达到阈值电荷电平。
根据某一实施例，公开了一种相关双采样复位机制。该相关双采样复位机制具有耦合到输入的电荷存储装置。比较器耦合到电荷存储装置。电荷移动装置耦合到电荷存储装置，从而由电荷移动装置调整电荷存储装置，直到在一个阶段达到比较器的开关点，此后在第二阶段期间向电荷存储装置上加载输入电荷，从而调整电荷存储装置上的电荷电平，此后启用电荷移动装置，直到再次达到比较器的开关点，其中，在初始复位阶段期间并且又在第二阶段期间将一定噪声和偏移加载到电荷存储装置中，从而消除一定噪声和偏移。
根据某一实施例，公开了一种基于电荷比例脉冲的神经元。该基于电荷比例脉冲的神经元具有第一电荷存储装置，其耦合到至少一个选通输入电荷移动装置，其中，该至少一个选通输入电荷移动装置可在幅值上针对选通主电荷移动装置编程，其中，该至少一个选通输入电荷移动装置通过在时间上与电荷值成比例的输入脉冲来选通。第一比较器装置耦合到第一电荷储存装置，其中，第一电荷储存装置被初始充电到第一比较器装置的开关点。设置第二电荷存储装置。设置第二比较器装置，其中，第二电荷存储装置被初始充电到第二比较器的开关点，然后从第二电荷存储装置移除与阈值成比例的电荷。由第二比较器装置对在幅值上与主电荷移动装置成比例的第二电荷移动装置进行选通。在加载输入电荷后启用主电荷移动装置和第二电荷移动装置，主电荷移动装置保持接通，直到达到第一比较器的开关点，且第二电荷移动装置保持接通，直到达到第二比较器的开关点，其中，将达到第一比较器装置的开关点或第二比较器装置的开关点中的更晚者所花费的时间缓存到驱动器，以产生与电荷输出成比例的ReLU判决脉冲。
根据某一实施例，公开了一种校准电路。在该校准电路中，将最大电荷脉冲宽度提供给神经元，并且针对该最大脉冲宽度调整局部电荷移动装置的幅值，以便在输入权重为1的情况下复制最大脉冲宽度(例如，电荷加载权重电流源等于主电源或补充电流源)。根据某一实施例，公开了一种交叉开关。该交叉开关由能够耦合电荷比例脉冲的动态驱动器来驱动。该交叉开关耦合到局部控制器，该局部控制器能够响应帧时间进行动态交叉开关连接。
根据某一实施例，公开了一种短期存储器/采样和保持电路。短期存储器/采样和保持电路具有一对共享公共节点的串联开关，其中，第一开关耦合到待采样的输入电压，而第二开关耦合到电荷存储装置的输出，以存储所采样的输入电压。偏置装置耦合到公共节点，以编程公共节点的电位。通过这样偏置使开关内各结之间的电压最小化，由此短期存储器/采样和保持电路通过使沟道泄漏和其他结漏最小化而尽量延长电荷存储装置输出的保持时间。
根据某一实施例，公开了一种用于采样开关的驱动电路。该用于采样开关的驱动器电路包括耦合到电平移位元件的CMOS反相器，其中，该CMOS反相器耦合到采样开关，使得该CMOS反相器的电压范围与采样开关所需的电压成比例地受到限制。
根据某一实施例，公开了一种输入层。在该输入层中，首先将输入乘以定量、可编程量或学习量之一，以便在应用后续层之前对其进行归一化。
附图说明
下面参照附图对本申请予以详述。这些附图并非旨在限制本申请的范围，而是说明本申请的某些属性。各附图中使用相同的附图标记指代相同或相似的部分。
图1A示出溢出和填充电路；
图1B示出从存储阱SW电荷储存器到图1A的溢出和填充电路的浮动扩散FD电荷储存器的能量图；
图2示出“单晶体管(Single Transistor)”电荷乘法器电路的框图；
图3是示出根据本申请一方面的神经元(MAC+激活)的示例性实施例的框图；
图4是示出根据本申请一方面的神经元的示例性实施例的框图，如果不需要浮动电容器，则该神经元与电荷比例脉冲的简单开关矩阵兼容；
图5是示出根据本申请一方面的核心的示例性实施例的框图；
图6是示出根据本申请一方面的神经网络连接的示例性实施例的框图；
图7是示出根据本申请一方面的电荷脉冲交叉开关的示例性实施例的框图；
图8是示出根据本申请一方面的具有四个核心的局部组的示例性实施例的框图；
图9是示出根据本申请一方面的局部组连接到附加核心的示例性实施例的框图；
图10是示出根据本申请一方面的最大池化电路核心的示例性实施例的框图；
图11是示出根据本申请一方面的电荷范围的示例性实施例的示图；
图12是示出根据本申请一方面的使用Zcell来允许工厂编程路径的示例性实施例的框图；
图13是示出根据本申请一方面的光电二极管耦合到2D CCD移位寄存器以可用于脉动操作的示例性实施例的框图；
图14是示出根据本申请一方面的能够减少电荷注入的耗尽型电荷开关的示例性实施例的框图；
图15是示出根据本申请一方面的连续时间Δ∑的示例性实施例的框图，该连续时间Δ∑可以生成可附加到神经元地址以进行局部精度调整的局部位；
图16是示出根据本申请一方面的局部短期动态存储器的示例性实施例的框图；
图17是示出根据本申请一方面的模拟NVM电荷阱电流源的示例性实施例的框图；
图18是根据本申请一方面的整流线性型判决电路的示例性实施例的曲线图；
图19是示出根据本申请一方面的ReLU函数的示例性实施例的曲线图；
图20是示出根据本申请一方面的用于双侧电荷增加或移除的电路的示例性实施例的框图；
图21是示出根据本申请一方面的向电荷输入增加偏置的电路的示例性实施例的框图；
图22是示出根据本申请一方面的对存储在电容器中的电荷实施正/负偏置的电路的示例性实施例的框图；
图23是示出根据本申请一方面的如何从多个输入电荷产生时间脉冲总和的示例性实施例的示图；
图24是示出根据本申请一方面的用于通过移位VREF电平来增加偏置的电路的示例性实施例的框图；
图25是示出根据本申请一方面的共源极级的示例性实施例的框图；
图26是示出根据本申请一方面的通过电平移位来扩展电荷范围的示例性实施例的框图；
图27是示出改善采样和保持时间以减少开关泄漏的短期存储器方案的示例性实施例的框图；
图28是示出根据本申请一方面的用于限制MOS开关的栅极电压的电路的示例性实施例的框图；以及
图29是示出根据本申请一方面的用于快速启动的转向电路的示例性实施例的框图。
具体实施方式
下面结合附图阐述的内容旨在描述本公开的当前优选实施例，而非旨在表示可构建和/或利用本公开的唯一形式。本部分内容结合图示的实施例阐述用于构建和操作本公开的功能和步骤序列。但应当理解，相同或等同的功能和顺序可以通过不同的实施例来实现，这些不同的实施例也旨在涵属于本公开的精神和范围内。
与数字实施相比，模拟机器学习有望显著节省功率、改善性能、提高精度和降低噪声。但如上所述，目前的模拟实施装置具有明显的劣势。
这样一种模拟神经网络的解决方案是建立在开关电荷的概念上。开关电荷电路与耦合电压或电流的开关电容电路迥然不同，因为开关电荷电路不依赖于电容器匹配，或在某些实施方式中不依赖于诸如运算放大器等有限带宽装置。关于电容器的唯一要求是电容器必须大到足以存储耦合到电容器的任何电荷。匹配的电容值、线性度、平坦度以及其他在电压或电流开关电容域中产生误差的因素与开关电荷电路域无关。
开关电荷电路可以使用电容器作为电荷存储装置和用于增加或移除电荷的电流源来实施。电荷存储还可用其他电荷存储装置来实施，例如钉扎光电二极管、浮动扩散、MEMS膜片或如传感器领域技术人员可能使用的电荷耦合装置。类似地，可通过使用如图1A所示的溢出和填充电路来实施电荷的增加或移除。本领域技术人员已知电荷增加或移除的其他手段。由于各种开关电荷实施方式，有时将开关电荷电路称为Zcell。
溢出和填充电路10使用在传输门TG的前面保持电子的钉扎(Pinned)光电二极管(PPD)电荷容器的概念。传输门TG会随着所需的电子流而降低及升高。在某一点处，传输门TG降低势垒，且电子从存储阱SW电荷储存器溢出到浮动扩散FD电荷储存器中。这些装置的创建确保了所有电子从存储阱SW电荷储存器移动到浮动扩散FD电荷储存器中。图2B示出从存储阱SW电荷储存器到浮动扩散FD电荷储存器的能量图。
类似于图2所示，可以实施有效的模拟乘法器作为电荷乘法器。图2所示的电荷乘法器20(下称乘法器20)参阅本发明人的申请序列号为16/291,311、名称为“SingleTransistor Multiplier and Method Therefor”的美国专利申请，该文献归并本文。
乘法器20可以具有数目减少的晶体管。根据某一实施例，乘法器20可以具有MOSFET MN1。MOSFET MN1可以布置为共源极配置。电流源IMN1可以耦合到MOSFET MN1的漏极。反相器22可以耦合到MOSFET MN1的漏极端子。反相器22的输出可以用于选通两个电流源I1和I2，这两个电流源的电流幅值可以成比例。
电容器C1可以具有耦合到第一电流源I1且耦合到MOSFET MNl的栅极的端子。电容器C1的第二端子可以接地。第一电流源I1可以耦合到电容器C2的第二端子且耦合到MOSFETMN1的栅极。第二电流源I2可以耦合到第二电容器C2的第一端子。
复位开关可以耦合到MOSFET MN1的栅极。根据某一实施例，复位开关可以是复位晶体管MOSFET MNR。在本实施例中，MOSFET MNR可以配置为共源极极配置。MOSFET MNR的栅极端子可以耦合到复位信号RESET。传输门TG可以耦合到MOSFET MN1的栅极端子、电容器C1的第一端子、电容器C2的第二端子和电流源I1。
基本构思在于，将电荷移动器件耦合到第一电荷储存器(本例中为电容器C1和耦合到栅极输入节点的其他电容)，并将第二电荷移动器件耦合到第二电荷储存器(本例中为浮动电容器C2)，其中电荷移动器件的移动速率成比例，且皆由相同的比较器(即，在共源极配置中用作比较器的MOSFET MN1)选通，并与其Vt比较器阈值相关。
乘法器20可以采用以下方式操作。初始地，传输门TG开启，创建I1和I2的电流源MOSFET通过将电容器C2拉到电源轨而使其放电，或替选地，附加开关耦合到电容器C2的第一端子，且MOSFET MNR保持低电平。这类方法会确保电容器C2放电。一旦电容器C2放电，其他晶体管(包括电流源)就关断。替选地，C2的第一端子可接地，然后复位晶体管MOSFET MNR将栅极拉至跳变阈值(Trip Threshold)Vt以下，并且启用电流源I1以开始对MN1栅极节点充电。在某一点，MOSFET MN1的栅极上的电压促使MOSFET MN1的漏极反相，并且反相器22的输出使电流源I1关断。MOSFET MN1的栅极端子此时是对应于比较器阈值Vt的电压。C2也将保持Vt或其两端零电压，具体取决于所选的复位方法。替选地，可以将C2复位两次，并使用I1+I2来建立Vt阈值，以保持恒定的充电电流并减少斜率(共源极比较器过冲)相关的误差。
如图2可以看出，电荷包可以被引入到传输门TG的左侧。根据某一实施例，电荷包为负电荷包。电流源I1和I2可以彼此成比例地编程以形成期望的被乘数。当传输门TG导通时，电子将耦合到MN1栅极节点，从而降低其电压电位。
电荷包可以是使MN1栅极电容放电的电流源。电荷包也可以是依照来自有源像素存储在钉扎光电二极管的电荷储存器中的电荷或者来自有源像素的浮动扩散或者CCD移位寄存器的输出移除的电荷。它也可以是与此节点并联的电容器，其例如由与麦克风中的声音电容器成比例的MEMS膜片形成。在某些情形下，例如选通电流源使MN1栅极电容放电(提供电荷输入信息)，则无需传输门。
在传输门TG被接通且MOSFET MNl的栅极上的电压与输入电荷成比例地下降到低于Vt比较器阈值之后，电流源I1和I2被接通。由I1+I2使电容器C1充电，直到达到Vt比较器阈值，此时反相器22使电流源I1和I2关断。将电容器C1充电到Vt比较器阈值所花费的时间可以由等式tcharge＝Qin/(I1+I2)表示。在此期间，电容器C2仅由电流源I2充电。将电荷Qin*I2/(I1+I2)放入电容器C2中发生了一段时间Qin/(I1+I2)。因此，输入电荷已乘以I2/(I1+I2)并存储在电容器C2上。
由于浮动电容器C2上的电荷仅由第二电荷移动器件来调整，它将移动电荷ΔQout＝I2*Δt，而第一电荷移动器件将移动电荷ΔQin＝(I1+I2)*Δt，因此ΔQout＝I2/(I1+I2)*ΔQin仅作电荷移动比率的函数。
应当指出，首先将电容器C1和C2皆初始化为MN1比较器跳变点以及再移除电荷的动作执行了相关双采样(CDS)功能，以去除偏移和一定噪声。为了对此进行优化，共源极比较器MN1栅极的上升斜率应当恒定。这可通过在调整I1与I2的比率的同时保持I1+I2恒定来实现。这也可以通过在共源极比较器周围添加类似于施密特触发器型动作的正反馈来改善。可以用相同的恒定电流来执行初始复位。电荷移动器件可以是电流源或溢出和填充型电路，或者可以是本领域技术人员已知的其他类型的电荷移动装置。电荷存储器件可以是电容器、钉扎光电二极管、浮动扩散、电荷耦合装置、MEMS膜片(诸如MEMS麦克风中使用的膜片)或本领域技术人员已知的其他电荷存储器件。如果首先通过将右侧端子接地而使浮动电容器充电以使其预充到Vt，则浮动电容器两端的电压将在第二阶段期间降低，并且乘积电荷结果是共源极比较器MN1的开关点减去与相乘或相除的输入电荷变化相关联的电压值再除以浮动电容器的电容，即可使其与同一共源极比较器开关点的进一步操作兼容。如果该复位方法移除所有电荷，则C2两端的电压将仅为相乘的输入电荷变化除以浮动电容。应当指出，乘或除是由当前幅值来设定，且本质上相同。
代替将第一电荷存储装置和第二电荷存储装置(即分别为电容器C1和C2)直接耦合到后续电路，相乘的电荷输出可采用某种其他方式耦合，诸如宽度与电荷成比例的脉冲。图3和图4示出这样的方法。
图3中可以看出神经元的一种实施方式的构造块。在图3上方，m1和m2代表接受电荷作为其输入的乘法器。尽管图中可能仅示出两个乘法器，但可存在任意数目的乘法器。进一步说明图2的乘法器20，m1和m2生成与乘积电荷成比例的脉冲，这是通过在加载输入电荷之后，在电荷移动器件(在此情形下为电流源)将共源极比较器恢复到其原始开关点的时间期间输出脉冲。
这些脉冲可以动态地耦合到任意数目的附加电荷输入装置。例如，图19中示出ReLU激活功能。该功能可通过采取图3底部“复制(Replica)”块中示出的m1和m2所生成的脉冲来实施，该块还耦合到具有可编程参考的比较器。附加地，m1和m2也耦合到又一个单晶体管乘法器。“复制”功能能够通过将这个最小“整流”电荷与来自m1和m2的乘积电荷脉冲有效地进行“或”运算，确保输出脉冲直到经过最小“整流”时间才终止。如果不需要对C2充电，则可以省略C2，如图4所示。
所得的脉冲m3将包含电荷信息，以在后续阶段中，电荷移动装置无需与先前阶段的电流移动装置相匹配。若要将m3转换为ReLU判决脉冲，仅需确保输出脉冲不小于等效阈值电荷脉冲宽度即可。在此情形下，阈值电荷显示为可用于设置阈值电荷的电流DAC，但可以使用任意方式来生成阈值电荷，将其与来自选通输入脉冲的积分电荷进行比较，前提是判决积分器的电荷移动器件与判决电路输出级所用的单晶体管电荷乘法器的电荷移动装置成比例。应当指出，可以通过在判决电路的单晶体管电荷乘法器级以及由禁用(Disable)晶体管和DAC实施的集成消隐级两者中，针对选通输入电流调整输出阶段期间的充电电流，对结果进行归一化。应当指出，阈值电荷可以是半电荷，也可以是优化学习的其他电荷。阈值电荷或半电荷也可以设置为学习过程的一部分。阈值电荷也可以实施为预加载偏置，这将代表在充电终止之前可克服的最小电荷(如果ml+m2的输入电荷为零)。通过在电荷移动装置接通期间输出脉冲，可将电荷信息作为激活输出通信给后续阶段。
通过增加额外的比较器阈值，例如可能基于分段线性实施方式，通过基于比较器输出更改求和电路上的电流来近似其他判决函数，诸如SeLU、softplus、Sigmoid、LeaklyReLU、swish等。在Leakly ReLU的情况下，泄漏(Leaking)部分的斜率也可能是学习过程的一部分。
图4中示出一种替选的神经元40，其可接受和输出信息作为电荷比例脉冲，因此可与简单的开关矩阵实现兼容。这种实施方式不需要任何浮动电容器电路(但若出于其他目的需要浮动电容器电路，则可使用它们)。在此情形下，权重由开关a1...an和b选通的输入电流源的幅值与I1的幅值之比率来设置。通过在与输入数据成比例的时间段内根据比例电流幅值所设置的权重值，能够对多个同时、甚至重叠的输入执行电荷乘法和加法。实际上，每个神经元可以具有自己的最大值、最小值或阈值(例如中程)电荷电平-无需全局相关，因为每个选通脉冲将相对于最大脉冲，从而产生与最大电荷成比例的电荷。即，通过调整电流源I1、w1...wn的幅值，可以将权重为1的输出脉冲与全局(最大)主脉冲相匹配。
通过设置最大电荷范围，还可以实现软最大值(soft maximum)。这也可通过限制最小栅极电压来实现，例如借助跟随器或其他DC电路，将最小栅极电压保持在一定电位，或者通过将二极管钳位到接地节点或电平移位器电位。
在上文论述中重点指出，电荷移动器件可以被诸如图4中的S1等开关或从MN1比较器的漏极到图2中的地电位的晶体管(未示出)抑制，直到所有输入均已加载。这是通过确保在关断此禁用晶体管之前经过最短时间或通过控制器单元来完成，该控制器单元会在所有输入均已加载时进行标记。这意味着能够获知输入电荷何时到达，只要它们在输入时间窗口内即为到达。必要时，输出电路也可以请求脉冲，以结束电荷收集(求和)输入阶段并开始I1再充电阶段，该阶段启动输出脉冲。
在图4中，需要收集所有输入和偏置(若使用)，并达到一定电平，之后开关S1使得I1能够对共源极比较器栅极节点N1进行充电。这样就能确保如果收集的电荷过少，事件驱动的操作(诸如神经元变化不大)将不被包含在更新中。有时这样不甚理想，因为它会消除部分电荷范围，并且不会使用这一最低电平。如果期望全值范围为零，则可能有必要加载对应于零脉冲的最小电荷。例如，一个1ns脉冲可表示0，而8ns脉冲可表示256。尽管建立了这两个级别，但1ns与8ns之间的分辨率仍可达8位以上。该最小电荷可以实施为针对全局主(最小)脉冲设置的存储偏置值。在其他情形下，期望不让变化过小的神经元参与，以节省能量，例如神经形态的实施方式。图4中介绍的方法允许使用其他类型的功能。当共源极比较器栅极节点N1被复位到开关点，此后，一旦所有输入皆已被加载，便启用开关S1产生脉冲。使用开关S1允许电路40判定何时生成脉冲。这允许收集异步输入。在本例中，将权重设置为标记为wl至wn的电流幅值(分数与I1成比例)，将具有选通输入的完整I1显示为示例偏置输入。输入的数目仅受附加的漏极电容、一定噪声消除或最小化以及电路40所需的响应时间限制。偏置输入I1以及权重wl到wn依旧由电流比率设置。结果得出一种极鲁棒的乘加电路，其仅在脉冲输入下操作并产生脉冲输出信息，从而实现简化的开关矩阵。
图4中还示出一种新颖的判决或激活电路42。如果电容器C2先前已被复位，且此后从该电容器C2中移除半电荷或其他阈值(电荷促使电压电位降低到跳变点以下)，则如果第二电流源I1'与I1的幅值相等，在开始I1电荷输出(开始恢复到复位电平)时，例如通过栅极44进行“或”运算，则节点Vout的输出脉冲将是整流线性(ReLU)判决电路。如图18和图19所示，可以通过与42配合使用两象限操作来创建其他类型的判决电路。
使用共源极比较器的方法也可实施于两象限中，在此情况下，从比较器跳变点加或减电荷，如图20所示。在此方法中，首先将比较器栅极节点复位到操作象限的正确初始阈值(电压上升或电压下降以产生开关动作)。为了克服这种B类实施的“死区”，本领域技术人员知道存在许多使用AB类技术克服“死区”的策略，因此，在不存在所述“死区”的情况下，可以实施两象限操作。在此情形下，可对两象限使用单“复位电平”。
电荷移动器件可以通过使用电荷阱装置来实现。电荷阱装置170的某一实施例可以参阅图17。可以使用电荷脉冲连续地调整电荷阱装置的控制节点，从而允许在单个等效位上调整电荷倍增，这样会比多位数字方案更加节省功率。经表明，对电荷阱装置进行些微调整不会对非易失性存储器产生与全数字写入或擦除相同的劣化效应。这样开拓了将电荷阱装置用于神经网络学习而无需短期动态存储器的可能性。替选地，可以使用如图16所示的短期存储器70。该存储器70可以从非易失性存储器(NVM)中复制值，然后将这些值用于调整并视需要写回到NVM。替选地，可以对此短期存储器使用诸如耗尽结型传输门和浮动扩散等CIS技术(CMOS图像传感器)，如可以对耦合装置的存储器进行充电。
应当指出，每个神经元的绝对电荷范围无需匹配。在一种实施方式中，局部层级上唯一需要的校准是提供最大脉冲以建立电荷范围，并且可选地提供最小脉冲以建立最小或零电荷范围(此后可以在每个周期将其添加为固定最小电荷)。这可能是确保克服共源极比较器开关点附近不确定区域的“死区”所必需，遵循改进的施密特型架构的正反馈也可有助于减少“死区”，正如AB类偏置技术那样。亚阈值操作也将增加共源极MOSFET的增益，从而改善开关遵循这些其他技术或与之结合。在成像系统中，这可通过将输入级暴露于最大全局快门曝光并通过网络传播满电荷或类似的最小曝光来实现。这一构思参阅图11。在每个MAC(例如，图4无42)或神经元(含42)处，接收最大宽度，并可通过将局部电荷移动器件调整到合理的动态范围来记录最大电荷。如果使用ReLU或微分型电路，则仅需通信阈值电平或其他阈值电荷，正如最大脉冲输出那样。可选地，可以建立阈值电荷，该阈值电荷将产生事件驱动的神经元开关矩阵，从而节省功率。具体而言，除非输入产生的电荷比神经元更多，否则神经元根本不会产生脉冲输出。
这种方法具备以下几点优势：(i)可以直接耦合到诸如钉扎光电二极管的传感器；(ii)仅需极少的电荷；(iii)可以使用开关电荷电路来建立相关双采样(CDS)拓扑，以去除偏移和一定噪声；(iv)因此可以使用极小的电容器，从而降低功率并提高性能(因为电容器充电极快)；(v)不具有放大器或有限环带宽的组件而使传播受装置开环物理特性的限制；(vi)容易精确控制电荷移动的比率，并且仅需局部匹配；(vii)利用开关电荷电路时，使用传输门、耗尽结和浮动扩散技术能够减少正常与开关电容器电路相关联的电荷注入；(viii)能够产生与电荷成比例的脉冲，这可以轻松复制到多条路径而不会明显失真；(ix)能够扩展电荷电路以产生具有电荷脉冲输出的基于电荷的判决电路；(ix)异步操作；以及x)事件/阈值驱动的神经元操作；(xi)能够使用简单的开关矩阵来响应与电荷成比例的脉冲(接受脉冲输入和输出脉冲输出)，从而排除ADC/DAC或其他复杂的接口电路；(xii)克服其他解决方案固有的噪声限制；(xiii)与任意精度的方案兼容。
如前所述，可以使用极小的电容器。CMOS图像传感器领域的技术人员已证实14位精度，其中将开关浮动扩散电路用于相关双采样，其中使用传输门、浮动扩散、电荷耦合装置阵列和/或使用低于10fF或几千电子的电容的钉扎光电二极管。可以使用过采样技术或通过将多个MSB和LSB路径保持较低精度并待后将它们组合来实现任意精度。这可例如有益于学习应用。这些电路可以耦合到电荷耦合移位寄存器，以存储输入的多次暴露样本，这归因于将许多像素转换为数字值所涉及的时间。图13示出这样一种电荷耦合装置，其可用于多次曝光或用于重新排序权重以进行脉动计算。该电荷耦合装置参阅本发明人的申请序列号为16/291,864、名称为“Charge Domain Mathematical Engine and Method”的美国专利申请，该文献归并本文。图14示出这种减少开关相关的电荷注入的耗尽结型传输门，其中描绘了例如在常规的开关电容器实施方式中可能期望的重叠电容。
代替使用这样的移位寄存器来预先在像素处存储多个输入曝光，而能使用如图13所示的CCD移位寄存器的神经元嵌入版本或如图16所示的短期存储器，快速存储输入数据的多个副本，以便与对不同神经元的多个加权输入配合使用。附加地，可将相关双采样(CDS)技术与浮动扩散、传输门和类似的CMOS图像传感器域电路配合使用来实施乘法器、判决电路和加法器。这种电路与常规的开关电容电路相比，电荷注入大幅减少，因此又可以减小电荷存储器件的等效幅值(例如，浮动扩散的电容或电荷存储容量)。这会减少填充电荷储存器所需的电荷(使其更快)和必须使用的电荷量(节省功率)。
CDS减少了偏移和噪声，例如闪烁噪声，并且基于有限脉冲的输入采样减小了等效噪声带宽，从而减少kT/C噪声，否则这样小的电荷储存器在常规的开关电容器实施方案中对于开关电荷功能不甚理想。一种达成上述目的的新颖方法是使用带有负载的共源极晶体管作为输入装置，该输入装置又控制电荷移动器件。这样就能创建一种极小又极快的比较器，其中包括CDS。为了理解CDS动作，可考虑图4所示的共源极晶体管T1初始处于其跳变点。此后，除了输入电荷信息之外，在输入电荷的加载期间还会积累噪声(诸如闪烁噪声)。当栅极电压在输出脉冲周期内被充回到共源极晶体管T1的开关点时，只要努力使放电和充电电流源的等效噪声幅值相匹配(例如，wl...wn,b与I1)，即有效地抵消先前加载的闪烁噪声。如果激活输出器件(图4中的42)被复位到其跳变点并且电荷被移除又再增加电荷以返回到跳变点，则其具有类似的效果。神经元输出缓存器(图4中为44的右侧)可以是自适应缓存器，以去除可变数目的连接(动态负载)的边缘效应。
利用能够使用这种小型电容器的电路仅允许利用装置的寄生效应，或替选地，必要时，通过比其他所需更小的电容器来增强寄生，从而减小死区面积。在开关电荷电路中，电容器的绝对值和线性皆无关紧要，因此可以忽略与这种寄生效应有关的装置变化。附加地，利用传输门和耗尽结装置以及浮动扩散会减少电荷注入效应，而在常规开关电容电路上，电荷注入效应必然导致施加更大的电容器。在共源极方案中使用CDS和有限噪声带宽输入采样(与整体周期相比，脉冲样本较小)可去除偏移、装置、温度和其他非理想状况以及诸如闪烁等噪声，与常规的开关电容电路相比，能够大幅降低kT/C噪声。同时，耗尽结型传输门能够减少电荷注入。
所得的开关电荷电路比常规的模拟方法更为有效，并且还能以极高的操作速度进行操作，由于向极小电荷存储元件中添加电荷或从中移除电荷所花费的时间量很少，并省除诸如具有有限带宽响应曲线的运算放大器等组件，有可能良好地进入GHz或10GHz范围。实际上，乘法器的速度极快，如果要将脉冲复制到多条路径，数据率可能需要考虑传输线和其他匹配效果，从而进一步需要自适应驱动器和中继器。
所有上述这些都允许实现一种与装置和温度无关的基于电荷的器件，其仅需最少的校准，且无需其他模拟器件通常要求的持续调谐。这些装置产生的脉冲与每个局部神经元处的电荷和最大电荷范围成比例，因此除了最大脉冲和可选的最小或阈值电荷(可能仅一次)以外，无需提供任何神经元到神经元的校准或调整。这就允许开发出一种极其鲁棒的开关矩阵。
目前的开关矩阵80可以由局部核心82组成，类似于图8所示，该局部核心82包括存储器、偏置和神经元库。局部控制器84控制交叉开关，如图7进一步示出，该交叉开关在相同库或其他四个库中的神经元之间创建局部连接。这一点可参阅图9。每个局部控制器84将控制局部交叉开关86，该局部交叉开关86与其他局部控制器84进行通信。局部控制器84代表网络中的路由器。神经元组(诸如与连接层相关联的神经元)将需要输入集，并且与适当的神经元相关联的局部控制器84将通过交叉开关建立通信(图7)并维持一帧，直到所有关联并参与该帧的神经元皆已接收到它们的输入数据。
第二帧信息在初始帧之后被存储在电荷储存器或短期存储器中，并且仅当最后一个控制器84指示它完成其第一帧活动时，该控制器84才开始第二帧。控制器84还将处理执行控制，使得代表虚拟神经元(重复使用的神经元)的神经元连接将被顺序连接。这样，由于使用开关电荷(脉冲网络耦合神经元)概念所能达成的速度，更少数目的神经元可以模拟更大的神经网络。
为了在成帧期间开启开关矩阵连接控制，控制器84可以将地址与参与的神经元相关联。该地址将是数字地址，但相对于局部群集或群组的大小受到限制，并且仅与每帧脉冲开关连接的开启相关。由于每个神经元库中的相对寻址和有限数目的控制器84，该地址可能很小。
神经网络的用户可能要求提高准确性。通过连续时间Delta-Sigma(Δ-Σ)调整手段(过采样)附加与在权重加载期间局部存储的调整相对应的可选位集，可以提高精度。这样的连续时间Delta-Sigma转换器90可以参阅图15。通过将测试电荷乘以已知的权重以确保结果匹配，Delta-Sigma转换器90能够以时间换取精度。通过控制针对以过采样速率(比开关电荷电路切换更快)实施的位流进行选通的局部电流源，能够产生精度更高的局部修改结果，并以数字方式存储此信息-例如，局部控制器84可将位与神经元地址相关联。此电路也可重复使用，以从数字校准输入中加载权重，并确保它们与初始输入矢量的工厂加载良好匹配。替选地，可以只维持降低精度的LSB和MSB路径，并待后将它们组合以增强精度。无论哪种方式，本文教导的神经网络实施方式皆无类似于数字实施且不似于许多模拟实施的过程或精度限制。这也允许模拟实施能够参与需要更高精度的深度学习应用，而大多数竞争性模拟实施仅限于推理。
在许多神经网络实施方式中，有必要通过取最小和最大结果并针对这些结果重新缩放系统来归一化一组值，例如卷积结果。在一种新颖实施方式中，这可以通过使用与这些层级相关联的最大值、阈值和最小值来重新校准最大电荷范围、阈值(例如半电荷)范围和/或最小电荷范围来完成。这可以通过使用DLL通过调整局部电流源或调整固定输入偏置来调整神经元组的局部最小值和最大值来完成。如图10的电路100所示，可以完成最大池化。在电路100中，对输入进行“或”运算，然后施加到电荷乘法器电路102。
图5示出基于脉冲的群集50。此时，输入和输出是与最大值相关的脉冲，并且可选地与最小值或阈值电荷电平相关的脉冲，以解决“死区”，因此不受物理连接约束。附加地，可使用前文描述的时间帧方法来实施依赖于连接随时间变化的递归网络。图5示出一组电路、可以在局部组合在一起的“群集”(包括短期存储器、长期非易失性存储器、局部偏置、接口、Zcell电路(可从3或4电子线路构建的电路))以及交叉开关。图5中的交叉开关通过接线而工作，然后可以用相同的脉冲来驱动这些电线。三角形表示自适应驱动器，无论建立多少连接，该驱动器均保持恒定的边缘速率。黑色圆圈表示连接，而空心圆圈表示未连接。
图6示出神经网络中可能存在的许多不同连接类型。期望能够进行这些连接以便重用Zcell来产生虚拟神经元，或者以动态方式用于递归神经网络。图7示出一系列交叉开关可如何用于跨距离同时将许多神经元连接在一起。共同的线程是同时脉冲驱动到数个不同的神经元。通过利用时间帧，可在不同的时间动态地连接不同的神经元，并且脉冲可在不同的方向传播以实施如图6所示的功能。
图8示出局部控制器84如何负责开启四个群集区域82的局部连接。可以将此配置称为核心80。图9示出这些核心80如何彼此通信以开启局部控制器84之间的全局交叉开关86，以便在不同帧期间动态地开启不同的连通性。
由于需要将大量的权重和偏置加载到大型网络中，因此神经网络或机器学习系统的工厂加载和校准将耗费大量时间。通过将神经网络集成到像素阵列中并提供局部电荷域存储器，就有机会非常快速地并行加载数据，从而节省了工厂校准或学习过程中的时间和成本。具体而言，如果开发一种测试固件，可以提供与希望加载的数据相对应的像素数据(诸如由给定像素上的光强设置的权重和偏置)，则能够并行加载与像素等量的权重或偏置。例如，12M像素阵列可以并行加载12M条信息。利用亚1us电荷累积时间，这意味着每秒可以加载12M*lc6＝12el2或12TB的数据。在假定的14位精度下，这等效于以每秒12*12＝144TB数据的速率加载，这很难使用其他方式进行匹配。
在开关电荷电路中使用MOSFET实施电流源的情况下，可以利用饱和或亚阈值操作。亚阈值区域操作将以速度为代价降低功率。如本领域技术人员悉知，该方法还能够扩展到其他类型的设备，诸如pHEMT、FinFET和背栅控制。
图22中示出将正电荷或负电荷添加到诸如存储器元件或电容器等控制寄存器的方法及设备，其在图16中标有附图标记112。在此情形下，可以使用短脉冲来增高或降低电容器C22上的电压，例如在学习应用中调整权重值。例如，如果施加正脉冲，则i*tpulse是递增电荷，如果施加负脉冲，则i*tpulse是递减脉冲。可通过更改脉冲宽度或电流偏置电平来调整所施加的偏置步长的幅值。这一点可参阅图22。图23示出基于脉冲的电荷加载以及开关电荷MAC(乘加电路)或Zcell的输出脉冲概念，显示了加载输入电荷时电荷电平相对于参考电平的变化，并且说明了系统返回到参考电平时脉冲输出时间与电荷成比例。
例如，这可用于在学习过程中改变权重或对神经元实施偏置。图24示出一种方法，通过该方法在校准周期之后，通过移位施加到比较器104的参考电压的电平来实施神经元偏置。应当指出，在上述说明中，可以用VREF和ΔV代替QREF和ΔQ。
使用其栅极节点用于加载电荷的共源极比较器会产生受栅极电压限制的动态范围，或者需要隔离才能使栅极采取负电压。为了扩大范围，可以使用图25或图26所示的方法。通过将共源极跳变点移位，可以在加载电荷时增大栅极节点的动态范围。应当指出，为了改善共源极比较器的开关性能，可能期望增大其尺寸来增加gm。遗憾的是，这样做会降低跳变电压，从而进一步限制电压范围。因此，在共源极比较器的源极与地电位之间使用电平移位，如图26所示的二极管连接的装置或跟随器，既能增加gm，又能增大动态电荷范围。使用正反馈(如施密特等开关技术)也能与这类技术结合使用，以优化开关点并最小化与有限的比较器开关时间和过冲有关的任何“死区”。
关于可例如用于临时存储权重或输入信息的短期存储器，可以使用图27所示的方法。在此情形下，将M1控制栅极拉至地电位或低于地电位，并且如果M0与M1之间的共享节点上的电压接近Vmem，则提升该共享节点会使沟道泄漏最小化。即使匹配失准，也可通过降低沟道两端的电压来减少沟道泄漏。图16还示出移动开关元件M5的背栅以最小化沟道泄漏的方法。
在图28中，一种减少采样开关关断期间的电荷注入和电容馈通的方法标为108。该构思是限制栅极电压范围。也可以使用其他“自举(bootstrap)”技术来尝试最小化电压开关范围或提供逃逸电荷的路径。附加地，MOS开关的反向和交叠电容电荷以及电容馈通皆与栅极电压成比例。栅极更长意味着泄漏更少，但反相和交叠电荷更多，这就是为何使用数字驱动器来降低输出电压电平会减少注入，却以限制可使用的最大电压为代价。该方案也可以实施为适应于所存储的电压的浮动驱动器。
对神经元偏置的实施方式是一种神经网络中的标准方法。图21示出可以使用可编程延迟线来产生偏置的方法。此偏置可能响应于存储在短期或长期存储器中的值而创建。
应当指出，当使用开关电荷装置时，输入信号层非常灵活。对于成像应用，可以使用钉扎浮动二极管作为输入存储器件，电荷转移器件在开关电荷电路中耦合到该输入存储器件(参见图2、图3或图4)。然后，可以使用全局快门和电荷乘法器装置来乘以输入电荷或使系统归一化。替选地，系统可以采用其他方式接受电荷，其中首先将其转换为电荷比例脉冲，然后将其耦合到开关电荷电路，诸如图3或图4所示的共源极比较器的栅极。例如可能是来自MEM或其他类型麦克风的电荷、电压或电流输入，或者可以将MEM麦克风中的MEM膜片形成的电容与共源极比较器栅极并联放置，或者输入可能来自图像传感器、超声波、APD光电探测器、雷达、加速计、陀螺仪、压力计或其他传感器输入。
图29示出用于允许单晶体管电荷乘法器或Zcell快速操作的转向电路110。由于电流源的有限建立时间，将转向电路110与已经建立的电流源配合使用允许使用诸如单晶体管电荷乘法器中所使用的比较器来快速重定向电流或电荷移动器件。在操作之间仍可关断电流源以节省静态功率，但在致动期间，诸如从Zcell操作的第一阶段移至第二阶段，如参照图2、图3或图4所述，如果使用转向电路110，与开关有关的错误可能导致劣化充电速率。这样能够扩展到其他可动态变化的电荷移动手段-即可在使用前以最小电荷对电荷源进行充电，以便自动限制功率损耗，而非致动和禁用这些源。而且，转向电路可例如替选地切换到“板上”的下一权重，并准备快速应用于神经元或MAC重用，而不必依序加载并等待其稳定。转向电路可位于局部缓存流水线权重到“板上”位置的末端，以优化“存储器中进程”功耗。
本领域技术人员应当注意，将电荷信息作为脉冲进行通信就无需在开关电荷电路中匹配电容器。还无需在各个阶段之间进行调谐。对于给定的乘法器或判决电路，仅需局部调谐即可优化电荷范围。
本领域技术人员容易理解上述手段和方法的各种实施方式，尤其是在其中插入不同的开关、电荷存储器件或电荷移动器件来代替上述那些器件，并且实施不同的定时手段或电荷脉冲变化的通信。
虽然已根据各种具体实施例描述了本公开的实施方案，但本领域技术人员应认识到，可利用权利要求的精神和范围内的修改来实践本公开的实施方案。

Claims (30)

1.一种开关电荷电路，包括：
至少一个输入电荷存储装置，其耦合到输入以在初始阶段期间接收电荷，其中，所述至少一个输入电荷存储装置被初始复位为电位或电荷阈值之一；
至少一个输出电荷存储装置，其耦合到输出且耦合到至少一个输入电荷存储装置，其中，所述至少一个输出电荷存储装置被初始复位为电荷电平；
比较装置，其耦合到使所述至少一个输入电荷存储装置与所述至少一个输出电荷存储装置连接的共享节点；
至少一个第一电流源，其耦合到所述至少一个输出电荷存储装置；
至少一个第二电流源，其耦合到使所述至少一个输入电荷存储装置与所述至少一个输出电荷存储装置连接的所述共享节点，所述至少一个第二电流源在幅值上与所述至少一个第一电流源成比例，以在所述至少一个输出电荷存储装置上产生电荷乘或除之一；
其中，所述至少一个第一电流源和所述至少一个第二电流源在第二阶段开始时接通，并在所述共享节点达到电位或电荷阈值之一时关断，以产生与电荷乘或除之一的幅值成比例的输出脉冲。
2.一种开关电荷电路，包括：
至少一个输入开关电荷储存器，其初始复位为电荷阈值，并耦合到输入以在初始阶段期间接收电荷；
至少一个输出开关电荷储存器，其初始复位为电荷阈值，并按功能序列耦合到输出且耦合到所述第一输入电荷储存器；
比较装置，其耦合到使所述至少一个输入开关电荷储存器与所述至少一个输出开关电荷储存器连接的共享节点；
至少一个第一电荷移动装置，其耦合到所述至少一个输出开关电荷储存器；
至少一个第二电荷移动装置，其耦合到所述共享节点，并与所述至少一个第一电荷移动装置在幅值上成比例，以按比例充电速率对所述至少一个输入开关电荷储存器和所述至少一个输出开关电荷储存器充电，以产生电荷乘或除之一；
其中，所述至少一个第一电荷移动装置和所述至少一个第二电荷移动装置在第二阶段开始时接通，并在所述共享节点达到参考电位或电荷阈值之一时关断；以及
驱动器，其在所述至少一个第一电荷移动装置和所述至少一个第二电荷移动装置在第二阶段期间接通时通过驱动输出脉冲来产生与电荷乘或除之一的幅值成比例的输出脉冲。
3.一种开关电荷电路，包括：
第一电荷存储装置，其初始复位为第一电位或第一电荷阈值之一，并耦合到输入以在初始阶段期间接收输入电荷；
其中，所述第一电荷存储装置从所述输入接收电荷，所述输入构成至少一个由电荷脉冲选通的可编程幅值的第一电荷移动装置，其中所述脉冲的宽度构成电荷比例输入值，且所述电荷移动装置的幅值构成权重；
其中，通过电荷比例输入值对所述电荷移动装置进行选通，产生的权重乘以在所述第一电荷存储装置上求和的电荷输入值；
其中，在加权值电荷输入已经耦合到所述第一电荷存储装置之后，在第二阶段期间启用与所述至少第一电荷移动装置成比例的输出电荷移动装置，以使所述第一电荷存储装置返回到第一电位或第一电荷阈值之一，然后关断；
其中，驱动器在至少一个电荷移动装置激活时产生脉冲，以产生脉冲输出，所述脉冲输出的周期表示输入值的加权和。
4.根据权利要求3所述的开关电荷电路，其中，所述输出电荷移动装置被控制信号禁用，直到全部电荷输入皆已到达。
5.根据权利要求3所述的开关电荷电路，包括：
第二电荷存储装置，其初始复位为第二电位或第二电荷阈值之一，其中，将对应于判决电路阈值的电荷进一步加载到所述第二电荷存储装置上；
第二电荷移动装置，其与所述第一电荷移动装置同时启用，并在所述第二电荷存储装置达到所述第二电位或第二电荷阈值时终止，其中通过在每个所述电荷移动装置接通的同时对同时脉冲输出进行“或”运算而产生输出；
其中，所述“或”运算的输出为与电荷形式成比例的ReLU脉冲输出。
6.一种产生输入加权求和输出的设备，包括：
输入电荷存储装置；
输出电荷存储装置；
至少一个输入电荷，其耦合到所述输入电荷储存装置；以及
电荷转移装置，其使所述输入电荷存储装置与所述输出电荷存储装置耦合；
其中，由所述设备产生与输入电荷乘以由所述电荷转移装置提供电荷的比率成比例的输出；
其中，在耦合输入电荷之后初始化向所述输入电荷存储装置和所述输出电荷存储装置供应电荷，并在所述输入电荷存储装置恢复到初始电荷电平之后停止供应电荷。
7.根据权利要求6所述的装置，其中，输出脉冲与使所述输入电荷存储装置恢复到初始电荷电平所花费的时间成比例。
8.一种在网络中增加有效神经元数目或生成虚拟神经元的设备，其中，所述设备将神经元操作分为多个时间帧，其中，在每个帧处修改连接，以使新连接重用神经元，犹如它是独立的神经元。
9.一种相关双采样复位机制，包括：
电荷存储装置，其耦合到输入；
比较器，其耦合到所述电荷储存装置；以及
电荷移动装置，其耦合到所述电荷存储装置，其中由所述电荷移动装置调整所述电荷存储装置，直到在一个阶段达到所述比较器的开关点，此后在第二阶段期间从所述电荷存储装置中移除输入电荷，从而调整所述电荷存储装置上的电荷电平，此后在输出阶段中启用所述电荷移动装置，直到再次达到所述比较器的开关点；
其中，噪声和偏移表示所述第二阶段期间的过量电荷移除，并在所述输出阶段期间再次添加，从而消除噪声和偏移。
10.一种基于电荷比例脉冲的神经元，包括：
第一电荷存储装置，其耦合到至少一个选通输入电荷移动装置，其中，所述至少一个选通输入电荷移动装置可在幅值上针对选通主电荷移动装置编程，其中，所述至少一个选通输入电荷移动装置通过在时间上与输入电荷值成比例的输入脉冲来选通；
第一比较器装置，其耦合到所述第一电荷储存装置，其中，所述第一电荷储存装置被初始充电到所述第一比较器装置的开关点；
第二电荷存储装置；
第二比较器装置，其中，所述第二电荷存储装置被初始充电到所述第二比较器的开关点，然后从所述第二电荷存储装置移除与阈值成比例的电荷；以及
第二电荷移动装置，其与所述主电荷移动装置在幅值上成比例或相等，并由所述第二比较器装置来选通；
其中，在加载输入电荷后启用所述主电荷移动装置和所述第二电荷移动装置，所述主电荷移动装置保持接通，直到达到所述第一比较器的开关点，且所述第二电荷移动装置保持接通，直到达到所述第二比较器的开关点；
其中，对达到所述第一比较器装置的开关点或所述第二比较器装置的开关点中的更晚者所花费的时间进行“或”运算并将其缓存，以产生与电荷输出形式成比例的ReLU判决输出。
11.根据权利要求1、2、3或10所述的开关电荷电路，其中，所述比较装置为共源极MOSFET。
12.根据权利要求1、2、3或10所述的开关电荷电路，其中，所述比较装置为共源极MOSFET，其源极电平相对于地电位移位。
13.根据权利要求1、2、3或10所述的开关电荷电路，包括二极管连接的mosfet，其连接在所述共源极MOSFET的源极与地电位之间。
14.根据权利要求11、12或13所述的开关电荷电路，其中，使用正反馈来减少发生开关所需的过驱动，从而减少操作“死区”。
15.根据权利要求12所述的开关电荷电路，其中，由跟随器提升所述共源极MOSFET的源极，以控制开关点电压。
16.根据权利要求1、2、3或10所述的开关电荷电路，其中，驱动器创建复制电荷脉冲，其中自适应地驱动所述复制电荷脉冲，以使幅值和边沿与正复制的脉冲相同，而与负载无关。
17.一种校准电路，其中，将最大电荷脉冲宽度提供给乘加开关电荷电路或神经元，并且针对所述最大脉冲宽度调整局部电荷移动装置的幅值，以便在权重幅值为1的情况下复制所述最大脉冲宽度。
18.根据权利要求17所述的校准电路，其中，将最小电荷宽度提供给局部神经元，以通过偏置输入或固定延迟元件设置最小比例脉冲宽度，以匹配与零或其他最小电荷值相关的所述脉冲宽度。
19.根据权利要求17或18所述的校准电路，其中，所述最大脉冲宽度是依据CMOS图像传感器全局快门装置来设置。
20.一种交叉开关，其中，所述交叉开关由动态驱动器驱动，并能够耦合电荷比例脉冲。
21.根据权利要求20所述的交叉开关，其中，所述交叉开关耦合到局部控制器，所述局部控制器能够响应帧时间进行动态交叉开关连接。
22.根据权利要求21所述的交叉开关，其中，局部控制器进一步耦合到其他局部控制器。
23.根据权利要求1、2、3或10所述的开关电荷电路，其中，所述开关电荷电路被偏置到亚阈值以降低功率。
24.根据权利要求1、2、3或10所述的开关电荷电路，其中，在初始复位后，通过增加或移除电荷之一来实施两象限操作。
25.根据权利要求24所述的开关电荷电路，其中，使用AB类切换技术来解决与所述共源极MOSFET比较器的开关点周围的两象限操作相关联的死区。
26.根据权利要求24或25所述的开关电荷电路，其中，通信符号位，以通过获知要在何象限中进行操作而允许对所述比较装置进行适当的预设和复位。
27.根据权利要求1、2、3或10所述的开关电荷电路，其中，通过调整所述第二电荷移动装置的幅值来归一化输入层或后续层。
28.根据权利要求1、2、3或10所述的开关电荷电路，其中，所述至少一个第一电流源和所述至少一个第二电流源之和处于恒定幅值，同时更改所述至少一个第一电流源与所述至少一个第二电流源之间的比率，以维持比较器的固定过冲。
29.一种利用转向电路设置多个电流幅值并在电流幅值之间快速切换以缩短电荷移动的权重稳定时间的电路。
30.一种包括交叉开关的递归神经网络，其中，所述交叉开关由动态驱动器来驱动并能够耦合电荷比例脉冲，其中，所述交叉开关耦合到能够响应于帧时间进行动态交叉开关连接的局部控制器，其中，进行连接符合与递归神经网络实施相称的基于时间连接的要求。
CN201980066710.5A 2018-10-09 2019-10-09 基于电荷的开关矩阵及其方法 Active CN112805912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862743130P 2018-10-09 2018-10-09
US62/743,130 2018-10-09
PCT/US2019/055421 WO2020076966A1 (en) 2018-10-09 2019-10-09 Charge based switched matrix and method therefor

Publications (2)

Publication Number Publication Date
CN112805912A true CN112805912A (zh) 2021-05-14
CN112805912B CN112805912B (zh) 2024-05-28

Family

ID=70051760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066710.5A Active CN112805912B (zh) 2018-10-09 2019-10-09 基于电荷的开关矩阵及其方法

Country Status (6)

Country Link
US (1) US20200110987A1 (zh)
EP (1) EP3864744A4 (zh)
JP (1) JP7465563B2 (zh)
KR (1) KR20210077704A (zh)
CN (1) CN112805912B (zh)
WO (1) WO2020076966A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7364244B2 (ja) * 2018-03-02 2023-10-18 エーアイストーム インコーポレイテッド 電荷ドメイン数理エンジンおよび方法
US11487507B2 (en) 2020-05-06 2022-11-01 Qualcomm Incorporated Multi-bit compute-in-memory (CIM) arrays employing bit cell circuits optimized for accuracy and power efficiency
US11567730B2 (en) * 2021-01-31 2023-01-31 Ceremorphic, Inc. Layout structure for shared analog bus in unit element multiplier

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3329269A1 (de) * 1983-08-12 1985-02-28 Siemens AG, 1000 Berlin und 8000 München Schaltungsanordnung zum erzeugen von rechtecksignalen
EP0400147B1 (en) * 1988-08-31 1997-10-15 Fujitsu Limited Neurocomputer
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
US5039870A (en) * 1990-05-21 1991-08-13 General Electric Company Weighted summation circuits having different-weight ranks of capacitive structures
US5261035A (en) * 1991-05-31 1993-11-09 Institute Of Advanced Study Neural network architecture based on summation of phase-coherent alternating current signals
US5483184A (en) * 1993-06-08 1996-01-09 National Semiconductor Corporation Programmable CMOS bus and transmission line receiver
WO1999021278A1 (en) * 1997-10-17 1999-04-29 Photobit Corporation Low-voltage comparator with wide input voltage swing
US6445623B1 (en) * 2001-08-22 2002-09-03 Texas Instruments Incorporated Charge pumps with current sources for regulation
ITMI20022268A1 (it) * 2002-10-25 2004-04-26 Atmel Corp Circuito pompa di cariche variabile con carico dinamico
US7053684B1 (en) * 2004-04-28 2006-05-30 Cirrus Logic, Inc. Reduced jitter charge pumps and circuits and systems utilizing the same
US7907429B2 (en) * 2007-09-13 2011-03-15 Texas Instruments Incorporated Circuit and method for a fully integrated switched-capacitor step-down power converter
GB2455524B (en) * 2007-12-11 2010-04-07 Wolfson Microelectronics Plc Charge pump circuit and methods of operation thereof and portable audio apparatus including charge pump circuits
JP2010061428A (ja) 2008-09-04 2010-03-18 Yazaki Corp 掛算回路
WO2014151443A1 (en) * 2013-03-15 2014-09-25 Adc Telecommunications, Inc. Ferrules for fiber optic connectors
US9793260B2 (en) * 2015-08-10 2017-10-17 Infineon Technologies Austria Ag System and method for a switch having a normally-on transistor and a normally-off transistor
US11263522B2 (en) * 2017-09-08 2022-03-01 Analog Devices, Inc. Analog switched-capacitor neural network
US11087099B2 (en) * 2018-03-02 2021-08-10 Aistorm, Inc. Single transistor multiplier and method therefor
US10700695B1 (en) * 2018-04-17 2020-06-30 Ali Tasdighi Far Mixed-mode quarter square multipliers for machine learning
US10522226B2 (en) * 2018-05-01 2019-12-31 Silicon Storage Technology, Inc. Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network

Also Published As

Publication number Publication date
US20200110987A1 (en) 2020-04-09
JP2022504469A (ja) 2022-01-13
WO2020076966A1 (en) 2020-04-16
EP3864744A4 (en) 2022-07-20
KR20210077704A (ko) 2021-06-25
CN112805912B (zh) 2024-05-28
EP3864744A1 (en) 2021-08-18
JP7465563B2 (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
CN112805912B (zh) 基于电荷的开关矩阵及其方法
US7068203B2 (en) Switched-capacitor circuits with reduced finite-gain effect
US5479130A (en) Auto-zero switched-capacitor integrator
CN1659860B (zh) 图像传感器电路及其方法
JP4523599B2 (ja) 信号のダイナミックレンジを増加するための複数の信号利得を有するデータ信号増幅器及びプロセッサ
KR101126035B1 (ko) 높은 동작 주파수에서 전하결합소자 안의 일정한 전하량을 감산/가산하기 위한 장치
CN108141224B (zh) 电流模式∑-δ调制器及其操作方法、模数转换器和固态成像设备
JPH0380365B2 (zh)
US11755850B2 (en) Single transistor multiplier and method therefor
Caselli et al. Charge sharing and charge injection A/D converters for analog in-memory computing
US7414556B2 (en) Analog-to-digital converter
JPH0318985A (ja) 情報処理装置
US5736757A (en) Charge-domain generation and replication devices
CN115087990A (zh) 神经放大器、神经网络和传感器设备
JP2669591B2 (ja) データ・ライン・ドライバ
US4151429A (en) Differential charge sensing circuit for MOS devices
US7528757B2 (en) Circuit and method for generating a set of intermediate voltages
US10594299B1 (en) Dynamic resistance element analog counter
Mo et al. Pipelined delay-sum architecture based on bucket-brigade devices for on-chip ultrasound beamforming
US20070273421A1 (en) Process insensitive delay line
JP7465350B2 (ja) センサフロントエンドのための電荷感受性増幅器回路
JPH08149008A (ja) Ａｄ変換回路及びそれを用いた信号変換装置
JPS6152018A (ja) スイツチドキヤパシタ回路
CN1535504A (zh) 开关电容器管线模拟数字转换器
JP3532080B2 (ja) アナログ演算回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant