CN108475348B - 卷积神经网络 - Google Patents

Abstract

本文公开了实现更有效和更少资源密集的CNN的系统和方法。具体而言，公开了使用采样模拟技术(SAT)方法在CNN在模拟领域中的应用。与具有数字逻辑和存储器的CNN设计相比，在SAT中使用CNN设计可降低功耗和运行速度。带有SAT的CNN设计的低功耗使传感器设备能够以非常低的功率检测功能，以实现隔离操作。

Description

卷积神经网络

相关申请的交叉引用

本申请根据35U.S.C.§120要求名称为“卷积神经网络”、发明人为Eric Nestleret al.的2015年12月15日提交的美国申请序列No.62/267,847和2016年12月14日提交的美国申请序列No.15/379,114的优先权的权益。先前申请的公开内容被认为是本申请的公开内容的一部分并且通过引用并入本文。

技术领域

本发明涉及神经网络领域，尤其涉及卷积神经网络。

背景技术

神经网络是用于估计可能依赖于大量输入的近似函数的数学模型。卷积神经网络是一种用于特征检测的前馈神经网络，其中人造神经元(数学函数)平铺，以便它们响应输入场中的重叠区域。神经网络是计算和资源密集型的。

发明内容

公开使用采样模拟技术的神经网络。卷积神经网络(CNN)是用于特征检测的算法和电路。在一些实施方式中，特征的检测或分析可以用于图像数据、音频数据或需要复杂分析以检测其特征的任何其他复杂数据。根据一些实施方式，当输入数据采用具有高度相关局部变量的数组形式并具有移位不变性时，CNN会很有帮助。CNN算法通常用数字逻辑和存储器来实现。然而，用数字逻辑和存储器实现CNN算法是资源密集型的。

本文公开了实现更有效和更少资源密集的CNN的系统和方法。具体而言，公开了使用采样模拟技术(SAT)方法在CNN在模拟领域中的应用。与具有数字逻辑和存储器的CNN设计相比，在SAT中使用CNN设计的功耗更低，运行速度更快。在一个例子中，与SAT一起使用CNN设计使用的功率少于通常的数字CNN设计使用的功率的十倍。在一个例子中，使用带有SAT的CNN设计可以使操作速度提高10倍以上。使用SAT的CNN操作速度更快的一个原因是，由于电荷共享的同时性，模拟版本可以在单个时钟周期内完成一个数字版本需要很多时钟周期的操作。带有SAT的CNN设计的较低功率使用可以允许传感器设备也能够以非常低的功率检测功能，以用于诸如IOT(物联网)设备的隔离操作。

根据一个实施方式，使用采样模拟技术的卷积神经网络包括：包括第一和第二模拟输入数据点的输入源；第一组电容器，用于分析所述第一模拟输入数据点并输出第一模拟卷积输出，和第二组电容器，用于分析所述第二模拟输入数据点并输出第二模拟卷积输出。所述第一和第二模拟卷积输出均包括多个特征。

在一些实施方式中，卷积神经网络还包括可变电容结构阵列，其中所述第一和第二卷积输出通过所述可变电容结构阵列进行多路复用，以产生多路复用的卷积输出。

在一些实施方式中，所述第一和第二组电容器包括固定电容器，并且固定电容器是模拟存储器单元。在一些实施方式中，所述第一和第二组电容器是具有固定权重的可变电容单元。在一些例子中，固定权重使用存储电容器尺寸实现，并且存储电容器尺寸等于所述固定权重的权重。

在一些实施方式中，第一组电容器和第二组电容器由输入源驱动。

在各种实施方式中，卷积神经网络还包括具有电荷的第一固定电压源和第一电容器数模转换器(capDAC)。由所述第一capDAC对来自所述第一固定电压源的电荷进行采样以产生第一偏压值，和所述第一偏压值添加到所述第一输出。

在一些实施方式中，卷积神经网络还包括与所述第一和第二模拟卷积输出耦合的子采样器，其中所述子采样器平均所述第一和第二模拟卷积输出以产生平均卷积输出，并且其中，所述子采样器使用非线性传递函数处理所述平均卷积输出。在一些例子中，非线性传递函数是模拟整流函数。

在一些实施方式中，卷积神经网络还包括耦合所述第一模拟卷积输出的子采样器，其中第一模拟卷积输出包括值的子窗口，并且其中子采样器包括多个模拟电压比较器，用于确定所述第一模拟卷积输出的值的子窗口的最大值。

根据一些例子，输入源包括多个模拟输入数据点，并且使用多组电容器，每组电容器分析模拟输入数据点的子窗口。

根据一个实施方式，一种使用采样模拟技术来实现神经网络的方法，包括：接收包括第一和第二模拟输入数据点的模拟输入数据，使用第一组电容器分析所述第一模拟输入数据点以产生第一模拟卷积输出，和使用第二组电容器分析所述第二模拟输入数据点以产生第二模拟卷积输出，其中产生所述第一和第二模拟卷积输出包括对多个特征执行模拟卷积操作。根据一个例子，分析包括执行卷积操作。

在一些实施方式中，该方法还包括通过可变电容结构阵列对所述第一和第二模拟卷积输出进行多路复用，以产生模拟多路复用的卷积输出。

在一些实施方式中，所述第一和第二组电容器是可变电容单元，所述第一组电容器具有第一固定权重，并且所述第二组电容器具有第二固定权重，并且产生第一模拟卷积输出包括将所述第一输入数据点与所述第一固定权重相乘，和产生第二模拟卷积输出包括将所述第二输入数据点与所述第二固定权重相乘。

在一些实施方式中，该方法包括使用第一电容器数模转换器通过采样来自第一固定电压源的比例电荷来产生第一偏压值，和将所述第一偏压值添加到所述第一输出。

在一些实施方式中，该方法包括将所述第一模拟卷积输出和所述第二模拟卷积输出在子采样器处平均。在一些实施方式中，第一模拟卷积输出包括值的子窗口，并且该方法包括确定值的子窗口的最大值。

根据一个实施方式，使用采样模拟技术的卷积神经网络包括：包括模拟输入数据的输入，多组电容器，每组电容器被配置为分析所述模拟输入数据的相应子窗口并输出用于相应子窗口的模拟卷积输出，其中所述模拟卷积输出包括多个特征，和耦合所述模拟卷积输出的模拟子采样器，其中所述模拟子采样器被配置为减小所述模拟卷积输出的多个特征中的至少一个的尺寸。

在一些实施方式中，所述多组电容器输出相应的多个模拟卷积输出，并且多个模拟子采样器耦合到所述多个模拟卷积输出。多个模拟卷积输出均包括多个特征，并且多个模拟卷积输出中的每一个都基于来自各组电容器的输出的卷积。多个模拟子采样器中的每一个被配置为减小相应模拟卷积输出的多个特征中的至少一个的尺寸。

在一些实施方式中，所述组电容器包括固定电容器，并且固定电容器是模拟存储器单元。在一些实施方式中，所述组电容器包括具有固定权重的可变电容单元。

在一个实施方式中，卷积神经网络包括具有电荷的固定电压源和电容器数模转换器(capDAC)。来自所述固定电压源的电荷通过所述capDAC采样以产生偏压值，和偏压值添加到所述多组电容器的一组的输出中。

附图说明

为了提供对本公开及其特征和优点的更完整理解，参考以下结合附图的描述，其中相同的附图标记表示相同的部件，其中：

图1是说明卷积神经网络的图；

图2是示出根据本公开的一些实施例的卷积复用电路实现的图；

图3是示出根据本公开的一些实施例的另一个卷积复用电路实现的图；

图4是示出根据本公开的一些实施例的卷积电路的图；

图5是示出根据本公开的一些实施例的非重叠子采样的图；

图6是示出根据本公开的一些实施例的用于子采样的电路的图；

图7是示出根据本公开的一些实施例的非对称变换的图；

图8是示出根据本公开的一些实施例的另一非对称变换的图；

图9是示出根据本公开的一些实施例的对称非线性变换的图；

图10是示出根据本公开的一些实施例的非对称变换的图；

图11是示出根据本公开的一些实施例的使用采样模拟技术来实现神经网络的方法的流程图。

具体实施方式

提供系统和方法以减少使用采样模拟技术(SAT)计算卷积神经网络(CNN)的功率和等待时间。CNN被用于各种应用。例如，CNN用于字符识别。CNN是检测复杂数据中的模式或特征的一种非常强大的方式。

只用电子开关和电容器元件在电容器之间进行电荷共享，从而在模拟域中执行采样模拟技术信号处理。采样模拟滤波器在不首先数字化信号的情况下过滤输入的模拟信号。采样模拟技术采用了与模拟信号处理相结合的离散时间滤波器架构，可消除任何数据路径量化噪声问题以及模数转换和数模转换步骤。

卷积神经网络

有许多不同形式的CNN结构。图1显示了具有七层的深神经网络结构的框图。这些层包括与子采样层交替的卷积层。每个层都是计算密集型的。

图1所示的CNN中的每一层包括输入图像像素数据102的N×N子窗口的卷积。在图1的第一层104中，子窗口是5×5像素，步幅为1。因此，随着图像数据被扫描和卷积120，每个子窗口从最后的子窗口移动一个像素。通过选择N和跨度值，子窗口可以是重叠的或非重叠的。

第二层106中的第二操作122是子采样操作。它是一个2×2的子窗口加权平均值，随后是一个非线性函数或压缩函数，用于产生每个子窗口的输出数据。子采样结果是当子采样使用2×2窗口时14×14的处理像素数据阵列。然后通过卷积运算124处理所得到的子采样数据106，得到作为卷积层的第三层108。来自第三层108的数据被二次采样126，导致第四层110，其是二次采样层。如图1所示，在卷积层和子采样层之间可以有许多层对交替。在图1中，第四层110上的全连接操作128导致第五层112，其是卷积层。在一个示例中，第四层110完全连接到第五层112，使得第四层110的每个输出连接到第五层112的每个输入。第四层110的每个输出可以经由单独的权重和非线性函数连接到第五层的输入。请注意，个人权重是学习权重。类似地，在第五层112上的全连接操作导致第六层114。在第六层114上执行高斯连接操作以产生作为输出的第七层116。

在其他实施方式中，第二操作从非线性函数开始，然后是子窗口加权平均值。在其他实现中，非线性函数是卷积层的一部分，使得卷积层的输出是非线性的。下面更详细地描述卷积和子采样层。

卷积层

根据一个实施方式，每个卷积步骤采用图像数据的子窗口并且通过可训练和独立的权重对卷积的每个输入进行加权。在一个例子中，每个和中有25个可编程权重。每个特征的图像数据的每个子窗口扫描使用相同的权重。此外，还有一个可训练的偏置权重加到卷积和上。

特征是输入数据的单独可测量属性。例如，特征可以包括边缘检测器和颜色斑点检测器。在其他示例中，功能专注于特定于输入数据集和标签的更精细的细节。在各种应用中，特征可以是数字或结构的。神经网络从输入数据中学习特征，神经网络的每一层从输入数据中提取一些特征。在一些实施方式中，附加信息以数据的派生特征的形式提供给神经网络。

在图1中，来自第一卷积操作120的卷积输出被示出为第一层104中的六个特征。特征的数量是与应用有关的。每个功能都是一组独立的可编程权重，用于图像数据的卷积扫描。对于特定特征的数据的所有卷积和使用相同的权重，并且每个特征与唯一的一组权重相关联。

每个特征的每个卷积被实现为产品的总和，如下面的公式1.1所示。在图1的例子中，使用5×5子窗口，N＝25：

权重，w_i和b_n是可编程的并且表示学习的行为。使用SAT，使用可编程权重和偏差的整个卷积可以被动地实现。

在这个应用中，多个卷积可以以各种方式实现。图像数据以特定的帧速率(帧每秒(fps))更新。为了实时操作，在下一个图像数据更新(1/fps秒)之前完成单层所有特征的卷积。下面描述用SAT实时实现卷积的两种示例性方法。其他使用SAT实现CNN的方法包括本文具体描述的方法的组合。

根据一些实施方式，数据可以有多种形式。例如，在一个实施方式中，CNN用于DNA定位。

子采样层

CNN的输入经历了多个层次。在如图1所示的一些实施方式中，输入在卷积层(例如，第一层104、第三层106和第五层112)和子采样层(例如，第二层106和第四层110)之间交替。在其他实现中，卷积和子采样层处于非交替顺序。例如，一个实现包括多个连续的卷积层。另一个实现包括多个连续的子采样层。

子采样降低了图像数据的复杂性和空间分辨率，这降低了输出对变化的敏感度。子采样还通过一些因素来减少特征的大小。在一个示例中，特征尺寸的减小是通过对前一卷积层的输出的一组M×M元素进行求和来完成的。在另一个例子中，特征尺寸的减小是通过平均一组M×M元素并将平均值乘以一个常数来实现的。

在CNN的一些描述中，子采样被描述为汇集。有很多合并方法。一种合并方法是确定M×M元素的总和。另一种合并方法是确定M×M元素的最大值。在其他实现中，子采样区域可以与其他子采样区域重叠。例如，在一个4×4的数字网格(可能是一个图层的输出)中，使用不重叠的2×2区域进行汇集会产生一个2×2输出。在另一个例子中，在一个4×4的数字网格中，使用重叠的2×2区域进行汇集会产生3×3输出。

非线性

根据一些实施方式，CNN结构可以在卷积和之后，在子采样或合并之后，或者在每层的卷积和和二次采样之后使数据通过非线性函数。可以用于处理CNN数据的三个对称函数包括：erfc(-x)-1传递函数、sigmoid函数和Tanh函数。另外，CNN数据可以通过非对称的ReLU功能处理，这与整流功能类似。在一些实施方式中，在进入下一个卷积层之前，来自二次采样层的各个和值通过压扁函数。压扁函数可以具有各种形状，并且压扁函数的形状可以是对称的或不对称的。

特征

在图1所示的CNN图中，第一层104(卷积层)和第二层106(子采样层)具有相同数量的特征。具体地，在图1中，第一层104和第二层106各自具有六个特征。第三层108(第二卷积层)具有16个特征。通过将第二层106特征的图像像素的几个其他映射添加到第三层108的特征来增加特征的数量。因此，卷积和子采样层的特征的数量可以不同。特征数量的扩大说明了网络中的对称性突破。另外，卷积和子采样层可以具有不同的特征。特别是，特征可以在特征数据从一层移动到下一层时转换。根据一些例子，权重是在训练阶段确定的，权重在训练阶段结束后保存。在一些例子中，不同的特征保留在一个卷积层中，与次采样层保持的特征不同。

卷积完全实现

在卷积层中，来自前一个子采样层的和乘以可训练权重。此外，还添加了可训练的偏见。

在卷积完整实现中，设备电路中存在每层的权重。例如，参照图1，卷积完整实现包括用于第一层104的六个特征的独立可编程权重和卷积和的每个元素的单独权重(在上面的公式1中示出)。这是每个总数的25个权重。在一个例子中，对于第一层104的六个特征中的每一个，存在28×28＝784个卷积，导致来自卷积操作120的输出阵列中的784个子卷对于六个特征中的每一个特征。因此，第一层104中的卷积总数是6*28*28＝4704，并且由于对于每个卷积有25个加权，所以导致5*4,704＝117,600加权和。

在一些实施方式中，权重被捆绑，使得每个移位窗口中的权重具有相同的值。当用SAT实施CNN时，每个加权总和都有一个单独的CapDAC(电容器数模转换器)。在一个示例中，当权重被捆绑时，CapDAC被捆绑，并且绑定的CapDAC被编程在单个操作中。因此，所有相同的权重可以在一次操作中进行编程，而不是分别对每个权重进行编程。这有助于提高CNN权重编程的效率。

一种用于减少加权和数的方法是增加子窗口的步幅。增加子窗口的跨度意味着为每个子窗口移动子窗口超过一个像素。例如，对于两个步幅，子窗口横向移动两个像素，垂直移动两个像素，因此子窗口的数量减少了四倍，总加权和减少了四倍。

在一个实施方式中，如上所述的全卷积实现具有117,600加权和，因此具有117,600个模拟存储器电容器，其连接到117,600个数字至是权重的模拟转换器(DAC)。在一个例子中，DAC是hybridCapDAC。这种实现是快速的，因为所有卷积和在通过权重进行缩放所需的几个时钟周期内并行发生。这个实现也是设备领域最大的。对于较大的图像数据阵列，完整的实现方法可能会大小和成本过高。

卷积复用实现

对于以选定帧速率成像数据，多个卷积和子采样层可以流水线化，并且每层可以独立并行操作。每个图层在帧率期间内完成。复用的边界可以通过多种方式实现。

图2示出了根据本公开的一些实施例的卷积复用电路200。在电路200中，每个像素具有连接到图像源或由图像源驱动的一组电容器。第一像素202耦合到第一组电容器212，并且第二像素204耦合到第二组电容器214。在一个示例中，第一组电容器212和第二组电容器214分别是存储器单元的5×5子窗口。在一些例子中，如图2所示，使用图像像素的5×5子窗口扫描，并且有5个存储单元连接到每个像素源。在一个例子中，存储器单元是模拟存储器单元。

在图2中，记忆单元是固定电容器，如第一组212和第二组214电容器中所示。第一212和第二214组电容器被多路复用(216、218)到可变电容结构阵列222a-222d。可变电容结构222a-222d可以有多种形式。在一个示例中，可变电容结构222a-222d是hybridCapDAC结构220。hybridCapDAC结构220输出卷积输出224。

在一个示例中，图2的可变电容结构222a-222d形成单个5×5矩阵子窗口。在其他实现中，可变电容单元的任何数量的阵列或矩阵可以被复用以减少卷积时间。

图3示出根据本公开的一些实施例的直接使用可变电容单元的卷积多路复用电路300。在电路300中，每个像素具有耦合到图像源的一组可变电容器。第一像素302耦合到第一组可变电容器312，并且第二像素304耦合到第二组可变电容器314。在一个示例中，第一组电容器312和第二组电容器314分别是加权记忆单元5×5子窗口。在一些实施方式中，存储单元具有可编程权重。在一些实施方式中，每个存储器单元的权重在神经网络的学习阶段之后固定，其中权重被学习。因此，权重可以直接作为等于重量的存储电容器尺寸。第一组电容器312具有第一子窗口卷积输出322，并且第二组电容器314具有第二子窗口卷积输出324。

根据一些实施方式，图3所示的架构受重量分辨率要求的影响，因此当重量分辨率要求高时，可变电容器结构可能太大而不能实现为阵列。然而，如图2所示的多路复用可以更小，并且可以作为阵列实现，即使对于高重量分辨率要求也是如此。

偏见加法

在一些实施方式中，加权值的卷积和随着可训练的偏压值而偏移。图4示出了根据本公开的一些实施例的包括加权偏置的卷积电路400的图。在电路400中，每个像素具有耦合到图像源的一组可变电容器，类似于图3所示的电路300。第一像素402耦合到第一组可变电容器412，并且第二像素404是耦合到第二组可变电容器414。在一个示例中，第一组电容器412和第二组电容器414是加权存储器单元的5×5子窗口。第一组电容器412具有第一输出416，并且将第一加权偏置432添加到第一输出以产生第一子窗口卷积输出422。第二组电容器414具有第二输出418，第二加权偏置434被加到第二输出418以产生第二子窗口卷积输出424。第一432和第二434加权偏置使加权值的卷积和移位。

第一加权偏置432添加来自由CapDAC结构426采样的固定电压源436的比例电荷值。类似地，第二加权偏置434被添加有来自由CapDAC结构428采样的固定电压源438的比例电荷值。在各种示例中，CapDAC结构426、428是HybridCapDAC。

子采样层实现

子采样层涉及卷积输出的M×M平均值，然后是非线性变换。根据一个实施方式，M×M平均值是卷积输出的非重叠M×M子窗口的平均值。M×M平均值实质上抽取了卷积步骤的空间阵列输出。然而，卷积层的电容器输出的M×M子集的电荷共享可以直接用作平均函数。在一些例子中，当共享卷积层的电容器输出的M×M子集直接作为平均函数时，可能存在规范化问题。

在一些实施方式中，子采样是重叠的。在其他实现中，子采样不重叠。图5示出了根据本公开的一些实施例的其中子采样不重叠的卷积复用电路500。电路500包括可变capDAC502的第一子窗口和可变capDAC 504的第二子窗口。第一子窗口502和第二子窗口504中的capDAC可以是hybridCapDAC。第一子窗口502输出第一卷积输出506，第二子窗口504输出第二卷积输出508。第一506和第二508输出被输入到包括开关元件的子采样加法器510。子采样加法器510包括耦合到第一输出506的第一开关526和耦合到第二输出508的第二开关528。在实施方式中，第一526和第二528开关防止子采样的重叠。

来自子采样切换元件510的子采样输出512被输入到可变capDAC514。可变capDAC514充当可训练权重。在一些例子中，可变capDAC 514是hybridCapDAC。将偏置516添加到来自可变capDAC 514的输出以产生子窗口子采样输出522。偏置516与来自由CapDAC结构518采样的固定电压源520的比例电荷值相加。

当子采样不与子窗口重叠时，则实现简单且被动。当使用重叠时，卷积和的每个输出驱动后续子采样层的几个输入。

最大合并实施

根据一个实施方式，另一种子采样方法称为MAX合并。MAX合并使用输出的M×M子窗口值的最大值。在开关电容(开关电容)电路中实现MAX功能意味着所有M×M元件之间的比较事件。

图6示出了根据本公开的一些实施例的用于子采样并且特别用于MAX合并的电路600。MAX合并电路600包括一组六个模拟电压比较器602a-602f，用于将窗口620的2×2子窗口606的四个元件604a-604d与子窗口606中的其他元件604a-604d进行比较。如图6在比较器602b处将第一元件604a与第二元件604b进行比较，在比较器602a处将第一元件604a与第三元件604c进行比较，并将第一元件604a与比较器602c处的第四元件604d进行比较。类似地，第二元件604b分别在比较器602b、602d和602e处与第一元件604a、第三元件604c和第四元件604d进行比较。第三元素604c分别在比较器602a、602d和602f处与第一元素604a、第二元素604b和第四元素604d进行比较。第四元素604d分别在比较器602c、602e和602f处的第一元素604a、第二元素604b和第三元素604c进行比较。在各种实施方式中，模拟电压比较器可以是连续时间比较器或时钟比较器。

比较器602a-602f的输出在解码器608被解码以确定最大元素。在一个示例中，解码器608是组合逻辑块。解码器608输出数字判定610，其选择四个开关612a-612d中的哪一个闭合以启用MAX操作输出，其中开关612a-612d将来自每个子窗口604a-604d的线连接到输出线614。开关闭合时，来自相应子窗口的数据将被输出到输出线614。

非线性函数实现

如上所述，可以在CNN的子采样层中使用各种不同的传递函数。当非线性传递函数用于CNN的子采样层时，非线性传递函数的形状具有广泛的可能性。根据一个方面，用SAT实现CNN层包括选择小而低功率的非线性传递函数。根据一些实施方式，模拟整流函数用于CNN的子采样层，并且整流大于零或小于零。特别是，模拟整流是理想功能输入和输出的恒定偏移量。可训练的偏置项可以补偿常量偏移量。

图7、8和9显示了创建非线性变换的三种方法。图7示出了根据本公开的一些实施例的包括二极管整流电路702的非对称变换700。非对称变换700导致整流传递函数704。图8示出了根据本公开的一些实施例的包括MOSFET整流802的非对称变换800。非对称变换800导致整流传递函数804。图9示出包括MOSFET钳位902的对称非线性变换900。对称非线性变换900导致传递函数904。

图7、8和9包括分流元件，其连接到基于电容的电荷输出。基于电容的电荷输出的一个例子是通过变换的子窗口总和输出。变换700、800和900可以用于通过实现电荷共享(CS)事件来改变子采样层输出上的电荷。

根据各种实施方式，可以调节过程、温度和电压变化。在各种示例中，检测成功可能对过程、温度和电压的变化敏感。

图10示出了包括MOSFET整流器1002和第一1006和第二1008开关的非对称变换1000。第一个1006和第二个1008开关分别根据第一个1016和第二个1018的时序图关闭。图10示出了当电压为负时，在时钟阶段2期间使用电荷共享事件对子窗口总和上的电荷放电的实现。其他功能可以用类似的方式实现。非对称变换1000导致整流传递函数1004。

在一些实施方式中，非线性传递函数或压缩函数在卷积操作以及汇集操作的输出处被执行。

应用

卷积神经网络(CNN)通过共享特征间的权重来使用空间和时间结构。CNN的体系结构允许在功能激活中进行等效，从而使CNN成为图像和视频应用的理想选择。例如，诸如手写数字识别的字符识别，以及更广泛地，图像识别/分类以及视频识别/分类。根据一些实施方式，当输入数据是具有高度相关的局部变量的阵列形式并具有移位不变性时，使用CNN。

言语和自然语言处理是CNN可以用来利用问题内在结构优势的另外两个领域。自动语音识别(ASR)是历史上通过使用隐马尔可夫模型(HMM)或高斯混合模型(GMM)来解决问题的一种应用。然而，现在最先进的技术是使用深神经网络，特别是针对ASR的CNN。已经接受过ASR培训的CNN也可用于在嘈杂的环境中识别语言。

CNN具有非常广泛的应用范围，包括药物发现和化学分析。在一个应用中，CNN被训练来预测分子的生物活性和化学相互作用。生物系统通过分子水平的相互作用进行操作，因此能够使用CNN预测分子间的相互作用，这可以极大地帮助药物发现。

在其他应用中，CNN可用于DNA映射。DNA映射用于描述染色体上基因的位置，并确定基因之间的距离。

图11示出了根据本公开的一些实施例的用于使用采样模拟技术来实现神经网络的方法1100。在步骤1102，接收包括第一和第二模拟输入数据点的模拟输入数据。在步骤1104，利用第一组电容器分析第一模拟输入数据点以产生第一输出。在步骤1106，利用第二组电容器分析第二模拟输入数据点以产生第二输出。在步骤1108，基于第一和第二输出产生模拟卷积输出。如上所述，模拟卷积输出包括多个特征。

在一些例子中，该方法包括通过可变电容结构阵列复用第一和第二输出以产生模拟卷积输出。在一些实施方式中，所述第一和第二组电容器是可变电容单元，并且所述第一和第二组电容器各自具有固定权重。产生第一输出包括将第一输入数据点乘以第一固定权重，并且产生第二输出包括将第二输入数据点乘以第二固定权重。

在一些实施方式中，第一偏压值是通过从第一固定电压源取样比例电荷而产生的，并将第一偏压值添加到第一输出。比例电荷由第一电容器数模转换器取样。在一些例子中，模拟卷积输出在子采样器的第二模拟卷积输出求平均值。在一些例子中，模拟卷积输出包括值的子窗口，并且确定值的子窗口的最大值。

变化和实施

在各种实施方式中，如本文所述的SAT可以用于任何类型的CNN。根据一些实现，SAT用于密集卷积网络。在密集卷积神经网络中，每一层都以前馈方式与其他层连接。对于每个图层，输入都包含所有前面的图层的特征。同样，对于每个图层，图层的要素都会输入到所有后续图层。

在上述实施例的讨论中，电容器、时钟、DFF、分频器、电感器、电阻器、放大器、开关、数字核心、晶体管和/或其他组件可容易地被替换、代替或以其他方式修改，以适应特定电路需求。此外，应该注意的是，使用互补的电子设备、硬件、软件等提供了用于实现本公开的教导的可选方案。

在一个示例实施例中，图的任何数量的电路可以在相关联的电子设备的板上实现。该板可以是通用电路板，其可以容纳电子设备的内部电子系统的各种组件，并且进一步为其他外围设备提供连接器。更具体地说，电路板可以提供电连接，通过该电连接系统的其他部件可以电连通。基于特定的配置需求、处理需求、计算机设计等，任何合适的处理器(包括数字信号处理器、微处理器、支持芯片组等等)、计算机可读非暂时性存储器元件等可以适当地耦合到电路板。其他组件如外部存储器、附加传感器、音频/视频显示控制器以及外围设备可作为插入式卡、电缆或集成到电路板本身。在各种实施例中，所描述的功能在此可以仿真形式实现为运行在支持这些功能的结构中布置的一个或多个可配置(例如，可编程)元件内的软件或固件。提供仿真的软件或固件可以被提供在包括允许处理器执行那些功能的指令的非暂时性计算机可读存储介质上。

在另一个示例实施例中，附图的电路可以被实现为独立模块(例如，具有被配置为执行特定应用或功能的相关组件和电路的设备)，或者作为插入式模块实施到电子设备的专用硬件中。注意，本公开的特定实施例可以容易地部分地或全部地包括在片上系统(SOC)封装中。SOC代表将计算机或其他电子系统的组件集成到单个芯片中的IC。它可能包含数字、模拟、混合信号和通常射频功能：所有这些功能都可以在单个芯片基板上提供。其他实施例可以包括多芯片模块(MCM)，多芯片模块(MCM)具有位于单个电子封装内并且被配置为通过电子封装彼此紧密相互作用的多个单独的IC。在各种其他实施例中，可以在专用集成电路(ASIC)、现场可编程门阵列(FPGA)和其他半导体芯片中的一个或多个硅芯中实现CNN功能。

在另一个示例实施例中，附图的电路可以被实现为CNN电路的训练的一部分。训练是处理CNN块的输出以确定各种权重的反馈路径。

还必须指出，仅仅为了示例和教导的目的而提供了在此概述的所有规格、尺寸和关系(例如，处理器的数量、逻辑操作等)。在不脱离本公开的精神或所附权利要求的范围的情况下，这些信息可以有相当大的变化。这些规范仅适用于一个非限制性示例，因此它们应该被解释为这样。在前面的描述中，已经参照特定处理器和/或组件布置描述了示例实施例。在不脱离所附权利要求的范围的情况下，可以对这样的实施例进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。

注意，上面参考附图讨论的活动适用于涉及信号处理的任何集成电路，特别是那些可以执行专用软件程序的集成电路或者算法，其中的一些可以与处理数字化的实时数据相关联。某些实施例可涉及多DSP信号处理、浮点处理、信号/控制处理、固定功能处理、微控制器应用等。

在某些情况下，本文讨论的特征可适用于医疗系统、科学仪器、无线和有线通信、雷达、工业过程控制、音频和视频设备、电流感测、仪器仪表(可高度精确)以及其他基于数字处理的系统。

此外，可以在用于医学成像、患者监测、医疗仪器和家庭保健的数字信号处理技术中提供以上讨论的某些实施例。这可能包括肺部监护仪、加速度计、心率监测器、起搏器等。其他应用可能涉及用于安全系统(例如稳定性控制系统、驾驶员辅助系统、制动系统、信息娱乐系统和任何类型的内部应用)的汽车技术。此外，动力总成系统(例如混合动力和电动车辆)可以在电池监控、控制系统、报告控制、维护活动等中使用高精度数据转换产品。

在其他示例场景中，本公开的教导可以应用于包括帮助驱动生产力、能量效率和可靠性的过程控制系统的工业市场中。在消费者应用中，上面讨论的信号处理电路的教导可以用于图像处理、自动对焦和图像稳定(例如，用于数码相机、摄像机等)。其他消费类应用可包括家庭影院系统的音频和视频处理器、DVD刻录机和高清电视。其他消费者应用可以涉及高级触摸屏控制器(例如，用于任何类型的便携式媒体设备)。因此，这些技术可能成为智能手机、平板电脑、安全系统、个人电脑、游戏技术、虚拟现实、模拟培训等的一部分。

注意，利用这里提供的许多例子，交互可以用两个、三个、四个或更多个电子部件来描述。但是，这仅仅是为了清楚和示例的目的而完成的。应该意识到，系统可以以任何合适的方式进行合并。沿着相似的设计替代方案，图中所示的任何组件、模块和元件可以以各种可能的配置进行组合，所有这些都清楚地在本说明书的宽范围内。在某些情况下，通过仅引用有限数量的电气元件来描述给定流程集合的一个或多个功能可能更容易。应该理解的是，附图及其教导的电路易于扩展并且可以容纳大量的部件以及更复杂/复杂的布置和配置。因此，所提供的示例不应该限制电路的范围或者禁止广泛的教导，因为电路可能被应用于无数其他体系结构。

注意，在本说明书中，对“一个实施例”、“示例实施例”、“实施例”、“另一实施例”、“一些实施例”、“各种实施例”、“其他实施例”、“替代实施例”中包括的各种特征(例如元件、结构、模块、组件、步骤、操作、特性等)等旨在表示任何这样的特征包括在本公开的一个或多个实施例中，但可能或可能不一定组合在相同的实施例中。

注意到与CNN有关的功能也仅仅说明了一些可能由图中所示系统执行的或可能在系统内执行的CNN功能。在适当的情况下，这些操作中的一些可以被删除或移除，或者在不脱离本公开的范围的情况下可以相当大地修改或改变这些操作。另外，这些操作的时间可能会有相当大的改变。为了举例和讨论的目的，提供了前面的操作流程。本文描述的实施例提供了实质的灵活性，因为在不脱离本公开的教导的情况下可以提供任何合适的布置、时间顺序、配置和定时机制。

本领域技术人员可以确定许多其他改变、替代、变化、变更和修改，并且本公开意图包括落入所附权利要求的范围内的所有这些改变、替换、变化、更改和修改。为了协助美国专利商标局(USPTO)以及另外对本申请所发布的任何专利的任何读者解释所附权利要求，申请人希望指出，申请人：(a)不希望任何所附权利要求援引35U.S.C.的第六(6)段，第112条，因为它在本申请提交日存在，除非在特定的权利要求中特别使用了“用于......的装置”或“用于......的步骤”；和(b)无意通过说明书中的任何陈述以任何未在所附权利要求中反映的方式限制本公开。

其他注意事项、示例和实施

注意，上述设备的所有可选特征也可以关于本文描述的方法或过程来实现，并且示例中的细节可以在一个或多个实施例中的任何地方使用。

在第一个示例中，提供了一个系统(可包括任何合适的电路、分频器、电容器、电阻器、电感器、ADC、DFF、逻辑门、软件、硬件、链路等)，其可以是任何类型的计算机的一部分，其可以进一步包括耦合到多个电子部件的电路板。该系统可以包括用于使用第一时钟将来自数字核心的数据定时到宏的第一数据输出上的装置，第一时钟是宏时钟；用于使用第二时钟将来自宏的第一数据输出的数据定时到物理接口的装置，第二时钟是物理接口时钟；用于使用所述宏时钟将来自所述数字内核的第一重置信号定时到所述宏的重置输出的装置，所述第一重置信号输出用作第二重置信号；用于使用提供大于第二时钟速率的时钟速率的第三时钟对第二复位信号进行采样以产生采样复位信号的装置；以及用于响应于采样的复位信号的转变，在物理接口中将第二时钟复位到预定状态的装置。

在这些情况下(以上)的'装置'可以包括(但不限于)使用在此讨论的任何合适的组件以及任何合适的软件、电路、集线器、计算机代码、逻辑、算法、硬件、控制器、接口、链路、总线、通信路径等。在第二示例中，系统包括还包括机器可读指令的存储器，所述机器可读指令在被执行时使系统执行以上讨论的任何活动。

Claims (20)

1.一种使用采样模拟技术形成卷积神经网络的系统，包括：

包括第一模拟输入数据点和第二模拟输入数据点的输入源，其中所述第一模拟输入数据点和所述第二模拟输入数据点位于相同帧的图像上，

第一组电容器，用于分析所述第一模拟输入数据点，并且被配置为被动地将所述第一模拟输入数据点与第一权重相结合，并且输出第一模拟卷积输出，其中所述第一权重被作为第一电容在所述第一组电容器中的每个上存储；和

第二组电容器，用于分析所述第二模拟输入数据点，并且被配置为被动地将所述第二模拟输入数据点与第二权重相结合，并且输出第二模拟卷积输出，其中所述第二权重被作为第二电容在所述第二组电容器中的每个上存储，

其中所述第一模拟卷积输出和第二模拟卷积输出均包括多个特征，其中所述卷积神经网络包括输出多个模拟卷积输出的多个卷积层并且所述卷积神经网络进一步包括多个子采样层。

2.如权利要求1所述的系统，还包括可变电容结构阵列，其中所述第一模拟卷积输出和所述第二模拟卷积输出通过所述可变电容结构阵列进行多路复用，以产生多路复用的卷积输出。

3.如权利要求1所述的系统，其中所述第一组电容器和所述第二组电容器包括固定电容器，并且其中所述固定电容器是模拟存储器单元。

4.如权利要求1所述的系统，其中所述第一组电容器和所述第二组电容器是具有固定权重的可变电容单元。

5.如权利要求4所述的系统，其中所述固定权重使用存储电容器尺寸实现，并且其中所述存储电容器尺寸等于所述固定权重的权重。

6.如权利要求1所述的系统，其中所述第一组电容器和所述第二组电容器由输入源驱动。

7.如权利要求1所述的系统，还包括：

具有电荷的第一固定电压源，和

第一电容器数模转换器capDAC，

其中由所述第一电容器数模转换器capDAC对来自所述第一固定电压源的电荷进行采样以产生第一偏压值，和

其中所述第一偏压值被添加到所述第一模拟卷积输出。

8.如权利要求1所述的系统，还包括与所述第一模拟卷积输出和所述第二模拟卷积输出耦合的子采样器，其中，所述子采样器平均所述第一模拟卷积输出和所述第二模拟卷积输出以产生平均卷积输出，并且其中所述子采样器使用非线性传递函数处理所述平均卷积输出。

9.如权利要求8所述的系统，其中非线性传递函数是模拟整流函数。

10.如权利要求1所述的系统，还包括耦合到所述第一模拟卷积输出的子采样器，

其中所述第一模拟卷积输出包括值的子窗口，和

其中所述子采样器包括多个模拟电压比较器，用于确定所述第一模拟卷积输出的值的子窗口的最大值。

11.一种使用采样模拟技术来实现神经网络的方法，包括：

接收包括第一模拟输入数据点和第二模拟输入数据点的模拟输入数据，

使用第一组电容器采样所述第一模拟输入数据点，其中所述第一模拟输入数据点和所述第二模拟输入数据点位于相同帧的图像上，

通过被动地将所述第一模拟输入数据点与第一权重相结合，使用作为第一电容在所述第一组电容器中的每个上存储的第一权重来生成第一模拟卷积输出，以及

使用第二组电容器采样所述第二模拟输入数据点，

通过被动地将所述第二模拟输入数据点与第二权重相结合，使用作为第二电容在所述第二组电容器中的每个上存储的第二权重来生成第二模拟卷积输出，

其中产生所述第一模拟卷积输出和所述第二模拟卷积输出包括对多个特征执行模拟卷积操作，

其中所述神经网络包括输出模拟卷积输出的多个卷积层并且所述神经网络进一步包括多个子采样层。

12.如权利要求11所述的方法，还包括通过可变电容结构阵列对所述第一模拟卷积输出和所述第二模拟卷积输出进行多路复用，以产生模拟多路复用的卷积输出。

13.如权利要求11所述的方法，其中所述第一组电容器和所述第二组电容器是可变电容单元，所述第一组电容器包括第一固定权重，并且所述第二组电容器包括第二固定权重，并且其中

产生第一模拟卷积输出包括将所述第一模拟输入数据点与所述第一固定权重相乘，并且其中

产生第二模拟卷积输出包括将所述第二模拟输入数据点与所述第二固定权重相乘。

14.如权利要求11所述的方法，还包括：

通过使用第一电容器数模转换器采样来自第一固定电压源的比例电荷来产生第一偏压值，和

将所述第一偏压值添加到所述第一模拟卷积输出。

15.如权利要求11所述的方法，还包括将所述第一模拟卷积输出和所述第二模拟卷积输出在子采样器处平均。

16.如权利要求11所述的方法，其中所述第一模拟卷积输出包括值的子窗口，并且所述方法还包括确定值的子窗口的最大值。

17.一种使用采样模拟技术形成卷积神经网络的系统，包括：

包括模拟输入数据的输入，

多组电容器，每组电容器被配置为分析所述模拟输入数据的相应子窗口，并且被配置为被动地将所述模拟输入数据与被存储为电容的权重相结合，其中所述模拟输入数据位于相同帧的图像上，并且使用所述权重输出相应子窗口的模拟卷积输出，其中所述模拟卷积输出包括多个特征，和

耦合到所述模拟卷积输出的模拟子采样器，其中所述模拟子采样器被配置为减小所述模拟卷积输出的多个特征中的至少一个的尺寸，

其中所述卷积神经网络包括输出模拟卷积输出的多个卷积层并且所述卷积神经网络进一步包括多个子采样层。

18.如权利要求17所述的系统，其中所述多组电容器包括固定电容器，并且其中所述固定电容器是模拟存储器单元。

19.如权利要求17所述的系统，其中所述多组电容器包括具有固定权重的可变电容单元。

20.如权利要求17所述的系统，还包括：

具有电荷的固定电压源，和

电容器数模转换器capDAC，

其中来自所述固定电压源的电荷通过所述电容器数模转换器capDAC采样以产生偏压值，和

其中所述偏压值被添加到所述多组电容器的一组电容器的输出中。