CN107679622B - 一种面向神经网络算法的模拟感知计算架构 - Google Patents

Abstract

本发明公开了一种面向神经网络算法的模拟感知计算架构，包括：神经元值缓冲器，其配置为缓存待分析对象的样本参数；突触权重缓冲器，其配置为存储与样本参数对应的突触权重；模拟计算处理模块，其配置为根据突触权重和样本参数，在模拟域对待分析对象进行特征提取及特征分类。本发明实现了待分析对象的特征提取和特征分类，并且对样本参数和突触权重的计算是在模拟域中进行，具有高能效的特点，同时本架构减少了模数和数模转换模块的代价，进一步降低了能耗。

Description

一种面向神经网络算法的模拟感知计算架构

技术领域

本发明涉及人工智能领域，尤其涉及一种面向神经网络算法的模拟感知计算架构。

背景技术

近年来，人工智能(Artificial Intelligence，简称AI)蓬勃发展，神经网络作为人工智能当前最有效的实现途径之一，越来越受到学术界和工业界的关注。神经网络在图像、视频和语音识别等领域内得到了广泛的应用。

诸多神经网络中，卷积神经网络(Convolutional Neural Network，简称CNN)和深度神经网络(Deep Neural Networks，简称DNN)应用最为广泛。CNN和DNN都是计算密集型的神经网络，神经网络规模大，对平台的运算能力的要求高，特别是当处理图像和视频的高维数据时，数据传输速率可能超过计算平台实时处理的能力，目前主要通过专用集成电路提高运算速度。

RedEye是一种针对移动视觉设计的专用集成电路，它具有模拟卷积神经网络图像传感器结构，采用了模块化的并行设计思路，能够降低模拟设计的复杂性，但是无法实现特征分类，而且需要大量模数转换器(Analog to Digital Converter，简称ADC)将模拟信号转换成数字信号，能耗高。

发明内容

为解决现有技术中专用模拟集成电路仅能实现卷积神经网络的特征提取，无法实现特征分类以及专用数字集成电路存在能耗高的问题，本发明提供了一种面向神经网络算法的模拟感知计算架构。

根据本发明的一个实施例，提供了一种面向神经网络算法的模拟感知计算架构，包括：

神经元值缓冲器，其配置为缓存待分析对象的样本参数；

突触权重缓冲器，其配置为存储与所述样本参数对应的突触权重；

模拟计算处理模块，其配置为根据所述突触权重和所述样本参数，在模拟域对待分析对象进行特征提取及特征分类。

根据本发明的一个实施例，所述模拟计算处理模块包括：

多个乘法累加单元，其配置为根据所述突触权重对所述样本参数进行卷积处理；

多个第一非线性单元，其配置为与所述乘法累加单元一一对应连接，用于对各所述乘法累加单元输出的卷积结果进行非线性映射处理；

池化单元，其配置为对多个所述第一非线性单元输出的结果进行下采样及特征筛选；

第二非线性单元，其配置为对所述特征筛选的结果进行非线性映射。

根据本发明的一个实施例，所述面向神经网络算法的模拟感知计算架构还包括：

输出缓冲器，其配置为缓存所述第二非线性单元输出的中间特征和最终特征，并输出所述中间特征给所述神经元值缓冲器。

根据本发明的一个实施例，所述面向神经网络算法的模拟感知计算架构还包括：

赢者通吃模块，其配置为从所述第二非线性单元输出的最终特征中，筛选并输出最终特征中的最大值。

根据本发明的一个实施例，所述突触权重缓冲器包括第一权重参数存储器，其中，所述第一权重参数存储器配置为存储所述突触权重。

根据本发明的一个实施例，所述突触权重缓冲器还包括第二权重参数存储器，其中，所述第二权重参数存储器配置为从所述第一权重参数存储器读取所述突触权重，并输出给所述模拟计算处理模块。

根据本发明的一个实施例，所述面向神经网络算法的模拟感知计算架构还包括：

数字控制模块，其配置为分别与所述神经元值缓冲器、所述突触权重缓冲器、所述模拟计算处理模块、所述输出缓冲器和所述赢者通吃模块连接。

根据本发明的一个实施例，所述神经元值缓冲器缓存的待分析对象的样本参数以及所述突触权重缓冲器存储的与所述样本参数对应的突触权重均为模拟值。

根据本发明的一个实施例，所述神经元值缓冲器、所述第二权重参数存储器和所述输出缓冲器是易失性存储器，所述第一权重参数存储器是非易失性存储器。

根据本发明的一个实施例，所述架构适用卷积神经网络和深度神经网络。

本发明带来了以下有益效果：

本发明实现了待分析对象的特征提取和特征分类，并且对样本参数和突触权重的计算是在模拟域中进行，减少了模数和数模转换模块，降低了能耗。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的面向神经网络算法的模拟感知计算架构框图；

图2是根据本发明一个实施例的模拟内存分布图；

图3是根据本发明一个实施例的模拟计算处理模块与突触权重缓冲器连接关系图；

图4是根据本发明一个实施例的有限状态机状态转移关系图；

图5是根据本发明一个实施例的芯片在不同平台的加速图；

图6是根据本发明一个实施例的芯片在不同平台的能效图；

图7是现有技术中乘法累加单元结构图；

图8是现有技术中乘法累加单元内部的吉尔伯特乘法器结构图；

图9是现有技术中一种采用MOS管的非线性单元的电路结构示意图；

图10是现有技术中一种采用MOS管的非线性单元的电路特性示意图；

图11是现有技术中的一种最大值池化电路结构图；

图12是现有技术中的一种平均值池化电路结构图；

图13是现有技术中的非易失性存储器结构图；

图14是现有技术中的易失性存储器结构图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

图1是根据本发明一个实施例的面向神经网络算法的模拟感知计算架构框图，以下参考图1来对本发明进行详细说明。

该面向神经网络算法的模拟感知计算架构包括神经元值缓冲器120、模拟计算处理模块150、突触权重缓冲器。其中，神经元值缓冲器120用于缓存待分析对象的样本参数。突触权重缓冲器用于存储与样本参数对应的突触权重。模拟计算处理模块150用于在模拟域内对待分析对象的突触权重和样本参数进行特征提取和特征分类。

本发明通过神经元值缓冲器120、模拟计算处理模块150、突触权重缓冲器组成的面向神经网络算法的模拟感知计算架构，可以实现卷积神经网络的特征提取和特征分类。模拟计算处理模块150对样本参数和突触权重进行处理是在模拟域中进行，减少了模数和数模转换模块，降低了能耗。

图2是根据本发明一个实施例的模拟内存分布图，以下参考图2来对本发明进行详细说明。

在本发明的一个实施例中，模拟计算处理模块150包括乘法累加单元1501、第一非线性单元1502、池化单元1503、第二非线性单元1504。乘法累加单元1501用于对突触权重和样本参数进行卷积处理，第一非线性单元1502用于对卷积处理的结果进行非线性映射，池化单元1503用于对非线性映射的结果进行下采样和特征筛选，第二非线性单元1504用于对特征筛选结果进行非线性映射。

图7是现有技术中乘法累加单元结构图，图8是现有技术中乘法累加单元内部的吉尔伯特乘法器结构图，以下将结合图7和图8对乘法累加单元1501进行详细说明。

具体的，乘法累加单元1501对突触权重和样本参数参进行卷积运算。在卷积神经网络中，卷积运算是所有运算中最基本的运算，卷积运算消耗功率大、运算时间长，因此，乘法累加单元对架构性能至关重要。乘法累加单元1501的数量根据样本参数和突触权重的规模进行设定。乘法累加单元1501中的乘法器采用吉尔伯特乘法器，每个乘法累加单元内包括多个吉尔伯特乘法器，多个吉尔伯特乘法器的输出给积分电路以进行累加。

具体的，以下以采用5×5的卷积核对9×9的样本参数进行卷积处理为例，来对本发明进行详细说明。对于5x5卷积核模板，一个2x2池化操作需要4个卷积结果，因此每个模拟计算处理模块150包含4个乘法累加单元和一个池化单元。如图7所示，对于5×5的卷积核，一个乘法累加单元内需设置5个乘法器，其可以对5组样本参数和突触权重进行卷积处理。5个样本参数包括X_i,1，X_i,2，X_i,3，X_i,4，X_i,5，5个突触权重包括W_i,1，W_i,2，W_i,3，W_i,4，W_i,5，其中，i表示积分周期，对i积分周期累加结果表示为：

经过积分电路，得到不同积分周期的累加结果：

第一非线性单元1502配置为与乘法累加单元1501一一对应连接，在具有4个乘法累加单元1501时，第一非线性单元1502也需配置为4个。如图2和图3所示，这4个第一非线性单元1502分别表示为NL1、NL2、NL3、NL4，用于对各乘法累加单元1501输出的卷积结果分别进行非线性映射。

卷积神经网络的卷积结果输出需要经过非线性激活函数，例如双曲正切函数和Sigmoid函数，在传统的数字化处理过程中，非线性函数通常需要通过分段插值实现，因为更高的近似精度将需要更多的计算迭代以及更大的内存开销，所以采用分段插值实现效率低。在本发明中，利用MOS管固有的非线性特性，差分输入在MOS管的亚阈值区域形成Sigmoid函数。双曲正切函数和Sigmoid函数有相同的形状，Sigmoid函数改变输出曲线的范围大小和偏置，可以实现双曲正切函数。如图9所示为现有技术中一种采用MOS管的非线性单元的电路结构示意图，图10为对应的特性示意图。由图10中可知，输入值经过非线性单元之后，得到输出值在0到1之间的非线性映射结果。本发明利用MOS管的物理特性实现非线性函数，与传统的数字化处理分段插值相比，简化了电路结构，提高了能效。

池化单元1503用于对多个第一非线性单元1502输出的非线性映射结果进行下采样和特征筛选。在本发明的一个实施例中，对4个第一非线性单元1502输出的结果采用2×2的池化核进行下采样和特征筛选。四个非线性映射的结果经一个池化单元1503下采样和特征筛选之后，获得一个特征筛选的结果，产生鲁棒的局部特征，同时使得中间数据量显著减少。池化一般通过最大值或平均值操作实现。最大值和平均值操作都是容易在模拟域中实现的，如图11所示为现有技术中的一种最大值池化电路结构图，图12为现有技术中的一种平均值池化电路结构图。

如图11所示，该最大值池化电路从4路输入电流I₁、I₂、I₃、I₄中选择输入电流中最大值，来作为输出电流。如图12所示，该平均值池化电路取4路输入电流I₁、I₂、I₃、I₄的平均值，来作为输出电流。

第二非线性单元1504用于对池化单元1503特征筛选的结果进行非线性映射处理。第二非线性单元1504的结构及工作原理与第一非线性单元1502相同，此处不再赘述。

在本发明的一个实施例中，该面向神经网络算法的模拟感知计算架构还包括输出缓冲器160，其配置为缓存第二非线性单元1504输出的中间非线性映射结果和最终非线性映射结果，并输出中间非线性映射结果给神经元值缓冲器120。该输出缓冲器160分别与第二非线性单元1504和神经元值缓冲器120连接，可以将第二非线性单元1504输出的中间非线性映射结果输出给神经元值缓冲器120。通常，在输出缓冲器160和神经元值缓冲器120之间设置有第一数据选择器310，在神经元值缓冲器120和乘法累加单元之间设置有第二数据选择器320，这两个数据选择器用于对选择输入对应结构的数据进行筛选，如图2所示。

在该模拟计算处理模块150工作时，神经元值缓冲器120缓存的样本参数和突触权重缓冲器存储的突触权重送至模拟计算处理模块150中的乘法累加单元1501，乘法累加单元1501对该样本参数和突触权重做卷积运算。该卷积运算的结果送至第一非线性单元1502进行非线性映射处理，该非线性映射处理的结果送至池化单元1503进行特征筛选。该特征筛选的结果送至第二非线性单元1504再次进行非线性映射处理。如该第二非线性单元1504再次进行非线性映射处理的结果满足特征分类的要求，则该再次进行非线性映射处理为最终特征，否则，该再次进行非线性映射处理为中间特征。

如第二非线性单元1504输出的为中间特征，则将该中间特征缓存在输出缓冲器160中。在需对中间特征进行处理时，经第一数据选择器310选择输出给神经元值缓冲器120，然后经第二数据选择器320选择输出给模拟计算处理模块150中的乘法累加单元1501。该中间特征指的是对待分析对象的全部样本参数进行乘法累加单元1501、第一非线性单元1502、池化单元1503和第二非线性单元1504处理后的结果。

以采用5×5的卷积核对9×9的样本参数进行卷积处理为例，采用图2和图3所示的模拟计算处理模块进行处理时：

在第一个积分周期内，神经元值缓冲器120选择输出X₁₁-X₂₆，分别将4行数据X₁₁-X₁₅，X₁₂-X₁₆，X₂₁-X₂₅，X₂₂-X₂₆输出至对应的乘法累加单元MAU1、MAU2、MAU3、MAU4中各自对应的吉尔伯特乘法器输入端X_i,j，突触权重缓冲器输出卷积核中的一行突触权重W₁₁-W₁₅分别至乘法累加单元MAU1、MAU2、MAU3、MAU4。W₁₁-W₁₅分别分别与X₁₁-X₁₅，X₁₂-X₁₆，X₂₁-X₂₅，X₂₂-X₂₆进行乘法计算，对应乘法计算的结果再进行累加处理。

在第二个积分周期内，神经元值缓冲器120选择输出X₂₁-X₃₆，分别将4行数据X₂₁-X₂₅，X₂₂-X₂₆，X₃₁-X₃₅，X₃₂-X₃₆输出至对应的乘法累加单元MAU1、MAU2、MAU3、MAU4中各自对应的吉尔伯特乘法器输入端X_i,j，突触权重缓冲器输出卷积核中的一行突触权重W₂₁-W₂₅分别至乘法累加单元MAU1、MAU2、MAU3、MAU4。W₂₁-W₂₅分别分别与X₂₁-X₂₅，X₂₂-X₂₆，X₃₁-X₃₅，X₃₂-X₃₆进行乘法计算，对应乘法计算的结果再进行累加处理。

按以上顺序依次进行五个积分周期计算，则完成一个5×5的卷积核模板的计算。此时乘法累加单元MAU1输出9×9的样本参数中前5×5样本参数5个积分周期的累加和，乘法累加单元MAU2输出9×9的样本参数中第一行第二列数据起始的5×5样本参数5个积分周期的累加和，同理乘法累加单元MAU3、MAU4输出对应样本参数的累加和。这四个乘法累加单元输出的结果经第一次非线性映射处理、池化和第二次非线性映射处理之后，存储在输出缓冲器中。由于在5个积分周期中，只能处理部分9×9的样本参数，所以5个积分周期之后，输出缓冲器中只存储了输出特征数据的一部分。待全部9×9的样本参数经模拟计算处理模块后，存储在输出缓冲器中的非线性映射结果构成中间特征或最终特征。

如全部9×9的样本参数经模拟计算处理模块得到的特征分类结果不能满足要求时，该特征提取结果称为中间特征。该中间特征可以返回神经元值缓冲器120，经模拟计算处理模块150再次进行特征提取和特征分类，直至特征分类结果满足要求。这样，就可以实现卷积神经网络的全连接层处理，并得到满足要求的特征分类结果。

在本发明的一个实施例中，该面向神经网络算法的模拟感知计算架构还包括赢者通吃模块180，用于从第二非线性单元1504输出的最终特征中筛选并输出最终的特征中的最大值。

在本发明的一个实施例中，该面向神经网络算法的模拟感知计算架构还包括数字控制模块170，其分别与神经元值缓冲器120、突触权重缓冲器、模拟计算处理模块150、输出缓冲器160和赢者通吃模块180连接，如图1所示。数字控制模块170是模拟感知计算架构中唯一的数字部分，负责控制模拟感知计算架构中的过程和数据流。数字控制模块170几乎不需时钟(除了积分和I/O控制)控制。因此，一个有限状态机(HFSM)就足以描述CNN/DNN的数据流。HFSM的状态转移关系如图4所示。通过HFSM可以改变CNN/DNN的网络结构以及数据流。

具体的，以采用5×5的卷积核对9×9的样本参数进行卷积处理为例，S0表示卷积神经网络算法的初始态。S1表示特征提取层，在特征提取层中，S11表示特征提取的初始态，S12表示神经元值缓冲器120选择输出X₁₁-X₂₆，分别将X₁₁-X₁₅，X₁₂-X₁₆，X₂₁-X₂₅，X₂₂-X₂₆输出至模拟计算处理模块150中乘法累加单元1501的MAU1、MAU2、MAU3、MAU4的吉尔伯特乘法器的X_i,j端，突触权重缓冲器中W₁₁-W₁₅输出至模拟计算处理模块150中乘法累加单元1501的MAU1、MAU2、MAU3、MAU4的吉尔伯特乘法器的W_i,j端。

S13表示计算处理模块150中乘法累加单元1501做卷积运算，S14表示第一非线性单元1502对该卷积运算结果进行非线性映射、池化单元1503对该非线性映射结果进行特征筛选、该特征筛选的结果送至第二非线性单元1504进行非线性映射处理。

S15表示将该中间特征缓存至输出缓冲器160，然后将输出缓冲器160缓存的中间特征存储至神经元值缓冲器120。

S2表示特征分类层，在特征分类层中，S21表示特征分类的初始态、S22表示从神经元值缓冲器120读取中间特征和从突触权重缓冲器读取突触权重。S23表示该中间特征和该突触权重做卷积运算获得卷积运算的结果、S24表示将该卷积运算的结果送至第二非线性单元1504进行非线性映射，若该非线性映射结果是最终特征，则存储至赢者通吃模块180中。若该非线性映射结果是中间特征，则存储至神经元值缓冲器120中，然后重复进行上述过程，直至获得最终特征。S25表示将最终特征输出至赢者通吃模块180。S3表示赢者通吃模块180从最终特征中筛选并输出最终特征中的最大值。

通过数字控制模块，模拟计算处理模块实现了对样本参数和突触权重进行运算，实现了全连接层特征提取和特征分类，还减小了电路规模，降低了能耗。

在本发明的一个实施例中，该神经元值缓冲器120中缓存的待分析对象的样本参数和突触权重缓冲器存储的与样本参数对应的突触权重均为模拟值，不存在数字信号和模拟信号之间的转换，减少了模数和数模转换模块，降低了能耗。

在本发明的一个实施例中，神经元值缓冲器120、第二权重参数存储器140和输出缓冲器160是易失性存储器，第一权重参数存储器130是非易失性存储器。

图13是现有技术中的非易失性存储器结构图，图14是现有技术中的易失性存储器结构图，以下将结合图13和图14对非易失性存储器和易失性存储器进行说明。

该面向神经网络算法的模拟感知计算架构中，数据存储是重要的组成部分。在本发明中，采用两种不同类型的存储器：易失性存储器和非易失性存储器。浮栅存储器属于非易失性存储器，数据存储稳定，但写入和擦除数据的时间较长。在图13中，数据可以稳定存储在由浮栅场效应管组成的浮栅存储器中，在本发明中，卷积神经网络的突触权重已经训练完成，在整个运算过程中不需要进行更新，因此将突触权重存储在非易失性存储器中。

开关电容存储器属于易失性模拟存储器，写入和擦除的时间短，但掉电数据即丢失，工作时需要一直进行刷新操作。在图14中，开关电容存储器由开关Φ₁、Φ₂、Φ_z、Φ_c、电容C_b以及放大器组成，通过控制开关Φ₁、Φ₂、Φ_z、Φ_c的打开与关闭，实现电容C_b的快速充电和放电，从而完成存储数据的更新。

图3是根据本发明一个实施例的模拟计算处理模块与突触权重缓冲器连接关系图，以下结合图3对突触权重缓冲器进行详细说明。

在本发明的一个实施例中，突触权重缓冲器包括第一权重参数存储器130和第二权重参数存储器140，第一权重参数存储器130和第二权重参数存储器140连接，第二权重参数存储器140和模拟计算处理模块150连接。

第一权重参数存储器130存储突触权重，第二权重参数存储器140从第一权重参数存储器130读取突触权重，并输出给模拟计算处理模块150。

在本发明中，与模拟计算处理模块150直接连接的神经元值缓冲器120、第二权重参数存储器140和输出缓冲器160采用易失性模拟存储器，数据读取速度快，满足模拟计算处理模块150快速处理数据的需要，提高了运算速度。

深度神经网络样本参数和突触权重做运算实现特征提取和特征分类，深度神经网络和卷积神经网络具有相同的网络结构，因此，本发明面向神经网络算法的模拟感知计算架构适用于深度神经网络和卷积神经网络。

图5是根据本发明一个实施例的芯片在不同平台的加速图，图6是根据本发明一个实施例的芯片在不同平台的能效图，以下将结合图5和图6对采用本发明实施例的芯片效果进行说明。

如图5所示，采用不同的平台对芯片加速，在图5和图6中，1是Face Recog平台，2是Gabor平台，3是Face Align平台，4是CFF平台，5是ConvNN平台，6是Lenet-5平台，7是CNP平台，8是MPCNN平台；A表示CPU；B表示GPU；C表示DianNao；D表示ShiDianNao；E表示采用本发明一个实施例的芯片。

该面向神经网络算法的模拟感知计算架构性能与目前在CNN加速方面做得最好之一的ShiDianNao做对比，在同样的网络配置下，能够实现1.4倍的加速比，提高了运算效率。

该面向神经网络算法的模拟感知计算架构在保证了速度的前提下实现了更低的功率消耗和更高的能量效率。采用面向神经网络算法的模拟感知计算架构的芯片在180nm工艺，100MHZ的频率下功率是36mw，而ShiDiannao采用65nm工艺，1GHZ的频率下功率是320.1mw，在不同平台下的平均能效有14倍的提升。因此，采用本发明的面向神经网络算法的模拟感知计算架构的芯片能量消耗更低，表1是预估的模块面积。

表1对面向神经网络算法的模拟感知计算架构中模块面积进行了统计，本发明的面向神经网络算法的模拟感知计算架构在180nm工艺下，芯片面积是1.421mm²，ShiDiannao在65nm工艺下，芯片面积是4.86mm²，本发明在低工艺条件下芯片面积节约了70％，降低了能量消耗。

本发明通过面向神经网络算法的模拟感知计算架构的芯片实现了卷积神经网络和深度神经网络的特征提取层和特征分类层，整个运算过程均在模拟域中进行，减少了模数、数模转换模块，降低了能耗。

表1：预估的模块面积

模块类型	个数	面积(mm<sup>2</sup>)	面积占芯片的面积
				模拟计算处理模块	36	0.205	14.42％
第一权重参数存储器	60K	0.370	26.04％
				第二权重参数存储器	104	0.012	0.84％
神经元值缓冲器	162	0.019	1.34％
				输出缓冲器	13K	0.740	52.08％
数字控制模块	1	0.075	5.28％
				总和	～	1.421	100％

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种面向神经网络算法的模拟感知计算装置，包括：

神经元值缓冲器，其配置为缓存待分析对象的样本参数；

突触权重缓冲器，其配置为存储与所述样本参数对应的突触权重；

模拟计算处理模块，其配置为根据所述突触权重和所述样本参数，在模拟域对待分析对象进行特征提取及特征分类；

其中，所述模拟计算处理模块包括：

多个乘法累加单元，其配置为根据所述突触权重对所述样本参数进行卷积处理；

多个第一非线性单元，其配置为与所述乘法累加单元一一对应连接，用于对各所述乘法累加单元输出的卷积结果进行非线性映射处理；

池化单元，其配置为对多个所述第一非线性单元输出的结果进行下采样及特征筛选；

第二非线性单元，其配置为对所述特征筛选的结果进行非线性映射。

2.根据权利要求1所述的装置，其特征在于，还包括：

输出缓冲器，其配置为缓存所述第二非线性单元输出的中间特征和最终特征，并输出所述中间特征给所述神经元值缓冲器。

3.根据权利要求2所述的装置，其特征在于，还包括：

赢者通吃模块，其配置为从所述第二非线性单元输出的最终特征中，筛选并输出最终特征中的最大值。

4.根据权利要求3所述的装置，其特征在于，所述突触权重缓冲器包括第一权重参数存储器，其中，所述第一权重参数存储器配置为存储所述突触权重。

5.根据权利要求4所述的装置，其特征在于，所述突触权重缓冲器还包括第二权重参数存储器，其中，所述第二权重参数存储器配置为从所述第一权重参数存储器读取所述突触权重，并输出给所述模拟计算处理模块。

6.根据权利要求5所述的装置，其特征在于，还包括：

数字控制模块，其配置为分别与所述神经元值缓冲器、所述突触权重缓冲器、所述模拟计算处理模块、所述输出缓冲器和所述赢者通吃模块连接。

7.根据权利要求1所述的装置，其特征在于，所述神经元值缓冲器缓存的待分析对象的样本参数以及所述突触权重缓冲器存储的与所述样本参数对应的突触权重均为模拟值。

8.根据权利要求5所述的装置，其特征在于，所述神经元值缓冲器、所述第二权重参数存储器和所述输出缓冲器是易失性存储器，所述第一权重参数存储器是非易失性存储器。

9.根据权利要求1～8中任一项所述的装置，其特征在于，所述装置适用卷积神经网络和深度神经网络。

Images