CN107256424A - 三值权重卷积网络处理系统及方法 - Google Patents

Abstract

本发明提供一种三值权重卷积神经网络的处理系统。该系统包括：至少一个存储单元，用于存储数据和指令；至少一个控制单元，用于获得保存在所述存储单元的指令并发出控制信号；至少一个计算单元，用于从所述存储单元获得卷积神经网络中的一层的节点值和对应的三值权重值数据并通过执行加减操作获得下一层的节点值。本发明的处理系统减少了卷积神经网络计算过程中的数据位宽、提高了卷积运算速度、降低了存储容量及工作能耗。

Description

三值权重卷积网络处理系统及方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用于三值权重卷积网络的处理系统。

背景技术

深度学习技术在近几年得到了飞速的发展，深度神经网络，尤其是卷积神经网络，在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域取得了广泛的应用。通过深度学习获得的深度网络结构是一种运算模型，其中包含大量数据节点，每个数据节点与其他数据节点相连，各个节点间的连接关系用权重表示。伴随着神经网络复杂度的不断提高，神经网络技术在实际应用过程中存在占用资源多、运算速度慢、能量消耗大等问题。

在现有技术中，为解决上述问题，可以将三值权重卷积神经网络模型应用到图像识别、增强现实和虚拟现实等领域。值权重卷积神经网络通过将权重三值化(例如，采用1、0和-1表示权重和中间计算数据)减少了数据位宽，极大地降低了参数容量并且提高了网络模型运算速度。三值权重卷积神经网络的出现降低了图像识别等复杂系统运行所需要的硬件配置，扩展了卷积神经网络的应用领域。

然而，目前大部分的深度学习应用是使用中央处理器和图形处理单元等实现的，这些技术能效不高，在嵌入式设备或低开销数据中心等领域应用时存在严重的能效问题和运算速度瓶颈，难以满足应用的性能要求，因此，很难将其应用于移动电话、嵌入式电子设备等小型化轻量级设备中。

发明内容

本发明针对三值权重卷积神经网络的网络特征和计算特征，提供一种应用于三值权重卷积网络的处理系统及方法，以克服上述现有技术的缺陷。

根据本发明的第一方面，提供了一种三值权重卷积神经网络的处理系统。该系统包括：至少一个存储单元，用于存储数据和指令；至少一个控制单元，用于获得保存在所述存储单元的指令并发出控制信号；至少一个计算单元，用于从所述存储单元获得卷积神经网络中的一层的节点值和对应的三值权重值数据并通过执行加减操作获得下一层的节点值。

在本发明的系统中，所述计算单元包括卷积单元和累加器，其中，所述卷积单元接收卷积神经网络中的一层的节点值和对应的三值权重值数据，所述卷积单元的输出耦合到所述累加器。

在本发明的系统中，所述卷积单元包括数值取反单元、多路选择单元和加法器，其中，输入数据分别通过所述数值取反单元接入至所述多路选择单元以及直接接入至所述多路选择单元，三值权重值数据接入至所述多路选择单元以控制所述多路选择单元的信号选通，所述多路选择单元的输出接入至所述加法器。

在本发明的系统中，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。

在本发明的系统中，所述三值权重值进一步重映射为函数r(z)：

其中，z表示输入操作数，r(z)表示映射结果。

在本发明的系统中，在卷积时去除或不予考虑数值为0的权重值包括：针对数值为1或-1的权重值，设置与其相关联的步进值，该步进值用于指示当前权重值与下一个数值为1或-1的权重值之间的距离。

根据本发明的第二方面，提供了一种三值权重卷积神经网络的处理方法。该方法包括：获得卷积神经网络中的一层的节点值和对应的三值权重值数据；通过执行加减操作进行卷积来获得下一层的节点值。

在本发明的方法中，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。

在本发明的方法中，通过执行加减操作进行卷积来获得下一层的节点值包括：当权重值为1时，将原始输入数据传送到加法器；以及当权重值为-1时，将经过数值取反后的输入数据传送到加法器。

在本发明的方法中，在卷积时去除或不予考虑数值为0的权重值包括：针对数值为1或-1的权重值，设置与其相关联的步进值，该步进值用于指示当前权重值与下一个数值为1或-1的权重值之间的距离。

与现有技术相比，本发明的优点在于：本发明的处理系统和方法在三值权重神经网络计算过程中采用异或非操作来代替传统卷积神经网络中的乘法和加法操作，提供了运算速度和能效，减少了硬件开销并提高了数据利用率。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的三值权重神经网络的模型示意图；

图2示出了根据本发明一个实施例的三值权重神经网络处理系统的结构框图；

图3示出了根据本发明另一实施例的三值权重神经网络处理系统的结构框图；

图4示出了根据本发明的一个实施例的三值权重神经网络处理系统中计算单元的结构框图；

图5示出了根据本发明一个实施例的三值权重神经网络的处理系统中的卷积单元的示意图；

图6示出了根据本发明的一个实施例的权重压缩方式的示意图；

图7示出了根据本发明另一实施例的权重压缩方式的示意图；

图8示出了基于本发明的一个实施例的进行卷积操作的过程示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

神经网络结构包括输入层、多个隐藏层和输出层，在三值权重卷积神经网络中，多层结构的第一层输入值为原始图像(在本发明中的“原始图像”指的是待处理的原始数据，不仅仅是狭义的通过拍摄照片获得的图像)，因此在第一层(输入层)计算时需要采用正常位宽来进行计算，其余层可以采用三值计算方式，通过对该层的节点的值和其对应的权重进行三值运算来得到下一层的节点。对于三值权重神经网络是指每层节点对应的权重是三值数据，例如，-1、1和0表示权重。

图1示出三值神经网络模型的示意图。如图1所示，假设表示神经网络中某一层的几个节点，它们与下一层的节点y相连。表示对应连接的权重，因为所有的权重都是三值数据，可以用1、0和-1表示三值的三个取值。通过函数f来计算y的取值，则可以定义运算：y＝x×w。因此，针对各层的运算存在大量的乘加操作。

本发明旨在提供一种面向三值权重神经网络的处理系统或称作处理器，该系统在三值权重神经网络计算过程中采用基本的加减操作来代替传统卷积神经网络中的乘加操作，能够提升神经网络的运算速度及能效。

在本发明提供的基于三值权重神经网络处理系统中，为了减少存储空间并提高运算效率，可将权重数据进一步缩减。具体过程如下：

在传统卷积神经网络计算过程中，输入图形数据与卷积核进行乘加运算完成卷积操作。在三值权重神经网络中，权重数据采用逻辑值1、-1和0三个数值表示，各层的节点值采用正常位宽(例如，8位、16位等)表示。

在三值神经网络中，可采用两比特二进制数描述被三值化的权重数据，其中高位为符号位，低位为数据位，-1采用其对应的二进制补码为11表示，1采用其对应的二进制原码01表示，0采用其对应的二进制原码00表示。

在另一个实施例中，为了提高神经网络运算速率，进一步减少参加运算的权重数量。本发明还提供一种适用于三值权重神经网络的权重压缩方法，该权重压缩方法对权重数据进行重编码，仅保留数值为1和-1的权重值，将数值为0的权重值去除或不予考虑，进而实现权重压缩。

在一个实施例中，为了进一步减少存储空间并提高运算效率，将上述权重数据进行重映射，重映射函数r(z)为：

式(1)表达的操作可理解为，当输入操作数z等于1时，所述操作数保持数值1不变；当操作数z为-1时，操作数被映射为数值0。

通过这种方式，在本发明中，采用数值0代表三值权重神经网络中数值为-1的权重值，采用数值1代表三值权重神经网络中数值为1的权重值，而数值为0的权重值被去除或不予考虑。载入至权重神经网络处理器的权重值需要在片外或处理系统外进行预处理，所述预处理包括根据函数r(z)进行重映射。

图2示出了根据本发明一个实施例的应用于三值权重神经网络的处理系统的框图。

概括而言，本发明提供的神经网络处理系统基于存储-控制-计算的结构。存储结构用于存储参与计算的数据、神经网络权重及处理器操作指令；控制结构包括译码电路与控制逻辑电路，用于解析操作指令，生成控制信号，该信号用于控制片上数据的调度与存储以及神经网络计算过程；计算结构包括计算单元，用于参与该处理器中的神经网络计算操作，其中应包括数据检索结构，保证被压缩的数据在计算单元中能够正确地与相应权重进行计算。

具体地，参见图2所示，本发明提供了面向三值权重神经网络的处理系统200，包括至少一个存储单元210、至少一个控制单元220和至少一个计算单元230。控制单元220与存储单元210、计算单元230连接。计算单元230和存储单元210连接，用于从存储单元210读取或输出数据。存储单元210、控制单元220和计算单元230之间的数据通路包括H-TREE或FAT-TREE等互联技术。

存储单元210用于存储神经网络处理系统外部传来的数据(例如，原始特征图数据)或用于存储处理过程中产生的数据，包括处理过程中产生的处理结果或中间结果，这些结果可以来自于神经网络处理系统的核心运算部件或其他运算部件。此外，存储单元还可用于存储参与计算的指令信息(例如，将数据载入存储单元、计算开始、计算结束等)。存储单元可以是静态随机存储器(SRAM)、动态随机存储器(DRAM)、寄存器堆等常见存储介质，也可以是3D存储器件等新型的存储器类型。

控制单元220用于获取保存在存储单元的指令并进行解析，进而根据解析指令得到的控制信号来控制计算单元230进行神经网络的相关运算。控制单元220可以通过硬件电路实现，例如包括但不限于FPGA、专用集成电路ASIC等。

计算单元230用于根据从控制单元220获得的控制信号来执行相应的神经网络计算，计算单元230与存储单元210相连，以获得数据进行计算并可将计算结果写入到存储单元210。计算单元230可完成神经网络中的大部分计算，如，卷积操作、池化操作等。池化操作通常在卷积操作之后进行，其作用为降低卷积层特征向量。通常包括平均值池化和最大值池化两类。平均值池化的方法为计算图层内所有元素的平均值作为输出结果，最大值池化的方法为计算图层内所有元素的最大值最为输出结果。通过池化操作可以改善图层出现过拟合现象。

本领域的技术人员应理解的是，尽管图2中未示出，该处理系统还包括地址寻址功能，用于根据输入的索引映射到正确的存储地址，以从存储单元中获得需要的数据或指令，地址寻址功能可以实现在控制单元中或以独立单元的形式实现。

图3是根据本发明另一实施例的神经网络处理系统的结构框图。其与图2的神经网络处理系统的区别是：在图3(其中未示出各单元的连接关系)的神经网络处理系统300中，根据存储数据的类型不同，划分成多个存储单元，即输入数据存储单元311、权重存储单元312、指令存储单元313和输出数据存储单元314；计算单元包括多个可以并行处理的子计算单元1至N，以及用于寻址数据的检索单元。

输入数据存储单元311用于存储参与计算的数据，该数据包括原始特征图数据和参与中间层计算的数据；权重存储单元312用于存储已经训练好的神经网络权重；指令存储单元313用于存储参与计算的指令信息，指令可被控制单元320解析为控制流来调度神经网络的计算；输出数据存储单元314用于存储计算得到的神经元响应值。通过将存储单元进行细分，可将数据类型基本一致的数据集中存储，以便于选择合适的存储介质并可以简化数据寻址等操作。

此外，通过采用多个并行的计算单元，可以提供神经网络的计算速度。

本发明提供的面向三值权重神经网络的处理系统通过特有架构及电路设计，可以满足三值权重神经网络的网络特征及计算特性，实现了对三值权重神经网络的运算加速。

图4示出了图2和图3中的计算单元的结构框图。参见图4所示，计算单元由卷积单元、加法单元(或加法器)、累加器单元、中间层缓冲单元、池化及批量归一化单元等运算部件组成。应注意的是，在本文中，所述的卷积单元指的是通过加法操作来完成卷积的结果。

卷积单元可由原码-补码转换单元、多路选择器和加法器等单元组成，用于完成图层数据与权重的卷积操作，输出结果作为加法单元的输入数据。

累加器由加法器单元组成，用于保存和累加加法单元的部分数据和结果。

中间层缓冲单元由存储器组成，用于存储单个卷积核完成卷积操作后的结果。

池化及批量归一化单元对卷积输出层进行池化操作。

在本发明的实施例中，可采用或门实现加法单元，或门的输入为来自卷积单元的输出结果，输出值为单比特值，采用或门实现加法单元可以简化运算、增加运算效率。在另一实施例中，可以采用汉明重量计算单元来实现加法单元。汉明重量计算单元的输入为卷积单元的输出结果，输出值为输入数据中逻辑1的数量，即汉明重量。采用汉明重量计算单元实现加法单元能够精确实现求和操作。

本发明提供的适用于三值权重神经网络的卷积单元，如图5所示。卷积单元由数值取反单元、多路选择单元和加法器单元组成。输入数据(例如，卷积神经网络中的一层的节点值)分别接入到数值取反单元以及多路选择单元的一个输入，数值取反单元接入至多路选择单元的另一个输入，权重数据接入至多路选择单元中作为信号选通单元，多路选择单元的输出结果接入至加法器单元中，加法器单元的输出结果作为卷积单元的输出结果。通过本发明提供的适用于三值权重神经网络的权重压缩方法，仅保留了数值为1和-1的权重值，并将数值为0的权重值去除或不予考虑，从而使得图5所示的卷积单元能够用于高效地实现三值权重卷积网络处理，其中，当作为信号选通单元的权重数据为1时，多路选择单元选择原始输入数据，当作为信号选通单元的权重数据为-1时，多路选择单元选择经过数值取反后的输入数据。

数值取反单元用于将输入数值(例如，输入的卷积网络各层的节点值)做取反操作。在本发明提供的应用于三值权重卷积神经网络处理中，正数采用原码表示，负数采用补码表示，数值取反单元可将输入数据做数值取反处理。例如，对于具有符号位的二进制正数0101(+5)，输入至数值取反单元后输出的二进制补码为1011(-5)；对于采用补码表示的具有符号位的二进制负数1010(-6)，输入至数值取反单元后输出的二进制数为0110(+6)。

在卷积单元中原始输入数据和数值取反后的输入数据接入至多路选择器中，当权重值为-1时，多路选择器输出经过数值取反后的输入数据，当权重值为1时，多路选择器输出原始输入数据。加法器单元用于完成卷积运算中加法操作。

参见图6所示，该权重压缩方法采用步进压缩的方式，提供一种权重压缩格式，权重压缩格式包括<权重，步进值>两部分组成。权重值是指通过训练得到的权重值，在三值卷积神经网络中，步进值代表从当前权重值开始，相隔指定步进值后得到下一个权重值的有效位置。权重采用M比特数据表示，低N位为权重原始值，即训练得到的权重数据；其余位数(M-N)代表步进值。在本发明中，权重值只有1、-1和0三个数值，采用本发明提供的权重压缩及重映射方法后，权重值可采用单比特表示，即N为1；权重值压缩格式位宽M可根据用户需要、处理系统架构及所需的步进长度来选定。

具体而言，在图6所示的权重压缩方法的实施例中，压缩后的位宽为5比特，其中权重值位宽为1比特，步进值位宽为4比特。对于未压缩的权重原始值，每个权重数据采用两比特二进制数表示，第一个非零权重值为1(实际值1)，第二个非零权重值为1(实际值1)与第一个非零权重值1(实际值1)相隔四个数值为零的数据，因此，步进值为4，第一个非零权重值压缩后采用二进制数10100表示。第三个非零权重值0(实际值-1)与第二个非零权重值1(实际值1)之间相隔九个数值为零的数据，因此，步进值为9，第二个非零权重值1(实际值1)压缩后采用二进制数11001表示。第四个非零权重值1(实际值1)与第三个非零权重值0(实际值-1)之间相隔八个数值为零的数据，因此，步进值为8，第三个非零权重值0(实际值-1)压缩后采用二进制数00111表示。

图7示出了根据本发明又一实施例的压缩方式，其将权重进行分组，每组内的权重元素数由计算单元规模和调度方式决定。以每组权重包含四个元素为例来详细描述权重压缩过程，在第一组权重中，数值为1和-1的元素分别为第0个和第1个元素，在重新编码后，该组权重保留了两个非零元素，标示元素位置的偏移量分别为0和1；在第二组的原始权重数据中包含三个非零元素，分别为第0个、第2个和第3个元素，因此偏移量分别为0、2和3；在第三组权重值中，包含1和-1两个非零元素，偏移量分别为2和3。在本实施例中，在计算单元前加入解压单元，以保证对应权重元素和数据进行乘加操作。应当理解，可采用的压缩方法包括但不局限于本发明实施例中提供的压缩方法，压缩及计算效率也会由于不同数据结构和电路结构而变化。

在本发明提供的三值卷积神经网络处理系统中，数值为零的权重数据在片外通过离线方式进行压缩，不参与卷积运算；数值为1和-1的权重数据在参与卷积运算时可以通过基本的加法和减法等基本逻辑完成，不需要较为复杂的乘法运算。

本发明提供的三值卷积神经网络处理器进行卷积操作的过程如图8所示。采用本发明所述权重压缩格式存储的权重存储在权重存储单元，数据存储在数据存储单元中。权重值依次序载入至计算单元中，检索单元根据权重压缩格式中的步进值在数据存储单元中检索与权重相对应的数据，并将其载入至计算单元中。在图8中，第一个权重值1与数据N0载入至计算单元中进行卷积运算；该第一个权重值1的步进值为1，因此检索单元检索数据N0之后的第一个数据N1，并将N1和权重存储单元中的第二数据一起载入至计算单元中；权重存储单元中第二个权重值-1的步进值为3，因此，检索单元检索数据N1之后的第三个数据N4，并将N4和权重存储单元中第三个数据1一起载入至计算单元中。

本发明的卷积神经网络处理系统可应用了各种电子设备，例如、移动电话、嵌入式电子设备等。

综上所述，基于本发明的系统可以实现面向三值卷积网络的处理器或芯片，通过将数据位宽降低为单比特，减少了存储电路的开销，降低了计算复杂度，此外，也降低的片上数据传输带宽。与采用普通位宽的神经网络相比，本发明提供的处理系统可以在不损失过多计算精度的情况下，有效降低芯片功耗和电路面积。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种三值权重卷积神经网络的处理系统，其特征在于，包括：

至少一个存储单元，用于存储数据和指令；

至少一个控制单元，用于获得保存在所述存储单元的指令并发出控制信号；

至少一个计算单元，用于从所述存储单元获得卷积神经网络中的一层的节点值和对应的三值权重值数据并通过执行加减操作获得下一层的节点值。

2.根据权利要求1所述的系统，其特征在于，所述计算单元包括卷积单元和累加器，其中，所述卷积单元接收卷积神经网络中的一层的节点值和对应的三值权重值数据，所述卷积单元的输出耦合到所述累加器。

3.根据权利要求2所述的系统，其特征在于，所述卷积单元包括数值取反单元、多路选择单元和加法器，其中，输入数据分别通过所述数值取反单元接入至所述多路选择单元以及直接接入至所述多路选择单元，三值权重值数据接入至所述多路选择单元以控制所述多路选择单元的信号选通，所述多路选择单元的输出接入至所述加法器。

4.根据权利要求1所述的系统，其特征在于，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。

5.根据权利要求4所述的系统，其特征在于，所述三值权重值进一步重映射为函数r(z)：

其中，z表示输入操作数，r(z)表示映射结果。

6.根据权利要求5所述的系统，其中，在卷积时去除或不予考虑数值为0的权重值包括：

针对数值为1或-1的权重值，设置与其相关联的步进值，该步进值用于指示当前权重值与下一个数值为1或-1的权重值之间的距离。

7.一种三值权重卷积神经网络的处理方法，其特征在于，包括：

获得卷积神经网络中的一层的节点值和对应的三值权重值数据；

通过执行加减操作进行卷积来获得下一层的节点值。

8.根据权利要求7所述的处理方法，其中，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。

9.根据权利要求8所述的处理方法，其中，通过执行加减操作进行卷积来获得下一层的节点值包括：

当权重值为1时，将原始输入数据传送到加法器；以及

当权重值为-1时，将经过数值取反后的输入数据传送到加法器。

10.根据权利要求8所述的处理方法，其中，在卷积时去除或不予考虑数值为0的权重值包括：

针对数值为1或-1的权重值，设置与其相关联的步进值，该步进值用于指示当前权重值与下一个数值为1或-1的权重值之间的距离。