CN110135563A - 一种卷积神经网络二值化方法及运算电路 - Google Patents

Abstract

本申请公开了一种卷积神经网络二值化方法及运算电路，解决了现有技术运算效率低，速度慢的问题。一种卷积神经网络二值化方法，将卷积核和特征图通过与门进行卷积运算。将卷积运算结果进行累加运算。将卷积运算累加的数据归一化为(‑1，+1)之间。将归一化的结果进行二值化处理为1和0，对二值化结果保持或取反操作。对保持或取反的结果进行池化操作，并输出运算结果。本发明还提供了基于此二值化方法的一种卷积神经网络二值化运算电路，通过使用与门代替原有的乘法器、异或非门，不仅资源消耗更少，计算速度也更快。

Description

一种卷积神经网络二值化方法及运算电路

技术领域

本发明涉及卷积神经网络电路，具体涉及一种卷积神经网络二值化方法及运算单元。

背景技术

卷积神经网络经过不断发展，在各种应用如图像识别、自然语言处理、语音识别等领域都有应用。卷积神经网络通常都包含大量的参数以及需要大量的计算，限制了其在边缘计算领域的应用。二值神经网络是将普通卷积神经卷积核、输入数据、激活值进行二值化后得到的。现有技术中二值化卷积神经网络的方法：大于等于0的数据量化为+1，小于0的数据则量化为-1。对应于此二值化方法，在电路中则可以使用XNOR操作替代乘法器进行乘法运算，即电路中用高电平(1)表示+1，低电平(0)表示-1。这种方法虽然已经极大简化了卷积神经网络的运算方式，然而并不是最适合电路运算的方法。这是由于(+1，-1)不直接等价于电路中的(1，0)，所以XNOR操作在求累加和的过程中还需进行额外操作才能得到正确结果，不能发挥最大的运算效率。

发明内容

本申请提出一种卷积神经网络二值化方法及运算电路，解决了现有技术运算效率低，速度慢的问题。

本申请实施例提供一种卷积神经网络二值化方法，包含以下步骤：

将卷积核和特征图进行卷积运算；

将卷积运算结果进行累加运算；

将卷积运算累加的数据归一化为(-1，+1)之间；

将归一化的结果进行二值化处理为1和0。

优选地，归一化的结果进行二值化处理，将大于等于0的数据量化为1，小于0的数据量化为0。

或者，归一化的结果进行二值化处理，将大于等于0的数据量化为0，小于0的数据量化为1。

本申请实施例还提供一种卷积神经网络二值化运算电路，包含二值卷积装置、归一二值化装置和最大值池化装置。所述二值卷积装置，包含与门和累加装置。所述与门，用于将卷积核和特征图进行卷积运算。所述累加装置，用于接收与门的卷积结果，并对卷积结果进行累加。所述归一二值化装置包含：归一化装置、二值化装置和保持或取反装置。所述归一化装置，用于接收累加后的卷积结果，将累加后的卷积结果与归一化参数归一化到(-1，+1)之间。所述二值化装置，用于接收归一化结果，并对归一化结果二值化处理为1和0。所述保持或取反装置，用于接收二值化装置传输的结果，通过外部控制信号对二值化装置传输的结果进行保持操作或取反操作。所述最大值池化装置，用于接收进行保持或取反操作的数据，并从数据中选取最大值。

优选地，所述归一化装置接收外部输入的归一化参数带有偏置。

进一步地，所述保持或取反装置的外部控制信号为正，则对二值化数据进行保持操作，所述保持或取反装置的外部控制信号为负，则对二值化数据进行取反操作。

优选地，所述二值卷积装置有三个与门。

优选地，所述最大值池化装置的或门有4个输入端口。

优选地，所述归一化参数、特征图和外部控制信号存储于外部存储空间。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本发明提供了一种卷积神经网络二值化方法，同时提供了基于此二值化方法的一种卷积神经网络二值化运算电路。通过使用与门代替原有的乘法器、异或非门，不仅资源消耗更少，同时计算速度也更快。同时，本发明提供的免加偏置的归一二值化装置精简了网络的运算步骤，进一步节省了计算资源，降低了硬件复杂度；本发明提供的计算装置及方法，在降低二值卷积神经网路的硬件复杂度和时间复杂度上都有较大优势。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为卷积神经网络二值化方法图；

图2为卷积神经网络二值化运算电路示意图；

图3为二值卷积装置结构图；

图4为归一二值化装置结构图；

图5为最大值池化装置原理图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为卷积神经网络二值化方法图。

本申请实施例提供一种卷积神经网络二值化方法，包含以下步骤：

步骤11、将卷积核和特征图通过与门进行卷积运算。

例如，卷积核为W＝(1，-1，-1，1)，特征图数据为P＝(-1，-1，1，1)，卷积结果为R1＝(-1，1，-1，1)。这里的卷积核和特征图为上一级电路传输的二值化的结果。

步骤12、将卷积运算结果进行累加运算。

例如，卷积结果为R1＝(-1，1，-1，1),累加结果为-1+1-1+1＝0。

现有技术中卷积神经网络的二值化方法是将大于等于0的数值二值化为+1，小于0的数值二值化为-1。二值化方法在设计具体运算电路时可以用异或非门来代替乘法器进行乘法运算，其中1乘1或-1乘-1的结果在电路中都用1(高电平)表示，而-1与1相乘的结果则用0(低电平)表示。数学运算中1与-1的和为0，而电路中虽然使用0代替-1，但对0和1求和的结果仍然是1，由此在求累加和时就需要进行额外的运算：

Result＝2×Sum-Vec_len (1)

来弥补0代替-1所带来的不同结果。

其中Sum是卷积的结果，Vec_len是向量长度。

例如，卷积核为W＝(1，-1，-1，1)，特征图数据为P＝(-1，-1，1，1)，卷积结果为R1＝(-1，1，-1，1)，因为在电路中用0代替-1，因此卷积结果在电路中运算结果为R2＝(0，1，0，1)；此时向量长度为4，R1的累加和为0，R2的累加和为2，两者是不一致的，故需要进行上述的额外运算步骤：2×2-4＝0以使结果一致。

本申请实施例提出了与电路高低电平一致的二值化方法：

即对于大于等于0的数值二值化为1，小于0的数值二值化为0。上述二值化方法适用于二值卷积神经网络中对权重、偏置、运算结果等进行二值化。

本申请实施例由于不需要额外的运算步骤，因此本申请的方法的运算效率高，速度快。

步骤13、将卷积运算累加的数据归一化为(-1，+1)之间。

在卷积累加算完成后，进行归一化的运算，将卷积累加后的结果与归一化参数比较，若比归一化参数大，则归一化为+1，若比归一化参数小，则归一化为-1。

例如，卷积结果R1＝0，归一化参数值为-5，则最后的归一化结果为1。

步骤14、将归一化的结果进行二值化处理为1和0。

例如，归一化的结果进行二值化处理，可以将大于等于0的数据量化为1，小于0的数据量化为0；也可以将大于等于0的数据量化为0，小于0的数据量化为1。

再例如，归一化结果为1，由于大于0，因此二值化的结果为1。

步骤15、对二值化结果保持或取反处理。

接收外部控制信号，若外部控制信号为正，对二值化结果保持，若外部控制信号为负，对二值化结果取反。

例如，二值化结果为1，外部控制信号为负，则二值化结果取反，经过取反操作的二值化结果为-1，由于-1小于0，因此最后结果为0。

步骤16、对保持或取反后的结果进行池化操作，并输出运算结果。

进行最大值池化，进一步地，若网络中使用的不是最大值池化，则二值化操作需要后移至池化操作之后，确保输出数据为二值数据。

由于池化层的输入数据与普通卷积网络不通，其值为0或1，对于最大值池化来说，池化窗口内只要有1存在，那么输出就应当是为1。

图2位卷积神经网络二值化运算电路示意图。

本申请还提供一种卷积神经网络二值化运算电路，包含二值卷积装置1、归一二值化装置2和最大值池化装置3。所述二值卷积装置，包含与门4和累加装置5。所述与门，用于将卷积核和特征图进行卷积运算。所述累加装置，用于接收与门的卷积结果，并对卷积结果进行累加。所述归一二值化装置包含：归一化装置6二值化装置7和保持或取反装置8。所述归一化装置，用于接收累加后的卷积结果，将累加后的卷积结果与归一化参数归一化到(-1，+1)之间。所述二值化装置，用于接收归一化结果，并对归一化结果二值化处理为1和0。所述保持或取反装置，用于接收二值化装置传输的结果，通过外部控制信号对二值化装置传输的结果进行保持操作或取反操作。所述最大值池化装置，用于接收进行保持或取反操作的数据，并从数据中选取最大值。

归一二值化装置的输入为二值卷积装置的输出，归一化装置的输出为二值化装置的输入，再将二值化装置的输出作为保持或取反装置的输入。最后，相邻几个保持或取反装置的输出作为池化装置的输入，而池化装置的输出则是最终输出的特征图，作为下一层网络的输入。

图3为二值卷积装置结构图。

所述二值卷积装置，包含与门4和累加装置5。

所述与门，用于将卷积核和特征图进行卷积运算。

由于网络中卷积核与待卷积数据都被二值化为0或1，因此使用与门运算来代替乘法器、异或非门进行卷积运算速度更快，消耗资源更少。

所述累加装置，用于接收与门的卷积结果，并对卷积结果进行累加。

仅用一个与门的情况下，与门的两个输入端口，一端一次输入一个二值的卷积核数据，另一端输入一个二值的特征图数据，进行与运算后，输出一个二值的结果至累加装置。此时累加装置仅有一个输入端口，接收来自与门的输出结果，并对其进行累加。例如，一个3×3的卷积核，自第一个有效数据输入至与门，经过九个时钟周期，卷积运算完成，第十个时钟周期时，累加装置累加完成，可输出卷积结果。同时使用三个与门进行并行计算，同一个3×3的卷积核，依次输入3个二值的卷积核数据，分配给3个与门的一个输入端口，同时输入3个二值的特征图数据，分配给3个与门的另一输入端口，三个与门进行运算后输入三个二值的结果，此时累加装置的输入端口为三个，接收来自三个与门的三个输出，并同时进行累加操作。对于3×3的卷积核来说，使用三个与门则仅需三个时钟周期即可完成卷积操作，第四个时钟周期累加装置可输出卷积结果。

因此，可以根据实际情况增减与门的并行数。优选的，所述3×3的卷积核，有3个与门；若是5×5的卷积核，有5个与门。

图4为归一二值化装置结构图。

所述归一二值化装置包含：归一化装置6、二值化装置7和保持或取反装置8。

所述归一化装置，用于接收累加后的卷积结果，将累加后的卷积结果与归一化参数归一化到(-1，+1)之间。

现有技术中，归一化结果的计算式为：

通过上式可看出，现有技术的归一化方法涉及大量的乘法和加法运算，这在二值神经网络中会拖慢整体的运算速度以及增加资源消耗。

所述归一化装置接收外部输入的归一化参数带有偏置。

在上式中X_i是一个卷积核的卷积结果加上偏置项b_i。在现有技术的二值化运算电路中，数据经过累加后，需要有一个偏置的步骤。基于本申请实施例所述的的二值化方法，将偏置项移到归一化参数中，通过将带偏置项的归一化参数保存在一个外部存储中，待计算需要时输送到本发明提供的免加偏置的归一二值化装置中，如此可在二值网络归一化过程中可免去乘加操作，并且加快运算速度以及减小资源消耗。

所述二值化装置，用于接收归一化结果，并对归一化结果二值化处理为1和0。

所述保持或取反装置，用于接收二值化装置传输的结果，通过外部控制信号γ对二值化装置传输的结果进行保持操作或取反操作。

例如，累加后的卷积结果为13，带偏置项的归一化参数为15，外部控制信号γ为正，由于带偏置项的归一化参数大于卷积结果，故二值化装置输出结果为0。因为外部控制信号γ为正，所以保持或取反装置对二值化装置的结果彩玉保持操作，最终输出结果为0。通过上述几个简单的操作，完成了二值卷积神经网络中原本复杂的加偏置、归一化、二值化运算，极大降低了网络的运算复杂度以及硬件复杂度。

由于外部控制信号不能保证始终为正值，因此需要根据其正负情况，增加一个保持或取反装置来对二值化装置的输出结果进行保持或取反操作。

所述保持或取反装置的外部控制信号为正，则对二值化数据进行保持操作，所述保持或取反装置的外部控制信号为负，则对二值化数据进行取反操作。

图5为最大值池化装置原理图。

所述最大值池化装置3，用于接收进行保持或取反操作的数据，并通过或门9从数据中选取最大值。

在现有技术的池化过程中，池化窗口会在待池化数据上滑动，对于池化窗口内的数据，则选取最大的值作为输出。这样的操作方式急需要消耗硬件资源，同时运算也更复杂。

在二值神经网络中，由于池化层的输入数据与普通卷积网络不通，其值为0或1，对于最大值池化来说，池化窗口内只要有1存在，那么输出就应当是为1。因此可以通过或门来对二值神经网络进行池化操作，从而加快运算速度。

例如，池化数据为6×6的数据，内部值为0或1。以一个2×2的池化窗口为例，或门有4个输入端口，应对2×2的池化窗口。使用或门进行池化与逐一比较得到最大值的结果是一样的，但是运算速度更快。

优选地，若池化窗口是2×2，则或门应对应4个输入端口，若池化窗口是3×3，则或门应对应9个输入端口。

所述归一化参数、卷积核和外部控制信号存储于外部存储空间。

二值化卷积装置输入的卷积核，归一二值化装置输入的归一化参数，保持或取反装置输入的口直信号均存储在外部的存储空间中。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种卷积神经网络二值化方法，其特征在于，包含以下步骤：

将卷积核和特征图进行卷积运算；

将卷积运算结果进行累加运算；

将卷积运算累加的数据归一化为(-1，+1)之间；

将归一化的结果进行二值化处理为1和0；

对二值化结果保持或取反处理；

对保持或取反后的结果进行池化操作，并输出运算结果。

2.根据权利要求1所述卷积神经网络二值化方法，其特征在于，归一化的结果进行二值化处理，将大于等于0的数据量化为1，小于0的数据量化为0。

3.根据权利要求1所述卷积神经网络二值化方法，其特征在于，归一化的结果进行二值化处理，将大于等于0的数据量化为0，小于0的数据量化为1。

4.一种卷积神经网络二值化运算电路，其特征在于，包含二值卷积装置、归一二值化装置和最大值池化装置；

所述二值卷积装置，包含与门和累加装置；

所述与门，用于将卷积核和特征图进行卷积运算；

所述累加装置，用于接收与门的卷积结果，并对卷积结果进行累加。

所述归一二值化装置包含：归一化装置、二值化装置和保持或取反装置；

所述归一化装置，用于接收累加后的卷积结果，将累加后的卷积结果与归一化参数归一化到(-1，+1)之间；

所述二值化装置，用于接收归一化结果，并对归一化结果二值化处理为1和0；

所述保持或取反装置，用于接收二值化装置传输的结果，通过外部控制信号对二值化装置传输的结果进行保持操作或取反操作；

所述最大值池化装置，用于接收进行保持或取反操作所得的数据，并从数据中选取最大值。

5.根据权利要求4所述卷积神经网络二值化运算电路，其特征在于，所述归一化装置接收外部输入的归一化参数带有偏置。

6.根据权利要求4所述卷积神经网络二值化运算电路，其特征在于，所述保持或取反装置的外部控制信号为正，则对二值化数据进行保持操作，所述保持或取反装置的外部控制信号为负，则对二值化数据进行取反操作。

7.根据权利要求4所述卷积神经网络二值化运算电路，其特征在于，所述二值卷积装置有3个与门。

8.根据权利要求5所述卷积神经网络二值化运算电路，其特征在于，最大值池化装置的或门有4个输入端。

9.根据权利要求5所述卷积神经网络二值化运算电路，其特征在于，所述归一化参数、卷积核和外部控制信号存储于外部存储空间。