CN110780845B - 一种用于量化卷积神经网络的可配置近似乘法器及其实现方法 - Google Patents

Abstract

本发明公开了一种用于量化卷积神经网络的可配置近似乘法器及其实现方法，该可配置近似乘法器包括符号扩展模块、子乘法器模块和近似加法器；符号扩展模块将长位宽有符号定点数乘法拆分为两个短位宽有符号定点数乘法；子乘法器模块包括若干子乘法器，每个子乘法器仅接收一个来自符号扩展模块输出的有符号定点数，结合另一个输入完成一次有符号定点数乘法；近似加法器将子乘法器模块输出的结果进行合并，得到长位宽有符号定点数乘法的最终结果。本发明针对两输入比特位长不相等的有符号定点数乘法运算，有明显的速度和能效提升；在具有大量乘法运算的量化卷积神经网络中，其优势将得到最大程度的体现。

Description

一种用于量化卷积神经网络的可配置近似乘法器及其实现 方法

技术领域

本发明涉及低功耗设计、近似计算、卷积神经网络等工程技术领域，特别涉及一种用于量化卷积神经网络的可配置近似乘法器及其实现方法。

背景技术

深度学习由于其在各种任务中的准确性，鲁棒性和效率，在过去几年中取得了巨大成功。深度学习通常采用卷积神经网络(CNN)架构，每秒可进行数百万到数十亿的乘法和累加(MAC)操作。与传统的机器学习技术相比，深度学习具有更加密集的计算。因此，能效(即每次操作的能量消耗)已成为深度学习实施和部署的关键，对于希望节能并满足严格功率限制的移动和嵌入式设备尤其如此。

神经网络的能量分解表明，随着大量的并发卷积运算，MAC似乎成为能源效率的瓶颈。尽管乘法器是一种已经被广泛研究了数十年的常见的算术部件，但过去的重点主要放在计算准确性和性能上。为了提高其能效，参数量化方法被提出，用以降低操作数的精度(即比特宽度)，并且在保持相似精度的同时实现更快的速度。但是这种策略是特定于应用的，因此需要针对不同场景的进行特定训练和开销调整。

另一方面，CNN由于其深度和多通道结构具有固有的容错性，这允许设计者进一步从量化和使用近似算法来提高能量效率。近似算法可以消耗更少的面积和能量来计算近似解，且对CNN的最终精度影响很小。因此，除了参数量化之外，近似计算被认为是探索准确性和效率之间权衡的一种有希望的替代方案。作为最基本的算术运算和MAC的一部分，基于不同进位链或分段结构的假设，已经提出了各种近似加法器。一个常见的假设是均匀分布的输入可以防止长的进位链。研究人员还提出了针对部分乘积和部分乘积压缩树的多种近似方法。然而，大多数设计具有固定的位宽，并且在没有额外的设计努力的情况下很难适应各种深度的学习场景。

最近，动态精度缩放(DAS)的概念已被用于乘法器设计，以适应各种场景而无需对硬件架构进行重新设计。DAS乘法器采用如图1中a)所示的阵列架构，以支持最多4位的乘法。当计算具有较短位宽的乘法(例如2位)时，如图1中b)所示，仅使用该架构的一部分来减小其关键路径长度。然而，由于其对角线形状的关键路径，在这种情况下，大多数乘法器硬件电路(比较图1中a)和图1中b)时几乎为75％)实际上是无效的，从而造成资源浪费并损害能效。对于量化的CNN，这种DAS乘法器的效率甚至更差，其权重通常具有比输入更小的比特宽度，例如，对于16或32比特输入，权重仅为8比特。在具有不等比特宽度的操作数中的这种不对称性，造成基于阵列的DAS乘法器不是一种理想的应用。

综上，提供一种用于量化卷积神经网络的可配置近似乘法器，是解决卷积神经网络中能效、面积和准确性平衡的关键。

发明内容

本发明的目的在于针对目前量化神经网络中乘法器能效的现有技术的不足，提供了一种用于量化卷积神经网络的可配置近似乘法器，用于有符号定点数乘法运算。在两输入的比特位宽不等长时，具有面积开销小、计算速度快，功耗小的优点。

本发明的目的是通过以下技术方案来实现的：一种用于量化卷积神经网络的可配置近似乘法器，该可配置近似乘法器包括符号扩展模块、子乘法器模块和近似加法器；

所述符号扩展模块将长位宽有符号定点数乘法拆分为两个短位宽有符号定点数乘法，拆分原则为：将表示范围在-2^n-2到2^n-2-1的n比特有符号定点数表示为两个n/2位的有符号定点数；

所述子乘法器模块包括若干子乘法器，每个子乘法器仅接收一个来自符号扩展模块输出的有符号定点数，结合另一个m比特的输入，完成一次有符号定点数乘法；

所述近似加法器将子乘法器模块输出的结果进行合并，得到长位宽有符号定点数乘法的最终结果。

进一步地，该可配置近似乘法器精度可配置，可配置为一个长位宽有符号定点数乘法的计算模式，或者多个短位宽有符号定点数乘法的计算模式，当配置为多个短位宽有符号定点数乘法的计算模式时，仅利用子乘法器模块实现多个并行的独立有符号定点数乘法。

进一步地，所述符号扩展模块包括：

当n比特有符号定点数是非负数，截断从最低位往上的n/2-1位，并在其最高位前添加0，整体作为低位子乘法器的输入，另外的n/2位作为高位子乘法器的输入；

当n比特有符号定点数为负数时，如果十进制表示的数值小于-(2^n-3+1)，采用与非负数相同的处理方式，否则，在截断的n/2-1位的最高位前添加1，并将另外的n/2位全部置为0。

进一步地，所述子乘法器模块为采用改进Booth编码的Wallace树型乘法器，用于精确计算m比特乘n/2比特有符号定点数乘法。

进一步地，所述近似加法器采用不等长的子加法器，高位子加法器的位宽长于低位子加法器，用于合并子乘法器模块的输出。

进一步地，所述近似加法器在有符号定点数加法中，通过符号修正避免符号位错误，具体为：两个加数的对应比特位异或为1时，存在符号位错误传播的必要条件；通过对加法结果的比特位进行逻辑与运算产生标志信号，通过标志信号和子加法器的进位输出判断是否产生了符号位错误，若产生了符号位错误，通过翻转求和结果的比特位避免该错误的出现。

进一步地，所述近似加法器利用概率论的基本原理，得到高斯分布输入下相邻比特位的相关性与基础分布之间的关系，从而优化现有的基于块的近似加法器。

一种用于量化卷积神经网络的可配置近似乘法器的实现方法，该方法包括：

(1)符号扩展模块拆分有符号定点数；

(2)将拆分后的有符号定点数分别输入至子乘法器模块，并分别计算有符号定点数乘法；

(3)将高位乘法器的乘积结果进行移位，并与低位乘法器的乘积结果在近似加法器中相加，合并得到最终的乘积结果。

本发明的有益效果如下：

1)针对有符号定点数的符号扩展方式。为避免补码操作带来的巨大面积开销和路径延时，提出直接拆分有符号定点数的符号扩展方式，极大提高了计算效率并减少了面积开销。

2)对两操作数不等长的乘法具有100％的硬件利用率。由于子乘法器设计和符号扩展方式的设计，对于操作数不等长的乘法，硬件利用率远高于阵列乘法器或不可配置的Booth乘法器。同时，该乘法器还可被配置为两组并行的低精度乘法器。

3)针对高斯分布的高精度近似加法器。在与现今最先进的GeAr近似加法器的比较中，本发明提出的具有符号修正的基于块的近似加法器在所有误差矩阵上都具有更好的表现，且并未引入更大的面积开销。

附图说明

图1是DAS乘法器示例：a)4×4位乘法；b)2×2位乘法，其中x和y是输入，p是部分乘积；c)本发明所提出的可配置近似乘法器的一个示例；

图2是本发明所提出的可配置近似乘法器的总体架构示意图，包括三个模块：符号扩展模块、子乘法器模块和近似加法器；

图3是当n＝8时，n位操作数的符号扩展示意图；

图4是描述高斯分布相邻比特位相关性的示意图；

图5是高位子加法器具有较长进位链的基于块的近似加法器示意图；

图6是用于近似加法器符号修正的模块电路图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图2所示，本发明提出的一种用于量化卷积神经网络的可配置近似乘法器，包括以下模块：

(1)符号扩展模块：将表示范围在-2^n-2到2^n-2-1的n比特有符号定点数表示为两个n/2位的有符号定点数，当n比特有符号定点数是非负数，截断从最低位往上的n/2-1位，并在其最高位前添加0，整体作为低位子乘法器的输入，另外的n/2位作为高位子乘法器的输入。

当n＝8时，拆分方式为：

00XX_XXXX＝0XXX_XXX→0XXX_0XXX

当n比特有符号定点数为负数时，如果十进制表示的数值小于-(2^n-3+1)，采用与非负数相同的处理方式。当n＝8时，拆分方式为：

11XX_XXXX＝1XXX_XXX

＝1XXX_000+0000_XXX→1XXX_0XXX

否则，在截断的n/2-1位的最高位前添加1，并将另外的n/2位全部置为0。当n＝8时，拆分方式为：

1111_1XXX＝1111_XXX＝1XXX→0000_1XXX

在图3中简要地说明了所提出的符号扩展的概念。

(2)子乘法器模块：子乘法器架构为采用改进Booth编码的Wallace树型乘法器，以减少产生的部分乘积数目，并加快计算速度。子乘法器模块可被配置为两种精度的工作模式。长位宽乘法模式为高精度模式，支持两个有符号定点数输入位宽不等长的乘法，例如m位和n位，它们可以是一个用于CNN层的输入，另一个用于权重(m＞n)，符号扩展模块将带符号的乘法分成两个较短的乘法，它们将在最低有效部分(LSP)和最高有效部分(MSP)的两个子乘法器中计算。两个子乘法器并行地进行两个精确的m×n/2个有符号乘法。逻辑移位器移位MSP子乘法器的输出并发送到近似加法器模块以进行合并。短比特位模式为低精度模式。在此模式下，乘法器并行进行两次乘法运算。不是将一个n比特权重划分为两个，而是预取两个较短的n/2比特权重并将其发送到两个子乘法器，然后将用于两次乘法的两个m位操作数顺序地发送到两个子乘法器以进行两次乘法。结果以与输入相同的顺序传送到输出，逻辑移位器和近似加法器模块在此模式下都被旁路。显然，与图1中的阵列DAS乘法器相比，本发明所提出的结构在处理短位宽乘法(例如16乘4位乘法)时使可用数量翻倍的乘法器。或者它可以用于进行长位宽乘法而不引入新的乘法器，例如16乘8位。虽然本发明所提出的结构支持m位乘n位和m位乘n/2位的乘法，但所提出的思想是通用的，并且可以扩展到更精细的分区，例如n/4位的混合组合宽度。

(3)近似加法器模块：将子乘法器计算的m×n/2位有符号乘法的结果相加，得到m×n位有符号乘法结果。在高斯分布下，不同于均匀分布，n位输入的二进制表示的相邻比特位间具有相关性，具体表现为[0,log₂σ]间的比特位与均匀分布大致类似，相关系数接近0，而[log₂σ+1,n-1]间的比特位具有图4所示的相关性关系。

在基于块的近似加法器中，错误率(ER)更多地取决于进位预测位宽p而不是加法器总位宽n。对于具有固定比特宽度的近似加法器，所需面积与p线性相关，即较大的p将显着增加区域开销。与采用相同大小的块的GeAr不同，本发明所提出的近似加法器使用不等大小的块，保持较小的p以减少ER。图5给出了当n＝24时所提出的近似加法器的示例。本实施例中有三个子加法器，大小为8位、8位和16位。相邻子加法器之间相互重叠(p＝4)。在每个子加法器操作之后，将r位添加到结果中(r＝4)。由于采用了较大尺寸的子加法器，增大的尺寸实际上减小了计算误差。

此外，与将符号位视为与其他位同等重要的先前工作不同，我们认为符号位错误对量化CNN的影响更为显着，因此提供了一种简单而有效的符号错误校正(SEC)方案来校正符号位错误。以图5中的近似加法器为例。只有当进位为1且a_i⊕b_i＝1时，子加法器的进位信号才是错误的。显然，子加法器#0总是生成正确的结果。为了使接下来的几个子加法器的符号位正确，定义两个标志信号，如图6所示，它对所有部分和s_i进行“与”操作。当只有flag_i为1时，表示错误信号可以传播到符号位。当flag₂＝1且flag₁＝0时，子加法器#2的准确进位信号是子加法器#1的输出进位信号C_out#1。如果C_out#1＝1，由于近似加法器的近似原理，它将不会传播到下一个子加法器，因此会向子加法器#2引入和出错。因此，需要简单地反转s[23:12]的所有位进行校正。同样，当flag₁和flag₂都是1时，如果子加法器#0的输出进位信号C_out#0＝1，需要反转s[23:8]的所有位。

本发明不局限于上述最佳实施方式。任何人在本发明的启示下都可以得出其他各种形式的用于量化卷积神经网络的可配置近似乘法器及其实现方法，凡依照本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，该可配置近似乘法器包括符号扩展模块、子乘法器模块和近似加法器；

所述符号扩展模块将长位宽有符号定点数乘法拆分为两个短位宽有符号定点数乘法，拆分原则为：将表示范围在-2^n-2到2^n-2-1的n比特有符号定点数表示为两个n/2位的有符号定点数；所述符号扩展模块包括：

当n比特有符号定点数是非负数，截断从最低位往上的n/2-1位，并在其最高位前添加0，整体作为低位子乘法器的输入，另外的n/2位作为高位子乘法器的输入；

当n比特有符号定点数为负数时，如果十进制表示的数值小于-(2^n-3+1)，采用与非负数相同的处理方式，否则，在截断的n/2-1位的最高位前添加1，并将另外的n/2位全部置为0；

所述子乘法器模块包括若干子乘法器，每个子乘法器仅接收一个来自符号扩展模块输出的有符号定点数，结合另一个m比特的输入，完成一次有符号定点数乘法；

所述近似加法器将子乘法器模块输出的结果进行合并，得到长位宽有符号定点数乘法的最终结果。

2.根据权利要求1所述的一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，该可配置近似乘法器精度可配置，可配置为一个长位宽有符号定点数乘法的计算模式，或者多个短位宽有符号定点数乘法的计算模式；当配置为多个短位宽有符号定点数乘法的计算模式时，仅利用子乘法器模块实现多个并行的独立有符号定点数乘法。

3.根据权利要求1所述的一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，所述子乘法器模块为采用改进Booth编码的Wallace树型乘法器，用于精确计算m比特乘n/2比特有符号定点数乘法。

4.根据权利要求1所述的一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，所述近似加法器采用不等长的子加法器，高位子加法器的位宽长于低位子加法器，用于合并子乘法器模块的输出。

5.根据权利要求1所述的一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，所述近似加法器在有符号定点数加法中，通过符号修正避免符号位错误，具体为：两个加数的对应比特位异或为1时，存在符号位错误传播的必要条件；通过对加法结果的比特位进行逻辑与运算产生标志信号，通过标志信号和子加法器的进位输出判断是否产生了符号位错误，若产生了符号位错误，通过翻转求和结果的比特位避免该错误的出现。

6.根据权利要求1所述的一种用于量化卷积神经网络的可配置近似乘法器，其特征在于，所述近似加法器利用概率论的基本原理，得到高斯分布输入下相邻比特位的相关性与基础分布之间的关系，从而优化现有的基于块的近似加法器。

7.一种权利要求1-6任一项所述的用于量化卷积神经网络的可配置近似乘法器的实现方法，其特征在于，包括：

(1)符号扩展模块拆分有符号定点数；

(2)将拆分后的有符号定点数分别输入至子乘法器模块，并分别计算有符号定点数乘法；

(3)将高位乘法器的乘积结果进行移位，并与低位乘法器的乘积结果在近似加法器中相加，合并得到最终的乘积结果。

Images