CN111428863A - 一种基于近似乘法器的低功耗卷积运算电路 - Google Patents

Abstract

本发明公开了一种基于近似乘法器的低功耗卷积运算电路，包括卷积操作模块，近似卷积计算方式生成模块，近似乘法器模块以及近似加法器模块；卷积操作模块包括输入向量矩阵，卷积核矩阵，近似卷积计算方式以及输出近似向量矩阵；近似卷积计算方式生成模块的输入包括精确计算方式、近似乘法运算；近似乘法器模块的输入包括两个乘数A、B以及乘法近似程度DM，近似加法器模块的输入包括待累加部分积矩阵、加法近似程度DA；本发明通过设计高精度的近似乘法器和近似加法器，生成高精度的近似卷积计算方式。用近似卷积计算方式替换原有卷积操作中的计算方式，可以在满足卷积操作输出精度要求的前提下，有效地减少计算开销，实现低功耗的卷积操作。

Description

一种基于近似乘法器的低功耗卷积运算电路

技术领域

本发明涉及一种基于近似乘法器的低功耗卷积运算电路，属于近似计算技术领域。

背景技术

深度学习是近年来机器学习中最具有代表性的技术，在图片识别，自然语言处理，语音识别，机器人技术等许多模式识别的关键领域均取得了突破性的成就。但是，一个深度学习模型通常包含数以百万计甚至千万计的参数和十几层甚至几十层的网络，带来了巨量的计算开销。所以，近似和加速对深度神经网络来说至关重要。

在大多数深度神经网络中，卷积层是不可或缺的一部分。卷积层的计算实现过程中包含了大量的卷积操作。因此，针对卷积操作提出高效低功耗的近似方法可以有效地应用于神经网络加速器中。

发明内容

本发明的发明构思为：神经网络中的卷积层包含了大量卷积操作，而卷积操作主要由乘法运算和加法运算叠加实现。若能在一定程度上放宽卷积层的计算精度要求，对卷积操作中乘法运算进行近似，则可以在满足输出精度要求的前提下有效地减少计算开销，实现低功耗的卷积操作。

本发明的技术方案如下：

一种基于近似乘法器的低功耗卷积运算电路，包括卷积操作模块，近似卷积计算方式生成模块，近似乘法器模块以及近似加法器模块；

所述卷积操作模块包括输入向量矩阵，卷积核矩阵，近似卷积计算方式以及输出近似向量矩阵；近似卷积计算方式是基于近似卷积计算方式生成模块得到的，对输入向量矩阵和卷积核矩阵进行卷积运算，卷积运算后输出近似向量矩阵；

所述近似卷积计算方式生成模块的输入包括精确计算方式、近似乘法运算，将精确计算方式中原有的乘法运算替换为近似乘法运算，生成所述近似卷积计算方式，并作为卷积操作模块的输入，所述近似乘法运算由近似乘法器模块生成；

所述近似乘法器模块的输入包括两个乘数A、B以及乘法近似程度DM，对两个乘数进行近似相乘，基于按位相乘的规则，得到三组部分积；基于二位近似加法运算对各组部分积近似求和，然后对三组部分积求和结果进一步近似求和，所述二位近似加法运算由近似加法器模块生成；

所述近似加法器模块的输入包括待累加部分积矩阵、加法近似程度DA；基于待累加部分积矩阵大小以及加法近似程度DA，确定进行近似加法操作的位数，对部分积进行按位加法运算，输出最终的和数及进位值。

上述输入向量矩阵为一个二维张量，所述卷积核矩阵为一个二维张量。

上述近似卷积计算方式的方法如下：

对输入向量矩阵和卷积核矩阵进行近似卷积运算，卷积核矩阵从起始位置开始，沿着输入向量矩阵按照先行后列的顺序移动，每移动到一个固定位置，对应位置的值近似相乘，然后求和，到达终止位置后，卷积操作结束，将得到的值存入输出向量。

上述精确计算方式的方法为：

对输入向量矩阵和卷积核矩阵进行精确卷积运算，卷积核矩阵从起始位置开始，沿着输入向量矩阵按照先行后列的顺序移动，每移动到一个固定位置，对应位置的值精确相乘，然后求和，到达终止位置后，卷积操作结束，将得到的值存入输出向量。

上述近似乘法运算的方法步骤如下：

1)首先，将两个乘数分别表示为：

其中a_i、b_i分别是二进制数A、B从低位开始第i位的值(i≥0)，k₁定义为a_i为1的位中i的最大值，k₂定义为b_i为1的位中i的最大值。基于k₁、k₂和DM的数值，确定分别对AA和BB进行近似操作的位数n₁、n₂；将A拆分为精确计算项A_c和近似计算项A_p，记A＝A_c+A_p，其中

同样的，将B拆分为精确计算项B_c和近似计算项B_p，记B＝B_c+B_p，其中

2)其次，分别对A_p和B_p进行近似操作；

针对A_p，若n₁≥3，则a′_n1-1＝or(a_n1-1,and(a_n1-2,a_n1-3)),a′_n1-2＝or(a_n1-1,xor(a_n1-2,a_n1-3)),a′_n1-3＝0,……a′₀＝0，得到

若n₁<2，则A′_p＝A_p；

针对B_p进行相同的近似操作，得到B′_p；

3)最后，对两个乘数进行近似相乘，即

基于按位相乘的规则，得到三组部分积。基于近似加法器模块，对各组部分积按位加法运算，然后对三组部分积求和结果进一步求和，得到近似输出。

上述对部分积进行按位加法运算的方法如下：

针对被加位p_i和q_i，若i≤w，w表示近似加法操作的位数，则近似进位值以及和数为cout_i＝or(and(p_i,q_i),and(cout_i-1,or(p_i,q_i)))，sum_i＝1-cout_i；若i＞w，不进行近似加法运算，则近似进位值以及和数为cout_i＝or(and(p_i,q_i),and(cout_i-1,xor(p_i,q_i))),sum_i＝xor(p_i,q_i,cout_i-1)。

本发明所达到的有益效果：

本发明通过设计高精度的近似乘法器和近似加法器，生成高精度的近似卷积计算方式。用近似卷积计算方式替换原有卷积操作中的计算方式，可以在满足卷积操作输出精度要求的前提下，有效地减少计算开销，实现低功耗的卷积操作。

附图说明

图1是本发明的模块构成图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例：

参考图1所示，一种基于近似乘法器的低功耗卷积运算电路：包括卷积操作模块，近似卷积计算方式生成模块，近似乘法器模块以及近似加法器模块；

卷积操作模块包含三个输入：维度为3*3的输入向量矩阵X、维度为2*2的卷积核矩阵K以及近似卷积计算方式★’，以及一个输出：近似向量矩阵R_A。基于近似卷积计算方式生成模块得到的近似卷积计算方式★’，对输入向量矩阵X和卷积核矩阵K进行卷积运算。在本实施例中，记

近似卷积计算方式生成模块的输入包括精确计算方式★、近似乘法运算。在本实施例中，计算方式★为：对输入向量矩阵X和卷积核举证K进行Full卷积，K从起始位置开始，沿着X按照先行后列的顺序移动，移动步长为1。每移动到一个固定位置，对应位置的值相乘，然后求和。到达终止位置后，卷积操作结束，将得到的值存入输出向量。该模块将计算方式★中原有的乘法运算×替换为近似乘法运算

生成近似卷积计算方式★’，并作为卷积操作模块的输入。

基于近似卷积计算方式★’，

其中近似乘法运算

由近似乘法器模块生成，分为以下几步：

1)首先，将两个乘数分别表示为：

其中，

a₀＝a₁＝a₃＝a₄＝1,a₂＝0；

b₁＝1,b₀＝b₂＝b₃＝b₄＝b₅＝0.

所以，

k₁＝5,k₂＝6.

在本实施例中，

DM＝0.5,

所以分别对A和B进行近似操作的位数n₁、n₂可以由下式得到：

n₁＝[(k₁+1)×DM]＝3,n₂＝[(k₂+1)×DM]＝3.

记A＝A_c+A_p，其中：

记B＝B_c+B_p，其中：

2)其次，分别对A_p和B_p进行近似操作。

针对A_p，

a′₂＝or(a₂,and(a₁,a₀))＝or(0,and(1,0))＝1,

a′₁＝or(a₂,xor(a₁,a₀))＝or(0,xor(1,0))＝0,

a′₀＝0.

那么，

针对B_p，

b′₂＝or(b₂,and(b₁,b₀))＝or(0,and(1,0))＝0,

b′₁＝or(b₂,xor(b₁,b₀))＝or(0,xor(1,0))＝1,

b′₀＝0,

进行相同的近似操作，得到

3)最后，对两个乘数进行近似相乘：

基于按位相乘的规则，得到三组部分积。基于二位近似加法运算

对各组部分积近似求和，然后对三组部分积求和结果进一步近似求和。其中，二位近似加法运算

由近似加法器模块生成，分为以下几步：

a)首先，对于乘数A和B，有

k₁＝5,k₂＝6.

在本实施例中，

DA＝0.5,

所以，近似加法操作的位数为

w＝[(k₁+k₂+2)×DA]＝6.

b)其次，针对被加位p_i和q_i，

若i≤w，近似相加，得到的进位值以及和数分别为

cout_i＝or(and(p_i,q_i),and(cout_i-1,or(p_i,q_i))),

sum_i＝1-cout_i；

若i＞w，不进行近似相加，进位值以及和数分别为

cout_i＝or(and(p_i,q_i),and(cout_i-1,xor(p_i,q_i))),

sum_i＝xor(p_i,q_i,cout_i-1).

求和后，转为十进制数，输出最终结果：

同样地，通过卷积核的平移操作，将每次移动后近似计算得到的值存入矩阵R_A中，最终输出R_A作为近似卷积的结果。

在本实施例中，近似卷积的结果为：

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于近似乘法器的低功耗卷积运算电路，其特征在于包括卷积操作模块，近似卷积计算方式生成模块，近似乘法器模块以及近似加法器模块；

所述卷积操作模块包括输入向量矩阵，卷积核矩阵，近似卷积计算方式以及输出近似向量矩阵；近似卷积计算方式是基于近似卷积计算方式生成模块得到的，对输入向量矩阵和卷积核矩阵进行近似卷积运算，卷积运算后输出近似向量矩阵；所述近似卷积计算方式生成模块的输入包括精确计算方式、近似乘法运算，将精确计算方式中原有的乘法运算替换为近似乘法运算，生成所述近似卷积计算方式，并作为卷积操作模块的输入，所述近似乘法运算由近似乘法器模块生成；

所述近似乘法器模块的输入包括两个乘数A、B以及乘法近似程度DM，对两个乘数进行近似相乘，基于按位相乘的规则，得到三组部分积；基于二位近似加法运算对各组部分积近似求和，然后对三组部分积求和结果进一步近似求和，所述二位近似加法运算由近似加法器模块生成；

所述近似加法器模块的输入包括待累加部分积矩阵、加法近似程度DA；基于待累加部分积矩阵大小以及加法近似程度DA，确定进行近似加法操作的位数，对部分积进行按位加法运算，输出最终的和数及进位值。

2.根据权利要求1所述的一种基于近似乘法器的低功耗卷积运算电路，其特征在于所述输入向量矩阵为一个二维张量，所述卷积核矩阵为一个二维张量。

3.根据权利要求1所述的一种基于近似乘法器的低功耗卷积运算电路，其特征在于所述近似卷积计算方式的方法如下：

对输入向量矩阵和卷积核矩阵进行近似卷积运算，卷积核矩阵从起始位置开始，沿着输入向量矩阵按照先行后列的顺序移动，每移动到一个固定位置，对应位置的值近似相乘，然后求和，到达终止位置后，卷积操作结束，将得到的值存入输出向量。

4.根据权利要求1所述的一种基于近似乘法器的低功耗卷积运算电路，其特征在于所述精确计算方式的方法为：

对输入向量矩阵和卷积核矩阵进行精确卷积运算，卷积核矩阵从起始位置开始，沿着输入向量矩阵按照先行后列的顺序移动，每移动到一个固定位置，对应位置的值精确相乘，然后求和，到达终止位置后，卷积操作结束，将得到的值存入输出向量。

5.根据权利要求1所述的一种基于近似乘法器的低功耗卷积运算电路，其特征在于所述近似乘法运算的方法步骤如下：

1)首先，将两个乘数分别表示为：

其中a_i、b_i分别是二进制数A、B从低位开始第i位的值(i≥0)，k₁定义为a_i为1的位中i的最大值，k₂定义为b_i为1的位中i的最大值；基于k₁、k₂和DM的数值，确定分别对AA和BB进行近似操作的位数n₁、n₂；将A拆分为精确计算项A_c和近似计算项A_p，记A＝A_c+A_p，其中

同样的，将B拆分为精确计算项B_c和近似计算项B_p，记B＝B_c+B_p，其中

2)其次，分别对A_p和B_p进行近似操作；

针对A_p，若n₁≥3，则

a′_n1-1＝or(a_n1-1，and(a_n1-2，a_n1-3))，a′_n1-2＝or(a_n1-1，xor(a_n1-2，a_n1-3))，

a′_n1-3＝0，......a′₀＝0，得到

若n₁＜2，则A′_p＝A_p；

针对B_p进行相同的近似操作，得到B′_p；

3)最后，对两个乘数进行近似相乘，即

基于按位相乘的规则，得到三组部分积，基于近似加法器模块，对各组部分积按位加法运算，然后对三组部分积求和结果进一步求和，得到近似输出。

6.根据权利要求1所述的一种基于近似乘法器的低功耗卷积运算电路，其特征是对部分积进行按位加法运算的方法如下：

针对被加位p_i和q_i，若i≤w，w表示近似加法操作的位数，则近似进位值以及和数为cout_i＝or(and(p_i，q_i)，and(cout_i-1，or(p_i，q_i)))，sum_i＝1-cout_i；若i＞w，不进行近似加法运算，则近似进位值以及和数为

cout_i＝or(and(p_i，q_i)，and(cout_i-1，xor(p_i，q_i)))，sum_i＝xor(p_i，q_i，cout_i-1)。

Images