CN108537332A - 一种基于Remez算法的Sigmoid函数硬件高效率实现方法 - Google Patents

Abstract

本发明公开了一种基于Remez算法的Sigmoid函数硬件高效率实现方法，其特征是：首先采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近，提高拟合精度；然后用流水线结构优化硬件实现模块；本发明有效平衡了资源消耗和拟合精度的矛盾，满足实时性要求，并以其较强的灵活性满足不同的设计指标。

Description

一种基于Remez算法的Sigmoid函数硬件高效率实现方法

技术领域

本发明涉及函数实现软硬件协同编程领域，具体的说是一种基于Remez算法的Sigmoid函数硬件高效率实现方法。

背景技术

由人工神经网络构造及数学模型可知，人工神经网络可表示为一个四元组[V,E,f,s]，其中，V是神经元结点的集合，E是神经元之间联接的集合，f是激活函数，s是学习算法。作为目前研究最成熟、应用最广泛的人工神经网络，误差反传(BP)人工神经网络最重要的特性是能够模拟任何给定的非线性函数，而非线性处理能力主要通过神经元的激活函数来实现。人工神经网络的非线性处理能力很大程度上取决于人工神经网络激活函数特点。人工神经网络激活函数有多种，Sigmoid函数是使用最为广泛的一种。Sigmoid函数具有很好的线性区和非线性区，有良好的导数性能，能够提高人工神经网络的学习效率和收敛速度，兼具对小信号和大信号的处理能力。Sigmoid函数及其导数的映射是人工神经网络FPGA实现的一个重要环节。然而双极性Sigmoid激活函数及其导数结构复杂，其电路实现形式不仅包含乘除运算，还要实现多个指数函数电路，是目前人工神经网络硬件实现的最大难点之一。

Sigmoid函数的物理意义：Sigmoid函数来源于logistic曲线，logistic曲线在生物学中拥有很重要地位，如应用于草履虫密度研究，在开始阶段，种群数量很少，繁殖速度很慢，随着数量的增加，繁殖速度会大幅度提高，接下来随着食物的不足以及天敌的出现等原因，增长速度开始大幅度下滑，最后稳定在一个区间内，图2所示的草履虫密度曲线即为logistic曲线非常好地描述了这个变化规律。

Logistic曲线可以简化为其中δ(z)表征草履虫种群密度，z表征时间；Logistic曲线的简化表达又叫Sigmoid函数。

由于Sigmoid函数的输出范围是(0，1)，所以可以用于输出层，输出表示概率。

神经网络在由FPGA实现时，主要依靠人工神经网络所选取的函数逼近的方法和所需数据的表示方式不同。在已提出的拟合硬件实现方案中，较为经典的有CORDIC法则、多项式逼近法PA、直接查找表法LUT、分段线性逼近法PLA、基因遗传算法GA及其它混合算法。

CORDIC法则实现函数的优点是同一硬件能被若干个函数使用，但其性能相当差，因此较少使用；

多项式逼近法PA最为常见，其中较为经典的有传统的泰勒级数展开法，但其需要消耗大量的运算资源，运算精度低。较为经典的多项式分段逼近算法是采用分段五阶多项式，存储资源和运算资源消耗不高，运算精度较高，最大误差为8×10^-5，这一拟合精度是现有技术中能够达到的最优精度，但其仍然难以满足一些高精度工程应用的需求。多项式近似法PA虽然可以实现低误差近似，但需要耗费较高硬件资源。

直接查找表法LUT的基本思想是将每个自变量所对应的Sigmoid函数值及其导函数值存储在RAM或ROM中，存储空间的地址线为函数的自变量，而数据线输出为函数值，无需进行运算，通过存储访问操作即可实现Sigmoid函数及其导函数，但该方法需要消耗大量的存储器，考虑一个16位输入和16位输出的查找表，将消耗多达1MB的存储空间。另外，随着数据精度的提高，查找表会消耗更多存储器资源，速度变慢且代价也很高，而且硬件实现精度不高。

分段线性逼近法PLA的基本思想是将非线性函数分成若干段，每一段用一条直线来近似。在(-5，5)范围内，采用三段式分段线性逼近，选用32bit定点数格式，其运算和存储资源较少，但运算精度很低，最大均方差为0.00187。

基因遗传算法GA是在[0,8]区间内，采用遗传算法拟合整系数分段三次多项式，选用16bit定点数格式，其运算资源和存储资源占用不高，运算精度不高，绝对误差为2.4376×10^-3。

此外还有STAM算法，其基本思想是将原直接查找表中的一个查找表按照预定的规则分成多个查找表，再将多个查找表的输出相加求和后得到函数值，该方法所占用的存储空间比直接查找表少得多，但速度比直接查找表慢。

由于数据格式是与精度和资源消耗相关，现有技术中大多选取自定义的数据格式以在降低逻辑资源消耗同时保证拟合精度，而工程应用中常用的是IEEE754标准的32bit单精度浮点格式，使得这种方法设计的模块再与其它模块进行运算时，需要进行数据格式转换，通信代价较大；若采用单精度浮点格式，采用以上现有方案，则难以达到逼近精度要求。

发明内容

本发明是为避免上述现有技术所存在的问题，提供一种基于Remez算法的Sigmoid函数硬件高效率实现方法，采用Remez最佳一致算法对Sigmoid函数分段多项式逼近，平衡资源消耗和拟合精度的矛盾，满足实时性要求，并以其较强的灵活性满足不同的设计指标。

本发明为解决技术问题采用如下技术方案：

本发明基于Remez算法的Sigmoid函数硬件高效率实现方法的特点是：首先采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近，然后用流水线结构优化硬件实现模块。

本发明基于Remez算法的Sigmoid函数硬件高效率实现方法的特点也在于：

所述采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近是指：

将四次多项式函数在区间[0,8]分为5段逼近模块，所述5段逼近模块的区间段分别为[0,0.5]、[0.5,1]、[1,2]、[2,4]和[4,8]；利用数学辅助工具matlab拟合出区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i和e_i，误差在10^-4～10^-6数量级；

以y表征Sigmoid函数，x为自变量，Sigmoid函数的原表达式如式(1)：

将式(1)拟合为如式(2)所表征的四次多项式：

y＝a_ix⁴+b_i·x³+c_ix²+d_ix+e_i (2)

i为自然数；

所述用流水线结构优化硬件实现模块是指：

将式(2)转换为式(3)：

y＝((((a_ix+b_i)x+c_i)x+d_i)x+e_i (3)

针对式(3)按如下步骤计算获得区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i,e_i：

步骤1、根据单精度浮点数的标准，在第一流水周期中确定第一个输入数据x₁中第30位到23位表示指数；

步骤2、利用输入数据所满足的条件，判断输入数据在区间[0,8]中所对应的区间段；

步骤3、利用查找表的方式确定对应的四次多项式系数a₁,b₁,c₁,d₁和e₁；

步骤4、在第二个流水周期中，将第一个输入数据x₁和对应的四次多项式系数a₁、b₁、c₁、d₁和e₁一一对应寄存至寄存器reg_x1、reg_a1、reg_b1、reg_c1、reg_d1和reg_e1；其中，寄存器reg_x1和reg_a1是乘法器M1的输入，由乘法器M1实现a₁×x₁的计算，在乘法器计算结束后，将a₁×x₁、b₁、c₁、d₁和e₁一一对应寄存至下一组寄存器reg_x2、reg_b2、reg_c2、reg_d2和reg_e2；其中reg_b2是加法器A1的一个输入，加法器A1的另一个输入是乘法器M1的输出，由加法器A1实现a₁×x₁+b₁的计算；

步骤5、在第三个流水周期中，完成计算的a₁×x₁+b₁进入到下一组寄存器，将寄存器reg_e2、reg_d2和reg_c2中的数据一一对应转移到寄存器reg_e3、red_d3和reg_c3中，将加法器A1中的数据转移到乘法器M2中等待reg_x3中的被乘数，同时新的一组数据进入到寄存器reg_e2、reg_d2、reg_c2、reg_b2中，进行无时间间隔的流水操作；

步骤6、按照步骤4和步骤5的流水操作方式完成第一个输入数据x₁的运算并输出数据；

步骤7、循环步骤1-6实现所有输入数据的无时间间隔流水操作。

本发明基于Remez算法的Sigmoid函数硬件高效率实现方法的特点也在于：按如下步骤判断输入数据x在区间[0,8]中所对应的区间段：

步骤3.1、当x满足：～(&x[29:24]|x[30])，则x属于区间段[0,0.5]；

步骤3.2、当x满足：(x[30:23]＝＝8'b01111110)，则x属于[0.5,1]；

步骤3.3、当x满足：(x[30:23]＝＝8'b01111111)，则x属于[1,2]；

步骤3.4、当x满足：(x[30:23]＝＝8'b10000000)，则x属于[2,4]；

步骤3.5、当x满足：(x[30:23]＝＝8'b10000001)，则x属于[4,8]；

步骤3.6、当x满足：(x[30])&(|x[29:24])，则x属于[8,∞)。

与现有技术相比，本发明有益效果体现在：

1、本发明应用Remez最佳一致算法，采用分段多项式逼近Sigmoid函数，提高了拟合精度；

2、本发明采用Remez最佳一致算法有效提高了Sigmoid函数硬件拟合效率，达到资源消耗与精度要求的平衡，同时流水线架构有效提高了硬件计算效率。

3、本发明很好地满足了实时性要求，具有很强的灵活性，为人工神经网络激励函数中的Sigmoid函数提供了一种高精度的硬件实现方法。

附图说明

图1为本发明中实现Sigmoid函数的流水操作的硬件结构示意图；

图2为草履虫密度与时间关系曲线；

具体实施方式

本实施例中基于Remez算法的Sigmoid函数硬件高效率实现方法是：首先采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近，然后用流水线结构优化硬件实现模块。

采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近是指：

将四次多项式函数在区间[0,8]分为5段逼近模块，5段逼近模块的区间段分别为[0,0.5]、[0.5,1]、[1,2]、[2,4]和[4,8]；利用数学辅助工具matlab拟合出区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i和e_i，误差在10^-4～10^-6数量级；

以y表征Sigmoid函数，x为自变量，Sigmoid函数的原表达式如式(1)：

将式(1)拟合为如式(2)所表征的四次多项式：

y＝a_ix⁴+b_ix³+c_ix²+d_ix+e_i (2)

i为自然数；

本实施例中用流水线结构优化硬件实现模块是指：

将式(2)转换为式(3)：

y＝((((a_ix+b_i)x+c_i)x+d_i)x+e_i (3)

针对式(3)按如下步骤计算获得区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i,e_i：

步骤1、根据单精度浮点数的标准，在第一流水周期中确定第一个输入数据x₁中第30位到23位表示指数；

步骤2、利用输入数据所满足的条件，判断输入数据在区间[0,8]中所对应的区间段；

步骤3、利用查找表的方式确定对应的四次多项式系数a₁,b₁,c₁,d₁和e₁；

步骤4、在第二个流水周期中，将第一个输入数据x₁和对应的四次多项式系数a₁、b₁、c₁、d₁和e₁一一对应寄存至寄存器reg_x1、reg_a1、reg_b1、reg_c1、reg_d1和reg_e1；其中，寄存器reg_x1和reg_a1是乘法器M1的输入，由乘法器M1实现a₁×x₁的计算，在乘法器计算结束后，将a₁×x₁、b₁、c₁、d₁和e₁一一对应寄存至下一组寄存器reg_x2、reg_b2、reg_c2、reg_d2和reg_e2；其中reg_b2是加法器A1的一个输入，加法器A1的另一个输入是乘法器M1的输出，由加法器A1实现a₁×x₁+b₁的计算；

步骤5、在第三个流水周期中，完成计算的a₁×x₁+b₁进入到下一组寄存器，将寄存器reg_e2、reg_d2和reg_c2中的数据一一对应转移到寄存器reg_e3、red_d3和reg_c3中，将加法器A1中的数据转移到乘法器M2中等待reg_x3中的被乘数，同时新的一组数据进入到寄存器reg_e2、reg_d2、reg_c2、reg_b2中，进行无时间间隔的流水操作；

步骤6、按照步骤4和步骤5的流水操作方式完成第一个输入数据x₁的运算并输出数

步骤7、循环步骤1-6实现所有输入数据的无时间间隔流水操作。

具体实施中，按如下步骤判断输入数据x在区间[0,8]中所对应的区间段：

步骤3.1、当x满足：～(&x[29:24]|x[30])，则x属于区间段[0,0.5]；

步骤3.2、当x满足：(x[30:23]＝＝8'b01111110)，则x属于[0.5,1]；

步骤3.3、当x满足：(x[30:23]＝＝8'b01111111)，则x属于[1,2]；

步骤3.4、当x满足：(x[30:23]＝＝8'b10000000)，则x属于[2,4]；

步骤3.5、当x满足：(x[30:23]＝＝8'b10000001)，则x属于[4,8]；

步骤3.6、当x满足：(x[30])&(|x[29:24])，则x属于[8,∞)。

图1所示为本发明中实现Sigmoid函数的流水操作的一次流水操作硬件结构示意图，图1可见其硬件模块是一个九级流水线结构，第一级是直接查找表LUT不断的根据输入的x范围找出对应的五个四次多项式系数a、b、c、d和e；其中a、b、c、d和e为这一次流水操作的四次多项式系数，第二级到第九级为运算单元，实现加法和乘法运算，最终输出多项式的结果。

切比雪夫定理给出，若f(x)∈C[a,b]存在n次的最佳一致逼近多项式的充要条件是区间[a,b]上至少存在n+2个交错点{x₁,x₂,...,x_n+2}，使得在这些点上正负相间的取得最值，即满足：

其中δ取值为1或-1。

切比雪夫定理从理论上给出了最佳一致逼近多项式的特性，并给出了寻求最佳一致逼近多项式的方法，但是寻求交错点组十分困难。

Remez给出了逐次逼近的思想，提出求连续函数的最佳一致逼近多项式的近似算法，取得了良好效果；由Remez提出的近似算法由以下三步构成：

第1步：在[a,b]上选n+2个由小到大排列的初始点列{x₁,x₂,...,x_n+2}作为近似交错点组，并设置精度ε＞0；

第2步：求解获得近似多项式和近似偏差E′_n(f,x)；

第3步：若|E_n(f,x)-E′_n(f,x)|＜ε则迭代终止；否则，取得的x^*点取代

}中的点，构成一新的近似交错组，使在新点组在上仍然正负相间，返回第2步。通过逐步迭代直到达到精度要求，此时的多项式即为近似最佳一致逼近多项式。

综合考虑逼近的精确程度以及硬件实现的特殊性，本实施例中在区间[0,8]分为5段逼近模块，5段区间分别为[0,0.5],[0.5,1],[1,2],[2,4],[4,8]，获得Sigmoid函数各段逼近多项式如表1：

表1

根据Sigmoid函数的性质可知在区间[8,+∞]和[-∞,-8]距离1和0的误差小于10^-3。如果总体误差控制在10^-4以内，三次多项式就可以达到要求。为了便于硬件二进制处理，选择区域左右端点均为2的幂次。

流水线结构(pipeline architecture)是指在系统处理数据时，每个时钟脉冲都接受下一条处理数据的指令。流水线机构提高了系统处理数据的速度，同时对时序有严格的要求。

通过在quartusⅡ用Verilog HDL硬件语言编写程序然后结合modelsim强大的仿真功能进行联合仿真，Sigmoid函数时序仿真波形符合预期要求。在仿真测试阶段，通过输入区间范围内的一组稳定递增的数据，每过5个时钟周期输入一个data值，采用的流水线结构第一组数据会在45个周期后输出拟合值，通过与手工计算的实际值作比较，精度达到了10^-6数量级，满足预期值。

Claims (3)

1.一种基于Remez算法的Sigmoid函数硬件高效率实现方法，其特征是：首先采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近，然后用流水线结构优化硬件实现模块。

2.根据权利要求1所述的基于Remez算法的Sigmoid函数硬件高效率实现方法，其特征是：

所述采用Remez最佳一致算法对Sigmoid函数进行四次多项式分段逼近是指：

将四次多项式函数在区间[0,8]分为5段逼近模块，所述5段逼近模块的区间段分别为[0,0.5]、[0.5,1]、[1,2]、[2,4]和[4,8]；利用数学辅助工具matlab拟合出区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i和e_i，误差在10^-4～10^-6数量级；

以y表征Sigmoid函数，x为自变量，Sigmoid函数的原表达式如式(1)：

将式(1)拟合为如式(2)所表征的四次多项式：

y＝a_ix⁴+b_ix³+c_ix²+d_ix+e_i (2)

i为自然数；

所述用流水线结构优化硬件实现模块是指：

将式(2)转换为式(3)：

y＝((((a_ix+b_i)x+c_i)x+d_i)x+e_i (3)

针对式(3)按如下步骤计算获得区间[0,8]上各段四次多项式系数a_i,b_i,c_i,d_i,e_i：

步骤1、根据单精度浮点数的标准，在第一流水周期中确定第一个输入数据x₁中第30位到23位表示指数；

步骤2、利用输入数据所满足的条件，判断输入数据在区间[0,8]中所对应的区间段；

步骤3、利用查找表的方式确定对应的四次多项式系数a₁,b₁,c₁,d₁和e₁；

步骤4、在第二个流水周期中，将第一个输入数据x₁和对应的四次多项式系数a₁、b₁、c₁、d₁和e₁一一对应寄存至寄存器reg_x1、reg_a1、reg_b1、reg_c1、reg_d1和reg_e1；其中，寄存器reg_x1和reg_a1是乘法器M1的输入，由乘法器M1实现a₁×x₁的计算，在乘法器计算结束后，将a₁×x₁、b₁、c₁、d₁和e₁一一对应寄存至下一组寄存器reg_x2、reg_b2、reg_c2、reg_d2和reg_e2；其中reg_b2是加法器A1的一个输入，加法器A1的另一个输入是乘法器M1的输出，由加法器A1实现a₁×x₁+b₁的计算；

步骤5、在第三个流水周期中，完成计算的a₁×x₁+b₁进入到下一组寄存器，将寄存器reg_e2、reg_d2和reg_c2中的数据一一对应转移到寄存器reg_e3、red_d3和reg_c3中，将加法器A1中的数据转移到乘法器M2中等待reg_x3中的被乘数，同时新的一组数据进入到寄存器reg_e2、reg_d2、reg_c2、reg_b2中，进行无时间间隔的流水操作；

步骤6、按照步骤4和步骤5的流水操作方式完成第一个输入数据x₁的运算并输出数据；

步骤7、循环步骤1-6实现所有输入数据的无时间间隔流水操作。

3.根据权利要求2所述的基于Remez算法的Sigmoid函数硬件高效率实现方法，其特征是：按如下步骤判断输入数据x在区间[0,8]中所对应的区间段：

步骤3.1、当x满足：～(&x[29:24]|x[30])，则x属于区间段[0,0.5]；

步骤3.2、当x满足：(x[30:23]＝＝8'b01111110)，则x属于[0.5,1]；

步骤3.3、当x满足：(x[30:23]＝＝8'b01111111)，则x属于[1,2]；

步骤3.4、当x满足：(x[30:23]＝＝8'b10000000)，则x属于[2,4]；

步骤3.5、当x满足：(x[30:23]＝＝8'b10000001)，则x属于[4,8]；

步骤3.6、当x满足：(x[30])&(|x[29:24])，则x属于[8,∞)。