CN117056651A - 一种Sigmoid函数的近似计算方法及近似计算状态机 - Google Patents

Abstract

本发明公开了一种Sigmoid函数的近似计算方法及近似计算状态机，其中的Sigmoid函数的近似计算方法，包括如下步骤：获取输入浮点数，并根据输入浮点数的符号位判断输入浮点数的正负；当输入浮点数为正值时，根据输入浮点数的阶码位判断输入浮点数是否位于第一区间；当输入浮点数位于第一区间时，使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果；当输入浮点数位于第二区间时，输出第一常数值作为近似计算结果；第二区间为第一区间在正区间内的补区间。通过执行本发明中的方法，能够以较高的计算精度和较低的计算复杂度完成函数逼近。

Description

一种Sigmoid函数的近似计算方法及近似计算状态机

技术领域

本发明涉及集成电路设计技术领域，尤其涉及到一种Sigmoid函数的近似计算方法及近似计算状态机。

背景技术

在XGBoost算法硬件化中，Sigmoid函数被用于将预测值映射到(0,1)区间中，映射后的预测值为判断当前是否处于异常状态的概率值。Sigmoid函数定义为1/(1+exp(-x))，其中exp函数是指数函数。然而，在硬件实现中，指数函数的计算涉及到复杂的数学运算，需要大量的资源和时间，因此在实践中使用Sigmoid函数时，通常需要使用近似函数来逼近它。

在逼近Sigmoid函数时，常见的方法包括泰勒级数逼近、多项式逼近、Pade逼近等：其中泰勒级数适用于小范围的逼近，对于大范围的逼近效果较差；多项式逼近使用一个多项式函数来逼近Sigmoid函数，精度受到多项式的次数的限制，难以同时获得高精度和低复杂度；Pade逼近使用有理函数来逼近Sigmoid函数，其相比于多项式逼近可以提供更高的逼近精度，但是仍然需要计算复杂的分式，需要更高的计算资源和时间。

因此，提供一种逼近精度较高、计算复杂度较低的Sigmoid函数逼近方法成为亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种将Sigmoid函数分成多个小段，使得在每个小段内均可以使用多项式或线性函数来逼近函数值，且可以通过调整分段数量和函数次数来平衡逼近精度和计算复杂度，进而实现高逼近进度和地计算复杂度的Sigmoid函数的近似计算方法。

根据第一方面，本发明提供了一种Sigmoid函数的近似计算方法，包括如下步骤：

获取输入浮点数，并根据输入浮点数的符号位判断输入浮点数的正负；

当输入浮点数为正值时，根据输入浮点数的阶码位判断输入浮点数是否位于第一区间；

当输入浮点数位于第一区间时，使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果；

当输入浮点数位于第二区间时，输出第一常数值作为近似计算结果；第二区间为第一区间在正区间内的补区间。

在可选的实施方式中，使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果的步骤，具体包括：

使用第一加法器和第一移位器进行第一逼近公式中的线性计算的同时，使用乘法器和第二移位器进行第一逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，得到近似计算结果。

在可选的实施方式中，第一区间为[0,4)，第一常数值为1，第一逼近公式为：

其中，x为输入浮点数。

在可选的实施方式中，Sigmoid函数的近似计算方法还包括如下步骤：

当输入浮点数为负值时，根据输入浮点数的阶码位判断输入浮点数是否位于第三区间；

当输入浮点数位于第三区间时，使用加法器、乘法器以及移位器基于第二逼近公式得到近似计算结果；

当输入浮点数位于第四区间，输出第二常数值作为近似计算结果；第四区间为第三区间在负区间内的补区间。

在可选的实施方式中，第三区间为(-4,0)，第二常数值为0，第二逼近公式为：

其中，x为输入浮点数。

根据第二方面，本发明还提供了一种Sigmoid函数的近似计算状态机，状态机具有以下状态：

启动状态，用于等待输入信号，并在接收到输入浮点数时，转移至第一检查状态；

第一检查状态，用于检查输入浮点数的符号位，并在输入浮点数为正值时，转移到第二检查状态；

第二检查状态，用于检查输入浮点数的阶码位，并在输入浮点数位于第一区间时将输入浮点数转移到第一计算状态，在输入浮点数位于第二区间时输出第一常数值并转移到结束状态；

第一计算状态，用于将输入浮点数输入加法器、乘法器和移位器，进行基于第一逼近公式的近似计算，并在计算完成后转移到结束状态；

结束状态，用于等待启用信号，并在接收到启用信号时，转移到启动状态。

在可选的实施方式中，输入浮点数位于第一区间是指输入浮点数的符号位为0，阶码位<8'd129；第一常数值为1，第一逼近公式为：

其中，x为输入浮点数。

在可选的实施方式中，第一检查状态还用于在输入浮点数为负值时，转移到第三检查状态；

第三检查状态用于检查输入浮点数的阶码位，并在输入浮点数位于第三区间时将输入浮点数转移到第二计算状态，在输入浮点数位于第四区间时输出第二常数值并转移到结束状态；

第二计算状态用于将输入浮点数输入加法器、乘法器和移位器，进行基于第二逼近公式的近似计算，并在计算完成后转移到结束状态。

在可选的实施方式中，第二计算状态用于将输入浮点数输入第一加法器、第一移位器进行第二逼近公式中的线性计算的同时，将输入浮点数输入乘法器和第二移位器进行第二逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，完成基于第二逼近公式的近似计算。

在可选的实施方式中，输入浮点数位于第三区间是指输入浮点数的符号位为1，阶码位<8'd129；第二常数值为0，第二逼近公式为：

其中，x为输入浮点数。

本发明提供的技术方案，具有如下优点：

1、本发明提供的Sigmoid函数的近似计算方法，通过对Sigmoid函数进行分段近似处理，使得在每个小段内可以近似为常数或者近似为使用加法器、移位器即可实现的低次项简单函数，能够避免使用除法器和高精度计算所带来的硬件资源浪费和功耗增加，在保证计算精度的同时，显著提高Sigmoid函数的计算速度和效率。

2、本发明提供的Sigmoid函数的近似计算方法，通过设置第一加法器、第一移位器、乘法器和第二移位器并行处理Sigmoid函数的逼近公式中的线性部分和二次项部分，能够进一步提高Sigmoid函数的计算速度和效率。

3、本发明提供的Sigmoid函数的近似计算状态机，通过设置第一检查状态、第二检查状态和第一计算状态，将输入浮点数的输入值区间判断和计算分开，简化了状态转移流程；同时，通过对Sigmoid函数进行分段近似处理，使得在每个小段内可以近似为常数或者近似为使用加法器、移位器即可实现的低次项简单函数，并对每个小段分别进行对应的计算，提高了状态机的计算效率和准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的Sigmoid函数的近似计算方法的一种方法流程图；

图2为本发明实施例1提供的Sigmoid函数的近似计算方法的另一种方法流程图；

图3为发明实施例2提供的Sigmoid函数的近似计算状态机的一种状态转移示意图；

图4为发明实施例2提供的Sigmoid函数的近似计算状态机的另一种状态转移示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

图1示出了本发明实施例中的一种Sigmoid函数的近似计算方法的流程图，具体地，如图1所示，该方法可以包括如下步骤：

S100：获取输入浮点数，并根据输入浮点数的符号位判断输入浮点数的正负。

本实施例中，为了提高精度，将Sigmoid函数计算的输入值根据IEEE754标准定义的单精度浮点数格式转换成32位输入浮点数。

本实施例中，可以设置输入浮点数的符号位为0时表示其为正值，符号位为1时表示其为负值。

S200：当输入浮点数为正值时，根据输入浮点数的阶码位判断输入浮点数是否位于第一区间。

S300：当输入浮点数位于第一区间时，使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果。

本实施例中，可以设置第一区间的范围为[0,4)，第一逼近公式为：

其中，x为输入浮点数。

此时，输入浮点数是否位于第一区间可以根据输入浮点数的阶码位是否＜8'd129来判断，当输入浮点数的阶码位＜8'd129时(当然，此步骤中的输入浮点数为正值)，输入浮点数位于[0,4)的第一区间。

为了进一步提高本实施例中的Sigmoid函数的近似计算方法的计算效率，在可选的具体实施方式中，该步骤S300可以具体为：

使用第一加法器和第一移位器进行第一逼近公式中的线性计算的同时，使用乘法器和第二移位器进行第一逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，得到近似计算结果。

具体地，第一移位器和第二移位器分别用于实现除以4和除以32的运算。

S400：当输入浮点数位于第二区间时，输出第一常数值作为近似计算结果；第二区间为第一区间在正区间内的补区间。

本实施例中，第二区间为[4,+∞)，第一常数值为1。

综上，本实施例中的Sigmoid函数的近似计算方法，通过对Sigmoid函数进行分段近似处理，使得在每个小段内可以近似为常数或者近似为使用加法器、移位器即可实现的低次项简单函数，能够避免使用除法器和高精度计算所带来的硬件资源浪费和功耗增加，在保证计算精度的同时，显著提高Sigmoid函数的计算速度和效率。

在可选的实施方式中，如图2所示，在上述步骤S100之后，还可以包括如下步骤：

S500：当输入浮点数为负值时，根据输入浮点数的阶码位判断输入浮点数是否位于第三区间。

S600：当输入浮点数位于第三区间时，使用加法器、乘法器以及移位器基于第二逼近公式得到近似计算结果。

本实施例中，可以设置第三区间的范围为(-4,0)，第二逼近公式为：

其中，x为输入浮点数。

此时，输入浮点数是否位于第三区间可以根据输入浮点数的阶码位是否＜8'd129来判断，当输入浮点数的阶码位＜8'd129时(当然，此步骤中的输入浮点数为负值)，输入浮点数位于(-4,0)的第三区间。

为了进一步提高本实施例中的Sigmoid函数的近似计算方法的计算效率，在可选的具体实施方式中，该步骤S600同样可以具体为：

使用第一加法器和第一移位器进行第二逼近公式中的线性计算的同时，使用乘法器和第二移位器进行第二逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，得到近似计算结果。

需要说明的是，步骤S600和步骤S300是互斥的步骤，因而，步骤S600执行过程中使用的寄存器和步骤S300中使用的寄存器可以为同一组寄存器。

S700：当输入浮点数位于第四区间，输出第二常数值作为近似计算结果；第四区间为第三区间在负区间内的补区间。

本实施例中，可以设置第四区间为(-∞,-4]，第二常数值为0。

实施例2

本发明实施例提供了一种Sigmoid函数的近似计算状态机，如图3所示，该状态机包括：启动状态、第一检查状态、第二检查状态、第一计算状态和结束状态。

其中，启动状态用于等待输入信号，并在接收到输入浮点数时，转移至第一检查状态；第一检查状态用于检查输入浮点数的符号位，并在输入浮点数为正值时，转移到第二检查状态；第二检查状态用于检查输入浮点数的阶码位，并在输入浮点数位于第一区间时将输入浮点数转移到第一计算状态，在输入浮点数位于第二区间时输出第一常数值并转移到结束状态；第一计算状态用于将输入浮点数输入加法器、乘法器和移位器，进行基于第一逼近公式的近似计算，并在计算完成后转移到结束状态；结束状态用于等待启用信号，并在接收到启用信号时，转移到启动状态。

本实施例中，可以设置第一区间为[0,4)，并设置输入浮点数的符号位为0时表示其为正值，符号位为1时表示其为负值；此时，第一检查状态用于检查输入浮点数的符号位是否为0，并在输入浮点数的符号位为0时，转移到第二检查状态，第二检查状态用于检查输入浮点数的阶码位是否＜8'd129，并在输入浮点数的阶码位＜8'd129转移到第一计算状态。

本实施例中，可以设置第一常数值为1，第一逼近公式可以为：

其中，x为输入浮点数。

为了进一步提高本实施例中的Sigmoid函数的近似计算状态机的计算效率，在可选的具体实施方式中，上述第一计算状态在进行近似计算时，具体可以为：在将输入浮点数输入第一加法器、第一移位器进行第一逼近公式中的线性计算的同时，将输入浮点数输入乘法器和第二移位器进行第一逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，完成基于第一逼近公式的近似计算。

具体地，第一移位器和第二移位器分别用于实现除以4和除以32的运算。

综上，本实施例中的Sigmoid函数的近似计算状态机，通过设置第一检查状态、第二检查状态和第一计算状态，将输入浮点数的输入值区间判断和计算分开，简化了状态转移流程；同时，通过对Sigmoid函数进行分段近似处理，使得在每个小段内可以近似为常数或者近似为使用加法器、移位器即可实现的低次项简单函数，并对每个小段分别进行对应的计算，提高了状态机的计算效率和准确性。

在可选的实施方式中，如图4所示，本实施例中的状态机还包括第三检查状态和第二计算状态，具体地，第一检查状态在输入浮点数为负值时，转移到第三检查状态；第三检查状态用于检查输入浮点数的阶码位，并在输入浮点数位于第三区间时将输入浮点数转移到第二计算状态，在输入浮点数位于第四区间时输出第二常数值并转移到结束状态；第二计算状态用于将输入浮点数输入加法器、乘法器和移位器，进行基于第二逼近公式的近似计算，并在计算完成后转移到结束状态。

本实施例中，可以设置第二区间为(-4,0)，并设置输入浮点数的符号位为0时表示其为正值，符号位为1时表示其为负值；此时，第一检查状态用于检查输入浮点数的符号位是否为0，并在输入浮点数的符号位为1时，转移到第三检查状态，第三检查状态用于检查输入浮点数的阶码位是否＜8'd129，并在输入浮点数的阶码位＜8'd129转移到第二计算状态。

本实施例中，可以设置第二常数值为0，第二逼近公式可以为：

其中，x为输入浮点数。

同样地，为了进一步提高本实施例中的Sigmoid函数的近似计算状态机的计算效率，第二计算状态在进行近似计算时，具体可以为：在将输入浮点数输入第一加法器、第一移位器进行第二逼近公式中的线性计算的同时，将输入浮点数输入乘法器和第二移位器进行第二逼近公式中的二次项计算，再使用第二加法器将线性计算的计算结果和二次项计算的计算结果相加，完成基于第二逼近公式的近似计算。

需要说明的是，第一计算状态和第二计算状态为互斥状态，因而，第一计算状态和第二计算状态下使用的寄存器可以为同一组寄存器。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种Sigmoid函数的近似计算方法，其特征在于，包括如下步骤：

获取输入浮点数，并根据所述输入浮点数的符号位判断所述输入浮点数的正负；

当所述输入浮点数为正值时，根据所述输入浮点数的阶码位判断所述输入浮点数是否位于第一区间；

当所述输入浮点数位于所述第一区间时，使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果；

当所述输入浮点数位于第二区间时，输出第一常数值作为近似计算结果；所述第二区间为所述第一区间在正区间内的补区间。

2.根据权利要求1所述的Sigmoid函数的近似计算方法，其特征在于，所述使用加法器、乘法器以及移位器基于第一逼近公式得到近似计算结果的步骤，具体包括：

使用第一加法器和第一移位器进行所述第一逼近公式中的线性计算的同时，使用乘法器和第二移位器进行所述第一逼近公式中的二次项计算，再使用第二加法器将所述线性计算的计算结果和所述二次项计算的计算结果相加，得到所述近似计算结果。

3.根据权利要求2所述的Sigmoid函数的近似计算方法，其特征在于，所述第一区间为[0,4)，所述第一常数值为1，所述第一逼近公式为：

其中，x为所述输入浮点数。

4.根据权利要求1所述的Sigmoid函数的近似计算方法，其特征在于，还包括如下步骤：

当所述输入浮点数为负值时，根据所述输入浮点数的阶码位判断所述输入浮点数是否位于第三区间；

当所述输入浮点数位于所述第三区间时，使用加法器、乘法器以及移位器基于第二逼近公式得到近似计算结果；

当所述输入浮点数位于第四区间，输出第二常数值作为近似计算结果；所述第四区间为所述第三区间在负区间内的补区间。

5.根据权利要求4所述的Sigmoid函数的近似计算方法，其特征在于，所述第三区间为(-4,0)，所述第二常数值为0，所述第二逼近公式为：

其中，x为所述输入浮点数。

6.一种Sigmoid函数的近似计算状态机，其特征在于，所述状态机具有以下状态：

启动状态，用于等待输入信号，并在接收到输入浮点数时，转移至第一检查状态；

所述第一检查状态，用于检查输入浮点数的符号位，并在所述输入浮点数为正值时，转移到第二检查状态；

所述第二检查状态，用于检查所述输入浮点数的阶码位，并在所述输入浮点数位于第一区间时将所述输入浮点数转移到第一计算状态，在所述输入浮点数位于第二区间时输出第一常数值并转移到结束状态；

所述第一计算状态，用于将所述输入浮点数输入加法器、乘法器和移位器，进行基于第一逼近公式的近似计算，并在计算完成后转移到所述结束状态；

结束状态，用于等待启用信号，并在接收到所述启用信号时，转移到所述启动状态。

7.根据权利要求6所述的Sigmoid函数的近似计算状态机，其特征在于，所述输入浮点数位于所述第一区间是指所述输入浮点数的符号位为0，阶码位<8'd129；所述第一常数值为1，所述第一逼近公式为：

其中，x为所述输入浮点数。

8.根据权利要求7所述的Sigmoid函数的近似计算状态机，其特征在于，所述第一检查状态还用于在所述输入浮点数为负值时，转移到第三检查状态；

所述第三检查状态用于检查所述输入浮点数的阶码位，并在所述输入浮点数位于第三区间时将所述输入浮点数转移到第二计算状态，在所述输入浮点数位于第四区间时输出第二常数值并转移到所述结束状态；

所述第二计算状态用于将所述输入浮点数输入加法器、乘法器和移位器，进行基于第二逼近公式的近似计算，并在计算完成后转移到所述结束状态。

9.根据权利要求8所述的Sigmoid函数的近似计算状态机，其特征在于，所述第二计算状态用于将所述输入浮点数输入第一加法器、第一移位器进行所述第二逼近公式中的线性计算的同时，将所述输入浮点数输入乘法器和第二移位器进行所述第二逼近公式中的二次项计算，再使用第二加法器将所述线性计算的计算结果和所述二次项计算的计算结果相加，完成基于第二逼近公式的近似计算。

10.根据权利要求9所述的Sigmoid函数的近似计算状态机，其特征在于，所述输入浮点数位于所述第三区间是指所述输入浮点数的符号位为1，阶码位<8'd129；所述第二常数值为0，所述第二逼近公式为：

其中，x为所述输入浮点数。