CN111680782A - 一种基于fpga的rbf神经网络激活函数实现方法 - Google Patents

Abstract

本发明公开了机器学习与智能控制技术领域的一种基于FPGA的RBF神经网络激活函数实现方法，旨在解决现有技术中在FPGA中实现激活函数采用查表法消耗内存资源多、采用分段函数逼近法计算精度不高的技术问题。所述方法包括如下步骤：根据激活函数的几何特征，以函数拐点为分界点将激活函数的自变量域划分为核心区间与边缘区间；将边缘区间细分为不少于两个子区间，对各子区间的激活函数采用分段函数进行逼近，获取各子区间的拟合函数；对激活函数在FPGA器件上的计算执行过程进行硬件语言描述；基于进行过硬件语言描述的FPGA器件，采用双曲坐标旋转算法对核心区间的激活函数进行运算，采用拟合函数对边缘区间的激活函数进行运算。

Description

一种基于FPGA的RBF神经网络激活函数实现方法

技术领域

本发明涉及一种基于FPGA的RBF神经网络激活函数实现方法，属于机器学习与智能控制技术领域。

背景技术

随着人工智能技术的迅速发展，以故障预测、故障诊断、故障预防等为代表的智能信息处理与智能实时控制系统越来越多地应用到实际工程中。非线性系统要获得好的控制性能并满足工程上的实时性控制和高性能运行，也都需要如人工神经网络、模糊控制等智能算法的支持。智能算法大多包含复杂的指数函数，在计算时既要满足对数据处理速度的要求，又要保证运算的精度。FPGA(Field Programmable Gate Array)是在PAL、GAL等可编程器件的基础上进一步发展的产物，作为一种通用的硬件设计平台，具有运算速度快、并行性高和可重构等特点，可作为进行神经网络或模糊系统构建和运算。但是，神经网络与FPGA的结合，难点之一就是激活函数的计算与硬件实现方法。如果能实现基于FPGA的神经网络激活函数高精度快速计算实现方法，将大大加速神经网络与FPGA结合的进程。

目前FPGA中计算激活函数常用的方法有查表法和分段函数逼近法。查表法是提前将所需的计算结果全部放入ROM/RAM中，操作简单，但是系统消耗的内存资源会随着数据量的增加呈指数增长的趋势；分段函数逼近法是利用低阶多项式替代计算复杂的非线性函数，实现方便，计算速度快，但是计算精度不高。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于FPGA的RBF神经网络激活函数实现方法，以解决现有技术中利用查表法在FPGA中实现激活函数消耗内存资源多、利用分段函数逼近法在FPGA中实现激活函数计算精度不高的技术问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于FPGA的RBF神经网络激活函数实现方法，包括如下步骤：

根据激活函数的几何特征，以函数拐点为分界点将激活函数的自变量域划分为核心区间与边缘区间；

将边缘区间细分为不少于两个子区间，对各子区间的激活函数采用分段函数进行逼近，获取各子区间的拟合函数；

对激活函数在FPGA器件上的计算执行过程进行硬件语言描述，进行硬件语言描述的语言包括Verilog语言；

基于进行过硬件语言描述的FPGA器件，采用双曲坐标旋转算法对核心区间的激活函数进行运算，采用拟合函数对边缘区间的激活函数进行运算。

进一步地，所述激活函数为高斯函数，表达式如下：

h＝exp(-t²/2b²)，

其中，t＝x-c_j；

式中，h为高斯函数，exp是以自然常数e为底的指数函数，t为高斯函数的自变量，b为高斯基函数的宽度向量，且b＞0，x为神经网络的输入，c_j为神经网络隐含层第j个神经元的中心向量值。

进一步地，所述核心区间与边缘区间的划分方法，包括：

对高斯函数求二阶导数后令其为零，获取高斯函数的拐点t＝±b；

划分核心区间为[-b,b]，划分边缘区间为[-6,-b)和(b,6]。

进一步地，所采用的分段函数为二次多项式，所获取的各子区间的拟合函数为二次多项式拟合函数；

所述二次多项式拟合函数，其表达式如下：

m_τt²+n_τt+k_τ；

式中，τ为将边缘区间细分为子区间的数量，m_τ、n_τ、k_τ为二次多项式拟合函数的系数值。

进一步地，所述二次多项式拟合函数的获取方法，包括：

根据所需计算精度将边缘区间细分为τ个子区间；

在每个子区间内选取不少于两个点组成散点图，每个点的横坐标对应激活函数的输入自变量，每个点的纵坐标对应激活函数的函数值；

选用MATLAB中的曲线拟合工具多项式拟合中的二次多项式模型对所述散点图进行拟合，直至其标准差小于预设阈值，求取二次多项式拟合函数的系数值m_τ、n_τ、k_τ。

进一步地，对激活函数在FPGA器件上的计算执行过程进行硬件语言描述的方法，包括：

对FPGA器件的输入、输出接口进行定义；

调用FPGA器件中预建立的选择模块判定所输入激活函数的自变量t位于核心区间或边缘区间，所述选择模块预定义有激活函数的自变量域的核心区间和边缘区间。

进一步地，对FPGA器件的输入、输出接口进行定义的方法，包括：

将激活函数的输入定义为32位定点数模式，对应到FPGA开发板扩展口中的32个IO口；

将激活函数的输出定义为32位定点数模式，对应到FPGA开发板扩展口中的32个IO口。

与现有技术相比，本发明所达到的有益效果：本发明方法以作为主要激活函数的高斯函数为实现对象，首先，根据其几何特征将高斯函数模型的自变量域划分为核心区间和边缘区间；然后，在核心区采用双曲坐标旋转算法对激活函数进行计算，而在边缘区采用函数拟合逼近算法构建二次多项式拟合函数去逼近边缘区间内各子区间的激活函数，并对二次多项式拟合函数进行计算从而获得激活函数的函数值。本发明方法同时继承了双曲坐标旋转算法计算精度高、函数逼近算法计算速度快的优点，从而实现了激活函数在计算精度和速度上的平衡，并在一定程度上弥补了双曲坐标旋转算法输出的收敛域过小的缺陷。二次多项式拟合函数逼近在牺牲可控资源的前提下，大大提高了精确度，同时也比单纯采用双曲坐标旋转算法所耗费资源更少。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例中不同宽度下的高斯基函数图形；

图3是本发明实施例中双曲坐标系统旋转矢量示意图；

图4是本发明实施例在FPGA环境下实现的流程示意图；

图5是本发明实施例中激活函数的计算过程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施案例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供了一种基于FPGA的RBF神经网络激活函数实现方法，如图1所示，是本发明实施例的流程示意图，所述方法包括如下步骤：

步骤(1)，根据神经网络激活函数的几何特征，按照函数拐点进行自变量域的划分，将自变量域划分为自变量核心区间和自变量边缘区间。本实施例中，所述激活函数为形如h＝exp(-t²/2b²)的高斯函数，所述函数拐点即h″＝0时所求得的t＝±b。其具体实现步骤为：

A、所述RBF神经网络激活函数为高斯函数，表达式如下：

神经网络的径向基向量h＝[h₁,,h_j,…,h_m]^T，h_j为高斯基函数，高斯基函数的宽度向量b＝[b₁,,b_j,…,b_m]^T，x为神经网络的输入，exp是以自然常数e为底的指数函数，表示范数运算，c_j为神经网络隐含层第j个神经元的中心向量值，b_j为神经网络隐含层第j个神经元的高斯基函数宽度。因而考察神经网络可得各激活函数的普遍形式，其表达式如下：

h＝exp(-t²/2b²) (2)

其中，t＝x-c_j，b为各径向基函数宽度相同时的表示符；

B、式(2)的几何形状如图2所示，是本发明实施例的不同宽度下的高斯基函数图形。由图2可得高斯函数的整个自变量域为[-6,6]。不同的径向基函数宽度b，会导致函数输出对自变量变化的灵敏度发生改变，根据这一显著特征，只需找出函数曲率变化点，就可根据函数对自变量(状态变量)的灵敏度进行自变量域的划分。因而，对(2)式进行求二阶导数后并令其为零，可得：

由式(3)可得高斯函数拐点t＝±b。因而，以高斯函数拐点为分界点将自变量域[-6,6]划分为核心区间[-b,b]与与边缘区间[-6,-b)和(b,6]。

至此，完成了自变量域的划分。

步骤(2)，自变量边缘区间内，根据所需计算精度进一步划分成若干子区间，并采用数值拟合方法确定各子区间的二次多项式m_τt²+n_τt+k_τ以逼近边缘区间内相应子区间的实际高斯函数，其具体实现步骤如下：

A、在自变量边缘区内，将自变量边缘区间划分为τ个子区间，在每个子区间中选择若干个点，这些点的横坐标对应的是高斯函数的输入自变量，纵坐标对应的是高斯函数的函数值，将这些点组成散点图，选用MATLAB中的曲线拟合工具多项式拟合中的二次多项式模型去拟合，使所取数值点与生成线性函数之间的标准差小于10^-2，从而得到二次线性拟合函数的m_τ、n_τ、k_τ等具体的系数值；

B、每个子区间τ对应的二次函数为m_τt²+n_τt+k_τ，其中，m_τ、n_τ、k_τ的数值根据拟合得到的具体二次函数确定；

至此，完成了对自变量边缘区间内各子区间内的高斯函数拟合，确定了相应各子区间的二次线性函数m_τt²+n_τt+k_τ以逼近相应区间内的实际高斯函数。值得注意的是，函数拟合的精度由具体工程所需而定。

步骤(3)，基于具体采用的FPGA器件，采用Verilog语言对整个神经网络激活函数的计算执行过程进行硬件语言描述，整个硬件语言描述可以分为以下步骤：

A、对输入、输出接口进行定义。输入定义为32位定点数模式，对应具体FPGA开发板扩展口的32口；输出定义为32位定点数模式，对应具体FPGA开发板扩展口的32口；

B、完成输入输出的定义后，调用“选择模块”对输入t的值进行判断，当t的数值位于核心区间时，即选用双曲坐标旋转算法；当t的数值属于边缘区间时，即选用函数拟合算法；

步骤(4)，t的数值位于核心区间时，该区间内的高斯函数采用基础的双曲坐标旋转算法进行计算，具体实现包含以下步骤：

A、对于高斯函数h＝exp(-t²/2b²)，由于-1/2b²为常数，因此整个-t²/2b²可以用两个乘法器来实现，其中一个乘法器功能是实现t²，输入A和B都是对应t的值，另一个乘法器的功能是实现-t²/2b²，输入A和B分别对应第一个乘法器的输出t²与-1/2b²的值，乘法器的输出就是-t²/2b²的值，这样一来就将核心自变量区间的高斯函数分为了两部分来运算；

B、将乘法器的输出-t²/2b²的值作为双曲坐标旋转算法迭代的初始值，即令z₁＝-t²/2b²，同时令x₁＝1/K，y₁＝0均作为双曲坐标旋转迭代算法的初始值；迭代目标为经过n次迭代后，旋转因子z_n趋近于0。在此条件下，得到的迭代的结果为cosh(-t²/2b²)与sinh(-t²/2b²)，将这两者相加即可得到exp(-t²/2b²)的值。双曲坐标旋转迭代的具体实现方式和基本工作原理描述如下：

如图3所示，是本发明实施例中双曲坐标系统旋转矢量示意图，该图给出了双曲坐标旋转算法的基本原理，据此可以得出：

上式中，x_p和y_p分别为原始向量OP对应P点的横坐标和纵坐标，α为OP向量与横坐标轴的夹角；

将向量OP逆时针旋转角θ至向量OQ，此时OQ与x轴正半轴夹角为α+θ,故Q点坐标可表示为：

式中，x_Q和y_Q分别为向量OQ对应Q点的横坐标和纵坐标；θ为目标旋转角度。根据双曲函数公式可将上式展开为：

整理可得：

假设向量经过i(i＝1,…，n)次微小的旋转，每次旋转的角度为θ_i，即

令θ_i＝tanh^-1(2^-i)，则式(6)可表示为：

其中，x_n和y_n表示的是第n次旋转后的横坐标与纵坐标，d_i为旋转补偿因子，K为校正系数，其表达式如下：

K只会对弧长参数产生影响，与旋转角度无关，经n次迭代，K≈0.82816，由式(8)所得迭代的递推式为：

其中，x_i，x_i+1与y_i，y_i+1表示对应第i次与i+1次旋转向量的横坐标与纵坐标，对于sgn代表符号函数，当z_i＞0，d_i＝1；z_i＝0，d_i＝0；z_i＜0，d_i＝-1；为保证迭代收敛，当i∈{4,…,3k+1,…}时，需重复此次迭代。经过n次迭代后，有

令x₁＝1/K，y₁＝0，z₁＝θ,经过n次迭代后，则有：

所求的指数函数就是式(12)双曲正余弦之和；

至此，完成了自变量核心区间内的高斯函数运算。值得注意的是：对于双曲坐标旋转算法的迭代次数可根据具体所需的工程精度而定；另外，按照此类方法划定的核心区域均可满足上述基础的双曲坐标旋转算法的自变量域小于[-1.1182，1.1182]的要求，即满足基础双曲坐标旋转算法的自变量收敛域要求。

步骤(5)，对于高斯函数的自变量边缘区间，采用函数拟合算法去对自变量边缘区间内的高斯函数进行运算；进一步判断t处于边缘区间内的哪个子区间，采用拟合所得的二次多项式m_τt²+n_τt+k_τ代替实际激活函数进行计算，其实现步骤包含如下子步骤：

A、在自变量边缘区内，将自变量边缘区间划分为τ个子区间，进一步对t的值进行判断，若t的值恰好属于某个子区间τ，则将t的值作为该子区间的输入，即实现m_τt²+n_τt+k_τ的计算；

B、将二次多项式m_τt²+n_τt+k_τ简写为形如(m_τt+n_τ)t+k_τ的函数形式，利用乘法加法器MA1和MA2实现(m_τt+n_τ)t+k_τ的硬件描述。第乘法加法器MA1实现m_τt+n_τ的功能，其乘法的输入A和B分别对应m_τ和t，加法的输入对应n_τ；乘法加法器MA2实现(m_τt+n_τ)t+k_τ的功能，其中乘法器的输入A和B分别对应乘法加法器的输出m_τt+n_τ和自变量t，加法的输入对应k_τ，则MA2的输出即为该步骤的计算所得。这种计算方法要比单纯的使用乘法器或者加法器按m_τt²+n_τt+k_τ表达式进行计算要省资源。

至此，完成了所述自变量边缘区间内的高斯函数运算。

综上步骤(1)(2)(3)(4)(5)，简化为如图4和图5所示，分别是本发明实施例在FPGA环境下实现的流程示意图和激活函数的计算过程示意图，基于FPGA的高斯函数计算方法就得以实现。

为验证计算方法效果，在VIVADO仿真环境下进行了基于Xilinx ZYNQ7000的硬件实现仿真，对所提算法与传统线性逼近算法在计算精度和速度上进行对比，具体如表1所示。表1中的数据以函数h＝exp(-t²/4.5)为计算对象，考虑到函数为偶函数，表中只给出了自变量t处于正半轴时的数据。从表中数据可看出：所提改进型算法在自变量中心区域的计算精度得到明显提高，几乎与理论计算值无误差，满足了实际工程应用中系统输出对自变量中心区要进行高精度调节的要求。与此同时，所提算法的计算速度却只比传统算法慢了60ns。因而，所提算法在获得高精度计算的同时保证了较好的计算快速性。

表1：不同算法下的计算精度与计算速度比较

本专利以RBF神经网络激活函数(高斯函数)为计算对象，基于FPGA实现了一种新型的双曲坐标旋转和二次多项式拟合逼近相结合的算法，具体阐释了高斯函数计算的实现过程。所提算法与传统线性分段逼近拟合算法相比具有在保持精度较高的同时，具备较快的运算能力，很好地满足了工程上的应用要求。

上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于FPGA的RBF神经网络激活函数实现方法，其特征是，包括如下步骤：

根据激活函数的几何特征，以函数拐点为分界点将激活函数的自变量域划分为核心区间与边缘区间；

将边缘区间细分为不少于两个子区间，对各子区间的激活函数采用分段函数进行逼近，获取各子区间的拟合函数；

对激活函数在FPGA器件上的计算执行过程进行硬件语言描述，进行硬件语言描述的语言包括Verilog语言；

基于进行过硬件语言描述的FPGA器件，采用双曲坐标旋转算法对核心区间的激活函数进行运算，采用拟合函数对边缘区间的激活函数进行运算。

2.根据权利要求1所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，所述激活函数为高斯函数，表达式如下：

h＝exp(-t²/2b²)，

其中，t＝x-c_j；

式中，h为高斯函数，exp是以自然常数e为底的指数函数，t为高斯函数的自变量，b为高斯基函数的宽度向量，且b＞0，x为神经网络的输入，c_j为神经网络隐含层第j个神经元的中心向量值。

3.根据权利要求2所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，

所述核心区间与边缘区间的划分方法，包括：

对高斯函数求二阶导数后令其为零，获取高斯函数的拐点t＝±b；

划分核心区间为[-b,b]，划分边缘区间为[-6,-b)和(b,6]。

4.根据权利要求1所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，所采用的分段函数为二次多项式，所获取的各子区间的拟合函数为二次多项式拟合函数；

所述二次多项式拟合函数，其表达式如下：

m_τt²+n_τt+k_τ；

式中，τ为将边缘区间细分为子区间的数量，m_τ、n_τ、k_τ为二次多项式拟合函数的系数值。

5.根据权利要求4所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，所述二次多项式拟合函数的获取方法，包括：

根据所需计算精度将边缘区间细分为τ个子区间；

在每个子区间内选取不少于两个点组成散点图，每个点的横坐标对应激活函数的输入自变量，每个点的纵坐标对应激活函数的函数值；

选用MATLAB中的曲线拟合工具多项式拟合中的二次多项式模型对所述散点图进行拟合，直至其标准差小于预设阈值，求取二次多项式拟合函数的系数值m_τ、n_τ、k_τ。

6.根据权利要求1所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，对激活函数在FPGA器件上的计算执行过程进行硬件语言描述的方法，包括：

对FPGA器件的输入、输出接口进行定义；

调用FPGA器件中预建立的选择模块判定所输入激活函数的自变量t位于核心区间或边缘区间，所述选择模块预定义有激活函数的自变量域的核心区间和边缘区间。

7.根据权利要求6所述的基于FPGA的RBF神经网络激活函数实现方法，其特征是，对FPGA器件的输入、输出接口进行定义的方法，包括：

将激活函数的输入定义为32位定点数模式，对应到FPGA开发板扩展口中的32个IO口；

将激活函数的输出定义为32位定点数模式，对应到FPGA开发板扩展口中的32个IO口。

Images