CN106096723A - 一种基于混合神经网络算法的用于复杂工业产品性能评估方法 - Google Patents

Abstract

本发明公开了一种基于混合神经网络算法的用于复杂工业产品性能评估方法。首先确定HNN结构参数；其次初始化每层神经元连接权重和隶属度函数特征点，设置误差限值、迭代次数，学习速率和动量因子；然后将输入的模糊样本数据进行量化和归一化，定量数值进行归一化；在反复迭代中计算各层神经元学习误差导数、修正连接权重、采用一种梯度下降方法调整隶属度度特征点；反复迭代直至达到设定误差，最后HNN算法给出该复杂工业产品定量的性能预测结果。该HNN算法为实际情况中基于定性、定量、定性定量结合的三种数据输入、输入数据项维数可能不同的复杂工业性能评估问题提供一种具有良好预测准确度的解决方案。

Description

一种基于混合神经网络算法的用于复杂工业产品性能评估 方法

技术领域

本发明属于计算机仿真、算法优化领域，涉及一种基于混合神经网络(HNN)算法的用于复杂工业产品性能评估方法。

背景技术

复杂工业产品通常是一个执行特定功能的综合系统，或一些协同工作单元的组合体。随着科学技术的发展，产品的复杂度提高，相应的研究和生产费用也随之增加。典型的复杂产品有飞行器、复杂机械电子产品、汽车、武器装备系统等。在工业产品的开发和生产过程中，如何有效地评估产品(尤其是复杂工业产品)的性能有着重大的现实和经济意义。通过产品的性能评估，可以选择和设计出具有较好性能和较少费用的产品。但是，由于每一种工业产品都有其特有的性能指标要求和独有的特征数据形式，因此找到一个具有广泛适用性的性能评估算法对这些复杂工业产品进行性能评估就显得十分重要，同时也比较困难。

复杂工业产品的性能评估问题是一个由定性、定量因素组成的决策问题。大多数传统的多指标性能评估算法是基于机理的，如Bayes、Bootstrap等的统计学方法在产品性能评估数据不充分时比较适用，Bayes依赖于先验信息，而先验知识的选择带有主观性；Bootstrap获得的评估结果可信度不高，尤其是在原始样本非常小时。基于指标体系的评估方法，如Delphi、AHP、因素分析法、熵评价法等也有广泛的应用，此类方法中专家打分易于操作，但难以消除人为因素和模糊随机性的影响。这些基于机理的评估方法要求对产品的结构、材料及配比、性能评估参考的某些标准等详细信息具有充分的掌握。

因此许多学者开始研究基于数据的性能评估算法，如神经网络算法、模块化神经网络、模糊神经网络、隶属度网络等，相比于基于机理的算法，它们能够利用训练好的网络预测产品的性能而不需要掌握、分析产品的详细信息。这些优化算法，为解决复杂工业产品评估时存在的大量不确定、模糊性数据等问题提供了新的思路和手段。然而传统的神经网络易陷入局部收敛且收敛缓慢。模块化神经网络，将模糊隶属度网络和神经网络结合在一起，克服了传统神经网络的局限，具有训练时间短、预测准确度高的优势。模糊神经网络将神经网络和模糊逻辑结合在一起，可以有效地处理模糊信息。对于大多数模糊决策问题，关键在于决策参数的确定，而这些决策参数是可以通过确定隶属度函数来确定的。目前GA、H_∞等已应用于不同问题中的隶属度函数参数优化，但这些方法中，隶属度函数的调整和方法参数的更新未能动态地结合起来，这对具体的应用带来了复杂度和难度。

发明内容

本发明的目的是为了解决复杂工业产品性能估过程中产品输入数据类型不同和数量不确定的问题，提出一种基于HNN算法的用于复杂工业产品性能评估方法。HNN算法将模块化神经网络和隶属度网络结合起来，是一种基于数据的算法。

本发明的该种基于HNN算法的用于复杂工业产品性能评估方法，包括以下几个步骤：

步骤一：根据输入的复杂工业产品的性能数据属性，确定HNN结构参数；

步骤二：初始化HNN权重和模糊输入对应的隶属度网络模块中的隶属度函数特征点、HNN学习速率和动量因子；

步骤三：量化并归一化每一个模糊输入；归一化每一个量化的输入数据；

步骤四：获得对应输入数据的本次定量预测结果；

步骤五：判断HNN预测误差是否达到了设定的误差限值，若未达到，则进行步骤六，若达到，则进行步骤九；

步骤六：采用BP神经网络监督学习方式来求解各层神经元的学习误差导数；

步骤七：修正各层网络中神经元的连接权重；

步骤八：调整隶属度函数的特征点；

步骤九：根据复杂工业产品性能数据对应的性能评定结果等级，若预测误差达到了误差设定值，HNN则给出0到1之间的对应的量化预测结果，若未达到，则返回步骤四。

本发明的优点在于：

(1)本发明以复杂工业产品性能评估为目标，支持定性型、定量型、定性定量结合型三种数据的输入，同时，允许输入数据项的维数(即输入数据项的个数)不同；

(2)在传统的性能评估算法中，输入数据一般必须是归一化后的数据项，并且要按一定的顺序输入。在HNN算法中，输入的数据可以直接是模糊型的或差异比较大的确定型的数据项，而且其预测结果不受样本数据项输入顺序的影响；

(3)本发明对于数据输入维数具有累加性，新的数据项可以直接输入到HNN算法并得到它的预测结果而不用重新运行整个网络；

(4)本发明中隶属度特征点的梯度下降调整法是基于HNN网络误差的变化，它可以动态的优化HNN算法。同时，也为其他模糊神经网络的结构优化提供了一种算法；

(5)本发明中各层神经元的连接权重修正方法避免了人为确定权重时的主观性影响，同时防止工业实际中权重经常由易于产生的数值完全决定的情况发生；

(6)本发明可以应用于其他基于训练数据集和测试数据集、有不同定性、定量输入数据的复杂产品性能评估中。

附图说明

图1为HNN应用流程；

图2为HNN结构；

图3为模块化神经网络结构；

图4为隶属度网络；

图5为模糊集合及相应隶属度函数特征点；

图6为三种数据输入情况下的HNN训练和测试流程。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于HNN算法的用于复杂工业产品性能评估方法，其应用流程如图1所示，包括以下几个步骤：

步骤一：根据输入的复杂工业产品的性能数据属性，确定HNN结构参数。

由于工业产品的复杂性和多样性，其性能评估数据具有数量不确定性以及形式多样性的特点，可以划分为确定值和模糊值两种类型。HNN结合了隶属度神经网络和模块化神经网络，它能够处理模糊输入、确定值输入及其输入个数不确定的问题，其结构如图2所示。

HNN的结构是由各层的神经元个数、激活函数及其学习算法决定的。输入层采用模块化的形式，若输入数据是模糊型的数据，该层只包含隶属度网络来处理模糊数据；若输入数据是量化的数据，该层只有“量化输入”模块；若输入数据包含以上两种类型的数据，则该层同时包含隶属度网络模块和“量化输入”模块。中间层神经元激活激励函数并进行神经元权重的计算和更新。输出层最终输出预测结果，和y_k分别表示实际结果和HNN的预测输出结果。若预测值和实际值不相符，则输出误差e_y1,e_y2,...,e_yNo由HNN输出层到输入层逐层反向传播，然后信号再由输入层至中间层至输出层逐层正向传播，反复迭代直至满足一定的要求。

HNN各层神经元数量设置如表1所示。

表1 HNN各层神经元数量

各层神经元	数量
		输入层神经元	输入数据集中数据属性的个数(①)
输入层“隶属度网络”神经元	每个输入样本中模糊类型数据的个数(②)
		中间层神经元	①+②
输出层神经元	1

1)模块化神经网络

从HNN输入层的一个神经元出发，到中间层，再到输出层，就是一个模块化神经网络子模块，可记为：“神经网络子模块1”,“神经网络子模块2”,…,“神经网络子模块N^m+N^cI”。模块化神经网络是由多个相互联系又独立的子神经网络构成的网络系统，各个子模块均有各自的逼近任务，从而处理HNN中不同类型的信息输入。所有子模块进行集成得到与HNN算法输出相对应的模块化神经网络输出。模块化神经网络用于解决HNN中输入个数不确定的问题，结构如图3所示。

2)隶属度网络

隶属度网络用于HNN算法输入数据中模糊信息的处理，模糊输入经过隶属度网络可以转化为带有隶属度信息的定量值，如图4所示。

本发明中的隶属度网络在传统隶属度网络上增加了空白层，包含输入层、隶属度层、中间层、空白层和输出层。其中，输入层用来量化和归一化模糊型参数输入；隶属度层进行模糊化和模糊规则的推理；空白层将隶属度层看成由输入层到空白神经元层的权重，是为了步骤八中隶属度特征点的调整；中间层包含四个神经元进行反模糊化；输出层为隶属度网络的定量输出。

隶属度网络的隶属度层包含三个神经元(小、中、大)，激励函数由梯形隶属度函数表示，隶属度函数的最终形式由其特征点msp0,msp1,...,msp7决定，如图5所示。隶属度网络中间层和输出层神经元的激励函数采用Sigmoid函数，斜坡参数设为1，表达式为

$S\left(x\right)=\frac{1}{1+e^{-x}}---\left(1\right)$

步骤二：初始化HNN权重和模糊输入对应的隶属度网络模块中的隶属度函数特征点，HNN学习速率和动量因子。

步骤三：量化并归一化每一个模糊输入，归一化量化的输入数据。

对于输入数据集中的模糊型数据，利用隶属度网络将其转化为固定区间内的量化数值并进行归一化；对于相差较大的定量数据数值，为消除数值的分布差异，从而提高运算效率，HNN采用最大-最小方法对其进行归一化。

步骤四：获得对应输入数据的本次定量预测结果。

步骤五：判断HNN预测误差是否达到了设定的误差限值，若未达到，则进行步骤六，若达到，则进行步骤九。

步骤六：本发明采用BP神经网络监督学习方式来求解各层(HNN输出层和中间层，隶属度网络输出层和中间层)神经元的学习误差导数；

步骤七：修正各层网络中神经元的连接权重。

基于步骤六中各层神经元的学习误差导数，本发明采用了一种权重确定法来修正各层网络神经元的连接权重，为提高HNN算法的收敛速度，权重修正公式中增加了附加动量项。

步骤八：调整隶属度函数的特征点。

根据隶属度网络中空白层神经元的学习误差导数调整隶属度函数特征点，可以达到动态改善HNN结构的效果。

步骤九：根据复杂工业产品性能数据对应的性能评定结果等级，若预测误差达到了误差设定值，HNN给出0到1之间的对应的量化预测结果，若未达到，则返回步骤四。

实施例：

本发明在Core^TM2 Duo CPU E8400@3.00GHz 2.99GHz 2.00GB内存的32位操作系统上进行。本发明可以解决复杂工业产品性能评估过程中三种数据输入的问题，HNN训练和测试流程如图6所示。

下面结合以上内容，通过具体的应用，对本发明的技术方案作进一步的说明。

某复杂工业产品的性能评估数据如下：M个样本，4种评定等级(优、良、中、差)和m种数据属性,其中每个数据项中有n(n≤m)个是模糊型数据，其余m-n个是定量型数据。将此数据集随机分成两部分(例如各50％)，一部分用于训练HNN，另一部分用于该复杂工业产品的性能预测。该应用包含模糊型和定量型两种类型的评估数据，对应于图6中的“训练集3”，先要用训练数据集训练好HNN，再用“HNN 3”对产品性能进行评估测试，具体的步骤如下：

步骤一：针对该复杂工业产品数据属性中的4种评定等级、n种模糊型数据和m-n种定量数据，HNN结构参数设置表2所示。

表2 HNN结构参数设置表

步骤二：HNN进行各层神经元的连接权重和和隶属度特征点初始化，设置误差限值、迭代次数、动量因子和学习速率。

初始化各层神经元的连接权重为

w＝0.7×s^1/r×rand (2)

其中，s为该层神经元个数，r为输入向量的维数，rand为0到1之间的随机数，w为该层神经元的初始化权重。

在HNN中，模糊数值的输入范围为[0,10]，可以初始化模糊输入隶属度函数特征点为

$\{\begin{array}{c}msp\[0\]=2.0,msp\[1\]=4.0,msp\[2\]=6.0,msp\[3\]=8.0,\\ msp\[4\]=3.5,msp\[5\]=2.5,msp\[6\]=7.5,msp\[7\]=\mathrm{6.5.}\end{array}---\left(3\right)$

误差限值可以设置为0.01，迭代次数设置为100，动量因子和学习速率分别设置为α＝0.7,η＝0.1。

步骤三：HNN将输入数据集中的n个定性数据在隶属度网络中量化到[0,1]范围内，然后归一化到[0,1]区间；同时，将输入的m-n个定量数据在“量化输入”模块中进行归一化。

归一化选用“最大-最小”归一化方法，若第i个输入样本的第j个值为x_ij，则归一化后的值x′_ij为

其中，x_max和x_min为所有数据样本中的最大值和最小值。

步骤四：获得HNN算法对该复杂工业产品测试数据集的本次定量预测结果。

步骤五：判断该预测结果与实际结果的误差是否达到了误差限值(例如步骤二中设置的误差限值0.01)。若未达到误差限值，则进行步骤六；若达到了该误差限值，则进行步骤九。

步骤六：计算各层神经元学习误差导数。

本发明采用BP神经网络监督学习方式来计算各层神经元学习误差导数，具体如下：

HNN输出误差为

$E=\frac{1}{2}\underset{k=1}{\overset{N^o}{\Σ}}{(O_k^o-y_k)}^2---\left(5\right)$

其中，和y_k分别为BP主神经网络中输出层第k个神经元的实际输出和理论输出；N^o为输出层神经元的数量；E为HNN输出层的误差。

●HNN输出层神经元学习误差导数为

$d_k^o=\frac{\∂E}{\∂y_k^i}=(O_k^o-y_k)\·f^{\′}\left(y_k^i\right)---\left(6\right)$

其中，为输出层第k个神经元的输出对输入的导数，为其学习误差导数。

●HNN中间层神经元学习误差导数为

$\begin{array}{c}{d}_j^m=\frac{\∂E}{\∂E_j^i}=\frac{\∂\left(\frac{1}{2}\underset{k=1}{\overset{N^o}{\Σ}}{\left(O_k^o-y_k\right)}^2\right)}{\∂E_k^o}\frac{\∂E_k^o}{\∂E_j^i}=\frac{\∂\left(\frac{1}{2}\underset{k=1}{\overset{N^o}{\Σ}}{\left(O_k^o-f\left(y_k^i\right)\right)}^2\right)}{\∂E_k^o}\frac{\∂E_k^o}{\∂E_j^i}\\ =\frac{\∂\left(\frac{1}{2}\underset{k=1}{\overset{N^o}{\Σ}}{\left(O_k^{yo}-f\left(\underset{i=1}{\overset{p}{\Σ}}{w}_j^{Ho,k}\·H_k^o-b^{yo}\right)\right)}^2\right)}{\∂E_k^o}\frac{\∂E_k^o}{\∂E_j^i}\\ =\underset{k=1}{\overset{N^o}{\Σ}}(O_k^o-y_k)\·f^{\′}\left(y_k^i\right))\·w_j^{Ho,k}\frac{\∂E_k^o}{\∂E_j^i}\\ =(\underset{k=1}{\overset{N^o}{\Σ}}{d}_k^o\·w_j^{Ho,k})\·f^{\′}\left(H_j^i\right)\end{array}---\left(7\right)$

其中，N^o为输出层神经元的个数；为HNN中间层第k个神经元的输出，k∈[1,N^o]；为HNN输出层第k个神经元的输入；为中间层第j个神经元指向输出层第k个神经元的权重；b^yo为HNN输出神经元的输出阈值；为中间层第j个神经元的输出对输入的导数；为中间层神经元j的学习误差导数。

●隶属度神经网络输出层神经元学习误差导数为

$d_k^{mo}=(\underset{j=1}{\overset{N^H}{\Σ}}{d}_j^m\·w_i^{IH,j})\·f^{\′}\left({\mathrm{Iy}}^i\right)---\left(8\right)$

其中，N^H为HNN中间层神经元的个数，j∈[1,N^H]；为隶属度网络的输出指向HNN中间层第j个神经元的权重；f′(Iyⁱ)为隶属度网络输出神经元的输出对输入的导数；为隶属度网络输出神经元学习误差导数。

●隶属度神经网络中间层神经元学习误差导数为

$d_j^{mm}=d_k^{mo}\·w_j^{mo,k}\·f^{\′}\left(h_j^i\right)---\left(9\right)$

其中，为中间层第j个神经元指向输出层神经元的权重；为隶属度网络中间层第j个神经元的输出对输入的导数；为隶属度网络中间层神经元j的学习误差导数。

步骤七：修正连接权重。

本发明采用的权重修正法如下：

●HNN输出层神经元权重的变化为

$w_j^{Ho,k}(t+1)=w_j^{Ho,k}\left(t\right)-\mathrm{\η}\·d_k^o\·H_j^O+\mathrm{\α}\·\left(w_j^{Ho,k}\right(t)-w_j^{Ho,k}(t-1\left)\right)---\left(10\right)$

其中，和为HNN中间层第j个神经元指向输出层第k个神经元的变化后的权重、当前权重和上一时刻权重；为中间层第j个神经元的输出；η为学习速率，通常情况下η∈[0.1,0.4]；α为动量因子，通常情况下α∈[0.7,0.9]。

●HNN中间层神经元权重的变化为

$w_i^{IH,j}(t+1)=w_i^{IH,j}\left(t\right)-\mathrm{\η}\·d_j^m\·{\mathrm{Iy}}_i^o+\mathrm{\α}\·\left(w_i^{IH,j}\right(t)-w_i^{IH,j}(t-1\left)\right)---\left(11\right)$

其中，和为HNN输入层第i个神经元指向中间层第j个神经元的变化后的权重、当前权重和上一时刻权重；为输入层第i个神经元的输出。

●隶属度神经网络输出层神经元权重的变化为

$w_j^{mo}(t+1)=w_j^{mo}\left(t\right)-\mathrm{\η}\·d^{mo}\·h_j^o+\mathrm{\α}\·\left(w_j^{mo}\right(t)-w_j^{mo}(t-1\left)\right)---\left(12\right)$

其中，和为隶属度网络中间层第j个神经元指向输出神经元的变化后的权重、当前权重和上一时刻权重；为隶属度网络中间层第j个神经元的输出。

●隶属度神经网络中间层神经元权重的变化为

$w_i^{bh,j}(t+1)=w_i^{bh,j}\left(t\right)-\mathrm{\η}\·d_j^{mm}\·b_i^o+\mathrm{\α}\·\left(w_i^{bh,j}\right(t)-w_i^{bh,j}(t-1\left)\right)---\left(13\right)$

其中，和为隶属度层第i个神经元指向中间层第j个神经元的变化后的权重、当前权重和上一时刻权重；为空白层第i个神经元的输出，与隶属度层第i个神经元的输出相等。

步骤八：采用梯度下降法进行隶属度特征点的调整。

图4中隶属度层的三个神经元分别代表图5中模糊集合“小”、“中”、“大”。例如模糊集合的函数特征点变化区间可以为[0,10]，并且满足约束关系

$\left\{\begin{array}{c}msp0<msp4,msp1>msp5,msp2<msp6,\\ msp3>msp7,msp0<msp1,msp1<msp2,\\ msp2<msp3,msp4>msp5,msp6>msp7.\end{array}\right.---\left(14\right)$

隶属度函数本质上是由它的形状和其特征点的位置而决定的。对于梯度型隶属度函数而言，调整隶属度函数特征点就可以达到调整隶属度函数的目的。

隶属度网络中(图4)，空白层神经元的输出和输入相等，其输出对输入的导数为1。由BP神经网络的监督学习算法，空白神经元层各神经元的学习误差导数为

$d_i^{ms}=(\underset{j=1}{\overset{4}{\&Sigma;}}{d}_j^{mm}\&CenterDot;w_i^{bh,j})\&times;f^{\&prime;}\left(h_i^j\right)=(\underset{j=1}{\overset{4}{\&Sigma;}}{d}_j^{mm}\&CenterDot;w_i^{bh,j})\&times;1---\left(15\right)$

其中，是隶属度网络中中间层第j个神经元的学习误差导数，j∈[1,4]；是隶属度网络隶属度层第i个神经元指向隶属度网络中间层第j个神经元的权重；是空白神经元层第i个神经元的输出对其输入的导数；是空白神经元层第i个神经元的学习误差导数。

根据梯度下降的原理，在神经网络中各层神经元相应连接权重的改变与其误差导数函数对该神经元权重负导数成正比。由此可知，一个神经元隶属度值的变化应正比于其误差导数函数对该神经元权重的负导数：

$\begin{array}{c}\mathrm{\&mu;}(k+1)-\mathrm{\&mu;}\left(k\right)=-{\mathrm{\&Delta;d}}_k\frac{\&part;d_i^{ms}}{\&part;w_i^j}{|}_{w_i^j=w_i^j\left(k\right)},{\mathrm{\&Delta;d}}_k>0\\ {\mathrm{\&Delta;d}}_k=1.0/(10.0*\min (10.0,\max \left(1.0,T_{k-1}/10.0\right)\left)\right)\end{array}---\left(16\right)$

其中，Δd_k是第k次迭代的迭代步长；T_k-1是上一次迭代中的训练时间。

隶属度网络中，隶属度的改变体现在隶属度函数的变化上，即隶属度曲线特征点的平移。在此梯度下降调整方法中，隶属度特征点的平移直接受每一次迭代过程中空白层神经元权重的学习误差导数影响。平移规则如表3所示，其中，Δd表示本次迭代时的平移距离；fp为模糊输入点，且有fp∈[lb,ub]；lb和ub分别为模糊输入的下界和上界。

表3 平移规则

隶属度特征点的调整步骤如图1中右边虚线框所示。首先，按照公式(9)计算隶属度网络中间层神经元的学习误差导数，然后基于隶属度网络隶属度层中神经元指向其中间层神经元的权重，根据公式(15)计算隶属度网络空白层神经元的学习误差导数，最后根据表3中的隶属度特征点平移规则，平移每一个隶属度函数的特征点，从而隶属度函数得到更新。

步骤九：根据该复杂工业产品性能数据对应的性能评定结果等级，若预测误差达到了误差设定值，HNN给出0到1之间的对应的量化预测结果，若未达到，则返回步骤四。

步骤十：将测试数据集输入以上“训练好的HNN3”，运行“HNN3”，得到对该复杂工业产品性能评估的结果。例如如[0,0.2]表示“优”,[0.2,0.4]表示“良”,[0.5,0.7]表示“中”,[0.8,1.0]表示“差”。

至此，HNN算法完成了对该复杂工业产品性能评估中具有不同数据项维数的定性、定量数据输入的处理和对该产品性能的评估。

Claims (2)

1.一种基于混合神经网络算法的用于复杂工业产品性能评估方法，包括以下几个步骤：

步骤一：根据输入的复杂工业产品的性能数据属性，确定混合神经网络结构参数；

混合神经网络即HNN的结构参数为：

表1 HNN各层神经元数量

各层神经元 数量 输入层神经元 输入数据集中数据属性的个数为A 输入层“隶属度网络”神经元 每个输入样本中模糊类型数据的个数为B 中间层神经元 A+B 输出层神经元 1

步骤二：初始化HNN权重和模糊输入对应的隶属度网络模块中的隶属度函数特征点、HNN学习速率和动量因子；

步骤三：量化并归一化每一个模糊输入；归一化量化的输入数据；

对于输入数据集中的模糊型数据，利用隶属度网络将其转化为固定区间内的量化数值并进行归一化；对于相差较大的定量数据数值，为消除数值的分布差异，从而提高运算效率，HNN采用最大-最小方法对其进行归一化；

步骤四：获得对应输入数据的本次定量预测结果；

步骤五：判断HNN预测误差是否达到了设定的误差限值，若未达到，则进行步骤六，若达到，则进行步骤九；

步骤六：采用BP神经网络监督学习方式来求解各层神经元的学习误差导数；

步骤七：修正各层网络中神经元的连接权重；

步骤八：调整隶属度函数的特征点；

根据隶属度网络中空白层神经元的学习误差导数调整隶属度函数特征点；

步骤九：根据复杂工业产品性能数据对应的性能评定结果等级，若预测误差达到了误差设定值，HNN给出0到1之间的对应的量化预测结果，若未达到，则返回步骤四。

2.根据权利要求1所述的一种基于混合神经网络算法的用于复杂工业产品性能评估方法，所述的步骤八中：

隶属度函数本质上是由它的形状和其特征点的位置而决定的，对于梯度型隶属度函数而言，调整隶属度函数特征点就可以达到调整隶属度函数的目的；

隶属度网络是在传统隶属度网络基础上增加了空白层，空白层将此网络隶属度层看成由输入层到空白神经元层的权重，空白层神经元的输出和输入相等，其输出对输入的导数为1；由BP神经网络的监督学习算法，空白神经元层各神经元的学习误差导数为

$d_i^{ms}=(\underset{j=1}{\overset{4}{\&Sigma;}}{d}_j^{mm}\&CenterDot;w_i^{bh,j})\&times;f^{\&prime;}\left(h_i^j\right)=(\underset{j=1}{\overset{4}{\&Sigma;}}{d}_j^{mm}\&CenterDot;w_i^{bh,j})\&times;1---\left(1\right)$

其中，是隶属度网络中中间层第j个神经元的学习误差导数，j∈[1,4]；是隶属度网络隶属度层第i个神经元指向隶属度网络中间层第j个神经元的权重；是空白神经元层第j个神经元的输出对其输入的导数；是空白神经元层第i个神经元的学习误差导数；

一个神经元隶属度值的变化应正比于其误差导数函数对该神经元权重的负导数：

$\mathrm{\&mu;}(k+1)-\mathrm{\&mu;}\left(k\right)=-{\mathrm{\&Delta;d}}_k\frac{\&part;d_i^{ms}}{\&part;w_i^j}{|}_{w_i^j=w_i^j\left(k\right)},{\mathrm{\&Delta;d}}_k>0---\left(2\right)$

Δd_k＝1.0/(10.0*min(10.0,max(1.0,T_k-1/10.0)))

其中，Δd_k是第k次迭代的迭代步长；T_k-1是上一次迭代中的训练时间；

隶属度网络中，隶属度的改变体现在隶属度函数的变化上，即隶属度曲线特征点的平移；在此梯度下降调整方法中，隶属度特征点的平移直接受每一次迭代过程中空白层神经元权重的学习误差导数影响；平移规则如表2所示，其中，Δd表示本次迭代时的平移距离；fp为模糊输入点，且有fp∈[lb,ub]；lb和ub分别为模糊输入的下界和上界；

表2 平移规则

隶属度特征点的调整：首先，计算隶属度网络中间层神经元的学习误差导数，然后基于隶属度层中神经元指向中间层神经元的权重，根据公式(1)计算空白层神经元的学习误差导数，最后根据表2中的隶属度特征点平移规则，平移每一个隶属度函数的特征点，从而隶属度函数得到更新。