CN104133372B - 基于模糊神经网络的室温控制算法 - Google Patents

Abstract

本发明公开了一种基于模糊神经网络的室温控制算法，设计一个双输入单输出的模糊神经网络控制器，通过实时检测房间温度跟踪输出与温度设定值，结合在线学习机制实时调整控制器中可调参数，使之适应房间温度变化并跟踪温度设定值。本发明把神经网络的学习与计算功能融入模糊系统，将模糊系统类人的IF‑Then规则嵌入神经网络，在保持模糊控制系统较强的知识表达能力的同时又提高其自适应能力，并具有自学习能力。

Description

基于模糊神经网络的室温控制算法

技术领域

本发明涉及一种基于模糊神经网络的室温控制算法，属于空调自动控制领域。

背景技术

空调房间系统是一个复杂的控制对象，具有非线性、大时滞、强耦合以及时变的特性，且还受到很多不确定性干扰，如室内人员流动，各种电器设备发热以及门窗的开闭等。

目前，PID控制因其原理简单、适用性强、鲁棒性强而被广泛应。但是，PID在控制非线性、时变、耦合以及参数和机构不确定的复杂过程时，表现较差。

智能控制具有自学习和自适应能力，对线性与非线性系统都有较好的控制效果，能很好解决空调系统这种复杂系统的控制。其中，神经网络和模糊控制是智能控制两个重要的分支。

神经网络是模仿生物神经网络结构和功能的一种运算模型，由大量神经元联结而成，是一种非线性动力学系统。神经网络具备非线性逼近能力、学习能力、自适应能力和容错能力。但是，神经网络不适合表达基于规则的知识。

模糊控制以模糊逻辑与推理模拟人类思维并进行知识处理，它是基于语言型控制规则的控制，对动态特性不易掌握或变化显著的控制对象很适用。但是，由于模糊性的增加会丢掉部分信息，且难以进行学习并建立完善的控制规则，缺乏自适应能力。

发明内容

本发明提供了一种模糊神经网络算法，通过该算法对空调房间温度进行实时控制。本发明采用的技术方案如下：

基于模糊神经网络的室温控制算法，包括以下步骤：

1)构建模糊神经网络控制器；

2)采用遗传算法-粒子群算法进行离线学习；

3)采用BP算法，并引入动量项，建立所述步骤1)的控制器中的连接权值，高斯铃型隶属度函数的中心值及宽度的自适应学习算法，在线实时调整所述步骤1)的控制器，使控制器适应房间温度变化并跟踪温度设定值。

前述的步骤1)的模糊神经网络控制器由前件网络和后件网络构成，

所述前件网络包括四层网络结构如下：

第一层：输入层，用于输入变量x₁,x₂，表达式如下：

$\left\{\begin{array}{c}{x}_1=e=c-y\\ x_2=\stackrel{\·}{e}\end{array}\right.---\left(1\right)$

其中，e为跟踪误差，c为温度设定值，y为温度实际检测值，为跟踪误差的导数；

第二层：模糊化层，用于将输入变量x₁、x₂分别划分7个模糊子集，所述模糊子集的隶属度函数均采用高斯铃型函数，分别为：

${\mathrm{\μ}}_i^j=\exp (-{\left(\frac{x_i-c_{ij}}{{\mathrm{\σ}}_{ij}}\right)}^2)---\left(2\right)$

其中，表示输入变量x_i的第j个模糊子集的隶属度函数，c_ij和σ_ij分别为隶属度函数的中心和宽度，i＝1,2，j＝1,2,…,7；

第三层：模糊规则计算层，用于完成模糊推理操作，采用的模糊算子为连乘算子，计算公式如下：

${\mathrm{\α}}_m={\mathrm{\μ}}_1^{j_1}\×{\mathrm{\μ}}_2^{j_2}---\left(3\right)$

其中，α_m表示模糊算子，m＝1,2,3,…,49，j₁＝j₂＝j；

第四层：归一化层，用于实现归一化操作，计算公式如下：

${\stackrel{\‾}{\mathrm{\α}}}_m={\mathrm{\α}}_m/\underset{i=1}{\overset{49}{\mathrm{\Σ}}}{\mathrm{\α}}_i---\left(4\right);$

其中，为加权系数；

所述后件网络包括三层网络结构如下：

第一层：输入层，该层共有3个节点，第一个节点的输入值为x₀＝1，第二、三个节点分别输入变量x₁,x₂；

第二层：用于计算每一条规则后件，即

$y_m=p_k^m+p_k^m{x}_1+p_k^m{x}_2---\left(5\right)$

其中，y_m为第m条规则的后件网络输出，为连接权值，k＝0,1,2，m＝1,2,3,…,49；

第三层：用于计算控制器输出y：

$y=\underset{m=1}{\overset{49}{\mathrm{\Σ}}}{\stackrel{\‾}{\mathrm{\α}}}_m{y}_m---\left(6\right).$

前述的步骤2)，离线学习包括以下步骤：

2-1)进行种群参数初始化；

2-2)根据式(9)计算粒子适应度F；

F＝abs(y-c) (9)

2-3)寻找个体极值和群体极值；

2-4)进行速度更新和位置更新；

2-5)计算速度和位置更新后的粒子适应度；

2-6)更新个体极值和群体极值；

2-7)当前个体与个体极值交叉，适应度值减小，则接受；

2-8)当前个体与群体极值交叉，适应度值减小，则接受；

2-9)当前个体自身进行变异，适应度值减小则接受；

2-10)满足最大进化代数则结束，否则返回步骤4)。

前述的步骤3)中，

连接权值的学习算法为：

$p_k^m(\mathrm{\τ}+1)=p_k^m\left(\mathrm{\τ}\right)+{\mathrm{\Δp}}_k^m(\mathrm{\τ}+1)+\mathrm{\υ}\left(p_k^m\right(\mathrm{\τ})-p_k^m(\mathrm{\τ}-1\left)\right)---\left(19\right)$

中心值c_ij的学习算法为：

c_ij(τ+1)＝c_ij(τ)+Δc_ij(τ+1)+υ(c_ij(τ)-c_ij(τ-1)) (20)

宽度σ_ij的学习算法为：

σ_ij(τ+1)＝σ_ij(τ)+Δσ_ij(τ+1)+υ(σ_ij(τ)-σ_ij(τ-1)) (21)

其中，i＝1,2，j＝1,2,3,…,7，τ表示时刻，τ+1表示下一时刻，τ-1表示前一时刻，υ为动量因子，E为误差代价函数：

η为学习速率。

本发明把神经网络的学习与计算功能融入模糊系统，将模糊系统类人的IF-Then规则嵌入神经网络，在保持模糊控制系统较强的知识表达能力的同时又提高其自适应能力，并具有自学习能力。

附图说明

图1为本发明的基于模糊神经网络的室温控制算法框图；

图2为本发明的模糊神经网络结构示意图；

图3为本发明的GA-PSO离线学习算法流程图。

具体实施方式

下面结合附图和具体实施方式详细说明本发明。

如图1所示，本发明的基于模糊神经网络的室温控制算法，主要内容如下：

设计一个双输入单输出的模糊神经网络控制器，通过实时检测房间温度跟踪输出与温度设定值，结合在线学习机制实时调整控制器中可调参数，使之适应房间温度变化并跟踪温度设定值。图中，u(t)表示控制量，此处du/dt表示后移算子的功能，亦即求取u(t-1)，上一时刻的控制量。FNN表示模糊神经网络控制器。K表示模糊神经网络控制器的比例系数，该参数根据运行结果不断调整。

本发明的双输入单输出的模糊神经网络控制器的结构可根据模糊规则及其物理意义确定。

控制器的学习阶段分为离线学习与在线学习阶段。离线学习阶段是通过对以前系统运行数据的学习来初步确定该模糊神经网络中需要学习的权值和隶属度函数中心和宽度。这些确定值并不十分精确，然后将这个参数结构初步确定的控制器通过在线学习阶段的BP算法来精确调整，使控制性能更优。离线学习采用改进粒子群算法，即遗传算法-粒子群算法，在线学习为BP算法。BP算法过度依赖网络初始值，不佳的初始值可能导致效果很差或根本不收敛。此外，BP算法全局搜索能力较差，极易陷入局部极小。将PSO与BP算法结合，既能保证学习全局收敛性，又可克服梯度法对初始值的依赖和局部收敛问题，还克服了单纯粒子群算法造成的随机性、概率性问题。

如图2所示，模糊神经网络有由前件网络和后件网络构成，前件网络匹配模糊规则前件，后件网络产生模糊规则后件。

前件网络为四层网络结构。

第一层：输入层，此处输入变量x₁,x₂，该层节点数N₁＝2。

$\left\{\begin{array}{c}{x}_1=e\left(t\right)=c\left(t\right)-y\left(t\right)\\ x_2=\stackrel{\·}{e}\left(t\right)\end{array}\right.---\left(1\right)$

其中，e(t)为跟踪误差，c(t)为温度设定值，y(t)为温度实际检测值，为跟踪误差的导数。

第二层：模糊化层，将输入变量x₁、x₂分别划分7个模糊子集{NB,NM,NS,O,PS,PM,PB}，作为该层的节点，每个节点代表一个语言变量值。它们的隶属度函数均采用高斯铃型函数，各语言变量的隶属度函数分别为：

${\mathrm{\μ}}_i^j=\exp (-{\left(\frac{x_i-c_{ij}}{{\mathrm{\σ}}_{ij}}\right)}^2)---\left(2\right)$

式中，c_ij和σ_ij分别为隶属度函数的中心和宽度。i＝1,2,…,n；j＝1,2,…,m_i。n为输入变量个数，本发明中，n＝2；m_i为输入变量x_i的模糊分割数，本发明中，m₁＝m₂＝7。该层节点数N₂＝m₁+m₂＝14。

第三层：模糊规则计算层，该层完成模糊推理操作，由于有x₁,x₂两个输入，故模糊推理操作便是将两个模糊化后的输入量进行连乘运算，采用的模糊算子为连乘算子。

${\mathrm{\α}}_m={\mathrm{\μ}}_1^{j_1}\×{\mathrm{\μ}}_2^{j_2}---\left(3\right)$

式中，α_m(m＝1,2,…,49)表示模糊推理操作的计算结果，j₁＝j₂＝1,2,…,7；，m＝m₁×m₂＝7×7＝49。该层节点数N₃＝49。

第四层：归一化层，该层节点数与第三层节点数相同，N₄＝N₃＝49，主要实现归一化操作。

${\stackrel{\‾}{\mathrm{\α}}}_m={\mathrm{\α}}_m/\underset{i=1}{\overset{49}{\mathrm{\Σ}}}{\mathrm{\α}}_i---\left(4\right)$

称为加权系数。

后件网络如图2所示为三层网络结构。

第一层：输入层，它是将输入变量传递给第二层。该层共有3个节点，输入层中第一个节点的输入值为x₀＝1，它的作用是提供模糊规则后件中的常数项，第二、三个节点分别输入x₁,x₂。

第二层：共有49个节点，每个节点代表一条规则，该层作用是计算每一条规则后件，即

$y_m=p_k^m+p_k^m{x}_1+p_k^m{x}_2---\left(5\right)$

为连接权值，是待学习的量，k＝0,1,2，m＝1,2,3,…,49。

第三层：计算控制器输出y：

$y=\underset{m=1}{\overset{49}{\mathrm{\Σ}}}{\stackrel{\‾}{\mathrm{\α}}}_m{y}_m---\left(6\right)$

易知，模糊神经网络输出y是各个模糊规则后件的加权，加权系数是各个模糊规则归一化后的使用度，也即前件网络的输出为后件网络的连接权值。

T-S模糊神经网络学习算法的离线学习阶段：离线学习阶段是为了给在线学习时提供一个优良的网络初值，因为在线学习算法—BP算法非常依赖初始值的选取，初值较优训练效果更好。离线学习采用改进的粒子群算法，即GA-PSO算法。

粒子群算法是一种群智能优化算法，最早由Kennedy和Eberhart于1995年提出。它源于对鸟类捕食行为的研究，鸟类捕食时，每只鸟找到食物的方法就是搜寻当前距离食物最近的鸟的周边区域。

标准粒子群算法首先在可行解空间中随机初始化一群粒子，每个粒子都代表极值优化问题的一个潜在最优解，用位置、速度和适应度值三项指标表示该粒子特征，适应度值由适应度函数计算得到，其值的好坏表示粒子的优劣。粒子在解空间中运动，通过跟踪个体极值Pbest和群体极值Gbest更新个体位置，个体极值Pbest表示个体所经历位置中适应度值最优的位置，群体极值Gbest表示种群所有粒子搜索到的适应度值最优的位置。

假设在一个D维的搜索空间中，由n个粒子组成的种群X＝(X₁,X₂…X_n)，其中第i个粒子表示为一个D维的向量X_i＝(x_i1,x_i2…x_iD)^T，代表第i个粒子在D维搜索空间中的位置，也代表问题的一个潜在解。第i个粒子的速度为V_i＝(V_i1,V_i2…V_iD)^T，其个体极值P_i＝(P_i1,P_i2…P_iD)^T，种群全局极值P_g＝(P_g1,P_g2…P_gD)^T。

标准粒子群算法的速度和位置更新公式如下：

$V_{id}^{k+1}={\mathrm{\ωV}}_{id}^k+c_1{r}_1(P_{id}^k-X_{id}^k)+c_2{r}_2(P_{gd}^k-X_{id}^k)---\left(7\right)$

$X_{id}^{k+1}=X_{id}^k+V_{id}^{k+1}---\left(8\right)$

式中，ω为惯性权重；d＝1,2,…,D；i＝1,2,…,n；k是当前迭代次数；V_id为粒子的速度；c₁和c₂是加速度因子，为非负常数；r₁和r₂为分布于[0,1]的随机数。

本发明采用的适应度函数为预测输出和期望输出之间的误差绝对值作为个体适应度值F，计算公式为：

F＝abs(y-c) (9)

其中，y为预测输出，c为期望输出。

标准粒子群算法通过追随个体极值和群体极值完成极值寻优，虽然操作简单，能快速收敛，但是随迭代次数的递增，在种群收敛集中的同时，各粒子也越来越相似，可能在局部最优解附近无法跳出。混合粒子群算法摒弃标准粒子群算法中的通过跟踪极值来更新粒子位置的方法，而是引入了遗传算法中的交叉和变异操作，通过粒子同个体极值和群体极值的交叉以及粒子自身变异的方式来搜索最优解。

交叉操作采用实数交叉法，随机选择第i个个体极值和群体极值与第i个个体的交叉位j，然后进行交叉，方法如下：

x_ij＝x_ij(1-b)+P_ijb (10)

x_ij＝x_ij(1-b)+P_gj (11)

式中，b为[0,1]间的随机数。

粒子自身变异操作先随机选取第i个个体变异位置j，然后进行变异，方法如下：

$x_{ij}=\left\{\begin{array}{cc}{x}_{ij}+(x_{ij}-x_{\max })*f\left(g\right)& r>0.5\\ x_{ij}+(x_{\min }-x_{ij})*f\left(g\right)& r\≤0.5\end{array}\right.---\left(12\right)$

式中，x_max为x_ij的上界；x_min为x_ij的下界；f(g)＝r₂(1-g/G_max)²；r₂为一个随机数；g是当前迭代次数；G_max是最大进化次数；r为[0,1]的随机数。

本发明的遗传算法-粒子群算法的具体过程如图3所示，主要步骤为：

1)进行种群参数初始化，本发明的种群参数为各个粒子的初始位置；

2)根据式(9)计算粒子适应度；

3)寻找个体极值和群体极值，即找出个体最小适应度值和全局最小适应度值；

4)根据式(7)，(8)进行速度更新和位置更新；

5)根据式(9)计算粒子适应度；

6)根据式(7)，(8)更新个体极值和群体极值；

7)根据式(10)，当前个体与个体极值交叉，适应度值减小，则接受；

8)根据式(11)，当前个体与群体极值交叉，适应度值减小，则接受；

9)根据式(12)，当前个体自身进行变异，适应度值减小则接受；

10)满足最大进化代数则结束，否则返回步骤4)。

T-S模糊神经网络学习算法的在线学习阶段：在线学习采用BP算法。

由于各输入变量的模糊分割数预先确定，故需学习的参数主要是后件网络的连接权值和高斯铃型隶属度函数的中心值c_ij及宽度σ_ij。

定义误差代价函数E为：

式中，c为期望输出，y为实际输出。

关于连接权值的学习算法：

$\begin{array}{c}\frac{\∂E}{\∂p_k^m}=\frac{\∂E}{\∂y}\frac{\∂y}{\∂p_k^m}\\ =-(c-y)\∂\[\underset{m=1}{\overset{49}{\mathrm{\Σ}}}{\stackrel{\‾}{\mathrm{\α}}}_m{y}_m\]/\∂p_k^m\\ =-(c-y){\stackrel{\‾}{\mathrm{\α}}}_m\frac{\∂y_m}{\∂p_k^m}\\ =-(c-y){\stackrel{\‾}{\mathrm{\α}}}_m{x}_i\end{array}---\left(13\right)$

$p_k^m(\mathrm{\τ}+1)=p_k^m\left(\mathrm{\τ}\right)-\mathrm{\η}\frac{\∂E}{\∂p_k^m}=p_k^m\left(\mathrm{\τ}\right)+\mathrm{\η}(c-y){\stackrel{\‾}{\mathrm{\α}}}_m{x}_i---\left(14\right)$

其中，τ表示时刻，τ+1表示下一时刻，τ-1表示前一时刻。

然后探讨中心值c_ij和宽度σ_ij的学习算法。此时连接权值已知。

$\begin{array}{c}\frac{\∂E}{\∂c_{ij}}=\frac{\∂E}{\∂y}\frac{\∂y}{\∂{\mathrm{\α}}_j}\frac{\∂{\mathrm{\α}}_j}{\∂c_{ij}}\\ =-(c-y)\frac{y_j\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_i-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left({\mathrm{\α}}_i{y}_i\right)}{{\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_i\right)}^2}\·2(x_i-c_{ij}){\mathrm{\α}}_j/{\mathrm{\σ}}_{ij}^2\end{array}---\left(15\right)$

$c_{ij}(k+1)=c_{ij}\left(k\right)-\mathrm{\η}\frac{\∂E}{\∂c_{ij}}---\left(16\right)$

$\begin{array}{c}\frac{\∂E}{\∂{\mathrm{\σ}}_{ij}}=\frac{\∂E}{\∂y}\frac{\∂y}{\∂{\mathrm{\α}}_j}\frac{\∂{\mathrm{\α}}_j}{\∂{\mathrm{\σ}}_{ij}}\\ =-(c-y)\frac{y_j\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_i-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left({\mathrm{\α}}_i{y}_i\right)}{{\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\α}}_i\right)}^2}\·2{(x_i-c_{ij})}^2{\mathrm{\α}}_j/{\mathrm{\σ}}_{ij}^3\end{array}---\left(17\right)$

${\mathrm{\σ}}_{ij}(k+1)={\mathrm{\σ}}_{ij}\left(k\right)-\mathrm{\η}\frac{\∂E}{\∂{\mathrm{\σ}}_{ij}}---\left(18\right)$

以上各式中，η＞0为学习速率。

标准BP算法收敛速度较慢、目标函数存在局部极小问题。如今已有多种方法可对以上问题进行改进，比较常用的方法有两种：当引入动量项时，BP算法可以找到更优解；当引进自适应学习速率后，BP算法可适当缩短训练时间。故本文将两者结合，此时，连接权值中心值c_ij和宽度σ_ij的学习算法为：

$p_k^m(\mathrm{\τ}+1)=p_k^m\left(\mathrm{\τ}\right)+{\mathrm{\Δp}}_k^m(\mathrm{\τ}+1)+\mathrm{\υ}\left(p_k^m\right(\mathrm{\τ})-p_k^m(\mathrm{\τ}-1\left)\right)---\left(19\right)$

c_ij(τ+1)＝c_ij(τ)+Δc_ij(τ+1)+υ(c_ij(τ)-c_ij(τ-1)) (20)

σ_ij(τ+1)＝σ_ij(τ)+Δσ_ij(τ+1)+υ(σ_ij(τ)-σ_ij(τ-1)) (21)

式中，υ为动量因子，

Claims (1)

1.基于模糊神经网络的室温控制算法，其特征在于，包括以下步骤：

1)构建模糊神经网络控制器；所述模糊神经网络控制器由前件网络和后件网络构成，

所述前件网络包括四层网络结构如下：

第一层：输入层，用于输入变量x₁,x₂，表达式如下：

$\left\{\begin{array}{c}{x}_1=e=c-y\\ x_2=\stackrel{\·}{e}\end{array}\right.---\left(1\right)$

其中，e为跟踪误差，c为温度设定值，y为温度实际检测值，为跟踪误差的导数；

第二层：模糊化层，用于将输入变量x₁、x₂分别划分7个模糊子集，所述模糊子集的隶属度函数均采用高斯铃型函数，分别为：

${\mathrm{\μ}}_i^j=\exp (-{\left(\frac{x_i-c_{ij}}{{\mathrm{\σ}}_{ij}}\right)}^2)---\left(2\right)$

其中，表示输入变量x_i的第j个模糊子集的隶属度函数，c_ij和σ_ij分别为隶属度函数的中心和宽度，i＝1,2，j＝1,2,…,7；

第三层：模糊规则计算层，用于完成模糊推理操作，采用的模糊算子为连乘算子，计算公式如下：

${\mathrm{\α}}_m={\mathrm{\μ}}_1^{j_1}\×{\mathrm{\μ}}_2^{j_2}---\left(3\right)$

其中，α_m表示模糊算子，m＝1,2,3,…,49，j₁＝j₂＝j；

第四层：归一化层，用于实现归一化操作，计算公式如下：

${\stackrel{\‾}{\mathrm{\α}}}_m={\mathrm{\α}}_m/\underset{i=1}{\overset{49}{\Σ}}{\mathrm{\α}}_i---\left(4\right);$

其中，为加权系数；

所述后件网络包括三层网络结构如下：

第一层：输入层，该层共有3个节点，第一个节点的输入值为x₀＝1，第二、三个节点分别输入变量x₁,x₂；

第二层：用于计算每一条规则后件，即

$y_m=p_k^m+p_k^m{x}_1+p_k^m{x}_2---\left(5\right)$

其中，y_m为第m条规则的后件网络输出，为连接权值，k＝0,1,2，m＝1,2,3,…,49；

第三层：用于计算控制器输出y：

$y=\underset{m=1}{\overset{49}{\Σ}}{\stackrel{\‾}{\mathrm{\α}}}_m{y}_m---\left(6\right);$

控制器输出y也就是温度实际检测值；

2)采用遗传算法-粒子群算法进行离线学习；离线学习包括以下步骤：

2-1)进行种群参数初始化；

2-2)根据式(9)计算粒子适应度F；

F＝abs(y-c) (9)

2-3)寻找个体极值和群体极值；

2-4)进行速度更新和位置更新；

2-5)计算速度和位置更新后的粒子适应度；

2-6)更新个体极值和群体极值；

2-7)当前个体与个体极值交叉，适应度值减小，则接受；

2-8)当前个体与群体极值交叉，适应度值减小，则接受；

2-9)当前个体自身进行变异，适应度值减小则接受；

2-10)满足最大进化代数则结束，否则返回步骤2-4)；

3)采用BP算法，并引入动量项，建立所述步骤1)的控制器中的连接权值，高斯铃型隶属度函数的中心值及宽度的自适应学习算法，在线实时调整所述步骤1)的控制器，使控制器适应房间温度变化并跟踪温度设定值；

连接权值的学习算法为：

$p_k^m(\mathrm{\τ}+1)=p_k^m\left(\mathrm{\τ}\right)+{\mathrm{\Δp}}_k^m(\mathrm{\τ}+1)+\mathrm{\υ}\left(p_k^m\right(\mathrm{\τ})-p_k^m(\mathrm{\τ}-1\left)\right)---\left(19\right)$

中心值ci_j的学习算法为：

ci_j(τ+1)＝ci_j(τ)+Δci_j(τ+1)+υ(ci_j(τ)-ci_j(τ-1)) (20)

宽度σi_j的学习算法为：

σi_j(τ+1)＝σi_j(τ)+Δσi_j(τ+1)+υ(σi_j(τ)-σi_j(τ-1)) (21)

其中，i＝1,2，j＝1,2,3,…,7，τ表示时刻，τ+1表示下一时刻，τ-1表示前一时刻，υ为动量因子，E为误差代价函数：

η为学习速率。