CN107729988A - 基于动态深度置信网络的蓝藻水华预测方法 - Google Patents

Abstract

本发明公开了一种基于动态深度置信网络的蓝藻水华预测方法，属于水质监测技术领域。本发明的预测方法包括建立DDBN模型，动态受限玻尔兹曼机DRBM的学习算法更新，以及采用BP神经网络反向传播算法微调DDBN模型参数三个部分。本发明对传统的RBM权重更新公式进行了改进，使权重、偏置和学习速率更新公式具有时序性，便于处理时间序列问题，提高预测精度；反向传播算法只微调了与t时刻相关的参数，这样不仅避免了局部最优现象的出现，同时也减少微调的时间。

Description

基于动态深度置信网络的蓝藻水华预测方法

技术领域

本发明涉及一种水华预测方法，属于水质监测技术领域。具体地说，是对水华的生成过程进行分析后建立的动态深度置信网络(Dynamic Deep Belief Nets,DDBN)预测模型的一种提高预测精度的水华预测方法。

背景技术

近年来，由于人们大规模的生产，水体富营养化现象越来越普遍，造成了严重的水生态问题。水华是水体富营养化的典型特征之一，水华的爆发，破坏了生态系统结构，严重制约了经济建设和社会发展。水华已成为国内外治理的一大难题。因此，深入研究藻类水华的爆发过程，并对其爆发过程进行有效的预测和模拟具有重要意义。

目前，水华生成过程建模方法主要包括数据驱动建模和机理驱动建模。数据驱动建模主要是通过采集的大量数据建立多个量影响某个量或某几个量的线性关系或者非线性关系。该模型不需要分析其内部机理，只根据研究对象中的输入输出数据之间的关系进行建模，主要适用于很难从机理分析中发现系统规律的高度非线性和严重不确定系统。机理驱动模型主要包括生态变量和待定参数。它是从水华形成的过程机理出发，通过物理、化学规律建立关键变量与其它可测变量之间的数学方程，经推导后建立起来的描述形成过程的方程组的数学模型。由于藻类水华的爆发现象非常复杂，使得系统的结构性质并不清楚，因此单纯的机理驱动的建模方法并不适合藻类水华预测。而在现有的水华预测方法中，大多采用单一的数据驱动模型，如一些神经网络模型、回归模型等等，但它们都存在预测结果不够准确的问题。

时间序列分析法是根据系统观测到的时间序列数据通过曲线拟合和参数估计来建立数学模型的理论和方法。该方法适于描述和预测水华生成的随机过程，进而建立水华形成的时序模型。时间序列分析法的特点在于在已建立的模型中引入了时间变量，仅仅依靠过去时刻的若干组数据就可以对未来时刻的数据进行预测，这恰恰也反映了水华的生成过程是一个具有时变特性的动态过程。然而，传统的时间序列模型只适用于线性系统的建模分析，而水华的形成过程具有高度的非线性特征，故传统的时间序列模型并不适用。因此，需要采用一种适用于预测和非线性建模的方法来对时间序列模型的参数进行优化。

深度置信网络是由多个受限玻尔兹曼机(RBM)和BP神经网络堆叠而成的一类包含多个隐藏层的多层神经网络算法，适用于预测和非线性建模。深度置信网络继承了传统神经网络的优点(例如，非常强的非线性映射能力等)，并且与传统的神经网络相比，深度置信网络具有收敛到全局最优的能力。然而，单纯的深度置信网络需要对大量的样本进行训练，并且无法很好的处理时序问题，这为预测带来了一定难度。

因此，在引入时间变量后寻找一种优化时序模型参数的方法，是湖库藻类水华研究领域中亟待解决的问题。

发明内容

本发明的目的是为了解决现有的水华预测精度不高、难以通过适量样本进行预测等问题，将改进后的深度置信网络方法与时间序列模型相结合，构建一种动态深度置信网络预测模型，从而提高水华的预测精度，为湖库藻类水华预测提供一种新思路。

本发明提供的基于动态深度置信网络的蓝藻水华预测方法，主要包括以下四个步骤：

步骤一、建立DDBN模型；

时间序列模型是指某一现象按照时间排列次序形成的一个动态数列。水华预测是一个时间序列预测问题，而叶绿素是表征水体中藻类现存量的最直接指标，并且叶绿素的含量具有随时间变化的特点，因此将叶绿素作为反映藻类水华生成的表征因素建立输入数据与输出数据的时序关系。

传统的深度置信网络DBN模型由多层RBM和BP神经网络模型堆叠而成，BP神经网络算法是对权重和偏置项等参数进行微调，而传统的RBM参数更新算法，不能很好的处理时序预测问题，故需要对RBM中权重参数和偏置参数的算法进行改进，建立DDBN模型，以便能够更好的处理时序预测问题。

步骤二、动态受限玻尔兹曼机(DRBM)的学习算法；

(1)动态受限玻尔兹曼机权重的学习公式；

DRBM权重的算法与传统的RBM算法相同，均采用对比散度算法计算权重差值，然后进行权重更新，但DRBM权重算法增加了历史时刻的权重更新。

(2)DRBM输入层偏置的学习公式；

DRBM输入层偏置更新时，不仅仅考虑对比散度算法产生的偏置差值，同时还要考虑输入层t时刻与其历史时刻之间、输入层t时刻与隐藏层t-q时刻之间的连接产生的偏置变化以及输入层t-q时刻与其历史时刻之间连接产生的偏置变化。

(3)DRBM隐藏层偏置的学习公式；

DRBM隐藏层偏置更新时，不仅仅考虑对比散度算法产生的偏置差值，同时还要考虑隐藏层t时刻与隐藏层t-q时刻之间、隐藏层t时刻与其输入层历史时刻之间连接产生的偏置变化以及隐藏层t-q时刻与其输入层历史时刻之间的连接产生的偏置变化。

步骤三、DRBM采用动态学习速率；

由于DRBM在迭代初期需要在较大范围内进行参数调整，在迭代后期，网络基本趋于稳定只需在较小的范围内进行参数调整。所以DRBM采用动态学习速率进行网络学习。

步骤四、采用BP神经网络反向传播算法微调DDBN模型参数；

采用BP神经网络反向传播算法对DDBN模型中的参数进行微调，由于DDBN模型参数较多，且历史时刻参数均与当前时刻参数相关，故反向传播时，仅微调与t时刻的相关参数即可。

本发明的优点在于：

1.本发明在建立DDBN模型时采用了多个时间序列AR模型，AR模型能够直接通过历史数据对未来数据进行预测，减少了样本使用量。

2.本发明对传统的RBM权重更新公式进行了改进，使权重更新公式具有时序性，便于处理时间序列问题，提高预测精度。

3.本发明对传统的RBM输入层偏置更新公式进行了改进，增加了输入层t-q时刻与其历史时刻、输入层t时刻与其历史时刻以及输入层t时刻与隐藏层t-q时刻的连接，使历史时刻与当前时刻构建了多个时间序列AR模型，便于处理时序问题，进而提高预测精度。

4.本发明对传统的RBM隐藏层偏置更新公式进行了改进，增加了隐藏层t-q时刻与其输入层历史时刻、隐藏层t时刻与其输入层历史时刻以及隐藏层t时刻与隐藏层t-q时刻的连接，使历史时刻与当前时刻构建了多个时间序列AR模型，便于处理时序问题，进而提高预测精度。

5.本发明将传统的RBM中固定的学习速率变为动态学习速率，有助于网络的迭代寻优，提高预测精度。

6.本发明采用了反向传播算法对DDBN中的参数进行微调，并只微调了与t时刻相关的参数，这样不仅避免了局部最优现象的出现，同时也减少微调的时间。

附图说明

图1是本发明基于动态深度置信网络的湖库藻类水华预测方法的结构图。

图2是本发明的基于动态深度置信网络的蓝藻水华预测方法流程图。

图3是经过归一化处理后的所选取的训练样本的叶绿素a浓度曲线。

图4、图5、图6分别是通过DDBN模型进行预测的(t+1)、(t+2)、(t+3)时刻的叶绿素浓度的预测值和它们的真实值的曲线。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于动态深度置信网络的蓝藻水华预测方法，具体方法实施的流程图如图2所示，通过如下步骤实现：

步骤一、建立DDBN模型；

如图1所示，v_t和v_t-p分别表示t时刻和t-p时刻输入层矩阵。h_t和h_t-q分别表示t时刻和t-q时刻隐藏层矩阵。v_t+i表示t+i时刻输出层矩阵。由图1可以看出，输入层负责接收历史时刻和当前时刻的叶绿素浓度，隐藏层主要是提取输入层历史时刻和当前时刻的叶绿素浓度的特征，输出层则表示未来时刻的叶绿素浓度。输入样本和输出样本都是由长度固定，且沿时间序列顺次向前的移动窗口组成。这样便可通过DDBN模型来实现时序AR模型的建模预测。

由图1可知，与传统的DBN模型相比，DDBN模型增加了额外的输入和输出，这样构建的DDBN模型可以很好的建立输入数据与输出数据之间的联系，进而能够更方便、更准确的去处理时间序列预测问题。

步骤二、动态受限玻尔兹曼机(DRBM)的学习算法。

(1)DRBM权重的学习公式；

DRBM权重学习公式与传统的RBM的权重学习公式所采用的都是对比散度算法，但DRBM权重学习公式具有时序特性，DRBM权重学习公式分为t时刻和t-q时刻。t时刻的权重更新公式如下：

W′_t←W_t+ΔW_t (1)

其中，W_t和W′_t是更新前后的权重矩阵，ΔW_t是采用对比散度算法后权重的变化。ΔW_t可用如下公式表示：

ΔW_t＝η(＜v_th_t＞⁰-＜v_th_t＞¹) (2)

＜·＞⁰表示数据集的数学期望，＜·＞¹表示经过一次对比散度算法后的重构值的数学期望。η为DRBM本次迭代的学习速率(下同)。t-q时刻的权重更新公式和对比散度算法与t时刻相同，故不再具体阐述。

(2)DRBM输入层偏置的学习公式。

DRBM输入层偏置学习公式与传统的RBM的区别在于增加了输入层t-q时刻与其历史时刻的连接、输入层t时刻与其历史时刻的连接以及隐藏层t-q时刻与输入层t时刻的连接，同时再结合传统RBM输入层偏置的学习方式，最终构成输入层t-q时刻和t时刻的偏置更新公式。

输入层t-q时刻的偏置更新公式为：

其中，a_t-q和a'_t-q分别表示t-q时刻更新前后的输入层偏置，表示输入层t-q时刻的某一历史时刻t-p的输入层矩阵，ΔA_t-p表示输入层t-p时刻与输入层t-q时刻之间的连接产生的权重变化，ΔA'_t-q是输入层t-q时刻经过对比散度算法后自身的偏置变化。其中：

ΔA'_t-q＝＜v_t-q＞⁰-＜v_t-q＞¹ (5)

输入层t时刻的偏置更新公式是在输入层t-q时刻的基础上又增加了隐藏层t-q时刻与输入层t时刻的连接而引起的偏置变化，因此输入层t时刻的偏置更新公式为：

其中，a_t和a'_t分别表示t时刻更新前后的输入层偏置，表示输入层t时刻的某一历史时刻t-p的输入层矩阵。ΔD_t-q表示隐藏层t-q时刻与输入层t时刻之间的连接产生的权重变化。ΔA'_t-p、ΔA'_t分别表示输入层t-p时刻与输入层t时刻之间的连接产生的权重变化以及输入层t时刻经过对比散度算法后自身的偏置变化，它们算法与输入层t-q时刻算法相同。ΔD_t-q的计算公式为：

ΔD_t-q＝h_t-q(＜v_t＞⁰-＜v_t＞¹) (7)

(3)DRBM隐藏层偏置的学习公式。

DRBM隐藏层偏置学习公式与传统的RBM的区别在于增加了隐藏层t-q时刻与其输入层历史时刻之间的连接、隐藏层t时刻与隐藏层t-q时刻之间的连接，同时再结合传统RBM隐藏层偏置的学习方式，最终构成隐藏层t-q时刻和t时刻的偏置更新公式。

隐藏层t-q时刻偏置更新公式为：

其中，b_t-q和b'_t-q分别表示t-q时刻更新前后的隐藏层偏置，ΔB_t-p表示输入层t-p时刻与隐藏层t-q时刻之间的连接产生的权重变化，ΔB'_t-q是隐藏层t-q时刻经过对比散度算法后自身的偏置变化。其中：

ΔB'_t-q＝＜h_t-q＞⁰-＜h_t-q＞¹ (10)

隐藏层t时刻偏置更新公式是在隐藏层t-q时刻的基础上又增加了隐藏层t-q时刻与隐藏层t时刻之间的连接而引起的偏置变化，因此隐藏层t时刻偏置更新公式为：

其中，b_t和b'_t分别表示t时刻更新前后的隐藏层偏置，ΔC_t-q表示隐藏层t-q时刻与隐藏层t时刻之间的连接产生的权重变化。ΔB'_t-p、ΔB'_t分别表示输入层t-p时刻与隐藏层t时刻之间的连接产生的权重变化、隐藏层t时刻经过对比散度算法后自身的偏置变化，它们的算法与隐藏层t-q时刻相同。ΔC_t-q的计算公式为：

ΔC_t-q＝h_t-q(＜h_t＞⁰-＜h_t＞¹) (12)

步骤三、DRBM采用动态学习速率。

DRBM与传统的RBM相比，采用了动态学习速率更新DRBM网络参数，动态学习速率的公式为：

其中，u为学习速率系数，负责动态调整学习速率。

学习速率系数的更新公式如下：

这样可保证学习速率在初始值和最小值之间逐渐减小。u和u'分别表示更新前后的学习速率系数。其中u的初始值取0，r和s可根据设定的学习速率最小值得到。

步骤四、采用BP神经网络反向传播算法微调DDBN模型参数。

DRBM中的权重参数和偏置参数反应了数据结构中的信息。预训练完成后，为了得到一个更好的结果，还需要采用BP神经网络算法，通过有监督的反向传播算法自顶向下对DDBN模型参数进一步调优。由于在DDBN模型中参数较多，并且由DDBN的结构图可知增加的参数均与t时刻相关，因此进行反向传播时只需对DDBN模型中与t时刻相关的参数进行微调。以输出层的(t+m)时刻和隐藏层t时刻连接的权重为例，所述权重的变化公式为：

其中，表示输出层的(t+m)时刻与隐藏层t时刻之间的权重变化，ε是所述权重的学习速率，d_t+m和h'_t分别表示输出层(t+m)时刻的误差矩阵和隐藏层t时刻的输出矩阵，其中d_t+m的计算公式如下：

d_t+m＝(y_t+m-c_t+m)c_t+m(1-c_t+m) (16)

其中y_t+m表示BP神经网络的期望输出，c_t+m表示BP神经网络的实际输出。

实施例1：

以江苏省太湖流域叶绿素a浓度数据为例采用本发明所提方法进行蓝藻水华预测。以2011年至2012年太湖的观测数据为例，经数据筛选与归一化处理后，共选取了440天的1320个叶绿素浓度数据样本，每天选取三个样本。其中选取前660个数据作为训练样本，如图3所示。选取后660个数据作为测试样本。

步骤一、建立DDBN模型；

选取叶绿素作为表征水体中藻类现存量的指标，按照图1的结构建立表征因素的DDBN藻类水华预测模型。将所选取的训练样本中的数据按时间序列组成顺次向前移动的窗口，将其分为11个窗口，每个窗口有650个时序数据，其中前8个窗口作为训练样本的输入数据，后3个窗口作为训练样本的输出数据。同理，将测试样本中的输入数据也分成8个移动窗口。每个窗口650个时序数据，进行测试验证。

步骤二、动态受限玻尔兹曼机(DRBM)的学习算法；

(1)DRBM权重的学习公式；

根据步骤一，取n＝7，再取k＝2，说明输入层由当前时刻和7个历史时刻组成，隐藏层由当前时刻和2个历史时刻组成。

故当前时刻DRBM的权重变化公式为：

ΔW_t＝η(＜v_th_t＞⁰-＜v_th_t＞¹)

历史时刻DRBM的权重变化公式为：

ΔW_t-1＝η(＜v_t-1h_t-1＞⁰-＜v_t-1h_t-1＞¹)

ΔW_t-2＝η(＜v_t-2h_t-2＞⁰-＜v_t-2h_t-2＞¹)

(2)DRBM输入层偏置的学习公式；

由步骤一可知n＝7，k＝2。根据公式(3)、公式(4)和公式(5)可知，t-1和t-2时刻的输入层偏置更新公式为：

由公式(4)、公式(5)、公式(6)和公式(7)可知t时刻的输入层的偏置更新公式为：

(3)DRBM隐藏层偏置的学习公式；

由步骤一可知n＝7，k＝2。根据公式(8)、公式(9)和公式(10)可知，t-1和t-2时刻的隐藏层偏置更新公式为：

根据公式(9)、公式(10)、公式(11)和公式(12)可知，t时刻的隐藏层偏置更新公式为：

步骤三、DRBM采用动态学习速率；

取初始学习速率为0.04,学习速率最小值为0.01,则s＝1，r＝2，DRBM迭代次数为1500，则根据公式(13)得到动态学习速率的公式为：

根据公式(14)得到学习速率系数的更新公式为：

步骤四、采用BP神经网络反向传播算法微调DDBN模型参数；

DRBM模型训练结束后，再通过BP神经网络反向传播算法微调DDBN模型参数，由步骤一和图1可知i＝3。

所以输出层有三个时刻，分别是(t+1)、(t+2)和(t+3)时刻。以(t+1)时刻为例，根据公式(15)和(16)可得权重的变化公式为：

Δw_t ^t+1＝εd_t+1h'_t

(t+1)时刻输出层的误差矩阵可表示为：

d_t+1＝(y_t+1-c_t+1)c_t+1(1-c_t+1)

(t+2)和(t+3)时刻的权重变化和输出层的误差矩阵的算法与(t+1)时刻相同，故不再具体阐述。

在完成上述四个步骤后，在训练阶段选择两层DRBM与BP神经网络建立DDBN模型，输入层是由当前时刻和历史时刻共8个时刻组成，输出层由未来的三个时刻组成，即对叶绿素的含量向前预测三步。其中，隐藏层由两个DRBM组成。在DRBM中第一层选择100个神经元，第二层选择50个神经元，学习速率的初始值均为0.04，学习速率最小值均为0.01，迭代次数均为1500。在BP神经网络中，学习速率为1，迭代次数为8000。训练结束后用测试集数据对模型进行测试验证。预测结果与实际结果的对比图如图4、图5和图6所示。向前预测三步的均方根误差分别为：1.40％，2.14％和2.96％，该预测精度较高，说明由本发明方法所建立的DDBM模型能有效地实现水华预测。

Claims (4)

1.基于动态深度置信网络的蓝藻水华预测方法，其特征在于：

步骤一、建立DDBN模型；

所述的DDBN是指动态深度置信模型，所述的模型包括输入层、隐藏层和输出层，将叶绿素作为反映藻类水华生成的表征因素建立输入数据与输出数据的时序关系；输入层负责接收历史时刻和当前时刻的叶绿素浓度，隐藏层负责提取输入层历史时刻和当前时刻的叶绿素浓度的特征，输出层则表示未来时刻的叶绿素浓度；输入层数据和输出层数据都是由长度固定，且沿时间序列顺次向前的移动窗口组成；

步骤二、动态受限玻尔兹曼机DRBM的学习算法；

(1)动态受限玻尔兹曼机权重的学习公式；

采用对比散度算法计算权重差值，然后进行权重更新；

(2)DRBM输入层偏置的学习公式；

DRBM输入层偏置更新时，包括对比散度算法产生的偏置差值，还包括输入层t时刻与其历史时刻之间、输入层t时刻与隐藏层t-q时刻之间的连接产生的偏置变化以及输入层t-q时刻与其历史时刻之间连接产生的偏置变化；

(3)DRBM隐藏层偏置的学习公式；

DRBM隐藏层偏置更新时，包括对比散度算法产生的偏置差值，还包括隐藏层t时刻与隐藏层t-q时刻之间、隐藏层t时刻与其输入层历史时刻之间连接产生的偏置变化以及隐藏层t-q时刻与其输入层历史时刻之间的连接产生的偏置变化；

步骤三、DRBM采用动态学习速率；

步骤四、采用BP神经网络反向传播算法微调DDBN模型参数。

2.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法，其特征在于：步骤二中所述的DRBM权重学习公式分为t时刻和t-q时刻，t时刻的权重更新公式如下：

W′_t←W_t+ΔW_t (1)

其中，W_t和W′_t是更新前后的权重矩阵，ΔW_t是采用对比散度算法后权重的变化；ΔW_t用如下公式表示：

ΔW_t＝η(＜v_th_t＞⁰-＜v_th_t＞¹) (2)

＜·＞⁰表示数据集的数学期望，＜·＞¹表示经过一次对比散度算法后的重构值的数学期望，η为DRBM本次迭代的学习速率，t-q时刻的权重更新公式和对比散度算法与t时刻相同；

步骤二中所述的DRBM输入层偏置的学习公式包括输入层t-q时刻和t时刻的偏置更新公式，输入层t-q时刻的偏置更新公式为：

其中，a_t-q和a'_t-q分别表示t-q时刻更新前后的输入层偏置，表示输入层t-q时刻的某一历史时刻t-p的输入层矩阵，ΔA_t-p表示输入层t-p时刻与输入层t-q时刻之间的连接产生的权重变化，ΔA'_t-q是输入层t-q时刻经过对比散度算法后自身的偏置变化，其中：

ΔA'_t-q＝＜v_t-q＞⁰-＜v_t-q＞¹ (5)

输入层t时刻的偏置更新公式是在输入层t-q时刻的基础上又增加了隐藏层t-q时刻与输入层t时刻的连接而引起的偏置变化，因此输入层t时刻的偏置更新公式为：

其中，a_t和a'_t分别表示t时刻更新前后的输入层偏置，表示输入层t时刻的某一历史时刻t-p的输入层矩阵，ΔD_t-q表示隐藏层t-q时刻与输入层t时刻之间的连接产生的权重变化，ΔA'_t-p、ΔA'_t分别表示输入层t-p时刻与输入层t时刻之间的连接产生的权重变化以及输入层t时刻经过对比散度算法后自身的偏置变化，它们算法与输入层t-q时刻算法相同，ΔD_t-q的计算公式为：

ΔD_t-q＝h_t-q(＜v_t＞⁰-＜v_t＞¹) (7)

步骤二中所述的DRBM隐藏层偏置的学习公式包括隐藏层t-q时刻和t时刻的偏置更新公式，隐藏层t-q时刻偏置更新公式为：

其中，b_t-q和b'_t-q分别表示t-q时刻更新前后的隐藏层偏置，ΔB_t-p表示输入层t-p时刻与隐藏层t-q时刻之间的连接产生的权重变化，ΔB'_t-q是隐藏层t-q时刻经过对比散度算法后自身的偏置变化，其中：

ΔB'_t-q＝＜h_t-q＞⁰-＜h_t-q＞¹ (10)

隐藏层t时刻偏置更新公式是在隐藏层t-q时刻的基础上又增加了隐藏层t-q时刻与隐藏层t时刻之间的连接而引起的偏置变化，因此隐藏层t时刻偏置更新公式为：

其中，b_t和b'_t分别表示t时刻更新前后的隐藏层偏置，ΔC_t-q表示隐藏层t-q时刻与隐藏层t时刻之间的连接产生的权重变化，ΔB'_t-p、ΔB'_t分别表示输入层t-p时刻与隐藏层t时刻之间的连接产生的权重变化、隐藏层t时刻经过对比散度算法后自身的偏置变化，它们的算法与隐藏层t-q时刻相同，ΔC_t-q的计算公式为：

ΔC_t-q＝h_t-q(＜h_t＞⁰-＜h_t＞¹) (12)。

3.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法，其特征在于：步骤三中所述的DRBM动态学习速率η的公式为：

其中，u为学习速率系数；

学习速率系数的更新公式如下：

u和u'分别表示更新前后的学习速率系数，其中u的初始值取0，r和s根据设定的学习速率最小值得到。

4.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法，其特征在于：步骤四中所述的微调DDBN模型参数包括与t时刻相关的权重参数和偏置参数，其中，输出层的t+m时刻和隐藏层t时刻连接的权重的变化公式为：

其中，表示输出层的t+m时刻与隐藏层t时刻之间的权重变化，ε是所述权重的学习速率，d_t+m和h'_t分别表示输出层t+m时刻的误差矩阵和隐藏层t时刻的输出矩阵，其中d_t+m的计算公式如下：

d_t+m＝(y_t+m-c_t+m)c_t+m(1-c_t+m) (16)

其中y_t+m表示BP神经网络的期望输出，c_t+m表示BP神经网络的实际输出。