CN104700153A

CN104700153A - 基于模拟退火优化BP神经网络的pH值预测方法

Info

Publication number: CN104700153A
Application number: CN201410738449.8A
Authority: CN
Inventors: 吴静静; 宋淑娟; 尤丽华; 王金华
Original assignee: Jiangnan University
Current assignee: Jiangnan University
Priority date: 2014-12-05
Filing date: 2014-12-05
Publication date: 2015-06-10

Abstract

本发明公开了一种基于模拟退火(SA)算法优化的BP神经网络的pH值的预测方法，包括以下步骤：第一步，根据样本选取策略选取样本并输入。第二步，根据BP定理，确定BP神经网络的结构。第三步，根据网络训练策略，采用模拟退火算法优化BP网络权值参数，利用输入的样本对BP网络进行训练，确定BP网络的最优权值及最优隐层节点数。第四步，根据训练好的BP神经网络，构建pH值的预测模型。本发明克服了BP网络在权值选择上的随机性，提高了BP神经网络的收敛速度和学习能力。此外，优化了训练样本选取和网络隐层神经元数，提高了BP神经网络的泛化能力。本发明对pH的预测准确度较高，具有较好的非线性拟合能力。

Description

基于模拟退火优化BP神经网络的pH值预测方法

技术领域

本发明涉及的是一种参数预测估计领域的方法，具体是一种基于模拟退火优化BP神经网络的pH值预测方法。

技术背景

不管是地层水、生活饮用水，还是工业用水的检测，pH值和氯离子浓度是需测量的重要参数。目前，地层水氯离子浓度测定大多采用实验室常规分析法，如电位滴定、离子色谱等。这些方法操作复杂，无法现场应用。对于pH值的检测，除pH计外，使用最多的是试纸法。该法由人眼进行色卡比对判读pH值，因此，受人为因素影响较大，如人的颜色视觉存在差异。此外，探矿人员进行野外水质检测，需要一种携带方便、操作简单的自动水质pH值检测仪。该自动水质pH值检测仪通过颜色传感器获得测试试纸呈现的红(R)、绿(G)和蓝(B)三个颜色分量，根据颜色值自动判读水质的pH值。

针对pH值的自动判读问题，主要是根据实测实验数据和数据处理算法建立pH值与R、G、B之间的近似模型，由该模型对水质的pH进行预测，从而实现pH值的自动测量。该近似模型涉及的变量包括颜色分量R，G，B，及相应pH值，属于四维空间模型问题，而且pH值与R、G、B的关系呈强烈的非线性，难以建立精确物理模型。

处理上述问题的常规方法是多元回归分析，即通过多元回归分析找出pH值与R、G、B三个输入变量之间的定度关系。但该方法的非线性拟合能力和预测精确度低。而神经网络如BP神经网络模型也是近年来有效的方法。

经过现有文献检索发现，BP神经网络模型的非线性拟合能力和预测精确度高于多元回归分析。但其存在以下缺点：(1)传统BP网络采用梯度下降法计算连接权值，易于陷入局部最小值(2)收敛速度慢。

发明内容

本发明针对现有技术中存在的不足，提出一种基于模拟退火(SA)优化BP神经网络的pH值预测方法。本发明通过SA优化的BP神经网络建立了pH值与R、G、B三个输入变量之间的定度关系，实现了pH值的准确预测，具有非线性拟合能力和预测精确度高的优点。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，根据样本选取策略选取样本并输入。

所述的样本选取策略，具体是：

(1)剔除不合格的或无效的数据。比如超过样本量测范围的数据(即野值)，或者相同输入值对应于不同的输出值的样本等；

(2)由于BP网络是按照相似性进行联想的，对于与样本的相似度高的状态的预测准确度高，为此，在选择训练样本向量时，应包括三个输入颜色值的可能极值组合，即输入样本向量覆盖全部可能的测量范围；

(3)把选定的合格输入输出量测值整理成适合BP网络训练格式的样本向量，对输入数据进行归一化处理以适应输入层神经元非线性函数的要求等。

第二步，根据BP定理，确定BP神经网络的结构。

所述的BP定理，具体是：

给定任意ε＞0和任意L₂函数f：[0 1]ⁿ→R^m，存在一个三层BP网络，它可在任意ε平方误差精度内逼近f。BP神经网络的结构包括输入层、隐层和输出层三层，以此作为预测器。

第三步，根据网络训练策略，采用模拟退火算法优化BP网络权值参数，利用输入的样本对BP网络进行训练，确定BP网络的最优权值及最优隐层节点数。

所述的训练策略，具体是：

训练策略分为训练和修正两个步骤。训练时又将样本数据集合随机地分为2部分：(1)训练集合，用于网络的训练；(2)测试集合，用于测试网络的预测效果。修正步骤是，改变网络结构，即增加或减少隐层节点的个数，然后再次进行训练，最后根据预测效果确定最优的隐层节点数目及网络结构。

所述的模拟退火算法，具体是：

其中：f:ω→R⁺为优化函数，ω∈S是一个可行的解，表示ω的一个邻域，l为在温度T_k下的搜索时间步数，P(ω(l)是ω(l)接受ω′(l)作为下一个新解ω(l+1)的概率。根据该概率，采用轮盘赌法选择ω′(l)作为下一个新解ω(l+1)。当在温度T_k下经过多次转移后温度降低到T_k+1＜T_k时，在T_k+1下重复上述过程直至温度降到很低，则全局最优解将以概率1被找到。

第四步，根据训练好的BP神经网络，构建pH值的预测模型。

所述的pH值预测模型，具体是：

y_{i} = Σ_{j = 1}^{M} ω_{j} σ_{j} - b

其中，y_i为网络输出的预测值，ω_j为隐层第j个神经元至输出层的连接权值，σ_j为隐层第j个神经元的输出，b为输出神经元的偏置。

与现有的技术相比，本发明的有益效果是：克服了BP网络在权值选择上的随机性，提高了BP神经网络的收敛速度和学习能力。此外，优化了训练样本选取和网络隐层神经元数，提高了BP神经网络的泛化能力。本发明对pH的预测准确度较高，具有较好的非线性拟合能力。

附图说明

图1是pH预测模型的BP网络结构；

图2是隐层节点数与对应的训练与预测均方差；

图3是实施本发明所述的基于模拟退火(SA)算法优化的BP神经网络权值训练方法预测pH值与R,G,B的关系曲线。

图4是采用多元回归分析法预测pH值与R，G，B的关系曲线。

具体实施方式

下面结合附图对本发明做详细描述：

本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例通过实验方法选择了984组有效的样本数据。每一组样本数据包含一个pH值及与其对应的R、G、B三种颜色值，其中的884组数据用于BP神经网络的训练，训练数据中包括了pH值的最大最小值样本以及R、G、B的极值样本。剩余的100组数据用于对训练好的BP网络进行测试。对这些数据进行训练的具体步骤如下：

第一步，根据样本选取策略选取样本并输入。

所述的样本选取策略，具体是：

本实施例中，先选取了984组有效的样本数据，其中的884组数据用于BP神经网络的训练，剩余的100组数据用于对训练好的BP网络进行测试。

第二步，根据BP定理，确定BP神经网络的结构。

所述的BP定理，具体是：

本实施例中pH预测网络结构输入神经元个数为3，分别对应于R、G、B三个输入值，输出神经元个数为1，对应于pH值。本实例中的BP网络结构初步选定15个隐层节点，而最终的隐层节点数由后续优化方法得到，如图1所示的pH值预测模型的BP网络结构。

所述的训练策略，具体是：

所述的模拟退火算法，具体是：

本实施例中根据网络训练策略，对884组的训练数据采用SA优化算法进行训练。为了调整隐层神经元数目以得到最优的BP网络结构，对每一种结构的学习和预测最优指标进行比较，选取其中最优者作为最终的BP网络结构。参阅图2，其显示了预测均方差随隐层节点数变化曲线。图中存在三个极小值点，相应的隐层节点数分别是16,21和23。本实施例中的网络需要嵌入到单片机中，选择节点数少的16作为最终隐层节点数以减少计算量。

第四步，根据训练好的BP神经网络，构建pH值的预测模型。

所述的pH值预测模型，具体是：

y_{i} = Σ_{j = 1}^{M} ω_{j} σ_{j} - b

本实施例中，选用Sigmoid函数作为转移函数，则隐层节点的输出表达式为，

σ_{j} = \frac{1}{1 + \exp (- Σ_{i = 1}^{3} (ω_{ij} x_{i} - b_{j}))}

其中，ω_ij为输入层至隐层的连接权值，b_j为隐层第j个神经元的偏置。该BP网络中的权值ω_j,ω_ij均可以通过基于SA优化BP神经网络算法得到。

本实施例中基于SA优化BP神经网络算法的具体实现步骤如下：

1)初始化参数。设置一个较大的初始温度T₀，根据BP神经网络结构随机选择初始权值构成初始状态解ω_ij(0)。

2)产生一个新状态解。在第k+1步，根据随机扰动模型，由前一个解ω_ij(k)产生当前一个新解ω_ij(k+1)。

所述的随机扰动模型，具体是：

ω_ij(k+1)＝ω_ij(k)+ηξ

其中：η为扰动幅度参数，ξ为随机扰动变量，随机扰动模型可选为服从于柯西、高斯、均匀分布中的任意一种概率密度函数。

3)求优化函数指标。以新解ω_ij(k+1)中各值作为BP神经网络权值，由BP神经网络对输入的训练样本进行预测，则根据优化函数计算目标优化函数值，即真实样本输出值与此预测值之差F(k+1)。

所述的优化函数，具体是：

以BP神经网络的实际输出与预测输出的平方型误差函数作为优化函数F，

F = {(y_{i} - {\overset{&OverBar;}{y}}_{i})}^{2}

其中：y_i为由预测模型得到的网络输出的预测值，为样本给出的实际值。

4)接受判断。根据模拟退火算法中的概率P(ω(l)，判断是否接受新解ω_ij(k+1)。

5)循环计算。若满足热平衡条件，即内循环次数大于设定的值，则去执行第6步。否则，去执行第2步。

6)降温。降低温度到T_k+1＜T_k度，则转到第2步执行。

7)结束判断。当使用所有训练样本完成上述SA优化的权值学习，且温度达到终止温度，则结束，SA输出最优解以作为BP神经网络预测模型的连接权值。

本实施例中，设置误差限为0.0123，经过4478次训练达到要求，得到了BP网络连接各神经元的权值。用来对训练好的BP网络进行测试的剩余的100种数据，该数据的样本的pH值预测均方差为r＝0.0108。使用同样的训练样本数据，用多元回归分析的方法，得到的100组测试样本的预测方差为r＝0.4607。表1给出了部分测试数据的BP网络预测pH值与实测pH值的比较结果。表2给出了部分实测与回归预测pH值比较结果。

表1.部分实测与BP网络预测pH值比较结果

表2.部分实测与回归预测pH值比较结果

附图3给出了100组测试样本中预测pH值与R，G，B任意二者之间的关系图。附图4给出了同样的测试样本回归预测pH值与R,G,B的关系曲线。对比两种方法的实验结果可知，本发明提出的算法的预测误差远小于回归方程预测误差，对pH的预测准确度较高，具有较好的非线性拟合能力，可用于实际测量系统。

Claims

1.一种基于模拟退火优化BP神经网络的pH值预测方法，其特征在于，包括以下步骤：

第一步，根据样本选取策略选取样本并输入；

第二步，根据BP定理，确定BP神经网络的结构；

第三步，根据网络训练策略，采用模拟退火算法优化BP网络权值参数，利用输入的样本对BP网络进行训练，确定BP网络的最优权值及最优隐层节点数；

第四步，根据训练好的BP神经网络，构建pH值的预测模型。

2.根据权利要求1所述的基于模拟退火优化BP神经网络的pH值预测方法，其特征是，所述的样本选取策略，具体是：

(1)剔除不合格的或无效的数据，比如超过样本量测范围的数据(即野值)，或者相同输入值对应于不同的输出值的样本等；

3.根据权利要求1所述的基于模拟退火优化BP神经网络的pH值预测方法，其特征是，所述的BP神经网络的结构，具体是：

由BP定理知：给定任意ε＞0和任意L₂函数f：[0 1]ⁿ→R^m，存在一个三层BP网络，它可在任意ε平方误差精度内逼近f。BP神经网络的结构包括输入层、隐层和输出层三层，以此作为预测器。

4.根据权利要求1所述的基于模拟退火优化BP神经网络的pH值预测方法，其特征是，所述的网络训练策略，具体是：

5.根据权利要求1所述的基于模拟退火优化BP神经网络的pH值预测方法，其特征是，所述的模拟退火算法，具体是：

6.根据权利要求1所述的基于模拟退火优化BP神经网络的pH值预测方法，其特征是，所述的pH值预测模型，具体是：

其中，y_i为网络输出的预测值，ω_j为隐层第j个神经元至输出层的连接权值，σ_j为隐层第j个神经元的输出，b为输出神经元的偏置。隐层节点采用Sigmoid函数作为转移函数，隐层节点σ_j的输出表达式为，

其中，ω_ij为输入层至隐层的连接权值，b_j为隐层第j个神经元的偏置。

7.根据权利要求6所述的基于模拟退火优化BP神经网络的pH值预测模型的权值ω_j，ω_ij的计算，其特征是，所述的BP神经网络的权值ω_j,ω_ij均通过基于SA优化的BP神经网络算法得到。