CN103679139A - 基于粒子群优化bp网络的人脸识别方法 - Google Patents

Abstract

本发明揭示了一种基于粒子群优化BP网络的人脸识别方法，图像经过预处理去除外界的干扰；经过预处理的图像信息通过选择不同的特征提取方式，将其信息通过映射变换，投影到特征空间；神经网络在训练或识别的过程中，其每一个特征对应神经网络一个输入节点，而输出节点等于类别数，一个输出节点对应一个类；从而设计出一种全连接的BP网络，其中输入层神经元的个数对应为图像的特征数，输出层神经元个数为种群类别数，隐层神经元个数设定为

网络权值初始化为[0,1]之间的随机值，每个粒子对应一个神经网络。本发明依据粒子适应值及粒子适应值的变化量，实时调整粒子的惯性权重，能够快速寻找到全局最优解，最终提高人脸识别的效率及精度。

Description

基于粒子群优化BP网络的人脸识别方法

技术领域

本发明属于人脸识别技术领域，涉及一种人脸识别方法，尤其涉及一种基于粒子群优化BP网络的人脸识别方法。

背景技术

在现在手机照相的笑脸识别均采用的BP算法进行识别。BP算法属于启发式算法，算法运行速度较慢，而且容易陷入局部极值，寻优效果较差。

粒子群优化算法是模拟鸟群寻找食物和人类活动的群智能算法，是一种全局随机寻优算法。粒子群算法具备很强的全局寻优能力，而且算法实现更简单，寻优性能很稳定，越来越多的应用于传统启发式算法的问题求解中。

粒子群算法是粒子向自身经验P_i和群体经验P_g不断学习，实现在解空间的寻优。假设粒子群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，…，x_id),飞行速度为v_i=(v_i1，v_i2，…，v_id),其经历过的最好位置为P_i=(p_i1，p_i2，…，p_id)，所有粒子经历过的最好位置为P_g=(p_g1，p_g2，…，p_gd)。每一代粒子按下式更新：

$\left\{\begin{array}{c}{v}_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(p_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})\\ x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}\end{array}\right.---\left(1\right)$

式中,v_id表示第i个粒子第d维速度分量，t为迭代次数，w为惯性权重，学习因子c₁=c₂=2，r₁和r₂为(0,1)之间均匀分布的随机数。

惯性权重w是粒子群算法的全局寻优和局部寻优的平衡系数。较大的w值有利于全局寻优，易于跳出局部极值；而较小的w有利于算法的局部寻优，加速收敛。粒子群算法在进化的过程中，要求在算法初始阶段，惯性权重w选取较大的值用以加快算法的收敛速度；当粒子寻优到最优值附件时，要求粒子的惯性权重w必须相当小，否则粒子将会飞出最优解附近而不能收敛，进而影响算法收敛的稳定性。所以有必要设计一种动态变化的惯性权重，以达到加快粒子寻找最优解的能力。

发明内容

本发明所要解决的技术问题是：提供一种基于粒子群优化BP网络的人脸识别方法，可实时调整粒子的惯性权重，最终提高人脸识别的效率及精度。

为解决上述技术问题，本发明采用如下技术方案：

一种基于粒子群优化BP网络的人脸识别方法，所述方法包括：

图像经过预处理去除外界的干扰，为后续处理提供高质量的图像；经过预处理的图像信息通过选择不同的特征提取方式，将其信息通过映射变换，投影到特征空间，形成一个m×n的矩阵，每个参数对应一个特征；神经网络在训练或识别的过程中，其每一个特征对应神经网络一个输入节点，而输出节点等于类别数，一个输出节点对应一个类；

从而设计出一种全连接的BP网络，其中输入层神经元的个数对应为图像的特征数，输出层神经元个数为种群类别数，隐层神经元个数根据经验公式设定为

网络权值初始化为[0,1]之间的随机值，每个粒子对应一个神经网络；

所述神经网络在训练或识别的过程中包括利用粒子群算法优化BP网络的步骤，在可行解区域和速度区间随机初始化每个粒子的初始位置和初始速度，其中粒子的位置代表问题的一个可行解；假设种群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，…，x_id)，其对应的飞行速度为v_i=(v_i1，v_i2，…，v_id)和该粒子至今搜索到的最好位置为P_i=(p_i1，p_i2，…，p_id)，所有粒子搜索到的最好位置为P_g=(p_g1，p_g2，…，p_gd)；则标准粒子群算法的速度-位移更新公式如下：

$v_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(p_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})---\left(6\right)$

$x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}---\left(7\right)$

其中，v_id表示第i个粒子的第d维速度分量；w为惯性权重；t为迭代次数；c₁、c₂为学习因子；r₁和r₂为(0,1)之间均匀分布的随机数；

所述利用粒子群算法优化BP网络的步骤中包括动态调整粒子惯性权重的步骤：

w＝f(e,ec)＝f₁(e)+f₂(ec)  (1)

ec＝e(t)-e(t-1)(2)

其中，惯性权重w是粒子群算法的全局寻优和局部寻优的平衡系数，e为粒子的适应值，e为粒子的变化率；f₁和f₂分别为：

$f_1\left(x_1\right)=k_1\×[1-e^{-{\left(\frac{x_1}{b_1}\right)}^2}]---\left(3\right)$

$f_2\left(x_2\right)=k_2\×e^{-{\left(\frac{x_2}{b_2}\right)}^2}---\left(4\right)$

其中，k₁、k₂分别为比例因子调节曲线的上幅度、下幅度，b₁、b₂分别为权重因子调节曲线的左伸展、右伸展。

作为本发明的一种优选方案，设定k₁=1，k₂=0.1，b₁=0.2，b₂=2。

作为本发明的一种优选方案，为提高神经网络的泛化能力，采用均方误差的最小值作为适应值：

${\mathrm{Fitness}}_{\mathrm{PopIndex}}=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\mathrm{\Σ}}{(d_{\mathrm{ij}}-y_{\mathrm{ij}})}^2(\mathrm{PopIndex}=1~\mathrm{Max})---\left(11\right)$

其中，N为训练样本数；d_ij为第i个样本的第j个输出神经元的期望输出；y_ij第i个样本的第j个输出神经元的实际输出；Max为粒子种群规模。

本发明的有益效果在于：本发明提出的基于粒子群优化BP网络的人脸识别方法，同时依据粒子适应值及粒子适应值的变化量，实时调整粒子的惯性权重，使其能够较好的适应复杂的现实环境，加快了粒子的寻优能力，也有效的避免粒子陷入局部极值，使算法能够快速寻找到全局最优解，最终提高人脸识别的效率及精度。

附图说明

图1为现有人脸识别系统的流程图。

图2具有隐层和输出层的前馈型神经网络模型示意图。

图3为基本神经元模型示意图。

图4粒子位置更新示意图。

图5为神经网络对应的结构图。

图6为本发明识别方法的流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图6，本发明揭示了一种基于粒子群优化BP网络的人脸识别方法，所述方法包括：

图像经过预处理去除外界的干扰，为后续处理提供高质量的图像；经过预处理的图像信息通过选择不同的特征提取方式，将其信息通过映射变换，投影到特征空间，形成一个m×n的矩阵，每个参数对应一个特征；神经网络在训练或识别的过程中，其每一个特征对应神经网络一个输入节点，而输出节点等于类别数，一个输出节点对应一个类；

从而设计出一种全连接的BP网络，其中输入层神经元的个数对应为图像的特征数，输出层神经元个数为种群类别数，隐层神经元个数根据经验公式设定为

网络权值初始化为[0,1]之间的随机值，每个粒子对应一个神经网络；

所述神经网络在训练或识别的过程中包括利用粒子群算法优化BP网络的步骤，在可行解区域和速度区间随机初始化每个粒子的初始位置和初始速度，其中粒子的位置代表问题的一个可行解；假设种群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，…，x_id)，其对应的飞行速度为v_i=(v_i1，v_i2，…，v_id)和该粒子至今搜索到的最好位置为P_i=(p_i1，p_i2，…，p_id)，所有粒子搜索到的最好位置为P_g=(p_g1，p_g2，…，p_gd)；则标准粒子群算法的速度-位移更新公式如下：

$v_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(p_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})---\left(6\right)$

$x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}---\left(7\right)$

其中，v_id表示第i个粒子的第d维速度分量；w为惯性权重；t为迭代次数；c₁、c₂为学习因子；r₁和r₂为(0,1)之间均匀分布的随机数；

所述利用粒子群算法优化BP网络的步骤中包括动态调整粒子惯性权重的步骤：

w＝f(e,ec)＝f₁(e)+f₂(ec)  (1)

ec＝e(t)-e(t-1)  (2)

其中，惯性权重w是粒子群算法的全局寻优和局部寻优的平衡系数，e为粒子的适应值，e为粒子的变化率；f₁和f₂分别为：

$f_1\left(x_1\right)=k_1\×[1-e^{-{\left(\frac{x_1}{b_1}\right)}^2}]---\left(3\right)$

$f_2\left(x_2\right)=k_2\×e^{-{\left(\frac{x_2}{b_2}\right)}^2}---\left(4\right)$

其中，k₁、k₂分别为比例因子调节曲线的上幅度、下幅度，b₁、b₂分别为权重因子调节曲线的左伸展、右伸展。本实施例中，设定k₁=1，k₂=0.1，b₁=0.2，b₂=2。

本实施例中，为了提高神经网络的泛化能力，在网络拟合能力足够强的情况下，给训练样本增加一个合理的约束条件，采用均方误差的最小值为适应值：

${\mathrm{Fitness}}_{\mathrm{PopIndex}}=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\mathrm{\Σ}}{(d_{\mathrm{ij}}-y_{\mathrm{ij}})}^2(\mathrm{PopIndex}=1~\mathrm{Max})---\left(11\right)$

其中，N为训练样本数；d_ij为第i个样本的第j个输出神经元的期望输出；y_ij第i个样本的第j个输出神经元的实际输出；Max为粒子种群规模。

实施例二

人脸识别技术是生物识别技术的一种，在人机交互、身份认证、视频通信等方面有极大的应用价值，是一个难度较大但具有广泛应用前景并已经取得了长足进步的研究领域。在基于几何特征、特征脸、弹性模板和神经网络等主要的人脸识别方法中，神经网络以其收敛速度快、拓扑结构紧凑、结构参数可以分离学习的性能优点，在人脸识别中得到了广泛的应用。

1.人脸识别系统

BP神经网络用于人脸识别需要先对输入图像进行预处理、图像特征提取然后就是进行BP网络训练，当网络训练好之后，用训练好的网络进行图像识别。

一个完整的人脸识别系统如图1所示，图像经过预处理去除或者外界的干扰，为后续处理提供了高质量的图像。经过预处理的图像信息通过选择不同的特征提取方式，将其信息通过映射变换，投影到特征空间，从而形成一个m×n的矩阵，每个参数对应一个特征。神经网络在训练或识别的过程中，其每一个特征对应神经网络一个输入节点，而输出节点等于类别数，一个输出节点对应一个类。

2.改进的粒子群算法对BP网络的优化

2.1BP神经网络

典型的前馈型网络是一种具有三层或三层以上结构的无反馈、层内无连接结构的神经网络，图2是一个典型具有一个隐层和一个输出层的前馈型神经网络模型。

其中首尾两层分别称为输入层和输出层，中间各层称为隐含层(也称中间层)。前馈神经网络采用有指导的学习方式进行训练和学习，即当输入数据进入前馈网络后，经过隐含层神经元向输出层传播，从输出层的神经元获得网络的实际输出。

作为人工神经网络的基本单元的神经元模型，它有三个基本要素，如图3所示：

(1)一组连接(对应于生物神经元的突触)，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

(2)一个求和单元，用于求取各输入信号的加权和(线性组合)。

(3)一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内(一般限制在(0,1)或(-1,1)之间)。

此外还有一个阈值θ_k(或偏置b_k＝-θ_k)。

以上工作可以用数学表示式表示为：

$u_k=\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{w}_{\mathrm{kj}}{x}_j---\left(1\right)$

v_k＝net_k＝u_k-θ_k  (2)

式中x₁,x₂,…,x_k为输入信号，w_k1,w_k2,…,w_kp为神经元k的权值，u_k为线性组合权值，θ_k为阈值，

为激活函数，y_k为神经元k的实际输出。

激活函数设为Sigmoid函数：

若把输入的维数增加一维，则可把阈值θ_k包括进去，则

$u_k=\underset{j=0}{\overset{p}{\mathrm{\Σ}}}{w}_{\mathrm{kj}}{x}_j---\left(5\right)$

此处增加了一个新的连接，其输入为x₀＝-1(或+1)，权值为w_k0＝θ_k(或b_k)。

2.2基本粒子群算法

对于粒子群算法，首先在可行解区域和速度区间随机初始化每个粒子的初始位置和初始速度，其中粒子的位置代表问题的一个可行解。假设种群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，…，x_id)，其对应的飞行速度为v_i=(v_i1，v_i2，…，v_id)和该粒子至今搜索到的最好位置为P_i=(p_i1，p_i2，…，p_id)，所有粒子搜索到的最好位置为P_g=(p_g1，p_g2，…，p_gd)。则标准粒子群算法的速度-位移更新公式如下：

$v_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(p_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})---\left(6\right)$

$x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}---\left(7\right)$

式中，v_id表示第i个粒子的第d维速度分量；w为惯性权重；t为迭代次数；c₁、c₂为学习因子；r₁和r₂为(0,1)之间均匀分布的随机数。

从(6)式所描述的速度公式可以看出，粒子位置在每一代的更新公式可由图4表示。

参数的选择是粒子群算法一个很重要的问题，在问题解空间内选择合适的参数对算法的性能有很直接的影响。粒子群算法的搜索性能很大程度上依赖于算法的控制参数，包括惯性权因子、加速因子等。

1.惯性权重w

参数w用于平衡算法的全局搜索能力与局部搜索能力，如何构造一个惯性权重的自适应调整模型很值得研究。当w较大时，粒子易于跳出局部极值，有利于算法全局寻优；当w较小时有利于算法的局部寻优，加速收敛。

2.学习因子：c₁和c₂

学习因子c₁和c₂与惯性权重w的作用相同，也能够有效的调节粒子的全局和局部搜索能力，c₁和c₂分别用于控制粒子飞向自身经验和社会经验方向的步长。学习因子与惯性权重不同在于：学习因子越大，越有利于粒子局部搜索能力；学习因子越小，粒子全局搜索能力越强。在实际应用中，c₁和c₂通常设定为2。

2.3改进粒子群算法

通过分析基本粒子群算法，我们可以知道粒子寻优效率的好坏，很大程度上取决于惯性权值的设定。本发明设计出一种根据粒子寻优效果实时调整粒子的惯性权重的方法，使其能够较好的适应复杂的现实环境，加快了粒子的寻优能力，也有效的避免粒子陷入局部极值，使算法能够快速寻找到全局最优解。

本发明同时提供一种提高粒子群算法寻优效率的方法，所述方法包括动态调整粒子惯性权重：

w＝f(e,ec)＝f₁(e)+f₂(ec)  (17)

ec＝e(t)-e(t-1)  (8)

其中，惯性权重w是粒子群算法的全局寻优和局部寻优的平衡系数，e为粒子的适应值，e为粒子的变化率；f₁和f₂分别为：

$f_1\left(x_1\right)=k_1\×[1-e^{-{\left(\frac{x_1}{b_1}\right)}^2}]---\left(9\right)$

$f_2\left(x_2\right)=k_2\×e^{-{\left(\frac{x_2}{b_2}\right)}^2}---\left(10\right)$

其中，k₁、k₂分别为比例因子调节曲线的上幅度、下幅度，b₁、b₂分别为权重因子调节曲线的左伸展、右伸展。本实施例中，设定k₁=1，k₂=0.1，b₁=0.2，b₂=2。

2.4改进粒子群算法优化BP神经网络

2.4.1粒子编码

应用PSO同时优化三层前馈网络的关键之一，是如何将网络编码为PSO搜索空间中的一个粒子。

图5为神经网络对应的结构图。其中，L为输入层节点个数，对应于图像的特征数；N为隐层节点个数；M为输出层节点个数，对应于种群类别数。隐层神经元的个数对网络的识别能力的优劣有很大的影响，根据经验公式的结果最优，从而设计一种如表1粒子编码方式particle(u,v)。

表1粒子编码表

其中u为输入层与隐层之间的连接权值，v为隐层与输出层之间的连接权值。u和v的初始值为[0,1]之间的随机值。

2.4.2粒子目标函数

前馈网络优化的最终目的是提高网络的学习和泛化能力。为了提高神经网络的泛化能力，本文以均方误差的最小值作为适应值

${\mathrm{Fitness}}_{\mathrm{PopIndex}}=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\mathrm{\Σ}}{(d_{\mathrm{ij}}-y_{\mathrm{ij}})}^2(\mathrm{PopIndex}=1~\mathrm{Max})---\left(11\right)$

其中，N为训练样本数；d_ij为第i个样本的第j个输出神经元的期望输出；y_ij第i个样本的第j个输出神经元的实际输出；Max为粒子种群规模。

2.4.3网络优化

每一个粒子对应一个BP网络，粒子的位置对应于BP网络的权值，粒子在全局最优和自身最优值为引导，以公式6,7不断的进化，直到得到设定的循环代数（1000）和预设的精度0.001为停止条件。

本发明提出了基于改进粒子群算法优化BP网络在人脸识别方面的应用。依据粒子适应值及粒子适应值的变化量，实时调整粒子的惯性权重，使其能够较好的适应复杂的现实环境，加快了粒子的寻优能力，也有效的避免粒子陷入局部极值，使算法能够快速寻找到最优的BP网络，从而能够提高人脸识别的准确性。

综上所述，本发明提出的提高粒子群算法寻优效率的方法，同时依据粒子适应值及粒子适应值的变化量，实时调整粒子的惯性权重，使其能够较好的适应复杂的现实环境，加快了粒子的寻优能力，也有效的避免粒子陷入局部极值，使算法能够快速寻找到全局最优解。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (3)

1.一种基于粒子群优化BP网络的人脸识别方法，其特征在于，所述方法包括：

图像经过预处理去除外界的干扰，为后续处理提供高质量的图像；经过预处理的图像信息通过选择不同的特征提取方式，将其信息通过映射变换，投影到特征空间，形成一个m×n的矩阵，每个参数对应一个特征；神经网络在训练或识别的过程中，其每一个特征对应神经网络一个输入节点，而输出节点等于类别数，一个输出节点对应一个类；

从而设计出一种全连接的BP网络，其中输入层神经元的个数对应为图像的特征数，输出层神经元个数为种群类别数，隐层神经元个数设定为

网络权值初始化为[0,1]之间的随机值，每个粒子对应一个神经网络；

所述神经网络在训练或识别的过程中包括利用粒子群算法优化BP网络的步骤，在可行解区域和速度区间随机初始化每个粒子的初始位置和初始速度，其中粒子的位置代表问题的一个可行解；假设种群中第i个粒子在d维空间中的位置为x_i=(x_i1，x_i2，…，x_id)，其对应的飞行速度为v_i=(v_i1，v_i2，…，v_id)和该粒子至今搜索到的最好位置为P_i=(p_i1，p_i2，…，p_id)，所有粒子搜索到的最好位置为P_g=(p_g1，p_g2，…，p_gd)；则标准粒子群算法的速度-位移更新公式如下：

$v_{\mathrm{id}}^{(t+1)}=w\·v_{\mathrm{id}}^{\left(t\right)}+c_1\·r_1\·(P_{\mathrm{id}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})+c_2\·r_2\·(p_{\mathrm{gd}}^{\left(t\right)}-x_{\mathrm{id}}^{\left(t\right)})---\left(6\right)$

$x_{\mathrm{id}}^{(t+1)}=x_{\mathrm{id}}^{\left(t\right)}+v_{\mathrm{id}}^{(t+1)}---\left(7\right)$

其中，v_id表示第i个粒子的第d维速度分量；w为惯性权重；t为迭代次数；c₁、c₂为学习因子；r₁和r₂为(0,1)之间均匀分布的随机数；

所述利用粒子群算法优化BP网络的步骤中包括动态调整粒子惯性权重的步骤：

w＝f(e,ec)＝f₁(e)+f₂(ec)  (1)

ec＝e(t)-e(t-1)  (2)

其中，惯性权重w是粒子群算法的全局寻优和局部寻优的平衡系数，e为粒子的适应值，e为粒子的变化率；f₁和f₂分别为：

$f_1\left(x_1\right)=k_1\×[1-e^{-{\left(\frac{x_1}{b_1}\right)}^2}]---\left(3\right)$

$f_2\left(x_2\right)=k_2\×e^{-{\left(\frac{x_2}{b_2}\right)}^2}---\left(4\right)$

其中，k₁、k₂分别为比例因子调节曲线的上幅度、下幅度，b₁、b₂分别为权重因子调节曲线的左伸展、右伸展。

2.根据权利要求1所述的基于粒子群优化BP网络的人脸识别方法，其特征在于：

设定k₁=1，k₂=0.1，b₁=0.2，b₂=2。

3.根据权利要求1所述的基于粒子群优化BP网络的人脸识别方法，其特征在于：

为了提高神经网络的泛化能力，采用均方误差的最小值作为适应值：

${\mathrm{Fitness}}_{\mathrm{PopIndex}}=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\mathrm{\Σ}}{(d_{\mathrm{ij}}-y_{\mathrm{ij}})}^2(\mathrm{PopIndex}=1~\mathrm{Max})---\left(11\right)$

其中，N为训练样本数；d_ij为第i个样本的第j个输出神经元的期望输出；y_ij第i个样本的第j个输出神经元的实际输出；Max为粒子种群规模。

Images