CN105590175A - 一种基于因子分析与bp神经网络的技能人才评价方法 - Google Patents

Abstract

本发明公开了一种基于因子分析与BP神经网络的技能人才评价方法，采集与技能人才评价有关的评价指标数据，构建全量数据集；将全量数据集中的字符型变量变换为数值型变量，然后用Sigmoid函数将数值型变量取值映射到[0,1]区间；将上述评价指标用因子分析法确定参与人才评价建模的评价指标或评价指标组合；用Sigmoid函数处理之后作为BP神经网络的输入向量，BP神经网络的任务是经过训练后，实现对技能人才的评价；其中采用多个BP神经网络分别训练不同类别样本的策略，并采用L-M优化算法代替梯度下降法。本发明节约了人才评价成本，提高了人力资源工作的效率，使得人才评价更具客观性与准确性。

Description

一种基于因子分析与BP神经网络的技能人才评价方法

技术领域

本发明涉及一种评价方法，具体是一种基于因子分析与BP神经网络的技能人才评价方法。

背景技术

技能人才作为科技人才的一部分对企业的日常运作来说是不可或缺的，对技术密集型企业的发展至关重要，是电网行业的重要支撑。科学的人才评价体系也是人才资源有效开发的前提和开展人事人才工作的基础。长久以来，技术人才的评价更多地局限于职业技能鉴定和竞赛比武。技术技能人才的评价选拔存在“标准单一、忽视员工潜能发挥等缺点。”要全面评价技能人才，不仅需要针对技能人才建立一套全面的评价指标体系，还需要设计配套的评价模型。

现有的人才评价方法是以层次分析法为基础，聘请相关专家对人才评价指标进行评定，在建立评价模型时通过确定各指标权重得出人才评价结果，这是线性评价模型，一方面聘请行业内经验丰富的专家对指标进行评定，成本较高，且效率低，周期长。另一个方面，这种方法不够客观，具有一定主观性，准确度有待提升。以BP神经网络为代表的技术模型往往也是基于层次分析法，在数据的采集与选择上不够客观，数据预处理不充分或是训练方法的问题，导致模型准确度不够理想。

发明内容

本发明的目的在于提供一种基于因子分析与BP神经网络的技能人才评价方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于因子分析与BP神经网络的技能人才评价方法，步骤如下：

一、相关数据采集：

采集与技能人才评价有关的评价指标数据，构建全量数据集；全量数据集中包含基本数据、考评数据与行为数据，基本数据包括人口统计学信息、教育信息、在职信息，考评数据包括绩效考核、专业技能考核、评价数据，行为数据包括考勤数据与工作数据；

二、数据预处理

为了便于评价指标选择的计算，并规范化为BP神经网络的输入要求，将全量数据集中的字符型变量变换为数值型变量，然后用Sigmoid函数将数值型变量取值映射到[0,1]区间；通过引入模糊语言变量将评价指标进行模糊量化；若A为实数域上的模糊集，其三角形隶属度函数如式(1)：

则A(x)表示隶属度值取值范围[0,1]；用同样方法可以将其他评价指标模糊量化；缺失值用该变量取值的中位数代替；

三、评价指标确定

将上述评价指标用因子分析法确定参与人才评价建模的评价指标或评价指标组合；因子分析法的实现过程如下：

假设X_i(i＝1,2,…,p)表示人才评价的初始评价指标，表达式如(2)-(3)所示，其中m≤p：

X_i＝μ_i+a_i1F₁+…+a_imF_m+ε_i(2)

$\left[\begin{array}{c}{X}_1\\ X_2\\ .\\ .\\ .\\ X_p\end{array}\right]=\left[\begin{array}{c}{\mathrm{\μ}}_1\\ {\mathrm{\μ}}_2\\ .\\ .\\ .\\ {\mathrm{\μ}}_p\end{array}\right]+\left[\begin{array}{cccc}{\mathrm{\α}}_{11}& {\mathrm{\α}}_{12}& ...& {\mathrm{\α}}_{1m}\\ {\mathrm{\α}}_{21}& {\mathrm{\α}}_{22}& ...& {\mathrm{\α}}_{2m}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ {\mathrm{\α}}_{p1}& {\mathrm{\α}}_{p2}& ...& {\mathrm{\α}}_{pm}\end{array}\right]\left[\begin{array}{c}{F}_1\\ F_2\\ .\\ .\\ .\\ F_m\end{array}\right]+\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ .\\ .\\ .\\ {\mathrm{\ϵ}}_p\end{array}\right]---\left(3\right)$

则F₁，F₂，…，F_m为公共因子，是不可观测的变量，代表各初始人才评价指标潜在的共性，其系数为因子载荷；ε_i是特殊因子，它不被前m个公共因子包含；并且满足如下条件：F₁，F₂，…，F_m不相关，方差为1，F，ε不相关；即：

cov(F，ε)＝0

四、训练BP神经网络

技能人才评价是一种非线性过程，BP神经网络则能有效地拟合这种过程，完成输入层到输出层的非线性映射；由因子分析法确定的评价指标代表了与技能人才评价相关的全量数据，用Sigmoid函数处理之后作为BP神经网络的输入向量，BP神经网络的任务是经过训练后，实现对技能人才的评价；其中采用多个BP神经网络分别训练不同类别样本的策略，并采用L-M优化算法代替梯度下降法。

作为本发明进一步的方案：步骤一中人口统计学信息包括年龄、籍贯、血型，教育信息包括学历、毕业院校、专业，在职信息包括工龄、职务级别、专业技术资格等级；绩效考核包括ABCD分级、表扬立功情况、考核得分，专业技能考核包括笔试得分、实操测试，评价数据包括素质笔试、性格倾向测试、业绩同行评议、实例答辩；考勤数据包括平均在职时间、月请假次数，工作数据包括平均作业效率与完成情况。

作为本发明进一步的方案：步骤四中的训练过程，如下所述：

1)定义变量

输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元；定义输入向量x＝(x₁，x₂，…，x_n)；隐含层输入向量hi＝(hi₁，hi₂，…，hi_p)；隐含层输出向量ho＝(ho₁，ho₂，…，ho_p)；输出层输入向量yi＝(yi₁，yi₂，…，yi_q)；输出层输出向量yo＝(yo₁，yo₂，…，yi_q)；期望输出向量do＝(do₁，do₂，…，do_q)；输入层与隐含层连接权值：w_ih，隐含层与输出层连接权值：w_ho，隐含层各神经元阈值：b_h，输出层各神经元的阈值：b_o；样本个数k＝1，2，…，m；激活函数f(·)；

2)网络初始化

给各连接权值分别赋区间(0，1)内的随机数，确定误差函数E，给定计算精度ε和最大学习次数M；

3)选取k个输入样本及对应期望输出向量，如公式(4)-(5)；计算隐含层各神经元输入向量和输出向量，如公式(6)-(9)；

x(k)＝(x₁(k)，x₂(k)，…，x_n(k))(4)

d_o(k)＝(d₁(k)，d₂(k)，…，d_q(k))(5)

隐含层和输出层：

${\mathrm{hi}}_h\left(k\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{ih}{x}_i\left(k\right)-b_h,h=1,2,\mathrm{...},p$ (6)

ho_h(k)＝f(hi_h(k))h＝1，2，…，p(7)

${\mathrm{yi}}_o\left(k\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{w}_{ho}{\mathrm{ho}}_h\left(k\right)-b_o,o=1,2,\mathrm{...},q---\left(8\right)$

yo_o(k)＝f(yi_o(k))o＝1，2，…，q(9)

4)利用网络期望输出向量和实际输出向量，计算误差函数；

如公式(10)，误差函数为：

$E\left(w\right)=\frac{1}{2}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\left|\right|D_o-Y_o|{|}^2=\frac{1}{2}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{e}_i^2\left(w\right)---\left(10\right)$

式中：D_o为期望的输出向量；Y_O为实际的输出向量；k是样本数目；w是网络权值和阈值组成的向量；e_i(w)为误差；

设w^k表示第k次迭代的权值和阈值所组成的向量，新的权值和阈值所组成的向量w^k+1为w^k+1＝w^k+Δw；根据L-M优化算法，权值增量Δw计算公式如公式(11)：

Δw＝[J^T(w)J(w)+μI]^-1J^T(w)e(w)(11)

其中，I为单位矩阵；μ为学习率；J(w)为Jacobian矩阵，如公式(12)：

采用L-M优化算法调整权值向量的计算步骤如下：

5)给出训练误差允许值ε，常数μ₀和β(0＜β＜1)，初始化权值和阈值向量，令k＝0，μ＝μ₀；

6)计算步骤3)中网络输出向量及误差函数E(w^k)；

7)计算Jacobian矩阵：J(w^k)；

8)计算Δw；

9)以w^k+1＝w^k+Δw为权值和阈值向量，计算误差函数E(w^k+1)，若E(w^k+1)＜E(w^k)，则令k＝k+1，μ＝μβ，转到步骤2)，否则μ＝μ/β，转到步骤4)；

10)若E(w^k)＜ε，L-M优化算法算法结束。

与现有技术相比，本发明的有益效果是：

本发明在数据的采集上，基于技能人才概念及企业具体情况，尽可能多地涵盖所有相关方面的数据，即全量数据。在此基础上用因子分析法对数据进行筛选组合，在保证筛选后的变量涵盖了技能人才评价所需的信息基础上，精简了人才评价指标，这种方式构建的评价指标体系不需要专家的参与，一方面节约了成本，另一方面提高了效率也使得评价更加客观。同时减少了后续BP神经网络模型的输入噪声，一定程度上提高了准确度。在BP神经网络训练算法中，采用L-M优化算法代替传统的误差梯度下降法，提高了训练效率。

总之，相较于传统方法，该评价模型更加准确客观，提升了人力资源部门的工作效率。为今后企业各个部门各类人才的评价、评级提供了较为科学有效的决策方法，同时为人才的引进与管理提供依据，为制定相关人才的发展战略提供决策参考。

附图说明

图1是三角形隶属度函数示意图；

图2是训练BP神经网络的模型结构图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例中，一种基于因子分析与BP神经网络的技能人才评价方法，步骤如下：

1.相关数据采集：

作为高风险、高投入的技术密集型企业，以云南电网公司为例。要想客观高效地构建技能人才评价系统，体现大数据技术在该领域应用的优势，就必须尽可能多地采集相关数据，进而通过一定的技术方法找出对人才评价有潜在影响的评价指标。为了避免遗漏并保证数据采集的系统性，将与技能人才评价有关的数据进行分类，简要示例见表1。采集的初始数据应基本涵盖对人才评价有影响的因素，从而构建全量数据集。

表1

2.数据预处理

为了便于评价指标选择的计算，并规范化为BP神经网络的输入要求，这里将字符型变量变换为数值型变量，然后用S(Sigmoid)函数将变量取值映射到[0,1]区间。通过引入模糊语言变量将评价指标进行量化。若A为实数域上的模糊集，其三角形隶属度函数如式(1)：

则A(x)表示隶属度值取值范围[0,1]。例如：表1中表扬立功情况评语集为“优、良、中、差”，若规定9次以上为优。则区间划分为(3,6,9)，其三角隶属度示意图如图1所示。

用同样方法可以将其他评价指标模糊量化。缺失值用该变量取值的中位数代替。根据现有的历史数据，每个样本数据均对应于一个评价等级。样本集基本涵盖了以往技能人才评价的全部信息，据此训练出的BP神经网络模型将能最大限度拟合人才评价的非线性过程，从而得到接近最优的评价结果。

3.评价指标确定

传统的评价体系构建往往是根据层次分析法(AHP)确定各个参与评价的评价指标。本发明初步建立的评价指标体系主要根据电力行业技能人才定义的内涵及外延采集全量范围的数据，提取变量后用因子分析法确定参与人才评价建模的评价指标或评价指标组合。经过因子分析，将能发现原始数据中的共性因子，挖掘潜在的对人才评价有较大影响的评价指标，并实现有效降维，从而降低了后面BP神经网络的结构复杂度，一定程度上提高了模型效率与精度。因子分析实现描述如下。

假设X_i(i＝1,2,…,p)表示人才评价的初始评价指标，表达式如(2)-(3)所示，其中m≤p：

X_i＝μ_i+a_i1F₁+…+a_imF_m+ε_i(2)

$\left[\begin{array}{c}{X}_1\\ X_2\\ .\\ .\\ .\\ X_p\end{array}\right]=\left[\begin{array}{c}{\mathrm{\μ}}_1\\ {\mathrm{\μ}}_2\\ .\\ .\\ .\\ {\mathrm{\μ}}_p\end{array}\right]+\left[\begin{array}{cccc}{\mathrm{\α}}_{11}& {\mathrm{\α}}_{12}& ...& {\mathrm{\α}}_{1m}\\ {\mathrm{\α}}_{21}& {\mathrm{\α}}_{22}& ...& {\mathrm{\α}}_{2m}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ {\mathrm{\α}}_{p1}& {\mathrm{\α}}_{p2}& ...& {\mathrm{\α}}_{pm}\end{array}\right]\left[\begin{array}{c}{F}_1\\ F_2\\ .\\ .\\ .\\ F_m\end{array}\right]+\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ .\\ .\\ .\\ {\mathrm{\ϵ}}_p\end{array}\right]---\left(3\right)$

则F₁，F₂，…，F_m为公共因子，是不可观测的变量，代表各初始人才评价指标潜在的共性，其系数为因子载荷。ε_i是特殊因子，它不被前m个公共因子包含。并且满足如下条件：F₁，F₂，…，F_m不相关，方差为1，F，ε不相关。即：

cov(F，ε)＝0

因子分析法把初始变量表示成各个因子的线性组合，可将现有的变量变成少数几个新的变量进入后续的BP神经网络学习，同时保证新变量几乎带有原来所有变量的信息，从而在有效降维的同时提高了评价模型的客观性与准确度。最终确定的参与模型评价的评价指标将由数据集决定。

4.训练BP神经网络

技能人才评价是一种典型的非线性过程，BP神经网络则能有效地拟合这种过程，完成输入层到输出层的非线性映射。由因子分析法确定的评价指标几乎代表了与技能人才评价相关的全量数据，用S函数处理之后可作为BP神经网络的输入向量，BP神经网络的任务是经过训练后，实现对技能人才的评价。其总体结构图如图2所示。为了简化BP神经网络结构，防止训练时间过长或陷入局部最优并出现过拟合现象，采用多个BP神经网络分别训练不同类别样本的策略，并采用L-M优化算法代替梯度下降法。

训练过程：

1)定义变量

输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元。定义输入向量x＝(x₁，x₂，…，x_n)；隐含层输入向量hi＝(hi₁，hi₂，…，hi_p)；隐含层输出向量ho＝(ho₁，ho₂，…，ho_p)；输出层输入向量yi＝(yi₁，yi₂，…，yi_q)；输出层输出向量yo＝(yo₁，yo₂，…，yi_q)；期望输出向量do＝(do₁，do₂，…，di_q)；输入层与隐含层连接权值：w_ih，隐含层与输出层连接权值：w_ho，隐含层各神经元阈值：b_h，输出层各神经元的阈值：b_o。样本个数k＝1，2，…，m；激活函数f(·)。

2)网络初始化

给各连接权值分别赋区间(0，1)内的随机数，确定误差函数E，给定计算精度ε和最大学习次数M。

3)选取k个输入样本及对应期望输出向量(已经过预处理)，如公式(4)-(5)；计算隐含层各神经元输入向量和输出向量，如公式(6)-(9)。

x(k)＝(x₁(k)，x₂(k)，…，x_n(k))(4)

d_o(k)＝(d₁(k)，d₂(k)，…，d_q(k))(5)

隐含层和输出层：

${\mathrm{hi}}_h\left(k\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{ih}{x}_i\left(k\right)-b_h,h=1,2,\mathrm{...},p---\left(6\right)$

ho_h(k)＝f(hi_h(k))h＝1，2，…，p(7)

${\mathrm{yi}}_o\left(k\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{w}_{ho}{\mathrm{ho}}_h\left(k\right)-b_o,o=1,2,\mathrm{...},q---\left(8\right)$

yo_o(k)＝f(yi_o(k))o＝1，2，…，q(9)

4)利用网络期望输出向量和实际输出向量，计算误差函数。

如公式(10)，误差函数为：

$E\left(w\right)=\frac{1}{2}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\left|\right|D_o-Y_o|{|}^2=\frac{1}{2}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{e}_i^2\left(w\right)---\left(10\right)$

式中：D_o为期望的输出向量；Y_O为实际的输出向量；k是样本数目；w是网络权值和阈值组成的向量；e_i(w)为误差。

设w^k表示第k次迭代的权值和阈值所组成的向量，新的权值和阈值所组成的向量w^k+1为w^k+1＝w^k+Δw。根据L-M优化算法，权值增量Δw计算公式如公式(11)：

Δw＝[J^T(w)J(w)+μI]^-1J^T(w)e(w)(11)

其中，I为单位矩阵；μ为学习率；J(w)为Jacobian矩阵，如公式(12)：

采用L-M优化算法调整权值向量的计算步骤如下：

5)给出训练误差允许值ε，常数μ₀和β(0＜β＜1)，初始化权值和阈值向量，令k＝0，μ＝μ₀；

6)计算步骤3)中网络输出向量及误差函数E(w^k)；

7)计算Jacobian矩阵：J(w^k)；

8)计算Δw

9)以w^k+1＝w^k+Δw为权值和阈值向量，计算误差函数E(w^k+1)，若E(w^k+1)＜E(w^k)，则令k＝k+1，μ＝μβ，转到步骤2)，否则μ＝μ/β，转到步骤4)。

10)若E(w^k)＜ε，算法结束；

通过以上步骤即可完成对BP神经网络模型的训练，在训练过程中采用L-M优化算法代替了传统的梯度下降法，提高了收敛速率与迭代效率。

本发明的优点：

1.节约了人才评价成本，提高了人力资源工作的效率。

2.使得人才评价更具客观性与准确性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于因子分析与BP神经网络的技能人才评价方法，其特征在于，步骤如下：

一、相关数据采集：

采集与技能人才评价有关的评价指标数据，构建全量数据集；全量数据集中包含基本数据、考评数据与行为数据，基本数据包括人口统计学信息、教育信息、在职信息，考评数据包括绩效考核、专业技能考核、评价数据，行为数据包括考勤数据与工作数据；

二、数据预处理

为了便于评价指标选择的计算，并规范化为BP神经网络的输入要求，将全量数据集中的字符型变量变换为数值型变量，然后用Sigmoid函数将数值型变量取值映射到[0,1]区间；通过引入模糊语言变量将评价指标进行模糊量化；若A为实数域上的模糊集，其三角形隶属度函数如式(1)：

则A(x)表示隶属度值取值范围[0,1]；用同样方法可以将其他评价指标模糊量化；缺失值用该变量取值的中位数代替；

三、评价指标确定

将上述评价指标用因子分析法确定参与人才评价建模的评价指标或评价指标组合；因子分析法的实现过程如下：

假设X_i(i＝1,2,…,p)表示人才评价的初始评价指标，表达式如(2)-(3)所示，其中m≤p：

X_i＝μ_i+a_i1F₁+...+a_imF_m+ε_i(2)

$\left[\begin{array}{c}{X}_1\\ X_2\\ \·\\ \·\\ \·\\ X_p\end{array}\right]=\left[\begin{array}{c}{\mathrm{\μ}}_1\\ {\mathrm{\μ}}_2\\ \·\\ \·\\ \·\\ {\mathrm{\μ}}_p\end{array}\right]+\left[\begin{array}{cccc}{\mathrm{\α}}_{11}& {\mathrm{\α}}_{12}& ...& {\mathrm{\α}}_{1m}\\ {\mathrm{\α}}_{21}& {\mathrm{\α}}_{22}& ...& {\mathrm{\α}}_{2m}\\ \·& \·& & \·\\ \·& \·& & \·\\ \·& \·& & \·\\ {\mathrm{\α}}_{p1}& {\mathrm{\α}}_{p2}& ...& {\mathrm{\α}}_{pm}\end{array}\right]\left[\begin{array}{c}{F}_1\\ F_2\\ \·\\ \·\\ \·\\ F_m\end{array}\right]+\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ \·\\ \·\\ \·\\ {\mathrm{\ϵ}}_p\end{array}\right]---\left(3\right)$

则F₁，F₂，...，F_m为公共因子，是不可观测的变量，代表各初始人才评价指标潜在的共性，其系数为因子载荷；ε_i是特殊因子，它不被前m个公共因子包含；并且满足如下条件：F₁，F₂，...，F_m不相关，方差为1，F，ε不相关；即：

cov(F，ε)＝0

四、训练BP神经网络

技能人才评价是一种非线性过程，BP神经网络则能有效地拟合这种过程，完成输入层到输出层的非线性映射；由因子分析法确定的评价指标代表了与技能人才评价相关的全量数据，用Sigmoid函数处理之后作为BP神经网络的输入向量，BP神经网络的任务是经过训练后，实现对技能人才的评价；其中采用多个BP神经网络分别训练不同类别样本的策略，并采用L-M优化算法代替梯度下降法。

2.根据权利要求1所述的基于因子分析与BP神经网络的技能人才评价方法，其特征在于，步骤一中人口统计学信息包括年龄、籍贯、血型，教育信息包括学历、毕业院校、专业，在职信息包括工龄、职务级别、专业技术资格等级；绩效考核包括ABCD分级、表扬立功情况、考核得分，专业技能考核包括笔试得分、实操测试，评价数据包括素质笔试、性格倾向测试、业绩同行评议、实例答辩；考勤数据包括平均在职时间、月请假次数，工作数据包括平均作业效率与完成情况。

3.根据权利要求1所述的基于因子分析与BP神经网络的技能人才评价方法，其特征在于，步骤四中的训练过程，如下所述：

1)定义变量

输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元；定义输入向量x＝(x₁，x₂，...，x_n)；隐含层输入向量hi＝(hi₁，hi₂，...，hi_p)；隐含层输出向量ho＝(ho₁，ho₂，...，ho_p)；输出层输入向量yi＝(yi₁，yi₂，...，yi_q)；输出层输出向量yo＝(yo₁，yo₂，...，yo_q)；期望输出向量do(do₁，do₂，...，do_q)；输入层与隐含层连接权值：w_ih，隐含层与输出层连接权值：w_ho，隐含层各神经元阈值：b_h，输出层各神经元的阈值：b_o；样本个数k＝1，2，...，m；激活函数f(·)；

2)网络初始化

给各连接权值分别赋区间(0，1)内的随机数，确定误差函数E，给定计算精度ε和最大学习次数M；

3)选取k个输入样本及对应期望输出向量，如公式(4)-(5)；计算隐含层各神经元输入向量和输出向量，如公式(6)-(9)；

x(k)＝(x₁(k)，x₂(k)，...，x_n(k))(4)

d_o(k)＝(d₁(k)，d₂(k)，...，d_q(k))(5)

隐含层和输出层：

${\mathrm{hi}}_h\left(k\right)=\underset{i=1}{\overset{n}{\Σ}}{w}_{ih}{x}_i\left(k\right)-b_h,h=1,2,...,p---\left(6\right)$

ho_h(k)＝f(hi_h(k))h＝1，2，...，p(7)

${\mathrm{yi}}_o\left(k\right)=\underset{i=1}{\overset{p}{\Σ}}{w}_{ho}{\mathrm{ho}}_h\left(k\right)-b_o,o=1,2,...,q---\left(8\right)$

yo_o(k)＝f(yi_o(k))o＝1，2，...，q(9)

4)利用网络期望输出向量和实际输出向量，计算误差函数；

如公式(10)，误差函数为：

$E\left(w\right)=\frac{1}{2}\underset{i=1}{\overset{k}{\Σ}}\left|\right|D_o-{\mathrm{\γ}}_o|{|}^2=\frac{1}{2}\underset{i=1}{\overset{k}{\Σ}}{e}_i^2\left(w\right)---\left(10\right)$

式中：D_o为期望的输出向量；Y_o为实际的输出向量；k是样本数目；w是网络权值和阈值组成的向量；e_i(w)为误差；

设w^k表示第k次迭代的权值和阈值所组成的向量，新的权值和阈值所组成的向量w^k+1为w^k+1＝w^k+Δw；根据L-M优化算法，权值增量Δw计算公式如公式(11)：

Δw＝[J^T(w)J(w)+μI]^-1J^T(w)e(w)(11)

其中，I为单位矩阵；μ为学习率；J(w)为Jacobian矩阵，如公式(12)：

采用L-M优化算法调整权值向量的计算步骤如下：

5)给出训练误差允许值ε，常数μ₀和β(0＜β＜1)，初始化权值和阈值向量，令k＝0，μ＝μ₀；

6)计算步骤3)中网络输出向量及误差函数E(w^k)；

7)计算Jacobian矩阵：J(w^k)；

8)计算Δw；

9)以w^k+1＝w^k+Δw为权值和阈值向量，计算误差函数E(w^k+1)，若E(w^k+1)＜E(w^k)，则令k＝k+1，μ＝μβ，转到步骤2)，否则μ＝μ/β，转到步骤4)；

10)若E(w^k)＜ε，L-M优化算法算法结束。