CN105913141A - 一种支持大数据的负荷预测方法 - Google Patents

Abstract

本发明提供了一种支持大数据的负荷预测方法。本发明在网络训练时，通过改进模拟退火算法根据测试误差反馈寻找最优信息熵比对原始输入矩阵经行维度压缩及最小样本集合半径后作为构建径向基神经元内核函数的参数。改进型模拟退火算法在全局优化时不宜陷入局域最优的基础上，实现了优化初始阶段全局寻优，优化过程后期局域寻优的优点，缩短了优化过程，提升了优化效率，增强了预测的准确度及泛化能力。

Description

一种支持大数据的负荷预测方法

技术领域

本发明一种支持大数据训练样本的负荷预测模型优化方法，属于人工智能技术领域。

背景技术

电力负荷预测是电力系统经济潮流规划的基石，准确的未来负荷预测对电网的优化调度起到了至关重要的作用，对减少电网的备用容量，降低电网投资有重要意义。随着《电改九号文》的出台，对用户侧的能源管理提出了新的指导意见。负荷预测从电网主干节点的用电预测拓展至单位更小的工厂、商业区、住宅区，甚至工业生产线、商业楼宇特定功能区域以及家庭。相比传统的负荷预测，主要影响因素不仅需考虑季节性、气象环境、预测日类型，还需考虑预测目标所特有负荷特征的影响因素，这些影响因素或可由预先认知知识获得，例如分时电价激励；也可选择一些影响权重未知的因素，例如机场的航班起降信息，航站楼的实时人口密度，等。小微化的预测区域使得负荷预测样本具大样本数据(Volume)、多样性(Variety)、真实性(Veracity)的特点，而负荷预测模型需具有处理以上数据的高速性(Velocity)和准确性。

1988年，Broomhead和Low在他们合作撰写的论文“Radial Basis Functions，Multi-Variable Functional Interpolation and Adaptive Networks”首次提出了径向基网络的理论模型。在之后的27年里，径向基网络广泛的运用在函数逼近、时间序列预测、分类、系统控制等领域，包括电力负荷预测模型中。

应用径向基网络预测电力负荷的具体流程如图1所示。首先将历史数据去奇异化，然后通过Max-Min法或Z-score法，将数据归一化：

$x_{i,norm}=\frac{x_i-\max \left(X\right)}{\max \left(X\right)-\min \left(X\right)}---\left(1\right)$

或

$x_{i,norm}=\frac{x_i-\mathrm{\μ}}{\mathrm{\σ}}---\left(2\right)$

在式(1)及式(2)中，x_i，norm是指一个归一化后的样本，max(X)、min(X)、μ、σ分别是所有样本中各因素最大值、最小值、均值、标准差的集合。

在归一化后，按照式(3)构建径向基神经元，将其与网络输出的线性回归系数作为网络的链接权重。将非线性关系通过输入空间低维至高维的转换变化为简单的线性关系，应用Moore-Penrose广义逆矩阵求解径向基神经元与预测目标的线性系数，确定连接权重，降低了学习的复杂性。

$g_{\mathrm{\σ}}(x_i,x_j)=e^{-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2}}---\left(3\right)$

式(3)中，g_σ(·)为高斯置换算子，x_i为输入样本，输入样本为1×m的向量，其纬度为m，输入样本共有n个，x_j为径向基，σ为扩散系数。经过映射后，输入空间从n×m变为一个n×(N+1)的矩阵，n+1＞＞m。

式(4)中，第一列元素等于1的向量为隐含层与输出层的偏置权重。最后线性求和层的权重W通过Moore-Penrose广义逆矩阵式(5)及(6)来求：

G·W＝Y (5)

W＝(G^TG)^-1G^TY (6)

预测值由下式求得：

$\hat{Y}=G\·W---\left(7\right)$

由于对训练样本没有事先聚类过程，将所有的样本直接作为径向基，径向基隐含层的输出为一n×(n+1)的矩阵，且径向基方程的扩散系数σ选取也由经验确定。这种方法在训练样本数较少时，加快了训练速度。然而在大数据环境下，基于径向基网络开发的预测模型需对4V样本数据进行学习，若采取这种方法，必然造成训练时间缓慢、精度不高的结果。

公开号为CN 104881706 A的发明专利申请涉及一种基于大数据技术的电力系统短期负荷预测方法，提出了对负荷根据形状特征分类，并对每一类建立基于支持向量机的负荷预测模型。通过分布式运算的概念，从形式分散了大训练样本对单一神经网络预测模型的计算压力。但对于某一类别中包含大量训练样本，另一类别中包含少量训练样本的预测事件，其创新点无法发挥其声明的作用。且技术中采用的支持向量机在计算最后线性权重时，需对n个训练样本的在n+1维的空间映射进行支持向量的寻优。此算法已被普遍认为不适合运用在大数据环境下。

公开号为CN 103488869的发明专利申请涉及一种最小二乘支持向量机的风力发电短期负荷预测方法，提出对负荷预测模型输入因数进行主成分分析，确定预测模型的输入主成分。这一种主成分分析的方法是不正确的，因为当对输入因素进行特征根值的信息熵贡献度排序后所得的变换矩阵实质上对原始输入数据中的信息进行压缩处理。当原始因素与转换矩阵相乘后得到新的降维后的输入矩阵并不能表征哪些因素是主成分，哪些是次要成分。只能表述转换后降维的输入矩阵包含了原输入矩阵中大部分的信息量，是一个压缩过程而不是主成分筛选的过程。技术中采用的支持向量机在使用最小二乘法计算最后线性权重时，需对n个训练样本的在n+1维的空间映射进行支持向量的寻优。此算法已被普遍认为不适合运用在大数据环境下。

申请号为201210390738.4的发明专利申请涉及一种需求响应下的短期负荷预测方法，也应用了支持向量机作为预测模型主体，在计算最后线性权重时，需对n个训练样本的在n+1维的空间映射进行支持向量的寻优。此算法已被普遍认为不适合运用在大数据环境下。

发明内容

本发明要解决的技术问题是：在大数据环境下，提高预测模型的训练时间及精度。

为了解决上述技术问题，本发明的技术方案是提供了一种支持大数据的负荷预测方法，其特征在于，包括以下步骤：

步骤1、利用傅里叶系数分解方法对负荷进行奇异值的剥离及插值估算；

步骤2、卡洛变换：

U＝X·W^T，式中，X为输入数据样本集合，大小为n×m；W为投影向量，U为变换后的输入数据；

步骤3、对变换后的输入样本数据进行归一化、随机化，生成训练样本；

步骤4、运用层次分裂分析算法对训练样本进行分类，将隐含层的大小从n×(n+1)的矩阵缩小为n×(k+1)的矩阵，k为分类后得到的集合数，k＜＜n；

步骤5、构建径向基网络隐含层；

步骤6、网络误差评估；

步骤7、误差反馈优化网络参数，在网络训练时，通过改进模拟退火算法根据测试误差反馈寻找最优信息熵比对原始输入矩阵经行维度压缩及最小样本集合半径后作为构建径向基神经元内核函数的参数。

优选地，在所述步骤7中，所述改进模拟退火算法包括以下步骤：

步骤7.1、设定迭代数i＝0、初始温度t₀、温度下降系数α，并生成包含N个随机解ω_0，1，ω_0，2，…，ω_0，N的初始解集合Ω₀，则有：

${\mathrm{\Ω}}_0=\left[\begin{array}{c}{\mathrm{\ω}}_{0,1}\\ {\mathrm{\ω}}_{0,2}\\ ...\\ {\mathrm{\ω}}_{0,N}\end{array}\right];$

步骤7.2、计算能量值E₀，有：

式中，ω_0，1，ω_0，2，…，ω_0，N为e_0，1，e_0，2，…，e_0，N对应的解，将初始最小能量值作为目前网络最优表现，记为e_best，0，e_best，0所对应的解作为目前最优解，记做ω_best，0；

步骤7.3、i＝i+1，t_i＝α·t_i-1，t_i为第i次迭代的温度，t_i-1为第i-1次迭代的温度，进入下一次迭代过程；

步骤7.4、运用改进的变异方程计算第i次迭代的集合Ω_i，则集合Ω_i中第i个元素ω_i，n为：

式中：

$\mathrm{\Δ}(n,{\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{i-1,n})=({\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{i-1,n})\·(1-r^{{(1-\frac{n}{N})}^b});$

$\mathrm{\Δ}(n,{\mathrm{\ω}}_{i-1,n}-{\mathrm{\ω}}_{\min })=({\mathrm{\ω}}_{i-1,n}-{\mathrm{\ω}}_{\min })\·(1-r^{{(1-\frac{n}{N})}^b});$

n为该解在解集中的序号；b为不均匀随机系数；r是均匀分布随机数，r∈[0，1]，η是一个均等概率的随机整数；ω_max＝[ρ＝1，r′＝max(R)]，ρ为卡洛变换信息量的比例，r′为分类时集合最小半径，max(R)为最大的训练数据样本间的距离；ω_min＝[ρ＝0，r′＝min(R)]，min(R)为最小的训练数据样本间的距离；

步骤7.5、生成解集Ω_i，并计算能量值E_i，有：

${\mathrm{\Ω}}_i=\left[\begin{array}{c}{\mathrm{\ω}}_{i,1}\\ {\mathrm{\ω}}_{i,2}\\ ...\\ {\mathrm{\ω}}_{i,N}\end{array}\right];$

$E_i=\left[\begin{array}{c}{e}_{i,1}\\ e_{i,2}\\ ...\\ e_{i,N}\end{array}\right];$

步骤7.6、若最小能量值min(E_i)＜e_best，0，则e_best，i＝min(E_i)，e_best，i为第i次迭代最小能量值，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若min(E_i)≥e_best，0，则下式决定是否将E_i所对应的ω_i，n作为最优解：

式中，k为Boltzmann系数，p为随机数，0≤p≤1，若上式成立，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若不成立，则返回步骤7.4重新生成解集；

步骤7.7、当温度t_i下降至0，或循环到达最大迭代次数时，网络优化中止，此时的ω_best，i为全局最优解，e_best，i为全局最优网络表现。

在设计支持大数据的负荷预测模型时，需考虑大量、高维数据在记录、存储时由于各种原因造成的数据奇异及数据丢失。本发明使用傅里叶系数分解方法对负荷进行奇异值的剥离及对丢失数据进行插值估算，降低误差样本对网络训练的干扰。输入因素的选择由于负荷预测的场合、类型、用途不同而差异很大，由于对待预测负荷的成因无法进行系统的定性、定量分析，为了避免重要输入因素的遗漏，对输入因素的选取往往宁滥勿缺，使得输入样本具有高维度的特征。本发明使用卡洛变换，在样本信息损失(信息熵比)可控的情况下，降低样本的维度，有效的减少在训练或测试阶段对运算能力的需求。将输入样本的取值范围归一化，避免不同的量纲影响网络学习；对输入样本的排列做随机化处理，避免神经网络将排列顺序作为潜在的因果关系进行学习。

在构建径向基网络隐含层时，使用分裂分类算法，将输入样本分类，将隐含层的大小从n×(n+1)的矩阵缩小为n×(k+1)的矩阵，n为样本数，k为集合数，k＜＜n。在求解隐含层与输出层的线性权重时提高了运算效率，提高了预测网络对于大数据训练样本的运算能力。

在网络训练时，通过改进模拟退火算法根据测试误差反馈寻找最优信息熵比对原始输入矩阵经行维度压缩及最小样本集合半径后作为构建径向基神经元内核函数的参数。改进型模拟退火算法在全局优化时不宜陷入局域最优的基础上，实现了优化初始阶段全局寻优，优化过程后期局域寻优的优点，缩短了了优化过程，提升了优化效率，增强了预测的准确度及泛化能力。

附图说明

图1为径向基网络训练流程；

图2为本发明的优化方案流程图；

图3为使用傅里叶系数分解法光滑后的原始负荷数据；

图4为使用傅里叶系数分解法光滑后分离出的随机负荷数据；

图5为预测模型预测数据与原始数据的对比表现(全局)；

图6为预测模型预测数据与原始数据的对比表现(一天)。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

结合图2，本发明提供了一种支持大数据的负荷预测方法，包括以下步骤：

步骤一：傅里叶系数分解方法对负荷进行奇异值的剥离及插值估算(本方法引用自发明人2008年12月发表的硕士论文，A hybrid neural network architecture forpower system load forecasting)

通过观察历史数据的趋势及峰谷特征并通过傅里叶系数分解原始数据再重组的方法来对热负荷建模。负荷曲线Load可分解为基值Load_base、增量Load_growth及周期性分量Load_Periodic，见式(8)。

Load＝Load_base+Load_growth+Load_Periodic (8)

式(8)可改写如下的矩阵形式：

L＝W*X (9)

其中

$W=\left[\begin{array}{c}{b}_1\\ b_2\\ .\\ .\\ .\\ b_{2n+1}\end{array}\right]---\left(11\right)$

式(10)及式(11)中，ω₀为基波角频率，b₁为基荷，b₂为线性增长率，b₃…b_2n+1为谐波分量的系数。所以系数矩阵W可由式(12)求得：

W＝pinv(X)·L (12)，在式(12)中，pinv(X)表示矩阵X的伪逆矩阵。

负荷模型可由式(13)所得

$\hat{L}=W*X---\left(13\right).$

步骤二：卡洛变换(本方法引用自发明人2008年12月发表的硕士论文，A hybridneural network architecture for power system load forecasting)

卡洛变换如下：

U＝X·W^T (14)

式(14)中，X为输入数据样本集合，大小为n×m；W为投影向量；U为变换后的输入数据。在投射过程中U应保留原数据集中绝大部分的方差信息。计算X协方差矩阵Λ的特征向量[e₁，e₂，...，e_m]，定义ρ为信息熵的比例值，一般取0.9-0.95。

$\mathrm{\ρ}=\frac{\underset{i=1}{\overset{d}{\Σ}}{e}_i}{\underset{i=1}{\overset{m}{\Σ}}{e}_i}---\left(15\right)$

式(15)中，d表示前d维因素所含的信息熵值占所有m维因素信息熵值的90％-95％。

将特征值有大到小排列后存入向量E，投影向量W由下式获得：

W＝E^T， (16)

步骤三：历史数据样本归一化、随机化(通用神经网络预测模型步骤)

Max-Min法：

$x_{norm}=\frac{x-min\left(X\right)}{\max \left(X\right)-min\left(X\right)}---\left(17\right)$

Z-score法：

$x_{norm}=\frac{x-\mathrm{\μ}}{\mathrm{\σ}}---\left(18\right)$

式(17)及式(18)中x为数据样本，x_norm为归一化后的数据样本，max(X)、min(X)为样本集中的最大、最小数据，μ为样本平均值，σ为样本标准差。

随机化：

假设训练样本数为n，随机生成一数列N，max(N)＝n，min(N)＝1，且N(i)≠N(j)。将X矩阵以新的随机序列N赋值于X，X＝X[N，：]。

步骤四：运用层次分裂分析算法(Divisive Analysis，DIANA)对训练样本进行分类.(本方法引用自发明人2008年12月发表的硕士论文，A hybrid neural networkarchitecture for power system load forecasting)

首先定义最小集合半径r，并将所有样本视为一个集合。初始阶段，计算所有样本间的相对距离，并找出相对距离最远的两个样本。将这两个样本定义为新的集合中心，其他样本根据与新集合中心的相对距离进行分类。根据上述步骤对半径最大集合进行分裂，当下一次集合分裂半径小于预先定义的最小集合半径时，分裂停止。计算各集合中心C_i，及集合半径σ_i

步骤五：构建径向基网络隐含层(本方法引用自发明人2008年12月发表的硕士论文，A hybrid neural network architecture for power system load forecasting)内核方程修改为：

$g_{\mathrm{\σ}}(x_i,C_j)=e^{-\frac{\left|\right|x_i-C_j|{|}^2}{2{{\mathrm{\σ}}_j}^2}}---\left(19\right)$

式(19)中，x_i为输入样本，1×m，m为样本维度n为样本数；C_j为j_th样本集合中心，j∈[1，k]；σ_j为最j_th样本集合扩散系数。经过映射后，输入空间从n×m变为一个n×(k+1)的矩阵，n+1＞＞k+1＞＞m。

G·W＝Y (21)

W＝(G^TG)^-1G^TY (22)

预测值由下式求得：

$\hat{Y}=G\·W---\left(23\right)$

步骤六：网络误差评估(现阶段国际常用神经网络预测评价函数)

选用平均绝对百分误差(Mean Absolute Percentage Error)来作为网络的评价函数，见式(24)。

$MAPE=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|\frac{y_i-{\hat{y}}_i}{y_i}\left|\right|---\left(24\right)$

其中n为样本数，y_i为实际值，为预测值。

步骤七：误差反馈优化网络参数

建立目标方程：

min(e)＝min(f_rbf(r′，ρ)) (25)

式(25)中，e为平均绝对百分误差，r′为分类时集合最小半径，ρ为卡洛变换信息量的比例。确定自变量变化空间0≤r′≤max(d)，0≤ρ≤1。自变量的边界值为ω_max＝[ρ＝1，r′＝max(R)]，ω_min＝[ρ＝0，r′＝min(R)]。解集中包含的解的个数N，max(R)为最大的训练样本间的距离，min(R)为最小的训练样本间的距离。

改进退火算法的优化流程如下：

步骤7.1、设定迭代数i＝0、初始温度t₀、温度下降系数α，并生成包含N个随机解ω_0，1，ω_0，2，…，ω_0，N的初始解集合Ω₀，则有：

${\mathrm{\Ω}}_0=\left[\begin{array}{c}{\mathrm{\ω}}_{0,1}\\ {\mathrm{\ω}}_{0,2}\\ ...\\ {\mathrm{\ω}}_{0,N}\end{array}\right]---\left(26\right);$

步骤7.2、计算能量值E₀，有：

(27)，式(26)及式(27)中，ω_0，1，ω_0，2，…，ω_0，N为e_0，1，e_0，2，…，e_0，N对应的解，将初始最小能量值作为目前网络最优表现，记为e_best，0，e_best，0所对应的解作为目前最优解，记做ω_best，0；

步骤7.3、i＝i+1，t_i＝α·t_i-1，t_i为第i次迭代的温度，t_i-1为第i-1次迭代的温度，进入下一次迭代过程；

步骤7.4、运用改进的变异方程计算第i次迭代的集合Ω_i，则集合Ω_i中第i个元素ω_i，n为：

(28)，式(28)中：

$\mathrm{\Δ}(n,{\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{i-1,n})=({\mathrm{\ω}}_{\max }-{\mathrm{\ω}}_{i-1,n})\·(1-r^{{(1-\frac{n}{N})}^b})---\left(29\right);$

$\mathrm{\Δ}(n,{\mathrm{\ω}}_{i-1,n}-{\mathrm{\ω}}_{\min })=({\mathrm{\ω}}_{i-1,n}-{\mathrm{\ω}}_{\min })\·(1-r^{{(1-\frac{n}{N})}^b})---\left(30\right);$

n为该解在解集中的序号；b为不均匀随机系数；r是均匀分布随机数，r∈[0，1]，η是一个均等概率的随机整数；

步骤7.5、生成解集Ω_i，并计算能量值E_i，有：

${\mathrm{\Ω}}_i=\left[\begin{array}{c}{\mathrm{\ω}}_{i,1}\\ {\mathrm{\ω}}_{i,2}\\ ...\\ {\mathrm{\ω}}_{i,N}\end{array}\right]---\left(31\right);$

$E_i=\left[\begin{array}{c}{e}_{i,1}\\ e_{i,2}\\ ...\\ e_{i,N}\end{array}\right]---\left(32\right);$

步骤7.6、若最小能量值min(E_i)＜e_best，0，则e_best，i＝min(E_i)，e_best，i为第i次迭代最小能量值，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若min(E_i)≥e_best，0，则式(33)决定是否将E_i所对应的ω_i，n作为最优解：

$\exp \left(-\frac{\left(\min \right(E\left(i\right))-e_{best,i-1})}{k\&CenterDot;t_i}\right)<p---\left(33\right)$

式(33)中，k为Boltzmann系数，p为随机数，0≤p≤1，若式(33)成立，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若式(33)不成立，则返回步骤7.4重新生成解集；

步骤7.7、当温度t_i下降至0，或循环到达最大迭代次数时，网络优化中止，此时的ω_best，i为全局最优解，e_best，i为全局最优网络表现。

下面结合具体数据对本发明作进一步介绍，负荷数据采集自New England ISO2000.1.1至2002.12.31，采样间隔为1小时。

在图3及图4中，经过傅里叶系数分解法滤去原数据中的高频谐波分量形成光滑后的负荷曲线模型。负荷光滑模型与原始模型的关联系数(R²)为0.9434。

在此案例中，选取待预测负荷前3小时的干球温度、露点温度及历史负荷，及待预测小时的干球温度与露点温度作为初始输入因素。初始输入矩阵【Dry Bulb_-1 Dry Bulb_-2Dry Bulb_-3 Dry Bulb Dew Point_-1 Dew Point_-2 Dew Point_-3 Dew Point Load_-1 Load_-2Load_-3】为一个26208×11的矩阵。应用卡洛变换进行压缩降维后输入矩阵的大小为，所含信息熵之比为99.85％。

对输入及输出数据进行z-score归一化以后，应用分裂分析算法对输入样本聚类。设初始最小集合半径为1，经过改进退火算法优化后，最小半径修正为0.3375，集合数为892，故径向基隐含层矩阵1大小为，预测结果如图5及图6所示。预测模型的预测输出与原始模型的关联系数(R²)为0.9821，MAPE＝1.98％。

Claims (2)

1.一种支持大数据的负荷预测方法，其特征在于，包括以下步骤：

步骤1、利用傅里叶系数分解方法对负荷进行奇异值的剥离及插值估算；

步骤2、卡洛变换：

U＝X·W^T，式中，X为输入数据样本集合，大小为n×m；W为投影向量，U为变换后的输入数据；

步骤3、对变换后的输入样本数据进行归一化、随机化，生成训练样本；

步骤4、运用层次分裂分析算法对训练样本进行分类，将隐含层的大小从n×(n+1)的矩阵缩小为n×(k+1)的矩阵，k为分类后得到的集合数，k＜＜n；

步骤5、构建径向基网络隐含层；

步骤6、网络误差评估；

步骤7、误差反馈优化网络参数，在网络训练时，通过改进模拟退火算法根据测试误差反馈寻找最优信息熵比对原始输入矩阵经行维度压缩及最小样本集合半径后作为构建径向基神经元内核函数的参数。

2.如权利要求1所述的一种支持大数据的负荷预测方法，其特征在于，在所述步骤7中，所述改进模拟退火算法包括以下步骤：

步骤7.1、设定迭代数i＝0、初始温度t₀、温度下降系数α，并生成包含N个随机解ω_0，1，ω_0，2，…，ω_0，N的初始解集合Ω₀，则有：

${\mathrm{\&Omega;}}_0=\left[\begin{array}{c}{\mathrm{\&omega;}}_{0,1}\\ {\mathrm{\&omega;}}_{0,2}\\ ...\\ {\mathrm{\&omega;}}_{0,N}\end{array}\right];$

步骤7.2、计算能量值E₀，有：

式中，ω_0，1，ω_0，2，…，ω_0，N为e_0，1，e_0，2，…，e_0，N对应的解，将初始最小能量值作为目前网络最优表现，记为e_best，0，e_best，0所对应的解作为目前最优解，记做ω_best，0；

步骤7.3、i＝i+1，t_i＝α·t_i-1，t_i为第i次迭代的温度，t_i-1为第i-1次迭代的温度，进入下一次迭代过程；

步骤7.4、运用改进的变异方程计算第i次迭代的集合Ω_i，则集合Ω_i中第i个元素ω_i，n为：

式中：

$\mathrm{\&Delta;}(n,{\mathrm{\&omega;}}_{\max }-{\mathrm{\&omega;}}_{i-1,n})=({\mathrm{\&omega;}}_{\max }-{\mathrm{\&omega;}}_{i-1,n})\&CenterDot;(1-r^{{(1-\frac{n}{N})}^b});$

$\mathrm{\&Delta;}(n,{\mathrm{\&omega;}}_{i-1,n}-{\mathrm{\&omega;}}_{\min })=({\mathrm{\&omega;}}_{i-1,n}-{\mathrm{\&omega;}}_{\min })\&CenterDot;(1-r^{{(1-\frac{n}{N})}^b});$

n为该解在解集中的序号；b为不均匀随机系数；r是均匀分布随机数，r∈[0，1]，η是一个均等概率的随机整数；ω_max＝[ρ＝1，r′＝max(R)]，ρ为卡洛变换信息量的比例，r′为分类时集合最小半径，max(R)为最大的训练数据样本间的距离；ω_min＝[ρ＝0，r′＝min(R)]，min(R)为最小的训练数据样本间的距离；

步骤7.5、生成解集Ω_i，并计算能量值E_i，有：

${\mathrm{\&Omega;}}_i=\left[\begin{array}{c}{\mathrm{\&omega;}}_{i,1}\\ {\mathrm{\&omega;}}_{i,2}\\ ...\\ {\mathrm{\&omega;}}_{i,N}\end{array}\right];$

$E_i=\left[\begin{array}{c}{e}_{i,1}\\ e_{i,2}\\ ...\\ e_{i,N}\end{array}\right];$

步骤7.6、若最小能量值min(E_i)＜e_best，0，则e_best，i＝min(E_i)，e_best，i为第i次迭代最小能量值，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若min(E_i)≥e_best，0，则下式决定是否将E_i所对应的ω_i，n作为最优解：

式中，k为Boltzmann系数，p为随机数，0≤p≤1，若上式成立，E_i所对应的ω_i，n则为第i次迭代最优解ω_best，i，返回步骤7.3进入下一次迭代过程，若不成立，则返回步骤7.4重新生成解集；

步骤7.7、当温度t_i下降至0，或循环到达最大迭代次数时，网络优化中止，此时的ω_best，i为全局最优解，e_best，i为全局最优网络表现。