CN108876001B - 一种基于孪生支持向量机的短期电力负荷预测方法 - Google Patents

Abstract

本发明涉及一种基于孪生支持向量机的短期电力负荷预测方法，包括以下步骤：1)依据模型输入向量的格式制作样本数据集；2)对样本数据集的数据进行分类，一类用于参数优化，另一类用于测试；对参数优化的一类进行归一化预处理；3)对归一化预处理后的样本数据使用LBSA优化DW‑TSVR参数；4)采用基于LBSA参数优化的DW‑TSVR算法，结合用于测试的另一类样本数据进行DW‑TSVR模型的验证，计算短期电力负荷的预测结果。本发明将莱维飞行引入BSA算法的飞行行为中，提出了LBSA算法，算法的寻优性能有明显的提高，同时算法的收敛速度也得到了一定的提升，因此本发明提出的基于莱维飞行的鸟群算法具有更优的性能。

Description

一种基于孪生支持向量机的短期电力负荷预测方法

技术领域

本发明涉及一种电网负荷预测技术，具体为一种基于孪生支持向量机的短期电力负荷预测方法。

背景技术

负荷预测在电力生产部门和管理部门的日常工作中占据举足轻重的地位。精确的负荷预测是保障电力系统平稳运行的重要依据。电力系统将发电厂、输配电网和终端用户聚集在一起，形成一个复杂的网络。电力是一种特殊的商品，它无形无色，无法使用肉眼观测到。电能被生产后会沿着输配电网传输到终端，然后被消耗掉。完成这个过程需要花费极短的时间，几乎是同步进行的。由于电能的特殊性，大规模的存储电能会得不偿失。这就要求电力的生产和电力的消耗保持动态平衡。否则，影响电能的质量，造成不必要的资源消耗，重则危及电力系统的安全与稳定。因此，为了确保的电力系统的可靠性与稳定性，非常有必要研究负荷的变化规律。

我国的电力体制改革正在稳步推进，统一开放的电力市场已经形成。电力原有的商品属性逐步被还原，电力生产和消费也更加市场化。电力市场主体空前重视实时的负荷预测值，对电力负荷预测的实时性、准确性提出了更高的要求。电力市场环境下的负荷预测会直接影响到市场主体的经济利益。发电企业可以通过准确的负荷预测制定经济优化的发电计划，减少不必要的旋转储备用容量，减少能源消耗，继而有效地降低发电成本；售电企业依赖准确的负荷预测把握用户的用电需求，制定合理的、有竞争力的报价，及时地应对电力市场的变化；输电公司和配电公司依赖准确的电力负荷预测决定电网的建设和改造升级，制定经济的电力调配计划，保障电网经济运行。谁能准确地预测电力负荷，谁就掌握了主动权，可以收获巨大的经济利益。

在电力市场条件下，电力的供应与需求会有更大的不确定性，电价势必会成为影响供需的重要因素。用电企业会在电价较低的情况下购买更多的电能，发电企业会在电价攀高时增加发电量。新形势下的负荷预测如果还采用原有的模型，必然会得到较差的预测结果。预测工作者应该研究新形势下的负荷预测，不仅需要保证有较高的预测精度，还应进一步提高预测的效率。

电力负荷预测是根据目前已掌握的相关历史数据，构建合适的预测模型，预测未来的某个时刻或特定时段的负荷值。但是由于电力负荷很容易受到环境因素、自然因素等诸多因素的影响，使得高精度预测电力负荷存在相当大的难度。

总的来说，负荷预测方法可以被分为两大类：第一类是传统的负荷预测方法，其中包括回归分析法、灰色系统法、时间序列法和趋势外推法；另一类是现代的负荷预测方法，其中包括模糊预测技术、专家系统法、人工神经网络、小波分析法、支持向量机和优选组合法。每个方法都有自身的局限性，目前还没有一个方法可以适用于所用条件下的负荷预测。

发明内容

针对现有技术中电力负荷预测存在自身的局限性、不能够适用于所用条件下的负荷预测等不足，本发明要解决的问题是提供一种基于孪生支持向量机的短期电力负荷预测方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于孪生支持向量机的短期电力负荷预测方法，包括以下步骤：

1)依据模型输入向量的格式制作样本数据集；

2)对样本数据集的数据进行分类，一类用于参数优化，另一类用于测试；对参数优化的一类进行归一化预处理；

3)对归一化预处理后的样本数据使用LBSA优化DW-TSVR参数；

4)采用基于LBSA参数优化的DW-TSVR算法，结合用于测试的另一类样本数据进行DW-TSVR模型的验证，计算短期电力负荷的预测结果。

步骤1)中依据模型输入向量的格式制作样本数据集，采用的模型阶数为7，选取前7天的历史负荷数据作为特征向量，同时考虑节假日信息对负荷的影响；

选择有用的信息和合适的分段数据后，对输入特征向量进行编码如下：

[星期属性节假日属性气温属性历史负荷]

星期属性使用7位0/1编码来实现，代表预测日为星期几，节假日属性使用1位0/1编码；气温属性代表预测日当日的平均气温；历史负荷数据代表预测日前7天的日最高负荷；预测模型的输出结果为预测日的最高负荷。

步骤2)中，对样本数据集的数据进行归一化预处理。

步骤4)中，基于LBSA的参数优化为：

对鸟群算法进行改进，在鸟群的飞行行为中引入莱维飞行，将鸟群中生产者的位置由下述公式表达为：

其中，levy(β)表示随机搜索路径并满足莱维分布，β为随机搜索路径，

为j维空间中第i只鸟在第t代的位置，t为迭代次数，i∈[1,2,3,...,N]，N为种群规模，j∈[1,2,...,D]，D为空间维数。

步骤4)还包括：

用Mantegna算法模拟莱维飞行，Mantegna算法的数学表达式如下。

步长s计算公式

式中，μ，v分别服从如下的正态分布：

σ_v＝1

各式中β通常取常量1.5。

当β为1.5时，式(15)被简化为：

其中，S(u,v)为步长，μ，v分别服从如下的正态分布：

μ～N(0,0.6966²)

v～N(0,1²)

还包括以下步骤：

进一步调整式(16)为：

其中，w是步长调整参数，由最大值w_max线性减小到最小值w_min，t为当前迭代次数，lter_max为BSA算法的最大迭代次数。

改进后的鸟群算法的控制参数FQ随着算法迭代次数增加而不断变化，根据鸟群算法的迭代次数M个寻优过程划分为三个阶段，

次迭代为第一阶段，

次迭代为第二阶段，

为第三阶阶段；

第三阶阶段FQ值为3，第二阶段FQ值为5，第三阶段FQ值为9，则有：

式中t代表第几次迭代。

步骤4)中，基于LBSA参数优化的DW-TSVR算法，在线性情况下处理过程如下：

首先结合经验风险最小化原理，将TSVR的目标函数进行正则化，扩展到结构风险最小化，增强模型的泛化能力，并形成2个新的二次规划问题，表示为：

其中，C₁>0，C₂>0，ε₁>0，ε₂>0，v₁>0，v₂>0都是正参数，e是l×1维的列向量，e元素全部为1，ξ，η为松弛变量，A＝{x₁ ^T,x₂ ^T,…,x_m ^T}∈R^m×n，为系数矩阵，Y＝{y₁,y₂,…,y_m}∈R^m，为带求解问题的变量，w₁，w₂为权重，b₁，b₂为阈值；v₁，v₂为正参数。

其次，在LS-SVM的启发下，引入最小二乘技术，将式(40)和式(41)中的不等式约束条件转化为等式约束条件，然后直接在原始空间对带有等式约束的二次规划问题进行求解，式(40)和式(41)被改写为如下形式：

从式(42)看出，松弛变量ξ使用了权重的1/2×C₁的2范式，式(40)的二次规划问题变成求解线性方程组的问题；

再次，将一个权重矩阵D＝diag(d₁,d₂,...,d_l)引入到目标函数，对不同的样本给予不同惩罚，形成两个新的二次规划问题：

其中，D是一个对角矩阵，d_i是样本x_i的权重；

求出w₁,b₁和w₂和b₂，得到训练数据集的不敏感下界f₁(x)和不敏感上界f₂(x)，基于经验风险最小化原则，设f₁(x)在最终的回归函数f(x)中所占的比重为a，则f₂(x)所占的比重为1-a，a的取值范围是[0,1]，f(x)的形式如下：

f(x)＝a×f₁(x)+(1-a)×f₂(x)

通过令模型的训练误差最小化，求出参数a的值，本发明选取的训练误差是SSE，已知训练样本的数目为l，y_i表示训练样本x_i的真实对应输出值，

表示y_i的预测值，

预测模型在数据集上的误差平方和SSE为

将式(56)带入到式(57)中可以得到

为使SSE取得最小值，求出SSE关于a的导数，并令其等于0得：

通过求解上式得到：

如果求解出的a≥1，则a取值为1,，如果a≤0，则a的取值为0，如果0＜a＜1，则a的取值为其自身，在线性情况下优化标准TSVR模型即改进后的TSVR为双加权的孪生支持向量回归机，最终的回归函数的形式如下：

步骤4)中，基于LBSA参数优化的DW-TSVR算法，在非线性情况下处理过程如下：

使用带有核函数的非线性回归估计函数代替线性估计函数，将线性DW-TSVR推广到非线性DW-TSVR，最终的两个二次规划问题为：

将式(40)和式(41)各自约束条件带入其目标函数中，则原来的二次规划问题变为：

采用和线性情况类似的方法，令E＝[K(A,A^T)e]，可求出w₁和b₁：

同样也可求出w₂和b₂：

非线性DW-TSVR计算2个维数是(l+1)×(l+1)的逆矩阵，其中l是训练样本集的数目。

对于双加权的孪生支持向量回归机，采用二次训练技术，在DW-TSVR中，第一次训练时，

被设置为单位对角矩阵，在求解式(44)和式(45)后可以获得f₁(x)，松弛变量ζ通过下式计算：

ζ_i＝|y_i-f₁(x_i)|

再计算

计算公式如下：

其中，

表示估计误差分布和标准高斯分布的差值，四分位数IQR是其四分之三和四分之一的差值，J₁和J₂为常数。

本发明具有以下有益效果及优点：

1.本发明将莱维飞行引入BSA算法的飞行行为之中，提出了LBSA算法，算法的寻优性能有明显的提高，同时算法的收敛速度也得到了一定的提升，因此本发明提出的基于莱维飞行的鸟群算法具有更优的性能。

2.本发明在人工数据集和UCI数据集合上分别测试SVR、TSVR和DW-TSVR的性能，通过对比得出本文提出的DW-TSVR不仅有更快的学习效率还有更高的预测精度。

3.本发明使用LBSA算法优化DW-TSVR模型的参数，并建立短期电力负荷预测模型进行负荷预测，结果表明基于LBSA优化的DW-TSVR算法的预测误差在3％之内，满足实际应用的误差要求，具有推广应用的潜力。

附图说明

图1为本发明方法中LBSA优化的DW-TSVR体系结构图；

图2为本发明方法中电力负荷值对比曲线图；

图3为发明方法中每日的相对误差曲线图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明提供一种基于孪生支持向量机的短期电力负荷预测方法。TWSVM是从SVM的基础上发展而来的，是一种新型的机器学习算法，相比SVM具有更快的学习效率和更强的推广能力。本发明采用TSVR建立短期电力负荷预测模型，针对负荷预测的预测精度和预测效率问题，提出了基于LBSA优化的DW-TSVR算法。

如图1所示，本发明一种基于孪生支持向量机的短期电力负荷预测方法，包括以下步骤：

1)依据模型输入向量的格式制作样本数据集；

2)对样本数据集的数据进行预处理，分为两类，一类用于参数优化，另一类用于测试；

3)对参数优化的一类进行归一化预处理，将样本数据使用LBSA进行训练，优化DW-TSVR参数；

4)采用基于LBSA参数优化的DW-TSVR算法得到DW-TSVR模型，用于选定参数，将选定参数结合用于测试的另一类样本数据进行DW-TSVR模型的验证，计算短期电力负荷的预测结果。

步骤1)中，依据模型输入向量的格式制作样本数据集。

电力负荷属于随机过程，在随机过程研究中，自相关系数能够显示随机过程是否平稳以及选择合适的模型阶数，本发明直接采用阶数为7，选取前7天的历史负荷数据作为特征向量，同时还要考虑节假日信息对负荷的影响。

本发明在选择有用的信息和合适的分段数据之后，对输入特征向量进行编码如下：

[星期 属性 节假日 属性 气温 属性 历史 负荷]

星期属性使用7位0/1编码来实现，代表预测日为星期几，如[1 0 0 0 0 0 0]代表星期一，[0 1 0 0 0 0 0]代表星期二，以此类推。节假日属性使用1位0/1编码来实现，0代表预测日不是法定节假日，1代表预测日是法定节假日。气温属性代表预测日当日的平均气温，需要经过归一化处理。历史负荷数据代表预测日前7天的日最高负荷，这些数据都需要进行归一化处理。预测模型的输出结果为预测日的最高负荷。

步骤2)是对样本数据集的数据进行预处理。

由于本发明使用的是EUNITE提供的竞赛数据，原始数据比较规整，没有缺失值。不过这些电力负荷数据不免含有噪声数据和误差数据等，依然需要对这些数据进行预处理操作。通常情况下，还需要对气温属性和历史负荷属性进行归一化处理。因为选定的样本数据过大、过多的时候，在训练和测试时可能会造成变化范围较大的数据淹没变化范围较小的数据或者在计算中出现数值困难，因为核函数计算中需要计算特征向量的内积，大的特征值可能会引起数值困难。所有，很有必要对输入的样本数据进行归一化处理。归一化处理的具体方法如下：

式中，代表归一化后的数值，x_i为实际值，x_min为x中的最小值，x_max为x中的最大值

步骤3)中，用LBSA优化DW-TSVR参数。

DW-TSVR算法中含C₁，C₂，V₁，V₂四个惩罚参数，还有ε₁，ε₂两个敏感参数。在非线性情况下，在此基础上还会再加一个核函数的参数σ。和其他的机器学习算法一样，DW-TSVR性能的好坏在一定程度上依赖于选择的参数。本发明使用LBSA算法DW-TSVR的参数。

步骤4)中，采用基于LBSA参数优化的DW-TSVR算法，计算短期电力负荷的预测结果。为了使孪生支持向量机实现结构风险最小化原则，本发明将正则项引入目标函数；为了提高模型的学习效率，将最小二乘技术引入模型；为了降低离群点对模型的影响，将权重矩阵引入目标函数；为了获得更优的回归函数，基于经验风险最小化原则重构回归函数。最后提出了DW-TSVR算法。

模型建立：

1基于LBSA的参数优化

1.1BSA原理

自然界中的鸟类在觅食的过程中会涉及到三种行为，这三种行为分别为觅食行为、警戒行为和飞行行为。鸟群算法正是通过对这三种行为模拟而提出来的。Xia等人对鸟群群体行为以及群体内个体间的互动做了一些简化。BSA算法可以被下面5个极其简化的规则描述：

(1)鸟群中的每只鸟都可以在觅食和警戒之间自由切换。鸟类可以随机决定是继续觅食还是放弃觅食，去执行警戒。

(2)在觅食的时候，每只鸟都可以及时记录并更新有关食物的个体历史最好觅食经验和群体历史最好觅食经验，这些经验会被用于寻找食物。群体信息是被整个鸟群所共享的。

(3)当保持警戒的时候，每只鸟都会试图向群体的中心移动。食物储备较多的鸟相比食物储备较少的鸟具有更大的概率接近群体的中心。

(4)鸟群的飞行行为具有一定的周期性。当鸟群迁徙到一个新地方的时候，每个个体只有一种选择，要么成为生产者，要么成为乞讨者。如果鸟具有最高的食物储备，它会成为生产者，而具有最低食物储备的鸟会成为乞讨者。如果鸟的食物储备量处于最高值和最低值之间，那么这些鸟将会随机成为生产者和乞讨者。

(5)成为生产者的鸟会继续寻找食物，成为乞讨者的鸟会任选一个生产者，追随它一起寻找食物。

设存在一个种群规模为N的鸟群，这个鸟群在D维空间中飞行和觅食，第i只鸟在第t代的位置描述为：

规则1可以被简单地表示为一个随机选择过程。每只鸟在决策的时候，都需要一个分布范围为[0，i]的均匀随机数，同时还需设定一个取值范围是[0，1]的常量P，如果随机数小于P，那么这只鸟就会去觅食，否则，这只鸟就会保持警戒。

每只鸟都是根据自身以往最好的觅食经验和种群以往最好的觅食经验来寻找食物的。规则2可以使用如下的数学表达式描述。

式中，j∈[1,2,...,D]，rand(0,1)表示相互独立的在[0,1]范围内随机数。C和S都是大于零的数，分别被称为感知系数和社会加速系数。P_i,j表示第i鸟以往的最佳位置，g_i表示被共享的群体以往的最佳位置。

一旦有鸟保持警戒，每只鸟都会出于本能地朝着鸟群的群体中心移动，以此来躲避天敌的捕食。当一起朝着群体中心移动的时候，群体的中心就会发生变化。间接导致个体并不能直接移向群体的中心。规则3所描述的警戒行为可由下式表示：

其中，k(k≠i)一个取值范围为[1,N]的随机整数。α1和α2是取值范围同为[0,2]的常量，pFit_i表示鸟群中第i只鸟的最好的适应度值，sumFit表示鸟群中所有个体的最好适应度的和。ε是一个由计算机产生的最小正常量，是为了避免出现分母为0的情况。mean_j表示整个种群在第j维的平均位置。

鸟类会为了逃避天敌或者觅食从一个地方飞到另一个地方。规则5表明鸟群每迁到一个新地点，每只鸟要么成为生产者自行觅食，要么成为乞讨者跟随生产者获取食物。在鸟群的飞行行为中，生产者和乞讨者的行为可以用如下的数学公式分别描述：

式中，randn(0,1)表示的是服从期望为0，标准差为1的高斯分布的一个随机数，i∈[1,2,...,N]，k≠i，FL的取值范围是[0,2]，代表乞讨者跟着一个生产者一起去寻找食物,FQ是一个正整数，表示鸟群从一个地方飞到另一个地方的飞行频率。

1.2莱维飞行

莱维飞行的搜索步长服从莱维分布，它能够解释许多自然界中的随机现象，如布朗运动等。莱维飞行能够扩大种群的搜索范围，增加种群的多样性，采用莱维飞行的群体智能优化算法具有更强的跳跃能力，更容易跳出局部极小点，有效增强算法的寻优性能。

莱维飞行位置更新公式如下：

式中，i∈[1,2,...,N]，α表示步长控制量，

为点对点乘法表示随机搜索路径，并且满足莱维分布：

Levy(λ)～u＝t^-λ,1＜λ≤3 (9)

由于莱维分布本身较为复杂，尚未被很好地实现。所以经常会使用Mantegna算法来模拟莱维飞行，Mantegna算法的数学表达式如下。

步长s计算公式

式中，μ，v分别服从如下的正态分布：

σ_v＝1 (14)

各式中β通常取常量1.5。

1.3在鸟群的飞行行为中引入莱维飞行

本发明首先将莱维飞行引入到鸟群的飞行行为中，生产者的位置更新公式(6)被下面的公式替代：

式(15)中，levy(β)是由式(10)计算出来的。由于式(13)中含有Γ积分运算，因此引入莱维飞行会大大增加算法的时间复杂度。为了降低算法的时间复杂度，β常常会被设定为1.5，因而σ_u的值也可以被计算出来，结果为0.6966。式(15)就可以被简化为：

S(u,v)可由式(10)计算出来，其中：

μ～N(0,0.6966²) (17)

v～N(0,1²) (18)

莱维飞行是一种马尔科夫随机过程，行走的步长满足一个重尾分布，莱维飞行是短距离的深入局部搜索和偶尔较长距离的行走是交替进行，因而部分解会在当前最优值的附近搜索，可以加快局部搜索；另一部分解会在距离最优值较远的空间继续搜索，从而可以有效避免算法陷入局部最优解。

莱维飞行会产生比较大的跳跃，并且搜索方向也会多次急剧改变。虽然这些特征可以扩大鸟群的搜索空间，有效避免陷入局部最优解。但是莱维飞行的搜索步长过于激进，具有很大的概率跳出搜索范围。随着迭代次数的增加，鸟群会越来越接近全局最优解，如果相应地逐步减小莱维飞行的搜索步长，应该会加快算法的收敛速度。因此本发明进一步调整式(16)，更改后的式(16)如式(19)和式(20)所示：

其中，w是步长调整参数，由最大值w_max线性减小到最小值w_min，t为当前迭代次数，lter_max为BSA算法的最大迭代次数。

1.4鸟群的飞行频率动态变化

鸟群算法的控制参数FQ是决定算法能否跳出局部极小点，搜索到全局最优解的关键参数。如果将FQ设为固定值，算法很难平衡能在效率性和精确性之间取得良好的平衡。当FQ设置过小的时候，鸟群会频繁飞行。会直接导致算法的时间开销增大，降低算法的搜索效率。如果FQ设置太大，则算法会很容易陷入局部极小点，准确性难以得到保证。

本发明将BSA算法迭代前期的FQ设置为一个相对较小的值，增大鸟群的飞行次数，有利于算法在整个问题空间中搜索到比较好的候选解。迭代后期将FQ设置为一个相对较大的值，减少鸟群的飞行次数，以此增强算法的局部寻优能力。

改进后的鸟群算法的FQ是随着算法迭代次数增加而不断变化的控制参数。本发明根据鸟群算法的迭代次数M个寻优过程划分为三个阶段，

次迭代为第一阶段，

次迭代为第二阶段，

为第三阶阶段FQ值为3，第二阶段FQ值为5，第三阶段FQ值为9；

式中t代表第几次迭代。需要指出的是，不同阶段的值是FQ通过反复地实验得出来的，是一个经验取值。本发明在实验中发现，飞行频率FQ采用如上的取值，可以加快BSA算法的收敛速度。FQ是随着迭代次数增加而阶段性变化，在一定的迭代次数内FQ依然为固定值。

2基于LBSA优化的DW-TSVR算法

2.1标准TSVR算法的基本原理

假设给定训练数据集{(x1,y1),(x2,y2),…,(xl,yl)}∈Rⁿ×R，i＝1,2,…l。令A_l×n为训练样本的输入数据集{x_k}^l _k＝1，即；令Y_l×n为训练样本输出数集，即A_l×n对应的回归为Y_l×n＝[y₁,y₂,…,y_l]^T。

标准TSVR算法会在训练样本的上下两端生成一对不平行的拟合函数，这两个拟合函数分别是最终回归函数的不敏感上界和不敏感下界。

在线性情况下，TSVR通过式(22)和式(23)训练数据的不敏感下界

和不敏感上界

确定最终的回归函数，式(22)和式(23)函数可以通过求解下面两个二次规划问题得到：

式中，C₁>0，C₂>0，ε₁>0，ε₂>0为常数，ξ，η为松弛变量，e为l×1维的列向量，并且e中的元素全部为1。

引入拉格朗日乘子α和γ，并结合KKT条件，可以得到式(24)和式(25)的对偶优化问题为：

其中，G＝[A e]，f＝Y-ε₁e和h＝Y+ε₂e，在求解式(24)和式(25)的对偶问题式(26)和式(27)过程中，可以得到

[w₁ b₁]^T＝(G^TG)^-1G^T(f-α) (28)

[w₂ b₂]^T＝(G^TG)^-1G^T(h+γ) (29)

通过求解式(26)和式(27)就可以得到α和γ，继而可以根据式(28)和式(29)求出w₁，b₁，w₂和b₂，就可以得到线性情况下TSVR目标函数f(x)：

对于非线性情况，TSVR考虑两个带核的不平行函数：

f₁(x)＝K(x^T,A^T)w₁+b₁ (31)

和

f₂(x)＝K(x^T,A^T)w₂+b₂ (32)

与上面的讨论类似，式(31)和式(32)可以通过求解下面两个二次规划问题得到：

根据KKT条件并引入拉格朗日α和γ，式(33)和式(34)的对偶优化问题为：

其中，H＝[K(A,A^T)e]。在求解式(33)和式(34)的对偶问题式(35)和式(35)过程中可以得到

[w₁ b₁]^T＝(H^TH)^-1H^T(f-α) (37)

[w₂ b₂]^T＝(H^TH)^-1H^T(h+γ) (38)

通过解式(35)和式(36)就可以得到α和γ，继而可以根据式(37)和式(38)求出，w1，b1，w2和b2。就可以非线性情况下TSVR的回归函数f(x)，

2.2加权的孪生支持向量回归机

对于线性情况，首先，可以从式(23)和式(24)看出TSVR仅仅实现了经验风险最小化原理，因此可将其目标函数进行正则化，扩展到结构风险最小化，增强模型的泛化能力，并形成2个新的二次规划问题，可表示为：

其中，C₁>0，C₂>0，ε₁>0，ε₂>0都是正参数，e是l×1维的列向量，e元素全部为1，ξ，η为松弛变量。

其次，为了简化TSVR的计算开销，在LS-SVM的启发下，引入最小二乘技术，把式(40)和式(41)中的不等式约束条件转化为等式约束条件，然后直接在原始空间对带有等式约束的二次规划问题进行求解，而不是在对偶空间解决。所以，式(40)和式(41)被改写为如下形式：

可以从式(42)可以看出，松弛变量ξ使用了权重的1/2×C₁的2范式，而不是式(40)的权重为C₁的1范式，这么做可以使得式(40)的约束条件ξ≥0省略掉。这个简单的修改可以使得式(40)的二次规划问题变成了求解线性方程组的问题，极大地简化了模型的计算复杂度。

再次，为了减少样本数据中潜在的离群点对模型性能的影响。本发明将一个权重矩阵D＝diag(d₁,d₂,...,d_l)引入到目标函数，不同的样本给予不同惩罚。将权重矩阵D引入式(42)和式(43)后，又形成两个新的二次规划问题：

其中，D是一个对角矩阵，d_i是样本x_i的权重。

以下是式(44)和式(45)的详细求解过程，先将式(44)中的约束条件带入到目标函数中，则式(44)可以改写成：

求式(46)关于w₁和b₁的偏导数，并令其等于0，可得：

结合式(47)和式(48)可以导出：

可以进一步得到

式(50)中I₁是n阶单位矩阵，I是l阶单位矩阵。

令G＝[A e]，

是n+1阶单位矩阵，u₁＝[w₁ b₁]^T，则通过式(51)可以求出w₁和b₁：

类似的，还可以把式(45)写成类似式(46)的形式：

令

则可以使用相同的方法可以求出

注意到式(44)和式(45)的求解只需要求解2个线性方程组，最终计算2个维数是(n+1)×(n+1)的逆矩阵，其中n是维数，远远小于训练集的样本数l，即n＜＜l。并且和TSVR的对偶二次规划问题式(40)和式(41)相比，式(44)和式(45)没有任何约束条件，这就意味着新模型的学习速度比TSVR更快，特别是在处理大样本数据时这种优势更为明显。

最后，假设求出了w₁,b₁和w₂和b₂，就可以得到训练数据集的不敏感下界f₁(x)和不敏感上界f₂(x)，基于经验风险最小化原则，为了使最终的预测函数f(x)能更好的拟合训练样本，更加充分的利用样本中蕴含的信息，本发明设f₁(x)在最终的回归函数f(x)中所占的比重为a，则f₂(x)所占的比重为1-a，需要指出的是a的取值范围是[0,1]，f(x)的形式如下：

f(x)＝a×f₁(x)+(1-a)×f₂(x) (55)

通过令模型的训练误差最小化，求出参数a的值，本发明选取的训练误差是SSE，已知训练样本的数目为l，y_i表示训练样本x_i的真实对应输出值，

表示y_i的预测值，

预测模型在数据集上的误差平方和SSE为

将式(56)带入到式(57)中可以得到

很明显，误差平方和SSE是关于权重a的一个二次函数，为了使SSE取得最小值，只需求出SSE关于a的导数，并令其等于0得：

通过求解式(59)得到：

如果求解出的a≥1，则a取值为1,，如果a≤0，则a的取值为0，如果0＜a＜1，则a的取值为其自身。最终的回归函数的形式如下：

至此，在线性情况下优化标准TSVR模型的工作已经做完，称改进的后的TSVR为双加权的孪生支持向量回归机。

对于非线性情况，可以使用带有核函数的非线性回归估计函数代替线性估计函数，把线性DW-TSVR推广到非线性DW-TSVR，类似在线性情况下的讨论，最终的两个二次规划问题为：

将式(62)和式(63)各自约束条件带入其目标函数中，则原来的二次规划问题变为：

采用和线性情况类似的方法，令E＝[K(A,A^T)e]，可求出w₁和b₁：

同样也可求出w₂和b₂：

需要指出的是，非线性DW-TSVR需要计算2个维数是(l+1)×(l+1)的逆矩阵，其中l是训练样本集的数目。但是和非线性TSVR的二次规划问题相比，式(62)和式(63)没有约束条件，所以非线性DW-TSVR的学习效率依然会比非线性TSVR快。

2.3训练加权因子

在SVM中有许多方法可以为样本设置权重，常见的方法有预定义技术，基于图形的技术，还有二次训练技术。本发明采用二次训练技术是因为该技术有一个提升的过程，并且在本发明的测试中该技术相比其他技术更为优秀。需要特别强调的是，在DW-TSVR中，第一次训练时，

是被设置为单位对角矩阵，在求解式(44)和式(45)后可以获得f₁(x)，松弛变量ζ，可以通过下式计算：

ζ_i＝|y_i-f₁(x_i)| (68)

继而，就可以计算

计算公式如下：

其中，

表示估计误差分布和标准高斯分布的差值，四分位数IQR是其四分之三和四分之一的差值，常数J₁和J₂一般情况下被设置为2.5和3。

LBSA算法可以用来为DW-TSVR算法选择最为合适的参数。传统的方法在处理这些的多目标优化问题时，通常具有较高的盲目性，或者复杂度太高，而现阶段常用的群体智能算法如PSO算法和DE算法等又容易陷入局部最优点，优化效果并不理想。BSA算法是一个新型的群智能优化算法，目前的实验结果表明BSA算法的寻优能力要优于PSO以及DE算法，由于BSA算法尚未成熟，本发明针对其不足之处进行了改进，并通过实验验证了本发明改进的有效性。

本实施例中，依据模型输入向量的格式，制作相应的样本数据集，并采用基于LBSA参数优化的SVR算法，TSVR算法和DW-TSVR算法，进行电力负荷预测。

为了实验的公平性，3个负荷预测模型中的鸟群算法使用统一的配置，本发明设置BSA算法的最大迭代次数为100，种群规模为30,参数C和S的取值均为1.5，参数α1和α2的取值统一设置为1，参数P的取值范围是[0.8,1]，控制参数FL的取值范围是[0.5,0.9]，飞行频率FQ的第一个取值为3，第二个取值为5，第三个取值为9。

SVR算法，TSVR算法和DW-TSVR算法的非线性情况下，统一使用高斯核函数，所以每个算法中会含有一个高斯核函数参数δ。

SVR算法中包含参数C，ε，δ。设置C∈(0.001,128)，ε∈(0.001,1)，δ∈(0.001,128)。

TSVR算中包含参数C₁，C₂，ε₁，ε₂和δ为了便于LBSA算法参数寻优，设置C＝C₁＝C₂，ε＝ε1＝ε2，C∈(0.001,128)，ε∈(0.001,1)，δ∈(0.001,128)。

DW-TSVR算法中包含参数C₁，C₂，v₁，v₂，ε₁，ε₂，δ。设置C＝C₁＝C₂，v＝v₁＝v₂，ε＝ε₁＝ε₂，δ∈(0.001,128)。

本发明使用LBSA算法分别优化SVR算法、TSVR算法和DW-TSVR算法的参数。构建三个短期电力负荷预测模型进行电力负荷预测。以上三个预测模型的预测结果表1所示。

表5.2 31天预测结果比较表

表1中列出了1991年1月1日至31日的日最高负荷的实际值、模型的预测值和模型的相对误差，并且参照表1给出了模型的预测结果如图2所示。本发明画出了以上四个预测模型的折线图，以便分析模型的性能。

在实际的短期负荷预测工作中，经常使用相对误差作为评价工作好坏的指标，通常情况差需要保证短期负荷预测误差在3％之内。为了便于直观的展示预测每天的模型的预测误差，结合表1中的数据画出了如图3所示的曲线图。

从图3中可以发现，DW-TSVR负荷预测模型每日的相对误差基本维持在3％以内，仅仅第6日的相对误差超过了3％，DW-TSVR负荷预测模型的每日的相对误差在本发明的短期负荷预测模型的精度基本满足要求，具备了一定的应用潜能。

SVR模型的平均误差为2.8090％。虽然平均误差在3％之内，但是从图3可知，SVR模型的预测误差波动性比较大，个别相对误差均超过了4％，预测结果并不稳定，很可能是训练数据中的离群点引起的。

TSVR模型的平均误差为2.2371％，从图3可以看出，除了极个别日期的预测误差超过了3％，预测误差相对还是比较平稳的，不过相比DW-TSVR模型，预测误差还是偏大。

本发明使用LBSA算法优化DW-TSVR模型的参数，并建立短期电力负荷预测模型进行负荷预测。结果表明基于LBSA优化的DW-TSVR算法的预测误差在3％之内，满足实际应用的误差要求，具有推广应用的潜力。

Claims (7)

1.一种基于孪生支持向量机的短期电力负荷预测方法，其特征在于包括以下步骤：

1)依据模型输入向量的格式制作样本数据集，具体为：

依据模型输入向量的格式制作样本数据集，采用的模型阶数为7，选取前7天的历史负荷数据作为特征向量，同时考虑节假日信息对负荷的影响；

选择有用的信息和合适的分段数据后，对输入特征向量进行编码如下：

[星期属性节假日属性气温属性历史负荷]

星期属性使用7位0/1编码来实现，代表预测日为星期几，节假日属性使用1位0/1编码；气温属性代表预测日当日的平均气温；历史负荷数据代表预测日前7天的日最高负荷；预测模型的输出结果为预测日的最高负荷；

2)对样本数据集的数据进行分类，一类用于参数优化，另一类用于测试；对参数优化的一类进行归一化预处理；

3)对归一化预处理后的样本数据使用LBSA优化DW-TSVR参数；

4)采用基于LBSA参数优化的DW-TSVR算法，结合用于测试的另一类样本数据进行DW-TSVR模型的验证，计算短期电力负荷的预测结果；

基于LBSA参数优化的DW-TSVR算法，在线性情况下处理过程如下：

首先结合经验风险最小化原理，将TSVR的目标函数进行正则化，扩展到结构风险最小化，增强模型的泛化能力，并形成2个新的二次规划问题，表示为：

其中，C₁>0，C₂>0，ε₁>0，ε₂>0，v₁>0，v₂>0都是正参数，e是l×1维的列向量，e元素全部为1，ξ，η为松弛变量，

为系数矩阵，Y＝{y₁,y₂,…,y_m}∈R^m，为带求解问题的变量，w₁，w₂为权重，b₁，b₂为阈值；v₁，v ₂为正参数；

其次，在LS-SVM的启发下，引入最小二乘技术，将式(40)和式(41)中的不等式约束条件转化为等式约束条件，然后直接在原始空间对带有等式约束的二次规划问题进行求解，式(40)和式(41)被改写为如下形式：

从式(42)看出，松弛变量ξ使用了权重的1/2×C₁的2范式，式(40)的二次规划问题变成求解线性方程组的问题；

再次，将一个权重矩阵D＝diag(d₁,d₂,...,d_l)引入到目标函数，对不同的样本给予不同惩罚，形成两个新的二次规划问题：

其中，D是一个对角矩阵，d_i是样本x_i的权重；

求出w₁,b₁和w₂和b₂，得到训练数据集的不敏感下界f₁(x)和不敏感上界f₂(x)，基于经验风险最小化原则，设f₁(x)在最终的回归函数f(x)中所占的比重为a，则f₂(x)所占的比重为1-a，a的取值范围是[0,1]，f(x)的形式如下：

f(x)＝a×f₁(x)+(1-a)×f₂(x)

通过令模型的训练误差最小化，求出参数a的值，本发明选取的训练误差是SSE，已知训练样本的数目为l，y_i表示训练样本x_i的真实对应输出值，

表示y_i的预测值，

预测模型在数据集上的误差平方和SSE为

将式(56)带入到式(57)中可以得到

为使SSE取得最小值，求出SSE关于a的导数，并令其等于0得：

通过求解上式得到：

如果求解出的a≥1，则a取值为1，如果a≤0，则a的取值为0，如果0＜a＜1，则a的取值为其自身，在线性情况下优化标准TSVR模型即改进后的TSVR为双加权的孪生支持向量回归机，最终的回归函数的形式如下：

基于LBSA参数优化的DW-TSVR算法，在非线性情况下处理过程如下：

使用带有核函数的非线性回归估计函数代替线性估计函数，将线性DW-TSVR推广到非线性DW-TSVR，最终的两个二次规划问题为：

将式(40)和式(41)各自约束条件带入其目标函数中，则原来的二次规划问题变为：

采用和线性情况类似的方法，令E＝[K(A,A^T) e]，可求出w₁和b₁：

同样也可求出w₂和b₂：

非线性DW-TSVR计算2个维数是(l+1)×(l+1)的逆矩阵，其中l是训练样本集的数目。

2.根据权利要求1所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于步骤2)中，对样本数据集的数据进行归一化预处理。

3.根据权利要求1所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于步骤4)中，基于LBSA的参数优化为：

对鸟群算法进行改进，在鸟群的飞行行为中引入莱维飞行，将鸟群中生产者的位置由下述公式表达为：

其中，levy(β)表示随机搜索路径并满足莱维分布，β为随机搜索路径，

为j维空间中第i只鸟在第t代的位置，t为迭代次数，i∈[1,2,3,...,N]，N为种群规模，j∈[1,2,...,D]，D为空间维数。

4.根据权利要求3所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于还包括以下步骤：

用Mantegna算法模拟莱维飞行，Mantegna算法的数学表达式如下：

步长s计算公式

式中，μ，v分别服从如下的正态分布：

σ_v＝1

各式中β通常取常量1.5；

当β为1.5时，式(15)被简化为：

其中，S(u,v)为步长，μ，v分别服从如下的正态分布：

μ～N(0,0.6966²)

v～N(0,1²)。

5.根据权利要求4所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于还包括以下步骤：

进一步调整式(16)为：

其中，w是步长调整参数，由最大值w_max线性减小到最小值w_min，t为当前迭代次数，lter_max为BSA算法的最大迭代次数。

6.根据权利要求3所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于：

改进后的鸟群算法的控制参数FQ随着算法迭代次数增加而不断变化，根据鸟群算法的迭代次数M个寻优过程划分为三个阶段，

次迭代为第一阶段，

次迭代为第二阶段，

为第三阶段；

第三阶段FQ值为3，第二阶段FQ值为5，第三阶段FQ值为9，则有：

式中t代表第几次迭代。

7.根据权利要求1所述的基于孪生支持向量机的短期电力负荷预测方法，其特征在于：对于双加权的孪生支持向量回归机，采用二次训练技术，在DW-TSVR中，第一次训练时，

被设置为单位对角矩阵，在求解式(44)和式(45)后可以获得f¹(x)，松弛变量ζ通过下式计算：

ζ_i＝|y_i-f¹(x_i)|

再计算

计算公式如下：

其中，

表示估计误差分布和标准高斯分布的差值，四分位数IQR是其四分之三和四分之一的差值，J₁和J₂为常数。

Images