CN105184424A - 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 - Google Patents

Abstract

一种实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，通过采用多核函数来有效处理影响负荷预测的多源异构数据，包括历史负荷数据、气象因素、日类型、节假日信息、电价信息、交通信息等，将多源异构数据进行有效融合，提高了核机器的性能以更好的利用不同数据源中的信息；同时将多核支持向量机实现Mapreduce化，具有较好的加速比和可扩展性，适合于大规模数据的分析。

Description

实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法

技术领域

本发明涉及发一种基于多源异构大数据的短期电力负荷预测方法。

背景技术

在负荷预测领域中，影响负荷预测的因素丰富多样，包括历史负荷、天气、季节、日类型、交通、实时电价、经济、政策等等，这些数据的各自治系统建设的时间、研发单位、采用的技术和具体业务的特定要求等，导致了数据的存储方式、数据类型以及更新频次等不同，进而呈现出数据异构、来源多样和海量数据等诸多特点，使得这些特征通常拥有各自不同的物理意义、量纲以及统计特性等。现有的负荷预测方法中，基于时间序列模型不能很好处理影响因素；回归分析方法虽然考虑了部分影响因素，但并没有考虑影响因素的异构特性，未能对这些特征进行区分对待，可能导致对这些异源异构特征利用效率的降低；现有的利用基于单核的SVM进行负荷预测，其将所有的特征都并列堆叠成一个向量，比如，特征是由两个特征融合而成,第一个特征服从多项式分布，而第二个特征服从正态分布而后一起输入一个固定形式固定参数的核映射函数当中来建立模型，这种处理方式显得有些简单低效，尤其是用来应对来自不同数据源的不同种类特征。

当数据规模庞大、数据异构或者样本分布不均匀时，采用多核学习这一理论框架则能够提供更加灵活和有效的信息组织与挖掘功能。多核学习首先利用像一系列传感器一样的基核对各自的信息进行感知，而后通过在映射后高维空间中对各基核的优化线性加权集成，形成一种在原始空间中对不同信息的非线性优化集成，从而提高了核机器的性能以更好的利用不同数据源中的信息。因此，研究基于多核学习的负荷预测算法具有重要意义。

发明内容

本发明的目的是提供一种能有效处理影响负荷预测的多种多源异构数据的多核函数学习方法，以解决因智能电网不断发展，采集到的影响负荷变化的随机因素的数量、结构种类越来越多，导致传统负荷预测方法无法精确处理及应用这些多源异构影响因素而不能满足大数据环境下短期负荷预测精度与速度要求的问题。

本发明为解决上述技术问题而提供一种实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，该预测方法的步骤如下：

步骤1、配置负荷预测平台：选定主节点服务器与从节点计算机，搭建集群分布式Hadoop平台，并配置集群环境JDK、SSH、HDFS以及Mapreduce等；

步骤2、调研待预测配电网区域负荷情况：调研待预测配网区域底层线路如10KV专线、35KV专线的负荷种类以及配电网区域范围内工业负荷、农业负荷、商业负荷、居民负荷的构成比例；

步骤3、选定多源异构数据种类：根据步骤2的调研结果筛选M种影响负荷预测的随机多源异构因素特征值属性，第M种属性特征值包含m个子特征值，并从气象网、交通网、SCADA系统以及数据库等采集各特征值历史样本，每天的采集频率为f，采集样本个数为N；

【特征值x_i11,x_i12，…,x_i1m，特征值x_i21，x_i22,…，x_i2m，……，特征值x_iM1,x_iM2,…,xiMm】，i＝1,2,…，N

步骤4、数据预处理：将步骤3中采集的多源异构数据进行归一化处理；

步骤5、选定M个核函数K_k，k＝1,2，…M，组合的多核函数为：式中，d_k为核函数K_k对应的权系数，具体选定核函数种类的步骤为：

5A.采用单变量法，选定某一属性的特征值【x_k1,x_k2,…,x_km】,k＝1,2，…M，m为该属性的特征值所含子特征值个数；

5B.采用单核SVM法，输入变量为5A.中选取的单属性特征值，核函数分别选线性核函数、多项式核函数、RBF核函数，进行单核SVM负荷预测；

5C.计算四种单核SVM负荷预测精度；

5D.选择预测精度最高的核函数作为该单属性特征值对应的核函数K_k；

5E.对M种属性的特征值分别进行5A至5D操作，得到最终的M个核函数K_k，k＝1,2,…M。

步骤6、多源异构数据特征融合：利用Hadoop平台将多核函数学习SVM算法Mapreduce化，实现多源异构数据特征融合，并得到负荷预测结果。具体步骤为：

6A.将步骤4归一化后的多源异构数据划分为X个训练样本与C个测试样本，X+C＝N：

训练样本：

x_u＝【特征值x_u11,x_u12，…，x_u1m，特征值x_u21，x_u22，…，x_u2m，……，特征值x_uM1，x_uM2，…，x_uMm,y_u】

测试样本:

x_v＝【特征值x_v11,x_v12,…,x_v1m，特征值x_v21,x_v22,…,x_v2m，……，特征值x_vM1,x_vM2,…,x_vMm,y_v】

其中：y_u、y_v为目标负荷值，u＝1,2，...，X,v＝1，2,...,C.

6B.将6A中的训练样本{x_u，u＝1，2，…，X｝分割为D个数据子集：确定需要并行多核SVM计算的数目D和数据集大小，修改HDFS配置文件，设置块大小，并将数据上传至HDFS；

6C.实现D个节点的Map过程：

①设定精度为常数ε；

②利用步骤5的组合核函数计算数据子集的核矩阵，实现多源异构数据特征融合：

给定初值： $d_k=cons\tan t,\∀k=1,2,...,M;$

初始化核矩阵为： $K\_Matrix=\left[\begin{array}{cccc}K(x_{u1},x_{u1})& K(x_{u1},x_{u2})& \mathrm{...}& K(x_{u1},x_{uX})\\ K(x_{u2},x_{u1})& K(x_{u2},x_{u2})& \mathrm{...}& K(x_{u2},x_{uX})\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ K(x_{uX},x_{u1})& K(x_{uX},x_{u2})& \mathrm{...}& K(x_{uX},x_{uX})\end{array}\right]$

其中： $K_{ij}=K(x_{ui},x_{uj})={\mathrm{\Σ}}_{k=1}^M{d}_k{K}_k(x_{ui},x_{uj})$

③利用初始化核矩阵，采用求解多核函数SVM的双层交替优化算法对数据子集进行训练，得到D个节点的子支持向量，输出为<key,value>，key为训练样本，value为子支持向量；

6D.实现Reduce过程：D个节点的子支持向量进行合并，对合并后的支持向量集进行多核函数SVM训练，得到最优核函数权重d_k(k＝1，2，…，M)、最优拉格朗日乘子与以及最终支持向量，建立多核SVM回归估计函数：

$y^{*}\left(x\right)=\underset{i=1}{\overset{X}{\&Sigma;}}({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_{ui},x)+b^{*}$

其中： $K(x_{ui},x)={\mathrm{\&Sigma;}}_{k=1}^M{d}_k{K}_k(x_{ui},x),b^{*}=y_u+\mathrm{\&epsiv;}-{\mathrm{\&Sigma;}}_{i=1}^X({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_i,x_j),$ x_ui,x_uj为训练样本中的任意两个样本的特征值，y_u为训练样本中的目标负荷值，x为待预测负荷的各特征值向量。利用该多核SVM回归估计函数，对测试样本进行负荷预测，并计算相对误差，输出为<key,value>，key为测试样本，value为负荷预测值与相对误差。

与现有技术相比，本发明的有益效果是：

传统负荷预测有的无法考虑影响因素，有的虽然考虑了部分影响因素，但并没有考虑影响因素的异构特性，未能对这些特征进行区分对待，导致对这些异源异构特征利用效率的降低，而且随着智能电网的发展，大数据环境下影响负荷预测的数据随机性、复杂程度增加，传统负荷预测方法数据处理方面的劣势愈加明显，本发明根据不同的影响因素选用不同的核函数来代表其异构特征，利用组合核函数来有效融合、处理影响负荷预测精度的多源异构数据因素，提高这些异源异构特征利用效率，进而提高负荷预测精度。

附图说明

图1是实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法流程图

图2是选择核函数的流程图

具体实施方式

为使本发明更明显易懂，兹以优选实施例子，并配合附图作详细说明如下。

步骤1、配置负荷预测平台：选定主节点服务器与从节点计算机，搭建集群分布式Hadoop平台，并配置集群环境JDK、SSH、HDFS以及Mapreduce等；

步骤2、调研待预测配电网区域负荷情况：调研待预测配网区域底层线路如10KV专线、35KV专线的负荷种类以及配电网区域范围内工业负荷、农业负荷、商业负荷、居民负荷的构成比例；

步骤3、选定多源异构数据种类：根据步骤2的调研结果筛选M种影响负荷预测的随机多源异构因素特征值属性，第M种属性特征值包含m个子特征值，并从气象网、交通网、SCADA系统以及数据库等采集各特征值历史样本，每天的采集频率为f，采集样本个数为N；

【特征值x_i11,x_i12,…,x_i1m，特征值x_i21，x_i22,…，x_i2m，……，特征值x_iM1，x_iM2，…,x_iMm】，i＝1,2,…,N

例如，此处选择的多源异构数据构造形式：

【时刻x₁，星期属性x₂，日最高气温x₃，日最低气温x₄，日平均气温x₅，预测点电价x₆、预测点前一时刻电价x₇、前一天同一预测点电价x₈、前一周同一预测点电价x₉、日最大车流量x₁₀、日最小车流量x₁₁、日进出地铁人数x₁₂】

时刻x₁：每日每隔30分钟采样负荷数据，一天共48个时刻表示如下：

星期属性x₂：用数字1至7表示星期一至星期日。

预测方式：日前负荷预测，以待预测日前T(自定义)天每天每15分钟的数据作为训练样本，来预测待预测日每15分钟的负荷值。

步骤4、数据预处理：将步骤3中采集的多源异构数据进行归一化处理，归一化方法为：

$x=\frac{x-x_{min}}{x_{max}-x_{min}}$

步骤5、选定M个核函数K_k，k＝1，2，…M，组合的多核函数为：式中，d_k为核函数K_k对应的权系数，具体选定核函数种类的步骤为：

5A.采用单变量法，选定某一属性的特征值【x_k1,x_k2，…,x_km】，k＝1,2,…M，m为该属性的特征值所含子特征值个数；

5B.采用单核SVM法，输入变量为5A.中选取的单属性特征值，核函数分别选线性核函数、多项式核函数、RBF核函数，进行单核SVM负荷预测；

5C.计算四种单核SVM负荷预测精度；

5D.选择预测精度最高的核函数作为该单属性特征值对应的核函数K_k；

5E.对M种属性的特征值分别进行5A至5D操作，得到最终的M个核函数K_k，k＝1,2,…M。

根据步骤3中所选具体的多源异构数据例子，此处由步骤5可以得到M＝5：

K₁(x_i,x_j)对应特征值【时刻x₁】；

K₂(x_i,x_j)对应特征值【星期属性x₂】；

K₃(x_i，x_j)对应特征值【日最高气温x₃，日最低气温x₄，日平均气温x₅】；

K₄(x_i,x_j)对应特征值【预测点电价x₆、预测点前一时刻电价x₇、前一天同一预测点电价x₈、前一周同一预测点电价x₉】；

K₅(x_i，x_j)对应特征值【日最大车流量x₁₀、日最小车流量x₁₁、日进出地铁人数x₁₂】；

则组合的核函数为：K＝d₁K₁+d₂K₂+d₃K₃+d₄K₄+d₅K₅

步骤6、多源异构数据特征融合：利用Hadoop平台将多核函数学习SVM算法Mapreduce化，实现多源异构数据特征融合，并得到负荷预测结果。具体步骤为：

6A.将步骤4归一化后的多源异构数据划分为X个训练样本与C个测试样本，X+C＝N：

训练样本：

x_u＝【特征值x_u11,x_u12，…，x_u1m，特征值x_u21,x_u22，…，x_u2m，……，特征值x_uM1，x_uM2，…，x_uMm,y_u】

测试样本:

x_v＝【特征值x_v11，x_v12，…,x_v1m，特征值x_v21,x_v22,…，x_v2m，……，特征值x_vM1,x_vM2,…，x_vMm,y_v】

其中：y_u、y_v为目标负荷值，u＝1,2,…,X,v＝1,2,…,C.

6B.将6A中的训练样本{x_u，u＝1，2，…,X}分割为D个数据子集：确定需要并行多核SVM计算的数目D和数据集大小，修改HDFS配置文件，设置块大小，并将数据上传至HDFS；

6C.实现D个节点的Map过程：

①设定精度为常数ε；

②利用步骤5的组合核函数计算数据子集的核矩阵，实现多源异构数据特征融合：

给定初值： $d_k=cons\tan t,\&ForAll;k=L2,...,M;$

初始化核矩阵为： $K\_Matrix=\left[\begin{array}{cccc}K(x_{u1},x_{u1})& K(x_{u1},x_{u2})& \mathrm{...}& K(x_{u1},x_{uX})\\ K(x_{u2},x_{u1})& K(x_{u2},x_{u2})& \mathrm{...}& K(x_{u2},x_{uX})\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ K(x_{uX},x_{u1})& K(x_{uX},x_{u2})& \mathrm{...}& K(x_{uX},x_{uX})\end{array}\right]$

其中： $K_{ij}=K(x_{ui},x_{uj})={\mathrm{\&Sigma;}}_{k=1}^M{d}_k{K}_k(x_{ui},x_{uj})$

③利用初始化核矩阵，采用求解多核函数SVM的双层交替优化算法对数据子集进行训练，得到D个节点的子支持向量，输出为<key,value>，key为训练样本，value为子支持向量；

6D.实现Reduce过程：D个节点的子支持向量进行合并，对合并后的支持向量集进行多核函数SVM训练，得到最优核函数权重d_k(k＝1,2,…,M)、最优拉格朗日乘子与以及最终支持向量，建立多核SVM回归估计函数：

$y^{*}\left(x\right)=\underset{i=1}{\overset{X}{\&Sigma;}}({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_{ui},x)+b^{*}$

其中： $K(x_{ui},x)={\mathrm{\&Sigma;}}_{k=1}^M{d}_k{K}_k(x_{ui},x),b^{*}=y_u+\mathrm{\&epsiv;}-{\mathrm{\&Sigma;}}_{i=1}^X({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_i,x_j),$ x_ui,x_uj为训练样本中的任意两个样本的特征值，y_u为训练样本中的目标负荷值，x为待预测负荷的各特征值向量。利用该多核SVM回归估计函数，对测试样本进行负荷预测：

$L_{Ru}=\underset{\stackrel{\&CenterDot;}{i}=1}{\overset{X}{\&Sigma;}}({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_{ui},x)+b^{*}$

并计算相对误差，输出为<key,value>，key为测试样本，value为负荷预测值与相对误差：

$E_u=\left(\frac{L_{Fu}-L_{Ru}}{L_{Ru}}\right)\&times;100\%$

$A=(1-\frac{1}{96}\sqrt{\underset{u=1}{\overset{96}{\&Sigma;}}{E}_u^2})\&times;100\%$

其中：E_u为待预测日第u点负荷的预测相对误差，L_Fu为负荷预测值，L_Ru为负荷实际值，A为待预测日的日负荷预测准确率。

本发明通过采用多核学习函数来处理影响负荷预测的多源异构数据，包括历史负荷数据、气象因素、日类型、节假日信息、电价信息、交通信息等，同时将多核支持向量机实现Mapreduce化，具有较好的加速比和可扩展性，适合于大规模数据的分析。

Claims (4)

1.一种实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，其特征在于，该方法包括如下步骤：

步骤1、配置负荷预测平台：选定主节点服务器与从节点计算机，搭建集群分布式Hadoop平台，并配置集群环境JDK、SSH、HDFS以及Mapreduce；

步骤2、调研待预测配电网区域负荷情况：调研待预测配网区域底层线路，包括10KV专线、35KV专线的负荷种类以及配电网区域范围内工业负荷、农业负荷、商业负荷、居民负荷的构成比例；

步骤3、选定多源异构数据种类：根据步骤2的调研结果筛选M种影响负荷预测的随机多源异构数据特征值属性，第M种属性特征值包含m个子特征值，每天的采集频率为f，采集样本总数为N；

【特征值x_i11,x_i12，…,x_i1m，特征值x_i21,x_i22，…，x_i2m，……，特征值x_iM1，x_iM2，…,x_iMm】，i＝1,2，…，N

步骤4、数据预处理：将步骤3中采集的多源异构数据进行归一化处理；

步骤5、选定M个核函数K_k，k＝1，2，…M，组合的多核函数为：式中，d_k为核函数K_k对应的权系数；

步骤6、利用Hadoop平台将多核函数学习SVM算法Mapreduce化，实现多源异构数据特征融合，并得到负荷预测结果。

2.根据权利要求1的所述的实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，其特征在于，所述的步骤3影响负荷预测的多源异构数据属性包括：

(1)历史负荷数据：由待预测地区供电公司的EMS系统采集得到；

(2)电价数据：由待预测地区供电公司的营销部门提供；

(3)各种气象因素：温度、湿度、降雨量、气压等，由待预测地区气象局的数据库采集得到；

(4)交通因素：日最大车流量、日最小车流量等，由待预测地区交通局的数据库采集得到；

(5)节假日因素：星期、重大节日等。

多核函数学习SVM法不仅仅适用于以上所述影响负荷预测的随机多源异构因素，根据具体待预测配网地区选取具体的随机多源异构因素。

3.根据权利要求1的所述的实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，其特征在于，所述的步骤5，选取M个核函数种类的步骤如下：

5A.采用单变量法，选定某一属性的特征值【x_k1，x_k2，…,x_km】，k＝1,2,…M，m为该属性的特征值所含子特征值个数；

5B.采用单核SVM法，输入变量为5A.中选取的单属性特征值，核函数分别选线性核函数、多项式核函数、RBF核函数，进行单核SVM负荷预测；

5C.计算四种单核SVM负荷预测精度；

5D.选择预测精度最高的核函数作为该单属性特征值对应的核函数K_k；

5E.对M种属性的特征值分别进行5A至5D操作，得到最终的M个核函数K_k，k＝1,2,…M。

4.根据权利要求1的所述的实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法，其特征在于，所述的步骤6，具体步骤如下：

6A.将步骤4归一化后的多源异构数据划分为X个训练样本与c个测试样本，X+C＝N：

训练样本：

x_u＝【特征值x_u11,x_u12,…，x_u1m，特征值x_u21，x_u22,…，x_u2m，……，特征值x_uM1，x_uM2,…,x_uMm,y_u】

测试样本:

x_v＝【特征值x_v11,x_v12，…，x_v1m，特征值x_v21，x_v22，…，x_v2m，……，特征值x_vM1，_xvM2，…，x_vMm，y_v】

其中：y_u、y_v为目标负荷值，u＝1，2,…,X,v＝1,2，…，c.

6B.将6A中的训练样本{x_u,u＝1,2,…，X}分割为D个数据子集：确定需要并行多核SVM计算的数目D和数据集大小，修改HDFS配置文件，设置块大小，并将数据上传至HDFS；

6C.实现D个节点的Map过程：

①设定精度为常数ε；

②利用步骤5的组合核函数计算数据子集的核矩阵，实现多源异构数据特征融合：

给定初值： $d_k=cons\tan t,\&ForAll;k=1,2,...,M;$

初始化核矩阵为：

$K\_Matrix=\left[\begin{array}{cccc}K(x_{u1},x_{u1})& K(x_{u1},x_{u2})& \mathrm{...}& K(x_{u1},x_{uX})\\ K(x_{u2},x_{u1})& K(x_{u2},x_{u2})& \mathrm{...}& K(x_{u2},x_{uX})\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ K(x_{uX},x_{u1})& K(x_{uX},x_{u2})& \mathrm{...}& K(x_{uX},x_{uX})\end{array}\right]$

其中： $K_{ij}=K(x_{ui},x_{uj})={\mathrm{\&Sigma;}}_{k=1}^M{d}_k{K}_k(x_{ui},x_{uj})$

③利用初始化核矩阵，采用求解多核函数SVM的双层交替优化算法对数据子集进行训练，得到D个节点的子支持向量，输出为<key,value>，key为训练样本，value为子支持向量；

6D.实现Reduce过程：D个节点的子支持向量进行合并，对合并后的支持向量集进行多核函数SVM训练，得到最优核函数权重d_k(k＝1，2,…,M)、最优拉格朗日乘子与以及最终支持向量，建立多核SVM回归估计函数：

$y^{*}\left(x\right)=\underset{i=1}{\overset{X}{\&Sigma;}}({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_{ui},x)+b^{*}$

其中： $K(x_{ui},x)={\mathrm{\&Sigma;}}_{k=1}^M{d}_k{K}_k(x_{ui},x),b^{*}=y_u+\mathrm{\&epsiv;}-{\mathrm{\&Sigma;}}_{i=1}^X({\widehat{\mathrm{\&alpha;}}}_i^{*}-{\mathrm{\&alpha;}}_i^{*})K(x_i,x_j),$ x_ui,x_uj为训练样本中的任意两个样本的特征值，y_u为训练样本中的目标负荷值，x为待预测负荷的各特征值向量；

6E.利用该多核SVM回归估计函数，对测试样本进行负荷预测，并计算相对误差，输出为<key,value>，key为测试样本，value为负荷预测值与相对误差。