CN101976301A - 逐年负荷预测中历史数据预处理的方法与装置 - Google Patents

Abstract

本发明公开了一种逐年负荷预测历史数据预处理的方法，选取九个与用电量相关的经济指标来表征社会经济发展状况，比较待测年份与历史年份经济指标增长速度的相似度，用最相似年份的数据代替最相异年份的数据，提高了预测模型的准确度和负荷预测的精度；本发明还公开了一种逐年负荷预测历史数据预处理的装置，增长速度计算模块计算采集模块采集的待测年份和历史年份的经济指标的增长速度，相似度比较模块比较待测年份与历史年份经济指标增长速度的相似度，数据处理模块将最相似的年份的数据代替最相异年份的数据，对历史数据有选择地取舍，实现了对逐年负荷预测历史数据的预处理。

Description

逐年负荷预测中历史数据预处理的方法与装置

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种逐年负荷预测中历史数据预处理的方法与装置。

背景技术

负荷预测作为电力系统规划、设计、生产调度的基础性工作，是一项重要的研究内容。根据预测的期限来分，负荷预测大致可分为以年为单位的中长期预测和以日为单位的短期预测。

逐年负荷预测即上述中长期预测有两大类不同的预测思路：一类是根据历史用电的变化趋势进行趋势外推，不考虑负荷变化的影响因素，如时间序列法、回归分析法、灰色预测法等；另一类是通过计算影响因素与用电负荷之间的关系来求取负荷的预测值。第二类方法又包括确定性预测和不确定预测两种，其中确定性负荷预测方法将影响因素(如GDP)与待预测的电量用一个或一组方程来描述，电量与各变量之间有明确的对应关系，包括传统的弹性系数法、部门单耗法等，此类方法的优势在于所需要的原始数据较少，处理方便。而不确定性方法考虑多重的影响因素，通过建立多维社会经济因素(输入)与用电负荷(输出)之间的非线性映射模型求取负荷的预测值。不确定性预测方法以基于人工智能理论的人工神经网络(ANN，Artificial Neural Network)和支持向量机(SVM，Support Vector Machines)为代表性算法。由于实际的负荷增长和社会经济发展指标之间很难用精确的方程进行描述，不确定性预测方法在目前的研究中得到较多的关注。

不确定性预测方法分为两个步骤：首先利用历史年份的社会经济因素和相应的用电量作为训练样本训练生成预测模型，再将待预测年份的社会经济指标输入至训练好的预测模型中获得用电量输出。该预测过程有不合理而需要进一步改进的地方：目前的研究中对历史年份的选取没有预处理的过程，各年份的数据进行同样的处理，在预测模型的训练过程中起到同样的作用。而事实上，社会经济发展情况每年皆不相同，比如待预测年份的社会经济发展环境与距其较远的历史年份的社会经济情况可能较不相似，而与近几年的情况更为相近。因此，目前的方法不利于生成准确的预测模型。

发明内容

本发明的逐年负荷预测中历史数据预处理的方法与装置，对历史数据进行分析并处理以提高预测模型的准确度。

本发明的逐年负荷预测中历史数据预处理的方法，包括步骤：

采集待测年份和与所述待测年份相邻的N个历史年份的经济指标；

计算所述经济指标的增长速度；

比较待测年份与N个历史年份所述经济指标增长速度的相似度，将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

优选地，所述经济指标包括：GDP、第二产业GDP、人均GDP、居民消费水平、从业人口数、固定资投资、进出口总额、工业总产值和居民可支配收入。

优选地，在所述步骤计算所述经济指标的增长速度和所述步骤比较待测年份与N个历史年所述经济指标增长速度的相似度之间还包括：对同一所述经济指标不同年份的增长速度进行归一化处理，所述步骤比较待测年份与N个历史年所述经济指标增长速度的相似度中的所述增长速度为归一化处理后的增长速度。

本发明的逐年负荷预测中历史数据预处理的方法，通过比较增长速度相似度来决定历史数据的取舍，将与待测年份经济指标增长速度曲线差异较大的年份的数据用与待测年份曲线最相似的年份的数据代替，由此排除了与待测年份经济发展状况相差较远年份的数据的影响，且选取了与用电量最相关的九个经济指标，有利于生成准确的预测模型。

本发明的逐年负荷预测中历史数据预处理的装置，包括：

采集模块，用于采集待测年份和与所述待测年份相邻的N个历史年份的经济指标；

增长速度计算模块，用于计算所述经济指标的增长速度；

相似度比较模块，用于比较待测年份与N个历史年份的所述经济指标增长速度的相似度；

数据处理模块，用于将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

优选地，所述经济指标包括：GDP、第二产业GDP、人均GDP、居民消费水平、从业人口数、固定资产投资、进出口总额、工业总产值和居民可支配收入。

优选地，还包括归一化模块，用于对同一所述经济指标不同年份的增长速度进行归一化处理，所述相似度比较模块用于比较待测年份与N个历史年份的经归一化处理后的所述经济指标增长速度的相似度。

本发明的逐年负荷预测中历史数据预处理的装置，采用相似度比较模块来比较待测年份与历史年份经济指标增长速度曲线的相似度，并根据比较结果对各年份数据进行有区别地处理，将与待测年份曲线差异较大的年份的数据用相似度最高的年份的数据替代，从而建立更准确的预测模型，提高负荷预测的精确度。

附图说明

图1是本发明的逐年负荷预测中历史数据预处理的方法实施例一的流程示意图；

图2是本发明的逐年负荷预测中历史数据预处理的方法实施例三的流程示意图；

图3是本发明的逐年负荷预测中历史数据预处理的装置的结构示意图。

具体实施方式

本发明的逐年负荷预测中历史数据预处理的方法，通过比较待测年份与以往年份的社会经济发展状况来决定对历史数据的取舍，将相异的舍去相似的保留，较之未处理的情况，经本发明的方法与装置预处理后，训练样本的选取更为合理，下面结合附图和具体实施例详细解释本发明。

实施例一：

本发明的逐年负荷预测历史数据预处理的方法，如图1所示，包括步骤：

步骤101、采集待测年份和与待测年份相邻的N个历史年份的经济指标；

步骤102、计算所述经济指标的增长速度；

步骤103、比较待测年份与N个历史年份所述经济指标增长速度的相似度，将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

步骤103比较了相似度后，将历史年份经济指标增长速度按照相似度高低排名，上述最相似的历史年份即排在第一位的年份，相似度最低的M个历史年份即排在后M位的年份。

本实施例中的待测年份可以是当前年份，也可以是未来年份，如今年2010年，明年2011年，由于待测年份实际的经济指标无法得知，因此待测年份的经济指标采用预估值，又由于电力负荷的发展受到多种社会经济因素的影响，长期的社会经济发展很难准确预估，因此本发明的预处理方法更适用于近期5年以内的电力负荷预测，历史年份指的是待测年份之前与待测年份相邻的年份，其经济指标可以从统计年鉴、经济报告等相关资料中采集。

实施例二：

经济指标有很多种，对其选取是否恰当关系到预测模型的准确度，本实施例详细阐述了经济指标是如何选取的。

本实施例中经济指标的选取原则为：选择与用电量增长最为相关的经济指标，或者说变化趋势与用电量最为一致的经济指标。具体来讲，对全国30个省市的历史数据(用电量和经济指标)进行关联性分析，从而选择出与用电量最为密切的经济指标，详细分析过程如下：

1、为保证数据的真实可靠性，同时考虑到经济指标需能够量化(用电量虽然也受到社会政策影响，如为保障奥运期间空气质量，相关地区的行业会采取限产、调产的措施，本实施例暂不考虑此类不易量化的影响因素)，关联性分析中选取的候选经济指标均来自各省市历年公开出版的统计年鉴或经济年鉴。从年鉴中选取了25项各省市记录均较完整、统计口径没有较大变化的经济指标，涵盖了国民经济核算、产业构成、人口、产值、贸易、人民生活水平、财政收支、价格指数等；

2、2009年出版的中国统计年鉴中提供了电力企业联合会发布的2000年及以后各省市用电量表格，该表格相对于各省市年鉴中的数据更完整可靠，因此分析的历史数据的跨度为2000-2008年。

3、由于公开出版物中缺少西藏地区的用电量数据，港澳台地区的经济体制与大陆不同，关联性分析中所研究的省市为中国大陆除西藏外的26个省、自治区和4个直辖市。

4、针对上述30个省市、2000至2008年、每年25项的经济指标，计算各经济指标与用电量之间的关联性，利用关联规则的置信度表征关联程度，置信度的物理意义为不同的社会经济发展指标与用电量增长趋势的一致程度。

5、关联性分析结果显示，基于置信度和统计显著性，全社会用电量增长的主导因素包括工业生产指标(第二产业GDP和工业总产值)、国民生产总值(GDP和人均GDP)、进出口总额、固定资产投资以及人民生活水平(城镇居民人均可支配收入)。此外，一些地区2000-2008年的分析结果还表明，从业人口和居民消费水平两项指标与用电量关联度较高，而且这两项指标导致用电量变化的物理概念明确。

综上，本实施例选取了九项与用电量增长较为密切的经济指标，分别为国民生产总值(GDP、第二产业GDP、人均GDP)，人民生活水平(居民消费水平、城镇居民人均可支配收入)、从业人口、工业总产值、进出口总额和固定资产投资，该九项经济指标是综合考虑了全国30个省市的经济指标与用电量的关系而最终选定的，因此本实施例适用性较广针对性不强，若想进一步增加针对性和准确性，可仅根据某一地区的发展情况选定最适合该地区的经济指标。

本实施例的其他技术特征与实施例一相同，在此不予赘述。

实施例三：

不同的经济指标其增长速度可能相差甚远，为增加可比性，本实施例对经济指标的增长速度进行了归一化处理，且用欧式距离来量化不同年份经济指标增长速度的相似度，如图2所示，本实施例的详细步骤如下。

步骤201、对经济指标和历史年份进行编号，采集待测年份和与待测年份相邻的N个历史年份的经济指标F_ij，其中，i＝1，2，...9，j＝1，2，...N，N为历史年份的个数；

步骤202、计算上述经济指标的年增长速度S_ij：

S_ij＝(F_ij-F_i(j-1))/F_i(j-1)*100％；            (1)

步骤203、对同一经济指标不同年份的增长速度进行归一化处理：

$S_{\mathrm{ij}}^{*}=(S_{\mathrm{ij}}-S_{\mathrm{ij}\min })/(S_{\mathrm{ij}\max }-S_{\mathrm{ij}\min });---\left(2\right)$

S_ij经归一化处理后变为

S_ijmax表示第i个经济指标在第j年的最大值，S_ijmin表示表示第i个经济指标在第j年的最小值；

步骤204、每个年份九个归一化后的经济指标增长速度组成一个包含九个元素的向量或一条九维曲线，计算历史年份曲线与待测年份曲线的欧式距离：

$\mathrm{\Δ}\stackrel{\→}{S_j}=\left|\right|\stackrel{\→}{S_j}-\stackrel{\→}{S_{(N+1)}}\left|\right|---\left(3\right)$

步骤205、的值越小说明两条曲线越接近，对应年份的社会经济发展环境越相似，

值越大说明环境差异越大，根据此值识别出与待测年份社会经济发展状况最相异的N/4个年份，及最相似的一个年份，若N/4为非整数，则取其四舍五入值；

步骤206、最相异N/4个历史年份的经济指标由最相似年份的经济指标替代。

上式(1)、(2)、(3)中的i和j表示的意义与步骤201中的i、j的意义相同，步骤206中最相异N/4个历史年份的数据也可以直接删除，但为保证样本数，用最相似年份的数据代替。

实施例一与实施例二中的N、M均为经验值，本实施例用N/4代替M，由于80年代及其以前年份的统计年鉴等数据并不完整，且待测年份与距其较远的历史年份的经济发展状况相差也较大，可比性不强，因此历史年份数N的取值不宜较大，但若N的取值过小即样本数过少，又将影响预测模型的准确度，因此，N是个经验值，M也是个经验值，经验证，当N取24，M取N/4即6时，负荷预测的精度最佳，如表1所示，历史年份从1985年至2008共24年，但为了方便预测值与真实值的比较，将用电量与经济指标的真实值已知的2008作为待测年，则历史年份为1985-2007共23年，下面以表1-5中广东省的数据为例，进一步说明本实施例。

1、采集整理广东省1985-2008年九项经济指标的数据，其中2008年作为待测年。

表1“-”表示此数据缺失，下同

2、计算经济指标的增长速度

表2

3、对不同指标的增长速度进行归一化处理使其具有可比性，在对表2中数据缺失部分进行归一化时，以其所属指标其他年份归一化后的平均值作为该数据缺失部分归一化后的值。

表3

4、根据式(3)计算历史年份与待测年份2008年间经济指标增长速度的欧式距离

表4

5、由表4可以看出2008年广东省的社会经济发展环境与1987、1988，1991-1994年最为相异，而与1998年最为相似，因此，1987、1988，1991-1994年的经济指标从数据库中去除，用1998年的数据进行替代。替代后的历史数据作为支持向量机算法的输入进行训练，对2008年的用电量进行预测，预测结果为3616.7亿千瓦时，而不经过预处理直接通过支持向量机得到的预测结果为3694.5亿千瓦时。因此，通过本实施例的预处理方法，预测负荷与真实值(3506.78亿千瓦时)之间的误差由5.35％降至3.13％。

同样的，对不同年份的用电量进行预测分析，经过预处理前后的预测精度如表5所示，其中预测值1为未经过预处理的预测值，预测值2为通过本发明方法进行预处理后得到的预测值。

表5

由表5可以看出，引入本预处理方法后提高了年度负荷预测的精度，为电力规划设计提供了依据，可以有效保证电力系统安全经济的运行。

本实施例的其他技术特征与实施例二相同，在此不予赘述。

本发明的逐年负荷预测中历史数据预处理的装置是与本发明的逐年负荷预测中历史数据预处理的方法对应的装置，下面结合实施例与附图进一步说明本发明。

本发明的逐年负荷预测历史数据预处理的装置，包括：

采集模块，用于采集待测年份和与待测年份相邻的N个历史年份的经济指标；

增长速度计算模块，用于计算所述经济指标的增长速度；

相似度比较模块，用于比较待测年份与N个历史年份的所述经济指标增长速度的相似度；

数据处理模块，用于将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

由上述可知，四个模块依次相连。为了增加不同经济指标的可比性，如图3所示，还包括归一化模块，用于对同一经济指标不同年份的增长速度进行归一化处理，所述相似度比较模块比较的则是待测年份与N个历史年份经归一化处理后的经济指标增长速度的相似度。

本发明的逐年负荷预测历史数据预处理的装置中涉及的经济指标、N、M、历史年份、待测年份等与本发明的逐年负荷预测中历史数据预处理的方法中相应参数的取值或代表的含义相同，在此不予赘述。

本装置的工作过程如下：

步骤301、采集模块对经济指标和历史年份进行编号，并采集待测年份和历史年份的经济指标F_ij，其中，i＝1，2，...9，j＝1，2，...N，N为历史年份的个数；

步骤302、增长速度计算模块计算上述经济指标的年增长速度S_ij：

S_ij＝(F_ij-F_i(j-1))/F_i(j-1)*100％；            (1)

步骤303、归一化模块对同一经济指标不同年份的增长速度进行归一化处理：

$S_{\mathrm{ij}}^{*}=(S_{\mathrm{ij}}-S_{\mathrm{ij}\min })/(S_{\mathrm{ij}\max }-S_{\mathrm{ij}\min });---\left(2\right)$

S_ij经归一化处理后变为

S_ijmax表示第i个经济指标在第j年的最大值，S_ijmin表示表示第i个经济指标在第j年的最小值；

步骤304、相似度比较模块将每个年份九个归一化后的经济指标增长速度组成一个包含九个元素的向量

或一条九维曲线，并计算历史年份曲线与待测年份曲线的欧式距离：

$\mathrm{\Δ}\stackrel{\→}{S_j}=\left|\right|\stackrel{\→}{S_j}-\stackrel{\→}{S_{(N+1)}}\left|\right|---\left(3\right)$

上式中的

表示待测年份九个经济指标增长速度的曲线；

步骤305、

的值越小说明两条曲线越接近，对应年份的社会经济发展环境越相似，

值越大说明环境差异越大，根据此值，相似度比较模块识别出与待测年份社会经济发展状况最相异的N/4个年份，及最相似的一个年份，若N/4为非整数，则取其四舍五入值；

步骤306、数据处理模块将最相异N/4个历史年份的经济指标替换为最相似年份的经济指标。

将本发明的逐年负荷预测历史数据预处理的方法与装置结合使用，即可完成对逐年负荷预测历史数据的预处理。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1.一种逐年负荷预测中历史数据预处理的方法，其特征在于，包括：

采集待测年份和与所述待测年份相邻的N个历史年份的经济指标；

计算所述经济指标的增长速度；

比较待测年份与N个历史年份所述经济指标增长速度的相似度，将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

2.根据权利要求1所述的逐年负荷预测中历史数据预处理的方法，其特征在于，所述经济指标包括：GDP、第二产业GDP、人均GDP、居民消费水平、从业人口数、固定资产投资、进出口总额、工业总产值和居民可支配收入。

3.根据权利要求1或2所述的逐年负荷预测中历史数据预处理的方法，其特征在于，在所述步骤计算所述经济指标的增长速度和所述步骤比较待测年份与N个历史年份所述经济指标增长速度的相似度之间还包括：对同一所述经济指标不同年份的增长速度进行归一化处理，所述步骤比较待测年份与N个历史年所述经济指标增长速度的相似度中的所述增长速度为归一化处理后的增长速度。

4.根据权利要求1或2所述的逐年负荷预测中历史数据预处理的方法，其特征在于，在所述步骤计算所述经济指标的年增长速度之后还包括：计算待测年份与N个历史年份所述经济指标增长速度曲线的欧式距离，根据计算出的所述欧式距离进行所述步骤比较待测年份与N个历史年所述经济指标增长速度的相似度，所述经济指标增长速度曲线为该年所有经济指标增长速度连成的曲线。

5.根据权利要求1或2所述的逐年负荷预测中历史数据预处理的方法，其特征在于，所述N为24，所述M为6。

6.一种逐年负荷预测中历史数据预处理的装置，其特征在于，包括：

采集模块，用于采集待测年份和与所述待测年份相邻的N个历史年份的经济指标；

增长速度计算模块，用于计算所述经济指标的增长速度；

相似度比较模块，用于比较待测年份与N个历史年份的所述经济指标增长速度的相似度；

数据处理模块，用于将相似度最低的M个历史年份的所述经济指标增长速度用最相似的历史年份的所述经济指标增长速度代替。

7.根据权利要求6所述的逐年负荷预测中历史数据预处理的装置，其特征在于，所述经济指标包括：GDP、第二产业GDP、人均GDP、居民消费水平、从业人口数、固定资产投资、进出口总额、工业总产值和居民可支配收入。

8.根据权利要求6或7所述的逐年负荷预测中历史数据预处理的装置，其特征在于，还包括归一化模块，用于对同一所述经济指标不同年份的增长速度进行归一化处理，所述相似度比较模块用于比较待测年份与N个历史年份的经归一化处理后的所述经济指标增长速度的相似度。

9.根据权利要求6或7所述的逐年负荷预测中历史数据预处理的装置，其特征在于，所述相似度比较模块还用于计算待测年份与N个历史年份所述经济指标增长速度曲线的欧式距离，根据计算出的所述欧式距离比较所述相似度，所述经济指标增长速度曲线为该年所有经济指标增长速度连成的曲线。

10.根据权利要求6或7所述的逐年负荷预测中历史数据与处理的装置，其特征在于，所述N为24，所述M为6。

Images