CN109816144B - 分布式内存并行计算优化深度信念网络的短期负荷预测方法 - Google Patents
分布式内存并行计算优化深度信念网络的短期负荷预测方法 Download PDFInfo
- Publication number
- CN109816144B CN109816144B CN201811550794.3A CN201811550794A CN109816144B CN 109816144 B CN109816144 B CN 109816144B CN 201811550794 A CN201811550794 A CN 201811550794A CN 109816144 B CN109816144 B CN 109816144B
- Authority
- CN
- China
- Prior art keywords
- value
- particle
- load
- optimal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000002245 particle Substances 0.000 claims abstract description 108
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000000737 periodic effect Effects 0.000 claims abstract description 4
- 230000001133 acceleration Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 10
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000022417 sinus histiocytosis with massive lymphadenopathy Diseases 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种分布式内存并行计算优化深度信念网络的短期负荷预测方法。包括以下步骤：1.RDD读取负荷历史数据；结合负荷的周期特性，读取负荷预测输入数据到Spark RDD集合；2.采用改进并行粒子群算法将其分为不同子群，并对惯性权重和加速因子进行改进计算；在分布式内存计算Spark平台上对深度信念网络模型的权值参数W和偏置值B进行优化，选择使得适应度值最小的粒子坐标向量值[W,B]作为改进粒子群算法的输出；3.利用步骤S2中优化得到的DBN参数[W，B]，使用优化的DBN网络对负荷序列建立负荷预测模型，进行短期负荷预测。本发明方法有效地提高了短期负荷预测精度和海量数据处理能力，能够较好地解决电力系统负荷预测问题，具有很强鲁棒性和强泛化能力。
Description
技术领域
本发明属于配电网负荷预测技术领域，更具体地，涉及一种分布式内存并行计算优化深度信念网络的短期负荷预测方法。
背景技术
电力系统负荷预测是实现电力系统安全经济运行和电网科学管理的基础，准确的负荷预测是安排电力生产调度、提高电力系统自动化运行水平的重要决策依据，在保证电力系统规划与可靠、经济运行、提高发电设备利用率等方面具有十分重要的意义。随着各类传感器和智能设备数量的不断增加，设备中进行获取和传输的负荷数据也发生着指数级的增长。因此，有必要研究负荷预测的新方法及新技术，以提高负荷预测精度与可靠性，满足工程技术要求。
目前用于短期负荷预测的方法主要分为统计学方法和人工智能方法两大类。统计学方法包括多元线性回归、自回归和自回归移动平均等。该类方法模型简单，但只能对少量影响因素及样本数据进行处理，对原始时间序列的平稳性要求较高。人工智能方法包括灰色系统、模糊逻辑、支持向量机和人工神经网络等，其中反向传播神经网络方法和SVM方法应用最为广泛。BP神经网络具有很强的自学习能力和复杂的非线性函数拟合能力，但由于其网络初始参数由随机初始化得到，导致BP神经网络泛化能力差、易陷入局部最优。SVM方法能够较好地解决传统算法中存在的非线性、高维数、局部最小值等问题，但在处理大数据量下的时间序列预测方面，存在收敛速度慢和预测精度低的缺点。
深度学习理论作为当下人工智能领域的研究热点，也引发了电力行业关注，并已建立了深度信念网络(deep belief network，DBN)负荷预测模型，通过实例验证模型的有效性。DBN由多层受限玻尔兹曼机(restricted Boltzmann machine，RBM)堆叠组成，而RBM作为一种有效的特征处理方法，能够胜任电力系统负荷预测高维、复杂、非线性问题求解。同时，求解DBN参数时，将训练集事先分成小批量数据进行计算，提高了训练效率。但在建立DBN负荷预测模型时，网络连接权重初始化是通过随机赋值得到的，该做法使得DBN在学习训练过程中容易陷入局部最优解，影响了预测性能。同时，DBN预训练过程中，迭代次数及学习率一般根据人工经验确定，设置不当会降低模型预测精度。另外，为有效增强DBN算法负荷预测结果的可靠性与精确性，相关研究提出了采用智能优化算法估计模型参数，如遗传算法、粒子群算法等，并通过算例分析说明了优化算法的有效性。虽然通过引入智能优化算法在不同程度上提高了负荷预测精度，但这类优化算法都以大量的迭代运算为基础，消耗大量计算资源。与此同时，随着海量负荷数据的涌现，传统的串行化DBN网络训练方法在处理海量数据时存在如耗时过长、预测效率低等问题。不断增加的电力负荷数据量要求应用程序能够延伸到更大的集群中去计算。针对集群计算资源的共享、单点宕机、节点执行缓慢及程序的并行化等问题，许多大数据处理框架应运而生。比如Google的MapReduce，它提出了简单、通用并具有自动容错功能的批处理计算模型。但是这些不同的大数据处理框架由于各自的差异性又带来了一系列问题：重复计算、使用范围的局限性、资源分配、统一管理等等。为了解决上述MapReduce及各种处理框架所带来的问题，加州大学伯克利分校推出了Spark统一大数据处理框架。Spark是一种与Hadoop MapReduce类似的开源集群大数据计算分析框架。Spark基于内存计算，整合了内存计算的单元，所以相对于Hadoop的集群处理方法，Spark在性能方面更具优势。Spark启用了弹性内存分布式数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。Spark基于内存计算，提高了大数据处理的实时性，同时兼具高容错性和可伸缩性，更重要的是，Spark可以部署在大量廉价的硬件之上，形成集群。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，有效地提高了短期负荷预测精度和海量数据处理能力。
为解决上述技术问题，本发明采用的技术方案是：一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，包括以下步骤：
S1.弹性分布式数据集(RDD)读取负荷历史数据；结合负荷的周期特性，从历史负荷、气象因素、日期类型角度读取负荷预测输入数据到Spark RDD集合；
S2.深度信念网络(DBN网络)权重值W和偏置值B优化；采用改进并行粒子群算法将其分为不同子群，并对惯性权重和加速因子进行改进计算；在分布式内存计算Spark平台上对深度信念网络模型的权值参数W和偏置值B进行优化，选择使得适应度值最小的粒子坐标向量值[W,B]作为改进粒子群算法的输出；
S3.负荷预测；利用步骤S2中优化得到的DBN参数[W，B]，使用优化的DBN网络对负荷序列建立负荷预测模型，进行短期负荷预测。
进一步的，Spark框架下弹性分布式数据集RDD(Resilient DistributedDatasets)读取负荷数据：数据格式如下：
[ID，ColonyID，H，X，v，Ffit，(Pi，Ffiti)，(Pg，Ffitg)，(Pu，Ffitu)]
其中，ID为粒子群编号；ColonyID为子群编号；H为原始负荷数据，X＝(X1，X2，…，Xi)为粒子的当前位置向量；v＝(v1，v2，…，vn)为粒子的当前速度向量；Ffit为粒子的当前适应度值，通过式(1)计算得出；(Pi，Ffiti)为个体经历的最佳位置信息向量，Pi＝(xi1，xi2，…，xin)为个体经历的最佳位置，Ffiti为个体经历的最佳适应度值；同理(Pg，Ffitg)和(Pu，Ffitu)分别对应子群经历的最佳位置信息向量和整体粒子群经历的最佳位置信息向量。Spark通过转换和动作对RDD数据集进行操作，从而得出所需RDD数据集。Spark会根据RDD之间不同的依赖关系形成Stage，每个Stage都包含一系列函数执行流水线。所述的S1步骤具体包括：
S11.将负荷数据从Hadoop HDFS输入Spark，并转换为RDD数据集；
S12.按照用户编写映射程序逻辑，经过flatMap与Map操作后，映射成(key，value)键值对；
S13.经过reduceByKey操作和join操作转换为缓存数据；
S14.经过Cache操作，将RDD缓存数据集缓存到内存中；
S15.判断数据读取是否结束，若结束则通过函数saveAsSequenceFile输出保存到HDFS或其它文件系统中；否则返回步骤S12，进行下一轮操作。
进一步的，所述的S2步骤具体包括：
S21.初始化粒子群，在取值范围内随机生成一组粒子向量[W，B]；初始粒子群的选取是随机的，理想状况下其位置应遍布整个解空间以增加搜索到全局最优解的概率。但是粒子的个数是有限的，解空间又相对较大，如果不能保证有限个粒子均匀分布在整个解空间，就加大了陷于局部最优的可能。为此，并引入平均粒距的概念，定义如下：
式中，L为搜索空间对角最大长度，n为解空间维数，pid表示第i个粒子位置的第d维坐标值，
表示所有粒子位置的第d维坐标值的均值；平均粒距表示种群中各个粒子彼此间分布的离散程度，D(t)越小，表示种群越集中；D(t)越大，表示种群越分散；训练一次DBN通过模型输出预测结果，再按下式计算适应度值：
式中，Ffit为粒子的当前适应度值，Yi为真实结果；
为预测结果；n为预测点个数；
S22.对IPPSO算法参数初始化，步骤S21中初始值作为粒子个体最佳位置；
S23.各子群搜索自身的最小适应度值作为子群最佳适应度值，对应粒子作为子群最优解，其计算公式为：
然后，根据各子群最佳适应度值搜索最小值作为整个粒子群最佳适应度值，对应粒子作为整体最优解，其计算公式为：
Pg(k)∈{P0(k),P1(k),...,Pm(k)}|f(Pg(k))＝min{f(P0(k),f(P1(k),...,f(Pm(k)}；
S24.根据IPPSO算法更新粒子速度和位置；将更新后粒子重新代入DBN训练，计算并更新各个粒子适应度值；根据下式更新粒子速度和位置：
Vi(k+1)＝τnf(G1+G2+G3)+τpfG4
Xi(k+1)＝Xi(k)+Vi(k+1)
其中，
式中，G2中的Pi不变，为粒子的历史最优位置，G3中Pg变为粒子所在子群的最优位置，c1、c2的范围调整为[0,2]区间，c3在[0,2]区间，r3～U(0,1)为相互独立的随机函数，Pu为全群的最优粒子的位置；τnf为负反馈系数，τpf为正反馈系数；
S25.分别更新子群最佳适应度值、子群最优解、整体最佳适应度值、整体最优解；
S26.达到迭代次数则终止，否则返回步骤S24；
S27.输出[W，B]参数的整体最优解。
进一步的，所述的负反馈系数τnf、正反馈系数τnf的取值分别为：
式中，k为迭代次数，λn和λp为反馈因子。由S2.4及上式可以看出，IPPSO算法迭代前期，τnf较大，而τpf较小，粒子子群对速度更新产生的影响较大，有利于粒子探索能力的发挥，让粒子尽可能地扩大运动范围；在迭代后期，τnf较小，而τpf较大，中心对速度更新产生影响更大，让粒子群加速收敛。
进一步的，所述的S3步骤具体包括：
S31.在本发明中输入数据为影响负荷的各种因素，包括日期属性：如月份类型、星期类型、节假日类型等；天气数据：如温度、湿度、光照强度等。将输入的数据的每一种影响因素再进行详细划分，形成符合预测模型的输入向量量X＝[X1，X2，…，Xi]；输入层包括负荷历史数据、气象因素和日期类型；输入向量X与相应实际负荷值Y构成一个训练样本{X，Y}；
S32.利用IPPSO-DBN算法进行负荷预测，从而获得粒子的个体适应度值Ffit，并更新(Pi，Ffiti)，同时以ColonyID为key值，其他数据为value，构成(key，value)键值对；
S33.根据步骤S23获取各个子群的最佳适应度值和对应最优解，产生(key，value)键值对，其中key是ColonyID，value是(Pg，Ffitg)向量；
S34.将负荷预测样本数据集与最优解集合映射成新RDD数据集，再进行迭代操作，使用DBN得出负荷预测最优结果。
与现有技术相比，有益效果是：本发明提供的一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，有效地提高了短期负荷预测精度和海量数据处理能力，能够较好地解决电力系统负荷预测问题，具有很强鲁棒性和强泛化能力。
附图说明
图1是本发明整体方法流程图。
图2是本发明Spark执行RDD数据集运行机制示意图。
图3是本发明分布式内存并行计算优化DBN的负荷预测流程图。
图4是本发明负荷预测的DBN网络结构模型。
图5是本发明实施例中3月31日负荷真实值与IPPSO-DBN、BP神经网络、DBN预测算法负荷预测值比较。
图6是本发明实施例中4月15日负荷真实值与IPPSO-DBN、BP神经网络、DBN预测算法负荷预测值比较。
图7是本发明实施例中4月30日负荷真实值与IPPSO-DBN、BP神经网络、DBN预测算法负荷预测值比较。
图8是本发明实施例中5月15日负荷真实值与IPPSO-DBN、BP神经网络、DBN预测算法负荷预测值比较。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
如图1所示，一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，包括以下步骤：
步骤1.弹性分布式数据集(RDD)读取负荷历史数据；结合负荷的周期特性，从历史负荷、气象因素、日期类型角度读取负荷预测输入数据到Spark RDD集合；
Spark框架下弹性分布式数据集RDD(Resilient Distributed Datasets)读取负荷数据：数据格式如下：
[ID，ColonyID，H，X，v，Ffit，(Pi，Ffiti)，(Pg，Ffitg)，(Pu，Ffitu)]
其中，ID为粒子群编号；ColonyID为子群编号；H为原始负荷数据，X＝(X1，X2，…，Xi)为粒子的当前位置向量；v＝(v1，v2，…，vi)为粒子的当前速度向量；Ffit为粒子的当前适应度值，通过式(1)计算得出；(Pi，Ffiti)为个体经历的最佳位置信息向量，Pi＝(xi1，xi2，…，xin)为个体经历的最佳位置，Ffiti为个体经历的最佳适应度值；同理(Pg，Ffitg)和(Pu，Ffitu)分别对应子群经历的最佳位置信息向量和整体粒子群经历的最佳位置信息向量。Spark通过转换和动作对RDD数据集进行操作，从而得出所需RDD数据集。Spark会根据RDD之间不同的依赖关系形成Stage，每个Stage都包含一系列函数执行流水线。如图2所示，RDD加载数据的关键操作具体如下：
S11.将负荷数据从Hadoop HDFS输入Spark，并转换为RDD数据集；
S12.RDD A、RDD C经过flatMap与Map操作后，分别转换为RDD B和RDD D；按照用户编写映射程序逻辑，经过flatMap与Map操作后，映射成(key，value)键值对；
S13.经过reduceByKey操作和join操作转换为缓存数据，如图2所示，RDD D经过reduceByKey操作转换为RDD E；
S14.经过Cache操作，将RDD缓存数据集缓存到内存中；如图2所示，RDD B与RDD E进行join操作转换为RDD F；Cache，将RDD数据集缓存到内存中；
S15.判断数据读取是否结束，若结束则通过函数saveAsSequenceFile输出保存到HDFS或其它文件系统中；否则返回步骤S12，进行下一轮操作。
步骤2.深度信念网络(DBN网络)权重值W和偏置值B优化；优化流程图如图3所示，即IPPSO算法的输入为一个二维列向量[W，B]；在分布式内存计算Spark平台上对深度信念网络模型的权值参数W和偏置值B进行优化，选择使得适应度值最小的粒子坐标向量值[W,B]作为改进粒子群算法的输出；
IPPSO-DBN优化算法的执行步骤如下：
S21.初始化粒子群，在取值范围内随机生成一组粒子向量[W，B]；初始粒子群的选取是随机的，理想状况下其位置应遍布整个解空间以增加搜索到全局最优解的概率。但是粒子的个数是有限的，解空间又相对较大，如果不能保证有限个粒子均匀分布在整个解空间，就加大了陷于局部最优的可能。为此，并引入平均粒距的概念，定义如下：
式中，L为搜索空间对角最大长度，n为解空间维数，pid表示第i个粒子位置的第d维坐标值，
表示所有粒子位置的第d维坐标值的均值；平均粒距表示种群中各个粒子彼此间分布的离散程度，D(t)越小，表示种群越集中；D(t)越大，表示种群越分散；训练一次DBN通过模型输出预测结果，再按式下式计算适应度值：
式中，Ffit为粒子的当前适应度值，Yi为真实结果；
为预测结果；n为预测点个数；
S22.对IPPSO算法参数初始化，步骤S21中初始值作为粒子个体最佳位置；
S23.各子群搜索自身的最小适应度值作为子群最佳适应度值，对应粒子作为子群最优解，其计算公式为：
然后，根据各子群最佳适应度值搜索最小值作为整个粒子群最佳适应度值，对应粒子作为整体最优解，其计算公式为：
Pg(k)∈{P0(k),P1(k),...,Pm(k)}|f(Pg(k))＝min{f(P0(k),f(P1(k),...,f(Pm(k)}；
式中，f为改进粒子群算法计算最优适应度值的函数，即：适应度函数；
S24.根据IPPSO算法更新粒子速度和位置；将更新后粒子重新代入DBN训练，计算并更新各个粒子适应度值；根据下式更新粒子速度和位置：
Vi(k+1)＝τnf(G1+G2+G3)+τpfG4
Xi(k+1)＝Xi(k)+Vi(k+1)
其中，
式中，G2中的Pi不变，为粒子的历史最优位置，G3中Pg变为粒子所在子群的最优位置，c1、c2的范围调整为[0,2]区间，c3在[0,2]区间，r3～U(0,1)为相互独立的随机函数，Pu为全群的最优粒子的位置；τnf为负反馈系数，τpf为正反馈系数；负反馈系数τnf、正反馈系数τnf的取值分别为：
式中，k为迭代次数，λn和λp为反馈因子。由上式可以看出，IPPSO算法迭代前期，τnf较大，而τpf较小，粒子子群对速度更新产生的影响较大，有利于粒子探索能力的发挥，让粒子尽可能地扩大运动范围；在迭代后期，τnf较小，而τpf较大，中心对速度更新产生影响更大，让粒子群加速收敛；
S25.分别更新子群最佳适应度值、子群最优解、整体最佳适应度值、整体最优解；
S26.达到迭代次数则终止，否则返回步骤S24；
S27.输出[W，B]参数的整体最优解。
步骤3.负荷预测；利用步骤S2中优化得到的DBN参数[W，B]，使用优化的DBN网络对负荷序列建立负荷预测模型，进行短期负荷预测。如图4所示，其具体步骤包括：
S31.在本发明中输入数据为影响负荷的各种因素，包括日期属性：如月份类型、星期类型、节假日类型等；天气数据：如温度、湿度、光照强度等。将输入的数据的每一种影响因素再进行详细划分，形成符合预测模型的输入向量量X＝[X1，X2，…，Xi]；输入层包括负荷历史数据、气象因素和日期类型；输入向量X与相应实际负荷值Y构成一个训练样本{X，Y}；
S32.利用IPPSO-DBN算法进行负荷预测，从而获得粒子的个体适应度值Ffit，并更新(Pi，Ffiti)，同时以ColonyID为key值，其他数据为value，构成(key，value)键值对；
S33.根据步骤S23获取各个子群的最佳适应度值和对应最优解，产生(key，value)键值对，其中key是ColonyID，value是(Pg，Ffitg)向量；
S34.将负荷预测样本数据集与最优解集合映射成新RDD数据集，再进行迭代操作，使用DBN得出负荷预测最优结果。
步骤4.算法验证，构建基于分布式内存计算平台运行IPPSO算法并行优化深度信念网络(IPPSO-DBN)的短期负荷预测方法，通过提前24h负荷预测场景验证本发明方法的有效性。
本发明方法的验证实验都是在虚拟机Linux上搭建Hadoop平台运行的，平台由4个节点组成，物理机配置为i7-6700k处理器，主频4.0Hz，内存8G，硬盘1T，网络带宽100Mbit/s以太网。Hadoop版本为3.1.1，Spark版本为2.3.2。本发明实验数据来源于广东某地市级2018年实际电网所采集的负荷数据和气象数据，每个设备的采样时间间隔周期为1h，气象数据为干球温度、露点温度。实验测试数据量虽然没有达到大数据的规模，只以此数据进行实验来验证算法正确性，为大数据环境下的负荷预测提供参考。
此外，由于电力负荷预测是通过历史负荷数据对未来电力负荷进行预测的，因此预测值与实际负荷值存在差距，会产生电力负荷预测误差。本发明采用平均绝对相对误差、均方根误差作为误差评测指标，可分别表征负荷预测值同实际值的差异程度和衡量预测效果的平均离散程度。为了突出本发明方法的优势，选择BP神经网络和传统DBN方法进行对比，如图5～8所示为4个不同负荷预测日实际负荷值和不同方法预测结果对比分析图。表1为各种方法对4个不同负荷预测日进行预测的EMAPE和ERMSE。
表1负荷预测结果比较
由表1可知，BP神经网络负荷预测模型的平均相对误差、均方根误差分别为2.22％和2.71％；传统DBN网络负荷预测的平均相对误差、均方根误差分别为1.72％和2.28％；IPPSO-DBN预测的平均相对误差、均方根误差分别为0.88％和1.09％；由预测结果可知，BP神经网络和传统DBN方法整体预测结果不错，但是在负荷峰谷时段，由于用户用电行为和分布式电源不确定性较大，这两种方法不能有效分析该时段输入变量对负荷的影响，导致其预测精度有所下降；而本发明方法在负荷峰值段和谷值段的整体预测结果均具有较高的拟合精度。
随着我国的电网智能化快速发展，带来了数据量激增和数据维度不断提高的问题，单机运算和存储能力已不能满足电力负荷预测对效率和精度要求。为了提高电力负荷预测的精度，应对单机运算资源不足的挑战，提出一种改进并行化粒子群算法优化的深度信念网络(DBN)短期负荷预测模型。通过引入Spark分布式内存计算平台，将改进并行粒子群优化(IPPSO)算法部署在平台上，对深度信念网络(DBN)的权值和偏置值不确定参数进行算法优化，利用优化后的参数进行负荷预测。采用广东某地市级电网2018年提供的真实负荷数据，在4节点的Hadoop框架集群上部署Spark框架进行实验和分析；结果表明，本发明所提出的分布式内存并行计算优化深度信念网络的电力负荷预测算法精度优于传统的深度信念网络和BP神经网络算法，提高了负荷预测准确率和处理海量高维数据的能力。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，其特征在于，包括以下步骤：
S1.弹性分布式数据集RDD读取负荷历史数据；结合负荷的周期特性，从历史负荷、气象因素、日期类型角度读取负荷预测输入数据到Spark RDD集合；所述的S1步骤具体包括：
S11.将负荷数据从Hadoop HDFS输入Spark，并转换为RDD数据集；
S12.按照用户编写映射程序逻辑，经过flatMap与Map操作后，映射成(key，value)键值对；
S13.经过reduceByKey操作和join操作转换为缓存数据；
S14.经过Cache操作，将RDD缓存数据集缓存到内存中；
S15.判断数据读取是否结束，若结束则通过函数saveAsSequenceFile输出保存到HDFS或其它文件系统中；否则返回步骤S12，进行下一轮操作；
S2.深度信念网络DBN网络权重值W和偏置值B优化；采用改进并行粒子群算法将其分为不同子群，并对惯性权重和加速因子进行改进计算；在分布式内存计算Spark平台上对深度信念网络模型的权值参数W和偏置值B进行优化，选择使得适应度值最小的粒子坐标向量值[W,B]作为改进粒子群算法的输出；所述的S2步骤具体包括：
S21.初始化粒子群，在取值范围内随机生成一组粒子向量[W，B]；并引入平均粒距的概念，定义如下：
式中，L为搜索空间对角最大长度，n为解空间维数，m为粒子个数；pid表示第i个粒子位置的第d维坐标值，
表示所有粒子位置的第d维坐标值的均值；平均粒距表示种群中各个粒子彼此间分布的离散程度，D(t)越小，表示种群越集中；D(t)越大，表示种群越分散；训练一次DBN通过模型输出预测结果，再按下式计算适应度值：
式中，Ffit为粒子的当前适应度值，Yi为真实结果；
为预测结果；n为预测点个数；
S22.对IPPSO算法参数初始化，步骤S21中初始值作为粒子个体最佳位置；
S23.各子群搜索自身的最小适应度值作为子群最佳适应度值，对应粒子作为子群最优解，其计算公式为：
然后，根据各子群最佳适应度值搜索最小值作为整个粒子群最佳适应度值，对应粒子作为整体最优解，其计算公式为：
Pg(k)∈{P0(k),P1(k),...,Pm(k)}|f(Pg(k))＝min{f(P0(k),f(P1(k),...,f(Pm(k)}；
式中，f为改进粒子群算法计算最优适应度值的函数，即：适应度函数；
S24.根据IPPSO算法更新粒子速度和位置；将更新后粒子重新代入DBN训练，计算并更新各个粒子适应度值；根据下式更新粒子速度和位置：
Vi(k+1)＝τnf(G1+G2+G3)+τpfG4
Xi(k+1)＝Xi(k)+Vi(k+1)
其中，
式中，G2中的Pi不变，为粒子的历史最优位置，G3中Pg变为粒子所在子群的最优位置，c1、c2的范围调整为[0,2]区间，c3在[0,2]区间，r3～U(0,1)为相互独立的随机函数，Pu为全群的最优粒子的位置；τnf为负反馈系数，τpf为正反馈系数；Pi＝(xi1，xi2，…，xin)为粒子的历史最优位置；Vi为粒子的当前速度；f为改进粒子群算法计算最优适应度值的函数；
S25.分别更新子群最佳适应度值、子群最优解、整体最佳适应度值、整体最优解；
S26.达到迭代次数则终止，否则返回步骤S24；
S27.输出[W，B]参数的整体最优解；
S3.负荷预测；利用步骤S2中优化得到的DBN参数[W，B]，使用优化的DBN网络对负荷序列建立负荷预测模型，进行短期负荷预测。
2.根据权利要求1所述的一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，其特征在于，所述的负反馈系数τnf、正反馈系数τpf的取值分别为：
式中，k为迭代次数，λn和λp为反馈因子。
3.根据权利要求2所述的一种分布式内存并行计算优化深度信念网络的短期负荷预测方法，其特征在于，所述的S3步骤具体包括：
S31.将输入的数据的每一种影响因素再进行详细划分，形成符合预测模型的输入向量量X＝[X1，X2，…，Xi]；输入层包括负荷历史数据、气象因素和日期类型；输入向量X与相应实际负荷值Y构成一个训练样本{X，Y}；
S32.利用IPPSO-DBN算法进行负荷预测，从而获得粒子的个体适应度值Ffit，并更新(Pi，Ffiti)，Ffiti为粒子i经历的最佳适应度值；同时以ColonyID为key值，其他数据为value，构成(key，value)键值对；
S33.根据步骤S23获取各个子群的最佳适应度值和对应最优解，产生(key，value)键值对，其中key是ColonyID，value是(Pg，Ffitg)向量；
S34.将负荷预测样本数据集与最优解集合映射成新RDD数据集，再进行迭代操作，使用DBN得出负荷预测最优结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550794.3A CN109816144B (zh) | 2018-12-18 | 2018-12-18 | 分布式内存并行计算优化深度信念网络的短期负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550794.3A CN109816144B (zh) | 2018-12-18 | 2018-12-18 | 分布式内存并行计算优化深度信念网络的短期负荷预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109816144A CN109816144A (zh) | 2019-05-28 |
| CN109816144B true CN109816144B (zh) | 2020-12-29 |
Family
ID=66602099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550794.3A Active CN109816144B (zh) | 2018-12-18 | 2018-12-18 | 分布式内存并行计算优化深度信念网络的短期负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816144B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837915B (zh) * | 2019-09-29 | 2022-06-17 | 浙江大学 | 一种基于混合集成深度学习的电力系统低压负荷点预测及概率预测方法 |
| CN112488365A (zh) * | 2020-11-17 | 2021-03-12 | 深圳供电局有限公司 | 一种基于负荷预测流水线框架语言的负荷预测系统及方法 |
| CN113433409A (zh) * | 2021-06-30 | 2021-09-24 | 青岛科技大学 | 一种基于深度学习的电动汽车igbt型共直流母线充电设备故障诊断方法 |
| CN115454178B (zh) * | 2022-09-19 | 2023-11-24 | 苏州大学 | 无线动态负荷预测的地铁站台温湿度控制系统 |
| CN116526568B (zh) * | 2023-07-03 | 2023-09-15 | 国网北京市电力公司 | 交直流配电网分布式电源优化方法、系统、设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203419A1 (en) * | 2013-03-09 | 2016-07-14 | Bigwood Technology, Inc. | Metaheuristic-guided trust-tech methods for global unconstrained optimization |
| CN104008117A (zh) * | 2013-04-23 | 2014-08-27 | 江南大学 | 一种采用复合形法改进引力搜索算法的方法 |
| CN103729678B (zh) * | 2013-12-12 | 2016-10-05 | 中国科学院信息工程研究所 | 一种基于改进dbn模型的水军检测方法及系统 |
| CN104900235B (zh) * | 2015-05-25 | 2019-05-28 | 重庆大学 | 基于基音周期混合特征参数的声纹识别方法 |
| CN105608512A (zh) * | 2016-03-24 | 2016-05-25 | 东南大学 | 一种短期负荷预测方法 |
| CN106447024A (zh) * | 2016-08-31 | 2017-02-22 | 上海电机学院 | 一种基于混沌反向学习的粒子群改进算法 |
-
2018
- 2018-12-18 CN CN201811550794.3A patent/CN109816144B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109816144A (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816144B (zh) | 分布式内存并行计算优化深度信念网络的短期负荷预测方法 | |
| Zhang et al. | A weighted kernel possibilistic c‐means algorithm based on cloud computing for clustering big data | |
| CN106022521B (zh) | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 | |
| US11042802B2 (en) | System and method for hierarchically building predictive analytic models on a dataset | |
| Rong et al. | A model for software defect prediction using support vector machine based on CBA | |
| Zhu et al. | Selective ensemble based on extreme learning machine and improved discrete artificial fish swarm algorithm for haze forecast | |
| CN106980906B (zh) | 一种基于spark的Ftrl电压预测方法 | |
| Yan et al. | Study on deep unsupervised learning optimization algorithm based on cloud computing | |
| Tahmassebi | ideeple: Deep learning in a flash | |
| CN111461286A (zh) | 基于进化神经网络的Spark参数自动优化系统和方法 | |
| Zhang et al. | Multi-source big data dynamic compressive sensing and optimization method for water resources based on IoT | |
| Shen et al. | Host load prediction with bi-directional long short-term memory in cloud computing | |
| Zhang et al. | A fuzzy neural network based dynamic data allocation model on heterogeneous multi-GPUs for large-scale computations | |
| Archibald et al. | Integrating deep learning in domain sciences at exascale | |
| Wang et al. | A four‐dimensional variational constrained neural network‐based data assimilation method | |
| US20220121924A1 (en) | Configuring a neural network using smoothing splines | |
| CN115392594B (zh) | 一种基于神经网络和特征筛选的用电负荷模型训练方法 | |
| Liu et al. | Application of least square support vector machine based on particle swarm optimization to chaotic time series prediction | |
| Xu et al. | Automated Few-Shot Time Series Forecasting based on Bi-level Programming | |
| Wang et al. | GCNInformer: A combined deep learning model based on GCN and Informer for wind power forecasting | |
| Xu et al. | Applying an improved elephant herding optimization algorithm with spark-based parallelization to feature selection for intrusion detection | |
| Faqih et al. | Multi-Step Ahead Prediction of Lorenz's Chaotic System Using SOM ELM-RBFNN | |
| Xue et al. | An improved extreme learning machine based on variable-length particle swarm optimization | |
| CN114662658A (zh) | 一种基于lstm神经网络的片上光网络热点预测方法 | |
| Ge et al. | Crowd evolution method based on intelligence level clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |