CN115640901A - 一种基于混合神经网络和生成对抗的小样本负荷预测方法 - Google Patents

一种基于混合神经网络和生成对抗的小样本负荷预测方法 Download PDF

Info

Publication number
CN115640901A
CN115640901A CN202211365088.8A CN202211365088A CN115640901A CN 115640901 A CN115640901 A CN 115640901A CN 202211365088 A CN202211365088 A CN 202211365088A CN 115640901 A CN115640901 A CN 115640901A
Authority
CN
China
Prior art keywords
load
sou
tar
neural network
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211365088.8A
Other languages
English (en)
Inventor
刘俊峰
卢俊菠
曾君
陈渊睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202211365088.8A priority Critical patent/CN115640901A/zh
Publication of CN115640901A publication Critical patent/CN115640901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于混合神经网络和生成对抗的小样本负荷预测方法。所述方法包括以下步骤：采集历史用户用电数据和对应天气、日期特征；构建负荷特征输入矩阵；提取历史用户和新增用户的高维负荷特征，送入负荷预测神经网络中进行预训练；固定源领域负荷特征提取器参数，并构造目标领域负荷特征提取器，更新目标领域特征提取器参数；将对抗训练得到的目标领域特征提取器G2与预训练的负荷预测神经网络进行连接，应用于目标领域新增用户负荷预测。本发明通过不同领域间知识的迁移，充分利用了源领域已有的大量历史负荷知识，有效解决了电力系统中新增用户用电数据不足时日前负荷预测精度不足的问题，充分发挥了历史负荷数据的价值。

Description

一种基于混合神经网络和生成对抗的小样本负荷预测方法
技术领域
本发明涉及电力负荷预测技术领域，尤其涉及一种基于混合神经网络和生成对抗的小样本负荷预测方法。
背景技术
近些年来，随着国民经济的发展和社会生活水平的提高，各行各业对电能的需求正在不断提高。合理利用能源并维持电网与社会各行业的电力供需平衡是一项重大的民生问题。电力负荷的精准预测不仅仅是实现电网经济运行、合理进行调度的一项重要手段，也是电力系统管理中的一项重要内容。目前，得益于计算机算力的提高，各种基于人工智能的深度学习方法被应用于电力负荷预测当中，高精度的预测结果不但保障了电力系统的经济、安全运行，而且也为大量的工商业用户合理安排用电计划、优化节能提供了坚实的保障。虽然基于数据驱动的深度学习方法在电力负荷预测方面已经取得了良好的表现，尤其对在预测周期在几天到几周内的短期电力负荷预测，但是仍然有一些不足之处。原有的深度学习预测模型通常是对电力系统中已有用户信息进行大量训练而得到的，当系统中出现新增加的工商业用户时，由于运行时间短、可利用数据少，无法采用基于深度学习的方法进行负荷变化的预测。同时，新增用户不同的工作模式会导致不同的数据分布差异，这会使得原有深度预测模型的泛化能力降低，甚至出现大幅偏差。因此，如何对电力系统中新增用户进行原有预测知识的迁移，增强已有预测模型在不同用电模式下的泛化能力是一个亟待解决的问题。目前已有相关研究对类似问题做出了探索，如现有技术中的一种基于生成对抗网络的综合能源系统负荷场景生成方法(CN111950868A)通过生成对抗网络学习已有负荷时序数据的概率分布，生成不同的综合能源系统真实场景，以解决真实数据缺乏的问题。现有技术中的基于C-GAN迁移学习的IES不完备数据负荷预测方法及系统(CN111191835A)针对综合能源系统中数据不完备的问题，通过一种C-GAN(条件生成对抗网络)对样本进行了扩充。上述方法均着重于迁移学习模型结构构造和小样本数据自身特点，并没有考虑不同领域之间样本分布的特征差异性。
发明内容
本发明针对现有技术中的缺点与问题，同时考虑了不同领域间样本特征分布的相似性差异，提出了一种基于混合神经网络和生成对抗的小样本负荷预测方法，克服了传统人工智能方法在电力系统中出现新增工商业用户时的不足，解决了小样本新增用户不同用能模式下导致的数据特征分不同的问题，可以通过迁移学习的方法对已有模型进行再训练从而实现小样本下用户用电数据下的高精度负荷预测，为提高负荷预测模型的泛化能力提供了一种有效的解决思路。
本发明的目的至少通过如下技术方案之一实现。
一种基于混合神经网络和生成对抗的小样本负荷预测方法，包括以下步骤：
S1、确定与新增用户具有相似用电行为的历史用户，使用智能电表采集历史用户用电数据和对应天气、日期特征；
S2、构建负荷特征输入矩阵，确定输入预测模型的源领域用户历史数据滞后长度；
S3、构造负荷特征提取器，利用负荷特征提取器提取历史用户和新增用户的高维负荷特征，将历史用户高维负荷特征送入负荷预测神经网络中进行预训练，直至负荷预测神经网络收敛；
S4、固定源领域负荷特征提取器G1参数，并构造目标领域负荷特征提取器G2，引入生成对抗网络对齐源领域负荷与目标领域负荷在高维空间的分布，计算源领域和目标领域分布间的wasserstein距离并以此更新目标领域特征提取器参数；
S5、将对抗训练得到的目标领域特征提取器G2与预训练的负荷预测神经网络进行连接，此时G2已学习到源领域和目标领域的一致性特征，且目标领域负荷特征总属于数据量充足的源领域负荷特征的子类别，因此可将对该类特征具有良好预测能力的预测网络应用于目标领域新增用户负荷预测。
进一步地，步骤S1中，确定与新增用户具有相似用电行为的历史用户所用方法为实序列编辑距离法(edit distane on real sequence,EDR)，与传统度量方法不同，实序列编辑距离方法可以对不同长度序列向量进行相似性度量，具体如下：
S1.1、将历史用户负荷数据设置为待选取的源领域数据，新增用户负荷数据设置为目标领域数据，假设待选取源领域和目标领域负荷特征数据分别为向量Vsou、Vtar，其维度分别为m和n，初始化生成一个大小为(m+1)×(n+1)大小的空矩阵Mat；
S1.2、初始化矩阵Mat的第一行和第一列，Mat[0][b]＝b，Mat[a][0]＝a，a＝0，1…m，b＝0，1…n；
S1.3、依次计算矩阵Mat中每个元素之间的距离
Figure BDA0003921195540000031
其中vsou(c)表示源领域中第c个负荷特征元素的数值、vtar(e)表示目标领域中第e个负荷特征元素的数值；；
S1.4、若d(vsou(c),vtar(e))≤ε的令ρ＝1，否则ρ＝0，ε为阈值，ρ为惩罚因子；
S1.5、根据迭代公式Mat[a][b]＝min{Mat[a][b+1]+1,Mat[a+1][b]+1,Mat[a][b]+ρ}，填充矩阵Mat的元素值；
S1.6、将a，b分别增加1，并重复步骤S1.3-S1.5，直至矩阵Mat中所有元素完成遍历；返回矩阵Mat中最后一个元素Mat[m][n]，则向量Vsou和Vtar之间的相似性为
Figure BDA0003921195540000041
相似性γ(Vsou,Vtar)小于设定阈值的历史用户数据序列为源领域数据。
进一步地，步骤S1中，所述智能电表采集历史用户用电数据为有功功率数据，采样间隔为30min；
天气特征包括温度、光照强度、湿度、气压、风向、风速、能见度共7个维度气象特征，采样间隔为30min；
日期特征包括工作日和节假日。
进一步地，步骤S2中，构建负荷特征输入矩阵为d×k大小的二维特征矩阵，d为待确定的历史负荷天数，k为负荷特征维数，包括天气特征、日期特征共9维；
确定输入预测模型的源领域用户历史数据滞后长度所用方法包括灰色关联分析法。
进一步地，步骤S3中，构造负荷特征提取器为二维卷积神经网络，包括用于提取非线性特征的卷积层、对特征降维的池化层、激活函数、防止过拟合的批标准化层和随机失活层和全连接层；
高维负荷特征为负荷特征提取器的输出特征，负荷特征提取器包括顺次连接的第一卷积层Conv2d1、第一池化层Maxpool1、第二卷积层Conv2d2、第二池化层Maxpool2、第三卷积层Conv2d3、第一全连接层Dense1和第二全连接层Dense2。
进一步地，负荷预测神经网络为长短期记忆(LSTM)网络，其内部结构包括2层LSTM层，2层LSTM层后拼接两个全连接层将输出维度变为所需维度，LSTM网络能够对时间序列的历史信息进行记忆，避免了序列信息丢失的问题；
预训练为将源领域用户80％划分为训练集，20％划分为测试集，依照构造的d×k大小的特征输入矩阵输入负荷特征提取器中，并与负荷预测神经网络相连接，输出标签为待预测日48点电负荷，单位为kW；并通过随机梯度更新法更新负荷特征提取器和负荷预测神经网络的参数。
进一步地，步骤S4中，目标领域负荷特征提取器G2与源领域负荷特征提取器G1的结构与步骤S3中构造的负荷特征提取器的结构相同，但权重参数初始化为均值为0，方差为1的正态分布。
进一步地，步骤S4中，所述生成对抗网络的对齐训练过程具体如下：
S4.1、分别获得源领域和目标领域的负荷特征矩阵Fsou和Ftar，分别输入源领域负荷特征提取器G1和目标领域负荷特征提取器G2，分别得到非线性高维特征Hsou＝G1(xsou；θsou)和Htar＝G2(xtar；θtar)；其中，xsou、θsou、Hsou分别表示源领域输入负荷原始样本数据、源领域负荷特征提取器G1的网络参数、源领域负荷样本经源领域负荷特征提取器G1提取的高维特征；xtar、θtar、Htar分别表示目标领域输入的负荷原始样本数据、目标领域负荷特征提取器G2的网络参数、目标领域负荷样本经目标领域负荷特征提取器G2提取的高维特征；
采取wasserstein距离衡量源领域和目标领域高维特征分布差异，即WGAN(wasserstein generative adversarial network,WGAN)，wasserstein距离的求解过程如下：
Figure BDA0003921195540000051
其中，Π(Hsou,Htar)表示源领域高维特征Hsou和目标领域高维特征Htar的联合分布；W(Hsou,Htar)为高维特征间的wasserstein距离；在所有可能的联合分布中，样本距离的期望的下确界即为它们之间的wasserstein距离；
其中，本发明的改进之处在于利用最优传输理论求解近似wasserstein距离，只需进行较少次数的迭代便可以求出结果，求解迅速可以满足负荷预测的实时性要求。利用最优传输理论加入正则项进行松弛，将高维特征间的wasserstein距离W(Hsou,Htar)进行如下转换：
Figure BDA0003921195540000061
其中，msou、ntar分别表示源领域高维特征样本个数和目标领域高维特征样本个数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价，代价距离用欧式距离表示；μ表示正则项系数；h(T)表示正则项；T表示传输计划；Tij表示从Hsou中的第i个负荷特征传输到目标域Htar中的第j个负荷特征的数据量；此处将W(Hsou,Htar)的求解转换为最优传输计划Tbest的求解；
最优传输计划Tbest的求解采用近端点迭代法进行，其迭代求解表达式为：
Figure BDA0003921195540000062
其中，t表示迭代次数；β表示变化步长；h(T)表示传输计划T的熵函数形式；Tbest的求解可以通过sinkhorn算法转换为以下形式：
Figure BDA0003921195540000071
其中，Tijbest表示从Hsou的第i个特征传输到Htar的第j个特征的最优数据量；R为中间矩阵；R′为中间矩阵R的转置；Rij表示从Hsou的第i个特征传输到Htar的第j个特征的中间代价；ε为(0,1)之间的变化系数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价；p(t)和q(t)为当前迭代次数的中间向量；p(t+1)和q(t+1)为下一迭代的中间向量，p(t)和q(t)初始化为输入特征规模大小的倒数
Figure BDA0003921195540000072
和
Figure BDA0003921195540000073
u和v为两个元素全为1的矩阵；
S4.2、求出wasserstein距离W(Hsou,Htar)后，为加强源领域和目标领域高维特征Hsou和Htar内部的对齐，引入局部损失Lfea：
Figure BDA0003921195540000074
其中，M为目标领域负荷特征提取器G2与源领域负荷特征提取器G1中的卷积层层数；G1f(xsou)表示G1第f层卷积输出特征；G2f(xtar)表示G2第f层卷积输出特征；总损失Losstotal表示为：
Figure BDA0003921195540000075
其中，α1和α2为权重系数；训练时利用反向传播算法不断更新生成器和判别器；
对生成器来说，希望尽可能生成相似分布的目标领域特征，因此要最小化总损失Losstotal，
Figure BDA0003921195540000081
则生成器G2的参数更新方式为：
Figure BDA0003921195540000082
其中，
Figure BDA0003921195540000083
为目标领域负荷特征提取器G2参数；
Figure BDA0003921195540000084
为学习率；
Figure BDA0003921195540000085
为目标领域负荷特征提取器G2的梯度；
对于判别器来说希望能够学习到源领域和目标领域间的一致性，要最大化总损失，LD＝-Losstotal，则判别器参数的更新方式为：
Figure BDA0003921195540000086
其中，θD为判别器D网络参数；αD为学习率；
Figure BDA0003921195540000087
为D的梯度；重复步骤S4.1和步骤S4.2中训练步骤，直至网络收敛；
在进行生成对抗网络训练时，生成器希望将目标领域生成数据尽可能接近源领域数据分布，而判别器则负责区分开目标领域生成数据和源领域真实数据，经过不断的对抗博弈，最终使得G2能够学习到源领域和目标领域的一致性特征，由于目标领域特征总属于源领域的子类，因此可将对该类特征具有良好预测能力的预测网络应用于目标领域负荷预测。
进一步地，步骤S4.2中，判别器D采用3层全连接神经网络构成，第1层和第2层全连接神经网络层均采用ReLu()激活函数进行激活。
进一步地，负荷预测神经网络所用损失函数为平均平方误差损失函数。
本发明与现有技术相比，具有如下优点与有益效果：
本发明提出了一种基于混合神经网络和生成对抗的小样本用户负荷预测方法，通过二维卷积神经网络实现了对负荷特征的深层次自动提取。同时引入生成对抗网络减小了电力系统中新增用户带来的不同用电特征分布差异，使得可以将原有训练好的预测模型迁移至新增用户中用于负荷预测，避免了重头开始训练模型所需花费的额外成本。此外，本发明采用近端点迭代法求解wasserstein距离，保证了生成对抗网络训练时对参数的不稳定性，可用于现场就地预测，具有重要意义和社会价值。
附图说明
图1为本发明实施例中一种基于混合神经网络和生成对抗的小样本负荷预测方法的步骤流程图。
图2a、图2b和图2c分别为本发明不同实施例中源领域选取结果图。
图3a、图3b和图3c分别为本发明不同实施例中的滞后关联度结果图。
图4为本发明实施例中的特征提取器结构图。
图5为本发明实施例中的LSTM单元结构图。
图6为本发明实施例中的WGAN对抗训练损失变化图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
实施例：
本发明的仿真算例为某地区4个工业园区A、B、C、D的真实用户负荷数据，时间范围为2011年1月1日至2012年12月31日的电力负荷。其中，园区A、B、C设定为源领域，园区D中随机选择3个不同15日电力负荷作为目标领域，在3个实施例中，分别在三个数据集上进行算例验证。实验平台为Intel(R)Xeon(R)@2.20GHz，GPU为Tesla P100，内存大小为16G，编程语言为python3，深度学习框架为pytorch1.5。
一种基于混合神经网络和生成对抗的小样本负荷预测方法，如图1所示，包括以下步骤：
S1、确定与新增用户具有相似用电行为的历史用户，使用智能电表采集历史用户用电数据和对应天气、日期特征；
确定与新增用户具有相似用电行为的历史用户所用方法为实序列编辑距离法(edit distane on real sequence,EDR)，与传统度量方法不同，实序列编辑距离方法可以对不同长度序列向量进行相似性度量，具体如下：
S1.1、将历史用户负荷数据设置为待选取的源领域数据，新增用户负荷数据设置为目标领域数据，假设待选取源领域和目标领域负荷特征数据分别为向量Vsou、Vtar，其维度分别为m和n，初始化生成一个大小为(m+1)×(n+1)大小的空矩阵Mat；
本实施例中，随机选择13、14、15、16、17的维度大小，将待选取历史用户数据近似按目标领域数据长度天进行随机划分；即m＝13、14、15、16、17，n＝15；
S1.2、初始化矩阵Mat的第一行和第一列，Mat[0][b]＝b，Mat[a][0]＝a，a＝0，1…m，b＝0，1…n；
S1.3、依次计算矩阵Mat中每个元素之间的距离
Figure BDA0003921195540000101
其中vsou(c)表示源领域中第c个负荷特征元素的数值、vtar(e)表示目标领域中第e个负荷特征元素的数值；；
S1.4、若d(vsou(c),vtar(e))≤ε的令ρ＝1，否则ρ＝0，ε为阈值，ρ为惩罚因子；
S1.5、根据迭代公式Mat[a][b]＝min{Mat[a][b+1]+1,Mat[a+1][b]+1,Mat[a][b]+ρ}，填充矩阵Mat的元素值；
S1.6、将a，b分别增加1，并重复步骤S1.3-S1.5，直至矩阵Mat中所有元素完成遍历；返回矩阵Mat中最后一个元素Mat[m][n]，则向量Vsou和Vtar之间的相似性为
Figure BDA0003921195540000111
相似性γ(Vsou,Vtar)小于设定阈值的历史用户数据序列为源领域数据，本实施例中，阈值设定为0.5。源领域选取结果见图2a、图2b、图2c所示。
所述智能电表采集历史用户用电数据为有功功率数据，采样间隔为30min；
天气特征包括温度、光照强度、湿度、气压、风向、风速、能见度共7个维度气象特征，采样间隔为30min；
日期特征包括工作日和节假日。
S2、构建负荷特征输入矩阵，确定输入预测模型的源领域用户历史数据滞后长度；
构建负荷特征输入矩阵为d×k大小的二维特征矩阵，d为待确定的历史负荷天数，k为负荷特征维数，包括天气特征、日期特征共9维；
确定输入预测模型的源领域用户历史数据滞后长度所用方法包括灰色关联分析法，当关联度出现下降时即确定该长度为转折点。最终确定滞后长度为3，滞后关联度结果如图3a、图3b、图3c所示。
S3、构造负荷特征提取器，利用负荷特征提取器提取历史用户和新增用户的高维负荷特征，将历史用户高维负荷特征送入负荷预测神经网络中进行预训练，直至负荷预测神经网络收敛；
构造负荷特征提取器为二维卷积神经网络，包括用于提取非线性特征的卷积层、对特征降维的池化层、激活函数、防止过拟合的批标准化层和随机失活层和全连接层；
高维负荷特征为负荷特征提取器的输出特征，如图4所示，负荷特征提取器包括顺次连接的第一卷积层Conv2d1、第一池化层Maxpool1、第二卷积层Conv2d2、第二池化层Maxpool2、第三卷积层Conv2d3、第一全连接层Dense1和第二全连接层Dense2；
本实施例中，负荷特征提取器的输入是大小为batch×144×9的负荷特征输入矩阵，batch为批次大小；第一卷积层Conv2d1中，有8个大小为5×5的卷积核，激活函数为ReLU激活函数；第一池化层Maxpool1中，池化核大小为2×2；第二卷积层Conv2d2中，有16个大小为3×3的卷积核，激活函数为ReLU激活函数；第二池化层Maxpool2中，池化核大小为2×2；第三卷积层Conv2d3中，有64个大小为3×3的卷积核，后连接一个批标准化层BatchNorm防止过拟合；第一全连接层Dense1中，神经元数量为64，激活函数为ReLU激活函数，为防止过拟合加入Dropout随机失活层，随机失活率为0.2；第二全连接层Dense2中，神经元数量为200，为防止过拟合加入Dropout随机失活层，随机失活率为0.2。经负荷特征提取器后，输出高维负荷特征的大小为batch×4×4×64。
负荷预测神经网络为长短期记忆(LSTM)网络，如图5所示，其内部结构包括2层LSTM层，隐藏层神经元大小分别为50、60；2层LSTM层后拼接两个全连接层将输出维度变为所需维度，全连接层神经元数量分别为86、48，LSTM网络能够对时间序列的历史信息进行记忆，避免了序列信息丢失的问题；
预训练为将源领域用户80％划分为训练集，20％划分为测试集，依照构造的d×k大小的特征输入矩阵输入负荷特征提取器中，并与负荷预测神经网络相连接，输出标签为待预测日48点电负荷，单位为kW；并通过随机梯度更新法更新负荷特征提取器和负荷预测神经网络的参数。
S4、固定源领域负荷特征提取器G1参数，并构造目标领域负荷特征提取器G2，引入生成对抗网络对齐源领域负荷与目标领域负荷在高维空间的分布，计算源领域和目标领域分布间的wasserstein距离并以此更新目标领域特征提取器参数；
目标领域负荷特征提取器G2与源领域负荷特征提取器G1的结构与步骤S3中构造的负荷特征提取器的结构相同，但权重参数初始化为均值为0，方差为1的正态分布；所述生成对抗网络的对齐训练过程具体如下：
S4.1、分别获得源领域和目标领域的负荷特征矩阵Fsou和Ftar，分别输入源领域负荷特征提取器G1和目标领域负荷特征提取器G2，分别得到非线性高维特征Hsou＝G1(xsou；θsou)和Htar＝G2(xtar；θtar)；大小均为batch×4×4×64；其中，xsou、θsou、Hsou分别表示源领域输入负荷原始样本数据、源领域负荷特征提取器G1的网络参数、源领域负荷样本经源领域负荷特征提取器G1提取的高维特征；xtar、θtar、Htar分别表示目标领域输入的负荷原始样本数据、目标领域负荷特征提取器G2的网络参数、目标领域负荷样本经目标领域负荷特征提取器G2提取的高维特征；
采取wasserstein距离衡量源领域和目标领域高维特征分布差异，即WGAN(wasserstein generative adversarial network,WGAN)，wasserstein距离的求解过程如下：
Figure BDA0003921195540000131
其中，∏(Hsou,Htar)表示源领域高维特征Hsou和目标领域高维特征Htar的联合分布；W(Hsou,Htar)为高维特征间的wasserstein距离；在所有可能的联合分布中，样本距离的期望的下确界即为它们之间的wasserstein距离；
其中，本发明的改进之处在于利用最优传输理论求解近似wasserstein距离，只需进行较少次数的迭代便可以求出结果，求解迅速可以满足负荷预测的实时性要求。利用最优传输理论加入正则项进行松弛，将高维特征间的wasserstein距离W(Hsou,Htar)进行如下转换：
Figure BDA0003921195540000141
其中，msou、ntar分别表示源领域高维特征样本个数和目标领域高维特征样本个数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价，代价距离用欧式距离表示；μ表示正则项系数；h(T)表示正则项；T表示传输计划；Tij表示从Hsou中的第i个负荷特征传输到目标域Htar中的第j个负荷特征的数据量；此处将W(Hsou,Htar)的求解转换为最优传输计划Tbest的求解；
最优传输计划Tbest的求解采用近端点迭代法进行，其迭代求解表达式为：
Figure BDA0003921195540000142
其中，t表示迭代次数；β表示变化步长；h(T)表示传输计划T的熵函数形式；Tbest的求解可以通过sinkhorn算法转换为以下形式：
Figure BDA0003921195540000143
其中，Tijbest表示从Hsou的第i个特征传输到Htar的第j个特征的最优数据量；R为中间矩阵；R′为R矩阵的转置；Rij表示从Hsou的第i个特征传输到Htar的第j个特征的中间代价；ε为(0,1)之间的变化系数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价；p(t)和q(t)为当前迭代次数的中间向量；p(t+1)和q(t+1)为下一迭代的中间向量，p(t)和q(t)初始化为输入特征规模大小的倒数
Figure BDA0003921195540000151
和
Figure BDA0003921195540000152
u和v为两个元素全为1的矩阵；
S4.2、求出wasserstein距离W(Hsou,Htar)后，为加强源领域和目标领域高维特征Hsou和Htar内部的对齐，引入局部损失Lfea：
Figure BDA0003921195540000153
其中，M为目标领域负荷特征提取器G2与源领域负荷特征提取器G1中的卷积层层数；G1f(xsou)表示G1第f层卷积输出特征；G2f(xtar)表示G2第f层卷积输出特征；总损失Losstotal表示为：
Figure BDA0003921195540000154
其中，α1和α2为权重系数；训练时利用反向传播算法不断更新生成器和判别器；
对生成器来说，希望尽可能生成相似分布的目标领域特征，因此要最小化总损失Losstotal，
Figure BDA0003921195540000155
则生成器G2的参数更新方式为：
Figure BDA0003921195540000156
其中，
Figure BDA0003921195540000157
为目标领域负荷特征提取器G2参数；
Figure BDA0003921195540000158
为学习率；
Figure BDA0003921195540000159
为目标领域负荷特征提取器G2的梯度；
对于判别器来说希望能够学习到源领域和目标领域间的一致性，要最大化总损失，LD＝-Losstotal，则判别器参数的更新方式为：
Figure BDA0003921195540000161
其中，θD为判别器D网络参数；αD为学习率；
Figure BDA0003921195540000162
为D的梯度；重复步骤S4.1和步骤S4.2中训练步骤，直至网络收敛；
在进行生成对抗网络训练时，生成器希望将目标领域生成数据尽可能接近源领域数据分布，而判别器则负责区分开目标领域生成数据和源领域真实数据，经过不断的对抗博弈，最终使得G2能够学习到源领域和目标领域的一致性特征，由于目标领域特征总属于源领域的子类，因此可将对该类特征具有良好预测能力的预测网络应用于目标领域负荷预测，最终预测结果为目标领域后一日48点负荷变化。
负荷预测神经网络所用损失函数为平均平方误差损失函数。
判别器D采用3层全连接神经网络构成，第1层和第2层全连接神经网络层均采用ReLu()激活函数进行激活。
S5、将对抗训练得到的目标领域特征提取器G2与预训练的负荷预测神经网络进行连接，此时G2已学习到源领域和目标领域的一致性特征，且目标领域负荷特征总属于数据量充足的源领域负荷特征的子类别，因此可将对该类特征具有良好预测能力的预测网络应用于目标领域新增用户负荷预测。
预测评价指标采用平均绝对百分误差yMAPE(MAPE，mean absolute percenterror)，其表达式如下：
Figure BDA0003921195540000163
其中，xreal(h)表示第h个时刻负荷的实际值；xpred(h)表示第h个时刻负荷的预测值；N为预测次数；yMAPE越小，说明模型的预测性能越好。
训练损失曲线和预测结果分别如图6、表1所示。表1为不同预测算法预测结果对比，其中进行了特征分布对齐的模型称为进行了迁移的模型，对比预测算法为有迁移无局部损失的CNN-LSTM、无迁移CNN-LSTM、LSTM、支持向量回归(SVR)等主流负荷预测模型。实验数据集为前面所述3个小样本数据集。从表中可以看出，本发明所提出的基于混合神经网络和生成对抗的小样本短期电力负荷预测方法在所有数据集上与其他传统人工智能模型相比较均具有更高的预测精度。
表1不同预测算法预测结果
Figure BDA0003921195540000171
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于，包括以下步骤：
S1、确定与新增用户具有相似用电行为的历史用户，使用智能电表采集历史用户用电数据和对应天气、日期特征；
S2、构建负荷特征输入矩阵，确定输入预测模型的源领域用户历史数据滞后长度；
S3、构造负荷特征提取器，利用负荷特征提取器提取历史用户和新增用户的高维负荷特征，将历史用户高维负荷特征送入负荷预测神经网络中进行预训练，直至负荷预测神经网络收敛；
S4、固定源领域负荷特征提取器G1参数，并构造目标领域负荷特征提取器G2，引入生成对抗网络对齐源领域负荷与目标领域负荷在高维空间的分布，计算源领域和目标领域分布间的wasserstein距离并以此更新目标领域特征提取器参数；
S5、将对抗训练得到的目标领域特征提取器G2与预训练的负荷预测神经网络进行连接，应用于目标领域新增用户负荷预测。
2.根据权利要求1所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S1中，确定与新增用户具有相似用电行为的历史用户所用方法为实序列编辑距离法，具体如下：
S1.1、将历史用户负荷数据设置为待选取的源领域数据，新增用户负荷数据设置为目标领域数据，假设待选取源领域和目标领域负荷特征数据分别为向量Vsou、Vtar，其维度分别为m和n，初始化生成一个大小为(m+1)×(n+1)大小的空矩阵Mat；
S1.2、初始化矩阵Mat的第一行和第一列，Mat[0][b]＝b，Mat[a][0]＝a，a＝0，1…m，b＝0，1…n；
S1.3、依次计算矩阵Mat中每个元素之间的距离
Figure FDA0003921195530000021
其中vsou(c)表示源领域中第c个负荷特征元素的数值、vtar(e)表示目标领域中第e个负荷特征元素的数值；；
S1.4、若d(vsou(c),vtar(e))≤ε的令ρ＝1，否则ρ＝0，ε为阈值，ρ为惩罚因子；
S1.5、根据迭代公式Mat[a][b]＝min{Mat[a][b+1]+1,Mat[a+1][b]+1,Mat[a][b]+ρ}，填充矩阵Mat的元素值；
S1.6、将a，b分别增加1，并重复步骤S1.3-S1.5，直至矩阵Mat中所有元素完成遍历；返回矩阵Mat中最后一个元素Mat[m][n]，则向量Vsou和Vtar之间的相似性为
Figure FDA0003921195530000022
相似性γ(Vsou,Vtar)小于设定阈值的历史用户数据序列为源领域数据。
3.根据权利要求1所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S1中，所述智能电表采集历史用户用电数据为有功功率数据，采样间隔为30min；
天气特征包括温度、光照强度、湿度、气压、风向、风速、能见度共7个维度气象特征，采样间隔为30min；
日期特征包括工作日和节假日。
4.根据权利要求1所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S2中，构建负荷特征输入矩阵为d×k大小的二维特征矩阵，d为待确定的历史负荷天数，k为负荷特征维数，包括天气特征、日期特征共9维；
确定输入预测模型的源领域用户历史数据滞后长度所用方法包括灰色关联分析法。
5.根据权利要求1所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S3中，构造负荷特征提取器为二维卷积神经网络，包括用于提取非线性特征的卷积层、对特征降维的池化层、激活函数、防止过拟合的批标准化层和随机失活层和全连接层；
高维负荷特征为负荷特征提取器的输出特征，负荷特征提取器包括顺次连接的第一卷积层Conv2d1、第一池化层Maxpool1、第二卷积层Conv2d2、第二池化层Maxpool2、第三卷积层Conv2d3、第一全连接层Dense1和第二全连接层Dense2。
6.根据权利要求5所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：负荷预测神经网络为长短期记忆(LSTM)网络，其内部结构包括2层LSTM层，2层LSTM层后拼接两个全连接层将输出维度变为所需维度，LSTM网络能够对时间序列的历史信息进行记忆，避免了序列信息丢失的问题；
预训练为将源领域用户80％划分为训练集，20％划分为测试集，依照构造的d×k大小的特征输入矩阵输入负荷特征提取器中，并与负荷预测神经网络相连接，输出标签为待预测日48点电负荷，单位为kW；并通过随机梯度更新法更新负荷特征提取器和负荷预测神经网络的参数。
7.根据权利要求5所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S4中，目标领域负荷特征提取器G2与源领域负荷特征提取器G1的结构与步骤S3中构造的负荷特征提取器的结构相同，但权重参数初始化为均值为0，方差为1的正态分布。
8.根据权利要求1～7任一项所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S4中，所述生成对抗网络的对齐训练过程具体如下：
S4.1、分别获得源领域和目标领域的负荷特征矩阵Fsou和Ftar，分别输入源领域负荷特征提取器G1和目标领域负荷特征提取器G2，分别得到非线性高维特征Hsou＝G1(xsou；θsou)和Htar＝G2(xtar；θtar)；其中，xsou、θsou、Hsou分别表示源领域输入负荷原始样本数据、源领域负荷特征提取器G1的网络参数、源领域负荷样本经源领域负荷特征提取器G1提取的高维特征；xtar、θtar、Htar分别表示目标领域输入的负荷原始样本数据、目标领域负荷特征提取器G2的网络参数、目标领域负荷样本经目标领域负荷特征提取器G2提取的高维特征；
采取wasserstein距离衡量源领域和目标领域高维特征分布差异，wasserstein距离的求解过程如下：
Figure FDA0003921195530000041
其中，∏(Hsou,Htar)表示源领域高维特征Hsou和目标领域高维特征Htar的联合分布；W(Hsou,Htar)为高维特征间的wasserstein距离；在所有可能的联合分布中，样本距离的期望的下确界即为它们之间的wasserstein距离；
利用最优传输理论加入正则项进行松弛，将高维特征间的wasserstein距离W(Hsou,Htar)进行如下转换：
Figure FDA0003921195530000042
其中，msou、ntar分别表示源领域高维特征样本个数和目标领域高维特征样本个数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价，代价距离用欧式距离表示；μ表示正则项系数；h(T)表示正则项；T表示传输计划；Tij表示从Hsou中的第i个负荷特征传输到目标域Htar中的第j个负荷特征的数据量；此处将W(Hsou,Htar)的求解转换为最优传输计划Tbest的求解；
最优传输计划Tbest的求解采用近端点迭代法进行，其迭代求解表达式为：
Figure FDA0003921195530000051
其中，t表示迭代次数；β表示变化步长；h(T)表示传输计划T的熵函数形式；Tbest的求解可以通过sinkhorn算法转换为以下形式：
Figure FDA0003921195530000052
其中，Tijbest表示从Hsou的第i个特征传输到Htar的第j个特征的最优数据量；R为中间矩阵；R′为中间矩阵R的转置；Rij表示从Hsou的第i个特征传输到Htar的第j个特征的中间代价；ε为(0,1)之间的变化系数；Cij为Hsou中第i个特征传输到Htar中第j个高维特征所用代价；p(t)和q(t)为当前迭代次数的中间向量；p(t+1)和q(t+1)为下一迭代的中间向量，p(t)和q(t)初始化为输入特征规模大小的倒数
Figure FDA0003921195530000053
和
Figure FDA0003921195530000054
u和v为两个元素全为1的矩阵；
S4.2、求出wasserstein距离W(Hsou,Htar)后，为加强源领域和目标领域高维特征Hsou和Htar内部的对齐，引入局部损失Lfea：
Figure FDA0003921195530000061
其中，M为目标领域负荷特征提取器G2与源领域负荷特征提取器G1中的卷积层层数；G1f(xsou)表示G1第f层卷积输出特征；G2f(xtar)表示G2第f层卷积输出特征；总损失Losstotal表示为：
Figure FDA0003921195530000062
其中，α1和α2为权重系数；训练时利用反向传播算法不断更新生成器和判别器；
对生成器来说，希望尽可能生成相似分布的目标领域特征，因此要最小化总损失Losstotal，
Figure FDA0003921195530000067
则生成器G2的参数更新方式为：
Figure FDA0003921195530000063
其中，
Figure FDA0003921195530000068
为目标领域负荷特征提取器G2参数；
Figure FDA0003921195530000069
为学习率；
Figure FDA0003921195530000064
为目标领域负荷特征提取器G2的梯度；
对于判别器来说希望能够学习到源领域和目标领域间的一致性，要最大化总损失，LD＝-Losstotal，则判别器参数的更新方式为：
Figure FDA0003921195530000065
其中，θD为判别器D网络参数；αD为学习率；
Figure FDA0003921195530000066
为D的梯度；重复步骤S4.1和步骤S4.2中训练步骤，直至网络收敛。
9.根据权利要求8所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：步骤S4.2中，判别器D采用3层全连接神经网络构成，第1层和第2层全连接神经网络层均采用ReLu()激活函数进行激活。
10.根据权利要求6所述的一种基于混合神经网络和生成对抗的小样本负荷预测方法，其特征在于：负荷预测神经网络所用损失函数为平均平方误差损失函数。
CN202211365088.8A 2022-11-01 2022-11-01 一种基于混合神经网络和生成对抗的小样本负荷预测方法 Pending CN115640901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211365088.8A CN115640901A (zh) 2022-11-01 2022-11-01 一种基于混合神经网络和生成对抗的小样本负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211365088.8A CN115640901A (zh) 2022-11-01 2022-11-01 一种基于混合神经网络和生成对抗的小样本负荷预测方法

Publications (1)

Publication Number Publication Date
CN115640901A true CN115640901A (zh) 2023-01-24

Family

ID=84946405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211365088.8A Pending CN115640901A (zh) 2022-11-01 2022-11-01 一种基于混合神经网络和生成对抗的小样本负荷预测方法

Country Status (1)

Country Link
CN (1) CN115640901A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117239739A (zh) * 2023-11-13 2023-12-15 国网冀北电力有限公司 一种知识大模型预测用户侧负荷方法、装置及设备
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117239739A (zh) * 2023-11-13 2023-12-15 国网冀北电力有限公司 一种知识大模型预测用户侧负荷方法、装置及设备
CN117239739B (zh) * 2023-11-13 2024-02-02 国网冀北电力有限公司 一种知识大模型预测用户侧负荷方法、装置及设备
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及系统

Similar Documents

Publication Publication Date Title
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
Gao et al. Deep learning and transfer learning models of energy consumption forecasting for a building with poor information data
Saeed et al. Hybrid bidirectional LSTM model for short-term wind speed interval prediction
CN112653142A (zh) 优化深度Transformer网络的风电功率预测方法及系统
CN115640901A (zh) 一种基于混合神经网络和生成对抗的小样本负荷预测方法
CN114626512B (zh) 一种基于有向图神经网络的高温灾害预报方法
CN115688579B (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
Wahid et al. Statistical features based approach (SFBA) for hourly energy consumption prediction using neural network
Wang et al. An approach of recursive timing deep belief network for algal bloom forecasting
CN112330052A (zh) 一种配变负荷预测方法
Ma et al. An estimating combination method for interval forecasting of electrical load time series
Li et al. Forecasting of short-term photovoltaic power generation using combined interval type-2 Takagi-Sugeno-Kang fuzzy systems
CN115409369A (zh) 基于机理和数据混合驱动的综合能源系统可靠性评估方法
Li et al. Radial basis function neural network model for dissolved oxygen concentration prediction based on an enhanced clustering algorithm and Adam
Huang et al. Short-term load forecasting based on a hybrid neural network and phase space reconstruction
Chen et al. Short-term Wind Speed Forecasting Based on Singular Spectrum Analysis, Fuzzy C-Means Clustering, and Improved POABP
CN117439053A (zh) 一种Stacking集成模型电量预测方法、装置、存储介质
Yang Combination forecast of economic chaos based on improved genetic algorithm
CN115481788B (zh) 相变储能系统负荷预测方法及系统
CN114862032B (zh) 一种基于XGBoost-LSTM的电网负荷预测方法及装置
CN114821337B (zh) 基于时相一致性伪标签的半监督sar图像建筑区提取方法
CN116090635A (zh) 一种气象驱动的新能源发电功率预测方法
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN115828726A (zh) 基于机器学习的太阳能跨季节储热供热系统优化控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination