CN116502692A - 一种模型的训练方法、光伏发电功率的预测方法及设备 - Google Patents

一种模型的训练方法、光伏发电功率的预测方法及设备 Download PDF

Info

Publication number
CN116502692A
CN116502692A CN202310335408.3A CN202310335408A CN116502692A CN 116502692 A CN116502692 A CN 116502692A CN 202310335408 A CN202310335408 A CN 202310335408A CN 116502692 A CN116502692 A CN 116502692A
Authority
CN
China
Prior art keywords
model
data
sub
historical
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310335408.3A
Other languages
English (en)
Inventor
饶仲文
潘璐伽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310335408.3A priority Critical patent/CN116502692A/zh
Priority to CN202310891669.3A priority patent/CN117131974A/zh
Publication of CN116502692A publication Critical patent/CN116502692A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本申请公开了一种模型的训练方法、光伏发电功率的预测方法及设备,可应用于人工智能领域,该模型至少包括第一模型和第二模型,包括:获取包括预设时长的历史光伏发电功率数据、历史真实气象数据、历史预测气象数据的数据集,基于数据集确定每个模型各自损失函数的权重并构建目标损失函数,第一模型用于对历史光伏发电功率数据、历史预测气象数据进行全局表征,第二模型用于对历史预测气象数据进行局部表征,最后利用目标损失函数对各个模型进行训练。通过利用当前可提供的数据源,从不同模态数据(即历史光伏发电功率数据、历史真实/预测气象数据)、不同时间尺度(即预设时长)去捕获更完备的信息,从而去优化学习模型,可达到更高的预测精度。

Description

一种模型的训练方法、光伏发电功率的预测方法及设备
技术领域
本申请涉及机器学习领域,尤其涉及一种模型的训练方法、光伏发电功率的预测方法及设备。
背景技术
太阳能是一种清洁安全的可再生能源,但不能持续生产,其具有高波动性,这种波动性会对光伏发电并入电网系统提出重大挑战。因此,针对光伏发电功率的预测就尤为重要,光伏发电功率预测旨在准确估计光伏电站在不同时间粒度和时间尺度上的光能供应。
光伏发电功率的数值,和天气因素强相关。当前光伏发电功率预测方案主要有两种方式:1)基于历史数据,将此问题当做一个时序预测问题来进行处理,该方法通过在频域上随机采样,以期望从减低输入向量长度的角度来降低计算复杂度。2)主要从不同角度添加领域知识来约束或者完善模型学习过程,即把领域知识作为先验知识加入模型中起到约束和优化模型的作用。
上述方式1的这种采样对输入的信息必然是有损的,虽然可以通过采样率对运算性能和最终模型精度之间进行权衡,但是这种权衡本质上还是需要人为手动去介入优化超参数,此外,该方法模型具有一定的复杂度,需要大量数据进行驱动学习作为达成相应精度目标的基础;上述方式2中领域知识的添加,需要作为Loss约束参与模型训练中,因此其准确性高度受到上下界拟合函数精度的影响,且没有进行充足的消融实验论证其设计中约束的有效性。
发明内容
本申请实施例提供了一种模型的训练方法、光伏发电功率的预测方法及设备,用于从多数据源、多时间尺度的角度来探索如何进行完备的信息学习,从而获取更加高精度模型。具体是通过利用当前可提供的数据源,从不同的模态数据(即历史光伏发电功率数据、历史真实气象数据、历史预测气象数据等数据类型)、不同的时间尺度(即预设时长,如过去的24h,可自定义,定义的长度不同,时间尺度就不同)去捕获更完备的信息,从而去优化学习模型,可达到更高的预测精度。
基于此,本申请实施例提供以下技术方案:
第一方面,本申请实施例首先提供一种模型的训练方法,可用于人工智能领域中,该方法包括:首先获取数据集,该数据集可以包括训练数据和验证数据,其中,该数据集中的数据类型至少包括预设时长t(如,过去的24h时长)的历史光伏发电功率数据(如,过去的24h时长内通过采样得到的光伏发电功率数据)、历史真实气象数据(如,过去的24h时长内通过采样得到的真实气象数据)、与历史真实气象数据对应的历史预测气象数据(如,在过去的24h内预测的与真实气象数据采样时刻对应采集的实时气象预测数据)。之后,进一步根据上述数据集确定第一模型对应的第一子损失函数的第一权重以及第二模型对应的第二子损失函数的第二权重。第一模型至少用于对数据集中的历史光伏发电功率数据、历史预测气象数据进行全局表征,第二模型用于对数据集中的历史预测气象数据进行局部表征。在得到第一权重和第二权重之后,就可以根据第一子损失函数、第二子损失函数、第一权重以及第二权重确定最终的目标损失函数。最后,根据数据集中的训练数据和验证数据,利用该目标损失函数对各个模型进行训练,得到训练后的高精度预测模型,训练后的模型至少包括训练后的第一模型和训练后的第二模型,训练后的模型就可以在线上部署,以完成实时光伏发电功率数据的预测任务。
在本申请上述实施方式中,通过利用当前可提供的数据源,从不同的模态数据(即历史光伏发电功率数据、历史真实气象数据、历史预测气象数据等数据类型)、不同的时间尺度(即预设时长,如过去的24h,可自定义,定义的长度不同,时间尺度就不同)去捕获更完备的信息,从而去优化学习模型,可达到更高的预测精度。
在第一方面的一种可能的实现方式中,上述数据集至少可以包括第一子数据集和第二子数据集,例如,可将上述数据集按照一定比例将其分为第一子数据集和第二子数据集,第一子数据集也可称为训练数据集,第二子数据集也可称为验证数据集,第一子数据集中包括的历史真实气象数据和历史预测气象数据可分别称为第一历史真实气象数据和第一历史预测气象数据,第二子数据集中包括的历史真实气象数据和历史预测气象数据则可称为第二历史真实气象数据和第二历史预测气象数据。在这种情况下,根据上述数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重的一种实现方式可以是:首先,根据第一子数据集中的数据确定该第一子数据集内第一历史预测气象数据的第一准确度,并根据第二子数据集中的数据确定该第二子数据集内第二历史预测气象数据的第二准确度,之后,根据计算得到的第一准确度和第二准确度首先确定第一子损失函数的第一权重,在得到第一权重之后,就可进一步根据第一权重确定第二子损失函数的第二权重。
在本申请上述实施方式中,通过各自计算两个子数据集的历史预测气象数据预测的准确度,并基于准确度确定各个模型损失函数的权重,不同的模型赋予不同的权重,从而可以在模型的训练过程中,全面获取更完备和更有效的信息,提高了模型的训练效率和训练精度。
在第一方面的一种可能的实现方式中,第一权重的值与第二准确度的值呈反相关关系。
在本申请上述实施方式中,第一权重的值与第二准确度的值呈反相关关系这一限定所起到的作用是:当验证数据中的历史预测气象数据的预测精度较低(即第二准确度较低)时,给予第二模型较低的权重(即第二权重取值小),而给予第一模型更大的权重(即第一权重取值大),以使用全局信息弥补验证集中历史预测气象数据精度不足造成的影响,更侧重于全局信息的提取;反之,而当验证数据中的历史预测气象数据的预测精度较高(即第二准确度较高)时,给予第二模型更高的权重(即第二权重取值大),用以在此模型获取到更重要的信息。
在第一方面的一种可能的实现方式中,对于计算第一准确度,可以针对当前训练集(即第一子数据集)中的数据,将上述预设时长t(如,24h)作为时间窗口大小进行数据切片,从而获取M个第一切片片段Qi(1≤i≤M),之后基于每个第一切片片段Qi中的第一历史真实气象数据NWD1i和第一历史预测气象数据NWP1i计算每个第一切片片段Qi中的第一历史预测气象数据NWP1i的第一目标准确度ACC1i,据此共可得到M个第一目标准确度(即ACC11、ACC12、……、ACC1M)。最后,根据M个第一目标准确度确定第一准确度,所述第一准确度包括M个第一目标准确度的最大值ACCmax、最小值ACCmin和/或平均值ACCmean
在本申请上述实施方式中,具体阐述了是基于第一子数据集各个数据切片片段的目标准确度来确定第一准确度,通过利用M个第一目标准确度的统计特征来最终计算第一准确度,精度更高,具备可实现性。
在第一方面的一种可能的实现方式中,对于计算第二准确度,根据第二子数据集中的数据确定第二历史预测气象数据的第二准确度的方式与上述确定第一准确度的方式类似,具体地,将第二子数据集中的数据进行数据切片,得到N个第二切片片段Pj(1≤j≤N),之后基于每个第二切片片段Pj中的第二历史真实气象数据NWD2j和第二历史预测气象数据NWP2j,计算每个第二切片片段Pj中的第二历史预测气象数据NWP2j的第二目标准确度ACC2j,据此共可得到N个第二目标准确度(即ACC21、ACC22、……、ACC2N)。最后,根据N个第二目标准确度确定第二准确度,第二准确度包括N个第二目标准确度的平均值。
在本申请上述实施方式中,具体阐述了是基于第二子数据集各个数据切片片段的目标准确度来确定第二准确度,通过利用N个第二目标准确度的统计特征来最终计算第二准确度,精度更高,具备可实现性。
在第一方面的一种可能的实现方式中,在第一模型中,可以根据数据的模态不同分为不同的子模型,例如,第一模型可以至少包括第一子模型和第二子模型,其中,第一子模型的输入为数据集中的历史光伏发电功率数据,用于对历史光伏发电功率数据进行全局表征;第二子模型的输入为数据集中的历史预测气象数据,用于对历史预测气象数据进行全局表征。
在本申请上述实施方式中,第一模型可以由多个子模型构成,用于对不同类型的历史数据进行全局表征,具备解耦性。
在第一方面的一种可能的实现方式中,该模型还可以包括第三模型,该第三模型的输入为上述数据集中的数据,其中,输入的数据可以是数据集中的部分数据,也可以是全部数据,具体本申请对此不做限定。该第三模型的输出为第一模型的第一自适应权重和第二模型的第二自适应权重,该第三模型用于基于第一自适应权重和第二自适应权重对第一模型的输出结果和第二模型的输出结果进行融合,以获取到最终的预测结果。
在本申请上述实施方式中,模型还可以包括第三模型,其输出为其他2个模型的自适应权重(即赋予其他2个模型对应输出结果不同的权重),用于融合第一模型和第二模型的输出结果,以获取到最终的预测结果,该第三模型可使得预测结果更精确。
在第一方面的一种可能的实现方式中,若该模型还包括第三模型,那么构建的目标损失函数就还需要包括第三模型对应的损失函数,在这种情况下,最终的目标损失函数就是根据第三模型对应的第三子损失函数、第一子损失函数、所述第二子损失函数、第一权重以及第二权重确定。
在本申请上述实施方式中,既然增加了额外的第三模型,则对应在目标损失函数中也有该第三模型对应的损失函数(即第三子损失函数),训练中可自适应的全面获取更完备和更有效的信息,使模型在训练过程中更有效。
在第一方面的一种可能的实现方式中,第一子模型、第二子模型、第二模型包括如下任意一种:时间卷积网络(time convolutional network,TCN)、循环神经网络(recurrent neural network,RNN)、长短期记忆网络(long and short term memorynetwork,LSTM)、多层感知机(multilayer perceptron,MLP)等,具体本申请对此不做限定。
在本申请上述实施方式中,不依赖于、不指定模型的网络结构,第一子模型、第二子模型、第二模型可以有多种选择,具备广泛适用性。
在第一方面的一种可能的实现方式中,该第三模型可以是MLP,也可以是具有自注意力机制的其他类型的神经网络,具体本申请对此不做限定。
在本申请上述实施方式中,不依赖于、不指定模型的网络结构,第三模型可以有多种选择,具备广泛适用性。
申请实施例第二方面还提供一种光伏发电功率的预测方法,可用于人工智能领域中,该方法包括:首先,获取输入数据,该输入数据包括第一预设时长(如当前时刻过去的24h)的历史光伏发电功率数据和第二预设时长(如当前时刻未来的24h)历史预测气象数据,在获取到输入数据之后,就可将输入数据输入到经由上述训练阶段训练好的模型(如,训练好的第一模型和第二模型)中,从而得到未来待预测的第二预设时长内至少一个预设时刻(如,第二预设时长为24h,预测时间粒度为1h,则预设时刻为未来24h内每个h共24个时刻)的预测的光伏发电功率数据。其中,训练后的模型根据数据集、利用目标损失函数训练得到,数据集至少包括第三预设时长的历史光伏发电功率数据、历史真实气象数据、与该历史真实气象数据对应的历史预测气象数据,该目标损失函数根据第一子损失函数、第二子损失函数、第一子损失函数的第一权重以及第二子损失函数的第二权重确定,第一子损失函数为第一模型对应的损失函数,第二子损失函数为第二模型对应的损失函数,第一权重和第二权重基于该数据集确定。
在本申请上述实施方式中,根据实时的气象预测数据和历史光伏发电功率数据作为输入,利用经过上述训练过程训练得到的高精度模型完成推理过程,反馈推理结果,使得推理结果的预测精度更高。
在第二方面的一种可能的实现方式中,在第一模型中,可以根据数据的模态不同分为不同的子模型,例如,第一模型可以至少包括第一子模型和第二子模型,其中,第一子模型的输入为数据集中的历史光伏发电功率数据,用于对历史光伏发电功率数据进行全局表征;第二子模型的输入为数据集中的历史预测气象数据,用于对历史预测气象数据进行全局表征。
在本申请上述实施方式中,第一模型可以由多个子模型构成,用于对不同类型的历史数据进行全局表征,具备解耦性。
在第二方面的一种可能的实现方式中,该模型还可以包括第三模型,该第三模型的输入为上述输入数据。该第三模型的输出为第一模型的第一自适应权重和第二模型的第二自适应权重,该第三模型用于基于第一自适应权重和第二自适应权重对第一模型的输出结果和第二模型的输出结果进行融合,以获取到最终的预测结果。
在本申请上述实施方式中,模型还可以包括第三模型,其输出为其他2个模型的自适应权重,用于融合第一模型和第二模型的输出结果,以获取到最终的预测结果,该第三模型可使得预测结果更精确。
在第一方面的一种可能的实现方式中,第一子模型、第二子模型、第二模型包括如下任意一种:TCN、RNN、LSTM、MLP等,具体本申请对此不做限定。
在本申请上述实施方式中,不依赖于、不指定模型的网络结构,第一子模型、第二子模型、第二模型可以有多种选择,具备广泛适用性。
在第一方面的一种可能的实现方式中,该第三模型可以是MLP,也可以是具有自注意力机制的其他类型的神经网络,具体本申请对此不做限定。
在本申请上述实施方式中,不依赖于、不指定模型的网络结构,第三模型可以有多种选择,具备广泛适用性。
本申请实施例第三方面提供一种训练设备,该训练设备具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例第四方面提供一种执行设备,该执行设备具有实现上述第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例第五方面提供一种训练设备,可以包括存储器、处理器以及总线系统,其中,存储器用于存储程序,处理器用于调用该存储器中存储的程序以执行本申请实施例第一方面或第一方面任意一种可能实现方式的方法。
本申请实施例第六方面提供一种执行设备,可以包括存储器、处理器以及总线系统,其中,存储器用于存储程序,处理器用于调用该存储器中存储的程序以执行本申请实施例第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第七方面提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的方法,或,执行上述第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第八方面提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任意一种可能实现方式的方法,或,执行上述第二方面或第二方面任意一种可能实现方式的方法。
本申请实施例第九方面提供了一种芯片,该芯片包括至少一个处理器和至少一个接口电路,该接口电路和该处理器耦合,至少一个接口电路用于执行收发功能,并将指令发送给至少一个处理器,至少一个处理器用于运行计算机程序或指令,其具有实现如上述第一方面或第一方面任意一种可能实现方式的方法的功能,或,其具有实现如上述第二方面或第二方面任意一种可能实现方式的方法的功能,该功能可以通过硬件实现,也可以通过软件实现,还可以通过硬件和软件组合实现,该硬件或软件包括一个或多个与上述功能相对应的模块。此外,该接口电路用于与该芯片之外的其它模块进行通信。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图;
图2为本申请实施例提供的一个应用场景示意图;
图3为本申请实施例提供的任务处理系统的一个框架示意图;
图4为本申请实施例提供的模型的训练方法的一种流程示意图;
图5为本申请实施例提供的一个实例示意图;
图6为本申请实施例提供的光伏发电功率预测问题的一个具体描述的示意图;
图7为本申请实施例提供的另一实例示意图;
图8为本申请实施例提供的光伏发电功率的预测方法的一种流程示意图;
图9为本申请实施例提供的算法总体框架的一个示意图;
图10为本申请实施例提供的本申请方法有益效果的一个对比示意图;
图11为本申请实施例提供的训练设备的一个示意图;
图12为本申请实施例提供的执行设备的一个示意图;
图13为本申请实施例提供的训练设备的另一示意图;
图14为本申请实施例提供的执行设备的另一示意图;
图15为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
本申请实施例提供了一种模型的训练方法、光伏发电功率的预测方法及设备,用于从多数据源、多时间尺度的角度来探索如何进行完备的信息学习,从而获取更加高精度模型。具体是通过利用当前可提供的数据源,从不同的模态数据(即历史光伏发电功率数据、历史真实气象数据、历史预测气象数据等数据类型)、不同的时间尺度去捕获更完备的信息,从而去优化学习模型,可达到更高的预测精度。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。应理解的是,相关的概念解释可能会因为本申请实施例的具体情况有所限制,但并不代表本申请仅能局限于该具体情况,在不同实施例的具体情况可能也会存在差异,具体此处不做限定。
(1)神经网络
神经网络可以是由神经单元组成的,具体可以理解为具有输入层、隐含层、输出层的神经网络,一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。其中,具有很多层隐含层的神经网络则称为深度神经网络(deep neural network,DNN)。神经网络中的每一层的工作可以用数学表达式来描述,从物理层面,神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作,完成输入空间到输出空间的变换(即矩阵的行空间到列空间),这五种操作包括:1、升维/降维;2、放大/缩小;3、旋转;4、平移;5、“弯曲”。其中1、2、3的操作由/>完成,4的操作由“+b”完成,5的操作则由“a()”来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物,而是一类事物,空间是指这类事物所有个体的集合,其中,W是神经网络各层的权重矩阵,该矩阵中的每一个值表示该层的一个神经元的权重值。该矩阵W决定着上文所述的输入空间到输出空间的空间变换,即神经网络每一层的W控制着如何变换空间。训练神经网络的目的,也就是最终得到训练好的神经网络的所有层的权重矩阵。因此,神经网络的训练过程本质上就是学习控制空间变换的方式,更具体的就是学习权重矩阵。需注意的是,在本申请实施例中,神经网络也可称为模型。
(2)损失函数
在训练神经网络的过程中,因为希望神经网络的输出尽可能的接近真正想要预测的值,可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重矩阵(当然,在第一次更新之前通常会有初始化的过程,即为神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重矩阵让它预测低一些,不断的调整,直到神经网络能够预测出真正想要的目标值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么神经网络的训练就变成了尽可能缩小这个loss的过程。
(3)反向传播算法
在神经网络的训练过程中,可以采用误差反向传播(back propagation,BP)算法修正初始的神经网络模型中参数的大小,使得神经网络模型的重建误差损失越来越小。具体地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的神经网络模型中的参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的神经网络模型的参数,例如权重矩阵。
(4)数值型天气预测数据(numerical weather prediction,NWP)
NWP也可称为历史预测气象数据,是指通过物理建模、统计学等手段,对未来的气象参数进行数值型的预测,其气象参数包含全球水平辐照度/辐照度(global horizontalirradiance,GHI)、全球倾斜辐照度(global tilted irradiance,GTI)、水平2m处气温(temperature,TEMP)、水平10m处的风速(wind speed,WS)等。
(5)数值型天气数据(numerical weather data,NWD)
NWD也可称为历史真实气象数据,是过去一段时间通过传感器等设备真实记录、采样得到的真实气象数据。
(6)多模态建模
多模态目前有两种解释,一种是信息种类的不同,包括:文本、时间序列、图像、音频等不同种类的信息进行建模;二是信息种类相同,例如信息种类都是时间序列,但是对物体描述的角度不同,例如一个是温度传感器的信息,一个是风速传感器的信息,其都是数值型时间序列数据,但是也可认为是一种多模态建模过程。
(7)多尺度建模
当前对多尺度的定义有诸多方面的阐述,在本申请实施例中,多尺度被定义为:在处理时间序列数据时,捕获不同时间粒度的信息,或者在处理图像数据时,在不同的感受野大小内对信息进行处理。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先,对人工智能系统总体工作流程进行描述,请参见图1,图1示出的为人工智能主体框架的一种结构示意图,下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中,“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用系统,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。
本申请实施例可以应用在模型(在本申请实施例中,至少包括2个模型,即第一模型和第二模型)的优化设计上,具体地,可应用在模型的损失函数的优化设计上。通过本申请优化过损失函数的模型具体可以应用在人工智能领域的各个细分领域中,具体的,结合图1来讲,本申请实施例中基础设施获取的数据集中的数据可以是通过气象预报平台、气象服务器等设备获取到的不同类型的多个数据(即数据集,其至少包括训练数据和验证数据,训练数据也可称为训练样本,多个训练样本就构成训练集,多个验证数据就构成验证集),数据集中的数据可以是多个图像数据,也可以是多个视频数据,还可以是文本数据、音频数据等,例如,其至少可以包括:预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据等数值型时间序列数据(即文本数据),也可以包括:描述气象信息的图像数据或视频数据,只要该数据集满足用于对模型进行迭代训练以及对模型精度的验证的功能即可,具体本申请实施例对数据集内的数据类型不限定。
本申请实施例可应用于光伏发电功率预测系统中,一个典型的应用场景可如图2所示,图2为本申请实施例提供的光伏发电功率预测系统的一个系统架构图,作为一个示例,光伏发电功率预测系统200可由图2所示的气象预报平台201、气象服务器202、光功率预测服务器203、数据存储服务器204、可视化工作台205、调度系统206等几个部分组成,首先,可以通过气象预报平台201获取数值型气象数据、天气云图数据等数据集,再通过网络传输至气象服务器202;气象服务器202、数据存储服务器204分别向光功率预测服务器203传输实时的预测/真实气象数据和历史光伏发电功率数据等数据,通过部署于光功率预测服务器203上的模型(至少包括第一模型和第二模型)获取到预测光伏发电功率数值后,可进一步将其实时传输至可视化工作台205和/或调度系统206,可视化工作台205供系统运维工程师等进行相应操作,调度系统206可连接国家电网平台,为电网调度决策进行支撑。
值得注意的,图2仅是本申请实施例提供的一种系统架构的示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制。此外,图2中的示例不用于限定每种设备的数量和种类。
需要说明的是,本申请实施例涉及的产品形式主要体现在光伏发电功率预测系统中的核心算法模块,其主要售卖形式有两种,一是在光伏电站建造招标时,本功能将作为特性功能添加在投标书中,增加投标成功率;二是对于已经建造完成的光伏电站,本功能会进行直接的光伏发电功率预测系统招标,而在投标书中,本功能的详细情况将进行介绍。
为了便于理解本方案,接下来结合图3对本申请实施例提供的任务处理系统的框架进行介绍,请先参阅图3,图3为本申请实施例提供的任务处理系统的一种系统架构图,在图3中,任务处理系统300包括执行设备310、训练设备320、数据库330、客户设备340、数据存储系统350和数据采集设备360,执行设备310中包括计算模块311和输入/输出(I/O)接口312。
其中,在训练阶段,数据采集设备360可以用于获取用户需要的开源的大规模数据集(如训练集、验证集),并将数据集存入数据库330中,数据集中的数据可以是通过如图2所示的气象预报平台201、气象服务器202等设备获取到的不同类型的多个数据,数据集中可以包括多个训练数据(或称为训练样本),训练数据可以是图像数据,也可以是视频数据,还可以是音频数据、文本数据等,具体与待执行的目标任务相关,此处不做限定。例如,在本申请实施例中,训练数据可以是预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据等数值型时间序列数据(即文本数据),也可以是描述气象信息的图像数据或视频数据。训练设备320基于数据库330中的维护的数据集对本申请模型301(即至少包括第一模型3001和第二模型3002)进行训练,训练得到的模型301可以应用于不同的系统或设备(即执行设备310)中,具体可以是如图2所示的光功率预测服务器203,在一些特殊应用场景中,执行设备310也可以是边缘设备或端侧设备,例如,手机、平板、笔记本电脑、监控系统、安防系统等等,执行设备310可将预测得到的光伏发电功率的预测结果进一步发送至如图2所示的调度系统206、可视化工作台205等进行下一步操作,也可以进一步发送至数据存储服务器204进行存储备份,具体此处不予赘述。
在推理阶段,执行设备310可以调用数据存储系统350中的数据、代码等,也可以将数据、指令等存入数据存储系统350中。数据存储系统350可以置于执行设备310中,也可以为数据存储系统350相对执行设备310是外部存储器。计算模块311通过训练后得到的模型301实现针对每个输入数据的光伏发电功率的预测。
在图3中,执行设备310配置有I/O接口312,与外部设备进行数据交互,“用户”可以通过客户设备340向I/O接口312输入数据。如,客户设备340可以是与如图2所示的气象预报平台201具有无线连接的气象服务器202,通过该气象服务器202存储的历史光伏发电功率数据和历史预测气象数据作为输入数据输入至执行设备310的计算模块311,由计算模块311对输入的上述数据进行预测得出预测结果,再将该预测结果输出至其他设备或直接在执行设备310的显示界面(若有)进行显示;此外,在本申请的一些实施方式中,客户设备340也可以集成在执行设备310中,如,当执行设备310为手机时,则可以直接通过该手机获取到目标任务或者接收其他设备(如,另一个手机)发送的目标任务,再由该手机内的计算模块311对该目标任务进行预测后得出预测结果,并直接将该预测结果呈现在手机的显示界面。此处对执行设备310与客户设备340的产品形态不做限定。
值得注意的,图3仅是本申请实施例提供的一种系统架构的示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制,例如,在图3中,数据存储系统350相对执行设备310是外部存储器,在其它情况下,也可以将数据存储系统350置于执行设备310中;在图3中,客户设备340相对执行设备310是外部设备,在其他情况下,客户设备340也可以集成在执行设备310中。
本申请的一些实施例中,例如图3中,训练设备320与执行设备310为分布独立的设备,但图3仅是本发明实施例提供的任务处理系统的一种架构示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制。在本申请的另一些实施例中,训练设备320和执行设备310可以集成于同一设备中。此外,图3中的示例不用于限定每种设备的数量,例如,数据库330可以与多个客户设备340通信。
还需要说明的是,本申请实施例所述的模型301的训练过程可以是在云侧实现,例如,可以由云侧的训练设备320(该训练设备320可设置在一个或多个服务器或者虚拟机上)获取训练集,并根据训练集内的多组训练数据(或称为训练样本)对模型进行训练,得到训练后的模型301,之后,该训练后的模型301再发送给执行设备310进行应用。示例性地,图3对应的系统架构中所述,就是由训练设备320对模型进行训练,训练后的模型301再发送给执行设备310进行使用;上述实施例所述的模型301的训练也可以是在终端侧实现,即训练设备320可以是位于终端侧,例如,可以由终端设备(如,手机、智能手表等)等获取训练集,并根据训练集内的多组训练数据对模型进行训练,得到训练后的模型301,该训练后的模型301就可以直接在该终端设备使用,也可以由该终端设备发送给其他的设备进行使用。具体本申请实施例对模型301在哪个设备(云侧或终端侧)上进行训练或应用不做限定。
结合上述描述,本申请实施例提供了一种模型的训练方法和光伏发电功率的预测方法,可分别应用于模型的训练阶段和推理阶段,下面分别进行描述。
一、训练阶段
本申请实施例中,训练阶段为上述图3中训练设备320利用数据集中的训练数据和验证数据对模型301(至少包括第一模型3001和第二模型3002)执行训练操作的过程,也就是利用本申请构建的损失函数对模型进行训练的过程。具体请参阅图4,图4为本申请实施例提供的模型的训练方法的一种流程示意图,具体可以包括:
401、获取数据集,该数据集至少包括预设时长的历史光伏发电功率数据、历史真实气象数据、与历史真实气象数据对应的历史预测气象数据。
首先,训练设备可以先获取数据集,该数据集可以包括训练数据和验证数据,其中,该数据集中的数据类型至少包括预设时长t(如,过去的24h时长)的历史光伏发电功率数据(如,过去的24h时长内通过采样得到的光伏发电功率数据)、历史真实气象数据(如,过去的24h时长内通过采样得到的真实气象数据)、与历史真实气象数据对应的历史预测气象数据(如,在过去的24h内预测的与真实气象数据采样时刻对应采集的实时气象预测数据)。
需注意的是,在本申请实施例中,不同时间尺度通过预设时长t体现,即预设时长t可自定义(如过去的24h),定义的长度不同,预测的时间尺度就不同,根据具体的应用场景而定,本申请对此不做限定。
402、根据数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重,第一子损失函数为第一模型对应的损失函数,第二子损失函数为第二模型对应的损失函数,其中,第一模型至少用于对历史光伏发电功率数据、历史预测气象数据进行全局表征,第二模型用于对历史预测气象数据进行局部表征。
之后,训练设备可进一步根据上述数据集确定第一模型对应的损失函数(可称为第一子损失函数)的权重(可称为第一权重)以及第二模型对应的损失函数(可称为第二子损失函数)的权重(可称为第二权重)。
需注意的是,在本申请实施例中,对第二模型的类型不做限定,例如,第二模型可以是TCN、RNN、LSTM、MLP等。类似地,在本申请实施例中,第一模型可以由多个子模型构成,同样本申请对各个子模型的类型不做限定,例如,构成第一模型的各个子模型也可以是TCN、RNN、LSTM、MLP等,具体本申请对此不做限定。
该步骤属于对数据集的预处理过程,其核心思想是:根据数据集中的训练数据和验证数据,获取到不同模型(如,第一模型和第二模型)的Loss的权重,之后根据计算的不同权重构建最终的目标损失函数,据此对各个模型进行训练,得到高精度的预测模型。该计算不同模型的Loss权重的过程也可称为多模态Loss权重计算,对应的计算模块则可称为多模态Loss权重计算模块,属于数据预处理模块。
需要说明的是,在本申请实施例中,第一模型至少用于对数据集中的历史光伏发电功率数据、历史预测气象数据进行全局表征,第二模型用于对数据集中的历史预测气象数据进行局部表征。也就是说,第一模型的输入为历史光伏发电功率数据和历史预测气象数据,第二模型的输入为历史预测气象数据。但这里需要注意的是,第一模型输入的历史预测气象数据与输入的历史光伏发电功率数据可以是不同时间段的,在第一模型的输入中,输入的历史光伏发电功率数据的时间段(可称为时间段[t1,t2])位于输入的历史预测气象数据的时间段(可称为时间段[t2,t3])之前,其中,t2即为分割待预测的未来时段的时刻点。具体可参阅图6的问题描述:即当需要预测当前时刻t2之后某一时间段[t2,t3]的光伏发电功率数据(即PVfut∈Rn×1)时,输入的则是时间段[t1,t2]的历史光伏发电功率数据(即PVhis∈Rm×1)和时间段[t2,t3]的历史气象预测数据(即NWP∈Rn×d,这个气象预测数据因为可以基于气象预报平台事先就已经预测出来了,因此称为历史气象预测数据)。当然,在本申请的另一些实施方式中,第一模型输入的各种历史数据的时间段也可以有一些差别,此处仅为示例,具体本申请对此不做限定。
具体地,在本申请的另一些实施方式中,第一模型可由多个子模型构成,用于对不同类型的历史数据进行全局表征,作为一个示例,具体可参阅图5,第一模型和第二模型所组成的结构可称为多模态多尺度信息融合模块,此模块进行的是信息提取来训练相应模型,其核心思想是:利用多模态数据进行多尺度的信息融合,如图5所示,按照信息提取尺度的不同,可以将该模块分为第一模型和第二模型,其中,该第一模型用于进行全局信息的提取,获取全局表征,第二模型用于进行局部信息的提取,获取局部表征。同时,在第一模型中,又可以根据数据的模态不同分为不同的子模型,例如,第一模型可以至少包括第一子模型和第二子模型,其中,第一子模型的输入为数据集中的历史光伏发电功率数据,用于对历史光伏发电功率数据进行全局表征;第二子模型的输入为数据集中的历史预测气象数据,用于对历史预测气象数据进行全局表征。需要注意的是,图5仅为一种示例,在本申请的另一些实施方式中,如果数据集中存在更多类型的数据,那么第一模型还可以由更多个子模型构成,用于对更多不同类型的数据进行全局表征,表征方式与第一子模型和第二子模型类似,此处不予赘述。
为便于理解上述过程,下面以一个具体的实例为例,对各个模型的处理过程进行说明:需先说明的是,光伏发电功率预测任务可以根据预测时间粒度(如,15min粒度、1h粒度等)和时间长度(如,预测未来4h、24h、72h等)的不同,可以分为短期预测和超短期预测,本实例将具体介绍其中1h粒度、预测未来24h长度的短期预测任务的过程,其他任务与此类似,不做展开。问题的具体描述可如图6所示,假设给定输入为:PVhis∈Rm×1,NWP∈Rn×d,输出为:PVfut∈Rn×1,具体描述为给定历史光伏发电功率数据、m步步长(即输入的长度,例如采用的是历史24h的数据,则m=24),m与n可以不同,相同的话正确率更好),以及NWP数据、n步步长(即要预测的时间长度,例如要预测的是未来24h的光伏发电功率数据,则n=24),d维度数据(如光照、温度、湿度等维度数据),需要预测未来n步步长的未来光伏发电功率值。需注意的是,n与m可以相同,也可以不同,本申请对此不做不限定。由图5可知,第一模型用于进行全局信息的提取,获取全局表征,第二模型用于进行局部信息的提取,获取局部表征。同时在第一模型中,根据数据的模态不同,又分为不同的第一子模型和第二子模型,第一子模型接收历史光伏发电数据(即PVhis∈Rm×1)模态作为输入,获取对于历史PV信息m(假设当前任务m设定为24)个时间步的全局表征;第二子模型则以NWP(即NWP∈Rn×d)模态数据作为输入,获取对于NWP信息n(假设当前任务n设定为24)个时间步上的全局表征。之后,可将不同模态的表征进行融合,获取到来自不同模态数据对于全局输入信息的表征,例如可以利用全局多模态表征基于MLP模型完成到输出的映射,获取输出Output0。这里需要注意的是,不同子模型的全局表征也可以不进行融合,直接得到各个子模型的输出Output01、Output02
同样地,第二模型作为局部尺度的表征模块,其以NWP(即NWP∈Rn×d)模态数据作为输入,进行局部时间尺度的信息建模,具体做法为:对于未来预测光伏发电功率PVfut∈Rn×1的每个时间步,有一一对应的NWP数据和需要预测的PV数据,需注意的是,局部表征的尺度并不固定,是一个超参数,其尺度表示的是一个窗口大小,窗口大小由具体任务定义。在本实例中,假设选取时间窗口为1(时间窗口大小人为设置,只需要完成局部的表征学习即可),即只用对应时间点的NWP数据来预测对应时间点的PV值,从而可以通过第二模型获取到局部NWP表征,完成局部NWP表征到PV值的直接映射,得到模块输出值Output1
还需要说明的是,在本申请的一些实施方式中,上述数据集至少可以包括第一子数据集和第二子数据集,例如,可将上述数据集按照一定比例(如,7:3、6:4等,可自定义)将其分为第一子数据集和第二子数据集,第一子数据集也可称为训练数据集,第二子数据集也可称为验证数据集,第一子数据集中包括的历史真实气象数据和历史预测气象数据可分别称为第一历史真实气象数据(可记为NWD1)和第一历史预测气象数据(可记为NWP1),第二子数据集中包括的历史真实气象数据和历史预测气象数据则可称为第二历史真实气象数据(可记为NWD2)和第二历史预测气象数据(可记为NWP2)。在这种情况下,根据上述数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重的一种实现方式可以是:首先,根据第一子数据集中的数据确定该第一子数据集内第一历史预测气象数据NWP1的准确度(可称为第一准确度),并根据第二子数据集中的数据确定该第二子数据集内第二历史预测气象数据NWP2的准确度(可称为第二准确度),之后,根据计算得到的第一准确度和第二准确度首先确定第一子损失函数的第一权重,在得到第一权重之后,就可进一步根据第一权重确定第二子损失函数的第二权重。
具体地,在本申请的一些实施方式中,可以通过如下方式计算第一准确度和第二准确度,下面分别进行阐述:
(1)计算第一准确度
对于计算第一准确度,可以针对当前训练集(即第一子数据集)中的数据,将上述预设时长t(如,24h)作为时间窗口大小进行数据切片,从而获取M个切片片段(可称为第一切片片段,可记为Qi,1≤i≤M),之后基于每个第一切片片段Qi中的第一历史真实气象数据NWD1i和第一历史预测气象数据NWP1i计算每个第一切片片段Qi中的第一历史预测气象数据NWP1i的准确度ACC1i,该准确度可称为第一目标准确度,据此共可得到M个第一目标准确度(即ACC11、ACC12、……、ACC1M)。例如,假设进行数据切片得到的第一切片片段为5(即M=5),分为记为第一切片片段Q1-Q5,且第一切片片段Q1-Q5所包括的第一历史真实气象数据(可以是多个采样的数据)分别记为NWD11-NWD15,第一切片片段Q1-Q5所包括的第一历史预测气象数据(可以是多个采样的数据)分别记为NWP11-NWP15,则对于第一切片片段Q1,可基于第一历史真实气象数据NWD11和第一历史预测气象数据NWP11计算该第一切片片段Q1中第一历史预测气象数据NWP11的第一目标准确度ACC11,类似地,对于第一切片片段Q2,可基于第一历史真实气象数据NWD12和第一历史预测气象数据NWP12计算该第一切片片段Q2中第一历史预测气象数据NWP12的第一目标准确度ACC12,以此类推,就可计算出所有的第一切片片段Q1-Q5各自对应的第一历史预测气象数据NWP11-NWP15的第一目标准确度ACC11-ACC15
需要注意的是,在本申请实施例中,第一目标准确度ACC1i的计算方法可根据实际需要自定义,作为一种示例,一种计算方法可以是基于公式ACC1i=|NWD1i-NWP1i|÷NWD1i计算得到。
在得到M个第一目标准确度ACC1i之后,就可据此获得这M个第一目标准确度ACC1i的统计特征,例如,M个第一目标准确度ACC1i的平均值ACCmean、M个第一目标准确度ACC1i的最小值ACCmin、M个第一目标准确度ACC1i的最大值ACCmax等统计特征,最后,可根据M个第一目标准确度ACC1i,确定最终的第一准确度,该第一准确度可以是上述统计特征ACCmean、ACCmin、ACCmax中的一个或多个。
(2)计算第二准确度
对于计算第二准确度,在本申请的一些实施方式中,训练设备根据第二子数据集(即验证集)中的数据确定第二历史预测气象数据NWP2的第二准确度的方式与上述确定第一准确度的方式类似,具体地,将第二子数据集中的数据进行数据切片,得到N个切片片段(可称为第二切片片段,可记为Pj,1≤j≤N),之后基于每个第二切片片段Pj中的第二历史真实气象数据NWD2j和第二历史预测气象数据NWP2j,计算每个第二切片片段Pj中的第二历史预测气象数据NWP2j的准确度ACC2j,该准确度可称为第二目标准确度,据此共可得到N个第二目标准确度(即ACC21、ACC22、……、ACC2N)。
最后,根据N个第二目标准确度ACC2j,确定第二准确度acc,这里需要注意的是,第二准确度acc可以是上述所述N个第二目标准确度ACC2j的平均值,即第二准确度acc=(ACC21+ACC22+……+ACC2N)÷N。
训练设备在计算得到第一准确度(即ACCmean、ACCmin、ACCmax中的一个或多个)和第二准确度(即acc)之后,就可以根据该第一准确度和第二准确度,利用相应的转换机制,转化为第一模型对应的第一子损失函数的第一权重w和第二模型对应的第二子损失函数的第二权重1-w,作为一种示例,可通过如下式(1)的转换机制计算第一权重w:
需要注意的是,上述式(1)转换机制是将统计特征ACCmean、ACCmin、ACCmax都用上了,这样可提高第一权重w计算的精度,但在本申请的另一些实施方式中,转换机制也可以是统计特征ACCmean、ACCmin、ACCmax中的任意一个或两个,本申请对此不做限定。
还需要注意的是,在本申请实施例中,第一权重w的值与第二准确度acc的值需呈反相关关系(如,式(1)符合这种反相关关系),其起到的具体作用在于,当验证数据中的NWP数据的预测精度较低(即第二准确度较低)时,给予用于局部表征的模型(即第二模型)较低的权重(即第二权重1-w取值小),而给予用于全局表征的模型(即第一模型)更大的权重(即w取值大),以使用全局信息弥补验证集中NWP数据精度不足造成的影响,更侧重于全局信息的提取;反之,而当验证数据中的NWP数据的预测精度较高(即第二准确度较高)时,给予用于局部表征的模型(即第二模型)更高的权重(即1-w取值大),用以在此模型获取到更重要的信息。
403、根据第一子损失函数、第二子损失函数、第一权重以及第二权重确定目标损失函数。
在得到第一权重w和第二权重1-w之后,就可以根据第一子损失函数(即上述)、第二子损失函数(即上述/>)、第一权重w以及第二权重1-w确定最终的目标损失函数Losstotal。具体地,该目标损失函数Losstotal可用式(2)表示:
需要注意的是,上述式(2)的前提是将第一模型所包括的各个子模型(如,上述所述的第一子模型和第二子模型)的输出结果融合后的形式,在本申请的另一些实施方式中,各个子模型的输出结果也可以不融合,直接得到各个子模型的输出Output01、Output02,在这种情况下,则目标损失函数Losstotal可用式(3)表示:
需注意的是,若第一模型还包括更多的子模型(即除上述第一子模型和第二子模型外),则目标损失函数Losstotal对应再加上其他更多子模型的输出Output0k的损失函数其中k为子模型的编号,各个子模型的损失函数/>的权重也可以为w。
还需要注意的是,上述式(2)或式(3)中右侧的各个子项的损失函数类型不限定,例如,可以是平均绝对误差(mean absolute error,MAE)损失函数。此外,各个子损失函数的类型可以相同,也可以各不相同,具体本申请对此不做限定。
需要说明的是,在本申请的一些实施方式中,该模型还可以包括第三模型,该第三模型的输入为上述数据集中的数据(在推理阶段,则第三模型的输入为实时的输入数据),该第三模型可以是MLP,也可以是具有自注意力机制的其他类型的神经网络,具体本申请对此不做限定。其中,输入的数据可以是数据集中的部分数据,也可以是全部数据,具体本申请对此不做限定。该第三模型的输出为第一模型的第一自适应权重α和第二模型的第二自适应权重β,该第三模型用于基于第一自适应权重α和第二自适应权重β对第一模型的输出结果Output0(为便于阐述,本申请均以融合后的输出结果为例进行示意)和第二模型的输出结果Output1进行融合,以获取到最终的预测结果Output,该第三模型可使得预测结果更精确。具体可参阅图7,该第三模型作为自适应加权模块,其核心思想在于如何融合第一模型和第二模型的结果获取到最终的输出,为便于理解,依然以上述实例为例,例如,以该样本的PVhis与该样本该预测点的NWPi拼接作为该样本该预测点的输入,就可以基于该第三模型获取该预测样本每个预测点对于第一模型和第二模型的自适应权重α、β,用以融合来自第一模型和第二模型的结果,获取到最终的预测结果Output。即:Outputi=αOutput0i+βOutput1i,其中,α+β=1,下标i表示某样本的第i个时间步预测。
需要注意的是,若该模型还包括第三模型,那么构建的目标损失函数Losstotal就还需要包括第三模型对应的损失函数,在这种情况下,最终的目标损失函数Losstotal就是根据第三模型对应的第三子损失函数Lossoutput、第一子损失函数(融合的情况下)、所述第二子损失函数/>所述第一权重w以及所述第二权重1-w确定,具体可如式(4)所示:
若是各个子模型的输出结果不融合的情况,则最终的目标损失函数Losstotal可如式(5)所示:
404、根据数据集,利用该目标损失函数,对模型进行训练,得到训练后的模型,训练后的模型至少包括训练后的第一模型和训练后的第二模型。
最后,训练设备可以根据数据集中的训练数据和验证数据,利用该目标损失函数Losstotal对各个模型进行训练(即完成n个epochs,n可自定义,如n=100),得到训练后的高精度预测模型,训练后的模型至少包括训练后的第一模型和训练后的第二模型,之后就可以在线上进行模型的部署,以完成实时光伏发电功率数据的预测任务。
二、推理阶段
本申请实施例中,推理阶段为上述图3中执行设备310利用训练好的模型301(至少包括训练好的第一模型3001和训练好的第二模型3002)完成实时光伏发电功率数据的预测任务的过程。具体请参阅图8,图8为本申请实施例提供的光伏发电功率的预测方法的一种流程示意图,具体可以包括:
801、获取输入数据,该输入数据包括第一预设时长的历史光伏发电功率数据和历史预测气象数据。
首先,执行设备可获取输入数据,该输入数据包括某预设时长(可称为第一预设时长,如前述所述的m步步长)的历史光伏发电功率数据和第二预设时长(即未来待预测的时长,如前述所述的n步步长)的历史预测气象数据,历史光伏发电功率数据和历史预测气象数据可从图2所示的数据存储服务器204读取,其中,初始的历史预测气象数据可基于图2所示的气象预报平台201得到。
802、将输入数据输入训练后的模型,得到第二预设时长内至少一个预设时刻的预测的光伏发电功率数据。
之后,执行设备在获取到输入数据之后,就可将输入数据输入到经由上述训练阶段训练好的模型(如,训练好的第一模型和第二模型)中,从而得到未来待预测时长(可称为第二预设时长,如前述所述的n步步长)内至少一个预设时刻(如,第二预设时长为24h,预测时间粒度为1h,则预设时刻为未来24h内每个h共24个时刻)的预测的光伏发电功率数据。
在本申请实施例中,具体该训练后的模型如何基于构建的目标损失函数训练得到可参阅上述图4和图7对应实施例的相关描述,此处不予赘述。
综上所述,本申请实施例方法作为一个算法框架结构,不依赖于、不指定基础的网络结构,不局限于基础模型的选择,有很强的泛化性。其具体的算法总体框架可如图9所示,在数据预处理过程中,本申请方法通过获取不同模态的Loss权重,利用多模态数据,多尺度的完成信息融合,实现了更完备的进行信息提取;并且,对不同模态、不同尺度数据产生的输出,第三模型的加入可自适应的进行加权融合,以得到最后的预测结果,提高了模型的精确度。
为了对本申请实施例所带来的有益效果有更为直观的认识,以下对本申请实施例所带来的技术效果作进一步的对比。具体地,在华为数据集10省13个工商业光伏发电站点上进行了测试,并对比了现有其他方案,从准确度均值和单个站点表现来看,本申请方法都达到了SOTA的效果,平均准确度的对比效果可如图10所示。
在上述实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图11,图11为本申请实施例提供的一种训练设备的示意图,该训练设备部署有模型,该模型至少包括第一模型和第二模型,该训练设备1100具体可以包括:获取模块1101、计算模块1102、确定模块1103以及训练模块1104,其中,获取模块1101,用于获取数据集,该数据集至少包括预设时长的历史光伏发电功率数据、历史真实气象数据、与该历史真实气象数据对应的历史预测气象数据;计算模块1102,根据该数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重,该第一子损失函数为该第一模型对应的损失函数,该第二子损失函数为该第二模型对应的损失函数,其中,该第一模型至少用于对该历史光伏发电功率数据、该历史预测气象数据进行全局表征,该第二模型用于对该历史预测气象数据进行局部表征;确定模块1103,根据该第一子损失函数、该第二子损失函数、该第一权重以及该第二权重确定目标损失函数;训练模块1104,根据该数据集,利用该目标损失函数,对该模型进行训练,得到训练后的模型,该训练后的模型至少包括训练后的第一模型和训练后的第二模型,其中,该第一模型的输入为该历史光伏发电功率数据和该历史预测气象数据,该第二模型的输入为该历史预测气象数据。
在一种可能的设计中,该数据集包括第一子数据集和第二子数据集,该第一子数据集包括第一历史真实气象数据和第一历史预测气象数据,该第二子数据集包括第二历史真实气象数据和第二历史预测气象数据,该计算模块1102,具体用于:根据该第一子数据集确定该第一历史预测气象数据的第一准确度;根据该第二子数据集确定该第二历史预测气象数据的第二准确度;根据该第一准确度和该第二准确度确定第一子损失函数的第一权重;根据该第一权重确定第二子损失函数的第二权重。
在一种可能的设计中,该第一权重的值与该第二准确度的值呈反相关关系。
在一种可能的设计中,该计算模块1102,具体还用于:将该第一子数据集中的数据进行数据切片,得到M个第一切片片段;基于每个该第一切片片段中的第一历史真实气象数据和第一历史预测气象数据,计算每个该第一切片片段中的第一历史预测气象数据的第一目标准确度,得到M个第一目标准确度;根据该M个第一目标准确度,确定该第一准确度,该第一准确度包括该M个第一目标准确度的最大值、最小值和/或平均值。
在一种可能的设计中,该计算模块1102,具体还用于:将该第二子数据集中的数据进行数据切片,得到N个第二切片片段;基于每个该第二切片片段中的第二历史真实气象数据和第二历史预测气象数据,计算每个该第二切片片段中的第二历史预测气象数据的第二目标准确度,得到N个第二目标准确度;根据该N个第二目标准确度,确定该第二准确度,该第二准确度包括该N个第二目标准确度的平均值。
在一种可能的设计中,该第一模型至少包括第一子模型和第二子模型;该第一子模型的输入为该数据集中的该历史光伏发电功率数据,用于对该历史光伏发电功率数据进行全局表征;该第二子模型的输入为该数据集中的该历史预测气象数据,用于对该历史预测气象数据进行全局表征。
在一种可能的设计中,该模型还包括第三模型;该第三模型的输入为该数据集中的数据,该第三模型的输出为该第一模型的第一自适应权重和该第二模型的第二自适应权重;该第三模型用于基于该第一自适应权重和该第二自适应权重对该第一模型的输出结果和该第二模型的输出结果进行融合。
在一种可能的设计中,该确定模块1103,具体用于:根据第三子损失函数、该第一子损失函数、该第二子损失函数、该第一权重以及该第二权重确定目标损失函数,该第三子损失函数为该第三模型对应的损失函数。
在一种可能的设计中,该第一子模型、该第二子模型、该第二模型包括如下任意一种:TCN、RNN、LSTM、MLP。
在一种可能的设计中,该第三模型包括如下任意一种:MLP、具有自注意力机制的神经网络。
需要说明的是,训练设备1100中各模块/单元之间的信息交互、执行过程等内容,与本申请中图4对应的方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供一种执行设备,具体参阅图12,图12为本申请实施例提供的一种执行设备的示意图,该执行设备部署有训练后的模型,该模型至少包括第一模型和第二模型,该执行设备1200具体可以包括:获取模块1201以及预测模块1202,其中,获取模块1201,用于获取输入数据,该输入数据包括第一预设时长的历史光伏发电功率数据和第二预设时长的历史预测气象数据;预测模块1202,用于将该输入数据输入训练后的模型,得到该第二预设时长内至少一个预设时刻的预测的光伏发电功率数据,该训练后的模型至少包括训练后的第一模型和训练后的第二模型,该训练后的模型根据数据集、利用目标损失函数训练得到,该数据集至少包括第三预设时长的历史光伏发电功率数据、历史真实气象数据、与该历史真实气象数据对应的历史预测气象数据,该目标损失函数根据第一子损失函数、第二子损失函数、该第一子损失函数的第一权重以及该第二子损失函数的第二权重确定,该第一子损失函数为该第一模型对应的损失函数,该第二子损失函数为该第二模型对应的损失函数,该第一权重和该第二权重基于该数据集确定。
在一种可能的设计中,该第一模型至少包括第一子模型和第二子模型;该第一子模型的输入为该历史光伏发电功率数据,用于对该历史光伏发电功率数据进行全局表征;该第二子模型的输入为该历史预测气象数据,用于对该历史预测气象数据进行全局表征。
在一种可能的设计中,该模型还包括第三模型;该第三模型的输入为该输入数据,该第三模型的输出为该第一模型的第一自适应权重和该第二模型的第二自适应权重;该第三模型用于基于该第一自适应权重和该第二自适应权重对该第一模型的输出结果和该第二模型的输出结果进行融合。
在一种可能的设计中,该第一子模型、该第二子模型、该第二模型包括如下任意一种:TCN、RNN、LSTM、MLP。
在一种可能的设计中,该第三模型包括如下任意一种:MLP、具有自注意力机制的神经网络。
需要说明的是,执行设备1200中各模块/单元之间的信息交互、执行过程等内容,与本申请中图8对应的方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的另一种训练设备,请参阅图13,图13为本申请实施例提供的训练设备的一种结构示意图,训练设备1300上可以部署有图11对应实施例中所描述的训练设备1100,用于实现图11对应实施例中训练设备1100的功能,具体的,训练设备1300由一个或多个服务器实现,训练设备1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1322和存储器1332,一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中,存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对训练设备1300中的一系列指令操作。更进一步地,中央处理器1322可以设置为与存储介质1330通信,在训练设备1300上执行存储介质1330中的一系列指令操作。
训练设备1300还可以包括一个或一个以上电源1326,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1358,和/或,一个或一个以上操作系统1341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本申请实施例中,中央处理器1322,用于执行图4对应实施例中的训练设备执行的模型的训练方法。例如,中央处理器1322可以用于:首先,可以先获取数据集,该数据集可以包括训练数据和验证数据,其中,该数据集中的数据类型至少包括预设时长t(如,过去的24h时长)的历史光伏发电功率数据(如,过去的24h时长内通过采样得到的光伏发电功率数据)、历史真实气象数据(如,过去的24h时长内通过采样得到的真实气象数据)、与历史真实气象数据对应的历史预测气象数据(如,在过去的24h内预测的与真实气象数据采样时刻对应采集的实时气象预测数据)。之后,根据数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重,第一子损失函数为第一模型对应的损失函数,第二子损失函数为第二模型对应的损失函数,其中,第一模型至少用于对历史光伏发电功率数据、历史预测气象数据进行全局表征,第二模型用于对历史预测气象数据进行局部表征。在得到第一权重和第二权重之后,再根据第一子损失函数、第二子损失函数、第一权重以及第二权重确定目标损失函数。最后,根据数据集中的训练数据和验证数据,利用该目标损失函数对各个模型进行训练(即完成n个epochs,n可自定义,如n=100),得到训练后的高精度预测模型,训练后的模型至少包括训练后的第一模型和训练后的第二模型,之后就可以在线上进行模型的部署,以完成实时光伏发电功率数据的预测任务。
需要说明的是,中央处理器1322执行上述各个步骤的具体方式,与本申请中图4对应的方法实施例基于同一构思,其带来的技术效果也与本申请上述实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的一种执行设备,请参阅图14,图14为本申请实施例提供的执行设备的一种结构示意图,执行设备1400具体可以表现为如图2所示的光功率预测服务器203,也可以是其他各种终端设备,如手机、平板、笔记本电脑、监控数据处理设备等,此处不做限定。其中,执行设备1400上可以部署有图12对应实施例中所描述的执行设备1200,用于实现图12对应实施例中执行设备1200的功能。具体的,执行设备1400包括:接收器1401、发射器1402、处理器1403和存储器1404(其中执行设备1400中的处理器1403的数量可以一个或多个,图14中以一个处理器为例),其中,处理器1403可以包括应用处理器14031和通信处理器14032。在本申请的一些实施例中,接收器1401、发射器1402、处理器1403和存储器1404可通过总线或其它方式连接。
存储器1404可以包括只读存储器和随机存取存储器,并向处理器1403提供指令和数据。存储器1404的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器1404存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1403控制执行设备1400的操作。具体的应用中,执行设备1400的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
本申请上述图8对应实施例揭示的方法可以应用于处理器1403中,或者由处理器1403实现。处理器1403可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1403可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1403可以实现或者执行本申请图8对应的实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1404,处理器1403读取存储器1404中的信息,结合其硬件完成上述方法的步骤。
接收器1401可用于接收输入的数字或字符信息,以及产生与执行设备1400的相关设置以及功能控制有关的信号输入。发射器1402可用于通过第一接口输出数字或字符信息;发射器1402还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1402还可以包括显示屏等显示设备。
本申请实施例中,在一种情况下,处理器1403,用于通过训练后的模型(如,训练后的第一模型和训练后的第二模型)对输入数据进行相应的数据处理,得到对应的输出数据(即预测结果)。该训练后的模型可以是经过本申请图4对应的训练方法得到,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述所示实施例描述的训练设备所执行的步骤,或者,使得计算机执行如前述图8所示实施例描述的执行设备所执行的步骤。
本申请实施例提供的训练设备、执行设备等具体可以为芯片,芯片包括:处理单元和通信单元,该处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使训练设备内的芯片执行前述图4所示实施例描述的训练设备所执行的步骤,或者,使得执行设备内的芯片执行如前述图8所示实施例描述的执行设备所执行的步骤。
可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
具体的,请参阅图15,图15为本申请实施例提供的芯片的一种结构示意图,所述芯片可以表现为神经网络处理器NPU 200,NPU 200作为协处理器挂载到主CPU(Host CPU)上,由Host CPU分配任务。NPU的核心部分为运算电路2003,通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。
在一些实现中,运算电路2003内部包括多个处理单元(process engine,PE)。在一些实现中,运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路2003是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器2002中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器2001中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)2008中。
统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller,DMAC)2005,DMAC被搬运到权重存储器2002中。输入数据也通过DMAC被搬运到统一存储器2006中。
总线接口单元2010(bus interface unit,简称BIU),用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer,IFB)2009的交互。
总线接口单元2010,用于取指存储器2009从外部存储器获取指令,还用于存储单元访问控制器2005从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。
向量计算单元2007包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如Batch Normalization(批归一化),像素级求和,对特征平面进行上采样等。
在一些实现中,向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如,向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元2007生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路2003的激活输入,例如用于在神经网络中的后续层中的使用。
控制器2004连接的取指存储器(instruction fetch buffer)2009,用于存储控制器2004使用的指令;
统一存储器2006,输入存储器2001,权重存储器2002以及取指存储器2009均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。

Claims (35)

1.一种模型的训练方法,所述模型至少包括第一模型以及第二模型,其特征在于,包括:
获取数据集,所述数据集至少包括预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据;
根据所述数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重,所述第一子损失函数为所述第一模型对应的损失函数,所述第二子损失函数为所述第二模型对应的损失函数,其中,所述第一模型至少用于对所述历史光伏发电功率数据、所述历史预测气象数据进行全局表征,所述第二模型用于对所述历史预测气象数据进行局部表征;
根据所述第一子损失函数、所述第二子损失函数、所述第一权重以及所述第二权重确定目标损失函数;
根据所述数据集,利用所述目标损失函数,对所述模型进行训练,得到训练后的模型,所述训练后的模型至少包括训练后的第一模型和训练后的第二模型,其中,所述第一模型的输入为所述历史光伏发电功率数据和所述历史预测气象数据,所述第二模型的输入为所述历史预测气象数据。
2.根据权利要求1所述的方法,其特征在于,所述数据集包括第一子数据集和第二子数据集,所述第一子数据集包括第一历史真实气象数据和第一历史预测气象数据,所述第二子数据集包括第二历史真实气象数据和第二历史预测气象数据,所述根据所述数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重包括:
根据所述第一子数据集确定所述第一历史预测气象数据的第一准确度;
根据所述第二子数据集确定所述第二历史预测气象数据的第二准确度;
根据所述第一准确度和所述第二准确度确定第一子损失函数的第一权重;
根据所述第一权重确定第二子损失函数的第二权重。
3.根据权利要求2所述的方法,其特征在于,
所述第一权重的值与所述第二准确度的值呈反相关关系。
4.根据权利要求2-3中任一项所述的方法,其特征在于,所述根据所述第一子数据集确定所述第一历史预测气象数据的第一准确度包括:
将所述第一子数据集中的数据进行数据切片,得到M个第一切片片段;
基于每个所述第一切片片段中的第一历史真实气象数据和第一历史预测气象数据,计算每个所述第一切片片段中的第一历史预测气象数据的第一目标准确度,得到M个第一目标准确度;
根据所述M个第一目标准确度,确定所述第一准确度,所述第一准确度包括所述M个第一目标准确度的最大值、最小值和/或平均值。
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述根据所述第二子数据集确定所述第二历史预测气象数据的第二准确度包括:
将所述第二子数据集中的数据进行数据切片,得到N个第二切片片段;
基于每个所述第二切片片段中的第二历史真实气象数据和第二历史预测气象数据,计算每个所述第二切片片段中的第二历史预测气象数据的第二目标准确度,得到N个第二目标准确度;
根据所述N个第二目标准确度,确定所述第二准确度,所述第二准确度包括所述N个第二目标准确度的平均值。
6.根据权利要求1-5中任一项所述的方法,其特征在于,
所述第一模型至少包括第一子模型和第二子模型;
所述第一子模型的输入为所述数据集中的所述历史光伏发电功率数据,用于对所述历史光伏发电功率数据进行全局表征;
所述第二子模型的输入为所述数据集中的所述历史预测气象数据,用于对所述历史预测气象数据进行全局表征。
7.根据权利要求1-6中任一项所述的方法,其特征在于,
所述模型还包括第三模型;
所述第三模型的输入为所述数据集中的数据,所述第三模型的输出为所述第一模型的第一自适应权重和所述第二模型的第二自适应权重;
所述第三模型用于基于所述第一自适应权重和所述第二自适应权重对所述第一模型的输出结果和所述第二模型的输出结果进行融合。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一子损失函数、所述第二子损失函数、所述第一权重以及所述第二权重确定目标损失函数包括:
根据第三子损失函数、所述第一子损失函数、所述第二子损失函数、所述第一权重以及所述第二权重确定目标损失函数,所述第三子损失函数为所述第三模型对应的损失函数。
9.根据权利要求6所述的方法,其特征在于,所述第一子模型、所述第二子模型、所述第二模型包括如下任意一种:
时间卷积网络TCN、循环神经网络RNN、长短期记忆网络LSTM、多层感知机MLP。
10.根据权利要求7-8中任一项所述的方法,其特征在于,所述第三模型包括如下任意一种:
多层感知机MLP、具有自注意力机制的神经网络。
11.一种光伏发电功率的预测方法,其特征在于,包括:
获取输入数据,所述输入数据包括第一预设时长的历史光伏发电功率数据和第二预设时长的历史预测气象数据;
将所述输入数据输入训练后的模型,得到所述第二预设时长内至少一个预设时刻的预测的光伏发电功率数据,所述训练后的模型至少包括训练后的第一模型和训练后的第二模型,所述训练后的模型根据数据集、利用目标损失函数训练得到,所述数据集至少包括第三预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据,所述目标损失函数根据第一子损失函数、第二子损失函数、所述第一子损失函数的第一权重以及所述第二子损失函数的第二权重确定,所述第一子损失函数为所述第一模型对应的损失函数,所述第二子损失函数为所述第二模型对应的损失函数,所述第一权重和所述第二权重基于所述数据集确定。
12.根据权利要求11所述的方法,其特征在于,
所述第一模型至少包括第一子模型和第二子模型;
所述第一子模型的输入为所述历史光伏发电功率数据,用于对所述历史光伏发电功率数据进行全局表征;
所述第二子模型的输入为所述历史预测气象数据,用于对所述历史预测气象数据进行全局表征。
13.根据权利要求11-12中任一项所述的方法,其特征在于,
所述模型还包括第三模型;
所述第三模型的输入为所述输入数据,所述第三模型的输出为所述第一模型的第一自适应权重和所述第二模型的第二自适应权重;
所述第三模型用于基于所述第一自适应权重和所述第二自适应权重对所述第一模型的输出结果和所述第二模型的输出结果进行融合。
14.根据权利要求12所述的方法,其特征在于,所述第一子模型、所述第二子模型、所述第二模型包括如下任意一种:
时间卷积网络TCN、循环神经网络RNN、长短期记忆网络LSTM、多层感知机MLP。
15.根据权利要求13所述的方法,其特征在于,所述第三模型包括如下任意一种:
多层感知机MLP、具有自注意力机制的神经网络。
16.一种训练设备,其特征在于,所述训练设备部署有模型,所述模型至少包括第一模型和第二模型,所述训练设备包括:
获取模块,用于获取数据集,所述数据集至少包括预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据;
计算模块,根据所述数据集确定第一子损失函数的第一权重以及第二子损失函数的第二权重,所述第一子损失函数为所述第一模型对应的损失函数,所述第二子损失函数为所述第二模型对应的损失函数,其中,所述第一模型至少用于对所述历史光伏发电功率数据、所述历史预测气象数据进行全局表征,所述第二模型用于对所述历史预测气象数据进行局部表征;
确定模块,根据所述第一子损失函数、所述第二子损失函数、所述第一权重以及所述第二权重确定目标损失函数;
训练模块,根据所述数据集,利用所述目标损失函数,对所述模型进行训练,得到训练后的模型,所述训练后的模型至少包括训练后的第一模型和训练后的第二模型,其中,所述第一模型的输入为所述历史光伏发电功率数据和所述历史预测气象数据,所述第二模型的输入为所述历史预测气象数据。
17.根据权利要求16所述的设备,其特征在于,所述数据集包括第一子数据集和第二子数据集,所述第一子数据集包括第一历史真实气象数据和第一历史预测气象数据,所述第二子数据集包括第二历史真实气象数据和第二历史预测气象数据,所述计算模块,具体用于:
根据所述第一子数据集确定所述第一历史预测气象数据的第一准确度;
根据所述第二子数据集确定所述第二历史预测气象数据的第二准确度;
根据所述第一准确度和所述第二准确度确定第一子损失函数的第一权重;
根据所述第一权重确定第二子损失函数的第二权重。
18.根据权利要求17所述的设备,其特征在于,所述第一权重的值与所述第二准确度的值呈反相关关系。
19.根据权利要求17-18中任一项所述的设备,其特征在于,所述计算模块,具体还用于:
将所述第一子数据集中的数据进行数据切片,得到M个第一切片片段;
基于每个所述第一切片片段中的第一历史真实气象数据和第一历史预测气象数据,计算每个所述第一切片片段中的第一历史预测气象数据的第一目标准确度,得到M个第一目标准确度;
根据所述M个第一目标准确度,确定所述第一准确度,所述第一准确度包括所述M个第一目标准确度的最大值、最小值和/或平均值。
20.根据权利要求17-19中任一项所述的设备,其特征在于,所述计算模块,具体还用于:
将所述第二子数据集中的数据进行数据切片,得到N个第二切片片段;
基于每个所述第二切片片段中的第二历史真实气象数据和第二历史预测气象数据,计算每个所述第二切片片段中的第二历史预测气象数据的第二目标准确度,得到N个第二目标准确度;
根据所述N个第二目标准确度,确定所述第二准确度,所述第二准确度包括所述N个第二目标准确度的平均值。
21.根据权利要求16-20中任一项所述的设备,其特征在于,所述第一模型至少包括第一子模型和第二子模型;
所述第一子模型的输入为所述数据集中的所述历史光伏发电功率数据,用于对所述历史光伏发电功率数据进行全局表征;
所述第二子模型的输入为所述数据集中的所述历史预测气象数据,用于对所述历史预测气象数据进行全局表征。
22.根据权利要求16-21中任一项所述的设备,其特征在于,所述模型还包括第三模型;
所述第三模型的输入为所述数据集中的数据,所述第三模型的输出为所述第一模型的第一自适应权重和所述第二模型的第二自适应权重;
所述第三模型用于基于所述第一自适应权重和所述第二自适应权重对所述第一模型的输出结果和所述第二模型的输出结果进行融合。
23.根据权利要求22所述的设备,其特征在于,所述确定模块,具体用于:
根据第三子损失函数、所述第一子损失函数、所述第二子损失函数、所述第一权重以及所述第二权重确定目标损失函数,所述第三子损失函数为所述第三模型对应的损失函数。
24.根据权利要求21所述的设备,其特征在于,所述第一子模型、所述第二子模型、所述第二模型包括如下任意一种:
时间卷积网络TCN、循环神经网络RNN、长短期记忆网络LSTM、多层感知机MLP。
25.根据权利要求22-23中任一项所述的设备,其特征在于,所述第三模型包括如下任意一种:
多层感知机MLP、具有自注意力机制的神经网络。
26.一种执行设备,其特征在于,所述执行设备部署有训练后的模型,所述模型至少包括第一模型和第二模型,所述执行设备包括:
获取模块,用于获取输入数据,所述输入数据包括第一预设时长的历史光伏发电功率数据和第二预设时长的历史预测气象数据;
预测模块,用于将所述输入数据输入训练后的模型,得到所述第二预设时长内至少一个预设时刻的预测的光伏发电功率数据,所述训练后的模型至少包括训练后的第一模型和训练后的第二模型,所述训练后的模型根据数据集、利用目标损失函数训练得到,所述数据集至少包括第三预设时长的历史光伏发电功率数据、历史真实气象数据、与所述历史真实气象数据对应的历史预测气象数据,所述目标损失函数根据第一子损失函数、第二子损失函数、所述第一子损失函数的第一权重以及所述第二子损失函数的第二权重确定,所述第一子损失函数为所述第一模型对应的损失函数,所述第二子损失函数为所述第二模型对应的损失函数,所述第一权重和所述第二权重基于所述数据集确定。
27.根据权利要求26所述的设备,其特征在于,所述第一模型至少包括第一子模型和第二子模型;
所述第一子模型的输入为所述历史光伏发电功率数据,用于对所述历史光伏发电功率数据进行全局表征;
所述第二子模型的输入为所述历史预测气象数据,用于对所述历史预测气象数据进行全局表征。
28.根据权利要求26-27中任一项所述的设备,其特征在于,所述模型还包括第三模型;
所述第三模型的输入为所述输入数据,所述第三模型的输出为所述第一模型的第一自适应权重和所述第二模型的第二自适应权重;
所述第三模型用于基于所述第一自适应权重和所述第二自适应权重对所述第一模型的输出结果和所述第二模型的输出结果进行融合。
29.根据权利要求27所述的设备,其特征在于,所述第一子模型、所述第二子模型、所述第二模型包括如下任意一种:
时间卷积网络TCN、循环神经网络RNN、长短期记忆网络LSTM、多层感知机MLP。
30.根据权利要求28所述的设备,其特征在于,所述第三模型包括如下任意一种:
多层感知机MLP、具有自注意力机制的神经网络。
31.一种训练设备,包括处理器和存储器,所述处理器与所述存储器耦合,其特征在于,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述训练设备执行如权利要求1-10中任一项所述的方法。
32.一种执行设备,包括处理器和存储器,所述处理器与所述存储器耦合,其特征在于,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述执行设备执行如权利要求11-15中任一项所述的方法。
33.一种计算机可读存储介质,其特征在于,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1-15中任一项所述的方法。
34.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1-15中任一项所述的方法。
35.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,执行如权利要求1-15中任一项所述的方法。
CN202310335408.3A 2023-03-24 2023-03-24 一种模型的训练方法、光伏发电功率的预测方法及设备 Pending CN116502692A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310335408.3A CN116502692A (zh) 2023-03-24 2023-03-24 一种模型的训练方法、光伏发电功率的预测方法及设备
CN202310891669.3A CN117131974A (zh) 2023-03-24 2023-07-19 一种模型的训练方法、功率预测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310335408.3A CN116502692A (zh) 2023-03-24 2023-03-24 一种模型的训练方法、光伏发电功率的预测方法及设备

Publications (1)

Publication Number Publication Date
CN116502692A true CN116502692A (zh) 2023-07-28

Family

ID=87322222

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310335408.3A Pending CN116502692A (zh) 2023-03-24 2023-03-24 一种模型的训练方法、光伏发电功率的预测方法及设备
CN202310891669.3A Pending CN117131974A (zh) 2023-03-24 2023-07-19 一种模型的训练方法、功率预测方法及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310891669.3A Pending CN117131974A (zh) 2023-03-24 2023-07-19 一种模型的训练方法、功率预测方法及设备

Country Status (1)

Country Link
CN (2) CN116502692A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116722545A (zh) * 2023-08-07 2023-09-08 深圳航天科创泛在电气有限公司 基于多源数据的光伏发电预测方法和相关设备
CN117293817A (zh) * 2023-10-10 2023-12-26 华润电力技术研究院有限公司 发电参数预测方法及装置
CN117748482A (zh) * 2023-12-13 2024-03-22 正泰集团研发中心(上海)有限公司 发电功率预测方法、装置、电子设备及存储介质
CN118115591A (zh) * 2024-04-28 2024-05-31 深圳市峰和数智科技有限公司 功率预测模型训练方法、光伏电站运维方法及相关装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116722545A (zh) * 2023-08-07 2023-09-08 深圳航天科创泛在电气有限公司 基于多源数据的光伏发电预测方法和相关设备
CN116722545B (zh) * 2023-08-07 2024-01-16 深圳航天科创泛在电气有限公司 基于多源数据的光伏发电预测方法和相关设备
CN117293817A (zh) * 2023-10-10 2023-12-26 华润电力技术研究院有限公司 发电参数预测方法及装置
CN117293817B (zh) * 2023-10-10 2024-06-07 华润电力技术研究院有限公司 发电参数预测方法及装置
CN117748482A (zh) * 2023-12-13 2024-03-22 正泰集团研发中心(上海)有限公司 发电功率预测方法、装置、电子设备及存储介质
CN118115591A (zh) * 2024-04-28 2024-05-31 深圳市峰和数智科技有限公司 功率预测模型训练方法、光伏电站运维方法及相关装置

Also Published As

Publication number Publication date
CN117131974A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
Li et al. A ship motion forecasting approach based on empirical mode decomposition method hybrid deep learning network and quantum butterfly optimization algorithm
CN111368993B (zh) 一种数据处理方法及相关设备
CN116502692A (zh) 一种模型的训练方法、光伏发电功率的预测方法及设备
CN112883149B (zh) 一种自然语言处理方法以及装置
CN113065636A (zh) 一种卷积神经网络的剪枝处理方法、数据处理方法及设备
CN114997412A (zh) 一种推荐方法、训练方法以及装置
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
CN113505883A (zh) 一种神经网络训练方法以及装置
CN112529149B (zh) 一种数据处理方法及相关装置
CN116451594B (zh) 覆冰预测模型的训练方法、预测方法、装置和电子设备
Jing et al. Deep learning-based cloud–edge collaboration framework for remaining useful life prediction of machinery
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
US11830090B2 (en) Methods and systems for an enhanced energy grid system
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN116739154A (zh) 一种故障预测方法及其相关设备
CN117056589A (zh) 一种物品推荐方法及其相关设备
CN115795025A (zh) 一种摘要生成方法及其相关设备
CN115907041A (zh) 一种模型训练方法及装置
CN116312489A (zh) 一种模型训练方法及其相关设备
CN115983362A (zh) 一种量化方法、推荐方法以及装置
CN115623242A (zh) 一种视频处理方法及其相关设备
CN114707643A (zh) 一种模型切分方法及其相关设备
CN114841361A (zh) 一种模型训练方法及其相关设备
CN116258190A (zh) 一种量化方法、装置及相关设备
CN115879524A (zh) 一种模型训练方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20230728

WD01 Invention patent application deemed withdrawn after publication