CN109063903B - 一种基于深度强化学习的建筑能耗预测方法及系统 - Google Patents
一种基于深度强化学习的建筑能耗预测方法及系统 Download PDFInfo
- Publication number
- CN109063903B CN109063903B CN201810796307.5A CN201810796307A CN109063903B CN 109063903 B CN109063903 B CN 109063903B CN 201810796307 A CN201810796307 A CN 201810796307A CN 109063903 B CN109063903 B CN 109063903B
- Authority
- CN
- China
- Prior art keywords
- data
- energy consumption
- building
- reinforcement learning
- building energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 66
- 230000002787 reinforcement Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009471 action Effects 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 11
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007433 macroscopic evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Abstract
本发明公开了一种基于深度强化学习的建筑能耗预测方法及系统，包括：采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据。将采集到的数据样本分组，根据所得到的训练样本输入到深度强化学习网络模型中进行训练并保存使状态动作值函数最优的网络模型。最后将预测样本输入到深度强化学习网络模型，进行建筑能耗预测。本发明采用深度学习中的卷积神经网络与强化学习中的Q学习相结合的方法实现了建筑的能耗预测，相对于传统的预测方法，用卷积神经网络结合Q学习算法的深度强化学习网络可以减少数据量，降低数据的存储要求，提高数据的使用效率，加快数据处理的效率。
Description
技术领域
本发明涉及建筑能耗预测技术领域，尤其涉及一种基于深度强化学习的建筑能耗预测方法及系统。
背景技术
随着人类对能源需求的不断增长，能源问题日益突出。在建筑这一行业，减少建筑的综合耗能，提高建筑能源的使用效率已经成为了当今社会发展的研究热点。对建筑系统能耗进行宏观的评估与分析，进而建立可预测建筑能耗的模型被视为实现建筑节能的重要手段。
强化学习是一种从环境映射到动作的学习，目的是使agent在与环境的交互过程中获得最大的累计奖赏，但是在大状态空间下用迭代贝尔曼方程求解状态动作值函数是不可取的。在强化学习算法中可以用深度学习神经网络去近似表示值函数或策略。
深度学习神经网络具有高效率性，用训练好的深度学习神经网络去预测数据具有很高的准确度与速度；深度学习具有可塑性，深度学习模型可以根据具体情况持续改进，这使得它具有很强的灵活性和成长性；深度学习具有普适性，它可以根据问题调整参数修改模型，理论上能够适用于不同种类的问题。特别是深度学习中的卷积神经网络(CNN)有着很优秀的处理大量数据的能力，它具有很强的容错能力与并行处理数据的能力。卷积神经网络(CNN)可以提取出大量数据样本的本质特征，而且它可以利用卷积层与池化层减少数据量，降低数据的存储要求。
目前未见将深度学习神经网络应用于建筑能耗预测方面的相关文献。
综上所述，本发明利用强化学习中的Q学习算法与深度学习中的卷积神经网络相结合的方式提出了一种基于深度强化学习的建筑能耗预测方法。
发明内容
为解决现有技术存在的不足，本发明提供一种基于深度强化学习的建筑能耗预测方法及系统，将强化学习中的Q学习算法与深度学习中的卷积神经网络相结合，通过分析建筑能耗的影响因素，将建筑能耗的影响因素与建筑能耗历史数据同时作为输入数据，提高了建筑能耗预测的准确度。利用卷积神经网络结合Q学习算法实现的深度强化学习减少了数据量，降低了数据的存储要求，提高了数据的使用效率，加快了数据处理的效率。
为了实现上述目的，本发明采用如下技术方案：
在一个或者多个实施例公开的一种基于深度强化学习的建筑能耗预测方法，包括：
采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据；
采集得到的数据划分为训练样本集和预测样本集，对样本集数据进行预处理；
将训练样本集数据输入到深度强化学习模型中进行训练，直到得到最优的状态动作值函数后停止，并保存训练后的深度强化学习模型；
深度强化学习模型采用训练样本的输入向量为xi，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值，通过状态动作值获取迭代后的损失函数，进而获得权值更新的梯度，使用梯度下降法更新权值；
将预测样本输入到训练后的深度强化学习网络模型，进行建筑能耗预测。
进一步地，将进行过预处理的待预测日的前一天的能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分组作为输入向量xi，将进行过预处理的待预测日的能耗数据添加数值标签后作为ai；利用最优状态动作值函数计算出输入样本xi的期望最大回报值，从而得到最优策略。
进一步地，所述最优状态动作值函数具体为：
其中，Ri为输入样本xi的未来回报，
I是输入样本总量，γ为折扣系数，用来权衡未来奖赏对累计奖赏的影响；π是输入样本xi与数据标签ai的映射函数；ωi为权值，x为输入样本；a为添加数值标签后的待预测日的能耗数据；ω为权值；i'为Ri中的一个参数，代表Ri中的连加运算对i至I起作用；Ri为输入样本xi的未来回报。
进一步地，将训练样本集数据输入到深度强化学习模型中进行训练，具体为：
输入数据进入卷积计算层进行卷积计算；
池化层采用Max pooling方法对数据与参数进行压缩；
输入数据经过卷积神经网络与全连接神经网络后输出状态动作值；
利用输出的状态动作值计算输入数据的目标输出；
利用当前输出的状态动作值与目标输出得到均方误差函数；
用均方误差函数对权值求导，得到权值更新的梯度；
用梯度下降法更新权值。
进一步地，利用输出的状态动作值计算输入数据的目标输出，具体为：
其中，xi为输入样本数据，Ri为输入数据xi的未来回报，γ为折扣系数，ω-随着网络训练的过程不断更新，E为数学期望；Qi'为输出的状态动作值；x为输入样本；a为添加数值标签后的待预测日的能耗数据；xi'与ai'为区别于xi与ai的值。
进一步地，利用当前输出的状态动作值与目标输出得到均方误差函数，具体为：
其中，
为数学期望。
进一步地，用均方误差函数对权值求导，得到权值更新的梯度，具体为：
其中，
代表对ωi求导。
进一步地，用梯度下降法更新权值，具体为：
其中，ωi为权值；ωi+1为更新后的权值；
代表均方误差函数对权值求导；η为学习速率；gi是根据权值更新的梯度
选择的函数。
在一个或者多个实施例公开的一种基于深度强化学习的建筑能耗预测系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据；
采集得到的数据划分为训练样本集和预测样本集，对样本集数据进行预处理；
将训练样本集数据输入到深度强化学习模型中进行训练，直到得到最优的状态动作值函数后停止，并保存训练后的深度强化学习模型；
深度强化学习模型采用训练样本的输入向量为xi，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值，通过状态动作值获取迭代后的损失函数，进而获得权值更新的梯度，使用梯度下降法更新权值；
将预测样本输入到训练后的深度强化学习网络模型，进行建筑能耗预测。
在一个或者多个实施例公开的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据；
采集得到的数据划分为训练样本集和预测样本集，对样本集数据进行预处理；
将训练样本集数据输入到深度强化学习模型中进行训练，直到得到最优的状态动作值函数后停止，并保存训练后的深度强化学习模型；
深度强化学习模型采用训练样本的输入向量为xi，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值，通过状态动作值获取迭代后的损失函数，进而获得权值更新的梯度，使用梯度下降法更新权值；
将预测样本输入到训练后的深度强化学习网络模型，进行建筑能耗预测。
与现有技术相比，本发明的有益效果是：
本方案基于深度强化学习的建筑能耗预测方法不局限于采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据作为输入数据；用卷积神经网络结合Q学习算法并集成经验回放技术的深度强化学习网络可以减少数据量，降低数据的存储要求，提高数据的使用效率，加快数据处理的效率，在同等条件下可以处理更多的输入数据。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为基于深度强化学习的建筑能耗预测方法流程图。
图2为深度强化学习网络模型结构图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决背景技术中指出的问题，本申请公开了一种基于深度强化学习的建筑能耗预测方法，如图1所示，包括以下步骤：
(1)分析建筑能耗的影响因素，用建筑物联网云生态系统平台采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据。然后将数据划分为训练样本集和预测样本集，并将样本进行预处理。
(2)根据步骤(1)中所得到的训练样本输入到深度强化学习网络模型中，训练直到可以得到最优的状态动作值函数后停止，并保存训练后的模型。
(3)将预测样本输入到利用步骤(2)所得到的深度强化学习网络模型，进行建筑能耗预测。
(4)相关工作人员可以通过建筑物联网云生态系统平台查询步骤(3)所预测的建筑能耗数据，并根据预测数据调整建筑负荷，降低建筑能耗。
在对深度强化学习神经网络进行训练时，在训练样本中选定某天作为待预测日，将进行过预处理的待预测日的前一天的能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据作为输入向量，为待预测日能耗数据添加数值标签，训练深度强化学习网络。
深度强化学习网络的目标是在某一个输入向量为xi的条件下，通过更新权值ωi使状态动作值函数最终收敛，即利用最优状态动作值函数计算出输入样本xi的期望最大回报值，从而得到最优策略π*＝argmaxQ*(xi,ai；ωi)。最优状态动作值函数如下：
其中Ri为输入样本xi的未来回报，π是输入样本xi与数据标签ai的映射函数。
其中
I是输入样本总量，γ为折扣系数，用来权衡未来奖赏对累计奖赏的影响。
如图2所示，深度强化学习网络采用训练样本的输入向量为xi，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值Qπ(x,a；ω)，通过状态动作值Qπ(x,a；ω)获取迭代后的损失函数Li(ωi)，进而获得权值ω更新的梯度，然后使用梯度下降法更新权值。具体过程如下：
首先要获得训练样本。在获得训练样本时要对数据进行预处理，主要是进行归一化处理与白化处理，对特征轴上的数据幅度归一化，减少由数据取值范围差异带来的干扰。然后将进行过预处理的待预测日的前一天的能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分为I组作为输入向量xi，将进行过预处理的待预测日的能耗数据添加数值标签后作为ai。将数据输入深度强化学习网络进行训练，训练的目标就是更新权值ω使状态动作值函数最终收敛。
获得训练样本后进行深度强化学习网络训练。如图2所示，卷积神经网络分为数据输入层、卷积计算层、激励层、池化层、全连接层，其中卷积神经网络的特点是卷积计算层、激励层与池化层交替出现。从计算的角度来看，一般的神经网络把输入层与隐含层进行全连接设计，这样在训练时会带来大量的计算，耗费大量的时间。卷积神经网络的每个隐含单元仅仅只能连接输入单元的一部分，从而使计算量大幅降低。基于深度强化学习的建筑能耗预测方法的详细训练步骤如下：
1)数据进入卷积计算层后进行卷积计算。卷积计算层的两个特征是局部关联与窗口滑动。局部关联将一般神经网络中的神经元看作是filter，filter与局部数据进行矩阵内积计算即是窗口滑动。在进行卷积计算时，卷积计算层中每个filter连接数据窗的权重是固定的，每个filter只关注一个特性。卷积计算层的公式为：
其中xij为数据输入层的局部数据，ω(n-i)(n-j)为filter中的数据，bL为偏置量。
2)为了使计算得到简化，本发明采用的激励函数为Relu。因为Relu会使一部分filter的输出为0，这样会使网络稀疏，减少参数的相互依存关系，防止发生过拟合。
3)池化层用于对数据与参数进行压缩。为了保证在特征尺度不变的情况下进行降维，本发明的池化层采用Max pooling方法。Max pooling对每个深度切片独立，规模为2*2，取值为4点的最大值。至此，输入向量xi经过卷积神经网络与全连接神经网络后输出状态动作值Qπ(xi,ai；ωi)。
4)利用输出的状态动作值Qπ(xi,ai；ωi)计算输入样本xi的目标输出yi，公式如下：
其中Ri为输入样本xi的未来回报，γ为折扣系数，ω-随着网络训练的过程不断更新。
5)利用当前输出的状态动作值Qπ(xi,ai；ωi)与目标输出yi得到均方误差函数Li(ωi)，公式如下：
E为中括号中式子的数学期望，下标里的参数代表中括号里的式子存在这些参数。
6)用均方误差函数Li(ωi)对ωi求导，得到权值更新的梯度。公式如下：
7)用梯度下降法更新权值ωi，梯度下降法的公式如下：
其中gi与
有关。
以上步骤即可完成深度强化学习网络的训练，将预测样本输入到训练完成的深度强化学习网络模型，即可进行建筑能耗预测。相关工作人员可以通过建筑物联网云生态系统平台查询预测的建筑能耗数据，并根据预测数据调整建筑负荷，降低建筑能耗。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于深度强化学习的建筑能耗预测方法，其特征在于，包括：
采集建筑能耗历史数据，同时采集建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据；
采集得到的数据划分为训练样本集和预测样本集，对训练样本集和预测样本集数据进行预处理；
将训练样本集数据输入到深度强化学习模型中进行训练，直到得到最优状态动作值函数后停止，并保存训练后的深度强化学习模型；其中，将训练样本集数据输入到深度强化学习模型中进行训练的过程具体为：
输入数据进入卷积计算层进行卷积计算；池化层采用Max pooling方法对输入数据进行压缩；输入数据经过卷积神经网络与全连接神经网络后输出状态动作值；利用输出的状态动作值计算输入数据的目标输出；利用当前输出的状态动作值与目标输出得到均方误差函数；用均方误差函数对权值求导，得到权值更新的梯度；用梯度下降法更新权值；
深度强化学习模型采用训练样本的输入向量为xi，每一个输入向量中包含n个元素，输入向量经过卷积神经网络与全连接神经网络运算后，输出状态动作值，通过状态动作值获取迭代后的损失函数；
将预测样本输入到训练后的深度强化学习模型，进行建筑能耗预测；
将进行过预处理的待预测日的前一天的建筑能耗数据、建筑面积、建筑常住人口数量、建筑常住人口消费水平、建筑所在地天气状况数据按类别分组作为输入向量xi，将进行过预处理的待预测日的建筑能耗数据添加数值标签后作为ai；利用最优状态动作值函数计算出输入向量xi的期望最大回报值，从而得到最优策略；
将强化学习中的Q学习算法与深度学习中的卷积神经网络相结合，分析建筑能耗的影响因素，将建筑能耗的影响因素与建筑能耗历史数据同时作为输入数据，提高建筑能耗预测的准确度，利用卷积神经网络结合Q学习算法实现的深度强化学习来减少数据量，降低数据的存储要求，提高数据的使用效率，加快数据处理的效率。
2.如权利要求1所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，所述最优状态动作值函数具体为：
Q*(xi,ai；|ωi)＝maxπE[Ri|xi＝x,ai＝a,ωi＝ω,π]
其中，Ri为输入向量xi的未来回报，
I是输入样本总量，γ为折扣系数，用来权衡未来奖赏对累计奖赏的影响；π是输入向量xi与数值标签ai的映射函数；ωi为权值，x为输入样本；a为添加数值标签后的待预测日的建筑能耗数据；ω为权值；i'为Ri中的一个参数，代表Ri中的连加运算对i至I起作用，E为数学期望。
3.如权利要求1所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，利用输出的状态动作值计算输入数据的目标输出，具体为：
其中，xi为输入向量数据，Ri为输入向量数据xi的未来回报，γ为折扣系数，ω-随着网络训练的过程不断更新，E为数学期望；Qi'为输出的状态动作值；x为输入样本；a为添加数值标签后的待预测日的建筑能耗数据；xi'与ai'为区别于xi与ai的值。
4.如权利要求3所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，利用当前输出的状态动作值与目标输出得到均方误差函数，具体为：
其中，
为数学期望。
5.如权利要求4所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，用均方误差函数对权值求导，得到权值更新的梯度，具体为：
其中，
代表对ωi求导。
6.如权利要求5所述的一种基于深度强化学习的建筑能耗预测方法，其特征在于，用梯度下降法更新权值，具体为：
其中，ωi为权值；ωi+1为更新后的权值；
代表均方误差函数对权值求导；η为学习速率；gi是根据权值更新的梯度
选择的函数。
7.一种基于深度强化学习的建筑能耗预测系统，其特征在于，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1所述的基于深度强化学习的建筑能耗预测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述的基于深度强化学习的建筑能耗预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796307.5A CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796307.5A CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063903A CN109063903A (zh) | 2018-12-21 |
| CN109063903B true CN109063903B (zh) | 2021-04-09 |
Family
ID=64817370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810796307.5A Active CN109063903B (zh) | 2018-07-19 | 2018-07-19 | 一种基于深度强化学习的建筑能耗预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063903B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754075B (zh) * | 2019-01-16 | 2021-07-02 | 中南民族大学 | 无线传感器网络节点的调度方法、设备、存储介质及装置 |
| US10635941B1 (en) * | 2019-01-29 | 2020-04-28 | StradVision, Inc. | Method and device for on-device continual learning of neural network which analyzes input data by optimized sampling of training images, and method and device for testing the neural network for smartphones, drones, vessels, or military purpose |
| CN109946968B (zh) * | 2019-03-27 | 2022-03-25 | 北京快电科技有限公司 | 一种楼宇内分布式能源匹配系统和方法 |
| CN110065855B (zh) * | 2019-04-21 | 2024-01-23 | 苏州科技大学 | 多轿厢电梯控制方法及控制系统 |
| CN110188963A (zh) * | 2019-06-05 | 2019-08-30 | 中国矿业大学(北京) | 基于最小角回归和梯度提升模型的建筑能耗预测方法 |
| CN110263433B (zh) * | 2019-06-19 | 2024-03-05 | 苏州科技大学 | 一种熔断器故障报警方法和系统 |
| CN110299008B (zh) * | 2019-07-19 | 2020-11-13 | 浙江工业大学 | 一种基于强化学习的交通流多步预测方法 |
| CN110598906B (zh) * | 2019-08-15 | 2024-02-13 | 珠海米枣智能科技有限公司 | 一种基于深度强化学习的大型商场能耗实时控制方法和系统 |
| CN110531681B (zh) * | 2019-09-17 | 2021-04-09 | 山东建筑大学 | 基于深度强化学习的室内照明数据采集控制系统及方法 |
| CN110942228A (zh) * | 2019-10-25 | 2020-03-31 | 万翼科技有限公司 | 能耗控制方法、装置、计算机设备与存储介质 |
| CN110796673B (zh) * | 2019-10-31 | 2023-02-24 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
| CN111290922B (zh) * | 2020-03-03 | 2023-08-22 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
| CN111382475A (zh) * | 2020-03-11 | 2020-07-07 | 郑州工程技术学院 | 基于分布式传感器的建筑采光设计智能系统 |
| CN111753468B (zh) * | 2020-06-28 | 2021-09-07 | 中国科学院自动化研究所 | 基于深度强化学习的电梯系统自学习最优控制方法及系统 |
| CN111753470B (zh) * | 2020-06-30 | 2022-09-16 | 桂林电子科技大学 | 一种基于粗糙集和深度置信神经网络的建筑能耗预测方法 |
| CN111738529B (zh) * | 2020-07-28 | 2022-12-23 | 南方电网科学研究院有限责任公司 | 基于强化学习的综合能源系统需求响应方法、系统及设备 |
| CN112232479A (zh) * | 2020-09-11 | 2021-01-15 | 湖北大学 | 基于深度级联神经网络的建筑能耗时空因子表征方法及相关产品 |
| CN112183826B (zh) * | 2020-09-15 | 2023-08-01 | 湖北大学 | 基于深度级联生成对抗网络的建筑能耗预测方法及相关产品 |
| CN112380761B (zh) * | 2020-10-20 | 2024-01-26 | 珠海米枣智能科技有限公司 | 一种基于强化学习的建筑环境控制器和控制方法 |
| CN112712213B (zh) * | 2021-01-15 | 2023-07-04 | 上海交通大学 | 一种集中空调住宅深度迁移学习能耗预测方法及系统 |
| CN112926256B (zh) * | 2021-01-28 | 2022-06-14 | 武汉轻工大学 | 基于深度强化学习的土壤重金属含量预测方法及系统 |
| CN112766596B (zh) * | 2021-01-29 | 2024-04-16 | 苏州思萃融合基建技术研究所有限公司 | 建筑能耗预测模型的构建方法、能耗预测方法及装置 |
| CN112948125A (zh) * | 2021-03-29 | 2021-06-11 | 北京深睿科技有限责任公司 | 基于gpu并行强化学习的建筑节能方法 |
| CN113313236B (zh) * | 2021-06-10 | 2024-03-15 | 浙江工业大学 | 基于时序神经通路的深度强化学习模型中毒检测方法及其装置 |
| CN113705031B (zh) * | 2021-06-15 | 2022-09-16 | 西安电子科技大学 | 基于深度学习的纳米天线阵列电磁性能预测方法 |
| CN113704071A (zh) * | 2021-07-30 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种服务器健康状况预测的方法、装置、设备及可读介质 |
| CN115034812B (zh) * | 2022-05-31 | 2023-04-21 | 湖南华菱电子商务有限公司 | 基于大数据的钢铁行业销售量预测方法及装置 |
| CN115456168B (zh) * | 2022-09-05 | 2023-08-25 | 北京百度网讯科技有限公司 | 强化学习模型的训练方法、能耗确定方法和装置 |
| CN116362418B (zh) * | 2023-05-29 | 2023-08-22 | 天能电池集团股份有限公司 | 一种高端电池智能工厂应用级制造能力在线预测方法 |
| CN116663412B (zh) * | 2023-06-01 | 2024-03-29 | 上海嘉仕迈科技有限公司 | 一种基于深度学习技术的零碳建筑布局优化方法及系统 |
| CN117540938B (zh) * | 2024-01-10 | 2024-05-03 | 杭州经纬信息技术股份有限公司 | 基于td3强化学习优化的集成式建筑能耗预测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7502768B2 (en) * | 2004-02-27 | 2009-03-10 | Siemens Building Technologies, Inc. | System and method for predicting building thermal loads |
| CN102938092A (zh) * | 2012-10-08 | 2013-02-20 | 珠海派诺科技股份有限公司 | 一种基于神经网络的建筑节假日能耗预测方法 |
| CN106991504A (zh) * | 2017-05-09 | 2017-07-28 | 南京工业大学 | 基于分项计量时间序列的建筑能耗预测方法、系统及建筑物 |
| CN107590565A (zh) * | 2017-09-08 | 2018-01-16 | 北京首钢自动化信息技术有限公司 | 一种构建建筑能耗预测模型的方法及装置 |
-
2018
- 2018-07-19 CN CN201810796307.5A patent/CN109063903B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7502768B2 (en) * | 2004-02-27 | 2009-03-10 | Siemens Building Technologies, Inc. | System and method for predicting building thermal loads |
| CN102938092A (zh) * | 2012-10-08 | 2013-02-20 | 珠海派诺科技股份有限公司 | 一种基于神经网络的建筑节假日能耗预测方法 |
| CN106991504A (zh) * | 2017-05-09 | 2017-07-28 | 南京工业大学 | 基于分项计量时间序列的建筑能耗预测方法、系统及建筑物 |
| CN107590565A (zh) * | 2017-09-08 | 2018-01-16 | 北京首钢自动化信息技术有限公司 | 一种构建建筑能耗预测模型的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Human-level control through deep reinforcement learning;Volodymyr Mnih etc;《NATURE》;20150226;第518卷;529-533、METHODS * |
| On-Line Building Energy Optimization Using Deep Reinforcement Learning;Elena Mocanu etc;《IEEE Xplore Digital Library》;20180508;第10卷(第4期);3698-3707 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063903A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063903B (zh) | 一种基于深度强化学习的建筑能耗预测方法及系统 | |
| CN106022521B (zh) | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 | |
| CN110084367B (zh) | 一种基于lstm深度学习模型的土壤墒情预测方法 | |
| CN108959728B (zh) | 基于深度学习的射频器件参数优化方法 | |
| CN103164742B (zh) | 一种基于粒子群优化神经网络的服务器性能预测方法 | |
| CN110782658B (zh) | 一种基于LightGBM算法的交通量预测方法 | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN112289034A (zh) | 基于多模态时空数据的深度神经网络鲁棒交通预测方法 | |
| CN109002889A (zh) | 自适应迭代式卷积神经网络模型压缩方法 | |
| CN109726802B (zh) | 一种铁路和风电场环境风速机器学习预测方法 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN113537305A (zh) | 一种基于匹配网络少样本学习的图像分类方法 | |
| CN107958309A (zh) | 一种高坝多点变形性态联合预报方法 | |
| CN110866631A (zh) | 基于集成的门递归单元神经网络gru来预测大气污染情况的方法 | |
| CN114154401A (zh) | 基于机器学习和观测数据的土壤侵蚀模数计算方法及系统 | |
| CN112818030B (zh) | 一种自适应的分布式流数据关联规则挖掘方法 | |
| Zhao et al. | Prediction of fluid force exerted on bluff body by neural network method | |
| CN114330815A (zh) | 一种基于改进goa优化lstm的超短期风电功率预测方法与系统 | |
| CN110991616B (zh) | 一种基于删减型前馈小世界神经网络出水bod预测方法 | |
| CN113111576A (zh) | 一种基于混合编码粒子群-长短期记忆神经网络出水氨氮软测量方法 | |
| Naik et al. | Indian monsoon rainfall classification and prediction using robust back propagation artificial neural network | |
| CN109187898B (zh) | 水产养殖环境中水质氨氮含量的软测量方法及装置 | |
| CN103607219A (zh) | 一种电力线通信系统的噪声预测方法 | |
| CN111028086A (zh) | 基于聚类与lstm网络的增强指数跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: Room 303, West, 3rd Floor, Building 1, No. 1, Gaoxin 3rd Street, Changping District, Beijing 102200 (Changping Demonstration Park) Patentee after: BEIJING HYSINE YUNDA TECHNOLOGY CO.,LTD. Address before: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong Patentee before: SHANDONG JIANZHU University |