CN113283156B - 一种基于深度强化学习的地铁站空调系统节能控制方法 - Google Patents
一种基于深度强化学习的地铁站空调系统节能控制方法 Download PDFInfo
- Publication number
- CN113283156B CN113283156B CN202110333881.9A CN202110333881A CN113283156B CN 113283156 B CN113283156 B CN 113283156B CN 202110333881 A CN202110333881 A CN 202110333881A CN 113283156 B CN113283156 B CN 113283156B
- Authority
- CN
- China
- Prior art keywords
- network
- air conditioning
- ddpg
- conditioning system
- subway station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004378 air conditioning Methods 0.000 title claims abstract description 41
- 230000002787 reinforcement Effects 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000011217 control strategy Methods 0.000 claims abstract description 5
- 238000012886 linear function Methods 0.000 claims abstract description 5
- 239000003795 chemical substances by application Substances 0.000 claims description 41
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000001816 cooling Methods 0.000 claims description 5
- 239000000498 cooling water Substances 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 44
- 230000008859 change Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
- F24F11/46—Improving electric energy efficiency or saving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Feedback Control In General (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明提供了一种基于深度强化学习的地铁站空调系统节能控制方法，该方法通过采集地铁站空调系统数据参数；对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0‑1范围内的数值；利用神经网络和步骤获得的数据构建地铁站空调系统的神经网络模型；确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；利用多步预测的DDPG算法求解最后的控制策略，本发明提出的控制方法具有很好的温度跟踪性能，与传统DDPG算法相比,智能体训练次数减少了86次，且能够在系统负荷变化的情况下使系统稳定运行,满足车站温度需求,同时与目前实际工程中的运行系统相比，节能17.908％。
Description
技术领域
本发明涉及地铁站空调节能领域，特别是一种基于深度强化学习的地铁站空调系统节能控制方法。
背景技术
地铁站作为实现城市轨道交通功能性的必要环节,对人们的日常生活具有重要意义.近年来,随着众多地铁站的快速建设、运营,其相应的能耗也迅速增长,能耗问题日益凸显.其中,暖通空调(Heating,ventilation and air conditioning,HVAC)系统是主要的能耗来源,约占车站总能耗的40％以上,仅次于列车牵引系统，地铁站空调系统的设备一般按照远期高峰小时运行情况进行配置,在运行初中期,客流及行车对数远没有达到设计水平,因此设备选型有较大的富余量,造成空调系统通常在低能效的低负荷段运行,造成能源浪费.此外,目前国内大部分地铁站仍然依赖用于低层设备的PID调节器,以及用于高层监控系统的基于规则的控制方案，PID控制方法存在参数整定和调试困难的问题,在空调系统负荷和工况发生变化时极易产生振荡,控制效果不佳。基于规则的控制方法是指根据地铁运行时刻表对各设备采取固定模式的变频技术,该方法存在无法根据实际负荷需求实时调整控制参数的问题,这不仅会消耗更多能源,还会使得夏季地铁站台温度偏低,造成人员舒适性差.另一方面,目前地铁站空调通常对风系统和水系统单独进行控制,而风系统与水系统之间存在耦合关系,单独控制难以实现系统精准节能,也很难保证人员舒适性要求。要降低地铁站空调系统的运行能耗,就必须在保证车站舒适度的前提下采取合理可行的节能控制方案。
已有研究表明,智能控制方法具有自适应、自学习和自协调能力,能够提升空调系统的性能和节能效果.其中,强化学习(Reinforcement learning,RL)中的智能体通过与环境之间的直接交互来最大化奖励信号,能够实现复杂系统的全局优化控制,是充分发挥空调系统节能潜力的有效方法之一，应用强化学习方法控制地铁站空调系统可以有效提升系统的节能效果.不过目前还有两个问题有待解决,其一是基于无模型的强化学习方法在线训练智能体的收敛时间较长,难以满足控制系统实时性要求。其次，地铁站空调系统的状态空间和动作空间都是多维连续的,然而目前大多数相关研究成果只能处理参数空间有限的问题,且只针对单个离散控制变量产生控制律,这限制了它们对复杂系统控制的适用性。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度强化学习的地铁站空调系统节能控制方法，该方法对地铁站空调风系统和水系统进行全局优化控制，可以适应多维连续动作空间的系统；为了提升算法的学习效率,本发明基于多步预测,使智能体择优更新参数，利用邻近训练过程中总奖励值的变化趋势设置了智能体训练终止条件,进一步减少了智能体训练时间，满足站台温度需求和降低系统整体能耗。
本发明的目的是通过以下技术方案来实现的：
一种基于深度强化学习的地铁站空调系统节能控制方法：通过以下步骤实现：
S1、采集地铁站空调系统数据参数；
S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；
S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；
S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；
S5、利用DDPG算法求解最后的控制策略。
进一步的：所述地铁站空调系统数据具包括：
室外温度Tout[k]；
室外相对湿度RHout[k]；
系统负荷L[k]；
系统能效比EER[k]；
站台温度Tin[k]；
冷冻水供水温度Tchws[k]；
冷冻水泵流量fpumpch[k]；
冷却水泵流量fpumpc[k]；
冷却塔风机电压ft[k]；
末端风机频率ffan[k]；
冷冻水阀开度d[k]；
其中：k表示当前时刻。
进一步的：所述神经网络具有一个输入层、一个隐含层和一个输出层，所述隐含层的节点数为10。
进一步的：所述输出层输出的为下一时刻系统能效比EER[k+1]和站台温度Tin[k+1]。
进一步的：
DDPG智能体的状态变量S＝[Tout,RHout,L,EER,Tin]；
DDPG智能体的动作变量A＝[Tchws,fpumpch,fpumpc,ft,ffan,d]；
DDPG智能体的奖励信号：R＝-|Tin-Tin_set|+eEER/100，其中，Tin_set代表站台温度设定值，eEER表示系统能效比的指数函数；
DDPG智能体结构包括Actor网络和Critic网络，且Actor网络和Critic网络均由3层的全连接层网络构成。
进一步的：
所述DDPG算法包括Actor当前网络π(s,θ)、Critic当前网络q(s,a,w)、Actor目标网络π′(s,θ′)以及Critic目标网络q′(s,a,w′)，其中，具体算法如下：
step1:随机初始化参数θ、w、θ′＝θ、w′＝w；清空经验回放池D；
step2:初始化状态S；
step3:基于Actor当前网络π(s,θ)生成n组动作Ai＝π(S,θ)+ξ(i＝1,2,...,n)；
step4:利用系统模型,执行Ai(i＝1,2,...,n)，并向前预测p步,产生p个未来时刻的状态、动作和奖励值；
step5:计算每一组的总奖励值Rtotal(Ai)，共n个，令A＝argmax(Rtotal(Ai))；
step6：执行动作A,得到下一时刻状态S′和奖励R；
step7：将{S,A,R,S′}这个四元组存入经验回放池D；
step8：S←S′；
step9:从集合D中随机采样m个样本，{Sj,Aj,Rj,Sj′}j＝1,2,...,m，根据计算式yj＝Rj+γq′(S′,π′(S′,θ′),w′)计算当前目标值yj；
step10:根据计算式计算计算均方差损失函数J(w)，更新w:/>
step11:根据计算式计算计算损失函数J(θ)，更新θ：
step12:如果N％C＝1，根据计算式w′←τw+(1-τ)w′和θ′←τθ+(1-τ)θ′更新目标网络参数；
step13:若S是非终止状态,转step3；S不是非终止状态,转下一步；
step14:若迭代次数小于N,转step2,若不小于N,结束；
其中，θ为Actor当前网络参数；θ′为Actor目标网络参数；w为Critic当前网络参数；w′为Critic目标网络参数；A为智能体施加给环境的动作；ξ为随机高斯噪声；D为经验回放池集合；m为批量梯度下降的样本数；C为目标网络参数更新频率；N为最大迭代次数；步长αθ＞0，αw＞0；γ为折扣因子，τ为软更新系数；n为预测组数；p为预测步数。
本发明的有益效果是：本发明提出了基于多步预测的深度确定性策略梯度(Deepdeterministic policy gradient,DDPG)方法,对地铁站空调风系统和水系统进行全局优化控制，可以适应多维连续动作空间的系统，为了提升算法的学习效率,本发明对传统DDPG算法进行了改进,基于多步预测,使智能体择优更新参数，此外，本发明还利用邻近训练过程中总奖励值的变化趋势设置了智能体训练终止条件,进一步减少了智能体训练时间，仿真实验结果表明,本发明所提出的控制方法与传统DDPG算法相比,智能体训练次数减少了86次,且能够在系统负荷变化的情况下使系统稳定运行,满足车站温度需求,同时与目前实际工程中的运行系统相比,节能17.908％。
附图说明
图1为本发明地铁站空调系统的神经网络模型结构图；
图2为本发明实施例中站台温度滤波前后数据对比图；
图3为本发明实施例中温度预测误差图；
图4为本发明实施例中温度预测对比图；
图5为本发明实施例中EER预测误差图；
图6为本发明实施例中EER预测结果对比图；
图7为本发明实施例中强化学习控制系统结构图；
图8为本发明实施例中Actor网络示意图；
图9为本发明实施例中Critic网络示意图；
图10为本发明实验例中DDPG智能体训练流程图；
图11为本发明实验例中训练得分图；
图12为本发明实验例中训练过程中温度变化曲线图；
图13为本发明实验例中训练过程中EER变化曲线图；
图14为本发明实验例中训练过程中冷冻水供水温度变化曲线图；
图15为本发明实验例中训练过程中冷却塔风机电压变化曲线图；
图16为本发明实验例中训练过程中冷冻水泵流量变化曲线图；
图17为本发明实验例中训练过程中冷却水泵流量变化曲线图；
图18为本发明实验例中训练过程中末端风机频率变化曲线图；
图19为本发明实验例中训练过程中冷冻水阀开度变化曲线图；
图20为本发明实验例中设置终止条件后的训练过程得分图；
图21为本发明实验例中传统DDPG算法训练过程得分图；
图22为本发明实验例中DDPG智能体用于空调系统控制经过100次测试后站台温度的变化曲线图；
图23为本发明实验例中DDPG智能体用于空调系统控制经过100次测试后EER测试曲线图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
实施例1：
一种基于深度强化学习的地铁站空调系统节能控制方法：通过以下步骤实现：
S1、采集地铁站空调系统数据参数；
S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；
S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；
S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；
S5、利用DDPG算法求解最后的控制策略。
以下对上述步骤S1-S3做进一步详细的说明：
为减少智能体的训练时间,首先需要对系统进行建模,构建与智能体交互的模拟环境.空调系统设备众多,设备型号、规格多样,且系统的状态参数与设备控制参数之间呈非线性关系,使用传统机理建模方法较为困难，相对于数据挖掘算法(人工神经网络-ANN、支持向量机-SVM)，由于经网络算法无需繁冗的建模过程,且模型精度较高，相比于其他方法,它在非线性系统建模方面更具优势，因此，本发明用神经网络获取系统模型，建立神经网络模型需要采集覆盖系统所有动态特性的丰富数据集,此时适当选择建模参数可以提高模型的可理解性、可扩展性和准确性，因此,需要合理选择模型参数。
由于控制目标是使系统在满足舒适性要求的前提下使EER(空调系统能效比，即冷水机组制备的冷量与空调系统各设备的运行功率总和之间的比值)尽可能大，因此神经网络模型输出应为站台温度和EER,输入量包括状态变量和控制变量。
地铁站一般位于地下,在实际运行工况中,影响空调系统能效的因素有很多,包括室外环境、客流量、列车产热、隧道换热和设备散热等，从理论角度而言,输入的参数越多,模型精度越高,但对于实际工程,大部分参数都难以测量,且输入参数越多,神经网络模型训练的时间越长,收敛速度慢.因此本发明选取影响地铁站空调系统温度和EER的主要状态变量包括室外温度、室外相对湿度和系统负荷。另一方面，系统能耗设备除冷水机组之外,包括冷冻水泵、冷却水泵、冷却塔风机和站台末端风机,水泵的控制变量是水泵流量,末端风机的控制变量是输出给相应变频器的频率信号,冷却塔风机的控制变量是控制电压信号.而冷水机组结构复杂,造价昂贵,且其内部有厂家设置好的控制器,不允许外部控制器对其进行控制,因此本发明选择冷冻水供水温度设定值作为冷水机组的控制变量,利用控制算法计算使系统优化目标达到最佳时的冷冻水供水温度设定值.当优化后的设定值传给冷水机组后,冷水机组会自动通过内部控制器,使其出水温度跟上冷冻水的设定值.另外,为了实现风水联动控制,本发明通过末端组合式空调上的冷冻水阀将大系统和水系统有机地结合起来,以实现整个系统的协调工作和动态水力平衡控制，因此，综上所述：本发明神经网络的输入参数具体包括：
室外温度Tout[k]；
室外相对湿度RHout[k]；
系统负荷L[k]；
系统能效比EER[k]；
站台温度Tin[k]；
冷冻水供水温度Tchws[k]；
冷冻水泵流量fpumpch[k]；
冷却水泵流量fpumpc[k]；
冷却塔风机电压ft[k]；
末端风机频率ffan[k]；
冷冻水阀开度d[k]；
其中,k表示当前时刻，神经网络模型的输出为下一时刻系统能效比EER[k+1]和站台温度Tin[k+1]，神经网络模型结构如图1所示。
本发明选取夏季6月至9月系统实测样本数据进行系统建模，采样周期为5分钟,数据由某地铁站监控管理系统提供,部分数据如下表2所示：
进一步的，为了消除尖峰噪声和随机噪声,本实施例对数据进行了滑动平均滤波处理.滤波前后站台温度的对比如附图2所示.另一方面,在神经网络的训练过程中,由于模型各输入变量的量纲不同,并且数据值的大小及范围差异较大,会使网络训练速度变慢,甚至会出现最终无法收敛的情况.因此,本文对实测样本数据进行了归一化和反归一化处理.另外,神经网络常采用Sigmoid函数作为激活函数,归一化能够防止出现神经元净输入绝对值过大引起的输出饱和现象.本实施例在进行处理时,采用线性函数转换方法，将数据转换成0至1范围内的数值.
所有样本数据都被随机分成3个不同的数据集,用于对神经网络模型的训练、验证和测试,数据占比分别为70％、10％和20％。
请继续参阅附图1所示，本发明选用三层前馈神经网络(一个输入层、一个隐含层和一个输出层)建立系统模型,三层前馈神经网络已被证明能以高精度有效逼近任何一个非线性过程。网络隐层神经元数目对预测模型的性能有显著影响,然而并没有提出明确的解析函数来预先确定隐层神经元的数量,一般可通过基于的试错法来计算得到隐层神经元数量，其中,n和l分别代表输入层和输出层节点数；m表示隐含层节点数；α是试凑常数,取值范围通常是[1,10]。
利用上述公式,本实施例计算得出系统模型的隐含层节点数取值范围是[5,13].为了确定隐含层神经元的最佳数量,必须进行实验试凑比较.综合考虑网络误差和网络泛化性能,通过实验测定,本实施例发现当隐含层节点数为10时,网络训练效果最佳,实验比较结果如下表所示：
本实施例利用所构建的系统模型进行测试，模型测试输出与所对应的目标输出之间的温度误差曲线如附图3所示.由附图3可以看出,温度误差大多在-0.5～0.5℃之间,平均绝对误差为0.161℃,平均相对误差为0.665％,均方差为0.086；模型测试输出与所对应的目标输出之间的比较结果如附图4所示，由附图4可以看出,模型测试输出与所对应的目标输出之间的拟合度良好,在受到环境因素等时变参数影响情况下,预测模型的值可以较好地跟随目标值.这表明本文所构建的空调系统模型可以以较高的精度反映系统输入输出样本数据对中固有的非线性映射关系；附图5和附图6是利用1000组数据对系统能效比进行测试的实验结果.所得到的测试误差曲线如附图5所示.由图可以看出,模型输出与所对应的目标输出之间误差值大部分都维持在-0.3～0.4之间,平均绝对误差为0.136,平均相对误差为2.861％,均方差为0.040.模型输出与所对应的目标输出之间的比较结果如附图10所示。
由以上结果可以看出,本实施例所构建的神经网络系统模型具有结构简单的特点,同时能够避免进行繁琐的计算过程,具有工程实用价值。
实施例2：
一种基于深度强化学习的地铁站空调系统节能控制方法：通过以下步骤实现：
S1、采集地铁站空调系统数据参数；
S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；
S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；
S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；
S5、利用DDPG算法求解最后的控制策略。
以下对步骤S4-S5做进一步说明：
在DDPG智能体训练之前,控制策略首先要确定系统的状态、动作、奖励信号以及智能体的结构.智能体的状态就是系统模型的状态变量,动作就是系统的控制变量，此处智能体的状态和动作即为实施例1中系统模型的输入变量，具体的：
状态变量S＝[Tout,RHout,L,EER,Tin]；
动作变量A＝[Tchws,fpumpch,fpumpc,ft,ffan,d]；
地铁站空调系统控制的目标是使站台温度实时跟踪设定值,同时使系统能效比最大,因此奖励信号R表示为：R＝-|Tin-Tin_set|+eEER/100，其中，Tin_set代表站台温度设定值，eEER表示系统能效比的指数函数。
本实施例根据地铁站环境控制要求，将地铁站台夏季的设计温度值定为24℃，即Tin_set＝24℃.式(10)中前一项-|Tin-Tin_set|表示当站台实际温度越接近设定值时奖励值越大,后一项eEER表示系统能效比的指数函数,即能效比越大,奖励值越大,同时随着EER越来越大,奖励值的变化也越来越大,最后用该值除以100是为了防止奖励值过大,不利于计算。
DDPG智能体结构包括Actor网络和Critic网络，如附图7所示,Actor网络以系统状态为输入,控制动作为输出,Critic网络以系统状态和动作作为输入,动作价值函数q作为输出。本实施例设置DDPG智能体的每一个Actor网络和Critic网络都由3层的全连接层网络构成,具体的网络结构分别如附图8和附图9所示。
传统DDPG算法中智能体所有的数据都来自环境模型的反馈,智能体只利用过去的数据对当前的行为进行优化和提升,严重限制了智能体的学习速度和泛化能力。模型预测控制作为一种智能优化控制算法,采用了多步预测、滚动优化和反馈校正等策略.其中,滚动优化与传统的全局优化不同,滚动优化在每一时刻的优化性能指标只涉及从该时刻起到未来有限的时间内,而到下一时刻,这一优化时间同时向前推移,不断地进行在线优化,因此其采用的是滚动式的有限时域优化策略,具有鲁棒性强、对模型精确性要求不高等优点.滚动优化以多步预测为基础,在每一优化时刻,算法利用系统模型预测未来有限时间内的系统状态和动作,再求解优化性能指标。
对于强化学习智能体来说,为了使它不必局限于只从与环境模型的交互中获取数据,让智能体能够利用所预测的数据择优更新参数,本发明基于多步预测滚动优化的思想,提出了基于多步预测的DDPG算法,有效减少了智能体的训练次数,提升了算法的学习效率，其中，具体算法如下：
step1:随机初始化参数θ、w、θ′＝θ、w′＝w；清空经验回放池D；
step2:初始化状态S；
step3:基于Actor当前网络π(s,θ)生成n组动作Ai＝π(S,θ)+ξ(i＝1,2,...,n)；
step4:利用系统模型,执行Ai(i＝1,2,...,n)，并向前预测p步,产生p个未来时刻的状态、动作和奖励值；
step5:计算每一组的总奖励值Rtotal(Ai)，共n个，令A＝argmax(Rtotal(Ai))；
step6：执行动作A,得到下一时刻状态S′和奖励R；
step7：将{S,A,R,S′}这个四元组存入经验回放池D；
step8：S←S′；
step9:从集合D中随机采样m个样本，{Sj,Aj,Rj,Sj′}j＝1,2,…,m，根据计算式yj＝Rj+γq′(S′,π′(S′,θ′),w′)计算当前目标值yj；
step10:根据计算式计算计算均方差损失函数J(w)，更新w:/>
step11:根据计算式计算计算损失函数J(θ)，更新θ：
step12:如果N％C＝1，根据计算式w′←τw+(1-τ)w′和θ′←τθ+(1-τ)θ′更新目标网络参数；
step13:若S是非终止状态,转step3；S不是非终止状态,转下一步；
step14:若迭代次数小于N,转step2,若不小于N,结束；
其中，θ为Actor当前网络参数；θ′为Actor目标网络参数；w为Critic当前网络参数；w′为Critic目标网络参数；ξ为随机噪声；D为经验回放池集合；m为批量梯度下降的样本数；C为目标网络参数更新频率；N为最大迭代次数；步长αθ＞0，αw＞0；γ为折扣因子，τ为软更新系数；n为预测组数；p为预测步数。
具体的，Actor和Critic为两个神经网络,分别用π(s,θ)和q(s,a,w)来表示，即策略和价值。Actor网络将状态s映射到动作a，而Critic网络通过遵循当前状态对应的策略,来计算预期价值q。在DDPG算法中，Actor网络的输出策略就是系统的控制动作，即π(s,θ)＝a，算法随机初始化每个网络的权重θ和w，为提高算法训练的稳定性，DDPG算法中一共包含4个网络,除Actor和Critic当前网络之外,另两个网络分别为Actor和Critic的目标网络，π′(s,θ′)和q′(s,a,w′)，这两个网络用于在更新当前网络权值时计算目标值。目标网络的权值θ′和w′初始化为与当前网络相同，然后每隔一段时间,算法将当前网络参数复制到目标网络进行更新。
为了使Actor网络和Critic网络的训练具有鲁棒性,本算法中人为定义了一个有限的缓存区D作为经验回放池,用于将每次与环境交互得到的奖励与状态更新情况都保存起来.在每次更新网络、计算目标值时,算法不是使用在每个决策时刻立即收集的转换样本,而是从经验回放池D中随机抽取少量的转换样本,对网络进行训练.为了加快计算速度,经验回放池的内存大小是有限的,当它达到一定值时,最先存入的样本数据将被丢弃.在训练开始之前,算法需要将经验回放池清空。
为了使算法具有一定的在线探索性,避免错过其他较好的动作,使用的策略表示为：A＝π(S,θ)+ξ；
A表示智能体施加给环境的动作，ξ表示随机高斯噪声,将其添加到动作中的目的是确保探索性并防止算法收敛到局部最优解.传统DDPG算法在step3基于Actor网络生成一组动作A并添加一定的随机噪声,然后直接执行step6。本发明在step3这一步引入了多步预测的思想,即先基于Actor网络生成多组(n组)动作Ai(i＝1,2,...,n),并为每一组动作添加随机噪声,然后每组基于第一个动作利用模型向前预测p步,最终便产生了p个未来时刻的状态和动作,共有n组；接下来计算每一组的总奖励值,即预测的p步的奖励之和,这样便有了n个总奖励值,算法从中选择最大的一个值,那么该组的第一个动作就被作为step3的返回值,然后再执行step6.执行动作A后,系统得到下一时刻系统状态S′和奖励值R,并将{S,A,R,S′}这个四元组存入经验回放池。
更新网络参数时,智能体从经验回放池中随机采样m个样本{Sj,Aj,Rj,Sj′}j＝1,2,…,m,计算当前目标q值yj：
yj＝Rj+γq′(S′,π′(S′,θ′),w′)
其中，γ表示折扣因子,决定了未来奖励的比重，0≤γ≤1。
Critic网络的损失函数为：
它表示实施例1中式子中的目标q值与Critic网络输出的期望价值之间的误差最小。
根据策略梯度法,Actor网络的损失函数为：
然后,本算法采用梯度下降法对Actor和Critic网络的权值进行更新。
最后,当满足目标网络更新频率C时,算法使用以下软更新公式更新目标网络参数：
w′←τw+(1-τ)w′；
θ′←τθ+(1-τ)θ′；
其中,τ表示软更新系数,这样可以避免损失值出现较大波动。
实验例：
为实现所提出的改进DDPG算法，本实验例使用Pycharm软件,基于Tensorflow框架根据算法1编写了算法程序,进行仿真实验,并使用第实施例1中建立的神经网络模型作为DDPG智能体的学习环境.具体流程如附图10所示。
附图11给出了基于多步预测的DDPG算法训练1000次过程中的得分(总奖励值).可以看出,在训练过程中，每次的奖励值是有波动的，造成这种现象的原因主要有两个,一是每次训练的初始环境不同,二是算法为每次策略探索添加了随机噪声.但是,从整体奖励值的变化趋势来看,在训练过程中,总奖励值呈稳步上升的趋势,并在大约第500次训练之后达到饱和值,总奖励值接近1200,这说明智能体已经训练完成.训练过程中的站台温度变化情况如附图12所示,可以看出,在第500次训练之前,温度波动较大,智能体在不断探索,寻求更大的奖励,之后温度趋于稳定,稳定在设定值24℃左右.训练过程中系统能效比的变化情况如图13所示,可以看出,在整个训练过程中,EER一直都在不断探索以获得较大值,并最终能达到接近6。
附图14-附图19分别给出了智能体训练过程中各控制变量的变化曲线.从图中可以看出,各控制变量均存在探索过程,冷却塔风机控制电压、冷冻水泵流量和冷却水泵流量均稳定在最大值处,而冷冻水供水温度稳定在10℃左右,末端风机控制信号稳定在约40％,这表明冷水机组和末端风机是耗能的主要设备,整个系统的节能主要是控制这两个设备进行优化.冷冻水阀开度稳定在约74％处,它可以实现系统风水联动协调控制。
从附图11中可以看出,在第约500次训练之后,智能体得分已接近饱和值,因此后几百次的训练是多余的,为了确定智能体训练完成的确切次数,避免人为设置训练次数过多,影响算法效率,本文每次训练结束之后增加了一个判断条件,通过观察图15的1000次训练结果发现,在回报值达到饱和之前,相隔100次的两次训练回报值之差都超过100,达到饱和之后,该差值低于50,故将第i次的判断条件设置为计算第i次与第i-100次的回报值之差,若连续3次该差值均小于50,则判定智能体训练结束。附图20给出了应用该终止条件后的训练结果图,可以看出,在第530次时训练结束,智能体得分达到饱和值1169.2,这大大缩减了智能体的训练时间,并取得了和之前同样的控制效果。
传统DDPG算法的训练得分过程如附图21所示，当训练次数达到616次时,智能体才训练结束,相比于本发明提供的基于多步预测的DDPG算法增加了86次,可见本发明所提出的改进算法提升了系统的学习效率.除减少了智能体的训练次数之外,二者在训练完成时对系统状态温度和EER取得了一样的控制效果。
为了评价所提出的基于多步预测的DDPG算法的性能,本实验例将训练完成的智能体用于空调系统控制,观察系统状态的输出结果。附图22所示为系统经过100次测试后站台温度的变化曲线,可以看出,温度能够从初始值约27℃很快到达设定值24℃，平均绝对误差为0.0137℃，且过程较为平稳,控制效果较佳。附图23所示为系统能效比EER的测试结果,从图中可看出,EER最大值能达到接近6左右,且较为稳定,通过计算,在应用本文所提出的策略后,EER平均值为5.7566,而原地铁站空调系统采用PID控制，且风系统和水系统分开控制,其实际运行EER平均值为4.8823，从这个角度而言,该强化学习控制方案可以节能约17.908％。
需要对以上实施例说明的是，本发明对空调系统节能控制方法，不仅限于以上实施例中涉及的地铁站，对需要进行空调节能控制的隐剧院、图书馆、候车室等需要进行温度节能控制的公共场所，本发明也同样适用。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (2)
1.一种基于深度强化学习的地铁站空调系统节能控制方法，其特征在于：通过以下步骤实现：
S1、采集地铁站空调系统数据参数；
S2、对采集的数据进行滑动平均滤波处理、归一化和反归一化处理并利用线性函数转换方法将数据转换成0-1范围内的数值；
S3、利用神经网络和步骤S2获得的数据构建地铁站空调系统的神经网络模型；
S4、确定DDPG智能体的状态变量、动作变量、奖励信号以及结构；
S5、利用多步预测的DDPG算法求解最后的控制策略；
所述神经网络具有一个输入层、一个隐含层和一个输出层，所述隐含层的节点数为10；
所述输出层输出的为下一时刻系统能效比EER[k+1]和站台温度Tin[k+1]；
所述DDPG智能体的状态变量S＝[Tout,RHout,L,EER,Tin]；
DDPG智能体的动作变量A＝[Tchws,fpumpch,fpumpc,ft,ffan,d]；
DDPG智能体的奖励信号：R＝-|Tin-Tin_set|+eEER/100，其中，Tin_set代表站台温度设定值，eEER表示系统能效比的指数函数；
DDPG智能体结构包括Actor网络和Critic网络，且Actor网络和Critic网络均由3层的全连接层网络构成；
所述多步预测的DDPG算法包括Actor当前网络π(s,θ)、Critic当前网络q(s,a,w)、Actor目标网络π′(s,θ′)以及Critic目标网络q′(s,a,w′)，其中，具体算法如下：
step1:随机初始化参数θ、w、θ′＝θ、w′＝w；清空经验回放池D；
step2:初始化状态S；
step3:基于Actor当前网络π(s,θ)生成n组动作Ai＝π(S,θ)+ξ(i＝1,2,...,n)；
step4:利用系统模型,执行Ai(i＝1,2,...,n)，并向前预测p步,产生p个未来时刻的状态、动作和奖励值；
step5:计算每一组的总奖励值Rtotal(Ai)，共n个，令A＝argmax(Rtotal(Ai))；
step6：执行动作A,得到下一时刻状态S′和奖励R；
step7：将{S,A,R,S′}这个四元组存入经验回放池D；
step8：S←S′；
step9:从集合D中随机采样m个样本，{Sj,Aj,Rj,S′j}j＝1,2,...,m，根据计算式yj＝Rj+γq′(S′,π′(S′,θ′),w′)计算当前目标值yj；
step10:根据计算式计算计算均方差损失函数J(w)，更新
step11:根据计算式计算计算损失函数J(θ)，更新θ：
step12:如果N％C＝1，根据计算式w′←τw+(1-τ)w′和θ′←τθ+(1-τ)θ′更新目标网络参数；
step13:若S是非终止状态,转step3；S不是非终止状态,转下一步；
step14:若迭代次数小于N,转step2,若不小于N,结束；
其中，θ为Actor当前网络参数；θ′为Actor目标网络参数；w为Critic当前网络参数；w′为Critic目标网络参数；A为智能体施加给环境的动作；ξ为随机高斯噪声；D为经验回放池集合；m为批量梯度下降的样本数；C为目标网络参数更新频率；N为最大迭代次数；步长αθ＞0，αw＞0；γ为折扣因子，τ为软更新系数；n为预测组数；p为预测步数。
2.根据权利要求1所述的一种基于深度强化学习的地铁站空调系统节能控制方法，其特征在于，所述地铁站空调系统数据具包括：
室外温度Tout[k]；
室外相对湿度RHout[k]；
系统负荷L[k]；
系统能效比EER[k]；
站台温度Tin[k]；
冷冻水供水温度Tchws[k]；
冷冻水泵流量fpumpch[k]；
冷却水泵流量fpumpc[k]；
冷却塔风机电压ft[k]；
末端风机频率ffan[k]；
冷冻水阀开度d[k]；
其中：k表示当前时刻。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333881.9A CN113283156B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333881.9A CN113283156B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283156A CN113283156A (zh) | 2021-08-20 |
| CN113283156B true CN113283156B (zh) | 2023-09-15 |
Family
ID=77276000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110333881.9A Active CN113283156B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度强化学习的地铁站空调系统节能控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113283156B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779871B (zh) * | 2021-08-26 | 2024-08-06 | 清华大学 | 一种电热耦合系统调度方法、装置、电子设备及其存储介质 |
| CN114020079B (zh) * | 2021-11-03 | 2022-09-16 | 北京邮电大学 | 一种室内空间温度和湿度调控方法及装置 |
| CN114017904B (zh) * | 2021-11-04 | 2023-01-20 | 广东电网有限责任公司 | 一种建筑物hvac系统的运行控制方法及装置 |
| CN114234381A (zh) * | 2021-11-26 | 2022-03-25 | 国网上海市电力公司 | 基于强化学习的中央空调控制方法和控制系统 |
| CN114322208B (zh) * | 2021-12-15 | 2023-08-18 | 合肥工业大学 | 基于深度强化学习的智能园区空调负荷调控方法和系统 |
| CN114240192B (zh) * | 2021-12-21 | 2022-06-24 | 特斯联科技集团有限公司 | 基于强化学习的园区能效提升的设备优化配置方法及系统 |
| CN115289619A (zh) * | 2022-07-28 | 2022-11-04 | 安徽大学 | 基于多智能体深度强化学习的地铁站台hvac控制方法 |
| CN116661317B (zh) * | 2023-06-01 | 2024-04-12 | 六和电子（江西）有限公司 | 一种阶梯式温度、时间、压力热压薄膜电容器方法 |
| CN117408170B (zh) * | 2023-12-15 | 2024-03-08 | 南京群顶科技股份有限公司 | 一种适用于数据中心水冷系统的节能预测控制方法 |
| CN118560223B (zh) * | 2024-07-31 | 2024-10-11 | 常州腾龙汽车零部件股份有限公司 | 基于深度学习的新能源汽车热管理系统控制方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004239519A (ja) * | 2003-02-06 | 2004-08-26 | Yamaguchi Technology Licensing Organization Ltd | 蓄熱プラントの制御装置 |
| CN108386971A (zh) * | 2018-01-28 | 2018-08-10 | 浙江博超节能科技有限公司 | 中央空调节能自控系统 |
| CN108990383A (zh) * | 2018-08-15 | 2018-12-11 | 北京建筑大学 | 一种数据中心空调系统预测控制方法 |
| CN109959123A (zh) * | 2019-03-11 | 2019-07-02 | 浙江工业大学 | 一种基于遗传算法和长短期记忆循环神经网络的空调节能方法 |
| CN110288164A (zh) * | 2019-07-02 | 2019-09-27 | 广州市特沃能源管理有限公司 | 一种建筑空调制冷站系统预测控制方法 |
| CN111351180A (zh) * | 2020-03-06 | 2020-06-30 | 上海外高桥万国数据科技发展有限公司 | 一种运用人工智能实现数据中心节能温控的系统及方法 |
| CN111609525A (zh) * | 2019-02-25 | 2020-09-01 | 珠海格力电器股份有限公司 | 一种空调控制方法、装置、电子设备及存储介质 |
| CN112465664A (zh) * | 2020-11-12 | 2021-03-09 | 贵州电网有限责任公司 | 一种基于人工神经网络及深度强化学习的avc智能控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11002202B2 (en) * | 2018-08-21 | 2021-05-11 | Cummins Inc. | Deep reinforcement learning for air handling control |
-
2021
- 2021-03-29 CN CN202110333881.9A patent/CN113283156B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004239519A (ja) * | 2003-02-06 | 2004-08-26 | Yamaguchi Technology Licensing Organization Ltd | 蓄熱プラントの制御装置 |
| CN108386971A (zh) * | 2018-01-28 | 2018-08-10 | 浙江博超节能科技有限公司 | 中央空调节能自控系统 |
| CN108990383A (zh) * | 2018-08-15 | 2018-12-11 | 北京建筑大学 | 一种数据中心空调系统预测控制方法 |
| CN111609525A (zh) * | 2019-02-25 | 2020-09-01 | 珠海格力电器股份有限公司 | 一种空调控制方法、装置、电子设备及存储介质 |
| CN109959123A (zh) * | 2019-03-11 | 2019-07-02 | 浙江工业大学 | 一种基于遗传算法和长短期记忆循环神经网络的空调节能方法 |
| CN110288164A (zh) * | 2019-07-02 | 2019-09-27 | 广州市特沃能源管理有限公司 | 一种建筑空调制冷站系统预测控制方法 |
| CN111351180A (zh) * | 2020-03-06 | 2020-06-30 | 上海外高桥万国数据科技发展有限公司 | 一种运用人工智能实现数据中心节能温控的系统及方法 |
| CN112465664A (zh) * | 2020-11-12 | 2021-03-09 | 贵州电网有限责任公司 | 一种基于人工神经网络及深度强化学习的avc智能控制方法 |
Non-Patent Citations (10)
| Title |
|---|
| Anchal Gupta 等.Energy-efficient heating control for smart buildings with deep reinforcement learning.《Journal of Building Engineering》.2020,第34卷1-31. * |
| Prabesh Paudel 等.A Context-aware Architecture for Energy Saving in Smart Classroom Environment.《2019 IEEE International Conference on Consumer Electronics》.2019,1-2. * |
| Yuanlong Li 等.Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning.《IEEE Transactions on Cybernetics》.2019,第50卷(第5期),2002-2013. * |
| 严干贵 等.基于深度强化学习的分布式电采暖参与需求响应优化调度.《电网技术 》.2020,第44卷(第11期),4140-4149. * |
| 何超. 基于深度强化学习的建筑节能方法研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2020,(第1期),C038-489. * |
| 刘静纨 等.神经网络模糊预测优化控制在VAV系统中的应用.《系统仿真学报》.2010,第22卷(第12期),2909-2914. * |
| 李凯文 等.基于深度强化学习的组合优化研究进展.《自动化学报》.2020,第47卷(第11期),2521-2537. * |
| 杨祖煌.HVAC设备缺氟检测与节能控制优化方法研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2020,(第3期),C038-696. * |
| 高学金 等.基于ISOA的LS-SVM地铁站空调系统能耗预测模型.《计算机与现代化》.2018,(10),36-43. * |
| 魏东,支谨,张明廉.基于人工神经网络的变风量空调控制系统.暖通空调.2005,(第04期),112-116+59. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113283156A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113283156B (zh) | 一种基于深度强化学习的地铁站空调系统节能控制方法 | |
| CN111795484B (zh) | 一种智慧空调控制方法和系统 | |
| Homod | Analysis and optimization of HVAC control systems based on energy and performance considerations for smart buildings | |
| CN111351180B (zh) | 一种运用人工智能实现数据中心节能温控的系统及方法 | |
| CN112628956B (zh) | 基于边云协同框架的冷水机组负荷预测控制方法和系统 | |
| CN104833154B (zh) | 基于模糊pid与神经内模的冷冻水回路控制方法 | |
| CN105843037A (zh) | 基于q学习的智能楼宇温度控制方法 | |
| Dey et al. | Reinforcement learning building control approach harnessing imitation learning | |
| CN113551373A (zh) | 一种基于联邦强化学习的数据中心空调节能控制方法 | |
| CN113268913B (zh) | 一种基于pso-elm算法的智能建筑空调冷机系统运行优化方法 | |
| CN113821903B (zh) | 温度控制方法和设备、模块化数据中心及存储介质 | |
| CN114234381A (zh) | 基于强化学习的中央空调控制方法和控制系统 | |
| Fu et al. | Research and application of predictive control method based on deep reinforcement learning for HVAC systems | |
| CN116907036A (zh) | 一种基于冷负荷预测的深度强化学习冷水机组控制方法 | |
| CN114498649A (zh) | 主动配电网建筑热负荷控制方法、装置、电子设备和存储介质 | |
| CN116085953A (zh) | 基于动态空调运行数据的节能控制方法、系统及介质 | |
| CN118259595A (zh) | 一种基于模糊控制以及模型预测控制的变风量空调系统的优化控制方法 | |
| CN117190405A (zh) | 一种基于强化学习的除湿机组系统的节能优化控制方法 | |
| CN117592657A (zh) | 一种多台冷水机组负荷分配优化方法及系统 | |
| CN116241991A (zh) | 一种基于深度强化学习中央空调控制方法及系统 | |
| CN114115398B (zh) | 一种建筑物冷水机组需求响应控制方法及装置 | |
| CN115717758A (zh) | 一种室内空间温度和湿度调控方法及系统 | |
| Groumpos et al. | New advanced technology methods for energy efficiency of buildings | |
| Zhang | A Reinforcement Learning Approach for Whole Building Energy Model Assisted HVAC Supervisory Control | |
| Chen et al. | Optimal load distribution control for airport terminal chiller units based on deep reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |