CN115877714B - 一种制冷系统控制方法、装置、电子设备及存储介质 - Google Patents
一种制冷系统控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115877714B CN115877714B CN202211535880.3A CN202211535880A CN115877714B CN 115877714 B CN115877714 B CN 115877714B CN 202211535880 A CN202211535880 A CN 202211535880A CN 115877714 B CN115877714 B CN 115877714B
- Authority
- CN
- China
- Prior art keywords
- model
- refrigerating system
- pump
- cooling tower
- refrigeration system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000005057 refrigeration Methods 0.000 claims abstract description 113
- 238000004088 simulation Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000001816 cooling Methods 0.000 claims description 91
- 230000009471 action Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 32
- 239000003795 chemical substances by application Substances 0.000 claims description 29
- 239000000498 cooling water Substances 0.000 claims description 22
- 239000012530 fluid Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005094 computer simulation Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 37
- 238000005265 energy consumption Methods 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 230000002787 reinforcement Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 239000000306 component Substances 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000008358 core component Substances 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
- Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating
Abstract
本申请提供一种制冷系统控制方法、装置、电子设备及存储介质，该方法包括：获得制冷系统参数；将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令；制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。通过仿真模型建模方法对环境进行模拟，获得制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，实现对制冷系统的精确控制，以提高对制冷系统的优化程度。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种制冷系统控制方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的不断发展，该技术也渐渐被用来尝试进行来制冷系统的最优化控制。制冷设备广泛应用于楼宇、工厂以及数据中心等，制冷系统占据了巨大的能源消耗量，因此优化对制冷系统的控制以降低整个系统能耗尤为重要。目前，在制冷系统的控制方法中，最优的控制方法主要包含基于规则的控制、基于模型的控制以及无模型的控制等，但目前的控制方法对制冷系统的优化程度十分有限。
发明内容
本发明实施例的目的在于一种制冷系统控制方法、装置、电子设备及存储介质，通过仿真模型建模方法对环境进行模拟，获得制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，实现对制冷系统的精确控制，以提高对制冷系统的优化程度。
第一方面，本申请实施例提供了一种制冷系统控制方法，包括：获得制冷系统参数；将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令；制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。
在上述的实现过程中，通过预先构建的制冷系统模型对制冷系统的进行控制，其中制冷系统模型是通过对制冷系统环境进行仿真模型生成的制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。通过仿真模型建模改善了通过在现实环境中进行强化学习造成的泛化性低、搜索范围受限的问题，对控制系统进行更精确的优化控制。
可选地，在本申请实施例中，获得制冷系统历史数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型；制冷系统环境模型包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量中的至少一项。
在上述的实现过程中，通过仿真模型建模方法获得制冷系统环境模型，实现在训练制冷系统模型的时候与模拟器进行交互，无需和真实物理设施进行交互，大大增加了可用数据量，同时提高了训练制冷系统模型的泛化性以及工作效率，也避免与真实物理设施进行交互产生的安全问题，提高了安全性。
可选地，在本申请实施例中，冷机模型包括：
其中，Wcomp表示冷机功率，Qev为冷负荷，A为第一常数，B为第二常数，C为第三常数，D为第四常数。
在上述的实现过程中，冷机系统的能耗是整个制冷系统能耗中的重要组成部分，通过表达式的方式构建冷机系统，更加精确地模拟冷机系统的能耗情况。利用微分运算我们可以将制冷系统建模成稳态静态问题或瞬态动态问题，为智能体训练提供灵活的仿真环境。
可选地，在本申请实施例中，冷却塔模型包括：
ma＝c6Pfan，Wfan＝c7(Pfan)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wfan为冷却塔功率，ma为空气流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c6为第六模型系数，c7为第七模型系数。
在上述的实现过程中，通过表达式的方式构建冷却塔模型，更加精确地模拟冷却塔模型的能耗情况。
可选地，在本申请实施例中，冷却泵模型包括：
mc＝c4Ppump，Wpump＝c5(Ppump)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wpump为冷却泵功率，mc为冷却水流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c4为第四模型系数，c5为第五模型系数。
在上述的实现过程中，通过表达式的方式构建冷却泵模型，更加精确地模拟冷却泵模型的能耗情况。
可选地，在本申请实施例中，制冷系统历史数据包括历史冷负荷数据和历史天气数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型，包括：根据历史冷负荷数据，模拟冷量需求负荷分布，获得末端冷负载分布参数；通过历史天气数据，获得外部天气变量；通过预设的数据库对控制器进行模拟，生成控制器变量；通过预设的管道流仿真方法，获得流体流动热交换器变量。
在上述的实现过程中，通过历史冷负荷数据和历史天气数据模拟末端冷负载分布参数以及外部天气变量，以及分别模拟控制器变量和流体流动热交换器变量，通过历史数据和仿真方法对制冷系统的核心组件进行核心变量进行仿真，为智能体训练提供灵活的仿真环境，实现对控制系统进行更精确的优化控制。
可选地，在本申请实施例中，在将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令之前，方法还包括：获得训练策略以及动作空间；动作空间用于对制冷系统的预设参数进行调节；从动作空间中确定初始动作，通过智能体对制冷系统环境模型进行处理，获得制冷系统环境模型的反馈信号以及观察信号；根据反馈信号、观察信号以及训练策略，从动作空间中确定目标动作，对智能体进行训练，获得制冷系统模型。
在上述的实现过程中，依靠少量的历史数据，构建制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，训练出高效准确的控制策略，对制冷系统进行控制，降低不必要的制冷量，减少冷机、冷却水泵和冷却水塔的工作负荷，降低制冷系统的总耗能，提高对制冷系统的优化程度。
第二方面，本申请实施例还提供了一种制冷系统控制装置，包括：获得模块，用于获得制冷系统参数；控制模块，用于将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令；制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上面描述的方法。
采用本申请提供制冷系统控制方法、装置、电子设备及存储介质，通过仿真模型建模方法对环境进行模拟，获得制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，实现对制冷系统的精确控制，改善了通过在现实环境中进行强化学习造成的泛化性低、搜索范围受限的问题，对控制系统进行更精确的优化控制。训练出高效准确的控制策略，对制冷系统进行控制，降低不必要的制冷量，减少冷机、冷却水泵和冷却水塔的工作负荷，降低制冷系统的总耗能。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的制冷系统的工作流程示意图；
图2为本申请实施例提供的一种制冷系统控制方法的流程示意图；
图3为本申请实施例提供的仿真环境模型建模方法流程示意图；
图4为本申请实施例提供的智能体训练方法流程示意图；
图5为本申请实施例提供的制冷系统控制装置的结构示意图；
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
在本申请实施例的描述中，技术术语“第一”、“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个及以上，除非另有明确具体的限定。
在描述本申请提供制冷系统控制方法、装置、电子设备及存储介质之前，先对制冷系统的工作流程进行简要描述，请参见图1示出的本申请实施例提供的制冷系统的工作流程示意图。
制冷系统能源消耗的主要部件包括冷水机组(chiller)、水泵、空调机组(AHUs)和冷却塔(cooling tower)。通过冷水机组制取冷水，通过冷冻水泵(chilled water pump)驱动冷叔在水管中流动，分布到空调机组中，通过空调风机驱动冷空气和室内热空气进行热交换用以冷却房间。在这个过程中，冷水机组从冷水中获取的热量，还需要通过冷却塔这类设备散发到空气中，该换热过程大部分采用水为媒介，驱动该媒介流动的设备是冷却水泵(cooling water pump)。
请参见图2示出的本申请实施例提供的一种制冷系统控制方法的流程示意图。本申请实施例提供的制冷系统控制方法可以应用于电子设备，该电子设备可以包括终端以及服务器；其中终端具体可以为智能手机、平板电脑、计算机、个人数字助理(PersonalDigital Assitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器。
步骤S110：获得制冷系统参数。
上述步骤S110的实施方式包括：获得制冷系统参数，制冷系统参数包括当前室内需求冷负荷和室外湿球温度等。室内需求冷负荷可以通过历史数据计算，也可以通过能耗软件EnergyPlus模拟仿真获得；室外湿球温度由电子温度计采集。制冷系统包括中央空调系统或冰箱系统等。
步骤S120：将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令；制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。
上述步骤S120的实施方式包括：将采集到的制冷系统参数输入预先训练好的制冷系统模型，输出制冷系统的控制指令。制冷系统模型可以根据制冷系统参数，发出控制指令，对制冷系统中冷机、冷却水泵和冷却水塔风机的工作状态和工作参数进行优化控制，以及对冷却水泵和冷却水塔分机工作频率的智能体优化控制。
其中，制冷系统模型是基于制冷系统环境模型对预设的智能体进行训练获得的，制冷系统环境模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，具体例如，对制冷系统的核心组件的核心变量进行仿真模拟，核心变量包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量中的至少一项。其中，核心变量的获得方式包括通过仿真软件获得、对历史数据进行处理获得、通过回归模型获得和/或通过机理模型获得等。
在上述的实现过程中，通过预先构建的制冷系统模型对制冷系统的进行控制，其中制冷系统模型是通过对制冷系统环境进行仿真模型生成的制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。通过仿真模型建模改善了通过在现实环境中进行强化学习造成的泛化性低、搜索范围受限的问题，对控制系统进行更精确的优化控制。
可选地，在本申请实施例中，获得制冷系统历史数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型；制冷系统环境模型包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量中的至少一项。
在具体的实现过程中：获得制冷系统历史数据，历史数据包括预设时间周期内的当前室内需求冷负荷和室外天气调节等，对制冷系统历史数据进行处理，具体例如，使用历史冷负荷数据来模拟室内冷量需求负荷的分布，获得制冷系统环境模型中的末端冷负载分布参数。
使用历史天气数据来模拟外部天气条件，外部天气调节包括干球温度、湿球温度以及相对湿度，获得制冷系统环境模型中的外部天气变量。利用仿真软件中的管道流模块对水管、热交换器等流体流动、热传导进行建模，获得制冷系统环境模型中的流体流动热交换器变量。利用三方数据库对PID(进程控制符)控制过程进行模拟，即利用PID控制器模拟对真实环境的控制过程，获得制冷系统环境模型中的控制器变量。通过冷机表达式构建冷机模型、通过冷却塔表达式构建冷却塔模型以及通过冷却泵表达式构建冷却塔模型。
在上述的实现过程中，通过仿真模型建模方法获得制冷系统环境模型，实现在训练制冷系统模型的时候与模拟器进行交互，无需和真实物理设施进行交互，大大增加了可用数据量，同时提高了训练制冷系统模型的泛化性以及工作效率，也避免与真实物理设施进行交互产生的安全问题，提高了安全性。
可选地，在本申请实施例中，冷机模型包括：
其中，Wcomp表示冷机功率，Qev为冷负荷，A为第一常数，B为第二常数，C为第三常数，D为第四常数。
在具体的实现过程中：通过冷机模型可以确定在当前冷负荷情况下冷水机的能耗。冷负荷热量通过水流从末端排除。冷机模型还包括计算冷负荷的公式，冷负荷公式包括：
Qev＝Cch(Tchi-Tcho)
Qc＝Ccw(Tci1-Tco1)
其中，Cch为冷冻水热容，Tchi为蒸发器进口温度，Tcho为蒸发器出口温度，Qc为冷凝器中排除的热量，Ccw为冷却水热容，Tco1为冷凝器出口温度，Tci1为冷凝器进口温度。
冷冻水热容Cch的计算方式可以为将冷冻水流量与水比热容相乘。
冷机模块还包括蒸发器进出口温度、冷负荷和冷冻水热容的关系式，以及冷凝器进出口温度、冷凝器中排除的热量和冷却水热容的关系式，包括：
其中，第一常数A、第二常数B、第三常数C以及第四常数D为编码中各种数值的常量，可依据Ng-Gordon方法进行估计。通过上述冷机模型表达式、冷负荷公式以及各关系式，共同构建冷机模型。
在上述的实现过程中，冷机系统的能耗是整个制冷系统能耗中的重要组成部分，通过表达式的方式构建冷机系统，更加精确地模拟冷机系统的能耗情况。利用微分运算我们可以将制冷系统建模成稳态静态问题或瞬态动态问题，为智能体训练提供灵活的仿真环境。
可选地，在本申请实施例中，冷却塔模型包括：
ma＝c6Pfan，Wfan＝c7(Pfan)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wfan为冷却塔功率，ma为空气流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c6为第六模型系数，c7为第七模型系数。
在具体的实现过程中：利用仿真软件的微分运算将制冷系统建模成稳态静态问题或瞬态动态问题，通过表达式的方式构建冷却塔模型，更加精确地模拟冷却塔模型的能耗情况。
可选地，在本申请实施例中，冷却泵模型包括：
mc＝c4Ppump，Wpump＝c5(Ppump)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wpump为冷却泵功率，mc为冷却水流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c4为第四模型系数，c5为第五模型系数。
在上述的实现过程中，通过表达式的方式构建冷却泵模型，更加精确地模拟冷却泵模型的能耗情况。
请参见图3示出的本申请实施例提供的仿真环境模型建模方法流程示意图。
可选地，在本申请实施例中，制冷系统历史数据包括历史冷负荷数据和历史天气数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型，包括：根据历史冷负荷数据，模拟冷量需求负荷分布，获得末端冷负载分布参数；通过历史天气数据，获得外部天气变量；通过预设的数据库对控制器进行模拟，生成控制器变量；通过预设的管道流仿真方法，获得流体流动热交换器变量。
在具体的实现过程中：使用历史冷负荷数据来模拟室内冷量需求负荷的分布，获得制冷系统环境模型中的末端冷负载分布参数。使用历史天气数据来模拟外部天气条件，外部天气调节包括干球温度、湿球温度以及相对湿度，分别通过干球温度传感器采集室外或户外的干球温度、通过湿球温度传感器采集湿球温度、以及通过湿度传感器采集湿度。
通过预设的数据库对控制器进行模拟，生成控制器变量。控制器包括冷冻水出水温度控制器、压差控制器、冷却水泵频率/流量控制器和冷却塔风机频率控制器。
具体例如，如图3所示，通过冷机交换器获取冷水，通过冷冻水出水温度传感器采集冷冻水出水温度，由冷冻水出水温度控制器模拟对冷冻水出水温度进行控制的过程，将控制后的数据反馈给冷机交换器。在通过冷冻水泵驱动冷水在水管流动，经过冷空气与室内热空气进行交换之后，冷冻水回水温度传感器采集冷冻水回水温度。通过压差传感器采集压差，通过压差控制器模拟对压差的控制过程，将调节后的数据传递给冷冻水泵。
通过冷却水泵流量传感器采集冷却水泵流量，利用冷却水泵频率/流量控制器模拟对冷却水泵频率/流量的控制过程。通过冷却塔出水温度传感器对冷却塔出水温度进行采集，通过冷却塔风机频率控制器模拟对冷却塔风机频率的调节过程，实现对冷却塔出水温度进行控制。
通过预设的管道流仿真方法，获得流体流动热交换器变量，具体例如，利用仿真软件中的管道流模块对水管、热交换器等流体流动、热传导进行建模，获得流体流动热交换器变量。
在上述的实现过程中，通过历史冷负荷数据和历史天气数据模拟末端冷负载分布参数以及外部天气变量，以及分别模拟控制器变量和流体流动热交换器变量，通过历史数据和仿真方法对制冷系统的核心组件进行核心变量进行仿真，为智能体训练提供灵活的仿真环境，以实现对控制系统进行更精确的优化控制。
可选地，在本申请实施例中，在将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令之前，方法还包括：获得训练策略以及动作空间；动作空间用于对制冷系统的预设参数进行调节；从动作空间中确定初始动作，通过智能体对制冷系统环境模型进行处理，获得制冷系统环境模型的反馈信号以及观察信号；根据反馈信号、观察信号以及训练策略，从动作空间中确定目标动作，对智能体进行训练，获得制冷系统模型。
在具体的实现过程中：获得训练策略以及动作空间；训练策略是智能体对于给定状态所做出的行为，即一个从状态到行为的映射。状态包括环境状态以及智能体状态。可以通过强化学习算法去定义智能体的训练策略、学习策略和决策策略，强化学习算法包括DDPG算法、D4PG算法以及A3C算法等。获得动作空间，动作空间包括控制设备、每一控制设备的可选控点以及每一控制设备可控选点的属性，属性包括可选控点的类型和范围。动作空间用于对制冷系统的预设参数进行调节。
动作空间具体如表1所示：
表1动作空间
在一个可选实施例中，还可以预先定义观察空间，观察空间用于确定环境模型可给出的反馈信息的类别和下一个观测所需要用到的信息，反馈信息即为强化学习中奖励值。观察空间包括观测设备组、观测设备组对应的观测点以及每一观测点的数据类型。观察空间具体如表2所示：
表2观察空间
从动作空间中确定初始动作，通过智能体对制冷系统环境模型进行处理，获得制冷系统环境模型的反馈信号以及观察信号，根据反馈信号、观察信号以及训练策略，从动作空间中确定目标动作，对智能体进行训练，获得制冷系统模型。具体例如，智能体从当前的状态出发，根据训练策略从动作空间中确定初始动作，对制冷系统环境模型做出了初始动作，制冷系统环境模型根据初始动作对制冷系统环境的影响，给智能体返回反馈信号以及观察信号，反馈信号即为奖励信号。
智能体获得反馈信号以及观察信号后，进入新的转态，根据训练策略从动作空间中确定目标动作，形成循环，直至完成对智能体的训练，获得制冷系统模型，学习到制冷系统控制的最优策略。
在上述的实现过程中，依靠少量的历史数据，构建制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，训练出高效准确的控制策略，对制冷系统进行控制，降低不必要的制冷量，减少冷机、冷却水泵和冷却水塔风扇的工作负荷，降低制冷系统的总耗能，提高对制冷系统的优化程度。
请参见图4示出的本申请实施例提供的智能体训练方法流程示意图。
现有技术在现实环境中直接应用强化学习，获得目标制冷系统控制的最优策略，使得冷却的能耗降低。但在现实环境中进行强化学习会存在以下问题，探索范围受限：在探索过程中，智能体为了避免因不合理控制导致设备处于危险状态，例如设备过热或压力过高等，必须限制智能体的控制范围。因此智能体无法探索状态和动作空间的所有组合，导致数据方差低。此外由于时间成本与额外的能源成本问题，探索的时间也受到限制。
泛化性低：尽管许多制冷设施都是相似的，但由于输入特征空间的细微差异，在一个制冷设施上训练的智能体可能无法泛化到另一个制冷设施。因为训练仅限于在固定数量的实时交互期间与单一系统进行的经验，因此智能体对不同的设备条件、天气模式和其他变化不具有鲁棒性。
采样效率低：首先，训练数据由智能体与现场设施交互产生。由于现实约束，交互往往以低频率进行(如5分钟或1小时)，低频率方式限制了可用于训练的数据量，也延迟了验证模型的过程，从而降低了工作效率。
额外工作大：与现场设备交互需要大量额外的开发工作，包括与设备方开发数据输入与输出的API(应用程序接口)，编写自定义逻辑以集成设备特定的功能，以及确保部署期间的可靠性、可用性和安全机制。
在一个可选的实施例中，预先定义训练环境，包括模拟制冷系统环境模型、模拟噪声、模拟约束范围以及模拟时间范围。制冷系统环境模型依据仿真目标的拓扑结构定义制冷系统仿真模型，确定设备模型的参数、模拟数据等等。模拟噪声是指模拟制冷系统传感器与控制器的白噪声、漂移噪声等。模拟约束范围为设定制冷系统设备的安全约束范围，如设备起停时间间隔、压强以及温度等等，当超过安全范围即退出模拟过程，当接近安全范围即对回报函数进行惩罚。
定义动作空间、观察空间、回报函数以及智能体，动作空间用于对制冷系统的预设参数进行调节；观察空间用于确定环境模型可给出的反馈信息的类别和下一个观测所需要用到的信息；回报函数值函数是对未来奖励的预测，通常用来衡量状态的好坏，然后根据值函数来确定下一个动作值；智能体是指能与环境进行交互，具有改变环境状态能力的主体。
为了从环境中获取尽可能多的知识，需要智能体进行探索；为了获得较大的奖励值，我们要让智能体对已知的信息加以利用。智能体与环境进行交互，更新模型，学习目标制冷系统控制的最优策略。
通过仿真模型建模方法对环境进行模拟，获得制冷系统环境模型，基于制冷系统环境模型对预设的智能体进行训练获得制冷系统模型，实现对制冷系统的精确控制。
请参见图5示出的本申请实施例提供的制冷系统控制装置的结构示意图；本申请实施例提供了一种制冷系统控制装置200，包括：
获得模块210，用于获得制冷系统参数；
控制模块220，用于将制冷系统参数输入预设的制冷系统模型，输出制冷系统的控制指令；制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于制冷系统环境模型对预设的智能体进行训练获得的。
可选地，在本申请实施例中，制冷系统控制装置，还包括，仿真建模模块，用于获得制冷系统历史数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型；制冷系统环境模型包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量中的至少一项。
可选地，在本申请实施例中，制冷系统控制装置，冷机模型包括：
其中，Wcomp表示冷机功率，Qev为冷负荷，A为第一常数，B为第二常数，C为第三常数，D为第四常数。
可选地，在本申请实施例中，制冷系统控制装置，冷却塔模型包括：
ma＝c6Pfan，Wfan＝c7(Pfan)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wfan为冷却塔功率，ma为空气流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c6为第六模型系数，c7为第七模型系数。
可选地，在本申请实施例中，制冷系统控制装置，冷却泵模型包括：
mc＝c4Ppump，Wpump＝c5(Ppump)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wpump为冷却泵功率，mc为冷却水流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c4为第四模型系数，c5为第五模型系数。
可选地，在本申请实施例中，制冷系统控制装置，制冷系统历史数据包括历史冷负荷数据和历史天气数据；制冷系统控制装置，仿真建模模块，具体用于根据历史冷负荷数据，模拟冷量需求负荷分布，获得末端冷负载分布参数；通过历史天气数据，获得外部天气变量；通过预设的数据库对控制器进行模拟，生成控制器变量；通过预设的管道流仿真方法，获得流体流动热交换器变量。
可选地，在本申请实施例中，制冷系统控制装置，还包括：训练模块，用于获得训练策略以及动作空间；动作空间用于对制冷系统的预设参数进行调节；从动作空间中确定初始动作，通过智能体对制冷系统环境模型进行处理，获得制冷系统环境模型的反馈信号以及观察信号；根据反馈信号、观察信号以及训练策略，从动作空间中确定目标动作，对智能体进行训练，获得制冷系统模型。
应理解的是，该装置与上述的制冷系统控制方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图6示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-OnlyMemory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (6)
1.一种制冷系统控制方法，其特征在于，包括：
获得制冷系统参数；
将所述制冷系统参数输入预设的制冷系统模型，输出所述制冷系统的控制指令；所述制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于所述制冷系统环境模型对预设的智能体进行训练获得的；
所述方法还包括：
获得制冷系统历史数据；
通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型；所述制冷系统环境模型包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量；
所述冷机模型包括：
其中，Wcomp表示冷机功率，Qev为冷负荷，A为第一常数，B为第二常数，C为第三常数，D为第四常数；
所述冷却塔模型包括：
ma＝c6Pfan，Wfan＝c7(Pfan)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wfan为冷却塔功率，ma为空气流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c6为第六模型系数，c7为第七模型系数；
所述冷却泵模型包括：
mc＝c4Ppump,Wpump＝c5(Ppump)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wpump为冷却泵功率，mc为冷却水流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c4为第四模型系数，c5为第五模型系数；
所述末端冷负载分布参数使用历史冷负荷数据来模拟室内冷量需求负荷的分布获得；所述外部天气变量使用历史天气数据模拟获得；所述控制器变量利用PID控制器模拟对真实环境的控制过程获得；所述流体流动热交换器变量利用仿真软件中的管道流模块对流体流动、热传导进行建模获得。
2.根据权利要求1所述的方法，其特征在于，所述制冷系统历史数据包括历史冷负荷数据和历史天气数据；所述通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型，包括：
根据所述历史冷负荷数据，模拟冷量需求负荷分布，获得所述末端冷负载分布参数；
通过所述历史天气数据，获得所述外部天气变量；
通过预设的数据库对控制器进行模拟，生成所述控制器变量；
通过预设的管道流仿真方法，获得所述流体流动热交换器变量。
3.根据权利要求1-2任一所述的方法，其特征在于，在将所述制冷系统参数输入预设的制冷系统模型，输出所述制冷系统的控制指令之前，所述方法还包括：
获得训练策略以及动作空间；所述动作空间用于对所述制冷系统的预设参数进行调节；
从所述动作空间中确定初始动作，通过所述智能体对所述制冷系统环境模型进行处理，获得所述制冷系统环境模型的反馈信号以及观察信号；
根据所述反馈信号、所述观察信号以及所述训练策略，从所述动作空间中确定目标动作，对所述智能体进行训练，获得制冷系统模型。
4.一种制冷系统控制装置，其特征在于，包括：
获得模块，用于获得制冷系统参数；
控制模块，用于将所述制冷系统参数输入预设的制冷系统模型，输出所述制冷系统的控制指令；所述制冷系统模型是通过对制冷系统环境进行仿真模拟生成制冷系统环境模型，并基于所述制冷系统环境模型对预设的智能体进行训练获得的；
还包括，仿真建模模块，用于获得制冷系统历史数据；通过仿真模拟方法，对制冷系统历史数据进行处理，获得制冷系统环境模型；所述制冷系统环境模型包括冷机模型、冷却塔模型、冷却泵模型、末端冷负载分布参数、外部天气变量、控制器变量和流体流动热交换器变量；
所述冷机模型包括：
其中，Wcomp表示冷机功率，Qev为冷负荷，A为第一常数，B为第二常数，C为第三常数，D为第四常数；
所述冷却塔模型包括：
ma＝c6Pfan，Wfan＝c7(Pfan)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wfan为冷却塔功率，ma为空气流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c6为第六模型系数，c7为第七模型系数；
所述冷却泵模型包括：
mc＝c4Ppump，Wpump＝c5(Ppump)3
其中，Tco2为冷却塔出口温度，Tci2为冷却塔进口温度，Twb为湿球温度，Ppump为冷却泵频率，Pfan为冷却塔频率，Wpump为冷却泵功率，mc为冷却水流量，c1为第一模型系数，c2为第二模型系数，c3为第三模型系数，c4为第四模型系数，c5为第五模型系数；
所述末端冷负载分布参数使用历史冷负荷数据来模拟室内冷量需求负荷的分布获得；所述外部天气变量使用历史天气数据模拟获得；所述控制器变量利用PID控制器模拟对真实环境的控制过程获得；所述流体流动热交换器变量利用仿真软件中的管道流模块对流体流动、热传导进行建模获得。
5.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至3任一所述的方法。
6.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211535880.3A CN115877714B (zh) | 2022-12-01 | 2022-12-01 | 一种制冷系统控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211535880.3A CN115877714B (zh) | 2022-12-01 | 2022-12-01 | 一种制冷系统控制方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115877714A CN115877714A (zh) | 2023-03-31 |
| CN115877714B true CN115877714B (zh) | 2023-12-29 |
Family
ID=85765487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211535880.3A Active CN115877714B (zh) | 2022-12-01 | 2022-12-01 | 一种制冷系统控制方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115877714B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201303969D0 (en) * | 2010-10-13 | 2013-04-17 | Weldtech Technology Shanghai Co Ltd | Energy-saving optimized control system and method for refrigeration plant room |
| CN109765797A (zh) * | 2018-12-20 | 2019-05-17 | 广东美的暖通设备有限公司 | 一种空调节能仿真系统 |
| CN111811110A (zh) * | 2020-08-28 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 制冷机组的控制方法及装置、电子设备、存储介质 |
| WO2021063033A1 (zh) * | 2019-09-30 | 2021-04-08 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11408621B2 (en) * | 2020-12-15 | 2022-08-09 | Trane International Inc. | Systems and methods for controlling free cooling and integrated free cooling |
-
2022
- 2022-12-01 CN CN202211535880.3A patent/CN115877714B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201303969D0 (en) * | 2010-10-13 | 2013-04-17 | Weldtech Technology Shanghai Co Ltd | Energy-saving optimized control system and method for refrigeration plant room |
| CN109765797A (zh) * | 2018-12-20 | 2019-05-17 | 广东美的暖通设备有限公司 | 一种空调节能仿真系统 |
| WO2021063033A1 (zh) * | 2019-09-30 | 2021-04-08 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
| CN111811110A (zh) * | 2020-08-28 | 2020-10-23 | 创新奇智(南京)科技有限公司 | 制冷机组的控制方法及装置、电子设备、存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Estimation of Chiller Electric Power of Central Air Conditioner using Feedforward Neural Network;Dingyi Cheng 等;2021 6th Asia Conference on Power and Electrical Engineering;全文 * |
| The Optimization of Chiller Loading by Adaptive Neuro-Fuzzy Inference System and Genetic Algorithms;Jyun Ting Lu 等;Mathematical Problems in Engineering;全文 * |
| 中央空调并联冷机负荷分配分布式优化控制;于军琪 等;控制工程;全文 * |
| 基于负荷预测的中央空调制冷系统能耗综合优化;安建月;邓仕钧;邓翔;匡付华;李信洪;胥布工;;建筑热能通风空调(04);全文 * |
| 综合能源系统建模仿真规划调度及效益评价综述与展望;周鹏程 等;山东电力技术;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115877714A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Afroz et al. | Modeling techniques used in building HVAC control systems: A review | |
| CN112577161B (zh) | 空调能耗模型训练方法与空调系统控制方法 | |
| CN111765604B (zh) | 空调的控制方法和装置 | |
| CN103363746B (zh) | 蒸汽压缩系统的操作方法、工作控制方法和优化控制器 | |
| CN102301288B (zh) | 用以控制能量消耗效率的系统和方法 | |
| WO2014059123A1 (en) | On-line optimization scheme for hvac demand response | |
| CN110542178B (zh) | 具有自学习能力的空调冷冻机房控制方法及系统 | |
| CN114279042B (zh) | 一种基于多智能体深度强化学习的中央空调控制方法 | |
| EP4089619A1 (en) | Building equipment energy management control system and control method therefor | |
| CN115585538A (zh) | 室内温度的调节方法、装置、电子设备及存储介质 | |
| CN112749810B (zh) | 模型训练方法、控制参数确定方法及装置 | |
| CN113821903A (zh) | 温度控制方法和设备、模块化数据中心及存储介质 | |
| CN114326987A (zh) | 制冷系统控制及模型训练方法、装置、设备及存储介质 | |
| CN115877714B (zh) | 一种制冷系统控制方法、装置、电子设备及存储介质 | |
| CN113757922B (zh) | 一种基于深度学习的空调系统节能控制方法、装置、设备及计算机介质 | |
| US20220333810A1 (en) | Model sharing system, model management apparatus, and control apparatus for air conditioning apparatus | |
| Biemann et al. | Data centre HVAC control harnessing flexibility potential via real-time pricing cost optimisation using reinforcement learning | |
| CN113375311B (zh) | 一种fcu末端的控制方法、装置、介质及电子设备 | |
| Myung-Sup et al. | Air conditioner component optimum operation point search through a deep reinforcement learning algorithm | |
| CN114117778A (zh) | 控制参数确定方法、装置、电子设备和存储介质 | |
| YOON et al. | Application of a deep reinforcement learning algorithm in household inverter air-conditioner temperature control | |
| US20240110716A1 (en) | System and Method for Data-Driven Control of an Air-Conditioning System | |
| CN112944599A (zh) | 空调系统的多参数耦合控制方法及装置 | |
| CN110083877A (zh) | 一种波动热工系统传递函数建模方法 | |
| WO2024075436A1 (en) | System and method for data-driven control of an air-conditioning system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |