CN113474594A - 机器学习装置、空调系统以及机器学习方法 - Google Patents

Abstract

本发明提供一种使热量的移动最优化的机器学习装置,其在具有热供给侧的机器、热利用侧的机器、以及用于自该热供给侧的机器向该热利用侧的机器输送热介质的热输送装置的空调系统中,对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,该机器学习装置包括:状态变量取得部,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；学习部,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及奖励计算部,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,上述学习部使用上述奖励进行学习。

Description

机器学习装置、空调系统以及机器学习方法

技术领域

本发明涉及机器学习装置、空调系统以及机器学习方法。

背景技术

一般来说,空调系统是通过输送热介质而使热量移动,从而调整对象空间的温度或湿度的系统,以往,提出了用于使热量的移动最优化(使热介质的流量、温度最优化)的构成。

例如,在下述专利文献1等中,提出了对空调系统的耗费能量进行模拟,并且以削减耗费能量的方式使热量的移动最优化的构成。

<现有技术文献>

<专利文献>

专利文献1:日本国特开2004-293844号公报

专利文献2:日本国特开2004-53127号公报

专利文献3:日本国特开2018-173221号公报

发明内容

<本发明要解决的问题>

另一方面,空调系统的情况下,根据供给热量侧的机器的运转条件、利用被供给的热量侧的机器的运转条件或负载等的组合,最优的热量的移动(最优的热介质的流量、温度)不同。

因此,如上所述,在希望对耗费能量进行模拟而使热量的移动最优化的情况下,需要事先对庞大的数量的组合取得耗费能量的数据,并且构建与空调系统的各机器的特性相应的模型,作业负担较大。

本发明提供一种使热量的移动最优化的机器学习装置、空调系统以及机器学习方法。

<用于解决问题的手段>

本发明的第一方式的机器学习装置在具有热供给侧的机器、热利用侧的机器、以及用于自该热供给侧的机器向该热利用侧的机器输送热介质的热输送装置的空调系统中,对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

该机器学习装置包括:

状态变量取得部,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习部,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习部使用上述奖励进行学习。

根据本发明的第一方式,能够提供一种使热量的移动最优化的机器学习装置。

另外,本发明的第二方式基于第一方式中记载的机器学习装置,

在上述热供给侧的机器的运转条件中包括对上述热供给侧的机器的处理能力产生影响的外部空气温度、外部空气湿球温度、地下温度中的任一者。

另外,本发明的第三方式基于第一方式中记载的机器学习装置,

在上述热利用侧的机器的运转条件中包括对上述热利用侧的机器的处理能力产生影响的吸入空气温度、冷水回水温度的任一者。

另外,本发明的第四方式基于第三方式中记载的机器学习装置,

在上述热利用侧的机器的运转条件中,还包括风量、冷水流量的任一者。

另外、本发明的第五方式基于第一方式中记载的机器学习装置,

与上述热利用侧的机器所需的热量相关的值包括供气温度、冷水送水温度的任一者。

另外,本发明的第六方式基于第五方式中记载的机器学习装置,

上述热输送装置对热介质进行输送时的温度包括冷水送水温度、冷却水送水温度,上述热输送装置对热介质进行输送时的流量包括冷水流量、冷却水流量的任一者。

另外,本发明的第七方式基于第一方式中记载的机器学习装置,

上述热供给侧的机器包括空冷冷机,上述热利用侧的机器包括空气调和装置,上述热输送装置包括冷水泵。

另外,本发明的第八方式基于第一方式中记载的机器学习装置,

上述热供给侧的机器包括冷却塔,上述热利用侧的机器包括水冷冷机,上述热输送装置包括冷却水泵。

另外,本发明的第九方式基于第一方式中记载的机器学习装置,

上述热供给侧的机器包括地下热交换器,上述热利用侧的机器包括水冷冷机,上述热输送装置包括冷却水泵。

另外,本发明的第十方式基于第一方式中记载的机器学习装置,

上述热供给侧的机器包括冷却塔、冷却水泵、以及水冷冷机,上述热利用侧的机器包括空气调和装置,上述热输送装置包括冷水泵。

另外,本发明的第十一方式基于第一方式中记载的机器学习装置,

上述热供给侧的机器包括冷却塔,上述热利用侧的机器包括水冷冷机、冷水泵、以及空气调和装置,上述热输送装置包括冷却水泵。

另外,本发明的第十二方式基于第一方式中记载的机器学习装置,

在上述热供给侧的机器基于通过上述学习部学习的上述温度和流量的至少一者进行运转,使得上述空调系统的风险变高的情况下,上述奖励计算部降低上述奖励。

另外,本发明的第十三方式基于第一方式中记载的机器学习装置,

在通过上述学习部学习的上述温度和流量的至少一者超过事先决定的上限值或下限值的情况下,上述热供给侧的机器基于事先决定的上限值或下限值进行运转。

另外,根据本发明的第十四方式的空调系统包括:热供给侧的机器；热利用侧的机器；热输送装置,其用于自该热供给侧的机器向该热利用侧的机器输送热介质；以及机器学习装置,其对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

上述机器学习装置包括:

状态变量取得部,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习部,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习部使用上述奖励进行学习。

根据本发明的第十四方式,能够提供一种使热量的移动最优化的空调系统。

另外,根据本发明的第十五方式的机器学习方法在具有热供给侧的机器、热利用侧的机器、以及用于自该热供给侧的机器向该热利用侧的机器输送热介质的热输送装置的空调系统中,对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

该机器学习方法具有:

状态变量取得工序,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习工序,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算工序,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习工序使用上述奖励进行学习。

根据本发明的第十五方式,能够提供一种使热量的移动最优化的机器学习方法。

本发明的第十六方式的机器学习装置在空调系统中,对冷却水泵供给的冷却水的温度和冷水泵供给的冷水的温度的组、或者上述冷却水泵供给的冷却水的流量和上述冷水泵供给的冷水的流量的组的至少一个组进行学习,

该空调系统具有:

水冷冷机；

上述冷却水泵,其供给冷却水,该冷却水通过在上述水冷冷机内的热交换而对制冷剂进行冷却；

冷却塔,其使自上述水冷冷机输送来的上述冷却水与外部空气接触,从而对上述冷却水进行冷却；

空气调和装置；以及

上述冷水泵,其将通过在上述水冷冷机内的热交换而被上述制冷剂冷却的冷水供给至上述空气调和装置,

该机器学习装置具有:

状态变量取得部,其取得状态变量,该状态变量包括上述冷却塔的运转条件、上述空气调和装置的运转条件、以及上述空气调和装置的负载；

学习部,其将上述状态变量与至少一个组关联起来进行学习；以及

奖励计算部,其基于上述冷却塔、上述水冷冷机、上述冷却水泵、上述冷水泵、上述空气调和装置的耗费电力的合计值,对奖励进行计算,

上述学习部使用上述奖励进行学习。

根据本发明的第十六方式,能够提供一种使热量的移动最优化的机器学习装置。

另外,根据本发明的第十七方式的机器学习装置在空调系统中,对水泵供给的水的温度或流量的至少一者进行学习,

该空调系统具有:

冷机单元,其对水进行加热或冷却；

上述水泵,其供给被上述冷机单元加热或冷却的水；以及

空气调和装置,其具有使通过的空气与由上述泵供给的水进行热交换的热交换器,并且将通过该热交换器的空气输送至对象空间,

该机器学习装置具有:

状态变量取得部,其取得状态变量,该状态变量包括上述冷机单元的运转条件、上述空气调和装置的运转条件、以及上述空气调和装置的负载；

学习部,其将上述状态变量与上述温度或流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述冷机单元、上述空气调和装置、上述水泵的耗费电力的合计值,对奖励进行计算,

上述学习部使用上述奖励进行学习。

根据本发明的第十七方式,能够提供一种使热量的移动最优化的机器学习装置。

附图说明

图1是示出空调系统的系统构成的一个例子的图。

图2是示出机器学习装置的硬件构成的一个例子的图。

图3是示出机器学习装置的功能构成的一个例子的第一图。

图4是示出基于机器学习装置的强化学习处理的流程的第一流程图。

图5是示出热供给侧机器以及热利用侧机器的具体例的第一图。

图6是示出热供给侧机器以及热利用侧机器的具体例的第二图。

图7是示出热供给侧机器以及热利用侧机器的具体例的第三图。

图8是示出热供给侧机器以及热利用侧机器的具体例的第四图。

图9是示出热供给侧机器以及热利用侧机器的具体例的第五图。

图10是示出热供给侧机器以及热利用侧机器的具体例的第六图。

图11是示出机器学习装置的功能构成的一个例子的第二图。

图12是示出基于机器学习装置的强化学习处理的流程的第二流程图。

图13是示出机器学习装置的功能构成的一个例子的第三图。

图14是示出基于机器学习装置的强化学习处理的流程的第三流程图。

图15是示出包括冷却水回路以及冷水回路的空调系统的系统构成的一个例子的第一图。

图16是示出冷却水回路的详细的图。

图17是用于说明热介质控制装置的功能的第一图。

图18是示出机器学习装置的功能构成的一个例子的第四图。

图19是示出基于机器学习装置的强化学习处理的流程的第四流程图。

图20是示出包括水回路的空调系统的系统构成的一个例子的第一图。

图21是示出空调机器的详细构成的第一图。

图22是用于说明热介质控制装置的功能的第二图。

图23是示出机器学习装置的功能构成的一个例子的第五图。

图24是示出基于机器学习装置的强化学习处理的流程的第五流程图。

图25是示出包括水回路的空调系统的系统构成的一个例子的第二图。

图26是示出空调机器的详细构成的第二图。

图27是示出对象空间中的风机盘管单元的设置方式的第一图。

图28是示出包括水回路的空调系统的系统构成的一个例子的第三图。

图29是示出空调机器的详细构成的第三图。

图30是示出对象空间中的风机盘管单元的设置方式的第二图。

具体实施方式

以下,参照附上的附图对各实施方式进行说明。需要说明的是,在本说明书以及附图中,对于实质上具有相同功能构成的构成要素,通过付与相同的附图标记而省略重复的说明。

[第一实施方式]

<空调系统的系统构成>

首先,对第一实施方式的空调系统的系统构成进行说明。图1是示出空调系统的系统构成的一个例子的图。如图1所示,空调系统100具有空调机器110以及机器学习装置150。

空调机器110包括多个机器,这些机器可以大致分为热供给侧120的机器、热利用侧140的机器、以及热输送装置130。这里,热利用侧140是指,接受热量的供给一侧且相对于热介质的输送方向接近被空气调和的对象空间一侧。另外,热供给侧120是指,供给热量一侧且相对于热介质的输送方向远离被空气调和的对象空间一侧。

另外,热输送装置130是指,通过自热供给侧120的机器向热利用侧140的机器输送热介质,从而使热量移动的装置。热量基于热介质的温度和热介质的流量来确定。

如图1所示,热供给侧120的机器以基于规定的运转条件下实现自机器学习装置150发送来的、热介质的温度和流量的至少一者的目标值的方式进行动作。

另外,热利用侧140的机器以基于规定的运转条件、以及自热供给侧120的机器输送来的热介质的温度和流量,实现事先在热利用侧140的机器中设定的目标值的方式进行动作。

另一方面,机器学习装置150将热供给侧120的机器的运转条件、热利用侧140的机器的运转条件、以及热利用侧140的机器的负载(与在热利用侧140的机器中为了实现目标值所需的热量相关的值)作为“状态变量”而自空调机器110取得这些状态变量。

另外,机器学习装置150自空调机器110取得规定期间中的热供给侧120的机器的耗费电力、热利用侧140的机器的耗费电力、以及热输送装置130的耗费电力,从而计算“合计耗费电力”。

另外,机器学习装置150基于自空调机器110取得的状态变量以及合计耗费电力,计算热介质的温度和流量的至少一者的目标值,并将其发送至热供给侧120的机器。具体而言,机器学习装置150使用基于取得的合计耗费电力而计算的奖励,将取得的状态变量与热介质的温度和流量的至少一者的目标值关联起来进行学习。另外,机器学习装置150基于学习的结果,计算与现在的状态变量关联的热介质的温度和流量的至少一者的目标值,并将其发送至热供给侧120的机器。

如此,机器学习装置150通过使用基于空调机器110的合计耗费电力而计算的奖励进行强化学习,从而以削减耗费电力的方式改变模型参数,计算热介质的温度和流量的至少一者的目标值。由此,在空调系统100中,能够使热量的移动最优化。

另外,机器学习装置150一边取得实际的数据,一边自动构建将包括运转条件、负载的状态变量与热介质的温度和流量的至少一者的目标值关联起来的模型。由此,根据机器学习装置150,能够简单地构建精度较高的模型。

<机器学习装置的硬件构成>

接下来,对机器学习装置150的硬件构成进行说明。图2是示出机器学习装置的硬件构成的一个例子的图。如图2所示,机器学习装置150具有CPU(Central ProcessingUnit)201、ROM(Read Only Memory)202、以及RAM(Random Access Memory)203。CPU201、ROM202、RAM203形成所谓的计算机。另外,机器学习装置150具有辅助存储装置204、显示装置205、操作装置206、以及I/F(Interface)装置207。机器学习装置150的各硬件通过总线208相互连接。

CPU201是用于执行安装于辅助存储装置204种的各种程序(例如,后述机器学习程序等)的运算设备。ROM202是非易失性存储器。ROM202作为主存储设备起作用,其用于储存CPU201为了执行安装于辅助存储装置204种的各种程序所需的各种程序、数据等。具体而言,ROM202用于储存BIOS(Basic Input/Output System)、EFI(Extensible FirmwareInterface)等的启动程序等。

RAM203是DRAM(Dynamic Random Access Memory)、SRAM(Static Random AccessMemory)等的易失性存储器。RAM203作为主存储设备起作用,其用于提供安装于辅助存储装置204中的各种程序被CPU201执行时展开的作业区域。

辅助存储装置204用于储存各种程序以及各种程序被执行时所使用的信息。

显示装置205是用于显示机器学习装置150的内部状态的显示设备。操作装置206是例如机器学习装置150的管理者用于对机器学习装置150进行各种操作的操作设备。I/F装置207是连接设备,其与空调机器110中包含的机器连接,从而在与空调机器110中包含的机器之间发送/接收数据。

<机器学习装置的功能构成>

接下来,对机器学习装置150的功能构成的详细内容进行说明。图3是示出机器学习装置的功能构成的一个例子的第一图。如上所述,在机器学习装置150中安装有机器学习程序,通过执行该程序,机器学习装置150作为耗费电力取得部310、奖励计算部320、状态变量取得部330、以及强化学习部340起作用。

耗费电力取得部310取得热供给侧120的机器的规定期间的耗费电力、热利用侧140的机器的规定期间的耗费电力、以及热输送装置130的规定期间的耗费电力,将其合计值告知奖励计算部320。

奖励计算部320基于由耗费电力取得部310告知的合计值,计算奖励,并将其告知强化学习部340。

状态变量取得部330作为状态变量自空调机器110中包含的各机器取得热供给侧120的机器的规定期间中的运转条件、热利用侧140的机器的规定期间中的运转条件、以及热利用侧140的机器的规定期间中的负载。另外,状态变量取得部330将取得的状态变量告知强化学习部340。

强化学习部340具有热量模型341,其以自奖励计算部320告知的奖励成为最大的方式,改变热量模型341的模型参数。由此,强化学习部340对将状态变量与热介质的温度和流量的至少一者的目标值关联起来的热量模型341进行强化学习。

另外,强化学习部340取得通过将自状态变量取得部330告知的现在的状态变量输入模型参数改变后的热量模型341而计算的、热介质的温度和流量的至少一者的目标值。而且,强化学习部340将取得的热介质的温度和流量的至少一者的目标值发送至热供给侧120的机器。由此,热供给侧120的机器以知县发送来的热介质的温度和流量的至少一者的目标值的方式进行。其结果,根据机器学习装置150,能够削减空调机器110的耗费电力。

<强化学习处理的流程>

接下来,对基于机器学习装置150的强化学习处理的流程进行说明。图4是示出基于机器学习装置的强化学习处理的流程的第一流程图。

在步骤S401中,状态变量取得部330自空调机器110中包含的各机器取得规定期间的状态变量。

在步骤S402中,耗费电力取得部310取得热供给侧120的机器的规定期间的耗费电力、热利用侧140的机器的规定期间的耗费电力、以及热输送装置130的规定期间的耗费电力,并且计算合计值。

步骤S403中,奖励计算部320基于计算的合计值,计算奖励。

在步骤S404中,奖励计算部320判定计算的奖励是否为规定的阈值以上。在步骤S404中,在判定不是规定的阈值以上的情况下(在步骤S404中为NO的情况下),进入步骤S405。

在步骤S405中,强化学习部340以计算的奖励成为最大的方式,对热量模型341进行机器学习。

在步骤S406中,强化学习部340通过将现在的状态变量输入热量模型341,使热量模型341执行。由此,强化学习部340输出热介质的温度和流量的至少一者的目标值。

在步骤S407中,强化学习部340将输出的热介质的温度和流量的至少一者的目标值发送至热供给侧120的机器。之后,返回步骤S401。

另一方面,在步骤S404中,在判定为规定的阈值以上的情况下(在步骤S404中为YES的情况下),结束强化学习处理。

<总结>

由以上的说明明确可知,第一实施方式的空调系统具有以下的机器、装置。

·热供给侧的机器

·热利用侧的机器

·自热供给侧的机器向热利用侧的机器输送热介质的热输送装置

·对热输送装置输送热介质时的温度和流量的至少一者进行学习的机器学习装置

另外,机器学习装置取得包括热供给侧的机器的运转条件和热利用侧的机器的运转条件、以及热利用侧的机器的负载的状态变量。

机器学习装置将状态变量与温度和流量的至少一者关联起来进行学习。

机器学习装置基于热供给侧的机器的耗费电力、热利用侧的机器的耗费电力以及热输送装置的耗费电力的合计值计算奖励。

机器学习装置在将状态变量与热介质的温度和流量的至少一者关联起来进行学习时,使用计算的奖励进行学习。

如此,机器学习装置通过使用基于各机器的耗费电力的合计值计算的奖励进行强化学习,以削减耗费电力的方式改变模型参数,计算热介质的温度和流量的至少一者的目标值。另外,机器学习装置一边取得实际的数据,一边自动构建将包含运转条件的状态变量与热介质的温度和流量的至少一者的目标值关联起来的模型。

其结果,根据第一实施方式,能够简单地构建精度较高的模型,并且能够使热量的移动最优化。

[第二实施方式]

在上述第一实施方式中,未提及热供给侧120的机器以及热利用侧140的机器的具体例。另一方面,空调机器110包括各种机器,热供给侧120的机器和热利用侧140的机器的组合也各种各样。

因此,在第二实施方式中,举出热供给侧120的机器的具体例以及热利用侧的机器的具体例,对强化学习所使用的学习用数据集进行详细说明。需要说明的是,在第二实施方式中,首先,对热供给侧120或热利用侧140中包含的机器形成为多级的情况进行说明。但是,在第二实施方式中,为了简化说明,以与上述第一实施方式的不同点为中心进行说明。

<热供给侧机器以及热利用侧机器的具体例1>

图5是示出热供给侧机器以及热利用侧机器的具体例的第一图。在图5所示具体例的情况下,热供给侧120的机器包括冷却塔501、水冷冷机502、以及冷却水泵503。需要说明的是,冷却塔501包括例如开放式的冷却塔和密闭式的冷却塔。

另外,在图5所示具体例的情况下,热利用侧140的机器包括空气调和装置511。需要说明的是,空气调和装置511包括例如外空调空气处理单元、室内风机盘管单元、以及水热源热泵空调机。

基于上述具体例,机器学习装置150作为状态变量中包含的热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·开放式的冷却塔的外部空气湿球温度

·密闭式的冷却塔的外部空气湿球温度

需要说明的是,机器学习装置150在自开放式的冷却塔或密闭式的冷却塔取得外部空气湿球温度时,可以将外部空气湿球温度替换为外部空气温度而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的热利用侧140的机器的运转条件,取得度对热利用侧140的机器的处理能力产生影响的以下数据等。

·外空调空气处理单元的吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的吸入空气温度、吸入空气湿度、(以及风量)

需要说明的是,机器学习装置150在自外空调空气处理单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度而进行取得。另外,机器学习装置150在自室内风机盘管单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为室内温度、室内湿度而进行取得。另外,机器学习装置150在自水热源热泵空调机取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度或者替换为室内温度、室内湿度而进行取得。或者,可以替换为制冷剂圧力、制冷剂温度、压缩机的运转状況而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中含有的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·外空调空气处理单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的压缩机负载率

需要说明的是,机器学习装置150可以替代自空气侧或压缩机负载率取得与在热利用侧140的机器中用于实现目标值所需的热量相关的数据而自冷水侧进行计算。

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·冷却塔501的耗费电力、

·水冷冷机502的耗费电力、

·冷却水泵503的耗费电力、

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·空气调和装置511的耗费电力

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷水泵521的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷水送水温度的目标值

·冷水流量的目标值

<热供给侧机器以及热利用侧机器的具体例2>

图6是示出热供给侧机器以及热利用侧机器的具体例的第二图。在图6所示具体例的情况下,热供给侧120的机器包括冷却塔601。需要说明的是,冷却塔601包括例如开放式的冷却塔和密闭式的冷却塔。

另外,在图6所示具体例的情况下,热利用侧140的机器包括水冷冷机611、空气调和装置612、以及冷水泵613。需要说明的是,空气调和装置612例如包括外空调空气处理单元、室内风机盘管单元、以及水热源热泵空调机。

基于上述具体例,机器学习装置150作为状态变量中包含的、热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·开放式的冷却塔的外部空气湿球温度

·密闭式的冷却塔的外部空气湿球温度

需要说明的是,机器学习装置150在自开放式的冷却塔或密闭式的冷却塔取得外部空气湿球温度时,可以将外部空气湿球温度替换为外部空气温度而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的运转条件,取得对热利用侧140的机器的处理能力产生影响的以下数据等。

·外空调空气处理单元的吸入空气温度、吸入空气湿度、(以及风量)、

·室内风机盘管单元的吸入空气温度、吸入空气湿度、(以及风量)、

·水热源热泵空调机的吸入空气温度、吸入空气湿度、(以及风量)、需要说明的是,机器学习装置150在自外空调空气处理单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度而进行取得。另外,机器学习装置150在自室内风机盘管单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为室内温度、室内湿度而进行取得。另外,机器学习装置150在自水热源热泵空调机取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度或者替换为室内温度、室内湿度而进行取得。或者,可以替换为制冷剂圧力、制冷剂温度、压缩机的运转状況而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·外空调空气处理单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)、

·室内风机盘管单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)、

·水热源热泵空调机的压缩机负载率、

需要说明的是,机器学习装置150可以替代自空气侧或压缩机负载率取得与在热利用侧140的机器中用于实现目标值所需的热量相关的数据而自冷水侧进行计算。

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·冷却塔601的耗费电力

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·水冷冷机611的耗费电力、

·空气调和装置612的耗费电力

·冷水泵613的耗费电力、

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷却水泵621的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷却水送水温度的目标值

·冷却水流量的目标值

<总结>

由以上说明明确可知,根据机器学习装置150,通过上述具体例1以及2中示出的学习用数据集,能够进行强化学习。

[第三实施方式]

在上述第二实施方式中,对热供给侧120或热利用侧140中包含的机器形成为多级的情况进行了说明。与此相对,在第三实施方式中,对热供给侧120以及热利用侧140中包含的机器均形成为单级的情况进行说明。

<热供给侧机器以及热利用侧机器的具体例1>

图7是示出热供给侧机器以及热利用侧机器的具体例的第三图。在图7所示具体例的情况下,热供给侧120的机器包括空冷冷机701(冷机单元的一个例子)。需要说明的是,空冷冷机701例如包括空冷热泵制冷机。

另外,在图7所示具体例的情况下,热利用侧140的机器包括空气调和装置711。需要说明的是,空气调和装置711例如包括外空调空气处理单元、室内风机盘管单元、以及水热源热泵空调机。

基于上述具体例,机器学习装置150作为状态变量中包含的、热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·空冷热泵制冷机的制冷时的外部空气温度

·空冷热泵制冷机的供暖时的外部空气湿球温度

需要说明的是,机器学习装置150在自空冷热泵制冷机取得外部空气温度或外部空气湿球温度时,可以将外部空气温度或外部空气湿球温度替换为压缩机以及风扇的运转状況而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的运转条件,取得对热利用侧140的机器的处理能力产生影响的以下数据等。

·外空调空气处理单元的吸入空气温度、吸入空气湿度、(以及风量)、

·室内风机盘管单元的吸入空气温度、吸入空气湿度、(以及风量)、

·水热源热泵空调机的吸入空气温度、吸入空气湿度、(以及风量)、需要说明的是,在自外空调空气处理单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度而进行取得。另外,机器学习装置150在自室内风机盘管单元取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为室内温度、室内湿度而进行取得。另外,机器学习装置150在自水热源热泵空调机取得吸入空气温度、吸入空气湿度时,可以将吸入空气温度、吸入空气湿度替换为外部空气温度、外部空气湿度或者替换为室内温度、室内湿度而进行取得。或者,可以替换为制冷剂圧力、制冷剂温度、压缩机的运转状況而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中含有的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·外空调空气处理单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)、

·室内风机盘管单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)、

·水热源热泵空调机的压缩机负载率、

需要说明的是,机器学习装置150可以代替自空气侧或压缩机负载率取得与在热利用侧140的机器中用于实现目标值所需的热量相关的数据而自冷水侧进行计算。

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·空冷冷机701的耗费电力

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·空气调和装置711的耗费电力

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷水泵721的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷水送水温度的目标值

·冷水流量的目标值

<热供给侧机器以及热利用侧机器的具体例2>

图8是示出热供给侧机器以及热利用侧机器的具体例的第四图。在图8所示具体例的情况下,热供给侧120的机器包括冷却塔或地下热交换器801。需要说明的是,冷却塔或地下热交换器801例如包括开放式的冷却塔、密闭式的冷却塔、以及地下热交换器。

另外,在图8所示具体例的情况下,热利用侧140的机器包括水冷冷机811。需要说明的是,水冷冷机811例如包括水冷热泵制冷机和吸收式制冷机。

基于上述具体例,机器学习装置150作为状态变量中包含的、热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·开放式的冷却塔的外部空气湿球温度

·密闭式的冷却塔的外部空气湿球温度

·地下热交换器的地下温度

需要说明的是,机器学习装置150在自开放式的冷却塔或密闭式的冷却塔取得外部空气湿球温度时,可以将外部空气湿球温度替换为外部空气温度而进行取得。另外,机器学习装置150在自地下热交换器取得地下温度时,可以将地下温度替换为地下热交换器出口温度而进行取得。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的运转条件,取得度热利用侧140的机器的处理能力产生影响的以下数据等。

·水冷热泵制冷机的冷水回水温度(或者冷水回水温度以及冷水流量)

·吸收式制冷机的冷水回水温度(或者冷水回水温度以及冷水流量)

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·水冷热泵制冷机的负载率、冷水送水温度(或者冷水回水温度以及冷水流量)

·吸收式制冷机的冷水送水温度(或者冷水回水温度、冷水流量)

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·冷却塔的耗费电力

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·水冷冷机811的耗费电力

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷却水泵821的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷却水送水温度的目标值

·冷却水流量的目标值

<总结>

由以上的说明明确可知,根据机器学习装置150,通过上述具体例1以及2所示学习用数据集,能够进行强化学习。

[第四实施方式]

在上述第三实施方式中,对热供给侧120或热利用侧140中包含的机器形成为单级的情况进行了说明。与此相对,在第四实施方式中,对热供给侧120以及热利用侧140中包含的机器均以单级并列形成的情况进行说明。

<热供给侧机器以及热利用侧机器的具体例1>

图9是示出热供给侧机器以及热利用侧机器的具体例的第五图。在图9所示具体例的情况下,热供给侧120的机器包括空冷冷机901以及冷却塔902。需要说明的是,由于空冷冷机901、冷却塔902中包含的机器的种类已经进行了说明,因此在此省略说明。

另外,在图9所示具体例的情况下,热利用侧140的机器包括空气调和装置911。需要说明的是,由于空气调和装置911中包含的机器的种类已经进行了说明,因此在此省略说明。

基于上述具体例,机器学习装置150作为状态变量中包含的、热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·空冷热泵制冷机的制冷时的外部空气温度

·空冷热泵制冷机的供暖时的外部空气湿球温度

·开放式的冷却塔的外部空气湿球温度

·密闭式的冷却塔的外部空气湿球温度

需要说明的是,由于对于机器学习装置150取得这些运转条件时的替换已经进行了说明,因此在此省略说明。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的运转条件,取得对热利用侧140的机器的处理能力产生影响的以下数据等。

·外空调空气处理单元的吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的吸入空气温度、吸入空气湿度、(以及风量)

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·外空调空气处理单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的供气温度、供气湿度、或者吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的压缩机负载率

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·空冷冷机901的耗费电力

·冷却塔902的耗费电力

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·空气调和装置911的耗费电力

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷水泵921的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷水送水温度的目标值

·冷水流量的目标值

<热供给侧机器以及热利用侧机器的具体例2>

图10是示出热供给侧机器以及热利用侧机器的具体例的第六图。在图10所示具体例的情况下,热供给侧120的机器包括空冷冷机1001。需要说明的是,由于空冷冷机1001中包含的机器的种类已经进行了说明,因此在此省略说明。

另外,在图10所示具体例的情况下,热利用侧140的机器包括空气调和装置1011、水冷建筑物用多联空调机1012、水冷建筑物用多联空调机1013。需要说明的是,由于对空气调和装置1011中包含的机器的种类已经进行了说明,因此在此省略说明。另外,水冷建筑物用多联空调机1012、1013例如包括水冷建筑物用多联空调机的热源机以及室内机。

基于上述具体例,机器学习装置150作为状态变量中包含的、热供给侧120的机器的运转条件,取得对热供给侧120的机器的处理能力产生影响的以下数据等。

·空冷热泵制冷机的制冷时的外部空气温度

·空冷热泵制冷机的供暖时的外部空气湿球温度

需要说明的是,对于机器学习装置150在取得这些运转条件时的替换,由于已经进行了说明,因此在次省略说明。

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的运转条件,取得对热利用侧140的机器的处理能力产生影响的以下数据等。

·外空调空气处理单元的吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的吸入空气温度、吸入空气湿度、(以及风量)

·水冷建筑物用多联空调机的室内温度、室内湿度

另外,基于上述具体例,机器学习装置150作为状态变量中包含的、热利用侧140的机器的负载,取得与在热利用侧140的机器中用于实现目标值所需的热量相关的以下数据等。

·外空调空气处理单元的供气温度、供气湿度、或、吸入空气温度、吸入空气湿度、(以及风量)

·室内风机盘管单元的供气温度、供气湿度、或、吸入空气温度、吸入空气湿度、(以及风量)

·水热源热泵空调机的压缩机负载率

·水冷建筑物用多联空调机的压缩机负载率(或室内机运转容量)

另外,基于上述具体例,机器学习装置150作为用于计算合计耗费电力的热供给侧120的耗费电力,取得以下数据等。

·空冷冷机1001的耗费电力

作为用于计算合计耗费电力的热利用侧140的耗费电力,取得以下数据等。

·空气调和装置1011的耗费电力

·水冷建筑物用多联空调机1012、1013的耗费电力

作为用于计算合计耗费电力的热输送装置130的耗费电力,取得以下数据等。

·冷水泵1021的耗费电力

而且,基于上述具体例,机器学习装置150作为热介质的温度和流量的至少一者的目标值,对以下值进行计算。

·冷水送水温度的目标值

·冷水总流量的目标值

<总结>

由以上的说明明确可知,根据机器学习装置150,通过上述具体例1以及2示出的学习用数据集,能够进行强化学习。

[第五实施方式]

在上述第一至第四实施方式中,将奖励计算部320设定为基于自耗费电力取得部310告知的合计值,对奖励进行计算,并且告知强化学习部340而进行了说明。但是,基于奖励计算部320的奖励的计算方法不限于此。

例如,在热供给侧120的机器或热利用侧140的机器中产生某种异常的情况下,可以构成为作为风险信息而取得表示产生异常的信号,并且考虑取得的风险信息来计算奖励。以下,对于第五实施方式,以与上述第一实施方式的不同点为中心进行说明。

<机器学习装置的功能构成>

首先,对第五实施方式的机器学习装置150的功能构成的详细内容进行说明。图11是示出机器学习装置的功能构成的一个例子的第二图。与图3的不同点在于,在第五实施方式的机器学习装置150的情况下,存在风险信息取得部1110这点。

风险信息取得部1110在热供给侧120的机器或热利用侧140的机器中产生某种异常的情况下,作为风险信息而取得表示产生异常的信号,并且告知奖励计算部320。

风险信息取得部1110例如将在空冷热泵制冷机中产生的、表示以下状态的信号作为风险信息进行取得。

·高圧异常(高温、低流量)、低圧异常(低温、低流量)、

·热交换器冻结(低温、低流量)、热交换器偏流(低流量)

或者,风险信息取得部1110将例如在水冷热泵制冷机、水热源热泵空调机中产生的、表示以下状态的信号作为风险信息进行取得。

·高圧异常(高温、低流量)、低圧异常(低温、低流量)、热交换器冻结(低温、低流量)、热交换器偏流(低流量)

或者,风险信息取得部1110将例如在吸收式制冷机中产生的、表示以下状态的信号作为风险信息进行取得。

·热交换器冻结(低温、低流量)、热交换器偏流(低流量)、

<强化学习处理的流程>

接下来,对基于机器学习装置150的强化学习处理的流程进行说明。图12是示出基于机器学习装置的强化学习处理的流程的第二流程图。与图4所示流程图的不同点在于,步骤S1201、S1202。

在步骤S1201中,对风险信息取得部1110是否作为风险信息而自热供给侧120的机器或热利用侧140的机器取得表示产生了某种异常的信号进行判定。

在步骤S1202中,奖励计算部320根据取得的风险信息对在步骤S403中计算的奖励进行减法运算。

<总结>

由以上的说明明确可知,在机器学习装置150中,根据取得的风险信息对基于耗费电力的合计值计算的奖励进行剑法运算。由此,根据机器学习装置150,能够使用考虑了风险信息而计算的奖励进行强化学习。

[第六实施方式]

在上述第一至第四实施方式中,将强化学习部340设定为将通过热量模型341计算的热介质的温度和流量的至少一者的目标值发送至热供给侧120的机器而进行了说明。但是,热介质的温度和流量的至少一者的目标值的输出方法不限于此。

例如,可以构成为在计算的热介质的温度和流量的至少一者的目标值超过规定的上下限值的情况下,输出该上限值或该下限值。以下,对于第六实施方式,以与上述第一实施方式的不同点为中心进行说明。

<机器学习装置的功能构成>

首先,对第六实施方式的机器学习装置150的功能构成的详细内容进行说明。图13是示出机器学习装置的功能构成的一个例子的第三图。与图3的不同点在于,在第六实施方式的机器学习装置150的情况下,存在上下限值限制部1310这点。

上下限值限制部1310取得通过热量模型341计算的、强化学习部340输出的热介质的温度和流量的至少一者的目标值。另外,上下限值限制部1310对取得的热介质的温度和流量的至少一者的目标值是否超过在热供给侧120的机器中能够设定的流量、温度的上下限值进行判定。另外,上下限值限制部1310在判定超过上下限值的情况下,将上限值或下限值发送至热供给侧120的机器。另一方面,上下限值限制部1310在判定未超过上下限值的情况下,将取得的热介质的温度和流量的至少一者的目标值发送至热供给侧120的机器。

<强化学习处理的流程>

接下来,对基于机器学习装置150的强化学习处理的流程进行说明。图14是示出基于机器学习装置的强化学习处理的流程的第三流程图。与图4所示流程图的不同点在于,存在步骤S1401、S1402。

在步骤S1401中,上下限值限制部1310对在步骤S406中由强化学习部340输出的热介质的温度和流量的至少一者的目标值是否超过在热供给侧120的机器中能够设定的上下限值进行判定。

在步骤S1401中,在判定超过上下限值的情况下(在步骤S1401中为YES的情况下),进入步骤S1402。

在步骤S1401中,上下限值限制部1310将上限值或下限值输出至热供给侧120的机器。

另一方面,在步骤S1401中,在判定未超过上下限值的情况下(在步骤S1401中为NO的情况下),进入步骤S407。在该情况下,上下限值限制部1310将在步骤S406中由强化学习部340输出的热介质的温度和流量的至少一者的目标值输出至热供给侧120的机器。

<总结>

由以上的说明明确可知,在机器学习装置150中,根据上下限值对发送至热供给侧120的热介质的温度和流量的至少一者的目标值进行限制。由此,根据机器学习装置150,能够使热供给侧120的机器安全动作。

[第七实施方式]

在上述第一至第六实施方式中,在对空调系统的系统构成进行说明时,省略了用于输送热介质的具体的回路构成。因此,在以下的实施方式中,一边明确示出用于输送热介质的具体的回路构成,一边对空调系统的系统构成进行说明。

其中,在本实施方式中,明确示出包括冷却塔、水冷冷机、空气调和装置的空调系统(在上述第二实施方式中示出的空调系统)中的、用于输送热介质的具体的回路构成(冷却水回路、冷水回路)。

<空调系统的系统构成>

图15是示出包括冷却水回路以及冷水回路的空调系统的系统构成的一个例子的图。另外,图16是示出冷却水回路的详细内容的图。以下,使用图15、图16,对空调系统100整体的构成、空调系统100的各机器、各回路的构成进行说明。

(1)空调系统整体的构成

图15所示空调系统100例如设置于大楼、工厂、医院、旅店等的、比较大的建筑物内。

在图15所示空调系统100的情况下,空调机器110具有热介质控制装置1500、冷却塔1510、水冷冷机组1520、一次侧冷水泵1530、二次侧冷水泵1540、以及空气调和装置1550。

如图15所示,在冷却塔1510和水冷冷机组1520之间形成冷却水回路1560,在水冷冷机组1520和空气调和装置1550之间形成冷水回路1570。

(2)冷却塔以及冷却水回路

对于冷却塔1510,主体1512具有的风扇1513基于热介质控制装置1500的控制进行动作,使在冷却水回路1560中循环的冷却水与外部空气接触而对其进行冷却。在冷却塔1510中设置湿球温度计1511,通过对外部空气的湿球温度进行测量,将外部空气湿球温度输出至热介质控制装置1500。

在冷却水回路1560中设置冷却水泵1562(参照图15)。冷却水泵1562是能够对喷出流量进行调整的泵,其使冷却水回路1560内的冷却水进行循环。冷却水泵1562通过热介质控制装置1500被变频驱动。

另外,在冷却水回路1560中设置温度检测传感器1575a、1575b、1576a、1576b(参照图16)。温度检测传感器1575a安装于水冷冷机1521a的入口附近,用于对冷却水温度T3a进行测量。另外,温度检测传感器1575b安装于水冷冷机1521b的入口附近,用于对冷却水温度T3b进行测量。

另外,温度检测传感器1576a安装于水冷冷机1521a的出口附近,用于对冷却水温度T4a进行测量。而且,温度检测传感器1576b安装于水冷冷机1521b的入口附近,用于对冷却水温度T4b进行测量。

需要说明的是,通过温度检测传感器1575a、1575b、1576a、1576b测量的冷却水温度输出至热介质控制装置1500。

另外,在冷却水回路1560中安装流量计1563(参照图16)。流量计1563安装于水冷冷机1521a、1521b的出口侧且冷却塔1510的入口侧,用于对在冷却水回路1560中循环的冷却水的流量进行测量。

(3)水冷冷机组

水冷冷机组1520具有水冷式的热源机即水冷冷机1521a、1521b。水冷冷机1521a、1521b在冷却水回路1560内彼此并列连接(参照图16)。

水冷冷机1521a、1521b具有依次连接压缩机(未图示)、散热器1522a、1522b(参照图16)、冷机侧膨胀阀(未图示)、蒸发器1523a、1523b(参照图15)等的制冷剂回路(未图示)。在制冷剂回路内部填充有制冷剂。在冷却水回路1560中循环的冷却水在散热器1522a、1522b内通过,从而在与制冷剂回路内部的制冷剂之间进行热交换。而且,制冷剂回路内部的制冷剂在蒸发器1523a、1523b中与在冷水回路1570中循环的冷水之间进行热交换。

如此,水冷冷机1521a、1521b通过制冷剂回路对作为热介质的冷水进行冷却或加热。

(4)冷水回路

冷水回路1570由填充有作为热介质的冷水的连接配管L1～L4形成(参照图15)。

具体而言,连接配管L1设置与水冷冷机1521a、1521b的数量相应的数量(图15的情况为两根),其一端连结于各水冷冷机1521a、1521b的成为出口侧的蒸发器1523a、1523b。另外,连接配管L1的另一端连结于容器1574的流入口。

连接配管L2的一端连结于容器1574的流出口,另一端连结于空气调和装置1550的成为入口侧的利用侧热交换器1551。连接配管L3的一端连结于空气调和装置1550的出口侧,另一端连结于集管1571。连接配管L4设置与水冷冷机1521a、1521b的数量相应的数量(图15的情况为两根),并且连结于蒸发器1523a、1523b。

如此,连接配管L1～L4将水冷冷机1521a、1521b以及空气调和装置1550环状连接。需要说明的是,在本实施方式中,进一步设置不经由水冷冷机1521a、1521b而将集管1571和容器1574之间直接连结的连接配管L5。

在连接配管L4中,作为一次侧冷水泵1530,设置与水冷冷机1521a、1521b的数量相应的数量(图15的情况为两台)的一次侧冷水泵1531、1532。

一次侧冷水泵1531、1532是容量可调整且喷出容量可调整的容量可变型的泵,其通过热介质控制装置1500被变频驱动。一次侧冷水泵1531、1532通过将自空气调和装置1550的利用侧热交换器1551流出的冷水向水冷冷机1521a、1521b进行输送,从而使冷水回路1570内的冷水进行循环。也就是说,一次侧冷水泵1531、1532使连接配管L1～L4内的冷水在水冷冷机1521a、1521b和空气调和装置1550之间进行循环。

另外,在连接配管L1、L2之间,设置容器1574。容器1574经由连接配管L1与水冷冷机1521a、1521b连接,并且经由连接配管L2与空气调和装置1550连接。在容器1574中,储存被水冷冷机1521a、1521b加热或冷却的冷水。

另外,在连接配管L2中,设置二次侧冷水泵1540。二次侧冷水泵1540与一次侧冷水泵1531、1532同样为容量可调整且喷出容量可调整的容量可变型的泵,并且通过热介质控制装置1500被变频驱动。二次侧冷水泵1540通过将冷水自水冷冷机1521a、1521b向空气调和装置1550进行输送,从而使冷水回路1570内的冷水进行循环。

另外,在连接配管L3中安装流量计1575。流量计1575在连接配管L3中安装于靠集管1571侧。流量计1575用于测量在冷水回路1570中循环的冷水的流量。

另外,在连接配管L1中安装温度检测传感器1573a、1573b,在连接配管L4中安装温度检测传感器1572a、1572b。其中,温度检测传感器1573a在水冷冷机1521a的出口附近对冷水温度T1a进行测量,温度检测传感器1573b在水冷冷机1521b的出口附近对冷水温度T1b进行测量。

另外,温度检测传感器1572a在水冷冷机1521a的入口附近对冷水温度T2a进行测量,温度检测传感器1572b在水冷冷机1521b的入口附近对冷水温度T2b进行测量。

需要说明的是,通过温度检测传感器1572a、1572b、1573a、1573b测量的冷水温度被输出至热介质控制装置1500。

(5)空气调和装置

如图15所示,空气调和装置1550通过管道等与空调对象空间RM连接。空气调和装置1550具有利用侧热交换器1551、送风风扇1552、温度检测传感器1553、以及湿度检测传感器1554。

利用侧热交换器1551通过使自空调对象空间RM导入的空气与冷水回路1570内的冷水之间进行热交换,对空气进行加热或冷却。利用侧热交换器1551是例如具有多个传热翅片以及贯通该传热翅片的传热管的、翅片管式的热交换器。

送风风扇1552是通过变频驱动使转速阶段性地改变,从而能够对加热或冷却的空气的送风量进行调节的送风机。送风风扇1552形成经由利用侧热交换器1551向空调对象空间RM内吹出的空气的流动。

温度检测传感器1553对空气调和装置1550的吸入空气温度进行测量,并且将其输出至热介质控制装置1500。另外,湿度检测传感器1554对空气调和装置1550的吸入空气湿度进行测量,并将其输出至热介质控制装置1500。

<热介质控制装置的功能>

接下来,对热介质控制装置1500的功能进行简单说明。图17是用于说明热介质控制装置的功能的第一图。热介质控制装置1500是用于对空调系统100进行总括控制的装置,其与构成空调机器110的各种传感器、各种驱动装置(泵、风扇、阀)等电连接。

在本实施方式中,热介质控制装置1500基于各种传感器的输出等,确定冷却塔1510的运转条件、空气调和装置1550的运转条件。另外,热介质控制装置1500基于各种传感器的输出等,确定空气调和装置1550的负载。并且,热介质控制装置1500将包括冷却塔1510的运转条件、空气调和装置1550的运转条件、以及空气调和装置1550的负载的“状态变量”发送至机器学习装置150。

需要说明的是,状态变量中包含的冷却塔1510的运转条件包括以下条件。

·通过冷却塔1510的湿球温度计1511测量的外部空气湿球温度

另外,状态变量中包含的空气调和装置1550的运转条件包括以下条件。

·通过空气调和装置1550的温度检测传感器1553测量的吸入空气温度

·通过空气调和装置1550的湿度检测传感器1554测量的吸入空气湿度

另外,状态变量中包含的空气调和装置1550的负载包括以下内容。

·空气调和装置1550现在所需的热量(使用吸入空气温度、供气温度目标值、风量进行计算)

需要说明的是,状态变量可以包括冷却塔1510的负载、以及水冷冷机组1520的负载。

冷却塔1510的负载在现在的空调系统100的运转能力满足空气调和装置1550的负载(供气温度目标值)的情况下,或者在现在的空调系统100的运转能力以接近空气调和装置1550的负载的方式进行运转的情况下,即,空调系统100的运转状态在启动后转换到「负载＝运转能力」的稳定运转的情况下，例如,通过冷却水的去回水温度差与冷却水流量的乘积进行计算。

冷却水的去回水温度差例如使用通过温度检测传感器1575a、1575b测量的冷却水温度T3a、T3b与通过温度检测传感器1576a、1576b测量的冷却水温度T4a、T4b的差值进行计算。另外,冷却水流量例如由冷却水泵1562的变频驱动时的电圧、频率进行计算,或者通过流量计1563进行测量。

另一方面,水冷冷机组1520的负载在以下情况下,通过冷水的去回水温度差与冷水流量的乘积、水冷冷机组1520的负载率进行计算。

·在空调系统100的运转状态为“负载＝运转能力”的稳定运转的情况下

冷水的去回水温度差例如使用通过温度检测传感器1573a、1573b测量的冷水温度T1a、T1b与通过温度检测传感器1572a、1572b测量的冷水温度T2a、T2b的差值进行计算。

冷水流量例如由一次侧冷水泵1531、1532或二次侧冷水泵1540的变频驱动时的电圧、频率进行计算,或者通过流量计1575进行测量。

另外,在本实施方式中,热介质控制装置1500确定各种驱动装置的耗费电力,并将其发送至机器学习装置150。需要说明的是,各种驱动装置的耗费电力包括以下内容。

·冷却塔1510的耗费电力

·水冷冷机组1520的耗费电力

·冷却水泵1562的耗费电力

·一次侧冷水泵1530、二次侧冷水泵1540的耗费电力

·空气调和装置1550的耗费电力

而且,在本实施方式中,热介质控制装置1500通过对机器学习装置150输出状态变量、耗费电力,自机器学习装置150取得以下的组的至少一者。

·冷却水温度的目标值和冷水温度的目标值的组

·冷却水流量的目标值和冷水流量的目标值的组

热介质控制装置1500基于取得的冷却水温度的目标值和冷水温度的目标值的组,或者基于冷却水流量的目标值和冷水流量的目标值的组,对空调机器110(风扇1513、冷却水泵1562、一次侧冷水泵1530、二次侧冷水泵1540、冷机侧膨胀阀1710、送风风扇1552等)进行控制。

<机器学习装置的功能构成>

接下来,对机器学习装置150的功能构成进行说明。图18是示出机器学习装置的功能构成的一个例子的第四图。

如上所述,在机器学习装置150中安装有机器学习程序,通过执行该程序,机器学习装置150作为耗费电力取得部310、奖励计算部320、状态变量取得部330、以及强化学习部340起作用。

耗费电力取得部310通过热介质控制装置1500取得以下耗费电力,并且对合计值进行计算。

·冷却塔1510的耗费电力

·水冷冷机组1520的耗费电力

·冷却水泵1562的耗费电力

·一次侧冷水泵1530的耗费电力

·二次侧冷水泵1540的耗费电力

·空气调和装置1550的耗费电力

另外,耗费电力取得部310将计算的合计耗费电力告知奖励计算部320。

奖励计算部320基于由耗费电力取得部310告知的合计耗费电力,对奖励进行计算,并将其告知强化学习部340。

状态变量取得部330通过热介质控制装置1500,取得状态变量(冷却塔1510的运转条件、空气调和装置1550的运转条件、空气调和装置1550的负载),并将其告知强化学习部340。

强化学习部340具有热量模型341,以由奖励计算部320告知的奖励成为最大的方式,改变热量模型341的模型参数。由此,强化学习部340对于将状态变量与冷却水温度的目标值和冷水温度的目标值的组或者冷却水流量的目标值和冷水流量的目标值的组的至少一者的目标值的组关联起来的热量模型341进行强化学习。

另外,强化学习部340取得通过将由状态变量取得部330告知的现在的状态变量输入模型参数改变后的热量模型341而计算的、冷却水温度的目标值和冷水温度的目标值的组或者冷却水流量的目标值和冷水流量的目标值的组的至少一者的目标值的组。而且,强化学习部340将取得的目标值的组发送至空调机器110。由此,空调机器110以实现发送来的目标值的组的方式进行动作。其结果,根据机器学习装置150,能够削减空调机器110的耗费电力。

<强化学习处理的流程>

接下来,对基于机器学习装置150的强化学习处理的流程进行说明。图19是示出基于机器学习装置的强化学习处理的流程的第四流程图。

在步骤S1901中,状态变量取得部330通过热介质控制装置1500取得规定期间的状态变量。

在步骤S1902中,耗费电力取得部310通过热介质控制装置1500取得规定期间的各耗费电力,并且对合计值进行计算。

步骤S1903中,奖励计算部320基于计算的合计耗费电力,对奖励进行计算。

在步骤S1904中,奖励计算部320对计算的奖励是否为规定的阈值以上进行判定。在步骤S1904中,在判定并非为规定的阈值以上的情况下(在步骤S1904中为NO的情况下),进入步骤S1905。

在步骤S1905中,强化学习部340以计算的奖励成为最大的方式对热量模型341进行机器学习。

在步骤S1906中,强化学习部340通过将现在的状态变量输入热量模型341,使热量模型341进行执行。由此,强化学习部340输出冷却水温度的目标值和冷水温度的目标值的组或者冷却水流量的目标值和冷水流量的目标值的组的至少一者的目标值的组。

在步骤S1907中,强化学习部340将输出的目标值的组发送至热介质控制装置1500。之后,返回步骤S1901。

另一方面,在步骤S1904中,在判定为规定的阈值以上的情况下(在步骤S1904中为YES的情况下),结束强化学习处理。

<总结>

由以上的说明明确可知,在第七实施方式中,在包括冷却塔、水冷冷机、空气调和装置的空调系统中,能够使冷却水回路以及冷水回路中的热量的移动最优化。

[第八实施方式]

在上述第七实施方式中,对于包括冷却塔、水冷冷机、空气调和装置,并且使冷却水回路以及冷水回路中的热量的移动最优化的空调系统(上述第二实施方式)中的热介质的具体的回路构成进行了明确示出。

与此相对,在第八实施方式中,对于包括空冷冷机(冷机单元)、空气调和装置(空气处理单元),并且使冷水回路(水回路)中的热量的移动最优化的空调系统(上述第三实施方式)中的热介质的具体的回路构成进行明确示出。

<空调系统的系统构成>

图20是示出包括水回路的空调系统的系统构成的一个例子的第一图。空调系统100是中央空调方式的空调系统,其在房屋、大楼、工厂、公共施设等的建筑物内的对象空间SP中实现空气调和。在本实施方式中,对于空调系统100应用于包括多个(在此为三个)对象空间SP(SP1、SP2、SP3)的建筑物BL的情况进行说明。

如图20所示,空调系统100具有空调机器110和机器学习装置150。空调机器110通过导入并调和外部空气OA,并且将其供给至对象空间SP,从而进行对象空间SP中的制冷、供暖、换气、除湿和/或加湿等的空气调和。外部空气OA是对象空间SP外的空气,在本实施方式中是屋外的空气。

如图20所示,空调机器110进一步具有热介质控制装置2000、冷机单元2010、空气处理单元2020以及遥控器2030。热介质控制装置2000根据输入遥控器2030的指令(启停、运转种类、设定温度、设定湿度、设定风量等的指令)、以及负载状況(外部空气OA的温度/湿度、内部空气IA的温度/湿度等),对各机器的运转进行控制。

<空调机器的构成>

接下来,对空调机器110具有的各装置(这里，冷机单元2010、空气处理单元2020、遥控器2030)的构成、以及各回路的构成进行说明。

(1)水回路以及制冷剂回路

首先,对于在空调机器110中用于对热介质进行输送的具体的回路构成进行说明。图21是示出空调机器的详细构成的第一图。如图21所示,空气处理单元2020以及冷机单元2010具有水回路C1和制冷剂回路C2。

水回路C1是与外部空气OA进行热交换的热介质(水:图21所示“W”)进行循环的回路。水回路C1跨冷机单元2010和空气处理单元2020地构成。水回路C1主要通过配置于空气处理单元2020的空气热交换器2133、配置于冷机单元2010的水热交换器2122以及水泵Pa借助第一配管P1连接而构成。

通过控制水泵Pa的运转,作为热介质的水在水回路C1中在规定方向(图21的双点划线箭头d1所示方向)被输送。水回路C1中的水的流量主要通过水泵Pa的转速进行调整。需要说明的是,虽然在图21中省略了图示,但是设定在水回路C1(第一配管P1上)中,配置有用于使水合流/分流的集管集合管、用于阻断水的流动的开闭阀、与水泵Pa分开的泵等的机器。

制冷剂回路C2是成为水回路C1内的水的冷却源的制冷剂进行循环的回路。制冷剂回路C2在冷机单元2010内构成。制冷剂回路C2主要通过配置于冷机单元2010内的压缩机2121、水热交换器2122、膨胀阀2123、室外热交换器2124、以及四通切换阀2125借助第二配管P2连接而构成。通过控制压缩机2121的运转且控制膨胀阀2123的开度,作为热介质的制冷剂在制冷剂回路C2中在规定方向被输送,从而进行蒸汽压缩制冷循环。需要说明的是,在正循环运转时的情况下,规定方向是指图21的双点划线箭头d2所示方向,在逆循环运转时的情况下,规定方向是指与d2相反的方向。

(2)冷机单元

冷机单元2010是“热源装置”的一个例子。冷机单元2010通过制冷剂回路C2进行制冷循环,从而进行水回路C1内的水(W)的冷却或加热,并且将冷却或加热后的水(W)喷出而供给至运转中的空气处理单元2020。冷机单元2010主要具有压缩机2121、水热交换器2122、膨胀阀2123、室外热交换器2124、四通切换阀2125、室外风扇2126以及水泵Pa。需要说明的是,可以替代冷机单元2010而配置制冷机、锅炉(boiler)等的其他的热源装置。

压缩机2121是在制冷循环中将低圧的制冷剂压缩高圧的机器。在此,作为压缩机2121,采用压缩机马达内置的密闭式构造的压缩机。在压缩机2121内,容纳有例如涡旋式等的容积式的压缩元件(省略图示),通过压缩机马达旋转驱动压缩元件。压缩机马达被变频驱动,由此进行压缩机2121的容量控制。即,压缩机2121容量可变。

水热交换器2122是使水回路C1内的水与制冷剂回路C2内的制冷剂进行热交换,从而对水进行冷却或加热的机器。在水热交换器2122中形成有与水回路C1连通的水流路以及与制冷剂回路C2连通的制冷剂流路,由此,水热交换器2122使水流路内的水与制冷剂流路内的制冷剂进行热交换。具体而言,水热交换器2122在正循环运转(制冷运转、除湿运转)中,作为低圧制冷剂的蒸发器起作用,对冷水进行冷却。另外,水热交换器2122在逆循环运转(供暖运转)中,作为高圧制冷剂的冷凝器起作用,对温水进行加热。

膨胀阀2123作为制冷剂的减圧机构或流量调整机构起作用。在本实施方式中,膨胀阀2123是开度可控制的电动膨胀阀。

室外热交换器2124是在制冷剂回路C2中使制冷剂和空气进行热交换的机器,其向空气进行散热,或者自空气吸热。室外热交换器2124具有与制冷剂回路C2连通的传热管、以及传热翅片。室外热交换器2124使通过传热管以及传热翅片的周围的空气(后述室外空气流)与通过传热管的制冷剂进行热交换。室外热交换器2124在正循环运转中作为高圧制冷剂的冷凝器起作用,在供暖运转中,作为低圧制冷剂的蒸发器起作用。

四通切换阀2125是用于切换制冷剂回路C2的流动的阀。四通切换阀2125具有四个连接口,分别与压缩机2121的吸入配管、喷出配管、水热交换器2122的制冷剂流路的气体侧、以及室外热交换器2124的气体侧连接。由此,四通切换阀2125对第一状态和第二状态进行切换。

第一状态是指,使水热交换器2122的制冷剂流路的气体侧与压缩机2121的吸入配管连通,并且使压缩机2121的喷出配管与室外热交换器2124的气体侧连通的状态(参照图21的四通切换阀2125的实线)。

另一方面,第二状态是指,使压缩机2121的喷出配管与水热交换器2122的制冷剂流路的气体侧连通,并且使室外热交换器2124的气体侧与压缩机2121的吸入配管连通的状态(参照图21的四通切换阀2125的虚线)。四通切换阀2125在正循环运转时被控制为第一状态,在逆循环运转时被控制为第二状态。

室外风扇2126是用于生成室外空气流的送风机。室外空气流是流入冷机单元2010内,通过室外热交换器2124而向冷机单元2010外流出的空气的流动。室外空气流是正循环运转时的室外热交换器2124内的制冷剂的冷却源,也是逆循环运转时的室外热交换器2124内的制冷剂的加热源。室外风扇2126具有风扇马达,该风扇马达被变频驱动,从而转速被调整。即,室外风扇2126风量可变。

水泵Pa配置于水回路C1。水泵Pa在运转中吸进水而将其喷出。水泵Pa具有驱动源即马达,该马达通过被变频驱动而转速被调整。即,水泵Pa喷出流量可变。

(3)空气处理单元

空气处理单元2020是“空气调和装置”的一个例子。空气处理单元2020用于进行外部空气OA的冷却、除湿、加热、和/或加湿。空气处理单元2020配置于室外(对象空间SP外)。

空气处理单元2020主要具有空气热交换器2133、加湿器2135以及供气风扇2138。

空气热交换器2133(热交换器)是作为外部空气OA的冷却器或加热器起作用的机器。空气热交换器2133配置于水回路C1中。空气热交换器2133具有与水回路C1连通的传热管、以及传热翅片。空气热交换器2133使通过传热管以及传热翅片的周围的外部空气OA与通过传热管的水进行热交换。

加湿器2135是用于对通过空气热交换器2133的外部空气OA进行加湿的机器。加湿器2135的方式、型号不特别限定,但是这里设定为采用一般的自然蒸发式的加湿器。

供气风扇2138(空调风扇)是用于将外部空气OA导入空气处理单元2020内,并且经由管道D1向对象空间SP输送的送风机。供气风扇2138的型号不特别限定,但是在本实施方式中,作为供气风扇2138采用西洛克风扇。这里,在空气处理单元2020中形成供外部空气OA流动的空气流路FP(参照图21中的虚线箭头“FP”),在供气风扇2138的运转中,外部空气OA沿空气流路FP流动。供气风扇2138具有风扇马达,该风扇马达通过被变频驱动而对转速进行调整。即,供气风扇2138风量可变。

在空气处理单元2020中,自空气流路FP的风上游侧朝向风下游侧依次配置空气热交换器2133、加湿器2135、以及供气风扇2138。空气流路FP的风下游侧的端部与管道D1连接。

另外,在空气处理单元2020中配置各种传感器。在配置于空气处理单元2020中的各种传感器中,例如包括用于对被吸入空气处理单元2020内的外部空气OA的温度进行测量的外部空气温度传感器S1、以及用于对湿度进行测量的外部空气湿度传感器S2。而且,包括对被输送至管道D1(即对象空间SP)的供气SA的温度(供气温度)进行测量的供气温度传感器S3。

(4)遥控器

遥控器2030是使用者用于对空调系统100输入空气处理单元2020的启停、运转种类、设定温度、设定湿度、设定风量等的各种指令的输入装置。需要说明的是,遥控器2030还可以作为用于显示规定的信息(例如空调系统100的运转状态、内部空气IA的温度、湿度、或者外部空气OA的温度、湿度等)的显示装置起作用。

另外,在遥控器2030中作为各种传感器例如配置以下传感器等。

·用于测量对象空间SP的室内的空气(内部空气IA)的温度的室内温度传感器S4(图22)

·用于测量湿度的室内湿度传感器S5(图22)

·用于测量二氧化碳浓度的二氧化碳浓度传感器S6(图22)

(5)构成空调机器的各装置的运转中的动作

接下来,对构成空调机器110的各装置的运转中的动作进行说明。在空调机器110的运转时,通常,水泵Pa进行驱动,水在水回路C1中进行循环。另外,压缩机2121进行驱动,制冷剂在制冷剂回路C2中进行循环。

另外,空调机器110的运转中,水回路C1内的水以通过在水热交换器2122中与制冷剂回路C2内的制冷剂进行热交换而成为目标水温Tw、up的方式被冷却或加热。在水热交换器2122中被冷却或加热的水被供给至空气处理单元2020,并且在空气热交换器2133中通过与外部空气OA进行热交换而被加热或冷却。通过空气热交换器2133的水再次被输送至水热交换器2122。

在制冷运转时,制冷剂回路C2内的制冷剂在压缩机2121中被压缩,作为高圧制冷剂被喷出。自压缩机2121被喷出的高圧制冷剂通过在室外热交换器2124与空气(室外风扇2126生成的室外空气流)进行热交换而冷凝或散热。通过室外热交换器2124的制冷剂在膨胀阀2123中被减圧而成为低圧制冷剂之后,被输送至水热交换器2122。被输送至水热交换器2122的低圧制冷剂通过与水回路C1内的水进行热交换而蒸发或被加热。通过水热交换器2122的低圧制冷剂再次被输送至压缩机2121。

另一方面,在供暖运转时,制冷剂回路C2内的制冷剂在压缩机2121中被压缩,作为高圧制冷剂被喷出。自压缩机2121被喷出的高圧制冷剂通过在水热交换器2122与水回路C1内的水进行热交换而冷凝或者散热。通过水热交换器2122的制冷剂在膨胀阀2123中被减圧而成为低圧制冷剂之后,被输送至室外热交换器2124。被输送至室外热交换器2124的低圧制冷剂通过与空气(室外风扇2126生成的室外空气流)进行热交换而蒸发或被加热。通过室外热交换器2124的低圧制冷剂再次被输送至压缩机2121。

在运转中的空气处理单元2020的空气热交换器2133中,外部空气OA通过与水进行热交换而被冷却、除湿或加热。通过空气热交换器2133的空气作为供气SA而被输送至对象空间SP。此时,在加湿器2135为运转中的情况下,通过空气热交换器2133的空气在被加湿器2135加湿之后作为供气SA而被输送至对象空间SP。

<热介质控制装置的功能>

接下来,对热介质控制装置2000的功能进行简单说明。图22是用于说明热介质控制装置的功能的第二图。热介质控制装置2000是用于对空调系统100进行总括控制的装置,其与构成空调机器110的各种传感器、各种驱动装置(加湿器、压缩机、泵、风扇、阀)等电连接。

具体而言,热介质控制装置2000基于自机器学习装置150输出的、在水回路C1中循环的水的温度的目标值(目标水温Tw、up),对各种驱动装置(加湿器、压缩机、泵、风扇、阀等)的动作进行控制。

例如,热介质控制装置2000对压缩机2121的容量、膨胀阀2123的开度、四通切换阀2125的状态、室外风扇2126的转速、水泵Pa的转速、加湿器2135的启停、或者供气风扇2138的转速等进行控制。需要说明的是,热介质控制装置2000在对各种驱动装置的动作进行控制时,取得各种传感器的输出,并且在与遥控器2030之间进行信号的发送接收。

另外,热介质控制装置2000基于各种传感器的输出等,确定冷机单元2010的运转条件、空气处理单元2020的运转条件。另外,热介质控制装置2000基于各种传感器的输出等,确定空气处理单元2020的负载。而且,热介质控制装置2000将包括冷机单元2010的运转条件、空气处理单元2020的运转条件、以及空气处理单元2020的负载的“状态变量”发送至机器学习装置150。

需要说明的是,状态变量中包含的冷机单元2010的运转条件中包括制冷时的外部空气温度、以及供暖时的外部空气湿球温度(但是,实际上是被压缩机2121的频率、四通切换阀2125的状态、室外风扇2126的转速、以及水泵Pa的转速替换的值)。

另外,状态变量中包含的空气处理单元2020的运转条件中包括空气处理单元2020的盘管入口空气温度(或者,对象空间SP外的外部空气OA温度、对象空间SP内的内部空气IA的温度)，盘管入口空气温度通过外部空气温度传感器S1进行测量。另外,对象空间SP内的内部空气IA的温度通过室内温度传感器S4进行测量。

需要说明的是,状态变量中包含的空气处理单元2020的运转条件中还可以包括空气处理单元2020的盘管入口空气湿度(或者,对象空间SP外的外部空气OA湿度、对象空间SP内的内部空气IA的湿度)，盘管入口空气湿度通过外部空气湿度传感器S2进行测量。另外,对象空间SP内的内部空气IA的湿度通过室内湿度传感器S5进行测量。

而且,状态变量中包含的空气处理单元2020的运转条件中还可以包括供气风扇2138的风量。

另外,空气处理单元2020的负载中包括空气处理单元2020的供气设定温度。供气设定温度基于输入遥控器2030的指令(与设定温度相关的指令)而确定。

需要说明的是,空气处理单元2020的负载还可以包括空气处理单元2020的供气设定湿度。供气设定湿度基于输入遥控器2030的指令(与设定湿度相关的指令)而确定。

另外,在本实施方式中,热介质控制装置2000确定各种驱动装置的耗费电力,并将其发送至机器学习装置150。需要说明的是,各种驱动装置的耗费电力包括以下耗费电力。

·冷机单元2010的耗费电力

·空气处理单元2020的耗费电力

·水泵Pa的耗费电力

而且,在本实施方式中,热介质控制装置2000通过对机器学习装置150输出状态变量、各耗费电力,从而自机器学习装置150取得以下目标值的至少一者。

·水温度的目标值(目标水温)

·水流量的目标值(目标水量)

热介质控制装置2000基于取得的水温度的目标值或者水流量的目标值,对空调机器110(压缩机2121、膨胀阀2123、四通切换阀2125、室外风扇2126、水泵Pa、供气风扇2138等)的动作进行控制。

<机器学习装置的功能构成>

接下来,对机器学习装置150的功能构成进行说明。图23是示出机器学习装置的功能构成的一个例子的第五图。

如上所述,在机器学习装置150中安装有机器学习程序,通过执行该程序,机器学习装置150作为耗费电力取得部310、奖励计算部320、状态变量取得部330、以及强化学习部340起作用。

耗费电力取得部310通过热介质控制装置1500取得各耗费电力(冷机单元2010的耗费电力、空气处理单元2020的耗费电力、水泵Pa的耗费电力)。另外,耗费电力取得部310对取得的耗费电力的合计值进行计算,并且将计算的合计耗费电力告知奖励计算部320。

奖励计算部320基于自耗费电力取得部310告知的合计耗费电力,对奖励进行计算,并且告知强化学习部340。

状态变量取得部330通过热介质控制装置1500取得状态变量(冷机单元2010的运转条件、空气处理单元2020的运转条件、空气处理单元2020的负载),并且告知强化学习部340。

强化学习部340具有热量模型341,并且以自奖励计算部320告知的奖励成为最大的方式,改变热量模型341的模型参数。由此,强化学习部340对于将状态变量与水温度的目标值或水流量的目标值的至少一者关联起来的热量模型341,进行强化学习。

另外,强化学习部340取得通过将自状态变量取得部330告知的现在的状态变量模型参数输入变更后的热量模型341而计算的水温度的目标值或水流量的目标值的至少一者。而且,强化学习部340将取得的目标值发送至空调机器110。由此,空调机器110以实线发送来的目标值的方式进行动作。其结果,根据机器学习装置150,能够削减空调机器110的耗费电力。

<强化学习处理的流程>

接下来,对基于机器学习装置150的强化学习处理的流程进行说明。图24是示出基于机器学习装置的强化学习处理的流程的第五流程图。

在步骤S2401中,状态变量取得部330通过热介质控制装置2000取得规定期间的状态变量。

在步骤S2402中,耗费电力取得部310通过热介质控制装置2000取得各耗费电力,并且对合计值进行计算。

步骤S2403中,奖励计算部320基于计算的合计耗费电力对奖励进行计算。

在步骤S2404中,奖励计算部320对计算的奖励是否为规定的阈值以上进行判定。在步骤S2404中,在判定并非为规定的阈值以上的情况下(在步骤S2404中为NO的情况下),进入步骤S2405。

在步骤S2405中,强化学习部340以计算的奖励成为最大的方式对热量模型341进行机器学习。

在步骤S2406中,强化学习部340通过将现在的状态变量输入热量模型341,使热量模型341执行。由此,强化学习部340输出水温度的目标值、水流量的目标值的至少一者。

在步骤S2407中,强化学习部340将输出的目标值发送至热介质控制装置2000,之后,返回步骤S2401。

另一方面,在步骤S2404中,在判定为规定的阈值以上的情况下(在步骤S2404中为YES的情况下),结束强化学习处理。

<总结>

如以上说明明确可知,在第八实施方式中,在包括冷机单元、空气处理单元的空调系统中,能够使水回路中的热量的移动最优化。

[第九实施方式]

在上述第八实施方式中,对包括冷机单元、空气处理单元的空调系统进行了说明。与此相对,在第九实施方式中,作为上述第八实施方式的变形例,对代替空气处理单元而包括风机盘管单元的空调系统进行说明。

<空调系统的系统构成(变形例1)>

图25是示出包括水回路的空调系统的系统构成的一个例子的第二图。另外,图26是示出空调机器的详细构成的第二图。

如图25所示,空调系统100a代替空气处理单元2020而具有多个风机盘管单元2020a(这里与对象空间SP相同数量)。空调系统100a在运转中,风机盘管单元2020a导入对象空间SP的空气(内部空气IA),进行冷却或加热或除湿,并且作为供气SA供给至对象空间SP。需要说明的是,在本实施方式中可以没有加湿的功能。

另外,如图26所示,冷机单元2010以及风机盘管单元2020a代替水回路C1而具有水回路C1’。水回路C1’主要通过配置于各风机盘管单元2020a中的空气热交换器2133与配置于冷机单元2010中的水热交换器2122以及水泵Pa借助第一配管P1连接而构成。

风机盘管单元2020a是“空气调和装置”的一个例子,用于进行内部空气IA的冷却、除湿、加热。风机盘管单元2020a配置于对象空间SP中。

图27是示出对象空间中的风机盘管单元的设置方式的第一图。在本实施方式中,各风机盘管单元2020a采用设于对象空间SP的天花板CL的天花板埋入式。如图27所示,各风机盘管单元2020a在对象空间SP中以吹出口自天花板CL露出的方式设置。

各风机盘管单元2020a与空气处理单元2020同样具有空气热交换器2133a以及供气风扇2138a。空气热交换器2133a以及供气风扇2138a以自内部空气IA流过的空气流路FP’的风上游侧朝向风下游侧的顺序配置。在各风机盘管单元2030a中,空气流路FP’的风下游侧的端部与对象空间SP连通。风机盘管单元2020a与空气处理单元2020不同,其不与管道D1连接。风机盘管单元2020a并非通过将外部空气OA导入而向对象空间SP输送供气SA,而是导入内部空气IA,在对其进行冷却、除湿、加热基础上向对象空间SP输送供气SA。

需要说明的是,在图25所示具有风机盘管单元2020a的空调系统100a中,通过与上述第八实施方式相同的手法,机器学习装置150能够作为水温度的目标值或水流量的目标值而输出削减耗费电力的最优的目标值。

另外,在空调系统100a中,即使在将风机盘管单元2020a和空气处理单元2020混合配置的情况下,机器学习装置150也能够以与上述第八实施方式相同的手法输出最优的目标值。

需要说明的是,对于风机盘管单元2020a的台数,不需要为与对象空间SP相同数量,可以比对象空间SP的数量多或少。例如,可以在一个对象空间SP中配置多个风机盘管单元2020a。

<空调系统的系统构成(变形例2)>

接下来,对另一变形例进行说明。图28是示出包括水回路的空调系统的系统构成的一个例子的第三图。另外,图29是示出空调机器的详细构成的第三图。以下,以与图25所示空调系统100a以及图26所示空调机器的详细构成的不同点为中心进行说明。

如图28所示,空调系统100b替代风机盘管单元2030a而具有风机盘管单元2020b。空调系统100b在运转中,风机盘管单元2020b通过管道D2导入外部空气OA,对其进行冷却或加热,或者对其进行除湿或加湿,并且将供气SA输送至对象空间SP。

风机盘管单元2020b是“空气调和装置”的一个例子,与风机盘管单元2020a相同,其具有空气热交换器2133、加湿器2135以及供气风扇2138(参照图29)。

如图29所示,空气热交换器2133、加湿器2135、以及供气风扇2138自外部空气OA流过的空气流路FP的风上游侧朝向风下游侧依次配置。另外,风机盘管单元2020b与风机盘管单元2020a不同,其空气流路FP的风上游侧端部与管道D2连接。另外,风机盘管单元2020b在通过管道D2导入外部空气OA且对其进行冷却、除湿、加热或加湿的基础上,将供气SA输送至对象空间SP。

需要说明的是,在本实施方式中,风机盘管单元2020b与任一对象空间SP对应,并且设置于对应的对象空间SP中。图30是示出对象空间中的风机盘管单元的设置方式的第二图。在本实施方式中,在各风机盘管单元2020b中,采用设置于对象空间SP的天花板CL的天花板埋入式。如图30所示,各风机盘管单元2020b在对象空间SP中以吹出口自天花板CL露出的方式进行设置。

在图30中,管道D2是用于形成外部空气OA的流路的部件。管道D2以通过驱动供气风扇2138而将外部空气OA导入风机盘管单元2020b的方式,其一端连接于对应的风机盘管单元2030b。另外,其另一端与形成于对象空间SP中的吸气口H2(参照图28)连接。

需要说明的是,在图28所示具有风机盘管单元2020b的空调系统100b中,通过与上述第八实施方式相同的手法,机器学习装置150能够作为水温度的目标值或水流量的目标值而输出削减耗费电力的最优的目标值。

另外,在空调系统100b中,即使在混合配置风机盘管单元2020b、以及空气处理单元2020和/或风机盘管单元2020a的情况下,使用与上述第八实施方式相同的手法,机器学习装置150能够输出最优的目标值。

<总结>

由以上的说明明确可知,在第九实施方式中,在包括冷机单元、风机盘管单元的空调系统中,能够使水回路中的热量的移动最优化。

[其他实施方式]

在上述各实施方式中,未提及用于奖励的计算的耗费电力的取得时刻。但是,例如,耗费电力取得部310可以在强化学习部340发送热介质的温度和流量的至少一者的目标值后经过规定期间之后,取得耗费电力。

另外,在上述各实施方式中,虽然对使用耗费电力的合计值来计算奖励进行了说明,但是用于奖励的计算的耗费能量的合计值不限于耗费电力的合计值。例如,可以使用性能系数(COP:Coefficient Of Performance)、二氧化碳素排出量、能量成本(电费、气体费用)等的耗费能量的合计值来计算奖励。

另外,在上述各实施方式中,虽然未特别言及进行机器学习时使用的模型(热量模型)的详细内容,但是进行机器学习时使用的模型可以应用任意种类的模型。具体而言,可以应用NN(Neural Network)模型、随机森林模型、SVM(Support Vector Machine)模型等任意的种类的模型。

另外,上述第八实施方式中的空调系统100可以构成为不进行供暖运转。即,冷机单元2010可以不为热泵式。

另外,在上述第九实施方式中的空调系统100b中,加湿器2135可以适当省略。即,空调系统100b可以构成为不进行加湿运转。

另外,在上述第九实施方式中,对空调系统100b应用于包括三个对象空间SP的建筑物BL的情况进行了说明。但是,对于空调系统100的设置环境不限于此。例如空调系统100b可以应用于包括四个以上的对象空间SP的建筑物。另外,例如空调系统100b可以应用于包括两个以下(包括一个)的对象空间SP的建筑物。在该情况下,对于风机盘管单元2020b的台数,可以根据对象空间SP的数量适当改变。另外,可以在一个对象空间SP中配置多台风机盘管单元。

另外,在上述第八实施方式中,将空调系统100设定为具有一台冷机单元2010以及一台空气处理单元2020而进行了说明。但是,空调系统100具有的冷机单元2010以及空气处理单元2020的台数不限于一台,可以根据设置环境、设计规格而适当改变。即,空调系统100可以分别具有多台冷机单元2010和/或空气处理单元2020。需要说明的是,冷机单元2010的台数和空气处理单元2020的台数不一定必须为相同数量。

另外,在上述第八实施方式中,对流入空气处理单元2020的空气全部为外部空气的情况进行了说明。但是,流入空气处理单元2020的空气不限于此。例如流入空气处理单元2020的空气可以为外部空气与回气的混合或者全部为内部空气。

另外,对于上述第八以及第九实施方式中构成的制冷剂回路(C2)的构成方式,可以根据设置环境、设计规格适当改变。例如在省略供暖运转的情况下,可以省略四通切换阀2125。另外,可以构成为代替室外热交换器2124而配置水热交换器,通过在水热交换器中使制冷剂与水进行热交换,从而进行制冷剂的冷却或加热。另外,对于在空气处理单元2020中构成的水回路C1的构成方式也可以根据设置环境、设计规格适当改变。

另外,作为在上述第八以及第九实施方式中在制冷剂回路(C2)中循环的制冷剂,假想R32、R410A那样的HFC制冷剂,但是并非必须为HFC制冷剂。例如,可以使用其他的制冷剂(例如HFO1234yf、HFO1234ze(E)、CO₂、氨等)。另外,对于在水回路C1中循环的热介质并非必须为水,可以使用其他的流体。

另外,空调系统100中包含的各种传感器的配置位置并不限于上述第八以及第九实施方式中的方式,可以适当改变。例如,外部空气温度传感器S1、外部空气湿度传感器S2、以及供气温度传感器S3并不一定需要配置于空气处理单元2020中,可以配置于其他的单元中,也可以独立配置。另外,室内温度传感器S4、室内湿度传感器S5和/或二氧化碳浓度传感器S6并不一定需要配置于遥控器2030中,可以配置于其他的单元中,也可以独立配置。

另外,在上述第八以及第九实施方式中,虽然未特别对机器学习装置150的设置方式进行说明,但是机器学习装置150的设置方式可以适当选择。例如,热介质控制装置2000可以配置于建筑物BL的管理室中,也可以设置于以能够通过WAN、LAN进行通信的方式连接的远处。

另外,对于热介质控制装置2000和机器学习装置150的构成方式可以适当改变。例如,热介质控制装置2000和机器学习装置150可以一体配置,也可以分散配置且通过通信网络连接。另外,在一体配置的情况下,可以由一台计算机构成,也可以通过多个设备(例如,PC、智能手机等)连接而构成。

以上,对实施方式进行了说明,但是应理解为在不超过权利要求书的主旨以及范围的情况下,能够进行对方式、详细内容进行各种改变。

本申请要求基于2019年4月26日申请的日本国专利申请第2019-086781号、2019年4月26日申请的日本国专利申请第2019-086782号、以及2019年4月26日申请的日本国专利申请第2019-086785号的优先权,并且在本申请中以参照的方式引用该日本国专利申请的全部内容。

符号说明

100:空调系统

110:空调机器

120:热供给侧

130:热输送装置

140:热利用侧

150:机器学习装置

310:耗费电力取得部

320:奖励计算部

330:状态变量取得部

340:强化学习部

341:热量模型

1110:风险信息取得部

1310:上下限值限制部

1500:热介质控制装置

1510:冷却塔

1520:水冷冷机组

1530:一次侧冷水泵

1540:二次侧冷水泵

1550:空气调和装置

2000:热介质控制装置

2010:冷机单元

2020:空气处理单元

2020a、2020b:风机盘管单元

Claims (17)

1.一种机器学习装置,其在具有热供给侧的机器、热利用侧的机器、以及用于自该热供给侧的机器向该热利用侧的机器输送热介质的热输送装置的空调系统中,对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

该机器学习装置具有:

状态变量取得部,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习部,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习部使用上述奖励进行学习。

2.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器的运转条件包括对上述热供给侧的机器的处理能力产生影响的外部空气温度、外部空气湿球温度、以及地下温度中的任一者。

3.根据权利要求1所述的机器学习装置,其中,

上述热利用侧的机器的运转条件包括对上述热利用侧的机器的处理能力产生影响的吸入空气温度、冷水回水温度的任一者。

4.根据权利要求3所述的机器学习装置,其中，

上述热利用侧的机器的运转条件还包括风量、冷水流量的任一者。

5.根据权利要求1所述的机器学习装置,其中,

与上述热利用侧的机器所需的热量相关的值包括供气温度、冷水送水温度的任一者。

6.根据权利要求5所述的机器学习装置,其中,

上述热输送装置输送热介质时的温度包括冷水送水温度、冷却水送水温度,上述热输送装置输送热介质时的流量包括冷水流量、冷却水流量的任一者。

7.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器包括空冷冷机,上述热利用侧的机器包括空气调和装置,上述热输送装置包括冷水泵。

8.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器包括冷却塔,上述热利用侧的机器包括水冷冷机,上述热输送装置包括冷却水泵。

9.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器包括地下热交换器,上述热利用侧的机器包括水冷冷机,上述热输送装置包括冷却水泵。

10.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器包括冷却塔、冷却水泵、以及水冷冷机,上述热利用侧的机器包括空气调和装置,上述热输送装置包括冷水泵。

11.根据权利要求1所述的机器学习装置,其中,

上述热供给侧的机器包括冷却塔,上述热利用侧的机器包括水冷冷机、冷水泵、以及空气调和装置,上述热输送装置包括冷却水泵。

12.根据权利要求1所述的机器学习装置,其中,

在上述热供给侧的机器基于通过上述学习部学习的上述温度和流量的至少一者进行运转,使得上述空调系统的风险变高的情况下,上述奖励计算部降低上述奖励。

13.根据权利要求1所述的机器学习装置,其中,

在通过上述学习部学习的上述温度和流量的至少一者超过事先决定的上限值或下限值的情况下,上述热供给侧的机器基于事先决定的上限值或下限值进行运转。

14.一种空调系统,包括:热供给侧的机器；热利用侧的机器；热输送装置,其用于自该热供给侧的机器向该热利用侧的机器输送热介质；以及机器学习装置,其对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

上述机器学习装置包括:

状态变量取得部,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习部,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习部使用上述奖励进行学习。

15.一种机器学习方法,其在具有热供给侧的机器、热利用侧的机器、以及用于自该热供给侧的机器向该热利用侧的机器输送热介质的热输送装置的空调系统中,对上述热输送装置输送热介质时的温度和流量的至少一者进行学习,

该机器学习方法具有:

状态变量取得工序,其取得状态变量,该状态变量包括上述热供给侧的机器的运转条件和上述热利用侧的机器的运转条件、以及与上述热利用侧的机器所需的热量相关的值；

学习工序,其将上述状态变量与上述温度和流量的至少一者关联起来进行学习；以及

奖励计算工序,其基于上述热供给侧的机器的耗费电力、上述热利用侧的机器的耗费电力以及上述热输送装置的耗费电力的合计值对奖励进行计算,

上述学习工序使用上述奖励进行学习。

16.一种机器学习装置,其在空调系统中,对冷却水泵供给的冷却水的温度和冷水泵供给的冷水的温度的组、或者上述冷却水泵供给的冷却水的流量和上述冷水泵供给的冷水的流量的组的至少一个组进行学习,

该空调系统具有:

水冷冷机；

上述冷却水泵,其供给冷却水,该冷却水通过在上述水冷冷机内的热交换而对制冷剂进行冷却；

冷却塔,其使自上述水冷冷机输送来的上述冷却水与外部空气接触,从而对上述冷却水进行冷却；

空气调和装置；以及

上述冷水泵,其将通过在上述水冷冷机内的热交换而被上述制冷剂冷却的冷水供给至上述空气调和装置,

该机器学习装置具有:

状态变量取得部,其取得状态变量,该状态变量包括上述冷却塔的运转条件、上述空气调和装置的运转条件、以及上述空气调和装置的负载；

学习部,其将上述状态变量与至少一个组关联起来进行学习；以及

奖励计算部,其基于上述冷却塔、上述水冷冷机、上述冷却水泵、上述冷水泵、以及上述空气调和装置的耗费电力的合计值,对奖励进行计算,

上述学习部使用上述奖励进行学习。

17.一种机器学习装置,其在空调系统中,对泵供给的热介质的温度或流量的至少一者进行学习,

该空调系统具有:

热源装置,其对热介质进行加热或冷却；

上述泵,其喷出被上述热源装置加热或冷却的热介质；以及

空气调和装置,其具有使通过的空气与由上述泵喷出的热介质进行热交换的热交换器,并且将通过该热交换器的空气输送至对象空间,

该机器学习装置具有:

状态变量取得部,其取得状态变量,该状态变量包括上述热源装置的运转条件、上述空气调和装置的运转条件、以及上述空气调和装置的负载；

学习部,其将上述状态变量与上述热介质的温度或流量的至少一者关联起来进行学习；以及

奖励计算部,其基于上述热源装置、上述空气调和装置、上述泵的耗费能量的合计值,对奖励进行计算,

上述学习部使用上述奖励进行学习。

Images