JP2020183856A - 機械学習装置、空調システム及び機械学習方法 - Google Patents
機械学習装置、空調システム及び機械学習方法 Download PDFInfo
- Publication number
- JP2020183856A JP2020183856A JP2019200795A JP2019200795A JP2020183856A JP 2020183856 A JP2020183856 A JP 2020183856A JP 2019200795 A JP2019200795 A JP 2019200795A JP 2019200795 A JP2019200795 A JP 2019200795A JP 2020183856 A JP2020183856 A JP 2020183856A
- Authority
- JP
- Japan
- Prior art keywords
- heat
- machine learning
- temperature
- supply side
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Other Air-Conditioning Systems (AREA)
- Air Conditioning Control Device (AREA)
Abstract
【課題】 熱量の移動を最適化する機械学習装置を提供する。【解決手段】 機械学習装置は、熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、前記学習部は、前記報酬を用いて学習する。【選択図】図１
Description
本開示は、機械学習装置、空調システム及び機械学習方法に関する。
一般に、空調システムは熱媒体を搬送することで熱量を移動させ、対象空間の温度または湿度を調整するシステムであり、従来より、熱量の移動を最適化（熱媒体の流量、温度を最適化）するための構成が提案されている。
例えば、下記特許文献１等には、空調システムの消費エネルギーをシミュレーションし、消費エネルギーが削減されるように、熱量の移動を最適化する構成が提案されている。
一方で、空調システムの場合、熱量を供給する側の機器の運転条件や、供給された熱量を利用する側の機器の運転条件あるいは負荷等の組み合わせによって、最適な熱量の移動（最適な熱媒体の流量、温度）が異なってくる。
このため、上記のように、消費エネルギーをシミュレーションして熱量の移動を最適化しようとした場合、予め、膨大な数の組み合わせについて消費エネルギーのデータを取得し、空調システムの各機器の特性に応じたモデルを構築しておく必要があり、作業負荷が高い。
本開示は、熱量の移動を最適化する機械学習装置、空調システム及び機械学習方法を提供する。
本開示の第１の態様による機械学習装置は、
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と、前記温度と流量の少なくとも一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する。
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と、前記温度と流量の少なくとも一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する。
本開示の第１の態様によれば、熱量の移動を最適化する機械学習装置を提供することができる。
また、本開示の第２の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器の運転条件には、前記熱供給側の機器の処理能力に影響を与える外気温度、外気湿球温度、地中温度のいずれかが含まれる。
前記熱供給側の機器の運転条件には、前記熱供給側の機器の処理能力に影響を与える外気温度、外気湿球温度、地中温度のいずれかが含まれる。
また、本開示の第３の態様は、第１の態様に記載の機械学習装置であって、
前記熱利用側の機器の運転条件には、前記熱利用側の機器の処理能力に影響を与える吸込空気温度、冷水還水温度のいずれかが含まれる。
前記熱利用側の機器の運転条件には、前記熱利用側の機器の処理能力に影響を与える吸込空気温度、冷水還水温度のいずれかが含まれる。
また、本開示の第４の態様は、第３の態様に記載の機械学習装置であって、
前記熱利用側の機器の運転条件には、更に、風量、冷水流量のいずれかが含まれる。
前記熱利用側の機器の運転条件には、更に、風量、冷水流量のいずれかが含まれる。
また、本開示の第５の態様は、第１の態様に記載の機械学習装置であって、
前記熱利用側の機器に必要な熱量に相関する値には、給気温度、冷水送水温度のいずれかが含まれる。
前記熱利用側の機器に必要な熱量に相関する値には、給気温度、冷水送水温度のいずれかが含まれる。
また、本開示の第６の態様は、第５の態様に記載の機械学習装置であって、
前記熱搬送装置が熱媒体を搬送する際の温度には、冷水送水温度、冷却水送水温度が含まれ、前記熱搬送装置が熱媒体を搬送する際の流量には、冷水流量、冷却水流量のいずれかが含まれる。
前記熱搬送装置が熱媒体を搬送する際の温度には、冷水送水温度、冷却水送水温度が含まれ、前記熱搬送装置が熱媒体を搬送する際の流量には、冷水流量、冷却水流量のいずれかが含まれる。
また、本開示の第７の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器には空冷チラーが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
前記熱供給側の機器には空冷チラーが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
また、本開示の第８の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
また、本開示の第９の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器には地中熱交換器が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
前記熱供給側の機器には地中熱交換器が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
また、本開示の第１０の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器には冷却塔と、冷却水ポンプと、水冷チラーとが含まれ、前記熱利用側の機器には、空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
前記熱供給側の機器には冷却塔と、冷却水ポンプと、水冷チラーとが含まれ、前記熱利用側の機器には、空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる。
また、本開示の第１１の態様は、第１の態様に記載の機械学習装置であって、
前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーと、冷水ポンプと、空気調和装置とが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーと、冷水ポンプと、空気調和装置とが含まれ、前記熱搬送装置には冷却水ポンプが含まれる。
また、本開示の第１２の態様は、第１の態様に記載の機械学習装置であって、
前記学習部により学習された前記温度と流量の少なくとも一方に基づいて前記熱供給側の機器が運転されることで、前記空調システムのリスクが高まった場合に、前記報酬算出部は、前記報酬を下げる。
前記学習部により学習された前記温度と流量の少なくとも一方に基づいて前記熱供給側の機器が運転されることで、前記空調システムのリスクが高まった場合に、前記報酬算出部は、前記報酬を下げる。
また、本開示の第１３の態様は、第１の態様に記載の機械学習装置であって、
前記学習部により学習された前記温度と流量の少なくとも一方が、予め定められた上限値または下限値を超える場合、予め定められた上限値または下限値に基づいて前記熱供給側の機器が運転される。
前記学習部により学習された前記温度と流量の少なくとも一方が、予め定められた上限値または下限値を超える場合、予め定められた上限値または下限値に基づいて前記熱供給側の機器が運転される。
また、本開示の第１４の態様による空調システムは、
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置と、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、を有する空調システムであって、
前記機械学習装置は、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する。
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置と、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、を有する空調システムであって、
前記機械学習装置は、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する。
本開示の第１４の態様によれば、熱量の移動を最適化する空調システムを提供することができる。
また、本開示の第１５の態様による機械学習方法は、
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習方法であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得工程と、
前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習工程と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出工程と、を有し、
前記学習工程は、前記報酬を用いて学習する。
熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習方法であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得工程と、
前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習工程と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出工程と、を有し、
前記学習工程は、前記報酬を用いて学習する。
本開示の第１５の態様によれば、熱量の移動を最適化する機械学習方法を提供することができる。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜空調システムのシステム構成＞
はじめに、第１の実施形態に係る空調システムのシステム構成について説明する。図１は、空調システムのシステム構成の一例を示す図である。図１に示すように、空調システム１００は、空調機器１１０と、機械学習装置１５０とを有する。
＜空調システムのシステム構成＞
はじめに、第１の実施形態に係る空調システムのシステム構成について説明する。図１は、空調システムのシステム構成の一例を示す図である。図１に示すように、空調システム１００は、空調機器１１０と、機械学習装置１５０とを有する。
空調機器１１０には複数の機器が含まれ、それらの機器は、熱供給側１２０の機器と、熱利用側１４０の機器と、熱搬送装置１３０とに大別することができる。ここで、熱利用側１４０とは、熱量の供給を受ける側であって、熱媒体の搬送方向に対して、空気調和される対象空間に近い側を指すものとする。また、熱供給側１２０とは、熱量を供給する側であって、熱媒体の搬送方向に対して、空気調和される対象空間から遠い側を指すものとする。
また、熱搬送装置１３０とは、熱供給側１２０の機器から、熱利用側１４０の機器に熱媒体を搬送することで、熱量を移動させる装置である。熱量は、熱媒体の温度と熱媒体の流量とに基づいて移動される。
図１に示すように、熱供給側１２０の機器は、所定の運転条件のもとで、機械学習装置１５０から送信された、熱媒体の温度と流量の少なくとも一方の目標値を実現するよう動作する。
また、熱利用側１４０の機器は、所定の運転条件と、熱供給側１２０の機器より搬送された熱媒体の温度と流量とのもとで、予め熱利用側１４０の機器に設定された目標値を実現するよう動作する。
一方、機械学習装置１５０は、熱供給側１２０の機器の運転条件と、熱利用側１４０の機器の運転条件と、熱利用側１４０の機器の負荷（熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する値）とを、"状態変数"として、空調機器１１０より取得する。
また、機械学習装置１５０は、空調機器１１０より、所定期間における熱供給側１２０の機器の消費電力と、熱利用側１４０の機器の消費電力と、熱搬送装置１３０の消費電力とを取得し、"合計消費電力"を算出する。
また、機械学習装置１５０は、空調機器１１０より取得した状態変数及び合計消費電力に基づいて、熱媒体の温度と流量の少なくとも一方の目標値を算出し、熱供給側１２０の機器に送信する。具体的には、機械学習装置１５０は、取得した合計消費電力に基づいて算出した報酬を用いて、取得した状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けて学習する。また、機械学習装置１５０は、学習の結果に基づき、現在の状態変数に関連付けられた熱媒体の温度と流量の少なくとも一方の目標値を算出し、熱供給側１２０の機器に送信する。
このように、機械学習装置１５０は、空調機器１１０の合計消費電力に基づいて算出される報酬を用いて強化学習を行うことで、消費エネルギーが削減されるようにモデルパラメータを変更し、熱媒体の温度と流量の少なくとも一方の目標値を算出する。これにより、空調システム１００において、熱量の移動を最適化することができる。
また、機械学習装置１５０は、運転条件を含む状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けるモデルを、実際のデータを取得しながら自動的に構築する。これにより、機械学習装置１５０によれば、精度の高いモデルを簡単に構築することができる。
＜機械学習装置のハードウェア構成＞
次に、機械学習装置１５０のハードウェア構成について説明する。図２は、機械学習装置のハードウェア構成の一例を示す図である。図２に示すように、機械学習装置１５０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、機械学習装置１５０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７を有する。機械学習装置１５０の各ハードウェアは、バス２０８を介して相互に接続される。
次に、機械学習装置１５０のハードウェア構成について説明する。図２は、機械学習装置のハードウェア構成の一例を示す図である。図２に示すように、機械学習装置１５０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、機械学習装置１５０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７を有する。機械学習装置１５０の各ハードウェアは、バス２０８を介して相互に接続される。
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、後述する機械学習プログラム等）を実行する演算デバイスである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、主記憶デバイスとして機能し、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、主記憶デバイスとして機能し、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する。
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。
表示装置２０５は、機械学習装置１５０の内部状態を表示する、表示デバイスである。操作装置２０６は、例えば、機械学習装置１５０の管理者が機械学習装置１５０に対して各種操作を行うための操作デバイスである。Ｉ／Ｆ装置２０７は、空調機器１１０に含まれる機器と接続し、空調機器１１０に含まれる機器との間でデータを送受信する接続デバイスである。
＜機械学習装置の機能構成＞
次に、機械学習装置１５０の機能構成の詳細について説明する。図３は、機械学習装置の機能構成の一例を示す第１の図である。上述したように、機械学習装置１５０には機械学習プログラムがインストールされており、当該プログラムが実行されることで、機械学習装置１５０は、消費電力取得部３１０、報酬算出部３２０、状態変数取得部３３０、強化学習部３４０として機能する。
次に、機械学習装置１５０の機能構成の詳細について説明する。図３は、機械学習装置の機能構成の一例を示す第１の図である。上述したように、機械学習装置１５０には機械学習プログラムがインストールされており、当該プログラムが実行されることで、機械学習装置１５０は、消費電力取得部３１０、報酬算出部３２０、状態変数取得部３３０、強化学習部３４０として機能する。
消費電力取得部３１０は、熱供給側１２０の機器による所定期間の消費電力と、熱利用側１４０の機器による所定期間の消費電力と、熱搬送装置１３０の所定期間の消費電力とを取得し、合計値を報酬算出部３２０に通知する。
報酬算出部３２０は、消費電力取得部３１０より通知された合計値に基づいて、報酬を算出し、強化学習部３４０に通知する。
状態変数取得部３３０は、熱供給側１２０の機器の所定期間における運転条件と、熱利用側１４０の機器の所定期間における運転条件と、熱利用側１４０の機器の所定期間における負荷とを、状態変数として、空調機器１１０に含まれる各機器より取得する。また、状態変数取得部３３０は、取得した状態変数を強化学習部３４０に通知する。
強化学習部３４０は、熱量モデル３４１を有し、報酬算出部３２０より通知される報酬が最大となるように、熱量モデル３４１のモデルパラメータを変更する。これにより、強化学習部３４０は、状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付ける熱量モデル３４１について、強化学習を行う。
また、強化学習部３４０は、モデルパラメータが変更された熱量モデル３４１に、状態変数取得部３３０より通知された現在の状態変数を入力することで算出される、熱媒体の温度と流量の少なくとも一方の目標値を取得する。更に、強化学習部３４０は、取得した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。これにより、熱供給側１２０の機器は、送信された熱媒体の温度と流量の少なくとも一方の目標値を実現するように動作する。この結果、機械学習装置１５０によれば、空調機器１１０の消費エネルギーを削減することができる。
＜強化学習処理の流れ＞
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図４は、機械学習装置による強化学習処理の流れを示す第１のフローチャートである。
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図４は、機械学習装置による強化学習処理の流れを示す第１のフローチャートである。
ステップＳ４０１において、状態変数取得部３３０は、空調機器１１０に含まれる各機器より、所定期間の状態変数を取得する。
ステップＳ４０２において、消費電力取得部３１０は、熱供給側１２０の機器による所定期間の消費電力と、熱利用側１４０の機器による所定期間の消費電力と、熱搬送装置１３０の所定期間の消費電力とを取得し、合計値を算出する。
ステップＳ４０３は、報酬算出部３２０は、算出された合計値に基づいて、報酬を算出する。
ステップＳ４０４において、報酬算出部３２０は、算出した報酬が所定の閾値以上であるか否かを判定する。ステップＳ４０４において、所定の閾値以上でないと判定された場合には（ステップＳ４０４においてＮｏの場合には）、ステップＳ４０５に進む。
ステップＳ４０５において、強化学習部３４０は、算出された報酬が最大となるように熱量モデル３４１について機械学習を行う。
ステップＳ４０６において、強化学習部３４０は、現在の状態変数を熱量モデル３４１に入力することで、熱量モデル３４１を実行させる。これにより、強化学習部３４０は、熱媒体の温度と流量の少なくとも一方の目標値を出力する。
ステップＳ４０７において、強化学習部３４０は、出力した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。その後、ステップＳ４０１に戻る。
一方、ステップＳ４０４において、所定の閾値以上であると判定された場合には（ステップＳ４０４においてＹｅｓの場合には）、強化学習処理を終了する。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る空調システムは、
・熱供給側の機器と、
・熱利用側の機器と、
・熱供給側の機器から熱利用側の機器へ熱媒体を搬送する熱搬送装置と、
・熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、
を有する。
以上の説明から明らかなように、第１の実施形態に係る空調システムは、
・熱供給側の機器と、
・熱利用側の機器と、
・熱供給側の機器から熱利用側の機器へ熱媒体を搬送する熱搬送装置と、
・熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、
を有する。
また、機械学習装置は、
・熱供給側の機器の運転条件及び熱利用側の機器の運転条件と、熱利用側の機器の負荷とを含む状態変数を取得する。
・状態変数と、温度と流量の少なくとも一方とを関連付けて学習する。
・熱供給側の機器の消費電力と熱利用側の機器の消費電力と熱搬送装置の消費電力との合計値に基づいて報酬を算出する。
・状態変数と、熱媒体の温度と流量の少なくとも一方とを関連付けて学習する際、算出した報酬を用いて行う。
・熱供給側の機器の運転条件及び熱利用側の機器の運転条件と、熱利用側の機器の負荷とを含む状態変数を取得する。
・状態変数と、温度と流量の少なくとも一方とを関連付けて学習する。
・熱供給側の機器の消費電力と熱利用側の機器の消費電力と熱搬送装置の消費電力との合計値に基づいて報酬を算出する。
・状態変数と、熱媒体の温度と流量の少なくとも一方とを関連付けて学習する際、算出した報酬を用いて行う。
このように、機械学習装置は、各機器の消費電力の合計値に基づいて算出される報酬を用いて強化学習を行うことで、消費エネルギーが削減されるようにモデルパラメータを変更し、熱媒体の温度と流量の少なくとも一方の目標値を算出する。また、機械学習装置は、運転条件を含む状態変数と、熱媒体の温度と流量の少なくとも一方の目標値とを関連付けるモデルを、実際のデータを取得しながら自動的に構築する。
この結果、第１の実施形態によれば、精度の高いモデルを簡単に構築することが可能になるとともに、熱量の移動を最適化することができる。
［第２の実施形態］
上記第１の実施形態では、熱供給側１２０の機器と、熱利用側１４０の機器の具体例について言及しなかった。一方で、空調機器１１０には様々な機器が含まれ、熱供給側１２０の機器と、熱利用側１４０の機器との組み合わせも様々である。
上記第１の実施形態では、熱供給側１２０の機器と、熱利用側１４０の機器の具体例について言及しなかった。一方で、空調機器１１０には様々な機器が含まれ、熱供給側１２０の機器と、熱利用側１４０の機器との組み合わせも様々である。
そこで、第２の実施形態では、熱供給側１２０の機器の具体例と、熱利用側の機器の具体例とを挙げ、強化学習に用いる学習用データセットについて詳細に説明する。なお、第２の実施形態では、まず、熱供給側１２０または熱利用側１４０に含まれる機器が、複数段に形成される場合について説明する。ただし、第２の実施形態では、説明を簡略化すべく、上記第１の実施形態との相違点を中心に説明を行う。
＜熱供給側機器及び熱利用側機器の具体例１＞
図５は、熱供給側機器及び熱利用側機器の具体例を示す第１の図である。図５に示す具体例の場合、熱供給側１２０の機器には、冷却塔５０１と、水冷チラー５０２（冷却チラーの一例）と、冷却水ポンプ５０３とが含まれる。なお、冷却塔５０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
図５は、熱供給側機器及び熱利用側機器の具体例を示す第１の図である。図５に示す具体例の場合、熱供給側１２０の機器には、冷却塔５０１と、水冷チラー５０２（冷却チラーの一例）と、冷却水ポンプ５０３とが含まれる。なお、冷却塔５０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
また、図５に示す具体例の場合、熱利用側１４０の機器には、空気調和装置５１１が含まれる。なお、空気調和装置５１１には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔５０１の消費電力、
・水冷チラー５０２の消費電力、
・冷却水ポンプ５０３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置５１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ５２１の消費電力、
等のデータを取得する。
・冷却塔５０１の消費電力、
・水冷チラー５０２の消費電力、
・冷却水ポンプ５０３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置５１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ５２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
＜熱供給側機器及び熱利用側機器の具体例２＞
図６は、熱供給側機器及び熱利用側機器の具体例を示す第２の図である。図６に示す具体例の場合、熱供給側１２０の機器には、冷却塔６０１が含まれる。なお、冷却塔６０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
図６は、熱供給側機器及び熱利用側機器の具体例を示す第２の図である。図６に示す具体例の場合、熱供給側１２０の機器には、冷却塔６０１が含まれる。なお、冷却塔６０１には、例えば、開放式の冷却塔と密閉式の冷却塔とが含まれる。
また、図６に示す具体例の場合、熱利用側１４０の機器には、水冷チラー６１１と、空気調和装置６１２と、冷水ポンプ６１３とが含まれる。なお、空気調和装置６１２には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込み空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、機械学習装置１５０は、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込み空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔６０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー６１１の消費電力、
・空気調和装置６１２の消費電力
・冷水ポンプ６１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ６２１の消費電力、
等のデータを取得する。
・冷却塔６０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー６１１の消費電力、
・空気調和装置６１２の消費電力
・冷水ポンプ６１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ６２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
＜まとめ＞
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
［第３の実施形態］
上記第２の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、複数段に形成される場合について説明した。これに対して、第３の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で形成される場合について説明する。
上記第２の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、複数段に形成される場合について説明した。これに対して、第３の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で形成される場合について説明する。
＜熱供給側機器及び熱利用側機器の具体例１＞
図７は、熱供給側機器及び熱利用側機器の具体例を示す第３の図である。図７に示す具体例の場合、熱供給側１２０の機器には、空冷チラー７０１（チラーの一例）が含まれる。なお、空冷チラー７０１には、例えば、空冷ヒートポンプ冷凍機が含まれる。
図７は、熱供給側機器及び熱利用側機器の具体例を示す第３の図である。図７に示す具体例の場合、熱供給側１２０の機器には、空冷チラー７０１（チラーの一例）が含まれる。なお、空冷チラー７０１には、例えば、空冷ヒートポンプ冷凍機が含まれる。
また、図７に示す具体例の場合、熱利用側１４０の機器には、空気調和装置７１１が含まれる。なお、空気調和装置７１１には、例えば、外調エアハンドリングユニット、室内ファンコイルユニット、水熱源ヒートポンプ空調機が含まれる。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、空冷ヒートポンプ冷凍機から外気温度または外気湿球温度を取得する際、外気温度または外気湿球温度を、圧縮機及びファンの運転状況と読み替えて取得してもよい。
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０は、空冷ヒートポンプ冷凍機から外気温度または外気湿球温度を取得する際、外気温度または外気湿球温度を、圧縮機及びファンの運転状況と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。なお、外調エアハンドリングユニットから、吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度と読み替えて取得してもよい。また、機械学習装置１５０は、室内ファンコイルユニットから吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、室内温度、室内湿度と読み替えて取得してもよい。また、機械学習装置１５０は、水熱源ヒートポンプ空調機から吸込空気温度、吸込空気湿度を取得する際、吸込空気温度、吸込空気湿度を、外気温度、外気湿度、または、室内温度、室内湿度と読み替えて取得してもよい。あるいは、冷媒圧力、冷媒温度、圧縮機の運転状況と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。なお、機械学習装置１５０は、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関するデータを、空気側、または、圧縮機負荷率から取得する代わりに、冷水側から算出してもよい。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー７０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置７１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ７２１の消費電力、
等のデータを取得する。
・空冷チラー７０１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置７１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ７２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
＜熱供給側機器及び熱利用側機器の具体例２＞
図８は、熱供給側機器及び熱利用側機器の具体例を示す第４の図である。図８に示す具体例の場合、熱供給側１２０の機器には、冷却塔または地中熱交換器８０１が含まれる。なお、冷却塔または地中熱交換器８０１には、例えば、開放式の冷却塔と密閉式の冷却塔と地中熱交換器とが含まれる。
図８は、熱供給側機器及び熱利用側機器の具体例を示す第４の図である。図８に示す具体例の場合、熱供給側１２０の機器には、冷却塔または地中熱交換器８０１が含まれる。なお、冷却塔または地中熱交換器８０１には、例えば、開放式の冷却塔と密閉式の冷却塔と地中熱交換器とが含まれる。
また、図８に示す具体例の場合、熱利用側１４０の機器には、水冷チラー８１１が含まれる。なお、水冷チラー８１１には、例えば、水冷ヒートポンプ冷凍機と吸収式冷凍機とが含まれる。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
・地中熱交換器の地中温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。また、機械学習装置１５０は、地中熱交換器から地中温度を取得する際、地中温度を、地中熱交換器出口温度と読み替えて取得してもよい。
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
・地中熱交換器の地中温度、
等のデータを取得する。なお、機械学習装置１５０は、開放式の冷却塔または密閉式の冷却塔から外気湿球温度を取得する際、外気湿球温度を、外気温度と読み替えて取得してもよい。また、機械学習装置１５０は、地中熱交換器から地中温度を取得する際、地中温度を、地中熱交換器出口温度と読み替えて取得してもよい。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・水冷ヒートポンプ冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
等のデータを取得する。
・水冷ヒートポンプ冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水還水温度（または、冷水還水温度及び冷水流量）、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・水冷ヒートポンプ冷凍機の負荷率、冷水送水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水送水温度（または、冷水還水温度、冷水流量）、
等のデータを取得する。
・水冷ヒートポンプ冷凍機の負荷率、冷水送水温度（または、冷水還水温度及び冷水流量）、
・吸収式冷凍機の冷水送水温度（または、冷水還水温度、冷水流量）、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・冷却塔の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー８１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ８２１の消費電力、
等のデータを取得する。
・冷却塔の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・水冷チラー８１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷却水ポンプ８２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
・冷却水送水温度の目標値、
・冷却水流量の目標値、
を算出する。
＜まとめ＞
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
［第４の実施形態］
上記第３の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、単数段に形成される場合について説明した。これに対して、第４の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で並列に形成される場合について説明する。
上記第３の実施形態では、熱供給側１２０または熱利用側１４０に含まれる機器が、単数段に形成される場合について説明した。これに対して、第４の実施形態では、熱供給側１２０及び熱利用側１４０に含まれる機器が、いずれも単数段で並列に形成される場合について説明する。
＜熱供給側機器及び熱利用側機器の具体例１＞
図９は、熱供給側機器及び熱利用側機器の具体例を示す第５の図である。図９に示す具体例の場合、熱供給側１２０の機器には、空冷チラー９０１、冷却塔９０２が含まれる。なお、空冷チラー９０１、冷却塔９０２に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
図９は、熱供給側機器及び熱利用側機器の具体例を示す第５の図である。図９に示す具体例の場合、熱供給側１２０の機器には、空冷チラー９０１、冷却塔９０２が含まれる。なお、空冷チラー９０１、冷却塔９０２に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
また、図９に示す具体例の場合、熱利用側１４０の機器には、空気調和装置９１１が含まれる。なお、空気調和装置９１１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
・開放式の冷却塔の外気湿球温度、
・密閉式の冷却塔の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー９０１の消費電力、
・冷却塔９０２の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置９１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ９２１の消費電力、
等のデータを取得する。
・空冷チラー９０１の消費電力、
・冷却塔９０２の消費電力、
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置９１１の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ９２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
・冷水送水温度の目標値、
・冷水流量の目標値、
を算出する。
＜熱供給側機器及び熱利用側機器の具体例２＞
図１０は、熱供給側機器及び熱利用側機器の具体例を示す第６の図である。図１０に示す具体例の場合、熱供給側１２０の機器には、空冷チラー１００１が含まれる。なお、空冷チラー１００１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
図１０は、熱供給側機器及び熱利用側機器の具体例を示す第６の図である。図１０に示す具体例の場合、熱供給側１２０の機器には、空冷チラー１００１が含まれる。なお、空冷チラー１００１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。
また、図１０に示す具体例の場合、熱利用側１４０の機器には、空気調和装置１０１１、水冷ビル用マルチエアコン１０１２、水冷ビル用マルチエアコン１０１３が含まれる。なお、空気調和装置１０１１に含まれる機器の種類は、既に説明済みであるため、ここでは説明を省略する。また、水冷ビル用マルチエアコン１０１２、１０１３には、例えば、水冷ビル用マルチエアコンの熱源機及び室内機が含まれる。
上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱供給側１２０の機器の運転条件として、熱供給側１２０の機器の処理能力に影響を与える、
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
・空冷ヒートポンプ冷凍機の冷房時の外気温度、
・空冷ヒートポンプ冷凍機の暖房時の外気湿球温度、
等のデータを取得する。なお、機械学習装置１５０がこれらの運転条件を取得する際の読み替えについては、既に説明済みであるため、ここでは説明を省略する。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の運転条件として、熱利用側１４０の機器の処理能力に影響を与える、
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
・水冷ビル用マルチエアコンの室内温度、室内湿度、
等のデータを取得する。
・外調エアハンドリングユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の吸込空気温度、吸込空気湿度、（及び風量）、
・水冷ビル用マルチエアコンの室内温度、室内湿度、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、状態変数に含まれる、熱利用側１４０の機器の負荷として、熱利用側１４０の機器において目標値を実現するために必要な熱量に相関する、
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
・水冷ビル用マルチエアコンの圧縮機負荷率（または室内機運転容量）、
等のデータを取得する。
・外調エアハンドリングユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・室内ファンコイルユニットの給気温度、給気湿度、または、吸込空気温度、吸込空気湿度、（及び風量）、
・水熱源ヒートポンプ空調機の圧縮機負荷率、
・水冷ビル用マルチエアコンの圧縮機負荷率（または室内機運転容量）、
等のデータを取得する。
また、上記具体例のもとで、機械学習装置１５０は、合計消費電力を算出するための熱供給側１２０の消費電力として、
・空冷チラー１００１の消費電力
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置１０１１の消費電力、
・水冷ビル用マルチエアコン１０１２、１０１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ１０２１の消費電力、
等のデータを取得する。
・空冷チラー１００１の消費電力
等のデータを取得し、合計消費電力を算出するための熱利用側１４０の消費電力として、
・空気調和装置１０１１の消費電力、
・水冷ビル用マルチエアコン１０１２、１０１３の消費電力、
等のデータを取得し、合計消費電力を算出するための熱搬送装置１３０の消費電力として、
・冷水ポンプ１０２１の消費電力、
等のデータを取得する。
更に、上記具体例のもとで、機械学習装置１５０は、熱媒体の温度と流量の少なくとも一方の目標値として、
・冷水送水温度の目標値、
・冷水トータル流量の目標値、
を算出する。
・冷水送水温度の目標値、
・冷水トータル流量の目標値、
を算出する。
＜まとめ＞
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
以上の説明から明らかなように、機械学習装置１５０によれば、上記具体例１及び２に示した学習用データセットにより強化学習を行うことができる。
［第５の実施形態］
上記第１乃至第４の実施形態では、報酬算出部３２０が、消費電力取得部３１０より通知された合計値に基づいて、報酬を算出し、強化学習部３４０に通知するものとして説明した。しかしながら、報酬算出部３２０による報酬の算出方法はこれに限定されない。
上記第１乃至第４の実施形態では、報酬算出部３２０が、消費電力取得部３１０より通知された合計値に基づいて、報酬を算出し、強化学習部３４０に通知するものとして説明した。しかしながら、報酬算出部３２０による報酬の算出方法はこれに限定されない。
例えば、熱供給側１２０の機器または熱利用側１４０の機器において何らかの異常が発生した場合には、異常が発生したことを示す信号をリスク情報として取得し、取得したリスク情報を加味して報酬を算出するように構成してもよい。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜機械学習装置の機能構成＞
はじめに、第５の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１１は、機械学習装置の機能構成の一例を示す第２の図である。図３との相違点は、第５の実施形態に係る機械学習装置１５０の場合、リスク情報取得部１１１０を有する点である。
はじめに、第５の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１１は、機械学習装置の機能構成の一例を示す第２の図である。図３との相違点は、第５の実施形態に係る機械学習装置１５０の場合、リスク情報取得部１１１０を有する点である。
リスク情報取得部１１１０は、熱供給側１２０の機器または熱利用側１４０の機器において何らかの異常が発生した場合に、異常が発生したことを示す信号をリスク情報として取得し、報酬算出部３２０に通知する。
リスク情報取得部１１１０は、例えば、空冷ヒートポンプ冷凍機で発生した、
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）
等を示す信号をリスク情報として取得する。
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）
等を示す信号をリスク情報として取得する。
あるいは、リスク情報取得部１１１０は、例えば、水冷ヒートポンプ冷凍機、水熱源ヒートポンプ空調機で発生した、
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
・高圧異常（高温、低流量）、低圧異常（低温、低流量）、熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
あるいは、リスク情報取得部１１１０は、例えば、吸収式冷凍機で発生した、
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
・熱交換器凍結（低温、低流量）、熱交換器偏流（低流量）、
等を示す信号をリスク情報として取得する。
＜強化学習処理の流れ＞
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１２は機械学習装置による強化学習処理の流れを示す第２のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１２０１、Ｓ１２０２である。
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１２は機械学習装置による強化学習処理の流れを示す第２のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１２０１、Ｓ１２０２である。
ステップＳ１２０１において、リスク情報取得部１１１０は、熱供給側１２０の機器または熱利用側１４０の機器より、何らかの異常が発生したことを示す信号を、リスク情報として取得したか否かを判定する。
ステップＳ１２０２において、報酬算出部３２０は、ステップＳ４０３において算出した報酬を、取得したリスク情報に応じて減算する。
＜まとめ＞
以上の説明から明らかなように、機械学習装置１５０では、消費電力の合計値に基づいて算出した報酬を、取得したリスク情報に応じて減算する。これにより、機械学習装置１５０によれば、リスク情報を加味して算出された報酬を用いて強化学習を行うことが可能となる。
以上の説明から明らかなように、機械学習装置１５０では、消費電力の合計値に基づいて算出した報酬を、取得したリスク情報に応じて減算する。これにより、機械学習装置１５０によれば、リスク情報を加味して算出された報酬を用いて強化学習を行うことが可能となる。
［第６の実施形態］
上記第１乃至第４の実施形態では、強化学習部３４０が、熱量モデル３４１により算出された熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信するものとして説明した。しかしながら、熱媒体の温度と流量の少なくとも一方の目標値の出力方法はこれに限定されない。
上記第１乃至第４の実施形態では、強化学習部３４０が、熱量モデル３４１により算出された熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信するものとして説明した。しかしながら、熱媒体の温度と流量の少なくとも一方の目標値の出力方法はこれに限定されない。
例えば、算出された熱媒体の温度と流量の少なくとも一方の目標値が、所定の上下限値を超えていた場合には、当該上限値または当該下限値を出力するように構成してもよい。以下、第６の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜機械学習装置の機能構成＞
はじめに、第６の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１３は、機械学習装置の機能構成の一例を示す第３の図である。図３との相違点は、第６の実施形態に係る機械学習装置１５０の場合、上下限値制限部１３１０を有する点である。
はじめに、第６の実施形態に係る機械学習装置１５０の機能構成の詳細について説明する。図１３は、機械学習装置の機能構成の一例を示す第３の図である。図３との相違点は、第６の実施形態に係る機械学習装置１５０の場合、上下限値制限部１３１０を有する点である。
上下限値制限部１３１０は、熱量モデル３４１により算出され、強化学習部３４０が出力した熱媒体の温度と流量の少なくとも一方の目標値を取得する。また、上下限値制限部１３１０は、取得した熱媒体の温度と流量の少なくとも一方の目標値が、熱供給側１２０の機器に設定されうる流量、温度の上下限値を超えているか否かを判定する。また、上下限値制限部１３１０は、上下限値を超えていると判定した場合には、上限値または下限値を、熱供給側１２０の機器に送信する。一方、上下限値制限部１３１０は、上下限値を超えていないと判定した場合には、取得した熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に送信する。
＜強化学習処理の流れ＞
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１４は機械学習装置による強化学習処理の流れを示す第３のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１４０１、Ｓ１４０２である。
次に、機械学習装置１５０による強化学習処理の流れについて説明する。図１４は機械学習装置による強化学習処理の流れを示す第３のフローチャートである。図４で示したフローチャートとの相違点は、ステップＳ１４０１、Ｓ１４０２である。
ステップＳ１４０１において、上下限値制限部１３１０は、ステップＳ４０６において強化学習部３４０により出力された熱媒体の温度と流量の少なくとも一方の目標値が、熱供給側１２０の機器に設定されうる上下限値を超えているか否かを判定する。
ステップＳ１４０１において、上下限値を超えていると判定した場合には（ステップＳ１４０１においてＹｅｓの場合には）、ステップＳ１４０２に進む。
ステップＳ１４０１において、上下限値制限部１３１０は、上限値または下限値を、熱供給側１２０の機器に出力する。
一方、ステップＳ１４０１において、上下限値を超えていないと判定した場合には（ステップＳ１４０１においてＮｏの場合には）、ステップＳ４０７に進む。この場合、上下限値制限部１３１０は、ステップＳ４０６において強化学習部３４０により出力された熱媒体の温度と流量の少なくとも一方の目標値を、熱供給側１２０の機器に出力する。
＜まとめ＞
以上の説明から明らかなように、機械学習装置１５０では、熱供給側１２０に送信する熱媒体の温度と流量の少なくとも一方の目標値を、上下限値に応じて制限する。これにより、機械学習装置１５０によれば、熱供給側１２０の機器を安全に動作させることができる。
以上の説明から明らかなように、機械学習装置１５０では、熱供給側１２０に送信する熱媒体の温度と流量の少なくとも一方の目標値を、上下限値に応じて制限する。これにより、機械学習装置１５０によれば、熱供給側１２０の機器を安全に動作させることができる。
［その他の実施形態］
上記各実施形態では、報酬の算出に用いる消費電力の取得タイミングについて言及しなかった。しかしながら、例えば、消費電力取得部３１０は、強化学習部３４０が熱媒体の温度と流量の少なくとも一方の目標値を送信してから、所定期間経過後に、消費電力を取得してもよい。
上記各実施形態では、報酬の算出に用いる消費電力の取得タイミングについて言及しなかった。しかしながら、例えば、消費電力取得部３１０は、強化学習部３４０が熱媒体の温度と流量の少なくとも一方の目標値を送信してから、所定期間経過後に、消費電力を取得してもよい。
また、上記各実施形態では、消費電力の合計値を用いて報酬を算出するものとして説明したが、報酬の算出に用いる消費エネルギーの合計値は、消費電力の合計値に限定されない。例えば、エネルギー消費効率（ＣＯＰ：Coefficient Of Performance）、二酸化炭素排出量、エネルギーコスト（電気代、ガス代）等の消費エネルギーの合計値を用いて報酬を算出してもよい。
また、上記各実施形態では、機械学習を行う際に用いるモデル（熱量モデル）の詳細について特に言及しなかったが、機械学習を行う際に用いるモデルには任意の種類のモデルが適用されるものとする。具体的には、ＮＮ（Neural Network）モデルや、ランダムフォレストモデル、ＳＶＭ（Support Vector Machine）モデル等、任意の種類のモデルが適用される。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
１００ ：空調システム
１１０ ：空調機器
１２０ ：熱供給側
１３０ ：熱搬送装置
１４０ ：熱利用側
１５０ ：機械学習装置
３１０ ：消費電力取得部
３２０ ：報酬算出部
３３０ ：状態変数取得部
３４０ ：強化学習部
３４１ ：熱量モデル
１１１０ ：リスク情報取得部
１３１０ ：上下限値制限部
１１０ ：空調機器
１２０ ：熱供給側
１３０ ：熱搬送装置
１４０ ：熱利用側
１５０ ：機械学習装置
３１０ ：消費電力取得部
３２０ ：報酬算出部
３３０ ：状態変数取得部
３４０ ：強化学習部
３４１ ：熱量モデル
１１１０ ：リスク情報取得部
１３１０ ：上下限値制限部
Claims (15)
- 熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と、前記温度と流量の少なくとも一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する機械学習装置。 - 前記熱供給側の機器の運転条件には、前記熱供給側の機器の処理能力に影響を与える外気温度、外気湿球温度、地中温度のいずれかが含まれる、請求項１に記載の機械学習装置。
- 前記熱利用側の機器の運転条件には、前記熱利用側の機器の処理能力に影響を与える吸込空気温度、冷水還水温度のいずれかが含まれる、請求項１に記載の機械学習装置。
- 前記熱利用側の機器の運転条件には、更に、風量、冷水流量のいずれかが含まれる、請求項３に記載の機械学習装置。
- 前記熱利用側の機器に必要な熱量に相関する値には、給気温度、冷水送水温度のいずれかが含まれる、請求項１に記載の機械学習装置。
- 前記熱搬送装置が熱媒体を搬送する際の温度には、冷水送水温度、冷却水送水温度が含まれ、前記熱搬送装置が熱媒体を搬送する際の流量には、冷水流量、冷却水流量のいずれかが含まれる、請求項５に記載の機械学習装置。
- 前記熱供給側の機器には空冷チラーが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる、請求項１に記載の機械学習装置。
- 前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
- 前記熱供給側の機器には地中熱交換器が含まれ、前記熱利用側の機器には水冷チラーが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
- 前記熱供給側の機器には冷却塔と、冷却水ポンプと、水冷チラーとが含まれ、前記熱利用側の機器には空気調和装置が含まれ、前記熱搬送装置には冷水ポンプが含まれる、請求項１に記載の機械学習装置。
- 前記熱供給側の機器には冷却塔が含まれ、前記熱利用側の機器には水冷チラーと、冷水ポンプと、空気調和装置とが含まれ、前記熱搬送装置には冷却水ポンプが含まれる、請求項１に記載の機械学習装置。
- 前記学習部により学習された前記温度と流量の少なくとも一方に基づいて前記熱供給側の機器が運転されることで、前記空調システムのリスクが高まった場合に、前記報酬算出部は、前記報酬を下げる、請求項１に記載の機械学習装置。
- 前記学習部により学習された前記温度と流量の少なくとも一方が、予め定められた上限値または下限値を超える場合、予め定められた上限値または下限値に基づいて前記熱供給側の機器が運転される、請求項１に記載の機械学習装置。
- 熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置と、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習装置と、を有する空調システムであって、
前記機械学習装置は、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得部と、
前記状態変数と前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習部と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出部と、を有し、
前記学習部は、前記報酬を用いて学習する空調システム。 - 熱供給側の機器と、熱利用側の機器と、該熱供給側の機器から該熱利用側の機器へ熱媒体を搬送する熱搬送装置とを有する空調システムにおいて、前記熱搬送装置が熱媒体を搬送する際の温度と流量の少なくとも一方を学習する機械学習方法であって、
前記熱供給側の機器の運転条件及び前記熱利用側の機器の運転条件と、前記熱利用側の機器に必要な熱量に相関する値とを含む状態変数を取得する状態変数取得工程と、
前記状態変数と、前記温度と流量の少なくともいずれか一方とを関連付けて学習する学習工程と、
前記熱供給側の機器の消費電力と前記熱利用側の機器の消費電力と前記熱搬送装置の消費電力との合計値に基づいて報酬を算出する報酬算出工程と、を有し、
前記学習工程は、前記報酬を用いて学習する機械学習方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019086781 | 2019-04-26 | ||
| JP2019086781 | 2019-04-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020183856A true JP2020183856A (ja) | 2020-11-12 |
Family
ID=73045015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019200795A Pending JP2020183856A (ja) | 2019-04-26 | 2019-11-05 | 機械学習装置、空調システム及び機械学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020183856A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220072158A (ko) * | 2020-11-25 | 2022-06-02 | 중앙대학교 산학협력단 | 실내 냉방을 위한 적응형 최적 온도 제어 방법 및 시스템 |
| KR102520100B1 (ko) * | 2021-12-03 | 2023-04-10 | 중앙대학교 산학협력단 | 공조 시스템의 실내온도 제어를 위한 적응형 유량제어 방법 및 장치 |
-
2019
- 2019-11-05 JP JP2019200795A patent/JP2020183856A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220072158A (ko) * | 2020-11-25 | 2022-06-02 | 중앙대학교 산학협력단 | 실내 냉방을 위한 적응형 최적 온도 제어 방법 및 시스템 |
| KR102437063B1 (ko) | 2020-11-25 | 2022-08-25 | 중앙대학교 산학협력단 | 실내 냉방을 위한 적응형 최적 온도 제어 방법 및 시스템 |
| KR102520100B1 (ko) * | 2021-12-03 | 2023-04-10 | 중앙대학교 산학협력단 | 공조 시스템의 실내온도 제어를 위한 적응형 유량제어 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11175062B2 (en) | Central plant control system with computation reduction based on graph theory | |
| WO2020218563A1 (ja) | 機械学習装置、空調システム及び機械学習方法 | |
| US8660702B2 (en) | Central cooling and circulation energy management control system | |
| JP4829147B2 (ja) | 空気調和設備 | |
| JP2017101862A (ja) | 熱源制御システムおよび制御方法 | |
| CN102042656A (zh) | 空气调节器的控制装置、冷冻装置的控制装置 | |
| Yu et al. | Environmental performance and economic analysis of all-variable speed chiller systems with load-based speed control | |
| EP2428740A2 (en) | Air conditioner and control method thereof | |
| JP2008057818A (ja) | 空調システムの運転制御方法 | |
| JP7259950B2 (ja) | 冷却システム、そのための制御装置、冷却方法、およびプログラム | |
| JP7490831B2 (ja) | 空調システムの制御装置、制御方法、制御プログラムおよび空調システム | |
| JP2020183856A (ja) | 機械学習装置、空調システム及び機械学習方法 | |
| KR102402125B1 (ko) | 에너지 저장 시스템 온도 조절 장치 | |
| JP2014149105A (ja) | 空気調和機 | |
| JP6733704B2 (ja) | 空調管理システム及び通信制御装置 | |
| JP5005578B2 (ja) | 空調制御システム、空調制御用プログラムおよび空調制御方法 | |
| JP6849345B2 (ja) | 空調システムの制御装置、制御方法および制御プログラム | |
| JP2012193903A (ja) | 外気利用空調システム、その外気熱交換システム | |
| CN115773624A (zh) | 一种恒温恒湿冷库内外双循环温湿调控系统及调控方法 | |
| JP6982146B2 (ja) | 空調システムの制御装置、制御方法、制御プログラムおよび空調システム | |
| US20220373206A1 (en) | Chiller controller for optimized efficiency | |
| CN211575342U (zh) | 一种精确控制的工质直膨地板供暖供冷风管机除湿的装置 | |
| Kumar et al. | Data center air handling unit fan speed optimization using machine learning techniques | |
| CN105402839A (zh) | 一种用于各类数据机房的自然冷源散热系统 | |
| US20220373210A1 (en) | Chiller controller for optimized efficiency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191105 |