JP2020153571A - 制御ゲイン学習装置、方法、およびプログラム - Google Patents

Abstract

【課題】空気調和機を制御するための制御ゲインを学習する。【解決手段】空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習する制御ゲイン学習装置であって、第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価する評価部と、前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習する学習部と、を備え、前記学習部は、前記評価部による評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習する。【選択図】図５

Description

本開示は、制御ゲイン学習装置、方法、およびプログラムに関する。

従来、空気調和機の制御では、温度等の目標値と測定値との差分に基づいて、膨張弁等の制御が行われている（特許文献１等）。より具体的には、空気調和機の圧縮機の吸入温度の目標値と測定値との差分に基づいて、膨張弁の制御が行われている。このような制御では、予め定められた制御ゲインが用いられている。

特開平８−３２７１２４号公報

しかしながら、空気調和機の状態は変動するため、空気調和機の圧縮機の吸入温度を制御するための適切な膨張弁の制御ゲインも変動する。

本開示は、空気調和機の圧縮機の吸入温度を制御するための膨張弁の制御ゲインを学習することを目的とする。

本開示の第１の態様による制御ゲイン学習装置は、
空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習する制御ゲイン学習装置であって、
第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価する評価部と、
前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習する学習部と、を備え、
前記学習部は、前記評価部による評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習する。

本開示の第１の態様によれば、評価部による評価の結果に基づいて、第２の期間において設定されるべき制御ゲインを学習することができる。

また、本開示の第２の態様による制御ゲイン学習装置は、
前記空気調和機の状態は、運転モードの種類、圧縮機の回転数、圧縮機の吸入温度と吐出温度の少なくとも一方の温度、前記空気調和機の高圧圧力に相関する情報、前記空気調和機の低圧圧力に相関する情報である。

また、本開示の第３の態様による制御ゲイン学習装置は、
前記学習部は、前記第１の期間における圧縮機の胴体温度と外気温度の少なくとも一方をさらに入力し、第２の期間において設定されるべき制御ゲインを学習する。

また、本開示の第４の態様による制御ゲイン学習装置は、
前記吸入温度の変動値は、前記吸入温度の目標値と測定値の偏差、または、前記吸入温度に関連する指標である過熱度の目標値と測定値の偏差である。

また、本開示の第５の態様による制御ゲイン学習装置は、
前記第１の期間は、前記吸入温度の変動値のハンチングの少なくとも一周期を含む。

また、本開示の第６の態様による制御ゲイン学習装置は、
前記評価部は、前記吸入温度の変動値が小さいほど高い報酬を与える。

また、本開示の第７の態様による制御ゲイン学習装置は、
前記制御ゲイン学習装置は、前記空気調和機に内蔵されている、または、前記空気調和機とは別の装置である。

また、本開示の第８の態様による方法は、
空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習するコンピュータが実行する方法であって、
第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価するステップと、
前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習するステップであって、前記評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習するステップと
を含む。

また、本開示の第９の態様によるプログラムは、
空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習するコンピュータを
第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価する評価部、
前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習する学習部と、して機能させ、
前記学習部は、前記評価部による評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習する。

本開示の一実施形態に係る全体のシステム構成を示す図である。 本開示の一実施形態に係る空気調和機の冷房・暖房の回路ある。 本開示の一実施形態に係る空気調和機の状態量を説明するための図である。 本開示の一実施形態に係る制御ゲイン学習装置のハードウェア構成図である。 本開示の一実施形態に係る制御装置による制御と制御ゲイン学習装置による学習の関係を説明するための図である。 本開示の一実施形態に係る制御ゲイン学習装置の機能ブロック図である。 本開示の一実施形態に係る制御ゲイン学習装置の学習部の詳細を説明するための図である。 本開示の一実施形態に係る吸入温度の変動値を説明するための図である。 本開示の一実施形態に係る強化学習処理のフローチャートである。

以下、図面に基づいて本開示の実施の形態を説明する。

＜システム構成＞
図１は、本開示の一実施形態に係る全体のシステム構成を示す図である。図１に示されるように、空気調和機１は、空気調和機１を制御する制御装置２を有する。空気調和機１を制御するための制御ゲイン（つまり、制御装置２が用いる制御ゲイン）を学習する制御ゲイン学習装置３は、空気調和機１に内蔵されていてもよいし（図１の上の＜内蔵の場合＞）、空気調和機１とは別の装置（例えば、クラウドサーバ）であってもよい（図１の下の＜別装置の場合＞）。＜別装置の場合＞では、空気調和機１と制御ゲイン学習装置３とは、任意のネットワーク４で接続されている。

図２は、本開示の一実施形態に係る空気調和機１の冷房・暖房の回路である。図２の左側が冷房の場合であり、図２の右側が暖房の場合である。それぞれ、矢印の方向に冷媒が流れる。

冷房の場合（図２の左側）、空気調和機１は、室外側に、アキュムレータ１１、圧縮機１２、四切弁１３、凝縮器１４、膨張弁１５を有する。また、空気調和機１は、室内側に蒸発器１６を有する。

暖房の場合（図２の右側）、空気調和機１は、室外側に、アキュムレータ１１、圧縮機１２、四切弁１３、蒸発器１６、膨張弁１５を有する。また、空気調和機１は、室内側に凝縮器１４を有する。

図３は、本開示の一実施形態に係る空気調和機１の状態量を説明するための図である。

空気調和機１（図３は冷房の場合）において、吸入温度センサが、圧縮機１２の吸入温度（吸入温度１０１ａと吸入温度１０１ｂとのどちらでもよい。以下、総称して吸入温度１０１とも呼ぶ）を検出する。

また、空気調和機１において、吐出温度センサが、圧縮機１２の吐出温度１０２を検出する。

また、空気調和機１において、凝縮温度センサが、凝縮温度１０３を検出する。制御ゲイン学習装置３は、凝縮温度１０３から高圧飽和圧力（高圧圧力）を計算する。なお、圧力センサが高圧圧力を計測するように構成してもよい。以下、"高圧圧力に相関する情報"という用語は、高圧圧力そのもの、凝縮温度１０３、凝縮温度１０３から計算された高圧圧力を含む。

また、空気調和機１において、蒸発温度センサが、蒸発温度１０４を検出する。制御ゲイン学習装置３は、蒸発温度１０４から低圧飽和圧力（低圧圧力）を計算する。なお、圧力センサが低圧圧力を計測するように構成してもよい。以下、"低圧圧力に相関する情報"という用語は、低圧圧力そのもの、蒸発温度１０４、蒸発温度１０４から計算された低圧圧力を含む。

また、空気調和機１において、圧縮機胴体温度センサが、圧縮機１２の胴体の温度１０５を検出する。

また、空気調和機１において、外気温センサが外気温１０６を検出する。

＜ハードウェア構成＞
図４は、本開示の一実施形態に係る制御ゲイン学習装置３のハードウェア構成図である。以下、図１の＜別装置の場合＞で説明するが、＜内蔵の場合＞でも同様である。

制御ゲイン学習装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３を有する。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、いわゆるコンピュータを形成する。

また、制御ゲイン学習装置３は、補助記憶装置３４、表示装置３５、操作装置３６、Ｉ／Ｆ（Interface）装置３７、ドライブ装置３８を有する。なお、制御ゲイン学習装置３の各ハードウェアは、バス３９を介して相互に接続されている。

ＣＰＵ３１は、補助記憶装置３４にインストールされている各種プログラムを実行する演算デバイスである。

ＲＯＭ３２は、不揮発性メモリである。ＲＯＭ３２は、補助記憶装置３４にインストールされている各種プログラムをＣＰＵ３１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ３２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ３３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３３は、補助記憶装置３４にインストールされている各種プログラムがＣＰＵ１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置３４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

表示装置３５は、制御ゲイン学習装置３の内部状態等を表示する表示デバイスである。

操作装置３６は、制御ゲイン学習装置３の管理者が制御ゲイン学習装置３に対して各種指示を入力する入力デバイスである。

Ｉ／Ｆ装置３７は、ネットワーク４に接続し、空気調和機１（＜内蔵の場合＞では各種センサ）と通信を行うための通信デバイスである。

ドライブ装置３８は記憶媒体３０をセットするためのデバイスである。ここでいう記憶媒体３０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体３０には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置３４にインストールされる各種プログラムは、例えば、配布された記憶媒体３０がドライブ装置３８にセットされ、該記憶媒体３０に記録された各種プログラムがドライブ装置３８により読み出されることでインストールされる。あるいは、補助記憶装置３４にインストールされる各種プログラムは、Ｉ／Ｆ装置３７を介して、ネットワーク４とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。

図５は、本開示の一実施形態に係る制御装置２による制御と制御ゲイン学習装置３による学習の関係を説明するための図である。

図５の上部＜制御装置２による空気調和機１の制御＞に示されるように、制御装置２は、空気調和機１を制御する。具体的には、制御装置２は、ＰＩＤ（Proportional-Integral-Differential）制御等により、膨張弁１５の開度を調整した後の圧縮機１２の吸入温度が目標値に近づくように、膨張弁１５の開度を制御する。

しかし、空気調和機１の状態は変動するため、空気調和機１を制御するための適切な制御ゲイン（つまり、制御装置２がＰＩＤ制御等で用いる制御ゲイン）も変動する。そのため、本開示の一実施形態では、制御ゲイン学習装置３が、適切な制御ゲインを強化学習する。

具体的には、圧縮機１２の吸入部の温度１０１および吐出部の温度１０２は、膨張弁１５の開度を制御することによって制御される。圧縮機１２の吐出部の温度１０２のハンチングが大きいと、吐出温度１０２の最高温度が上昇し信頼性課題が生じる。一方、圧縮機１２の吸入部の温度１０１のハンチングが大きく、吸入ガスが２相飽和域内に入ると、液冷媒を含んだ冷媒が圧縮機１２に吸入され、圧縮機１２内の潤滑油と液冷媒とが混合し潤滑油の性能が低下する。またさらには、圧縮部で液圧縮が起こり圧縮分の破損を招くなど弊害が生じる。一方、過熱度が大きくなると、圧縮機電気入力が大きくなり効率が低下する問題がある。そのため、制御ゲイン学習装置３が、空気調和機１の状態に応じた適切な制御ゲインを強化学習により見出す。

図５の下部＜制御ゲイン学習装置３による制御ゲインの学習＞に示されるように、制御ゲイン学習装置３は、空気調和機１を制御するための制御ゲイン（つまり、制御装置２がＰＩＤ制御等で用いる制御ゲイン）を強化学習する。具体的には、制御ゲイン学習装置３は、圧縮機１２の吸入温度の変動値（例えば、圧縮機１２の吸入温度の目標値と測定値の偏差）から算出した報酬（変動値が小さいほど高い報酬である）と、空気調和機の状態とから、適切な制御ゲインを強化学習する。

圧縮機１２の吸入温度の変動値は、例えば、吸入温度の目標値と測定値の偏差、または、吸入温度に関連する指標である過熱度の目標値と測定値の偏差である。なお、圧縮機１２の吸入温度の変動値は、偏差に限らず、目標値と測定値との差を示すものであればよい。

＜機能ブロック＞
図６は、本開示の一実施形態に係る制御ゲイン学習装置３の機能ブロック図である。

制御ゲイン学習装置３は、学習部３０１、吸入温度取得部３０２、評価部３０３、空調機状態取得部３０４、空調機状態格納部３０５、制御ゲイン通知部３０６を含む。制御ゲイン学習装置３は、プログラムを実行することで、学習部３０１、吸入温度取得部３０２、評価部３０３、空調機状態取得部３０４、制御ゲイン通知部３０６として機能する。以下、それぞれについて説明する。

学習部３０１は、空調機状態格納部３０５から空気調和機１の状態の情報を読み出し、制御装置２が実行しているＰＩＤ制御等の最適な制御ゲインを出力する学習モデルについて強化学習を行う。学習部３０１は、評価部３０３から出力される報酬が最大となるように、強化学習を行う。また、学習部３０１は、強化学習を行うことで取得される制御ゲインを、制御ゲイン通知部３０６に通知する。

ここで、空気調和機１の状態について説明する。空気調和機１の状態は、例えば、運転モードの種類（例えば、冷房モード、暖房モード）、圧縮機の回転数、圧縮機の吸入温度と吐出温度の少なくとも一方の温度、空気調和機の高圧圧力、空気調和機の低圧圧力である。"圧縮機１２の吸入温度"と、"空気調和機１の低圧圧力、圧縮機１２の吐出温度、空気調和機１の高圧圧力"と、の間の関係を予め登録しておくことで、吐出温度を用いることにより、吸入温度センサが不要となる。

学習部３０１は、空気調和機１の状態に加え、圧縮機の胴体温度、または、外気温度、または、圧縮機の胴体温度と外気温度との両方をさらに入力し、制御ゲインを学習する構成とすることもできる。圧縮機の胴体温度が低い場合、または、外気温度が低い場合、液冷媒を含んだ冷媒が圧縮機１２に吸入され、圧縮機１２内の潤滑油と液冷媒とが混合し潤滑油の性能が低下したり、圧縮部で液圧縮が起こり圧縮分の破損を招いたりといった、圧縮機１２内で潤滑のトラブルが起こる可能性が高くなる。圧縮機の胴体温度や外気温度を入力して制御ゲインを学習することで、このようなトラブルを生じにくくすることができる。

吸入温度取得部３０２は、制御装置２から、圧縮機１２の吸入温度の変動値の情報を取得する。また、吸入温度取得部３０２は、取得した圧縮機１２の吸入温度の変動値の情報を、評価部３０３に通知する。

評価部３０３は、圧縮機１２の吸入温度の変動値に基づいて、学習部３０１が強化学習を行う際に用いる報酬を算出する。

空調機状態取得部３０４は、空気調和機１の各センサが取得した空気調和機１の状態の情報を取得する。また、空調機状態取得部３０４は、取得した空気調和機１の状態の情報を空調機状態格納部３０５に記憶する。

空調機状態格納部３０５には、空気調和機１の状態の情報が格納されている。

制御ゲイン通知部３０６は、最適な制御ゲインを制御装置２に通知する。

＜学習部の機能構成の詳細＞
次に、学習部３０１の機能構成の詳細について説明する。図７は、学習部３０１の機能構成の詳細を示す図である。

図７に示すように、学習部３０１は、学習モデル３１１を有する。学習モデル３１１は、空気調和機１の状態を入力すると、最適な制御ゲインを出力する学習モデルである。

学習部３０１は、評価部３０３によって算出された報酬が最大になるように、学習モデル３１１のモデルパラメータを変更する。また、学習部３０１は、モデルパラメータが変更された学習モデル３１１に、空調機状態格納部３０５から読み出した空気調和機１の状態の情報を入力することで、学習モデル３１１を実行させる。これにより、学習モデル３１１は、最適な制御ゲインを出力する。

このように、学習部３０１は、前回の制御ゲインに従ってＰＩＤ制御等が行われた際の圧縮機１２の変動値に基づいて算出された報酬が最大になるように、学習モデル３１１について強化学習を行う。これにより、学習部３０１は、最適な制御ゲインを出力することができる。

図８は、本開示の一実施形態に係る吸入温度の変動値を説明するための図である。圧縮機１２の吸入温度の変動値は、例えば、吸入温度の目標値と測定値の偏差、または、吸入温度に関連する指標である過熱度の目標値と測定値の偏差である。ハンチングしている期間（圧縮機１２の吸入温度の測定値が目標値近傍でハンチングしている期間、または、過熱度の測定値が目標値近傍でハンチングしている期間）の少なくとも一周期分の吸入温度の変動値が取得される。

＜処理の流れ＞
図９は、本開示の一実施形態に係る強化学習処理のフローチャートである。

ステップ１（Ｓ１）において、学習部３０１は、空気調和機１の状態の情報を取得する。

ステップ２（Ｓ２）において、吸入温度取得部３０２は、制御装置２から、圧縮機１２の吸入温度の変動値の情報を取得する。

ステップＳ３（Ｓ３）において、評価部３０３は、圧縮機１２の吸入温度の変動値に基づいて報酬を算出する。

ステップＳ４（Ｓ４）において、評価部３０３は、算出した報酬が所定の閾値以上であるか否かを判定する。算出した報酬が所定の閾値未満であると判定された場合、ステップ５へ進み、算出した報酬が所定の閾値以上であると判定された場合、強化学習処理を終了する。

ステップ５（Ｓ５）において、学習部３０１は、算出した報酬が最大になるように学習モデル３１１について機械学習を行う。

ステップ６（Ｓ６）において、学習部３０１は、取得した空気調和機１の状態の情報を学習モデル３１１に入力することで、学習モデル３１１を実行させる。これにより、学習部３０１は、最適な制御ゲインを出力する。

ステップ７（Ｓ７）において、制御ゲイン通知部３０６は、制御装置２へ、制御ゲインを送信し、ステップＳ１に戻る。

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１ 空気調和機
２ 制御装置
３ 制御ゲイン学習装置
４ ネットワーク
１１ アキュムレータ
１２ 圧縮機
１３ 四切弁
１４ 凝縮器
１５ 膨張弁
１６ 蒸発器
１０１ 吸入温度
１０２ 吐出温度
１０３ 凝縮温度
１０４ 蒸発温度
１０５ 圧縮機胴体温度
１０６ 外気温
３０１ 学習部
３０２ 吸入温度取得部
３０３ 評価部
３０４ 空調機状態取得部
３０５ 空調機状態格納部
３０６ 制御ゲイン通知部
３１１ 学習モデル

Claims (9)

1. 空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習する制御ゲイン学習装置であって、
   第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価する評価部と、
   前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習する学習部と、を備え、
   前記学習部は、前記評価部による評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習する、制御ゲイン学習装置。
2. 前記空気調和機の状態は、運転モードの種類、圧縮機の回転数、圧縮機の吸入温度と吐出温度の少なくとも一方の温度、前記空気調和機の高圧圧力に相関する情報、前記空気調和機の低圧圧力に相関する情報である、請求項１に記載の制御ゲイン学習装置。
3. 前記学習部は、前記第１の期間における圧縮機の胴体温度と外気温度の少なくとも一方をさらに入力し、第２の期間において設定されるべき制御ゲインを学習する、請求項２に記載の制御ゲイン学習装置。
4. 前記吸入温度の変動値は、前記吸入温度の目標値と測定値の偏差、または、前記吸入温度に関連する指標である過熱度の目標値と測定値の偏差である、請求項１から３のいずれか一項に記載の制御ゲイン学習装置。
5. 前記第１の期間は、前記吸入温度の変動値のハンチングの少なくとも一周期を含む、請求項１から４のいずれか一項に記載の制御ゲイン学習装置。
6. 前記評価部は、前記吸入温度の変動値が小さいほど高い報酬を与える、請求項１から５のいずれか一項に記載の制御ゲイン学習装置。
7. 前記制御ゲイン学習装置は、前記空気調和機に内蔵されている、または、前記空気調和機とは別の装置である、請求項１から６のいずれか一項に記載の制御ゲイン学習装置。
8. 空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習するコンピュータが実行する方法であって、
   第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価するステップと、
   前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習するステップであって、前記評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習するステップと
   を含む方法。
9. 空気調和機に含まれる圧縮機の吸入温度が目標値に近づくように、前記空気調和機の膨張弁の開度を制御する制御装置に設定される制御ゲインを学習するコンピュータを
   第１の期間において設定された制御ゲインに基づいて前記制御装置が前記膨張弁の開度を制御することで検出された前記吸入温度の変動値を評価する評価部、
   前記第１の期間における前記空気調和機の状態にしたがって、第２の期間において設定されるべき制御ゲインを学習する学習部と、して機能させ、
   前記学習部は、前記評価部による評価の結果に基づいて、前記第２の期間において設定されるべき制御ゲインを学習する、プログラム。

Images