JP2021140499A - 冷蔵庫、強化学習装置、及び強化学習方法 - Google Patents

Abstract

【課題】学習運転において無駄なデータを取得することなく、冷蔵庫の性能を所望の一定範囲で保証する。【解決手段】冷凍サイクルを有する冷蔵庫本体２と、冷蔵庫本体２を制御する制御部３１と、制御部３１に対して強化学習を行う強化学習部３２とを備え、強化学習部３２は、強化学習するための学習運転の途中で、冷蔵庫１００に関連する状態を所定の基準状態に戻す復帰運転を行う。【選択図】図３

Description

本発明は、強化学習装置、及び強化学習方法に関するものである。

欧州連合（ＥＵ）のＥＵ２０５０に代表される通り、各国のエネルギー政策では「省エネルギー性能の更なる向上」や「再生可能エネルギー普及促進のためのダイナミック・プライシング（Ｄｙｎａｍｉｃ Ｐｒｉｃｉｎｇ）への対応」などが求められている。このため、冷凍サイクルにおいても、その基本性能（快適性、保存性など）や信頼性などの多くの指標をバランス良く満足させる必要がある。

従来では、特許文献１に示すように、遺伝的アルゴリズム手法を用いて制御テーブルを更新することより、設置された環境如何にかかわらず効率的な運転を行うように構成されたものが考えられている。

特開平８−１６６１６９号公報

ところで、近年では、機械学習を用いて各種装置を制御することが行われており、冷蔵庫も機械学習により制御することが考えられる。

しかしながら、学習運転時において例えばε−ｇｒｅｅｄｙ法等を適用した機械学習（強化学習）を冷凍サイクルを有する冷蔵庫に適用した場合に、冷蔵庫の状態がユーザの使用環境で起こり得ない状態になる場合がある。この状態で機械学習を行ったとしても、余計な範囲で冷蔵庫の性能を保証することになり、機械学習の効率が悪くなってしまう。

そこで、本発明は、上述した問題を解決すべくなされたものであり、学習運転において無駄なデータを取得することなく、冷蔵庫の性能を所望の一定範囲で保証することを主たる課題とするものである。

すなわち本発明に係る冷蔵庫は、冷凍サイクルを有する冷蔵庫本体と、前記冷蔵庫本体を制御する制御部と、前記制御部に対して強化学習を行う強化学習部とを備え、前記強化学習部は、強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行うことを特徴とする。

このように構成された冷蔵庫によれば、強化学習部が強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行うので、冷蔵庫がユーザの使用環境では起こってはならない状態になることを防ぐことができる。その結果、学習運転において無駄なデータを取得することなく、冷蔵庫の性能を所望の一定範囲で保証することができる。

ユーザの使用環境では起こり得ない状態となるパラメータの代表例としては、庫内温度を挙げることができる。このため、前記制御部は、前記復帰運転において、庫内温度を所定の基準値に戻すものであることが考えられる。

強化学習部の具体的な実施の態様としては、行動価値関数を算出する行動価値算出部と、前記冷蔵庫に関連する行動を、前記行動価値情報に基づいて選択する方策選択部と、前記方策選択部で選択した行動を実行したときの前記冷蔵庫に関連する状態を取得する状態取得部と、前記方策選択部で選択した行動を実行したときの報酬を算出する報酬算出部とを備え、前記行動価値算出部は、前記状態取得部で取得した状態及び前記報酬算出部で算出した報酬に基づいて、前記行動価値情報を更新することが望ましい。

近年では、電気事業者側が電気料金を需給バランスに応じて設定する仕組み（ダイナミック・プライシング）が考えられている。この場合において、電気料金を最小化するためには、前記状態取得部は、ダイナミック・プライシングに関する情報を取得するものであり、前記報酬算出部は、電気料金が安いほど大きい報酬を算出するものであることが望ましい。なお、ダイナミック・プライシングに関する情報としては、例えば３０分単位で電気料金が設定された１日分の電気料金の情報である。また、前記方策選択部は、前記冷蔵庫に関連する行動として電力系統の切替を選択することが考えられる。

また本発明に係る強化学習装置は、冷凍サイクルを有する冷蔵庫本体を制御する制御部に対して強化学習を行う強化学習装置であって、強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行うことを特徴とする。

さらに本発明に係る強化学習方法は、冷凍サイクルを有する冷蔵庫本体を制御する制御部に対して強化学習を行う強化学習方法であって、強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行うことを特徴とする。

このように構成した本発明によれば、学習運転において無駄なデータを取得することなく、冷蔵庫の性能を所望の一定範囲で保証することができる。

本実施形態における冷蔵庫の全体構成を示す模式図である。 同実施形態の学習モデルを示す図である。 同実施形態の学習運転及び通常運転における各部の状態と行動とを示す図である。 同実施形態の学習運転及び復帰運転の運転パターンの一例を示す図である。 庫内温度が取り得る状態を示す図である。 同実施形態の冷蔵庫の具体的な運転動作を示すフローチャートである。 同実施形態のニューラルネットワークモデルによる制御を示す図である。 「現状態」と「次状態」とのデータセットを示す図である。 同実施形態の復帰運転の詳細を示す図である。 同実施形態の学習開始トリガの具体的な内容及び学習タイミング・学習回数を示す図である。

以下に本発明に係る冷蔵庫の一実施形態について図面を参照して説明する。

本実施形態に係る冷蔵庫１００は、図１に示すように、冷凍サイクルを有する冷蔵庫本体２と、冷蔵庫本体２を制御する制御装置３とを備えている。

冷蔵庫本体２は、少なくとも１つの冷蔵室と、少なくとも１つの冷凍室と、当該冷蔵室及び冷凍室を冷却するための冷凍サイクルとを有する。冷凍サイクルは、圧縮機と凝縮器と減圧装置と冷蔵用蒸発器と冷凍用蒸発器とを配管接続して構成されたものである。本実施形態の冷凍サイクルの１サイクルは、冷蔵用蒸発器に冷媒を流して冷蔵室を冷却する冷蔵室冷却期間と、冷凍用蒸発器に冷媒を流して冷凍室を冷却する冷凍室冷却期間と、冷凍用蒸発器の冷媒を回収するポンプダウン期間と、冷却能力が過剰な場合に冷却能力を調整する圧縮機停止期間とから構成される。なお、冷蔵用蒸発器及び冷凍用蒸発器を兼用しても良い。以下の説明及び図面おいて、冷蔵を示すものをＲ、冷凍を示すものをＦと示す場合がある。

制御装置３は、冷蔵庫本体２の各所に設けられた温度センサなどに基づいて、冷凍サイクルなどを制御する制御部３１と、当該制御部３１に対して強化学習を行う強化学習部３２とを有している。なお、制御部３１によって冷蔵庫１００は通常の冷却運転（通常運転）を行う。

強化学習部３２は、制御部３１による冷蔵庫１００の制御内容に対して強化学習を行うものであり、本実施形態では、例えばＱ学習（Ｑ−Ｌｅａｒｎｉｎｇ）などである。

具体的に強化学習部３２は、行動価値算出部３２ａと、方策選択部３２ｂと、状態取得部３２ｃと、報酬算出部３２ｄとを備えている。

行動価値算出部３２ａは、それぞれの行動ａの価値Ｑを算出するものであり、状態ｓを入力とし、価値Ｑを出力とするニューラルネットワークを備えている（図２参照）。図２のニューラルネットワークは、マルコフ決定過程とするためにリカレントニューラルネットワークとする場合もある。また、ニューラルネットワーク以外の近似関数を用いてもよい。

また、行動価値算出部３２ａは、状態取得部２１ｃで取得した状態ｓ及び報酬算出部３２ｄで算出した報酬ｒに基づいて、価値Ｑを以下の式により更新する。なお、本実施形態の行動価値算出部３２ａは、ニューラルネットワークを用いているので、誤差逆伝搬法によって学習する。

方策選択部３２ｂは、冷蔵庫１００に関連する行動ａを、価値Ｑに基づいて選択するものである。本実施形態の方策選択部３２ｂは、ε−ｇｒｅｅｄｙ法を用いて、行動ａを選択する。つまり、方策選択部３２ｂは、一定の確率εで、現在の状態ｓから取り得る行動ａのうち１つをランダムに選び、１−εの確率で現在の状態ｓから最大の価値Ｑを持つ行動ａを選択する。

そして、この方策選択部３２ｂにより選択された行動ａは、制御部３１による冷蔵庫本体２の制御に用いられる。具体的に行動ａは、制御部３１による各アクチュエータの指令値又は制御パラメータを決定するものである。

アクチュエータの指令値としては、例えば、冷蔵庫１００に給電する電力系統の切替、圧縮機の回転数、膨張弁の開度、蒸発器用ファン（Ｒ−Ｆａｎ、Ｆ−Ｆａｎ）の回転数、除霜ヒータの出力などであり、制御パラメータとしては、例えば、圧縮機に同期した蒸発器用ファンのＯＮ／ＯＦＦの遅れ時間（Ｄｅｌａｙ時間）、ポンプダウン時間、除霜時間などである。なお、冷蔵庫１００に給電し得る電力系統が複数ある場合には、ダイナミック・プライシングにより電力の価格が変動する環境下において、例えば分電盤を用いて冷蔵庫１００に給電する電力系統の切替を行うこともできる。

状態取得部３２ｃは、方策選択部３２ｂで選択した行動ａを実行したときの冷蔵庫１００に関連する状態ｓを取得する。

状態ｓとしては、例えば、ダイナミック・プライシングに関する情報（価格情報など）、庫内温度、室温、外気温、蒸発器温度、湿度、消費電力量、積算電力量、冷却時間などである。なお、温度、湿度、電力量については、瞬時値であっても良いし、平均値であってもよい。

報酬算出部３２ｄは、方策選択部３２ｂで選択した行動ａを実行したときの報酬ｒを算出する。また、報酬算出部３２ｄには、評価指標となる電気料金、平均庫内温度、温度ヒステリシス、湿度などのそれぞれに対する報酬ｒを定めた評価ルールが予め設定されている。

この評価ルールとしては、例えば以下である。
例１）電力量は低ければ低いほど、報酬ｒが大きい。
評価指数：定数／Ｃｙｃｌｅ平均電力
例２）１日の電気料金が低ければ低いほど、報酬ｒが大きい。
評価指数：定数／１日の電気料金
（１日の電気料金：Σ各時間帯の電気料金×各時間帯の電力量）
例３）目標温度に近いほど、報酬ｒが大きい。
評価指数：定数／（測定温度−目標温度）
例４）庫内湿度が高ければ高いほど、報酬ｒが大きい。
評価指数：定数×湿度
なお、本実施形態では、これらの報酬をすべて足し合わせたものを最終的な報酬としている。

しかして、本実施形態の強化学習部３２は、図３及び図４に示すように、通常運転の途中で、定期的に又は所定の学習開始トリガにより、強化学習するための学習運転を行うものであり、さらに、その学習運転の途中で、冷蔵庫１００に関連する状態を所定の基準状態に戻す復帰運転を行う。本実施形態の復帰運転は、庫内温度を所定の基準値（初期値）に戻すものである。復帰運転は、学習運転の途中で発生する場合もあるし、最後に発生する場合もある。

ここで、庫内温度が取り得る状態としては、図５に示すものが考えられる。つまり、冷蔵室の庫内温度と冷凍室の庫内温度の温度範囲として、（１）安定運転（扉開閉なし）時に取る状態の温度範囲と、（２）扉開閉時に取る状態の温度範囲（但し、庫内温度≦外気温の場合）と、（３）冷蔵庫の仕様上、通常起こらない状態の温度範囲とが考えられる。このうち、復帰運転により戻される所定の基準範囲は、安定運転（扉開閉なし）時に取る状態の温度範囲の中で設定されており、前記所定の基準値（初期値）は、この所定の基準範囲内に設定されている。

具体的に状態取得部３２ｃが取得した庫内温度が所定の上限値を超えた場合に、強化学習部３２は、強化学習を一旦停止し、制御部３１に対して庫内温度を初期値に戻す制御を行わせる指令を出力する。その後、状態取得部３２ｃが取得した庫内温度が初期値に戻った場合に、強化学習部３２は、強化学習を再開する。なお、本実施形態では、冷蔵用蒸発器に冷媒を流して冷蔵室を冷却する動作と、冷凍用蒸発器に冷媒を流して冷凍室を冷却する動作とを交互に行うように構成されており、これらを１サイクルとして、１サイクルごとに、学習運転を行うか、復帰運転を行うかを判断している。図４では、１サイクルごとに学習運転及び復帰運転を交互に行う例を示しているが、これに限られない。

次に、本実施形態の冷蔵庫１００の具体的な運転動作とともに強化学習部３２の学習動作について図６を参照して説明する。

（通常運転）
冷蔵庫１００の運転を開始すると（ステップＳ１）、学習済みニューラルネットワークモデルを制御器にロードする（ステップＳ２）。そして、図７に示すように、ニューラルネットワークモデルにより行動を選択し（ステップＳ４）、所定の状態遷移で制御する（ステップＳ５）。なお、所定の状態遷移は、「冷蔵冷却」→「冷凍冷却」→「ポンプダウン」→「圧縮機停止」の４つの状態の遷移である。

（学習運転）
この通常運転において、学習開始トリガが発生したか否かを判断する（ステップＳ５）。なお、ここでの学習開始トリガは、例えばダイナミック・プライシングに基づく未経験の電気料金への変更である。学習開始トリガが発生していなければ、ステップＳ３に戻り、通常運転を継続する。なお、ダイナミック・プライシングに関する情報（電気料金に関する情報）は、電気事業者により定期的（例えば前日の１６時に次の日の価格が更新される）に送信される。

一方、学習開始トリガが発生した場合には、電気料金の情報を取得する（ステップＳ６）。そして、ε−ｇｒｅｅｄｙ法で次の行動を選択し、出力する（ステップＳ７）。そして、ステップＳ４と同様に、所定の状態遷移で制御する（ステップＳ８）。ここで、冷凍サイクルのサイクル開始点か否かを判断し（ステップＳ９）、サイクル開始点の場合には、現状態を取得する（ステップＳ１０）。ここで、現状態としては、例えば、冷蔵室庫内温度、冷凍室庫内温度及び電力量などである。この現状態に基づいて、報酬を計算する（ステップＳ１１）。

また、前状態が存在するか否かを判断し（ステップＳ１２）、前状態が無ければ、ステップＳ１７の復帰運転の判定に移る。前状態がある場合には、「前状態、報酬、行動、現状態」を含む学習データ（図８に示す「現状態」と「次状態」とのデータセット）をバッファーに保存する（ステップＳ１３）。

学習データを保存したバッファーからランダムにバッチ数の学習データを選択し（ステップＳ１４）、選択した学習データからＱ値を計算する（ステップＳ１５）。そして、現状態（入力）とＱ値（出力）を使って、ニューラルネットワークを誤差逆伝搬法で学習する（ステップＳ１６）。

（復帰運転）
復帰運転の判定は、冷蔵室庫内温度及び冷凍室庫内温度のそれぞれが所定の初期値の設定範囲内（所定の基準範囲内、図５参照）か否かを判定することにより行う（ステップＳ１７）。

冷蔵室庫内温度及び冷凍室庫内温度の何れかが所定の初期値の設定範囲外の場合には、復帰運転を行う（ステップＳ１８）。ここで、復帰運転は、図９に示すように、冷蔵冷却又は冷蔵冷却を通常のサイクルよりも短い時間で行い、所定の状態遷移で制御する。例えば、通常のＯＮ点、ＯＦＦ点とは別のＯＮ点、ＯＦＦ点で、且つ、ＯＮ点、ＯＦＦ点をランダムに振る。

この復帰運転の後、設定した学習回数を経過したか否かを判断し（ステップＳ１９）、経過している場合には、通常運転のステップＳ３に戻る。一方、経過していない場合には、学習運転のステップＳ７に戻る。

次に、上記のステップＳ５における学習開始トリガの具体的な内容及び学習タイミング・学習回数は、図１０に示すように、次のものを挙げることができる。
［環境要因の変化］
（１）電気料金の変化（地域による電気料金の変化）や凝縮器の放熱性能の変化の場合には、冷蔵庫の設置から１か月程度で１日数時間程度
（２）電気料金の変化（日々の電気料金の変化）の場合には、過去に未経験の電気料金に対して数時間〜１日
（３）外気（温度・湿度）の変化の場合には、季節毎に数日程度で半日〜１日程度
［冷蔵庫特性の変化］
（４）断熱性能又は冷却性能の劣化の場合には、半年に１回程度で数時間〜１日程度
（５）冷却性能の変化（蒸発器の着想度合いの違い）の場合には、外気温、湿度が過去に未経験である場合（季節毎に数日）に数時間〜半日程度
［利用方法の変化］
（６）ドア開閉による新入熱の変化の場合、食品の入出庫による侵入熱、熱容量の変化、食品を置く場所による風周りの変化の場合には、ドア開閉後の温度変化が未経験である場合に、設置後１か月間は頻繁に学習し、その後は、月数回数時間程度

＜本実施形態の効果＞
このように構成された冷蔵庫１００によれば、強化学習部３２が学習するための学習運転の途中で、冷蔵庫１００に関連する状態を所定の基準状態に戻す復帰運転を行うので、冷蔵庫１００がユーザの使用環境では起こってはならない状態になることを防ぐことができる。その結果、学習運転において無駄なデータを取得することなく、冷蔵庫１００の性能を所望の一定範囲で保証することができる。

＜その他の変形実施形態＞
なお、本発明は、前記実施形態に限られるものではない。

例えば、強化学習としては、Ｑ学習の他に、ＳＡＲＳＡ、モンテカルロ法、方策勾配法等を用いてもよい。ただし、Ｑ学習等の方策オフ型（Ｏｎ−Ｐｏｌｉｃｙ）のアルゴリズムではなく、ＳＡＲＳＡや方策勾配法等の方策オン型（Ｏｆｆ−Ｐｏｌｉｃｙ）のアルゴリズムを選択する場合は所定の学習を終えるか温度保証のために学習を停止するまで復帰運転を実施しない等の違いが生じる。

また、庫内温度などを温度センサにより検出することによって復帰運転に切り替える構成の他に、復帰運転に切り替えることなく、庫内温度が所定の上限値を超えないように構成してもよい。例えば、前記報酬算出部３２ｄにおいて、庫内温度が所定の上限値を超えないような条件に対して報酬を設定してもよい。

さらに、前記実施形態は、冷蔵庫に強化学習機能を備えさせるものであったが、冷蔵庫とは別体に強化学習装置を設けてもよい。

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

１００・・・冷蔵庫
２ ・・・冷蔵庫本体
３１ ・・・制御部
３２ ・・・強化学習部
３２ａ・・・行動価値算出部
３２ｂ・・・方策選択部
３２ｃ・・・状態取得部
３２ｄ・・・報酬算出部

Claims (7)

1. 冷凍サイクルを有する冷蔵庫本体と、
   前記冷蔵庫本体を制御する制御部と、
   前記制御部に対して強化学習を行う強化学習部とを備え、
   前記強化学習部は、強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行う、冷蔵庫。
2. 前記強化学習部は、
   行動価値関数を算出する行動価値算出部と、
   前記冷蔵庫に関連する行動を、前記行動価値情報に基づいて選択する方策選択部と、
   前記方策選択部で選択した行動を実行したときの前記冷蔵庫に関連する状態を取得する状態取得部と、
   前記方策選択部で選択した行動を実行したときの報酬を算出する報酬算出部とを備え、
   前記行動価値算出部は、前記状態取得部で取得した状態及び前記報酬算出部で算出した報酬に基づいて、前記行動価値情報を更新する、請求項１記載の冷蔵庫。
3. 前記状態取得部は、ダイナミック・プライシングに関する情報を取得するものであり、
   前記報酬算出部は、電気料金が安いほど大きい報酬を算出するものである、請求項２記載の冷蔵庫。
4. 前記方策選択部は、前記冷蔵庫に関連する行動として電力系統の切替を選択する、請求項３記載の冷蔵庫。
5. 前記強化学習部は、前記復帰運転において、庫内温度を所定の基準値に戻すものである、請求項１乃至４の何れか一項に記載の冷蔵庫。
6. 冷凍サイクルを有する冷蔵庫本体を制御する制御部に対して強化学習を行う強化学習装置であって、
   強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行う、強化学習装置。
7. 冷凍サイクルを有する冷蔵庫本体を制御する制御部に対して強化学習を行う強化学習方法であって、
   強化学習するための学習運転の途中で、冷蔵庫に関連する状態を所定の基準状態に戻す復帰運転を行う、強化学習方法。

Images