JP2020041761A - 冷蔵庫の入出庫管理システム、および冷蔵庫 - Google Patents

Abstract

【課題】入出庫管理の精度向上を図ることができる冷蔵庫の入出庫管理システムおよび冷蔵庫を提供することである。【解決手段】実施形態の冷蔵庫の入出庫管理システムは、冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力するように学習された第１学習モデルを用いて、前記センサにより取得された情報に基づき前記冷蔵庫の入出庫を判定する検知部を備えている。【選択図】図３

Description

本発明の実施形態は、冷蔵庫の入出庫管理システム、および冷蔵庫に関する。

所定のアルゴリズムによって入出庫管理を行う冷蔵庫が知られている。このような入出庫管理は、さらなる精度向上が期待されている。

特開２０１５−８１７６２号公報

本発明が解決しようとする課題は、入出庫管理の精度向上を図ることができる冷蔵庫の入出庫管理システム、および冷蔵庫を提供することである。

実施形態の冷蔵庫の入出庫管理システムは、冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力するように学習された第１学習モデルを用いて、前記センサにより取得された情報に基づき前記冷蔵庫の入出庫を判定する検知部を備えている。

第１の実施形態の入出庫管理システムの全体構成を示す図。 第１の実施形態の冷蔵庫を示す図。 第１の実施形態の入出庫管理システムのシステム構成を示すブロック図。 第１の実施形態の第１学習モデルを模式的に示す図。 第１の実施形態の第１学習モデルに用いられるニューラルネットワークの一部を模式的に示す図。 第１の実施形態の入力層に対する入力データの一例を示す図。 第１の実施形態の不正解データである入力データの一例を示す図。 第１の実施形態の第２学習モデルの教師データの一例を示す図。 第１の実施形態の入出庫管理データベースの一例を示す図。 第１の実施形態の端末機器に表示される情報の一例を示す図。 第１の実施形態の端末機器に表示される情報の別の一例を示す図。 第１の実施形態の訂正受付画面の一例を示す図。 第１の実施形態の第１訂正処理が行われる場合の表示画面を示す図。 第１の実施形態の第２訂正処理が行われる場合の表示画面を示す図。 第１の実施形態の訂正受付画面の別の一例を示す図。 第１の実施形態の入出庫管理システムの実行段階の処理の流れを示すフローチャート。 第１の実施形態の入出庫管理システムの訂正処理の流れを示すフローチャート。 第１の実施形態の第１変形例の第１学習モデルを模式的に示す図。 第２の実施形態の入出庫管理システムの全体構成を示す図。

以下、実施形態の冷蔵庫の入出庫管理システム、および冷蔵庫を、図面を参照して説明する。以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。本明細書で「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。本明細書では、学習モデルを学習させる段階を「学習段階」、学習された学習モデルを用いて処理を行う段階を「実行段階」と称する。

（第１の実施形態）
［１．全体構成］
図１から図１７を参照し、第１の実施形態について説明する。まず、入出庫管理システム１の全体構成について説明する。図１は、入出庫管理システム１の全体構成を示す。入出庫管理システム１は、例えば、各家庭に設置された冷蔵庫１００と、冷蔵庫１００のユーザが使用する端末機器２００と、サーバ装置３００とを含む。サーバ装置３００は、例えばクラウドサーバであり、ネットワークＮＷを介して冷蔵庫１００および端末機器２００と通信可能である。ネットワークＮＷは、例えば、インターネットやＷＡＮ（Wide Area Network）、各家庭内のＬＡＮ（Local Area Network）などを含む。ネットワークＮＷにおける一部または全部の通信は、無線で実現されてもよい。以下、入出庫管理システム１に含まれる各装置について詳しく説明する。

［２．冷蔵庫］
まず、冷蔵庫１００について説明する。
図２は、本実施形態の冷蔵庫１００を示す。図２中の（ａ）は、冷蔵室１１１Ａの扉１２０が開かれた状態を示す。図２中の（ｂ）は、冷蔵室１１１Ａの扉１２０が閉じられた状態を示す。冷蔵庫１００は、例えば、冷蔵庫本体１１０、複数の扉１２０、開閉検知スイッチ１３０、複数のセンサ１４０、表示装置１５０、操作部１６０、無線送信部１７０、および制御装置１８０を備えている。

冷蔵庫本体１１０は、断熱性を有するキャビネットにより構成されており、内部に複数の貯蔵室１１１が形成されている。貯蔵室１１１は、冷蔵室１１１Ａ、野菜室、製氷室、小冷凍室、主冷凍室などを含む。冷蔵庫本体１１０は、各貯蔵室１１１の前面側に、各貯蔵室１１１に対して物の出し入れを可能にする開口部１１２を有する。開口部１１２は、１つ以上の扉１２０によって閉じられる。

開閉検知スイッチ１３０は、例えば、冷蔵庫本体１１０と扉１２０との間に設けられている。開閉検知スイッチ１３０は、貯蔵室１１１の開口部１１２に対して扉１２０が開かれた場合に、扉１２０が開かれたことを検知する。また、開閉検知スイッチ１３０は、貯蔵室１１１の開口部１１２に対して扉１２０が閉じられた場合に、扉１２０が閉じられたことを検知する。

複数のセンサ１４０は、例えば、貯蔵室１１１内に設けられて、貯蔵室１１１の様子をセンシングする。複数のセンサ１４０は、例えば開口部１１２の周辺に配置されている。センサ１４０は、例えば、カメラである。このため以下では、説明の便宜上、「センサ１４０」を「カメラ１４０」と読み替えて説明する。「カメラにより撮影された画像」は、「センサにより検出された検出値」の一例である。ただし、センサ１４０は、カメラに限定されず、赤外線センサや超音波センサなど他の種類のセンサでもよい。このため以下の説明における「カメラにより撮影された画像」とは、「センサにより取得された情報」および「センサにより検出された検出値」とそれぞれ読み替え可能である。「センサにより検出された検出値」は、例えば、ユーザの手の位置（動き）や、手の形状・姿勢（指先の開き方や角度）などに応じて異なる検出結果が含まれる検出値である。

本実施形態では、カメラ１４０は、例えば、貯蔵室１１１の天井面や側面などに設けられ、開口部１１２を通過する物やユーザの手などを撮影する。カメラ１４０は、開閉検知スイッチ１３０により扉１２０が開かれたことが検知された場合に撮影を開始し、所定のサンプリング周期（１秒間に５回など）で撮影を行う。カメラ１４０は、開閉検知スイッチ１３０により扉１２０が閉められたことが検知された場合に撮影を終了する。なお、カメラ１４０は、開口部１１２とは異なる場所（例えば扉１２０の内側ポケットや貯蔵室１１１に設けられた棚）を撮影するカメラでもよい。また、カメラ１４０は、冷蔵庫１００に対して１つのみ設けられてもよい。なお以下では説明を簡単にするため、貯蔵室１１１の天井面に設けられた１つのカメラ１４０により撮影された画像に基づき、サーバ装置３００で入出庫の判定が行われる例について説明する。

表示装置１５０は、例えば、扉１２０の前面に設けられている。表示装置１５０は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどであり、画像や文字を表示可能な表示画面１５１を有する。

操作部１６０は、例えば、タッチパネル式の入力装置であり、表示装置１５０の表示画面１５１に対して重ねて設けられている。ユーザは、操作部１６０を操作することで、所定の入力や選択を行うことができる。なお、操作部１６０は、タッチパネル式の入力装置に限定されず、冷蔵庫１００に設けられたボタンなどでもよい。

無線送信部１７０は、高周波回路およびアンテナなどを含み、無線によりネットワークＮＷと接続可能である。例えば、無線送信部１７０は、冷蔵庫１００が設置された家庭に設けられた無線ＬＡＮルータおよびモデムを介してネットワークＮＷに接続される。

制御装置１８０は、冷蔵庫１００の全体を制御する。例えば、制御装置１８０は、開閉検知スイッチ１３０、複数のカメラ１４０、表示装置１５０、操作部１６０、および無線送信部１７０の動作を統括的に制御する。制御装置１８０は、カメラ１４０により新しい画像が撮影される毎に、新しく撮影された画像をサーバ装置３００に送信する。制御装置１８０は、カメラ１４０により撮影された画像を、その画像が撮影された時刻情報（以下、「撮影時刻情報」と称する）と対応付けて、サーバ装置３００に送信する。

［３．端末機器］
図１に戻り、端末機器２００について説明する。端末機器２００は、例えば、冷蔵庫１００のユーザが所有する端末機器であり、スマートフォンやタブレット端末のような携帯端末機器、またはパーソナルコンピュータなどである。端末機器２００は、表示装置２１０と、操作部２２０とを有する。

表示装置２１０は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどであり、画像や文字を表示可能な表示画面２１１を有する。操作部２２０は、例えば、タッチパネル式の入力装置であり、表示装置２１０の表示画面２１１に対して重ねて設けられている。ユーザは、操作部２２０を操作することで、所定の入力や選択を行うことができる。なお、操作部２２０は、タッチパネル式の入力装置に限定されず、端末機器２００に設けられたボタンやキーなどでもよい。

以上説明した冷蔵庫１００および端末機器２００では、入出庫管理システム１を利用するためのアプリケーションプログラム、またはウェブブラウザなどが起動し、以下に説明する処理がサポートされる。

［４．サーバ装置］
次に、サーバ装置３００について説明する。
図３は、入出庫管理システム１のシステム構成を示す。サーバ装置３００は、例えば、情報取得部３１０、検知部３２０、選択部３３０、入出庫管理部３４０、情報生成部３５０、情報出力部３６０、訂正受付部３７０、第１追加学習部３８０、第２追加学習部３９０、および記憶部ＳＴを有する。これら機能部（情報取得部３１０、検知部３２０、選択部３３０、入出庫管理部３４０、情報生成部３５０、情報出力部３６０、訂正受付部３７０、第１追加学習部３８０、および第２追加学習部３９０）の一部または全部は、ＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）などのハードウェアプロセッサが記憶部ＳＴに格納されたプログラム（ソフトウェア）を実行することにより実現される。ただし、これらの機能部のうち一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。

記憶部ＳＴは、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、マスクＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などのうち１つ以上により構成されている。記憶部ＳＴには、後述する第１学習モデル４１０、第２学習モデル４２０、入出庫管理データベース４３０（以下、「入出庫管理ＤＢ４３０」と称する）、第１検定用データセット４４０、第２検定用データセット４５０、および、第１および第２の学習モデル４１０，４２０の学習に用いられる教師データ（不図示）などが記憶されている。

まず、情報取得部３１０について説明する。情報取得部３１０は、冷蔵庫１００から送信された情報を受信する。例えば、情報取得部３１０は、カメラ１４０により撮影された画像およびその撮影時刻情報を取得する。本明細書でいう「取得」とは、冷蔵庫１００に対して送信要求を送信することで冷蔵庫１００に情報を送信させる場合に限定されず、冷蔵庫１００から送信される情報を受け身で受信する場合も含む。情報取得部３１０は、冷蔵庫１００から取得された画像および撮影時刻情報を、入出庫管理ＤＢ４３０に登録する。また、情報取得部３１０は、冷蔵庫１００から取得された画像を検知部３２０に出力する。

次に、検知部３２０について説明する。検知部３２０は、予め学習された第１学習モデル４１０を用いて、カメラ１４０により撮影された画像に基づき冷蔵庫１００の入出庫を判定する。詳しく述べると、第１学習モデル４１０は、冷蔵庫１００に設けられたカメラ１４０により撮影された画像が入力されると冷蔵庫１００の入出庫の判定結果を出力するように学習されたニューラルネットワークである。第１学習モデル４１０は、冷蔵庫１００内の様子を示す画像と、その画像に対応する正解情報（「入庫」、「出庫」、または「入庫も出庫もされていない」）とが対応付けられたデータセットを教師データとして学習されている。本実施形態では、第１学習モデル４１０がコンボリューションネットワーク（ＣＮＮ）により構築される例について説明する。なお、第１学習モデル４１０がリカレントニューラルネットワーク（ＲＮＮ）により構築される例については後述する。

図４は、ＣＮＮにより構成された第１学習モデル４１０を模式的に示す。第１学習モデル４１０は、入力層４１１、複数の隠れ層４１２、および出力層４１３を含む。複数の隠れ層４１２は、畳み込み層４１２Ａ、プーリング層４１２Ｂ、不図示のＲｅＬＵ（Rectified Linear Unit）層などを含む。畳み込み層４１２Ａは、画像に対する畳み込み演算（画像に対するフィルタ処理）を行う。プーリング層４１２Ｂは、画像を縮小する処理を行う。ＲｅＬＵ層は、演算結果の負の値を０にする処理を行う。畳み込み層４１２Ａ、プーリング層４１２Ｂ、およびＲｅＬＵ層により１つの中間層が形成されており、この中間層が何層にも重ねられている。隠れ層４１２の最終段には、全結合層４１２Ｃが設けられている。図４では入力層４１１に対する入力データとして１枚の画像が与えられているが、本実施形態では入力層４１１に対して時系列に連続する２つ以上の画像が同時に与えられる。これについては後述する。

図５は、第１学習モデル４１０に用いられるニューラルネットワークの一部を模式的に示す。ｘは、各層のユニット（ノード）の値を示し、画像が入力される場合、入力層４１１では画素値に相当する値になる。各ユニットの値は、１つ前の層のユニットの出力に重みｗを乗算して加算した値を所定の関数で計算したものである。これらを式で表すと次のようになる。

ここで、ｂは、バイアス項である。関数ｆとしては、ＲｅＬＵやシグモイド関数などが用いられる。上記式（１）の計算を入力層４１１から出力層４１３まで繰り返すことで、第１学習モデル４１０による判定結果が求まる。「学習」とは、重みｗおよびバイアス項ｂなどを適切な値に調整することを意味する。学習は、確率的勾配降下法などで行われる。すなわち、各層の重みｗおよびバイアス項ｂにランダムな値を与え、教師データとなるデータセットを入力層４１１に与える。学習の初期段階では、出力層４１３から出力される出力値は誤った値となるが、教師データの場合は本来出力されて欲しい値（目的値）が分かっているため、出力値と目的値のずれ（誤差）が小さくなるように出力層４１３から入力層４１１へ向かって逆順に重みなどを更新していく。これは誤差逆伝播と呼ばれ、出力値と目的値の誤差は二乗誤差や交差エントロピーなどで表現される。このとき、誤差が微分可能な関数で表現されると、誤差を小さくするために調整する量（勾配）を計算で求めることができる。

次に、第１学習モデル４１０の入力層４１１に与えられる入力データについて説明する。本実施形態では、入力層４１１に対する入力データとして、時系列で連続する２つ以上（例えば３つ以上）の画像が同時に与えられる。すなわち、入力層４１１に対する入力データとしては、時系列で連続する２つ以上（例えば３つ以上）の画像が１単位として与えられる。「時系列で連続する２つ以上の画像（２つ以上の検出値）」とは、カメラ（センサ）により順に取得された複数の画像（複数の検出値）の間に、別のタイミングで取得された画像（検出値）が割り込んでいないことを意味する。「時系列で連続する２つ以上の画像（２つ以上の検出値）」は、「時系列の順に並べられた（時系列の順に関連付けられた）２つ以上の画像（２つ以上の検出値）」と読み替えられてもよい。

図６は、入力層４１１に対する１単位の入力データ（以下、「入力データ５１０」と称する）の一例を示す。１単位の入力データ５１０は、例えば、冷蔵庫１００の入庫または出庫に関するユーザの一連の動作を撮影した複数の画像ＩＭを含む。図６に示す例では、入力データ５１０は、時系列で連続する５つの画像ＩＭを含む。本実施形態では、これら５つの画像ＩＭが入力層４１１に同時に入力される。第１学習モデル４１０は、上記のような入力データ５１０を教師データとして学習が行われることで、時系列で連続する２つ以上の画像ＩＭの入力を反映させて入出庫の判定結果を出力するように学習されている。

なお、学習段階では、正解データだけでなく、不正解データも与えられる。図７は、不正解データである入力データ５１０の一例を示す。不正解データは、例えば、入庫も出庫もされていない場合の画像ＩＭである。また、教師データとしては、持つ物の角度や種類を変えたり、手袋をつけたり、マジックハンドで物を入れたりするようなデータが与えられてもよい。さらに環境の違いによる誤検知を低減するため、加工や合成により得られた画像も学習させてもよい。例えば、画像の場合の加工方法としては、ランダムな領域のクリッピングや左右反転、回転、輝度の変更、コントラストの変更、白色化などが挙げられる。

第１学習モデル４１０は、実行段階において、時系列で連続する２つ以上の画像ＩＭとして、カメラ１４０により撮影された最新の画像ＩＭを含む直近の過去の所定時間分（例えば１秒分）の画像ＩＭが入力される。第１学習モデル４１０は、カメラ１４０により撮影された複数の画像ＩＭが入力されると、冷蔵庫１００の入出庫の判定結果を示す出力値を出力する。例えば、第１学習モデル４１０は、冷蔵庫１００の入出庫の判定結果として、「入庫の可能性」、「出庫の可能性」、および「入庫も出庫もされていない可能性」をそれぞれ示す確率値を出力する。例えば、第１学習モデル４１０は、「入庫の可能性」が０．６、「出庫の可能性」が０．１、「入庫も出庫もされていない可能性」が０．３といった出力値を出力する。

この場合、検知部３２０は、第１学習モデル４１０とは別に、判定部３２０ａを有してもよい。判定部３２０ａは、例えば、入庫の可能性を示す出力値が入庫閾値（例えば０．８）を超えた場合、「入庫」と判定し、出庫の可能性を示す出力値が出庫閾値（例えば０．８）を超えた場合、「出庫」と判定する。ただし、第１学習モデル４１０から出力される判定結果は、上記例に限定されない。例えば、第１学習モデル４１０は、「入庫」および「出庫」の各々に対して２値（ＹＥＳ／ＮＯ）の判定結果を出力してもよい。

本実施形態では、検知部３２０は、カメラ１４０により撮影された画像ＩＭが入力されることで、「入庫」、「出庫」、および「入庫も出庫もされていない」のいずれかを示す判定内容を出力する。検知部３２０の判定内容は、例えばその判定に用いられた画像ＩＭのセットと対応付けられて、選択部３３０および入出庫管理部３４０に出力される。

本実施形態では、検知部３２０は、「入庫」または「出庫」などの判定は行うが、入庫されたまたは出庫された対象物が何であるかの判定は行わない。検知部３２０による判定内容は、後述する選択部３３０により選択された画像ＩＭと対応付けられて管理される。

次に、選択部３３０について説明する。選択部３３０は、カメラ１４０により撮影されて第１学習モデル４１０に入力された複数の画像ＩＭのなかから、検知部３２０の判定内容と対応付けられるのに適した画像ＩＭを自動的に選択する。本実施形態では、選択部３３０は、予め学習された第２学習モデル４２０を用いて、第１学習モデル４１０に入力された複数の画像ＩＭのなかから検知部３２０の判定内容と対応付けられる画像ＩＭを選択する。詳しく述べると、第２学習モデル４２０は、第１学習モデル４１０と同様のニューラルネットワークにより構成されている。第２学習モデル４２０は、画像ＩＭが入力されると、検知部３２０の判定内容と対応付けられる画像ＩＭとしての適性に関する判定結果を出力するように学習されている。

図８は、第２学習モデル４２０の学習段階で用いられる教師データの一例を示す。第２学習モデル４２０の学習に用いられる教師データは、例えば、冷蔵庫１００内の様子を示す画像ＩＭと、その画像ＩＭの適性度を示すスコアとが対応付けられたデータセットである。例えば、スコアは、入庫または出庫される対象物が画像ＩＭの真ん中にあるほど、高い値が設定される。図８に示す例では、最上方の画像ＩＭに「０．２」のスコアが付与され、上から２番目の画像ＩＭに「１．０」のスコアが付与され、残りの画像ＩＭに「０．０」のスコアが付与されている。第２学習モデル４２０は、教師データの画像ＩＭが入力された場合、第２学習モデル４２０の出力結果が入力された画像ＩＭに付与されたスコアと一致するように学習されている。

第２学習モデル４２０は、実行段階において、カメラ１４０により撮影された画像ＩＭが入力されると、検知部３２０の判定内容と対応付けられる画像ＩＭとしての適性度を示す値として、例えば「０．０」から「１．０」の間のスコアを出力する。

本実施形態では、選択部３３０は、第２学習モデル４２０とは別に、判定部３３０ａを有する。判定部３３０ａは、例えば、検知部３２０により「入庫」または「出庫」が判定された場合に、その判定に用いられた画像ＩＭのセットのなかから、第２学習モデル４２０により最も高いスコアが出力された画像ＩＭを、検知部３２０の判定内容と対応付けられる画像ＩＭとして選択する。なお選択部３３０は、「入庫」または「出庫」の判定に用いられた画像ＩＭのセットに加えて、撮影時刻情報に基づきそれらの画像ＩＭの少し前または少し後に撮影された画像ＩＭを選択候補としてもよい。選択部３３０による選択結果は、検知部３２０の判定内容と対応付けられて、入出庫管理部３４０に出力される。

次に、入出庫管理部３４０について説明する。入出庫管理部３４０は、検知部３２０の判定内容と、選択部３３０により選択された画像ＩＭとに基づき、冷蔵庫１００の入出庫状況を管理する。

図９は、入出庫管理部３４０により管理される入出庫管理ＤＢ４３０の一例を示す。入出庫管理ＤＢ４３０には、例えば、カメラ１４０により撮影された画像ＩＭであって、撮影されてからあまり日数が経っていない全ての画像ＩＭが保存されている。すなわち、入出庫管理ＤＢ４３０に保存されている画像ＩＭは、選択部３３０により選択された画像ＩＭに加え、選択部３３０により選択されなかった画像ＩＭも含む。これら画像ＩＭは、それぞれ画像ＩＭの撮影時刻情報と対応付けられて管理されている。

入出庫管理部３４０は、入出庫管理ＤＢ４３０に対して、検知部３２０の判定内容（「入庫」または「出庫」を示す情報）を登録する。例えば、入出庫管理部３４０は、検知部３２０の判定内容と、その判定に対応して選択部３３０により選択された画像ＩＭ（選択画像）とを対応付けて管理する。また、入出庫管理部３４０は、検知部３２０の判定内容と、その判定に用いられた画像ＩＭのセットとを対応付けて管理してもよい。

本実施形態では、入出庫管理部３４０は、検知部３２０により「入庫」が判定された場合、その判定に対応して選択部３３０により選択された画像ＩＭに、所定のマーキングを付与する。所定のマーキングは、在庫であることを示すマーキングである。一方で、入出庫管理部３４０は、検知部３２０により「出庫」が判定された場合、入庫時に付されていたマーキングを削除する。具体的には、入出庫管理部３４０は、検知部３２０により「出庫」が判定された場合、その判定に対応して選択部３３０により選択された画像ＩＭと、入出庫管理ＤＢ４３０のなかでマーキングが付されている１つ以上の画像ＩＭとを比較する。そして、入出庫管理部３４０は、それら画像ＩＭの類似度が所定の閾値を超えている場合に、その画像ＩＭに対応する対象物が出庫されたと判定し、その画像ＩＭに付されているマーキングを削除する。これにより、入出庫管理部３４０は、冷蔵庫１００内の在庫状況を管理する。

次に、情報生成部３５０について説明する。情報生成部３５０は、冷蔵庫１００と、冷蔵庫１００のユーザが使用する端末機器２００とのうち少なくとも一方の表示画面１５１，２１１に、検知部３２０の判定内容と選択部３３０により選択された画像ＩＭとを対応付けて表示させる情報を生成する。情報生成部３５０は、例えば入出庫管理ＤＢ４３０に基づき、上記情報を生成する。なお本明細書でいう「検知部３２０の判定内容」とは、対象物が（入庫した結果）在庫として存在することを示す内容でもよい。すなわち、本明細書書でいう「検知部３２０の判定内容と画像ＩＭとを対応付けて表示させる」とは、画像ＩＭを「在庫」として表示させる場合も含む。以下では、情報生成部３５０により生成された情報が端末機器２００の表示画面２１１に表示される例を説明する。ただし、冷蔵庫１００の表示画面１５１にも、以下に説明する内容と同様の情報が表示されてもよい。

図１０は、情報生成部３５０により生成されて端末機器２００の表示画面２１１に表示される情報の一例を示す。端末機器２００の表示画面２１１には、例えば、検知部３２０の判定内容（「入庫」または「出庫」）を示す情報と、その判定に対応して選択部３３０により選択された画像ＩＭとが対応付けられて表示される。また、表示画面２１１には、表示画面２１１に表示された内容の訂正を受け付けるための訂正ボタンＢＴ１１が表示される。この機能については後述する。

図１１は、情報生成部３５０により生成されて端末機器２００に表示される情報の別の一例を示す。端末機器２００の表示画面２１１には、冷蔵庫１００内の在庫の一覧を示す情報が表示される。例えば、端末機器２００の表示画面２１１には、冷蔵庫１００内の在庫を示す画像ＩＭの一覧が表示される。また、表示画面２１１には、表示画面２１１に表示された内容の訂正を受け付けるための訂正ボタンＢＴ１２が表示される。この機能については後述する。

次に、情報出力部３６０について説明する。情報出力部３６０は、情報生成部３５０により生成された情報を、冷蔵庫１００と、冷蔵庫１００のユーザが使用する端末機器２００とのうち少なくとも一方に送信する。情報出力部３６０は、検知部３２０により入庫または出庫の判定が行われる毎に上記情報を送信してもよく、冷蔵庫１００または端末機器２００から送信要求（閲覧要求）を受けた場合に、上記情報を送信してもよい。

次に、訂正受付部３７０について説明する。訂正受付部３７０は、表示画面２１１に表示された画像ＩＭと検知部３２０の判定内容との対応関係に誤りがある場合、冷蔵庫１００の操作部１６０または端末機器２００の操作部２２０に対するユーザの操作に基づいて誤りの訂正を受け付ける。以下では、端末機器２００の表示画面２１１に訂正を受け付ける画面が表示され、端末機器２００の操作部２２０に対するユーザの操作に基づいて訂正が行われる例を説明する。なお、冷蔵庫１００の表示画面１５１に同様の画面が表示され、冷蔵庫１００の操作部１６０に対するユーザの操作に基づいて訂正が行われてもよい。

図１２は、本実施形態の訂正受付画面６１０の一例を示す。訂正受付部３７０は、例えば図１０中に示された訂正ボタンＢＴ１１がユーザによって操作された場合、表示画面２１１に訂正受付画面６１０を表示させる。訂正受付画面６１０は、例えば、検知部３２０の判定内容の訂正を受け付ける第１ボタンＢＴ２１と、表示された画像ＩＭの訂正を受け付ける第２ボタンＢＴ２２とを含む。

本実施形態では、訂正受付部３７０は、表示画面２１１に表示された画像ＩＭは正しいが、その画像ＩＭと対応付けられて表示画面２１１に表示された検知部３２０の判定内容に誤りがある場合（入出庫の判定に誤りがある場合）、ユーザによって第１ボタンＢＴ２１が操作されることで、検知部３２０の判定内容の訂正を受け付ける第１訂正処理を行う。

図１３は、第１訂正処理が行われる場合の表示画面２１１を示す。訂正受付部３７０は、第１訂正処理において、検知部３２０の他の判定内容の候補を表示画面２１１に表示させる。例えば、「入庫」を示すことが表示されている状態で第１ボタンＢＴ２１が操作された場合、検知部３２０の判定内容を、「出庫」に訂正するためのボタンＢＴ３１と、「入庫も出庫もされていない」に訂正するためのボタンＢＴ３２とが表示される。そして、訂正受付部３７０は、ボタンＢＴ３１，ＢＴ３２に対する操作に基づき、検知部３２０の判定内容の訂正を受け付ける。

一方で、訂正受付部３７０は、表示画面２１１に表示された検知部３２０の判定内容は正しいが、選択部３３０により選択されて前記判定内容と対応付けられて表示画面２１１に表示された画像ＩＭが適切でない場合（画像の選択が適切でない場合）、検知部３２０の判定内容と対応付けられる画像ＩＭの訂正を受け付ける第２訂正処理を行う。

図１４は、第２訂正処理が行われる場合の表示画面２１１を示す。訂正受付部３７０は、第２訂正処理において、カメラ１４０により撮影された別の１つ以上の画像ＩＭを表示画面２１１に候補画像として表示させる。「別の１つ以上の画像」としては、例えば、検知部３２０による判定に用いられた５つの画像ＩＭのセットのうち、選択部３３０により選択されなかった残りの４つの画像ＩＭである。ただし、訂正受付部３７０は、上記４つの画像ＩＭに加えて、撮影時刻情報に基づきそれらの画像ＩＭの少し前または少し後に撮影された別の画像ＩＭを候補画像として表示してもよい。訂正受付部３７０は、ユーザにより入力される候補画像から１つの画像ＩＭを選択する操作に基づき、検知部３２０の判定内容と対応付けられる画像ＩＭの訂正を受け付ける。

図１５は、本実施形態の訂正受付画面６２０の別の一例を示す。訂正受付部３７０は、例えば図１１中に示された訂正ボタンＢＴ１２がユーザによって操作された場合、表示画面２１１に訂正受付画面６２０を表示させる。

本実施形態では、訂正受付部３７０は、検知部３２０の判定内容と対応付けられて表示画面２１１に表示されるべき画像ＩＭが表示されない場合（入庫したものが在庫として表示されない場合）、検知部３２０の判定内容と対応付けられる画像ＩＭの選択を受け付ける第３訂正処理を行う。

例えば、訂正受付部３７０は、第３訂正処理において、カメラ１４０により撮影された１つ以上の画像ＩＭを表示画面２１１に候補画像として表示させる。「１つ以上の画像」としては、例えば、カメラ１４０により過去に撮影された画像ＩＭである。訂正受付部３７０は、ユーザにより入力される候補画像から１つまたは複数の画像ＩＭを選択する操作に基づき、在庫として追加されるべき画像ＩＭ（マーキングが付されるべき画像ＩＭ）の選択を受け付ける。

一方で、訂正受付部３７０は、検知部３２０の判定内容と対応付けられるべきでない画像ＩＭが検知部３２０の判定内容と対応付けられて表示画面２１１に表示される場合（出庫した対象物が在庫として表示される場合）、その画像ＩＭと検知部３２０の判定内容との対応関係を解除する第４訂正処理を行う。

例えば、訂正受付部３７０は、第４訂正処理において、在庫として表示画面２１１に表示されている画像ＩＭのなかで、在庫から削除すべき画像ＩＭ（マーキングを外すべき画像ＩＭ）の選択を受け付ける。

訂正受付部３７０は、訂正内容を受け付けると、受け付けた訂正内容を入出庫管理部３４０に出力する。入出庫管理部３４０は、訂正受付部３７０により受け付けられた訂正内容に基づき、入出庫管理ＤＢ４３０を更新する。

次に、第１追加学習部３８０について説明する。第１追加学習部３８０は、検知部３２０の判定内容の訂正を受け付ける訂正処理が行われた場合に、訂正受付部３７０により受け付けられた情報に基づき、第１学習モデル４１０を追加学習させる。例えば、訂正受付部３７０は、検知部３２０の判定内容に対して行われた訂正内容と、訂正対象となった検知部３２０の判定に用いられた画像ＩＭのセットとを対応付けて、新しい教師データとする。そして、第１追加学習部３８０は、新しい教師データを反映させるように第１学習モデル４１０を追加学習（再学習）させる。

本実施形態では、第１追加学習部３８０は、第１学習モデル４１０を追加学習させた後、追加学習させた第１学習モデル４１０の判定精度を確認する。具体的には、第１追加学習部３８０は、追加学習させた第１学習モデル４１０に第１検定用データセット４４０を入力する。第１検定用データセット４４０は、冷蔵庫１００内の様子を示す画像ＩＭとその画像ＩＭに対応する入出庫の正解情報とが正しく対応付けられたデータセットであって、第１追加学習部３８０による追加学習には用いられていないデータセットである。第１追加学習部３８０は、第１検定用データセット４４０が入力された場合における第１学習モデル４１０の判定結果の精度が所定の条件を満たす場合に、追加学習された内容を第１学習モデル４１０に反映させる。「所定の条件を満たす場合」とは、例えば、追加学習された第１学習モデル４１０による判定精度が、追加学習される前の第１学習モデル４１０による判定精度よりも低下しない場合である。

次に、第２追加学習部３９０について説明する。第２追加学習部３９０は、選択部３３０により選択された画像ＩＭの訂正を受け付ける訂正処理が行われた場合に、訂正受付部３７０により受け付けられた情報に基づき、第２学習モデル４２０を追加学習させる。例えば、訂正受付部３７０は、画像ＩＭと、その画像ＩＭに付されるスコアの訂正内容とを対応付けて、新しい教師データとする。そして、第２追加学習部３９０は、新しい教師データを反映させるように第２学習モデル４２０を追加学習（再学習）させる。

本実施形態では、第２追加学習部３９０は、第２学習モデル４２０を追加学習させた後、追加学習させた第２学習モデル４２０の判定精度を確認する。具体的には、第２追加学習部３９０は、追加学習させた第２学習モデル４２０に第２検定用データセット４５０を入力する。第２検定用データセット４５０は、冷蔵庫１００内の様子を示す画像ＩＭと、その画像ＩＭに付されたスコアとが適切に対応付けられたデータセットであって、第２追加学習部３９０による追加学習には用いられていないデータセットである。第２追加学習部３９０は、第２検定用データセット４５０が入力された場合における第２学習モデル４２０の判定結果が所定の条件を満たす場合に、追加学習された内容を第２学習モデル４２０に反映させる。「所定の条件を満たす場合」とは、例えば、追加学習された第２学習モデル４２０による判定精度（出力されるスコアの適切度）が、追加学習される前の第２学習モデル４２０による判定精度よりも低下しない場合である。

本実施形態では、第１および第２の学習モデル４１０，４２０は、ユーザ毎（家庭毎）に分離されている。この場合、第１および第２の追加学習部３８０，３９０による追加学習を行うことで、検知部３２０および選択部３３０の判定精度がユーザ固有の状況や環境に適用しやすくなる。一方で、第１および第２の学習モデル４１０，４２０は、複数のユーザ（複数の家庭）で共有されてもよい。この場合、別のユーザの訂正に応じた追加学習の結果を、複数のユーザで共有することができる。

次に、入出庫管理システム１の実行段階の処理の流れについて説明する。
図１６は、入出庫管理システム１の実行段階の処理の流れを示すフローチャートである。まず、冷蔵庫１００の制御装置１８０は、開閉検知スイッチ１３０の検出結果に基づき、冷蔵庫１００の扉が開かれたことを検知する（Ｓ１０１）。次に、制御装置１８０は、カメラ１４０による撮影を行い（Ｓ１０２）、撮影が行われる毎に撮影された画像ＩＭをサーバ装置３００に送信する（Ｓ１０３）。

サーバ装置３００は、冷蔵庫１００から新しい画像ＩＭを受け取ると、古くて未使用の画像ＩＭを破棄する（Ｓ１０４）。「未使用」とは、検知部３２０の検知内容と対応付けて管理されていない画像ＩＭである。そして、サーバ装置３００は、冷蔵庫１００から受信した新しい画像ＩＭを記憶部ＳＴに保存する（Ｓ１０５）。

サーバ装置３００は、冷蔵庫１００から画像ＩＭを受信する毎に、冷蔵庫１００から受信した最新の画像ＩＭを含む直近の複数の画像ＩＭを第１学習モデル４１０に入力する（Ｓ１１０）。そして、サーバ装置３００の検知部３２０は、第１学習モデル４１０から出力される「入庫」の確率を示す出力値が入庫閾値以上であるか否かを判定する（Ｓ１１１）。検知部３２０は、「入庫」の確率を示す出力値が入庫閾値以上の場合（Ｓ１１１：ＹＥＳ）、「入庫」と判定し、入庫処理を行う（Ｓ１１２）。具体的には、検知部３２０は、入庫があったことを示す判定内容と、その判定に用いられた画像ＩＭのセットとを対応付けて選択部３３０および入出庫管理部３４０に出力する。

この場合、選択部３３０は、「入庫」の判定に用いられた複数の画像ＩＭを第２学習モデル４２０に入力する。そして、選択部３３０は、「入庫」の判定に用いられた画像ＩＭのセットのなかから、第２学習モデル４２０により最も高いスコアが出力された画像ＩＭを、検知部３２０の判定内容と対応付けられる画像ＩＭとして選択する。選択部３３０は、検知部３２０の判定内容と選択した画像ＩＭとを対応付けて入出庫管理部３４０に出力する。入出庫管理部３４０は、選択部３３０により選択された画像にＩＭにマーキングを付与する（Ｓ１１３）。

一方で、検知部３２０は、「入庫」の確率を示す出力値が入庫閾値未満の場合（Ｓ１１１：ＮＯ）、第１学習モデル４１０から出力される「出庫」の確率を示す出力値が出庫閾値以上であるか否かを判定する（Ｓ１２１）。検知部３２０は、「出庫」の確率を示す出力値が出庫閾値以上の場合（Ｓ１２１：ＹＥＳ）、「出庫」と判定し、出庫処理を行う（Ｓ１２２）。具体的には、検知部３２０は、出庫があったことを示す判定内容と、その判定に用いられた画像ＩＭのセットとを対応付けて選択部３３０および入出庫管理部３４０に出力する。

この場合、選択部３３０は、「出庫」の判定に用いられた複数の画像ＩＭを第２学習モデル４２０に入力する。そして、選択部３３０は、「出庫」の判定に用いられた画像ＩＭのセットのなかから、第２学習モデル４２０により最も高いスコアが出力された画像ＩＭを、検知部３２０の判定内容と対応付けられる画像ＩＭとして選択する。選択部３３０は、検知部３２０の判定内容と選択した画像ＩＭとを対応付けて入出庫管理部３４０に出力する。入出庫管理部３４０は、選択部３３０により選択された画像と、入出庫管理ＤＢ４３０のなかでマーキングが付されている１つ以上の画像ＩＭとを比較する。そして、入出庫管理部３４０は、それら画像ＩＭの類似度などに基づき、入出庫管理ＤＢ４３０で管理されている画像ＩＭのなかから「出庫」の対象物を示す画像ＩＭを選択し、その画像ＩＭに付されているマーキングを削除する（Ｓ１２３）。

なお、検知部３２０は、第１学習モデル４１０から出力される「入庫」の確率を示す出力値が入庫閾値未満であり、「出庫」の確率を示す出力値も出庫閾値未満である場合（Ｓ１２１：ＮＯ）、入出庫に関する処理は行わない。

冷蔵庫１００の制御装置１８０は、所定のサンプリング周期で、冷蔵庫１００の扉が開かれているかを判定する（Ｓ１３１）。開閉検知スイッチ１３０の検出結果に基づき、冷蔵庫１００の扉が開かれていると判定される場合（Ｓ１３１：ＹＥＳ）、Ｓ１０２からＳ１２３の処理が繰り替えられる。一方で、制御装置１８０は、冷蔵庫１００の扉が閉じられたと判定される場合（Ｓ１３１：ＮＯ）、カメラ１４０による撮影を終了する。これにより、本フローの処理が終了する。

次に、入出庫管理システム１の訂正処理の流れについて説明する。
図１７は、入出庫管理システム１の訂正処理の流れを示すフローチャートである。本フローは、端末機器２００からサーバ装置３００に対して、在庫情報の閲覧が要求された場合の例を示す。またこの例では、説明を簡単にするため、訂正すべき誤りが１つのみ存在する場合を取り上げている。

まず、サーバ装置３００は、端末機器２００からの閲覧要求を受け付ける（Ｓ２０１）。次に、情報生成部３５０は、入出庫管理ＤＢ４３０からのマーキングされた画像ＩＭを抽出し、抽出された画像ＩＭの一覧を示す情報を在庫情報として生成し（Ｓ２０２）、生成した在庫情報を端末機器２００の送信することでユーザに提示する（Ｓ２０３）。

次に、訂正受付部３７０は、ユーザによる訂正操作があるか否かを判定する（Ｓ２１１）。ユーザによる訂正操作が無い場合（Ｓ２１１：ＮＯ）、本フローの処理は終了する。一方で、訂正受付部３７０は、ユーザによる訂正操作がある場合（Ｓ２１１：ＹＥＳ）、その訂正操作が「入庫に関する訂正操作」であるか、「出庫に関する訂正操作」であるかを判定する（Ｓ２１２）。訂正受付部３７０は、ユーザによる訂正操作が「出庫に関する訂正操作」である場合（Ｓ２１２：「出庫の訂正操作」）、既に出庫されたのに「出庫」の判定がなされずにマーキングが残っている画像ＩＭのマーキングを削除し、逆に出庫されていないのに誤って「出庫」と判定されてマーキングが削除されている画像ＩＭに対してマーキングを追加する（Ｓ２２１）。この場合、処理は後述するＳ２４１に進む。

一方で、訂正受付部３７０は、ユーザによる訂正操作が「入庫に関する訂正操作」である場合（Ｓ２１２：「入庫の訂正操作」）、ユーザによる訂正操作が「入庫」の判定がされていない画像ＩＭを「入庫」の判定に追加する操作なのか、「入庫」の判定と対応付けられて表示された画像ＩＭの差し替え操作であるのかを判定する（Ｓ２３１）。具体的には、訂正受付部３７０は、「入庫」の判定に追加するようにユーザにより選択された画像ＩＭが、検知部３２０による過去の判定で「入庫」と判定されていない画像ＩＭである場合（「入庫」の判定に用いられた画像ＩＭのセットに含まれない場合）、「入庫」の追加操作であると認識する。一方で、訂正受付部３７０は、「入庫」に追加するようにユーザにより選択された画像ＩＭが、検知部３２０による過去の判定で「入庫」と判定されていた画像ＩＭである場合（「入庫」の判定に用いられた画像ＩＭのセットに含まれる場合）、画像ＩＭの差し替え操作であると認識する。

訂正受付部３７０は、ユーザによる訂正操作が「入庫」の追加操作である場合（Ｓ２３１：「追加操作」）、検知部３２０による判定内容が誤っていたものとして、ユーザにより選択された画像ＩＭにマーキングを追加する（Ｓ２３２）。この場合、処理は後述するＳ２４１に進む。

一方で、訂正受付部３７０は、ユーザによる訂正操作が画像ＩＭの差し替え操作である場合（Ｓ２３１：「差し替え操作」）、選択部３３０による画像ＩＭの選択が適切でなかったものとして、差し替え操作で追加対象となった画像ＩＭにマーキングを追加し、差し替え操作で削除対象となった画像ＩＭのマーキングを削除する（Ｓ２３３）。この場合、処理は後述するＳ２４２に進む。

次に、Ｓ２４１では、訂正受付部３７０により受け付けられた情報に基づき、第１追加学習部３８０により第１学習モデル４１０が追加学習される。一方で、Ｓ２４２では、訂正受付部３７０により受け付けられた情報に基づき、第２追加学習部３９０により第２学習モデル４２０が追加学習される。これにより、本フローの処理が終了する。なお、複数の訂正内容がある場合は、それらの内容が編集履歴などの情報として保存され、複数の訂正内容を纏めて反映させる追加学習が行われる。

このような構成の入出庫管理システム１によれば、入出庫管理の精度向上を図ることができる。ここで比較例として、学習によらない所定のアルゴリズムにより入出庫管理を行う構成について考える。この場合、アルゴリズムにそぐわない状況で判定が失敗し、入出庫管理の精度が低下する場合が想定される。また、アルゴリズムで使用する閾値などのパラメータの調整に困難を伴う場合がある。また、判定精度を向上させるためにアルゴリズムの改良を試行錯誤する必要もある。その結果、開発が非効率になる可能性がある。

一方で、本実施形態では、予め学習された第１学習モデル４１０を用いて冷蔵庫１００の入出庫が判定される。このような構成によれば、学習を適切に行うことで、入出庫管理の精度向上を図ることができる。また、パラメータの調整やアルゴリズムの改良を行う作業を無くすまたは少なくすることができ、開発の効率化を図ることもできる。

本実施形態では、検知部３２０は、カメラ１４０により撮影された時系列で連続する２つ以上の画像ＩＭを第１学習モデル４１０に入力することで冷蔵庫１００に対する入出庫を判定する。このような構成によれば、ユーザの動きに基づき入出庫の判定を行うことができ、判定精度のさらなる向上を図ることができる。

本実施形態では、カメラ１４０は、冷蔵庫１００の扉１２０が開けられてから扉１２０が閉められるまでの間のみ撮影を行う。このような構成によれば、省エネルギー化を図ることができるとともに、保存が必要なデータ量を削減することができる。

本実施形態では、入出庫管理システム１は、冷蔵庫１００と端末機器２００とのうち少なくとも一方の表示画面１５１，２１１に、検知部３２０の判定内容とカメラ１４０により撮影された画像ＩＭとを対応付けて表示させる情報を生成する情報生成部３５０を備える。このような構成によれば、冷蔵庫１００を開けることなく（例えば外出先でも）、冷蔵庫１００の在庫状況の確認などを行うことができ、ユーザの利便性を高めることができる。

本実施形態では、入出庫管理システム１は、表示画面１５１，２１１に表示された画像ＩＭと検知部３２０の判定内容との対応関係に誤りがある場合、冷蔵庫１００または端末機器２００に対する操作に基づいて誤りの訂正を受け付ける訂正受付部３７０を備える。このような構成によれば、訂正受付部３７０により受け付けられた情報に基づき、次回以降、正しい情報を表示することができる。

本実施形態では、入出庫管理システム１は、訂正受付部３７０により受け付けられた情報に基づき、第１学習モデル４１０を追加学習させる第１追加学習部３８０を備える。このような構成によれば、訂正受付部３７０により受け付けられた情報に基づき、第１学習モデル４１０の判定精度をさらに高めることができる。

本実施形態では、第１追加学習部３８０は、第１検定用データセット４４０が入力された場合における第１学習モデル４１０の判定精度が所定の条件を満たす場合に、追加学習させた内容を第１学習モデル４１０に反映させる。このような構成によれば、検知部３２０の判定内容についてユーザが誤って訂正した場合でも、第１学習モデル４１０の判定精度が低下することを抑制することができる。

本実施形態では、入出庫管理システム１は、第１学習モデル４１０に入力された複数の画像ＩＭのなかから検知部３２０の判定内容と対応付けるのに適した画像ＩＭを選択する選択部３３０を備える。このような構成によれば、表示画面１５１，２１１に適した画像ＩＭを表示させることができ、ユーザの利便性を高めることができる。

本実施形態では、選択部３３０は、予め学習された第２学習モデル４２０を用いて検知部３２０の判定内容と対応付ける画像ＩＭを選択する。このような構成によれば、選択部３３０により選択される画像ＩＭの判定精度をさらに高めることができる。

本実施形態では、入出庫管理システム１は、訂正受付部３７０により受け付けられた情報に基づき、第２学習モデル４２０を追加学習させる第２追加学習部３９０を備える。このような構成によれば、第２学習モデル４２０の判定精度をさらに高めることができる。

本実施形態では、検知部３２０、選択部３３０、および記憶部ＳＴなどは、サーバ装置３００に設けられている。このような構成によれば、冷蔵庫１００のＣＰＵなどのスペックを落として、冷蔵庫１００の低コスト化や消費電力の低下などを図ることができる。また、検知部３２０や選択部３３０がサーバ装置３００に設けられていると、検知部３２０や選択部３３０のバージョンアップ（性能改善）も容易になる。

（第１変形例）
次に、第１の実施形態の第１変形例について説明する。本変形例の入出庫管理システム１は、第１学習モデル４１０ＡがＲＮＮで構成された点で、第１の実施形態とは異なる。なお以下に説明する以外の構成は、第１の実施形態と同様である。

図１８は、ＲＮＮにより構成された第１学習モデル４１０Ａを模式的に示す。第１学習モデル４１０は、第１の実施形態の第１学習モデル４１０と同様に、カメラ１４０により撮影された画像ＩＭが入力されると入出庫の判定結果を出力するように予め学習されたニューラルネットワークである。第１学習モデル４１０は、入力層４１１、複数の隠れ層４１２（図１８では１つのみ図示）、および出力層４１３を含む。隠れ層４１２は、入力データの記憶を保持するためのループを持つ。隠れ層４１２は、例えばＬＳＴＭ（Long Short-Term Memory）構造を持つ。

このような第１学習モデル４１０Ａによれば、時系列で連続する２つ以上の画像ＩＭの入力を反映させて入出庫の判定結果を出力するように学習させることができる。本実施形態では、第１学習モデル４１０Ａの入力層４１１には、カメラ１４０により撮影された最新の画像ＩＭが１つずつ逐次入力される。このような構成によっても、第１の実施形態と同様に、入出庫管理の精度向上を図ることができる。

（第２変形例）
次に、第１の実施形態の第２変形例について説明する。本変形例の入出庫管理システム１は、選択部３３０がニューラルネットワークではない所定のアルゴリズムにより実現された点で、第１の実施形態とは異なる。なお以下に説明する以外の構成は、第１の実施形態と同様である。

本変形例では、選択部３３０は、カメラ１４０により撮影された画像ＩＭに対して所定の画像処理を行うことで、カメラ１４０により撮影された複数の画像ＩＭのなかから、検知部３２０の判定内容と対応付けられる画像ＩＭを選択する。例えば、選択部３３０は、カメラ１４０により撮影された画像ＩＭと、テンプレート画像（物やユーザの手が写っていない画像）とを比較し、カメラ１４０により撮影された画像ＩＭにおいてテンプレート画像と画素が一致する部分を除去する。これにより、選択部３３０は、物および手が抽出された画像を得る。

次に、選択部３３０は、例えば色情報などに基づき、上記画像からさらにユーザの手に対応する部分を除去する。これにより、物に対応する画像が得られる。選択部３３０は、選択部３３０に入力された複数の画像ＩＭのなかで、物に対応する画像が最大である画像ＩＭを、検知部３２０の判定内容と対応付ける画像ＩＭとして選択する。このような構成によっても、第１の実施形態と同様に、入出庫管理の精度向上を図ることができる。

（第２の実施形態）
次に、図１９を参照し、第２の実施形態について説明する。第２の実施形態は、第１の実施形態でサーバ装置３００に設けられた機能部が冷蔵庫１００に設けられた点で第１の実施形態とは異なる。なお以下に説明する以外の構成は、第１の実施形態と同様である。

図１９は、第２の実施形態の入出庫管理システム１Ａの全体構成を示す。本実施形態では、検知部３２０および選択部３３０を含む入出庫管理システム１Ａの多くの機能部が冷蔵庫１００に設けられている。この場合、冷蔵庫１００と端末機器２００とは、直接通信されてもよく、ネットワークＮＷを介して通信可能されてもよい。このような構成によっても、第１の実施形態と同様に、入出庫管理の精度向上を図ることができる。

以上、いくつかの実施形態および変形例について説明したが、実施形態は、上記例に限定されない。例えば、上述したいくつかの実施形態および変形例は、互いに組み合わされて実現されてもよい。本明細書でいう「学習モデルに対してセンサ１４０により取得された情報が入力される（カメラ１４０により撮影された画像が入力される）」とは、センサ（カメラ）により取得された後に所定の前処理が施された情報や画像が入力される場合も含む。

以上説明した少なくともひとつの実施形態によれば、学習された学習モデルを用いて冷蔵庫に対する入出庫を判定する検知部を備えることで、入出庫管理の精度向上を図ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，１Ａ…入出庫管理システム、１００…冷蔵庫、１４０…センサ（カメラ）、１５０…冷蔵庫の表示装置、１５１…表示画面、２００…端末機器、２１０…端末機器の表示装置、２１１…表示画面、３００…サーバ装置、３２０…検知部、３３０…選択部、３７０…訂正受付部、４１０，４１０Ａ…第１学習モデル、４２０…第２学習モデル。

Claims (14)

1. 冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力するように学習された第１学習モデルを用いて、前記センサにより取得された情報に基づき前記冷蔵庫の入出庫を判定する検知部、
   を備えた冷蔵庫の入出庫管理システム。
2. 前記第１学習モデルは、前記センサにより検出された検出値が入力されると入出庫の判定結果を出力するように学習されている、
   請求項１に記載の冷蔵庫の入出庫管理システム。
3. 前記第１学習モデルは、時系列で連続する２つ以上の検出値の入力を反映させて入出庫の判定結果を出力するように学習されており、
   前記検知部は、前記センサにより検出された時系列で連続する２つ以上の検出値を前記第１学習モデルに入力することで前記冷蔵庫の入出庫を判定する、
   請求項２に記載の冷蔵庫の入出庫管理システム。
4. 情報生成部をさらに備え、
   前記センサは、カメラであり、
   前記検知部は、前記カメラにより撮影された画像が入力されると入出庫の判定結果を出力するように学習された前記第１学習モデルを用いて前記冷蔵庫の入出庫を判定し、
   前記情報生成部は、前記冷蔵庫と前記冷蔵庫のユーザが使用する端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記カメラにより撮影された画像とを対応付けて表示させる情報を生成する、
   請求項１から請求項３のうちいずれか１項に記載の冷蔵庫の入出庫管理システム。
5. 前記表示画面に表示された前記画像と前記検知部の判定内容との対応関係に誤りがある場合、前記冷蔵庫または前記端末機器に対するユーザの操作に基づいて前記誤りの訂正を受け付ける訂正受付部をさらに備えた、
   請求項４に記載の冷蔵庫の入出庫管理システム。
6. 前記訂正受付部は、前記表示画面に表示された前記画像と対応付けられて表示された前記検知部の判定内容に誤りがある場合、前記検知部の判定内容の訂正を受け付ける、
   請求項５に記載の冷蔵庫の入出庫管理システム。
7. 前記訂正受付部により受け付けられた情報に基づき、前記第１学習モデルを追加学習させる第１追加学習部をさらに備えた、
   請求項５または請求項６に記載の冷蔵庫の入出庫管理システム。
8. 前記第１追加学習部は、追加学習させた前記第１学習モデルに検定用データセットを入力し、前記検定用データセットが入力された場合における前記第１学習モデルの判定結果の精度が所定の条件を満たす場合に、追加学習させた内容を前記第１学習モデルに反映させる、
   請求項７に記載の冷蔵庫の入出庫管理システム。
9. 前記第１学習モデルに入力された複数の画像のなかから前記検知部の判定内容と対応付けられるのに適した画像を選択する選択部をさらに備えた、
   請求項４から請求項８のうちいずれか１項に記載の冷蔵庫の入出庫管理システム。
10. 前記選択部は、画像が入力されると前記検知部の判定内容と対応付けられる画像としての適性に関する判定結果を出力するように学習された第２学習モデルを用いて、前記第１学習モデルに入力された複数の画像のなかから前記検知部の判定内容と対応付けられる画像を選択する、
    請求項９に記載の冷蔵庫の入出庫管理システム。
11. 前記情報生成部は、前記冷蔵庫と前記端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記選択部により選択された画像とを対応付けて表示させる情報を生成する、
    請求項１０に記載の冷蔵庫の入出庫管理システム。
12. 前記選択部により選択され前記検知部の判定内容と対応付けられて前記表示画面に表示された前記画像が適切でない場合、前記カメラにより撮影された別の１つ以上の画像を前記表示画面に表示させ、前記検知部の判定内容と対応付けられる画像の訂正を受け付ける訂正受付部をさらに備えた、
    請求項１１に記載の冷蔵庫の入出庫管理システム。
13. 前記選択部により選択された画像に関する訂正が前記訂正受付部により受け付けられた場合、前記訂正受付部により受け付けられた情報に基づき、前記第２学習モデルを追加学習させる第２追加学習部をさらに備えた、
    請求項１２に記載の冷蔵庫の入出庫管理システム。
14. 前記センサと、
    請求項１から請求項１３のいずれか１項に記載の入出庫管理システムと、
    を備えた冷蔵庫。

Images