JP2019168134A - 冷蔵庫システム - Google Patents

Abstract

【課題】貯蔵室内に収納された食材について識別精度の向上及び識別可能な食材の範囲の拡大を図ることができる冷蔵庫システムを提供する。【解決手段】この発明に係る冷蔵庫システムは、冷蔵庫１００の冷蔵室１０内の画像を撮影するカメラ９と、カメラ９が撮影した画像の特徴量を抽出する特徴量抽出部２０３と、食材の画像の特徴量と当該食材との対応関係を学習した学習済みデータを予め記憶する記憶部２０１と、学習済みデータを用いて特徴量抽出部２０３が抽出した特徴量から食材を識別する食材識別部２０４と、食材識別部２０４が食材を識別した場合に、今回の識別に係る特徴量を当該食材と対応させた再学習を行って、記憶部２０１に記憶された学習済みデータを更新する再学習部２０７と、を備える。【選択図】図８

Description

この発明は、冷蔵庫システムに関するものである。

冷蔵庫システムにおいては、貯蔵室を撮像する撮像手段としてのカメラ装置と、カメラ装置で撮像した画像情報を外部機器に送信する送信手段と、カメラ装置で撮像した画像情報から食材を判別する食材判別手段と、を備えたものが知られている（例えば、特許文献１参照）。

特開２０１５−０６５６３０号公報

特許文献１に示されるような冷蔵庫システムにおいては、カメラで撮影した画像から食材を精度よく判別（識別）するために、食材識別用の参照データを用意することが望ましい。食材識別用の参照データとして、食材の画像の特徴量と当該食材との対応関係を学習した学習済みデータを用意する場合、食材の画像と当該食材の種類又は商品名とが正しく対応しているデータセットが必要となる。しかしながら、このようなデータセットを人手で大量に用意するのは容易ではない。

この発明は、このような課題を解決するためになされたものである。その目的は、食材の画像の特徴量と当該食材との対応関係を学習させるためのデータセットを自動的に取得することができ、食材識別精度の向上及び識別可能な食材の範囲の拡大を図ることができる冷蔵庫システムを得ることにある。

この発明に係る冷蔵庫システムは、食品を収納する貯蔵室が形成された冷蔵庫と、前記貯蔵室内の画像を撮影するカメラと、前記カメラが撮影した画像の特徴量を抽出する特徴量抽出部と、食材の画像の特徴量と当該食材との対応関係を学習した学習済みデータを予め記憶する記憶部と、前記記憶部に記憶された前記学習済みデータを用いて、前記特徴量抽出部が抽出した特徴量から食材を識別する食材識別部と、前記食材識別部が食材を識別した場合に、今回の識別に係る特徴量を当該食材と対応させた再学習を行って、前記記憶部に記憶された前記学習済みデータを更新する再学習部と、を備える。

この発明に係る冷蔵庫システムによれば、貯蔵室内に収納された食材について識別精度の向上及び識別可能な食材の範囲の拡大を図ることができるという効果を奏する。

この発明の実施の形態１に係る冷蔵庫システムの構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムが備える冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫の縦断面図である。 この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の斜視図である。 この発明の実施の形態１に係るカメラ移動装置の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係る冷蔵庫の制御系統の構成を示すブロック図である。 図６の制御装置の構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムの学習済みデータの内容の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの再学習について説明する図である。 この発明の実施の形態１に係る冷蔵庫システムの再学習について説明する図である。 この発明の実施の形態１に係る冷蔵庫の画像アップロード動作の一例を示すフロー図である。 この発明の実施の形態１に係るサーバ装置の画像受信時の動作の一例を示すフロー図である。 この発明の実施の形態１に係る冷蔵庫システムの食材リスト表示時の動作の一例を示すフロー図である。 この発明の実施の形態２に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。 この発明の実施の形態２に係るサーバ装置の棚位置検知に係る動作の一例を示すフロー図である。 この発明の実施の形態３に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。 この発明の実施の形態３に係るサーバ装置の食材識別動作の一例を示すフロー図である。 この発明の実施の形態４に係る冷蔵庫システムが備える第２サーバ装置の構成を示すブロック図である。 この発明の実施の形態４に係る冷蔵庫システムが備えるサーバ装置の注文履歴受信時の動作の一例を示すフロー図である。

この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１から図１４は、この発明の実施の形態１に係るものである。図１は冷蔵庫システムの構成を示すブロック図である。図２は冷蔵庫システムが備える冷蔵庫の正面図である。図３は冷蔵庫の縦断面図である。図４は冷蔵庫のカメラ移動装置の斜視図である。図５はカメラ移動装置の要部を透視して示す拡大斜視図である。図６は冷蔵庫の制御系統の構成を示すブロック図である。図７は図６の制御装置の構成を示すブロック図である。図８は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。図９は冷蔵庫システムの学習済みデータの内容の一例を示す図である。図１０及び図１１は冷蔵庫システムの複数視点画像を用いた再学習について説明する図である。図１２は冷蔵庫の画像アップロード動作の一例を示すフロー図である。図１３はサーバ装置の画像受信時の動作の一例を示すフロー図である。そして、図１４は冷蔵庫システムの食材リスト表示時の動作の一例を示すフロー図である。

なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷凍冷蔵庫を使用可能な状態に設置したときのものである。

図１に示すように、この発明の実施の形態１に係る冷蔵庫１００を備えた冷蔵庫システムは、冷蔵庫１００と、サーバ装置２００とを備えている。冷蔵庫１００とサーバ装置２００とは、相互に通信可能に接続されている。

冷蔵庫１００は、例えば、冷蔵庫１００の使用者の家宅内に設置される。サーバ装置２００は、例えば、使用者の家宅内に設置されるコンピュータ等である。サーバ装置２００は、使用者の家宅外に設置されていてもよい。

サーバ装置２００と通信可能に接続される冷蔵庫１００の数は、１つに限られず複数であってもよい。また、サーバ装置２００は、複数のサーバ（サーバ群）からなるクラウドサーバであってもよい。

まず、図２から図６を参照しながら、この発明の実施の形態１に係る冷蔵庫１００の構成について説明する。冷蔵庫１００は、図３に示すように断熱箱体１を有している。断熱箱体１は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体１は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体１の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。

図２及び図３に示すように、ここでは、冷蔵庫１００は、複数の貯蔵室として、例えば、冷蔵室１０、切替室２０、製氷室３０、冷凍室４０及び野菜室５０を備えている。これらの貯蔵室は、断熱箱体１において上下方向に４段構成となって配置されている。

冷蔵室１０は、断熱箱体１の最上段に配置されている。切替室２０は冷蔵室１０の下方における左右の一側に配置されている。切替室２０の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室２０の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば−１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば−７℃程度）等である。製氷室３０は、切替室２０の側方に隣接して切替室２０と並列に、すなわち、冷蔵室１０の下方における左右の他側に配置されている。

冷凍室４０は、切替室２０及び製氷室３０の下方に配置されている。冷凍室４０は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５０は、冷凍室４０の下方の最下段に配置されている。野菜室５０は、主に野菜や容量の大きな（例えば２Ｌ等）の大型ペットボトル等を収納するためのものである。

冷蔵室１０の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉７が設けられている。ここでは、冷蔵室扉７は両開き式（観音開き式）であり、右扉７ａ及び左扉７ｂにより構成されている。冷蔵庫１００の前面の冷蔵室扉７（例えば、右扉７ａ）の外側表面には、操作パネル６が設けられている。

冷蔵室１０以外の各貯蔵室（切替室２０、製氷室３０、冷凍室４０及び野菜室５０）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１００の奥行方向（前後方向）に開閉できるようになっている。

図３に示すように、冷蔵室１０は、前面側（同図に向かって左側）を冷蔵室扉７によって塞がれている。なお、図３に示す断面図は、図２中の断面Ａ−Ａ’によるものである。冷蔵室１０の内部には、１以上の冷蔵室棚板１１が設けられている。ここでは、冷蔵室棚板１１が複数設けられている場合を例に挙げている。冷蔵室１０の内部は、これらの冷蔵室棚板１１によって、上下方向に複数の空間（棚）に仕切られている。冷蔵室棚板１１の上には、食品が載置される。

それぞれの冷蔵室棚板１１は、棚板支持部１２によって、冷蔵室１０内の予め定められた位置で支持されている。棚板支持部１２は、冷蔵室１０の側壁内面から冷蔵室１０の内側に突出して形成されている。なお、１つの冷蔵室棚板１１の上下位置を変更できるように棚板支持部１２を構成してもよい。

最下段の冷蔵室棚板１１の下側の空間は、チルド室１４である。チルド室１４の内部には、チルドケース１５が設置されている。チルドケース１５は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室扉７の内側の面には、ドアポケット１３が設けられている。このドアポケット１３にも食品を載置、収納することができる。

冷蔵室扉７の内側の面には、カメラ９が設置されている。カメラ９は、冷蔵室扉７の側から貯蔵室（ここでは冷蔵室１０）の内部の画像を撮影し、貯蔵室画像として出力する。この実施の形態に係る冷蔵庫１００は、カメラ移動装置９０を備えている。カメラ移動装置９０は、カメラ９を上下方向に移動させる装置である。カメラ移動装置９０は、冷蔵室扉７の内側の面に設けられている。

カメラ移動装置９０は、カメラ９を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室１０内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット１３の直上の位置である。

次に、図４及び図５を参照しながら、カメラ移動装置９０の構成について説明する。カメラ移動装置９０は、ステッピングモータ９１、ウォームギヤ９２、ピニオン９３、ラック９４、ガイド部９５及びカメラ支持部９８を備えている。カメラ９は、カメラ支持部９８に固定されている。ガイド部９５は、冷蔵室扉７に固定されている。カメラ支持部９８は、ガイド部９５に対して移動可能である。ガイド部９５は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部９５は、前述した可動範囲にわたるカメラ９及びカメラ支持部９８の移動を案内する。

図４に示すように、カメラ支持部９８には、ステッピングモータ９１、ウォームギヤ９２及びピニオン９３が取り付けられている。ガイド部９５には、ラック９４が取り付けられている。ラック９４は、前述した可動範囲にわたって上下方向に沿って配置されている。

ステッピングモータ９１は、カメラ９の移動を駆動する。ステッピングモータ９１の駆動軸には、ウォームギヤ９２が固定されている。ピニオン９３は、大ギヤと小ギヤとが一体に構成されている。ピニオン９３の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン９３の大ギヤは、ウォームギヤ９２と噛み合っている。ピニオン９３の小ギヤは、ラック９４と噛み合っている。

ステッピングモータ９１によりウォームギヤ９２を回転させると、ピニオン９３が回転する。ラック９４と噛み合った状態のピニオン９３が回転することで、ピニオン９３の回転軸がラック９４に沿って直線状に移動する。ピニオン９３の回転軸は、カメラ支持部９８に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置９０は、ステッピングモータ９１の回転運動をガイド部９５に対するカメラ支持部９８の直線運転に変換し、冷蔵室扉７に対してカメラ９を上下方向に移動させる。

図３に示すように、冷蔵庫１００は、制御装置８を備えている。制御装置８は、例えば、冷蔵庫１００の背面側の上部に収容されている。制御装置８には、冷蔵庫１００の動作に必要な各種の制御を実施するための制御回路等が備えられている。

次に、図６を参照しながら、冷蔵庫１００の制御系統の構成を説明する。制御装置８は、例えばマイクロコンピュータを備えており、プロセッサ８ａ及びメモリ８ｂを備えている。制御装置８は、メモリ８ｂに記憶されたプログラムをプロセッサ８ａが実行することにより、予め設定された処理を実行し、冷蔵庫１００を制御する。

冷蔵庫１００は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機２と、いずれも図示しない凝縮器、絞り装置及び冷却器等とによって構成されている。圧縮機２は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機２から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機２は、例えば、冷蔵庫１００の背面側の下部に配置される。

冷蔵庫１００には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための図示しない風路が形成されている。この風路は、主に冷蔵庫１００内の背面側に配置されている。冷凍サイクル回路の冷却器は、この風路内に設置される。また、風路内には、冷却器で冷却された空気を各貯蔵室へ送るための送風ファン４も設置されている。

送風ファン４が動作すると、冷却器で冷却された空気（冷気）が風路を通って冷凍室４０、切替室２０、製氷室３０及び冷蔵室１０へと送られ、これらの貯蔵室内を冷却する。野菜室５０は、冷蔵室１０からの戻り冷気を冷蔵室用帰還風路を介して野菜室５０内に導入することで冷却される。野菜室５０を冷却した冷気は、野菜室用帰還風路を通って冷却器のある風路内へと戻される（これらの帰還風路は図示していない）。そして、冷却器によって再度冷却されて、冷蔵庫１００内を冷気が循環される。

風路からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機２の運転を制御することで調節することができる。

以上のようにして設けられた圧縮機２及び冷却器からなる冷凍サイクル回路、送風ファン４、風路及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。

操作パネル６は、操作部６ａ、表示部６ｂ及びスピーカ６ｃを備えている。操作部６ａは、各貯蔵室の保冷温度及び冷蔵庫１００の動作モード（解凍モード等）を設定するための操作スイッチである。表示部６ｂは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル６は、操作部６ａと表示部６ｂを兼ねるタッチパネルを備えていてもよい。スピーカ６ｃは、冷蔵庫１００の周囲、特に冷蔵室扉７の前に立つ使用者に対して、音声を鳴らすための音声出力装置である。

冷蔵庫１００は、サーミスタ８１及び扉開閉検知スイッチ８２を備えている。サーミスタ８１は、各貯蔵室内の温度を検出する。サーミスタ８１は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ８２は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ８２は、例えば、冷蔵室１０の冷蔵室扉７の開閉を検知する。扉開閉検知スイッチ８２は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ８２は、例えば、冷蔵室扉７に埋め込まれた磁石の近接を、冷蔵庫１００本体側に設置された一対のリードスイッチによって検出する。

制御装置８には、サーミスタ８１から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置８には、操作パネル６の操作部６ａからの操作信号も入力される。さらに、制御装置８には、扉開閉検知スイッチ８２からの検知信号も入力される。

制御装置８は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機２及び送風ファン４等の動作を制御する処理を実行する。すなわち、制御装置８は前述した冷却手段等を制御して、冷蔵庫１００の動作を制御する。また、制御装置８は、カメラ９の撮影動作及びカメラ移動装置９０によるカメラ９の移動についても制御する。カメラ９が撮影した画像データは、制御装置８に入力される。

次に、図６に加えて図７及び図８も参照して、以上のように構成された冷蔵庫１００を備えた冷蔵庫システムの構成について説明する。前述したように、冷蔵庫システムは、冷蔵庫１００とサーバ装置２００とを備えている。図７に示すように、冷蔵庫１００の制御装置８は、カメラ制御部１０１、庫内変化判定部１０２、画像アップロード部１０３及び冷蔵庫通信部１１０を備えている。また、図８に示すように、サーバ装置２００は、記憶部２０１、特徴量抽出部２０３、食材識別部２０４、再学習部２０７及びサーバ通信部２１０を備えている。

冷蔵庫通信部１１０は、冷蔵庫１００とサーバ装置２００との間で、データを双方向に通信するためのものである。また、サーバ通信部２１０は、サーバ装置２００と冷蔵庫１００との間で、データを双方向に通信するためのものである。

冷蔵庫１００の制御装置８が備えるカメラ制御部１０１は、カメラ９とカメラ移動装置９０の動作を制御する。カメラ制御部１０１は、例えば、冷蔵室扉７が開閉された時にカメラ９に冷蔵室１０内を撮影させる。冷蔵室扉７が開閉されると、冷蔵室１０内の食品が出し入れされ、冷蔵室１０内の収納状態が変化する可能性があるためである。カメラ制御部１０１は、例えば、扉開閉検知スイッチ８２により開かれていた冷蔵室扉７が閉じられたことを検知した後、冷蔵室１０内が照明されている間にカメラ９に撮影を行わせる。

カメラ制御部１０１は、カメラ９による冷蔵室１０内の撮影を、カメラ移動装置９０によるカメラ９の移動と連係して行わせる。次に、カメラ９とカメラ移動装置９０との連係した撮影動作について説明する。冷蔵室１０内の撮影を行う際、カメラ移動装置９０は、途中でカメラ９の移動を停止させながら、前述の可動範囲の一端から他端までカメラ９を移動させる。そして、カメラ９は、カメラ移動装置９０がカメラ９の移動を停止させる毎に撮影を行う。

例えば、カメラ移動装置９０は、カメラ９を前述の可動範囲の上端から下端までカメラ９を下方向に移動させる。この際、カメラ移動装置９０は、冷蔵室１０の上端内面と、この上端内面の隣の冷蔵室棚板１１との間のにおける少なくとも１箇所でカメラ９を停止させる。そして、この位置で停止している間にカメラ９は画像を撮影する。この時にカメラ９が撮影した画像は、冷蔵室１０の上端内面の隣の冷蔵室棚板１１すなわち最上段の冷蔵室棚板１１の収納状況を示すものである。カメラ９が画像を撮影したら、カメラ移動装置９０は、カメラ９の下降を再開する。

また、カメラ移動装置９０は、隣り合う冷蔵室棚板１１同士の間のそれぞれの少なくとも１箇所でカメラ９を停止させる。そして、この位置で停止している間にカメラ９は画像を撮影する。この時にカメラ９が撮影した画像は、カメラ９の位置のすぐ下にある冷蔵室棚板１１の収納状況を示すものである。カメラ９が画像を撮影したら、カメラ移動装置９０は、カメラ９の下降を再開する。

これを繰り返し、カメラ９が冷蔵室１０の内の最下段の収納状況の画像まで撮影したら、カメラ制御部１０１は、一連の撮影を終了させる。なお、カメラ９の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部１０１は、カメラ移動装置９０によりカメラ９を前述の可動範囲の下端から上端までカメラ９を上方向に移動させながら、カメラ９による撮影を行ってもよい。

なお、カメラ９の移動量はステッピングモータ９１の回転量に比例する。そして、ステッピングモータ９１の回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部１０１は、カメラ移動装置９０のステッピングモータ９１のステップ数を用いてカメラ９の移動量を制御している。すなわち、カメラ制御部１０１は、カメラ９を停止させる位置を、ステッピングモータ９１のステップ数を計数することで特定する。

カメラ制御部１０１は、扉開閉検知スイッチ８２が冷蔵室扉７の閉動作を検知した場合に、前述の可動範囲の一端にカメラ９を移動させてステッピングモータ９１のゼロ点補正を行うようにするとよい。すなわち、扉開閉検知スイッチ８２が冷蔵室扉７の閉動作を検知した場合、カメラ制御部１０１は、まず最初にカメラ移動装置９０にカメラ９を前述の可動範囲の例えば上端に移動させる。そして、カメラ制御部１０１は、ステッピングモータ９１のステップ数の計数値を０にする。このようにすることで、ステッピングモータ９１のステップ数と実際のカメラ９の位置とのずれを修正することができる。

なお、冷蔵室棚板１１の位置が固定されていて変更できない場合、カメラ９を停止させる位置も固定できる。したがって、例えば、カメラ制御部１０１は、カメラ９を停止させる位置についての情報、例えばステッピングモータ９１のステップ数を予め記憶しておく。そして、ステッピングモータ９１のステップ数が、予め記憶していた値になったときに、カメラ制御部１０１は、カメラ移動装置９０によるカメラ９を停止させることが考えられる。

カメラ制御部１０１は、以上のようにしてカメラ９が撮影した冷蔵室１０内の画像を取得する。庫内変化判定部１０２は、カメラ９が撮影した冷蔵室１０内の画像について、前回の撮影時から変化があったか否かを判定する。このため、制御装置８のメモリ８ｂには、少なくとも前回にカメラ９が撮影した冷蔵室１０内の画像が保持されている。そして、庫内変化判定部１０２は、前回の画像と、今回カメラ９が撮影した画像とを比較し、前回の撮影時から変化があったか否かを判定する。

画像アップロード部１０３は、前回の撮影時からカメラ９が撮影した画像に変化があったと庫内変化判定部１０２が判定した場合に、今回カメラ９が撮影した画像をサーバ装置２００にアップロードする。画像アップロード部１０３が、サーバ装置２００にアップロードする画像は、冷蔵庫通信部１１０を介してサーバ装置２００へと送信される。このようにして、画像アップロード部１０３及び冷蔵庫通信部１１０は、カメラ９が撮影した画像をサーバ装置２００に送信する送信部を構成している。

サーバ装置２００のサーバ通信部２１０は、冷蔵庫１００から送信された画像を受信する。特徴量抽出部２０３は、サーバ通信部２１０が受信した画像の特徴量を抽出する。すなわち、特徴量抽出部２０３は、カメラ９が撮影した画像の特徴量を抽出する。食材識別部２０４は、特徴量抽出部２０３が抽出した特徴量から食材を識別する。食材の識別には、食材の画像の特徴量と当該食材との対応関係を学習した学習済みデータが用いられる。学習済みデータは、記憶部２０１に予め記憶されている。

図９に、この学習済みデータの一例を示す。学習済みデータは、食材のそれぞれに、当該食材の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けられたデータの集合である。この意味で、記憶部２０１は、食材のそれぞれに、当該食材の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶している。

学習済みデータは、食材のそれぞれについて、当該食材を他の食材と区別することができる特徴的な属性を記憶している。ここでは、当該食材自体又は当該食材が入った容器の特徴量を、当該食材に対応付けて記憶している。具体的には、各食材種類について、形状（輪郭）、直軸の大きさ、代表色（ＲＧＢ値）及びラベル（文字）等の情報を特徴量としている。

なお、学習済みデータに記憶する食材毎の形状としては、ここで例に挙げた輪郭の他、例えば、当該食材の外形に最も近い幾何学的形状（例えば、円柱、台形等）としてもよい。この場合、食材識別部２０４による識別においては、例えば、パターンマッチング等の手法により学習済みデータに記憶されている形状との照合を行う。また、色については、代表色のＲＧＢ値の他、例えば明度、彩度等の他の指標値を用いるようにしてもよい。

食材識別部２０４は、特徴量抽出部２０３が抽出した特徴量について、以上のような学習済みデータにおける、どの食材の特徴量と合致するかを照合する。そして、学習済みデータにおける特徴量との合致度が最大となる食材を識別結果とする。この際、合致度の最大値が一定の基準値以上でない場合、換言すれば、特徴量の合致度が基準値以上となる食材が学習済みデータ中に存在しない場合、当該特徴量の画像については食材識別不能としてもよい。

なお、図９に例示した学習済みデータでは、食材の種類を識別するものであったが、他にも例えば食材の商品名まで識別できるようにしてもよい。１つの食材の種類又は商品名について対応付けられる特徴量は、各属性につき１つの値とする必要はない。例えば、各属性につき複数の値を対応付けてもよいし、一定範囲の値を対応付けてもよい。

また、食材識別部２０４が用いる識別手法は、以上で説明したパターンマッチング等に限られない。他に例えば、ニューラル・ネットワーク等の手法を用いてもよい。この際、学習済みデータは食材識別部２０４が用いる識別手法に合わせて適切なものが用意される。

再学習部２０７は、食材識別部２０４が食材を識別した場合に、今回の識別に係る特徴量を当該食材と対応させた再学習を行う。そして、再学習部２０７は、この再学習によって、記憶部２０１に記憶された前述の学習済みデータを更新する。

このように、食材を識別する度に、食材の画像の特徴量と当該食材との対応関係を学習させるためのデータセットを自動的に取得できる。そして、今回の食材の識別に用いた画像を学習用データとして再学習を自動的に行って学習量を増加させ、食材識別精度の向上及び識別可能な食材の範囲の拡大を図ることが可能である。

この実施の形態で説明する構成例では、図８に示すように、サーバ装置２００は、食材リスト出力部２０５及び正誤入力部２０６をさらに備えている。食材リスト出力部２０５は、食材識別部２０４による食材の識別結果を食材リストとして出力する。食材リスト出力部２０５が出力した食材リストは、サーバ通信部２１０から冷蔵庫１００へと送信される。

サーバ装置２００から送信された食材リストは、冷蔵庫１００の冷蔵庫通信部１１０により受信される。冷蔵庫通信部１１０が受信した食材リストは、冷蔵庫１００の操作パネル６により使用者に報知される。例えば、制御装置８は、冷蔵庫通信部１１０が受信した食材リストの内容をスピーカ６ｃに再生させ、使用者に食材リストの内容を音声で知らせる。また、他に例えば、制御装置８は、冷蔵庫通信部１１０が受信した食材リストの内容を表示部６ｂに文字メッセージ等で表示させてもよい。さらに他にも、例えば、使用者が使用するスマートフォン等の携帯端末、使用者の家宅内に設置されたテレビ又はパソコン等を用いて、音声及び文字の一方又は両方により食材リストの内容を知らせてもよい。なお、食材リストの内容を知らせる際、食材リストの項目毎に後述する領域特定部２０２が特定した領域の画像を例えば表示部６ｂ等に併せて表示するようにしてもよい。

正誤入力部２０６は、食材リスト出力部２０５が出力した食材リストの各項目の正誤を使用者が入力可能である。この実施の形態の構成例では、使用者は、サーバ装置２００の正誤入力部２０６に直接に入力するのではなく、冷蔵庫１００の操作パネル６、又は、スマートフォン等の携帯端末、テレビ、パソコン等の入力インターフェースを介して、食材リストの各項目について正誤を入力する。すなわち、使用者は、例えば操作パネル６の操作部６ａ等を操作して、食材リストの各項目について、識別結果が正解であるか誤りであるかの正誤情報を入力する。この際、食材リストに含まれる識別結果が誤りである場合、単に誤りであることを入力できるだけでなく、使用者が識別結果を訂正できるようにしてもよい。

冷蔵庫１００の操作パネル６に入力された正誤情報は、冷蔵庫通信部１１０からサーバ装置２００へと送信される。冷蔵庫１００から送信された正誤情報は、サーバ装置２００のサーバ通信部２１０により受信される。サーバ通信部２１０が受信した正誤情報は、正誤入力部２０６に入力される。

再学習部２０７は、正誤入力部２０６への入力内容を用いた再学習を行う。そして、再学習部２０７は、この再学習によって記憶部２０１に記憶された前述の学習済みデータを更新する。正誤入力部２０６への入力内容を用いた再学習において、再学習部２０７は、正誤入力部２０６に正解であると入力された食材について、今回の識別に係る特徴量と当該食材との対応（結び付き）をより強くする。

一方、再学習部２０７は、正誤入力部２０６に誤りであると入力された食材について、今回の識別に係る特徴量を前述した学習済みデータから削除する。なお、正誤入力部２０６に訂正後の食材情報が入力された場合、再学習部２０７は、まず誤判定に繋がった今回の特徴量を前述の学習済みデータから削除した上で、訂正された食材と今回の特徴量とを対応付けて再学習を行う。

正誤入力部２０６は、食材リスト出力部２０５が食材リストを出力してから予め設定された一定時間が経過した時に正誤が入力されていない項目について、「正解」が入力されたとするようにしてもよい。例えば、正誤情報の入力画面において、食材リストの各項目についてデフォルトで「正解」が選択されているようにする。そして、一定時間経過時にその時点で選択されている正誤情報を正誤入力部２０６に入力する。こうすれば、デフォルトの選択状態から変更されて「誤り」が選ばれていない項目については、自動的に「正解」が入力されるようにすることができる。このようにすることで、使用者が正誤情報を入力する労力を軽減できる。

この実施の形態で説明する構成例では、図８に示すように、サーバ装置２００は領域特定部２０２をさらに備えている。領域特定部２０２は、カメラ９が撮影した画像中の食材が存在する領域を特定する。この領域の特定は、具体的に例えば、画像中のエッジを検出することで行うことができる。そして、特徴量抽出部２０３は、領域特定部２０２が特定した領域毎に特徴量を抽出する。また、食材識別部２０４は、領域特定部２０２が特定した領域毎に食材を識別する。

そして、カメラ９は、領域特定部２０２が特定した同一領域について異なる複数視点から画像を撮影可能である。具体的には、この実施の形態の構成例では、前述したように、カメラ９の位置をカメラ移動装置９０により移動できる。このカメラ移動装置９０によって、カメラ９は、前述の同一領域について上下方向において異なる複数視点から撮影可能である。

なお、カメラ９を左右方向に移動させるようにしてもよい。このようにすることで、カメラ９は、前述の同一領域について左右方向において異なる複数視点から撮影可能にできる。さらに、カメラ９を複数の異なる位置に配置してもよい。

特徴量抽出部２０３は、複数視点画像のそれぞれの特徴量を抽出する。複数視点画像とは、領域特定部２０２が特定した前述の同一領域について前述した複数視点からカメラ９が撮影した画像である。再学習部２０７は、食材識別部２０４が食材を識別した場合に、特徴量抽出部２０３が抽出した前述の複数視点画像のそれぞれの特徴量を当該食材と対応させた再学習を行う。そして、この再学習によって、記憶部２０１に記憶された前述の学習済みデータを更新する。

このように前述の複数視点画像のそれぞれの特徴量を再学習の際のデータセットとして使用することで、さらに多くの学習用データを自動的に取得できる。そして、再学習による学習量をさらに増加させ、さらなる食材識別精度の向上及び識別可能な食材の範囲の拡大を図ることが可能である。

次に、図１０及び図１１を参照しながら、このような同一領域について複数の視点から撮影した画像を用いて再学習することで得られる作用について説明する。図１０は、再学習前の学習済データにより識別可能な範囲を説明する例である。図１１は、図１０の例から再学習を行った後の学習済データにより識別可能な範囲を説明する例である。これらの図１０及び図１１では、識別対象の食材を、いわゆるゲーブルトップ型の紙パック入り牛乳とした場合の例である。

再学習前の学習済データでは、図１０に太線で囲って示すＡ面を正面から見た状態での特徴量のみが牛乳に対応付けられているとする。この場合、カメラ９が撮影した画像にＡ面を正面から見た状態が写っていれば、食材識別部２０４は当該食材を牛乳として識別できる。

また、図１０に破線で囲って示すように、Ａ面を正面から多少斜めとなる視点から撮影した画像では、Ａ面は歪んで変形しＡ′面として写る。このようなＡ′面が写った画像でも、Ａ′面の特徴量とＡ面の特徴量との合致度が一定以上であれば、食材識別部２０４は当該食材を牛乳として識別できる。

一方、前述したように、図１０の状態における学習済データにはＡ面を正面から見た状態での特徴量しか牛乳に対応付けられていない。このため、それぞれＡ面の隣の面である、Ｂ面を正面から見た視点の画像、及び、Ｃ面を正面から見た視点の画像からは食材識別部２０４は当該食材を牛乳として識別できない。したがって、図１０の再学習前の状態では同図に破線で囲って示す範囲が牛乳として識別可能な範囲となる。

この識別可能なＡ′面が写った画像では、Ｂ面が変形したＢ′面、又は、Ｃ面が変形したＣ′面も写っている。この実施の形態の冷蔵庫システムでは、Ａ′面及びＢ′面が写った画像から牛乳を識別した際に、このＡ′面及びＢ′面が写った画像から抽出した特徴量と牛乳とを対応付けた再学習が再学習部２０７により行われる。また、Ａ′面及びＣ′面が写った画像から牛乳を識別した際には、このＡ′面及びＣ′面が写った画像から抽出した特徴量と牛乳とを対応付けた再学習が再学習部２０７により行われる。

このようにして、再学習後の学習済データでは、図１１に示す太線で囲って示す範囲の特徴量が、牛乳に対応付けられている。すなわち、Ａ面を正面から見た状態での特徴量の他にも、Ａ面を斜めから見たＡ′面、Ｂ面を斜めから見たＢ′面、及び、Ｃ面を斜めから見たＣ′面のそれぞれの特徴量が、再学習後の学習済データでは牛乳に対応付けられる。

このような再学習後の学習済データを用いた識別では、特にＢ′面の特徴量との合致度が再学習前より大きくなることで、Ｂ面を正面から見た視点の画像からも、食材識別部２０４は当該食材を牛乳として識別できる。また、Ｃ面を正面から見た視点の画像からは、Ｃ′面の特徴量との合致度が再学習前より大きくなることで、食材識別部２０４は当該食材を牛乳として識別できる。したがって、図１１の再学習後の状態では同図に破線で囲って示す範囲まで牛乳として識別可能になる。

このようにして、この実施の形態に係る冷蔵庫システムによれば、再学習により学習済みデータを更新していくことで、識別可能範囲の拡大を図ることができる。そして、このような再学習を繰り返すことで、最終的には、冷蔵室１０内にどのような向きで食品が置かれたとしても、当該食品を識別できるようになる。

なお、カメラ９が同一の視点からの画像しか撮影できない場合であっても、使用者が冷蔵室１０内の食品を出し入れした際に、冷蔵室１０に置かれる当該食品の向きが変われば、カメラ９が撮影した画像に写る当該食品の面も変化する。したがって、カメラ９が同一の視点からの画像しか撮影できない場合にも、再学習により識別可能範囲の拡大を一定程度図ることが可能である。

次に、図１２から図１４を参照しながら、以上のように構成された冷蔵庫システムの主要な動作の例について説明する。まず、図１２に示すのは、冷蔵庫１００からサーバ装置２００に冷蔵室１０内の画像をアップロードする動作の一例である。

ステップＳ１１において、カメラ制御部１０１は、冷蔵室扉７の開閉があったか、又は、前回の庫内撮影から予め設定された一定時間が経過したかを確認する。冷蔵室扉７の開閉があったか否かは扉開閉検知スイッチ８２の検知結果に基づいて行う。冷蔵室扉７の開閉がなく、かつ、前回の庫内撮影から一定時間が経過していない場合、このステップＳ１１の処理が繰り返される。そして、冷蔵室扉７の開閉があった、又は、前回の庫内撮影から一定時間が経過した場合、処理はステップＳ１２へと進む。

ステップＳ１２においては、カメラ制御部１０１は、カメラ９及びカメラ移動装置９０を制御して、冷蔵室１０の内部を撮影させる。ステップＳ１２の後、処理はステップＳ１３へと進む。

ステップＳ１３において、庫内変化判定部１０２は、ステップＳ１２でカメラ９が撮影した画像と前回撮影した画像とを比較する。そして、画像に前回から変化がない場合は今回撮影した画像はアップロードされずに一連の動作は終了する。一方、画像が前回から変化した場合、処理はステップＳ１４へと進む。

ステップＳ１４において、画像アップロード部１０３は、ステップＳ１２でカメラ９が撮影した画像を冷蔵庫通信部１１０を介してサーバ装置２００へと送信する。ステップＳ１４の処理が完了すれば、一連の動作は終了となる。

次に、図１３に示すのは、サーバ装置２００にアップロードされた冷蔵室１０内の画像から食材を識別する動作の一例である。サーバ装置２００のサーバ通信部２１０が、冷蔵庫１００から送信された画像を受信すると、ステップＳ２１において、領域特定部２０２は、画像中の食材が存在する領域を特定する。ステップＳ２１の後、処理はステップＳ２２へと進む。

ステップＳ２２において、特徴量抽出部２０３は、ステップＳ２１で領域特定部２０２が特定した領域毎に、画像から特徴量を抽出する。ステップＳ２２の後、処理はステップＳ２３へと進む。

ステップＳ２３において、食材識別部２０４は、記憶部２０１に記憶された前述の学習済データを用いて、領域特定部２０２が特定した領域毎に、ステップＳ２２で特徴量抽出部２０３が抽出した特徴量から食材を識別する。ステップＳ２３の後、処理はステップＳ２４へと進む。

ステップＳ２４において、再学習部２０７は、ステップＳ２３で食材識別部２０４が識別した食材と、ステップＳ２２で特徴量抽出部２０３が抽出した特徴量とを対応させた再学習を行う。そして、再学習部２０７は、この再学習によって、記憶部２０１に記憶された前述の学習済みデータを更新する。ステップＳ２４の後、処理はステップＳ２５へと進む。

ステップＳ２５において、食材リスト出力部２０５は、ステップＳ２３での食材識別部２０４による食材の識別結果をリスト化し、食材リストとして出力する。食材リスト出力部２０５が出力した食材リストは、サーバ通信部２１０から冷蔵庫１００へと送信され、使用者に知らされる。ステップＳ２５の処理が完了すれば、一連の動作は終了となる。

次に、図１４に示すのは、図１３のステップＳ２５で食材リスト出力部２０５が食材リストを出力した後の動作の一例である。出力された食材リストは、前述したように冷蔵庫１００へと送信されて使用者に知らされる。使用者は、操作パネル６等で食材リストの内容を確認し、食材リストの各食材項目について識別結果が正しいか否かの正誤情報を入力できる。使用者が正誤情報を入力すれば、当該正誤情報はサーバ装置２００へと送られて正誤入力部２０６に入力される。ステップＳ３１においては、正誤入力部２０６は、正誤入力部２０６に正誤情報の入力があったか否かを確認する。正誤入力部２０６に入力があった場合、処理はステップＳ３２へと進む。

ステップＳ３２において、再学習部２０７は、正誤入力部２０６への入力内容が、食材リストに誤りがあるというものであるか否かを確認する。正誤入力部２０６への入力内容が食材リストに誤りがあるというものでない場合、処理はステップＳ３３へと進む。

正誤入力部２０６への入力内容が食材リストに誤りがあるというものでない場合、食材リストとして出力された食材識別部２０４の識別結果は正しいと使用者に判断されたことになる。したがって、ステップＳ３３では、再学習部２０７は、正誤入力部２０６に正解であると入力された食材について、今回の識別に係る特徴量と当該食材との対応（結び付き）を強化する。そして、再学習部２０７は、記憶部２０１の前述した学習済みデータを強化後の内容に更新する。ステップＳ３３の処理が完了すれば、一連の動作は終了となる。

一方、ステップＳ３２で正誤入力部２０６への入力内容が食材リストに誤りがあるというものである場合、処理はステップＳ３４へと進む。ステップＳ３４において、再学習部２０７は、正誤入力部２０６に誤りであると入力された食材について、今回の識別に係る特徴量を前述した学習済みデータから削除する。そして、再学習部２０７は、記憶部２０１の前述した学習済みデータを削除後の内容に更新する。ステップＳ３４の処理が完了すれば、一連の動作は終了となる。

また一方、ステップＳ３１で正誤入力部２０６に入力がない場合、処理はステップＳ３５へと進む。ステップＳ３５において、正誤入力部２０６は、食材リスト出力部２０５が食材リストを出力してから予め設定された一定時間が経過したか否かを確認する。食材リストの出力後に一定時間が経過していない場合、処理はステップＳ３１へと戻る。

一方、食材リストの出力後に一定時間が経過した場合、正誤入力部２０６は食材リストの識別結果は正しい旨の入力がなされたものとする。したがって、この場合、処理はステップＳ３３へと進み、前述した結び付きを強化する再学習と学習済みデータの更新が行われる。

実施の形態２．
図１５及び図１６は、この発明の実施の形態２に係るものである。図１５は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。そして、図１６はサーバ装置の棚位置検知に係る動作の一例を示すフロー図である。

ここで説明する実施の形態２は、前述した実施の形態１の構成において冷蔵室棚板の位置を変更可能な場合に、カメラが撮影した画像から冷蔵室棚板の位置を検出して、カメラの移動量を調整するようにしたものである。以下、この実施の形態２に係る冷蔵庫について、実施の形態１との相違点を中心に説明する。説明を省略した他の構成については実施の形態１と基本的に同様である。

この実施の形態に係る冷蔵庫システムにおいては、図１５に示すように、サーバ装置２００には、さらに棚位置検出部２０８を備えている。棚位置検出部２０８は、カメラ９が撮影した画像から、貯蔵室すなわちここでは冷蔵室１０内の棚の位置を検出する。この実施の形態では、まず、最初にカメラ移動装置９０で前述の可動範囲の全体にカメラ９を移動させながら、カメラ９で画像を撮影する。この際の撮影位置は、最終的にカメラ９で撮影可能な冷蔵室１０の全範囲を網羅できれば、特に限定されない。そして、冷蔵庫通信部１１０は、こうして撮影した画像をサーバ装置２００へと送信する。

サーバ装置２００のサーバ通信部２１０は、冷蔵庫１００から送信された画像を受信する。そして、棚位置検出部２０８は、サーバ通信部２１０が受信した画像を解析し、現在の冷蔵室棚板１１の位置を検出する。棚位置検出部２０８が検出した冷蔵室棚板１１の位置に関する情報は、サーバ通信部２１０により冷蔵庫１００へと送信される。

冷蔵庫通信部１１０は、サーバ装置２００から送信された冷蔵室棚板１１の位置に関する情報を受信する。そして、カメラ制御部１０１は、カメラ移動装置９０を制御して棚位置検出部２０８が検出した棚の位置に合わせてカメラ９を上下方向に移動させる。

次に、図１６を参照しながら、棚位置の検出動作の一例について説明する。サーバ装置２００のサーバ通信部２１０が、冷蔵庫１００から送信された画像を受信すると、ステップＳ４１において、棚位置検出部２０８は、画像から冷蔵室棚板１１の位置を検出する。ステップＳ４１の後、処理はステップＳ４２へと進む。ステップＳ４２において、サーバ通信部２１０は、ステップＳ４１で棚位置検出部２０８が検出した冷蔵室棚板１１の位置に関する情報を冷蔵庫１００へと送信する。ステップＳ４２の処理が完了すれば、一連の動作は終了となる。

なお、カメラ９から冷蔵室棚板１１の冷蔵室扉７側の先端までの距離を赤外線センサ等で計測することで、冷蔵室棚板１１の位置を検出してもよい。また、冷蔵室棚板１１の冷蔵室扉７側の先端部に、蛍りん光体をつけ、冷蔵室１０の照明を消してカメラ９で撮影し、光る場所から冷蔵室棚板１１の位置を検出してもよい。

以上のように構成された冷蔵庫シムテムにおいても、実施の形態１と同様の効果を奏することができる。さらに、冷蔵室棚板１１の位置が変更されたり、冷蔵室棚板１１が取り外されたりしても、冷蔵室棚板１１の位置に合わせて適切な庫内画像を撮影できる。

実施の形態３．
図１７及び図１８は、この発明の実施の形態３に係るものである。図１７は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。そして、図１８はサーバ装置の食材識別動作の一例を示すフロー図である。

ここで説明する実施の形態３は、前述した実施の形態１又は実施の形態２の構成において、食材の種類と商品名のどちらを識別するのか、又は、学習済みデータの量に応じて識別に使用する手法を変更するようにしたものである。以下、この実施の形態３に係る冷蔵庫について、実施の形態１の構成を元にした場合を例に挙げ、実施の形態１との相違点を中心に説明する。説明を省略した構成については実施の形態１又は実施の形態２と基本的に同様である。

この実施の形態に係る冷蔵庫システムにおいては、図１７に示すようにサーバ装置２００は、識別手法決定部２０９を備えている。識別手法決定部２０９は、食材識別部２０４で用いる識別手法を決定する。そして、食材識別部２０４は、識別手法決定部２０９が決定した識別手法を用いて、カメラ９が撮影した画像からの食材の識別を行う。なお、食材識別部２０４で用いる識別手法に応じて、使用する学習済みデータ、及び、特徴量抽出部２０３における特徴量の抽出手法も変更される。

まず、食材識別部２０４は、食材の種類を識別する場合と食材の商品名を識別する場合とで異なる識別手法を用いる。具体的には、食材の種類を識別する場合、識別手法決定部２０９は、識別手法をディープラーニングに決定する。そして、食材識別部２０４はディープラーニング用の学習済みデータを記憶部２０１から取得して、食材を識別する。

一方、食材の商品名を識別する場合、識別手法決定部２０９は、識別手法をＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）又はＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）等を用いたパターンマッチングに決定する。この場合、特徴量抽出部２０３は、カメラ９が撮影した画像について、ＳＩＦＴ等の手法を用いて、特徴点を検出し、特徴点から特徴量を抽出する。この特徴量はベクトル量である。そして、食材識別部２０４は例えばＳＩＦＴ用の学習済みデータを記憶部２０１から取得して、食材を識別する。食材の種類と商品名のどちらを識別するかについては、例えば操作パネル６により使用者が選択できるようにすることが考えられる。

次に、食材識別部２０４は、記憶部２０１に記憶された前述の学習済みデータの量が予め設定された基準量以上か否かに応じて、異なる識別手法を用いる。具体的には、記憶部２０１に記憶された前述の学習済みデータの量が前述の基準量以上の場合、識別手法決定部２０９は、識別手法をディープラーニングに決定する。そして、食材識別部２０４はディープラーニング用の学習済みデータを記憶部２０１から取得して、食材を識別する。

一方、記憶部２０１に記憶された前述の学習済みデータの量が前述の基準量未満の場合、識別手法決定部２０９は、識別手法をＳＩＦＴ又はＳＵＲＦ等を用いたパターンマッチングに決定する。この場合、特徴量抽出部２０３は、カメラ９が撮影した画像について、ＳＩＦＴ等の手法を用いて特徴量を抽出する。そして、食材識別部２０４は例えばＳＩＦＴ用の学習済みデータを記憶部２０１から取得して、食材を識別する。

次に、図１８を参照しながら、識別手法の決定に係る動作の一例について説明する。食材の識別処理を開始するとき、まず、ステップＳ５１において、識別手法決定部２０９は、画像から食材の商品名を識別するか否かを確認する。画像から食材の商品名を識別する場合、処理はステップＳ５２へと進む。そして、ステップＳ５２で、識別手法決定部２０９は、識別手法を第１の識別手法に決定する。第１の識別手法は、具体的にはＳＩＦＴ又はＳＵＲＦ等を用いたパターンマッチングである。

一方、ステップＳ５１で画像から食材の商品名を識別せず、食材の種類を識別する場合、処理はステップＳ５３へと進む。ステップＳ５３において、識別手法決定部２０９は、記憶部２０１に記憶された前述の学習済みデータの量が前述の基準量未満か否かを確認する。学習済みデータの量が基準量未満の場合、処理はステップＳ５４へと進む。そして、ステップＳ５４で、識別手法決定部２０９は、識別手法を第２の識別手法に決定する。第２の識別手法は、具体的にはＳＩＦＴ又はＳＵＲＦ等を用いたパターンマッチングである。

一方、ステップＳ５３で学習済みデータの量が基準量以上の場合、処理はステップＳ５５へと進む。そして、ステップＳ５５で、識別手法決定部２０９は、識別手法を第３の識別手法に決定する。第３の識別手法は、具体的にはディープラーニングである。そして、以上のようにして識別手法決定部２０９が決定した手法に応じて、特徴量抽出部２０３及び食材識別部２０４は処理を行う。

以上のように構成された冷蔵庫においても、実施の形態１又は実施の形態２と同様の効果を奏することができる。さらに、食材の種類と商品名のどちらを識別するのか、又は、学習済みデータの量に応じて識別に使用する手法を変更することで、より状況に応じて適した識別手法を用いることができ、識別精度を向上できる。

実施の形態４．
図１９及び図２０は、この発明の実施の形態４に係るものである。図１９は冷蔵庫システムが備える第２サーバ装置の構成を示すブロック図である。そして、図２０は冷蔵庫システムが備えるサーバ装置の注文履歴受信時の動作の一例を示すフロー図である。

ここで説明する実施の形態４は、前述した実施の形態１から実施の形態３のいずれかの構成において、食材の識別に使用者のインターネットのショッピングサイト等での注文履歴も用いるようにしたものである。以下、この実施の形態４に係る冷蔵庫について、実施の形態１の構成を元にした場合を例に挙げ、実施の形態１との相違点を中心に説明する。説明を省略した構成については実施の形態１から実施の形態３のいずれかと基本的に同様である。

この実施の形態に係る冷蔵庫システムは、第２サーバ装置３００を備えている。第２サーバ装置３００は、例えばインターネットのショッピングサイトの注文履歴管理サーバである。使用者は、例えば、冷蔵庫１００の操作部６ａ、自身が所有するスマートフォン等の携帯端末、パソコン等を操作し、例えば、第２サーバ装置３００を通じて所望する商品（食材）を注文できる。

図１９に示すように、第２サーバ装置３００は、注文履歴記憶部３０１及び注文履歴送信部３０２を備えている。注文履歴記憶部３０１は、使用者が注文した商品の注文履歴を記憶している。注文履歴送信部３０２は、注文履歴記憶部３０１に記憶されている使用者の注文履歴を、サーバ装置２００に送信する。第２サーバ装置３００から送信された注文履歴は、サーバ装置２００のサーバ通信部２１０により受信される。食材識別部２０４は、サーバ通信部２１０が受信した注文履歴により、識別に使用する学習済データの範囲を調整する。具体的に例えば、食材識別部２０４は、注文履歴記憶部３０１に記憶された注文履歴にある商品の範囲内で食材を識別する。

次に、図２０を参照しながら、注文履歴を用いた食材識別の調整動作の一例について説明する。サーバ装置２００のサーバ通信部２１０が、第２サーバ装置３００から送信された注文履歴を受信すると、ステップＳ６１において、食材識別部２０４は、サーバ通信部２１０が受信した注文履歴を用いて、識別に使用する学習済データの範囲を調整する。ステップＳ６１の処理が完了すれば、一連の動作は終了となる。

以上のように構成された冷蔵庫においても、実施の形態１から実施の形態３のいずれかと同様の効果を奏することができる。また、冷蔵庫１００の貯蔵室内には、基本的に使用者が購入した食材が格納されると考えられる。したがって、注文履歴記憶部３０１に記憶された注文履歴にある商品の範囲内で食材を識別するようにすることで、識別精度の向上が期待できる。

１ 断熱箱体
２ 圧縮機
４ 送風ファン
６ 操作パネル
６ａ 操作部
６ｂ 表示部
６ｃ スピーカ
７ 冷蔵室扉
７ａ 右扉
７ｂ 左扉
８ 制御装置
８ａ プロセッサ
８ｂ メモリ
９ カメラ
１０ 冷蔵室
１１ 冷蔵室棚板
１２ 棚板支持部
１３ ドアポケット
１４ チルド室
１５ チルドケース
２０ 切替室
３０ 製氷室
４０ 冷凍室
５０ 野菜室
８１ サーミスタ
８２ 扉開閉検知スイッチ
９０ カメラ移動装置
９１ ステッピングモータ
９２ ウォームギヤ
９３ ピニオン
９４ ラック
９５ ガイド部
９８ カメラ支持部
１００ 冷蔵庫
１０１ カメラ制御部
１０２ 庫内変化判定部
１０３ 画像アップロード部
１１０ 冷蔵庫通信部
２００ サーバ装置
２０１ 記憶部
２０２ 領域特定部
２０３ 特徴量抽出部
２０４ 食材識別部
２０５ 食材リスト出力部
２０６ 正誤入力部
２０７ 再学習部
２０８ 棚位置検出部
２０９ 識別手法決定部
２１０ サーバ通信部
３００ 第２サーバ装置
３０１ 注文履歴記憶部
３０２ 注文履歴送信部

Claims (10)

1. 食品を収納する貯蔵室が形成された冷蔵庫と、
   前記貯蔵室内の画像を撮影するカメラと、
   前記カメラが撮影した画像の特徴量を抽出する特徴量抽出部と、
   食材の画像の特徴量と当該食材との対応関係を学習した学習済みデータを予め記憶する記憶部と、
   前記記憶部に記憶された前記学習済みデータを用いて、前記特徴量抽出部が抽出した特徴量から食材を識別する食材識別部と、
   前記食材識別部が食材を識別した場合に、今回の識別に係る特徴量を当該食材と対応させた再学習を行って、前記記憶部に記憶された前記学習済みデータを更新する再学習部と、を備えた冷蔵庫システム。
2. 前記カメラが撮影した画像中の食材が存在する領域を特定する領域特定部をさらに備え、
   前記特徴量抽出部は、前記領域特定部が特定した領域毎に特徴量を抽出し、
   前記食材識別部は、前記領域特定部が特定した領域毎に食材を識別する請求項１に記載の冷蔵庫システム。
3. 前記カメラは、前記領域特定部が特定した同一領域について異なる複数視点から画像を撮影可能であり、
   前記特徴量抽出部は、前記同一領域について前記複数視点から前記カメラが撮影した複数視点画像のそれぞれの特徴量を抽出し、
   前記再学習部は、前記食材識別部が食材を識別した場合に、前記特徴量抽出部が抽出した前記複数視点画像のそれぞれの特徴量を当該食材と対応させた再学習を行って、前記記憶部に記憶された前記学習済みデータを更新する請求項２に記載の冷蔵庫システム。
4. 前記食材識別部は、食材の種類を識別する場合と食材の商品名を識別する場合とで異なる識別手法を用いる請求項１から請求項３のいずれか一項に記載の冷蔵庫システム。
5. 前記食材識別部は、前記記憶部に記憶された前記学習済みデータの量が予め設定された基準量以上か否かに応じて、異なる識別手法を用いる請求項１から請求項４のいずれか一項に記載の冷蔵庫システム。
6. 前記食材識別部による食材の識別結果を食材リストとして出力する食材リスト出力部と、
   前記食材リスト出力部が出力した食材リストの各項目の正誤を使用者が入力可能な正誤入力部と、をさらに備え、
   前記再学習部は、前記正誤入力部への入力内容を用いた再学習を行って、前記記憶部に記憶された前記学習済みデータを更新する請求項１から請求項５のいずれか一項に記載の冷蔵庫システム。
7. 前記正誤入力部は、前記食材リスト出力部が食材リストを出力してから予め設定された一定時間が経過した時に正誤が入力されていない項目について、正解が入力されたとする請求項６に記載の冷蔵庫システム。
8. 使用者が注文した商品の注文履歴を記憶する注文履歴記憶部をさらに備え、
   前記食材識別部は、前記注文履歴記憶部に記憶された注文履歴にある商品の範囲内で食材を識別する請求項１から請求項７のいずれか一項に記載の冷蔵庫システム。
9. 前記冷蔵庫と通信可能に設けられたサーバ装置をさらに備え、
   前記特徴量抽出部、前記記憶部、前記食材識別部及び前記再学習部は、前記サーバ装置に設けられ、
   前記冷蔵庫は、前記カメラが撮影した画像を前記サーバ装置に送信する送信部を備えた請求項１から請求項８のいずれか一項に記載の冷蔵庫システム。
10. 前記カメラが撮影した画像から、前記貯蔵室内の棚の位置を検出する棚位置検出部をさらに備え、
    前記冷蔵庫は、前記棚位置検出部が検出した棚の位置に合わせて前記カメラを上下方向に移動させるカメラ移動装置を備えた請求項１から請求項９のいずれか一項に記載の冷蔵庫システム。

Images