JP2019070467A

JP2019070467A - 冷蔵庫

Info

Publication number: JP2019070467A
Application number: JP2017195955A
Authority: JP
Inventors: 小谷　誠; Makoto Kotani; 誠小谷
Original assignee: Toshiba Lifestyle Products and Services Corp
Current assignee: Toshiba Lifestyle Products and Services Corp
Priority date: 2017-10-06
Filing date: 2017-10-06
Publication date: 2019-05-09
Anticipated expiration: 2037-10-06
Also published as: CN112984913B; JP7211700B2; CN109631456B; CN109631456A; CN112984913A

Abstract

【課題】貯蔵室内の物品の位置を簡易な構成で把握することができる冷蔵庫を提供する。【解決手段】実施形態の冷蔵庫１は、１つ以上の貯蔵室（３〜７）が設けられている筐体２と、筐体２の上部側に設けられ、貯蔵室の前方の範囲（Ｒ）を撮像する撮像部としてのカメラ９と、貯蔵室の扉（３ａ〜７ａ）の開閉を検知する開閉検知部としての開扉センサ１７と、開扉センサ１７により扉の開放が検知された時点を起点としてカメラ９で撮像を開始し、撮像した画像に基づいて貯蔵室に出し入れされる際の物品の位置情報を求め、求めた位置情報に基づいて当該物品が貯蔵された場所を推測する処理を実行する制御部１５と、を備える。【選択図】図１

Description

本発明の実施形態は、冷蔵庫に関する。

近年、冷蔵庫に貯蔵されている食品を外部から把握するために、貯蔵室内にカメラ等の撮像部を設けることが提案されている（例えば、特許文献１参照）。

特開２００７−４６８３３号公報

しかしながら、貯蔵されている物品を把握するために貯蔵室内の全ての範囲を撮像しようとすると、どうしても多くの台数のカメラが必要となり現実的ではなかった。また、カメラの位置が固定されている場合、貯蔵されている物品等に遮られて死角ができ、貯蔵室内の全てを撮像することが困難であった。
そこで、貯蔵室内の物品の位置を簡易な構成で把握することができる冷蔵庫を提供する。

実施形態の冷蔵庫は、１つ以上の貯蔵室が設けられている筐体と、筐体の上部側に設けられ、貯蔵室の前方の範囲を撮像する撮像部と、貯蔵室の扉の開閉を検知する開閉検知部と、開閉検知部で扉の開放が検知された時点を起点として撮像部で撮像を開始し、撮像した画像に基づいて貯蔵室に出し入れされる際の物品の位置情報を求め、求めた位置情報に基づいて当該物品が貯蔵された場所を推測する処理を実行する制御部と、を備える。

実施形態の冷蔵庫を正面側から見た状態を模式的に示す図冷蔵庫を側面側から見た状態を模式的に示す図冷蔵庫の電気的構成を示す図冷蔵庫の前方に設定される撮像領域を模式的に示す図貯蔵物の撮像し、場所の推定し、画像を生成する態様を模式的に示す図貯蔵物の画像と食材ＤＢの一例とを模式的に示す図容器ＤＢ、記号ＤＢの一例を模式的に示す図貯蔵物の撮像、場所の推定、画像の生成の他の態様を模式的に示す図画像の他の表示態様を模式的に示す図貯蔵物取り出した際の画像の表示態様を模式的に示す図

以下、実施形態について図面を参照しながら説明する。
図１に示すように、本実施形態の冷蔵庫１は、筐体２内に、上部から順に冷蔵室３、野菜室４、左右に並んだ製氷室５と小冷凍室６、および大冷凍室７の複数の貯蔵室を備えている。このうち、小冷凍室６は、例えば急速冷凍用の貯蔵室として機能する。なお、この冷蔵庫１の構成は一例であり、貯蔵室の数や種類および配置は、図１に示すものに限定されない。

冷蔵室３は、左右に並んで配置されている観音開きの左扉３ａ、右扉３ｂにより開閉される。なお、冷蔵室３を片開き式の扉により開閉する構成であってもよい。野菜室４、製氷室５、小冷凍室６および大冷凍室７は、それぞれ引き出し式の野菜室扉４ａ、製氷室扉５ａ、小冷凍室扉６ａおよび大冷凍室扉７ａによって開閉される。また、冷蔵室３の左扉３ａには、操作パネル８が設けられている。

この操作パネル８は、複数の照光式の静電スイッチにより構成されている操作部、冷蔵庫１の運転状態等を報知する照光式の表示領域を備えている。操作パネル８は、ユーザが操作部に触れることによって貯蔵室内の温度調整や急速冷凍動作あるいは製氷動作等の冷蔵庫１の運転状態の設定、あるいは、表示領域を点灯することにより冷蔵庫１の運転状態の報知を行う。また、操作パネル８には、図示は省略するが、操作音や警告音あるいは音声による報知等を行うブザーやスピーカ等の報知部も設けられている。

また、筐体２の上部には、本実施形態では２つのカメラ９が設けられている。このカメラ９は、撮像部に相当する。本実施形態では、カメラ９は、いわゆるＣＣＤカメラやＣＭＯＳカメラであり、カラーで動画および静止画を撮像可能な構成となっている。

これらのカメラ９は、冷蔵庫１の中央を挟んで対象となる位置に、左右方向におけるそれぞれの視野（α）が一部重なるように設けられている。このとき、各カメラ９の視野（α）は、冷蔵庫１の上端は除かれるものの、概ね冷蔵庫１の左右方向を全域に渡って撮像可能なように設定されている。

また、カメラ９は、図２に示すように、前後方向におけるそれぞれの視野（β）の中心が筐体２の前端よりも突出するように設けられている。このとき、各カメラ９の視野（β）は、冷蔵庫１の前方を含み、貯蔵室内の一部を撮像可能に設定されている。
このように、カメラ９は、冷蔵庫１の筐体２の上部から、冷蔵庫１の前端から前方側の範囲を撮像可能な位置に設けられている。

また、各貯蔵室には、物品を貯蔵する容器等が設けられている。例えば冷蔵室３には、複数の棚板１０や扉の内側のドアポケット（図４参照）等が設けられている。野菜室４には、大収納容器１１ａと小収納容器１１ｂが設けられている。小冷凍室６には、収納容器１２が設けられている。大冷凍室７には、大収納容器１３ａと小収納容器１３ｂが設けられている。

このとき、野菜室４の野菜室扉４ａが引き出された場合、大収納容器１１ａや小収納容器１１ｂの内部は、上方に設けられているカメラ９により撮像可能になっている。これは、小冷凍室６および大冷凍室７も同様である。

また、冷蔵庫１は、右扉３ｂに、表示装置１４が固定的あるいは着脱可能に設けられている。この表示装置１４は、表示器１４ａや外部記憶部１４ｂ等を備えている。表示装置１４は、冷蔵庫１に専用で設計されたものを設けることもできるが、タッチパネル型のいわゆるタブレットＰＣやユーザが所有するスマートホン等で構成することもできる。表示装置１４は、表示部に相当する。

このような冷蔵庫１は、図３に示すように、制御部１５によって制御されている。制御部１５は、図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を備えたマイクロコンピュータで構成されており、ＲＯＭ等に記憶しているプログラムを実行することにより冷蔵庫１の全体を制御する。また、制御部１５は、上記したＲＯＭやＲＡＭあるいは他の不揮発性メモリ等により構成された記憶部１５ａを備えている。

制御部１５は、操作パネル８、カメラ９、通信装置１６、開扉センサ１７ａ〜１７ｅ、庫内照明１８ａ〜１８ｃ、ファン装置１９ａ〜１９ｂ、コンプレッサ２０、温度センサ２１ａ〜２１ｂ等に接続されており、フィルタ基板２２を介して電源が供給されている。

通信装置１６は、本実施形態ではＷｉｆｉ等の無線通信方式のものを採用しており、アンテナ１６ａやネットワーク２３を介して、ユーザが所有する携帯端末２４や外部のサーバ２５等に各種のデータ通信可能に接続されている。また、携帯端末２４やサーバ２５は、図示は省略するが、それぞれ記憶部、操作部あるいは表示器等を備えている。これらお携帯端末２４やサーバ２５は、表示部に相当する。

開扉センサ１７ａ〜１７ｄは、各貯蔵室の扉の開閉を検知する。具体的には、開扉センサ１７ａは冷蔵室３の左扉３ａの開閉を検知し、開扉センサ１７ｂは冷蔵室３の右扉３ｂの開閉を検知し、開扉センサ１７ｃは野菜室４の野菜室扉４ａの開閉を検知し、開扉センサ１７ｄは小冷凍室６の小冷凍室扉６ａの開閉を検知し、開扉センサ１７ｅは大冷凍室７の大冷凍扉７ａの開閉を検知する。なお、製氷室５の製氷室扉５ａの開閉を検知する開扉センサ１７を設けることもできる。

庫内照明１８は、貯蔵室内を照明する。具体的には、庫内照明１８ａは冷蔵室３内を照明し、庫内照明１８ａは野菜室４内を照明し、庫内照明１８ａは大冷凍室７内を照明する。なお、庫内照明１８の数や配置は一例であり、これに限定されるものではない。

ファン装置１９は、冷凍サイクルで生成された冷気を、各貯蔵室に循環させる。具体的には、ファン装置１９ａは、冷蔵温度帯の貯蔵室である冷蔵室３および野菜室４に対して冷気を循環させ、ファン装置１９ｂは、冷凍温度帯の貯蔵室である製氷室５、小冷凍室６および大冷凍室７に対して冷気を循環させる。
コンプレッサ２０は、図示しない冷却器等とともに冷凍サイクルを構成しており、運転状態となることにより冷気を生成する。

温度センサ２１は、貯蔵室内の温度を検知する。具体的には、温度センサ２１ａは、冷蔵温度帯の貯蔵室を循環する冷気の温度を検知することにより、冷蔵室３および野菜室４の温度を検知する。温度センサ２１ｂは、冷凍温度帯の貯蔵室を循環する冷気の温度を検知することにより、製氷室５、小冷凍室６および大冷凍室７の温度を検知する。なお、各貯蔵室にそれぞれ個別に温度センサ２１を設ける構成とすることもできる。

次に、上記した構成の作用について説明する。
前述のように、冷蔵庫１に貯蔵されている食品を外部から把握するために貯蔵室内に撮像部を設ける場合、貯蔵室内の全ての範囲を撮像するために多くの台数を必要とすることで実用的でなくなったり、位置が固定されていると死角ができて貯蔵室内の全てを撮像することが困難になったりすることがある。

また、従来では食品の種類を識別することを主目的としたものも多く、その場合には、詳細な画像を撮像するためにユーザに貯蔵以外の操作や動作を求めたり、画像の抽出やマッチングを行う画像処理の負荷が増大したり、データベースが複雑化したりする等、実用的とは言い難いものもあった。

そこで、本実施形態では、以下のようにして貯蔵室内の物品の位置や種類を簡易な構成で把握できるようにしている。なお、以下の処理は主として制御部１５によって実行されるものであるが、説明の簡略化のため、冷蔵庫１を主体にして説明する。

図４に示すように、冷蔵庫１の前方には、カメラ９によって物品等を撮像する領域である撮像領域（Ｒ）が設定される。この撮像領域（Ｒ）は、本実施形態では冷蔵庫１の外形を前方側に向かって仮想的に拡大した概ね直方体形状に設定されている。この撮像領域（Ｒ）は、所定の原点を基準とする仮想的な座標系として設定されている。なお、原点は、例えば冷蔵庫１の前端における上下方向および左右方向の中央等、任意に設定することができる。

カメラ９は、撮像領域（Ｒ）内の物体であって、自身の視野に入ってきた物品を含む画像を撮像する。具体的には、カメラ９は、この撮像領域（Ｒ）に対して、動画のような連続的な画像、あるいは、所定の時間間隔で撮像された複数枚の静止画のような断続的な画像を撮像する。以下、カメラ９が撮像を継続している期間を、撮像期間と称する。

冷蔵庫１への物品の出し入れは通常であれば冷蔵庫１の前方側から行われるため、筐体２の上部にカメラ９を配置して撮像領域（Ｒ）を連続的あるいは断続的に撮像期間に渡って撮像することにより、冷蔵庫１つまりは貯蔵室に出し入れされる際の物品の位置情報を求める。ここで、位置情報とは、物品の位置、移動速度、移動方向および移動軌跡等の情報である。なお、位置情報としては、これらの情報のうち少なくともいずれか１つ以上の情報を含むものである。

この位置情報は、本実施形態であれば撮像領域（Ｒ）の座標系における物品の座標、座標の時間的な変化量や変化方向等により求めることができる。また、本実施形態では２台のカメラ９を設けているので、ステレオグラムで物品を立体的に撮像することができ、貯蔵室に出し入れされる際の位置情報をより正確に取得することができる。

さて、ここで、図５に平面視にて示すように、冷蔵室３の棚板１０に物品としてリンゴ（以下、貯蔵物Ｍ１と称する）を貯蔵する場合を想定する。このとき、貯蔵物Ｍ１は、冷蔵室３の扉が開放された後、例えば人の手によって保持された状態で、冷蔵室３の外部から棚板１０上に載置されることになる。つまり、貯蔵物Ｍ１を貯蔵する場合等、貯蔵室に対して物品を出し入れする際には、まずいずれかの扉が開放されることになる。

そのため、冷蔵庫１は、開扉センサ１７によっていずれかの扉例えば冷蔵室３の右扉３ｂの開放が検知されると、扉の開放が検知された時点を起点としてカメラ９での撮像を開始する。なお、カメラ９での撮像は、扉の閉鎖が検知されるまで、あるいは、扉の閉鎖が検知されてから所定の待機期間が経過するまで継続される。

そして、冷蔵庫１は、２台のカメラ９で撮像した画像に基づいて、貯蔵物Ｍ１に関する移動軌跡Ｋ１や移動速度等の位置情報を求める。このとき、貯蔵物Ｍ１の位置情報としては、冷蔵庫１の左右方向への変化だけでなく、冷蔵庫１の高さ方向への変化も求められている。なお、詳細な説明は省略するが、位置情報は、画像中の移動体を抽出し、時間変化に伴う移動体の座標の変化を求めるといった周知の画像処理を実行することにより求めることができる。

冷蔵庫１は、貯蔵物Ｍ１の移動軌跡Ｋ１等の位置情報を求めると、貯蔵物Ｍ１が貯蔵された貯蔵室内の場所を推測する処理を実行する。具体的には、冷蔵庫１は、位置情報に基づいて、貯蔵物Ｍ１が冷蔵庫１の左右方向および高さ方向のどの位置に移動したかを求める。ここでは、冷蔵室３内の上から２段目の棚板１０に貯蔵物Ｍ１が貯蔵されたとする。

また、冷蔵庫１は、貯蔵物Ｍ１がカメラ９の視野から外れた場合には、視野から外れた時点からの経過時間に基づいて、貯蔵物Ｍ１が冷蔵庫１の奥行き方向のどの位置に移動したかを推定する処理を実行する。これは、図２に示したように例えば棚板１０の後端側がカメラ９の視野（β）に入っていないためである。

具体的には、冷蔵庫１は、貯蔵物Ｍ１が視野（β）から奥行き方向に外れた場合、貯蔵物Ｍ１が奥行き方向に移動していたときの移動速度と、視野（β）から外れてから手が再び視野（β）内に戻ってくるまでの時間を計測することにより、貯蔵物Ｍ１が視野（β）からどの程度奥行き方向に移動したかを推定することができる。

そして、冷蔵庫１は、図５に示すように、貯蔵物Ｍ１が配置された場所を推定する。図５の場合、貯蔵物Ｍ１が貯蔵されたと推定される場所を、貯蔵された可能性の高低を示す等高線状の領域Ｘ１として示している。この領域Ｘ１は、貯蔵された可能性が最も高い位置を中心として、中心からずれるほど可能性が低いことを示している。なお、図５では、可能性の高低をハッチングの濃淡により模式的に示しており、最もハッチングが濃い部分が最も可能性が高いことを示している。

続いて、冷蔵庫１は、貯蔵物Ｍ１の画像と、予め用意されている貯蔵室内の画像とを重畳した表示画像Ｇ１を生成する処理を実行する。ここで、貯蔵室内の画像は、実際の貯蔵室内を撮像した画像やモデル化したＣＧ画像等により予めデータ化されている。この場合、棚板１０の右手奥側に貯蔵物Ｍ１が貯蔵されている状態の画像が生成される。

一方、冷蔵庫１は、貯蔵物Ｍ１の画像について、以下のように取得する。冷蔵庫１は、図６に示すように、位置情報を求める際に取得した画像から、貯蔵物Ｍ１を示す物体画像を抽出する。なお、図６では、手でリンゴを掴んだ画像から手を削除し、リンゴだけを抽出した状態を模式的に示している。そして、冷蔵庫１は、抽出した物体画像を、予め記憶部１５ａに記憶されている食材データベース（以下、食材ＤＢと称する）と照合することにより、貯蔵物Ｍ１の種類を推定する。この食材ＤＢは、冷蔵庫１に貯蔵される食品が登録されている食品データベース（以下、食品ＤＢと称する）のデータとして、後述する容器ＤＢや記号ＤＢとともに記憶部１５ａ等に記憶されている。

食材ＤＢには、各種の食品の形状や色彩等、食品を識別可能な食品画像データが登録されている。例えば、食材ＤＢには、食品Ａとしてリンゴ、食品Ｂとして梨、食品Ｃとしてトマト、食品Ｄとして洋梨等が登録されている。これらの食品Ａ〜Ｄ等は、予めデータ化されている食品に相当する。なお、ここに示した食材ＤＢは一例であり、これらに限定されるものではない。

この食品画像データは、３Ｄデータとして登録することもできる。また、食材ＤＢ、および後述する容器ＤＢや記号ＤＢは、記憶部１５ａに記憶する構成とすることができるし、携帯端末２４や外部のサーバ２５に記憶する構成とすることもできる。また、食材ＤＢは、主な果物や野菜等を予め登録しておく構成とすることができるし、ユーザによる新規の登録、修正あるいは追加が可能な構成とすることもできる。

冷蔵庫１は、これらの食品の中から、貯蔵物Ｍ１と同一物であると確率的に推測できる食品を選択し、選択した食品の画像を貯蔵室内の画像に重畳した表示画像Ｇ１（図５参照）を生成する。ここで、確率的に推測できるとは、貯蔵物Ｍ１の特注として「赤い」、「丸い」といった特徴が抽出できた場合、リンゴあるいはトマトが同一物であると推測できるが、その「大きさ」からリンゴの可能性が高いと推測するような態様を意味している。

これは、従来のように確実に食品を識別しようとする場合、画像処理や食品データベースが複雑化あるいは肥大化したり、カメラ９で詳細に撮像できるように貯蔵する際に余分な動作をユーザに負担させたりする必要があったが、それを開扉して簡便な構成とするためである。すなわち、同一物であると確率的に推測できる食品を選択する構成とすることにより、画像処理や食品データベースが複雑化あるいは肥大化することなく、また、ユーザに余分な負担を掛けることなく、食品の識別を行うことができるようになる。

なお、貯蔵物Ｍ１を貯蔵したユーザであれば、ある程度どのような食品を貯蔵したかを把握していると考えられる。そのため、例えば赤くて丸い食品を上から２段目の棚板１０に貯蔵したことを示せれば、その食品が何であるかをユーザは思い出すことができると考えられることから、同一物であると確率的に推測できる食品を選択する構成としても、それほどユーザに不利益を与えることはないものと考えられる。

生成した表示画像Ｇ１は、冷蔵庫１に設けられている表示装置１４に表示させることもできるが、携帯端末２４や外部のサーバ２５に表示させることもできる。このとき、冷蔵庫１は、例えば操作パネル８から貯蔵室内の画像の表示が入力されたときに表示装置１４に表示画像Ｇ１を表示させる。

あるいは、冷蔵庫１は、使用者が貯蔵室内の画像を確認しようとして携帯端末２４や外部のサーバ２５から貯蔵室内の画像の表示を要求したときに、表示画像Ｇ１あるいは表示画像Ｇ１を表示可能な情報を送信することで、携帯端末２４や外部のサーバ２５での表示を可能にする。

なお、表示画像Ｇ１を表示可能な情報とは、例えば上から２段目の棚板１０の右奥側にリンゴが貯蔵されたことを特定できる情報である。その情報を受けた携帯端末２４や外部のサーバ２５は、表示画像Ｇ１と同様の画像を自身で生成して自身の表示部に表示する。そのため、ただし、冷蔵庫１は、表示画像Ｇ１自体は記憶せず、貯蔵物Ｍ１の種類や貯蔵場所の情報を記憶しておき、必要に応じて画像を重畳する構成とすることができる。

ところで、ここまでは食品そのものが貯蔵される例を示したが、冷蔵庫１の一般的な利用形態として、食品を容器に収納し、その容器を貯蔵することが想定される。その場合、容器の種類は多種多様であるとともに、同じ容器であっても家庭によって異なる使い方をしていることも想定される。

そこで、冷蔵庫１は、図７に示すように、容器の形状や色彩とその容器に収容されている食品とを対応付けた容器データベース（以下、容器ＤＢと称する）や、容器に添付する記号や文字等とその記号や文字等に食品を対応付けた記号データベース（以下、記号ＤＢと称する）を記憶する構成とすることができる。

例えば容器ＤＢには、容器Ａとしてご飯を収容する四角い容器、容器Ｂとしてカレー収容する四角くて蓋が黄色い容器、容器Ｃとして福神漬け収容する丸くて赤い蓋の容器等が登録されている。なお、図７では、蓋の色の違いをハッチングの違いにより模式的に示している。
あるいは、記号ＤＢには、記号Ａとして浅漬けが収容されていることを示す月マーク、
記号Ｂとして梅干しが収容されていることを示す星マーク、記号Ｃとしてかいわれが収容されていることを示す三角マーク等が登録されている。

これら容器ＤＢおよび記号ＤＢに登録されている識別情報は、食品の項目を空白の状態で予め登録しておく構成とすることができるし、ユーザによる新規の登録や修正あるいは追加が可能な構成とすることもできる。また、容器ＤＢと記号ＤＢとの双方に一致する貯蔵物の場合には、例えば記号ＤＢとの一致を優先させる等、同一物を判定する際の優先順位を設ける構成とすることができる。

さて、冷蔵庫１は、貯蔵物が収容されるごとに識別した貯蔵物の種類や貯蔵場所といった食品の貯蔵状態をデータベース化して記憶するとともに、表示する画像の生成、既に生成した画像の更新、あるいは、画像を表示するための情報の更新等を行う。例えば、図８に示すように、棚板１０の右側に既に物品が例えば貯蔵物Ｍ１が貯蔵されている状態において、新たな貯蔵物Ｍ２が貯蔵される状態を想定する。ここでは貯蔵物Ｍ２として、缶ジュースを想定している。

さて、カメラ９で撮像した画像に基づいて、貯蔵物Ｍ２の移動軌跡Ｋ２が棚板１０の右側に向かっていることが特定されたとする。この場合、冷蔵庫１は、貯蔵物Ｍ２の位置情報に基づいて、棚板１０の右側に、貯蔵物Ｍ１の領域Ｘ１と重ならないように、新たな領域Ｘ２を設定する。なお、図８では、領域Ｘ２が手前側、領域Ｘ１が奥側の例を示しているが、領域Ｘ２は、貯蔵物Ｍ２を貯蔵する際の移動速度と上記した視野（β）から外れた時間に基づいて設定される。

そして、冷蔵庫１は、領域Ｘ１および領域Ｘ２を設定すると、表示する画像を生成する。この場合、表示画像Ｇ２としては、棚板１０の右手奥側に貯蔵物Ｍ１が貯蔵されており、その手前側に貯蔵物Ｍ２が貯蔵されている状態の画像が生成される。

さて、缶ジュースは、多種多様なものが販売されており、また、新製品等も販売されることから、全ての種類を網羅したデータベースを構築することは現実的ではない。そのため、冷蔵庫１は、貯蔵物Ｍ２の画像として、図８のように円筒状のＣＧ画像を利用することができる。これにより、飲料物が貯蔵されていることをユーザに示すことができる。なお、貯蔵物Ｍ２と同一物であると推定できる画像が食品ＤＢ等に登録されていれば、その画像を使えば良いことは勿論である。

あるいは、冷蔵庫１は、貯蔵物Ｍ２の種類を推定できす食品ＤＢの中から選択できなかった場合、あるいは、同一物である可能性が所定の基準値よりも低い場合には、図９に示すように、円筒状の物品が貯蔵されたことを示す透過画像Ｇ３を生成することができる。このような表示態様によっても、飲料物が貯蔵されていることをユーザに示すことができる。なお、基準値は、貯蔵物の画像と食品ＤＢに登録されている画像との一致率が例えば８０％以上である等、適宜設定することができる。

また、冷蔵庫１は、カメラ９で撮像した画像から貯蔵物Ｍ２を抽出し、抽出した画像を重畳した現物画像Ｇ４を生成することができる。このような表示態様によっても、飲料物が貯蔵されていることをユーザに示すことができる。この場合、貯蔵物Ｍ２の画像そのものが表示されるため、複数種類の缶ジュースが貯蔵されている場合であっても、どのような種類のものが貯蔵されているかを正確にユーザに示すことができる。また、貯蔵物Ｍ２の種類を推定できす食品ＤＢの中から選択できなかった場合、あるいは、同一物である可能性が基準値よりも低い場合に、抽出した貯蔵物Ｍ２の画像を重畳する構成とすることもできる。

また、冷蔵庫１は、容器に収容された貯蔵物Ｍ３を検知した場合には、対応する食品を示す文字を重ねた詳細画像Ｇ５を生成することができる。このような表示態様によれば、容器だけでなく、その内容物の種類も示すことができきる。また、容器が貯蔵されたことを検知した場合だけでなく、貯蔵物Ｍ１のように食品そのものが貯蔵されたことを検知した場合にも、例えば「リンゴ」という文字とともに表示することができる。また、容器に記号が付されている場合には、その記号や対応する食品を示す文字を表示することもできる。

さて、ここまでは物品を収容する例を説明したが、冷蔵庫１は、扉の閉鎖が検知されてから所定の待機期間が経過するまでの間に撮像された画像に基づいて、貯蔵室に出し入れされる際の物品の位置の変化に基づいて、当該物品が貯蔵されていた場所を推測する処理を実行することもできる。

例えば、図９に示すように、貯蔵物Ｍ１と貯蔵物Ｍ３とが貯蔵されている状態において、例えば貯蔵物Ｍ３が冷蔵庫１から取り出されたとする。この場合、扉の開扉が検知されると、カメラ９によってまず何も持っていない手が撮像され、貯蔵室から取り出された物品ここでは貯蔵物Ｍ３が撮像される。

そのため、冷蔵庫１は、扉の閉鎖等の撮像期間の最後において物品が撮像されている場合、その物品を貯蔵室から取り出されたと判定して物品を識別する。そして、冷蔵庫１は、物品が例えば貯蔵物Ｍ３であると識別したら、記憶しているデータベースから貯蔵物Ｍ３が貯蔵されていた場所を推定する処理を実行する。このとき、複数の貯蔵物Ｍ３が貯蔵されていることも想定されるため、冷蔵庫１は、手の移動軌跡等に基づいて、冷蔵庫１のどの場所から貯蔵物Ｍ３が取り出されたかを判定する。

そして、冷蔵庫１は、貯蔵物Ｍ３を表示画像ここでは図１０に示す更新前の詳細画像Ｇ５から貯蔵物Ｍ３の画像を除去し、更新後の詳細画像Ｇ６を生成または更新する。あるいは、冷蔵庫１は、貯蔵物Ｍ３を貯蔵した時に更新されたデータベースから、今回取り出された貯蔵物Ｍ３の情報を削除する。

この場合、いずれかの貯蔵物が取り出されたことをトリガとして、携帯端末２４や外部のサーバ２５に物品が取り出されたことを通知したり、物品が取り出された後の貯蔵室内の画像を送信あるいは表示させたりすることができる。

以上説明した冷蔵庫１によれば、次のような効果を得ることができる。
冷蔵庫１は、１つ以上の貯蔵室（３〜７）が設けられている筐体２と、筐体２の上部側に設けられ、貯蔵室の前方の範囲（Ｒ）を撮像する撮像部としてのカメラ９と、貯蔵室の扉（３ａ〜７ａ）の開閉を検知する開閉検知部としての開扉センサ１７と、開扉センサ１７により扉の開放が検知された時点を起点としてカメラ９で撮像を開始し、撮像した画像に基づいて貯蔵室に出し入れされる際の物品の位置情報を求め、求めた位置情報に基づいて当該物品が貯蔵された場所を推測する処理を実行する制御部１５と、を備える。

これにより、少数のカメラ９を用いて、また、位置が固定されているカメラ９を用いて、冷蔵庫１の前方の範囲つまりは冷蔵庫１に出し入れされる物品が移動する範囲を全体的且つ簡易な構成で撮像することができ、カメラ９の台数の削減と、死角が生じるおそれの低減とを両立させることができる。したがって、貯蔵室内の物品の位置を簡易な構成で把握することができる。

このとき、カメラ９は筐体２の上部、つまりは,貯蔵室の外に設けられている。このため、レンズの結露が生じにくく、冷蔵庫１に出し入れされる物品をクリアに撮像できる。また、冷蔵庫１に出し入れされる物品を撮像する場合には部屋の照明や日光等の外部光源を利用できるため、庫内照明を撮像用に高輝度のものにする必要もない。

冷蔵庫１は、カメラ９で撮像した物品の画像に基づいて、予めデータ化した食品が登録されている食品ＤＢの中から貯蔵された物品と同一物であると確率的に推測できる食品を選択し、選択した食品の画像を、予めデータ化されている貯蔵室内の画像に重畳して表示部に表示する処理を実行する。

これにより、貯蔵室内の状況を容易に把握することができる。また、確率的に推測できた食品を選択する構成としたことにより、画像処理や食品ＤＢが複雑化あるいは肥大化することなく、また、ユーザに余分な負担を掛けることなく、食品の識別を行うことができるようになる。

また、冷蔵庫１は、食品を選択することができなかった場合、または、選択した食品と同一物である確率が所定の基準値よりも低い場合、画像を重畳する際に食品の画像を透過させる、あるいは、食品の画像を相対的に暗くすることにより、同一物ではない可能性を識別可能に報知する処理を実行する。これにより、おおよその貯蔵物を提示可能になるとともに、不確実な情報を誤って提示してしまうことを抑制できる。

冷蔵庫１は、カメラ９で撮像した物品の画像を、貯蔵室内の画像に重畳して表示部に表示する処理を実行する。これにより、どのような食品が貯蔵されているかを正確にユーザに示すことができる。これは、貯蔵物Ｍ２の種類を推定できす食品ＤＢの中から選択できなかった場合、あるいは、同一物である可能性が基準値よりも低い場合において有意である。

冷蔵庫１は、食品と、当該食品を収容する容器の形状、色彩、文字および記号のうち少なくとも１つを含む識別情報とを予め対応付けて記憶する記憶部１５ａを備え、識別情報に基づいて食品を識別する。これにより、容器に収容されて食品を判別できない場合や、同一形状の容器を用いるような場合であっても、食品の種類を報知することができる。

冷蔵庫１は、貯蔵室に出し入れされる際の物品の位置の変化に基づいて当該物品が貯蔵されていた場所を推測する処理を実行する。つまり、冷蔵庫１は、貯蔵室に貯蔵される物品だけでなく、貯蔵室から取り出された物品も検出する。これにより、データとして記憶する貯蔵室内の状況を現実に即したものに維持することができる。

冷蔵庫１は、貯蔵室から取り出された物品を特定し、当該物品が貯蔵された際に生成された画像から当該物品の画像を除去する。これにより、ユーザに対して実際の貯蔵室内の状況を提示することができる。
また、冷蔵庫１は、上記した実施形態で示した構成に限定されるものではなく、要旨を変更しない範囲において適宜構成を変更することができる。

実施形態では本説明では２台のカメラ９で位置情報を求める例を示したが、例えば１台のカメラ９を用い、焦点距離に基づいて位置情報を求める構成とすることもできる。また、カメラ９と赤外線距離計等とを設け、撮像と距離つまりは位置の計測とを個別に行う構成とすることもできる。

実施形態では扉の開放を検知したタイミングで撮像を開始する構成を示したが、例えば冷蔵庫１の前に居る人を検知する人検知センサを設け、人検知センサにて人を検知したタイミングで撮像を開始する構成とすることもできる。この場合、人検知センサは、例えば操作パネル８に設けておき、人を検知した際に照光式の静電スイッチや表示領域を点灯させて操作を補助する機能と兼用する構成とすることができる。

実施形態では貯蔵物が貯蔵される場所を推定して貯蔵室内の画像を表示する例を示したが、推定した場所は、より快適な冷蔵庫１の利用にも活用することができる。冷蔵庫１は、例えば冷蔵室３であればどの場所にどのような食品を貯蔵すればよいのかといった推奨の配置が設定されていることがある。また、冷蔵庫１は、一般的に、位置が固定されている冷気の出入り口から冷気を循環させる構成となっている。

そのため、貯蔵される食品を識別し、その食品が推奨とは異なる場所に貯蔵されると推定した場合には報知部等から推奨の場所をユーザに報知したり、冷気の出入口付近に貯蔵されると推定した場合にはその場所を避けるようにユーザに報知したりすることで、食品の鮮度の維持や貯蔵室内の均等な冷却を実現することができる。

また、冷蔵室や野菜室に貯蔵される物品は、種類にもよるものの貯蔵室内よりも温度が高いと考えられるため、物品の大きさに基づいて冷凍サイクルの運転を制御することにも活用することができる。
上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

図面中、１は冷蔵庫、２は筐体、３は冷蔵室（貯蔵室）、３ａは左扉（扉）、３ｂは右扉（扉）、４は野菜室（貯蔵室）、４ａは野菜室扉（扉）、５は製氷室（貯蔵室）、５ａは製氷室扉（扉）、６は小冷凍室（貯蔵室）、６ａは小冷凍室扉（扉）、７は大冷凍室（貯蔵室）、７ａは大冷凍室扉（扉）、９はカメラ（撮像部）、１４は表示装置（表示部）、１４ａは表示器（表示部）、１４ｂは外部記憶部（記憶部）、１５は制御部、１５ａは記憶部、１６は通信装置（通信部）、１７、１７ａ〜１７ｄは開扉センサ（開閉検知部）、２４は携帯端末（表示部、記憶部）、２５はサーバ（表示部、記憶部）、容器ＤＢ、記号ＤＢ、食材ＤＢ、食品ＤＢは食品データベースを示す。

Claims

１つ以上の貯蔵室が設けられている筐体と、
前記筐体の上部側に設けられ、前記貯蔵室の前方の範囲を撮像する撮像部と、
前記貯蔵室の扉の開閉を検知する開閉検知部と、
前記開閉検知部で扉の開放が検知された時点を起点として前記撮像部で撮像を開始し、撮像した画像に基づいて前記貯蔵室に出し入れされる際の物品の位置情報を求め、求めた位置情報に基づいて当該物品が貯蔵された場所を推測する処理を実行する制御部と、
を備えることを特徴とする冷蔵庫。
前記制御部は、前記撮像部で撮像した物品の画像に基づいて、予めデータ化された食品が登録されている食品データベースの中から貯蔵された物品と同一物であると推測できる食品を選択し、選択した食品の画像を、予めデータ化されている前記貯蔵室内の画像に重畳して前記表示部に表示する処理を実行することを特徴とする請求項１記載の冷蔵庫。
前記制御部は、食品を選択することができなかった場合、または、貯蔵された物品と選択された食品とが同一物である確率が所定の基準値よりも低い場合、選択した食品の画像を重畳する際に食品の画像を透過させる、あるいは、食品の画像を相対的に暗くすることにより、同一物ではない可能性を識別可能に報知する処理を実行することを特徴とする請求項２記載の冷蔵庫。
前記制御部は、前記撮像部で撮像した物品の画像を、予めデータ化されている前記貯蔵室内の画像に重畳して前記表示部に表示する処理を実行することを特徴とする請求項１から３のいずれか一項記載の冷蔵庫。
食品と、当該食品を収容する容器の形状、色彩、文字および記号のうち少なくとも１つを含む識別情報とを予め対応付けて記憶する記憶部を備え、
前記制御部は、前記識別情報に基づいて食品を識別することを特徴とする請求項１から４のいずれか一項記載の冷蔵庫。
前記制御部は、前記貯蔵室に出し入れされる際の物品の位置の変化に基づいて当該物品が貯蔵されていた場所を推測する処理を実行することを特徴とする請求項１から５のいずれか一項記載の冷蔵庫。
前記制御部は、前記撮像部で撮像した物品の画像に基づいて、前記貯蔵室から取り出された物品を特定し、当該物品が貯蔵された際に生成された画像から当該物品の画像を除去することを特徴とする請求項６記載の冷蔵庫。