〔実施形態1〕
本発明の一実施形態について説明すれば、以下の通りである。本実施形態では、収納庫の一例として冷蔵庫について説明し、この冷蔵庫に本発明の庫内撮影装置を適用した例について説明する。以下の他の実施形態も同様とする。
(冷蔵庫の概略説明)
図2の(a)は、冷蔵庫1の正面図、(b)は、(a)の冷蔵庫1のXX線矢視断面図である。
冷蔵庫1は、図2の(a)(b)に示すように、上部の冷蔵室(庫内)10を開閉するための扉11、下部の引き出し型の収納庫12,13,14を備えている。
冷蔵室10には、食品の収納・取り出しのための開口部10dが設けられている。この開口部10dを開放状態または閉塞状態にするために、上記扉11が冷蔵庫1に取り付けられている。すなわち、上記扉11は、上記開口部10dに対して開閉自在に設けられている。
扉11の上部には、上記開口部10dを介して冷蔵室10内を撮影するためのカメラ21が設けられている。カメラ21は、扉11が所定の位置に開放されているときに、撮影方向21aが冷蔵室10全体を向くように設置されている。
また、冷蔵室10の開口部10dの上部には、当該冷蔵庫1を設置した床面の方向を測定するための測距センサ22が設けられている。本実施形態では、測距センサ22の測距方向22aは、上記扉11が開けられた際に上記扉11と上記開口部10dとの間に形成される空間へ向かう方向とする。また、上記空間を床面に投影して測距領域11aとする。ここで、扉11が完全に開放された状態であれば、測距センサ22は床面の測距領域11aまでの距離を測定する。また、扉11が上記測距領域11aを覆う位置に移動した状態であれば、当該扉11が障害物となり、測距センサ22は扉11までの距離を測定する。つまり、測距センサ22の最大の測定距離は、当該測距センサ22が設置された位置から床面の測距領域11aまでの距離となる。従って、測距センサ22と測距領域11aとの間に障害物、例えば扉11やユーザ等が存在すれば、当該測距センサ22は障害物までの距離を測定することになる。当然、測距センサ22によって測定される距離も短くなる。
なお、カメラ21の配置、測距センサ22の配置は、上記の例に限定されるものではなく、それぞれの目的を達成できる位置であればどこに配置してもよい。また、カメラ21は、一般的なデジタルカメラでよく、冷蔵庫1の冷蔵室10全体を撮影できるものであればよい。
また、測距センサ22は、上述のように冷蔵室10の開口部10dの一方の端側(庫内上部前方側)に配置され、当該測距センサ22の測距方向22aを冷蔵庫1の扉11開放時の扉11と開口部10dとの間に生じる空間を投影した床面に向かう方向に設定している。
なお、測距センサ22は、開口部10dの上部側に設ける必要はなく、測距方向22aが、冷蔵室10の開口部10dから扉11の開閉動作によって生じる空間を通る方向であれば下部側等のどこに設けてもよい。なお、測距センサ22は、カメラ21と同様に、一般的な距離センサであればよい。
(冷蔵庫1の庫内撮影装置のブロック図)
図1は、冷蔵庫1の庫内の画像を撮影する庫内撮影装置101の概略ブロック図を示す。
庫内撮影装置101は、図1に示すように、制御部111、カメラ21、測距センサ22、ドア開閉センサ23、通信部24、記憶部25を含んでいる。
上記カメラ21、測距センサ22は、前述した通りである。
上記ドア開閉センサ23は、冷蔵庫1の扉11の開閉を検知するセンサである。ここでは、ドア開閉センサ23として、扉11を開けるとオン信号を後述する距離演算部122に出力し、扉11を閉じるとオフ信号を後述する距離演算部122に出力するセンサを用いる。しかしながら、ドア開閉センサ23としては、上記例に限定されるものではない。
上記通信部24は、外部の通信ネットワーク(例えばインターネットなど)に接続するようになっており、カメラ21で撮影した冷蔵室10の庫内映像を通信ネットワークに接続されたサーバに送るようになっている。これにより、ユーザは、サーバに接続された情報端末(スマートフォン等)を介して、自分の冷蔵庫1の冷蔵室10の庫内映像を確認することができる。
上記記憶部25は、カメラ21によって撮影された撮影データ、測距センサ22によって測定された距離情報などを格納する。
上記制御部111は、カメラ21を制御する撮影制御部121、測距センサ22が検出した値から距離を求める距離演算部122と、通信部24の通信を制御する通信制御部123を含んでいる。
ここで、上記撮影制御部121は、上記カメラ21に対して冷蔵室10内を最適なタイミングで且つ最適な状態で撮影するように制御している。例えば、上記扉11が開けられたときに、上記開口部10dの一方の端側から、上記扉11と上記開口部10dとの間に位置する物体までの距離を、測定可能な測距部(測距センサ22、距離演算部122)が測定する距離が所定の撮影距離に達したとき、上記カメラ21に撮影を行わせる。なお、この撮影制御の詳細は後述する。
(冷蔵庫の扉の開閉動作とカメラによる撮影)
図3の(a)〜(f)は、ユーザUにより冷蔵庫1から貯蔵物である食材を取り出すあるいは収納する際の扉11の開き始めから閉じ終わりまでのユーザUの動きを示す図である。
図3の(a)(b)(e)(f)に示す扉11を開く動作及び閉める動作時において図3の(b)(e)では、ユーザUの位置は、測距センサ22(図示せず)の測距領域11aに存在しない。すなわち、扉11の開閉動作時の測距センサ22による測定距離は予め設定した規定値(所定の撮影距離:第1の距離)Dthよりも大きい。この時は、冷蔵庫1からユーザUが離れていて、ユーザUが邪魔にならずに扉11に設けられたカメラ21によって庫内を撮影する事が出来る。
一方、図3の(c)(d)は、ユーザUが冷蔵庫1から食材を取り出すあるいは収納する状態を示している。(c)の状態では、ユーザUは測距センサ22の測距領域11aに存在するので、扉11の開閉動作時の測距センサ22による測定距離は予め設定した規定値Dth以下となる。この時は、冷蔵庫1にユーザUが近づいて、ユーザUが邪魔をするため扉11に設けられたカメラ21によって庫内を撮影する事ができない。(d)ではユーザUの位置は、測距センサ22(図示せず)の測距領域11aに存在しない。すなわち、扉11の開閉動作時の測距センサ22による測定距離は予め設定した規定値(所定の撮影距離:第1の距離)Dthよりも大きい。この時は、冷蔵庫1からユーザUが離れていて、ユーザUが邪魔にならずに扉11に設けられたカメラ21によって庫内を撮影する事が出来る。
ここで、撮影対象の開口部10dの上端から下端までの距離をDthとする。例えば、Dthを床面近くまでの距離に設定すると、冷蔵庫の前に人がいなくても、収納庫12、13、14のいずれかが開けられている場合は、収納庫までの距離を測ることになり、そのままでは冷蔵庫の前に人がいると判定される。Dthを開口部10dの下端までの距離にすれば、収納庫12、13、14が開かれているだけの状況では、開口部10dの前に人はいないと判定することが可能となる。
あるいは冷蔵庫1の構造と測距センサ22とカメラ21の位置関係から、Dthを一意的に開口部10dの下端までの距離にするだけでは、人の有無を検出出来ない場合は、収納庫12、13、14それぞれにドアスイッチを設けて、収納庫12、13、14の開閉状態を検出し、開閉状態別にDthを設定する様にしても良い。
上記Dthの具体例については、後述する実施形態3,4においても同様である。
上記冷蔵庫1の庫内撮影の処理について以下に詳細に説明する。
(庫内撮影処理)
図4は、庫内撮影処理の流れを示すフローチャートである。
図5は、図4に示す庫内撮影処理におけるカメラによる庫内撮影、撮影データの保存のタイミングを説明するための図である。なお、図5の(1)〜(8)は、図4の(1)〜(8)に対応している。
まず、扉11がOPENされているか否かを判定する(ステップS11)。ここでは、距離演算部122がドア開閉センサ23による検知信号(オン信号かオフ信号)から扉11が開放された状態であるか否かを判断する。
そして、ステップS11においてYES、すなわち扉11がOPENされていると判定されれば、測距センサ22による測定を開始する(ステップS12)。ここでは、ドア開閉センサ23によって扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。そして、距離演算部122が測距センサ22から出力される検出値により距離Dを算出する。
次に、Mを0にする(ステップS13)。すなわち、カメラ21による撮影回数Mをリセットする。
続いて、距離Dが規定値Dth以上か否かを判定する(ステップS14)。
そして、距離Dが規定値Dth以上と判定(YES)されれば(2)、さらに、距離Dが規定値Dth未満か否かを判定する(ステップS15)。ここで、距離Dが規定値Dth未満と判定(YES)されれば(3)、扉11がOPENされている否かを判定する(ステップS16)。ここで、扉11がOPENされていると判定(YES)されれば、再び、距離Dが規定値Dth以上か否かを判定する(ステップS17)。
ステップS17においてYES、すなわち、距離Dが規定値Dth以上と判定されれば(4)、カメラ21による撮影が行われる(ステップS18)。
続いて、撮影回数Mに1を加算し(ステップS19)、再びステップS15に移行し、
距離Dが規定値Dth未満か否かを判定する。
一方、ステップS16においてNO、すなわち、扉11がOPENされていないと判定されれば(8)、ステップS20に移行し、撮影回数Mが0よりも大きいか否かを判定する。ここで、YESであれば、カメラ21による庫内の撮影が1回以上行われていると判断し、撮影データを保存し(ステップS21)、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。
一方、ステップS20においてNO、すなわち、撮影回数Mが0であると判定されれば、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。この場合、撮影回数Mが0であることから、ユーザUが単純に扉11を開閉しただけであると判断できる。
すなわち、本実施形態においては、ドア開閉センサ23により扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。
そして、扉11が開放後に一旦、測距センサ22が所定の撮影距離である規定値Dth以上を検知((2)〜(3))、その後、規定値Dth未満を検知((3)〜(4))してから、さらに規定値Dth以上を検知((4)〜(5))した後に、カメラ21が庫内を撮影する。ここでは、カメラ21の撮影は(4)で行われる。
再度、規定値Dth未満を検知((5)〜(6))してから、さらに規定値Dth以上を検知((6)〜(7))した後に、カメラ21が庫内を撮影する。ここでは、カメラ21の撮影は(6)で行われる。
扉11を閉める段階で、規定値Dth未満を検知((7)〜(8))するが、扉11のドア開閉センサ23などで扉11を閉めたことを検知し(8)、測距センサ22による測距を終了する。
この際、最後に撮影した画像((6)の時点で撮影した画像)を庫内の最新画像として保存し、ディスプレイ等で庫内画像として、使用者の用に供する。
このように、本実施形態1では、測定した距離Dが規定値Dth以上である区間(4)〜(5)、(6)〜(7)において、具体的には、(4)、(6)の規定値Dthを超えた時にカメラ21で庫内を撮影し、最終的に(6)の時の画像を最新画像として保存する。
つまり、距離Dが規定値Dth以上となったときには、冷蔵室10の開口部10dにユーザUが相対しておらず、障害物なく庫内を撮影できる。また、冷蔵室10の開口部10dからユーザUが退いて相対しなくなった時点では、まだ扉11を閉める動作を開始していないと考えられるため、扉11にカメラ21を設けた場合に、扉11の動作による撮影のブレを防止できる。
なお、冷蔵庫1の冷蔵室10内の貯蔵物の確認だけのために扉11を開閉した場合は、(3)〜(6)の変化は生じないが、貯蔵物の変化もないのでカメラ21による撮影を行う必要がない。
従って、冷蔵庫1の扉11の開放後に、測定した距離Dが規定値Dth以上→規定値Dth未満→規定値Dth以上になれば、ユーザUによって冷蔵室10内の貯蔵物が変化したしたと判断し、カメラ21で撮影するが、そうでなければ冷蔵室10内の貯蔵物が変化しなかったと判断し、カメラ21で撮影しない、または撮影データを保存しないことで、同じ画像が不要に増加したり、それが毎回使用者に通知されたりすることを防ぐ。なお、扉11の閉塞時には距離Dが規定値Dth以下となるが、その後、規定値Dth以上とならずに扉11が閉まるため、カメラ21による撮影は行わない。
以上のように、本実施形態に係る冷蔵庫1によれば、測距センサ22による測距情報、すなわち測距センサ22から障害物(床面、ユーザU、扉11など)までの距離Dによって、カメラ21による庫内撮影を行うか否かを判断しているため、庫内を適切な状態で撮影することができる。つまり、扉11の開け始めや、閉じ切る直前で扉11が少ししか開いていない状態では、測距センサ22は扉11との距離を検知する。この時、検知距離(距離演算部122が算出した距離D)は規定値(Dth)以下になっている。そして検知距離が短い場合は扉11がほとんど開いていない状態であり、広範囲の撮影が出来ないので、最適なタイミングではないと判定する。
従って、撮影のための最適なタイミングを検出するための画像認識処理が必要ないため、画像認識用の高性能なプロセッサを必要とせず、測距センサを用いる簡単な構成で、庫内の撮影に最適な状態を検出し、且つ、適切なタイミングで庫内を撮影することができる。しかも、扉を開けた状態、且つ人が邪魔にならない状態で、貯蔵物の出し入れを行った後の最新の庫内画像を撮影、保存することが可能となる。
〔実施形態2〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(冷蔵庫の概略説明)
図6の(a)(c)は、冷蔵庫1の上面図、(b)(d)は断面図を示している。なお、図6に示す冷蔵庫1は、基本的に前記実施形態1の冷蔵庫1と同じ構造である。異なるのは、カメラ21による庫内の撮影タイミングである。つまり、本実施形態では、図6の(c)(d)に示すように、測距センサ22により扉11のドアポケット15までの距離が検出された時点で、カメラ21による庫内撮影を行う点である。測距センサ22がドアポケット15を検知したときの測距センサ22からドアポケット15までの距離を規定値Dth2(第2の距離)とする。
上記冷蔵庫1の庫内撮影の処理について以下に詳細に説明する。
(庫内撮影処理)
図7は、庫内撮影処理の流れを示すフローチャートである。
図8は、図7に示す庫内撮影処理におけるカメラによる庫内撮影、撮影データの保存のタイミングを説明するための図である。なお、図8の(1)〜(8)は、図7の(1)〜(8)に対応している。
まず、扉11がOPENされているか否かを判定する(ステップS11)。ここでは、距離演算部122がドア開閉センサ23による検知信号から扉11が開放された状態であるか否かを判断する。
そして、ステップS11においてYES、すなわち扉11がOPENされていると判定されれば、距離Dの測定を開始する(ステップS12)。ここでは、ドア開閉センサ23によって扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。そして、距離演算部122が測距センサ22からの検出値により距離Dを算出する。
次に、Mを0にする(ステップS13)。すなわち、カメラ21による撮影回数Mをリセットする。
続いて、距離Dが規定値Dth2を超えたか否かを判定する(ステップS14)。
そして、距離Dが規定値Dth2を超えたと判定(YES)されれば(2)、さらに、距離Dが規定値Dth2以下か否かを判定する(ステップS15)。ここで、距離Dが規定値Dth2以下と判定(YES)されれば(3)、カメラ21による撮影が行われ(ステップS18)、扉11がOPENされている否かを判定する(ステップS16)。ここで、扉11がOPENされていると判定(YES)されれば、再び、距離Dが規定値Dth2を超えたか否かを判定する(ステップS17)。
ステップS17においてYES、すなわち、距離Dが規定値Dth2を超えたと判定されれば(4)、撮影回数Mに1を加算し(ステップS19)、再びステップS15に移行し、
距離Dが規定値Dth2以下か否かを判定する。
一方、ステップS16においてNO、すなわち、扉11がOPENされていないと判定されれば(8)、ステップS20に移行し、撮影回数Mが0よりも大きいか否かを判定する。ここで、YESであれば、カメラ21による庫内の撮影が1回以上行われていると判断し、撮影データを保存し(ステップS21)、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。
一方、ステップS20においてNO、すなわち、撮影回数Mが0であると判定されれば、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。この場合、撮影回数Mが0であることから、ユーザUが単純に扉11を開閉しただけであると判断できる。
このように、本実施形態では、前記実施形態1と異なり、図8に示すように、測距センサ22により測定された距離Dが、所定の撮影距離(規定値Dth2)以上である区間のうち、(3)、(5)、(7)において、カメラ21で庫内を撮影し、最終的に(7)の時に撮影した画像を最新画像として保存する。
ここで、前記実施形態1では、(6)の時に撮影した画像を最新画像として保存するが、(6)において規定値Dth以上になるのは、ユーザUが冷蔵庫1の前から退いた事によるもので、この時の扉11に備わるカメラ21と冷蔵庫1本体側の位置関係は一意的ではない。そのため、保存される画像は最適アングルで無い事もあり、また毎回保存される庫内の画像は、その大きさや歪み具合はバラバラで、庫内貯蔵物の変化を確認するに際しては、リアルタイムの必要性は無いものの、画像処理が必要となる。
これに対して、(7)の時に撮影した画像は、冷蔵庫の扉が閉められる事により第2の距離である規定値Dth2以下になった事が検知されるもので、カメラ21と冷蔵庫1本体間の距離は、毎回一意に決まるため、最適なアングルで撮影可能となる。
具体的には、図6の(a)(c)に示す上面図と(b)(d)に示す側面図のように扉11を閉める過程で検知距離は、「床面の測距領域11aまでの距離」から「ドアポケット15までの距離」に変化する。このタイミングが図8に示す(7)に相当する。
なお、前記実施形態1の所定の撮影距離である規定値Dth=本実施形態2の他の撮影距離である規定値Dth2としてもよい。
前記実施形態1,2では、冷蔵庫1の冷蔵室10内を単に撮影して庫内撮影をする例について説明したが、以下の実施形態3,4では、さらに、冷蔵室10内の貯蔵物の変化が何時生じたのかを確認できるようにして庫内撮影をする例について説明する。
〔実施形態3〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(冷蔵庫の概略説明)
図9は、本実施形態に係る冷蔵庫1の概略構成図を示している。なお、本実施形態に係る冷蔵庫1は、前記実施形態1の冷蔵庫1と同じである。
但し、本実施形態では、冷蔵庫1の冷蔵室10を上段10a、中段10b、下段10cに分けて、それぞれの段における貯蔵物の収納状態を管理する点で、実施形態1の冷蔵庫1と異なる。なお、上段10aを特定するための係数はS(M)=3、中断10bを特定するための係数はS(M)=2、下段10cを特定するための係数はS(M)=1とする。
(庫内撮影処理)
図10〜12は、庫内撮影処理の流れを示すフローチャートである。
図13は、図10〜12に示す庫内撮影処理におけるカメラによる庫内撮影、撮影データの保存のタイミングを説明するための図である。なお、図13の(1)〜(10)は、図10〜12の(1)〜(10)に対応している。また、以下の説明では、未撮影の状態から開始するため、Mの初期値は「0」である。
まず、扉11がOPENされているか否かを判定する(ステップS11)。ここでは、距離演算部122がドア開閉センサ23による検知信号から扉11が開放された状態であるか否かを判断する。
そして、ステップS11においてYES、すなわち扉11がOPENされていると判定されれば、距離Dの測定を開始する(ステップS12)。ここでは、ドア開閉センサ23によって扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。そして、距離演算部122が測距センサ22からの検出値により距離Dを算出する。
次に、Mを0にする(ステップS13)。すなわち、カメラ21による撮影回数Mをリセットする。
続いて、距離Dが規定値Dth以上か否かを判定する(ステップS14)。
そして、距離Dが規定値Dth以上と判定(YES)されれば(2)、さらに、距離Dが規定値Dth未満か否かを判定する(ステップS15)。ここで、距離Dが規定値Dth未満と判定(YES)されれば(3)(5)(7)(9)、最小値Dminとして規定値Dthを設定する(ステップS31)。
次に、距離Dが最小値Dmin以下か否かを判定する(ステップS32)。
そして、距離Dが最小値Dmin以下と判定(YES)されれば、距離Dを最小値Dminに設定し(ステップS33)、扉11がOPENされている否かを判定する(ステップS16)。一方、ステップ32においてNO、すなわち距離Dが最小値Dmin以下でないと判定されれば、ステップS16に移行し、扉11がOPENされている否かを判定する。ここで、扉11がOPENされていると判定(YES)されれば、再び、距離Dが規定値Dth以上か否かを判定する(ステップS17)。
ステップS17においてYES、すなわち、距離Dが規定値Dth以上と判定されれば、図11に示すステップS34に移行し、カメラ21による撮影が行われる。
一方、ステップS17においてNO、すなわち距離Dが規定値Dth以上でないと判定されれば、ステップS32に移行して、距離Dが最小値Dmin以下か否かを判定する。
ここで、規定値Dthと測距センサ22との間に、3つの距離Dt1〜Dt3を設定する。なお、Dt1>Dt2>Dt3の関係とする。
ステップS34によるカメラ21による撮影後、最小値Dminが距離Dt3よりも小さいか否かを判断する(ステップS35)。ここで、YESの場合、S(M+1)に3を入れ(ステップS36)、撮影回数Mに1を加算し(ステップS37)、図11に示すステップS15に移行する。ここでは、上段10aが貯蔵物の変化対象の位置と特定される。
一方、ステップS35でNOの場合、最小値Dminが距離Dt2よりも小さいか否かを判断する(ステップS38)。ここで、YESの場合、S(M+1)に2を入れ(ステップS39)、撮影回数Mに1を加算し(ステップS37)、図11に示すステップS15に移行する。ここでは、中段10bが貯蔵物の変化対象の位置と特定される。
また、ステップS38でNOの場合、最小値Dminが距離Dt1よりも小さいか否かを判断する(ステップS40)。ここで、YESの場合、S(M+1)に1を入れ(ステップS41)、撮影回数Mに1を加算し(ステップS37)、図11に示すステップS15に移行する。ここでは、下段10cが貯蔵物の変化対象の位置と特定される。
一方、ステップS40でNOの場合、図10に示すステップS15に移行する。ここでは、冷蔵庫1への貯蔵物の出し入れはないと判断される。
図10に示すステップS16においてNO、すなわち扉11がOPENしていないと判定されると、図12のステップS20に移行する。
ステップS20では、撮影回数Mが0よりも大きいか否かを判定する。ここで、YESであれば、カメラ21による庫内の撮影が1回以上行われていると判断し、撮影データを保存し(ステップS21)、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。このとき、撮影データは、冷蔵室10内の上段10a、中段10b、下段10cの少なくとも一つ以上の何れかと対応付けて記憶部25に保存される。実際には、カメラ21が撮影し、保存した画像と、当該画像を撮影した時点で上記測距部(測距センサ22、距離演算部122)により測定された少なくとも一つ以上の距離情報とを対応付けて記憶部25に記憶させている。
一方、ステップS20においてNO、すなわち、撮影回数Mが0であると判定されれば、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。この場合、撮影回数Mが0であることから、ユーザUが単純に扉11を開閉しただけであると判断できる。
上記庫内撮影処理について、図13を参照しながら説明すれば以下の通りである。すなわち、本実施形態においては、ドア開閉センサ23により扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。
扉11の開動作の過程で、検知距離Dは所定の撮影距離である規定値Dth以上(2)になる。
次に、扉11が開放された状態で、ユーザUが冷蔵庫1の貯蔵物の出し入れ動作をすると、測距センサ22は、出し入れするユーザUの手や貯蔵物自体までの距離を検知するため、検知結果は一旦小さくなり、出し入れが終わると検知距離Dは規定値Dth以上になる((3)〜(4))。この時の検知距離Dの最小値Dminが距離Dt1〜Dt2であった場合、貯蔵物を下段10cに出し入れしたと特定して、(4)での撮影画像を撮影データ(1)として記憶するとともに、撮影データ(1)に対応する位置データS(1)に、下段10cに対応する値“1”を記憶する。
同様に、((5)〜(6))のように最小値Dminが距離Dt2〜Dt3であった場合、貯蔵物を中段10bに出し入れしたと特定して、(6)での撮影画像を撮影データ(2)として記憶するとともに、撮影データ(2)に対応する位置データS(2)に、中段10bに対応する値“2”を、((7)〜(8))のように最小値Dminが距離Dt3以下であった場合、貯蔵物を上段10aに出し入れしたと特定して、(8)での撮影画像を撮影データ(3)として記憶するとともに、撮影データ(3)に対応する位置データS(3)に、上段10aに対応する値“3”を記憶する。
このように、撮影データと位置データとを関連付けて記憶することで、ユーザが各撮影データのどの部分を注意して見ればよいかをガイドすることができ、庫内の在庫管理に役立てる事が出来る。
なお、前記実施形態1あるいは前記実施形態2のように、記憶する撮影画像は、保存した庫内の最新画像だけとしてもよく(上記例では(8)での撮影画像)、また、位置データ毎に最新の画像を記憶するとしてもよい。これらの場合であっても、ユーザに位置データを示す事で、どの当たりに出し入れしたかが、後から確認出来て、庫内の在庫管理に役立てる事が出来る。
〔実施形態4〕
本発明の他の実施形態について説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(冷蔵庫の概略説明)
図14の(a)(b)は、本実施形態に係る冷蔵庫1の概略構成図を示している。なお、本実施形態に係る冷蔵庫1は、前記実施形態3の冷蔵庫1とほぼ同じ構造であるが、扉11側にカメラB、冷蔵室10の開口部10dの測距センサ22と同じ側に、カメラBとは別のカメラAを備えている点で異なる。このカメラBは、前記実施形態3のカメラ21と同じである。また、カメラAは、隣接配置された測距センサ22の測距方向22aと同じ方向を、撮影方向20aとしている。
(庫内撮影処理)
図15〜17は、庫内撮影処理の流れを示すフローチャートである。
図18は、図15〜17に示す庫内撮影処理におけるカメラによる庫内撮影、撮影データの保存のタイミングを説明するための図である。なお、図18の(1)〜(10)は、図15〜17の(1)〜(10)に対応している。
基本的な庫内撮影処理は、前記実施形態3の庫内撮影処理と同じであるが、本実施形態ではカメラを2台使用している点で前記実施形態3の庫内処理と異なる。
まず、扉11がOPENされているか否かを判定する(ステップS11)。ここでは、距離演算部122がドア開閉センサ23による検知信号から扉11が開放された状態であるか否かを判断する。
そして、ステップS11においてYES、すなわち扉11がOPENされていると判定されれば、距離Dの測定を開始する(ステップS12)。ここでは、ドア開閉センサ23によって扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。そして、距離演算部122が測距センサ22からの検出値により距離Dを算出する。
次に、Mを0にする(ステップS13)。すなわち、カメラ21による撮影回数Mをリセットする。
続いて、距離Dが規定値Dth以上か否かを判定する(ステップS14)。
そして、距離Dが規定値Dth以上と判定(YES)されれば(2)、さらに、距離Dが規定値Dth未満か否かを判定する(ステップS15)。ここで、距離Dが規定値Dth未満と判定(YES)されれば(3)(5)(7)(9)、カメラAによる撮影を行い(ステップS51)、撮影したカメラA画像を記憶部25の記憶領域の一つであるDATA_AI(M+1)に格納し(ステップS52)、最小値Dminとして規定値Dthを設定する(ステップS31)。
次に、距離Dが最小値Dmin以下か否かを判定する(ステップS32)。
そして、距離Dが最小値Dmin以下と判定(YES)されれば、距離Dを最小値Dminに設定し(ステップS33)、扉11がOPENされている否かを判定する(ステップS16)。一方、ステップ32においてNO、すなわち距離Dが最小値Dmin以下でないと判定されれば、ステップS16に移行し、扉11がOPENされているか否かを判定する。ここで、扉11がOPENされていると判定(YES)されれば、再び、距離Dが規定値Dth以上か否かを判定する(ステップS17)。
ステップS17においてYES、すなわち、距離Dが規定値Dth以上と判定されれば(4)(6)(8)、図16に示すステップS53に移行し、カメラAによる撮影が行われる。続いて、ステップS54においてカメラBによる撮影が行われる。そして、撮影したカメラA画像を記憶部25の記憶領域の一つであるDATA_AO(M+1)に格納する(ステップS55)。 一方、ステップS17においてNO、すなわち距離Dが規定値Dth以上でないと判定されれば、ステップS32に移行して、距離Dが最小値Dmin以下か否かを判定する。
ここで、規定値Dthと測距センサ22との間に、3つの距離Dt1〜Dt3を設定する。なお、Dt1>Dt2>Dt3の関係とする。
ステップS55によるカメラA画像の格納後、最小値Dminが距離Dt3よりも小さいか否かを判断する(ステップS35)。ここで、YESの場合、S(M+1)を3とし(ステップS36)、撮影回数Mに1を加算し(ステップS37)、図15に示すステップS15に移行する。
一方、ステップS35でNOの場合、最小値Dminが距離Dt2よりも小さいか否かを判断する(ステップS38)。ここで、YESの場合、S(M+1)を2とし(ステップS39)、撮影回数Mに1を加算し(ステップS37)、図15に示すステップS15に移行する。
また、ステップS38でNOの場合、最小値Dminが距離Dt1よりも小さいか否かを判断する(ステップS40)。ここで、YESの場合、S(M+1)を1とし(ステップS41)、撮影回数Mに1を加算し(ステップS37)、図15に示すステップS15に移行する。
一方、ステップS40でNOの場合、DATA_AI(M+1)及びDATA_AO(M+1)を削除し、図15に示すステップS15に移行する。ここでは、冷蔵庫1への貯蔵物の出し入れはないと判断される。
続いて、ステップS16においてNO、すなわち扉11がOPENされていないと判定されれば(10)、図17に示すステップS20に移行する。
ステップS20では、撮影回数Mが0よりも大きいか否かを判定する。ここで、YESであれば、カメラ21による庫内の撮影が1回以上行われていると判断し、カメラB画像をDATA_Bに格納し(ステップS56)、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。
一方、ステップS20においてNO、すなわち、撮影回数Mが0であると判定されれば、カメラA画像であるDATA_AI(1)を削除し(ステップS57)、距離Dの測定を終了し(ステップS22)、庫内撮影処理を終了する。この場合、撮影回数Mが0であることから、ユーザUが単純に扉11を開閉しただけであると判断できる。
上記庫内撮影処理について、図18を参照しながら説明すれば以下の通りである。すなわち、本実施形態においては、ドア開閉センサ23により扉11の開き始めを検出し(1)、これをトリガにして、測距センサ22によって測距を始める。
ここで、扉11が開放された状態で、ユーザUが冷蔵庫1の貯蔵物の出し入れ動作をすると、測距センサ22は、出し入れするユーザUの手や貯蔵物自体までの距離を検知するため、検知結果は一旦小さくなり、出し入れが終わると検知距離Dは規定値Dth以上になる((3)〜(4))。この時の検知距離Dの最小値Dminが距離Dt1〜Dt2であった場合、貯蔵物を下段10cに出し入れしたと特定する。
同様に、((5)〜(6))のように最小値Dminが距離Dt2〜Dt3であった場合、貯蔵物を中段10bに出し入れしたと特定し、((7)〜(8))のように最小値Dminが距離Dt3以下であった場合、貯蔵物を上段10aに出し入れしたと特定する。
しかも、本実施形態では、扉11の開動作の過程で、検知距離Dが所定の撮影距離である規定値Dth未満になったとき((3)(5)(7)(9))、規定値Dth以上になったとき((4)(6)(8))の画像もカメラAで撮影、保存する。これにより、以下に示す効果を奏する。
例えば、図19の(a)に示すように、(3)(4)の画像と”下段”に出し入れしたという情報をリンクさせ、図19の(b)に示すように、(5)(6)の画像と”中段”に出し入れしたという情報をリンクさせ、(7)(8)の画像と”上段”に出し入れしたという情報をリンクさせておくと、いつごろ、どの当たりに、何を出した、あるいは何を入れた、という情報が後から確認出来て、さらに庫内の在庫管理の利便性が向上する。
以上のように、本実施形態1〜4に記載の庫内撮影装置101によれば、冷蔵庫1の冷蔵室(庫内)10の上部側に測距センサ22を備え、測距センサ22の測距方向22aを冷蔵庫1の扉11開放時の扉11と開口部10dとの間に生じる空間の方向に設定している。
そして、扉11の開け始めや、閉じ切る直前で扉11が少ししか開いていない状態では、測距センサ22は扉11との距離を測距する(この時、測距距離は規定値Dth以下になっている)。そして測距距離が短い場合は扉11がほとんど開いていない状態であり、冷蔵室10の広範囲の撮影が出来ないので、最適なタイミングではないと判定する。
また、扉11を開けたり、閉めたりする過程で、ユーザUが冷蔵室10の前にいないときには、測距センサ22は床などの、開口部10dに対向する領域よりも遠くの距離を測距する(この時、測距距離は、規定値Dth以上になっている)。この時は、冷蔵室10の広範囲が撮影できて、かつ人が邪魔にならない状態であると判定、良好な撮影が出来るタイミングであると判定する。
一方、ユーザUが冷蔵室10の前にいるときは、測距センサ22はユーザUとの距離を測距する(この時、測距距離は規定値Dth以下になっている)。この場合は、ユーザUが邪魔になり、冷蔵室10を撮影するには適していないと判定する。
ところで、測距距離が上記規定値Dthより小さい場合は、ユーザUが貯蔵物を出し入れしている手の位置を検知していて、その情報は、冷蔵室10のどの辺りの棚の貯蔵物を出し入れしているかという情報となる。この情報を利用すれば、冷蔵庫1の庫内撮影をより適切に行うことができる。
なお、本実施形態1〜4においては、冷蔵庫1の庫内の広範囲を良好に撮影するためのタイミング検知や貯蔵物管理に、扉11のドア開閉センサ23のオン/オフによる判定や画像認識処理(高価なプロセッサ)は用いていない。
また、本実施形態1〜4においては、本発明の庫内撮影装置を用いた収納庫として冷蔵庫1を例に説明したが、これに限定されるものではなく、本発明の庫内撮影装置は、他の収納庫、例えば洋服ダンス、靴箱、食器棚、食品庫、郵便受け等に好適に用いられ、金庫など、特に扉を透視可能とすることが困難または問題がある収納庫に好適に用いられる。
〔ソフトウェアによる実現例〕
庫内撮影装置101の制御ブロック(特に制御部111の撮影制御部121、距離演算部122)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、庫内撮影装置101は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る庫内撮影装置は、開口部10dに開閉自在な扉11を有する収納庫(冷蔵庫1)の庫内の画像を撮影する庫内撮影装置101において、上記扉11に設置され、上記収納庫の庫内を撮影するカメラ21と、上記扉11が開けられたときに、上記扉11と上記開口部10dとの間に位置する物体までの距離を、測定可能な測距部(測距センサ22、距離演算部122)と、上記測距部(測距センサ22、距離演算部122)が測定する距離が所定の撮影距離に達したとき、上記カメラ21に撮影を行わせる撮影制御部121と、を備えていることを特徴としている。
上記の構成によれば、撮影制御部によって、測距部(測距センサ22、距離演算部122)が測定する距離が所定の撮影距離に達したとき、上記カメラ21に撮影を行わせる。従って、収納庫の開口部からの距離が所定の撮影距離に達したときであれば、カメラと開口部との間にユーザが存在しない状態であると推定できる。この状態でカメラにより庫内を撮影するため、開口部前にユーザが居ない状態の庫内を撮影することができる。
従って、上記の構成によれば、測距部による距離の測定のみで、庫内の撮影に最適な状態を検出し、且つ、適切なタイミングで庫内を撮影することを可能しているため、従来のように、これらの処理を行うための高性能なプロセッサを必要としない。
本発明の態様2に係る庫内撮影装置は、上記態様1において、上記測距部(測距センサ22、距離演算部122)を上記開口部10dの一方の端側に配置し、上記所定の撮影距離は、上記開口部10dの、上記測距部(測距センサ22、距離演算部122)が配置される側とは反対側の端に位置する物体までの距離とすることが好ましい。
上記の構成によれば、上記所定の撮影距離以上であれば、ユーザUが冷蔵室10の前に居ないと推定される。従って、上記所定の撮像距離に達したとき、カメラ21により冷蔵室10を撮影させれば、ユーザUが居ない状態の冷蔵室10を撮影することができる。
本発明の態様3に係る庫内撮影装置は、上記態様1または2において、上記撮影制御部121は、上記測距部(測距センサ22、距離演算部122)が測定した距離が上記所定の撮影距離(Dth)より遠い距離から上記所定の撮影距離(Dth)に達したとき、上記カメラ21に撮影を行わせることが好ましい。
上記の構成によれば、所定の撮影距離(規定値Dth)に達するまでは、ユーザUが冷蔵室10に対して貯蔵物の出し入れなどを行っていると推定されるため、上記のタイミングでカメラ21による冷蔵室10の撮影を行わせることで、ユーザUが居ない状態の冷蔵室10を撮影することができる。
本発明の態様4に係る庫内撮影装置は、上記態様1から3の何れか1態様において、上記撮影制御部121は、上記測距部(測距センサ22、距離演算部122)が測定した距離が上記所定の撮影距離(Dth)より遠い距離から上記所定の撮影距離(Dth)未満となり、その後上記所定の撮影距離(Dth)に達したとき、上記カメラ21に撮影を行わせることが好ましい。
上記の構成によれば、測距部(測距センサ22、距離演算部122)が測定した距離が上記所定の撮影距離(Dth)より遠い距離から上記所定の撮影距離(Dth)未満となり、その後上記所定の撮影距離(Dth)に達したとき、上記カメラ21に撮影を行わせることで、冷蔵室の開口部10dに相対してユーザUが居ない状態の冷蔵室10を撮影することができる。
本発明の態様5に係る庫内撮影装置は、上記態様1〜4の何れか1態様において、上記撮影制御部121は、上記扉11が閉じられる直前に上記カメラ21が撮影した画像を収納庫(冷蔵庫1)内の最新画像として保存することが好ましい。
上記の構成によれば、常に、冷蔵庫1内の最新画像を保存することができる。
本発明の態様6に係る冷蔵庫1は、上記態様1〜5の何れか1態様に記載の庫内撮影装置を備えていてもよい。
本発明の各態様に係る庫内撮影装置(101)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記庫内撮影装置(101)が備える各部(ソフトウェア要素)として動作させることにより上記庫内撮影装置(101)をコンピュータにて実現させる庫内撮影装置(101)の庫内撮影制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。