JP2018043845A - 収納物管理システム - Google Patents

Abstract

【課題】 収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供する。【解決手段】 冷蔵庫２の収納室４の前部Ｂに配置された２以上の回帰反射型の光電センサ１２，１４及び再帰反射面１６を含み、収納室４の前部Ｂにおける検出物の存在の有無及び存在する該検出物の光電センサ１２．１４に対する角度を検出する検出部１０と、収納室４の前部Ｂに設置された撮影装置２０と、検出部１０及び撮影装置２０からのデータに基づく制御処理を行う制御部と、を備え、制御部が、２以上の光電センサ１２，１４が検出した角度に基づいて、収納室４の前部Ｂの仮想平面６０上における検出物の位置を算出し、撮影装置２０により撮影された画像データに基づいて、検出物の種類を判定する収納物管理システムを提供する。【選択図】図１

Description

本発明は、冷蔵庫の収納室内に収納された収納物を管理するための収納物管理システムに関する。

冷蔵室をはじめとする冷蔵庫の収納室内に保管された収納物を適確に管理することは、使用者にとって重要な事項である。これに対応するため、コンピュータを用いた画像解析技術の発達に伴い、収納室内に設置されたカメラで撮影した画像データの解析から、収納物の種類及び収納室内の保管位置を把握する収納物管理システムが提案されている。

このような収納物管理システムでは、複数の収納物が重ねて置かれている場合、下側に位置する収納物を撮影できない場合がある。その場合には、収納物の種類及び収納室内の保管位置を正確に把握することができない。この問題に対処するため、収納室内に設置されたカメラを上下に回転可能にして、収納物が重なって置かれた場合であっても、下側の収納物を撮影できるようにした冷蔵庫用のシステムが提案されている。（例えば、特許文献１参照）

特開２００２−２６７３３６公報

特許文献１に記載のシステムでは、収納室内の収納物の保管場所や収納物の置き方によっては、どのようにカメラを回転させても、重なった下側の収納物を撮影できない場合が生じる。よって、冷蔵庫に保管された収納物の種類及び収納室内の保管位置を把握することができない場合が依然として存在する。

従って、本発明の目的は、上記の課題を解決するものであり、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供することを目的とする。

本発明は、収納物管理システムであって、
冷蔵庫の収納室の前部に配置された２以上の回帰反射型の光電センサ及び再帰反射面を含み、前記収納室の前部における検出物の存在の有無及び存在する該検出物の前記光電センサに対する角度を検出する検出部と、
前記収納室の前部に設置された撮影装置と、
前記検出部及び前記撮影装置からのデータに基づく制御処理を行う制御部と、
を備え、
前記制御部が、
２以上の前記光電センサが検出した前記角度に基づいて、前記収納室の前部の仮想平面上における前記検出物の位置を算出し、
前記撮影装置により撮影された画像データに基づいて、前記検出物の種類を判定することを特徴とする。

回帰反射型の光電センサは、可視光域や赤外線域の光を出射する投光部と、その反射光を受信する受光部とを備える。投光部及び受光部は通常、隣接して配置され、投光部から出射された光が反射面で反射されて、その反射光が受光部に入る。光電センサと反射面との間に検出物が存在する場合、遮光されて受光部で受ける光量が変化する。これに基づいて、回帰反射型の光電センサでは、検出物の存在の有無及び存在する検出物の光電センサに対する角度を検出することができる。

特に、反射面として、光源から入射した光が光源の方向に戻る再帰反射面で構成されているので、検出物が存在する位置の光電センサに対する角度を正確に検出することができる。

光電センサに対する角度とは、光電センサ及び検出物を結ぶ線が光電センサの基準線となす角度を意味する。例えば、２つの光電センサを結ぶ線を基準線とする場合、２つの光電センサの位置及びその間の距離がわかっているので、２つの光電センサが検出した角度から、三角測量の手法で、収納室の前部の仮想平面上における検出物の二次元の位置を算出することができる。３つの光電センサを備える場合にも、同様な方法で収納物の位置を算出することができる。

撮影装置による撮影は、常時撮影を継続することもできるし、光電センサが検出物の存在を検出したときをはじめとする任意のタイミングで撮影を行うこともできる。
撮影装置により撮影された画像データに基づいて、検出物の種類を判定するため、任意の画像解析技術を用いることができる。判定する検出物の種類には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。

制御部は、収納物管理システム専用に設けることもできるし、冷蔵庫の制御装置が制御部の機能を果たすこともできるし、インターネット回線等を利用して、遠隔サーバーが制御部の機能を果たすこともできる。

本発明では、２以上の光電センサが検出した角度に基づいて、収納室の前部の仮想平面上における検出物の位置を算出し、撮影装置により撮影された画像データに基づいて、検出物の種類を判定する。これにより、収納物を収納または取り出すとき、場合によっては、その動作の間の任意のタイミングにおける、収納室の開口位置での収納物の二次元の位置及び収納物の種類を定めることができる。特に、光電センサ及び撮影装置といったシンプルな装置構成でこれを実現できる。

以上のように、本発明では、収納室の開口位置で、収納物の位置及び種類を検出することができるので、仮に、収納物を上下に重ねて保管しても問題は生じず、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる。

また本発明は、前記収納室の内壁の開口側の４面のうち、１つの面に２以上の前記光電センサが配置され、残り３つの面に前記再帰反射面が配置されていることを特徴とする。

本発明では、光電センサの動作可能な角度範囲に応じた、光電センサ及び再帰反射面の適切な配置を行うことにより、収納室の開口位置全面をカバー可能な検出部の合理的な配置を実現できる。

また本発明は、前記光電センサが前記検出物の存在の検出を開始したことに基づいて、前記撮影装置が撮影を開始することを特徴とする。

本発明では、光電センサが検出物の存在の検出を開始したことに基づいて、撮影装置が撮影を開始するので、収納物を収納または取り出すときの画像データを効率的かつ確実に取得することができる。

また本発明は、前記光電センサが前記検出物の存在の検出を終了したことに基づいて、前記撮影装置が撮影を終了することを特徴とする。

本構成では、更に、光電センサが検出物の存在の検出を終了したことに基づいて、撮影装置が撮影を終了するので、収納物を収納または取り出すときの画像データの取得を効率的に行うことができる。

また本発明は、前記制御部が、前記光電センサが前記検出物の存在の検出を開始した直後の画像データと、前記光電センサが前記検出物の存在の検出を終了した直前の画像データとを比較して、貯蔵物が収納された場合か、貯蔵物が取り出された場合か判断することを特徴とする。

画像データに基づき、もし、検出物の存在の検出を開始した直後に使用者の手に収納物が存在し、検出物の存在の検出を終了した直前に使用者の手に収納物が存在しない場合には、収納物が収納室内に収納されたと判定できる。一方、もし、検出物の存在の検出を開始した直後に使用者の手に収納物が存在せず、検出物の存在の検出を終了した直前に使用者の手に収納物が存在する場合には、収納物が収納室から取り出されたと判定できる。

本発明により、光電センサ及び撮影装置といったシンプルな装置構成で、確実に収納物の管理に重要な情報を得ることができる。

収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる収納物管理システムを提供できる。

本発明の１つの実施形態に係る収納物管理システムを備えた冷蔵庫を示す図であって、（ａ）は扉が開いた状態の正面図であり、（ｂ）は（ａ）のＡ−Ａ断面を示す断面図である。 回帰反射型の光電センサ及び再帰反射面を含む検出部により検出物を検出することを示す模式図である。 検出物による遮光で入射する光量が変化する光電センサの受光部での位置により、検出物の光電センサに対する角度を検出することを示す模式図である。 本発明の１つの実施形態に係る収納物管理システムの概要を示すブロック図である。 ２つの光電センサが検出した角度に基づいて、収納室の前部の仮想平面上における検出物の位置を算出することを示す模式図である。 収納物管理のための制御処理の一例を示すメインルーチンを示すフローチャートである。

次に、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
（本発明の１つの実施形態に係る収納物管理システム）
図１は、本発明の１つの実施形態に係る収納物管理システムを備えた冷蔵庫２を示す図であって、（ａ）は扉６が開いた状態の正面図であり、（ｂ）は（ａ）のＡ−Ａ断面を示す断面図である。はじめに、図１を参照しながら、本発明の１つの実施形態に係る収納物管理システム、特に、冷蔵庫２の収納室４に設置されたシステムを構成する検出部１０及び撮影装置２０の配置及びその機能を説明する。図１では、収納室として冷蔵庫の冷蔵室を示してあるが、これに限られるものではなく、冷凍室、野菜室をはじめとする冷蔵庫に備えられた任意の収納空間に適用することができる。

＜検出部＞
図１に示すように、冷蔵庫２の収納室４の矢印Ｂで示す前部に、２つの回帰反射型の光電センサ１２，１４及び再帰反射面１６が備えられている。再帰反射面１６は、光源から入射した光が光源の方向に戻る特性を有する反射面である。回帰反射型の光電センサ１２，１４は、投光部及び受光部が隣接して配置され、投光部から出射された光が再帰反射面で反射され、その反射光を受光部で受信するようになっている。これにより、図２及び図３を用いて後述するように、収納室４の前部における検出物の存在の有無及び存在する検出物の光電センサ１２，１４に対する角度を検出する検出部１０を構成している。

更に詳細に述べれば、収納室４の前部（矢印Ｂ参照）の内壁４面のうち、１つの面に２つの光電センサ１２，１４が配置され、残り３つの面に再帰反射面１６が配置されている。図１に示す例では、収納室４の前部（矢印Ｂ参照）の扉６のヒンジ部のない側面に、光電センサ１２，１４がその上端及び下端に配置されている。

収納室４の前部（矢印Ｂ参照）の光電センサ１２，１４が配置されていない残り３面、つまり上面、下面及びに扉６のヒンジ部を有する側面に、再帰反射面１６が配置されている。再帰反射面として、ガラスビーズの屈折を利用したものや、プリズムの反射を利用したものを例示することができる。例えば、収納室４の前部の３面に再帰反射性シートを貼り付けたり、再帰反射性プレートを取り付けることにより、再帰反射面１６を設けることができる。

光電センサ１２，１４及び再帰反射面１６の配置は、図１に示す場合に限られるものではなく、例えば、光電センサ１２，１４を上面に設置し、残りの３面に再帰反射面１６を配置することもできる。その他の任意の面に光電センサ１２，１４及び再帰反射面１６を配置することができる。複数の面に、２以上の任意の数の光電センサを配置することもできる。

本実施形態では、光電センサ１２，１４における動作可能な角度範囲（つまり指向角）が、９０度以上なので、光電センサ１２，１４により、収納室４の開口位置全面をカバーすることができる。つまり、収納室４の前部（矢印Ｂ参照）の３面に配置された再帰反射面１６の全領域に、光電センサ１２，１４からの光が届き、その反射光が光電センサ１２，１４に戻るようになっている。
これにより、図１（ｂ）に示す収納室４の前部（矢印Ｂ参照）の仮想平面６０上における検出物の存在の有無及び検出物の光電センサ１２，１４に対する角度を検出することができる。

以上のような配置により、光電センサ１２，１４の動作可能な角度範囲に応じた、光電センサ１２，１４及び再帰反射面１６の適切な配置を行うことにより、収納室４の開口位置全面をカバー可能な検出部１０の合理的な配置を実現できる。

図２には、回帰反射型の光電センサ１２（または１４）及び再帰反射面１６を含む検出部１０により検出物を検出することを示す模式図である。図３は、検出物による遮光で入射する光量が変化する光電センサ１２（または１４）の受光部１２ｂ（または１４ｂ）での位置により、検出物の光電センサに対する角度を検出することを示す模式図である。

図２（ａ）に示すように、もし、検出物がない場合には、光電センサ１２（１４）の投光部１２ａ（１４ａ）から出射された光は再帰反射面１６に当たり、再帰反射面１６からの反射光は、光電センサ１２（１４）に戻って受光部１２ｂ（１４ｂ）が受信する。一方、図２（ｂ）に示すように、もし、検出物５０が存在する場合には、光電センサ１２（１４）の投光部１２ａ（１４ａ）から出射された光は検出物５０に遮られて、再帰反射面１６に到達しない。仮に、一部の光が再帰反射面１６に到達したとしても、再帰反射面１６からの反射光は、検出物５０に遮られて光電センサ１２（１４）の受光部１２ｂ（１４ｂ）に到達しない。光電センサ１２（１４）の投光部１２ａ（１４ａ）から出射された光は、検出物５０に当たって乱反射する。乱反射による反射光の一部が光電センサ１２（１４）の受光部１２ｂ（１４ｂ）に到達するが、その光量は、図２（ａ）に示す場合に比べて極めて小さい。

量
以上のように、検出物による遮光で光電センサ１２（１４）の受光部１２ｂ（１４ｂ）に入射する光量が変化することにより、検出物の存在の有無を検出することができる。

更に、図３に示すように、検出物の光電センサ１２（１４）に対する角度によって、光電センサ１２（１４）の受光部１２ｂ（１４ｂ）における光量が変化する位置が異なる。図３に示す受光部１２ｂ（１４ｂ）には、光電変換素子がマトリックス状に配列されており、光量変化が生じた領域の位置を正確に検出することができる。

光電センサ１２（１４）に対する検出物５０の角度、つまり、図３に示す場合であれば、受光部１２ｂ（１４ｂ）において光量変化が生じた領域及び検出物（検出物中心）５０を結ぶ線が、基準線、ここでは受光部１２ｂ（１４ｂ）と受光面と平行な線となす角度をθとする。光電センサ１２（１４）に対して大きな角度θ２を有する場合の光量変化が生じた領域は、小さな角度θ１を有する場合の光量変化が生じた領域よりも、図面で下側に位置することになる。

つまり、検出物５０による遮光で入射する光量が変化した受光部１２ｂ（１４ｂ）での位置により、検出物５０の光電センサ１２（１４）に対する角度θを検出することができる。これにより、検出物５０の光電センサ１２（１４）に対する角度θを確実に検出することができる。
角度θの違いによる受光部１２ｂ（１４ｂ）における位置の差は、光電センサ１２（１４）の大きさに比べれば非常に小さい。よって、検出物５０の光電センサ１２（１４）に対する角度を表す場合には（図５参照）、検出物５０と光電センサ１２（１４）の所定の一点とを結ぶ線と基準線との間の角度を示すことで問題がない。

本実施形態では光電センサ１２，１４の投光部１２ａ（１４ａ）は、近赤外線領域の光を出射する。これにより、外乱光の影響されにくく、優れた検出性能が期待できる。ただし、投光部が近赤外線領域の光を出射する場合だけに限られるものではなく、可視光領域の光を出射する投光部を用いることもできる。投光部１２ａ（１４ａ）には、例えば、ＬＥＤ光源を用いることができるが、光拡散手段を伴うレーザ光源を用いることも可能である。

光電センサ１２，１４として、市場に供給されている回帰反射型の任意の光電センサを用いることができるし、本システム専用に作成された投光部及び受光部を組み合わせて用いることもできる。

＜撮影装置＞
冷蔵庫２の収納室４の前部（矢印Ｂ参照）に、撮影装置２０が備えられている。図１に示す例では、収納室４の前部（矢印Ｂ参照）の扉６のヒンジ部のない側面の光電センサ１２の下側に、撮影装置２０が配置されている。この配置により、撮影装置２０によって、冷蔵庫２の収納室４の前部（矢印Ｂ参照）の任意の位置に存在する検出物の画像データを取得することができる。また、光電センサ１２，１４の検出に用いる光との間の干渉も回避できる。

撮影装置２０として、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等のフォトダイオードを用いた装置を用いることができる。撮影装置２０は、静止画を取得する場合も、動画を取得する場合もあり得る。動画を取得する場合には、動画の所定のタイミングの画像を取り出して、静止画像として用いることができる。

撮影装置２０による撮影は、常時撮影を継続している場合もあり得る。常時撮影を継続する場合には、動画を撮る場合もあり得るし、一定のインターバルで連続的に静止画を撮る場合もあり得る。また、光電センサ１２，１４が検出物の存在を検出したときに撮影を開始して、検出物の存在を検出しなくなったときに撮影を終了することもできる。更に、収納室４を開閉する扉６が開いたときに撮影を開始して、扉を閉じたときに終了することもできる。その他の任意のタイミングで、撮影を開始して終了することができる。

＜収納物管理システムの説明＞
図４は、本発明の１つの実施形態に係る収納物管理システムの概要を示すブロック図である。収納管理システム４０には、再帰反射面１６とともに検出部１０を構成する２つの光電センサ１２，１４と、撮影装置２０と、光電センサ１２，１４及び撮影装置２０が電気的に接続された制御部３０とが備えられている。光電センサ１２，１４は、それぞれ投光部１２ａ、１４ａ及び受光部１２ｂ，１４ｂを備える。制御部３０は、収納物管理システム専用に設けることもできるし、冷蔵庫２の制御装置が制御部の機能を果たすこともできるし、インターネット回線等を利用して、遠隔サーバーが制御部の機能を果たすこともできる。

図５は、２つの光電センサ１２，１４が検出した角度に基づいて、収納室４の前部の仮想平面６０上における検出物５０の位置を算出することを示す模式図である。図５を参照ながら、収納管理システム４０の制御部３０により、仮想平面６０上における検出物５０の位置の算出方法を説明する。
図５において、検出物５０の光電センサ１２，１４に対する角度とは、光電センサ１２，１４及び検出物５０を結ぶ線が基準線となす角度を意味する。図５における基準線は、２つの光電センサ１２，１４を結ぶ線であり、これは図３に示す受光部１２ｂ（１４ｂ）の受光面と平行な線と一致する。

２つの光電センサ１２，１４の距離をＬとする。光電センサ１２及び検出物５０を結ぶ線が基準線となす角度をαとし、光電センサ１４及び検出物５０を結ぶ線が基準線となす角度をβとする。２つの光電センサ１２，１４が検出した角度α，βから、三角測量の手法で、収納室４の前部の仮想平面６０上における検出物５０の二次元の位置を算出することができる。つまり、光電センサ１２から仰角αで伸ばした直線と、光電センサ１４から仰角βで伸ばした直線との交点が検出物５０の位置となる。

基本的に、２つの光電センサを用いることにより、検出物の二次元の位置を定めることができるが、３つ以上の光電センサを用いた場合でも、同様に検出物の二次元の位置を定めることができる。この場合、光電センサから検出した仰角で伸ばした直線の交点が多少一致しない場合があり得る。そのときは、複数の交点の平均の位置を検出物の位置とすることができる。図５においては、収納室４の前部の４つの面のうち、１つの面に光電センサが配置されているが、これに限られるものではなく、２以上の光電センサが２以上の面に配置されている場合でも、同様な方法で検出物の位置を定めることができる。

制御部３０により、撮影装置２０で撮影された画像データに基づいて、検出物の種類を判定することができる。このため、任意の画像解析技術を用いることができる。
判定する検出物の種類には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。つまり、検出物は、使用者の手だけの場合、及び使用者の手及び手に保持された収納物の場合がある。検出物の検出を開始したタイミング及び検出を終了したタイミングの間の任意のタイミングにおいて、取得した画像データを解析する場合には、使用者の腕または手首だけが識別される場合もあり得る。このようにして識別した情報を、システムの記憶装置に記憶することができる。

判定する収納物の種類としては、野菜または果物の種類（例えば、にんじん、白菜、みかん、バナナ等）、魚の種類（例えば、一般の魚、たこ、えび等）、肉の種類（牛肉、豚肉、鶏肉等）を例示できる。また、透光性を有する容器に入った食物（例えば、透明パックに入った６個の卵）も、容器（透明パック）、食物の種類（卵）及び個数（６個）を識別することができる。透光性を有さない容器や包装に入った食物については、バーコード読み取り、音声入力、携帯端末からの入力等による追加情報を加えて記憶することもできる。
ただし、これらに限られるものではなく、記憶するデータによって、その他の任意の種類を判定することができる。

仮に、収納物の大きさが小さい場合、使用者の手に隠れて収納物が映らない場合があり得るが、これに対処するため、複数の撮影装置を異なる位置に配置して、異なるアングルから撮影することにより、収納物の種類を判定できるようにすることも考えられる。

＜制御部による制御処理＞
図６は、収納物管理のための制御処理の一例を示すメインルーチンを示すフローチャートである。図６を参照しながら、収納管理システム４０の制御部３０による制御処理について、詳細に説明する。

図６において、はじめに、光電センサ１２，１４により、冷蔵庫２の収納室４の前部に検出物５０を検出したか否か判断する（ステップＳ２）。この判断で、もし、検出物５０を検出していない（ＮＯ）と判別したときには、そのまま、この判断処理を繰り返す。つまり、検出物５０を検出するまで待機状態になっている。

ステップＳ２の判断で、もし、光電センサ１２，１４により、検出物５０を検出した（ＹＥＳ）と判別したときには、次に、光電センサ１２，１４により検出した、検出物の光電センサ１２，１４に対する角度α、β（図５参照）を取得する（ステップ４）。そして、図５に示すように、三角測量のやり方で、検出物５０の仮想平面６０上の二次元の位置を算出する（ステップＳ６）。

次に、撮影装置２０による撮影を開始し（ステップＳ８）、検出物５０を検出した直後の画像データを取得する（ステップＳ１０）。そして、画像解析プログラムを起動して、検出物の種類を判定する（ステップＳ１２）。検出物の種類の判定には、使用者の手に収納物が存在するか否かの判定、及び使用者の手に保持されている収納物の種類の判定が含まれる。

ステップＳ１２の判定処理の結果、手に収納物が存在するか否か判断する（ステップＳ１４）。この判断で、もし、収納物が存在する（ＹＥＳ）と判別したときには、収納物を収納室４内に収納する場合と仮定する。よって、ステップＳ６で算出した検出物の位置を収納物の収納位置と定め、ステップＳ１２の判定処理で定めた収納物の種類（例えば、にんじん）とともに、制御部３０の記憶装置に記憶して（ステップＳ１８）、ステップＳ２０へ進む。ステップＳ１４の判断で、もし、収納物が存在しない（ＮＯ）と判別したときには、何も持っていない使用者の手だけが存在すると判断して、そのままステップＳ２０へ進む。

ステップＳ２０では、光電センサ１２，１４により、検出物５０の検出が終了したか否か、つまり使用者の手が収納室４の前部に存在しなくなったか否か判断する（ステップＳ２０）。この判断で、もし検出物５０の検出が終了していない（ＮＯ）と判別したときには、そのままこの判断処理を繰り返す。つまり、検出物５０の検出が終了するまで待機状態になっている。
ステップＳ２０の判断で、もし検出物５０の検出が終了した（ＹＥＳ）と判別したときには、次に、撮影装置２０による撮影を終了し（ステップＳ２２）、検出物５０の検出を終了した直前の画像データを取得する（ステップＳ２４）。そして、画像解析プログラムを起動して、検出物の種類を判定する（ステップＳ２６）。

ステップＳ２６の判定処理の結果、手に収納物が存在するか否か判断する（ステップＳ２８）。この判断で、もし、収納物が存在する（ＹＥＳ）と判別したときには、収納室４内に収納されていた収納物を取り出した場合と仮定する。よって、ステップＳ６で算出した検出物の位置、つまり収納物の取り出し位置と、ステップＳ２６の判定処理で定めた収納物の種類（例えば、白菜）に基づいて、制御部３０の記憶装置に記憶されていた収納位置の対応する収納物のデータを消去して（ステップＳ３０）、本サブルーチンを終了する。ステップＳ２８の判断で、もし、収納物が存在しない（ＮＯ）と判別したときには、何も持っていない使用者の手だけが存在すると判断して、そのまま本サブルーチンを終了する。

以上のように、収納室の開口位置で、収納物の位置及び種類を検出することができるので、仮に、収納物を上下に重ねて保管しても問題は生じず、収納室内における収納物の保管場所や収納物の置き方に関わらず、収納物の種類及び収納室内の保管位置を確実に把握することができる。

特に、検出物５０の存在の検出を開始した直後に使用者の手に収納物が存在し、検出物の存在の検出を終了した直前に使用者の手に収納物が存在しない場合には、収納物が収納室内に収納されたと判定して、収納物の収納位置と収納物の種類を記憶する。一方、もし、検出物５０の存在の検出を開始した直後に使用者の手に収納物が存在せず、検出物の存在の検出を終了した直前に使用者の手に収納物が存在する場合には、収納物が収納室から取り出されたと判定して、対応する収納位置の収納物のデータを消去する。

このような制御処理により、光電センサ１２，１４及び撮影装置２０といったシンプルな装置構成で、確実に収納物の管理に重要な情報を得ることができる。

もし、使用者が収納物を収納しようとしたが、収納室に収納物は置かずに、そのまま収納物を持ったまま手を引いた場合には、ステップＳ１８の制御処理で、その収納物の収納位置及び種類が記憶され、ステップＳ３０の制御処理で、記憶された収納物のデータが消去されるので、そのような場合でも、正確な収納物の管理が実現できる。また、本システムでは、上記のように透明パックに入った６個の卵を収納し、その中の１個の卵を取り出した場合であっても、透明パックに入った５個の卵が残っていることを正確に把握することができる。

図６に示す制御処理では、光電センサ１２，１４が検出物５０の存在の検出を開始したことに基づいて、撮影装置２０が撮影を開始する。これにより、収納物を収納または取り出すときの画像データを効率的かつ確実に取得することができる。

また、光電センサ１２，１４が検出物５０の存在の検出を終了したことに基づいて、撮影装置２０が撮影を終了する。これにより、収納物を収納または取り出すときの画像データの取得を効率的に行うことができる。

ただし、撮影装置による撮影は、上記のように、検出物の存在を検出したときに撮影を開始して、存在を検出しなくなったときに終了する場合に限られるものではない。例えば、常時撮影を継続している場合もあり得るし、収納室を開閉する扉が開いたときに撮影を開始して、閉じられたときに終了することもできるし、その他の任意のタイミングで撮影を開始、終了することもできる。

画像データに基づいて、検出物の種類を判定する制御処理は、検出物の存在を検出したときや、存在を検出しなくなったときだけに限られず、その間の任意のタイミングで行うことができる。例えば、この判定で、使用者の腕や手首を識別したときには、使用者が収納物を収納室内に置く、または取り出す最中であると判定することもできる。

本発明の実施の形態、実施の態様を説明したが、開示内容は構成の細部において変化してもよく、実施の形態、実施の態様における要素の組合せや順序の変化等は請求された本発明の範囲および思想を逸脱することなく実現し得るものである。

２ 冷蔵庫
４ 収納室
６ 扉
１０ 検出部
１２ 光電センサ
１２ａ 投光部
１２ｂ 受光部
１４ 光電センサ
１４ａ 投光部
１４ｂ 受光部
１６ 再帰反射面
２０ 撮影装置
３０ 制御部
４０ 収納物管理システム
５０ 検出物
６０ 仮想平面

Claims (5)

1. 冷蔵庫の収納室の前部に配置された２以上の回帰反射型の光電センサ及び再帰反射面を含み、前記収納室の前部における検出物の存在の有無及び存在する該検出物の前記光電センサに対する角度を検出する検出部と、
   前記収納室の前部に設置された撮影装置と、
   前記検出部及び前記撮影装置からのデータに基づく制御処理を行う制御部と、
   を備え、
   前記制御部が、
   ２以上の前記光電センサが検出した前記角度に基づいて、前記収納室の前部の仮想平面上における前記検出物の位置を算出し、
   前記撮影装置により撮影された画像データに基づいて、前記検出物の種類を判定することを特徴とする収納物管理システム。
   
   
2. 前記収納室の内壁の開口側の４面のうち、１つの面に２以上の前記光電センサが配置され、残り３つの面に前記再帰反射面が配置されていることを特徴とする請求項１に記載の収納物管理システム。
   
3. 前記光電センサが前記検出物の存在の検出を開始したことに基づいて、前記撮影装置が撮影を開始することを特徴とする請求項１に記載の収納物管理システム。
   
4. 前記光電センサが前記検出物の存在の検出を終了したことに基づいて、前記撮影装置が撮影を終了することを特徴とする請求項３に記載の収納物管理システム。
   
5. 前記制御部が、前記光電センサが前記検出物の存在の検出を開始した直後の画像データと、前記光電センサが前記検出物の存在の検出を終了した直前の画像データとを比較して、貯蔵物が収納された場合か、貯蔵物が取り出された場合か判断することを特徴とする請求項１から４の何れか１項に記載の収納物管理システム。