JP2016023854A - 判定装置、および、判定方法 - Google Patents

Abstract

【課題】物品の収納がなされたのか、または、物品の取り出しがなされたのかを適切に判定すること。【解決手段】物品を水平方向から収納する第１の収納部および物品を垂直方向から収納する第２の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定する判定装置１２において、第１の収納部の扉、および、第２の収納部の扉のうち、開状態となった扉を判定する扉判定部１２ａと、第１の収納部の扉が開状態となったと判定された場合、物品の水平方向における位置の変化を検出し、第２の収納部の扉が開状態となったと判定された場合、物品の垂直方向の位置の変化を検出し、検出された変化に基づいて物品の収納がなされたか否かを判定する入出庫判定部１２ｃと、を備える。【選択図】図４

Description

本発明は、物品を収納する第１の収納部、および、第２の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定する判定装置、および、判定方法に関する。

近年、家電の多機能化が進んできている。例えば、冷蔵庫には、食材を冷蔵または冷凍保存するという従来の機能に加えて、食材の在庫管理を行う機能が搭載されたものが提案されている。

例えば、特許文献１には、収納する食材にＲＦＩＤタグを付すとともに、ＲＦＩＤタグから情報を読み取る複数のセンサを収納庫の入り口に設け、これらのセンサを用いてＲＦＩＤタグの移動方向を検出することにより、食材の入出庫を管理する収納庫が開示されている。

また、特許文献２には、複数の扉を有する冷蔵庫に設置されたカメラが、開放される扉の位置に応じて自動的に撮影の方向を変えることにより冷蔵庫内を撮影し、冷蔵庫内の状態を確認することができる冷蔵庫が開示されている。

特開２０００−３１０４７６号公報 特開２００３−４２６２６号公報

しかしながら、特許文献１の従来技術では、複数のセンサがＲＦＩＤタグから情報を読み取る順番に基づいて、食材の移動方向を判定するため、収納庫の入り口に複数のセンサを予め設置しなければならないという問題がある。

また、特許文献２の従来技術では、開放される扉の位置に応じてカメラの撮影方向が変更されるが、個々の食材の出し入れを認識する方法については何ら開示されておらず、食材の出し入れを適切に認識できるようにする技術ではない。

本発明は、上記問題に鑑み、物品の収納がなされたのか、または、物品の取り出しがなされたのかを適切に判定することができる判定装置、および、判定方法を提供することを目的とする。

本発明の判定装置は、物品を水平方向から収納する第１の収納部および物品を垂直方向から収納する第２の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定する判定装置であって、第１の収納部の扉、および、第２の収納部の扉のうち、開状態となった扉を判定する扉判定部と、第１の収納部の扉が開状態となったと判定された場合、物品の水平方向における位置の変化を検出し、第２の収納部の扉が開状態となったと判定された場合、物品の垂直方向の位置の変化を検出し、検出された変化に基づいて物品の収納がなされたか否かを判定する入出庫判定部と、を備える。

本発明の判定方法は、物品を水平方向から収納する第１の収納部および物品を垂直方向から収納する第２の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定する判定方法であって、第１の収納部の扉、および、第２の収納部の扉のうち、開状態となった扉を判定する扉判定ステップと、第１の収納部の扉が開状態となったと判定された場合、物品の水平方向における位置の変化を検出し、第２の収納部の扉が開状態となったと判定された場合、物品の垂直方向の位置の変化を検出し、検出された変化に基づいて物品の収納がなされたか、または、前記物品の取り出しがなされたかを判定する入出庫判定ステップと、を含む。

本発明によれば、物品の収納がなされたのか、または、物品の取り出しがなされたのかを適切に判定することができる。

本発明の実施形態における在庫管理サービスの概要について説明する図 本発明の実施形態における冷蔵庫とカメラの一例を示す図 本発明の実施形態における冷蔵庫の構成の一例を示す図 本発明の実施形態に係る判定装置の一例を示す構成図 本実施形態における入出庫判定方法について説明する図 本実施形態における判定装置が行う入出庫判定処理の処理手順の一例を示すフローチャート 本実施形態における判定装置が行う入出庫判定処理の処理手順の一例を示すフローチャート 第１収納部またはポケットにおける食材の収納または取り出しの判定方法の一例について説明する図 各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図 サービスの類型１（自社データセンタ型）を示す図 サービスの類型２（ＩａａＳ利用型）を示す図 サービスの類型３（ＰａａＳ利用型）を示す図 サービスの類型４（ＳａａＳ利用型）を示す図

まず、本発明の実施形態における在庫管理サービスの概要について説明する。図１は、本発明の実施形態における在庫管理サービスの概要について説明する図である。図１Ａは、本発明の実施形態における在庫管理システムの全体像の一例を示している。グループ１００は、その規模を問わず、例えば企業、団体、家庭等などのグループである。

グループ１００には、複数の機器１０１である機器Ａ、機器Ｂおよびホームゲートウェイ１０２が存在する。複数の機器１０１には、インターネットと接続可能な機器（例えば、スマートフォン、ＰＣ、ＴＶ等）もあれば、それ自身ではインターネットと接続不可能な機器（例えば、冷蔵庫、レンジ調理器、照明、洗濯機等）も存在する。

それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ１０２を介してインターネットと接続可能となる機器が存在してもよい。また、グループ１００には、複数の機器１０１を使用するユーザ１０３が存在する。

データセンタ運営会社１１０には、クラウドサーバ１１１が存在する。クラウドサーバ１１１とは、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ１１１は、主に、通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。

データセンタ運営会社１１０は、データ管理やクラウドサーバ１１１の管理、それらを行うデータセンタの運営等を行っている。データセンタ運営会社１１０が行っている役務については詳細を後述する。

ここで、データセンタ運営会社１１０は、データ管理やクラウドサーバ１１１の運営等のみを行っている会社に限らない。図１Ｂは、データセンタ運営会社１１０が機器メーカである場合の一例を示している。

例えば、複数の機器１０１のうちの一つの機器を開発・製造している機器メーカが、併せてデータ管理やクラウドサーバ１１１の管理等を行っている場合は、図１Ｂに示すように、機器メーカがデータセンタ運営会社１１０に該当することになる。

また、データセンタ運営会社１１０は一つの会社に限らない。図１Ｃは、データセンタ運営会社１１０が機器メーカおよび他の管理会社である場合の一例を示している。例えば機器メーカおよび他の管理会社が、共同もしくは分担してデータ管理やクラウドサーバ１１１の運営を行っている場合は、図１Ｃに示すように、両者もしくはいずれか一方がデータセンタ運営会社１１０に該当するものとする。

図１Ａの説明に戻ると、サービスプロバイダ１２０は、サーバ１２１を保有している。ここで言うサーバ１２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリなどにより構成されるものも含む。また、サービスプロバイダ１２０がサーバ１２１を保有していない場合もある。

なお、上記サービスにおいて、ホームゲートウェイ１０２は必須ではない。例えば、クラウドサーバ１１１が全てのデータ管理を行っている場合などは、ホームゲートウェイ１０２は不要となる。また、家庭内のあらゆる機器がインターネットに接続されている場合のように、それ自身でインターネットと接続不可能な機器が存在しない場合もある。

次に、上記サービスにおける情報の流れを説明する。まず、グループ１００の機器Ａまたは機器Ｂは、各ログ情報をデータセンタ運営会社１１０のクラウドサーバ１１１に送信する。クラウドサーバ１１１は機器Ａ又は機器Ｂのログ情報を集積する（図１（ａ））。

ここで、ログ情報とは、例えば、複数の機器１０１における運転状況や動作日時などを示す情報である。例えば、冷蔵庫などの収納装置に対する食材の入出庫情報、収納装置の扉の開閉日時・開閉回数、レンジ調理器の調理情報やテレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時・洗濯物の量などであるが、これらのものに限らずあらゆる機器から取得が可能なすべての情報をいう。

ログ情報は、インターネットを介して複数の機器１０１自体から直接クラウドサーバ１１１に提供される場合もある。また複数の機器１０１から一旦ホームゲートウェイ１０２にログ情報が集積され、ホームゲートウェイ１０２からクラウドサーバ１１１に提供されてもよい。

つぎに、データセンタ運営会社１１０のクラウドサーバ１１１は、集積したログ情報を一定の単位でサービスプロバイダ１２０に提供する。ここで、この単位は、データセンタ運営会社が集積した情報を整理してサービスプロバイダ１２０に提供することの出来る単位でもいいし、サービスプロバイダ１２０が要求した単位でもいい。また、一定の単位と記載したが、一定でなくてもよく、状況に応じて提供する情報量が変化する場合もある。

上記ログ情報は、必要に応じてサービスプロバイダ１２０が保有するサーバ１２１に保存される（図１（ｂ））。そして、サービスプロバイダ１２０は、ユーザに提供するサービスに適合する情報にログ情報を整理し、整理後の情報をユーザに提供する。

上記情報を提供するユーザは、複数の機器１０１を使用するユーザ１０３でもよいし、外部のユーザ２００でもよい。そして、上記情報は、例えば、サービスプロバイダから直接ユーザへ提供されてもよい（図１（ｅ）、（ｆ））。また、上記情報は、例えば、データセンタ運営会社１１０のクラウドサーバ１１１を再度経由して、ユーザに提供されてもよい（図１（ｃ）、（ｄ））。

さらに、データセンタ運営会社１１０のクラウドサーバ１１１が、ユーザに提供するサービスに適合する情報にログ情報を整理し、整理後の情報をサービスプロバイダ１２０に提供してもよい。

なお、ユーザ１０３とユーザ２００とは、別人でもよいし、同一人でもよい。

次に、本発明の実施形態における冷蔵庫１とカメラ１０について図２を用いて説明する。図２は、本発明の実施形態における冷蔵庫１とカメラ１０の一例を示す図である。

なお、以下の実施形態では、２つの収納部を有する冷蔵庫１に食材が出し入れされる場合について説明するが、本発明はこれに限定されず、収納部を３つ以上有する冷蔵庫にも本発明を適用することができる。

また、本実施形態では、食材を収納する冷蔵庫１を例に挙げて本発明の説明を行うが、物品を収納する収納装置であれば、本発明が適用され得る。

図２に示すように、この冷蔵庫１の上部９には、カメラ１０が設けられる。カメラ１０は、第１収納部の扉、または、第２収納部の扉が開放された際に、第１収納部、または、第２収納部に収納される食材に付された識別情報が撮影できるように、冷蔵庫１の上部９に設けられる。

つぎに、本発明の実施形態における冷蔵庫１の構成について、図３を用いて具体的に説明する。図３は、本発明の実施形態における冷蔵庫１の構成の一例を示す図である。図３Ａは、冷蔵庫１の回動扉２が開放された状態の一例を示す図であり、図３Ｂは、冷蔵庫１の引き出し扉３が開放された状態の一例を示す図である。

また、図３には、ｘｙｚ直交座標系が示されている。図３の例では、ｘ軸方向は冷蔵庫１の奥行き方向であり、ｙ軸方向は冷蔵庫１の幅方向であり、ｚ軸方向は冷蔵庫１の高さ方向である。

冷蔵庫１は、回動扉２を有する第１収納部４、および、引き出し扉３を有する第２収納部６、カメラ１０、扉開閉センサ１１ａ、１１ｂ、判定装置１２を備える。なお、本実施形態では、判定装置１２が冷蔵庫１に内蔵されるものとして説明するため、図３に示されていないが、判定装置１２を冷蔵庫１に外付けすることとしてもよい。

また、回動扉２には、ポケット５が設けられる。回動扉２は、ｚ軸に平行な軸の周りに回動し、引き出し扉３は、ｘ軸の正方向に引き出される。

食材７は、冷蔵庫１に収納される物品であり、食材７の表面には、食材７を識別するための識別情報が付される。本実施形態では、識別情報の一例として、カラーバーコード８を用いることとする。

ただし、カラーバーコード８以外の識別情報であっても、カメラ１０により撮影された画像から食材７を識別する情報を抽出可能なものであれば、そのような識別情報を用いることとしてもよい。

また、カメラ１０の撮影方向は、ｚ軸の負方向に向けられる。そして、カメラ１０は、食材７が第１収納部４、または、第２収納部６に収納される際、および、食材７が第１収納部４、または、第２収納部６から取り出される際に、食材７、および、食材７の移動方向を認識するため、食材７に付されたカラーバーコード８の画像を撮影する。

食材７が第１収納部４に収納される場合、図３Ａに示すように、食材７は凡そｘｙ平面に沿って移動する。また、食材７が第２収納部６に収納される場合、食材７は凡そｚ軸に沿って移動する。

また、扉開閉センサ１１ａは、回動扉２が開状態にあるか、閉状態にあるかを検知し、扉開閉センサ１１ｂは、引き出し扉３が開状態にあるか、閉状態にあるかを検知する。

カメラ１０は、扉開閉センサ１１ａ、１１ｂが検知した状態を示す情報に基づいて、パン動作やズーム動作、フォーカス動作を行い、カラーバーコード８の画像を撮影する。

具体的には、扉開閉センサ１１ａにより回動扉２が開状態にあることが検知された場合、カメラ１０はパン動作を行い、カラーバーコード８の画像を適切に撮影できるようにする。なお、撮影は、動画撮影であってもよいし、静止画の連続撮影であってもよい。

ここで、パン動作においては、カメラ１０の向きは、ｘ軸の正方向に食材７が移動するとした場合にその食材７を追従する向き、および、ｘ軸の負方向に食材７が移動するとした場合にその食材７を追従する向きに順に設定され、それぞれの向きにおいて撮影が行われる。

なお、カメラ１０の向きを設定する順番は、ｘ軸の負方向に食材７が移動するとした場合にその食材７を追従する向き、ｘ軸の正方向に食材７が移動するとした場合にその食材７を追従する向きの順番でもよい。

これにより、食材７が収納される場合、あるいは、食材７が取り出される場合のいずれであっても、カラーバーコード８の画像を適切に撮影できるようになる。

さらに、カメラ１０は、回動扉２が開状態となったと判定された場合、第１収納部４の高さにある第１の領域Ｆａにフォーカスを合わせる。これにより、ピントの合ったカラーバーコード８の画像を撮影できるようになる。

一方、扉開閉センサ１１ｂが、引き出し扉３が開状態にあることを検知した場合、カメラ１０はズーム動作を行い、カラーバーコード８の画像を適切に撮影できるようにする。

ここで、ズーム動作においては、ズームイン、および、ズームアウトの動作が順に行われ、それぞれの動作において撮影が行われる。なお、ズーム動作の順番は、ズームアウト、ズームインという順番であってもよい。

これにより、食材７が収納される場合、あるいは、食材７が取り出される場合のいずれであっても、カラーバーコード８の画像を適切に撮影できるようになる。

また、カメラ１０は、引き出し扉３が開状態となったと判定された場合、第１の領域Ｆａよりも低い高さにある第２の領域Ｆｂにフォーカスを合わせる。これにより、ピントの合ったカラーバーコード８の画像を撮影できるようになる。

次に、本発明の実施形態に係る判定装置１２の構成について、図４を用いて説明する。図４は、本発明の実施形態に係る判定装置１２の一例を示す構成図である。

図４に示すように、判定装置１２は、扉判定部１２ａ、カメラ制御部１２ｂ、入出庫判定部１２ｃを備える。この判定装置１２は、図３を用いて説明したカメラ１０や扉開閉センサ１１と接続される。ここで、扉開閉センサ１１は、扉開閉センサ１１ａ、および、扉開閉センサ１１ｂの両方を指している。

また、判定装置１２は、クラウドサーバとネットワーク１４を介して接続されている。このクラウドサーバは、例えば、図１に示したクラウドサーバ１１１である。このクラウドサーバの記憶部には、在庫管理テーブル１３が記憶されている。

扉判定部１２ａは、第１収納部４の回動扉２、および、第２収納部６の引き出し扉３のうち、開状態となった扉を判定する。

具体的には、扉判定部１２ａは、扉開閉センサ１１から、回動扉２が開状態にあるか、閉状態にあるか、また、引き出し扉３が開状態にあるか、閉状態にあるかの情報を取得する。そして、扉判定部１２ａは、第１収納部４の回動扉２、および、第２収納部６の引き出し扉３のうち、開状態となった扉がどの扉であるかを判定する。

さらに、扉判定部１２ａは、その判定結果をカメラ制御部１２ｂおよび入出庫判定部１２ｃに送信する。

カメラ制御部１２ｂは、扉判定部１２ａから受信した判定結果に基づいて、カメラ１０のパン動作やズーム動作、フォーカス動作、撮影のタイミングなどを制御する。具体的には、カメラ制御部１２ｂは、第１収納部４の回動扉２が開状態となったと判定された場合、カメラ１０にパン動作を実行させ、第２収納部６の引き出し扉３が開状態となったと判定された場合、カメラ１０にズーム動作を実行させる。

さらに、カメラ制御部１２ｂは、カメラ１０がパン動作やズーム動作を行う場合に、回動扉２が開状態となったと判定されたのか、あるいは、引き出し扉３が開状態となったと判定されたのかに応じて、前述したようなフォーカス動作をカメラ１０に実行させる。

入出庫判定部１２ｃは、第１収納部４や第２収納部６に対し、食材７の収納がなされたのか、または、第１収納部４や第２収納部６から食材７の取り出しがなされたのかを判定する。

具体的には、入出庫判定部１２ｃは、カメラ１０によって撮影されたカラーバーコード８の画像を取得する。また、入出庫判定部１２ｃは、第１収納部４の回動扉２、および、第２収納部６の引き出し扉３のうち、開状態となった扉を判定した判定結果の情報を扉判定部１２ａから取得する。

そして、入出庫判定部１２ｃは、カラーバーコード８の画像から、カラーバーコード８に埋め込まれている食材のＩＤ情報を抽出する。

また、入出庫判定部１２ｃは、第１収納部４の回動扉２が開状態となったと判定された場合、食材７を識別するカラーバーコード８の水平方向における位置の変化を検出し、第２収納部６の引き出し扉３が開状態となったと判定された場合、カラーバーコード８の垂直方向における位置の変化を検出する。

そして、入出庫判定部１２ｃは、その検出結果に基づいて、カラーバーコード８が付された食材が、第１収納部４や第２収納部６に収納されたのか、または、第１収納部４や第２収納部６から取り出されたかを判定する。この判定方法については、後に詳しく説明する。

その後、入出庫判定部１２ｃは、冷蔵庫１を識別するためのＩＤ情報、カラーバーコード８から抽出した食材７のＩＤ情報、および、そのＩＤ情報に対応する食材が収納されたのか、または、取り出されたのかを示す判定結果の情報を、在庫管理テーブル１３を記憶するクラウドサーバに送信する。

なお、在庫管理テーブル１３は、冷蔵庫１を識別するためのＩＤ情報と、その冷蔵庫１に収納されている食材の情報とが対応付けて記憶されたデータベースである。判定装置１２から上記情報を受信したクラウドサーバは、受信した情報に基づいて、在庫管理テーブル１３に登録されている情報を更新する。

次に、食材７が収納されたのか、あるいは、食材７が取り出されたのかを判定する入出庫判定方法について、図５を用いて説明する。図５は、本実施形態における入出庫判定方法について説明する図である。

図５Ａは、回動扉２が開状態である場合のカラーバーコード８の水平方向の位置の変化を示している。この場合、カラーバーコード８の位置は、ｘｙ平面上で変化する。

図５Ａにおいて、カラーバーコード８の位置が、ｘ軸の負方向に変化する場合（矢印Ａ）、入出庫判定部１２ｃは、食材７が収納されると判定する。一方、カラーバーコード８の位置が、ｘ軸の正方向に変化する場合（矢印Ｂ）、入出庫判定部１２ｃは、食材７が取り出されると判定する。

なお、この場合、カメラ１０は、前述したパン動作、および、フォーカス動作を行う。これにより、カラーバーコード８が画像に映らなかったり、ピントが合わなかったりすることを防止できる。

なお、ここでは、カメラ１０がパン動作を行う場合について説明したが、パン動作を行わない場合は、フォーカス動作のみを行い、その結果撮影された動画、あるいは、連続撮影された静止画から、一般的な画像認識技術を用いてカラーバーコード８の水平方向の位置の変化を検出し、食材７の入出庫を判定することとすればよい。

これにより、カメラ１０が、パン動作を行う機能を有しない場合であっても、本発明を適用することができる。

図５Ｂは、引き出し扉３が開状態である場合のカラーバーコード８の垂直方向の位置の変化を示している。カラーバーコード８の大きさの変化は、カラーバーコード８の位置が、ｚ軸に沿った方向に変化していることを示している。

この場合、カメラ１０は、ズーム動作、および、フォーカス動作を行う。具体的には、入出庫判定部１２ｃにより、カメラ１０により撮影された画像におけるカラーバーコード８の画像認識が行われ、カラーバーコード８の大きさが小さくなったと判定された場合、ズームイン動作が行われる。

一方、入出庫判定部１２ｃにより、カメラ１０により撮影された画像におけるカラーバーコード８の大きさが大きくなったと判定された場合、ズームアウト動作が行われる。

これにより、カラーバーコード８の大きさが大きすぎたり小さすぎたり、ピントが合わなかったりすることを防止できる。

図５Ｂにおいて、カラーバーコード８の大きさが小さくなり、カメラ１０によりズーム動作が行われる場合（矢印Ａ）、入出庫判定部１２ｃは、食材７が収納されると判定する。一方、カラーバーコード８の大きさが大きくなる場合（矢印Ｂ）、入出庫判定部１２ｃは、食材７が取り出されると判定する。

なお、ここでは、カメラ１０がズーム動作を行う場合について説明したが、ズーム動作を行わない場合は、フォーカス動作のみを行い、その結果撮影された動画、あるいは、連続撮影された静止画から、一般的な画像認識技術を用いてカラーバーコード８の大きさが小さくなるのか大きくなるのかを判定し、食材７の入出庫を判定することとすればよい。

ここで、判定装置１２が行う入出庫判定処理の手順の一例について、図６、図７を用いて説明する。図６、図７は、本実施形態における判定装置１２が行う入出庫判定処理の処理手順の一例を示すフローチャートである。

図６に示すように、まず、扉開閉センサ１１は、冷蔵庫１の扉が開状態となったことを検知し、検知した結果を扉判定部１２ａに通知する（Ｓ１０１）。

そして、扉判定部１２ａは、扉開閉センサ１１によって検知された結果に基づき、開状態となった扉が、回動扉２であるのか、引き出し扉３であるのかを判定し、その判定結果をカメラ制御部１２ｂおよび入出庫判定部１２ｃに送信する（Ｓ１０２）。

カメラ制御１２ｂは、開状態となった扉が回動扉２であるという判定結果を受け取った場合、カメラ１０を制御して、カメラ１０にパン動作、および、フォーカス動作を実行させつつ、カラーバーコード８の画像を撮影させる（Ｓ１０３）。その後、入出庫判定部１２ｃは、カメラ１０が撮影した画像の画像データを受信する（Ｓ１０４）。

そして、入出庫判定部１２ｃは、その画像に含まれるカラーバーコード８から食材７のＩＤ情報を抽出する（Ｓ１０５）。また、入出庫判定部１２ｃは、カラーバーコード８の水平方向の位置の変化から、カラーバーコード８の移動方向を検出する（Ｓ１０６）。

次に、図７に示すように、入出庫判定部１２ｃは、検出したカラーバーコード８の移動方向が冷蔵庫内から冷蔵庫外へと向かう方向（ｘ軸の正方向）であるか否かを判定する（Ｓ１０７）。

カラーバーコード８の移動方向が冷蔵庫内から冷蔵庫外へと向かう方向である場合、入出庫判定部１２ｃは、抽出したＩＤ情報に対応する食材の取り出し動作が行われたと判定する（Ｓ１０８）。

カラーバーコード８の移動方向が冷蔵庫内から冷蔵庫外へと向かう方向でなく、冷蔵庫外から冷蔵庫内へと向かう方向（ｘ軸の負方向）である場合、入出庫判定部１２ｃは、抽出したＩＤ情報に対応する食材の収納動作が行われたと判定する（Ｓ１０９）。

この判定結果に基づき、入出庫判定部１２ｃは、クラウドサーバにより記憶されている在庫管理テーブル１３を更新させ、この入出庫処理を終了する（Ｓ１１０）。具体的には、入出庫判定部１２ｃは、冷蔵庫１を識別するためのＩＤ情報、カラーバーコード８から抽出したＩＤ情報、および、そのＩＤ情報に対応する食材８が収納されたのか、または、取り出されたのかを示す判定結果の情報をクラウドサーバに送信し、在庫管理テーブル１３に登録されている冷蔵庫１の食材の在庫情報を更新させる。

一方、図６に示したＳ１０２にて、扉判定部１２ａにより開状態となった扉が引き出し扉３であると判定された場合、カメラ制御１２ｂは、カメラ１０を制御して、カメラ１０にズーム動作、および、フォーカス動作を実行させつつ、カラーバーコード８の画像を撮影させる（Ｓ１１１）。その後、入出庫判定部１２ｃは、カメラ１０が撮影した画像の画像データを受信する（Ｓ１１２）。

そして、入出庫判定部１２ｃは、その画像に含まれるカラーバーコード８から食材７のＩＤ情報を抽出する（Ｓ１１３）。また、入出庫判定部１２ｃは、カラーバーコード８の垂直方向の位置の変化から、カラーバーコード８の移動方向を検出する（Ｓ１１４）。

その後、入出庫判定部１２ｃは、図７に示したＳ１０７〜Ｓ１１０の処理を実行する。

なお、上記実施形態では、第１収納部４や第２収納部６に対し、食材７の収納がなされたのか、または、第１収納部４や第２収納部６から食材７の取り出しがなされたのかを判定することとした。

しかしながら、本発明はこれに限定されず、さらに図３Ａに示したポケット５に食材７の収納がなされたのか、または、ポケット５から食材７の取り出しがなされたのかをさらに判定することとしてもよい。

ここで、第２収納部６に食材７の収納がなされたのか、または、第２収納部６から食材７の取り出しがなされたのかを判定する方法は、上記実施形態で説明した方法と同様である。

そのため、以下では、食材７の収納が第１収納部４、および、ポケット５のいずれになされたのか、または、食材７の取り出しが第１収納部４、および、ポケット５のいずれからなされたのかを判定する方法について説明する。

図８は、第１収納部４またはポケット５における食材７の収納または取り出しの判定方法の一例について説明する図である。なお、図８にはカメラ１０が示されていないが、この場合も図３Ａ等に示したようにカメラ１０が設置されているものとする。

上述した実施形態と同様に、この方法でも、扉開閉センサ１１ａにより回動扉２が開状態にあることが検知された場合、カメラ１０がパン動作を行ってもよいし、パン動作を行わなくてもよい。また、撮影は、動画撮影であってもよいし、静止画の連続撮影であってもよい。

パン動作を行う場合、カメラ１０の向きは、ｘ軸の正方向に食材７が移動するとした場合にその食材７を追従する向き、ｘ軸の負方向に食材７が移動するとした場合にその食材７を追従する向き、ｙ軸の正方向に食材７が移動するとした場合にその食材７を追従する向き、および、ｙ軸の負方向に食材７が移動するとした場合にその食材７を追従する向きに順に設定され、それぞれの向きにおいて撮影が行われる。なお、カメラ１０の向きを設定する順番は、これ以外の順番でもよい。

これにより、食材７が第１収納部４またはポケット５に収納される場合、あるいは、食材７が第１収納部４またはポケット５から取り出される場合のいずれであっても、カラーバーコード８の画像を適切に撮影できるようになる。

さらに、カメラ１０は、第１収納部４およびポケット５の高さにある第１の領域Ｆａにフォーカスを合わせる（図３Ａを参照）。これにより、ピントの合ったカラーバーコード８の画像を撮影できるようになる。

そして、入出庫判定部１２ｃは、図８に示すように、カラーバーコード８の位置がｘ軸の負方向に変化し、直線ｘ＝ａ（ａは所定の値）を超えた場合、食材７が第１収納部４に収納されたと判定する。

一方、カラーバーコード８の位置がｘ軸の正方向に変化し、直線ｘ＝ａを超えた場合、入出庫判定部１２ｃは、食材７が第１収納部４から取り出されたと判定する。

さらに、入出庫判定部１２ｃは、図８に示すように、カラーバーコード８の位置がｙ軸の正方向に変化し、直線ｙ＝ｂ（ｂは所定の値）を超えた場合、食材７がポケット５に収納されたと判定する。

一方、カラーバーコード８の位置がｙ軸の負方向に変化し、直線ｙ＝ｂを超えた場合、入出庫判定部１２ｃは、食材７がポケット５から取り出されたと判定する。

なお、ｘ≦ａかつｙ≧ｂの範囲では上記判定ができないが、この場合は音を鳴らすなどしてユーザに判定不能であることを報知し、上記範囲以外で食材７の収納または取り出しを行うように促すこととしてもよい。

また、直線ｙ＝ｂにおけるｂの値は、回動扉２の開き具合、つまり、回転扉２の回転角度に応じて変更するようにしてもよい。あるいは、直線ｙ＝ｂではなく、回転扉２に平行で、回転扉２の回転角度に応じて回転する直線を超えたか否かに基づいて、食材７がポケット５から取り出されたと判定することとしてもよい。その際、回動扉２の回転角度は、例えば、カメラ１０が認識すればよい。

また、上記実施形態では、カラーバーコード８を食材７に付し、カラーバーコード８から食材７のＩＤ情報を抽出することによりその食材７を特定することとしたが、本発明はこれに限定されない。

例えば、入出庫判定部１２ｃが、食材７の色、大きさ、形状等を画像から抽出し、その食材７を特定してもよい。この場合、クラウドサーバの在庫管理テーブルには、冷蔵庫１に収納されている食材の色、大きさ、形状等の情報が登録されている。そして、入出庫判定部１２ｃは、これらの情報を照合することにより、食材７が冷蔵庫１に収納されている食材か否かを判定することとしてもよい。

また、食材７を照らす照明を、カメラ１０の隣にさらに設置してもよい。第１収納部４よりも遠い位置にある第２収納部６の引き出し扉３が開状態となったと判定された場合、カメラ制御部１２ｂは、第１収納部４の回動扉２が開状態となったと判定された場合よりも強い光で食材７を照らすように照明を制御する。

これにより、食材７の撮影環境を良好に整えることができ、カラーバーコード８の認識精度をより高めることができる。なお、照明の設置位置は、カメラ１０の隣でなくともよい。

さらに、食材７の収納、または、取り出しを行う者をさらに特定してもよい。この場合、カメラ１０は、食材７とともに、食材７の収納、または、取り出しを行う者を撮影し、入出庫判定部１２ｃは、撮影された画像の画像認識によりその者を識別する。

これにより、１台の冷蔵庫１を複数人で利用するような場合、クラウドサーバの在庫管理テーブル１３などにおいて、人ごとに食材７の在庫管理を行うことができる。

また、上記実施形態では、食材７に付されたカラーバーコード８の移動方向が冷蔵庫内から冷蔵庫外へと向かう方向である場合に、食材７が取り出されたと判定することとしたが、食材７が冷蔵庫１にすでに収納されている物品として在庫管理テーブル１３に登録されている場合に、入出庫判定部１２ｃが、食材７の取り出しがなされたと判定することとしてもよい。

この場合、入出庫判定部１２ｃは、カラーバーコード８から抽出した食材７のＩＤ情報が在庫管理テーブル１３に登録されているか否かを判定する処理を行う。これにより、食材７が取り出されたか否かの判定を容易に行うことができる。

また、上記実施形態では、カメラ１０は冷蔵庫１の上部９に設置されることとしたが、カメラ１０の設置位置はこれに限定されず、他の位置に設置することとしてもよい。また、食材７の角度がどのような角度でもカラーバーコード８を撮影できるように、カメラ１０は複数台あってもよい。

以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した判定装置１２などの各装置の機能は、コンピュータプログラムにより実現され得る。

図９は、各装置の機能をプログラムにより実現するコンピュータ３００のハードウェア構成を示す図である。

例えば、このコンピュータ３００は、キーボードやマウス、タッチパッドなどの入力装置３０１、ディスプレイやスピーカーなどの出力装置３０２、ＣＰＵ３０３、ＲＯＭ（Read Only Memory）３０４、ＲＡＭ（Random Access Memory）３０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置３０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置３０７、ネットワークを介して通信を行うネットワークカード３０８などを備え、各部はバス３０９により接続される。

そして、読取装置３０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、読み取ったプログラムを記憶装置３０６に記憶させる。あるいは、ネットワークカード３０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置３０６に記憶させる。

そして、ＣＰＵ３０３が、記憶装置３０６に記憶されたプログラムをＲＡＭ３０５にコピーし、そのプログラムに含まれる命令をＲＡＭ３０５から順次読み出して実行することにより、上記各装置の機能が実現される。

また、上記実施の形態において説明された技術は、例えば、以下のクラウドサービスの類型において実現され得る。しかし、上記実施の形態において説明された技術が実現される類型はこれに限られるものでない。

（サービスの類型１：自社データセンタ型）
図１０は、サービスの類型１（自社データセンタ型）を示す図である。本類型は、サービスプロバイダ１２０がグループ１００から情報を取得し、ユーザに対してサービスを提供する類型である。本類型では、サービスプロバイダ１２０が、データセンタ運営会社の機能を有している。即ち、サービスプロバイダが、ビッグデータの管理をするクラウドサーバ１１１を保有している。従って、データセンタ運営会社は存在しない。

本類型では、サービスプロバイダ１２０は、データセンタ４０３（クラウドサーバ１１１（図１を参照））を運営、管理している。また、サービスプロバイダ１２０は、ＯＳ４０２及びアプリケーション４０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ４０２およびアプリケーション４０１を用いてサービス提供４０４を行う。

（サービスの類型２：ＩａａＳ利用型）
図１１は、サービスの類型２（ＩａａＳ利用型）を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社が、データセンタ４０３（クラウドサーバ１１１（図１を参照））を運営、管理している。また、サービスプロバイダ１２０は、ＯＳ４０２およびアプリケーション４０１を管理する。サービスプロバイダ１２０は、サービスプロバイダ１２０が管理するＯＳ４０２およびアプリケーション４０１を用いてサービス提供４０４を行う。

（サービスの類型３：ＰａａＳ利用型）
図１２は、サービスの類型３（ＰａａＳ利用型）を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社１１０は、ＯＳ４０２を管理し、データセンタ４０３（クラウドサーバ１１１（図１を参照））を運営、管理している。また、サービスプロバイダ１２０は、アプリケーション４０１を管理する。サービスプロバイダ１２０は、データセンタ運営会社が管理するＯＳ４０２およびサービスプロバイダ１２０が管理するアプリケーション４０１を用いてサービス提供４０４を行う。

（サービスの類型４：ＳａａＳ利用型）
図１３は、サービスの類型４（ＳａａＳ利用型）を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社・個人（利用者）が、インターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。

本類型では、データセンタ運営会社１１０は、アプリケーション４０１を管理し、ＯＳ４０２を管理し、データセンタ４０３（クラウドサーバ１１１（図１を参照））を運営、管理している。また、サービスプロバイダ１２０は、データセンタ運営会社１１０が管理するＯＳ４０２およびアプリケーション４０１を用いてサービス提供４０４を行う。

以上、いずれの類型においても、サービスプロバイダ１２０が、サービス提供行為を行うものとする。また、例えば、サービスプロバイダ１２０もしくはデータセンタ運営会社１１０は、ＯＳ、アプリケーションもしくはビッグデータのデータベースなどを自ら開発してもよいし、また、第三者に外注してもよい。

本発明にかかる判定装置、および、判定方法は、物品を収納する第１の収納部および第２の収納部を少なくとも有する収納装置における物品の収納または取り出しを判定するのに好適である。

１ 冷蔵庫
２ 回動扉
３ 引き出し扉
４ 第１収納部
５ ポケット
６ 第２収納部
７ 食材
８ カラーバーコード
９ 上部
１０ カメラ
１１，１１ａ，１１ｂ 扉開閉センサ
１２ 判定装置
１２ａ 扉判定部
１２ｂ カメラ制御部
１２ｃ 入出庫判定部
１３ 在庫管理テーブル
１４ ネットワーク
１００ グループ
１０１ 機器
１０２ ホームゲートウェイ
１０３，２００ ユーザ
１１０ データセンタ運営会社
１１１ クラウドサーバ
１２０ サービスプロバイダ
１２１ サーバ
３００ コンピュータ
３０１ 入力装置
３０２ 出力装置
３０３ ＣＰＵ（Central Processing Unit）
３０４ ＲＯＭ（Read Only Memory）
３０５ ＲＡＭ（Random Access Memory）
３０６ 記憶装置
３０７ 読取装置
３０８ ネットワークカード
３０９ バス
４０１ アプリケーション
４０２ ＯＳ
４０３ データセンタ（クラウドサーバ）
４０４ サービス提供

Claims (9)

1. 物品を水平方向から収納する第１の収納部および前記物品を垂直方向から収納する第２の収納部を少なくとも有する収納装置における前記物品の収納または取り出しを判定する判定装置であって、
   前記第１の収納部の扉、および、前記第２の収納部の扉のうち、開状態となった扉を判定する扉判定部と、
   前記第１の収納部の扉が開状態となったと判定された場合、前記物品の水平方向における位置の変化を検出し、前記第２の収納部の扉が開状態となったと判定された場合、前記物品の垂直方向の位置の変化を検出し、検出された変化に基づいて前記物品の収納がなされたか否かを判定する入出庫判定部と、
   を備える判定装置。
2. 前記入出庫判定部は、前記第１の収納部の扉が開状態となったと判定された場合、前記物品の位置が、前記第１の収納部の内部により近い位置に変化した場合に、前記物品の収納がなされたと判定し、前記第２の収納部の扉が開状態となったと判定された場合、前記物品の位置が、前記第２の収納部の内部により近い位置に変化した場合に、前記物品の収納がなされたと判定する、
   請求項１に記載の判定装置。
3. カメラのフォーカス動作を制御するカメラ制御部をさらに備え、
   前記カメラ制御部は、前記第１の収納部の扉が開状態となったと判定された場合、前記第１の収納部の高さにある第１の領域にフォーカスを合わせ、前記第２の収納部の扉が開状態となったと判定された場合、前記第２の収納部の上部の第２の領域にフォーカスを合わせ、
   前記入出庫判定部は、前記カメラ制御部による制御の下、前記カメラが前記物品を撮影した画像から、前記物品の位置の変化を検出する、
   請求項１または２に記載の判定装置。
4. 前記カメラ制御部は、前記カメラのパン動作およびズーム動作をさらに制御し、
   前記カメラ制御部は、前記第１の収納部の扉が開状態となったと判定された場合、前記カメラにパン動作を実行させ、前記第２の収納部の扉が開状態となったと判定された場合、前記カメラにズーム動作を実行させる、
   請求項３に記載の判定装置。
5. 前記物品を照らす照明をさらに備え、
   前記カメラ制御部は、前記照明の制御をさらに行い、前記照明の設置位置からみて前記第１の収納部よりも遠い位置にある前記第２の収納部の扉が開状態となったと判定された場合、前記第１の収納部の扉が開状態となったと判定された場合よりも強い光で前記物品を照らすように前記照明を制御する、
   請求項３または４に記載の判定装置。
6. 前記入出庫判定部は、前記カメラが前記物品の収納を行う者を撮影した画像から、前記物品の収納を行う者の識別をさらに行う、
   請求項３〜５のいずれか１項に記載の判定装置。
7. 前記入出庫判定部は、前記第１の収納部の扉が開状態となったと判定された場合、前記物品の水平方向における位置の変化を検出し、前記第２の収納部の扉が開状態となったと判定された場合、前記物品の垂直方向の位置の変化を検出し、検出された変化に基づいて前記物品の取り出しがなされたか否かを判定する、
   請求項１〜６のいずれか１項に記載の判定装置。
8. 前記入出庫判定部は、前記物品が前記収納装置にすでに収納されている物品としてデータベースに登録されている場合に、前記物品の取り出しがなされたと判定する、
   請求項１〜６のいずれか１項に記載の判定装置。
9. 物品を水平方向から収納する第１の収納部および前記物品を垂直方向から収納する第２の収納部を少なくとも有する収納装置における前記物品の収納または取り出しを判定する判定方法であって、
   前記第１の収納部の扉、および、前記第２の収納部の扉のうち、開状態となった扉を判定する扉判定ステップと、
   前記第１の収納部の扉が開状態となったと判定された場合、前記物品の水平方向における位置の変化を検出し、前記第２の収納部の扉が開状態となったと判定された場合、前記物品の垂直方向の位置の変化を検出し、検出された変化に基づいて前記物品の収納がなされたか、または、前記物品の取り出しがなされたかを判定する入出庫判定ステップと、
   を含む判定方法。

Images