JP2023127905A - 物品管理システム、物品管理方法及びプログラム - Google Patents

Abstract

【課題】物品の使い忘れを抑制して、ユーザの利便性を向上させた物品管理システム、物品管理方法及びプログラムを提供する。
【解決手段】貯蔵庫の貯蔵室内を撮像して撮像画像を生成し、前記撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出する撮像装置と、前記撮像装置の検出結果に基づき、前記入庫日から予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させる制御装置と、を備える、物品管理システム。
【選択図】図１８

Description

本開示は、物品管理システム、物品管理方法及びプログラムに関する。

特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。

特開２０１９－０７０４７６号公報

本開示は、物品の使い忘れを抑制して、ユーザの利便性を向上させた物品管理システム、物品管理方法及びプログラムを提供する。

本開示における物品管理システムは、貯蔵庫の貯蔵室内を撮像して撮像画像を生成し、前記撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出する撮像装置と、前記撮像装置の検出結果に基づき、前記入庫日から予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させる制御装置と、を備える。

また、本開示における物品管理方法は、貯蔵庫の貯蔵室内を撮像するステップと、撮像された撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出するステップと、前記貯蔵室内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させるステップと、を有する。

本開示におけるプログラムは、コンピュータに、貯蔵庫の貯蔵室内を撮像した撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出する手順と、前記貯蔵庫内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させる手順と、を実行させる。

本開示における物品管理システム、物品管理方法及びプログラムは、入庫日から予め設定された期間を経過しても、収容エリアから出庫されない物品の情報が情報処理装置に表示されるため、物品の使い忘れを抑制することができ、物品のロスを低減させることができる。このため、ユーザの利便性を向上させることができる。

物品管理システムのシステム構成の一例を示す図 識別情報データベースの構成の一例を示す図 食材管理データベースの構成の一例を示す図 物品管理データベースの構成の一例を示す図 開状態管理データベースの構成の一例を示す図 冷蔵庫の正面図 撮像装置の構成を示すブロック図 冷蔵庫の上面図 冷蔵室用カメラの撮像画像の一例を示す図 引き出し用カメラの撮像画像の一例を示す図 第１領域、第２領域、第３領域及び第４領域の境界線を示す図 入出庫判定画像を説明するための図 撮像装置の動作を示すフローチャート 物品管理システムの動作を示すフローチャート 物品管理サーバの動作を示すフローチャート 初期画面の一例を示す図 初期画面の他の例を示す図 長期保存出し入れ状況画面を示す図 出し入れ状況画面を示す図 開閉状況画面を示す図 選択画面を示す図 収容物品画面を示す図 収容物品画面を示す図 アプリ実行部の動作を示すフローチャート 引き出し用カメラの撮像画像であり、第５領域、第６領域、第７領域及び第８領域の境界線を示す図

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫などの貯蔵庫をカメラにより撮像し、カメラにより撮像された撮像画像から、貯蔵庫に収容された物品の情報を表示する技術はあった。しかしながら、従来の技術は、物品が貯蔵庫に収容されてからの経過時間を管理しておらず、物品である食材の使い忘れ等が生じ、食品ロスにつながるという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵庫に収容された物品の使い忘れを抑制し、物品のロスを低減させる物品管理システム、物品管理方法及びプログラムを提供する。

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
［１．システム構成］
図１は、物品管理システム１のシステム構成の一例を示す図である。
物品管理システム１は、撮像装置３と、情報処理装置６と、物品管理サーバ８と、を備える。撮像装置３、情報処理装置６及び物品管理サーバ８は、ネットワーク１０を介して相互に接続される。撮像装置３と情報処理装置６とは、無線接続によってネットワーク１０に接続されるが、有線による接続であってもよい。

図１には、撮像装置３及び情報処理装置６をそれぞれ１台ずつ示すが、撮像装置３及び情報処理装置６は、物品管理システム１に登録されたユーザ数に対応して複数設けられる。また、撮像装置３と情報処理装置６との数は同数とは限らず、例えば、家庭内で複数のユーザがそれぞれ情報処理装置６を使用し、物品管理サーバ８から提供される画像や情報を情報処理装置６で視認することも可能である。

撮像装置３は、冷蔵庫２の天面に設置される。撮像装置３は、複数のカメラを備え、冷蔵庫２のドアや引き出しが開かれると、冷蔵室や野菜室等の庫内を撮像し、冷蔵庫２内に入庫される物品や、冷蔵庫２から出庫される物品を撮像した撮像画像を生成する。カメラが撮像する画像は、動画像であってもよいし、静止画像であってもよい。また、冷蔵庫２に入庫される物品、又は冷蔵庫２から出庫される物品には、食品や食材、食品又は食材を収容した保存容器が含まれる。

撮像装置３は、生成した撮像画像を画像解析して物品や、物品に付されたマーカーＩＤを検出する。保存容器にはマーカーが付されており、マーカーにはマーカーの識別情報であるマーカーＩＤが含まれる。撮像装置３は、撮像画像やマーカーＩＤを含むアップロードデータを生成し、生成したアップロードデータを物品管理サーバ８に送信する。

物品管理サーバ８は、撮像装置３から受信したアップロードデータに基づき、冷蔵庫２に収容された物品を管理する。
例えば、物品管理サーバ８は、物品が冷蔵庫２に入庫された入庫日時や、物品が冷蔵庫２に入庫されてからの経過時間等を管理する。また、物品管理サーバ８は、冷蔵庫２のドアが開閉された回数や、一定時間以上が経過した物品が収容された冷蔵庫２の収容エリアを判定する。物品管理サーバ８は、これらの情報を情報処理装置６に送信し、情報処理装置６のタッチパネル６３に表示させる。

情報処理装置６は、スマートフォンやタブレットコンピュータ等の携帯型のコンピュータである。また、情報処理装置６として、ノート型やデスクトップ型のパーソナルコンピュータを用いてもよい。情報処理装置６は、例えば、ユーザの操作により選択された画像や情報を物品管理サーバ８からダウンロードし、ダウンロードした画像や情報に基づいてアプリ画面７００を生成する。情報処理装置６は、生成したアプリ画面７００をタッチパネル６３に表示させる。

［２．情報処理装置の構成］
情報処理装置６は、第１通信モジュール６１、タッチパネル６３及び第１制御部６５を備える。

第１通信モジュール６１は、無線通信の通信規格に従ったインターフェイス回路を有する通信インターフェイスである。第１通信モジュール６１は、第１制御部６５の制御に従って物品管理サーバ８と通信する。本実施の形態では、第１通信モジュール６１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

タッチパネル６３は、液晶表示パネル等の表示パネルと、タッチセンサとを備える。タッチパネル６３は、タッチされた表示パネルの位置を示す座標情報を第１制御部６５に出力する。

第１制御部６５は、第１メモリ６７及び第１プロセッサ６９を備えるコンピュータ装置である。

第１メモリ６７は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備える。ＲＯＭ及びＲＡＭの図示は省略する。ＲＯＭは、第１プロセッサ６９が実行する制御プログラムとして、物品管理アプリケーションプログラム６７５や、情報処理装置６の設定情報等を記憶する。以下、アプリケーションプログラムをアプリと表記する。ＲＡＭは、第１プロセッサ６９の演算領域として使用される。

第１プロセッサ６９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置である。第１プロセッサ６９は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第１プロセッサ６９は、第１メモリ６７の一部又は全部や、その他の回路と統合されたＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）により構成してもよい。また、第１プロセッサ６９は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第１プロセッサ６９の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

第１プロセッサ６９は、物品管理アプリ６７５を実行することでアプリ実行部６９５として機能する。アプリ実行部６９５は、第１通信モジュール６１により物品管理サーバ８と通信し、タッチパネル６３に表示させるアプリ画面７００のデータを受信する。

また、アプリ実行部６９５は、冷蔵庫２に収容された物品を管理するユーザーインターフェースとして、アプリ画面７００をタッチパネル６３に表示させる。アプリ実行部６９５は、アプリ画面７００をタッチパネル６３に表示させ、冷蔵庫２が収容する物品の各種情報をユーザに提供し、また、冷蔵庫２が収容する物品に対する各種入力をユーザから受け付ける。

［３．物品管理サーバの構成］
物品管理サーバ８は、第２通信モジュール８１及び第２制御部８３を備える。物品管理サーバ８は、制御装置に相当する。

第２通信モジュール８１は、所定の通信規格に従ったインターフェイス回路等を備える通信インターフェイスである。第２通信モジュール８１は、ネットワーク１０に有線接続し、撮像装置３や情報処理装置６と相互にデータ通信を行う。

第２制御部８３は、第２メモリ８５及び第２プロセッサ８７を備える。

第２メモリ８５は、ＲＯＭ、ＲＡＭ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置を備える。ＲＯＭ、ＲＡＭ及びＨＤＤの図示は省略する。
ＲＯＭは、制御プログラム８５１を記憶する。ＲＡＭは、第２プロセッサ８７の演算領域として使用される。

補助記憶装置は、識別情報データベース９１、食材管理データベース９３、物品管理データベース９５及び開状態管理データベース９７を記憶する。以下、データベースをＤＢと略記する。

第２プロセッサ８７は、ＣＰＵやＭＰＵ等の演算処理装置である。第２プロセッサ８７は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第２プロセッサ８７は、第２メモリ８５の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第２プロセッサ８７は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第１プロセッサ６９の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
第２プロセッサ８７は、第２メモリ８５が記憶する制御プログラム８５１を読み出して実行することにより処理部８７１として機能する。

ここで、図２～図５を参照しながら、識別情報データベース９１、食材管理データベース９３、物品管理データベース９５及び開状態管理データベース９７の構成について説明する。

図２は、識別情報データベース９１の構成の一例を示す図である。
識別情報データベース９１は、識別情報を登録したデータベースである。
識別情報データベース９１には、アカウント情報９１１、通信情報９１２及び撮像装置ＩＤ９１３が１レコードとして登録される。

アカウント情報９１１は、物品管理アプリ６７５のユーザに割り当てられたアカウントを識別する情報である。
通信情報９１２は、情報処理装置６との通信に使用するＩＰアドレス等のアドレス情報である。
撮像装置ＩＤ９１３は、ユーザ宅に設置された撮像装置３を識別するＩＤである。

図３は、食材管理ＤＢ９３の構成の一例を示す図である。
食材管理ＤＢ９３は、アカウント情報９１１ごとに生成されるデータベースであり、食材名情報９３１、色情報９３２、栄養素情報９３３、入庫日時情報９３４、食材画像９３５、収容エリア９３６、出庫日時情報９３７が１レコードとして登録される。

食材名情報９３１は、冷蔵庫２に入庫された食材の名称を示す情報である。
処理部８７１は、撮像装置３からアップロードされる撮像画像に撮像された食材を判定する。処理部８７１は、物品の色や形状等に基づいて食材を判定し、判定結果を食材名情報９３１として登録する。

色情報９３２には、食材名情報９３１の食材の色が登録される。
処理部８７１は、撮像画像から食材を判定すると、判定した食材の色情報を取得する。食材の色は、予め食材の色を登録したデータベースを第２メモリ８５に記憶させ、このデータベースを参照して色情報を取得してもよいし、不図示の他のサーバから食材の色情報を取得してもよい。処理部８７１は、取得した色を色情報９３２として登録する。

栄養素情報９３３には、食材名情報９３１の食材に含まれる栄養素の情報が登録される。処理部８７１は、撮像画像から食材を判定すると、判定した食材に含まれる栄養素を取得する。食材に含まれる栄養素は、予め食材に含まれる栄養素を登録したデータベースを第２メモリ８５に記憶させ、このデータベースを参照して栄養素情報を取得してもよいし、不図示の他のサーバから食材の栄養素情報を取得してもよい。処理部８７１は、取得した栄養素を栄養素情報９３３として登録する。

入庫日時情報９３４は、食材名情報９３１の食材が冷蔵庫２に入庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を入庫日時情報９３４として登録する。なお、入庫日時情報９３４は、撮像装置３からアップロードされる日時情報に基づいて登録されてもよい。

食材画像９３５には、撮像装置３からアップロードされた撮像画像が登録される。
撮像装置３は、冷蔵庫２の庫内を撮像して撮像画像を生成する。撮像装置３は、生成した撮像画像から物品が撮像された範囲の画像を、物品画像として切り出す。撮像装置３は、切り出した物品画像を含むアップロードデータを物品管理サーバ８にアップロードする。処理部８７１は、アップロードデータから物品画像を取り出し、取り出した物品画像から食材が検出された場合、物品画像を食材画像９３５に登録する。

収容エリア９３６は、食材が収容された冷蔵庫２の収容エリアを示す情報である。処理部８７１は、アップロードデータから収容エリアを示す情報を取り出し、取り出した収容エリアを示す情報を収容エリア９３６に登録する。冷蔵庫２が備える複数の収容エリアには、識別番号が付与されている。収容エリア９３６には、収容エリアを示す情報として識別番号が登録される。

出庫日時情報９３７は、食材名情報９３１の食材が冷蔵庫２から出庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を出庫日時情報９３７に登録する。なお、出庫日時情報９３７は、撮像装置３からアップロードされる日時情報に基づいて登録されてもよい。食材は、調理等のために、冷蔵庫２から取り出され、その後、冷蔵庫２の庫内に再度、収容される場合がある。このため、処理部８７１は、冷蔵庫２から食材が出庫されたと判定しても、一定時間を経過するまでは、食材管理ＤＢ９３のレコードを削除しない。処理部８７１は、使用した食材が再入庫された場合、出庫日時情報９３７のレコードを削除するか、入庫日時情報９３４に新たな入庫日時を登録する。

図４は、物品管理ＤＢ９５の構成の一例を示す図である。
物品管理ＤＢ９５は、アカウント情報９１１ごとに生成されるデータベースであり、マーカーＩＤ９５１、物品画像９５２、入庫日時情報９５３、収容エリア９５４、出庫日時情報９５５が１レコードとして登録される。

マーカーＩＤ９５１は、撮像装置３から受信するアップロードデータに含まれる情報である。撮像装置３は、撮像画像から物品に付されたマーカーを検出し、検出したマーカーに付与されたマーカーＩＤを取得する。撮像装置３は、取得したマーカーＩＤをアップロードデータとして物品管理サーバ８に送信する。処理部８７１は、受信したアップロードデータからマーカーＩＤを取り出し、取り出したマーカーＩＤをマーカーＩＤ９５１に登録する。

物品画像９５２には、撮像装置３からアップロードされた撮像画像が登録される。
上述のように撮像装置３は、切り出した物品画像を含むアップロードデータを物品管理サーバ８にアップロードする。
処理部８７１は、アップロードデータにマーカーＩＤが含まれる場合、このアップロードデータから取り出した物品画像を物品画像９５２に登録する。
なお、アップロードデータにマーカーＩＤが含まれる場合、予め物品管理サーバ８に保存され、マーカーＩＤと対応している物品画像を物品画像９５２に登録してもよい。この場合、ユーザはマーカーＩＤが付された物品をカメラで撮影し、撮影した物品画像を物品管理サーバ８に送信する。処理部８７１は、受信した物品画像とマーカーＩＤを対応付けて物品管理ＤＢ９５に登録する。

入庫日時情報９５３は、マーカーＩＤの物品が冷蔵庫２に入庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を入庫日時情報９５３に登録する。

収容エリア９５４は、物品が収容された冷蔵庫２の収容エリアを示す情報である。処理部８７１は、アップロードデータから収容エリアを示す情報を取り出し、取り出した収容エリアを示す情報を収容エリア９５４に登録する。

出庫日時情報９５５は、マーカーＩＤの物品が冷蔵庫２から出庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を出庫日時情報９５５に登録する。物品は、調理等のために、冷蔵庫２から取り出され、その後、冷蔵庫２の庫内に再度、収容される場合がある。このため、処理部８７１は、冷蔵庫２から食材が出庫されたと判定しても、一定時間を経過するまでは、食材管理ＤＢ９３のレコードを削除しない。処理部８７１は、物品が再入庫された場合、出庫日時情報９５５のレコードを削除するか、入庫日時情報９５３に新たな入庫日時を登録する。

図５は、開状態管理ＤＢ９７の構成の一例を示す図である。
開状態管理ＤＢ９７は、アカウント情報９１１ごとに生成されるデータベースであり、冷蔵室２１の開日時を記録するカラム９７１、野菜室２７の開日時を記録するカラム９７２、冷凍室２６の開日時を記録するカラム９７３を備える。
冷蔵室２１の開日時を記録するカラム９７１には、冷蔵室２１の左ドア２２又は右ドア２３が開かれた日時が登録される。
野菜室２７の開日時を記録するカラム９７２には、野菜室２７の引き出し２７Ａが引き出された日時が登録される。
冷凍室２６の開日時を記録するカラム９７３には、冷凍室２６の引き出し２６Ａが引き出された日時が登録される。
また、開状態管理ＤＢ９７に登録されてから一定時間を経過したデータは、開状態管理ＤＢ９７から削除される。

［４．冷蔵庫の構成］
ここで、撮像装置３が載置された冷蔵庫２の構成について説明する。
図６は、冷蔵庫２の正面図であって、冷蔵庫２が具備する左ドア２２及び右ドア２３を開いた状態を示す図である。図６に示すＸ軸、Ｙ軸及びＺ軸は、互いに直交する３軸である。図面視で、Ｘ軸方向は左右方向に対応し、Ｘ軸の正方向は右方向に対応する。図面視で、Ｙ軸方向は前後方向に対応し、Ｙ軸の正方向は前方向に対応する。図面視で、Ｚ軸は上下方向に対応し、Ｚ軸の正方向は上方向に対応する。

冷蔵庫２は、断熱性を有し、冷蔵庫２の本体を形成する箱状部材である箱体２０を備える。
箱体２０は、外箱と内箱との間の空間に断熱材を充填した構成を備える。外箱及び内箱の図示は省略する。外箱は、例えば、鉄などの金属板やＡＢＳ樹脂等の硬質樹脂等で形成される。内箱は、例えば、ＡＢＳ樹脂等の硬質樹脂で形成される。断熱材は、例えば、硬質ウレタンフォームが採用される。なお、断熱材は、これに限らず、断熱性を有し、外箱と内箱との間の空間に充填可能な材料であればよい。

冷蔵庫２の内部空間は、仕切り部材によって複数の空間に仕切られる。本実施形態では、内部空間は、５つの空間に仕切られ、５つの空間が、それぞれ、冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７として機能する。冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７は、貯蔵室に相当する。製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７は、物品を収容可能な引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａをそれぞれ備える。
冷蔵室２１は、左ドア２２及び右ドア２３により閉塞され、製氷室２４は、引き出し２４Ａにより閉塞され、新鮮凍結室２５は、引き出し２５Ａにより閉塞され、冷凍室２６は、引き出し２６Ａによって閉塞され、野菜室２７は、引き出し２７Ａにより閉塞される。

冷蔵室２１には、棚板２１１、２１３、２１５、２１７が設けられ、冷蔵室２１はこれら棚板２１１、２１３、２１５、２１７により５つの空間に区切られる。
棚板２１１により区切られ、Ｚ軸方向の最も上に位置する冷蔵室２１を第１冷蔵室２１Ａという。棚板２１１と棚板２１３とにより区切られ、Ｚ軸方向の上から２番目に位置する冷蔵室２１を第２冷蔵室２１Ｂという。棚板２１３と棚板２１５とにより区切られ、Ｚ軸方向の上から３番目に位置する冷蔵室２１を第３冷蔵室２１Ｃという。棚板２１５と棚板２１７とにより区切られ、Ｚ軸方向の上から４番目に位置する冷蔵室２１を第４冷蔵室２１Ｄという。棚板２１７により区切られ、Ｚ軸方向の最も下に位置する冷蔵室２１をチルド室２８という。チルド室２８は、庫内温度が冷蔵室２１より低い収容室である。チルド室２８には、物品を収容可能な引き出し２８Ａが設けられる。

Ｙ軸の正方向に位置する冷蔵庫２の前面には、回転式であって、観音開きの左ドア２２及び右ドア２３が設けられる。
左ドア２２には、４つの左ドアポケットが設けられる。左ドア２２には、Ｚ軸方向の上から順に、第１左ドアポケット２２１、第２左ドアポケット２２３、第３左ドアポケット２２５、第４左ドアポケット２２７が設けられる。
右ドア２３には、４つの右ドアポケットが設けられる。右ドア２３には、Ｚ軸方向の上から順に、第１右ドアポケット２３１、第２右ドアポケット２３３、第３右ドアポケット２３５、第４右ドアポケット２３７が設けられる。

［５．撮像装置の構成］
図７は、撮像装置３の構成を示すブロック図である。
図７を参照しながら撮像装置３の構成について説明する。
撮像装置３は、センサ基板３０と、カメラ基板４０とを備える。
センサ基板３０は、各種センサから出力される信号を処理及び変換する信号処理ボードである。センサ基板３０には、左ドア用測距センサ３１、右ドア用測距センサ３２、引き出し用測距センサ３３、人感センサ３４が接続される。左ドア用測距センサ３１、右ドア用測距センサ３２及び引き出し用測距センサ３３は、開閉センサに相当する。

カメラ基板４０は、カメラモジュールが出力した信号を処理して撮像画像を生成する信号処理ボードである。カメラ基板４０には、第３通信モジュール４１、カメラモジュールとしての冷蔵室用カメラ４２及び引き出し用カメラ４３、発光装置４４が接続される。

左ドア用測距センサ３１は、左ドア２２との距離を検出する。左ドア用測距センサ３１は、検出した左ドア２２との距離を示す信号を第３制御部４３０に出力する。
右ドア用測距センサ３２は、右ドア２３との距離を検出する。右ドア用測距センサ３２は、検出した右ドア２３との距離を示す信号を第３制御部４３０に出力する。

図８は、冷蔵庫２を上から見た上面図である。
左ドア用測距センサ３１は、検出光を射出する発光素子と、検出光が左ドア２２で反射した反射光を受光する受光素子とを備える。右ドア用測距センサ３２も、検出光を射出する発光素子と、検出光が右ドア２３で反射した反射光を受光する受光素子とを備える。発光素子及び受光素子の図示は省略する。発光素子は受光素子よりもＹ軸方向の正方向に設けられる。これにより、測距センサの検出範囲を広くできる。
左ドア用測距センサ３１は、Ｙ軸の正方向に対して所定角度傾くように発光素子及び受光素子が設置される。右ドア用測距センサ３２についても同様である。左ドア２２が、所定角度以上、開いた状態では、発光素子から射出される検出光が、左ドア２２の内側であって、Ｚ軸方向の上部で反射する。また、左ドア２２が、閉まった状態では、発光素子から射出される検出光が、左ドア２２の内側であって、Ｚ軸方向の上部で反射する。例えば、左ドア２２の内側であって、左ドア２２の上端と左ドア２２に設けられたガスケットとの間の領域で反射する。左ドア２２のＺ軸方向の上部で反射した反射光を受光素子で検出することで、左ドア２２が開状態であると判定される。例えば、左ドア２２の閉まった状態における信号と比較し、所定値以上変化した場合は、左ドア２２が開状態であると判定される。同様に、右ドア２３が、所定角度以上、開いた状態では、発光素子から射出される検出光が、右ドア２３の内側で反射であって、Ｚ軸方向の上部で反射する。また、右ドア２３が、閉まった状態では、発光素子から射出される検出光が、右ドア２３の内側であって、Ｚ軸方向の上部で反射する。例えば、右ドア２３の内側であって、右ドア２３の上端と右ドア２３に設けられたガスケットとの間の領域で反射する。右ドア２３のＺ軸方向の上部で反射した反射光を受光素子で検出することで、右ドア２３が開状態であると判定される。例えば、右ドア２３の閉まった状態における信号と比較し、所定値以上変化した場合は、右ドア２３が開状態であると判定される。左ドア２２の内側とは、左ドア２２が閉状態となったときに、冷蔵庫２の庫内に面する側である。右ドア２３の内側についても同様である。

引き出し用測距センサ３３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａとの距離を検出するセンサである。引き出し用測距センサ３３は、検出光を射出する発光素子と、検出光の反射光を受光する受光素子とが、Ｚ軸方向の負方向である鉛直下方向に向けて設置される。発光素子及び受光素子の図示は省略する。
引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａが冷蔵庫２の庫内から引き出されることで、発光素子が射出した検出光が引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかで反射する。受光素子は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかで反射した反射光を受光する。発光素子で検出光を射出してから、受光素子で反射光を受光するまでの時間の変化により、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれが引き出されたのかを判定する。引き出し用測距センサ３３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａとの距離との距離を示す信号を第３制御部４３０に出力する。

人感センサ３４は、人の接近を検知する。人感センサ３４は、赤外線式、超音波式、可視光式のいずれの形式であってもよい。人感センサ３４は、人の接近を検知し、人の接近を示すセンサ信号を第３制御部４３０に出力する。

センサ基板３０には、第１Ｉ／Ｆ回路３１０及び信号処理部３３０が搭載される。信号処理部３３０は、第３メモリ３４０及び第３プロセッサ３５０を備える。第１Ｉ／Ｆ回路３１０及び信号処理部３３０は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）により構成してもよい。

第１Ｉ／Ｆ回路３１０は、カメラ基板４０との通信インターフェイスである。第１Ｉ／Ｆ回路３１０は、ケーブルを接続するポートと、通信規格に対応したインターフェイス回路とを備える。

信号処理部３３０は、第３メモリ３４０及び第３プロセッサ３５０を備えるコンピュータ装置である。

第３メモリ３４０は、ＲＯＭ及びＲＡＭを備える。ＲＯＭは、第３プロセッサ３５０が実行する制御プログラム３４５を記憶する。ＲＡＭは、第３プロセッサ３５０の演算領域として使用される。

第３プロセッサ３５０は、ＣＰＵやＭＰＵ等の演算処理装置である。第３プロセッサ３５０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第３プロセッサ３５０は、第３メモリ３４０の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第３プロセッサ３５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第３プロセッサ３５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

信号処理部３３０は、左ドア用測距センサ３１、右ドア用測距センサ３２、引き出し用測距センサ３３及び人感センサ３４から入力される信号に、例えば、Ａ／Ｄ変換等の処理を施し、処理後のデータを第３制御部４３０に出力する。処理後のデータをセンサデータという。

第３通信モジュール４１は、コネクタや通信回路等を備え、Ｗｉ－Ｆｉ（登録商標）等の通信規格に従ってネットワーク１０に接続し、物品管理サーバ８と相互にデータ通信を行う。

冷蔵室用カメラ４２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を備えたカメラである。冷蔵室用カメラ４２は、第３制御部４３０の制御に従って撮像し、撮像により生成した撮像画像を第３制御部４３０に出力する。撮像画像は、静止画像であってもよいし、動画像であってもよい。

図９は、冷蔵室用カメラ４２の撮像画像の一例を示す図である。
冷蔵室用カメラ４２の画角は、引き出し用カメラ４３の画角よりも広い。冷蔵室用カメラ４２の撮像画像には、冷蔵室２１の一部や、左ドア２２や右ドア２３、検出領域ＴＡ等が撮像される。検出領域ＴＡは、冷蔵室２１内の底面においてチルド室２８の前方に形成された前方領域内の領域である。本実施形態の検出領域ＴＡは、前方領域より面積の小さい領域を例示するが、同じ面積でもよい。撮像装置３は、この検出領域ＴＡにおいて、冷蔵庫２に入庫される物品、又は冷蔵庫から出庫される物品を検出する。

図１０は、引き出し用カメラ４３の撮像画像の一例を示す図である。
引き出し用カメラ４３もＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を備えたカメラである。引き出し用カメラ４３も、第３制御部４３０の制御に従って撮像を開始する。引き出し用カメラ４３も撮像画像を生成し、生成した撮像画像を第３制御部４３０に出力する。撮像画像は、静止画像であってもよいし、動画像であってもよい。
図１０には、引き出し用カメラ４３の撮像画像の一例として、冷蔵庫２の庫内から引き出された冷凍室２６を撮像した撮像を示す。

発光装置４４は、ＬＥＤ（Light Emitting Diode）等の発光素子を備え、第３制御部４３０の制御に従って発光又は点灯する。

カメラ基板４０には、第２Ｉ／Ｆ回路４１０及び第３制御部４３０が搭載される。
第２Ｉ／Ｆ回路４１０及び第３制御部４３０は、ＳｏＣにより構成してもよい。

第２Ｉ／Ｆ回路４１０は、センサ基板３０との通信インターフェイスである。第２Ｉ／Ｆ回路４１０は、ケーブルを接続するポートと、通信規格に対応したインターフェイス回路とを備える。

第３制御部４３０は、第４メモリ４４０及び第４プロセッサ４５０を備えるコンピュータ装置である。

第４メモリ４４０は、ＲＯＭ及びＲＡＭを備える。ＲＯＭ及びＲＡＭの図示は省略する。ＲＯＭは、第４プロセッサ４５０が実行する制御プログラム４４１や撮像装置ＩＤ４４３、撮像画像を記憶する。撮像装置ＩＤ４４３は、撮像装置３を一意に特定する識別情報である。

第４プロセッサ４５０は、ＣＰＵやＭＰＵ等の演算処理装置である。第４プロセッサ４５０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第４プロセッサ４５０は、第４メモリ４４０の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第４プロセッサ４５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第４プロセッサ４５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

第３制御部４３０は、制御プログラム４４１を実行することにより、人物存在判定部４５１、開閉判定部４５２、撮像制御部４５３、入出庫判定部４５４、取得部４５５及びデータ生成部４５６として機能する。

人物存在判定部４５１は、人感センサ３４の検出値に基づいて、冷蔵庫２の周辺に人が存在するか否かを判定する。例えば、人物存在判定部４５１は、人感センサ３４の検出値が所定値以上である場合、冷蔵庫２の周辺に人が存在すると判定し、所定値を下回る場合、冷蔵庫２の周辺に人が存在しないと判定する。

開閉判定部４５２は、左ドア用測距センサ３１から入力されるセンサデータに基づき、左ドア２２の状態が開状態であるか否かを判定する。また、開閉判定部４５２は、右ドア用測距センサ３２から入力されるセンサデータに基づき、右ドア２３の状態が開状態であるか否かを判定する。
また、開閉判定部４５２は、引き出し用測距センサ３３から入力されるセンサデータに基づき、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが冷蔵庫２の庫内から引き出された状態であるか否かを判定する。

撮像制御部４５３は、人物存在判定部４５１が冷蔵庫２の周辺に人が存在すると判定した場合、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を開始させる。その後、撮像制御部４５３は、発光装置４４を点灯又は点滅させ、撮像の開始をユーザに通知する。撮像制御部４５３は、人物存在判定部４５１が冷蔵庫２の周辺に人が存在しないと判定した場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の撮像を終了させる。その後、撮像制御部４５３は、発光装置４４を消灯させる。

また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれか一方が開状態である、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の録画を開始させる。撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させる。また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれもが閉状態である、かつ、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが閉状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の録画を終了させる。

なお、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれか一方が開状態であると開閉判定部４５２が判定した場合、冷蔵室用カメラ４２の録画を開始させてもよい。撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させてもよい。また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれもが閉状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２の録画を終了させてもよい。

また、撮像制御部４５３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であると開閉判定部４５２により判定された場合、引き出し用カメラ４３の録画を開始させてもよい。また、撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させてもよい。撮像制御部４５３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが閉状態であると開閉判定部４５２により判定された場合、引き出し用カメラ４３の録画を終了させてもよい。

入出庫判定部４５４は、撮像画像を画像解析して物品である食材や食品、保存容器を検出する。また、入出庫判定部４５４は、検出した物品が冷蔵庫２内に入庫されるのか、冷蔵庫２から出庫されるのかを判定する。

図１１及び図１２を参照しながら撮像画像から物品を検出し、入出庫を判定する処理について説明する。図１１は、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４の境界線を示す図である。以下では、マーカーＭＫが付された物品ＢＰを検出する場合について説明する。

まず、入出庫判定部４５４は、撮像画像に、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４を設定する。第１領域Ｒ１は、撮像画像において、冷蔵室２１に対応する領域である。第２領域Ｒ２は、撮像画像において、左ドア２２に対応する領域である。第３領域Ｒ３は、撮像画像において、右ドア領域２３に対応する領域である。第４領域Ｒ４は、撮像画像において、冷蔵庫２の庫外に対応する領域である。

冷蔵室２１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア２２や右ドア２３の開度が異なっても、撮像画像における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部４５４は、撮像画像の予め設定された範囲を第１領域Ｒ１に設定する。図１１に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。

また、左ドア２２に対応する第２領域Ｒ２や、右ドア２３に対応する第３領域Ｒ３は、ユーザが開閉する左ドア２２や右ドア２３の開度によって領域が変更される。このため、入出庫判定部４５４は、例えば、左ドア２２の第１左ドアポケット２２１～第４左ドアポケット２２７や、右ドア２３の第１右ドアポケット２３１～第４右ドアポケット２３７のエッジを検出する。

入出庫判定部４５４は、検出した第１左ドアポケット２２１～第４左ドアポケット２２７や、第１右ドアポケット２３１～第４右ドアポケット２３７のエッジに基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。
また、第１左ドアポケット２２１～第４左ドアポケット２２７や、第１右ドアポケット２３１～第４右ドアポケット２３７の端部にマーク等を配置してもよい。入出庫判定部４５４は、撮像画像から検出したマークの位置に基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。また、入出庫判定部４５４は、設定した第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３以外の領域を、冷蔵室２１の庫外である第４領域Ｒ４に設定する。図１１に示す境界線５０２が第２領域Ｒ２の境界を示し、境界線５０３が第３領域Ｒ３の境界を示す。

なお、入出庫判定部４５４は、左ドア用測距センサ３１から入力されるセンサデータに基づいて第２領域Ｒ２の範囲を設定してもよい。また、入出庫判定部４５４は、右ドア用測距センサ３２から入力されるセンサデータに基づいて第３領域Ｒ３の範囲を設定してもよい。

入出庫判定部４５４は、撮像画像を画像解析して、物品ＢＰやマーカーＭＫの画像を検出する。入出庫判定部４５４は、撮像画像の検出領域ＴＡに対応する領域から物品ＢＰやマーカーＭＫを検出する。入出庫判定部４５４は、例えば、検出領域ＴＡでの輝度や色の変化に基づいて物品ＢＰやマーカーＭＫを検出する。

また、入出庫判定部４５４は、連続して撮像された撮像画像を画像解析することで、移動する物品ＢＰやマーカーＭＫの軌跡を検出する。
入出庫判定部４５４は、検出したマーカーＭＫの軌跡が、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３のいずれの領域で終了したのかを判定して、物品ＢＰがいずれの領域に入庫されたのかを判定する。また、入出庫判定部４５４は、検出したマーカーＭＫの軌跡が、第４領域Ｒ４で終了した場合、物品ＢＰが冷蔵室２１の庫外に取り出されたと判定する。

図１２は、入出庫判定画像を説明するための図である。
入出庫判定部４５４は、撮像画像に入出庫判定画像ＨＧを重畳させて、物品ＢＰの入庫と、出庫とを判定する。
図１２には、マーカーＭＫが付された物品ＢＰを冷蔵室２１に入庫させるシーンを撮像した撮像画像に、入出庫判定画像ＨＧを重畳した場合を示す。

入出庫判定画像ＨＧは、境界線Ｌ１を有する。
境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の前方に位置する。

入出庫判定画像ＨＧの画像領域は、境界線Ｌ１によって、第１領域ＨＡ１と第２領域ＨＡ２とに分割される。第１領域ＨＡ１は、撮像画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の前方側に対応する。第２領域ＨＡ２は、撮像画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の後方側に対応する。

入出庫判定部４５４は、入出庫判定画像ＨＧが重畳された撮像画像を解析することで、検出領域ＴＡで検出されたマーカーＭＫが、第１領域ＨＡ１に移動したのか、第２領域ＨＡ２に移動したのかを判定する。入出庫判定部４５４は、検出領域ＴＡ内で検出されたマーカーＭＫが第１領域ＨＡ１に移動したと判定した場合、検出した物品ＢＰが冷蔵室２１から出庫された物品ＢＰであると判定する。一方、入出庫判定部４５４は、検出領域ＴＡ内で検出されたマーカーＭＫが第２領域ＨＡ２に移動した場合、検出した物品ＢＰが冷蔵室２１に入庫された物品ＢＰであると判定する。

入出庫判定部４５４は、物品ＢＰが庫内に入庫されたと判定した場合、物品ＢＰが入庫された収容エリアを判定する。入出庫判定部４５４は、撮像画像を解析して、物品ＢＰが入庫された冷蔵室２１の収容エリアを特定する。そして、入出庫判定部４５４は、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。
例えば、冷蔵庫２の棚板２１１、２１３、２１５、２１７の左ドア２２又は右ドア２３の先端や、ドアポケットの各々には、収容エリアを識別するマークが付されている。入出庫判定部４５４は、撮像画像から収容エリアを識別するマークを検出し、検出したマークと、物品ＢＰに付されたマーカーＭＫとの位置関係に基づいて、収容エリアを特定する。

また、入出庫判定部４５４は、物品ＢＰが冷蔵庫２の庫内に再入庫された物品ＢＰであるか否かを判定してもよい。例えば、ユーザＰが使用するために冷蔵庫２から食材を取り出し、取り出した食材の一部を使用して、残った食材を冷蔵庫２に再入庫させる場合や、物品ＢＰである保存容器内に保存した食材を使用し、保存容器内に新たに食材を補充して冷蔵庫２に再入庫させる場合が想定される。

上述の説明では、撮像画像から検出する対象が、マーカーＭＫが付された物品ＢＰである場合について説明したが、マーカーＭＫが付されていない物品である食材や食品であっても、同様で検出することができる。
入出庫判定部４５４は、撮像画像に撮像された画像の色や形状に基づいて食材や食品を検出し、マーカーＭＫが付された物品ＢＰの場合と同様にして、検出した食材や食品が入庫されたのか出庫されたのかを判定する。

取得部４５５は、入出庫判定部４５４が検出したマーカーＭＫを解析して、マーカーＩＤを取得する。マーカーＩＤは、マーカーＭＫに付与されたマーカーＭＫの識別情報である。例えば、マーカーＭＫがＱＲコード（登録商標）等の二次元コードである場合、取得部４５５は、ＱＲコードに含まれるマーカーＩＤを取得する。取得部４５５は、取得したマーカーＩＤを第４メモリ４４０に一時的に記憶させる。

データ生成部４５６は、アップロードデータを生成する。アップロードデータは、物品管理サーバ８にアップロードする対象のデータである。データ生成部４５６は、生成したアップロードデータを物品管理サーバ８に送信する。

アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、物品が入庫されたのか、出庫されたのかを示す情報、入庫日時又は出庫日時、開かれた又は引き出されたドア又は引き出しの情報等が含まれる。物品が入庫された場合の情報を入庫情報といい、物品が出庫された場合の情報を出庫情報という。物品画像は、撮像画像のうち、物品が撮像された範囲を切り出した画像である。

また、物品が、マーカーＭＫが付された物品である場合、アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、入庫日時又は出庫日時、入庫情報又は出庫情、開かれた又は引き出されたドア又は引き出しの情報に加え、マーカーＩＤが含まれる。

また、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品が入庫や出庫されなかった場合、アップロードデータには、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とが含まれる。

［６．撮像装置の動作］
図１３は、撮像装置３の動作を示すフローチャートである。
図１３に示すフローチャートを参照しながら撮像装置３の動作を説明する。
第３制御部４３０は、人感センサ３４のセンサデータに基づき、冷蔵庫２の周辺に人が存在するか否かを判定する（ステップＳＡ１）。

第３制御部４３０は、冷蔵庫２の周辺に人が存在すると判別した場合（ステップＳＡ１／ＹＥＳ）、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を開始させる（ステップＳＡ２）。

次に、第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開状態であるか、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であるか否かを判定する（ステップＳＡ３）。

第３制御部４３０は、左ドア２２及び右ドア２３が開状態ではない、かつ、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが開状態ではない場合（ステップＳＡ３／ＮＯ）、ステップＳＡ１３の処理を行う。

第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開状態である、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態である場合（ステップＳＡ３／ＹＥＳ）、冷蔵室用カメラ４２及び引き出し用カメラ４３が撮像した撮像画像を第４メモリ４４０に記憶させ、撮像画像の記録を開始する（ステップＳＡ４）。

次に、第３制御部４３０は、第４メモリ４４０から撮像画像を読み出し、読み出した撮像画像に基づいて、検出領域ＴＡ内においてマーカー及び物品を検出したか否かを判定する（ステップＳＡ５）。

第３制御部４３０は、検出領域ＴＡ内においてマーカー及び物品を検出したと判定した場合（ステップＳＡ５／ＹＥＳ）、検出したマーカーからマーカーＩＤを読み出す（ステップＳＡ７）。その後、第３制御部４３０は、撮像画像において、物品が撮像された画像である物品画像を切り出す（ステップＳＡ８）。

また、第３制御部４３０は、検出領域ＴＡ内においてマーカーが検出されず、物品だけを検出した場合（ステップＳＡ６／ＹＥＳ）、撮像画像において、物品が撮像された画像である物品画像を切り出す（ステップＳＡ８）。

次に、第３制御部４３０は、第４メモリ４４０に記録した撮像画像に基づいて、入出庫判定を行う（ステップＳＡ９）。第３制御部４３０は、物品が入庫されたと判定した場合、入庫された物品の物品画像と、物品が入庫された収容エリアと、入庫された時刻と、を対応づけて第４メモリ４４０に記憶させる。また、第３制御部４３０は、物品が出庫されたと判定した場合、出庫された物品の物品画像と、出庫された時刻とを対応づけて第４メモリ４４０に記憶させる。
また、第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品の入庫や出庫がなかった場合、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とを第４メモリ４４０に記憶させる。

次に、第３制御部４３０は、開状態のドア及び引き出しが閉状態になったか否かを判定する（ステップＳＡ１１）。第３制御部４３０は、ドア及び引き出しが閉状態になっていないと判定した場合（ステップＳＡ１１／ＮＯ）、処理をステップＳＡ５に移す。

一方、第３制御部４３０は、開状態のドア及び引き出しが閉状態になったと判定した場合（ステップＳＡ１１／ＹＥＳ）、撮像画像の第４メモリ４４０への録画を終了する（ステップＳＡ１２）。

次に、第３制御部４３０は、冷蔵庫２の周辺に人が存在するか否かを判定する（ステップＳＡ１３）。第３制御部４３０は、冷蔵庫２の周辺に人が存在すると判定した場合（ステップＳＡ１３／ＹＥＳ）、処理をステップＳＡ３に移す。

一方、第３制御部４３０は、冷蔵庫２の周辺に人が存在しないと判定した場合（ステップＳＡ１３／ＮＯ）、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を終了させる（ステップＳＡ１４）。

第３制御部４３０は、ステップＳＡ１４の処理を行うと、処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。

［７．撮像装置の動作及び物品管理サーバの動作］
図１４は、物品管理システム１の動作を示すフローチャートである。
図１４において、フローチャートＦＢは撮像装置３の動作を示し、フローチャートＦＣは物品管理サーバ８の動作を示す。

フローチャートＦＢで示すように、第３制御部４３０は、アップロードデータを物品管理サーバ８に送信するトリガーが発生したか否かを判定する（ステップＳＢ１）。アップロードデータを送信するトリガーとして、物品が入庫又は出庫されたと判定され、判定結果を第４メモリ４４０に記憶させたこと、が挙げられる。この他に、冷蔵室用カメラ４２の撮像画像の録画が終了したことや、現在時刻が予め定められた時刻に至ったこと等をトリガーとしてもよい。

第３制御部４３０は、トリガーが発生した場合（ステップＳＢ１／ＹＥＳ）、第４メモリ４４０からアップロードデータを取得する（ステップＳＢ２）。
アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、入庫情報又は出庫情報、入庫日時又は出庫日時、開かれた又は引き出されたドア又は引き出しの情報等が含まれる。また、物品が、マーカーＭＫが付された物品である場合、上記アップロードデータに加え、マーカーＩＤが含まれる。
また、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品が入庫や出庫されなかった場合、アップロードデータには、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とが含まれる。

第３制御部４３０は、生成したアップロードデータを物品管理サーバ８に送信する（ステップＳＢ３）。その後、第３制御部４３０は、ステップＳＢ１の判定に戻る。

次に、物品管理サーバ８の動作を、フローチャートＦＣを参照しながら説明する。物品管理サーバ８の第２制御部８３は、アップロードデータを受信したか否かを判定する（ステップＳＣ１）。

第２制御部８３は、アップロードデータを受信していないと判定した場合（ステップＳＣ１／ＮＯ）、再度、ステップＳＣ１の判定を行う。

一方、第２制御部８３は、アップロードデータを受信したと判定した場合（ステップＳＣ１／ＹＥＳ）、受信したアップロードデータを第２メモリ８５に記憶させ、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれかを更新する（ステップＳＣ２）。なお、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれも更新してもよい。

第２制御部８３は、受信したアップロードデータに含まれる撮像装置ＩＤに対応づけられたアカウント情報９１１を識別情報ＤＢ９１から取得する。
第２制御部８３は、取得したアカウント情報９１１に対応する食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれかを更新する。なお、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれも更新してもよい。

第２制御部８３は、受信したアップロードデータにマーカーＩＤが含まれる場合、物品管理ＤＢ９５を更新する。第２制御部８３は、アップロードデータに含まれるマーカーＩＤ、物品画像、入庫日時又は出庫日時、及び収容エリアを物品管理ＤＢ９５に登録する。

また、第２制御部８３は、受信したアップロードデータにマーカーＩＤが含まれない場合、物品画像から物品を特定し、特定した物品の色情報や栄養素情報を取得する。第２制御部８３は、特定した食材の食材名を食材管理ＤＢ９３の食材名情報９３１に登録する。また、第２制御部８３は、取得した物品の色情報や栄養素情報を、食材管理ＤＢ９３の色情報９３２や、栄養素情報９３３に登録する。さらに、第２制御部８３は、アップロードデータに含まれる物品画像を食材画像９３５に登録し、入庫日時又は出庫日時、及び収容エリアを、それぞれ入庫日時９３４又は出庫日時９３７、収容エリア９３６に登録する。

また、第２制御部８３は、アップロードデータに含まれる、開かれた又は引き出されたドア又は引き出しの情報に基づいて開状態管理ＤＢ９７を更新する。

［８．物品管理サーバの動作］
図１５は、物品管理サーバ８の動作を示すフローチャートである。
物品管理サーバ８の第２制御部８３は、情報処理装置６からアカウント情報を伴ったデータの取得要求があるか否かを判定する（ステップＳＤ１）。第２制御部８３は、データの取得要求がない場合（ステップＳＤ１／ＮＯ）、データの取得要求があるまで処理の開始を待機する。

第２制御部８３は、データの取得要求を受信すると（ステップＳＤ１／ＹＥＳ）、受信したアカウント情報に対応する食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータが更新されたか否かを判定する（ステップＳＤ２）。

第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータに更新がない場合（ステップＳＤ２／ＮＯ）、更新データがない旨を情報処理装置６に通知する（ステップＳＤ４）。なお、更新データがない場合、前回のデータを送信してもよい。

また、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータに更新がある場合（ステップＳＤ２／ＹＥＳ）、更新されたデータを食材管理ＤＢ９３、物品管理ＤＢ９５又は開状態管理ＤＢ９７から取得し、取得したデータを更新データとして情報処理装置６に送信する（ステップＳＤ３）。

［９．アプリ画面７００の構成］
図１６及び図１７は、初期画面７１０Ａ，７１０Ｂの一例を示す図である。
ここで、情報処理装置６のタッチパネル６３に表示されるアプリ画面７００について説明する。
図１６及び図１７は、物品管理アプリ６７５が起動された直後に表示される初期画面７１０Ａ，７１０Ｂを示す。初期画面７１０Ａ，７１０Ｂは、アプリ画面７００に含まれる。

図１６に示す初期画面７１０Ａには、冷蔵庫２の庫内を撮像した撮像画像を表示した例を示す。また、図１７に示す初期画面７１０Ｂには、空の冷蔵庫２の画像に、物品管理サーバ８から取得した物品画像を表示した例を示す。初期画面７１０Ａと初期画面７１０Ｂとは、例えば、メニューボタン７１１の操作により切り替えることができる。以下、初期画面７１０Ａ、７１０Ｂを総称して初期画面７１０と表記する。

なお、初期画面７１０Ａには、左ドア２２のみ開状態となった場合、左ドア２２と冷蔵室２１のうち左ドア２２に対応する領域が撮像された撮像画像を表示してもよい。また、初期画面７１０Ｂには、左ドア２２と冷蔵室２１のうち左ドア２２に対応する領域で更新された物品画像を空の冷蔵庫２の画像に表示してもよい。
同様に、初期画面７１０Ａには、右ドア２３のみ開状態となった場合、右ドア２３と冷蔵室２１のうち右ドア２３に対応する領域が撮像された撮像画像を表示してもよい。また、初期画面７１０Ｂには、右ドア２３と冷蔵室２１のうち右ドア２３に対応する領域で更新された物品画像を空の冷蔵庫２の画像に表示してもよい。

初期画面７１０には、メニューボタン７１１、冷蔵室ボタン７１２、野菜室ボタン７１３、冷凍室ボタン７１４及びレシピ検索ボタン７１５等が表示される。

メニューボタン７１１を押下することで、アプリ画面７００として表示する画面を選択することができる。メニューボタン７１１により選択できるアプリ画面７００には、長期保存通知画面７３０、出し入れ状況画面７５０、開閉状況画面７７０、収容物品画面８２０が含まれる。

冷蔵室ボタン７１２、野菜室ボタン７１３及び冷凍室ボタン７１４は、表示対象を切り替えるボタンである。初期画面７１０において、冷蔵室ボタン７１２が選択されると、表示対象が冷蔵室２１に変更され、野菜室ボタン７１３が選択されると、表示対象が野菜室２７に変更される。また、冷凍室ボタン７１４が押下されると、表示対象が冷凍室２６に変更される。

レシピ検索ボタン７１５は、レシピを検索するボタンである。
レシピ検索ボタン７１５を押下することで、冷蔵庫２に収容された食材が一覧表示される。ユーザが一覧表示された食材から使用したい食材を選択することで、選択された食材を使用した料理を検索することができる。

図１８は、長期保存通知画面７３０を示す図である。長期保存通知画面７３０もアプリ画面７００に含まれる。
長期保存通知画面７３０は、冷蔵庫２に入庫されてから予め設定された期間を経過しても、収容エリアから出庫されない物品の情報を表示する画面である。長期保存通知画面７３０では、出庫されない物品の情報として収容エリアを表示した例を示す。長期保存通知画面７３０には、冷蔵室ボタン７３１、野菜室ボタン７３３、冷凍室ボタン７３５及びエリア表示領域７４０が表示される。冷蔵室ボタン７３１、野菜室ボタン７３３及び冷凍室ボタン７３５は表示対象を切り替えるボタンである。

エリア表示領域７４０には、冷蔵庫２の収容エリアが表示される。冷蔵室ボタン７３１、野菜室ボタン７３３又は冷凍室ボタン７３５を押下することで、エリア表示領域７４０に表示する収容エリアを変更することができる。
エリア表示領域７４０には、冷蔵庫２に収容されてからの経過日数が３０日以上経過した冷蔵庫２の収容エリアが表示される。図１８には、予め設定された期間として３０日が設定された例を示す。予め設定された期間は、ユーザの操作により任意に変更可能である。
図１８に示すエリア表示領域７４０では、冷蔵室２１を、１８個の収容エリアに分割して表示した例を示す。冷蔵室２１の分割数は任意である。
冷蔵室２１内は、Ｘ軸方向で左エリアと右エリアとに分割される。さらに、左エリアは、Ｚ軸方向で５分割され、５分割されたエリアが、それぞれ第１冷蔵室２１Ａ、第２冷蔵室２１Ｂ、第３冷蔵室２１Ｃ、第４冷蔵室２１Ｄ及びチルド室２８に対応する。右エリアも同様に、Ｚ軸方向で５分割され、５分割されたエリアが、それぞれ第１冷蔵室２１Ａ、第２冷蔵室２１Ｂ、第３冷蔵室２１Ｃ、第４冷蔵室２１Ｄ及びチルド室２８に対応する。

左ドア２２のエリアは、第１左ドアポケット２２１、第２左ドアポケット２２３、第３左ドアポケット２２５、第４左ドアポケット２２７に対応して４つのエリアに分割される。
右ドア２３のエリアは、第１右ドアポケット２３１、第２右ドアポケット２３３、第３右ドアポケット２３５、第４右ドアポケット２３７に対応して４つのエリアに分割される。

図１８に示すように、長期保存通知画面７３０では、冷蔵庫２に収容されてからの経過時間が３０日以上経過した物品のある収容エリアが表示される。図１８には、３０日以上等の経過日数を表示した例を示すが、予め設定された図形や記号、マーク等の画像を表示してもよい。

図１９は、出し入れ状況画面７５０を示す図である。出し入れ状況画面７５０もアプリ画面７００に含まれる。
物品管理サーバ８は、物品管理ＤＢ９５に基づき、予め設定された設定期間において、冷蔵庫２に入庫された物品数と、冷蔵庫２から出庫された物品数とを収容エリアごとに計数する。
出し入れ状況画面７５０は、入庫された物品数と出庫された物品数との総数が予め設定された設定値以下の収容エリアの情報を表示する。

出し入れ状況画面７５０には、冷蔵室ボタン７５１、野菜室ボタン７５２、冷凍室ボタン７５３、期間選択ボタン７５４、７５５、単位選択ボタン７５６、７５７、出し入れ状況７６０が表示される。

冷蔵室ボタン７５１、野菜室ボタン７５２及び冷凍室ボタン７５３は、冷蔵室ボタン７１２、野菜室ボタン７１３及び冷凍室ボタン７１４と同様、表示対象を切り替えるボタンである。

期間選択ボタン７５４、７５５は、出し入れ状況７６０を表示する期間を選択するボタンである。期間選択ボタン７５４を選択することで、期間として１ヶ月が選択され、期間選択ボタン７５５を選択することで、期間として１週間が選択される。

単位選択ボタン７５６、７５７は、表示単位を選択するボタンである。単位選択ボタン７５６は、表示単位として１日が選択され、単位選択ボタン７５７は、表示単位として１日を、朝、昼、晩の３つに分割した単位が選択される。朝、昼、晩を分ける時間帯は、ユーザが任意に設定変更することができる。例えば、５時から１０時までを朝に設定し、１１時から１６時までを昼に設置し、１６時から２４時までを夜に設定してもよい。

出し入れ状況７６０は、長期保存通知画面７３０と同様に、冷蔵室２１を、１８個の収容エリアに分割し、分割した各収容エリアの物品の出し入れの情報が表示される。
例えば、冷蔵室ボタン７５１が選択され、期間選択ボタン７５４が選択されて選択期間として１ヶ月が設定され、単位選択ボタン７５６が選択され、表示単位として１日が設定されたと仮定する。この場合、当日を含む過去１ヶ月において、物品が出し入れされた割合が、１８個の収容エリアごとに表示される。
過去１ヶ月において、冷蔵室２１、左ドア２２及び右ドア２３に物品が入庫された回数と、冷蔵室２１、左ドア２２及び右ドア２３から物品が出庫された回数の総和を１００％として、１８個の収容エリアごとの入庫と出庫の回数の割合が表示される。図１９には、すべての収容エリアの割合を表示させたが、割合が予め設定された設定値以下の収容エリアだけを表示させてもよい。

図２０は、開閉状況画面７７０を示す図である。開閉状況画面７７０もアプリ画面７００に含まれる。
開閉状況画面７７０には、期間選択ボタン７７１、７７２、単位選択ボタン７７３、７７４、開閉状況７８０が表示される。

期間選択ボタン７７１、７７２は、開閉状況７８０を表示する期間を選択するボタンである。期間選択ボタン７７１を選択することで、期間として１ヶ月が選択され、期間選択ボタン７７２を選択することで、期間として１週間が選択される。

単位選択ボタン７７３、７７４は、表示単位を選択するボタンである。単位選択ボタン７７３は、表示単位として１日が選択され、単位選択ボタン７７４は、表示単位として１日を、朝、昼、晩の３つに分割した単位が選択される。

開閉状況７８０には、左ドア２２及び右ドア２３の少なくとも一方が開かれた回数のカウント値が表示される。
例えば、期間選択ボタン７７２が選択され、選択期間として一週間が設定され、単位選択ボタン７７４が選択され、表示単位として朝、昼、晩が設定されたと仮定する。この場合、冷蔵室２１、野菜室２７及び冷凍室２６の一週間分の朝、昼、晩ごとの開閉回数が表示される。

物品管理サーバ８は、予め設定された設定期間を経過してもドア又は引き出しの開閉を検出できない場合に、情報処理装置６により報知動作を実行させる。例えば、アプリ実行部６９５にドア又は引き出しの開閉が検出された通常状態とは異なる表示態様で開閉状況画面７７０を表示させてもよい。また、アプリ実行部６９５に、開閉状況画面７７０の表示色を変更させたり、ドア又は引き出しの開閉が検出されないことを初期画面７１０に表示させたりしてもよい。

図２１は、選択画面７９０を示す図であり、図２２及び図２３は、収容物品画面８２０Ａ，８２０Ｂを示す図である。選択画面７９０、収容物品画面８２０Ａ，８２０Ｂもアプリ画面７００に含まれる。
選択画面７９０は、収容物品画面８２０Ｂに表示させる収納エリアを選択する画面である。選択画面７９０には、表示選択ボタン７９１、７９２と、エリア選択表示８００と、決定ボタン８１０とが表示される。

表示選択ボタン７９１、７９２は、冷蔵庫２に収容された物品の画像を表示させるときに、物品の表示態様を選択するボタンである。表示選択ボタン７９１を選択することで、収容日からの経過日数が多い順に物品が表示される。また、表示選択ボタン７９２を選択することで、物品が収容されたエリアを選択することができる。

エリア選択表示８００は、表示選択ボタン７９２が選択された場合に、収容された物品の画像を表示させる収容エリアを選択する画面である。ユーザにより収容エリアの１つが選択され、決定ボタン８１０が押下されることで、図２３に示す収容物品画面８２０Ｂが表示される。

図２２は、収容物品画面８２０Ａを示す図である。
収容物品画面８２０Ａは、冷蔵庫２に入庫されたすべての物品が、入庫日からの経過時間が長い順に表示した画面である。
収容物品画面８２０Ａには、削除ボタン８２１、新規追加ボタン８２３及び物品表示領域８３０が表示される。削除ボタン８２１は、物品表示領域に表示された物品を削除するボタンである。新規追加ボタン８２３は、物品表示領域８３０に物品を新規に登録するボタンである。

物品表示領域８３０には、物品画像８３１、入庫日時８３３、収容エリア情報８３５が表示される。
物品画像８３１は、物品の撮像画像である。入庫日時８３３は、物品画像８３１の物品が冷蔵庫２に入庫された日時を示す。収容エリア情報８３５は、物品が収容された冷蔵庫２の収容エリアを示す。図２２には、収容エリア情報８３５として、冷蔵室２１における収容エリアの位置を示す画像を表示した例を示す。

図２３は、収容物品画面８２０Ｂを示す図である。
収容物品画面８２０Ｂは、エリア選択表示８００で選択された収容エリアに収容された物品を、入庫日からの経過時間が長い順に表示した画面である。
収容物品画面８２０Ｂにも、削除ボタン８２１や、新規追加ボタン８２３が表示される。

収容物品欄８４０にも、物品画像８４１、入庫日時８４３、収容エリア情報８４５が表示される。
物品画像８４１は、物品の撮像画像である。入庫日時８４３は、物品画像８４１の物品が冷蔵庫２に入庫された日時を示す。収容エリア情報８４５は、物品が収容された冷蔵庫２の収容エリアを示す。図２３に示す収容物品画面８２０Ｂの場合、収容エリア情報８４５としてすべて同一の収容エリアが示される。
以下、収容物品画面８２０Ａ、８２０Ｂを総称して収容物品画面８２０と表記する。

［１０．情報処理装置の動作］
図２４は、アプリ実行部６９５の動作を示すフローチャートである。
図２４に示すフローチャートを参照しながらアプリ実行部６９５の動作を説明する。
アプリ実行部６９５は、物品管理アプリ６７５が選択されて動作を開始すると、物品管理サーバ８と通信し、更新のあった更新データを取得する（ステップＳＥ１）。次に、アプリ実行部６９５は、図１６又は図１７に示す初期画面７１０をタッチパネル６３に表示させる（ステップＳＥ２）。

次に、アプリ実行部６９５は、長期保存通知画面７３０が選択されたか否かを判定する（ステップＳＥ３）。アプリ実行部６９５は、長期保存通知画面７３０が選択された場合（ステップＳＥ３／ＹＥＳ）、図１８に示す長期保存通知画面７３０をタッチパネル６３に表示させる（ステップＳＥ４）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻る。

また、アプリ実行部６９５は、長期保存通知画面７３０が選択されていない場合（ステップＳＥ３／ＮＯ）、出し入れ状況画面７５０が選択されたか否かを判定する（ステップＳＥ５）。アプリ実行部６９５は、出し入れ状況画面７５０が選択された場合（ステップＳＥ５／ＹＥＳ）、図１９に示す出し入れ状況画面７５０をタッチパネル６３に表示させる（ステップＳＥ６）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻る。

アプリ実行部６９５は、出し入れ状況画面７５０が選択されていない場合（ステップＳＥ５／ＮＯ）、開閉状況画面７７０が選択されたか否かを判定する（ステップＳＥ７）。アプリ実行部６９５は、開閉状況画面７７０が選択された場合（ステップＳＥ７／ＹＥＳ）、図２０に示す開閉状況画面７７０をタッチパネル６３に表示させる（ステップＳＥ８）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻る。

アプリ実行部６９５は、開閉状況画面７７０が選択されていない場合（ステップＳＥ８／ＮＯ）、収容物品画面８２０が選択されたか否かを判定する（ステップＳＥ９）。アプリ実行部６９５は、収容物品画面８２０が選択された場合（ステップＳＥ９／ＹＥＳ）、図２１に示す選択画面７９０を表示させ、収容エリアごとの物品の表示であるか否かを判定する（ステップＳＥ１１）。

アプリ実行部６９５は、収容エリアごとの表示ではない場合（ステップＳＥ１１／ＮＯ）、図２２に示す収容物品画面８２０Ａを表示させ、冷蔵庫２に入庫されたすべての物品を、入庫日からの経過時間が長い順に表示させる（ステップＳＥ１２）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻る。

また、アプリ実行部６９５は、収容エリアごとの表示である場合（ステップＳＥ１１／ＹＥＳ）、選択画面７９０において、収容エリアの選択を受け付ける（ステップＳＥ１３）。そして、アプリ実行部６９５は、図２３に示す収容物品画面８２０Ｂを表示させ、選択された収容エリアに収容された物品を、入庫日からの経過時間が長い順に表示する（ステップＳＥ１４）。

また、アプリ実行部６９５は、ステップＳＥ９の判定が収容物品画面８２０Ｂの選択ではない場合（ステップＳＥ９／ＮＯ）、受け付けた操作に対応した処理を実行し（ステップＳＥ１０）、ステップＳＥ３の判定に戻る。

［１１．効果等］
以上説明したように物品管理システム１は、撮像装置３と、物品管理サーバ８とを備える。
撮像装置３は、冷蔵庫２の冷蔵室２１内を撮像して撮像画像を生成する。
物品管理サーバ８は、撮像装置３が撮像した撮像画像に基づき、冷蔵室２１に入庫される物品と、物品が収容される冷蔵室２１内の収容エリアと、収容エリアから出庫される物品と、を検出する。
物品管理サーバ８は、検出結果に基づき、物品が冷蔵室２１に入庫された入庫日と、物品が収容された収容エリアと、を第２メモリ８５に記憶させる。
物品管理サーバ８は、入庫日から予め設定された期間を経過しても、収容エリアから出庫されない物品の情報を、情報処理装置６に表示させる。

これによれば、入庫日から予め設定された期間を経過しても、収容エリアから出庫されない物品の情報が情報処理装置６に表示されるため、物品の使い忘れを抑制することができ、物品のロスを低減させることができる。

物品管理サーバ８は、入庫日から予め設定された期間を経過しても、収容エリアから出庫されない物品の収容エリアの情報を情報処理装置６に表示させる。

これによれば、物品の使い忘れを抑制することができ、物品のロスを低減させることができる。また、あまり使用しない収容エリアをユーザに認識させることができる。

物品管理サーバ８は、予め設定された設定期間において、冷蔵庫２に入庫された物品数と、冷蔵庫２から出庫された物品数とを収容エリアごとに計数する。
物品管理サーバ８は、入庫された物品数と出庫された物品数との総数が予め設定された設定値以下の収容エリアの情報を情報処理装置６に表示させる。

これによれば、あまり使用しない収容エリアをユーザに認識させることができる。

物品管理サーバ８は、冷蔵庫２内に入庫された物品の入庫日と、物品が収容された収容エリアを示す画像と、を、物品が冷蔵庫２内に入庫されてからの経過時間順に情報処理装置に表示させる。

これによれば、物品の入庫日や、収容エリア、経過時間をユーザに認識させることができ、物品のロスを低減させることができる。

撮像装置３は、物品管理サーバ８は、冷蔵庫２が備えるドア及び引き出しの少なくともいずれかの開閉状態を検出する左ドア用測距センサ３１、右ドア用測距センサ３２及び引き出し用測距センサ３３を備える。
物品管理サーバ８は、予め設定された設定期間を経過しても左ドア用測距センサ３１、右ドア用測距センサ３２及び引き出し用測距センサ３３によりドア又は引き出しの開閉を検出できない場合に、情報処理装置６に報知動作を実行させる。

これにより、冷蔵庫２のドア及び引き出しの開閉が検出されない場合に、情報処理装置６により報知動作を実行させ、物品の使い忘れを抑制することができる。

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

上述した実施の形態では、本開示の貯蔵庫として冷蔵庫２を例示した。しかしながら、本開示の貯蔵庫は、冷蔵庫２に限定されず、冷凍庫や、常温保存庫などの他の貯蔵庫でもよい。

上述した実施の形態では、本開示の貯蔵室として冷蔵室２１を例示した。しかしながら、本開示の貯蔵室は冷蔵室２１に限定されず、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７でもよい。また、本開示の貯蔵庫が冷蔵庫２以外の貯蔵庫である場合、本開示の貯蔵室は、冷蔵庫２以外の貯蔵庫の貯蔵室に対応する。

図２５を参照しながら撮像画像から物品を検出し、収容エリアを判定する処理について説明する。図２５は、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８の境界線を示す図である。以下では、庫内から引き出された野菜室２７を例に説明する。

入出庫判定部４５４は、撮像画像を解析して、物品が入庫された野菜室２７の収容エリアを特定する。例えば、第５領域Ｒ５に収容されている物品の収容エリアは、第５領域Ｒ５であると判定する。また、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８も同様に判定する。即ち、野菜室２７全体を撮像した一枚の画像から収容エリアを特定する。これにより、物品管理システム１はシステム構成が簡素となる。
なお、物品管理サーバ８の処理部８７１が収容エリアを特定してもよい。この構成の場合、野菜室２７の撮像画像を撮像装置３から物品管理サーバ８に送信し、受信した撮像画像に基づき、処理部８７１が収容エリアを特定し、食材管理ＤＢ又は物品管理ＤＢに収容エリアを登録する。
なお、野菜室２７を２つの領域等、任意の領域に分割してもよい。

上述した実施の形態では、人物存在判定部４５１が人感センサ３４の検出値に基づいて、冷蔵庫２の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部４５１は、人感センサ３４の代わりに、照度センサや、冷蔵庫２の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫２と撮像装置３とが通信可能であり、冷蔵庫２は、静電センサの検出値を撮像装置３に送信する。

他の実施の形態では、冷蔵室用カメラ４２及び引き出し用カメラ４３は、一つのカメラとして構成されていてもよい。この構成の場合、冷蔵庫２の扉の開閉状況により、カメラの画角を変更してもよい。これにより、撮像装置３は複数のカメラを具備する必要がなくシステム構成が簡易となる。

他の実施の形態では、情報処理装置６が制御装置として動作してもよい。この構成の場合、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７のデータを情報処理装置６が記憶する。情報処理装置６は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７のデータを、上述した物品管理サーバ８と同様に適宜更新する。これにより、物品管理システム１は物品管理サーバ８を具備する必要がなくシステム構成が簡易となる。

他の実施の形態では、冷蔵庫２の箱体２０に形成される部屋の種類は、冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６、及び野菜室２７以外の収容室があってもよいし、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室２１の前面の開口部に設けられるドアの数は、１つでもよい。

また、第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成される。

図１及び図５に示した撮像装置３、情報処理装置６及び物品管理サーバ８の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、撮像装置３、情報処理装置６及び物品管理サーバ８の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。

第２制御部８３が実行する制御プログラム８５１は、可搬型の情報記録媒体に制御プログラム８５１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Universal Serial Bus）メモリやＳＳＤ（Solid State Drive）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。

第１プロセッサ６９、第２プロセッサ８７、第３プロセッサ３５０及び第４プロセッサ４５０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。これらプロセッサは、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、これらプロセッサは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成されてもよい。

図１に示した情報処理装置６及び物品管理サーバ８の構成、及び図７に示した撮像装置３の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。

図１３、図１４、図１５及び図２４に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように、本発明に係る冷蔵庫、及び貯蔵庫は、貯蔵庫の庫内状況が写る撮影画像を使用する用途に利用可能である。

１ 物品管理システム
２ 冷蔵庫
３ 撮像装置
６ 情報処理装置
８ 物品管理サーバ
１０ ネットワーク
２０ 箱体
２１ 冷蔵室
２２ 左ドア
２３ 右ドア
３０ センサ基板
３１ 左ドア用測距センサ
３２ 右ドア用測距センサ
３３ 引き出し用測距センサ
３４ 人感センサ
３５ センサ基板
４０ カメラ基板
４１ 第３通信モジュール
４２ 冷蔵室用カメラ
４３ 引き出し用カメラ
４４ 発光装置
６１ 第１通信モジュール
６３ タッチパネル
６５ 第１制御部
６７ 第１メモリ
６９ 第１プロセッサ
８１ 第２通信モジュール
８３ 第２制御部
８５ 第２メモリ
８７ 第２プロセッサ
９１ 識別情報データベース
９３ 食材管理データベース
９５ 物品管理データベース
９７ 開状態管理データベース
３１０ 第１Ｉ／Ｆ回路
３３０ 信号処理部
３４０ 第３メモリ
３４５ 制御プログラム
３５０ 第３プロセッサ
４１０ 第２Ｉ／Ｆ回路
４３０ 第３制御部
４４０ 第４メモリ
４４１ 制御プログラム
４４３ 撮像装置ＩＤ
４５０ 第４プロセッサ
４５１ 人物存在判定部
４５２ 開閉判定部
４５３ 撮像制御部
４５４ 出庫判定部
４５５ 取得部
４５６ データ生成部
４５９ 第４プロセッサ
６７５ 物品管理アプリ
６９５ アプリ実行部
７００ アプリ画面

Claims (7)

1. 貯蔵庫の貯蔵室内を撮像して撮像画像を生成し、前記撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出する撮像装置と、
   前記撮像装置の検出結果に基づき、前記貯蔵室内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させる制御装置と、
   を備える、物品管理システム。
2. 前記制御装置は、前記貯蔵室内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の収容エリアの情報を前記情報処理装置に表示させる、請求項１記載の物品管理システム。
3. 前記制御装置は、予め設定された設定期間において、前記貯蔵庫に入庫された物品数と、前記貯蔵庫から出庫された物品数とを前記収容エリアごとに計数し、
   前記入庫された物品数と前記出庫された物品数との総数が予め設定された設定値以下の収容エリアの情報を前記情報処理装置に表示させる、請求項１又は２記載の物品管理システム。
4. 前記制御装置は、前記貯蔵庫内に入庫された物品の入庫日と、前記物品が収容された収容エリアを示す画像と、を、前記物品が前記貯蔵庫内に入庫されてからの経過時間順に前記情報処理装置に表示させる、請求項１から３のいずれか一項に記載の物品管理システム。
5. 前記撮像装置は、前記貯蔵庫が備えるドア及び引き出しの少なくともいずれかの開閉状態を検出する開閉センサを備え、
   前記制御装置は、予め設定された設定期間を経過しても前記開閉センサにより前記ドア又は引き出しの開閉を検出できない場合に、前記情報処理装置に報知動作を実行させる、請求項１から４のいずれか一項に記載の物品管理システム。
6. 貯蔵庫の貯蔵室内を撮像するステップと、
   撮像された撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出するステップと、
   前記貯蔵室内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させるステップと、
   を有する、物品管理方法。
7. コンピュータに、
   貯蔵庫の貯蔵室内を撮像した撮像画像に基づき、前記貯蔵室に入庫される物品と、前記物品が収容される前記貯蔵室内の収容エリアと、前記収容エリアから出庫される物品と、を検出する手順と、
   前記貯蔵庫内に入庫されてから予め設定された期間を経過しても、前記収容エリアから出庫されない物品の情報を、情報処理装置に表示させる手順と、
   を実行させる、プログラム。

Images