JP2016057022A - 食材管理システム - Google Patents

Abstract

【課題】食材の詳細な情報と共に庫内の情報を提供できる食材管理システムを提供する。
【解決手段】実施形態の食材管理システムは、複数の食材が収納されている収納庫の内部に設けられ収納庫の内部を時系列に撮像する撮像部と通信的に接続され、撮像部によって時系列に撮像され、撮像された日時と関連付けられた複数の画像データを取得し、複数の画像データから複数の食材の各々の収納庫に収納された日時を検出し、収納された日時の画像と現在の画像と並べた画像情報を出力する画像処理装置、を備える。
【選択図】図１

Description

本発明の実施形態は、食材管理システムに関する。

食品を管理するシステムとして、冷蔵庫の庫内カメラで庫内の写真を撮影して、ユーザに提供するシステムがある。このシステムにおいて、庫内カメラはドアの開閉時に写真を撮像する。このシステムにおいて、撮像された写真は、携帯端末等に送信され、ユーザは、庫内の中身を確認することができる。しかし、このようなシステムでは、携帯端末に庫内の写真が送られるのみであり、食材の詳しい情報を得ることができない。また、庫内カメラが写真を撮るタイミングがドアの開閉時であり、食材の出し入れ等が行われない場合にも庫内の写真の撮影が実行される。

特開２００２−２４３３３５号公報

本発明が解決しようとする課題は、食材の詳細な情報と共に庫内の情報を提供できる食材管理システムを提供することである。

本実施形態に係る食材管理システムは、複数の食材が収納されている収納庫の内部に設けられ収納庫の内部を時系列に撮像する撮像部と通信的に接続され、撮像部によって時系列に撮像され、撮像された日時と関連付けられた複数の画像データを取得し、複数の画像データから複数の食材の各々の収納庫に収納された日時を検出し、収納された日時の画像と現在の画像と並べた画像情報を出力する画像処理装置、を備える。

図１は、第１の実施形態に係る食材管理システムの構成を示す図である。 図２Ａは、撮像部の構成を示すブロック図である。 図２Ｂは、センサの構成を示すブロック図である。 図３は、食材庫の模式図である。 図４は、食材管理システム上のサーバの基本的な構成を示すブロック図である。 図５は、第１のサーバの構成を示すブロック図である。 図６は、第６のサーバの構成を示すブロック図である。 図７は、第７のサーバの構成を示すブロック図である。 図８は、第８のサーバの構成を示すブロック図である。 図９は、第１の実施形態の食材管理システムのフローチャートである。 図１０は、食材管理システムのアプリケーションの動作を示す模式図である。 図１１は、食材管理システムのアプリケーションのメニュー画面を示す図である。 図１２は、食材管理システムのアプリケーションの庫内状況確認の画面を示す図である。 図１３は、庫内状況を確認における野菜室の画面を示す図である。 図１４は、食材管理システムのアプリケーションの鮮度情報の画面を示す図である。 図１５は、野菜の鮮度情報の画面を示す図である。 図１６は、食材管理システムのアプリケーションの放置品の確認の画面を示す図である。 図１７は、冷蔵庫の放置品の確認の画面を示す図である。 図１８は、食材管理システムのアプリケーションのレシピの画面を示す図である。 図１９は、レシピ検索の結果の画面を示す図である。 図２０は、食材管理システムのアプリケーションの食材消費率ランキングの画面を示す図である。 図２１は、食材管理システムのアプリケーションの食材放置率ランキングの画面を示す図である。 図２２は、食材管理システムのアプリケーションの庫内整理アドバイスの画面を示す図である。 図２３は、第１の実施形態の変形例の食材管理システムの模式図である。 図２４は、データ収集部の構成を示すブロック図である。

以下、図面を参照して実施形態の説明をする。
（第１の実施形態）
図１は、第１の実施形態に係る食材管理システムの構成を示す図である。本実施形態の食材管理システム１は、複数の食材庫（収納庫）１００と、複数のサーバ（以下、サーバ）２０１〜２１１と、ネットワーク（インターネット）３００とで構成される。食材管理システム１上のサーバ群（２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８、２０９、２１０、２１１）は、互いにインターネット３００を介して接続され、クラウドサーバを構築している。サーバ２０１〜２１１は、夫々、インターネット３００を介して互いに信号の送受信を実行する。食材管理システム１には、外部端末、例えば、携帯情報端末４００や情報端末５００がインターネット３００を介してアクセスできる。携帯情報端末４００及び情報端末５００等の外部端末は、表示画面に画像を表示することができる。携帯情報端末４００は、例えば、スマートフォン、携帯電話、ノートパソコン及びタブレット等であり、情報端末５００は、例えば、パーソナルコンピュータ等である。なお、サーバ２０１〜２０６を、夫々、第１のサーバ（データ収集サーバ）２０１、第２のサーバ（ウェブサーバ）２０２、第３のサーバ（管理サーバ）２０３、第４のサーバ（個人情報管理サーバ）２０４、第５のサーバ（情報管理サーバ）２０５、及び第６のサーバ（画像処理サーバ）２０６と称する。さらに、サーバ２０７〜２１１を、夫々、第７のサーバ（放置品管理サーバ）２０７、第８のサーバ（鮮度判定サーバ）２０８、第９のサーバ（レシピ収集サーバ）２０９、第１０のサーバ（ランキング生成サーバ）２１０、及び第１１のサーバ（整理情報収集サーバ）２１１と称する。

食材庫１００は、食材やその他の物品を保管するための倉庫等である。例えば、食材庫１００は、冷蔵庫などである。以下で、食材庫１００は、冷蔵庫として記載する。食材庫１００には、複数の撮像部（以下、撮像部）１０と、複数のセンサ（以下、センサ）２０とが設置されている。なお、食材庫１００に収納される物品を総称して食材と称する。

図２Ａは、撮像部１０の構成を示すブロック図である。図２Ｂは、センサ２０の構成を示すブロック図である。
撮像部（撮像機器）１０は、例えば、小型のカメラ等である。撮像部１０は、第１のサーバ２０１の指示に従って食材庫１００内部の画像を撮像し、撮像した画像データを第１のサーバ２０１へ送信する。図２Ａに示すように、撮像部１０は、撮像素子１１と、映像処理部１２と、送受信部１３と、発光部１４とを備える。撮像素子１１、送受信部１３、及び発光部１４の各々は、映像処理部１２に接続されている。撮像素子１１は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。映像処理部１２は、撮像素子１１で取得した画像信号（画像データ）の処理、撮像素子１１における撮像の制御、及び発光部１４の発光の制御等を実行する。送受信部１３は、外部機器、例えば、第１のサーバ２０１との信号の送受信を無線及び有線通信によって実行する。発光部１４は、食材庫１００の内部で画像を取得する際に映像処理部１２の指示に従って発光する。発光部１４は、例えば、フラッシュ等を発生させる発光装置である。

センサ２０は、例えば、重量センサ、加速度センサ、温度センサ、及び臭いセンサ等である。センサ２０は、第１のサーバ２０１の指示に従って食材庫１００の内部における被測定量を測定し、被測定量のデータを第１のサーバ２０１へ送信する。図２Ｂに示すように、センサ２０は、検出部２１と、電子回路部及び変換部等を備える制御部２２と、送受信部２３とを備える。検出部２１及び送受信部２３の各々は、制御部２２に接続されている。検出部２１は、第１のサーバ２０１の指示に従って被測定量を検出する。制御部２２は、検出した被測定量の信号の増幅、変換する。送受信部２３は、第１のサーバ２０１との信号の送受信を無線又は有線通信によって実行する。

図３は、食材庫１００の模式図である。例えば、食材庫１００は、冷蔵庫１００ａと、野菜室１００ｂと、冷凍庫１００ｃとを備える。冷蔵庫１００ａ、野菜室１００ｂ、及び冷凍庫１００ｃは、それぞれ、内部に棚等を備えていてもよい。食材庫１００は、冷蔵庫１００ａ、野菜室１００ｂ、及び冷凍庫１００ｃの各々に扉（ドア）が設置されている。食材庫１００において、扉を開ける方向を手前側、反対側の食材を収納する側を奥側と表現する。また、冷蔵庫１００ａの方向を上側、反対の冷凍庫１００ｃ側を下側と表現する。撮像部１０及びセンサ２０は、冷蔵庫１００ａと、野菜室１００ｂと、冷凍庫１００ｃとの各々に少なくとも１つ設置される。

本実施形態において、撮像部１０は、好適には食材庫１００の内部を全て撮像できる場所に設置される。例えば、撮像部１０は、食材庫１００の各部（冷蔵庫１００ａ、野菜室１００ｂ、及び冷凍庫１００ｃ）の扉の内側の中央部に設置される。

本実施形態において、センサ２０は、複数の重量センサ（以下、重量センサ）２０ａと、温度センサ２０ｂとを含む。重量センサ２０ａは、夫々、食材庫１００内の各部の底部、及び各引き出し等に設置される。重量センサ２０ａは、それぞれの設置部分の重量を測定する。例えば、重量センサ２０ａは、冷蔵庫１００ａ、野菜室１００ｂ、及び冷凍庫１００ｃの各々の棚の下側の底部に設置される。重量センサ２０ａは、食材庫１００の内部の各部の重量が変化する毎に重量の変化を感知する。

温度センサ２０ｂは、食材庫１００の各部の食材の移動による温度変化を検出できる位置に設置される。例えば、温度センサ２０ｂは、食材庫１００の各部の奥側の壁部の中央付近に設置される。温度センサ２０ｂは、食材庫１００の温度が変化する度に温度変化を感知する。

図４は、サーバ２０１〜２１１の基本的な構成を示すブロック図である。
サーバ２０１〜２１１は、基本的な構成として少なくとも、ＣＰＵ２２１、ノースブリッジ２２２、メモリ２２３、サウスブリッジ２２４、ＢＩＯＳ−ＲＯＭ２２５、記録装置（記録部）２２６、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２３２、ネットワーク制御部２４２等を備える。ＥＣ／ＫＢＣ２３２は、例えば、ＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス２３１を介してサウスブリッジ２２４と接続する。また、ネットワーク制御部２４２は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス２４１を介してサウスブリッジ２２４と接続する。ＥＣ／ＫＢＣ２３２には、キーボードやマウス等の入力部２３３が接続される。

ＣＰＵ２２１は、動作を制御するメインプロセッサである。ＣＰＵ２２１は、記録装置２２６からメモリ２２３にロードされる、オペレーティングシステム、各種アプリケーションプログラム及びユーティリティプログラム等を実行する。

ノースブリッジ２２２は、ＣＰＵ２２１のローカルバスとサウスブリッジ２２４との間を接続する。また、ノースブリッジ２２２には、メモリ２２３を制御するメモリコントローラも内蔵されている。

サウスブリッジ２２４は、例えば、ＰＣＩバス２４１やＬＰＣバスに接続された各種Ｉ／Ｏデバイスを制御するためのＩ／Ｏコントローラとして機能する。サウスブリッジ２２４は、記録部２２６を制御するＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）を含む。ＢＩＯＳ−ＲＯＭ２２５も、サウスブリッジ２２４によってアクセスが制御される。ＢＩＯＳ−ＲＯＭ２２５は、例えば、システムＢＩＯＳを電気的に書き換え可能に格納するフラッシュＲＯＭである。

記録部２２６は、取得した画像や検出データ等の各種情報と、アプリケーションプログラム及びユーティリティプログラム等の各種プログラムと、オペレーティングシステム等のシステムとが記録されている。記録部２２６には、各種サーバの役割によって異なる情報が記録される。
ＥＣ／ＫＢＣ２３２は、電源管理のためのエンベッドコントローラと、入力部２３３等を制御するキーボードコントローラとが集積された１チップマイクロコンピュータである。

ネットワーク制御部２４２は、ネットワーク（インターネット）３００を介して他のサーバやクライアント等との間のデータ通信（情報の受け渡し及び制御信号の送受信）を制御する。ネットワーク制御部２４２が、ネットワークと接続する場合には、有線であっても、無線であってもよい。

以下で、夫々のサーバの構成について詳細に説明するが、前述のサーバ２０１〜２１１の基本的構成と同等の構成については、同一の参照符号を付し、その詳細な説明を省略する。

図５は、第１のサーバ２０１の構成を示すブロック図である。
第１のサーバ２０１は、食材庫１００に設置された撮像部１０及びセンサ２０から各種データを取得し、食材管理システム1上の他のサーバ、外部端末、例えば、携帯情報端末４００及び情報端末５００へ取得したデータを送信するサーバである。以下で、第１のサーバ２０１は、データ取得サーバ２０１と表記する。

データ取得サーバ（制御装置）２０１は、近距離通信部２４３をさらに備えている。近距離通信部２３３は、外部端末と有線及び無線通信を実行する。

データ取得サーバ２０１において、ＣＰＵ２２１は、データ取得部２２１ａと、データひも付け（関連付け）部２２１ｂとを有する。
データ取得部２２１ａは、撮像部１０及びセンサ２０に、画像及び各種データ（状態情報）の取得を指示する信号を送信し、撮像部１０及びセンサ２０から状態情報を取得する。

データ取得部２２１ａは、定期的に及び任意で状態情報を取得する。データ取得部２２１ａは、取得した重量、温度データ及び食材庫内の明るさの変化を検知して、状態情報を取得するタイミングであるかを判断することもできる。状態情報を取得するタイミングを撮像部１０及びセンサ２０に指示するために、データ取得部２２１ａは、重量、温度データ、及び食材庫内の明るさに関連する値のデータを随時取得する。

以下で、データ取得部２１１ａが状態情報を取得するタイミングについていくつかの例を示す。
データ取得部２２１ａは、毎日、設定された時刻に状態情報を取得する。状態情報を所得する時刻は、携帯情報端末４００及び情報端末５００から設定することができる。

データ取得部２２１ａは、食材庫１００の扉が開けられる又は閉められるタイミング毎に状態情報を取得する。ここで、食材庫１００の扉が開閉の判断については、データ取得部２２１ａが、庫内の温度の急激な変化や明るさの変化等で判断する。庫内の明るさの変化については、データ取得部２２１ａが撮像部１０を用いて検知できる。

データ取得部２２１ａは、開閉前後で基準値以上の食材庫１００内の各部の重量や温度の変化を重量センサ２０ａ及び温度センサ２０ｂが検知した際に状態情報を取得する。例えば、データ取得部２２１ａは、食材庫１００内の現時点の重量の値を重量センサ２０ａから取得し、その重量の基準値とする。また、データ取得部２２１ａは、食材庫１００の扉の開閉で生じる温度変化の値を取得し、その扉の開閉で生じる温度変化を基準値とする。データ取得部２２１ａは、これら基準値と検出された値を比較することによって食材庫１００内で食材の出し入れが行われたことを検出する。また、データ取得部２２１ａは、食材庫１００の各部の重量及び温度が変化する毎に状態情報を取得してもよい。なお、食材庫１００内で食材の出し入れが行われた際には、データ取得部２２１ａは、外部端末に出し入れが行われたことを通知することができる。

データ取得部２２１ａは、第１のサーバ２０１を介して外部端末からの指示に従って状態情報を取得し、外部端末に送信することができる。すなわち、ユーザは、状態情報を任意のタイミングで取得することができる。

以上で示したタイミング以外でも、データ取得部２２１ａは、センサ２０の種類によって、状態情報を取得するタイミングが追加されてもよいし、食材管理システム１内の他のサーバの信号を受けて状態情報を取得し、取得したデータを送信することもできる。

また、データ取得部２２１ａは、外部端末の要求に応じて食材管理システム１上の他のサーバから過去のデータなどを取得し、それらのデータを外部端末に提供することもできる。この場合、データ取得部２２１ａは、外部端末が食材管理システム１上に登録されているかを確認する。

データひも付け部２２１ｂは、データ取得部２２１ａによって取得された状態情報と、時刻情報及び識別情報とをひも付けをする。データひも付け部２２１ｂは、時刻情報及び識別情報を食材管理システム１上の他のサーバから取得する。ここで、時刻情報は、例えば、各種データを撮像した時刻である。識別情報は、食材庫１００のユーザの個人情報又はこれに付与される識別番号等である。識別情報において、個人情報は、ユーザによって食材管理システム１上に登録される。識別情報おいて、識別番号は、ユーザによって食材管理システム１上に登録された後に食材管理システム１上で付与される。例えば、識別番号は、後述する第４のサーバ２０４が付与するように食材管理システム１が構築されていてもよい。データひも付け部２２１ｂは、ひも付けをした状態情報を食材管理システム１上の他のサーバ（第５のサーバ２０５）、外部端末にインターネット３００を介して送信する。データひも付け部２２１ｂは、ひも付けされた各種データを記録装置２２６に一時的に記録することもできる。

第２のサーバ２０２は、ウェブサーバであり、クライアントソフトウェアのウェブブラウザに対して、ＨＴＭＬやオブジェクト（画像等）の表示を提供するサービスプログラムを動作させるサーバである。以下で、第２のサーバ２０２は、ウェブサーバ２０２と表記する。本実施形態において、ウェブサーバ（ウェブ装置）２０２は、食材管理システム１によるサービスを外部端末にインターネット３００を介して提供する。また、ウェブサーバ２０２は、食材管理システム１によるサービスを提供するためのアプリケーションが記憶部２２６に保存されている。ウェブサーバ２０２は、外部端末の要求に応じてアプリケーションを提供する。外部端末は、ウェブサーバ２０２の提供するウェブページ、又はアプリケーションを介してのみ食材管理システム１にアクセスできる。ウェブサーバ２０２は、外部端末から食材管理システム１へのアクセス要求があった場合には、食材管理システム１上にその外部端末が登録されているかを後述する第４のサーバ（個人情報管理サーバ）２０４に確認する。

第３のサーバ２０３は、食材管理システム１のシステムを管理するサーバである。以下で、第３のサーバ２０３は、管理サーバ２０３と表記する。例えば、管理サーバ（管理装置）２０３は、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ Ｓｅｒｖｅｒ）サーバ、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）サーバ、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）サーバ、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ等を含み、他のサーバ及び外部端末の間とのアクセスの管理や、各種データの送受信の認証の管理等を実行する。なお、管理サーバ２０３は、サーバの役割ごとに別々のハードウェアに実装されてもよい。管理サーバ２０３は、外部端末等の外部システムからのアクセスに対しては完全に閉じられている。

第４のサーバ２０４は、食材庫１００を所有するユーザの個人情報を管理するサーバである。以下で、第４のサーバ２０４は、個人情報管理サーバ２０４と表記する。個人情報管理サーバ（個人情報管理装置）２０４は、ユーザよって登録された個人情報を管理するサーバである。また、個人情報管理サーバ２０４は、食材管理システム１上で各種データの関連性を管理し、秘匿性を維持するために、ユーザが個人情報等を登録した際に識別番号をユーザ毎に付与する。個人情報は、ユーザの性別、年齢、所在地域、使用している食材庫１００の情報、使用している撮像部１０、使用しているセンサ２０、使用する外部端末、よく使用する食材等、及び識別番号等である。個人情報管理サーバ２０４は、インターネット３００に接続されているが基本的に非公開であり、食材管理システム１内でのみ情報の送受信が許可されている。個人情報の公開及び非公開がユーザによって設定される。ユーザが個人情報の公開及び非公開を設定する場合には、前述のウェブサーバ２０２を介して設定変更が実行される。

第５のサーバ２０５は、取得された状態情報と、食材庫１００内に収納されている食材の名称、種類、数量、入庫日、及び出庫日等の食材情報とを管理するサーバである。以下で、第５のサーバ２０５は、情報管理サーバ２０５と表記する。情報管理サーバ（情報管理装置）２０５は、データ収集サーバ２０１で取得された状態情報及び食材庫１００内に収納されている食材情報を時系列でユーザ毎に管理する。情報管理サーバ２０５は、状態情報、時間、食材の種類、食材の名称、食材の数量、及び識別番号等を並べたテーブルを保持する。情報管理サーバ２０５は、インターネット３００に接続されているが基本的に非公開であり、食材管理システム１内でのみ情報の送受信が許可されている。

図６は、第６のサーバ２０６の構成を示すブロック図である。
第６のサーバ２０６は、さらにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２７を有する。ＧＰＵ２２７は、画像データの処理を行う集積回路である。なお、ＧＰＵ２２７は、ＣＰＵ２２１に組み込まれていてもよい。

第６のサーバ２０６は、情報管理サーバ２０５から状態情報を取得して、画像認識、物体識別、及び画像加工等の処理を実行するサーバである。第６のサーバ２０６は、画像処理した画像データをユーザ毎に情報管理サーバ２０５の記録装置２２６に保存する。以下で、第６のサーバ２０６は、画像処理サーバ２０６と表記する。画像処理サーバ（画像処理装置）２０６のＣＰＵ２２１は、識別部２２１ｃと、変化検出部２２１ｄとを含む。画像処理サーバ２０６は、インターネット２００を介して食材管理システム１上の他のサーバ、及び外部端末の要求に応じて食材の画像処理の結果のデータを送信する。

識別部２２１ｃは、時系列に保持されている画像群において所定の時刻間における画像データから夫々の食材を認識し、識別する。ここで、所定の時刻間は、ユーザによって設定される時間である。識別部２２１ｃは、画像データから食材を認識し、食材の種類を識別する。識別部２２１ｃは、食材庫１００内に収納されている全ての食材を識別する。識別部２２１ｃは、所定の時刻間に画像に新たな食材が出現した場合には食材が入庫されたと判断する。また、識別部２２１ｃは、所定の時刻間で画像から食材が消失した場合には食材が出庫されたものと判断する。識別部２２１ｃは、個別に対象とする食材を決定し、個々に食材の種類等を判断する処理を収納されている全ての食材に対して繰り返す。なお、識別部２２１ｃは、任意に識別する食材を設定することもできる。

識別部２２１ｃは、食材管理システム１以外のサーバから食材の種類に関係する画像データと、その画像データの食材の名称及び種類（種別情報）等を収集し、画像処理サーバ２０６の記録装置２２６に保持している。識別部２２１ｃは、保持している種別情報と新たに食材庫１００に入庫された食材とを比較して、食材を識別する。識別部２２１ｃは、保持している種別情報から食材を識別できない場合には、インターネット３００を介して外部端末に食材の名称等の入力を求める信号を送信する。識別部２２１ｃは、食材の名称、識別した食材の種類、数量、入庫日、及び出庫の有無等を情報管理サーバ２０５へ送信する。

識別部２２１ｃは、所定の時刻間で移動した食材等を画像データから識別する。食材が所定の時刻間で食材庫１００から取り出され、画像上で変化のない状態で戻されている場合には、識別部２２１ｃは、取り出される前と取り出された後とで同一の食材であると推定する。食材の一部のみ使用されて再度食材庫１００内に戻された場合には、識別部２２１ｃは、状態情報から表面の色や部分的特徴を取得し、同一の食材であるかどうかを推定する。

変化検出部２２１ｄは、所定の時刻間における画像データから食材の変化を検出する。例えば、変化検出部２２１ｄは、状態情報から食材庫１００内の食材の配置、食材の形状の変化、及び食材の色の変化を検出する。変化検出部２２１ｄは、重量センサ２０ａの重量が変更される度に、又は温度センサ２０ｂの値が変化する度に取得した画像の変化を検出することもできる。

図７は、第７のサーバ２０７の構成を示すブロック図である。
第７のサーバ２０７は、さらにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２７を有する。ＧＰＵ２２７は、画像データの処理を行う集積回路である。なお、ＧＰＵ２２７は、ＣＰＵ２２１に組み込まれていてもよい。

第７のサーバ２０７は、画像処理サーバ２０６の画像処理の結果を取得し、画像処理の結果を使用して放置品を判断し、食材庫１００の放置品を管理するサーバである。以下、第７のサーバ２０７は、放置品管理サーバ２０７と表記する。放置品管理（放置品管理装置）サーバ２０７のＣＰＵ２２１は、放置品検出部２２１ｅと、放置品管理部２２１ｆとを有する。

放置品検出部２２１ｅは、画像処理サーバ２０６による画像処理の結果、データ取得サーバ２０１、及び情報管理サーバ２０５等からデータを取得して、食材庫１００内に長期間放置されている放置品を検出する。
はじめに、放置品検出部２２１ｅは、食材の移動について判断する。放置品検出部２２１ｅは、食材庫１００の重量の変化、移動の時間、及び画像処理の結果等の判断要因から食材の移動について判断する。放置品検出部２２１ｅは、食材庫１００内に収納されている全ての食材について放置品であるかを検出する。放置品検出部２２１ｅは、個別に対象とする食材を決定し、個々に放置品であるかを判断する処理を全ての食材に対して繰り返す。なお、放置品検出部２２１ｅは、任意に放置品であるかを判断する食材を設定することもできる。放置品検出部２２１ｅは、食材の移動を判断するために、一定期間内における画像処理の結果を画像処理サーバ２０６から取得する。さらに、放置品検出部２２１ｅは、取得した画像データにひも付けられた状態情報を情報管理サーバ２０５から取得する。ここで、一定期間は、ユーザによって設定される期間である。例えば、一定期間とは、１週間や１ヶ月等の期間である。

放置品検出部２２１ｅの食材の移動に関連する判断について以下で説明する。
画像処理の結果から、食材が全く移動していないと推定されている場合、且つ食材庫１００の重量が変化していない場合には、放置品検出部２２１ｅは、食材が移動していないと判断する。

画像処理の結果から食材が所定の時刻間に外部に取り出されたが、同一の状態で食材庫１００内に戻されていると推定されている場合、且つ取り出し前と取り出し後で重量に変化がない場合には、放置品検出部２２１ｅは、食材は移動していないものとして判断する。

画像処理の結果から食材が一部だけ使用されて食材庫１００内に戻されていると推定されている場合には、移動の時間と画像とから外部端末の指示に従って、放置品検出部２２１ｅが使用前の食材と使用後の食材とを同一の食材として関連付けることもできる。この場合、放置品検出部２２１ｅは、画像処理サーバ２０６から使用された食材の候補となる複数の食材の画像データを取得する。放置品検出部２２１ｅは、外部端末の要求に応じて使用された食材の候補となる複数の食材の画像データを外部端末に送信する。候補となる複数の食材の画像データから使用前の食材と使用後の食材とが選択され、使用前の食材と使用後の食材とが関連付けられる。
つぎに、放置品検出部２２１ｅは、画像処理サーバ２０６から取得した一定期間移動していない食材のデータと食材庫１００の入庫日のデータとから移動していない期間を算出する。放置品検出部２２１ｅは、算出した移動していない期間と放置品を判断するための閾値とを比較し、この閾値を超過した場合に放置品と判断する。ここで、放置品を判断するための閾値は、ユーザが任意に設定することができる。例えば、閾値は、所定の期間であってもよいし、賞味期限であってもよい。所定の期間は、例えば、１週間、１ヶ月等の期間である。賞味期限の情報は、放置品管理サーバ２０７の記録装置２２６に保存されている。また、食材の賞味期限は、ユーザによって登録することもできる。この場合、食材の賞味期限は、登録したユーザ毎に管理され、登録したユーザの情報（撮像部１０、センサ２０、及び食材庫１００の製品番号や個人情報）と関連付けられて登録されている。

最後に、放置品検出部２２１ｅは、放置品と判断した食材の最終移動日を算出する。放置品検出部２２１ｅは、その日以後、対象とする食材（放置品）が移動していないと判断した日を最終移動日とする。

また、放置品検出部２２１ｅは、移動していない食材を検出した場合には、インターネット３００を介して外部端末に警告を表示したり、通知したりする。
なお、放置品検出部２２１ｅは、前述の移動していない食材に関する判断の中で移動した食材の情報も取得している。放置品検出部２２１ｅは、移動した食材の情報を外部端末の要求に応じて送信できる。
放置品管理部２２１ｆは、放置品及び最終移動日をユーザ毎に管理する。放置品管理部２２１ｆは、個人情報、食材庫１００の位置、放置品、放置品の種類、放置品の名称、及び最終移動日等を並べたテーブルを保持する。

図８は、第８のサーバ２０８の構成を示すブロック図である。
第８のサーバ２０８は、さらにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１７を有する。ＧＰＵ２１７は、画像データの処理を行う集積回路である。なお、ＧＰＵ２２７は、ＣＰＵ２２１に組み込まれていてもよい。

第８のサーバ２０８は、状態情報及び画像処理サーバ２０６の画像処理の結果から食材庫１００内の鮮度を判定するサーバである。以下、第８のサーバ２０８は、鮮度判定サーバ２０８と表記する。鮮度判定サーバ（鮮度判定装置）２０８のＣＰＵ２２１は、鮮度判定部２２１ｇと鮮度管理部２２１ｈとを含む。

鮮度判定部２２１ｇは、食材の鮮度について判定する。鮮度判定部２２１ｇは、食材庫１００の重量の変化、及び画像処理の結果等の判定要因から食材の鮮度について判定する。鮮度判定部２２１ｇは、食材庫１００内に収納されている全ての食材の鮮度を判定する。鮮度判定部２２１ｇは、個々に鮮度を判定する処理を全ての食材に対して繰り返す。なお、鮮度判定部２２１ｇは、任意に鮮度を判定する食材を設定することもできる。鮮度判定部２２１ｇは、食材の鮮度を判定するために、一定期間内における食材庫１００の時系列の画像データを画像処理サーバ２０６から取得する。さらに、鮮度判定部２２１ｇは、画像処理の結果にひも付けられた状態情報を情報保存サーバ２０５から取得する。ここで、一定期間は、ユーザによって設定される期間である。例えば、一定期間とは、１週間や１ヶ月等の期間である。
鮮度判定部２２１ｇは、放置品管理サーバ２０７から賞味期限の情報と、情報保存サーバ２０５から対象食材の入庫日及び本日の状態情報と、及び画像処理サーバ２０６から画像処理の結果とを取得する。

鮮度判定部２２１ｇは、賞味期限と本日の日付とから賞味期限からの経過日数を算出し、入庫日及び本日の状態情報から食材の重さの変化を算出する。鮮度判定部２２１ｇは、食材の色の変化、賞味期限からの経過日数、及び対象食材の重さの変化等から対象食材の鮮度が落ちているかどうかを判定する。例えば、鮮度判定部２２１ｇは、判定した鮮度を賞味期限前、賞味期限間近、賞味期限超過等の三段階の評価で鮮度を提示してもよい。また、鮮度判定部２２１ｇは、変色なし、やや変色あり、変色等の色の変化で鮮度を提示してもよい。鮮度判定部２２１ｇは、鮮度が落ちている場合には、外部端末に傾向を表示したり、判定結果を通知する。

なお、食材庫１００内のセンサ２０が臭いセンサを含む場合には、鮮度判定部２２１ｇは、臭いセンサの値によって鮮度を判定してもよい。

鮮度管理部２２１ｈは、食材の鮮度の情報をユーザ毎に管理する。鮮度管理部２２１ｈは、ユーザの情報、食材庫１００内の位置、食材の種類、食材の鮮度、及び入庫日と本日の画像等を並べたテーブルを有する。鮮度管理部２２１ｈは、外部端末の要求に応じて食材庫１００の食材の鮮度の情報を送信する。

第９のサーバ２０９は、レシピ情報を収集し、保持するサーバである。以下、第９のサーバ２０９は、レシピ収集サーバ２０９と表記する。レシピ収集サーバ（レシピ収集装置）２０９は、インターネット３００を介して情報管理サーバ２０５に保存された食材庫１００の状態情報から現在の食材庫１００にある食材で作られる料理のレシピを収集する。レシピ収集サーバ２０９は、外部端末の要求に応じて庫内の状態情報から現在の在庫から作れそうなレシピ等を提供する。レシピ収集サーバ２０９は、特定の食材による検索のリクエストがあれば、その特定の食材に関連するレシピを送信する。料理名検索によるリクエストを受信した場合には、レシピ収集サーバ２０９は、料理名のレシピを取得する。そして、レシピ収集サーバ２０９は、情報管理サーバ２０５から食材庫１００内の食材情報を取得し、庫内情報と取得したレシピとを比較し、足りない食材等を外部端末等へ提供する。

第１０のサーバ２１０は、ランキングを生成し、保持するサーバである。以下、第１０のサーバ２１０は、ランキング生成サーバ２１０と表記する。ランキング生成サーバ（消費率計測装置）２１０は、放置品管理サーバ２０７から食材の移動に関する情報を取得し、食材の放置率及び消費率のランキングを作成する。ランキング生成サーバ２１０は、放置率及び消費率のランキングをユーザ毎に管理する。ランキング生成サーバ２１０は、食材管理システム１上の他のサーバ及び外部端末の要求に応じて放置率及び消費率のランキングの情報を送信する。また、ランキング生成サーバ２１０は、所定の期間で、且つ所定の量を超えて減っている食材がある場合には、外部端末に警告や、結果を提供する。ここで、所定の期間及び所定の量は、ユーザによって設定される値である。

第１１のサーバ２１１は、庫内整理情報を収集し、保持するサーバである。以下、第１１のサーバ２１１は、整理情報収集サーバ２１１と表記する。整理情報収集サーバ（整理情報収集装置）２１１は、画像処理サーバ２０６から整理されていると判断された他のユーザの食材庫１００内の画像を取得する。他のユーザの食材庫１００内の画像は、ユーザが公開している範囲の画像の中から選択される。また、整理された画像は、同等の形状の食材庫１００、且つ同等の量の食材を収納する食材庫１００内の画像から食材以外の空間が多い画像である。整理情報収集サーバ２１１は、外部端末の要求に応じて整理された画像を送信する。

なお、以上の食材管理システム１上のサーバ２０１〜２１１からの警告等の通知に関しては、ウェブサーバ２０２を介してＯＮ／ＯＦＦが設定される。

（食材管理システムの動作）
以下で図９を参照して、食材管理システム１の動作について説明する。
図９は、本実施形態の食材管理システム１のフローチャートである。データ取得サーバ２０１のデータ取得部２０１ａが、設定された撮影の時刻であるかどうかを判断する（Ｓ８０１）。設定された撮影の時刻である場合には（Ｓ８０１のＹｅｓ）、撮像部１０は、データ取得サーバ２０１の指示に従って食材庫１００の内部の画像を撮像する（Ｓ８０２）。食材庫１００内の撮像がされた場合、撮像された画像がデータ取得サーバ２０１に送信される。データひも付け部２０１ｂは、所得した画像等の状態情報と時刻情報と識別情報とを関連付ける。データ取得サーバ２０１は、インターネット３００を介してひも付された状態情報を食材管理システム１上のサーバへ送信する（Ｓ８０３）。

設定された撮影の時刻でない場合には（Ｓ８０１のＮｏ）、食材庫１００の扉が開いたかどうかが判断される。食材庫の扉が開いた場合には（Ｓ８０４のＹｅｓ）、重量センサ２０ａは、データ取得サーバ２０１の指示に従って食材庫１００内の重量の変化を測定する（Ｓ８０５）。そして、食材庫１００の扉が閉じられる（Ｓ８０６）。食材庫の扉が開かれていない場合には（Ｓ８０４のＮо）、Ｓ８０１の処理に戻る。

Ｓ８０６の処理の後に、データ取得サーバ２０１（データ取得部２０１ａ）によって重量が変化したかどうかが判断される。重量が変化したと判断された場合には（Ｓ８０７のＹｅｓ）、Ｓ８０４の処理に戻る。重量が変化していないと判断された場合には（８０７のＮｏ）、撮像部１０は、データ取得サーバ２０１の指示に従って食材庫１００の内部の画像を撮像する（Ｓ８０８）。そして、データ取得サーバ２０１は、インターネット３００を介してひも付された状態情報を食材管理システム１上のサーバへ送信する（Ｓ８０９）。

（食材管理システムのアプリケーションの動作）
以下、図面を参照して食材管理システムのアプリケーションの動作について説明する。
食材管理システム１へ外部端末からアクセスするためには、食材管理システム１のアプリケーションを介してアクセスするか、ウェブサーバ２０２を介することによってアクセスできる。食材管理システム１のアプリケーションは、外部端末、例えば、携帯情報端末４００、及び情報端末５００上にウェブサーバ２０２からダウンロードされ、且つインストールすることによって動作する。

図１０は、食材管理システム１のアプリケーションの動作の模式図である。図１０において、ブロックの内部の上段の括弧内の数字は、図面の番号を示し、下段の括弧内の数字は、表示画面の番号である。以下、表示画面の番号に従ってアプリケーション動作について説明する。

図１０及び図１１に示すように、Ｂ１００１において、食材管理システム１のアプリケーションを動作させると起動画面の後にメニュー画面Ａ１が表示される。メニュー画面Ａ１は、選択肢が表示される。選択ボタンとして、庫内状況を確認Ｂ１、鮮度情報Ｂ２、放置品の確認Ｂ３、レシピＢ４、食材消費率ランキングＢ５、食材放置率ランキングＢ６、及び庫内整理アドバイスＢ７が備えられている。

はじめに、図１１において、庫内状況を確認Ｂ１が選択されたものとする。
図１０及び図１２に示すように、Ｂ１００２において、庫内状況を確認Ｂ１が選択されたとすると、庫内状況確認の画面Ａ１１が表示される。庫内状況確認の画面Ａ１１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、冷蔵庫をチェックＢ１１、野菜室をチェックＢ１２、及び冷凍庫をチェックＢ１３が備えられている。戻るＢ１４は、１つ前に表示された画面に戻るボタンである。メニューへ戻るＢ１５は、メニュー画面Ａ１に戻るためのボタンである。冷蔵庫をチェックＢ１１は、本日の冷蔵庫内の画像を表示するボタンである。野菜室をチェックＢ１２は、本日の野菜室内の画像を表示するボタンである。冷蔵庫をチェックＢ１３は、本日の冷蔵庫内の画像を表示するボタンである。ここで、野菜室をチェックＢ１２が選択されたものとする。

図１０及び図１３に示すように、Ｂ１００３において、野菜室をチェックＢ１２が選択されたとすると、野菜室の画面Ａ１１２が表示される。野菜室の画面Ａ１１２には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、冷蔵庫Ｂ１１１、野菜室Ｂ１１２、冷凍庫Ｂ１１３、上カーソルＣ１１１、下カーソルＣ１１２、左カーソルＣ１１３、及び右カーソル１１４が備えられている。

冷蔵庫Ｂ１１１は、図１３における冷蔵庫をチェックＢ１１と同様に、冷蔵庫の画像を表示するボタンである。冷蔵庫Ｂ１１１はタブ形式で設けられているため、冷蔵庫Ｂ１１１を押した際には画面の表示が冷蔵庫をチェックＢ１１よりも早い。野菜室Ｂ１１２は、図１３における野菜室をチェックＢ１２と同様に、野菜室の画像を表示するボタンである。野菜室Ｂ１１２もタブ形式で設けられているため、野菜室Ｂ１１２を押した際には画面の表示が野菜室をチェックＢ１２よりも早い。冷凍庫Ｂ１１３は、図１３における野菜室をチェックＢ１２と同様に、野菜室の画像を表示するボタンである。冷凍庫Ｂ１１３もタブ形式で設けられているため、冷凍庫Ｂ１１３を押した際には画面の表示が野菜室をチェックＢ１２よりも早い。これらの冷蔵庫Ｂ１１１、野菜室Ｂ１１２、及び冷凍庫Ｂ１１３は、既に選択され、その画像が表示されている場合には、選択することができない。

上カーソルＣ１１１、下カーソルＣ１１２、左カーソル１１３、及び右カーソル１１４は、夫々、画像の中心位置を選択したカーソルの方向へ動かすためのボタンである。画像の中心位置を選択したカーソルの方向へ動かすことによって、動かす前には表示されていなかった食材庫１００内の画像が表示される。

図１１に戻って、鮮度情報Ｂ２が選択されたものとする。
図１０及び図１４に示すように、Ｂ１００４において、鮮度情報Ｂ１が選択されたとすると、鮮度情報の画面Ａ２１が表示される。鮮度情報の画面Ａ２１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、野菜Ｂ２１、及び肉・魚Ｂ２２が備えられている。野菜Ｂ２１は、野菜の鮮度情報の画面Ａ２１１を表示するボタンである。肉・魚Ｂ２２は、肉及び魚の鮮度情報の画面を表示するボタンである。ここで、野菜Ｂ２１が選択されたものとする。

図１０及び図１５に示すように、Ｂ１００５において、野菜Ｂ２１が選択されたとすると、野菜の鮮度情報の画面Ａ２１１が表示される。野菜の鮮度情報の画面Ａ２１１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、野菜Ｂ２１１、肉・魚Ｂ２１２、及びスクロールボタンＣ２１１が備えられている。野菜の鮮度情報の画面Ａ２１１には、入庫日の食材の画像と本時の食材の画像とが比較できるようにテーブル状に並べて表示されている。また、食材庫１００内に収納されている全ての食材（野菜）について入庫日の食材の画像と本日の食材の画像とが比較できるようにテーブル状に並べられて提供されている。

野菜Ｂ２１１は、図１４における野菜Ｂ２１と同様に、冷蔵庫の画像を表示するボタンである。野菜Ｂ２１１はタブ形式で設けられているため、野菜Ｂ２１１を押した際には画面の表示が野菜Ｂ２１よりも早い。肉・魚Ｂ２１２は、図１４における肉・魚Ｂ２２と同様に、肉・魚の鮮度情報の画像を表示するボタンである。肉・魚Ｂ２１２もタブ形式で設けられているため、肉・魚Ｂ２１２を押した際には画面の表示が肉・魚Ｂ２２よりも早い。これらの野菜Ｂ２１１、及び肉・魚Ｂ２１２は、既に選択され、その画像が表示されている場合には、選択することができない。また、スクロールボタンＣ２１１は、野菜ごとに表示されている野菜鮮度情報をさらに表示させるためにボタンである。例えば、スクロールボタンＣ２１１を押すことによって、食材庫１００内に収納されているが野菜の鮮度情報の画面に表示されていない他の野菜の鮮度情報が表示される。なお、図示されていないが、肉・魚の鮮度情報の画面でも野菜の煽動情報の画面Ａ２１１とほぼ同等である。

図１１に戻って、放置品の確認Ｂ３が選択されたものとする。
図１０及び図１６に示すように、Ｂ１００６において、放置品の確認Ｂ３が選択されたとすると、放置品の確認の画面Ａ３１が表示される。放置品の確認の画面Ａ３１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、冷蔵庫をチェックＢ３１、野菜室をチェックＢ３２、及び冷凍庫をチェックＢ３３が備えられている。冷蔵庫をチェックＢ３１は、冷蔵庫の放置品の確認の画面Ａ３１１を表示するボタンである。野菜室をチェックＢ３２は、野菜室の放置品の確認の画面を表示するボタンである。冷凍庫をチェックＢ３３は、冷凍庫の放置品の確認の画面を表示するボタンである。ここで、冷蔵庫をチェックＢ３１が選択されたものとする。

図１０及び図１７に示すように、Ｂ１００７において、冷蔵庫をチェックＢ３１が選択されたとすると、冷蔵庫の放置品の確認の画面Ａ３１１が表示される。冷蔵庫の放置品の確認の鮮度情報の画面Ａ３１１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、冷蔵庫Ｂ３１１、野菜室Ｂ３１２、冷凍庫Ｂ３１３、及びスクロールボタンＣ３１１が備えられている。冷蔵庫の放置品の確認の画面Ａ３１１には、最終移動日と食材の画像とが確認できるようにテーブル状に並べて表示されている。また、食材庫１００の冷蔵庫１００ａ内に収納されている全ての食材について最終移動日と食材の画像とが確認できるようにテーブル状に並べられて提供されている。

冷蔵庫Ｂ３１１は、図１６における冷蔵庫Ｂ３１と同様に、冷蔵庫の放置品の確認の画像を表示するボタンである。冷蔵庫Ｂ３１１はタブ形式で設けられているため、冷蔵庫Ｂ３１１を押した際には画面の表示が冷蔵庫Ｂ３１よりも早い。野菜室Ｂ３１２は、図１６における野菜室Ｂ３２と同様に、野菜室の放置品の確認の画像を表示するボタンである。野菜室Ｂ３１２もタブ形式で設けられているため、野菜室Ｂ３１２を押した際には画面の表示が野菜室Ｂ３２よりも早い。冷凍庫Ｂ３１３は、図１６における冷凍庫Ｂ３３と同様に、冷凍庫の放置品の確認の画像を表示するボタンである。冷凍庫Ｂ３１３もタブ形式で設けられているため、冷凍庫Ｂ３１３を押した際には画面の表示が冷凍庫Ｂ３３よりも早い。これらの冷蔵庫Ｂ３１１、野菜室Ｂ３１２、及び冷凍庫Ｂ３１３は、既に選択され、その画像が表示されている場合には、選択することができない。また、スクロールボタンＣ３１１は、食材ごとに表示されている放置品の情報をさらに表示させるためにボタンである。例えば、スクロールボタンＣ３１１を押すことによって、放置品の確認の画面に表示されていない他の放置品の情報が表示される。なお、図示されていないが、野菜室及び冷凍庫の放置品の確認の画面でも冷蔵庫の放置品の確認の画面とほぼ同等である。

図１１に戻って、レシピＢ４が選択されたものとする。
図１０及び図１８に示すように、Ｂ１００８において、レシピＢ４が選択されたとすると、レシピの画面Ａ４１が表示される。レシピの画面Ａ４１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５、庫内食料からレシピ検索Ｂ４１、食べたい料理のレシピ検索Ｂ４２及び検索バーＣ４１が備えられている。庫内食料からレシピ検索Ｂ４１は、食材庫１００内にある食材を検索ワードとして検索して、入力した食材を使って作られる料理のレシピの検索結果の画面を表示するボタンである。食べたい料理のレシピ検索Ｂ４２は、食べたい料理名を検索ワードとして検索して、現在の食材庫１００内にある食材で作るためのレシピの検索結果の画面表示するボタンである。検索バーＣ４１は、検索するキーワードを入力するバーである。ここで、検索バーＣ４１に食材庫１００の食材名を検索ワードとして入力して、庫内食料からレシピ検索Ｂ４１が選択されたものとする。

図１０及び図１９に示すように、Ｂ１００７において、検索バーＣ４１に食材庫１００の食材名を検索ワードとして入力して、庫内食料からレシピ検索Ｂ４１が選択されたとすると、レシピ検索の結果の画面Ａ４１１が表示される。本実施形態において、レシピ検索の結果として、検索ワードとして入力した複数の食材で料理を作るために、補充すべき食材が最も少ない料理のレシピが表示される。レシピ検索の結果の画面Ａ４１１には、選択ボタンとして、戻るＢ１４、メニューへ戻るＢ１５が備えられている。検索結果が複数ある場合には、表示画面を切り替えるためにカーソル等（図示せず）が設けられていてもよい。レシピ検索の結果の画面Ａ４１１には、現在の食材庫１００内にある食材、料理を作るために必要だが現在の食材庫１００内にない食材、料理の完成予想画像、料理を作るために必要な材料、及び料理を作るための料理工程（レシピ）が表示される。

図１１に戻って、食材消費率ランキングＢ５が選択されたものとする。
図１０及び図２０に示すように、Ｂ１０１０において、食材消費率ランキングＢ５が選択されたとすると、食材消費率ランキングの画面Ａ５１が表示される。食材消費率ランキングの画面Ａ５１には、選択ボタンとして、メニューへ戻るＢ１５が備えられている。食材消費率ランキングの画面Ａ５１には、所定の期間で使用された食材が食材の画像と共にランキングで表示される。ここで、所定の期間は、ユーザによって任意に選択可能であってもよい。

図１１に戻って、食材放置率ランキングＢ６が選択されたものとする。
図１０及び図２１に示すように、Ｂ１０１１において、食材放置率ランキングＢ６が選択されたとすると、食材放置率ランキングの画面Ａ６１が表示される。食材放置率ランキングの画面Ａ６１には、選択ボタンとして、メニューへ戻るＢ１５が備えられている。食材放置率ランキングの画面Ａ６１には、所定の期間で放置された食材が食材の画像と共にランキングで表示される。ここで、所定の期間は、ユーザによって任意に選択可能であってもよい。

図１１に戻って、庫内整理アドバイスＢ７が選択されたものとする。
図１０及び図２２に示すように、Ｂ１０１２において、庫内整理アドバイスＢ７が選択されたとすると、庫内整理アドバイスの画面Ａ７１が表示される。庫内整理アドバイスの画面Ａ７１には、選択ボタンとして、メニューへ戻るＢ１５が備えられている。庫内整理アドバイスの画面Ａ７１には、現在の食材庫１００の中の画像と庫内整理のアドバイスの画像とが比較できるように並列で表示される。ここで、庫内整理のアドバイスの画像は、使用している食材庫１００の保存空間と同等の保存空間、且つ同等の食材群である場合において、最も食材以外の空間が大きい食材庫１００内の画像である。さらに、庫内整理アドバイス画面Ａ７１には、現在の食材庫１００の中の画像と庫内整理のアドバイスの画像とを比較して、庫内整理のアドバイスが表示される。庫内整理のアドバイスとして、食材庫１００のどの空間を拡げられそうか、空間を広げるためにはどのように配置すべきか等が表示される。

本実施形態によれば、食材庫１００に設置された撮像部１０によって撮像された画像データ及びセンサ２０によって検出されたデータが識別情報及び時刻情報とひも付けられ、インターネット３００を介して他のサーバ群（クラウドサーバ）に送信される。これらの状態情報は他のサーバ群（クラウドサーバ）によって食材庫１００内の食材の鮮度、消費率や放置品のランキングの提供、及びレシピ検索に活用される。

また、撮像部１０は、食材庫１００の扉の開閉のタイミングだけではなく、例えば、センサ２０によって検出される重量の変化を感知したタイミングで写真を撮像する。この結果、撮像部１０の電力消費を扉の開閉の度に撮像するよりも抑えることができる。

次に実施形態に係る食材管理システムの変形例について説明する。実施形態の変形例において、前述した第１の実施形態と同一の部分には同一の参照符号を付してその詳細な説明を省略する。

（変形例）
第１の実施形態の変形例の食材管理システム１において、第１のサーバ（データ収集サーバ）が食材庫１００に組み込まれている点が第１の実施形態と異なる。

図２３は、第１の実施形態の変形例の食材管理システム１の模式図である。
第１の実施形態の変形例の食材管理システム１において、食材庫１００は、第１の実施形態の食材庫１００の構造に加えて、データ収集部２５０をさらに有する。

図２４は、データ収集部２５０の構成を示すブロック図である。
データ収集部２５０は、ＣＰＵ２２１と、メモリ２２３と、記録装置２２６と、ネットワーク制御部２４２と、近距離通信部２４３とを備える。メモリ２２３、記録装置２２６、ネットワーク制御部２４２、及び近距離通信部２４３の各々は、ＣＰＵ２２１に接続されている。ＣＰＵ２２１は、データ取得部２２１ａと、データひも付部２２１ｂとを含む。

変形例では、データ収集部２５０は、第１の実施形態のデータ収集サーバ２０１とほぼ同等の機能を有する。したがて、データ収集部２５０は、食材庫１００に設置された撮像部１０及びセンサ２０から各種データを取得し、食材管理システム1上のサーバ２０２〜２１１及び外部端末へ取得したデータを送信する。

変形例によれば、データ収集部２５０が食材庫１００に設けられることによって、サーバの数を削減することができる。

前述の実施形態によれば、食材庫１００に設置された撮像部１０によって撮像された画像データ及びセンサ２０によって検出されたデータが識別情報及び時刻情報とひも付けられ、インターネット３００を介して他のサーバ群（クラウドサーバ）に送信される。これらの状態情報は他のサーバ群（クラウドサーバ）によって食材庫１００内の食材の鮮度、消費率や放置品のランキングの提供、及びレシピ検索に活用される。

なお、前述の実施形態において、食材管理システム１上のサーバ２０１〜２１１を個別に記載したが、サーバ２０１〜２１１は、夫々、統合されてもよいし、さらに分離されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許の請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…撮像部、１１…撮像素子、１２…映像処理部、１３…送受信部、１４…発光部、２０…センサ、２０ａ…重量センサ、２０ｂ…温度センサ、２１…検出部、２２…制御部、２３…送受信部、１００…食材庫、２０１…第１のサーバ、２０２…第２のサーバ、２０３…第３のサーバ、２０４…第４のサーバ、２０５…第５のサーバ、２０６…第６のサーバ、２０７…第７のサーバ、２０８…第８のサーバ、２０９…第９のサーバ、２１０…第１０のサーバ、２１１…第１１のサーバ、２２１ａ…データ取得部、２２１ｂ…データひも付部、２２１ｃ…識別部、２２１ｄ…変化検出部、２２１ｅ…放置品検出部、２２１ｆ…放置品管理部、２２１ｇ…鮮度判定部、２２１ｈ…鮮度管理部。

Claims (10)

1. 複数の食材が収納されている収納庫の内部に設けられ前記収納庫の内部を時系列に撮像する撮像部と通信的に接続され、前記撮像部によって時系列に撮像され、撮像された日時と関連付けられた複数の画像データを取得し、前記複数の画像データから前記複数の食材の各々の前記収納庫に収納された日時を検出し、前記収納された日時の画像と現在の画像と並べた画像情報を出力する画像処理装置、を備える食材管理システム。
2. 前記画像処理装置は、前記複数の画像データに基づいて、前記複数の食材の内、移動していない食材である放置品を識別し、前記放置品の名称を識別する情報又は前記放置品の画像を出力する放置品管理装置をさらに備える、請求項１の食材管理システム。
3. 前記放置品管理装置は、前記放置品に関連する情報として、前記放置品の放置期間と最後に移動した日時とに関連する情報を出力する、請求項２の食材管理システム。
4. 前記放置品管理装置から前記複数の食材の内の所定の食材が前記収納庫から消失した場合に前記消失した食材に関連する情報を取得し、前記消失した食材を計測する消費率計測装置を備える、請求項２の食材管理システム。
5. 前記消費率計測装置は、前記複数の食材の内の所定の種類の食材が所定の消失回数よりも消失した回数が大きくなった場合に、消失した回数の多い前記消失した食材の情報を出力する、請求項４の食材管理システム。
6. 開閉可能な扉が設けられ、複数の食材が収納されている収納庫と、
   前記収納庫の内部に設けられ、前記収納庫内の変化を検出する複数のセンサと、
   前記収納庫の内部に設けられ、前記収納庫内を時系列に撮像する撮像部と、
   前記複数のセンサが前記収納庫内の変化を検出した場合に、当該収納庫内の画像を前記撮像部に撮像させる信号を送る制御装置と、を備える食材管理システム。
7. 前記複数のセンサは、重量センサと、温度センサとであり、
   前記重量センサは、前記複数の食材の収納される前記収納庫の底部に設置され、
   前記温度センサは、前記扉の開閉による温度変化を感知可能な場所に設置される、請求項６の食材管理システム。
8. 前記制御装置は、前記重量センサが前記収納庫内の重量の変化を検知した場合に発する信号を受信して、前記撮像部に前記収納庫内の画像を撮像させる信号を送る、請求項７の食材管理システム。
9. 前記制御装置は、前記温度センサが前記収納庫内の温度の変化を検知した場合に発する信号を受信して、前記撮像部に前記収納庫内の画像を撮像させる信号を送る、請求項７の食材管理システム。
10. 前記制御装置は、前記扉の開閉で生じる温度変化の値を取得し、前記扉の開閉で生じる温度変化を基準値とし、前記基準値と比較することによって前記収納庫内で食材の出し入れが実行されたことを検出する、請求項９の食材管理システム。

Images