JP2023079899A - プログラム、端末装置、およびレシピ表示システム - Google Patents

Abstract

【課題】冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。【解決手段】本開示のプログラムは、端末装置のプロセッサーを、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる。これにより、冷蔵庫の撮影画像から取得した食品のレシピ情報をタッチパネルに表示させることができ、冷蔵庫に収納された食品のレシピ情報を提案することができ、使い勝手の向上を図ることができる。【選択図】図７

Description

本開示は、プログラム、端末装置、およびレシピ表示システムに関する。

特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。

特開２０１９－０７０４７６号公報

本開示は、冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。

本開示におけるプログラムは、端末装置のプロセッサーを、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる。

本開示における端末装置は、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された前記食品に応じたレシピ情報を表示部に表示する端末制御部を備える。

本開示におけるレシピ表示システムは、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された前記食品の種類を取得する食品認識部と、前記食品認識部で認識された食品に応じたレシピ情報を表示部に表示する端末装置とを備えた。

本開示におけるプログラム、端末装置、およびレシピ表示システムは、冷蔵庫の撮影画像から取得した食品のレシピ情報をタッチパネルに表示させることができ、冷蔵庫に収納された食品のレシピ情報を提案することができ、使い勝手の向上を図ることができる。

物品管理システムの構成を示す図 検出装置を前方側からみた正面図 検出装置を右方側からみた平面図 検出装置の構成を示すブロック図 端末装置及び物品管理サーバーの構成を示すブロック図 物品管理ＤＢが格納するレコードの一例を示す図 アプリ実行部による端末装置の表示例を示す図 食品リスト表示の例を示す図 検出装置の動作を示すフローチャート 食品検出装置及び食品管理サーバーの動作を示すフローチャート 端末装置及び食品管理サーバーの動作を示すフローチャート

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫に入出庫される食品を検出する技術があった。
しかしながら、従来の技術では、冷蔵庫に入出庫される食品を管理する際に、食品を用いたレシピを提案する機能は有していないという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
まず、実施の形態１について説明する。
［１－１－１．食品管理システムの構成］
図１は、食品管理システム１０００の構成を示す図である。

食品管理システム１０００は、冷蔵庫１が収容する食品について、残量や、保存が開始された保存開始日、賞味期限または消費期限の期限日等を管理するシステムである。

食品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａ及び右ドア１１Ｂが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、食品を収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａが設けられている。
以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付して総称する。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付して総称する。

食品管理システム１０００は、食品検出装置２を備える。食品検出装置２は、冷蔵庫１に入出庫される食品を検出する装置であり、冷蔵庫１の上部として冷蔵庫１の上面に設けられる。

ここで、図２及び図３を参照して食品検出装置２の構成について説明する。
図２は、冷蔵庫１及び食品検出装置２を前方側からみた図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１及び食品検出装置２を右側からみた図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。

図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

食品検出装置２は、冷蔵室用カメラ２１及び引出用カメラ２２を有する。食品検出装置２は、冷蔵庫１の前上方から冷蔵室用カメラ２１及び引出用カメラ２２が冷蔵庫１の前面を撮影するように、冷蔵庫１の上面に設けられる。

冷蔵室用カメラ２１は、冷蔵室１１に入出庫される食品を検出するためのカメラである。

冷蔵室用カメラ２１の撮影範囲は、冷蔵室１１に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。

例えば、冷蔵室用カメラ２１の撮影範囲は、正面視において、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態において、左ドア１１Ａに設けられるドアポケット１１Ａ１、１１Ａ２、１１Ａ３、１１Ａ４、右ドア１１Ｂに設けられるドアポケット１１Ｂ１、１１Ｂ２、１１Ｂ３、１１Ｂ４、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２１の撮影範囲は、側面視において、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから、棚１１１、１１２、１１３、１１４の前方端部までを含む範囲であり、且つ、上下方向において冷蔵室１１の開口部を含む範囲である。なお、棚１１１、１１２、１１３、１１４は、冷蔵室１１内に設けられ冷蔵室１１を複数エリアに区画する部材である。

引出用カメラ２２は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に入出庫される食品を検出するためのカメラである。

引出用カメラ２２の撮影範囲は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の各々に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。

例えば、引出用カメラ２２の撮影範囲は、正面視において、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の正面視において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを含む範囲である。また、引出用カメラ２２の撮影範囲は、側面視において、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、引き出された状態の引出１２Ａ、１３Ａ、１４Ａ、１５Ａの上面を含む範囲である。

食品検出装置２は、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を有する。左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５は、開閉センサーの一例に対応する。以下の説明において、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を区別しない場合、「開閉用測距センサー」といい「２８」の符号を付す。開閉用測距センサー２８は、検出値を後述するセンサーモジュール制御部２１１に出力する。

左ドア用測距センサー２３は、左ドア１１Ａの開閉状態を検出するための測距センサーである。左ドア用測距センサー２３は、左ドア１１Ａの開閉状態として、左ドア１１Ａとの間の距離を検出する。

右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態を検出するための測距センサーである。右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態として、右ドア１１Ｂとの間の距離を検出する。

引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態を検出するための測距センサーである。なお、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが開状態であるとは、対応する収容室から引き出された状態である。また、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが閉状態であるとは、対応する収容室に収容された状態である。引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態として、引出１２Ａ、１３Ａ、１４Ａ、１５の各々との間の距離を検出する。

食品検出装置２は、照度センサー２６及び人感センサー２７を有する。照度センサー２６及び人感センサー２７は、検出値をセンサーモジュール制御部２１１に出力する。

照度センサー２６は、食品検出装置２が配置される場所、すなわち冷蔵庫１が配置される場所の照度を検出する。

人感センサー２７は、冷蔵庫１の周囲に存在する人物を検出する。本実施の形態では、人感センサー２７は、食品検出装置２の前面に設けられ、冷蔵庫１の周囲において冷蔵庫１の前方に存在する人物を検出する。

なお、図２では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が左右方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２の説明便宜のための図示であり、図２のように設けられていなくてもよい。
また、図３では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が前後方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２のための図示であり、図３のように設けられていなくてもよい。

図１の説明に戻り、食品管理システム１０００は、タッチパネル３２を有する端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末により構成される。端末装置３は、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムがインストールされており、当該アプリケーションの機能によって食品管理サーバー４と通信する。
以下の説明では、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムを、「食品管理用アプリ」といい「３２３」の符号を付す。

図１では、在宅するユーザーＰを実線で示し、自宅Ｈから外出したユーザーＰを点線で示している。端末装置３は、在宅するユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介して、或いは通信装置５を介さずに、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。また、端末装置３は、自宅Ｈから外出したユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介すことなく食品管理サーバー４と通信する。

通信装置５は、インターネット、電話網、その他の通信網を含むグローバルネットワークＧＮに接続し、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。通信装置５は、端末装置３をグローバルネットワークＧＮに接続するためのインターフェイス装置である。通信装置５は、モデムに係る機能や、ルーター機能、ＮＡＴ（Network Address Translation）機能等の機能を有する。通信装置５は、端末装置３と、グローバルネットワークＧＮに接続する食品管理サーバー４との間で送受信されるデータを転送する。

食品管理システム１０００は、食品管理サーバー４を備える。食品管理サーバー４は、冷蔵庫１に収容される食品を管理するサーバー装置であり、グローバルネットワークＧＮに接続する。なお、各図では、食品管理サーバー４を、１つのブロックによって表現するが、これは必ずしも食品管理サーバー４が単一のサーバー装置により構成されることを意味するものではない。例えば、食品管理サーバー４は、処理内容が異なる複数のサーバー装置を含んで構成されたものでもよい。

［１－１－２．食品検出装置・食品管理サーバー・端末装置の構成］
次に、食品検出装置２、端末装置３、及び食品管理サーバー４の構成について説明する。

図４は、食品検出装置２の構成を示すブロック図である。
食品検出装置２は、センサーモジュール２１０、カメラモジュール２２０、及び電力供給部２３０を備える。

センサーモジュール２１０は、センサーモジュール制御部２１１、センサー部２１２、及びセンサー側モジュール間通信部２１３を備える。

センサーモジュール制御部２１１は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるセンサープロセッサー２１１１、及び、センサー記憶部２１１２を備え、センサーモジュール２１０の各部を制御する。センサーモジュール制御部２１１は、センサープロセッサー２１１１が、センサー記憶部２１１２に記憶された制御プログラム２１１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。

センサー記憶部２１１２は、センサープロセッサー２１１１が実行するプログラムや、センサープロセッサー２１１１に処理されるデータを記憶する記憶領域を有する。センサー記憶部２１１２は、センサープロセッサー２１１１が実行する制御プログラム２１１３、センサーモジュール２１０の設定に係る設定データ２１１４、その他の各種データを記憶する。センサー記憶部２１１２は、不揮発性の記憶領域を有する。また、センサー記憶部２１１２は、揮発性の記憶領域を備え、センサープロセッサー２１１１のワークエリアを構成してもよい。

センサー部２１２は、左ドア用測距センサー２３、右ドア用測距センサー２４、引出用測距センサー２５、照度センサー２６、及び人感センサー２７を備え、センサーごとに検出値をセンサーモジュール制御部２１１に出力する。なお、センサー部２１２は、上記５種のセンサー以外のセンサーを備えていてもよい。

センサー側モジュール間通信部２１３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、センサーモジュール制御部２１１の制御に従って、カメラモジュール２２０と通信する。

カメラモジュール２２０は、カメラモジュール制御部２２１、撮影部２２２、カメラモジュール通信部２２３、及びカメラ側モジュール間通信部２２４を備える。

カメラモジュール制御部２２１、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるカメラプロセッサー２２１１、及びカメラ記憶部２２１２を備え、カメラモジュール２２０の各部を制御する。カメラモジュール制御部２２１は、カメラプロセッサー２２１１が、カメラ記憶部２２１２に記憶された制御プログラム２２１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。カメラモジュール制御部２２１は、制御プログラム２２１３を読み出して実行することにより、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。

カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行するプログラムや、カメラプロセッサー２２１１に処理されるデータを記憶する記憶領域を有する。カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行する制御プログラム２２１３、カメラモジュール２２０の設定に係る設定データ２２１４、食品検出装置ＩＤ２２１５、その他の各種データを記憶する。食品検出装置ＩＤ２２１５については後述する。カメラ記憶部２２１２は、不揮発性の記憶領域を有する。また、カメラ記憶部２２１２は、揮発性の記憶領域を備え、カメラプロセッサー２２１１のワークエリアを構成してもよい。

撮影部２２２は、冷蔵室用カメラ２１と引出用カメラ２２とを備える。撮影部２２２は、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果をカメラモジュール制御部２２１に出力する。本実施の形態では、冷蔵室用カメラ２１及び引出用カメラ２２は、動画像を撮影する。そのため、撮影部２２２は、撮影結果として動画像のデータをカメラモジュール制御部２２１に出力する。

カメラモジュール通信部２２３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御で食品管理サーバー４と通信する。本実施の形態では、カメラモジュール通信部２２３が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

カメラ側モジュール間通信部２２４は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御に従って、センサーモジュール２１０と通信する。

上述したように、カメラモジュール制御部２２１は、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。

検出値処理部２２１Ａは、センサーモジュール２１０から出力される各種センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々について開状態か閉状態かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、開状態か閉状態かを判定する。なお、この所定の閾値は、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａごとに異なっていてもよい。検出値処理部２２１Ａは、いずれかが開状態であると判定した場合、開状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。また、検出値処理部２２１Ａは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれも閉状態であると判定した場合、閉状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。

また、検出値処理部２２１Ａは、センサーモジュール２１０から出力される照度センサー２６及び人感センサー２７の検出値に基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在すると判定した場合、人物が存在することを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。また、検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在しないと判定した場合、人物が存在しないことを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。

撮影制御部２２１Ｂは、撮影部２２２を制御して、冷蔵室用カメラ２１及び引出用カメラ２２に動画像を撮影させる。

動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に各種処理を行い、処理を施した撮影結果をカメラ記憶部２２１２に記憶させる。

食品検出部２２１Ｄは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づいて、冷蔵庫１に入出庫される食品を検出する。

電力供給部２３０は、電力を供給する回路等のハードウェアを備え、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、本実施の形態のように、センサーモジュール２１０及びカメラモジュール２２０の各々に並列して電力を供給する構成でもよいし、いずれか一方のモジュールを介して他のモジュールに電力を供給する構成でもよい。

本実施の形態の電力供給部２３０は、外部の商用交流電源７から供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。商用交流電源７は、商用電源の一例に対応する。食品検出装置２の電源ケーブルが商用交流電源７に接続されており、電力供給部２３０は、電源ケーブルを介して商用交流電源７から電力供給を受け、供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、ハードウェアとして、例えば、交流を直流に変換する回路や、降圧する回路等を備える。

なお、電力供給部２３０に電力を供給する供給元は、外部の商用交流電源７に限定されず、冷蔵庫１或いはバッテリーでもよい。供給元が前者の場合、電力供給部２３０及び冷蔵庫１は、ＵＳＢの給電可能な規格に従ったハードウェアを備える。そして、供給元が前者の場合では、食品検出装置２のＵＳＢケーブルが冷蔵庫１のＵＳＢポートに接続し、ＵＳＢケーブルを介して冷蔵庫１が電力供給部２３０に電力を供給する。供給元が後者の場合、食品検出装置２は、バッテリーを備える。

図５は、端末装置３と食品管理サーバー４の構成を示すブロック図である。

まず、食品管理サーバー４の構成について説明する。

食品管理サーバー４は、サーバー制御部４０及びサーバー通信部４１を備える。

サーバー制御部４０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるサーバープロセッサー４１０、及び、サーバー記憶部４２０を備え、食品管理サーバー４の各部を制御する。サーバー制御部４０は、サーバープロセッサー４１０が、サーバー記憶部４２０に記憶された制御プログラム４２１を読み出して処理を実行するように、ハードウェア、及びソフトウェアの協働により各種処理を実行する。サーバー制御部４０は、制御プログラム４２１を読み出して実行することにより、食品認識部４１００として機能する。

サーバー記憶部４２０は、サーバープロセッサー４１０が実行するプログラムや、サーバープロセッサー４１０により処理されるデータを記憶する記憶領域を有する。サーバー記憶部４２０は、サーバープロセッサー４１０が実行する制御プログラム４２１、食品管理サーバー４の設定に係る設定データ４２２、食品管理データベース４２３、その他の各種データを記憶する。サーバー記憶部４２０は、不揮発性の記憶領域を有する。また、サーバー記憶部４２０は、揮発性の記憶領域を備え、サーバープロセッサー４１０のワークエリアを構成してもよい。

また、本実施の形態においては、サーバー記憶部４２０は、レシピ情報データベース４２４を備えている。レシピ情報データベース４２４は、食品の種類に応じた複数のレシピ情報を記憶する。
なお、レシピ情報データベース４２４は、他の通信可能なサーバーに設けてもよいし、端末装置３または冷蔵庫１に設けるようにしてもよい。

図６は、食品管理データベース４２３の一例を示す図である。
食品管理データベース４２３は、冷蔵庫１が収容する食品に係る各種情報を格納するデータベースである。

食品管理データベース４２３が格納する１件のレコードＲは、ユーザーＩＤ４２３１、食品検出装置ＩＤ２２１５、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９を有する。

なお、食品管理データベース４２３が格納する１件のレコードＲは、さらに１又は複数の別種類の情報を有していてもよい。

ユーザーＩＤ４２３１は、食品管理用アプリ３２３を利用するユーザーＰを識別する識別情報であり、食品管理用アプリ３２３を利用するユーザーＰに対して適切に割り当てられる。

食品検出装置ＩＤ２２１５は、食品検出装置２を識別するための識別情報である。食品検出装置ＩＤ２２１５は、例えば、食品検出装置２の製造番号や、食品検出装置２のシリアル番号、カメラモジュール２２０の製造番号、カメラモジュール２２０のシリアル番号等である。

食品名情報４２３２は、食品の名称を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対して、１又は複数の食品名情報４２３２が対応付けられる。

残量情報４２３３は、食品の残量を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の残量情報４２３３が対応付けられる。図６の残量情報４２３３が示す食品の残量は、食品の名称に対応する単位で示されている。残量情報４２３３が示す残量は、サーバー制御部４０によって適切に更新される。

保存場所情報４２３４は、食品の保存場所を示す情報である。本実施の形態では、保存場所情報４２３４は、保存場所として、冷蔵庫１が有する収容室のいずれかを示す。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存場所情報４２３４が対応付けられる。

保存開始日情報４２３５は、食品の保存開始日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存開始日情報４２３５が対応付けられる。

期限日情報４２３６は、食品の賞味期限または消費期限の期限日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日情報４２３６が対応付けられる。

期限日通知タイミング情報４２３７は、対応付く期限日情報４２３６が示す期限日を、ユーザーＰに通知するタイミングを示す情報である。図６に示すように、期限日通知タイミング情報４２３７が示すタイミングは、期限日情報４２３６が示す期限日から何日前といったタイミングである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日通知タイミング情報４２３７が対応付けられる。

新規通知タイミング情報４２３８は、新規に食品が冷蔵庫１に収容されたことを通知するタイミングを示す情報である。図６に示すように、新規通知タイミング情報４２３８が示すタイミングは、保存開始日情報４２３５が示す保存開始日から何日間といったタイミングである。

食品画像データ４２３９は、食品の画像である食品画像ＦＧの画像データである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の食品画像データ４２３９が対応付けられる。

図５の説明に戻り、サーバー通信部４１は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、サーバー制御部４０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態においてサーバー通信部４１は、食品検出装置２及び端末装置３と通信する。

上述した通り、サーバー制御部４０は、食品認識部４１００として機能する。
食品認識部４１００は、食品検出装置２が検出した食品を認識する。

また、食品画像データ４２３９は、個々の食品の食品画像データ４２３９のみならず、冷蔵庫１の冷蔵室１１、野菜室１５、冷凍室１４の庫内の食品画像データＦも含む。
すなわち、冷蔵室１１の庫内の食品画像データＦは、冷蔵室用カメラ２１により撮影された冷蔵室１１の庫内全体の食品画像データＦである。
野菜室１５および冷凍室１４の庫内の食品画像データＦは、引出用カメラ２２により撮影された、冷凍室１４、および野菜室１５全体の庫内画像データである。

次に、端末装置３の機能的構成について説明する。
端末装置３は、端末制御部３０、端末通信部３１、及びタッチパネル３２を備える。

端末制御部３０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーである端末プロセッサー３１０、及び端末記憶部３２０を備え、端末装置３の各部を制御する。端末制御部３０は、端末プロセッサー３１０が、端末記憶部３２０に記憶された制御プログラム３２１を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。端末装置３には、食品管理用アプリ３２３が事前にインストールされる。食品管理用アプリ３２３は、端末プロセッサー３１０により端末記憶部３２０から読み出されて実行されることで、端末制御部３０を、アプリ実行部３１００として機能させるプログラムである。

端末記憶部３２０は、端末プロセッサー３１０が実行するプログラムや、端末プロセッサー３１０により処理されるデータを記憶する記憶領域を有する。端末記憶部３２０は、端末プロセッサー３１０が実行する制御プログラム３２１、端末装置３の設定に係る設定データ３２２、食品管理用アプリ３２３、ユーザーＩＤ４２３１、その他の各種データを記憶する。端末記憶部３２０は、不揮発性の記憶領域を有する。また、端末記憶部３２０は、揮発性の記憶領域を備え、端末プロセッサー３１０のワークエリアを構成してもよい。

端末通信部３１は、所定の通信規格に従った通信回路等の通信ハードウェアを備え、端末制御部３０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態において端末通信部３１は、アプリ実行部３１００の制御に従って、食品管理サーバー４と所定の通信規格に従って通信する。本実施の形態では、端末通信部３１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

タッチパネル３２は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。表示パネルは、端末制御部３０の制御で、各種画像を表示する。タッチセンサーは、タッチ操作を検出し、端末制御部３０に出力する。端末制御部３０は、タッチセンサーからの入力に基づいて、タッチ操作に対応する処理を実行する。タッチパネル３２は、本発明の表示部に対応する。

上記の通り、端末制御部３０は、アプリ実行部３１００として機能する。
アプリ実行部３１００は、端末通信部３１を制御して、食品管理サーバー４と各種情報を送受信する。アプリ実行部３１００は、端末装置３と通信装置５とが通信接続が可能である場合、通信装置５を介して食品管理サーバー４と各種情報を送受信し、そうでない場合、通信装置５を介さず食品管理サーバー４と各種情報を送受信する。このため、ユーザーＰが自宅Ｈ内或いは自宅Ｈの周辺に位置しなくても、端末装置３は、食品管理用アプリ３２３の機能によって、食品管理サーバー４と各種情報を送受信できる。

また、アプリ実行部３１００は、冷蔵庫１に収容される食品を管理に係るユーザーインターフェースを、タッチパネル３２に表示させる。以下の説明において、このユーザーインターフェースを、「食品管理用ＵＩ」といい「３２００」の符号を付す。アプリ実行部３１００は、食品管理用ＵＩ３２００をタッチパネル３２に表示させることで、冷蔵庫１に収容される食品に係る各種情報をユーザーＰに提供し、また、冷蔵庫１に収容される食品に係る各種入力をユーザーＰから受け付ける。

上記の通り、端末制御部３０は、アプリ実行部３１００として機能する。
アプリ実行部３１００は、端末通信部３１を制御して、食品管理サーバー４のレシピ情報データベース４２４に記憶された各種レシピ情報を受信する。
図７は、アプリ実行部３１００による端末装置３の表示例を示す図である。
図７では、タッチパネル３２の表示画面の下方に、複数の操作タブ３００を備えている。
操作タブ３００は、「冷蔵室」、「野菜室」、「冷凍室」、「レシピ検索」、「メッセージメモ」の５つの操作タブ３００が設けられている。
ユーザーが「冷蔵室」の操作タブ３００を操作すると、アプリ実行部により端末通信部３１を制御して、食品管理サーバー４の食品管理データベース４２３に格納されている冷蔵室１１全体の食品画像データを受信し、タッチパネル３２に表示させる。
「野菜室」の操作タブ３００を操作すると、端末通信部３１を制御して、食品管理サーバー４の食品管理データベース４２３に格納されている野菜室１５全体の食品画像データを受信し、タッチパネル３２に表示させる。図８は野菜室１５全体の食品画像データＦを表示している例を示している。

この状態で、「レシピ検索」の操作タブ３００を操作すると、アプリ実行部により端末通信部３１を制御して、食品管理サーバー４のレシピ情報データベース４２４を検索し、野菜室１５全体の食品画像データＦに表示されている食品に応じたレシピ情報Ｒを受信する。端末制御部３０は、受信したレシピ情報Ｒをタッチパネル３２に表示する。
この場合、レシピ情報Ｒは、野菜室１５の食品画像データＦに表示されている食品ごとに表示することもできる。

また、野菜室１５の食品をユーザーが任意に選択し、この選択した食品のレシピ情報Ｒを表示させることもできる。
この場合は、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択する。図７においては、キャベツの画像を選択した例を示している。キャベツの画像が選択されると、端末制御部３０により選択された食品を四角枠３０１で囲って画像を特定する。
端末制御部３０は、選択された食品がいずれの食品であるかを判断する。
端末制御部３０は、選択され食品の認識結果を判断する。例えば、食品の認識を行った結果、その確率が、キャベツ８０％、レタス１５％、白菜５％と判断した場合、端末制御部３０は、認識結果の確率が上位の食品のレシピ情報Ｒを優先して表示させる。
この場合は、キャベツを使ったレシピ情報Ｒ、レタスを使ったレシピ情報Ｒ、白菜を使ったレシピ情報Ｒの順で、表示させる。

この場合に、認識結果に基づいて、認識された食品名を確率の高い順でタッチパネル３２に表示し、ユーザーに食品名を指定させるようにしてもよい。
ユーザーにより食品名が指定された場合には、端末制御部３０は、指定された食品名に応じたレシピ情報Ｒをレシピ情報データベース４２４で検索し、そのレシピ情報Ｒをタッチパネル３２に表示させる。

「レシピ検索」の操作タブ３００を操作した場合に、冷蔵庫１に入庫された日付が古い食品から順にレシピ情報Ｒを表示させるようにしてもよい。
図８は、食品リスト表示の例を示す図である。
図８に示すように、冷蔵庫１に入庫された日付が古い食品から順に食品リストＬを表示させている。
ユーザーは、この食品リストＬの画面から、任意の食品を選択することで、端末制御部３０により、対応する食品のレシピ情報Ｒをレシピ情報データベース４２４から取出してタッチパネル３２に表示させる。

なお、食品リストＬに表示させる食品の優先順位を、入庫の日付ではなく、任意の優先順位を設定できるようにしてもよい。
さらに、冷蔵室１１、野菜室１５、冷凍室１４に入庫されている食品の在庫リストを表示させ、この食品在庫リストからレシピ情報Ｒを表示させる食品を選択させるようにしてもよい。
また、ユーザーが使いたい食品を逐次入力させることで、レシピ情報Ｒを表示させるようにしてもよい。

［１－２－１．食品の撮影動作］
次に、食品の管理に係わる食品管理システム１０００の各部の動作について説明する。

まず、冷蔵室用カメラ２１及び引出用カメラ２２の撮影に係わる食品検出装置２の動作について説明する。
図９は、食品検出装置２の動作を示すフローチャートである。
図９に示す動作では、センサー部２１２が有する各種センサーの検出値を、センサーモジュール２１０がセンサー側モジュール間通信部２１３によってカメラモジュール２２０に送信し、且つ、カメラモジュール２２０がカメラ側モジュール間通信部２２４によって当該検出値を受信している。そして、図８に示す動作では、検出値処理部２２１Ａがセンサーモジュール２１０から受信した各種の検出値に基づいて処理を実行している。

カメラモジュール２２０の撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ１）。

撮影制御部２２１Ｂは、検出値処理部２２１Ａから、人物が存在することを示す人物存在有無情報を取得した場合、ステップＳＡ１において肯定判別し、検出値処理部２２１Ａから、人物が存在しないことを示す人物存在有無情報を取得した場合、ステップＳＡ１において否定判別する。

撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による動画像の撮影を開始する（ステップＳＡ３）。

一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ１：ＮＯ）、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれかが開状態であるか否かを判別する（ステップＳＡ２）。

撮影制御部２２１Ｂは、検出値処理部２２１Ａから開状態を示す開閉状態情報を取得した場合、ステップＳＡ２において肯定判別し、検出値処理部２２１Ａから閉状態を示す開閉状態情報を取得した場合、ステップＳＡ２において否定判別する。

撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれも開状態でないと判別した場合（ステップＳＡ２：ＮＯ）、処理をステップＳＡ１に戻し、再度、ステップＳＡ１の処理を実行する。

撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかが開状態であると判別した場合（ステップＳＡ２：ＹＥＳ）、ステップＳＡ３の処理を実行する。

ステップＳＡ３において撮影が開始すると、カメラモジュール２２０の動画像処理部２２１Ｃは、動画像を構成するフレームごとに、ステップＳＡ４－ステップＳＡ８の処理を実行する。

冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を開始すると、動画像処理部２２１Ｃは、開閉状態情報を検出値処理部２２１Ａから取得する（ステップＳＡ４）。

次いで、動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果について、１フレーム分の撮影画像を縮小する（ステップＳＡ５）。ここでいう縮小とは、いわゆるリサイズである。

動画像処理部２２１Ｃは、縮小した１フレーム分の撮影画像と、ステップＳＡ４で取得した開閉状態情報とを対応付けて、カメラ記憶部２２１２に記憶する（ステップＳＡ６）。なお、動画像処理部２２１Ｃは、ステップＳＡ６を行うたびに、時系列に並べて記憶していく。

次いで、撮影制御部２２１Ｂは、ステップＳＡ１と同様に、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ７）。

撮影制御部２２１Ｂが、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ７：ＹＥＳ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。

一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ７：ＮＯ）、ステップＳＡ２と同様に、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であるか否かを判別する（ステップＳＡ８）。

撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、及び引出１２Ａ、１３Ａ、１４Ａ、１５Ａの全てが閉状態でないと判別した場合（ステップＳＡ８：ＮＯ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。

一方、撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であると判別した場合（ステップＳＡ８：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による撮影を終了する（ステップＳＡ９）。

［１－２－２．食品の管理動作］
次に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づく食品の管理に係わる動作について説明する。
図１０は、食品検出装置２及び食品管理サーバー４の動作を示すフローチャートである。図１０において、フローチャートＦＢは、食品検出装置２の動作を示す。また、図１０において、フローチャートＦＣは、食品管理サーバー４の動作を示す。

食品検出装置２のカメラモジュール２２０の食品検出部２２１Ｄは、カメラ記憶部２２１２に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果である動画像が記憶されたか否かを判別する（ステップＳＢ１）。

食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されていないと判別した場合（ステップＳＢ１：ＮＯ）、再度、ステップＳＢ１の処理を実行する。

一方、食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されたと判別した場合（ステップＳＢ１：ＹＥＳ）、有効フレーム判定処理を実行する（ステップＳＢ２）。

有効フレーム判定処理は、カメラ記憶部２２１２に記憶された動画像を構成するフレームから有効フレームを判定し、有効フレームとして判定されたフレームを動画像から抽出する一方、有効フレームとして特定されなかったフレームについては動画像から破棄する処理である。有効フレームとは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの少なくともいずれかが開状態である場合の像が写るフレームである。

食品検出部２２１Ｄは、有効フレーム判定処理を実行すると、有効フレームから、冷蔵庫１に入出庫された食品を検出する（ステップＳＢ３）。ステップＳＢ３の処理では、有効フレームから食品が検出できた場合、検出できた食品について食品の種類及び入出庫された収容室も併せて検出する。なお、食品検出部２２１Ｄは、食品の種類として、食品名より広義な分類で検出する。例えば実際に入出庫された食品が牛乳である場合、食品検出部２２１Ｄは、ステップＳＢ３において、食品の種類を、「パックの飲料物」と検出する。

例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、有効フレームから冷蔵庫１に入出庫された食品を検出する。また、例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、検出できた食品の種類を検出する。また、例えば、食品検出部２２１Ｄは、カメラの種類や、有効フレームに写る引出１６Ａのサイズ等に基づいて、検出できた食品が入出庫された収容室を検出する。
ステップＳＢ３において検出に必要なデータは、カメラモジュール制御部２２１が取得可能な記憶領域に記憶されている。

食品検出部２２１Ｄは、有効フレームから、冷蔵庫１に入出庫された食品を検出できか否かを判別する（ステップＳＢ４）。

食品検出部２２１Ｄは、有効フレームから冷蔵庫１に入出庫された食品を検出できなかったと判別した場合（ステップＳＢ４：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を実行する。なお、ステップＳＢ４において否定判別してからステップＳＢ１を再度実行するまでの間に、食品検出部２２１Ｄは、有効フレームの破棄を行ってもよい。これにより、食品が検出できなかった不要な動画像がカメラ記憶部２２１２に記憶され続けることを防止できる。

一方、食品検出部２２１Ｄは、冷蔵庫１に入出庫された食品を検出できたと判別した場合（ステップＳＢ４：ＹＥＳ）、入出庫判定処理を行う（ステップＳＢ５）。

入出庫判定処理は、ステップＳＢ３が検出できた食品が、冷蔵庫１に入庫された食品であるか出庫された食品であるかを判定する処理である。
例えば、食品検出部２２１Ｄは、入出庫判定処理において、ステップＳＢ３で検出できた食品の像の動画像における移動方向を、有効フレームに基づいて判定する。食品検出部２２１Ｄは、食品の像の移動方向が、後方、すなわち冷蔵庫１に近づく方向である場合、検出した食品が冷蔵庫１から入庫された食品であると判定する。また、食品検出部２２１Ｄは、食品の像の移動方向が、前方、すなわち冷蔵庫１から離れる方向である場合、検出した食品が冷蔵庫１から出庫された食品であると判定する。

次いで、食品検出部２２１Ｄは、検出できた食品の食品画像ＦＧを有効フレームから切り出す（ステップＳＢ６）。以下の説明において、切り出された食品画像ＦＧを「切り出し食品画像」という。

食品検出部２２１Ｄは、食品管理サーバー４に食品の管理を要求する食品管理要求情報を、カメラモジュール通信部２２３により食品管理サーバー４に送信する（ステップＳＢ７）。

食品管理サーバー４に送信される食品管理要求情報は、カメラ記憶部２２１２が記憶する食品検出装置ＩＤ２２１５を含む。
また、食品管理サーバー４に送信される食品管理要求情報は、動画像の撮影が行われた日時を示す日時情報を含む。
また、食品管理サーバー４に送信される食品管理要求情報は、ステップＳＢ３において検出された食品ごとに、切り出し食品画像の画像データ、入出庫判定処理の判定結果を示す入出庫判定結果情報、検出した入庫先又は出庫先を示す保存場所情報４２３４、及び検出した食品の種類を示す食品種類情報を含む。

フローチャートＦＣを参照し、食品管理サーバー４のサーバー制御部４０の食品認識部４１００は、サーバー通信部４１により、食品管理要求情報を受信したか否かを判別する（ステップＳＣ１）。

食品認識部４１００は、食品管理要求情報を受信していないと判別した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の処理を実行する。

一方、食品認識部４１００は、食品管理要求情報を受信したと判別した場合（ステップＳＣ１：ＹＥＳ）、食品管理要求情報に含まれる画像データが示す切り出し食品画像に基づいて、食品認識処理を行う（ステップＳＣ２）。

本実施の形態における食品認識処理は、切り出し食品画像から食品を認識し、認識した食品について食品画像ＦＧと食品名情報４２３２とを食品情報データベースから取得する処理である。

食品情報データベースは、食品に係わる情報を格納するデータベースであり、例えば、食品ごとに、食品画像ＦＧの画像データ及び食品名情報４２３２を格納する。食品情報データベースは、食品管理サーバー４に記憶されていてもよいし、食品管理サーバー４が通信可能な機器に記憶されていてもよい。

例えば、食品の認識は、以下のように行われる。
食品認識部４１００は、食品情報データベースに格納される食品画像ＦＧから、切り出し食品画像と最も一致度の高い食品画像ＦＧを特定する。一致度は、例えば、形状や、色等の特徴量に基づいて所定のアルゴリズムにより算出される。そして、食品認識部４１００は、特定した食品画像ＦＧが示す食品が、切り出し食品画像が示す食品であると認識する。

なお、食品認識部４１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって食品認識を行ってもよい。例えば教師用の食品画像ＦＧから食品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバー記憶部４２０に記憶させておく。食品認識部４１００は、食品管理要求情報に含まれる食品画像ＦＧを入力データとして、学習済みモデルを参照し当該食品画像ＦＧが示す食品を認識する。ここで、この学習済みモデルがグローバルネットワークＧＮに接続する食品管理サーバー４以外の機器に記憶させており、食品管理サーバー４において食品を認識する構成でもよい。この構成の場合、食品認識部４１００は、食品管理要求情報に含まれる食品画像を、学習済みモデルを記憶する機器に送信し、この機器から食品の特定結果を取得する。そして、食品認識部４１００は、取得した特定結果が示す食品を、切り出し食品画像が示す食品であると認識する。

食品認識部４１００は、食品の認識を行うと、認識した食品について食品画像ＦＧ及び食品名情報４２３２を、食品情報データベースから取得する。

次いで、食品認識部４１００は、食品認識処理を行うと、食品認識処理の処理結果に基づいて食品管理データベース４２３を更新する（ステップＳＣ３）。

ここで、ステップＳＣ３について詳述する。
まず、食品認識部４１００は、食品管理要求情報に含まれる食品検出装置ＩＤ２１２５を有するレコードＲを食品管理データベース４２３から特定する。

次いで、食品認識部４１００は、受信した食品管理要求情報に含まれる入出庫判定結果情報に基づいて、認識した食品が、冷蔵庫１に入庫された食品であるか、冷蔵庫１から出庫された食品であるかを判定する。

食品認識部４１００は、認識した食品が、冷蔵庫１から出庫された食品であると判定した場合、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を減らす処理を行う。減らす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる食品画像ＦＧに基づいて算出される。ここで、更新後の残量情報４２３３がゼロを示す場合、食品認識部４１００は、保存開始日情報４２３５が示す保存開始日、及び期限日情報４２３６が示す期限日をブランクにしてもよい。

食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのある食品については、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を増やす処理を行う。増やす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出される。また、食品認識部４１００は、食品管理要求情報に含まれる日時情報が示す日付を、保存開始日情報４２３５が示す保存開始日に変更する処理を行う。また、食品認識部４１００は、演算や問い合わせ等の所定の方法によって、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日を取得し、期限日情報４２３６が示す期限日を取得した期限日に変更する処理を行う。

また、食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのない食品については、特定したレコードＲのユーザーＩＤ４２３１に対して、新たな各種情報を対応付ける。

特定したレコードＲのユーザーＩＤ４２３１に対応付けられる各種情報には、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９が含まれる。
ここで、食品名情報４２３２は、食品認識処理の際に取得した食品名情報４２３２である。
また、残量情報４２３３は、例えば、食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出された残量を示す。
また、保存場所情報４２３４は、食品管理要求情報に含まれる保存場所情報４２３４である。
また、保存開始日情報４２３５は、食品管理要求情報に含まれる日時情報が示す日付を示す。
また、期限日情報４２３６は、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日、或いはブランクを示す。
また、期限日通知タイミング情報４２３７及び新規通知タイミング情報４２３８は、デフォルトのタイミング、或いはブランクを示す。
また、食品画像データ４２３９は、食品認識処理の際に取得した食品画像ＦＧを示す。

以上のようにして、食品管理システム１０００では、食品検出装置２が、撮影結果の動画像から有効フレームを判定し、有効フレームから食品を検出し、検出した食品の食品画像ＦＧを有効フレームから切り出す。そして、食品管理システム１０００では、食品管理サーバー４が、切り出し食品画像から食品の認識を行う。このような役割分担により、食品検出装置２が食品管理サーバー４に送信するデータ量を抑えつつ食品管理サーバー４において食品の認識ができる。よって、食品管理システム１０００において、通信量の増大を抑制しつつ、冷蔵庫１に入出庫された食品を認識できる。

［１－２－３．レシピ情報の表示動作］
次に、レシピ情報Ｒの表示動作について説明する。
図１１は、レシピ情報Ｒの表示動作を示すフローチャートである。
食品検出装置２及び食品管理サーバー４の動作を示すフローチャートである。図１１において、フローチャートＳＤは、端末装置３の動作を示し、フローチャートＳＥは、食品管理サーバー４の動作を示す。

図１１に示すように、端末装置３のタッチパネル３２に冷蔵庫１（野菜室１５）の庫内全体の食品画像データＦを表示させた状態で（ＳＤ１）、「レシピ検索」タブが操作されると（ＳＤ２：ＹＥＳ）、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択する（ＳＤ３）。
続いて、端末制御部３０は、選択された食品がいずれの食品であるかを判断する（ＳＤ４）。
端末制御部３０は、食品の認識結果の確率を判断し（ＳＤ５）、認識された食品のレシピ情報Ｒを食品管理サーバー４に要求する（ＳＤ６）。

食品管理サーバー４は、食品のレシピ情報Ｒの要求があったら（ＳＥ１）、レシピ情報データベース４２４から対応する食品のレシピ情報Ｒを取出す（ＳＥ２）。
食品管理サーバー４は、取出した食品のレシピ情報Ｒを端末装置３に送信する（ＳＤＥ）。

端末装置３は、食品管理サーバー４からレシピ情報Ｒを受信したら（ＳＤ７）、受信したレシピ情報Ｒをタッチパネル３２に表示させる（ＳＤ８）。

［１－３．効果等］
以上、説明したように、本実施の形態においては、端末装置３のプロセッサーを、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から冷蔵庫１に収容された食品の種類を取得し、冷蔵庫１に収容された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末制御部３０として機能させる。
これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを提案することができ、使い勝手の向上を図ることができる。

また、本実施の形態においては、端末制御部３０は、レシピ情報Ｒが格納されたレシピ情報データベース４２４から、冷蔵庫１に収容された食品に応じたレシピ情報Ｒを取得し、タッチパネル３２（表示部）に表示させる。
これにより、冷蔵庫１に収容された食品のレシピ情報Ｒをレシピ情報データベース４２４から取出してタッチパネル３２に表示させることができる。

また、本実施の形態においては、端末制御部３０は、冷蔵庫１に収容された食品の画像データと、レシピ情報Ｒとを同時に表示させる。
これにより、食品の画像データとレシピ情報Ｒとを同時に表示させることで、食品の画像データに応じたレシピ情報Ｒを確認することができる。

また、本実施の形態においては、端末制御部３０は、食材の画像データに基づいて、食品の種類の認識確率に基づいて、認識確率の高い食品のレシピ情報Ｒを優先して表示させる。
これにより、食品の種類の認識結果の確率が高い食品のレシピ情報Ｒを優先的に表示させることで、必要なレシピ情報Ｒを得ることができる。

また、本実施の形態においては、端末制御部３０は、冷蔵庫１に入庫された日付が古い食品から順にレシピ情報Ｒを表示する。
これにより、冷蔵庫１に入庫された日付が古い食品のレシピ情報Ｒを表示させることで、食品の有効活用を図ることができる。

また、本実施の形態においては、端末装置３は、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から冷蔵庫１に収容された食品の種類を取得し、冷蔵庫１に収容された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末制御部３０を備える。
これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを容易に取得することができ、使い勝手の向上を図ることができる。

また、本実施の形態においては、レシピ表示システムは、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から前記冷蔵庫１に収容された食品の種類を取得する食品認識部と、食品認識部で認識された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末装置３とを備えた。
これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを容易に取得することができ、使い勝手の向上を図ることができる。

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

上述した実施の形態においては、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択するようにしているが、この場合に、ユーザーは、複数の食品を選択することができるようにしてもよい。この場合に、複数の食品の確率の高い組みあわせ順にレシピを提案するようにしてもよい。
また、例えば、図７で示したように、キャベツをユーザーが選択した場合に、キャベツの横に複数の食品の選択肢を表示するようにしてもよい。その後、ユーザーが１つまたは複数の食品を選択することで、レシピを提案するようにしてもよい。
さらに、図８においては、食品の画像情報を表示するようにしているが、画像情報とともに、または画像情報に代えて食品名を表示するようにしてもよい。

また、例えば、図７に示す四角枠３０１を選択することで、画像情報に基づく複数の食品の選択肢を表示させるようにしてもよい。この場合、例えば、画像情報に基づいて、確率の高い順に食品の選択肢を表示させるようにしてもよい。
そして、ユーザーが選択肢として表示された食品を選択することで、レシピを提案するようにしてもよい。
これにより、四角枠３０１で囲まれた食品が確定していない状態で、食品を選択してレシピを提案することが可能となる。

上述した実施の形態では、センサーモジュール２１０とカメラモジュール２２０とが別対である場合を例に挙げたが、一体で構成されてもよい。

例えば、上述した実施の形態では、本発明の開閉センサーとして、距離を測定する測距センサーを例示したが、本発明の開閉センサーは、ドア１１Ｃ及び引出１６Ａの開閉状態を検出可能であればよく、例えばカメラでもよい。

例えば、上述した実施の形態では、食品検出装置２を冷蔵庫１と別体の装置として例示したが、食品検出装置２は、冷蔵庫１に組み込まれ冷蔵庫１が備える装置でもよい。

例えば、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に限定されず、少なくてもよいし、さらに別の種類の部屋が形成されてもよい。また、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。

図４及び図５に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、食品検出装置２、端末装置３、及び食品管理サーバー４の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

また、例えば、図８、図９に示す動作のステップ単位は、食品管理システム１０００の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように、本発明に係るプログラムは、冷蔵庫に収納された食品のレシピを提案することできる用途に利用可能である。

１ 冷蔵庫
２ 食品検出装置
３ 端末装置
４ 食品管理サーバー
５ 通信装置
７ 商用交流電源
１１ 冷蔵室
１２ 製氷室
１３ 新鮮凍結室
１４ 冷凍室
１５ 野菜室
２１ 冷蔵室用カメラ
２２ 引出用カメラ
３０ 端末制御部
３１ 端末通信部
３２ タッチパネル
４０ サーバー制御部
４１ サーバー通信部
３００ 操作タブ
３０１ 四角枠
３１０ 端末プロセッサー
３２０ 端末記憶部
３２１ 制御プログラム
３２２ 設定データ
３２３ 食品管理用アプリ
４１０ サーバープロセッサー
４２０ サーバー記憶部
４２１ 制御プログラム
４２２ 設定データ
４２３ 食品管理データベース
４２４ レシピ情報データベース
ＧＮ グローバルネットワーク
Ｆ 食品画像データ
Ｒ レシピ情報
Ｌ 食品リスト

Claims (7)

1. 端末装置のプロセッサーを、
   冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる、
   プログラム。
2. 前記端末制御部は、
   レシピ情報が格納されたレシピ情報データベースから、前記冷蔵庫に収容された食品に応じたレシピ情報を取得し、前記表示部に表示させる、
   請求項１に記載のプログラム。
3. 前記端末制御部は、
   前記冷蔵庫に収容された食品の画像データと、前記レシピ情報とを同時に表示させる、
   請求項２に記載のプログラム。
4. 前記端末制御部は、
   前記食品の画像データに基づいて、食品の種類の認識確率に基づいて、認識確率の高い食品のレシピ情報を優先して表示させる、
   請求項３に記載のプログラム。
5. 前記端末制御部は、
   前記冷蔵庫に入庫された日付が古い食品から順にレシピ情報を表示する、
   請求項１から請求項４のいずれか一項に記載のプログラム。
6. 冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された前記食品に応じたレシピ情報を表示部に表示する端末制御部を備える、
   端末装置。
7. 冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得する食品認識部と、
   前記食品認識部で認識された食品に応じたレシピ情報を表示部に表示する端末装置とを備えた、
   レシピ表示システム。

Images