JP2021165622A - 食材貯蔵システム、嗜好情報取得方法および嗜好情報取得装置 - Google Patents

Abstract

【課題】ユーザの食材選択傾向を能動的に、効率的にそして広く収集することができる食材貯蔵システムを提供する。【解決手段】食材貯蔵システムは、冷却ユニットと、冷却ユニットと組み合わせられた貯蔵室１００と、ユーザの眼球情報を含む第１画像信号を取得する第１カメラ１０８と、プロセッサ１１４と、貯蔵室１００内の食材の収納位置を示す食材位置データおよびプロセッサ１１４によって実行されるプログラムを格納するメモリ１１２とを備える。そして、プログラムは、プロセッサ１１４に、（ａ）第１画像信号に基づき、ユーザの視認行為を特定し、（ｂ）視認行為の貯蔵室１００におけるターゲット位置を特定し、当該ターゲット位置とメモリ１１２に記憶される食材位置データとを関連づけし、（ｃ）視認行為に基づいて、ターゲット位置に対応する収納位置に置かれる食材に対するユーザの関心度を出力する、ことを行わせる。【選択図】図３

Description

本開示は、冷蔵装置に関し、さらに詳しくは食材貯蔵システム、嗜好情報取得方法および嗜好情報取得装置に関する。

情報技術の急速な発展に伴い、情報は家電業界の発展における主要な傾向となっている。冷蔵装置を例にとると、特許文献１に開示されているような既存のスマート冷蔵庫は、通常、豊富な対話機能を備えており、ユーザはその冷蔵庫の表面に設置したタッチスクリーン装置を介して、食材管理および対話型購買を行うことができる。

中国特許出願公開第１０２５１９２１８号明細書

ところで、原料（例えば、食材）の種類の増加に伴い、消費者（ユーザ）の消費の選択は徐々に増加しており、消費者の食材を選択する傾向を収集することで、消費者需要予測の精度を向上させることができる。例えば、レストランでは、消費者の選択した食材に基づいて消費者により適したメニューを提供することができる。また、レシピベースのアプリケーションサービスプロバイダは、消費者の好みにより敏感で、消費者の選択した食材に基づいて栄養が豊富なレシピを提供することができる。

上記のように、食材の選択に対するユーザの嗜好を収集し、ユーザのニーズを深く掘り下げることは、ユーザにより適切なサービスを提供するために非常に重要である。しかしながら、食材情報を処理するために既存のユーザ端末によって使用されるタッチスクリーン装置は、消費者に入力または選択を必要とし、ユーザコマンドを受動的に受信するだけでは、そのような個人化されたデータの提供にはほとんど貢献しない。

従来技術における上記問題を解決するために、本開示は、ユーザの食材選択傾向を能動的に、効率的にそして広く収集することができる食材貯蔵システム等を提供する。

本開示の一態様に係る食材貯蔵システムは、冷却ユニットと、前記冷却ユニットと組み合わせられた貯蔵室と、ユーザの眼球情報を含む第１画像信号を取得する第１撮像部と、処理部と、前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、（ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、（ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される食材位置データとを関連づけし、（ｃ）前記視認行為に基づいて、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力する、ことを行わせる。

また、本開示の一態様に係る嗜好情報取得方法は、ユーザの眼球情報を含む第１画像信号を取得するステップと、前記第１画像信号に基づき、ユーザの視認行為を特定するステップと、前記視認行為のターゲット位置を特定し、前記ターゲット位置と貯蔵室内の食材の収納位置を示す食材位置データとを関連づけるステップと、前記視認行為を解析し、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力するステップと、を含む。

また、本開示の一態様に係る嗜好情報取得装置は、冷却ユニットと組み合わせられた貯蔵室における、ユーザの眼球情報を含む第１画像信号を取得する取得部と、処理部と、前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、（ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、（ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される前記食材位置データとを関連づけし、（ｃ）前記視認行為を解析し、ユーザが前記食材の収納位置に置かれる食材に対する関心度を出力する、ことを行わせる。

本開示の一態様に係る食材貯蔵システム等によれば、ユーザの食材選択傾向を能動的に、効率的にそして広く収集することができる。

図１は、実施の形態１における冷蔵陳列ケースの全体構成を示す概略図である。 図２は、図１の冷蔵陳列ケースの回路構成の概略図である。 図３は、図１の冷蔵陳列ケースにおける使用者の食材選択傾向を収集する方法のフローチャートである。 図４は、実施の形態２における家庭用冷蔵庫の概略図である。 図５は、図４における家庭用冷蔵庫の回路構成の概略図である。 図６は、実施の形態３における食材貯蔵システムの概略図である。 図７は、実施の形態４における家庭用冷蔵庫の回路構成の概略図である。

（本開示の概要）
本開示の一態様に係る食材貯蔵システムは、冷却ユニットと、前記冷却ユニットと組み合わせられた貯蔵室と、ユーザの眼球情報を含む第１画像信号を取得する第１撮像部と、処理部と、前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、（ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、（ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される食材位置データとを関連づけし、（ｃ）前記視認行為に基づいて、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力する、ことを行わせる。

これにより、食材貯蔵システムは、ユーザの眼球情報を含む第１画像信号から特定されるユーザの視認行為に基づいて、収納位置に置かれている食材に対するユーザの関心度を出力することができる。つまり、食材貯蔵システムは、ユーザからの選択を受け付けることなく、ユーザの食材選択傾向を収集することができる。例えば、タッチスクリーン技術を用いてユーザから選択を受け付ける場合と比べて、ユーザとの対話コストを削減することができる。

また、貯蔵室内の食材に対して、ユーザの食材選択傾向を取得することができる。通常、貯蔵室には、複数の食材が貯蔵されるので、複数の食材のそれぞれに対するユーザの食材選択傾向を取得することができる。つまり、ユーザの食材選択傾向を広く収集することができる。

よって、本開示に係る食材貯蔵システムによれば、ユーザの食材選択傾向を能動的に、効率的にそして広く収集することができる。

また、例えば、前記（ｂ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、さらに、前記第１撮像部の向き及び前記第１画像信号における眼球の位置から、前記ユーザの眼球位置ベクトルデータを取得し、前記第１画像信号に基づき、前記ユーザの視認方向データまたは視認ベクトルデータを取得し、前記眼球位置ベクトルデータと、前記ユーザの前記視認方向データまたは前記視認ベクトルデータとに基づき、前記ターゲット位置を特定する、ことを行わせてもよい。

これにより、例えば、ユーザの眼球位置と視線方向とを重ね合わせて、ユーザの視線方向経路と貯蔵室との交差位置を算出することで、距離の情報を用いずにユーザの視認行為のターゲット位置を取得することができる。また、例えば、ユーザの眼球ベクトルと視線ベクトルとを重ね合わせることで、ユーザの視認行為のターゲット位置を直接取得することができる。

また、例えば、前記（ｂ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、さらに、前記第１画像信号のタイムシーケンス情報に基づき、前記ユーザによる前記視認行為の継続時間を分析する、ことを行わせてもよい。

これにより、ユーザにおける食材に対する関心度を、視認行為の継続時間を用いて取得することができる。よって、より精度よく関心度を取得することができる。

また、例えば、前記（ａ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、前記第１画像信号から眼球の移動速度及び方向を解析し、前記ユーザの前記視認行為を特定する、ことを行わせてもよい。

これにより、プロセッサは、第１画像信号に基づいて眼球の移動速度を分析することができる場合に、当該移動速度及び方向（例えば、サッケード運動の停止位置に基づく注視方向）から、ユーザの視認行為を特定することができる。例えば、第１カメラの撮影速度が眼球の移動速度を分析することができる程度に速い場合に有効である。

また、例えば、前記ユーザの前記視認行為によって更新された情報を表示するディスプレイをさらに備えてもよい。

これにより、ユーザの視認行為によって更新された最新の情報をディスプレイに表示することができる。よって、ディスプレイは、より適切な情報をユーザに表示することができる。例えば、ディスプレイは、ユーザが視認している食材を用いてメニュー等表示することで、ユーザの食材の選択を支援することができる。

また、例えば、前記処理部によって出力された前記ユーザの前記視認行為と関連付けられた第１食材に対する関心度が、所定条件を満たした場合、前記第１食材を含むメニューを前記ディスプレイに表示させるメニュー推薦ユニットをさらに備えてもよい。

これにより、食材貯蔵システムは、ユーザが視認している食材を用いたメニュー（例えば、レシピ等）をディスプレイに表示することで、ユーザの食材選択を支援することができる。

また、例えば、前記第１食材を含む前記メニューが複数の場合、前記メニュー推薦ユニットは、ユーザ嗜好、前記貯蔵室に収納されるほかの食材の種類、数量、成分含有量、カロリーの少なくとも１つ以上の情報に基づき、複数の前記メニューの表示順を決定してもよい。

これにより、複数のメニューを適切な表示順で表示することができるので、ユーザの食材選択をさらに適切に支援することができる。

また、例えば、前記貯蔵室は、複数の貯蔵区画に仕切られ、前記複数の貯蔵区画のそれぞれに表示ランプが設けられており、前記処理部は、前記ユーザが前記ディスプレイに表示されたメニューを選択した場合に、選択されたメニューに含まれる食材が収納されている貯蔵区画の表示ランプを点灯させてもよい。

これにより、ユーザは、選択したメニューに含まれる各種食材をより簡単かつ迅速に取り出すことができる。

また、例えば、前記メモリ部は、さらに、前記貯蔵室に収納される食材の生産日付情報または賞味期限情報を記憶し、前記処理部は、当該処理部によって出力された前記ユーザの前記視認行為と関連付けられた第２食材に対する関心度が、所定条件を満たし、かつ前記第２食材が複数個である場合、第２食材ごとの前記生産日付情報または賞味期限情報を前記ディスプレイに表示させてもよい。

これにより、ユーザは、ディスプレイに表示された生産日付情報または賞味期限情報を確認することで、複数個の第２食材から適切な第２食材を取り出すことができる。

また、例えば、前記貯蔵室内に設けられ、前記貯蔵室内に収納される食材を含む第２画像信号を取得する第２撮像部をさらに備え、前記第２撮像部は、前記処理部と通信接続されており、前記第２画像信号に基づき、前記メモリ部に格納される前記食材位置データを更新してもよい。

これにより、食材位置データは、最新の状態に維持される。食材貯蔵システムがメニューを表示する場合、食材の最終も数量に基づいて当該メニューを提案することが可能となる。つまり、その時点での食材の在庫に適したメニューを提案することができる。

また、例えば、ユーザを識別するユーザ識別ユニットと、前記ユーザ識別ユニットと通信接続され、前記ユーザ識別ユニットから送信された解錠信号に基づき、解錠施錠を行う電子錠とをさらに備えてもよい。

これにより、食材貯蔵システムのセキュリティを向上させることができる。

また、例えば、前記ユーザ識別ユニットは、前記第１画像信号に基づき、ユーザを識別してもよい。

これにより、食材位置システムは、第１カメラが撮影する第１画像信号に基づきユーザを識別することができる。つまり、食材貯蔵システムは、ユーザ識別のための情報を取得する構成要素を追加することなく、ユーザを識別することができる。

また、例えば、前記食材には、ＲＦＩＤタグが貼付されており、前記貯蔵室を無線周波数電磁場でカバーするＲＦＩＤ無線周波数装置と、少なくとも一部の食材の在庫情報を管理する在庫管理ユニットとをさらに備え、前記在庫情報は、前記ＲＦＩＤ無線周波数装置が前記貯蔵室内のＲＦＩＤタグをスキャンした結果を含んでもよい。

これにより、食材貯蔵システムは、少なくとも一部の食材の在庫情報を容易に取得することができる。また、食材貯蔵システムは、例えば、当該在庫情報に基づいて、ディスプレイに表示する表示内容を変更することで、ユーザに当該在庫情報に適した情報を表示することができる。

また、例えば、前記在庫管理ユニットからの前記在庫情報に基づいて、買い物リストを作成し、ユーザまたはサーバに送信する食材補充ユニットをさらに備えてもよい。

これにより、食材貯蔵システムは、在庫情報に基づいて、例えば、ユーザに買い物を促すことができるので、食材の在庫がなくなってしまうことを抑制することができる。

また、本開示の一態様に係る嗜好情報取得方法は、ユーザの眼球情報を含む第１画像信号を取得するステップと、前記第１画像信号に基づき、ユーザの視認行為を特定するステップと、前記視認行為のターゲット位置を特定し、前記ターゲット位置と貯蔵室内の食材の収納位置を示す食材位置データとを関連づけるステップと、前記視認行為を解析し、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力するステップと、を含む。

これにより、上記の食材貯蔵システムと同様の効果を奏する。

また、本開示の一態様に係る嗜好情報取得装置は、冷却ユニットと組み合わせられた貯蔵室における、ユーザの眼球情報を含む第１画像信号を取得する取得部と、処理部と、前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、（ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、（ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される前記食材位置データとを関連づけし、（ｃ）前記視認行為を解析し、ユーザが前記食材の収納位置に置かれる食材に対する関心度を出力する、ことを行わせる。

これにより、ユーザの食材選択傾向を能動的に、効率的にそして広く収集することができる嗜好情報取得装置を、実現することができる。

以下、添付図面を参照しながら本開示の好適な実施の形態について説明する。当業者であれば、これらの実施の形態は本開示の技術的原理を説明するためにのみ使用されており、本開示の範囲を限定することを意図していないことを理解すべきである。当業者は、特定の用途に合うように必要に応じてそれを調整することができる。すなわち、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。

本開示の好ましい実施の形態の説明において、「上」、「下」、「左」、「右」、「前」、「後」、「垂直」、「水平」、「内側」、「外側」などの用語または位置関係は、図面に示される向きまたは位置関係に基づいており、これは説明の便宜上のものであり、装置または構成要素が特定のものを有する必要があることを示すまたは意味するものではない。特定の向きにおける向き、構成および動作は、本開示を限定するものとして解釈されるべきではない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態１）
本実施の形態は、スーパーマーケットに設置して顧客に販売する食材を陳列することができる冷蔵陳列ケース１を提供する。図１は、本実施の形態における冷蔵陳列ケース１の全体構成を示す概略図である。

図１に示すように、冷蔵陳列ケース１は、複数の副木１０２およびスペーサー１０４によって画定された複数の収納エリア１０６を含む貯蔵室１００を備え、これらの各々は１つまたは複数の食材を貯蔵することができる。複数の収納エリア１０６は、複数の副木１０２およびスペーサー１０４によって仕切られた複数の貯蔵区画である。貯蔵室１００は、冷凍室であってもよいし、冷蔵室であってもよい。冷蔵陳列ケース１は、食材貯蔵システムの一例である。

冷蔵陳列ケース１の冷蔵部として機能するコンプレッサ１１０は、貯蔵室１００と連結され、冷蔵陳列ケース１の下部に配置され、貯蔵室１００の冷却及び温度調節が可能である。ここでの冷却は、冷蔵するための冷却であってもよいし、冷凍するための冷却であってもよい。また、コンプレッサ１１０は、冷却ユニットの一例である。

また、冷蔵陳列ケース１の上部には、間隔をあけて配置された２つの第１カメラ１０８が設けられているが、必要に応じて１つまたは３つ以上設けられてもよい。

第１カメラ１０８は、ユーザの眼球情報を含む第１画像信号を取得するためのセンサである。第１カメラ１０８は、人間の視線の追跡認識に必要な性能（例えば、解像度、フレーム数など）を満たす任意のカメラとすることができる。

第１カメラ１０８は、連続的に電源を入れることができ、あるいは人体の近接を検知するために人体近接センサなどの他の適切な検知装置によって電源を入れることができる。

第１カメラ１０８は、ユーザの目の高さに相応しい冷蔵陳列ケース１の前面の位置を向くように設置される。本開示の実施の形態において、第１カメラ１０８の設置高さは、例えば、１．０ｍ〜２．５ｍである。

第１カメラ１０８の取り付け高さは、その取り付け方向に応じて設定される。その取り付け方向は、例えば、目の画像のより大きな領域を得るために、０°〜４５°の中の特定の仰角若しくは俯角、又は、任意に選択された仰角若しくは俯角を有することができる。

第１カメラ１０８の視野は、異なる高さのユーザの目の画像が得られることを保証するために、４５°より大きいとよい。

第１カメラ１０８は、プロセッサ１１４の制御により、第１画像信号をメモリ１１２に記憶する。また、第１カメラ１０８は、第１撮像部の一例である。

図２は、本実施の形態における冷蔵陳列ケース１の回路構成を概略図である。図２に示すように、冷蔵陳列ケース１は、第１カメラ１０８の他に、メモリ１１２と、プロセッサ（ＣＰＵ）１１４と、ネットワークインターフェース１１６とを備える。なお、第１カメラ１０８、メモリ１１２、プロセッサ１１４、及び、ネットワークインターフェース１１６は、互いに通信可能に接続されている。メモリ１１２は、メモリ部の一例である。また、メモリ１１２とプロセッサ１１４とで、嗜好情報取得装置が構成される。嗜好情報取得装置は、ユーザの嗜好情報を取得するための処理を行う情報処理装置である。

メモリ１１２は、貯蔵室１００内の食材の内容を示す保管場所、及び、プロセッサ１１４によって実行されるプログラムなどを記憶する。メモリ１１２は、例えば、食材の内容と当該食材の保管場所とを対応付けて記憶する。食材の内容は、例えば、食材の種類（セロリ、肉、牛乳など）、数量などを含む。また、メモリ１１２は、冷蔵陳列ケース１が備える各構成要素を管理するためのプログラムであるオペレーティングシステム１１２Ｃを有する。

食材の収納位置を示す食材位置データは、保管場所データベース１１２Ａに保存される。

本開示のいくつかの実施の形態では、各収納エリア１０６は、単一の種類の食材のみを貯蔵する。すなわち、保管場所データベース１１２Ａは、各収納エリア１０６に対して、単一の種類の食材を記憶している。この場合、収納位置は、収納エリア１０６であってもよい。また、各収納エリア１０６は、当該収納エリア１０６の位置を特定するための座標を計算するための単位として使用することができる。例えば、最上層の右側の収納エリア１０６は、座標（２、５）であり得る。これは、最上層の右側の収納エリア１０６が、左から２番目であり、かつ、下から５番目の収納エリア１０６であることを示す。

また、左側の列の中間に位置する収納エリア１０６は、例えば、座標（１、３）で表すことができる。これは、左側の列の中間に位置する収納エリア１０６が、左から１番目であり、かつ、下から３番目の収納エリア１０６であることを示す。

本開示の他の実施の形態では、各収納エリア１０６は複数の種類の食材を貯蔵することもできる。この場合、食材の位置は、収納エリア１０６及び収納エリア１０６における食材の位置、又は、多次元を含む他の座標系によって記述することができる。

座標系は、成分の位置を表す。成分の位置は、例えば、座標系が直交座標系である場合、ｘ、ｙ、ｚ成分における位置（例えば、グローバル座標系における位置）であってもよい。食材の位置決め方法は、上記の方法を含むがこれに限定されず、その他のいかなる方法であってもよい。また、食材の位置決め方法の詳細は、本明細書では再度記載されない。

加えて、保管場所データベース１１２Ａは、受付部（図示しないが、例えば、ボタン又はタッチパネル）を介してユーザから手動で場所データの入力を受け付けること、又は、機械によって食材の場所を識別することによって食材位置データを取得してもよい。また、保管場所データベース１１２Ａは、所定の食材を所定の場所に手動で配置することを示す情報を、食材位置データとして記憶してもよい。なお、食材位置データの取得方法は、これらに限定されない。例えば、それらの組み合わせまたは他の適切な方法でもよい。

さらに、メモリ１１２は、第１カメラ１０８によって取得された１人または複数のユーザの眼球情報を含む第１画像信号に基づいて、特定の食材に対するユーザの関心レベルを判定するためのプログラムである関心判定モジュール１１２Ｂをさらに有する。

図３は、図１の冷蔵陳列ケース１における使用者（ユーザ）の食材選択傾向を収集する方法のフローチャートである。図３に示すように、関心判定モジュール１１２Ｂは、以下のステップを含む。言い換えると、関心判定モジュール１１２Ｂは、当該関心判定モジュール１１２Ｂが実行されたときに、プロセッサ１１４に図３に示す処理を実行させる。なお、図３では、第１画像信号を第１カメラ１０８から予め取得しており、それ以降の処理について説明する。

ステップＳ１００では、プロセッサ１１４は、第１画像信号に基づいてユーザの視認行為を決定（例えば、特定）する。

この実施の形態では、ユーザの様々な生理学的眼球運動は、第１画像信号のパラメータ分析、ユーザの眼球の運動範囲、運動速度（移動速度の一例）、運動方向、および頭部または視野が同時に動くかどうかの少なくとも１つに基づいて区別され得る。

一般的に受け入れられている４つの基本的なタイプの眼球運動がある。具体的には、前庭眼球運動、痙攣、円滑な追跡、およびサッケードである。

各タイプの眼球運動は、異なる神経回路を含む。異なる眼球運動は、異なる程度の意図的な（すなわち連続的な制御）および意図的でない（すなわち反射的な）神経経路を含む。例えば、異なる眼球運動は、異なる神経回路の作用により生じる。

眼球信号を認識するプロセスにおいて、眼球の意図的な動きを連続的な意図で伝えることができることが特に重要である。

前庭眼球運動は、眼球を反対方向に頭の回転と同じ角度で動かすことによって頭の動きを補正する。

これは、眼球の凹面領域に投影された外部画像を安定させる効果がある。

収束する眼球運動は、各眼球の中心窩を、観察者から離れたところにある物体に焦点を合わせて注視するように独立して整列させるために使用され得る。

したがって、本開示のいくつかの実施の形態では、第１画像信号内の２つの眼球運動の方向を分析することによって、輻輳運動を識別することは、視認行為を決定する方法のうちの１つとなり得る。

他のいくつかの基本的な動きとは異なり、輻輳運動は共役ではない。つまり、２つの眼球は同期して動くのではなく、比較的近い方向に動く。

合成輻輳角は、視線ベクトルを生成するためにユーザと見られているターゲットとの間の距離を分析するために使用され得る。

中枢神経系では、その過程は後頭葉と髄質網状ネットワークとを含む。

眼球運動の円滑な追跡は、ゆっくりとした意図的な眼球運動であり、動いている物体を追跡するために眼球の高解像度中心窩領域に動いている標的物体の投影を維持する。

視線の動きは、目の注視点を突然変更する急激な動きである。

ちらつきは、人体が生み出すことができる最も速い動きであり、９００°／秒もの高い角速度を達成することができる。

本開示の一の実施の形態では、食材は、使用者から遠く、２つの眼球運動の方向の差が小さくなるような位置に配置されるため、第１カメラ１０８で撮影された第１画像信号に基づいて使用者の眼球の輻輳運動を認識することが難しい。

したがって、サッケードの振る舞いも眼球の移動速度によって決定することができ、ユーザの視認行為は、タイムシーケンシャル情報と組み合わせることによって決定することができる。

カメラによってキャプチャされた画像信号を分析することによって眼球の生理学的運動を区別するためのさらなる技術は、特許文献１に関連する内容を参照することができ、本明細書では説明しない。

本開示のいくつかの他の実施の形態では、ユーザの視認行為は、他のパラメータと併せて包括的に決定されてもよい。例えば、ユーザの視認行為は、瞳孔の拡大、水晶体の適応、まぶたの動き、顔面の筋肉の動き、体と頭の動き、手の動き、および関連情報などの他の要因の少なくとも１つに基づいて決定することができる。

さらに、いわゆる深層学習などの機械学習技法を使用して、眼球運動パターンおよび他の入力を変換してユーザの視認行為を識別することができる。

眼球言語の構成要素として、眼球運動の一般化されたパターン（上記のように、眼球の６つの筋肉によって形成される）を識別するために、深層学習などの機械学習技法を使用することができる。

視認行為を識別することに加えて、眼球運動パターンもまた、ユーザの感情的および生理学的状態を決定するために使用され得る。

プロセッサ１１４は、視認行為があると判断した場合（Ｓ１００で成功の場合）、ステップＳ１０２に進み、視認行為のターゲット位置を分析し、このターゲット位置をメモリ１１２に記憶されている記憶位置（例えば、食材位置データ）と関連付ける（Ｓ１０２）。視認行為のターゲット位置の分析は、さらに以下のステップを含むことができる。なお、プロセッサ１１４は、視認行為がないと判断した場合（Ｓ１００で失敗の場合）、最初のステップに戻り処理を継続する。

ステップＳ１０２Ａでは、プロセッサ１１４は、第１カメラ１０８の向きおよび第１画像信号内の眼球の位置に従ってユーザの眼球ベクトル（眼球位置ベクトルデータの一例）を取得する。

本開示の一の実施の形態では、設置時に第１カメラ１０８の向きを決定してもよく、このとき、第１カメラ１０８の設置位置および設置角度に応じて、第１カメラ１０８の撮像画像の中心位置を決定してもよい。

第１画像信号内の眼球の位置と組み合わせて、眼球の位置情報は、眼球ベクトルを決定するために画像認識アルゴリズムによって抽出される。

本開示の他の実施の形態では、トラッキングスキャンなどの第１カメラ１０８の向きは調整可能であり、この場合、第１カメラ１０８の設置位置、設置角度、およびリアルタイムまたは記録された走査角度情報に従って、第１カメラ１０８によって捕捉された画像の中心の位置を決定する。

ステップＳ１０２Ｂでは、プロセッサ１１４は、第１画像信号を解析してユーザの視線方向または視線ベクトルを取得する。

本開示の一部の実施の形態では、第１カメラ１０８は、より高い解像度を有し、２つの眼球の位置および正確な向きを高解像度画像の形で記録することができる。その場合、視認行為は、輻輳角を合成することによって分析できる。

プロセッサ１１４は、視線ベクトル、乱流モーション停止の継続時間などに基づいて、視認行為の継続時間を分析する（決定する）。視線ベクトル、乱流モーション停止の継続時間などは、第１画像信号のタイムシーケンス情報の一例である。

本開示の他の実施の形態では、第１カメラ１０８は、より速い撮影速度を有する。そして、プロセッサ１１４は、第１画像情報（第１画像信号）に基づいて眼球の移動速度を分析することができ、その時点でサッケード運動の停止および持続時間を分析することによって、上記の視認行為を分析することができる。

例えば、視認行為の注視方向はサッケード運動の停止位置に従って分析することができ、視認行為の持続時間は停止後の持続時間に従って決定することができる。

本開示の他の実施の形態では、ユーザの視線方向または視線ベクトルを決定するために、上記の解析方法または他の適切な解析方法の組み合わせも使用され得る。

ステップＳ１０２Ｃでは、プロセッサ１１４は、ユーザの眼球位置と、視線方向または視線ベクトルとに基づいて、ユーザの視認行為のターゲット位置を決定する。プロセッサ１１４は、例えば、眼球ベクトルと、ユーザの視認方向または視認ベクトルとに基づき、ユーザによる視認行為のターゲット位置を特定することで、当該ターゲット位置を決定する（Ｓ１０２Ｃ）。

本開示のいくつかの実施の形態では、プロセッサ１１４は、例えば、サッケードモーションを使用して視認行為の状況を分析してもよい。また、ステップＳ１０２Ｂで提供されるユーザの視認行為に関連するデータが、ユーザの注視方向（視線方向）及び視線ベクトルのうち注視方向のみであり、注視対象（ターゲット位置の食材）およびユーザの間の距離を含まなくてもよい。

このとき、プロセッサ１１４は、ユーザの眼球位置と視線方向とを重ね合わせて、ユーザの視線方向経路と貯蔵室１００との交差位置を算出することで、ユーザの視認行為のターゲット位置を決定することができる。

本開示の他の実施の形態では、例えば、注視運動の状況を分析するために輻輳運動が使用され、ステップＳ１０２Ｃにおいて、注視対象とユーザとの間の方向および距離を含む視線ベクトルが提供される。このとき、ユーザの眼球ベクトルと視線ベクトルとを重ね合わせることで、ユーザの視認行為のターゲット位置を直接取得することができる。

その後、ステップＳ１０２Ｃで決定された視認行為のターゲット位置と、メモリに予め記憶されている記憶位置（例えば、食材位置データ）とが関連付けられる。

本開示のいくつかの実施の形態では、関連付けステップ（例えば、Ｓ１０２Ｃ）において、ターゲット位置の許容され得る偏差の範囲は、注視対象である食材の収納位置の近くの範囲であり、当該食材の輪郭サイズおよび配置範囲に従って決定され得る。

プロセッサ１１４は、偏差が所定の範囲外であれば（Ｓ１０２で失敗）、関連付けが失敗したと判断して最初のステップに戻り、処理を継続する。

視認行為のターゲット位置とメモリに保存された食材の保管場所との対応付けが成功する（Ｓ１０２で成功）と、ステップＳ１０４に進む。

ステップＳ１０４では、プロセッサ１１４は、視認行為を分析して、保管場所に対応する食材に対するユーザの関心レベルを決定する。プロセッサ１１４は、視認行為を解析し、ユーザが収納位置に置かれる食材に対する関心度を解析して出力する。なお、関心レベルは、ユーザの食材に対する関心度を意味する。

本開示のいくつかの実施の形態では、ステップＳ１０４において、食材に対するユーザの関心レベルのパラメータを決定することは、視認行為のタイムシーケンシャル情報を分析することなどによって、視認行為の期間を含むことができる。プロセッサ１１４は、イベントの開始時にタイムスタンプを行い、視認行為の期間を得ることができる。

視認行為の終了は、注視対象を離れるユーザの視線に基づいている。プロセッサ１１４は、例えば、ユーザの眼球内で眼球運動が生じていると判断された場合、ユーザの視線が他のターゲットに移動したことで、視認行為が終了したと判断し、視認行為の期間を計算する。

プロセッサ１１４は、視認行為の継続時間が時間閾値よりも大きい場合、ユーザは視線ターゲットに興味を持っていると考えられるため、保管場所に対応する食材に対するユーザの関心レベルを高くする。プロセッサ１１４は、例えば、当該食材の関心レベルを視認行為の前の関心レベルより高くしてもよいし、予め定められた関心レベル（高い関心レベル）としてもよい。このときの関心レベルは、例えば、第１レベルである。

本開示のさらに他の実施の形態では、ステップＳ１０４において、食材のユーザの関心レベルのパラメータを決定することは、視認行為期間中の視線ターゲットからのユーザの眼球距離または変化をさらに含み得る。

例えば、視認行為の継続中にユーザの眼球と視線ターゲットとの間の距離が一時的に減少するかまたは減少し続ける場合、対応する食材に対するユーザの関心レベルはある程度まで増加し得る。このときの関心レベルは、例えば、第１レベルより低い第２レベルである。

異なる食材に対するユーザの関心レベルのデータは、ローカルに格納されてもよく、またはネットワーク通信モジュール１１２Ｄを通じ、ネットワークインターフェース１１６を介してサーバ等の外部装置に送信されてもよい。

第１画像信号は、分析後にリアルタイムで自動的に削除されてもよく、または少なくとも部分的にメモリ１１２（例えば、第１画像信号データベース１１２Ｅ）に記憶されてもよい。第１画像信号データベース１１２Ｅは、この場合、例えば、第１カメラ１０８から第１画像信号を取得する取得部としても機能する。

このように、本実施形態に係る冷蔵陳列ケース１は、ユーザが指示を入力することなくユーザの食材選択傾向を収集することができる。つまり、冷蔵陳列ケース１は、収集モード（例えば、第１カメラ１０８からの第１画像信号に基づいてユーザの視認行為を収集するモード）が有効であり、人間の視線追跡技術を用いることで、タッチスクリーン技術と比べてユーザとの対話コストを削減することができる。

また、冷蔵陳列ケース１が食材販売端末に設置されているので、例えば、複数の食材を陳列しているなどサービス範囲が広く、ユーザの食材選択傾向を広く収集することができる。

要約すると、冷蔵陳列ケース１は、積極的に、効率的にそして広く材料を選択する傾向を集めることができる。

いくつかの実施の形態では、冷蔵陳列ケース１は、マーチャントまたはネットワークサービスプロバイダに、顧客またはユーザの食材選択傾向データを提供することができ、また、食材広告サービスプロバイダにターゲット商品および広告に対する広告効果のデータを提供することもできる。

なお、図３に示す処理を行うタイミングは特に限定されず、第１カメラ１０８から第１画像信号を取得するたびに実行されてもよいし、所定の時間間隔ごとに実行されてもよい。

なお、図３に示す処理は、サーバ装置により行われてもよい。サーバ装置は、例えば、嗜好情報取得装置と同様の構成を有し、冷蔵陳列ケース１から第１画像信号を取得し、図３に示す処理を実行してもよい。

（実施の形態２）
本実施の形態では、家庭用冷蔵庫２を備えており、図４に示すように、家庭用冷蔵庫２の前面には、家庭用冷蔵庫２の正面の特定領域の画像情報を取得するための第１カメラ１０８が設置されている。図４は、本実施の形態における家庭用冷蔵庫２の概略図である。図５は、図４における家庭用冷蔵庫２の回路構成の概略図である。なお、家庭用冷蔵庫２は、食材貯蔵システムの一例である。

ここで、第１カメラ１０８によってキャプチャされた第１画像信号に基づいてユーザの関心度を分析するための回路構造、ソフトウェア、および方法は、実施の形態１を参照することができ、詳細はここでは繰り返さない。

本実施の形態では、表示ディスプレイ２０２は、家庭用冷蔵庫２の冷蔵室扉の内壁に設けられており、ユーザの視認行為に応じて更新された情報を表示することができる。ユーザは、貯蔵室１００（ここでは、冷蔵室）の冷蔵室扉の内壁に表示ディスプレイ２０２が配置されているので、表示ディスプレイ２０２に表示されたレシピに従って食材を選択することができる。なお、ユーザは、レシピ機能を使用する際には、例えば、繰り返し冷蔵庫扉を切り替える（例えば、冷蔵庫扉への所定の操作により表示ディスプレイ２０２の表示を切り替える）必要がある。なお、表示ディスプレイ２０２は、ディスプレイの一例である。

本開示のいくつかの実施の形態では、食材に対するユーザの視認行為によって食材に対応する関心レベルが上がると、プロセッサ１１４は、ユーザの視認行為に基づいて表示ディスプレイ２０２によって表示される画像情報を更新することができる。上記の方法により、表示ディスプレイ２０２は、ユーザによるリアルタイムの食材選択に基づいて、より選択的にユーザに情報を配信することができる。

この実施の形態では、家庭用冷蔵庫２のメモリ１１２は、表示ディスプレイ２０２にレシピ等を含むレシピ推薦モジュール１１２Ｆをさらに記憶する。プロセッサ１１４は、貯蔵室１００内の第１食材のユーザの関心レベルが閾値より高いと判定することに応答して、レシピ推薦モジュール１１２Ｆを読み取ることができる。そして、プロセッサ１１４は、レシピ推薦モジュール１１２Ｆのレシピデータであって、第１食材を含むレシピデータを、表示ディスプレイ２０２に表示する。第１食材のユーザの関心レベルが閾値より高いことは、当該関心レベルが所定条件を満たすことの一例である。プロセッサ１１４は、所定条件を満たすか否かを判定する。

プロセッサ１１４は、第１食材を含むレシピが複数ある場合、レシピ推薦モジュール１１２Ｆに基づいて、ユーザの嗜好、既存の食材、既存の食材在庫、特定の成分含有量、およびカロリーに従って複数のレシピを分類することができる。レシピ推薦モジュール１１２Ｆには、例えば、事前に設定された複数のレシピを分類するための規則を示す情報が含まれる。

プロセッサ１１４は、例えば、第１カメラ１０８が家族の一員である「母親」が最大２秒間「セロリ」を注視し続けることを検出すると、事前に設定された規則に従って、長時間の注視行動によってメモリ１１２またはクラウド記録を修正し、ユーザの「母親」の「セロリ」に対する関心レベルを大幅に高める。つまり、プロセッサ１１４は、ユーザの「母親」の「セロリ」に対する関心レベルを、最大２秒間「セロリ」を注視し続ける前より大幅に高くする。

プロセッサ１１４は、関心レベルが閾値を超える場合、「セロリ」を使用して作成されたメニューをユーザが参照するために表示ディスプレイ２０２に表示させてもよい。

「乾燥セロリ」、「セロリフィレ」、「コールドセロリ」など、「セロリ」から作成できるレシピが複数ある場合、プロセッサ１１４は、例えば、ユーザの好み、既存の食材、食材の在庫、特定成分含有量、及び、カロリーの少なくとも１つに基づき、１つ以上の組み合わせで上記レシピを分類し、分類結果を表示ディスプレイ２０２に表示する。

プロセッサ１１４は、例えば、ユーザの好み、既存の食材、食材の在庫、特定成分含有量、及び、カロリーの少なくとも１つに基づき、複数のレシピの表示順を決定してもよい。プロセッサ１１４は、例えば、「乾燥セロリ」、「セロリフィレ」、及び、「コールドセロリ」のうち、ユーザが調理した回数に基づいて、複数のレシピの表示順を決定してもよい。ユーザが調理した回数に関する情報は、例えば、レシピ推薦モジュール１１２Ｆに含まれていてもよい。なお、プロセッサ１１４及びレシピ推薦モジュール１１２Ｆは、メニュー推薦ユニットの一例である。

本開示の他の実施形態では、レシピ推薦モジュール１１２Ｆのレシピデータもサーバ上に格納することができる。

以上のようにして、家庭用冷蔵庫２は、家庭内の使用者ごとに独立した食材選択傾向データベースを構築することができる。

いくつかの実施の形態では、食材選択傾向データベースをクラウドに保存し、ビッグデータ分析と組み合わせて、家族にターゲットを絞った食事の推薦を提供することができる。

また、本実施の形態では、家庭用冷蔵庫２の各収納領域２０６の容器表面に表示ランプ２０４が設けられている。プロセッサ１１４は、ユーザによりレシピが選択されると、レシピ中の食材が収納されている収納領域２０６を表示ランプ２０４で照明することができる。複数の収納領域２０６は、貯蔵室１００が所定の大きさに仕切られた複数の貯蔵区画である。

例えば、ユーザが「セロリフィレ」レシピを選択すると、プロセッサ１１４は、対応する収納領域２０６の表示ランプ２０４を照らすことによって、「セロリフィレ」に使用する「豚肉」の位置をユーザに示すこともできる。以上のようにして、家庭用冷蔵庫２の使用者（ユーザ）は、選択したレシピに含まれる各種食材をより簡単かつ迅速に取り込むことができる。

本開示の他の実施の形態では、家庭用冷蔵庫２は、各収納領域２０６に１つ以上の第２カメラ（図示しない）をさらに備えてもよい。当該第２カメラは、貯蔵室１００の収納スペースに向かって配置され、貯蔵室１００の食材の第２画像信号を取得することができる。第２カメラは、第２撮像部の一例である。

プロセッサ１１４は、第２画像信号を受信して処理することによって、貯蔵室１００内の食材の保管位置を示す、メモリ１１２に格納されたデータを更新することができる。具体的には、プロセッサ１１４は、第２画像信号に基づいて、保管場所データベース１１２Ａの食材位置データ（ここでは、食材の位置及び在庫を含むデータ）を更新することができる。

以上のようにして、家庭用冷蔵庫２は、貯蔵室１００内の食材の位置情報と少なくとも一部の食材の在庫情報とを動的に監視することができる。また、プロセッサ１１４は、豊富なリアルタイムの食材位置情報に基づいて、関心レベルにおける判断を実行することができる。また、第２カメラは、食材の在庫を監視し、補給を容易にすることが可能である。

また、メモリ１１２は、さらに、貯蔵室１００に収納される食材の生産日付を示す生産日付情報または情味期限を示す賞味期限情報を記憶していてもよい。そして、プロセッサ１１４は、当該プロセッサ１１４によって出力されたユーザの視認行為と関連付けられた食材（第２食材の一例）に対する関心度が所定条件を満たし、かつ当該食材の在庫が複数個である場合、当該食材ごとの生産日付情報または賞味期限情報を表示ディスプレイ２０２に表示させる。第２食材のユーザの関心レベルが閾値より高いことは、当該関心レベルが所定条件を満たすことの一例である。

プロセッサ１１４は、例えば、「セロリ」に対するユーザの関心レベルが閾値を超えると判断された場合、「セロリ」の全部または少なくとも一部の製造日を表示ディスプレイ２０２に表示することで、ユーザの選択を容易にすることができる。

なお、表示モジュール１１２Ｇには、表示ディスプレイ２０２に表示を行うための情報が記憶されている。

（実施の形態３）
本実施の形態は、図６に示すように、冷蔵陳列ケース３、ウェアラブル機器（またはヘッドマウント機器）、およびネットワーク３０２（またはサーバ側）を含む食材貯蔵システムを提供する。図６は、本実施の形態における食材貯蔵システムの概略図である。

この実施の形態では、第１カメラ１０８は、ウェアラブルデバイスの構成要素のうちの１つとして構成され、ユーザの眼球の一方または両方を見るために邪魔にならないように遠隔に配置またはヘッドウェアに取り付けられる。第１カメラ１０８は、眼球の第１画像信号を収集した後、ネットワーク３０２に送信する。

メモリ１１２およびプロセッサ１１４はすべて、ネットワーク３０２を介して接続されている。クラウドの強力な計算能力を使用して処理が完了した後、処理結果はウェアラブルデバイスおよび冷蔵陳列ケース３にフィードバックされる。ネットワーク３０２上のデータを処理するための方法については、実施の形態１における関連する解決策を参照することができ、ここでは詳細は再度説明しない。

上記のように、データ処理ステップ（例えば、図３に示すＳ１００〜Ｓ１０４の処理ステップ）を実行するために第１画像信号がクラウドに配信されることで、機器のコストを削減し、稼働率を高めることができる。

さらに、この解決策では、第１カメラ１０８がユーザの眼により近くなり、ユーザの眼球および視線方向または視線ベクトルを取得することがより容易になる。また、例えば、ユーザの眼球および視線方向または視線ベクトルの取得精度が向上する。

本開示のいくつかの実施の形態では、ウェアラブルデバイスは、共通の眼鏡フレーム内に埋め込まれるか、または共通の眼鏡フレームに取り付けられるか、またはグーグルグラスとして知られるようなウェアラブルコンピューティングデバイスまたはＳｅｎｓｏＭｏｔｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ（ＳＭＩ）によって製造されるリモートアイトラッキングデバイス内に取り付けられることもできる。

あるいは、眼球運動を追跡するための手段は、コンタクトレンズ内に含まれるか、またはコンタクトレンズと有機的に関連付けられてもよい。加えて、眼球運動を追跡するための手段は、眼球内、眼窩内、または動きを追跡するために視神経および／または筋肉に取り付けられることができる。

他の実施の形態では、ウェアラブルデバイスは、スマートフォン、タブレット、コンピュータ、スマートウォッチ、ディスプレイスクリーン、車のダッシュボード、看板、他人が着用するウェアラブルデバイスを含む任意の他の遠隔物体または場所に埋め込むことができる。

頭部装着型ウェアラブル機器とは対照的に、これらは通常、眼球からより大きな距離で（離れた位置から）眼球を撮像する。

他の実施の形態では、着用可能な装置はまた、様々な導波管技術を介して照明および／または眼球の画像の取得を制御することができる。

より具体的には、着用可能な装置は、Ｄｉｇｉｌｅｎｓによって製造されたもののような切替可能なブラッグ格子（ＳＢＧ）、電気的に切り替え可能な液晶格子、表面レリーフ格子（ＳＲＢ）、切替可能導波路ディスプレイまたはＭＥＭＳミラー（すなわちビーム制御）であり、光が眼球に向けられるときに光の起点の位置を制御するために、および／または逆に眼球から集められた光を空間的に選択するために使用され得る。

この場合、少ない数の照明源（単一の光源（例えば発光ダイオード、ＬＥＤ）を含む）および／または検出器（単一の検出器（例えばフォトダイオード）を含む）を用いて画像を照明（出力）および／または取得することができる。

照明源は、非コヒーレント（例えばＬＥＤ）またはコヒーレントな光源であり、例えば超低出力（目の安全のため）のダイオードレーザーを含む。

空間分解能は、電子選択的導波路（例えば、ＳＢＧ、ＳＲＧ、液晶、ＭＥＭＳミラー）によって提供することができる。

照明および画像捕捉は、追加的または代替的に、いわゆる「ヒートミラー」、フラウンホーファーレンズ、マイクロレンズアレイ、導波路合成器、全内部反射（ＴＩＲ）ホログラフィック導波路および／またはホログラフィックレンズまたは他の光学部品の反射または屈折を含む。

さらに、この実施の形態では、ネットワーク３０２のメモリ１１２は、貯蔵室１００内の食材の製造日を示すデータをさらに格納し、貯蔵室１００内の第２食材に対するユーザの関心が閾値より高いとプロセッサ１１４が判定したことに応答して、第２食材と同種の他の食材の製造年月日情報が表示ディスプレイ２０２に表示されてもよい。

具体的には、プロセッサ１１４は、「セロリ」に対するユーザの関心レベルが閾値を超えると判定された場合、「セロリ」の全部または少なくとも一部の製造日を表示し、ユーザの選択を容易にする。なお、上記の判定は、例えば、プロセッサ１１４により行われる。

（実施の形態４）
本実施の形態では、実施の形態２に係る家庭用冷蔵庫を例に説明する。図７は、本実施の形態における家庭用冷蔵庫の回路構成の概略図である。なお、家庭用冷蔵庫は、食材貯蔵システムの一例である。

図７に示すように、本実施の形態に係る家庭用冷蔵庫は、実施の形態２に係る家庭用冷蔵庫２に、さらに、電子ロック４１０と、ユーザ識別を識別することができるユーザ識別ユニット４２０と、貯蔵室１００を覆う無線周波数電磁場を形成することができるＲＦＩＤ無線周波数装置４３０とをさらに備える。

電子ロック４１０は、ユーザ識別ユニット４２０と通信しており、ユーザ識別ユニット４２０によって送信されたロック解除信号に従ってロック解除することができる。電子ロック４１０は、例えば、冷蔵庫扉の開閉（解錠施錠）を行う。電子ロック４１０は、電子錠の一例である。

食材の包装面にはＲＦＩＤタグが貼付されており、貯蔵室１００内の食材はＲＦＩＤ無線周波数装置４３０によってスキャンされるので、ＲＦＩＤ無線周波数装置４３０は、内部の食材の位置、在庫などの情報が得られる。

ＲＦＩＤ無線周波数装置４３０は、貯蔵室１００内のＲＦＩＤタグをスキャンし、ユーザが購入する食材の種類及び量を決定し、食材の摂取前後の食材の在庫の変化に従って自動的に決済することができ、それによって販売効率を大幅に改善する。

また、ＲＦＩＤ無線周波数装置４３０は、ＲＦＩＤタグをスキャンすることによって、貯蔵室１００内の食材の貯蔵位置データを補足することができ、それによって食材選択傾向データの収集過程の信頼性を向上させることができる。

また、例えば、本開示のいくつかの他の実施の形態では、ユーザ識別ユニット４２０は、第１画像信号に基づいてユーザを識別することができる。ユーザ識別ユニット４２０は、例えば、ユーザが所定のユーザである場合に、電子ロック４１０に解錠するための解錠信号を送信する。

例えば、プロセッサ１１４は、虹彩認識によって第１画像信号を分析してユーザの身元情報を取得してもよい。すなわち、ユーザ識別ユニット４２０は、プロセッサ１１４を含んで構成されてもよい。

さらに、ＲＦＩＤ無線周波数装置４３０は、内部食材の在庫情報を便利に監視することができる。内部食材の在庫情報は、在庫情報データベース１１２Ｈに記憶されている。プロセッサ１１４は、例えば、第２画像信号に基づいて、在庫情報データベース１１２Ｈに含まれる食材の在庫数を更新する。プロセッサ１１４と在庫情報データベース１１２Ｈとを含んで、在庫管理ユニットが構成される。在庫管理ユニットは、少なくとも一部の食材の在庫情報を管理する。

プロセッサ１１４は、食材補充モジュール１１２Ｉを通じて在庫情報に従って買い物リストを作成し、ユーザまたはサーバに送信し、食材を適時補充することを促すこともできる。プロセッサ１１４は、適宜ユーザの関心レベルを計算することによって補充する食材の種類又は数量を選択することもできる。食材補充モジュール１１２Ｉは、プロセッサ１１４が在庫情報データベース１１２Ｈに記憶されている食材の在庫情報に基づいて、買い物リストを作成するための情報を含む。食材補充モジュール１１２Ｉは、食材の在庫と補充数とが対応したＬＵＴ（ルックアップテーブル）を有していてもよい。また、プロセッサ１１４は、食材の在庫が所定個数以下であるか否かを判定し、所定個数以下である場合に、食材補充モジュール１１２Ｉに基づいて買い物リストを作成してもよい。

プロセッサ１１４と食材補充モジュール１１２Ｉとを含んで、食材補充ユニットが構成される。食材補充ユニットは、在庫管理ユニットからの在庫情報に基づいて、買い物リストを作成し、ユーザまたはサーバに送信する。

（その他の実施の形態）
以上、各実施の形態について説明したが、本開示は、上記各実施の形態に限定されるものではない。

例えば、上記実施の形態１では、食材貯蔵システムの一例として、冷蔵陳列ケース１を説明したが、冷凍陳列ケースであってもよい。

また、上記各実施の形態のフローチャートで説明された処理の順序は、一例である。複数の処理の順序は変更されてもよいし、複数の処理は並行して実行されてもよい。

また、上記各実施の形態における食材貯蔵システムが備える装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式（通信規格）は、例えば、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの近距離無線通信である。あるいは、無線通信の方式（通信規格）は、インターネットなどの広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信（ＰＬＣ：Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又は有線ＬＡＮを用いた通信などである。

また、上記各実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

これまで、添付の図面を参照しながら本開示の技術的解決策を説明してきたが、本開示の保護範囲は明らかに特定の実施形態に限定されないことを当業者は容易に理解されよう。

当業者であれば、本開示の原理から逸脱することなく、関連する技術的特徴を同等に変更または置換することができ、それらの変更または置き換えの後のすべての技術的解決策も本開示の保護範囲に含まれる。

１、３ 冷蔵陳列ケース（食材貯蔵システム）
２ 家庭用冷蔵庫（食材貯蔵システム）
１００ 貯蔵室
１０２ 副木
１０４ スペーサー
１０６ 収納エリア
１０８ 第１カメラ
１１０ コンプレッサ
１１２ メモリ
１１２Ａ 保管場所データベース
１１２Ｂ 関心判定モジュール
１１２Ｃ オペレーティングシステム
１１２Ｄ ネットワーク通信モジュール
１１２Ｅ 第１画像信号データベース
１１２Ｆ レシピ推薦モジュール
１１２Ｇ 表示モジュール
１１２Ｈ 在庫情報データベース
１１２Ｉ 食材補充モジュール
１１４ プロセッサ（処理部）
１１６ ネットワークインターフェース
２０２ 表示ディスプレイ（ディスプレイ）
２０４ 表示ランプ
２０６ 収納領域（貯蔵区画）
３０２ ネットワーク
４１０ 電子ロック（電子錠）
４２０ ユーザ識別ユニット
４３０ ＲＦＩＤ無線周波数装置

Claims (16)

1. 冷却ユニットと、
   前記冷却ユニットと組み合わせられた貯蔵室と、
   ユーザの眼球情報を含む第１画像信号を取得する第１撮像部と、
   処理部と、
   前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、
   前記プログラムは、当該プログラムが実行されたときに、前記処理部に、
   （ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、
   （ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される食材位置データとを関連づけし、
   （ｃ）前記視認行為に基づいて、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力する、ことを行わせる、
   食材貯蔵システム。
2. 前記（ｂ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、さらに、
   前記第１撮像部の向き及び前記第１画像信号における眼球の位置から、前記ユーザの眼球位置ベクトルデータを取得し、
   前記第１画像信号に基づき、前記ユーザの視認方向データまたは視認ベクトルデータを取得し、
   前記眼球位置ベクトルデータと、前記ユーザの前記視認方向データまたは前記視認ベクトルデータとに基づき、前記ターゲット位置を特定する、ことを行わせる、
   請求項１に記載の食材貯蔵システム。
3. 前記（ｂ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、さらに、前記第１画像信号のタイムシーケンス情報に基づき、前記ユーザによる前記視認行為の継続時間を分析する、ことを行わせる、
   請求項１又は２に記載の食材貯蔵システム。
4. 前記（ａ）において、前記プログラムは、当該プログラムが実行されたときに、前記処理部に、前記第１画像信号から眼球の移動速度及び方向を解析し、前記ユーザの前記視認行為を特定する、ことを行わせる、
   請求項１〜３のいずれか１項に記載の食材貯蔵システム。
5. 前記ユーザの前記視認行為によって更新された情報を表示するディスプレイをさらに備える、
   請求項１〜４のいずれか１項に記載の食材貯蔵システム。
6. 前記処理部によって出力された前記ユーザの前記視認行為と関連付けられた第１食材に対する関心度が、所定条件を満たした場合、前記第１食材を含むメニューを前記ディスプレイに表示させるメニュー推薦ユニットをさらに備える、
   請求項５に記載の食材貯蔵システム。
7. 前記第１食材を含む前記メニューが複数の場合、前記メニュー推薦ユニットは、ユーザ嗜好、前記貯蔵室に収納されるほかの食材の種類、数量、成分含有量、カロリーの少なくとも１つ以上の情報に基づき、複数の前記メニューの表示順を決定する、
   請求項６に記載の食材貯蔵システム。
8. 前記貯蔵室は、複数の貯蔵区画に仕切られ、前記複数の貯蔵区画のそれぞれに表示ランプが設けられており、
   前記処理部は、前記ユーザが前記ディスプレイに表示されたメニューを選択した場合に、選択されたメニューに含まれる食材が収納されている貯蔵区画の表示ランプを点灯させる、
   請求項５〜７のいずれか１項に記載の食材貯蔵システム。
9. 前記メモリ部は、さらに、前記貯蔵室に収納される食材の生産日付情報または賞味期限情報を記憶し、
   前記処理部は、当該処理部によって出力された前記ユーザの前記視認行為と関連付けられた第２食材に対する関心度が、所定条件を満たし、かつ前記第２食材が複数個である場合、第２食材ごとの前記生産日付情報または賞味期限情報を前記ディスプレイに表示させる、
   請求項５に記載の食材貯蔵システム。
10. 前記貯蔵室内に設けられ、前記貯蔵室内に収納される食材を含む第２画像信号を取得する第２撮像部をさらに備え、
    前記第２撮像部は、前記処理部と通信接続されており、前記第２画像信号に基づき、前記メモリ部に格納される前記食材位置データを更新する、
    請求項１〜９のいずれか１項に記載の食材貯蔵システム。
11. ユーザを識別するユーザ識別ユニットと、
    前記ユーザ識別ユニットと通信接続され、前記ユーザ識別ユニットから送信された解錠信号に基づき、解錠施錠を行う電子錠とをさらに備える、
    請求項１〜１０のいずれか１項に記載の食材貯蔵システム。
12. 前記ユーザ識別ユニットは、前記第１画像信号に基づき、ユーザを識別する、
    請求項１１に記載の食材貯蔵システム。
13. 前記食材には、ＲＦＩＤタグが貼付されており、
    前記貯蔵室を無線周波数電磁場でカバーするＲＦＩＤ無線周波数装置と、
    少なくとも一部の食材の在庫情報を管理する在庫管理ユニットとをさらに備え、
    前記在庫情報は、前記ＲＦＩＤ無線周波数装置が前記貯蔵室内のＲＦＩＤタグをスキャンした結果を含む、
    請求項１０または１１に記載の食材貯蔵システム。
14. 前記在庫管理ユニットからの前記在庫情報に基づいて、買い物リストを作成し、ユーザまたはサーバに送信する食材補充ユニットをさらに備える、
    請求項１３に記載の食材貯蔵システム。
15. ユーザの眼球情報を含む第１画像信号を取得するステップと、
    前記第１画像信号に基づき、ユーザの視認行為を特定するステップと、
    前記視認行為のターゲット位置を特定し、前記ターゲット位置と貯蔵室内の食材の収納位置を示す食材位置データとを関連づけるステップと、
    前記視認行為を解析し、前記ターゲット位置に対応する収納位置に置かれる食材に対する前記ユーザの関心度を出力するステップと、を含む、
    嗜好情報取得方法。
16. 冷却ユニットと組み合わせられた貯蔵室における、ユーザの眼球情報を含む第１画像信号を取得する取得部と、
    処理部と、
    前記貯蔵室内の食材の収納位置を示す食材位置データおよび前記処理部によって実行されるプログラムを格納するメモリ部とを備え、
    前記プログラムは、当該プログラムが実行されたときに、前記処理部に、
    （ａ）前記第１画像信号に基づき、ユーザの視認行為を特定し、
    （ｂ）前記視認行為の前記貯蔵室におけるターゲット位置を特定し、当該ターゲット位置と前記メモリ部に格納される前記食材位置データとを関連づけし、
    （ｃ）前記視認行為を解析し、ユーザが前記食材の収納位置に置かれる食材に対する関心度を出力する、ことを行わせる、
    嗜好情報取得装置。

Images