JP2023100328A - 食品管理システム、食品貯蔵庫およびプログラム - Google Patents

Abstract

【課題】よりシンプルな構造で、利用者の移動の手間を省き、精度よく食品貯蔵庫における収納状況を把握することである。【解決手段】収納されている食品である収納食品を管理する食品管理システムにおいて、前方の開口部に設けられた扉を閉めることで構成される閉空間内に設けられ、収納食品を収納する貯蔵室と、前記貯蔵室に対して、光を照射し反射光を受光するLiDARセンサユニットと、前記反射光に基づく点群データから、前記収納食品ごとの形状を示す形状情報を作成する形状情報作成部１１３を有する冷蔵庫１と、前記形状情報に基づいて、前記収納食品を推定する食品推定部２２を有する食品管理システムである。【選択図】 図６

Description

本発明は、冷蔵庫を含む食品貯蔵庫に係り、その庫内の収納状況を把握するための技術に関する。

冷蔵庫を始めとする食品貯蔵庫における収納状況を把握するための技術が提案されている。例えば、冷蔵庫内の空きスペースを表示する技術として、特許文献１が提案されている。特許文献１には、「収納室内部を撮像する撮像装置３５－１，３５－２と、撮像装置により撮像された画像と基準画像とを記憶する画像記憶手段７７と、撮像装置により撮像された画像と基準画像とを比較分析する画像分析手段７８と、画像分析手段の分析結果に基づいて収納室の収納状況を演算する演算手段７９と、表示手段１５ａと、を備え、表示部は、演算手段の演算結果に基づいて収納室の空容量もしくは空スペースを表示する構成」が記載されている。このことにより、特許文献１では、「使用者は表示部を介して収納室の空容量もしくは空スペースを正確に知ることができ、この空きスペースに応じて食材を購入できるから、食材を購入しすぎて食材を収納室内に詰めすぎることを未然に防止できる」。

特開２０１４－２０９０４８号公報

特許文献１では、庫内の収納状況を把握するために、庫内撮影用の「カメラ」を用いている。より具体的には、ＣＣＤカメラやＣＭＯＳカメラが用いられている（００４６段落）。通常、食品貯蔵庫は扉が閉じられているため、庫内は暗闇であることが一般的である。このため、扉が閉じられていると、カメラでの撮影は困難である。この課題に対応するためには、扉の解放の際に撮影するか、別途照明を用意する必要がある。

しかしながら、扉の解放の際に撮影しようとすると、撮影可能な時間が短く十分に撮影できない恐れがある。さらに、収納状況を確認するためには、扉を開放する必要があり、利用者が設置場所に移動する必要がある。特に、外出している際は、食品貯蔵庫内部の確認は極めて困難であった。また、別途照明を用意すると、食品貯蔵庫の構成部品が多くなり、その構造が複雑になってしまう。さらに、照明の制御も必要になってしまう。

そこで、本発明では、よりシンプルな構造で、利用者の移動の手間を省き、精度よく食品貯蔵庫における収納状況を把握することを課題とする。

上記の課題を解決するために、本発明は、LiDAR（Light Detection and Ranging／Laser Imaging Detection and Ranging）センサを用いて、庫内の収納状況を把握する。

より具体的には、収納されている食品である収納食品を管理する食品管理システムにおいて、前方の開口部に設けられた扉を閉めることで構成される閉空間内に設けられ、収納食品を収納する貯蔵室と、前記貯蔵室に対して、光を照射し反射光を受光するLiDARセンサユニットを有する食品貯蔵庫と、前記反射光に基づく点群データから、前記収納食品ごとの形状を示す形状情報を作成する形状情報作成部と、前記形状情報に基づいて、前記収納食品を推定する食品推定部を有する食品管理システムである。

また、本発明には、上述の食品貯蔵庫やこれと接続し、食品管理システムを構成する利用者端末も含まれる。さらに、本発明には、利用者端末をコンピュータとして機能させるプログラムも含まれる。

本発明によれば、精度よく食品貯蔵庫における収納状況を把握することが可能となる。

本発明の一実施形態における冷蔵庫の外観を示す正面図である。 本発明の一実施形態における冷蔵庫の内部を示す側面断面図である。 本発明の一実施形態における可動式のLiDARセンサユニットの設置例を示す図である。 本発明の一実施形態におけるLiDARセンサユニットの設置位置を示す上面断面図である。 本発明の一実施形態における冷蔵庫の制御に関する機能ブロック図である。 本発明の一実施形態における食品管理システムのシステム構成図である。 本発明の一実施形態における利用者端末のハードウエア構成図である。 本発明の一本実施形態で用いられる食品管理情報を示す図である。 本発明の一本実施形態で用いられる収納情報を示す図である。 本発明の一本実施形態で用いられる購入履歴情報を示す図である。 実施例１における全体処理フローを示すフローチャートである。 実施例２における全体処理フローを示すフローチャートである。 実施例２におけるステップＳ２０８の詳細フローを示すフローチャートである。 実施例１および２で用いられる食品管理情報の変形例を示す図である。 実施例３における全体処理フローを示すフローチャートである。 実施例３で用いられる氷管理情報を示す図である。

以下、本発明の実施形態を、食品貯蔵庫の一例として、冷蔵庫１を用いて説明する。なお、本実施形態では、スマートフォンなどの利用者端末２と連携して、冷蔵庫１に収納されている食品（収納食品）を管理するが、本発明はこの構成に限定されない。例えば、冷蔵庫１で代表される食品貯蔵庫単体で管理してもよい。

以下、本実施形態の構成について説明する。なお、本実施形態における処理フローについては、複数の具体例が想定される。このため、まず、本実施形態の構成を説明し、処理フローの詳細については、実施例１～３として後述する。

まず、本実施形態における冷蔵庫１について説明する。図１は、本実施形態における冷蔵庫１の外観を示す正面図である。図１において、冷蔵庫１は、前方が開口した箱体１１（外箱）にて外郭を構成している。箱体１１の前方には、開口部を開閉する扉１２が備えられている。箱体１１は、冷蔵庫１の上部を構成する天板１１ａ、底部を構成する底板１１ｂ、左右側部を構成する側板１１ｃおよび背部を構成する背面板１１ｄ（図示せず）を有する。

また、本実施形態の扉１２は、第一段扉１２ａ、第二段扉１２ｂ、第三段扉１２ｃおよび第四段扉１２ｄを有する。また、本実施形態の第一段扉１２ａおよび第二段扉１２ｂは、それぞれ左右に開く２つの部位で構成される。なお、扉１２の数や構成は、これらに限定されない。そして、第一段扉１２ａには、表示操作パネル１０５が設けられている。表示操作パネル１０５については、追って説明する。

次に、図２は、本実施形態における冷蔵庫１の内部を示す側面断面図である。図１において、冷蔵庫１は、その内部に内箱１３が設けられている。なお、箱体１１と内箱１３の間に、発泡断熱材が充填されていることが望ましい。そして、内箱１３により形成される空間である貯蔵室１４(庫内)は、第一貯蔵室１４ａ、第二貯蔵室１４ｂ、第三貯蔵室１４ｃおよび第四貯蔵室１４ｄで構成される。また、これら各貯蔵室は、それぞれ第一段扉１２ａ、第二段扉１２ｂ、第三段扉１２ｃおよび第四段扉１２ｄと対応している。

また、本実施形態では、第一貯蔵室１４ａに食品を収納する棚１５ａおよび棚１５ｂが設けられている。また、第二貯蔵室１４ｂに棚１５ｃが設けられ、棚１５ｃ上に食品を収納する容器１６ａが設けられている。また、第三貯蔵室１４ｃも、第二貯蔵室１４ｂと同様に、棚１５ｄが設けられ、棚１５ｄ上に食品を収納する容器１６ｂが設けられている。なお、これら第一貯蔵室１４ａ、第二貯蔵室１４ｂおよび第三貯蔵室１４ｃは、いわゆる冷蔵室であり、食品として野菜、加工食品や調味料などを収納する。

さらに、第四貯蔵室１４ｄは、いわゆる冷凍庫であり、容器の一種である製氷皿１９が設けられている。また、製氷皿１９には、製氷皿１９に水を供給する水タンク１８が接続されている。さらに、図示していないが、水タンク１８の水面を検知する超音波センサ１１４も設けられている。

また、貯蔵室１４には、庫内温度センサ１０２が設けられ、これで検知された庫内温度に応じて、冷蔵庫１の稼働が制御される。このために、本実施形態では、センサ制御部１０３が庫内温度を庫内温度センサ１０２から受け付け、主制御部１０１が、この庫内温度に従って制御信号を作成し、圧縮機１７を制御する。

また、本実施形態においては、第一段扉１２ａに、温度調整などを行うための表示操作パネル１０５が設けられている。表示操作パネル１０５は、冷蔵庫１の稼働状況を表示したり、冷蔵庫１に対する操作指令を利用者から受け付けたりする。このように、本実施形態の表示操作パネル１０５は、出力機能と操作受付機能を有するが、いずれか一方の機能としてもよい。また、表示操作パネル１０５は、いわゆるタッチパネルで実現してもよいし、ボタンやつまみのような操作部と表示画面のような表示部に分けて構成してもよい。

また、冷蔵庫１は、各扉の開閉を駆動するアクチュエータ１１１を有する。なお、図１では、アクチュエータ１１１を１つのみ記載したが、扉ごとに設けられることが望ましい。そして、アクチュエータ１１１は、主制御部１０１からの制御信号に従って動作し、各扉を開閉する。

また、冷蔵庫１は、主制御部１０１と接続し、利用者端末２などの他の装置と通信するための通信部１０４を有する。

さらに、冷蔵庫１は、物体を検知し、物体の点群データを出力するLiDARセンサユニット１０６を有する。LiDARセンサユニット１０６は、各貯蔵室に、LiDARセンサユニット１０６ａ～１０６ｊが２台ずつ設けられている。そして、これらで検知された点群データが、センサ制御部１０３を介して、主制御部１０１に通知される。なお、LiDARセンサユニット１０６は、各貯蔵室に設けることは必須でなく、さらに、その台数も２台ずつに限定されない。

ここで、LiDARセンサユニット１０６は、貯蔵室１４内に、物体の一種である食品を検知できる位置に設置されればよい。このため図２においては、LiDARセンサユニット１０６を、下方に向けて、各貯蔵室の上部に固定的に設置している。このことで、各貯蔵室の全体をスキャンできることになる。また、より利用者の視線に近づけるように、より上方の貯蔵室ではLiDARセンサユニット１０６を、上方を向けて貯蔵室の下部に設け、逆に下方の貯蔵室ではLiDARセンサユニット１０６を、下方を向けて貯蔵室の上部に設けてもよい。この場合、第一貯蔵室１４ａから第四貯蔵室１４ｄに向けて、上方から下方に方向を段階的に変更し、下部から上部に設置位置を段階的に変更してもよい。

以上の例は、各LiDARセンサユニット１０６の設置位置を固定的なものとしたが、LiDARセンサユニット１０６を可動としてもよい。図３は、本実施形態における可動式のLiDARセンサユニット１０６の設置例を示す図である。図３では、第一貯蔵室１４ａに設けたLiDARセンサユニット１０６ａおよび１０６ｂを例に説明する。図３において、LiDARセンサユニット１０６ａおよび１０６ｂは、それぞれ軌道部１１５ａおよび１１５ｂを上下方向に移動するように設けられている。このために、LiDARセンサユニット１０６ａおよび１０６ｂは、モータといったアクチュエータに接続される。これらは、歯車などの可動部を介して接続することになる。

また、移動を実現するために、主制御部１０１は、アクチュエータを稼働させるための制御信号を生成し、出力することになる。この処理は、表示操作パネル１０５や利用者端末２に対する利用者からの操作に従って実行されてもよいし、主制御部１０１が能動的に実行してもよい。また、LiDARセンサユニット１０６ａおよび１０６ｂは、独立して移動してもよいし、同期して移動してもよい。同期して移動する場合、略同じ高さとなるような移動や互い違いに逆方向への移動でもよい。なお、LiDARセンサユニット１０６においては、各貯蔵室で可動式としてもよいし、一部の貯蔵室、特に最も広い貯蔵室（図２の例では、第一貯蔵室１４ａ）を可動式とし、他は固定式としてもよい。

次に、本実施形態におけるLiDARセンサユニット１０６の配置位置について説明する。図４は、本実施形態におけるLiDARセンサユニット１０６の設置位置を示す上面断面図である。図４では、図３と同様に、第一貯蔵室１４ａに設けたLiDARセンサユニット１０６ａおよび１０６ｂを例に説明する。なお、他のLiDARセンサユニット１０６でも同様の配置としてもよいし、他の配置としてもよい。

図４において、LiDARセンサユニット１０６ａおよび１０６ｂは、棚１５ａ上において、棚１５ａの底面方向について、対角線上に、つまり、対角線を構成するように配置している。この配置は、対向するコーナー同士の付近にLiDARセンサユニット１０６ａおよび１０６ｂが配置されているとも表現できる。このように、配置することで、LiDARセンサユニット１０６ａおよび１０６ｂにより広範に、食品をスキャンすることができる。

また、図４の配置に限定されないが、LiDARセンサユニット１０６ａおよび１０６ｂは、図３のように主制御部１０１により左右方向（棚１５ａの底面と水平方向）に首振り制御することが望ましい。このことでさらに広範なスキャンが可能となる。

以上で、LiDARセンサユニット１０６の配置についての説明を終了する。なお、LiDARセンサユニット１０６のスキャンによる安全性を確保するため、LiDARセンサユニット１０６の向きや稼働の制御を以下のとおりであることが望ましい。まず、配置の向きとして、スキャン方向が開口部方向（図４における下方）からずれた方向に向けて配置することが望ましい。

また、扉１２が開いている場合もしくは開けられようとした場合に、スキャンの実行を抑止するように、主制御部１０１が制御してもよい。なお、この制御においては、冷蔵庫１の奥側（図４の後、つまり情報）に設けられたLiDARセンサユニット１０６ａについて実行してもよい。これは、LiDARセンサユニット１０６ｂのスキャン方向が開口部とは逆方向であるのに対して、LiDARセンサユニット１０６ａのスキャン方向が開口部側を向いているためである。つまり、LiDARセンサユニット１０６ａの方が、利用者に対してスキャンするリスクが高いため、上述のような制御を行うことが望ましいことになる。なお、これらの配置と制御は、一方のみを行ってもよいし、双方を行ってもよい。

次に、稼働の制御に関する冷蔵庫１の制御系の構成について説明する。図５は、本実施形態における冷蔵庫１の制御に関する機能ブロック図である。図５において、制御主体である主制御部１０１が、他の構成と通信路を介して接続されている。まず、主制御部１０１は、LiDARセンサユニット１０６、庫内温度センサ１０２や超音波センサ１１４といったセンサ類と接続するセンサ制御部１０３と接続している。センサ制御部１０３は、センサ類へ電源を供給したり、主制御部１０１とセンサ類の情報のやり取りの仲介を行ったりする。このため、主制御部１０１とセンサ制御部１０３は、１つの構成、例えば、主制御部１０１として実現してもよい。

ここで、センサ類の１つであるLiDARセンサユニット１０６の構成について説明する。LiDARセンサユニット１０６は、受光部１０７、光源部１０８、駆動部１０９および反射部１１０を有する。そして、光源部１０８が発するレーザや近赤外線などの光線を発し、その光線が貯蔵室１４の食品に対して照射される。このために、駆動部１０９は、貯蔵室１４の向きに光線が照射されるように、反射部１１０を動作させる。そして、反射部１１０を介して入力されたその反射光を、受光部１０７が受光する。この結果、LiDARセンサユニット１０６により、反射光の集合である点群データが生成される。なお、受光部１０７は受光素子、光源部１０８はレーザ素子、駆動部１０９はモータ等のアクチュエータ、反射部１１０はミラーで実現できる。

また、主制御部１０１は、表示操作パネル１０５と接続し、利用者からの操作を受け付けたり、制御の内容や冷蔵庫１の状況などを表示したりする。また、主制御部１０１は、通信部１０４を介して、利用者端末２などの他の装置と通信する。この通信内容には、利用者からの操作等に応じた制御指令が含まれ、これに従って主制御部１０１は冷蔵庫１の稼働を制御する。

さらに、主制御部１０１は、制御対象であるアクチュエータ１１１や圧縮機１７と接続する。このために、主制御部１０１は、これらアクチュエータ１１１や圧縮機１７に制御信号を出力し、これらでは制御信号に従って稼働する。例えば、アクチュエータ１１１は、制御信号に従って、扉の開閉を実行したり、図３で説明したように、LiDARセンサユニット１０６を移動させたりする。また、圧縮機１７は、制御信号に従って稼働し、庫内温度を変更することになる。

またさらに、主制御部１０１は、制御信号作成部１１２および形状情報作成部１１３を有する。制御信号作成部１１２は、上述したように利用者の操作やセンサ類の検知データなどに応じて制御信号を作成する。また、形状情報作成部１１３は、LiDARセンサユニット１０６の検知結果に応じた点群データから、物体、特に、収納食品ごとに、その形状を示す形状情報を作成する。このために、主制御部１０１は、ＭＰＵ（Micro-Processing Unit）で実現可能である。そして、主制御部１０１は、制御信号作成部１１２および形状情報作成部１１３は図示しない記憶部に記憶されたプログラムを用いて実現してもよいし、専用ハードウエアとして実現してもよい。

以上で、本実施形態における冷蔵庫１の構成についての説明を終わる。続いて、本実施形態における他の装置の構成について説明する。図６は、本実施形態における食品管理システムのシステム構成図である。図６において、冷蔵庫１、利用者端末２、食品販売装置３およびレシピ提供装置４が、ルータ５やネットワーク６を介して接続されている。なお、食品管理システムは、冷蔵庫１および利用者端末２を有すればよく、他の装置は省略可能である。なお、ルータ５については、いわゆる家電サーバと呼ばれるコンピュータを用いてもよい。

以下、上述した冷蔵庫１以外の装置について、説明する。まず、利用者端末２は、冷蔵庫１の利用者により操作され、スマートフォン、タブレット、ＰＣ（Personal Computer）とった各種コンピュータで実現できる。そして、利用者端末２は、通信部２１、食品推定部２２、購入食品提案部２３、レシピ作成部２４、発注部２５、入力部２６、出力部２７および記憶部２８を有する。

まず、通信部２１は、ルータ５やネットワーク６と通信する機能を有する。また、通信部２１は、近距離無線通信機能もしくはルータ５を介して、冷蔵庫１と接続することになる。また、食品推定部２２は、形状情報を用いて、冷蔵庫１に収納されている収納食品を推定する。また、購入食品提案部２３は、推定された食品に基づいて、利用者へ購入を推奨する購入食品を特定する。また、レシピ作成部２４は、推定された食品や購入を提案される食品に基づいて、料理のレシピを提案する。またさらに、発注部２５は、購入食品などを購入するための発注情報を作成する。これら食品推定部２２、購入食品提案部２３、レシピ作成部２４や発注部２５は、ＣＰＵ（Central Processing Unit）といった処理装置がプログラムに従った演算を実行することで実現できる。

また、入力部２６は、利用者からの操作を受け付ける。また、出力部２７は、利用者端末２の処理結果などが出力され、例えば、表示部として実現できる。さらに、記憶部２８には、利用者端末２での処理を実行するための各種情報やプログラムが記憶される。

ここで、利用者端末２の一実装例について説明する。図７は、本実施形態における利用者端末２のハードウエア構成図である。図７において、利用者端末２は、タッチパネル２０１、処理装置２０２、通信装置２０３および記憶装置２０４を有する。

タッチパネル２０１は、利用者からの入力を受け付けたり、各種情報を表示したりする。なお、タッチパネル２０１は、図６の入力部２６および出力部２７に該当する。このため、タッチパネル２０１の代わりもしくはこれに加えて、マウスやキーボードのような入力装置およびディスプレイのような出力装置を設けてもよい。

処理装置２０２は、ＣＰＵなどのプロセッサで実現でき、後述する食品管理プログラム２０５に従って演算を実行する。このため、処理装置２０２で行う処理は、図６の食品推定部２２、購入食品提案部２３、レシピ作成部２４や発注部２５での処理に該当する。なお、食品管理プログラム２０５は、記憶装置２０４を含む記憶媒体に格納される。

通信装置２０３は、ネットワーク６やルータ５を介して、冷蔵庫１などの他の装置との通信を行う。また、通信装置２０３は、近距離無線通信機能を有し、これにより冷蔵庫１と通信してもよい。以上のように、通信装置２０３は、図６の通信部２１に該当する。

記憶装置２０４は、食品管理プログラム２０５、食品管理情報２１０、収納情報２１１、購入履歴情報２１２を記憶する。

また、食品管理プログラム２０５は、冷蔵庫１に収納されている収納食品についての管理支援を行うプログラムであって、いわゆるアプリで実現できる。食品管理プログラム２０５は、食品推定モジュール２０６、購入食品提案モジュール２０７、レシピ作成モジュール２０８および発注モジュール２０９を有する。なお、これらは、独立したプログラム（アプリ）として実現してもよいし、これらの一部の組合せでプログラム（アプリ）を構成してもよい。さらに、食品管理プログラム２０５に、他の機能が含まれることを阻害しない。

なお、食品管理プログラム２０５の各モジュールと図６の各部の対応関係は、以下のとおりである。
食品推定モジュール２０６：食品推定部２２
購入食品提案モジュール２０７：購入食品提案部２３
レシピ作成モジュール２０８：レシピ作成部２４
発注モジュール２０９：発注部２５
次に、食品管理情報２１０は、食品ごとの形状情報を定義する情報である。図８は、本実施形態で用いられる食品管理情報２１０を示す図である。図８において、食品管理情報２１０は、食品群、食品名（ＩＤ）、形状情報および収納場所が対応付けられてる。食品群は、似た形状の食品をグループ化した項目であるが、この項目は必須ではない。また、食品名（ＩＤ）は、食品を識別する情報である。さらに、形状情報は、食品の形状を示す形状情報を定義ないし示す情報である。これは、取得された形状情報と突き合せる対象であり、突合せ結果に応じて食品が推定される。また、収納場所は、該当の食品が冷蔵庫のどの位置に収納される傾向があるかを示す情報である。本実施例では、「上部貯蔵室」と汎用的な表現を用いるが、冷蔵庫１に特定される場所、つまり、貯蔵室１４を識別する情報としてもよい。なお、食品管理情報２１０は、取得された形状情報から食品を推定できる情報であればよく、図８に示す態様に限定されない。例えば、ＡＩ（Artificial Intelligence）技術により、食品を推定されるような情報と用いてもよい。

次に、収納情報２１１は、冷蔵庫１の収納食品を管理するための情報である。なお、この収納情報２１１は、食品推定部２２で推定された結果の他、利用者からの入力などによって作成される。図９は、本実施形態で用いられる収納情報２１１を示す図である。図９において、収納情報２１１は、食品名（ＩＤ）、数量および購入日が対応付けられている。食品名（ＩＤ）は、上述のように食品を識別する情報である。また、数量は、該当の食品の数量を示す。さらに購入日は、該当の食品の購入日を示す。ここで、購入日は、冷蔵庫１への収納開始日などとしてもよい。さらに、購入日は省略可能である。

次に、購入履歴情報２１２は、利用者が購入ないし冷蔵庫１に収納した食品の履歴を示す情報である。図１０は、本実施形態で用いられる購入履歴情報２１２を示す図である。図１０において、購入履歴情報２１２は、食品群、食品名（ＩＤ）、購入日および嗜好指数が対応付けられてる。ここで、食品群、食品名（ＩＤ）および購入日は、上述のとおりの項目である。そして、嗜好指数は、食品ごとの収納されている可能性の度合いを示す。ここで、嗜好指数には、購入等により収納の頻度示す購入頻度（回数）やお気に入りを用いることができる。なお、購入履歴情報２１２は、食品の履歴を示す情報であるため、食品群や購入日は省略可能である。

ここで、購入頻度（回数）とは、利用者が該当の食品について、購入等で入手、収納した頻度若しくは回数を示す項目である。このため、購入頻度（回数）は、収納情報211に基づき作成されたり、利用者からの入力に応じて作成されたりする。また、お気に入りとは、利用者により指定され、文字とおりお気に入りの食品に対して「１」が記録される項目である。また、「１」以外のお気に入りの度合を示す数値を記録してもよい。なお、購入頻度（回数）やお気に入りは、いずれか一方を用いてもよい。以上で、利用者端末２の構成についての説明を終了する。

次に、食品販売装置３は、いわゆるＥＣサイト（Electronic Commerce）を実現するためのコンピュータで構成できる。本実施形態では、食品販売装置３は、利用者端末２からの発注情報に従って、食品等の販売のための情報処理を実行する。また、レシピ提供装置４は、レシピを提供するウエブサイトを実現するコンピュータで構成できる。本実施形態では、レシピ提供装置４は、一般消費者がレシピを提供できるコミュニティサイトとしてもよいし、いわゆる専門家がレシピを提供できる構成としてもよい。また、食品販売装置３およびレシピ提供装置４は、１つの構成で実現してもよいし、他の機能を設けてもよい。

以上で、本実施形態の説明を終了する。そして、以下では、これを具体的に示す各実施例をについて説明する。なお、各実施例における処理フローの主体は、図５や図６の機能ブロック図に示す構成要素を用いる。

実施例１は、利用者が、能動的に冷蔵庫１の収納食品を確認するための具体例である。以下、本実施例の処理フローを図１１および図１２を用いて説明する。図１１は、本実施例における全体処理フローを示すフローチャートである。そして、図１１は、ステップＳ２１～ステップＳ２３の事前フローと、ステップＳ２０１～ステップＳ２０７までの確認フローが含まれる。事前フローは利用者が好みの食品であるお気に入りを登録するためのフローであり、確認フローは登録された食品が冷蔵庫１に収納されているかを確認するためのフローである。なお、確認フローででは、お気に入り以外の食品の確認も可能であり、この場合は事前フローの実行を省略することが可能である。また、嗜好指数として、購入頻度（回数）を用いる場合は、事前フローにおいて、例えば、利用者端末２の食品推定部２２が収納情報２１１を用いて、購入頻度（回数）を記録することになる。

図１１では、まず、ステップＳ２１において、利用者端末２の入力部２６は、利用者からお気に入りの登録要求を受け付ける。この要求には、お気に入りの食品を識別する食品名（ＩＤ）が含まれる。次に、ステップＳ２２において、食品推定部２２が、購入履歴情報２１２のうち、受け付けられた登録要求に含まれる食品名（ＩＤ）に該当するお気に入りの項目に「１」を記録する。そして、ステップＳ２３において、食品推定部２２が出力部２７を用いて、お気に入りが登録された旨を出力する。なお、この事前フローは、冷蔵庫１と連携して行ってもよい。つまり、冷蔵庫１の表示操作パネル１０５が登録要求を受け付け、この内容を利用者端末２に通知する。この結果、利用者端末２の食品推定部２２が、お気に入りの登録を行う。

以上で、事前フローの説明を終わり、次に、確認フローについて説明する。なお、本実施例では、利用者がスーパーなどの実店舗に外出先で利用者端末２を利用する場合に適用できる。この場合、本実施例では、利用者の買い物の際に、冷蔵庫１にお気に入りの食品が収納されているか確認したいとのニーズに対応できる。但し、本実施例では、外出先での利用には限定されない。また、実店舗以外の外出先でも利用できる。この場合、利用者は、外出先から買い物に実店舗に寄る必要があるかを判断できる。以下、確認フローの各ステップについて説明する。

まず、ステップＳ２０１において、利用者端末２の通信部２１が、お気に入りの食品が収納されているかの確認依頼を、冷蔵庫１に通知する。このために、入力部２６が、利用者からお気に入りの確認要求を受け付ける。本実施例では、食品の食品名（ＩＤ）は不要とし、「お気に入り」の有無の確認要求を受け付けることになる。但し、本発明では、この入力に限定されず、食品名（ＩＤ）を受け付ける構成としてもよい。この場合、「お気に入り」に限定せず、収納されている食品を確認できる。そして、通信部２１が、お気に入り有無の確認依頼を、冷蔵庫１に通知する。また、ステップＳ２０１での入力部２６の受け付け処理を省略してもよい。この場合、食品推定部２２が、周期的、所定位置に利用者端末２が位置するなど所定条件を満たす場合に、確認依頼を、通信部２１を用いて通知することになる。

次に、ステップＳ１０１において、冷蔵庫１の通信部１０４が、ステップＳ１０１で通知された確認依頼を受け付ける。また、ステップＳ１０２において、主制御部１０１の制御信号作成部１１２が、受け付けられた確認依頼に応じて、LiDARセンサユニット１０６の稼働を開始するための制御信号を作成する。そして、センサ制御部１０３を介して通知される制御信号に従って、LiDARセンサユニット１０６が稼働を開始し、以下のステップＳ１０３～ステップＳ１０４が実行される。

ステップＳ１０３において、LiDARセンサユニット１０６は、光源部１０８で発する光線を、反射部１１０を介して貯蔵室１４に照射する。この際、LiDARセンサユニット１０６は、図３に示す構成を用いて、移動して照射してもよい。また、ステップＳ１０３において、主制御部１０１は、扉１２の閉じている場合に光線が照射するように制御してもよい。また、ステップＳ１０４において、受光部１０７が、貯蔵室１４内の食品等の物体に反射した反射光を、反射部を介して受光する。

そして、ステップＳ１０５において、主制御部１０１は、反射光に基づく点群データを取得する。点群データは、主制御部１０１やセンサ制御部１０３で反射光に基づき作成できる。次に、ステップＳ１０６において、主制御部１０１の形状情報作成部１１３が、点群データから、収納されている食品ごとの外観形状を示す形状情報を作成する。この形状情報は、食品などの物体のシルエットと示す情報であってもよい。

次に、ステップＳ１０７において、通信部１０４が、利用者端末２へ、作成された形状情報を通知する。なお、本実施例では、形状情報を、冷蔵庫１で作成するが、利用者端末２で作成してもよい。この場合、冷蔵庫１から利用者端末２へ、点群データが通知されることになる。

次に、利用者端末２の通信部２１は、通知された形状情報を受け付ける。そして、ステップＳ２０３において、食品推定部２２が、受け付けられた形状情報を用いて、お気に入りの食品が収納されているかを判定する。このために、まず、食品推定部２２は、購入履歴情報２１２の「お気に入り」が登録されている食品名（ＩＤ）を特定する。なお、ステップＳ２０１において食品名（ＩＤ）が受け付けられている場合には、これが用いられる。

次に、食品推定部２２は、特定された食品名（ＩＤ）に該当する形状情報を、食品管理情報２１０から特定する。そして、食品推定部２２は、特定された形状情報と、受け付けられた形状情報を比較する。この結果、食品推定部２２は、受け付けられた形状情報に、特定された形状情報に該当する形状情報があるかを判定する。この結果、該当する形状情報があると、お気に入り「有」と判定される。この場合、ステップＳ２０４に遷移する。また、この結果、該当する形状情報がないと、お気に入り「無」と判定される。この場合、ステップＳ２０５に遷移する。

また、ステップＳ２０４において、食品推定部２２は、出力部２７に、お気に入りの食品もしくはステップＳ２０１で受け付けられた食品が収納されていることを出力する。なお、出力部２７での出力は、画面への表示でもよいし、音声での出力でもよい。

また、ステップＳ２０５において、購入食品提案部２３は、出力部２７に、お気に入りの食品もしくはステップＳ２０１で受け付けられた食品が収納されていないこと、および食品の購入提案を出力する。なお、この出力は、ステップＳ２０４と同様に表示もしくは音声出力のいずれでもよい。そして、食品の購入提案は、お気に入りなどの該当の食品を特定する情報を含めることが望ましい。

次に、ステップＳ２０６において、発注部２５は、利用者からの入力部２６への購入指示に応じて、購入提案された食品を識別する情報を含む発注情報を作成する。そして、発注部２５は、出力部２７を用いて、発注情報を食品販売装置３に通知する。この結果、利用者は、冷蔵庫１で不足しているお気に入りなどの食品を購入することができる。

なお、ステップＳ２０５の食品の購入提案の出力やステップＳ２０６は省略可能である。特に、スーパーなどの実店舗で利用する場合、ステップＳ２０６の発注の代わりに実店舗での購入を行えばよい。さらに、発注部２５の一実現例である発注モジュール２０９を独立したプログラム（アプリ）を用いる場合、ステップＳ２０６に遷移する際に、該当するアプリを自動起動する構成としてもよい。以上で、実施例１の説明を終了するが、本実施例には様々な変形例が含まれる。例えば、上述のようにステップＳ２０１で指定された食品名（ＩＤ）の食品が収納されるかを確認してもよい。また、ステップＳ２０１を、冷蔵庫１の表示操作パネル１０５で受け付けてもよい。さらに、利用者端末２の各処理を冷蔵庫１の主制御部１０１で実行してもよい。なお、このように冷蔵庫１で、利用者端末２の処理を実行可能である点は、後述の各実施例でも同様である。

次に、実施例２について説明する。実施例１では、利用者が能動的に冷蔵庫１の収納食品を確認するフローであるが、本実施例では周期的に収納食品を確認するための具体例である。以下、図１２および図１３を用いて、本実施例について説明する。

まず、図１２は、本実施例における全体処理フローを示すフローチャートである。以下、本実施例の処理について、図１１との相違を中心に説明する。

まず、前提として、ステップＳ１００において、冷蔵庫１が稼働している。そして、ステップＳ１０８において、冷蔵庫１の主制御部１０１もしくはセンサ制御部１０３が、自身の計時機能を用いて、予め設定されているLiDARセンサユニット１０６のスキャン開始時期になったかを判定する。この結果、開始時期になっていない場合（Ｎｏ）、スキャン開始時期になるまで待機する。また、開始時期になった場合（Ｙｅｓ）、ステップＳ１０３に遷移する。この結果、ステップＳ１０３～ステップＳ２０２において、実施例1と同様の処理を実行する。但し、ステップＳ１０６において、形状情報作成部１１３は、スキャンしたLiDARセンサユニット１０６の設置場所（貯蔵室）を含む形状情報を作成することが望ましい。この場合、ステップＳ１０７で、設置場所を含む形状情報が通知されることになる。またさらに、ステップＳ１０８においては、利用者端末２ないし表示操作パネル１０５に対する利用者の入力を条件としてもよい。

そして、ステップＳ２０８において、食品推定部２２が、形状情報を用いて、冷蔵庫１の収納食品を推定する。このステップＳ２０３の詳細の一例を、図１３を用いて説明する。図１３は、本実施例におけるステップＳ２０８の詳細フローを示すフローチャートである。

図１３のステップＳ２０８１において、食品推定部２２が、ステップＳ２０２で受け付けた形状情報と、食品管理情報２１０の形状情報を比較する。そして、食品推定部２２は、ステップＳ２０２で受け付けた形状情報に該当する形状情報を特定する。ここで、該当する形状情報とは、受け付けられた形状情報と一致や類似といった所定関係を満たす形状情報を意味する。この結果、ステップＳ２０８１では、所定関係を満たす形状情報に該当する食品名（ＩＤ）が特定される。

次に、ステップＳ２０８２において、食品推定部２２が、ステップＳ２０８１の比較結果を判定する。この結果、特定された食品名（ＩＤ）がない場合は（合致なし）、ステップＳ２０８３に遷移する。そして、ステップＳ２０８３において、食品推定部２２が、出力部２７に合致がないことを示すエラーメッセージを出力する。なお、出力部２７での出力は、エラーメッセージの表示でもよいし、音声での出力でもよい。

また、ステップＳ２０８２において、特定された食品名（ＩＤ）が単数である場合は（単数）、ステップＳ２０８７に遷移する。さらに、特定された食品名（ＩＤ）を１つに絞り込めず、複数存在する場合（複数）、ステップＳ２０８４に遷移する。

そして、ステップＳ２０８４以降で、複数存在する食品名（ＩＤ）を絞り込むための処理を実行する。まず、ステップＳ２０８４において、食品推定部２２が、嗜好指数を用いて、複数存在する食品名（ＩＤ）に対して抽出処理を行う。ここで、嗜好指数は、その値が大きいほど、該当する食品が冷蔵庫１に収納されている可能性が高くなる。この特性を利用して、本ステップの抽出を行う。例えば、食品推定部２２は、ステップＳ２０８２で特定された食品名（ＩＤ）の嗜好指数を、購入履歴情報２１２を用いて特定する。そして、食品推定部２２は、特定された嗜好指数が予め設定した閾値以上の食品名（ＩＤ）を抽出する。また、嗜好指数として、お気に入りを用いる場合、その値が「１」であるものが抽出される。

そして、ステップＳ２０８５において、食品推定部２２が、ステップＳ２０８５の抽出結果を判定する。この結果、一意に食品名（ＩＤ）に絞り込まれた場合（絞込み可）、ステップＳ２０８７に遷移する。また、一意に食品名（ＩＤ）に絞り込まれず、複数の食品名（ＩＤ）存在する場合（絞込み不可）、ステップＳ２０８６に遷移する。

そして、ステップＳ２０８６において、食品推定部２２が、収納場所を用いて、複数存在する食品名（ＩＤ）に対して抽出処理を行う。このために、食品推定部２２は、ステップＳ２０８５で特定された食品名（ＩＤ）の収納場所を、食品管理情報２１０を用いて特定する。そして、食品推定部２２は、特定された収納場所と、形状情報に含まれる設置場所を比較する。この結果、食品推定部２２は、一致する食品名（ＩＤ）を抽出する。ここで、一致するとは、同じ場所以外にも所定条件を満たす場合も含まれる。さらに、食品管理情報２１０には、１つの食品名（ＩＤ）に対して、複数の収納場所を記録することも可能であり、この場合、これらのうち１つに合致する場合に一致する、と判定できる。なお、一致する食品名（ＩＤ）がない場合や複数の食品名（ＩＤ）が抽出された場合、食品推定部２２が、出力部２７を用いて、その旨を出力してもよい。また、本ステップでは、収納場所として、貯蔵室１４や棚１５ないし容器１６を用いることができる。

そして、ステップＳ２０８７において、食品推定部２２が、各ステップで抽出された食品名（ＩＤ）を、収納食品として推定する。なお、ステップＳ２０８は、形状情報ごとに繰り返し実行されることになる。以上で、ステップＳ２０８の説明を終わり、図１２に戻り全体フローの説明を続ける。

次に、ステップＳ２０９において、食品推定部２２が、推定された収納食品を出力する。このために、食品推定部２２が、出力部２７や通信部２１を用いて出力する。これらはいずれか一方を実行すればよい。また、ステップＳ１０９において、表示操作パネル１０５により、通信部２１を介して出力された収納食品が表示される。

また、ステップＳ２０５において、実施例１と同様に購入食品提案部２３が、購入する食品を提案する。但し、本実施例では、以下のとおり処理してもよい。購入食品提案部２３は、購入履歴情報２１２で嗜好指数が所定条件を満たす食品名（ＩＤ）のうち、ステップＳ２０８で推定された収納食品に含まれないものと特定する。そして、購入食品提案部２３は、特定された食品名（ＩＤ）の食品を推奨食品として提案する。

また、ステップＳ１０において、レシピ作成部２４は、ステップＳ２０８で推定された収納食品に基づいて、レシピを作成する。このために、レシピ作成部２４は、収納食品をキーに、レシピ提供装置４においてレシピの検索を行う。そして、この検索結果と、レシピとして特定し、レシピ作成部２４はこれをレシピとして出力部２７に出力する。この結果、利用者は、冷蔵庫１の収納食品に応じた調理を行うことができる。

また、ステップＳ２０６において、実施例１と同様に発注部２５が、収納食品やレシピに基づいて発注情報を作成し、通信部２１を用いてこれを食品販売装置３に通知する。なお、この発注情報には、推奨食品や作成されたレシピで必要となる食品が含まれることが望ましい。なお、本実施例では、ステップＳ２０５以降の処理を省略してもよい。例えば、ステップＳ２０５を省略してもよい。さらに、ステップＳ２０５と、ステップＳ２１０やステップＳ２０６の処理は順不同である。

以上で実施例２の説明を終了する。なお、実施例２も上述した内容に限定されず、様々な変形例が含まれる。例えば、食品管理情報２１０は、図１４に示す構造としてもよい。図１４は、実施例１および２で用いられる食品管理情報２１０の変形例を示す図である。この食品管理情報２１０は、図８に示す食品管理情報２１０に、購入履歴情報２１２の嗜好指数を加えて管理してもよい。この場合、購入履歴情報２１２を省略できる。

実施例３では、LiDARセンサユニット１０６でのスキャン結果を用いて、冷凍室である第四貯蔵室１４ｄでの製氷を制御する。図１５は、本実施例における全体処理フローを示すフローチャートである。図１５において、ステップＳ１００～ステップＳ２０２は、実施例２と同様である。但し、以降の処理では、第四貯蔵室１４ｄのLiDARセンサユニット１０６ｉや１０６ｊでスキャンされた結果を用いることになる。つまり、製氷皿１９の形状情報を用いることになる。なお、実施例３の処理は、実施例１や２と並行的に実行されてもよい。

そして、ステップＳ２１１において、食品推定部２２が、製氷皿１９における形状情報を用いて、製氷が必要かを判定する。このために、食品推定部２２は、氷管理情報１１６の氷の閾値を用いる。ここで、図１６は、本実施例で用いられる氷管理情報１１６を示す図である。氷管理情報１１６は、主制御部１０１の記憶部（図示せず）に格納され、製氷のための閾値を示す情報である。図１６において、氷の閾値は、製氷皿１９において製氷することが必要となる形状情報を示す。つまり、スキャンされた結果である形状情報が、氷管理情報１１６の形状情報より小さいことを示す場合、製氷が必要と判定される。この場合は、ステップＳ２１２に遷移する。また、氷管理情報１１６の形状情報より大きいことを示す場合、製氷が不要と判定され、処理を終了する。

また、ステップＳ２１２において、食品推定部２２が、通信部２１を用いて、冷蔵庫１に製氷指示を通知する。そして、ステップＳ１１０において、冷蔵庫１の通信部１０４が、製氷指示を受け付ける。次に、ステップＳ１１１において、製氷指示の受け付けに応じて、主制御部１０１の制御信号作成部１１２が、水タンク１８の水面の高さを検知する制御信号を作成し、これを超音波センサ１１４に出力する。この結果、超音波センサ１１４が、水タンク１８の水面の高さを計測する。

次に、ステップＳ１１２において、主制御部１０１の制御信号作成部１１２が、計測された水面の高さを用いて、製氷に十分な水量であるかを判定する。このために、制御信号作成部１１２が、氷管理情報１１６を用いる。つまり、制御信号作成部１１２は、超音波センサ１１４で検知された水面の高さと氷管理情報１１６の水量（水面）の閾値を比較する。この結果、閾値の方が小さいと「十分」と判定され、ステップＳ１１３に遷移する。また、閾値の方が大きいと「不足」と判定され、ステップＳ１１４に遷移する。

また、ステップＳ１１３において、制御信号作成部１１２は、製氷のための制御信号を作成し、これを水タンク１８に出力する。そして、水タンク１８は、貯水している水を製氷皿１９に吐出する。このことで、製氷が可能となる。

また、ステップＳ１１４において、制御信号作成部１１２が、水タンク１８の水量が不足していることを出力する。本ステップにおいては、制御信号作成部１１２による、表示操作パネル１０５での表示および通信部１０４を用いた利用者端末２への通知の少なくとも一方を実行すればよい。なお、本実施例では、利用者端末２への通知を行ったものとして、以降の処理を説明する。

ステップＳ２１３において、利用者端末２の通信部２１が、ステップＳ１１４の通知を受け付ける。そして、食品推定部２２が、出力部２７を用いて、通知された内容、つまり、水タンク１８の水量が不足していることを出力する。本ステップやステップＳ１１４での表示操作パネル１０５での表示の結果、利用者は水を水タンク１８に補給することができる。この結果を検知して、制御信号作成部１１２が、ステップＳ１１３のように製氷を実行してもよい。以上で実施例３の説明を終了するが、実施例３についても実施例１や２と同様に、利用者端末２の処理を冷蔵庫１で実行してもよい。さらに、各実施例では、冷蔵庫１を用いて説明したが、本発明は、扉を閉めることで閉空間を構成する貯蔵室を有する各種食品貯蔵庫に適用できる。この食品貯蔵庫には、パントリー、床収納なども含まれる。

１…冷蔵庫、１１…箱体、１１ａ…天板、１１ｂ…底板、１１ｃ…側板、１１ｄ…背面板、１２…扉、１３…内箱、１４…貯蔵室、１５…棚、１６…容器、１７…圧縮機、１８…水タンク、１９…製氷皿、１０１…主制御部、１０２…庫内温度センサ、１０３…センサ制御部、１０４…通信部、１０５…表示操作パネル、１０６…LiDARセンサユニット、１０７…受光部、１０８…光源部、１０９…駆動部、１１０…反射部、１１１…アクチュエータ、１１２…制御信号作成部、１１３…形状情報作成部、１１４…超音波センサ、１１５…軌道部、１１６…氷管理情報、２…利用者端末、２１…通信部、２２…食品推定部、２３…購入食品提案部、２４…レシピ作成部、２５…発注部、２６…入力部、２７…出力部、２８…記憶部、２０１…タッチパネル、２０２…処理装置、２０３…通信装置、２０４…記憶装置、２０５…食品管理プログラム、２０６…食品推定モジュール、２０７…購入食品提案モジュール、２０８…レシピ作成モジュール、２０９…発注モジュール、２１０…食品管理情報、２１１…収納情報、２１２…購入履歴情報、３…食品販売装置、４…レシピ提供装置、５…ルータ、６…ネットワーク

Claims (14)

1. 収納されている食品である収納食品を管理する食品管理システムにおいて、
   前方の開口部に設けられた扉を閉めることで構成される閉空間内に設けられ、収納食品を収納する貯蔵室と、前記貯蔵室に対して、光を照射し反射光を受光するLiDARセンサユニットを有する食品貯蔵庫と、
   前記反射光に基づく点群データから、前記収納食品ごとの形状を示す形状情報を作成する形状情報作成部と、
   前記形状情報に基づいて、前記収納食品を推定する食品推定部を有する食品管理システム。
2. 請求項１に記載の食品管理システムにおいて、
   複数の前記LiDARセンサユニットのそれぞれが、前記貯蔵室の底面方向について、対角線を構成するように設けられる食品管理システム。
3. 請求項２に記載の食品管理システムにおいて、
   前記食品貯蔵庫は、複数の前記貯蔵室を有し、
   前記LiDARセンサユニットは、前記複数の貯蔵室それぞれに設けられる食品管理システム。
4. 請求項３に記載の食品管理システムにおいて、
   前記食品推定部は、前記形状情報に基づいて、１つに推定できない収納食品がある場合、前記LiDARセンサユニットが設けられた前記貯蔵室に基づき、前記収納食品を推定する食品管理システム。
5. 請求項１に記載の食品管理システムにおいて、
   前記食品推定部は、前記形状情報に基づいて、１つに推定できない収納食品がある場合、収納されている可能性の度合いを示す嗜好指数を用いて、前記収納食品を推定する食品管理システム。
6. 請求項１乃至５のいずれかに記載の食品管理システムにおいて、
   さらに、利用者端末を有し、
   前記食品貯蔵庫が、前記形状情報作成部を有し、
   前記利用者端末が、前記食品推定部を有する食品管理システム。
7. 前方の開口部に設けられた扉を閉めることで構成される閉空間内に設けられ、収納食品を収納する貯蔵室と、
   前記貯蔵室に対して、光を照射し反射光を受光するLiDARセンサユニットと、
   前記反射光に基づく点群データを用いて、前記収納食品ごとの形状を示す形状情報を作成する形状情報作成部と、
   前記形状情報を出力する表示部を有し、
   前記形状情報に基づいて、前記収納食品の推定を可能とする食品貯蔵庫。
8. 請求項７に記載の食品貯蔵庫において、
   複数の前記LiDARセンサユニットのそれぞれが、前記貯蔵室の底面方向について、対角線を構成するように設けられる食品貯蔵庫。
9. 請求項８に記載の食品貯蔵庫において、
   前記貯蔵室は、複数の貯蔵室を有し、
   前記LiDARセンサユニットは、前記複数の貯蔵室それぞれに設けられる食品貯蔵庫。
10. 請求項９に記載の食品貯蔵庫において、
    前記形状情報に基づいて、１つに推定できない収納食品がある場合、前記LiDARセンサユニットが設けられた前記貯蔵室に基づき、前記収納食品の推定を可能とする食品貯蔵庫。
11. 請求項７乃至１０のいずれかに記載の食品貯蔵庫において、
    前記形状情報に基づいて、１つに推定できない収納食品がある場合、収納されている可能性の度合いを示す嗜好指数を用いて、前記収納食品の推定を可能とする食品貯蔵庫。
12. 前方の開口部に設けられた扉を閉めることで構成される閉空間内に設けられ、収納食品を収納する貯蔵室と、前記貯蔵室に対して、光を照射し反射光を受光するLiDARセンサユニットを有する食品貯蔵庫と接続可能なコンピュータである利用者端末を、
    前記反射光に基づく点群データを用いて。前記収納食品ごとに作成される形状情報を受け付ける通信部と、
    前記形状情報に基づいて、前記収納食品を推定する食品推定部として機能させるプログラム。
13. 請求項１２に記載のプログラムにおいて、
    前記貯蔵室は、それぞれが、前記LiDARセンサユニットが設けられた複数の貯蔵室を有し、
    前記食品推定部は、前記形状情報に基づいて、１つに推定できない収納食品がある場合、前記LiDARセンサユニットが設けられた前記貯蔵室に基づき、前記収納食品を推定するプログラム。
14. 請求項１２または１３に記載のプログラムにおいて、
    前記食品推定部は、前記形状情報に基づいて、１つに推定できない収納食品がある場合、収納されている可能性の度合いを示す嗜好指数を用いて、前記収納食品を推定するプログラム。

Images