JP2019174106A - システム、方法 - Google Patents

Abstract

【課題】冷蔵庫内の食材からレシピ等を表示できる使い勝手の良い冷蔵庫の提供。【解決手段】冷蔵庫本体の収納室内部を撮像するカメラ３５−１，３５−２と、カメラにより撮像された画像から対象物を特定する対象物特定手段６８と、対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段６９と、表示手段１５と、を備え、固有名詞特定手段により対象物の固有名詞が特定された場合には、固有名詞に関連する食材関連情報を表示手段に表示する構成としてある。これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を伴う作業から解放され、使い勝手の良い冷蔵庫となる。【選択図】図１２

Description

本発明は、冷蔵庫内に収納されている食材からレシピ等の食材関連情報を知ることができる冷蔵庫及びその冷蔵庫システムに関するものである。

一般に冷蔵庫及び冷蔵システムとしては種々のものが提案されている。例えば、特許文献１に記載されている冷蔵庫及び冷蔵システムは、冷蔵室等の収納室内に小型カメラを設け、この小型カメラで撮影した収納室内の食材収納状況を、インターネット回線を介して携帯電話等の表示端末により確認できるように構成してある。

また、特許文献２にも特許文献１と同様の冷蔵庫及び冷蔵システムが開示してあり、この特許文献１に記載のものは冷蔵庫の扉を閉じたときに小型カメラで収納室内の食材状態を撮影するように構成してある。

さらに、特許文献３に記載されている冷蔵庫及び冷蔵システムは、特許文献１記載の構成に加えて、更に冷蔵庫の表面に表示端末を設け、この表示端末は冷蔵庫表面に組み込んだ固定端末機と冷蔵庫表面から取り外して持ち歩ける携帯電話等の表示端末とで構成し、前記両端末はインターネット回線を介して小型カメラで撮影した収納室内の食材収納状況をその表示部に表示可能としてあり、出かけているときはもちろん在宅時にも冷蔵庫の扉を開くことなく収納室内の食材収納状況を知ることができるように構成してある。

特開２００２−２３６７９８号公報 特開２００７−４６８３３号公報 特開２００２−８１８１８号公報

前記したこの種の冷蔵庫及びその冷蔵庫システムはカメラによる撮影によって食材の収納状況を知ることができるが、使用者はこの食材状況を見ながらレシピを考えなければならないというものであった。特に、主婦にとっては、毎日のレシピを考えることが大きな負担となっており、冷蔵庫内の食材からレシピを考える負担を軽減することが強く求められていて大きな課題となっていた。一方で、レシピ自体は無数にあり、使用者の欲しいレシピにたどり着くことが非常に困難であった。そうして、こうした環境であるが故に、主婦の多くがとりあえず庫内を確認して特定の食材についてその有無を確認し、良いレシピが見つからない場合は、また庫内の食材を確認しなおすという非常に面倒な作業を強いられていた。

本発明はこのような点に鑑みてなしたもので、冷蔵庫内に収納している食材からレシピ等の食材関連情報を表示できるようにして使い勝手を向上させた冷蔵庫及びその冷蔵庫システムを提供するものである。

本発明は上記目的を達成するため、冷蔵庫本体の収納室内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、表示手段と、
を備え、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を表示手段に表示する構成としてある。

これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を伴う作業から解放される。

本発明は、食材収納状況からレシピ等の食材関連情報を表示するので、使用者はレシピ等を容易に導き出すことができ、使い勝手の良い冷蔵庫とすることができる。

本発明の実施の形態における冷蔵庫の斜視図 同冷蔵庫の概略断面図 同冷蔵庫の収納室扉を開いたときの内部を示す斜視図 （ａ）同冷蔵庫に表示端末を一体的に装備させた斜視図、（ｂ）同冷蔵庫に表示端末を着脱自在に装備させた斜視図 同冷蔵庫に用いる表示端末の装着構成例を示し、（ａ）は表示端末を一体的に取り付けた場合の断面図、（ｂ）は表示端末を着脱自在に装着した場合の断面図 同冷蔵庫に用いる表示端末のディスプレイ視認構成例を示し、（ａ）（ｂ）は扉の外被パネルをガラスとした場合の概略断面図、（ｃ）は扉の外被パネルをマジックミラーで構成した場合の概略断面図 同冷蔵庫のカメラ取り付け例を示す縦断面図 同冷蔵庫のカメラ取り付け例を示し、（ａ）は扉を閉じた状態の冷蔵庫扉部 分の横断面図、（ｂ）は同扉を開いたときの扉内面側の正面図 同実施の形態における冷蔵庫システムのシステム構成図 同冷蔵庫システムの冷蔵庫構成を示すブロック図 同冷蔵庫システムのサーバ構成を示すブロック図 同冷蔵庫システムのレシピ抽出構成を示すブロック図 同冷蔵庫システムの撮像〜データ記憶動作を示すフローチャート 同冷蔵庫システムにおける庫内画像表示のフローチャート 同冷蔵庫システムにおける庫内連続再生のフローチャート 同冷蔵庫システムにおける食材情報（レシピ情報）表示のフローチャート 同冷蔵庫システムにおける画像合成処理を説明するための図

以下、本発明の具体的かつ詳細な実施の形態を説明するが、まず本発明の実施の形態の要点を記載する。

本発明における冷蔵庫の実施の形態は、内箱と外箱とより構成され前面が開口した冷蔵庫本体と、前記冷蔵庫本体を仕切ることで構成される収納室と、前記収納室を覆う扉と、前記収納室もしくは前記扉に設けられ前記収納室の内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、表示手段と、を備え、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記表示手段に表示する構成としてある。

これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を受ける作業から解放される。しかも収
納室内の食材収納状況が十分確認できないような場合に、扉を開けて収納されている食材を確認してからレシピを考えたり悩んだりするようなことからも解放され、その扉を開いているときに生じる収納室内の冷気漏出を防止することもできる。

また、上記構成に加えて前記対象物特定手段により特定された対象物の色彩を特定する色彩認定手段をさらに備え、前記固有名詞特定手段により前記対象物の固有名詞を特定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を前記表示手段に表示する構成としてある。

これにより、食材特定手段で特定される食材に加え更に色彩認定手段で認定される食材も加わった形で食材関連情報、すなわちレシピ情報が表示されるようになり、より多くのレシピ等の食材情報を提供することができてその利便性が向上する。

さらに加えて、前記対象物特定手段は、前記表示手段からの入力に基づいて前記撮像手段による撮像を行う構成としてある。

これにより、使用者が、食材関連情報を見たのちに扉を開けることなく特に必要と思う食材について検索することが可能となり、より使用者の要望に応じたレシピ情報等の食材関連時用法を提案することが可能となる。

また、本発明の要点となる実施の形態の冷蔵庫システムは、冷蔵庫とサーバと表示手段とから構成されていて、前記冷蔵庫の収納室内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記対象物特定手段により特定された対象物の色彩を特定する色彩認定手段と、前記冷蔵庫とサーバと表示手段との通信を行う通信手段と、を備え、前記サーバは、特定の食材について、固有名詞に基づいて分類される第一のグループと、色彩に基づいて分類される第二のグループと、を有し、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記通信手段に送信し、前記固有名詞特定手段により前記対象物の固有名詞を認定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を送信する構成としてある。

これにより、サーバは固有名詞特定手段で特定される食材と色彩認定手段で認定される食材との数多くの情報から食材情報を送信することができ、使い勝手が向上する。

以下、本発明の実施の形態１について、図面を用いて説明する。尚、本発明は小型カメラ等で撮像した冷蔵庫内の食材収納状況を、インターネット回線を介してスマートフォン等の表示端末により確認できるようにもした冷蔵庫およびその冷蔵庫システムに適用した場合を例にして説明するが、これによって本発明が限定されるものではない。

［実施の形態１］
＜１．構成＞
１−１．冷蔵庫の構成
図１〜図８を用いてフレンチドアタイプの冷蔵庫の場合の構成例についてまず説明する。

図１〜図３において、冷蔵庫本体１は、前方に開口する金属製（例えば鉄板）の外箱２と、硬質樹脂製（例えばＡＢＳ）の内箱３と、これら外箱２と内箱３との間に発泡充填した硬質発泡ウレタン等の断熱材４からなる。上記冷蔵庫本体１はその内部に複数の収納室を仕切形成してある。この収納室は、冷蔵庫本体１の上部から、冷蔵室５、冷蔵室５の下
に位置する切替室６及び切替室６に並設した製氷室７、切替室６及び製氷室７の下部に位置する冷凍室８と、冷凍室８の下部に位置する野菜室９となっている。また、前記冷蔵室５の前面は、観音開き式の扉１０により開閉自由に閉塞し、切替室６及び製氷室７と冷凍室８と野菜室９の前面部は引き出し式の扉１１，１２，１３，１４（以下、引き出し式扉と称す）によって開閉自由に閉塞してある。

冷蔵庫本体１の背面には冷却室１６があり、冷気を生成する冷却器１７と、冷気を各室に供給する送風ファン１８と、冷蔵室への風量を調整するためのダンパ（風量調整手段）２２とが設けてある。また、上記冷蔵庫本体１の本体天面奥部にはコンプレッサ１９が設けてあり、コンデンサ（図示せず）と、放熱用の放熱パイプ２０と、キャピラリーチューブ２１と、前記した冷却器１７とを順次環状に接続してなる冷凍サイクルに冷媒を封入し、冷却運転を行うように構成してある。

ここで、上記各扉１０〜１４は冷蔵庫本体１と同様硬質発泡ウレタンを充填して断熱性を持たせてあり、この冷蔵庫では、上記扉１０〜１４のうち、冷蔵室となる収納室５の扉１０の一方の前面に表示手段としての表示端末１５が装備してある。この表示端末１５は後述するインターネット等と通信可能なスマートフォン、タブレットＰＣ等で形成し、液晶パネル等のディスプレイ部とそれを制御する制御部を一体に有していて、図４（ａ）に示すように扉１０に一体的に取付けたり、あるいは、図４（ｂ）に示すように扉１０に着脱自在としてあり、いずれかの方式で装備させてある。

図５（ａ）、（ｂ）は扉１０に対する表示端末１５の装着構成例を示し、図５（ａ）は表示端末１５を一体的に取り付けた場合、図５（ｂ）は表示端末１５を着脱自在に装着した場合を示す。

図５（ａ）、（ｂ）において、扉１０は、主に、冷蔵庫の前面側に面する外被パネル１０ａと、冷蔵庫の庫内側に面する内側板１０ｂと、外被パネル１０ａと内側板１０ｂとの間に充填した断熱材４とで構成してある。外被パネル１０ａはカラー鋼板などの金属製の部材或いはガラス板等の透明の部材で構成してあり、内側板１０ｂは真空成型により形成した合成樹脂部材である。内側板１０ｂの周囲部分には、庫内側から見てロの字状で庫内側に突出する隆起壁部１０ｂ−１が設けてある。また、断熱材４にはすでに述べたように例えば硬質発泡ウレタンなどが用いてある。

また、表示端末１５を一体化した図５（ａ）の扉１０においては、扉１０の前面側に、外被パネル１０ａと連続して断熱材４を覆う樹脂製の収納枠体２３が設けてある（外被パネル１０ａがガラス板である場合はガラス板に一体的に接着して設けてある）。表示端末１５は、端末保持体２４を介して収納枠体２３に固定されている。また、表示端末１５の前面側には、タッチパネル２５を設けている。表示端末１５とタッチパネル２５間は隙間２６が設けてあり、表示端末１５からのノイズによってタッチパネル２５が誤作動を起さないようにしてある。表示端末１５、タッチパネル２５はその外周縁を覆う枠体２７を扉１０表面に取り付けて固定してある。このように、収納枠体２３を設けることで、断熱材４が表示端末１５に直接ふれることがないため、断熱材４を発泡する際に、表示端末１５が高温に曝されたり、変形したりするなどの不具合を防止することができる。一方、表示端末１５を着脱自在とした図５（ｂ）の扉１０では、扉１０の前面部に収納枠体２３を設けることで、凹部２８を形成し、この凹部２８に表示端末１５を着脱するように構成してある。

図６（ａ）、（ｂ）、（ｃ）は、扉１０と表示端末１５のディスプレイ透視構成の一例を示し、図６（ａ）、（ｂ）は扉１０の外被パネル１０ａがガラス板１０ａ−１の場合、図３（ｃ）は扉１０の外被パネル１０ａをマジックミラー１０ａ−２で構成した場合を示
す。

図６（ａ）においては、扉１０に埋設した表示端末１５とガラス板１０ａ−１との間に、表示端末１５と対向する部分のみ透明としたスモークシート２９が設けてあり、表示端末１５がオフで黒っぽく見える時でも、表示端末１５以外のガラス板１０ａ−１部分もスモークシート２９によって黒っぽく見えて表示端末１５との境界が目立つことがなくなり、外観を良好に維持することができる。また、図６（ｂ）においては、表示端末１５の表示部として透明液晶表示部を用い全体が黒いスモークシート２９ａを透明液晶表示部の裏面に沿うように敷設したもので、この形態によっても外観を良好なものとすることができる。更に、図６（ｃ）では図６（ａ）、（ｂ）のガラス板１０ａ−１をマジックミラー１０ａ−２とし、スモークシート２９を不要としたもので、この場合も外観を良好に維持することができる。いずれも表示端末１５を扉１０に一体的に取り付けた場合の例を示す。なお、スモークシート２９の代わりにガラス板１０ａ−１の背面側に黒っぽく見えるよう塗装を行ってもよい。

図７、図８（ａ）、（ｂ）は庫内撮像用のカメラと庫内照明灯の取り付け例を示すもので、図７は扉を閉じた状態の冷蔵庫の縦断面図、図８（ａ）は同扉を閉じた状態の冷蔵庫における扉内面部を示す横断面図、図８（ｂ）は同扉を開いたときの扉内面部の正面図である。

図７、図８（ａ）、（ｂ）において、冷蔵庫の収納室５には上下複数段に棚板３０−１〜３０−４が設けてある。この棚板３０−１〜３０−４は周囲の枠を除き、透明な合成樹脂材やガラスなどの透過性を有する材料で形成してある。

３１は最下段の棚板３０−４の下方に引き出し自在に設けた収納容器である。最下段の棚板３０−４は収納容器３１の上面を構成することから固定されているものの、棚板３０−１〜３０−３は、それぞれ収納室５の両側壁部に設けられた側壁凸部３２−１〜３２−４に載せられており、脱着自在となっている。特に、最下段の棚板３０−４を除いた棚板３０−１〜３０−３のうち中央の棚板３０−２には、対応する側壁凸部３２−２が異なる高さに複数、設けられており、棚の高さを調節できるようになっている。

３３−１〜３３−３は前記収納室５の開口を開閉する扉１０の内面部に設けた扉ポケットで、上下複数段設けてある。この扉ポケット３３−１〜３３−３も透過性を有する材料で形成してある。

３４−１，３４−２は庫内照明灯で、前記各棚板３０−１〜３０−４の前端より前方の前記収納室５の前面開口両側壁部と前面開口上面壁面部に設けてある。なお、この庫内照明灯３４−１，３４−２は省エネの関係から複数のＬＥＤを配置した基板を例えば上下方向に渡り設けて透光性のカバーで覆ってある。

３５−１，３５−２は前記庫内照明灯３４−１，３４−２と同様収納室５の前面側に位置するように設けた撮像手段としてのカメラで、例えば、ＣＣＤカメラやＣＭＯＳカメラ等で構成してあり、その種類は特に限定するものではないが、結露等に強いものであるのが好ましい。

この実施の形態では前記カメラは二つ設けてあって、その一方３５−１は上段扉ポケット３３−１の前後方向略中央の下面に取り付けてあり、もう一方３５−２は最下段の扉ポケット３３−３の上部付近に取り付けてある。ここで、扉ポケット３３の前後方向とは、扉１０の内側板１０ｂが構成する面に対して垂直方向であり、扉１０を閉じた際には収納室５の前後方向と同一となる方向である。

また、上方のカメラ３５−１は最上段の棚板３０−１の略前方位置に、下方のカメラ３５−２は図中三段目の棚板３０−３の前方位置に設けてある。つまり、いずれのカメラも、高さ調節を前提にして設けられている複数の側壁凸部３２−２に載せられる棚板３０−２ではなく、脱着可能ではあるが高さ調整を前提としていない棚板３０−１、棚板３０−３の略前方位置に設けてある。

そして、いずれのカメラ３５−１，３５−２も、図７から明らかなように各棚板３０−１〜３０−４の前端より前方位置であって、かつ、図８（ｂ）に示す様に扉１０の軸支部Ｘとは反対の開放端側端部Ｙ付近、すなわち冷蔵庫５１の左右方向の略中央部に位置するように設けて、この二つのカメラ３５−１，３５−２で庫内のほぼ全域が撮像できるようにしてある。このフレンチドアの例の場合、カメラ３５−１，３５−２は大きい面積の扉１０側に設けて、冷蔵庫５１の略中央部に位置するように設定してある。また、この例では、カメラ３５−１，３５−２はセンターピラー３６（図３参照）が設けられていない扉１０側に設けて、冷蔵庫５１の略中央部に位置するように設定してある。なお、センターピラー３６とは、周知の如くフレンチドアの場合に、２枚の扉１０のいずれか一方の側面に設けられ、２枚の扉１０の間に生じる隙間から収納室５内の冷気が漏れるのを防止するために設けられた部材である。

また、前記庫内照明灯３４−１，３４−２は、図７から明らかなようにカメラ３５−１，３５−２より収納室奥側の位置に設け、庫内照明灯３４−１，３４−２の光が直接カメラ３５−１，３５−２の撮像部に入り込まないように設けてある。

なお、これは、図示しないが、庫内照明灯３４−１，３４−２のカメラ側に遮光部を設けたり、或いは庫内照明灯３４−１，３４−２を構成するＬＥＤ等の光原を斜め後方向きに傾斜配置するなどの構成とすることによって、庫内照明灯３４−１，３４−２の光が直接カメラ３５−１，３５−２の撮像部に入り込まないようにしてもよいものであり、カメラの設置条件等に応じて適切に選択すればよい。

１−２．冷蔵庫システムの全体構成
次にこれまでに述べてきたような冷蔵庫を用いた冷蔵庫システム全体について図９〜図１１を用いて説明する。

図９は上記した冷蔵庫を用いた冷蔵庫システム５０の全体構成を示す。図９に示すように、この冷蔵庫システム５０は、表示端末１５等によって、冷蔵庫５１内の食材状況を確認するシステムである。

この冷蔵庫システム５０は、冷蔵庫５１と、表示端末１５とを備え、さらに、無線アダプタ（通信装置）５３、ゲートウェイ装置（中継装置）５４、ルーター装置５５、インターネット等の公衆通信網５６、サーバ装置５７を含む。

冷蔵庫５１は、使用者の住居Ａ内に配置され、例えば、住居Ａ内のキッチンルームに配置される。

無線アダプタ（通信装置）５３は、冷蔵庫５１の後述する制御部に電気的に接続し、ゲートウェイ装置（中継装置）５４を介してルーター装置５５と通信するように構成される。無線アダプタ５３は、ルーター装置５５から送信される信号を受信し、受信した信号を冷蔵庫５１の制御部に出力する。この信号に基づいて、冷蔵庫５１は、対応する動作を実行するように構成される。

無線アダプタ５３は、また、冷蔵庫５１の識別情報（例えば、製造番号や型番等）や後述する庫内画像データ等を冷蔵庫５１の記憶部から取得し、ゲートウェイ装置（中継装置）５４を介してルーター装置５５に送信するように構成される。なお、無線アダプタ５３は、冷蔵庫５１に一体に設けてもよいし、着脱可能に構成してもよい。

無線アダプタ５３は、「接続」ボタン５３ａを備える。「接続」ボタン５３ａは、ゲートウェイ装置（中継装置）５４と新規に接続するためのものである。「接続」ボタン５３ａが使用者によって操作されると、無線アダプタ５３は、冷蔵庫５１の記憶部から冷蔵庫５１の識別情報（例えば製造番号や型番）を取得するように構成される。

表示端末１５は、既述した如く、例えば、スマートフォン、タブレットＰＣ（パーソナルコンピュータ）などの汎用の携帯型の端末であって、本実施の形態の場合、すでに述べた冷蔵庫５１の扉１０に着脱自在に装備可能なもので、インターネット等の公衆通信網５６に接続する機能（手段）と、後述するゲートウェイ装置５４と通信する機能（手段）とを備える。

表示端末１５（例えばスマートフォン）は、電話回線網（例えば３Ｇ回線網）を介して、インターネット等の公衆通信網５６に接続するように構成されている。それに加えてまたは代わりとして、例えば、表示端末１５は、Ｗｉ−Ｆｉ通信機能によって公衆無線ＬＡＮを介してインターネット等の公衆通信網５６に接続するように構成されている。

インターネット等の公衆通信網５６に接続することにより、例えば、表示端末１５は、本発明の対象となる冷蔵庫内の食材の画像データや省エネ運転をさせるためのデータ（例えば扉の開閉回数等のデータ）を取得するプログラムを、インターネット等の公衆通信網５６を介して冷蔵庫５１の製造メーカのホームページから取得することができる。この取得したプログラムを表示端末１５にインストールし、インストールしたプログラムを起動させることにより、表示端末１５は、冷蔵庫内の食材の画像データ等を取得することが可能になる。即ち、表示端末１５はそのディスプレイ１５ａの操作画面を操作することにより、冷蔵庫５１の画像データを取得するための操作信号を生成し、送信することが可能になる。詳細については、後述する。

表示端末１５はまた、例えば、Ｗｉ−Ｆｉ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信などのインターネット等の公衆通信網５６を介さない汎用の通信によってルーター装置５５と接続し、そのルーター装置５５を介してゲートウェイ装置５４に通信接続するように構成されている。そのためのデバイス（例えばＷｉ−Ｆｉアンテナ等）が表示端末１５に組み込まれている。

ゲートウェイ装置（中継装置）５４は、無線アダプタ５３と表示端末１５との通信を中継する装置であって、例えば、無線アダプタ５３と、特定小電力無線特別小型周波数帯（９２４．０〜９２８．０ＭＨｚ）の信号を用いて通信するように構成される。ゲートウェイ装置５４と無線アダプタ５３間の通信の周波数帯は、遠距離まで届く低周波数帯が好ましく、ルーター装置５５とともに冷蔵庫５１が設置された使用者の住居Ａ内に設置されている。

ゲートウェイ装置５４はまた、表示端末１５とルーター装置５５を介して通信接続するように構成されている。すなわち、表示端末１５とインターネット等の公衆通信網５６を介さずにルーター装置５５のみを介して通信（第１の通信）が実行できるように、ゲートウェイ装置５４は構成されている。

ゲートウェイ装置５４はさらに、ルーター装置５５を介してインターネット等の公衆通
信網５６に接続可能に構成されている。これにより、ゲートウェイ装置５４は、インターネット等の公衆通信網５６およびルーター装置５５を介して、表示端末１５と通信（第２の通信）することができるとともにサーバ装置５７にも通信することができる。

したがって、ゲートウェイ装置５４は、表示端末１５に対して、インターネット等の公衆通信網５６を介さない通信（すなわちルーター装置５５のみを介する第１の通信）と、インターネット等の公衆通信網５６を介する通信（すなわちインターネット等の公衆通信網５６およびルーター装置５５を介する第２の通信）とが実行できるように構成されている。このように構成する理由については後述する。

サーバ装置５７は、例えば、冷蔵庫５１の製造メーカにより用意される。サーバ装置５７は、表示端末１５、冷蔵庫５１、無線アダプタ５３に関し、アクセスや認証に必要な情報等を管理する。例えば、サーバ装置５７は、通信要求信号に含まれる表示端末１５の識別情報と、無線アダプタ５３に対応付けされて記憶（登録）されている表示端末１５の識別情報とが一致するか否かを認証（判別）する。そして、サーバ装置５７は、これらが一致する場合には、アクセスする表示端末１５を、正規の表示端末として認証し、住居Ａ内の冷蔵庫５１との通信を許可する。

また、サーバ装置５７は、前記した、冷蔵庫５１より送信される冷蔵庫内の食材の画像データや省エネ運転をさせるためのデータ等を保存する。これらのデータは表示端末１５からのデータ呼び出し信号に基づき表示端末１５に送信する。すなわち、使用者は表示端末１５を操作することによって冷蔵庫内の食材画像データをディスプレイに表示させて確認することができる。

１−３．冷蔵庫のシステム部構成
図１０は上記冷蔵システムに用いる冷蔵庫のシステム部構成を示す。

図１０において、この冷蔵庫５１は、インターフェイス（Ｉ／Ｆ）５８、制御演算部５９、記憶部６０、及び扉開閉検出部６１、庫内照明灯３４−１，３４−２、カメラ３５−１，３５−２、ファン駆動回路６２、コンプレッサ駆動回路６３、送風ファン１８、及びコンプレッサ１９を備え、例えば住居Ａ内の商用電源等の交流電源６４から電力の供給を受ける。

インターフェイス（Ｉ／Ｆ）５８は、無線アダプタ５３と冷蔵庫５１の制御演算部５９との間のデータ等のやり取りを行う。

制御演算部５９は、冷蔵庫の動作を制御する。また、この制御演算部５９は、カメラ３５−１，３５−２と庫内照明灯３４−１，３４−２を制御して冷蔵庫内の食材を撮像するとともに、画像データは記憶部６０に一旦記憶させ、かつ、インターネット等の公衆通信網５６のサーバ装置５７に送信する。更に、表示端末１５からサーバ装置５７を介して画像データ等の事前送信の要求信号があれば食材撮像後に直ちにサーバ装置５７を介して表示端末１５に送信実行するように指示する。その詳細については、後述する。

記憶部６０は、識別記号や制御プログラムのほかに、カメラ３５−１，３５−２撮像した庫内食材の画像データや省エネ運転をさせるためのデータを時間情報とともに一定期間分書き換え記憶する。

庫内照明灯３４−１，３４−２は、扉開閉検出部６１からの信号に基づき制御演算部５９によって点灯・消灯が制御され、扉１０が開かれると点灯し、扉１０が閉じられると数秒の遅延時間をおいて消灯する。

カメラ３５−１，３５−２は、扉開閉検出部６１からの信号に基づき制御演算部５９よって制御され、扉１０が閉じられると冷蔵庫内の食材を撮像する。その詳細は後述する。

ファン駆動回路６２は、制御演算部５９からの制御信号を受け、送風ファン１８の回転の駆動を制御する。

コンプレッサ駆動回路６３は、制御演算部５９からの制御信号を受け、コンプレッサ１９の回転数等の駆動を制御する。

送風ファン１８は、ファン駆動回路６２の制御に従い動作して、冷気を循環させるための気流を発生する。

コンプレッサ１９は、コンプレッサ駆動回路６３の制御に従い、冷蔵庫５１内を循環する冷媒（図示せず）を圧縮する。

１−４．サーバ装置の構成
次に、図１１を用い、実施の形態１における冷蔵庫システムのサーバ装置の構成例について説明する。ここでは、前記図９中のサーバ装置５７の構成を一例に挙げる。

図１１に示すように、このサーバ装置５７は、サーバ用インターフェイス６５、サーバ制御部６６、及びデータ記憶部６７を備える。

サーバ用インターフェイス６５は、サーバ制御部６６の制御に従い、インターネット等の公衆通信網５６を介した表示端末１５及びルーター装置５５とサーバ装置５７との間のデータ等のやり取りを行う通信部である。

サーバ制御部６６は、このサーバ装置５７の全体の動作を制御する。サーバ制御部６６は、また冷蔵庫５１から送信される食材の画像データを結合処理し、データ記憶部６７に時間情報とともに記憶させるとともに、表示端末１５から画像データの事前送信要求の信号があると、データ記憶部６７に記憶している画像データの最新画像データを、当該画像データが冷蔵庫５１から送信されてくる都度、表示端末１５に送信し、表示端末１５に時間情報とともに一定期間分記憶させ書き換え更新させる。もちろん、画像データの事前送信要求の信号がない状態で表示端末１５からデータ呼び出し信号が送信されてくると、データ記憶部６７に記憶している最新の画像データを表示端末１５に送信する。さらにまた、このサーバ制御部６６は後述するが前記カメラ３５−１，３５−２で撮像された画像の中から画像認識技術を用いて食材名あるいは色彩を認定し、当該認定した食材から得られるレシピを抽出し、表示端末１５から画像送信指示があればこれを表示端末１５に送信する。

データ記憶部６７は、冷蔵庫システムを実行するための管理プログラムやアプリケーションプログラム等の必要なデータを記憶している。更にデータ記憶部６７は、サーバ制御部６６の制御に従い、冷蔵庫５１より送信されてくる食材画像データの最新データを時間情報を追加して書き換え記憶している。そしてさらにこのデータ記憶部６７は前記サーバ制御部６６がレシピ抽出に必要な肉等の食材名グループと、キャベツあるいは肉等が有する色彩グループデータと、これらの食材データから得られるレシピ名群を記憶している。なお、データ記憶部６７は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成される。

図１２は上記サーバ装置５７のサーバ制御部６６とデータ記憶部６７で構成されるレシ
ピ抽出構成を示すブロック図である。

このレシピ抽出ブロック図において、６８はカメラ３５−１，３５−２よりインターネット等の公衆通信網５６、インターフェイス（Ｉ／Ｆ）５８を介して送信されてくる画像から食材を特定する対象物特定手段で、画像認識技術を用いて構成してある。この対象物特定手段６８は、例えば肉や魚等の生もの類、パスタ等のパッケージ包装類、醤油等のボトル類、牛乳等のボックス類、缶詰類等を特定する。そしてこの対象物特定手段６８は固有名詞特定手段６９と色彩認定手段７０を有していて、特定した対象物から固有名詞特定手段６９が食材の固有名詞を、また色彩認定手段７０が色彩を特定する。この特定は、食材名／色彩群記憶部７１に記憶されているデータの中から特定する。すなわち、固有名詞特定手段６９は画像認識した文字あるいは図柄等から食材名／色彩群記憶部７１に記憶されているデータの中の最も近い文字或いは図柄を持つ食材名を特定し、色彩認定手段７０は画像認識で得られた色彩から食材名／色彩群記憶部７１に記憶されている色彩のうちの最も近い色彩を特定する。７２はレシピ等の食材情報を抽出する食材情報抽出手段で、前記対象物特定手段６８、固有名詞特定手段６９、色彩認定手段７０から得られた食材と、食材情報記憶部７３と、のデータのやり取りによってレシピを抽出するものである。上記食材情報記憶部７３は料理名と食材名および色彩との関係、具体的には食材Ａ、Ｂ、Ｃ…、色彩ａ、ｂ…から作ることができる料理名が記憶されており、食材情報抽出手段７２はこの食材情報記憶部７３の料理名群から該当するものを抽出し、インターネット等の公衆通信網を介して表示端末に送信する。

なお、サーバ装置５７は単一の大型コンピュータで構成されるサーバ、或いは、多数のコンピュータ群で構成されるクラウド型サーバのいずれでも構築できるものである。

＜２．動作＞
次に上記構成からなる冷蔵庫及び冷蔵システムの動作について説明する。なお、以下の各説明において同じ動作については同一のステップ番号を付記して説明する。

このシステムでは冷蔵庫の収納室内に設けたカメラ３５−１，３５−２で収納室内を撮影するが、この撮像は食材を出し入れするために扉を開閉した時、あるいは使用者が表示端末１５を操作して撮影を指示した時に行われる。

その動作を図１３のフローチャートを用いて説明する。

まず使用者が食材の出し入れのために扉１０を開くと（ステップ１−Ｙ）、扉開閉検出部６１がこれを検知して収納室内の庫内照明灯３４−１，３４−２が点灯し（ステップ２）、カメラ３５−１，３５−２が収納室内を撮像する（ステップ４）。この画像データは無線アダプタ（通信装置）５３、ゲートウェイ装置（中継装置）５４、ルーター装置５５、インターネット等の公衆通信網５６を介してサーバ装置５７に送信され（ステップ５）、サーバ装置５７のデータ記憶部６７に記憶される（ステップ６）。そして、表示端末１５からインターネット等の公衆通信網５６に混雑があってもスピーディに画像を確認できるようにすべく画像データの事前送信要求があると（ステップ７−Ｙ）、サーバ装置５７に記憶した画像データを表示端末１５に送信し（ステップ８）、表示端末１５に画像データを記憶しておく（ステップ９）。

一方、食材出し入れのための扉開閉はないものの、使用者が食材買い出し先のお店等から収納室内の食材収納状況を確認すべく表示端末１５を操作して撮像指示が送信されると（ステップ１０−Ｙ）、インターネット等の公衆通信網５６、ルーター装置５５、ゲートウェイ装置（中継装置）５４、無線アダプタ（通信装置）５３を介して庫内照明灯３４−１，３４−２が駆動されて点灯（ステップ１１）するとともに、カメラ３５−１，３５−
２が作動して収納室内を撮像する（ステップ４）。以降は前記扉開閉時の撮像後と同じ動作を行う。

また、上記のように送信された画像データは表示端末１５で再生して確認する。

図１４は通常の庫内画像表示のフローチャートを示す。使用者は表示端末１５から表示したい庫内画像の表示期間または日時を任意に設定し表示端末１５の画像取得操作を行う。例えば表示端末１５から事前送信要求を行い、指定期間内の庫内画像取得を行う。画像データの取得の流れは図１３で示した通りである。前記庫内画像は表示端末１５に保存され（ステップ１２）、表示端末１５は、保存された画像の中から指定期間内の画像データの有無を確認し（ステップ１３）、その画像データを時系列に読み込み表示端末１５の表示部に出力する（ステップ１４）。使用者が再生ボタンを押すと、表示端末１５の表示部に時系列に読み込みこまれた画像データを自動的に切り替えて（ステップ１５）表示を行う事で連続再生を行う。画像切り替えのタイミングは、表示時間が一定時間経過後、もしくは、使用者による画像送り操作があった場合に、画像切り替えを行う（ステップ１６−Ｙ）。使用者による画像送り操作は、表示端末１５に表示される送りボタンの押下や、シークバーを利用し、画像を時間幅でスキップしながら閲覧する事ができる。これによって、日時指定による庫内画像検索、また時系列庫内画像の連続的な閲覧を可能にし、画像検索に要する時間を大幅に短縮する事ができ、しかも、シークバーを利用することでこれによって効果的に目的の画像を見つけ出すことが可能となる。

図１５は、庫内画像の変化検出を行うとともに、庫内画像の連続再生を行う場合のフローチャートを示す。表示端末１５に保存されその表示部に画像データが出力され（ステップ１７）、使用者は表示されている庫内画像を指でなぞり食材または庫内の領域を指定し（ステップ１８）自動再生を行うことにより、前回表示していた画像と現在表示している画像との特定領域を比較し（ステップ１９）、使用者による画像送り操作があると（ステップ１６−Ｙ）、画像切り替えを行い（ステップ１５）、変化を検出すると自動再生を停止する（ステップ２０）。これによって、使用者は画像データを一枚ずつ確認することなく、自動再生を行う事で庫内の特定領域、または食材の有無の変化を容易に知ることができ、在庫管理を容易に行うことができる。さらに、特定の領域を指定することにより画像変化の検出処理量も減少し一定の処理速度を保つことも可能となる。なお、前記前回表示画像と現在表示画像との特定領域を比較してその変化有無を検出するのは冷蔵庫の制御演算部５９あるいはサーバ装置５７のサーバ制御部６６で行わせるのがよい。

以上のようにこの冷蔵庫及び冷蔵庫システムは収納室内の食材収納状況を確認することができるのであるが、さらに本発明の要点であるレシピ等の食材情報も知ることができるので、以下図１６を用いてこれを説明する。

すなわち、図１３で示したようにカメラ３５−１，３５−２で撮像され、サーバ装置に送信され（ステップ５）記憶された（ステップ６）画像データは、図１６のステップ２１に示すようにまず対象物特定手段６８の画像認識によって対象物が特定され、次に固有名詞特定手段６９によって食材の固有名詞が特定できるかを確認し（ステップ２２）、確認できればその食材名を特定する（ステップ２３）。

一方、前記対象物特定手段６８による固有名詞確認（ステップ２３）後にさらに色彩認定手段７０が対象物の色彩認定が可能かを確認し（ステップ２４）、可能であればこれを認定する（ステップ２５）。

その後、食材情報抽出手段７２が前記特定した食材名、もしくは食材名と色彩に基づき当該食材からできるレシピ名を抽出し（ステップ２６）、これをサーバ装置のデータ記憶
部に記憶する（ステップ２７）。

そして、表示端末１５から送信要求があると（ステップ２８−Ｙ）、サーバ装置５７に記憶したレシピ名を表示端末１５に送信し（ステップ２９）、表示端末１５に表示させる（ステップ３０）。

これにより、使用者は、冷蔵庫の収納室内に収納されている食材の収納状況とともに、当該食材によってできるレシピを知ることができ、使い勝手が大きく向上する。

なお、本発明の上記実施の形態で例示した冷蔵庫及び冷蔵庫システムは次のような利点も併せ持っているので、記載しておく。

すなわち、この実施の形態の冷蔵庫では、カメラ３５−１，３５−２は収納室５の前面側から収納室５内の食材を撮像するが、このとき庫内照明灯１３−０，３４−２も収納室５の前面側に設けてあって、収納室５内の食材をカメラ３５−１，３５−２による撮像方向と同じ前面側から照射している。したがって、その撮像画像は庫内照明灯３４−１，３４−２が収納室５の奥壁に設けてある場合のような暗さや見にくさはなく、鮮明な画像となる。また、撮像した画像を明るくし、鮮明にする画像処理をサーバ装置５７に求める必要もなくなる。

また、上記カメラ３５−１，３５−２と庫内照明灯３４−１，３４−２とは前記棚板３０−１〜３０−４の前端より前方側に位置するように設けてあるから、カメラ３５−１，３５−２で撮像した収納室５内の画像は、使用者が冷蔵庫５１の扉１０を開いて実際に見る状態と同じとなる。したがって、使用者が表示端末１５に画像データを表示させてみたときに何ら違和感を持つことなく収納室５内の食材状況を確認することができる。しかも、庫内照明灯３４−１，３４−２は棚板３０−１〜３０−４の前端前方から棚板上の食材を照らすので、棚板３０−１〜３０−４の前端部に載置されている食材も明るく、かつ、鮮明に撮像することができる。

また、上記カメラ３５−１，３５−２は冷蔵庫５１の扉１０内面部に設けるとともに、庫内照明灯３４−１，３４−２は収納室５の開口縁両側壁部に設けてあるから、カメラ３５−１，３５−２はまず収納室５の左右略中央部に位置することになる。したがって、当該カメラ３５−１，３５−２で撮像した画像を使用者が冷蔵庫５１の扉１０を開いて実際に見る状態により近い形とすることができる。加えて、上記カメラ３５−１，３５−２と棚板上の食材との間の距離を大きくとって収納室５内の広い範囲を撮像することができ、より広範囲の食材の収納状況を表示端末１５で確認することが可能となる。

また、カメラ３５−１，３５−２は扉内面の扉ポケット３３−１，３３−２の前後方向の略中央部分に位置するように設けてあるから、収納室５内の食材のみならず扉ポケット３３−１，３３−２に収納している食材、例えば牛乳パック等をもその一部を撮像することができる。使用者は自分で収納したものであるから、その一部が写っているだけでもそれが何であるかを認識することができる。よって、収納室内のほぼ全ての食材を撮像することが可能となる。

一方、前記庫内照明灯３４−１，３４−２は、図７、図１０から明らかなようにカメラ３５−１，３５−２より奥側の位置に設け、庫内照明灯３４−１，３４−２の光が直接カメラ３５−１，３５−２の撮像部に入り込まないように設けてあるから、庫内照明灯３４−１，３４−２の光がカメラ３５−１，３５−２に入ってカメラ３５−１，３５−２の写りが悪くなることを防止でき、常に良好な画像を得ることができる。これは、庫内照明灯３５−１，３５−２のカメラ側に遮光部を設けたり、或いは庫内照明灯３４−１，３４−
２を構成するＬＥＤ等の光原を斜め後方向きに傾斜配置するなどの構成を採用しても同様の効果が得られる。

また、上記カメラ３５−１，３５−２で撮像した収納室５内の画像は、それぞれのカメラ３５−１，３５−２の画像をサーバ装置５７に送信してサーバ装置５７、或いは冷蔵庫５１、或いは表示端末１５内で結合処理し合成するが、この実施の形態では上記画像の合成処理が容易になる。

すなわち、上記カメラ３５−１，３５−２は、棚板３０−１〜３０−４の前端と対応する扉内面部、この例では上段の棚板３０−１と３段目の棚板３０−３の前端と対応する扉内面部に設けてあるから、それぞれのカメラ３５−１，３５−２の撮像は図１７中の線Ｚが境界線となるように棚板３０−１，３０−３を中心として撮像することになる。

したがって、二つのカメラ３５−１，３５−２で撮像した収納室５内の画像データは、境界線Ｚとなる２段目の棚板３０−２部分で結合処理することを可能とする。すなわち、図１７の「撮像生画像」に示すように上下それぞれの画像には棚板３０−２が共通して写っており、この「撮像生画像」の湾曲を修正して「湾曲修正処理後画像」にした後、前記上下の画像に移っている共通の棚板３０−２を合致させれば収納室全体の撮像画像となる。その結果、画像の結合処理時に棚板の上に置かれている各食材を、各食材ごとに位置合わせして結合するきわめて困難な補正処理をする必要がなくなって、画像の結合処理は容易となる。よって、画像結合のための処理プログラムも簡素なものとすることができ、画像結合処理のためのサーバ装置５７、或いは冷蔵庫５１、或いは表示端末１５の制御部分の容量も大容量のものを必要としなくなり、処理速度のスピーディ化に貢献できる。

さらに、二つのカメラ３５−１，３５−２は、高さ調整ができない棚板３０−１、棚板３０−３の略前方位置に設けてあることから、高さ調節可能な棚板３０−２の高さが変更された場合でも、画像の結合処理時に、棚板３０−２の高さに応じて結合処理する範囲を調整することで、容易に画像の結合処理が可能となる。

以上、本発明に係る冷蔵庫及び冷蔵庫システムについて、上記実施の形態を用いて説明してきたが、本発明は、これに限定されるものではない。すなわち、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。つまり、本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

例えば、冷蔵庫はフレンチドアタイプの冷蔵庫を例示したが、シングルドアタイプの冷蔵庫であってもよく、また、カメラ３５−１，３５−２は冷蔵室に設けた場合のみで説明したが、野菜室や冷凍室にも設けて、これら各室に収納保存されている食材も加えてレシピを提案できるようにすればよく、これによってより多くのレシピ提案が可能となる。

また、カメラ３５−１，３５−２は一つの収納室に二つ設けた場合を例示したが、この場合は各撮像カメラ３５−１，３５−２で撮像した撮像画像をサーバ装置５７で一つの画像に合成して表示端末１５に表示させるなどすればよく、別々の収納室にそれぞれ設けた場合はそれぞれの画像を選択して表示できるようにすれば食材収納状況の表示もわかりやすいものとすることができる。

さらにまた、カメラ３５−１，３５−２による収納室内の撮像は扉を閉じた状態で行うものを例示したが、これは扉を一定角度開いた状態で撮像するようにしてもよいものである。

また、レシピ抽出ブロックはサーバ装置５７のサーバ制御部６６とデータ記憶部６７とで構成したものを例示したが、これは冷蔵庫側で構成してもよく、場合によっては表示端末１５で構成してもよいものである。

また、通信形態も、本実施の形態では表示端末１５と冷蔵庫５１の無線アダプタ５３、インターネット等の公衆通信網５６との通信経路にゲートウェイ装置５４を介在させるものを例示したが、このゲートウェイ装置５４は必ずしも必要でなく、ルーター装置５５を介して直接に表示端末１５及び冷蔵庫５１の無線アダプタ５３、インターネット等の公衆通信網５６と通信するように構成してもよく、このようにすることによってシステム構成の簡素化が図れる。

また前記実施の形態では使用者が住居Ａ外に居るときにはサーバ装置５７から画像データを取得するようにしたが、サーバ装置５７を介さずに、表示端末１５からインターネット等の公衆通信網５６およびルーター装置５５、ゲートウェイ装置５４と通信し、冷蔵庫５１の記憶部６０に記憶されている画像データを冷蔵庫５１から直接取り込むように構成してもよい。この場合及びダイレクト通信を行う場合は、冷蔵庫５１の記憶部６０で画像の結合処理を行い、この結合処理後の画像データを送信するのが好ましい。

本発明は、食材収納状況からレシピ等の食材関連情報を表示するので、使用者はレシピ等を容易に導き出すことができ、使い勝手の良い冷蔵庫とすることができるから、家庭用の冷蔵庫をはじめとして各種の冷蔵庫に適用すると効果的である。

１ 冷蔵庫本体
２ 外箱
３ 内箱
４ 断熱材
５ 冷蔵室（収納室）
６ 切替室
７ 製氷室
８ 冷凍室
９ 野菜室
１０ 扉
１１〜１４ 引き出し式扉（扉）
１５ 表示端末（表示手段）
１５ａ ディスプレイ
１６ 冷却室
１７ 冷却器
１８ 送風ファン
１９ コンプレッサ
２０ 放熱パイプ
２１ キャピラリーチューブ
２２ ダンパ
３０−１〜３０−４ 棚板
３１ 収納容器
３２−１〜３２−４ 側壁凸部
３３−１〜３３−８ 扉ポケット
３４−１，３４−２ 庫内照明灯
３５−１，３５−２，３５−３ カメラ（撮像手段）
３６ センターピラー
４１ カメラモジュール
５０ 冷蔵庫システム
５１ 冷蔵庫
５３ 無線アダプタ（通信装置）
５３ａ 「接続」ボタン
５４ ゲートウェイ装置（中継装置）
５５ ルーター装置
５６ インターネット等の公衆通信網
５７ サーバ装置
５８ インターフェイス（Ｉ／Ｆ）
５９ 制御演算部
６０ 記憶部
６１ 扉開閉検出部
６２ ファン駆動回路
６３ コンプレッサ駆動回路
６４ 交流電源
６５ サーバ用インターフェイス
６６ サーバ制御部
６７ データ記憶部
６８ 対象物特定手段
６９ 固有名詞特定手段
７０ 色彩認定手段
７１ 食材名／色彩群記憶部
７２ 食材情報抽出手段
７３ 食材情報記憶部

本発明は、冷蔵庫内に収納されている食材に対応するレシピを知ることができるシステムに関するものである。

本発明は、冷蔵庫内に収納されている食材に対応するレシピを携帯端末において表示できる仕組みを提供するものである。

本発明は、冷蔵庫と、サーバと、携帯端末とを含むシステムであって、前記冷蔵庫は、前記冷蔵庫の庫内に収納されている食材を特定するための情報を前記サーバに送信する第１の送信手段を備え、前記サーバは、前記情報に基づいて、前記冷蔵庫の庫内に収納されている食材に対応するレシピを特定する特定手段と、前記特定手段によって特定された前記レシピを前記携帯端末に送信する第２の送信手段とを備え、前記携帯端末は、前記レシピを表示する表示手段を備えることを特徴とする。
また、本発明は、レシピをユーザに提示するための方法であって、冷蔵庫に、前記冷蔵庫の庫内に収納されている食材を特定するための情報をサーバに送信させる第１のステップと、前記サーバに、前記情報に基づいて、前記冷蔵庫の庫内に収納されている食材に対応するレシピを特定させる第２のステップと、前記サーバに、特定された前記レシピを携帯端末に送信させる第３のステップと、前記携帯端末に、前記レシピを表示させる第４のステップとを有することを特徴とする。

本発明は、冷蔵庫内に収納されている食材に対応するレシピを携帯端末において表示できる。

Claims (4)

1. 内箱と外箱とより構成され前面が開口した冷蔵庫本体と、前記冷蔵庫本体を仕切ることで構成される収納室と、前記収納室を覆う扉と前記収納室もしくは前記扉に設けられ前記収納室の内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記扉に設けられた表示手段と、を備え、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記表示手段に表示する構成とした冷蔵庫。
2. 対象物特定手段により特定された対象物の色彩を特定する色彩認定手段をさらに備え、固有名詞特定手段により前記対象物の固有名詞を特定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を表示手段に表示する構成とした請求項１記載の冷蔵庫。
3. 対象物特定手段は、表示手段からの入力に基づいて撮像手段による撮像を行う構成とした請求項１または２記載の冷蔵庫。
4. 冷蔵庫とサーバと表示手段とから構成される冷蔵庫システムであって、前記冷蔵庫の収納室内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記対象物特定手段により特定された対象物の色彩を特定する色彩認定手段と、前記冷蔵庫とサーバと表示手段との通信を行う通信手段と、を備え、前記サーバは、特定の食材について、固有名詞に基づいて分類される第一のグループと、色彩に基づいて分類される第二のグループと、を有し、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記通信手段に送信し、前記固有名詞特定手段により前記対象物の固有名詞を認定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を送信する冷蔵庫システム。

Images