JP2018124058A - Refrigerator and refrigerator system - Google Patents
Refrigerator and refrigerator system Download PDFInfo
- Publication number
- JP2018124058A JP2018124058A JP2018094302A JP2018094302A JP2018124058A JP 2018124058 A JP2018124058 A JP 2018124058A JP 2018094302 A JP2018094302 A JP 2018094302A JP 2018094302 A JP2018094302 A JP 2018094302A JP 2018124058 A JP2018124058 A JP 2018124058A
- Authority
- JP
- Japan
- Prior art keywords
- refrigerator
- specifying
- door
- proper noun
- food
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D27/00—Lighting arrangements
- F25D27/005—Lighting arrangements combined with control means
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Devices That Are Associated With Refrigeration Equipment (AREA)
- Refrigerator Housings (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Accessories Of Cameras (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、冷蔵庫内に収納されている食材からレシピ等の食材関連情報を知ることができる冷蔵庫及びその冷蔵庫システムに関するものである。 The present invention relates to a refrigerator capable of knowing food-related information such as recipes from the food stored in the refrigerator, and a refrigerator system thereof.
一般に冷蔵庫及び冷蔵システムとしては種々のものが提案されている。例えば、特許文献1に記載されている冷蔵庫及び冷蔵システムは、冷蔵室等の収納室内に小型カメラを設け、この小型カメラで撮影した収納室内の食材収納状況を、インターネット回線を介して携帯電話等の表示端末により確認できるように構成してある。
In general, various refrigerators and refrigeration systems have been proposed. For example, a refrigerator and a refrigeration system described in
また、特許文献2にも特許文献1と同様の冷蔵庫及び冷蔵システムが開示してあり、この特許文献1に記載のものは冷蔵庫の扉を閉じたときに小型カメラで収納室内の食材状態を撮影するように構成してある。
Also,
さらに、特許文献3に記載されている冷蔵庫及び冷蔵システムは、特許文献1記載の構成に加えて、更に冷蔵庫の表面に表示端末を設け、この表示端末は冷蔵庫表面に組み込んだ固定端末機と冷蔵庫表面から取り外して持ち歩ける携帯電話等の表示端末とで構成し、前記両端末はインターネット回線を介して小型カメラで撮影した収納室内の食材収納状況をその表示部に表示可能としてあり、出かけているときはもちろん在宅時にも冷蔵庫の扉を開くことなく収納室内の食材収納状況を知ることができるように構成してある。
Furthermore, the refrigerator and the refrigeration system described in
前記したこの種の冷蔵庫及びその冷蔵庫システムはカメラによる撮影によって食材の収納状況を知ることができるが、使用者はこの食材状況を見ながらレシピを考えなければならないというものであった。特に、主婦にとっては、毎日のレシピを考えることが大きな負担となっており、冷蔵庫内の食材からレシピを考える負担を軽減することが強く求められていて大きな課題となっていた。一方で、レシピ自体は無数にあり、使用者の欲しいレシピにたどり着くことが非常に困難であった。そうして、こうした環境であるが故に、主婦の多くがとりあえず庫内を確認して特定の食材についてその有無を確認し、良いレシピが見つからない場合は、また庫内の食材を確認しなおすという非常に面倒な作業を強いられていた。 This kind of refrigerator and its refrigerator system can know the storage status of foodstuffs by photographing with a camera, but the user has to think about the recipe while watching the foodstuff status. In particular, it is a big burden for housewives to think about daily recipes, and it is strongly demanded to reduce the burden of thinking about recipes from the ingredients in the refrigerator. On the other hand, there are a myriad of recipes, and it was very difficult to reach the recipe that the user wanted. So, because it is such an environment, many housewives check the interior for the time being to check the existence of specific ingredients, and if a good recipe is not found, recheck the ingredients in the warehouse again I was forced to do very troublesome work.
本発明はこのような点に鑑みてなしたもので、冷蔵庫内に収納している食材からレシピ等の食材関連情報を表示できるようにして使い勝手を向上させた冷蔵庫及びその冷蔵庫システムを提供するものである。 The present invention has been made in view of the above points, and provides a refrigerator and a refrigerator system that improve usability by displaying information related to ingredients such as recipes from ingredients stored in the refrigerator. It is.
本発明は上記目的を達成するため、冷蔵庫本体の収納室内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、表示手段と、を備え、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を表示手段に表示する構成としてある。 In order to achieve the above-described object, the present invention provides an imaging means for imaging the inside of a storage room of a refrigerator body, an object specifying means for specifying an object from an image captured by the imaging means, and an object specifying means by the object specifying means. A proper noun specifying means for specifying the proper noun of the target object, and a display means, and when the proper noun of the target object is specified by the proper noun specifying means, the foodstuff related to the proper noun The related information is displayed on the display means.
これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を伴う作業から解放される。 As a result, in order to display the object-related information stored in the storage room, that is, the food-related information from the name of the food, such as recipe information, on the display means, it is often necessary to check the food storage status in the warehouse and think about the recipe. They are freed from tedious and painful work.
本発明は、食材収納状況からレシピ等の食材関連情報を表示するので、使用者はレシピ等を容易に導き出すことができ、使い勝手の良い冷蔵庫とすることができる。 Since the present invention displays food-related information such as recipes from the state of food storage, the user can easily derive recipes and the like, and can be a convenient refrigerator.
以下、本発明の具体的かつ詳細な実施の形態を説明するが、まず本発明の実施の形態の要点を記載する。 Hereinafter, specific and detailed embodiments of the present invention will be described. First, the main points of the embodiments of the present invention will be described.
本発明における冷蔵庫の実施の形態は、内箱と外箱とより構成され前面が開口した冷蔵庫本体と、前記冷蔵庫本体を仕切ることで構成される収納室と、前記収納室を覆う扉と、前記収納室もしくは前記扉に設けられ前記収納室の内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、表示手段と、を備え、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記表示手段に表示する構成としてある。 The embodiment of the refrigerator in the present invention is composed of an inner box and an outer box, a refrigerator main body having an open front surface, a storage room configured by partitioning the refrigerator main body, a door covering the storage room, An imaging unit that is provided in a storage room or the door and images the inside of the storage room, a target specifying unit that specifies a target from an image captured by the imaging unit, and a target specified by the target specifying unit A proper noun specifying means for specifying a proper noun of the object, and a display means, and when the proper noun of the object is specified by the proper noun specifying means, the food-related information related to the proper noun is The display unit displays the information.
これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を受ける作業から解放される。しかも収納室内の食材収納状況が十分確認できないような場合に、扉を開けて収納されている食材を確認してからレシピを考えたり悩んだりするようなことからも解放され、その扉を開いているときに生じる収納室内の冷気漏出を防止することもできる。 As a result, in order to display the object-related information stored in the storage room, that is, the food-related information from the name of the food, such as recipe information, on the display means, it is often necessary to check the food storage status in the warehouse and think about the recipe. You are freed from tedious and mentally painful work. Moreover, when you can't fully check the storage status of ingredients in the storage room, you can open the door, open the door, check the ingredients stored, and then think about and worry about the recipe. It is also possible to prevent the cold air leakage in the storage chamber that occurs when
また、上記構成に加えて前記対象物特定手段により特定された対象物の色彩を特定する色彩認定手段をさらに備え、前記固有名詞特定手段により前記対象物の固有名詞を特定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を前記表示手段に表示する構成としてある。 Further, in addition to the above-described configuration, it further includes a color authorization unit that identifies the color of the object identified by the object identification unit, and when the proper noun of the object cannot be identified by the proper noun identification unit, The food-related information related to the color certified by the color certification means is displayed on the display means.
これにより、食材特定手段で特定される食材に加え更に色彩認定手段で認定される食材も加わった形で食材関連情報、すなわちレシピ情報が表示されるようになり、より多くのレシピ等の食材情報を提供することができてその利便性が向上する。 Thereby, in addition to the ingredients specified by the ingredients specifying means, the ingredients related information, that is, the recipe information is displayed in addition to the ingredients certified by the color authorization means, and more recipe information such as recipes is displayed. Can improve the convenience.
さらに加えて、前記対象物特定手段は、前記表示手段からの入力に基づいて前記撮像手段による撮像を行う構成としてある。 In addition, the object specifying unit is configured to perform imaging by the imaging unit based on an input from the display unit.
これにより、使用者が、食材関連情報を見たのちに扉を開けることなく特に必要と思う食材について検索することが可能となり、より使用者の要望に応じたレシピ情報等の食材関連時用法を提案することが可能となる。 This makes it possible for the user to search for ingredients that are particularly necessary without having to open the door after viewing the ingredients-related information, and to improve the ingredients-related usage such as recipe information according to the user's request. It becomes possible to propose.
また、本発明の要点となる実施の形態の冷蔵庫システムは、冷蔵庫とサーバと表示手段とから構成されていて、前記冷蔵庫の収納室内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記対象物特定手段により特定された対象物の色彩を特定する色彩認定手段と、前記冷蔵庫とサーバと表示手段との通信を行う通信手段と、を備え、前記サーバは、特定の食材について、固有名詞に基づいて分類される第一のグループと、色彩に基づいて分類される第二のグループと、を有し、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記通信手段に送信し、前記固有名詞特定手段により前記対象物の固有名詞を認定できない場合には、前記色彩認定手段により認定される色彩の関連する食材関連情報を送信する構成としてある。 The refrigerator system of the embodiment that is the main point of the present invention includes a refrigerator, a server, and a display unit. The imaging unit captures an image of the inside of the storage room of the refrigerator, and the image is captured by the imaging unit. The object specifying means for specifying the object from the object, the proper noun specifying means for specifying the proper noun of the object specified by the object specifying means, and the color of the object specified by the object specifying means are specified Color recognition means, communication means for performing communication between the refrigerator, the server, and the display means, and the server includes a first group classified based on proper nouns for specific foods, and color And when the proper noun of the object is specified by the proper noun specifying means, the food-related information related to the proper noun is It sends a signal unit, if it can not certify proper names of the object by the proper names identifying unit has a configuration for transmitting the relevant food-related information of colors are certified by the color certification means.
これにより、サーバは固有名詞特定手段で特定される食材と色彩認定手段で認定される食材との数多くの情報から食材情報を送信することができ、使い勝手が向上する。 Accordingly, the server can transmit the food material information from a large amount of information of the food material specified by the proper noun specifying means and the food material specified by the color recognition means, and the usability is improved.
以下、本発明の実施の形態1について、図面を用いて説明する。尚、本発明は小型カメラ等で撮像した冷蔵庫内の食材収納状況を、インターネット回線を介してスマートフォン等の表示端末により確認できるようにもした冷蔵庫およびその冷蔵庫システムに適用した場合を例にして説明するが、これによって本発明が限定されるものではない。
[実施の形態1]
<1.構成>
1−1.冷蔵庫の構成
図1〜図8を用いてフレンチドアタイプの冷蔵庫の場合の構成例についてまず説明する。
[Embodiment 1]
<1. Configuration>
1-1. Configuration of Refrigerator First, a configuration example in the case of a French door type refrigerator will be described with reference to FIGS.
図1〜図3において、冷蔵庫本体1は、前方に開口する金属製(例えば鉄板)の外箱2と、硬質樹脂製(例えばABS)の内箱3と、これら外箱2と内箱3との間に発泡充填した硬質発泡ウレタン等の断熱材4からなる。上記冷蔵庫本体1はその内部に複数の収納室を仕切形成してある。この収納室は、冷蔵庫本体1の上部から、冷蔵室5、冷蔵室5の下に位置する切替室6及び切替室6に並設した製氷室7、切替室6及び製氷室7の下部に位置する冷凍室8と、冷凍室8の下部に位置する野菜室9となっている。また、前記冷蔵室5の前面は、観音開き式の扉10により開閉自由に閉塞し、切替室6及び製氷室7と冷凍室8と野菜室9の前面部は引き出し式の扉11,12,13,14(以下、引き出し式扉と称す)によって開閉自由に閉塞してある。
1 to 3, the
冷蔵庫本体1の背面には冷却室16があり、冷気を生成する冷却器17と、冷気を各室に供給する送風ファン18と、冷蔵室への風量を調整するためのダンパ(風量調整手段)22とが設けてある。また、上記冷蔵庫本体1の本体天面奥部にはコンプレッサ19が設けてあり、コンデンサ(図示せず)と、放熱用の放熱パイプ20と、キャピラリーチューブ21と、前記した冷却器17とを順次環状に接続してなる冷凍サイクルに冷媒を封入し、冷却運転を行うように構成してある。
There is a
ここで、上記各扉10〜14は冷蔵庫本体1と同様硬質発泡ウレタンを充填して断熱性を持たせてあり、この冷蔵庫では、上記扉10〜14のうち、冷蔵室となる収納室5の扉10の一方の前面に表示手段としての表示端末15が装備してある。この表示端末15は後述するインターネット等と通信可能なスマートフォン、タブレットPC等で形成し、液晶パネル等のディスプレイ部とそれを制御する制御部を一体に有していて、図4(a)に示すように扉10に一体的に取付けたり、あるいは、図4(b)に示すように扉10に着脱自在としてあり、いずれかの方式で装備させてある。
Here, each said door 10-14 is filled with hard foaming urethane similarly to the refrigerator
図5(a)、(b)は扉10に対する表示端末15の装着構成例を示し、図5(a)は表示端末15を一体的に取り付けた場合、図5(b)は表示端末15を着脱自在に装着した場合を示す。
5 (a) and 5 (b) show examples of the configuration of mounting the
図5(a)、(b)において、扉10は、主に、冷蔵庫の前面側に面する外被パネル10aと、冷蔵庫の庫内側に面する内側板10bと、外被パネル10aと内側板10bとの間に充填した断熱材4とで構成してある。外被パネル10aはカラー鋼板などの金属製の部材或いはガラス板等の透明の部材で構成してあり、内側板10bは真空成型により形成した合成樹脂部材である。内側板10bの周囲部分には、庫内側から見てロの字状で庫内側に突出する隆起壁部10b−1が設けてある。また、断熱材4にはすでに述べたように例えば硬質発泡ウレタンなどが用いてある。
5 (a) and 5 (b), the
また、表示端末15を一体化した図5(a)の扉10においては、扉10の前面側に、外被パネル10aと連続して断熱材4を覆う樹脂製の収納枠体23が設けてある(外被パネル10aがガラス板である場合はガラス板に一体的に接着して設けてある)。表示端末15は、端末保持体24を介して収納枠体23に固定されている。また、表示端末15の前面側には、タッチパネル25を設けている。表示端末15とタッチパネル25間は隙間26が設けてあり、表示端末15からのノイズによってタッチパネル25が誤作動を起さないようにしてある。表示端末15、タッチパネル25はその外周縁を覆う枠体27を扉10表面に取り付けて固定してある。このように、収納枠体23を設けることで、断熱材4が表示端末15に直接ふれることがないため、断熱材4を発泡する際に、表示端末15が高温に曝されたり、変形したりするなどの不具合を防止することができる。一方、表示端末15を着脱自在とした図5(b)の扉10では、扉10の前面部に収納枠体23を設けることで、凹部28を形成し、この凹部28に表示端末15を着脱するように構成してある。
Further, in the
図6(a)、(b)、(c)は、扉10と表示端末15のディスプレイ透視構成の一例を示し、図6(a)、(b)は扉10の外被パネル10aがガラス板10a−1の場合、図3(c)は扉10の外被パネル10aをマジックミラー10a−2で構成した場合を示す。
6A, 6B, and 6C show an example of a display see-through configuration of the
図6(a)においては、扉10に埋設した表示端末15とガラス板10a−1との間に、表示端末15と対向する部分のみ透明としたスモークシート29が設けてあり、表示端末15がオフで黒っぽく見える時でも、表示端末15以外のガラス板10a−1部分もスモークシート29によって黒っぽく見えて表示端末15との境界が目立つことがなくなり、外観を良好に維持することができる。また、図6(b)においては、表示端末15の表示部として透明液晶表示部を用い全体が黒いスモークシート29aを透明液晶表示部の裏面に沿うように敷設したもので、この形態によっても外観を良好なものとすることができる。更に、図6(c)では図6(a)、(b)のガラス板10a−1をマジックミラー10a−2とし、スモークシート29を不要としたもので、この場合も外観を良好に維持することができる。いずれも表示端末15を扉10に一体的に取り付けた場合の例を示す。なお、スモークシート29の代わりにガラス板10a−1の背面側に黒っぽく見えるよう塗装を行ってもよい。
In FIG. 6A, a
図7、図8(a)、(b)は庫内撮像用のカメラと庫内照明灯の取り付け例を示すもので、図7は扉を閉じた状態の冷蔵庫の縦断面図、図8(a)は同扉を閉じた状態の冷蔵庫における扉内面部を示す横断面図、図8(b)は同扉を開いたときの扉内面部の正面図である。 FIGS. 7, 8 (a) and 8 (b) show an example of mounting of a camera for interior imaging and interior lighting, and FIG. 7 is a longitudinal sectional view of the refrigerator with the door closed, FIG. a) is a cross-sectional view showing the inner surface of the door in the refrigerator with the door closed, and FIG. 8B is a front view of the inner surface of the door when the door is opened.
図7、図8(a)、(b)において、冷蔵庫の収納室5には上下複数段に棚板30−1〜30−4が設けてある。この棚板30−1〜30−4は周囲の枠を除き、透明な合成樹脂材やガラスなどの透過性を有する材料で形成してある。
7, 8 (a), and 8 (b), the
31は最下段の棚板30−4の下方に引き出し自在に設けた収納容器である。最下段の棚板30−4は収納容器31の上面を構成することから固定されているものの、棚板30−1〜30−3は、それぞれ収納室5の両側壁部に設けられた側壁凸部32−1〜32−4に載せられており、脱着自在となっている。特に、最下段の棚板30−4を除いた棚板30−1〜30−3のうち中央の棚板30−2には、対応する側壁凸部32−2が異なる高さに複数、設けられており、棚の高さを調節できるようになっている。
33−1〜33−3は前記収納室5の開口を開閉する扉10の内面部に設けた扉ポケットで、上下複数段設けてある。この扉ポケット33−1〜33−3も透過性を有する材料で形成してある。
33-1 to 33-3 are door pockets provided on the inner surface of the
34−1,34−2は庫内照明灯で、前記各棚板30−1〜30−4の前端より前方の前記収納室5の前面開口両側壁部と前面開口上面壁面部に設けてある。なお、この庫内照明灯34−1,34−2は省エネの関係から複数のLEDを配置した基板を例えば上下方向に渡り設けて透光性のカバーで覆ってある。
34-1 and 34-2 are interior lighting lamps provided on the front opening both side walls and the front opening upper wall surface of the
35−1,35−2は前記庫内照明灯34−1,34−2と同様収納室5の前面側に位置するように設けた撮像手段としてのカメラで、例えば、CCDカメラやCMOSカメラ等で構成してあり、その種類は特に限定するものではないが、結露等に強いものであるのが好ましい。
Reference numerals 35-1 and 35-2 denote cameras as imaging means provided so as to be located on the front side of the
この実施の形態では前記カメラは二つ設けてあって、その一方35−1は上段扉ポケット33−1の前後方向略中央の下面に取り付けてあり、もう一方35−2は最下段の扉ポケット33−3の上部付近に取り付けてある。ここで、扉ポケット33の前後方向とは、扉10の内側板10bが構成する面に対して垂直方向であり、扉10を閉じた際には収納室5の前後方向と同一となる方向である。
In this embodiment, two cameras are provided, one of which is attached to the lower surface of the upper center of the upper door pocket 33-1, and the other 35-2 is the lower door pocket. It is attached near the top of 33-3. Here, the front-rear direction of the door pocket 33 is a direction perpendicular to the surface formed by the
また、上方のカメラ35−1は最上段の棚板30−1の略前方位置に、下方のカメラ35−2は図中三段目の棚板30−3の前方位置に設けてある。つまり、いずれのカメラも、高さ調節を前提にして設けられている複数の側壁凸部32−2に載せられる棚板30−2ではなく、脱着可能ではあるが高さ調整を前提としていない棚板30−1、棚板30−3の略前方位置に設けてある。 Further, the upper camera 35-1 is provided at a position substantially in front of the uppermost shelf 30-1, and the lower camera 35-2 is provided at a position in front of the third shelf 30-3 in the drawing. In other words, each camera is not a shelf 30-2 placed on a plurality of side wall projections 32-2 provided on the premise of height adjustment, but a shelf that is detachable but is not premised on height adjustment. It is provided at a substantially forward position of the plate 30-1 and the shelf plate 30-3.
そして、いずれのカメラ35−1,35−2も、図7から明らかなように各棚板30−1〜30−4の前端より前方位置であって、かつ、図8(b)に示す様に扉10の軸支部Xとは反対の開放端側端部Y付近、すなわち冷蔵庫51の左右方向の略中央部に位置するように設けて、この二つのカメラ35−1,35−2で庫内のほぼ全域が撮像できるようにしてある。このフレンチドアの例の場合、カメラ35−1,35−2は大きい面積の扉10側に設けて、冷蔵庫51の略中央部に位置するように設定してある。また、この例では、カメラ35−1,35−2はセンターピラー36(図3参照)が設けられていない扉10側に設けて、冷蔵庫51の略中央部に位置するように設定してある。なお、センターピラー36とは、周知の如くフレンチドアの場合に、2枚の扉10のいずれか一方の側面に設けられ、2枚の扉10の間に生じる隙間から収納室5内の冷気が漏れるのを防止するために設けられた部材である。
As is clear from FIG. 7, both the cameras 35-1 and 35-2 are positioned forward from the front ends of the shelf boards 30-1 to 30-4, and as shown in FIG. 8B. Are provided in the vicinity of the open end side end Y opposite to the shaft support X of the
また、前記庫内照明灯34−1,34−2は、図7から明らかなようにカメラ35−1,35−2より収納室奥側の位置に設け、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮像部に入り込まないように設けてある。 Further, as is apparent from FIG. 7, the interior lamps 34-1 and 34-2 are provided at positions on the far side of the storage room from the cameras 35-1 and 35-2, and the interior lamps 34-1 and 34 are provided. -2 light is provided so that it does not directly enter the imaging sections of the cameras 35-1 and 35-2.
なお、これは、図示しないが、庫内照明灯34−1,34−2のカメラ側に遮光部を設けたり、或いは庫内照明灯34−1,34−2を構成するLED等の光原を斜め後方向きに傾斜配置するなどの構成とすることによって、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮像部に入り込まないようにしてもよいものであり、カメラの設置条件等に応じて適切に選択すればよい。 Although not shown, this is provided with a light shielding portion on the camera side of the interior lighting lamps 34-1 and 34-2, or a light source such as an LED constituting the interior lighting lamps 34-1 and 34-2. May be configured such that the light from the interior lighting lamps 34-1 and 34-2 does not directly enter the imaging units of the cameras 35-1 and 35-2. It may be selected appropriately according to the installation conditions of the camera.
1−2.冷蔵庫システムの全体構成
次にこれまでに述べてきたような冷蔵庫を用いた冷蔵庫システム全体について図9〜図11を用いて説明する。
1-2. Next, the whole refrigerator system using the refrigerator as described above will be described with reference to FIGS.
図9は上記した冷蔵庫を用いた冷蔵庫システム50の全体構成を示す。図9に示すように、この冷蔵庫システム50は、表示端末15等によって、冷蔵庫51内の食材状況を確認するシステムである。
FIG. 9 shows an overall configuration of a
この冷蔵庫システム50は、冷蔵庫51と、表示端末15とを備え、さらに、無線アダプタ(通信装置)53、ゲートウェイ装置(中継装置)54、ルーター装置55、インターネット等の公衆通信網56、サーバ装置57を含む。
The
冷蔵庫51は、使用者の住居A内に配置され、例えば、住居A内のキッチンルームに配置される。
The
無線アダプタ(通信装置)53は、冷蔵庫51の後述する制御部に電気的に接続し、ゲートウェイ装置(中継装置)54を介してルーター装置55と通信するように構成される。無線アダプタ53は、ルーター装置55から送信される信号を受信し、受信した信号を冷蔵庫51の制御部に出力する。この信号に基づいて、冷蔵庫51は、対応する動作を実行するように構成される。
The wireless adapter (communication device) 53 is configured to be electrically connected to a control unit (described later) of the
無線アダプタ53は、また、冷蔵庫51の識別情報(例えば、製造番号や型番等)や後述する庫内画像データ等を冷蔵庫51の記憶部から取得し、ゲートウェイ装置(中継装置)54を介してルーター装置55に送信するように構成される。なお、無線アダプタ53は、冷蔵庫51に一体に設けてもよいし、着脱可能に構成してもよい。
The
無線アダプタ53は、「接続」ボタン53aを備える。「接続」ボタン53aは、ゲートウェイ装置(中継装置)54と新規に接続するためのものである。「接続」ボタン53aが使用者によって操作されると、無線アダプタ53は、冷蔵庫51の記憶部から冷蔵庫51の識別情報(例えば製造番号や型番)を取得するように構成される。
The
表示端末15は、既述した如く、例えば、スマートフォン、タブレットPC(パーソナルコンピュータ)などの汎用の携帯型の端末であって、本実施の形態の場合、すでに述べた冷蔵庫51の扉10に着脱自在に装備可能なもので、インターネット等の公衆通信網56に接続する機能(手段)と、後述するゲートウェイ装置54と通信する機能(手段)とを備える。
As described above, the
表示端末15(例えばスマートフォン)は、電話回線網(例えば3G回線網)を介して、インターネット等の公衆通信網56に接続するように構成されている。それに加えてまたは代わりとして、例えば、表示端末15は、Wi−Fi通信機能によって公衆無線LANを介してインターネット等の公衆通信網56に接続するように構成されている。
The display terminal 15 (for example, a smartphone) is configured to be connected to a
インターネット等の公衆通信網56に接続することにより、例えば、表示端末15は、本発明の対象となる冷蔵庫内の食材の画像データや省エネ運転をさせるためのデータ(例えば扉の開閉回数等のデータ)を取得するプログラムを、インターネット等の公衆通信網56を介して冷蔵庫51の製造メーカのホームページから取得することができる。この取得したプログラムを表示端末15にインストールし、インストールしたプログラムを起動させることにより、表示端末15は、冷蔵庫内の食材の画像データ等を取得することが可能になる。即ち、表示端末15はそのディスプレイ15aの操作画面を操作することにより、冷蔵庫51の画像データを取得するための操作信号を生成し、送信することが可能になる。詳細については、後述する。
By connecting to a
表示端末15はまた、例えば、Wi−Fi通信、Bluetooth(登録商標)通信、赤外線通信などのインターネット等の公衆通信網56を介さない汎用の通信によってルーター装置55と接続し、そのルーター装置55を介してゲートウェイ装置54に通信接続するように構成されている。そのためのデバイス(例えばWi−Fiアンテナ等)が表示端末15に組み込まれている。
The
ゲートウェイ装置(中継装置)54は、無線アダプタ53と表示端末15との通信を中継する装置であって、例えば、無線アダプタ53と、特定小電力無線特別小型周波数帯(924.0〜928.0MHz)の信号を用いて通信するように構成される。ゲートウェイ装置54と無線アダプタ53間の通信の周波数帯は、遠距離まで届く低周波数帯が好ましく、ルーター装置55とともに冷蔵庫51が設置された使用者の住居A内に設置されている。
The gateway device (relay device) 54 is a device that relays communication between the
ゲートウェイ装置54はまた、表示端末15とルーター装置55を介して通信接続するように構成されている。すなわち、表示端末15とインターネット等の公衆通信網56を介さずにルーター装置55のみを介して通信(第1の通信)が実行できるように、ゲートウェイ装置54は構成されている。
The
ゲートウェイ装置54はさらに、ルーター装置55を介してインターネット等の公衆通信網56に接続可能に構成されている。これにより、ゲートウェイ装置54は、インターネット等の公衆通信網56およびルーター装置55を介して、表示端末15と通信(第2の通信)することができるとともにサーバ装置57にも通信することができる。
The
したがって、ゲートウェイ装置54は、表示端末15に対して、インターネット等の公衆通信網56を介さない通信(すなわちルーター装置55のみを介する第1の通信)と、インターネット等の公衆通信網56を介する通信(すなわちインターネット等の公衆通信網56およびルーター装置55を介する第2の通信)とが実行できるように構成されている。このように構成する理由については後述する。
Therefore, the
サーバ装置57は、例えば、冷蔵庫51の製造メーカにより用意される。サーバ装置57は、表示端末15、冷蔵庫51、無線アダプタ53に関し、アクセスや認証に必要な情報等を管理する。例えば、サーバ装置57は、通信要求信号に含まれる表示端末15の識別情報と、無線アダプタ53に対応付けされて記憶(登録)されている表示端末15の識別情報とが一致するか否かを認証(判別)する。そして、サーバ装置57は、これらが一致する場合には、アクセスする表示端末15を、正規の表示端末として認証し、住居A内の冷蔵庫51との通信を許可する。
The
また、サーバ装置57は、前記した、冷蔵庫51より送信される冷蔵庫内の食材の画像データや省エネ運転をさせるためのデータ等を保存する。これらのデータは表示端末15からのデータ呼び出し信号に基づき表示端末15に送信する。すなわち、使用者は表示端末15を操作することによって冷蔵庫内の食材画像データをディスプレイに表示させて確認することができる。
In addition, the
1−3.冷蔵庫のシステム部構成
図10は上記冷蔵システムに用いる冷蔵庫のシステム部構成を示す。
1-3. System part configuration of refrigerator FIG. 10 shows a system part configuration of a refrigerator used in the refrigeration system.
図10において、この冷蔵庫51は、インターフェイス(I/F)58、制御演算部59、記憶部60、及び扉開閉検出部61、庫内照明灯34−1,34−2、カメラ35−1,35−2、ファン駆動回路62、コンプレッサ駆動回路63、送風ファン18、及びコンプレッサ19を備え、例えば住居A内の商用電源等の交流電源64から電力の供給を受ける。
10, the
インターフェイス(I/F)58は、無線アダプタ53と冷蔵庫51の制御演算部59との間のデータ等のやり取りを行う。
The interface (I / F) 58 exchanges data and the like between the
制御演算部59は、冷蔵庫の動作を制御する。また、この制御演算部59は、カメラ35−1,35−2と庫内照明灯34−1,34−2を制御して冷蔵庫内の食材を撮像するとともに、画像データは記憶部60に一旦記憶させ、かつ、インターネット等の公衆通信網56のサーバ装置57に送信する。更に、表示端末15からサーバ装置57を介して画像データ等の事前送信の要求信号があれば食材撮像後に直ちにサーバ装置57を介して表示端末15に送信実行するように指示する。その詳細については、後述する。
The
記憶部60は、識別記号や制御プログラムのほかに、カメラ35−1,35−2撮像した庫内食材の画像データや省エネ運転をさせるためのデータを時間情報とともに一定期間分書き換え記憶する。
In addition to the identification symbol and the control program, the
庫内照明灯34−1,34−2は、扉開閉検出部61からの信号に基づき制御演算部59によって点灯・消灯が制御され、扉10が開かれると点灯し、扉10が閉じられると数秒の遅延時間をおいて消灯する。
The interior lighting lamps 34-1 and 34-2 are controlled to be turned on / off by the
カメラ35−1,35−2は、扉開閉検出部61からの信号に基づき制御演算部59よって制御され、扉10が閉じられると冷蔵庫内の食材を撮像する。その詳細は後述する。
The cameras 35-1 and 35-2 are controlled by the
ファン駆動回路62は、制御演算部59からの制御信号を受け、送風ファン18の回転の駆動を制御する。
The
コンプレッサ駆動回路63は、制御演算部59からの制御信号を受け、コンプレッサ19の回転数等の駆動を制御する。
The
送風ファン18は、ファン駆動回路62の制御に従い動作して、冷気を循環させるための気流を発生する。
The
コンプレッサ19は、コンプレッサ駆動回路63の制御に従い、冷蔵庫51内を循環する冷媒(図示せず)を圧縮する。
The
1−4.サーバ装置の構成
次に、図11を用い、実施の形態1における冷蔵庫システムのサーバ装置の構成例について説明する。ここでは、前記図9中のサーバ装置57の構成を一例に挙げる。
1-4. Configuration of Server Device Next, a configuration example of the server device of the refrigerator system in
図11に示すように、このサーバ装置57は、サーバ用インターフェイス65、サーバ制御部66、及びデータ記憶部67を備える。
As shown in FIG. 11, the
サーバ用インターフェイス65は、サーバ制御部66の制御に従い、インターネット等の公衆通信網56を介した表示端末15及びルーター装置55とサーバ装置57との間のデータ等のやり取りを行う通信部である。
The
サーバ制御部66は、このサーバ装置57の全体の動作を制御する。サーバ制御部66は、また冷蔵庫51から送信される食材の画像データを結合処理し、データ記憶部67に時間情報とともに記憶させるとともに、表示端末15から画像データの事前送信要求の信号があると、データ記憶部67に記憶している画像データの最新画像データを、当該画像データが冷蔵庫51から送信されてくる都度、表示端末15に送信し、表示端末15に時間情報とともに一定期間分記憶させ書き換え更新させる。もちろん、画像データの事前送信要求の信号がない状態で表示端末15からデータ呼び出し信号が送信されてくると、データ記憶部67に記憶している最新の画像データを表示端末15に送信する。さらにまた、このサーバ制御部66は後述するが前記カメラ35−1,35−2で撮像された画像の中から画像認識技術を用いて食材名あるいは色彩を認定し、当該認定した食材から得られるレシピを抽出し、表示端末15から画像送信指示があればこれを表示端末15に送信する。
The
データ記憶部67は、冷蔵庫システムを実行するための管理プログラムやアプリケーションプログラム等の必要なデータを記憶している。更にデータ記憶部67は、サーバ制御部66の制御に従い、冷蔵庫51より送信されてくる食材画像データの最新データを時間情報を追加して書き換え記憶している。そしてさらにこのデータ記憶部67は前記サーバ制御部66がレシピ抽出に必要な肉等の食材名グループと、キャベツあるいは肉等が有する色彩グループデータと、これらの食材データから得られるレシピ名群を記憶している。なお、データ記憶部67は、例えば、HDD(Hard Disc Drive)やSSD(Solid State Drive)等により構成される。
The
図12は上記サーバ装置57のサーバ制御部66とデータ記憶部67で構成されるレシピ抽出構成を示すブロック図である。
FIG. 12 is a block diagram showing a recipe extraction configuration including a
このレシピ抽出ブロック図において、68はカメラ35−1,35−2よりインターネット等の公衆通信網56、インターフェイス(I/F)58を介して送信されてくる画像から食材を特定する対象物特定手段で、画像認識技術を用いて構成してある。この対象物特定手段68は、例えば肉や魚等の生もの類、パスタ等のパッケージ包装類、醤油等のボトル類、牛乳等のボックス類、缶詰類等を特定する。そしてこの対象物特定手段68は固有名詞特定手段69と色彩認定手段70を有していて、特定した対象物から固有名詞特定手段69が食材の固有名詞を、また色彩認定手段70が色彩を特定する。この特定は、食材名/色彩群記憶部71に記憶されているデータの中から特定する。すなわち、固有名詞特定手段69は画像認識した文字あるいは図柄等から食材名/色彩群記憶部71に記憶されているデータの中の最も近い文字或いは図柄を持つ食材名を特定し、色彩認定手段70は画像認識で得られた色彩から食材名/色彩群記憶部71に記憶されている色彩のうちの最も近い色彩を特定する。72はレシピ等の食材情報を抽出する食材情報抽出手段で、前記対象物特定手段68、固有名詞特定手段69、色彩認定手段70から得られた食材と、食材情報記憶部73と、のデータのやり取りによってレシピを抽出するものである。上記食材情報記憶部73は料理名と食材名および色彩との関係、具体的には食材A、B、C…、色彩a、b…から作ることができる料理名が記憶されており、食材情報抽出手段72はこの食材情報記憶部73の料理名群から該当するものを抽出し、インターネット等の公衆通信網を介して表示端末に送信する。
In this recipe extraction block diagram,
なお、サーバ装置57は単一の大型コンピュータで構成されるサーバ、或いは、多数のコンピュータ群で構成されるクラウド型サーバのいずれでも構築できるものである。
The
<2.動作>
次に上記構成からなる冷蔵庫及び冷蔵システムの動作について説明する。なお、以下の各説明において同じ動作については同一のステップ番号を付記して説明する。
<2. Operation>
Next, the operation of the refrigerator and the refrigeration system configured as described above will be described. In the following descriptions, the same operations are described with the same step numbers added.
このシステムでは冷蔵庫の収納室内に設けたカメラ35−1,35−2で収納室内を撮影するが、この撮像は食材を出し入れするために扉を開閉した時、あるいは使用者が表示端末15を操作して撮影を指示した時に行われる。
In this system, the inside of the storage room is photographed by the cameras 35-1 and 35-2 provided in the storage room of the refrigerator. This imaging is performed when the door is opened and closed to put in and out the food, or the user operates the
その動作を図13のフローチャートを用いて説明する。 The operation will be described with reference to the flowchart of FIG.
まず使用者が食材の出し入れのために扉10を開くと(ステップ1−Y)、扉開閉検出部61がこれを検知して収納室内の庫内照明灯34−1,34−2が点灯し(ステップ2)、カメラ35−1,35−2が収納室内を撮像する(ステップ4)。この画像データは無線アダプタ(通信装置)53、ゲートウェイ装置(中継装置)54、ルーター装置55、インターネット等の公衆通信網56を介してサーバ装置57に送信され(ステップ5)、サーバ装置57のデータ記憶部67に記憶される(ステップ6)。そして、表示端末15からインターネット等の公衆通信網56に混雑があってもスピーディに画像を確認できるようにすべく画像データの事前送信要求があると(ステップ7−Y)、サーバ装置57に記憶した画像データを表示端末15に送信し(ステップ8)、表示端末15に画像データを記憶しておく(ステップ9)。
First, when the user opens the
一方、食材出し入れのための扉開閉はないものの、使用者が食材買い出し先のお店等から収納室内の食材収納状況を確認すべく表示端末15を操作して撮像指示が送信されると(ステップ10−Y)、インターネット等の公衆通信網56、ルーター装置55、ゲートウェイ装置(中継装置)54、無線アダプタ(通信装置)53を介して庫内照明灯34−1,34−2が駆動されて点灯(ステップ11)するとともに、カメラ35−1,35−2が作動して収納室内を撮像する(ステップ4)。以降は前記扉開閉時の撮像後と同じ動作を行う。
On the other hand, when the user does not open and close the door for putting in and out the food, but the user operates the
また、上記のように送信された画像データは表示端末15で再生して確認する。
Further, the image data transmitted as described above is reproduced and confirmed on the
図14は通常の庫内画像表示のフローチャートを示す。使用者は表示端末15から表示したい庫内画像の表示期間または日時を任意に設定し表示端末15の画像取得操作を行う。例えば表示端末15から事前送信要求を行い、指定期間内の庫内画像取得を行う。画像データの取得の流れは図13で示した通りである。前記庫内画像は表示端末15に保存され(ステップ12)、表示端末15は、保存された画像の中から指定期間内の画像データの有無を確認し(ステップ13)、その画像データを時系列に読み込み表示端末15の表示部に出力する(ステップ14)。使用者が再生ボタンを押すと、表示端末15の表示部に時系列に読み込みこまれた画像データを自動的に切り替えて(ステップ15)表示を行う事で連続再生を行う。画像切り替えのタイミングは、表示時間が一定時間経過後、もしくは、使用者による画像送り操作があった場合に、画像切り替えを行う(ステップ16−Y)。使用者による画像送り操作は、表示端末15に表示される送りボタンの押下や、シークバーを利用し、画像を時間幅でスキップしながら閲覧する事ができる。これによって、日時指定による庫内画像検索、また時系列庫内画像の連続的な閲覧を可能にし、画像検索に要する時間を大幅に短縮する事ができ、しかも、シークバーを利用することでこれによって効果的に目的の画像を見つけ出すことが可能となる。
FIG. 14 shows a flowchart of normal image display in a warehouse. The user arbitrarily sets the display period or date / time of the in-store image to be displayed from the
図15は、庫内画像の変化検出を行うとともに、庫内画像の連続再生を行う場合のフローチャートを示す。表示端末15に保存されその表示部に画像データが出力され(ステップ17)、使用者は表示されている庫内画像を指でなぞり食材または庫内の領域を指定し(ステップ18)自動再生を行うことにより、前回表示していた画像と現在表示している画像との特定領域を比較し(ステップ19)、使用者による画像送り操作があると(ステップ16−Y)、画像切り替えを行い(ステップ15)、変化を検出すると自動再生を停止する(ステップ20)。これによって、使用者は画像データを一枚ずつ確認することなく、自動再生を行う事で庫内の特定領域、または食材の有無の変化を容易に知ることができ、在庫管理を容易に行うことができる。さらに、特定の領域を指定することにより画像変化の検出処理量も減少し一定の処理速度を保つことも可能となる。なお、前記前回表示画像と現在表示画像との特定領域を比較してその変化有無を検出するのは冷蔵庫の制御演算部59あるいはサーバ装置57のサーバ制御部66で行わせるのがよい。
FIG. 15 shows a flowchart in the case of detecting the change in the internal image and continuously reproducing the internal image. The image data is stored in the
以上のようにこの冷蔵庫及び冷蔵庫システムは収納室内の食材収納状況を確認することができるのであるが、さらに本発明の要点であるレシピ等の食材情報も知ることができるので、以下図16を用いてこれを説明する。 As described above, the refrigerator and the refrigerator system can confirm the state of food storage in the storage room. However, since it is also possible to know food information such as recipes that are the main points of the present invention, FIG. 16 is used below. This will be explained.
すなわち、図13で示したようにカメラ35−1,35−2で撮像され、サーバ装置に送信され(ステップ5)記憶された(ステップ6)画像データは、図16のステップ21に示すようにまず対象物特定手段68の画像認識によって対象物が特定され、次に固有名詞特定手段69によって食材の固有名詞が特定できるかを確認し(ステップ22)、確認できればその食材名を特定する(ステップ23)。
That is, as shown in FIG. 13, the image data captured by the cameras 35-1 and 35-2, transmitted to the server device (step 5) and stored (step 6) is as shown in
一方、前記対象物特定手段68による固有名詞確認(ステップ23)後にさらに色彩認定手段70が対象物の色彩認定が可能かを確認し(ステップ24)、可能であればこれを認定する(ステップ25)。 On the other hand, after the proper noun confirmation by the object specifying means 68 (step 23), the color recognition means 70 further confirms whether the color recognition of the object is possible (step 24), and if possible, recognizes this (step 25). ).
その後、食材情報抽出手段72が前記特定した食材名、もしくは食材名と色彩に基づき当該食材からできるレシピ名を抽出し(ステップ26)、これをサーバ装置のデータ記憶部に記憶する(ステップ27)。 Thereafter, the ingredient information extraction means 72 extracts the specified ingredient name, or the recipe name made from the ingredient based on the ingredient name and color (step 26), and stores it in the data storage section of the server device (step 27). .
そして、表示端末15から送信要求があると(ステップ28−Y)、サーバ装置57に記憶したレシピ名を表示端末15に送信し(ステップ29)、表示端末15に表示させる(ステップ30)。
When there is a transmission request from the display terminal 15 (step 28-Y), the recipe name stored in the
これにより、使用者は、冷蔵庫の収納室内に収納されている食材の収納状況とともに、当該食材によってできるレシピを知ることができ、使い勝手が大きく向上する。 Thereby, the user can know the recipe made from the ingredients together with the storage status of the ingredients stored in the storage room of the refrigerator, and the usability is greatly improved.
なお、本発明の上記実施の形態で例示した冷蔵庫及び冷蔵庫システムは次のような利点も併せ持っているので、記載しておく。 In addition, since the refrigerator and refrigerator system which were illustrated by the said embodiment of this invention also have the following advantages, it describes.
すなわち、この実施の形態の冷蔵庫では、カメラ35−1,35−2は収納室5の前面側から収納室5内の食材を撮像するが、このとき庫内照明灯13−0,34−2も収納室5の前面側に設けてあって、収納室5内の食材をカメラ35−1,35−2による撮像方向と同じ前面側から照射している。したがって、その撮像画像は庫内照明灯34−1,34−2が収納室5の奥壁に設けてある場合のような暗さや見にくさはなく、鮮明な画像となる。また、撮像した画像を明るくし、鮮明にする画像処理をサーバ装置57に求める必要もなくなる。
That is, in the refrigerator of this embodiment, the cameras 35-1 and 35-2 image foods in the
また、上記カメラ35−1,35−2と庫内照明灯34−1,34−2とは前記棚板30−1〜30−4の前端より前方側に位置するように設けてあるから、カメラ35−1,35−2で撮像した収納室5内の画像は、使用者が冷蔵庫51の扉10を開いて実際に見る状態と同じとなる。したがって、使用者が表示端末15に画像データを表示させてみたときに何ら違和感を持つことなく収納室5内の食材状況を確認することができる。しかも、庫内照明灯34−1,34−2は棚板30−1〜30−4の前端前方から棚板上の食材を照らすので、棚板30−1〜30−4の前端部に載置されている食材も明るく、かつ、鮮明に撮像することができる。
Moreover, since the said cameras 35-1, 35-2 and the interior lighting lamps 34-1, 34-2 are provided so that it may be located ahead from the front end of the said shelf boards 30-1 to 30-4, Images in the
また、上記カメラ35−1,35−2は冷蔵庫51の扉10内面部に設けるとともに、庫内照明灯34−1,34−2は収納室5の開口縁両側壁部に設けてあるから、カメラ35−1,35−2はまず収納室5の左右略中央部に位置することになる。したがって、当該カメラ35−1,35−2で撮像した画像を使用者が冷蔵庫51の扉10を開いて実際に見る状態により近い形とすることができる。加えて、上記カメラ35−1,35−2と棚板上の食材との間の距離を大きくとって収納室5内の広い範囲を撮像することができ、より広範囲の食材の収納状況を表示端末15で確認することが可能となる。
The cameras 35-1 and 35-2 are provided on the inner surface of the
また、カメラ35−1,35−2は扉内面の扉ポケット33−1,33−2の前後方向の略中央部分に位置するように設けてあるから、収納室5内の食材のみならず扉ポケット33−1,33−2に収納している食材、例えば牛乳パック等をもその一部を撮像することができる。使用者は自分で収納したものであるから、その一部が写っているだけでもそれが何であるかを認識することができる。よって、収納室内のほぼ全ての食材を撮像することが可能となる。
Further, since the cameras 35-1 and 35-2 are provided so as to be positioned at a substantially central portion in the front-rear direction of the door pockets 33-1 and 33-2 on the inner surface of the door, not only the food in the
一方、前記庫内照明灯34−1,34−2は、図7、図10から明らかなようにカメラ35−1,35−2より奥側の位置に設け、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮像部に入り込まないように設けてあるから、庫内照明灯34−1,34−2の光がカメラ35−1,35−2に入ってカメラ35−1,35−2の写りが悪くなることを防止でき、常に良好な画像を得ることができる。これは、庫内照明灯35−1,35−2のカメラ側に遮光部を設けたり、或いは庫内照明灯34−1,34−2を構成するLED等の光原を斜め後方向きに傾斜配置するなどの構成を採用しても同様の効果が得られる。 On the other hand, the interior lighting lamps 34-1 and 34-2 are provided at positions farther from the cameras 35-1 and 35-2, as is apparent from FIGS. Since the light of 34-2 is provided so as not to directly enter the imaging units of the cameras 35-1 and 35-2, the lights of the interior lighting lamps 34-1 and 34-2 are emitted from the cameras 35-1 and 35-2. The camera 35-1 and 35-2 can be prevented from being deteriorated, and a good image can always be obtained. This can be achieved by providing a light-shielding portion on the camera side of the interior lighting lamps 35-1 and 35-2, or tilting the light source such as the LED constituting the interior lighting lamps 34-1 and 34-2 obliquely backward. The same effect can be obtained even if a configuration such as arrangement is adopted.
また、上記カメラ35−1,35−2で撮像した収納室5内の画像は、それぞれのカメラ35−1,35−2の画像をサーバ装置57に送信してサーバ装置57、或いは冷蔵庫51、或いは表示端末15内で結合処理し合成するが、この実施の形態では上記画像の合成処理が容易になる。
The images in the
すなわち、上記カメラ35−1,35−2は、棚板30−1〜30−4の前端と対応する扉内面部、この例では上段の棚板30−1と3段目の棚板30−3の前端と対応する扉内面部に設けてあるから、それぞれのカメラ35−1,35−2の撮像は図17中の線Zが境界線となるように棚板30−1,30−3を中心として撮像することになる。
That is, the cameras 35-1 and 35-2 are door inner surfaces corresponding to the front ends of the shelf boards 30-1 to 30-4, in this example, the upper shelf board 30-1 and the third shelf board 30-. 3 is provided on the inner surface of the door corresponding to the front end of the
したがって、二つのカメラ35−1,35−2で撮像した収納室5内の画像データは、境界線Zとなる2段目の棚板30−2部分で結合処理することを可能とする。すなわち、図17の「撮像生画像」に示すように上下それぞれの画像には棚板30−2が共通して写っており、この「撮像生画像」の湾曲を修正して「湾曲修正処理後画像」にした後、前記上下の画像に移っている共通の棚板30−2を合致させれば収納室全体の撮像画像となる。その結果、画像の結合処理時に棚板の上に置かれている各食材を、各食材ごとに位置合わせして結合するきわめて困難な補正処理をする必要がなくなって、画像の結合処理は容易となる。よって、画像結合のための処理プログラムも簡素なものとすることができ、画像結合処理のためのサーバ装置57、或いは冷蔵庫51、或いは表示端末15の制御部分の容量も大容量のものを必要としなくなり、処理速度のスピーディ化に貢献できる。
Therefore, the image data in the
さらに、二つのカメラ35−1,35−2は、高さ調整ができない棚板30−1、棚板30−3の略前方位置に設けてあることから、高さ調節可能な棚板30−2の高さが変更された場合でも、画像の結合処理時に、棚板30−2の高さに応じて結合処理する範囲を調整することで、容易に画像の結合処理が可能となる。 Further, since the two cameras 35-1 and 35-2 are provided substantially in front of the shelf plate 30-1 and the shelf plate 30-3 that cannot be adjusted in height, the shelf plate 30-that can be adjusted in height. Even when the height of 2 is changed, the image combining process can be easily performed by adjusting the range to be combined according to the height of the shelf 30-2 during the image combining process.
以上、本発明に係る冷蔵庫及び冷蔵庫システムについて、上記実施の形態を用いて説明してきたが、本発明は、これに限定されるものではない。すなわち、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。つまり、本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 As mentioned above, although the refrigerator and refrigerator system which concern on this invention have been demonstrated using the said embodiment, this invention is not limited to this. That is, the embodiment disclosed this time should be considered as illustrative in all points and not restrictive. That is, the scope of the present invention is shown not by the above description but by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
例えば、冷蔵庫はフレンチドアタイプの冷蔵庫を例示したが、シングルドアタイプの冷蔵庫であってもよく、また、カメラ35−1,35−2は冷蔵室に設けた場合のみで説明したが、野菜室や冷凍室にも設けて、これら各室に収納保存されている食材も加えてレシピを提案できるようにすればよく、これによってより多くのレシピ提案が可能となる。 For example, although the refrigerator illustrated the French door type refrigerator, the refrigerator may be a single door type, and the cameras 35-1 and 35-2 have been described only when they are provided in the refrigerator compartment. It is also possible to provide recipes by adding foodstuffs stored and stored in these rooms so that recipes can be proposed. This allows more recipe proposals.
また、カメラ35−1,35−2は一つの収納室に二つ設けた場合を例示したが、この場合は各撮像カメラ35−1,35−2で撮像した撮像画像をサーバ装置57で一つの画像に合成して表示端末15に表示させるなどすればよく、別々の収納室にそれぞれ設けた場合はそれぞれの画像を選択して表示できるようにすれば食材収納状況の表示もわかりやすいものとすることができる。
Moreover, although the case where two cameras 35-1 and 35-2 were provided in one storage room was illustrated, in this case, the captured images captured by the respective imaging cameras 35-1 and 35-2 are integrated by the
さらにまた、カメラ35−1,35−2による収納室内の撮像は扉を閉じた状態で行うものを例示したが、これは扉を一定角度開いた状態で撮像するようにしてもよいものである。 Furthermore, although the example in which the imaging in the storage room by the cameras 35-1 and 35-2 is performed with the door closed is illustrated, this may be performed with the door opened at a certain angle. .
また、レシピ抽出ブロックはサーバ装置57のサーバ制御部66とデータ記憶部67とで構成したものを例示したが、これは冷蔵庫側で構成してもよく、場合によっては表示端末15で構成してもよいものである。
Moreover, although the recipe extraction block illustrated what comprised the
また、通信形態も、本実施の形態では表示端末15と冷蔵庫51の無線アダプタ53、インターネット等の公衆通信網56との通信経路にゲートウェイ装置54を介在させるものを例示したが、このゲートウェイ装置54は必ずしも必要でなく、ルーター装置55を介して直接に表示端末15及び冷蔵庫51の無線アダプタ53、インターネット等の公衆通信網56と通信するように構成してもよく、このようにすることによってシステム構成の簡素化が図れる。
Also, in the present embodiment, the communication device is exemplified in such a way that the
また前記実施の形態では使用者が住居A外に居るときにはサーバ装置57から画像データを取得するようにしたが、サーバ装置57を介さずに、表示端末15からインターネット等の公衆通信網56およびルーター装置55、ゲートウェイ装置54と通信し、冷蔵庫51の記憶部60に記憶されている画像データを冷蔵庫51から直接取り込むように構成してもよい。この場合及びダイレクト通信を行う場合は、冷蔵庫51の記憶部60で画像の結合処理を行い、この結合処理後の画像データを送信するのが好ましい。
In the above embodiment, the image data is acquired from the
本発明は、食材収納状況からレシピ等の食材関連情報を表示するので、使用者はレシピ等を容易に導き出すことができ、使い勝手の良い冷蔵庫とすることができるから、家庭用の冷蔵庫をはじめとして各種の冷蔵庫に適用すると効果的である。 Since the present invention displays food-related information such as recipes from the food storage status, the user can easily derive recipes and the like and can be used as a convenient refrigerator. It is effective when applied to various refrigerators.
1 冷蔵庫本体
2 外箱
3 内箱
4 断熱材
5 冷蔵室(収納室)
6 切替室
7 製氷室
8 冷凍室
9 野菜室
10 扉
11〜14 引き出し式扉(扉)
15 表示端末(表示手段)
15a ディスプレイ
16 冷却室
17 冷却器
18 送風ファン
19 コンプレッサ
20 放熱パイプ
21 キャピラリーチューブ
22 ダンパ
30−1〜30−4 棚板
31 収納容器
32−1〜32−4 側壁凸部
33−1〜33−8 扉ポケット
34−1,34−2 庫内照明灯
35−1,35−2,35−3 カメラ(撮像手段)
36 センターピラー
41 カメラモジュール
50 冷蔵庫システム
51 冷蔵庫
53 無線アダプタ(通信装置)
53a 「接続」ボタン
54 ゲートウェイ装置(中継装置)
55 ルーター装置
56 インターネット等の公衆通信網
57 サーバ装置
58 インターフェイス(I/F)
59 制御演算部
60 記憶部
61 扉開閉検出部
62 ファン駆動回路
63 コンプレッサ駆動回路
64 交流電源
65 サーバ用インターフェイス
66 サーバ制御部
67 データ記憶部
68 対象物特定手段
69 固有名詞特定手段
70 色彩認定手段
71 食材名/色彩群記憶部
72 食材情報抽出手段
73 食材情報記憶部
DESCRIPTION OF
6
15 Display terminal (display means)
36 Center pillar 41
53a "Connect"
55
59
本発明は上記目的を達成するため、内箱と外箱とより構成され前面が開口した冷蔵庫本体と、前記冷蔵庫本体を仕切ることで構成される収納室と、前記収納室に設けられた照明装置と、前記収納室を覆う扉と、前記収納室もしくは前記扉に設けられ前記収納室の内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記扉に設けられた表示手段と、を備え、前記照明装置は、その光が直接前記撮像手段に入り込まない位置に設ける、あるいは、前記照明装置の光が直接撮像手段に入り込まないように構成するとともに、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を表示手段に表示する構成としてある。 In order to achieve the above object, the present invention provides a refrigerator main body having an inner box and an outer box, the front surface of which is open, a storage room formed by partitioning the refrigerator main body, and a lighting device provided in the storage room A door that covers the storage chamber, an imaging unit that is provided in the storage chamber or the door and images the inside of the storage chamber, and an object specifying unit that specifies an object from an image captured by the imaging unit A proper noun specifying means for specifying a proper noun of the object specified by the object specifying means, and a display means provided on the door, wherein the lighting device directly transmits the light to the imaging means. provided in a position that does not enter, or with light of the lighting device is configured to not enter the imaging means directly, if the proper noun of the object is identified by the proper names specifying means, said It is constituted to display a food related information related to chromatic noun on the display means.
本発明における冷蔵庫の実施の形態は、内箱と外箱とより構成され前面が開口した冷蔵庫本体と、前記冷蔵庫本体を仕切ることで構成される収納室と、前記収納室に設けられた照明装置と、前記収納室を覆う扉と、前記収納室もしくは前記扉に設けられ前記収納室の内部を撮像する撮像手段と、前記撮像手段により撮像された画像から対象物を特定する対象物特定手段と、前記対象物特定手段により特定された対象物の固有名詞を特定する固有名詞特定手段と、前記扉に設けられた表示手段と、を備え、前記照明装置は、その光が直接前記撮像手段に入り込まない位置に設ける、あるいは、前記照明装置の光が直接撮像手段に入り込まないように構成するとともに、前記固有名詞特定手段により前記対象物の固有名詞が特定された場合には、前記固有名詞に関連する食材関連情報を前記表示手段に表示する構成としてある。 An embodiment of a refrigerator in the present invention includes a refrigerator main body configured by an inner box and an outer box and having a front surface opened, a storage chamber configured by partitioning the refrigerator main body, and an illumination device provided in the storage chamber A door that covers the storage chamber, an imaging unit that is provided in the storage chamber or the door and images the inside of the storage chamber, and an object specifying unit that specifies an object from an image captured by the imaging unit A proper noun specifying means for specifying a proper noun of the object specified by the object specifying means, and a display means provided on the door , wherein the lighting device directly transmits the light to the imaging means. provided in a position that does not enter, or if the light of the illumination device together with the configured not enter the imaging means directly, proper names of the object is identified by the proper names specifying means, Certain food-related information relating to the serial proper nouns as configured to be displayed on said display means.
これにより、収納室内に収納されている対象物、すなわち食材の食材名から食材関連情報、例えばレシピ情報を表示手段に表示するため、庫内の食材収納状況を度々確認してレシピを考えたり悩んだりする面倒かつ精神的苦痛を受ける作業から解放される。しかも収納室内の食材収納状況が十分確認できないような場合に、扉を開けて収納されている食材を確認してからレシピを考えたり悩んだりするようなことからも解放され、その扉を開いているときに生じる収納室内の冷気漏出を防止することもできる。また、前記照明装置は、その光が直接前記撮像手段に入り込まない位置に設ける、あるいは、前記照明装置の光が直接撮像手段に入り込まないように構成することで撮像手段の写りが悪くなることを防止でき、常に良好な画像を得ることができる。 As a result, in order to display the object-related information stored in the storage room, that is, the food-related information from the name of the food, such as recipe information, on the display means, it is often necessary to check the food storage status in the warehouse and think about the recipe. You are freed from tedious and mentally painful work. Moreover, when you can't fully check the storage status of ingredients in the storage room, you can open the door, open the door, check the ingredients stored, and then think about and worry about the recipe. It is also possible to prevent the cold air leakage in the storage chamber that occurs when Further, the lighting device is provided at a position where the light does not directly enter the imaging means, or the light of the lighting device is configured not to directly enter the imaging means, so that the image of the imaging means is deteriorated. Can be prevented, and a good image can always be obtained.
Claims (4)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013071719 | 2013-03-29 | ||
JP2013071719 | 2013-03-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013181872A Division JP2014209050A (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019104924A Division JP2019174106A (en) | 2013-03-29 | 2019-06-05 | System, and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124058A true JP2018124058A (en) | 2018-08-09 |
Family
ID=51623067
Family Applications (17)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013181087A Active JP6402353B2 (en) | 2013-03-29 | 2013-09-02 | Refrigerator and refrigerator system |
JP2013181874A Active JP6318359B2 (en) | 2013-03-29 | 2013-09-03 | refrigerator |
JP2013181870A Active JP6303125B2 (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator system |
JP2013181869A Pending JP2014209048A (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator internal display system |
JP2013181872A Pending JP2014209050A (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator system |
JP2013181873A Active JP6307698B2 (en) | 2013-03-29 | 2013-09-03 | refrigerator |
JP2013201521A Active JP6371965B2 (en) | 2013-03-29 | 2013-09-27 | Refrigerator and refrigerator system |
JP2018047980A Pending JP2018091623A (en) | 2013-03-29 | 2018-03-15 | Refrigerator, refrigerator system, and imaging set for refrigerator |
JP2018094303A Pending JP2018124059A (en) | 2013-03-29 | 2018-05-16 | Refrigerator and in-refrigerator display system |
JP2018094302A Pending JP2018124058A (en) | 2013-03-29 | 2018-05-16 | Refrigerator and refrigerator system |
JP2019078989A Active JP6945131B2 (en) | 2013-03-29 | 2019-04-18 | refrigerator |
JP2019101915A Pending JP2019143967A (en) | 2013-03-29 | 2019-05-31 | Refrigerator and notification method |
JP2019104924A Pending JP2019174106A (en) | 2013-03-29 | 2019-06-05 | System, and method |
JP2020203426A Active JP7113378B2 (en) | 2013-03-29 | 2020-12-08 | system |
JP2020207285A Pending JP2021050909A (en) | 2013-03-29 | 2020-12-15 | Notification method, system |
JP2020207286A Pending JP2021073421A (en) | 2013-03-29 | 2020-12-15 | system |
JP2022102342A Pending JP2022118243A (en) | 2013-03-29 | 2022-06-27 | Notification method, system |
Family Applications Before (9)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013181087A Active JP6402353B2 (en) | 2013-03-29 | 2013-09-02 | Refrigerator and refrigerator system |
JP2013181874A Active JP6318359B2 (en) | 2013-03-29 | 2013-09-03 | refrigerator |
JP2013181870A Active JP6303125B2 (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator system |
JP2013181869A Pending JP2014209048A (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator internal display system |
JP2013181872A Pending JP2014209050A (en) | 2013-03-29 | 2013-09-03 | Refrigerator and refrigerator system |
JP2013181873A Active JP6307698B2 (en) | 2013-03-29 | 2013-09-03 | refrigerator |
JP2013201521A Active JP6371965B2 (en) | 2013-03-29 | 2013-09-27 | Refrigerator and refrigerator system |
JP2018047980A Pending JP2018091623A (en) | 2013-03-29 | 2018-03-15 | Refrigerator, refrigerator system, and imaging set for refrigerator |
JP2018094303A Pending JP2018124059A (en) | 2013-03-29 | 2018-05-16 | Refrigerator and in-refrigerator display system |
Family Applications After (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078989A Active JP6945131B2 (en) | 2013-03-29 | 2019-04-18 | refrigerator |
JP2019101915A Pending JP2019143967A (en) | 2013-03-29 | 2019-05-31 | Refrigerator and notification method |
JP2019104924A Pending JP2019174106A (en) | 2013-03-29 | 2019-06-05 | System, and method |
JP2020203426A Active JP7113378B2 (en) | 2013-03-29 | 2020-12-08 | system |
JP2020207285A Pending JP2021050909A (en) | 2013-03-29 | 2020-12-15 | Notification method, system |
JP2020207286A Pending JP2021073421A (en) | 2013-03-29 | 2020-12-15 | system |
JP2022102342A Pending JP2022118243A (en) | 2013-03-29 | 2022-06-27 | Notification method, system |
Country Status (4)
Country | Link |
---|---|
JP (17) | JP6402353B2 (en) |
CN (1) | CN205245656U (en) |
DE (1) | DE212014000095U1 (en) |
WO (1) | WO2014156051A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166917A1 (en) * | 2022-03-02 | 2023-09-07 | パナソニックIpマネジメント株式会社 | Food material management system, food material management method, and program |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6498866B2 (en) | 2013-03-12 | 2019-04-10 | 東芝ライフスタイル株式会社 | Refrigerator, camera device |
JP6391943B2 (en) | 2013-03-12 | 2018-09-19 | 東芝ライフスタイル株式会社 | Refrigerator, camera device, internal image display program |
JP6701281B2 (en) * | 2013-03-12 | 2020-05-27 | 東芝ライフスタイル株式会社 | Refrigerator, camera device, refrigerator door pocket, communication terminal, home appliance network system, internal image display program |
JP6600145B2 (en) * | 2015-03-25 | 2019-10-30 | 東芝ライフスタイル株式会社 | Food management method and food management system |
JP2016196981A (en) * | 2015-04-03 | 2016-11-24 | 三菱電機株式会社 | Storage shed management system and storage shed management method |
JP6592970B2 (en) * | 2015-06-02 | 2019-10-23 | 三菱電機株式会社 | refrigerator |
US10474987B2 (en) * | 2015-08-05 | 2019-11-12 | Whirlpool Corporation | Object recognition system for an appliance and method for managing household inventory of consumables |
US11156970B2 (en) | 2015-08-05 | 2021-10-26 | Whirlpool Corporation | Foodstuff sensing appliance |
DE102015219492A1 (en) * | 2015-10-08 | 2017-04-13 | BSH Hausgeräte GmbH | RF transmission path from independent waveguide structures |
CN105222514B (en) * | 2015-10-27 | 2017-12-19 | 合肥华凌股份有限公司 | Mounting box and refrigerator |
JP6324360B2 (en) * | 2015-11-04 | 2018-05-16 | 三菱電機株式会社 | Refrigerator and network system including the same |
JP6655955B2 (en) * | 2015-11-24 | 2020-03-04 | 三菱電機株式会社 | Purchase support program and purchase support system |
GB2545013A (en) * | 2015-12-03 | 2017-06-07 | Otegui Van Leeuw Jon | Multifunctional refrigerator |
JP6818407B2 (en) * | 2015-12-10 | 2021-01-20 | 三菱電機株式会社 | Refrigerator, image management system and program in the refrigerator |
US11036128B2 (en) | 2015-12-14 | 2021-06-15 | Asml Netherlands B.V. | Membrane assembly |
JP6563117B2 (en) * | 2016-04-08 | 2019-08-21 | 三菱電機株式会社 | refrigerator |
CN105783376B (en) * | 2016-05-06 | 2018-10-12 | 青岛海尔股份有限公司 | A kind of refrigerator compartment partition control method |
JP6799958B2 (en) * | 2016-07-20 | 2020-12-16 | 三菱電機株式会社 | refrigerator |
JP6771563B2 (en) * | 2016-07-27 | 2020-10-21 | 三菱電機株式会社 | Simulation system, simulation method and refrigerator |
KR102118156B1 (en) * | 2016-07-28 | 2020-06-02 | 삼성전자주식회사 | Refrigerator |
CN106123462B (en) * | 2016-08-22 | 2019-03-12 | 青岛海尔股份有限公司 | The production method of refrigerator door and the refrigerator door |
JP2018050251A (en) * | 2016-09-23 | 2018-03-29 | シャープ株式会社 | Monitoring system |
EP3543630A4 (en) * | 2016-11-21 | 2019-11-06 | Mitsubishi Electric Corporation | Refrigerator system |
JP6739547B2 (en) * | 2016-12-21 | 2020-08-12 | 三菱電機株式会社 | refrigerator |
CN110337574A (en) * | 2017-03-03 | 2019-10-15 | 夏普株式会社 | The manufacturing method of refrigerator and refrigerator doors |
CN110662933B (en) * | 2017-05-26 | 2021-10-08 | 夏普株式会社 | Refrigerator with a door |
DE102017212316A1 (en) * | 2017-07-19 | 2019-01-24 | BSH Hausgeräte GmbH | Household dishwasher, system with household dishwasher and server and method of operating a household dishwasher |
DE102017214941A1 (en) | 2017-08-25 | 2019-02-28 | Dometic Sweden Ab | Recreational vehicle, cooling device, control system and method of controlling the cooling device |
JP7012262B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7012261B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7012263B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
WO2019082168A1 (en) | 2017-10-27 | 2019-05-02 | Dometic Sweden Ab | Systems, methods, and apparatuses for providing communications between climate control devices in a recreational vehicle |
JP6954005B2 (en) * | 2017-10-30 | 2021-10-27 | トヨタ自動車株式会社 | vehicle |
JP6906455B2 (en) * | 2018-01-31 | 2021-07-21 | 日立グローバルライフソリューションズ株式会社 | refrigerator |
DE102018202631A1 (en) | 2018-02-21 | 2019-08-22 | BSH Hausgeräte GmbH | Determine a free volume in a household refrigerator |
KR102535152B1 (en) | 2018-04-17 | 2023-05-22 | 삼성전자주식회사 | Display device and method for controlling thereof |
JP7191561B2 (en) * | 2018-06-29 | 2022-12-19 | シャープ株式会社 | refrigerator |
JP7039416B2 (en) * | 2018-07-31 | 2022-03-22 | 東芝ライフスタイル株式会社 | refrigerator |
CN110942711B (en) * | 2018-09-21 | 2021-07-23 | 合肥海尔电冰箱有限公司 | Display device for displaying refrigerator and display method thereof |
JP7313156B2 (en) * | 2019-02-08 | 2023-07-24 | 三菱電機株式会社 | refrigerator |
CN111692830A (en) * | 2019-03-13 | 2020-09-22 | 青岛海尔电冰箱有限公司 | Control method of refrigerator and refrigerator adopting control method |
JP2020194233A (en) * | 2019-05-24 | 2020-12-03 | 沖電気工業株式会社 | Image processing device, image processing program, and image processing method |
US20230106088A1 (en) * | 2019-10-04 | 2023-04-06 | Ism Makine Elektrik Sanayi Ve Ticaret Anonim Sirketi | A smart mini bar system and method thereof |
JP7150197B2 (en) * | 2019-11-25 | 2022-10-07 | 三菱電機株式会社 | Display device |
JP2022035347A (en) * | 2020-08-20 | 2022-03-04 | 日立グローバルライフソリューションズ株式会社 | Method for processing image data in refrigerator and refrigerator |
US11692769B2 (en) * | 2020-11-17 | 2023-07-04 | Haier Us Appliance Solutions, Inc. | Inventory management system for a refrigerator appliance |
JP2022093365A (en) * | 2020-12-11 | 2022-06-23 | クリナップ株式会社 | Kitchen information presentation program |
JP7084517B2 (en) * | 2021-02-25 | 2022-06-14 | 東芝ライフスタイル株式会社 | Food management method, food management system, refrigerator |
JP7386485B2 (en) * | 2021-03-25 | 2023-11-27 | ダイキン工業株式会社 | Information processing equipment and programs |
US20230057240A1 (en) * | 2021-08-17 | 2023-02-23 | Haier Us Appliance Solutions, Inc. | Four camera system for a refrigerator appliance |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01302340A (en) * | 1988-05-31 | 1989-12-06 | Konica Corp | Copy photographing device |
JP2003185327A (en) * | 2001-12-18 | 2003-07-03 | Hitachi Ltd | Food storage, food managing device and food managing method |
JP3095497U (en) * | 2003-01-27 | 2003-07-31 | 春子 柳田 | Refrigerator with information display function |
JP2008224812A (en) * | 2007-03-09 | 2008-09-25 | Konica Minolta Holdings Inc | Person photographing device |
JP2012193873A (en) * | 2011-03-15 | 2012-10-11 | Nikon Corp | Storage device |
Family Cites Families (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4084866A (en) * | 1976-11-03 | 1978-04-18 | Kikuo Hayashi | Door structure |
JPS611346Y2 (en) * | 1981-02-04 | 1986-01-17 | ||
JPH0188293U (en) * | 1987-11-26 | 1989-06-12 | ||
JPH0545042A (en) * | 1991-08-09 | 1993-02-23 | Sharp Corp | Freezer-refrigerator with warning indicator |
JPH0545041A (en) * | 1991-08-09 | 1993-02-23 | Sharp Corp | Device for controlling storage space in freezer-refrigerator |
JPH109753A (en) * | 1996-06-26 | 1998-01-16 | Matsushita Refrig Co Ltd | Food inventory control device for refrigerator-freezer |
JP3041725U (en) * | 1997-03-24 | 1997-10-03 | 株式会社メガチップス | Monitoring device |
JP3471201B2 (en) * | 1997-09-05 | 2003-12-02 | 株式会社東芝 | Imaging module and imaging device |
JPH11270964A (en) * | 1998-03-24 | 1999-10-05 | Sanyo Electric Co Ltd | Cooled storage chamber |
SE521047C2 (en) * | 1999-02-19 | 2003-09-23 | Rutger Roseen | Device and method for providing information about the contents of a cabinet |
JP2000287187A (en) * | 1999-03-30 | 2000-10-13 | Sony Corp | Device and method for processing image information, device and method for providing image information and service medium |
JP3819655B2 (en) * | 1999-11-16 | 2006-09-13 | 三洋電機株式会社 | Portable device |
JP2001216230A (en) * | 2000-02-01 | 2001-08-10 | Fuji Xerox Co Ltd | Document processing method and device utilizing network |
JP2001256036A (en) * | 2000-03-03 | 2001-09-21 | Ever Prospect Internatl Ltd | Method for transferring information with equipment, equipment with interactive function applying the same and life support system formed by combining equipment |
JP2001294308A (en) * | 2000-04-10 | 2001-10-23 | Matsushita Electric Ind Co Ltd | Article storage cabinet |
JP2001317858A (en) * | 2000-05-09 | 2001-11-16 | Matsushita Refrig Co Ltd | Refrigerator |
JP2001349661A (en) * | 2000-06-05 | 2001-12-21 | Sharp Corp | Refrigerator |
JP3900808B2 (en) * | 2000-08-28 | 2007-04-04 | 三菱電機株式会社 | refrigerator |
JP2002081818A (en) * | 2000-09-05 | 2002-03-22 | Hitachi Ltd | Refrigerator |
JP4731765B2 (en) * | 2000-09-25 | 2011-07-27 | キヤノン株式会社 | Imaging apparatus, control method therefor, and program |
JP2002236798A (en) * | 2001-02-13 | 2002-08-23 | Matsushita Refrig Co Ltd | Device and method for managing food in refrigerator |
JP2002251518A (en) * | 2001-02-21 | 2002-09-06 | Nec Corp | Support system for cooking, and controller for foodstuff |
JP2002243335A (en) * | 2001-02-21 | 2002-08-28 | Toshiba Corp | Food preservation chamber, home network device, portable information terminal, food information provision server, menu information provision server, and information provision server containing in preservation chamber |
JP2002267336A (en) * | 2001-03-09 | 2002-09-18 | Hitachi Ltd | System for indicating contained article contained in chamber on portable phone, etc. |
JP2002267337A (en) * | 2001-03-12 | 2002-09-18 | Matsushita Refrig Co Ltd | Food material control device for refrigerator |
JP2002288361A (en) * | 2001-03-27 | 2002-10-04 | Ricoh Co Ltd | System for providing menu preparation application service, its program and recording medium |
JP2002295962A (en) * | 2001-03-29 | 2002-10-09 | Sanyo Electric Co Ltd | Refrigerator |
JP3738196B2 (en) * | 2001-03-30 | 2006-01-25 | 三洋電機株式会社 | refrigerator |
JP2002340471A (en) * | 2001-05-18 | 2002-11-27 | Fujitsu General Ltd | Refrigerator interior display system |
JP2003090673A (en) * | 2001-09-17 | 2003-03-28 | Hitachi Electronics Service Co Ltd | Image display system of refrigerator contents |
JP2003189288A (en) * | 2001-12-17 | 2003-07-04 | Fuji Photo Film Co Ltd | System for monitoring household appliance and system for monitoring refrigerator |
AU5069202A (en) * | 2002-01-17 | 2003-07-24 | Lg Electronics Inc. | Apparatus and method for controlling cool air in refrigerator |
JP2004183987A (en) * | 2002-12-04 | 2004-07-02 | Hitachi Home & Life Solutions Inc | Refrigerator |
JP4450562B2 (en) * | 2003-03-26 | 2010-04-14 | 富士フイルム株式会社 | Collection case |
JP2005032188A (en) * | 2003-07-11 | 2005-02-03 | Nippon Telegr & Teleph Corp <Ntt> | Cooking support system and method |
JP2005202696A (en) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Ind Co Ltd | Refrigerator stock food management system, refrigerator and recipe server |
JP2005274053A (en) * | 2004-03-25 | 2005-10-06 | Sanden Corp | On-vehicle cold storage managing system |
JP2006046771A (en) * | 2004-08-04 | 2006-02-16 | Hitachi Home & Life Solutions Inc | Refrigerator |
JP4002565B2 (en) * | 2004-08-24 | 2007-11-07 | 埼玉日本電気株式会社 | Portable terminal device and ambient environment detection method using portable terminal device |
US20060096303A1 (en) * | 2004-11-10 | 2006-05-11 | Kavounas Gregory T | Home refrigerator systems imaging their interior and methods |
JP2006214644A (en) * | 2005-01-07 | 2006-08-17 | Matsushita Electric Ind Co Ltd | Storage |
JP2006275324A (en) * | 2005-03-28 | 2006-10-12 | Sanyo Electric Co Ltd | Household food management system |
JP2007046834A (en) * | 2005-08-09 | 2007-02-22 | Funai Electric Co Ltd | Article storage, article storage monitoring system and refrigerator monitoring system |
JP2007046833A (en) * | 2005-08-09 | 2007-02-22 | Funai Electric Co Ltd | Article storage, article storage monitoring system, and refrigerator monitoring system |
JP2007113858A (en) * | 2005-10-21 | 2007-05-10 | Hitachi Appliances Inc | Freezer-refrigerator |
JP2007121963A (en) * | 2005-10-31 | 2007-05-17 | Sharp Corp | Electronic device |
JP2007127385A (en) * | 2005-11-07 | 2007-05-24 | Toshiba Corp | Refrigerator |
KR20070050244A (en) * | 2005-11-10 | 2007-05-15 | 엘지전자 주식회사 | Refrigerator having a display function for remain capacity |
JP2007139355A (en) * | 2005-11-21 | 2007-06-07 | Matsushita Electric Ind Co Ltd | Article storage device |
JP2007170838A (en) * | 2005-12-19 | 2007-07-05 | Ryusyo Industrial Co Ltd | Visual inspection apparatus |
JP2007329823A (en) * | 2006-06-09 | 2007-12-20 | Fujifilm Corp | Equipment control system and equipment control method |
JP2008075935A (en) * | 2006-09-20 | 2008-04-03 | Matsushita Electric Ind Co Ltd | Storage |
JP2008304127A (en) * | 2007-06-07 | 2008-12-18 | Aruze Corp | Food inventory management system |
KR20090049286A (en) * | 2007-11-13 | 2009-05-18 | 주식회사 대우일렉트로닉스 | Anti-blocking apparatus in freezer duct of a refrigerator and method thereby |
JP5106245B2 (en) * | 2008-05-23 | 2012-12-26 | 三菱電機株式会社 | refrigerator |
JP2010061382A (en) * | 2008-09-03 | 2010-03-18 | Nikon Corp | Automatic recipe creation apparatus and program |
JP2010121784A (en) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | Stock management device of refrigerator |
US20100170289A1 (en) * | 2009-01-06 | 2010-07-08 | Sony Corporation | System and Method for Seamless Imaging of Appliance Interiors |
KR101517083B1 (en) * | 2009-05-11 | 2015-05-15 | 엘지전자 주식회사 | A Portable terminal controlling refrigerator and operation method for the same |
KR20120050989A (en) * | 2009-08-06 | 2012-05-21 | 파나소닉 주식회사 | Air conditioner |
JP5085616B2 (en) * | 2009-08-19 | 2012-11-28 | 三菱電機株式会社 | refrigerator |
JP5381697B2 (en) * | 2009-12-28 | 2014-01-08 | 株式会社リコー | Imaging device |
US9353990B2 (en) * | 2010-02-23 | 2016-05-31 | Lg Electronics Inc. | Refrigerator including a terminal, and method for controlling same |
EP2525171B1 (en) * | 2010-03-09 | 2016-05-18 | Panasonic Corporation | Refrigerator |
JP5543831B2 (en) * | 2010-04-14 | 2014-07-09 | 矢崎総業株式会社 | Electrical equipment |
US8756942B2 (en) * | 2010-07-29 | 2014-06-24 | Lg Electronics Inc. | Refrigerator and method for controlling the same |
JP2012051647A (en) * | 2010-08-02 | 2012-03-15 | Honko Mfg Co Ltd | Cool container and vacuum heat insulating panel with sensor |
US8655881B2 (en) * | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
JP2012180904A (en) * | 2011-03-01 | 2012-09-20 | Honko Mfg Co Ltd | Heat insulation sensors |
BR112013022140B1 (en) * | 2011-03-02 | 2021-01-19 | Panasonic Corporation | cooler |
JP5828660B2 (en) * | 2011-04-11 | 2015-12-09 | 日本電産サンキョー株式会社 | Optical unit with shake correction function |
KR20120116207A (en) * | 2011-04-12 | 2012-10-22 | 엘지전자 주식회사 | A display device and a refrigerator comprising the display device |
JP2012220134A (en) * | 2011-04-12 | 2012-11-12 | Hitachi Appliances Inc | Refrigerator |
KR101774054B1 (en) * | 2011-04-15 | 2017-09-12 | 엘지전자 주식회사 | A network system and a control method the same |
JP5440644B2 (en) * | 2011-05-09 | 2014-03-12 | パナソニック株式会社 | refrigerator |
JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
JP5777979B2 (en) * | 2011-08-30 | 2015-09-16 | 日本アルミット株式会社 | Solder alloy |
JP6391943B2 (en) * | 2013-03-12 | 2018-09-19 | 東芝ライフスタイル株式会社 | Refrigerator, camera device, internal image display program |
-
2013
- 2013-09-02 JP JP2013181087A patent/JP6402353B2/en active Active
- 2013-09-03 JP JP2013181874A patent/JP6318359B2/en active Active
- 2013-09-03 JP JP2013181870A patent/JP6303125B2/en active Active
- 2013-09-03 JP JP2013181869A patent/JP2014209048A/en active Pending
- 2013-09-03 JP JP2013181872A patent/JP2014209050A/en active Pending
- 2013-09-03 JP JP2013181873A patent/JP6307698B2/en active Active
- 2013-09-27 JP JP2013201521A patent/JP6371965B2/en active Active
-
2014
- 2014-03-18 DE DE212014000095.5U patent/DE212014000095U1/en not_active Expired - Lifetime
- 2014-03-18 WO PCT/JP2014/001532 patent/WO2014156051A1/en active Application Filing
- 2014-03-18 CN CN201490000557.9U patent/CN205245656U/en not_active Expired - Lifetime
-
2018
- 2018-03-15 JP JP2018047980A patent/JP2018091623A/en active Pending
- 2018-05-16 JP JP2018094303A patent/JP2018124059A/en active Pending
- 2018-05-16 JP JP2018094302A patent/JP2018124058A/en active Pending
-
2019
- 2019-04-18 JP JP2019078989A patent/JP6945131B2/en active Active
- 2019-05-31 JP JP2019101915A patent/JP2019143967A/en active Pending
- 2019-06-05 JP JP2019104924A patent/JP2019174106A/en active Pending
-
2020
- 2020-12-08 JP JP2020203426A patent/JP7113378B2/en active Active
- 2020-12-15 JP JP2020207285A patent/JP2021050909A/en active Pending
- 2020-12-15 JP JP2020207286A patent/JP2021073421A/en active Pending
-
2022
- 2022-06-27 JP JP2022102342A patent/JP2022118243A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01302340A (en) * | 1988-05-31 | 1989-12-06 | Konica Corp | Copy photographing device |
JP2003185327A (en) * | 2001-12-18 | 2003-07-03 | Hitachi Ltd | Food storage, food managing device and food managing method |
JP3095497U (en) * | 2003-01-27 | 2003-07-31 | 春子 柳田 | Refrigerator with information display function |
JP2008224812A (en) * | 2007-03-09 | 2008-09-25 | Konica Minolta Holdings Inc | Person photographing device |
JP2012193873A (en) * | 2011-03-15 | 2012-10-11 | Nikon Corp | Storage device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166917A1 (en) * | 2022-03-02 | 2023-09-07 | パナソニックIpマネジメント株式会社 | Food material management system, food material management method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2018124059A (en) | 2018-08-09 |
JP2014209049A (en) | 2014-11-06 |
JP2019174106A (en) | 2019-10-10 |
JP2018091623A (en) | 2018-06-14 |
JP2021073421A (en) | 2021-05-13 |
WO2014156051A1 (en) | 2014-10-02 |
JP6307698B2 (en) | 2018-04-11 |
JP2019143967A (en) | 2019-08-29 |
JP2014209051A (en) | 2014-11-06 |
DE212014000095U1 (en) | 2015-10-30 |
JP2014209050A (en) | 2014-11-06 |
JP2021050909A (en) | 2021-04-01 |
JP6371965B2 (en) | 2018-08-15 |
CN205245656U (en) | 2016-05-18 |
JP6303125B2 (en) | 2018-04-04 |
JP2022118243A (en) | 2022-08-12 |
JP2014209053A (en) | 2014-11-06 |
JP6318359B2 (en) | 2018-05-09 |
JP6945131B2 (en) | 2021-10-06 |
JP6402353B2 (en) | 2018-10-10 |
JP2014209048A (en) | 2014-11-06 |
JP2014209047A (en) | 2014-11-06 |
JP2019124461A (en) | 2019-07-25 |
JP2021050906A (en) | 2021-04-01 |
JP2014209052A (en) | 2014-11-06 |
JP7113378B2 (en) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019174106A (en) | System, and method | |
JP6229142B2 (en) | Refrigerator and refrigerator system | |
JP6307702B2 (en) | refrigerator | |
JP6221048B2 (en) | refrigerator | |
JP6303127B2 (en) | refrigerator | |
JP2014206321A (en) | Refrigerator | |
JP6322803B2 (en) | Refrigerator and refrigerator system | |
JP6167327B2 (en) | refrigerator | |
JP6167288B2 (en) | refrigerator | |
JP6212700B2 (en) | Refrigerator and refrigerator system thereof | |
JP2014206319A (en) | Refrigerator | |
JP6167329B2 (en) | refrigerator | |
JP2014206318A (en) | Refrigerator | |
JP6145701B2 (en) | refrigerator | |
JP6114916B2 (en) | refrigerator | |
JP6145702B2 (en) | refrigerator | |
JP2018124054A (en) | refrigerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180606 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |