JP2014070740A - Refrigerator - Google Patents

Refrigerator Download PDF

Info

Publication number
JP2014070740A
JP2014070740A JP2012214368A JP2012214368A JP2014070740A JP 2014070740 A JP2014070740 A JP 2014070740A JP 2012214368 A JP2012214368 A JP 2012214368A JP 2012214368 A JP2012214368 A JP 2012214368A JP 2014070740 A JP2014070740 A JP 2014070740A
Authority
JP
Japan
Prior art keywords
storage amount
unit
refrigerator
food
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012214368A
Other languages
Japanese (ja)
Other versions
JP6157822B2 (en
Inventor
Takuya Mashita
拓也 真下
Hiroki Marutani
裕樹 丸谷
Kazuhiro Furuta
和浩 古田
Takeshi Ezaki
猛 江碕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Corp
Toshiba Consumer Electronics Holdings Corp
Toshiba Home Appliances Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Consumer Electronics Holdings Corp, Toshiba Home Appliances Corp filed Critical Toshiba Corp
Priority to JP2012214368A priority Critical patent/JP6157822B2/en
Publication of JP2014070740A publication Critical patent/JP2014070740A/en
Application granted granted Critical
Publication of JP6157822B2 publication Critical patent/JP6157822B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2331/00Details or arrangements of other cooling or freezing apparatus not provided for in other groups of this subclass
    • F25D2331/80Type of cooled receptacles
    • F25D2331/807Eggs

Abstract

PROBLEM TO BE SOLVED: To provide a refrigerator capable of improving accuracy when foods are discriminated or their storage amount is confirmed without applying any enormous cost.SOLUTION: A refrigerator in accordance with an embodiment of this invention is operated such that a storage amount of specified foods that are stored at a specified position that is a prescribed set position within the refrigerator is taken, whether or not the taken storage amount of the specified foods is more than a prescribed reference storage amount is determined and information concerning a lacked food that is a specified food determined to be less than the reference storage amount is reported.

Description

本発明の実施形態は、冷蔵庫に関する。   Embodiments of the present invention relate to a refrigerator.

従来、庫内を撮像して食材の貯蔵量を取得し、不足している食材を発注することが提案されている(例えば、特許文献1参照)。
しかしながら、庫内を撮像する場合、その分析力、すなわち、食材の判別や貯蔵量の取得する際における精度を向上させるためには、画像処理ソフトウェアの開発に膨大な手間と製造コストが掛かるという問題がある。また、そもそも食材はその種類が多いことから対象となる食材の情報を全て蓄積するようなデータベースを構築することがまず困難な上、新製品や生産終了品等も出ることからデータベースを更新するための運用コストも必要になるなど、実用性に欠けるというのが現状である。
2. Description of the Related Art Conventionally, it has been proposed to take an image of the inside of a warehouse, acquire a storage amount of foodstuffs, and order a missing foodstuff (see, for example, Patent Document 1).
However, in order to improve the analysis power when imaging the interior, that is, the accuracy in determining the ingredients and acquiring the storage amount, it takes a lot of labor and manufacturing costs to develop image processing software There is. In addition, since there are many types of foods in the first place, it is difficult to construct a database that stores all the information on the target foods, and new databases and discontinued products are also released, so the database is updated. The current situation is that it lacks practicality, such as the need for operating costs.

特開2002−243335号公報JP 2002-243335 A

本発明が解決しようとする課題は、膨大なコストを掛けることなく、食材を判別したり貯蔵量を取得する際の精度を向上することができる冷蔵庫を提供することにある。   The problem to be solved by the present invention is to provide a refrigerator capable of improving the accuracy when determining foodstuffs or acquiring the storage amount without incurring enormous costs.

実施形態による冷蔵庫は、庫内の予め設定されている位置である特定位置に貯蔵される食材である特定食材の貯蔵量を取得する貯蔵量取得手段と、貯蔵量取得手段で取得した特定食材の貯蔵量に対する基準値である基準貯蔵量を設定する設定手段と、貯蔵量取得手段で取得した特定食材の貯蔵量が設定手段により設定された基準貯蔵量以上であるか否かを判定する判定手段と、判定手段により基準貯蔵量未満であると判定された特定食材である不足食材に関する情報を報知する報知手段と、を備える。   The refrigerator according to the embodiment includes a storage amount acquisition unit that acquires a storage amount of a specific ingredient that is stored in a specific position that is a preset position in the warehouse, and a storage unit that acquires the specific ingredient acquired by the storage amount acquisition unit. A setting unit that sets a reference storage amount that is a reference value for the storage amount, and a determination unit that determines whether the storage amount of the specific food acquired by the storage amount acquisition unit is equal to or greater than the reference storage amount set by the setting unit And a notifying means for notifying information relating to a shortage food that is a specific food determined to be less than the reference storage amount by the determination means.

第1実施形態の冷蔵庫の外観を模式的に示す図The figure which shows typically the external appearance of the refrigerator of 1st Embodiment. 第1実施形態の冷蔵庫の構造を模式的に示す図The figure which shows the structure of the refrigerator of 1st Embodiment typically. 第1実施形態の冷蔵庫の冷蔵室の構造を模式的に示す図The figure which shows typically the structure of the refrigerator compartment of the refrigerator of 1st Embodiment. 第1実施形態の冷蔵庫の特定位置の構造を模式的に示す図The figure which shows typically the structure of the specific position of the refrigerator of 1st Embodiment. 第1実施形態の冷蔵庫の電気的構成を模式的に示す図The figure which shows typically the electric constitution of the refrigerator of 1st Embodiment. 第1実施形態の冷蔵庫による貯蔵量確認処理の流れを示す図The figure which shows the flow of the storage amount confirmation process by the refrigerator of 1st Embodiment. 第1実施形態の冷蔵庫による報知の一例を示す図その1The figure which shows an example of the alerting | reporting by the refrigerator of 1st Embodiment 1 第1実施形態の冷蔵庫による報知の一例を示す図その2The figure 2 which shows an example of the alerting | reporting by the refrigerator of 1st Embodiment 第1実施形態の冷蔵庫による報知の一例を示す図その3The figure which shows an example of the alerting | reporting by the refrigerator of 1st Embodiment 3 第2実施形態の冷蔵庫の特定位置の構造を模式的に示す図The figure which shows typically the structure of the specific position of the refrigerator of 2nd Embodiment.

以下、複数の実施形態による冷蔵庫について、図面を参照しながら説明する。なお、各実施形態にて共通する構成には同一の符号を付し、詳細な説明は省略する。
(第1実施形態)
以下、第1実施形態による冷蔵庫について、図1から図9を参照しながら説明する。
Hereinafter, refrigerators according to a plurality of embodiments will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the structure which is common in each embodiment, and detailed description is abbreviate | omitted.
(First embodiment)
Hereinafter, the refrigerator according to the first embodiment will be described with reference to FIGS. 1 to 9.

図1および図2に示すように、冷蔵庫1は、本体2の内部に、上部から順に、食材を貯蔵するための貯蔵室である冷蔵室3、野菜室4、製氷室5と上部冷凍室6、および下部冷凍室7が設けられている。冷蔵室3および野菜室4と、製氷室5および上部冷凍室6との間は、断熱仕切壁により仕切られている。冷蔵室3は、図1に示すように、いわゆる片開き式の扉3aによって開閉され、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7は、引き出し式の扉4a、扉5a、扉6aおよび扉7aによってそれぞれ開閉されるようになっている。なお、上記した貯蔵室の構成は一例であり、各貯蔵室の配置順が異なっていたり、例えば上部冷凍室6が冷蔵と冷凍とを切り替え可能な切替室であるような構成でもよい。   As shown in FIG. 1 and FIG. 2, the refrigerator 1 includes a refrigerator room 3, a vegetable room 4, an ice making room 5, and an upper freezer room 6, which are storage rooms for storing ingredients in the main body 2 in order from the top. And a lower freezer compartment 7 are provided. The refrigerator compartment 3 and the vegetable compartment 4, and the ice making compartment 5 and the upper freezer compartment 6 are partitioned by a heat insulating partition wall. As shown in FIG. 1, the refrigerator compartment 3 is opened and closed by a so-called single-open door 3a, and the vegetable compartment 4, the ice making compartment 5, the upper freezer compartment 6, and the lower freezer compartment 7 are a drawer-type door 4a and door 5a. The door 6a and the door 7a are respectively opened and closed. The above-described configuration of the storage chamber is an example, and the arrangement order of the storage chambers may be different. For example, the upper freezing chamber 6 may be a switching chamber capable of switching between refrigeration and freezing.

図2に示すように、冷蔵室3の後方には、冷蔵室3や野菜室4用の冷蔵用冷却器8と、この冷蔵用冷却器8により冷却された空気を循環させる冷蔵用ファン9とが設けられている。また、製氷室5の後方には、製氷室5、上部冷凍室6および下部冷凍室7用の冷凍用冷却器10、およびこの冷凍用冷却器10により冷却された空気を循環させる冷凍用ファン11が設けられている。これら冷蔵用冷却器8および冷凍用冷却器10は、下部冷凍室7の後方の機械室12に配置されているコンプレッサ13により駆動される。このコンプレッサ13は、冷蔵用冷却器8および冷凍用冷却器10とともに、周知の冷凍サイクルを構成している。この冷凍サイクルは、冷蔵温度センサ14および冷凍温度センサ15により検知された庫内温度に応じて、主制御部30(図5参照)によりその運転状態が制御される。   As shown in FIG. 2, at the rear of the refrigerating room 3, a refrigerating cooler 8 for the refrigerating room 3 and the vegetable room 4, and a refrigerating fan 9 for circulating the air cooled by the refrigerating cooler 8, Is provided. Behind the ice making chamber 5 is a freezing cooler 10 for the ice making chamber 5, the upper freezing chamber 6 and the lower freezing chamber 7, and a freezing fan 11 for circulating the air cooled by the freezing cooler 10. Is provided. The refrigeration cooler 8 and the refrigeration cooler 10 are driven by a compressor 13 disposed in a machine room 12 behind the lower freezer compartment 7. The compressor 13 constitutes a well-known refrigeration cycle together with the refrigeration cooler 8 and the refrigeration cooler 10. The operation state of the refrigeration cycle is controlled by the main control unit 30 (see FIG. 5) according to the internal temperature detected by the refrigeration temperature sensor 14 and the refrigeration temperature sensor 15.

図1に示すように、冷蔵室3の扉3aには、表示器およびスイッチ類を有する操作パネル16(設定手段を構成する)が設けられている。操作パネル16の表示器は、例えば液晶表示器や有機EL表示器などで構成されており、冷蔵庫1に関する各種の情報を文字やグラフなどを用いて表示する。また、操作パネル16のスイッチ類は、機械式のスイッチやタッチパネル式のスイッチ等の複数のスイッチで構成されており、冷蔵庫1に対する各種の設定操作が入力される。また、冷蔵室3の扉3aには、表示端末17(報知手段を構成する)が設けられている。表示端末17は、図2に示すように、その表面が、冷蔵室3の扉3aと同一面あるいは僅かに扉3a内部に位置するように設けられている。なお、表示端末17の称さない構成については後述する。   As shown in FIG. 1, the door 3a of the refrigerator compartment 3 is provided with an operation panel 16 (which constitutes setting means) having a display and switches. The display of the operation panel 16 is composed of, for example, a liquid crystal display or an organic EL display, and displays various information related to the refrigerator 1 using characters, graphs, and the like. The switches of the operation panel 16 are composed of a plurality of switches such as a mechanical switch and a touch panel switch, and various setting operations for the refrigerator 1 are input. The door 3a of the refrigerator compartment 3 is provided with a display terminal 17 (which constitutes a notification means). As shown in FIG. 2, the display terminal 17 is provided so that its surface is flush with the door 3 a of the refrigerator compartment 3 or slightly inside the door 3 a. In addition, the structure which the display terminal 17 does not call is mentioned later.

図3に示すように、冷蔵室3の内部には、卵ケース18(特定位置に相当する)が設けられている。この卵ケース18は、庫内の特定の位置に設けられており、貯蔵する食材が予め設定されている。ここで、「予め設定されている」とは、例えば特定の食材を貯蔵するための構造を有しているものや、貯蔵対象となる食材がメーカなどにより推奨されているものなどを含む表現である。より具体的には、卵ケース18は、図4に示すように、貯蔵対象となる食材である卵19を貯蔵するのに適した孔部を有する棚板18aを備えており、一般的には卵19を貯蔵するために利用されるものである。すなわち、本実施形態では、卵ケース18が特定位置に相当し、その特定位置に貯蔵される食材である卵19が特定食材に相当する。   As shown in FIG. 3, an egg case 18 (corresponding to a specific position) is provided inside the refrigerator compartment 3. The egg case 18 is provided at a specific position in the cabinet, and the ingredients to be stored are set in advance. Here, “pre-set” is an expression including, for example, one having a structure for storing a specific food or one recommended by a manufacturer for a food to be stored. is there. More specifically, as shown in FIG. 4, the egg case 18 includes a shelf board 18 a having holes suitable for storing eggs 19 that are foods to be stored. This is used for storing the eggs 19. That is, in this embodiment, the egg case 18 corresponds to a specific position, and the egg 19 that is a food stored in the specific position corresponds to the specific food.

この卵ケース18の内部において、天板18bには、庫内撮像カメラ35(貯蔵量取得手段、撮像手段を構成する)が設けられている。庫内撮像カメラ35は、例えばCCDやCMOSなどの撮像素子を有しており、卵ケース18の内部全体、より厳密には、貯蔵されている全ての卵19を撮像可能なように設けられている。なお、庫内撮像カメラ35の位置は、天板18bに限らず、側壁などに設ける構成であってもよい。   Inside the egg case 18, the top plate 18b is provided with an in-compartment imaging camera 35 (which constitutes a storage amount acquisition unit and an imaging unit). The internal imaging camera 35 has an imaging device such as a CCD or a CMOS, for example, and is provided so that the entire inside of the egg case 18, more strictly, all the stored eggs 19 can be imaged. Yes. The position of the internal imaging camera 35 is not limited to the top plate 18b, but may be configured to be provided on a side wall or the like.

このような構成の冷蔵庫1は、図5に示すように、主制御部30により制御されている。主制御部30は、CPU31、ROM32およびRAM33などを有するコンピュータにより構成されており、例えばROM32などに記憶されているコンピュータプログラムにしたがって冷蔵庫1の全体を制御する。また、主制御部30は、計時手段としてのリアルタイムクロック(以下、RTC34と称する)を有しており、時刻情報を取得可能となっている。取得可能な時刻情報には、時間、日付、曜日などが含まれている。より具体的には、主制御部30は、操作パネル16から入力された設定操作に応じて、冷蔵温度センサ14あるいは冷凍温度センサ15により検知された貯蔵室の温度などに基づいて冷凍サイクルの動作(各冷却器および各ファンの動作)を制御する。   The refrigerator 1 having such a configuration is controlled by a main control unit 30 as shown in FIG. The main control unit 30 is configured by a computer having a CPU 31, a ROM 32, a RAM 33, and the like, and controls the entire refrigerator 1 according to a computer program stored in the ROM 32, for example. The main control unit 30 has a real time clock (hereinafter referred to as RTC 34) as a time measuring means, and can acquire time information. The time information that can be acquired includes time, date, day of the week, and the like. More specifically, the main control unit 30 operates the refrigeration cycle based on the temperature of the storage room detected by the refrigeration temperature sensor 14 or the refrigeration temperature sensor 15 according to the setting operation input from the operation panel 16. (Operation of each cooler and each fan) is controlled.

また、主制御部30は、庫内撮像カメラ35により、卵ケース18内の画像を取得する。取得した卵ケース18内の画像は、卵19の貯蔵量を判断するために用いられる。本実施形態では、取得した画像は表示端末17側に送られ、表示端末17側にて卵19の貯蔵量が判断される。なお、光源20および光検出器21を有する照度センサ22(貯蔵量取得手段、光度検知手段を構成する)の詳細については第2実施形態にて説明するが、庫内撮像カメラ35と照度センサ22の双方を設ける必要は必ずしも無く、いずれか一方を設ける構成であっても勿論よい。   In addition, the main control unit 30 acquires an image in the egg case 18 by the internal imaging camera 35. The acquired image in the egg case 18 is used to determine the storage amount of the egg 19. In the present embodiment, the acquired image is sent to the display terminal 17 side, and the storage amount of the eggs 19 is determined on the display terminal 17 side. The details of the illuminance sensor 22 having the light source 20 and the light detector 21 (which constitutes the storage amount acquisition means and the light intensity detection means) will be described in the second embodiment. It is not always necessary to provide both of them. Of course, either one may be provided.

この主制御部30は、表示端末17と通信可能に接続されている。本実施形態では、本体2の内部に設けられている主制御部30と、扉3aに設けられている表示端末17との間は、無線通信方式にて通信が行われている。本実施形態では、表示端末17として、いわゆるタブレット型の携帯通信端末を想定している。なお、表示端末17としていわゆるスマートフォンなどのような携帯通信端末を採用してもよい。   The main control unit 30 is communicably connected to the display terminal 17. In this embodiment, communication is performed between the main control unit 30 provided inside the main body 2 and the display terminal 17 provided on the door 3a by a wireless communication method. In the present embodiment, a so-called tablet-type mobile communication terminal is assumed as the display terminal 17. Note that a mobile communication terminal such as a so-called smartphone may be adopted as the display terminal 17.

表示端末17の制御部40は、CPU41、ROM42、RAM43およびRTC44などを有するコンピュータにより構成されており、例えばROM42などに記憶されているコンピュータプログラムにしたがって表示端末17の全体を制御する。この制御部40は、表示パネル45(報知手段を構成する)を構成する表示部46およびタッチパネル47、通信部48、記憶部49に接続している。なお、本実施携帯では表示端末17として携帯通信端末を採用しているため、携帯通信端末の機能としてカメラ50、マイク51およびスピーカ52が設けられているが、これらは必ずしも必須のものではない。   The control unit 40 of the display terminal 17 is configured by a computer having a CPU 41, a ROM 42, a RAM 43, an RTC 44, and the like, and controls the entire display terminal 17 according to a computer program stored in the ROM 42, for example. The control unit 40 is connected to a display unit 46, a touch panel 47, a communication unit 48, and a storage unit 49 that constitute a display panel 45 (which constitutes a notification unit). In this embodiment, since the mobile communication terminal is employed as the display terminal 17, the camera 50, the microphone 51, and the speaker 52 are provided as functions of the mobile communication terminal, but these are not necessarily essential.

表示パネル45の表示部46は、液晶表示器や有機EL表示器などで構成されており、表示端末17側の各種の情報を表示する。タッチパネル47は、表示部46に対応して設けられており、表示端末17に対する対象者の操作(例えば、後述する設定操作)などを受け付ける。通信部48は、ネットワーク100(例えば、公衆回線網)との間で無線方式にて通信可能となっており、ネットワークを介して接続されているサーバ101(外部の装置に相当する)や店舗カメラ102(外部の装置に相当する)との間で各種の情報を送受信する。このサーバ101は、食材を提供する提供業者などにより運営されているものであり、食材の価格情報や在庫情報が登録されたデータベースを有している。店舗カメラ102は、食材を販売する店舗の様子を静止画や動画で撮像するカメラである。この店舗カメラ102は、陳列棚等を含む店舗内を撮像してもよいし、食材の種類や価格を把握可能な値札などを拡大して撮像してもよい。つまり、「店舗の様子」とは、食材の価格や在庫状況などを把握できるものであればよい。なお、本実施形態では、ネットワーク100としていわゆるインターネットを想定している。   The display unit 46 of the display panel 45 includes a liquid crystal display, an organic EL display, and the like, and displays various types of information on the display terminal 17 side. The touch panel 47 is provided corresponding to the display unit 46 and receives an operation (for example, a setting operation described later) of the target person with respect to the display terminal 17. The communication unit 48 can communicate with the network 100 (for example, a public network) in a wireless manner, and a server 101 (corresponding to an external device) or a store camera connected via the network. Various types of information are transmitted to and received from 102 (corresponding to an external device). The server 101 is operated by a provider that provides food materials, and has a database in which the price information and stock information of the food materials are registered. The store camera 102 is a camera that captures a still image or a moving image of a store selling food. The store camera 102 may image the inside of the store including a display shelf or the like, or may enlarge and image a price tag that can grasp the type and price of the food. In other words, “the state of the store” only needs to be able to grasp the price and stock status of the ingredients. In the present embodiment, a so-called Internet is assumed as the network 100.

また、制御部40は、設定部53(設定手段を構成する)、貯蔵量取得部54(貯蔵量取得手段を構成する)、判定部55(判定手段を構成する)、発注部56(発注手段を構成する)、検索部57(検索手段を構成する)、画像取得部58(画像取得手段を構成する)を有している。これら設定部53、貯蔵量取得部54、判定部55、発注部56、検索部57および画像取得部58などの各処理部は、本実施形態では制御部40により実行されるコンピュータプログラムによりソフトウェア的に実現されている。なお、これらをハードウェア的に実現してもよい。   Further, the control unit 40 includes a setting unit 53 (which constitutes a setting unit), a storage amount acquisition unit 54 (which constitutes a storage amount acquisition unit), a determination unit 55 (which constitutes a determination unit), and an ordering unit 56 (ordering unit). ), A search unit 57 (configures a search unit), and an image acquisition unit 58 (configures an image acquisition unit). In the present embodiment, each processing unit such as the setting unit 53, the storage amount acquisition unit 54, the determination unit 55, the ordering unit 56, the search unit 57, and the image acquisition unit 58 is implemented by a computer program executed by the control unit 40. Has been realized. These may be realized in hardware.

設定部53は、特定食材である卵19の貯蔵量に対する基準値である基準貯蔵量を設定する。また、設定部53は、発注部56において自動発注を行うか否か、発注先の提供業者や発注数量、検索部57にて検索する提供業者のデータベース、発注先つまり接続するサーバ101の設定、あるいは画像を取得する店舗カメラ102の登録など、各種の設定を行う。   The setting unit 53 sets a reference storage amount that is a reference value for the storage amount of the egg 19 that is the specific food. Also, the setting unit 53 determines whether or not to place an automatic order in the ordering unit 56, the supplier of the ordering party and the order quantity, the database of the provider to be searched by the searching unit 57, the setting of the ordering destination, that is, the server 101 to be connected, Or various settings, such as registration of the store camera 102 which acquires an image, are performed.

貯蔵量取得部54は、本実施形態では庫内撮像カメラ35で撮像した卵ケース18の内部の画像から、特定食材である卵19の貯蔵量すなわち数を取得する。具体的には、貯蔵量取得部54は、撮像された画像に対して画像処理を施すことにより、卵19の数を取得する。なお、卵19の数を取得する場合、周知の画像処理手法にて画像を解析し、卵19のデータを抽出し、貯蔵されている卵19の数を取得することが考えられるが、そのような手法に限らない。例えば、図4にて示したように卵ケース18の棚板18aに孔部が形成されている場合、卵ケース18の底板18cを棚板18aの上面側とは異なる色(例えば、赤や青、黒など。なお、限定はしないが、卵19や棚板18aの上面の色とは色彩が大きく異なっている方が望ましい。以下、便宜的に背景色を称する)に塗装し、庫内撮像カメラ35にて背景色が抽出できれば、その位置に卵19が載置されていないと判断してもよい。なお、棚板18aが孔部ではなく凹部の場合、卵19が凹部に載置された際、卵によって隠される部位を背景色に塗装することなども考えられる。   In this embodiment, the storage amount acquisition unit 54 acquires the storage amount, that is, the number of the eggs 19 that are the specific ingredients, from the image inside the egg case 18 captured by the internal imaging camera 35. Specifically, the storage amount acquisition unit 54 acquires the number of eggs 19 by performing image processing on the captured image. In addition, when acquiring the number of eggs 19, it is possible to analyze an image with a well-known image processing method, extract the data of the egg 19, and acquire the number of the eggs 19 stored. It is not limited to a simple method. For example, as shown in FIG. 4, when a hole is formed in the shelf plate 18a of the egg case 18, the bottom plate 18c of the egg case 18 has a different color (for example, red or blue) from the upper surface side of the shelf plate 18a. Black, etc. Although not limited, it is desirable that the color is significantly different from the color of the upper surface of the egg 19 or the shelf board 18a. If the background color can be extracted by the camera 35, it may be determined that the egg 19 is not placed at that position. In addition, when the shelf board 18a is not a hole but a recess, when the egg 19 is placed in the recess, a portion hidden by the egg may be painted in the background color.

判定部55は、設定部53で設定された基準貯蔵量と、貯蔵量取得部54で取得された貯蔵量とを比較し、特定食材の貯蔵量が基準貯蔵量以上であるか否かを判定する。
発注部56は、判定部55により基準貯蔵量未満であると判定された特定食材を、予め設定されている発注数量に応じて発注する。また、設定部53において自動発注(特定食材が基準貯蔵量未満になった場合に、その特定食材を自動的にサーバ101などに発注する処理)が設定されている場合、特定食材の自動発注も行う。
The determination unit 55 compares the reference storage amount set by the setting unit 53 with the storage amount acquired by the storage amount acquisition unit 54, and determines whether the storage amount of the specific food is equal to or greater than the reference storage amount. To do.
The ordering unit 56 orders specific foods determined by the determination unit 55 to be less than the reference storage amount according to a preset order quantity. In addition, when automatic ordering (processing for automatically placing an order for a specific ingredient to the server 101 or the like when the specific ingredient becomes less than the reference storage amount) is set in the setting unit 53, automatic ordering of the particular ingredient is also performed. Do.

画像取得部58は、店舗カメラ102から、店舗の様子を示す画像(動画あるは静止画)を取得する。取得した画像は、表示部46に表示される。
次に、冷蔵庫1の作用について説明する。なお、以下の処理は上記した各処理部により行われるものであるが、説明の簡略化のため、冷蔵庫1を主体として説明する。
冷蔵庫1は、図6に示す貯蔵量確認処理を実行しており、特定食材の貯蔵量を取得した後(S1)、取得した貯蔵量が基準貯蔵量以上であるか否かを判定する(S2)。冷蔵庫1は、貯蔵量が基準貯蔵量以上であると判定すると(S2:YES)、そのまま処理を終了する。
The image acquisition unit 58 acquires an image (moving image or still image) indicating the state of the store from the store camera 102. The acquired image is displayed on the display unit 46.
Next, the operation of the refrigerator 1 will be described. In addition, although the following processes are performed by each above-mentioned process part, it demonstrates focusing on the refrigerator 1 for the simplification of description.
The refrigerator 1 is performing the storage amount confirmation process shown in FIG. 6, and after acquiring the storage amount of specific food (S1), it is determined whether the acquired storage amount is more than a reference | standard storage amount (S2). ). When the refrigerator 1 determines that the storage amount is equal to or greater than the reference storage amount (S2: YES), the process is ended as it is.

これに対して、冷蔵庫1は、貯蔵量が基準貯蔵量未満であると判定すると(S2:NO)、不足している特定食材(以下、不足食材と称する)に関する情報である不足食材情報を報知する(S3)。このとき、冷蔵庫1は、例えば図7に示すように、表示部46の情報表示エリアM1に「卵が残り3個になりました」のようなメッセージを表示することで、不足食材情報を報知する。つまり、不足食材情報としては、基準貯蔵量以下の特定食材の名称、およびその残量が少なくとも含まれている。また、表示部46には、確認ボタンM2、価格情報ボタンM3、発注ボタンM4および画像表示ボタンM5が表示されており、対応する部位をタッチ操作することで、後述するステップS7以降のように、報知態様が変化する。   On the other hand, when the refrigerator 1 determines that the stored amount is less than the reference stored amount (S2: NO), the refrigerator 1 reports the insufficient food information that is information regarding the specific food that is insufficient (hereinafter referred to as the insufficient food). (S3). At this time, as shown in FIG. 7, for example, the refrigerator 1 displays a message such as “there are three eggs left” in the information display area M <b> 1 of the display unit 46, thereby notifying insufficient food information. To do. That is, the shortage food information includes at least the name of the specific food that is equal to or less than the reference storage amount and the remaining amount. In addition, a confirmation button M2, a price information button M3, an order button M4, and an image display button M5 are displayed on the display unit 46, and by touching the corresponding parts, as in step S7 and later described below. The notification mode changes.

不足食材を報知すると、冷蔵庫1は、自動発注が設定されているか否かを判定し(S4)、自動発注が報知されている場合には(S4:YES)、不足食材を自動発注する(S5)。この自動発注では、上記したように設定部53により予め設定されている提供業者に、予め設定されている発注数量が発注される。   When the shortage of ingredients is notified, the refrigerator 1 determines whether or not automatic ordering is set (S4). When the automatic ordering is notified (S4: YES), the refrigerator 1 automatically orders the shortage of ingredients (S5). ). In this automatic ordering, a preset order quantity is ordered from a provider preset by the setting unit 53 as described above.

一方、冷蔵庫1は、図6に示す貯蔵量確認処理において、自動発注が設定されていない場合には(S4:NO)、価格情報操作が行われたか否かを判定する(S7)。価格情報操作とは、本実施形態では図7に示す価格情報ボタンM3へのタッチ操作である。価格情報操作が行われた場合には(S7:YES)、価格情報の検索、および検索結果の表示を行う(S8)。この場合、冷蔵庫1は、予め設定されている複数の提供業者のサーバ101へ接続して不足食材の価格情報などを検索し、その検索結果を図8に示すように、店舗情報(提供業者の名称。例えば○○スーパーなど)および価格情報(例えば、1パック 98円など)が、価格情報エリアM6に表示される。   On the other hand, when the automatic ordering is not set in the storage amount confirmation process shown in FIG. 6 (S4: NO), the refrigerator 1 determines whether the price information operation has been performed (S7). In this embodiment, the price information operation is a touch operation on the price information button M3 shown in FIG. When the price information operation is performed (S7: YES), the price information is searched and the search result is displayed (S8). In this case, the refrigerator 1 connects to a plurality of providers' servers 101 set in advance and searches for price information and the like of insufficient ingredients, and the search results are shown in FIG. A name (for example, XX supermarket) and price information (for example, 98 yen per pack) are displayed in the price information area M6.

なお、冷蔵庫1は、例えば使用者が価格情報を確認することだけを目的としていた場合など、終了ボタンM7がタッチ操作されれば、ステップS6に移行する。このとき、本実施形態では表示端末17として携帯通信端末を採用しているので、確認した価格情報は、記憶部49に記憶される。そして、使用者が表示端末17を持って買い物に出かけるなど、外出時にも価格情報を利用可能となる。   Note that the refrigerator 1 proceeds to step S6 if the end button M7 is touch-operated, for example, when the user is only interested in confirming price information. At this time, since the mobile communication terminal is employed as the display terminal 17 in the present embodiment, the confirmed price information is stored in the storage unit 49. The price information can be used even when the user goes out, such as going out for shopping with the display terminal 17.

また、冷蔵庫1は、図6に示す貯蔵量確認処理において、発注操作が行われた否かを判定し(S9)、発注操作つまり図7等に示す発注ボタンM4がタッチ操作された場合には(S9:YES)、不足食材を発注する(S10)。この場合、例えば図8において、表示されている店舗情報をタッチ操作してまず提供業者を選択し、その後で発注ボタンM4を操作して選択された提供業者に発注するようにしてもよいし、発注する数量を予め設定しておいてもよいし、発注の度に数量を設定可能としたりしてもよい。このとき、冷蔵庫1にGPSのような位置取得手段を設けたり、携帯通信端末のGPS機能を利用したり、住所など自宅の位置を特定可能な情報を予め登録したりすることにより、自宅の位置(つまり冷蔵庫1の位置)を特定可能とし、「周辺2km以内の店舗」や「周辺10km以内の店舗」など、提供業者を選択するための情報をさらに表示するようにしてもよい。このとき、店舗名とともに距離を表示したり、自宅から近い順に表示を並べ替えたりしてもよい。   Further, the refrigerator 1 determines whether or not an ordering operation is performed in the storage amount confirmation process shown in FIG. 6 (S9), and when the ordering operation, that is, the ordering button M4 shown in FIG. (S9: YES), the shortage of ingredients is ordered (S10). In this case, for example, in FIG. 8, the displayed store information may be touch-operated to first select a provider, and then the order button M4 may be operated to place an order with the selected provider. The quantity to be ordered may be set in advance, or the quantity may be set every time an order is placed. At this time, the location of the home is obtained by providing the refrigerator 1 with a location acquisition means such as GPS, using the GPS function of the mobile communication terminal, or registering in advance information such as an address that can identify the location of the home. (In other words, the position of the refrigerator 1) can be specified, and information for selecting a provider such as “a store within 2 km around” and “a store within 10 km around” may be further displayed. At this time, the distance may be displayed together with the store name, or the display may be rearranged in order from the home.

また、冷蔵庫1は、図6に示す貯蔵量確認処理において、画像表示操作が行われた否かを判定し(S11)、画像表示操作つまり図7等に示す画像表示ボタンM5がタッチ操作された場合には(S11:YES)、店舗画像を表示する(S12)。この場合、冷蔵庫1は、図9に示すように、予め設定されている店舗カメラ102に接続し、店舗の様子を画像表示エリアM8に表示する。なお、図8の報知態様にて、提供業者が選択された状態で画像表示ボタンM5が操作された場合には、選択された提供業者の店舗の様子を表示する。   Further, the refrigerator 1 determines whether or not an image display operation is performed in the storage amount confirmation process shown in FIG. 6 (S11), and the image display operation, that is, the image display button M5 shown in FIG. In the case (S11: YES), the store image is displayed (S12). In this case, as shown in FIG. 9, the refrigerator 1 is connected to a store camera 102 set in advance, and displays the state of the store in the image display area M8. When the image display button M5 is operated in a state where the provider is selected in the notification mode of FIG. 8, the state of the store of the selected provider is displayed.

これらの処理を行うと、冷蔵庫1は、表示部46に冷蔵室3の扉3aの色彩を表示して(S6)、つまり、いわゆる壁紙として表示部46の前面を扉3aと同様の色彩にして、処理を終了する。また、図7に示す報知態様にて確認ボタンM2がタッチ操作された場合や、図7の報知態様を開始してから所定時間が経過した場合、あるいは、図8および図9に示す報知態様にて終了ボタンM7がタッチ操作された場合などにも、ステップS6に移行する。この場合、確認ボタンM2や終了ボタンM7が操作されないまま経時により壁紙を表示する際、すなわち、報知内容を使用者が確認することなく壁紙を表示する際には、図7等の報知態様を記憶したままで壁紙を表示し、使用者がタッチ操作した際には図7等の報知態様に戻るようになっている。   When these processes are performed, the refrigerator 1 displays the color of the door 3a of the refrigerator compartment 3 on the display unit 46 (S6), that is, the front surface of the display unit 46 is made the same color as the door 3a as so-called wallpaper. The process is terminated. Further, when the confirmation button M2 is touch-operated in the notification mode shown in FIG. 7, when a predetermined time has elapsed since the start of the notification mode in FIG. 7, or in the notification mode shown in FIGS. If the end button M7 is touched, the process proceeds to step S6. In this case, when displaying the wallpaper over time without the confirmation button M2 or the end button M7 being operated, that is, when displaying the wallpaper without the user confirming the notification content, the notification mode of FIG. The wallpaper is displayed as it is, and when the user performs a touch operation, the screen returns to the notification mode shown in FIG.

以上説明した本実施形態の冷蔵庫1によれば次のような効果を奏する。
庫内の予め設定されている位置である特定位置に貯蔵される食材である特定食材の貯蔵量を取得し、庫内に貯蔵されている食材の全ての貯蔵量を取得することに比べて、容易に不足食材を判定することができる。つまり、不足食材を判別するために膨大なデータベースや画像処理ソフトウェアの開発などに膨大なコストを掛けることなく特定食材の貯蔵量を判別することができ、食材の判別や貯蔵量の判断などの精度を向上することができる。
According to the refrigerator 1 of this embodiment demonstrated above, there exist the following effects.
Compared to obtaining the storage amount of a specific food that is a food stored in a specific position that is a preset position in the warehouse, and acquiring all the storage amount of the food stored in the warehouse, It is possible to easily determine the shortage of ingredients. In other words, the amount of storage of specific foods can be determined without incurring huge costs in developing huge databases and image processing software to determine the shortage of ingredients. Can be improved.

貯蔵量が基準貯蔵量に満たない不足食材に関する不足食材情報を報知するので、買い忘れなどを防止することができる。
貯蔵量取得手段として庫内撮像カメラ35を採用しているので、非接触で特定食材の貯蔵量を取得することができる。
通信部48を設け、ネットワーク100を介して接続されている外部の装置(サーバ101、店舗カメラ102)との間で発注手続きを行うので、買い物に出かけなくても不足食材を購入でき、利便性が向上する。
また、不足食材の価格情報、提供業者および在庫情報のうち少なくとも一つを検索し、その検索手段を報知するので、購入する提供業者の選定を容易に行うことができる。この場合、複数の提供業者からの価格情報等の取得を可能としているので、利便性が高まるとともに、家計に役立てることができる。
Insufficient food ingredient information regarding a shortage ingredient whose storage amount is less than the reference storage amount is notified, so that forgetting to buy can be prevented.
Since the internal imaging camera 35 is employed as the storage amount acquisition means, the storage amount of the specific food can be acquired without contact.
Since the communication unit 48 is provided and an ordering procedure is performed with an external device (server 101, store camera 102) connected via the network 100, it is possible to purchase insufficient ingredients without going out for shopping. Will improve.
Further, since at least one of the price information of the shortage ingredients, the provider, and the inventory information is searched and the search means is notified, the provider to be purchased can be easily selected. In this case, since it is possible to obtain price information from a plurality of providers, convenience is improved and it is useful for households.

店舗の様子を示す画像を取得および報知するので、買い物に出かける際にどの提供業者を選択すればよいのか、どの程度在庫があるのか、などを容易に判断することができる。一方、提供業者の側からすると、店舗の様子を撮像するカメラを設けるだけで、換言すると、手間の掛かるデータベース等を構築しなくても、また、使用者宅に配布されるまでに例えば一日などの時間の掛かるチラシを作成しなくても、常に最新の価格情報等を提供することができるようになる。これは、冷蔵庫1が生鮮食材を貯蔵するものであることを考慮すると、使用者および提供業者の双方にとって非常に有意である。   Since an image indicating the state of the store is acquired and notified, it is possible to easily determine which provider should be selected when going out for shopping, how much stock is available, and the like. On the other hand, from the side of the provider, it is only necessary to provide a camera that captures the state of the store. In other words, it is not necessary to construct a time-consuming database, etc. The latest price information and the like can always be provided without creating time-consuming flyers. This is very significant for both the user and the provider considering that the refrigerator 1 stores fresh food.

報知手段としての表示端末17を冷蔵室3の扉面に設けているので、不足食材があることを直ぐに把握することができる。
表示部46は、報知を行っていないときには扉3aの色彩と同色の壁紙を表示するので、扉3aと一体感を出すことができ、冷蔵庫1のデザインを損なうことがないとともに、デザインの統一感を出すことができる。
報知内容を使用者が確認することなく壁紙を表示した際には、使用者がタッチ操作した際には直線の報知態様(例えば、図7等)に戻るようになっているので、不足食材情報を見逃すおそれを低減することができる。
Since the display terminal 17 as the notification means is provided on the door surface of the refrigerator compartment 3, it can be immediately recognized that there is a lack of food.
Since the display unit 46 displays a wallpaper having the same color as the color of the door 3a when no notification is made, the display unit 46 can give a sense of unity with the door 3a, and does not impair the design of the refrigerator 1, and also has a sense of unity of design. Can be issued.
When the user displays the wallpaper without confirming the notification content, the user returns to a straight notification mode (for example, FIG. 7) when the user performs a touch operation. The risk of overlooking can be reduced.

表示端末17は、扉面から取り外し可能に設けられているので、冷蔵庫1の前に居なくても不足食材情報を確認することができる。
表示端末17として携帯通信端末を採用しているので、冷蔵庫1の前に居なくても、例えば外出先等であっても不足食材情報を確認することができる。
画像処理等の付加の掛かる処理を表示端末17側で行っているので、冷蔵庫1側の主制御部30には大きな負荷が生じず、また、主制御部30側では従来の処理とほぼ同様の処理を行えばよいことから、冷蔵庫1の製造コストが増加するおそれを低減することができる。また主制御部30と制御部40とを無線方式にて通信しているので、庫内の冷気が漏れる等のおそれが無く、食材を低温で貯蔵するという冷蔵庫1の本来の機能を損なうおそれがない。
Since the display terminal 17 is provided so as to be removable from the door surface, the lacking food information can be confirmed even if the display terminal 17 is not in front of the refrigerator 1.
Since the mobile communication terminal is adopted as the display terminal 17, even if the user is not in front of the refrigerator 1, for example, when away from home, the missing food information can be confirmed.
Since additional processing such as image processing is performed on the display terminal 17 side, a large load is not generated on the main control unit 30 on the refrigerator 1 side, and the main control unit 30 side is almost the same as conventional processing. Since processing may be performed, the possibility that the manufacturing cost of the refrigerator 1 increases can be reduced. In addition, since the main control unit 30 and the control unit 40 communicate with each other in a wireless manner, there is no risk of leakage of cool air in the cabinet, and there is a risk of impairing the original function of the refrigerator 1 for storing food at low temperatures. Absent.

(第2実施形態)
以下、第1実施形態による冷蔵庫について、図10を参照しながら説明する。第2実施形態では、貯蔵量取得手段として、照度センサを用いる点において第1実施形態と異なっている。なお、冷蔵庫1の構成は第1実施形態と共通するので、説明を省略する。
(Second Embodiment)
Hereinafter, the refrigerator according to the first embodiment will be described with reference to FIG. The second embodiment is different from the first embodiment in that an illuminance sensor is used as the storage amount acquisition unit. In addition, since the structure of the refrigerator 1 is common in 1st Embodiment, description is abbreviate | omitted.

第2実施形態の冷蔵庫1では、照度センサ22(図5参照)により、特定食材の貯蔵量を取得する。照度センサ22は、図10に示すように、卵ケース18内の天板18bに設けられている光源20と、棚板18aを挟んで光源20と反対側において、棚板18aのそれぞれの孔部に対応する位置の底板18cに設けられている複数の光検出器21とを有している。これら光源20と光検出器21との間には棚板18aが存在しており、光検出器21は、光源20から照射され、棚板18aのそれぞれの孔部を通過した光を検出する。この光源20は、本実施形態では、特定位置に対して光を照射する専用光源として構成されている。これは、本実施形態の冷蔵庫1の場合、卵ケース18が冷蔵室3の最下段(図3参照)に設けられており、その上部が天板18bにより覆われていることから、冷蔵室3内に設けられている庫内照明からの光が卵ケース18内に届かないためである。また、天板18bなどが光を透過する材質で形成されていたとしても、庫内照明からの光が散乱したり、卵ケース18の上に他の食材が載置されることなどにより、庫内照明の光に基づいて貯蔵量を検出することが困難になることなども想定されるためである。   In the refrigerator 1 of 2nd Embodiment, the storage amount of a specific foodstuff is acquired by the illumination intensity sensor 22 (refer FIG. 5). As shown in FIG. 10, the illuminance sensor 22 has a light source 20 provided on the top plate 18b in the egg case 18 and each hole of the shelf plate 18a on the opposite side of the light source 20 across the shelf plate 18a. And a plurality of photodetectors 21 provided on the bottom plate 18c at a position corresponding to. A shelf 18a exists between the light source 20 and the photodetector 21, and the photodetector 21 detects light emitted from the light source 20 and passing through each hole of the shelf 18a. In the present embodiment, the light source 20 is configured as a dedicated light source that emits light to a specific position. In the refrigerator 1 of this embodiment, this is because the egg case 18 is provided at the lowermost stage (see FIG. 3) of the refrigerator compartment 3 and the upper part thereof is covered by the top plate 18b. This is because light from the interior lighting provided inside does not reach the egg case 18. Moreover, even if the top plate 18b or the like is formed of a material that transmits light, the light from the interior lighting is scattered or another foodstuff is placed on the egg case 18, etc. This is because it may be difficult to detect the storage amount based on the light of the internal illumination.

ただし、光源20と光検出器21との位置関係は、図10に示すものに限定されない。例えば、光源20を複数設けたり、一体の光検出器21にて複数の孔部を検出対象としたり、底板18c側(下部側)に光源20、天板18b側(上部側)に光検出器21を設けたり、上部側から照射した光の反射光を上部側で検出したり、下部側から照射した光の反射光を下部側で検出したり、上部側あるいは下部側から照射した光の反射光を壁部(側方)で検出したりする構成であってもよい。また、本実施形態では光源20から照射する光として可視光を想定し、その照度を検出するようにしたが、光として殺菌作用を期待できる紫外線を用い、その光度を検知する紫外線検知器などを採用してもよい。   However, the positional relationship between the light source 20 and the photodetector 21 is not limited to that shown in FIG. For example, a plurality of light sources 20 may be provided, or a plurality of holes may be detected by the integrated photodetector 21, or the light source 20 on the bottom plate 18 c side (lower side) and the photodetector on the top plate 18 b side (upper side). 21 is provided, the reflected light of the light irradiated from the upper side is detected on the upper side, the reflected light of the light irradiated from the lower side is detected on the lower side, or the light reflected from the upper side or the lower side is reflected. The structure which detects light by a wall part (side) may be sufficient. In this embodiment, visible light is assumed as light emitted from the light source 20, and the illuminance is detected. However, an ultraviolet detector that detects the light intensity using ultraviolet light that can be expected to have a bactericidal action is used as the light. It may be adopted.

このような冷蔵庫1は、第1実施形態と同様に図6に示す貯蔵量確認処理を実行し、ステップS1において特定食材の貯蔵量を取得する。このとき、卵19が棚板18aに載置され、その孔部が塞がれている状態では、光検出器21は光を検出しない。一方、卵19が棚板18aに載置されておらず、その孔部が塞がれていない状態では、光検出器21は、光を検出する。これにより、卵19が載置されているか否かを非接触で判断することができ、卵19の数量を取得することができる。
したがって、第2実施形態の冷蔵庫1も、第1実施形態と同様の効果を得ることができる。
Such a refrigerator 1 performs the storage amount confirmation process shown in FIG. 6 similarly to 1st Embodiment, and acquires the storage amount of a specific foodstuff in step S1. At this time, in a state where the egg 19 is placed on the shelf 18a and the hole is closed, the photodetector 21 does not detect light. On the other hand, when the egg 19 is not placed on the shelf 18a and the hole is not closed, the photodetector 21 detects light. Thereby, it can be determined in a non-contact manner whether or not the eggs 19 are placed, and the number of eggs 19 can be acquired.
Therefore, the refrigerator 1 of 2nd Embodiment can also acquire the effect similar to 1st Embodiment.

(その他の実施形態)
各実施形態では、卵ケース18のようにメーカにより貯蔵位置が概ね設定されている例を示したが、使用者が自身で特定位置および特定食材を設定してもよい。この場合、特定位置および特定食材は、設定部53により設定される。この場合、特定位置として例えば冷蔵室3の一番上の棚板の右端を設定し、特定食材として例えばベーコンを設定し、庫内撮像カメラ35にて特定位置を撮像したり照度センサ22にて特定位置に照度を検出したりすることなどにより、特定食材の貯蔵量を取得するようにすればよい。つまり、特定食材の種類や、貯蔵量取得手段の数あるいは取り付け位置などは、各実施形態にて示したものに限定されない。なお、例えば冷蔵室3内を対象とする場合には、庫内撮像カメラ35の向きを可変としたり、広角レンズを用いて設置されている部屋全体の広範囲を撮像可能としたり、複数の照度センサ22や庫内撮像カメラ35などを設けたりすればよい。
(Other embodiments)
In each embodiment, the example in which the storage position is generally set by the manufacturer like the egg case 18 is shown, but the user may set the specific position and the specific food by himself. In this case, the specific position and the specific food are set by the setting unit 53. In this case, for example, the right end of the uppermost shelf in the refrigerator compartment 3 is set as the specific position, bacon is set as the specific food, and the specific position is picked up by the internal imaging camera 35 or the illuminance sensor 22 is set. What is necessary is just to acquire the storage amount of a specific foodstuff by detecting illumination intensity in a specific position. That is, the type of specific food, the number of storage amount acquisition means, the attachment position, and the like are not limited to those shown in each embodiment. For example, when the inside of the refrigerator compartment 3 is targeted, the orientation of the in-chamber imaging camera 35 can be made variable, a wide range of the entire room installed using a wide-angle lens can be imaged, or a plurality of illuminance sensors 22 or an internal imaging camera 35 may be provided.

この場合、特定位置は、貯蔵対象となる食材が予め設定されていることから、換言すると、その位置あるいは領域が予め設定されていることから、特定位置に膨大な量の食材が貯蔵されることもない。そのため、食材の判別をより容易に行うことができる。   In this case, since the food to be stored is set in advance at the specific position, in other words, since the position or area is set in advance, a huge amount of food is stored at the specific position. Nor. Therefore, it is possible to more easily determine the food material.

各実施形態では主制御部30と制御部40とを設けた例を示したが、いずれか一方を設け、各処理を一つの制御手段により実行する構成としてもよい。
各実施形態では主制御部30と表示端末17との間を無線方式にて通信する例を示したが、例えばUSB規格のような有線方式にて通信する構成としてもよい。USB規格であれば、表示端末17に対して給電可能であり、実施形態のように携帯通信端末を利用する場合、携帯通信端末を充電することもできる。
In each embodiment, although the example which provided the main control part 30 and the control part 40 was shown, it is good also as a structure which provides any one and performs each process by one control means.
In each embodiment, an example in which communication is performed between the main control unit 30 and the display terminal 17 by a wireless method has been described. However, a configuration in which communication is performed by a wired method such as the USB standard may be employed. If the USB standard is used, power can be supplied to the display terminal 17, and when the mobile communication terminal is used as in the embodiment, the mobile communication terminal can be charged.

各実施形態では表示端末17として通信部48を有する携帯通信端末を採用したが、通信部48を備えない携帯端末を採用してもよい。その場合、通信部48を冷蔵庫1側に設け、食材の判別など付加の大きい処理を携帯端末側で行うようにするとよい。
通信部48は、ネットワーク100との間の通信を、無線方式に限らず、有線方式にて行ってもよい。
表示端末17としてスマートフォンやタブレット型のパソコンの例を示したが、不足食材情報を例えば電子メールにて送信可能としておき、いわゆる携帯電話にて電子メールを受信して不足食材情報を確認可能としてもよい。すなわち、報知手段として携帯電話も採用することができる。
In each embodiment, the mobile communication terminal having the communication unit 48 is employed as the display terminal 17, but a mobile terminal that does not include the communication unit 48 may be employed. In that case, the communication part 48 is provided in the refrigerator 1 side, and it is good to perform an additional big process, such as discrimination | determination of a foodstuff, in the portable terminal side.
The communication unit 48 may perform communication with the network 100 by a wired method without being limited to a wireless method.
Although the example of the smart phone or the tablet-type personal computer was shown as the display terminal 17, the shortage ingredient information can be transmitted by e-mail, for example, and the e-mail can be received by a so-called mobile phone so that the deficient ingredient information can be confirmed. Good. That is, a mobile phone can also be employed as the notification means.

非接触式だけでなく、重量センサや機械式接点などにより接触式のセンサにて貯蔵量取得手段を構成してもよい。
第2実施形態では光源20を特定位置に対する専用光源とした例を示したが、冷蔵室3の庫内照明からの光が届くのであれば、庫内照明を光源20として採用してもよい。また、特定位置に庫内照明からの光が届かない場合には、第1実施形態の庫内撮像カメラ35用の光源を設けてもよい。
Not only the non-contact type but also the contact amount sensor may be configured by a contact type sensor such as a weight sensor or a mechanical contact.
Although the example which used the light source 20 as the exclusive light source with respect to a specific position was shown in 2nd Embodiment, if the light from the interior lighting of the refrigerator compartment 3 arrives, you may employ | adopt interior lighting as the light source 20. FIG. Further, when the light from the interior lighting does not reach the specific position, a light source for the interior imaging camera 35 of the first embodiment may be provided.

実施形態の冷蔵庫によれば、庫内の予め設定されている位置である特定位置に貯蔵される食材である特定食材の貯蔵量を取得し、取得した特定食材の貯蔵量が予め設定されている基準貯蔵量以上であるか否かを判定し、基準貯蔵量未満であると判定された特定食材である不足食材に関する情報を報知する。これにより、多数且つ他品種の食材が貯蔵される可能性のある冷蔵庫1において、食材の貯蔵位置および食材の種類を予め設定することで、膨大なデータベースや各種の食材を判別するための複雑なアルゴリズムを有するソフトウェアの開発などを行わなくても、不足食材の判別および貯蔵量の確認を行うことができる。したがって、膨大なコストを掛けることなく、食材の判別や貯蔵量の判断などの精度を向上することができる冷蔵庫を提供することにある。   According to the refrigerator of the embodiment, the storage amount of the specific food that is the food stored in the specific position that is a preset position in the warehouse is acquired, and the storage amount of the acquired specific food is preset. It determines whether it is more than a reference | standard storage amount, and alert | reports the information regarding the insufficient foodstuff which is the specific foodstuff determined to be less than a reference | standard storage amount. Thereby, in the refrigerator 1 in which a large number of foods of other varieties may be stored, the storage position of the foods and the kind of the foods are set in advance, so that a complicated database for discriminating a huge database and various foods Even without the development of software having an algorithm, it is possible to determine the shortage of ingredients and check the storage amount. Accordingly, it is an object of the present invention to provide a refrigerator that can improve the accuracy of determination of foodstuffs and storage amount without incurring enormous costs.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

図面中、1は冷蔵庫、3aは扉、17は表示端末(報知手段)、18は卵ケース(特定位置)、19は卵(特定食材)、22は照度センサ(貯蔵量取得手段、光検知手段)、35は庫内撮像カメラ(貯蔵量取得手段、撮像手段)、46は表示部(表示手段)、48は通信部(通信手段)、53は設定部(設定手段)、54は貯蔵量取得部(貯蔵量取得手段)、55は判定部(判定手段)、56は発注部(発注手段)、57は検索部(検索手段)、58は画像取得部(画像取得手段)、100はネットワーク、101はサーバ(外部の装置)、102は店舗カメラ(外部の装置)を示す。   In the drawings, 1 is a refrigerator, 3a is a door, 17 is a display terminal (notification means), 18 is an egg case (specific position), 19 is an egg (specific food), 22 is an illuminance sensor (storage amount acquisition means, light detection means). ), 35 is an internal imaging camera (storage amount acquisition means, imaging means), 46 is a display unit (display means), 48 is a communication unit (communication means), 53 is a setting unit (setting means), and 54 is a storage amount acquisition. Part (storage amount acquisition means), 55 is a determination part (determination means), 56 is an ordering part (ordering means), 57 is a search part (search means), 58 is an image acquisition part (image acquisition means), 100 is a network, Reference numeral 101 denotes a server (external device), and 102 denotes a store camera (external device).

Claims (11)

庫内の予め設定されている位置である特定位置に貯蔵される食材である特定食材の貯蔵量を取得する貯蔵量取得手段と、
前記貯蔵量取得手段で取得した前記特定食材の貯蔵量に対する基準値である基準貯蔵量を設定する設定手段と、
前記貯蔵量取得手段で取得した前記特定食材の貯蔵量が、前記設定手段により設定された前記基準貯蔵量以上であるか否かを判定する判定手段と、
前記判定手段により前記基準貯蔵量未満であると判定された前記特定食材である不足食材に関する情報を報知する報知手段と、
を備えることを特徴とする冷蔵庫。
A storage amount acquisition means for acquiring a storage amount of a specific food that is a food stored in a specific position that is a preset position in the warehouse;
Setting means for setting a reference storage amount that is a reference value for the storage amount of the specific food acquired by the storage amount acquisition means;
A determination unit that determines whether the storage amount of the specific food acquired by the storage amount acquisition unit is equal to or greater than the reference storage amount set by the setting unit;
An informing means for informing information on a shortage of food that is the specific food determined to be less than the reference storage amount by the determining means;
A refrigerator comprising:
前記貯蔵量取得手段は、前記特定位置を撮像する撮像手段を有し、当該撮像手段で撮像した画像から前記特定食材の貯蔵量を取得することを特徴とする請求項1記載の冷蔵庫。   The refrigerator according to claim 1, wherein the storage amount acquisition unit includes an imaging unit that images the specific position, and acquires the storage amount of the specific food from an image captured by the imaging unit. 前記貯蔵量取得手段は、前記特定位置の光度を検出する光度検知手段を有し、当該光度検出手段で検知した光度から前記特定食材の貯蔵量を取得することを特徴とする請求項1または2記載の冷蔵庫。   The storage amount acquisition unit includes a light intensity detection unit that detects the light intensity at the specific position, and acquires the storage amount of the specific food from the light intensity detected by the light intensity detection unit. The refrigerator described. 前記設定手段は、前記特定位置と当該特定位置に貯蔵される前記特定食材とをさらに設定可能であることを特徴とする請求項1から3のいずれか一項記載の冷蔵庫。   The refrigerator according to any one of claims 1 to 3, wherein the setting unit can further set the specific position and the specific food stored in the specific position. ネットワークを介して接続されている外部の装置との間で通信を行う通信手段と、
前記外部の装置に対して前記不足食材の発注手続きを行う発注手段と、
をさらに備えることを特徴とする請求項1から4のいずれか一項記載の冷蔵庫。
A communication means for communicating with an external device connected via a network;
Ordering means for performing an ordering procedure for the shortage of ingredients to the external device;
The refrigerator according to any one of claims 1 to 4, further comprising:
ネットワークを介して接続されている外部の装置との間で通信を行う通信手段と、
前記不足食材の価格情報、提供業者および在庫情報のうち少なくとも一つを前記外部の装置から検索する検索手段と、をさらに備え、
前記報知手段は、前記検索手段による検索結果を報知することを特徴とする請求項1から5のいずれか一項記載の冷蔵庫。
A communication means for communicating with an external device connected via a network;
Search means for searching at least one of price information, provider and inventory information of the shortage ingredients from the external device, and
The refrigerator according to any one of claims 1 to 5, wherein the notification unit notifies a search result obtained by the search unit.
ネットワークを介して接続されている外部の装置との間で通信を行う通信手段と、
前記不足食材を取り扱う提供業者の店舗の様子を示す画像を前記外部の装置から取得する画像取得手段と、をさらに備え、
前記報知手段は、前記画像取得手段で取得した画像を報知することを特徴とする請求項1から6のいずれか一項記載の冷蔵庫。
A communication means for communicating with an external device connected via a network;
Image acquisition means for acquiring an image showing a state of a store of a provider that handles the insufficient food from the external device, and
The refrigerator according to any one of claims 1 to 6, wherein the notification unit notifies the image acquired by the image acquisition unit.
前記報知手段は、扉面に設けられている表示部で構成されていることを特徴とする請求項1から7のいずれか一項記載の冷蔵庫。   The refrigerator according to any one of claims 1 to 7, wherein the informing means includes a display unit provided on a door surface. 前記報知手段は、扉面から取り外し可能に設けられていることを特徴とする請求項8記載の冷蔵庫。   The refrigerator according to claim 8, wherein the notification unit is provided so as to be removable from a door surface. 前記報知手段は、報知を行っていないとき、扉の色彩と同色の表示を行うことを特徴とする請求項8または9記載の冷蔵庫。   The refrigerator according to claim 8 or 9, wherein the notification means displays the same color as the color of the door when the notification is not performed. 前記報知手段として、
前記貯蔵量取得手段により検知した前記特定食材の貯蔵量に対する基準値である基準貯蔵量を設定する設定手段と、
前記貯蔵量取得手段で取得した前記特定食材の貯蔵量が、前記設定手段により設定された前記基準貯蔵量以上であるか否かを判定する判定手段と、
前記判定手段により前記基準貯蔵量未満であると判定された前記特定食材である不足食材に関する情報を表示する表示部と、
ネットワークを介して接続されている外部の装置との間で通信を行う通信手段と、を有する携帯通信端末を採用したことを特徴とする請求項1から10のいずれか一項記載の冷蔵庫。
As the notification means,
Setting means for setting a reference storage amount that is a reference value for the storage amount of the specific food detected by the storage amount acquisition means;
A determination unit that determines whether the storage amount of the specific food acquired by the storage amount acquisition unit is equal to or greater than the reference storage amount set by the setting unit;
A display unit for displaying information on the insufficient food that is the specific food determined to be less than the reference storage amount by the determination unit;
The refrigerator according to any one of claims 1 to 10, wherein a portable communication terminal having communication means for communicating with an external device connected via a network is employed.
JP2012214368A 2012-09-27 2012-09-27 refrigerator Active JP6157822B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012214368A JP6157822B2 (en) 2012-09-27 2012-09-27 refrigerator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012214368A JP6157822B2 (en) 2012-09-27 2012-09-27 refrigerator

Publications (2)

Publication Number Publication Date
JP2014070740A true JP2014070740A (en) 2014-04-21
JP6157822B2 JP6157822B2 (en) 2017-07-05

Family

ID=50746129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012214368A Active JP6157822B2 (en) 2012-09-27 2012-09-27 refrigerator

Country Status (1)

Country Link
JP (1) JP6157822B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180577A (en) * 2015-03-25 2016-10-13 東芝ライフスタイル株式会社 Food management method and food management system
JP2016200305A (en) * 2015-04-08 2016-12-01 東芝ライフスタイル株式会社 refrigerator
JP2017102497A (en) * 2015-11-30 2017-06-08 三菱電機株式会社 Purchase support program, in-warehouse image server and purchase support system
JP2017161210A (en) * 2016-03-07 2017-09-14 三星電子株式会社Samsung Electronics Co.,Ltd. refrigerator
WO2018016068A1 (en) * 2016-07-22 2018-01-25 株式会社日立製作所 Stock management system and stock management method for warehouse
WO2018087972A1 (en) * 2016-11-14 2018-05-17 ソニー株式会社 Information processing device, information processing method, and recording medium
JPWO2018016053A1 (en) * 2016-07-21 2018-09-06 三菱電機株式会社 Refrigerator capable of communicating with communication devices
JP2019078506A (en) * 2017-10-26 2019-05-23 三菱電機株式会社 Refrigerator system
JP2020009127A (en) * 2018-07-06 2020-01-16 東芝ライフスタイル株式会社 Product purchase system
WO2020251067A1 (en) * 2019-06-10 2020-12-17 엘지전자 주식회사 Artificial intelligence refrigerator and food storage method therefor
JP2021081184A (en) * 2021-02-25 2021-05-27 東芝ライフスタイル株式会社 Food management method, food management system and refrigerator
JP2021117572A (en) * 2020-01-23 2021-08-10 日立グローバルライフソリューションズ株式会社 Refrigerator control device and program
US11788788B2 (en) 2016-03-07 2023-10-17 Samsung Electronics Co., Ltd. Refrigerator
JP7391699B2 (en) 2020-02-10 2023-12-05 東芝ライフスタイル株式会社 refrigerator

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01147278A (en) * 1987-06-30 1989-06-08 Fujitsu General Ltd Inside controller for refrigerator
JP2000348122A (en) * 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd History data base device
JP2002081818A (en) * 2000-09-05 2002-03-22 Hitachi Ltd Refrigerator
JP2002318060A (en) * 2001-04-20 2002-10-31 Hitachi Ltd Refrigerator with foodstuff controlling function
JP2003227676A (en) * 2002-02-01 2003-08-15 Toshiba Corp Refrigerator, stored article management method, stored article management system, terminal device and server
JP2004269188A (en) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd Inventory information service system
JP2004317084A (en) * 2003-04-18 2004-11-11 Sony Corp Refrigerator
JP2006189708A (en) * 2005-01-07 2006-07-20 Mitsubishi Electric Corp Display device
JP2007113818A (en) * 2005-10-19 2007-05-10 Funai Electric Co Ltd Article storage and refrigerator
JP2010211592A (en) * 2009-03-11 2010-09-24 Keiji Hasegawa Commodity sales system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01147278A (en) * 1987-06-30 1989-06-08 Fujitsu General Ltd Inside controller for refrigerator
JP2000348122A (en) * 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd History data base device
JP2002081818A (en) * 2000-09-05 2002-03-22 Hitachi Ltd Refrigerator
JP2002318060A (en) * 2001-04-20 2002-10-31 Hitachi Ltd Refrigerator with foodstuff controlling function
JP2003227676A (en) * 2002-02-01 2003-08-15 Toshiba Corp Refrigerator, stored article management method, stored article management system, terminal device and server
JP2004269188A (en) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd Inventory information service system
JP2004317084A (en) * 2003-04-18 2004-11-11 Sony Corp Refrigerator
JP2006189708A (en) * 2005-01-07 2006-07-20 Mitsubishi Electric Corp Display device
JP2007113818A (en) * 2005-10-19 2007-05-10 Funai Electric Co Ltd Article storage and refrigerator
JP2010211592A (en) * 2009-03-11 2010-09-24 Keiji Hasegawa Commodity sales system

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180577A (en) * 2015-03-25 2016-10-13 東芝ライフスタイル株式会社 Food management method and food management system
JP2016200305A (en) * 2015-04-08 2016-12-01 東芝ライフスタイル株式会社 refrigerator
JP2017102497A (en) * 2015-11-30 2017-06-08 三菱電機株式会社 Purchase support program, in-warehouse image server and purchase support system
JP2017161210A (en) * 2016-03-07 2017-09-14 三星電子株式会社Samsung Electronics Co.,Ltd. refrigerator
US11788788B2 (en) 2016-03-07 2023-10-17 Samsung Electronics Co., Ltd. Refrigerator
JPWO2018016053A1 (en) * 2016-07-21 2018-09-06 三菱電機株式会社 Refrigerator capable of communicating with communication devices
JPWO2018016068A1 (en) * 2016-07-22 2018-07-19 株式会社日立製作所 Inventory management system and inventory management method for storage
CN108025871A (en) * 2016-07-22 2018-05-11 株式会社日立制作所 House the inventory management system and inventory management method in storehouse
CN108025871B (en) * 2016-07-22 2021-02-26 株式会社日立制作所 Inventory management system and inventory management method for storage
WO2018016068A1 (en) * 2016-07-22 2018-01-25 株式会社日立製作所 Stock management system and stock management method for warehouse
WO2018087972A1 (en) * 2016-11-14 2018-05-17 ソニー株式会社 Information processing device, information processing method, and recording medium
JP7074066B2 (en) 2016-11-14 2022-05-24 ソニーグループ株式会社 Information processing equipment, information processing methods, recording media, and programs
JPWO2018087972A1 (en) * 2016-11-14 2019-09-26 ソニー株式会社 Information processing apparatus, information processing method, and recording medium
US11594158B2 (en) 2016-11-14 2023-02-28 Sony Group Corporation Information processing device, information processing method, and recording medium
US11094228B2 (en) 2016-11-14 2021-08-17 Sony Corporation Information processing device, information processing method, and recording medium
JP2019078506A (en) * 2017-10-26 2019-05-23 三菱電機株式会社 Refrigerator system
JP2020009127A (en) * 2018-07-06 2020-01-16 東芝ライフスタイル株式会社 Product purchase system
WO2020251067A1 (en) * 2019-06-10 2020-12-17 엘지전자 주식회사 Artificial intelligence refrigerator and food storage method therefor
US11741424B2 (en) 2019-06-10 2023-08-29 Lg Electronics Inc. Artificial intelligent refrigerator and method of storing food thereof
JP2021117572A (en) * 2020-01-23 2021-08-10 日立グローバルライフソリューションズ株式会社 Refrigerator control device and program
JP7269894B2 (en) 2020-01-23 2023-05-09 日立グローバルライフソリューションズ株式会社 Refrigerator management device and program
JP7391699B2 (en) 2020-02-10 2023-12-05 東芝ライフスタイル株式会社 refrigerator
JP7084517B2 (en) 2021-02-25 2022-06-14 東芝ライフスタイル株式会社 Food management method, food management system, refrigerator
JP2021081184A (en) * 2021-02-25 2021-05-27 東芝ライフスタイル株式会社 Food management method, food management system and refrigerator

Also Published As

Publication number Publication date
JP6157822B2 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6157822B2 (en) refrigerator
JP7211700B2 (en) refrigerator, display system
US9922530B2 (en) Method and device for generating information
JP6313014B2 (en) Camera system, refrigerator
US10552890B2 (en) Refrigerator and method of controlling the same
CN104885111B (en) Control method for displaying sales information on information terminal
EP2789955A2 (en) Refrigerator and mobile terminal for food management
US20170205138A1 (en) Refrigerator and controlling method thereof
WO2014138256A1 (en) In-store item alert architecture
US20170284733A1 (en) Remote food management system
CN105718854B (en) Remote food material management system
US10043198B2 (en) Information providing method and program
US20140143096A1 (en) Method and arrangement for enabling evaluation of product items
US9218587B2 (en) Information-providing method, and information-providing system
KR20170078536A (en) Item purchase system, item purchase method and refrigerator
JP7281755B2 (en) refrigerator
WO2019029442A1 (en) Item storage method for shared refrigerator, and shared refrigerator
CN110940125A (en) Method, device and medium for determining optimal refrigeration scheme of food in refrigerator and refrigerator
KR101812524B1 (en) Crouding management system of controlling home appliance and driving method thereof for refrigerator having artificial intelligence
JP2018091621A (en) Camera system and refrigerator
JP2006178886A (en) Store management system
JP6850330B2 (en) Food management method, food management system, refrigerator
JP2021096686A (en) Refrigerator management system, refrigerator, and server system
WO2023166917A1 (en) Food material management system, food material management method, and program
JP2020106257A (en) Refrigerator system, server device, refrigerator, communication terminal and method for controlling server device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160627

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170607

R150 Certificate of patent or registration of utility model

Ref document number: 6157822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150