JP2019109026A - 冷蔵庫 - Google Patents
冷蔵庫 Download PDFInfo
- Publication number
- JP2019109026A JP2019109026A JP2017243462A JP2017243462A JP2019109026A JP 2019109026 A JP2019109026 A JP 2019109026A JP 2017243462 A JP2017243462 A JP 2017243462A JP 2017243462 A JP2017243462 A JP 2017243462A JP 2019109026 A JP2019109026 A JP 2019109026A
- Authority
- JP
- Japan
- Prior art keywords
- food
- recognition unit
- size
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
特許文献1に記載された冷蔵庫においては、食品画像データベースに記憶された情報を参照して、カメラによる撮像画像から抽出された各食品の画像に基づいて、冷蔵室に入出庫された食品の種類及び量を識別している。
そこで、食品の残量を認識するために、重量センサによって食品の重量の変化を検出することが考えられるが、重量センサにより個々の食品の重量を検出することは困難であり、また、重量センサを配置するためのスペース及び配線経路を確保するために、庫内の構成が複雑になる。
本発明はかかる背景に鑑みてなされたものであり、庫内に収容された個々の食品の残量を、簡易な構成によって認識することができる冷蔵庫を提供することを目的とする。
第1の発明によれば、食品サイズ認識部は、複数のカメラにより撮像された同一の対象食品の画像間の視差に基づいて、複数のカメラから対象食品までの距離を算出することによって、対象食品のサイズを認識する。そして、食品残表認識部は、食品サイズ認識部により認識された対象食品の大きさに基づいて、対象食品の量を認識することができる。そのため、重量センサ等を別途設けることなく、カメラの撮像画像のみを用いる簡易な構成により、収容室に収容された個々の食品の量を算出することができる。なお、食品のサイズには、食品の外寸、体積等が含まれる。
第2の発明によれば、収容室の開口部を通過して入庫又は出庫される食品のサイズを認識して、食品の量を認識することができる。
第3の発明によれば、収容室の開口部を含む範囲を撮像するカメラの死角になっている食品を、収容室の側面壁側から撮像することができる。
第4の発明によれば、前回の撮像実行条件成立時よりもサイズが大きくなった食品について、収容室に新たに収容されたという情報を取得することができる。
第5の発明によれば、収容室に収容された食品の量を、重量によって認識することができる。
第6の発明によれば、収容室に収容された食品の量を、重量によって認識することができる。
第7の発明によれば、収容室に収容された食品の量を管理することによって、使用者による食品の有効活用を促す情報を提供することが可能となる。
第8の発明によれば、収容室に収容された食品の位置を管理することによって、使用者に対して、収容室内の収容棚等のスペース毎の食品の在庫状況を提供することが可能となる。
図1は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫1は、家屋Hに設置され、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。また、冷蔵庫1は、端末装置(スマートフォン、タブレット端末等)400との間で通信を行う機能を有している。端末装置400は、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。
図2〜図6を参照して、冷蔵庫1の構成について説明する。図2は冷蔵庫1の外観を示した説明図である。図2に示したように、冷蔵庫1は前面に開口した主箱体2を備え、主箱体2内には、冷蔵室10(本発明の収容室に相当する)、製氷室30、製氷室30に併設されて庫内の温度が変更できる切換室20、冷凍室40、及び野菜室50が形成されている。
次に、図7〜図12に示したフローチャートに従って、制御ユニット100により実行される冷蔵室10に収容された食品の管理に関する処理について説明する。
図8に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、食品画像取得部111、及び撮像時点設定部116により実行される。食品画像取得部111は、ステップS10で、開閉センサ18a,18bの検出信号により、冷蔵室10の右ドア11と左ドア12の一方が又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップS15で、右ドア11と左ドア12の両方が閉状態になったことを認識するまでの間に、第1撮像時点及び第2撮像時点でカメラ60a,60b,60cによる撮像を行う。
(2)照度センサ17bの検出照度が、「中基準照度」から「中基準照度−α」以下に変化した。
(3)照度センサ17cの検出照度が、「下基準照度」から「下基準照度−α」以下に変化した。
(5)照度センサ17bの検出照度が、「中基準照度−β」以下から「中基準照度」以上に変化した。
(6)照度センサ17cの検出照度が、「下基準照度−β」以下から「下基準照度」以上に変化した。
次に、図9、図10に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品サイズ認識部112、食品種別認識部113、及び食品量認識部114により実行される。図9は、冷蔵室10に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図10は、冷蔵室10から出庫された食品について、「出庫時画像」から情報を取得する処理である。
図11及び図12に示したフローチャートに従って、冷蔵室10に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部115により実行される。食品情報管理部115は、本発明の在庫量管理部と在庫位置管理部の機能を含んでいる。
上記実施形態においては、複数のカメラとして、左カメラ60a、右カメラ60b、及び側面カメラ60cを備えたが、異なる方向から食品を撮像する少なくとも2台のカメラを備えれば、本発明の適用が可能である。また、3台以上のカメラを備える構成としてもよい。
10 冷蔵室
10a 開口部
11 右ドア
12 左ドア
16a、16b、16c、16d、16r、16f 照明部
17a、17b、17c 照度センサ
18a、18b 開閉センサ
20 切換室
30 製氷室
40 冷凍室
50 野菜室
60a 右カメラ
60b 左カメラ
60c 側面カメラ
61 圧縮機
62 冷却ファン
63 冷却器
64 凝縮器
100 制御ユニット
110 CPU
111 食品画像取得部
112 食品サイズ認識部
113 食品種別認識部
114 食品量認識部
115 食品情報管理部
116 撮像時点設定部
117 食品密度情報取得部
120 画像処理部
121 画像メモリ
130 記憶部
131 庫内食品リスト
132 入庫食品情報
133 出庫食品情報
134 サンプル画像
135 賞味期限リスト
136 食品密度テーブル
140 無線通信部
141 日時認識部
400 端末装置
500 ゲートウェイ
510 通信ネットワーク
520 管理サーバー
Claims (8)
- 食品の収容室と、
前記収容室内を互いに異なる方向から撮像する複数のカメラと、
前記複数のカメラにより撮像された同一の対象食品の画像間の視差に基づいて、前記対象食品のサイズを認識する食品サイズ認識部と、
前記食品サイズ認識部により認識された前記対象食品のサイズに基づいて、前記対象食品の量を認識する食品量認識部と
を備えていることを特徴とする冷蔵庫。 - 前記複数のカメラには、前記収容室の開口部を含む範囲を撮像する少なくとも2台のカメラが含まれることを特徴とする請求項1に記載の冷蔵庫。
- 前記複数のカメラには、前記収容室の側面壁側から前記収容室内を撮像するカメラが含まれることを特徴とする請求項2に記載の冷蔵庫。
- 前記カメラにより撮像された食品の画像から、該食品の種別を識別する食品種別認識部を備え、
前記食品サイズ認識部は、所定の撮像実行条件が成立するごとに、前記複数のカメラにより前記収容室内を撮像して、前記収容室内の食品のサイズを認識すると共に、前記食品種別認識部により該食品の種別を識別し、
前記食品量認識部は、前記撮像実行条件が成立して、前記食品サイズ認識部により所定種別の食品のサイズが認識されたときに、該認識された今回の該所定種別の食品のサイズが、前回の前記撮像実行条件の成立時に前記食品サイズ認識部により認識された該所定種別の食品のサイズよりも大きいときには、該所定種別の食品が前記収容室に新たに収容されたと認識することを特徴とする請求項1から請求項3のうちいずれか1項に記載の冷蔵庫。 - 食品の種別と密度とを対応させた食品密度テーブルの情報を取得する食品密度情報取得部を備え、
前記食品サイズ認識部は、前記食品のサイズとして食品の体積を認識し、
前記食品量認識部は、前記食品の量として、前記食品サイズ認識部により認識された食品の体積に、前記食品種別認識部により判別された食品の種別を前記食品密度テーブルに適用して取得した密度を乗じた重量を、前記食品の量として認識することを特徴とする請求項4に記載の冷蔵庫。 - 前記カメラにより撮像された食品の画像から、該食品の種別を判別する食品種別認識部と、
食品の種別と密度とを対応させた食品密度テーブルの情報を取得する食品密度情報取得部を備え、
前記食品サイズ認識部は、前記食品のサイズとして食品の体積を認識し、
前記食品量認識部は、前記食品の量として、前記食品サイズ認識部により認識された食品の体積に、前記食品種別認識部により判別された食品の種別を前記食品密度テーブルに適用して取得した密度を乗じて算出した重量を、前記食品の量として算出することを特徴とする請求項1から請求項3のうちいずれか1項に記載の冷蔵庫。 - 前記食品量認識部により認識された食品の量を管理する在庫量管理部を備えていることを特徴とする請求項1から請求項6のうちいずれか1項に記載の冷蔵庫。
- 前記視差に基づいて、前記収容室における食品の位置を認識する収容位置認識部と、
前記収容位置認識部により認識された前記収容室における食品の位置を管理する在庫位置管理部とを備えていることを特徴とする請求項1から請求項7のうちいずれか1項に記載の冷蔵庫。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243462A JP7113281B2 (ja) | 2017-12-20 | 2017-12-20 | 冷蔵庫 |
JP2022082059A JP7340766B2 (ja) | 2017-12-20 | 2022-05-19 | 冷蔵庫 |
JP2023129791A JP2023138720A (ja) | 2017-12-20 | 2023-08-09 | 冷蔵庫 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017243462A JP7113281B2 (ja) | 2017-12-20 | 2017-12-20 | 冷蔵庫 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022082059A Division JP7340766B2 (ja) | 2017-12-20 | 2022-05-19 | 冷蔵庫 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109026A true JP2019109026A (ja) | 2019-07-04 |
JP7113281B2 JP7113281B2 (ja) | 2022-08-05 |
Family
ID=67179455
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017243462A Active JP7113281B2 (ja) | 2017-12-20 | 2017-12-20 | 冷蔵庫 |
JP2022082059A Active JP7340766B2 (ja) | 2017-12-20 | 2022-05-19 | 冷蔵庫 |
JP2023129791A Pending JP2023138720A (ja) | 2017-12-20 | 2023-08-09 | 冷蔵庫 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022082059A Active JP7340766B2 (ja) | 2017-12-20 | 2022-05-19 | 冷蔵庫 |
JP2023129791A Pending JP2023138720A (ja) | 2017-12-20 | 2023-08-09 | 冷蔵庫 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7113281B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019219127A (ja) * | 2018-06-21 | 2019-12-26 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
JP2022042853A (ja) * | 2020-09-03 | 2022-03-15 | パナソニックIpマネジメント株式会社 | 食品管理システム、及び冷蔵庫 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061382A (ja) * | 2008-09-03 | 2010-03-18 | Nikon Corp | 自動レシピ作成装置およびプログラム |
JP2015072109A (ja) * | 2013-03-29 | 2015-04-16 | パナソニックIpマネジメント株式会社 | 冷蔵庫 |
JP2015111025A (ja) * | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置 |
WO2016151814A1 (ja) * | 2015-03-25 | 2016-09-29 | 三菱電機株式会社 | 冷蔵庫 |
JP2016180577A (ja) * | 2015-03-25 | 2016-10-13 | 東芝ライフスタイル株式会社 | 食品管理方法および食品管理システム |
JP2017215067A (ja) * | 2016-05-30 | 2017-12-07 | シャープ株式会社 | 在庫管理装置および在庫管理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3639408B2 (ja) * | 1997-05-21 | 2005-04-20 | 株式会社日立製作所 | 保管庫 |
JP2003185327A (ja) * | 2001-12-18 | 2003-07-03 | Hitachi Ltd | 食品保存庫、食品管理装置および食品管理方法 |
-
2017
- 2017-12-20 JP JP2017243462A patent/JP7113281B2/ja active Active
-
2022
- 2022-05-19 JP JP2022082059A patent/JP7340766B2/ja active Active
-
2023
- 2023-08-09 JP JP2023129791A patent/JP2023138720A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061382A (ja) * | 2008-09-03 | 2010-03-18 | Nikon Corp | 自動レシピ作成装置およびプログラム |
JP2015111025A (ja) * | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置 |
JP2015072109A (ja) * | 2013-03-29 | 2015-04-16 | パナソニックIpマネジメント株式会社 | 冷蔵庫 |
WO2016151814A1 (ja) * | 2015-03-25 | 2016-09-29 | 三菱電機株式会社 | 冷蔵庫 |
JP2016180577A (ja) * | 2015-03-25 | 2016-10-13 | 東芝ライフスタイル株式会社 | 食品管理方法および食品管理システム |
JP2017215067A (ja) * | 2016-05-30 | 2017-12-07 | シャープ株式会社 | 在庫管理装置および在庫管理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019219127A (ja) * | 2018-06-21 | 2019-12-26 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
JP7137369B2 (ja) | 2018-06-21 | 2022-09-14 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
JP2022042853A (ja) * | 2020-09-03 | 2022-03-15 | パナソニックIpマネジメント株式会社 | 食品管理システム、及び冷蔵庫 |
JP7142225B2 (ja) | 2020-09-03 | 2022-09-27 | パナソニックIpマネジメント株式会社 | 食品管理システム、及び冷蔵庫 |
Also Published As
Publication number | Publication date |
---|---|
JP2022103368A (ja) | 2022-07-07 |
JP7340766B2 (ja) | 2023-09-08 |
JP2023138720A (ja) | 2023-10-02 |
JP7113281B2 (ja) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7012263B2 (ja) | 冷蔵庫 | |
JP7281755B2 (ja) | 冷蔵庫 | |
JP7012261B2 (ja) | 冷蔵庫 | |
JP7340766B2 (ja) | 冷蔵庫 | |
JP7386459B2 (ja) | 冷蔵庫 | |
JP7164296B2 (ja) | 冷蔵庫 | |
WO2021027655A1 (zh) | 查看和跟踪储存物品的方法 | |
WO2021057769A1 (zh) | 用于查看并跟踪所储存的物品的方法 | |
JP6584178B2 (ja) | 制御装置、冷蔵庫およびプログラム | |
WO2021057820A1 (zh) | 制冷电器和用于跟踪所储存物品的方法 | |
JP7475000B2 (ja) | 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 | |
JP7289083B2 (ja) | 冷蔵庫 | |
JP7289084B2 (ja) | 冷蔵庫 | |
JP2023099664A (ja) | 冷蔵庫 | |
WO2023193635A1 (zh) | 用于跟踪冷冻室中的储存物品的制冷电器和方法 | |
WO2022073430A1 (zh) | 制冷电器和用户识别的方法 | |
WO2022095995A1 (zh) | 制冷电器和用于跟踪所储存物品的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7113281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |