JP2021081184A - Food management method, food management system and refrigerator - Google Patents
Food management method, food management system and refrigerator Download PDFInfo
- Publication number
- JP2021081184A JP2021081184A JP2021028652A JP2021028652A JP2021081184A JP 2021081184 A JP2021081184 A JP 2021081184A JP 2021028652 A JP2021028652 A JP 2021028652A JP 2021028652 A JP2021028652 A JP 2021028652A JP 2021081184 A JP2021081184 A JP 2021081184A
- Authority
- JP
- Japan
- Prior art keywords
- food
- inventory
- refrigerator
- cloud server
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
実施例は、食品管理方法、食品管理システム、冷蔵庫に関する。 Examples relate to food management methods, food management systems, refrigerators.
従来では冷蔵庫内の食品の在庫を管理する場合に使用者が自らを入力したり、バーコード等を読取らせたり、食品に専用のＩＣタグを付加していた。 Conventionally, when managing the inventory of food in the refrigerator, the user inputs himself / herself, reads a barcode or the like, or attaches a dedicated IC tag to the food.
上記従来の食品管理方法では在庫の更新に手間がかかる問題がある。 The above-mentioned conventional food management method has a problem that it takes time and effort to update inventory.
実施例の食品管理方法は、冷蔵庫内を撮像し、冷蔵庫内の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の態様を検出し、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで食品の在庫を管理する。 In the food management method of the embodiment, the inside of the refrigerator is imaged, the mode of the food is detected as inventory information of the food stored in the refrigerator from the imaged result in the refrigerator, and the food in the current imaged result is more than the previous imaged result. If is larger than the predetermined value, it is judged that a new food has been added, and if the food in the current imaging result is not larger than the predetermined value than the previous imaging result, the food in stock is in stock. The food inventory is managed by determining that.
実施例の食品管理システムは、冷蔵庫内を撮像する撮像器と、撮像器の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の態様を検出する在庫情報検出手段と、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで食品の在庫を管理する在庫管理手段と、を備える。 The food management system of the embodiment includes an imager that images the inside of the refrigerator, an inventory information detecting means that detects the mode of the food as inventory information of the food stored in the refrigerator from the imaged result of the imager, and a previous imaging result. If the food in the current imaging result is larger than the predetermined value, it is judged that a new food has been added, and the food in the current imaging result is larger than the predetermined value than the previous imaging result. It is provided with an inventory management means for managing the inventory of food by determining that the food is in stock when it is not available.
実施例の冷蔵庫は、冷蔵庫内を撮像する撮像器と、撮像器の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の態様を検出する在庫情報検出手段と、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで食品の在庫を管理する在庫管理手段と、を備える。 The refrigerator of the embodiment has an imager that images the inside of the refrigerator, an inventory information detecting means that detects the aspect of the food as inventory information of the food stored in the refrigerator from the imaged result of the imager, and an imager than the previous imaging result. When it is judged that a new food has been added when the food in the current imaging result is larger than the predetermined value, and when the food in the current imaging result is not larger than the predetermined value than in the previous imaging result. It is provided with an inventory management means for managing the inventory of food by determining that the food is in stock in.
（実施例１）
図１の冷蔵庫１は家屋内に設置されたものであり、断熱性のキャビネット２を有している。このキャビネット２は前面が開口する縦長な箱状をなすものであり、キャビネット１内には上から下に向けて順に冷蔵室３と野菜室４と冷凍室５が形成されている。このキャビネット１にはＦ扉６が装着されており、冷凍室５の前面はＦ扉６が操作されることに応じて開閉される。
(Example 1)
The
冷蔵室３内には、図２に示すように、無色透明な複数の棚板７が装着されている。これら複数の棚板７は上下方向に間隔を置いて配置されたものであり、複数の棚板７のそれぞれの上面には食品が載置される。この冷蔵室３内には無色透明なチルドケース８が収納されている。このチルドケース８は上面が開口するものであり、最下段の棚板７の下方に配置されている。このチルドケース８は肉および魚等の生鮮食料品が収納されるものであり、冷蔵室３内に収納された収納状態および収納状態に比べて前へ引出された引出し状態間で前後方向へ移動可能にされている。
As shown in FIG. 2, a plurality of colorless and
キャビネット２には、図１に示すように、ＬＲ扉９およびＲＲ扉１０が装着されている。ＬＲ扉９は左端部の垂直な軸１１を中心に閉鎖状態および開放状態間で回転可能にされたものであり、ＲＲ扉１０は右端部の垂直な軸１２を中心に閉鎖状態および開放状態間で回転可能にされたものであり、冷蔵室３の前面はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で閉鎖される。
As shown in FIG. 1, the
ＬＲ扉９には、図２に示すように、複数のＬポケット１３が固定されている。これら複数のＬポケット１３のそれぞれは無色透明なものであり、上面が開口している。これら複数のＬポケット１３は上下方向に間隔を置いて配置されたものであり、複数のＬポケット１３内のそれぞれには食品が収納される。これら複数のＬポケット１３はＬＲ扉９の閉鎖状態での後面に配置されたものであり、ＬＲ扉９の閉鎖状態で冷蔵室３内に収納される。
As shown in FIG. 2, a plurality of
ＲＲ扉１０には、図２に示すように、複数のＲポケット１４が固定されている。これら複数のＲポケット１４のそれぞれは無色透明なものであり、上面が開口している。これら複数のＲポケット１４は上下方向に間隔を置いて配置されたものであり、複数のＲポケット１４内のそれぞれには食品が収納される。これら複数のＲポケット１４はＲＲ扉１０の閉鎖状態での後面に配置されたものであり、ＲＲ扉１０の閉鎖状態で冷蔵室３内に収納される。
As shown in FIG. 2, a plurality of
冷蔵室３内には、図２に示すように、庫内灯１５が固定されている。この庫内灯１５は冷蔵室３の天井面に配置されたものであり、上から下に向けて光を照射するＬＥＤを有している。この庫内灯１５はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で消灯状態とされるものであり、ＬＲ扉９およびＲＲ扉１０の少なくとも一方の開放状態で点灯状態とされる。
As shown in FIG. 2, an interior light 15 is fixed in the
キャビネット１には、図１に示すように、Ｖ扉１６が装着されている。このＶ扉１６は閉鎖状態および閉鎖状態に比べて前の開放状態間で前後方向へ移動可能にされたものであり、野菜室４の前面はＶ扉１６が操作されることに応じて開閉される。このＶ扉１６には、図３に示すように、上面が開口する野菜容器１７が装着されている。この野菜容器１７はＶ扉１６と共に移動するものであり、Ｖ扉１６の閉鎖状態で野菜室４内に収納され、Ｖ扉１６の開放状態で野菜室４内から前へ引出される。
As shown in FIG. 1, the
キャビネット２には、図４に示すように、ＬＲ扉スイッチ１８とＲＲ扉スイッチ１９とＶ扉スイッチ２０が装着されている。ＬＲ扉スイッチ１８はＬＲ扉９が開閉されることに応じて電気的な状態が変化するものであり、ＲＲ扉スイッチ１９はＲＲ扉１０が開閉されることに応じて電気的な状態が変化するものであり、Ｖ扉スイッチ２０はＶ扉１６が開閉されることに応じて電気的な状態が変化するものである。
As shown in FIG. 4, the
図４の主制御装置２１はＣＰＵとＲＯＭとＲＡＭを有するものである。この主制御装置２１はＲＲ扉１０内に装着されたものであり、庫内灯１５を電気的に制御することで点灯状態および消灯状態間で切換え、冷凍サイクル２２を電気的に制御することで冷蔵室３内と野菜室４内と冷凍室５内を温度コントロールする。この主制御装置２１はＶ扉スイッチ２０の電気的な状態に応じてＶ扉１６の開閉を検出するものであり、Ｖ扉１６が閉鎖状態から開放状態とされたことを検出した場合に撮像指令Ｖを出力する。
The
主制御装置２１はＬＲ扉スイッチ１８の電気的な状態に応じてＬＲ扉９の開閉を検出し、ＲＲ扉スイッチ１９の電気的な状態に応じてＲＲ扉１０の開閉を検出するものであり、次の１）〜３）のいずれかを検出した場合には冷蔵室３が開放状態から閉鎖状態にされたと判断する。
１）ＲＲ扉１０の閉鎖状態でＬＲ扉９が開放状態から閉鎖状態とされたこと。
２）ＬＲ扉９の閉鎖状態でＲＲ扉１０が開放状態から閉鎖状態とされたこと。
３）ＬＲ扉９およびＲＲ扉１０の双方の開放状態でＬＲ扉９およびＲＲ扉１０の双方が閉鎖状態とされたこと。
The
1) The
2) The
3) Both the
主制御装置２１は冷蔵室３が開放状態から閉鎖状態にされたと判断した場合に庫内灯１５を消灯状態から点灯状態に切換えるものである。この主制御装置２１は庫内灯１５を点灯状態に切換えた場合に撮像指令Ｒを出力するものであり、撮像指令Ｒを出力したことを基準に一定時間が経過した場合に庫内灯１５を点灯状態から消灯状態に切換える。
The
ＲＲ扉１０には、図２に示すように、Ｒカメラ２３が固定されている。このＲカメラ２３はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、ＲＲ扉１０の閉鎖状態での後面に配置されている。このＲカメラ２３は庫内灯１５からの光を照明としてＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で冷蔵室３内を前からカラーで撮像するものであり、撮像器に相当する。
As shown in FIG. 2, the
野菜容器１７内には、図３に示すように、Ｖカメラ２４が固定されている。このＶカメラ２４はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、野菜容器１７内の前端部に配置されている。このＶカメラ２４はＶ扉１６の開放状態で家屋内の照明器からの光を照明として野菜容器１７内を前からカラーで撮像するものであり、撮像器に相当する。
As shown in FIG. 3, a
図４の撮像制御装置２５はＣＰＵとＲＯＭとＲＡＭを有するものである。この撮像制御装置２５はＲＲ扉１０内に装着されたものであり、主制御装置２１との間で送受信を行う。この撮像制御装置２５はＲカメラ２３およびＶカメラ２４のそれぞれを電気的に制御するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。このクラウドサーバ２８は在庫情報検出手段および在庫期間管理手段に相当する。
The image
図４のパソコン２９は家屋内に設置されたものである。このパソコン２９はディスプレイ３０および操作パネル３１を有するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。携帯端末３２は冷蔵庫１の所有者が携帯するものである。この携帯端末３２はタッチパネルディスプレイ３３を有するものであり、インターネット２７を通してクラウドサーバ２８との間で送受信を行う。
［１］撮像制御装置２５の処理内容
The
[1] Processing contents of the image
図５の撮像処理は撮像制御装置２５のＣＰＵが行うものであり、ＣＰＵはステップＳ１で主制御装置２１からの撮像指令Ｒがあるか否かを判断する。ここで撮像指令Ｒがあると判断した場合にはステップＳ２でＲカメラ２３をオンすることで冷蔵室３内を撮像し、ステップＳ３でＲカメラ２３から画像データＲを検出する。そして、ステップＳ４で画像データＲの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。即ち、冷蔵室３が開放状態から閉鎖状態にされた場合にはＲカメラ２３が庫内灯１５の点灯状態でオンされ、冷蔵室３内の画像データＲが撮像制御装置２５からクラウドサーバ２８に送信される。
The image pickup process of FIG. 5 is performed by the CPU of the image
図６の（ａ）はＲカメラ２３の画像データＲを説明するものである。ここで食品画像Ｎは白色のトレイに入れられた納豆であり、食品画像ＥＧは卵であり、食品画像Ｐは不透明な紙パック入り牛乳であり、食品画像Ｂは缶ビールである。
FIG. 6A describes the image data R of the
ＣＰＵは図５のステップＳ１で撮像指令Ｒがないと判断すると、ステップＳ５で主制御装置２１からの撮像指令Ｖがあるか否かを判断する。ここで撮像指令Ｖがあると判断した場合にはステップＳ６でＶカメラ２４をオンすることで野菜容器１７内を撮像し、ステップＳ３でＶカメラ２５から画像データＶを検出する。そして、ステップＳ４で画像データＶの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。
If the CPU determines that there is no image pickup command R in step S1 of FIG. 5, it determines in step S5 whether or not there is an image pickup command V from the
即ち、野菜容器１７が野菜室４内から前へ引出された場合にはＶカメラ２４がオンされ、野菜容器１７内の画像データＶが撮像制御装置２５からクラウドサーバ２８に送信される。図６の（ｂ）はＶカメラ２５の画像データＶを説明するものである。ここ食品画像ＣＡはキャベツであり、食品画像Ｇは長ネギであり、食品画像ＣＵはキュウリである。
［２］クラウドサーバ２８の処理内容
That is, when the
[2] Processing content of
クラウドサーバ２８は撮像制御装置２５から画像データＲおよび画像データＶのそれぞれが送信された場合に画像データＲおよび画像データＶのそれぞれの送信結果を記憶するものであり、画像データＶを記憶した場合に画像データ処理１を起動し、画像データＲを記憶した場合に画像データ処理２を起動する。
［２−１］画像データ処理１
The
[2-1]
クラウドサーバ２８は画像データ処理１を起動すると、図７のステップＳ１１で画像データＶの記憶結果を検出し、ステップＳ１２で画像データＶの検出結果から食品データを切取る。この処理は色彩または濃度等に急な変化があるところを辿ることで食品データの輪郭線を抽出し、輪郭線の抽出結果に沿って画像データＶを切取るものであり、クラウドサーバ２８はステップＳ１２で画像データＶから食品データを切取った場合にはステップＳ１３へ移行する。
When the
クラウドサーバ２８は、図８に示すように、今回記憶領域Ｖおよび前回記憶領域Ｖを有している。今回記憶領域Ｖは今回の画像データ処理１で画像データＶから切取った食品データと共に現在月日および現在時分からなる日付データが記憶される領域であり、前回記憶領域Ｖは今回記憶領域Ｖから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図７のステップＳ１３へ移行した場合には今回記憶領域Ｖの全ての食品データを日付データと共に前回記憶領域Ｖにシフトし、ステップＳ１４で画像データＶから切取った全ての食品データを日付データと共に今回記憶領域Ｖに記憶する。
［２−２］画像データ処理２
As shown in FIG. 8, the
[2-2]
クラウドサーバ２８は画像データ処理２を起動すると、図９のステップＳ２１で画像データＲの記憶結果を検出し、ステップＳ２２で画像データＲの検出結果から食品データを切取る。この処理は画像データ処理１と同様のプロセスで行われるものであり、クラウドサーバ２８はステップＳ２２で画像データＲから食品データを切取った場合にはステップＳ２３へ移行する。
When the
クラウドサーバ２８は、図１０に示すように、今回記憶領域Ｒおよび前回記憶領域Ｒを有している。今回記憶領域Ｒは今回の画像データ処理２で画像データＲから切取った食品データと共に現在の月日および現在の時分からなる日付データが記憶される領域であり、前回記憶領域Ｒは今回記憶領域Ｒから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図９のステップＳ２３へ移行した場合には今回記憶領域Ｒの全ての食品データを日付データと共に前回記憶領域Ｒにシフトし、ステップＳ２４で画像データＲから切取った全ての食品データを日付データと共に今回記憶領域Ｒに記憶する。
As shown in FIG. 10, the
［２−２］画像解析処理１
図１１の画像解析処理１はクラウドサーバ２８が画像データ処理１を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理１を起動した場合にはステップＳ３１のキャベツ解析処理とステップＳ３２の長ネギ解析処理とステップＳ３３のキュウリ解析処理へ順に移行する。
[2-2]
The
［２−２−１］キャベツ解析処理
クラウドサーバ２８はステップＳ３１のキャベツ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域ＶのみにキャベツＣＡの食品データが記憶されていると判断した場合にはキャベツＣＡの在庫期間ＣＡを（０）にリセットする。即ち、使用者が野菜容器１７内にキャベツＣＡを新たに投入した場合には在庫期間ＣＡがリセットされる。
[2-2-1] Cabbage analysis processing When the
クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されていると判断すると、今回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、前回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で大きさの判定結果を比較する。このキャベツＣＡの大きさは食品の在庫情報に相当する。
When the
１）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて小さいまたは同じと判断した場合には経過期間Ｔを算出する。この経過期間Ｔは今回記憶領域Ｖの日付データおよび前回記憶領域Ｖの日付データ間の差分であり、クラウドサーバ２８は経過期間Ｔを算出した場合に在庫期間ＣＡに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキャベツＣＡを全く使わなかった場合には在庫期間ＣＡが加算され、野菜容器１７内のキャベツＣＡを一部だけ使って野菜容器１７内に使いかけのキャベツＣＡを戻した場合にも在庫期間ＣＡが更新される。
1) The
２）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて大きいと判断した場合には在庫期間ＣＡをリセットする。即ち、使用者が野菜容器１７内のキャベツＣＡを使い切って新たなキャベツＣＡを野菜容器１７内に投入した場合には在庫期間ＣＡがリセットされる。
2) When the
［２−２−２］長ネギ解析処理
クラウドサーバ２８は図１１のステップＳ３２の長ネギ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域Ｖのみに長ネギＧの食品データが記憶されていると判断した場合には長ネギＧの在庫期間Ｇを（０）にリセットする。即ち、使用者が野菜容器１７内に長ネギＧを新たに投入した場合には在庫期間Ｇがリセットされる。
[2-2-2] Long onion analysis process When the
クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されていると判断すると、今回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、前回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で長さの判定結果を比較する。この長ネギＧの長さは食品の在庫情報に相当する。
When the
１）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）≧（今回記憶領域Ｖの長さの判定結果）≧（前回記憶領域Ｖの長さの判定結果）」と判定した場合には経過期間Ｔを算出し、在庫期間Ｇに経過期間Ｔの算出結果を加算する。この成長量は長ネギＧが野菜容器１７内で成長することを考慮して決められたものであり、使用者が野菜容器１７内の長ネギＧを一部だけ使って野菜容器１７内に使いかけの長ネギＧを戻した場合には在庫期間Ｇが更新され、使用者が野菜容器１７内の長ネギＧを全く使わなかった場合にも在庫期間Ｇが更新される。
1) The
２）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）＜（今回記憶領域Ｖの長さの判定結果）」と判定した場合には在庫期間Ｇをリセットする。即ち、使用者が野菜容器１７内の長ネギＧを全て使って新たな長ネギＧを野菜容器１７内に投入した場合には在庫期間Ｇがリセットされる。
［２−２−３］キュウリ解析処理
2) When the
[2-2-3] Cucumber analysis processing
クラウドサーバ２８は図１１のステップＳ３３のキュウリ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキュウリＣＵの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はキュウリＣＵの食品データの数を判定した場合には今回記憶領域Ｖおよび前回記憶領域Ｖ間で数の判定結果を比較する。このキュウリＣＵの数は食品の在庫情報に相当する。
When the
１）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、キュウリＣＵの在庫期間ＣＵに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキュウリＣＵを全く消費しなかった場合には在庫期間ＣＵが更新され、野菜容器１７内のキュウリＣＵを一部だけ消費した場合にも在庫期間ＣＵが更新される。
1) When the
２）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて多いと判断した場合には在庫期間ＣＵを（０）にリセットする。即ち、使用者が野菜容器１７内のキュウリＣＵを全て消費した後に野菜容器１７内にキュウリＣＵを新たに投入した場合には在庫期間ＣＵがリセットされる。
2) When the
［２−３］画像解析処理２
図１２の画像解析処理２はクラウドサーバ２８が画像データ処理２を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理２を起動した場合にはステップＳ４１の納豆解析処理とステップＳ４２の紙パック解析処理とステップＳ４３のビール解析処理とステップＳ４４の卵解析処理へ順に移行する。
[2-3]
The
［２−３−１］納豆解析処理
クラウドサーバ２８は図１２のステップＳ４１の納豆解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに納豆Ｎの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は納豆Ｎの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この納豆Ｎの数は食品の在庫情報に相当する。
[2-3-1] Natto analysis processing When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、納豆Ｎの在庫期間Ｎに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の納豆Ｎを全く消費しなかった場合には在庫期間Ｎが更新され、冷蔵室３内の納豆Ｎを一部だけ消費した場合にも在庫期間Ｔが更新される。
1) If the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判定した場合には在庫期間Ｎを（０）にリセットする。即ち、使用者が冷蔵室３内の納豆Ｎを全て消費した後に冷蔵室３内に納豆Ｎを投入した場合には在庫期間Ｎがリセットされる。
2) When the
［２−３−２］紙パック解析処理
クラウドサーバ２８は図１２のステップＳ４２の紙パック解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに紙パック入り牛乳ＰＭの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は紙パック入り牛乳ＰＭの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この紙パック入り牛乳ＰＭの数は在庫情報に相当する。
[2-3-2] Paper pack analysis process When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、紙パック入り牛乳ＰＭの在庫期間ＰＭに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全く消費しなかった場合には在庫期間ＰＭが更新され、冷蔵室３内の紙パック入り牛乳ＰＭを一部だけ消費した場合にも在庫期間ＰＭが更新される。
1) If the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＰＭを（０）にリセットする。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全て消費した後に冷蔵室３内に紙パック入り牛乳ＰＭを投入した場合には在庫期間ＰＭがリセットされる。
2) When the
［２−３−３］ビール解析処理
クラウドサーバ２８は図１２のステップＳ４３のビール解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにビールＢの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はビールＢの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。このビールＢの数は食品の在庫情報に相当する。
[2-3-3] Beer analysis processing When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判断した場合には経過期間Ｔを算出し、ビールＢの在庫期間Ｂに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内のビールＢを全く消費しなかった場合には在庫期間Ｂが更新され、冷蔵室３内のビールＢを一部だけ消費した場合にも在庫期間Ｂが更新される。
1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間Ｂを（０）にリセットする。即ち、使用者が冷蔵室３内のビールＢを全て消費した後に冷蔵室３内にビールＢを投入した場合には在庫期間Ｂがリセットされる。
2) When the
［２−３−４］卵解析処理
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに卵ＥＧの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は卵ＥＧの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この卵ＥＧの数は食品の在庫情報に相当する。
[2-3-4] Egg analysis process When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、卵ＥＧの在庫期間ＥＧに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の卵ＥＧを全く消費しなかった場合には在庫期間ＥＧが更新され、冷蔵室３内の卵ＥＧを一部だけ消費した場合にも在庫期間ＥＧが更新される。
1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＥＧを（０）にリセットする。即ち、使用者が冷蔵室３内の卵ＥＧを全て消費した後に冷蔵室３内に新たに卵ＥＧを投入した場合には在庫期間ＥＧがリセットされる。
2) When the
［２−４］食品情報処理
クラウドサーバ２８はパソコン２９からの情報要求指令を受信した場合にパソコン２９に在庫情報を送信するものであり、携帯端末３２からの情報要求指令を受信した場合には携帯端末３２に在庫情報を送信する。パソコン２９はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてディスプレイ３０に在庫一覧画面を表示するものであり、携帯端末３２はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてタッチパネルディスプレイ３３に在庫一覧画面を表示する。
[2-4] The food information
図１３は携帯端末３２のタッチパネルディスプレイ３３に表示される在庫一覧画面である。この在庫一覧画面は今回記憶領域Ｖに記憶されている食品データの名称および今回記憶領域Ｒに記憶されている食品データの名称を上下方向に並べて表示したものであり（左列参照）、食品データの名称の右側には当該食品データに応じた数の判定結果（中列参照）および在庫期間の検出結果（右列参照）が左右方向に並べて表示される。この食品データの名称は下から上に向けて在庫期間が長くなるように配列されるものであり、在庫期間が所定期間１に比べて長い食品データについては名称と数と在庫期間のそれぞれが黄色の色彩で表示され（納豆参照）、在庫期間が所定期間２（＞所定期間１）に比べて長い食品データについては名称と数と在庫期間のそれぞれが赤色の色彩で表示される（たまご参照）。
FIG. 13 is an inventory list screen displayed on the
携帯端末３２は在庫一覧画面の表示状態で赤色の食品データの名称がタッチされると、クラウドサーバ２８に食品データの名称に応じた種類の画像要求指令を送信する。このクラウドサーバ２８は画像要求指令を受信した場合に最新の画像データＲおよび最新の画像データＶのうちから画像要求指令の受信結果に応じた１つを検出し、画像データの検出結果から画像要求指令の種類に応じた食品データを検出する。そして、画像データの検出結果のうちの食品データの検出結果を赤枠で囲み、画像データの検出結果を携帯端末３２に送信する。
When the name of the red food data is touched while the inventory list screen is displayed, the
携帯端末３２はクラウドサーバ２８からの画像データを受信すると、画像データの受信結果を在庫一覧画面の上に重ねて表示する。図１３の（ｂ）は食品データの名称（たまご）がタッチされた場合である。この場合にはクラウドサーバ２８が最新の画像データＲを検出し、画像データＲのうち卵ＥＧの食品データを赤枠で囲むことで卵ＥＧの在庫期間ＥＧが所定期間２に比べて長いことを使用者に報知する。
When the
上記実施例１によれば次の効果を奏する。
冷蔵庫１内の撮像結果から冷蔵庫１内に収納された食品の在庫情報として数または大きさまたは長さを検出し、当該食品についての今回の在庫情報の検出結果を前回の検出結果と比較することに応じて当該食品の在庫期間を管理した。従って、使用者が在庫期間を入力する手間とバーコード等を読取らせる手間と食品に専用のＩＣタグを付加する手間が不要になるので、在庫期間の管理が簡単になる。
According to the first embodiment, the following effects are obtained.
Detect the number, size, or length of the food stored in the
納豆Ｎと紙パック入り牛乳ＰとビールＢと卵ＥＧのそれぞれについて、食品の数の今回の検出結果が前回の検出結果に比べて多い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たな食品の入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。
For each of natto N, milk carton P, beer B, and egg EG, when the number of foods detected this time is larger than the previous detection result, new foods are stored in the
キャベツＣＡについて、食品の大きさの今回の検出結果が前回の検出結果に比べて大きい場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たなキャベツＣＡの入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。しかも、一度に全てが消費されずに徐々に消費されるキャベツＣＡの実際の消費形態に合わせてキャベツＣＡの在庫期間を正確に更新できる。
Regarding the cabbage CA, when the current detection result of the size of the food was larger than the previous detection result, it was determined that a new food was stored in the
長ネギＧについて、食品の長さの今回の検出結果が前回の検出結果に比べて長い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。しかも、長ネギＧが萎れることで長さが短くなった場合に新たな長ネギＧと認識されないので、在庫期間Ｇを正確に更新できる。しかも、長ネギＧの長さを比較する場合に長ネギＧの冷蔵庫１内での成長量を補正したので、長ネギＧが冷蔵庫１内で成長することに影響されずに在庫期間を正確に管理できる。
Regarding the green onion G, when the current detection result of the food length is longer than the previous detection result, it is determined that a new food has been stored in the
食品の在庫期間が所定期間２に比べて長い場合には冷蔵庫１内の撮像結果を表示する場合に当該食品を赤枠で囲むことで当該食品の在庫期間が所定期間２に比べて長いことを表示したので、どの食品の保存期間が長くて早く消費するべきかを使用者が一目で知ることができる。
When the inventory period of food is longer than the
（実施例２）
図１４はクラウドサーバ２８に予め記憶された紙パック入り牛乳ＰＭ用の判定データである。図１４の（ａ）は「未開封」の紙パック入り牛乳ＰＭに関するものであり、図１４の（ｂ）は「開封済」の紙パック入り牛乳ＰＭに関するものであり、両者は注ぎ口の形状が相違する。
(Example 2)
FIG. 14 is determination data for milk PM in a paper carton stored in advance in the
クラウドサーバ２８は図１２のステップＳ４２で紙パック入り牛乳ＰＭの食品データを図１４の（ａ）および（ｂ）のそれぞれの判定データと比較することに応じて当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに「未開封」および「開封済」の判定結果を記憶する。このクラウドサーバ２８は前回記憶領域Ｒの判定結果が「未開封」で今回記憶領域Ｒの判定結果が「開封済」と判断した場合に紙パック入り牛乳ＰＭの在庫期間ＰＭをリセットする。
The
上記実施例２によれば次の効果を奏する。
紙パック入り牛乳ＰＭが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＭをリセットしたので、紙パック入り牛乳ＰＭが開封されたことを基準に在庫期間ＰＭを正確に管理できる。
According to the second embodiment, the following effects are obtained.
The stock period PM was reset when it was determined whether the milk PM in the paper carton was "unopened" or "opened" and changed from "unopened" to "opened". The inventory period PM can be accurately managed based on the fact that the packed milk PM has been opened.
（実施例３）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、チューブ解析処理へ移行する。このチューブ解析処理は、図１５に示すように、冷蔵室３の左ポケット１３内に透明なチューブ入りマヨネーズＴＢが縦向きに入れられている場合にチューブ入りマヨネーズＴＢの在庫期間ＴＢを検出するものであり、クラウドサーバ２８はチューブ解析処理で今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれにチューブ入りマヨネーズＴＢの食品データが記憶されているか否かを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較するものであり、チューブの輪郭形状を検出することで行われる。
(Example 3)
When the
クラウドサーバ２８は今回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定すると、当該食品データからチューブ内のマヨネーズの残量を判定する。この残量はチューブの上端からマヨネーズの上面までの距離に応じて判定されるものであり、クラウドサーバ２８は前回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定した場合には当該食品データからチューブ内のマヨネーズの残量を判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の判定結果を比較する。このマヨネーズの残量は食品の在庫情報に相当し、チューブは容器に相当する。
When the
１）クラウドサーバ２８は開封済フラグのオフ状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないと判断した場合には開封済フラグをオン状態に設定し、チューブ入りマヨネーズＴＢの在庫期間ＴＢを（０）にリセットする。即ち、使用者が冷蔵室３内の新品のチューブ入りマヨネーズＴＢを開封して消費し、使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合には在庫期間ＴＢがリセットされる。
1) When the
２）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、在庫期間ＴＢに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを全く使用しなかった場合には在庫期間ＴＢが更新され、冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使った後に使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合にも在庫期間ＴＢが更新される。
2) When the
３）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて多いと判定した場合には開封済フラグをオフ状態に設定し、在庫期間ＴＢをリセットする。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使い切り、冷蔵室３内に未開封のチューブ入りマヨネーズＴＢを新たに投入した場合には在庫期間ＴＢがリセットされる。
3) When the
上記実施例３によれば次の効果を奏する。
冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢの在庫情報として残量を検出し、チューブ入りマヨネーズＴＢについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなチューブ入りマヨネーズＴＢが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。
According to the third embodiment, the following effects are obtained.
The remaining amount is detected as the inventory information of the tube-filled mayonnaise TB from the imaging result in the
冷蔵庫１内の撮像結果から食品として透光性のチューブに入れられたマヨネーズを検出した。従って、マヨネーズの残量をチューブに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。
From the imaging results in the
冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢが「未開封」および「開封済」のいずれであるかを判定し、判定結果が「未開封」から「開封済」に変化した場合に在庫期間をリセットした。従って、チューブ入りマヨネーズＴＢが開封されたことを基準に在庫期間を正確に管理できる。
It is determined from the imaging result in the
（実施例４）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、ペットボトル解析処理へ移行する。このペットボトル解析処理は、図１６に示すように、冷蔵室３の右ポケット１４内に透明なペットボトル入り飲料ＰＥが縦向きに保存されている場合にペットボトル入り飲料ＰＥの在庫期間ＰＥを検出するものであり、クラウドサーバ２８は今回記憶領域Ｒおよび前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されているか否かを判断する。この処理はペットボトルの輪郭形状を判断することで行われるものである。
(Example 4)
When the
クラウドサーバ２８は今回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、チューブ解析処理と同様に今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の検出結果を比較することに応じて在庫期間ＴＢを検出する。このペットボトル入り飲料ＰＥの残量は在庫情報に相当し、ペットボトルは容器に相当する。
上記実施例４によれば次の効果を奏する。
When the
According to the fourth embodiment, the following effects are obtained.
冷蔵庫１内の撮像結果からペットボトル入り飲料ＰＥの在庫情報として残量を検出し、ペットボトル入り飲料ＰＥについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなペットボトル入り飲料ＰＥが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。
The remaining amount is detected as inventory information of PET bottled beverage PE from the imaging result in the
冷蔵庫１内の撮像結果から食品として透光性のペットボトルに入れられた飲料を検出した。従って、飲料の残量をペットボトルに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。
From the imaging results in the
（実施例５）
図１７はクラウドサーバ２８に予め記憶されたペットボトル入り飲料ＰＥ用の判定データである。図１７の（ａ）は「未開封」のペットボトル入り飲料ＰＥに関するものであり、図１７の（ｂ）は「開封済」のペットボトル入り飲料ＰＥに関するものであり、両者はキャップＣＰおよびフランジＦ間に隙間があるか否かで相違する。
(Example 5)
FIG. 17 is determination data for the PET bottled beverage PE stored in advance in the
クラウドサーバ２８はペットボトル解析処理でペットボトル入り飲料ＰＥの食品データを図１７の（ａ）および（ｂ）のそれぞれの判定データと比較することで当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「開封済」で前回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「未開封」であると判断した場合に在庫期間ＰＥをリセットする。
The
上記実施例５によれば次の効果を奏する。
ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＥをリセットしたので、ペットボトル入り飲料ＰＥが開封されたことを基準に在庫期間ＰＥを管理できる。
According to the fifth embodiment, the following effects are obtained.
It is determined whether the beverage PE in the PET bottle is "unopened" or "opened", and when it is determined that the beverage PE has changed from "unopened" to "opened", the inventory period PE is reset. The inventory period PE can be managed based on the fact that the bottled beverage PE has been opened.
（実施例６）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、トレイ解析処理へ移行する。このトレイ解析処理は、図１８に示すように、冷蔵室３内に白色のトレイＴが保存されている場合にトレイＴに盛られた中身Ｓの種類を判定し、中身Ｓの在庫期間Ｓを計測するものであり、クラウドサーバ２８はトレイ解析処理へ移行した場合には今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにトレイＴの食品データが記憶されているか否かを判断する。
(Example 6)
When the
クラウドサーバ２８は今回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取り、前回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取る。そして、今回記憶領域Ｒの中身Ｓの食品データおよび前回記憶領域Ｒの中身Ｓの食品データのそれぞれについて大きさを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で大きさの判定結果を比較する。
When the
１）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて小さいまたは同じと判定した場合には経過期間Ｔを算出し、中身Ｓの在庫期間Ｓに経過期間Ｔの算出結果を加算する。即ち、使用者がトレイＴの中身Ｓを全く使わなかった場合には在庫期間Ｓが更新され、トレイＴの中身Ｓを一部だけ使って冷蔵室３内にトレイＴを戻した場合にも在庫期間Ｓが更新される。
1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて大きいと判定した場合には在庫期間Ｓを（０）にリセットする。即ち、使用者がトレイＴの中身Ｓを使い切って新たなトレイＴを冷蔵室３内に投入した場合には在庫期間Ｓがリセットされ、使用者が冷蔵室３内にトレイＴを新たに投入した場合にも在庫期間Ｓがリセットされる。
2) When the
上記実施例６によれば次の効果を奏する。
冷蔵庫１内の撮像結果から食品としてトレイＴに入れられた中身Ｓを検出した。従って、中身Ｓの大きさをトレイＴに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。
According to the sixth embodiment, the following effects are obtained.
From the imaging result in the
（実施例７）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理で今回記憶領域Ｒの卵ＥＧの食品データの数が前回記憶領域Ｒの卵ＥＧの食品データの数に比べて多いと判断すると、前回記憶領域Ｒの卵ＥＧの食品データについて輪郭線および色彩等を個別に今回記憶領域Ｒの卵ＥＧの食品データと比較する。このクラウドサーバ２８は今回記憶領域Ｒの卵ＥＧの食品データ毎に在庫期間ＥＧを計測するものであり、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと同一のものについては在庫期間ＥＧに経過期間Ｔの算出結果を加算することで在庫期間ＥＧを更新し、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと異なるものについては在庫期間ＥＧをリセットする。
(Example 7)
When the
図１９の（ａ）は携帯端末３２がタッチパネルディスプレイ３３に表示する在庫一覧画面であり、「たまご」は在庫期間ＥＧが更新された古いもの（下段参照）および、在庫期間ＥＧがリセットされた新しいもの（上段参照）に分けて個数が表示される。図１９の（ｂ）は携帯端末３２がクラウドサーバ２８からの画像データＲを受信することに応じて在庫一覧画面の上に重ねて表示する画像であり、卵ＥＧの食品画像のうち在庫期間ＥＧが更新された古いものは赤色の色彩で表示される（ハッチング参照）。
FIG. 19A is an inventory list screen displayed on the
上記実施例７によれば次の効果を奏する。
複数の卵ＥＧを個別に認識し、卵ＥＧ毎に在庫期間ＥＧを管理したので、冷蔵庫１内に卵ＥＧが残っている状態で卵ＥＧが足された場合にどの卵ＥＧが古くてどの卵ＥＧが新しいかを検出できる。従って、古い卵ＥＧを新しい卵ＥＧとは異なる色彩で携帯端末３２に表示することができるので、どの卵ＥＧの保存期間が長くて早く消費するべきかを使用者に簡単に知らせることができる。
According to the seventh embodiment, the following effects are obtained.
Since multiple egg EGs are individually recognized and the inventory period EG is managed for each egg EG, which egg EG is old and which egg is old when the egg EG is added while the egg EG remains in the
上記実施例７においては、図１１のステップＳ３１のキャベツ解析処理でキャベツＣＡの食品データから輪郭線を抽出する等の個体認識を行っても良い。この場合には今回記憶領域ＲのキャベツＣＡの食品データの大きさが前回記憶領域ＲのキャベツＣＡの食品データの大きさ以下であっても輪郭線の相違に応じて冷蔵室３内にキャベツＣＡが新たに投入されたと判定し、在庫期間ＣＡをリセットすることができる。
In the seventh embodiment, individual recognition such as extracting a contour line from the food data of the cabbage CA may be performed by the cabbage analysis process of step S31 of FIG. In this case, even if the size of the food data of the cabbage CA in the storage area R this time is smaller than the size of the food data of the cabbage CA in the previous storage area R, the cabbage CA in the refrigerating
（実施例８）
冷蔵室３内には、図２０に示すように、マーキング３４が施されている。このマーキング３４は使用者に卵ＥＧを置く場所を報知するものであり、最下段の棚板７の左端部に設定されている。
(Example 8)
As shown in FIG. 20, marking 34 is provided in the
クラウドサーバ２８は図９のステップＳ２２でＲカメラ２３の画像データＲから食品データを切取る場合に特定領域を残りの領域に比べて高解像度で処理する。この特定領域は予め決められたものであり、画像データＲのうちマーキング３４が施された領域に設定されている。
When the
上記実施例８によれば次の効果を奏する。
卵ＥＧを冷蔵庫１内のどこに置くかをマーキング３４で指定したので、使用者が卵ＥＧをマーキング３４上に載せることで画像データＲのうち高解像度で処理される領域内に配置できる。従って、卵ＥＧを個別に認識する場合に解像度が高まるので、卵ＥＧの認識精度が向上する。
According to the eighth embodiment, the following effects are obtained.
Since the marking 34 specifies where to place the egg EG in the
上記実施例８においては、ペットボトル入り飲料ＰＥを冷蔵庫１内のどこに置くかをマーキング等で指定しても良い。この場合には画像データＲのうちマーキング等で指定された領域を高解像度で処理することができるので、ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを正確に判別できる。
In the eighth embodiment, the place where the PET bottled beverage PE is placed in the
（実施例９）
冷蔵室３内には、図２１に示すように、庫内カメラ３５が固定されている。この庫内カメラ３５は冷蔵室３内を後から前に向けて撮像するものであり、撮像制御装置２５は図５のステップＳ１で主制御装置２１からの撮像指令Ｒを検出した場合に庫内カメラ３５を庫内灯１５の点灯状態でオンすることに応じて冷蔵室３内を撮像し、庫内カメラ３５からの画像データＤの検出結果をクラウドサーバ２８に送信する。この庫内カメラ３５は撮像器に相当する。
(Example 9)
As shown in FIG. 21, the
クラウドサーバ２８は図９のステップＳ２２で画像データＲおよび画像データＤのそれぞれから食品データを切取り、ステップＳ２３で前回記憶領域Ｒに画像データＲおよびＤ毎に食品データをシフトし、ステップＳ２４で今回記憶領域Ｒに画像データＲおよびＤ毎に食品データを記憶する。このクラウドサーバ２８は図１２のステップＳ４１〜Ｓ４４のそれぞれで同種の食品データの数が画像データＲおよび画像データＤ間で相違する場合には多数を有効なものとし、チューブ入りマヨネーズ解析処理でマヨネーズの残量が画像データＲおよび画像データＤ間で相違する場合には多量を有効なものとする。
The
上記実施例９によれば次の効果を奏する。
冷蔵庫１の冷蔵室３内をＲカメラ２３および庫内カメラ３５によって複数の位置から撮像し、Ｒカメラ２３の撮像結果および庫内カメラ３５の撮像結果から食品の在庫情報を検出した。従って、食品を複数のアングルで撮像できるので、食品の在庫情報を正確に検出できる。
According to the ninth embodiment, the following effects are obtained.
The inside of the refrigerating
（実施例１０）
図２２の在庫変動画面は携帯端末３２のタッチパネルディスプレイ３３に表示されるであり、携帯端末３２がクラウドサーバ２８からの画像データに応じて表示する。この画像データはクラウドサーバ２８が作成するものであり、クラウドサーバ２８は携帯端末３２からの画像要求指令を受信することで携帯端末３２に画像データを送信する。この在庫変動画面は食品（卵ＥＧ）の数の検出結果を在庫期間の更新結果と共に日毎に表示するものであり、タッチパネルディスプレイ３３には食品の数の検出結果が少なくなった時点（２個／１２／６）で使用者に「残りが少なくなったので、追加して下さい」が表示される。
(Example 10)
The inventory fluctuation screen of FIG. 22 is displayed on the
上記実施例１〜１０のそれぞれにおいては、キャベツＣＡは１０日間、チューブ入りマヨネーズＴＢは残量が減り始めたことを基準に３週間等、クラウドサーバ２８が食品の種類毎に所定期間１および２を記憶する構成としても良い。この場合にはクラウドサーバ２８が食品の種類毎に在庫期間を所定期間１および２と比較し、在庫期間が所定期間１または２を越えている場合にこれを在庫一覧画面で食品の種類毎に使用者に報知しても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＶカメラ２４の画像データＶから大根または白菜の食品データを切取って記憶し、キャベツ解析処理と同様のプロセスで大根または白菜の在庫期間を管理しても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから缶ジュースの食品データを切取って記憶し、ビール解析処理と同様のプロセスで缶ジュースの在庫期間を管理しても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明な容器入りのケチャップ、ソース、しょう油等の調味料の食品データを切取って記憶し、チューブ解析処理と同様のプロセスで調味料の在庫期間を管理しても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明なタッパ入りの食材（あんこ、惣菜）の食品データを切取って記憶し、トレイ解析処理と同様のプロセスで食材の在庫期間を管理しても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、主制御装置２１または撮像制御装置２５にクラウドサーバ２８と同一の機能を持たせ、主制御装置２１または撮像制御装置２５が在庫期間を管理する構成としても良い。
In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、携帯端末３２にクラウドサーバ２８からの画像データを表示する場合に特定の色彩を食品に付与または食品を矢印で指すことで食品の在庫期間が所定期間１または２に比べて長いことを使用者に報知しても良い。
In each of the above Examples 1 to 10, when displaying the image data from the
以上、本発明のいくつかの実施例を示したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施例はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置換、変更を行うことができる。これらの実施例や変形例は発明の範囲や要旨に含まれると共に特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some examples of the present invention have been shown above, these are presented as examples and are not intended to limit the scope of the invention. These novel examples can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These examples and modifications are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
また、本明細書には、下記の発明が記載されている。
食品の在庫期間が所定期間に比べて長い場合には、冷蔵庫内の撮像結果を表示する場合に在庫期間が所定期間に比べて長いことを報知するための表示をする食品管理方法の発明。
In addition, the following inventions are described in the present specification.
Invention of a food management method for displaying an image pickup result in a refrigerator when the inventory period of food is longer than a predetermined period, in order to notify that the inventory period is longer than the predetermined period.
１は冷蔵庫、２３はＲカメラ（撮像器）、２４はＶカメラ（撮像器）、２８はクラウドサーバ（在庫情報検出手段，在庫期間管理手段）、３５は庫内カメラ（撮像器）である。 1 is a refrigerator, 23 is an R camera (imager), 24 is a V camera (imager), 28 is a cloud server (inventory information detection means, inventory period management means), and 35 is an in-house camera (imager).
Claims (8)
前記冷蔵庫内の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の態様を検出し、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫を管理する食品管理方法。 Take an image of the inside of the refrigerator
From the imaging result in the refrigerator, the mode of the food is detected as inventory information of the food stored in the refrigerator.
When the food in the current imaging result is larger than the predetermined value than the previous imaging result, it is determined that a new food has been added, and the food in the current imaging result is determined more than the previous imaging result. A food management method for managing the inventory of the food by determining that the food is in stock when the value is not greater than the value.
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。 The number was detected as inventory information of the food from the imaging result in the refrigerator.
The food management method according to claim 1, wherein when the detection result of inventory information about the food is larger than the detection result before the detection result, a new food is stored in the refrigerator.
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて長い場合または多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。 The length or quantity is detected as inventory information of the food from the imaging result in the refrigerator.
The food management according to claim 1, wherein when the detection result of the inventory information about the food is longer or more than the detection result before the detection result, a new food is stored in the refrigerator. Method.
前記冷蔵庫内の複数の撮像結果から前記食品の在庫情報を検出する請求項１から５のいずれか一項に記載の食品管理方法。 A predetermined area in the refrigerator is imaged from a plurality of positions.
The food management method according to any one of claims 1 to 5, wherein inventory information of the food is detected from a plurality of imaging results in the refrigerator.
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の態様を検出する在庫情報検出手段と、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫を管理する在庫管理手段と、を備えた食品管理システム。 An imager that images the inside of the refrigerator and
Inventory information detecting means for detecting the mode of food as inventory information of food stored in the refrigerator from the imaging result of the imager.
When the food in the current imaging result is larger than the predetermined value than the previous imaging result, it is determined that a new food has been added, and the food in the current imaging result is determined more than the previous imaging result. A food management system including an inventory management means for managing the inventory of the food by determining that the food is in stock when the value is not larger than the value.
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の態様を検出する在庫情報検出手段と、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫を管理する在庫管理手段と、を備えた冷蔵庫。 An imager that images the inside of the refrigerator and
Inventory information detecting means for detecting the mode of food as inventory information of food stored in the refrigerator from the imaging result of the imager.
When the food in the current imaging result is larger than the predetermined value than the previous imaging result, it is determined that a new food has been added, and the food in the current imaging result is determined more than the previous imaging result. A refrigerator provided with an inventory management means for managing the inventory of the food by determining that the food is in stock when the value is not larger than the value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028652A JP7084517B2 (en) | 2021-02-25 | 2021-02-25 | Food management method, food management system, refrigerator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028652A JP7084517B2 (en) | 2021-02-25 | 2021-02-25 | Food management method, food management system, refrigerator |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019181324A Division JP6850330B2 (en) | 2019-10-01 | 2019-10-01 | Food management method, food management system, refrigerator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021081184A true JP2021081184A (en) | 2021-05-27 |
| JP7084517B2 JP7084517B2 (en) | 2022-06-14 |
Family
ID=75964752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028652A Active JP7084517B2 (en) | 2021-02-25 | 2021-02-25 | Food management method, food management system, refrigerator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7084517B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0545041A (en) * | 1991-08-09 | 1993-02-23 | Sharp Corp | Device for controlling storage space in freezer-refrigerator |
| JP2003185327A (en) * | 2001-12-18 | 2003-07-03 | Hitachi Ltd | Food storage, food managing device and food managing method |
| JP2004286355A (en) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Refrigerator |
| JP2010121784A (en) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | Stock management device of refrigerator |
| JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
| JP2014070740A (en) * | 2012-09-27 | 2014-04-21 | Toshiba Corp | Refrigerator |
| JP2014196834A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator |
| JP2014209048A (en) * | 2013-03-29 | 2014-11-06 | パナソニック株式会社 | Refrigerator and refrigerator internal display system |
| JP2015004477A (en) * | 2013-06-21 | 2015-01-08 | パナソニック株式会社 | Refrigerator |
| JP2015072109A (en) * | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | Refrigerator |
-
2021
- 2021-02-25 JP JP2021028652A patent/JP7084517B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0545041A (en) * | 1991-08-09 | 1993-02-23 | Sharp Corp | Device for controlling storage space in freezer-refrigerator |
| JP2003185327A (en) * | 2001-12-18 | 2003-07-03 | Hitachi Ltd | Food storage, food managing device and food managing method |
| JP2004286355A (en) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Refrigerator |
| JP2010121784A (en) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | Stock management device of refrigerator |
| JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
| JP2014070740A (en) * | 2012-09-27 | 2014-04-21 | Toshiba Corp | Refrigerator |
| JP2014196834A (en) * | 2013-03-29 | 2014-10-16 | パナソニック株式会社 | Refrigerator |
| JP2014209048A (en) * | 2013-03-29 | 2014-11-06 | パナソニック株式会社 | Refrigerator and refrigerator internal display system |
| JP2015072109A (en) * | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | Refrigerator |
| JP2015004477A (en) * | 2013-06-21 | 2015-01-08 | パナソニック株式会社 | Refrigerator |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7084517B2 (en) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7211700B2 (en) | refrigerator, display system | |
| US20230362469A1 (en) | Refrigerators having internal content cameras, and methods of operating the same | |
| JP6600145B2 (en) | Food management method and food management system | |
| JP7040193B2 (en) | Refrigerator system | |
| JP6324360B2 (en) | Refrigerator and network system including the same | |
| US10582782B2 (en) | Monitoring and controlling system for a food bar arrangement and a food bar arrangement with such a system | |
| US20220284684A1 (en) | Augmented reality feedback of inventory for an appliance | |
| JP6157822B2 (en) | refrigerator | |
| CN104197632A (en) | Intelligent temperature regulating refrigerator | |
| CN105222504B (en) | Refrigerator and its control method | |
| JP2015169412A (en) | Refrigerator and network system including refrigerator | |
| JP2016196981A (en) | Storage shed management system and storage shed management method | |
| CN108224896A (en) | Refrigerator management equipment, system, refrigerator and mobile terminal | |
| CN107763958A (en) | A kind of intelligent refrigerator | |
| JP2018035983A (en) | Food storage compartment and system for imaging inside of compartment | |
| WO2019029442A1 (en) | Item storage method for shared refrigerator, and shared refrigerator | |
| JP6850330B2 (en) | Food management method, food management system, refrigerator | |
| JP7281755B2 (en) | refrigerator | |
| WO2021027655A1 (en) | Method for viewing and tracking storage items | |
| CN111277671A (en) | Intelligent household refrigerator of Internet of things | |
| JP2019070478A (en) | refrigerator | |
| WO2019069718A1 (en) | Refrigerator | |
| JP7084517B2 (en) | Food management method, food management system, refrigerator | |
| KR20170054761A (en) | A smart refrigerator | |
| JP7113281B2 (en) | refrigerator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7084517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |