JP2018146177A - 物品貯蔵庫の在庫管理装置 - Google Patents

Abstract

【課題】物品貯蔵庫における物品の出入庫の判定及び在庫状況の認定を正しく行うことができるようにする。【解決手段】本発明は、複数種の物品の見本画像をその物品の種類又は名称に関する情報とともに記憶している物品情報記憶部、物品貯蔵室の開口を含む所定の撮影領域を、予め設定された時間間隔で連続的に撮影する撮影部、撮影部が撮影した複数の画像から開口を通過した物品の画像を抽出し、該画像の移動方向からその物品の出入庫を判定する出入庫判定部、出庫物品の画像を物品情報記憶部に記憶されている複数の見本画像と照合して該出庫物品の種類又は名称を特定する出庫物品特定部、入庫物品の画像を物品情報記憶部に記憶されている複数の見本画像と照合して該入庫物品の種類又は名称を特定する入庫物品特定部、出庫物品の種類又は名称、及び入庫物品の種類又は名称を参照して、購入物品リストを作成する購入物品リスト作成部とを備える。【選択図】図１

Description

本発明は、物品貯蔵庫の在庫を管理する装置に関し、特には、冷蔵庫や冷凍庫、冷凍冷蔵庫等の食品貯蔵庫の在庫の管理に好適な在庫管理装置に関する。

近年、冷蔵庫の大容量化、及び冷蔵・冷凍性能の向上に伴い、一般家庭においても多くの様々な食品を長期間、冷蔵庫に保管することが可能となった反面、冷蔵庫内に保管されている食品の全てをユーザが把握しておくことが難しくなりつつある。そのため、冷蔵庫内に保管されている食品の存在を忘れてしまい、同じ種類の食品を繰り返し購入してしまうといった問題があった。

これに対して、冷蔵庫の庫内に保管された食品を管理する機能を備えた冷蔵庫が提案されている。例えば特許文献１には、冷蔵庫内の天井部にカメラを設置し、冷蔵庫の扉が開閉される毎にカメラが撮影した庫内の画像に基づいて食品の出入庫を判定するようにした冷蔵庫が記載されている。この冷蔵庫では、カメラの撮影画像から１ないし複数の食品を抽出し、該食品の位置を、前回の扉の開閉時のカメラの撮影画像から抽出された１ないし複数の食品の位置と比較することにより、食品の出入庫を判定する。

ところが、特許文献１の冷蔵庫では、庫内の撮影画像における食品の位置からその食品の出入庫を判定しているため、例えば冷蔵庫内に新たな食品を収納する際にその食品の収納スペースを確保するために、冷蔵庫内に保管されている食品を移動させた場合に、新たに収納された食品及び冷蔵庫内で移動された食品の出入庫を正しく判定することができない。その結果、ユーザが食品の在庫状況を正しく把握することができず、冷蔵庫に保管されている食品であるにも関わらず購入してしまったり、冷蔵庫から取り出されて使用された食品を、まだ冷蔵庫に保管されているものと誤認してしまったりするおそれがあった。

これに対して、特許文献２には、冷蔵庫の天板部の上面に設置されたカメラと、庫内の収容物の重量を検出する重量センサと、冷蔵庫の扉の開閉を検知する開閉検知センサとを備え、冷蔵庫の扉が開閉される毎にカメラによる物品の撮影を行い、重量センサにより庫内の重量の増加が検出されると、カメラによって撮影された物品が入庫されたと判定し、庫内の重量の減少が検出されるとカメラによって撮影された物品が出庫されたと判定する、在庫管理機能を備えた冷蔵庫が記載されている。

特開2010-121784号公報 特開2015-125535号公報

特許文献２の冷蔵庫では、重量センサの検出結果に基づき食品の出入庫を判定しているため、庫内で位置が移動されただけの食品を、出庫された食品或いは入庫された食品であると誤ることはない。しかしながら、冷蔵庫に対する食品の出庫と入庫が同時に行われた場合は、出庫された食品の重量と入庫された食品の重量の差分が庫内の重量の増減となって重量センサで検出されることになるため、個々の食品の出入庫を正しく判定することが難しい。また、冷蔵庫から取りして一部を使用した後再び冷蔵庫内に戻された食品を、新たに冷蔵庫に入庫された食品と区別することはできない。従って、ユーザは在庫状況が変化していない場合であっても在庫状況が変更したと誤認してしまうおそれがあり、食品の在庫状況を正しく把握することができない。

なお、ここでは冷蔵庫について説明したが、冷凍庫、或いは冷凍及び冷蔵機能を備えた冷凍冷蔵庫等の食品貯蔵庫全般において同様の問題がある。また、食品貯蔵庫に限らず、倉庫や物流センター等に設置される物品貯蔵庫の在庫を管理する場合においても同様である。

本発明が解決しようとする課題は、物品貯蔵庫における物品の出入庫の判定及び在庫状況の認定を正しく行うことができるようにすることである。

上記課題を解決するために成された本発明は、開口を有する物品貯蔵室を備えた物品貯蔵庫の在庫管理装置であって、
a)複数種の物品の見本画像をその物品の種類又は名称に関する情報とともに記憶している物品情報記憶部と、
b)前記物品貯蔵室の開口を含む所定の撮影領域を、予め設定された時間間隔で連続的に撮影する撮影部と、
c)前記撮影部が前記撮影領域を撮影した複数の画像から、前記開口を通過した物品の画像を抽出し、該画像の移動方向からその物品の出庫又は入庫を判定する出入庫判定部と、
d)前記出入庫判定部によって出庫と判定された物品である出庫物品の画像を、前記物品情報記憶部に記憶されている複数の見本画像と照合して該出庫物品の種類又は名称を特定する出庫物品特定部と、
e)前記出入庫判定部によって入庫と判定された物品である入庫物品の画像を、前記物品情報記憶部に記憶されている複数の見本画像と照合して該入庫物品の種類又は名称を特定する入庫物品特定部と、
f)前記出庫物品特定部が特定した出庫物品の種類又は名称、及び前記入庫物品特定部が特定した入庫物品の種類又は名称を参照して、購入物品リストを作成する購入物品リスト作成部と
を備え、
前記購入物品リスト作成部が、前記出入庫判定部によって物品の出庫が判定されてから所定時間が経過するまでの間に該出庫が判定された物品と同じ種類又は名称の物品の入庫が判定されなかったとき、前記出庫物品の種類又は名称を含む購入物品リストを作成することを特徴とする。

本発明においては、撮影部は、撮影領域の画像を予め設定された時間間隔で連続的に撮影するため、ユーザが物品貯蔵室内に収納されている物品を開口から取り出そうとするとき（つまり出庫させるとき）、或いは開口から物品貯蔵室内に物品を収納しようとするとき（つまり入庫させるとき）、その様子が撮影部によって撮影される。なお、撮影部は、物品貯蔵庫に物品が貯蔵されている間は常に予め設定された時間間隔で撮影を行うようにしても良く、物品貯蔵室の開口を開閉する扉の開閉動作に応じて（例えば扉が開放されている間）予め設定された時間間隔で撮影を行うようにしても良い。そして、撮影部によって連続的に撮影された複数の画像では、出庫された物品の位置、或いは入庫された物品の位置が徐々に変化するため、出入庫判定部は、このように位置が変化する物品を開口を通過した物品として、その画像を撮影画像から抽出し、該画像の移動方向からその物品の出庫又は入庫を判定する。

続いて、出庫物品特定部は、出庫物品と判定された物品の画像を、物品情報記憶部に記憶されている複数の見本画像と照合して該出庫物品の種類又は名称を特定し、入庫物品特定部は、入庫物品と判定された物品の画像を、物品情報記憶部に記憶されている複数の見本画像と照合して該入庫物品の種類又は名称を特定する。この場合、出庫物品特定部又は入庫物品特定部は、物品情報記憶部に記憶されている複数の見本画像を探索し、出庫物品又は入庫物品の画像と対応する画像を選出する。この場合、出庫物品又は入庫物品の画像と完全に一致する見本画像に限らず、その一部が出庫物品又は入庫物品の画像と一致するような見本画像、一部又全体を変形させたときに出庫物品又は入庫物品の画像と一致するような見本画像等、出庫物品又は入庫物品の画像との間に類似性がみられる見本画像を、「対応する画像」として選出する。そして、選出された見本画像に付随して記憶されている種類又は名称を出庫物品又は入庫物品の種類又は名称とする。

出庫物品特定部によって出庫物品の種類又は名称が特定されると、或いは、入庫物品特定部によって入庫物品の種類又は名称が特定されると、出庫物品或いは入庫物品の種類又は名称を参照して、購入物品リスト作成部が購入物品リストを作成する。具体的には、出庫物品は物品貯蔵庫内に存在しない（つまり「在庫無し」の状態にある）ことから購入物品リストに含められ、入庫物品は物品貯蔵庫内に存在する（つまり「在庫有り」の状態にある）ことから購入物品リストに含められない。特に本発明では、出入庫判定部によって物品の出庫が判定されてから所定時間が経過するまでの間にその出庫物品と同じ種類又は名称の物品の入庫が判定されなかったとき、購入物品リスト作成部は、出庫物品の種類又は名称を含む購入物品リストを作成する。これにより、物品貯蔵室から物品が出庫された後、比較的短時間の間に該物品が物品貯蔵室に戻されるような場合に、出入庫の都度、購入物品リストが作成される（つまり、購入物品リストが繰り返し作成し直される）ことを避けることができる。

また、本発明においては、電気通信回線に接続可能な通信手段と、
前記通信手段に、前記購入物品リスト作成部が作成した前記購入物品リストを、前記電気通信回線に接続可能な携帯端末に送信させる通信制御部とを備えることが好ましい。
上記構成によれば、ショッピングセンター等の物品貯蔵庫から離れた場所にいるユーザが、スマートフォンやタブレット等の携帯端末で購入物品リストを確認することができる。

ところで、出入庫判定部によって入庫と判定された物品（入庫物品）は、上述したように、物品貯蔵室から取り出されて使用された後、再び該物品貯蔵室に収納される物品である場合が考えられる。また、入庫物品が新規に購入された物品である場合には、購入物品リストに含まれている種類又は名称の物品である可能性が高い。そこで、入庫物品特定部は、次のようにして入庫物品の種類又は名称を特定するようにしても良い。すなわち、入庫物品の画像を、前記物品情報記憶部に記憶されている見本画像のうち、該入庫物品の入庫から所定時間前までの間に出庫と判定された物品の種類又は名称の見本画像と優先的に照合する。或いは、入庫物品の画像を、物品情報記憶部に記憶されている見本画像のうち、購入物品リストに含まれる種類又は名称の見本画像と優先的に照合する。
上記構成によれば、入庫物品の種類又は名称を特定するための処理にかかる時間を短縮することができる。

また、撮影部に対する物品の向きによって、撮影部の撮影画像に含まれる出庫物品又は入庫物品の画像が認識できない場合がある。このような場合、物品画像抽出部は、撮影画像から物品の画像を抽出できないか、或いは撮影画像から抽出された物品の画像から、その物品の種類又は名称を特定できない。
そこで、本発明においては、スピーカー又は表示画面を備える報知部と、
前記出入庫判定部が物品の画像の抽出に失敗したときに、或いは出庫物品特定部又は入庫物品特定部が出庫物品又は入庫物品の種類又は名称の特定に失敗したときに、該物品の出入庫動作を繰り返し行うことを促す音声又は画像を前記報知部に出力させる報知制御部とを備えるようにすると良い。
このような構成により、物品貯蔵庫における出入庫物品の在庫管理を確実に行うことができる。

また、本発明においては、スピーカー又は表示画面を備える報知部と、
マイク又はキーボードを備える入力部と、
前記入庫物品特定部が入庫物品の種類又は名称の特定に失敗したときに、前記入力部を用いた該物品の種類又は名称の入力を促す音声又は画像を前記報知部に出力させる報知制御部とを備え、
前記報知制御部が、前記入力部を用いて入力された入庫物品の種類又は名称を、その入庫物品の画像とともに、前記物品情報記憶部に記憶するようにしても良い。
新商品のようにそれまで世間に流通していなかった物品が物品貯蔵庫に入庫される場合、その物品に関する情報は物品情報記憶部に記憶されていない。上記構成によれば、そのような物品の情報（画像、種類又は名称）を物品情報記憶部に追加することができるため、物品貯蔵庫における出入庫物品の在庫管理をより確実に行うことができる。

さらに、本発明は、電気通信回線に接続された管理サーバと、
前記撮影部が撮影した画像を、前記電気通信回線を介して前記管理サーバに送信する送信装置とを備え、前記管理サーバが、前記物品情報記憶部、前記出入庫判定部、前記出庫物品特定部、前記入庫物品特定部、及び前記購入物品リスト作成部を備えるようにしても良い。
上記構成では、物品貯蔵庫から離れた場所で在庫管理を行うことができる。また、在庫管理機能を備えていない物品貯蔵庫に在庫管理装置を後付けで設置して在庫管理を行うことができる。

さらにまた、本発明は、前記撮影部が、前記物品貯蔵庫の外面の上部に設置されており、前記物品情報記憶部が、物品の俯瞰画像を見本画像として記憶していることが好ましい。
この構成では、撮影部が撮影した出庫物品又は入庫物品の画像と見本画像との照合結果に基づく出庫物品又は入庫物品の種類又は名称の特定を精度良く行うことができる。

本発明に係る物品貯蔵庫の在庫管理装置では、物品貯蔵室から出庫された物品及び入庫される物品の種類又は名称を簡単に特定して該物品貯蔵室内の物品の在庫状況を正しく管理することができる。

本発明の一実施例に係る在庫管理システムの概略構成図。 冷蔵庫の縦断側面図（ａ）、正面図（ｂ）。 冷蔵庫の構成を機能ブロックで示す図。 クラウドサーバの構成を機能ブロックで示す図。 食品情報記憶部に記憶されている情報を概略的に示す図。 在庫管理情報を概略的に示す図。 更新後の在庫管理情報を概略的に示す図。 物品が大根であるときの入庫物品の画像（ａ）と在庫管理情報格納部に格納されている収納食品の画像（ｂ）の例を示す。 物品がマヨネーズであるときの入庫物品の画像（ａ）と在庫管理情報格納部に格納されている収納食品の画像（ｂ）の例を示す。 クラウドサーバにおける処理の流れを示すフローチャート。

以下、本発明を、物品貯蔵庫としての冷蔵庫の在庫を管理するための在庫管理装置に適用した一実施例について、図面を参照して説明する。

＜１．在庫管理システム＞
図１は本実施例に係る在庫管理システムの構成を示す概略図である。在庫管理システムは、冷蔵庫１と、該冷蔵庫１と通信機器２及びインターネット等の通信ネットワーク３を介して接続されたクラウドサーバ４とを備えており、冷蔵庫１とクラウドサーバ４との間でデータの送受信が行われるようになっている。クラウドサーバ４が本発明の在庫管理装置に相当する。また、クラウドサーバ４は、通信ネットワーク４を介して通信端末５と接続されており、該通信端末５との間でデータの送受信を行うことができる。通信端末５は、例えば携帯電話、タブレット端末等の携帯端末やノートパソコン等である。

＜２．冷蔵庫の構成＞
図２(ａ)は、本実施例に係る冷蔵庫１の縦断側面図、図２(ｂ)は正面図である。図２(ａ)及び(ｂ)に示すように、冷蔵庫１は、前面が開口する縦長の断熱箱体１０を有している。断熱箱体１０の内部には、上から順に冷蔵室１１０、製氷室１２０、切替室１３０、野菜室１４０、並びに冷凍室１５０（これら各室を、まとめて貯蔵室ともいう。）が形成されている。製氷室１２０と切替室１３０は左右に並んで配置されている。切替室１３０は、内部の設定温度帯を各種の温度帯（例えば−１８℃付近（冷凍温度帯）、０℃付近（チルド温度帯）、３℃付近（冷蔵温度帯）、５℃付近（野菜冷蔵温度帯））に切り替えることができるようになっている。

冷蔵室１１０の前面には、両開き式（観音開き式）の扉（左Ｒ扉１１１、右Ｒ扉１１２）が取り付けられている。左Ｒ扉１１１及び右Ｒ扉１１２の内側には、それぞれ複数のポケット１１３が固定されている（図１（ａ）には右Ｒ扉１１２のポケット１１３のみ示す。）。また、右Ｒ扉１１２の外側表面には操作パネル１１４が固定されている。操作パネル１１４は、各貯蔵室の設定温度等を調節するための操作スイッチ１１５や、各貯蔵室の温度や冷蔵庫１内の在庫情報などを表示する表示部１１６を備えている。なお、操作パネル１１４は、操作スイッチと表示部を兼ねるタッチパネルから構成されていても良い。
また、冷蔵室１１０の内部には複数の棚板１１７が上下方向に間隔をおいて設置されており、該冷蔵室１１０内の最下部には、チルドケース１１８が出し入れ可能に配置されている。

製氷室１２０、切替室１３０、野菜室１４０、及び冷凍室１５０の前面には、それぞれ引き出し式の扉（Ｉ扉１２１、Ｃ扉１３１、Ｖ扉１４１、Ｆ扉１５１）が取り付けられている。各扉の後面には上面が開口した容器（Ｉ容器１２２、Ｖ容器１４２、Ｆ容器１５２。切替室１３０の容器は図示せず）が装着されており、扉を前方に移動させることにより容器が庫内から引き出される。

断熱箱体１０の後部の下部には圧縮機２０が配置されている。また、断熱箱体１０内の後部には冷却風路３０が形成されており、該冷却風路３０の内部に送風ファン４０が配置されている。冷却風路３０内の下部には、冷却器（蒸発器）５０が設置された冷却器室５１が形成されている。圧縮機２０及び冷却器５０は、図示しない凝縮器及び膨脹弁とともに冷凍サイクルを構成する。圧縮機２０及び冷却器５０によって冷却器室５１内に生成された冷気は送風ファン４０によって冷却風路３０内に送風され、該冷却風路３０を通って各貯蔵室に供給される。そして、各貯蔵室で温度が上昇した冷気は、冷却器室５１に戻された後、冷却され、再び各貯蔵室に供給される。

冷蔵庫１の天板の上面の前部中央には断面Ｌ字状のカメラ保持部６１が立設されており、このカメラ保持部６１の先端部の下面にカメラ６０が固定されている。カメラ保持部６１の先端部は断熱箱体１０の前端面よりも前方に突出しており、カメラ６０は断熱箱体１０の前面開口を含む所定の撮影範囲を上方から撮影する。カメラ６０は、ＣＣＤ又はＣＭＯＳ等の撮像素子を有しており、カメラ６０がその撮影範囲を上方から撮影した画像から冷蔵庫１の各貯蔵室に出し入れされる物品を認識することができるように、撮影範囲や撮像素子の大きさ、画素数が設定されている。なお、本実施例では１台のカメラ６０を設置したが、撮影範囲を広げるために、複数台のカメラを設置するようにしても良い。

＜３．冷蔵庫の機能ブロック＞
図３は冷蔵庫１の構成を機能ブロックで示す図である。冷蔵庫１の制御装置１００は、例えば左Ｒ扉１１１の内部に配置されており、ＣＰＵ、記憶部、タイマ（いずれも図示せず）等を備えている。記憶部には、冷蔵庫の動作プログラム等が格納されている。制御装置１００は、各貯蔵室の扉の開閉を検知する扉スイッチ（ＬＲ扉スイッチ１１１ａ、ＲＲ扉スイッチ１１２ａ、Ｉ扉スイッチ１２１ａ、Ｃ扉スイッチ１３１ａ、Ｖ扉スイッチ１４１ａ、及びＦ扉スイッチ１５１ａ）、各貯蔵室内の温度を検知する温度センサ（Ｒサーミスタ１１０ａ、Ｉサーミスタ１２０ａ、Ｃサーミスタ１３０ａ、Ｖサーミスタ１４０ａ、及びＦサーミスタ１５０ａ）が接続されている。また、制御装置１００には、送風ファン４０、圧縮機２０、カメラ６０、操作パネル１１４、庫内灯１０１、報知器１０２が接続されている。さらに、制御装置１００は、通信部１０３を備えており、該通信部１０３が通信機器２及び通信ネットワーク３を介してクラウドサーバ４との間でデータの送受信を行う。

制御装置１００は、扉スイッチの入力信号に基づき各扉の開閉状態を検出し、扉が閉鎖状態から開放状態にされたことを検出すると、庫内灯１０１を消灯状態から点灯状態に切り替え、開放状態から閉鎖状態とされたことを検出すると、庫内灯１０１を点灯状態から消灯状態に切り替える。また、制御装置１００は、温度センサからの入力信号に基づいて各貯蔵室の温度を検出し、その結果に応じて圧縮機２０の出力、送風ファン４０の送風量、冷却風路３０に設置されたダンパの開度等を制御して各貯蔵室内の温度を予め設定された温度に調節する。

また、制御装置１００は、冷蔵庫１が動作状態にあるとき、予め設定された時間間隔で（例えば１秒毎）、カメラ６０にその撮影範囲を連続的に撮影させる。そして、制御装置１００は、カメラ６０の撮影画像を取得し、該撮影画像のデータとその撮影時刻の情報を通信部１０３から通信機器２、通信ネットワーク３を介してクラウドサーバ４に送信する。
なお、制御装置１００は、貯蔵室のいずれかの扉が開放状態にあるときにのみカメラ６０に撮影動作を実行させるようにしても良い。

＜４．クラウドサーバの構成＞
図４はクラウドサーバ４の構成を機能ブロックで示す図である。同図に示すように、クラウドサーバ４は、制御装置４００、食品情報記憶部４０１、撮影画像格納部４０２、在庫管理情報格納部４０３、出入庫判定部４０４、出入庫物品情報格納部４０５、出庫物品特定部４０６、入庫物品特定部４０７、購入物品リスト作成部４０８、在庫管理情報更新部４１０、を備えている。

食品情報記憶部４０１は本発明の物品情報記憶部に相当し、冷蔵庫１に収納される可能性がある様々な種類の食品の画像データを、その食品の種類又は名称に関する情報、及びその食品の一般的な賞味期限又は消費期限に関する情報とともに記憶する。この場合、１個の種類又は名称の食品に対して１個の画像データが記憶されていても良いが、複数の画像データが記憶されていても良い。例えば、見る方向によってその形状が異なるような食品の場合には、様々な方向からその食品を撮影した画像を一の種類又は名称に関する情報とともに記憶しておくことが好ましい。また、製造メーカ毎にパッケージの色が異なる牛乳のような食品については、様々な色のパッケージの画像を一の種類又は名称に関する情報とともに記憶しておくことが好ましい。さらに、一部を使用した後、冷蔵庫に戻される食品であって、一部を使用したことによってその大きさや形状が変化するような食品（例えば人参や大根、白菜、キャベツ、スイカ等の野菜・果物）の場合は、大きさや形状が異なる複数の画像を、一の種類又は名称に関する情報とともに記憶すると良い。図５に食品情報記憶部４０１に記憶されている情報の概略的な構成例を示す。

撮影画像格納部４０２は、冷蔵庫１からクラウドサーバ４に送られてくるカメラ６０の撮影画像データ及びその撮影時刻情報を、時系列に格納する。
在庫管理情報格納部４０３は、冷蔵庫１の貯蔵室に収納されている食品（収納食品）を管理するための在庫管理情報を格納する。在庫管理情報は、収納食品の種類又は／及び名称、入庫時刻、出庫時刻、賞味期限又は消費期限等に関する情報を含む。図６Ａ、図６Ｂに在庫管理情報の概略的な構成を示す。

出入庫判定部４０４は、撮影画像格納部４０２から一連の撮影画像データを取得し、それらに対して所定の演算処理を行うことにより、開口を通過する物品の画像を抽出するとともに、その物品の出入庫を判定する。一連の撮影画像データは、例えばいずれかの貯蔵室の開口を開閉する扉の画像が含まれる複数の連続した画像データから構成することができる。また、出入庫判定部４０４は、撮影画像データ格納部４０２に所定の複数枚の撮影画像データが格納される毎に、それら複数枚の撮影画像データを一連の撮影画像データとして取得するようにしても良い。

上述した「所定の演算処理」では、例えば一連の複数の撮影画像において位置が変化している物品を貯蔵室に出し入れされる物品（対象物）として抽出し、位置が変化する方向（移動方向）を求める。そして、抽出した物品の移動方向が冷蔵庫１の内部から外部に向かう方向であれば、その物品は出庫されたと判定し、冷蔵庫１の外部から内部に向かう方向であれば、その物品は入庫されたと判定する。抽出された物品の画像は撮影画像から切り出され、出庫物品画像、又は入庫物品画像として、その画像データが出入庫物品情報格納部４０５に格納される。出入庫物品情報格納部４０５には、出庫物品の画像データ又は入庫物品の画像データとともに、出庫時刻又は入庫時刻に関する情報を含む出庫物品情報又は入庫物品情報が格納される。

出庫物品特定部４０６は、出入庫物品情報格納部４０５に出庫物品情報が格納されると、その出庫物品情報に含まれる画像を、食品情報記憶部４０１に記憶されている様々な食品の画像と照合して、出庫物品の種類又は名称を特定する。
そして、特定した食品の種類又は名称からその出庫物品に対応する在庫管理情報を特定し、そこに出庫物品の出庫時刻を書き込む。例えば出庫物品として特定された食品の名称が牛乳である場合、図６Ａに示す在庫管理情報の「牛乳」の欄に、出庫時刻として「2017年1月16日○○時○○分」を表す「2017/1/16」が書き込まれる。なお、図６Ａ及び図６Ｂでは時分の記載を省略している。

入庫物品特定部４０７は、出入庫物品情報格納部４０５に入庫物品情報が格納されると、その入庫物品情報に含まれる画像を、食品情報記憶部４０１に記憶されている様々な食品の画像と照合して、入庫物品の種類又は名称を特定する。このとき、入庫物品特定部４０７は、在庫管理情報格納部４０３に格納されている在庫管理情報の中に出庫時刻からの経過時間が所定時間に満たない収納食品があるときは、まずは、食品情報記憶部４０１に記憶されている食品のうち、その収納食品の種類又は名称と同じ種類又は名称の食品の画像と照合する。つまり、冷蔵庫１に収納されていた食品であって出庫されてからあまり時間が経過していない食品の画像を優先的に入庫物品の画像と照合する。そして、入庫物品の画像に対応する画像があるときはその収納食品の在庫管理情報に書き込まれた出庫時刻を消去する。このため、冷蔵庫１に収納されていた物品が一旦取り出されて使用された後、再び冷蔵庫１に収納された場合に、その物品の在庫期間がリセットされることがなく、継続して在庫を管理することができる。
ここで「所定時間」とは、冷蔵庫から取り出されて使用された後、再び冷蔵庫に戻される食品が、冷蔵庫の外に置かれる時間（滞在時間）を指し、例えば３０分〜６０分の適宜の値である。また、「所定時間」は食品の種類毎に異なる値であっても良い。例えば、牛乳は所定時間を３０分に設定し、大根や人参などの野菜は所定時間を１００分に設定することができる。

また、「入庫物品の画像に対応する画像」とは、入庫物品の画像が収納食品の画像の全体又は一部と一致する場合、入庫物品の画像の形状が収納食品の画像を変形したものである場合等をいう。例えば、図７は、入庫物品の画像（ａ）が収納食品の画像（ｂ）の一部である例を示す。又、図８は、入庫物品の画像（ａ）の形状が、収納食品の画像（ｂ）を変形したものである例を示す。これにより、収納食品が冷蔵庫から取り出され、一部が使用された後、再び冷蔵庫に戻されるような場合に、その入庫物品は収納食品と同じ物品であるとして在庫を管理することができる。

また、入庫物品特定部４０７は、入庫物品の画像が、出庫時刻からの経過時間が所定の時間に満たない収納食品とは別の食品の画像に対応した場合は、新規の収納食品として、その画像とともに食品情報記憶部４０１に記憶されている食品の種類又は名称、その収納食品の入庫日、賞味期限又は消費期限を新規の在庫管理情報として在庫管理情報格納部４０３に格納する。

在庫管理情報更新部４１０は、在庫管理情報格納部４０５に格納されている在庫管理情報に、出庫時刻からの経過時間が所定時間以上である在庫管理情報が含まれる場合には、その収納食品は使用されたものとして、その在庫管理情報を在庫管理情報格納部４０５から消去する。

購入物品リスト作成部４０８は、在庫管理情報格納部４０５から或る収納食品の在庫管理情報が消去されると、その収納食品の種類又は名称を含む購入物品リストを作成する。或いは、既に購入物品リストが作成されている場合は、その購入物品リストに該収納食品の種類又は名称を追加する。一方、購入物品リスト作成部４０８は、在庫管理情報格納部４０５に新規の在庫管理情報（食品の種類又は名称、入庫日、賞味期限又は消費期限）が格納された場合であって、その収納食品の種類又は名称が購入物品リストに含まれる場合は、その種類又は名称を購入物品リストから消去する。

制御装置４００は、在庫管理情報格納部４０５に格納されている在庫管理情報の中に賞味／消費期限を経過している収納食品が含まれる場合は、賞味／消費期限切れの食品が貯蔵庫内に存在することを示す音声データ又は画像データを通信ネットワーク３、通信機器２、及び通信部１０３を介して冷蔵庫１の制御装置１００に送信する。また、制御装置４００は、出入庫判定部４０３が、物品の画像の抽出に失敗したときに、或いは出庫物品特定部４０６又は入庫物品特定部４０７が出庫物品又は入庫物品の食品種類の特定に失敗したとき、通信ネットワーク３、通信機器２、及び通信部１０３を介して冷蔵庫１の制御装置１００に物品の出入庫動作を繰り返し行うことを促す音声データ又は画像データを送信する。物品の出入庫動作を繰り返し行うことをユーザに促す音声データ又は画像データとしては、例えば、冷蔵庫１から出し入れした食品をカメラ６０に近づけることや食品の向きを変えてカメラ６０に近づけることを表す音声データや画像データである。そして、音声データ又は画像データを受信した制御装置１００は、報知器１０２又は表示部１１６に出力する。

また、制御装置４００は、購入物品リスト作成部４０８が購入物品リストを作成もしくは更新すると、その購入物品リストのデータを通信ネットワーク３を介して予め登録されている携帯端末５に送信する。これにより、ユーザが冷蔵庫1から離れた箇所にいる場合であっても、ユーザは携帯端末５に送られてきた購入物品リストを見て購入すべき食品の種類又は名称を把握することができる。

図９は、上述した本実施例に係る在庫管理システムのクラウドサーバ４における処理の流れを示すフローチャートである。図９のフローチャートは、カメラ６０によりその撮影範囲にある物品の撮影が行われ、その撮影画像データ及び撮影時刻情報が冷蔵庫１からクラウドサーバ４に送られてきたことによりスタートする。すなわち、ステップＳ１において、クラウドサーバ４の制御装置４００がカメラ６０による撮影画像データとその撮影時刻情報を受信すると、それらのデータを在庫管理情報格納部４０３に格納する。

次に、出入庫判定部４０４は撮影画像データを処理することにより貯蔵室の開口を通過する物品の出入庫を判定するとともに（ステップＳ２）、その物品の種類又は名称を特定する（ステップＳ３）。

続いて、出庫物品又は入庫物品の種類又は名称を、その物品の出庫日又は入庫日、賞味期限又は消費期限情報等を含む在庫管理情報を在庫管理情報格納部４０３に格納する（ステップＳ４）。このとき、既に在庫管理情報格納部４０３格納されている情報である場合はそれを更新し、格納されていない情報であれば新規の在庫管理情報を作成する。

また、冷蔵庫１内の収納食品が出庫されたことにより、或いは冷蔵庫1内に新たな食品が入庫されたことにより、食品の在庫状況が変化すると、その在庫状況に応じて購入物品リストを作成・更新する（ステップＳ５）。

このように本実施例によれば、ユーザが冷蔵庫１に食品を入れる場合、冷蔵庫１から食品を出す場合のいずれにおいても、該冷蔵庫１に設置されたカメラ６０によって自動的に食品の撮影が行われて該食品の出入庫が判定されるとともに該食品の種類又は名称が特定される。つまりユーザが特別な操作をしなくても冷蔵庫に出入庫される食品の種類や名称を簡単に特定して、その食品の在庫管理を行うことができる。

また、本実施例では冷蔵庫１の天板の上にカメラ保持部６１を設けたため、これに手持ちのカメラ６０を後付けで設置して該冷蔵庫１の在庫管理を行うことができる。
さらに、クラウドサーバ４を利用して冷蔵庫管理装置を構成したことにより、既存の冷蔵庫１に在庫管理のための機能をほとんど追加しなくても、該冷蔵庫１の在庫管理を行うことができる。

なお、本発明は上記した実施例に限定されることはなく、本発明の趣旨の範囲で適宜の変形又は拡張が可能である。
例えば、上記実施例では在庫管理情報格納部４０５に収納食品の在庫管理情報が消去されたこと、或いは、新規の収納食品の在庫管理情報が追加されたことに基づき、購入物品リスト作成部４０８は購入物品リストを作成／更新するようにしたが、これに代えて、出入庫判定部４０４が物品の出庫を判定すると、出庫物品特定部４０６が特定した出庫物品の種類又は名称を購入物品リストに書き込み、出入庫判定部４０４が物品の入庫を判定すると、入庫物品特定部４０７が特定した入庫物品の種類又は名称を購入物品リストから消去するようにしても良い。この構成では、在庫管理情報格納部４０５を省略することができる。

また、入庫物品特定部４０７は、入庫物品の画像を、食品情報記憶部４０１に記憶されている食品のうち、購入物品リスト作成部４０８が作成した購入物品リストに含まれる食品の種類又は名称に対応する食品の画像と優先的に照合するようにしても良い。また、これまでに冷蔵庫に収納されたことのある食品の種類又は名称を記録する履歴記録部を設け、該履歴記録部に記録されている食品の種類又は名称に対応する食品の画像と優先的に照合することも可能である。このような構成により、画像の照合から入庫物品の種類又は名称の特定までにかかる時間を短縮することができる可能性を高くすることができる。

また、冷蔵庫１にマイク等の入力手段を設けて、出入庫判定部４０３が、物品の画像の抽出に失敗したときに、或いは出庫物品特定部４０６又は入庫物品特定部４０７が出庫物品又は入庫物品の食品種類の特定に失敗したとき、制御装置４００は、通信ネットワーク３、通信機器２、及び通信部１０３を介して冷蔵庫１の制御装置１００に物品の出入庫動作を行った食品の種類又は名称を入力するようを促す音声データ又は画像データを送信するようにしても良い。そして、ユーザが入力手段を通して食品の種類又は名称を入力すると、制御装置１００は、この食品の種類又は名称をその画像データとともに、通信部１０、通信機器２、通信ネットワーク３を介して制御装置４００に送信し、これを受けて制御装置４００は、その画像データと食品の種類又は名称を食品情報記憶部４０１に記憶させる。これにより、新規の食品に関する情報を食品情報記憶部４０１に蓄積することができる。

本発明に係る物品貯蔵庫の在庫管理装置は、既存の物品貯蔵庫に大きく改良を加えること無く、また、ユーザの手を煩わすことなく、簡単に在庫管理を行うことができるようにしたものである。従って、在庫管理装置が管理する情報には、少なくとも物品貯蔵庫内の物品の在庫状況の管理が含まれていればよく、在庫期間（食品の場合は消費／賞味期限）に関する情報は含まれている必要はない。また、購入物品リストに含まれる物品を購入するか否かはユーザの判断に任せるものであり、購入物品リストに含まれる物品がいつまでも物品貯蔵庫に入庫されなくても、そのことをユーザに知らせる必要はない。このようなシンプルな構成にしたことにより、本発明に係る在庫管理装置は安価に実現することができる。

１…冷蔵庫
２…通信機器
３…通信ネットワーク
４…クラウドサーバ
５…携帯端末
１０…断熱箱体
１００…制御装置
１０２…報知器
１０３…通信部
１１０…冷蔵室
１１１…左Ｒ扉
１１２…右Ｒ扉
１１３…ポケット
１１４…操作パネル
１１５…操作スイッチ
１１６…表示部
１１７…棚板
１２０…製氷室
１２１…Ｉ扉
１３０…切替室
１３１…Ｃ扉
１４０…野菜室
１４１…Ｖ扉
１５０…冷凍室
１５１…Ｆ扉
２０…圧縮機
３０…冷却風路
４０…送風ファン
５０…冷却器
５１…冷却器室
６０…カメラ
６１…カメラ保持部
４００…制御装置
４０１…食品情報記憶部
４０２…撮影画像格納部
４０３…在庫管理情報格納部
４０４…出入庫判定部
４０５…出入庫物品情報格納部
４０６…出庫物品特定部
４０７…入庫物品特定部
４０８…購入物品リスト作成部
４１０…在庫管理情報更新部

Claims (8)

1. 開口を有する物品貯蔵室を備えた物品貯蔵庫の在庫管理装置であって、
   a)複数種の物品の見本画像をその物品の種類又は名称に関する情報とともに記憶している物品情報記憶部と、
   b)前記物品貯蔵室の開口を含む所定の撮影領域を、予め設定された時間間隔で連続的に撮影する撮影部と、
   c)前記撮影部が前記撮影領域を撮影した複数の画像から、前記開口を通過した物品の画像を抽出し、該画像の移動方向からその物品の出庫又は入庫を判定する出入庫判定部と、
   d)前記出入庫判定部によって出庫と判定された物品である出庫物品の画像を、前記物品情報記憶部に記憶されている複数の見本画像と照合して該出庫物品の種類又は名称を特定する出庫物品特定部と、
   e)前記出入庫判定部によって入庫と判定された物品である入庫物品の画像を、前記物品情報記憶部に記憶されている複数の見本画像と照合して該入庫物品の種類又は名称を特定する入庫物品特定部と、
   f)前記出庫物品特定部が特定した出庫物品の種類又は名称、及び前記入庫物品特定部が特定した入庫物品の種類又は名称を参照して、購入物品リストを作成する購入物品リスト作成部と
   を備え、
   前記購入物品リスト作成部が、前記出入庫判定部によって物品の出庫が判定されてから所定時間が経過するまでの間に該出庫が判定された物品と同じ種類又は名称の物品の入庫が判定されなかったとき、前記出庫物品の種類又は名称を含む購入物品リストを作成することを特徴とする物品貯蔵庫の在庫管理装置。
2. 請求項１に記載の在庫管理装置において、さらに、
   電気通信回線に接続可能な通信手段と、
   前記通信手段に、前記購入物品リスト作成部が作成した購入物品リストを、前記電気通信回線に接続可能な携帯端末に送信させる通信制御部とを備える、物品貯蔵庫の在庫管理装置。
3. 請求項１又は２に記載の在庫管理装置において、
   前記入庫物品特定部が、前記入庫物品の画像を、前記物品情報記憶部に記憶されている見本画像のうち、前記出入庫判定部により該入庫物品の入庫が判定されてから所定時間前までの間に出庫と判定された物品の種類又は名称の見本画像と優先的に照合することを特徴とする物品貯蔵庫の在庫管理装置。
4. 請求項１又は２に記載の在庫管理装置において、
   前記入庫物品特定部が、前記入庫物品の画像を、前記物品情報記憶部に記憶されている見本画像のうち、前記購入物品リストに含まれる種類又は名称の見本画像と優先的に照合することを特徴とする物品貯蔵庫の在庫管理装置。
5. 請求項１〜４のいずれかに記載の在庫管理装置において、さらに、
   スピーカー又は表示画面を備える報知部と、
   前記出入庫判定部が物品の画像の抽出に失敗したときに、或いは出庫物品特定部又は入庫物品特定部が出庫物品又は入庫物品の種類又は名称の特定に失敗したときに、該物品の出入庫動作を繰り返し行うことを促す音声又は画像を前記報知部に出力させる報知制御部とを備える、物品貯蔵庫の在庫管理装置。
6. 請求項１〜４のいずれかに記載の在庫管理装置において、
   スピーカー又は表示画面を備える報知部と、
   マイク又はキーボードを備える入力部と、
   前記入庫物品特定部が入庫物品の種類又は名称の特定に失敗したときに、前記入力部を用いた該物品の種類又は名称の入力を促す音声又は画像を前記報知部に出力させる報知制御部とを備え、
   前記報知制御部が、前記入力部を用いて入力された入庫物品の種類又は名称を、その入庫物品の画像とともに、前記物品情報記憶部に記憶することを特徴とする物品貯蔵庫の在庫管理装置。
7. 請求項１〜６のいずれかに記載の在庫管理装置において、
   電気通信回線に接続された管理サーバと、
   前記撮影部が撮影した画像を、前記電気通信回線を介して前記管理サーバに送信する送信装置とを備え、
   前記管理サーバが、前記物品情報記憶部、前記出入庫判定部、前記出庫物品特定部、前記入庫物品特定部、及び前記購入物品リスト作成部を備える、物品貯蔵庫の在庫管理装置。
8. 請求項１〜７のいずれかに記載の在庫管理装置において、
   前記撮影部が、前記物品貯蔵庫の外面の上部に設置されており、
   前記物品情報記憶部が、物品の俯瞰画像を見本画像として記憶している、物品貯蔵庫の在庫管理装置。

Images