JP2015081762A

JP2015081762A - 冷蔵庫

Info

Publication number: JP2015081762A
Application number: JP2013221557A
Authority: JP
Inventors: 舞子柴田; Maiko Shibata; 永田　滋之; Shigeyuki Nagata; 滋之永田; 毅内田; Takeshi Uchida; 誠岡部; Makoto Okabe
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-10-24
Filing date: 2013-10-24
Publication date: 2015-04-27
Anticipated expiration: 2033-10-24
Also published as: JP6095551B2

Abstract

【課題】ユーザの手間を軽減しつつ庫内の在庫管理を行うことができ、かつ庫内の有効な収納スペースの減少や製造コストの増加を抑えることができる冷蔵庫を提供することを目的とする。【解決手段】冷蔵室１００と、冷蔵室１００を開閉する扉８と、冷蔵室１００の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する庫内カメラ１４と、冷蔵室１００内の在庫情報を記憶する記憶部を有し、複数の画像に基づいて在庫情報を更新する制御装置７と、を備え、制御装置７は、複数の画像に基づく演算処理を行って対象物の進行方向を検出し、進行方向に基づいて対象物が冷蔵室１００に入庫されたこと又は対象物が冷蔵室１００から出庫されたことを判定する入出庫判定を行い、入出庫判定の結果に基づいて在庫情報を更新する。【選択図】図２

Description

本発明は、冷蔵庫に関するものである。

近年、一般家庭における食生活の多様化に伴い、冷蔵庫には、多種多様な食品が収納、保存されるようになっている。このような背景のもと、冷蔵庫の大容量化が進み、ますます冷蔵庫へ収納、保存される食品は増えている。冷蔵庫内は、常に多くの食品などが収納、保存されている状態にある。このため、ユーザは庫内の収納物を全て把握することは難しく、庫内の収納物を確認するだけのために、冷蔵庫の扉を開閉することもある。これにより、結果的に冷蔵庫の扉の開閉時間及び開閉回数が増え、余分なエネルギーを消費してしまう。また、ユーザが庫内の収納物を把握していないために、消費期限切れにより食品を無駄にしてしまうこともある。このように、ユーザが庫内の収納物を把握できないことを理由として、エネルギーや食品を無駄にしてしまうという問題が生じる。

以上のような問題に対して、従来から様々な在庫管理機能が提案されている。特許文献１には、ペンタッチ入力用ペンにより入力された品目、数量、賞味期限、保存場所などの食料品の在庫状況を食料品記憶部に記憶し、食料品記憶部のデータを表示装置に出力する食料品在庫管理装置が開示されている。

特許文献２には、購入品のレシート若しくはバーコードの読取り、又は入力された音声の認識によって、冷蔵庫に格納される食品の情報を登録する在庫管理冷蔵庫が開示されている。

特許文献３には、食品画像処理手段が食品の画像を取り込んだのち所定時間内に冷凍冷蔵庫の扉の開閉を検知したときその食品が入庫されたと判定し、冷凍冷蔵庫の扉の開閉を検知したのち所定時間内に食品画像を取り込み、かつその食品が在庫食品情報の中から選択できた場合にはその食品が出庫されたと判定する、冷凍冷蔵庫の食品在庫管理装置が開示されている。

特開２０００−１６３４７８号公報特開２００２−１１５９５６号公報特開平１０−９７５３号公報特開２０１０−１２１７８４号公報

しかしながら、特許文献１〜特許文献３に開示された技術では、冷蔵庫内に物品を収納する際に、食料品の情報の入力操作、レシート等の読取り操作、及び撮影開始操作など、在庫情報を登録するための特別な操作をユーザが行う必要がある。庫内の在庫管理を行うためには、冷蔵庫内に収納される全ての物品について上記のような操作を行う必要があるため、ユーザの手間が大きくなってしまうという問題点があった。

上記の問題点を解決し得る技術として、特許文献４には、庫内天井の先端及び各棚の先端に取り付けられた撮影手段により直下の棚面及び庫内底面を撮影し、撮影された画像から各棚及び底面に収納された物品の収納位置情報を生成し、撮影が行われるごとに、新たに生成された収納位置情報と記憶手段に記憶されている収納位置情報とを比較して物品の入出庫を判定し、入庫と判定された物品に対して撮影日時情報と収納位置情報とを在庫情報として生成する、冷蔵庫の在庫管理装置が開示されている。

しかしながら、特許文献４に開示された冷蔵庫の在庫管理装置では、庫内天井及び各棚のそれぞれに撮影手段を設置する必要がある。これにより、撮影手段の設置スペースを確保するために庫内の有効な収納スペースが減少してしまったり、複数の撮影手段が必要になるため冷蔵庫の製造コストが増加してしまうという新たな問題点が生じる。

本発明は、上述のような問題点を解決するためになされたものであり、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができ、かつ庫内の有効な収納スペースの減少や製造コストの増加を抑えることができる冷蔵庫を提供することを目的とする。

本発明に係る冷蔵庫は、貯蔵室と、前記貯蔵室を開閉する扉と、前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とするものである。

本発明によれば、ユーザが対象物を貯蔵室に対して出し入れするだけで、特別な操作を行うことなく在庫情報を更新することができる。したがって、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができる。

また、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。

本発明の実施の形態１に係る冷蔵庫１の構成を示す正面図である。本発明の実施の形態１に係る冷蔵庫１の構成を示す縦断面図である。本発明の実施の形態１に係る冷蔵庫１の扉８を開いた状態を示す縦断面図である。本発明の実施の形態１に係る冷蔵庫１の庫内カメラ１４で撮影される画像の一例を示す図である。本発明の実施の形態１に係る冷蔵庫１の構成を示す機能ブロック図である。本発明の実施の形態１に係る冷蔵庫１の庫内カメラ１４で撮影された一連の画像の例を時系列で示す図である。本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される画像演算処理の一例を示す説明図である。本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される画像演算処理の流れの一例を示すフローチャートである。本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される入出庫判定の流れの一例を示すフローチャートである。本発明の実施の形態１に係る冷蔵庫１の表示部３１に表示される画面表示の一例を示す図である。本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される処理の流れの一例を示すフローチャートである。本発明の実施の形態２に係る冷蔵庫１の構成を示す縦断面図である。本発明の実施の形態２に係る冷蔵庫１の構成を示す機能ブロック図である。本発明の実施の形態２において携帯端末の表示部に表示される画面表示の一例を示す図である。本発明の実施の形態２において携帯端末の表示部に表示される画面表示の別の例を示す図である。本発明の実施の形態３に係る冷蔵庫１の構成を示す縦断面図である。図１６に示す冷蔵庫１において野菜室５００の扉５０２を開いた状態を示す図である。本発明の実施の形態３に係る冷蔵庫１の野菜室用カメラ２０で撮影される画像の一例を示す図である。本発明の実施の形態３に係る冷蔵庫１の野菜室用カメラ２０近傍の構成を示す拡大図である。

実施の形態１．
本発明の実施の形態１に係る冷蔵庫について図１〜図１１を用いて説明する。なお、図１〜図１１を含む以下の図面では、各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷蔵庫１を使用可能な状態に設置したときのものである。

（冷蔵庫の構成）
図１は、本実施の形態に係る冷蔵庫１の構成を示す正面図である。図２は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図（側面断面図）である。図１及び図２に示すように、冷蔵庫１は、前面（正面）が開口されて内部に貯蔵空間が形成された断熱箱体９０を有している。断熱箱体９０は、鋼鉄製の外箱と、樹脂製の内箱と、外箱と内箱との間の空間に充填された断熱材と、を有している。断熱箱体９０の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、保冷温度帯の異なる複数の貯蔵室に区画されている。本例の冷蔵庫１は、複数の貯蔵室として、最上段に配置された冷蔵室１００と、冷蔵室１００の下方に配置された切替室２００と、切替室２００の側方に隣接して切替室２００と並列に配置された製氷室３００と、切替室２００及び製氷室３００の下方に配置された冷凍室４００と、冷凍室４００の下方に配置された最下段の野菜室５００と、を備えている。切替室２００は、冷凍温度帯（例えば−１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）、ソフト冷凍温度帯（例えば−７℃程度）等の各種温度帯に、保冷温度帯を切り替えることができるようになっている。

冷蔵室１００の前面に形成された開口部には、当該開口部を開閉する回転式の扉８が設けられている。本例の扉８は両開き式（観音開き式）であり、右扉８ａ及び左扉８ｂにより構成されている。冷蔵庫１の前面となる扉８（例えば、左扉８ｂ）の外側表面には、操作パネル６が設けられている。操作パネル６は、各貯蔵室の保冷温度等の設定を調節するための操作スイッチ（後述する操作部３０）と、各貯蔵室の温度や庫内の在庫情報などを表示する液晶表示部（後述する表示部３１）と、を備えている。また、操作パネル６は、操作部と表示部を兼ねるタッチパネルを備えていてもよい。

冷蔵室１００以外の各貯蔵室（切替室２００、製氷室３００、冷凍室４００、野菜室５００）は、それぞれ引出し式の扉によって開閉されるようになっている。これらの引出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１の奥行方向（前後方向）に開閉できるようになっている。野菜室５００には、食品等を内部に収納できる収納ケース５０１が引出し自在に格納されている。収納ケース５０１は、扉のフレームによって支持されており、扉の開閉に連動して前後方向にスライドするようになっている。同様に、切替室２００及び冷凍室４００には、食品等を内部に収納できる収納ケース２０１、４０１がそれぞれ引出し自在に格納されている。各貯蔵室に設けられる収納ケースの数はそれぞれ１つであってもよいが、冷蔵庫１全体の容量を考慮して整理性などが向上する場合には２つ以上であっても構わない。

（冷却機構）
冷蔵庫１の背面側には、各貯蔵室内を冷却する冷却手段の例として、圧縮機２と、冷却器３（蒸発器）と、送風ファン４と、風路５と、が設けられている。圧縮機２及び冷却器３は、不図示の凝縮器及び膨張手段と共に、冷凍サイクルを構成するものである。圧縮機２及び冷却器３により作り出された冷気は、送風ファン４によって送風され、冷蔵庫１の背面の風路５を通って冷凍室４００、切替室２００、製氷室３００及び冷蔵室１００に供給される。野菜室５００には、冷蔵室１００からの戻り冷気が冷蔵室用帰還風路（図示せず）を介して供給される。野菜室５００に供給された冷気は、野菜室用帰還風路（図示せず）を通って冷却器３に戻される。各貯蔵室の温度は、各貯蔵室内に設置されたサーミスタ（図示せず）により検知され、あらかじめ設定された温度になるように、風路５に設置されたダンパ（図示せず）の開度、圧縮機２の出力及び送風ファン４の送風量などを調整することで制御される。

制御装置７は、ＣＰＵ、記憶部、入出力部、タイマ等を備えたマイコンであり、冷蔵庫１の動作を制御するものである。記憶部には、冷蔵庫１の動作プログラム、後述する冷蔵庫１（例えば冷蔵室１００）内の在庫情報等が格納されている。

（冷蔵室の構成）
冷蔵室１００は、扉８の開閉状態を検知する扉開閉検知スイッチ９（扉開閉検知手段の一例）と、扉８の庫内側に設けられた１つ又は複数の扉ポケット１０と、冷蔵室１００内を複数段の空間に仕切る１つ又は複数の棚１１と、冷蔵室１００内の下方に設けられたチルドケース１２と、を備えている。冷蔵室１００の天井には、冷蔵室１００内を照明する照明部１３と、庫内カメラ１４（撮影手段の一例）と、が設けられている。

（庫内カメラ）
図３は、冷蔵庫１の扉８を開いた状態を示す縦断面図である。図３に示すように、庫内カメラ１４は、扉８を開いたときの冷蔵室１００の開口部付近が撮影可能となるように配置されている。言い換えれば、庫内カメラ１４は、扉８を開いたときの冷蔵室１００の開口部付近が撮影範囲に含まれるように配置されている。本例では、庫内カメラ１４は、冷蔵室１００の天井面のうち、棚１１よりも開口部側（手前側）となる位置に下向きに設けられている。

図４は、冷蔵庫１の庫内カメラ１４で撮影される画像の一例を示す図である。図４に示すように、画像の下部には冷蔵室１００の底面の一部が写されており、画像の上部には冷蔵室１００外の一部が写されている。このように、冷蔵室１００の開口部付近を撮影範囲とすることにより、庫内カメラ１４は、冷蔵室１００に入出庫される食品等の対象物を必ず撮影することができるようになっている。

（機能ブロック）
図５は、冷蔵庫１の構成を示す機能ブロック図である。図１又は図２に示した構成要素と同一の構成要素には同一の符号を付している。図５に示すように、制御装置７は、例えば、サーミスタ３２から冷蔵室１００内の温度の情報を取得する。制御装置７は、冷蔵室１００内の温度が操作パネル６の操作部３０で設定された設定温度に維持されるように、記憶部にあらかじめ記憶された動作プログラムに従って、圧縮機２、送風ファン４、ダンパ等の運転状態を制御する。また、制御装置７は、扉８の開閉状態を扉開閉検知スイッチ９により検知し、扉８の開閉状態に基づいて照明部１３と庫内カメラ１４を動作させる。すなわち、制御装置７は、扉開閉検知スイッチ９からの出力信号に基づいて扉８が開かれたことを検知すると、照明部１３を点灯させるとともに、庫内カメラ１４を起動させて撮影を開始させる。庫内カメラ１４は、冷蔵室１００の開口部付近をあらかじめ設定された時間間隔で撮影する。また、制御装置７は、扉開閉検知スイッチ９からの出力信号に基づいて扉８が閉じられたことを検知すると、照明部１３を消灯させるとともに、庫内カメラ１４での撮影を終了する。制御装置７は、後述するように、庫内カメラ１４での撮影により得られた複数の画像を取得し、取得した複数の画像に基づく演算処理を行い、さらに入出庫判定を実施する。制御装置７は、入出庫判定の結果に基づいて冷蔵室１００内の在庫情報を更新して記憶し、更新した在庫情報の少なくとも一部を操作パネル６の表示部３１に表示させる。

（入出庫判定）
図６は、庫内カメラ１４で撮影された一連の画像の例を時系列で示している。図６に示すように、庫内カメラ１４では、あらかじめ設定された時間間隔Δｔ毎に、複数の画像（例えば、静止画像）が得られる。本例では、扉８が開かれたことを検知した直後の時間ｔ０から、扉８が閉じられたことを検知する直前の時間ｔ５まで、時間間隔Δｔ毎に６枚の画像が得られている。制御装置７は、庫内カメラ１４から取得した複数の画像を比較し、画像演算処理を行い、差分をとることにより、動いているものを対象物として抽出する。制御装置７は、複数の画像の差分に基づいて、画像中における対象物の進行方向（進行方向ベクトル）を算出する。制御装置７は、画像中における対象物の進行方向に基づいて、対象物が冷蔵室１００に入庫されたこと、又は対象物が冷蔵室１００から出庫されたことを判定する。例えば、制御装置７は、対象物の進行方向が画像の下方向、すなわち冷蔵室１００の外部から内部に向かう方向であれば、対象物が冷蔵室１００に入庫されたと判定する。また、制御装置７は、対象物の進行方向が画像の上方向、すなわち冷蔵室１００の内部から外部に向かう方向であれば、対象物が冷蔵室１００から出庫されたと判定する。

（画像演算処理）
画像から進行方向を算出する画像演算処理の一例について説明する。図７は、制御装置７で実行される画像演算処理の一例を示す説明図である。図７の（ａ）列は、時間ｔ０〜時間ｔ５に取得された６枚の画像をそれぞれブロック単位に分割した状態を示している。図７の（ｂ）列は、時間ｔ１〜時間ｔ５の画像のそれぞれにおいて直前（Δｔ前）の画像から変化があったブロックを示している。図７の（ｃ）列は、時間間隔Δｔにおける対象物の進行方向ベクトルを示している。

まず制御装置７は、庫内カメラ１４から取得した各画像のそれぞれを複数の小さなブロック毎（例えば、画素単位）に分割し、横方向（ｘ方向）及び縦方向（ｙ方向）の位置を表す座標（ｘ，ｙ）を各ブロックに与える（図７の（ａ）列）。本例では、画像の下方向（冷蔵室１００の外部から内部に向かう方向）を＋ｙ方向（正方向）としている。

次に、制御装置７は、時間ｔ１〜時間ｔ５の画像のそれぞれにおいて直前（Δｔ前）の画像から例えば輝度等に変化があったブロックを判定する。例えば、時間ｔ１の画像と、その直前の時間ｔ０の画像とにおいて、同一座標のブロック同士の輝度Ｌ（ｘ，ｙ）を比較して差分をとる。その差分があらかじめ設定された閾値以上である場合には、当該ブロックには変化ありと判定する。ここで、制御装置７は、あらかじめ記憶部に記憶された人間の手や腕の色及び形状の特徴点などの情報に基づき、画像中における人の手及び腕を認識することができるようになっている。制御装置７は、時刻ｔ１の画像において、変化ありと判定したブロックで形成される範囲のうち、人の手及び腕を除いた範囲を対象物のブロック（対象物が動いたブロック）として検出する（図７の（ｂ）列における時間ｔ１の画像のうち「▼」（黒塗りの逆三角形）印を付したブロックの範囲）。同様に、時間ｔ２の画像と、その直前の時間ｔ１の画像とを比較し、対象物が動いたブロックを判定する。時間ｔ２の画像では、動きがあったブロックのうち、直前の時間ｔ１の画像で対象物として検出したブロック（時間ｔ１で動いたブロック）を除いたブロックを、対象物が動いたブロックとして検出する（図７の（ｂ）列における時間ｔ２の画像のうち「▼」（黒塗りの逆三角形）印を付したブロックの範囲）。続いて、時間ｔ３以降の全ての画像について同様の処理を行う。

ここで、制御装置７は、動いたブロックのうち、隣り合うブロックは同一物体であると認識し、１枚の画像中に複数の物体が認識される場合には、ブロック数が多い方の物体を対象物として認識する。これにより、影などを対象物として誤認してしまうことを防ぐことができる。なお、直接隣り合うブロックだけでなく、人の手（指、手の甲など）を挟んで間接的に隣り合うブロックを同一物体であると認識するようにしてもよい。

次に、制御装置７は、動いたと判定された対象物のブロックの座標から、時間ｔ１〜ｔ２間、時間ｔ２〜ｔ３間、・・・等の各期間における対象物の進行方向ベクトルｖ_１、ｖ_２、・・・を算出し（図７の（ｃ）列）、全ての進行方向ベクトルｖ_１、ｖ_２、・・・の和である進行方向ベクトルＶを算出して記憶部に記憶する。制御装置７は、進行方向ベクトルＶのｙ方向成分が＋（正）である場合には対象物が冷蔵室１００に入庫されたと判定し、−（負）である場合には対象物が冷蔵室１００から出庫されたと判定する。進行方向ベクトルＶのｙ方向成分が０である場合には、対象物が入庫も出庫もされていないと判定する。

図８は、制御装置７で実行される画像演算処理の流れの一例を示すフローチャートである。なお、図８に示す画像制御処理は、後述する図１１のフローチャートの一部（ステップＳ１１０）で呼び出されるサブルーチンである。制御装置７は、時間ｔ０から時間ｔｎまでΔｔ間隔で撮影されたｎ＋１枚の画像について画像制御処理を実施する。まず、内部変数ｉに１を代入し（ステップＳ１１０１）、時間ｔ１（時間ｔｉ）の画像と時間ｔ０（時間ｔｉ−１）の画像とを比較し（ステップＳ１１０２）、変化ありのブロックを検出する（ステップＳ１１０３）。次に、変化ありのブロックで形成される範囲から、人の手及び腕を検出して除外する（ステップＳ１１０４）。さらに、変化ありのブロックで形成される範囲から、時間ｔ０で動いたブロックを除外し（ステップＳ１１０５）、残りのブロックを時間ｔ１で動いたブロックとして検出する（ステップＳ１１０６）。

次に、時間ｔ１で動いたブロックのうち隣り合うブロックは同一物体であると認識した上で、時間ｔ１で動いた物体の数ｍをカウントする（ステップＳ１１０７）。物体数ｍが１である場合（ステップＳ１１０８のｙｅｓ）には、当該物体を対象物とする（ステップＳ１１０９）。物体数ｍが複数である場合（ステップＳ１１１０のｙｅｓ）には、ブロック数が最大の物体を選択し（ステップＳ１１１１）、選択した物体を対象物とする（ステップＳ１１０９）。物体数ｍが０である場合（ステップＳ１１１０のｎｏ）には、対象物がないものとして処理を進める。以上の処理により、時間ｔ１の画像において、動いたと判定された対象物のブロックが特定される。次に、内部変数ｉに１を加算し（ステップＳ１１１２）、ステップＳ１１０２〜Ｓ１１１２の処理を繰り返す。

ステップＳ１１０２〜Ｓ１１１２の処理をｎ回繰り返すと（ステップＳ１１１３のｙｅｓ）、時間ｔ１から時間ｔｎまでの全ての画像において、動いたと判定された対象物のブロックが特定される。次に、ステップＳ１１１４の処理に移行し、進行方向ベクトルの算出を行う。

まず、内部変数ｉに２を代入し（ステップＳ１１１４）、時間ｔ２（時間ｔｉ）の画像と時間ｔ１（時間ｔｉ−１）の画像とのそれぞれにおいて、対象物のブロックの代表点座標（例えば、対象物のブロックの中心座標）ｔ２（ｘ_２，ｙ_２）及びｔ１（ｘ_１，ｙ_１）を算出する（ステップＳ１１１５）。次に、算出したそれぞれの代表点座標ｔ２（ｘ_２，ｙ_２）及びｔ１（ｘ_１，ｙ_１）に基づき、時間ｔ１から時間ｔ２の間で動いた対象物の進行方向ベクトルｖ_２（ｖ_２＝（ｘ_２−ｘ_１，ｙ_２−ｙ_１））を算出する（ステップＳ１１１６）。以上の処理により、時間ｔ２の画像において、対象物の進行方向ベクトルｖ_２が算出される。次に、内部変数ｉに１を加算し（ステップＳ１１１７）、ステップＳ１１１５〜Ｓ１１１７の処理を繰り返す。

ステップＳ１１１５〜Ｓ１１１７の処理をｎ−１回繰り返すと（ステップＳ１１１８のｙｅｓ）、時間ｔ２から時間ｔｎまでの全ての画像において、対象物の進行方向ベクトルｖ_ｉが算出される。

次に、ステップＳ１１１９の処理に移行し、時間ｔ２から時間ｔｎまでの全ての画像における進行方向ベクトルｖ_ｉを足し合わせて、対象物の進行方向ベクトルＶ（Ｖ＝ｖ_２＋・・・＋ｖ_ｎ＝（Ｖ_ｘ，Ｖ_ｙ））を算出する。

図９は、制御装置７で実行される入出庫判定の流れの一例を示すフローチャートである。なお、図９に示す入出庫判定は、後述する図１１のフローチャートの一部（ステップＳ１１２）で呼び出されるサブルーチンである。まず、ステップＳ１２０１では、画像演算処理で算出された進行方向ベクトルＶ＝（Ｖ_ｘ，Ｖ_ｙ）を取得する。進行方向ベクトルＶのｙ方向成分Ｖ_ｙが０より大きい場合（ステップＳ１２０２のｙｅｓ）には、対象物が入庫されたと判定する（ステップＳ１２０３）。進行方向ベクトルＶのｙ方向成分Ｖ_ｙが０より小さい場合（ステップＳ１２０４のｙｅｓ）には、対象物が出庫されたと判定する（ステップＳ１２０５）。進行方向ベクトルＶのｙ方向成分Ｖ_ｙが０である場合（ステップＳ１２０４のｎｏ）には、対象物が入庫も出庫もされていないと判定する（ステップＳ１２０６）。

（在庫情報管理）
対象物が入庫されたと判定した場合、制御装置７は、対象物の画像と当該画像の撮影日時（すなわち、対象物が入庫された日時）とを在庫情報のレコード（１件分のデータ）として記憶部に記憶する。記憶する画像としては、庫内カメラ１４により撮影された複数の画像のうち、対象物の位置が画像の中心に最も近い画像が選択される。例えば、制御装置７は、複数の画像のうち、対象物の代表点座標と画像全体の中心座標との間の距離が最も近い画像を選択して記憶する。これにより、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができる。

対象物が出庫されたと判定した場合、制御装置７は、当該対象物に対応するレコードを在庫情報から特定し、そのレコードを在庫情報から削除する。例えば、制御装置７は、対象物の画像と、記憶部に記憶されている在庫情報の画像とを比較し、対象物の画像と同一と認識された画像を含むレコードを在庫情報から削除する。

なお、在庫情報の各レコードには対象物の入庫先の情報が含まれていないが、本例では庫内カメラ１４が設けられているのが冷蔵室１００のみであるため、在庫情報に含まれる全ての対象物の入庫先は冷蔵室１００である。複数の貯蔵室に庫内カメラが設けられている場合には、開状態となっている扉の情報に基づいて対象物の入庫先を判定し、入庫先の貯蔵室の識別情報を在庫情報の各レコードに含めるようにしてもよい。

（在庫情報の表示）
図１０は、冷蔵庫１の表示部３１に表示される画面表示の一例を示している。図１０に示すように、表示部３１は、制御装置７の記憶部に在庫情報として記憶されている画像を、撮影日時が古い順（あるいは新しい順）に並べて表示する。撮影日時、又は撮影日時に基づいて算出した保存日数を画像と共に表示してもよい。また、ユーザが操作部３０により任意の画像を選択できるようにし、画像が選択されたときに当該画像の撮影日時又は保存日数などの情報を表示するようにしてもよい。在庫情報の表示に画像を用いることにより、ユーザが在庫品を視覚的に確認できるため、在庫品を認識しやすくすることができる。また、食品の包装、容器、又は蓋などが透明で中身が視認できる場合には、当該食品の使用量及び残量も画像から確認することができる。

在庫情報の各レコードに入庫先の貯蔵室の情報が含まれている場合、表示部３１には貯蔵室毎の在庫情報を表示するようにしてもよい。図１０に示す例では、表示部３１には貯蔵室の名称（本例では「冷蔵室」）が表示されるとともに、当該貯蔵室内の在庫品の画像のみが選択的に表示されている。

（冷蔵庫の処理例）
図１１は、冷蔵庫１の制御装置７で実行される処理の流れの一例を示すフローチャートである。冷蔵庫１の運転中には、図１１に示す処理が所定の時間間隔で繰り返し実行される。制御装置７は、扉開閉検知スイッチ９からの出力信号に基づき扉８が開かれたことを検知すると（ステップＳ１０１のｙｅｓ）、照明部１３を点灯させるとともに（ステップＳ１０２）、庫内カメラ１４を起動させる（ステップＳ１０３）。また、制御装置７は、タイマをリセットしてｔ＝０とする（ステップＳ１０４）。制御装置７は、あらかじめ設定された時間間隔Δｔ（例えば、Δｔ＝１秒）が経過してｔ≧Δｔとなったら（ステップＳ１０５のｙｅｓ）、庫内カメラ１４での撮影を実施する（ステップＳ１０６）。庫内カメラ１４での撮影は、扉８が閉じられるまでの間（ステップＳ１０７のｎｏ）、時間間隔Δｔ毎に実施される。

制御装置７は、扉開閉検知スイッチ９からの出力信号に基づき扉８が閉じられたことを検知すると（ステップＳ１０７のｙｅｓ）、照明部１３を消灯させるとともに（ステップＳ１０８）、庫内カメラ１４を停止させる（ステップＳ１０９）。

次に、制御装置７は、庫内カメラ１４で撮影された画像に基づく画像演算処理を実行し（ステップＳ１１０、図８）、その結果から進行方向ベクトルＶを取得し（ステップＳ１１１）、入出庫判定を実施する（ステップＳ１１２、図９）。対象物が入庫されたと判定した場合（ステップＳ１１３のｙｅｓ）、制御装置７は、対象物の画像（例えば、複数の画像から選択された１つの画像）及び撮影日時を在庫情報の新たなレコードとして記憶部に記憶し（ステップＳ１１４）、在庫情報を更新する。また、制御装置７は、更新された在庫情報を表示部３１に表示する（ステップＳ１１５）。

対象物が出庫されたと判定した場合（ステップ１１６のｙｅｓ）、記憶部に記憶されている在庫情報の画像から対象物の画像と同一と認識される画像を検索する（ステップＳ１１７）。対象物の画像と同一と認識される画像が特定された場合には、当該画像を含む在庫情報のレコード（画像及び撮影日時の情報）を削除するとともに、表示部３１の表示からも削除する（ステップＳ１１８）。対象物の画像と同一と認識される画像が特定できなかった場合には、その旨の情報を表示部３１に表示するようにしてもよい。入庫も出庫もされていないと判定した場合には（ステップＳ１１６のｎｏ）、そのまま処理を終了する。

以上説明したように、本実施の形態に係る冷蔵庫１は、冷蔵室１００（貯蔵室の一例）と、冷蔵室１００を開閉する扉８と、冷蔵室１００の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する庫内カメラ１４（撮影手段の一例）と、冷蔵室１００内の在庫情報を記憶する記憶部を有し、複数の画像に基づいて在庫情報を更新する制御装置７と、を備え、制御装置７は、複数の画像に基づく演算処理（例えば、図８に示す画像演算処理）を行って対象物の進行方向を検出し、進行方向に基づいて対象物が貯蔵室に入庫されたこと又は対象物が貯蔵室から出庫されたことを判定する入出庫判定（例えば、図９に示す入出庫判定）を行い、入出庫判定の結果に基づいて在庫情報を更新することを特徴とするものである。

この構成によれば、ユーザが食品等の対象物を貯蔵室に対して出し入れするだけで、情報を登録又は削除するための特別な操作を行うことなく、貯蔵室の在庫情報を更新することができる。これにより、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができるため、冷蔵庫１の利便性が向上する。また、在庫管理を簡単に行うことができるため、死蔵品や使い忘れなどにより食品を無駄にしてしまうことを防ぐことができる。

また、本実施の形態に係る冷蔵庫１は、扉８の開閉状態を検知する扉開閉検知スイッチ９（扉開閉検知手段の一例）をさらに備え、庫内カメラ１４は、扉開閉検知スイッチ９が扉８の開状態を検知したことに基づいて撮影を開始することを特徴とするものである。

この構成によれば、扉８が開かれたことを契機として庫内カメラ１４による撮影が開始されるため、冷蔵室１００に入出庫される対象物をより確実に撮影することができる。また、扉８の開閉状態を検知することによって、対象物の入庫先となる貯蔵室を容易に特定することができる。

また、本実施の形態に係る冷蔵庫１は、制御装置７は、対象物が冷蔵室１００に入庫されたと判定した場合、複数の画像のうち対象物の位置が画像の中心に最も近い画像を、在庫情報に含まれるデータ（レコード）として記憶することを特徴とするものである。

この構成によれば、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができるため、ユーザによる在庫情報の確認が容易となるとともに、在庫情報のデータ容量を削減することができる。

また、本実施の形態に係る冷蔵庫１は、制御装置７は、対象物が冷蔵室１００から出庫されたと判定した場合、在庫情報から対象物に対応するデータを特定し、当該データを在庫情報から削除することを特徴とするものである。

この構成によれば、在庫情報を容易かつ確実に更新することができる。

また、本実施の形態に係る冷蔵庫１は、扉８の外側表面に設けられた表示部３１を含む報知手段をさらに備え、制御装置７は、報知手段に在庫情報を報知（例えば、表示）させることを特徴とするものである。

この構成によれば、扉８を開かずに表示部３１によって冷蔵室１００内の在庫情報を確認することができるため、扉８の開閉頻度を低減でき、冷蔵庫１の省エネルギー化を実現できる。

本実施の形態では、特許文献４の在庫管理装置のように各棚面及び庫内底面のそれぞれにおける物品の収納位置情報に基づいて在庫管理を行うのではなく、貯蔵室の開口部を通過する対象物を撮影し、撮影画像に基づいて対象物の進行方向を検出し、入出庫判定を行うことにより在庫管理を行っている。したがって、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、本実施の形態によれば、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。

なお、本例では、庫内カメラ１４が冷蔵室１００の天井面に設けられているが、庫内カメラ１４は冷蔵室１００の他の位置に設けられていてもよい。また、庫内カメラ１４が設けられるのは冷蔵室１００に限られず、他の貯蔵室であってもよい。

実施の形態２．
本発明の実施の形態２に係る冷蔵庫について説明する。図１２は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図である。図１３は、本実施の形態に係る冷蔵庫１の構成を示す機能ブロック図である。なお、実施の形態１と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。

図１２及び図１３に示すように、本実施の形態に係る冷蔵庫１は、電気通信回線１６と接続可能な通信手段１５を有している。通信手段１５は、例えば冷蔵庫１の上面に設けられており、制御装置７と接続されている。これにより、制御装置７は、電気通信回線１６を介して、タブレット端末４１又は携帯電話４０（スマートフォンを含む）などの携帯端末との間でデータの送受信を行うことができるようになっている。

電気通信回線１６は、電灯線、赤外線、非赤外線、無線、公衆回線、光ケーブル、ＩＳＤＮ、ＡＤＳＬ、インターネット、衛星等のデジタル又はアナログの信号の通信回線を含む。通信手段１５は、デジタル又はアナログの信号を送受信できるインターフェースである。有線による通信を行う場合には、通信手段１５は、例えば、シリアルインターフェース又はドライバを備える。無線による通信を行う場合には、通信手段１５は、例えば、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格に対応した通信モジュールを備える。

図１４は、携帯端末（例えば、タブレット端末４１）の表示部に表示される画面表示の一例を示している。図１４に示すように、携帯端末の表示部には、制御装置７の記憶部に記憶されている在庫情報の画像が一覧となって表示されている。ユーザは、冷蔵室１００内の在庫情報を知りたいとき、携帯端末を操作して、電気通信回線１６を介して制御装置７に在庫情報の要求を行う。制御装置７は、通信手段１５により携帯端末からの在庫情報の要求を受け取ると、記憶部から在庫情報を読み出し、読み出した在庫情報を通信手段１５により電気通信回線１６を介して携帯端末に送信する。携帯端末側では、受信した在庫情報が、例えば図１４に示したように表示部に表示される。これにより、在庫情報は、冷蔵庫１の表示部３１だけでなく、携帯端末の表示部にも表示される。

図１５は、携帯端末（例えば、タブレット端末４１）の表示部に表示される画面表示の別の例を示している。図１５に示すように、携帯端末の表示部には、制御装置７の記憶部に記憶されている在庫情報が、アイコン化された画像（アイコン画像）の一覧となって表示されている。アイコン画像とは、食品の種類を表す簡略化された画像である。本例において、制御装置７は、庫内カメラ１４により撮影された画像に基づいて画像演算処理及び入出庫判定を実行する。入出庫判定において対象物が入庫されたと判定した場合、制御装置７は、対象物の画像と撮影日時とを在庫情報のレコードとして記憶するとともに、撮影された画像内の対象物と、あらかじめ記憶部に記憶された食品の種類毎の形状及び色等の特徴点の情報とを比較し、対象物と一致する食品の種類を判定する。判定した食品の種類の情報は、在庫情報のレコードの一部として対象物と対応付けて記憶される。また、制御装置７の記憶部には、食品の種類毎にあらかじめ設定されたアイコン画像が記憶されている。制御装置７は、携帯端末からの情報の要求を受け取ると、携帯端末に対し、例えば在庫情報のうち各対象物の撮影画像以外の情報と、各対象物に対応付けられたアイコン画像とを通信手段１５に送信させる。携帯端末側では、受信した在庫情報が、例えば図１５に示したようにアイコン画像の一覧として表示部に表示される。アイコン画像を用いて在庫情報を表示することにより、電気通信回線１６を介して送信する情報量を、撮影画像そのものを送信するのに比べて小さくすることができる。また、外出先など他人のいるところで在庫情報を確認するとき、アイコン画像を用いて在庫情報を表示することにより、撮影画像を表示するのに比べてプライバシーを守ることができる。なお、食品の種類毎に設定されたアイコン画像は、あらかじめ携帯端末側に記憶されていてもよい。この場合、電気通信回線１６を介して送信する情報量をさらに小さくすることができる。

本実施の形態では、冷蔵庫１の表示部３１と携帯端末の表示部との双方に在庫情報を表示できるようになっているが、ユーザは携帯端末を用いて在庫情報を確認することができるため、冷蔵庫１の表示部３１は設けられていなくてもよい。

以上説明したように、本実施の形態に係る冷蔵庫１は、電気通信回線１６に接続可能な通信手段１５をさらに備え、制御装置７は、電気通信回線１６に接続可能な携帯端末（例えば、携帯電話４０、タブレット端末４１等）に、前記在庫情報を前記通信手段に送信させることを特徴とするものである。

この構成によれば、携帯端末を所持したユーザは、冷蔵庫１のそばにいなくても、好きな場所で冷蔵室１００の在庫情報を把握することができるため、利便性が向上する。また、携帯端末を所持したユーザは、買い物先などの遠隔地で冷蔵室１００の在庫情報を把握することができるため、食品を重複して購入したり、食品を補充し忘れたりするミスを防ぐことができる。

実施の形態３．
本発明の実施の形態３に係る冷蔵庫について説明する。図１６は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図である。なお、実施の形態１又は２と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。

図１６に示すように、本実施の形態に係る冷蔵庫１は、冷凍室４００を開閉する引出し式の扉４０２と、冷凍室４００内に引出し自在に格納され、扉４０２の開閉と連動して引き出される収納ケース４０１と、野菜室５００を開閉する引出し式の扉５０２と、野菜室５００内に引出し自在に格納され、扉５０２の開閉と連動して引き出される収納ケース５０１と、を備えている。冷凍室４００とその上方の切替室２００及び製氷室３００とを仕切る仕切り部材１７には、冷凍室用カメラ１８が設けられている。野菜室５００とその上方の冷凍室４００とを仕切る仕切り部材１９には、野菜室用カメラ２０が設けられている。冷凍室用カメラ１８は、冷凍室４００の扉４０２が閉じられた状態では、仕切り部材１７の先端部に形成された格納部内に格納されている。扉４０２が開かれると、冷凍室用カメラ１８は手前側に突出するように移動する。同様に、野菜室用カメラ２０は、野菜室５００の扉５０２が閉じられた状態では、仕切り部材１９の先端部に形成された格納部内に格納されており、扉５０２が開かれると手前側に突出するように移動する。野菜室用カメラ２０の構成については後述する。

図１７は、図１６に示す冷蔵庫１において野菜室５００の扉５０２を開いた状態を示している。図１７に示すように、扉５０２が開かれると、収納ケース５０１が連動して引き出されるとともに、野菜室用カメラ２０が手前側に突出する。これにより、野菜室用カメラ２０は、収納ケース５０１の上面開口部（貯蔵室の開口部の一例）を撮影可能となる。また、制御装置７は、不図示の扉開閉検知スイッチからの出力信号に基づいて、野菜室５００の扉５０２が開かれたことを検知する。

図１８は、野菜室用カメラ２０で撮影される画像の一例を示す図である。図１８に示すように、画像の下部には、収納ケース５０１の底面の一部と、手前側の内側側面のほぼ全体と、左右の内側側面の一部とが写されている。画像の上部には、収納ケース５０１の外部の一部（例えば、扉５０２の庫内側表面）が写されている。このように、収納ケース５０１の上面開口部付近を撮影範囲とすることにより、野菜室用カメラ２０は、収納ケース５０１に入出庫される食品等の対象物を必ず撮影することができるようになっている。

野菜室用カメラ２０で撮影される画像を用いた入出庫判定においては、対象物の進行方向が画像の下方向、すなわち収納ケース５０１の外部から内部に向かう方向であれば、対象物が収納ケース５０１（野菜室５００）に入庫されたと判定し、対象物の進行方向が画像の上方向、すなわち収納ケース５０１の内部から外部に向かう方向であれば、対象物が収納ケース５０１（野菜室５００）から出庫されたと判定する。

野菜室用カメラ２０の構成について説明する。図１９は、野菜室用カメラ２０近傍の構成を示す拡大図である。図１９では、扉５０２を開いている途中の状態を示している。図１９に示すように、仕切り部材１９の先端部には、野菜室用カメラ２０を格納する格納部５０が形成されている。格納部５０の前面側（手前側）には、野菜室用カメラ２０の出入りが可能な開口部が形成されている。格納部５０の開口部は、扉５０２が閉じられると扉５０２によって閉塞される。野菜室用カメラ２０は、格納部５０内に水平に設けられた支持レール２１によって、所定の可動範囲で前後方向にスライド可能に支持されている。野菜室用カメラ２０が背面側（奥側）の可動端に位置しているとき、野菜室用カメラ２０は格納部５０内に格納される。野菜室用カメラ２０が手前側の可動端に移動すると、野菜室用カメラ２０は、格納部５０の開口端、すなわち仕切り部材１９の先端部よりも手前側に突出する。図１９に示す状態では、野菜室用カメラ２０は手前側の可動端付近に位置している。野菜室用カメラ２０の手前側の先端部には、金属部２２が設けられている。扉５０２の庫内側には、金属部２２に対応する位置にマグネット２３が設けられている。支持レール２１、金属部２２及びマグネット２３等は、扉５０２が開かれたときに野菜室用カメラ２０を手前側に突出させる突出機構を構成する。

扉５０２が閉じられているときには、野菜室用カメラ２０は奥側の可動端付近に位置しており、扉５０２と干渉せずに格納部５０内に格納される。このとき、扉５０２に設けられたマグネット２３と野菜室用カメラ２０の金属部２２とが接触し、磁力により互いに吸着するようになっている。扉５０２が開かれると、野菜室用カメラ２０は、マグネット２３と金属部２２との吸着により扉５０２と連動して引き出され、手前側の可動端に移動する。扉５０２がさらに開かれると、マグネット２３と金属部２２とが離れ、野菜室用カメラ２０は手前側の可動端に止まる。このとき、野菜室用カメラ２０は、扉開口部の手前側に突出しているため、収納ケース５０１の上面開口部付近が撮影可能となる。扉５０２が閉じられると、野菜室用カメラ２０は、扉５０２によって押し込まれて奥側の可動端付近に戻り、格納部５０内に格納される。

このような構成により、野菜室用カメラ２０は、扉５０２が閉じられているときには、扉５０２や収納ケース５０１に干渉することなく格納部５０内に格納することができる。また、野菜室用カメラ２０は、扉５０２が開かれたときには、扉開口部の手前側に突出することにより収納ケース５０１の上面開口部付近の画像を撮影することができる。

ここでは野菜室用カメラ２０について説明したが、冷凍室用カメラ１８も野菜室用カメラ２０と同様の構成を有している。また、野菜室５００及び冷凍室４００だけでなく、他の貯蔵室にも同様のカメラが設けられるようにしてもよい。

その他の実施の形態．
本発明は、上記実施の形態に限らず種々の変形が可能である。
例えば、上記実施の形態では、報知手段として、在庫情報を視覚的に表示する冷蔵庫の表示部及び携帯端末の表示部を例に挙げたが、報知手段は、在庫情報を音声出力により報知する音声出力部であってもよい。音声出力部は、冷蔵庫に設けられていてもよいし、携帯端末に設けられていてもよい。

また、上記の各実施の形態や変形例は、互いに組み合わせて実施することが可能である。

１冷蔵庫、２圧縮機、３冷却器、４送風ファン、５風路、６操作パネル、７制御装置、８扉、８ａ右扉、８ｂ左扉、９扉開閉検知スイッチ、１０扉ポケット、１１棚、１２チルドケース、１３照明部、１４庫内カメラ、１５通信手段、１６電気通信回線、１７、１９仕切り部材、１８冷凍室用カメラ、２０野菜室用カメラ、２１支持レール、２２金属部、２３マグネット、３０操作部、３１表示部、３２サーミスタ、４０携帯電話、４１タブレット端末、５０格納部、９０断熱箱体、１００冷蔵室、２００切替室、２０１、４０１、５０１収納ケース、３００製氷室、４００冷凍室、４０１、５０１収納ケース、４０２、５０２扉、５００野菜室。

Claims

貯蔵室と、
前記貯蔵室を開閉する扉と、
前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、
前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、
前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とする冷蔵庫。
前記扉の開閉状態を検知する扉開閉検知手段をさらに備え、
前記撮影手段は、前記扉開閉検知手段が前記扉の開状態を検知したことに基づいて撮影を開始することを特徴とする請求項１に記載の冷蔵庫。
前記制御装置は、前記対象物が前記貯蔵室に入庫されたと判定した場合、前記複数の画像のうち前記対象物の位置が画像の中心に最も近い画像を、前記在庫情報に含まれるデータとして記憶することを特徴とする請求項１又は請求項２に記載の冷蔵庫。
前記制御装置は、前記対象物が前記貯蔵室から出庫されたと判定した場合、前記在庫情報から前記対象物に対応するデータを特定し、当該データを前記在庫情報から削除することを特徴とする請求項１〜請求項３のいずれか一項に記載の冷蔵庫。
前記扉の外側表面に設けられた表示部を含む報知手段をさらに備え、
前記制御装置は、前記報知手段に前記在庫情報を報知させることを特徴とする請求項１〜請求項４のいずれか一項に記載の冷蔵庫。
電気通信回線に接続可能な通信手段をさらに備え、
前記制御装置は、前記電気通信回線に接続可能な携帯端末に、前記在庫情報を前記通信手段に送信させることを特徴とする請求項１〜請求項５のいずれか一項に記載の冷蔵庫。
前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出することを特徴とする請求項１〜請求項６のいずれか一項に記載の冷蔵庫。