JP2015169412A - 冷蔵庫及び冷蔵庫を備えたネットワークシステム - Google Patents

Abstract

【課題】全体画像から抽出した収納物画像を用い、出入庫に伴う庫内の在庫管理を行うことが可能な冷蔵庫及び冷蔵庫を備えたネットワークシステムを提供する。【解決手段】冷蔵室１００と、冷蔵室１００の開口部を開閉する冷蔵室扉１０１と、冷蔵室１００内を撮影するカメラ２と、カメラ２で撮影された、冷蔵室扉１０１の開閉前後の冷蔵室１００内の全体画像に基づいて、入庫及び出庫した収納物の画像を抽出する入出庫食品抽出装置６と、入出庫食品抽出装置６で抽出された収納物画像を、入庫であるのか又は出庫であるのかを示す入出庫識別情報と、扉開閉動作が行われた時刻情報とともに保存する画像メモリ７ａとを備えた。【選択図】図２

Description

本発明は冷蔵庫、特に庫内の食品収納状況を画像で把握することが可能な冷蔵庫及び冷蔵庫を備えたネットワークシステムに関するものである。

家庭用冷蔵庫には、食生活の多様化に伴い様々な食品が保管されており、さらに収納力増強のために大容量化が進み、庫内の収納状況を把握することは益々困難になっている。また、近年、共働き世帯の増加により、主婦でも庫内の収納状況を完璧に把握することは困難であり、保管していた食品を放置して消費期限切れで廃棄した、逆にいざ料理しようとした時に必要な食材の買い置きがなかったというケースが頻発し、夫婦で買い物を分担すると、重複買いで食材が無駄になったという経験談も聞かれる。

庫内の収納状況を確認するには、直接扉を開けて見るのが最も簡単な方法であるが、扉の開閉は庫内の温度上昇を招き、再冷却のためのエネルギが無駄であり、保管されている食品の品質にとっても悪影響がある。したがって、扉を開けずに、さらに買い物中等の遠隔地から冷蔵庫内の収納状況を把握できれば、食品やエネルギの無駄を抑制でき、食品の保存品質も維持できるという付加価値が得られる。

そこで、庫内の食品を写し、画像データで庫内の収納負荷状況を確認する従来の冷蔵庫として、ＣＣＤカメラがドアの庫内側に埋め込まれたカメラ付ドアを用いた冷蔵庫が提案されている（例えば特許文献１参照）。

また例えば、庫内の画像をサーバ経由でユーザの携帯端末に送信し、庫内を監視する従来の冷蔵庫として、画像により庫内の収納物の変化を検出し、変化した位置を特定する物品保存庫が提案されている（例えば特許文献２参照）。この特許文献２では、庫内の全体画像に対し、収納物の変化位置を枠で囲む等の画像処理を行うことで、収納物が変化した位置を容易に識別可能となるようにしている。

特開２００１−３１７８５８号公報（段落［００４０］−［００４９］、図４、図５） 特開２００７−４６８３４号公報（段落［００２１］−［００２７］、図１−図３）

特許文献１に記載の冷蔵庫では、庫内の右端から左端まで撮影できるので、隅に置かれた食材も把握することができる。しかし、特許文献１の技術では、収納物の出入庫に伴う在庫管理については全く検討されておらず、庫内における収納物の変化を容易に検知することはできないという課題があった。

特許文献２に記載の冷蔵庫では、収納物の変化が検出された場合に、変化位置が識別可能となるように画像処理して携帯端末に画像データを送っている。このため、ユーザは遠隔地において、いちいち問い合わせることなく収納物の変化を把握できる。しかし、携帯端末に送信される画像データは、全体画像に収納物の変化位置を重畳した画像データであるため、データ容量が大きくなる。また、収納物の変化位置のみを検知しているので、収納物の入庫や出庫は判別できないという課題があった。

本発明は、上述のような課題を解決するためになされたものであり、全体画像から抽出した収納物画像を用い、出入庫に伴う庫内の在庫管理を行うことが可能な冷蔵庫及び冷蔵庫を備えたネットワークシステムを提供することを目的とする。

本発明に係る冷蔵庫は、貯蔵室と、貯蔵室の開口部を開閉する扉と、貯蔵室内を撮影する撮影手段と、撮影手段で撮影された、扉の開閉前後の貯蔵室画像に基づいて入庫及び出庫した収納物の画像を抽出する入出庫収納物抽出手段と、入出庫収納物抽出手段で抽出された収納物画像を、入庫であるのか又は出庫であるのかを示す入出庫識別情報と、扉の開閉動作が行われた時刻情報とともに保存する画像記憶手段とを備えたものである。

本発明に係るネットワークシステムは、前記冷蔵庫を備えたものである。

本発明によれば、収納物自身の画像データを用いて出入庫に伴う庫内の在庫管理を行うことが可能な冷蔵庫及び冷蔵庫を備えたネットワークシステムを得ることができる。

本発明の実施の形態１に係る冷蔵庫の概略構成図（正面図）である。 本発明の実施の形態１に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。 本発明の実施の形態１に係る冷蔵庫の冷蔵室における、食品入出庫時の撮影データの一例である。 本発明の実施の形態１に係る冷蔵庫における、携帯端末における入出庫食品画像の表示方法の一例である。 本発明の実施の形態１に係る冷蔵庫における、携帯端末における在庫食品画像の表示方法の一例である。 本発明の実施の形態２に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。 本発明の実施の形態３に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。 本発明の実施の形態３に係る冷蔵室における、携帯端末における収納量推定結果及び在庫食品画像の表示方法の一例である。 本発明の実施の形態４に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。 本発明の実施の形態４に係る冷蔵庫の冷蔵室における、温度履歴を示す実測データ（収納容積占有率：０％）の一例である。 本発明の実施の形態４に係る冷蔵庫の冷蔵室における、温度履歴を示す実測データ（収納容積占有率：４０％）の一例である。 本発明の実施の形態４に係る冷蔵庫の冷蔵室における、温度履歴を示す実測データ（収納容積占有率：７０％）の一例である。 本発明の実施の形態５に係る冷蔵庫の概略構成図（側面投影図）である。 本発明の実施の形態６に係る冷蔵庫が載置される宅内システムの概略構成図である。 本発明の実施の形態７に係る冷蔵庫が載置される宅内システム、及び宅外システムの概略構成図である。

［実施の形態１］
図１は、本発明の実施の形態１に係る冷蔵庫の概略構成図（正面図）である。図２は、本発明の実施の形態１に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。
図１に示すように、冷蔵庫１０００は、複数の貯蔵室を備えている。例えば、貯蔵室は、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００、野菜室５００からなる。詳細に説明すると、各貯蔵室は、上から冷蔵室１００、製氷室２００及び切替室３００、冷凍室４００、野菜室５００の順で配置されている。また、冷蔵室１００の扉には、各貯蔵室温度の設定や、現在の温度情報や庫内の画像や収納状況の表示が可能な操作パネル１が設置されている。なお、操作パネル１の設置位置は、冷蔵室１００の扉に限るものではなく、他の貯蔵室の扉や冷蔵庫１０００の側面に設置されてもよい。

図２において、冷蔵室１００は、前面側を冷蔵室扉１０１によって閉塞され、内部には複数の冷蔵室棚板１０２が設置されており、複数の空間（棚）に仕切られた構成となっている。また、最下段の冷蔵室棚板１０２によって、冷蔵室１００とチルド室１１０は仕切られており、チルド室１１０の内部には、図示しないレール等の案内治具に沿って、冷蔵室扉１０１側へ引き出すことができるチルドケース１１１が設置されている。

冷蔵室扉１０１の内面には、冷蔵室１００の天井面からチルド室１１０までを視野範囲とするカメラ２が設置されており、ユーザの視点と同じ冷蔵室扉１０１側から撮影することが可能な構成となっている。なお、カメラ２の設置位置は、冷蔵室扉１０１の内面に限るものではなく、冷蔵室棚板１０２に載置される食品等の収納物を広範囲に撮影できる位置であればどこでもよく、例えば天井面に設置された照明装置４の近傍に設置すれば、照度が確保できるため撮影しやすいという利点がある。

また、冷蔵室扉１０１と接する冷蔵室１００の本体側に、冷蔵室扉１０１の開閉を検知する扉開閉検知センサ３が設置されている。扉開閉検知センサ３の主な役割は照明装置４の制御に関わり、冷蔵室扉１０１の開状態が検知された時に照明装置４が点灯され、閉状態が検知された時には照明装置４が消灯される。扉開閉検知センサ３としては、例えば、冷蔵室扉１０１に埋め込まれたマグネット（磁石）の近接を、冷蔵庫本体側に設置された一対のリードスイッチが距離によって検出するマグネット方式が一般的である。

また、冷蔵庫１０００の背面には、撮影信号発信装置５と、入出庫食品抽出装置６と、画像メモリ７ａを有する表示制御装置７と、無線通信装置８とを備えた制御装置が実装された、制御基板１００１が設置されている。制御装置は例えばマイクロコンピュータ等で構成されている。撮影信号発信装置５は、カメラ２、扉開閉検知センサ３、及び照明装置４と接続されており、扉開閉検知センサ３の検知結果に応じてカメラ２の撮影タイミングと、照明装置４の点灯、消灯のタイミングとを制御する。

入出庫食品抽出装置６は、カメラ２及び画像メモリ７ａと接続され、カメラ２により撮影された冷蔵室１００内の全体画像（貯蔵室画像）から、入庫又は出庫した食品画像（収納物画像）を抽出し、抽出された食品画像のみを画像メモリ７ａに転送する。画像メモリ７ａに転送された食品画像は、時刻情報と、入庫であるのか又は出庫であるのかを示す入出庫識別情報等とを含む画像付随情報とともに保存される。さらに、画像メモリ７ａは操作パネル１、及び、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信モジュールが具備されている無線通信装置８と接続されており、表示制御装置７は、画像メモリ７ａに記憶された食品画像と画像付随情報を、操作パネル１に表示させる、あるいは、無線通信装置８を介してユーザ端末である携帯端末等へ送信することが可能な構成となっている。

次に、図１及び図２を用いて動作の一例について説明する。
図２において、扉開閉検知センサ３により、冷蔵室扉１０１が開けられたことが検知された際、撮影信号発信装置５は、照明装置４を点灯させる。そして、庫内の食品の出し入れ等が行われる。そして、冷蔵室扉１０１が閉じられたことが検知された際、撮影信号発信装置５は、まずカメラ２に撮影実施を指示し、撮影終了後、照明装置４を消灯させる。撮影された冷蔵室１００内の全体画像は、一旦入出庫食品抽出装置６に保存される。したがって、入出庫食品抽出装置６には冷蔵室扉１０１の開閉毎に、カメラ２から冷蔵室１００の全体画像が１枚送られてくることになる。

入出庫食品抽出装置６は、前回と今回の扉開閉時＝扉を閉じた時における、冷蔵室１００内の全体画像を内部に記憶し、この２枚の全体画像の差分を演算することにより、今回の扉開閉における画像の変化、すなわち食品の入出庫を抽出することができる。さらに差分により変化した部分を分析し、例えばエッジ処理したエッジの変化量や、冷蔵室１００内がカラ状態である全体画像と比較することにより、食品の入庫／出庫を判断することが可能となる。

入出庫食品抽出装置６において抽出された、扉開閉毎の食品画像と、その画像に付随する、撮影時刻（今回の扉開閉時の撮影時刻）及び入出庫識別情報は、画像メモリ７ａに転送されて保存される。保存された食品画像や画像に付随する情報は、ユーザの要求により、操作パネル１や、無線通信装置８を介したユーザの携帯端末に表示され、最新の扉開閉時だけでなく、過去に遡って呼び出して表示することができる。

図３は、本発明の実施の形態１に係る冷蔵庫の冷蔵室における、食品入出庫時の撮影データの一例を示す図である。図３には、冷蔵室扉１０１の開閉時に、カメラ２によって撮影された冷蔵室１００内の全体画像と、その際に入出庫食品抽出装置６によって抽出され画像メモリ７ａに保存された、食品画像及び画像に付随する情報とを時系列に並べて示している。（ａ）は時刻Ａにて入出庫のなかった基準画像、（ｂ）は時刻Ｂにてビールが出庫した時、（ｃ）は時刻Ｃにてサラダが出庫した時、（ｄ）は時刻Ｄにて牛乳とケーキが入庫した時に得られた、画像及び画像付随情報である。

図３において、食品画像を、時刻及び入出庫識別情報とともに保存しているので、入庫時刻から、入庫した食品のおおよその賞味／消費期限を推定することが可能となり、画像データとして在庫食品を管理することが可能となる。ここで、画像メモリ７ａに保存される画像データは、抽出された食品画像のみである。また、入出庫食品抽出装置６に記憶される、容量の大きい冷蔵室１００の全体画像も、差分の基準画像となる１枚のみである。すなわち、入出庫食品抽出装置６は、食品画像の抽出後、最新の全体画像のみを記憶し、それ以外は消去する。

このように、画像メモリ７ａ及び入出庫食品抽出装置６に記憶する画像データ量の低減を図っているため、メモリ容量やデータの通信負荷を低減するという効果がある。さらに、保存するデータは扉開閉時に限定しているが、食品の入出庫には必ず扉開閉が伴うので、定刻や現在時刻等在庫食品を管理するうえで不要なデータを保管することなく、必要最低限の撮影・処理・保存動作により、最新の収納状況を確認でき、在庫管理という目的を達成することができる。

そして、表示制御装置７は、画像メモリ７ａ内の保存データに基づいて冷蔵室１００内の在庫を確認可能な表示画面を操作パネル１に出力又は無線通信装置８を介して携帯端末に出力する。ユーザは、操作パネル１又は携帯端末の表示部に表示された表示画面を確認することで、庫内の在庫確認を行うことができる。以下、その表示画面の一例について説明する。

図４は、本発明の実施の形態１に係る冷蔵庫における、携帯端末における入出庫食品画像の表示方法の一例を示す図である。図４には、入出庫食品抽出装置６において抽出され画像メモリ７ａに保存された、扉開閉毎の食品画像、及びその画像に付随する撮影時刻と入出庫識別情報を、並び換えて表示した例を示している。（ａ）は食品画像を撮影時刻及び入出庫識別情報とともにタイムライン表示した一例である。（ｂ）は食品画像を入庫又は出庫に分け、それぞれにおいて食品画像を時系列にリスト表示した一例である。

図４より、抽出された食品画像のみを簡単に閲覧できるので、（ａ）タイムライン表示では、例えば対象とする食品について時間を遡って検索して、賞味／消費期限を推定することが可能となる。よって、食品を廃棄する等の無駄を防ぐことが可能となる。また、（ｂ）リスト表示では、遠隔地、例えば買い物先において、対象とする食品の入庫及び出庫の履歴から現在の残量を推定し、無駄な食材の買い過ぎや買い忘れを防止することが可能となる。

また図５は、本発明の実施の形態１に係る冷蔵庫における、携帯端末における在庫食品画像の表示方法の一例を示す図である。図５には、入出庫食品抽出装置６において抽出され画像メモリ７ａに保存された、扉開閉毎の食品画像、及びその画像に付随する撮影時刻と入出庫識別情報から、ある時刻において在庫していると推定される食品画像を表示したものである。図５のように、時刻毎に在庫食品画像を一覧にして表示すれば、図４（ｂ）で示したリスト表示よりも、さらに明確に在庫状況がわかるので、買い物における効果が期待できる。

このように、本実施の形態１では、庫内の最新状況を画像として取得し、入出庫された食品、及び在庫食品を検知し、必要最低限の画像データ（食品画像）と画像付随情報（撮影時刻、入出庫識別情報）を携帯端末や操作パネル１に送信する。これにより、宅内又は宅外においてユーザが収納状況、特に食品の入出庫を容易に把握することが可能な、在庫管理機能を有する冷蔵庫を得ることができる。

なお、本実施の形態１では、カメラ２による撮影タイミングを扉閉時としているため、前回の扉閉時の全体画像と今回の扉閉時の全体画像との比較により、入出庫された食品画像を得ているが、次のようにしてもよい。前回の扉閉時の全体画像は、今回の扉開時の全体画像に等しいため、今回の扉開時の全体画像と今回の扉閉時の全体画像との比較により、入出庫された食品画像を得るようにしてもよい。そして、その食品画像とともに冷蔵室扉１０１の開閉動作が行われた時刻及び入出庫識別情報等の画像付随情報を画像メモリ７ａに記憶すればよい。要するに、冷蔵室扉１０１の開閉前後の食品の収納状況の変化が分かる全体画像同士の比較で食品画像を得、収納状況の変化した時刻を記憶すればよい。

なお、図２では、照明装置４を冷蔵室１００の天井面に設置しているが、照明装置４の設置位置としては、カメラ２が撮影するうえで、冷蔵室１００内の照度が確保されていればどこでもよく、例えば照明装置４をカメラ２に内蔵してもよい。撮影信号発信装置５により、カメラ２の撮影終了後に照明装置４を消灯すれば、照度を確保したうえで同様の効果が得られる。

図４及び図５では、入出庫食品抽出装置６において抽出され画像メモリ７ａに保存された、扉開閉毎の食品画像と画像付随情報（撮影時刻、入出庫識別情報）とを、携帯端末に表示する例を示したが、表示する媒体は、携帯端末に限られない。例えば、冷蔵室扉１０１の外側に設置された操作パネル１でもよい。また、表示する媒体の位置が遠隔地でなく近傍であったとしても、扉を開けずに入出庫や在庫状況を確認できれば、扉開閉による無駄な冷却の抑制が可能となる。

また、ユーザの要求により、扉開閉毎の食品画像と画像付随情報（撮影時刻、入出庫識別情報）とを操作パネル１やユーザの携帯端末に表示するとしたが、入庫／出庫が行われる毎に、リアルタイムで冷蔵庫１０００からユーザの携帯端末に送信するようにしてもよい。

また、食品画像と画像付随情報の送信先を携帯端末としたが、ユーザが操作可能なユーザ端末であればよく、デスクトップのＰＣでもよい。

なお、本実施の形態１では、冷蔵室１００にカメラ２、扉開閉検知センサ３、及び照明装置４を設置する構成を例に説明したが、これらの構成を適用する貯蔵室は任意である。冷蔵室１００以外の貯蔵室において、例えばカメラ２を冷凍室４００や野菜室５００の天井面に設置し、撮影信号発信装置５により、カメラ２の撮影終了後に照明装置４を消灯させ、撮影された冷蔵室１００内の全体画像を入出庫食品抽出装置６にて処理し、扉開閉毎の入庫／出庫した食品画像を画像メモリ７ａに保存して、操作パネル１やユーザの携帯端末に表示させた場合も、同様の効果が得られる。

また、本実施の形態１では、入庫／出庫を識別するようにしたが、さらに庫内における食品の移動も識別するようにしてもよい。この場合は、前回と今回の扉開閉時における冷蔵室１００内の全体画像の差分を演算し、その差分画像が、前々回と前回の扉開閉時に得られた差分画像と一致するものがあるかをマッチング処理により判断し、ある場合、「移動」と識別することができる。

［実施の形態２］
実施の形態２は、扉開閉検知センサ３に代えて別のセンサを用いた構成に関するものである。

図６は、本発明の実施の形態２に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。なお、本実施の形態２で特に記述しない項目については実施の形態１と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。

図６では、実施の形態１の構成における扉開閉検知センサ３の代わりに、冷蔵室扉１０１に扉開閉角度検知センサ９が設置されている。扉開閉角度検知センサ９としては、直接角度を計測する以外にも、次のようなものでもよい。例えば、冷蔵庫本体側との距離を赤外線等で計測し、角度に換算するものや、また、ある特定の角度のみを検出することを目的として、対象物（冷蔵室扉１０１の一部）が特定の位置を通過することを検知する赤外線センサ等がある。さらに、加速度センサのように移動方向を検知すれば、冷蔵室扉１０１の開閉角度だけでなく、開閉方向も検知することが可能となる。扉開閉角度検知センサ９に加速度センサを用いる場合、扉開閉角度検知センサ９は本発明に係る扉開閉角度検知手段及び扉開閉方向判別手段を構成する。

また、カメラ２は冷蔵室扉１０１の内面に設置され、冷蔵室扉１０１の開閉動作に伴って、カメラ２の視野範囲は水平方向に移動することになるが、冷蔵室１００内の状況を最も把握しやすい角度を、扉開閉角度検知センサ９が検知する構成となっている。このとき、カメラ２の設置位置としては、冷蔵室扉１０１の回転軸になるべく近いほうが望ましい。回転軸に近いほど回転軌跡の半径が小さくなり、冷蔵室扉１０１の開閉時に、カメラ２が冷蔵室１００内を視野範囲に捉える回転角度が増加する。

また、冷蔵庫１０００の背面に設置された制御基板１００１に実装された、撮影信号発信装置５は、カメラ２及び扉開閉角度検知センサ９と接続されている。撮影信号発信装置５は、扉開閉角度検知センサ９により、冷蔵室扉１０１の開閉角度が所定値となったことが検知された時に、カメラ２に撮影指示を送信するものである。

次に、図６を用いて動作の一例について説明する。動作についても、実施の形態１と同一の箇所については説明を割愛する。

図６において、扉開閉角度検知センサ９により、冷蔵室扉１０１の開閉角度が、予め設定された、冷蔵室１００内の状況を最も把握しやすい所定角度となったことが検知された際、撮影信号発信装置５は、カメラ２に撮影実施を指示する。その後、実施の形態１と同様に、入出庫食品抽出装置６において、扉開閉毎に撮影された冷蔵室１００内の全体画像から入出庫した食品画像が抽出され、食品画像、及びその画像に付随する、撮影時刻と入出庫識別情報が、入出庫食品抽出装置６から画像メモリ７ａに転送されて保存される。保存された食品画像や画像に付随する情報は、ユーザの要求により、操作パネル１や、無線通信装置８を介したユーザの携帯端末に、図４に示したタイムライン形式やリスト形式の入出庫食品画像、又は図５に示した在庫食品画像一覧が表示される。

実施の形態１においては、扉開閉検知センサ３により、冷蔵室扉１０１が閉じられたことを検知した際に、カメラ２により撮影した後に照明装置４を消灯していた。これに対し、本実施の形態２では、扉開閉角度検知センサ９により、冷蔵室扉１０１が特定の角度となる、扉開閉途中においてカメラ２により撮影している。一般的に、冷蔵室扉１０１の開状態において照明装置４は点灯している。このため、図６の構成では、撮影信号発信装置５により、カメラ２の撮影と照明装置４の消灯のタイミングとを制御することなく、充分な照度を確保した状況で撮影することが可能となる。

また、扉開閉角度検知センサ９により冷蔵室扉１０１の開閉角度を検知し、特定の角度においてカメラ２により撮影する場合、１回の扉開閉に対し、開動作時と閉動作時の２回撮影が実施されることになるので、開閉速度が大きい場合には、開動作時と閉動作時の位置にズレが発生することがある。そこで、扉開閉角度検知センサ９として、加速度センサのように移動方向も検知し、開閉方向を識別するのが望ましい。開動作と閉動作を区別して、どちらか一方の動作時における冷蔵室１００内の全体画像について、入出庫食品抽出装置６において差分を実施し、食品画像を抽出することにより、撮影位置のズレを防止し、食品画像の抽出精度が向上するという効果が得られる。

［実施の形態３］
実施の形態３は、庫内の収納量を推定し、推定結果をユーザに通知するようにしたものである。

図７は、本発明の実施の形態３に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。なお、本実施の形態３で特に記述しない項目については実施の形態１、又は実施の形態２と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。
図７において、冷蔵庫１０００の背面に設置された制御基板１００１には、実施の形態１の構成に加え、収納量推定装置１０が実装される。収納量推定装置１０は、画像メモリ７ａからの入力を受け、操作パネル１、及び無線通信装置８を介してユーザの携帯端末に、冷蔵室１００内の収納量推定結果を送信する構成となっている。

次に、図７を用いて動作の一例について説明する。動作についても、実施の形態１、又は実施の形態２と同一の箇所については説明を割愛する。

実施の形態１と同様に、撮影信号発信装置５の指示により、冷蔵室扉１０１の開閉毎に冷蔵室１００内の全体画像が撮影され、入出庫食品抽出装置６において、冷蔵室１００内の全体画像から入出庫した食品画像が抽出される。そして、抽出された食品画像、及びその画像に付随する、撮影時刻と入出庫識別情報が、入出庫食品抽出装置６から画像メモリ７ａに転送されて保存される。保存された食品画像や画像に付随する情報は、ユーザの要求により、操作パネル１や、無線通信装置８を介したユーザの携帯端末に、図４に示したタイムライン形式やリスト形式の入出庫食品画像、又は図５に示した在庫食品画像一覧が表示される。

本実施の形態３では、図７において、画像メモリ７ａに保存された食品画像、及びその画像に付随する、撮影時刻と入出庫識別情報を用いて、収納量推定装置１０が冷蔵室１００内の収納量を推定する。そして、収納量推定装置１０は、操作パネル１や、無線通信装置８を介したユーザの携帯端末に、冷蔵室１００内の収納量推定結果を送信し、表示することができる構成となっている。

図８は、本発明の実施の形態３に係る冷蔵室における、携帯端末における収納量推定結果及び在庫食品画像の表示方法の一例を示す図である。図８の表示は、図５に示した在庫食品画像一覧に、収納量推定結果を重ねて表示したものである。（ａ）は収納量が多い（収納率：約９０％）場合、（ｂ）は収納量が少ない（収納率：約６０％）場合における表示結果で、それぞれ左側は画面を一番上までスクロールした時、右側は画面を一番下までスクロールした時のものである。

図８の在庫品一覧に示されているように、入出庫食品抽出装置６において抽出され、画像メモリ７ａに保存された、扉開閉毎の食品画像、及びその画像に付随する撮影時刻と入出庫識別情報から、ある時刻において在庫していると推定される食品画像の個数を算出することにより、おおよその収納物による容積占有率、すなわち収納量を推定することができる。例えば、冷蔵室１００内を平均的な収納物の大きさを想定した領域に予め分割し、その総領域数に占める食品画像の個数により収納量を推定する。図８の例では、冷蔵室１００内を２４領域に分割しており、すなわち、収納物が存在しない場合には、２４個のカラ画像が得られるのに対し、在庫食品画像が２２個得られた（ａ）の場合は、２２／２４＝９２％≒９０％、また、在庫食品画像が１４個得られた（ｂ）の場合は、１４／２４＝５８％≒６０％というように、収納量推定装置１０において収納量が推定されている。

そして、この収納量推定結果を、図８に示すように、在庫食品画像一覧とともに収納量推定装置１０から無線通信装置８を介してユーザの携帯端末に送信する。これにより、例えば遠隔地にて買い物中に収納余力を把握できるので、収納できない無駄な買い物等を防ぐことができるという効果が得られる。

図７では、実施の形態１と同様に、扉開閉検知センサ３によって、冷蔵室扉１０１が閉じられたことを検知した際に、カメラ２が撮影した冷蔵室１００内の全体画像を用いて、入出庫食品画像を抽出している。しかし、実施の形態２と同様に、扉開閉角度検知センサ９によって、冷蔵室扉１０１の開閉角度が、冷蔵室１００内の状況を最も把握しやすい角度となったことが検知された際に、カメラ２が撮影した全体画像を用いてもよい。入出庫食品抽出装置６において抽出され画像メモリ７ａに保存された、扉開閉毎の食品画像と画像付随情報（撮影時刻、入出庫識別情報）とから、在庫食品画像を推定し、収納量推定装置１０において、収納量を推定すれば同様の効果が得られる。

［実施の形態４］
実施の形態４は、庫内の収納量及び庫内の空気温度に基づいて庫内の冷却負荷を推定し、推定結果をユーザに通知するようにしたものである。

図９は、本発明の実施の形態４に係る冷蔵庫における、冷蔵室の概略構成図（側面投影図）である。なお、本実施の形態４で特に記述しない項目については実施の形態１〜実施の形態３と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。
図９において、実施の形態４では、実施の形態３の構成に加え、冷蔵室１００の背面壁に冷蔵室１００内の空気温度を検出する庫内温度センサ１１が設置されている。また、冷蔵庫１０００の背面に設置された制御基板１００１には、冷却負荷推定装置１２が実装され、収納量推定装置１０と庫内温度センサ１１からの入力を受け、操作パネル１、及び無線通信装置８を介してユーザの携帯端末に、冷蔵室１００内の冷却負荷推定結果を送信する構成となっている。

次に、図９を用いて動作の一例について説明する。動作についても、実施の形態１〜実施の形態３と同一の箇所については説明を割愛する。

実施の形態１と同様に、撮影信号発信装置５の指示により、冷蔵室扉１０１の開閉毎に冷蔵室１００内の全体画像が撮影され、入出庫食品抽出装置６において、冷蔵室１００内の全体画像から入出庫した食品画像が抽出される。そして、抽出された食品画像、及びその画像に付随する、撮影時刻と入出庫識別情報が、入出庫食品抽出装置６から画像メモリ７ａに転送されて保存される。

また、実施の形態３と同様に、画像メモリ７ａに保存された在庫食品画像を用いて、収納量推定装置１０が冷蔵室１００内の収納量を推定する。さらに、本実施の形態４では、図９において、収納量推定装置１０による冷蔵室１００内の収納量推定結果と、庫内温度センサ１１による冷蔵室１００内の空気温度検出結果とを用いて、冷却負荷推定装置１２が冷蔵室１００内の冷却負荷を推定する。冷却負荷推定装置１２で推定された、冷蔵室１００内の冷却負荷推定結果は、冷却負荷推定装置１２から、操作パネル１や、無線通信装置８を介したユーザの携帯端末に送信され、表示することができる。

ここで、冷蔵庫１０００に食品を保管する場合、食品の品質を維持するためには、食品の冷却負荷に適した温度で冷却する必要がある。一般的に冷却負荷は収納量に比例するが、必ずしもそうとは限らない場合がある。例えば、収納量が小さくても収納物の熱負荷が大きい場合には冷却負荷が大きくなり、この場合、それ以上の収納量増加は食品の品質劣化を招く。一方、収納量が多くても庫内温度が低温で温度が安定していれば、冷却負荷は小さくなり、この場合、収納量を減少させる必要はなく、その状況において設定温度を低くすると、逆に食品が凍結して品質劣化する場合もある。したがって、冷却負荷を推定するには、食品の収納量だけではなく、庫内の空気温度も反映させることが望ましい。

そこで、本実施の形態４では、図９に示すように、収納量推定装置１０による収納量推定結果に、庫内温度センサ１１による空気温度検出結果を反映させ、冷却負荷推定装置１２によって、収納量と庫内空気温度との両方を考慮した冷蔵室１００内の冷却負荷を推定している。

図１０〜図１２は、本発明の実施の形態４に係る冷蔵庫の冷蔵室における、温度履歴を示す実測データの一例を示す図である。図１０は収納容積占有率：０％、図１１は収納容積占有率：４０％、図１２は収納容積占有率：７０％において、まず冷蔵室の扉を１分間全開にした後、２４時間運転した際に、庫内各位置の温度、及び消費電力の実測値である。図１０〜図１２のそれぞれにおいて、（ａ）は冷蔵室１００内の主要温度と消費電力、（ｂ）は冷蔵室１００内の棚温度、（ｃ）は冷蔵室１００内の扉棚温度の実測結果である。

（ａ）には、冷蔵室天井面の平均温度１３、冷蔵室背面の平均温度１４、冷蔵室１００の背面に設置された吹出口から供給される冷却空気の平均温度１５、冷蔵庫１０００全体の全消費電力１６を示している。（ｂ）には、冷蔵室棚板１０２によって４段に仕切られた、冷蔵室１００内各棚のマス温度１７を示しており、より詳しくは、冷蔵室棚最上段マス温度１７ａ、冷蔵室棚２段目マス温度１７ｂ、冷蔵室棚３段目マス温度１７ｃ、冷蔵室棚最下段マス温度１７ｄを示している。（ｃ）には、冷蔵室扉１０１の裏面に３段分設置された、冷蔵室１００内各扉棚（図示せず）のマス温度１８を示しており、より詳しくは、冷蔵室扉棚上段マス温度１８ａ、冷蔵室扉棚中段マス温度１８ｂ、冷蔵室扉棚下段マス温度１８ｃを示している。なお、収納物は袋入りインスタントラーメンで模擬し、（ｂ）に示される冷蔵室１００内各棚のマス温度１７の測定位置は、収納物より背面側となっている。なお、マス温度とは、その空間の熱容量を考慮した空気温度で、実際には該当空間の大きさに対する真鍮円柱の温度である。

図１０〜図１２より、（ａ）〜（ｃ）の庫内温度履歴において、収納容積占有率が高いほど、収納物より背面側に配置されている、冷蔵室棚のマス温度１７は低温になっていることが示されている。また、収納容積占有率が高いほど、収納物より扉側に配置されている、冷蔵室扉棚のマス温度１８は高温になっていることが示されている。つまり、収納物により、冷却空気の冷蔵室扉１０１側への供給が阻害されていることが示されている。

特に、図１２の収納容積占有率：７０％の場合は、冷蔵室１００内下方の棚温度である、冷蔵室棚３段目マス温度１７ｃ、及び冷蔵室棚最下段マス温度１７ｄが０℃以下まで低下している。一方の冷蔵室１００内上方の扉棚温度である、冷蔵室扉棚上段マス温度１８ａは１３〜１４℃を維持しており、冷蔵温度帯から外れ、食品の劣化を促進させる温度環境となっていることが示されている。

なお、図１０〜図１２のそれぞれの（ａ）において全消費電力１６が０に下がっているのは、冷蔵庫１０００の冷却する冷媒回路の圧縮機がＯＦＦされたことを示しており、圧縮機がＯＦＦの間は、空気搬送装置のみが駆動する運転となる。収納容積占有率：０〜７０％において、全消費電力１６の最大値は５０Ｗ程度を維持しているが、収納容積占有率が高いほど圧縮機をＯＦＦする回数が減少しており、消費電力量としては増加していることが示されている。

冷蔵庫１０００内の収納量と庫内温度とには上記の様な関係があることから、冷却負荷推定装置１２は、収納量推定装置１０による収納量推定結果に加えてさらに庫内温度センサ１１による空気温度検出結果を用いて、冷蔵室１００内の冷却負荷を推定する。

そして、冷却負荷推定装置１２は、操作パネル１や、無線通信装置８を介した携帯端末（ユーザ端末）に、冷蔵室１００内の庫内冷却負荷推定結果を送信して表示させている。なお、庫内冷却負荷推定結果に加えて、収納量推定結果も併せて送信して表示するようにしてもよい。

よって、収納量としては余裕があっても、これ以上収納すると食品の保存品質が低下するといった情報、また、庫内冷却負荷が小さいので設定温度を上げても支障がない等の情報をユーザに開示することができる。

このように、ユーザに対し、庫内の収納量及び庫内冷却負荷推定結果を通知できるため、食品の保存品質を維持したうえで、最適な収納や冷却方法、省エネ行動等を啓蒙することができるという効果が得られる。

ここで、図９において、庫内温度センサ１１は、３段目の冷蔵室棚板１０２の背面壁に設置されているが、設置位置はこの場所に限るものではない。すなわち、庫内温度センサ１１の設置位置は、冷蔵室１００内の空気温度を代表できる位置であれば、他の冷蔵室棚板１０２の背面壁でも、あるいは冷蔵室扉１０１側でもよい。特に、図１０〜図１２に示したように、収納量増加によって最も温度上昇が著しい、冷蔵室扉棚上段マス温度１８ａの測定位置付近に庫内温度センサ１１を設置すれば、品質劣化の可能性をいち早く検知し、ユーザに注意を促すことが可能となる。

［実施の形態５］
実施の形態５は、庫内の冷却負荷推定結果を冷蔵庫１０００の冷却制御にフィードバックするようにしたものである。

図１３は、本発明の実施の形態５に係る冷蔵庫の概略構成図（側面投影図）である。なお、本実施の形態５で特に記述しない項目については実施の形態１〜実施の形態４と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。
図１３において、この冷蔵庫１０００には、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路と、この冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための風路を備えている。

冷凍サイクル回路は、圧縮機１００２、圧縮機１００２から吐出された冷媒を凝縮させる凝縮器（図示せず）、凝縮器から流出した冷媒を膨張させる絞り装置（図示せず）、及び、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する冷却器１００３等によって構成されている。圧縮機１００２は、例えば、冷蔵庫１０００の背面側の下部に配置されている。冷却器１００３は、後述する冷却風路１０１０に設けられている。また、冷却風路１０１０には、冷却器１００３で冷却された空気を各貯蔵室へ送るための（換言すると、冷蔵庫１０００内で空気を循環させるための）空気搬送装置１００４も設けられている。

この冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための風路は、冷却風路１０１０、戻り風路１０２０、冷蔵室戻り風路１０３、及び野菜室戻り風路５０１等から構成されている。冷却風路１０１０は、例えば冷蔵庫１０００の背面部に形成されており、冷却器１００３にて冷却された空気が、各貯蔵室に搬送される通風路である。各貯蔵室への冷却空気の流入量は、冷却風路１０１０内に設置されたダンパ（図１３では、冷蔵室用の冷蔵室ダンパ１０４のみ図示）によって調節される。戻り風路１０２０は、各室を冷却した空気が、冷却器１００３へ搬送される通風路である。冷蔵室戻り風路１０３は、冷蔵室１００及びチルド室１１０を冷却した空気が、野菜室５００に搬送される通風路である。冷蔵室１００及びチルド室１１０を冷却した空気は、野菜室戻り風路５０１において野菜室５００を冷却した空気と混合され、冷却器１００３に搬送される。

図１３において、冷蔵庫１０００の背面に設置された制御基板１００１には、実施の形態４の構成に加えてさらに、冷却制御装置１９が実装されている。冷却制御装置１９は、圧縮機１００２、空気搬送装置１００４、及び冷蔵室ダンパ１０４やその他の貯蔵室のダンパ（図示せず）に接続され、これらの各機器を制御する。冷却制御装置１９は、冷却負荷推定装置１２の入力を受け、圧縮機１００２、空気搬送装置１００４、及び冷蔵室ダンパ１０４やその他の貯蔵室のダンパ（図示せず）のうち、少なくとも一つに制御信号を送信して貯蔵室の冷却制御（冷却能力の変更）を行う。また、冷却制御装置１９は、操作パネル１、及び無線通信装置８を介してユーザの携帯端末に、庫内の冷却負荷推定結果や、各機器への制御内容、及び各貯蔵室の設定温度等を送信する構成となっている。なお、冷蔵室ダンパ１０４やその他の貯蔵室のダンパ（図示せず）は、本発明に係る吹出風量制御装置を構成している。

次に、図１３を用いて動作の一例について説明する。動作についても、実施の形態１〜実施の形態４と同一の箇所については説明を割愛する。

実施の形態１と同様に、撮影信号発信装置５の指示により、冷蔵室扉１０１の開閉毎に冷蔵室１００内の全体画像が撮影され、入出庫食品抽出装置６において、冷蔵室１００内の全体画像から入出庫した食品画像が抽出される。そして、抽出された食品画像、及びその画像に付随する、撮影時刻と入出庫識別情報が、入出庫食品抽出装置６から画像メモリ７ａに転送されて保存される。

また、実施の形態３と同様に、画像メモリ７ａに保存された在庫食品画像を用いて、収納量推定装置１０が冷蔵室１００内の収納量を推定し、実施の形態４と同様に、この収納量推定結果と、庫内温度センサ１１による冷蔵室１００内の空気温度検出結果とを用いて、冷却負荷推定装置１２が冷蔵室１００内の冷却負荷を推定する。

冷蔵庫１０００では、一般的に冷却器１００３で冷却された庫内空気が、空気搬送装置１００４によって冷却風路１０１０を経由して各貯蔵室へ搬送される。そして、各貯蔵室を冷却した後の戻り空気が戻り風路１０２０を経由して再度冷却器１００３に戻る周回風路となっている。このとき、冷却器１００３で冷却された空気（例えば−３０℃〜−２５℃）を冷蔵室ダンパ１０４を初めとする、複数のダンパの開閉により各貯蔵室に分配する。この複数のダンパの開閉によって各貯蔵室への冷却空気の流入量を調節することにより、各貯蔵室に対して個別の温度設定を行っている。

例えば、最も低温設定となる冷凍室４００（例えば−２２℃〜−１６℃）の流入ダンパはほぼ全開とし、最も高温設定となる野菜室５００（例えば３℃〜９℃）の流入ダンパはほぼ全閉としている。そして、野菜室５００より温度設定の低い冷蔵室１００（例えば０℃〜６℃）及びチルド室１１０（例えば０℃〜２℃）を冷却した戻り空気で野菜室５００を間接冷却するなどして、貯蔵室内の温度を調整している。

ここで、冷却過剰や冷却不足に対応して、各貯蔵室の温度設定は±２〜３℃程度の調整が可能であり、例えば、冷凍室４００は−２５℃〜−１３℃程度、冷蔵室１００は−２℃〜９℃程度の範囲で設定変更が可能である。

冷却不足により、特定の貯蔵室が低温設定された場合、例えば冷蔵室１００のみを低温化する場合には、冷蔵室ダンパ１０４の開度を大きくすることによって、冷蔵室１００への冷却空気の流入量を増加させる。また、複数の貯蔵室を低温化する必要がある場合には、圧縮機１００２の回転数や空気搬送装置１００４による搬送風量を増加させ、冷凍サイクルの冷却能力を上昇させる必要がある。よって複数の貯蔵室を低温化する場合、冷蔵庫１０００の消費電力は増加する。逆に冷却過剰により、貯蔵室を高温化する場合には、特定の貯蔵室に対してはダンパの開度を小さくして、冷却空気の流入量を減少させる。また、複数の貯蔵室を高温化する場合は、圧縮機１００２の回転数や空気搬送装置１００４による搬送風量を減少させればよく、冷蔵庫１０００の消費電力は減少する。

冷蔵庫１０００の消費電力は、ルームエアコンやＩＨクッキングヒータ等の他の家電機器に比べて小さいが、食品を管理しているために冷却を停止（電源ＯＦＦ）することができない。このため、節電運転を実施するためには、食品の保存状況や冷却負荷に応じて、各貯蔵室の設定温度を上昇させる必要がある。例えば、貯蔵室内の食品保存量が少ない場合や、食品保存量が多くても低温で安定している場合等では、冷却能力が過剰となるので、設定温度を上昇させても、食品の保存品質を損なうことなく節電運転することが可能となる。

そこで、本実施の形態５では、冷却負荷推定装置１２による庫内の冷却負荷推定結果を入力として、冷却制御装置１９が、冷却負荷に応じて、圧縮機１００２及び空気搬送装置１００４を制御する。例えば、貯蔵室内の冷却負荷が小さく、冷却能力に余裕がある場合には、圧縮機１００２の回転数、及び空気搬送装置１００４による搬送風量を減少させる信号を冷却制御装置１９が送信する。これにより、食品の保存品質を維持しつつ消費電力レベルを低減することが可能となる。つまり、食品の保存品質を維持するうえで、過不足のない最適な冷却運転を自動で実施することが可能となる。

また、冷却制御装置１９は、特定の貯蔵室のみの冷却負荷が急増した場合、以下の制御を行う。具体的には例えば、朝食時や夕食時に冷蔵室１００の扉開閉が頻発して冷蔵室１００の冷却負荷が上昇した場合、冷却制御装置１９は、冷蔵室１００の冷却負荷が急増したという信号を冷却負荷推定装置１２から受信することになる。この場合、冷却制御装置１９は、冷蔵室ダンパ１０４の開率を大きくするとともに、圧縮機１００２の回転数、及び空気搬送装置１００４による搬送風量を減少させる信号を圧縮機１００２及び空気搬送装置１００４に送信する制御を行う。これにより、冷却負荷が上昇した冷蔵室１００に集中的に冷却空気を流入させて冷却することができ、冷蔵庫１０００全体としての消費電力レベルを低減することが可能となる。

［実施の形態６］
実施の形態６は、冷蔵庫１０００を備えたネットワークシステムである宅内システム２０００に関するものである。

図１４は、本発明の実施の形態６に係る冷蔵庫が載置される宅内システムの概略構成図である。なお、本実施の形態６で特に記述しない項目については実施の形態１〜実施の形態５と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。

図１４に示す宅内システム２０００は、冷蔵庫１０００を含めた、ルームエアコン、給湯器、ＩＨクッキングヒータ、照明機器等の各家電機器と、電力計測装置２００２と、宅内コントローラ２００４とを備えている。冷蔵庫１０００は、実施の形態１〜実施の形態５の何れかの冷蔵庫１０００の構成を備えていることに加えて、宅内コントローラ２００４との通信機能等をさらに備えている。各家電機器及び電力計測装置２００２は、電灯線によって系統電源２００１と接続され、電力が供給されている。

電力計測装置２００２は、各家電機器に供給される電力（消費電力）、及び系統電源２００１から供給される全電力を、例えばＣＴ等の電力計測端子２００３によって計測し、履歴を保存することができる。

また、各家電機器、及び電力計測装置２００２のそれぞれには、宅内コントローラ２００４と双方向通信するための無線通信装置８が、内蔵又は外部に接続されている。無線通信装置８としては、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信モジュールが想定されるが、各家電機器及び宅内コントローラ２００４は同じ宅内に載置されているので、例えばシリアルインターフェースやドライバ等を用いて有線で接続してもよい。

宅内コントローラ２００４は、電力計測装置２００２から入手した、各家電機器の消費電力や系統電源２００１の供給電力、及び各家電機器から入手した運転状態や周囲環境の情報を管理し、各家電機器に対して制御変更指示を送信することも可能な構成となっている。

次に、図１４を用いて動作の一例について説明する。動作についても、実施の形態１〜実施の形態５と同一の箇所については説明を割愛する。

図１４において、冷蔵庫１０００、ルームエアコン、給湯器、ＩＨクッキングヒータ、照明機器等の各家電機器は、系統電源２００１から電力を供給されて運転を実施する。また、これらの各家電機器は、継続的に、あるいは要求があった際に、無線通信装置８を介して、宅内コントローラ２００４に運転状態や周囲環境の情報を送信する。運転状態の情報としては、例えば冷蔵庫１０００では、各貯蔵室の設定温度や実際の温度履歴、製氷運転や急冷運転の有無等の運転モード、さらに給水タンクの空状態や扉の開状態等のアラート情報等がある。また周囲環境の情報としては、例えばルームエアコンでは、吸込空気から検出される室内の空気温度や空気湿度、照明機器では、室内の照度等の情報がある。宅内コントローラ２００４は、受信した運転状態の情報や周囲環境の情報を管理する。

電力計測装置２００２は、電力計測端子２００３によって各家電機器に供給されている各家電機器の消費電力及び系統電源２００１の供給電力を算出し、無線通信装置８を介して、宅内コントローラ２００４に電力情報を送信する。

宅内コントローラ２００４は、電力計測装置２００２から入手した、各家電機器の消費電力や系統電源２００１の供給電力、及び各家電機器から入手した運転状態や周囲環境の情報をもとに各家電機器に対して制御変更指示を送信する。例えば、各家電機器の消費電力合計が、系統電源２００１の供給容量に迫っている場合には、宅内の電力消費を抑えるために次のような制御を行う。すなわち、宅内コントローラ２００４は、特に消費電力の大きい家電機器に対して節電指示を送信したり、冷蔵庫１０００については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰か否かを判断し、冷却過剰と判断した場合に設定温度の上昇を指示したりする。

さらに冷蔵庫１０００では、実施の形態５で述べたように、冷却制御装置１９が、冷却負荷推定装置１２にて推定された庫内の冷却負荷に応じて、圧縮機１００２及び空気搬送装置１００４を制御している。冷蔵庫１０００の冷却制御では、一般的に、庫内の各貯蔵室の設定温度を目標として冷却する以前に、庫外の空気温度によって、圧縮機の運転率等の基本制御が決まっている。すなわち、庫外が低温であれば、圧縮機の運転を抑制する代わりに凍結防止用のヒータを運転し、逆に庫外が高温であれば、圧縮機の運転率やデフロスト運転の頻度を上げ、不具合なく冷却できるように最適化を図る、といった制御を行っている。よって、庫外の空気温度によって基本制御を決定し、さらに日射や照明も考慮して庫外の冷却負荷（環境負荷）を推定し、その推定結果（庫外冷却負荷推定結果）を圧縮機の運転制御に反映すれば、無駄な運転を抑制し、省エネにもなるという効果が期待できる。

そこで、本実施の形態６では、冷却負荷推定装置１２は、例えばルームエアコンによる室内の空気温湿度情報、及び照明機器による室内の照度情報を、宅内コントローラ２００４を介して入手することが可能な構成となっている。そして、空気温湿度情報及び照度情報を用いて、例えば、庫外の空気温度が低くても、日射が強ければ庫外冷却負荷が高いと推定し、冷却能力を維持する必要があるといった判断が行える。あるいは、夜間において庫外の空気温度が高温であったとしても、そのときに照明が点灯していれば、庫外の空気温度が高温であるのは照明によるものであり、夜間であるため、庫外冷却負荷は低いと推定し、冷却能力をそれほど高くしなくてもよい等の判断が行える。

このような庫外冷却負荷の推定、及びこの推定結果に基づく冷却能力の判断を行うことで、食品の保存品質を維持するうえで、過不足ない冷却運転を自動で実施することが可能となる。つまり、無駄な運転を抑制した最適な冷却運転が可能となり、省エネにもなるという効果が得られる。なお、冷却負荷推定装置１２は、本発明の冷却負荷推定手段と庫外冷却負荷推定手段とを構成している。

また、冷蔵庫１０００は、宅内コントローラ２００４を介して、室内の空気湿度情報を入手することができるので、冷蔵庫１０００の運転に湿度情報を反映することが可能となる。例えば、上記のような庫外冷却負荷の推定の際に、潜熱負荷を考慮することができる。すなわち、低湿度の場合は扉開閉による霜付の可能性も低減するので、最も消費電力が大きくなる運転である霜取運転の回数を削減する、あるいは霜取運転を行う時間間隔を延長するといったこともできるようになり、大幅な消費電力の低減効果が得られる。

［実施の形態７]
実施の形態７は、実施の形態６の宅内システム２０００が宅外システム３０００から情報を入手可能とした構成に関するものである。

図１５は、本発明の実施の形態７に係る冷蔵庫が載置される宅内システム、及び宅外システムの概略構成図である。なお、本実施の形態７で特に記述しない項目については実施の形態１〜実施の形態６と同様とし、同一の機能や構成については同一の符号を用いて述べることとする。

図１５においては、実施の形態６で示した宅内システム２０００内にブロードバンドルーター２００５を設置し、宅内コントローラ２００４は、ブロードバンドルーター２００５を経由して宅外システム３０００のネットワークであるインターネット３００１に接続されている。さらにインターネット３００１は、各種電力情報や天気予報等の環境情報が格納されている外部サーバであるクラウドサーバ３００２や、スマートフォンや携帯タブレット等のユーザの携帯端末３００３に接続されている。よって、宅内コントローラ２００４は、クラウドサーバ３００２から電力情報や環境情報を入手する一方、電力計測装置２００２から入手した、各家電機器の消費電力や系統電源２００１の供給電力と、各家電機器から入手した情報（運転状態の情報や周囲環境の情報）を、ユーザの携帯端末３００３に送信することが可能な構成となっている。なお、インターネット３００１に接続されるユーザ端末は携帯端末３００３に限られず、デスクトップのＰＣでもよい。

次に、図１５を用いて動作の一例について説明する。動作についても、実施の形態１〜実施の形態６と同一の箇所については説明を割愛する。

図１５において、宅内コントローラ２００４は、実施の形態６で述べたように、宅内システム２０００において、電力計測装置２００２から各家電機器の消費電力や系統電源２００１の供給電力を入手し、また各家電機器から運転状態や周囲環境の情報を入手する。さらに本実施の形態７では、宅内コントローラ２００４は、ブロードバンドルーター２００５を経由してインターネット３００１に接続しているので、クラウドサーバ３００２から各種電力情報や環境情報を入手することが可能となっている。例えば、電力情報として、宅内システム２０００が載置されている地域に関する、電力の需給状況を入手し、地域の消費電力が供給可能電力に迫っている場合には、宅内の電力消費を抑えるために次のような制御を行うことができる。すなわち、特に消費電力の大きい家電機器に対して節電指示を送信したり、冷蔵庫１０００については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰か否かを判断し、冷却過剰と判断された場合に、設定温度の上昇を指示したりすることができる。

さらに冷蔵庫１０００では、実施の形態５で述べたように、冷却制御装置１９が、冷却負荷推定装置１２にて推定された庫内の冷却負荷に応じて、圧縮機１００２及び空気搬送装置１００４を制御している。また、本実施の形態７では、実施の形態６と同様に宅内コントローラ２００４を介して、温湿度情報や照度情報の少なくとも一方の情報を入手して冷蔵庫１０００が設置された環境の冷却負荷である庫外冷却負荷を推定し、冷却制御に反映している。本実施の形態７ではさらに、冷却制御装置１９が、例えば環境情報として、宅内システム２０００が載置されている地域に関する、天気予報の情報をクラウドサーバ３００２から入手し、この環境情報に基づいて冷却負荷（環境負荷）の変動を予測し、冷却制御に反映することができる。よって、本実施の形態７の冷蔵庫１０００は、冷却制御装置１９が、冷却負荷に対応した制御を予め指示できるので、急激な環境変化にも対応可能となり、常に食品の保存品質を維持できるという効果が得られる。

なお、各実施の形態１〜７においてそれぞれ別の実施の形態として説明したが、各実施の形態の特徴的な構成及び処理等を適宜組み合わせて冷蔵庫を構成してもよい。

１ 操作パネル、２ カメラ（撮像手段）、３ 扉開閉検知センサ（扉開閉角度検知手段、扉開閉方向判別手段）、４ 照明装置、５ 撮影信号発信装置、６ 入出庫食品抽出装置、７ 表示制御装置、７ａ 画像メモリ（画像記憶手段）、８ 無線通信装置（通信手段）、９ 扉開閉角度検知センサ、１０ 収納量推定装置、１１ 庫内温度センサ、１２ 冷却負荷推定装置、１３ 冷蔵室天井面平均温度、１４ 冷蔵室背面平均温度、１５ 冷蔵室吹出平均温度、１６ 全消費電力、１７ａ 冷蔵室棚最上段マス温度、１７ｂ 冷蔵室棚２段目マス温度、１７ｃ 冷蔵室棚３段目マス温度、１７ｄ 冷蔵室棚最下段マス温度、１８ａ 冷蔵室扉棚上段マス温度、１８ｂ 冷蔵室扉棚中段マス温度、１８ｃ 冷蔵室扉棚下段マス温度、１９ 冷却制御装置、１００ 冷蔵室、１０１ 冷蔵室扉、１０２ 冷蔵室棚板、１０３ 冷蔵室戻り風路、１０４ 冷蔵室ダンパ（吹出風量制御装置）、１１０ チルド室、１１１ チルドケース、２００ 製氷室、３００ 切替室、４００ 冷凍室、５００ 野菜室、５０１ 野菜室戻り風路、１０００ 冷蔵庫、１００１ 制御基板、１００２ 圧縮機、１００３ 冷却器、１００４ 空気搬送装置、１０１０ 冷却風路、１０２０ 戻り風路、２０００ 宅内システム、２００１ 系統電源、２００２ 電力計測装置、２００３ 電力計測端子、２００４ 宅内コントローラ、２００５ ブロードバンドルーター、３０００ 宅外システム、３００１ インターネット、３００２ クラウドサーバ（外部サーバ）、３００３ 携帯端末。

Claims (17)

1. 貯蔵室と、
   前記貯蔵室の開口部を開閉する扉と、
   前記貯蔵室内を撮影する撮影手段と、
   前記撮影手段で撮影された、前記扉の開閉前後の貯蔵室画像に基づいて入庫及び出庫した収納物の画像を抽出する入出庫収納物抽出手段と、
   前記入出庫収納物抽出手段で抽出された収納物画像を、入庫であるのか又は出庫であるのかを示す入出庫識別情報と、前記扉の開閉動作が行われた時刻情報とともに保存する画像記憶手段とを備えた、
   ことを特徴とする冷蔵庫。
2. 前記画像記憶手段内の保存データに基づいて前記貯蔵室内の在庫を確認可能な表示画面を表示手段に出力させる表示制御装置をさらに備えた、
   ことを特徴とする請求項１記載の冷蔵庫。
3. 前記表示画面は、前記収納物画像が前記時刻情報及び前記入出庫識別情報とともにタイムライン表示された画面である
   ことを特徴とする請求項２記載の冷蔵庫。
4. 前記表示画面は、前記収納物画像を入庫又は出庫に分け、それぞれにおいて前記収納物画像が時系列にリスト表示された画面である
   ことを特徴とする請求項２又は請求項３記載の冷蔵庫。
5. 前記表示画面は、前記貯蔵室内に現在貯蔵されている収納物の前記収納物画像の一覧を示す画面である
   ことを特徴とする請求項２〜請求項４の何れか一項に記載の冷蔵庫。
6. 前記表示手段は、前記扉の外面側に配置された表示部である
   ことを特徴とする請求項２〜請求項５の何れか一項に記載の冷蔵庫。
7. 前記表示手段は、当該冷蔵庫と通信可能なユーザ端末の表示部である
   ことを特徴とする請求項２〜請求項５の何れか一項に記載の冷蔵庫。
8. 前記入出庫収納物抽出手段は、前記扉の開閉前後の前記貯蔵室画像を内部に記憶し、その記憶した前記貯蔵室画像を用いて前記収納物画像の抽出を行っており、前記収納物画像の抽出後は、最新の前記貯蔵室画像のみを記憶し、それ以外は消去する、
   ことを特徴とする請求項１〜請求項７の何れか一項に記載の冷蔵庫。
9. 前記扉の開閉を検知する扉開閉検知手段と、
   前記扉開閉検知手段によって前記扉の開状態が検知された際に点灯し、前記扉開閉検知手段によって前記扉の閉状態が検知され、前記撮影手段によって前記貯蔵室内が撮影された後に消灯する照明手段とを備えた、
   ことを特徴とする請求項１〜請求項８の何れか一項に記載の冷蔵庫。
10. 前記扉の開閉角度を検知する扉開閉角度検知手段を備え、
    前記扉開閉角度検知手段によって、予め設定された所定角度を検知した際、前記撮影手段によって前記貯蔵室内を撮影する、
    ことを特徴とする請求項１〜請求項８の何れか一項に記載の冷蔵庫。
11. 前記扉の開動作又は閉動作を判別する扉開閉方向判別手段を備え、
    前記扉開閉角度検知手段によって、予め設定された所定角度を検知した際、前記扉開閉方向判別手段によって判別される、開動作又は閉動作のどちらか一方のときにのみ、前記撮影手段によって前記貯蔵室内を撮影する、
    ことを特徴とする請求項１０記載の冷蔵庫。
12. 前記画像記憶手段に保存された、前記貯蔵室内に現在保管されていると推定される前記収納物画像により、現在の前記貯蔵室内の収納量を推定する、収納量推定手段を備えた、
    ことを特徴とする請求項１〜請求項１１の何れか一項に記載の冷蔵庫。
13. 前記貯蔵室内の空気温度を検出する庫内温度検出手段を備え、
    前記収納量推定手段によって推定された前記貯蔵室内の収納量と、前記庫内温度検出手段によって検出された前記貯蔵室内の空気温度とにより、前記貯蔵室内の冷却負荷を推定する、冷却負荷推定手段を備えた、
    ことを特徴とする請求項１２記載の冷蔵庫。
14. 圧縮機、凝縮器及び冷却器を備えた冷凍サイクルと、
    前記冷却器によって冷却された冷却空気を、前記貯蔵室に搬送する空気搬送装置と、
    前記貯蔵室に供給される、前記冷却空気の流入量を調節する吹出風量制御装置と、
    前記冷却負荷推定手段の推定結果に従って、前記圧縮機、前記空気搬送装置及び前記吹出風量制御装置のうち、少なくとも一つに制御信号を送信し、前記貯蔵室の冷却制御を行う冷却制御手段と、を備えた、
    ことを特徴とする請求項１３記載の冷蔵庫。
15. 当該冷蔵庫周辺の照度及び当該冷蔵庫周辺の空気温度の少なくとも一方の情報を、通信手段を介して宅内ネットワークの他の家電機器から入手し、入手した前記情報に基づいて当該冷蔵庫が載置された環境の冷却負荷である庫外冷却負荷を推定する庫外冷却負荷推定手段を備え、
    前記冷却制御手段は、前記庫外冷却負荷推定手段の推定結果を前記冷却制御に反映する、
    ことを特徴とする請求項１４記載の冷蔵庫。
16. 前記冷却制御手段は、当該冷蔵庫が載置された地域に関する環境情報を通信手段を介して外部サーバから入手し、前記環境情報を前記冷却制御に反映する、
    ことを特徴とする請求項１４又は請求項１５記載の冷蔵庫。
17. 請求項１〜請求項１６の何れか一項に記載の冷蔵庫を備えたことを特徴とするネットワークシステム。