JP2022035347A - 冷蔵庫内の画像データ処理方法および冷蔵庫 - Google Patents

Abstract

【課題】冷蔵庫（貯蔵室）内の画像データを適切に出力することができる冷蔵庫内の画像データ処理方法を提供する。
【解決手段】冷蔵庫内の画像データ処理方法は、合計で複数の食品収納領域を撮影範囲に含む１つ又は２つ以上の撮像装置が撮影した画像データを処理する冷蔵庫内の画像データ処理方法であって、撮像装置によって撮影された１つ又は２つ以上の画像データから、食品収納領域をそれぞれ含む複数の部分を切出す切出処理（Ｓ３９２）と、複数の部分を用いて１つの画像データを作成する合成処理（Ｓ３９６）と、合成処理で合成された１つの画像データを出力する出力処理と、を含んで実行する。
【選択図】図１０

Description

本発明は、冷蔵庫内の画像データ処理方法および冷蔵庫に関する。

冷蔵庫において、冷蔵庫内の在庫管理などを目的として、カメラにより冷蔵庫内を撮影するようにしたものが提案されている。特許文献１の記載の冷蔵庫によれば、「少なくとも１つの撮影範囲に区画された複数の貯蔵室と、撮影範囲の少なくとも１つを撮影する複数の庫内カメラ、あるいは、複数の撮影範囲を撮影する少なくとも１つの庫内カメラと、複数の撮影範囲の画像を記憶装置に記憶させ、画像を表示する操作表示装置と通信する制御装置と備え」ている。そして、操作表示装置において、「指を触れて左右に動かす（スマートフォンやタブレット端末のタッチパネル上で実施されるいわゆるスワイプ操作やフリック操作）ことで、冷蔵室内の画像の移動を指示する動作が行われた際、制御装置は、冷蔵庫の正面側から使用者が冷蔵室内を観察した観察状態において冷蔵室内と反指示方向に位置する扉のドアポケット側の画像を、冷蔵室内の画像と連ねて表示させる」ことが記載されている。

特許６２９６９０８号公報

特許文献１に記載の冷蔵庫は、冷蔵室内と扉のドアポケットを同時に見るためには、操作表示装置において、ユーザにスワイプ操作やフリック操作を要求している。

上記事情を考慮してなされた本発明の冷蔵庫内の画像データ処理方法は、合計で複数の食品収納領域を撮像範囲に含む１つ又は２つ以上の撮像装置が撮像した画像データを処理する冷蔵庫内の画像データ処理方法であって、撮像装置によって撮像された１つ又は２つ以上の画像データから、食品収納領域をそれぞれ含む複数の部分を切出す切出処理（例えば、Ｓ３９２）と、複数の部分を用いて１つの画像データを作成する合成処理（例えば、Ｓ３９６）と、合成処理で合成された１つの画像データを出力する出力処理（例えば、Ｓ４０）と、を含んで実行することを特徴とする。本発明のその他の態様については、後記する実施形態において説明する。

第１実施形態に係る冷蔵庫を示す正面図である。 第１実施形態に係る冷蔵庫を示す側面図である。 第１実施形態に係る撮像装置を収納した場合の側面図である。 第１実施形態に係る冷蔵庫の扉を開けた状態を示す正面図である。 第１実施形態に係る冷蔵庫の扉を開けた状態を示す上面図である。 第１実施形態に係る撮像装置を示す正面図である。 第１実施形態に係る撮像装置を示す側面図である。 第１実施形態に係る撮像装置を示す側断面図である。 第１実施形態に係る撮像装置を示す斜視図である。 第１実施形態に係る冷蔵庫の撮像システムを示す構成図である。 第１実施形態に係る手動撮影設定時の処理を示すフローチャートである。 第１実施形態に係る自動撮影設定時の処理を示すフローチャートである。 第１実施形態に係る画像処理を示すフローチャートである。 画像処理前の庫内を示す画像である。 各収納部の切出処理を示す画像である。 各収納部の歪補正処理を示す画像である。 各収納部の回転処理を示す画像である。 各画像の台形補正処理を示す画像である。 各画像の合成処理を示す画像である。 第２実施形態に係る冷蔵庫の引き出し部を引き出した状態を示す側面図である。 第２実施形態に係る冷蔵庫の引き出し部の切り出し処理を示す画像である。 第２実施形態に係る冷蔵庫の引き出し部の拡大処理を示す画像である。 第２実施形態に係る引き出し部を含めた各画像の合成処理を示す画像である。 第２実施形態に係る引き出し部を含めた各画像の合成処理を示す画像の別の例である。 撮像装置の通常時の状態を示す説明図である。 撮像装置の収納途中の状態を示す説明図である。 撮像装置の収納時の状態を示す説明図である。

本発明を実施するための形態（実施形態）について、適宜図面を参照しながら詳細に説明する。実施形態で開示する動作フロー等の制御ステップの順番は、互いに矛盾しない限りにおいて、前後を入れ替えたり同時に実行させたりすることができる。
<<第１実施形態>>
図１は、第１実施形態に係る冷蔵庫１００を示す正面図である。図２Ａは、第１実施形態に係る冷蔵庫１００を示す側面図である。図２Ｂは、第１実施形態に係る撮像装置３０を収納した場合の側面図である。図３は、第１実施形態に係る冷蔵庫１００の扉を開けた状態を示す正面図である。図４は、第１実施形態に係る冷蔵庫１００の扉を開けた状態を示す上面図である。なお、以下の説明では、６ドアの冷蔵庫１００を例に挙げて説明するが、６ドアに限定されるものではない。

図１に示すように、冷蔵庫１００の断熱箱体（箱体１０）は、上方から冷蔵室１、左右に併設された製氷室２と上段冷凍室３、野菜室４、下段冷凍室５の順番で貯蔵室を有している。冷蔵庫１００はそれぞれの貯蔵室の開口を開閉するドアを備えている。これらのドアは、冷蔵室１の開口を開閉する、左右に分割された回転式の冷蔵室ドア１ａ，１ｂと、製氷室２、上段冷凍室３、野菜室４、下段冷凍室５の開口をそれぞれ開閉する引き出し式の製氷室ドア２ａ、上段冷凍室ドア３ａ、野菜室ドア４ａ、下段冷凍室ドア５ａである。なお、野菜室４と下段冷凍室５との位置は、上下配置を変更してもよい。また、製氷室２と上段冷凍室３と下段冷凍室５とを合わせて冷凍室７と呼ぶ。

冷蔵室ドア１ａ，１ｂを冷蔵庫１００に固定するために、ドアヒンジ（符号省略）が冷蔵室１の上部および下部に設けられている。図３、図４に示すように、冷蔵室ドア１ａ，１ｂを開閉すると、ドア収納部１１ａ（扉収納部ａ），１１ｂ（扉収納部ｂ）が設けられている。

冷蔵室１は、庫内を冷蔵温度帯（０℃以上）の例えば平均的に４℃程度にした冷蔵貯蔵室である。冷凍室７は、庫内を冷凍温度帯（０℃未満）の例えば平均的に－１８℃程度にした冷凍貯蔵室である。野菜室４は、庫内を冷蔵温度帯の例えば平均的に６℃程度の冷蔵貯蔵室で、食品の乾燥を抑えた冷蔵貯蔵室である。

冷蔵庫１００は、庫内を撮影するための撮像装置３０が貯蔵室の外側上部の略中央部に配置されている。すなわち、冷蔵庫１００の箱体（断熱箱体）の上方、略中央部に設けられている。箱体のドアが閉じられている場合に撮像装置３０のレンズ３４（図６５Ａ、図６５Ｂ参照）は、貯蔵室の開口縁面１０ａよりも前方、好ましくは冷蔵室ドア１ａ，１ｂ（扉）よりも前方に位置する。すなわち、撮像装置３０を貯蔵室の外に設け、ドア収納部１１ａ，１１ｂを含めた庫内の状況を俯瞰的に撮像できる。

また、撮像装置３０は、前後にスライドして移動する機構（貯蔵室開口に垂直な方向にスライドする機構）を有し、冷蔵庫１００の扉前面を跨り前後に移動可能である。例えば図２Ｂに示すように、扉前面より後方又は貯蔵室開口の縁面より後方に移動可能であるため、梱包時には奥行寸法には影響しない。また、輸送トラックへの冷蔵庫の積載数量が減少することはなく、設置後においても、撮像装置３０を使用しない場合には収納し撮像範囲を目隠しすることができる。目隠しによって、カメラの撮像領域が自身の生活範囲に常に入っていること等を好ましく思わないユーザにも配慮した構成とすることができる。

冷蔵室ドア１ｂには、撮像装置３０により手動で撮影する際に使用される撮影ボタン３９（ユーザからの撮影指令を受付ける撮影指令受付部）が設けられている。撮影ボタン３９は、冷蔵室ドア１ａや箱体又は扉のその他の領域に設けられていてもよい。

図５Ａは、第１実施形態に係る撮像装置３０を示す正面図である。図５Ｂは、第１実施形態に係る撮像装置３０を示す側面図である。図５Ｃは、第１実施形態に係る撮像装置３０を示す側断面図（図５ＡのＡＡ断面図）である。図６は、第１実施形態に係る撮像装置３０を示す斜視図である。

撮像装置３０は、ケース部３１と蓋部３２から構成されており、ケース部３１の前方には、カメラ３３（撮像部）や魚眼レンズであるレンズ３４を有している。レンズ３４は、図６に示すように、遮光壁３５で囲まれている。遮光壁３５の近傍に、複数の照明部３８を有する。

ケース部３１の内部には、図５Ｃに示すように、制御ＳｏＣ４１および無線ＬＡＮユニット４２が格納されている。制御ＳｏＣ４１（System on a chip）は、集積回路の１個のチップ上に、プロセッサコアをはじめ一般的なマイクロコントローラが持つような機能の他、応用目的の機能なども集積し、連携してシステムとして機能するよう設計されている集積回路である。なお、制御ＳｏＣ４１は集積回路の一例であり、他の集積回路等でも代替可能である。

貯蔵室の外に設けられた撮像装置３０がドア収納部１１ａ，１１ｂと、貯蔵室内部を俯瞰的に撮像する。

撮像装置３０の特徴をさらに説明する。
（１）撮像装置３０に用いるカメラ３３は、１８０度以上の広角度を撮影可能であり、魚眼レンズを有することで、扉を開けた際に庫内全体を俯瞰的に視認することができる。
（２）撮像装置３０のカメラ用のレンズ３４は冷蔵庫の扉前面よりも前に位置することで、野菜室４および下段冷凍室５の引き出し部６のみを開けた際でも庫内の状態を撮影することができる。

（３）撮像装置３０は、照明部３８を備え、撮影に適した照度に調整出来る庫外の照明部３８を使用して撮影することで、視認性の高い画像を得ることができる。冷蔵庫内に設けられた照明は比較的照度が高いため、カメラで撮影した際に収納物の反射が強く、撮影画像は白飛びしたものになりやすい。このため、本実施形態では、撮影時には、庫内照明を消灯し、庫外の照明部３８を点灯して撮影する。また、照明部３８の照明は、庫内、扉を開けた際のドア収納部１１ａ，１１ｂ、第２貯蔵室（例えば、野菜室４、下段冷凍室５）の全体を照射するように指向性を持たせている。
（４）撮像装置３０は、遮光壁３５を有することにより、照明部３８の直接光は撮影範囲に入らないことで、反射や白飛びを抑えた視認性の高い画像を得ることができる。
（５）撮像装置３０の照明部３８とレンズ３４の間に直接光を遮る遮光壁３５を設けることで、照明の設置位置をレンズ３４に極力近づけることができるため、コンパクトな外形に収めることができ、さらにはレンズ３４の傷付き防止効果も得ることができる。

（６）撮像装置３０は、前後にスライドして移動する機構を有し、冷蔵庫１００の扉前面を跨り前後に移動可能であるため、梱包時には奥行寸法には影響しない。また、輸送トラックに対する冷蔵庫の積載数量が減少することはなく、設置後においても、撮像装置３０を使用しない場合には収納し撮像範囲を目隠しすることができる。
（７）撮像装置３０は、通信ユニット（無線ＬＡＮユニット４２）を備え、通信ユニットから発信された画像データは、例えば、家庭内の無線ルータ（例えば、家庭内ルータ５３（図７参照）を介してサーバ５４（図７参照）に供給される。詳細については、後記する。
（８）撮像装置３０は、電源供給と撮影指令を伝達する通信回路が冷蔵庫本体側と繋がっている。冷蔵庫本体は商用電源等から電力供給を受けている。撮像装置３０の電源は冷蔵庫本体を介して商用電源から受け取ることができる。なお、撮像装置３０を充電池で駆動するようにしてもよい。

図７は、第１実施形態に係る冷蔵庫１００の撮像システムを示す構成図である。ドア（扉）側のセンサとして、冷蔵室ドア１ａ，１ｂ、製氷室ドア２ａ、上段冷凍室ドア３ａ、野菜室ドア４ａ、下段冷凍室ドア５ａの開閉状態をそれぞれ検知するドアセンサ（図示せず）等も設けられている。

冷蔵庫１００の上部には、制御装置の一部であるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、インターフェース回路等を搭載したメインマイコン５２（処理装置、制御装置、制御部）が配置されている。メインマイコン５２は、ドアセンサ又は撮影ボタン３９からの情報を基に、庫内の撮像を行う撮像システムの制御を行う。また、メインマイコン５２は、撮像装置３０への電源供給も行う。

メインマイコン５２は、自動撮影設定時、ドアセンサから扉の開き角度等の情報に基づき、所定角度以上を検知すると、制御ＳｏＣ４１に撮影指令を送信する。制御ＳｏＣ４１は、カメラ３３に撮影指示を出し、カメラ３３から未処理の画像データを取得する。制御ＳｏＣ４１は、未処理の画像データを、例えば、図１０のように、画像処理を行う。他方、メインマイコン５２は、手動撮影設定時、撮影ボタン３９が操作されたことを検知すると、制御ＳｏＣ４１に撮影指令を送信する。その後の処理は、自動撮影設定時と同様である。

撮像装置３０は、前記したように、家庭内ルータ５３と接続できる無線ＬＡＮユニット４２が設けられている。この無線ＬＡＮユニット４２が設けられることで、制御ＳｏＣ４１で処理済みの庫内画像データを、家庭内ルータ５３を介してサーバ５４に送信することができる。サーバ５４は、ユーザの所有するスマートフォン５５等のモバイルデバイスやパーソナルコンピュータ等からの庫内画像表示要求に応じて、庫内画像データを送信する。これにより、ユーザは、庫内の状況を把握することができる。

図８は、第１実施形態に係る手動撮影設定時の処理を示すフローチャートである。適宜、図７を参照して説明する。メインマイコン５２は、設定装置（図示せず）からの設定がカメラ撮影設定時（カメラ設定ＯＮ）の場合（Ｓ３１）、ドアセンサによりドアの開きが有るか否か（扉の開？）を判定し（Ｓ３２）、ドアの開きがある場合（Ｓ３２，Ｙｅｓ）、Ｓ３３に進む。一方、ドアの開きが無い場合（Ｓ３２，Ｎｏ）、メインマイコン５２は、Ｓ３２に戻る。

Ｓ３３において、メインマイコン５２は、撮影ボタン３９の操作（押下）が有るか否かを判定し、撮影ボタン３９の押下がある場合（Ｓ３３，Ｙｅｓ）、Ｓ３４に進み、撮影ボタン３９の押下が無い場合（Ｓ３３，Ｙｅｓ）、Ｓ３２に戻る。

Ｓ３４において、メインマイコン５２は、制御ＳｏＣ４１に撮影指令をし、庫内の照明の消灯と庫外照明（照明部３８）の点灯を行う（Ｓ３５）。制御ＳｏＣ４１は、カメラ３３に撮影指令して撮影する（Ｓ３６）。そして、メインマイコン５２は、庫内の照明の点灯と庫外照明（照明部３８）の消灯を行う（Ｓ３７）。

カメラ３３は、制御ＳｏＣ４１に未処理画像データを送信し（Ｓ３８）、制御ＳｏＣ４１は、庫内画像補正処理（画像処理）を実施する（Ｓ３９）。画像処理の詳細については、図１０を参照して後記する。

制御ＳｏＣ４１は、処理済み画像データを、無線ＬＡＮユニット４２、家庭内ルータ５３を介して、サーバ５４に画像出力処理（画像アップデート）を実施する（Ｓ４０）。サーバ５４は、画像がアップデートされたら、ユーザのモバイルデバイス等に通知する（Ｓ４１）。
以上が手動撮影設定時の処理である。

図９は、第１実施形態に係る自動撮影設定時の処理を示すフローチャートである。適時、図７を参照して説明する。なお、図８と同様の処理は説明を省略する。メインマイコン５２は、設定装置（図示せず）からの設定がカメラ自動撮影設定時（カメラ自動設定ＯＮ）の場合（Ｓ３１Ａ）、ドアセンサによりドアの開きが有るか否か（扉の開？）を判定し（Ｓ３２）、ドアの開きがある場合（Ｓ３２，Ｙｅｓ）、Ｓ３３Ａに進む。一方、ドアの開きが無い場合（Ｓ３２，Ｎｏ）、メインマイコン５２は、Ｓ３２に戻る。

Ｓ３３Ａにおいて、メインマイコン５２は、ドアの開き角度が所定角度以上（例えば、扉角度８５度以上）であるか否かを判定し、ドアの開き角度が所定角度以上である場合（Ｓ３３Ａ，Ｙｅｓ）、Ｓ３４に進み、ドアの開き角度が所定角度未満の場合（Ｓ３３Ａ，Ｎｏ）、Ｓ３２に戻る。Ｓ３４からＳ４１は、図１３と同様である。なお、Ｓ３３Ａにおいて、観音開きの冷蔵室１の場合、冷蔵室ドア１ａ，１ｂの内、少なくともどちらかのドアの開き角度が所定角度である場合（Ｓ３３Ａ，Ｙｅｓ）、Ｓ３４に進む。
以上が自動撮影設定時の処理である。

冷蔵庫１００の撮像システムの特徴をさらに説明する。
（１Ａ）冷蔵庫の扉の開き角度を検知する検知部（例えば、メインマイコン５２）を有し、検知部が所定角度（例えば、８５度）以上と判定した場合に自動で撮影を行うことができる。
（２Ａ）撮影を行う際には庫内照明が消灯し、撮像装置３０の照明が点灯することで、撮影に適切な照度に調整するだけでなく、使用者に撮影のタイミングを知らせる効果を有する。
（３Ａ）冷蔵庫１００の引き出し距離が一定以上になった際に検知する検知部（例えば、引き出し部６に設置されている）を有し、検知部により引き出しの操作を検知し自動で撮影を行うことで、野菜室や冷凍室の撮像範囲を概ね一定に保つことができる。

（４Ａ）冷蔵庫の扉に撮影用釦（例えば、撮影ボタン３９）を有し、ユーザが撮影用釦を押した際、庫内照明が消灯し、撮像装置３０の照明が点灯した後に撮影が行われるため、撮影をしたタイミングを認知し易い。
（５Ａ）撮影された画像は画像補正処理が行われ、広角度カメラによって歪んだ画像が補正されることにより、使用者の目線に近い画像を提供できる。
（６Ａ）前記画像を使用者が携帯電話等を介して確認出来るアプリケーションサービスを有し、前記画像は、ドア（扉）、また前記引き出しに設けられた検知部により、撮影した画像がどの収納室の画像であるかを自動で判定することができる。

以上説明したように、本実施形態の冷蔵庫１００は、前方が開口した貯蔵室（例えば、冷蔵室１）と、貯蔵室前面に設けられて回動可能な収納部（例えば、ドア収納部１１ａ，１１ｂ）を有する扉（例えば、冷蔵室ドア１ａ，１ｂ）と、扉の開角度を検知する扉開角度検知手段と、扉が開いたことを扉開検知手段で検知して貯蔵室を照らす照明装置と、貯蔵室外側上部略中央に設けられた撮像装置（例えば、撮像装置３０）と、撮像装置は広角視野の魚眼レンズ（例えば、レンズ３４）と、撮影時に点灯する照明装置（例えば、照明部３８）と、撮影した画像データを送信する通信手段（例えば、無線ＬＡＮユニット４２）とを有する。冷蔵庫１００は、扉開角度検知手段によって所定の開角度を検出した際に、撮像装置に対して撮影指令を行う制御装置（例えば、メインマイコン５２）を有する。

扉を開いた状態で、撮像装置によって撮影された画像は、図１１に示すように、広角視野の魚眼レンズの作用により、1つの撮影画像で、貯蔵室のみならず、扉収納部全体を撮影範囲に収めることができる。更には、引き出し収納部の野菜室（例えば、野菜室４）、冷凍室（例えば、下段冷凍室５）をもこの撮影範囲に収めることが可能であり、特許文献１のように各収納室にそれぞれ複数の撮像装置を設ける必要も無く、撮影範囲を変更するための複雑且つ高額な駆動装置や駆動制御も必要としない。

撮像装置によって撮影された画像は、そのままでも庫内の収納物の状態を把握するには十分ではあるが、魚眼レンズの作用により画像は湾曲しており、撮像装置に近い対象物はより歪みが大きい。また、冷蔵庫上方からの視野画像のため、普段使用者が観察する冷蔵庫正面からの視野に配置される位置関係とは異なり、視認性の点では改善の余地がある。

本実施形態によれば、次の画像処理（Ｓ３９）を行うことによって、広角視野の魚眼レンズを有する撮像装置３０によって撮影された歪みのある湾曲した画像を、普段使用者が冷蔵庫を観察する正面からの視野の位置関係に近い状態で庫内画像を提供することができる。

図１０は、第１実施形態に係る画像処理（Ｓ３９）を示すフローチャートである。各処理の画像を図１１から図１６を参照して説明する。図１１は、画像処理前の庫内（冷蔵室１内としての貯蔵庫ｃ、ドア収納部１１ａとしての扉収納部ａ、ドア収納部１１ｂとしての扉収納部ｂ）を示す画像である。図１２は、各収納部の切出処理を示す画像である。図１３は、各収納部の歪補正処理を示す画像である。図１４は、各収納部の回転処理を示す画像である。図１５は、各画像の台形補正処理を示す画像である。図１６は、各画像の合成処理を示す画像である。

メインマイコン５２は、前記した撮影画像（図１１参照）を入力し（Ｓ３９１）、各収納部の範囲をそれぞれ包括するように扇形に切り出し加工（切出処理）を行う（Ｓ３９２）。具体的には、メインマイコン５２は、図１２に示すように、冷蔵室１の内部画像、ドア収納部１１ａ，１１ｂそれぞれの画像を切出す、例えば扇形に切出す処理をする（図１２参照）。

次に、メインマイコン５２は、魚眼レンズの作用により湾曲した各収納部の画像の歪み補正加工（歪補正処理）を行う（Ｓ３９３）。具体的には、メインマイコン５２は、図１３に示すように、冷蔵室１の内部画像、ドア収納部１１ａ，１１ｂの湾曲した画像それぞれの歪補正処理をする。この歪補正処理としては種々公知の補正アルゴリズムを用いることができるが、例えば予め（例えば冷蔵庫出荷前に）パラメータを設定しておいたキャリブレーション処理を実行して歪みを補正できる。

次に、メインマイコン５２は、歪補正処理した各収納部の画像それぞれを、使用者の観察状態である正面からの視野となるように向きを回転する画像回転処理を行う（Ｓ３９４）。具体的には、メインマイコン５２は、図１４に示すように、使用者の観察状態である正面からの視野となるようにドア収納部１１ａを左側に、同様に、ドア収納部１１ｂを右側に配置している。

次に、メインマイコン５２は、奥行方向に台形状に歪んでいる画像を長方形に歪み補正加工（台形補正処理）を行う（Ｓ３９５）。具体的には、メインマイコン５２は、図１５に示すように、冷蔵室１の内部画像、ドア収納部１１ａ，１１ｂの画像を、台形補正処理をする。例えば透視投影変換及びその補完処理である最近傍法やｌａｎｃｚｏｓ法等を実行して、概ね台形状だったり扇形状であったりする収納部の画像を概ね長方形に変換できる。

次に、メインマイコン５２は、Ｓ３９５で作成した画像を画像合成処理し、１枚の画像として作成する（Ｓ３９６）。この画像をスマートフォン５５（図７参照）のアプリケーション上に表示する。なお、実施形態は１例を示すものであり、各工程は適宜前後しても構わない。

第１実施形態の冷蔵庫内の画像データ処理方法は、複数の食品収納領域を撮像範囲に含む広角レンズを備える撮像装置が撮像した画像データを処理する冷蔵庫内の画像データ処理方法であって、撮像装置３０によって撮像された画像データから複数の部分を切出す切出処理（Ｓ３９２）と、切出処理で切出された画像を合成する合成処理（Ｓ３９６）と、合成処理で合成された画像を１つの画像データとして出力する出力処理（Ｓ４０）と、を含んで実行することが特徴である。切出処理によって、入力された撮影画像（図１１）から、食品収納領域でない領域、例えば食品が写らずに冷蔵庫の壁面や庫外の床面のみ等が写っている領域の少なくとも一部を除去できる。切り出された各食品収納領域の画像を合成処理することで、合成後の画像（図１６）は、この画像が表示される例えばスマートフォン５５の表示画面全体に対して、表示される食品収納領域の割合を高めることができる。本実施形態では１つの撮像装置３０によって撮像された１つの画像において切出処理を実行しているが、２つ以上の撮像装置を準備して、２つ以上の画像を撮像して、それぞれの画像データに含まれている食品収納領域を含む部分をそれぞれ切出してもよい。

このように本実施形態では、画像データ全体に対して食品収納領域が占める広さの割合は、広角レンズで撮影された画像データよりも合成処理後の画像の方が大きいことが特徴である。例えば、図１１と図１６を比較すると、食品が映る領域が大きくなり、ユーザにとって見やすくすることができる。

本実施形態では、切出処理で切り出される複数の部分の離間距離は、合成処理後に短くなっていることが特徴である。例えば、図１２と図１６を比較すると、図１６に示す扉収納部ａ、貯蔵庫ｃ、扉収納部ｂの離間距離は、図１２に示す扉収納部ａ、貯蔵庫ｃ、扉収納部ｂの離間距離よりも小さくなって、ユーザにとって見やすくすることができる。また、扉収納部と貯蔵庫、２つの扉収納部のように、実距離では互いに離間した複数の収納領域を１つの画像として出力することから、特許文献１のように、ユーザにスワイプ操作やフリック操作をさせて表示画像を切り換えさせることなく、全体を見やすくすることができる。特に、２つの扉収納部は、それぞれ異なる位置に配されたドアヒンジを回転軸としてしかも互いに反対方向に回動して開放するため、実距離の離間が冷蔵庫中では比較的大きい。

本実施形態では、冷蔵室１は、観音開きの貯蔵室の例で説明したが、片開きの貯蔵室の場合にも適用することができる。

<<第２実施形態>>
第１実施形態では、冷蔵室１（第１貯蔵室）の画像合成処理について説明したが、これに限定されるわけではない。第２実施形態では、冷蔵室１（第１貯蔵室）と野菜室４等（第２貯蔵室）とを含めた画像合成処理について説明する。

図１７は、第２実施形態に係る冷蔵庫１００の引き出し部６を引き出した状態を示す側面図である。図１８は、第２実施形態に係る冷蔵庫の引き出し部６の切り出し処理を示す画像である。図１９は、第２実施形態に係る冷蔵庫の引き出し部６の拡大処理を示す画像である。庫内を撮影するための撮像装置３０は、引き出し部６内を撮像することができる。このため、引き出し部６の画像より、収納状態を把握することができる。

図２０は、第２実施形態に係る引き出し部６を含めた各画像の合成処理を示す画像である。図２０では、図１６と比較して、引き出し部６（第２貯蔵庫ｄ）の画像も合成されている。これにより、ユーザは、冷蔵室１（第１貯蔵室）と野菜室４等（第２貯蔵室）とを含めた収納状態を一度で把握することができる。なお、図１６は、図１２に示した撮影画像から、合成処理した画像である。

すなわち、冷蔵庫１００は、観音開きの第１貯蔵室と前後方向開きの第２貯蔵室を少なくとも有し、切出処理は、第１貯蔵室および第２貯蔵室であることが特徴である。また、冷蔵庫１００は、観音開きの第１貯蔵室と前後方向開きの第２貯蔵室を少なくとも有し、第１貯蔵室には、扉収納部を有し、切出処理は、第１貯蔵室の庫内、扉収納部および第２貯蔵室であってもよい。切出処理は、第２貯蔵室の開きが検知された際、第２貯蔵室の切出しを行うことができる。

図２１は、第２実施形態に係る引き出し部６を含めた各画像の合成処理を示す画像の別の例である。画像が表示されることが想定されるスマートフォン５５の表示画面が長方形状であることが多いことから、図２１に示すように、合成後の画像が全体として長方形状になるように扉収納部ａ，ｂの位置を、貯蔵庫ｃの側方から移動することもできる。図２１の例では、貯蔵庫ｃを中心に第２貯蔵庫ｄと反対側に扉収納部ａ，ｂを移動している。

すなわち、切出処理は、少なくとも１つの扉収納部、第１貯蔵室の庫内、及び第２貯蔵室をそれぞれ食品収納領域として実行される。合成処理では、第１貯蔵室の庫内を挟んで、少なくとも１つの扉収納部及び第２貯蔵室が互いに反対側に位置するように配される。

<<撮像装置の変形例>>
第１実施形態では、撮像装置３０は、スライド機構を有することを説明したが、これに限定されるわけではない。変形例では、二つ折り機構について説明する。

図２２Ａは、撮像装置３０の通常時の状態を示す説明図である。図２２Ｂは、撮像装置３０の収納途中の状態を示す説明図である。図２２Ｃは、撮像装置３０の収納時の状態を示す説明図である。

冷蔵庫１００（図１参照）は、前方が開口した貯蔵室を形成する箱体と、貯蔵室の外に設けられた撮像装置３０と、開口に少なくとも垂直な方向に対して前記撮像装置３０を移動可能に支持する支持部４５（ヒンジ部）と、を備える。

図２２Ａ～図２２Ｃに示すように、撮像装置３０のカメラ３３を有する先端部は、支持部４５から二つ折りできるように構成されており、梱包時には奥行寸法には影響しないため、輸送トラックに対する冷蔵庫の積載数量が減少することはなく、設置後においても、撮像装置３０を使用しない場合には収納し撮像範囲を目隠しすることができる。

また、撮像装置３０は、庫内を覗き込む方向にも公転（ヒンジ部まわりに円形軌跡で動く；軸まわりに公転）可能にする。円形軌跡中に箱体が存在することから、公転可能な角度は、公転面に直交する方向から観察した場合に３６０°未満である。この場合、撮像装置３０に公転方向の力を付与できる駆動部を取付け、撮像時に冷蔵室等の庫内を覗き込む角度にするように制御してもよい。例えば、撮像時に、扉の移動軌跡内に撮像装置３０が位置するようにできる。こうすることでより効果的に庫内を撮像でき、さらに撮像終了後は扉の移動軌跡外に復帰させたり、扉や貯蔵室の前方開口の縁面より後方にまで公転させて収納可能なことから、支持部４５（ヒンジ部）とカメラとをつなぐアームを長くしやすいことが特徴である。

なお、本発明は前記した第１実施形態および第２実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、前記した実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、図３の撮影ボタン３９は、冷蔵室ドア１ａに設けられていてもよいし、引き出し部６の上面に設けられていてもよい。また、撮影に用いる撮像装置を複数準備し、それぞれ撮影した画像に含まれる食品収納領域の画像データを用いて、１つの画像に合成処理してもよい。

本実施形態の冷蔵庫１００によれば、貯蔵室の外側に設けられた魚眼レンズ（広角レンズ）を有する撮像装置によって撮影された湾曲画像を、歪み補正・切り出し加工・合成し、１枚の画像を出力することで、表示操作装置上での画像切替操作を最小限にしながら、使用者の観察状態に近い庫内画像を提供することができる。

貯蔵室の外に設けられた魚眼レンズ等の広角レンズを有する撮像装置が、扉収納部を含めた貯蔵室内部を上方から俯瞰的に撮像し、湾曲した画像の歪み補正、各収納部の切り出し加工、加工後の画像合成、これらの画像処理をすることで、１枚の画像で冷蔵庫内の状況を使用者の目線に近い状態で提供でき、庫内状況の認識が容易となる。また、多数の撮像装置や可変する複雑な制御を有する撮像装置を設ける必要がないためコスト面で優位であり、収納物がレンズに近接することによる、レンズの傷付き、撮影範囲の阻害、等の課題を解決できる。ユーザは、外出先においても冷蔵庫内の最新の状況を画像で確認することができ、不要な買い物や食品ロスの低減に繋がることができる。

１ 冷蔵室（第１貯蔵室）
１ａ，１ｂ 冷蔵室ドア
２ 製氷室（第２貯蔵室）
２ａ 製氷室ドア
３ 上段冷凍室（第２貯蔵室）
３ａ 上段冷凍室ドア
４ 野菜室（第２貯蔵室）
４ａ 野菜室ドア
５ 下段冷凍室（第２貯蔵室）
５ａ 下段冷凍室ドア
６ 引き出し部
１０ 箱体
１０ａ 開口縁面
１１ａ，１１ｂ ドア収納部
３０ 撮像装置
３１ ケース部
３２ 蓋部
３３ カメラ（撮像部）
３４ レンズ（広角レンズ）
３５ 遮光壁
３８ 照明部
３９ 撮影ボタン（撮影指令受付部）
４１ 制御ＳｏＣ（出力部）
４２ 無線ＬＡＮユニット
４５ 支持部（ヒンジ部）
５１ 扉センサ
５２ メインマイコン（処理装置）
５３ 家庭内ルータ
５４ サーバ
５５ スマートフォン
１００ 冷蔵庫

Claims (10)

1. 合計で複数の食品収納領域を撮像範囲に含む１つ又は２つ以上の撮像装置が撮像した画像データを処理する冷蔵庫内の画像データ処理方法であって、
   前記撮像装置によって撮像された１つ又は２つ以上の画像データから、前記食品収納領域をそれぞれ含む複数の部分を切出す切出処理と、
   複数の前記部分を用いて１つの画像データを作成する合成処理と、
   前記合成処理で合成された１つの前記画像データを出力する出力処理と、
   を含んで実行する冷蔵庫内の画像データ処理方法。
2. 複数の食品収納領域を撮像範囲に含む広角レンズを備えた１つの撮像装置が撮像した画像データを処理する請求項１に記載の冷蔵庫内の画像データ処理方法であって、
   前記切出処理は、前記撮像装置によって撮像された１つの画像データから、前記食品収納領域をそれぞれ含む複数の部分を切り出すことを含んで実行する冷蔵庫内の画像データ処理方法。
3. 前記撮像装置で撮像された画像データ全体に対して食品収納領域が占める広さの割合よりも、前記合成処理後の画像データ全体に対して食品収納領域が占める広さの割合の方が大きいことを特徴とする請求項２に記載の冷蔵庫内の画像データ処理方法。
4. 前記切出処理で切り出される複数の前記食品収納領域の離間距離は、前記合成処理後に短くなっていることを特徴とする請求項２に記載の冷蔵庫内の画像データ処理方法。
5. 前記冷蔵庫は、片開き又は観音開きの第１貯蔵室を有し、
   前記第１貯蔵室には、扉収納部を有し、
   前記切出処理は、前記第１貯蔵室の庫内および扉収納部をそれぞれ前記食品収納領域として実行される
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の冷蔵庫内の画像データ処理方法。
6. 前記冷蔵庫は、片開き又は観音開きの第１貯蔵室と引出開きの第２貯蔵室を少なくとも有し、
   前記切出処理は、前記第１貯蔵室および第２貯蔵室をそれぞれ前記食品収納領域として実行される
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の冷蔵庫内の画像データ処理方法。
7. 前記冷蔵庫は、観音開きの第１貯蔵室と引出開きの第２貯蔵室を少なくとも有し、
   前記第１貯蔵室には、２つの扉収納部を有し、
   前記切出処理は、前記第１貯蔵室の庫内、２つの前記扉収納部および前記第２貯蔵室をそれぞれ前記食品収納領域として実行される
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の冷蔵庫内の画像データ処理方法。
8. 前記切出処理は、少なくとも１つの前記扉収納部、前記第１貯蔵室の庫内、及び前記第２貯蔵室をそれぞれ前記食品収納領域として実行され、
   前記合成処理では、前記第１貯蔵室の庫内を挟んで、少なくとも１つの前記扉収納部及び前記第２貯蔵室が互いに反対側に位置するように配される
   ことを特徴とする請求項７に記載の冷蔵庫内の画像データ処理方法。
9. 前記切出処理は、前記第２貯蔵室の開きが検知された場合に前記第２貯蔵室の切出しを行うことを特徴とする請求項６から請求項８のいずれか１項に記載の冷蔵庫内の画像データ処理方法。
10. ２つ以上の食品収納領域を形成する箱体と、
    合計で複数の前記食品収納領域をそれぞれ撮像する１つ又は２つ以上の撮像装置と、
    前記撮像装置によって撮像された１つ又は２つ以上の画像データから、前記食品収納領域を合計で複数含む複数の部分が切出され、複数の前記部分を用いて作成された１つの画像データを出力する又はさせる出力部と、を有する冷蔵庫。

Images