JP2023122162A - 画像管理システム、画像管理サーバ、画像管理方法、および、画像表示制御システムの生産方法 - Google Patents

Abstract

【課題】２枚の扉が設けられた冷蔵庫内を撮影して顧客に閲覧可能とする場合、適切な庫内の画像を作成する。【解決手段】画像表示制御システムは、冷蔵室１１６を開閉する左扉１２及び右扉１３と、左扉１２及び右扉１３の開閉を区別して検知する扉センサ１１７と、カメラユニット１０と、を備える冷蔵庫１と、扉センサ１１７の検知情報に応じて、カメラユニット１０に画像を撮像させる撮像制御手段と、左扉１２の開に応じて、表示部が表示する画像の収納領域のうち左扉１２側の範囲をカメラユニット１０によって撮像された画像データを使用して更新し、右扉１３の開に応じて、表示部が表示する画像の収納領域のうち右扉１３側の範囲をカメラユニット１０によって撮像された画像データを使用して更新する画像更新手段とを備える。【選択図】図１

Description

本発明は、画像管理システム、画像管理サーバ、画像管理方法、および、画像表示制御システムの生産方法に関する。

近年、冷蔵庫の庫内を撮影した画像をサーバにアップロードして、アップロードされた画像を画像処理することで、ユーザが携帯端末で庫内を閲覧可能とするサービスが提供されている。特許文献１には、少ないカメラ台数で多くの場所を撮影することが可能する発明が記載されている。

特開２００３－４２６２６号公報

左右の扉が設けられた冷蔵庫の場合、左扉のみを空けたり、右扉のみを空けたりして庫内の物品を出し入れする場合がある。この場合、両方の扉が開いた状態で庫内を撮影することを条件とすると、片方の扉のみを開いて食品を出し入れし続けると、庫内の状態が撮影できない。片方の扉を開いた状態でも庫内を撮影することを条件とすると、閉じているもう一方の扉の部分が撮影されない状態になる。

前記した課題を解決するため、本発明の画像表示制御システムは、収納領域を開閉する第１扉及び第２扉と、前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、撮像部と、を備える収納庫と、前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる撮像制御手段と、表示部に表示するための前記収納領域を含む画像を記憶する記憶手段と、前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記撮像部によって撮像された画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記撮像部によって撮像された画像データを使用して更新する画像更新手段と、を備える。

本発明の画像表示制御サーバは、収納領域を開閉する第１扉及び第２扉の開閉を区別して検知する扉センサの検知情報と、前記収納領域を撮影した画像データとを受信する受信手段と、表示部に表示するための前記収納領域を含む画像を記憶する記憶手段と、前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記収納領域を撮影した画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記収納領域を撮影した画像データを使用して更新する画像更新手段と、を備える。

本発明の画像表示制御方法は、収納領域を開閉する第１扉及び第２扉と、前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、撮像部と、を備える収納庫に関する画像表示制御方法であって、１以上の演算部が、前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる手順、表示部に前記収納領域を含む画像を表示させる手順、前記表示部に表示するための画像のうち、前記収納領域のうち前記第１扉側の範囲を、前記第１扉の開に応じて、前記撮像部によって撮像された画像データを使用して更新する手順、前記表示部に表示するための画像のうち、前記収納領域のうち前記第２扉側の範囲を、前記第２扉の開に応じて、前記撮像部によって撮像された画像データを使用して更新する手順、を実行する。

本発明の画像表示制御システムの生産方法は、収納領域を開閉する第１扉及び第２扉と、前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、撮像部と、を備える収納庫と、前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる撮像制御手段と、表示部に前記収納領域を含む画像を表示する表示制御手段と、前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記撮像部によって撮像された画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記撮像部によって撮像された画像データを使用して更新する画像更新手段と、を備える画像表示制御システムの生産方法であって、少なくとも前記表示制御手段を実行させるためのプログラムを端末に提供するステップを含む。

その他の手段については、発明を実施するための形態のなかで説明する。

本実施形態に係る冷蔵庫のブロック図である。 ２種類のサーバのブロック図である。 携帯端末のブロック図である。 画像管理システムの論理ブロック図である。 冷蔵庫の正面図である。 冷蔵庫の側面図である。 冷蔵庫の冷蔵室の左右扉が開かれた状態の正面図である。 冷蔵庫の冷蔵室の左右扉が開かれた状態の平面図である。 冷蔵庫のカメラユニットを斜め下から見上げた場合の斜視図である。 第１画像加工処理のシーケンス図である。 画像合成処理の詳細シーケンス図である。 扉センサ状態に応じた画像合成方法のフローチャートである。 冷蔵庫のカメラで撮影した加工前画像を示す図である。 加工後画像の一例を示す図である。 右扉が閉じられた状態の加工後画像の一例を示す図である。 左扉が閉じられた状態の加工後画像の一例を示す図である。 冷蔵庫の中身画面を示す図である。 調整画面を示す図である。 プレビュー調整画面を示す図である。 調整中のプレビュー調整画面を示す図である。 調整内容の破棄ダイアログを示す図である。 第２実施形態の画像加工処理のシーケンス図である。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。本実施形態の画像管理システムは、図１の冷蔵庫１と、図２のサーバ２ａ，２ｂおよびストレージサーバ６ａ，６ｂと、図３の携帯端末３とが連携して、ユーザに対してサービスを提供する。

図１を参照して、冷蔵庫１の構成を説明する。
冷蔵庫１は、ハードウェア構成として、カメラユニット１０と、演算部１１２と、ＲＯＭ（Read Only Memory）１１３と、ＲＡＭ（Random Access Memory）１１４と、通信部１１５、カメラＬＥＤ（Light Emitting Diode）１００とを有する。冷蔵庫１は更に、図１に示した左扉１２と、右扉１３と、扉センサ１１７と、冷蔵室１１６を備える。

演算部１１２は、例えばＣＰＵ（Central Processing Unit）であり、冷蔵庫１を統括制御する。ＲＡＭ１１４は、演算部１１２の作業エリアとなる。また、ＲＡＭ１１４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示の制御プログラムが格納される。演算部１１２が制御プログラムを実行することにより、カメラユニット１０に画像を撮像させる撮像制御手段を具現化する。

カメラユニット１０は、冷蔵室１１６を撮影する撮像部であり、例えば魚眼カメラやパノラマカメラである。カメラユニット１０は、冷蔵室１１６の上側に取り付けられている。カメラＬＥＤ１００は、カメラユニット１０が撮像している際に点灯するインジケータである。左扉１２と右扉１３は、収納領域である冷蔵室１１６を開閉する第１扉及び第２扉であり、扉センサ１１７によって、それぞれの開閉状態が区別して検知される。ユーザが左扉１２または／および右扉１３を開くことで、カメラユニット１０が動作して冷蔵室１１６を撮像する。冷蔵室１１６は、食品を代表とする物品を収納する収納庫である。

通信部１１５は、ネットワークと接続し、外部装置であるサーバ２ａとの間でデータを送受信する。

図２を参照して、サーバ２ａ，２ｂとストレージサーバ６ａ，６ｂの構成を説明する。サーバ２ａ，２ｂとストレージサーバ６ａ，６ｂは、それぞれＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、記憶部２４と、通信部２５とを有する。

ＣＰＵ２１は、サーバ２ａ，２ｂを統括制御する。ＲＯＭ２２は、不揮発性メモリであり、例えばＢＩＯＳ（Basic I/O System）が格納されている。ＲＡＭ２３は、ＣＰＵ２１の作業エリアとなる。また、ＲＡＭ２３は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示のプログラムが格納される。

記憶部２４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリなどで構成される。なお、ストレージサーバ６ａ，６ｂの記憶部２４は、大容量かつ高速アクセス可能なものであることが望ましい。通信部２５は、ネットワークと接続し、外部装置との間でデータを送受信する。

図３を参照して、携帯端末３の構成を説明する。携帯端末３は、それぞれＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、記憶部３４と、通信部３５と、タッチパネルディスプレイ３６とを有する。

ＣＰＵ３１は、携帯端末３を統括制御する。ＲＯＭ３２は、不揮発性メモリであり、例えばＢＩＯＳが格納されている。ＲＡＭ３３は、ＣＰＵ３１の作業エリアとなる。また、ＲＡＭ３３は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、不図示のプログラムが格納される。

記憶部３４は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体であり、例えばフラッシュメモリなどで構成される。つまり記憶部３４には、冷蔵庫管理プログラムがインストールされる。ＣＰＵ３１が、冷蔵庫管理プログラムを実行することにより、タッチパネルディスプレイ３６に冷蔵室１１６を含む画像を表示する表示制御部と、画像の表示態様として画像の角度、範囲、中心位置の調整指示を受け付けて事前設定する事前設定手段を具現化する。

通信部３５は、ネットワークと接続し、外部装置との間でデータを送受信する。タッチパネルディスプレイ３６は、平面状のディスプレイの上にタッチパネルが積層されて構成される。タッチパネルディスプレイ３６は、文字、画像または図形を表示する表示部であると共に、ユーザ操作を検知する入力部でもある。

図４は、画像管理システムの論理ブロック図である。
この画像管理システムは、撮像制御手段８１と、受信手段８２と、画像更新手段８３と、記憶手段８４と、表示制御手段８５と、事前設定手段８６と、表示部８７とを含んで構成される。

撮像制御手段８１は、扉センサ１１７の検知情報に応じて、カメラユニット１０に画像を撮像させる。
受信手段８２は、冷蔵室１１６を開閉する左扉１２及び右扉１３の開閉を区別して検知する扉センサ１１７の検知情報と、冷蔵室１１６を撮影した画像データとを受信する。受信手段８２は、サーバ２ａのＣＰＵ２１がプログラムを実行することで具現化される。

画像更新手段８３は、左扉１２の開に応じて、表示部８７に表示するための画像の冷蔵室１１６のうち第１扉側の範囲をカメラユニット１０によって撮像された画像データを使用して更新し、右扉１３の開に応じて、表示部８７に表示するための画像の冷蔵室１１６のうち右扉１３側の範囲をカメラユニット１０によって撮像された画像データを使用して更新する。画像更新手段８３は、サーバ２ｂのＣＰＵ２１がプログラムを実行することで具現化される。

記憶手段８４は、表示部８７に表示するための冷蔵室１１６を含む画像を記憶する。記憶手段８４は、ストレージサーバ６ｂのＣＰＵ２１がプログラムを実行することで具現化される。

表示制御手段８５は、表示部８７に冷蔵室１１６を含む画像を表示する。
事前設定手段８６は、冷蔵室１１６を含む画像を表示する表示態様として、この画像の角度、範囲、中心位置の少なくとも何れかの調整指示を受け付けて事前設定する。表示制御手段８５は、事前設定手段８６で指示された調整指示を反映した態様で画像を表示部８７に表示させる。表示制御手段８５と事前設定手段８６は、携帯端末３のＣＰＵ３１が冷蔵庫管理プログラムを実行することで具現化される。

図５は、冷蔵庫１の正面図である。
冷蔵庫１は、食品等を冷やす機器であり、冷蔵室１１６の左扉１２と右扉１３と、カメラユニット１０と、を備えている。冷蔵庫１は、その筐体内部に複数の貯蔵室を有している。冷蔵庫１の貯蔵室として、上から順に、冷蔵室１１６と、左右に並ぶ製氷室１４および上段冷凍室１５の他、野菜室１６と、下段冷凍室１７と、が設けられている。

冷蔵庫１の筐体は、鋼板製の外箱と、樹脂製の内箱（図示せず）と、の間に発泡ウレタン等の断熱材（図示せず）が充填された構成になっている。冷蔵庫１の筐体の前側（正面側）には、各室に対応する複数の開口が設けられている。例えば、冷蔵室１１６の開口を介して食品等が入れられる際には、左扉１２と右扉１３とが開けられる。また、左扉１２と右扉１３が閉じられると、冷蔵室１１６の開口が閉塞された状態になる。このように、左扉１２と右扉１３は、冷蔵室１１６の開口を塞ぐ機能等を有している。なお、他の各ドアについても同様である。

冷蔵庫１は、筐体とともに冷蔵室１１６を形成するフレンチ式ドアとして、左扉１２と右扉１３を備えている。左扉１２と右扉１３は、収納領域を開閉する第１扉及び第２扉に相当する。左扉１２は、左端のヒンジ１２１（図８参照）の軸を中心として、回動可能になっている。なお、右扉１３についても同様である。また、冷蔵庫１は、引出し式のドアとして、製氷室ドアや上段冷凍室ドアの他、野菜室ドアや下段冷凍室ドアを備えている。

冷蔵室１１６には、この冷蔵室１１６を所定に仕切る複数の棚板が設けられている。左扉１２の庫内側には、食品等を収容するための複数のドアポケット１２３（図７参照）が設けられている。左扉１２も同様である。製氷室１４には、製氷室ドアと一体に引き出される製氷室容器（図示せず）が設けられている。同様に、上段冷凍室１５には上段冷凍室容器（図示せず）が設けられ、また、野菜室１６には野菜室容器（図示せず）が設けられている他、下段冷凍室１７には下段冷凍室容器（図示せず）が設けられている。

また、冷蔵庫１は、図示はしないが、圧縮機と、放熱器（凝縮器）と、キャピラリチューブ（絞り機構）と、蒸発器と、を備えている。そして、圧縮機、放熱器、キャピラリチューブ、及び蒸発器を順次に介して冷媒が循環し、蒸発器を通流する冷媒との間の熱交換で、貯蔵室の空気が冷やされるようになっている。図４に示すカメラユニット１０は、冷蔵庫１の貯蔵室等を撮像するものであり、筐体の上面に設置されている。

図６は、冷蔵庫１の側面図である。
図６に示すように、カメラユニット１０は、本体部１０１と、支持部１０２と、を備えている。本体部１０１は、貯蔵室等を撮像する機能を有している。支持部１０２は、本体部１０１を支持するものであり、冷蔵庫１の筐体上面に設置されている。

本体部１０１の前端付近には、レンズ１０３（図６も参照）が設けられている。レンズ１０３は、光を屈折させて集束させる光学素子である。このようなレンズ１０３として、例えば、魚眼レンズが用いられる。そして、左扉１２または／および右扉１３（図５参照）が開かれた場合に、カメラユニット１０で冷蔵室１１６（図５参照）を撮像できるように、レンズ１０３が下側に臨んだ状態になっている。カメラユニット１０は、冷蔵室１１６外の住空間を含む住空間範囲を撮像する可能性がある位置に取付けられている。

図６に示すように、レンズ１０３は、筐体の前端（筐体の開口）よりも前側に位置している。より好ましくは、レンズ１０３は、閉状態の左扉１２および右扉１３（図５参照）の前面よりもさらに前側に位置している。これによって、例えば、冷蔵室１１６の左扉１２および右扉１３が開けられた際、レンズ１０３の視野に冷蔵室１１６が入りやすくなる。なお、野菜室ドア等の引出し式のドアが開かれた状態で、カメラユニット１０によって野菜室１６等（図５参照）を撮像することも可能である。このように、それぞれの貯蔵室を上から見下ろせる位置にレンズ１０３が設けられている。

図７は、冷蔵庫１の左扉１２および右扉１３が開かれた状態の正面図である。
前記したように、左扉１２の内板１２２には、食品等を収容するための複数のドアポケット１２３が設けられている（右扉１３も同様）。そして、左扉１２および右扉１３が開けられると、冷蔵室１１６やドアポケット１２３，１３３の食品等が、カメラユニット１０のレンズ１０３の視野に俯瞰的に入るようになっている。

図７に示す回転仕切１２４は、左扉１２および右扉１３の間の隙間からの冷気漏れを抑制するための仕切体である。図７の例では、左扉１２において、ヒンジ１２１（図８参照）の軸とは反対側の端部に回転仕切１２４が設けられ、左扉１２の開閉に伴って所定に回転するようになっている。カメラユニット１０は、左扉１２が閉状態のときの回転仕切１２４の長手方向の仮想延長領域内に配置されている。

また、カメラユニット１０を用いて冷蔵室１１６を手動で撮影する際、ユーザによって押される撮影ボタン１２５が左扉１２に設けられ、撮影ボタン１３５が右扉１３に設けられている。図７の例では、左扉１２において、この左扉１２のヒンジ１２１（図８参照）とは反対側の面の下部に、撮影ボタン１３５が設けられている（右扉１３も同様）。別の観点から説明すると、左扉１２および右扉１３が閉まっている状態（図５参照）において、左扉１２および右扉１３の一方が他方と対向している面（図７の回転仕切１２４の付近）に撮影ボタン１２５が設けられている。

これら撮影ボタン１２５，１３５のうち少なくとも一方がユーザによって押された場合に行う撮影を「手動撮影」という。また、左扉１２および右扉１３の開き始めのタイミングからの経過時間に基づいて、演算部１１２が行う撮影を「自動撮影」という。

図８は、冷蔵庫１の左扉１２および右扉１３が開かれた状態の平面図である。
図８の例では、左右方向において、冷蔵庫１の筐体中央よりも若干左側にカメラユニット１０の本体部１０１が配置されている。より詳しく説明すると、閉状態の左扉１２および右扉１３の合わせ目の真上にカメラユニット１０の本体部１０１が配置されている（図５も参照）。このように本体部１０１を配置することで、例えば、左扉１２および右扉１３が開けられた場合に、ドアポケット１２３，１３３の食品等がカメラユニット１０の視野に入りやすくなる。

また、冷蔵庫１を使用する際、ユーザは、左扉１２および右扉１３の合わせ目（境界部）を意識することが多い。したがって、左扉１２および右扉１３の合わせ目の真上に本体部１０１を配置することで、本体部１０１の左右方向の位置が合わせ目から外れている場合に比べて、ユーザが違和感を感じることを抑制できる。

図９は、カメラユニット１０を斜め下から見上げた場合の斜視図である。
図９に示すカメラユニット１０の本体部１０１は、前記したレンズ１０３（図６も参照）の他に、ケース３１ｂと、カメラＬＥＤ１００（Light Emitting Diode：照明部）と、を備えている。図６の例では、本体部１０１のケースは、概ね、前後方向に細長い直方体状を呈している。本体部１０１のケースの前端付近の下面には、円形状の孔（符号は図示せず）が設けられ、この孔を介してレンズ１０３が露出している。また、レンズ１０３の後側（奥側）にカメラＬＥＤ１００が設けられている。

カメラＬＥＤ１００は、カメラユニット１０が冷蔵室１１６（図７参照）やドアポケット１２３，１３３（図７参照）を適度な明るさのもとで撮影できるように、冷蔵室１１６等に光を照射する光源である。また、カメラＬＥＤ１００（照明部）は、冷蔵庫１の筐体（図５参照）の外側に設けられている。詳細については後記するが、本実施形態では、冷蔵庫１の庫内灯を消灯しつつ、カメラＬＥＤ１００を点灯させた状態で、カメラユニット１０が冷蔵室１１６等（図７参照）を撮影するようにしている。

図９に示すように、カメラＬＥＤ１００の前側にレンズ１０３を設けることで、左扉１２および右扉１３が開けられた状態で、冷蔵室１１６等（図５参照）からの反射光がレンズ３１ａに入射しやすくなる。したがって、冷蔵室１１６等に収容されている食品を適切に撮影できる。なお、冷蔵庫１の筐体（図６参照）の前端（筐体の開口）よりも前側にカメラＬＥＤ１００が位置していることが好ましい。これによって、カメラＬＥＤ１００から照射された光が冷蔵室１１６等に入射しやすくなり、ひいては、鮮明な撮影結果が得られやすくなる。

冷蔵庫１は、物品を収納する収納領域である冷蔵室１１６と、冷蔵室１１６を含む物品範囲を撮像するカメラユニット１０と、を備える収納庫である。

図１０は、第１実施形態の画像加工処理のシーケンス図である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ１０）。つまり演算部１１２は、扉センサ１１７の検知情報に応じて、カメラユニット１０に画像を撮像させる撮像制御手段を具現化する。

演算部１１２は、撮像した冷蔵室１１６のカメラ画像をサーバ２ａにアップロードする（ステップＳ１１）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。

サーバ２ａのＣＰＵ２１は、カメラユニット１０で撮像した加工前画像を取得する加工前画像取得手段である。サーバ２ａは、この加工前のカメラ画像をストレージサーバ６ａに送信する（ステップＳ１２）。サーバ２ａ，２ｂとストレージサーバ６ａ，６ｂと

ストレージサーバ６ａは、サーバ２ｂにイベントを通知すると（ステップＳ１３）、加工前のカメラ画像を保存する（ステップＳ１４）。ストレージサーバ６ａは、加工前画像を記憶する第１記憶手段として機能する。
そしてストレージサーバ６ａは、サーバ２ｂに加工前のカメラ画像を送信すると（ステップＳ１５）、自身に保存した加工前のカメラ画像を削除する（ステップＳ１６）。つまりストレージサーバ６ａのＣＰＵ２１は、加工前のカメラ画像を削除する削除手段として機能する。

サーバ２ｂは、加工前のカメラ画像のレンズによる歪みを補正し（ステップＳ１７）、台形補正により正面視の画像に加工する（ステップＳ１８）。そしてサーバ２ｂは、ストレージサーバ６ｂに既存の加工後の画像を要求し（ステップＳ１９）、ストレージサーバ６ｂから加工後の画像を受信する（ステップＳ２０）。

サーバ２ｂは、既存の加工後の画像と台形補正した画像とを合成すると（ステップＳ２１）、合成した加工後画像をストレージサーバ６ｂに送信して保存させる（ステップＳ２２）。ストレージサーバ６ｂは、サーバ２ｂから受信した加工後画像を保存する（ステップＳ２３）。ストレージサーバ６ｂは、携帯端末３のタッチパネルディスプレイ３６に表示するための、冷蔵室１１６を含む画像を記憶する記憶手段として機能する。

そしてストレージサーバ６ｂは、携帯端末３からの要求に応じて、加工後画像を携帯端末３に送信する（ステップＳ２４）。携帯端末３は、ストレージサーバ６ｂから加工後の画像を受信すると、この加工後画像をタッチパネルディスプレイ３６に表示する。これにより顧客は、携帯端末３により冷蔵室１１６の画像を閲覧できる。

携帯端末３は、ストレージサーバ６ａにアクセスすることはなく、よってストレージサーバ６ａのＩＰアドレスを知ることはない。これにより、携帯端末３からストレージサーバ６ａへのアクセス方法を知ることはできず、よって加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。

ストレージサーバ６ｂは、加工後画像を保存したのち所定期間が経過すると、この加工後画像を消去する。つまり、ストレージサーバ６ｂが加工後画像を消去するよりも前に、ストレージサーバ６ａは、自身が保存した加工前の画像を消去する。これにより、加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。

図１１は、画像合成処理の詳細シーケンス図である。ここでは、ストレージサーバ６ａと、サーバ２ｂと、ストレージサーバ６ｂとの間の処理について詳細に説明する。サーバ２ｂは、扉部分の画像を処理する扉部処理部２６と、冷蔵室１１６の内部画像を処理する庫内部処理部２７という２つの機能部を備えている。

ストレージサーバ６ａはサーバ２ｂに、冷蔵庫１の型式と左扉１２と右扉１３の角度情報を送信する（ステップＳ５０）。扉部処理部２６は、この角度情報に応じて加工前の画像を切り出して（ステップＳ５１）、合成処理を行って（ステップＳ５２）、加工後の画像を生成する。この合成処理において、扉部処理部２６は、画像に写り込んでいる人体などを検知してモザイク処理またはマスキング処理を行い、扉部の内側以外の住空間をモザイク処理またはマスキング処理する。そして扉部処理部２６は、加工後の扉部の画像をストレージサーバ６ｂに送信する（ステップＳ５３）。

これらの処理と並行に、庫内部処理部２７は、左扉１２と右扉１３とが開かれているか否かを判定する（ステップＳ５４）。左扉１２と右扉１３とが開かれているならば（Ｙｅｓ）、庫内部処理部２７は、加工後の庫内画像をストレージサーバ６ｂに送信する（ステップＳ５５）。左扉１２および右扉１３の何れかが開かれていないならば（Ｎｏ）、庫内部処理部２７は、開かれている扉に対応する庫内画像を切り出して（ステップＳ５６）、合成処理を行って（ステップＳ５７）、加工後の画像を生成する。この合成処理において、庫内部処理部２７は、画像に写り込んでいる人体などを検知してモザイク処理またはマスキング処理を行い、扉部の内側以外の住空間をモザイク処理またはマスキング処理する。そして庫内部処理部２７は、加工後の扉部の画像をストレージサーバ６ｂに送信する（ステップＳ５８）。

ストレージサーバ６ｂは、加工後画像を受信すると、その画像を保存する（ステップＳ５９）。

図１２は、扉センサ状態に応じた画像合成方法のフローチャートである。
庫内部処理部２７は、冷蔵庫１の冷蔵室１１６の撮影画像と、扉センサ１１７の検知情報を受信する（ステップＳ７０）。そして庫内部処理部２７は、扉センサ１１７の検知状態を判定する（ステップＳ７１）。

左扉１２のみが開いている場合、庫内部処理部２７は、加工後画像のうち左扉側の範囲を更新し（ステップＳ７２）、ステップＳ７５に進む。つまり庫内部処理部２７は、左扉１２の開に応じて、携帯端末３に表示するための画像の冷蔵室１１６のうち左扉１２側の範囲を、カメラユニット１０によって撮像された画像データを使用して更新する。
なお、左扉１２は、回転仕切１２４を備えている。庫内部処理部２７は、左扉１２の開に応じて、携帯端末３に表示するための画像の冷蔵室１１６のうち左扉１２側の範囲と回転仕切１２４の範囲を、カメラユニット１０によって撮像された画像データを使用して更新するとよい。

右扉１３のみが開いている場合、庫内部処理部２７は、加工後画像のうち右扉側の範囲を更新し（ステップＳ７３）、ステップＳ７５に進む。つまり庫内部処理部２７は、右扉１３の開に応じて、携帯端末３に表示するための画像の冷蔵室１１６のうち右扉１３側の範囲を、カメラユニット１０によって撮像された画像データを使用して更新する。

左扉１２と右扉１３の両方が開いている場合、庫内部処理部２７は、加工後画像のうち右扉１３側と左扉１２側と回転仕切１２４側の範囲を更新し（ステップＳ７４）、ステップＳ７５に進む。つまり庫内部処理部２７は、左扉１２と右扉１３の開に応じて、携帯端末３に表示するための画像の冷蔵室１１６のうち左扉１２側の範囲と右扉１３側の範囲を、カメラユニット１０によって撮像された画像データを使用して更新する。

ステップＳ７５にて、庫内部処理部２７は、ストレージサーバ６ｂに冷蔵庫１の冷蔵室１１６の加工後画像を送信して保存させると、図１２の処理を終了する。これにより、庫内部処理部２７は、２枚の扉が設けられた冷蔵庫内を撮影して顧客に閲覧可能とする場合、適切な庫内の画像を作成することができる。

図１３は、冷蔵庫１のカメラで撮影した加工前画像を示す図である。画像の下半分には、冷蔵室１１６が写っている。画像の左側には、右扉１３の内側が写っている。画像の右側には、左扉１２の内側が写っている。そして、画像の上半分には、お客様の住環境が写り込んでいる。この部分は、加工後の画像から見ると不要部分である。

図１４は、加工後画像の一例を示す図である。
サーバ２ｂは、冷蔵庫１のカメラユニット１０で撮影した加工前の画像に対してレンズの歪みを補正し、台形補正を行って正面視の画像に加工する。このときサーバ２ｂは、画像中に顔を検出すると、この顔が写っている領域に対してモザイク処理する。

本システムが実行するモザイク処理は、物品範囲以外の少なくとも一部の範囲の情報量を低下させる加工処理である。これにより、お客様が意図せずに他人に見られてしまうことを抑止できる。なお、この顔検出処理とモザイク処理は、サーバ２ｂが実行するが、サーバ２ａや冷蔵庫１が加工前の画像に対して実行してもよい。

図１４の左扉内側画像７１は、左扉１２の内側が撮影された領域を切り出した加工後画像である。庫内画像７２は、冷蔵室１１６が撮影された領域を切り出した加工後画像である。この庫内画像７２は、領域７２１と、領域７２２と、領域７２３とに分けられる。
庫内画像７２のうち、領域７２１，７２２は、左扉１２が閉じたときに隠される。領域７２２，７２３は、右扉１３が閉じたときに隠される。そして領域７２２は、回転仕切に対応する領域である。右扉内側画像７３は、右扉１３の内側が撮影された領域を切り出した加工後画像である。

図１５は、右扉１３が閉じられた状態の加工後画像７４の一例を示す図である。加工後画像７４の右側は、右扉１３によって遮られており、左側には冷蔵室１１６の領域７２１が写っている。このとき、サーバ２ｂは、従前の冷蔵室１１６の撮影画像に、左側の領域７２１を合成する。

図１６は、左扉１２が閉じられた状態の加工後画像７５の一例を示す図である。加工後画像７５の左側は、左扉１２によって遮られており、右側には冷蔵室１１６の領域７２３が写っている。このとき、サーバ２ｂは、従前の冷蔵室１１６の撮影画像に、右側の領域７２３を合成する。

以下の図１７から図２１は、プレビュー表示設定の手順を示すものである。これら図面は、ユーザが携帯端末３のタッチパネルディスプレイ３６の操作画面である。つまり携帯端末３のＣＰＵ３１が、この携帯端末３にインストールされた冷蔵庫管理プログラムを実行することで、これら操作画面が表示される。

図１７は、携帯端末３のタッチパネルディスプレイ３６に表示された冷蔵庫の中身画面５１を示す図である。
冷蔵庫の中身画面５１には、庫内画像５１１と、室内選択ボタン５１２とが表示されている。ここ庫内画像５１１には、冷蔵室１１６に収納されている食品等が写されている。つまり、ＣＰＵ３１が不図示の冷蔵庫管理プログラムを実行することで、タッチパネルディスプレイ３６に冷蔵室１１６を含む画像を表示する表示制御手段を具現化する。

室内選択ボタン５１２は、冷蔵室１１６の画像、左扉１２の内側の画像、右扉１３の内側の画像のうち何れかを選択する
庫内画像５１１をタップすると、図１８に示す調整前画面５２に遷移する。

図１８は、調整前画面５２を示す図である。
調整前画面５２には、庫内画像５２１が表示されており、その下に削除ボタン５２２、プレビュー調整ボタン５２３、ダウンロードボタン５２４が配置されている。

削除ボタン５２２は、ストレージサーバ６ｂからこの庫内画像５２１を削除するボタンである。プレビュー調整ボタン５２３は、図１９に示すプレビュー調整画面５３に遷移するボタンである。ダウンロードボタン５２４は、ストレージサーバ６ｂからこの庫内画像５２１をダウンロードするボタンである。

図１９は、プレビュー調整画面５３を示す図である。
プレビュー調整画面５３には、「工場出荷時に戻す」ボタン５３２と、庫内画像５３１と、スライド５３３と、キャンセルボタン５３４と、上書き保存ボタン５３５を含んでいる。庫内画像５３１の周辺には、うっすらと画像が透けて見えている。

「工場出荷時に戻す」ボタン５３２は、調整パラメータを工場出荷時の調整を行っていない状態にするボタンである。「工場出荷時に戻す」ボタン５３２は、調整されていない状態では不活性である。庫内画像５３１は、庫内を正面視した画像であり、水平と垂直を確認するためのガイドと共に表示されている。スライド５３３は、画像の回転角度を調整するものである。なお画像の回転角度は、ユーザが庫内画像５３１を指２本でタッチしながら回転することによっても調整可能である。

キャンセルボタン５３４は、プレビュー調整ボタン５２３を押す前の画面に戻るためのボタンである。上書き保存ボタン５３５は、設定中の調整パラメータを上書きするボタンである。この上書き保存ボタン５３５をタップすると、設定中の調整パラメータが上書きされて調整前画面５２に遷移し、前の数値には戻せなくなる。

図２０は、調整中のプレビュー調整画面５３を示す図である。
このプレビュー調整画面５３は、画像を指２本でタッチして回転させる動作をしたものである。調整された回転角度は２度であり、スライド５３３には“２°”が表示されている。それ以外にピンチイン操作による表示範囲の縮小調整、ピンチアウト動作による表示範囲の拡大調整、スワイプ操作による中心位置の調整などが可能である。このように調整したのちにキャンセルボタン５３４をタップすると、図２１に示す破棄ダイアログ５４に遷移する。すなわち、ＣＰＵ３１が、不図示の冷蔵庫管理プログラムを実行することで、冷蔵室１１６を含む画像を表示する表示態様として、画像の角度、範囲、中心位置の少なくとも何れかの調整指示を受け付けて事前設定する事前設定手段を具現化する。

図２１は、調整内容の破棄ダイアログ５４を示す図である。
キャンセルボタン５４１は、調整内容の破棄をキャンセルして、直前のプレビュー調整画面５３に戻るボタンである。ＯＫボタン５４２は、調整内容を破棄して、未調整のプレビュー調整画面５３に戻るボタンである。

図２２は、第２実施形態の画像加工処理のシーケンス図である。
ユーザが冷蔵庫１の扉を開くと、演算部１１２は、扉センサ１１７によって扉が開かれたことを検知する。これにより演算部１１２は、カメラユニット１０により、食品が収納されている冷蔵室１１６を撮像する（ステップＳ３０）。このカメラ画像は、ユーザ閲覧可能な加工を行う前の画像である。

演算部１１２は、加工前のカメラ画像を保存する（ステップＳ３１）。演算部１１２は、加工前のカメラ画像のレンズによる歪みを補正し（ステップＳ３２）、台形補正により正面視の画像に加工する（ステップＳ３３）。そして演算部１１２は、加工前のカメラ画像を削除する（ステップＳ３４）。演算部１１２は、ストレージサーバ６ｂに既存の加工後の画像を要求し（ステップＳ３５）、ストレージサーバ６ｂから加工後の画像を受信する（ステップＳ３６）。

演算部１１２は、既存の加工後の画像と台形補正した画像とを合成すると（ステップＳ３７）、合成した加工後画像をサーバ２ｂに送信する（ステップＳ３８）。サーバ２ｂは、加工後画像をストレージサーバ６ｂに送信して保存させる（ステップＳ３９）。ストレージサーバ６ｂは、サーバ２ｂから受信した加工後画像を保存する（ステップＳ４０）。そしてストレージサーバ６ｂは、携帯端末３からの要求に応じて、加工後画像を携帯端末３に送信する（ステップＳ４１）。これにより顧客は、携帯端末３により冷蔵室１１６の画像を閲覧できる。

ストレージサーバ６ｂは、加工後画像を保存したのち所定期間が経過すると、この加工後画像を消去する。つまり、ストレージサーバ６ｂが加工後画像を消去するよりも前に、ストレージサーバ６ａは、自身が保存した加工前の画像を消去する。これにより、加工前の画像に写り込んだお客様や、お客様の住環境が意図せずに他人に見られてしまうことを抑止できる。

（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。

各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の（ａ）～（ｃ）のようなものがある。

（ａ） サーバおよびストレージサーバの構成は任意であり、実施形態に示した構成に限定されない。
（ｂ） 本発明は冷蔵庫の冷蔵室の閲覧に限られず、任意の収納庫の収納領域の閲覧に適用してもよい。
（ｃ） 冷蔵室１１６の左側領域の画像と右側領域の画像の合成を行うのは、サーバや冷蔵庫に限定されず、例えば携帯端末が両画像を合成してもよい。

１ 冷蔵庫
１００ カメラＬＥＤ
１０ カメラユニット
１１２ 演算部
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ 通信部
１１６ 冷蔵室
１１７ 扉センサ
１２ 左扉
１２４ 回転仕切
１３ 右扉
１４ 製氷室
１５ 上段冷凍室
１６ 野菜室
１７ 下段冷凍室
２ａ サーバ
２ｂ サーバ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 記憶部
２５ 通信部
２６ 扉部処理部
２７ 庫内部処理部
３ 携帯端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 通信部
３６ タッチパネルディスプレイ
５１ 冷蔵庫の中身画面
５１１ 庫内画像
５１２ 室内選択ボタン
５２ 調整前画面
５２１ 庫内画像
５２２ 削除ボタン
５２３ プレビュー調整ボタン
５２４ ダウンロードボタン
５３ プレビュー調整画面
５３１ 庫内画像
５３２ 「工場出荷時に戻す」ボタン
５３３ スライド
５３４ キャンセルボタン
５３５ 上書き保存ボタン
５４ 破棄ダイアログ
５４１ キャンセルボタン
５４２ ＯＫボタン
６ａ ストレージサーバ
６ｂ ストレージサーバ
７１ 左扉内側画像
７２ 庫内画像
７２１ 領域
７２２ 領域
７２３ 領域
７３ 右扉内側画像
８１ 撮像制御手段
８２ 受信手段
８３ 画像更新手段
８４ 記憶手段
８５ 表示制御手段
８６ 事前設定手段
８７ 表示部

Claims (7)

1. 収納領域を開閉する第１扉及び第２扉と、
   前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、
   撮像部と、を備える収納庫と、
   前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる撮像制御手段と、
   表示部に表示するための前記収納領域を含む画像を記憶する記憶手段と、
   前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記撮像部によって撮像された画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記撮像部によって撮像された画像データを使用して更新する画像更新手段と、
   を備えることを特徴とする画像表示制御システム。
2. 前記第１扉は、回転仕切を備え、
   前記画像更新手段は、前記第１扉及び前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記回転仕切側の範囲を、前記撮像部によって撮像された画像データを使用して更新する、
   ことを特徴とする請求項１に記載の画像表示制御システム。
3. 前記撮像部は、前記回転仕切の長手方向の仮想延長領域内に配置されている、
   ことを特徴とする請求項２に記載の画像表示制御システム。
4. 表示部に前記収納領域を含む画像を表示する表示制御手段と、
   前記収納領域を含む画像を表示する表示態様として、当該画像の角度、範囲、中心位置の少なくとも何れかの調整指示を受け付けて事前設定する事前設定手段と、を備え、
   前記表示制御手段は、前記事前設定手段で指示された調整指示を反映した態様で画像を前記表示部に表示させる、
   ことを特徴とする請求項１に記載の画像表示制御システム。
5. 収納領域を開閉する第１扉及び第２扉の開閉を区別して検知する扉センサの検知情報と、前記収納領域を撮影した画像データとを受信する受信手段と、
   表示部に表示するための前記収納領域を含む画像を記憶する記憶手段と、
   前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記収納領域を撮影した画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記収納領域を撮影した画像データを使用して更新する画像更新手段と、
   を備えることを特徴とする画像表示制御サーバ。
6. 収納領域を開閉する第１扉及び第２扉と、
   前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、
   撮像部と、を備える収納庫に関する画像表示制御方法であって、
   １以上の演算部が、
   前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる手順、
   表示部に前記収納領域を含む画像を表示させる手順、
   前記表示部に表示するための画像のうち、前記収納領域のうち前記第１扉側の範囲を、前記第１扉の開に応じて、前記撮像部によって撮像された画像データを使用して更新する手順、
   前記表示部に表示するための画像のうち、前記収納領域のうち前記第２扉側の範囲を、前記第２扉の開に応じて、前記撮像部によって撮像された画像データを使用して更新する手順、
   を実行することを特徴とする画像表示制御方法。
7. 収納領域を開閉する第１扉及び第２扉と、
   前記第１扉及び前記第２扉の開閉を区別して検知する扉センサと、
   撮像部と、を備える収納庫と、
   前記扉センサの検知情報に応じて、前記撮像部に画像を撮像させる撮像制御手段と、
   表示部に前記収納領域を含む画像を表示する表示制御手段と、
   前記第１扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第１扉側の範囲を前記撮像部によって撮像された画像データを使用して更新し、前記第２扉の開に応じて、前記表示部に表示するための画像の前記収納領域のうち前記第２扉側の範囲を前記撮像部によって撮像された画像データを使用して更新する画像更新手段と、
   を備える画像表示制御システムの生産方法であって、
   少なくとも前記表示制御手段を実行させるためのプログラムを端末に提供するステップを含む画像表示制御システムの生産方法。

Images