以下、複数の実施形態について、図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付し、その詳細な説明は省略する。
(第1実施形態)
以下、第1実施形態について図1から図8を参照しながら説明する。
図1に示すように、本実施形態のカメラシステム1は、本実施形態における撮像対象である冷蔵庫2、冷蔵庫2に設けられている通信アダプタ3、通信アダプタ3との間で近距離通信などの無線通信を行うアクセスポイント4、携帯端末5(表示端末、外部機器)、サーバ6、および、本実施形態では冷蔵庫2の庫内に設置されているカメラ装置7等により構成されている。これら冷蔵庫2、携帯端末5、サーバ6およびカメラ装置7は、アクセスポイント4および外部ネットワーク8を介して互いに通信可能に接続されている。つまり、本実施形態では、カメラシステム1は、冷蔵庫2の庫内の画像を取得する冷蔵庫2用の画像取得システムとして機能している。
冷蔵庫2に設けられている通信アダプタ3は、アクセスポイント4との間で近距離無線通信を行うものであり、本実施形態では冷蔵庫2の上部に着脱可能(後付け可能)に設けられている。なお、通信アダプタ3を冷蔵庫2に内蔵した構成としてもよいし、冷蔵庫2とアクセスポイント4との間を有線通信方式で接続してもよい。
携帯端末5は、いわゆるスマートフォン(高機能携帯電話)やタブレットPCなどを想定しており、住宅内あるいは住宅外から冷蔵庫2やサーバ6との間で通信可能となっている。この携帯端末5は、住宅内であっても、広域通信により外部ネットワーク8を経由して冷蔵庫2側と通信することが可能である。また、携帯端末5の表示部5aにはタッチパネルが設けられており、ユーザの操作を受け付ける。
サーバ6は、周知のコンピュータシステムにより構成されており、画像情報を記憶するための記憶部を備えている。ここで、画像情報とは、画像を示す情報(データ)であり、例えばビットマップ形式やJPEG形式、MPEG形式などの周知の静止画あるいは動画フォーマットの画像データや、その画像データを圧縮や暗号化あるいは画像処理などにより変換したデータ等、サーバ6に送信可能であって、最終的に携帯端末5で画像を閲覧することができるものであれば、どのような形式の情報であってもよい。本実施形態では、画像は静止画を想定している。また、サーバ6には、画像情報の他に、冷蔵庫2側にアクセスするための情報(例えばIPアドレスなど)や、後述する撮像設定(カメラ装置7で撮像を行うための条件)等を記憶している。
次に、カメラシステム1における冷蔵庫2およびカメラ装置7の電気的構成について説明する。
図2に示すように、撮像対象となる冷蔵庫2は、制御部10を有している。この制御部10は、CPU10a、ROM10b、RAM10cおよびタイマ10d等を有するマイクロコンピュータにより構成されており、ROM10b等に記憶されているプログラムを実行することで冷蔵庫2の全体を制御する。具体的には、制御部10は、操作パネル11から設定された運転状態となるように、温度センサ12で検出した庫内の温度や開扉センサ13で検出した扉の開閉状態等に基づいて、周知の冷凍サイクルを構成する冷蔵用冷却器14や冷凍用冷却器15およびコンプレッサ16等を制御する。また、制御部10は、冷蔵室の扉が開放された際には冷蔵室照明17を点灯し、野菜室の扉が開放された際には野菜室照明18を点灯する。また、詳細は後述するが、冷蔵室照明17および野菜室照明18は、カメラ装置7に撮像タイミングであること伝達する伝達手段としても機能する。冷蔵庫が有する貯蔵室のうち、冷蔵室は概ね縦長の空間として形成されており、野菜室は概ね横長の空間として形成されている。なお、この冷蔵庫2の構成は一例である。
カメラ装置7は、本実施形態では、図1に示したように冷蔵庫2の冷蔵室内に2つ、野菜室内に1つの合計3つが設けられている。より具体的には、冷蔵室の中央部に設けられているカメラ装置7(図2に冷蔵室中央部と示す)は、本実施形態では冷蔵室の観音開きの扉の内側(ドアポケットが設けられている側)に、扉が閉鎖された際に冷蔵室のほぼ中央となる位置に取り付けられている。このため、扉が閉鎖された状態では、冷蔵室の全体が、正面側すなわちユーザの視野と同様の状態で撮像される。冷蔵室の下部に設けられているカメラ装置7(図2に冷蔵室下部と示す)は、冷蔵室の最下段の棚板(図示省略。透明材料で形成されている)に設置されており、最下段の棚板に置かれている食材を主として、透明な棚板を透かして上段側の食材等も撮像する。野菜室に設けられているカメラ装置7(図2に野菜室と示す)は、野菜室の扉に設けられており、野菜室の内部を撮像する。
このカメラ装置7は、カメラ制御部20を有している。カメラ制御部20は、CPU20a、ROM20b、RAM20cおよびタイマ20d等を有するマイクロコンピュータで構成されており、カメラ装置7全体を制御する。このカメラ制御部20は、通信モジュール21、撮像部22、撮像照明部23、電池24、照度センサ25、加速度センサ26、および温度センサ27等に接続されており、通信モジュール21による画像情報の送信、撮像部22による撮像タイミングの制御、照明部23の点灯制御(撮像する際の光源の確保)、照度センサ25による後述する撮像指示の受信(受け付け)等の制御を行っている。また、カメラ制御部20は、本実施形態では、撮像した画像の歪みを補正する画像処理も行っている。
通信モジュール21は、撮像部22で撮像した画像情報を外部機器に送信する。本実施形態では、画像情報は、アクセスポイント4を介してサーバ6に送信され、サーバ6にて複数の画像情報が履歴として記憶される。
撮像部22は、CCDやCMOS等の撮像素子22a(図3参照。詳細は後述する)を備えている。照明部23は、発光ダイオード(LED)を備えており、撮像部22で撮像する際の光源となる。なお、図示は省略するが、カメラ装置7には電源スイッチも設けられている。電池24は、カメラ装置7の各部に電力を供給する。つまり、カメラ装置7は、内蔵する電池24により駆動されることから電源ケーブルが不要となり、任意の場所に設置することができる。この電池24は、本実施形態では冷蔵庫2内のような比較的低温の場所であっても優れた放電特性を示すリチウム電池を採用している。
照度センサ25は、カメラ装置7が設置されている環境の照度を検出する。本実施形態の場合、照度センサ25は、冷蔵室照明17(あるいは野菜室照明18)により照らされた庫内の照度を検出する。この照度センサ25は、以下に説明するように、携帯端末5からの撮像指示を受信するための受信手段としても機能する。
カメラ装置7は上記したように電池24により駆動されることから、常にカメラ制御部20等が動作状態となっていると、電池24が早く消耗することになる。このため、カメラ装置7は、常にはスリープモードのような低消費電力状態となっており、撮像タイミングになると通常状態となるように構成されている。さて、ユーザからの撮像指示を受信するためには、何らかの受信手段を駆動しておく必要がある。その場合、通信モジュール21を駆動させてしまうと、撮像指示が庫内場合であっても常に電力が消費されてしまう。
そこで、本実施形態では、撮像指示は冷蔵庫2側の通信アダプタ3で受信する構成とし、撮像指示を間接的にカメラ装置7に伝達する構成としている。具体的には、カメラ装置7は、常には低消費電力状態で待機しており、その状態で電力消費が比較的少ない照度センサ25に通電しておき、撮像指示を受信した冷蔵庫2が冷蔵室照明17や野菜室照明18を所定パターンで点滅させると、その照度の変化を照度センサ25で検出して通常状態に復帰し、照度の変化パターンが予め登録されている撮像指示用のパターンと一致すると、撮像指示が送られてきたと判定する。このように、照度センサ25は、撮像指示を受信するための受信手段として機能している。
加速度センサ26は、所謂三軸センサであり、カメラ装置7に加わる加速度を互いに直交する三軸方向でそれぞれ検出することで、カメラ装置7の設置向き(設置の姿勢)を判断する。本実施形態のカメラ装置7は、図3に示すように、概ね直方体の形状に形成された筐体を有している。以下、図3のように筐体が上下方向に縦長に設置されている状態を便宜的に縦置きと称し、筐体が左右方向に縦長に設置されている状態を便宜的に横置きと称する。
さて、このような形状のカメラ装置7は、撮像素子22aの画素数が縦と横とで異なる構成としており、縦置きおよび横置きにおいて撮像素子22aの向きが変化する。具体的には、縦置きの場合には撮像素子22aも縦長(縦方向の画素数が横方向の画素数よりも多くなる)となり、横置きの場合には撮像素子22aも横置き(横方向の画素数が縦方向の画素数よりも多くなる)となる。上記したように冷蔵室は縦長の空間であり、その内部をできる限り広い視野で撮像するためには、縦長の視野で撮像することが望ましい。一方、野菜室は、上記したように横長の空間であり、その内部をできる限り広い視野で撮像するためには、横長の視野で撮像することが望ましい。このため、冷蔵室ではカメラ装置7を縦置きとし、野菜室では横置きとすることが望ましい。そして、冷蔵庫2のように上下方向が設置時に規定される場合には、撮像された画像情報を携帯端末5で表示する際にも、ユーザが実際に冷蔵庫2を見たときと同様に表示されること(つまり、上下方向が統一されていること)が望ましい。
そこで、加速度センサ26を設け、カメラ装置7が自身の設置向きを判断可能とすることで、縦置きと横置きとで上下方向が統一されるように画像処理する(画像を回転させる)ことが可能となる。本実施形態の場合、冷蔵室中央部のカメラ装置7は縦置きで設置されており、冷蔵室下部および野菜室のカメラ装置7は横置きで設置されている。
温度センサ27は、カメラ装置7が設置された場所の温度を検知する。この温度センサ27は、例えば基準となる基準温度を設定しておき、基準温度より高ければ冷蔵室に設置されていると判断し、基準温度よりも低ければ冷凍室に設置されていると判断する等、カメラ装置7の設置場所を判断する目安となる。このため、例えばカメラ装置7が冷凍室に設置されていると判断した場合には、故障等の虞が懸念されるため、「冷凍室に置いていませんか? 冷蔵室か野菜室に置いてください」等、設置場所が想定外である旨の案内やアドバイスあるいは警告などを例えば携帯端末5にて報知する。
ここで、カメラ装置7による撮像タイミングについて説明する。
カメラ装置7は、図5に示す撮像処理を実行している。具体的には、カメラ装置7は、電源がONされると、通常状態よりも電力消費が少ない低消費電力状態(スリープモード等)に移行する。この低消費電力状態は、上記したように照度センサ25による照度の変化の検出が行われている。そして、カメラ装置7は、撮像タイミングになったか否かを判定する(S1)。本実施形態では、撮像タイミングとして、以下の2つが設定されている。
・予め設定されている撮像時刻:後述するように、カメラ装置7には所定条件として規則的に撮像するタイミングである撮像時刻が設定される。カメラ装置7は、サーバ6等から現在時刻を取得するとともに、タイマ20dにより時刻を計時しており、撮像時刻になると、撮像タイミングになったと判定する。
・撮像指示を受信したとき:上記したように、照度センサ25にて撮像指示を示す照度の変化を検知すると、撮像タイミングになったと判定する。
カメラ装置7は、いずれかの撮像タイミングになったと判定すると(S1:YES)、例えば冷蔵室の室内を撮像し(S2)、撮像した画像情報をサーバ6へ送信する(S3)。このステップS3では、カメラ装置7は、自身の通信モジュール21でアクセスポイント4との間で通信を行うことで、冷蔵庫2を経由せずに画像情報をサーバ6に送信する。そして、サーバ6は、画像情報を受信すると、撮像された時刻等の撮像条件と対応付けて画像情報を記憶する。また、サーバ6は、過去に送信された画像情報が存在する場合には、それらを含めて所定数の画像データを撮像履歴(図6等参照)として記憶する。
さて、ユーザは、サーバ6に記憶された画像情報を携帯端末5で閲覧することができる。以下、携帯端末5における画像情報の表示態様およびカメラ装置7に対する設定方法を図5から図8を参照しながら説明する。
ユーザがサーバ6にアクセスすると、携帯端末5の画面には、図5に示すトップ画面が表示される。このトップ画面には、冷蔵庫2に関する情報を表示するための運転状況ボタンM1、庫内の食材を管理するための食材管理ボタンM2、カメラ装置7で撮像した画像情報を表示するための庫内カメラボタンM3、冷蔵庫2の節電機能を設定するための節電設定ボタンM4、操作方法等を表示するための取扱説明書ボタンM5、ヘルプ機能を利用するためのQ&AボタンM6、現在の冷蔵庫2の運転状態(消費電力や設定状態)を表示する運転状態表示部M7、最新の画像情報を表示する最新画像表示部M8、画像情報の履歴を参照するための履歴ボタンM9等が設けられている。
この状態で庫内カメラボタンM3あるいは履歴ボタンM9がタッチ操作されると、携帯端末5は図6に示す画像表示画面に切り替わる。なお、この図6は、冷蔵室中央付近に設置されたカメラ装置7で撮像した画像情報を表示する画面の一例を示しており、時刻表示ボタンM10、画像表示部M11、選択ボタンM12、撮像ボタンM13、回転ボタンM14、ステータス表示部M15、設定ボタンM16等が表示されている。
時刻表示ボタンM10は、サーバ6に記憶されている画像情報が撮像された撮像時刻(撮像条件)を選択するためのボタンであり、ユーザによりいずれかの時刻表示ボタンM10がタッチ操作されると、そのボタンに示されている撮像時刻に撮像された画像が画像表示部M11に表示される。図6では、「6/7 PM3:00撮影」が選択されている状態をハッチングにて模式的に示している。この状態で例えば「6/6 PM3:00撮影」がタッチ操作されると、画像表示部M11の表示が連動して切り替わる。なお、本実施形態では過去5つの画像情報を選択できるようになっているが、選択できる数はこれに限定されるものでは無く、例えば最新の画像情報と1日前の画像情報とを表示する等、その数を変更してもよい。
画像表示部M11は、選択された画像情報を表示する領域であり、図6の場合、冷蔵室中央付近に設置されたカメラ装置7により撮像された画像情報が表示されている。この場合、カメラ装置7の設置向きと同様に、縦長の画像情報が表示されている。そして、この画像情報が撮像された撮像時刻が時刻表示ボタンM10により示されている。また、本実施形態ではカメラ装置7側にて広角レンズの歪みを補正しているので、画像表示部M11には歪みの無い画像情報が表示されている。このように、携帯端末5は、画像情報に加えて、当該画像情報を撮像した際の撮像条件を同一画面にて表示する。
選択ボタンM12は、カメラ装置7が複数設置されている場合にカメラ装置7を選択するためのボタンである。図6の場合、本実施形態では3つ設けられているカメラ装置7のうち、冷蔵室中央付近に設置されたカメラ装置7に対応する「冷蔵室1」、野菜室に設置されたカメラ装置7に対応する「野菜室1」、冷蔵室下部に設置されたカメラ装置7に対応する「冷蔵室2」が表示されている。ユーザは、いずれかの選択ボタンM12をタッチ操作することで、所望のカメラ装置7で撮像された画像情報を表示させることができる。なお、図6では、「冷蔵室1」が選択されている状態をハッチングにて模式的に示している。この選択ボタンM12は、カメラ装置7が設置されている場所を示すボタンとしても機能する。なお、これらの選択ボタンM12は、カメラ装置7の設置台数に応じて表示されており、後述する設定画面にて設定が行われたカメラ装置7に対応した数のボタンが表示される。
撮像ボタンM13は、現時点での画像情報を撮像するためのボタンであり、ユーザが撮像ボタンM13をタッチ操作すると、上記した撮像指示が冷蔵庫2を経由してカメラ装置7に伝達され、カメラ装置7にて現時点での画像情報の撮像が行われる。画像情報が撮像されると、その画像情報がサーバ6に送信され、画像表示部M11の表示が更新される。
回転ボタンM14は、画像表示部M11に表示されている画像を回転させる。なお、本実施形態では上記したようにカメラ装置7側にて上下方向の判定をしているので使用することは少ないが、例えば加速度センサ26を備えていないカメラ装置7の場合、回転ボタンM14をタッチ操作することで画像情報の上下を変更することができる。
ステータス表示部M15は、カメラ装置7の状態およびカメラ装置7との間の通信状態のうち少なくとも一方の状態を表示するとともに、電池24の残量を表示する。ここで、カメラ装置7の状態とは、例えば温度センサ27により検出したカメラ装置7の設置環境の温度等が想定される。例えばカメラ装置7が冷凍室に設置された場合、温度が氷点下となり、レンズが結露したり曇ったりする等の不具合が生じるおそれがある。そのため、例えば温度センサ27で検出された温度が氷点下の場合、「カメラの設置場所を確認してください」等のメッセージがステータス表示部M15に表示される。
あるいは、ユーザが撮像ボタンM13をタッチ操作してから例えば5分程度待っても新たな画像情報が取得できない場合、通信エラーが発生しているとして、ステータス表示部M15に「通信エラーが発生しました」等の通信状態を示すメッセージが表示される。なお、電池24の残量もカメラ装置7の状態を示す情報であると言える。このとき、ステータス表示部M15を正常であれば黒色で表示し、エラーが発生すれば赤色で表示する等、その表示態様を変化させて、エラーの発生をユーザに認識させるようにしてもよい。
設定ボタンM16は、カメラ装置7に対する各種の条件設定(撮像設定)を行う設定画面(図8参照)を表示するためのボタンである。この設定画面については後述する。
このような図6の表示状態において選択ボタンM12により「野菜室1」が選択されると、図7に示すように、画像表示部M11には野菜室に設置されたカメラ装置7で撮像された画像情報が表示される。この場合、上記したようにカメラ装置7は横置きで設置されているので、画像表示部M11には横長の画像情報が表示されている。このように、携帯端末5は、縦長の視野の画像情報と横長の視野の画像情報とのいずれも表示可能である。
さて、図6あるいは図7に示す表示状態においてユーザが設定ボタンM16をタッチ操作すると、携帯端末5は、図8に示す設定画面に切り替わる。つまり、カメラシステム1では、カメラ装置7に対する撮像設定を、携帯端末5から設定可能になっている。この設定画面では、カメラ装置7に対する各種の設定が行われる。設定画面には、項目表示部M17に、設置場所設定エリアM18、撮像頻度設定エリアM19、曜日指定エリアM20、時刻指定エリアM21、設置向き設定エリアM22、決定ボタンM23、リセットボタンM24、および戻るボタンM25等が表示されている。なお、本実施形態では、これらの設定はサーバ6に設定情報として記憶されている。
設置場所設定エリアM18は、カメラ装置7の設置場所を設定する。本実施形態では、冷蔵庫2に対しては「冷蔵室1」、「冷蔵室2」、「冷蔵室3」、「野菜室1」、「野菜室2」、「野菜室3」の6つが予め設置場所として登録されている。ユーザは、カメラ装置7を冷蔵室に設置した際には例えば「冷蔵室1」を選択する等、カメラ装置7の設置場所を設定する。
撮像頻度設定エリアM19は、撮像頻度を設定する。本実施形態では、撮像頻度(撮像するタイミング)として、毎日定期的(規則的)に撮像時刻になると撮像する「毎日」、指定した曜日に定期的に撮像時刻になると撮像する「曜日指定」、土日や祝日等を除いた平日に定期的に撮像時刻になると撮像する「平日のみ」、ユーザにより撮像指示が行われたときのみ撮像する「ユーザ指定」が予め登録されており、ユーザは、いずれかを選択することでカメラ装置7の撮像方法を選択することができる。つまり、本実施形態では、撮像方法が予め登録されており、ユーザはいずれかを選択することで、撮像方法を設定することができる。
これらの撮像方法のうち、「ユーザ指定」は、単独でも選択できるが、他のいずれかと同時に選択することもできる。このため、カメラ装置7は、定期的およびユーザにより撮像指示が行われたときに画像情報を撮像することができるとともに、携帯端末5は、定期的に撮像された画像情報、およびユーザにより撮像指示が行われたことにより撮像された画像情報の少なくとも一方を表示することができる。
曜日指定エリアM20は、撮像頻度設定エリアM19にて「曜日指定」が選択された際に所望の曜日を選択するためのボタンであるとともに、「毎日」が選択された場合には全てが選択状態となり、「平日のみ」が選択された場合には「月」〜「金」が選択状態となる。
時刻指定エリアM21は、撮像時刻を設定するためのものであり、ユーザにより希望する時刻が設定される。例えば、帰宅前に冷蔵庫2の中を確認したい場合には帰宅前の時刻(例えば、午後3時等)のように設定したり、一人暮らしであれば朝食を作った後の状態を把握するために出勤時刻(例えば、午前7時等)のように設定したりすることができる。
設置向き設定エリアM22は、設定対象となるカメラ装置7が縦置きであるか横置きであるかを設定する。なお、この設定は、カメラ装置7が自身で設置向きを判定できない場合に主に使用されるものであるが、上記した図6(縦置きの例)や図7(横置きの例)に示した画像情報を表示する際の表示態様を縦長とするか横長とするかの設定情報としても利用できる。
決定ボタンM23は、上記した各種の撮像設定を決定(登録)するためのボタンであり、リセットボタンM24は変更した撮像設定を変更前の設定に戻すためのボタンである。また、戻るボタンM25は、設定画面に遷移する前の表示画面に戻るためのボタンである。
このように、カメラシステム1では、カメラ装置7により定期的に、あるいはユーザが撮像指示を行った時刻に撮像された画像を、例えば遠隔地等からでも、携帯端末5によって閲覧することができる。
以上説明した本実施形態によれば次のような効果を得ることができる。
カメラシステム1は、撮像した画像情報をサーバ6等の外部機器に送信するカメラ装置7と、カメラ装置7で撮像された画像情報を表示する携帯端末5等の表示端末とを備え、表示端末は、カメラ装置7により所定条件で撮像された画像情報およびユーザにより撮像指示が行われたことにより撮像された画像情報のうち少なくとも一方(本実施形態では双方)を表示する。これにより、ユーザは、携帯端末5等の表示端末を所持していれば、遠隔地等からであっても容易に画像情報を閲覧することができる。
さらに、実施形態のように冷蔵庫2を撮像対象とする場合、それほど頻繁に庫内の状況が変化するわけでは無いという現実的な実情もあり、例えば所定の撮像時刻に定期的に撮像するだけであっても、実用上、十分な利便性を提供することができる。勿論、ユーザが希望する場合には撮像指示を行えばよい。また、撮像するタイミングの所定条件として、食品の収納量が変化したタイミングや、食品の収納量が変化したと推定されるタイミングを設定してもよい。例えば、棚や容器の重量を測定する重量センサ(食品収納量検知手段)を備え、重量が変化した場合に撮像してもよい。これにより、収納量が変化したときだけ撮像することになり、通信のロスが少なくなる。また、電池の消耗を抑えることもできる。食品収納量検知手段としては、赤外線センサ、画像認識手段、庫内の光量を検知する受光量検知手段、扉が開放されると食品を使用(取り出し)あるいは入れたと推定して扉開閉検知手段(開扉センサ13や、ソレノイド等を利用する扉開閉機構等)を利用してもよい。
また、実施形態のようにサーバ6に画像情報を記憶する構成であれば、例えばインターネット等を介してどこからでも画像情報を閲覧することができるとともに、カメラ装置7側には大容量の記憶手段を設ける必要がなく、製造コストを低減できるとともに、画像情報を閲覧する際にはカメラ装置7が動作していなくても良いので、電池24の消耗を抑制することができる。
カメラ装置7に対する撮像設定を、携帯端末5等の表示端末から設定可能であるので、遠隔地からであっても設定の変更・更新を行うことができ、利便性が向上する。
携帯端末5等の表示端末は、画像情報に加えて、当該画像情報を撮像した際の撮像条件(日付等)を表示するので、いつ撮像されたものかを容易に把握することができる。また、実施形態では画像情報と撮像条件とを同一画面にて表示しているので、いつ撮像されたものなのかをより容易に把握することができる。
複数のカメラ装置7を設けることができるので、利便性が向上する。そして、表示端末からカメラ装置7の選択が可能であるとともに、選択されたカメラ装置7(例えば、図6に示した「冷蔵庫1」に対応するカメラ装置7)により撮像された画像情報を表示するので、複数のカメラ装置7を設ける場合であっても、簡便に画像情報を閲覧することができる。
このとき、表示端末は、カメラ装置7が設置されている設置場所(「冷蔵庫1」、「野菜室1」、「冷蔵庫2」等)を表示するので、どこを撮像した画像情報であるかを把握することができる。また、実施形態では画像情報と設置場所とを同一画面にて表示しているので、設置場所をより容易に把握することができる。
カメラ装置7に対する撮像方法は予め登録されており、その撮像方法は表示端末の画面に選択可能に表示され、いずれかの撮像方法を選択することでカメラ装置7に対する撮像方法を設定できるので、容易に撮像方法を設定することができる。
撮像方法として、予め登録されている撮像時刻に撮像する方法を設定できるので、定期的に撮像したい場合等において容易に設定することができる。このとき、実施形態では、「毎日」、「曜日指定」や「平日のみ」等、複数の定期的な撮像時刻を設定可能であるので、例えば生活スタイルにあわせた所望の撮像方法を設定することができる。
撮像方法として、表示端末からの撮像指示を受信したときに撮像する方法を設定できるので、ユーザが希望する場合には撮像指示を行うことで最新の画像情報を閲覧することができる。
表示端末は、カメラ装置7の稼動状態およびカメラ装置7との間の通信状態のうち少なくとも一方の状態を表示するので、カメラ装置7の状態や通信状況等を把握することができる。
カメラ装置7は、電池24により駆動されるものであるので、電源ケーブル等が不要となり、設置場所の自由度を高めることができる。また、実施形態のカメラ装置7では撮像指示の受信及び画像情報の送信を無線方式にて行えるので、さらに設置場所の自由度を高めることができる。
また、表示端末は、電池24の残量を表示するので、充電時期を把握することができる。このとき、実施形態のように画像情報と電池24の残量とを同一画面にて表示することで、画像情報を確認するときに電池24の残量も併せて確認することができ、利便性が向上する。
表示端末は、発生したエラーをその内容を特定可能に表示するので、カメラシステム1に生じた不具合を把握することができる。このとき、実施形態のように温度に関するエラーを表示すれば、カメラ装置7が誤った設置場所に設置されている等を把握することができる。また、実施形態のように画像情報を表示する際にエラーの内容も表示することにより、エラーの発生を容易に把握することができる。特に温度センサ27によるエラー表示などは、カメラ装置7を冷蔵庫2外部である部屋の室内で利用した場合などにおいて、高温や低温を検知した場合に「部屋の室内の温度が異常です」などの表示をして警告を報知したり、「エアコンをつけてください」などのアドバイスを報知したりしてもよい。これにより、ユーザは、冷蔵庫2外の部屋の画像(室内の様子)を確認できるとともに、部屋の温度を確認することができる。
また、このような報知は、登録されたメールアドレスに送ってもよい。この登録されたメールアドレスにたとえば、高齢者(被介護者)の子供である介護人を登録することでユーザは高齢者にエアコンをつけるように電話して指示することができる。またペットを飼っているユーザに送付できるため、急ぎ帰宅しエアコンを付けるなどもすることができる。もちろん表示端末からエアコンのONOFFが制御できるように構成してもよい。冷蔵庫2の代わりにエアコンに撮像手段を取り付けた場合には、エアコンに搭載された温度センサで代用することができ、エアコンに取り付けた通信手段により高温低温報知を表示端末に送信してもよい。
さらに冷蔵庫2内に搭載された撮像手段の温度センサが一瞬温度が高くなった場合には、冷蔵庫2の扉が開放されたと判断する冷蔵庫2の扉開閉検出手段として機能し、この扉が開閉検出されたことを上記のように表示や、メールアドレスに送信して報知してもよい。特に扉が所定期間開けっ放しであることを検知すると、扉が開放されたままですなどのその旨報知することができる。これにより、例えばユーザが家に電話して子供に連絡することができたりもする。また逆に扉の開閉が所定期間(例えば2日間)の間、扉の開放を検知しなかった場合には「扉が2日間開放されていません」とういう現象を報知してもよい。高齢者の介護者にメールを送信することで、介護者が高齢者に対して食事をとっているかなどのコンタクトをとることができる。
上記のように撮像手段と、その撮像手段で撮像した画像情報を送信する送信手段とを備えることで、介護人やペット、子供の安否確認するための家電機器のネットワークシステムを構築することができる。その家電機器のネットワークシステムを構成する家電機器としては、上記のように冷蔵庫2やエアコンやカメラ装置7が該当する。
カメラ装置7は、その視野が設置状態(縦置き、あるいは横置き)に応じて縦長あるいは横長となるものであり、表示端末は、縦長の視野の画像情報と横長の視野の画像情報とのいずれも表示できるので、カメラ装置7の設置向きが変化したとしても、画像情報を閲覧することができる。
また、撮像素子22aの撮像画像を切り取って送信または表示してもよく、正方形の画像情報を表示してもよい。これにより、縦置きであっても横置きであっても画像情報の形が変化しないため、見やすくなるとともに、表示する際にレイアウトし易くなる。
表示端末は、過去に撮像された複数の画像情報のうち、ユーザにより選択された画像情報を表示することができるので、撮像対象の変化を把握することができる。なお、表示端末としては、実施形態で示した携帯端末5の他に、ノート型PC、デスクトップ型PCでもよい。
また、撮像手段は、カメラ装置7のように冷蔵庫2から着脱可能ではなく、固定して制御部10と電気的に接続してもよい。その場合、カメラ装置7の通信モジュール21と冷蔵庫の通信アダプタ3とを共通化することで、外部機器に画像情報を送信する送信手段として通信アダプタ3を利用することができる。これにより、冷蔵庫2と、サーバ6と、携帯端末5等の表示端末とをつなぐ家電機器ネットワークシステムを構築することができる。
(第2実施形態)
以下、第2実施形態について図9から図15を参照しながら説明する。
図9(A)に示すように、第2実施形態のカメラシステム50の対象となる冷蔵庫51は、冷蔵室52、野菜室53および冷凍室54等の貯蔵室が設けられており、冷蔵室52は左扉52aと右扉52bにより開閉され、野菜室53および冷凍室54はそれぞれ引き出し式の扉53a、扉54aにより開閉される。冷蔵室52内には、複数の棚板55が設けられているとともに、その側面に庫内照明56が設けられている。この庫内照明56は、図9(B)に示すように、複数のLEDランプ56Aにより構成されており、冷蔵室52の前面側であって、棚板55と扉との間(より厳密には、棚板55と図示しないドアポケットとの間)に位置して設けられている。
この冷蔵室52には、図9(A)に示すように、右扉52bの内側、冷蔵室52の側壁に複数のカメラ装置57が設けられているとともに、左扉52aおよび右扉のそれぞれに対応して開扉センサ13が設けられている。また、野菜室53および冷凍室54にもカメラ装置57および開扉センサ13がそれぞれ設けられている。冷蔵室52の扉に設けられているカメラ装置57は、扉が閉鎖された状態において、冷蔵室52の全体を撮像可能となっている。各棚板に対応して設けられているカメラ装置57は、それぞれの棚板55に載置された収納物を撮像対象としている。なお、以下の説明では、カメラ装置57に限らず撮像手段全般を対象とする場合には、単にカメラと称することがある。
この冷蔵庫51は、図10に示すように、本実施形態に関連して、貯蔵室に収納される収納物の収納量を検知する収納量検知部58(収納量検知手段)と、貯蔵室内における収納物の位置を検知する位置検知部59(位置検知手段)とを有している。また、本実施形態のカメラ装置57は、冷蔵庫51の制御部により撮像部22(レンズ部)および撮像照明部23(撮像照明手段)が直接的に制御されるものを想定している。このため、カメラ装置57で撮像された画像情報は、通信アダプタから外部のサーバ6(図1参照)等に送信される。なお、第1実施形態と同様に独立したカメラ装置7(図3等参照)を用いる構成としても勿論よい。
収納量検知部58は、本実施形態では具体的には2つの方式を採用している。1つめは、冷蔵室52全体の収納量を検知するためのものであり、図11に示すように、照射部60(照射手段)と、受光部61(受光手段)とを備え、受光部61で受光した光量に基づいて収納量を検知する収納量検知部58Aが採用されている。この収納量検知部58Aは、例えば冷蔵室52の天井に照射部60が設けられ(図9参照)、冷蔵室52の下部の側面に受光部61(図9(B)参照)が設けられている。つまり、照射部60および撮像照明部23は、受光部61と対向しない位置に設けられている。この照射部60は、カメラ装置57の撮像照明部23とは異なる色(波長帯)の光を照射する。具体的には、照射部60は、青色の光を照射し、撮像照明部23は白色の光を照射する。また、照射部60から照射される光量は、撮像照明部23から照射される光量よりも少なくなっている。
受光部61は、冷蔵室52の側壁に概ね矩形状に窪んで設けられている収容部62に収容されている。より具体的には、図12示すように、受光部61は、収容部62に斜めに収容されている基板63上に概ね対角線となる位置に2つ設けられている受光センサ64により形成されている。つまり、受光センサ64は、上下方向および前後方向にずれた2箇所に設けられている。この受光部61は、上記した照射部60の青色の光の光量(照度)を検知する。また、この基板63には、上記した複数のカメラ装置57のうち、最下段の位置に対応する1つが設けられている。このカメラ装置57は、受光センサ64よりも上方に位置して配置されている。そして、カメラ装置57の周囲には、撮像照明部23とカメラ用制御部65が設けられている。このカメラ用制御部65は、カメラ装置57の制御を行うものであり、駆動時に発熱する。
このような構成の収納量検知部58Aは、照射部60から照射された光が受光部61でどのように受光されるかに基づいて、すなわち、受光部61での受光量に基づいて収納量を検知する。より具体的には、図13に示すように、照射部60から照射された光は、冷蔵室52内の壁面や棚板55、棚板55に載置された収納物80等で反射して受光部61に入射する。このとき、受光部61に入射する光は、収納物等に遮られてその量が変化する。そこで、冷蔵室52内に収納物がない状態での受光量を基準値として予め測定しておき、受光手段での受光量を基準値と比較することで、収納物の収納量を検知(あるいは推定)することができる。
収容部62は、冷蔵室52側がカバー部材66により覆われており、そのカバー部材66には、カメラ装置57および受光部61用に、それぞれ個別に撮像用孔部67および受光用孔部68が設けられている。なお、図13では、説明の都合上、撮像用孔部67の断面と受光用孔部68の断面とを1枚の図中に模式的に示している。また、撮像用孔部67は、視野に掛からないように、その壁部が斜めに形成されている。また、受光用孔部68には集光用のレンズや透明なカバーを設けたり、撮像用孔部67にはカメラ装置57を覆う透明なカバーやカメラ用のレンズを設けたりするとよい。これらレンズやカバーは、人の手の脂や野菜のカス等の汚れが着かないように、カバー部材66の表面や、貯蔵室を構成する内箱表面に露出しないようにカバー部材66の表面よりも奥側の収容部62側配置するとよい。また、レンズやカバーに湿気により結露した場合に結露した水(水滴)が流れやすく、貯蔵室内に排出できるように各孔部を下方に傾斜させたり、細い溝を設けて毛細管現象により排出できるようにしてもよい。
一方、冷蔵室52の棚板55や野菜室53あるいは冷凍室54のように引き出し式の扉で収納容器70ごと出し入れされる貯蔵室の場合には、図14(A)に示すような重量センサ69にて構成した収納量検知部58Bを採用している。この場合、図14(B)に示すように棚板55の受け部71に重量センサ69を設けておき、収納物が無い状態での重量を基準として、それよりも重量が増えれば収納物があると判断できる。また、引き出し式の貯蔵室の場合、図14(C)に示すように、収納容器70を保持するガイドレール72側に重量センサ69を設け、収納物が無い状態での重量を基準としてそれよりも重量が増えれば収納物があると判断できる。また、この重量センサ69は、収納物の位置を検知する位置検知部59としても機能する。例えば、重量センサ69を棚板55の4隅にそれぞれ配置し、それぞれの重量センサ69で検知した重量に基づいて重心位置を求めること等により、収納物がどの棚板55のどの位置に置かれているかを検知することができる。
本実施形態の場合、冷蔵室52には、全体的な収納量を検知するための上記した収納量検知部58Aと、各棚板55の収納量および位置を検知するための上記した収納量検知部58Bとが設けられている。また、野菜室53および冷凍室54には、上記した収納量検知部58Bが設けられている。
次に、本実施形態における撮像タイミングについて説明する。
冷蔵庫51の制御部は、図15に示す撮像処理において、収納量を検知しつつ(S10)、扉が開閉されたか否かを判定している(S11)。制御部は、扉が開閉された場合には(S10:YES)、再度収納量を検知し(S12)、収納量が変化していない場合には(S12:NO)、ステップS10に移行する。一方、制御部は、収納量が変化した場合には(S12:YES)、収納量が変化した位置を特定し(S14)、該当する位置を撮像する(S15)。
この場合、例えば上記した収納量検知部58Aにより収納量が変化したことが検知されれば、冷蔵室52全体の収納量が変化したとして、扉に設けられているカメラ装置57により冷蔵室52の全体を撮像する。また、上記した位置検知部59により収納量が変化した位置(例えば、一番上の棚板55等)が特定できれば、その位置に対応して設けられているカメラ装置57により該当する位置を撮像する。このとき、カメラ装置57は、撮像照明部23を点灯して撮像する。なお、このとき照射部60は点灯されない。
そして、制御部は、通信アダプタを介して撮像した画像情報をサーバ6に送信する(S16)。このとき、制御部は、収納量検知部58により検知した収納量が変化した収納物の位置を位置検知部59で検知し、その収納物の位置も画像情報とともにサーバ6に送信する。また、制御部は、収納量検知部58により収納量が変化した旨(検知結果)を例えば冷蔵庫の扉などに設けられる操作パネルや表示部(LEDや液晶パネル等)(報知手段に相当する)等に表示したり、ユーザの携帯端末(報知手段に相当する)に送信したりする。また、収納物である食品(食材)を判別する食材判別手段を有していてもよい。その場合、収納量の変化に応じて画像とともにどの食品が変化したのか等の情報を送信するとよい。例えば、カメラに色を識別可能な色識別手段(画像処理によりソフトウェア的に構成してもよい)を設け、食品が血色(赤、ピンク系等の色)である場合には収納物を肉類と判断し、白色(貯蔵室の内壁の色の例)の壁部であった場所に新たに血色の食品が追加されて色が変わったことで肉類が追加されたと判断し、その旨を使用者に報知するとよい。また、緑色系統の色であった場合、葉物の野菜が追加されたと判断することができる。もちろん、血色や緑系統の色の食品がなくなった場合には、それらの食品がなくなった(消費された)旨を報知してもよいし、血色や緑系統の色の食品の量が少なくなった場合には減少した旨を報知してもよい。つまり、食材判別手段は、食材の種類の判別だけでなく、収納量を検知する収納量検知手段としての機能を備えていてもよい。
また、カメラとしてバーコードを読み取る手段或いは機能を設け、例えば牛乳が新たに追加されて収納量が変化した場合等には、画像を撮像するとともにバーコードを読み取って牛乳が追加されたことを文字や記号、図柄等で操作パネル等に報知したり、画像とともにその情報を送信してもよい。また、カメラだけでなく、食品にICタグ等が取り付けられている場合は、タグ検知手段を設けて食品判別をし、その食品の情報(判別結果)を報知・送信するとよい。また、これらの食品の情報としては、食品の賞味期限や消費期限、トレーサビリティ情報、貯蔵室に収納されてからの期間を計時手段により計時した経過期間等を報知してもよい。
また、制御部は、上記したステップS13において、収納量の変化を検知しなかった場合において(S13:NO)、所定時間、収納量の変化が無い場合には(S16:YES)、全体を撮像する(S17)。このステップS17では、冷蔵室52の全体が撮像される。ただし、併せて、野菜室53の全体や冷凍室54の全体、あるいは、各棚板55等、冷蔵庫51に設けられている全部あるいは所定の一部のカメラ装置57にて撮像するようにしてもよい。その後、制御部は、撮像した画像情報をサーバ6へ送信する(S15)。
以上説明した本実施形態によれば、次のような効果を得ることができる。
本実施形態のカメラシステム50は、カメラ装置57の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段(収納量検知部58)を備え、収納量検知手段により検知した収納量が変化した際、カメラ装置57にて撮像する。これにより、収納量が変化した場合に撮像することができるとともに、ユーザが確認したい情報である収納量の変化を検知することができる。
カメラ装置57の撮像対象となる貯蔵室を開閉する扉の開閉状態を検知する扉開閉検知手段(開扉センサ13)を備え、扉開閉検知手段により扉の開閉が検知された際、収納量検知手段(収納量検知部58)により検知した収納量が変化していればカメラ装置57にて撮像する。これにより、収納量が変化していない場合等において不必要に撮像することを抑制できる。
この場合、貯蔵室の扉が閉鎖された後に収納量検知手段により収納量を検知し、収納量が変化していればカメラ装置57にて撮像する。つまり、出し入れが終了したと判断できる状態で撮像する。これにより、収納量が変化したか否かをより正確に判定することができる。なお、扉が閉鎖された後とは、閉鎖直後でなくてもよい。例えば、扉の閉鎖後にある期間だけ待機するようにし、その後に撮像してもよい。これにより、カメラ装置57のレンズや曇りがとれ、鮮明な画像を撮像することができる。
収納量が変化した収納物の位置を検知する位置検知手段(位置検知部59)を備え、位置検知手段で検知した収納物の位置を送信するので、どの収納物の収納量が変化したのかを把握することができる。
収納量検知手段による検知結果を報知手段(操作パネル、携帯端末等)に報知するので、他の人により食材が出し入れされたとしても、その旨を把握することができる。
カメラ装置57は、複数設けられており、収納量検知手段により検知した収納量が変化した部位に対応して設けられているカメラ装置57にて撮像するので、どの収納物の収納量が変化したのかを即座に把握することができる。
収納量検知手段は、貯蔵庫に光を照射する照射手段(照射部60)と、貯蔵庫内の光を受光する受光手段(受光部61)とを備え、受光手段における受光量に基づいて収納量を検知する。これにより、冷蔵室52全体等の広い範囲の収納量を検知することができる。
収納量検知手段は、重量検知手段(重量センサ69)で構成されており、当該重量検知手段にて検知した収納物が載置される載置部(棚板55、引き出し式の収納室等)の重量に基づいて収納量を検知する。これにより、上記した照射部60の光が届かない場所であっても、収納量を検知することができる。
重量検知手段は貯蔵室の複数箇所に設けられており、収納量が変化した位置をカメラ装置57で撮像する。これにより、収納量が変化した位置を撮像できる。
また、カメラ装置57を複数設け、重量検知手段による検知結果が変化した部位に対応して設けられているカメラ装置57にて撮像するので、収納量の変化をより正確に把握することができる。
また、本実施形態の冷蔵庫51は、撮像手段としてのカメラ装置57と、カメラ装置57により所定条件で撮像された画像情報を外部機器に送信する送信手段と、カメラ装置57の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段と、を備え、収納量検知手段により検知した収納量が変化した際、カメラ装置57にて貯蔵室を撮像する。これにより、遠隔地等からであっても容易に画像情報を閲覧することができるとともに、収納量が変化したことを把握することができる。
照射手段および撮像照明手段は、扉や天井面等の受光手段と直接的には対向しない位置に設けられているので、照度が誤った値として検知されることを防止できる。
また、カメラ装置57は、受光部61とは異なる位置であって、照射手段から照射される光量が抑制される扉や側面等の位置に設けられている。そのような位置では、カメラ装置57に対して照射手段から照射された光の入射が抑制されるので、逆光となるおそれを低減することができる。
照射手段は、撮像照明部23とは照射する光量および色が異なるので、撮像照明部23が点灯された際に受光部61が誤検知するおそれを防止できる。
この場合、色の異なる照射部60はカメラ装置57で撮像する際には点灯しないので、画像が青くなるような不自然な状態で撮像されることを防止できる。また、白色と異なる青色LEDなどの第1の発光手段としては、その波長がほぼ400nmの青色の光をフィルタや壁などに施された触媒に照射することで励起させて脱臭・除菌を行う可視光触媒装置や、空気絶縁破壊することにより青白く発光してイオン、ラジカル(活性種)、オゾンを発生させるコロナ放電装置、対向電極と液体を放電電極として高電圧を印加してOHラジカルを含有する帯電微粒子水を発生させて電極が青白く光る静電霧化装置などの空気絶縁破壊装置や、貯蔵室内に備えられ、使用者が冷蔵庫51の制御を行う押圧式などの操作部の表示をする緑色や赤、オレンジなどのLED等の表示手段が含まれる。この第1の発光手段は、予めプログラムに記憶された所定条件で発光するものであり、撮像する場合には設定条件で発光する制御を無効にすることで(つまり、カメラの撮像を優先し、カメラで撮像する際には設定条件が成立していたとしても発光しないようにすることで)、画像に無駄な光が入らなくなり、きれいに(鮮明に)撮像することができる。この押圧式の操作部(庫内操作部)は、収納部62内にタクトスイッチを備え、カバー部材66に操作ボタンを設けるとよい。
また、可視光触媒装置、コロナ放電装置、静電霧化装置は、所定時間毎に駆動したり、ダンパの開閉に連動して駆動する制御にする条件を設定可能であり、庫内操作部の操作に基づく表示手段の発光は操作のON/OFFを条件として制御している。また、冷蔵室52の底面に備えられた引き出し式のチルドルームなどを照らす第2の発光手段である白色や他の色のLEDは、左右上下の壁や扉と異なる位置であって空間の中央にあるため、左右上下に配置されたカメラの画像に映り込みやすく、逆光になる可能性がある。そのため、同様に、カメラの撮像タイミングには無効あるいはOFFとしたり、撮像中には点灯を一旦中止し、撮像が終了した後に点灯させる等の制御を行うとよい。
また可視光触媒は、撮像用孔部67にはカメラ装置57を覆う透明なカバーや、カメラ装置のレンズ、また収容部62を覆うカバー部材66の表面に塗布して親水化手段として機能させてもよい。カメラのレンズや透明カバーなどは貯蔵室に露出などしている場合は結露などにより曇ってしまい、撮像した画像がぼやけてしまうという課題があるが、青色LEDなどの第1の発光手段である触媒を励起可能な可視光発生手段を収容部62内、又は収容部62外に設けて、光触媒に照射したりすることにより、レンズ、カバー等の表面が空気中の水分と活性してOHラジカル(親水性手段)の作用により親水化する。そうするとレンズやカバーが結露した場合でも水が結合しやすくなることから表面が水の薄い膜となりやすく、凹凸の水滴ができにくくなることによって光の乱反射を防止することができ、もって表面を曇りにくくすることができる。よってカメラ装置の撮像方向に位置するレンズや、透明カバーに親水性手段が生成される、また接触することによりカメラによる撮像した画像もぼやけることなく明確に撮像することができる。そしてこの光触媒は、特定の波長の光が照射されることによって、空気中の細菌を除菌したり、空気中の臭気成分(有機物質など)を酸化や分解等をして脱臭することができる触媒であり、空気中の成分を活性化(イオン化やラジカル化)し、これに基づいて除菌したり、脱臭したりすることもできる。光触媒としては、酸化銀や酸化チタンが用いることができ、酸化銀(リン酸ジルコニウム銀を含む)には光の波長は約400nm〜580nm程度の可視光の青色領域を利用し、酸化チタンには光の波長は380nmを照射可能な発光ダイオードの光源を利用するとよい。
また上記静電霧化装置としては、放電極の先端はとがっていて、対極との間に−6kV程度の電圧を印加して、放電極に金属製の部材を用いて金属製の部材を冷却することで空気中の水分の結露水を得て、その結露水を静電霧化することにより粒径がナノメートルサイズ(粒子径の分布は3~50nm)の帯電微粒子水を得ることができ、放電極の先端に青白い光が発光し、電圧を印加しながらも発光がONOFFし所定間隔(5秒間隔)で断続的に繰り返される。また静電無化装置の駆動も所定時間毎にONOFFをくり返す制御とするとよい。また静電霧化装置は、放電光が映りにくくなるように吹き出し口を備えるカバーの中に収納してもよく、静電霧化装置を天井にダクト形状のカバー内に配置してカメラ装置57を天井以外の対向しない扉や左右側壁などに配置するとより放電光が映りにくくなる効果がある。また静電霧化装置が配置された貯蔵室と異なる貯蔵室にカメラ装置57を配置しても同様な効果がある。またミストを発生させると貯蔵室内が霧状となりカメラで撮像した場合に霧で映りにくくない課題があるがミストの粒径をナノメートルサイズの微粒子水にすることにより霧状とならずクリアな画像を撮像できる。またナノメートルサイズの帯電微粒子水(OHラジカル含む)であるとカメラ装置のレンズ、カバーに接触しても結露もしにくく曇りにくい効果もある。
受光手段およびカメラ装置57が設けられている基板63は、その外形が四角形であるとともに水平に対して斜めに取り付けられている。これにより、対角線上に受光部61を配置すれば、冷蔵室52の上下方向および前後方向に距離を取ることができ、検知精度を向上させることができる。また、大きな四角形の基板63を製造するよりも部材量を減らすことができ、コストを低減することができる。
また、受光手段と同じ基板63に設けられているカメラ装置57は、少なくとも一方の受光手段よりも上方に設けられている。つまり、冷蔵室52の最下段側に設けられているカメラ装置57は、その位置が、冷蔵室52の中央側に近づく。これにより、冷蔵室52内を広く撮像できるようになる。
カメラ装置57のレンズ部は、当該カメラ装置57を制御するカメラ用制御部の近傍に設けられている。これにより、カメラ用制御部からの発熱によりレンズ部を暖めることができ、曇り等を迅速に除去できるようになる。
カメラ装置57および光手段はカバー部材66により覆われており、そのカバー部材66には、受光手段が受光するための受光用孔部68と、カメラ装置57が撮像するための撮像用孔部67とが個別に設けられている。これにより、収納量の検知と鮮明な画像の撮像との双方を実現することができる。
(その他の実施形態)
本発明は、上記した実施形態にて例示したものに限定されることなく、変形又は拡張することができる。
ユーザの撮像指示に応じて画像情報を撮像する際、撮像指示を行ってから画像情報を取得するまでに、通信回線の状況や上記した画像処理を行うこと等により時間が掛かることがある。その場合、画像情報が送信されるまで待機していてもよいが、画像情報が更新されたかを何度も確認することで苛立ったり、単純に待たされることで不満を感じたりするおそれがある。そこで、カメラ装置7側から画像情報が送信された旨を示す通知を携帯端末5に電子メール等にて通知する構成としてもよい。そのような構成にすれば、撮像指示だけを行えば画像情報が送信されるまでは特にカメラシステム1をユーザが気にかけ続ける必要がなくなり、苛立ちや不満を感じたりするおそれを低減することができる。このとき、電子メールの本文に図6等のURLを記載しておくことで、アプリケーションを立ち上げなくても直接的に画像情報を閲覧できるようにすることで、利便性を向上させることができる。また、直接、画像情報を電子メールに添付して送信してもよい。
第1実施形態で例示した表示画面や設定画面は一例であり、レイアウトや文言等は適宜変更することができる。例えば、スマートフォンとタブレットPCとでは画面の大きさが異なっているので、画面の大きさに合わせて表示項目を増やしたり、文字の大きさを変更したりすることができる。
第1実施形態では静止画を想定したが、例えば短期的な映像(例えば10秒間の動画)を定期的に撮像したり、ユーザの撮像指示に応じて短期的な動画を撮像する構成としてもよい。
第1実施形態では画像情報をサーバ6に送信する構成を例示したが、携帯端末5等の表示端末に直接的に送信してもよい。その場合、撮像指示が行われた場合のみ表示端末に送信する構成であってもよい。また、表示端末に直接的に送信する場合であっても、サーバ6にも送信しておき、サーバ6にて撮像履歴として記憶させる構成であってもよい。
カメラ装置7には、必ずしも加速度センサ26のような向き検出手段を設けなくてもよい。
カメラ装置7にて行われる画像処理の一部あるいは全部をサーバ6にて行う構成としてもよい。このような構成によれば、カメラ装置7の電池24の消耗を低減することができる。また、上記したように、カメラ装置7の設置場所および設置向きはサーバ6に設定情報として記憶されているので、サーバ6は、その設定情報に基づいてカメラ装置7の向きを把握でき、それに基づいて歪み補正等の画像処理を行うことができる。
位置検知手段としては、上記した重量センサ69以外にも、貯蔵室内を走査する例えばレーザ走査計のようなものを採用することもできる。また、温度センサで貯蔵室内の温度分布を測定し、その温度分布に応じて位置を検知してもよい。例えば、収納物が存在すると冷気の流れが変化することから、その流れを検知することで収納物を検知すること等が考えられる。また、カメラ装置57を位置検知手段として採用し、撮像した画像から収納物の位置を検知してもよい。またカメラ装置57は、位置検知手段としてだけでなく、画像認識等の処理を行うことで収納物の種類を判別する収納物識別手段としても利用することができる。このとき、カメラ装置57を、主として食品を識別するための食品識別手段としてもよい。さらには、カメラ装置57は、撮像した画像から貯蔵室の明るさを判断することで、貯蔵室の照度を検知する照度検知手段としても利用することができる。その他、棚の表面に検知手段を配置し、物が置かれたことを例えば抵抗値や静電容量の変化等によって位置検知と収納量検知を行ってもよい。
第2実施形態では、報知手段にて収納量が変化したことを報知したが、所定の検知期間において収納量検知手段による検知結果に変化が生じていない場合、変化が生じていない旨を報知してもよい。
受光手段での受光量が所定の基準値を超えている際、カメラ装置57で撮像してもよい。すなわち、照度が十分であれば、撮像照明部23を用いずに撮像してもよい。例えば、棚板55用に設けられているカメラ装置57は、扉に設けられているカメラ装置57とは異なり扉の開閉中であっても視野がずれることは無い。そのため、扉が開放される際に外部から光が入った状態や庫内照明56が点灯した状態で撮像することにより、撮像照明部23を使わずに撮像することができる。また、扉が開いている最中に撮像することで、例えば隣の扉のドアポケットを撮像でき、ドアポケットの飲料等の収納量を検知すること等ができる。
また、扉が開放された直後等であればまた収納物の出し入れが行われていないと想定されるため、その時点で撮像した画像を、収納量が変化する前の画像として用いることができる。この場合、受光手段での受光量が所定の基準値以下である場合には、庫内照明56を点灯してカメラ装置57で撮像してもよい。このようにすれば、扉が開閉されていない状態において定期的に撮像する必要が無くなり、さらなる省電力化を図ることができる。なお、カメラ装置57の撮像照明部23を照射手段として利用し、その光を受光手段で検出することで収納量を検知してもよい。また、照射手段で収納量を検知している際には、カメラ装置57による撮像や撮像照明部23の点灯を行わないようにしてもよい。
第2実施形態ではそれぞれの位置に対応してカメラ装置57を設けたが、図16に示すように、例えば重量検知手段による検知結果が変化した部位や位置検知手段により検知した位置に向けてその向きあるいはその視野の向きが変更可能なカメラ装置90を採用してもよい。これにより、カメラ装置57の設置台数を減らすことができる。また、例えばカメラ装置90の直下に位置するドアポケット91等を確認することもできる。この場合、カメラ装置90の可動範囲を、例えば冷蔵室52の上下方向および左右方向の全域が入る程度、且つ、ドアポケット91の上方に配置されている場合には直下方向までを可動範囲とするとなおよい。また、カメラ装置57は、卵を収納する卵ケースが載置されるドアポケットの上方に配置すると、卵の画像を撮像できる(もちろん、収納量も検知できる)ため好ましい。
第2実施形態で例示したカメラ装置57や照射部60の設置位置は一例であり、他の位置であってもよい。つまり、照射手段および撮像照明手段が受光手段と対向しない位置や、受光部61とは異なる位置であって照射手段から照射される光量が抑制される位置とは、例えば受光部61と照射部60や撮像照明部23との間に専用の遮光部材を設ける等の構成であってもよい。
第2実施形態では1つの照射手段から照射された光を受光する構成を例示したが、複数の照射手段からの光を受光する構成としてもよい。また、照射手段と受光手段との組み合わせを複数設けてもよい。また、上記した第1の発光手段は、カメラの撮像時であっても発光の制御を有効のままとしてもよい。そうすることにより、カメラで撮像した画像に第1の発光手段の光が映し出され、使用者に可視光触媒装置や絶縁破壊装置(コロナ放電、静電霧化)の機能がしっかり動作していることや、操作後の表示結果を認識させることができる。特に、表示手段として、操作より省エネ制御で運転された場合にその表示をエコ表示(緑色表示)にして省エネを想起させる発光色を用いることで、省エネ状態にあることを使用者が認識することができるとともに、エコ意識を高めることができる。また、カメラで撮像する際には必ず第1の発光手段をONするようにしてもよい。
また、上記した第2の発光手段も、照度が低かったり、庫内照明の光が入りづらく暗いチルドルームを明るくするものであったり、第1の発光手段のように機能性を有する発光手段である場合は、同様に有効を維持したりON(点灯)してもよい。また、庫内操作部は、カメラ装置57の収納部52と異なる別の収納部や、別のカバー部材に設けてもよい。これにより、カバー部材66が操作によって変形することでレンズに応力が加わって画像がゆがんだり撮像できなくなったりすることを防止できる。
また、調理機能を有する貯蔵室(以下、便宜的に調理室と称する)を備えた冷蔵庫において、その調理室を撮像するカメラ装置を設けてもよい。この調理室は、例えばマグネトロンのような加熱手段(調理手段)を有し、所謂電子レンジ等のような調理機能を有している。このような調理室は、例えば引き出し式の扉や回動式の扉によって収納容器や棚板ごと開閉(出し入れ)される。そのため、例えば調理室上部の仕切り板にカメラ装置を設けることで、扉を開ける際や出し入れする際に調理室内の収納容器や棚板に載置された調理品も含む)を撮像することができる。この場合、マグネトロン等の調理機能が駆動中にはノイズが存在する場合があるので、撮像を行わない、あるいは撮像した画像情報を調理終了後に送信する、送信エラーを考慮して複数回送信する、といった対策を施すことが考えられる。勿論、収納量や位置を送信する場合も同様である。
また、貯蔵庫内とは別の位置のカメラの画像や冷蔵庫の扉開閉回数やエラー情報などを外部に送信する無線手段(例えば、Bluetooth(登録商標)やWiFi)などでは、マイクロ波と干渉して送信できない可能性があるため、マグネトロンの停止中に無線で送信するとよい。また、マグネトロン駆動中にカメラに撮像指示がある場合にも、マグネトロンの停止後に再受信したり再送信したりするとよい。また、無線手段は、鉄板等で囲われたマグネトロンのマイクロ波が照射される調理室の外側に配置することで、画像情報等を外部に容易に送信することができる。なお、重量センサの検知結果を有線または無線で外部や冷蔵庫の制御部に送信することも可能であるが、その時も同様である。
なお無線手段の無線周波数帯域としては、2.4〜2.5GHZ帯、5GHZ帯、920MHz帯を利用するとよいが、マグネトロンのマイクロ波の周波数が2.4〜2.5GHz帯であるため、5GHz帯や920MHz帯が干渉しにくいため周波数帯がマイクロ波と異なる周波数帯の無線手段を利用するとよい。
またマグネトロンは、駆動開始の際に2.4GHzから2.5GHzの間の広い帯域でマイクロ波を出して、その後、調理室庫内の負荷状態等によって変化するものの、比較的狭い範囲の周波数帯に収束する性質をもつ。そのためWiFiのように同時に広い範囲の周波数帯を必要とする通信方式では、マグネトロンの周波数とラップして混線しやすく、送信できない可能性があるが、Bluetooth(登録商標)のように同時に複数のスポット状の小さい周波数帯を利用する構成で有れば、一つの周波数帯がラップしても、別の周波数帯で送信可能となり、混線する可能性が少なくなり送信されやすくなるからより効果的である。これは電子レンジが備えられている場合が多いキッチンなどで利用するマイクロ波発生手段を備えていない冷蔵庫や、キッチンで利用する目的のカメラ装置に外部に情報を送信する無線手段を備えるものにおいても、近くの電子レンジを動かした時の混線を避けるために、無線手段を選択したり、帯域を選択することは同様な効果がある。
受光用、撮像用の孔部に設けるレンズや透明なカバーは、カバー部材66や内箱表面と面一もしくは突出させるように設けてもよい。これにより、結露や汚れがつきやすい場所では使用者が容易にレンズやカバーを拭きやすくなるとともに、ファンの送風が当たりやすくなり、結露を除去したりすることができ、イオン発生手段やラジカル発生手段を備えている場合に汚れを落としやすくすることができる。
また、食材判別手段により新たに肉類が収納されたと判断した場合は通常より冷気を送風するファンの回転数を早くしてもよい。これにより、過冷却することで傷みの進行を抑制する(腐りにくくする)ことができる。また、新たに野菜が収納されたと判断した場合は肉類の時に比べてファンの回転数を遅くするなどして肉類と冷却能力を異ならせるようにするとよい。これにより、過冷却により野菜が傷むおそれを低減することができる。あまた、ファンを複数設け、全部を同時に駆動して風量を増加させたり、何れかを駆動して風量を相対的に低くしたりすること等により冷却能力を可変としてもよいし、ダンパの開放量により冷却能力を可変としてもよい。
なお、例えば外出先等の遠隔地で冷蔵庫の庫内を確認することには、例えば、庫内の画像情報が送信される外部の装置である通信端末を冷蔵庫本体に着脱可能に取り付け、このように通信端末を取り付けたままの状態で、冷蔵庫の扉を開放することなく、冷蔵庫の外側から、通信端末の表示部の画像で冷蔵庫の内部が確認できることも含まれている。また、冷蔵庫の扉などに着脱不能に表示部を取り付けて、その表示部の画像で冷蔵庫の内部を確認できるようにしてもよい。さらには、外出先等でなくても、例えばキッチンに設置されている冷蔵庫の内部を、リビング等で確認することも遠隔地で確認することの範疇に含まれる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。