JP2006041747A

JP2006041747A - 遠隔見守りシステム、及び遠隔見守りシステムに用いられる宅内装置

Info

Publication number: JP2006041747A
Application number: JP2004216437A
Authority: JP
Inventors: Hideki Sugimoto; 秀喜杉本; Ikuo Mashita; 育男真下
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2004-07-23
Filing date: 2004-07-23
Publication date: 2006-02-09

Abstract

【課題】遠隔見守りシステムにおいて、ペット等の監視対象物が、携帯端末の表示画面中で背景に比べて極めて小さくしか表示されないことから、監視対象物の詳細が分かりにくいという不具合を、監視対象物の切り分けに多くのソフト処理を要することがない簡便なシステム構成で解消する。
【解決手段】宅内装置１０で撮影したリアルタイムの画像Ｖ２と背景画像Ｖ１から監視対象物Ｐの位置座標を検出し、この位置座標に基づいて画像Ｖ２上に監視対象物を示す表示枠１６を表示する。ユーザは携帯端末３の表示画面３ａで上記表示枠１６表示のある画像Ｖ４を見て、希望する表示枠１６を指定し、切替えボタン１９を操作すると、表示画面３ａ上の画像が監視対象物の拡大画像Ｖ５に切替わる。
【選択図】図７

Description

本発明は、例えば宅内にいる子供や老人、ペット等の状況を宅外から見守るために、宅内に設置した宅内装置の撮影画像を宅外から確認可能とする遠隔見守りシステム、及び遠隔見守りシステムに用いられる宅内装置に関するものである。

従来から、宅内の撮影画像を宅外から確認可能とする遠隔見守りシステムが知られている。例えば、宅内に設置したカメラ内蔵の宅内装置にて宅内のペット等が居る監視エリアを撮影し、その画像を電話回線及びインターネットを介してサーバ装置に送信し、さらに、その画像をサーバ装置からインターネット及び電話回線を介して携帯端末に送信することで、携帯端末に宅内の撮影画像を表示し、また、携帯端末からの指示により、宅内装置のカメラによる撮影画像を静止画像としてキャプチャし、その画像をサーバ装置に送信するものがある。

ところが、上記のシステムでペットの見守りをする場合、ペットの行動範囲に合わせて宅内装置の設置位置及びカメラのワイド・ズームの設定をすると、ペットの行動範囲は部屋中に亘る広いものであるため、どうしても撮影画像の範囲が広くなり（広角画像になり）、ペット自身は携帯端末の表示画面内に極めて小さくしか写らず、ペットの健康状態等の細かな様子が分からないという不具合があった。見守りの対象（以下、監視対象物）が子供、老人である場合も同様の不具合があった。

上記不具合が生じないように、宅内装置で撮影した画像から、動きのある部分を監視対象物として自動的に切り出して、その部分を拡大した画像をサーバ装置へと送信することが考えられるが、実際に宅内で動くものとしては、監視対象物であるペット以外に、ドア、窓あるいはカーテンの開閉、衣服、置物あるいは備品の移動等、種々のものがあり、監視対象物のみを正確に切り出すには相当の困難が伴う上に、より正確に切り出そうとしてソフト的に多くの処理を施せば、それだけ処理時間を要することになる。また、宅内装置に搭載する処理ソフトが大きくなり過ぎて、コスト高となり一般家庭用の見守りシステムとしては相応しくないものになる。

なお、背景画像から動く物体を判別する技術の代表的なものとしては「動き検出法」と「背景差分法」が知られており、特許文献１には背景差分法における背景画像を確実に取得できる方法が開示されている。この特許文献１の技術は車両が頻繁に行き交う道路のような背景であっても、背景画をブロックに分けると共に、学習機能を用いることによって短時間に正確な背景画像が得られるようにしたものであって、上記不具合を解消することについて何ら示唆を与えるものではない。

また、特許文献２には、スキャナで走査した画像から検査対象物の外形パターンを正しく認識するために、読み出した画像の２値化後の画像の処理を工夫した技術が示されているが、この技術も、あくまでも画像中の対象物の切り出しに関するものであって、携帯端末の表示画面に表示される監視対象物の大きさが十分ではなく、監視対象物の詳細が把握できないという前記不具合の解決に示唆を与えるものではない。
特開２００２−１０９５４６号公報特開昭６０−２５６２９０号公報

本発明は、遠隔見守りシステムにおいて、ペット等の監視対象物が、携帯端末の表示画面中で背景に比べて極めて小さくしか表示されないことから、監視対象物の詳細が分かりにくいという不具合を、監視対象物の切り出しのために多くのソフト処理を必要とすることがない簡便なシステム構成で解消できる遠隔見守りシステム、及びそのシステムに用いる宅内装置を提供することを目的とする。

上記課題を解決するための請求項１の発明は、宅内に設置されて宅内の監視エリアをカメラにて撮影する宅内装置と、前記宅内装置にて撮影された画像を電話回線及びインターネットを介して受信すると共に、その画像をインターネット及び電話回線を介して携帯端末に送信するサーバ装置とを備えた遠隔見守りシステムにおいて、前記宅内装置は、前記カメラによる撮影画像をキャプチャする画像キャプチャ手段と、前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない背景画としての撮影画像と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、を備え、前記サーバ装置は、受信した位置座標に基づいて、同受信した撮影画像中に、監視対象物の位置を示す表示枠を枠番号と共に表示させる画像生成手段と、表示枠内の画像を拡大し監視対象物の拡大画像を生成する拡大画像生成手段と、を備え、前記携帯端末は、前記サーバ装置が生成した画像を表示する表示画面と、該表示画面上の画像を、表示枠が表示された全体画像から監視対象物の拡大画像へ切替える切替え手段と、切替えるべき拡大画像を、ユーザが前記枠番号を入力することにより指定する拡大画像の指定手段と、を備えたことを特徴とする。

また、請求項２の発明は、宅内に設置されて宅内の監視エリアをカメラにて撮影する宅内装置と、前記宅内装置にて撮影された画像を電話回線及びインターネットを介して受信すると共に、その画像をインターネット及び電話回線を介して携帯端末に送信するサーバ装置とを備えた遠隔見守りシステムにおいて、前記宅内装置は、前記カメラによる撮影画像をキャプチャする画像キャプチャ手段と、前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない撮影画像と、監視対象物が監視エリア内に存在する撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、監視対象物が監視エリア内に存在する撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、を備え、前記サーバ装置は、受信した位置座標に基づいて、同受信した撮影画像中に、監視対象物の位置を示す表示枠を表示させる画像生成手段と、表示枠内の画像を拡大し監視対象物の拡大画像を生成する拡大画像生成手段と、を備え、前記携帯端末は、前記サーバ装置内が生成した画像を表示する表示画面と、該表示画面上の画像を、表示枠が表示された全体画像から監視対象物の拡大画像へ切替える切替え手段と、を備えたことを特徴とする。

また、請求項３の発明は、請求項２に記載の発明において、前記携帯端末は、表示枠が複数である場合に、その複数の表示枠の内の拡大すべき１つをユーザが指定する指定手段を備えたことを特徴とする。

また、請求項４の発明は、請求項２に記載の遠隔見守りシステムに用いられる宅内装置であって、カメラによる撮影画像をキャプチャする画像キャプチャ手段と、前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない背景画としての撮影画像と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、を備えたことを特徴とする。

請求項１の発明によれば、携帯端末の表示画面には、監視対象物が表示枠で囲まれた撮影画像全体が表示され、かつ該表示枠には枠番号が付されており、ユーザが携帯端末の指定手段を用いて枠番号を指定し、切替え手段によって切替えれば、指定された表示枠の拡大画像が表示画面に表示されるので、ユーザにとって容易に監視対象物の詳細が把握できるようになる。また、表示枠が複数であっても、その複数の表示枠のうちのどれが真に監視対象物の表示であるかはユーザが指定するようになっているので、宅内装置に備える、監視対象物を切り出す手段としての座標検出手段を、より厳密に監視対象物のみを切り出す処理工程の多いソフトとする必要がなく、その分だけ速い処理速度が得られる上に、遠隔見守りシステムをコスト安く提供することができる。

また、請求項２の発明によれば、携帯端末の表示画面には、まず監視対象物が表示枠で囲まれた撮影画像全体が表示され、切替え手段で切替えれば該表示枠で囲まれた部分の拡大画像が表示画面上に表示されるので、ユーザにとって監視対象物の詳細が容易に把握できるようになる。

また、請求項３の発明によれば、携帯端末の表示画面には、監視対象物が表示枠で囲まれた撮影画像全体が表示され、ユーザが携帯端末の指定手段を用いて拡大すべき表示枠を指定し、切替え手段によって切替えれば、指定された表示枠の拡大画像が表示画面上に表示されるので、ユーザにとって容易に監視対象物の詳細が把握できるようになる。また、表示枠が複数であっても、その複数の表示枠のうちのどれが真に監視対象物の表示であるかはユーザが指定するようになっているので、宅内装置に備える、監視対象物を切り出す手段としての座標検出手段を、より厳密に監視対象物のみを切り出す処理工程の多いソフトとする必要がなく、その分だけ速い処理速度が得られる上に、遠隔見守りシステムをコスト安く提供することができる。

また、請求項４の発明によれば、請求項２の遠隔見守りシステムを実現する宅内装置を提供できる。

以下、本発明の一実施形態に係る遠隔見守りシステムについて図１乃至図７を参照して説明する。図１は、遠隔見守りシステム１の概略構成を示す。同システム１は、宅内の監視対象物Ｐ（ペット、子供等）が居る部屋に設置され、その部屋の状況を撮影するカメラ１１を内蔵した宅内装置１０と、該宅内装置１０に電話回線及びインターネット４を介して接続したサーバ装置２（Webサーバ）及び宅外のユーザが保持する携帯端末３とから成る。携帯端末３は、液晶等の表示画面３ａを有する携帯電話又はPDA（Personal Digital Assistant）である。

宅内装置１０は、サーバ装置２から送信されたカメラ撮影動作及びその他の動作を含む命令を受信して、その命令を実行し、サーバ装置２に宅内情報をアップロードし、ユーザはそのアップロードされた情報を携帯端末３を介して得ることができる。

例えば、宅外のユーザがペットＰのいる部屋の画像を見ようとすれば、携帯端末３のブラウザ機能を用いてサーバ装置２にログインし、該ブラウザ上で宅内装置への撮影命令を出す。すると、その命令がサーバ装置２から宅内装置１０に送信され、宅内装置１０は撮影した画像をサーバ装置２へアップロードし、ユーザはその画像を携帯端末３の表示画面３ａで見ることができる。

監視対象物が、特定の部屋内で放し飼い状態にしたペットＰである場合には、ペットＰの居場所が特定できないために、宅内装置１０は部屋の隅に設置し、カメラ１１の監視エリアを部屋のほぼ全域に広げておく必要があり、この場合撮影画像は、例えば図６（ｂ）に示したようになって画像全体に占めるペットＰの映像はどうしても小さくなる。

次に、宅内装置１０の構成について図２に基づき説明する。宅内装置１０は、マイクロコンピュータからなり、取込んだ画像の種々の処理（後に詳述）を行う制御部１２（画像キャプチャ手段、座標検出手段）と、該制御部１２にインターフェイス１３を介して接続したカメラ１１と、該カメラ１１によって撮影した画像を静止画として記憶しておく画像メモリ１４とを備えている。制御部１２で処理された画像及びデータ等の情報はモデム１５（送信手段）を介してインターネットへ送信される。

宅内装置１０の構成は上記のとおりであり、その機能について図３のフローチャートに基づき説明する。宅外のユーザが携帯端末３から撮影命令を出すと、その撮影命令が電話回線及びインターネットを介して宅内装置１０に送られる。制御部１２は撮影命令の受信（Ｓ１）に基づき、カメラ１１を動作させて現在の部屋内を撮影すると共に、撮影した画像（リアルタイムの撮影画像）をキャプチャし、画像メモリ１４に記憶する（Ｓ２）。

画像メモリ１４には、ペットＰが居ない状態の部屋内を撮影した背景画としての画像（背景画像）が予め記憶されており、リアルタイムの撮影画像と、該背景画像が比較され、差分の画像が抽出される（Ｓ３）。図６に背景画像Ｖ１（図６（ａ））とリアルタイム画像Ｖ２（図６（ｂ））及び両画像から作成される差分画像Ｖ３（図６（ｃ））の例を示す。この例の場合、背景画像Ｖ１に比べてケージＣ内に居るペットＰの部分と、ドアＤの部分が差分画像となって現れる。なお、背景画像Ｖ１は、ユーザがペットＰを部屋外に置いた状態（ペットをカメラによる監視エリア外に置いた状態）で、事前に撮影される。

次に、差分画像Ｖ３（図６（ｃ））において、エッジ検出手法等により外形を特定し、直線部分が多い差分画像は人工物であると判定してその部分を差分画像から排除する（Ｓ４）。上記Ｓ３における差分画像Ｖ３の作成及びＳ４における人工物の判定（監視対象物以外の差分画像の判定）は、公知技術を用いて実施でき、用いるソフトによっては極めて精度高く行うことができるが、本発明の目的に照らして、これら処理に用いるソフトは簡素で処理速度の速いものが望ましい。

次に、人工物と判定された差分画像を除いた残りの差分画像について、その位置座標（例えば、差分画像の外形を囲む直方形の対角点の座標）が算出され（Ｓ５）、その位置座標のデータと共に前記リアルタイムの撮影画像Ｖ２が、モデム１５を介してサーバ装置２へ送信（アップロード）される（Ｓ６）。

サーバ装置２は、上記のようにしてアップロードされたリアルタイム画像Ｖ２及び位置座標データから、次のようにして表示枠１６及び枠番号１７を表示した画像Ｖ４を生成する。すなわち、サーバ装置２は、得られた位置座標（直方形の対角点の座標）に基づきリアルタイム画像上で点滅（ブリンク）する表示枠１６を表示し、表示枠の近くに枠番号１７を表示する。図７（ａ）に表示枠１６と枠番号１７が表示された画像の例を示す。サーバ装置２が得た位置座標データが複数の場合（つまり、差分画像が２ヶ所以上になる場合）には、リアルタイム画像中の異なった複数位置に表示枠１６が表示され、それらに１から始まる通し番号の枠番号１７が付与される。図７（ｃ）に複数の表示枠１６が表示され、それぞれに枠番号１７が付された画像の例を示す。また、サーバ装置２は、上記表示枠１６内の画像を拡大した拡大画像（監視対象物の拡大画像）Ｖ５（図７（ｂ））を作成する。表示枠１６が複数の場合には、各表示枠１６に対応した複数の拡大画像を作成する。

サーバ装置２の上記機能について、図４のフローチャートに沿って説明する。宅内装置１０からリアルタイム撮影画像Ｖ２と位置座標のデータがアップロードされると（Ｓ１１）、得られた位置座標に基づき、リアルタイム画像Ｖ２に表示枠１６を表示し（Ｓ１２）、枠番号１７を自動発生させて各表示枠１６に付与する（Ｓ１３）。そして、各表示枠１６内の画像を拡大した拡大画像Ｖ５を生成する（Ｓ１４）。

次に、携帯端末３について説明する。携帯端末３は、上記のようにしてサーバ装置２内に生成された表示枠を有する画像Ｖ４及び拡大画像Ｖ５をダウンロードして前記表示画面３ａ上で見ることができる。監視エリア全体を撮影した画像Ｖ４には監視対象物を示す表示枠１６が表示され、かつ各表示枠１６には枠番号１７が付されているので、ユーザは例えばテンキー１８（指定手段）を用いて希望する枠番号１７を入力し、次に特定のキーからなる切替えボタン１９（切替え手段）を押せば、希望した表示枠１６内の拡大画像Ｖ５が表示画面３ａに表示される。例えば図７（ｃ）の全体画像であれば、脱衣した衣服２０とケージＣから抜け出したペットＰについて差分画像であると認識されて、それぞれに表示枠１６が表示され、枠番号「"１"」、「"２"」が付与されるので、ユーザはテンキー１８の「"２"」を押し、２番の表示枠１６（ペットの差分画像）を指定する。もちろん、この際にユーザが敢えて１番の表示枠１６を指定すれば、ユーザは衣服の拡大画像を取得することができる。

携帯端末３の上記機能について、図５のフローチャートに沿って説明する。携帯端末３の表示画面３ａに表示枠１６が表示された全体画像Ｖ４が表示された後、ユーザはテンキー１８を用いて希望する枠番号１７を入力し、指定する（Ｓ２１）。次にユーザが切替えボタン１９を操作すると（Ｓ２２）、携帯端末３は、サーバ装置２にアクセスしてサーバ装置２が作成した拡大画像Ｖ５を取得し、表示画面３ａの画像を全体画像Ｖ４から拡大画像Ｖ５へ切り替える（Ｓ２３）。

なお、枠番号１７を指定する指定手段は、テンキー１８以外に十字キー、アップダウンキー等の携帯端末３に備えられた他のキー等を用いてもよい。十字キーを用いた場合には、該十字キーでもって指定した表示枠の点滅を点灯へ変更できるようにすれば、どの表示枠が指定されたかが確認できるので、枠番号を省略することができる。

さらに、宅内装置１０の、人工物による差分画像の判定手順（図３におけるＳ４）は、大幅に簡素なものにしてもよいし、あるいは場合によっては省略してもよい。その場合、差分画像の生成される個数（つまり、表示枠１６の個数）は多くなる可能性があり、ユーザが、その多くの表示枠１６の中から正しく監視対象物Ｐを囲った表示枠１６を見つけ出す労力は若干増すが、宅内装置１０に備える、監視対象物Ｐを切り出す手段としての座標検出手段は、さらに簡素な（処理工程の少ない）ソフトとすることができ、その分だけ早い処理速度が得られ、携帯端末３の表示画面３ａに、表示枠１６が表示された画像Ｖ４が現れるまでの時間が短縮される。また、遠隔見守りシステム１及び宅内装置１０をよりコスト安く提供できる。

本発明の一実施形態に係る遠隔見守りシステムの概略構成を示すシステム構成図。同遠隔見守りシステムの宅内装置の概略構成を示すブロック図。同遠隔見守りシステムの宅内装置の処理を示すフローチャート。同遠隔見守りシステムのサーバ装置の処理を示すフローチャート。同遠隔見守りシステムの携帯端末の処理を示すフローチャート。同遠隔見守りシステムのサーバ装置内で処理される画像の例を示しており、（ａ）は背景画像を示す図、（ｂ）はリアルタイム画像を示す図、（ｃ）は差分画像を示す図。同遠隔見守りシステムの携帯端末の表示画面に表示される画像の例を示しており、（ａ）は表示枠が表示された全体画像を示す図、（ｂ）は拡大画像を示す図、（ｃ）は表示枠が複数ある場合の全体画像を示す図。

符号の説明

１遠隔見守りシステム
２サーバ装置
３携帯端末
３ａ表示画面
４インターネット
１０宅内装置
１１カメラ
１２制御部（画像キャプチャ手段、座標検出手段）
１４画像メモリ
１５モデム（送信手段）
１６表示枠
１７枠番号
１８テンキー（指定手段）
１９切替えボタン（切替え手段）
Ｐペット（監視対象物）
Ｖ１背景画像
Ｖ２リアルタイム撮影画像
Ｖ３差分画像
Ｖ４表示枠が表示された画像
Ｖ５拡大画像

Claims

宅内に設置されて宅内の監視エリアをカメラにて撮影する宅内装置と、前記宅内装置にて撮影された画像を電話回線及びインターネットを介して受信すると共に、その画像をインターネット及び電話回線を介して携帯端末に送信するサーバ装置とを備えた遠隔見守りシステムにおいて、
前記宅内装置は、
前記カメラによる撮影画像をキャプチャする画像キャプチャ手段と、
前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、
該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない背景画としての撮影画像と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、
監視対象物が監視エリア内に存在するリアルタイムの撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、を備え、
前記サーバ装置は、
受信した位置座標に基づいて、同受信した撮影画像中に、監視対象物の位置を示す表示枠を枠番号と共に表示させる画像生成手段と、
表示枠内の画像を拡大し監視対象物の拡大画像を生成する拡大画像生成手段と、を備え、
前記携帯端末は、
前記サーバ装置が生成した画像を表示する表示画面と、
該表示画面上の画像を、表示枠が表示された全体画像から監視対象物の拡大画像へ切替える切替え手段と、
切替えるべき拡大画像を、ユーザが前記枠番号を入力することにより指定する拡大画像の指定手段と、を備えたことを特徴とする遠隔見守りシステム。
宅内に設置されて宅内の監視エリアをカメラにて撮影する宅内装置と、前記宅内装置にて撮影された画像を電話回線及びインターネットを介して受信すると共に、その画像をインターネット及び電話回線を介して携帯端末に送信するサーバ装置とを備えた遠隔見守りシステムにおいて、
前記宅内装置は、
前記カメラによる撮影画像をキャプチャする画像キャプチャ手段と、
前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、
該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない撮影画像と、監視対象物が監視エリア内に存在する撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、
監視対象物が監視エリア内に存在する撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、を備え、
前記サーバ装置は、
受信した位置座標に基づいて、同受信した撮影画像中に、監視対象物の位置を示す表示枠を表示させる画像生成手段と、
表示枠内の画像を拡大し監視対象物の拡大画像を生成する拡大画像生成手段と、を備え、
前記携帯端末は、
前記サーバ装置内の画像を表示する表示画面と、
該表示画面上の画像を、表示枠が表示された全体画像から監視対象物の拡大画像へ切替える切替え手段と、を備えたことを特徴とする遠隔見守りシステム。
前記携帯端末は、表示枠が複数である場合に、その複数の表示枠の内の拡大すべき１つをユーザが指定する指定手段を備えた請求項２に記載の遠隔見守りシステム。
カメラによる撮影画像をキャプチャする画像キャプチャ手段と、
前記画像キャプチャ手段によりキャプチャされた画像を記憶する画像メモリと、
該画像メモリ内に記憶された画像であって、監視対象物が監視エリア内に存在しない背景画としての撮影画像と、監視対象物が監視エリア内に存在するリアルタイムの撮影画像との差分から監視対象物の位置座標を検出する座標検出手段と、
監視対象物が監視エリア内に存在するリアルタイムの撮影画像と、上記座標検出手段により検出した位置座標とをサーバ装置に送信する送信手段と、
を備えた請求項２に記載の遠隔見守りシステムに用いられる宅内装置。