JP2010087582A - 遠隔監視システム及びそのサーバ - Google Patents

Abstract

【課題】遠隔地に設置されたカメラの制御、及びそのカメラにより撮影された画像の取得と表示が、通信ネットワークを介して携帯端末により可能な遠隔監視システムにおいて、携帯端末の使い勝手を向上させる。
【解決手段】サーバ２は、カメラ４の制御及びカメラ４により撮影された画像を通信ネットワーク１経由で携帯端末へ送信することが可能であり、かつ携帯端末のキー操作に応じてカメラ４を制御する機能を有する。携帯端末の右カーソルキーの操作に応じて、携帯端末で表示中の画像の中心から右方向に位置する移動体を移動体検出部２５で検出し、その移動体が携帯端末の画面の中央に表示されるように、その移動体を含む箇所を画像調整部２８で切り出し、通信インタフェース部２２から通信ネットワーク１を介して携帯端末へ送信する。
【選択図】 図２

Description

本発明は、遠隔地に設置されたカメラの画像を通信ネットワーク経由で携帯端末装置へ送信して表示することが可能な遠隔監視システム及びそのサーバに関し、さらに詳しくは、携帯端末装置の使い勝手を向上させた遠隔監視システム及びそのサーバに関する。

遠隔地に設置されたカメラの画像を通信ネットワーク経由で携帯端末装置により閲覧できるシステムがある（特許文献１参照）。このシステムでは、カメラサーバと携帯端末装置とを通信ネットワーク経由で通信可能に構成するとともに、カメラサーバにカメラを接続し、カメラで撮影したリアルタイム画像を携帯端末装置で表示可能にするとともに、携帯端末装置によるカメラの遠隔制御を可能にしている。

このシステムでは、カメラで撮影した横長の画像の全体を携帯端末装置の縦長の表示画面の中央部に表示する。そして、携帯端末装置の利用者がカメラのパン、チルト、或いはズームを行う場合、予め設定されたキー（例えば、パンであれば左右のカーソルキー、チルトであれば上下のカーソルキー）を押下することにより、カメラの遠隔制御を行うことができる。

しかしながら、従来のシステムには下記（１）〜（３）の欠点があるため、携帯端末装置の使い勝手が悪いという問題がある。
（１）携帯端末装置の小さな表示画面では、監視対象が小さくなって見づらい。
（２）カーソルキーによる表示箇所の指定（パン、チルト）では、見たい箇所の迅速かつ正確な指定が困難である。
（３）監視対象が移動している場合、表示箇所を指定してもすぐに画面外に移動してしまうことがあるため、見たい箇所を見ることが困難である。
特開２００５−２００９９号公報

本発明は、このような問題を解決するためになされたもので、その目的は、遠隔地に設置されたカメラの制御、及びそのカメラにより撮影された画像の取得と表示が、通信ネットワークを介して携帯端末装置により可能な遠隔監視システムにおいて、携帯端末装置の使い勝手を向上させることである。

本発明のサーバは、カメラの制御及びそのカメラにより撮影された画像をネットワーク経由で携帯端末装置へ送信することが可能であり、かつ前記携帯端末装置のキー操作に応じて前記カメラを制御する機能を有するサーバであって、前記カメラにより撮影された画像が前記携帯端末装置で表示されているとき、前記携帯端末装置の所定方向のカーソルキーの操作に応じて、前記携帯端末装置で表示されている画像の中心から所定方向に位置する移動体を検出する移動体検出手段と、検出された移動体が前記携帯端末装置の表示画面の中央に表示されるように、その移動体を含む箇所を切り出す移動体画像切り出し手段とを有するサーバである。
ここで、移動体画像切り出し手段は、携帯端末装置の表示画面全体に画像が表示されるように、携帯端末装置の表示画面のサイズに合わせて切り出すことが好適である。
また、ズーム用に設定された、前記携帯端末装置のキーの操作に応じて、前記携帯端末装置で表示されている画像中の顔を検出する顔検出手段と、検出された顔が前記携帯端末装置の表示画面の中央に表示されるように、その顔を含む箇所をズームインして切り出す顔画像切り出し手段を設けてもよい。
本発明の遠隔監視システムは、本発明のサーバと、そのサーバにより制御され、かつ撮影した画像を前記サーバへ送信可能なカメラと、ネットワークにより前記サーバに接続される携帯端末装置とからなる遠隔監視システムである。

本発明によれば、遠隔地に設置されたカメラの制御、及びそのカメラにより撮影された画像の取得と表示が、ネットワークを介して携帯端末装置により可能な遠隔監視システムにおいて、携帯端末装置の使い勝手が向上する。

以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図１は、本発明の実施形態の遠隔監視システムの構成を示す図である。この遠隔監視システムは、それぞれがインターネットなどの通信ネットワーク１に接続されるサーバ２及び複数の携帯端末３と、ケーブル等によりサーバ２に接続されたカメラ４とからなる。

サーバ２は、カメラ４を制御する機能、及びカメラ４で撮影された画像の画像データを受信し、後述する処理を施した後、通信ネットワーク１を介して、携帯端末３へ送信する機能を持っている。サーバ２の構成及び機能の詳細については図２を参照しながら後述する。

携帯端末３は、所定のキーを操作し、通信ネットワーク１を介してサーバ２に制御信号を送信することにより、カメラ４の遠隔制御を行うことができる。また、カメラ４で撮影され、サーバ２で処理された画像を通信ネットワーク１経由で受信し、表示することができる。携帯端末３の構成及び機能の詳細については図３を参照しながら後述する。

カメラ４は、ＣＣＤやＭＯＳなどの撮像素子と、撮像素子で生成された画像信号に所定のアナログ信号処理及びＡ／Ｄ変換を行うカメラ信号処理部と、サーバ２に対するインタフェースである外部インタフェースとを備えており、サーバ２からの制御信号により、パン、チルト、及びズームイン／アウトが可能であり、撮影した画像をサーバ２へ送信することが可能である。カメラ４はＰＴＺカメラと呼ばれるカメラである。

図２は、サーバ２の内部のブロック図である。サーバ２は、バス２１と、それぞれがバス２１に接続された通信インタフェース部２２、外部インタフェース部２３、画像処理部２４を備えている。画像処理部２４は、移動体検出部２５、トラッキング部２６、顔検出部２７、及び画像サイズ調整部２８を備えている。ここでは、画像処理部２４内の各部は、図示されていないＣＰＵ、及びメモリに格納されたプログラムにより実現される機能ブロックであるが、これらの機能ブロックの一部をハードウェアで構成することもできる。

通信インタフェース部２２は、通信ネットワーク１を介して携帯端末３と通信を行う手段であり、外部インタフェース部２３は、カメラ４と通信を行う手段である。

移動体検出部２５は、カメラ４から送られてきた画像データのフレーム差分などを用いて、カメラ４で撮影された画像中の移動体を検出する手段である。移動体が複数存在する場合は、携帯端末３のユーザにより設定された一つの移動体、例えば現フレームの画像の中心に対し所定の方向（例．左方）に存在し、かつ中心に最も近い移動体のみを検出結果として出力する機能を有する。

トラッキング部２６は、移動体検出部２５で検出された移動体の位置データをフレーム毎に保存することで、移動体を追跡する手段である。顔検出部２７は、カメラ４から送られてきた画像データを基に画像中の人物の顔を検出する手段である。

画像サイズ調整部２８は、携帯端末３へ送信する画像のサイズ（縦、横の画素数）を携帯端末３の表示部３３に合うように調整する手段である。

図３は、携帯端末３の内部のブロック図である。携帯端末３は、バス３１と、それぞれがバス３１に接続された通信インタフェース部３２、画像表示部３３、操作入力部３４、制御部３５、及び記憶部３６を備えている。

通信インタフェース部３２は、通信ネットワーク１を介してサーバ２や他の携帯端末３と通信を行う手段である。表示部３３は、ＬＣＤなどを備えており、携帯端末３の動作状態、操作入力部３４からユーザが入力した情報、サーバ２から送信された画像などを表示する手段である。

操作入力部３４は、ユーザが携帯端末３を使用するときに用いる各種キー（数字キー、カーソルキー、決定キー、終了キーなど）を備えた入力手段である。制御部３５は、ＣＰＵを備えており、この携帯端末３全体の動作を制御する手段である。記憶部３６は、制御部３５が実行するプログラムが記憶されているＲＯＭ、制御部３６の動作中にワークエリアとなるＲＡＭなどからなる。

以上の構成を備えた遠隔監視システムの動作について、図４及び図５に示すサーバ２の動作フローチャート、並びに図６〜図８に示す携帯端末３の操作入力部３３の操作内容に応じた表示部３３の画像の変化を示す図を参照しながら説明する。

携帯端末３のユーザが、操作入力部３４を操作し、通信ネットワーク１を介してサーバ２にアクセスすることで、図４のフローが開始される。なお、このフローでは、携帯端末３のキー操作に応じて、サーバ２及びカメラ４の動作が遠隔制御されるとともに、カメラ４で撮影された画像が携帯端末３の表示部３３で表示されるが、そのために必要なプログラムは予めサーバ２から携帯端末３に通信ネットワーク１を介してダウンロードされ、記憶部３６に保存されている。

図４に示すように、まずカメラ４で撮影された画像の基準点をリセットし（ステップＳ１）、初期画像表示処理のサブルーチンへ移行する（ステップＳ２、図５）。初期画像表示処理では、まずカメラ４が撮影中の監視画像の中心点を算出する（ステップＳ３１）。次いで監視画像全体を携帯端末３の表示部３３のサイズに縮小し（ステップＳ３２）、中心点の位置データとともに携帯端末３へ送信する（ステップＳ３３）。携帯端末３は、受信した初期画像及び中心点を表示部３３で表示する。

図６Ａに、初期画像３３１の一例を示す。ここでは、縦長の表示部３３の中央部に横長の監視画像が配置され、その上下は画像の無いエリアとなっている。なお、この初期画像３３１の中心に表示されている○と×の組み合わせからなる記号は、監視画像の中心点を表している。

サーバ２では、ステップＳ３３を実行した後、メインルーチンに戻り、現在端末装置３へ送信している画像の中心点を基準点に設定した後に移動体を検出する（ステップＳ３、Ｓ４）。ステップＳ４では、カメラ４の監視画像のフレーム差分などをとることで、監視画像中の移動体を検出する。検出した移動体の画面内の位置データはサーバ２内の記憶部（図示省略）に保存される。

次にサーバ２は、携帯端末３で初期画面が表示されているかどうかを調べる（ステップＳ５）。ここでは、ステップＳ３３で初期画像を送信し、それ以後、送信画像を変えていないので（Ｓ５：YES）、ステップＳ６へ進む。

ステップＳ６では、携帯端末３で操作入力部３４の右カーソルキー又は左カーソルキーが押されたかどうか調べる。ここでは、図６Ｂに示すように、右カーソルキー３４１が押されたものとする。従って、ステップＳ７へ進んで、監視画像中の全ての移動体の重心位置を求め、次いでステップＳ８へ進み、基準点より指定方向（ここでは右方）に移動体があるかどうか調べる。

そして、移動体がある場合は（Ｓ８：YES）、基準点と重心との間の距離が最も近い移動体を選択した後に、その選択した移動体の中心を監視画像の基準点とする（ステップＳ９、Ｓ１０）。次いで基準点を中心に、携帯端末３の表示部３３のサイズに合わせて監視画像を切り出し、携帯端末３へ送信する（ステップＳ１１、Ｓ１２）。

図６Ａの場合、基準点の右側で三輪車に乗っている子供を中心とする監視画像が切り出され、図６Ｃに示すように、縦長の表示部３３の全体に表示される。ここで、切り出し範囲は携帯端末３の表示画面サイズに応じて変化する。

ステップＳ６で、右ボタン又は左ボタンが押されていないと判断した場合、ステップＳ８で、基準点より指定方向に移動体が無いと判断した場合は、いずれもステップＳ１に戻る。

上記のようにステップＳ１２を実行した後にステップＳ４へ移行し、再び移動体検出を行い、次にステップＳ５で、携帯端末３で初期画面が表示されているかどうか調べる。今回は、図６Ｃに示すように、移動体の切り出し画面が表示されているので（Ｓ５：NO）、ステップＳ１３へ進み、現フレームの移動体の位置情報を取得する。この位置情報は、前フレームの移動体のトラッキング結果から取得する。ここでは、図６Ｃに示されているように、三輪車とそれに乗っている子供が移動体として検出され、保存されているので、その移動体の現フレームの位置情報を取得する。

次にステップＳ１４で、その移動体の重心位置を新たな基準点とする。ここでは、三輪車とそれに乗っている子供の現フレームの重心が新たな基準点とされる。

次いで携帯端末３で、上カーソルキー又は下カーソルキーが押されたかどうか調べ（ステップＳ１５）、押された場合は（Ｓ１５：YES）、それが上カーソルキーかどうか調べる（ステップＳ１６）。ここでは、図７Ａに示すように、上カーソルキー３４２が押されたものとする。

従って、ステップＳ１７に進んで、顔検出を行い、次にステップＳ１８に進んで、顔が検出されたかどうか調べる。そして、検出された場合は（Ｓ１８：YES）、顔部分にズームインし（ステップＳ１９）、そのズームイン画像を携帯端末３の表示部３３のサイズに合わせて切り出し（ステップＳ２０）、携帯端末３へ送信する（ステップＳ１２）。この結果、携帯端末３の表示部３３には図７Ｂに示す顔ズーム画像３３４が表示される。

ステップ１２を実行した後、ステップＳ４へ移行して、移動体検出を行う。前回と同様、ステップＳ１３→Ｓ１４→Ｓ１５へと移動する。ここで、図７Ｃに示すように、下カーソルキー３４３が押されたものとすると、Ｓ１５：YES→Ｓ１６：NO→Ｓ２１へと移動し、顔ズーム画像が表示されているかどうか調べる。

ここでは、図７Ｂに示すように、顔ズーム画像が表示されているので（Ｓ２１：YES）、ステップＳ２２へ進み、基準点（ここでは、三輪車とそれに乗っている子供からなる移動体の重心）を中心に、携帯端末３の表示部３３のサイズに合わせて切り出し（ステップＳ２２）、携帯端末３へ送信する（ステップＳ１２）。この結果、携帯端末３の表示部３３には、図７Ｂに示す画像がズームアウトされ、図６Ｃと同じく、図７Ｄに示す画像３３２が表示される。

なお、ステップＳ１５で、上カーソルキー又は下カーソルキーが押されていないと判断した場合は（Ｓ１５：NO）、ステップＳ２２→Ｓ１２へと進む。この場合も、携帯端末３の表示部３には、図６Ｃ又は図７Ｄに示されている画像３３２が表示される。

ステップ１２を実行した後、ステップＳ４→Ｓ１３→Ｓ１４→Ｓ１５へと移動する。ここで、図７Ｅに示すように、下ボタン３４３が押されたものとすると、Ｓ１５：YES→Ｓ１６：NO→Ｓ２１へと移動し、顔ズーム画像が表示されているかどうか調べる。

今回は、図７Ｄに示すように、ズームアウトした画像が表示されているので（Ｓ２１：NO）、ステップＳ１へ移行する。そして、次のステップＳ２を実行することで、携帯端末３の表示部３３には、図７Ｆに示す初期画面３３１が表示される。

なお、図４のフローでは、Ｓ１５：NOの場合、Ｓ２２へ進んでいるが、さらに右カーソルキー又は左カーソルキーが押されたかどうかを調べるステップを追加し、押されていた場合、ステップＳ７に進むように構成してもよい。このように構成すると、携帯端末３の表示部３３に図６Ｃに示されている、三輪車とそれに乗っている子供を中心とした画像３３２が表示されている状態で、図８Ａに示すように、右カーソルキー３４１を押すと、Ｓ７→Ｓ８：YES→Ｓ９→Ｓ１０→Ｓ１１→Ｓ１２のように進むことで、図８Ｂに示すように、その三輪車及び子供の右方の移動体である別の子供が表示される。また、この状態から、図８Ｃに示すように、右カーソルキー３４１を押すと、Ｓ７→Ｓ８：NO→Ｓ１→Ｓ２のように進むことで、図８Ｄに示すように初期画像が表示される。

なお、図示を省略したが、この図のフローは、携帯端末３の操作入力部３４の終了ボタンを押すことをサーバ２が検知すると終了する。

以上説明したように、本実施形態の遠隔監視システムによれば、携帯端末３の表示部３３に、カメラ４で撮影され、サーバ２で切り出された画像が表示されているときに、携帯端末３の操作入力部３３の右カーソルキー或いは左カーソルキーを押すことにより、現在表示されている画像の中心の右方又は左方の移動体を中心にして新たに画像を切り出し、携帯端末３の表示部３３に表示することができるので、カーソルキーを１回押すだけで、見たい箇所を迅速、確実に見ることができる。このとき、画像処理は全てサーバ２側で行うため、端末装置３側の負荷は増加しない。

また、フレーム毎に移動体を追跡するので、右カーソルキー又は左カーソルキーにより検出して表示した箇所が画面外に移動する事態を防止することができる。さらに、携帯端末３の表示部３３のサイズに合わせて画像を切り出すので、携帯端末３の小さな表示部でも、監視対象が見易い状態で表示される。

また、上カーソルキーの操作により、顔検出を行うとともに、予め設定しておいたズーム倍率に拡大し、携帯端末３の表示部３３のサイズに合わせて顔の周辺を切り出すので、見たい人物の顔を迅速かつ正確に明瞭に見ることができる。

次に、サーバ２内の記憶装置（ハードディスクなど）に保存されている画像の中から、携帯端末３のユーザが、希望の移動体が撮影されている画像を抽出し、保存する編集処理について、図９のフローチャートを参照しながら説明する。この図のフローは、携帯端末３のユーザが通信ネットワーク１を介してサーバ２にアクセスし、サーバ２に保存されている画像の中から編集したい画像を選択し、実行指示を入力したときに、開始される。

サーバ２は、ユーザが選択した画像を記憶装置から読み出し、図４のステップＳ４と同様な手順で移動体を検出する（ステップＳ４１）。移動体が検出された場合は（ステップＳ４２：YES）、それを編集対象とし（ステップＳ４３）、その移動体の周囲に矩形の枠を付与した画像を端末装置３へ送信する（ステップＳ４４）。

携帯端末３のユーザが、表示部３３に表示されている画像を見ながら、カーソルキーを操作して、移動体の周囲の枠を選択し、決定ボタンを押すと（ステップＳ４５）、サーバ２はそれを検出して、決定された移動体が映っているフレームの画像からその移動体の画像を切り出し、編集済み画像としてサーバ２内の記憶装置に保存する処理を開始する（ステップＳ４６）。携帯端末３のユーザが編集の終了を指示するまで（ステップＳ４７：YES）、編集を続ける。

図９に示すフローを実行することにより、長時間にわたる録画画像の中から、希望の人物、対象物のみを切り出して編集し、保存することができる。また、時系列で画像を観察し、動きのない時間の画像は編集対象から外すだけでなく、広範囲の画像の中から、希望の人物の箇所のみを切り出して編集することができる。従って、例えば保育園やペットホテルにカメラを設置したシステムの場合、録画画像の中から自分の子供やペットが映っている部分のみを切り出して保存することができる。

また、移動中の人物を切り出した画像を検索用のインデックスとして保存することにより、広範囲を撮影した画像の検索を容易にすることができる。さらに、警察が長時間の録画画像中から犯人を探す場合、自動的に人物を抽出し、拡大などが簡単な操作で行える機能を利用することにより、犯人検索の手間を大幅に削減することができる。

なお、以上の実施形態では、カメラ４としてＰＺＴカメラを用いたが、広角の固定カメラを用いてもよい。また、広角の固定カメラと、ＰＴＺカメラとを併用してもよい。固定カメラの場合、パン、チルトは出来ないが、広角であればその必要はない。ズームについては、電子ズーム（デジタルズーム）により対応可能である。また、ＰＴＺカメラと比べると、複数の携帯端末間のカメラの制御権のコントロールが不要になるという利点がある。

また、以上の実施形態では、カメラとサーバとを別の装置としたが、カメラにサーバ機能を持たせた単一の装置として構成してもよい。

さらに、以上の実施形態では、図４〜図８に示す処理及び操作はライブ画像に対するものであるが、これらの処理及び操作はサーバ２に保存した録画画像に対しても可能である。

本発明の実施形態の遠隔監視システムの構成を示す図である。 図１のサーバの内部のブロック図である。 図１の端末装置の内部のブロック図である。 本発明の実施携帯の遠隔監視システムの動作を示すフローチャートである。 図４のフローチャートにおける初期画像処理のサブルーチンのフローチャートである。 携帯端末の操作入力部の操作内容に応じた表示部の画像の変化を示す図である。 携帯端末の操作入力部の操作内容に応じた表示部の画像の変化を示す図である。 携帯端末の操作入力部の操作内容に応じた表示部の画像の変化を示す図である。 サーバ２に保存されている画像の中から、携帯端末３のユーザが希望の移動体が撮影されている画像を抽出し、保存する編集処理を示すフローチャートである。

符号の説明

１・・・通信ネットワーク、２・・・サーバ、３・・・携帯端末、４・・・カメラ、２４・・・画像処理部、２５・・・移動体検出部、２６・・・トラッキング部、２７・・・顔検出部、２８・・・画像サイズ調整部。

Claims (6)

1. カメラの制御及びそのカメラにより撮影された画像を通信ネットワーク経由で携帯端末装置へ送信することが可能であり、かつ前記携帯端末装置のキー操作に応じて前記カメラを制御する機能を有するサーバであって、
   前記カメラにより撮影された画像が前記携帯端末装置で表示されているとき、前記携帯端末装置の所定方向のカーソルキーの操作に応じて、前記携帯端末装置で表示されている画像の中心から所定方向に位置する移動体を検出する移動体検出手段と、検出された移動体が前記携帯端末装置の表示画面の中央に表示されるように、その移動体を含む箇所を切り出す移動体画像切り出し手段とを有することを特徴とするサーバ。
2. 請求項１に記載されたサーバにおいて、
   移動体画像切り出し手段は、携帯端末装置の表示画面全体に画像が表示されるように、携帯端末装置の表示画面のサイズに合わせて切り出すことを特徴とするサーバ。
3. 請求項１に記載されたサーバにおいて、
   移動体検出手段は、複数の移動体を検出したときは、前記携帯端末装置で表示されている画像の中心に最も近い移動体を選択することを特徴とするサーバ。
4. 請求項１に記載されたサーバにおいて、
   ズーム用に設定された、前記携帯端末装置のキーの操作に応じて、前記携帯端末装置で表示されている画像中の顔を検出する顔検出手段と、検出された顔が前記携帯端末装置の表示画面の中央に表示されるように、その顔を含む箇所をズームインして切り出す顔画像切り出し手段とを有することを特徴とするサーバ。
5. 請求項４に記載されたサーバにおいて、
   顔検出手段により顔が検出されなかった場合、初期設定された監視対象エリアの画像が前記携帯端末装置の表示画面に表示されるように切り出す初期設定画像切り出し手段を有することを特徴とするサーバ。
6. 請求項１〜５のいずれか１項に記載されたサーバと、そのサーバにより制御され、かつ撮影した画像を前記サーバへ送信可能なカメラと、通信ネットワークにより前記サーバに接続される携帯端末装置とからなる遠隔監視システム。

Images