JP2006121580A

JP2006121580A - 画像処理装置

Info

Publication number: JP2006121580A
Application number: JP2004309531A
Authority: JP
Inventors: Kensuke Marutani; 健介丸谷; Susumu Okada; 晋岡田; Tomohide Ishigami; 智英石上
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-10-25
Filing date: 2004-10-25
Publication date: 2006-05-11

Abstract

【課題】大きく表示された監視映像を確認するとともに他の監視機器の位置関係を把握することができる画像処理装置を提供する。
【解決手段】複数の監視カメラ１０１から出力される監視映像の処理を行う画像処理装置１００であって、各監視カメラ１０１及びセンサー１０２（監視機器）の設置位置を示す機器情報を参照して、一の監視カメラ１０１に対する他の監視カメラ１０１又はセンサー１０２の相対的な位置関係を示す相対的位置情報を各監視機器毎にそれぞれ算出し、前記複数の監視機器のうちから選択した一の監視カメラ１０１から出力される監視映像と、選択した一の監視カメラ１０１に対する他の監視機器の相対的位置情報とを合成して表示させる画面合成手段１０６とを備える。
【選択図】図１

Description

本発明は、複数の監視機器から出力される監視映像の処理を行う画像処理装置に関する。

監視対象エリア内の各所に設置された監視カメラからの監視映像を拠点端末で取得して、広範囲にわたる監視を集中的に行う監視システムでは、現在モニター中の映像がどこに設置した監視カメラからの映像であるかを正確に把握することが必要となる。そのため、これまで各種の監視システムや監視装置が提案されている。

例えば、複数の赤外線カメラを備え、異常を検知した赤外線カメラの映像と、異常が発生した場所に印を付けた地図画像を画面上で並べて表示することにより、画面の切り替えを行うことなく異常発生箇所を把握できる監視装置（例えば、特許文献１参照）や、複数の監視カメラを備え、カメラ映像と地図画像を並べて表示し、地図画像上に全てのカメラの設置位置や撮影可能視野、撮影中の視野、および画像表示中のカメラの位置を表示することにより、同じく画面の切り替えを行うことなくカメラごとの位置関係を把握できる監視装置（例えば、特許文献２参照）などがある。

上記の監視装置では、特定のカメラの映像と共に、監視エリア全体の状況を示す地図画像を並べて表示することにより、監視者は、モニター中の映像が監視エリアのどの位置からの映像であるかを把握することができる。

特開平６−２８１３２号公報（第２−３頁、第１図）特開平８−２５１４６７号公報（第３−６頁、第１図）

しかしながら、上記従来の監視装置では、カメラ映像と地図画像とを並べて一画面上に表示するため、モニター端末の限られたスペースではカメラ映像の表示領域を十分確保できず、特に被写体の映像が小さい場合には顔の特徴の確認などが行いにくいという課題があった。

一方、カメラ映像だけを拡大して一画面表示させると、映像の確認は行いやすくなるが、今度は地図画像によって提供されていた情報（例えば、当該監視カメラの撮影位置を示す情報や、その他の監視カメラの設置位置やそれらの異常検知情報などの周囲の状況を示す情報）が把握できなくなるという問題が生じる。その結果、他の監視カメラでの異常発生を見落としたり、追跡中の人物が移動する際の監視カメラの切り替えが適切に行えずに対象を見失ったりするなど、異常発生に迅速に対応できない場合があった。

本発明は、上記事情に鑑みてなされたものであって、大きく表示された監視映像を確認するとともに他の監視機器の位置関係を把握することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、複数の監視機器から出力される監視映像の処理を行う画像処理装置であって、各監視機器の設置位置を示す機器情報を参照して、一の監視機器に対する他の監視機器の相対的な位置関係を示す相対的位置情報を各監視機器毎にそれぞれ算出する相対的位置情報算出手段と、前記複数の監視機器のうちから選択した一の監視機器から出力される監視映像と、選択した一の監視機器に対する他の監視機器の相対的位置情報とを合成して表示させる表示制御手段と、を備える。

上記構成によれば、一の監視機器から出力される監視映像と算出した相対的位置情報とを合成して表示させる表示制御手段を備えることにより、従来の絶対的な位置関係を示す情報を表示させる場合と比べて、少ない情報量で他の監視機器の位置情報を表示することができる為、相対的位置情報の表示領域を小さくし、一の監視機器から出力される監視映像の表示領域を大きくすることができる為、大きく表示された監視映像を確認するとともに他の監視機器の位置関係を把握することができる。

また、本発明の画像処理装置は、前記表示制御手段が、前記他の監視機器の動作状況を表示させるものである。上記構成によれば、表示制御手段が、前記他の監視機器の動作状況を表示させることにより、他の監視機器が異常を検知した、動作していない等の動作状況を把握することができる。

また、本発明の画像処理装置は、前記相対的位置情報算出手段が、選択した一の監視機器の撮影方向を基準方向として、前記他の監視機器の相対的位置情報を算出するものである。また、本発明の画像処理装置は、前記相対的位置情報算出手段が、選択した一の監視機器が移動可能な監視機器の場合、前記監視機器の移動方向を基準方向として、前記他の監視機器の相対的位置情報を算出するものである。上記構成によれば、選択した一の監視機器の撮影方向又は移動方向を基準方向として他の監視機器の相対的位置情報を算出できる。

また、本発明の画像処理装置は、前記表示制御手段が、前記監視映像の表示領域の外周に、前記他の監視機器を示す画像を、選択した一の監視機器に対する前記他の監視機器の方位と対応させた配置で表示させることにより、前記相対的位置情報を表示させるものである。

上記構成によれば、表示制御手段が、前記監視映像の表示領域の外周に、前記他の監視機器を示す画像を、前記一の監視機器に対する前記他の監視機器の方位と対応させた配置で表示させることにより、選択した一の監視機器の撮影方向又は移動方向を基準とした場合における他の監視機器の実際の設置方位が、監視映像の表示領域の中心から表示領域上端中央へ向かう方向を基準とした場合における他の監視機器の画像の表示領域上の配置方位とが一致する為、一の監視機器に対する他の監視機器の相対的位置関係を直感的に把握できる。

また、本発明の画像処理装置は、前記表示制御手段が、選択した一の監視機器と前記他の監視機器との距離に応じた表示形態で前記相対的位置情報を表示させるものである。上記構成によれば、表示制御手段が、選択した一の監視機器と前記他の監視機器との距離に応じた表示形態で前記相対的位置情報を表示させることにより、選択した一の監視機器と他の監視機器との距離が近い場合は、相対的位置情報を大きく表示させる等、相対的位置情報の表示形態の違いによって距離を把握することができる。

また、本発明の画像処理装置は、前記相対的位置情報算出手段が、前記基準方向の変化に応じて前記相対的位置情報を算出するものである。上記構成によれば、相対的位置情報算出手段が、前記基準方向の変化に応じて前記相対的位置情報を算出することにより、選択した監視機器の撮影方向又は移動方向が変化する毎に相対的位置情報を算出し直し、表示を更新することができる為、常に実際の撮影方向又は移動方向に合った相対的位置情報を把握することができる。

また、本発明の画像処理装置は、前記表示制御手段が、前記他の監視機器の動作状況の変化に応じて前記相対的位置情報の表示を更新させるものである。上記構成によれば、表示制御手段が、前記他の監視機器の動作状況の変化に応じて前記相対的位置情報の表示を更新させることにより、常に最新の動作状況を把握できる。

また、本発明の画像処理装置は、前記表示制御手段が、動作状況が変化した前記他の監視機器の前記相対的位置情報を強調表示させるものである。上記構成によれば、表示制御手段が、動作状況が変化した前記他の監視機器の前記相対的位置情報を強調表示させることにより、動作状況の変化を即座に把握できる。

また、本発明の画像処理装置は、前記複数の監視機器から前記一の監視機器を選択して操作するための指示を受け付ける受付手段を備える。さらに、本発明の画像処理装置は、前記監視機器が、少なくとも映像出力センサ及び非映像出力センサを含み、前記受付手段により非映像出力センサを選択するための指示を受け付けた場合、前記相対的位置情報算出手段が、選択された非映像出力センサの検知領域における動線方向を基準方向として、前記他の監視機器の相対的位置情報を算出し、前記表示制御手段が、前記非映像出力センサの検知領域を撮影可能な映像出力センサの監視映像を表示させるものである。上記構成によれば、例えば異常を検知した監視機器の監視映像を表示させることにより、複数の監視機器の監視領域全体を効率良く監視できる。

本発明によれば、一の監視機器から出力される監視映像と算出した相対的位置情報とを合成して表示させる表示制御手段を備えることにより、従来の絶対的な位置関係を示す情報を表示させる場合と比べて、少ない情報量で他の監視機器の位置情報を表示することができる為、相対的位置情報の表示領域を小さくし、一の監視機器から出力される監視映像の表示領域を大きくすることができる為、大きく表示された監視映像を確認するとともに他の監視機器の位置関係を把握することができる。

以下、添付図面を参照しながら、本発明の画像処理装置の一実施形態を説明するための監視システムの画像処理装置について詳細に説明する。尚、以下では、複数の監視機器と、複数の監視機器から出力される監視映像の処理を行う画像処理装置とを含む監視システムについて説明を行う。また、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。

（実施の形態１）
図１は、本発明の実施の形態１における監視システムの構成を示すブロック図である。監視システムは、画像処理装置１００、複数の監視カメラ１０１、複数の監視用センサー１０２、機器操作手段１０４、画像表示手段１０７を備える。画像処理装置１００は、更に、機器情報記録手段１０３、機器切替手段１０５、画面合成手段１０６を備える。また、監視カメラ１０１及び監視用センサー１０２は、それぞれ複数備えられる。

監視カメラ１０１は、監視領域の撮影を行う公知のカメラで構成され、撮影した映像データを接続する機器切替手段１０５に出力する。また、監視カメラ１０１は、機器操作手段１０４から入力される撮影方向変更命令に従って撮影方向を変更し、新しい撮影方向に関わる機器情報を後述する機器情報記録手段１０３へ出力する。

尚、監視カメラ１０１は、動き検出機能（センサー機能）を備え、画像中に一定以上の変化が生じた場合に、異常検知情報を機器情報記録手段１０３に出力する。動き検出機能は、監視カメラ１０１内に１フレーム分の画像メモリを設けて実現される。常時、直近の１フレームを画像メモリに記録しておき、新しいフレームが撮影された際に、画像メモリの内容と比較して、一定数以上の画素に変化がある場合に「動き」があったと判断する。

センサー１０２は、人体から出力される赤外線を検知し、人物が存在するか否かの判定を行う人感センサーで構成され、人物検知時には、異常検知情報を後述する機器情報記録手段１０３に出力する。

画像処理装置１００の機器情報記録手段１０３は、監視カメラ１０１やセンサー１０２などの監視機器の設置位置や動作状況等を示す機器情報を記録するメモリで構成される。設置位置を示す情報は、監視領域に設定された座標系における監視カメラ１０１とセンサー１０２の位置座標である。動作状況を示す情報とは、監視カメラ１０１の撮影方向、センサー１０２や監視カメラ１０１の異常検知状態の有無などを示す情報である。それぞれの監視機器には機器を一意に識別するための機器ＩＤが付与される。

機器操作手段１０４は、複数の監視カメラ１０１の中から画面で映像をモニターする監視カメラを選択したり、監視カメラの撮影方向を変更するための命令の入力などを行ったりする。

画像処理装置１００の機器切替手段１０５は、機器操作手段１０４で監視カメラ１０１を選択して操作するための指示を受け付ける。また、機器切替手段１０５は、複数の監視カメラ１０１と接続され、機器操作手段１０４で選択されている監視カメラの映像を画面合成手段１０６へ出力する。また、機器切替手段１０５は、選択されている監視カメラへ撮影方向変更コマンドなどの操作コマンドを出力する。

画面合成手段１０６は、機器情報記録手段１０３が記録する機器情報を参照して、一の監視カメラ１０１に対する他の監視機器（他の監視カメラ１０１又はセンサー１０２）の相対的な位置関係を示す相対的位置情報を各監視機器毎にそれぞれ算出する機能と、複数の監視機器（監視カメラ１０１及びセンサー１０２）のうちから選択した一の監視カメラ１０１から出力される監視映像と、選択した監視カメラ１０１に対する他の監視機器の相対的位置情報とを合成して表示させる機能と、を有する。画像合成手段１０６は、相対的位置情報を監視映像の表示領域の外周部の領域（以下、機器状況表示領域）に表示させる。また、画像合成手段１０６は、他の監視機器の動作状況を機器状況表示領域に表示させる。

画面表示手段１０７は、画面合成手段１０６で合成された画像の表示を行う。

ここで、監視エリア内における監視カメラや監視用センサーの設置例について説明する。図２は、監視領域内における監視機器の設置例を示す図である。座標系２０１は、監視領域に設定されたものであり、監視領域内のＦ字型の通路２０２には、２台のセンサーと３台の監視カメラが設置されている。

次に、機器情報記録手段１０３に記録される機器情報について説明する。図３は、機器情報記録手段に記録される機器情報のデータ構成を概念的に示す図である。機器情報は、監視機器を一意に判別するための機器ＩＤ、監視機器の種別、監視機器の位置座標、監視カメラ１０１の撮影角度、監視カメラ１０１やセンサー１０２の異常検知状態、の各項目で構成される。

図４は、監視カメラ１０１の撮影方向について説明するための図である。図に示すように、座標系４０２は、監視領域に設定された座標系２０１を、監視カメラ４０１を原点として平行移動したものであり、監視カメラの撮影方向４０３は、監視カメラの撮影角度４０４で表現される。つまり、機器情報記録手段１０３に記録される監視カメラ４０１の撮影方向は、監視領域に設定された座標系２０１のＹ軸方向を０度とした際の時計周り方向の角度で表現する。

次に、図５は、機器操作手段１０４の外観を示す図である。機器操作手段１０４は、選択する監視カメラや監視用センサーなどの監視機器の機器ＩＤを入力するテンキー５０１、入力した機器ＩＤを表示する機器ＩＤ表示部５０２、選択した監視カメラの撮影方向を変更するための操作レバー５０３、などで構成される。テンキー５０１で入力される機器ＩＤや、操作レバー５０３で入力される撮影方向変更命令は、機器切替手段１０５へ出力される。

機器切替手段１０５は、機器操作手段１０４で入力された機器ＩＤを内部メモリ（図示省略）に記録し、記録した機器ＩＤに該当する監視カメラから監視映像データを取得すると、それが画面合成手段１０６へ出力される。また、機器操作手段１０４で回転制御コマンドが入力されると、記録された機器ＩＤに該当する監視カメラに対して、回転制御コマンドが出力される。尚、機器操作手段１０４は図示されないマウス等の入力手段を含み、画面表示手段１０７の画面上において監視機器を直接選択することなども可能である。

次に、上記構成の監視システムにおける画像処理装置の動作について説明する。

はじめに、図６は、画面合成手段１０６で生成される合成画像の画面構成を模式的に示す図である。図６に示す合成画像は、機器切替手段１０５で選択した監視カメラ１０１からの監視映像の表示領域６０１の外周部に、機器状況表示領域６０２が確保される。機器状況表示領域６０２には、監視映像を出力した監視カメラの周囲に設置されているその他の監視機器の相対的な位置情報や動作状況が表示される。機器状況表示領域６０２は、監視映像表示領域６０１の外周部に、監視映像が見難くならない程度の細い幅で確保される。画面合成手段１０６は、選択した監視カメラ１０１の周囲に設置されている監視機器の種類と異常検知状態を表現するアイコンを、選択した監視カメラ１０１に対する他の監視機器の方位と対応させた配置で表示させることにより、相対的位置情報及び動作状況を機器状況表示領域６０２に表示させる。

図７は、本発明の実施の形態１における画像処理装置の画面合成処理の手順を示すフローチャートである。機器切替手段１０５から映像データおよび機器ＩＤが入力されると（ステップＳ７００）、画面合成手段１０６の処理が開始する。画面合成手段１０６は、機器情報記録手段１０３から入力された機器ＩＤに該当する監視カメラの機器情報を取得する（ステップＳ７０１）。次に、画面合成手段１０６は、機器情報記録手段１０３に記録されたすべての記録情報から、任意の１台分の機器情報を取得（ステップＳ７０２）する。

すべての機器に関して処理が完了しており新しい機器情報が取得できない場合には（ステップＳ７０３のＹＥＳ）、画面合成処理を終了する（ステップＳ７０８）。一方、未処理の機器がある場合には（ステップＳ７０３のＮＯ）、取得した機器ＩＤと最初に入力された機器ＩＤを比較する。

機器ＩＤが同一の場合、選択した監視機器の機器情報が取得されたと判断されるので（ステップＳ７０４のＹＥＳ）、ステップＳ７０２の処理に戻り、次の機器について処理を行う。２つの機器ＩＤが異なる場合には（ステップＳ７０４のＮＯ）、異なる機器ＩＤを持つ監視機器（以下、周囲機器と称する）の設置位置情報を用いて、最初に入力した機器ＩＤに該当する監視カメラ（以下、入力カメラと称する）に対する周囲機器の設置角度θを、入力カメラに対する相対的な位置関係を示す相対的位置情報として算出する（ステップＳ７０５）。さらに、角度θおよび入力カメラの撮影方向から、入力カメラの撮影方向に対する周囲機器の設置角度φを算出する（ステップＳ７０６）。

図８は、入力カメラの撮影方向（基準方向）に対する周囲機器の設置方向（以下、設置角度と称する）の計算方法（ステップＳ７０５およびステップＳ７０６）を説明するための図である。図において、座標（ＩＸ，ＩＹ）８０１は、監視領域に設置された座標系上の入力カメラの位置座標であり、座標（ＥＸ，ＥＹ）８０２は、監視領域に設置された座標系上の周囲機器の位置座標である。また、角度θ８０３は、入力カメラの位置を基準とした周囲機器の設置角度であり、方向δ８０４は、入力カメラの撮影方向である。さらに、角度φ８０５は、入力カメラの撮影方向に対する周囲機器の設置角度である。

入力カメラの位置を基準とした周囲機器の設置角度θは、以下の数式１により算出される。但し、数式１中のａｔａｎは、逆正接（アークタンジェント）を演算する関数である。
[数１]
θ＝atan((EX-IX)/(EY-IY)) （数式１）
また、入力カメラの撮影方向に対する周囲機器の設置角度φは、以下の数式２により算出される。
[数２]
φ＝θ−δ （数式２）
但し、φが負である場合には、３６０を加算して、φが０から３６０までの範囲となるように補正する。

次に、画面合成手段１０６は、周囲機器の種類と異常検知状態に応じたアイコンを機器状況表示領域６０２上の設置角度φに相当する位置に、機器ＩＤと共に配置する（Ｓ７０７）。図９は、算出された周囲機器の設置角度とアイコンの表示位置との関係を説明するための図である。

画面では、機器状況表示領域９０１内に周囲機器を表すアイコン９０６が表示されている。アイコン９０６が示す周囲機器の設置角度（入力カメラの撮影方向に対する設置角度）は、画面上の中心点９０２を起点とするアイコン９０６の方向９０４が画面真上方向９０３（基準方向）と成す角度９０５と定義する。従って、この角度９０５が上記の方法で算出した設置角度φと一致するようにアイコンが表示される。

監視カメラは斜め上方から映像を撮影するため、撮影方向は、カメラ映像の真上方向と一致し、撮影方向から時計回りに９０度の方向は、カメラ映像の右方向９０７と一致する。つまり、入力カメラに対する周囲機器の設置角度φが０度である場合には、合成画面上の真上方向９０３の位置に周囲機器のアイコンが表示され、また、設置角度φが９０度である場合には、合成画面上の真右方向９０７の位置に周囲機器のアイコンが表示される。このように、設置角度φと合成画面上における表示方向とを一致させてアイコンの合成表示を行うことにより、監視者は、目視している監視映像の撮影方向を基準方向としてどの方位に周囲機器が存在するかを合成画像から直感的に把握することができる。

画面合成手段１０６は、監視機器の種類（監視カメラまたはセンサー）に応じて形状の異なるアイコンを表示し、さらに、異常検知した等の動作状況の変化に応じて、アイコンの表示色を変える、点滅させる等の強調表示を行う。また、アイコンがどの監視機器と対応するかを判別しやすくするために、アイコンの近傍に機器ＩＤを表示する。

図１０は、周囲に複数の監視機器が存在する場合の合成画面の表示例を示す図である。図では、機器情報記録手段１０３が図３に示す機器情報を記録していて、機器ＩＤ１の監視カメラが選択された場合の表示例を示している。図において、角度１００１の方向に表示されているアイコンは機器ＩＤ２のセンサーを、角度１００２の方向に表示されているアイコンは機器ＩＤ３の監視カメラを表す。また、角度１００３の方向に表示されているアイコンは機器ＩＤ４の監視カメラを、角度１００４の方向に表示されているアイコンは機器ＩＤ５のセンサーを表す。

監視者が、機器操作手段１０４を介して機器ＩＤ１の監視カメラを選択すると、機器切替手段１０５は、機器ＩＤ１の監視カメラを入力カメラとして選択し、当該監視カメラの監視映像を画面合成手段１０６へ出力する。図７のフローチャートに示した画面合成処理手順に従って、画像処理装置１００が、入力カメラの撮影方向に対する各周囲機器の設置角度を算出し、画面上にアイコンを合成表示する。例えば、機器ＩＤ２のセンサーの入力カメラの撮影方向に対する設置角度は、２３．６９度と算出されるので、角度１００１が２３．６９度となる機器状況表示領域の位置にセンサーを表すアイコンが合成表示される。また、同様に機器ＩＤ３の設置角度は、４３．１３度と算出されるので、角度１００２が４３．１３度となる機器状況表示領域の位置にカメラを表すアイコンが合成表示される。機器ＩＤ４の監視カメラと機器ＩＤ５のセンサーも同様に合成されるが、機器ＩＤ４の監視カメラは現在、異常検知状態にあるのでアイコンが強調表示される。画面表示手段１０７の画面には、上記の手順で合成処理された画像が表示される。

次に、上記監視システムで行われる具体的な監視動作について説明する。

図１１は、監視機器が異常を検知した際にアイコンが強調表示される状況を説明するための図である。図１１（ａ）に示すような配置で監視機器が設置された監視システムの監視領域内に人物１１０２が侵入した場合を想定する。監視領域内に異常がない場合、監視者は適切な周期で監視カメラを切り替えながら、各箇所の監視を行う。初期状態で監視者がカメラ１１０１を選択している際の画面表示は、図１１（ｂ）に示すような表示となる。

機器ＩＤ４の監視カメラ１１０３が侵入者を検知すると、異常検知情報が機器切替手段１０５へ送出される。更に、画面合成手段１０６は、機器切替手段１０５からの通知を受けて機器ＩＤ４のアイコンを図１１（ｃ）に示すように強調表示する。従って、監視者は、機器ＩＤ４の監視カメラで異常が検知されたことを把握できる。尚、上記の強調表示は、アイコンの点滅表示や音声等の出力を伴う表示などであってもよい。

次に、図１２は、異常を検知した監視カメラに監視映像を切り替える際に合成画面表示が変化する状況を説明するための図である。上述の通り、機器ＩＤ４の監視カメラで異常が検知された際の画面表示は、図１２（ｂ）に示すような表示となっている。

ここで、異常の状況を確認するために監視者が、例えば、アイコンを画面上でマウスクリックしたり、機器操作手段１０４のテンキー５０１で機器ＩＤを入力したりすると、機器切替手段１０５が、選択する監視機器を機器ＩＤ４の監視カメラに切り替えるので、画面表示が図１２（ｃ）に示すような表示に変化する。図に示すように、侵入者を捉えた機器ＩＤ４の監視カメラの映像が表示される。監視カメラの切り替えにより、監視者が目視する方向（即ち、撮影方向）が変化する。撮影方向の変化に応じて、周囲の監視機器との相対的な位置関係が新たに算出され、機器状況表示領域のアイコン表示が更新される。

次に、図１３は、監視カメラの撮影方向を、異常を検知した監視カメラの方向へ移動させる際に、合成画面表示が変化する状況を説明するための図である。上述の通り、機器ＩＤ４の監視カメラで異常が検知された際の画面表示は、図１３（ｂ）に示すような表示となっている。

異常を検知した機器ＩＤ４の監視カメラは画面右側方向にあるので、監視者が機器操作手段１０４の操作レバー５０３を操作するなどして、現在の監視カメラ（機器ＩＤ１のカメラ）の撮影方向を右側へ移動させると、画面表示は図１３（ｃ）に示すような表示に変化する。図に示すように、撮影方向の移動に伴って、機器ＩＤ１の監視カメラで捉えた侵入者の監視映像を表示させることができる。監視カメラの移動により、監視者が目視する方向（即ち、撮影方向）が変化する。撮影方向の変化に応じて、周囲の監視機器との相対的な位置関係が新たに算出され、機器状況表示領域のアイコン表示が更新される。

以上のように、本発明の実施の形態１における監視システムでは、画像処理装置が、選択した監視カメラ１０１から出力される監視映像と算出した相対的位置情報とを合成して表示させる画面合成手段１０６を備えることにより、従来の絶対的な位置関係を示す情報を表示させる場合と比べて、少ない情報量で周囲の監視機器の位置情報を表示することができる為、相対的位置情報の表示領域を小さくし、選択した監視カメラから出力される監視映像の表示領域を大きくすることができる為、大きく表示された監視映像を確認するとともに周囲の監視機器の位置関係を把握することができる。このため、いずれの監視カメラの監視映像を表示中であっても、周囲の監視機器で検知した異常を見逃すことなく把握することができる。

また、監視者は、目視している監視映像の撮影方向に対してどの方位に周囲機器が存在するかを合成画像から直感的に把握することができるので、緊急を要する異常発生時などに監視機器の切り替えが迅速かつ適切に行え、侵入者などの追跡を的確に行うことができる。

（実施の形態２）
次に、相対的位置情報として、入力カメラに対する他の監視機器の設置角度だけでなく、入力カメラと周囲機器との距離の関係を合成表示させることが可能な監視システムについて説明する。監視システムの構成は、実施の形態１のそれと同じであるため、説明を省略する。

次に、上記構成の監視システムにおける画像処理装置の動作について説明する。画面合成処理の手順も、実施の形態１における図７のフローチャートと同じであるが、フローチャートのステップＳ７０６において、入力カメラの位置座標（ＩＸ、ＩＹ）と周囲機器の位置座標（ＥＸ、ＥＹ）から、数式３により距離ｄを算出する点が異なる（ただし、数式３中のｓｑｒｔは平方根を演算する関数であり、＾２は２乗を演算する関数である）。
[数３]
d=sqrt((IX-EX)^2 + (IY-EY)^2) （数式３）
画面合成手段１０６は、アイコンを表示する際、算出した距離ｄの大きさに応じて、アイコンの大きさを拡大あるいは縮小することにより表示形態を変化させる。

図１４は、入力カメラと周囲機器の距離に応じてアイコンの大きさを変化させて合成表示する場合の画面表示例を示す図である。図では、機器ＩＤ１の監視カメラから出力される監視映像を表示している。監視機器のアイコンの大きさは、入力カメラとの距離ｄに反比例するように表示されるので、機器ＩＤ２のセンサーを示すアイコンの大きさ１２０１は、距離ｄが短い機器ＩＤ５のセンサーに比較して小さく表示される。これにより、監視者は、周囲に存在する監視機器との距離の関係についても監視映像を見ながら直感的に把握することができる。尚、表示させるアイコンは、複数種類の大きさのアイコンを予め準備しておき、距離ｄに応じて選択するようにしてもよいし、合成表示の都度、距離ｄに対応する大きさのアイコンを生成するようにしてもよい。

上記では、入力カメラと周囲機器との距離ｄに応じてアイコンの大きさを変化させたが、アイコンの表示位置を変化させることで入力カメラと周囲機器との距離の関係を合成表示させることも可能である。

図１５は、入力カメラと周囲機器との距離に応じてアイコンの表示位置を変化させて合成表示する場合の画面表示例を示す図である。図では、機器ＩＤ１の監視カメラの監視映像を表示している。監視機器のアイコンの表示位置は、入力カメラとの距離ｄが近いほど監視映像表示領域の外周縁に近付けて表示されるので、機器ＩＤ２のセンサーを示すアイコンの外周縁からの距離１３０１は、距離ｄが短い機器ＩＤ５のセンサーに比較して大きくなる。これにより、監視者は、周囲に存在する監視機器との距離の関係についても監視映像を見ながら直感的に把握することができる。

以上のように、本発明の実施の形態２における監視システムでは、入力カメラと周囲機器との距離（相対的位置情報）を、監視者が監視映像を見ながら直感的に把握できる。したがって、異常発生を検知した監視機器が遠くに存在する場合はすぐに監視カメラの切り替えを行い、近くに存在する場合は切り替えをすぐに行わずにしばらくそのままで侵入者の動きを見守るなど、緊急を要する異常発生時においても監視機器の切り替えが更に適切に行え、侵入者などの追跡を的確に行うことができる。

（実施の形態３）
次に、機器操作手段１０４で、映像を出力しないセンサーを選択する場合について説明する。

図１６は、本発明の実施の形態３における監視システムの構成を示すブロック図である。実施の形態１の監視システムと比較して、機器切替手段１０５とセンサー１０２が接続する点が異なる。この構成により、機器切替手段１０５からセンサー１０２に対して操作コマンドが出力可能であり、またセンサー１０２からは設定画面情報が出力可能となる。その他の構成は実施の形態１と同様であるので、説明を省略する。機器切替手段１０５でセンサーが選択されると、センサーに関する設定を行うための設定画面が、機器切替手段１０５を介して画面合成手段１０６へ出力される。

次に、上記構成の監視システムにおける画像処理装置の動作について説明する。図１７は、センサー１０２から出力されるセンサー設定画面構成を概念的に示す図である。図に示すように、設定画面を用いて、センサーが異常を検知した際に、異常の度合いを表示したり、異常状態を解除したり、実際に異常通知を行う異常度合いを設定することができる。設定画面は、カーソル選択式のメニューで構成されており、機器操作手段１０４などを操作して入力する。

図１８は、機器情報記録手段１０３に記録される機器情報のデータ構成を概念的に示す図である。監視カメラの場合、角度欄には撮影方向が記録されるが、センサーの場合には、センサーが設置されている通路において人物がよく移動する方向（動線方向）が記録される。

図１９は、監視領域の通路における動線方向について説明するための図である。例えば、図では通路における動線方向を示す矢印１９０１が、機器ＩＤ２のセンサー１９０２付近で真上方向（０°）、機器ＩＤ５のセンサー１９０３付近で左方向（２７０°）となっている。つまり、画面上側と左下の通路から、中央の通路の右側へ人物の流れがあることを示している。機器ＩＤ２のセンサー１９０２及び機器ＩＤ５のセンサー１９０３の指向方向も、動線に沿うように設置されることが好ましい。動線方向は、例えば、オフィスなどの場合には出社時間と退社時間で逆方向になるなど、時間や日時により変化することもある。このような環境では、タイマーを用いて機器情報記録手段１０３の動線方向情報を更新すればよい。

次に、上記監視システムで行われる具体的なセンサー設定動作について説明する。

機器切替手段１０５にセンサーの機器ＩＤが入力されると、機器切替手段１０５は、当該機器ＩＤのセンサーの設定画面と機器ＩＤを画面合成手段１０６に出力する。また、機器操作手段１０４により、カーソルの移動命令や選択命令が入力されると、その命令を設定画面表示中のセンサーに出力する。

画面合成手段１０６は、入力された機器ＩＤがセンサーのＩＤであっても、実施の形態１の図７のフローチャートに示す画面合成処理手順に従って、周囲機器のアイコンを合成する。実施の形態１では、画面合成処理手順のステップＳ７０６において、入力カメラの撮影方向を用いて周囲機器のアイコンの表示位置を決定したが、本実施の形態では、選択した監視機器がセンサーの場合には、撮影方向ではなく機器情報記録手段１０３の角度欄に設定されている動線方向情報を用いてアイコンの表示位置が算出される。

機器情報記録手段１０３の角度欄には、センサーが設定されている通路において、人物が多く通る方向（動線方向）が記録されているので、センサーの設定された通路の動線方向に対する周囲機器の方向が分かるように、機器状況表示領域が合成される。図２０は、センサー１が選択された場合の合成画面の表示例を示す図である。センサー１は監視映像を出力しないため、映像表示領域にはセンサーの設定画面が表示される。

以上のように、本発明の実施の形態３における監視システムでは、センサー設定時においても、周囲機器の動作状況が機器状況表示領域に合成表示されることにより、センサー設定中にその他の監視機器で異常を検知してもそれを見逃すことがなく、さらに、すぐに異常の箇所を把握して迅速な対応を行うことができる。

ところで、センサー設定画面では監視映像が表示されず、目視による監視が行えない状態となるので、設定を行わない限りは設定画面表示に移行しないことが好ましい。従って、本発明の実施の形態における監視システムでは、機器操作手段１０４でセンサーの機器ＩＤが入力されたり、機器切替手段１０５が異常検知情報を検知したりして、選択する監視機器がセンサーに切り替えられる場合でも、当該センサーの最も近くに存在する監視カメラを検索して、選択する監視機器が監視カメラに自動的に切り替えられるように設定することが可能である。

図２１は、センサーが監視機器として選択された場合でも、機器切替手段１０５が近傍の監視カメラを自動的に選択するように設定した際の合成画面表示の変化の状況を説明するための図である。図２１（ａ）に示すような配置で監視機器が設置された監視システムの監視領域内に人物１１０２が侵入した場合を想定する。

例えば、図２１（ｂ）に示すように、機器ＩＤ１の監視カメラからの監視映像の表示中に機器ＩＤ２のセンサーが異常を検知して強調表示されている状態で、監視者が、機器操作手段１０４を用いて機器ＩＤ２のセンサーを選択すると、機器切替手段１０５は機器ＩＤ２の監視機器が選択されたことを検知する。機器切替手段１０５は、選択された監視機器が映像を出力しないセンサーであると識別すると、当該センサーに最も近く、機器ＩＤ２のセンサーの検知領域を撮影可能な監視カメラを機器情報記録手段１０３で検索する。

この場合、機器ＩＤ３の監視カメラが検索され、機器切替手段１０５は、この監視カメラに選択を切り替える。従って、図２１（ｃ）に示すように、機器ＩＤ３の監視カメラからの監視映像が合成表示される。図に示すように、侵入者を捉えた機器ＩＤ４の監視カメラの監視映像が表示される。監視カメラの切り替えにより、周囲の監視機器との相対的な位置関係も変化するので機器状況表示領域のアイコン表示も更新される。尚、機器ＩＤ２のセンサーは引き続き異常検知中であるので、強調表示されている。

以上のように、本発明の実施の形態３における監視システムでは、映像を出力しないセンサーが選択された場合にそのセンサーの検知領域を撮影可能な監視カメラが選択されることにより、センサーが異常検知した場合に、周囲の監視カメラを手動で選択することなく、適切な監視映像を表示させることができる。そのため、緊急を要する異常発生時などにおいても、侵入者を迅速かつ的確に追跡することができる。

（実施の形態４）
次に、監視機器として、携帯用カメラなど移動可能な監視カメラや監視用センサーを用いる場合の監視システムについて説明する。

図２２は、本発明の実施の形態４における監視システムの構成を示すブロック図である。実施の形態１の監視システムと比較して、機器情報記録手段１０３が、移動可能な監視カメラやセンサーに搭載された位置検出手段１７０１と移動方向検出手段１７０２に接続しており、移動可能な監視カメラやセンサーの位置情報や移動方向情報を取得可能である点が異なる。また、画像合成手段１０６が、入力カメラの撮影方向ではなく、移動方向を基準として、周囲機器の相対的位置情報を算出する。

位置検出手段１７０１は、ＧＰＳで構成され、衛星からの電波の受信状態により監視カメラ１０１やセンサー１０２の位置を検出する。また、移動方向検出手段１７０２は、電子コンパスで構成され、センサー１０２や監視カメラ１０１の移動方向を検出する。尚、この場合のセンサー１０２や監視カメラ１０１は、無線通信路を用いて、機器情報記録手段１０３および機器切替手段１０５と接続される。その他の構成は実施の形態１と同様であるので、説明を省略する。また、画像処理装置の画面合成処理も実施の形態１のそれを同様であるので説明を省略する。

次に、上記監視システムで行われる具体的な監視動作について説明する。以下、巡回する監視者が、監視カメラ１０１、センサー１０２、位置検出手段１７０１および移動方向検出手段１７０２を携帯し、監視領域の巡回を行う場合の例を示す。位置情報検出手段１７０１や移動方向検出手段１７０２は、移動中に随時位置情報や移動方向情報を出力し、機器情報記録手段１０３の位置情報や移動方向情報が更新される。移動方向は、機器情報記録手段１０３の機器情報の角度欄に記録される。実施の形態１の監視システムと同様、画像処理装置１００は図７のフローチャートに示す画面合成処理手順で監視映像に周囲機器の相対的位置情報及び動作状況を機器状況表示領域に表示させる。

実施の形態１では、画面合成処理手順のステップＳ７０６において、入力カメラの撮影方向を基準として周囲機器の相対的位置情報を算出したが、本実施の形態では、撮影方向ではなく、機器の移動方向を基準として算出する。また、周囲機器のアイコンの合成表示は、機器を携帯する監視者の移動方向の変化により、随時更新される。図２３は、監視カメラを携帯した監視者が移動する際の合成画面表示の変化の状況を説明するための図である。監視領域内の通路を、監視カメラ２３０１を携帯して巡回中の監視者が図２３（ａ）に示す位置にいる際の合成画面表示は図２３（ｂ）のようになる。その後、監視者が移動して、図２３（ｃ）に示す位置へ移動した際の合成画面表示は図２３（ｄ）のようになる。

以上のように、本発明の実施の形態４における監視システムでは、移動可能な監視カメラ１０１やセンサー１０２についても、監視映像の外周部に他の監視機器の相対的な位置情報や異常検知の有無に関する情報を合成表示できるため、いずれの監視カメラの監視映像を表示中であっても、周囲の監視機器で検知した異常を見逃すことなく把握することができる。また、監視者は、移動方向（目視している方向と一致することが多い）を基準方向としてどの方位に周囲機器が存在するかを合成画像から直感的に把握することができるので、緊急を要する異常発生時などに監視機器の切り替えが迅速かつ適切に行え、侵入者などの追跡を的確に行うことができる。

尚、以上の説明では、相対的位置情報や動作状況を監視映像表示領域の外周部に表示する例を示したが、監視映像の表示領域の側部等に表示してもよく、監視映像の表示領域を確保できれば、どのように表示させてもよい。また、相対的位置情報を、アイコンではなく、例えば「ＩＤ１：（基準方向に対して）４５度の方向」のように、文字で表示させてもよい。

本発明は、一の監視機器から出力される監視映像と算出した相対的位置情報とを合成して表示させる表示制御手段を備えることにより、従来の絶対的な位置関係を示す情報を表示させる場合と比べて、少ない情報量で他の監視機器の位置情報を表示することができる為、相対的位置情報の表示領域を小さくし、一の監視機器から出力される監視映像の表示領域を大きくすることができる為、大きく表示された監視映像を確認するとともに他の監視機器の位置関係を把握することができる効果を有し、複数の監視機器から出力される監視映像の処理を行う画像処理装置等に有用である。

本発明の実施の形態１における監視システムの構成を示すブロック図監視領域内における監視機器の設置例を示す図機器情報記録手段に記録される機器情報のデータ構成を概念的に示す図監視カメラの撮影方向について説明するための図機器操作手段の外観を示す図画面合成手段で生成される合成画像の画面構成を模式的に示す図本発明の実施の形態１における画像処理装置の画面合成処理の手順を示すフローチャート入力カメラの撮影方向に対する周囲機器の設置角度の計算方法を説明するための図算出された周囲機器の設置角度とアイコンの表示位置との関係を説明するための図周囲に複数の監視機器が存在する場合の合成画面の表示例を示す図監視機器が異常を検知した際にアイコンが強調表示される状況を説明するための図異常を検知した監視カメラに監視映像を切り替える際に合成画面表示が変化する状況を説明するための図監視カメラの撮影方向を、異常を検知した監視カメラの方向へ移動させる際に、合成画面表示が変化する状況を説明するための図本発明の実施の形態２における入力カメラと周囲機器の距離に応じてアイコンの大きさを変化させて合成表示する場合の画面表示例を示す図本発明の実施の形態２における入力カメラと周囲機器との距離に応じてアイコンの表示位置を変化させて合成表示する場合の画面表示例を示す図本発明の実施の形態３における監視システムの構成を示すブロック図本発明の実施の形態３におけるセンサーから出力されるセンサー設定画面構成を概念的に示す図本発明の実施の形態３における機器情報記録手段に記録される機器情報のデータ構成を概念的に示す図本発明の実施の形態３における監視領域の通路における動線方向について説明するための図本発明の実施の形態３においてセンサーが選択された場合の合成画面の表示例を示す図本発明の実施の形態３における合成画面表示の変化の状況を説明するための図本発明の実施の形態４における監視システムの構成を示すブロック図本発明の実施の形態４において監視カメラを携帯した監視者が移動する際の合成画面表示の変化の状況を説明するための図

符号の説明

１０１監視カメラ
１０２監視用センサー
１０３機器情報記録手段
１０４機器操作手段
１０５機器切替手段
１０６画面合成手段
１０７画面表示手段
５０１テンキー
５０２機器ＩＤ表示部
５０３操作レバー
６０１監視映像表示領域
６０２機器状況表示領域
１７０１位置検知手段
１７０２移動方向検知手段

Claims

複数の監視機器から出力される監視映像の処理を行う画像処理装置であって、
各監視機器の設置位置を示す機器情報を参照して、一の監視機器に対する他の監視機器の相対的な位置関係を示す相対的位置情報を各監視機器毎にそれぞれ算出する相対的位置情報算出手段と、
前記複数の監視機器のうちから選択した一の監視機器から出力される監視映像と、選択した一の監視機器に対する他の監視機器の相対的位置情報とを合成して表示させる表示制御手段と、
を備える画像処理装置。
前記表示制御手段は、前記他の監視機器の動作状況を表示させる請求項１記載の画像処理装置。
前記相対的位置情報算出手段は、選択した一の監視機器の撮影方向を基準方向として、前記他の監視機器の相対的位置情報を算出する請求項１記載の画像処理装置。
前記相対的位置情報算出手段は、選択した一の監視機器が移動可能な監視機器の場合、前記監視機器の移動方向を基準方向として、前記他の監視機器の相対的位置情報を算出する請求項１記載の画像処理装置。
前記表示制御手段は、前記監視映像の表示領域の外周に、前記他の監視機器を示す画像を、選択した一の監視機器に対する前記他の監視機器の方位と対応させた配置で表示させることにより、前記相対的位置情報を表示させる請求項１記載の画像処理装置。
前記表示制御手段は、選択した一の監視機器と前記他の監視機器との距離に応じた表示形態で前記相対的位置情報を表示させる請求項１記載の画像処理装置。
前記相対的位置情報算出手段は、前記基準方向の変化に応じて前記相対的位置情報を算出する請求項３又は４記載の画像処理装置。
前記表示制御手段は、前記他の監視機器の動作状況の変化に応じて前記相対的位置情報の表示を更新させる請求項２記載の画像処理装置。
前記表示制御手段は、動作状況が変化した前記他の監視機器の前記相対的位置情報を強調表示させる請求項８記載の画像処理装置。
前記複数の監視機器から前記一の監視機器を選択して操作するための指示を受け付ける受付手段を備える請求項１記載の画像処理装置。
前記監視機器は、少なくとも映像出力センサ及び非映像出力センサを含み、
前記受付手段により非映像出力センサを選択するための指示を受け付けた場合、
前記相対的位置情報算出手段は、選択された非映像出力センサの検知領域における動線方向を基準方向として、前記他の監視機器の相対的位置情報を算出し、
前記表示制御手段は、前記非映像出力センサの検知領域を撮影可能な映像出力センサの監視映像を表示させる請求項１０記載の画像処理装置。