JP2009017179A - 画像処理装置 - Google Patents

Abstract

【課題】画像を処理する画像処理装置で、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、領域などの情報の設定に要する作業の負担を低減する。
【解決手段】画像処理装置を構成する監視装置１１〜１３では、表示手段が撮像装置による撮像時の座標系である第１の座標系の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系の画像へ変換された当該画像を表示し、受付手段が表示された画像に関する設定情報をユーザから受け付け、座標系変換手段が受け付けられた設定情報を第２の座標系の情報から撮像装置の配置によらない基準となる平面上に設けられた第３の座標系の情報へ変換する。
【選択図】 図２

Description

本発明は、撮像装置により撮像される画像に対して領域などの情報を設定する画像処理装置に関し、特に、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、領域などの情報の設定に要する作業の負担を低減した画像処理装置に関する。

例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって監視領域を撮像した画像（入力画像）を画像処理機能によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置が、従来より広く用いられている。

このような入力画像中の所定の物体を自動的に検出する方法の一例として、差分法と呼ばれる方法が従来より使用されている。
図１２を参照して、差分法の基本的な処理の様子を説明する。
図１２には、差分法による物体検出方法の概略の一例を示してある。
まず、入力画像３０１と、予め用意された背景画像３０２がある。差分器３０３は、入力画像３０１と背景画像３０２との画素毎の差分を計算し、差分画像３０４を算出する。ここで、入力画像３０１に映る人型の物体（検出すべき物体）３１１は、差分画像３０４中で、差分が生じた領域３１２として検出される。次に、二値化器３０５は、差分画像３０４の各画素の値と所定のしきい値（例えば、１画素８ビットを仮定して、しきい値２０）とを比較し、しきい値以上の画素の値を“２５５”とする一方でしきい値未満の画素の値を“０”とする変換を行う。これにより、二値化画像３０６が得られる。ここで、差分画像３０４で差分が生じた領域３１２は、二値化された画素（検出された物体）３１３として検出され、更にラベリングなどの処理によって、二値化された画素のかたまりを番号付けすることで、検出された物体が存在する領域３１４が得られる。

このような監視装置では、撮像された入力画像中で、いずれの領域に存在する物体を検出すべき物体とするかという情報（領域情報）を予め設定する必要がある。従来の監視装置では、このような領域設定を行うために、入力画像を表示装置に表示し、例えば人がマウス等の指示装置を用いて、多角形の頂点を表示画面中で設定することで所望の領域を指定する。

図１３（ａ）及び図１３（ｂ）を参照して、このような領域設定の様子を説明する。
図１３（ａ）には、撮像装置による入力画像３２１の一例を示してあり、建物３２２が映っている。
図１３（ｂ）には、図１３（ａ）に示される入力画像３２１において指定されて設定された多角形の監視領域３３１を示してある。
例えば、入力画像３２１中の建物３２２に近づく物体を検出する場合には、図１３（ｂ）に示されるように、入力画像３２１に対して所定の指示装置を用いて、例えば多角形３３１のような領域（図１３（ｂ）中の点線部分）を指定する。このようにして指定された多角形３３１の中に、上述した差分法などのような方法で物体が検出されるか否かを判断することにより、建物３３２に近づく物体を検出することができる。

また、上述した監視装置を撮像装置の位置や角度などが異なる条件で複数台配置することにより、監視精度の向上や監視範囲の拡大などを実現する監視方法も、従来より用いられている。
図１及び図５（ａ）〜図５（ｃ）を参照して、このような監視方法を説明する。なお、図１及び図５（ａ）〜図５（ｃ）は、後述する本発明に係る実施例で参照されるものであるが、ここでは、本発明を不要に限定する意図は無い。
図１には、監視領域を地面に垂直な方向から見下ろした見取り図１０１の一例が示されている。
本例では、３台の監視装置を用いて、多角形の監視領域１１４に侵入する物体を監視することを想定する。図１に示されるように配置された撮像装置１１１、撮像装置１１２、撮像装置１１３を用いて領域を撮像する。

図５（ａ）、図５（ｂ）、図５（ｃ）には、それぞれ、撮像装置１１１、撮像装置１１２、撮像装置１１３により撮像される映像（入力画像）１２１、１３１、１４１の一例が示されている。
このような監視方法では、それぞれの映像（入力画像）について、領域情報を多角形１２２、１３２、１４２のように指定して、差分法によって指定領域に侵入する物体の自動検出をそれぞれの監視装置で行う。それぞれの監視装置による検出結果を見ることで、１台の監視装置で監視するよりも、全体的な監視領域の死角を少なくして、広範囲での監視を実現することができる。

特開２００６−２１１６９６号公報

しかしながら、上述の方法により所望の領域を指定する作業は、当然に撮像装置を配置する場所や角度などによって映像上の領域の見え方が異なってくるため、使用する監視装置を追加したり或いは監視装置の場所や角度などを変更したりする毎に、新たに領域を指定しなければならないという問題があった。
領域の設定作業は、例えば、撮像装置から離れている場所（例えば、画像の上部）ほど撮像装置に近い場所（例えば、画像の下部）と比較して建物等の見かけの大きさが小さくなるため、撮像装置から離れている場所への設定作業は細かく困難な作業となるなどのように、熟練性と時間を要する作業である。このような作業が、監視装置（撮像装置）の数を増やすことや撮像装置の位置などを変更することに伴って必要となることは、監視装置の利用者にとって大きな負担となっていた。

このように、従来の監視装置や領域設定方法においては、撮像装置により得られる入力画像に対して領域設定が必要となるが、その設定作業はカメラからの距離によって見かけの大きさが変わる画像上で１つ乃至はそれ以上の領域情報を設定しなけれならないという困難な作業である上、複数の監視装置を用いた監視を行う場合には、全ての監視装置について同様な領域情報の設定が必要となり、作業量が大幅に増えるという問題があった。また、撮像装置の場所や角度などを変えるなどのように監視装置の運用方法を変更する場合においても、再度、領域の設定作業を行わなければならないという問題があった。
また、設定する情報としては、領域の情報に限られず、例えば、検出対象とする物体に関する情報などもあり、設定作業の負担が大きかった。

本発明は、このような従来の事情に鑑み為されたもので、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明では、画像を処理する画像処理装置において、次のような構成とした。
すなわち、表示手段が、撮像装置による撮像時の座標系である第１の座標系（カメラ座標系）の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系（シーン座標系）の画像へ変換された当該画像（第２の座標系の画像）を表示する。受付手段が、前記表示手段により表示された画像に関する設定情報をユーザから受け付ける。座標系変換手段が、前記受付手段により受け付けられた設定情報を、第２の座標系の情報から、撮像装置の配置によらない基準となる平面上に設けられた第３の座標系（ワールド座標系）の情報へ変換する。

従って、各撮像装置の配置に応じた画像を見ることができて遠近による見かけ上の大きさの違いが無い第２の座標系の画像を見て、ユーザ（人）により設定情報を入力することにより、ユーザにとって設定情報の設定を感覚的に（例えば、視覚的に）分かり易く容易に行うことができ、また、第２の座標系の設定情報が撮像装置の配置によらない第３の座標系の設定情報へ変換されることにより、配置が異なる撮像装置においても設定情報の共有を可能とすることができる。
これにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。また、撮像装置を追加する場合や、設定情報を追加或いは変更する場合などにおいても、設定情報を効率的に設定することができる。

ここで、画像処理装置の構成としては、種々な構成が用いられてもよく、例えば、複数の撮像装置がそれぞれの配置で設置されるような場合に、各撮像装置毎に異なる処理装置（例えば、監視装置）を設けて、これら複数の処理装置を用いて画像処理装置を構成するようなことができ、或いは、複数の撮像装置を１つの処理装置で管理する構成として、この処理装置を画像処理装置とみなすようなことができる。また、撮像装置やその処理装置（例えば、監視装置）ばかりでなく、処理装置とは別体の記憶装置や、処理装置とは別体の表示装置や、処理装置とは別体のサーバ装置などを画像処理装置に含めて構成するようなこともできる。

また、画像処理装置が複数の装置から構成される場合には、それぞれの装置に任意の機能手段が備えられてもよく、異なる装置の間で情報の受け渡しが必要な場合には当該異なる装置の間でその情報が通信（入出力）される。
なお、画像を撮像する撮像装置としては、例えば、画像処理装置に備えられてもよく、或いは、画像処理装置の外部に備えられて、撮像装置により撮像された画像が画像処理装置に入力されてもよい。

また、画像の処理としては、種々な処理が行われてもよく、一例として、画像に映る所定の対象を検出する処理を行うことができる。また、このような画像処理は、任意の座標系で行われてもよい。一例として、ワールド座標系上で設定情報や撮像装置の配置情報を表示させると、複数の設定情報や複数の撮像装置があるような場合に、これらを人にとって視覚的に一括して把握し易くすることができる。

また、撮像装置の配置としては、例えば、設置される位置や、視点の方向（例えば、設置状態において撮像する角度）がある。
また、位置の情報としては、例えば、緯度や経度などのように絶対的な位置の情報を用いることもでき、或いは、１つの撮像装置などの位置を基準として相対的な位置の情報を用いることもできる。

また、撮像時の座標系である第１の座標系（カメラ座標系）としては、例えば、撮像装置（例えば、カメラ）の視点で見た座標系が用いられる。
また、基準となる平面上に設けられた第２の座標系（シーン座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第２の座標系は、撮像装置の配置に依存して異なり得る。
また、基準となる平面上に設けられた第３の座標系（ワールド座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第３の座標系は、撮像装置の配置に依存せずに一定である。

なお、基準となる平面の座標系（第２の座標系や第３の座標系）は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、一例として、地面を真上から見た当該地面の平面が用いられるが、地面は完全には平らではないことや、必ずしも完全に地面の平面にしなくてもよい場合もあることなどから、実用上で有効な程度で、ずれがあってもよい。
具体例として、第２の座標系は、撮像装置毎に、設置位置を原点として、高さ方向をｚ軸として、初期的な視点方向（或いは、雲台の方向などのように所定の方向）に応じて予め決められた直交するｘ軸及びｙ軸から構成され、また、第３の座標系は、高さ方向をＺ軸として、予め決められた直交するＸ軸及びＹ軸から構成される。

また、第１の座標系（カメラ座標系）と第２の座標系（シーン座標系）との座標変換は、例えば、撮像装置（例えば、カメラ）の設置状況や撮像状況に応じたパラメータを用いて行うことができる。
また、第２の座標系（シーン座標系）と第３の座標系（ワールド座標系）とは、例えば、同一の基準となる平面上に設けられるため、これらの座標変換は、回転や平行移動により行うことができる。具体的には、第２の座標系の原点と第３の座標系の原点との差異（位置の差異）を補正するために平行移動し、第２の座標系の平面上の座標軸（例えば、直交するｘ軸及びｙ軸）と第３の座標系の平面上の座標軸との差異（角度の差異）を補正するために回転する。なお、第２の座標系と第３の座標系とで、基準となる平面が異なっていて平行である（つまり、高さ方向のみ異なる）場合には、高さ方向の移動の処理を加えて、これらの座標変換を行うことができる。
また、必要に応じて、第１の座標系と第３の座標系との間で直接的に座標変換が行われてもよい。

具体的には、画像処理装置では、例えば、設定された基準となる平面の座標系（第２の座標系や第３の座標系）と、設置された撮像装置（例えば、カメラ）の配置や焦点距離などに基づく座標系（第１の座標系）との間で、変換式（数式）などを用いて、直接的に或いは間接的に、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、例えば、ユーザにより画像処理装置に設定されてもよく、或いは、画像処理装置が撮像装置などからの情報に基づいて（自動的に）検出してもよく、或いは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。

また、ユーザにより入力される情報を受け付ける手段としては、例えば、ユーザにより操作されるマウスやキーボードなどの操作部を用いて構成することができる。
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第２の座標系（或いは、他の構成例として、他の座標系）の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。

また、画像を表示する手段としては、例えば、画面に画像を表示出力する表示装置を用いて構成することができる。
また、ユーザから受け付ける設定情報としては、種々な情報が用いられてもよく、例えば、画像を処理する際に使用されるパラメータなどの数値や各種の条件の情報を用いることができる。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第３の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第２の座標系の情報へ変換する。
また、当該画像処理装置では、変換情報設定手段が、前記座標系変換手段により変換された情報（第２の座標系の設定情報）を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する。

従って、第３の座標系の設定情報を取得して、その情報を任意の配置（撮像装置の配置）に対応した第２の座標系の情報へ変換することにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。

ここで、ある撮像装置により撮像された画像に基づいて取得された設定情報を、異なる配置を有する同一又は異なる撮像装置により得られる画像に関して設定する態様としては、その設定情報と同等な設定情報がその画像の処理で使用されるようにする態様が用いられ、例えば、その画像を処理する処理装置（例えば、監視装置）にその設定情報と同等な設定情報が設定されるようにする。

また、ここでは、第３の座標系の設定情報を第２の座標系の設定情報へ変換して設定する場合を示したが、他の構成例として、第３の座標系の設定情報を（例えば、第２の座標系を経由して）第１の座標系の情報へ変換して設定するような態様が用いられてもよい。
通常、第２の座標系の設定情報が設定される場合には、その設定情報を用いて第２の座標系の画像が処理され、また、第１の座標系の設定情報が設定される場合には、その設定情報を用いて第１の座標系の画像が処理される。また、第３の座標系の設定情報を用いて第３の座標系の画像が処理されてもよい。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記画像に関する設定情報として、監視する領域を指定する情報、又は、検出の対象に関する情報、のうちの少なくとも一方が用いられる。
従って、これらの情報を、異なる配置を有する同一又は異なる撮像装置の間で共有することができる。

ここで、監視する領域としては、種々な領域が用いられてもよく、例えば、画像に映る対象を検出する領域を用いることができる。
また、検出の対象としては、例えば、画像に映る所定の物体などを用いることができる。
また、検出の対象に関する情報としては、種々な情報が用いられてもよく、例えば、対象の大きさや幅や高さや長さなどに関する閾値の情報を用いることができる。一例として、対象の大きさ等がその閾値以上である場合（又は、その閾値以下や、ある範囲（範囲を表す閾値）内などでもよい）に、その対象を検出するような処理を行うことができる。
また、画像に関する設定情報としては、これらに限られず、種々なものが用いられてもよい。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、当該コンピュータを各種の手段として機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理（手順）を当該コンピュータに実行させる。

以上説明したように、本発明に係る画像処理装置によると、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。

本発明に係る実施例を図面を参照して説明する。

本発明の第１実施例を説明する。
本例では、少なくとも１台（１台以上）の監視装置を用いて監視を行う監視システムの例を示す。
図１には、本例の監視システムで監視を行う監視領域並びにその周辺の見取り図１０１の一例を示してある。この見取り図１０１は、監視領域を地面に垂直な方向から見下ろしたものである。
具体的には、道路や建物や空き地があり、第１の監視装置に備えられた第１の撮像装置１１１の配置（位置や方向）と、第２の監視装置に備えられた第２の撮像装置１１２の配置と、第３の監視装置に備えられた第３の撮像装置１１３の配置と、建物の付近に設定された多角形の監視領域１１４が示されている。

図２には、本例の監視システムの構成例を示してある。
本例の監視システム１は、３台の監視装置１１、１２、１３（第１の監視装置１１、第２の監視装置１２、第３の監視装置１３）を備えており、これらがネットワーク１４で接続されている。
各監視装置１１、１２、１３は、本例では、監視の対象となる領域を撮像して領域内に進入する物体を自動検出する装置であり、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のプロトコルを使用するネットワーク１４を介してそれぞれ接続され、それぞれの監視装置１１、１２、１３で異なる位置や角度やレンズの焦点距離などによって監視を行っている。各監視装置１１、１２、１３における撮像装置１１１、１１２、１１３は、それぞれ、図１に示されるように配置されている。

図３には、監視装置１１の構成例を示してある。なお、本例では、他の監視装置１２、１３の構成や動作についても、監視装置１１の構成や動作と同様である。
本例の監視装置１１は、例えばカメラを用いて構成された撮像装置２１と、映像入力回路２２と、画像処理プロセッサ２３と、プログラムメモリ２４と、ワークメモリ２５と、例えば直接的に或いはネットワーク１４などを介して間接的に外部の装置と接続される外部Ｉ／Ｆ回路２６と、映像出力回路２７と、例えば表示画面を有する表示装置２８と、例えば人により操作されるキーボードやマウスなどを有する入力装置２９と、入力回路３０と、例えばメモリを用いて構成された記憶装置３１と、データバス３２を備えている。映像入力回路２２と画像処理プロセッサ２３とプログラムメモリ２４とワークメモリ２５と外部Ｉ／Ｆ回路２６と映像出力回路２７と入力回路３０と記憶装置３１は、データバス３２に接続されている。
なお、撮像装置２１の構成としては、例えば、従来より知られる技術として、撮像装置２１の制御のための装置や、各種の外部記録装置等の構成要素を持つものも存在するが、本例では、説明を簡単にするために、それらについては図示や詳しい説明を省略する。

本例の監視装置１１において行われる動作の一例を示す。
撮像装置２１は監視の対象となる領域を撮像する。撮像装置２１により撮像された映像（入力画像）は、映像入力回路２２を介して、ワークメモリ２５に記録される。
画像処理プロセッサ２３は、プログラムメモリ２４に記録されているプログラムに従って、ワークメモリ２５内に記録された入力画像を処理（例えば、物体検出処理）し、その処理結果を映像出力回路２７を介して表示装置２８に表示する。また、画像処理プロセッサ２３は、物体検出処理以外にも、各種の処理を実行する。

また、画像処理プロセッサ２３は、外部Ｉ／Ｆ回路２６から入力される指示又は入力装置２９から入力回路３０を介して入力される指示に基づいて前記プログラムのパラメータを変更や修正しながら、前記入力画像の処理などを行う。ここで、このような指示としては、例えば、入力装置２９又は外部Ｉ／Ｆ回路２６を介して接続された入力機能を持つ外部装置を使ったオペレータ（人）からの指示が用いられる。
記憶装置３１は、監視を所望する領域の情報などの保持や、監視装置１１により出力された監視結果の情報などの保存を行う。なお、領域情報などはワークメモリ２５内にも記録されてもよい。

図４には、画像処理プロセッサ２３により実行されるプログラムの処理のフローの一例を示してある。
なお、図４では、説明を分かり易くするために、処理のステップＳ１〜Ｓ９以外に、ワークメモリ２５（或いは、記憶装置３１など）に記録される背景画像Ｔ１及び領域情報Ｔ２と、表示装置２８と、入力装置２９（或いは、外部Ｉ／Ｆ回路２６を介する監視装置１１の外部からの入力機能でもよい）と、記憶装置３１（或いは、外部Ｉ／Ｆ回路２６を介する監視装置１１の外部にある記憶装置でもよい）を示してある。また、図４において、点線で示す矢印は、データの流れを表している。

まず、画像入力処理ステップでは、撮像装置２１で撮像した映像（画像）を、映像入力回路２２を介してワークメモリ２５へ転送する処理を行う（ステップＳ１）。
次に、設定判定処理ステップでは、入力装置２９からオペレータの設定指示があるか否かを判定し、このような設定指示があった場合には領域設定処理ステップ（ステップＳ９）へ分岐し、このような設定指示がなかった場合には差分処理ステップ（ステップＳ３）へ分岐する（ステップＳ２）。
ここで、入力装置２９からの領域の設定に関する指示は、例えば、領域情報としてオペレータなどが任意の情報を指定することや、或いは、記憶装置３１に予め記録された領域情報を参照することにより実現する。

差分処理ステップでは、画像入力処理ステップ（ステップＳ１）で入力された入力画像（図１２では、入力画像３０１）とワークメモリ２５内に記録されている背景画像Ｔ１（図１２では、背景画像３０２）との画素毎の差分を計算して、差分画像（図１２では、差分画像３０４）を得る（ステップＳ３）。
次に、二値化処理ステップでは、差分画像の各画素の値と所定のしきい値（例えば、１画素８ビットを仮定して、しきい値２０）とを比較し、しきい値以上の画素の値を“２５５”とする一方でしきい値未満の画素の値を“０”とする変換を行う（ステップＳ４）。これにより、二値化画像（図１２では、二値化画像３０６）を得る。

次に、ラベリング処理ステップでは、二値化画像中の画素値“２５５”の画素のかたまりに番号を付け、各かたまり毎を区別して処理できるようにする（ステップＳ５）。
次に、背景更新処理ステップでは、画像入力処理ステップ（ステップＳ１）で得られた入力画像を用いてワークメモリ２５内に記録している背景画像Ｔ１を更新する（ステップＳ６）。
ここで、背景画像の更新としては、例えば、背景画像Ｔ１と入力画像の画素毎の移動平均などの方法を用いて新しい背景画像Ｔ１を作成することができ、これにより、監視環境の天候変化などによる照度変化に追従して、背景画像Ｔ１を常に最新の状態に保つことができる。

次に、領域判定処理ステップでは、ワークメモリ２５内に記録された領域情報Ｔ２に基づいて、例えば、指定された領域内に二値化画像のラベリング処理したかたまりが存在するか否かを判定して、存在する場合には、当該かたまりを侵入物体であると判断する（ステップＳ７）。
次に、処理結果表示ステップでは、領域判定処理ステップ（ステップＳ７）の判定結果を、例えば表示装置２８の画面に表示する（ステップＳ８）。この処理結果表示ステップの処理が終了すると、画像入力処理ステップ（ステップＳ１）へ分岐する。

一方、上記した設定判定処理ステップ（ステップＳ２）において入力装置２９によってオペレータなどからの設定指示があったと判定された場合に分岐される領域設定処理ステップでは、領域情報Ｔ２の設定を行う（ステップＳ９）。
なお、本例では、領域情報Ｔ２の設定について示したが、例えば、物体検出に関する他の情報が設定されてもよい。

ここで、図５（ａ）〜図５（ｆ）を参照して、領域設定処理の流れを説明する。
図５（ａ）には、画像入力処理ステップ（ステップＳ１）において第１の撮像装置１１１（図３では、撮像装置２１）により撮像された入力画像１２１の一例を示してある。また、多角形の監視領域（点線）１２２の一例を示してある。
図５（ｂ）には、画像入力処理ステップ（ステップＳ１）において第２の撮像装置１１２（図３では、撮像装置２１）により撮像された入力画像１３１の一例を示してある。また、多角形の監視領域（点線）１３２の一例を示してある。
図５（ｃ）には、画像入力処理ステップ（ステップＳ１）において第３の撮像装置１１３（図３では、撮像装置２１）により撮像された入力画像１４１の一例を示してある。また、多角形の監視領域（点線）１４２の一例を示してある。

図５（ｄ）には、第１の監視装置について、第１の撮像装置１１１の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１２１を撮像装置１１１が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１５１の一例を示してある。また、監視領域（点線）１５２の一例を示してある。
図５（ｅ）には、第２の監視装置について、第２の撮像装置１１２の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１３１を撮像装置１１２が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１６１の一例を示してある。
図５（ｆ）には、第３の監視装置について、第３の撮像装置１１３の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１４１を撮像装置１１３が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１７１の一例を示してある。

本例では、領域設定処理は、最初に、撮像装置１１１、１１２、１１３の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１２１、１３１、１４１を、撮像装置１１１、１１２、１１３の位置や撮像角度などに依存するシーン座標系で表現されたシーン画像１５１、１６１、１７１へ変換し、そして、シーン座標系上に表現されたシーン画像（例えば、シーン画像１５１）上で所望する監視領域１５２を設定することで実現する。この場合、各撮像装置１１１、１１２、１１３毎に、その位置や撮像角度に応じて見える画像を用いて、監視領域を設定することができるため、人にとって監視領域の設定が感覚的に分かり易く容易となり、また、遠近による見かけ上の大きさの違いも無く設定を行い易い。なお、この場合、監視領域の設定作業は、例えば、表示装置２８の画面に表示されたシーン座標系のシーン画像を人が見ながら行われる。
また、この場合、シーン座標系で設定された領域情報は、ワールド座標系の情報へ変換されて記憶される。

他の例として、領域設定処理は、最初に、撮像装置１１１、１１２、１１３の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１２１、１３１、１４１を、撮像装置１１１、１１２、１１３の位置や撮像角度などに依存せずに常に座標軸が一定となるワールド座標系で表現できるシーン画像（シーン画像１５１、１６１、１７１に対応するもの）へ変換し、そして、ワールド座標系上に表現したシーン画像（例えば、シーン画像１５１に対応するもの）上で所望する監視領域（監視領域１５２に対応するもの）を設定することで実現する。なお、この場合、監視領域の設定作業は、例えば、表示装置２８の画面に表示されたワールド座標系のシーン画像を人が見ながら行われる。

ここで、どのような条件で撮像された入力画像についても、シーン座標系又はワールド座標系のシーン画像へ変換すれば全て同一のワールド座標系で表現することが可能であるため、シーン座標系上又はワールド座標系上で設定した監視領域（例えば、監視領域１５２に対応するもの）を、同じ領域を一部分でも撮像する全ての監視装置に対して適用することができる利点がある。

次に、カメラ座標系の座標とワールド座標系の座標との間の変換処理方法の一例を示す。本例では、この変換処理は、例えば、画像処理プロセッサ２３により行われる。
なお、本例では、カメラ座標系からワールド座標系への直接的な座標変換は場合によっては計算が複雑となることや、シーン座標系が領域などの設定に役立つことなどから、最初に、ワールド座標系を回転や並行移動した座標系であって撮像装置２１の鉛直下向きベクトルと地面との交点を原点とするシーン座標系へカメラ座標系から変換し、その後に、シーン座標系からワールド座標系へ変換する処理を示す。
つまり、本例では、カメラ座標系とシーン座標系との変換や、シーン座標系とワールド座標系との変換を行う。

具体的には、本例では、撮像装置２１により撮像されたカメラ座標系で表現される入力画像１２１から、地面に対して平行な平面に投影したワールド座標系で表現することが可能なシーン画像（シーン画像１５１に対応するもの）への変換処理について説明する。なお、この変換の逆変換を行うことで、ワールド座標系の座標からカメラ座標系の座標へ変換することもできる。
本例では、カメラ座標系の入力画像１２１からシーン画像１５１への変換はカメラ座標系からシーン座標系への座標変換により行う。また、シーン座標系はワールド座標系を単純に回転や平行移動した直交座標系であるため、シーン画像１５１は、その回転や平行移動の逆変換を行うことにより、ワールド座標系上で表現することができる。

図６（ａ）には、地面に対して水平な方向で（真横から）撮像装置２１を見た場合の様子の一例を示してある。
図６（ｂ）には、地面に対して垂直な方向で（真上から）撮像装置２１を見た場合の様子の一例を示してある。
図６（ａ）及び図６（ｂ）は、シーン座標系で表現されている。本例では、シーン座標系は、原点Ｏを撮像装置２１の鉛直下向き（ｚ方向）で基準となる平面（地面）と交差する点として、地面の平面上にｘ軸及びｙ軸を取り、高さ方向にｚ軸を取る直交座標系である。また、撮像装置２１が向いている視線方向（光軸方向）にｒ軸を設けてある。

本例では、撮像装置２１の設置の高さをＨで表しており、撮像装置２１の俯角をθ_Ｔで表しており、撮像装置２１の縦方向の視野角をθ_Ｖで表している。
また、撮像装置２１の横方向の視野角をθ_Ｈで表している。なお、撮像装置２１の縦方向の視野角θ_Ｖは、撮像装置２１の横方向の視野角θ_Ｈから撮像素子のアスペクト比（縦横比）によって算出することができる。
また、撮像装置２１により撮像される画像の視野の中で、撮像装置２１から最も近い所までの水平距離をＬ_Ｎで表しており、撮像装置２１から最も遠い所までの水平距離をＬ_Ｆで表している。

まず、例えば、撮像装置２１の位置や方向を変更するための電動台座（カメラ雲台）の現在の方向（例えば、雲台の正面を原点として、パン角θ_Ｐ、チルト角θ_Ｔ）を取得し、撮像装置２１の撮像レンズの現在の焦点距離ｆを取得する。これらの取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸が無いとする。
撮像装置２１の横方向の視野角である画角θ_Ｈは（式１）により求められる。

ここで、ｗは、撮像装置２１の撮像素子である例えばＣＣＤ素子の横幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θ_Ｈ＝３３．４°となる。すなわち、撮像装置２１の視野は横方向に３３．４°の範囲を有する。

通常、撮像装置２１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θ_Ｔに応じて、撮像装置２１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置２１から視線方向Ｌ_Ｎの範囲に現れる。それ以上の所定の領域（距離Ｌ_Ｎと距離Ｌ_Ｆとの間の領域）は、撮像装置２１の視野に入る。
これらの距離Ｌ_Ｎ、Ｌ_Ｆについて説明する。
撮像装置２１の縦方向の視野角である画角θ_Ｖは（式２）により求められる。

ここで、ｈは、撮像装置２１の撮像素子である例えばＣＣＤ素子の縦幅であり、一例として、１／３インチの撮像素子を使用した場合には、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θ_Ｖ＝２５．４°となる。すなわち、撮像装置２１の視野は、縦方向に２５．４°の範囲を有する。
距離Ｌ_Ｎ及び距離Ｌ_Ｆは、（式３）により求められる。

この結果、撮像装置２１により撮像することができる範囲は、図６（ａ）に示される撮像装置２１と距離Ｌ_Ｎの点と距離Ｌ_Ｆの点で囲まれる三角形の領域の内部と、図６（ｂ）に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθ_Ｔ＝３０°とし、撮像装置２１の設置高をＨ＝５．０ｍとした場合には、Ｌ_Ｎ＝５．４２ｍ、Ｌ_Ｆ＝１６．１ｍとなる。

上述のように、撮像装置２１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、視野範囲に含まれるカメラ座標系の画像上の各位置（ｘ’、ｙ’）をシーン座標系の（ｘ、ｙ）座標へ変換することができる。
例えば、画像上（ｘ’、ｙ’）で表される画素が図６（ａ）における点Ｃの位置を撮像したものである場合、入力画像１２１の縦方向の画素数を４８０画素とすると、点Ｃを撮像する俯角θ_ｙは（式４）により表される。

また、カメラ座標における画素（ｘ’、ｙ’）が、例えば、図６（ｂ）における点Ｄの位置（空間的な位置は図６（ａ）における点Ｃの位置と同じもの）を撮像したものである場合、入力画像１２１の横方向の画素数を６４０とすると、点Ｄを撮像する回転角θ_ｘは（式５）により表される。

ここで、θ_Ｐは、撮像装置２１のパン角であり、本例では、ｘ軸と撮像装置２１の光軸とのなす角を示す。従って、カメラ座標系の入力画像１２１上の（ｘ’、ｙ’）で表される任意の位置の画素は、シーン座標系のシーン画像１５１の座標（ｘ、ｙ）として、（式６）により求められる。

すなわち、シーン画像１５１は、入力画像１２１を（式１）〜（式６）に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置２１のパンやチルトやズームにより変化し得る。また、シーン座標系に変換した画像は、（式４）〜（式６）で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
ここでは、第１の撮像装置１１１（撮像装置２１）について説明したが、他の撮像装置１１２、１１３により撮影されたカメラ座標における入力画像１３１、１４１についても、（式１）〜（式６）と同様な座標変換を行うことで、シーン座標系上で表現されるシーン画像１６１、１７１へ変換することができる。

ここで、上述した座標変換法で得られるシーン座標系は、各撮像装置１１１、１１２、１１３の位置からの鉛直方向と地面との交点に原点を取る座標系であるため、それぞれのシーン画像１５１、１６１、１７１の座標系は異なる。
このため、全ての監視装置１１、１２、１３（全ての撮像装置１１１、１１２、１１３）から得られたシーン画像１５１、１６１、１７１を統一された座標系で見るためには、各シーン座標系から唯一の座標系であるワールド座標系への座標変換が必要となる。

例えば、ワールド座標系が、その原点Ｏ_ｗに対して、地面の平面上から鉛直上向きにｚ_ｗ軸を取り、地面の平面上にｘ_ｗ軸及びｙ_ｗ軸を取る直交座標系であるとすると、各シーン座標系が地面の平面上にｘ軸及びｙ軸を取って各撮像装置の鉛直方向にｚ軸を取る直交座標系であることから、各シーン座標系はワールド座標系を回転や平行移動した座標系となる。このため、各シーン座標系の座標（ｘ、ｙ、ｚ）は、ワールド座標系上におけるシーン座標系の原点Ｏ’の位置ベクトルをＯ_ｗＯ’＝（ｑ_ｘ、ｑ_ｙ）^Ｔとし、ワールド座標系とシーン座標系との回転角をθとすると、ワールド座標系の座標（ｘ_ｗ、ｙ_ｗ、ｚ_ｗ）としては（式７）により表現される。

（式７）により、図７（ａ）に示されるように、シーン画像１５１をワールド座標系上で表現することができる。
図７（ａ）には、シーン画像１５１をワールド座標系上で表現したもの（シーン画像１８１）と、多角形の監視領域（点線）１８２（図５（ｄ）における監視領域１５２に対応するもの）を示してある。

特に、このようにして得られるワールド座標系上のシーン画像１８１（及びシーン画像系上のシーン画像１５１）は、監視領域の地図と相似の関係にあり、例えば、道路などは平行な線として表示される。また、画像中に写る植木の大きさや、標識の大きさなどは、実際の大きさ（例えば、メートル法による単位）に比例したものとなる。
例えば、図１３（ｂ）に示されるようなカメラ座標系の画像を用いた従来の領域指定方法では、建物３２２から一定距離の領域を指定するような場合に、画像上の位置によって見かけの大きさが異なってしまう問題があったが、本例のように、（各撮像装置毎に個別のシーン座標系における、又は、全ての撮像装置に共通なワールド座標系における）シーン画像を用いて領域を指定する場合には、画像上の位置によって見かけの大きさが異なる問題は発生しない。

次に、以上で述べた各手法によって、シーン座標（或いは、ワールド座標でもよい）を用いて監視領域を設定する方法及び監視装置間で監視領域の情報を共有する方法について説明する。
監視領域の設定や共有を行うために、まず、各監視装置１１、１２、１３において撮像した入力画像１２１、１３１、１４１を、（式１）〜（式６）によって、それぞれ、シーン座標系のシーン画像１５１、１６１、１７１へ変換する。次に、例えば１つの監視装置１１において、入力装置２９を用いて、そのシーン座標系のシーン画像１５１上で監視を所望する領域を例えば多角形１５２で設定する。そして、（式７）により、各シーン座標系のシーン画像１５１、１６１、１７１及び設定された監視領域１５２の座標系をワールド座標系へ変換する。

図７（ｂ）には、ワールド座標系上で表現した各シーン画像１９１、１９２、１９３（それぞれシーン画像１５１、１６１、１７１に対応するもの）及び監視領域（点線）１９４（監視領域１５２に対応するもの）の一例を示してある。
監視装置１１では、ワールド座標系で表現される監視領域１９４の情報を、例えば記憶装置３１に保存するなどして、他の監視装置１２、１３と共有できるように保持しておく。そして、監視装置１１は、当該監視装置１１上で定めた監視領域１９４のワールド座標の情報を、必要に応じて、他の監視装置１２、１３に対してネットワーク１４を介して伝送する。

なお、本例では、例えば外部Ｉ／Ｆ回路２６により接続するネットワーク１４を介して監視領域１９４のワールド座標の情報を伝送する場合を示したが、他の構成例として、外部Ｉ／Ｆ回路２６などに接続されるＣＤ−ＲＡＭなどの可搬な媒体を利用して伝送を行うことも可能である。

次に、例えば、各監視装置１２、１３に対して、入力装置２９などを用いて、受信された監視領域１９４のワールド座標の情報に基づいて監視領域を設定するように指示を出す。これに応じて、各監視装置１２、１３では、それぞれの監視装置１２、１３が持つ画像処理プロセッサ２３により、受信された監視領域１９４の情報に基づく領域設定を行う。
具体的には、監視領域１９４と各シーン画像１９２、１９３は、ワールド座標系上では図７（ｂ）に示されるように表現できるため、それぞれのシーン画像１９２、１９３と監視領域１９４とが重複する領域の座標を、各監視装置１２、１３における監視領域として設定する。つまり、１つの監視装置１１上で決定した監視領域１９４（監視領域１５２に対応するもの）と同等な監視領域を、他の監視装置１２、１３で共有して設定することができる。また、ワールド座標系上での監視領域の設定情報をそれぞれの監視装置１２、１３に対応するシーン座標系の情報やカメラ座標系の情報へ変換して設定することができる。

例えば、従来の方法で複数台の監視装置に対して監視領域を設定する場合には、監視する全ての撮像装置により撮像された画像のそれぞれ毎に対して、マウスなどの入力装置を用いて、手動で直接的に、その監視領域を例えば図５（ａ）、図５（ｂ）、図５（ｃ）における多角形１２２、１３２、１４２のように設定する必要があり、監視装置の数が増えるほど、領域の設定作業に時間と労力がかかっていた。
これに対して、本例の場合には、１つの監視装置によって得られたシーン座標系（或いは、ワールド座標系）のシーン画像に対して、例えば図５（ｄ）における多角形１５２のように監視領域の設定を行えば、監視装置の台数に係らず、他の全ての監視装置に対して、前記監視領域と等しい監視領域を自動的且つ瞬時に設定することが可能である。

以上のように、本例の監視装置１１〜１３では、監視領域を撮像する撮像装置２１と、撮像装置２１で撮影した入力画像を処理して当該監視領域の中の物体を検出する処理などを行う画像処理装置（本例では、画像処理プロセッサ２３などの機能）と、画像処理装置による物体の検出結果などに基づいて出力画像を表示する表示装置２８を備えている。画像処理装置は、前記監視領域を撮像装置２１で撮像した第１の座標系（カメラ座標系）の入力画像を第２の座標系（シーン座標系）に基づくシーン画像へ変換する画像変換機能と、前記入力画像を処理するために必要な情報（例えば、領域情報）を前記画像変換機能によって得られたシーン画像上で設定する設定機能を有し、前記した入力画像を処理するために必要な情報に基づいて前記監視領域の中の物体を検出する処理などを行う。

また、画像処理装置は、画像の情報或いは領域などの設定情報について、カメラ座標系とシーン座標系とワールド座標系との間の変換を任意に行うことが可能な機能を有している。特に、シーン座標系で設定された領域情報をワールド座標系の情報へ変換して記憶する。
また、本例の監視装置１１〜１３では、領域情報や各監視装置１１〜１３における検出結果の情報などを保持（記憶）するための記憶装置３１を備えており、例えば、記憶装置３１などに対して領域情報などを入力するための入力装置２９を備えている。

また、本例の監視装置１１〜１３では、シーン座標系（或いは、ワールド座標系）のシーン画像上で設定した情報を内部或いは外部の記憶部に保持しておき、前記監視領域の一部若しくは全てを含む領域内の物体を異なる位置や角度などから監視する少なくとも１台（１台以上）の監視装置に対して、前記記憶部に記録された前記情報を参照して、その撮像装置における監視情報（例えば、領域情報）を設定する。
また、本例の監視装置１１〜１３では、前記した入力画像を処理するために必要な情報として、物体を検出する領域を表す検出領域（監視領域）の情報が用いられる。

また、本例の監視装置１１〜１３では、前記した第２の座標系（シーン座標系）は、前記監視領域の地図に相似する座標系である。
また、本例の監視装置１１〜１３では、第３の座標系として、前記監視領域を監視する全ての監視装置において共通な座標系であるワールド座標系を用いている。ワールド座標系も、前記監視領域の地図に相似する座標系である。

具体例として、監視領域の監視を、１台以上の監視装置を用いて行う。
１台以上の監視装置において撮影した監視領域の画像は、それぞれの監視装置の撮像条件で見え方が異なる情報であり、すなわちそれぞれのカメラ座標系毎に異なる情報となるが、これらの異なるカメラ座標系で表現された入力画像情報を物体の絶対的な位置を示すことができる共通のワールド座標系で表現できるように座標変換することで、監視領域などの情報を異なる監視装置間並びに異なる監視条件間で共有して扱うことができる状況が実現される。また、カメラ座標系の入力画像を各撮像装置毎のシーン座標系のシーン画像へ変換し、得られたシーン座標系のシーン画像上で所望の監視領域の設定などを行うことで、人にとって感覚的に分かり易いシーン座標系のシーン画像を用いて領域などの設定を効果的に行うことができる。なお、ワールド座標系の画像において領域などの設定が行われてもよい。

ここで、複数の監視装置或いは複数の監視条件で共有される監視領域などの情報は、ワールド座標系上であれば、ほかの監視装置の領域などの決定においても、そのまま適用することができる。このように、複数の監視装置或いは複数の監視条件で監視領域などの情報を共有することを可能とすることで、例えば、同じ監視領域（の一部又は全部）を監視する撮像装置（監視装置）の追加や同一の撮像装置（監視装置）の移動などがあった場合においても、監視領域などの新たな情報設定作業の必要をなくすことができる。

また、監視を所望する領域などの情報の変更が必要となった場合においても、共有可能としたワールド座標系上における領域などの情報を１つの監視装置において変更することで、その変更を全ての監視装置に対して容易に反映させることができる。
また、シーン座標系やワールド座標系は、監視領域の地面に対して平行な平面に投影した座標系として、当該監視領域の地図に相似する座標系にすることが可能であり、このような座標系とすることで、領域などの情報を人により直感的且つ簡単に設定することが可能となる。

従って、本例では、被写体を領域毎に区別して検出するために用いる監視領域などの設定情報を、撮像装置の位置や角度などが異なる複数の監視装置間並びに撮像装置の位置や角度などが異なる同一の監視装置間（配置が変更された場合）で共有することができる。そして、撮像された入力画像中に映る物体を、監視対象となる領域の地図に相似するシーン座標系或いはワールド座標系において設定された領域情報などに基づいて監視することにより、効果的な監視を行うことができる。

例えば、従来では、撮像する入力画像中でいずれの領域に存在する物体を検出すべき物体とするかという情報などを各監視装置で用いられる撮像装置により得られる入力画像毎に予め設定する必要があったために、監視装置の追加や監視装置の使用条件の変更の際に、膨大な作業が必要であった。
これに対して、本例のような監視装置や監視情報の設定方法では、撮像装置により撮像された入力画像を地図に相似するワールド座標系で表現可能なシーン画像へ変換することで、ワールド座標系で全ての撮像装置で撮像された入力画像情報や領域情報などを表現することができ、シーン座標系或いはワールド座標系で所望の領域などを設定して、当該領域などの情報を全ての撮像装置で共有することができる。これにより、監視装置の追加や使用条件の変更に伴う領域などの設定作業の手間が削減され、より効率的で簡単で容易な監視装置の運用が可能となる。

ここで、本例では、入力画像を処理するために必要な情報として、主に、監視領域の情報を設定する場合を示したが、このような情報としては種々なものが用いられてもよく、例えば、検出対象とする物体の大きさや幅や高さや長さなどに関する閾値の情報を設定するようなことも可能である。
また、本例では、監視領域の形状として、多角形を用いたが、他の任意の形状が用いられてもよい。

なお、本例では、複数の監視装置１１、１２、１３やネットワーク１４の全体により画像処理装置が構成されている。
本例の画像処理装置では、例えば、監視装置１１〜１３に備えられた表示装置２８により画像を表示する機能により表示手段が構成されており、監視装置１１〜１３に備えられた入力装置２９などによりユーザ（人）から領域などの設定情報を受け付ける機能により受付手段が構成されており、監視装置１１〜１３に備えられた画像処理プロセッサ２３などにより情報の座標系を変換する機能により座標系変換手段が構成されており、ある撮像装置の配置で取得された設定情報を他の配置を有する（前記ある撮像装置と同一の又は異なる）撮像装置に設定する機能により変換情報設定手段が構成されている。
本例では、例えば、各監視装置１１〜１３毎に自装置で取得された設定情報などをワールド座標系の情報へ変換して、監視装置１１〜１３の間ではワールド座標系の情報を通信するが、他の態様が用いられてもよい。

本発明の第２実施例を説明する。
なお、上記した第１実施例の場合と同様な構成や動作については詳しい説明を省略する。
上記した第１実施例では、少なくとも１つの監視装置の各々で設定した監視領域のワールド座標系で表される情報を、例えばネットワークを介して他の監視装置で共有できるようにした。この監視領域の情報は、少なくとも１つの監視装置で共有するものであるため、情報の保存管理を担う情報サーバを設ける形態を用いることも可能であり、本例では、このような形態について説明する。

図８には、本発明の一実施例に係る監視システムの構成例を示してある。
本例の監視システム４１は、３台以上の監視装置５１、５２、５３（第１の監視装置５１、第２の監視装置５２、第３の監視装置５３、・・・）を備えており、これらがネットワーク５５で接続されており、また、ネットワーク５５に接続された情報サーバ５４を備えている。情報サーバ５４は、例えば、人により操作されることや、各種の情報を内部或いは外部の記憶装置に記憶することや、各種の情報を画面に表示することなどが可能である。
なお、監視装置の数は任意であってもよく、本例では、説明の便宜上から、まず３台として説明し、次に１台追加する場合を示す。

情報サーバ５４は、全て若しくはいずれかの監視装置５１、５２、５３から得られた監視を所望する領域の情報や、監視装置５１、５２、５３に対する入出力情報及び監視装置５１、５２、５３で得られた侵入物体の有無などの情報の保持を行い、更に、必要に応じて、各監視装置５１、５２、５３に対してこれらの情報を伝送する。例えば、監視装置５１、５２、５３のうちの１つ（例えば、監視装置５１）に対してオペレータがシーン座標系のシーン画像上で監視領域の情報を修正すると、その修正後の情報がワールド座標系の領域情報へ変換され、当該変換された領域情報に基づいて情報サーバ５４に保存されている監視領域の情報が更新される。
ここで、本例では、情報サーバ５４には、ワールド座標系の情報が保持されるが、必要に応じて、各監視装置毎のシーン座標系やカメラ座標系の情報が保持されてもよい。

また、各監視装置５１、５２、５３では、定期的（例えば、１０分間隔など）に情報サーバ５４にアクセスし、そして、情報サーバ５４における監視領域の情報が更新されていた場合には、それに基づいて当該各監視装置５１、５２、５３の記憶装置３１などに記憶された領域情報が更新され、このようにして更新された領域情報がそれ以降における物体の検出処理などで利用される。

図９（ａ）には、ワールド座標系上でシーン画像を表現したものの一例を示してある。具体的には、第１の監視装置５１により得られたシーン画像２０１と、第２の監視装置５２により得られたシーン画像２０２と、第３の監視装置５３により得られたシーン画像２０３と、多角形の監視領域（点線）２０４をワールド座標系上で示してある。

なお、本例では、例えば、各監視装置５１、５２、５３におけるシーン画像２０１、２０２、２０３の情報をネットワーク５５を介して情報サーバ５４へ伝送し、情報サーバ５４を用いてワールド座標系上で各シーン画像２０１、２０２、２０３を表現することができる。そして、このようなワールド座標系上で人の操作によって多角形２０４を監視領域として描いて設定することも可能であり、当該監視領域２０４のワールド座標の情報を例えば情報サーバ５４などにおいて監視システム全体で共有可能な情報とすることで、全ての監視装置５１、５２、５３に対して監視領域２０４と重複する領域を監視すべき領域として設定することが可能となる。
本例のように、監視装置５１、５２、５３間に、情報の保存管理を行う情報サーバ５４を設けることで、監視領域２０４の情報を一括管理することができるとともに、監視領域２０４の設定や変更なども一括して行うことができる。

更に、本例の監視システム４１では、新たな監視領域を追加する場合にも効率的である。
図９（ｂ）には、ワールド座標系上でシーン画像を表現したものの一例を示してある。具体的には、３つの監視装置５１、５２、５３により得られたシーン画像２１１、２１２、２１３（シーン画像２０１、２０２、２０３と同じもの）と、既に設定されている多角形の監視領域（点線）２１４（監視領域２０４と同じもの）と、新たに設定された多角形の監視領域（点線）２１５をワールド座標系上で示してある。

例えば、新たな監視領域として図９（ｂ）に示される多角形２１５を追加して、２つの監視領域２１４、２１５を監視することを所望する場合には、いずれかの監視装置５１、５２、５３或いは情報サーバ５４に対してマウスなどの入力装置によって、新しい監視領域の多角形２１５のシーン座標系或いはワールド座標系の座標を入力することで、情報サーバ５４に新しい監視領域のワールド座標の情報を設定する。そして、情報サーバ５４から、当該監視領域２１５を監視する全ての監視装置５１、５２、５３（いずれかの監視装置で新たな監視領域を設定した場合にはその監視装置は除かれてもよい）に対して当該監視領域２１５のワールド座標の情報を伝送して、２つの監視領域２１４、２１５の両方を監視するように当該監視装置５１、５２、５３（いずれかの監視装置で新たな監視領域を設定した場合にはその監視装置は除かれてもよい）に指示を出すことで、瞬時に監視システム４１全体で監視領域を追加することができる。

例えば、従来の方法では、監視領域の追加についても、監視を行う全ての監視装置のそれぞれに対して、例えばマウスなどの入力装置によって手動で多角形を描くことで、監視領域を追加指定する必要があった。
これに対して、本例では、例えばいずれかの監視装置５１、５２、５３或いは情報サーバ５４を用いて追加を所望する監視領域をマウスなどの入力装置によって手動で設定して、当該監視領域のワールド座標の情報を情報サーバ５４から各監視装置５１、５２、５３へ送信することにより、一度の追加領域の設定で全ての監視装置５１、５２、５３に対してその追加領域を瞬時に反映させることができ、監視装置５１、５２、５３を運用する利用者の負担を削減することができる。

また、本例の監視システム４１では、監視装置（撮像装置）の追加についても、簡易に実現することができる。
図１０には、本例の監視システム４１で監視を行う監視領域並びにその周辺の見取り図２２１の一例を示してある。この見取り図２２１は、監視領域を地面に垂直な方向から見下ろしたものである。
具体的には、道路や建物や空き地があり、第１の監視装置５１に備えられた第１の撮像装置２３１の配置（位置や方向）と、第２の監視装置５２に備えられた第２の撮像装置２３２の配置と、第３の監視装置５３に備えられた第３の撮像装置２３３の配置と、第４の監視装置（新規な監視装置）に備えられた第４の撮像装置２３４の配置が示されている。
例えば、監視精度の向上などを目的として、図１０に示される地図上におけるある地点（建物の屋上）２３４に撮像装置を持つ新たな監視装置Ｐを追加する場合においても、本例の監視システム４１では、この新規な監視装置Ｐに対して監視領域などの情報を設定することを簡単に実現することができる。

図１１（ａ）には、新規な監視装置Ｐの撮像装置２３４により撮像される入力画像２４１の一例を示してあり、また、設定される監視領域２４２の一例を示してある。
図１１（ｂ）には、新規な監視装置Ｐにおいて、図１１（ａ）に示される入力画像２４１を（式１）〜（式６）により変換して得られたシーン画像２５１の一例を示してある。
図１１（ｃ）には、図１１（ｂ）に示されるシーン座標系上のシーン画像２５１を（式７）により変換して得られたワールド座標系上のシーン画像２６１の一例を示してあり、また、多角形の監視領域２６２の一例をワールド座標系上で示してある。

新規な監視装置Ｐに対する領域設定では、まず、図１１（ｂ）に示されるシーン画像２５１を（式７）に従って図１１（ｃ）に示されるようにワールド座標系で表現し、次に、新規な監視装置Ｐに対して情報サーバ５４などにより共有可能とされた監視領域のワールド座標として例えば多角形２６２の座標を送信して、当該監視領域２６２のワールド座標を新規な監視装置Ｐで監視するように指示を出す。これにより、この監視領域２６２は、図１１（ｃ）に示される多角形のように設定され、瞬時且つ自動的に監視領域を設定することができる。

このような結果として、監視システム４１では、図１１（ｄ）に示されるように、複数の監視装置（本例では、監視装置５１、５２、５３及び新規な監視装置Ｐ）により、同じ監視領域２６２を重複して監視することができる。
図１１（ｄ）には、４つの監視装置（本例では、監視装置５１、５２、５３及び新規な監視装置Ｐ）により得られたシーン画像２７１、２７２、２７３、２７４の一例と、共通な監視領域２７５の一例をワールド座標系上で示してある。

例えば、従来の方法では、監視システムに新たな監視装置を追加して監視領域を監視するときには、その新たな監視装置により得られた入力画像に対して、例えばマウスなどの入力装置を用いて、監視領域の多角形を手動で設定する必要があり、監視装置の追加に伴って監視領域を手動で追加する作業が必要であった。
これに対して、本例では、監視システム４１で共有可能とした監視領域の情報をワールド座標系に変換することで、当該監視領域を監視する全ての監視装置において数値的に設定することが可能であるため、たとえ監視装置を何台追加することとなっても、当該監視領域を監視する分には、新たに手動で監視領域を設定する必要はなくなり、監視システム４１の運用者は非常に少ない負担で監視装置を追加することができる。

また、本例では、例えば、監視装置における撮像装置の位置や角度を変更して、監視領域を監視する場合においても、当該監視領域と同じ領域を監視する限り、新たに監視領域を手動で変更する必要がない。
例えば、図１１（ｃ）に示される監視領域２６２を監視する監視装置Ｐにおける撮像装置の位置と角度と焦点距離を変更したところ、図１１（ａ）に示されるように撮像されていた入力画像２４１が、撮像装置の位置と角度と焦点距離の変更に伴って図１１（ｅ）に示される入力画像２８１のように変化した場合を考える。
図１１（ｅ）には、監視装置Ｐの撮像装置により撮像された入力画像２８１の一例と、監視領域（点線）２８２の一例を示してある。

この場合、従来の方法では、図１１（ａ）に示される監視領域２４２と重複する領域を監視領域として設定し直すために、例えば、入力画像２８１に対して、監視を所望する領域２８２をマウスなどの入力装置により手動で設定する必要があった。
これに対して、本例では、撮像装置の設定を変更する前における監視装置Ｐの監視領域をワールド座標系上で図１１（ｃ）に示される多角形２６２のように設定してワールド座標の値を保持しておく。これにより、たとえ撮像装置の設定を変更して入力画像が図１１（ｅ）に示されるように変化した場合においても、この入力画像２８１を図１１（ｆ）に示されるワールド座標系上のシーン画像２９１へ変換することでワールド座標上で表現することが可能であるため、撮像装置の設定を変更する前に決定した監視領域２６２の座標を撮像装置の設定変更後もそのまま監視領域として用いることができ、新たに監視領域を設定し直す手間が削減される。
図１１（ｆ）には、図１１（ｅ）に示される入力画像２８１をワールド座標系上で表現したシーン画像２９１の一例と、監視領域２９２の一例をワールド座標系上で示してある。

また、シーン座標系上やワールド座標系上で表現されたシーン画像が監視領域の地図と相似の関係にあるという特徴を利用して、地図により直感的な監視領域などの設定や、監視システム４１間での監視情報の共有が可能である。
例えば、図９（ａ）に示されるワールド座標系上で表現されたシーン画像２０１、２０２、２０３と、図１に示されるこれらの領域を真上から見下ろした見取り図１０１とは相似であり、建物の位置などの情報において相違ない。

このため、図１に示されるように設定された監視領域１１４のワールド座標系上での座標を例えば見取り図の縮尺率を考慮して算出し、当該監視領域１１４のワールド座標を情報サーバ５４などにより共有可能とすることで、当該監視領域１１４と重複する領域を全ての監視装置に対して瞬時に設定することができる。一例として、見取り図や地図などを用いて監視装置の外部の媒体を利用して監視領域を設定するような場合には、シーン画像などのように監視装置の出力結果に基づく情報を用いる必要がないため、監視装置の利用に熟練しない人であっても直感的に領域などの指定が可能である。

以上のように、本例の監視装置５１、５２、５３では、入力画像を処理するために必要な情報（例えば、領域情報）をネットワーク５５を介して外部記憶装置（本例では、情報サーバ５４）により保存や管理する情報外部記憶機能を備えている。また、本例の監視システム４１は、ネットワーク５５に接続された監視装置５１、５２、５３との間で前記情報などを送受信する情報サーバ５４を有している。
従って、本例では、監視装置５１、５２、５３の外部に設けられた情報サーバ５４により、複数の監視装置５１、５２、５３に関する情報を共有して一括して記憶や管理や設定などすることができる。

なお、本例では、複数の監視装置５１、５２、５３や情報サーバ５４やネットワーク５５の全体により画像処理装置が構成されている。
また、本例の画像処理装置では、画像を表示する表示手段の機能や、ユーザ（人）から設定情報を受け付ける受付手段の機能や、情報の座標系を変換する座標系変換手段の機能や、配置が異なる撮像装置間で設定情報を設定する変換情報設定手段の機能の一部又は全部が情報サーバ５４に備えられており、また、これらの機能の一部又は全部は監視装置５１〜５３にも備えられている。
本例では、例えば、各監視装置５１〜５３毎に自装置で取得された設定情報などをワールド座標系の情報へ変換して、監視装置５１〜５３と情報サーバ５４との間ではワールド座標系の情報を通信するが、他の態様が用いられてもよい。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

監視領域の見取り図の一例及び設置された撮像装置の位置の一例を示す図である。 本発明の第１実施例に係る監視システムの一例を示す図である。 本発明の一実施例に係る監視装置の構成例を示す図である。 画像処理プロセッサにより実行されるプログラムの処理のフローの一例を示す図である。 （ａ）は第１の撮像装置により撮像される入力画像の一例を示す図であり、（ｂ）は第２の撮像装置により撮像される入力画像の一例を示す図であり、（ｃ）は第３の撮像装置により撮像される入力画像の一例を示す図であり、（ｄ）は第１の監視装置によるシーン画像の一例を示す図であり、（ｅ）は第２の監視装置によるシーン画像の一例を示す図であり、（ｆ）は第３の監視装置によるシーン画像の一例を示す図である。 （ａ）は座標変換を説明するための図であり、（ｂ）は座標変換を説明するための図である。 （ａ）は領域指定の方法を説明するための図であり、（ｂ）は領域指定の方法を説明するための図である。 本発明の第２実施例に係る監視システムの一例を示す図である。 （ａ）は領域指定の方法を説明するための図であり、（ｂ）は領域指定の方法を説明するための図である。 監視領域の見取り図の一例及び設置された撮像装置の位置の一例を示す図である。 （ａ）は撮像装置により撮像される入力画像の一例を示す図であり、（ｂ）は監視装置によるシーン画像の一例を示す図であり、（ｃ）は領域指定の方法を説明するための図であり、（ｄ）は領域指定の方法を説明するための図であり、（ｅ）は撮像装置により撮像される入力画像の一例を示す図であり、（ｆ）は領域指定の方法を説明するための図である。 差分法による物体検出処理の流れの一例を示す図である。 （ａ）は撮像装置により撮像される入力画像の一例を示す図であり、（ｂ）は領域指定の方法を説明するための図である。

符号の説明

１、４１・・監視システム、 １１〜１３、５１〜５３・・監視装置、 １４、５５・・ネットワーク、 ２１・・撮像装置、 ２２・・映像入力回路、 ２３・・画像処理プロセッサ、 ２４・・プログラムメモリ、 ２５・・ワークメモリ、 ２６・・外部Ｉ／Ｆ回路、 ２７・・映像出力回路、 ２８・・表示装置、 ２９・・入力装置、 ３０・・入力回路、 ３１・・記憶装置、 ３２・・データバス、 ５４・・情報サーバ、
１０１、２２１・・見取り図、 １１１〜１１３、２３１〜２３４・・撮像装置、 １１４、１２２、１３２、１４２、１５２、１８２、１９４、２０４、２１４、２１５、２４２、２６２、２７５、２８２、２９２・・監視領域、 １２１、１３１、１４１、２４１、２８１・・入力画像、 １５１、１６１、１７１、１８１、１９１〜１９３、２０１〜２０３、２１１〜２１３、２５１、２６１、２７１〜２７４、２９１・・シーン画像、
３０１、３２１・・入力画像、 ３０２・・背景画像、 ３０３・・差分器、 ３０４・・差分画像、 ３０５・・二値化器、 ３０６・・二値化画像、 ３１１・・物体、 ３１２・・領域、 ３１３・・画素、 ３１４・・領域、 ３２２・・建物、 ３３１・・監視領域、
Ｔ１・・背景画像、 Ｔ２・・領域情報、

Claims (3)

1. 画像を処理する画像処理装置において、
   撮像装置による撮像時の座標系である第１の座標系の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系の画像へ変換された当該画像を表示する表示手段と、
   前記表示手段により表示された画像に関する設定情報をユーザから受け付ける受付手段と、
   前記受付手段により受け付けられた設定情報を第２の座標系の情報から撮像装置の配置によらない基準となる平面上に設けられた第３の座標系の情報へ変換する座標系変換手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第３の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第２の座標系の情報へ変換し、
   当該画像処理装置は、前記座標系変換手段により変換された情報を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する変換情報設定手段を備えた、
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記画像に関する設定情報として、監視する領域を指定する情報又は検出の対象に関する情報のうちの少なくとも一方が用いられる、
   ことを特徴とする画像処理装置。

Images