JP2008250674A - 画像処理装置 - Google Patents

Abstract

【課題】画像処理を行う画像処理装置３において、画像中のノイズをフィルタリングにより除去することを効果的に行う。
【解決手段】一例として、フィルタ態様決定手段１３が画像を撮像する撮像手段１により撮像された画像の中の対象と当該撮像手段１との距離の情報に基づいて当該対象に対するフィルタ態様を決定し、フィルタリング手段１３がフィルタ態様決定手段１３により決定されたフィルタ態様を用いて前記対象に対してフィルタリングを実行する。他の一例として、変換手段１３が撮像時の座標系である第１の座標系の画像を基準となる平面上に設けられた第２の座標系の画像へ変換し、フィルタリング手段１３が変換手段１３により変換された第２の座標系の画像の中の対象に対して一定のフィルタ態様でフィルタリングを実行する。
【選択図】 図１

Description

本発明は、画像処理装置に関し、特に、画像中のノイズをフィルタリングにより除去することを効果的に行う画像処理装置に関する。

例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって監視対象となる領域（監視対象領域）を撮像した画像（入力画像）を、画像処理部によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置が、従来より広く用いられている。このような監視装置では、入力画像に混入する検出すべき物体以外の物体（ノイズ）を効率良く除去し、所定の物体のみを効果的に検出することが要求される。

図６を参照して、監視装置における物体検出の処理の一例を説明する。
図６には、監視装置の分野で従来より広く使用されている差分法と呼ばれる方法による物体検出の基本的な処理の流れの一例を示してある。
画像１０１は、撮像装置などから得られた入力画像である。入力画像１０１には、物体１２１や樹木１２２などが映っているほかに、例えば撮像素子や映像の伝送路などによって生じるノイズ１２３が混入する。

このような入力画像１０１に対して第１のフィルタ処理１０２を施すことによって、入力画像１０１に混入したノイズ１２３を低減した画像１０３を得る。
ここで、第１のフィルタ処理１０２のフィルタとしては、例えば、メディアンフィルタなどが適用される。メディアンフィルタは、注目画素の近傍の例えば３×３＝９画素の中のメディアン（中央値）をフィルタの出力とするフィルタである。このフィルタによって、画像上にランダムに生じる高輝度のノイズ（スパイクノイズ）などのノイズを低減することができる。

次に、差分処理１０５によって、第１のフィルタ処理１０２により得られた画像１０３と予め用意された検出すべき物体が映っていない背景画像１０４との画素毎の差分が計算されて、差分画像１０６が得られる。この差分画像１０６は画像１０３と背景画像１０４との画素値の差を表しているため、差分画像１０６には、例えば、照度変化などによって監視環境の光源の条件が変わり、画像内の物体が部分的に明るく見えたりすることに起因するノイズ１３１が混入している。

このような差分画像１０６に対して第２のフィルタ処理１０７を施すことによって、差分画像１０６に混入したノイズ１３１を低減した画像１０８を得る。
ここで、第２のフィルタ処理１０７のフィルタとしては、例えば、ガウシアンフィルタなどが適用される。ガウシアンフィルタは、注目画素の近傍の例えば３×３＝９画素に対して、ガウス分布に基づく重みをかけて平均化するフィルタである。

図７（１）には、３×３画素のガウシアンフィルタの重み（フィルタ係数）の一例を示してある。
図７（２）には、５×５画素のガウシアンフィルタの重み（フィルタ係数）の一例を示してある。
図７（１）、（２）では、画像上における注目画素の座標位置を（ｉ、ｊ）＝（０、０）で表している。フィルタ処理は、注目画素及びその近傍の画素の画素値と対応するフィルタ係数との積和演算によって行われる。このフィルタによって、画像上における隣接画素の急激な差分値の変化を抑制することができる。

次に、二値化処理１０９によって、第２のフィルタ処理１０７により得られた画像１０８の各画素の値（差分値）と予め用意されたしきい値（例えば、２０など）との比較を行い、しきい値以上の差分値を持つ画素の値を例えば２５５（本例では、８ｂｉｔ／画素を仮定して説明する）とし、しきい値未満の差分値を持つ画素の値を例えば０として、二値画像１１０を得る。この二値画像１１０では、主に入力画像１０１と背景画像１０４との輝度変化を起こした画素が２５５の値を持つため、例えば、木々の揺れなどによって輝度変化を生じた画素もノイズ１４１として混入している。

このような二値画像１１０に対して、第３のフィルタ処理１１１を施すことによって、二値画像１１０に混入したノイズ１４１を除去した画像１１２を得る。
ここで、第３のフィルタ処理１１１のフィルタとしては、例えば、収縮処理や、膨張処理などが適用される。収縮処理は、２５５の値を持つ画素のかたまりとして表現されている対象物体の外周に隣接する画素の値を０へ変換して対象物体をひとまわり小さくする処理である。膨張処理は、対象物体に隣接する０の値を持つ画素の値を２５５へ変換して対象物体をひとまわり大きくする処理である。
なお、隣接としては、４近傍（上下左右）又は８近傍（上下左右斜め）が多く使用され、また、例えば、収縮処理と膨張処理は組になって適用される。

図８（１）〜（３）には、収縮処理と膨張処理を組み合わせた一例を示してある。
具体的には、図８（１）には処理前の画像を示してあり、図８（２）にはその画像の４近傍の収縮処理結果を示してあり、図８（３）には更にその４近傍の膨張処理結果を示してある。
このような一連の処理により、図８（１）に示される画像に存在した孤立点の画素２０１やヒゲの画素２０２は、図８（３）に示される処理結果では消えている。
なお、このように収縮処理の後に膨張処理を行う処理は、オープニング処理と呼ばれる。

図８（４）〜（６）には、膨張処理と収縮処理を組み合わせた一例を示してある。
具体的には、図８（４）には処理前の画像（例えば、図８（１）と同じ画像）を示してあり、図８（５）にはその画像の４近傍の膨張処理結果を示してあり、図８（６）には更にその４近傍の収縮処理結果を示してある。
このような一連の処理により、図８（４）に示される画像に存在した穴の画素２０３や隙間の画素２０４は、図８（６）に示される処理結果では埋められている。
なお、このように膨張処理の後に収縮処理を行う処理は、クロージング処理と呼ばれる。

このような差分法では、各処理の段階において、複数のフィルタ処理を施すことによって、画像中に混入するノイズ１２３、１３１、１４１を除去し、入力画像に映る物体（検出すべき物体の画像）１２１を二値画像（検出された物体の画像）１５１として検出することができる。
以上のように、処理の過程で幾つかのフィルタリング処理を施すことによって、入力画像に混入する検出すべき物体以外の物体（ノイズ）を除去して、所望の物体のみを検出することができる。

ここで、本例では、三段階のフィルタ処理１０２、１０７、１１１を行っているが、監視環境や監視対象によって、これ以外にも様々な構成のフィルタ処理が適用される。
また、図７（１）の例のように、注目画素の近傍１画素を対象として重み付け平均化することが行われてもよく、或いは、図７（２）の例のように注目画素の近傍２画素を対象として重み付け平均化することが行われてもよく、或いは、更に広い範囲を対象にすることが行われてもよい。
また、図８の例では、４近傍の収縮処理及び膨張処理を適用したが、８近傍の収縮処理及び膨張処理を適用することもでき、また、収縮処理を複数回実行した後に同じ回数だけ膨張処理を実行することや、或いは、膨張処理を複数回実行した後に同じ回数だけ収縮処理を実行することもできる。

特開２００３−３３３３８８号公報

しかしながら、図６に示されるような監視装置におけるノイズ除去は、映像信号に混入するノイズの他にも、映像に写る検出すべき物体以外の物体（ノイズ）の誤検出を抑制することを目的として施されるが、カメラから当該物体までの距離に応じて当該物体の見かけの大きさが変わるため、見かけの大きさによってフィルタの適用範囲や、係数や、適用される回数などを適切に設定する必要があるという問題があった。

具体例として、例えば、カメラに近い位置に存在する検出すべき物体以外の物体（ノイズ）の誤検出を抑制するためには、見かけの大きさが大きいため、広い範囲に対して効果が及ぶようなフィルタが必要であるが、これでは、カメラから離れた位置に存在する検出すべき物体をフィルタリングしてしまう（見逃してしまう）可能性がある。一方、このようなカメラから離れた位置に存在する検出すべき物体をフィルタリングしないようにフィルタの及ぶ範囲を狭くすると、カメラに近い位置に存在する検出すべき物体以外の物体の誤検出の抑制が困難になるという問題があった。

本発明は、このような従来の事情に鑑み為されたもので、画像中のノイズをフィルタリングにより除去することを効果的に行うことができる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明では、画像処理を行う画像処理装置において、次のような構成とした。
すなわち、フィルタ態様決定手段が、画像を撮像する撮像手段により撮像された画像の中の対象と当該撮像手段との距離の情報に基づいて、当該対象に対するフィルタ態様を決定する。フィルタリング手段が、前記フィルタ態様決定手段により決定されたフィルタ態様を用いて、前記対象に対してフィルタリングを実行する。

従って、撮像手段と画像中の対象との間の距離に応じたフィルタ態様を用いて当該対象に対してフィルタリングを実行することにより、画像中の対象（対象の画像）の見かけの大きさに応じたフィルタ態様を用いて当該対象に対してフィルタリングを実行することができ、例えば、画像中のノイズ（対象）の距離にかかわらず、画像中のノイズをフィルタリングにより除去することを効果的に行うことができる。

ここで、画像処理としては、種々なものが用いられてもよく、例えば、画像に映る物体の検出処理などを用いることができる。
また、画像としては、静止画像や動画像など、種々なものが用いられてもよい。
また、撮像手段としては、例えば、カメラを用いて構成される。
また、画像の中の対象としては、画像に映る種々なものが用いられてもよく、例えば、検出すべき物体以外の物体（ノイズ）などを用いることができる。

また、撮像手段と画像中の対象との距離の情報としては、例えば、撮像手段と画像中の対象との距離の情報を検出する距離情報検出手段を備えて、当該距離情報検出手段により検出された距離の情報が用いられてもよく、或いは、予め測定などにより検出された距離の情報をメモリに記憶する距離情報記憶手段を備えて、当該距離情報記憶手段に記憶された距離の情報が用いられてもよい。
また、距離の情報としては、例えば、正確な距離の情報が用いられるのが好ましいが、実用上で有効であれば、誤差があってもよい。

また、フィルタ態様としては、種々なものが用いられてもよく、例えば、フィルタリングを実行する画像上における空間的な範囲や、フィルタ係数の重みの値や、フィルタリングの回数や、フィルタリングを実行する時間的な範囲（例えば、フレームの数）などの１つ以上を用いることができる。なお、通常は、これら各種のフィルタ態様のうちの１つのみを設定すればよい。
具体例として、空間的な範囲については、距離が大きいほど、範囲を小さくする。フィルタリングの回数については、距離が大きいほど、回数を少なくする。画像上では、距離に応じて対象の見かけの大きさが変化し、それに応じて適したフィルタ態様が用いられるように設定するのがよい。

また、フィルタ態様を決定する仕方としては、例えば、距離に基づいてフィルタ態様を演算等する仕方が用いられてもよく、或いは、予め複数のフィルタ態様を用意してメモリに記憶しておいて、その中から距離に応じたフィルタ態様を選択する仕方が用いられてもよい。
また、画像中の対象に対する処理は、例えば、画像上の画素毎に行うことができ、具体的には、画素毎に距離を求めて、画素毎にフィルタ態様を決定して、画素毎にフィルタリングを実行するようなことができる。

また、フィルタリングは、例えば、撮像手段により撮像された画像や、或いは、その画像に対して差分処理や二値化処理などの画像処理が行われた結果の画像に対して実行される。
また、フィルタリングを実行する画像中の領域としては、種々な領域が用いられてもよく、例えば、１つの画像について、全ての領域（例えば、全ての画素）に対してフィルタリングが実行されてもよく、或いは、一部の領域のみに対してフィルタリングが実行されてもよい。

本発明では、画像処理を行う画像処理装置において、次のような構成とした。
すなわち、変換手段が、撮像時の座標系である第１の座標系の画像を、基準となる平面上に設けられた第２の座標系の画像へ変換する。フィルタリング手段が、前記変換手段により変換された第２の座標系の画像の中の対象に対して、一定のフィルタ態様でフィルタリングを実行する。

従って、基準となる平面上に設けられた第２の座標系の画像では、撮像時の第１の座標系の画像における対象の距離に応じた見かけの大きさの変化をなくして、対象の実際の大きさを反映した大きさとすることができ、このような第２の座標系の画像に対して一定のフィルタ態様でフィルタリングを実行することにより、例えば、画像中のノイズ（対象）の距離にかかわらず、画像中のノイズをフィルタリングにより除去することを効果的に行うことができる。

ここで、画像処理としては、種々なものが用いられてもよく、例えば、画像に映る物体の検出処理などを用いることができる。
また、画像としては、静止画像や動画像など、種々なものが用いられてもよい。
また、画像の中の対象としては、画像に映る種々なものが用いられてもよく、例えば、検出すべき物体以外の物体（ノイズ）などを用いることができる。

また、画像中の対象に対する処理は、例えば、画像上の画素毎に行うことができ、具体的には、画素毎にフィルタリングを実行するようなことができる。
また、フィルタリングは、例えば、撮像手段により撮像された画像（第２の座標系にした画像）や、或いは、その画像に対して差分処理や二値化処理などの画像処理が行われた結果の画像（第２の座標系にした画像）に対して実行される。なお、これらの各種の画像処理と、第１の座標系から第２の座標系への変換処理を行う順序としては、任意の順序が用いられてもよい。
また、フィルタリングを実行する画像中の領域としては、種々な領域が用いられてもよく、例えば、１つの画像について、全ての領域（例えば、全ての画素）に対してフィルタリングが実行されてもよく、或いは、一部の領域のみに対してフィルタリングが実行されてもよい。

また、第２の座標系の画像の中の対象に対して一定のフィルタ態様でフィルタリングを実行する構成としては、例えば、同一の画像については対象（例えば、画素）が異なっても同一のフィルタ態様を用いてフィルタリングを実行する構成を用いることができる。なお、異なる画像については異なるフィルタ態様が用いられてもよく、また、ある画像に対するフィルタ態様と、その画像を処理した結果の画像に対するフィルタ態様とが異なってもよい。
また、フィルタ態様としては、種々なものが用いられてもよい。

また、撮像時の座標系である第１の座標系としては、例えば、撮像手段（例えば、カメラ）の視点で見た座標系が用いられる。
また、基準となる平面上に設けられた第２の座標系としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。

なお、基準となる平面の座標系（第２の座標系）は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、一例として、地面を真上から見た当該地面の平面が用いられるが、地面は完全には平らではないことや、必ずしも完全に地面の平面にしなくてもよい場合もあることなどから、実用上で有効な程度でずれがあってもよい。

また、画像処理装置では、例えば、設定された基準となる平面の座標系と、設置された撮像手段（例えば、カメラ）の配置や焦点距離などに基づく座標系との間で、変換式（数式）などを用いて、互いに座標変換を行うことが可能である。
撮像手段の配置や焦点距離などの情報は、例えば、ユーザにより画像処理装置に設定されてもよく、或いは、画像処理装置が撮像手段などからの情報に基づいて（自動的に）検出してもよく、或いは、画像処理装置が撮像手段の配置や焦点距離などを制御し、その制御により実現される撮像手段の配置や焦点距離などの情報を用いてもよい。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータを、各種の手段として機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の手順（処理）を当該コンピュータに実行させる。

以上説明したように、本発明に係る画像処理装置によると、画像に映る様々な対象の距離の違いに関わらず、このような距離の違いを補償したフィルタリングを実行することができ、これにより、例えば、画像中のノイズをフィルタリングにより除去することを効果的に行うことができる。

本発明に係る実施例を図面を参照して説明する。

本発明の第１実施例を説明する。
図１には、本発明の一実施例に係る監視装置の構成例を示してある。
本例の監視装置は、撮像装置１と、測距装置２と、画像処理装置３と、表示装置４を備えている。
撮像装置１は、例えば、カメラを用いて構成されている。なお、撮像装置１としては、例えば、当該撮像装置１を制御するための装置や、各種の外部記録装置等を有するものが用いられてもよい。
測距装置２としては、種々なものが用いられてもよく、例えば、レーザー、赤外線、ミリ波等を使用して距離を測定する装置、或いは、ステレオカメラ等を使用して距離を測定する装置などとして構成される。

画像処理装置３は、映像入力回路１１と、外部データ入力回路１２と、画像処理プロセッサ１３と、プログラムメモリ１４と、ワークメモリ１５と、記録装置１６と、映像出力回路１７と、データバス１８を備えている。
ここで、映像入力回路１１と、外部データ入力回路１２と、画像処理プロセッサ１３と、プログラムメモリ１４と、ワークメモリ１５と、記録装置１６と、映像出力回路１７は、データバス１８に接続されている。

本例の監視装置において行われる概略的な動作の一例を示す。
撮像装置１は、監視の対象となる領域（監視対象領域）の画像（映像）を撮像する。撮像装置１により撮像された画像（入力画像）は、映像入力回路１１を介してワークメモリ１５に記録（記憶）される。
測距装置２は、撮像装置１から監視対象領域の中に存在する物体までの距離を測定する。測距装置２により測定（例えば、撮像）された情報（距離情報）は、外部データ入力回路１２を介して例えば画像の形でワークメモリ１５に記録（記憶）される。

ここで、具体的には、測距装置２は、例えば、照射したレーザー等が物体にぶつかって跳ね返ってくるまでの時間に基づいて距離を測定し、或いは、ステレオカメラで２つの撮像素子を設けて三角法により距離を測定する。
また、距離の測定は、例えば、画像の全ての範囲を走査して行われ、これにより、画像中の各位置（例えば、各画素）と距離との対応を求めることができる。或いは、画像中の一部の領域のみにフィルタリングを実行する場合には、画像中でフィルタリングを実行する部分（例えば、該当する画素部分）のみについて距離を測定してもよい。

画像処理プロセッサ１３は、プログラムメモリ１４に記録されているプログラムに従って、ワークメモリ１５内に記録された入力画像やその他の情報（距離情報など）を処理し、その処理結果を映像出力回路１７を介して表示装置４の画面に表示する。
なお、記録装置１６は、画像などの各種の情報を記録することが可能である。

次に、図６を参照して、本例の監視装置の画像処理装置３において行われるフィルタリング処理について詳しく説明する。
本例では、例えば、従来から行われてきた背景技術に係るフィルタリング処理と比べて、各フィルタリング処理１０２、１０７、１１１で適用するフィルタ態様を制御する。
なお、本例では、説明の便宜上から、背景技術で参照した図６を参照して説明し、主に、背景技術とは異なる処理について説明する。

まず、測距装置２において、例えば、入力画像１０１中に写る樹木１２２までの距離が例えば２０ｍであるというように、画像内に写る物体をカメラ（撮像装置１）からその物体までの距離に換算して算出する。ここで、カメラからの距離は例えば各画素毎に求められる。この処理によって、画像上の画素において、カメラから当該画素に写る物体までの距離の情報が得られる。

ここで、距離情報としては、例えば、０〜２５５の値になるように量子化することで、画像の形式で取り扱うことができるようになる。これを、距離画像と呼ぶ。
例えば、画素値１レベルにつき０．０５ｍの分解能で量子化した場合、０〜２５５の画素値は０ｍ〜５１ｍに相当することになる。なお、５１ｍ以上の距離については飽和して画素値は２５５の値となる。この場合、上記した樹木１２２の例では、距離２０ｍに存在する樹木１２２を表す画素における距離画像の画素値は１００の値を持つ。

ところで、撮像装置１として１／３型（素子サイズ４．８ｍ×３．６ｍ）の撮像装置を使用し、撮像レンズの焦点距離がｆ＝８．０ｍｍであるとし、横幅６４０画素、縦幅４８０画素で画像を入力した場合には、カメラからの距離が２０ｍであるところにおいては、入力画像の解像度が１．８７５ｃｍ／ｐｉｘ（＝４．８×２０／８／６４０×１００）となる。
従って、例えば、１０ｃｍ以下となる樹木の揺れのノイズを除去するためには、約５画素（＝１０／１．８７５）の範囲でフィルタ処理を行えばよい。

また、距離が１０ｍである（距離画像が５０の値を持つ）別の草のノイズ１３１を除去する場合、カメラからの距離が１０ｍであるところにおいては、入力画像の解像度が０．９３７５ｃｍ／ｐｉｘ（＝４．８×１０／８／６４０×１００）となり、１０ｃｍ以下となる草の揺れのノイズを除去するためには、約１１画素（＝１０／０．９３７５）の範囲でフィルタ処理を行えばよい。
同様に、カメラから４０ｍ離れた位置に存在する物体（距離画像で２００の値を持つ物体）については、入力画像の解像度は３．７５ｃｍ／ｐｉｘ（＝４．８×４０／８／６４０×１００）となり、１０ｃｍ以下のノイズを除去するためには、フィルタの範囲を約３画素（＝１０／３．７５）とする。

なお、フィルタリングは、例えば、画像中の各画素毎に行われ、各画素毎にフィルタ態様（本例では、フィルタの空間的な範囲）が設定される。
また、本例では、画像中の全ての領域（全ての画素）について、距離情報の検出、フィルタ態様の設定、フィルタリングの処理が行われるが、画像中の一部の領域のみについて、これらの処理が行われる構成が用いられてもよい。

このように、測距装置２によって得られた距離情報に基づいてフィルタの空間的な適用範囲を算出すると、例えば、カメラの近くに存在する見かけの大きな物体に対しては広い範囲でフィルタを適用することができ、カメラから離れた場所に存在する見かけの小さな物体に対しては小さな範囲でフィルタを適用することができる。これにより、カメラの近くに存在する見かけの大きな物体によるノイズを除去するために、カメラから離れた場所に存在する検出すべき物体をフィルタリングしてしまう（見逃してしまう）という問題を解消することができ、入力画像に混入する検出すべき物体以外の物体（ノイズ）を効率良く除去することができる。

ここで、各フィルタ処理１０２、１０７、１１１で使用されるフィルタの種類としては、種々なものが用いられてもよく、例えば、フィルタリングの目的に応じて、平滑化フィルタ、メディアンフィルタ、収縮処理、膨張処理、オープニング処理、クロージング処理、先鋭化フィルタ、ラプラシアンフィルタ、プレウィットフィルタなどを用いることが可能である。
具体例として、ノイズを除去する場合には、平滑化フィルタ（この一種として、ガウシアンフィルタがある）やメディアンフィルタを用いることができ、また、物体の特徴を出す場合には、微分型のフィルタであるラプラシアンフィルタやプレウィットフィルタを用いることができる。

また、フィルタ態様としては、本例ではフィルタの空間的な範囲（注目画素に対して効果が及ぶ範囲）を設定する場合を示したが、他の種々な態様が設定されてもよく、例えば、フィルタの係数の重みの値や、フィルタリングする回数や、フィルタリングする時間的な範囲（例えば、連続するフレームの数）などを設定することも可能である。

また、本例では、測距装置２を用いてカメラから画像内の物体までの距離を計測したが、他の構成例として、カメラから検出すべき物体以外の物体（ノイズ）までの距離を例えばカメラ設置時に計測して、その計測結果（距離の情報）をテーブルとして記録装置１６に保存しておき、この保存された距離情報をフィルタリング処理を実行する際に読み出して使用するようなことも可能である。

以上のように、本例の監視装置では、監視対象領域の画像を撮像する撮像装置１と、撮像装置１により撮像された画像（入力画像）を処理して監視対象領域の中の物体を検出する画像処理装置３を備え、更に、撮像装置１と監視対象領域内の物体（入力画像中の物体）との距離を計測する測距装置２を備え、画像処理装置３には、測距装置２により計測された距離に基づいてフィルタ態様を決定（例えば、算出）するフィルタ態様決定機能と、フィルタ態様決定機能により決定されたフィルタ態様に基づいて入力画像に対してフィルタリングを実行するフィルタリング機能を備えた。

また、本例の監視装置では、例えば、撮像装置１と監視対象領域内の物体との距離の情報を予め計測して所定の方法により記録しておき、前記フィルタ態様決定機能が、記録された距離情報に基づいてフィルタ態様を決定することも可能である。具体的には、必要なときに測距装置２により距離を計測する代わりに、予め、画像上の画素の位置に応じた距離をテーブル形式で記録しておき、この記録内容に基づいて、画像上の注目画素の位置の距離に応じてフィルタ態様を決定することが可能である。

また、本例の構成は、プログラムとして実施することも可能である。一例として、本例のノイズ除去プログラムは、画像を処理する画像処理装置３を構成するコンピュータに実行させるプログラムであって、撮像装置１と監視対象領域内の物体との距離を計測する測距機能からの入力情報（距離情報）に基づいてフィルタ態様を決定（例えば、算出）するフィルタ態様決定機能と、フィルタ態様決定機能により決定されたフィルタ態様に基づいて画像をフィルタリングするフィルタリング機能と、を当該コンピュータに実現させる。
なお、本例のフィルタリングは、例えば、撮像装置１（カメラ）により撮像されたときの座標系（撮像時の座標系）の画像に対して行われる。

従って、本例の監視装置では、監視対象領域を監視するに際して、撮像装置１から入力画像中の物体までの距離を計測し或いはその距離の情報を予め記録しておき、撮像装置１から検出すべき物体以外の物体（ノイズ）までの距離に応じてフィルタ態様を変更して、入力画像中の物体の見かけの大きさに応じたフィルタ態様でフィルタリングを実行することにより、撮像された入力画像に混入する検出すべき物体以外の物体（ノイズ）の画像を効率よく効果的に除去することができ、所望の物体のみを効果的に検出することができる。

なお、本例の監視装置では、撮像装置１の機能により撮像手段が構成されており、測距装置２の機能により距離情報検出手段が構成されている。
また、本例の画像処理装置３では、画像処理プロセッサ１３が画像処理などを実行する機能により、画像中の対象と撮像装置１との距離に応じてフィルタ態様を決定するフィルタ態様決定手段や、画像中の対象に対してフィルタリングを実行するフィルタリング手段が構成されている。
また、本例の画像処理装置３では、画像中の対象と撮像装置１との距離に関する情報を記録装置１６に記録（記憶）する機能により、距離情報記憶手段が構成されている。

本発明の第２実施例を説明する。
本例の監視装置の構成は、概略的には、図１に示されるものと同様であり、本例では、図１に示される監視装置を参照して説明する。なお、本例では、測距装置２は備えられなくてもよい。
本例の監視装置の画像処理装置３では、画像処理プロセッサ１３により、撮像装置１による撮像時の座標系である第１の座標系の入力画像を、基準となる平面（例えば地面など）の上に設けられた第２の座標系の画像へ変換し、当該変換後の入力画像に対してフィルタ態様を固定にしてフィルタリングを実行する。

図２には、第１の座標系の入力画像２１の一例を示してある。
図３には、入力画像２１の座標系を第２の座標系へ変換した画像３１（本例で、シーン画像と呼ぶ）の一例を示してある。
ここで、本例のシーン画像３１は、撮像装置１の撮像角度や、撮像装置１の取付けの高さや、撮像装置１の焦点距離等の情報に基づいて、入力画像２１を地面に対して平行な平面に投影した画像である。このようなシーン画像３１は、監視対象領域の地図と相似の関係にあり、例えば、画像中に写る植木の大きさや、標識の大きさなどは、実際の大きさ（例えば、メートル法による単位）に比例したものとなる。このため、入力画像２１中では、カメラ（撮像装置１）と物体までの距離によって当該物体の見かけの大きさが変わってしまうが、シーン画像３１においては、当該物体の大きさは、シーン画像上の位置によらず一定となる。

次に、撮像装置１の視点での第１の画像の座標系（本例では、カメラ座標系と言うが、スクリーン座標系、画面座標系、画像座標系などと呼ばれることもある）と、地面に対して平行な平面に投影した第２の画像の座標系（本例では、シーン座標系と言うが、ワールド座標系、地図座標系などと呼ばれることもある）との間の変換処理について説明する。
本例では、カメラ座標系の座標からシーン座標系の座標へ変換する方法の一例を示す。なお、この変換の逆変換を行うことで、シーン座標系の座標からカメラ座標系の座標へ変換することができる。

図４には、地面に対して水平な方向で（真横から）撮像装置１を見た場合の様子の一例を示してある。
図５には、地面に対して垂直な方向で（真上から）撮像装置１を見た場合の様子の一例を示してある。
図４及び図５では、シーン座標系の原点Ｏを撮像装置１の鉛直下向き（ｚ方向）で基準となる平面（地面）と交差する位置としてあり、地面の平面上に互いに直交するｘ軸及びｙ軸を設けてあり、高さ方向にｚ軸を設けてあり、撮像装置１が向いている視線方向（光軸方向）にｒ軸を設けてある。

ここで、撮像装置１の設置の高さをＨとしてあり、撮像装置１の俯角をθ_Ｔとしてあり、撮像装置１の縦方向の視野角をθ_Ｖとしてある。
また、撮像装置１の横方向の視野角をθ_Ｈとしてある。なお、撮像装置１の縦方向の視野角θ_Ｖは、撮像装置１の横方向の視野角θ_Ｈから撮像素子のアスペクト比（縦横比）によって算出することができる。
また、撮像装置１により撮像される画像の視野の中で、撮像装置１から最も近い所までの水平距離をＬ_Ｎとしてあり、撮像装置１から最も遠い所までの水平距離をＬ_Ｆとしてある。

まず、例えば、撮像装置１の位置や方向を変更するための電動台座（カメラ雲台）の現在の方向（例えば、雲台の正面を原点とし、パン角θ_Ｐ、チルト角θ_Ｔ）を取得し、撮像装置１の撮像レンズの現在の焦点距離ｆを取得する。これらの取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸がないとする。
撮像装置１の横方向の視野角である画角θ_Ｈは（式１）により求められる。

ここで、ｗは、撮像装置１の撮像素子である例えばＣＣＤ素子の横幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置１の画角は、θ_Ｈ＝３３．４°となる。この場合、撮像装置１の視野は横方向に３３．４°の範囲を有する。

通常、撮像装置１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θ_Ｔに応じて、撮像装置１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置１から視線方向Ｌ_Ｎの範囲に現れる。それ以上の所定の領域（距離Ｌ_Ｎと距離Ｌ_Ｆとの間の領域）は、撮像装置１の視野に入る。

これらの距離Ｌ_Ｎ、Ｌ_Ｆについて説明する。
撮像装置１の縦方向の視野角である画角θ_Ｖは（式２）により求められる。
ここで、ｈは、撮像装置１の撮像素子である例えばＣＣＤ素子の縦幅であり、一例として、１／３インチの撮像素子を使用した場合には、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置１の画角は、θ_Ｖ＝２５．４°となる。この場合、撮像装置１の視野は、縦方向に２５．４°の範囲を有する。

距離Ｌ_Ｎ及び距離Ｌ_Ｆは、（式３）により求められる。

上記の結果、撮像装置１により撮像することができる範囲は、図４に示される撮像装置１と距離Ｌ_Ｎの点と距離Ｌ_Ｆの点で囲まれる三角形の領域の内部と、図５に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθ_Ｔ＝３０°とし、撮像装置１の設置高をＨ＝５．０ｍとした場合には、Ｌ_Ｎ＝５．４２ｍ、Ｌ_Ｆ＝１６．１ｍとなる。

上記のように、撮像装置１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、視野範囲に含まれる各位置の座標をシーン座標系の（ｘ、ｙ）座標へ変換することができる。
例えば、図５に示される視野範囲の各頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のシーン座標は、それぞれのシーン座標をＰ１＝（ｘ１、ｙ１）、Ｐ２＝（ｘ２、ｙ２）、Ｐ３＝（ｘ３、ｙ３）、Ｐ４＝（ｘ４、ｙ４）として、（式４）、（式５）、（式６）、（式７）により求められる。

ここで、θ_Ｐは、撮像装置１のパン角であり、本例では、ｘ軸と撮像装置１の光軸とのなす角を示す。
上記した（式４）〜（式７）と同様な計算式を用いて、撮像装置１の視野範囲に含まれる各位置のシーン座標を計算することにより、カメラ座標系の画像上の各位置をシーン座標系の位置へ変換することができる。

例えば、カメラ座標における画像上の座標（ｉ、ｊ）で表される画素が、図４における点Ｃの位置を撮像した場合、入力画像の縦方向の画素数を４８０画素とすると、点Ｃを撮像する俯角θ_ｙは（式８）で表される。
また、カメラ座標における画像上の座標（ｉ、ｊ）で表される画素が、図５における点Ｄの位置（例えば、空間的な位置は図４における点Ｃの位置と同じ）を撮像した場合、入力画像の横方向の画素数を６４０画素とすると、点Ｄを撮像する回転角θ_ｘは（式９）で表される。
従って、カメラ座標系の入力画像上の（ｉ、ｊ）で表される任意の位置の画素は、シーン座標系のシーン画像の座標（ｘ、ｙ）として（式１０）により求められる。

なお、視野範囲の位置の座標は、撮像装置１のパンやチルトやズームにより変化し得る。また、シーン座標系に変換した画像は、（式８）〜（式１０）で表される変換の逆変換を行うことにより、カメラ座標系の画像に戻すことができる。

ここで、入力画像２１ではカメラからの距離に応じて見かけの大きさが変化していたものが、上記の変換により得られたシーン画像３１では、同じ大きさの物体は、カメラからの距離によらず一定の大きさとなる。このため、シーン画像３１に対して同じフィルタ態様のフィルタリング処理を実行することにより、例えば、カメラの近くに存在する見かけの大きな物体に対しては広い範囲でフィルタを適用することができ、カメラから離れた場所に存在する見かけの小さな物体に対しては小さな範囲でフィルタを適用することができる。
このように、本例では、カメラの近くに存在する見かけの大きな物体によるノイズを除去するために、カメラから離れた場所に存在する検出すべき物体をフィルタリングしてしまう（見逃してしまう）という問題を解消することができ、入力画像に混入する検出すべき物体以外の物体（ノイズ）を効率よく除去することができる。

なお、本例の監視装置では、第２の座標系として、監視対象領域の地図に相似する座標系を用いている。
ここで、この地図は例えば真上から見た平面図であり、また、相似としては、例えば、縦横の比率が実際のものと同じである態様が用いられ、或いは、縦横の比率が実際のものとは異なる態様が用いられてもよい。

以上のように、本例の監視装置では、監視対象領域の画像を撮像する撮像装置１と、撮像装置１により撮影された画像（入力画像）を処理して監視対象領域の中の物体を検出する画像処理装置３を備え、更に、画像処理装置３には、撮像時の座標系である第１の座標系の画像を基準となる平面上に設けられた第２の座標系の画像へ変換する変換機能と、変換機能により変換された第２の座標系の画像に対してフィルタリングを実行するフィルタリング機能を備えた。

また、本例の構成は、プログラムとして実施することも可能である。一例として、本例のノイズ除去プログラムは、画像を処理する画像処理装置３を構成するコンピュータに実行させるプログラムであって、撮像時の座標系である第１の座標系の画像を基準となる平面上に設けられた第２の座標系の画像へ変換する変換機能と、変換機能により変換された画像に対してフィルタリングを実行するフィルタリング機能と、を当該コンピュータに実現させる。

従って、本例の監視装置では、監視対象領域を監視するに際して、基準となる平面上に設けられた第２の座標系の画像に対してフィルタ処理を適用することにより、撮像された入力画像に混入する検出すべき物体以外の物体（ノイズ）を効率よく効果的に除去し、所望の物体のみを効果的に検出することができる。具体的には、第１の座標系で表される入力画像中の物体の見かけの大きさによらず、基準となる平面上における物体の大きさに応じてフィルタリングを行うことができる。

なお、本例の監視装置では、撮像装置１の機能により撮像手段が構成されている。
また、本例の画像処理装置３では、画像処理プロセッサ１３が画像処理などを実行する機能により、第１の座標系（カメラ座標系）の画像を第２の座標系（シーン座標系）の画像へ変換する変換手段や、画像中の対象に対してフィルタリングを実行するフィルタリング手段が構成されている。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る監視装置の構成例を示す図である。 第１の座標系（撮像時のカメラ座標系）の画像の一例を示す図である。 第２の座標系（基準となる平面上のシーン座標系）の画像の一例を示す図である。 座標変換を説明するための図である。 座標変換を説明するための図である。 差分法による物体検出の処理の様子の一例を示す図である。 ガウシアンフィルタの重み（フィルタ係数）の一例を示す図である。 （１）〜（３）は収縮処理と膨張処理を組み合わせた一例を示す図であり、（４）〜（６）は膨張処理と収縮処理を組み合わせた一例を示す図である。

符号の説明

１・・撮像装置、 ２・・測距装置、 ３・・画像処理装置、 ４・・表示装置、 １１・・映像入力回路、 １２・・外部データ入力回路、 １３・・画像処理プロセッサ、 １４・・プログラムメモリ、 １５・・ワークメモリ、 １６・・記録装置、 １７・・映像出力装置、 １８・・データバス、 ２１、３１、１０１、１０３、１０４、１０６、１０８、１１０、１１２・・画像、 １０２、１０７、１１１・・フィルタ処理、 １０５・・差分処理、 １０９・・二値化処理、 １２１・・物体、 １２２・・樹木、 １２３、１３１、１４１・・ノイズ、 １５１・・物体の二値画像、 ２０１〜２０４・・画素、

Claims (2)

1. 画像処理を行う画像処理装置において、
   画像を撮像する撮像手段により撮像された画像の中の対象と当該撮像手段との距離の情報に基づいて、当該対象に対するフィルタ態様を決定するフィルタ態様決定手段と、
   前記フィルタ態様決定手段により決定されたフィルタ態様を用いて前記対象に対してフィルタリングを実行するフィルタリング手段と、
   を備えたことを特徴とする画像処理装置。
2. 画像処理を行う画像処理装置において、
   撮像時の座標系である第１の座標系の画像を基準となる平面上に設けられた第２の座標系の画像へ変換する変換手段と、
   前記変換手段により変換された第２の座標系の画像の中の対象に対して一定のフィルタ態様でフィルタリングを実行するフィルタリング手段と、
   を備えたことを特徴とする画像処理装置。

Images