JP2007272479A - 重畳影領域識別方法及び重畳影領域識別装置 - Google Patents

Abstract

【課題】動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別する。
【解決手段】影領域抽出手段１０２は動画像のフレーム又はフィールドにおける影領域を抽出する。各影領域についてモデル構築手段１０３により領域モデルを構築し、構築した領域モデルをモデル記憶手段１０４によって記憶する。構築された領域モデルをモデル更新手段１０５によりフレームごと又はフィールドごとに更新し、モデル重畳判定手段１０６により各領域モデルの重畳判定を行い、各々の領域とそれらの重畳部分を特定する。
【選択図】図１

Description

本発明は、動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別することができる重畳影領域識別方法及び重畳影領域識別装置に関する。

画像中の影領域を抽出する従来例として、下記の非特許文献１には、影領域が非影領域に比べて低周波成分を多く含むことを利用した手法が提案されている。また、下記の非特許文献２には、影領域と非影領域では、明るさのみが異なり、色成分は大きく変わらないことを利用した手法が提案されている。これらの手法を利用すると、画像中の影領域を抽出することが可能になる。
"Automatic Image Shadow Identification using LPF in Homomorphic Processing System", Proc. VII th Digital Image Computing. 2003 "Cast Shadow segmentation using invariant color features", Computer Vision and Image Understanding. 2004

ここで、例えば車両の後方などにカメラを搭載し、撮像された車外の動画像を車両の運転席の前などに搭載されたモニタに表示する場合、表示画面上に自車影がそのまま表示されていると見づらくなる。そこで、上記手法を利用して自車影を検出してその部分を明るくし、見易くすることができる。図４（ａ）は自車影Ｓ１と、自車影Ｓ１から離れた他の影Ｓ２がそのまま表示されている画面を示し、この場合には自車影Ｓ１を検出して図４（ｃ）に示すように自車影Ｓ１のみの明度を補正することができる。しかしながら、車両が移動して、すなわち時間が経過して図４（ｂ）に示すように自車影Ｓ１と他の影Ｓ２が重なると自車影Ｓ１と他の影Ｓ２を区別できなくなり、図４（ｄ）に示すように両方の影Ｓ１、Ｓ２の明度を補正してしまいＳ２の領域の明度が突然変わり不自然な動画となるという問題点がある。また、Ｓ２が影でなく、自車影Ｓ１と同様な画像特徴を持つ物体の場合にも同様に、その物体の明度を補正してしまうという問題点がある。

本発明は上記の問題点に鑑み、動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別することができる重畳影領域識別方法及び重畳影領域識別装置を提供することを目的とする。

本発明の重畳影領域識別方法は上記目的を達成するために、動画像のフレーム又はフィールドにおける影領域を抽出する影領域抽出ステップと、
前記影領域抽出ステップにより抽出された各影領域にそれぞれ対応する領域モデルを構築する領域モデル構築ステップと、
前記各領域モデルを記憶する領域モデル記憶ステップと、
前記各領域モデルをフレームごと又はフィールドごとに更新する領域モデル更新ステップと、
前記領域モデル構築ステップにより構築された各領域モデルに基づいて、各々の影領域とそれらの重畳部分を判定する領域モデル重畳判定ステップとを、
備えた。
また、本発明の重畳影領域識別装置は上記目的を達成するために、動画像のフレーム又はフィールドにおける影領域を抽出する影領域抽出手段と、
前記影領域抽出手段により抽出された各影領域にそれぞれ対応する領域モデルを構築する領域モデル構築手段と、
前記各領域モデルを記憶する領域モデル記憶手段と、
前記各領域モデルをフレームごと又はフィールドごとに更新する領域モデル更新手段と、
前記領域モデル構築手段により構築された各領域モデルに基づいて、各々の影領域とそれらの重畳部分を判定する領域モデル重畳判定手段とを、
備えた。

この重畳影領域識別方法及び重畳影領域識別装置により、動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別することができる。

本発明によれば、動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別することができる。このため、当装置を例えば車両に搭載した場合、以下の処理が可能になる。
１．所望の影領域（例えば自車影領域）のみに明度補正などの画像処理を適用する際、自車影領域が車両移動などにより他の物体の影と重なっても、自車影と他の物体の影が区別できるため、自車影領域のみに明度補正することができる。これにより、重なった影領域の明度が突然変わるといった不自然な明暗変化を抑制できる。
２．全ての影領域を明度補正などの画像処理を適用する際、視認性改善のために参照する領域として、各々の影領域（例えば図４の自車影Ｓ１と他の影Ｓ２）ごとに異なる領域の参照が可能となるので、ひとつの領域と認識してしまう場合と比較して適した領域を参照することができ視認性を更に向上させることが可能となる。
３．所望の影領域（例えば自車影領域）などに明度補正などの画像処理を適用する際、自車影領域が車両移動などにより他の物体（例えば黒い物体）と重なった場合、重なった領域について立体物センサ（例えばクリアランスソナーやミリ波センサなど）により立体物の有無を判定することで、重畳した領域を黒い物体と判定することができる。これにより自車影領域のみに明度補正などの画像処理を適用することができ、黒い物体の明度を変換するといった不自然な明度変換の問題を解決することが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る重畳影領域識別装置の一実施の形態を備えた画像処理装置を示すブロック図、図２は図１の画像処理装置の処理を説明するためのフローチャート、図３は図１の画像処理装置における重畳影領域の識別処理を示す説明図である。

図１において、例えば車両の後方などに搭載されたカメラにより撮像された画像をフレーム（フィールドでもよい）ごとに画像取得手段１０１により取得し、次いで影領域抽出手段１０２によりフレーム内の全ての影領域を抽出する。初期フレームについてはモデル構築手段１０３により、各々の影領域に対応した領域モデル（以下、モデル）を構築し、それらのモデルをモデル記憶手段１０４により記憶する。初期フレーム以降の各フレームについては、影領域抽出手段１０２により全ての影領域抽出を行い、抽出された影領域をもとに、モデル更新手段１０５により、フレームごとにモデル記憶手段１０４のモデルを更新する。次いでモデル重畳判定手段１０６により、各々のモデルの重なりを判定し、判定の結果に基づき、画像処理手段１０７により所望の領域のみに画像処理を施す。画像処理を施された画像は、例えば車両の運転席の前などに搭載されたモニタに出力される。

図２及び図３を参照して処理を詳しく説明する。図２は各フレームごとの処理を示し、まず、ステップＳ２０１では、画像フレームを画像取得手段１０１により取得し、ステップＳ２０２では、現在フレームが最終フレームがあるかどうかを判定する。最終フレームであれば終了する。そうでない場合、ステップＳ２０３では、取得された画像フレームに影領域抽出手段１０２で領域抽出処理を施し、各々の影領域を抽出する。次いでステップＳ２０４では、入力フレームが画像系列の初期フレームであるかを判定し、初期フレームであればステップＳ２０５に移り、初期フレームでなければステップＳ２０６に移る。ステップＳ２０５では、図３（ａ）に示すように初期フレームにおける影領域のモデルの構築（例えば影領域の境界に曲線を当てはめるなど）及び記憶を行い、ステップＳ２０１に戻って次のフレームの処理を行う。

ステップＳ２０６では、ステップＳ２０３で求まった影領域をもとに、モデルの許容範囲内（モデルは形状が変化できるものであるが、形状変化の範囲は制限されており、形状はある許容範囲内にしか変化できないものとする）に、例えば図３（ｂ）に示すようにモデルの更新（モデル位置の変更、変形など）を行い、更新されたモデルを記憶する。ステップＳ２０６では、車両及びカメラに関する情報（車速、操舵角、焦点距離など）を利用することも可能である。

続くステップＳ２０７では、それぞれのモデルの重畳判定を行い、画像処理を適用すべき画像部分を決定する。ステップＳ２０７において、モデルとして例えば閉曲線を用いれば、画像の任意の点について、曲線の内部と外部のどちらに属するかを判定できる。したがって、図３（ｃ）のように、２つの影領域の各々に対するモデルＭ１、Ｍ２として２つの閉曲線を用い、それぞれの内部と外部を判定する関数ｍ１（ｘ）、ｍ２（ｘ）を設けたとする。それらの関数ｍ１（ｘ）、ｍ２（ｘ）は仮に、ある点ｘがモデルの内部ならば１、モデルの外部ならば０を返すとする。そのとき、図３（ｃ）のような設定では、関数ｍ１（ｘ）、ｍ２（ｘ）の戻り値について４通りの組合せが存在するため、４種類の領域を識別できる。ここで、図３（ｃ）では、
ｍ１（ｘ）＝１、ｍ２（ｘ）＝０：自車影のみの領域
ｍ１（ｘ）＝１、ｍ２（ｘ）＝１：自車影と他の影が重なる領域
ｍ１（ｘ）＝０、ｍ２（ｘ）＝１：他の影のみの領域
ｍ１（ｘ）＝０、ｍ２（ｘ）＝０：自車影と他の影以外の領域（非影領域）
と判定する。

ステップＳ２０７ではまた、例えば車両に適用した場合、画像の下辺と接する領域を自車影とするとしてどの領域を優先するか決定した場合は、自車影領域のみに所望の処理を施すことができる。

続くステップＳ２０８では、ステップＳ２０７で決定された画像部分に対して明度補正などの画像処理を行い、続くステップＳ２０９で処理済み画像を表示などのために出力し、ステップＳ２０１に戻る。

本発明は、動画像における複数の影領域が重畳した場合、各々の領域とそれらの重畳部分を識別することができるという効果を有し、車載カメラのほか、ビデオカメラの撮像画像を処理する装置などに利用することができる。

本発明に係る重畳影領域識別装置の一実施の形態を備えた画像処理装置を示すブロック図である。 図１の画像処理装置の処理を説明するためのフローチャートである。 図１の画像処理装置における重畳影領域の識別処理を示す説明図である。 本発明が解決しようとする課題を示す説明図である。

符号の説明

１０１ 画像取得手段
１０２ 影領域抽出手段
１０３ モデル構築手段
１０４ モデル記憶手段
１０５ モデル更新手段
１０６ モデル重畳判定手段
１０７ 画像処理手段

Claims (2)

1. 動画像のフレーム又はフィールドにおける影領域を抽出する影領域抽出ステップと、
   前記影領域抽出ステップにより抽出された各影領域にそれぞれ対応する領域モデルを構築する領域モデル構築ステップと、
   前記各領域モデルを記憶する領域モデル記憶ステップと、
   前記各領域モデルをフレームごと又はフィールドごとに更新する領域モデル更新ステップと、
   前記領域モデル構築ステップにより構築された各領域モデルに基づいて、各々の影領域とそれらの重畳部分を判定する領域モデル重畳判定ステップとを、
   備えた重畳影領域識別方法。
2. 動画像のフレーム又はフィールドにおける影領域を抽出する影領域抽出手段と、
   前記影領域抽出手段により抽出された各影領域にそれぞれ対応する領域モデルを構築する領域モデル構築手段と、
   前記各領域モデルを記憶する領域モデル記憶手段と、
   前記各領域モデルをフレームごと又はフィールドごとに更新する領域モデル更新手段と、
   前記領域モデル構築手段により構築された各領域モデルに基づいて、各々の影領域とそれらの重畳部分を判定する領域モデル重畳判定手段とを、
   備えた重畳影領域識別装置。

Images