JP2011048520A - 車両周辺監視装置および車両周辺監視方法 - Google Patents

Abstract

【課題】静止立体物と移動体とを区別して検出する。
【解決手段】車両周辺監視装置は、車両に取り付けられた撮像カメラと、撮像カメラからの撮像データを画像処理し特徴点を抽出する画像処理部２１０と、特徴点についての物体の判定を行う物体判定部２２０とを有する。画像処理部２１０は、撮像データの特徴点の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第２の検出手段とを含む。物体判定部２２０は、第１の検出手段および第２の検出手段によって特徴点の動きベクトルが検出されたとき、当該特徴点を移動体と判定し、第１の検出手段によって特徴点の動きベクトルが検出されずかつ第２の検出手段によって特徴点の動きベクトルが検出されたとき、当該特徴点を静止立体物と判定し、第１の検出手段および第２の検出手段によって特徴点の動きベクトルが検出されないとき、当該特徴点を背景と判定する。
【選択図】図６

Description

本発明は、車両周辺監視装置に関し、特に、撮像カメラからの撮像データを用いて車両周辺の移動体と静止立体物を区別して監視することができる車両周辺監視装置に関する。

車両に撮像カメラを搭載し、撮像カメラで撮像された画像を用いて車両周辺の障害物を監視するシステムが利用されている。撮像データから車両周辺の障害物を認識する方法には、俯瞰画像の差分を利用する方法やオプティカルフローを用いる方法がある。

図１に俯瞰画像の差分から物体を検出する方法を示す。ステップＳ１０に示すように、フレームＮの画像には、移動体としての歩行者Ｐと静止立体物Ｓとが映されている。ここで、撮像カメラを搭載した車両は、静止立体物Ｓに対し進行方向Ｒで接近し、歩行者Ｐは、方向Ｑに移動するものとする。ステップＳ１０から時間的に経過したステップＳ１１において、次のフレームＮ＋１の画像には、歩行者Ｐと静止立体物Ｓが幾分だけ接近して映される。ステップＳ２０に示すように、フレームＮの画像が俯瞰画像（上方から見下ろす画像）に変換され、変換された俯瞰画像には、地面から鉛直方向に高さのある立体物、すなわち歩行者Ｐと立体静止物Ｓが映される。歩行者Ｐと立体静止物Ｓは、地面から一定の高さの仮想視点から見下ろすように変形して見えることになる。

ステップＳ２１に示すように、フレームＮ＋１の画像が俯瞰画像に変換され、さらに俯瞰画像は、車両の進行方向Ｒと逆向きに車両が移動した距離だけスライドされる。歩行者Ｐは、方向Ｑに移動しているため、歩行者Ｐを仮想視点から見下ろす角度が変化し、フレームＮのときと比べて、歩行者Ｐの変形の仕方が異なる。立体静止物Ｓもまた仮想視点から見下ろす角度が変化するため、フレームＮのときと比べて変形の仕方が異なる。俯瞰画像のスライドは、背景Ｂを除去するための前処理である。

次に、ステップＳ３０において、フレームＮとフレームＮ+１のそれぞれの俯瞰画像の差分が算出される。これにより、立体物ではない背景Ｂが除去され、静止立体物Ｓと歩行者Ｐが同時に検出される。

図２にオプティカルフローから物体を検出する方法を示す。ステップＳ１０とＳ１１は、図１のときと同様である。ステップＳ４０において、フレームＮとフレームＮ＋１から、歩行者Ｐ、立体静止物Ｓ、背景Ｂの特徴点のオプティカルフロー（動きベクトル）Ｖ１、Ｖ２、Ｖ３が求められる。また、ステップＳ４１において、車両の移動する方向Ｒ（車速と舵角）から歩行者Ｐ、立体静止物Ｓ、背景Ｂの理論上のオプティカルフローＶａ、Ｖｂ、Ｖｃが求められる。これは、背景を除去するための前処理である。

次に、ステップＳ５０において、ステップＳ４０とステップＳ４１のオプティカルフローの差分を求める。これにより、移動体（歩行者Ｐ）だけのオプティカルフローＶ１が残り、静止立体物Ｓおよび背景Ｂのオプティカルフローが除去される（Ｖ２＝Ｖｂ、Ｖ３＝Ｖｃ）。こうして、車両が移動中であっても、背景から移動体（歩行者Ｐ）を検出することができる。

移動する車両から撮像された画像のオプティカルフロー（動きベクトル）を検出する方法は、例えば、特許文献１、特許文献２および特許文献３に開示されている。

特開平５−２３３８１３号 特開平１０−２２２６７９号公報 特開２００４−５６７６３号公報

従来の車両周辺監視装置には、次のような課題がある。駐車している車両などの静止立体物や子供などの移動体が混在する画像において、俯瞰画像の差分による物体の検出方法では、静止立体物と移動体を明瞭に区別することができない。また、オプティカルフローによる物体の検出方法では、移動体しか検出することができない。このため、静止立体物が存在する中で移動体だけを区別して強調（例えば、表示や音声による警告）することができない。

図３は、移動体を強調したいシーン（駐車場）を説明する図であり、複数の車両が駐車されているスペースに自車Ｍを駐車させる様子を示している。自車Ｍの後方を撮像する撮像カメラの監視エリアをＷ、自車Ｍの進行方向をＲとしたとき、監視エリアＷには、車両Ｍ１と歩行者Ｐが映されている。車両Ｍ１（静止立体物）は、停止しておりかつ自車Ｍから比較的離れた位置にあるため、危険度は、小〜中である。これに対し、監視エリアＷ内を移動する歩行者Ｐ（移動体）の危険度は、大である。

上記したように俯瞰画像の差分による検出方法は、歩行者Ｐと車両Ｍ１の双方を立体物として検出するため、歩行者Ｐを車両Ｍ１から区別し、歩行者Ｐの存在を強調して警告することができず、運転者は、歩行者Ｐに気づきにくい。他方、オプティカルフローによる検出方法は、歩行者Ｐのみを検出し、車両Ｍ１を背景として処理するため、歩行者Ｐしか警告することができない。

駐車する場面では、移動体は、距離にかかわらず強調表示させ、立体静止物は接触する可能性のある距離に近づいたものだけを強調させたい。しかし、現在の方法では、移動体と静止立体物との区別がつかないので、それを実現させることができない。

図４は、走行中に移動体を強調表示させたいシーンを説明する図である。走行シーンでは、カメラの数を増やして自車側面の死角をカバーし、接近する自転車、バイク、自動車に対して、音声等による警告を発することが望まれる。そのとき、車道の脇を走っている自転車、バイクを検出しようとしても、ガードレールや壁などが存在する場合、移動体である自転車やバイクを、静止立体物であるガードレールや壁と一緒に検出してしまい、移動体と静止立体物を区別することができない。

図４に示すように、自車Ｍには、左右および後部に３つの撮像カメラが取り付けられ、自車Ｍの左右から後方の監視エリアＷ１、Ｗ２、自車の後方の中央の監視エリアＷ３が設定される。自車Ｍの進行方向をＲとする。追い越し車線を走行している車両Ｍ１は、自車に接近する移動体であり危険度が大きい。また、縁石、壁、ガードレールなどの静止立体物Ｓは、危険度が小さいが、その脇を走行している自転車Ｃは、移動体であり、危険度が大きい。

図４の下部に、自転車Ｃとガードレール等の静止立体物Ｓの関係を示している。自転車Ｃは、方向Ｑに進行し、自車Ｍに対する危険度は大きいが、静止立体物Ｓの危険度は小さい。俯瞰画像の差分による検出方法では、ガードレールと自転車Ｃが一体のものとして検出されてしまい、自転車Ｃをガードレールと区別してこれを強調させることができない。オプティカルフローによる検出では、自転車Ｃは検出することができるが、ガードレールを検出することができない。このように、静止立体物と移動体が重なる場面では、移動体を見分けることができない。

本発明は、このような従来の課題を解決し、静止立体物と移動体とを区別して監視することができる車両周辺監視装置および車両周辺監視方法を提供することを目的とする。

本発明に係る車両周辺を監視する車両周辺監視装置は、車両に取り付けられた撮像手段と、前記撮像手段によって撮像された撮像データを画像処理し特徴情報を抽出する画像処理手段と、前記画像処理手段により抽出された特徴情報に基づき物体の判定を行う判定手段とを有し、前記画像処理手段は、前記撮像データの特徴情報の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第２の検出手段とを含み、前記判定手段は、前記第１の検出手段および前記第２の検出手段によって特徴情報の動きベクトルがそれぞれ検出されたとき、当該特徴情報を移動体と判定し、前記第１の検出手段によって特徴情報の動きベクトルが検出されずかつ前記第２の検出手段によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第１の検出手段および前記第２の検出手段によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する。

好ましくは前記画像処理手段は、撮像データの収差を補正する補正手段と、補正された撮像データのエッジを検出するエッジ検出手段と、検出されたエッジから特徴情報を抽出する抽出手段とを含む。好ましくは画像処理手段は、撮像データを俯瞰画像に変換する手段を含む。好ましくは車両周辺監視装置はさらに、前記判定手段によって判定された移動体および／または静止立体物に応じた警告を行う警告手段を含む。好ましくは前記警告手段は、移動体を静止立体物よりも強調して警告する。好ましくは前記第１および第２の検出手段は、オプティカルフローによる特徴情報の動きベクトルの検出である。

本発明に係る車両周辺を監視する車両周辺監視方法は、車両に取り付けられた撮像カメラにより車両周辺を撮像するステップと、撮像カメラからによって撮像された撮像データから特徴情報を抽出するステップと、前記撮像データの特徴情報の動きベクトルを検出するための第１の検出処理を実行し、かつ俯瞰画像に変換された特徴情報の動きベクトルを検出するための第２の検出処理を実行するステップと、前記第１の検出処理および前記第２の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を移動体と判定し、前記第１の検出処理により特徴情報の動きベクトルが検出されずかつ前記第２の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第１の検出処理および前記第２の検出処理によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する。

本発明によれば、撮像データに関する特徴情報の動きベクトルを検出する第１の検出手段と俯瞰画像の動きベクトルを検出する第２の検出手段の検出結果を利用することで、特徴情報が、移動体、静止立体物または背景のいずれに属するのかを判別することできる。これにより、移動体または静止立体物に応じた警告を行うことができる。

俯瞰画像の差分から物体を検出する方法を説明する図である。 オプティカルフローから物体を検出する方法を説明する図である。 移動体を強調して表示させたいシーン（駐車場）の説明図である。 移動体を強調して表示させたいシーン（走行中）の説明図である。 本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。 図５に示す物体検出部の機能ブロック図である。 本発明の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。 俯瞰画像のオプティカルフローから物体を検出する方法を説明する図である。 特徴点が移動体か静止立体物かを判定する判定表である。 移動体および静止立体物に関する警告の表示例である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図５は、本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。車両周辺監視装置１００は、車両に搭載された撮像カメラ１１０と、撮像カメラで撮像された撮像データを画像処理し車両周辺の物体を検出する物体検出部１２０と、物体検出部１２０で検出された物体について音声や画像による警告を発する警告出力部１３０とを含んで構成される。

撮像カメラ１１０の取付け数および取付け位置は、その目的等に応じて適宜選択される。例えば、車両の後方に１つの撮像カメラを取り付け、車両の後方を監視してもよいし、車両の左右および後方にそれぞれ撮像カメラを取り付け、車両の左右からと中央からの後方を監視するものであってもよい。撮像カメラ１１０で撮像された撮像データは、物体検出部１２０へ供給される。

図６は、物体検出部１２０の構成を示すブロック図である。物体検出部１２０は、撮像カメラ１１０からの撮像データを保持するフレームバッファ２００と、フレームバッファ２００から出力された撮像データを画像処理する画像処理部２１０と、画像処理部２１０の処理結果に基づき物体（特徴点）が移動体、立体静止物または背景のいずれに属するかを判定する物体判定部２２０とを有する。画像処理部２１０は、撮像データの歪曲収差と補正した画像を生成する歪曲収差補正部２３０、補正された画像のエッジを検出するエッジ検出部２４０、検出されたエッジから特徴点を抽出する特徴点抽出部２５０、特徴点のオプティカルフロー（動きベクトル）を検出するオプティカルフロー処理部２６０、歪み補正された画像を俯瞰画像に変換する俯瞰画像変換部２７０を備えている。画像処理部２１０は、例えば画像処理回路または画像処理プロセッサを用いて構成される。物体判定部２２０は、例えば物体判定を行うためのプログラムまたはソフトウエアを記憶するメモリと当該プログラムを実行する処理装置を含むことができる。

警告出力部１３０は、画像を表示するためのディスプレイや音声を出力するためのスピーカを含み、物体検出部１２０の検出結果に応じて物体に関する警告を画像または音声により提示する。例えば、ディスプレイに表示された移動体や静止立体物を識別させるような画像を合成して表示させたり、移動体を立体静止物よりも強調して表示させる。

次に、本発明の実施例に係る車両周辺監視装置の動作について図７のフローチャートを参照して説明する。先ず、撮像カメラ１１０によって車両周辺が撮像され、フレームＮとそれから一定時間後のフレームＮ＋１の画像がフレームバッファ２００内に取得される（ステップＳ１０１）。次に、歪曲収差補正部２３０は、フレームバッファ２００からフレームＮとフレームＮ＋１の画像を読出し、フレームＮ、フレームＮ＋１の画像の歪曲収差を補正した歪み補正画像を作成する（ステップＳ１０２）。これにより、例えば、図１のステップＳ１０、Ｓ１１に示すような画像が得られる。

次に、エッジ検出部２４０は、フレームＮとフレームＮ＋１の歪み補正画像を用いて、フレームＮとフレームＮ＋１のエッジ（輪郭）を検出する（ステップＳ１０３）。エッジ検出は、公知の手段を用いて行われ、例えば画像のコントラストや明度などの差から輪郭を検出する。

次に、特徴点抽出部２５０は、検出されたエッジからフレームＮとフレームＮ＋１の特徴点を抽出する（ステップＳ１０４）。特徴点の抽出は、例えば、公知のハフ変換を用いて行うことができる。特徴点は、好ましくはエッジ（輪郭）のコーナなどである。

次に、オプティカルフロー処理部２６０は、フレームＮとフレームＮ＋１の歪み補正画像から特徴点のオプティカルフロー（動きベクトル）を算出する（ステップＳ１０５）。この処理は、図２に示したステップＳ４０、Ｓ４１、Ｓ５０に対応する。

次に、俯瞰画像変換部２７０は、公知のアフィン変換を用いてフレームＮとフレームＮ＋１の歪み補正画像の特徴点の座標を俯瞰画像の座標に変換する（ステップＳ１０６）。次に、オプティカルフロー処理部２６０は、俯瞰画像上の特徴点のオプティカルフロー（動きベクトル）を算出する（ステップＳ１０７）。図８は、俯瞰画像のオプティカルフローの算出例を示している。同図のステップＳ６０には、フレームＮとフレームＮ+１の俯瞰画像の歩行者Ｐ、静止立体物Ｓ、背景Ｂの代表的な特徴点の動きベクトルＶ１、Ｖ２、Ｖ３が示されている。ステップＳ６１には、自車の速度と舵角に基づき算出された理論上の歩行者P、静止立体物Ｓ、背景Ｂの動きベクトルＶａ、Ｖｂ、Ｖｃが示されている。ステップＳ７０において、ステップＳ６０とＳ６１の動きベクトルの差分が算出され、歩行者Ｐと静止立体物Ｓの動きベクトルＶ１、Ｖ２が算出される。静止立体物Ｓは、移動していないが、フレームＮとフレームＮ+１の俯瞰画像において仮想視点からの静止立体物Ｓの見え方が異なるため、静止立体物Ｓの特徴点に動きベクトルが生じることになる。

次に、物体判定部２２０は、歪み補正画像と俯瞰画像の特徴点の動きベクトルの状態から、特徴点が、移動体、静止立体物、あるいは背景のいずれに分類されるかを判定する（ステップＳ１０８）。図９は、物体判定部２２０の判定基準を示している。歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じであり、俯瞰画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じとき、特徴点は、背景に含まれると判定する。つまり、歪み補正画像および俯瞰画像のオプティカルフローにおいて、移動体および静止立体物が検出されない状況である。

歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向き且つ速さの大きさは同じであり、俯瞰画像のオプティカルフローにおいて、車両進行方向の逆向きでない、もしくは速度の大きさが異なるとき、特徴点は、静止立体物とに含まれると判定する。つまり、歪み補正画像のオプティカルフローでは、移動外が検出されておらず、俯瞰画像のオプティカルフローにおいて立体物が検出された状況である。

歪み補正画像のオプティカルフローにおいて、車両進行方向と逆向きでない、もしくは速さの大きさが異なり、俯瞰画像のオプティカルフローにおいて、車両進行方向の逆向きでない、もしくは速度の大きさが異なるとき、特徴点は、移動体に含まれると判定する。つまり、歪み補正画像と俯瞰画像のオプティカルフローの双方において立体物が検出されている状況である。

このように、歪み補正画像と俯瞰画像のオプティカルフローによる検出を組み合わせることで、特徴点が、移動体、静止立体物、背景のいずれに属するのかをより正確に判定することができる。これにより、撮像データに映し出された物体が、移動体であるのか、静止立体物であるのかの区別を容易に行うことができる。さらに本実施例の車両周辺監視装置は、車両周辺の障害物を検出するためにミリ波レーダー、赤外線などのセンサを用いる必要がなく、車両周辺を撮像する撮像カメラのみを用いて移動体や静止立体物等の障害物を検出することができるため、車両周辺監視装置を低コストにて実現することができる。

次に、警告出力部１３０の好ましい例を説明する。検出された物体（特徴点）が移動体か静止立体物かを区別することで、移動体または静止立体物に応じた警告を行うことができる。例えば、図３や図４において説明したように、静止立体物よりも移動体の危険度が大きい場合には、移動体の警告を静止立体物の警告よりも強調させることができる。図１０は、図３に示すような駐車場に自車が進行するときの警告例である。自車の後方の撮像カメラによって映し出された車両Ｍ１と歩行者Ｐがディスプレイ３００に表示される。歩行者Ｐ（または歩行者Ｐの特徴点）は、移動体と認識され、例えば、歩行者Ｐを取り囲むような円形のハイライト３１０がディスプレイ上に合成して表示され、他方、車両Ｍ１（または車両Ｍ１の特徴点）は、静止立体物と認識され、車両Ｍ１を取り囲む矩形のハイライト３２０がディスプレイ上に合成して表示される。移動体と静止立体物の危険度の優劣を示すために、ハイライト３１０をハイライト３２０よりも目立つように表示し、例えば、ハイライト３１０をハイライト３２０よりも大きく表示したり、太く表示したり、あるいは、ハイライト３１０を赤色で表示し、ハイライト３２０を黄色で表示したり、明度に差をつけて表示することができる。あるいは、移動体のハイライト３１０のみを表示するようにしてもよい。さらに、ハイライトの表示に加えて、自車後方に移動体や静止立体物が存在することが音声にて警告することも可能である。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Ｂ：背景
Ｃ：自転車（移動体）
Ｐ：歩行者（移動体）
Ｑ：移動体の移動方向
Ｒ：自車の移動方向
Ｍ：自車
Ｍ１、Ｍ２：車両
Ｓ：静止立体物
Ｖ１、Ｖ２、Ｖ３：移動ベクトル
Ｗ１、Ｗ２、Ｗ３：監視エリア
３００：ディスプレイ
３１０：移動体のハイライト
３２０：静止立体物のハイライト

Claims (9)

1. 車両周辺を監視する車両周辺監視装置であって、
   車両に取り付けられた撮像手段と、
   前記撮像手段によって撮像された撮像データを画像処理し特徴情報を抽出する画像処理手段と、
   前記画像処理手段により抽出された特徴情報に基づき物体の判定を行う判定手段とを有し、
   前記画像処理手段は、前記撮像データの特徴情報の動きベクトルを検出する第1の検出手段と、俯瞰画像に変換された特徴情報の動きベクトルを検出する第２の検出手段とを含み、
   前記判定手段は、前記第１の検出手段および前記第２の検出手段によって特徴情報の動きベクトルがそれぞれ検出されたとき、当該特徴情報を移動体と判定し、前記第１の検出手段によって特徴情報の動きベクトルが検出されずかつ前記第２の検出手段によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第１の検出手段および前記第２の検出手段によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する、
   車両周辺監視装置。
2. 前記画像処理手段は、撮像データの収差を補正する補正手段と、補正された撮像データのエッジを検出するエッジ検出手段と、検出されたエッジから特徴情報を抽出する抽出手段とを含む、請求項１に記載の車両周辺監視装置。
3. 前記画像処理手段は、前記撮像データを前記俯瞰画像に変換する手段を含む、請求項１に記載の車両周辺監視装置。
4. 車両周辺監視装置はさらに、前記判定手段によって判定された移動体および／または静止立体物に応じた警告を行う警告手段を含む、請求項１または２に記載の車両周辺監視装置。
5. 前記警告手段は、移動体を静止立体物よりも強調して警告する、請求項４に記載の車両周辺監視装置。
6. 前記第１および第２の検出手段は、オプティカルフローによる特徴情報の動きベクトルの検出である、請求項１に記載の車両周辺監視装置。
7. 車両周辺を監視する車両周辺監視方法であって、
   車両に取り付けられた撮像カメラにより車両周辺を撮像するステップと、
   撮像カメラからによって撮像された撮像データから特徴情報を抽出するステップと、
   前記撮像データの特徴情報の動きベクトルを検出するための第１の検出処理を実行し、かつ俯瞰画像に変換された特徴情報の動きベクトルを検出するための第２の検出処理を実行するステップと、
   前記第１の検出処理および前記第２の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を移動体と判定し、前記第１の検出処理により特徴情報の動きベクトルが検出されずかつ前記第２の検出処理によって特徴情報の動きベクトルが検出されたとき、当該特徴情報を静止立体物と判定し、前記第１の検出処理および前記第２の検出処理によって特徴情報の動きベクトルが検出されないとき、当該特徴情報を背景と判定する、
   車両周辺監視方法。
8. 車両周辺物体監視方法はさらに、前記判定するステップによって判定された移動体および／または静止立体物に応じて警告を行うステップを含む、請求項７に記載の車両周辺監視方法。
9. 前記警告するステップは、移動体を静止立体物よりも強調して警告する、請求項８に記載の車両周辺監視方法。

Images