JP2008003695A - 画像処理装置 - Google Patents

Abstract

【課題】周辺にある物体の識別処理を少ない計算量で行うことが可能な画像処理装置を提供する。
【解決手段】画像処理装置２０は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域のオプティカルフローを算出するオプティカルフロー算出手段２２と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域のフローパラメータを算出するフローパラメータ算出手段２４と、フローパラメータ算出手段により算出されたフローパラメータが互いに類似する領域を、同一平面を構成する領域であると識別する領域識別手段２６と、を備える。
【選択図】図１

Description

本発明は、カメラが移動しながら撮像した画像を用いて、画像上の撮像された物体を識別する画像処理装置に関する。

特許文献１には、車両に前方を監視する１台のカメラを搭載して、このカメラにより撮像された画像を処理して周辺の車両や障害物などを識別する装置が提案されている。より詳しく説明すると、この特許文献１に係る装置は、カメラが移動しながら路面を撮像し、第１の画像の路面上の特徴点と、第２の画像の路面上の特徴点とを重ね合わせるための変換行列を算出する。そして、当該装置は、画像の複数の特徴点にこの変換行列を適用し、重ね合わせに失敗した特徴点を立体物の特徴点として識別する。
特開２００３−４４９９６号公報

上述した従来技術に係る装置では、路面上の特徴点を重ね合わせるための変換行列を算出して画像にこの変換行列を適用する必要がある。しかしながら、この処理のための計算量は膨大であるため、障害物の識別処理の計算周期および精度は装置の計算能力により制限されてしまう。即ち、障害物の識別結果を高解像度・高精度で得たい場合には、障害物の識別処理の計算周期を遅くする必要がある。一方、障害物を識別結果を高い計算周期で得たい場合には、障害物の識別結果の解像度・精度が低下してしまう。

本発明は、このような問題を解決するためになされたものであり、画像上の撮像された物体の識別処理を少ない計算量で行うことが可能な画像処理装置を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、フローパラメータ算出手段により算出されたフローパラメータが互いに類似する領域を、同一平面を構成する領域であると識別する領域識別手段と、を備えることを特徴とする。この構成によれば、画像処理装置は、比較的に簡易な処理で算出されるフローパラメータを用いて同一平面を構成する領域を識別するため、画像上の撮像された物体を識別する処理を簡易なものとして、その計算量を少なくすることができる。これにより、識別処理の精度・解像度を向上したり、識別処理の計算周期を短くすることが可能となる。

上述した画像処理装置において、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータに類似する領域を、当該基準平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータを利用して、当該基準平面とフローパラメータが類似する画像上の領域を当該基準平面を構成する領域であると識別するため、画像上で基準平面を構成する領域を簡易な処理で識別することができる。

上述した画像処理装置において、領域識別手段は、３次元座標系における幾何学的配置が互いに異なる複数の基準平面のフローパラメータを用意し、画像上の領域のフローパラメータが複数の基準平面のフローパラメータのいずれかと類似する場合に、画像上の当該領域を、フローパラメータが類似する当該基準平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、複数の基準平面のフローパラメータを用意するため、３次元座標系における幾何学的配置が未知な領域であっても、その領域を構成する基準平面を識別することができる。ここで、基準平面は、道路平面に平行な平面、道路平面に垂直な平面などとすればよい。

上述した画像処理装置において、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが、基準平面のフローパラメータに類似する領域を、静止物体に対応する領域であると識別することが好ましい。この構成によれば、画像処理装置は、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータを利用して、画像上で静止物体に対応する領域を識別することができる。

上述した画像処理装置において、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが、基準平面のフローパラメータに類似する領域を、移動物体に対応する領域であると識別することが好ましい。この構成によれば、画像処理装置は、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータを利用して、画像上で移動物体に対応する領域を識別することができる。

上述した画像処理装置において、領域識別手段は、基準平面の幾何学的配置に基づいて静止物体又は移動物体の３次元座標系における位置を特定することが好ましい。この構成によれば、画像処理装置は、画像上の一領域が静止物体又は移動物体であると識別した場合に、基準平面の３次元座標系における幾何学的配置が既知であることを利用して、静止物体又は移動物体の３次元座標系における位置を特定することができる。

上述した画像処理装置において、フローパラメータ算出手段は、移動物体に対するカメラの相対速度に基づいて、画像の各領域のフローパラメータを算出し、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが基準平面のフローパラメータと類似する領域を、移動物体に対応する領域であると識別することが好ましい。この構成によれば、カメラが移動しつつ移動物体を撮像した場合に生じるフローパラメータと、カメラがその相対速度で移動しつつ静止物体を撮像した場合に生じるフローパラメータとが等価であることを利用して、移動物体に対応する領域を識別することができる。

上述した画像処理装置において、移動物体に対するカメラの相対速度は、カメラの移動速度から移動物体の移動速度の想定値を減算したものであり、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが基準平面のフローパラメータと類似した場合に、移動物体の移動速度が上記想定値であることを特定することが好ましい。この構成によれば、画像処理装置は、移動物体の速度を特定することができる。

上述した画像処理装置において、領域識別手段は、移動物体であると識別された線状の領域であって、当該領域の両側が道路平面であると識別された領域を、移動物体の影に対応する領域であると識別することが好ましい。この構成によれば、画像処理装置は、移動物体の影に対応する領域を識別することができる。

上述した画像処理装置において、領域識別手段は、画像上の道路平面に対応する領域として識別されなかった領域に対して、静止物体又は移動物体の識別処理を行うことが好ましい。この構成によれば、静止物体又は移動物体の識別処理が行われる領域は、画像上の道路平面に対応する領域として識別されなかった領域のみであるため、静止物体又は移動物体を識別する処理の計算量を顕著に少なくすることができる。

上述した画像処理装置において、道路平面のフローパラメータとして、移動物体により走行された位置に対応する領域のフローパラメータを用いることが好ましい。この構成によれば、車両により走行された位置に対応する領域は、確実に道路平面を構成する領域であるため、画像処理装置は、この領域のフローパラメータを道路領域のフローパラメータとして用いることができる。

本発明の画像処理装置によれば、画像上の撮像された物体の識別処理を少ない計算量で行うことができる。

以下、図面を参照して、本発明の画像処理装置の好適な実施形態について説明する。本実施形態において、画像処理装置は車両に搭載されている。

図１に示すように、画像処理装置２０には、撮像手段としてカメラ１０が接続されている。カメラ１０は、例えば、ＣＣＤ[Charge Coupled Device]カメラ１０であり、画像処理装置２０を搭載する自動車の前方かつ中央に取り付けられる。カメラ１０は、所定時間が経過する度に、自動車の前方を撮像して、複数の画素データからなる画像データを生成する。カメラ１０は、生成された画像データを、画像処理装置２０に逐次出力する。

画像処理装置２０は、カメラ１０から画像データを取り込むと、画像データを処理して画像上の物体を識別する処理を行う。特に、画像処理装置２０は、画像上の被撮像物が道路平面、静止物体、移動物体のいずれであるかを識別する。画像処理装置２０は、物理的には、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されている。また、画像処理装置２０は、機能的には、オプティカルフロー算出手段２２と、フローパラメータ算出手段２４と、領域識別手段２６とを備えている。これらの機能は、ＣＰＵおよびＲＡＭが、ＲＯＭに記憶されたプログラムを実行することにより実現される。

オプティカルフロー算出手段２２は、画像データをテンプレートマッチング法により処理することで、オプティカルフローベクトルを算出する。フローパラメータ算出手段２４は、算出されたオプティカルフローベクトルに基づいて、一般的にフローパラメータと呼ばれる８つのパラメータを算出する。領域識別手段２６は、算出されたフローパラメータに基づいて、画像上の被撮像物が道路平面、静止物体、移動物体のいずれであるかを識別する。ここで、静止物体とは、道路端の歩道や縁石、道路上の障害物などである。また、移動物体とは、走行中の他車両や横断歩道を歩く歩行者などである。

上述した画像上の物体を識別する処理を可能とするために、画像処理装置２０には車両センサ３０が接続されている。車両センサ３０は、車両の挙動を検出するものであればよく、例えば、車速センサ、ハンドル角センサ、ヨーレートセンサ、ピッチセンサ、ロールセンサ、前後方向加速度センサ、横方向加速度センサ、上下方向加速度センサなどを含んで構成すればよい。これらのセンサによる検出値は、画像処理装置２０により取り込まれ、画像上の被撮像物を識別する処理に利用される。

画像処理装置２０による物体識別処理の結果は、車室内に設けられたモニターの表示制御や車両の動作制御などに利用される。例えば、画像処理装置２０による物体識別処理の結果が表示制御装置４０に入力されると、表示制御装置４０は、画像上の各領域の識別結果をモニターに表示したり、運転者への警告をモニターに表示する。また、画像処理装置２０による物体識別処理の結果が車両制御装置５０に入力されると、車両制御装置５０は、車両前方の物体との衝突を回避するように、エンジン、ブレーキ、変速機、ステアリングなどを制御する。

［物体識別の原理］
次に、画像処理装置２０が画像上の物体を識別する原理について説明する。

先ず、図２を参照して、３つの座標系、即ち、画像座標系、カメラ座標系および車両座標系について説明する。画像座標系は、カメラ１０の画像面に設定された２次元座標系であり、画像の中心を原点とし、画像の縦方向をｘ軸とし、画像の横方向をｙ軸としている。カメラ座標系は、カメラ１０を中心に設定された３次元座標系であり、カメラ１０の位置を原点とし、カメラ１０の上下方向をＸｃ軸とし、カメラ１０の左右方向をＹｃ軸とし、カメラ１０の光軸方向をＺｃ軸としている。車両座標系は、カメラ座標系を回転したものであり、車両の上下方向をＸｖ軸とし、車両の左右方向をＹｖ軸とし、車両の進行方向をＺｖ軸としている。車両に対するカメラ１０の姿勢が、図３に示されている。図３から理解できるように、カメラ座標系のＺｃ軸と車両座標系のＺｖ軸とがなす角度はθであり、カメラ座標系のＹｃ軸と車両座標系のＹｚ軸とがなす角度はφである。説明の便宜のため角度θ，φを大きく示しているが、実際にはカメラ座標系と車両座標系とはほぼ一致しており角度θ，φは微小である。なお、上述した画像座標系、カメラ座標系および車両座標系は、車両の移動に伴ってカメラ１０と共に移動する。

次に、図４を参照して、オプティカルフローを生じさせるカメラ１０の運動について説明する。車両が車両座標系のＸｖ軸方向、Ｙｖ軸方向、Ｚｖ軸方向にそれぞれａ，ｂ，ｃの速度で並進運動し、Ｘｖ軸周り、Ｙｖ軸周り、Ｚｖ軸周りにそれぞれω１，ω２，ω３の角速度で回転運動する場合には、車両座標系を基準とするカメラ１０の運動パラメータは{ａ，ｂ，ｃ，ω１，ω２，ω３}である。車両座標系を基準とするカメラ１０の運動パラメータを、車両座標系からカメラ座標系に座標変換すると、カメラ座標系を基準とするカメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}となる。

カメラ１０が上記の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}で運動する場合に、画像上の位置（ｘ，ｙ）で、Ｚｃ＝ｐ・Ｘｃ＋ｑ・Ｙｃ＋ｒで表される平面が撮像されると、次の数式（１）で表されるオプティカルフロー（ｕ，ｖ）が引き起こされる。なお、ｕはオプティカルフローベクトルのｘ方向成分であり、ｖはオプティカルフローベクトルのｙ方向成分である。

なお、上の数式（１）において、ｆはカメラ１０の焦点距離である。また、ｐ，ｑおよびｒは、平面を規定するための平面パラメータである。また、８つのパラメータＵ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ及びＦは、一般にフローパラメータと呼ばれる数値であり、次の数式（２）で定義されている。なお、数式（１）および（２）については、「画像理解‐３次元認識の数理」（金谷健一著）に詳述されている。

上述したように、オプティカルフローは、数式（１）および（２）により表されるものであるが、実際には連続撮像して得られる一連の画像を処理して算出される。即ち、あるタイミングの画像を多数の領域に分割してから、テンプレートマッチング法によりそれらの各領域と一致する領域を次のタイミングの画像から探索することにより、オプティカルフローは算出される。

さらに、このように算出されたオプティカルフローから、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝を算出することができる。即ち、画像上の一部の領域を平面であると見做せば、その領域ではフローパラメータは同一であるため、その領域の４つ以上のオプティカルフローの情報（ｘ，ｙ，ｕ，ｖ）からフローパラメータを算出することができる。例えば、画像上の一部の領域の４つのオプティカルフロー情報（ｘ_１，ｙ_１，ｕ_１，ｖ_１）、（ｘ_２，ｙ_２，ｕ_２，ｖ_２）、（ｘ_３，ｙ_３，ｕ_３，ｖ_３）、（ｘ_４，ｙ_４，ｕ_４，ｖ_４）と、カメラ１０の焦点距離ｆを上の数式（１）に代入すると、フローパラメータ{Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ}を未知数として含む数式が合計８つ得られる。よって、これらの８つの数式を周知の手法で処理することにより、フローパラメータの数値を求めることができる。フローパラメータの算出のために、５つ以上のオプティカルフロー情報を用いる場合には、最小自乗法などの近似法を用いればよい。なお、以下の説明では、画像上の位置（ｘ，ｙ）について算出されたフローパラメータを{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}と表す。

上記の数式（２）から理解できるように、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、カメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}および平面パラメータ{ｐ，ｑ，ｒ}によって一義的に定義される。よって、カメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}が一定値である場合には、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、撮像された物体表面の平面パラメータ{ｐ，ｑ，ｒ}と等価な数値として用いることができる。本実施形態における物体識別の原理ではこのようなフローパラメータの特性が利用されており、画像上の各領域について算出されたフローパラメータに基づいて画像上の各領域の平面が識別されている。

即ち、同一平面を撮像した画像領域については８つのフローパラメータはほぼ等しい値となる。よって、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を互いに比較することにより、２つの画像領域が同一平面であるか否かを判定することができる。特に、本実施形態では、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータとして、道路平面、静止物体又は移動物体を構成する平面のフローパラメータを求める。そして、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を基準平面のフローパラメータと比較することにより、画像上の各領域が、道路平面、静止物体、移動物体のいずれであるかを識別している。以下に、フローパラメータどうしの比較から物体を識別する処理について、より詳しく説明する。

先ず、画像上の道路平面に対応する領域を識別する方法について説明する。道路平面を識別するためには、基準平面のフローパラメータとして、確実に道路平面である領域のフローパラメータを取得する必要がある。例えば、あるタイミングにおいて車両の直前にある領域であって、その後のタイミングに車両がこの領域を走行している場合には、この領域は確実に道路平面である。よって、このような領域について算出されたフローパラメータを、道路平面のフローパラメータ{Ｕ_ｒ，Ｖ_ｒ，Ａ_ｒ，Ｂ_ｒ，Ｃ_ｒ，Ｄ_ｒ，Ｅ_ｒ，Ｆ_ｒ}として取得する。そして、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、道路平面のフローパラメータ{Ｕ_ｒ，Ｖ_ｒ，Ａ_ｒ，Ｂ_ｒ，Ｃ_ｒ，Ｄ_ｒ，Ｅ_ｒ，Ｆ_ｒ}と比較する。ここで、両フローパラメータが類似する場合には、画像上のその領域は道路平面であると識別される。なお、両フローパラメータの類似とは、両フローパラメータが一致する場合、及び両フローパラメータの差分が所定の閾値より小さい場合である。

次に、画像上の静止物体（道路端の歩道や縁石、道路上の障害物など）に対応する領域を識別する方法について説明する。通常、カメラ１０により撮像される静止物体の表面は、道路平面に平行な第１平面（図１０の符号Ｓ１を参照）、道路平面に垂直で車両の進行方向に平行な第２平面（図１０の符号Ｓ２を参照）、道路平面および車両の進行方向に垂直な第３平面の少なくとも１つを含んでいる。そこで、本実施形態では、基準平面のフローパラメータとして、静止物体の第１〜第３平面のフローパラメータ{Ｕ_１,２or３，Ｖ_１,２or３，Ａ_１,２or３，Ｂ_１,２or３，Ｃ_１,２or３，Ｄ_１,２or３，Ｅ_１,２or３，Ｆ_１,２or３}を求め、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}が、第１〜第３平面のフローパラメータと類似するか否かを調べることで、画像上の静止物体に対応する領域を識別する。

数式（２）から理解できるように、静止物体の第１〜第３平面のフローパラメータを算出するためには、第１〜第３平面の平面パラメータ{ｐ_１,２or３，ｑ_１,２or３，ｒ_１,２or３}の情報が必要とされる。よって、第１〜第３平面のフローパラメータを算出するに際して、第１〜第３平面の平面パラメータ{ｐ_１,２or３，ｑ_１,２or３，ｒ_１,２or３}が求められる。ここで、第１〜第３平面の平面パラメータ{ｐ_１,２or３，ｑ_１,２or３，ｒ_１,２or３}を好適に求めるために、既述の道路平面の識別処理において利用された道路平面の平面パラメータ｛ｐ_ｒ，ｑ_ｒ，ｒ_ｒ｝が利用される。

道路平面に平行な第１平面の平面パラメータ｛ｐ_１，ｑ_１，ｒ_１｝は、図３に示される幾何学的関係を考慮すると、次の数式（３）で表される。次の数式（３）は、道路平面に平行な第１平面が道路平面を基準としてΔＨの高さにある場合の式である。なお、次の数式（３）において、カメラ座標系のＺｃ軸と車両座標系のＺｖ軸とがなす角度θは微小であるため、ｓｉｎθ≒θと近似している。

道路平面に垂直な第２平面の平面パラメータ｛ｐ_２，ｑ_２，ｒ_２｝は、次の数式（４）で表される。次の数式（４）は、カメラから第２平面までの左右方向の距離がΔＷである場合の式である。なお、次の数式（４）は、第２平面が道路平面に対して垂直であり、第２平面が車両の進行方向と平行であること、言い換えれば、第２平面に垂直なベクトル（ｐ_２，ｑ_２，−１）と道路平面に垂直なベクトル（ｐ_ｒ，ｑ_ｒ，−１）との内積が０であり、第２平面に垂直なベクトル（ｐ_２，ｑ_２，−１）と車両の進行方向に延びるベクトルとの内積が０であることに基づいている。

道路平面に垂直な第３平面の平面パラメータ｛ｐ_３，ｑ_３，ｒ_３｝は、次の数式（５）で表される。次の数式（５）は、カメラ１０から第３平面までのカメラ光軸Ｚｃ方向の距離がΔＬである場合の式である。なお、次の数式（５）は、第３平面が道路平面および車両の進行方向に対して垂直であること、言い換えれば、第３平面に垂直なベクトル（ｐ_３，ｑ_３，−１）と道路平面に垂直なベクトル（ｐ_ｒ，ｑ_ｒ，−１）との内積が０であり、第３平面に垂直なベクトル（ｐ_３，ｑ_３，−１）と車両の左右方向に延びるベクトルとの内積が０であることに基づいている。

上記の数式（３），（４），（５）の計算処理を行うことにより、第１〜第３平面の平面パラメータ｛ｐ_１，ｑ_１，ｒ_１｝、｛ｐ_２，ｑ_２，ｒ_２｝、｛ｐ_３，ｑ_３，ｒ_３｝の具体的な数値を得ることができる。そして、これらの第１〜第３平面の平面パラメータおよびカメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}を、上記の数式（２）に代入することにより、静止物体の第１〜第３平面のフローパラメータ{Ｕ_１,２or３，Ｖ_１,２or３，Ａ_１,２or３，Ｂ_１,２or３，Ｃ_１,２or３，Ｄ_１,２or３，Ｅ_１,２or３，Ｆ_１,２or３}を算出することができる。なお、カメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}は、車両センサ３０により検出された車両の運動パラメータ{ａ，ｂ，ｃ，ω１，ω２，ω３}を、車両座標系からカメラ座標系に座標変換することにより得られる。

上述したように静止物体の第１〜第３平面のフローパラメータを求めてから、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}が、第１〜第３平面のフローパラメータと類似するか否かを判定する。ここで、画像上の各領域のフローパラメータが第１〜第３平面のフローパラメータと類似する場合には、画像上のその領域は静止物体を構成する領域と識別される。より詳しくは、画像上の各領域のフローパラメータが第１平面のフローパラメータと類似する場合には、画像上のその領域は第１平面を構成する領域と識別される。同様に、画像上の各領域のフローパラメータが第２平面のフローパラメータと類似する場合には、画像上のその領域は第２平面を構成する領域と識別される。また同様に、画像上の各領域のフローパラメータが第３平面のフローパラメータと類似する場合には、画像上のその領域は第３平面を構成する領域と識別される。

次に、画像上の移動物体（他車両や歩行者など）に対応する領域を識別する方法について説明する。通常、静止物体と同様に、カメラ１０により撮像される移動物体の表面は、道路平面に平行な第１平面（図１０の符号Ｔ１を参照）、道路平面に垂直で車両の進行方向に平行な第２平面（図１０の符号Ｔ２を参照）、道路平面および車両の進行方向に垂直な第３平面（図１０の符号Ｔ３を参照）の少なくとも１つを含んでいる。そこで、本実施形態では、基準平面のフローパラメータとして、移動物体の第１〜第３平面のフローパラメータ{Ｕ_１,２or３，Ｖ_１,２or３，Ａ_１,２or３，Ｂ_１,２or３，Ｃ_１,２or３，Ｄ_１,２or３，Ｅ_１,２or３，Ｆ_１,２or３}を求め、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}が、第１〜第３平面のフローパラメータと類似するか否かを調べることで、画像上の静止物体に対応する領域を識別する。

数式（２）から理解できるように、移動物体の第１〜第３平面のフローパラメータを算出するためには、第１〜第３平面の平面パラメータ{ｐ_１,２or３，ｑ_１,２or３，ｒ_１,２or３}の情報が必要とされる。よって、移動物体の第１〜第３平面のフローパラメータを算出するために、既述のとおり、上記の数式（３），（４），（５）を用いて第１〜第３平面の平面パラメータを算出する。

また、移動物体の第１〜第３平面のフローパラメータを算出するためには、上述した第１〜第３平面の平面パラメータと共に、移動物体に対するカメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}を、数式（２）に代入する必要がある。ここで、移動物体に対するカメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}は、カメラ１０の運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}に代えて数式（２）に代入される。運動パラメータ{ａ_ｃ，ｂ_ｃ，ｃ_ｃ，ω１_ｃ，ω２_ｃ，ω３_ｃ}で移動するカメラが運動パラメータ{ａ_ｏ，ｂ_ｏ，ｃ_ｏ，０，０，０}で移動する移動物体を撮像した場合に生じるフローパラメータと、運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}で移動するカメラが静止物体を撮像した場合に生じるフローパラメータとは等価だからである。なお、移動物体の回転運動{ω１_ｏ，ω２_ｏ，ω３_ｏ}は無視している。

上述したように、第１〜第３平面の平面パラメータ、および移動物体に対するカメラ１０の相対的な運動パラメータを、上記の数式（２）に代入することにより、移動物体の第１〜第３平面のフローパラメータ{Ｕ_１,２or３，Ｖ_１,２or３，Ａ_１,２or３，Ｂ_１,２or３，Ｃ_１,２or３，Ｄ_１,２or３，Ｅ_１,２or３，Ｆ_１,２or３}を算出することができる。

上述したように移動物体の第１〜第３平面のフローパラメータを求めてから、画像上の各領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}が、第１〜第３平面のフローパラメータ{Ｕ_１,２or３，Ｖ_１,２or３，Ａ_１,２or３，Ｂ_１,２or３，Ｃ_１,２or３，Ｄ_１,２or３，Ｅ_１,２or３，Ｆ_１,２or３}と類似するか否かを判定する。ここで、画像上の各領域のフローパラメータが第１〜第３平面のフローパラメータと類似する場合には、画像上のその領域は移動物体を構成する領域と識別される。より詳しくは、画像上の各領域のフローパラメータが第１平面のフローパラメータと類似する場合には、画像上のその領域は第１平面を構成する領域と識別される。同様に、画像上の各領域のフローパラメータが第２平面のフローパラメータと類似する場合には、画像上のその領域は第２平面を構成する領域と識別される。また同様に、画像上の各領域のフローパラメータが第３平面のフローパラメータと類似する場合には、画像上のその領域は第３平面を構成する領域と識別される。

なお、上記に説明した画像上の静止物体および移動物体の識別処理では、あるタイミングにおいて車両の直前にある領域であってその後のタイミングに車両が走行している領域を、道路平面に対応する領域として判別して、道路平面のフローパラメータを求める一例について説明した。但し、道路平面に対応する領域は、他の方法により判別してもよい。例えば、カメラに対する道路平面の幾何学的な配置関係は、図３に示されるように殆ど決まっていることから、道路平面のフローパラメータを計算により算出することもできる。よって、このように算出された道路平面のフローパラメータを利用してもよい。

なお、上記に説明した物体識別の原理では、画像上の第１〜第３平面を識別する原理について説明しているが、道路平面に対して傾斜した平面を識別することもできる。道路平面に対して傾斜した平面を識別する際には、傾斜した平面の平面パラメータを算出して、上述した静止物体及び移動物体の識別処理に適用すればよい。なお、傾斜した平面の平面パラメータは、第１〜第３平面の平面パラメータと同様な方法で、道路平面を基準として算出すればよい。

［物体識別処理］
次に、図５〜図９のフローチャートを参照して、本実施形態の画像処理装置２０による物体識別処理について説明する。図５には、画像処理装置２０による物体識別処理の全体的なフローが示されている。図６には、画像上の道路平面に対応する領域を識別する処理のフローが示されている。図７には、画像上の静止物体に対応する領域を識別する処理のフローが示されている。図８には、画像上の移動物体に対応する領域を識別する処理のフローが示されている。また図９には、移動物体の影に対応するオプティカルフローなどを修正する処理のフローが示されている。

図５のフローチャートに示されるように、画像処理装置２０は、一定の時間間隔（例えば３０ｍｓｅｃ）ごとのタイミングＴ_ｎに画像データを取り込む（Ｓ５０１）。画像処理装置２０により取り込まれた画像データの一例を、図１０に示す。この画像では、前方に道路が拡がっている。道路上には対向車両が存在し、道路の端には歩道が延びている。画像処理装置２０は、取り込まれた画像データをＬｏＧフィルタ（Laplacian of Gaussian Filter）で処理する。次に、画像処理装置２０は、全画像面を矩形の小さな領域（例えば、８×８画素の領域、以下、小領域と呼ぶ）に網目状に分割し（図１１参照）、テンプレートマッチング法により各小領域ごとにオプティカルフローベクトルを算出する（Ｓ５０２、図１２参照）。より詳しく説明すると、画像処理装置２０は、タイミングＴ_ｎの画像を構成する各小領域とほぼ一致する領域を次のタイミングＴ_ｎ＋１の画像から探索することによって、オプティカルフローベクトルのｘ軸方向成分ｕおよびｙ軸方向成分ｖを算出する。

次に、画像処理装置２０は、隣接する４つの小領域を含む領域を一組の領域（以下、中領域と呼ぶ）として設定し、各中領域を一枚の平面であると仮定して各中領域のフローパラメータを算出する（Ｓ５０３）。中領域に含まれる４つの小領域のオプティカルフロー情報（ｘ_１，ｙ_１，ｕ_１，ｖ_１）、（ｘ_２，ｙ_２，ｕ_２，ｖ_２）、（ｘ_３，ｙ_３，ｕ_３，ｖ_３）、（ｘ_４，ｙ_４，ｕ_４，ｖ_４）から当該中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を算出する方法については既述のとおりである。

次に、画像処理装置２０は、上述した手順で算出されたフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を処理して、画像上において道路平面、静止物体又は移動物体に対応する領域を識別する処理を行う（Ｓ５０４，Ｓ５０５，Ｓ５０６）。以下、図６〜図８を参照して、画像上で道路平面、静止物体又は移動物体に対応する領域を識別する処理について説明する。

図６には、画像上において道路平面に対応する領域を識別する処理のフローチャートが示されている。図６に示される処理は、図５のステップ５０４に対応している。図６に示されるフローチャートにおいて、画像処理装置２０は、先ず、あるタイミングにおいて車両直前にある中領域であってその後のタイミングにおいて自車が走行している中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、道路平面のフローパラメータ{Ｕ_ｒ，Ｖ_ｒ，Ａ_ｒ，Ｂ_ｒ，Ｃ_ｒ，Ｄ_ｒ，Ｅ_ｒ，Ｆ_ｒ}として取得する（Ｓ６０１）。

次に、画像処理装置２０は、画像上の各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、道路平面のフローパラメータ{Ｕ_ｒ，Ｖ_ｒ，Ａ_ｒ，Ｂ_ｒ，Ｃ_ｒ，Ｄ_ｒ，Ｅ_ｒ，Ｆ_ｒ}と比較して、両フローパラメータが類似するか否かを判定する（Ｓ６０２）。具体的には、画像処理装置２０は、次の数式（６）を用いて両フローパラメータの差分ΔＦＰ_ｒを求め、この差分ΔＦＰ_ｒが予め設定された閾値ＴＨよりも大きいか否かを判定する。

ここで、ｋ_Ｕ，ｋ_Ｖ，ｋ_Ａ，ｋ_Ｂ，ｋ_Ｃ，ｋ_Ｄ，ｋ_Ｅ，ｋ_Ｆは、各フローパラメータの重み係数である。各フローパラメータの重み係数ｋ_Ｕ〜ｋ_Ｆとしては、道路平面に対応する領域を識別するために好適な値が設定されればよい。ここで、各フローパラメータの重み係数ｋ_Ｕ〜ｋ_Ｆとしてそれぞれ異なる値が設定されてもよいし、共通する値が設定されてもよい。また、差分ΔＦＰ_ｒと比較される閾値ＴＨは、道路平面に対応する領域を識別するために好適な値が設定される。例えば、閾値ＴＨは、自車両の走行速度やカメラ１０から道路の被撮像位置までの距離に応じて異なる値としてもよい。

ステップ６０２において差分ΔＦＰ_ｒが閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似するため、その中領域が道路平面を構成する領域であると識別する（Ｓ６０３）。例えば、図１３において斜線で示される領域が道路平面であると識別される。一方、ステップ６０２において差分ΔＦＰ_ｒが閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ５０５に進む。

次に、静止物体（道路端にある歩道や縁石、道路上にある障害物など）に対応する領域を識別する処理について説明する。図７には、画像上において静止物体に対応する領域を識別する処理のフローチャートが示されている。図７に示される処理は、図５のステップ５０５に対応している。なお、以下に説明する静止物体に対応する領域を識別する処理は、道路平面に対応する領域として識別されなかった領域に対して行われる。

ステップ７０１〜ステップ７０３は、道路平面に平行な第１平面を識別するための処理である。ステップ７０１において、画像処理装置２０は、先ず、道路平面に平行で道路平面よりも高い位置にある第１平面の平面パラメータ｛ｐ_１，ｑ_１，ｒ_１｝を算出し、さらに、第１平面の平面パラメータに基づいて第１平面のフローパラメータ{Ｕ_１，Ｖ_１，Ａ_１，Ｂ_１，Ｃ_１，Ｄ_１，Ｅ_１，Ｆ_１}を算出する（Ｓ７０１）。ここで、第１平面の平面パラメータおよびフローパラメータは、例えば、道路平面から上限までの１０ｃｍごとの複数の高さΔＨについて算出される。それぞれの高さΔＨの第１平面は、幾何学的配置が既知である。なお、第１平面の平面パラメータおよびフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、複数の高さΔＨの第１平面のフローパラメータ{Ｕ_１，Ｖ_１，Ａ_１，Ｂ_１，Ｃ_１，Ｄ_１，Ｅ_１，Ｆ_１}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ７０２）。具体的には、画像処理装置２０は、次の数式（７）を用いて両フローパラメータの差分ΔＦＰ_１を求め、この差分ΔＦＰ_１が予め設定された閾値ＴＨよりも大きいか否かを判定する。

ステップ７０２において、第１平面のフローパラメータのいずれかについて、差分ΔＦＰ_１が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第１平面のフローパラメータと類似するため、その中領域がその第１平面を構成する領域であると識別する（Ｓ７０３）。一方、ステップ７０２において差分ΔＦＰ_１が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第１平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ７０４に進む。

ステップ７０４〜ステップ７０６は、道路平面に垂直で車両の進行方向に平行な第２平面を識別するための処理である。ステップ７０４において、画像処理装置２０は、道路平面に垂直でカメラから左右方向に距離ΔＷの位置にある第２平面の平面パラメータ｛ｐ_２，ｑ_２，ｒ_２｝を算出し、さらに、第２平面の平面パラメータに基づいて第２平面のフローパラメータ{Ｕ_２，Ｖ_２，Ａ_２，Ｂ_２，Ｃ_２，Ｄ_２，Ｅ_２，Ｆ_２}を算出する（Ｓ７０４）。ここで、第２平面の平面パラメータおよびフローパラメータは、例えば、カメラから左右方向に１０ｃｍごとの複数の距離ΔＷについて算出される。それぞれの距離ΔＷの第２平面は、幾何学的配置が既知である。なお、第２平面の平面パラメータおよびフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、複数の距離ΔＷの第２平面のフローパラメータ{Ｕ_２，Ｖ_２，Ａ_２，Ｂ_２，Ｃ_２，Ｄ_２，Ｅ_２，Ｆ_２}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ７０５）。具体的には、画像処理装置２０は、次の数式（８）を用いて両フローパラメータの差分ΔＦＰ_２を求め、この差分ΔＦＰ_２が予め設定された閾値ＴＨよりも大きいか否かを判定する。

ステップ７０５において、第２平面のフローパラメータのいずれかについて、差分ΔＦＰ_２が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第２平面のフローパラメータと類似するため、その中領域がその第２平面を構成する領域であると識別する（Ｓ７０６）。一方、ステップ７０５において差分ΔＦＰ_２が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第２平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ７０７に進む。

ステップ７０７〜ステップ７０９は、道路平面および車両進行方向に垂直な第３平面を識別するための処理である。ステップ７０７において、画像処理装置２０は、車両進行方向に距離ΔＬの位置にある第３平面の平面パラメータ｛ｐ_３，ｑ_３，ｒ_３｝を算出し、さらに、第３平面の平面パラメータに基づいて第３平面のフローパラメータ{Ｕ_３，Ｖ_３，Ａ_３，Ｂ_３，Ｃ_３，Ｄ_３，Ｅ_３，Ｆ_３}を算出する（Ｓ７０７）。ここで、第３平面の平面パラメータおよびフローパラメータは、例えば、カメラ位置から車両進行方向に１０ｃｍごとの複数の距離ΔＬについて算出される。それぞれの距離ΔＬの第３平面は、幾何学的配置が既知である。なお、第３平面の平面パラメータおよびフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、複数の距離ΔＬの第３平面のフローパラメータ{Ｕ_３，Ｖ_３，Ａ_３，Ｂ_３，Ｃ_３，Ｄ_３，Ｅ_３，Ｆ_３}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ７０８）。具体的には、画像処理装置２０は、次の数式（９）を用いて両フローパラメータの差分ΔＦＰ_３を求め、この差分ΔＦＰ_３が予め設定された閾値ＴＨよりも大きいか否かを判定する。

ステップ７０８において、第２平面のフローパラメータのいずれかについて、差分ΔＦＰ_３が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第３平面のフローパラメータと類似するため、その中領域がその第３平面を構成する領域であると識別する（Ｓ７０９）。一方、ステップ７０８において差分ΔＦＰ_３が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第３平面のフローパラメータと類似しないため、その中領域の識別を行うことなく次のステップに進む。上述したステップ７０１〜ステップ７０９の処理により、例えば、図１４において斜線で示される領域が静止物体であると識別される。

なお、上述した処理に用いられた基準平面は、３次元座標系における幾何学的配置が既知である。そこで、画像処理装置２０は、各中領域のフローパラメータと基準平面のフローパラメータとが類似すると判定された場合、基準平面の幾何学的配置に基づいて、静止物体の３次元座標系における位置を特定する。即ち、いずれかの中領域のフローパラメータが第１平面のフローパラメータと類似すると判定された場合には、静止物体がその高さΔＨにあることを特定する。また、いずれかの中領域のフローパラメータが第２平面のフローパラメータと類似すると判定された場合には、静止物体が左右方向の位置ΔＷにあることを特定する。また、いずれかの中領域のフローパラメータが第３平面のフローパラメータと類似すると判定された場合には、静止物体が車両進行方向の位置ΔＬにあることを特定する。

次に、移動物体（対向車両や歩行者など）に対応する領域を識別する処理について説明する。図８には、画像上において移動物体に対応する領域を識別する処理のフローチャートが示されている。図８に示される処理は、図５のステップ５０６に対応している。なお、以下に説明する移動物体に対応する領域を識別する処理は、道路平面又は静止物体に対応する領域として識別されなかった領域に対して行われる。

図８に示される処理において、先ず、画像処理装置２０は、移動物体に対するカメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}を算出する（Ｓ８０１）。ここで、移動物体の想定速度の各方向成分ａ_ｏ，ｂ_ｏ，ｃ_ｏは所定値（例えば１ｋｍ／ｈ）ごとの様々な値とし、これらの様々な想定速度についてカメラ１０の相対的な運動パラメータを算出する。なお、画像データの取り込み周期が３０ｍｓｅｃ程度であるため、移動物体の相対的なヨーレート、ピッチレート、ロールレートは無視している。

ステップ８０２〜ステップ８０４は、道路平面に平行な第１平面を識別するための処理である。ステップ８０２において、画像処理装置２０は、カメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}のいずれか１つと、既述のステップ７０１で利用された複数の高さΔＨの第１平面の平面パラメータ{ｐ_１，ｑ_１，ｒ_１}のいずれか１つとに基づいて、第１平面のフローパラメータ{Ｕ_１，Ｖ_１，Ａ_１，Ｂ_１，Ｃ_１，Ｄ_１，Ｅ_１，Ｆ_１}を算出する（Ｓ８０２）。ここで、カメラ１０の相対的な運動パラメータと第１平面の平面パラメータとの全ての組み合わせについて第１平面のフローパラメータを算出するため、複数の第１平面のフローパラメータが得られる。なお、第１平面のフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、第１平面のフローパラメータ{Ｕ_１，Ｖ_１，Ａ_１，Ｂ_１，Ｃ_１，Ｄ_１，Ｅ_１，Ｆ_１}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ８０３）。具体的には、両フローパラメータが類似するか否かを判定するためには、既述の数式（７）により差分ΔＦＰ_１を算出して、差分ΔＦＰ_１を閾値ＴＨと比較すればよい。

ステップ８０３において、第１平面のフローパラメータのいずれかについて、差分ΔＦＰ_１が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第１平面のフローパラメータと類似するため、その中領域がその第１平面を構成する領域であると識別する（Ｓ８０４）。一方、ステップ８０３において差分ΔＦＰ_１が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第１平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ８０５に進む。

ステップ８０５〜ステップ８０７は、道路平面に平行な第２平面を識別するための処理である。ステップ８０５において、画像処理装置２０は、カメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}のいずれか１つと、既述のステップ７０５で利用された複数の水平方向距離ΔＷの第２平面の平面パラメータ{ｐ_２，ｑ_２，ｒ_２}のいずれか１つとに基づいて、第２平面のフローパラメータ{Ｕ_２，Ｖ_２，Ａ_２，Ｂ_２，Ｃ_２，Ｄ_２，Ｅ_２，Ｆ_２}を算出する（Ｓ８０５）。ここで、カメラ１０の相対的な運動パラメータと第２平面の平面パラメータとの全ての組み合わせについて第２平面のフローパラメータを算出するため、複数の第２平面のフローパラメータが得られる。なお、第２平面のフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、第２平面のフローパラメータ{Ｕ_２，Ｖ_２，Ａ_２，Ｂ_２，Ｃ_２，Ｄ_２，Ｅ_２，Ｆ_２}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ８０６）。具体的には、両フローパラメータが類似するか否かを判定するためには、既述の数式（８）によりΔＦＰ_２を算出して、差分ΔＦＰ_２を閾値ＴＨと比較すればよい。

ステップ８０６において、第２平面のフローパラメータのいずれかについて、差分ΔＦＰ_２が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第２平面のフローパラメータと類似するため、その中領域がその第２平面を構成する領域であると識別する（Ｓ８０７）。一方、ステップ８０６において差分ΔＦＰ_２が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第２平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ８０８に進む。

ステップ８０８〜ステップ８１０は、道路平面に平行な第３平面を識別するための処理である。ステップ８０８において、画像処理装置２０は、カメラ１０の相対的な運動パラメータ{ａ_ｃ−ａ_ｏ，ｂ_ｃ−ｂ_ｏ，ｃ_ｃ−ｃ_ｏ，ω１_ｃ，ω２_ｃ，ω３_ｃ}のいずれか１つと、既述のステップ７０５で利用された複数の距離ΔＬの第３平面の平面パラメータ{ｐ_３，ｑ_３，ｒ_３}のいずれか１つとに基づいて、第３平面のフローパラメータ{Ｕ_３，Ｖ_３，Ａ_３，Ｂ_３，Ｃ_３，Ｄ_３，Ｅ_３，Ｆ_３}を算出する（Ｓ８０８）。ここで、カメラ１０の相対的な運動パラメータと第３平面の平面パラメータとの全ての組み合わせについて第３平面のフローパラメータを算出するため、複数の第３平面のフローパラメータが得られる。なお、第３平面のフローパラメータの算出方法は、「物体識別の原理」で説明したとおりである。

次に、画像処理装置２０は、各中領域のフローパラメータ{Ｕ_ｘ，ｙ，Ｖ_ｘ，ｙ，Ａ_ｘ，ｙ，Ｂ_ｘ，ｙ，Ｃ_ｘ，ｙ，Ｄ_ｘ，ｙ，Ｅ_ｘ，ｙ，Ｆ_ｘ，ｙ}を、第３平面のフローパラメータ{Ｕ_３，Ｖ_３，Ａ_３，Ｂ_３，Ｃ_３，Ｄ_３，Ｅ_３，Ｆ_３}のそれぞれと比較して、両フローパラメータが類似するか否かを判定する（Ｓ８０９）。具体的には、両フローパラメータが類似するか否かを判定するためには、既述の数式（９）によりΔＦＰ_３を算出して、差分ΔＦＰ_３を閾値ＴＨと比較すればよい。

ステップ８０９において、第３平面のフローパラメータのいずれかについて、差分ΔＦＰ_３が閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータがその第３平面のフローパラメータと類似するため、その中領域がその第３平面を構成する領域であると識別する（Ｓ８１０）。一方、ステップ８０９において差分ΔＦＰ_３が閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが第３平面のフローパラメータと類似しないため、その中領域の識別を行うことなくステップ８１１の処理に進む。上述したステップ８０１〜ステップ８１０の処理により、例えば、図１５において斜線で示される領域が移動物体であると識別される。

なお、上述した処理に用いられた基準平面は、３次元座標系における幾何学的配置が既知である。そこで、画像処理装置２０は、各中領域とフローパラメータが類似すると判定された基準平面の幾何学的配置に基づいて、移動物体の３次元座標系における位置を特定する。即ち、いずれかの中領域のフローパラメータが第１平面のフローパラメータと類似すると判定された場合には、移動物体が高さΔＨにあることを特定する。また、いずれかの中領域のフローパラメータが第２平面のフローパラメータと類似すると判定された場合には、移動物体が左右方向の位置ΔＷにあることを特定する。また、いずれかの中領域のフローパラメータが第３平面のフローパラメータと類似すると判定された場合には、移動物体が車両進行方向の位置ΔＬにあることを特定する。

次に、移動物体の影のオプティカルフローを修正するための処理について説明する。図９には、移動物体の影のオプティカルフローを修正する処理のフローチャートが示されている。図９に示される処理は、図８のステップ８１１に対応している。

対向車両などの移動物体が道路上にある場合には、道路上において移動物体の影の周縁のオプティカルフローがその周辺のオプティカルフローに比べて大きくなる。これは、パターンマッチング処理において、移動物体の影の周縁は移動物体と同じ速度で移動しているように処理されてしまうからである。このように過大となったオプティカルフローが存在すると、実際には道路平面に対応する領域が移動物体として識別されてしまい、車両制御のために好ましくない。そこで、画像処理装置２０は、以下の処理により移動物体の影の領域を識別し、その領域のオプティカルフローなどを修正している。

先ず、画像処理装置２０は、移動物体と識別された領域の各部の幅を計算する（Ｓ９０１）。具体的には、画像処理装置２０は、移動物体と識別された領域の各部についてｘ軸方向及びｙ軸方向に連続する画素数を計数し、その連続する画素数の計数値に基づいて移動物体と識別された領域に含まれる線状部位を探索する（Ｓ９０２）。次に、画像処理装置２０は、線状部位の両側のフローパラメータが、道路領域のフローパラメータと類似するか否かを判定する（Ｓ９０３）。ここで、線状部位の両側のフローパラメータが道路領域のフローパラメータと類似する場合には、この線状部位を移動物体の影に対応する領域であると識別する。そして、画像処理装置２０は、移動物体の影に対応する領域のオプティカルフローやフローパラメータを、周辺の道路領域のオプティカルフローやフローパラメータで置換する（Ｓ９０４）。次に、画像処理装置２０は、移動物体と識別された領域から線状部位を除去した領域を、実際に移動物体に対応する領域と識別する（Ｓ９０５）。これにより、移動物体の実際の位置に基づいて車両制御を行うことができる。

本実施形態の画像処理装置を示す概略図である。 画像座標系、カメラ座標系、車両座標系を説明するための模式図である。 車両に搭載されたカメラの姿勢を説明するための模式図である。 車両の運動パラメータを説明するための模式図である。 物体識別処理の概略を示すフローチャートである。 道路平面の識別処理を示すフローチャートである。 静止物体の識別処理を示すフローチャートである。 移動物体の識別処理を示すフローチャートである。 移動物体の影の識別処理を示すフローチャートである。 画像処理装置に取り込まれた画像を示す図である。 画像の小領域を示す図である。 画像のオプティカルフローを示す図である。 画像から識別された道路平面を示す図である。 画像から識別された歩道を示す図である。 画像から識別された他車両を示す図である。

符号の説明

１０…カメラ、２０…画像処理装置、３０…車両センサ、４０…表示制御装置、５０…車両動作制御装置。

Claims (14)

1. 異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、
   前記オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、
   前記フローパラメータ算出手段により算出されたフローパラメータが互いに類似する領域を、同一平面を構成する領域であると識別する領域識別手段と、
   を備えることを特徴とする画像処理装置。
2. 前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータに類似する領域を、当該基準平面を構成する領域であると識別することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域識別手段は、３次元座標系における幾何学的配置が互いに異なる複数の基準平面のフローパラメータを用意し、画像上の領域のフローパラメータが前記複数の基準平面のフローパラメータのいずれかと類似する場合に、画像上の当該領域を、フローパラメータが類似する当該基準平面を構成する領域であると識別することを特徴とする請求項２に記載の画像処理装置。
4. 前記基準平面は、道路平面に平行な平面であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記基準平面は、道路平面に垂直な平面であって、移動物体の進行方向に平行な平面であることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記基準平面は、道路平面に垂直な平面であって、移動物体の進行方向に垂直な平面であることを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが、前記基準平面のフローパラメータに類似する領域を、静止物体に対応する領域であると識別することを特徴とする請求項２〜６のいずれか１項に記載の画像処理装置。
8. 前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが、前記基準平面のフローパラメータに類似する領域を、移動物体に対応する領域であると識別することを特徴とする請求項２〜６のいずれか１項に記載の画像処理装置。
9. 前記領域識別手段は、前記基準平面の幾何学的配置に基づいて前記静止物体又は前記移動物体の３次元座標系における位置を特定することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記フローパラメータ算出手段は、前記移動物体に対するカメラの相対速度に基づいて、画像の各領域のフローパラメータを算出し、
    前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが前記基準平面のフローパラメータと類似する領域を、移動物体に対応する領域であると識別することを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記移動物体に対するカメラの相対速度は、前記カメラの移動速度から前記移動物体の移動速度の想定値を減算したものであり、
    前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが前記基準平面のフローパラメータと類似した場合に、前記移動物体の移動速度が前記想定値であると特定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記領域識別手段は、移動物体であると識別された線状の領域であって、当該領域の両側が道路平面であると識別された領域を、前記移動物体の影に対応する領域であると識別することを特徴とする請求項８に記載の画像処理装置。
13. 前記領域識別手段は、画像上の道路平面に対応する領域として識別されなかった領域に対して、静止物体又は移動物体の識別処理を行うことを特徴とする請求項７又は８に記載の画像処理装置。
14. 前記道路平面のフローパラメータとして、移動物体により走行された位置に対応する領域のフローパラメータを用いることを特徴とする請求項１３に記載の画像処理装置。

Images