JP2015204017A - 車線認識装置 - Google Patents

Abstract

【課題】車線の検出精度を向上させることのできる車線認識装置を提供することにある。【解決手段】車両に搭載されたカメラ２０２にて撮像された画像から俯瞰画像を作成し、該俯瞰画像からエッジを抽出するエッジ抽出部３０３と、抽出されたエッジの、画像中の座標を記憶するエッジ座標保持部３０５と、抽出されたエッジの、車線尤度を評価するエッジ評価部３０６と、エッジの座標を、車速センサ３０７より与えられる移動量に応じて更新するエッジ座標更新部３０８と、エッジ座標保持部３０５に記憶されているエッジから、エッジの分布のばらつきが小さくなるように、エッジを選択するエッジ空間配置補正部３１０と、選択されたエッジに基づいて、車線を推定する位置姿勢推定部３１２を備える。【選択図】 図２

Description

本発明は、車両等の移動体の走行路に存在する車線を認識する車線認識装置に関する。

従来より、車両が走行する車線を認識する車線認識装置として、例えば特許文献１に開示されたものが知られている。特許文献１に開示された車線認識装置では、車載カメラで時系列的に撮像される画像を俯瞰画像に変換し、各時刻で得られる俯瞰画像から車線候補点を検出して記憶する。そして、所定時間だけ遡った時刻から現在までに取得された俯瞰画像をつなぎ合わせて合成俯瞰画像を生成し、更に、各俯瞰画像での車線候補点の検出結果をこの合成俯瞰画像にマッピングする。そして、任意の時点での、合成俯瞰画像の車線候補点を中心として、車線候補点の履歴が最も多く蓄積されている方向が、車線が描かれている方向であると推定する。

特開２０１２−１７５４８３号公報

しかしながら、上述した特許文献１に開示された従来例では、車載カメラで撮像した画像を車両の移動量に基づき時系列で処理するので、過去に検出した車線候補点を、現時刻にて重複して検出する場合がある。このような場合には、車両に搭載したカメラで撮像する全体領域のうち、特定の領域に車線候補点が多く蓄積される場合がある。従って、車線候補点の蓄積が多い領域（密度の高い領域）の重み付けが大きくなり、車線の検出精度が低下するという問題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車線の検出精度を向上させることのできる車線認識装置を提供することにある。

上記目的を達成するため、本願発明は、撮像部にて撮像された画像から輝度勾配特徴点を抽出し、抽出した輝度勾配特徴点の、画像中の座標を特徴点座標保持部に記憶する。抽出した輝度勾配特徴点の車線尤度を評価する尤度評価部と、輝度勾配特徴点の座標を、移動体に搭載される移動量測定部より与えられる該移動体の移動量に応じて更新する特徴座標更新部を備える。特徴点座標保持部に記憶されている輝度勾配特徴点から、輝度勾配特徴点の分布のばらつきが小さくなるように、輝度勾配特徴点を選択する特徴点選択部と、特徴点選択部で選択された輝度勾配特徴点に基づいて車線を推定する車線推定部を備える。

本発明に係る車線認識装置は、輝度勾配特徴点の分布のばらつきが小さくなるように、全ての輝度勾配特徴点の一部または全部を選択し、選択した輝度勾配特徴点を用いて車線を推定するので、高精度な車線認識が可能となる。

本発明の第１実施形態に係る車線認識装置が搭載された車両の概略的な構成を示すブロック図である。 本発明の実施形態に係る車線認識装置、及びその周辺機器の構成を示すブロック図である。 本発明の実施形態に係る車線認識装置の、カメラによる撮像範囲を示す説明図である。 本発明の実施形態に係る車線認識装置で形成される俯瞰画像及びエッジ抽出の走査線を示す説明図である。 本発明の実施形態に係る車線認識装置の、エッジ抽出に使用する車線検出フィルタ、及び輝度と度数の関係を示すグラフである。 本発明の実施形態に係る車線認識装置の、エッジ座標の更新を示す説明図である。 本発明の実施形態に係る車線認識装置で採用する車線モデルを示す説明図である。 本発明の実施形態に係る車線認識装置の、区画設定部で区分する局所領域を示す説明図である。 本発明の実施形態に係る車線認識装置の、区画設定部で区分する局所領域の他の例を示す説明図である。 本発明の実施形態に係る車線認識装置の、各局所領域に分布するエッジを示す説明図である。 本発明の実施形態に係る車線認識装置の、局所領域Ｓ３に分布するエッジを示す説明図である。 本発明の実施形態に係る車線認識装置の、局所領域Ｓ３に分布するエッジ、及び各エッジの抽出時刻を示す説明図である。 本発明の実施形態に係る車線認識装置の、局所領域Ｓ３に分布するエッジ、及び各エッジの抽出時刻（他の例）を示す説明図である。 本発明の実施形態に係る車線認識装置の、処理手順を示すフローチャートである。 本発明の第２実施形態に係る車線認識装置が搭載された車両の概略的な構成を示すブロック図である。 本発明の第３実施形態に係る車線認識装置が搭載された車両の概略的な構成を示すブロック図である。

以下、本発明の実施形態を図面に基づいて説明する。

［第１実施形態の説明］
図１は、本発明の実施形態に係る車線認識装置が搭載される車両の概略構成図である。図１に示すように、車両２０１（移動体）の前方には、カメラ２０２（撮像部）が搭載されており、更に、該カメラ２０２は計算機２０３に接続され、該計算機２０３は車線逸脱警報システム２０４に接続されている。カメラ２０２は、路面から高さｈ１の位置に取り付けられ、更に、水平面を基準として下方に角度θだけ傾斜して配置されている。

そして、カメラ２０２で車両２０１前方の映像を撮像し、撮像した画像を計算機２０３に出力する。即ち、図３に示すように、車両２０１の前方適所には、カメラ２０２が搭載され、該カメラ２０２により、車両前方の撮像範囲４０３の映像を撮像する。

計算機２０３は、カメラ２０２で撮像された画像に含まれる車線を検出し、その車線に対する車両２０１の横位置、ヨー角を算出する。また、車両２０１の横位置、ヨー角に基づいて、車両２０１の前方に存在する車線を推定する。更に、車線に対する車両２０１の横位置、及びヨー角に基づき、車両２０１が車線で区切られる車線を逸脱した場合、或いは逸脱すると推定される場合には、車線逸脱警報システム２０４により、警報を発して車両２０１の運転者に注意を促す。車線とは、路面に描かれた白線や黄色線等の、車両の走行路を区分するための線である。

図２は、本実施形態に係る車線認識装置、及びその周辺機器の構成を示すブロック図である。図２に示すように、本実施形態に係る車線認識装置１００は、カメラ２０２及び計算機２０３を備えている。また、計算機２０３には、車線逸脱警報システム２０４が接続されている。

計算機２０３は、俯瞰画像生成部３０２と、エッジ抽出部３０３と、座標変換部３０４と、エッジ座標保持部３０５と、エッジ評価部３０６と、エッジ座標更新部３０８と、区画設定部３０９と、エッジ空間配置補正部３１０と、エッジ選択部３１１、及び位置姿勢推定部３１２を備えている。また、計算機２０３は、車両に搭載される車速センサ３０７（移動量測定部）に接続されている。計算機２０３は、例えば中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

俯瞰画像生成部３０２は、カメラ２０２で撮像された画像（ｑ１）に基づき、視点変換処理を加えることにより俯瞰画像（鳥瞰図）を生成する。俯瞰画像は、上空から路面を鉛直下向きに見下ろす画像である。この俯瞰画像を作成するために用いる視点変換は公知の技術であり、例えば、特開２００８−２１９０６３号に記載されている手法を用いることができる。また、該俯瞰画像生成部３０２では、カメラ２０２より出力された画像に基づき、所定の演算周期で俯瞰画像を生成する。この俯瞰画像（ｑ２）は、エッジ抽出部３０３に出力される。

エッジ抽出部３０３（特徴点抽出部）は、俯瞰画像生成部３０２で生成された俯瞰画像に対してエッジ（車線の候補）を抽出する。エッジの抽出には、例えば特開２０１３−２１０９９１号に開示されている分離度に基づく手法を用いることができる。本実施形態では、図４に示すように俯瞰画像Ｄ１に対して、画像の横方向を向くエッジ抽出用の走査線Ｌ１を複数設定し、各走査線Ｌ１でエッジの強度（分離度）の高い座標を求める。

以下、分離度の演算方法について説明する。分離度を演算するために、図５（ａ）に示す車線検出フィルタ４０を用いる。車線検出フィルタ４０は、路面上の車線部分を検出するためのペイント候補領域４１と、該ペイント候補領域４１の両側に形成され、路面部分を検出するための路面候補領域４２とを有している。ペイント候補領域４１は、実際の車線の幅に対応した横幅を有することが望ましい。また、路面候補領域４２は、ペイント候補領域４１とほぼ同一の横幅を有している。なお、路面候補領域４２の横幅は、ペイント候補領域４１の横幅と相違していてもよい。車線検出フィルタ４０の形状は、俯瞰画像で車線を局所的に真上から見た場合に、局所的な車線が白と黒の四角形の組み合わせで近似できることに基づいて決められている。また、四角形のサイズ及び縦横比等は、カメラ２０２の解像度を考慮して車線のサイズに対応させて実験的に定めればよい。なお、図５（ａ）に示す車線検出フィルタ４０では、ペイント候補領域４１の両側に路面候補領域４２を形成しているが、路面候補領域４２はいずれか一方とすることもできる。

エッジ抽出部３０３は、図５（ａ）に示す車線検出フィルタ４０を俯瞰画像Ｄ１の走査線Ｌ１に沿って走査することにより、俯瞰画像Ｄ１全体の輝度を検出する。更に、輝度の検出結果を用いてペイント候補領域４１における輝度分布の統計値として輝度値の平均μ１と分散σ１を算出する。同様に、路面候補領域４２における輝度分布の統計値として輝度値の平均μ２と分散σ２を算出する。その結果、例えば、図５（ｂ）に示す如くの度数分布が得られる。

こうして、ペイント候補領域及び路面検出領域における平均と分散が算出されると、次に分離度ｓを算出する。ここでは、ペイント候補領域の平均μ１、分散σ１と、路面候補領域の平均μ２、分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、ペイント候補領域と路面候補領域との間の輝度の差とペイント候補領域及び路面候補領域の輝度分布の和との比に基づいて算出される値であり、次の（１）式にて算出することができる。
分離度ｓ＝（クラス間分散）／（全分散）＝σＢ²／σＴ² …（１）
また、クラス間分散σB²及び全分散σT²は、次の（２）〜（４）式で示すことができる。
σB²＝｛Ｎ1×（μ1−μT）²＋Ｎ2×（μ2−μT）²｝／（Ｎ1＋Ｎ2） …（２）
σT²＝σB²＋σW² …（３）
σW²＝｛Ｎ1×σ1²＋Ｎ2×σ2²｝／（Ｎ1＋Ｎ2） …（４）
但し、Ｎ1はペイント候補領域の画素数、Ｎ2は路面候補領域の画素数、μTはペイント候補領域と路面候補領域の全画素の平均である。

そして、エッジ抽出部３０３は、上記の（１）式〜（４）式に基づいて、分離度ｓを路面画像の各画素について算出する。そして、分離度の高いエッジの座標データ（ｑ３）を、座標変換部３０４に出力する。更に、各エッジの強度データ（ｑ４）をエッジ評価部３０６に出力する。

また、上記では俯瞰画像Ｄ１からエッジを抽出する手法として、分離度ｓを用いる例について述べたが、周知技術のＳｏｂｅｌフィルタで予め画像中に含まれるエッジの強度を算出し、走査線Ｌ１に沿ってエッジの強度の極大値を求め、この極大値をエッジ検出結果として用いてもよい。例えば、下記（５）式に示す重み付けを有するＳｏｂｅｌフィルタを用いて、車線のエッジを求めることができる。

このＳｏｂｅｌフィルタを使用する場合についても、エッジ座標データを後段の座標変換部３０４に出力し、これと同時にＳｏｂｅｌフィルタの出力値であるエッジ強度データを後段のエッジ評価部３０６に出力する。

座標変換部３０４では、エッジ抽出部３０３で抽出したエッジ座標を二次元の画像座標系から三次元の世界座標系に変換する。つまり、車両２０１は路面に対して移動しているので、車両移動時の各時刻で撮像した画像を共通の座標系とするために、エッジの座標を世界座標系に変換する。カメラ２０２の内部パラメータと外部パラメータ、具体的には、路面に対するカメラの取り付け高さ、姿勢（ヨー角、ピッチ角、ロール角）を予め測定しておけば、画像中の任意の座標を、世界座標系に変換することができる。この際、画像座標系の二次元の座標（ｘ、ｙ）から三次元の空間的な世界座標系に変換するため、世界座標系の鉛直方向に相当する座標であるＹＷを、ＹＷ＝０として復元する。ここで、ＹＷ＝０は路面の点、即ち、高さゼロであることを示している。なお、「ＹＷ」とは、「世界座標系（Ｗ）」の「Ｙ軸」を示している。

画像座標系から世界座標系に座標変換する演算は、計算機２０３による演算周期毎に毎回実行してもよい。一方、カメラ２０２の内部パラメータ（カメラの取付高さ等）は常に固定であり、外部パラメータ（ヨー角、ピッチ角、ロール角等）は、厳密には車両挙動で変化するが（特に、ピッチ角）、この外部パラメータを固定と見なすことができる。各パラメータを固定した場合は、画像座標系の座標から世界座標系の座標への変換テーブルを作成することができる。本実施形態では、処理時間を考慮して、変換テーブルを利用することにする。即ち、図２に示す座標変換部３０４は、座標を変換するための変換テーブルを有しており、エッジ抽出部３０３より、画像座標系のエッジ座標が与えられた場合には、変換テーブルを用いて世界座標系のエッジ座標に変換する。世界座標系のエッジ座標（ｑ５）をエッジ座標保持部３０５に出力する。

エッジ座標保持部３０５（特徴点座標保持部）は、今回の演算周期で生成された俯瞰画像から抽出されたエッジ座標を記憶する。ここでは、前述した座標変換部３０４より出力される世界座標系のエッジ座標を記憶する。従って、該エッジ座標保持部３０５には、所定の演算周期毎に新規のエッジ座標が入力され、記憶される。但し、後述するように、過去の演算周期（今回よりも前の演算周期）で得られたエッジ座標は、後述するエッジ座標更新部３０８、或いはエッジ選択部３１１で消去される場合があるので、これらにより消去されていないエッジ座標を記憶する。また、該エッジ座標保持部３０５に記憶されるエッジ座標は、全て世界座標系の座標データである。即ち、各エッジ座標は、世界座標系の（ＸＷ，ＹＷ，ＺＷ）の数値を有している。但し、上述したように世界座標系の鉛直方向の数値を示すＹＷは、ＹＷ＝０である。

エッジ評価部３０６（尤度評価部）は、エッジ抽出部３０３で抽出されたエッジ強度から、車線尤度を評価する。前段のエッジ抽出部３０３で、エッジ抽出の手法として前述した「分離度」を用いた場合、エッジは［０，１］で正規化されているので、分離度の数値をそのまま車線尤度として用いることができる。そして、この車線尤度（ｑ８）をエッジ空間配置補正部３１０（特徴点選択部）に出力する。

また、エッジ抽出の手法としてＳｏｂｅｌフィルタを用いる場合には、処理する画像が８ビットの輝度情報を持ち、Ｓｏｂｅｌフィルタのサイズが３×３で、要素が前述した（５）式の様に与えられている場合、Ｓｏｂｅｌフィルタの出力の最大値、最小値が事前に定義できる。即ち、入力画像のビット数とＳｏｂｅｌフィルタの要素が既知であれば、フィルタの最大値と最小値が判る。

従って、最大値、最小値から正規化のための変数ｎｏｒｍを定義し、Ｓｏｂｅｌフィルタの出力値をｎｏｒｍで除することによりエッジ抽出部３０３で抽出されたエッジ強度を［０，１］に正規化することができる。この正規化した値を車線尤度として後段のエッジ空間配置補正部３１０に出力する。

また、本実施形態では、後段の処理を簡易化するために、車線尤度として［０，１］の正規化した数値を用いる例について示すが、演算処理の負担を考慮しなければ、例えば、Ｓｏｂｅｌフィルタで求められるエッジの強度をそのまま車線尤度としてエッジ空間配置補正部３１０に出力してもよい。

車速センサ３０７は車両に取り付けられ車速を測定する。精度が高いほどよいが、一般の車両に取り付けられているもので実用上は問題なく、車両ＣＡＮより供給される車速データの数値を用いることができる。

エッジ座標更新部３０８（特徴座標更新部）は、ＣＡＮ通信により車両に搭載される車速センサ３０７と接続されており、該車速センサ３０７で検出される車速データ（ｑ６）を取得する。そして、エッジ座標保持部３０５に記憶されている世界座標系のエッジ座標を、車速センサ３０７で測定された車速に応じた距離だけ移動させることで、次回の演算周期となる時刻で、各座標データが観測されると推定される座標データに更新する。

以下、エッジ座標を更新する手順について、図６に示す説明図を参照して説明する。図６（ａ）は、車両２０１と、カメラ２０２の撮像範囲４０３を模式的に示している。車両２０１は、一定の時速Ｖ［Ｋｍ／ｈ］でＺＷ軸の正方向（車両２０１の前方）に直進運動するものとする。エッジ抽出部３０３は、時刻ｔ＝−２，−１，０のそれぞれにおいて撮像した画像からエッジ座標を抽出する。時刻ｔ＝−２，−１，０のそれぞれにおいて抽出したエッジ座標は、順に白丸、灰丸、黒丸の画素で示している。なお、カメラ２０２は３０［ｆｐｓ］で画像を撮像するので、時刻ｔ＝−２，−１，０の各時刻の間隔は約３０［ｍsec］である。

次に、図６（ｂ）〜（ｄ）を参照して、エッジ座標の更新について説明する。図６（ａ）に示す各時刻ｔ＝−２，−１，０に対応するのが、それぞれ図６（ｂ）〜（ｄ）である。まず、図６（ｂ）に示すように、エッジ抽出部３０３は、時刻ｔ＝−２の際に撮像した画像からエッジ座標を抽出する。抽出されたエッジ座標を白丸の画素で示している。その後、座標変換部３０４は、抽出したエッジ座標を画像座標系から世界座標系へ変換する。変換された世界座標系のエッジ座標を（ＸＷ１，ＹＷ１，ＺＷ１）とする。エッジ座標保持部３０５は、これらの座標データを記憶する。

続いて、図６（ｃ）に示すように、時刻ｔ＝−２から約３０［ｍsec］後となる時刻ｔ＝−１においても、時刻ｔ＝−２と同様の処理を行い、エッジ座標を抽出する。時刻ｔ＝−１にて抽出したエッジ座標を（ＸＷ２，ＹＷ２，ＺＷ２）とする。ここで、時刻ｔ＝−２から時刻ｔ＝−１までの車両２０１の移動量をｄ［ｍ］とすると、ｄ＝（Ｖ×１０００÷３６００）÷３０となる。エッジ座標更新部３０８は、この移動量ｄを用いてエッジ座標を更新する。具体的には、エッジ座標更新部３０８は、時刻ｔ＝−１の際に、時刻ｔ＝−２で抽出したエッジ座標（ＸＷ１，ＹＷ１，ＺＷ１）を移動量ｄだけ移動して、（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）に更新する。「ＺＷ」の値のみを更新するのは、車両２０１が直進運動していることによる。このように更新することにより、時刻ｔ＝−１の際に、エッジ座標（ＸＷ２，ＹＷ２，ＺＷ２）から移動量ｄだけ車両進行方向反対側にエッジ座標（ＸＷ１，ＹＷ１，ＺＷ１）が移動することになる。エッジ座標保持部３０５は、時刻ｔ＝−１の際に抽出したエッジ座標（ＸＷ２，ＹＷ２，ＺＷ２）と、更新したエッジ座標（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）を記憶する。

続いて、図６（ｄ）に示すように、時刻ｔ＝−１から約３０［ｍsec］後となる時刻ｔ＝０の際にも時刻ｔ＝−２の際と同様の処理を行い、エッジ座標を抽出する。時刻ｔ＝０の際に抽出したエッジ座標を（ＸＷ３，ＹＷ３，ＺＷ３）とする。また、時刻ｔ＝−１から時刻ｔ＝０までの車両２０１の移動量は上述した距離ｄであるので、エッジ座標更新部３０８は、時刻ｔ＝０の際に、時刻ｔ＝−１で抽出したエッジ座標（ＸＷ２，ＹＷ２，ＺＷ２）と、更新したエッジ座標（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）とを移動量ｄだけ移動して、それぞれのエッジ座標を（ＸＷ２，ＹＷ２，ＺＷ２−ｄ）、（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）に更新する。ここで、「ＺＷ１’」について説明する。時刻ｔ＝−２の際に抽出した座標データ（ＸＷ１，ＹＷ１，ＺＷ１）は、時刻ｔ＝−１の際に（ＸＷ１，ＹＷ１，ＺＷ１−ｄ）に更新された。更新された「ＺＷ１−ｄ」をＺＷ１’に置換すれば、時刻ｔ＝０の際にエッジ座標を更新すると、（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）と表現することができる。

即ち、このように置換することにより、各エッジ座標は、更新時に移動量ｄだけ移動した形で表現できる。エッジ座標保持部３０５は、時刻ｔ＝０の際に抽出したエッジ座標群（ＸＷ３，ＹＷ３，ＺＷ３）と、更新したエッジ座標（ＸＷ２，ＹＷ２，ＺＷ２−ｄ）、（ＸＷ１，ＹＷ１，ＺＷ１’−ｄ）とを記憶する。以上のように、エッジ座標更新部３０８は、撮像処理毎の経過時間に合わせて、エッジ座標を移動量ｄだけ車両進行方向反対側に移動して、新たなエッジ座標に更新する。そして、エッジ座標保持部３０５は、更新されたエッジ座標を記憶して、撮像毎に蓄積する。

また、同時にエッジ座標が抽出された時刻も更新する（ｔ＝ｔ＋１）。この検出した時刻は後段のエッジ空間配置補正部３１０で利用される。このエッジ座標（ｑ７）は、エッジ空間配置補正部３１０に出力される。

区画設定部３０９は、後述する位置姿勢推定部３１２（車線推定部）にて、前回の処理サイクルで推定された車線モデル（ｑ１１）に基づき、車両２０１の前方領域を予め設定した間隔で分割した局所領域を設定する。ここで、「局所領域」とは、後段のエッジ空間配置補正部３１０で、エッジが密に分布している領域を判定するために区切る小領域である。

図８は、車両２０１の前方領域に設定する局所領域を示す説明図である。図８に示すように、車両２０１の左右に車線（前回の処理サイクルで推定された車線）を設定し、該車線を含むように、Ｚ方向と直行する線（車両２０１の横方向に平行な線）で区切った領域を局所領域とする。本実施形態では、Ｚ方向の２ｍ毎に局所領域Ｐ１，Ｐ２，Ｐ３，・・・を設定している。即ち、区画設定部３０９は、車両２０１（移動体）の前方領域を、予め設定した間隔で分割した複数の局所領域を設定する。なお、ここでは２ｍ間隔で局所領域を区分する例を示すが、本発明はこれに限定されるものではない。

また、局所領域設定の他の例として、図９に示すように、位置姿勢推定部３１２で推定された車線に設けた等間隔の点（図９に示す○印）の左右に所定の幅を持たせた領域Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６・・・を設定し、これを局所領域とすることも可能である。即ち、区画設定部３０９は、位置姿勢推定部３１２で推定される、車両２０１の前方に存在する車線に沿った領域を小区間に分割した領域を、局所領域に設定する。区画設定部３０９で設定された局所領域のデータ（ｑ９）は、エッジ空間配置補正部３１０に出力される。

エッジ空間配置補正部３１０は、区画設定部３０９で区分した各局所領域（図８ではＰ１〜Ｐ３、図９では、Ｓ１〜Ｓ６）において、エッジ（輝度勾配特徴点）が密に分布している局所領域を検出し、更に、この局所領域に含まれる複数のエッジから、車線の認識に使用する少なくとも一つのエッジを選択する処理を行う。即ち、エッジ座標保持部３０５に記憶されている全てのエッジから、該エッジの分布のばらつきが小さくなるように、一部または全部のエッジを選択する処理を行う。換言すれば、車線の認識に使用するエッジを選択し、使用しないエッジを消去対象として特定する処理を行う。

路面に存在する車線を推定する場合には、局所領域に含まれるエッジ数が多いと、この局所領域の重みが他の局所領域の重みよりも大きくなる。つまり、エッジ数の多い局所領域の影響を受け易くなる。具体的に、図１０に示す例では、局所領域Ｓ３、Ｓ６には、他の局所領域よりも多くのエッジが存在している。従って、車両２０１前方の車線を推定する際には、局所領域Ｓ３、Ｓ６の影響を大きく受けやすくなり、全体の重み付けに偏りが発生して車線の推定精度が低下する可能性がある。

従って、エッジ空間配置補正部３１０では、各局所領域Ｓ１〜Ｓ６の重み付けを均一化するために、エッジが密に分布している局所領域を検出し、更に、この局所領域に含まれる各エッジから、消去すべきエッジを特定する。消去対象となるエッジのデータ（ｑ１０）をエッジ選択部３１１に出力する。

以下、図１０、図１１を参照して、車線の推定に使用しないエッジ、即ち、消去対象となるエッジを特定する処理を詳細に説明する。いま、区画設定部３０９で設定された区画領域がＳ１〜Ｓ６の６個の領域に区分された場合（図９に示した局所領域の場合）について説明する。エッジ空間配置補正部３１０は、各局所領域Ｓ１〜Ｓ６に含まれるエッジ数をカウントし、そのカウント値が予め設定した上限値（ここでは、上限値を「４」とする）よりも多いか否かを判断する。

そして、エッジ数が４個よりも多い局所領域がエッジが密に分布している局所領域であると判断する。図１０に示す例では、局所領域Ｓ３、Ｓ６が４個を超えるエッジを含んでいるので、エッジが密に分布している局所領域であると判断される。なお、ここでは、エッジ数が多い局所領域を、エッジが密に分布している局所領域とする例について説明するが、他の検出方法として、各局所領域毎のエッジ数をカウントし、各局所領域毎のエッジ数の平均、分散等の統計量を求め、該統計量に基づいてエッジが密に分布している局所領域を判断することもできる。

次に、消去対象となるエッジを特定する具体的な方法について説明する。本実施形態では、エッジが密に分布している局所領域に含まれる各エッジのうち、エッジ評価部３０６で判断される車線尤度に応じて消去するエッジを特定する。具体的には、複数のエッジのうち、車線尤度の高いエッジを所定数（本実施形態では４個）選択し、車線認識に使用するエッジとする。それ以外のエッジを消去対象となるエッジとして特定する。図１１を参照して説明する。

図１１は、局所領域Ｓ３に存在する８個のエッジｅ１〜ｅ８を示す説明図であり、各エッジの車線尤度が大きいほど、図示する丸印の大きさを大きく表示している。本実施形態では、４個のエッジを選択するので、車線尤度の大きいｅ１，ｅ４，ｅ６，ｅ８の４個のエッジが選択され、選択エッジとなる。従って、８個のエッジのうち、車線としての信頼度の高い上位４個のデータが選択されることになる。一方、車線尤度の小さいｅ２，ｅ３，ｅ５，ｅ７の４個のエッジが、消去対象となるエッジとして特定される。

エッジ選択部３１１は、エッジ空間配置補正部３１０で特定された消去対象となるエッジ、即ち、４個のエッジｅ２，ｅ３，ｅ５，ｅ７を消去する。即ち、エッジ座標保持部３０５に記憶されているｅ２，ｅ３，ｅ５，ｅ７の４個のエッジ座標を消去する。

また、エッジ空間配置補正部３１０では、エッジの車線尤度に代えて、エッジ抽出部３０３にてエッジが抽出された時刻に基づいて、消去対象とするエッジを特定することもできる。図１２は、局所領域Ｓ３に存在する８個のエッジを示しており、更に、エッジの抽出時刻に応じて形状を変化させて表示している。具体的には、丸印で示すｅ１，ｅ４は今回の時刻ｔに抽出されたエッジであり、三角印で示すｅ２，ｅ５は前回の時刻（ｔ−１）に抽出されたエッジであり、四角印で示すｅ３，ｅ６，ｅ７，ｅ８は前々回の時刻（ｔ−２）に抽出されたエッジである。そして、車線推定に使用するエッジの上限が４個であるから、より新しいエッジ（より遅い時刻に取得されたエッジ）であるｅ１，ｅ２，ｅ４，ｅ５の４個のエッジを選択する。即ち、相対的に古いエッジ（早い時刻に取得されたエッジ）であるｅ３，ｅ６，ｅ７，ｅ８の４個のエッジが消去対象となるエッジとして特定される。エッジ選択部３１１では、消去対象となる４個のエッジｅ３，ｅ６，ｅ７，ｅ８のエッジ座標を、エッジ座標保持部３０５から消去する。

また、図１３に示す例では、丸印で示すｅ１，ｅ４が今回の時刻ｔに検出されたエッジであり、三角印で示すｅ５が、前回の時刻（ｔ−１）に検出されたエッジであり、四角印で示すｅ２，ｅ３，ｅ６，ｅ７，ｅ８が、前々回の時刻（ｔ−２）に検出されたエッジである。そして、選択するエッジの上限が４個であるから、より新しいエッジであるｅ１，ｅ４，ｅ５の３個のエッジデータを選択する。この場合、選択するエッジデータが４個に達しないので、時刻（ｔ−２）に検出された５個のエッジデータｅ２，ｅ３，ｅ６，ｅ７，ｅ８のうち、最も車線尤度の大きいエッジデータを選択する。

即ち、第１の条件として、より新しいエッジ（より遅い時刻に取得されたエッジ）を選択し、この選択により上限に達しない場合には、第２の条件として、車線尤度の大きいエッジを選択する。こうすることにより、より信頼性の高いエッジを選択して、車線認識に使用することができる。

また、図を用いた説明を省略するが、第１の条件として車線尤度の大きいエッジを選択し、車線尤度が同一のエッジが複数存在する場合には、第２の条件として、これらのエッジのうち、最も新しいエッジを選択するようにしてもよい。

位置姿勢推定部３１２は、エッジ選択部３１１で、消去対象とされたエッジが消去された後のエッジに基づいて、車両２０１の前方に存在する車線のモデルを二次曲線モデルとして設定する。更に、車線内における車両２０１の姿勢から、車線の位置を推定する。具体的には、図７に示すように、車線の方向に対する、車両２０１の進行方向を示す角度（道路中心線に対すする車両のヨー角）φｒを求め、道路の曲率をρ、道路中心線に対する車両２０１の横変位量をｙcr、車線幅をＷ、世界座標系頂点から、車両左方向への距離をＸ、世界座標系原点から車両前方への距離をＺとした場合に、車両の左側の車線Ｘ１、右側の車線Ｘ２は、それぞれ次の（６）式、（７）式で求めることができる。
Ｘ１＝（ρ／２）Ｚ²−φｒＺ−ｙcr＋（Ｗ／２） …（６）
Ｘ２＝（ρ／２）Ｚ²−φｒＺ−ｙcr−（Ｗ／２） …（７）
そして、上述した（６）式、（７）式により、車両２０１の前方に存在する車線の座標を取得することができる。

また、車線を推定する手法はこの方法以外に、車線をモデル化して与えられたエッジを用いて最小二乗法等で車線を推定する手法を採用してもよい。但し、ここでの最適化手法は、それぞれのエッジの重みは均一として扱うものとする。これは、エッジに割り当てられる車線尤度を重みとして利用すると、エッジ分布のばらつきを抑えるようにしても、車線尤度の重みが大きいものによる影響を大きく受けてしまうという問題を回避するためである。

また、図２に示す車線逸脱警報システム２０４は、位置姿勢推定部３１２で推定された車線の位置に基づき、車線に対する車両２０１の横位置及びヨー角を演算し、車両２０１が車線で区画される車線内から逸脱すると予測される場合には、警報を出力して車両２０１の運転者に注意を喚起する。

次に、上述のように構成された本実施形態に係る車線認識装置の作用を、図１４に示すフローチャートを参照して説明する。このフローチャートは、時系列的に画像を取得し、取得した画像に基づく車線の認識を繰り返して実行する。

初めにステップＳ１１において、カメラ２０２は、所定の演算周期で車両２０１前方の撮像範囲４０３の画像を撮像する。そして、撮像した画像を俯瞰画像生成部３０２に出力する。

ステップＳ１２において、俯瞰画像生成部３０２は、カメラ２０２で撮像された画像を画像処理して、俯瞰画像を生成する。この俯瞰画像をエッジ抽出部３０３に出力する。

ステップＳ１３において、エッジ抽出部３０３は、俯瞰画像に対して、前述した分離度ｓ、或いはＳｏｂｅｌフィルタを用いる手法により、俯瞰画像に含まれるエッジを抽出する。抽出したエッジ座標を座標変換部３０４に出力し、エッジ強度をエッジ評価部３０６に出力する。

ステップＳ１４において、座標変換部３０４は、俯瞰画像のエッジ座標に基づき、画像座標系のエッジ座標を、世界座標系のエッジ座標に変換する。世界座標系のエッジ座標をエッジ座標保持部３０５に出力する。

ステップＳ１５において、エッジ座標保持部３０５は、座標変換部３０４より出力される世界座標系のエッジ座標を記憶する。更に、エッジ座標更新部３０８より出力される過去に検出したエッジ座標を記憶する。そして、エッジ座標をエッジ空間配置補正部３１０に出力する。

ステップＳ１６において、エッジ評価部３０６は、エッジ抽出部３０３より出力されるエッジ強度に対して、車線尤度を割り当て、この車線尤度を示すデータをエッジ空間配置補正部３１０に出力する。

ステップＳ１７において、エッジ空間配置補正部３１０は、エッジ座標保持部３０５より出力されるエッジ座標と、エッジ評価部３０６より出力される車線尤度に基づき、区画設定部３０９で区画された局所領域に対して、前述したように、各局所領域に存在するエッジの個数を算出し、更に、１つの局所領域に含まれるエッジが上限（例えば、４個）を上回る場合には、前述した手法により車線推定に用いるエッジ及び、消去する対象とするエッジを特定する。

ステップＳ１８において、エッジ選択部３１１は、エッジ空間配置補正部３１０で特定された消去対象となるエッジの座標をエッジ座標保持部３０５から消去することで、車線推定に用いるエッジを選択する。

ステップＳ１９において、エッジ座標保持部３０５は、記憶しているエッジ座標を更新する。具体的には、ステップＳ１８の処理で特定された消去対象となるエッジの座標を削除して、車線推定に用いるエッジを保持する。

ステップＳ２０において、位置姿勢推定部３１２は、エッジ選択部３１１で選択された車線推定に用いる各エッジ（消去対象となるエッジが消去された後の各エッジ）に基づいて、車両２０１の前方に存在する車線を推定し、車線を認識する。

その後、ステップＳ２１において、システムのオン、オフが判定され、オンである場合には、ステップＳ１１に処理を戻し、オフである場合には本処理を終了する。

このようにして、第１実施形態に係る車線認識装置１００では、車両２０１の前方の映像を撮像し、更に俯瞰画像を生成し、該俯瞰画像に含まれるエッジ（輝度勾配特徴点）を抽出する。そして、このエッジに基づいて、車線モデルを設定して車両２０１の前方に存在する車線を認識する。この際、エッジの分布のばらつきが小さくなるように、全体のエッジから一部または全部のエッジを選択する。それ以外のエッジを消去する。従って、車両２０１の前方領域にほぼ均一に分布するエッジを用いて、車線認識の処理が行われるので、特定の領域の影響を大きく受けるという問題を回避し、高精度な車線認識が可能となる。

また、図８に示したように、車両２０１の前方領域に、予め設定した間隔（例えば、２ｍ間隔）で分割した複数の局所領域を設定し、該局所領域内のエッジの分布のばらつきを小さくするので、より高精度に車線を認識することができる。

更に、各局所領域内に存在するエッジの個数が４個（上限個数値）以下となるように、車線推定に用いるエッジ及び、消去対象とするエッジを特定し、特定したエッジを消去する。従って、位置姿勢推定部３１２により、車両２０１前方の車線を認識する際に、全体の局所領域に対して均一な重み付けで車線を認識することができ、特定の局所領域に含まれるエッジ座標に大きな影響を受けることを回避できるので、車線の認識精度を向上させることができる。

また、図９に示したように、位置姿勢推定部３１２で推定される、車両２０１前方に存在する車線に沿った領域を小区間に分割した領域を、前記局所領域に設定することにより、局所領域を車線に沿った領域に限定することができるので、より一層車線の認識精度を向上させることができる。

更に、エッジ空間配置補正部３１０は、一つの局所領域に存在する複数のエッジのうち、車線認識に使用するエッジを選択する際に、車線尤度の大きいエッジを選択する。つまり、車線尤度の小さいエッジを消去対象のエッジとして特定する。従って、より信頼性の高いエッジを選択することができ、車線認識の精度をより一層向上させることができる。

また、一つの局所領域に存在する複数のエッジのうち、車線認識に使用するエッジを選択する際に、より遅い時刻で取得されたエッジ（より新しいエッジ）を選択することによっても、上記と同様に、信頼性の高いエッジを選択することができ、車線認識の精度を向上させることができる。

なお、本実施形態では、一例として図１０に示した局所領域Ｓ３に存在するエッジを削除する例について説明したが、４個を超えるエッジが存在する局所領域が他にも存在する場合には、この局所領域についても同様の処理を実行して、エッジの個数が上限個数値となるようにする。

［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。図１５は、第２実施形態に係る車線認識装置が搭載された車両の側面図、図１６は同正面図である。第２実施形態では、第１実施形態に示したカメラ２０２に加えて、左右にそれぞれカメラ２０５、２０６を取り付けている。なお、これらの左右のカメラ２０５、２０６は多くの場合、車両２０１の近傍に存在する車線を撮像することを目的としているため、広角レンズや魚眼レンズを取り付けたものを利用することができる。

第２実施形態では、車両２０１の前方に搭載されるカメラ２０２が高さｈ１、水平から下向きに角度θ１の位置・姿勢で取り付けられている。

また、車両側方に搭載されるカメラ２０５、２０６は、高さｈ２、水平から下向きにθ２に取り付けられている。そして、３つのカメラ２０２、２０５、２０６を用いて車両２０１の周囲映像を撮像し、撮像した画像を計算機２０３に出力する。そして、画像中の車線を検出し、その車線に対する車両２０１の横位置、ヨー角を算出する。そして、それらの推定値を車線逸脱警報システム２０４に出力して、車両２０１が車線で区画される車線から逸脱した場合、或いは逸脱すると予測される場合に、警報を出力して運転者に知らせる。

このように、第２実施形態に係る車線認識装置についても前述した第１実施形態と同様の効果を達成することができる。更に、車両２０１の周囲映像を撮像するカメラが３台であるので、より広範囲に俯瞰画像を生成することができ、車線認識の精度を向上させることができる。

［第３実施形態の説明］
次に、第３実施形態について説明する。前述した第１、第２実施形態では、車両２０１の前方に複数の局所領域を設定し、各局所領域に存在するエッジの個数が上限個数値以下となるようにエッジを選択する例を示した。これに対して変形例では、一つの局所領域に存在するエッジ（輝度勾配特徴点）の車線尤度の合計値を算出する。そして、この合計値が予め設定した上限合計値以下となるようにエッジを選択する。

即ち、各局所領域に存在するエッジの個数、及び各エッジの車線尤度の合計値がほぼ均一になるようにエッジを選択し、選択したエッジを用いて車線認識を行う。こうすることにより、各エッジの個数、及び車線尤度のばらつきを均一化することができるので、より高精度な車線認識が可能となる。

以上、本発明の車線認識装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。例えば、車線として白線を例に説明したが、黄色線等の他の車線についても適用することができる。

４０ 車線検出フィルタ
４１ ペイント候補領域
４２ 路面候補領域
１００ 車線認識装置
２０１ 車両
２０２ カメラ
２０３ 計算機
２０４ 車線逸脱警報システム
２０５，２０６ カメラ
３０２ 俯瞰画像生成部
３０３ エッジ抽出部
３０４ 座標変換部
３０５ エッジ座標保持部
３０６ エッジ評価部
３０７ 車速センサ
３０８ エッジ座標更新部
３０９ 区画設定部
３１０ エッジ空間配置補正部
３１１ エッジ選択部
３１２ 位置姿勢推定部
４０３ 撮像範囲

Claims (7)

1. 移動体の走行路を区分する車線を認識する車線認識装置において、
   移動体に搭載され、周囲の映像を撮像する撮像部と、
   前記撮像部にて撮像された画像から、輝度勾配特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部で抽出された輝度勾配特徴点の画像中の座標を記憶する特徴点座標保持部と、
   前記特徴点抽出部で抽出された輝度勾配特徴点の車線尤度を評価する尤度評価部と、
   前記輝度勾配特徴点の座標を、移動体に搭載される移動量測定部より与えられる該移動体の移動量に応じて更新する特徴座標更新部と、
   前記特徴点座標保持部に記憶されている輝度勾配特徴点から、輝度勾配特徴点の分布のばらつきが小さくなるように、輝度勾配特徴点を選択する特徴点選択部と、
   前記特徴点選択部で選択された輝度勾配特徴点に基づいて、車線を推定する車線推定部と、
   を備えたことを特徴とする車線認識装置。
2. 前記移動体の走行路に向かって、予め設定した間隔で分割した複数の局所領域を設定する区画設定部、を更に備え、
   前記特徴点選択部は、前記各局所領域内に存在する前記輝度勾配特徴点の個数のばらつきが小さくなるように、輝度勾配特徴点を選択すること
   を特徴とする請求項１に記載の車線認識装置。
3. 前記区画設定部は、前記車線推定部で推定された車線に沿った領域を小区間に分割した領域を、前記局所領域に設定すること
   を特徴とする請求項２に記載の車線認識装置。
4. 前記特徴点選択部は、一つの局所領域に含まれる輝度勾配特徴点の上限個数値を設定し、前記各局所領域に存在する輝度勾配特徴点の個数が前記上限個数値以下となるように、輝度勾配特徴点を選択すること
   を特徴とする請求項２または３に記載の車線認識装置。
5. 前記特徴点選択部は、一つの局所領域に含まれる各輝度勾配特徴点の個数が前記上限個数値を超える場合には、該局所領域に含まれる各輝度勾配特徴点のうち、前記尤度評価部にて、相対的に車線尤度が高いと評価された輝度勾配特徴点を選択すること
   を特徴とする請求項４に記載の車線認識装置。
6. 前記特徴点選択部は、一つの局所領域に含まれる各輝度勾配特徴点の個数が前記上限個数値を超える場合には、該局所領域に含まれる各輝度勾配特徴点のうち、より遅い時刻で取得された輝度勾配特徴点を選択すること
   を特徴とする請求項４に記載の車線認識装置。
7. 前記特徴点選択部は、一つの局所領域に存在する輝度勾配特徴点の車線尤度の合計上限値を設定し、
   前記各局所領域に存在する輝度勾配特徴点の車線尤度の合計値が前記合計上限値以下となるように、輝度勾配特徴点を選択すること
   を特徴とする請求項２〜６のいずれか１項に記載の車線認識装置。