JP2018116369A - 車線認識装置 - Google Patents

Abstract

【課題】境界線として認識すべき区画線が擦れなどにより部分的に消えている場合などに車線を認識できない。【解決手段】検出した線候補に基づいて、区画線の道路形状を表すのに有利な度合いであるパラメータを少なくとも１つ抽出し、抽出したパラメータを集計した結果から相対的により道路形状を表すのに有利な線である区画線を基準線として選択する。選択した基準線との差分距離に基づいて、車線境界線の位置を推定し、推定した車線境界線の位置を道路形状として出力する。【選択図】図４

Description

本開示は、車線の境界を認識する車線認識装置の技術に関する。

車両が車線から逸脱しそうな場合に、警報を発生する車線逸脱警報装置等に利用するために、搭載したカメラで自車の前方を撮影し、自車が走行する車線の境界を示す路面標示を認識する車線認識装置が知られている。

例えば特許文献１には、路面上に標示された区画線を認識し、車線境界を認識するという技術が提案されている。

特開２００３−１７８３９９号公報

しかしながら、特許文献１に記載の方法では、境界線として認識すべき区画線が擦れなどにより部分的に消えている場合などに車線を認識できないという問題があった。
本開示は、境界線として認識すべき区画線が擦れなどにより認識できなくなった場合にも車線を認識する技術を提供する。

本開示の一態様は、車線認識装置であって、画像取得部及び画像処理部を備える。また画像処理部は、区画線認識部、パラメータ抽出部、多重線判定部、基準線選択部、線間測定部、線間記憶部及び境界推定部を備える。

画像取得部は、車両に備えられた撮像装置により撮像された撮像画像をあらかじめ設定された車線認識サイクルごとに繰り返し取得する。
画像処理部は、画像取得部により撮像画像が取得されるごとに、取得された撮像画像に存在する道路に描かれた少なくとも１つの区画線に基づいて車線境界線の位置を設定する。

区画線認識部は、画像取得部により取得された画像に存在する道路に描かれた少なくとも１つの区画線を認識する。
パラメータ抽出部は、区画線認識部により認識された区画線それぞれについて、当該区画線が道路形状を推定するのに有利である度合いを表し有利であるほど大きな値となる、少なくとも１つの区画線パラメータを抽出する。

多重線判定部は、区画線認識部により認識された区画線が他の区画線と多重線を構成するか否か判定する。
基準線選択部は、多重線判定部により区画線が多重線を構成していると判定された場合、パラメータ抽出部により抽出された当該区画線パラメータに基づいて多重線のうち道路形状を推定するに当たって相対的により有利である区画線を基準線として選択する。

線間測定部は、多重線判定部により多重線を構成すると判定された複数の区画線の区画線同士の間の距離である線間距離を測定する。
線間記憶部は、線間測定部により測定された線間距離を記憶する。

境界推定部は、基準線選択部により選択された基準線が車線境界線以外の線である場合に、線間記憶部に記憶された境界線と基準線との線間距離である差分距離だけ基準線選択部により選択された基準線の位置からずらした位置を車線の境界の位置として推定する。

このような構成によれば、境界線として認識すべき区画線が擦れなどにより認識できなくなった場合にも車線を認識することができ、これにより車両の走行する車線を認識する精度を向上することができる。

車両制御装置の構成を表すブロック図である。 車載カメラの路面撮像範囲を表した図である。 車載カメラの設置位置を表した図である。 車線認識処理のフローチャートである。 車載カメラにより撮像される区画線の図である。 車載カメラにより撮像された区画線のエッジ点を表した図である。 車載カメラにより撮像された区画線のエッジ線を表した図である。 車載カメラにより撮像された区画線のエッジ点に対してハフ変換を用いて算出された線を表した図である。 遠点パラメータの算出方法を表した図である。 自車が走行する道路の区画線を表した図である。 車線境界設定処理のフローチャートである。 自車の左右それぞれに多重線が存在しない場合を表した図である。 基準線選択処理のフローチャートである。 車線境界線決定処理のフローチャートである。 一部の区画線が擦れ等により消えている状態を表す図である。 一部の区画線が道路の途中で消えている状態を表す図である。 変形例における車線境界線の認識を表した図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［実施形態］
［１．構成］
図１に示す車両制御システム１は、撮像装置１０、センサ群２０、車線認識装置３０及び車両制御装置４０を備える。なお、以下、当該車両制御システム１が搭載される車両を自車とする。

撮像装置１０は、ＣＣＤやＣＭＯＳなどの撮像素子を二次元的に配置してなるイメージセンサを用いて構成された周知のＣＣＤカメラまたはＣＭＯＳカメラからなり、あらかじめ設定された撮像周期ごとに、自車前方を撮像した撮像画像を車線認識装置３０に供給するように構成されている。また、撮像装置１０により撮像される撮像画像は色が判別できるカラーの画像とする。なお、撮像装置１０は例えば図２に示すような自車前方の路面を撮像する範囲が路面撮像範囲となるように、図３に示すように自車のルームミラー近くに設置される。

センサ群２０は、車速センサ及びヨーレートセンサを少なくとも含み、自車の位置及び自車の速度などの挙動を検出する。なお、センサ群２０としては、前述の車速センサ，ヨーレートセンサの他に、例えば、ピッチ角センサ、ステアリング角センサ等を更に用いてもよい。また、センサ群２０で検出された自車の位置及び挙動は、後述するメモリ３２に記憶される。

車両制御装置４０は、車線認識装置３０からの出力に応じて自車の制御を行う。ここでいう自車の制御とは、具体的には例えば、警報音などにより自車のドライバに報知を行う制御や、ハンドルを制御する等の周知のレーンキーピングを行う制御が挙げられる。

車線認識装置３０は、ＣＰＵ３１と、ＲＡＭ、ＲＯＭ及びフラッシュメモリ等の半導体と、を有する周知のマイクロコンピュータを中心に構成される。車線認識装置３０の各種機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、車線認識装置３０を構成するマイクロコンピュータの数は１つでも複数でもよい。

車線認識装置３０は、ＣＰＵ３１がプログラムを実行することで後述する車線認識処理を実現する。車線認識装置３０の各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

［２．処理］
次に車線認識装置３０が実行する車線認識処理について、図４のフローチャートを用いて説明する。なお、車線認識処理は、自車のイグニッションスイッチがオンされると開始され、オフされるまでの間、繰り返し行われる。なお以下、繰り返し行われる車線認識処理のサイクルを車線認識サイクルという。

Ｓ１１０で、車線認識装置３０は、撮像装置１０により撮像された撮像画像を取得する。取得された撮像画像に含まれる区画線を表した例を図５に示す。
Ｓ１２０で、車線認識装置３０は、エッジ点の抽出を行う。ここでいうエッジ点は、区画線とそれ以外の部分との境目の点を表す。エッジ点を抽出する方法は、具体的には、図６に示すように、撮像画像における隣接する画素の輝度の差分であるエッジ強度の絶対値があらかじめ決められた閾値である強度閾値以上である点をエッジ点Ｅｐとして認識することにより行われる。ここで、各エッジ点Ｅｐにおけるエッジ強度は、メモリ３２に記憶される。なお、エッジ点のうち、撮像画像を左から右に走査した際に、輝度値が低い画素から輝度値が高い画素に変化するアップエッジ点と、輝度値が高い画素から輝度値が低い画素に変化するダウンエッジ点とする。また、車線認識装置３０は、アップエッジ点と、そのアップエッジ点に対して右側に位置し、かつ、そのアップエッジ点に最も近い位置のダウンエッジ点とをペアとする。

Ｓ１３０で、車線認識装置３０は、エッジ線の算出を行う。具体的には、図７に示すように、Ｓ１２０で抽出したエッジ点からあらかじめ設定された範囲であるエッジ点範囲に存在する他のエッジ点を検出し、当該エッジ点を結んだ線であるエッジ線Ｅｌを算出する。なお、エッジ点範囲は、例えば、画素２つ分の範囲をいう。

Ｓ１４０で、車線認識装置３０は、線候補の算出を行う。ここでいう線候補とは、エッジ線を構成するエッジ点に対してハフ変換を行うことにより算出された線Ｈｔである。なお、ハフ変換は、直線や曲線などの関数で表現される図形を画像中から抽出する周知の手法である。線候補は、図８に示す線Ｈｔのようにエッジ点の分布に沿った線で表される。

Ｓ１５０で、車線認識装置３０は、線候補と他の線候補とのペアを設定する。具体的には、ある線候補を構成するエッジ点とペアをなすエッジ点により構成される線候補とを１つの区画線を表す線候補ペアとして設定する。

また、車線認識装置３０により認識された各線候補、各線候補ペア、区画線及びそれらの特徴をメモリ３２に記憶する。ここでメモリ３２に記憶される特徴は、例えば、各線候補の曲率、各線候補に属するエッジ点の数、各線候補ペアの表す区画線の色、各線候補の遠点距離、各線候補ペアの表す区画線の線間距離及び自車と各線候補との位置関係である。

ここでいう各線候補ペアの表す区画線の色は、各線候補ペアを構成する線候補同士の間に存在する画素の色度から求められる。また、ここでいう遠点距離とは、線候補が取得された撮像画像の表す空間において、線候補が認識される最も遠い位置を遠点位置とすると、自車から遠点位置までの距離をいう。具体的には、例えば図９に示すような撮像画像における各線候補に属するエッジ点のうち、画像中で最も高い位置に属するエッジ点の位置を遠点位置とし、撮像画像の下端から遠点位置までの距離を遠点距離とする。また、各線候補の曲率は、例えば線候補のエッジ点の位置関係に当てはまる円を探索することにより算出されてもよい。その円の探索は、例えば最小二乗法などの周知の方法により求められてもよい。

さらに、ここでいう自車と各線候補との位置関係とは、自車の中心位置と検出された各線候補との車幅方向の距離をいう。また、線候補ペアを構成する線候補のうち、自車により近い線候補の位置が区画線の位置として設定される。また、自車と区画線との位置関係とは、自車の中心位置と区画線の位置との車幅方向の距離をいう。さらに、ここでいう区画線の線間距離は、その区画線位置同士の車幅方向に沿った距離をいう。具体的には、図１０に示すように認識された隣り合う区画線を表す線候補ペアＬａ１〜Ｌａ５の同士の距離Ｄ１〜Ｄ３が線間距離となる。

Ｓ１６０で、車線認識装置３０は、車線境界の設定を行う。車線境界の設定の詳細については後述する。
Ｓ１７０で、車線認識装置３０は、自車線の選択を行う。すなわち、Ｓ１６０で設定された車線境界線のうち、自車の左右それぞれについて最も近い車線境界線同士の間を自車の走行する自車線として選択する。

Ｓ１８０で、車線認識装置３０は、道路形状の出力を行う。すなわちＳ１７０で選択された自車線の車線境界線の形状を道路形状として出力する。
なお、Ｓ１１０での処理が画像取得部としての一例に相当し、Ｓ１２０での処理がエッジ抽出部としての一例に相当し、Ｓ１５０での処理が線候補算出部、距離測定部、曲率算出部、曲率記憶部及び関係検出部としての一例に相当し、Ｓ１２０からＳ１５０までの処理が区画線認識部としての一例に相当し、Ｓ１２０からＳ１６０までの処理が画像処理部としての一例に相当する。
＜車線境界設定処理＞
ここで、車線認識装置３０が先のＳ１６０で実行する車線境界設定処理の詳細を、図１１に示すフローチャートに沿って説明する。なおＳ２１０からＳ２３０までのステップを特徴抽出サイクルといい、Ｓ２４０からＳ２６０までのステップをグループ化サイクルといい、Ｓ２７０からＳ３３０までのステップを境界線決定サイクルという。

Ｓ２１０で、車線認識装置３０は、線候補ペアが表す区画線のうち１つの区画線を選択する。ここで選択される区画線は、前回までの特徴抽出サイクルにおいてＳ２１０で選択されていない区画線である未抽出区画線の中から選択される。

Ｓ２２０で、車線認識装置３０は、Ｓ２１０で選択された区画線に対して、線特徴の抽出を行う。ここでいう線特徴とは、Ｓ２１０で選択された区画線の線種及び色度をいう。ここでいう線種は、実線や破線などの区画線の形状をいう。線種は、例えば線候補ペアにおいて、線候補ペアを構成する線候補に沿った方向に、線候補に属するエッジ線が存在する間隔により判断される。線の色は、線の色度に基づいて判定される。また、車線認識装置３０により判定された区画線の線種及び算出された区画線の色度はメモリ３２に記憶される。

Ｓ２３０で、車線認識装置３０は、未抽出区画線が存在するか否かを判定する。
Ｓ２３０で、未抽出区画線が存在すると判定された場合、Ｓ２１０に処理を移行し、以降の処理を行う。

Ｓ２３０で、未抽出区画線が存在しないと判定された場合、Ｓ２４０に処理を移行し、以降の処理を行う。
Ｓ２４０で、１つの区画線を選択する。ここで選択される区画線は、前回までのグループ化サイクルにおいて、Ｓ２４０で選択されていない区画線である未グループ化区画線の中から選択される。

Ｓ２５０で、車線認識装置３０は、区画線のグループ化を行う。具体的には、Ｓ２４０で選択された区画線の位置から車幅方向のあらかじめ決められた範囲内に他の区画線が存在する場合、それらの区画線を同一の区画線グループに設定する。Ｓ２４０で選択された区画線の位置から車幅方向のあらかじめ決められた範囲内であるグループ範囲内に他の区画線が存在しない場合、Ｓ２４０で選択された区画線を区画線グループに設定する。すなわち、区画線グループ内に存在する区画線が１つであるグループが設定される。ここでいうあらかじめ決められた範囲内とは、例えば区画線の横幅の３倍程度の範囲など、多重線や複合線であるかと一重線であるかとを区別できる範囲であればよい。また、区画線の位置は、区画線を構成する線候補の位置を区画線の位置として設定してもよい。

Ｓ２６０で、車線認識装置３０は、未グループ化区画線が存在するか否かを判定する。
Ｓ２６０で、未グループ化区画線が存在すると判定された場合、Ｓ２４０に処理を移行し、以降の処理を行う。

Ｓ２６０で、未グループ化区画線が存在しないと判定された場合、Ｓ２７０に処理を移行し、以降の処理を行う。
Ｓ２７０で１つの区画線グループを選択し、選択グループとして設定する。ここで、選択グループは、前回までの境界線決定サイクルにおいてＳ２１０で選択されていない区画線グループである未選択グループから選択される。

Ｓ２８０で、車線認識装置３０は、選択グループ内に複数の区画線が存在するか否かの判定を行う。
Ｓ２８０で、選択グループ内に複数の区画線が存在しないと判定した場合、すなわち、選択グループを構成する区画線が１つであると判定した場合、車線認識装置３０はＳ２９０に処理を移行する。

Ｓ２８０で、選択グループ内に複数の区画線が存在すると判定した場合、車線認識装置３０はＳ３００に処理を移行する。
Ｓ２９０で、車線認識装置３０は、選択グループを構成する区画線を車両境界線として決定する。具体的には例えば図１２に示すような道路において一定の車幅方向の範囲内であるグループ範囲内に他の区画線が存在しない選択区画線Ｌｂ１及び選択区画線Ｌｂ２はそれぞれ車線境界線として決定される。車線認識装置３０はＳ２９０の後、Ｓ３３０に処理を移行する。

Ｓ３００で、車線認識装置３０は、選択グループに含まれる複数の区画線を選択多重線として設定し、選択多重線を構成する区画線同士の車幅方向の距離を線間距離として取得する。

Ｓ３１０で、車線認識装置３０は、選択多重線を構成する区画線のうち、道路形状を推定するに当たって相対的により有利である線を基準線として選択する。道路形状を推定するに当たって相対的により有利である線とは、例えば曲率の変化が小さいなどである。基準線の選択の詳細については後述する。

Ｓ３２０で、車線認識装置３０は、選択多重線を構成する区画線の線種に基づき、車線境界を決定する。車線境界の決定の詳細については後述する。
Ｓ３３０で、今回までの設定サイクルにおいてＳ２７０で選択されていないグループである未選択グループが存在するか否かを判定する。

Ｓ３３０で今回までの設定サイクルにおいて未選択グループが存在すると判定された場合、Ｓ２７０に戻り、以降の処理を行う。
Ｓ３３０で今回までの設定サイクルにおいて未選択グループが存在しないと判定された場合、処理を終了する。なお、Ｓ２２０での処理が線特徴抽出部及び色度測定部に相当し、Ｓ２８０での処理が多重線判定部に相当し、Ｓ３００での処理が線間測定部及び線間記憶部に相当し、Ｓ３１０での処理が基準線選択部に相当する。
＜基準線選択処理＞
ここで車線認識装置３０が先のＳ３１０で実行する基準線選択処理の詳細を、図１３に示すフローチャートに沿って説明する。なお、以下パラメータの算出及び集計は、認識された区画線ごと、すなわち、Ｓ２７０で選択された選択多重線を構成する区画線それぞれに対して行われる。

Ｓ４１０で、車線認識装置３０は、区画線それぞれに含まれるエッジ点数に基づいてエッジ点数パラメータの算出を行う。ここでいうエッジ点数パラメータは、例えば、あらかじめエッジ点数の最大値を設定し、設定されたエッジ点数の最大値に対する検出されたエッジ点の数の割合をパラメータとして算出する。ここでいうエッジ点数とは、１つの区画線を構成するエッジ点の数のことであり、エッジ点数の最大値とは、１つの区画線を構成するエッジ点の数の想定しうる最大値のことである。なおここで、区画線に含まれるエッジ点数は、Ｓ１２０で車線認識装置３０によりメモリ３２に記憶されるエッジ点数をいう。

Ｓ４２０で、車線認識装置３０は、区画線それぞれに含まれるエッジ強度に基づいてエッジ強度パラメータの算出を行う。ここでいうエッジ強度パラメータとは、例えば、あらかじめエッジ強度の最大値を設定し、設定されたエッジ強度の最大値に対する検出されたエッジ強度の割合をパラメータとして算出する。ここでエッジ強度は、Ｓ１２０でメモリ３２に記憶された強度をいう。また、エッジ強度の最大値とは、例えば画素の取り得る輝度の最大値と画素の取り得る輝度の最小値の差分をいう。１つの線を構成するエッジ点が複数存在する場合には、エッジ点それぞれにおけるエッジ強度の値を平均したものを当該区画線のエッジ強度として算出してもよい。

Ｓ４３０で、車線認識装置３０は、区画線それぞれの遠点距離に基づいて認識長パラメータの算出を行う。具体的には、例えば図９に示すように撮像画像の下端から撮像画像における消失点までの長さを最大認識長とする。このとき、遠点パラメータは、最大認識長に対する遠点距離の割合としてもよい。ここでいう遠点距離は、Ｓ１５０でメモリ３２に記憶された遠点距離をいう。

Ｓ４４０で、車線認識装置３０は、区画線それぞれの認識が継続されている距離である継続距離に基づいて、継続距離パラメータの算出を行う。ここでいう継続距離パラメータとは、例えば、ある一定の距離をあらかじめ基準距離として設定し、その基準距離に対する認識された区画線の継続距離の割合を継続距離パラメータとして算出する。ここでいう継続距離とは、区画線それぞれが認識されている間に車両が走行した距離のことである。当該継続距離はＳ１５０でメモリ３２に各区画線が記憶され始めた時刻から現在までの時間及びセンサ群２０により検出される車速から導き出される。

Ｓ４５０で、車線認識装置３０は、区画線それぞれの色に基づいて、色度パラメータ及び色種類パラメータの算出を行う。ここでいう色度パラメータとは、例えば、各区画線の色度のばらつきの逆数を色度パラメータとして算出する。またここでいう色種類パラメータとは、Ｓ１５０で求められた区画線の色の種類があらかじめ設定された色の種類と一致するほど大きな値となる。すなわち、例えば橙色に比べ白色である方が、道路形状を推定するに当たって相対的により有利であると判断するように設定してもよい。具体的には、Ｓ２２０でメモリ３２に記憶された区画線の色の種類が白色である場合に、橙色よりも高い色度パラメータを算出するよう設定してもよい。さらにここでいう色度は、Ｓ２２０でメモリ３２に記憶された色度をいう。

Ｓ４６０で、車線認識装置３０は、区画線の線種に基づいて、線種パラメータの算出を行う。ここでいう区画線の線種は、Ｓ２２０でメモリ３２に記憶された区画線の線種をいう。ここでいう線種パラメータとは、例えば区画線の線種として想定される実線や破線などの形状それぞれにパラメータを割り当て、検出された区画線の線種がいずれに該当するかによってパラメータを算出する。ここで割り当てられるパラメータとしては、実線が破線よりも高いパラメータになるものであってもよい。

Ｓ４７０で、車線認識装置３０は、Ｓ１５０でメモリ３２に記憶された自車と区画線との位置関係に基づいて、位置関係パラメータの算出を行う。また、ここでいう位置関係パラメータとは、例えば自車の中心位置と自車と区画線との位置関係によって位置関係パラメータを算出する。位置関係パラメータは例えば、自車の中心位置に存在する区画線を最大とし、車幅方向に離れるほど小さくなる値としてもよい。

Ｓ４８０で、車線認識装置３０は、区画線の曲率に基づいて、曲率パラメータの算出を行う。ここでいう区画線の曲率は、Ｓ１５０でメモリ３２に記憶される区画線の曲率をいう。また、ばらつきパラメータの算出方法は、例えば区画線の曲率のばらつきが０の状態を最大として、今回以前のあらかじめ決められた回数分の車線認識サイクルにおいて測定された同一の区画線の曲率のばらつきの大きさの割合をばらつきパラメータとして算出する。具体的には曲率のばらつきの逆数をばらつきパラメータとして算出してもよい。

Ｓ４９０で、車線認識装置３０は、Ｓ４１０からＳ４８０までのステップで算出したパラメータの集計を行う。ここで行われるパラメータの集計はそれぞれのパラメータを加算することにより求められてもよいし、乗算することにより求められるものであってもよい。また、それぞれのパラメータに対して重み付けを行ってもよい。さらに、ここで重み付けに用いられる重みは、各パラメータの重要度に応じた値であってもよい。また、集計を行うパラメータは、算出した複数のパラメータのうち、一部についてのみ行うものであってもよい。

Ｓ５００で、車線認識装置３０は、Ｓ４９０で区画線ごとに集計したパラメータが相対的に高い区画線を基準線として選択する。
以上に示した基準線選択処理により、検出された区画線のうち、道路形状を推定するに当たって相対的により有利である区画線である基準線が決定される。なお、本実施形態における各種パラメータが区画線パラメータに相当する。Ｓ４１０からＳ４９０までの処理がパラメータ抽出部に相当し、Ｓ４４０での処理が継続測定部に相当する。
＜車線境界線決定処理＞
ここで、車線認識装置３０が先のＳ３２０で実行する車線境界線決定処理の詳細を図１４に示すフローチャートに沿って説明する。

Ｓ５１０で、車線認識装置３０は、Ｓ３１０で選択された基準線の位置を取得する。
Ｓ５２０で、車線認識装置３０は、Ｓ２７０で設定された選択グループに車線境界線が存在するか否かを判定する。ここで、選択グループに車線境界線が存在するか否かは、選択グループを構成する区画線の線種に基づいて判定される。ここでいう線種はＳ２２０でメモリ３２に記憶された区画線の線種をいう。具体的には、選択グループを構成する区画線の線種それぞれに対してあらかじめ記憶された中央線などの車線境界線の形状と合致するか否かを判定することにより車線境界線であるか否かを判定する。

Ｓ５２０で、車線境界線が存在すると判定された場合には、車線認識装置３０は、Ｓ５３０に処理を移行する。
Ｓ５３０で、車線認識装置３０は、Ｓ５２０で車線境界線と判定された線を車線境界線として決定する。

Ｓ５４０で、車線認識装置３０は、Ｓ５１０で取得した基準線とＳ５３０で決定された車線境界線との線間距離を差分距離としてメモリ３２に記憶する。ここでいう線間距離はＳ３００で取得される線間距離をいう。

Ｓ５２０で、車線境界線が存在しないと判定された場合には、車線認識装置３０は、Ｓ５５０に処理を移行する。
Ｓ５５０で、車線認識装置３０は、前回までの車線境界線決定処理においてＳ５４０でメモリ３２に記憶された差分距離とＳ５１０で取得した基準線の位置とに基づいて、車線境界線の位置を推定する。すなわち、基準線の位置から差分距離だけ変位した位置に車線境界線が存在するものと推定する。例えば、図１５に示すように、自車の走行する車線の右側における車線境界線Ｌａ４が擦れなどにより消えている場合、基準線を区間線Ｌａ５とすると、区間線Ｌａ５の位置及び差分距離Ｄ３から車線境界線Ｌａ４の位置が求められる。

なお、Ｓ５５０が境界推定部に相当する。
以上に示した車線境界線決定処理により、道路形状を表す車線境界線の位置が決定される。

［３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）本実施形態の車線認識装置によれば、基準線の位置をメモリ３２に記憶し、選択グループ内に車線境界線が存在しないと判定された場合、記憶された差分距離と基準線の位置とに基づいて、車線境界線の位置を推定する。基準線は検出された区画線のうち、道路形状を推定するに当たって相対的により有利である区画線が選ばれるため、車線境界線の位置を推定する精度を向上することができる。また、出力される道路形状は、車線境界線の位置により表されるので、出力される道路形状の推定精度が向上することができる。例えば、図１６に示すように、区画線Ｌａ２及び区画線Ｌａ５を基準線とした際に、車線境界線Ｌａ１及び車線境界線Ｌａ４が擦れ等により消えても、区画線Ｌａ２及び差分距離Ｄ１により車線境界線Ｌａ１の位置を、区間線Ｌａ５及び差分距離Ｄ３により車線境界線Ｌａ４の位置を求めることができる。また、メモリ３２に記憶された差分距離から車線境界線の位置を推定し、推定した車線境界線の位置を道路形状として出力するので、車線境界線が擦れなどにより消えた場合にもメモリ３２に記憶された差分距離から車線境界線の位置を推定することができる。

（１ｂ）また、本実施形態の車線認識装置によれば、道路形状の推定の信頼性を向上させることができる。すなわち、本実施形態では、上述したように、区画線ごとに集計したパラメータが相対的に高い区画線を基準線として選択する。言い換えると、基準線を選択するに際し、上述した曲率や認識距離などの複数のパラメータを用いて総合的に判断するため、１つのパラメータを用いて判断する場合に比べ、より安定した値を用いて基準線を選択することができる。また、仮に区画線のパラメータのすべてが読み取れる場合でなくても、基準線を選択することができるため、パラメータが１つである場合に比べ、信頼性を向上させることができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態の車線認識装置によれば、エッジ線の算出は抽出したエッジ点からあらかじめ設定されたエッジ点範囲以下の範囲に存在する他のエッジ点を検出し、当該エッジ点を結んだ線であるエッジ線Ｅｌを算出する。しかし、エッジ線の算出方法はこれに限定されるものではない。例えばセグメンテーションによって、エッジ線を算出するとしてもよい。ここでいうセグメンテーションとは、例えば、隣接する２つのエッジ点を線で結び、あらかじめ決められた範囲内のその線を延長した方向に別のエッジ点が存在した場合に、そのエッジ点を含めて新たにエッジ線を構成する。このようにとしてエッジ線を求めてもよい。また、例えば線候補の算出と同様、エッジ点同士に対してハフ変換を行うことによってエッジ線を算出してもよい。

（２ｂ）上記実施形態の車線認識装置によれば、基準線の位置に基づいて車線境界線を認識したが、これに限定されるものではない。車線境界線の位置と特定の地物との位置関係があらかじめ決まっている場合には、特定の地物の位置を認識し、認識した地物の位置を基準線の位置とみなし、当該地物の位置に基づいて車線境界の位置を設定してもよい。このような方法によれば、例えば図１７のように特定の地物の位置として、車線の端に存在する壁の位置Ｗａを用いた場合、区画線に比べ、擦れなどにより消える可能性が低く、道路形状と関連しているため、車線境界線を認識する精度を向上させることができる。

（２ｃ）また、この場合において、基準線と特定の地物の位置との少なくとも一方に基づいて車線境界の位置を求めても良い。さらにこの際、車線境界線の位置を、基準線と特定の地物との位置のうちどちらを優先するかを重み付けしてもよい。

（２ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｅ）上述した車線認識装置の他、当該車線認識装置を構成要素とするシステム、当該車線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、車線認識方法など、種々の形態で本開示を実現することもできる。

１…車両制御システム、２…画素、１０…撮像装置、２０…センサ群、３０…車線認識装置、３１…ＣＰＵ、３２…メモリ、４０…車両制御装置。

Claims (8)

1. 車両に備えられ、車線の境界を認識する車線認識装置であって、
   前記車両に備えられた撮像装置により撮像された撮像画像をあらかじめ設定された車線認識サイクルごとに繰り返し取得するように構成された画像取得部と、
   前記画像取得部により前記撮像画像が取得されるごとに、取得された前記撮像画像に存在する道路に描かれた少なくとも１つの区画線に基づいて車線境界線の位置を設定するように構成された画像処理部と、を備え、
   前記画像処理部は、
   前記画像取得部により取得された画像に存在する道路に描かれた少なくとも１つの区画線を認識するように構成された区画線認識部と、
   前記区画線認識部により認識された区画線それぞれについて、当該区画線が道路形状を推定するのに有利である度合いを表し有利であるほど大きな値となる、少なくとも１つの区画線パラメータを抽出するように構成されたパラメータ抽出部と、
   前記区画線認識部により認識された区画線が他の区画線と多重線を構成するか否か判定するように構成された多重線判定部と、
   前記多重線判定部により区画線が多重線を構成していると判定された場合、前記パラメータ抽出部により抽出された当該区画線パラメータに基づいて多重線のうち道路形状を推定するに当たって相対的により有利である区画線を基準線として選択するように構成された基準線選択部と、
   前記多重線判定部により多重線を構成すると判定された複数の区画線の区画線同士の間の距離である線間距離を測定するように構成された線間測定部と、
   前記線間測定部により測定された前記線間距離を記憶するように構成された線間記憶部と、
   前記基準線選択部により選択された基準線が車線境界線以外の線である場合に、前記線間記憶部に記憶された前記境界線と前記基準線との前記線間距離である差分距離だけ前記基準線選択部により選択された基準線の位置からずらした位置を前記車線の境界の位置として推定するように構成された境界推定部と、
   を備える、車線認識装置。
2. 請求項１に記載の車線認識装置であって、
   前記パラメータ抽出部は、複数の前記区画線パラメータを抽出し、
   前記基準線選択部は、前記パラメータ抽出部により抽出された複数の区画線パラメータの値を区画線パラメータそれぞれの重要度に応じて設定された重みを用いて重み付け加算した値を用いて、前記基準線を選択する、車線認識装置。
3. 請求項１又は請求項２に記載の車線認識装置であって、
   前記区画線認識部により認識された前記区画線ごとに、当該区画線の認識に用いた前記画像における点のうち、前記車両から最も遠くに位置するものを遠点として、前記車両から当該遠点までの距離である遠点距離を求める距離測定部を更に備え、
   前記パラメータ抽出部は、前記距離測定部により求められた前記遠点距離が長いほど大きな値となる遠点パラメータを、前記区画線パラメータの１つとして抽出する、車線認識装置。
4. 請求項１から請求項３までのいずれか１項に記載の車線認識装置であって、
   前記区画線認識部により認識された前記区画線ごとに、当該区画線の曲率を求める曲率算出部と、
   前記曲率算出部により算出された前記区画線の曲率を記憶する曲率記憶部と、
   前記曲率記憶部に記憶された前記区画線の曲率に基づいてあらかじめ決められた回数のサイクルの間に認識された曲率のばらつきを求めるばらつき算出部と、を更に備え、
   前記パラメータ抽出部は、前記曲率ばらつき算出部により求められた曲率のばらつきが小さいほど大きな値となるばらつきパラメータを、前記区画線パラメータの１つとして抽出する、車線認識装置。
5. 請求項１から請求項４までのいずれか１項に記載の車線認識装置であって、
   前記区画線認識部は、前記撮像画像における隣接する輝度の差分であるエッジ強度に基づいて前記区画線ごとに、前記区画線とそれ以外の部分との境目の点であるエッジ点を検出するように構成されたエッジ抽出部を更に備え、
   前記パラメータ抽出部は、前記区画線認識部により求められた前記エッジ点におけるエッジ強度が強いほど大きな値となるエッジ強度パラメータ及び前記区画線認識部により求められた前記エッジ点の数が多いほど大きな値となるエッジ点数パラメータのうち少なくとも一方を、前記区画線パラメータの１つとして抽出する、車線認識装置。
6. 請求項１から請求項５までのいずれか１項に記載の車線認識装置であって、
   前記区画線認識部により認識された前記区画線ごとに、当該区画線それぞれの色度を測定するように構成された色度測定部を更に備え、
   前記パラメータ抽出部は、前記色度測定部により求められた当該区画線の色度のばらつきが小さいほど大きな値となる色度パラメータ及び前記色度測定部により求められた当該区画線の色の種類が前記車線境界線を表す可能性が高いとあらかじめ設定された色の種類と一致するほど大きな値となる色種類パラメータのうち少なくとも一方を、前記区画線パラメータの１つとして抽出する、車線認識装置。
7. 請求項１から請求項６までのいずれか１項に記載の車線認識装置であって、
   前記区画線認識部により認識された前記区画線ごとに、当該区画線と前記車両との位置関係を測定するように構成された関係検出部を更に備え、
   前記パラメータ抽出部は、前記関係検出部により求められた前記区画線と前記車両との位置関係が近いほど大きな値となる位置関係パラメータを、前記区画線パラメータの１つとして抽出する、車線認識装置。
8. 請求項１から請求項７までのいずれか１項に記載の車線認識装置であって、
   前記区画線認識部により認識された前記区画線ごとに、当該区画線それぞれが継続して認識されている距離である継続距離を測定するように構成された継続測定部を更に備え
   前記パラメータ抽出部は、前記継続測定部により求められた前記継続距離が長いほど大きな値となる継続距離パラメータを、前記区画線パラメータの１つとして抽出する、車線認識装置。

Images