JP2010198119A - 道路白線認識装置及び道路白線認識方法 - Google Patents

Abstract

【課題】演算処理量を抑え且つ所定の精度を確保可能な道路白線認識を可能とする。
【解決手段】車両周囲の道路を撮影して取得した画像から道路白線候補点を抽出する。そして、その抽出した道路白線候補点に基づいて、道路白線位置に対応する曲線である道路曲線を検出する。このとき、上記道路曲線を規定する複数の変位点を設定し、その複数の変位点の少なくとも一つを基準点とし、基準点以外のオフセット変位点を上記基準点を通る第１の直線からのオフセット量として定義する。そして、上記基準点の位置、及びオフセット変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出する。
【選択図】 図９

Description

本発明は、車両周囲の画像から道路白線、特に車両進行方向に位置する道路白線を、検出して認識する道路白線認識の技術に関する。

道路白線認識装置としては、例えば特許文献１に記載の装置がある。車両前方を撮像した画像から道路白線の候補点を抽出する。抽出した候補点を使用して多項式による曲線として道路白線を検出する。具体的には、上記候補点をそれぞれ個別の座標値で定義する。そして、その複数の候補点のうちから選択する任意のＮ個を使用して多項式からなる曲線モデルを規定することを繰り返しつつ、ハフ変換によって、曲線モデルのパラメータ推定を実施する。これによって、道路曲線に対する曲線を検出する。

特開平１０−１２４６８７号公報

上記従来技術では、選択したＮ個の候補点によって求めたパラメータによる曲線モデルの規定を何度も繰り返しつつ、ハフ変換で信頼性のある結果を得る必要がある。このため、次数が高い程、量子数が多くなり、評点が大きくなるための繰り返し回数は莫大なものとなる。すなわち、道路白線の認識処理の負荷が高く且つ処理に時間が掛かる。また、これを回避するために高速演算可能なプロセッサを使用すると、コストアップとなる。
本発明は、上記のような点に着目したもので、演算処理量を抑え且つ所定の精度を確保可能な道路白線認識の技術を提供可能とすることを課題とする。

上記課題を解決するために、本発明は、車両周囲の道路を撮影して取得した画像から道路白線候補点を抽出する。そして、その抽出した道路白線候補点に基づいて、道路白線位置に対応する曲線である道路曲線を検出する。
このとき、上記道路曲線を規定する複数の変位点を設定し、その複数の変位点の少なくとも一つを基準点とし、基準点以外のオフセット変位点を上記基準点を通る第１の直線からのオフセット量として定義する。そして、上記基準点の位置、及びオフセット変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出する。

本発明によれば、上記道路白線候補点と関係なく（道路白線候補点上でも別でも良い。）、上記道路曲線を規定する複数の変位点を予め設定するので、従来のように、複数の候補点のうちから選択する任意のＮ個による曲線モデルの規定を繰り返す必要がない。
また、曲線モデルを規定する変位点のうちオフセット変位点を、基準点に対するオフセット量で規定することで拘束することで、オフセット変位点の取り得る範囲を限定することが出来る。
以上のことから、道路曲線を検出するためのパラメータ推定の演算処理量を抑えることが可能となる。また、オフセット変位点の取り得る範囲が限定されることから、ロバスト性が向上する。すなわち、演算処理量を抑え且つ所定の精度を確保可能な道路白線認識の技術を提供可能となる。

本発明に基づく実施形態に係る構成図である。 本発明に基づく実施形態に係る車両前方画像例である。 本発明に基づく実施形態に係る道路白線認識処理部の構成を説明する図である。 画像の中央下付近は路面が撮像されている可能性が高いことを示す図である。 路面画像にソーベルフィルタを施し、差分画像の作成を説明する図である。 ソーベルフィルタを施して得られた差分画像を示す図である。 道路領域の周囲に輪郭点を抽出するエリアを示す図である。 輪郭点抽出結果を説明する図である。 本発明に基づく第１実施形態に係る道路曲線を規定するパラメータを説明する図である。 ｄｘ３の探索範囲を説明する図である。 遺伝アルゴリズムによる処理を説明する図である。 想定する必要のない曲線例を説明するである。 ｄｘ３の探索範囲を説明する図である。 ｄｘ２の探索範囲を説明する図である。 想定する必要のない曲線例を説明するである。 想定する必要のある曲線例を説明するである。 本発明に基づく第１実施形態に係る道路曲線を規定するパラメータの変形例を説明する図である。 本発明に基づく第２実施形態に係る道路曲線を規定するパラメータを説明する図である。 本発明に基づく第２実施形態に係る作用を説明する図である。 本発明に基づく第３実施形態に係る道路曲線を規定するパラメータを説明する図である。

（第１実施形態）
次に、本発明の第１実施形態について図面を参照しつつ説明する。
図１に本実施形態の構成を示す。すなわち、車両に対してカメラ１を搭載する。カメラ１は、車両の周囲を撮像する。撮像は、車両前方、側方、後方などが考えられるが、本実施形態では、車両前方を撮像する場合を例に挙げて説明する。カメラ１は、撮像した車両周囲の道路画像を道路白線認識処理部２に出力する。

ここで、上記カメラ１が撮像した画像は離散化して記憶する。画像の離散化単位を画素とよび、例えば、横６４０×縦４８０個の画素が１画面を構成する。各画素には対応する位置の輝度情報を蓄積する。図２に道路画像の一例を示す。
上記道路白線認識処理部２は、離散時間間隔で繰り返し実行して、入力した道路画像を処理して、道路白線を認識する。道路白線認識処理部２による処理結果は、車線に対する自車両の横位置やヨー角、もしくは道路曲率などの情報に変換し、変換した情報を、車線維持支援システムや車線逸脱警報システムで利用する。

上記道路白線認識処理部２は、図３に示すように、候補点抽出手段２Ａ及び道路曲線検出手段２Ｂを備える。
候補点抽出手段２Ａは、車両周囲の道路を撮影して取得した画像から道路白線候補点を抽出する。候補点抽出手段２Ａは、図３に示すように、道路領域検出部２Ａａ、輪郭点推定部２Ａｂ、輪郭点抽出部２Ａｃを備える。

道路領域検出部２Ａａは、画像の中央下付近は道路の路面と推定し、その位置の輝度と実質的に同じ値を持つ領域を探索することにより、道路領域を検出する。ここで、一般に取り込まれた画像の中央下付近は道路の路面を撮像していることが多い。道路領域検出部２Ａａの検出結果の一例を図４に示す。
輪郭点推定部２Ａｂは、道路領域検出部２Ａａが検出した道路領域を使用し、輝度差が大きい箇所を輪郭点として検出する。これは、道路白線と路面との間に輝度差が存在するという特性を使用したものである。まず、輝度差を得るために路面画像にソーベルフィルタ等を施して差分画像を得る。そして差分画像において輝値が大きい画素を輪郭点として抽出する。差分画像の輝度は原画像の輝度差分に相当する。

図５にソーベルフィルタを用いて差分画像を生成する様子を示す。コンボリューションとは以下の演算を意味する。
ｂ＝ −１×ｂ１１ ＋ ０×ｂ１２ ＋ １×ｂ１３
−２×ｂ２１ ＋ ０×ｂ２２ ＋ ２×ｂ２３
−１×ｂ３１ ＋ ０×ｂ３２ ＋ ２×ｂ３３
図５のソーベルフィルタは水平方向差分を表し、右側輝度が左側のそれよりも大きい場合に正の値を出力する。また、輝度差が大きい程、出力は大きくなる。このようにして取得した差分画像に対し、輝度の絶対値が所定値以上である画素を、輪郭点であるとして検出する。

輪郭点推定部２Ａｂで検出した結果を図６に示す。輪郭点は黒で表現している。この輪郭点の中には、道路白線以外に、ガードレールや先行車、路面汚れ等の輪郭が含まれる可能性がある。
次に、輪郭点抽出部２Ａｃは、道路領域検出部２Ａａが検出した道路領域の境界付近に道路白線が存在すると推定し、図７のような輪郭点抽出エリアを設定する。この輪郭点抽出エリア内に存在する輪郭点を抽出する。なお、この段階においても、道路白線近傍に存在するノイズは拾う可能性がある。この様子を図８に示す。図８に示す輪郭線上に複数の輪郭点（適宜、候補点とも呼ぶ）が存在する。

候補点抽出手段２Ａの候補点を抽出する処理はこれに限定しない。但し、多少のノイズが輪郭点として抽出されているとする。
また、上記道路曲線検出手段２Ｂは、抽出した候補点に基づいて道路白線位置に対応する曲線である道路曲線を検出する。本実施形態の道路曲線検出手段２Ｂは、上記道路曲線を規定する複数の変位点を、上記道路白線候補点上若しくは候補点とは別に設定すると共に、その複数の変位点の少なくとも一つを基準点とする。そして、基準点以外の変位点を上記基準点を通る第１の直線からのオフセット量として定義し、上記基準点の位置、及び基準点以外の変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出する。

以下、道路曲線検出手段２Ｂの処理について説明する。
道路曲線検出手段２Ｂは、道路白線を特定するための曲線モデルを有する。その曲線モデルについて、まず説明する。
（曲線モデルについて）
本実施形態では、曲線を規定する変位点が３点の場合を例にして説明する。３点の変位点で曲線を規定するため、曲線モデルは２次曲線となる。

撮像画面上にＸ−Ｙ座標を設定する。Ｙ座標は、車両前後方向に、車両に対して白線が延在すると想定される方向に設定する。Ｘ座標を車幅方向に設定する。図９に画像の座標系を示す。ここで、水平右方向をＸ軸正方向に垂直下方をＹ軸正方向に取る。この図９においては、下方に車両が位置することになる。
そして、ｙ軸方向に沿って並ぶ点１〜点３の３点Ａ１〜Ａ３を変位点として設定する。すなわち、撮像画面上のｙ座標を３つ選択し、画像下方（実空間では手前）からｙ１、ｙ２、ｙ３とする。そして、ｙ１、ｙ２、ｙ３を、各変位点のｙ値とする。

本実施形態では、各変位点のｙ値を定数とする。ここで、後述のように点１を基準点として設定するので、点２及び点３のｙ値を、点１に対するｙ軸方向へのオフセット量で定義しても良い。この場合、オフセット量は固定値とする。
上記３つの変位点のうち、実空間で車両に一番近い点１であるＡ１を基準点とする。また、点２及び点３であるＡ２、Ａ３をオフセット変位点とする。

また、点２及び点３は、図９に示すように、点１を通過する第１の直線からのオフセット量で定義する。すなわち、第１の直線を、点１を通過しｙ軸に平行な線とする。そして、この第１の直線に対する点２及び点３のｘ軸方向のオフセット量Δｘ２、Δｘ３とする。そしてΔｘ２を、パラメータとしてｄｘ２と定義する。
さらに、本実施形態では、点３について、点１及び点２を通過する第２の直線からのｘ軸方向のオフセット量をｄｘ３と定義すると、
Δｘ３は、「ｄｘ２×（ｙ３−ｙ２）／（ｙ２−ｙ１）＋ｄｘ３」と記述出来る。
すなわち、変位点である点１〜点３の座標は次のように記述出来る。
点１： （ｘ１、ｙ１）
点２： （ｘ１＋Δｘ２、ｙ２）
点３： （ｘ１＋Δｘ３、ｙ３）

更に、変位点である点１〜点３の座標は次のように記述出来る。
点１： （ｘ１、ｙ１）
点２： （ｘ１＋ｄｘ２、ｙ２）
点３： （ｘ１＋｛ｄｘ２×（ｙ３−ｙ２）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）
すなわち、本実施形態では、道路曲線は、変位点３点を通過する２次曲線であって、パラメータ｛ｘ１、ｄｘ２、ｄｘ３｝で定義する。なお、ｙ１，ｙ２，ｙ３を固定値としているが、上述のようにｙ１も変数とした場合には、パラメータは｛ｘ１、ｄｘ２、ｄｘ３、ｙ１｝と４つとなる。

（パラメータの探索範囲について）
ｘ１の探索範囲は例えば左白線の認識の場合ならば、画面の中央線のｘ座標よりも小さいように設定する。例えば、画面サイズが横６４０の場合、探索範囲を以下のように設定する。
｛ｘ１ ｜ ＸＸＸ ＜ ｘ１ ＜ ３２０｝ 式３
ここで、中央位置は６４０／２＝３２０となる。また、ＸＸＸは、０より小さい値をとることが多い。車両の横変位を考慮して決定する。
また、ｄｘ２は例えば以下のように設定する。
｛ｄｘ２ ｜ −１００ ＜ ｄｘ２ ＜ １００｝ 式４
次にｄｘ３は例えば以下のように設定する。
｛ｄｘ３ ｜ −８０ ＜ ｄｘ３ ＜ ８０｝ 式５
ｄｘ３は、白線上の２点と想定した点１及び点２を通過する第２の直線に対するｘ軸変位量で設定するので、ｄｘ２よりも探索範囲は小さく設定可能である。

ここで、式５は一例であるが、この探索範囲は想定するすべての道路形状をカバーするように設定する。図１０にｄｘ２が異なる例を２つ示した。同じ道路曲率でもｄｘ２が異なればｄｘ３の変化域も異なることが考えられるが、すべての条件を満たすように探索範囲を設定する。
そして、道路曲線検出手段２Ｂは、上記曲線モデルを使用し、遺伝アルゴリズムや焼き鈍し法等のランダムサーチに代表される最適値探索法によって、所定以上の適合度なるまでパラメータ推定を行って、道路曲線を検出する。所定の適合度は、例えば、曲線上に輪郭点の個数が所定値以上となった場合である。

以下に、図１１を参照しつつ、最適値探索法として遺伝アルゴリズムを採用した場合の一つの処理例を説明する。
ステップＧ１にて、初期固体集団を作成する。
ランダムに決定した染色体をもつ複数（以後Ｎ個と表記する。）の個体を生成する。本例では染色体が｛ｘ１、ｄｘ２、ｄｘ３｝となる。また、ｘ１、ｄｘ２、ｄｘ３の探索範囲は上述の通りである。

次に染色体を定義する。例えば、ｘ１、ｄｘ２、ｄｘ３に対応する染色体のｂｉｔ長がそれぞれ８である場合、以下のような変換テーブルを用意する。
染色体ｘ１ ：−３２０＜＝＞０ｘ００、・・・、３２０＜＝＞０ｘＦＦ
染色体ｄｘ２：−１００＜＝＞０ｘ００、・・・、１００＜＝＞０ｘＦＦ
染色体ｄｘ３： −８０＜＝＞０ｘ００、・・・、 ８０＜＝＞０ｘＦＦ
ここで、ｂｉｔ長は探索範囲及び要求される分解能で設定する。仮に分解能が同じとして、大きな探索範囲を考慮しなければならない場合、必要とするｂｉｔ長は長くなる。ｂｉｔ長が長くなると最適値探索までの演算時間が長くなる。これは探索範囲拡大による演算時間増大を意味している。ここで、分解能とは、１ｂｉｔあたりの変数の変化分であり、ここではｘ１、ｄｘ２、もしくはｄｘ３の変化分に対応する。

そして、それぞれの個体の適合度を以下のように計算する。
ここで、適合度は、染色体（すなわち｛ｘ１、ｄｘ２、ｄｘ３｝）により規定する曲線上（もしくは曲線近傍）の輪郭点の個数である。
すなわち、３点を通過する２次曲線を計算し、曲線上（もしくは近傍の）の輪郭点の個数を数える。計算付加を低減するために３点を折れ線で結んでもある程度の近似が得られることがある。

次に、ステップＧ２で、次世代固体候補の選択を行う。
各個体の適合度をもとに、重複を許してＮ個の個体を選択する。適合度が大きい程、選択される確率が高くなるよう、選択手段を構成する。
次に、ステップＧ３で交叉の処理を行う。
個体を２個ずつランダムに組み合わせて両親とし、染色体を交叉させ２個の子孫を作り、子孫と両親を入れ替える。
次に、ステップＧ４で、突然変異の処理を行う。
全個体の染色体を所定の確率で変異させる。
次に、ステップＧ５で、適合度計算を行う。
すなわち、各個体の適合度を計算する。
ステップＧ６で、適応度が所定値以上であれば、それを解として終了する。それ以外はＧ２へ戻る。

（動作・作用）
最適値探索として遺伝アルゴリズムを用いていることで、計算時間が膨大であるハフ変換よりも演算時間が短くなる。
また、下記のように点３のｘ座標表現による誤認識の低減、及び演算時間の節約を実施する。
点３：（ｘ１＋｛ｄｘ２×（ｙ３−ｙ２）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）

すなわち、点３のｘ座標を点１、２を通る直線とのｘ方向オフセットｄｘ３で表現することで誤認識が低減する。次に、その理由を説明する。
図１０から明らかなように、道路曲率が大きくなるほど、ｄｘ３の絶対値は大きくなる。また、本道路白線認識装置の結果が車線維持支援装置等で利用することを考えると、想定する道路曲率の範囲を限定することができる。
以上の２点から、ｄｘ３の探索範囲を適切に狭めることが可能である。点３のｘ座標を、点１、点２を通る直線からのｘ方向オフセット量ｄｘ３を用いて表現したこと、及びそのオフセットの探索範囲を適切に狭めることにより、点１、２、３に道路形状に適した拘束条件を与えたことになる。ここで、図１０の直線は道路曲率＝零を表している。

ところで、変局点が車両近傍にある曲線の場合、ｄｘ３は図１２に示すように非常に大きな値となる。しかし、このような曲線は想定する必要のない曲線である。従って、ｄｘ３の探索範囲を適切に狭く設定することができる本手法では、車両近傍に変局点があるような道路形状を探索することがない。その結果、誤認識が低減する。
ここで、点３のｘ座標を点２に対するオフセットを用いて表すことも考えることも出来る。この場合、点１との位置関係に対する拘束条件を与え無い分だけ、車両近傍に変局点が現れる形状を探索から除外することが出来ないおそれがある。また、点３の点２に対するオフセット探索領域は、図１３に示すように、プラスマイナス対称とすべきため、ｄｘ３よりも大きく、演算時間上不利である。また、点３のｘ座標自体を未知パラメータとすれば、点１との位置関係に対する拘束条件を与えない分、探索範囲が大きくなり、演算時間上不利である。

なお、左右コーナに対応するためオフセット想定領域はプラスマイナス対称とすることが好ましい。
以上から、本方式による点３のｘ座標表現は、誤認識防止、演算時間節約の両面から優れていることが判る。
ここで、点３のｘ座標を点２に対するオフセットを用いて定義した場合であっても、その探索範囲は広がるものの、点２に対する可能な範囲によって、探索範囲を限定することは可能である。

次に、点２の探索範囲縮小により、演算時間を縮小することが可能となる。
点２ （ｘ１ ＋ｄｘ２、ｙ２）
すなわち、点２のｘ座標自体を未知パラメータとせず、点１のｘ値に拘束したｄｘ２を用いて定義することにより、未知パラメータの探索範囲を縮小できる。すなわち、点１、２は、図１４に示すように、それぞれ隣接して存在することが仮定できるため、探索範囲を限定することが可能である。
ここで、本実施形態のパラメータ推定にハフ変換を適用しても構わない。上記のように各変位点を候補点に必ずしも制限されることなく設定すること、及び各変位点間を拘束する上記のような拘束条件を設定することで、上述の従来例の処理と比較して演算時間を短縮することが可能である。

また、道路曲線を区分的に１次近似し、それらを繋ぐことが考えられる。しかしながら、局所的に直線を検出することにより、ノイズに捕らわれ易くなる。また、各区分の直線は別々に検出されるため、互いに連結していない結果となることも有り得る。このため、ハフ変換の代わりに遺伝アルゴリズムや焼き鈍し法等のランダムサーチに代表される最適値探索支援方法を適用することが挙げられる。すなわち、曲線の係数（変位点）の探索に最適値探索方法を適用する。ここで、上記従来技術に対して遺伝アルゴリズムを使用した場合であっても、次の課題がある。

すなわち、遺伝アルゴリズムでは、複数の未知パラメータそれぞれに探索範囲を指定できるが、パラメータ間の拘束条件を与えることができない。その結果、道路形状として想定する必要が無い曲線を誤認識する可能性がある。
以下、具体例で説明する。一般に車両近傍の道路形状は直線に近似できる。しかしながら、係数それぞれの探索範囲を制限するだけでは車両近傍に変局点のある曲線（図１５中の曲線Ａ）すなわち想定する必要の無い曲線を探索してしまう。その理由を説明する。

図１５中の曲線Ｂは曲線Ａと同じ係数を持つ。曲線Ｂは右カーブで遭遇する道路形状であり、車線認識で想定する曲線である。よって、曲線Ｂの係数は探索範囲に含む必要がある。また、曲線Ａの定数項と同じ値を定数項に持つ曲線例を図１６に示す。これは２次係数ａ２が零の直線であり、車線認識で遭遇する典型的な形状である。この直線の係数も探索範囲に含めなければならない。以上より、曲線Ａの係数は探索範囲に含まれる。すなわち、探索範囲を制限することによって、曲線Ａを排除することはできない。

また、不必要な形状を探索することによって、演算時間の増大も招く問題もある。
更に、高次になるに従い、曲線の自由度が増すため、ノイズにとらわれやすい。
遺伝アルゴリズムのもつ最適値探索の速さから、従来では実現困難な３次以上の関数を用いた道路形状推定が可能となった。２次では近似し得ない道路形状をフィッティングする可能性を開くものである。現に、道路遠方では道路白線は水平線に漸近するものであるが、この形状は２次関数では近似しずらい。また、コーナの内側の形状も２次では近似しずらいことが多い。

高次関数はフィッティング精度を向上させる長所を持つものの、自由度の拡大に伴う誤認識が多発する可能性がある。例えば３次関数では、パラメータの値によっては変局点は２となるが、実際の道路認識では変局点を２つ持つ形状をフィティングする要求は稀である。逆にこの自由度により、道路白線以外のノイズをフィッティングしてしまうことが考えられる。

ここで、最小２乗法やカルマンフィルタ等を用いて、高次関数を推定することも考えられる。これらの手法は程度の差こそあれ推定結果にノイズの影響が現れる。ハフ変換や遺伝アルゴリズムではノイズが少ないとまったくその影響を受けないのに対し、最小２乗法等はなんらかの影響が現れる。
これに対し、本実施形態は、白線の延在状態の特徴を利用して、道路曲線を規定するパラメータの記述方式を工夫した。これによって、以上のような問題を解決している。

（変形例）
（１）上記実施形態では、変位点が３点の場合を例示した。変位点は２点であっても良いし、４点以上であっても良い。変位点の数を増やす程、隣り合う変位点間のｙ軸方向の間隔が小さくなり、ｘ軸方向の探索範囲を狭めることが可能となる。
変位点が４点の場合の例を、図１７を参照して説明する。
この場合パラメータは｛ｘ１、ｄｘ２、ｄｘ３、ｄｘ４｝となる。そして、道路曲線は、４点で規定される３次曲線となる。
この場合、４点の座標は以下のようになる。
点１： （ｘ１、ｙ１）
点２： （ｘ１＋ｄｘ２、ｙ２）
点３： （ｘ１＋｛ｄｘ２×（ｙ３−ｙ１）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）
点４： （ｘ１＋｛ｄｘ２×（ｙ４−ｙ１）／（ｙ２−ｙ１）｝
＋｛ ｄｘ３×（ｙ４−ｙ２）／（ｙ３−ｙ２） ｝＋ｄｘ４、ｙ４）
ここで、ｄｘ４ は点２、３を通る直線と点４のｘ方向距離である。

この変化例は、２次から３次へ拡張したものである。従って、曲線フィッティングの自由度の拡大に伴い、道路曲線推定精度が向上する
また、未知パラメータの探索範囲がより狭くなって演算時間の短縮が可能となる。すなわち、ｄｘ４の探索範囲は、単なる点３からのオフセットよりも探索範囲を小さくすることができる。その結果、演算時間を短縮することが期待できる。
また、未知パラメータの探索範囲が狭さくなることで誤検知が低減する。すなわち、パラメータの探索範囲が小さいため、曲線の形状により強い拘束条件が発生する。この結果として、過重なノイズへのフィッティングを防止できる。

ここで、一般の高次関数では以下のようになる。探索範囲を狭めることができ、演算時間の短縮、ノイズの誤フィッティングを効果的に防止できる。
点１： （ｘ１、ｙ１）
点２： （ｘ１＋ｄｘ２、ｙ２）
点３： （ｘ１＋｛ｄｘ２×（ｙ３−ｙ１）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）
点４： （ｘ１＋｛ｄｘ２×（ｙ４−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙ４−ｙ２）／（ｙ３−ｙ２）｝＋ ｄｘ４、 ｙ４）
点５： （ｘ１＋｛ｄｘ２×（ｙ５−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙ５−ｙ２）／（ｙ３−ｙ２）｝
＋｛ｄｘ４×（ｙ５−ｙ３）／（ｙ４−ｙ３）｝＋ｄｘ５、ｙ４）
・・・
点ｎ： （ｘ１＋｛ｄｘ２×（ｙｎ−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙｎ−ｙ２）／（ｙ３−ｙ２）｝
＋｛ｄｘｎ−１×（ｙｎ−ｙｎ−２）／（ｙｎ−１−ｙｎ−２）｝
＋ ｄｘｎ、ｙｎ）

ここで、２点の変位点を通過する第２の直線で別の変位点のオフセット量を定義する場合、その第２の直線を定義する２点の変位点の変位点の設定は、上記のように一番近い変位点とその次に近い変位点に限定されない。例えば、対象とする変位点を挟んだ変位点を第２の直線を定義する２点の変位点としても良い。２つの変位点の間の変位点であれば、２つの変位点で定義するから第２の直線のｘ軸方向の変位量は小さい。

（３）上記実施形態では、基準点のｙ値も固定する場合を例示した。基準点のｙ値を可変とし、例えば、車両近傍の候補点のｙ値を基準点のｙ値としても良い。
（４）上記実施形態では、車両近傍に一番近い基準点を設定した場合を例示している。これに限定しない。車両に対し一番遠い変位点を基準点としても良い。但し、車両の近い位置に基準点を設定した方が、基準点の探索範囲を小さくすることが出来る。
また、基準点をｙ軸方向に並んだ一番端の変位点に設定する必要はない。

（５）また、基準点を２点以上設定しても良い。上記の実施形態では、点３に対しは、点１及び点２を基準点とみなすことが可能である。
（６）上記実施形態では、車両前方の白線認識を例示したが、車両後方や車両側方の白線認識を対象としても良い。車両側方の白線認識の場合には、車両前後方向に沿った方向に変位点を初期設定すれば良い。
（本実施形態の効果）
（１）道路曲線検出手段２Ｂは、道路曲線を規定する複数の変位点を設定すると共に、その複数の変位点の少なくとも一つを基準点とし、基準点以外の変位点を上記基準点を通る第１の直線からのオフセット量として定義する。そして、上記基準点の位置、及び基準点以外の変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出する。ここで、上記複数の変位点は、道路白線の候補点上でも、道路白線の候補点とは別であっても良い。

上記道路曲線を規定する複数の変位点を予め設定するので、従来のように、複数の候補点のうちから選択する任意のＮ個による曲線モデルの規定を繰り返す必要がない。
また、曲線モデルを規定する変位点のうちオフセット変位点を、基準点に対するオフセット量で規定することで拘束することで、オフセット変位点の取り得る範囲を限定することが出来る。
以上のことから、道路曲線を検出するためのパラメータ推定の演算処理量を抑えることが可能となる。また、オフセット変位点の取り得る範囲が限定されることから、ロバスト性が向上する。すなわち、演算処理量を抑え且つ所定の精度を確保可能な道路白線認識の技術を提供可能となる。

（２）上記複数の変位点を、車両に対し白線が延在する方向と想定される方向に沿って初期設定することを特徴とする。
これによって、各パラメータの探索範囲を限定することが出来る。
（３）上記複数の変位点を、進行方向に沿った方向に初期設定する。
これによって、車両に対し白線が延在する方向と想定される方向に沿って初期設定することが可能となる。
（４）上記複数の変位点のうち、車両に近い変位点を基準点とする。
車両近傍の方が、白線の位置を限定可能である。このため、基準点の探索範囲を狭くすることが可能となる。

（５）上記複数の変位点を３点以上とする。そして、少なくとも一部のオフセット変位点を、対象とするオフセット変位点に対し、基準点よりも近い位置にある他のオフセット変位点と当該他のオフセット変位点よりも遠い位置にある変位点とを通る第２の直線からのオフセット量を用いて定義する。
道路白線の性質に鑑み、第２の直線からのオフセット量で定義することで、対象とするオフセット変位点の探索範囲をより狭めることが可能となる。

（６）少なくとも一部のオフセット変位点を、対象とするオフセット変位点に一番近い位置にある他のオフセット変位点と、当該他のオフセット変位点の次に近い位置にある変位点とを通る第２の直線からのオフセット量を用いて定義する。
道路白線の性質に鑑み、近傍の他のオフセット変位点を使用した第２の直線からのオフセット量で定義することで、対象とするオフセット変位点の探索範囲を、より確実に狭めることが可能となる。

（第２実施形態）
次に、第２実施形態について図面を参照して説明する。なお、上記実施形態と同様な装置等については同一の符号を付して説明する。
本実施形態の基本構成は上記第１実施形態と同様である。但し、道路曲線を規定するパラメータの設定が若干異なる。
本実施形態では、変位点が４点の場合を例に説明する。そして、点４のオフセット量を他の変位点である点３を定義するｘ軸方向オフセット量であるｄｘ３を使用して定義する。すなわち、点４のオフセット量を、点２及び点３を通過する第２の直線に対するオフセット量ｄｘ４で定義する、但し、ｄｘ４を、ｋ４×ｄｘ３として表現する。

すなわち、曲線のパラメータ（染色体）は｛ｘ１、ｄｘ２、ｄｘ３、ｋ４｝となる。
ここで｛ｘ１、ｄｘ２、ｄｘ３、ｋ４｝を図１８を用いて説明する。
撮像画面上のｙ座標を４つ選択し、画像下方（実空間では手前）からｙ１、ｙ２、ｙ３、ｙ４と定義する。これらは定数である。道路白線は以下の４点で規定した３次曲線とする。図２２から判るように、４点の座標は以下のようになる。
点１： （ｘ１、ｙ１）
点２： （ｘ１＋ｄｘ２、ｙ２）
点３： （ｘ１＋｛ｄｘ２×（ｙ３−ｙ１）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）
点４： （ｘ１＋｛ｄｘ２×（ｙ４−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙ４−ｙ２）／（ｙ３−ｙ２）｝＋ｋ４×ｄｘ３、 ｙ４）
ここで、点１、２、３の座標は、第１実施形態と同じであり、ｄｘ２、ｄｘ３の定義も、第１実施形態と同じである。

また、「ｋ４×ｄｘ３」は、点２、３を通る第２の直線に対する、点４のｘ方向オフセット量である。
ｘ１、ｄｘ２、ｄｘ３の探索範囲は上記実施形態と同じである。
上記ｋ４として正値を取るように設定する。
そして、ｋ４の探索範囲は以下のように設定する。
ｋ４ ｜ ０≦ｋ４＜ＸＸＸ 式６
ＸＸＸは正数とする。ＸＸＸが大きい程自由度は大きくなるが、探索すべき道路形状の限界を見極めて設定する。

（動作・作用）
道路認識結果を用いるレーンキープアシストシステムやレーン逸脱警報が対象とする状況は、高速道や単調な一般道である。このとき、画像上の道路白線形状では、変局点は１つしか現れない。よって、フィッティングすべき曲線モデルが変局点を２つ許すようであれば、それは無駄な探索を行っていると判断できる。すなわちパラメータ探索時間が増える。また、変局点を２つ許すとすると、ノイズの誤フィッティングの誤フィッティングが多発することも想定出来る。
本実施形態に示したように、パラメータｋ４が正であれば、３次曲線は変局点を２つ持つことは無くなる。その様子を図１９に示す。
すなわち、変局点が２つとなること無く、ノイズに影響されにくく、かつ、演算時間短縮に有利な道路白線認識を実現できる。

（変形例）
（１）３次の曲線で説明したが、より高次の曲線にも応用できる。一般化した場合の曲線のパラメータと通過する点を以下に示す。
曲線のパラメータ｛ｘ１、ｄｘ２、ｄｘ３、ｋ４、・・・、ｋｎ｝
点１： （ｘ１、ｙ１）
点２： （ｘ１＋ｄｘ２、ｙ２）
点３： （ｘ１＋｛ｄｘ２×（ｙ３−ｙ１）／（ｙ２−ｙ１）｝＋ｄｘ３、ｙ３）
点４： （ｘ１＋｛ｄｘ２×（ｙ４−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙ４−ｙ２）／（ｙ３−ｙ２）｝＋ｄｘ４、ｙ４）
点５： （ｘ１＋｛ｄｘ２×（ｙ５−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙ５−ｙ２）／（ｙ３−ｙ２）｝
＋｛ｄｘ４×（ｙ５−ｙ３）／（ｙ４−ｙ３）｝＋ｄｘ５、ｙ４）
・・・
点ｎ： （ｘ１＋｛ｄｘ２×（ｙｎ−ｙ１）／（ｙ２−ｙ１）｝
＋｛ｄｘ３×（ｙｎ−ｙ２）／（ｙ３−ｙ２）｝
＋｛ｄｘｎ−１×（ｙｎ−ｙｎ−２）／（ｙｎ−１−ｙｎ−２）｝＋ｄｘｎ、
ｙｎ）
ただし、ｄｘｎ＝ｋｎ×ｄｘｎ−１ （ｎ ≧ ４）

（本実施形態の効果）
（１）上記複数の変位点を４点以上とする。少なくとも１つのオフセット変位点を、他のオフセット変位点を定義するオフセット量を使用した関数で定義する。
これによって、変局点が２つとなること無く、ノイズに影響されにくく、かつ、演算時間短縮に有利な道路白線認識を実現できる。

（第３実施形態）
次に、第３実施形態について図面を参照して説明する。なお、上記各実施形態と同様な装置等については同一の符号を付して説明する。
本実施形態の基本構成は上記第１及び第２実施形態と同様である。但し、道路曲線を規定する変位点の設定が若干異なる。
本実施形態は、各変位点を定義するｙ値である、定数ｙ１、・・・、ｙｎの設定に特徴を持たせたものである。図２０にその様子を示す。すなわち、画面下（実空間での手前）でのｙｎの間隔を広く、画面上（実空間での奥）では狭く設定する。
その他の構成は、上記各実施形態と同様である。

（動作・作用）
道路白線は手前ほど直線に見える。すなわち、手前は直線に拘束するようなモデルの場合、誤フィッティングが少ないことを期待できる。本実施形態のようにｙｎを設定すれば、すくなくとも、画面下側の区間は区間が長い分、直線に近くなることが期待できる。結果として優れたフィッティングとノイズに影響されないロバスト性を両立することが可能となる。

（本実施形態の効果）
（１）上記複数の変位点における隣り合う変位点間の距離を、車両よりも離れた変位点間の距離よりも、車両に近い位置での変位点間の距離を大きく設定する。
車両近傍で直線的に見える道路形状を適切に近似する。これによって、道路白線に対し優れたフィッティングと、ノイズに影響されないロバスト性を両立することが可能となる。

１ カメラ
２ 道路白線認識処理部
２Ａ 候補点抽出手段
２Ａａ 道路領域検出部
２Ａｂ 輪郭点推定部
２Ａｃ 輪郭点抽出部
２Ｂ 道路曲線検出手段
Ａ１〜Ａ３ 変位点
Ａ１ 基準点
Ａ２，Ａ３ オフセット変位点
ｄｘ２ オフセット量
ｄｘ３ オフセット量
ｄｘ４ オフセット量
ｋ４ パラメータ
Δｘ２，Δｘ３ オフセット量

Claims (9)

1. 車両周囲の道路を撮影して取得した画像から道路白線候補点を抽出する候補点抽出手段と、抽出した候補点に基づいて道路白線位置に対応する曲線である道路曲線を検出する道路曲線検出手段と、を備え、
   上記道路曲線検出手段は、
   上記道路曲線を規定する複数の変位点を設定すると共に、その複数の変位点の少なくとも一つを基準点とし、基準点以外の変位点を上記基準点を通る第１の直線からのオフセット量として定義し、
   上記基準点の位置、及び基準点以外の変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出することを特徴とする道路白線認識装置。
2. 上記複数の変位点を、車両に対し白線が延在する方向と想定される方向に沿って並ぶように設定することを特徴とする請求項１に記載した道路白線認識装置。
3. 上記複数の変位点を、進行方向に沿った方向に並ぶように設定することを特徴とする請求項２に記載した道路白線認識装置。
4. 上記複数の変位点のうち、車両に近い変位点を基準点とすることを特徴とする請求項１〜請求項３のいずれか１項に記載した道路白線認識装置。
5. 上記複数の変位点を３点以上とし、且つ、上記基準点以外の変位点を、オフセット変位点と定義したときに、
   少なくとも一部のオフセット変位点を、対象とするオフセット変位点に対し、基準点よりも近い位置にある他のオフセット変位点と当該他のオフセット変位点よりも遠い位置にある変位点とを通る第２の直線からのオフセット量を用いて定義することを特徴とする請求項１〜請求項４のいずれか１項に記載した道路白線認識装置。
6. 上記基準点以外の変位点を、オフセット変位点と定義したときに、
   少なくとも一部のオフセット変位点を、対象とするオフセット変位点に一番近い位置にある他のオフセット変位点と、当該他のオフセット変位点の次に近い位置にある変位点とを通る第２の直線からのオフセット量を用いて定義することを特徴とする請求項５に記載した道路白線認識装置。
7. 上記基準点以外の変位点を、オフセット変位点と定義したときに、
   上記複数の変位点を４点以上とし、少なくとも１つのオフセット変位点を、他のオフセット変位点を定義するオフセット量を使用した関数で定義することを特徴とする請求項１〜請求項６のいずれか１項に記載した道路白線認識装置。
8. 上記複数の変位点における隣り合う変位点間の距離を、車両よりも離れた変位点間の距離よりも、車両に近い位置での変位点間の距離を大きく設定することを特徴とする請求項１〜請求項７のいずれか１項に記載した道路白線認識装置。
9. 車両周囲の道路を撮影して取得した画像から抽出した道路白線候補点に基づいて、道路白線位置に対応する曲線である道路曲線を検出することで道路白線を認識する道路白線認識方法において、
   上記道路曲線を規定する複数の変位点を設定し、その複数の変位点の少なくとも一つを基準点とし、基準点以外の変位点を上記基準点を通る第１の直線からのオフセット量として定義し、上記基準点の位置、及び基準点以外の変位点のオフセット量をパラメータとするパラメータ推定によって上記道路曲線を検出することを特徴とする道路白線認識方法。

Images