JP2004246641A

JP2004246641A - 道路白線認識装置

Info

Publication number: JP2004246641A
Application number: JP2003036031A
Authority: JP
Inventors: Hiroyuki Kosho; 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

【課題】路面汚れ等を誤認識することなく、道路白線の白線候補を高精度に検出する。
【解決手段】負エッジ点列からなる白線候補線ＬＮを検出し、これと水平線との交点を求めることにより白線候補線ＬＮの仮想消失点の位置座標を検出する。そして、この仮想消失点を始点とする走査線を、白線候補線ＬＮの車線内側及び車線外側の所定範囲で走査させ、各走査線位置における、走査線と対向する画素の輝度合計値ＳＩを算出し、走査線位置の変化に伴う輝度合計値ＳＩの変化状況を検出する。そして、車線内側から車線外側方向へ走査線位置が変化した場合に、輝度合計値ＳＩが、路面しきい値ＳＩ_Ｌよりも低い状態、白線しきい値ＳＩ_Ｈよりも高い状態、路面しきい値ＳＩ_Ｌよりも低い状態の順で変化するとき、この白線候補線ＬＮは、道路白線に相当する道路白線候補であると判断する。
【選択図】図１１

Description

【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、自車両前方の道路を撮像手段によって撮像し、撮像した撮像画面において道路白線を認識し、自車両と道路白線との関係を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
前記道路白線を認識する方法としては、例えば、論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡＲ＆ＤＴｅｃｈｎｉｃａｌＲｅｖｉｅｗＶｏｌ．１２Ｎｏ．１（Ａｐｒｉｌ２０００））が提案されている。
【０００３】
この論文中においては、正のエッジ点及び負のエッジ点が以下の条件を満たして配置されている場合に、この点を、道路白線を構成する点の候補と考えている。つまり、これら正及び負のエッジ点が、所定の距離以内にあること、また、これら正及び負のエッジ点が、画面を左から右に走査したとき「正」→「負」の順に配置されていること、さらに、エッジ点列が直線的に並んでいることも利用している。なお、この直線的に並んでいるエッジ点列を抽出する技術としてハフ変換を利用している。
【０００４】
ここで、正のエッジ点とは、撮像手段で撮像した、図２４に示すような車両前方の撮像画像において、撮像画像を左から右へ走査していった場合に、図２４に白丸で示すように、濃度値（もしくは輝度値とも呼ぶ。）が増加する点のことであり、負のエッジ点は、黒丸で示すように、濃度値が減少する点である。
一般に、道路白線は、アスファルトやコンクリートで作られる路面よりも白線の輝度値が高いため、白線と路面境界とのうち、白線の左側は正のエッジ点、右側は負のエッジ点となる。また、車線に曲率がついている場合でも局所的には直線近似できる場合がほとんどであり、前記正負のエッジ点列は白線と路面との境界に直線的に並んでいる傾向がある。
【０００５】
また、論文“ＡｕｔｏｍａｔｅｄＶｅｈｉｃｌｅＳｙｓｔｅｍＵｓｉｎｇＢｏｔｈａＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＭａｇｎｅｔｉｃＦｉｅｌｄＳｅｎｓｏｒｓ”ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓ ’９３ＳｙｍｐｏｓｉｕｍＪｕｌｙ１４−１６，１９９３，Ｔｏｋｙｏには、例えば図２５に示すような参照用のテンプレートを用意し、これとの相関の高い領域を探索するテンプレートマッチング法を用いて、白線を検出するようにした方法等も提案されている。このテンプレートマッチング法では、図２６に示すように前述のテンプレートと同じサイズの探索領域を撮像画像上で走査し、各位置において、テンプレートとの相関度を算出するようにしている。そして、テンプレート上の各座標位置とこの各座標位置に対応する探索領域上の座標位置における輝度差をそれぞれ算出し、この輝度差の総和が小さければ各座標位置における輝度差が小さいとみなすことができるから、相関度は大きいと判断するようにしている。つまり、図２６においては、テンプレートの左上を原点とした場合、テンプレートの原点が撮像画像上の、（ｘ_０，ｙ_０）座標に位置するとき相関度が最も高くなる。
【０００６】
【非特許文献１】
論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡＲ＆ＤＴｅｃｈｎｉｃａｌＲｅｖｉｅｗＶｏｌ．１２Ｎｏ．１（Ａｐｒｉｌ２０００）
【非特許文献２】
論文“ＡｕｔｏｍａｔｅｄＶｅｈｉｃｌｅＳｙｓｔｅｍＵｓｉｎｇＢｏｔｈａＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＭａｇｎｅｔｉｃＦｉｅｌｄＳｅｎｓｏｒｓ”ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓ ’９３ＳｙｍｐｏｓｉｕｍＪｕｌｙ１４−１６，１９９３，Ｔｏｋｙｏ
【０００７】
【発明が解決しようとする課題】
しかしながら、前述のように、正及び負のエッジ点が所定の距離以内にあることや、撮像画像を左から右に走査したときに、正及び負のエッジ点が正及び負の順に配置されていること等に基づいて、道路白線を構成する点の候補として取り扱うようにした場合、路面上に汚れ等がある場合には、誤認識する場合がある。
【０００８】
つまり、図２７に示すように、例えば、白の白線（例えばタールが照り返して白く見える状況）と黒の細線（例えば路面コンクリートの接続部の影）が車線区分線とほぼ同じ幅で平行に走っている場合（左側白線細線と外側路面の境界には正エッジ点、右側黒線と内側路面の境界には負エッジ点が発生する。）のように、正エッジ点及び負エッジ点が所定の間隔で直線状に分布するような路面汚れが存在する場合等には、正及び負のエッジ点の分布状況は、前記図２４に示す真の道路白線における正及び負のエッジ点の分布状況と同等であるため、これを道路白線であると誤認識してしまう場合がある。
【０００９】
また、前述のテンプレートを用いたパターンマッチング法を用いた場合、テンプレートとの相関度を検出するようにしているため、実際には道路白線であっても、テンプレートにおける道路白線の形状と異なる場合には、相関度が低下することになる。
【００１０】
ここで、撮像画像上における道路白線は、図２８に示すように、自車両のバウンス、ピッチ、車線から自車両の走行位置までの移動量或いはヨー角等の数々の条件に応じて様々に変化し、また、白線の幅も様々であり、例えば登攀車線の白線幅は、一般の車線幅よりも広い場合がある。したがって、このように様々な形状となる撮像画像上の道路白線に対して適切に対処するためには、数多くのテンプレートを必要とすることになり、これら多数のテンプレートを用いて相関度を判定するため、結果的に、道路白線検出までの処理時間の増加や処理負荷の増大を伴うことになるという問題がある。
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、路面汚れ等を誤認識することなく、道路白線をより的確に検出することの可能な道路白線認識装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る道路白線認識装置では、撮像手段で撮像した撮像画像において、道路白線に相当すると予測される白線候補線を白線候補線検出手段により検出する。そして、水平線位置検出手段で検出した水平線位置座標に基づく水平線と前記白線候補線との交点を交点座標検出手段により検出し、この交点を始点とする走査線を、白線候補線の前後の所定範囲で走査させ、各走査線位置において前記走査線の延長線と対向する画素の輝度値の合計値を輝度合計値算出手段により算出する。そして、この輝度合計値算出手段で算出された各走査線位置における輝度合計値の分布状況に基づいて、前記白線候補線が前記道路白線に相当する道路白線相当線分であるかどうかを白線判定手段により判定する。
【００１２】
ここで、白線候補線が道路白線に相当する線分であれば、白線候補線と水平線との交点を始点とする走査線を白線候補線の位置前後で走査させた場合、道路白線に相当する位置では輝度合計値が高くなり、且つ、道路白線外に相当する位置では輝度合計値が低くなるから、白線候補線が道路白線に相当する線分であれば、走査線を白線候補線の内側から外側方向つまり、車線内側から車線外側方向、又は、車線外側から車線内側方向に走査させた場合、輝度合計値は、輝度合計値の低い状態、輝度合計値の高い状態、輝度合計値の低い状態の順に変化することになる。また、道路白線外に相当する位置と道路白線に相当する位置の境界ではその輝度合計値に明確な差が生じることになるから、輝度合計値の変化状況が、どのようなパターンで変化するかを観察することによって、白線候補線が、道路白線相当線分であるかどうかを判定することが可能となる。
【００１３】
【発明の効果】
本発明による道路白線認識装置によれば、道路白線に相当すると予測される白線候補線と水平線との交点を始点とする走査線を白線候補線の前後の所定範囲で走査させ、各走査線位置における輝度合計値の分布状況に基づいて白線候補線を白線候補線に相当する道路白線相当線分であるとみなすかどうかを判定するようにしたから、輝度の変化状況からエッジ端を検出しその分布状況から道路白線相当線分であるかどうかを判定するようにした方法では道路白線相当線分であると誤判定してしまうような路面ノイズであっても、道路白線相当線分であるかどうかを的確に判別することができ、道路白線相当線分の検出精度を向上させることができ、すなわち、道路白線の認識精度を向上させることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明の第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００１５】
図１において、ＣＣＤカメラ等で構成される撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。
前記撮像装置１で撮像された撮像情報は、処理装置２に入力され、処理装置２は、前記撮像情報をもとに道路白線の一部とみなすことの可能な道路白線候補を検出し、これに基づいて道路モデルを表す道路パラメータを推定する。
【００１６】
図２は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、撮像装置１で撮像した前方画像の撮像情報を読み込み、次いでステップＳ２で、撮像装置１で撮像した撮像画像において、図３に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定する。図３の場合には、６個のウィンドウを設定している。また、各ウィンドウを識別番号により識別する。
【００１７】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものであり、このウィンドウの中において白線候補を検出する。このようにウィンドウを設定することによって、検出範囲を狭めたことにもなり、演算時間の短縮にも有効である。
なお、このウィンドウの位置は固定でも良いし、また、例えば特開平１２−０３６０３７号公報に記載されているように、前回処理実行時に推定した道路形状に基づいて、撮像画像における道路白線の位置を予測し、この予測位置上にウィンドウの横方向中心点が位置するように合理的に設定するようにしてもよい。
【００１８】
次いで、ステップＳ３に移行し、ウィンドウ毎に道路白線候補の選定を行う。具体的には、図４に示す処理を各ウィンドウについて行う。なお、各ウィンドウに対する処理は同一であるので、ここでは、ウィンドウｗｎに対して処理を行う場合について説明する。
まず、ステップＳ１１で、ウィンドウｗｎ内において、例えばハフ変換を利用して内側エッジ点列の探索を行う。ここでは、左側の道路白線に該当するウィンドウについて説明するものとすると、この場合には、負エッジ点列を検出する。なお、右側の道路白線に該当するウィンドウの場合には、正エッジ点列を検出する。
【００１９】
例えば、図５に示すように、ウィンドウｗｎ内に左側の道路白線だけでなく路面ノイズが存在する場合には、道路白線の右エッジ端に負エッジ点列Ｌ１が抽出され、同様に、路面ノイズの右エッジ端に負エッジ点列Ｌ２が抽出されることになる。
そして、図６に示すように、このようにして検出した負エッジ点列を貫く直線と、ウィンドウｗｎの上端及び下端との交点をそれぞれ算出し、ウィンドウｗｎの上端と負エッジ点列を貫く直線との交点を始点としその位置座標を（ＸＳ，ＹＳ）とする。また、ウィンドウｗｎの下端と負エッジ点列を貫く直線ＬＮとの交点を終点としその位置座標を（ＸＥ，ＹＥ）とする。
【００２０】
そして、このようにして算出した始点及び終点を端点とする直線を白線候補線ＬＮとし、例えば図７に示すように、白線候補線ＬＮと、その始点及び終点のＸ座標及びＹ座標（ＸＳ，ＹＳ）、（ＸＥ，ＹＥ）とを対応させて、所定の記憶領域に格納する。この処理をウィンドウ毎に行い、これによって、例えば図７に示すように、ウィンドウ毎に、各エッジ点列を貫く直線ＬＮの始点及び終点の位置座標が得られることになる。
【００２１】
次いで、ステップＳ１２に移行し、ステップＳ１１で抽出され図７に示すように所定の記憶領域に格納された白線候補線ＬＮの中から、判定対象の白線候補線として何れかの白線候補線ＬＮを選択する。例えば、１番目のウィンドウから順に、且つ登録されている順に判定を行うものとすると、１番目のウィンドウの白線候補線ＬＮ１が、まず選択されることになる。
【００２２】
次いで、ステップＳ１３に移行し、ステップＳ１２で選択した白線候補線ＬＮと、前回の処理実行時における道路白線の検出結果に基づいて想定される水平線との交点を算出する。なお、以後、この交点を仮想消失点と呼ぶ。前記水平線は、道路白線検出処理の初期状態においては、車両停車時に想定される水平線を代用してもよい。
【００２３】
なお、カーブ路の場合には、図８に示すように、各ウィンドウ内でエッジ点列を直線に近似しているから、近似直線の延長線と水平線との交点を仮想消失点とすることになる。
前記水平線は次の手順で推定する。
水平線は、図９に示すように、そのＹ座標を指定すれば確定するため、水平線のＹ座標の算出を行う。
ここで、道路白線の一部を構成するとみなすことの可能な白線候補点の位置座標（ｘ，ｙ）は、次式（１）で表すことができる。
【００２４】
【数１】

【００２５】
なお、式（１）中の、Ａは、車線中心線に対する撮像装置１の横変位であって、車線に対し左に撮像装置１が移動する場合を正とする。また、Ｂは、道路曲率であって、左側にカーブしている場合を正とする。ｆは撮像装置１のレンズパラメータを表す。Ｃ_０は図１０に示すように、エーミング時に決定される定数であって、直線道路を車線中央で正面を向いて、車両が標準姿勢（バウンス、ピッチ共に平均値）でいる時に、自車線の消失点のＸ座標をｆで除した値を表す。Ｃは車線中心線に対する撮像装置１のヨー角であって、車線に対し撮像装置１の光軸が左方向を向く場合を正とする。Ｄ_０は図１０に示すように、エーミング時に決定される定数であって、直線道路を車線中央で正面を向いて、車両が標準姿勢（バウンス、ピッチ共に平均値）でいる時に、自車線の消失点のＹ座標をｆで除した値を表す。Ｄは路面に対する撮像装置１のピッチ角であって、路面に対して上を向く場合を正とする。Ｈ_０は撮像装置１の路面に対する標準高さ、Ｈは撮像装置１の標準高さＨ_０からの変位であって、上方向の変位を正とする。Ｗは車線幅であって左側白線内側から右側白線内側までの距離を表す。また、ｉは、左白線では−１、右白線では１に設定される。
一方、水平線では、左側白線及び右側白線のＸ座標が一致するから、前記（１）式から、次式（２）が成り立つ。
【００２６】
【数２】

【００２７】
したがって、上記（２）式から、水平線のＹ座標ｙ_ｈ（ＹＨ）は、次式（３）として表すことができる。
ｙ_ｈ＝ｆ・（Ｄ＋Ｄ_０） ……（３）
なお、（３）式において、路面に対する撮像装置１のピッチ角を零とおくことによって、車両停車時に想定される水平線のＹ座標を算出することができる。
【００２８】
そして、このようにして仮想消失点を算出したならば、ステップＳ１４に移行し、判定対象のエッジ点列つまり白線候補線を道路白線の一部とみなすことができるかどうかの白線判定を行う。
具体的には、図１１に示すように、ステップＳ１３で算出した仮想消失点を始点とし、その他端がウィンドウｗｎの下端つまり自車両近傍側に相当するウィンドウ下辺と交差する走査線を、判定対象の白線候補線ＬＮを含む所定の角度領域内で走査し、走査線の各角度位置において、ウィンドウｗｎ内であり且つ前記走査線の延長線上に位置する画素の輝度の合計値ＳＩを算出する。そして、走査線の各角度位置における輝度の合計値ＳＩを所定の記憶領域に格納する。
【００２９】
前記走査線の角度範囲は、図１１に示すように、判定対象の白線候補線ＬＮを基準として、この白線候補線ＬＮよりも車線外側方向に角度θ２′、内側方向に角度θ１′に設定され、この角度範囲内で、単位角度Δθ毎に走査線を移動させる。なお前記単位角度Δθは、例えば図１１の走査線とウィンドウ下辺との交点が１画素ずれる時に発生する最小角度となるように設定される。
【００３０】
ここで、図１１に示すように、撮像画像に路面汚れ等の路面ノイズがない場合、負エッジ点列からなる白線候補線ＬＮを含むその前後の所定範囲で、仮想消失点を始点とする走査線を、道路白線の内側から外側方向に走査させた場合には、各走査線位置において算出される輝度の合計値ＳＩは、路面ノイズがないことから、図１２に示すようになる。つまり、輝度合計値ＳＩが小さい状態が継続した後、走査線が白線候補線ＬＮ（負エッジ点列）近傍に達したときに輝度合計値ＳＩが増大し、走査線が道路白線に相当する領域に位置する間は輝度合計値ＳＩの大きい状態が継続し、走査線が道路白線の外側エッジ端近傍に達したときに輝度合計値ＳＩが減少し、以後、輝度合計値ＳＩの小さい状態が継続することになる。なお、図１２において、左側が車線内側を表し、右側が車線外側を表す。
【００３１】
つまり、負エッジ点列を挟んで左右に走査線を走査させた場合に、輝度合計値ＳＩが、図１２に示すようなパターンで変化した場合に、この負エッジ点列は、道路白線のエッジ端であるとみなすことができる。
前記走査線の角度範囲θ１′、θ２′は、次のようにして設定する。
前述のように、白線候補点の位置座標（ｘ，ｙ）は、前記（１）式で表すことができる。
ここで、判定対象のウィンドウｗｎ内の道路白線を直線で近似すると、近似直線内側の傾きθｉｎは次式（４）で表すことができる。なお、ウィンドウのＹ方向中心値をｙｃとする。
【００３２】
【数３】

【００３３】
前記道路白線の内側の近似直線からさらに内側の幅Ｗｉｎの領域には、道路白線等が存在せず、アスファルト等の路面であると仮定し、この内側の近似直線から幅Ｗｉｎだけ離れた位置に仮想線を想定すると、この仮想線の傾きは、次式（５）で表すことができる。
【００３４】
【数４】

【００３５】
ここで、白線幅をＷｗｈｉｔｅとすると、道路白線の外側のエッジ点列がなす直線の傾きは次式（６）で表すことができる。
【００３６】
【数５】

【００３７】
前記外側のエッジ点列からさらに外側の幅Ｗｏｕｔの領域には、道路白線等が存在せず、アスファルト等の路面であると仮定し、この外側のエッジ点列から幅Ｗｏｕｔだけ離れた位置に仮想線を想定すると、この仮想線の傾きは、次式（７）で表すことができる。
【００３８】
【数６】

【００３９】
ここで、角度θ１〜θ５を次式（８）に示すように定義する。
θ１＝｜θｉｎ１−θｉｎ｜
θ２＝｜θｏｕｔ１−θｉｎ｜
θ３＝｜θｏｕｔ−θｉｎ｜−θｋ
θ４＝｜θｏｕｔ−θｉｎ｜＋θｋ
θ５＝｜θｏｕｔ１−θｏｕｔ｜ ……（８）
前記図１２の各部は、前記角度θ１〜θ５を用いて、次のように表すことができる。つまり、少なくとも道路白線の前記近似直線内側の位置からさらに幅Ｗｉｎだけ内側の地点から、前記近似直線外側の位置からさらに幅Ｗｏｕｔだけ外側の地点を含む範囲で走査線を走査させるものとすると、走査角度θ（ｔ１）で輝度合計値ＳＩが高くなるまでの、道路白線内側のエッジ点列よりも車線側の輝度合計値ＳＩの低い状態が継続する角度範囲はθ１以上となる。また、角度θ（ｔ１）で輝度合計値ＳＩが高くなった状態から角度θ（ｔ２）で輝度合計値ＳＩが低くなるまでの角度範囲はθ３以上θ４未満となり、角度θ（ｔ２）で輝度合計値ＳＩが低くなりこの低い状態が継続する角度範囲はθ５以上となる。
【００４０】
そこで、前記角度範囲θ１′及びθ２′は、前記θ１及びθ２以上となるように設定する。なお、前記角度θ１〜θ５は、前回処理実行時において算出した前記（１）式における各変数｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の想定値を用いて算出するようにすればよい。また、前記角度θ１〜θ５は必ずしも前記（８）式に示すように定義する必要はなく、要は、輝度合計値の変化状況から道路白線に相当する真の白線候補線と、路面ノイズ等による白線候補線とを、識別することができるように設定すればよい。
【００４１】
なお、前記θｋは、道路白線幅の変動分を考慮した角度範囲であって、これを大きくする道路白線候補をロストしにくくなるものの、細い白線や極太線等の路面ノイズも道路白線候補として拾う可能性があるので、これら両者のトレードオフを考慮して設定する。
そして、負エッジ点列からなる白線候補線ＬＮの位置を基準として、前述のようにして算出された角度θ１′だけ内側方向から、白線候補線ＬＮ位置よりもさらに角度θ２′だけ外側方向にまで走査したとき、各走査線位置における輝度合計値ＬＮの変化状況が、まず、予め設定した路面しきい値ＳＩ_Ｌよりも低い状態が角度範囲θ１以上継続し、その後、予め設定した白線しきい値ＳＩ_Ｈよりも高い状態が、角度範囲θ３以上θ４未満の間で継続し、且つ、その後、前記路面しきい値ＳＩ_Ｌよりも低い状態が、角度範囲θ５以上継続したときに、この白線候補線ＬＮは、道路白線の一部を構成する道路白線候補であると判定し、この白線候補線ＬＮを特定する情報、例えば、始点及び終点の位置座標をウィンドウ番号と対応づけて所定の記憶領域に格納する。
【００４２】
なお、前記白線しきい値ＳＩ_Ｈは道路白線の相当する輝度、路面しきい値ＳＩ_Ｌは路面に相当する輝度に応じて設定され、且つ、輝度情報から道路白線及び路面を的確に識別することの可能な値に設定される。
続いて、ステップＳ１５に移行し、ウィンドウｗｎにおいて、白線候補線として検出した全ての白線候補線について道路白線の一部であり道路白線候補とみなすかどうかの判定を行っていない場合には、ステップＳ１６に移行し、次の白線候補線を選定する。そして、上記と同様にして道路白線の一部を構成する道路白線候補であるかどうかを判定し、ウィンドウｗｎ内の全ての道路白線について処理を行った場合には、次のウィンドウｗｎについて判定を行う。そして、左右の全てのウィンドウについてその白線候補線が道路白線候補となり得るかどうかの判断を行ったならば、道路白線候補の選定を終了する。そして、図２に戻ってステップＳ４に移行し、ウィンドウ毎に検出された道路白線候補に基づいて、車線形状及びカメラ姿勢の推定を行う。
【００４３】
この車線形状及びカメラ姿勢の推定は、例えば、特開２０００−３６０３７号公報に記載されているように、左側及び右側のウィンドウ毎の道路白線候補について、前記（１）式における各変数からなるパラメータに基づいて道路白線候補間の関連性を求め、これに基づいて各ウィンドウ内の道路白線候補毎の組み合わせを行う。そして、組み合わされた道路白線候補の構成総数が最大となる組み合わせを、真の道路白線と認識する。
【００４４】
次に、上記第１の実施の形態の動作を説明する。
今、撮像画像において、路面汚れ等の路面ノイズがない場合には、図１１に示すように、道路白線の右側エッジ端に相当する位置に負エッジ点列が並ぶことになる。したがって、各ウィンドウｗｎにおいてハフ変換を行った場合、道路白線の右側エッジ端に相当する位置又はその近傍に一本の白線候補線が現れることになる。
【００４５】
そして、この白線候補線を含む、前記角度θ１及び角度θ２で特定される角度範囲θ１′及びθ２′の範囲で仮想消失点を始点として走査線を走査させ各走査線位置において、走査線上の輝度合計値ＳＩを算出すると、この場合、路面ノイズが存在しないから、図１２に示すように、車線内側から、輝度合計値ＳＩが小さい状態が角度θ１以上継続した後、輝度合計値ＳＩの大きい状態が角度θ３以上角度θ４未満継続し、再度輝度合計値ＳＩが小さい状態が角度θ５以上継続することになる。したがって、図１２に示す条件を満足するからこの白線候補線は道路白線候補として特定されることになる。
【００４６】
そして、各ウィンドウにおいて、道路白線の負エッジ端に相当する白線候補線が図１２に示す条件を満足すると、各白線候補線が道路白線候補として特定され、各ウィンドウにおいて特定された道路白線候補間の関連性を求め、これに基づいて道路白線を特定する。ここで、各ウィンドウにおける道路白線候補は、道路白線の負エッジ端に沿った位置に生じているから、これら道路白線候補を組み合わせて形成される道路白線は、真の道路白線を表すことになる。
【００４７】
一方、例えば前記図５に示すように、撮像画像において、道路白線に相当するエッジ点列Ｌ１よりも車線内側に路面ノイズからなる負エッジ点列Ｌ２が存在する場合には、これに対しハフ変換を行うと、路面ノイズからなる負エッジ点列Ｌ２も白線候補線として検出されることになる。
ここで、図５において、道路白線の内側エッジ端に相当する負エッジ点列Ｌ１と、路面ノイズからなる負エッジ点列Ｌ２とからなる複数の白線候補線が得られたものとすると、負エッジ点列Ｌ１からなる白線候補線について、道路白線候補であるかどうかの判定を行った場合、負エッジ点列Ｌ２がその走査範囲内に含まれない場合には、輝度合計値ＳＩは、図１２に示すように変化する。したがって、この負エッジ点列Ｌ２は、道路白線候補として特定されることになる。
【００４８】
一方、負エッジ点列Ｌ２からなる白線候補線について、道路白線候補であるかどうかの判定を行った場合、この負エッジ点列Ｌ２を含む路面ノイズの幅が比較的狭い場合には、輝度合計値ＳＩが高い状態となる期間が短い。よって、前記図１２の輝度合計値ＳＩの変化パターンを満足しないから、道路白線候補ではないと判定される。
【００４９】
逆に負エッジ点列Ｌ２を含む路面ノイズの幅が比較的広い場合には、輝度合計値ＳＩが高い状態が継続することになる。このとき、負エッジ点列Ｌ２の走査範囲内に負エッジ点列Ｌ１が存在する場合には、輝度合計値ＳＩが高い状態が継続するが、負エッジ点列Ｌ１の近傍で一旦、輝度合計値ＳＩが小さくなった後、再度輝度合計値ＳＩは高くなるから、この場合も道路白線候補ではないと判定される。
【００５０】
また、負エッジ点列Ｌ２を含む路面ノイズの幅が比較的広く、その輝度合計値ＳＩの変化パターンが、図１２の変化パターンを満足する場合には、これが道路白線候補として特定される。つまり、道路白線候補として路面ノイズが誤検知されることになるが、ウィンドウ毎に検出された道路白線候補の関連性に基づいて道路白線の認識を行うようにしているから、誤検知されたとしても、的確に道路白線の認識が行われることになる。
【００５１】
また、例えば、前記図２７に示すように、路面ノイズとして正エッジ点及び負エッジ点が直線状に分布し、図２４に示す道路白線の正及び負エッジ点列と同様に分布している場合には、これに対して仮想消失点を算出しここを始点として走査線を図２７において車線内側から車線外側方向に走査させた場合、各角度位置における走査線上の各画素の輝度合計値は、図１３に示すように、輝度合計値ＳＩは、ある路面輝度相当値から正エッジ点列位置近傍においてその輝度合計値が一時的に大きくなった後、再度路面輝度相当値に戻り、その後、負エッジ点列位置近傍においてその輝度合計値が一時的にさらに低くなった後、路面輝度相当値に戻る。
【００５２】
したがって、図２７に示すように、道路白線と同等の正負のエッジ点列となる路面ノイズが発生している場合、上述の従来の方法のように、正及び負のエッジ点が対をなす白線候補線を道路白線候補と判定するようにした場合、これらを道路白線に相当する正負のエッジ点列として検出することになるが、第１の実施の形態においては、その輝度合計値ＳＩの変化パターンは図１３に示すように、図１２の真の道路白線の場合の輝度合計値ＳＩの変化パターンとは異なる。したがって、図２７に示すような正及び負のエッジ点列の分布となる路面ノイズの場合であっても、これを道路白線候補として誤判断することはない。
【００５３】
また、例えば、カメラ高さ或いは道路白線の白線幅に変化が生じた場合、撮像画像における道路白線の形状も異なることになり、例えば、カメラ高さが高くなった場合、或いは道路白線の白線幅が細くなった場合には、図１４に示すように、撮像画像における道路白線は細くなる。このため、このように撮像画像における道路白線の白線幅が変化している撮像画像に対し、上記と同様にして走査線を走査させた場合、撮像画像における道路白線幅が細くなっていることから、図１５に示すように、輝度合計値ＳＩが高レベルとなる状態が継続する期間が、白線幅変化前後で異なることになる。しかしながら、この輝度合計値ＳＩが白線しきい値ＳＩ_Ｈを超える期間として、角度θ３以上θ４未満として設定し、白線幅の変化分±θｋを考慮して角度θ３及びθ４を設定しているから、前記変化分±θｋを、予測されるカメラ高さの変化、或いは白線幅の変化に応じて設定することによって、撮像画像における道路白線の白線幅が変化した場合であっても、道路白線候補とみなすことができるかどうかの判断を適切に行うことができる。
【００５４】
また、自車両にピッチングが発生した場合には、これに伴って図１６に示すように、撮像画像から得られる仮想消失点が移動することになる。このとき、撮像画像から真の仮想消失点つまり水平線のＹ座標を的確に推定することができた場合には、前述の図１２に示すような輝度合計値の変化パターンを得ることができる。しかしながら、図１７に破線で示す真の道路白線に相当する仮想消失点に対し、実線で示す真の仮想消失点からずれた位置を仮想消失点として認識した場合、このずれた仮想消失点を始点として走査線を走査させることになる。
【００５５】
ここで、一般に、探索領域は、車両遠方を透視する位置には設定しないようにしている。これは、車両遠方では、白線の特徴を判別しにくいためである。したがって、図１７に示すように仮想消失点が真の仮想消失点からずれていたとしても、探索領域内においては、走査線と道路白線内側のエッジ点列の角度は一致し、また、走査線と、道路白線外側のエッジ点列とはほぼ平行となるため、図１８に示すように、走査線と道路白線外側のエッジ点列とのずれによる影響は微少とみなすことができる。
【００５６】
したがって、ピッチング等に起因する水平線のＹ座標の推定誤差による影響は小さいから、この推定誤差つまり、仮想消失点に誤差が生じた場合であっても、道路白線候補であるかどうかの判定を的確に行うことができる。
また、上述のように、撮像画像上に複数の探索領域を設け、各探索領域内で、道路白線を直線近似するようにしているから、カーブ路であっても、輝度合計値の算出する際に各走査線上に路面部分及び白線部分が混在する走査線位置が継続することを回避することができ、例えば図１２に示すような輝度合計値の変化パターンと同等の変化パターンを得ることができる。したがって、道路白線候補とみなすかどうかの判定を的確に行うことができる。
【００５７】
また、撮像画像における道路白線の形状変化が生じた場合であっても、その輝度合計値の変化パターンに基づいて判定を行うようにし且つ形状変化の許容分を考慮して変化パターンの判定を行うようにしているから、パターンマッチング法を用いる場合に比較して形状変化に対して柔軟に対応することができ、複数の参照パターン等を用意することなく、形状変化に対して容易に対処し、道路白線候補がどうかの判定を的確に行うことができる。
【００５８】
また、上述のように、仮想消失点を検出し、ここを始点とする走査線を走査させるようにしている。ここで、図９に示すように、道路白線の各エッジ端の延長線は仮想消失点で一致することになる。したがって、仮想消失点を始点として走査線を走査させた場合、白線候補線が道路白線に相当する真の白線候補線である場合には、走査線は、道路白線の内側エッジ端及び外側エッジ端位置ではこれらエッジ端の線分と重なることになり、走査線と対向する画素ほぼ全ての輝度は道路白線に相当する輝度となる。そして、路面ノイズ等がない場合には、走査線が内側エッジ端よりも車線内側に位置する場合、或いは外側エッジ端よりも車線外側に位置する場合には、走査線と対向する画素ほぼ全ての輝度は、路面に相当する輝度となり、走査線が内側エッジ端と対向する位置から外側エッジ端と対向する位置までの間と、他の部分とでは、その境界の輝度合計値には明確に差が生じることになる。
【００５９】
したがって、走査線の始点を仮想消失点に設定し、道路白線の外側及び内側エッジ端が構成する線分と走査線とが重なるように走査線を設定することによって、道路白線部分における輝度合計値と路面部分における輝度合計との差を明確に検出することができ、路面道路白線候補を的確に検出することができる。つまり、例えば、単に走査線を走査させてこれと対向する画素の輝度合計値を算出するようにした場合、走査線上に道路白線に相当する部分と道路白線に相当しない部分とが混在する場合には、輝度合計値の分布状況からは道路白線に相当するか否かを的確に判別することは困難である。しかしながら、上述のように、道路白線部分では、道路白線のみに相当する部分と対向するように走査線を設定するようにしているから、輝度合計値の分布状況から、道路白線に相当する白線候補線であるか否かを的確に検出することができる。
【００６０】
なお、上記第１の実施の形態においては、白線候補線として道路白線の内側エッジを検出するようにした場合について説明したが、これに限らず、道路白線の外側エッジを検出するようにしてもよく、また、道路白線の中央線等、道路白線を代表する線分を白線候補線として検出するようにしてもよい。
次に、本発明の第２の実施の形態を説明する。
【００６１】
この第２の実施の形態は、上記第１の実施の形態において、図４のステップＳ１４における白線判定処理が異なること以外は、上記第１の実施の形態と同様であるので同一部には同一符号を付与しその詳細な説明は省略する。
図１９は、第２の実施の形態における、白線判定処理の処理手順の一例を示すフローチャートである。
【００６２】
すなわち、この第２の実施の形態においては、まず、ステップＳ２１で、上記第１の実施の形態と同様にして、判定対象の白線候補線ＬＮをもとに検出した仮想消失点を始点として白線走査線を前述のようにして算出される角度θ１′及びθ２′の範囲で車線内側方向から車線外側方向に走査させ、各走査線位置における走査線と対向する画素の輝度合計値ＳＩを算出する。次いで、ステップＳ２２に移行し、図２０に示すように、走査開始から白線候補線ＬＮの角度位置まで走査したときの各走査線位置における輝度合計値ＳＩの平均値を算出しこれを車線内路面平均値ＬＩとする。また、走査線を白線候補線ＬＮの角度位置から前述のようにして算出される前記角度θ３まで走査したときの各走査線位置における輝度合計値ＳＩの平均値を算出し、これを白線内端平均値ＨＩとする。
【００６３】
次いで、ステップＳ２３に移行し、ステップＳ２２で算出した車線内路面平均値ＬＩと白線内端平均値ＨＩとの差の絶対値｜ＬＩ−ＨＩ｜を算出し、この差｜ＬＩ−ＨＩ｜がしきい値ΔＩｉｎよりも大きくないときには、ステップＳ２４に移行し、判定対象の白線候補線は、道路白線候補ではないと判断する。そして、この白線候補線に対する処理を終了し、図４のステップＳ１５に移行する。
【００６４】
一方、ステップＳ２３で、車線内路面平均値ＬＩ及び白線内端平均値ＨＩの差の絶対値が、しきい値ΔＩｉｎよりも大きいときにはステップＳ２５に移行し、車線内路面平均値ＬＩよりも値の大きな車線内路面しきい値ＳＩ_ＬＩ及び白線内端平均値ＨＩよりも値の小さな白線内端しきい値ＳＩ_ＨＩを算出する。これら車線内路面しきい値ＳＩ_ＬＩ、白線内端しきい値ＳＩ_ＨＩの算出は、前記車線内路面平均値ＬＩ及び白線内端平均値ＨＩに基づいて、例えば、次式（９）に基づいて算出する。
【００６５】
ＳＩ_ＬＩ＝ＬＩ＋（ＨＩ−ＬＩ）／４
ＳＩ_ＨＩ＝ＬＩ＋（ＨＩ−ＬＩ）×（３／４） ……（９）
次いで、ステップＳ２６に移行し、走査開始から、白線候補線ＬＮに相当する位置までの角度範囲と、白線候補線ＬＮから角度θ４だけずれた角度位置を基準としたこれ以降の角度範囲とにおいて、各走査線位置における輝度合計値ＳＩと前記車線内路面しきい値ＳＩ_ＬＩとを比較して各輝度合計値ＳＩが車線内路面しきい値ＳＩ_ＬＩを下回るかどうかを判定する。また、白線候補線ＬＮに相当する位置から角度θ４だけずれた角度位置までの角度範囲では、各走査線位置における輝度合計値ＳＩと白線内端しきい値ＳＩ_ＨＩとを比較し、各輝度合計値ＳＩが白線内端しきい値ＳＩ_ＨＩを超えるかどうかを判定し、これら条件を満足するとき、白線候補線ＬＮは、道路白線候補であると判定する。
【００６６】
そして、この白線候補線ＬＮに対する判定を終了し、図４に戻ってステップＳ１５に移行する。
このように、第２の実施の形態においては、白線候補線ＬＮに対し、白線内端しきい値ＳＩ_ＨＩ及び車線内路面しきい値ＳＩ_ＬＩを実際の輝度合計値ＳＩに基づいて設定し、設定したしきい値に基づいて道路白線候補とみなすかどうかを判定するようにしている。
【００６７】
ここで、例えば、路面輝度が高い路面において、道路白線の検出を行う場合には、路面相当部分と道路白線部分とを的確に識別するためには、道路白線相当部を判別するためのしきい値を比較的高い値に設定する必要がある。しかしながら、このようにしきい値を高くしてしまうと、道路白線の輝度が低い走行路においては、道路白線部分の輝度によっては判別用のしきい値を超えなくなり、路面相当部分と道路白線部分とを識別することができなくなる。
【００６８】
しかしながら、上記第２の実施の形態においては、路面に相当すると予測される輝度合計値ＳＩと、道路白線に相当すると予測される輝度合計値ＳＩとに基づいて車線内路面しきい値ＳＩ_ＬＩ及び白線内端しきい値ＳＩ_ＨＩを設定し、これに基づいて道路白線候補とみなすかどうかの判定を行うようにしたから、路面輝度或いは道路白線の輝度の変化に関わらず、的確に判別を行うことができる。
【００６９】
またこのとき、車線内路面平均値ＬＩ及び白線内端平均値ＨＩの差がしきい値ΔＩｉｎより大きいかどうかを判定し、負エッジ点列を境として、輝度合計値ＳＩに所定値以上の差がないときには、道路白線候補ではないと判断するようにしたから、部分的に路面輝度に変化が生じている場合等、輝度の低い状態が継続した後、これよりも多少輝度の高い状態が継続するような路面ノイズを道路白線候補として誤検知することを防止することができる。
【００７０】
次に、本発明の第３の実施の形態を説明する。
この第３の実施の形態は、上記第２の実施の形態において、図１９の白線判定処理が異なること以外は、上記第２の実施の形態と同様であるので同一部には同一符号を付与しその詳細な説明は省略する。
図２１は、第３の実施の形態における、白線判定処理の処理手順の一例を示すフローチャートであって、ステップＳ２１からステップＳ２５の処理は、上記第２の実施の形態を同様である。
【００７１】
そして、ステップＳ２５で白線内端しきい値ＳＩ_ＬＩ及び車線内路面しきい値ＳＩ_ＨＩを算出した後、ステップＳ３１に移行し、前記ステップＳ２１で算出した各走査線位置における輝度合計値ＳＩの差分値を算出する。つまり、走査線の角度位置θ＋１における輝度合計値ＳＩ（θ＋１）から角度位置θにおける輝度合計値ＳＩ（θ）を減算し輝度合計値の差分値を算出する。
【００７２】
ここで、撮像画像において路面ノイズ等がない場合には、前記図１２に示すように、道路白線に相当する位置において輝度合計値ＳＩが高い状態が継続するから、この場合の輝度合計値ＳＩの差分値ΔＳＩは、図２２に示すように、道路白線の内側エッジ点列に相当する角度位置θｉｎにおいて、差分値ΔＳＩが一時的に正方向に増加し、逆に外側エッジ点列に相当する角度位置θｏｕｔにおいて、差分値ΔＳＩが一時的に負方向に増加する。つまり、輝度合計値ＳＩの差分値ΔＳＩが一時的に正に増加する部分は、道路白線の外側エッジ端に相当し、逆に差分値ΔＳＩが一時的に負に増加する場合は、道路白線の内側エッジ端に相当するとみなすことができる。
【００７３】
上述のようにして算出した輝度合計値ＳＩの差分値ΔＳＩの分布状況に基づいて、図２２に示すように、しきい値ΔＳＩｔｈを超える正側へのピーク及びしきい値−ΔＳＩｔｈをこえる負側へのピークが発生しているかどうかを判定し、しきい値をこえる正側及び負側へのピークが発生している場合には、図２２から得られる、道路白線外側エッジ端に相当するピークにおける走査線角度をθｏｕｔ、道路白線内側エッジ端に相当するピークにおける走査線角度をθｉｎとして記憶する。なお、前記しきい値ΔＳＩｔｈ及び−ΔＳＩｔｈは、例えば認識しなければならない最も薄い白線（路面との輝度コントラストの少ない白線）で得られるピーク値に基づいて設定する。
【００７４】
次いで、ステップＳ３２に移行し、ステップＳ３１で算出した差分値ΔＳＩの分布において図２２に示すようにピーク位置に相当する角度θｉｎ及びθｏｕｔが得られたかどうかを判定し、ピークが得られない場合には、ステップＳ３３に移行し、判定対象の白線候補線ＬＮは道路白線候補ではないと判定し、図４に戻ってステップＳ１５に移行する。
【００７５】
一方、前記ステップＳ３２で、ピーク角度θｉｎ及びθｏｕｔが得られた場合にはステップＳ３４に移行し、道路白線内側のエッジ点列からなる白線候補線ＬＮをその前後に前記角度θ１′及びθ２′の範囲で車線内側から車線外側方向に走査線を走査させた場合に、外側エッジ点に相当する角度θｏｕｔから前記角度θ３を減算した角度位置から前記角度θｏｕｔまでの間での各角度位置における輝度合計値ＳＩの平均値を算出してこれを車線外路面平均値ＬＯとし、また、外側エッジ点に相当する角度θｏｕｔの次の角度位置から前記角度θ５に相当する角度位置までの間での各走査線位置における輝度合計値ＳＩの平均値を算出しこれを白線外端平均値ＨＯとする。
【００７６】
次いで、ステップＳ３５に移行し、前記車線外路面平均値ＬＯ及び白線外端平均値ＨＯの差の偏差の絶対値｜ＨＯ−ＬＯ｜がしきい値ΔＩｏｕｔよりも大きいかどうかを判定し、｜ＨＯ−ＬＯ｜＞ΔＩｏｕｔでない場合には、前記ステップＳ３３に移行し、この判定対象の白線候補線ＬＮは、道路白線候補ではないと判定し、処理を終了する。
【００７７】
一方、前記ステップＳ３５で、｜ＨＯ−ＬＯ｜＞ΔＩｏｕｔである場合には、ステップＳ３６に移行し、ステップＳ３４で算出した車線外路面平均値ＬＯ及び白線外端平均値ＨＯに基づいて、例えば、次式（１０）にしたがって、車線外路面しきい値ＳＩ_ＬＯ及び白線外端しきい値ＳＩ_ＨＯを算出する。
ＳＩ_ＬＯ＝ＬＯ＋（ＨＯ−ＬＯ）／４
ＳＩ_ＨＯ＝ＬＯ＋（ＨＯ−ＬＯ）×（３／４） ……（１０）
次いで、ステップＳ３７に移行し、前記ステップＳ２５で算出した車線内路面しきい値ＳＩ_ＬＩ及び白線内端しきい値ＳＩ_ＨＩ、前記ステップＳ３６で設定した白線外端しきい値ＳＩ_ＨＯ及び車線外路面しきい値ＳＩ_ＬＯに基づいて、判定対象の白線候補線ＬＮを道路白線候補とみなすかどうかの判定を行う。
【００７８】
具体的には、走査線を、白線候補線ＬＮ位置を基準として、角度θ１′だけ車線内側の角度位置から車線外側方向に走査させたときに、まず、輝度合計値ＳＩが前記車線内路面しきい値ＳＩ_ＬＩ未満の状態が角度θ１以上継続し、その後、輝度合計値ＳＩが白線内端しきい値ＳＩ_ＨＩより大きく且つ白線外端しきい値ＳＩ_ＨＯより大きい状態が、角度θ３以上θ４未満の角度範囲内において継続し、さらに、その後、輝度合計値ＳＩが車線外しきい値ＳＩ_ＬＯよりも小さい状態が、角度範囲θ５以上継続したかどうかを判定する。そして、この条件を満足するとき、判定対象の白線候補線ＬＮは道路白線候補とみなすことができると判定し、上記条件を満足しないときには、白線候補線ＬＮは、道路白線候補であるとみなすことはできないと判定する。そして、処理を終了し、図４に戻ってステップＳ１５に移行する。
【００７９】
このように、この第３の実施の形態においては、道路白線候補とみなすかどうかを判定するためのしきい値を、道路白線の内側エッジ端に相当する位置における路面側輝度及び白線側輝度だけでなく、さらに、道路白線の外側エッジ端に相当する位置における路面側輝度及び白線側輝度にも基づいて設定している。したがって、道路白線の外側エッジ端の路面側の輝度や、外側エッジ端における道路白線側の輝度が変化したとしてもこの輝度変化に適したしきい値を設定し、これに基づいて判定を行うようにしているから、路面側或いは白線側の輝度変化に対し柔軟に対応することができ、輝度変化に関わらず、的確に道路白線候補の判断を行うことができる。
【００８０】
また、このとき、前記図２２に示すように、輝度合計値ＳＩの差分値ΔＳＩを算出し、そのピーク位置から、道路白線の外側エッジ点列位置を推定し、この位置における輝度合計値ＳＩに基づいて車線外路面しきい値ＳＩ_ＬＯ及び白線外端しきい値ＳＩ_ＨＯを設定しているから、外側エッジ点列位置近傍の実際の輝度に則したしきい値を設定することができ、路面或いは道路白線の輝度変化に則して的確にしきい値を設定することができる。
【００８１】
また、前記図２０に示すように、道路白線内側エッジ点位置における白線側の輝度及び路面側の輝度に基づいて設定した車線内路面しきい値ＳＩ_ＬＩ及び白線内端しきい値ＳＩ_ＨＩと、道路白線外側エッジ点位置における白線側の輝度及び路面側の輝度に基づいて設定した車線外路面しきい値ＳＩ_ＬＯ及び白線外端しきい値ＳＩ_ＨＯとを用意し、走査線の各走査位置に適したしきい値を利用して道路白線候補とみなすかどうかの判定を行うようにしたから、道路白線の内側エッジ点列及び外側エッジ点列位置共に、的確に判断を行うことができる。
【００８２】
なお、上記第３の実施の形態においては、道路白線の外側エッジ点列及び内側エッジ点列近傍における実際の輝度に基づいてしきい値を設定するようにした場合について説明したが、必ずしも外側エッジ点列及び内側エッジ点列共に実際の輝度に基づいてしきい値を設定する必要はなく、何れか一方の側についてのみについてのみ実際の輝度に基づいてしきい値を設定し、他方の側については、予め設定したしきい値を用いるようにしてもよい。
【００８３】
また、上記各実施の形態においては、道路白線の内側から外側方向に走査を行うようにした場合について説明したが、これに限らず、道路白線の外側から内側方向に走査するようにしてもよく、要は、白線候補線よりも内側及び外側の所定範囲における輝度合計値を得ることができればどのような順に走査を行っても良い。
【００８４】
また、上記各実施の形態においては、撮像画像に対し複数のウィンドウを設定するようにした場合について説明したが、ウィンドウの数は任意に設定することができ、また、必ずしもウィンドウを設定しなくてもよい。しかしながら、エッジ点列をハフ変換によって直線の近似しこれを白線候補線として用いるようにしているから、上述のように、複数のウィンドウを設定し、各ウィンドウで検出した道路白線候補に基づいて道路白線を検出するようにした方が、エッジ点列を直線に近似する際の近似誤差の低減を図ることができ、検出精度をより向上させることができる。
【００８５】
また、上記実施の形態においては、前記白線候補線を探索するための複数の探索領域を設定する探索領域設定手段と、当該探索領域毎に検出された前記道路白線相当線分に基づいて前記道路白線を検出する道路白線検出手段と、を備え、前記輝度合計値算出手段は、前記走査線の延長線と対向する前記探索領域内の画素の輝度の合計値を算出し、前記白線判定手段は、前記探索領域毎に前記白線候補線が前記道路白線相当線分であるかどうかを判定するような構成としたから、カーブ路であっても、道路白線を高精度に検出することができる。
【００８６】
また、前記白線判定手段は、前記走査線の走査位置が道路白線内側方向から道路白線外側方向又は道路白線外側方向から道路白線内側方向に変化するに伴って、前記輝度合計値が、比較的低い低輝度状態、当該低輝度状態よりも輝度合計値の大きい高輝度状態、当該高輝度状態よりも輝度合計値の小さい低輝度状態の順に変化するとき、前記道路白線相当線分であると判断する構成としたから、輝度合計値の変化状況がこのパターンで変化するかどうかを判定することにより容易的確に道路白線相当線分の検出を行うことができる。
【００８７】
また、前記白線候補線検出手段は、前記道路白線のエッジ端に相当する白線候補線を検出する手段であって、前記白線判定手段は、前記白線候補線位置前後の走査線位置における前記輝度合計値の差が、予め設定した輝度差より大きいとき、前記道路白線相当線分であると判定するような構成としたから、例えば、白線候補線位置前後の走査線位置における輝度合計値の差が、道路白線に相当する輝度と道路白線ではない箇所に相当する輝度との差より大きいかどうかを判定することによって、路面ノイズ等に相当する白線候補線を道路白線相当線分として誤検知することを防止することができる。
【００８８】
また、前記白線候補線検出手段は、前記道路白線のエッジ端に相当する白線候補線を検出する手段であって、前記白線候補線位置前後の走査線位置における前記輝度合計値に基づいて前記道路白線に相当する側の輝度合計値よりも大きい第１のしきい値と、当該第１のしきい値よりも大きく非道路白線に相当する側の輝度合計値よりも小さく、且つ前記第１のしきい値との差が予め設定した輝度差より大きい第２のしきい値と、を設定するしきい値設定手段を備え、前記白線判定手段は、前記走査線の走査位置が変化するに伴って前記輝度合計値が、前記第１のしきい値よりも小さい状態、前記第２のしきい値よりも大きい状態、前記第１のしきい値よりも小さい状態の順に変化するとき、前記道路白線相当線分であると判断する構成としたから、実際の輝度に応じて第１のしきい値及び第２のしきい値を設定し、これに基づいて道路白線相当線分とみなすかどうかを判定することによって、路面或いは道路白線の輝度が変化した場合であっても、輝度変化の影響を受けることなく、道路白線相当線分とするか否かの判断を的確に行うことができる。
【００８９】
また、前記輝度合計値の変化率を算出する変化率算出手段と、当該変化率算出手段で算出した変化率の大きさとその変化方向とに基づいて、前記白線候補線に対応するエッジ端とは異なる側のエッジ端の前後に相当すると予測される輝度合計値を検出するエッジ端相当値検出手段と、を備え、前記しきい値設定手段は、前記白線候補線前後の走査線位置における前記輝度合計値及び前記エッジ端相当値検出手段で検出した前記エッジ端前後の輝度合計値に基づいて、前記道路白線の内側エッジ端及び外側エッジ端毎に前記第１のしきい値及び第２のしきい値を設定し、前記白線判定手段は、前記走査線の走査位置が前記道路白線内側方向から外側方向に変化するときの前記輝度合計値が、前記内側エッジ端に対応する前記第１のしきい値よりも小さい状態、前記内側エッジ端に対応する前記第２のしきい値よりも大きく且つ前記外側エッジ端に対応する前記第２のしきい値よりも大きい状態、前記外側エッジ端に対応する前記第１のしきい値よりも小さい状態、の順に変化するときに、前記道路白線相当線分であると判断する構成としたから、道路白線や路面の輝度が変化するような場合であっても、輝度変化の影響を受けることなく、道路白線の車線内側のエッジ端及び車線外側のエッジ端の実際の輝度に則して的確に判断を行うことができる。
【００９０】
また、前記白線判定手段は、前記高輝度状態及び当該高輝度状態の前後の各低輝度状態が、それぞれ予め設定した規定期間継続するとき、前記道路白線相当線分であると判断する構成としたから、路面ノイズを道路白線相当線分であると誤検知することを防止し、より高精度に判断を行うことができる。
また、前記高輝度状態に対応する前記規定期間は、前記道路白線の白線幅及びその変動幅に応じて設定される構成としたから、道路白線の白線幅の変動が生じた場合であっても、道路白線相当線分であるか否かの判断を、的確に行うことができる。
【００９１】
さらに、前記白線候補線検出手段は、前記撮像画像を左から右に走査した場合に垂直方向位置が同一の隣接する画素よりも輝度値が増加する画素を正エッジ点又は輝度値が減少する画素を負エッジ点として検出するエッジ点検出手段と、当該エッジ点検出手段で検出した正エッジ点又は負エッジ点の中から直線状に並んだエッジ点列を前記白線候補線として抽出するエッジ点列抽出手段と、を備える構成としたから、白線候補線を容易的確に検出することができる。
【００９２】
ここで、撮像装置１が撮像手段に対応し、図２のステップＳ２の処理が探索領域設定手段に対応し、ステップＳ４の処理が道路白線検出手段に対応し、図４のステップＳ１１の処理が白線候補線検出手段に対応し、ステップＳ１１の処理において、エッジ点を検出する処理がエッジ点検出手段に対応し、ハフ変換によってエッジ点列を検出する処理がエッジ点列抽出手段に対応し、ステップＳ１３において、水平線の位置座標を検出する処理が水平線位置検出手段に対応し、水平線の位置座標をもとに仮想消失点を算出する処理が交点座標検出手段に対応し、図４のステップＳ１４の処理で走査線を走査させその走査位置毎に輝度合計値を算出する処理が輝度合計値算出手段に対応し、ステップＳ１４の処理で輝度合計値が指定されたパターンで変化するかどうかを判断する処理が白線判定手段に対応している。また、図１９のステップＳ２１の処理が輝度合計値算出手段に対応し、ステップＳ２２からステップＳ２６の処理が白線判定手段に対応し、ステップＳ２２からステップＳ２５の処理がしきい値設定手段に対応し、図２１のステップＳ２１の処理が輝度合計値算出手段に対応し、ステップＳ２２からステップＳ３７の処理が白線判定手段に対応し、ステップＳ２１からステップＳ３５の処理がしきい値設定手段に対応し、ステップＳ３１の処理が変化率算出手段に対応し、ステップＳ３４の処理がエッジ端相当値検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】本発明における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】ウィンドウの設定方法を説明するための説明図である。
【図４】図２のステップＳ３における道路白線候補の選定処理の処理手順の一例を示すフローチャートである。
【図５】負エッジ点列の一例である。
【図６】白線候補線ＬＮを特定するための始点及び終点を説明するための図である。
【図７】白線候補線ＬＮの管理方法を説明するための図である。
【図８】第１の実施の形態の動作説明に供する説明図である。
【図９】水平線の位置座標の検出方法を説明するための図である。
【図１０】パラメータＣ_０及びＤ_０を説明するための図である。
【図１１】第１の実施の形態の動作説明に供する説明図である。
【図１２】輝度合計値ＳＩの変化パターンの一例である。
【図１３】白線候補線が路面ノイズに相当する場合の輝度合計値の変化状況の一例である。
【図１４】第１の実施の形態の動作説明に供する説明図である。
【図１５】第１の実施の形態の動作説明に供する説明図である。
【図１６】第１の実施の形態の動作説明に供する説明図である。
【図１７】第１の実施の形態の動作説明に供する説明図である。
【図１８】ピッチングが発生したときの輝度合計値の変化状況の一例である。
【図１９】第２の実施の形態における白線判定処理の処理手順の一例を示すフローチャートである。
【図２０】第２の実施の形態の動作説明に供する説明図である。
【図２１】第３の実施の形態における白線判定処理の処理手順の一例を示すフローチャートである。
【図２２】輝度合計値の差分値ΔＳＩの変化状況の一例である。
【図２３】第３の実施の形態の動作説明に供する説明図である。
【図２４】正エッジ点及び負エッジ点を説明するための説明図である。
【図２５】道路白線検出に用いるテンプレートの一例である。
【図２６】テンプレートを用いて道路白線を検出する場合の動作説明に供する説明図である。
【図２７】路面ノイズの一例である。
【図２８】テンプレートを用いて道路白線検出を行う場合の動作説明に供する説明図である。
【符号の説明】
１撮像装置
２処理装置

Claims

車両前方の道路を撮像する撮像手段と、
当該撮像手段で撮像した撮像画像において道路白線に相当すると予測される白線候補線を検出する白線候補線検出手段と、
前記撮像画像において水平線の位置座標を検出する水平線位置検出手段と、
当該水平線位置検出手段で検出した水平線位置座標に基づいて前記白線候補線検出手段で検出した白線候補線と前記水平線との交点を検出する交点座標検出手段と、
当該交点座標検出手段で検出した交点を始点とする走査線を、前記白線候補線の前後の所定範囲で走査させ、各走査線位置において前記走査線の延長線と対向する画素の輝度値の合計値を算出する輝度合計値算出手段と、
当該輝度合計値算出手段で算出された各走査線位置における輝度合計値の分布状況に基づいて、前記白線候補線が前記道路白線に相当する道路白線相当線分であるかどうかを判定する白線判定手段と、を備えることを特徴とする道路白線認識装置。
前記白線候補線を探索するための複数の探索領域を設定する探索領域設定手段と、
当該探索領域毎に検出された前記道路白線相当線分に基づいて前記道路白線を検出する道路白線検出手段と、を備え、
前記輝度合計値算出手段は、前記走査線の延長線と対向する前記探索領域内の画素の輝度の合計値を算出し、
前記白線判定手段は、前記探索領域毎に前記白線候補線が前記道路白線相当線分であるかどうかを判定するようになっていることを特徴とする請求項１記載の道路白線認識装置。
前記白線判定手段は、前記走査線の走査位置が道路白線内側方向から道路白線外側方向又は道路白線外側方向から道路白線内側方向に変化するに伴って、前記輝度合計値が、比較的低い低輝度状態、当該低輝度状態よりも輝度合計値の大きい高輝度状態、当該高輝度状態よりも輝度合計値の小さい低輝度状態の順に変化するとき、前記道路白線相当線分であると判断するようになっていることを特徴とする請求項１又は２記載の道路白線認識装置。
前記白線候補線検出手段は、前記道路白線のエッジ端に相当する白線候補線を検出する手段であって、
前記白線判定手段は、前記白線候補線位置前後の走査線位置における前記輝度合計値の差が、予め設定した輝度差より大きいとき、前記道路白線相当線分であると判定するようになっていることを特徴とする請求項３記載の道路白線認識装置。
前記白線候補線検出手段は、前記道路白線のエッジ端に相当する白線候補線を検出する手段であって、
前記白線候補線位置前後の走査線位置における前記輝度合計値に基づいて前記道路白線に相当する側の輝度合計値よりも大きい第１のしきい値と、当該第１のしきい値よりも大きく非道路白線に相当する側の輝度合計値よりも小さく、且つ前記第１のしきい値との差が予め設定した輝度差より大きい第２のしきい値と、を設定するしきい値設定手段を備え、
前記白線判定手段は、前記走査線の走査位置が変化するに伴って前記輝度合計値が、前記第１のしきい値よりも小さい状態、前記第２のしきい値よりも大きい状態、前記第１のしきい値よりも小さい状態の順に変化するとき、前記道路白線相当線分であると判断するようになっていることを特徴とする請求項３記載の道路白線認識装置。
前記輝度合計値の変化率を算出する変化率算出手段と、
当該変化率算出手段で算出した変化率の大きさとその変化方向とに基づいて、前記白線候補線に対応するエッジ端とは異なる側のエッジ端の前後に相当すると予測される輝度合計値を検出するエッジ端相当値検出手段と、を備え、
前記しきい値設定手段は、前記白線候補線前後の走査線位置における前記輝度合計値及び前記エッジ端相当値検出手段で検出した前記エッジ端前後の輝度合計値に基づいて、前記道路白線の内側エッジ端及び外側エッジ端毎に前記第１のしきい値及び第２のしきい値を設定し、
前記白線判定手段は、前記走査線の走査位置が前記道路白線内側方向から外側方向に変化するときの前記輝度合計値が、前記内側エッジ端に対応する前記第１のしきい値よりも小さい状態、前記内側エッジ端に対応する前記第２のしきい値よりも大きく且つ前記外側エッジ端に対応する前記第２のしきい値よりも大きい状態、前記外側エッジ端に対応する前記第１のしきい値よりも小さい状態、の順に変化するときに、前記道路白線相当線分であると判断するようになっていることを特徴とする請求項５記載の道路白線認識装置。
前記白線判定手段は、前記高輝度状態及び当該高輝度状態の前後の各低輝度状態が、それぞれ予め設定した規定期間継続するとき、前記道路白線相当線分であると判断するようになっていることを特徴とする請求項３乃至６の何れかに記載の道路白線認識装置。
前記高輝度状態に対応する前記規定期間は、前記道路白線の白線幅及びその変動幅に応じて設定されることを特徴とする請求項７記載の道路白線認識装置。
前記白線候補線検出手段は、前記撮像画像を左から右に走査した場合に垂直方向位置が同一の隣接する画素よりも輝度値が増加する画素を正エッジ点又は輝度値が減少する画素を負エッジ点として検出するエッジ点検出手段と、
当該エッジ点検出手段で検出した正エッジ点又は負エッジ点の中から直線状に並んだエッジ点列を前記白線候補線として抽出するエッジ点列抽出手段と、を備えることを特徴とする請求項１乃至８の何れかに記載の道路白線認識装置。