JP2004326559A

JP2004326559A - 車線区分線検出装置

Info

Publication number: JP2004326559A
Application number: JP2003122016A
Authority: JP
Inventors: Hiroyuki Kosho; 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-04-25
Filing date: 2003-04-25
Publication date: 2004-11-18

Abstract

【課題】破線からなる車線区分線及び実線からなる車線区分線が混在する場合でも、撮像画像から車線区分線を的確に抽出する。
【解決手段】撮像画像を水平方向に走査して得たエッジ点に基づき、これを貫く線分を車線区分線候補として検出する。検出した車線区分線候補を含む所定幅の探索領域を設定し（ステップＳ１１）、探索領域を垂直方向に走査してＹ軸方向の負エッジ点を検出する（ステップＳ１２）。得られたＹ軸方向の負エッジ点のうち、ｙ座標がｙ＝ｙ０＋（ｆ×Ｈ）／（ｚ１＋ｚ２・ｋ）を満足する負エッジ点数の総和が、しきい値を超える最適化変数ｚ１及びｚ２を検索し、これら最適化変数ｚ１及びｚ２が存在するとき、この車線区分線候補を破線からなる車線区分線候補であると判定する（ステップＳ１３）。
【選択図】図９

Description

【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の車線区分線を検出するための車線区分線検出装置に関する。
【０００２】
【従来の技術】
従来より、自車両前方の道路を撮像手段によって撮像し、撮像した撮像画面において道路白線を認識し、自車両と道路白線との関係を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
前記道路白線を認識する方法としては、例えば、論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡＲ＆ＤＴｅｃｈｎｉｃａｌＲｅｖｉｅｗＶｏｌ．１２Ｎｏ．１（Ａｐｒｉｌ２０００））が提案されている。
【０００３】
この論文中においては、正のエッジ点及び負のエッジ点が以下の条件を満たして配置されている場合に、この点を、道路白線を構成する点の候補と考えている。つまり、これら正及び負のエッジ点が、所定の距離以内にあること、また、これら正及び負のエッジ点が、画面を左から右に走査したとき「正」→「負」の順に配置されていること、さらに、エッジ点列が直線的に並んでいることも利用している。なお、この直線的に並んでいるエッジ点列を抽出する技術としてハフ変換を利用している。
【０００４】
ここで、正のエッジ点とは、撮像手段で撮像した、例えば、図１４に示すような車両前方の撮像画像において、撮像画像を左から右へ走査していった場合に、図１５に白丸で示すように、濃度値（もしくは輝度値とも呼ぶ。）が増加する点のことであり、負のエッジ点は、黒丸で示すように、濃度値が減少する点である。
そして、図１５に示すように、正及び負のエッジ点対が検出されたときに、その位置を特定する点、例えば、エッジ点対の左端、或いは右端、或いは中央等を、車線区分線の候補点（以下、車線区分線候補点という。）とする。仮に、右端を車線区分線候補点とすると、図１６に示すように、負エッジ点が、車線区分線候補点群として検出される。
【０００５】
そして、車線区分線は、その候補点がなめらかな曲線或いは直線状に並んでいると仮定し、ハフ変換或いは、最小二乗法、遺伝アルゴリズムなどを用いて、これら車線区分線候補点群を貫く曲線或いは直線を検出することにより、例えば、図１７に示すように、車線区分線候補点群を貫く線分が車線区分線候補として検出される。なお、一般に、ハフ変換等により得られる車線区分線候補は、１つとは限らないので、得られた複数の車線区分線候補の中から、この線分が貫く車線区分線候補点が多いもの、すなわち、所定値以上のものを選択する。つまり、ノイズによる車線区分線候補を除去することの可能な値に所定値を設定することにより、図１８に示すように、ノイズが除去された真の車線区分線候補が得られることになる。
【０００６】
【非特許文献１】
論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡＲ＆ＤＴｅｃｈｎｉｃａｌＲｅｖｉｅｗＶｏｌ．１２Ｎｏ．１（Ａｐｒｉｌ２０００）
【０００７】
【発明が解決しようとする課題】
しかしながら、前述のようにノイズを除去するために、車線区分線候補として判別するための所定値を大きく設定すると、図１９に示すような破線で構成される車線区分線を検出できない可能性が出てくる。つまり、図２０に示すように、実線からなる車線区分線と破線からなる車線区分線とでは、これらを構成する車線区分線候補点の数が、明らかに異なり、破線の候補点数は実線よりも少ない。これは破線を構成する線分間の路面には候補点が存在しないためである。
【０００８】
この破線からなる車線区分線を検出するためには車線区分線候補として判別するための前記所定値を小さく設定すればよいが、所定値を小さく設定すると、逆にノイズを誤検知しやすくなる。このように、車線区分線候補と判定するための所定値を設定する際には、トレードオフが存在するため、より高精度に、車線区分線を検出することの可能な、車線区分線の検出方法が望まれていた。
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、車線区分線が破線或いは実線から構成される場合であっても、高精度に車線区分線の検出を行うことの可能な、車線区分線検出装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る車線区分線検出装置では、撮像手段で撮像した撮像画像に対し、探索領域設定手段により車線区分線に相当すると予測される車線区分線候補を含む領域に探索領域を設定し、この探索領域において、エッジ点検出手段により撮像画像を垂直方向に走査してエッジ点を検出する。そして、このエッジ点の撮像画像における垂直方向の分布状況が、実空間において等間隔性を有するかどうかを等間隔性判定手段により判定し、等間隔性判定手段で等間隔性を有すると判定されるとき、探索領域の前記車線区分線候補を、破線からなる車線区分線に相当すると判定する。
【００１０】
つまり、例えば、水平方向のエッジ点を検出し、このエッジ点を貫く線分を求め、この線分上に位置するエッジ点数に基づいて車線区分線候補を検出した場合、前記エッジ点数のしきい値によっては、破線とノイズとを識別することができない場合がある。しかしながら、この車線区分線候補を含む領域を探索領域として設定し、この探索領域において、垂直方向のエッジ点を検出した場合、通常、破線からなる車線区分線は等間隔に配置されているから、破線からなる車線区分線であれば、撮像画像における垂直方向のエッジ点の分布状況は、実空間で等間隔となるように分布することになる。したがって、垂直方向のエッジ点の分布状況が等間隔性を有する場合には、破線からなる車線区分線に相当するとみなすことができ、破線とノイズとを的確に識別することが可能となる。
【００１１】
【発明の効果】
本発明による車線区分線検出装置によれば、撮像手段で撮像した撮像画像に対し、探索領域設定手段により車線区分線に相当すると予測される車線区分線候補を含む領域に探索領域を設定し、この探索領域において、エッジ点検出手段により垂直方向のエッジ点を検出し、等間隔性判定手段によって、エッジ点の撮像画像における垂直方向の分布状況が、実空間において等間隔性を有すると判定されるときには、破線からなる車線区分線に相当する車線区分線候補であると判定するようにしたから、破線からなる車線区分線候補と車線区分線候補として誤検知したノイズとを的確に識別することができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を適用した車線区分線検出装置の一実施形態を示す構成図である。
図１において、ＣＣＤカメラ等で構成される撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。
前記撮像装置１で撮像された撮像情報は、処理装置２に入力され、処理装置２は、前記撮像情報をもとに車線区分線の一部とみなすことの可能な車線区分線候補を検出し、これに基づいて道路モデルを表す道路パラメータを推定する。
【００１３】
図２は、処理装置２で実行される車線区分線を検出するための車線区分線検出処理の処理手順の一例を示すフローチャートである。なお、この車線区分線検出処理は、予め設定した所定周期で実行される。また、ここでは、左側の車線区分線を検出する場合について説明する。なお、右側の車線区分線を検出する場合には、左側の車線区分線を検出する場合と、左右対称に同様にして処理を行えばよい。
【００１４】
まず、ステップＳ１で、撮像装置１で撮像した前方画像の撮像情報を読み込み、次いでステップＳ２で、撮像装置１で撮像した撮像画像に対し、図３に示すように、左右の車線区分線に相当する位置に、車線区分線を探索するための探索領域を設定する。
この探索領域は、車線区分線以外の白線を車線区分線として誤認識することを回避するために設けたものであり、この探索領域の中において車線区分線候補を検出する。このように探索領域を設定することによって、検出範囲を狭めたことにもなり、演算時間の短縮にも有効である。
【００１５】
なお、この探索領域の位置は固定でも良いし、また、例えば特開平１０−２１９８０２号公報に記載されているように、前回処理実行時に推定した車線区分線位置に基づいて、撮像画像における車線区分線の位置を予測し、この予測位置上に探索領域の横方向中心点が位置するように合理的に設定するようにしてもよい。
【００１６】
次いで、ステップＳ３に移行し、図４に示すように、撮像画像の探索領域について、その上から順に、左から右方向にラスター走査して、Ｘ軸方向のエッジ点の検出を行い、濃度値が増加する点（正エッジ点）、及び濃度値が低下する点（負エッジ点）を検出する。図５は、右側から順に、車線区分線が実線の場合、車線区分線が破線の場合、及びノイズである場合の正及び負のエッジ点の検出結果を示したものである。
【００１７】
次いで、ステップＳ４に移行し、車線区分線候補点を検出する。具体的には、図５に示すように検出された正及び負のエッジ点について、正及び負のエッジ点が水平方向に並んでいるものを抽出し、その負エッジ点を車線区分線候補点とする。ここでは、左側の車線区分線に対して処理を行う場合について説明しているので、負エッジ点は白線内側のエッジ点に相当することになる。
【００１８】
なお、水平方向に並んでいる正及び負のエッジ点について、その間隔が、その正及び負のエッジ点位置で想定される白線幅間隔よりも大きすぎるもの、もしくは小さすぎるものは候補点でないと判定するようにしてもよい。
前記図５の正及び負のエッジ点に対し、車線区分線候補点を検出したものが図６である。
【００１９】
次いで、ステップＳ５に移行し、車線区分線候補の選定を行う。具体的には、まず、前記車線区分線は滑らかな曲線又は直線であることに着目して、前記ステップＳ４で得られた車線区分線候補点のうち、滑らかな曲線状又は直線状に並んだ点列を、ハフ変換等を用いて抽出する。ハフ変換は直線抽出に利用される場合が多いが、前述の非特許文献１に示すように、曲線に対応できるハフ変換も存在するので、これを利用する。
【００２０】
図７は、前記図６に示す車線区分線候補点に対しハフ変換を行った結果を表したものである。候補番号は、ハフ変換により得られた直線を識別する番号、評価値Ｖは、ハフ変換により得られた直線が貫く車線区分線候補点の数を表す。図６において、右端の実線に相当する直線は識別番号１、中央の破線に相当する直線は識別番号２、左端のノイズに相当する直線は識別番号３である。
【００２１】
ここでは、得られた直線が貫く車線区分線候補点の数（評価値Ｖ）がしきい値Ｖｔｈ０以上の曲線或いは直線を抽出している。
前記しきい値Ｖｔｈ０は実線だけではなく、破線も抽出できるように、ある程度小さく設定する。図７の例では、しきい値Ｖｔｈ０として“８”以下の値（例えば、“８”）を設定している。このため、図７に示すように、滑らかな曲線状に並んだノイズに相当する車線区分線候補点列（候補番号３）が車線区分線候補として選択されている。つまり、図６に示す破線及びノイズに相当する直線が貫く車線区分線候補点数、つまり評価値Ｖは、図７に示すように、それぞれ“９”であるため、ノイズに相当する直線も、車線区分線候補として抽出されることになる。
【００２２】
そこで、続くステップＳ６以降の処理で、このノイズに相当する車線区分線候補を除去する処理を行う。
すなわち、まず、ステップＳ６で、ステップＳ５の処理で得られた車線区分線候補のうち、これが貫く車線候補点数、つまり評価値Ｖが、実線検出のためのしきい値Ｖｔｈ１よりも大きいものを検出し、これを図８に示すように、実線であるとして特定する。
【００２３】
前記しきい値Ｖｔｈ１は、破線は検出せず、実線のみを検出するためのしきい値であって、ここでは、しきい値Ｖｔｈ１を“１０”として設定している。
次いで、ステップＳ７に移行し、ステップＳ５で検出された車線区分線候補のうち、実線であるとして特定された車線区分線候補以外のものについて、破線であるかどうかの判定を行う。
【００２４】
具体的には、図９のフローチャートに示すように、ステップＳ５の処理で検出された車線区分線候補のうち、前記ステップＳ６の処理で実線として特定されなかった車線区分線候補それぞれに対し、この車線区分線候補が破線であるかどうかを判定するための、Ｙ軸方向探索領域を設定する。このＹ軸方向探索領域は、前記車線区分線候補に対し、その左側所定幅の領域が設定される。
【００２５】
前記Ｙ軸方向探索領域の幅は、固定値であってもよく、また、次式（１）で表される幅であってもよい。
なお、この（１）式についての詳細な説明は、「自動車技術会論文集Ｖｏｌ．３３，Ｎｏ．３，Ｊｕｌｙ２００２，研究論文（２２）、２００２４４４３、“拡張カルマンフィルタを用いた車線追従制御の検討”」に記載されているので、ここでは、その詳細な説明は省略する。なお、前記文献中に記載されている（１）式相当の式と、本実施の形態で用いる（１）式とは、その変数の符号定義が異なっている。
【００２６】
【数１】

【００２７】
なお、（１）式中のｘｄは、撮像画像のＹ軸方向の座標位置ｙにおける、Ｘ軸方向の車線区分線幅、Ｗｄは、実空間での車線区分線幅、Ｈは、カメラ高さ（上方向が正値）である。なお、このカメラ高さＨは、不明な場合は例えば標準状態での値で代用する。また、リアルタイム処理（繰り返し処理）では今回の予想値を用いるようにしてもよい。Ｄは、カメラピッチ角であって、路面に対して上を向くと正値とする。ただし、標準状態での値をゼロとする。不明な場合は例えばゼロとする。また、リアルタイム処理（繰り返し処理）では今回の予想値を用いるようにしてもよい。また、ｆはカメラのレンズパラメータ、Ｄ０は標準状態において、画像上の道路消失点のＹ座標ｙ０をカメラのレンズパラメータｆで除した値である。なお、前記標準状態とは、車線が直線であり、カメラは車線中央に設置され、ヨー角はゼロであり、ピッチ角及びカメラ高さは車両走行中の平均である状態をいう。
【００２８】
このようにして、Ｙ軸方向探索領域を設定したならば、ステップＳ１２に移行し、Ｙ軸方向探索領域について左から順に、上から下方向に走査を行い、Ｙ軸方向に輝度変化が大きくなる点を、Ｙ軸方向のエッジ点として検出する。このＹ軸方向のエッジ点も、水平方向に走査した場合のＸ軸方向のエッジ点と同様に、図１０に示すように、その輝度が大きくなる正エッジ点及び輝度が小さくなる負エッジ点とがある。
【００２９】
次いで、このようにして、Ｙ軸方向のエッジ点を検出したならばステップＳ１３に移行し、破線検定を行う。
ここで、図１０の、破線に相当する車線区分線の候補について、Ｙ軸方向エッジ点の負エッジ点の分布状況を表したものが、図１１である。なお、図１１において、横軸はＹ座標位置、縦軸は、負エッジ点が、水平方向に隣接して並ぶＹ座標位置におけるＹ軸方向エッジ点の負エッジ点の数を表したものである。
【００３０】
ここで、撮像画像におけるＹ座標位置と、実空間における車両前方距離Ｚとの間には、次式（２）が成立する。なお、式（２）中の各パラメータは、前記（１）式におけるパラメータと同一であって、前記車両前方距離ＺとＹ座標位置とは、カメラの各種諸元に応じて相関関係があることから、次式（２）で表すことができる。なお、この（２）式についての詳細な説明は前記「自動車技術会論文集Ｖｏｌ．３３，Ｎｏ．３，Ｊｕｌｙ２００２，研究論文（２２）、２００２４４４３、“拡張カルマンフィルタを用いた車線追従制御の検討”」に記載されているので、ここでは、その詳細な説明は省略する。
【００３１】
【数２】

【００３２】
また、破線で描かれた車線区分線を構成する複数の白線部分は、車線進行方向に等間隔に描かれていると仮定する。このため、白線部分の車両に近い方の端には、図１０中に示したように、Ｙ軸方向の負エッジ点が現れる。これは破線の白色と路面の黒色との輝度差の結果である。この負エッジ点は前記ステップＳ１２で得ることができる。このＹ軸方向の負エッジ点の、実空間における車両前方距離は、次式（３）で近似することができる。
【００３３】
Ｚ＝ｚ１＋ｚ２・ｋ ……（３）
ｋ＝０〜Ｎ
なお、式（３）中のＮは、撮像画像において、自車両前方に見える破線の数（片側）を示すものであって、図１０の場合には、３つの破線を認識することができるため、ここでは、“３”としている。なお、Ｎは、“３”に限るものではなく、カメラの性能に応じて設定するようにすればよい。
次いで、前記（２）式及び（３）式からＺを消去し、次式（４）を得る。なお、次式（４）において、カメラピッチ角Ｄを零、撮像画像状の水平線位置におけるＹ座標をｙ０とすると、次式（５）を得ることができる。
【００３４】
【数３】

【００３５】
ｙ＝ｙ０＋（ｆ×Ｈ）／（ｚ１＋ｚ２・ｋ） ……（５）
そして、前記（４）式中の最適化変数ｚ１及びｚ２を調整し、次式（６）で表される評価値Ｅを最大化し得る最適化変数ｚ１及びｚ２を得る。この解法としては、遺伝アルゴリズム等を適用することができる。
Ｅ＝ｎ ……（６）
なお、（６）式における右辺のｎは、前記最適化変数ｚ１及びｚ２で定まる前記（４）式で特定されるＹ座標上、もしくは、このＹ座標位置から所定値離れた領域内に位置するＹ座標位置近傍のＹ軸方向位置に存在する、Ｙ軸方向エッジ点の負エッジ点列数の総和を表す。例えば、図１１に示す負エッジ点の個数が全て真の破線に対応しているとすると、Ｅの最大値は６（＝１＋２＋３）となる。
【００３６】
なお、ここでは、最適化変数ｚ１及びｚ２を未知パラメータとして、最大化する場合について説明したが、これに限るものではなく、前記カメラピッチ角Ｄも未知パラメータとし、前記最適化変数ｚ１及びｚ２及びカメラピッチ角Ｄを調整して評価値Ｅを最大化するようにしてもよい。このようにすることによって、カメラピッチ角Ｄの変動に対しこれに応じて的確に最大化を行うことができるため、ロバスト性をより向上させることができる。
【００３７】
そして、このようにして得られた評価値Ｅが、評価しきい値Ｅｔｈよりも大きいとき、この車線区分線候補を、破線であると判断する。
前記評価しきい値Ｅｔｈは、大きな値に設定すると、細い破線やかすれた破線を捉えにくくなり、逆に評価しきい値Ｅｔｈを小さな値に設定するとノイズを拾いやすくなるため、両者のトレードオフを考慮して設定する必要がある。
【００３８】
したがって、前記図１０の車線区分線候補のうち、破線からなる車線区分線候補の評価値Ｅがその評価しきい値Ｅｔｈを超えるとき破線と判断され、図１２に示すように候補番号２の車線区分線候補は破線として判定されることになるが、ノイズからなる車線区分線候補は、図１０に示すように、水平方向に並ぶＹ軸方向の正及び負のエッジ点が存在しないから、評価値Ｅは、その評価しきい値Ｅｔｈを超えない。したがって、この車線区分線候補は、破線とは判定されず、図１２に示すように、候補番号３の車線区分線候補はノイズとして判定されることになる。
【００３９】
なお、車線区分線候補を破線とみなすかどうかの判断を、より正確に行うために、正及び負エッジ両方に対して前記処理を同様に行い、両方とも前記条件を満たしたときにのみ、破線であると判定するようにしてもよい。
また、前記最適化変数ｚ２は、車線区分線を構成する破線の間隔を意味し、正エッジ点及び負エッジ点について得られる値は互いに等しいため、これらが互いに等しいかどうかを破線判断の条件に含めることによって、さらに信頼性を向上させることができる。
【００４０】
また、前記最適化変数ｚ２は、実空間における白線間隔を表しているため、得られた最適化変数ｚ２が、予め想定される白線間隔（一般道、高速道、登攀車線区分線等、複数存在する。）に一致するとき、或いは、これに近い値を示すかどうかを判断する破線間隔評価手段を設け、この破線間隔評価手段で、最適化変数ｚ２は、白線間隔と同等であると判断されるときにのみ、破線であると判断するようにしてもよく、このようにすることによって、より的確に破線判断を行うことができ、すなわち、車線区分線の候補をより高精度に検出することができる。
【００４１】
また、前述のようにして得られた評価値Ｅが評価値しきい値Ｅｔｈよりも大きくなり得る、車線区分線候補のうち、次式（７）及び（８）に基づき算出される、破線長が、予め想定される破線長（一般道、高速道、登攀車線区分線等、複数存在する。）に一致するとき、或いは、これに近い値を示す場合にのみ破線であるかどうかを判定するエッジ点座標間隔評価手段を設け、破線長が、予め想定される破線長と同等とみなされるときに、破線であると判断するようにしてもよく、このようにすることによって、より的確に破線判断を行うことができ、すなわち、車線区分線の候補をより高精度に検出することができる。
【００４２】
前記破線長は次の手順で算出される。
まず、前記Ｙ軸方向エッジ点の正エッジ点に相当する、自車両前方の実空間位置までの、自車両からの距離は、次式（７）で近似されるものとする。
Ｚ＝ｚ１ｐ＋ｚ２ｐ・ｋ ……（７）
また、前記Ｙ軸方向エッジ点の負エッジ点に相当する、自車両前方の実空間位置までの、自車両からの前方距離は、次式（８）で近似されるものとする。
【００４３】
Ｚ＝ｚ１ｍ＋ｚ２ｍ・ｋ ……（８）
今、前記（８）式において、ｋを一つ設定し、その時のＺをＺ（１）とする。次に、前記（７）式で、ｋを１〜ｎとした場合に特定される各Ｚのうち、前記（８）式で算出されたＺ（１）よりも大きく、且つ最小のものを、Ｚ（２）とする。Ｚ（１）は、負エッジ点、すなわち、破線手前を表し、Ｚ（２）は、前記Ｚ（１）で特定される破線の破線奥を表すことになる。したがって、Ｚ（２）−Ｚ（１）は、破線長を表すことになる。
【００４４】
なお、ここでは、破線長を検出するようにした場合について説明したが、同様にして、破線と破線との間の間隔を検出するようにした場合であっても同等の作用効果を得ることができる。
このように、破線長に基づいて破線判断を行う方法の他に、この正負のエッジ点の間、つまり破線の線分に相当する領域に存在する、前記ステップＳ４で検出された車線区分線候補点数を計測し、この計測値が、しきい値以上である場合にのみ、破線であると判定する再探索手段を設けるようにしてもよい。この計測値のしきい値は、大きな値に設定すると、ノイズを捕らえなくなる一方、かすれた破線をロストしやすくなるため、両者のトレードオフを考えて設定する必要がある。
【００４５】
図１３は、図１０の車線区分線候補について、破線の線分に相当する領域に存在する車線区分線候補点数を計測した場合の一例を示したものである。
図１３に示すように、候補番号２の線分の、破線の線分に相当する領域には、複数の車線区分線候補点が存在しこれらの和は“９”となるから、破線であると判断される。このとき、例えば、車線区分線候補を貫くＸ軸方向の車線区分線候補点数がしきい値を超え、且つＹ軸方向のエッジ点の分布が破線の場合と同等であるノイズの場合等には、車線区分線候補を貫く車線区分線候補点数は、しきい値を超えるが、破線の線分に相当する領域に存在する車線区分線候補点数がしきい値を超えないから、この時点でノイズであると判定されることになる。
【００４６】
このように、再度、破線からなる車線区分線候補に対し、探索範囲を設定することによって、探索範囲が狭まることになるが、もともと、破線の場合には、破線の線分に相当する以外の部分には、正及び負の車線区分線候補点は存在しないから、このように、探索範囲を狭めて再度車線区分線候補点数を計測するようにしたとしても、真の車線区分線候補点数が減少することはない。したがって、探索範囲を設定し再度車線区分線候補点に基づいて判定を行うことによって、より的確に破線検出を行うことができ、ロバスト性を向上させることができる。
【００４７】
このようにして、ステップＳ１３の処理で破線の検定を行ったならば、図２に戻って、ステップＳ８に移行し、車線区分線候補の中から車線区分線の選定を行う。具体的には、図１２に示すように、実線であるか破線であるか或いはノイズであるかが特定された、各車線区分線候補の中から、実線又は破線である判定された候補を選定し、これを車線区分線として特定する。なお、実線又は破線と判定された候補が複数存在する場合には、例えば、特開２００２−１７５５３５号公報に記載された手順等、公知の方法で、真の車線区分線に相当する候補線を選定するようにすればよい。
【００４８】
以上の処理によって、車線区分線が得られたならば、この車線区分線の検出処理を終了する。
そして、制御装置２では、このようにして得られた車線区分線に基づいて、例えば、公知の手順で道路パラメータを検出し、自車両前方の道路形状を認識する等の処理を行う。
このように、撮像画像を水平方向に走査して得たＸ軸方向の正及び負のエッジ点に基づいて、実線からなる車線区分線を検出すると共に、撮像画像を垂直方向に走査してＹ軸方向の正及び負エッジ点を検出し、これに基づいて、破線からなる車線区分線を判別するようにしたから、実線及び破線からなる車線区分線が混在する場合であっても、これら車線区分線を的確に識別することができる。
【００４９】
また、車線区分線が破線で形成されている場合、通常破線は等間隔で配置されることに着目し、撮像画像におけるＹ軸方向の正又は負エッジ点分布状況が、実空間では等間隔に配置されているとみなすことの可能な分布状況である場合に、破線からなる車線区分線であると判定するようにし、すなわち、破線からなる車線区分線であるかの判定条件に、等間隔性を利用するようにしたから、ノイズであるか破線であるかを的確に判別することができ、車線区分線検出のロバスト性を向上させることができる。
【００５０】
また、上記実施の形態においては、実線に相当する車線区分線候補を検出した後、破線に相当する車線区分線候補を検出するようにしているから、実線に対し明らかに該当することのない破線判定を行うことを回避し、不必要な処理を行うことを回避することにより、その分、演算負荷を軽減することができる。
【００５１】
なお、上記実施の形態においては、車線区分線候補線として車線区分線の内側エッジを検出するようにした場合について説明したが、これに限らず、車線区分線の外側エッジを検出するようにしてもよく、また、車線区分線の中央線等、車線区分線を代表する線分を車線区分線候補線として検出するようにしてもよい。この場合、車線区分線の外側エッジを検出するようにした場合には、Ｙ軸方向エッジ点探索領域を、車線区分線候補の右側領域に設定するようにすればよく、また、車線区分線の中央線等を検出するようにした場合には、この中央線を挟んで左右に設定するようにすればよく、要は、車線区分線候補線に対し、車線区分線が存在すると予測される領域に設定するようにすればよい。
【００５２】
また、上記実施の形態においては、Ｙ軸方向の負エッジ点について等間隔性の判定を行うようにした場合について説明したが、正エッジ点について等間隔性の判定を行うようにすることも可能である。
なお、上記実施の形態において、撮像装置１が撮像手段に対応し、図９のステップＳ１１の処理が探索領域設定手段に対応し、ステップＳ１２の処理がエッジ点検出手段に対応し、ステップＳ１３の処理が等間隔性判定手段に対応している。また、図２のステップＳ３及びＳ４の処理が水平方向エッジ点検出手段に対応し、ステップＳ５の処理が車線区分線候補検出手段に対応している。
【００５３】
また、本発明においては、前記エッジ点検出手段で検出された撮像画像の垂直方向のエッジ点の、撮像画像における垂直方向の分布状況が、実空間において等間隔性を有するかどうかを判定する等間隔性判定手段では、前記エッジ点検出手段で検出され且つ輝度変化が同一方向であるエッジ点群のうち、実空間において車両前方に位置する破線からなる車線区分線の前記撮像画像における座標位置を表す関数式を満足するエッジ点の総数がしきい値を超えるとき、等間隔性を有すると判定する構成としたから、破線からなる車線区分線に相当する車線区分線候補であるかどうかを容易的確に判定することができる。
【００５４】
また、前記等間隔性判定手段は、輝度が高くなる方向に変化する前記エッジ点群と輝度が低くなる方向に変化する前記エッジ点群のそれぞれについて、前記等間隔性の判定を行い、前記輝度が高くなる方向に変化するエッジ点群及び輝度が低くなる方向に変化するエッジ点群それぞれが等間隔性を有するとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定する構成としたから、破線の垂直方向の一端のエッジだけでなく両端のエッジについて、等間隔性を判定することにより、破線からなる車線区分線に相当する車線区分線候補であるかどうかをより高精度に判定することができる。
【００５５】
また、前記等間隔性判定手段は、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標の実空間における間隔が、破線からなる車線区分線の破線間隔と同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定する破線間隔評価手段を備える構成としたから、ノイズに対し、破線からなる車線区分線に相当する車線区分線候補であると誤判定することを回避し、より的確に判定することができる。
【００５６】
また、前記輝度の変化方向が同一であるエッジ点群それぞれについて特定される、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標のうち、輝度が大きくなる方向に変化するときの垂直方向エッジ点座標と、当該垂直方向エッジ点座標の次に位置し且つ輝度が小さくなる方向に変化するときの垂直方向エッジ点座標との間の実空間における間隔が、予め設定した間隔規定値と同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するエッジ点座標間隔評価手段を備える構成としたから、破線を構成する線分の長さについても破線とみなすかどうかの条件に含めることによって、より高精度に判定することができる。
【００５７】
また、前記関数式として、ｙ＝ｙ０＋（ｆ×Ｈ）／（ｚ１＋ｚ２・ｋ）で表される関数式を用いるようにしたから、破線からなる車線区分線に相当する車線区分線候補であるかどうかを容易的確に判定することができる。なお、前記ｙは撮像画像における垂直方向下方を正とする前記エッジ点の垂直方向位置座標、ｙ０は撮像画像における水平線位置に相当する垂直方向の位置座標、ｆは前記撮像手段のレンズの焦点距離、Ｈは走行路面に対する前記撮像手段の高さ、ｚ１及びｚ２は最適化変数、ｋは零を含む正の整数である。
【００５８】
また、前記等間隔性判定手段は、前記関数式を満足するエッジ点の総数が最大となる最適化変数ｚ１及びｚ２を検索し、前記エッジ点の総数が最大となるときの当該エッジ点の総数が前記しきい値を超えるかどうかを判定する構成としたから、破線からなる車線区分線に相当する車線区分線候補であるかを容易的確に判定することができる。
【００５９】
また、前記等間隔性判定手段は、輝度が高くなる方向に変化する前記エッジ点群及び輝度が低くなる方向に変化する前記エッジ点群のそれぞれについて前記最適化変数ｚ１及びｚ２を検索し、前記輝度が高くなる方向に変化するエッジ点群及び輝度が低くなる方向に変化するエッジ点群それぞれが、前記エッジ点の総数の最大値が前記しきい値を超える最適化変数ｚ１及びｚ２を有するとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定する構成としたから、破線からなる車線区分線に相当する車線区分線候補であるかを容易的確に判定することができる。
【００６０】
また、前記等間隔性判定手段は、前記輝度が高くなる方向に変化するエッジ点群における前記最適化変数ｚ１及びｚ２と、前記輝度が低くなる方向に変化するエッジ点群における前記最適化変数ｚ１及びｚ２とが同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定する構成としたから、破線の垂直方向両端それぞれの間隔が一致するかどうかを、破線であるとみなすかどうかの条件に含めることによって、破線に相当する車線区分線候補であるかどうかを、より的確に判定することができる。
【００６１】
また、前記探索領域設定手段は、前記撮像画像を水平方向に走査し、輝度変化がしきい値を超える点を水平方向エッジ点として検出する水平方向エッジ点検出手段と、当該水平方向エッジ点検出手段で検出された水平方向エッジ点を貫く線分を検出し、当該線分が貫く水平方向エッジ点数がしきい値を超えるとき当該線分を前記車線区分線候補として検出する車線区分線候補検出手段と、を備え、前記等間隔性判定手段は、前記輝度の変化方向が同一であるエッジ点群のそれぞれについて特定される、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標のうち、前記撮像画像を上から下方向に走査したときに輝度が大きくなる方向に変化するときの垂直方向エッジ点座標と、当該垂直方向エッジ点座標の次に位置し且つ自車両側に位置する輝度が小さくなる方向に変化する垂直方向エッジ点座標とからなるエッジ点座標対を生成し、前記関数式に基づき等間隔性を有すると判定された車線区分線候補の、前記エッジ点座標対で特定される範囲内における前記水平方向エッジ点の総数が、しきい値を超えるとき、前記車線区分線候補を、破線からなる車線区分線に相当する車線区分線候補であると判定する、再探索手段を備える構成としたから、より狭められた探索領域について、車線区分線候補とするかどうかを判定することによって、より高精度に、破線に相当する車線区分線候補であるかどうかの判定をより高精度に行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した、車線区分線検出装置の一例を示す概略構成図である。
【図２】本発明における車線区分線検出処理の処理手順の一例を示すフローチャートである。
【図３】探索領域の設定位置を説明するための説明図である。
【図４】Ｘ軸方向エッジ点を検出するための走査方向を説明するための説明図である。
【図５】Ｘ軸方向エッジ点の検出結果の一例である。
【図６】車線区分線候補点の一例である。
【図７】車線区分線候補の選定方法を説明するための図である。
【図８】実線の車線区分線候補の選定方法を説明するための図である。
【図９】図２のステップＳ７における、破線の車線区分線候補の選定の処理手順の一例を示すフローチャートである。
【図１０】Ｙ軸方向のエッジ点の検出方法を説明するための図である。
【図１１】Ｙ軸方向のエッジ点の分布状況の一例である。
【図１２】破線の車線区分線候補の選定方法を説明するための図である。
【図１３】車線区分線候補点を再計測する場合の一例を示した説明図である。
【図１４】撮像画像の一例である。
【図１５】正及び負のエッジ対の一例である。
【図１６】車線区分線候補点群の一例である。
【図１７】車線区分線候補の一例である。
【図１８】真の車線区分線候補の一例である。
【図１９】破線からなる車線区分線の一例である。
【図２０】破線からなる車線区分線の車線区分線候補点の一例である。
【符号の説明】
１撮像装置
２処理装置

Claims

車両前方の道路を撮像する撮像手段と、
当該撮像手段で撮像した撮像画像において、車線区分線に相当すると予測される車線区分線候補を含む領域に探索領域を設定する探索領域設定手段と、
当該探索領域設定手段で設定された探索領域において、前記撮像画像を垂直方向に走査し、輝度変化がしきい値を超える点をエッジ点として検出するエッジ点検出手段と、
当該エッジ点検出手段で検出されたエッジ点の前記撮像画像における垂直方向の分布状況が、実空間において等間隔性を有するかどうかを判定する等間隔性判定手段と、を備え、
当該等間隔性判定手段で等間隔性を有すると判定されるとき、前記探索領域の前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するようになっていることを特徴とする車線区分線検出装置。
前記等間隔性判定手段は、前記エッジ点検出手段で検出され且つ輝度変化が同一方向であるエッジ点群のうち、実空間において車両前方に位置する破線からなる車線区分線の前記撮像画像における座標位置を表す関数式を満足するエッジ点の総数がしきい値を超えるとき、等間隔性を有すると判定するようになっていることを特徴とする請求項１記載の車線区分線検出装置。
前記等間隔性判定手段は、輝度が高くなる方向に変化する前記エッジ点群と輝度が低くなる方向に変化する前記エッジ点群のそれぞれについて、前記等間隔性の判定を行い、
前記輝度が高くなる方向に変化するエッジ点群及び輝度が低くなる方向に変化するエッジ点群それぞれが等間隔性を有するとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するようになっていることを特徴とする請求項２記載の車線区分線検出装置。
前記等間隔性判定手段は、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標の実空間における間隔が、破線からなる車線区分線の破線間隔と同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定する破線間隔評価手段を備えることを特徴とする請求項２又は３記載の車線区分線検出装置。
前記輝度の変化方向が同一であるエッジ点群それぞれについて特定される、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標のうち、
輝度が大きくなる方向に変化するときの垂直方向エッジ点座標と、当該垂直方向エッジ点座標の次に位置し且つ輝度が小さくなる方向に変化するときの垂直方向エッジ点座標との間の実空間における間隔が、予め設定した間隔規定値と同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するエッジ点座標間隔評価手段を備えることを特徴とする請求項２乃至４の何れかに記載の車線区分線検出装置。
前記関数式は、次式で表されることを特徴とする請求項２乃至５の何れかに記載の車線区分線検出装置。
ｙ＝ｙ０＋（ｆ×Ｈ）／（ｚ１＋ｚ２・ｋ）
ただし、ｙは撮像画像における垂直方向下方を正とする前記エッジ点の垂直方向位置座標、ｙ０は撮像画像における水平線位置に相当する垂直方向の位置座標、ｆは前記撮像手段のレンズの焦点距離、Ｈは走行路面に対する前記撮像手段の高さ、ｚ１及びｚ２は最適化変数、ｋは零を含む正の整数である。
前記等間隔性判定手段は、前記関数式を満足するエッジ点の総数が最大となる最適化変数ｚ１及びｚ２を検索し、前記エッジ点の総数が最大となるときの当該エッジ点の総数が前記しきい値を超えるかどうかを判定するようになっていることを特徴とする請求項６記載の車線区分線検出装置。
前記等間隔性判定手段は、輝度が高くなる方向に変化する前記エッジ点群及び輝度が低くなる方向に変化する前記エッジ点群のそれぞれについて前記最適化変数ｚ１及びｚ２を検索し、前記輝度が高くなる方向に変化するエッジ点群及び輝度が低くなる方向に変化するエッジ点群それぞれが、前記エッジ点の総数の最大値が前記しきい値を超える最適化変数ｚ１及びｚ２を有するとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するようになっていることを特徴とする請求項７記載の車線区分線検出装置。
前記等間隔性判定手段は、前記輝度が高くなる方向に変化するエッジ点群における前記最適化変数ｚ１及びｚ２と、前記輝度が低くなる方向に変化するエッジ点群における前記最適化変数ｚ１及びｚ２とが同等であるとき、前記車線区分線候補を破線からなる車線区分線に相当する車線区分線候補であると判定するようになっていることを特徴とする請求項８記載の車線区分線検出装置。
前記探索領域設定手段は、前記撮像画像を水平方向に走査し、輝度変化がしきい値を超える点を水平方向エッジ点として検出する水平方向エッジ点検出手段と、当該水平方向エッジ点検出手段で検出された水平方向エッジ点を貫く線分を検出し、当該線分が貫く水平方向エッジ点数がしきい値を超えるとき当該線分を前記車線区分線候補として検出する車線区分線候補検出手段と、を備え、
前記等間隔性判定手段は、前記輝度の変化方向が同一であるエッジ点群のそれぞれについて特定される、前記関数式を満足するエッジ点の総数がしきい値を超えるときの前記関数式で特定される垂直方向エッジ点座標のうち、前記撮像画像を上から下方向に走査したときに輝度が大きくなる方向に変化するときの垂直方向エッジ点座標と、当該垂直方向エッジ点座標の次に位置し且つ自車両側に位置する輝度が小さくなる方向に変化する垂直方向エッジ点座標とからなるエッジ点座標対を生成し、
前記関数式に基づき等間隔性を有すると判定された車線区分線候補の、前記エッジ点座標対で特定される範囲内における前記水平方向エッジ点の総数が、しきい値を超えるとき、前記車線区分線候補を、破線からなる車線区分線に相当する車線区分線候補であると判定する、再探索手段を備えることを特徴とする請求項２乃至９の何れかに記載の車線区分線検出装置。