JP2005346197A - 車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置 - Google Patents

Abstract

【課題】車線境界線の種類に関わらず、車線境界線の検出精度を維持すること。
【解決手段】この車線境界線の検出方法は、車両に搭載される車線境界線検出手段によって、前記車両の前方に存在する、車線境界線を含む路面を撮像し（ステップＳ１０１）、撮像後した前記路面の画像から、明度の変化が所定の閾値以上のエッジ線を抽出する（ステップＳ１０６）。そして、抽出した前記エッジ線同士の関係を表す車線境界線特定パラメータの閾値を、前記車線境界線の線種に基づいて変更し（ステップＳ１０７〜Ｓ１０９）、変更した前記車線境界線特定パラメータの閾値に基づいて、前記エッジ線から特定のエッジ線を選択し（ステップＳ１１０）、組み合わせて前記路面上の車線境界線を特定する（ステップＳ１１１）。
【選択図】 図４

Description

本発明は、車線境界線を検出して一定の車線上の走行を維持する技術に関し、さらに詳しくは、車線境界線の検出にあたって、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置に関する。

近年においては、運転者の負担軽減や事故防止という観点から、乗用車やトラック等の車両が走行する際に自車両が走行している車線を認識して、当該車線の走行を保持するように車両の操舵輪を制御する、いわゆる車線保持制御が実用化されてきている。車線保持制御においては、自車両が走行している車線を検出するため、車線と車線、あるいは車線と路肩とを区分するための車線境界線を検出することが重要である。車線境界線を検出する技術としては、例えば、特許文献１には、撮像した路面の画像から、車線境界線の候補点を検出し、そこから車線境界線と認識されたもののみを選択する。そして、選択された候補点から車線境界線の候補点の検出率を算出して保存し、保存された検出率から車線候補線の種類を判別する技術が開示されている。また、特許文献２には、直線成分を表すエッジ成分のエッジ点計数最大値を計測し、その最大値が周期的に変化している場合には破線として認識し、定常的な一定値の場合には実線として認識する技術が開示されている。

特開２００１−１４５９５号公報 特開平８−３２０９９７号公報

ところで、特許文献１及び２に開示されている技術は、車線境界線の種類を判断することはできるが、実際に車線境界線として特定し検出する際には、車線境界線の線種によって、車線境界線とは関係のないノイズを誤検出することがあった。その結果、車線境界線の検出精度が低下し、車線保持制御等で車線境界線の位置を利用する際には、車線境界線の位置情報が不十分となる場合があった。そこで、この発明は、上記に鑑みてなされたものであって、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明者らは鋭意検討した結果、車線境界線の候補のエッジ線を検出する際に、情報量が少ない車線境界線の線種（例えば破線）に合わせてエッジ線の検出条件を緩和して設定していたため、車線境界線の種類によって検出精度が低下することを見出した。本発明は、かかる知見に基づいて完成されたものである。

本発明に係る車線境界線の検出方法は、車両に搭載される車線境界線検出手段によって、前記車両の前方に存在する、車線境界線を含む路面を撮像する手順と、撮像後における前記路面の画像から、明度の変化が所定の閾値以上であるエッジ線を抽出する手順と、抽出した前記エッジ線同士の関係を表す車線境界線特定パラメータの閾値を、前記車線境界線の線種に基づいて変更する手順と、変更した前記車線境界線特定パラメータの閾値に基づいて、前記エッジ線から特定のエッジ線を選択し、組み合わせることにより、前記路面上の車線境界線を特定して検出する手順と、を含むことを特徴とする。

この車線境界線の検出方法は、車線境界線の種類を判定し、判定した車線境界線の種類に基づいて、車線境界線を特定して検出するための車線境界線特定パラメータの閾値を変更する。これにより、ノイズを検出しにくい線種に対しては、車線境界線特定パラメータの閾値を厳しくして、車線境界線の誤検出を抑制できる。その結果、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。

次の本発明に係る車線境界線の検出方法は、前記車線境界線の検出方法において、前記車線境界線が実線以外の場合には、前記車線境界線が実線である場合よりも前記車線境界線特定パラメータの閾値を緩和することを特徴とする。

次の本発明に係る車線境界線の検出方法は、前記車線境界線の検出方法において、前記エッジ線同士の傾きを前記車線境界線特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出方法は、前記車線境界線の検出方法において、前記路面の画像を、前記車両の進行方向に対して分割するとともに、前記路面の画像の分割部分における前記エッジ線同士の距離を、前記車線境界線特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出方法は、前記車線境界線の検出方法において、前記路面の画像において、前記車両の進行方向に存在する、異なる２点での前記エッジ線同士の距離を、前記車線境界特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出方法は、前記車線境界線の検出方法において、前記エッジ線同士の傾きと、前記エッジ線同士の距離とを前記車線境界特定パラメータとすることを特徴とする。

次の本発明に係る車線保持制御方法は、前記車線境界線の検出方法によって検出した車線境界線の情報に基づいて、前記車両の走行車線を判定し、判定した前記走行車線のほぼ中央を前記車両が走行するように、前記車両の操舵輪を操舵することを特徴とする。

この車線保持制御方法は、前記車線境界線の検出方法を用いるので、車線境界線の検出においては、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。これにより、車線境界線の誤検出を抑制して自車両が走行する車線を判定できるので、車線境界線の誤検出に起因する車線保持制御の違和感を抑制することができるその結果、ドライバビリティの低下を抑制できるとともに、安全性も向上する。

次の本発明に係る車線境界線の検出装置は、車両に搭載される車線境界線検出手段によって撮像された路面の画像に含まれる車線境界線の線種を判定する線種判定部と、撮像後の前記路面の画像から抽出された、明度の変化が所定の閾値以上であるエッジ線同士の関係を表す車線境界線特定パラメータの閾値を、前記車線境界線の線種に基づいて変更する閾値変更部と、変更した前記車線境界線特定パラメータの閾値に基づいて、前記エッジ線から特定のエッジ線を選択し、組み合わせることによって、前記路面上の車線境界線を特定して検出する車線境界線特定部と、を含んで構成されることを特徴とする。

この車線境界線の検出装置は、車線境界線の種類を判定し、判定した車線境界線の種類に基づいて、車線境界線を特定して検出するための車線境界線特定パラメータの閾値を変更する。これにより、ノイズを検出しにくい線種に対しては、車線境界線特定パラメータの閾値を厳しくして、車線境界線の誤検出を抑制できる。その結果、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。

次の本発明に係る車線境界線の検出装置は、前記車線境界線の検出装置において、前記閾値変更部は、前記車線境界線が実線以外の場合には、前記車線境界線が実線である場合よりも前記車線境界線特定パラメータの閾値を緩和することを特徴とする。

次の本発明に係る車線境界線の検出装置は、前記車線境界線の検出装置において、前記閾値変更部は、前記エッジ線同士の傾きを前記車線境界線特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出装置は、前記車線境界線の検出装置において、前記路面の画像を、前記車両の進行方向に対して分割するとともに、前記閾値変更部は、前記路面の画像の分割部分における前記エッジ線同士の距離を前記車線境界線特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出装置は、前記車線境界線の検出装置において、前記閾値変更部は、前記路面の画像において、前記車両の進行方向に存在する、異なる２点での前記エッジ線同士の距離を、前記車線境界特定パラメータとすることを特徴とする。

次の本発明に係る車線境界線の検出装置は、前記車線境界線の検出装置において、前記閾値変更部は、前記エッジ線同士の傾きと、前記エッジ線同士の距離とを前記車線境界特定パラメータとすることを特徴とする。

次の本発明に係る車線保持制御装置は、前記車線境界線の検出装置が検出した車線境界線の情報に基づいて、前記車両の走行車線を判定し、判定した前記走行車線のほぼ中央を前記車両が走行するように、前記車両の操舵輪を操舵させることを特徴とする。

この車線保持制御装置は、前記車線境界線の検出装置により車線境界線を検出するので、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。これにより、車線境界線の誤検出を抑制して自車両が走行する車線を判定できるので、車線境界線の誤検出に起因する車線保持制御の違和感を抑制することができるその結果、ドライバビリティの低下を抑制できるとともに、車両層向上の安全性を向上させることできる。

以上説明したように、この発明に係る車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置では、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。

以下、この発明につき図面を参照しつつ詳細に説明する。なお、この発明を実施するための最良の形態によりこの発明が限定されるものではない。また、以下の実施例における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

この実施例に係る車線境界線の検出は、路面画像に含まれるエッジ線に基づいて、上がりエッジと下がりエッジとを組み合わせて車線境界線を特定する技術であって、車線境界線の種類を判定し、判定した車線境界線の種類に基づいて、車線境界線を特定して検出するための車線境界線特定パラメータの閾値を変更する点に特徴がある。

この実施例に係る車線境界線の検出について説明する前に、この実施例に係る車線境界線の検出に基づいて車線保持制御を実行する車線保持システムの概略について説明する。図１−１は、この実施例に係る車線境界線の検出装置を含む車両の一例を示す説明図である。図１−２は、図１−１に示す車両が車線上を走行する状態を示す平面図である。図２は、この実施例に係る車線境界線の検出装置を含む車線保持システムの一例を示すシステム構成図である。

車線保持制御は、車両１の前方における車線９の両側部に存在する車線境界線５０ｃ、５０ｓの情報により、車両１が車線９のほぼ中央を走行するための操舵力を演算し、その操舵力の一部又は全部をステアリングに付与する技術である（図１−２）。これによって、車両１は、車線９のほぼ中央での走行を維持できるとともに、運転者のステアリング操作負荷を軽減できる。なお、図１−２において、車線境界線５０ｃは実線であり、車線境界線５０ｓは破線である。

車両１は、車線境界線検出手段２を備える。車線境界線検出手段２は、路面８と平行な面に対して俯角αとなるように取り付けられており、車両１の進行方向（図１−１、図１−２中矢印Ｆ方向）前方の車線境界線を含む路面を撮像する。車線境界線検出手段２は、車線境界線とともに撮像した路面８の画像データを、車線保持制御装置である車線保持制御ＥＣＵ（Electronic Control Unit）３０へ与える。ここで、車線境界線検出手段２としては、例えばＣＣＤカメラを用いることができる。

車線保持制御ＥＣＵ３０は、この実施例に係る車線境界線の検出装置を含んでおり、この車線境界線の検出装置で決定された車線境界線の情報に基づいて計算された道路パラメータに基づいて、車線保持制御を実行する。ここで、道路パラメータには、ピッチ角や、車両１が走行する道路の曲率等が含まれる。

車線保持制御ＥＣＵ３０が車線保持制御を実行するにあたっては、取得した車線境界線の情報から、道路パラメータを算出する。そして、車線保持制御ＥＣＵ３０は、算出した道路パラメータに基づき、車両１が備えるステアリング３の操舵力を算出する。車線保持制御ＥＣＵ３０は、算出した前記操舵力をステアリングトルク制御ＥＣＵ３５に与える。ステアリングトルク制御ＥＣＵ３５は、ステアリングアシスト用アクチュエータ４により、ステアリングギアボックス５を介して前記操舵力をステアリング３に与える。そして、算出された操舵力で操舵輪である前輪６Ｒ、６Ｌを操舵することにより、車両１が車線のほぼ中央を走行するように制御する。

次に、この実施例に係る車線境界線の検出について説明する。まず、この実施例に係る車線境界線の検出装置について説明する。図３は、この実施例に係る車線境界線の検出装置の構成を示す装置構成図である。ここで、この実施例に係る車線境界線の検出方法は、この実施例に係る車線境界線の検出装置２０によって実現できる。この実施例に係る車線境界線の検出装置２０は、車線保持制御ＥＣＵ３０に組み込まれて構成されている。なお、車線保持制御ＥＣＵ３０とは別個に、この実施例に係る車線境界線の検出装置２０を用意し、これを車線保持制御ＥＣＵ３０に接続して、この実施例に係る車線境界線の検出方法を実行してもよい。

車線境界線の検出装置２０は、線種判定部２１と、閾値変更部２２と、車線境界線特定部２３とを含んで構成される。これらが、この実施例に係る車線境界線の検出方法を実行する部分となる。線種判定部２１と、閾値変更部２２と、車線境界線特定部２３とは、車線保持制御ＥＣＵ３０が備える入力ポート３８と、出力ポート３９とを介して接続される。これにより、線種判定部２１と、閾値変更部２２と、車線境界線特定部２３とは、それぞれ相互にデータをやり取りできるように構成される。

車線保持制御ＥＣＵ３０は、車線境界線の検出装置２０によって特定し、検出された車線境界線の情報を基に道路パラメータを算出し、車線保持制御を実行する。図３に示すように、車線保持制御ＥＣＵ３０が備える車線境界線の検出装置２０と、画像処理部３１と、記憶部３２と、処理部３３とは、車線保持制御ＥＣＵ３０に備えられる入力ポート３８及び出力ポート３９を介して接続されており、これらの間で相互にデータをやり取りすることができる。これにより、車線境界線の検出装置２０は車線保持制御ＥＣＵ３０が取得した車両１の走行速度等の走行情報を取得したり、車線境界線の検出装置２０の制御を、車線保持制御ＥＣＵ３０の制御ルーチンに割り込ませたりすることができる。また、記憶部３２に格納されている制御プログラムや制御マップを利用したり、この実施例に係る車線境界線の検出方法を実行中、一時的にデータを記憶部３２へ格納したりすることもできる。

入力ポート３８には、車線境界線検出手段２が接続されており、ここで撮像された路面の画像データに基づいて、この実施例に係る車線境界線の検出方法を実行する。また、出力ポート３９には、ステアリングトルク制御ＥＣＵ３５が接続されており、車線保持制御においては、車線保持制御ＥＣＵ３０が算出した前記操舵力が、ステアリングトルク制御ＥＣＵ３５に与える。

記憶部３２には、この実施例に係る車線境界線の検出方法の処理手順を含むコンピュータプログラムや、車線保持制御に用いるコンピュータプログラム等が格納されている。ここで、記憶部３２は、ＲＡＭ（Random Access Memory）のような揮発性のメモリ、フラッシュメモリ等の不揮発性のメモリ、あるいはこれらの組み合わせにより構成することができる。また、車線境界線の検出装置２０や車線保持制御ＥＣＵ３０の処理部３３、あるいは画像処理部３１は、メモリ及びＣＰＵにより構成することができる。

車線境界線の検出方法の処理手順を含むコンピュータプログラムは、車線境界線の検出装置２０へすでに記録されているコンピュータプログラムとの組み合わせによって、この実施例に係る車線境界線の検出方法の処理手順を実現できるものであってもよい。また、この車線境界線の検出装置２０は、前記コンピュータプログラムの代わりに専用のハードウェアを用いて、線種判定部２１や閾値変更部２２等の機能を実現するものであってもよい。次に、この車線境界線の検出装置２０を用いて、この実施例に係る車線境界線の検出方法を説明する。なお、次の説明にあたっては、適宜図１〜３を参照されたい。

図４は、この実施例に係る車線境界線の検出方法の処理手順を示すフローチャートである。図５−１は、車線境界線検出手段により撮像された路面画像を示す概念図である。図５−２は、撮像された路面の画像を鳥瞰画像に変換した鳥瞰路面画像を示す概念図である。この実施例に係る車線境界線の検出方法を実現するにあたって、まず、車線保持制御ＥＣＵ３０の処理部３３は、車両１に搭載される車線境界線検出手段２により路面を撮像し（ステップＳ１０１）、撮像した路面の画像は画像処理部３１が取り込む（ステップＳ１０２）。取り込んだ直後の路面画像４０は、図５−１に示すようになる。

画像処理部３１に取り込まれた路面画像４０は（図５−１）、処理の便宜上、図５−２に示すような鳥瞰路面画像４１に変換する。これは、車線境界線検出手段２の取り付け高さ、車両１の進行方向における撮像範囲等の撮像条件を考慮して、路面画像４０を幾何変換することにより実現できる。なお、この実施例では、鳥瞰路面画像４１を、画像分割部４１ｓで車両１の進行方向（図５−２中矢印Ｆ方向）に対して進行方向遠方と進行方向近傍とに分割して、この実施例に係る車線境界線の検出処理をする。これにより、車両１の進行方向遠方に存在する車線境界線を直線に近似できる。なお、車両１の進行方向に対する鳥瞰路面画像４１の分割は２分割に限られるものではなく、３分割以上であってもよい。また、鳥瞰路面画像４１は分割しなくともよい。ここで、進行方向遠方とは、前記画像分割部４１ｓよりも車両１の進行方向前方側をいい、進行方向近傍とは、前記画像分割部４１ｓよりも車両１側をいう。

図６−１〜図６−３は、路面画像のエッジ点の説明図である。図６−１、図６−２は、Ｘ方向、すなわち、車両１の進行方向に対して直交する方向における路面画像の明度情報を示している。画像処理部３１は、路面画像４０を取り込んだ後、前記路面画像４０中の上がりエッジ点と下がりエッジ点とを抽出する。図６−１に示すように、上がりエッジ点とは、路面画像４０中において明度が急激に立ち上がる点をいい、下がりエッジ点とは、明度が急激に立ち下がる点をいう。車線境界線は、周囲の路面に対して明度が急激に立ち上がり、また立ち下がる。このため、上がりエッジ点と下がりエッジ点とが車線境界線の端部であり、両者の間に車線境界線が存在すると判断できる。

上がりエッジ点及び下がりエッジ点を求めるにあたって、画像処理部３１は、路面画像４０のＸ方向における各位置で、路面画像４０の明度情報を微分する（ステップＳ１０３）。図６−２は、微分結果を示しており、上がりエッジ点は、明度の微分値が正の極値をとる点であり、下がりエッジ点は、明度の微分値、すなわち明度の変化が負の極値をとる点である。車線境界線のエッジ部分の候補となる上がりエッジ点と下がりエッジ点とを抽出する場合、明度の微分値が極値をとり、かつ所定の閾値を越えるか否かで判断する。なお、明度情報を微分せずそのまま用いて明度変化を求め、この明度変化と所定の閾値とを比較してもよい。

明度の微分値が正の極値をとり、かつ正の閾値ＢＢｃ＋以上である点は、上がりエッジ点であると判定する。一方、明度の微分値が負の極値をとり、かつ負の閾値ＢＢｃ−以下である点は、下がりエッジ点であると判定する。このようにして、路面画像４０から、上がりエッジ点と下がりエッジ点（便宜上エッジ点ともいう）を抽出すると（ステップＳ１０４）、図６−３に示すような、エッジ点４０ｐが抽出されたエッジ点抽出路面画像４０'となる。なお、エッジ点抽出路面画像４０'には、ノイズのエッジ点も含まれる。

路面画像４０からエッジ点を抽出したら、画像処理部３１がエッジ点抽出路面画像４０'を鳥瞰画像に変換し（ステップＳ１０５）、変換した鳥瞰路面画像を用いて車線境界線を特定するための候補となるエッジ線を抽出する。図７−１、図７−２は、鳥瞰路面画像からエッジ線を抽出する手順を示す説明図である。車線境界線を特定する際の候補となるエッジ線を抽出するにあたり、画像処理部３１は、変換後の鳥瞰路面画像に含まれる上がりエッジ点又は下がりエッジ点の座標を用いて、エッジ線４１ｌを抽出する（ステップＳ１０６、図７−１）。エッジ線４１ｌは、例えば、変換後における鳥瞰路面画像上のエッジ点をＨｏｕｇｈ変換することにより抽出することができる。

図７−１に示すように、Ｈｏｕｇｈ変換により得られたエッジ線は、車線境界線のエッジ線以外のノイズも混在している。したがって、ノイズを除去して、車線境界線のエッジ線として最も確からしいエッジ線を選択する必要がある。例えば、交差するエッジ線の集合Ａ、Ｂ等の中から、最も長いエッジ線のみを抽出する。これにより、図７−２に示すように、車線境界線のエッジ線の候補をある程度まで選定することができる。このようにして選択したエッジ線は、ステップＳ１０４で選択した上がりエッジ点及び下がりエッジ点の情報を備えている。したがって、選択したエッジ線は、上がりエッジ線又は下がりエッジ線として区別できる。

次に、この実施例に係る車線境界線の検出装置２０が備える線種判定部２１は、記憶部３２から破線モードフラグＦを取得し、破線モードフラグが１か０かを判定する（ステップＳ１０７）。破線モードフラグＦ＝１の場合は、前回の車線境界線の検出ルーチンで、破線が検出されていることを意味する。破線モードフラグＦ＝０の場合は、前回の車線境界線の検出ルーチンで、実線が検出されていることを意味する。破線モードフラグＦを調べることで、検出対象の車線境界線が破線か実線かを判断することができる。

破線モードフラグＦが０のとき（ステップＳ１０７；Ｎｏ）、検出対象の車線境界線は実線である。この場合、閾値変更部２２は、車線境界線を特定するために用いる車線境界線特定パラメータの閾値を、実線用閾値とする（ステップＳ１０８）。破線モードフラグＦが１のとき（ステップＳ１０７；Ｙｅｓ）、検出対象の車線境界線は破線である。この場合、閾値変更部２２は、車線境界線を特定するために用いる車線境界線特定パラメータの閾値を、破線用閾値とする（ステップＳ１０９）。変更された車線境界線特定パラメータの閾値は、記憶部３２に格納する。ここで、破線用閾値は、実線用閾値よりも緩和されている。ここで、車線境界線特定パラメータは、明度の変化が所定の閾値以上であるエッジ線同士の関係を表すパラメータである。すなわち、車線境界線の候補として抽出されたエッジ線同士の距離や傾きその他の関係を表すパラメータをいう。

このように、破線用閾値を実線用閾値よりも緩和することで、実線の車線境界線を検出する際には、車線境界線以外のノイズを誤検出するおそれを低減できるので、車線境界線の検出精度が向上する。また、一般に実線よりも破線の方が線の情報は少なくなるので、車線境界線の候補と考えられるエッジ線のばらつきが大きくなる。この場合に、車線境界線特定パラメータの閾値を厳しくすると、破線の車線境界線のエッジ線候補をほとんど検出できない場合もある。この実施例による車線境界線の検出では、破線用閾値を実線用閾値よりも緩和するので、前記エッジ線のばらつきを許容して確実に破線の車線境界線を検出できる。

このように、この実施例に係る車線境界線の検出方法においては、車線境界線を検出するための情報量が少なくなる線種ほど、車線境界線特定パラメータの閾値を緩和することが好ましい。この実施例では、上記例に限られず、車線境界線特定パラメータの閾値を変更してもよい。例えば、同じ実線同士でも、黄色線と白線とでは、前者の方が車線境界線を検出するための情報量が少なくなるので、黄色線を特定し、検出する場合には、実線を特定し、検出する場合よりも、車線境界線特定パラメータの閾値を緩和してもよい。さらに、例えば、昼間と夜との違いや、天候が晴れと雨あるいは雪との違い等によって、車線境界線を検出するための情報量に変化が生じる場合には、これに対応して車線境界線特定パラメータの閾値を変更してもよい。

図８−１〜図８−４は、車線境界線特定パラメータの種類を示す説明図である。図８−１に示す例は、車線境界線特定パラメータとして、エッジ線同士の傾きを用いるものである。エッジ線同士の傾きは、エッジ線間傾き角度θで表す。図８−２に示す例では、車線境界線特定パラメータとして、鳥瞰路面画像４１の画像分割部におけるエッジ線同士のエッジ線間距離ｌを用いるものである。図８−３に示す例では、車線境界線特定パラメータとして、エッジ線上の異なる２点でのエッジ線同士のエッジ線間距離ｈ、ｋを用いるものである。図８−２、図８−３に示す例は、エッジ線の空間的なずれに着目したものである。上述したように、破線用閾値は実線用閾値よりも緩和されるので、それぞれの場合における破線用閾値と実線用閾値との関係は表１に示すようになる。なお、破線の種類に応じても、破線用閾値の大きさを変更してもよい。例えば、通常の破線と登坂車線の破線との関係のように、車線境界線のアスペクト比（縦横比）の違いで、車線境界線特定パラメータの閾値を変更してもよい。

車線境界線特定パラメータとして、異なる２点でのエッジ線間距離ｈとｋとを採用すると、エッジ線同士の傾きも求めることができる。図８−４は、異なる２点でのエッジ線間距離からエッジ線同士の傾きを算出する方法を示す説明図である。図８−４に示すように、鳥瞰路面画像４１の進行方向（図８−４中矢印Ｆ方向）遠方の端部における上がりエッジ線４２の座標をＥ₁（Ｘ₁、Ｙ₁）とし、下がりエッジ線４３の座標をＥ₃（Ｘ₃、Ｙ₃）とする。また、画像分割部４１ｓとにおけるにおける上がりエッジ線４２の座標をＥ₂（Ｘ₂、Ｙ₂）とし、下がりエッジ線４３の座標をＥ₄（Ｘ₄、Ｙ₄）とする。

上がりエッジ線４２において、Ｘ方向におけるＥ₁とＥ₂との距離Ｌ_X1は、｜Ｘ₁−Ｘ₂｜で、Ｙ方向におけるＥ₁とＥ₂との距離Ｌ_Y1は、｜Ｙ₁−Ｙ₂｜で求めることができる。同様に、下がりエッジ線４３において、Ｘ方向におけるＥ₃とＥ₄との距離Ｌ_X2は、｜Ｘ₃−Ｘ₄｜で、Ｙ方向におけるＥ₃とＥ₄との距離Ｌ_Y2は、｜Ｙ₃−Ｙ₄｜で求めることができる。このとき、上がりエッジ線４２と画像分割部４１ｓとのなす角度β₁は、ｔａｎ^-1（Ｌ_X1／Ｌ_Y1）で、下がりエッジ線４３と画像分割部４１ｓとのなす角度β₂は、ｔａｎ^-1（Ｌ_X2／Ｌ_Y2）で求めることができる。そして、両者の角度差Δβは、｜β₁−β₂｜で求めることができる。

この角度差Δβにより、上がりエッジ線と下りエッジ線とのの傾きを求めることができるので、この角度差Δβを車線境界線特定パラメータとして用いることもできる。また、車線境界線特定パラメータとして、異なる２点でのエッジ線間距離ｈとｋとを採用する場合、実線決定用閾値等の設定により、エッジ線同士の傾きも考慮することができる。

車線境界線特定パラメータの閾値を変更したら（ステップＳ１０８又はＳ１０９）、車線境界線特定部２３は、前記閾値を用いて鳥瞰路面画像４１から車線境界線のエッジ線として最も確からしいエッジ線を選択し（ステップＳ１１０）、このエッジ線によって車線境界線を特定する（ステップＳ１１１）。これによって、車線境界線を検出できる。図９、図１０−１〜図１０−３は、車線境界線のエッジ線を選択する方法を示す説明図である。

鳥瞰路面画像４１から車線境界線のエッジ線を選択する際には、車線境界線として確からしい上がりエッジ線４２と下がりエッジ線４３とを組み合わせて、両者で囲まれる領域を車線境界線５０として特定する。なお、下がりエッジ線４３'、４３''はノイズである。ここで、上がりエッジ線４２とは、鳥瞰路面画像の明度が急激に立ち上がるエッジ線をいい、下がりエッジ線４３とは、鳥瞰路面画像の明度が急激に立ち下がるエッジ線をいう。図９に示すように、上がりエッジ線４２と下がりエッジ線４３とが、車線境界線５０の端部５１、５２に相当する。

図１０−１は、エッジ線同士の傾きにより、上がりエッジ線と、これと対になる下がりエッジ線とを選択する方法を示している。図１０−１に示す例において、上がりエッジ線４２と対になる下がりエッジ線の候補は、第１及び第２下がりエッジ線４３₁、４３₂である。車線境界線のエッジ線を選択するにあたり、車線境界線特定部２３は、上がりエッジ線４２と第１下がりエッジ線４３₁とのなすエッジ線間傾き角度θ１と、上がりエッジ線４２と第２下がりエッジ線４３₂とのなすエッジ線間傾き角度θ２とを計算する。そして、車線境界線特定部２３は、θ１、θ２を、記憶部３２から取得した車線境界線特定パラメータの閾値（実線用閾値θｃ１又は破線用閾値θｃ２）と比較する。

検出対象の車線境界線が実線である場合、実線用閾値θｃ１と、エッジ線間傾き角度θ１又はθ２とを比較する。比較の結果、例えば、θ１≦θｃ１である場合には、第１下がりエッジ線４３₁を上がりエッジ線４２と対になる下がりエッジ線として選択する。そして、θ２＞θｃ１である場合には、第２下がりエッジ線４３₂はノイズと判断して、上がりエッジ線４２と対になる下がりエッジ線の候補から排除する。なお、検出対象の車線境界線が破線である場合には、車線境界線特定パラメータの閾値が、破線用閾値θｃ２に変更される。このようにして、車線境界線特定部２３は、車線境界線のエッジ線として最も確からしいエッジ線を選択し（ステップＳ１１０）、このエッジ線によって車線境界線を特定する（ステップＳ１１１）。なお、エッジ線同士の傾きを車線境界線特定パラメータとして用いる場合には、鳥瞰路面画像４１の分割、非分割に関わらず、エッジ線間の傾きを車線境界線特定パラメータとして用いることができる。

図１０−２は、鳥瞰路面画像４１の画像分割部４１ｓにおけるエッジ線同士のエッジ線間距離ｌにより、進行方向遠方と近傍とにおける同一の上がりエッジ線同士又は同一の下がりエッジ線同士を選択する方法を示している。図９−２に示す例においては、進行方向近傍における第１上がりエッジ線４２₁と同一の上がりエッジ線を、進行方向遠方で選択する。なお、進行方向遠方に存在する上がりエッジ線と同一の上がりエッジ線を、進行方向近傍で選択してもよい。

進行方向遠方において、第１上がりエッジ線４２₁と同一の上がりエッジ線の候補は、第２及び第３上がりエッジ線４２₂、４２₃である。車線境界線のエッジ線を選択するにあたり、車線境界線特定部２３は、画像分割部４１ｓにおける第１上がりエッジ線４２₁と第２上がりエッジ線４２₂とのエッジ線間距離ｌ１、及び第１上がりエッジ線４２₁と第３上がりエッジ線４２₃とのエッジ線間距離ｌ２を計算する。そして、車線境界線特定部２３は、ｌ１、ｌ２を、記憶部３２から取得した車線境界線特定パラメータの閾値（実線用閾値ｌｃ１又は破線用閾値ｌｃ２）と比較する。

検出対象の車線境界線が実線である場合、実線用閾値ｌｃ１と、エッジ線間距離ｌ１又はｌ２とを比較する。比較の結果、例えば、ｌ１≦ｌｃ１である場合には、第２上がりエッジ線４２₂を、第１上がりエッジ線４２₁と同一の上がりエッジ線として選択し、一本の上がりエッジ線として取り扱う。そして、ｌ２＞ｌｃ１である場合には、第３上がりエッジ線４２₃をノイズと判断して、第１上がりエッジ線４２₁と同一の候補から排除する。なお、検出対象の車線境界線が破線である場合には、車線境界線特定パラメータの閾値が、破線用閾値ｌｃ２に変更される。このようにして、車線境界線特定部２３は、車線境界線のエッジ線として最も確からしいエッジ線を選択し（ステップＳ１１０）、このエッジ線によって車線境界線を特定する（ステップＳ１１１）。これによって、車線境界線を検出する。この説明では上がりエッジ線を対象としたが、これと対になる下がりエッジ線に対しても同様に選択する。

ここで、車線境界線特定パラメータとして、エッジ線間の傾き（エッジ線間傾き角度θ）と、画像分割部におけるエッジ線同士のエッジ線間距離ｌとを用いてもよい。この場合、進行方向近傍又は遠方に存在するある上がりエッジ線及びある下がりエッジ線に対して、画像分割部４１ｓにおけるエッジ間距離を判定することにより、同一の上がりエッジ線又は下がりエッジ線をそれぞれ選択する。次に、上がりエッジ線と下がりエッジ線とのエッジ線間傾き角度θが、実線用閾値θｃ１（又は破線用閾値θｃ２）よりも小さい場合に、その下がりエッジ線を、前記上がりエッジ線と対になるエッジ線として選択する。このように、車線境界線特定パラメータとして、エッジ線間の傾きと、画像分割部におけるエッジ線同士のエッジ線間距離とを用いれば、車線境界線を特定するために用いるエッジ線の選択精度が向上する。その結果、より確実に車線境界線を特定し、検出できる。

図１０−３は、エッジ線上の異なる２点でのエッジ線同士の距離（エッジ線間距離）ｈ、ｋにより、上がりエッジ線と、これと対になる下がりエッジ線とを選択する方法を示している。図１０−３に示す例において、上がりエッジ線４２と対になる下がりエッジ線の候補は、第１及び第２下がりエッジ線４３₁、４３₂である。車線境界線のエッジ線を選択するにあたり、車線境界線特定部２３は、エッジ線上の異なる２点間において、上がりエッジ線４２と第１下がりエッジ線４３₁とのエッジ線間距離ｈ１、ｋ１、及び、上がりエッジ線４２と第２下がりエッジ線４３₂とのエッジ線間距離ｈ２、ｋ２を計算する。ここで、エッジ線上の異なる２点とは、鳥瞰路面画像４１の車両進行方向Ｆにおける異なる位置Ｙ₁、Ｙ₂での、上がりエッジ線と下がりエッジ線との距離をいう。エッジ線間距離を計算したら、車線境界線特定部２３は、ｈ１、ｋ１、及び、ｈ２、ｋ２を、記憶部３２から取得した車線境界線特定パラメータの閾値（実線用閾値ｈｃ１１、ｈｃ１２、ｋｃ１１、ｋｃ１２又は破線用閾値ｈｃ２１、ｈｃ２２、ｋｃ２１、ｋｃ２２）と比較する。

検出対象の車線境界線が実線である場合、実線用閾値（ｈｃ１１、ｈｃ１２、ｋｃ１１、ｋｃ１２）と、エッジ線間距離ｈ１、ｋ１、及びｈ２、ｋ２とを比較する。比較の結果、例えば、ｈｃ１１≦ｈ１≦ｈｃ１２、かつｋｃ１１＜ｋ１＜ｋｃ１２である場合には、第１下がりエッジ線４３₁を上がりエッジ線４２と対になる下がりエッジ線として選択する。そして、ｈ２＜ｈｃ１１かつｋ２＜ｋｃ１１、又はｈ２＞ｈｃ１２かつｋ２＞ｋｃ１２である場合には、第２下がりエッジ線４３₂をノイズと判断して、上がりエッジ線４２と対になる下がりエッジ線の候補から排除する。なお、検出対象の車線境界線が破線である場合には、車線境界線特定パラメータの閾値が、破線用閾値（ｈｃ２１、ｈｃ２２、ｋｃ２１、ｋｃ２２）に変更される。このようにして、車線境界線特定部２３は、車線境界線のエッジ線として最も確からしいエッジ線を選択し（ステップＳ１１０）、このエッジ線によって車線境界線を特定する（ステップＳ１１１）。これによって、車線境界線を検出する。なお、エッジ線上の異なる２点でのエッジ線間距離を車線境界線特定パラメータとして用いる場合には、鳥瞰路面画像４１の分割、非分割に関わらず、エッジ線間の傾きを車線境界線特定パラメータとして用いることができる。

ここで、図１０−１で説明した、エッジ線同士の傾きを車線境界線決定パラメータとする場合、さらに、エッジ線上の異なる２点でのエッジ線同士のエッジ線間距離ｈ、ｋを車線境界線決定パラメータとしてもよい。例えば、図１０−１に示す例では、上がりエッジ線４２と第１下がりエッジ線４３₁とのエッジ線間傾き角度がθ１であり、上がりエッジ線４２と第２下がりエッジ線４３₂とのエッジ線間傾き角度はθ２である。そして、θ１、θ２ともに、実線用閾値θｃ１（又は破線用閾値θｃ２）内であったとする。この場合、第１下がりエッジ線４３₁又は第２下がりエッジ線４３₂のうちどちらの下がりエッジ線を、上がりエッジ線４２と対とすべきか不明である。

かかる場合、図１０−３を用いて説明したように、エッジ線上の異なる２点でのエッジ線同士のエッジ線間距離ｈ、ｋを用いることにより、車線境界線のエッジとして最も確からしい下がりエッジ線を選択することができる。例えば、第２下がりエッジ線４３₂は、上がりエッジ線４２に近すぎる位置に存在するので、第２下がりエッジ線４３₂はノイズであるとして上がりエッジ線４２と対になる下がりエッジ線の候補から排除することができる。これにより、下がりエッジ線の選択精度が向上し、その結果、より確実に車線境界線を特定して検出できる。

車線境界線を特定し（ステップＳ１１１）、これを検出したら、線種判定部２１は、検出対象の車線境界線の線種を判定する（ステップＳ１１２）。鳥瞰路面画像４１内に破線は周期的に現れ、実線は連続して現れる。したがって、車線境界線が一定の周期で検出されれば、その車線境界線は破線であると判断できる。また、破線は鳥瞰路面画像４１内に周期的に現れるため、実線と比較して鳥瞰路面画像４１内の占有率は低くなる。したがって、鳥瞰路面画像４１内における、検出した車線境界線の占有率によって、検出した車線境界線が破線であるか実線であるかを判断してもよい。さらに、検出した車線境界線の長さを計算し、これによって検出した車線境界線が破線であるか実線であるかを判断してもよい。

線種判定部２１が検出対象の車線境界線の線種を判定したら（ステップＳ１１２）、線種判定部２１は、判定した線種に応じて、破線モードフラグＦを１又は０に設定する（ステップＳ１１３）。そして、次回における車線境界線の検出方法の処理ルーチンで、前記ステップＳ１１３で設定した破線モードフラグＦの値に基づき、車線境界線特定パラメータの閾値を決定する。破線モードフラグＦを設定したら（ステップＳ１１３）、処理部３３は、決定した車線境界線のエッジを構成するエッジ点の座標を用いて、道路パラメータを計算する（ステップＳ１１４）。道路パラメータを計算したら（ステップＳ１１４）、処理部３３はこの道路パラメータを出力して（ステップＳ１１５）、一連の処理ルーチンが終了する。その後、ＳＴＡＲＴに戻って、上述した車線境界線の検出方法の処理ルーチンを繰り返す。なお、車線保持制御ＥＣＵ３０は、計算された道路パラメータに基づいて、車線保持制御を実行する。

以上、この実施例では、車線境界線の線種に応じて車線境界線決定パラメータの閾値を変更する。より具体的には、車線境界線決定パラメータの閾値を、実線用閾値よりも破線用閾値を緩和する。これにより、破線の車線境界線を検出する場合には、車線境界線の候補となるエッジ線のばらつきを許容して、車線境界線の未検出を抑制できる。その結果、確実に破線の車線境界線を検出できるので、車線境界線の検出精度を向上させることができる。また、実線の車線境界線を検出する場合には、破線の車線境界線を検出する場合よりも車線境界線決定パラメータの閾値を厳しく設定するので、ノイズの誤検出を抑制して、実線の車線境界線の検出精度を向上させることができる。これらの結果、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できる。また、車線境界線の種類に関わらず、一定の車線境界線の検出精度を維持できるので、車線境界線の誤検出に起因する車線保持制御の違和感を抑制することができる。その結果、ドライバビリティの低下を抑制できるとともに、安全性も向上する。

以上のように、本発明に係る車線境界線の検出方法及び装置、並びに車線保持制御方法及び装置は、車両の車線保持制御に有用であり、特に、車線境界線の種類に関わらず、車線境界線の検出精度を維持することに適している。

この実施例に係る車線境界線の検出装置を含む車両の一例を示す説明図である。 図１−１に示す車両が車線上を走行する状態を示す平面図である。 この実施例に係る車線境界線の検出装置を含む車線保持システムの一例を示すシステム構成図である。 この実施例に係る車線境界線の検出装置の構成を示す装置構成図である。 この実施例に係る車線境界線の検出方法の処理手順を示すフローチャートである。 車線境界線検出手段により撮像された路面画像を示す概念図である。 撮像された路面の画像を鳥瞰画像に変換した鳥瞰路面画像を示す概念図である。 路面画像のエッジ点の説明図である。 路面画像のエッジ点の説明図である。 路面画像のエッジ点の説明図である。 鳥瞰路面画像からエッジ線を抽出する手順を示す説明図である。 鳥瞰路面画像からエッジ線を抽出する手順を示す説明図である。 車線境界線特定パラメータの種類を示す説明図である。 車線境界線特定パラメータの種類を示す説明図である。 車線境界線特定パラメータの種類を示す説明図である。 車線境界線特定パラメータの種類を示す説明図である。 車線境界線のエッジ線を選択する方法を示す説明図である。 車線境界線のエッジ線を選択する方法を示す説明図である。 車線境界線のエッジ線を選択する方法を示す説明図である。 車線境界線のエッジ線を選択する方法を示す説明図である。

符号の説明

１ 車両
２ 車線境界線検出手段
９ 車線
２０ 車線境界線の検出装置
２１ 線種判定部
２２ 閾値変更部
２３ 車線境界線特定部
３０ 車線保持制御ＥＣＵ
３１ 画像処理部
３２ 記憶部
３３ 処理部
３５ ステアリングトルク制御ＥＣＵ
４０ 路面画像
４１ 鳥瞰路面画像

Claims (14)

1. 車両に搭載される車線境界線検出手段によって、前記車両の前方に存在する、車線境界線を含む路面を撮像する手順と、
   撮像後における前記路面の画像から、明度の変化が所定の閾値以上であるエッジ線を抽出する手順と、
   抽出した前記エッジ線同士の関係を表す車線境界線特定パラメータの閾値を、前記車線境界線の線種に基づいて変更する手順と、
   変更した前記車線境界線特定パラメータの閾値に基づいて、前記エッジ線から特定のエッジ線を選択し、組み合わせることにより、前記路面上の車線境界線を特定して検出する手順と、
   を含むことを特徴とする車線境界線の検出方法。
2. 前記車線境界線が実線以外の場合には、前記車線境界線が実線である場合よりも前記車線境界線特定パラメータの閾値を緩和することを特徴とする請求項１に記載の車線境界線の検出方法。
3. 前記エッジ線同士の傾きを前記車線境界線特定パラメータとすることを特徴とする請求項１又は２に記載の車線境界線の検出方法。
4. 前記路面の画像を、前記車両の進行方向に対して分割するとともに、前記路面の画像の分割部分における前記エッジ線同士の距離を、前記車線境界線特定パラメータとすることを特徴とする請求項１又は２に記載の車線境界線の検出方法。
5. 前記路面の画像において、前記車両の進行方向に存在する、異なる２点での前記エッジ線同士の距離を、前記車線境界特定パラメータとすることを特徴とする請求項１又は２に記載の車線境界線の検出方法。
6. 前記エッジ線同士の傾きと、前記エッジ線同士の距離とを前記車線境界特定パラメータとすることを特徴とする請求項１又は２に記載の車線境界線の検出方法。
7. 請求項１〜６のいずれか１項に記載の車線境界線の検出方法によって検出した車線境界線の情報に基づいて、前記車両の走行車線を判定し、判定した前記走行車線のほぼ中央を前記車両が走行するように、前記車両の操舵輪を操舵することを特徴とする車線保持制御方法。
8. 車両に搭載される車線境界線検出手段によって撮像された路面の画像に含まれる車線境界線の線種を判定する線種判定部と、
   撮像後の前記路面の画像から抽出された、明度の変化が所定の閾値以上であるエッジ線同士の関係を表す車線境界線特定パラメータの閾値を、前記車線境界線の線種に基づいて変更する閾値変更部と、
   変更した前記車線境界線特定パラメータの閾値に基づいて、前記エッジ線から特定のエッジ線を選択し、組み合わせることによって、前記路面上の車線境界線を特定して検出する車線境界線特定部と、
   を含んで構成されることを特徴とする車線境界線の検出装置。
9. 前記閾値変更部は、前記車線境界線が実線以外の場合には、前記車線境界線が実線である場合よりも前記車線境界線特定パラメータの閾値を緩和することを特徴とする請求項８に記載の車線境界線の検出装置。
10. 前記閾値変更部は、前記エッジ線同士の傾きを前記車線境界線特定パラメータとすることを特徴とする請求項８又は９に記載の車線境界線の検出装置。
11. 前記路面の画像を、前記車両の進行方向に対して分割するとともに、前記閾値変更部は、前記路面の画像の分割部分における前記エッジ線同士の距離を前記車線境界線特定パラメータとすることを特徴とする請求項８又は９に記載の車線境界線の検出装置。
12. 前記閾値変更部は、前記路面の画像において、前記車両の進行方向に存在する、異なる２点での前記エッジ線同士の距離を、前記車線境界特定パラメータとすることを特徴とする請求項８又は９に記載の車線境界線の検出装置。
13. 前記閾値変更部は、前記エッジ線同士の傾きと、前記エッジ線同士の距離とを前記車線境界特定パラメータとすることを特徴とする請求項８又は９に記載の車線境界線の検出装置。
14. 請求項８〜１３のいずれか１項に記載の車線境界線の検出装置が検出した車線境界線の情報に基づいて、前記車両の走行車線を判定し、判定した前記走行車線のほぼ中央を前記車両が走行するように、前記車両の操舵輪を操舵させることを特徴とする車線保持制御装置。
    

Images