JP2003331295A - 道路白線認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 道路白線の白線候補点の検出に要する処理時
間を短縮する。 【解決手段】 ウィンドウ内の各画素に対し、ｘ軸及び
ｙ軸方向の輝度変化率を算出して（ステップＳ２２）こ
れに基づき道路白線に相当する直線の傾きを算出し（ス
テップＳ２３）、前記輝度変化率に基づくトータル輝度
変化率が閾値以上であり且つ、輝度変化率に基づく直線
の傾きと、前回推定時の道路モデルから推定した道路白
線に相当する直線の傾きとの差が閾値以下のとき、この
画素を白線候補と判断する（ステップＳ２５）。白線候
補点の画素を通り且つ算出した傾きを有する直線と、ウ
ィンドウのｙ軸方向中心に位置する直線との交点のｘ座
標を算出し、該当するｘ座標に対応するハフ空間への投
票を行い、投票数の多いｘ座標に該当する画素を、最終
的に、このウィンドウの白線候補点とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道路上の通行区
分帯表示用の道路白線を認識するための道路白線認識装
置に関する。

【０００２】

【従来の技術】従来より、自車両前方の道路を撮像手段
によって撮像し、この撮像画像によって道路白線を認識
し、自車両と白線との関係を、車両の自動制御又は一部
自動制御に用いる技術が提案されている。例えば、特開
２００１−３４７７０号公報等においては、撮像画像か
ら道路白線を構成する白線候補点を検出し、撮像画像に
おける白線候補点の位置座標に基づき道路白線の形状や
道路白線に対する車両姿勢を推定するようにしている。

【０００３】前記道路白線の検出には、前記特開２００
１−３４７７０号公報に示すように、道路白線と路面と
の輝度の違いを利用して検出する方法が用いられてい
る。この方法では、道路白線と路面との境界の輝度の差
は大きく、この輝度差が道路白線に沿って現れるため、
撮像画像において輝度変化の大きい点列を、道路白線と
路面との境界線と仮定するようにしている。

【０００４】図１０は、その一例を示したものである。
図１０において、点列の位置を表す座標系は、撮像画像
左上を基準とし、水平右方向をｘ軸の正、垂直下方向を
ｙ軸の負としている。そして、図１０においては、道路
白線と路面との境界で、且つ、車線内側を白線候補点と
している。図１０に示すように、撮像画像には、真の白
線候補点以外に、偽の白線候補点すなわちノイズが存在
する。このノイズを除去するために、画像処理の代表的
手法であるハフ変換が適用されている。

【０００５】このハフ変換は、座標空間からパラメータ
空間へ変換するようにしたものである。例えば、座標
｛ｘ，ｙ｝を通過する直線は、パラメータａ及びｂを用
いて、次式（１）と表すことができる。 ｘ＝ａ・ｙ＋ｂ ……（１） したがって、白線候補点の座標を｛ｘ，ｙ｝と仮定した
場合、前記パラメータａを定めると、前記（１）式か
ら、パラメータｂを特定することができる。このパラメ
ータ｛ａ，ｂ｝を量子化し、図１１に示すように、横軸
をａ、縦軸をｂとする配列においてパラメータ｛ａ，
ｂ｝に対応するマスを“１”だけ増加させる。なお、図
１１において、配列の空欄は、“０”を意味している。

【０００６】この作業を、白線候補点全てに対して行う
と、その結果、図１２に示す配列を得ることができる。
なお、図１２においては、簡略のため空欄としている
が、実際には、前記白線候補点に基づいて前記（１）式
を満足するパラメータ｛ａ，ｂ｝に応じた値がそれぞれ
設定されることになる。前記図１２に示す配列におい
て、ある要素｛ａ_r ，ｂ_r ｝の数Ｚ_r は、次式（２）を
満足する｛ｘ，ｙ｝が貫く直線に属する白線候補点数を
表している。

【０００７】 ｘ＝ａ_r ・ｙ＋ｂ_r ……（２） そして、前記配列の要素つまり白線候補点数が、所定値
以上のものを、白線候補線とする。これにより、撮像画
像上に、複数の直線が現れた場合でも全て検出できるこ
とがわかる。また、ノイズがのった白線候補点を貫く候
補線は、白線候補点数が少ないため、白線候補線とは判
断されない。したがって、ノイズがのった白線候補点
は、白線候補線の推定に影響を与えることはない。

【０００８】このようにして設定される、前記図１２に
示す配列を、ここでは、ハフ空間と呼ぶ。そして、白線
候補点｛ｘ，ｙ｝からハフ空間へ変換するという意味
で、前記ハフ空間を求めることを、ハフ変換と呼んでい
る。このように、ハフ変換では、データの中にノイズが
含まれるものが存在しても、真のデータの候補点数が最
大となれば、推定結果に与えないという長所があり、こ
れはすなわち、推定がロバストであるということができ
る。

【０００９】

【発明が解決しようとする課題】しかしながら、上記従
来の白線検出方法においては、演算量が膨大であるとい
う問題がある。つまり、例えば、ハフ変換を直線検出に
適用した場合、図１２から直線を選択するためには、ハ
フ空間で極大値を与えるマスを選択する必要がある。こ
の極大値の探索は、一般に、図１３に示すフローチャー
トにしたがって行われる。

【００１０】すなわち、まず、ステップＳ１０１で、次
式（３）に示すように、ハフ空間で、極大値を与えるマ
スの行及び列番号（ｘ，ｙ）を格納するための領域を初
期化する。 candidate[i][j] ＝0; ……（３） i ＝1,2,……h (h: 極大候補を格納する数) j ＝0,1 なお、式中のｉは候補番号を表す。また、ｊ＝０に対応
する領域には、極大候補点のｘ座標、ｊ＝１に対応する
領域には極大候補点のｙ座標が代入される。

【００１１】次いで、ステップＳ１０２で、図１４に示
すように、ハフ空間の３×３のマスをひとまとまりとし
て選択する。そして、選択した３×３のマスについて、
その中央に位置するマスに設定されている値が、その周
囲のマスに設定されている値よりも大きいとき、この中
央に位置するマスは極大候補であると判断する（ステッ
プＳ１０３）。

【００１２】そして、極大候補であると判断されないと
きには、ステップＳ１０４からそのまま後述のステップ
Ｓ１０６に移行し、極大候補であると判断されたときに
は、ステップＳ１０４からステップＳ１０５に移行し、
極大候補集合の並び替えを行う。つまり、極大候補とし
て先に検出されているマスの集合である極大候補集合
と、ステップＳ１０３で新たに極大候補として検出され
たマスとについて、極大候補値が大きい順に並ぶよう
に、極大候補集合を並び替える。

【００１３】例えば、極大候補集合として３つの極大候
補を格納するものとし、３つの極大候補値を次式（４）
に示すように表す。なお、ハフ空間をhspace[x][y]で表
し、ｘ，ｙは、図１１或いは図１２の行及び列を表す。
また、ｘｉ＝candidate[i][0] 、ｙｉ＝candidate[i]
[1] （ｉ＝１〜３）である。

【００１４】

【数１】

【００１５】ここで、ステップＳ１０３で新たに極大候
補として検出されたマスの極大候補値をｖと表すものと
する。例えば、この極大候補値ｖが、第１極大候補値
と、第２極大候補値との間の値であるとすると、ｖが新
たな第２極大候補値、もとの第２極大候補値が第３極大
候補値となる。したがって、第２及び第３の極大候補値
に対応するマスを修正するための、次式（５）で表され
る一連の操作が行われる。なお、（５）式中のｘ，ｙ
は、極大候補のマスの行及び列番号である。

【００１６】

【数２】

【００１７】そして、ステップＳ１０６の処理で、３×
３のマスのまとまりを全て選択し、これらについて上述
の処理を行ったかどうかを判定し、全てを選択していな
いときには、ステップＳ１０２に戻って上記と同様に、
極大候補値かどうかの判定を行って極大候補集合の並び
替えを行い、３×３のマスのまとまりを全て選択したと
き、処理を終了する。

【００１８】以上の処理を行うことによって、極大候補
値のうちの、上位３つを、第１から第３の極大候補とし
て記憶することができる。ここで、ハフ空間の行数を
“ｎ”、列数を“ｍ”とすると、ステップＳ１０２から
ステップＳ１０６の処理の繰り返し回数は、（ｎ−２）
×（ｍ−２）回であり、また、その繰り返しの中に現れ
る、ステップＳ１０３では８回の比較処理を行うため、
全体の比較演算は、（ｎ−２）×（ｍ−２）×８回とな
る。この演算は、リアルタイムでの画像処理を必要とす
るプロセッサにおいては、非常に負荷となっている。

【００１９】この演算量を減らすために、単に、設定さ
れている値が最大であるマスを選択することも考えられ
るが、一般に、貫く画素数が最大を与える白線候補線
が、真の道路境界線を示しているとはいえない場合が多
い。その結果、道路形状の誤推定や、道路に対する自車
両の姿勢の誤推定が発生することになる。このため、ハ
フ変換に代表される白線候補点の検出処理以降の処理が
いかなるものであれ、白線候補点を選択する段階では、
その候補を複数挙げておくことが望ましい。しかしなが
ら、上述のように演算量の多い処理方式を用いて実時間
で実行した場合、その処理時間が長くなり、それにつれ
て、無駄時間が長くなる。

【００２０】このため、例えば、このようにして算出し
た道路モデルに基づいて処理を行う車線追従装置等の制
御性を向上させるためにも、白線候補点を、より短時間
で的確に検出することのできる方法が望まれていた。そ
こで、この発明は、上記従来の未解決の問題に着目して
なされたものであり、道路白線の白線候補点をより短時
間で的確に検出することの可能な道路白線認識装置を提
供することを目的としている。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る道路白線認識装置は、車両
前方の道路を撮像する撮像手段を備え、当該撮像手段で
撮像した撮像画像から道路白線候補点を検出し、これに
基づき道路白線を認識するようにした道路白線認識装置
において、投影された前記道路白線のエッジ方向を、前
記撮像画像の輝度変化状況に基づき前記撮像画像上の各
座標位置において推定し、当該エッジ方向に基づいて前
記座標位置における前記道路白線の近似直線を推定する
近似直線推定手段と、当該近似直線推定手段で推定した
推定近似直線と前記撮像画像の垂直又は水平方向と平行
な予め設定した基準直線との交点座標を検出する交点検
出手段と、前記撮像画像の前記基準直線上の座標位置が
前記交点座標として検出された回数を座標位置毎にカウ
ントするカウント手段と、前記交点座標として検出され
た座標位置のうち、前記カウント手段によるカウント値
の多いものから所定数の座標位置を、前記白線候補点と
して検出する白線候補点検出手段と、を備えることを特
徴としている。

【００２２】また、請求項２に係る道路白線認識装置
は、前記基準直線は、前記撮像画像の水平方向と平行な
直線であることを特徴としている。また、請求項３に係
る道路白線認識装置は、前記白線候補点に基づき、道路
モデルを推定するようにした道路白線認識装置であっ
て、前回推定した道路モデルに基づき前記撮像画像に投
影された道路白線のエッジ方向を算出するエッジ方向算
出手段を備え、前記交点検出手段は、前記近似直線推定
手段で推定したエッジ方向と、前記エッジ方向算出手段
で算出したエッジ方向との偏差が予め設定したしきい値
以下であるとき、前記推定近似直線と前記基準直線との
交点座標を検出するようになっていることを特徴として
いる。

【００２３】また、請求項４に係る道路白線認識装置
は、前記撮像画像に対して複数の探索領域を設定し、当
該探索領域毎に前記白線候補点の検出を行うようになっ
ていることを特徴としている。また、請求項５に係る道
路白線認識装置は、前記基準直線は、前記探索領域の水
平方向と平行であり且つ前記探索領域の垂直方向中央の
位置座標を有する直線であることを特徴としている。

【００２４】また、請求項６に係る道路白線認識装置
は、前記カウント手段は、前記基準直線上の座標位置毎
のカウント値を格納するための記憶領域を有し、前記交
点座標を検出したとき、前記記憶領域の前記交点座標に
対応するカウント値をインクリメントするようになって
いることを特徴としている。また、請求項７に係る道路
白線認識装置は、前記近似直線推定手段は、各座標位置
における輝度変化率に基づいて輝度の変化方向を表す輝
度変化ベクトルを検出し、当該輝度変化ベクトルと直交
する方向を前記エッジ方向として検出するようになって
いることを特徴としている。

【００２５】さらに、請求項８に係る道路白線認識装置
は、前記交点検出手段は、前記輝度変化ベクトルの大き
さが、予め設定したしきい値よりも大きいとき、前記推
定近似直線と前記基準直線との交点座標を検出するよう
になっていることを特徴としている。

【００２６】

【発明の効果】本発明の請求項１に係る道路白線認識装
置によれば、投影された道路白線のエッジ方向を撮像画
像の輝度変化状況に基づき各座標位置において推定し、
このエッジ方向に基づいて各座標位置における道路白線
の近似直線を推定する。そして、推定した推定近似直線
と撮像画像の垂直又は水平方向と平行な予め設定した基
準直線との交点座標を検出し、この基準直線上の座標位
置が交点座標として検出された回数を座標位置毎にカウ
ントし、カウント値の多いものから所定数の座標位置
を、白線候補点として検出するようにしたから、カウン
ト値の多いものを探索する際の比較演算回数を大幅に削
減することができ、白線候補点演算に要する処理時間の
短縮を図ることができる。

【００２７】また、請求項２に係る道路白線認識装置に
よれば、撮像画像の水平方向と平行な直線を基準直線と
するようにしたから、撮像画像においてその上下方向に
伸びる道路白線に応じた近似直線との交点を的確に検出
することができ、白線候補点の検出を高精度に行うこと
ができる。また、請求項３に係る道路白線認識装置によ
れば、前回推定した道路モデルに基づくエッジ方向と、
輝度変化状況に基づき推定したエッジ方向との偏差がし
きい値以下であるときに、交点座標を検出するようにし
たから、誤認識したエッジ方向に基づいて交点座標が検
出されることを回避し、白線候補点の検出精度を向上さ
せることができる。

【００２８】また、請求項４に係る道路白線認識装置に
よれば、撮像画像に対して複数の探索領域を設定し、探
索領域毎に前記白線候補点の検出を行うようにしたか
ら、一般に曲線からなる道路白線の近似直線への近似誤
差を低減することができ、この近似誤差に伴う白線候補
点の検出精度の低下を抑制することができる。また、請
求項５に係る道路白線認識装置によれば、探索領域の水
平方向と平行であり且つ探索領域の垂直方向中央の位置
座標を有する直線を基準直線として設定するようにした
から、一般に曲線からなる道路白線の近似直線への近似
誤差を低減することができ、この近似誤差に伴う白線候
補点の検出精度の低下を抑制することができる。

【００２９】また、請求項６に係る道路白線認識装置に
よれば、交点座標を検出したときには、記憶領域の交点
座標に対応するカウント値をインクリメントするように
したから、交点座標のカウントを容易に行うことができ
る。また、請求項７に係る道路白線認識装置によれば、
各座標位置における輝度変化率に基づいて輝度の変化方
向を表す輝度変化ベクトルを検出し、この輝度変化ベク
トルと直交する方向をエッジ方向として検出するように
したから、容易且つ的確にエッジ方向を検出することが
できる。

【００３０】さらに、請求項８に係る道路白線認識装置
によれば、輝度変化ベクトルの大きさが、予め設定した
しきい値よりも大きいときに交点座標を検出するように
したから、輝度変化ベクトルの大きさが小さく道路白線
のエッジ部であるとみなすことができないときには、交
点座標は検出されないから、エッジ部でない座標位置が
白線候補点として誤検出されることを回避し、白線候補
点の検出を的確に行うことができる。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は、本発明を適用した道路白
線認識装置の一実施形態を示す構成図である。図１にお
いて、ＣＣＤカメラ等で構成される撮像装置１は、例え
ば、車幅方向中央の、車室内のフロントウィンドウ上部
に取り付けられ、車両前部の道路を含む車両の周囲環境
を撮像する。

【００３２】前記撮像装置１で撮像された撮像情報は、
処理装置２に入力され、処理装置２は、前記撮像情報を
もとに、白線候補点の検出を行い、白線候補点の検出結
果に基づいて道路モデルを表す道路パラメータを推定す
る。図２は、処理装置２で実行される道路白線を検出す
るための道路白線検出処理の処理手順の一例を示すフロ
ーチャートである。なお、この道路白線検出処理は、予
め設定した所定周期で実行される。

【００３３】まず、ステップＳ１で、撮像装置１で撮像
した前方画像の撮像情報を読み込み、次いでステップＳ
２で、読み込んだ撮像情報からなる撮像画像に対し、図
３に示すように、左右の道路白線に相当する位置に複数
のウィンドウを設定する。図３の場合には、６個のウィ
ンドウを設定している。このウィンドウは、道路白線以
外の白線を道路白線として誤認識することを回避するた
めに設けたものである。なお、図３に示すように、撮像
画像においては、例えばその左上座標を基準とし、水平
右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とす
る。

【００３４】前記各ウィンドウにおいて、そのｙ方向、
つまり画像上下方向のウィンドウ位置は予め設定してお
く。例えば、図４に示すように、各ウィンドウのｙ方向
の中心位置をｙｃとし、その幅ｙｄを固定しておく。一
方、前記ウィンドウのｘ方向、つまり画像左右方向のウ
ィンドウ位置は、前回の処理周期における道路白線検出
処理の処理結果に基づき得られた道路モデルに基づいて
設定する。

【００３５】ここで、一般に、曲線路を考慮した道路形
状は、道路モデルのパラメータを｛Ａ，Ｂ，Ｃ，Ｄ，
Ｈ｝とすると、次式（６）で表すことができることが知
られている。なお、（６）式中のＡは、車両の車線に対
する横変位、Ｂは道路曲率に相当する値、Ｃは車両の車
線に対するヨー角、Ｄはピッチ角、Ｈはカメラ（撮像装
置１）の高さである。また、Ｅ₀ は車線幅（すなわち、
左側の道路白線の中央と右側の道路白線の中央との間の
距離）、ｆはカメラ（撮像装置１）の透視変換定数、
｛ｘ_w ，ｙ_w ｝は撮像画像上における白線候補点の座標
である。また、ｉは左側道路白線の場合には“０”、右
側道路白線の場合には“１”を表す。

【００３６】 ｘ_w ＝(-A+i*E₀)*(y_w ＋f*D)／H −B*H*f²／(y_w ＋f*D)−C*f ……（６） ここで、ウィンドウのｘ軸方向の中心位置座標をｘｃと
すると、この中心位置座標ｘｃは、前記（６）式及び予
め設定したｙ軸方向の中心位置座標ｙｃから算出するこ
とができる。なお、ウィンドウのＸ軸方向の幅ｘｄは固
定値でもよく、また、例えば、特開平８−２６１７５６
号公報に記載されているように、前述の道路モデルのパ
ラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の分散から合理的に設
定するようにしてもよい。

【００３７】次いで、ステップＳ３に移行し、検索対象
のウィンドウを設定する。例えば、図３で設定した各ウ
ィンドウを識別するための識別番号の一番若いもの、図
３の場合ｎ＝１を検索対象のウィンドウとして設定す
る。次いで、ステップＳ４に移行し、前回の道路モデル
の推定結果に基づき、ウィンドウのｙ軸方向の中心位置
座標ｙｃにおいて想定される直線の傾き［ｄｘ／ｄｙ］
_nsを算出する。すなわち、前記（６）式をｙで微分し、
次式（７）を得る。なお、（７）式中の添字ｎは、ｎ番
目のウィンドウを表し、添字ｓは想定値であることを表
す。

【００３８】 [dx/dy] _ns＝ (-A+i*E₀)／H ＋B*H*f²／(yｃ＋f*D)² ……（７） 次いで、ステップＳ５に移行し、ウィンドウのｙ方向中
心座標ｙｃ位置に存在する画素の個数ｒ_n に等しい、記
憶領域hspace[g] （ｇ＝０，１，２，……，ｒ _n ）を、
１次元ハフ空間として用意し、この記憶領域hspace[g]
をクリアにしておく。

【００３９】なお、ｇと画素のｘ座標とは、図５に示す
ように、ウィンドウの左端に位置する画素のｘ座標をｇ
0 としたとき、ｘ＝ｇ＋ｇ0 を満足するものとする。次
いで、ステップＳ６に移行し、図６に示すフローチャー
トにしたがって、ウィンドウ内の全ての画素に対し、以
下の処理を施しハフ変換を行う。なお、ウィンドウ内の
各画素を添字ｍにより区別している。

【００４０】まず、ステップＳ２１で、ハフ変換対象の
画素を選択する。次いで、ステップＳ２２に移行し、ｘ
方向及びｙ方向の輝度の変化率（微分）を算出する。ノ
イズ除去のため、ソーベルフィルタやプレビットフィル
タを用いてもよい。また、例えば、輝度の差分を求める
ようにしてもよい。これは、例えば、（ｘ_m ，ｙ_m ）を
ｍ番目の画素のｘ，ｙ座標とし、このｘ，ｙ座標の画素
の輝度をbright（ｘ_m，ｙ_m ）とすると、ｘ方向及びｙ
方向の輝度の差分ｔｘ_m ，ｔｙ_m は次式（８）で算出す
ることができる。

【００４１】

【数３】

【００４２】次いで、ステップＳ２３に移行し、白線候
補点が直線的に並んでいると仮定し、その直線の傾き
[dx/dy]_m を次式（９）に示すように、輝度変化率から
算出する。

【００４３】 [dx/dy]_m ＝−ｔｙ_m ／ｔｘ_m ……（９） この（９）式は、次のようにして導かれる。すなわち、
[dx/dy]_m は、ｙが“１”変化したときの、ｘの変化量
を表す。つまり、この直線の方向ベクトルは、（ [dx/d
y]_m ，１）である。また、前記ｘ方向及びｙ方向の輝度
の差分値は、輝度の変化方向を表す、輝度変化ベクトル
（ｔｘ_m ，ｔｙ_m ）とみなすことができる。前記方向べ
クトル（ [dx/dy]_m ，１）と輝度変化ベクトル（ｔ
ｘ_m ，ｔｙ_m ）とは、図７に示すように直交する。

【００４４】したがって、これらベクトルが直交するこ
とから、その内積は零となり、次式（１０）が成り立
つ。 [dx/dy]_m ×ｔｘ_m ＋１×ｔｙ_m ＝０ ……（１０） したがって、この（１０）式を変形することによって、
前記（９）式を導くことができる。

【００４５】ただし、輝度変化率ｔｘ_m が零の場合、こ
の画素を白線候補点として選択しないために、 [dx/dy]
_m には、実際にはあり得ない値を代入する。次いで、ス
テップＳ２４に移行し、トータル輝度変化率ｔｔ_m を算
出する。例えば、次式（１１）に示すように、ユークリ
ッドノルムを用いて算出する。 ｔｔ_m ＝（ｔｘ_m ² ＋ｔｙ_m ² ）^1/2 ……（１１） 次いで、ステップＳ２５に移行し、ハフ変換対象である
（ｘ_m ，ｙ_m ）の画素が白線候補点であるか否かの判定
を行う。

【００４６】この判定は、ステップＳ２４で算出したト
ータル輝度変化率ｔｔ_m が予め設定したしきい値以上で
あること、また、ステップＳ２３で算出した直線の傾き
[dx/dy]_m と前記ステップＳ４で算出した前回の道路モ
デルの推定結果に基づく直線の傾き［ｄｘ／ｄｙ］_nsと
の偏差が予め設定したしきい値以下であること、を満足
するとき、白線候補点と判断する。つまり、次式（１
２）及び（１３）を満足するとき、白線候補点であると
判断する。

【００４７】 ｔｔ_m ＞ｔｔ_m 0 ……（１２） ｜[dx/dy] _m −［ｄｘ／ｄｙ］_ns｜＜ｋ ……（１３） なお、（１３）式中のしきい値ｋは、これを小さくする
と、ノイズを拾いにくくなる反面、道路曲率の急変等に
おけるエッジ方向急変に追従することができなくなる。
逆にしきい値ｋを大きくすると、追従性はよくなる反
面、ノイズを拾いやすくなるため、両者のトレードオフ
を考慮して設定する。

【００４８】なお、ここでは、前記（１２）式及び（１
３）式を共に満足するときに、白線候補点であると判定
するようにした場合について説明したが、これに限るも
のではなく、例えば、白線内側のみを白線候補点とする
場合には、エッジベクトルｔｘ_m の符号条件も考慮する
ようにしてもよい。つまり、図８に示すように左白線の
場合には、その符号はマイナスとなり、右白線の場合に
は、プラスとなる。

【００４９】次いで、ステップＳ２６に移行し、ステッ
プＳ２５での判定の結果、ハフ変換対象の画素が白線候
補点であると判定されたときには、ステップＳ２７に移
行し、白線候補点ではないと判定されたときには、後述
のステップＳ２９に移行する。前記ステップＳ２７で
は、白線候補点であると判定された画素の座標（ｘ_m ，
ｙ_m ）と、前記ステップＳ２３で算出した直線の傾き[d
x/dy] _m とから、傾き[dx/dy] _m を有し且つ座標
（ｘ_m ，ｙ_m ）を通る直線と、直線ｙ＝ｙｃ_n との交点
のｘ座標ｘ(yc _n ) を算出する。これは、次式（１４）
及び（１５）に基づいて算出する。

【００５０】 （ｘ−ｘ_m ）＝[dx/dy] _m ×（ｙ−ｙ_m ） ……（１４） ｘ(yc _n ) ＝ｘ_m ＋[dx/dy] _m ×（ｙｃ_n −ｙ_m ） ……（１５） 次いで、ステップＳ２８に移行し、ハフ空間への投票を
行う。つまり、ステップＳ２７で算出したｘ座標ｘ(yc
_n ) に対応するハフ空間つまり、ステップＳ５で用意し
た記憶領域hspace[g] の対応するマスをインクリメント
する。ここで、前述のように、ｇと画素のｘ座標との間
には、ｘ＝ｇ＋ｇ0 が成り立つから、ｘ座標ｘ(yc _n )
の画素に対応するマスｇ_m は、ｇ_m ＝ｘ(yc _n ) −ｇ0
となる。したがって、次式（１６）に示すようにマスｇ
_m をインクリメントする。

【００５１】 hspace［ｇ_m ］＝hspace［ｇ_m ］＋１ ……（１６） 次いで、ステップＳ２９に移行し、ウィンドウ内の全て
の画素に対して処理が終了したかどうかを判定し、全て
について処理が終了していない場合には、ステップＳ２
１に戻って次の画素に対して同様に処理を行い、ウィン
ドウ内の全ての画素に対して処理が終了したとき、ハフ
変換処理を終了する。そして、図２に戻ってステップＳ
７に移行する。

【００５２】このステップＳ７では、ウィンドウｎにお
ける、道路白線を構成する白線候補点の確定を行う。つ
まり、ハフ変換が行われた後のハフ空間hspace[v] （ｖ
＝０，１，２，……，ｒ_n ）のうち、各ハフ空間hspace
[v] に設定された値の大きい方から数点を、極大値候補
として選択し、選択された極大値候補に該当する画素を
白線候補点とする。この処理は図９に示す手順で行う。

【００５３】なお、ここでは、各ウィンドウ毎にｈ_n 個
の極大値候補を選択するものとする。まず、ステップＳ
３１では、極大値候補として選択されたハフ空間をhspa
ce[j] （ｊ＝１〜ｈ_n ）としたとき、この空間を特定す
る“ｊ”を格納するための、記憶領域candidate(ｅ）
（ｅ＝１〜ｈ_n ）を用意しこれをクリアにする。

【００５４】次いで、ステップＳ３２に移行し、ハフ空
間hspace[v] （ｖ＝０，１，２，……，ｒ_n ）の中か
ら、処理対象のハフ空間を選択する。そして、ステップ
Ｓ３３に移行し、極大値候補の判断を行う。つまり、ハ
フ空間hspace[v] に設定されている値をｈ（ｖ）とした
とき、次式（１７）を満足するハフ空間hspace[v] を、
極大値候補であると判断する。

【００５５】 ｈ（ｖ−１）＜ｈ（ｖ）＞ｈ（ｖ＋１） ……（１７） そして、ステップＳ３３の処理で極大値候補であると判
定されたときにはステップＳ３４からステップＳ３５に
移行し、極大値候補でないと判定されたときにはステッ
プＳ３４からそのままステップＳ３６に移行する。前記
ステップＳ３５では、極大値候補の更新を行う。

【００５６】すなわち、極大値候補として既に登録され
ているハフ空間candidate[ｅ] （ｅ＝１〜ｈ_n ）のう
ち、これらハフ空間candidate[ｅ］に設定されている値
ｈ（ｅ）が、ｈ（ｖ）＞ｈ（ｅ）を満足するｅが存在す
るとき、次式（１８）の処理を行う。

【００５７】

【数４】

【００５８】これにより、極大値候補のハフ空間hspace
[v] のうち、その値ｈ（ｖ）が大きいものから順に、ca
ndidate [1] 、candidate [2] 、……、candidate
[h_n ] に格納されることになる。

【００５９】次いで、ステップＳ３６に移行し、全ての
ハフ空間hspace[v] について極大値候補としての探索を
行ったかどうかを判定し、全てについて探索を行ってい
ない場合には、ステップＳ３２に戻る。そして、全てに
ついて探索を行った場合には、ステップＳ３７に移行
し、白線候補点の確定を行う。ここで、ウィンドウｎの
極大値候補のハフ空間hspace[v] に対応する画素のｘ座
標は、次式（１９）で求められる。

【００６０】 ｘ_nj＝candidate [j] ＋g0 ｊ＝１〜ｈ_n ……（１９） したがって、前記極大値候補として登録されているハフ
空間candidate[ｅ] （ｅ＝１〜ｈ_n ）を、前記（１９）
式に基づいて、撮像画像上の画素の位置座標（ｘ_nj、ｙ
ｃ_n ）に変換し、この位置座標で表される画素を、ウィ
ンドウｎの白線候補点とする。

【００６１】このようにして、ウィンドウｎにおける複
数の白線候補点が確定したならば、図２に戻って、ステ
ップＳ８に移行する。このステップＳ８では、全てのウ
ィンドウについて、白線候補点の確定が終了したかどう
かを判定し、全てのウィンドウについて確定が終了して
いない場合には、ステップＳ３に戻って次のウィンドウ
に対して上記と同様に処理を行う。そして、全てのウィ
ンドウについて白線候補点の確定が終了したときには、
ステップＳ９に移行し、各ウィンドウ毎に確定された複
数の白線候補点に基づいて、道路モデルの推定を行い、
処理を終了する。この道路モデルの推定は、例えば、特
開平８−２６１７５６号公報に記載されたようにカルマ
ンフィルタを用いて推定するようにしてもよく、また、
例えば特開平６−２０１８９号公報に記載されたよう
に、最小二乗法を用いて推定を行うようにしてもよい。

【００６２】次に、上記実施の形態の動作を説明する。
撮像装置１で撮像された自車両前方の画像情報は処理装
置２に所定タイミングで読み込まれ（ステップＳ１）、
処理装置２では、撮像画像に対し、図３に示すように、
左右の道路白線に相当する位置に複数のウィンドウを設
定し（ステップＳ２）、ウィンドウ毎に白線候補点の検
出を行う。

【００６３】つまり、まず、前回の道路モデルの推定結
果に基づき、ウィンドウのｙ軸方向の中心位置座標ｙｃ
において想定される直線の傾き［ｄｘ／ｄｙ］_nsを算出
し（ステップＳ３，Ｓ４）、ウィンドウのｙ方向中心座
標ｙｃ位置に存在する画素の個数ｒ_n に等しい、記憶領
域hspace[g] （ｇ＝０，１，２，……，ｒ_n ）を用意
し、この記憶領域hspace[g] をクリアにする（ステップ
Ｓ５）。そして、ウィンドウ内の各画素に対し、ｘ方向
及びｙ方向の輝度の変化率（微分）を算出し（ステップ
Ｓ２２）、この輝度変化率に基づく輝度変化ベクトルに
基づき、道路白線を表す直線の傾きを推定する（ステッ
プＳ２３）。

【００６４】そして、前回推定した道路モデルに基づい
てステップＳ４の処理で算出した直線の傾きと、ステッ
プＳ２２で輝度変化率に基づいて算出した直線の傾きと
を比較し、これらが、しきい値以下であり且つ、トータ
ル輝度変化率がしきい値以下であるとき、この画素を白
線候補点であると判断する（ステップＳ２５）。つま
り、前回推定した道路モデルに基づく直線の傾きと、輝
度変化率に基づいて算出した直線の傾きとがしきい値を
超えて変化する場合には、偽の白線候補点であるとみな
すことができ、また、トータル輝度変化率が小さい場合
には、道路白線のエッジ部に相当する画素であるとみな
すことができるから、これら条件を満足するときに、白
線候補点であると判断する。

【００６５】そして、白線候補点として判断された場合
には、この白線候補点の画素と、ステップＳ２３の処理
で輝度変化ベクトルに基づいて算出した直線の傾きとに
基づいて、この傾きを有し且つ白線候補点の画素を通る
直線と、ウィンドウのｙ軸方向中央部の位置座標を有す
るｘ軸に平行な直線との交点のｘ座標を算出し、このｘ
座標に該当するハフ空間、つまり、前記記憶領域hspace
[g] （ｇ＝０，１，２，……，ｒ_n ）への投票を行う
（ステップＳ２８）。

【００６６】ここで、道路白線は、撮像画像においてそ
の上下方向に伸びているから、道路白線の曲率に応じて
交点のｘ座標は変化することになる。このとき、例え
ば、撮像画像のｙ軸と平行な直線との交点のｙ座標を算
出するようにした場合には、道路白線は撮像画像におい
てその上下方向に伸びているから、道路白線の曲率によ
っては、撮像画像上において交点を得ることができず、
交点のｙ座標を検出することができないことも考えられ
る。つまり、実際には、白線候補点であるにも関わら
ず、ハフ空間への投票が行われないことになり、的確な
判断を行うことができない場合がある。しかしながら、
撮像画像においてその上下方向に伸びる道路白線に対
し、ｘ軸と平行な直線との交点座標を検出するようにし
ているから、的確にハフ空間への投票を行うことができ
る。

【００６７】そして、全ての画素についてハフ空間への
投票が終了したならば、ハフ空間のうち、投票数の多い
ものから所定数を極大値候補として選択する（ステップ
Ｓ７）。つまり順次比較を行って、投票数の多いものか
ら所定数を選択する。そして、所定数の極大値候補の探
索を行ったならば、検出した極大値候補に相当する撮像
画像上の画素のｘ座標を検出し、これとウィンドウのｙ
軸方向中央の座標ｙｃとから、極大値候補に対応する画
素、つまり、白線候補点の画素の位置座標を検出する。

【００６８】この処理を各ウィンドウ毎に行い、各ウィ
ンドウ毎に複数の白線候補点を検出する。そして、検出
した白線候補点に基づいて、公知の手順の道路モデルの
推定を行う（ステップＳ９）。ここで、ステップＳ６の
処理におけるハフ空間は、その行数は“１”であり、列
数を“ｍ”とすると、各ウィンドウにおける極大値探索
のための比較演算数は、（ｍ−２）×２回となる。つま
り、ｍ列の要素のうち、３つ並んだ要素を選択する組み
合わせ（ｍ−２）数と、前記（１７）式の比較演算の回
数２との積である。

【００６９】これに対し、従来の、図１４に示すように
二次元のハフ空間において極大値探索のための比較演算
数は、行数を“ｎ”、列数を“ｍ”とすると、（ｎ−
２）×（ｍ−２）×８回となる。したがって、上記実施
の形態における比較演算数（ｍ−２）×２回の方が比較
演算数は大幅に少ないことがわかかる。そして、この比
較演算数は、一つのウィンドウにおける比較演算回数で
あり、各ウィンドウ毎に、その比較演算回数を大幅に削
減することができるから、撮像画像全体における比較演
算回数を大幅に削減することができることがわかる。

【００７０】また、ステップＳ３５の処理で行われる極
大値候補の並び替えの処理においても、その並び替えの
対象が多いほど、その演算量が多くなることは明白であ
る。したがって、上記実施の形態においては、その並び
替えの対象が大幅に削減されることになり、その演算量
を大幅に削減することができる。したがって、従来の方
法に比較して、検出する白線候補点を減らさずに、その
演算量を大幅に削減することができるから、白線候補点
算出までの処理時間の削減を図ることができる。よっ
て、道路モデル算出までの所要時間を短縮することがで
き、例えばこの道路モデルに基づいて車線追従制御を行
う場合等、道路モデルに基づいて行う制御の安定性をよ
り向上させることができる。

【００７１】また、演算量の削減を図ることができるか
ら、処理装置の負荷低減を図ることができ、処理装置の
小型化を図ることができる。また、上記実施の形態にお
いては、複数のウィンドウを設定し、ウィンドウ毎に白
線候補点を検出するようにしているから、白線候補点の
検出を的確に行うことができる。つまり、上記実施の形
態においては、ステップＳ２３の処理に示すように、道
路白線を直線に近似し、その傾きを推定することによっ
て、演算量の削減を図るようにしている。したがって、
直線に近いほど、道路白線の検出精度は向上することに
なる。よって、ウィンドウを複数設定し、このウィンド
ウ毎に直線を推定するようにしているから、ウィンドウ
近傍においては直線近似を行うことができ、結果として
道路白線の検出精度を向上させることができる。

【００７２】また、上記実施の形態においては、ウィン
ドウのｙ軸方向中央を基準として白線候補点を検出する
ようにしているから、白線候補点の検出精度を向上させ
ることができる。つまり、ステップＳ２５での白線候補
点であるかどうかの判定を行う処理の際に、ｘ座標を、
前記（１５）式から算出するようにしている。この（１
５）式は、一般的に曲線である道路白線を直線に近似し
たものであるから、判定対象の画素のｙ座標ｙ_m と、ウ
ィンドウｙ軸方向中央のｙ座標ｙｃ_n との差が小さいほ
ど、ｘ座標の精度は高くなる。したがって、前記ウィン
ドウｙ軸方向中央のｙ座標ｙｃ_n 位置におけるｘ座標を
算出することによって、ウィンドウ内の各画素に対し、
判定対象の画素のｙ座標ｙ_m と、ウィンドウｙ軸方向中
央のｙ座標ｙｃ_n との差を低減することができる。よっ
て、ｘ座標の推定精度を向上させることができる。

【００７３】また、ステップＳ２５の処理で、画素（ｘ
_m ，ｙ_m ）が白線候補点であるか否かの判定を行う際に
は、トータル輝度変化率ｔｔ_m が予め設定したしきい値
以上であること、また、輝度変化率に基づいて算出した
直線の傾き [dx/dy]_m と前回の道路モデルの推定結果に
基づく、直線の傾き［ｄｘ／ｄｙ］_nsとの偏差が予め設
定したしきい値以下であること、を満足するときに白線
候補点と判断するようにしている。したがって、輝度の
変化率が小さい場合には、白線候補点とは判断されない
ことから道路白線のエッジ部とみなすことの可能な画素
のみを白線候補点として検出することができる。また、
直線の傾きの偏差が大きいときには、白線候補点とは判
断されないことから、例えば、先行車両のエッジ部等が
白線候補点として誤認識されることを確実に回避するこ
とができる。

【００７４】ここで、上記実施の形態において、撮像装
置１が撮像手段に対応し、図６のステップＳ２１〜Ｓ２
７の処理が近似直線推定手段及び交点検出手段に対応
し、ステップＳ２８の処理がカウント手段に対応し、図
９のステップＳ３１〜ステップＳ３７の処理が白線候補
点検出手段に対応し、図２のステップＳ４の処理がエッ
ジ方向算出手段に対応している。

【図面の簡単な説明】

【図１】本発明を適用した、道路白線認識装置の一例を
示す概略構成図である。

【図２】本発明の実施の形態における道路白線検出処理
の処理手順の一例を示すフローチャートである。

【図３】ウィンドウの設定方法を説明するための説明図
である。

【図４】ウィンドウの設定方法を説明するための説明図
である。

【図５】ハフ空間の設定方法を説明するための説明図で
ある。

【図６】図２のハフ変換処理の処理手順の一例を示すフ
ローチャートである。

【図７】輝度変化ベクトルと方向ベクトルとの関係を説
明するための説明図である。

【図８】輝度変化ベクトルの符号条件を説明するための
説明図である。

【図９】図２の白線候補点確定処理の処理手順の一例を
示すフローチャートである。

【図１０】白線候補点の点列を説明するための説明図で
ある。

【図１１】従来のハフ変換の手順を説明するための説明
図である。

【図１２】従来のハフ変換の手順を説明するための説明
図である。

【図１３】従来の極大値候補の探索処理の処理手順の一
例を示すフローチャートである。

【図１４】従来の極大値候補の探索処理の手順を説明す
るための説明図である。

【符号の説明】

１ 撮像装置 ２ 処理装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０１Ｂ 11/24 Ｇ０１Ｃ 7/04 Ｇ０１Ｃ 7/04 Ｇ０６Ｔ 1/00 ３３０Ａ Ｇ０６Ｔ 1/00 ３３０ Ｇ０８Ｇ 1/16 Ｃ // Ｇ０８Ｇ 1/16 Ｇ０１Ｂ 11/24 Ｋ Ｆターム(参考） 2F065 AA51 CC40 DD04 DD06 FF04 JJ26 QQ03 QQ08 QQ17 QQ24 QQ25 QQ29 QQ31 QQ36 5B057 AA16 CA08 CA12 CA16 CB12 CB16 DA08 DB02 DC16 5H180 CC04 LL01 LL02 LL04 LL15 5L096 BA04 FA06 FA10 FA62 FA69 GA04 GA38 GA51

Claims (8)

【特許請求の範囲】
1. 【請求項１】 車両前方の道路を撮像する撮像手段を備
   え、当該撮像手段で撮像した撮像画像から道路白線候補
   点を検出し、これに基づき道路白線を認識するようにし
   た道路白線認識装置において、 投影された前記道路白線のエッジ方向を、前記撮像画像
   の輝度変化状況に基づき前記撮像画像上の各座標位置に
   おいて推定し、当該エッジ方向に基づいて前記座標位置
   における前記道路白線の近似直線を推定する近似直線推
   定手段と、 当該近似直線推定手段で推定した推定近似直線と前記撮
   像画像の垂直又は水平方向と平行な予め設定した基準直
   線との交点座標を検出する交点検出手段と、 前記撮像画像の前記基準直線上の座標位置が前記交点座
   標として検出された回数を座標位置毎にカウントするカ
   ウント手段と、 前記交点座標として検出された座標位置のうち、前記カ
   ウント手段によるカウント値の多いものから所定数の座
   標位置を、前記白線候補点として検出する白線候補点検
   出手段と、を備えることを特徴とする道路白線認識装
   置。
2. 【請求項２】 前記基準直線は、前記撮像画像の水平方
   向と平行な直線であることを特徴とする請求項１記載の
   道路白線認識装置。
3. 【請求項３】 前記白線候補点に基づき、道路モデルを
   推定するようにした道路白線認識装置であって、 前回推定した道路モデルに基づき前記撮像画像に投影さ
   れた道路白線のエッジ方向を算出するエッジ方向算出手
   段を備え、 前記交点検出手段は、前記近似直線推定手段で推定した
   エッジ方向と、前記エッジ方向算出手段で算出したエッ
   ジ方向との偏差が予め設定したしきい値以下であると
   き、前記推定近似直線と前記基準直線との交点座標を検
   出するようになっていることを特徴とする請求項１又は
   ２記載の道路白線認識装置。
4. 【請求項４】 前記撮像画像に対して複数の探索領域を
   設定し、当該探索領域毎に前記白線候補点の検出を行う
   ようになっていることを特徴とする請求項１乃至３の何
   れかに記載の道路白線認識装置。
5. 【請求項５】 前記基準直線は、前記探索領域の水平方
   向と平行であり且つ前記探索領域の垂直方向中央の位置
   座標を有する直線であることを特徴とする請求項４記載
   の道路白線認識装置。
6. 【請求項６】 前記カウント手段は、前記基準直線上の
   座標位置毎のカウント値を格納するための記憶領域を有
   し、 前記交点座標を検出したとき、前記記憶領域の前記交点
   座標に対応するカウント値をインクリメントするように
   なっていることを特徴とする請求項１乃至５の何れかに
   記載の道路白線認識装置。
7. 【請求項７】 前記近似直線推定手段は、各座標位置に
   おける輝度変化率に基づいて輝度の変化方向を表す輝度
   変化ベクトルを検出し、当該輝度変化ベクトルと直交す
   る方向を前記エッジ方向として検出するようになってい
   ることを特徴とする請求項１乃至６の何れかに記載の道
   路白線認識装置。
8. 【請求項８】 前記交点検出手段は、前記輝度変化ベク
   トルの大きさが、予め設定したしきい値よりも大きいと
   き、前記推定近似直線と前記基準直線との交点座標を検
   出するようになっていることを特徴とする請求項７記載
   の道路白線認識装置。