JP2003317105A

JP2003317105A - 走行路認識装置

Info

Publication number: JP2003317105A
Application number: JP2002126288A
Authority: JP
Inventors: Ryota Shirato; 良太白土; Hiroshi Mori; 宏毛利
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-04-26
Filing date: 2002-04-26
Publication date: 2003-11-07

Abstract

(57)【要約】【課題】金属鋲等の離散型のレーンマーカの検出精度
を向上させる。【解決手段】金属鋲等の離散的なレーンマーカを、カ
メラ１によって撮像した場合の撮像画像上におけるレー
ンマーカの水平方向の長さを算出し、この長さに相当す
る数の画素に対応する濃度値“１”のマーカパターンを
設定する（ステップＳ１）。カメラ１からの撮像情報に
対し、探索領域内の水平方向線分について、その各画素
の濃度値とマーカパターンの各濃度値との相関値を算出
し、相関が強い領域をレーンマーカ領域として抽出する
（ステップＳ２〜Ｓ６）。そして、これに基づきレーン
マーカ候補点を検出し、複数のレーンマーカ候補点に基
づいて道路形状を推定する（ステップＳ７〜Ｓ８）。撮
像画像上の垂直方向長さが１画素未満であっても、その
画素の濃度値は得ることができるから、１画素未満のレ
ーンマーカであっても的確に検出することができ、検出
精度を向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像手段で撮像
した撮像画像から、道路上の通行区分帯表示用のレーン
マーカの候補点を検出し、この候補点に基づいて自車両
の走行路形状を検出するようにした走行路認識装置に関
する。

【０００２】

【従来の技術】従来より、画像によってレーンマーカを
認識し、これに基づいて車線形状や自車両と車線との関
係を推定し、これらを車両の自動制御又は一部自動制御
に用いたりする技術が提案されている。例えば、特開平
８−１６７０２３号公報に記載された発明においては、
例えば図１０に示すような、レーンマーカとしての白線
の左エッジ検出用のテンプレートと、右エッジ検出用の
テンプレートとを用意し、図１１に示すような撮像画像
においてこれらテンプレートとの相関演算を行って相関
値を算出し、相関の最も強い成分を、白線の左右端と路
面との境界に相当するエッジ成分とし、これらエッジ成
分に基づいて、左右のレーンマーカをそれぞれ検出する
ようにしている。

【０００３】

【発明が解決しようとする課題】ここで、例えば、探索
領域毎にエッジ成分を検出し、ある直線を貫くエッジ成
分の数が所定数以上であるときに、この直線上の任意の
点を探索領域におけるエッジ候補点として検出し、各探
索領域毎のエッジ候補点に基づいて道路形状を検出する
ようにした場合、上述のように、レーンマーカが連続し
た白線の場合には問題ないが、例えば、レーンマーカと
して金属鋲を用いた場合等、レーンマーカが離散的であ
る場合には、探索領域においてエッジ候補点を検出する
ために必要なエッジ成分を十分検出することができず、
探索領域においてエッジ候補点を検出することができな
い場合がある。

【０００４】特に、撮像画像における物体の垂直方向の
長さは、自車両から遠方に位置するほど短くなる。この
ため、レーンマーカが金属鋲である場合等には、エッジ
成分の検出に充分な長さの金属鋲の画像を得ることがで
きず、これに伴ってエッジ候補点を検出することができ
ないため、レーンマーカの検出精度が低下するという問
題がある。

【０００５】そこで、この発明は、上記従来の未解決の
問題に着目してなされたものであり、レーンマーカの検
出精度を向上させることの可能な走行路認識装置を提供
することを目的としている。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る走行路認識装置は、撮像手段で撮像さ
れた撮像画像から候補点検出手段によってレーンマーカ
候補点を検出し、検出したレーンマーカ候補点に基づい
て、走行路検出手段によって自車両の走行路形状を検出
する。このとき、候補点検出手段は、撮像画像の水平方
向一次元成分、つまり、撮像画像を水平方向にサンプリ
ングしたときの撮像画像の特徴に基づいてレーンマーカ
候補点の検出を行う。

【０００７】

【発明の効果】本発明に係る走行路認識装置によれば、
候補点検出手段では、撮像手段で撮像された撮像画像の
水平方向一次元成分に基づいてレーンマーカ候補点の検
出を行うから、例えば、レーンマーカが金属鋲等といっ
た離散的な形状であり、自車両から遠方に位置するた
め、撮像画像においてその垂直方向の長さが短く例えば
１画素未満であるためにレーンマーカの投影画像を得ら
れないような場合であっても、的確にレーンマーカ候補
点を検出することができ、走行路の推定精度を向上させ
ることができる。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は、本発明を適用した走行路
認識装置の一実施形態を示す概略構成図である。図１に
おいて、ＣＣＤカメラ等で構成されるカメラ１は、例え
ば、車幅方向中央の、車室内のフロントウィンドウ上部
に取り付けられ、車両前方の道路を含む車両の周囲環境
を撮像する。カメラ１で撮像した撮像情報は、処理装置
２に入力され、処理装置２では、カメラ１からの撮像情
報に基づいてレーンマーカの候補点の検出を行い、検出
したレーンマーカ候補点に基づいてレーンマーカの形状
を推測し、これに基づいて走行路の形状や走行路に対す
る自車両の相対関係を表す道路パラメータを算出等を行
う。

【０００９】図２は、処理装置２の機能構成を示すブロ
ック図であって、カメラ１の撮像情報は、前処理部２１
に入力され、ここで、撮像情報に対しレーンマーカの特
徴を強調するためのｓｏｂｅｌフィルタ処理等の処理が
行われた後、画像処理部２２に出力される。画像処理部
２２では、前処理後の撮像情報に基づいて、レーンマー
カ候補点の検出を行い、画像処理部２２において検出さ
れたレーンマーカ候補点に基づいて道路形状推定部２３
において、走行路形状の推定を行う。

【００１０】図３は、処理装置２で実行されるレーンマ
ーカを検出するためのレーンマーカ検出処理の処理手順
の一例を示すフローチャートである。なお、このレーン
マーカ検出処理は、金属鋲等の点状のレーンマーカの検
出を行うようにしたものであって、予め設定した所定周
期で実行される。そして、レーンマーカ検出処理では、
起動されるとステップＳ１で、まずマーカパターンの算
出を行う。

【００１１】ここで、レーンマーカＭａが０．１〔ｍ〕
の円盤であるものとし、図４（ａ）に示すように、自車
両前方Ｌ〔ｍ〕、横方向Ａ〔ｍ〕の位置に存在するもの
とする。図４（ａ）では、カメラ１の光軸をＺ軸、車両
の左右方向をＸ軸としている。なお、Ｚ軸は車両の進行
方向と一致している。前記レーンマーカＭａは、このＸ
Ｚ平面上では、中心座標（Ｌ，Ａ）の位置に直径０．１
〔ｍ〕の円として描かれることになる。したがって、こ
のレーンマーカＭａの外周は、次式（１）で表されるこ
とになる。

【００１２】

【数１】

【００１３】図４（ｂ）は、図（ａ）のレーンマーカＭ
ａを路面の真横から見た図であって、カメラ１の光軸を
Ｚ軸、自車両の上下方向をＹ軸として表している。路面
の傾きやカメラ１の取付方法によって生じる光軸と路面
との相対ピッチ角をη、カメラ１の路面からの取り付け
高さをＨとすると、ＺＹ平面上でのレーンマーカＭａの
中心は、次式（２）で表される。なお、ここでは、ηは
十分小さいものとし、ｓｉｎη＝η、ｃｏｓη＝１と仮
定している。

【００１４】Ｙ＝η・Ｌ−Ｈ ……（２）図５は、道路座標系ＸＹＺと撮像画像の画像座標系ｘｙ
との関係を示したものである。道路座標系ＸＹＺ上の１
点Ｑが、撮像画像の画像座標系ｘｙ上の点ｑへ、焦点距
離ｆのレンズを通して投影される場合、投影後の画像座
標系ｘｙにおける平面座標値（ｘ，ｙ）は、次式（３）
で表すことができる。

【００１５】

【数２】

【００１６】なお、前記（３）式中のｆ_h及びｆ_vは、
レンズ焦点距離ｆを、カメラ１による画像情報が撮像画
像として量子化されたときの、１画素の横方向及び縦方
向の大きさで割った値である。また、図５に示した各座
標軸の向きと整合性をとるため、ｆ_h及びｆ_vの符号は
負となっている。前記（１）〜（３）式から、前記円盤
状のレーンマーカＭａは、撮像画像上、つまりｘｙ平面
上に、次式（４）として映し出されることになる。

【００１７】

【数３】

【００１８】したがって、前記（４）式から、ｘの取り
得る値は次式（５）となり、このレーンマーカＭａの投
影画像の画像水平方向の最大の長さＷは、Ｚ＝Ｌのとき
であって、次式（６）で表される。

【００１９】

【数４】

【００２０】また、前記レーンマーカＭａは、直径が
０．１〔ｍ〕の円であることから、ｙの取り得る範囲、
すなわち、ｘｙ平面に投影されるレーンマーカＭａの画
像上下方向の幅は次式（７）となる。したがって、この
ときのレーンマーカＭａの投影画像の垂直方向の最大の
長さＰは、次式（８）で表される。

【００２１】

【数５】

【００２２】したがって、画像垂直方向の最大の長さＰ
が“１”以上であれば、画像垂直方向に１画素以上の長
さのある像として映し出される。しかしながら、例え
ば、レンズ画角４５〔deg 〕、カメラ１の地上高１．２
〔ｍ〕、水平画像分解能が２５６画素という条件で、前
記（８）式を演算すると、Ｌは約７．５〔ｍ〕程度とな
り、自車両前方７．５〔ｍ〕よりも遠方に位置するレー
ンマーカは、画像垂直方向の大きさが１画素未満となっ
てしまうことがわかる。つまり、例えば直径０．１
〔ｍ〕の円盤状のレーンマーカ等を検出する場合には、
水平成分だけを持つ一次元パターンを用いる必要があ
る。

【００２３】そこで、レーンマーカのマーカパターンと
して、水平成分だけを持つ一次元パターンを設定する。
具体的には、まず、画像水平方向の最大長さＷを前記
（６）式から算出する。このとき、式（６）中のＬは、
実際の走行環境において誤検出の少ない範囲で、最遠方
から最近方の範囲、つまり車両進行方向の範囲を検出範
囲とし、この検出範囲の代表値をＬとして設定する。な
お、代表値Ｌは、実験等によって予め検出しておく。

【００２４】そして、算出した画像水平方向の最大長さ
Ｗの整数部の値分の画素を、一次元パターンの水平方向
の長さとして設定する。例えば、整数部が、“４”であ
る場合には、水平方向の長さを、図６に示すように４画
素分の長さの線分を、一次元パターンとして設定する。
なお、横軸は、撮像画像の水平方向の画素を表し、縦軸
は、横軸で決定される画素の濃度を表す。つまり、例え
ば画素の濃度を“０”から“１”間の値で表すものとす
ると、図６は、｛１、１、１、１｝という数列を表し、
これは、水平方向の４つの画素の濃度が連続して“１”
であるという水平パターンを表し、これはすなわち、パ
ターンマッチングの水平パターンである。

【００２５】このようにして、マーカパターンが算出さ
れると、これを所定の記憶領域に格納した後、ステップ
Ｓ２に移行し、カメラ１からの画像情報を入力し、走行
路の撮像画像を取得する。次いで、ステップＳ３に移行
し、画像情報に対し、例えばｓｏｂｅｌフィルタ等の、
一次微分成分の強調処理を行い、レーンマーカの特徴を
強調させる。このようにすることによって、レーンマー
カに相当する画像の特徴、すなわち濃度値が強調される
ことになるから、より高精度にレーンマーカを検出する
ことができる。

【００２６】次いで、ステップＳ４に移行し、レーンマ
ーカを検出するための探索領域を公知の手順で設定す
る。例えば、前回処理実行時に道路形状を推定すること
ができた場合、今回の撮像画像においては、前回の道路
形状を表すレーンマーカに近い形状でレーンマーカが存
在する可能性が高いと考えられることから、前回推定し
た道路形状から、レーンマーカが映し出される位置を予
測し、この位置を中心として画像上下方向、或いは左右
方向に所定の幅を持つ探索領域を設定する。

【００２７】このとき、探索領域の幅は、一定値であっ
てもよく、また、道路形状の時系列的な変化から、レー
ンマーカの位置の変動幅を見積もって設定するようにし
てもよい。また、前回処理実行時に道路形状を推定する
ことができなかった場合には、それ以前の時点で推定し
た道路形状に基づいて、今回の探索領域を設定するよう
にしてもよく、また、初期設定時の探索領域を設定する
ようにしてもよい。

【００２８】次いで、ステップＳ５に移行し、ステップ
Ｓ４で設定した各探索領域内で、ステップＳ１で設定し
た、一次元パターンとの相関値を算出する。例えば、ス
テップＳ１で設定した一次元パターンＰｉが撮像画像の
水平方向に、次式（９）に示すｎ個の画素の濃度値の配
列で表されているものとし、探索領域内の長さｎの水平
線分領域Ｐｊを次式（１０）に示す画素の濃度値の配列
で表すものとすると、一次元パターンＰｉと水平線分領
域Ｐｊとの相関値Ｄijは、次式（１１）で求めることが
できる。

【００２９】

【数６】

【００３０】したがって、探索領域内の全ての水平線分
領域に対し、前記（１１）式にしたがって一次元パター
ンＰｉとの相関値Ｄijを算出する。次いでステップＳ６
に移行し、ステップＳ５の処理で得られた、探索領域内
の長さｎの水平線分領域に対する相関値Ｄijに基づき、
レーンマーカの一部であると推測される成分を抽出す
る。

【００３１】例えば、長さｎの水平線分領域Ｐｊのう
ち、その相関値Ｄijが予め設定した相関値Ｄijのしきい
値以下である水平線分領域Ｐｊについてその先頭画素の
位置座標を算出し、これに基づき先頭画素どうしの位置
関係を検出し、水平方向に隣接する先頭画素のグループ
毎に同一ラベル（番号）を付与する。つまり、同一ラベ
ルが付与されている先頭画素は水平方向に全て隣接する
ことになる。

【００３２】なお、前記相関値Ｄijのしきい値は、例え
ば、マーカパターンと水平線分領域との画素の濃度が同
等であり、この水平線分領域はレーンマーカであるとみ
なすことの可能な値に基づいて設定すればよい。そし
て、先頭画素に同一ラベルが付与された複数の水平線分
領域からなる面積（つまり画素数）がしきい値以下であ
るとき、この同一ラベルが付与された水平線分領域群
は、例えば金属鋲のような点状のレーンマーカの領域で
あると判断する。なお、前記同一ラベルが付与された水
平線分領域群からなる面積のしきい値は、例えば、金属
鋲に相当する画像であるとみなすことの値に基づいて設
定すればよい。

【００３３】また、レーンマーカとして検出された水平
線分領域の間隔が、金属鋲がレーンマーカとして通常配
置されるときの配置パターンと異なるときには、何れか
一方の水平線分領域が誤検出されていると判断し、レー
ンマーカとして検出された、他の水平線分領域との位置
関係から誤検出されている水平線分領域を特定し、これ
を削除する。

【００３４】次いで、ステップＳ７に移行し、ステップ
Ｓ６で、レーンマーカの特徴として抽出された水平線分
領域Ｐｊに基づいて、レーンマーカ候補点の座標値を算
出する。例えば、後述のステップＳ８において、最小二
乗法を用いて道路形状を推定する場合には、ステップＳ
６でレーンマーカの領域であると判定された、先頭画素
に同一ラベルが付与された水平線分領域の代表点、例え
ば、これら水平線分領域群から形成される図形の重心座
標を、レーンマーカ候補点として算出する。

【００３５】そして、前記ステップＳ６及びステップＳ
７の処理を全ての探索領域について行った後、ステップ
Ｓ８に移行し、前記ステップＳ７で算出されたレーンマ
ーカ候補点に基づいて、自車両前方の道路形状を推定す
る。この道路形状の推定は、例えば、最小二乗法等の公
知の手順で行えばよい。そして、このようにして道路形
状の推定が終了すると、ステップＳ２に戻り、以後、予
め設定されたサンプリング周期でカメラ１からの画像情
報を読み込み上記と同様に処理を行って道路形状を推定
する。

【００３６】次に、上記実施の形態の動作を説明する。
走行路認識装置では、起動されると、まず、マーカパタ
ーンを算出する（ステップＳ１）。つまり、前記式
（６）において、予め実験等により設定されている自車
両前方の検出範囲の代表値をＬとし、これに基づいてレ
ーンマーカＭａの投影画像の画像水平方向の最大の長さ
Ｗを算出し、その整数部の数値分の画素からなる濃度値
“１”を表す線分を、図６に示すようにマーカパターン
として設定する。

【００３７】なお、図６では、画素数は“４”である
が、前記画像水平方向の長さＷが例えば“８．３”であ
った場合には、画素数が８の線分が、マーカパターンと
して設定されることになる。このようにして設定したマ
ーカパターンは所定の記憶領域に格納しておく。そし
て、マーカパターンの設定が終了したならば、カメラ１
の画像情報を入力し（ステップＳ２）、これに対してｓ
ｏｂｅｌフィルタ等の処理を行ってレーンマーカの特徴
を強調する（ステップＳ３）。そして、レーンマーカが
存在すると予測される領域に探索領域を設定し（ステッ
プＳ４）、探索領域毎に、ステップＳ１で設定したマー
カパターンと探索領域内における各水平線分領域とにつ
いて相関値Ｄijを算出する（ステップＳ５）。

【００３８】ここで、探索領域は、レーンマーカが存在
すると予測される領域に設定され、このように設定され
た探索領域についてのみ相関値Ｄijを算出するようにし
ているから、必要な領域についてのみ相関値Ｄijの算出
を行うことができる。したがって、相関値Ｄijの算出を
効率よく行うことができると共に、相関値Ｄijの算出に
要する処理時間の短縮を図ることができる。

【００３９】このとき、マーカパターンと水平線分領域
の画素の濃度とが類似するほど、相関値Ｄijは小さくな
るから、マーカパターンの画素の濃度分布と類似する水
平線分領域が、相関値Ｄijがしきい値以下となる水平線
分領域として抽出されることになる。そして、相関値Ｄ
ijがしきい値以下となる水平線分領域の先頭の画素のう
ち水平方向に隣接するものに同一ラベルが付与され、同
一ラベルが付与された水平線分領域群から形成される図
形の面積が、しきい値以下となる水平線分領域群が、レ
ーンマーカの領域と判断される（ステップＳ６）。

【００４０】したがって、例えば、点状レーンマーカで
はない物体が撮像されており、この撮像物体を構成する
水平線分領域がマーカパターンと類似していたとして
も、撮像物体の面積がしきい値以下でない場合には、こ
れがレーンマーカであると誤認識されることはない。ま
た、レーンマーカではないものがレーンマーカとして誤
認識されたとしても、レーンマーカとして検出された領
域の配置状況を、レーンマーカの通常の配置状況と比較
することによって、誤認識であることが検出され、誤認
識された領域は、レーンマーカとしての領域から削除さ
れるから、誤った領域がレーンマーカの領域として検出
されることはない。

【００４１】そして、例えば、先頭画素に同一ラベルが
付与された水平線分領域群で形成される図形の重心座標
が、レーンマーカ候補点として算出され（ステップＳ
７）、各水平線分領域群毎に検出されたレーンマーカ候
補点に基づいて道路形状の推定が行われる（ステップＳ
８）。ここで、点状レーンマーカの場合、図７の撮像画
像に示すように、自車両からから遠方に位置するレーン
マーカほど、撮像画像における垂直方向の長さ、つまり
車両進行方向の長さが短くなる。したがって、レーンマ
ーカのマーカパターンとして二次元パターン、つまり、
レーンマーカの縦及び横の長さを特定するパターンを設
定した場合、縦方向の長さが一致しないことからマーカ
パターンと一致しないと判定される場合がある。

【００４２】しかしながら、上述のように、マーカパタ
ーンとして濃度が“１”の線分からなる一次元パターン
を設定し、水平方向成分の濃度に基づいてレーンマーカ
の検出を行っているから、撮像画像において垂直方向の
長さを十分得られない場合であっても、レーンマーカと
して的確に検出するができる。したがって、例えば、レ
ーンマーカの投影画像の垂直方向の長さが１画素未満で
ある場合には、レーンマーカの投影画像は撮像画像上に
は映し出されないことになる。しかしながら、レーンマ
ーカは撮像画像上には映し出されないものの、カメラ１
によってその画素の濃度値は得ることができるから、撮
像画像における垂直方向の長さが１画素未満のレーンマ
ーカの投影画像であっても、その濃度値に基づき的確に
検出することができる。

【００４３】特に、レーンマーカが金属鋲等の離散的な
形状である場合には、これが自車両から遠方に位置する
ほど、撮像画像上に映し出される垂直方向の長さは短く
なり場合によっては、撮像画像上に映し出されない場合
もあるが、上述のように、撮像画像上における垂直方向
の長さが１画素未満であっても、的確にレーンマーカを
検出することができるから、レーンマーカをより高精度
に検出することができる。

【００４４】このように、レーンマーカ候補点を的確に
検出することができるから、このレーンマーカ候補点に
基づき推定する走行路の形状推定の推定精度を向上させ
ることができる。また、上記実施の形態においてはレー
ンマーカとして金属鋲を想定し、このとき、法規等によ
って金属鋲の直径として定められた０．１〔ｍ〕に基づ
いて、マーカパターンを設定し、レーンマーカの規格に
合致したマーカパターンを算出するようにしているか
ら、マーカパターンを的確に設定することができ、レー
ンマーカ候補点の誤検出を防止することができ、より高
精度に走行路の形状を推定することができる。

【００４５】なお、上記実施の形態においては、図６に
示すように濃度“１”の画素の線分をマーカパターンと
して設定した場合について説明したが、これに限るもの
ではない。例えば、図８に示すように、図６に示す画素
濃度“１”の線分からなるマーカパターンにおいて、そ
のパターンの両端に濃度“０”の線分を設定したパター
ンをマーカパターンとして設定するようにしてもよい。
つまり、撮像画像上におけるレーンマーカに相当する線
分と、レーンマーカの背景画像に相当する線分とを一つ
のマーカパターンとし、画素の濃度の配列が｛０，０，
０，１，１，１，１，０，０，０｝となるようにマーカ
パターンを設定してもよい。

【００４６】このように設定したマーカパターンに基づ
いてレーンマーカに相当する水平線分領域を検出すれ
ば、ノイズ等の影響を受けた水平線分領域は除去される
ことになるから、ノイズ等に埋もれていないレーンマー
カのみを検出することができ、レーンマーカの検出精度
を向上させることができる。また、例えば、図９（ａ）
に示すように、画素の濃度を“１”と“０”の２値だけ
でなく、その中間値も設定し、画像水平方向の最大の長
さＷの小数点以下部に相当する、マッチングの強度が異
なる部分を付加することによって、１画素未満のオーダ
でマッチングの相関値Ｄijを算出することができる。な
お、図９（ａ）〜（ｅ）において、横軸は水平方向画
素、縦軸は濃度である。図９（ａ）の場合には、画像水
平方向の最大の長さＷの整数部に相当する濃度“１”の
画素と、小数点以下部に相当する濃度“０．２５”の画
素と、濃度“０”の画素とから、配列が｛０，０，０．
２５，１，１，１，１，０．２５，０，０｝となる線分
を表している。

【００４７】このように、画像水平方向の最大の長さＷ
の小数点以下部についても考慮してマーカパターンを設
定することによって、画素単位以下の精度でレーンマー
カの検出を行うことができ、より高精度にレーンマーカ
候補点の検出を行うことができる。なお、ここでは、小
数点以下部に相当する濃度として“０．２５”を設定す
るようにした場合について説明したが、これに限るもの
ではなく、例えば小数点以下部の値に応じて濃度を変化
させるようにしてもよい。

【００４８】このとき、マーカパターンとのマッチング
検索を行う際に、マーカパターンを水平方向に走査する
ときに１画素ずつ移動させるのではなく、画像水平方向
の最大の長さＷの小数点以下部に相当する強度のパター
ン部を、例えば、図９の（ａ）〜（ｅ）に示すように、
（ａ）から（ｅ）へ１画素分移動させる際に、徐々に変
化させ、走査する方向に徐々に強度を移動させるような
走査を行うようにしてもよい。

【００４９】つまり、例えば、まず図９（ａ）に示すマ
ーカパターン｛０，０，０．２５，１，１，１，１，
０．２５，０，０｝に基づいて相関値Ｄijを算出する。
次に、濃度の配列が、｛０，０，０．２，１，１，１，
１，０．３，０，０｝であるマーカパターンとの相関値
Ｄijを算出する。このように、濃度の配列の左から３番
目の濃度を図９（ａ）の“０．２５”から図９（ｅ）の
“０”まで徐々に（この場合、濃度０．０５単位）変化
させる。そして、３番目の濃度が“０”になったなら
ば、次に、左から４番目の濃度を図９（ａ）の“１”か
ら図９（ｅ）の“０．２５”まで徐々に変化させる。こ
れと同様に濃度の配列の左から８番目の濃度を図９
（ａ）の“０．２５”から図９（ｅ）の“１”へと徐々
に変化させ、この８番目の濃度が“１”となったなら
ば、次に、左から９番目の濃度を図９（ａ）の“０”か
ら図９（ｅ）の“０．２５”に変化させる。そして、各
濃度を徐々に変化させたマーカパターン毎に、相関値Ｄ
ijを算出し、最も合致度の高いマーカパターンを検出す
る。

【００５０】そして、この合致度の高いマーカパターン
として検出されたマーカパターンが、図９（ａ）から
（ｅ）へ水平方向に１画素シフトする際のどの位置に相
当するかを算出する。例えば、濃度の配列が｛０，０，
０，０．９５，１，１，１，０．５５，０，０｝である
マーカパターンが、最も合致度が高いマーカパターンと
して検出された場合には、６個目のマーカパターンであ
るから、図９（ａ）の状態から、約０．３画素右へシフ
トした位置が、レーンマーカの検出位置と判定すること
ができる。

【００５１】このようにすることによって、検出位置の
精度も１画素以下のオーダで検出することができる。な
お、上記実施の形態においては、起動時に、マーカパタ
ーンを設定するようにしているが、例えば、予めマーカ
パターンを算出して所定の記憶領域に格納しておき、レ
ーンマーカ検出処理実行時には、この所定の記憶領域に
格納したマーカパターンを読み出し、これに基づいてレ
ーンマーカの検出を行うようにしてもよい。

【００５２】また、上記実施の形態においては、検出範
囲の代表値をＬとして、マーカパターンを一つだけ設定
するようにした場合について説明したが、これに限ら
ず、例えば、検出範囲を複数の範囲に分割しこれに応じ
てそれぞれの範囲についてマーカパターンを設定し、マ
ーカパターンを走査するときには、走査位置に応じたマ
ーカパターンを選択し、これに基づいて走査を行うよう
にしてもよい。

【００５３】また、上記実施の形態においては、レーン
マーカとして金属鋲を想定した場合について説明した
が、これに限るものではなく離散的なレーンマーカであ
れば適用することができる。この場合には、この離散的
なレーンマーカが撮像画像上に投影されたときのレーン
マーカの最大の横方向長さに基づいて一次元パターンを
設定すればよい。

【００５４】また、上記実施の形態においては、金属鋲
等の点状のレーンマーカの検出を行うようにした場合に
ついて説明しているが、公知の、白線等の線状のレーン
マーカの検出を行うマーカ検出処理も行うようにしても
よい。この場合には、例えば、レーンマーカが点状であ
る場合のレーンマーカ検出処理及び線状である場合のレ
ーンマーカ検出処理の何れか一方、例えば、レーンマー
カが点状である場合のレーンマーカ検出処理を行い、こ
れによって的確にレーンマーカの検出を行うことができ
た場合には、次回もレーンマーカが点状である場合のレ
ーンマーカ検出処理を行い、レーンマーカが点状である
場合のレーンマーカ検出処理によって的確にレーンマー
カの検出を行うことができなかった場合には、次回のレ
ーンマーカの検出処理実行時には、レーンマーカが線状
である場合のレーンマーカ検出処理を実行するように
し、何れかレーンマーカの検出を的確に行うことができ
た方のレーンマーカ検出処理を実行するようにすればよ
い。

【００５５】ここで、カメラ１が撮像手段に対応し、図
３のステップＳ１の処理がマーカパターン設定手段に対
応し、ステップＳ３の処理が特徴強調手段に対応し、ス
テップＳ４の処理が探索領域設定手段に対応し、ステッ
プＳ５からステップＳ７の処理が候補点検出手段に対応
し、ステップＳ５の処理が相関度合検出手段に対応し、
ステップＳ６の処理がレーンマーカ領域抽出手段に対応
し、ステップＳ７の処理が候補点設定手段に対応し、ス
テップＳ８の処理が走行路検出手段に対応している。

【図面の簡単な説明】

【図１】本発明を適用した、走行路認識装置の一例を示
す概略構成図である。

【図２】図１の走行路認識装置の機能構成を示すブロッ
ク図である。

【図３】点状形状のレーンマーカの検出を行うレーンマ
ーカ検出処理の処理手順の一例を示すフローチャートで
ある。

【図４】レーンマーカのマーカパターンの設定方法を説
明するための説明図である。

【図５】レーンマーカのマーカパターンの設定方法を説
明するための説明図である。

【図６】マーカパターンの一例である。

【図７】点状のレーンマーカを撮像した撮像画像の一例
である。

【図８】レーンマーカのマーカパターンのその他の例で
ある。

【図９】レーンマーカのマーカパターンのその他の例で
ある。

【図１０】テンプレートの一例である。

【図１１】線状のレーンマーカを撮像した撮像画像の一
例である。

【符号の説明】

１カメラ２処理装置２１前処理部２２画像処理部２３道路形状推定部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA16 BA02 CA12 CA16 DA06 DC03 DC36 5H180 AA01 CC04 LL01 LL15 5L096 BA04 CA02 FA03 FA64 FA69 JA11

Claims

【特許請求の範囲】

【請求項１】自車両前方を撮像する撮像手段を備え、
当該撮像手段の撮像画像からレーンマーカ候補点を検出
し、これに基づき走行路を検出する走行路認識装置にお
いて、前記撮像画像の水平方向一次元成分に基づいて前記レー
ンマーカ候補点を検出することを特徴とする走行路認識
装置。
【請求項２】自車両前方を撮像する撮像手段と、当該撮像手段の撮像画像からレーンマーカ候補点を検出
する候補点検出手段と、当該候補点検出手段で検出されたレーンマーカ候補点に
基づいて自車両の走行路を検出する走行路検出手段と、
を備えた走行路認識装置において、前記候補点検出手段は、前記撮像画像の水平方向一次元
成分に基づいて前記レーンマーカ候補点を検出すること
を特徴とする走行路認識装置。
【請求項３】レーンマーカの形状に応じたマーカパタ
ーンを設定するマーカパターン設定手段を備え、前記候補点検出手段は、前記マーカパターン設定手段で
予め設定されたマーカパターンに基づいて前記レーンマ
ーカ候補点を検出することを特徴とする請求項２記載の
走行路認識装置。
【請求項４】前記候補点検出手段は、前記撮像手段の
撮像画像と前記マーカパターン設定手段で設定されたマ
ーカパターンとの相関度合を検出する相関度合検出手段
と、当該相関度合検出手段で検出された相関度の強い領域を
レーンマーカ領域として抽出するレーンマーカ領域抽出
手段と、当該レーンマーカ領域抽出手段で抽出したレーンマーカ
領域内の任意の点をレーンマーカ候補点として設定する
候補点設定手段と、を備えることを特徴とする請求項３
記載の走行路認識装置。
【請求項５】前記マーカパターンは、前記レーンマー
カの投影画像相当の水平方向一次元成分の特徴量及びそ
の長さに基づいて設定されることを特徴とする請求項４
記載の走行路認識装置。
【請求項６】前記マーカパターンは、前記レーンマー
カの投影画像相当の水平方向一次元成分の特徴量及びそ
の長さと、前記レーンマーカの背景画像相当の特徴量と
に基づいて設定されることを特徴とする請求項４記載の
走行路認識装置。
【請求項７】前記マーカパターンは、前記レーンマー
カの投影画像相当の水平方向一次元成分の長さを、画素
を単位として表したときの整数部に相当する画素数分の
配列と、当該配列の前後に設けられ且つ前記レーンマー
カの投影画像相当の水平方向一次元成分の長さを、画素
を単位として表したときの小数点以下部に相当する所定
画素数分の配列とで表され、前記整数部に相当する配列は前記レーンマーカの投影画
像相当の特徴量からなる配列であり、且つ、前記小数点
以下部に相当する配列は前記レーンマーカの投影画像相
当の特徴量の中間値からなる配列であることを特徴とす
る請求項５又は６記載の走行路認識装置。
【請求項８】前記レーンマーカは、離散的な形状であ
り、且つ、画素を単位としたときの前記レーンマーカの
投影画像相当の垂直方向成分の長さが１画素未満である
ことを特徴とする請求項１乃至請求項７の何れかに記載
の走行路認識装置。
【請求項９】前記撮像手段で撮像されたレーンマーカ
の特徴を強調する特徴強調手段を備え、前記候補点検出手段は、前記特徴強調手段により強調さ
れた撮像画像において前記レーンマーカ候補点を検出す
ることを特徴とする請求項２乃至８の何れかに記載の走
行路認識装置。
【請求項１０】前記撮像画像に対し、前記レーンマー
カ候補点を検出するための１又は複数の探索領域を設定
する探索領域設定手段を備え、前記候補点検出手段は、前記探索領域設定手段で設定さ
れた探索領域に対して前記レーンマーカ候補点の検出を
行うことを特徴とする請求項２乃至９の何れかに記載の
走行路認識装置。