JP2008021102A - 区画線検出装置及び車線検出装置 - Google Patents

Abstract

【課題】区画線や２本の並行する区画線からなる車線を高精度に検出する区画線検出装置及び車線検出装置を提供することを課題とする。
【解決手段】道路上の区画線を検出する区画線検出装置１であって、道路を撮像する撮像手段２と、撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段３ａと、算出した輝度勾配ベクトルの中から１組の輝度勾配ベクトルを順次抽出し、当該抽出した各組の輝度勾配ベクトルを評価する評価手段３ｂと、評価結果に基づいて輝度勾配ベクトルの向きが逆方向となる組の画素を抽出し、当該抽出した組の画素から区画線を検出する区画線検出手段３ｂとを備えることを特徴とする。
【選択図】図１

Description

本発明は、道路上の区画線（レーンマーカ）を検出する区画線検出装置及び車線検出装置に関する。

レーンキープや自動操舵などに利用するために、道路上の区画線であるレーンマーカ（白線、黄線など）やそのレーンマーカからなる車線を検出する装置が開発されている。レーンマーカを検出する装置としては、例えば、特許文献１に記載の車線認識画像処理装置では、撮像画像から水平方向にエッジを検出することによりレーンマーカの候補点を抽出し、抽出した候補点同士の傾きの比較により本線側のレーンマーカを正しく認識する。
特開２００３−２５２１４９号公報

上記した装置では、水平方向の単一のエッジ方向によってレーンマーカを判断している。しかしながら、曲路などではレーンマーカの方向が変化するので、その方向が水平方向になるほど、エッジを検出できなくなる。その結果、レーンマーカを部分的に検出できなくなったりするので、検出精度が低下する。

そこで、本発明は、区画線や２本の並行する区画線からなる車線を高精度に検出する区画線検出装置及び車線検出装置を提供することを課題とする。

本発明に係る区画線検出装置は、道路上の区画線を検出する区画線検出装置であって、道路を撮像する撮像手段と、撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルの中から１組の輝度勾配ベクトルを順次抽出し、当該抽出した各組の輝度勾配ベクトルを評価する評価手段と、評価手段による評価結果に基づいて輝度勾配ベクトルの向きが逆方向となる組の画素を抽出し、当該抽出した組の画素から区画線を検出する区画線検出手段とを備えることを特徴とする。

この区画線検出装置では、撮像手段により道路を撮像し、輝度勾配ベクトル算出手段により撮像画像の各画素の輝度勾配ベクトルを算出する。輝度勾配ベクトルは、異なる複数の方向についての輝度の勾配をとり、その複数の方向の輝度勾配を合成したベクトルである。そして、区画線検出装置では、評価手段により各画素の輝度勾配ベクトルの中から２画素の輝度勾配ベクトルからなる１組の輝度勾配ベクトルを順次抽出し、その各組の輝度勾配ベクトルについて区画線らしさを評価する。道路に区画線（白線、黄線など）が描かれている場合、道路と区画線との反射率が異なるので、区画線の平行する２本の輪郭線（道路との境界線）のうち、一方の輪郭線は輝度が暗→明（道路から区画線）に変化し、他方の輪郭線は明→暗（区画線から道路）に変化する。したがって、区画線の２本の輪郭線上の対応する点同士では、輝度勾配ベクトルの方向が逆方向となる。そのため、１組の輝度勾配ベクトルが区画線の２本の輪郭線上の対応する点（画素）の輝度勾配ベクトルであるなら、その１組の輝度勾配ベクトルはベクトルの方向が逆方向となる。そこで、区画線検出装置では、区画線検出手段により、各組の輝度勾配ベクトルに対する評価結果に基づいて、輝度勾配ベクトルの向きが逆方向になる組の画素を抽出し、その抽出した組の画素（つまり、区画線の２本の輪郭線を形成する画素）から区画線を検出する。このように、この区画線検出装置では、複数の方向の輝度勾配からなる輝度勾配ベクトルを用い、区画線の２本の輪郭線上における各点の輝度勾配ベクトルの向きが逆方向になることに利用することにより、任意の方向の区画線を検出することができる。その結果、直線路だけでなく、様々な曲路の区画線を正確に検出するこができ、区画線を高精度に検出することができる。また、各画素について輝度勾配ベクトルを算出し、各組の輝度勾配ベクトルを評価することによって画像中の区画線を検出することができるので、処理負荷も比較的少なく、効率的に区画線を検出できる。

本発明に係る車線検出装置は、道路上の２本の並行する区画線からなる車線を検出する車線検出装置であって、道路を撮像する撮像手段と、撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルの中から１組の輝度勾配ベクトルを順次抽出し、当該抽出した各組の輝度勾配ベクトルを評価する評価手段と、評価手段による評価結果に基づいて輝度勾配ベクトルの向きが逆方向となる組の画素を抽出し、当該抽出した組の画素から区画線を検出する区画線検出手段と、区画線検出手段で検出した区画線から車線の形状を推定する車線形状推定手段とを備えることを特徴とする。

この車線検出装置では、上記の区画線検出装置と同様の各手段を備えており、区画線検出装置と同様の手法により区画線を検出する。そして、車線検出装置では、車線形状推定手段により、検出した区画線から車線の形状を推定する。この車線検出装置では、高精度に検出した区画線から直線路だけでなく、様々な曲路の車線の形状を正確に検出するこができ、車線を高精度に検出することができる。

本発明の上記区画線検出装置あるいは上記車線検出装置では、評価手段は、画像中の任意の画素を中心として一定距離内に存在する点対称となる２画素からなる１組の輝度勾配ベクトルの内積を算出することによって評価値を求める構成としてもよい。

評価手段では、算出した各画素の輝度勾配ベクトルの中から画像中の任意の画素を中心として一定距離内に存在する点対称となる２画素からなる１組の輝度勾配ベクトルを順次抽出し、その抽出した組の輝度勾配ベクトルの内積を算出することによって評価値を求める。区画線の２本の輪郭線上の対応する２画素は、区画線の中心線上の画素を中心として点対称の位置にある。また、区画線の幅は決まっており、画像中の区画線の幅も所定の範囲内となる。したがって、区画線の２本の輪郭線上の対応する２画素の組を探索するためには、画像中の全画素についての全ての組み合わせを評価する必要はなく、任意の画素を中心として一定距離内に存在する点対称となる２画素の組み合わせについて評価すればよい。一定距離は、画像における区画線の幅の範囲を考慮して設定される距離である。このように、この区画線検出装置あるいは車線検出装置では、評価する組み合わせを絞ることにより、処理負荷を軽減することができる。

本発明に係る車線検出装置は、道路上の２本の並行する区画線からなる車線を検出する車線検出装置であって、道路を撮像する撮像手段と、撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、形状モデル又は過去の検出結果に基づいて車線形状候補を生成する車線形状候補生成手段と、車線形状候補生成手段で生成した車線形状候補と輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルとを照合し、当該照合結果に基づいて車線の形状を推定する車線形状推定手段とを備えることを特徴とする。

この車線検出装置では、撮像手段により道路を撮像し、輝度勾配ベクトル算出手段により撮像画像の各画素の輝度勾配ベクトルを算出する。また、車線検出装置では、車線形状候補生成手段により、形状モデルあるいは区画線や車線の過去の検出結果から車線形状候補を生成する。形状モデルは、区画線や車線の様々な形状を表すためのモデルであり、直線や様々な曲線を表すことができる形状モデルである。車線形状候補は、車線の形状を表す様々な候補である。そして、車線検出装置では、車線形状推定手段により、生成した車線形状候補と算出した輝度勾配ベクトルとを照合し、当該照合結果に基づいて車線の形状を推定する。ある車線形状候補が撮像画像中の車線（実際の車線）に形状が近いほど、その車線形状候補における各画素の輝度勾配の方向とその各画素に対応する画素の輝度勾配ベクトルの方向との差が小さくなり、その車線形状候補と輝度勾配ベクトルとの一致度が大きくなる。そこで、一致度が最も大きい車線形状候補から車線（区画線）を推定することができる。このように、この車線検出装置では、複数の方向の輝度勾配からなる輝度勾配ベクトルを用い、その輝度勾配ベクトルと車線形状候補とを照合することにより、任意の方向の車線を検出することができる。その結果、直線路だけでなく、様々な曲路の車線を正確に検出するこができ、車線を高精度に検出することができる。また、各画素について輝度勾配ベクトルを算出し、車線形状候補と輝度勾配ベクトルとを照合することによって画像中の車線を検出することができるので、処理負荷も比較的少なく、効率的に車線を検出できる。さらに、区画線の形状や幅及び車線幅を同時に検出することができる。

本発明は、輝度勾配ベクトルを用い、区画線の２本の輪郭線における各画素の輝度勾配ベクトルの向きが逆方向になることに利用することにより、任意の方向の区画線（ひいては、車線）を高精度に検出することができる。

以下、図面を参照して、本発明に係る区画線検出装置及び車線検出装置の実施の形態を説明する。

本実施の形態では、本発明を、第１の実施の形態に係るレーンマーカ検出装置、第２及び第３の実施の形態に係る車線検出装置に適用する。第１の実施の形態に係るレーンマーカ検出装置は、各画素の輝度勾配ベクトルを算出し、各組の輝度勾配ベクトルを評価することによってレーンマーカ（区画線）を検出する。第２の実施の形態に係る車線検出装置は、第１の実施の形態と同様の手法によってレーンマーカを検出し、検出したレーンマーカを用いて車線を推定する。第３の実施の形態に係る車線検出装置は、各画素の輝度勾配ベクトルを算出するとともに形状モデルから車線形状候補を生成し、輝度勾配ベクトルと車線形状候補を照合することによって車線を検出する。

図１及び図２を参照して、第１の実施の形態に係るレーンマーカ検出装置１について説明する。図１は、第１の実施の形態に係るレーンマーカ検出装置の構成図である。図２は、図１のＥＣＵの輝度勾配ベクトル算出部で用いる１次微分フィルタの一例であり、（ａ）が水平方向のフィルタであり、（ｂ）が垂直方向のフィルタである。

レーンマーカ検出装置１は、自車両が走行している車線のレーンマーカ（車線を構成する白線）を検出し、例えば、その検出したレーンマーカの情報をレーンキープ装置、自動操舵装置などの他の装置に提供したりする。レーンマーカ検出装置１では、検出精度を向上させるために、レーンマーカの２本の輪郭線における対応する点の輝度勾配ベクトルの向きが逆方向になることに利用してレーンマーカを検出する。そのために、レーンマーカ検出装置１は、カメラ２及びＥＣＵ[Electronic Control Unit]３を備えており、ＥＣＵ３内に輝度勾配ベクトル算出部３ａ及びレーンマーカ検出部３ｂが構成される。

第１の実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、輝度勾配ベクトル算出部３ａが特許請求の範囲に記載する輝度勾配ベクトル算出手段に相当し、レーンマーカ検出部３ｂが特許請求の範囲に記載する評価手段及び区画線検出手段に相当する。

カメラ２は、ＣＣＤ［Charge coupled device］やＣＭＯＳ[Complementary Metal OxideSemiconductor]などの撮像素子を備えるカメラである。カメラ２は、車両の前方に取り付けられ、車両前方の道路が撮像画像の下側の１／２〜２／３の範囲内を入るようなピッチ角度や取り付け高さで車両に取り付けされる。カメラ２では、車両前方を撮像し、その撮像画像データを画像信号としてＥＣＵ３に送信する。図３には、撮像画像の一例を示している。なお、ＥＣＵ３では少なくとも輝度情報があれば処理を行うことができるので、カメラ２はカラーカメラでもあるいは白黒カメラでもよい。車両に対するカメラ２のピッチ角は取り付け時から一定であるが、道路平面に対するカメラ２のピッチ角θは車両のピッチ方向の変動に応じて変動する。

ＥＣＵ３は、画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる。ＥＣＵ３では、レーンマーカ検出装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部３ａ，３ｂが構成される。ＥＣＵ３では、一定時間毎に、カメラ２から撮像画像データを取り入れる。そして、ＥＣＵ３では、撮像画像の各画素の輝度勾配ベクトルを算出する。さらに、ＥＣＵ３では、各画素の輝度勾配ベクトルに基づいてレーンマーカ（中心線を構成する画素列）を検出する。

輝度勾配ベクトル算出部３ａでは、撮像画像の各画素の輝度から輝度勾配ベクトルを算出する。輝度勾配ベクトルは、撮像画像の画素毎に異なる複数の方向についての輝度の勾配（エッジ）が求められ、その複数の方向の輝度勾配を合成したベクトルである。輝度勾配ベクトル算出部３ａでは、図２（ａ）に示す水平方向の１次微分フィルタを用いて、式（１）により画像中の画素Ｐ_ｕ，ｖについて水平方向の輝度の１次微分値（輝度勾配）ｄＩ_１（ｕ，ｖ）を算出する。また、輝度勾配ベクトル算出部３ａでは、図２（ｂ）に示す垂直方向の１次微分フィルタを用いて、式（２）により画像中の画素Ｐ_ｕ，ｖについて垂直方向の輝度の１次微分値ｄＩ_２（ｕ，ｖ）を算出する。

（１)式、（２）式におけるＩは、画素の輝度値である。水平方向１次微分フィルタによって（（１）式によって）、水平方向において輝度の変化している部分（エッジ）を抽出でき、垂直方向の輪郭を抽出できる。また、垂直方向１次微分フィルタによって（（２）式によって）、垂直方向において輝度の変化している部分（エッジ）を抽出でき、水平方向の輪郭を抽出できる。

図４には、図３の撮像画像に対する水平方向１次微分フィルタの出力結果を示している。図４から判るように、水平方向１次微分フィルタによって、車線の左側のレーンマーカの輪郭については大部分を抽出することができるが、右側のレーンマーカや隣接車線のレーンマーカの輪郭については十分に抽出することができない。図５には、図３の撮像画像に対する垂直方向１次微分フィルタの出力結果を示している。図５から判るように、垂直方向１次微分フィルタによって、車線の右側のレーンマーカや隣接車線のレーンマーカの輪郭については大部分を抽出することができるが、左側のレーンマーカについては十分に抽出することができない（例えば、垂直方向のエッジのみで構成される輪郭部分について欠損がある）。このように、１方向だけでは欠損や十分なエッジの強度が得られない。しかし、２方向でエッジを抽出することにより、一方の方向で欠損や十分なエッジの強度が得られない部分でも、他方の方向で十分なエッジの強度が得られる。したがって、２方向のエッジ成分からなる輝度勾配ベクトルによって、様々な方向のレーンマーカの輪郭を高精度に抽出することができる。

輝度勾配ベクトル算出部３ａでは、この２方向の１次微分フィルタの各出力から輝度勾配ベクトルを設定する。水平方向１次微分フィルタの出力をｄＩ_１（ｕ，ｖ）とし、垂直方向１次微分フィルタの出力をｄＩ_２（ｕ，ｖ）とした場合、輝度勾配ベクトルｄＩ（ｕ，ｖ）＝（ｄＩ_１（ｕ，ｖ），ｄＩ_２（ｕ，ｖ））^Ｔとなる。なお、ｕは画像上の画素の水平方向の位置を示し、ｖは画像上の画素の垂直方向の位置を示す。

なお、撮像画像の全ての画素について輝度勾配ベクトルを算出してもよいが、カメラ２のピッチ角度などを考慮し、撮像画像における道路が写っている範囲を限定できる場合にはその範囲内の画素についてのみ輝度勾配ベクトルを算出してもよい。また、各１次微分フィルタの出力結果はノイズなどの影響により局所的に大きく変化する場合があるので、平均フィルタを使用してノイズの影響を低減してもよい。

レーンマーカは、平行する２本の輪郭線（道路とレーンマーカとの境界）を有している。レーンマーカ（白線）の反射率は道路の反射率より大きいので、一方の輪郭線では輝度が暗→明（道路からレーンマーカ）に変化し、他方の輪郭線では明→暗（レーンマーカから道路）に変化する。したがって、一方の輪郭線における任意の画素の輝度勾配ベクトルと他方の輪郭線における対応する画素の輝度勾配ベクトルとは、１次微分の場合にはその方向が真逆方向となり、その強度が同程度となる。この特性を利用して、輝度勾配ベクトルからレーンマーカを検出する。

レーンマーカ検出部３ｂでは、所定の関係を満たす２画素を１組とした輝度勾配ベクトルからレーンマーカらしさを評価し、その評価結果からレーンマーカの中心線を検出する。レーンマーカは一定幅を有しているので、レーンマーカの中心線を特定することにより、レーンマーカの２本の輪郭線（すなわち、レーンマーカの形状）を特定することになる。

レーンマーカ検出部３ｂでは、画像上の任意の画素Ｐ_ｕ，ｖを順次抽出する。画素Ｐ_ｕ，ｖは、輝度勾配ベクトルを算出した範囲内の画素が抽出される。そして、レーンマーカ検出部３ｂでは、抽出した画素Ｐ_ｕ，ｖを中心として、画素Ｐ_ｕ，ｖから一定距離ｄ（ｄｍｉｎ以上でかつｄｍａｘ以下）内に存在する点対称となる２点の画素（ｕ’，ｖ’）、（ｕ”，ｖ”）を抽出する。レーンマーカの場合、レーンマーカの中心線上のある点から一定範囲内に点対称で左右の輪郭線上の対応する各点が存在するので、画素Ｐ_ｕ，ｖから一定距離ｄ内に存在し、画素Ｐ_ｕ，ｖを中心として点対称の関係にある２画素を抽出している。ｄｍｉｎは画像中のレーンマーカの幅の最小値の１／２の値とし、ｄｍａｘは画像中のレーンマーカの幅の最大値の１／２の値とする。さらに、レーンマーカ検出部３ｂでは、式（３）により、抽出した２点の画素（ｕ’，ｖ’）、（ｕ”，ｖ”）の輝度勾配ベクトルｄＩ（ｕ’，ｖ’）、ｄＩ（ｕ”，ｖ”）を用いて、レーンマーカらしさを示す評価値ＬＢ（ｕ，ｖ）を算出する。

式（３）では、ｄＩ_１（ｕ’，ｖ’）が画素（ｕ’，ｖ’）の水平方向１次微分フィルタの出力であり、ｄＩ_２（ｕ’，ｖ’）が画素（ｕ’，ｖ’）の垂直方向１次微分フィルタの出力であり、ｄＩ_１（ｕ”，ｖ”）が画素（ｕ”，ｖ”）の水平方向１次微分フィルタの出力であり、ｄＩ_２（ｕ”，ｖ”）が画素（ｕ”，ｖ”）の垂直方向１次微分フィルタの出力であり、ｆ（）は所定の評価関数である。１次微分フィルタによる輝度勾配ベクトルの場合、レーンマーカの２本の輪郭線上の各画素の輝度勾配ベクトルの向きが逆方向になるので、評価関数として内積を用いる。レーンマーカ検出部３ｂでは、式（４）により、評価値ＬＢ（ｕ，ｖ）を算出する。

なお、２次微分などのフィルタによる輝度勾配ベクトルを用いることによってレーンマーカの２本の輪郭線上の各画素の輝度勾配ベクトルの向きが同方向になる場合、評価関数として式（５）で示す総和や式（６）で示す積を用いる。

これら評価値ＬＢ（ｕ，ｖ）は、２画素（ｕ’，ｖ’）、（ｕ”，ｖ”）の各輝度勾配ベクトルの向きが逆方向となるほど、値が大きくなる。また、評価値ＬＢ（ｕ，ｖ）は、２画素（ｕ’，ｖ’）、（ｕ”，ｖ”）の各輝度勾配ベクトルの強度が大きいほど、値が大きくなる。

レーンマーカ検出部３ｂでは、画像中の各画素Ｐ_ｕ，ｖについて、一定距離ｄ内に存在する点対称となる２点の画素（ｕ’，ｖ’）、（ｕ”，ｖ”）の全ての組み合わせについて評価値ＬＢ（ｕ，ｖ）を算出し、全ての組み合わせの評価値ＬＢ（ｕ，ｖ）の中から最大の評価値ＬＢ（ｕ，ｖ）を選択する。そして、レーンマーカ検出部３ｂでは、画像中の各画素Ｐ_ｕ，ｖについて、最大の評価値ＬＢ（ｕ，ｖ）が閾値Ｔｈ１より大きいか否かを判定する。閾値Ｔｈ１は、評価値ＬＢ（ｕ，ｖ）の大きさとして２画素（ｕ’，ｖ’）、（ｕ”，ｖ”）がレーンマーカの２本の輪郭線上の対応する各画素であると十分に判定できる大きな値である。閾値Ｔｈ１は、道路の反射率及び白線の反射率などを考慮して設定されてもよいし、あるいは、実際に様々な道路で評価値を求め、その実験結果から決定されてもよい。

レーンマーカ検出部３ｂでは、閾値Ｔｈ１より大きい評価値ＬＢ（ｕ，ｖ）であった画素Ｐ_ｕ，ｖをレーンマーカの中心線上の画素とし、その画素Ｐ_ｕ，ｖ列をレーンマーカの形状として出力する。なお、レーンマーカの中心線を形成する画素Ｐ_ｕ，ｖ列からレーンマーカの２本の輪郭線を形成する２本の画素列を算出し、その２本の画素列をレーンマーカの形状として出力してもよい。

図１を参照して、レーンマーカ検出装置１の動作について説明する。特に、ＥＣＵ３における輝度勾配ベクトル算出部３ａの処理については図６のフローチャートに沿って説明し、レーンマーカ検出部３ｂの処理については図７のフローチャートに沿って説明する。図６は、図１のＥＣＵの輝度勾配ベクトル算出部における処理の流れを示すフローチャートである。図７は、図１のＥＣＵのレーンマーカ検出部における処理の流れを示すフローチャートである。

カメラ２では、車両前方を撮像し、画像信号をＥＣＵ３に送信している。ＥＣＵ３では、一定時間（例えば、１／３０秒）毎に、画像信号を受信し、その撮像画像のデータを一時記憶する。そして、ＥＣＵ３では、この撮像画像についての処理を開始する。

まず、ＥＣＵ３では、画像中から画素Ｐ_ｕ，ｖを抽出する（Ｓ１０）。そして、ＥＣＵ３では、水平方向１次微分フィルタを用いて、画素Ｐ_ｕ，ｖの水平方向の輝度勾配ｄＩ_１（ｕ，ｖ）を算出する（Ｓ１１）。また、ＥＣＵ３では、垂直方向１次微分フィルタを用いて、画素Ｐ_ｕ，ｖの垂直方向の輝度勾配ｄＩ_２（ｕ，ｖ）を算出する（Ｓ１２）。そして、ＥＣＵ３では、水平方向の輝度勾配ｄＩ_１（ｕ，ｖ）と垂直方向の輝度勾配ｄＩ_２（ｕ，ｖ）から画素Ｐ_ｕ，ｖの輝度勾配ベクトルｄＩ（ｕ，ｖ）を設定する（Ｓ１３）。

そして、ＥＣＵ３では、全ての画素Ｐ_ｕ，ｖについて輝度勾配ベクトルの算出処理が終了したか否かを判定する（Ｓ１４）。Ｓ１４にて全ての画素Ｐ_ｕ，ｖについて処理が終了していないと判定した場合、Ｓ１０の処理に戻り、次の画素Ｐ_ｕ，ｖについての処理を行う。一方、Ｓ１４にて全ての画素Ｐ_ｕ，ｖについての処理が終了したと判定した場合、輝度勾配ベクトル算出処理を終了する。

輝度勾配ベクトルを算出すると、ＥＣＵ３では、画像中から画素Ｐ_ｕ，ｖを抽出する（Ｓ２０）。そして、ＥＣＵ３では、画素Ｐ_ｕ，ｖを中心として、一定距離ｄ（ｄｍｉｎからｄｍａｘまでの範囲）に存在する点対称となる１組の画素（ｕ’，ｖ’）、（ｕ”，ｖ”）を順次抽出し、その１組の画素（ｕ’，ｖ’）、（ｕ”，ｖ”）の各輝度勾配ベクトルｄＩ（ｕ’，ｖ’）、ｄＩ（ｕ”，ｖ”）から評価値ＬＢ（ｕ，ｖ）を算出する（Ｓ２１）。この評価値ＬＢ（ｕ，ｖ）を、一定距離ｄ内に存在する点対称となる全ての組み合わせについてそれぞれ算出する。そして、ＥＣＵ３では、その全ての組み合わせの各評価値ＬＢ（ｕ，ｖ）の中から最大の評価値ＬＢ（ｕ，ｖ）を選択する（Ｓ２１）。さらに、ＥＣＵ３では、最大の評価値ＬＢ（ｕ，ｖ）が閾値Ｔｈ１より大きいか否かを判定する（Ｓ２２）。Ｓ２２にて閾値Ｔｈ１より大きいと判定した場合（すなわち、最大の評価値ＬＢ（ｕ，ｖ）となる輝度勾配ベクトルｄＩ（ｕ’，ｖ’）、ｄＩ（ｕ”，ｖ”）は向きが逆向きで強度もある程度大きい場合）、ＥＣＵ３では、画素Ｐ_ｕ，ｖをレーンマーカの中心線上の画素として設定する（Ｓ２３）。一方、Ｓ２２にて閾値Ｔｈ１以下と判定した場合、Ｓ２４の処理に移行する。

そして、ＥＣＵ３では、全ての画素Ｐ_ｕ，ｖについてレーンマーカ検出処理を終了したか否かを判定する（Ｓ２４）。Ｓ２４にて全ての画素Ｐ_ｕ，ｖについて処理が終了していないと判定した場合、Ｓ２０の処理に戻り、次の画素Ｐ_ｕ，ｖについての処理を行い。一方、Ｓ２４にて全ての画素Ｐ_ｕ，ｖについての処理が終了したと判定した場合、レーンマーカ検出処理を終了する。ここで、現時刻ｔの撮像画像におけるレーンマーカの中心線を形成する画素Ｐ_ｕ，ｖ列が抽出されたことになる。ＥＣＵ３では、この画素Ｐ_ｕ，ｖ列のデータを出力する。

レーンマーカ検出装置１では、一定時間毎（撮像画像を取得する毎）に、上記の動作を繰り返し行い、レーンマーカの中心線を形成する画素Ｐ_ｕ，ｖ列を求め、出力する。

このレーンマーカ検出装置１によれば、２方向の輝度勾配からなる輝度勾配ベクトルを用い、レーンマーカの左右両側の輪郭線における対応する各点の輝度勾配ベクトルの向きが逆方向になることに利用することにより、任意の方向のレーンマーカを高精度に検出することができる。また、各画素について輝度勾配ベクトルを算出し、所定の位置関係にある２画素間の輝度勾配ベクトルを評価することによって画像中のレーンマーカを検出することができるので、処理負荷も比較的少なく、効率的にレーンマーカを検出できる。

さらに、レーンマーカ検出装置１では、任意の画素から一定距離内に存在する点対称となる２点の画素についてのみ評価することにより、評価する組み合わせを絞ることができ、処理負荷を更に軽減することができる。

図８を参照して、第２の実施の形態に係る車線検出装置１１について説明する。図８は、第２の実施の形態に係る車線検出装置の構成図である。なお、車線検出装置１１では、第１の実施の形態に係るレーンマーカ検出装置１と同様の構成について同一の符号を付し、その説明を省略する。

車線検出装置１１は、自車両が走行している車線を検出し、例えば、その検出した車線の情報をレーンキープ装置、自動操舵装置などの他の装置に提供したりする。車線検出装置１１では、レーンマーカ検出装置１と同様の処理によってレーンマーカを検出し、そのレーンマーカから車線を推定する。そのために、車線検出装置１１は、カメラ２及びＥＣＵ１３を備えており、ＥＣＵ１３内に輝度勾配ベクトル算出部３ａ、レーンマーカ検出部３ｂ及び車線形状推定部１３ｃが構成される。

第２の実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、輝度勾配ベクトル算出部３ａが特許請求の範囲に記載する輝度勾配ベクトル算出手段に相当し、レーンマーカ検出部３ｂが特許請求の範囲に記載する評価手段及び区画線検出手段に相当し、車線形状推定部１３ｃが特許請求の範囲に記載する車線形状推定手段に相当する。

ＥＣＵ１３は、画像処理用のＥＣＵであり、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる。ＥＣＵ１３では、車線検出装置１１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部３ａ，３ｂ，１３ｃが構成される。ＥＣＵ１３では、一定時間毎に、カメラ２から撮像画像データを取り入れる。そして、ＥＣＵ１３では、第１の実施の形態に係るＥＣＵ３と同様の処理によりレーンマーカを検出する。さらに、ＥＣＵ１３では、その検出したレーンマーカを用いて車線を推定する。

車線形状推定部１３ｃでは、レーンマーカの中心線を形成する画素Ｐ_ｕ，ｖ列を用いて、形状モデルを利用して車線の形状と位置を推定する。ここでは、形状モデルとして、文献[B.Southall C.J.Taylor,”Stochastic roadshape estimation”,ICCV2001]において開示されている式（７）の形状モデルを用いる。

式（７）に示す形状モデルは、３次元の形状モデルを平面に投影したモデルであり、ｘ座標が車両の進行方向であり、ｙ座標が車両の進行方向に直交する方向である。式（７）におけるｙ_０が車線の中心線からのオフセットに相当するパラメータであり、εがカメラ２の撮像方向に対するレーンマーカの方向（傾き）に相当するパラメータであり、Ｃ_０がレーンマーカの曲率に相当するパラメータであり、Ｃ_１がレーンマーカの曲率の変化に相当するパラメータである。ｙ_０は車線の中心線に対して左側オフセットと右側オフセットがプラス値とマイナス値で表され、その左側オフセットと右側オフセットの差が車線の幅Ｗとなる。

この形状モデルの各パラメータｙ_０，ε（ｔａｎ（ε）），Ｃ_０，Ｃ_１と車線の幅Ｗ（１対のレーンマーカの間隔）によって、車線の形状と位置を規定することができる。そこで、これらパラメータにカメラ画像の座標系と形状モデルの座標系との変換に必要なカメラ２のピッチ角θを加えたモデルを考える。車線形状推定部１３ｃでは、レーンマーカの中心線を形成する画素Ｐ_ｕ，ｖ列に対して、式（７）の形状モデルを当てはめることによって、各パラメータｙ_０，ｔａｎ（ε），Ｃ_０，Ｃ_１，Ｗを推定する。車線形状推定部１３ｃでは、推定方法としてはカルマンフィルタを用い、式（８）に示す推定パラメータφ_ｔを推定する。

下付き文字ｔは現時刻ｔであることを示し、下付き文字ｔ−１は現時刻ｔの一定時間Δｔ前の時刻を示す。まず、車線形状推定部１３ｃでは、前時刻ｔ−１で推定した推定パラメータφ_ｔ−１を用いて、式（９）により現時刻ｔの推定パラメータの予測値φ_ｔ’を算出する。

式（９）における行列Ａは式（１０）で表され、ω_ｔは外乱ノイズである。式（１０）におけるΔｘは式（１１）で表される。式（１１）のＶは、車速であり、図示しない車速センサで検出される。式（１１）のΔｔは、撮像画像の入力される間隔であり、一定の時間間隔（例えば、１／３０秒）である。

次に、車線形状推定部１３ｃでは、前時刻ｔ−１で算出した事後誤差共分散行列Ｍ_ｔ−１を用いて、式（１２）により現時刻ｔでの事後誤差共分散行列の予測値Ｍ_ｔ’を算出する。車線形状推定部１３ｃでは、事後誤差共分散行列の予測値Ｍ_ｔ’を用いて、式（１３）により現時刻ｔでのカルマンゲインＫを算出する。車線形状推定部１３ｃでは、検出したレーンマーカの中心線の画素Ｐ_ｕ，ｖ列、推定パラメータの予測値φ_ｔ’とカルマンゲインＫを用いて、式（１４）により現時刻ｔでの推定パラメータφ_ｔを算出する。また、車線形状推定部１３ｃでは、事後誤差共分散行列の予測値Ｍ_ｔ’とカルマンゲインＫを用いて、式（１５）により現時刻ｔでの事後誤差共分散行列Ｍ_ｔを算出する。この事後誤差共分散行列Ｍ_ｔは、次時刻ｔ−１で用いられる。

式（１２）における行列Ｑは、システム誤差共分散行列である。式（１３）におけるＨ_ｔは式（１６）で表され、行列Ｒは観測誤差共分散行列である。式（１４）におけるｈ（φ_ｔ’）は、観測方程式であり、式（１７）で表される。

式（１７）におけるｘ_１，ｔ，・・・，ｘ_ｎ，ｔは、カメラ２の初期取り付け高さｌとカメラ２のピッチ角θに基づいて、検出したｎ個のレーンマーカの中心線を形成する画素Ｐ_ｕ，ｖを道路平面にそれぞれ投影した座標Ｐ_ｘ，ｙ＝（ｘ，ｙ）^Ｔのうちの車両の進行方向の座標（ｘ座標）である。また、式（１４）におけるｙ_ｔ（ｙ_１，ｔ，・・・，ｙ_ｎ，ｔ）は、その道路平面に投影した座標Ｐ_ｘ，ｙ＝（ｘ，ｙ）^Ｔのうちの車両の進行方向の直交方向の座標（ｙ座標）である。なお、カメラ２の位置（撮像画像上の位置）から道路平面への位置は、カメラ２の初期取り付け高さｌ（既知）とカメラ２の道路平面に対するピッチ角θによっておおよそ決定することができる。なお、ピッチ角θは、図示しない角速度センサなどによって検出してもよいし、あるいは、所定の方法によって推定してもよい。

現時刻ｔでの推定パラメータφ_ｔが算出されることによって、レーンマーカの形状モデル（式（７））と車線幅Ｗが決定されることになり、車線の３次元上（道路平面に投影したもの）の形状と位置を推定したことになる。車線形状推定部１３ｃでは、この各パラメータを決定した形状モデル（レーンマーカの形状）と車線幅Ｗを車線の形状と位置の情報として出力する。

図８を参照して、車線検出装置１１の動作について説明する。特に、ＥＣＵ１３における車線形状推定部１３ｃの処理については図９のフローチャートに沿って説明する。図９は、図８のＥＣＵの車線形状推定部における処理の流れを示すフローチャートである。なお、レーンマーカを検出するまでの動作については、第１の実施の形態と同様の動作なので、その説明を省略し、レーンマーカを検出した以降の動作について説明する。

レーンマーカの中心線を構成する画素Ｐ_ｕ，ｖ列を検出すると、ＥＣＵ１３では、式（９）により、前時刻ｔ−１で求めた推定パラメータφ_ｔ−１を用いて、現時刻ｔでの推定パラメータの予測値φ_ｔ’を算出する（Ｓ３０）。次に、ＥＣＵ１３では、式（１２）により、前時刻ｔ−１で求めた事後誤差共分散行列Ｍ_ｔ−１を用いて、現時刻ｔでの事後誤差共分散行列の予測値Ｍ_ｔ’を算出する（Ｓ３１）。次に、ＥＣＵ１３では、式（１３）により、事後誤差共分散行列の予測値Ｍ_ｔ’を用いて、現時刻ｔでのカルマンゲインＫを算出する（Ｓ３２）。次に、ＥＣＵ１３では、カメラ２のピッチ角θとカメラ２の初期取り付け位置ｌに基づいて、検出したレーンマーカの中心線を構成する各画素Ｐ_ｕ，ｖを道路平面上に投影した座標Ｐ_ｘ，ｙにそれぞれ変換する（Ｓ３３）。そして、ＥＣＵ１３では、式（１４）により、変換した各座標Ｐ_ｘ，ｙ、推定パラメータの予測値φ_ｔ’及びカルマンゲインＫを用いて、現時刻ｔでの推定パラメータφ_ｔを算出する（Ｓ３３）。また、ＥＣＵ１３では、式（１５）により、事後誤差共分散行列の予測値Ｍ_ｔ’及びカルマンゲインＫを用いて、現時刻ｔでの事後誤差共分散行列Ｍ_ｔを算出する（Ｓ３４）。さらに、ＥＣＵ１３では、算出した推定パラメータφ_ｔの各パラメータにより車線の形状と位置を設定し、その車線の形状と位置の情報を出力する（Ｓ３５）。

車線検出装置１１では、一定時間毎（撮像画像を取得する毎）に、上記の動作を繰り返し行い、車線の形状と位置の情報を求め、出力する。

この車線検出装置１１によれば、レーンマーカの検出に関して第１の実施の形態に係るレーンキープ検出装置１と同様の効果を有する上に、高精度に検出したレーンマーカから直線路だけでなく、様々な曲路の車線の幅や形状を正確に検出するこができ、車線を高精度に検出することができる。

さらに、車線検出装置１１では、形状モデルとカルマンフィルタを利用することにより、画像全体を見て車線（レーンマーカ）の形状を推定しているので、レーンマーカの検出で誤検出があった場合でもその影響を抑制することができる。なお、レーンマーカの検出精度を更に向上させるために、この画像全体を見て推定したレーンマーカの形状を用いて、レーンマーカを再計算してもよい。

図１０を参照して、第３の実施の形態に係る車線検出装置２１について説明する。図１０は、第３の実施の形態に係る車線検出装置の構成図である。なお、車線検出装置２１では、第１の実施の形態に係るレーンマーカ検出装置１と同様の構成について同一の符号を付し、その説明を省略する。

車線検出装置２１は、自車両が走行している車線を検出し、例えば、その検出した車線の情報をレーンキープ装置、自動操舵装置などの他の装置に提供したりする。車線検出装置２１では、レーンマーカ検出装置１と同様の処理によって輝度勾配ベクトルを算出するとともに、車線形状候補を生成し、輝度勾配ベクトルと車線形状候補を用いて車線を推定する。そのために、車線検出装置２１は、カメラ２及びＥＣＵ２３を備えており、ＥＣＵ２３内に輝度勾配ベクトル算出部３ａ、車線形状候補生成部２３ｂ及び車線形状推定部２３ｃが構成される。

なお、第３の実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、輝度勾配ベクトル算出部３ａが特許請求の範囲に記載する輝度勾配ベクトル算出手段に相当し、車線形状候補生成部２３ｂが特許請求の範囲に記載する車線形状候補生成手段に相当し、車線形状推定部２３ｃが特許請求の範囲に記載する車線形状推定手段に相当する。

ＥＣＵ２３は、画像処理用のＥＣＵであり、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる。ＥＣＵ２３では、車線検出装置２１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部３ａ，２３ｂ，２３ｃが構成される。ＥＣＵ２３では、一定時間毎に、カメラ２から撮像画像データを取り入れる。そして、ＥＣＵ２３では、第１の実施の形態に係るＥＣＵ３と同様の処理により輝度勾配ベクトルを算出する。また、ＥＣＵ２３では、形状モデルかた多数の車線形状候補を生成する。さらに、ＥＣＵ２３では、輝度勾配ベクトルと各車線形状候補とを照合し、その照合結果から車線を推定する。

車線形状候補生成部２３ｂでは、形状モデルを利用して車線候補を多数生成する。ここでは、第２の実施の形態で用いた式（７）で示す形状モデルを用いる。また、形状モデルの各パラメータｙ_０，ｔａｎ（ε），Ｃ_０，Ｃ_１、車線の幅Ｗ、カメラのピッチ角θの他にレーンマークの幅ｌｗを加えたモデルを考える。レーンマーカの幅ｌｗも同時に推定することにより、レーンマーカの幅が異なる場合でも適切な車線形状候補を生成することができる。車線形状候補としては、任意のＮ個を生成するものとする。

道路上にはレーンマーカとなる白線以外にも横断歩道などの様々な形状の白線が存在するので、車線を構成するレーンマーカだけを抽出する必要がある。そこで、形状モデルを利用し、レーンマーカとみなすことができる形状だけを車線形状候補として生成する。レーンマーカ（車線）の形状は、直線（カーブ半径無限大）からカーブ半径数１０程度までの曲線、車線幅、レーンマーク幅などが道路構造上決まっている。また、カメラ２のピッチ角θも、カメラの車両に対するピッチ角と車両のピッチ角の限界などから推定することができる。したがって、各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗの範囲を規定することができ、その範囲内の各パラメータの値の組み合わせでモデルを構成することによって、レーンマーカとなる可能性のある様々なパターンの車線形状候補を生成することができる。そこで、パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗ毎に、取りうる範囲と取りうる値の分布を示す各密度分布Ｐｔを予め設定しておく。分布としては、均等分布、二項分布など特に限定しない。したがって、車線形状候補の数のＮ個は、各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗが各密度分布から取りうる値の組み合わせの個数となる。

車線形状候補生成部２３ｂでは、ｎ番目の車線形状候補を生成する場合、各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗの密度分布Ｐｔに基づいて、ｎ番目の各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗの値の決定する。そして、車線形状候補生成部２３ｂでは、決定した各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗの値と式（７）の形状モデルから、ｎ番目の車線形状候補のカメラ画像上での車線形状（各レーンマーカの輪郭線）を算出する。この際、式（７）の形状モデルを２次元画像上に投影するときには、カメラ２のピッチ角θとカメラ２の初期取り付け高さｌを用いて変換する。車線形状候補生成部２３ｂでは、上記の処理をＮ個の車線形状候補について行う。図１１には、画像上に生成した車線形状候補ＬＣを投影した一例を示しており、実際の車線の形状とは一致していない。

車線形状推定部２３ｃでは、Ｎ個の車線形状候補と輝度勾配ベクトルとをそれぞれ照合し、その照合結果から車線の形状と位置を推定する。ある車線形状候補が撮像画像中の実際の車線に形状が近いほど、その画像上に投影した車線形状候補における各画素の輝度勾配の方向とその各画素に対応する輝度勾配ベクトルの方向との差は小さくなり、その車線形状候補と輝度勾配ベクトルとの一致度が大きくなる。特に、画像上に投影した車線形状候補が撮像画像中の車線に重なる場合、レーンマーカの２本の輪郭線の対応する画素の輝度勾配ベクトルの方向は逆方向となり、これと同じ向きで車線形状候補の各レーンマーカの２本の輪郭線の対応する輝度勾配の方向も逆方向となり、レーンマーカの幅や車線幅も同じ幅となるので、一致度は非常に大きくなる。そこで、一致度が最も大きい車線形状候補から車線（レーンマーカ）を推定することができる。

車線形状推定部２３ｃでは、ｎ番目の車線形状候補について、車線形状候補（画像上の投影された候補）の各輪郭線を構成する画素（ｉ，ｊ）毎に、輝度勾配方向の単位ベクトルｎ_ｃ（ｉ，ｊ）を算出する。このｎ_ｃ（ｉ，ｊ）は、画像上に投影された各座標点（ｉ，ｊ）における車線形状候補の輪郭線の輝度勾配方向の単位ベクトルであり、第１の実施の形態と同様に水平方向と垂直方向の２方向の輝度勾配の単位ベクトルとする。そして、車線形状推定部２３ｃでは、式（１８）により、車線形状候補の各輪郭線を構成する全ての座標点（ｉ，ｊ）について、各座標点の輝度勾配方向の単位ベクトルｎ_ｃ（ｉ，ｊ）とその対応する画素の輝度勾配ベクトルｄＩ（ｉ，ｊ）との一致度を表す評価値Ｖ（ｎ）を算出する。

式（１８）における関数Ｃｏｒ（ｉ，ｊ）は、式（１９）で表す関数である。式（１９）の関数は、同じ向きのベクトル（ひいては、輪郭線）であれば一致度を高くし、異なる向きのベクトルであれば一致度を低くする関数である。

車線形状推定部２３ｃでは、上記の処理をＮ個の車線形状候補について行う。そして、車線形状推定部２３ｃでは、Ｎ個の車線形状候補の評価値Ｖ（ｎ）の中から最大値の評価値Ｖ（ｎ）の車線形状候補を抽出し、その車線形状候補の各パラメータからなる形状モデル（レーンマーカの形状）と車線幅Ｗ、レーンマーカ幅ｌｗを車線の形状と位置の情報として出力する。

図１０を参照して、車線検出装置２１の動作について説明する。特に、ＥＣＵ２３における車線形状候補生成部２３ｂの処理については図１２のフローチャートに沿って説明し、車線形状推定部２３ｃの処理について図１３のフローチャートに沿って説明する。図１２は、図１０のＥＣＵの車線形状候補生成部における処理の流れを示すフローチャートである。図１３は、図１０のＥＣＵの車線形状推定部における処理の流れを示すフローチャートである。なお、輝度勾配ベクトルを算出するまでの動作については、第１の実施の形態と同様の動作なので、その説明を省略し、輝度勾配ベクトルを検出した以降の動作について説明する。

輝度勾配ベクトルを算出すると、ＥＣＵ２３では、生成する車線形状候補ｎを抽出する（Ｓ４０）。そして、ＥＣＵ２３では、各パラメータの密度分布Ｐｔに基づいて、車線形状候補ｎについての各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗの値を決定する（Ｓ４１）。さらに、ＥＣＵ２３では、決定した各パラメータｙ_０，ε，Ｃ_０，Ｃ_１，Ｗ，θ，ｌｗと形状モデル（式（７））により、車線形状候補ｎの画像上での車線形状を算出する（Ｓ４２）。

そして、ＥＣＵ２３では、全て（Ｎ個）の車線形状候補についての生成処理が終了したか否かを判定する（Ｓ４３）。Ｓ４３にて全ての車線形状候補について処理が終了していないと判定した場合、Ｓ４０の処理に戻り、次の車線形状候補についての生成処理を行う。一方、Ｓ４３にて全ての車線形状候補についての処理が終了したと判定した場合、生成処理を終了する。

車線形状候補を生成すると、ＥＣＵ２３では、生成した車線形状候補の中から車線形状候補ｎを抽出する（Ｓ５０）。そして、ＥＣＵ２３では、車線形状候補ｎの輪郭線を構成する座標（ｉ，ｊ）毎に、輝度勾配方向の単位ベクトルｎ_ｃ（ｉ，ｊ）を算出する（Ｓ５１）。さらに、ＥＣＵ２３では、式（１８）により、車線形状候補ｎの輪郭線を構成する全ての座標（ｉ，ｊ）についての輝度勾配方向の単位ベクトルｎ_ｃ（ｉ，ｊ）と各座標に対応する画素の輝度勾配ベクトルｄＩ（ｉ，ｊ）との評価値Ｖ（ｎ）を算出する（Ｓ５２）。

そして、ＥＣＵ２３では、全て（Ｎ個）の車線形状候補についての照合処理が終了したか否かを判定する（Ｓ５３）。Ｓ５３にて全ての車線形状候補について処理が終了していないと判定した場合、Ｓ５０の処理に戻り、次の車線形状候補についての照合処理を行う。一方、Ｓ５３にて全ての車線形状候補についての処理が終了したと判定した場合、ＥＣＵ２３では、全ての車線形状候補の中から最も評価値Ｖ（ｎ）の高い車線形状候補により、実際の車線の形状と位置を設定し、その車線の形状と位置の情報を出力する（Ｓ５４）。

車線検出装置２１では、一定時間毎（撮像画像を取得する毎）に、上記の動作を繰り返し行い、車線の形状と位置の情報を求め、出力する。

この車線検出装置２１によれば、複数の方向の輝度勾配からなる輝度勾配ベクトルを用い、その輝度勾配ベクトルと多数の車線形状候補とを照合することにより、任意の方向の車線を高精度に検出することができる。また、各画素について輝度勾配ベクトルを算出し、車線形状候補と輝度勾配ベクトルとを照合することによって画像中の車線を検出することができるので、処理負荷も比較的少なく、効率的に車線を検出できる。さらに、レーンマーカの形状や幅及び車線幅を同時に検出することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では輝度勾配ベクトルを求めるために水平方向と垂直方向の１次微分フィルタを用いたが、４５°方向などの他の方向のフィルタを用いてもよいし、２次微分などの他の次元の微分フィルタを用いてもよい。

また、本実施の形態では任意の画素Ｐ_ｕ，ｖの一定距離内の点対称の２画素の輝度勾配ベクトルの評価を行う構成としたが、画素Ｐ_ｕ，ｖを通る任意の線上（例えば、水平線）上に存在する画素の組み合わせとするなどの他の方法による組み合わせで輝度勾配ベクトルの評価を行う構成としてもよい。

また、本実施の形態ではレーンキープの中心線を検出する構成としたが、レーンキープの２本の輪郭線を検出する構成としてもよい。

また、第２の実施の形態では形状モデルを利用して車線形状を推定する構成としたが、他の手法によって車線形状を推定する構成としてもよい。また、カルマンフィルタを用いて形状モデルのパラメータや車線幅を推定する構成としたが、パーティクルフィルタなどの他のフィルタを用いてもよい。

また、第３の実施の形態では形状モデルを利用して車線形状候補を生成する構成としたが、過去に検出したレーンマーカや車線の情報がある場合にはその検出結果を利用して車線形状候補を生成する構成としてもよい。特に、パーティクルフィルタのように前時刻の車線検出結果に基づいて確率的に次の時刻の車線形状候補を決定することもできる。この場合、候補の数が少なくなって処理負荷が軽減し、少ない候補数でも輝度勾配ベクトルと一致する車線形状候補を検出し易い。

第１の実施の形態に係るレーンマーカ検出装置の構成図である。 図１のＥＣＵの輝度勾配ベクトル算出部で用いる１次微分フィルタの一例であり、（ａ）が水平方向のフィルタであり、（ｂ）が垂直方向のフィルタである。 図１のカメラの撮像画像の一例である。 図３の撮像画像に対する水平方向１次微分フィルタの出力結果である。 図３の撮像画像に対する垂直方向１次微分フィルタの出力結果である。 図１のＥＣＵの輝度勾配ベクトル算出部における処理の流れを示すフローチャートである。 図１のＥＣＵのレーンマーカ検出部における処理の流れを示すフローチャートである。 第２の実施の形態に係る車線検出装置の構成図である。 図８のＥＣＵの車線形状推定部における処理の流れを示すフローチャートである。 第３の実施の形態に係る車線検出装置の構成図である。 図１０のＥＣＵの車線形状候補生成部で生成した車線形状候補の一例である。 図１０のＥＣＵの車線形状候補生成部における処理の流れを示すフローチャートである。 図１０のＥＣＵの車線形状推定部における処理の流れを示すフローチャートである。

符号の説明

１…レーンマーカ検出装置、１１，２１…車線検出装置、２…カメラ、３，１３，２３…ＥＣＵ、３ａ…輝度勾配ベクトル算出部、３ｂ…レーンマーカ検出部、１３ｃ，２３ｃ…車線形状推定部、２３ｂ…車線形状候補生成部

Claims (5)

1. 道路上の区画線を検出する区画線検出装置であって、
   道路を撮像する撮像手段と、
   前記撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、
   前記輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルの中から１組の輝度勾配ベクトルを順次抽出し、当該抽出した各組の輝度勾配ベクトルを評価する評価手段と、
   前記評価手段による評価結果に基づいて輝度勾配ベクトルの向きが逆方向となる組の画素を抽出し、当該抽出した組の画素から区画線を検出する区画線検出手段と
   を備えることを特徴とする区画線検出装置。
2. 前記評価手段は、画像中の任意の画素を中心として一定距離内に存在する点対称となる２画素からなる１組の輝度勾配ベクトルの内積を算出することによって評価値を求めることを特徴とする請求項１に記載する区画線検出装置。
3. 道路上の２本の並行する区画線からなる車線を検出する車線検出装置であって、
   道路を撮像する撮像手段と、
   前記撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、
   前記輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルの中から１組の輝度勾配ベクトルを順次抽出し、当該抽出した各組の輝度勾配ベクトルを評価する評価手段と、
   前記評価手段による評価結果に基づいて輝度勾配ベクトルの向きが逆方向となる組の画素を抽出し、当該抽出した組の画素から区画線を検出する区画線検出手段と、
   前記区画線検出手段で検出した区画線から車線の形状を推定する車線形状推定手段と
   を備えることを特徴とする車線検出装置。
4. 前記評価手段は、画像中の任意の画素を中心として一定距離内に存在する点対称となる２画素からなる１組の輝度勾配ベクトルの内積を算出することによって評価値を求めることを特徴とする請求項３に記載する車線検出装置。
5. 道路上の２本の並行する区画線からなる車線を検出する車線検出装置であって、
   道路を撮像する撮像手段と、
   前記撮像手段で撮像した画像の各画素の輝度勾配ベクトルを算出する輝度勾配ベクトル算出手段と、
   形状モデル又は過去の検出結果に基づいて車線形状候補を生成する車線形状候補生成手段と、
   前記車線形状候補生成手段で生成した車線形状候補と前記輝度勾配ベクトル算出手段で算出した輝度勾配ベクトルとを照合し、当該照合結果に基づいて車線の形状を推定する車線形状推定手段と
   を備えることを特徴とする車線検出装置。
   

Images