JP2004318618A - 車線認識装置 - Google Patents
車線認識装置 Download PDFInfo
- Publication number
- JP2004318618A JP2004318618A JP2003113293A JP2003113293A JP2004318618A JP 2004318618 A JP2004318618 A JP 2004318618A JP 2003113293 A JP2003113293 A JP 2003113293A JP 2003113293 A JP2003113293 A JP 2003113293A JP 2004318618 A JP2004318618 A JP 2004318618A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- lane marking
- chromosome
- white line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】処理時間を短くして車線区分線を検出することができる。
【解決手段】車線認識装置は、車両の周囲画像を取得し（ステップＳ２１）、複数のパラメータのうちの一部のパラメータを可変にして左右白線内側エッジ線について遺伝アルゴリズムによるパターンマッチング処理をし（ステップＳ２３）、このパターンマッチング処理の結果に基づいて、前記一部のパラメータを固定するとともに、複数のパラメータのうちの他のパラメータを可変にして左右白線外側エッジ線について遺伝アルゴリズムによるパターンマッチング処理をするとともに、このパターンマッチング処理の結果に基づいて車線を認識する（ステップＳ２４）。
【選択図】 図２
【解決手段】車線認識装置は、車両の周囲画像を取得し（ステップＳ２１）、複数のパラメータのうちの一部のパラメータを可変にして左右白線内側エッジ線について遺伝アルゴリズムによるパターンマッチング処理をし（ステップＳ２３）、このパターンマッチング処理の結果に基づいて、前記一部のパラメータを固定するとともに、複数のパラメータのうちの他のパラメータを可変にして左右白線外側エッジ線について遺伝アルゴリズムによるパターンマッチング処理をするとともに、このパターンマッチング処理の結果に基づいて車線を認識する（ステップＳ２４）。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の周囲画像を取得して、その周囲画像に基づいて車線を認識する車線認識装置に関し、特に、車線区分線を複数のパラメータを用いて推定し、その推定した車線区分線と車両の周囲画像中の車線区分線とを比較して、その比較結果に基づいて得た車線区分線から車線を認識する車線認識装置に関する。
【０００２】
【従来の技術】
車線区分線を検出する従来技術としては、パラメータから車線区分線を推定して、その推定した車線区分線と車両の周囲画像中の車線区分線とを比較して、その比較結果に基づいて車線区分線を認識する技術がある。以下、簡単にその手法を説明する。
【０００３】
図１１は車両の周囲画像である車両前方画像を示す。この図１１に示すように、自車両の走行車線の左側車線区分線ＬＬや右側車線区分線ＬＬ（以下、車線区分線を白線とも略記する。）が撮像されたとする。なお、以下の説明では、車線区分線を白線という場合もある。そして、図１１に示すように座標系（ｘ，ｙ）をとった場合、前記左側白線ＬＬを下記（１）式で、前記右側白線ＬＲを（２）式でそれぞれ近似できる。
【０００４】
【数１】
【０００５】
ここで、各値は次のように与えられる。
Ａは車線中心線に対するカメラ横変位を示す値である。このＡは車線中心線に対して左側にカメラが位置している場合、正となる。Ｂは道路曲率を示す値である。このＢは左コーナの場合、正となる。Ｃ０はエーミング時に決定される定数である（図１２を参照）。Ｃは車線中心線に対するカメラヨー角を示す値である。このＣは車線に対しカメラが左を向いている場合、正となる。Ｄ０はエーミング時に決定される定数である（図１２を参照）。Ｄは路面に対するカメラピッチ角を示す値である。このＤは路面に対して上を向く場合、正となる。Ｈ０は路面に対するカメラの高さ（標準高さ）を示す値である。Ｈはそのカメラ高さＨ０からの変位を示す値である。このＨは上方向きの場合、正となる。ｆはカメラのレンズパラメータを示す値である。Ｗは車線幅を示す値である。具体的には、Ｗは左側白線内側から右側白線内側までの距離を示す値である。ここで、内側とは自車両が走行している車線の内方を意味する。例えば、左側白線内側は、当該左側白線の自車両の走行側と非白線部分との境界部分を意味する。
【０００６】
また、ＡＬは、左側白線内側を基準にした値であり、すなわちＡＬが０の場合、ＡＬは左側白線の最内側位置を示す値となり、ＡＬがＷＬ（左側白線幅）の場合、ＡＬは左側白線の最外側位置を示す値となる。ＡＲは、右側白線内側を基準にした値であり、すなわちＡＲが０の場合、ＡＲは右側白線の最内側位置を示す値となり、ＡＲがＷＲ（右側白線幅）の場合、ＡＲは右側白線の最外側位置を示す値となる。
【０００７】
このような（１）式及び（２）式において、｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝の７つが未知パラメータになる。これら７つの未知パラメータを白線パラメータとも呼ぶことにする。従来の車線区分線の検出技術では、このような未知パラメータから車線区分線を推定して、その推定した車線区分線と実際に得た車両前方画像中の車線区分線とを比較して、その比較結果に基づいて車線区分線を得ていた。すなわち、推定した車線区分線と実際に得た車両前方画像中の車線区分線とのパターンマッチングにより車線区分線を検出していた。
【０００８】
以上のようにして車線区分線の検出技術では車線区分線を認識しているが、このような車線区分線の検出技術は、前記（１）式及び（２）式が表す白線が画像上の実際の白線に最もマッチングする白線パラメータを見つけ出すパターンマッチング問題（最適化問題）を解く手法とみなすこともできる。
他方、パラメータの最適化問題を解く手法として、遺伝アルゴリズムによるパラメータの最適化問題の解法が知られている。よって、前述したように車線区分線の検出技術がパラメータに関して最適化問題を解く手法ともいえることから、遺伝アルゴリズムを車線区分線の検出技術（パターンマッチング技術）に適応可能と考えられる。
【０００９】
ここで、遺伝アルゴリズムについては非特許文献１，２に記載されているような技術がある。このような文献に代表される一般的な遺伝アルゴリズムの処理手順については図１３に示すようになる。そして、このような処理手順からなる遺伝アルゴリズムを車線区分線の検出技術に適用した場合、その処理手順は図１４に示すことができる。この図１４に示す処理手順は以下のようになる。
【００１０】
先ず、ステップＳ１において、Ｎ個の初期個体集合生成、各個体の適合度計算及び画像取り込みを行う。ここで、取り込んだ画像が実際の画像であり、後述する入力画像になる。
ここで、遺伝アルゴリズムでは、個体及び適合度を定義している。個体は、遺伝アルゴリズム上、最適化しようとするパラメータを保持する媒体となる。そして、この個体を複数個用意している。そして、ここでは前述した例にならい、そのように複数個用意した個体それぞれに、前記白線パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝を記憶（保持）させる。
【００１１】
また、適合度は、遺伝アルゴリズム上、各個体の優劣を表す量であり、最適化しようとするパラメータにより定義される値になる。すなわち、遺伝アルゴリズムを車線区分線の検出技術に適用した場合には、適合度は白線パラメータの関数で定義される量になる。このようにすることで、遺伝アルゴリズムを車線区分線の検出技術に適応した場合に、車線区分線の検出技術における白線のパターンマッチング率を示す相関（濃度値の相関）として適合度を考える。
【００１２】
白線のパターンマッチング率を示す相関（濃度値の相関）は、車線区分線の検出技術において白線のパターンマッチングを評価する値として一般的に用いられており、例えば、白線パラメータで画像上に描いた白線と実際の白線とでパターンマッチングの度合いが大きくなれば、その相関が高くなり、白線パラメータで画像上に描いた白線と実際の白線とが完全に一致した場合には、その相関が最大値となる。このように定義される相関を遺伝アルゴリズム上の適合度に結びつける。なお、適合度の計算方法等は後でさらに詳述する。
【００１３】
一方で、ステップＳ１において、カメラで得られた車両前方画像をプロセッサに取り込む。
続いてステップＳ２において、前記ステップＳ１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００１４】
続いてステップＳ３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。
すなわち、図１５に示すように、未知パラメータ或いは白線パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝が染色体とされて、染色体とされた未知パラメータ或いは白線パラメータが、媒体である個体に保持されている（図１５中（Ａ）及び（Ｂ）参照）。ここで、染色体（未知パラメータ或いは白線パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。
【００１５】
なお、図１５の中、未知パラメータ或いは白線パラメータに添え字ｋを付して｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝と表しており、その添え字ｋは各個体を識別する番号になる。
そして、図１６に示すように、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える。
【００１６】
なお、染色体の交叉を２値化形式で表現した白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を用いて表現すれば、この例では、白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝の一部を交換して、新たな白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を生成したといえる。
また、染色体の交叉は所定の位置について行っているが、その交叉位置を交叉率と呼ばれる設定値に基づいて確率的に決定している。
【００１７】
続いてステップＳ４において、全個体の染色体を突然変異率に基づいて変異させる。
図１７は、２値化表現した染色体について、突然変異させる処理を示す。図１７中において所定部位（太枠部位）が突然変異させる部位であり、この部位について、図１７中（Ａ）から（Ｂ）への変化として示すように、当該部位の値（“１”又は“０”）を変更する。
【００１８】
また、染色体の突然変異は、そのように所定の位置について行っているが、その突然変異させる位置を突然変異率と呼ばれる設定値に基づいて確率的に決定している。
続いてステップＳ５において、各個体の適合度計算を行う。
適合度計算は、図１８に示すように、大別して２段階の処理、すなわち各個体の標準画像情報生成（ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数（Ｎ回）だけ繰り返して行う。ここで、各個体の標準画像情報生成（ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（ステップＳ１２）は次のような処理になる。
【００１９】
先ず、各個体の標準画像情報生成（ステップＳ１１）は次のような処理になる。
ここで、下記（３）式〜（６）式により、後述する入力画像と比較対象になる左側白線及び右側白線の画像を白線パラメータを用いて得ることができる。
【００２０】
【数２】
【００２１】
すなわち、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝を計算する（図１９参照）。ここで、この４点の位置は左右白線それぞれの左右端を表すものとなり、すなわちそれら４点の各位置での１画素外側（ｘｌｌｉの左側、ｘｌｒｉの右側、ｘｒｌｉの左側、ｘｒｒｉの右側）が路面（非白線部分）を示すものとなる。そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得ることができる。すなわち、白線部分と路面部分との境界で、画素が白から黒に変化する画像になる。このような画像を標準画像と呼ぶ。
【００２２】
このような処理により、画像を濃度値として得ることができる。例えば、図２０に示すように標準画像の濃度値表として得ることができる。この濃度値表は、画像中の各位置（ｘ，ｙ）における濃度値ｔｉを、白（白線）の場合“１”として示し、黒（路面）の場合“０”として示している。
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
【００２３】
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
標準画像の濃度値と入力画像の濃度値との相関値Ｒは下記（７）式で示される。
【００２４】
【数３】
【００２５】
ここで、ｆ［ｋ，ｌ］は入力画像の濃度値である。ｋはｘ座標位置であり、ｌはｙ座標位置である。また、ｔｊはｘ座標位置ｘｊ、ｙ座標位置ｙｊでの標準画像の濃度値である。また、（７）式の右辺中の上付きバーの値は平均値を示す。
この相関値Ｒは、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが完全に一致した場合には、その値が最大値となる。
【００２６】
そして、（７）式で得た濃度値の相関値Ｒを遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが一致する度合いが高ければ、その値が大きくなり、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが完全に一致した場合には、その値が最大値となる。
【００２７】
以上のように各個体の適合度計算を行う。
なお、前述のステップＳ１では、このような適合度の計算を初期個体について行っていることになる。
続いてステップＳ６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ７に進む。一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ２）、交叉処理（前記ステップＳ３）、変異処理（前記ステップＳ４）、適合度計算（前記ステップＳ５）、そして当該実用解判定処理（ステップＳ６）を行う。
【００２８】
ステップＳ７では、前記ステップＳ６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（白線パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を解とする。そして、この白線情報（白線パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝により規定される白線に基づいて、車線を認識する。
【００２９】
遺伝アルゴリズムがパラメータの最適化に有効である理由の詳細はここでは立ち入らないが、以上のような処理の過程で、複数の個体の中から適合度が高い（本例では、実際の車線区分線とのパターンマッチング度が高い）個体が最終的に生成される。そして、そのように推定した７つの未知パラメータが実際の車線に最も似ている車線を推定するパラメータとなる。
【００３０】
以上より、最終的に推定した７つの未知パラメータから得られる標準画像の白線パターンと入力画像の白線パターンとが一致するため、遺伝アルゴリズムを取り込んだ車線区分線の検出技術（パターンマッチング技術）は、新たなパターンマッチング手法とみなすことができる。
【００３１】
【非特許文献１】
長尾智晴，「進化的画像処理」，昭晃堂，２００２年発行
【非特許文献２】
安居院猛，長尾智晴著，「Ｃ言語による画像処理入門」，昭晃堂，２０００年発行
【００３２】
【発明が解決しようとする課題】
前記車線区分線検出と遺伝アルゴリズムとを単純に結びつけてパターンマッチングの処理を構築した場合、遺伝アルゴリズムでは、車線区分線検出で使用する未知パラメータ７つについて処理することになる。例えば、各パラメータがそれぞれｘ通り存在すれば、当該パラメータについて可能な組み合わせはｘ７通りとなり、遺伝アルゴリズムでは、このようなパラメータの組み合わせを前提に処理するようになる。このようなことから、遺伝アルゴリズムによる処理は、未知パラメータが多くなるに従い、演算時間が長くなる傾向になると言える。よって、一度に扱う未知パラメータが多ければ最適化問題を解く時間がかかり、これがリアルタイム処理に適用する場合に問題となる。特に、車線区分線検出では、短時間で車線区分線を検出していく必要があるので、リアルタイム処理に合わせた遺伝アルゴリズムによる処理が実現できることが望まれる。
【００３３】
そこで、本発明は、前述の問題に鑑みてなされたものであり、処理時間を短くして車線区分線を検出することができる車線認識装置の提供を目的とする。
【００３４】
【課題を解決するための手段】
前述の問題を解決するために、本発明に係る車線認識装置は、車両の周囲画像を取得するとともに、車線区分線を複数のパラメータを用いて推定し、その推定した車線区分線と前記周囲画像中の車線区分線とを比較して、その比較結果に基づいて得た車線区分線から車線を認識する車線認識装置である。この車線認識装置は、複数のパラメータのうちの一部のパラメータを可変にして車線区分線の第１所定部分を第１推定手段により推定し、前記第１推定手段が推定した車線区分線の第１所定部分と前記画像取得手段が取得した前記周囲画像中の車線区分線の第１所定部分とを第１比較手段により比較し、前記第１比較手段の比較結果に基づいて、前記一部のパラメータを固定するとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を第２推定手段により推定し、前記第２推定手段が推定した車線区分線の第２所定部分と前記周囲画像中の車線区分線の第２所定部分とを第２比較手段により比較し、前記第２比較手段の比較結果に基づいて車線を車線認識手段により認識する。
【００３５】
すなわち、前記一部及び他のパラメータを用いて車線区分線のそれぞれ所定部分を順次推定して、その推定した前記所定部分を用いて実際の撮像画像中の所定部分との比較を行い、最終的に全体の車線区分線を特定している。
【００３６】
【発明の効果】
本発明によれば、前記一部及び他のパラメータを用いて車線区分線のそれぞれ所定部分を順次推定することで、全体のパラメータを用いて車線区分線を推定する場合と比較し、車線区分線の検出処理時間を短くすることができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
図１は、実施の形態の車両構成を示す。この図１に示すように、車両前方を撮像するカメラ１１と、カメラ１１の撮像信号を処理する処理部１２とが車両１０に搭載されている。このカメラ１１と処理部１２とが本発明の車線認識装置を構成する。
【００３８】
図２は、処理部１２における車線認識の処理手順を示す。以下、その詳細を説明する。
先ずステップＳ２１において、車両前方の画像を取り込む。具体的には、所定周期でカメラ１１が車両前方を撮影し、カメラ１１が撮像した車両前方の撮像画像を処理部１２が所定周期で読み込む。
【００３９】
続いてステップＳ２２において、前記ステップＳ２１で読み込んだ撮像画像（入力画像）中から車線区分線を効率よく検索するために探索領域を設定する。具体的には、図３に示すように、左側白線用及び右側白線用として探索領域ＡＲＬ，ＡＲＲをそれぞれ設定する。ここで、探索領域ＡＲＬ，ＡＲＲのｘ座標についての中心位置を例えば下記（８）式及び（９）式として与える。
【００４０】
【数４】
【００４１】
（８）式が左側白線についての探索領域ＡＲＬのｘ座標上についての中心位置を示し、（９）式が右側白線についての探索領域ＡＲＲのｘ座標についての中心位置を示す。この（８）式及び（９）式では、前記中心位置を白線内側エッジ位置（白線と自車線側路面（非白線部分）との境界）においている。なお、（８）式及び（９）式中の各変数は前記（１）式及び（２）式に従う。
【００４２】
また、探索領域ＡＲＬ，ＡＲＲの幅（前記中心位置からｘ方向の両端までの長さ）は、効率よく車線区分線を探索できるような所定幅であることが好ましく、例えば特開２０００−３６０３７号公報で開示されている技術を用いる。ここではその説明は省略する。
続いてステップＳ２３において、左右白線内側エッジ線のパターンマッチングを行う。
【００４３】
具体的には、左右白線と自車線側路面との境界が作るエッジ線（白線の内側エッジ線）のパターンマッチングを遺伝アルゴリズムを適用して実行する。図４は、遺伝アルゴリズムを適用したパターンマッチングの処理手順を示す。
先ずステップＳ３１において、Ｎ個の初期個体集合生成及び各個体の適合度計算を行う。
【００４４】
遺伝アルゴリズムを適用して、先ず個体を複数個用意し、そのように複数個用意した個体それぞれに、パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を記憶（保持）させる。
ここで、添え字ｋは各個体を識別する番号になる。また、パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝は、前記（１）式及び（２）式中の｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝に相当する。
【００４５】
また、従来例としての説明では、白線パラメータを｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝としているが、実施の形態では、その従来の白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝との比較で左右白線の幅を示すＷＬ，ＷＲがないことに注意する。このようなことから、従来例における説明内容と区別するため、実施の形態で定義するこれら５つのパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を道路パラメータと呼ぶことにする。よって、後述する適合度はこの道路パラメータの関数で定義されるようになる。
【００４６】
また、適合度計算では、一般に用いられる濃度値の相関を用いていており、この点については概略従来例における説明内容と同じである。しかし、詳細では異なっており、その適合度計算については後段のステップＳ３５でさらに詳述する。
また、この遺伝アルゴリズムによるパターンマッチングを実現するシステムが、画像を所定サンプリングで取り込み、連続処理により実現されていることを利用して、パラメータの初期値を、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た後述の実用解（具体的には実用解のパラメータ）に基づいて設定してもよい。具体的には、前回処理で得た実用解であるパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝の値そのもの、或いはそれに近い値にパラメータ初期値を設定する。すなわち、初期値の染色体を実用解に対応する染色体そのものに、又はその実用解に対応する染色体に類似の染色体に設定する。
【００４７】
続いてステップＳ３２において、前記ステップＳ３１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００４８】
続いてステップＳ３３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。この染色体及び染色体を交叉させて子孫を作る手順については、前述の従来例における説明内容と同じである。
しかし、白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝により染色体が構成されているのではなく、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝により染色体を構成しており、よって次のような処理を行う点が従来における説明部分と異なる。
【００４９】
すなわち、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝が染色体とされて、染色体とされた道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝が、媒体である個体に保持される（図１５中（Ａ）及び（Ｂ）参照）。そして、染色体（道路パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。その後、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える（図１６参照）。
【００５０】
さらに、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解（具体的にはパラメータ）に対応する染色体に対して、交叉により生成してみた染色体が異常でない範囲にある場合に、当該生成した染色体を有効なものとしている。すなわち例えば、そのパラメータと前回処理で得た実用解であるパラメータとの差或いは変動が所定値以上となるような子孫が生まれないようにする。つまり、交叉により生成したパラメータＡが前回値のパラメータＡに対して大きく異なる場合等には、その交叉を許可しないようにする。これにより、交叉で生成した染色体に異常がある限り、すなわち前回値のパラメータに対して今回値のパラメータが所定値以上の変動をみせている限り、その染色体をもつ子孫の生成を確定することなく、交叉の処理を繰り返す。
【００５１】
続いてステップＳ３４において、全個体の染色体を突然変異率に基づいて変異させる。ここでの変異処理も、従来例における説明内容と同じである。
また、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解（具体的にはパラメータ）に対応する染色体に対して、変異させて生成してみた染色体が異常でない範囲にある場合に、当該生成した染色体を有効なものとしてもよい。すなわち例えば、そのパラメータと前回処理で得た実用解であるパラメータとの差或いは変動が所定値以上となるような子孫が生まれないようにする。つまり、変異させて生成したパラメータＡが前回値のパラメータＡに対して大きく異なる場合等には、その変異させる処理を許可しないようにする。これにより、変異させて生成した染色体に異常がある限り、すなわち前回値のパラメータに対して今回値のパラメータが所定値以上の変動をみせている限り、変異処理を確定させることなく、変異の処理を繰り返す。
【００５２】
続いてステップＳ３５において、各個体の適合度計算を行う。この適合計算も従来例における説明内容と同じであり、前記図１８に示したように、大別して２段階の処理、すなわち各個体の標準画像情報生成（前記ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（前記ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数だけ繰り返して行う。
【００５３】
具体的には、各個体の標準画像情報生成（前記ステップＳ１１）は次のような処理になる。
ここで、下記（１０）式及び（１１）式により、入力画像と比較対象になる左側白線及び右側白線に関する画像（２本の線）を道路パラメータを用いて得ることができる。
【００５４】
【数５】
【００５５】
ここで、（１０）式が左側白線に関する画像（具体的には内側エッジ線）を得るための式であり、（１１）式が右側白線に関する画像（具体的には内側エッジ線）を得るための式である。
すなわち、図５に示すように、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算する。ここで、２点の位置は左右白線それぞれの内側端を表すものとなり、すなわちそれら２点の各位置での１画素内側（ｘｌｒｉの右側、ｘｒｌｉの左側）が路面を示すものとなる。
【００５６】
そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得ることができる。すなわち、白線部分と路面部分との境界で、画素が白から黒に変化する画像を得ることができる。この画像が標準画像になる。
また、計算領域を所定の領域に絞り、そのように絞り込んだ領域について、各位置ｙｉ毎に２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算する。画面の全画素数が非常に膨大な量であることから、各個体毎に画面の全画素分について計算する、すなわち画面のｙ座標の位置ｙｉの全てについてｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算するのは、リアルタイム処理では得策とはいえない。このようなことから、計算領域を所定の領域に絞る。
【００５７】
例えば、任意位置ｙｉの添え字ｉを例えば１〜５０として、任意位置ｙｉ＝｛１００，１０１，・・・，１４８，１４９｝について計算する。或いは、複数の任意位置ｙｉ＝｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算をする。例えば、前記ステップＳ２２では、撮像画像（入力画像）中に探索領域を設定し、その設定した探索領域内で実際の車線区分線を探索している。このようなことから、前記任意位置ｙｉをそのような探索領域内の位置に限定してもよい。
【００５８】
そして、各位置ｙｉ毎に得た２点｛ｘｌｒｉ，ｘｒｌｉ｝の値から、左側白線及び右側白線の２本の白線について、それぞれ幅方向における白線部分と非白線部分との境界部分（内側の境界部分）を示すものとして、４点の画素を得る。
以上のような処理により、図６に示すような標準画像の濃度値表を得ることができる。この濃度値表は、各位置（ｘ，ｙ）における濃度値ｔｉを、白（白線）の場合“１”とし、黒（路面）の場合“０”としている。
【００５９】
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
標準画像の濃度値と入力画像の濃度値との相関値Ｒを前記（７）式により算出する。ここで、入力画像の濃度値は前記探索領域内で得ている値である。
【００６０】
そして、前記（７）式で得た濃度値の相関値Ｒを、遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターン（内側エッジ）と入力画像（実際の画像）の白線パターン（内側エッジ）とが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターン（内側エッジ）と入力画像（実際の画像）の白線パターン（内側エッジ）とが完全に一致した場合には、その値が最大値となる。
【００６１】
以上のようにして各個体の適合度計算を行う。
なお、前述したように複数の任意位置ｙｉを｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算しているような場合もある。このような場合には、対応するｙ座標位置（図６でいえば行）を削除して（無視して）、相関値Ｒを得てもよい。
【００６２】
また、前述のステップＳ３１では、このような適合度の計算を初期個体について行っていることになる。
続いてステップＳ３６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ３７に進む。
【００６３】
また、例えば相関値Ｒの計算に用いる画素値の対象数を制限するようにしてもよい。例えば、所定数以下の画素値を対象として計算するようにしたり、逆に所定数以上の画素値を対象として計算するようにしたりである。具体的には、前記変数ｊの総数が所定値以上の条件を課したりする。
一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ３２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ３２）、交叉処理（前記ステップＳ３３）、変異処理（前記ステップＳ３４）、適合度計算（前記ステップＳ３５）、そして当該実用解判定処理（ステップＳ３６）を行う。
【００６４】
続いてステップＳ３７において、前記ステップＳ３６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（道路パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を解とする。
ここで、車線区分線を検出するにはパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝が必要であるところ、この段階で、そのパラメータのうちの一部のパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ｝に基づいて前記解を得ているにすぎない。すなわち、車線区分線の一部構成部分である内側エッジ線を検出しただけであり、さらには、そのようにして検出した内側エッジ線が真の値であるとも言いきれない。このようなことから、このステップＳ３７時点で得た解を仮の解にする。
【００６５】
以上がステップＳ２３における左右白線内側エッジ線のパターンマッチングである。
続いてステップＳ２４において、左右白線外側エッジ線のパターンマッチングを行う。このステップＳ２４により、最終的に車線区分線の検出がなされる。また、前記仮の解としての内側エッジ線も真の内側エッジ線であることの確認がなされる。
【００６６】
ここで、前記道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を固定し、未知数をＷＬ，ＷＲとして、左右白線の外側エッジ線のパターンマッチングを遺伝アルゴリズムを用いて実行する。図７は、遺伝アルゴリズムを適用したその処理手順を示す。
先ずステップＳ４１において、Ｎ個の初期個体集合生成及び各個体の適合度計算を行う。ここでは、複数個の個体それぞれに、パラメータ（以下、白線幅パラメータという。）｛ＷＬｋ，ＷＲｋ｝を記憶させる。ここで、添え字ｋは各個体を識別する番号になる。なお、適合度の計算については、後段のステップＳ４５にて詳述する。
【００６７】
続いてステップＳ４２において、前記ステップＳ４１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００６８】
続いてステップＳ４３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。この染色体及び染色体を交叉させて子孫を作る手順については、前述の従来例における説明内容と同じである。
しかし、ここでは白線幅パラメータ｛ＷＬ，ＷＲ｝により染色体を構成しているので、次のような処理を行う。
【００６９】
すなわち、白線幅パラメータ｛ＷＬ，ＷＲ｝が染色体とされて、染色体とされた白線幅パラメータ｛ＷＬ，ＷＲ｝が、媒体である個体に保持される（図１５中（Ａ）及び（Ｂ）参照）。そして、染色体（白線幅パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。その後、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える（図１６参照）。
【００７０】
また、ここでは、ＷＬ，ＷＲが白線幅であることを考慮して、一般的な値（一般的な白線幅）から大きくずれるような子孫が生まれないようにしても良い。例えば、交叉で生成した染色体に異常がある限り、すなわち一般的な値（一般的な白線幅）からＷＬ，ＷＲが大きくずれている限り、その染色体をもつ子孫の生成を確定することなく、交叉の処理を繰り返す。
【００７１】
続いてステップＳ４４において、全個体の染色体を突然変異率に基づいて変異させる。ここでの変異処理も、従来例における説明内容と同じである。
また、ここでは、ＷＬ，ＷＲが白線幅であることを考慮して、一般的な値（一般的な白線幅）から大きくずれるような染色体が生成されないようにしても良い。例えば、変異させて生成した染色体に異常がある限り、すなわち一般的な値（一般的な白線幅）からＷＬ，ＷＲが大きくずれている限り、変異処理を確定させることなく、変異の処理を繰り返す。
【００７２】
続いてステップＳ４５において、各個体の適合度計算を行う。この適合計算も従来例における説明内容と同じであり、前記図１８に示したように、大別して２段階の処理、すなわち各個体の標準画像情報生成（前記ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（前記ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数だけ繰り返して行う。 具体的には、各個体の標準画像情報生成（前記ステップＳ１１）は次のような処理になる。
【００７３】
ここで、下記（１２）式及び（１３）式により、入力画像と比較対象になる左側白線及び右側白線に関する画像（２本の線）を得ることができる。ここでは、パラメータとして、前記ステップＳ２３で得た道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝と前記ステップＳ４４で得た白線幅パラメータ｛ＷＬ，ＷＲ｝とを用いる。
【００７４】
【数６】
【００７５】
ここで、（１２）式が左側白線に関する画像（具体的には外側エッジ線）を得るための式であり、（１３）式が右側白線に関する画像（具体的には外側エッジ線）を得るための式である。
すなわち、図８に示すように、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算する）。ここで、２点の位置は左右白線それぞれの外側端を表すものとなり、すなわちそれら２点の各位置での１画素内側（ｘｌｌｉの左側、ｘｒｒｉの右側）が路面を示すものとなる。
【００７６】
そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得る。すなわち、白線部分と路面部分の境界で、画素が白から黒に変化する画像を得る。この画像が標準画像になる。
また、計算領域を所定の領域に絞り、そのように絞り込んだ領域について、各位置ｙｉ毎に２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算する。
【００７７】
例えば、任意位置ｙｉの添え字ｉを例えば１〜５０として、任意位置ｙｉ＝｛１００，１０１，・・・，１４８，１４９｝について計算する。或いは、複数の任意位置ｙｉ＝｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算をする。
さらに、各位置ｙｉ毎に得た２点｛ｘｌｌｉ，ｘｒｒｉ｝の値から、左側白線及び右側白線の２本の白線について、それぞれ幅方向における白線部分と非白線部分との境界部分（外側の境界部分）を示すものとして、４点の画素を得る。
【００７８】
以上のような処理により、図９に示すような標準画像の濃度値表を得ることができる。この濃度値表は、各位置（ｘ，ｙ）における濃度値ｔｉを、白の場合“１”とし、黒の場合“０”としている。
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
【００７９】
標準画像の濃度値と入力画像の濃度値との相関値Ｒを前記（７）式により算出する。そして、前記（７）式で得た濃度値の相関値Ｒを、遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターン（外側エッジ）と入力画像（実際の画像）の白線パターン（外側エッジ）とが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターン（外側エッジ）と入力画像（実際の画像）の白線パターン（外側エッジ）とが完全に一致した場合には、その値が最大値となる。
【００８０】
続いてステップＳ４６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ４７に進む。
また、例えば相関値Ｒの計算に用いる画素値の対象数を制限するようにしてもよい。例えば、所定数以下の画素値を対象として計算するようにしたり、逆に所定数以上の画素値を対象として計算するようにしたりである。具体的には、前記変数ｊの総数が所定値以上の条件を課したりする。
【００８１】
また、一般道の白線幅はおおよそわかっているので、白線幅パラメータ｛ＷＬ，ＷＲ｝がそのような一般道の白線幅に対して明らかにずれているとき、その白線幅パターンを用いて得た解は実用解とみなさないようにしてもよい。
一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ４２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ４２）、交叉処理（前記ステップＳ４３）、変異処理（前記ステップＳ４４）、適合度計算（前記ステップＳ４５）、そして当該実用解判定処理（ステップＳ４６）を行う。
【００８２】
続いてステップＳ４７において、前記ステップＳ４６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（白線幅パラメータ）｛ＷＬｋ，ＷＲｋ｝を解とする。そして、前記ステップＳ２３で得た実用解である道路パラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ｝と合わせ、最終的な実用解として、パラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝を得る。このように、最終的な実用解として得たパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝は、車線区分線を構成する外側及び内側のエッジ線を表現するパラメータになる。
【００８３】
このようなパラメータに基づいて、最終的に車線区分線を検出して、自車両が走行している車線の認識をする。
動作の概略は次のようになる。
カメラ１１が車両前方を撮影し、カメラ１１が撮像した車両前方の撮像画像を処理部１２が読み込む（前記ステップＳ２１）。その一方で、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を染色体として、その染色体を用いて、少なくとも１度、所定の交叉や変異させて新たな染色体を生成する（前記ステップＳ３１〜ステップＳ３４）。そして、その生成した染色体に基づいて白線の内側エッジ線の画像を得る（前記ステップＳ３５）。そして、このようにして得た白線の内側エッジ線の画像と、前記撮像画像中の実際の白線の内側エッジ線の画像とを濃度値について相関を求めて、その相関値が所定値以上である場合に、そのときの染色体、すなわち道路パラメータを実用解として得る（前記ステップＳ３６、ステップＳ３７）。なお、このとき、相関を求めるための画像の比較は、前記探索領域内について行っている。
【００８４】
このように道路パラメータによる実用解を得た場合、続いて白線幅パラメータ｛ＷＬｋ，ＷＲｋ｝を染色体として、同様な処理を行う。すなわち、白線幅パラメータ｛ＷＬｋ，ＷＲｋ｝を染色体として、その染色体を用いて、少なくとも１度、所定の交叉や変異させて新たな染色体を生成する（前記ステップＳ４１〜ステップＳ４４）。そして、その生成した染色体に基づいて白線の外側エッジ線の画像を得る（前記ステップＳ４５）。そして、このようにして得た白線の外側エッジ線の画像と、前記撮像画像中の実際の白線の外側エッジ線の画像とを濃度値について相関を求めて、その相関値が所定値以上である場合に、そのときの染色体、すなわち道路パラメータを実用解として得る（前記ステップＳ４６、ステップＳ４７）。なお、このとき、相関を求めるための画像の比較は、前記探索領域内について行っている。
【００８５】
以上のようにして最終的に実用解としてパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝を得て、このパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝に基づいて、最終的に車線区分線を検出して、自車両が走行している車線の認識をする。
次に効果を説明する。
【００８６】
遺伝アルゴリズムをパターンマッチングに適用したときに得られる大局的な車線区分線検出の長所を保持しつつ、その検出のための演算時間を短縮することができる。
すなわち、前述したように本発明を適用した遺伝アルゴリズムでは、車線区分線の検出に必要なパラメータを二段階に分けて、最適化している。具体的には、車線区分線の内側エッジ線を特定する５つのパラメータについて最適化した後、車線区分線の外側エッジ線或いは白線幅を特定する２つのパラメータについて最適化している。これに対して、遺伝アルゴリズムを単に車線区分線検出に適応するような場合には、一度に７つのパラメータを最適化する必要があった。よって、各パラメータがそれぞれｘ通り存在すると、最適化においてそのパラメータの組み合わせはｘ７となり、一方で、本発明を適用した場合、第１段階の最適化におけるその組み合わせはｘ５となり、第２段階の最適化におけるその組み合わせはｘ２となる。例えば、遺伝アルゴリズムが全てのパターンについて演算するとした場合、前者では、ｘ７の演算ステップが必要になり、その一方で、後者（本発明適用例）ではｘ５とｘ２との加算回数の演算ステップで済むようになる。このように、明らかに大幅な処理時間の短縮を図ることができる。
【００８７】
また、前記大局的な車線区分線検出をすることができる効果は、ノイズに強くなるということと、車線区分線の誤検出或いは車線の誤認識を防止できるということである。
ここで、図１０を用いて、遺伝アルゴリズムを適用していない従来手法の例を説明する。図１０に示すように、従来手法では、画像中に左側及び右側にそれぞれ５つの白線探索領域（以下、ウインドウという。）ＷＬ１，ＷＬ２，ＷＬ３，ＷＬ４，ＷＬ５，ＷＲ１，ＷＲ２，ＷＲ３，ＷＲ４，ＷＲ５を設定し、その設定した各ウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５で独自に白線候補を検出し、最後にそれら各ウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５で得た候補に基づいて白線パラメータ或いは道路パラメータを推定していた。そして、それらウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５を用いた白線候補の検出は、他のウインドウの情報を利用しない局所的な処理により行っていたため、いずれかのウインドウで誤認識（誤検出）が発生する可能性があった。言い換えれば、一部のウインドウで誤認識（誤検出）があっても、その結果が反映されない場合があった。
【００８８】
一方、本発明を適用して車線区分線検出を遺伝アルゴリズムで行う場合、先ず未知パラメータ（道路パラメータ）を仮決めしてから、左右白線の内側のパターンマッチング度（適合度）を画面全体で計算する大局的処理を行っている。これにより、画面にノイズが存在していた場合には、それに起因してパラメータの適合度が低くなるので、その結果として、車線区分線を誤認識（誤検出）しなくなることは明白である。
【００８９】
また、左右白線の内側（外側）エッジ線のパターンマッチングは、前記（１）式及び（２）式等として与えた画像（エッジ線）に基づいて行っている。すなわち、パラメータを用いた近似式により直線又は曲線として境界部分を推定している。このような処理は、前記（１）式及び（２）式等をマッチングの条件としており、これは実空間でエッジ線候補が平行であることを要求することと等価といえる。この結果、実空間で車線幅（例えば３．７５ｍ）程度離れて平行に描かれている２本のエッジ線を、車線区分線と非車線区分線との境界（エッジ線）とみなすようになるので、これにより合理的な車線区分線検出を実現しつつ、その誤認識（誤検出）を大幅に低下させることができる。
【００９０】
さらに、内側エッジ線を仮決めし、その仮決めに用いた関連するパラメータを固定して、その後、左右白線幅（ＷＬ，ＷＲ）をパターンマッチングすることは、白線を構成する内側のエッジ線と外側エッジ線とが平行であることを要求することと等価である。よって、路面上の白線以外の表示物でそのような要求を満たすケースが非常に少ないことに照らせば、そのような要求を前提とする車線区分線検出手法は、検出対象である車線区分線の性質を利用した手法になる。
【００９１】
また、図６等に示す濃度値表からも明らかなように、標準画像（推定画像）を示す画素値を一定のパターン（“０”及び“１”が所定の配列）として得ることができる。このようなことから、そのようなパターン以外になる標準画像を処理に用いないことにすれば、例えばエラーとして扱うようにすれば、結果として車線区分線の誤検出を防止することができるようになる。
【００９２】
また、前述したように、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解を基準にして、すなわち経験を考慮して、初期の染色体を設定し、或いは交叉又は変異による染色体を生成している。これにより、結果として、遺伝アルゴリズムによるパラメータの最適化の処理に一定の制限を加えている。これにより、遺伝アルゴリズムより早期に実用解を導き出すことを実現して、リアルタイム処理可能な車線区分線検出を実現することができる。
【００９３】
すなわち、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解を基準にすることなく、すなわち経験を考慮することなく、初期の染色体を設定し、或いは交叉又は変異により染色体を生成することとすれば、遺伝アルゴリズムが実用解（真値）に収束させるまでの時間が長くなる場合があり、これを防止することができる。
【００９４】
また、前述したように、探索領域を設定して、その探索領域内についてパターンマッチングを行い適合度を得ている。これにより、探索領域外のパターンマッチングによる適合度（相関）を低くして、探索領域内での適合度を優先的に高くする処理と等価な処理を行っている。これにより、結果として車線区分線を誤検出してしまうことを防止している。
【００９５】
以上、本発明の実施の形態について説明した。しかし、本発明は、前述の実施の形態として実現されることに限定されるものではない。
すなわち、前述の実施の形態では、先ず一部のパラメータを可変として内側エッジ線を特定して、その後、その一部のパラメータを固定するとともに、他のパラメータを可変にして外側エッジ線を特定している。しかし、これに限定されないことはいうまでもない。例えば、その逆に、先ず一部のパラメータを可変として外側エッジ線を特定して、その後、その一部のパラメータを固定するとともに、他のパラメータを可変にして内側エッジ線を特定してもよい。この場合、前記（１）式及び（２）式を（１４）式及び（１５）式に変更する。
【００９６】
【数７】
【００９７】
ここで、Ｗは車線幅を示す値である。具体的には、Ｗは左側白線外側から右側白線外側までの距離を示す値である。また、ＡＬは、左側白線外側を基準にした値であり、すなわちＡＬが０の場合、ＡＬは左側白線の最外側位置を示す値となり、ＡＬがＷＬ（左側白線幅）の場合、ＡＬは左側白線の最内側位置を示す値となる。ＡＲは、右側白線外側を基準にした値であり、すなわちＡＲが０の場合、ＡＲは右側白線の最外側位置を示す値となり、ＡＲがＷＲ（右側白線幅）の場合、ＡＲは右側白線の最内側位置を示す値となる。
【００９８】
そして、外側エッジ線についての濃度値表（前記図９）が、下記（１６）及び（１７）式に基づいて得られる。
【００９９】
【数８】
【０１００】
ここで、（１６）式が左側白線の外側エッジ線を得るための式であり、（１７）式が左側白線の外側エッジ線を得るための式である。
また、内側エッジ線についての濃度値表（前記図６）が、下記（１８）及び（１９）式に基づいて得られる。
【０１０１】
【数９】
【０１０２】
ここで、（１８）式が左側白線の内側エッジ線を得るための式であり、（１９）式が左側白線の内側エッジ線を得るための式である。
また、前述の実施の形態では、前記（１）式や（２）式等に基づいて、パラメータを用いた近似式により直線又は曲線として車線区分線と非車線区分線との境界部分を推定した場合を説明した。しかし、これに限定されないことはいうまでもない。例えば、他の式を使用し、さらに、そのような他の式により前述の実施の形態とは異なる車線区分線の部分（内側エッジ線や外側エッジ線でない部分）を推定するようにしてもよい。
【０１０３】
なお、前述の実施の形態の説明において、カメラ１１及び図２のステップＳ２１の処理は、前記車両の周囲画像を取得する画像取得手段を実現しており、図４に示すステップＳ３１〜ステップＳ３５の処理は、前記複数のパラメータのうちの一部のパラメータを可変にして車線区分線の第１所定部分を推定する第１推定手段を実現しており、図４に示すステップＳ３６の処理は、前記第１推定手段が推定した車線区分線の第１所定部分と前記画像取得手段が取得した前記周囲画像中の車線区分線の第１所定部分とを比較する第１比較手段を実現しており、図７に示すステップＳ４１〜ステップＳ４５の処理は、前記第１比較手段の比較結果に基づいて、前記一部のパラメータを固定するとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を推定する第２推定手段を実現しており、図７に示すステップＳ４６は、前記第２推定手段が推定した車線区分線の第２所定部分と前記周囲画像中の車線区分線の第２所定部分とを比較する第２比較手段を実現しており、図７に示すステップＳ４７は、前記第２比較手段の比較結果に基づいて車線を認識する車線認識手段を実現している。
【図面の簡単な説明】
【図１】本発明の実施の形態の車両構成を示す図である。
【図２】処理部の車線認識処理の処理手順を示すフローチャートである。
【図３】探索領域の設定の説明に使用した図である。
【図４】前記車線認識処理内の左右白線内側エッジ線のパターンマッチングの処理手順を示すフローチャートである。
【図５】左側白線及び右側白線の内側エッジ線を示すｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算することの説明に使用した図である。
【図６】左側白線及び右側白線の内側エッジ線を示すｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝に関しての濃度値表を示す図である。
【図７】前記車線認識処理内の左右白線外側エッジ線のパターンマッチングの処理手順を示すフローチャートである。
【図８】左側白線及び右側白線の外側エッジ線を示すｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算することの説明に使用した図である。
【図９】左側白線及び右側白線の外側エッジ線を示すｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝に関しての濃度値表を示す図である。
【図１０】従来の車線認識手法の説明に使用した図である。
【図１１】撮像画像例を示す図である。
【図１２】エーミング時に決定される定数についての説明に使用した図である。
【図１３】一般的に遺伝アルゴリズムの最適化の処理手順を示すフローチャートである。
【図１４】遺伝アルゴリズムと車線区分線検出とを単純に組み合わせた場合の処理手順の説明に使用したフローチャートである。染色体
【図１５】遺伝アルゴリズムにおける染色体と個体との関係等の説明に使用した図である。
【図１６】遺伝アルゴリズムの交叉処理の説明に使用した図である。
【図１７】遺伝アルゴリズムの変異処理の説明に使用した図である。
【図１８】遺伝アルゴリズムにおける適合度計算の処理手順を示すフローチャートである。
【図１９】左側白線及び右側白線の輪郭を示すｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝を計算することの説明に使用した図である。
【図２０】左側白線及び右側白線の輪郭を示すｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝に関しての濃度値表を示す図である。
【符号の説明】
１０ 車両
１１ カメラ
１２ 処理部
【発明の属する技術分野】
本発明は、車両の周囲画像を取得して、その周囲画像に基づいて車線を認識する車線認識装置に関し、特に、車線区分線を複数のパラメータを用いて推定し、その推定した車線区分線と車両の周囲画像中の車線区分線とを比較して、その比較結果に基づいて得た車線区分線から車線を認識する車線認識装置に関する。
【０００２】
【従来の技術】
車線区分線を検出する従来技術としては、パラメータから車線区分線を推定して、その推定した車線区分線と車両の周囲画像中の車線区分線とを比較して、その比較結果に基づいて車線区分線を認識する技術がある。以下、簡単にその手法を説明する。
【０００３】
図１１は車両の周囲画像である車両前方画像を示す。この図１１に示すように、自車両の走行車線の左側車線区分線ＬＬや右側車線区分線ＬＬ（以下、車線区分線を白線とも略記する。）が撮像されたとする。なお、以下の説明では、車線区分線を白線という場合もある。そして、図１１に示すように座標系（ｘ，ｙ）をとった場合、前記左側白線ＬＬを下記（１）式で、前記右側白線ＬＲを（２）式でそれぞれ近似できる。
【０００４】
【数１】
ここで、各値は次のように与えられる。
Ａは車線中心線に対するカメラ横変位を示す値である。このＡは車線中心線に対して左側にカメラが位置している場合、正となる。Ｂは道路曲率を示す値である。このＢは左コーナの場合、正となる。Ｃ０はエーミング時に決定される定数である（図１２を参照）。Ｃは車線中心線に対するカメラヨー角を示す値である。このＣは車線に対しカメラが左を向いている場合、正となる。Ｄ０はエーミング時に決定される定数である（図１２を参照）。Ｄは路面に対するカメラピッチ角を示す値である。このＤは路面に対して上を向く場合、正となる。Ｈ０は路面に対するカメラの高さ（標準高さ）を示す値である。Ｈはそのカメラ高さＨ０からの変位を示す値である。このＨは上方向きの場合、正となる。ｆはカメラのレンズパラメータを示す値である。Ｗは車線幅を示す値である。具体的には、Ｗは左側白線内側から右側白線内側までの距離を示す値である。ここで、内側とは自車両が走行している車線の内方を意味する。例えば、左側白線内側は、当該左側白線の自車両の走行側と非白線部分との境界部分を意味する。
【０００６】
また、ＡＬは、左側白線内側を基準にした値であり、すなわちＡＬが０の場合、ＡＬは左側白線の最内側位置を示す値となり、ＡＬがＷＬ（左側白線幅）の場合、ＡＬは左側白線の最外側位置を示す値となる。ＡＲは、右側白線内側を基準にした値であり、すなわちＡＲが０の場合、ＡＲは右側白線の最内側位置を示す値となり、ＡＲがＷＲ（右側白線幅）の場合、ＡＲは右側白線の最外側位置を示す値となる。
【０００７】
このような（１）式及び（２）式において、｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝の７つが未知パラメータになる。これら７つの未知パラメータを白線パラメータとも呼ぶことにする。従来の車線区分線の検出技術では、このような未知パラメータから車線区分線を推定して、その推定した車線区分線と実際に得た車両前方画像中の車線区分線とを比較して、その比較結果に基づいて車線区分線を得ていた。すなわち、推定した車線区分線と実際に得た車両前方画像中の車線区分線とのパターンマッチングにより車線区分線を検出していた。
【０００８】
以上のようにして車線区分線の検出技術では車線区分線を認識しているが、このような車線区分線の検出技術は、前記（１）式及び（２）式が表す白線が画像上の実際の白線に最もマッチングする白線パラメータを見つけ出すパターンマッチング問題（最適化問題）を解く手法とみなすこともできる。
他方、パラメータの最適化問題を解く手法として、遺伝アルゴリズムによるパラメータの最適化問題の解法が知られている。よって、前述したように車線区分線の検出技術がパラメータに関して最適化問題を解く手法ともいえることから、遺伝アルゴリズムを車線区分線の検出技術（パターンマッチング技術）に適応可能と考えられる。
【０００９】
ここで、遺伝アルゴリズムについては非特許文献１，２に記載されているような技術がある。このような文献に代表される一般的な遺伝アルゴリズムの処理手順については図１３に示すようになる。そして、このような処理手順からなる遺伝アルゴリズムを車線区分線の検出技術に適用した場合、その処理手順は図１４に示すことができる。この図１４に示す処理手順は以下のようになる。
【００１０】
先ず、ステップＳ１において、Ｎ個の初期個体集合生成、各個体の適合度計算及び画像取り込みを行う。ここで、取り込んだ画像が実際の画像であり、後述する入力画像になる。
ここで、遺伝アルゴリズムでは、個体及び適合度を定義している。個体は、遺伝アルゴリズム上、最適化しようとするパラメータを保持する媒体となる。そして、この個体を複数個用意している。そして、ここでは前述した例にならい、そのように複数個用意した個体それぞれに、前記白線パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝を記憶（保持）させる。
【００１１】
また、適合度は、遺伝アルゴリズム上、各個体の優劣を表す量であり、最適化しようとするパラメータにより定義される値になる。すなわち、遺伝アルゴリズムを車線区分線の検出技術に適用した場合には、適合度は白線パラメータの関数で定義される量になる。このようにすることで、遺伝アルゴリズムを車線区分線の検出技術に適応した場合に、車線区分線の検出技術における白線のパターンマッチング率を示す相関（濃度値の相関）として適合度を考える。
【００１２】
白線のパターンマッチング率を示す相関（濃度値の相関）は、車線区分線の検出技術において白線のパターンマッチングを評価する値として一般的に用いられており、例えば、白線パラメータで画像上に描いた白線と実際の白線とでパターンマッチングの度合いが大きくなれば、その相関が高くなり、白線パラメータで画像上に描いた白線と実際の白線とが完全に一致した場合には、その相関が最大値となる。このように定義される相関を遺伝アルゴリズム上の適合度に結びつける。なお、適合度の計算方法等は後でさらに詳述する。
【００１３】
一方で、ステップＳ１において、カメラで得られた車両前方画像をプロセッサに取り込む。
続いてステップＳ２において、前記ステップＳ１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００１４】
続いてステップＳ３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。
すなわち、図１５に示すように、未知パラメータ或いは白線パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ，ＷＬ，ＷＲ｝が染色体とされて、染色体とされた未知パラメータ或いは白線パラメータが、媒体である個体に保持されている（図１５中（Ａ）及び（Ｂ）参照）。ここで、染色体（未知パラメータ或いは白線パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。
【００１５】
なお、図１５の中、未知パラメータ或いは白線パラメータに添え字ｋを付して｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝と表しており、その添え字ｋは各個体を識別する番号になる。
そして、図１６に示すように、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える。
【００１６】
なお、染色体の交叉を２値化形式で表現した白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を用いて表現すれば、この例では、白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝の一部を交換して、新たな白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を生成したといえる。
また、染色体の交叉は所定の位置について行っているが、その交叉位置を交叉率と呼ばれる設定値に基づいて確率的に決定している。
【００１７】
続いてステップＳ４において、全個体の染色体を突然変異率に基づいて変異させる。
図１７は、２値化表現した染色体について、突然変異させる処理を示す。図１７中において所定部位（太枠部位）が突然変異させる部位であり、この部位について、図１７中（Ａ）から（Ｂ）への変化として示すように、当該部位の値（“１”又は“０”）を変更する。
【００１８】
また、染色体の突然変異は、そのように所定の位置について行っているが、その突然変異させる位置を突然変異率と呼ばれる設定値に基づいて確率的に決定している。
続いてステップＳ５において、各個体の適合度計算を行う。
適合度計算は、図１８に示すように、大別して２段階の処理、すなわち各個体の標準画像情報生成（ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数（Ｎ回）だけ繰り返して行う。ここで、各個体の標準画像情報生成（ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（ステップＳ１２）は次のような処理になる。
【００１９】
先ず、各個体の標準画像情報生成（ステップＳ１１）は次のような処理になる。
ここで、下記（３）式〜（６）式により、後述する入力画像と比較対象になる左側白線及び右側白線の画像を白線パラメータを用いて得ることができる。
【００２０】
【数２】
すなわち、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝を計算する（図１９参照）。ここで、この４点の位置は左右白線それぞれの左右端を表すものとなり、すなわちそれら４点の各位置での１画素外側（ｘｌｌｉの左側、ｘｌｒｉの右側、ｘｒｌｉの左側、ｘｒｒｉの右側）が路面（非白線部分）を示すものとなる。そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得ることができる。すなわち、白線部分と路面部分との境界で、画素が白から黒に変化する画像になる。このような画像を標準画像と呼ぶ。
【００２２】
このような処理により、画像を濃度値として得ることができる。例えば、図２０に示すように標準画像の濃度値表として得ることができる。この濃度値表は、画像中の各位置（ｘ，ｙ）における濃度値ｔｉを、白（白線）の場合“１”として示し、黒（路面）の場合“０”として示している。
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
【００２３】
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
標準画像の濃度値と入力画像の濃度値との相関値Ｒは下記（７）式で示される。
【００２４】
【数３】
ここで、ｆ［ｋ，ｌ］は入力画像の濃度値である。ｋはｘ座標位置であり、ｌはｙ座標位置である。また、ｔｊはｘ座標位置ｘｊ、ｙ座標位置ｙｊでの標準画像の濃度値である。また、（７）式の右辺中の上付きバーの値は平均値を示す。
この相関値Ｒは、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが完全に一致した場合には、その値が最大値となる。
【００２６】
そして、（７）式で得た濃度値の相関値Ｒを遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが一致する度合いが高ければ、その値が大きくなり、標準画像（推定画像）の白線パターンと入力画像（実際の画像）の白線パターンとが完全に一致した場合には、その値が最大値となる。
【００２７】
以上のように各個体の適合度計算を行う。
なお、前述のステップＳ１では、このような適合度の計算を初期個体について行っていることになる。
続いてステップＳ６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ７に進む。一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ２）、交叉処理（前記ステップＳ３）、変異処理（前記ステップＳ４）、適合度計算（前記ステップＳ５）、そして当該実用解判定処理（ステップＳ６）を行う。
【００２８】
ステップＳ７では、前記ステップＳ６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（白線パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝を解とする。そして、この白線情報（白線パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝により規定される白線に基づいて、車線を認識する。
【００２９】
遺伝アルゴリズムがパラメータの最適化に有効である理由の詳細はここでは立ち入らないが、以上のような処理の過程で、複数の個体の中から適合度が高い（本例では、実際の車線区分線とのパターンマッチング度が高い）個体が最終的に生成される。そして、そのように推定した７つの未知パラメータが実際の車線に最も似ている車線を推定するパラメータとなる。
【００３０】
以上より、最終的に推定した７つの未知パラメータから得られる標準画像の白線パターンと入力画像の白線パターンとが一致するため、遺伝アルゴリズムを取り込んだ車線区分線の検出技術（パターンマッチング技術）は、新たなパターンマッチング手法とみなすことができる。
【００３１】
【非特許文献１】
長尾智晴，「進化的画像処理」，昭晃堂，２００２年発行
【非特許文献２】
安居院猛，長尾智晴著，「Ｃ言語による画像処理入門」，昭晃堂，２０００年発行
【００３２】
【発明が解決しようとする課題】
前記車線区分線検出と遺伝アルゴリズムとを単純に結びつけてパターンマッチングの処理を構築した場合、遺伝アルゴリズムでは、車線区分線検出で使用する未知パラメータ７つについて処理することになる。例えば、各パラメータがそれぞれｘ通り存在すれば、当該パラメータについて可能な組み合わせはｘ７通りとなり、遺伝アルゴリズムでは、このようなパラメータの組み合わせを前提に処理するようになる。このようなことから、遺伝アルゴリズムによる処理は、未知パラメータが多くなるに従い、演算時間が長くなる傾向になると言える。よって、一度に扱う未知パラメータが多ければ最適化問題を解く時間がかかり、これがリアルタイム処理に適用する場合に問題となる。特に、車線区分線検出では、短時間で車線区分線を検出していく必要があるので、リアルタイム処理に合わせた遺伝アルゴリズムによる処理が実現できることが望まれる。
【００３３】
そこで、本発明は、前述の問題に鑑みてなされたものであり、処理時間を短くして車線区分線を検出することができる車線認識装置の提供を目的とする。
【００３４】
【課題を解決するための手段】
前述の問題を解決するために、本発明に係る車線認識装置は、車両の周囲画像を取得するとともに、車線区分線を複数のパラメータを用いて推定し、その推定した車線区分線と前記周囲画像中の車線区分線とを比較して、その比較結果に基づいて得た車線区分線から車線を認識する車線認識装置である。この車線認識装置は、複数のパラメータのうちの一部のパラメータを可変にして車線区分線の第１所定部分を第１推定手段により推定し、前記第１推定手段が推定した車線区分線の第１所定部分と前記画像取得手段が取得した前記周囲画像中の車線区分線の第１所定部分とを第１比較手段により比較し、前記第１比較手段の比較結果に基づいて、前記一部のパラメータを固定するとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を第２推定手段により推定し、前記第２推定手段が推定した車線区分線の第２所定部分と前記周囲画像中の車線区分線の第２所定部分とを第２比較手段により比較し、前記第２比較手段の比較結果に基づいて車線を車線認識手段により認識する。
【００３５】
すなわち、前記一部及び他のパラメータを用いて車線区分線のそれぞれ所定部分を順次推定して、その推定した前記所定部分を用いて実際の撮像画像中の所定部分との比較を行い、最終的に全体の車線区分線を特定している。
【００３６】
【発明の効果】
本発明によれば、前記一部及び他のパラメータを用いて車線区分線のそれぞれ所定部分を順次推定することで、全体のパラメータを用いて車線区分線を推定する場合と比較し、車線区分線の検出処理時間を短くすることができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
図１は、実施の形態の車両構成を示す。この図１に示すように、車両前方を撮像するカメラ１１と、カメラ１１の撮像信号を処理する処理部１２とが車両１０に搭載されている。このカメラ１１と処理部１２とが本発明の車線認識装置を構成する。
【００３８】
図２は、処理部１２における車線認識の処理手順を示す。以下、その詳細を説明する。
先ずステップＳ２１において、車両前方の画像を取り込む。具体的には、所定周期でカメラ１１が車両前方を撮影し、カメラ１１が撮像した車両前方の撮像画像を処理部１２が所定周期で読み込む。
【００３９】
続いてステップＳ２２において、前記ステップＳ２１で読み込んだ撮像画像（入力画像）中から車線区分線を効率よく検索するために探索領域を設定する。具体的には、図３に示すように、左側白線用及び右側白線用として探索領域ＡＲＬ，ＡＲＲをそれぞれ設定する。ここで、探索領域ＡＲＬ，ＡＲＲのｘ座標についての中心位置を例えば下記（８）式及び（９）式として与える。
【００４０】
【数４】
（８）式が左側白線についての探索領域ＡＲＬのｘ座標上についての中心位置を示し、（９）式が右側白線についての探索領域ＡＲＲのｘ座標についての中心位置を示す。この（８）式及び（９）式では、前記中心位置を白線内側エッジ位置（白線と自車線側路面（非白線部分）との境界）においている。なお、（８）式及び（９）式中の各変数は前記（１）式及び（２）式に従う。
【００４２】
また、探索領域ＡＲＬ，ＡＲＲの幅（前記中心位置からｘ方向の両端までの長さ）は、効率よく車線区分線を探索できるような所定幅であることが好ましく、例えば特開２０００−３６０３７号公報で開示されている技術を用いる。ここではその説明は省略する。
続いてステップＳ２３において、左右白線内側エッジ線のパターンマッチングを行う。
【００４３】
具体的には、左右白線と自車線側路面との境界が作るエッジ線（白線の内側エッジ線）のパターンマッチングを遺伝アルゴリズムを適用して実行する。図４は、遺伝アルゴリズムを適用したパターンマッチングの処理手順を示す。
先ずステップＳ３１において、Ｎ個の初期個体集合生成及び各個体の適合度計算を行う。
【００４４】
遺伝アルゴリズムを適用して、先ず個体を複数個用意し、そのように複数個用意した個体それぞれに、パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を記憶（保持）させる。
ここで、添え字ｋは各個体を識別する番号になる。また、パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝は、前記（１）式及び（２）式中の｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝に相当する。
【００４５】
また、従来例としての説明では、白線パラメータを｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝としているが、実施の形態では、その従来の白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝との比較で左右白線の幅を示すＷＬ，ＷＲがないことに注意する。このようなことから、従来例における説明内容と区別するため、実施の形態で定義するこれら５つのパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を道路パラメータと呼ぶことにする。よって、後述する適合度はこの道路パラメータの関数で定義されるようになる。
【００４６】
また、適合度計算では、一般に用いられる濃度値の相関を用いていており、この点については概略従来例における説明内容と同じである。しかし、詳細では異なっており、その適合度計算については後段のステップＳ３５でさらに詳述する。
また、この遺伝アルゴリズムによるパターンマッチングを実現するシステムが、画像を所定サンプリングで取り込み、連続処理により実現されていることを利用して、パラメータの初期値を、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た後述の実用解（具体的には実用解のパラメータ）に基づいて設定してもよい。具体的には、前回処理で得た実用解であるパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝の値そのもの、或いはそれに近い値にパラメータ初期値を設定する。すなわち、初期値の染色体を実用解に対応する染色体そのものに、又はその実用解に対応する染色体に類似の染色体に設定する。
【００４７】
続いてステップＳ３２において、前記ステップＳ３１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００４８】
続いてステップＳ３３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。この染色体及び染色体を交叉させて子孫を作る手順については、前述の従来例における説明内容と同じである。
しかし、白線パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝により染色体が構成されているのではなく、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝により染色体を構成しており、よって次のような処理を行う点が従来における説明部分と異なる。
【００４９】
すなわち、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝が染色体とされて、染色体とされた道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝が、媒体である個体に保持される（図１５中（Ａ）及び（Ｂ）参照）。そして、染色体（道路パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。その後、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える（図１６参照）。
【００５０】
さらに、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解（具体的にはパラメータ）に対応する染色体に対して、交叉により生成してみた染色体が異常でない範囲にある場合に、当該生成した染色体を有効なものとしている。すなわち例えば、そのパラメータと前回処理で得た実用解であるパラメータとの差或いは変動が所定値以上となるような子孫が生まれないようにする。つまり、交叉により生成したパラメータＡが前回値のパラメータＡに対して大きく異なる場合等には、その交叉を許可しないようにする。これにより、交叉で生成した染色体に異常がある限り、すなわち前回値のパラメータに対して今回値のパラメータが所定値以上の変動をみせている限り、その染色体をもつ子孫の生成を確定することなく、交叉の処理を繰り返す。
【００５１】
続いてステップＳ３４において、全個体の染色体を突然変異率に基づいて変異させる。ここでの変異処理も、従来例における説明内容と同じである。
また、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解（具体的にはパラメータ）に対応する染色体に対して、変異させて生成してみた染色体が異常でない範囲にある場合に、当該生成した染色体を有効なものとしてもよい。すなわち例えば、そのパラメータと前回処理で得た実用解であるパラメータとの差或いは変動が所定値以上となるような子孫が生まれないようにする。つまり、変異させて生成したパラメータＡが前回値のパラメータＡに対して大きく異なる場合等には、その変異させる処理を許可しないようにする。これにより、変異させて生成した染色体に異常がある限り、すなわち前回値のパラメータに対して今回値のパラメータが所定値以上の変動をみせている限り、変異処理を確定させることなく、変異の処理を繰り返す。
【００５２】
続いてステップＳ３５において、各個体の適合度計算を行う。この適合計算も従来例における説明内容と同じであり、前記図１８に示したように、大別して２段階の処理、すなわち各個体の標準画像情報生成（前記ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（前記ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数だけ繰り返して行う。
【００５３】
具体的には、各個体の標準画像情報生成（前記ステップＳ１１）は次のような処理になる。
ここで、下記（１０）式及び（１１）式により、入力画像と比較対象になる左側白線及び右側白線に関する画像（２本の線）を道路パラメータを用いて得ることができる。
【００５４】
【数５】
ここで、（１０）式が左側白線に関する画像（具体的には内側エッジ線）を得るための式であり、（１１）式が右側白線に関する画像（具体的には内側エッジ線）を得るための式である。
すなわち、図５に示すように、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算する。ここで、２点の位置は左右白線それぞれの内側端を表すものとなり、すなわちそれら２点の各位置での１画素内側（ｘｌｒｉの右側、ｘｒｌｉの左側）が路面を示すものとなる。
【００５６】
そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得ることができる。すなわち、白線部分と路面部分との境界で、画素が白から黒に変化する画像を得ることができる。この画像が標準画像になる。
また、計算領域を所定の領域に絞り、そのように絞り込んだ領域について、各位置ｙｉ毎に２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算する。画面の全画素数が非常に膨大な量であることから、各個体毎に画面の全画素分について計算する、すなわち画面のｙ座標の位置ｙｉの全てについてｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算するのは、リアルタイム処理では得策とはいえない。このようなことから、計算領域を所定の領域に絞る。
【００５７】
例えば、任意位置ｙｉの添え字ｉを例えば１〜５０として、任意位置ｙｉ＝｛１００，１０１，・・・，１４８，１４９｝について計算する。或いは、複数の任意位置ｙｉ＝｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算をする。例えば、前記ステップＳ２２では、撮像画像（入力画像）中に探索領域を設定し、その設定した探索領域内で実際の車線区分線を探索している。このようなことから、前記任意位置ｙｉをそのような探索領域内の位置に限定してもよい。
【００５８】
そして、各位置ｙｉ毎に得た２点｛ｘｌｒｉ，ｘｒｌｉ｝の値から、左側白線及び右側白線の２本の白線について、それぞれ幅方向における白線部分と非白線部分との境界部分（内側の境界部分）を示すものとして、４点の画素を得る。
以上のような処理により、図６に示すような標準画像の濃度値表を得ることができる。この濃度値表は、各位置（ｘ，ｙ）における濃度値ｔｉを、白（白線）の場合“１”とし、黒（路面）の場合“０”としている。
【００５９】
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
標準画像の濃度値と入力画像の濃度値との相関値Ｒを前記（７）式により算出する。ここで、入力画像の濃度値は前記探索領域内で得ている値である。
【００６０】
そして、前記（７）式で得た濃度値の相関値Ｒを、遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターン（内側エッジ）と入力画像（実際の画像）の白線パターン（内側エッジ）とが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターン（内側エッジ）と入力画像（実際の画像）の白線パターン（内側エッジ）とが完全に一致した場合には、その値が最大値となる。
【００６１】
以上のようにして各個体の適合度計算を行う。
なお、前述したように複数の任意位置ｙｉを｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算しているような場合もある。このような場合には、対応するｙ座標位置（図６でいえば行）を削除して（無視して）、相関値Ｒを得てもよい。
【００６２】
また、前述のステップＳ３１では、このような適合度の計算を初期個体について行っていることになる。
続いてステップＳ３６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ３７に進む。
【００６３】
また、例えば相関値Ｒの計算に用いる画素値の対象数を制限するようにしてもよい。例えば、所定数以下の画素値を対象として計算するようにしたり、逆に所定数以上の画素値を対象として計算するようにしたりである。具体的には、前記変数ｊの総数が所定値以上の条件を課したりする。
一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ３２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ３２）、交叉処理（前記ステップＳ３３）、変異処理（前記ステップＳ３４）、適合度計算（前記ステップＳ３５）、そして当該実用解判定処理（ステップＳ３６）を行う。
【００６４】
続いてステップＳ３７において、前記ステップＳ３６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（道路パラメータ）｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を解とする。
ここで、車線区分線を検出するにはパラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ，ＷＬｋ，ＷＲｋ｝が必要であるところ、この段階で、そのパラメータのうちの一部のパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ｝に基づいて前記解を得ているにすぎない。すなわち、車線区分線の一部構成部分である内側エッジ線を検出しただけであり、さらには、そのようにして検出した内側エッジ線が真の値であるとも言いきれない。このようなことから、このステップＳ３７時点で得た解を仮の解にする。
【００６５】
以上がステップＳ２３における左右白線内側エッジ線のパターンマッチングである。
続いてステップＳ２４において、左右白線外側エッジ線のパターンマッチングを行う。このステップＳ２４により、最終的に車線区分線の検出がなされる。また、前記仮の解としての内側エッジ線も真の内側エッジ線であることの確認がなされる。
【００６６】
ここで、前記道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を固定し、未知数をＷＬ，ＷＲとして、左右白線の外側エッジ線のパターンマッチングを遺伝アルゴリズムを用いて実行する。図７は、遺伝アルゴリズムを適用したその処理手順を示す。
先ずステップＳ４１において、Ｎ個の初期個体集合生成及び各個体の適合度計算を行う。ここでは、複数個の個体それぞれに、パラメータ（以下、白線幅パラメータという。）｛ＷＬｋ，ＷＲｋ｝を記憶させる。ここで、添え字ｋは各個体を識別する番号になる。なお、適合度の計算については、後段のステップＳ４５にて詳述する。
【００６７】
続いてステップＳ４２において、前記ステップＳ４１で得た適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。このとき、各個体の適合度に基づいて、Ｎ個の個体の中から重複を許して、Ｎ個の次世代の個体を選択する。例えば、個体の適合度に比例した確率でＮ個の次世代の個体を選択する。すなわち、適合度が高いほど、当該適合度が高い個体を重複して選択する。
【００６８】
続いてステップＳ４３において、個体を２つずつランダムに組み合わせて両親とし、染色体を交叉させて子孫を作り、両親と入れ替える。この染色体及び染色体を交叉させて子孫を作る手順については、前述の従来例における説明内容と同じである。
しかし、ここでは白線幅パラメータ｛ＷＬ，ＷＲ｝により染色体を構成しているので、次のような処理を行う。
【００６９】
すなわち、白線幅パラメータ｛ＷＬ，ＷＲ｝が染色体とされて、染色体とされた白線幅パラメータ｛ＷＬ，ＷＲ｝が、媒体である個体に保持される（図１５中（Ａ）及び（Ｂ）参照）。そして、染色体（白線幅パラメータ）は、２値化されて前記個体に保持される（図１５中（Ｃ）参照）。その後、各個体同士（両親）Ａ，Ｂのその染色体を交叉させて、子孫Ａ´，Ｂ´を生成する。そして、両親Ａ，Ｂ（両親Ａ，Ｂの染色体）を、その生成した子孫Ａ´，Ｂ´（子孫Ａ´，Ｂ´の染色体）に置き換える（図１６参照）。
【００７０】
また、ここでは、ＷＬ，ＷＲが白線幅であることを考慮して、一般的な値（一般的な白線幅）から大きくずれるような子孫が生まれないようにしても良い。例えば、交叉で生成した染色体に異常がある限り、すなわち一般的な値（一般的な白線幅）からＷＬ，ＷＲが大きくずれている限り、その染色体をもつ子孫の生成を確定することなく、交叉の処理を繰り返す。
【００７１】
続いてステップＳ４４において、全個体の染色体を突然変異率に基づいて変異させる。ここでの変異処理も、従来例における説明内容と同じである。
また、ここでは、ＷＬ，ＷＲが白線幅であることを考慮して、一般的な値（一般的な白線幅）から大きくずれるような染色体が生成されないようにしても良い。例えば、変異させて生成した染色体に異常がある限り、すなわち一般的な値（一般的な白線幅）からＷＬ，ＷＲが大きくずれている限り、変異処理を確定させることなく、変異の処理を繰り返す。
【００７２】
続いてステップＳ４５において、各個体の適合度計算を行う。この適合計算も従来例における説明内容と同じであり、前記図１８に示したように、大別して２段階の処理、すなわち各個体の標準画像情報生成（前記ステップＳ１１）、及び入力画像と標準画像との濃度値の相関計算（前記ステップＳ１２）の処理により実行する。そして、この図１８に示す処理を個体の総数だけ繰り返して行う。 具体的には、各個体の標準画像情報生成（前記ステップＳ１１）は次のような処理になる。
【００７３】
ここで、下記（１２）式及び（１３）式により、入力画像と比較対象になる左側白線及び右側白線に関する画像（２本の線）を得ることができる。ここでは、パラメータとして、前記ステップＳ２３で得た道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝と前記ステップＳ４４で得た白線幅パラメータ｛ＷＬ，ＷＲ｝とを用いる。
【００７４】
【数６】
ここで、（１２）式が左側白線に関する画像（具体的には外側エッジ線）を得るための式であり、（１３）式が右側白線に関する画像（具体的には外側エッジ線）を得るための式である。
すなわち、図８に示すように、ｙ座標の各位置ｙｉにおいて、左側白線及び右側白線の輪郭を形成するｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算する）。ここで、２点の位置は左右白線それぞれの外側端を表すものとなり、すなわちそれら２点の各位置での１画素内側（ｘｌｌｉの左側、ｘｒｒｉの右側）が路面を示すものとなる。
【００７６】
そして、この結果を利用して、例えば白線部分を白とし、路面部分を黒とした画像を得る。すなわち、白線部分と路面部分の境界で、画素が白から黒に変化する画像を得る。この画像が標準画像になる。
また、計算領域を所定の領域に絞り、そのように絞り込んだ領域について、各位置ｙｉ毎に２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算する。
【００７７】
例えば、任意位置ｙｉの添え字ｉを例えば１〜５０として、任意位置ｙｉ＝｛１００，１０１，・・・，１４８，１４９｝について計算する。或いは、複数の任意位置ｙｉ＝｛１００，１０２，１０４，・・・｝として、所定間隔をあけて計算をする。
さらに、各位置ｙｉ毎に得た２点｛ｘｌｌｉ，ｘｒｒｉ｝の値から、左側白線及び右側白線の２本の白線について、それぞれ幅方向における白線部分と非白線部分との境界部分（外側の境界部分）を示すものとして、４点の画素を得る。
【００７８】
以上のような処理により、図９に示すような標準画像の濃度値表を得ることができる。この濃度値表は、各位置（ｘ，ｙ）における濃度値ｔｉを、白の場合“１”とし、黒の場合“０”としている。
以上が各個体の標準画像情報生成（ステップＳ１１）の処理になる。
そして、このように生成した標準画像の濃度値と入力画像の濃度値との相関計算（ステップＳ１２）を次のように行う。
【００７９】
標準画像の濃度値と入力画像の濃度値との相関値Ｒを前記（７）式により算出する。そして、前記（７）式で得た濃度値の相関値Ｒを、遺伝アルゴリズムにおける適合度に置き換える。これにより、適合度は、標準画像（推定画像）の白線パターン（外側エッジ）と入力画像（実際の画像）の白線パターン（外側エッジ）とが一致する度合いが大きくなれば、その値が大きくなり、標準画像（推定画像）の白線パターン（外側エッジ）と入力画像（実際の画像）の白線パターン（外側エッジ）とが完全に一致した場合には、その値が最大値となる。
【００８０】
続いてステップＳ４６において、実用解と見なせるものがあるか否かを判定する。例えば、前記（７）式の相関値Ｒが所定値以上の場合、実用解があると判定して、ステップＳ４７に進む。
また、例えば相関値Ｒの計算に用いる画素値の対象数を制限するようにしてもよい。例えば、所定数以下の画素値を対象として計算するようにしたり、逆に所定数以上の画素値を対象として計算するようにしたりである。具体的には、前記変数ｊの総数が所定値以上の条件を課したりする。
【００８１】
また、一般道の白線幅はおおよそわかっているので、白線幅パラメータ｛ＷＬ，ＷＲ｝がそのような一般道の白線幅に対して明らかにずれているとき、その白線幅パターンを用いて得た解は実用解とみなさないようにしてもよい。
一方、前記（７）式の相関値Ｒが所定値未満の場合、実用解がないと判定して、再びステップＳ４２以降の処理、すなわち次世代を個体の選択の処理（前記ステップＳ４２）、交叉処理（前記ステップＳ４３）、変異処理（前記ステップＳ４４）、適合度計算（前記ステップＳ４５）、そして当該実用解判定処理（ステップＳ４６）を行う。
【００８２】
続いてステップＳ４７において、前記ステップＳ４６で得た実用解を解とする。すなわち、前記（７）式により得た相関値Ｒが所定値以上となった場合の個体の白線情報（白線幅パラメータ）｛ＷＬｋ，ＷＲｋ｝を解とする。そして、前記ステップＳ２３で得た実用解である道路パラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ｝と合わせ、最終的な実用解として、パラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝を得る。このように、最終的な実用解として得たパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝は、車線区分線を構成する外側及び内側のエッジ線を表現するパラメータになる。
【００８３】
このようなパラメータに基づいて、最終的に車線区分線を検出して、自車両が走行している車線の認識をする。
動作の概略は次のようになる。
カメラ１１が車両前方を撮影し、カメラ１１が撮像した車両前方の撮像画像を処理部１２が読み込む（前記ステップＳ２１）。その一方で、道路パラメータ｛Ａｋ，Ｂｋ，Ｃｋ，Ｄｋ，Ｈｋ｝を染色体として、その染色体を用いて、少なくとも１度、所定の交叉や変異させて新たな染色体を生成する（前記ステップＳ３１〜ステップＳ３４）。そして、その生成した染色体に基づいて白線の内側エッジ線の画像を得る（前記ステップＳ３５）。そして、このようにして得た白線の内側エッジ線の画像と、前記撮像画像中の実際の白線の内側エッジ線の画像とを濃度値について相関を求めて、その相関値が所定値以上である場合に、そのときの染色体、すなわち道路パラメータを実用解として得る（前記ステップＳ３６、ステップＳ３７）。なお、このとき、相関を求めるための画像の比較は、前記探索領域内について行っている。
【００８４】
このように道路パラメータによる実用解を得た場合、続いて白線幅パラメータ｛ＷＬｋ，ＷＲｋ｝を染色体として、同様な処理を行う。すなわち、白線幅パラメータ｛ＷＬｋ，ＷＲｋ｝を染色体として、その染色体を用いて、少なくとも１度、所定の交叉や変異させて新たな染色体を生成する（前記ステップＳ４１〜ステップＳ４４）。そして、その生成した染色体に基づいて白線の外側エッジ線の画像を得る（前記ステップＳ４５）。そして、このようにして得た白線の外側エッジ線の画像と、前記撮像画像中の実際の白線の外側エッジ線の画像とを濃度値について相関を求めて、その相関値が所定値以上である場合に、そのときの染色体、すなわち道路パラメータを実用解として得る（前記ステップＳ４６、ステップＳ４７）。なお、このとき、相関を求めるための画像の比較は、前記探索領域内について行っている。
【００８５】
以上のようにして最終的に実用解としてパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝を得て、このパラメータ｛Ａｘ，Ｂｘ，Ｃｘ，Ｄｘ，Ｈｘ，ＷＬｘ，ＷＲｘ｝に基づいて、最終的に車線区分線を検出して、自車両が走行している車線の認識をする。
次に効果を説明する。
【００８６】
遺伝アルゴリズムをパターンマッチングに適用したときに得られる大局的な車線区分線検出の長所を保持しつつ、その検出のための演算時間を短縮することができる。
すなわち、前述したように本発明を適用した遺伝アルゴリズムでは、車線区分線の検出に必要なパラメータを二段階に分けて、最適化している。具体的には、車線区分線の内側エッジ線を特定する５つのパラメータについて最適化した後、車線区分線の外側エッジ線或いは白線幅を特定する２つのパラメータについて最適化している。これに対して、遺伝アルゴリズムを単に車線区分線検出に適応するような場合には、一度に７つのパラメータを最適化する必要があった。よって、各パラメータがそれぞれｘ通り存在すると、最適化においてそのパラメータの組み合わせはｘ７となり、一方で、本発明を適用した場合、第１段階の最適化におけるその組み合わせはｘ５となり、第２段階の最適化におけるその組み合わせはｘ２となる。例えば、遺伝アルゴリズムが全てのパターンについて演算するとした場合、前者では、ｘ７の演算ステップが必要になり、その一方で、後者（本発明適用例）ではｘ５とｘ２との加算回数の演算ステップで済むようになる。このように、明らかに大幅な処理時間の短縮を図ることができる。
【００８７】
また、前記大局的な車線区分線検出をすることができる効果は、ノイズに強くなるということと、車線区分線の誤検出或いは車線の誤認識を防止できるということである。
ここで、図１０を用いて、遺伝アルゴリズムを適用していない従来手法の例を説明する。図１０に示すように、従来手法では、画像中に左側及び右側にそれぞれ５つの白線探索領域（以下、ウインドウという。）ＷＬ１，ＷＬ２，ＷＬ３，ＷＬ４，ＷＬ５，ＷＲ１，ＷＲ２，ＷＲ３，ＷＲ４，ＷＲ５を設定し、その設定した各ウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５で独自に白線候補を検出し、最後にそれら各ウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５で得た候補に基づいて白線パラメータ或いは道路パラメータを推定していた。そして、それらウインドウＷＬ１〜ＷＬ５，ＷＲ１〜ＷＲ５を用いた白線候補の検出は、他のウインドウの情報を利用しない局所的な処理により行っていたため、いずれかのウインドウで誤認識（誤検出）が発生する可能性があった。言い換えれば、一部のウインドウで誤認識（誤検出）があっても、その結果が反映されない場合があった。
【００８８】
一方、本発明を適用して車線区分線検出を遺伝アルゴリズムで行う場合、先ず未知パラメータ（道路パラメータ）を仮決めしてから、左右白線の内側のパターンマッチング度（適合度）を画面全体で計算する大局的処理を行っている。これにより、画面にノイズが存在していた場合には、それに起因してパラメータの適合度が低くなるので、その結果として、車線区分線を誤認識（誤検出）しなくなることは明白である。
【００８９】
また、左右白線の内側（外側）エッジ線のパターンマッチングは、前記（１）式及び（２）式等として与えた画像（エッジ線）に基づいて行っている。すなわち、パラメータを用いた近似式により直線又は曲線として境界部分を推定している。このような処理は、前記（１）式及び（２）式等をマッチングの条件としており、これは実空間でエッジ線候補が平行であることを要求することと等価といえる。この結果、実空間で車線幅（例えば３．７５ｍ）程度離れて平行に描かれている２本のエッジ線を、車線区分線と非車線区分線との境界（エッジ線）とみなすようになるので、これにより合理的な車線区分線検出を実現しつつ、その誤認識（誤検出）を大幅に低下させることができる。
【００９０】
さらに、内側エッジ線を仮決めし、その仮決めに用いた関連するパラメータを固定して、その後、左右白線幅（ＷＬ，ＷＲ）をパターンマッチングすることは、白線を構成する内側のエッジ線と外側エッジ線とが平行であることを要求することと等価である。よって、路面上の白線以外の表示物でそのような要求を満たすケースが非常に少ないことに照らせば、そのような要求を前提とする車線区分線検出手法は、検出対象である車線区分線の性質を利用した手法になる。
【００９１】
また、図６等に示す濃度値表からも明らかなように、標準画像（推定画像）を示す画素値を一定のパターン（“０”及び“１”が所定の配列）として得ることができる。このようなことから、そのようなパターン以外になる標準画像を処理に用いないことにすれば、例えばエラーとして扱うようにすれば、結果として車線区分線の誤検出を防止することができるようになる。
【００９２】
また、前述したように、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解を基準にして、すなわち経験を考慮して、初期の染色体を設定し、或いは交叉又は変異による染色体を生成している。これにより、結果として、遺伝アルゴリズムによるパラメータの最適化の処理に一定の制限を加えている。これにより、遺伝アルゴリズムより早期に実用解を導き出すことを実現して、リアルタイム処理可能な車線区分線検出を実現することができる。
【００９３】
すなわち、今回の処理の前の遺伝アルゴリズムによるパターンマッチングで得た実用解を基準にすることなく、すなわち経験を考慮することなく、初期の染色体を設定し、或いは交叉又は変異により染色体を生成することとすれば、遺伝アルゴリズムが実用解（真値）に収束させるまでの時間が長くなる場合があり、これを防止することができる。
【００９４】
また、前述したように、探索領域を設定して、その探索領域内についてパターンマッチングを行い適合度を得ている。これにより、探索領域外のパターンマッチングによる適合度（相関）を低くして、探索領域内での適合度を優先的に高くする処理と等価な処理を行っている。これにより、結果として車線区分線を誤検出してしまうことを防止している。
【００９５】
以上、本発明の実施の形態について説明した。しかし、本発明は、前述の実施の形態として実現されることに限定されるものではない。
すなわち、前述の実施の形態では、先ず一部のパラメータを可変として内側エッジ線を特定して、その後、その一部のパラメータを固定するとともに、他のパラメータを可変にして外側エッジ線を特定している。しかし、これに限定されないことはいうまでもない。例えば、その逆に、先ず一部のパラメータを可変として外側エッジ線を特定して、その後、その一部のパラメータを固定するとともに、他のパラメータを可変にして内側エッジ線を特定してもよい。この場合、前記（１）式及び（２）式を（１４）式及び（１５）式に変更する。
【００９６】
【数７】
ここで、Ｗは車線幅を示す値である。具体的には、Ｗは左側白線外側から右側白線外側までの距離を示す値である。また、ＡＬは、左側白線外側を基準にした値であり、すなわちＡＬが０の場合、ＡＬは左側白線の最外側位置を示す値となり、ＡＬがＷＬ（左側白線幅）の場合、ＡＬは左側白線の最内側位置を示す値となる。ＡＲは、右側白線外側を基準にした値であり、すなわちＡＲが０の場合、ＡＲは右側白線の最外側位置を示す値となり、ＡＲがＷＲ（右側白線幅）の場合、ＡＲは右側白線の最内側位置を示す値となる。
【００９８】
そして、外側エッジ線についての濃度値表（前記図９）が、下記（１６）及び（１７）式に基づいて得られる。
【００９９】
【数８】
ここで、（１６）式が左側白線の外側エッジ線を得るための式であり、（１７）式が左側白線の外側エッジ線を得るための式である。
また、内側エッジ線についての濃度値表（前記図６）が、下記（１８）及び（１９）式に基づいて得られる。
【０１０１】
【数９】
ここで、（１８）式が左側白線の内側エッジ線を得るための式であり、（１９）式が左側白線の内側エッジ線を得るための式である。
また、前述の実施の形態では、前記（１）式や（２）式等に基づいて、パラメータを用いた近似式により直線又は曲線として車線区分線と非車線区分線との境界部分を推定した場合を説明した。しかし、これに限定されないことはいうまでもない。例えば、他の式を使用し、さらに、そのような他の式により前述の実施の形態とは異なる車線区分線の部分（内側エッジ線や外側エッジ線でない部分）を推定するようにしてもよい。
【０１０３】
なお、前述の実施の形態の説明において、カメラ１１及び図２のステップＳ２１の処理は、前記車両の周囲画像を取得する画像取得手段を実現しており、図４に示すステップＳ３１〜ステップＳ３５の処理は、前記複数のパラメータのうちの一部のパラメータを可変にして車線区分線の第１所定部分を推定する第１推定手段を実現しており、図４に示すステップＳ３６の処理は、前記第１推定手段が推定した車線区分線の第１所定部分と前記画像取得手段が取得した前記周囲画像中の車線区分線の第１所定部分とを比較する第１比較手段を実現しており、図７に示すステップＳ４１〜ステップＳ４５の処理は、前記第１比較手段の比較結果に基づいて、前記一部のパラメータを固定するとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を推定する第２推定手段を実現しており、図７に示すステップＳ４６は、前記第２推定手段が推定した車線区分線の第２所定部分と前記周囲画像中の車線区分線の第２所定部分とを比較する第２比較手段を実現しており、図７に示すステップＳ４７は、前記第２比較手段の比較結果に基づいて車線を認識する車線認識手段を実現している。
【図面の簡単な説明】
【図１】本発明の実施の形態の車両構成を示す図である。
【図２】処理部の車線認識処理の処理手順を示すフローチャートである。
【図３】探索領域の設定の説明に使用した図である。
【図４】前記車線認識処理内の左右白線内側エッジ線のパターンマッチングの処理手順を示すフローチャートである。
【図５】左側白線及び右側白線の内側エッジ線を示すｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝を計算することの説明に使用した図である。
【図６】左側白線及び右側白線の内側エッジ線を示すｘ座標の２点｛ｘｌｒｉ，ｘｒｌｉ｝に関しての濃度値表を示す図である。
【図７】前記車線認識処理内の左右白線外側エッジ線のパターンマッチングの処理手順を示すフローチャートである。
【図８】左側白線及び右側白線の外側エッジ線を示すｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝を計算することの説明に使用した図である。
【図９】左側白線及び右側白線の外側エッジ線を示すｘ座標の２点｛ｘｌｌｉ，ｘｒｒｉ｝に関しての濃度値表を示す図である。
【図１０】従来の車線認識手法の説明に使用した図である。
【図１１】撮像画像例を示す図である。
【図１２】エーミング時に決定される定数についての説明に使用した図である。
【図１３】一般的に遺伝アルゴリズムの最適化の処理手順を示すフローチャートである。
【図１４】遺伝アルゴリズムと車線区分線検出とを単純に組み合わせた場合の処理手順の説明に使用したフローチャートである。染色体
【図１５】遺伝アルゴリズムにおける染色体と個体との関係等の説明に使用した図である。
【図１６】遺伝アルゴリズムの交叉処理の説明に使用した図である。
【図１７】遺伝アルゴリズムの変異処理の説明に使用した図である。
【図１８】遺伝アルゴリズムにおける適合度計算の処理手順を示すフローチャートである。
【図１９】左側白線及び右側白線の輪郭を示すｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝を計算することの説明に使用した図である。
【図２０】左側白線及び右側白線の輪郭を示すｘ座標の４点｛ｘｌｌｉ，ｘｌｒｉ，ｘｒｌｉ，ｘｒｒｉ｝に関しての濃度値表を示す図である。
【符号の説明】
１０ 車両
１１ カメラ
１２ 処理部
Claims (10)
- 車両の周囲画像を取得するとともに、車線区分線を複数のパラメータを用いて推定し、その推定した車線区分線と前記周囲画像中の車線区分線とを比較して、その比較結果に基づいて得た車線区分線から車線を認識する車線認識装置において、
前記車両の周囲画像を取得する画像取得手段と、
前記複数のパラメータのうちの一部のパラメータを可変にして車線区分線の第１所定部分を推定する第１推定手段と、
前記第１推定手段が推定した車線区分線の第１所定部分と前記画像取得手段が取得した前記周囲画像中の車線区分線の第１所定部分とを比較する第１比較手段と、
前記第１比較手段の比較結果に基づいて、前記一部のパラメータを固定するとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を推定する第２推定手段と、
前記第２推定手段が推定した車線区分線の第２所定部分と前記周囲画像中の車線区分線の第２所定部分とを比較する第２比較手段と、
前記第２比較手段の比較結果に基づいて車線を認識する車線認識手段と、
を備えたことを特徴とする車線認識装置。 - 前記第２推定手段は、前記第１比較手段の比較結果に基づいて、前記推定した車線区分線の第１所定部分と前記周囲画像中の車線区分線の第１所定部分とが一致している可能性が高いと判断したときに、前記一部のパラメータを固定にするとともに、前記複数のパラメータのうちの他のパラメータを可変にして車線区分線の第２所定部分を推定することを特徴とする請求項１記載の車線認識装置。
- 前記車線区分線が所定の幅を有しており、前記車線区分線の第１所定部分が、車線区分線の当該車線区分線の幅方向における非車線区分線部分との一方の境界部分であり、前記車線区分線の第２所定部分が、車線区分線の当該車線区分線の幅方向における非車線区分線部分との他方の境界部分であることを特徴とする請求項１又は２に記載の車線認識装置。
- 前記第１及び第２推定手段は、前記パラメータを用いた近似式により直線又は曲線として前記境界部分を推定していることを特徴とする請求項３記載の車線認識装置。
- パラメータを染色体とし、その染色体を保持する媒体を個体とし、その個体をＮ個用意し、そのＮ個の個体の染色体を突然変異させ、かつＮ個の個体の染色体同士を交叉させて新たな染色体のＮ個の個体を生成する遺伝アルゴリズムを構築し、
前記第１及び第２推定手段は、前記遺伝アルゴリズムに従って、前記Ｎ個の個体を用いて画像を定義し、前記車線区分線の部分を推定しており、
前記第１及び第２比較手段は、前記第１及び第２推定手段で定義される画像と実際の画像との適合度を得、
前記車線認識手段は、前記第１及び第２比較手段の画像の適合度から遺伝アルゴリズムによるパターンマッチングに従って、実用解をなすパラメータの染色体を得ることを特徴とする請求項１乃至４のいずれかに記載の車線認識装置。 - 前記染色体を経験に基づいた染色体にすることを特徴とする請求項５記載の車線認識装置。
- 前記遺伝アルゴリズムでは、初期値の染色体を保持するＮ個の個体を用いて、前記突然変異及び交叉を開始しており、
今回の処理の前の前記遺伝アルゴリズムによるパターンマッチングで得た前記実用解に基づいて、前記初期値の染色体を設定したことを特徴とする請求項５又は６に記載の車線認識装置。 - 前記初期値の染色体を前記実用解に対応する染色体そのものに、又はその実用解に対応する染色体に類似の染色体に設定したことを特徴とする請求項７記載の車線認識装置。
- 前記突然変異又は交叉させて生成した前記個体の染色体が、今回の処理の前の前記遺伝アルゴリズムによるパターンマッチングで得た前記実用解に対応する染色体に対して異常でない範囲にある場合に、前記第１及び第２推定手段が、当該生成した個体を用いて前記画像の定義をすることを特徴とする請求項５乃至８のいずれかに記載の車線認識装置。
- 前記周囲画像中で車線区分線の比較を行う比較領域を設定する比較領域設定手段を備え、
前記第１及び第２比較手段は、前記比較領域設定手段が設定した比較領域内では前記適合度を優先的に高くすることを特徴とする請求項５乃至９のいずれかに記載の車線認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003113293A JP2004318618A (ja) | 2003-04-17 | 2003-04-17 | 車線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003113293A JP2004318618A (ja) | 2003-04-17 | 2003-04-17 | 車線認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004318618A true JP2004318618A (ja) | 2004-11-11 |
Family
ID=33473271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003113293A Pending JP2004318618A (ja) | 2003-04-17 | 2003-04-17 | 車線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004318618A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060511A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
| JP2007329762A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置 |
| JP2010198119A (ja) * | 2009-02-23 | 2010-09-09 | Nissan Motor Co Ltd | 道路白線認識装置及び道路白線認識方法 |
| WO2012172713A1 (ja) | 2011-06-13 | 2012-12-20 | 日産自動車株式会社 | 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法 |
| CN114511832A (zh) * | 2022-04-21 | 2022-05-17 | 深圳比特微电子科技有限公司 | 车道线分析方法、装置、电子设备及存储介质 |
-
2003
- 2003-04-17 JP JP2003113293A patent/JP2004318618A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060511A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
| JP2007329762A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置 |
| JP2010198119A (ja) * | 2009-02-23 | 2010-09-09 | Nissan Motor Co Ltd | 道路白線認識装置及び道路白線認識方法 |
| WO2012172713A1 (ja) | 2011-06-13 | 2012-12-20 | 日産自動車株式会社 | 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法 |
| CN114511832A (zh) * | 2022-04-21 | 2022-05-17 | 深圳比特微电子科技有限公司 | 车道线分析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6347827B2 (ja) | 車線境界線を検出する方法、装置、およびデバイス | |
| JP6421510B2 (ja) | 目標検出方法及び目標検出システム | |
| KR101837407B1 (ko) | 영상 기반 표적 추적 장치 및 추적 방법 | |
| WO2016210227A1 (en) | Aligning 3d point clouds using loop closures | |
| EP1591959A1 (en) | Method of generating high-resolution image, digital image editing tool and computer readable medium | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| JP2012073942A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP7191823B2 (ja) | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| JP3603836B2 (ja) | 道路白線認識装置 | |
| JPWO2019064599A1 (ja) | 異常検知装置、異常検知方法、及びプログラム | |
| JP2020038132A (ja) | コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム | |
| CN107274486A (zh) | 一种模型3d效果图的生成方法 | |
| CN110175574A (zh) | 一种道路网提取方法及装置 | |
| JP2016177718A (ja) | 物体検出装置、物体検出方法および情報処理プログラム | |
| JP4398533B2 (ja) | 画像追跡装置及び記録媒体 | |
| JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
| JP2006018688A (ja) | 道路環境認識方法及び道路環境認識装置 | |
| JP2004318618A (ja) | 車線認識装置 | |
| JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
| JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
| KR101121777B1 (ko) | 차선 감지 방법 | |
| JP4709889B2 (ja) | 移動物体監視装置 | |
| JP2004013615A (ja) | 移動物体監視装置 | |
| KR101982942B1 (ko) | 객체 추적 방법 및 이를 수행하는 장치들 |