JP2005346385A - 線図形化処理装置 - Google Patents

Abstract

【課題】車両が走行する路面上に描かれた標示線又は車線の境界線を、画像の中から抽出する際に、標示線又は車線の境界線以外の線の抽出が抑制されつつ、標示線又は車線の境界線が抽出されることが可能な車両用走路判定用の線図形化処理装置を提供する。
【解決手段】路面が撮像されてなる画像から、前記路面上の標示線５Ｌ，５Ｒの境界線又は車両用走路４の境界線を少なくとも２本検出する車両用走路判定用の線図形化処理装置２０であって、前記画像内において複数の線Ｌ₀、Ｌａ、Ｌｂが互いに交差してなる第１の線群の中から線の長さが最大のものＬ₀を第１の前記境界線として選ぶ第１の境界線抽出部と、前記画像内において複数の線Ｌ₁₀、Ｌｃ、Ｌｄが互いに交差してなる第２の線群の中から線の長さが最大のものＬ₁₀を第２の前記境界線として選ぶ第２の境界線抽出部とを備えている。
【選択図】 図２

Description

本発明は、線図形化処理装置に関し、特に車両用走路判定用の線図形化処理装置に関する。

従来、車両が走行する路面上に描かれた標示線又は車線の境界線を検出する車両用走路判定用の線図形化処理装置が知られている。その線図形化処理装置により検出された標示線又は車線の境界線は、標示線又は車線の境界線を基準として車両のレーン・キーピング・オペレーション（車線維持動作）を実行する運転支援システムに用いられたり、標示線又は車線の境界線を基準として車両の横変位を検出し、その結果として車両が走路を逸脱する傾向にあると判定する場合に警報を発する逸脱警報システムに用いられることがある。ここで、標示線には、各車線を区分する通行区分、白線や黄線のような区画線を含む車線境界位置と、乗員に対して注意を促すために設けられた破線状の走行誘導線とが含まれる。

ところで、従来一般の車両用走路判定用の線図形化処理装置では、カメラにより撮像された画像から各画素位置に関連付けた輝度データを抽出し、その抽出された輝度データのうち、しきい値よりも高い輝度を持つ画素位置をエッジ点として抽出し、そのエッジ点群から例えばハフ変換（Hough transformation）のような線図形化処理技術を用いて、標示線又は車線の境界線候補となるエッジ線（直線）を検出している。

特開平８−３２０９９７号公報 特開２００１−１４５９５号公報

例えば、車両が走行する路面上に描かれた標示線又は車線の境界線に代表されるような、画像において互いに交差することがなくかつ長さが最大の第１及び第２の線を、画像の中から抽出する際に、上記第１及び第２の線以外の線の抽出が抑制されることが望まれている。

特に、従来一般の車両用走路判定用の線図形化処理装置による処理対象となる、画像から抽出された点には、ノイズが含まれ、また、標示線又は車線の境界以外のもの（例えば車両の影や縁石など）による点が含まれることから、点群から線図形化処理技術を用いて線分を抽出した結果として、本来求めたい標示線又は車線の境界線候補以外の、線分が抽出されていた。これにより、処理コストが多くかかる上に、安定した標示線又は車線の境界線の検出にとって不利である。

本発明の目的は、画像において互いに交差することがなくかつ長さが最大の第１及び第２の線を、画像の中から抽出する際に、上記第１及び第２の線以外の線の抽出が抑制されつつ、上記第１及び第２の線が抽出されることが可能な線図形化処理装置を提供することである。

本発明の他の目的は、車両が走行する路面上に描かれた標示線又は車線の境界線を、画像の中から抽出する際に、標示線又は車線の境界線以外の線の抽出が抑制されつつ、標示線又は車線の境界線が抽出されることが可能な車両用走路判定用の線図形化処理装置を提供することである。

本発明の線図形化処理装置は、画像から互いに交差することがなくかつ長さが最大の第１及び第２の線を抽出する線図形化処理装置であって、前記画像内において複数の線が互いに交差してなる第１の線群の中から線の長さが最大のものを前記第１の線として選ぶ第１の線抽出部と、前記画像内において複数の線が互いに交差してなる第２の線群の中から線の長さが最大のものを前記第２の線として選ぶ第２の線抽出部とを備えたことを特徴としている。

本発明の線図形化処理装置は、路面が撮像されている画像から、前記路面上の標示線の境界線又は車両用走路の境界線を少なくとも２本検出する車両用走路判定用の線図形化処理装置であって、前記画像内において複数の線が互いに交差してなる第１の線群の中から線の長さが最大のものを第１の前記境界線として選ぶ第１の境界線抽出部と、前記画像内において複数の線が互いに交差してなる第２の線群の中から線の長さが最大のものを第２の前記境界線として選ぶ第２の境界線抽出部とを備えたことを特徴としている。

本発明の線図形化処理装置において、前記線は、点列からなり、前記線の長さは、前記線の前記点列を構成する複数の点の中で最も遠い２点間の距離に基づいて求められることを特徴としている。

本発明の線図形化処理装置において、前記線は、点列からなり、前記線の長さは、前記線の前記点列を構成する点の数に基づいて求められることを特徴としている。

本発明の線図形化処理装置において、前記線は、点列からなり、前記線の長さは、前記線の前記点列を構成する複数の点の中で最も遠い２点間の距離と、前記線の前記点列を構成する点の数の関数に基づいて求められることを特徴としている。

本発明の線図形化処理装置において、前記画像に含まれる複数の前記点からハフ変換（Hough transformation）を用いて前記点列からなる前記線を抽出することを特徴としている。

本発明の線図形化処理装置において、前記第１の線群及び前記第２の線群のそれぞれは、前記ハフ変換のパラメータ空間を用いて、複数の線が互いに交差しているか否かの判定が行われた結果として検出されることを特徴としている。

本発明の線図形化処理装置において、前記第１の線群の中から線の長さが最大のものを選択する処理、及び前記第２の線群の中から線の長さが最大のものを選択する処理は、前記ハフ変換のパラメータ空間に投票された投票値、及び前記パラメータ空間に投票された複数の点に対応する座標値の少なくともいずれか一方を用いて行われることを特徴としている。

本発明によれば、画像において互いに交差することがなくかつ長さが最大の第１及び第２の線を、画像の中から抽出する際に、上記第１及び第２の線以外の線の抽出が抑制されつつ、上記第１及び第２の線が抽出されることが可能となる。

以下、本発明の車両用走路判定用の線図形化処理装置の一実施形態として標示線検出装置について図面を参照しつつ詳細に説明する。本実施形態の標示線検出装置は、レーン・キーピング・オぺレーションを実行する運転支援装置に適用される。

（第１実施形態）
図１３は、本実施形態が適用される車両１を示す平面図である。図１４は、車両１の側面図である。図１３及び図１４に示されるように、この車両１の前方、例えば車両１の車室前部中央（ルームミラー付近など）には、撮像用のＣＣＤカメラ１１が設置されている。図１４に示すように、ＣＣＤカメラ１１は、水平方向に対して俯角φを有するように設けられている。

このＣＣＤカメラ１１は、図１５に示す態様で車両１前方の路面の画像（映像）を取得するもので、その撮像範囲内に走行する車線４の境界線（車線標示で規定される車線の境界位置）である左白線５Ｌ及び右白線５Ｒの画像を含むように搭載されている。

図１２は、本実施形態の標示線検出装置２０が適用された運転支援装置１０を示す概略構成図である。同図に示されるように、この運転支援装置１０は、ＣＣＤカメラ１１と、メインスイッチ１２と、標示線検出装置２０と、レーンキープ制御ＥＣＵ３０と、車速センサ３８と、表示装置４０と、ブザー４１と、ステアリングトルク制御ＥＣＵ（駆動回路）３１と、ステアリングホイル３２に連結されたステアリングシャフト３３に配設された操舵角センサ３４及びトルクセンサ３５と、ステアリングシャフト３３にギヤ機構３６を介して連結されたモータ３７とを備えている。

ＣＣＤカメラ１１は、取得した画像をアナログの映像信号として標示線検出装置２０に出力する。メインスイッチ１２は利用者（運転者など）により操作されるシステム作動・停止用の操作スイッチであり、その操作状態に応じた信号をレーンキープ制御ＥＣＵ３０に出力する。レーンキープ制御ＥＣＵ３０は、メインスイッチ１２がＯＦＦからＯＮに切り替えられたときに、運転支援システム（運転支援装置１０）が作動状態となるように、標示線検出装置２０に対して作動状態であることを示す信号を出力する。

表示装置４０は、車両１の例えば車室内のインストルメントパネルに設けられており、レーンキープ制御ＥＣＵ３０により点灯駆動されることで利用者によるシステムの作動確認に供される。例えば、車両１の両側に標示線５Ｌ、５Ｒが検出されているとき、レーンキープ制御ＥＣＵ３０は表示装置４０を点灯駆動する。ブザー４１は、車線逸脱の可能性有りと判定されることでレーンキープ制御ＥＣＵ３０により発声駆動される。

標示線検出装置２０は、制御部２１と、輝度信号抽出回路２２と、ＲＡＭ（ランダムアクセスメモリ）２３と、過去履歴バッファ２４とを備えている。

輝度信号抽出回路２２は、ＣＣＤカメラ１１からの映像信号を入力して輝度信号を抽出し、この輝度信号を制御部２１に出力する。制御部２１は、輝度信号抽出回路２２から入力した信号に基づいて、図１３に示すように、標示線５Ｌ、５Ｒの検出、道路パラメータ（後述する）の演算、車線４のカーブＲ、ヨー角θ１及びオフセット量の検出等の処理を行うとともに、当該処理に係る各種データをＲＡＭ２３に一時記憶する。制御部２１は、検出した標示線５Ｌ、５Ｒの幅、及び演算した道路パラメータを過去履歴バッファ２４に格納する。

ここで、ヨー角θ１とは、車両１が走行している向きと車線４が延在する向きとの間のずれに対応する角度である。オフセット量とは、車両１の幅方向の中心位置と、車線４の幅（レーン幅）の中心位置とのずれの大きさである。標示線検出装置２０は、標示線５Ｌ、５Ｒの位置を示す情報、カーブＲ、ヨー角θ１及びオフセット量のそれぞれを示す情報をレーンキープ制御ＥＣＵ３０に出力する。

レーンキープ制御ＥＣＵ３０は、標示線検出装置２０から入力した、道路パラメータ、標示線５Ｌ、５Ｒの位置、カーブＲ、ヨー角θ１及びオフセット量と、車速センサ３８から入力した車速に基づいて、車両１がカーブを通過するために必要なステアリングトルクを演算するとともに、車線４の逸脱判定等の処理を行う。レーンキープ制御ＥＣＵ３０は、演算により求めた運転支援に必要なステアリングトルクを示す信号をステアリングトルク制御ＥＣＵ３１に出力する。ステアリングトルク制御ＥＣＵ３１は、その入力したステアリングトルクに対応する指令信号をモータ３７に出力する。また、レーンキープ制御ＥＣＵ３０は、車線逸脱の判定結果に応じて駆動信号をブザー４１に出力して、ブザー４１を発声駆動する。

操舵角センサ３４は、ステアリングホイル３２の操舵角θ２に応じた信号をレーンキープ制御ＥＣＵ３０に出力する。レーンキープ制御ＥＣＵ３０は、操舵角センサ３４から入力した信号に基づいて操舵角θ２を検出する。トルクセンサ３５は、ステアリングホイル３２に伝達される操舵トルクＴに応じた信号をレーンキープ制御ＥＣＵ３０に出力する。レーンキープ制御ＥＣＵ３０は、トルクセンサ３５から入力した信号に基づいて、操舵トルクＴを検出する。ギヤ機構３６は、モータ３７の発生するトルクをステアリングシャフト３３に伝達する。モータ３７は、ステアリングトルク制御ＥＣＵ３１から出力される指令信号に応じたトルクを発生する。

次に、図１８を参照して、標示線検出装置２０において、ＣＣＤカメラ１１により撮像された画像から標示線を検出する原理について説明する。１本の標示線５Ｌ又は５Ｒが検出されるに際しては、例えば図１８に示すような方法で、標示線の幅が求められることにより、標示線の幅と位置が検出される。即ち、図１８に示すように、路面画像において車両の進行方向（標示線が延在する方向、図１８の上下方向）と概ね直交する水平方向Ｘのライン上に位置する複数の画素のそれぞれの輝度値に基づいて、その立上りと立下りから標示線の幅が求められる。又は、図１８に示すように、水平方向Ｘのライン上において互いに隣接する画素間の輝度値の偏差を輝度微分値として演算し、その立上りピークと立下りピークから標示線の幅が求められる。

図１−１から図３は、本実施形態での車両用走路判定の処理態様を示すフローチャートである。この処理は、メインスイッチ１２がオン操作されていることを前提に所定時間ごとの定時割り込みにて繰り返し実行される。処理がこのルーチンに移行すると、制御部２１は、まず各種データの入力処理を実行する。

［ステップＳ１０１］
次に、制御部２１は、ステップＳ１０１に移行して、カメラ映像の入力処理を実行する。具体的には、制御部２１は、ＣＣＤカメラ１１の映像信号から抽出された輝度信号を入力してこれを各画素ごとにＡ／Ｄ（アナログ／デジタル）変換し、画素位置に関連づけた輝度データとしてＲＡＭ２３に一時記憶する。この画素位置は、ＣＣＤカメラ１１の撮像範囲（図１５参照）に準じて定義される。

なお、上記輝度データは、対応する輝度が明るい（白い）ほど大きく、暗い（黒い）ほど小さい値になる。例えば、この輝度データは８ビット（０〜２５５）で表されており、輝度が明るいほど値「２５５」に近づき、暗いほど値「０」に近づく。

［ステップＳ１０２］
次に、制御部２１は、ステップＳ１０２に移行して、エッジ点抽出（白線候補点検出）処理を実行する。具体的には、制御部２１は、ＲＡＭ２３に一時記憶した各画素の輝度データを順次、水平方向に１ライン分ずつ読み込む（走査する）。すなわち、制御部２１は、ＲＡＭ２３より画素位置が水平方向に並ぶ各画素の輝度データをまとめて読み込む。図１６は、水平方向の所定ラインに並ぶ各画素の位置と対応する輝度データの一例を示すグラフである。

図１６に示されるように、水平方向に並ぶ各画素の輝度データは、例えば車線４の左白線５Ｌ、右白線５Ｒに対応して明るくなることでピークを示す（図１８の輝度値と同様）。従って、制御部２１は、各水平方向のラインごとに輝度データと所定のエッジ点検出しきい値とを大小比較することで、標示線に対応する画素位置の候補（エッジ点、白線候補点）を抽出する。制御部２１は、所要数（あるいは全て）の水平方向のラインについて上記エッジ点を抽出する。そして、制御部２１は、抽出された全てのエッジ点（画素位置）をＲＡＭ２３に一時記憶する。

輝度が暗から明に変わるエッジ点を立上りエッジ点Ｐｕと称し、輝度が暗から明に変わるエッジ点を立下りエッジ点Ｐｄと称する。この立上りエッジ点Ｐｕと立下りエッジ点Ｐｄのペアを検出することにより、１本の標示線が検出されることになり、そのペアを構成する立上りエッジ点Ｐｕと立下りエッジ点Ｐｄの距離が１本の標示線の幅（図１５の符号ｄ１）に相当する。図１５及び図１６に示すように、単一の水平方向のライン上に、立上りエッジ点Ｐｕと立下りエッジ点Ｐｄのペアが２つ存在すれば、車線４の左白線５Ｌと右白線５Ｒに対応していることになる。但し、実際には、ノイズや車両や建物等の影によって、左白線５Ｌと右白線５Ｒのエッジ点以外のエッジ点（図示せず）が検出される場合が多い。

[ステップＳ１０３]
次に、制御部２１は、ステップＳ１０３に移行して、上記ステップＳ１０２を経た後の処理対称画像を上下に分割して、上半分エリア（車両１から遠方に当たる）と下半分エリア（車両１の近傍に当たる）とする。そして、上半分エリアと下半分エリアのそれぞれについて幾何変換を行い、図４に示すような、上半分エリア１００と下半分エリア２００の路面画像の形式にする。ここでいう幾何変換とは、カメラ１１により撮影された画像（図８）が解析されて、路面に対する垂直方向上方から鳥瞰した形式の路面画像（路面の平面図）を生成することをいう。

[ステップＳ２００]
次に、制御部２１は、ステップＳ２００のサブルーチンに移行して、図２のエッジ線抽出（白線候補直線検出）処理を実行する。まず、エッジ線抽出処理の前提技術について説明する。

制御部２１は、ＲＡＭ２３に一時記憶したエッジ点を読み込んでこの点群を直線にあてはめる（エッジ点から線を導出する）。この直線にあてはめる手法として、例えばＨｏｕｇｈ（ハフ）変換が文献等（「松山隆司他：コンピュータビジョン、１４９／１６５、新技術コミュニケーションズ：１９９９」、「Ｐ．Ｖ．Ｃ．Ｈｏｕｇｈ：Ｍｅｔｈｏｄｓ ａｎｄ ｍｅａｎｓ ｆｏｒ ｒｅｃｏｇｎｉｚｉｎｇ ｃｏｍｐｌｅｘ ｐａｔｔｅｒｎｓ，Ｕ．Ｓ．ＰａｔｅｎｔＮｏ．３０６９６５４（１９６２）」）で知られている。

ハフ変換は、パラメータで表現することのできる線図形（直線、円、楕円、放物線など）を抽出できる代表的な手法である。この方法は、複数の線分を抽出することができ、雑音に対して強いという優れた特徴がある。

ここでは、直線検出を考える。直線の表現としては、勾配ｍとｙ軸との切片ｃをパラメータとする方程式
ｙ＝ｍｘ＋ｃ‥‥式（１）
を使う方法と、
あるいは、直線から原点におろした垂線の長さρ、垂線がｘ軸となす角θをパラメータとする方程式
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ‥‥式（２）
を使う方法がある。

まず、上記式（１）を使う方法について説明する。
直線上の任意の点（ｘ₀，ｙ₀）は上記方程式（１）を満足し次式（３）が成り立つ。
ｙ₀＝ｍｘ₀＋ｃ‥‥式（３）

ここで、（ｍ，ｃ）を変数と考えると、式（３）からｍ−ｃ平面上に直線を描くことができる。これを１本の線を構成するすべての画素について行うと、ｍ−ｃ平面上の直線群はある１点（ｍ₀，ｃ₀）に集中し、その交点が、求めるパラメータの値となる。図５−１及び図５−２は、このｍ−ｃ空間によるハフ変換を説明するための図であり、図５−１は、ｘ−ｙ空間を示し、図５−２は、そのｍ−ｃ空間への写像を示している。図５−１及び図５−２に示すように、点Ａ、Ｂ、Ｃを通る直線群がｍ−ｃ平面ではそれぞれ直線Ａ、Ｂ、Ｃになり、それらの交点座標が（ｍ₀，ｃ₀）となっている。

以上がハフ変換を用いた直線検出の原理であるが、具体的には、交点の求め方は次のように行う。即ち、ｍ−ｃ空間に相当する２次元配列を用意し、ｍ−ｃ平面に直線を引くことを、直線が通る配列要素に１を加えるという操作に置き換える。この操作を全てのエッジ点について行った後、累積度数の大きな配列要素を検出すれば交点座標が求まる。

次に、上記式（２）を使う方法について説明する。
直線上の任意の座標（ｘ₀，ｙ₀）は次式（４）を満足する。
ρ＝ｘ₀ｃｏｓθ＋ｙ₀ｓｉｎθ‥‥式（４）

ここで、ρは、図６−１に示すように、原点から直線への垂線の長さ、θはこの垂線とｘ軸との角度である。この式を使うとｘ−ｙ平面の１点を通る直線群はθ−ρ平面では正弦波となり、図６−１の点Ａ，Ｂ，Ｃを通る直線群は、図６−２のようになる。この場合もやはり１点で交わる。即ち、ｘ−ｙ座標系の点群をｐ_i（ｘ_i，ｙ_i）（ｉ＝１〜ｎ）とすると、点ｐ_iは、パラメータ（θ，ρ）空間内の曲線
ρ＝ｘ_iｃｏｓθ＋ｙ_iｓｉｎθ‥‥式（５）
に変換される。

パラメータ空間の各点に曲線がその点を通過する度数を表す関数ｐ（θ，ρ）を定義すると、式（５）を満たす（θ，ρ）に対してｐ（θ，ρ）に１が加算される。これをパラメータ空間（投票空間）への投票と呼ぶ。ｘ−ｙ座標系で直線を構成する複数の点は、パラメータ空間ではその直線を表す（θ₀，ρ₀）の点を通る曲線となるから、その交点でｐ（θ₀，ρ₀）にピークが生じる。したがって、ピークを検出することにより、直線を抽出することができる。通常は、しきい値ｎ₀を決めて、ｐ（θ，ρ）≧ｎ₀を満たす点をピークと判定する。

ステップＳ２００では、上記ステップＳ１０２で抽出されたエッジ点に対して、上記のハフ変換を行うことによって、エッジ線を抽出する。この場合、ある一本のエッジ線（直線）は、複数の立上りエッジ点Ｐｕのみ（即ち、立下りエッジ点Ｐｄを含まない）から構成され、他の一本のエッジ線（直線）は、複数の立下りエッジ点Ｐｄのみ（即ち、立上りエッジ点Ｐｕを含まない）から構成されることになる。立上りエッジ点Ｐｕのみから構成されるエッジ線を立上りエッジ線と称し、立下りエッジ点Ｐｄのみから構成されるエッジ線を立下りエッジ線と称する。上記ステップＳ１０２の結果、左白線５Ｌと右白線５Ｒのエッジ点以外のエッジ点（図示せず）が検出される場合が多いことから、ハフ変換を施した結果、上半分エリア１００又は下半分エリア２００の中には、左白線５Ｌと右白線５Ｒのエッジ線以外のエッジ線（図示せず）が検出される場合が多い。

本実施形態では、このエッジ線抽出の段階（ステップＳ２００）において、左白線５Ｌと右白線５Ｒのエッジ線以外のエッジ線（ノイズや影によるものを含む）を抽出することを抑制することを目的としている。

図１１を参照して、ステップＳ２００におけるエッジ線抽出の概要について説明する。
従来の標示線検出装置では、ハフ変換を用いて車線境界候補となるエッジ線を抽出する際に、パラメータ空間の投票値が極大となる点をエッジ線候補として抽出していたが、実画像を処理した場合には、偽の極大値がノイズとして抽出されるという問題があった。本実施形態では、車線境界を構成するエッジ線は、少なくともエッジ線抽出範囲では交差することは無いという性質を利用して、不要なエッジ線候補の抽出を抑制し、安定した標示線の検出と処理コストの削減を実現する。

次に、図２及び図４を参照して、ステップＳ２００について詳細に説明する。

[ステップＳ２０１]
制御部２１は、エッジ線抽出処理を開始する（ステップＳ２０１）。ここでは、立上りエッジ点Ｐｕについてのみエッジ線抽出処理を行い、立下りエッジ点Ｐｄについてのエッジ線抽出処理は行わないこととする。但し、立下りエッジ点Ｐｄについてのエッジ線抽出処理を行う場合には、以下に述べる方法と同様の方法により実行可能である。また、ここでのエッジ線抽出処理の探索範囲は、上記上半分エリア１００のみで、下半分エリア２００は含まれない。下半分エリア２００を探索範囲とするエッジ線抽出処理も別途行われるが、以下に述べる方法と同様の方法により実行可能である。

[ステップＳ２０２]
次に、制御部２１は、ステップＳ２０２に移行して、エッジ点の一つ一つに対して、パラメータ空間への投票を行う（ステップＳ２０２）。ステップＳ２０２の具体的内容について図７及び図８を参照して説明する。図７に示されるエッジ点は、いずれも上記ステップＳ２０１にて探索範囲とされた、図４の上半分エリア１００の立上りエッジ点Ｐｕである。

ここでは、直線の表現として、勾配ｍとｘ軸との切片ｃをパラメータとする
ｘ＝ｍｙ＋ｃ
を使うこととする。図７に示すように、上記上半分エリア１００のｘ−ｙ座標系の複数のエッジ点ｐ_i（ｘ_i，ｙ_i）（ｉ＝１〜ｎ）のそれぞれについて、そのエッジ点を通る可能性がある線分を全て考える。例えば、あるエッジ点ｐ₀（ｘ₀，ｙ₀）を通る直線Ｌ₀₁，₀₂‥は、それぞれ傾きｍ₀₁，₀₂‥（＝Ｍ₀₁，₀₂‥／Ｌ）、ｘ軸との切片がｃ₀₁，ｃ₀₂‥で定義される。また、別のあるエッジ点ｐ₁（ｘ₁，ｙ₁）を通る直線Ｌ₁₁，₁₂‥は、それぞれ傾きｍ₁₁，₁₂‥（＝Ｍ₁₁，₁₂‥／Ｌ）、ｘ軸との切片がｃ₁₁，ｃ₁₂‥で定義される。上記のあるエッジ点ｐ₀（ｘ₀，ｙ₀）と別のあるエッジ点ｐ₁（ｘ₁，ｙ₁）の両方を通る直線Ｌ₀は、傾きｍ₀（＝Ｍ₀／Ｌ）、ｘ軸との切片がｃ₀で定義される。

ステップＳ２０２において、制御部２１は、上記上半分エリア１００のｘ−ｙ座標系の複数のエッジ点（本例では立上りエッジ点Ｐｕのみ）のそれぞれに対して、そのエッジ点を通る可能性がある全ての直線の傾きｍとｘ軸切片ｃを求め、図８に示すように、ｍ−ｃ空間（パラメータ空間）に投票する。図８において、ｚは投票値を示しており、エッジ点の数に対応している。

図７の例では、少なくとも４つのエッジ点ｐ₀〜ｐ₃は、全て、傾きがｍ₀、ｘ軸との切片がｃ₀で定義される直線Ｌ₀を通ることから、図８のパラメータ空間では、（ｍ₀、ｃ₀）に少なくとも４つの投票が入ることになる。このようにして、全てのエッジ点のそれぞれに対して、そのエッジ点を通る可能性が通る全ての直線について、パラメータ空間への投票を行うと、図８に示すように、パラメータ空間には、複数のピーク（極大値）が生じる。

[ステップＳ２０３]
次に、制御部２１は、ステップＳ２０３に移行して、図８のパラメータ空間（ステップＳ２０１で設定した探索範囲：ここでは、上記上半分エリア１００のみ）内のピーク（極大値）を探索する。図８に示すように、パラメータ空間には、複数のピークが生じる。

図８のパラメータ空間に生じた複数のピークのそれぞれは、上記上半分エリア１００のｘ−ｙ座標系において、エッジ点から抽出されるエッジ線に対応し、そのピークのＺの値は、そのｘ−ｙ座標系において抽出されたエッジ線の線上にのっている（存在する）エッジ点の数に対応している。

ステップＳ２０３では、投票値Ｚの値に関してしきい値が設定され、所定の投票数以上を獲得したピークのみが選択される。ここでは、例えば、ｚ＝２がしきい値として設定されると、その結果、パラメータ空間の中の複数のピークの中から、しきい値以上の投票値Ｚを有するものとして、３つの点（ｍ₀、ｃ₀）、（ｍ₁、ｃ₁）、（ｍ₂、ｃ₂）が選択される。

[ステップＳ２０４]
次に、制御部２１は、ステップＳ２０４に移行して、極大値に対するエッジ線間の交差判定とエッジ線の選択を行う。ステップＳ２０４では、パラメータ空間（ステップＳ２０１で設定した探索範囲）において、上記ステップＳ２０３で設定されたしきい値以上の投票値Ｚを有するエッジ線のうち、互いに交差するエッジ線を探す。

パラメータ空間において、互いに交差する直線は、ある特定の幾何学的な特性を有する。図９に示されるパラメータ空間に設けられた斜線部（交差範囲標示部）は、ｘ−ｙ座標系処理範囲内において、（ｍ₀、ｃ₀）によって定義される直線と交差する直線の範囲（上記特定の幾何学的な特性によって示される範囲）を示している。なお、図９において上記斜線部の範囲は数学的に容易に求められるため、その説明を省略する。

ステップＳ２０４において、制御部２１は、上記ステップＳ２０３で探索されたしきい値以上の極大値を持つピークが複数ある場合には、そのピークのそれぞれに対して、図９の斜線部の範囲を求め、その斜線部の範囲に、上記ステップＳ２０３で探索された他のピークが入っていないか否かを判定する（エッジ線間の交差判定）。

それと同時に、制御部２１は、その斜線部の範囲において、その斜線部が設定される対象（図９では（ｍ₀、ｃ₀））よりも投票値Ｚが低いものを消去していく（エッジ線の選択）。図９の例では、（ｍ₀、ｃ₀）よりも、（ｍ₁、ｃ₁）と（ｍ₂、ｃ₂）は、投票値Ｚが低いことから、（ｍ₁、ｃ₁）と（ｍ₂、ｃ₂）は消去され、（ｍ₀、ｃ₀）のみが残る。

図１０に示されるｘ−ｙ座標系において、直線Ｌ₀（図７参照）と、直線Ｌａと、直線Ｌｂは互いに交差している。ここで、直線Ｌ₀は、図７から図９の（ｍ₀、ｃ₀）に対応して、Ｚ＝７である（図７及び図１０において直線Ｌ₀にのっているエッジ点の数は７である）。直線Ｌａは、図８及び図９において、Ｚ＝４の（ｍ₁、ｃ₁）である（図１０において直線Ｌａにのっているエッジ点の数は４である）。直線Ｌｂは、図８及び図９において、Ｚ＝３の（ｍ₂、ｃ₂）である（図１０において直線Ｌｂにのっているエッジ点の数は３である）。

即ち、図９において（ｍ₀、ｃ₀）に対して設定された斜線部に入った（ｍ₁、ｃ₁）と（ｍ₂、ｃ₂）に対応する直線Ｌａと直線Ｌｂが、図１０において、直線Ｌ₀に対して交差していることが示されている。そして、図９では、互いに交差する直線群Ｌ₀、Ｌａ、Ｌｂのうち、最も投票値Ｚが大きなＬ₀が選択されることにより、標示線又は車線の境界を示すエッジ線として最も確からしい直線が選択されることになる。これにより、標示線又は車線の境界に無関係なエッジ線が除去される。

上記のように、本実施形態では、図４及び図１０に示すように、上記幾何変換後の路面画像において、車線（図４、図１３及び図１５の符号４）の境界を構成するエッジ線ペア、ないし、標示線を構成するエッジ線ペア（立上りエッジ線Ｌｕと立下りエッジ線）は互いに平行であるという性質を利用している。ここで「平行である」とは、処理エリア（本例では、上半分エリア１００と下半分エリア２００のそれぞれ）において交差しない、という意味である。換言すれば、同一のエッジ点が標示線を構成する複数の直線（エッジ線）に含まれることは無い。

図１０に示すように、ある処理エリア１００において、複数のエッジ線Ｌ₀、Ｌａ、Ｌｂが互いに交差した場合には、少なくとも、その互いに交差しているエッジ線群Ｌ₀、Ｌａ、Ｌｂの中から１本Ｌ₀を除いた残りのエッジ線Ｌａ、Ｌｂは、標示線や車線の境界を構成するエッジ線ではない（例えば車両の影などを誤検出した結果やノイズである）ことになる。

また、互いに交差するエッジ群Ｌ₀、Ｌａ、Ｌｂの中で標示線や車線の境界を構成するエッジ線Ｌ₀は、それが標示線や車線の境界を構成するものであるがゆえに、その長さが最も長いという特徴を持つ。この特徴を利用して、互いに交差するエッジ群Ｌ₀、Ｌａ、Ｌｂを検出し、その中で長さが最も長いエッジ線Ｌ₀を選択すれば、標示線や車線の境界を構成するエッジ線として、最も確からしいものを選択することが可能となる。

即ち、図１０において、上記と異なる例を用いて、上記内容を整理して説明すれば、以下の通りとなる。車線の境界ないし標示線を構成するエッジ線として最も確からしいエッジ線Ｌ₁₀は、互いに交差するエッジ線群Ｌ₁₀、Ｌｃ、Ｌｄのグループを検出するステップと、その検出されたグループの中で最も長さの長いエッジ線を選択するステップの結果として検出される。

なお、上記の処理は、全て、ステップＳ２０２で設定された探索範囲毎に行われることから、図１０の上半分エリア１００において、標示線を構成するエッジ線Ｌ₀と、下半分エリア２００において、上記エッジ線Ｌ₀と同一直線上にあるエッジ線Ｌ₂₀は、別の処理にて別の直線として検出される。

上記実施形態では、ステップ２０１において、エッジ線抽出の対象を立上りエッジ点Ｐｕのみとしたが、車線境界を走行レーンと標示線の境界線とするため、路面画像の右半分では立上りエッジ点Ｐｕ（立上りエッジ線）を、路面画像の左半分では立下りエッジ点Ｐｄ（立下りエッジ線）を、互いに交差しない第１及び第２のエッジ線（点列）として求めてもよい。

上記では、互いに交差するエッジ線群のグループの中から、最も長いエッジ線を選択する方法として、上記ステップＳ２０４において投票値Ｚの値に着目する方法を説明した。これは、エッジ線の長さが長い程、そのエッジ線にのっているエッジ点の数が多い傾向にあることによるものである。但し、互いに交差するエッジ線群のグループの中から、最も長いエッジ線を選択する方法としては、上記ステップＳ２０４で投票値Ｚの値に着目する方法に限定されるものではない。例えば、以下の方法が用いられることができる。

即ち、制御部２１は、図９の斜線部が設定される対象（図９では（ｍ₀、ｃ₀））に投票された７つのエッジ点のそれぞれのｘ−ｙ座標上での座標値を参照し、７つのエッジ点の中で最も遠い２つのエッジ点間の距離を求める。この距離は、図１０に示されたエッジ線Ｌ₀の上の７つのエッジ点の中で最も遠い２つのエッジ点間の距離、即ちにエッジ線Ｌ₀の長さに対応する。次いで、制御部２１は、図９の斜線部の範囲に入る（ｍ₁、ｃ₁）の４つエッジ点の中で最も遠い２つのエッジ点間の距離を求める。この距離は、図１０に示されたエッジ線Ｌａの上の４つのエッジ点の中で最も遠い２つのエッジ点間の距離、即ち、エッジ線Ｌａの長さに対応する。同様にして、制御部２１は、図９の斜線部の範囲に入る（ｍ₂、ｃ₂）に対応するエッジ線Ｌｂの長さを求める。次に、制御部２１は、エッジ線Ｌ₀、Ｌａ、Ｌｂの長さを比較し、最も長いエッジ線Ｌ₀を選択する。

更に、互いに交差するエッジ線群のグループの中から、最も長いエッジ線を選択する方法としては、そのエッジ線にのっている複数のエッジ点の中で最も遠い２つのエッジ点間の距離が大きく、かつそのエッジ線にのっているエッジ点の数（投票値Ｚ）が大きなものを選択する方法が有効である。エッジ線の物理的距離が大きく、かつ明暗差がエッジ点の多さとして表れているエッジ線が、標示線の境界線又は車線の境界線として最も確からしいからである。このことから、投票値Ｚとエッジ線の物理的距離の評価関数に基づいて選択することができる。

以上説明したステップＳ２００のエッジ線抽出処理では、画像から抽出したエッジ点群からハフ変換を用いて複数のエッジ線を抽出し、その抽出された複数のエッジ線のうち互いに交差するエッジ線群のグループを検出し、そのグループの中で最も長さの長いエッジ線を、車線境界のエッジ線ないしは標示線を構成するエッジ線として選択する方法が採用された。この場合、ステップＳ２００で採用される線図形化処理手段としては、ハフ変換に限定されない。

例えば、上記ハフ変換に代えて、上記エッジ点群を最小２乗法で直線にあてはめる方法により、複数のエッジ線を抽出し、その抽出された複数のエッジ線のうち互いに交差するエッジ線群のグループを検出し、そのグループの中で最も長さの長いエッジ線を、車線境界のエッジ線ないしは標示線を構成するエッジ線として選択する方法が採用されることができる。

または、上記ハフ変換に代えて、例えば、特徴抽出（feature extraction）等の固有ベクトルによる方法その他各種の手法を採用して、上記エッジ点群を直線にあてはめる方法により、複数のエッジ線を抽出し、その抽出された複数のエッジ線のうち互いに交差するエッジ線群のグループを検出し、そのグループの中で最も長さの長いエッジ線を、車線境界のエッジ線ないしは標示線を構成するエッジ線として選択する方法が採用されることができる。

本実施形態のようなエッジ線抽出処理によって、不要なエッジ線候補の抽出が抑制されることによって、処理コストが抑制され、安定した標示線又は車線の検出にとって有利となる。従来は、本実施形態のようなエッジ線処理（特にステップＳ２０４）が行われずに、不要なエッジ線候補まで抽出されていたため、その後のレーン選択の処理で、抽出された不要なエッジ線候補を含む複数のエッジ線を全て組み合わせてペアを作った上で、その中から最も確信度の高いペアを選択しなくてはならず、処理コストが嵩むという問題があった。

なお、ステップＳ２００は、標示線検出装置２０による標示線のエッジ線を抽出する技術として説明したが、ステップＳ２００で述べた線分抽出技術は、標示線以外の線分を抽出する技術にも適用可能である。即ち、画像の中から線を抽出する場合に、特に、エッジ点のような点が列を構成してなる線（点列）を抽出する場合に、抽出する対象の特徴量（feature parameter）が、「互いに交差しない複数の線であって、かつ長さが長い複数の線であること」である場合には、ステップＳ２００で述べた線分抽出技術が適用可能である。

[ステップＳ１０４]
次に、制御部２１は、ステップＳ１０４に移行して、標示線（エッジ線ペア）抽出処理を実行する。具体的には、上記ステップＳ２００において、互いに交差しない平行なエッジ線のみが抽出されるが、その抽出された複数のエッジ線の中から、制御部２１は、立上りエッジ線と立下りエッジ線のペア（エッジ線ペア）を抽出する。上記ステップＳ２００において、互いに交差しない平行なエッジ線のみが抽出されるが、左白線５Ｌと右白線５Ｒのエッジ線以外のエッジ線（図示せず）が検出される場合が多いことから、ステップＳ１０４の結果、立上りエッジ線と立下りエッジ線のペアの組み合わせも、複数できることになる。

ステップＳ１０４において、制御部２１は、このような左白線５Ｌと右白線５Ｒのそれぞれのエッジ線ペア以外のエッジ線ペアを含む複数のエッジ線ペアの中から、標示線の許容幅を参照して、エッジ線ペアを構成する立上りエッジ線と立下りエッジ線の距離（図１５の符号ｄ１）が、標示線の許容幅（図示せず）の範囲に収まっているエッジ線ペアを抽出する。

例えば、標示線の許容幅ｄｓが０〜３０ｃｍに設定されているときに、ある立上りエッジ線とある立下りエッジ線との距離ｄ１が５０ｃｍであるものは、標示線の許容幅の範囲に入らないために、エッジ線ペアとして抽出されない（幅寸法の点で標示線の候補から除外される）。これに対し、ある立上りエッジ線とある立下りエッジ線との距離ｄ１が２０ｃｍであるものは、標示線の許容幅の範囲に入っているために、エッジ線ペアとして抽出される（幅寸法の点で標示線の候補に選ばれる）。

［ステップＳ１０５］
次に、制御部２１は、ステップＳ１０５に移行して、上記ステップＳ１０４で抽出された複数のエッジ線ペア（直線）から標示線の候補として、標示線として最も確からしいエッジ線ペアを２つ選択する。このエッジ線ペアは、車両１の両側に対応する画素位置において各１つずつ選択される。このエッジ線ペアの選択に当たっては、例えば前回の検出結果からの車両１のピッチ、ロール、ヨーの各角度、横方向の移動距離つまり、車両１が所定時間内で移動しうる範囲が考慮される。即ち、ステップＳ１０５において、選択されるエッジ線ペアは、前回の検出結果との整合性の点で（前回の検出結果を反映させた上で）標示線の候補として選択されるものである。制御部２１は、選択された一対の標示線（エッジ線ペア）を画素位置に対応させてＲＡＭ２３に一時記憶する。

［ステップＳ１０６］
次に、制御部２１は、ステップＳ１０６に移行して、道路パラメータ（曲率、ピッチ角、レーン幅）の計算を行う。ここでは、上記ステップＳ１０５で抽出された最も確からしい２本の直線のエッジ線のデータから、そのエッジ線に対応するエッジ点のデータに戻した後に、そのエッジ点のデータに基づいて、上記道路パラメータの計算（曲率、ピッチ角、レーン幅）を行う。

［ステップＳ３００］
次に、制御部２１は、ステップＳ３００のサブルーチンに移行して、図３の道路パラメータの異常判定処理を実行する。制御部２１は、道路パラメータの異常判定処理を開始すると（ステップＳ３０１）、過去履歴バッファ２４に、過去の道路パラメータ（ピッチ角、曲率、レーン幅）を格納する（ステップＳ３０２）。

次に、制御部２１は、ステップＳ３０３に移行して、過去履歴バッファ２４から、複数の道路パラメータ（ピッチ角、曲率、レーン幅）を読み出し、その読み出した複数の道路パラメータに基づいて、ピッチ角、曲率、レーン幅のそれぞれの基準値を求める。この場合、ピッチ角、曲率、レーン幅のそれぞれの基準値は、それぞれ複数のピッチ角、曲率、レーン幅の平均値であることができる。

次に、制御部２１は、ステップＳ３０４に移行して、以下の動作を行う。即ち、上記ステップＳ１０６で求めたピッチ角と、上記ステップＳ３０３で求めたピッチ角の基準値（１）との差の絶対値を求め、その絶対値がしきい値（１）よりも大きいか、又は、上記ステップＳ１０６で求めた曲率と、上記ステップＳ３０３で求めた曲率の基準値（２）との差の絶対値を求め、その絶対値がしきい値（２）よりも大きいか、又は、上記ステップＳ１０６で求めたレーン幅と、上記ステップＳ３０３で求めたレーン幅の基準値（３）との差の絶対値を求め、その絶対値がしきい値（３）よりも大きいか、を判定する（ステップＳ３０４）。

制御部２１は、そのステップＳ３０４の判定の結果、上記３つの条件のうち、少なくともいずれか１つが成立すれば、すなわち、絶対値がしきい値よりも大きければ、ステップＳ３０５に移行して、道路パラメータが異常であると判定する。

次いで、制御部２１は、ステップＳ３０６に移行して、検出フラグ（Ｆ１）をＯＦＦにセットし、その後、ステップＳ３００の道路パラメータの異常判定のサブルーチンを終了する。一方、制御部２１は、上記ステップＳ３０４の判定の結果、上記３つの条件の全てが不成立であれば、ステップＳ３０５及びステップＳ３０６を行うことなく、ステップＳ３００の道路パラメータの異常判定のサブルーチンを終了する。

［ステップＳ１０７〜ステップＳ１０９］
次に、制御部２１は、図１−２のステップＳ１０７に移行して、上記ステップ１０５で選択すべきエッジ線又は上記ステップＳ１０５で選択されたエッジ線が存在するか否かを判定する。路面が汚れている場合などであって、標示線が汚れに隠れて見えない状態であったり、汚れて標示線又は車線の境界が薄く（標示線又は車線の境界が検出され難く）なっている状態であって、エッジ線として抽出されない場合には、ステップＳ１０７において、エッジ線が存在しないと判定される。このステップＳ１０７には、エッジ線のロスト判定も含まれ、検出フラグ（Ｆ１）がＯＦＦである場合（ステップＳ３０６、後述するステップＳ１１３）には、エッジ線が存在しないと判定される。

ステップＳ１０７の結果、エッジ線が存在する場合には、エッジ線が連続して存在する時間を示すエッジ線存在時間（Ｔ１）を加算する（ステップＳ１０８）。一方、ステップＳ１０７の判定の結果、エッジ線が存在しない場合には、エッジ線存在時間（Ｔ１）をゼロにする（ステップＳ１０９）。

[ステップＳ１１０]
次に、制御部２１は、ステップＳ１１０に移行して、道路パラメータが正常であるか否かを判定する。道路パラメータが正常であるか否かは、上記のように、ステップＳ２００の道路パラメータの異常判定により行われる。ステップＳ１１０の判定の結果、道路パラメータが正常であると判定された場合には、ステップＳ１１１に進み、そうで無い場合には、ステップＳ１１４に進む。

[ステップＳ１１１]
ステップＳ１１１では、制御部２１は、エッジ線存在時間（Ｔ１）が発見必要時間（Ｔ２）よりも大きいか否かが判定される。即ち、上記ステップ１０５で選択すべきエッジ線又は上記ステップＳ１０５で選択されたエッジ線が連続して存在する（ロストではないことを含む）時間である、エッジ線存在時間（Ｔ１）が、発見必要時間（Ｔ２）よりも長い間、連続（継続）しているか否かが判定される。そのステップＳ１１１の判定の結果、エッジ線存在時間（Ｔ１）の方が発見必要時間（Ｔ２）よりも大きい場合には、ステップＳ１１２に進み、そうでない場合には、ステップＳ１１３に進む。

[ステップＳ１１２]
ステップＳ１１２において、制御部２１は、２本の標示線を示すエッジ線が正常に検出されたと判断して、検出フラグ（Ｆ１）をＯＮに設定する。ステップＳ１１２の次には、ステップＳ１１４が行われる。

[ステップＳ１１３]
ステップＳ１１３において、制御部２１は、２本の標示線を示すエッジ線が正常に検出されなかったと判断して、検出フラグ（Ｆ１）をＯＦＦに設定する。ステップＳ１１３の次には、ステップＳ１１４が行われる。

[ステップＳ１１４]
ステップＳ１１４において、制御部２１は、道路パラメータを検出フラグ（Ｆ１）の値とともにレーンキープ制御ＥＣＵ３０に出力する。レーンキープ制御ＥＣＵ３０では、検出フラグ（Ｆ１）を参照し、検出フラグ（Ｆ１）がＯＮであるときの道路パラメータを演算対象に含める一方、検出フラグ（Ｆ１）がＯＦＦであるときの道路パラメータは、演算対象から除外する。ステップＳ１１４の次に、図１−１のステップＳ１０１に戻る。

なお、本発明の実施形態は、上記実施形態に限定されるものではなく、次のように変更してもよい。

上記実施形態においては、エッジ点の検出にあたって水平方向の各画素の輝度データとエッジ点検出しきい値とを比較した（ステップＳ１０２及び図１６参照）。これに対して、図１７に示されるように、水平方向の各画素について当該位置に隣接する画素との輝度データの偏差を輝度微分値として演算し、この立ち上がり及び立ち下がりの微分値の大きさ（絶対値）と同様のエッジ点検出しきい値とを比較することで、エッジ点（立上りエッジ点Ｐｕ、立下りエッジ点Ｐｄ）を検出してもよい。

上記実施形態においては、エッジ点の検出にあたってＣＣＤカメラ１１の映像信号から抽出された輝度信号をデジタル化した輝度データとエッジ点検出しきい値とを比較した。これに対して、ＣＣＤカメラ１１の映像信号から抽出された輝度信号をアナログのままエッジ点検出しきい値相当のアナログ値と比較してもよい。同様に、上記輝度信号をアナログのまま微分し、この微分信号の大きさ（絶対値）と上記に準じたエッジ点検出しきい値（図１７）相当のアナログ値と比較してもよい。

上記実施形態においては、ＣＣＤカメラ１１からの映像信号から輝度信号を抽出して、これに基づく輝度データにて標示線検出を行った。これに対して、例えばカラータイプのカメラでは、その映像信号から色相（色合い）のデータを抽出し、これに基づき標示線検出を行ってもよい。

上記実施形態においては、ＣＣＤカメラ１１により車両１の前方画像を取得し、これに基づく画像認識にて標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供した。これに対して、例えばＣＣＤカメラ１１を車両１の側部若しくは後部に設置する。そして、ＣＣＤカメラ１１により車両１の側方画像若しくは後方画像を取得し、これに基づく画像認識にて標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供してもよい。このように変更をしても、上記実施形態と同様の効果が得られる。

上記実施形態においては、車両１に搭載したＣＣＤカメラ１１により車両１の前方画像を取得し、これに基づく画像認識にて標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供した。これに対して、例えば道路に配設されたカメラの映像を受信・取得し、これに基づく画像認識にて標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供してもよい。このように変更をしても、上記実施形態と同様の効果が得られる。あるいは、車両１に搭載されたナビゲーションシステムにより車線４と自車両１との相対的位置関係を検出（取得）し、これを車線４に対するレーンキープ制御又は逸脱判定に供してもよい。

上記実施形態においては、ＣＣＤカメラ１１により車両１の前方画像を取得し、これに基づく画像認識にて標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供した。これに対して、例えば道路基盤（インフラ）として標示線５Ｌ，５Ｒに磁気マーカなどの電磁波の発信源を配設・整備する。そして、車両１に設けた受信機にて当該発信源の位置を特定し、これに基づき標示線５Ｌ，５Ｒを検出して車線４に対するレーンキープ制御又は逸脱判定に供してもよい。また、磁気マーカに代えて電磁波の送信機などであってもよい。このように変更をしても、上記実施形態と同様の効果が得られる。

上記実施形態においては、撮像用にＣＣＤカメラ１１を採用したが、例えば赤外線カメラやＣＭＯＳカメラなどでもよい。

例えば、無人搬送車やロボット、路線バスや自動倉庫などに適用しうる自動走行可能な車両システムに本実施形態を適用してもよい。例えば、電波を介した遠隔操作で自動走行させる車両システムに本実施形態を適用してもよい。

本発明の車両用走路判定用の線図形化処理装置の一実施形態の動作の一部を示すフローチャートである。 本発明の車両用走路判定用の線図形化処理装置の一実施形態の動作の他の一部を示すフローチャートである。 本発明の車両用走路判定用の線図形化処理装置の一実施形態の動作の更に他の一部を示すフローチャートである。 本発明の車両用走路判定用の線図形化処理装置の一実施形態の動作の更に他の一部を示すフローチャートである。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、幾何変換され、上下のエリアに分割された画像におけるエッジ点を模式的に示す図である。 ｍ−ｃ空間によるハフ変換を説明するための図であって、ｘ−ｙ空間を示す図である。 ｍ−ｃ空間によるハフ変換を説明するための図であって、ｍ−ｃ空間への写像を示す図である。 θ−ρ空間によるハフ変換を説明するための図であって、パラメータθ、ρを示す図である。 θ−ρ空間によるハフ変換を説明するための図であって、θ−ρ空間への写像を示す図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、幾何変換され、上下のエリアに分割された画像に対するハフ変換の適用を説明するための図である。 図７のハフ変換のパラメータ空間を模式的に示す図である。 図７のハフ変換のパラメータ空間において、交差する線の範囲を模式的に示す図である。 図７の画像に存在するエッジ点によって構成される複数のエッジ線の位置関係の例を模式的に示す図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態における、エッジ線抽出処理の概要を説明するための図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態が適用される運転支援装置の一実施形態の構成を示すブロック図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、車両と標示線を模式的に示した図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、カメラが搭載された車両を模式的に示した図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、カメラの画像を模式的に示した図である。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、水平方向の所定ラインに並ぶ各画素の位置と対応する輝度データの一例を示すグラフである。 本発明の車両用走路判定用の線図形化処理装置の一実施形態において、水平方向の所定ラインに並ぶ各画素の位置と対応する輝度微分値のデータの一例を示すグラフである。 従来の車両用走路判定用の線図形化処理装置において、標示線の境界を検出する方法を説明するための図である。

符号の説明

１ 車両
４ 車線
５Ｌ 標示線（左白線）
５Ｒ 標示線（右白線）
１０ 運転支援装置
１１ ＣＣＤカメラ
１２ メインスイッチ
２０ 標示線検出装置
２１ 制御部
２２ 輝度信号抽出回路
２３ ＲＡＭ
２４ 過去履歴バッファ
３０ レーンキープ制御ＥＣＵ
３１ ステアリングトルク制御ＥＣＵ
３２ ステアリングホイル
３３ ステアリングシャフト
３４ 操舵角センサ
３５ トルクセンサ
３６ ギヤ機構
３７ モータ
３８ 車速センサ
４０ 表示装置
４１ ブザー
１００ 上半分エリア
２００ 下半分エリア
Ｐｄ 立下りエッジ点
Ｐｕ 立上りエッジ点
Ｒ 曲率
θ１ ヨー角
θ２ 操舵角
φ 俯角

Claims (8)

1. 画像から互いに交差することがなくかつ長さが最大の第１及び第２の線を抽出する線図形化処理装置であって、
   前記画像内において複数の線が互いに交差してなる第１の線群の中から線の長さが最大のものを前記第１の線として選ぶ第１の線抽出部と、
   前記画像内において複数の線が互いに交差してなる第２の線群の中から線の長さが最大のものを前記第２の線として選ぶ第２の線抽出部と
   を備えたことを特徴とする線図形化処理装置。
2. 路面が撮像されてなる画像から、前記路面上の標示線の境界線又は車両用走路の境界線を少なくとも２本検出する車両用走路判定用の線図形化処理装置であって、
   前記画像内において複数の線が互いに交差してなる第１の線群の中から線の長さが最大のものを第１の前記境界線として選ぶ第１の境界線抽出部と、
   前記画像内において複数の線が互いに交差してなる第２の線群の中から線の長さが最大のものを第２の前記境界線として選ぶ第２の境界線抽出部と
   を備えたことを特徴とする線図形化処理装置。
3. 請求項１または２に記載の線図形化処理装置において、
   前記線は、点列からなり、
   前記線の長さは、前記線の前記点列を構成する複数の点の中で最も遠い２点間の距離に基づいて求められる
   ことを特徴とする線図形化処理装置。
4. 請求項１または２に記載の線図形化処理装置において、
   前記線は、点列からなり、
   前記線の長さは、前記線の前記点列を構成する点の数に基づいて求められる
   ことを特徴とする線図形化処理装置。
5. 請求項１または２に記載の線図形化処理装置において、
   前記線は、点列からなり、
   前記線の長さは、前記線の前記点列を構成する複数の点の中で最も遠い２点間の距離と、前記線の前記点列を構成する点の数の関数に基づいて求められる
   ことを特徴とする線図形化処理装置。
6. 請求項３から５のいずれか１項に記載の線図形化処理装置において、
   前記画像に含まれる複数の前記点からハフ変換（Hough transformation）を用いて前記点列からなる前記線を抽出する
   ことを特徴とする線図形化処理装置。
7. 請求項６記載の線図形化処理装置において、
   前記第１の線群及び前記第２の線群のそれぞれは、前記ハフ変換のパラメータ空間を用いて、複数の線が互いに交差しているか否かの判定が行われた結果として検出される
   ことを特徴とする線図形化処理装置。
8. 請求項６または７に記載の線図形化処理装置において、
   前記第１の線群の中から線の長さが最大のものを選択する処理、及び前記第２の線群の中から線の長さが最大のものを選択する処理は、前記ハフ変換のパラメータ空間に投票された投票値、及び前記パラメータ空間に投票された複数の点に対応する座標値の少なくともいずれか一方を用いて行われる
   ことを特徴とする線図形化処理装置。
   

Images