JP2014175007A - 道路エッジ検出方法及び道路エッジ検出装置 - Google Patents

Abstract

【課題】道路エッジ検出方法及び装置を提供する。
【解決手段】道路区域を含む視差図及び対応するＶ−視差図を取得し、Ｖ視差図から道路線Ｌｖを抽出し、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得し、該サブＵ視差図から道路エッジを自己適応的に抽出することを含む道路エッジ検出方法と装置を公開している。本発明の実施例の道路エッジ検出方法と装置によると、精確な路面情報のない状況であっても、正確に道路エッジを検出できる。
【選択図】図３

Description

本発明は立体画像処理に関するもので、より具体的には道路エッジ検出方法と装置に関するものである。

運転支援システムの応用は日々普及している。道路／車道警告システム（Ｌａｎｅ／Ｒｏａｄ ｄｅｔｅｃｔｉｏｎ ｗａｒｎｉｎｇ，ＬＤＷ／ＲＤＷ）は運転支援システムのサブシステムで、衝突を避け、運転方向等をより正確に決定する。道路検出は、ＬＤＷ／ＲＤＷシステムにとって非常に重要であり、道路情報が分かった上でこそ、次の処理、例えば警告等を行える。道路検出はまた、路面検出、道路エッジ（または道路境界）検出等を含む。

道路エッジ検出自体は、ドライバーに注意情報を提供し、道路逸脱を防止する。同時に道路エッジ検出と路面検出は互いに影響を与え、また３Ｄ運転環境理解技術内のガードレール検出、消失点検出、車両識別等に大きな影響を有している。

ステレオカメラは高精度な視差図及び深度画像が得られるという優位性を有し、そのため広く応用されている。

米国特許出願公開第２０１１０６３０９７（特許文献１）は、路面を既知と仮定し、まず３次元対象距離情報が所定値よりも高いことに基づいて、第一道路区域内に存在する路面境界高度を検出し、路面境界高度を検出できない第二道路区域について、第一道路区域との相似度を算出し、両者が似通っている場合、第二道路区域を道路境界と判定する、道路境界を検出する設備を公開している。

米国特許出願公開第２０１００１７０６０（特許文献２）は、光による感知システムを使用して入力レンジデータ（ｒａｎｇｅ ｄａｔａ）をとらえ、入力レンジデータを高度上の信号と地面に投影する信号に分解し、まず、ろ過技術で高度（ｅｌｅｖａｔｉｏｎ）による信号を処理して一区間の道路の候補区域かどうかを識別し、パターン識別技術で該道路の候補区域が一区間の道路かどうかを判定し、それから地面上に投影した信号のライン表現（ｌｉｎｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を識別し、該ライン表現を俯瞰図（ｔｏｐ−ｄｏｗｎ ｖｉｅｗ）内の簡単な道路模型と比較し、該候補区域が道路エッジを有する一区間の道路かどうかを決定する、道路境界を検出する方法とシステムを提案している。

従来技術では、しばしば正確な路面を検出していることを前提に道路エッジ検出を行っていて、道路路面検出を行うとき、とくに距離が比較的離れている状況では、検出した道路路面は間違っている可能性が高く、例えば、しばしば道路の外側の物体等を道路と誤認識している。間違った路面に基づいて道路エッジ検出を行えば、検出した道路エッジも間違ったものになる可能性がある。

本発明の目的の一つは、精確な路面情報を有していなくても、正確に道路エッジを検出できるように、道路エッジのロバスト性を高めることである。

本発明の一面においては、道路区域を含む視差図及び対応するＶ−視差図を取得し、Ｖ視差図から道路線Ｌｖを抽出し、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得し、そして該サブＵ視差図から道路エッジを自己適応的に抽出することを含む道路エッジ検出方法を提供する。

本発明のもう一面においては、道路区域を含む視差図及び対応するＶ視差図を取得する視差図取得手段と、Ｖ視差図から道路線Ｌｖを抽出する道路線抽出手段と、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得するサブＵ視差図取得手段と、該サブＵ視差図から道路エッジを自己適応的に抽出する道路エッジ自己適応抽出手段と、を含む道路エッジ検出装置を提供する。

本発明実施例の道路エッジ検出方法と装置は、精確な路面情報のない状況であっても、正確に道路エッジを検出できる。

本発明を理解するのに役立つ、本発明の適用環境例としての車載システム概念図である。 車に双眼カメラを搭載した状況でのシステム操作概念図である。 本発明実施例の道路エッジ検出方法の全体フローチャートである。 （ａ）及び（ｂ）は、それぞれ実施例の車載双眼カメラが撮影したグレースケール画像と対応する視差図である。 （ａ）は、本発明実施例のＶ視差図である。（ｂ）は、本発明実施例のＶ視差図から抽出した区分道路線分である。 （ａ）は、Ｖ視差図内の抽出した区分道路線分Ｌｖよりも高い曲線Ｌｈである。（ｂ）は、視差図内がＶ視差図内の曲線Ｌｈ以下と対応する部分である。（ｃ）は、サブＵ視差図である。 サブＵ視差図から道路エッジを適応的に抽出する例示方法のフローチャートである。 （ａ）は、実施例のＶ視差図から抽出した道路線Ｌｖの概念図である。（ｂ）は、視差図内の近距離道路点（信頼できる点）である。（ｃ）は、グレースケール画像内の近距離道路点（信頼できる点）である。（ｄ）は、信頼できる点のＵ視差図内での投影である。（ｅ）は、信頼できる点のサブＵ視差図内での部分である。 （ａ）は、Ｕ視差図内の信頼できる道路点である。（ｂ）は、例示のサブＵ視差図から抽出した第一道路エッジ線の概念図である。 本発明実施例の先に抽出した道路エッジ線分と連続する道路エッジ線分を抽出する例示的方法のフローチャートである。 例示的な第一道路エッジ線分である。 得られた次の道路エッジの抽出に用いる関心区域ＲＯＩの概念図である。 （ａ）は、次の道路エッジ線分の抽出に用いる信頼できる点（Ｕ視差図内）である。（ｂ）は、サブＵ視差図のこのような信頼できる点に基づいて抽出した次の道路エッジ線分である。 グレースケール画像内の抽出する道路エッジである。 本発明実施例の道路エッジ検出装置４０００のブロック図である。 本発明実施例の道路エッジ検出システム６０００のハードウェア配置の概念図である。

当業者が本発明をより良く理解できるように、以下、図面と発明を実施するための形態を組み合わせて本発明について詳しく説明する。また、本発明の要点を混同することを避けるため、本分野の公知の技術については詳しい説明をしない。

以下の順序で説明する：
１、基本概念の紹介
２、応用環境例示と車載環境下における操作概念図
３、道路エッジ検出方法の実施例
４、サブＵ視差図から道路エッジを適応的に抽出する方法例示
５、サブＵ視差図から抽出した道路エッジに基づいて視差図から道路エッジを抽出する
６、道路エッジ検出装置
７、システムのハードウェア配置
8、まとめ
＜１、基本概念の紹介＞
以下に理解しやすいように、本発明に関する基本概念を紹介する。

視差とは、実際はある基線の両端からそれぞれ同一の比較的遠くの物体に一直線を引いた場合、その間に形成される夾角を指す。通常、一定距離にある二つの点から同一対象を観察して発生する方向の違いを指す。対象から二点間の夾角を見たとき、この二点の視差角と呼び、二点間の距離は基線と称される。視差の角度と基線の長さを知りさえすれば、対象と観測者間の距離を算出することができる。

視差図：視差図（ｄｉｓｐａｒｉｔｙ ｍａｐ）は、どんな画像も基準となり、その大きさが該基準画像の大きさとなり、要素値が視差値となる画像である。視差図は場面の距離情報を含む。視差図は双眼カメラが撮影した左画像と右画像、または立体画像の深度画像から計算して得ることができる。

通常、２次元視差図中の或る点は（ｕ，ｖ，ｄ）で表し、かかるｕを横座標、ｖを縦座標とし、ｄはｕ，ｖが限定した点の場所の視差を表す。

Ｕ視差図とＶ視差図：理解しやすいように、イメージ的に言うと、Ｖ視差図は視差図の側面図と見なし、Ｕ視差図を視差図の俯瞰図と見なすことができる。Ｖ視差図は視差図から算出できる。Ｖ−視差図内のいずれの一点（ｄ，ｖ）のグレースケール値は、対応する視差図の縦座標をｖとする行内の視差値がｄに等しい点の個数である。Ｖ視差図内のＶは（ｕ，ｖ）画像座標系内の垂直座標ｖに対応する。視差図内の一点（ｕ，ｖ，ｄ）については、Ｖ視差図内で点（ｕ，ｄ）に投影する。同じく、Ｕ視差図は視差図から算出できる。Ｕ−視差図内のいずれの一点（ｕ， ｄ）のグレースケール値は、対応する視差図の横座標をｕとする列内の視差値がｄに等しい点の個数である。Ｕ視差図内のＵは（ｕ，ｖ）画像座標系内の水平座標ｕに対応する。視差図内の一点（ｕ，ｖ，ｄ）については、Ｕ視差図内で点（ｕ，ｄ）上に投影する。

本文では、Ｕ視差図内の道路エッジを抽出するのに用いる部分点からなる図をサブＵ視差図と称している。

視差図、Ｖ視差図とＵ視差図及び路面検出における応用に関しては、同じ発明者ＹｏｕＧａｎｍｅｉらの中国特許出願第２０１１１０４３４８７３．Ｘ号と発明者ＣｈｅｎＣｈａｏらの中国特許出願第２０１２１０５１３２１５．４号を参考にでき、ここでは引用することで、この二つの特許のすべてを本文に組み入れている。

＜２、応用環境例示と車載環境下における操作概念図＞
図１は本発明を理解するのに役立つ、本発明の適用環境例としての車載システム概念図である。本発明のソフトウェアまたはハードウェアを実現してその道路エッジ検出部材を作成することができる。

図２は車に双眼カメラを搭載した状況でのシステム操作概念図である。

図２に示すように、車に双眼カメラを配備し、双眼カメラが左右画像を撮影し、左右画像はシステムのメモリーに保存し、該左右画像をチップで処理して、視差図、Ｖ−視差図とＵ−視差図等を取得し、そして、道路エッジ検出等を行うことが出来る。

＜３、道路エッジ検出方法の実施例＞
図３は本発明実施例の道路エッジ検出方法１０００の全体フローチャートである。

ステップＳ１１００で、道路区域を含む視差図と対応するＶ−視差図を取得する。

双眼カメラ、多眼カメラ、ステレオカメラで撮影し、道路区域を含む視差図を算出して得られ、視差図から変換してＶ視差図を得、双眼カメラ、多眼カメラ、ステレオカメラ等は例えば図１または図２に示すように車両の前端に搭載することができる。または、立体図から深度画像を取得し、深度画像に基づいて視差図を得、視差図を変換してＶ視差図を得る。

以上では、まず視差図を取得し、その後、視差図からＶ視差図を取得するが、これは例示にすぎず、例えば双眼カメラを取得した画像に対して処理また計算を行うことで、直接Ｖ視差図を得ることもできる。

視差図と視差図のＶ視差図（及びＵ視差図）における投影については、作者をｚｈｅｎｃｈｅｎｇ Ｈｕ，Ｆｒａｎｃｉｓｃｏ Ｌａｍｏｓａ，Ｋｅｉｉｃｈｕ Ｕｃｈｉｍｕｒａとしタイトルを「Ａ Ｃｏｍｐｌｅｔｅ Ｕ−Ｖ−Ｄｉｓｐａｒｉｔｙ Ｓｔｕｄｙ ｆｏｒ Ｓｔｅｒｅｏｖｉｓｉｏｎ Ｂａｓｅｄ ３Ｄ Ｄｒｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔ Ａｎａｌｙｓｉｓ」３ＤＩＭ ２００５：２０４−２１１とする非特許文献内の紹介を参照できる。

図４（ａ）（ｂ）はそれぞれ実施例の車載双眼カメラが撮影したグレースケール画像と対応する視差図である。

また、実施例に基づいて視差図またはＶ視差図にノイズ除去処理を行うことができる。

ステップＳ１２００で、Ｖ視差図から道路線Ｌｖを抽出する。

同発明者ＹｏｕＧａｎｍｅｉらが行った中国特許出願第２０１１１０４３４８７３．Ｘ号で公開されているように、平坦路面はＶ−視差図内で一本の斜線に似た形で表され、非平坦路面は、複数の平坦路面から成っていると見なされ、この複数の平坦路面はＶ−視差図内で傾斜度の異なる複数斜線で表される。

Ｖ視差図から線分を抽出する技術は、例えばハフ変換または最小二乗法に基づく技術等でよい。

Ｖ視差図内の道路線Ｌｖは、ｙ＝ｃ１＊ｄ＋ｃ２で表すことができ、かかる（ｙ，ｄ）は抽出した道路直線Ｌｖ上の一つ点の座標を表し、ｙはＶ視差図の垂直軸上の点の座標を表し、ｄは視差を表し、その中のｃ１は直線の傾斜度を表し、ｃ２は垂直軸上の切片を表す（即ち、視差が０に等しいとき）。傾斜度の異なる複数斜線分が非平坦路面にフィットしている状況では、各斜線分の対応するパラメータｃ１とｃ２は異なっていてもよい。

実施例のＶ視差図から線分を路面として抽出することは、視差の大から小へ、即ち距離（例えば車両に搭載したカメラからにとって）の近くから遠くの順番で、Ｖ視差図から区分線分を路面として抽出し、かかる各線分は制限したハフ変換に基づいて推算したものであり、そして前段の推算した直線パラメータに基づいて後段の線分の初期直線パラメータを限定することを含む。

Ｖ視差図から区分線分を抽出して路面をシミュレーションすることに関しては、発明者ＹｏｕＧａｎｍｅｉらが行った出願番号ＣＮ２０１１１０４３４８７３．Ｘの中国発明特許出願中の技術内容、作者をＪｕｎ Ｚｈａｏ， Ｍａｒｋ Ａｌｂｅｒｔ Ｗｈｉｔｔｙ， Ｊａｙａｎｔｈａ ＫａｔｕｐｉｔｉｙａとしタイトルをＤｅｔｅｃｔｉｏｎ ｏｆ ｎｏｎ−ｆｌａｔ ｇｒｏｕｎｄ ｓｕｒｆａｃｅｓ ｕｓｉｎｇ Ｖ−Ｄｉｓｐａｒｉｔｙ ｉｍａｇｅｓ．ＩＲＯＳ ２００９：４５８４− ４５８９の文章を参考にすることができる。ここでは、引用を通じて、前記文献の前文を本文に合併する。

図５（ａ）は本発明実施例のＶ視差図であり、例示的なｖ座標軸とｄ座標軸を出し、後続のｖ視差図はすべて該形式のｖｄ座標系を採用している。図５（ｂ）は本発明実施例のＶ視差図から抽出した区分道路線分である。記号１の示す線分が表している路面が撮影しているカメラから最も近く、記号２の示す線分が表している路面が撮影しているカメラから二番目に近く、記号３の示す線が表している路面が撮影しているカメラから最も遠く、図５（ｂ）の三本の縦線は三つの路面間の境界を表している。

ステップＳ１２００で道路線Ｌｖを抽出した後、ステップＳ１３００に進む。

ステップＳ１３００では、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得する。

前記したように、Ｕ視差図は視差図の俯瞰図と見なすことができる。ここで得られるサブＵ視差図は、関連する視差図の俯瞰図の一部分、または視差図内の一部分の俯瞰図であり、具体的には道路の関連部分であり、そのため本文ではサブＵ視差図と称する。

サブＵ視差図を得るため、実施例では、まず視差図から道路に関する部分を選択し、それから、視差図から選択した部分を使用してサブＵ視差図を作成し、該サブＵ視差図は道路エッジを抽出するのに用いる。

好適には、視差図から道路に関する部分を選択するとき、全ての道路である可能性のある点をカバーしたい。実施例では、視差図からステップＳ１２００で最初に抽出する道路路面までの距離が所定高度しきい値ｈを下回る点を選択することを考慮して、該所定高度しきい値は非平坦路面状況における道路点をも含むように、十分な大きさである必要があり、例えば、２ｍに設定することができる。道路点の選択を行うため、１例では、まずＶ視差図から道路線Ｌｖ（前記ステップＳ１２００で抽出する）の垂直距離を所定高度しきい値ｈとする曲線Ｌｈを得る。実際の３次元世界での高度ｈとＶ視差図内の画素数の間には一定の換算関係がある。具体的には、各視差値ｄについて、各画素の対応する実際の高度ｈ_{ｐｉｘｅｌ}は、視差図を撮影した二つのカメラ間の距離Ｄｉｓｔ_{ｃａｍｅｒａ}から下記公式（１）に基づいて決定できる。

ｈ_{ｐｉｘｅｌ}＝Ｄｉｓｔ_{Ｃａｍｅｒａ}／ｄ （１）
各視差ｄでは、下記の公式（２）に基づいて、実際の３次元世界で道路路面までの高度をｈとする状況が、Ｖ視差図で道路線Ｌｖに達する垂直距離をｋ個の画素とする状況に対応していることを決定することができる。

Ｋ＝ｈ／ｈ_{ｐｉｘｅｌ} （２）
この方式で、図６（ａ）に示す曲線Ｌｈを取得し、ＬｈとＬｖ間では垂直方向の距離がリアルな３次元世界のｈに対応している。

Ｖ視差図から曲線Ｌｈを得た後、Ｖ視差図の曲線Ｌｈ以下のすべての点を視差図に戻し、視差図から路面までの高度がｈ以下の点、または視差図内のＬｈ以下に投影したすべての点を得る。これにより、図６（ｂ）に示すように、視差図が選択した部分を得ることができる。

視差図から選択した部分を得た後、この選択した視差図部分の俯瞰図が、図６（ｃ）に示すように、即ちサブＵ視差図となる。

つまり、実施例では、Ｖ視差図のフィットした道路線Ｌｖに基づいて、視差図から道路を含むサブＵ視差図を取得することは、Ｖ視差図からｙ＜ｃ１＊ｄ＋ｃ２＋Ｈを満たす点を抽出し、ここでＨは実際の３次元世界において道路までの所定垂直高度と対応する正数値であり、視差図から前記Ｖ視差図から抽出した点と対応する点を取得し、そして、前記視差図から抽出した点をＵ視差図に投影し、それによってサブＵ視差図を取得することを含む。

他の実施例では、Ｖ視差図で道路線Ｌｖにフィットした点を視差図に戻し、Ｕ視差図に投影するだけで、サブＵ視差図を得ている。これは、例えば完璧な道路視差図に対して、即ち道路上の多くの点が全て精確な視差値を有している状況において可能である。

他の実施例では、３次元世界においてＶ視差図内のフィットした道路線Ｌｖの上下所定範囲内にある全ての点をサブＵ視差図に投影すべき点と見なすことができる。具体的には、この例の中では、例えばＶ視差図内で道路線Ｌｖまで上下所定垂直距離にある二本の曲線を探し出し、それからこの二本の曲線内のすべての点を視差図内に戻し、視差図内のこれらの戻した点について俯瞰投影を行い、サブＵ視差図を得る。

他の例では、事前に路面状況に関する情報、例えば、路面の平坦度、路面の傾斜度等々を知っている、またはある手段を通じてＶ視差図から抽出した道路線Ｌｖの正確度を評価できる場合、Ｖ視差図から抽出した道路線Ｌｖに基づいて、視差図から道路を含むサブＵ視差図を取得する操作は、これらの路面状況の情報及び／または道路線の正確度評価情報を考慮して視差図から選択した路面点の範囲を決定することを含めることが出来る。

前記ではＶ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得する例示を出している。これらは、例示的な説明するのに用いているだけであり、本発明を制限するものではなく、必要性と実際の状況に応じて選んだ方法で、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を得ればよい。

ステップＳ１３００で道路を含むサブＵ視差図を取得した後、ステップＳ１４００に進む。

ステップＳ１４００では、該サブＵ視差図から道路エッジを自己適応的に抽出する。

通常、路面の平坦状況とカーブしているかどうか等によって、道路エッジは単線または複数区分線分として表される。

ここでの「自己適応的」とは、人為的に道路エッジを数本の線分と各線分の形式に規定することではなく、道路エッジの連続性、漸変性といった特徴と道路エッジが道路外側にあるという特徴に応じて自動的に道路エッジの抽出を行うことを表す。

例示的実施例では、前記該サブＵ視差図から道路エッジを自己適応的に抽出するのは、Ｖ視差図からフィットした道路線Ｌｖに基づいて、サブＵ視差図から所定条件を満たす点を信頼できる道路点として抽出し、サブＵ視差図から、信頼できる道路点に基づいて、所定の道路エッジ条件を満たす道路エッジ線分を抽出することを含む。

例示的実施例では、前記所定の道路エッジ条件は、道路エッジ線分が道路の最も外側のエッジにあること、該道路エッジ線分のリアルな３次元世界における長さが所定の長さの閾値より大きいこと、及び該道路エッジ線分の点密度が対応する所定密度閾値より大きいことを含む。

例示的実施例では、道路エッジ線分を抽出する場合、抽出した道路エッジ線分の端点を算出し、道路の連続性、漸変性の特徴に基づいて、次の道路エッジ線分を抽出するための関心区域を決定し、該関心区域から、算出された端点を起点とする次の道路エッジ線分を抽出し、そして、道路エッジ線分を抽出できなくなるまで道路エッジ線の抽出処理を繰り返す。

例示的実施例では、前記Ｖ視差図内のフィットした道路線Ｌｖに基づいて、サブＵ視差図内から所定条件を満たす点を信頼できる道路点として抽出することは、フィットした道路線Ｌｖ上の視差と関係する距離が所定値よりも小さい道路線分を取得し、視差図から、Ｖ視差図上の道路線Ｌｖ上または下に投影した点を抽出し、そして、前記視差図から抽出した点をＵ視差図内に投影して信頼できる道路点とすることを含む。

次に、図７を参考にして、該サブＵ視差図から道路エッジを自己適応的に抽出する例を具体的に紹介する。

本発明の前記実施例の道路エッジ検出方法は、精確な路面情報のない状況であっても、正確に道路エッジを検出できる。

＜４、サブＵ視差図から道路エッジを適応的に抽出する方法例示＞
次に図７を参考にして本発明実施例のサブＵ視差図から道路エッジを適応的に抽出する例示方法を説明する。

図７はサブＵ視差図から道路エッジを適応的に抽出する例示方法１４００のフローチャートである。該方法１４００は、図３に示すステップＳ１４００に応用できる。

図７に示すように、ステップＳ１４１０で、サブＵ視差図内の信頼できる道路点を抽出する。

例では、Ｖ視差図からフィットした道路線Ｌｖに基づいて、サブＵ視差図から所定条件を満たす点を信頼できる道路点として抽出する。

例えば、例では、Ｖ視差図内のＬｖ線以下に投影し、かつリアルな３次元世界における距離（即ち撮影したカメラまでの距離）が所定距離しきい値よりも低い点を信頼できる路面点と考えることができる。これは、通常、近距離の検出は比較的精確であるため、道路線Ｌｖ内の近距離部分も相対的精確になるからで、そのため、この相対的精確な部分に基づいて得られた道路点は、相対的に信頼できるものと考えられ、さらに信頼できる道路点に基づいて相対的信頼できる道路エッジを抽出できる。

具体的には、まず、視差図から、各点ｐ（ｕ’、ｖ’、ｄ’）について、Ｖ座標軸上の値ｖ’が下記の公式（３）が示す第一条件を満たし、
ｖ’≦ａ＊ｄ’＋ｂ （３）
即ち該点がＶ視差図内の道路線Ｌｖ（ｖ＝ａ＊ｄ＋ｂ）以下にあり、かつ下記の公式（４）に示すように、該点が第二条件、即ちカメラまでのリアルな距離Ｄｉｓｔ_ｐが所定距離しきい値Ｄｉｓｔ_{ｔｈｒｅｓ}よりも小さいことを満たす場合、
Ｄｉｓｔ_ｐ≦Ｄｉｓｔ_{ｔｈｒｅｓ} （４）
このような点を信頼できる点と認識する。

当業者がわかっている場合、以下の式（５）に示すように、カメラまでのリアルな距離Ｄｉｓｔ_ｐはカメラ間の距離Ｄｉｓｔ_{Ｃａｍｅｒａ}及びカメラの焦点距離Ｆと該点の視差値ｄ’から導き出すことができる。

Ｄｉｓｔ_ｐ＝Ｄｉｓｔ_{Ｃａｍｅｒａ}＊Ｆ／ｄ’ （５）
例では、該距離内で使用している双眼カメラの測量誤差が比較的小さいため、所定距離しきい値を１０ｍとしている。しかし、カメラの性能と実際の応用に応じて適切な距離しきい値を選択してよい。

視差図内で信頼できる点を探し出した後、例えば視差図内の探し出した信頼できる点ｐ（ｕ’、ｖ’、ｄ’）をＵ視差図に投影し、該点のＵ視差図内の投影を（ｕ’、ｄ’）とし、そしてサブＵ視差図内でこの部分の点を強調して示し、それによってサブＵ視差図から信頼できる道路点を取得する。

図８（ａ）は実施例のＶ視差図から抽出した道路線Ｌｖの概念図であり、図８（ｂ）は視差図内の近距離道路点（信頼できる点）であり、図８（ｃ）はグレースケール画像内の近距離道路点（信頼できる点）であり、図８（ｄ）は信頼できる点のＵ視差図内での投影であり、図８（ｅ）は信頼できる点のサブＵ視差図内の部分で、この部分は囲まれた曲線図が示している。

しかし、前記サブＵ視差図から信頼できる点を抽出する方法は例示に過ぎず、本発明を制限するものではない。もう一つの例では、その他の道路やカメラ等に関する先験的知識に基づいて信頼できる点を抽出することもできる。

図７に戻り、ステップＳ１４１０でサブＵ視差図から信頼できる道路点を抽出したあと、ステップＳ１４２０に進む。

ステップＳ１４２０では、サブＵ視差図内で、信頼できる道路点に基づいて、所定の道路エッジ条件を満たす道路エッジ線分を抽出する。

例では、ハフ変換を使用してサブＵ視差図内の信頼できる道路点に対して直線フィットを行い、所定の道路エッジ条件を満たす線分を道路エッジ線分として選択している。

例では、道路エッジ条件は、たとえば以下の項目を含む。

（１）該線分が道路の最も外側のエッジにある
具体的には、道路左側エッジの抽出を例に取ると、このとき、道路の最も左側エッジと対応する線分がサブＵ視差図内で画像の左上の角にあり、このため、全ての線分の中から水平切片（線分と対応する直線と水平軸の交点（ｕ’’、０）から決定する）と垂直切片（線分に対応する直線と垂直軸の交点（０、ｄ’’）から決定する）の絶対値の和が最小（ｍｉｎ（｜ｕ’’｜＋｜ｄ’’｜））となる線分を探す。

（２）該線の実際の長さが所定の長さのしきい値よりも大きい
ここでの線分の実際の長さとは、該線分のリアルな３次元世界座標系内で対応するリアル長さを指す。サブＵ視差図内の線分に対応するリアルな３次元世界の長さは、カメラのパラメータ等から転換して得られる。例えば公式（６）を通じて得ることができる。

Ｌｅｎｇｔｈ＝Ｄｉｓｔ_{Ｃａｍｅｒａ}＊Ｆ／ｄ２−Ｄｉｓｔ_{Ｃａｍｅｒａ}＊Ｆ／ｄ１ （６）
このうち、Ｌｅｎｇｔｈは該線分の長さを表し、Ｄｉｓｔ_{Ｃａｍｅｒａ}は例えば双眼カメラ状況下の二つのカメラ間の距離を表し、ｄ１、ｄ２は線分の二つの端点の対応する視差値で、そのうちｄ２＜ｄ１である。

実際の生活では、道路は通常の意味では連続したものであり、そのため道路の長さは短すぎてはならない。

そこで、所定の長さのしきい値を設定することで、比較的短い非道路線分を取り除いている。たとえば、例では、長さのしきい値を９ｍに設定している。

（３）該線の点密度が所定の密度のしきい値より大きい
線分の点密度は、線分上の信頼できる点の数を線分の長さで割ることで決定する。通常、点密度が大きくなればなるほど、フィットする線分もより信頼できる。

しかし、前記の列記した道路エッジ条件は例に過ぎず、必要性と実際の状況に応じて道路エッジ条件を追加または削除または修正できる。

このことから、ステップＳ１４２０では、信頼できる道路点に基づいて、第一道路エッジ線を抽出できる。

図９（ａ）はＵ視差図内の信頼できる道路点であり、図９（ｂ）は例示のサブＵ視差図から抽出した第一道路エッジ線の概念図である。

ステップＳ１４２０の後、続いてステップＳ１４３０に進む。

ステップＳ１４３０では、道路エッジ条件を満たす道路エッジ線分を抽出したか否かを決定する。

ステップＳ１４３０での判定結果が否定であった場合、即ち道路エッジ条件を満たす道路エッジ線を抽出していなかった場合、処理は終わる。

反対に、ステップＳ１４３０での判定結果が肯定であった場合、即ち道路エッジ条件を満たす道路エッジ線を抽出していた場合、ステップＳ１４４０に進む。

ステップＳ１４４０では、先に抽出した道路エッジ線と連続する道路エッジ線を抽出する。

次に図１０を参考に、本発明実施例に基づいた、先に抽出した道路エッジ線分と連続する道路エッジ線分を抽出する方法例を説明する。

図１０は本発明実施例の先に抽出した道路エッジ線分と連続する道路エッジ線分を抽出する例示的方法１４４０のフローチャートである。該方法１４４０は図７に示すステップＳ１４４０に用いることができる。

図１０に示すように、ステップＳ１４４１では、先に抽出した道路エッジ線分（先に抽出した道路エッジ線分は第一エッジ線分とする状況では、即ち第一道路エッジ線分）の端点を算出し、この例では即ち道路エッジ線分の距離が比較的遠い端の端点である。

例では、この端点を第一道路エッジ線分上の最も離れたところにある（即ち視差が最も小さい）信頼できる点とする。また、必要性と実際の状況に応じて、その他適切な方法を採用して第一道路エッジ線分の端点を決定する。

第一道路エッジ線分の端点を決定した後、第一道路エッジも決定する。図１１は例示的な第一道路エッジ線分で、水平線以下のｅｄｇｅ１が示す太い線分が表しているものである。

ステップＳ１４４１で先に抽出した道路エッジ線分の端点を決定した後、ステップＳ１４４２に進む。

ステップＳ１４４２では、次の道路エッジ線分を抽出するのに用いる関心区域を決定する。

次の道路エッジ線分を抽出するのに用いる関心区域ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を決定して、例えば処理範囲を縮小し、それによって処理効率と道路エッジを抽出する正確度を高める。

例では、道路は連続したものであり、道路の傾斜角度は通常、漸変するものであることを考慮している。そのため、先の道路エッジ線分の角度に基づいて、角度の変動範囲を設定し、この角度変換範囲内の区域を次の道路エッジ線分を抽出するのに用いる関心区域ＲＯＩと見なす。例では、角度変動範囲を２０度に設定している。しかし、この角度変動範囲は例に過ぎず、実際の道路状況と必要性に応じて変更できる。

図１２はこれによって得られた関心区域ＲＯＩの概要図である。その中の記号１が示す直線は第一道路線分が延伸して対応する直線であり、記号２と３が示す直線は第一道路エッジ線１が先に決定した端点を角頂点とし第一道路エッジ線分１を中心線として上下に２０度動かして得たものであり、関心区域ＲＯＩの二本の境界線として用いる。この境界線２と３内の区域は即ち次の道路エッジ線を抽出するのに用いる関心区域ＲＯＩである。または、関心区域ＲＯＩ内の点は次の道路エッジ線を抽出するのに『用いる信頼できる点と見なすことができる。

ステップＳ１４４２で、関心区域ＲＯＩを決定した後、ステップＳ１４４３に進む。

ステップＳ１４４３では、該関心区域ＲＯＩから、計算された端点を起点とする次の道路エッジ線分を抽出する。

例では、該道路エッジ線分の抽出方法は、前文に図７を組み合わせたステップＳ１４２０が描写する第一道路エッジ線分の抽出方法に類似している。即ち、例えばハフ変換を利用して関心区域ＲＯＩ内の点をフィットし、所定道路エッジ条件を満たす線分を該関心区域ＲＯＩ内の道路エッジ線分として選択できる。ここでの道路エッジ条件は前記第一道路エッジ線分抽出方法で採用された道路エッジ条件と同じでも、異なっていてもよい。

図１３（ａ）は次の道路エッジ線分の抽出に用いる信頼できる点（Ｕ視差図内）であり、図１３（ｂ）はサブＵ視差図のこのような信頼できる点に基づいて抽出した次の道路エッジ線分で、例では、即ち第二道路エッジ線分ｅｄｇｅ２である。

前文は図１０から図１３までを参考に、図７内の先に抽出した道路エッジ線分と連続する道路エッジ線分を抽出することが実現するのに用いるステップＳ１４４０の例示的な実現方法を説明している。

現在、図７に戻り、図１４４０で先に抽出した道路エッジ線分と連続する道路エッジ線分を抽出後、ステップＳ１４３０に戻り、即ち道路エッジ条件を満たす道路エッジ線分を抽出したか否かを引き続き判断する。抽出している場合、引き続き次の道路エッジ線分抽出の次のサイクルに入る。合理的な道路エッジ線分を抽出していない場合、道路エッジ抽出は終了したと考え、処理を終了する。

前文では、子視差図から道路エッジを適応的に抽出する方法例を示している。この適応的な道路エッジ抽出方法を利用すれば、平坦道路でも平坦ではない坂道でも道路エッジの抽出を行うことができ、また例えば精確な道路路面情報に頼らないで道路エッジを精確に抽出できる。

＜５、サブＵ視差図から抽出した道路エッジに基づいて視差図から道路エッジを抽出する＞
例では、サブＵ視差図から抽出した道路エッジに基づいて、視差図から道路エッジを抽出する。

例えば、サブＵ視差図から抽出した道路エッジに基づいて視差図から道路エッジを抽出するには、以下の方法で実現できる。

視差図から、Ｕ視差図内の投影点からＵ視差図内の道路エッジまでの水平距離が第１の所定距離よりも小さく、且つＶ視差図内の投影点からＶ視差図内の道路エッジまでの垂直距離が第２の所定距離よりも小さい点を道路エッジ上の点として抽出する。

前記第１の所定距離と第２の所定距離は、抽出した点が道路エッジ上または近隣の周囲に確実に存在するように、非常に小さい値となっている。

図１４はグレースケール画像内の抽出する道路エッジであり、楕円曲線に囲まれた点が即ち道路エッジとしての点を指している。

別の実施例では、視差図から道路エッジを抽出後、道路路面検出をさらに細分化できる。具体的には、Ｖ視差図から道路エッジの外側の点を道路候補点から排除し、排除後の道路候補点に基づいて道路路面検出を行う。

＜６、道路エッジ検出装置＞
図１５は本発明実施例の道路エッジ検出装置４０００のブロック図である。

図１５に示すように、道路エッジ検出装置４０００は、道路区域を含む視差図及び対応するＶ−視差図を取得する視差図取得部４１００と、Ｖ視差図から道路線Ｌｖを抽出する道路線抽出部４２００と、Ｖ視差図内のフィットした道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得するサブＵ視差図取得部４３００と、該サブＵ視差図から道路エッジを自己適応的に抽出する道路エッジ自己適応抽出部４４００と、を含んでもよい。

例では、道路エッジ自己適応抽出部４４００は、Ｖ視差図内のフィットする道路線Ｌｖに基づいて、サブＵ視差図内の所定条件を満たす点を信頼できる道路点として抽出し、サブＵ視差図内から、信頼できる道路点に基づいて、所定の道路エッジ条件を満たす道路エッジ線を抽出してもよい。

例では、前記所定の道路エッジ条件は、道路エッジ線分が道路の最も外側エッジにあること、該道路エッジ線分のリアルな３次元世界における長さが所定の長さの閾値より大きいこと、及び該道路エッジ線分の点密度が対応する所定の密度の閾値よりも大きいことを含む。

例では、道路エッジ自己適応抽出部４４００は、道路エッジ線分を抽出した場合、抽出した道路エッジ線分の端点を算出し、かつ道路の連続性、漸変性の特徴に基づいて、次の道路エッジ線分を抽出するための関心区域を決定し、該関心区域から、算出された端点を起点とする次の道路エッジ線を抽出し、そして道路エッジ線分を抽出できなくなるまで道路エッジ線分の抽出処理を繰り返してもよい。

例では、道路エッジ自己適応抽出部４４００は、フィットする道路線Ｌｖ上と視差に関する距離が所定値よりも小さい道路線分を取得し、視差図から、そのＶ視差図上の道路線Ｌｖ上または下に投影した点を抽出し、そして前記視差図から抽出した点をＵ視差図内に投影して信頼できる道路点としてもよい。

例では、サブＵ視差図取得部４３００は、Ｖ視差図からｙ＜ｃ１＊ｄ＋ｃ２＋Ｈを満たす点を抽出し、かかるＨを実際の３次元世界において道路までの所定垂直高度と対応する正数値とし、視差図から、前記Ｖ視差図から抽出した点と対応する点を取得し、そして、前記視差図から得られた点をＵ視差図に投影し、それによってサブＵ視差図を得てもよい。

例では、前記道路エッジ検出装置４０００は、サブＵ視差図から抽出した道路エッジに基づいて、視差図から道路エッジを抽出する道路エッジ抽出部をさらに含んでもよい。例では、道路エッジ抽出部は、視差図から、Ｕ視差図内の投影点のＵ視差図内の道路エッジまでの水平距離が第１の所定距離よりも小さく、且つＶ視差図内の投影点のＶ視差図内の道路エッジまでの垂直距離が第２の所定距離よりも小さい点を道路エッジ上の点として抽出してもよい。

例では、前記道路エッジ検出装置４０００は、視差図から抽出した道路エッジに基づいて、Ｖ視差図内で道路エッジの外側の点を道路候補点から排除し、排除後の道路候補点に基づいて道路路面検出を行う道路路面検出細分化部をさらに含んでもよい。

道路エッジ検出装置の具体的な機能と実現については、前記と図３を組み合わせた関連説明を参考にできる。

本発明実施例の道路エッジ検出装置は、精確な路面情報のない状況であっても、正確に道路エッジを検出できる。

＜７、システムのハードウェア配置＞
本発明は、道路エッジ検出システムを通じて実施することができる。図１６は本発明実施例の道路エッジ検出システム６０００のハードウェア配置の概念図である。図１６に示すように、道路エッジ検出システム６０００は、処理しなければならない画像、例えば双眼カメラが撮影した左右画像、ステレオカメラが撮影したステレオ動画等を外部から入力するのに用い、例えばキーボード、マウス、そして通信ネットワークとそれに接続した遠隔入力設備等々を含むことができる入力装置６１００、前記本発明実施例の道路エッジ検出方法を実施し、または前記本発明実施例の道路エッジ検出装置を実施するのに用いる、例えばコンピューターの中央演算処理器または他の処理能力を有するＩＣチップ等々を含みことができ、例えばインターネット等のネットワーク（未表示）と結んで、処理プロセスの必要によりネットワークから例えば左右画像等のデータを得ることができる処理装置６２００、前記道路エッジ検出過程で得られた結果を外部に出力するのに用い、例えば、モニター、プリンター、および通信ネットワークとそれに接続した遠隔出力設備等々を含むことができる出力装置６３００、そして、前記道路エッジ検出過程に関係するＶ視差図、サブＵ視差図、道路線、道路エッジ線分等々を揮発性または非揮発性の方法で保存するのに用い、例えばランダムアクセスメモリー（ＲＡＭ）、読取り専用メモリー（ＲＯＭ）、ハードディスク、または半導体メモリー等々の各種の揮発性または非揮発性メモリーを含むことができる記憶装置６４００を含む。

＜８、まとめ＞
前文は、本発明実施例に基づく道路エッジ検出方法と道路エッジ検出装置を説明している。

本発明の一面においては、道路区域を含む視差図及び対応するＶ−視差図を取得し、Ｖ視差図から道路線Ｌｖを抽出し、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得し、そして該サブＵ視差図から道路エッジを自己適応的に抽出することを含む、道路エッジ検出方法を提供している。

本発明のもう一面においては、道路区域を含む視差図及び対応するＶ視差図を取得する視差図取得手段と、Ｖ視差図から道路線Ｌｖを抽出する道路線抽出手段と、Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得するサブＵ視差図取得手段と、該サブＵ視差図から道路エッジを自己適応的に抽出する道路エッジ自己適応抽出手段と、を含む道路エッジ検出装置を提供する。

本発明実施例の説明は例示に過ぎず、当業者は必要性に応じて変更、代替または組合せを行うことができる。

前記説明で、視差図から算出して得たＶ視差図について述べたが、推察できるのは、Ｖ視差図は例えば双眼カメラ、多眼カメラ、ステレオカメラといった特殊カメラが撮影した左右画像から直接計算して得られる、または立体画像の深度画像から直接計算して得られることである。

また、前記実施例では、表していたのは車の前への走行であり、双眼カメラが車の前の景色を撮影している状況である。しかし、本発明を同じように車のバック走行に適用する場合、双眼カメラが車の後の景色を撮影している状況では、このとき検出できるのは車の後の路面だけである。

以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、指摘する必要があることは、当業者であれば、本発明の方法および装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピューター（処理器、メモリー媒体等を含む）あるいはコンピューター・ネットワークの中でも、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだ状況においては彼らの基本的なコンピュータープログラミング技能を用いて実現できることである。

このため、本発明の目的は如何なるコンピューター上でも１つのあるいは一組のコンピュータープログラムを使うことにより実現できる。前記のコンピューターは通用している公知の装置でよい。このため、本発明の目的は前記の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。

更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部材あるいは各ステップは分解および／または新たな組み合わせができることである。これらの分解および／または新たな組み合わせは本発明と同等の効果を有する方案と見做されるべきである。かつ、前記の一連の処理ステップの実行は当然、説明の順序に従い時間順に行うことができるが、必ずしも時間順に行う必要はない。あるステップは平行してあるいは互いに独立して行うことができる。

前記の発明を実施するための形態は、本発明の保護範囲の制限となるものではない。当業者にとって明白なことは、設計要求および他の要因によって、色々な修正、組合せ、副次的組合せおよび代替が生じ得ることである。本発明の精神および原則中の如何なる修正、同等の入替えおよび改善等は、全て本発明の保護範囲に含まれなければならない。

米国特許出願公開第２０１１０６３０９７ 米国特許出願公開第２０１００１７０６０

Claims (18)

1. 道路区域を含む視差図及び対応するＶ−視差図を取得し、
   Ｖ視差図から道路線Ｌｖを抽出し、
   Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得し、
   該サブＵ視差図から道路エッジを自己適応的に抽出することを含む
   道路エッジ検出方法。
2. 前記該サブＵ視差図から道路エッジを自己適応的に抽出することは、
   Ｖ視差図から抽出した道路線Ｌｖに基づいて、サブＵ視差図から所定条件を満たす点を信頼できる道路点として抽出し、
   サブＵ視差図から、信頼できる道路点に基づいて、所定の道路エッジ条件を満たす道路エッジ線分を抽出することを含む
   請求項１に記載の道路エッジ検出方法。
3. 前記所定の道路エッジ条件は、道路エッジ線分が道路の最も外側のエッジにあること、該道路エッジ線分のリアルな３次元世界における長さが所定の長さの閾値より大きいこと、及び該道路エッジ線分の点密度が対応する所定の密度の閾値よりも大きいことを含む請求項２に記載の道路エッジ検出方法。
4. 道路エッジ線分を抽出した場合、抽出した道路エッジ線分の端点を算出し、道路の連続性、漸変性の特徴に基づいて、次の道路エッジ線分を抽出するための関心区域を決定し、該関心区域から、計算された端点を起点とする次の道路エッジ線を抽出し、
   道路エッジ線分を抽出できなくなるまで道路エッジ線分の抽出処理を繰り返すこと、をさらに含む
   請求項２に記載の道路エッジ検出方法。
5. 前記Ｖ視差図から抽出した道路線Ｌｖに基づいて、サブＵ視差図から所定条件を満たす点を信頼できる道路点として抽出することは、
   抽出した道路線Ｌｖ上の視差に関する距離が所定値よりも小さい道路線分を取得し、
   視差図から、Ｖ視差図上の道路線Ｌｖ上または下に投影した点を抽出し、
   前記視差図から抽出した点をＵ視差図内に投影して信頼できる道路点とすることを含む
   請求項２に記載の道路エッジ検出方法。
6. 前記Ｖ視差図から抽出した道路線Ｌｖに基づいて、視差図から道路を含むサブＵ視差図を取得することは、
   Ｖ視差図からｙ＜ｃ１＊ｄ＋ｃ２＋Ｈを満たす点を抽出し、ここで、Ｈは、実際の３次元世界における道路までの所定垂直高度に対応する正数値であり、
   視差図から、前記Ｖ視差図から抽出した点と対応する点を取得し、
   前記視差図から得られた点をＵ視差図に投影して、サブＵ視差図を得ることを含む
   請求項１に記載の道路エッジ検出方法。
7. サブＵ視差図から抽出した道路エッジに基づいて、視差図から道路エッジを抽出すること、をさらに含む、
   請求項１に記載の道路エッジ検出方法。
8. 視差図から抽出した道路エッジに基づいて、Ｖ視差図において道路エッジの外側の点を道路候補点から排除し、排除後の道路候補点に基づいて道路の路面検出を行うこと、をさらに含む
   請求項７に記載の道路エッジ検出方法。
9. 前記サブＵ視差図から抽出した道路エッジに基づいて、視差図から道路エッジを抽出することは、
   視差図から、Ｕ視差図内の投影点からＵ視差図内の道路エッジまでの水平距離が第１の所定距離よりも小さく、且つＶ視差図内の投影点からＶ視差図内の道路エッジまでの垂直距離が第２の所定距離よりも小さい点を道路エッジ上の点として抽出することを含む、
   請求項７に記載の道路エッジ検出方法。
10. 道路区域を含む視差図と対応するＶ−視差図を取得する、視差図取得手段と、
    Ｖ視差図から道路線Ｌｖを抽出する、道路線抽出手段と、
    Ｖ視差図から抽出した道路線Ｌｖに基づいて、道路を含むサブＵ視差図を取得する、サブＵ視差図取得手段と、
    該サブＵ視差図から道路エッジを自己適応的に抽出する道路エッジ自己適応抽出手段と、を含む
    道路エッジ検出装置。
11. 前記道路エッジ自己適応抽出手段は、
    Ｖ視差図から抽出した道路線Ｌｖに基づいて、サブＵ視差図から所定条件を満たす点を信頼できる道路点として抽出し、
    サブＵ視差図から、信頼できる道路点に基づいて、所定の道路エッジ条件を満たす道路エッジ線分を抽出する
    請求項１０に記載の道路エッジ検出装置。
12. 前記所定の道路エッジ条件は、道路エッジ線分が道路の最も外側のエッジにあること、該道路エッジ線分のリアルな３次元世界における長さが所定の長さの閾値より大きいこと、及び該道路エッジ線分の点密度が対応する所定の密度の閾値よりも大きいことを含む請求項１１に記載の道路エッジ検出装置。
13. 道路エッジ線分を抽出した場合、抽出した道路エッジ線分の端点を算出し、道路の連続性、漸変性の特徴に基づいて、次の道路エッジ線分を抽出するための関心区域を決定し、該関心区域から、計算された端点を起点とする次の道路エッジ線を抽出し、
    道路エッジ線分を抽出できなくなるまで道路エッジ線分の抽出処理を繰り返す
    請求項１１に記載の道路エッジ検出装置。
14. 前記道路エッジ自己適応抽出手段は、
    抽出した道路線Ｌｖ上の視差に関する距離が所定値よりも小さい道路線分を取得し、
    視差図から、Ｖ視差図上の道路線Ｌｖ上または下に投影した点を抽出し、
    前記視差図から抽出した点をＵ視差図内に投影して信頼できる道路点とする
    請求項１１に記載の道路エッジ検出装置。
15. 前記サブＵ視差図取得手段は、
    Ｖ視差図からｙ＜ｃ１＊ｄ＋ｃ２＋Ｈを満たす点を抽出し、ここで、Ｈは、実際の３次元世界における道路までの所定垂直高度に対応する正数値であり、
    視差図から、前記Ｖ視差図から抽出した点と対応する点を取得し、
    前記視差図から得られた点をＵ視差図に投影して、サブＵ視差図を得る
    請求項１０に記載の道路エッジ検出装置。
16. サブＵ視差図から抽出した道路エッジに基づいて、視差図から道路エッジを抽出する
    請求項１０に記載の道路エッジ検出装置。
17. 視差図から抽出した道路エッジに基づいて、Ｖ視差図において道路エッジの外側の点を道路候補点から排除し、排除後の道路候補点に基づいて道路の路面検出を行う
    請求項１６に記載の道路エッジ検出装置。
18. 視差図から、Ｕ視差図内の投影点からＵ視差図内の道路エッジまでの水平距離が第１の所定距離よりも小さく、且つＶ視差図内の投影点からＶ視差図内の道路エッジまでの垂直距離が第２の所定距離よりも小さい点を道路エッジ上の点として抽出する、
    請求項１６に記載の道路エッジ検出装置。