JP2008123036A - 消失点検出システム、消失点検出方法および消失点検出用プログラム - Google Patents

Abstract

【課題】雑音を含む画像からも頑健に消失点を検出することができる消失点検出システムの提供。
【解決手段】直線検出手段（１２０）と、消失点検出手段（１３０）と、消失点出力手段（１４０）とを備え、消失点検出手段（１３０）において、当該点もしくはその近傍を通過する複数の直線の角度が相対的に広い範囲に疎に分布しているか否かを消失点らしさの評価指標の１つとして消失点を検出する。
【選択図】図１

Description

本発明は消失点検出システム、消失点検出方法および消失点検出用プログラムに関し、特に、雑音を含む画像からも頑健に消失点を検出することを可能とする消失点検出システム、消失点検出方法および消失点検出用プログラムに関する。

図１８は、特許文献１に開示される従来の消失点検出システムの構成を示す図である。図１８を参照すると、この従来の消失点検出システムは、主制御部１８１０と、画像入力部１８２０と、エッジ点検出部１８２１と、線分検出部１８２２と、線分選別部１８２３と、消失点推定部１８３０を備えている。この従来の消失点検出システムの動作について以下に概説する（詳細は特許文献１の記載が参照される）。

画像入力部１８２０が、消失点検出の対象である画像を入力する。

エッジ点検出部１８２１は、画像入力部１８２０が入力した画像内のエッジ点を検出する。

線分検出部１８２２は、エッジ点検出部１８２１で検出されたエッジ点の連続点列として、線分を検出する。

線分選別部１８２３は、線分検出部１８２２で検出された線分の内、消失点推定に有用と考えられる線分を選別する。

消失点推定部１８３０は、線分選別部１８２３で選別された線分から消失点位置を推定する。

次に、消失点推定部１８３０の動作について以下に説明する。

消失点は、一般に、複数の線分の延長線の交点として定義されることから、各線分の両端点と消失点との位置関係を考えると、これら３点（線分の両端点と消失点）は、理想的には、一直線上に並ぶと考えられる。このとき、線分の両端点と消失点とがなす三角形の面積は０となる。

そこで、図１９に示すように、各線分１９２０の両端点と消失点１９１０とがなす三角形１９３０の面積の全線分についての総和を求め、この三角形面積総和が最小となるような位置を消失点位置として推定する。この推定計算は解析的に行うことが出来る。

特開２００５−２７５５００号公報

しかしながら、上記した従来の消失点検出システムは、雑音に弱い、という問題点を有している。すなわち、従来の消失点検出システムは、頑健（ｒｏｂｕｓｔ）な消失点の検出ができない。その理由は以下の通りである。

例えば図２０に示すように、消失点推定に用いる線分の中に、消失点方向を向かない不適切な線分２０２０が含まれた場合、該不適切な線分と真の消失点とにより面積の大きな三角形が形成される。この影響により、真の位置から大きく外れた位置を、消失点位置として推定してしまうことになる。

したがって、本発明の目的は、頑健な消失点の検出を行うことができる消失点検出システムと方法並びにプログラムを提供することにある。

本願で開示される発明は、前記課題を解決するため、概略以下の構成とされる。

本発明の消失点検出システムは、直線検出手段（１２０）と、消失点検出手段（１３０）と、消失点出力手段（１４０）を備え、消失点検出手段（１３０）において、当該点又はその近傍を通過する複数の直線の角度が、相対的に広い範囲に疎に分布しているか否かを、消失点らしさの評価指標の１つとして、該評価指標に基づき、消失点を検出する。なお、構成要素の括弧内を参照符号は、本発明の構成の理解を容易とするためのものであり、本発明を限定するために解釈すべきものではない。

本発明の１つのアスペクト（側面）に係る消失点検出システムは、
画像から直線を検出する直線検出手段と、
前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する手段と、
前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する手段と、
を備えている。

本発明の他のアスペクト（側面）に係る消失点検出システムは、
画像から直線を検出する直線検出手段と、
前記画像の少なくとも一部を含む空間内の各点について、該点又は該点の周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、
前記直線角度ばらつき評価値が、他と比べて相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、
を備えている。

本発明の他のアスペクト（側面）に係る消失点検出システムは、
画像から直線を検出し、検出された各前記直線について、直線としての確信度が付与する直線検出手段と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より、大きな値をとる消失点評価値を付与する消失点評価値付与手段と、
前記消失点評価値が相対的に大きな値をとる点を消失点として検出する消失点検出手段と、を備え、前記消失点評価値の算出に際して、前記直線角度ばらつき評価値を考慮する。

本発明において、好ましくは、前記直線検出手段は、Hough変換により直線を検出し、前記直線としての確信度として当該直線のHough変換での投票値を用いる。

本発明において、好ましくは、前記直線角度ばらつき評価値として、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも１つを含む、前記直線の角度についての統計値を用いる。

本発明において、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いるようにしてもよい。

本発明において、前記画像は、車載センサより得られる画像データであり、前記消失点として、走行レーンを表すレーンマーカ及び／又は道路端線に関する消失点を検出する。

本発明の車両周辺環境認識システムは、前記した本発明の消失点検出システムを備え、前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する。

本発明の車両周辺環境認識システムは、前記車両と周辺環境との位置関係として、前記車両の向いている方向と道路面とのピッチ角を算出する。

本発明の１つのアスペクトに係る消失点検出方法は、
画像から直線を検出する工程と、
前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する工程と、
前記複数の直線がその上を通過するか又はその近傍を通過する前記点のうち、前記点に対応して導出された直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい点を、消失点として検出する工程と、を含む。

本発明の他のアスペクトに係る消失点検出方法は、
画像から直線を検出する工程と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する工程と、
前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する工程と、を含む。

本発明の他のアスペクトに係る消失点検出方法は、
画像から直線を、直線としての確信度とともに検出する工程と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する工程と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与する工程と、
前記消失点評価値が相対的に大きな値をとる点を消失点として検出する工程と、
を含み、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する。

本発明に係る消失点検出方法において、前記画像から直線を検出する工程において、Hough変換により直線を検出し、前記直線としての確信度として当該直線のHough変換での投票値を用いる。

本発明に係る消失点検出方法において、前記直線角度ばらつき評価値として、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも１つを含む、前記直線の角度についての統計値を用いる。

本発明に係る消失点検出方法において、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いるようにしてもよい。

本発明に係る消失点検出方法において、前記画像として車載センサより得られる画像データを用い、前記消失点として走行レーンを表すレーンマーカ及び／又は道路端線に関する消失点を検出する。

本発明に係る車両周辺環境認識方法は、前記消失点検出方法で求めた前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する。前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する。

本発明の１つのアスペクトに係るコンピュータプログラムは、
画像から直線を検出する処理と、
前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する処理と、
前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する処理と、をコンピュータに実行させるプログラムよりなる。

本発明の１つのアスペクトに係るコンピュータプログラムは、
画像から直線を検出する直線検出処理と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、
前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、をコンピュータに実行させるプログラムよりなる。

本発明の他のアスペクトに係るコンピュータプログラムは、
画像から直線を、直線としての確信度とともに検出する直線検出処理と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、
前記画像の少なくとも一部を含む空間内の各点について、当該点又は当該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与し、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する消失点評価値付与処理と、
前記消失点評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、をコンピュータに実行させるプログラムよりなる。

本発明に係るプログラムにおいて、前記直線検出処理は、Hough変換により直線を検出し、前記直線としての確信度として当該直線のHough変換での投票値を用いる。

本発明に係るプログラムにおいて、前記直線角度ばらつき評価値として、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、の少なくとも１つを含む、前記直線の角度についての統計値を用いる。

本発明に係るプログラムにおいて、前記直線角度ばらつき評価値として、当該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる。

本発明に係るプログラムにおいて、前記画像として車載センサより得られるデータを用い、前記消失点として走行レーンを表すレーンマーカや道路端線に関する消失点を検出する。

本発明に係るプログラムにおいて、前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する処理を前記コンピュータに実行させ、車両周辺の環境認識を行うようにしてもよい。

本発明に係るプログラムにおいて、前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出するようにしてもよい。

本発明によれば、画像の少なくとも一部分を含む２次元空間内の各点について、当該点又はその近傍を通過する複数の直線の角度が広い範囲に疎に分布しばらついている点を消失点として検出することで、頑健な消失点の検出を実現している。その理由は、当該点周囲の所定の範囲を通過する複数の直線の角度が広い範囲に疎に分布し、ばらついているほど、当該点が消失点として、より検出され易くなり、従って、偽の消失点の検出が抑制される、ためである。

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

前記したように、無限遠点以外の消失点を検出する場合、特に、Hough変換（画像中のパラメータ曲線の検出手法）等の代表的な直線の検出手法では、直線の検出において、真に検出すべき直線と角度や位置が類似した偽の直線が検出され易く、偽の直線がなす交点（偽の消失点）を、誤まって、消失点として検出しやすい。本発明は、偽の直線による偽の消失点に対して、頑健に、真の消失点を検出可能とするものであり、画像の少なくとも一部分を含む２次元空間内の各点について、当該点又はその近傍を通過する複数の直線の角度が、相対的に広い範囲に疎に分布し、ばらついている点を消失点として検出する。これは、画像の少なくとも一部分を含む２次元空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線の角度が、相対的に広い範囲に疎に分布し、ばらついているほど、当該点が消失点として、より検出され易くなり、従って、偽の消失点の検出が抑制される、ためである。

図１は、本発明の第１の実施の形態の構成を示す図である。図１を参照すると、本発明の第１の実施の形態のシステムは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００と、画像入力装置１１０と、を備えて構成されている。

本実施形態のシステムにおいて、コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００は、直線検出手段１２０と、消失点検出手段１３０と、消失点出力手段１４０と、を含む。

消失点検出手段１３０は、直線角度ばらつき評価値付与手段１３１と、消失点評価値付与手段１３２と、消失点決定手段１３３とを含む。これらの手段は、それぞれ概略つぎのように動作する。

画像入力装置１１０は、消失点を検出する対象となる画像を入力する。

直線検出手段１２０は、画像入力装置１１０が入力した画像から、消失点を通過すると推測される複数の直線を検出する。

直線角度ばらつき評価値付与手段１３１は、画像の少なくとも一部分を含む２次元空間内（以下、「直線投票空間」という）の各点について、当該点又は当該点の周囲の所定の範囲を通過する直線の角度のばらつき具合を評価した評価値（以下、「直線角度ばらつき評価値」という）を付与する。

消失点評価値付与手段１３２は、
直線投票空間内の各点について、
（ａ）当該点又は当該点周囲の所定の範囲を通過する直線に関する情報と、
（ｂ）直線角度ばらつき評価値と、
から、当該点の消失点らしさ具合を評価した評価値（以下、「消失点評価値」という）を、直線投票空間内の各点に付与する。

ただし、消失点評価値付与手段１３２は、場合によっては、省略してもよく、この場合、直線角度ばらつき評価値付与手段１３１によって求められた直線ばらつき評価値を、そのまま、消失点評価値として利用する。

消失点決定手段１３３は、直線投票空間内の各点に付与された消失点評価値を用いて消失点を決定する。

消失点出力手段１４０は、消失点決定手段１３３で決定された消失点を出力する。

ここで、角度のばらつき具合について説明する。

図２は、本実施形態を説明するための図である。図２には、画像内の消失点を通過する複数の直線の角度がばらついている場合（Ａ）と、ばらついていない場合（Ｂ）が示されている。

角度がばらついている場合、図２（Ａ）に示すように、画像２１０内の消失点２１１を通過する複数の直線２１２が水平線となす角度α1、α2、α3、α4が、相対的に広い値域に疎に分布している。

一方、角度がばらついていない場合、図２（Ｂ）に示すように、画像２２０内の消失点２２１を通過する複数の直線２２２が水平線となす角度β1、β2、β3、β4が、相対的に狭い値域に密に分布している。

角度のばらつき具合とは、このような複数の直線の角度のばらつきを意味する。

また、本実施の形態では、角度ばらつき評価値は、画像の各点において、図２（Ａ）のように、角度がばらついている場合に値が大きくなり、図２（Ｂ）のように、角度がばらついていない場合は小さくなるように、設計される。

図３は、本実施の形態の動作を説明するためのフローチャートである。図１及び図３を参照して、本実施の形態の全体の動作について詳細に説明する。

画像入力装置１１０は、消失点検出の対象である画像を入力する（図３のステップＡ１）。画像入力装置１１０は画像データ（デジタルイメージデータ）を不図示の記憶装置に格納する。

直線検出手段１２０は、画像入力装置１１０が入力した画像から消失点を通過すると推測される複数の直線を検出する（ステップＡ２）。

直線角度ばらつき評価値付与手段１３１は、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線についての角度ばらつき評価値を付与する（ステップＡ３）。

消失点評価値付与手段１３２は、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線に関する情報と直線角度ばらつき評価値とから、消失点評価値を付与する（ステップＡ４）。ただし、ステップＡ４を省略し、前述したように、直線角度ばらつき評価値を、消失点評価値として、利用してもよい。

消失点決定手段１３３は、直線投票空間内の各点に付与された消失点評価値を用いて、例えば最大の消失点評価値を与える点を、消失点と決定することで、消失点を検出する（ステップＡ５）。なお、消失点決定手段１３３において、最大の消失点評価値を与える点を消失点とする構成にのみ限定されるものでなく、他の手法を用いてもよいことは勿論である。例えば、消失点評価値の極大値を与える点を消失点とする等により、消失点を検出することもできる。

消失点出力手段１４０は、消失点決定手段１３３で検出された消失点を出力する（ステップＡ６）。

次に、本実施の形態の作用効果について説明する。

本実施の形態では、直線投票空間内の各点について、当該点又は当該点周囲の所定の範囲を通過する複数の直線の角度のばらつき具合が大きいほど当該点が消失点として検出され易いように構成したことにより、無限遠点以外の消失点を検出する場合、特に、直線検出において真に検出すべき直線と角度や位置が類似した偽の直線が検出され易く、それらの偽の直線がなす交点を偽の消失点と誤りやすい状況において、それら偽の消失点に対して頑健に真の消失点を検出できる（前述したように、このような偽の直線は、例えばHough変換等の代表的な直線検出手法において検出されやすい場合がある）。以下、具体的な実施例を用いて説明する。

＜実施例１＞
図４、図５は、本発明を実施した一具体例（一実施例）を説明する図である。図４は、車載カメラから前方の道路を撮影した画像である。すなわち、図５（Ａ）の車両５１０に搭載したカメラ５２０から道路を撮影した道路画像４１０から走行レーンを表す白線４１２や道路端４１３等のエッジ部分をHough変換により直線として検出し、それらのなす消失点を検出する。なお、図５（Ａ）において、ピッチ角θは自車両５１０と道路面５３０との間の角度である（ピッチ角θについては後述する）。図５（Ｂ）は、図５（Ａ）の車両５１０に搭載したカメラ５２０のカメラ光軸５２１とカメラ画像面５２２、焦点、焦点距離の関係（光学系）を模式的に示したものである（図５（Ｂ）は後に説明される）。

図６（Ａ）は、本実施例の構成の一例を示す図である。図６（Ｂ）は、図６（Ａ）の消失点検出手段６３０の構成の一例を示す図である。図６（Ａ）を参照すると、本実施例は、車載カメラである画像入力装置６１０と、直線検出手段６２０と、消失点検出手段６３０と、消失点出力手段６４０とを含む。

図６（Ａ）を参照すると、消失点検出手段６３０は、直線角度ばらつき評価値付与手段６３１と、消失点評価値付与手段６３２と、消失点決定手段６３３とを含む。

図６（Ｂ）を参照すると、消失点評価値付与手段６３２は、直線投票手段６３４と、消失点評価値算出手段６３５とを含む。

図７（Ａ）は、図６の直線検出手段６２０の構成の一例を示す図である。図７（Ｂ）は、図７（Ａ）のエッジ点検出手段７１０の構成の一例を示す図である。

図７（Ａ）を参照すると、エッジ点検出手段７１０と、Hough変換手段７２０と、直線出力手段７３０とを含む。

図７（Ｂ）を参照すると、エッジ点検出手段７１０は、３×３ソーベルフィルタ手段７１１と、エッジ強度計算手段７１２と、エッジ強度閾値処理手段７１３と、エッジ点出力手段７１４とを含む。

ただし、エッジ点検出手段７１０は、上記構成に限定されるものではなく、画素値の変化が急峻なエッジ部分の点（「エッジ点」と呼ぶ）を検出できるものであれば、任意の構成が用いられる。

図７（Ａ）を参照すると、Hough変換手段７２０は、Hough空間投票手段７２１と、Hough空間平滑化手段７２２と、Hough空間ピーク検出手段７２３とを含む。

図６（Ａ）の画像入力装置６１０は、図４に示した道路画像４１０を入力する。

図６（Ａ）の直線検出手段６２０は、画像入力装置６１０が入力した道路画像４１０（図４参照）から、走行レーンを表す白線４１２や道路端４１３（図４参照）等のエッジ部分をHough変換により直線として検出する。

図６（Ａ）の消失点検出手段６３０は、直線検出手段６２０により検出された直線が集中する点を消失点として検出する。

消失点出力手段６４０は、消失点を出力する。

図７（Ｂ）の３ｘ３ソーベルフィルタ手段７１１は、道路画像４１０（図４参照）の各点について３×３近傍中の各画素値と、図８（Ａ）、図８（Ｂ）に示すｘ方向勾配カーネル８０１、ｙ方向勾配カーネル８０２の各係数の積の和をとる。これらの積和を、それぞれ、「ソーベルｘ成分」、「ソーベルｙ成分」と呼ぶ。

図７（Ｂ）のエッジ強度計算手段７１２は、道路画像４１０（図４参照）の各点について、ソーベルｘ成分とソーベルｙ成分の２乗和の平方、又は絶対値の和を計算し、各点のエッジ強度とする。

図７（Ｂ）のエッジ強度閾値処理手段７１３は、道路画像４１０（図４参照）の各点についてエッジ強度が予め定められた閾値、例えば１００以上か否かを判断する。

図７（Ｂ）のエッジ点出力手段７１４は、エッジ強度閾値処理手段７１３でエッジ強度が閾値以上と判断された点をエッジ点として出力する。

図７（Ａ）のHough空間投票手段７２１は、直線を表現するパラメータを軸とする空間（以下、「Hough空間」という）内において、エッジ点検出手段７１０で検出されたエッジ点に対応する軌跡上の各点について、エッジ点に応じた重みを投票する。

ここで、エッジ点に応じた重みとしてエッジ強度を投票する。ただし、エッジ点に応じた重みは、エッジ強度に限定されるものではなく、例えば、定数、後述のソーベルx成分とソーベルy成分により算出されるエッジ点における画素値の勾配と軌跡上の点に対応する直線の傾きとのなす角など、エッジ点又はその近傍の画素値等から算出される値、又は、これらの値（エッジ点又はその近傍の画素値等から算出される値）やエッジ強度等から算出される値等を用いてもよい。

また、図７（Ａ）のHough空間平滑化手段７２２は、Hough空間の各点について、当該点および近傍の点の投票値（以下、「直線投票値」という）を用いて、当該点での平滑化された直線投票値を決定する。

特に制限されないが、本実施例では、例えば、当該点の３×３近傍の点の平均値として平滑化された直線投票値を決定する。近傍の範囲や平滑化された直線投票値の決定方法は、これに限定されるものではない。なお、場合によっては、図７（Ａ）のHough空間平滑化手段７２２を省略してもよい。

図７（Ａ）のHough空間ピーク検出手段７２３は、Hough空間内において予め定められた閾値以上であり、且つ、例えば３×３近傍等の近傍範囲で最大の直線投票値を持つ点をピークとして検出する。ただし、ピークを検出する基準はこれに限定されるものではなく、例えば、Hough空間内での最大直線投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。

図６（Ａ）の直線角度ばらつき評価値付与手段６３１は、道路画像４１０の少なくとも一部分を含む２次元空間（以下、「直線投票空間」という）内の各点について直線角度ばらつき評価値を算出し、付与する。

また、図６（Ａ）の消失点評価値付与手段６３２は、直線投票空間の各点について、直線検出手段６２０により検出された複数の直線の情報と、図６（Ａ）の消失点評価値付与手段６３２により、道路画像４１０（図４参照）、又は直線投票空間の各点に付与された直線角度ばらつき評価値と、から、道路画像４１０（図４参照）、又は、直線投票空間の各点について、消失点評価値を算出し、付与する。

特に制限されないが、図６（Ａ）の消失点決定手段６３３は、例えば、直線投票空間内で消失点評価値が最大である点を消失点として決定する。

なお、消失点決定の基準は、直線投票空間内で消失点評価値が最大である点に限定されるものではなく、例えば、予め定められた閾値以上の消失点評価値をもつ点、または予め定められた近傍内にて極大値をもつ点、又はこれらの条件の組み合わせ等、問題設定に応じた基準をとることが出来る。

図６（Ｂ）の直線投票手段６３４は、図９に示すように、図７（Ａ）のHough変換手段７２０において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えばHough空間ピーク検出手段７２３で検出したピークの直線投票値を投票する（以下、「消失点投票値」と呼ぶ）。

なお、図６（Ｂ）の直線投票手段６３４で用いる投票値は、上記に限定されるものではなく、直線上の点であることが確かであるほど大きな値をもつ投票値であればよい。

図６（Ｂ）の消失点評価値算出手段６３５は、直線投票空間の各点について、当該点又はその近傍の点に関しての消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として消失点評価値を算出し、当該点に付与する。

なお、消失点評価値算出手段６３５において、消失点評価値の算出方法はこれに限定されるものではなく、消失点投票値および直線角度ばらつき評価値についての単調増加であるような算出方法であればよい。

直線角度ばらつき評価値について以下に説明する。

前述したように、直線角度ばらつき評価値は、当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値をもつように算出される。

ここで、「角度」とは、例えば各直線と水平線とがなす角度であり、「ばらつき」とは直線の角度が、広い範囲に疎に分布している状態を意味する。

道路画像４１０(図４参照)又は直線投票空間内のある点、又は、その周辺を通過する直線の本数をNとし、各直線をL1、L2、......、LNとする。

また、直線Lk、k=1、2、……、Nの水平線とのなす角度およびHough変換手段での投票値をそれぞれαk、wkとする。

ここで、直線ばらつき評価値をαkの分散

・・・(1)

又は、αkの重み付き分散

・・・(2)
などの分散値や、これらの平方根をとった標準偏差、又はαkの最大値と最小値の差

・・・(3)
等として算出することが出来る。

ただし、直線ばらつき評価値はこれに限定されるものではなく、当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値になるものであればよい。

次に、本実施例の動作について、図６、図７及び図１０のフローチャートを参照して詳細に説明する。

図６（Ａ）の画像入力装置６１０が、道路画像を入力する（図１０のステップＢ１）。

次に、図７（Ｂ）の３ｘ３ソーベルフィルタ手段７１１が、道路画像４１０（図４参照）の各点について、ソーベルx成分とソーベルy成分を算出する（ステップＢ２）。

次に、図７（Ｂ）のエッジ強度計算手段７１２が、道路画像の各点についてエッジ強度を計算する（ステップＢ３）。

次に、図７（Ｂ）のエッジ強度閾値処理手段７１３が、道路画像の各点についてエッジ強度を閾値処理する（ステップＢ４）。

次に、図７（Ｂ）のエッジ点出力手段７１４が、エッジ強度が閾値以上の点をエッジ点として検出する（ステップＢ５）。

次に、図７（Ａ）のHough空間投票手段７２１が、各エッジ点についてHough空間内の軌跡上に投票を行う（ステップＢ６）。

次に、図７（Ａ）のHough空間平滑化手段７２２が、Hough空間内の各点の投票値を平滑化する（ステップＢ７）。

次に、図７（Ａ）のHough空間ピーク検出手段７２３が、Hough空間内のピーク点を検出する（ステップＢ８）。

次に、図７（Ａ）の直線出力手段７３０が、各Hough空間ピーク点に対応する直線を検出する（ステップＢ９）。

ここで、直線が複数検出されていれば、ステップＢ１１に進み、直線が複数検出されていなければ終了する（ステップＢ１０）。

次に、図６（Ａ）の直線角度ばらつき評価値付与手段６３１が、直線投票空間の各点について直線角度ばらつき評価値を算出する（ステップＢ１１）。

次に、図６（Ｂ）の直線投票手段６３４が、図７（Ａ）のHough変換手段７２０において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えばHough空間ピーク検出手段７２３で検出したピークの直線投票値を投票する（ステップＢ１２）。

次に、図６（Ｂ）の消失点評価値算出手段６３５が、直線投票空間の各点での消失点評価値を消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として算出する（ステップＢ１３）。

次に、図６（Ａ）の消失点決定手段６３３が、直線投票空間内での消失点投票値のピーク点に対応する消失点を検出する（ステップＢ１４）。

次に、図６（Ａ）の消失点出力手段６４０が、消失点決定手段６３３で検出した消失点を出力する（ステップＢ１５）。

また、本実施例の応用例として、図５（Ａ）に示すような自車両５１０と道路面５３０との間のピッチ角（θ）５４０を算出することができる。

すなわち、図５（Ｂ）に示すように、焦点距離fが既知のカメラ画像面５２２およびカメラ座標系(x, y)をとり、消失点の座標を(xv, yv)とすると、ピッチ角（θ）５４０を式（４）のように定める。yv=−ｆｃｏｓ（θ）より、

…（４）

ただし、ピッチ角θの算出は、式（４）に限定されるものではなく、式（４）を近似的に算出するような算法によってもよい。

次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図１１は、本発明の第２の実施の形態の構成を示す図である。

図１１を参照すると、本発明の第２の実施の形態は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１１００と、画像入力装置１１１０とを備えて構成される。

コンピュータ（中央処理装置；プロセッサ；データ処理装置）１１００は、直線検出手段１１２０と、消失点検出手段１１３０と、消失点出力手段１１４０とを含む。

消失点検出手段１１３０は、直線投票手段１１３１と、直線角度ばらつき評価値付与手段１１３２と、消失点評価値付与手段１１３３と、消失点決定手段１１３４とを含む。

これらの手段は、それぞれ概略つぎのように動作する。

画像入力装置１１１０は、消失点を検出する対象となる画像を入力する。

直線検出手段１１２０は、画像入力装置１１１０が入力した画像から消失点を通過すると推測される複数の直線を検出する。

直線投票手段１１３１は、画像入力装置１１１０が入力した画像の少なくとも一部分を含む２次元空間内（以下、「直線投票空間」という）の各点について、直線検出手段１１２０で検出した複数の直線の内当該点又は当該点周囲の所定の範囲を通過する直線に基づいた投票値を与える。

直線角度ばらつき評価値付与手段１１３２は、直線投票空間内の各点について、直線投票手段１１３１にて付与した当該点近傍の投票値に基づき、当該点又は当該点周囲の所定の範囲を通過する直線の角度のばらつき具合を評価した直線角度ばらつき評価値を付与する。

消失点評価値付与手段１１３３は、直線投票空間内の各点について、直線投票手段１１３１にて各点に付与した投票値と角度ばらつき評価値とから当該点の消失点らしさ具合を評価した消失点評価値を付与する。

ただし、消失点評価値付与手段１１３３は、場合によっては省略してもよく、この場合は直線ばらつき評価値を消失点評価値として利用する。

消失点決定手段１１３４は、画像内又は直線投票空間内の各点に付与された消失点評価値を用いて消失点を決定する。

消失点出力手段１１４０は、消失点決定手段１１３４で決定された消失点を出力する。

次に、図１２は、本実施形態の動作を説明するフローチャートである。図１１、図１２を参照して、本実施の形態の全体の動作について詳細に説明する。

まず、画像入力装置１１１０が、消失点検出の対象である画像を入力する（図１２のステップＣ１）。

次に、直線検出手段１１２０は、画像入力装置１１１０が入力した画像から消失点を通過すると推測される複数の直線を検出する（ステップＣ２）。

直線投票手段１１３１が、直線投票空間においてステップＣ２により検出した直線に対応する投票を行う（ステップＣ３）。

直線角度ばらつき評価値付与手段１１３２が、直線投票空間内の各点について、ステップＣ３にて付与した当該点近傍の投票値に基づき当該点又は当該点周囲の所定の範囲を通過する複数の直線についての直線角度ばらつき評価値を付与する（ステップＣ４）。

消失点評価値付与手段１１３３が、画像内又は直線投票空間内の各点について、ステップＣ３にて各点に付与した投票値と直線角度ばらつき評価値とから消失点評価値を付与する（ステップＣ５）。

ただし、ステップＣ５を省略し、直線角度ばらつき評価値を前記消失点評価値として利用してもよい。

消失点決定手段１１３４が、直線投票空間内の各点に付与された消失点評価値を用いて、例えば最大の消失点評価値を与える点を消失点とするなどして、消失点を検出する（ステップＣ６）。ただし、消失点評価値を用いた消失点検出方法は、これに限定するものではなく、例えば消失点評価値の極大値を与える点を消失点とする等により消失点を検出することもできる。

消失点出力手段１１４０により検出された消失点を出力する（ステップＣ７）。

次に、本発明を第２の実施形態の作用効果について説明する。

本実施形態では、直線角度ばらつき評価値が直線投票空間内での近傍の投票値に基づき算出するというように構成されているため、少ない処理量で直線角度ばらつき評価値を算出でき、短い処理時間で偽の直線に対して頑健な消失点検出を行うことができる。

次に、具体的な実施例に即して説明する。

＜実施例２＞
本実施例は、図４に示した道路画像４１０（車載カメラから前方道路を撮像した画像）から走行レーンを表す白線４１２や道路端４１３等のエッジ部分をHough変換により直線として検出してそれらのなす消失点を検出する。

図１３に示すように、本実施例は、車載カメラである画像入力装置１３１０と、直線検出手段１３２０と、消失点検出手段１３３０と、消失点出力手段１３４０とを含む。

消失点検出手段１３３０は、直線投票手段１３３１と、直線角度ばらつき評価値付与手段１３３２と、消失点評価値付与手段１３３３と、消失点決定手段１３３４とを含む。

図１４（Ａ）は、図１３の直線検出手段の構成を示す図である。図１４（Ｂ）は、図１４（Ａ）のエッジ点検出手段１４１０の構成を示す図である。図１４（Ａ）に示すように、直線検出手段１３２０は、エッジ点検出手段１４１０と、Ｈｏｕｇｈ変換手段１４２０と、直線出力手段１４３０とを含む。

図１４（Ｂ）に示すように、エッジ点検出手段１４１０は、３×３ソーベルフィルタ手段１４１１と、エッジ強度計算手段１４１２と、エッジ強度閾値処理手段１４１３と、エッジ点出力手段１４１４とを含む。ただし、エッジ点検出手段１４１０は構成に限定されるものではなく、画素値の変化が急峻なエッジ部分の点（以下、エッジ点と呼ぶ）を検出する手段であればよい。

図１４（Ａ）に示すように、Hough変換手段１４２０は、Hough空間投票手段１４２１と、Hough空間平滑化手段１４２２と、Hough空間ピーク検出手段１４２３とを含む。

図１３の画像入力装置１３１０は、道路画像４１０（図４参照）を入力する。

直線検出手段１３２０は、道路画像４１０（図４参照）から走行レーンを表す白線４１２や道路端４１３等のエッジ部分をHough変換により直線として検出する。

また、図１３の消失点検出手段１３３０は、直線検出手段１３２０により検出された直線が集中する点を消失点として検出する。

図１３の消失点出力手段１３４０は、消失点を出力する。

図１４（Ｂ）の３ｘ３ソーベルフィルタ手段１４１１は、道路画像４１０（図４参照）の各点について３×３近傍中の各画素値と、図８（Ａ）、図８（Ｂ）に示すｘ方向勾配カーネル８０１、ｙ方向勾配カーネル８０２の各係数の積の和をとる。これらの積和をそれぞれ、「ソーベルｘ成分」、「ソーベルｙ成分」と呼ぶ。

図１４（Ｂ）のエッジ強度計算手段１４１２は、道路画像４１０（図４参照）の各点についてソーベルx成分とソーベルy成分の２乗和の平方、又は絶対値の和を計算し、各点のエッジ強度とする。

図１４（Ｂ）のエッジ強度閾値処理手段１４１３は、道路画像４１０（図４参照）の各点についてエッジ強度が予め定められた閾値、例えば100以上か否かを判断する。

図１４（Ｂ）のエッジ点出力手段１４１４は、エッジ強度閾値処理手段１４１３でエッジ強度が閾値以上と判断された点をエッジ点として出力する。

図１４（Ａ）のHough空間投票手段１４２１は、直線を表現するパラメータを軸とする空間（以下、Hough空間と呼ぶ）内において、エッジ点検出手段１４１０で検出されたエッジ点に対応する軌跡上の各点について、エッジ点に応じた重みを投票する。

ここで、エッジ点に応じた重みとしてエッジ強度を投票する。ただし、エッジ点に応じた重みはこれに限定されるものではなく、前述したように、例えば定数、後述のソーベルx成分とソーベルy成分により算出されるエッジ点における画素値の勾配と軌跡上の点に対応する直線の傾きとのなす角など、エッジ点又はその近傍の画素値等から算出される値、又はこれらの値やエッジ強度等から算出される値等を用いてもよい。

図１４（Ａ）のHough空間平滑化手段１４２２は、Hough空間の各点について、当該点および近傍の点の投票値（以下、「直線投票値」と呼ぶ）を用いて当該点での平滑化された直線投票値を決定する。

ここでは、例えば、前記当該点の３×３近傍の点の平均値として平滑化された直線投票値を決定する。ただし、近傍の範囲や平滑化された直線投票値の決定方法はこれに限定されるものではない。また、場合によっては、図１４（Ａ）のHough空間平滑化手段１４２２を省略してもよい。

図１４（Ａ）のHough空間ピーク検出手段１４２３は、Hough空間内において予め定められた閾値以上であり、かつ例えば３×３近傍等の近傍範囲で最大の直線投票値を持つ点をピークとして検出する。ただし、ピークを検出する基準はこれに限定されるものではなく、例えば、Hough空間内での最大直線投票値をもつ点のみをピークとする等、問題設定に応じた基準をとることが出来る。

図１３の直線投票手段１３３１は、図１４（Ａ）のHough変換手段１４２０において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば、図１４（Ａ）のHough空間ピーク検出手段１４２３で検出したピークの直線投票値を投票する（以下、「消失点投票値」と呼ぶ）。ただし、投票値は、これに限定されるものではなく、直線上の点であることが確かであるほど大きな値をもつ投票値であればよい。

図１３の直線角度ばらつき評価値付与手段１３３２は、直線投票空間内の各点について近傍の消失点投票値に基づき直線角度ばらつき評価値を算出し、付与する。

図１３の消失点評価値付与手段１３３３は、直線投票空間の各点について、当該点又はその近傍の消失点投票値と直線角度ばらつき評価値とから消失点評価値を算出し、付与する。

図１３の消失点決定手段１３３４は、例えば直線投票空間内で消失点評価値が最大である点を消失点として決定する。ただし、消失点決定の基準は、これに限定されるものではなく、例えば予め定められた閾値以上の消失点評価値をもつ点、または予め定められた近傍内にて極大値をもつ点、又はこれらの条件の組み合わせ等、問題設定に応じた基準をとることが出来る。

直線角度ばらつき評価値について以下に説明する。

前述のように、直線角度ばらつき評価値は当該点又は当該点周囲の所定の範囲を通過する直線の角度がばらついている程大きな値をもつように算出される。

ここでは、特に図１５に示すような、消失点１５１０の右下領域１５２０を通過する直線と左下領域１５３０を通過する直線とが偏り無く存在するという意味において消失点１５１０における直線角度のばらつきが大きいと仮定できる場合を想定しており、このような状況は画像１５００として、本実施例のような道路画像を対象とした場合には当てはまる。

そこで、本実施例では、直線投票空間内の各点において、当該点の近傍の消失点投票値に基づき以下のように直線角度ばらつき評価値の算出を行う。

すなわち、図１６に示すように、当該点１６１０の右下領域１６２０での消失点投票値の和をSr、左下領域１６３０での消失点投票値の和をSlとして、式（５）のように算出する。

・・・(5)

ただし、直線角度ばらつき評価値の算出は式（５）に限定されるものではなく、図１６の当該点１６１０の右下領域１６２０内の消失点投票値と左下領域１６３０内の消失点投票値とが偏り無く存在する場合に値が大きくなるような他の算出式を用いることが出来る。

また、右下領域１６２０および左下領域１６３０として、例えばサイズ１３×１３の正方領域等をとることが出来るが、これらはこれに限定されるものではなく、用途に応じた領域をとることが出来る。

図１７は、本実施例の動作を説明するフローチャートである。図１３、図１４及び図１７を参照して、本実施例の動作について詳細に説明する。

まず、図１３の画像入力装置１３１０が、道路画像を入力する（図１７のステップＤ１）。

次に、図１４（Ｂ）の3x3ソーベルフィルタ手段１４１１により道路画像４１０（図４参照）の各点についてソーベルx成分とソーベルy成分を算出する（ステップＤ２）。

次に、図１４（Ｂ）のエッジ強度計算手段１４１２が、道路画像の各点についてエッジ強度を計算する（ステップＤ３）。

次に、図１４（Ｂ）のエッジ強度閾値処理手段１４１３が、道路画像の各点についてエッジ強度を閾値処理する（ステップＤ４）。

次に、図１４（Ｂ）のエッジ点出力手段１４１４が、エッジ強度が閾値以上の点をエッジ点として検出する（ステップＤ５）。

次に、図１４（Ａ）のHough空間投票手段１４２１が、各エッジ点についてHough空間内の軌跡上に投票を行う（ステップＤ６）。

次に、図１４（Ａ）のHough空間平滑化手段１４２２が、Hough空間内の各点の投票値を平滑化する（ステップＤ７）。

次に、図１４（Ａ）のHough空間ピーク検出手段１４２３が、Hough空間内のピーク点を検出する（ステップＤ８）。

次に、図１４（Ａ）の直線出力手段１４３０が、各Hough空間ピーク点に対応する直線を検出する（ステップＤ９）。

ここで、直線が複数検出されていれば、ステップＤ１１に進み、直線が複数検出されていなければ、終了する（ステップＤ１０）。

次に、図１３の直線投票手段１３３１が、図１４（Ａ）のHough変換手段１４２０において検出された各直線の軌跡上の点に対応する直線投票空間の点に、例えば図１４（Ａ）のHough空間ピーク検出手段１４２３で検出したピークの直線投票値を投票する（ステップＤ１１）。

次に、図１３の直線角度ばらつき評価値付与手段１３３２が、直線投票空間の各点について、当該点近傍の消失点投票値に基づき直線角度ばらつき評価値を算出する（ステップＤ１２）。

次に、図１３の消失点評価値付与手段１３３３が、直線投票空間の各点での消失点評価値を消失点投票値と直線角度ばらつき評価値とから、例えばそれらの積として算出する（ステップＤ１３）。

次に、図１３の消失点決定手段１３３４が、直線投票空間内での消失点投票値のピーク点に対応する消失点を検出する（ステップＤ１４）。

次に、図１３の消失点出力手段１３４０が、検出した消失点を出力する（ステップＤ１５）。

本発明は、画像からの無限遠点以外の消失点の検出を行う任意の用途に適用できる。以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

本発明の第１の実施の形態の構成を示す図である。 直線角度のばらつきについて説明する図である。 本発明の第１の実施の形態の動作を説明するためのフローチャートである。 本発明の一実施例で用いる道路画像を示す図である。 （Ａ）、（Ｂ）は本発明の一実施例のカメラセッティングおよびカメラ座標系を示す図である。 （Ａ）、（Ｂ）は本発明の一実施例の構成を示す図である。 （Ａ）、（Ｂ）は本発明の一実施例の構成を示す図である。 （Ａ）、（Ｂ）はソーベルフィルタを説明する図である。 本発明の一実施例の直線投票処理を説明する図である。 本発明の一実施例の動作を説明するためのフローチャートである。 本発明の第２の実施の形態の構成を示す図である。 本発明の第２の実施の形態の動作を説明するためのフローチャートである。 本発明の第２の実施例の構成を示す図である。 （Ａ）、（Ｂ）は本発明の第２の実施例の構成を示す図である。 消失点近傍の右下領域、左下領域での消失点投票値の分布の一例を示す図である。 本発明の第２の実施例における直線角度ばらつき評価値を説明する図である。 本発明の第２の実施例の動作を説明するためのフローチャートである。 従来のシステムの構成を示す図である。 従来のシステムにおける消失点推定部を説明する図である。 従来のシステムにおける消失点推定の失敗例を示す図である。

符号の説明

１００、６００、１１００、１３００、１８００ コンピュータ（中央処理装置；プロセッサ；データ処理装置）
１１０、６１０、１１１０、１３１０ 画像入力装置
１２０、６２０、１１２０、１３２０ 直線検出手段
１３０、６３０、１１３０、１３３０ 消失点検出手段
１３１、６３１、１１３２、１３３２ 直線角度ばらつき評価値付与手段
１３２、６３２、１１３３、１３３３ 消失点評価値付与手段
１３３、６３３、１１３４、１３３４ 消失点決定手段
１４０、６４０、１１４０、１３４０ 消失点出力手段
２１０、２２０、１５００、１９００、２０００ 画像
２１１、２２１、１５１０、１９１０、２０１０ 消失点
２１２、２２２、１５４０、１６４０、１９２０ 直線
４１０ 道路画像
４１１ 道路面
４１２ 白線
４１３ 道路端
５１０ 自車両
５２０ カメラ
５２１ カメラ光軸
５２２ カメラ画像面
５３０ 道路面
５４０ ピッチ角
６３４、１１３１、１３３１ 直線投票手段
６３５ 消失点評価値算出手段
７１０、１４１０ エッジ点検出手段
７１１、１４１１ 3x3ソーベルフィルタ手段
７１２、１４１２ エッジ強度計算手段
７１３、１４１３ エッジ強度閾値処理手段
７１４、１４１４ エッジ点出力手段
７２０、１４２０ Hough変換手段
７３０、１４３０ 直線出力手段
７２１、１４２１ Hough空間投票手段
７２２、１４２２ Hough空間平滑化手段
７２３、１４２３ Hough空間ピーク検出手段
８０１ ｘ方向勾配カーネル
８０２ ｙ方向勾配カーネル
９１０、１５００ 直線投票空間
１５２０、１６２０ 消失点右下領域
１５３０、１６３０ 消失点左下領域
１６１０ 当該点
１８１０ 主制御部
１８２０ 画像入力部
１８２１ エッジ点検出部
１８２２ 線分検出部
１８２３ 線分選別部
１８３０ 消失点推定部
１９３０ 両端点と消失点がなす三角形
２０２０ 不適切な線分

Claims (27)

1. 画像から直線を検出する直線検出手段と、
   前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する手段と、
   前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する手段と、
   を備えた、ことを特徴とする消失点検出システム。
2. 画像から直線を検出する直線検出手段と、
   前記画像の少なくとも一部を含む空間内の各点について、該点又は該点の周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、
   前記直線角度ばらつき評価値が、他と比べて相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、
   を備えた、ことを特徴とする消失点検出システム。
3. 画像から直線を検出し、検出された各前記直線について、直線としての確信度を付与する直線検出手段と、
   前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与手段と、
   前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、直線が相対的に多数通過している場合に、より大きな値をとる消失点評価値を付与する消失点評価値付与手段と、
   前記消失点評価値が相対的に大きな値をとる点を、消失点として、検出する消失点検出手段と、
   を備え、前記消失点評価値の算出に際して、前記直線角度ばらつき評価値を考慮する、ことを特徴とする消失点検出システム。
4. 前記直線検出手段は、Hough変換により直線を検出し、
   前記直線としての確信度として、該直線のHough変換での投票値を用いる、ことを特徴とする請求項１乃至３のいずれか一記載の消失点検出システム。
5. 前記直線角度ばらつき評価値として前記直線の角度の統計値が用いられ、
   前記直線の角度の統計値は、前記直線の角度の分散と標準偏差、最大値と最小値の差と比のうちの少なくとも１つを含む、ことを特徴とする請求項１乃至４のいずれか一に記載の消失点検出システム。
6. 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りが用いられる、ことを特徴とする請求項１乃至４のいずれか一に記載の消失点検出システム。
7. 前記画像は、車載センサより得られる画像データであり、
   前記消失点として、走行レーンを表すレーンマーカ及び／又は道路端線に関する消失点を検出する、ことを特徴とする請求項１乃至６のいずれか一に記載の消失点検出システム。
8. 請求項１乃至７のいずれか一に記載の消失点検出システムを備え、
   前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する、ことを特徴とする車両周辺環境認識システム。
9. 前記車両と周辺環境との位置関係として、前記車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項８に記載の車両周辺環境認識システム。
10. 画像から直線を検出する工程と、
    前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する工程と、
    前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する工程と、
    を含む、ことを特徴とする消失点検出方法。
11. 画像から直線を検出する工程と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる、直線角度ばらつき評価値を付与する工程と、
    前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する工程と、
    を含む、ことを特徴とする消失点検出方法。
12. 画像から直線を、直線としての確信度とともに検出する工程と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する工程と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、相対的に直線が多数通過している場合に、より大きな値をとる消失点評価値を付与する工程と、
    前記消失点評価値が相対的に大きな値をとる点を消失点として検出する工程と、
    を含み、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する、ことを特徴とする消失点検出方法。
13. 前記画像から直線を検出する工程において、
    Hough変換により直線を検出し、
    前記直線としての確信度として、該直線のHough変換での投票値を用いる、ことを特徴とする請求項１０乃至１２のいずれか一に記載の消失点検出方法。
14. 前記直線角度ばらつき評価値として、前記直線の角度についての統計値を用い、
    前記直線の角度についての統計値は、前記直線の角度の分散と標準偏差、最大値と最小値の差と比、のうちの少なくとも１つを含む、ことを特徴とする請求項１０乃至１３のいずれか一に記載の消失点検出方法。
15. 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる、ことを特徴とする請求項１０乃至１３のいずれか一に記載の消失点検出方法。
16. 前記画像として車載センサより得られる画像データを用い、
    前記消失点として走行レーンを表すレーンマーカ及び／又は道路端線に関する消失点を検出する、ことを特徴とする請求項１０乃至１５のいずれか一に記載の消失点検出方法。
17. 請求項１０乃至１６のいずれか一に記載の消失点検出方法で求めた前記消失点の位置に基づき、車両と周辺環境との位置関係を算出する、ことを特徴とする車両周辺環境認識方法。
18. 前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項１７に記載の車両周辺環境認識方法。
19. 消失点の検出を行うコンピュータに、
    画像から直線を検出する処理と、
    前記画像内において、複数の直線がその上を通過する点又は複数の直線がその近傍を通過する点に関して、直線の角度のばらつき具合の評価値を算出する処理と、
    前記複数の直線がその上を通過するか又はその近傍を通過する点に対応して導出された直線の角度のばらつき具合の評価値を、消失点らしさの指標として用い、直線の角度のばらつき具合の評価値が、他の点に関して導出された直線の角度のばらつき具合の評価値に比べて相対的に大きい値の点を、消失点として検出する処理と、
    を実行させるプログラム。
20. 消失点の検出を行うコンピュータに、
    画像から直線を検出する直線検出処理と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、
    前記直線角度ばらつき評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、
    を実行させるプログラム。
21. 消失点の検出を行うコンピュータに、
    画像から直線を、直線としての確信度とともに検出する直線検出処理と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の角度が、相対的に広い範囲に疎に分布している場合に、より大きな値をとる直線角度ばらつき評価値を付与する直線角度ばらつき評価値付与処理と、
    前記画像の少なくとも一部を含む空間内の各点について、該点又は該点周囲の所定の範囲内を通過する直線の確信度に基づき、直線が相対的に多数通過している場合よりも大きな値をとる消失点評価値を付与し、前記消失点評価値の算出に際して前記直線角度ばらつき評価値を考慮する消失点評価値付与処理と、
    前記消失点評価値が相対的に大きな値をとる点を消失点として検出する消失点検出処理と、
    を実行させるプログラム。
22. 前記直線検出処理は、Hough変換により直線を検出し、前記直線としての確信度として該直線のHough変換での投票値を用いる、ことを特徴とする請求項１９乃至２１のいずれか一に記載のプログラム。
23. 前記直線角度ばらつき評価値として前記直線の角度についての統計値を用い、
    前記直線の角度についての統計値は、前記直線の角度の、分散と標準偏差、最大値と最小値の差と比、の少なくとも１つを含む、ことを特徴とする請求項１９乃至２２のいずれか一に記載のプログラム。
24. 前記直線角度ばらつき評価値として、該点の右下領域と左下領域との間の前記直線としての確信度の偏りを用いる、ことを特徴とする請求項１９乃至２２のいずれか一に記載のプログラム。
25. 前記画像として、車載センサより得られるデータを用い、
    前記消失点として走行レーンを表すレーンマーカや道路端線に関する消失点を検出する処理を、前記コンピュータに実行させる、ことを特徴とする請求項１９乃至２４のいずれか一に記載のプログラム。
26. 導出された前記消失点の位置に基づき、車両と周辺環境との位置関係を算出し、前記車両周辺の環境認識を行う処理を、前記コンピュータに実行させる、ことを特徴とする請求項１９乃至２５のいずれか一に記載のプログラム。
27. 前記車両と周辺環境との位置関係として、車両の向いている方向と道路面とのピッチ角を算出する、ことを特徴とする請求項２４に記載のプログラム。

Images