JP2013134609A - 縁石検出装置及びプログラム - Google Patents

Abstract

【課題】簡単な構成で縁石を検出する縁石検出装置を提供する。
【解決手段】自車両の周辺環境を撮影した画像から、縁石候補抽出部１３により検出された線分を縁石候補とする。さらに、傾斜縁石抽出部１５によって、道路の特定の場所（例えば、交差点付近）に存在する、上辺又は下辺に傾斜部を有する形状の縁石（傾斜縁石）を抽出する。そして、傾斜縁石と縁石候補間の距離、及び傾斜縁石と縁石候補のなす角度をもとに計算した縁石確率が所定値を超える候補を縁石として検出する。
【選択図】図１

Description

本発明は、縁石検出装置及びプログラムに係り、特に単一のカメラで撮影した画像から縁石を検出する縁石検出装置及びプログラムに関する。

近年において自動車等の車両の安全走行を支援するためのシステムが搭載された車両が増えている。このような安全走行支援システムは、多くの場合、車両前方をカメラで撮影して得た画像を利用して、危険状態の有無を判断している。安全走行支援システムを、特に衝突回避のためのシステムとして作動させる場合、自車両から交差点までの距離、自車両と道路端間の距離等を推定・検出することにより適切なタイミングで作動できるようにするため、従来より車線や縁石等を検出している。

例えば、特許文献１に記載の画像認識装置では、２台の撮像装置で同時刻に撮像した画像中のエッジ候補の距離を２箇所比較することで、それら２箇所を有する２つの面が平行でないことを検出する。すなわち、縁石候補について、撮像画像中の２つの線分の長さの増減を２つの視点で検知し、これら２つの線分を各々含む実空間上での２つの面が平行でないことを認識する。このとき、２つの面の一方は路面に平行で、他方の面は垂直である可能性が高いことから、水平面に垂直な面を、車両が走行する車線に平行に設置された縁石の面として検出している。

特許文献２は、１台の単眼カメラで撮像した画像内の鉛直方向ラインの下端位置に基づいて道路端の候補を１つに特定し、その下端位置よりも自車両から遠い側を通過し、かつ自車両のタイヤ接地点よりも外側を通過している候補ラインに限定する。そして、候補ラインのうち、最も自車両に近い候補ラインを道路端と認識する道路端認識装置を開示している。また、例えば、非特許文献１には、ステレオ視による３Ｄの縁石モデルパラメータを推定する運転支援システムにおいて縁石を検出する手法が提案されている。

特開２００７−１８０３７号公報 特開２００８−３９４１号公報

Curb Reconstruction using Conditional Random Fields (Intelligent Vehicles Symposium (IV), 2010 IEEE)

上述した特許文献１に記載の画像認識装置では、例えば、縁石を構成する複数本の稜線を検出する必要があっても、周囲環境の明るさ、例えば照明条件等により十分な本数の稜線が検出されない場合があり得る。また、特許文献２では、鉛直方向ラインをもとに道路端ラインを検出する際、鉛直方向ラインは、特許文献２が想定しているポールや電柱に限らず、道路を横断する歩行者、駐車車両等からも生じ得る。このような場合、正確な道路端ラインが検出されない、という問題がある。

一方、非特許文献１に記載の縁石検出手法では、２台のカメラによりステレオ視を行うので検出コストが増大するという問題と、遠方での距離精度が悪化するので、縁石検出が困難になる、という問題がある。

本発明は、上述した課題を解決するために提案されたものであり、自車両周辺を撮影した画像より、低コストかつ高精度で縁石を抽出できる縁石検出装置を提供することを目的とする。

上記の目的を達成するため、本発明に係る縁石検出装置は、自車両周辺環境の画像を撮影する撮影手段と、前記撮影手段で撮影された画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段と、前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段と、前記撮影手段で撮影された画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段と、前記所定縁石抽出手段で抽出された線分で表される所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段と、を備える。

本発明によれば、上記構成とすることで、所定形状の縁石を手がかりとして、低コストで縁石を検出することができる。

また、本発明に係る縁石検出装置は、自車両周辺環境の画像を撮影する撮影手段と、所定の縁石情報に基づいて推定された所定時刻前の自車両の走路曲線を走路曲線情報として蓄積する蓄積手段と、前記撮影手段で撮影された画像と、前記蓄積手段に蓄積された所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段と、前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段と、前記撮影手段で撮影された画像と、前記蓄積手段に蓄積された所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段と、前記所定縁石抽出手段で抽出された所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段と、前記縁石検出手段で検出された縁石の情報を用いて走路曲線を推定するとともに、該推定した走路曲線を外挿した結果に基づいて、該検出された縁石より遠方にある縁石を検出する遠方縁石検出手段と、を備える。

このような構成とすることで、本発明は、低コストで、遠方にある縁石を高精度に検出することができる。

本発明において、前記縁石検出手段は、前記所定縁石抽出手段による所定形状の縁石の抽出結果に基づいて、前記縁石候補抽出手段で抽出された縁石候補に対して縁石らしさを示す確率を算出し、該確率が所定の閾値を超えた縁石候補を縁石として検出することを特徴とする。

また、本発明において、前記縁石検出手段は、前記縁石候補抽出手段により抽出された縁石候補を表す線分のうち、前記所定形状の縁石を表す線分からの距離が近い線分を順に抽出し、該抽出された線分と該所定形状の縁石を表す線分との距離及び該線分のなす角度に基づいて前記確率を計算することを特徴とする。

本発明において、前記所定形状の縁石は、上辺又は下辺が徐々に傾斜しながら一方端側において該上辺と該下辺とが交わる側面形状を有することを特徴とする。また、本発明において、前記所定形状の縁石は、上辺又は下辺が徐々に傾斜しながら一方端側において該上辺と該下辺とが交わる側面形状を有するとともに所定の曲率で曲がっていることを特徴とする。

本発明において、前記所定時刻前の走路曲線の推定結果は、前記蓄積手段に蓄積された１時刻前の走路曲線の推定結果であることを特徴とする。

本発明のプログラムは、コンピュータを、撮影手段で撮影された自車両周辺環境の画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段、前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段、前記撮影手段で撮影された画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段、及び前記所定縁石抽出手段で抽出された線分で表される所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段として機能させる。

また、本発明のプログラムは、コンピュータを、撮影手段で撮影された自車両周辺環境の画像と、蓄積手段に蓄積された所定の縁石情報に基づいて推定された自車両の所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段、前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段、撮影手段で撮影された自車両周辺環境の画像と、蓄積手段に蓄積された所定の縁石情報に基づいて推定された自車両の所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段、前記所定縁石抽出手段で抽出された所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段、及び前記縁石検出手段で検出された縁石の情報を用いて走路曲線を推定し、該推定した走路曲線を外挿した結果に基づいて、該検出された縁石より遠方にある縁石を検出する遠方縁石検出手段として機能させる。

本発明に係る縁石検出装置は、特定形状の縁石の検出結果に基づいて、道路端の縁石を高精度に検出できる、という優れた効果を有する。

本発明の第１の実施形態に係る縁石検出装置の全体構成を概略的に示すブロック図である。 第１の実施形態に係る縁石検出装置の縁石検出プログラムによって縁石を検出する手順を示すフローチャートである。 縁石検出装置の縁石検出部における縁石検出処理を示す詳細フローチャートである。 交差点付近等に存在する傾斜縁石を説明するための図である。 線分Ｌｉ，Ｌ’のなす角度θを説明するための図である。 第２の実施形態に係る縁石検出装置全体の構成を示すブロック図である。 第２の実施形態に係る縁石検出装置における縁石の検出手順を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態について詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る縁石検出装置の全体構成を概略的に示すブロック図である。図１に示す縁石検出装置１０は、撮像部１１で取得された画像をもとに、縁石検出部として機能する中央制御部２０において縁石を検出し、その検出結果、例えば、縁石の位置、方向等を出力部１９に認識可能に出力する。

縁石検出装置１０の中央制御部２０は、例えばマイクロプロセッサからなるＣＰＵ(Central Processing Unit)であり、縁石を検出するための機能部として、撮像部１１で撮影した画像が入力される縁石候補抽出部１３と、同じく撮像部１１で撮影した画像が入力される傾斜縁石抽出部１５と、これら縁石候補抽出部１３及び傾斜縁石抽出部１５における縁石候補及び傾斜縁石の抽出結果をもとに縁石を検出する縁石検出部１７と、検出された縁石を、他のシステムに入力したり、あるいは車両の運転者等が認識できる形式で出力する出力部１９と、を含んで構成される。

中央制御部２０は、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部２３ａに格納された、縁石の検出制御手順を示す縁石検出プログラム２３ｂにしたがって、後述する縁石の検出処理を実行するとともに、オペレーティングシステム（ＯＳ）等の基本プログラム等により縁石検出装置１０全体の制御を司る。また、データバスＢを介して中央制御部２０に接続されたメモリ（随時読出し／書込みメモリ（ＲＡＭ））２１に、縁石の検出制御等に用いる各種データが一時的に記憶される。

次に、本実施形態に係る縁石検出装置における縁石検出の手順について説明する。図２は、本実施形態に係る縁石検出装置の縁石検出プログラムによって縁石を検出する手順を示すフローチャートである。図２のステップＳ１１において、縁石検出装置１０の中央制御部２０は、自車両（不図示）に搭載した撮像部１１、例えば、単眼の車載カメラ等を制御して、撮像部１１によって自車両周辺環境の画像（自車両の前方を中心とする画像）を撮影し、撮影画像の画像データを取得する。なお、ここで取得する画像データは、カラーの画像データであっても、あるいは、モノクロ（白黒）の画像データであってもよい。

中央制御部２０は、ステップＳ１３で、縁石候補抽出部１３における動作により、撮像部１１より取得した画像から縁石を含む可能性のある候補領域を抽出するとともに、その候補領域の画像データの中から縁石候補を表す線分を抽出する。ここでは、例えば、ハフ(Hough)変換を用いて線分検出を行う。より具体的には、撮像画像から連続するエッジで構成される線分を少なくとも１本、抽出し、直線上に並ぶ特徴点（直線要素）を直線状線分として、すなわち、縁石候補として検出する。また、連続するエッジで構成される線分であっても、一定曲率以上の曲線上にある線分は縁石候補として抽出しない。

なお、縁石候補の抽出時、走路形状に関する情報、例えば、カーブ、路上の白線、路側帯等についての情報を使用できる場合には、それらの情報を用いて直線状線分の探索範囲を限定してもよい。走路形状については、地図情報や白線検出等の結果を利用して算出してもよいし、撮影画像の消失点に向かう直線が走路形状を近似すると仮定して算出してもよい。

中央制御部２０は、ステップＳ１５において、傾斜縁石抽出部１５における動作により、撮像部１１より取得した画像データの中から特定形状の縁石（ここでは説明の便宜上、傾斜縁石という。）を抽出する。傾斜縁石とは、道路端に沿って配置された縁石のうち、例えば、交差点付近等に存在し、その上辺（上面）又は下辺（下面）が水平面に対して傾斜した形状を有する縁石である。例えば、図４において丸印Ａで囲んで示す縁石３１は、道路端に沿って延びる縁石３０のうち交差点付近のカーブに位置する縁石であり、縁石３０の終端部に配置される縁石である。傾斜縁石３１の場合、その上辺３２が緩やかに垂直下方側へ傾斜しながら、末端部において下辺３３と交差する側面形状を有する。

一方、図４において丸印Ｂで囲んで示す傾斜縁石３５は、道路端において比較的短い距離を占める縁石３４の端部に位置しており、幹線道路３８への出入り口となっている傾斜路４０の端辺側に配置される縁石である。傾斜縁石３５の場合、その上面３７はほぼ水平であるが、下面３７は、幹線道路側から離れるに従って緩やかに垂直方向に上りながら、その端部において上面３５と交差する側面形状を有する。

通常、交差点付近等に存在する傾斜縁石３１は、道路側を向いている側面が、車載カメラの光軸方向に対してほぼ垂直に立っており、上辺又は下辺に傾斜部を有することで側面が一方向に徐々に狭まり（細くなり）、上辺と下辺が一方端側で交わるという特徴的な形状を有する。また、道路のカーブ部分は、法律（例えば、道路構造令等）に基づいて造られており、その曲率が決まっている等の理由から、カーブ部分に位置する傾斜縁石も曲がっているため、自車両周辺の撮影画像の中から抽出しやすいといえる。本実施形態に係る縁石検出装置では、このような傾斜縁石の特徴に着目して、傾斜縁石を、道路端に沿って配置された縁石を検出する際の手がかりとする。

そこで、中央制御部２０は、傾斜縁石抽出部１５において、例えば、所定サイズの探索ウインドウを所定の探索ステップでスキャン（ラスタスキャン）しながら、入力画像の部分領域（傾斜縁石の候補領域）より傾斜縁石を検出する。例えば、予め用意したテンプレート画像と、探索ウインドウ内の画像との類似度を求め、その類似度の度合いをもとに傾斜縁石を検出してもよい。あるいは、入力画像から探索ウインドウを１ステップにつき、予め定められた移動量である探索ステップだけ移動させながら、各ステップ毎に画像を切り取り、切り取った画像（ウインドウ画像）を、予め設定された画素数の画像に正規化する。そして、ウインドウ画像の特徴量を算出し、予め機械学習によって求め、メモリに記憶しておいた特徴量の分布に基づいて傾斜縁石を検出してもよい。なお、特徴量として、例えば、エッジ方向のヒストグラムを用いてもよい。

上述したラスタスキャンの範囲は、傾斜縁石の抽出漏れがないように、撮影画像の全領域に対して行ってもよいし、車載カメラの俯角や路面が平面であるという仮定のもとに、撮影画像のうち、縁石が存在する確率の高い領域に限定してもよい。

次に、ステップＳ１７において、縁石検出部１７における動作により、縁石候補抽出部１３における縁石候補抽出結果と、傾斜縁石抽出部１５における傾斜縁石抽出結果とに基づいて縁石を検出する。そこで、図３のフローチャートを参照して、縁石検出部１７における縁石検出処理の詳細な処理の流れを説明する。図３のステップＳ２１では、図２に示すステップＳ１３で抽出されたすべての縁石候補に、縁石確率として０を付与して、初期化する。そして、続くステップＳ２３で、縁石候補のうち、図２のステップＳ１５で抽出された傾斜縁石領域内にある、傾斜縁石を表す線分に縁石確率として１を付与するとともに、その線分に検出済みラベルを付与する。

ステップＳ２５において、検出済みラベル未付与の縁石候補の線分Ｌｉ（ｉ＝１，２…ｎ）、検出済みラベル未付与の縁石候補の線分の数ｎ、及び線分（縁石候補）Ｌの縁石確率Ｐ（Ｌ）を設定する。ここでは、縁石確率Ｐ（Ｌ）を０で初期化する。そして、ステップＳ２７で、ｉ＝１として、最初の縁石候補の線分を特定する。

続くステップＳ２９において、検出済みラベルが付与されている線分の中から、上述した検出済みラベル未付与の縁石候補の線分Ｌｉ（ここでは、Ｌ１）に最も距離が近い線分を選び、その線分をＬ’とする。これは、上記のステップＳ１５で抽出された傾斜縁石を起点（手がかり）として、線分Ｌｉで表される縁石候補から縁石を検出する処理である。そして、ステップＳ３１で、これら２線分Ｌｉ，Ｌ’間の距離、及び、これら２線分のなす角度θより、以下の式（１）によって重み係数ｗを算出する。

線分Ｌｉと線分Ｌ’のなす角度θは、図５に示すように、線分Ｌ’を自車線側に外挿した方向を始線とし、左回りを正としたときの線分Ｌｉ，Ｌ’間の角度である。よって、ここでの角度の許容範囲は、０°≦θ≦１８０°である。

ここで、ｄth，θthは、それぞれ距離、角度の閾値であり、α，βは、α＋β＝１を満たす重み係数である。

ステップＳ３３では、ステップＳ２９で選ばれた線分Ｌ’の縁石確率Ｐ（Ｌ’）に、上記の重み係数ｗを乗じたｗ*Ｐ（Ｌ’）と、その線分Ｌ’に最も距離が近いとされた線分Ｌｉの縁石確率Ｐ（Ｌｉ）との大小を判定する。ここで、Ｐ（Ｌｉ）＜ｗ*Ｐ（Ｌ’）であれば、ステップＳ３５で、Ｐ（Ｌｉ）がｗ*Ｐ（Ｌ’）に等しいとして縁石確率を更新する。一方、Ｐ（Ｌｉ）がｗ*Ｐ（Ｌ’）以上であれば、縁石確率の更新をしない。

ステップＳ３７では、縁石らしさを表す、線分Ｌｉの縁石確率Ｐ（Ｌｉ）が、所定の閾値よりも大きいか否かを判定する。続くステップＳ３９で、縁石確率Ｐ（Ｌｉ）が所定の閾値を超えた線分Ｌｉに、検出済みラベルを付与する。そして、ステップＳ４１で、縁石候補に付与した番号ｉをインクリメントして（ｉ＝ｉ＋１）、縁石候補を更新する。続くステップＳ４３において、ｉがｎ以下かどうか、すなわち、Ｌ１〜Ｌｎのすべての縁石候補について検出済みラベルを付与する処理が終了したか否かを判断する。

Ｌ１〜Ｌｎの全縁石候補について検出済みラベルの付与処理が終了していない場合、処理をステップＳ２９に戻して、検出済みラベルが付与されている線分の中から、候補番号ｉをインクリメントして更新された縁石候補（Ｌ１の次は、Ｌ２）に最も距離が近い候補を選ぶ。以下、上記と同様の処理を行い、Ｌ１〜Ｌｎのすべての縁石候補について、検出済みラベルを付与する処理が終了するまで繰り返す。

Ｌ１〜Ｌｎのすべての縁石候補についてのラベル付与処理が終了した場合、ステップＳ４５において、検出済みラベル未付与の縁石候補数ｎを更新する。そして、ステップＳ４７で、検出済みラベル未付与の縁石候補数ｎが減少しなくなったかどうかを判断し、ｎが減少し続けていれば、検出済みラベル未付与の縁石候補が依然として存在するとして、処理をステップＳ２５に戻し、検出済みラベル未付与の縁石候補数ｎが減少しなくなるまで、ステップＳ２５〜ステップＳ４５の処理を繰り返す。最終的に、検出済みラベル未付与の縁石候補数ｎが減少しなくなった場合、ステップＳ４９において検出済みの縁石を出力して、縁石検出処理を終了する。

図３に示す縁石検出処理が終了した後、図２のステップＳ１９において、上記処理により得られた縁石の位置情報を、出力部１９より、例えば、縁石の位置等をもとに自動走行する走行支援システム等、他のシステムに出力する。

以上説明したように、本実施形態に係る縁石検出装置では、自車両の周辺環境を撮影した画像から検出された線分を縁石候補とし、さらに、道路の特定の場所、例えば、交差点付近に存在する、上辺又は下辺に傾斜部を有する形状の縁石（傾斜縁石）を抽出する。そして、傾斜縁石と縁石候補の線分間の距離、及び傾斜縁石と縁石候補の線分のなす角度をもとに計算した縁石確率が所定値を超える候補を縁石として検出する。このように、特徴的な形状を有する傾斜縁石を手がかりとして、つまり、抽出した傾斜縁石を起点として、画像中において線分として表れる縁石候補の中から縁石を検出することで、本来的に特徴点が少なく、抽出しづらいとされる縁石を、遠方にある縁石を含めて高精度に検出できる。

また、単眼カメラで撮影した画像のみから縁石を検出するので装置構成が簡単になり、縁石検出のためのコストを低く抑えることができる。さらには、特徴点の少ない縁石の中で特徴的な形状を有する傾斜縁石を抽出し、それを起点として、縁石候補の中から縁石を検出するので、縁石検出結果の精度が向上する、という効果がある。

＜第２の実施形態＞
以下、本発明の第２の実施形態に係る縁石検出装置について説明する。図６は、第２の実施形態に係る縁石検出装置全体の構成を示すブロック図である。なお、図６において、図１に示す第１の実施形態に係る縁石検出装置と同一構成要素には同一の符号を付して、ここでは、それらの説明を省略する。

図６に示す第２の実施形態に係る縁石検出装置１１０の中央制御部１２０は、データバスＢを介して接続された、読み取り専用メモリ（ＲＯＭ）である記憶部２４ａに格納された、縁石の検出制御手順を示す縁石検出プログラム２４ｂに従って縁石の検出処理を実行する。また、記憶部２４ａに格納されたオペレーティングシステム（ＯＳ）等の基本プログラム等により、縁石検出装置１１０全体の制御を司る。

縁石検出装置１１０では、縁石候補抽出部１３と傾斜縁石抽出部１５のそれぞれに、撮像部１１で撮影した自車両周辺環境の画像と、走路情報蓄積部２５に蓄積された過去（例えば、１時刻前）の走路曲線（走路形状）情報とが入力される。また、走路曲線推定・遠方縁石検出部１８は、縁石検出部１７における縁石の検出結果（第１の実施形態を参照）を用いて、走路曲線のパラメータを推定し、さらに、走路曲線を外挿することで遠方の縁石位置を推定する。

すなわち、走路曲線推定・遠方縁石検出部１８には、縁石検出部１７より、上述した第１の実施形態と同様の縁石確率が付与された線分が入力され、走路曲線推定・遠方縁石検出部１８は、入力された線分上の点を所定間隔でサンプリングする。そして、サンプリングした点群を用いて、例えば、最小二乗法等の既知の技術により曲線モデルをフィッティングして、走路曲線のパラメータを推定する（つまり、走路形状を推定する）。このとき、上記点群の各点を縁石確率の値で重み付けして、より頑強な推定を行うようにしてもよい。

走路曲線として、例えば、下記の式（２）で表されるクロソイド曲線を曲線モデルとしてフィッティングする。

上記の式（２）では、自車両の座標（車両前後方向がｚ軸、車両左右方向がｙ軸）を基準としており、Ｃ_０は曲率、Ｃ_１は曲率の変化率、Ｃ_２はｙ軸方向のオフセット、θ_ｐは、ｚ＝０におけるｙｚ平面内での路面角度である。

上述した走路曲線のパラメータ推定に用いる線分は、検出済みラベルが付与された、縁石確率の高い線分のみを用いてもよいし、抽出されたすべての線分を用いてもよい。また、走路曲線としてクロソイド曲線を例に挙げたが、他の曲線モデルを用いてもよい。さらに、推定された走路曲線と、後述するように走路情報蓄積部２５に蓄積された１時刻前の走路曲線とを照合して、時間軸方向でフィルタリングを行って、精度を上げてもよい。ここでのフィルタリング方法として、例えば、カルマンフィルタ等の線形フィルタでもよいし、パーティクルフィルタ等の非線形に対応したフィルタでもよい。

次に、本実施形態に係る縁石検出装置における縁石検出の手順について説明する。図７は、本実施形態に係る縁石検出装置における縁石の検出手順を示すフローチャートである。なお、図７に示す縁石の検出手順において、図２に示す、第１の実施形態に係る縁石検出装置における縁石の検出手順と同一処理には同一の符号を付して、それらの説明を省略する。

中央制御部１２０は、図７のステップＳ１２ａにおいて、縁石候補抽出部１３における動作により、走路情報蓄積部２５に蓄積された１時刻前（ｔ−１）の走路曲線情報（走路曲線の推定結果）を、上記第１の実施形態において説明した走路形状に関する情報として使用し、その走路形状に関する情報と、撮像部１１で撮影した画像とを用いて直線状線分の探索範囲を限定する。また、ステップＳ１２ｂにおいて、傾斜縁石抽出部１５における動作により、１時刻前の走路曲線の周辺に、上記第１の実施形態において説明した所定サイズの探索ウインドウにより、撮像部１１で撮影した画像におけるスキャン（ラスタスキャン）範囲を限定する。

ステップＳ２１では、走路曲線推定・遠方縁石検出部１８における動作により、ステップＳ１７における縁石検出の結果を用いて、走路曲線、例えば、並行して走る２本の線分からなる走路形状を表す曲線のパラメータを推定するとともに、推定した曲線を外挿により延ばすことで、遠方にある縁石位置を推定する。なお、ステップＳ２１で得られた走路曲線情報は、ステップＳ２５で走路情報蓄積部２５に蓄積され、次の時刻で実行される縁石検出処理において１時刻前の走路曲線情報として使用される。

走路曲線のパラメータが得られれば、その走路曲線に沿った縁石の位置を求めることができる。そこで、中央制御部１２０は、ステップＳ２３において、上記の処理により得られた縁石の位置を縁石情報として出力部１９より出力する。さらに、走路曲線のパラメータを走路曲線情報として出力部１９より出力するようにしてもよい。

このように、本実施形態に係る縁石検出装置は、自車両の周辺環境を撮影した画像と、過去（１時刻前）の走路曲線に関する情報とに基づいて、画像から縁石候補と傾斜縁石を抽出し、抽出した傾斜縁石を起点として、画像中において線分として表れる縁石候補の中から縁石を検出する。そして、検出された縁石の情報を用いて走路曲線を推定し、さらに、推定した走路曲線を外挿する。こうすることで、縁石候補と傾斜縁石の探索範囲が限定されるため、縁石検出のための処理時間を短縮しながら、遠方の縁石位置をも高精度に推定することができる。

また、走路曲線としてクロソイド曲線を曲線モデルとし、このクロソイド曲線を含む周辺領域を探索範囲とすることで、縁石抽出のためのコストを下げることができる。

１０，１１０ 縁石検出装置
１１ 撮像部
１３ 縁石候補抽出部
１５ 傾斜縁石抽出部
１７ 縁石検出部
１８ 走路曲線推定・遠方縁石検出部
１９ 出力部
２０，１２０ 中央制御部
２３ａ，２４ａ 記憶部
２５ 走路情報蓄積部
３１，３５ 傾斜縁石

Claims (9)

1. 自車両周辺環境の画像を撮影する撮影手段と、
   前記撮影手段で撮影された画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段と、
   前記撮影手段で撮影された画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段と、
   前記所定縁石抽出手段で抽出された線分で表される所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段と、
   を備える縁石検出装置。
2. 自車両周辺環境の画像を撮影する撮影手段と、
   所定の縁石情報に基づいて推定された所定時刻前の自車両の走路曲線を走路曲線情報として蓄積する蓄積手段と、
   前記撮影手段で撮影された画像と、前記蓄積手段に蓄積された所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段と、
   前記撮影手段で撮影された画像と、前記蓄積手段に蓄積された所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段と、
   前記所定縁石抽出手段で抽出された所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段と、
   前記縁石検出手段で検出された縁石の情報を用いて走路曲線を推定するとともに、該推定した走路曲線を外挿した結果に基づいて、該検出された縁石より遠方にある縁石を検出する遠方縁石検出手段と、
   を備える縁石検出装置。
3. 前記縁石検出手段は、前記所定縁石抽出手段による所定形状の縁石の抽出結果に基づいて、前記縁石候補抽出手段で抽出された縁石候補に対して縁石らしさを示す確率を算出し、該確率が所定の閾値を超えた縁石候補を縁石として検出する
   請求項１又は請求項２に記載の縁石検出装置。
4. 前記縁石検出手段は、前記縁石候補抽出手段により抽出された縁石候補を表す線分のうち、前記所定形状の縁石を表す線分からの距離が近い線分を順に抽出し、該抽出された線分と該所定形状の縁石を表す線分との距離及び該線分のなす角度に基づいて前記確率を算出する
   請求項３に記載の縁石検出装置。
5. 前記所定形状の縁石は、上辺又は下辺が徐々に傾斜しながら一方端側において該上辺と該下辺とが交わる側面形状を有する
   請求項１又は請求項２に記載の縁石検出装置。
6. 前記所定形状の縁石は、上辺又は下辺が徐々に傾斜しながら一方端側において該上辺と該下辺とが交わる側面形状を有するとともに、所定の曲率で曲がっている
   請求項１又は請求項２に記載の縁石検出装置。
7. 前記所定時刻前の走路曲線の推定結果は、前記蓄積手段に蓄積された１時刻前の走路曲線の推定結果である
   請求項２に記載の縁石検出装置。
8. コンピュータを、
   撮影手段で撮影された自車両周辺環境の画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段、
   前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段、
   前記撮影手段で撮影された画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段、及び
   前記所定縁石抽出手段で抽出された線分で表される所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段
   として機能させるためのプログラム。
9. コンピュータを、
   撮影手段で撮影された自車両周辺環境の画像と、蓄積手段に蓄積された所定の縁石情報に基づいて推定された自車両の所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から縁石を含む可能性のある候補領域を抽出する候補領域抽出手段、
   前記候補領域抽出手段で抽出された候補領域から縁石候補を表す線分を抽出する縁石候補抽出手段、
   撮影手段で撮影された自車両周辺環境の画像と、蓄積手段に蓄積された所定の縁石情報に基づいて推定された自車両の所定時刻前の走路曲線の推定結果とに基づいて、該画像の中から上辺又は下辺が傾斜した所定形状の縁石を表す線分を抽出する所定縁石抽出手段、
   前記所定縁石抽出手段で抽出された所定形状の縁石を起点として、前記縁石候補抽出手段で抽出された縁石候補から縁石を検出する縁石検出手段、及び
   前記縁石検出手段で検出された縁石の情報を用いて走路曲線を推定し、該推定した走路曲線を外挿した結果に基づいて、該検出された縁石より遠方にある縁石を検出する遠方縁石検出手段
   として機能させるためのプログラム。