JP2014006588A - 路面境界推定装置及びプログラム - Google Patents

Abstract

【課題】高さの低い立体物や切れ間の多い立体物が存在する場合でも、路面境界を遠方まで精度良く推定する。
【解決手段】立体物領域抽出部２０が、観測データに基づいて立体物領域を抽出して立体物マップ５０を生成し、立体物境界推定部２２が、立体物マップ５０に基づいて、立体物領域の外縁を立体物と路面との境界を示す立体物境界として推定し、エッジ線分抽出部２４が、撮像画像から、消失点方向に連続して伸びるエッジ線分を抽出し、線分選択部２６が、抽出されたエッジ線分の各々を立体物マップ５０に投影し、立体物領域との距離が所定値以下のエッジ線分を、立体物の足元を通過するエッジ線分として選択し、路面境界推定部２８が、推定された立体物境界と選択されたエッジ線分とを統合して路面境界を推定する。
【選択図】図１

Description

本発明は、路面境界推定装置及びプログラムに関する。

従来、道路領域を撮像する２台以上のカメラを有する画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得し、３次元距離情報に基づいて道路領域に存在する立体物の高さを検出して道路境界を検出し、道路境界に相当する立体物の高さを検出できた第１の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、画像を変換して第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断し、同じであると判断した場合には、第２の道路領域を第１の道路領域に再設定する道路境界検出判断装置が提案されている（例えば、特許文献１参照）。

また、撮像部で撮像した自車両前方の画像から特徴点を抽出し、特徴点を表す画素の画像上の移動速度を算出し、移動速度を指標として画素をグループ化し、グループ内の上端と下端に位置する画素の座標を所定の範囲の俯瞰座標における座標に変換し、変換後の画素の座標に基づいて特徴点を平面物または立体物と判定し、下端点の画像上における配置に基づいて走路境界であるか否かを判定する走路境界検出装置が提案されている（例えば、特許文献２参照）。

また、車両の進行方向前側を撮像した画像に基づいて道路の道路領域を検出し、その道路領域に基づいて道路の形状を推定する道路形状認識装置が提案されている（例えば、特許文献３参照）。

特開２０１０−７２８０７号公報 特開２００７−３１６６８５号公報 特開２０１１−２８６５９号公報

しかしながら、特許文献１記載の技術では、立体物の検出結果に基づいて走路境界を決定しているが、縁石など高さの低い段差をステレオカメラにより得られる３次元距離情報のみで検出することは困難である。特に、カメラからの距離が遠い遠距離領域においては、３次元距離情報の誤差が大きくなるため、その誤差に埋もれて高さの低い立体物を検出することは容易ではなく、路面境界を遠方まで精度良く推定することは困難である、という問題がある。また、切れ間の多いガードレール、垣根、並木等による路面境界では、その切れ間の部分で路面境界の未検出が生じ易く、路面境界を精度良く推定することができない場合がある、という問題がある。

また、特許文献２記載の技術では、単眼カメラによるオプティカルフローを用いて立体物を検出しているが、上記特許文献１記載の技術と同様に、高さの低い立体物を検出することは容易ではなく、また、切れ間の多い立体物に対しても未検出が生じ易いため、上記と同様の問題が生じる。

また、特許文献３記載の技術では、画像の輝度や色の情報に基づいて道路領域を推定しているが、このような手法は、レーンマークを走路境界として検出する場合には適用可能であるが、立体物や段差などの物理的な路面境界を検出の対象とする場合には適用困難であり、逆に、レーンマークや影などが誤検出の要因となってしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、高さの低い立体物や切れ間の多い立体物が存在する場合でも、路面境界を遠方まで精度良く推定することができる路面境界推定装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の路面境界推定装置は、移動体周辺に存在する物体上の複数の点各々の前記移動体を基準とする３次元位置、及び前記移動体に搭載された撮像手段により該移動体周辺を撮像して得た画像を取得する取得手段と、前記取得手段により取得された３次元位置に基づいて、前記移動体周辺の立体物領域を抽出する立体物領域抽出手段と、前記取得手段により取得された画像からエッジ線分を抽出するエッジ線分抽出手段と、前記エッジ線分抽出手段により抽出されたエッジ線分から、前記立体物領域抽出手段により抽出された立体物領域との距離が所定値以下のエッジ線分を選択する線分選択手段と、前記線分選択手段により選択されたエッジ線分に基づいて、路面境界を推定する路面境界推定手段と、を含んで構成されている。

本発明の路面境界推定装置によれば、取得手段が、移動体周辺に存在する物体上の複数の点各々の移動体を基準とする３次元位置、及び移動体に搭載された撮像手段により該移動体周辺を撮像して得た画像を取得する。そして、立体物領域抽出手段が、取得手段により取得された３次元位置に基づいて、移動体周辺の立体物領域を抽出する。また、エッジ線分抽出手段が、取得手段により取得された画像からエッジ線分を抽出する。そして、線分選択手段が、エッジ線分抽出手段により抽出されたエッジ線分から、立体物領域抽出手段により抽出された立体物領域との距離が所定値以下のエッジ線分を選択し、路面境界推定手段が、線分選択手段により選択されたエッジ線分に基づいて、路面境界を推定する。

このように、画像から抽出されたエッジ線分から、立体物領域との距離が所定値以下のエッジ線分を選択して路面境界を推定するため、高さの低い立体物や切れ間の多い立体物が存在する場合でも、路面境界を遠方まで精度良く推定することができる。

また、前記路面境界推定手段は、前記立体物領域の外縁または下端が示す路面と立体物との境界点と、前記選択されたエッジ線分とを統合して、前記路面境界を推定することができる。これにより、エッジ線分が抽出されていない箇所、または立体物領域が抽出されていない箇所を互いに補間して、精度良く路面境界を推定することができる。

また、前記立体物領域抽出手段は、前記取得手段により時系列に取得された複数の３次元位置に基づいて、前記立体物領域を抽出することができる。これにより、より精度良く立体物領域を抽出することができる。

また、本発明の路面境界推定装置は、前記取得手段により取得された３次元位置に基づいて、前記移動体周辺の路面領域を抽出する路面領域抽出手段を含んで構成することができ、前記線分選択手段は、前記立体物領域及び前記路面領域の所定領域内に含まれるエッジ線分を除外することができる。これにより、より精度良く路面境界の候補となるエッジ線分を選択することができる。

また、前記路面領域抽出手段は、前記取得手段により時系列に取得された複数の３次元位置に基づいて、前記路面領域を抽出することができる。これにより、より精度良く路面領域を抽出することができる。

また、本発明の路面境界推定装置は、前記立体物領域に基づいて、前記移動体周辺の各点における路面らしさを示す路面確率を算出する路面確率算出手段を含んで構成することができ、前記路面境界推定手段は、前記路面確率算出手段により算出された路面確率と前記選択されたエッジ線分とを統合して、前記路面境界を推定することができる。これにより、より精度良く路面境界を推定することができる。

また、前記路面境界推定手段は、前記取得手段により取得された画像から得られるテクスチャ情報、前記画像の画素値の変化に基づく動的背景情報、及び路面構造に基づく制約の少なくとも１つを加えて、前記路面境界を推定することができる。このような路面境界の推定に有用な情報を用いることで、より精度良く路面境界を推定することができる。

また、前記線分選択手段は、前記移動体と前記エッジ線分に対応する位置との距離に応じて、前記所定値を変更することができる。これにより、より適切なエッジ線分を選択することができる。

また、前記線分選択手段は、前記立体物領域と前記エッジ線分との距離が近いほど高くなる評価値を算出し、該評価値と予め定めた閾値とを比較して、前記線分マップに蓄積するエッジ線分を選択することができる。また、前記線分選択手段は、前記移動体の移動方向ベクトルと前記エッジ線分との類似度が高いほど高くなる係数を乗算して前記評価値を算出することができる、また、前記線分選択手段は、路面構造に基づく境界線と前記エッジ線分との距離及び類似度の少なくとも一方に基づく重みを前記評価値に加えることができる。これらにより、路面境界を示すエッジ線分の候補として、より精度の高いエッジ線分を選択することができる。

また、前記線分選択手段は、選択したエッジ線分を、過去に選択されたエッジ線分を蓄積した線分マップに蓄積し、前記路面境界推定手段は、前記線分マップに基づいて、前記路面境界を推定することができる。このように、異なる時刻で取得された画像から抽出されたエッジ線分を蓄積していくことで、画像上でのエッジ線分の見え方の違いにより、エッジ線分の欠落を補完することができ、精度良く路面境界を推定することができる。

また、前記路面境界推定手段は、前記線分マップに蓄積されたエッジ線分を細線化することにより、前記路面境界を推定することができる。これにより、蓄積されたエッジ線分から最適な路面境界が抽出されるため、精度良く路面境界を推定することができる。

また、本発明の路面境界推定プログラムは、コンピュータを、上記の路面境界推定装置を構成する各手段として機能させるためのプログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の路面境界推定装置及びプログラムによれば、画像から抽出されたエッジ線分から、立体物領域との距離が所定値以下のエッジ線分を選択して路面境界を推定するため、高さの低い立体物や切れ間の多い立体物が存在する場合でも、路面境界を遠方まで精度良く推定することができる、という効果が得られる。

第１の実施の形態に係る路面境界推定装置を示すブロック図である。 （ａ）撮像画像、（ｂ）観測データを画像化した一例を示す図である。 観測データに基づく立体物領域の抽出方法を説明するための図である。 立体物マップの一例を示す図である。 エッジ線分の抽出結果の一例を示す図である。 立体物マップにエッジ線分を投影した一部の一例を示す図である。 エッジ線分の評価値算出を説明するための図である。 立体物境界と選択されたエッジ線分との統合を説明するための図である。 第１の実施の形態に係る路面境界推定装置における路面境界推定処理ルーチンの内容を示すフローチャートである。 路面境界の推定結果の一例を示す図である。 エッジ線分の選択の他の方法を説明するための図である。 第２の実施の形態に係る路面境界推定装置を示すブロック図である。 （ａ）立体物領域、及び（ｂ）路面領域の抽出結果を画像化した一例を示す図である。 走路モデルの適合に関する座標系を示す図である。 立体物境界と選択されたエッジ線分との統合の他の例を説明するための図である。 第２の実施の形態に係る路面境界推定装置における路面境界推定処理ルーチンの内容を示すフローチャートである。 第３の実施の形態に係る路面境界推定装置を示すブロック図である。 （ａ）線分マップ、及び（ｂ）（ａ）の線分マップから抽出された路面境界を示す線分の一例を示す図である。 第３の実施の形態に係る路面境界推定装置における路面境界推定処理ルーチンの内容を示すフローチャートである。 第４の実施の形態に係る路面境界推定装置を示すブロック図である。 路面確率マップの一例を示す図である。 距離に応じた重みを用いたエッジ線分の評価値算出を説明するための図である。 自車運動ベクトルとの類似性を用いたエッジ線分の評価値算出を説明するための図である。 第４の実施の形態に係る路面境界推定装置における路面境界推定処理ルーチンの内容を示すフローチャートである。 立体物境界と選択されたエッジ線分との統合の他の例を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、車両周辺の路面境界を推定する路面境界推定装置に、本発明を適用した場合を例に説明する。

＜第１の実施の形態＞

図１に示すように、第１の実施の形態に係る路面境界推定装置１０は、自車両周辺に存在する物体上の複数の点の自車両を基準とする３次元位置を観測するレーザレーダ１２と、自車両周辺を撮像して取得された画像の画像データを出力する撮像装置１４と、路面境界を推定する処理を実行するコンピュータ１６と、推定結果が表示される表示装置１８とを備えている。

なお、ここでの路面境界とは、路面と立体物との段差などにより自車両が物理的に走行不可能な領域と走行可能な領域との境界、及び路面に隣接した他の敷地（駐車場等）のように、通常の走行が想定されていないスペースと路面との境界を含む概念である。また、白線等で識別される法規的な走行境界は、本実施の形態における路面境界には含まない。

レーザレーダ１２は、車両前方に設置され、車両の車体前後方向を中心とした視野角で、装置を基準とする車両前方に存在する物体の各点における方位及び距離を観測する装置である。レーザレーダ１２は、例えば、出力する複数の走査ラインのレーザを水平方向に走査して、自車両前方に存在する物体表面上の複数の点で反射されたレーザ光を受光する。レーザ光を照射してから受光するまでの時間により、レーザ光の反射点までの距離を算出する。また、レーザ光を照射した方向も既知であるため、レーザ光の反射点の３次元位置を観測することができる。

レーザレーダ１２により観測される観測データは、自車両前方でのレーザ光の反射点の位置を表す３次元座標の集合である。レーザレーダ１２による観測処理は一定サイクルで実行され、レーザレーダ１２は、各時点での自車両前方におけるレーザ光の反射点の複数の３次元位置を示す観測データをコンピュータ１６に出力する。出力される観測データが示す各点の３次元位置は、レーザレーダ１２から各反射点までの距離及び方位で表される極座標であってもよいし、レーザレーダ１２を中心とする直交座標系上での３次元位置座標であってもよい。

撮像装置１４は、車両前方に設置され、車両の車体前後方向を中心とした視野角で、レーザレーダ１２と共通の観測領域において周辺環境を撮像し、撮像して得られた撮像画像を示す画像データをコンピュータ１６に出力する。撮像装置１４が出力する画像データは、カラー画像であってもよいし、モノクロ画像であってもよい。

なお、レーザレーダ１２と撮像装置１４とは、路面境界を推定したい範囲の視野角を有すればよく、センサの数や視野角は特に制限されない。さらに、レーザレーダ１２及び撮像装置１４の設置位置や角度は既知であるため、レーザレーダ１２で観測された物体の位置と、撮像装置１４で撮像された撮像画像内での物体の位置とは対応付けが可能である。なお、車両幅方向をＸ方向、垂直方向をＹ方向、車両前後方向をＺ方向とする。すなわちレーザレーダ１２で観測された観測データはＸＹＺ空間の３次元情報であり、撮像装置１４で撮像された画像データはＸＹ平面の情報であり、後述する立体物マップ５０等のグリッドマップはＸＺ平面の情報である。

図２（ａ）に撮像装置１４により撮像された撮像画像の一例を、同図（ｂ）に（ａ）の撮像画像と同領域を観測したレーザレーダ１２の観測データを画像化した一例を示す。

コンピュータ１６は、ＣＰＵ、後述する路面境界推定処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、レーザレーダ１２の観測データから自車両周辺の立体物領域を抽出する立体物領域抽出部２０と、立体物領域に基づいて立体物境界を推定する立体物境界推定部２２と、撮像装置１４により撮像された撮像画像からエッジ線分を抽出するエッジ線分抽出部２４と、立体物領域に基づいてエッジ線分を選択する線分選択部２６と、推定された立体物境界と選択されたエッジ線分とを統合して、路面境界を推定する路面境界推定部２８とを含んだ構成で表すことができる。

立体物領域抽出部２０は、レーザレーダ１２で観測された観測データを取得し、観測データから立体物を示す立体物領域を抽出する。具体的には、図３に示すように、路面平面を格子状に分割した２次元のＸＺ平面のグリッドマップ上に、レーザレーダ１２の観測データを、その観測データのＸＺ平面位置に対応するセルに投影する。そして、各セル内に投影された観測データ群の高さ方向の分散が所定の閾値以上となるセルを、立体物領域として抽出し、図４に示すような立体物マップ５０を生成する。図４に示す立体物マップ５０では、立体物領域を示すセルを黒、立体物領域ではないセル（高さ方向の分散が所定の閾値未満のセル）を白、及び観測データが得られていないセルをグレーで示している。

立体物境界推定部２２は、立体物領域抽出部２０により生成された立体物マップ５０に基づいて、立体物領域の外縁を立体物と路面との境界を示す立体物境界として推定する。

エッジ線分抽出部２４は、撮像装置１４から画像データを取得し、画像データが示す撮像画像に対して、既存のＳｏｂｅｌオペレータやＰｒｅｗｉｔｔオペレータを用いて、各画素のエッジ（輝度勾配の大きさと方向）を抽出する。そして、画像中の位置に応じて抽出するエッジ方向に制限をかけ、消失点方向に連続して伸びるエッジをエッジ線分として抽出する。これにより、垂直方向に伸びる立体物のエッジなどを除去することができる。図５に、撮像画像上で抽出されたエッジ線分の一例を示す。また、図５に示すように、撮像装置１４の俯角や車両のピッチ変動量に基づいて、画像の処理範囲（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を設定してもよい。

線分選択部２６は、エッジ線分抽出部２４で抽出されたエッジ線分の中から、路面境界を構成するエッジ線分の絞り込みを行う。ここでは、路面境界として、段差やバリアなどの物理的な境界を想定しているため、路面境界の候補として、立体物の近傍に存在するエッジ線分を選択する。具体的には、立体物領域抽出部２４で抽出されたＸＹ平面情報であるエッジ線分の各々を、ＸＺ平面情報である立体物マップ５０に投影する。図６に、立体物マップ５０にエッジ線分を投影した一部の一例を示す。立体物領域を示すセルを○印、エッジ線分が投影されたセル（以下、「エッジ線分のセル」という）を網掛けで示している。線分選択部２６は、立体物領域との距離が所定値以下のエッジ線分を選択する。図６の例では、中央線に相当するエッジ線分は立体物からの距離が遠いため、路面境界を示すエッジ線分の候補から除外される。

立体物領域とエッジ線分との距離の評価は、例えば、図７に示すように、エッジ線分の各セルについて、注目セルを中心としてＸの正負方向の近傍セル（ここでは、注目セル自体及び正負各２セル）が立体物領域を示すセルか否かに基づいて、下記（１）式に示す評価値を算出して行う。

ここで、Ｅｖａｌ_ｉはエッジ線分ｉの評価値、ｅｖａｌ_ｎはエッジ線分ｉのセルｎの評価値、ｍはエッジ線分ｉに含まれるセルの個数である。図７の例では、ｅｖａｌ_１＝０、ｅｖａｌ_２＝１、ｅｖａｌ_３＝１、ｅｖａｌ_４＝１、ｅｖａｌ_５＝０であるので、Ｅｅｖａｌ＝３となる。線分選択部２６は、このようにして算出されたエッジ線分の評価値Ｅｖａｌが閾値ｔｈｒより大きいエッジ線分を立体物の足元位置を通過するエッジ線分であると判定して選択する。閾値ｔｈｒは立体物領域とエッジ線分との距離が所定値以下となるような値を定めておく。なお、各セルの近傍セルは、注目セルの列上のみでなく、Ｚの正負方向も含めたマトリクス上に評価してもよい。

なお、撮像装置１４により撮像される撮像画像、及びレーザレーダ１２により観測される観測データは、装置から遠方領域になるほど解像度が粗くなるため、エッジ線分及び立体物領域の検出精度が劣化する。すなわち、立体物領域とエッジ線分との相対距離も、遠方領域ではその算出精度が劣化する。そこで、エッジ線分の選択条件（立体物領域との距離の閾値。例えば、上記の閾値ｔｈｒ）を、自車両とエッジ線分に対応する位置との距離に応じて変更するようにしてもよい。例えば、レーザレーダ１２で観測された距離に応じて変更したり、エッジ線分の画像中における垂直方向の位置に応じて変更したりすることができる。

また、線分選択部２６で選択されるエッジ線分は、必ずしも１つに絞り込む必要はない。立体物領域からの距離の他に、エッジの強度や長さ、傾きを考慮して複数の候補を残し、後述する路面境界推定部２８で路面境界を推定する際に、立体物境界との位置関係や、近傍から遠方までの連続性を加味して最適なエッジ線分を選択するようにしてもよい。

路面境界推定部２８は、立体物境界推定部２２で推定された立体物境界と、線分選択部２６で選択されたエッジ線分とを統合して、路面境界を推定する。統合の際、路面境界が近傍から遠方に向けて連続的に繋がるような拘束条件を設ける。具体的には、図８（ａ）に示すように、推定された立体物境界と選択されたエッジ線分とを、同一のＸＺ平面にマッピングする。次に、同図（ｂ）に示すように、自車両の進路の奥行き方向に向かって一定間隔に路面境界を構成するサポート点を抽出する。サポート点は立体物境界及びエッジ線分のうち、自車両の走行予定進路に近い方を選択する。最後に、同図（ｃ）に示すように、抽出したサポート点を通過するような線を路面境界として推定する。

なお、サポート点を抽出する間隔は一定とする場合に限定されず、各境界候補の種類（立体物境界またはエッジ線分）や自車両からの距離に応じてその間隔を変更してもよい。例えば、近傍領域ではエッジ線分や立体物境界の検出精度が良いので、サポート点を抽出する間隔を密にし、遠方領域では間隔を粗くすることができる。また、立体物境界及びエッジ線分のうち、自車両の走行予定進路に近い方を選択する場合に限定されず、立体物境界またはエッジ線分のいずれかを優先的に選択したり、サポート点候補が複数存在する場合には、それらの中央値や平均値等を選択したりしてもよい。

次に、第１の実施の形態に係る路面境界推定装置１０の作用について説明する。

まず、レーザレーダ１２によって、複数の走査ラインのレーザが自車両の前方を水平方向に走査されて、車両周辺の各反射点の３次元位置を特定する観測データが観測される。また、レーザレーダ１２の観測タイミングに同期して、撮像装置１４により車両周辺を撮像して得られた画像を示す画像データが出力される。そして、コンピュータ１６によって、図９に示す路面境界推定処理ルーチンが実行される。

ステップ１００で、レーザレーダ１２で観測された観測データ、及び撮像装置１４から出力された画像データを取得する。

次に、ステップ１０２で、立体物領域抽出部２０が、上記ステップ１００で取得した観測データを２次元のＸＺ平面のグリッドマップ上に投影し、各セル内に投影された観測データ群の高さ方向の分散が所定の閾値以上となるセルを立体物領域として抽出した立体物マップ５０を生成する。

次に、ステップ１０４で、立体物境界推定部２２が、上記ステップ１０２で生成された立体物マップ５０に基づいて、立体物領域の外縁を立体物と路面との境界を示す立体物境界として推定する。

次に、ステップ１０６で、エッジ線分抽出部２４が、上記ステップ１００で取得した撮像画像に処理範囲ＲＯＩを設定し、処理範囲ＲＯＩ内の画像から、消失点方向に連続して伸びるエッジ線分を抽出する。

次に、ステップ１０８で、線分選択部２６が、上記ステップ１０６で抽出されたＸＹ平面情報であるエッジ線分の各々を、上記ステップ１０２で生成されたＸＺ平面情報である立体物マップ５０に投影する。そして、立体物領域との距離が所定値以下のエッジ線分を、立体物の足元を通過するエッジ線分として選択する。

次に、ステップ１１０で、路面境界推定部２８が、上記ステップ１０４で推定された立体物境界と、上記ステップ１０８で選択されたエッジ線分とを同一のＸＺ平面にマッピングし、自車両の進路の奥行き方向に向かって一定間隔に路面境界を構成するサポート点を抽出し、サポート点を通過するような線を路面境界として推定する。

次に、ステップ１１２で、路面境界推定部２８は、上記ステップ１１０の推定結果を撮像画像に対応させたＸＹ平面に投影し、撮像画像に合成して表示装置１８に表示するように制御して、路面境界推定処理を終了する。

図１０に路面境界の推定結果の一例を示す。エッジ線分が抽出されていない領域は立体物境界（立体物領域の下端位置）を路面境界と推定しているため、推定結果はところどころ凹凸があるものの、物理的な路面境界が適切に推定できている。また、対向車線側では植込みが途切れている部分もあるが、エッジ線分を利用することで、立体物に切れ間が生じている領域でも不連続なく路面境界を推定できている。

以上説明したように、第１の実施の形態に係る路面境界推定装置１０によれば、レーザレーダの観測データに基づいて生成した立体物マップを用いて、立体物の足元を通過すると判定されたエッジ線分を選択し、このエッジ線分に基づいて路面境界を判定するため、高さの低い立体物や切れ間の多い立体物が存在する場合でも、路面境界を遠方まで精度良く推定することができる。

なお、第１の実施の形態では、立体物の足元を通過するエッジ線分か否かの選択を、立体物マップ上で行う場合について説明したが、この処理は、撮像画像上で行ってもよい。具体的には、まず、立体物領域抽出部２０で生成された立体物マップ５０において、立体物領域を示すセルを撮像画像上へ投影することで、図１１に示すように、撮像画像中における立体物領域を認識する。次に、立体物境界推定部２２で、撮像画像上で認識された立体物領域の下端に沿う点を立体物境界として推定する。そして、エッジ線分抽出部２４が、推定された立体物境界との距離が近いエッジ線分を選択するようにするとよい。

＜第２の実施の形態＞

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成については、同一符号を付して詳細な説明を省略する。

図１２に示すように、第２の実施の形態に係る路面境界推定装置２１０は、レーザレーダ１２と、撮像装置１４と、路面境界を推定する処理を実行するコンピュータ２１６と、表示装置１８とを備えている。このコンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１２に示すように、立体物領域抽出部２０と、レーザレーダ１２の観測データから自車両周辺の路面領域を抽出する路面領域抽出部２１と、立体物境界推定部２２と、エッジ線分抽出部２４と、立体物領域及び路面領域に基づいてエッジ線分を選択する線分選択部２２６と、推定された立体物境界と選択されたエッジ線分とを統合し、走路モデル５２を適合して路面境界を推定する路面境界推定部２２８とを含んだ構成で表すことができる。

路面領域抽出部２１は、レーザレーダ１２で観測された観測データを取得し、観測データから立体物を示す立体物領域を抽出する。具体的には、立体物領域抽出部２０と同様に、グリッドマップ上の各セル内に投影された観測データ群の高さ方向の分散が所定の閾値未満となるセルを、路面領域（フリースペース）として抽出する。自車両から見たある方向に立体物が検出された場合、その立体物と自車両との間には他に立体物が存在せず、フリースペースであると言える。そして、抽出した路面領域の情報と、立体物領域抽出部２０で抽出された立体物領域の情報とを統合した立体物マップ２５０を生成する。

立体物領域抽出部２０及び路面領域抽出部２１において、各タイムステップにおける観測から立体物領域と路面領域との分割が可能であるが、時系列に取得された複数の観測データに基づいて、観測間の自車運動を考慮して領域分割の結果を統合することにより、精度の高い立体物マップを生成することができる。例えば、観測データを投影する際に、前回タイムステップまでに生成された立体物マップ２５０から、自車運動を考慮して対応するセルを選択して投影する。そして、同セルに蓄積された過去の観測データと、今回投影した観測データとの値を総合的に判断して、そのセルが立体物領域であるか否か、または路面領域であるか否かを判定することができる。図１３（ａ）に、抽出した立体物領域、同図（ｂ）に抽出した路面領域を画像化した一例を示す。１回の観測データで生成した立体物マップよりも、複数回の観測データを用いて生成した立体物マップを用いて路面境界を推定することで、より推定精度を向上させることができる。

また、上記では、レーザレーダ１２の観測データの高さ情報を用いて路面領域を抽出する場合について説明したが、レーザ光のパルス形状や、受光したレーザ光の信号強度に基づいて、各反射点が路面反射点か否かを判定することにより、路面領域を抽出するようにしてもよい。また、各反射点の並び（連続性）により、路面反射点か否かを判定するようにしてもよい。例えば、一般的に路面は平面であるため、同一の走査ラインで観測される路面反射点は円弧状となる。従って、隣接する反射点間で３次元位置の高さ方向の変化量が小さく、かつ反射点を連結した場合に車両前方の進行方向を横切るような円弧を描く反射点を、路面反射点とし、この路面反射点を含む領域を路面領域として抽出することができる。

線分選択部２２６は、生成された立体物マップ２５０を用いて、エッジ線分を選択する。ガードレールの稜線を示すエッジ線分は、立体物領域に含まれるため容易に除外することができ、センターラインや路面標示などを示すエッジ線分は、路面領域に含まれるため容易に除外することができる。また、路肩の立体物に近い白線のエッジなども精度良く除外することができる。白線、アスファルト境界、側溝、縁石など、立体物に近い位置に候補となるエッジ線分が複数現れる場合でも、路面境界の候補となるエッジ線分を精度良く絞り込むことができる。このように立体物領域及び路面領域の所定領域内（例えば、各領域の外縁より所定距離分内側の領域）に存在するエッジ線分か否かによってエッジ線分を絞り込んだ上で、第１の実施の形態と同様に、立体物領域からの距離に基づいてエッジ線分を選択する。

路面境界推定部２２８は、第１の実施の形態と同様に、立体物境界推定部２２で推定された立体物境界と、線分選択部２２６で選択されたエッジ線分とを統合して路面境界を推定する。さらに、推定した路面境界に対して走路モデル５２を適合する。路面境界は連続的に繋がっており、時系列方向に変化することはないため、時系列の推定結果に対して走路モデル５２を適合することで推定結果の安定性と精度を改善する。ここでは、走路モデル５２として、下記（２）式に示す３次関数のクロソイド曲線を用い、抽出した左右のサポート点群と一致するようにパラメータを適合させて路面境界を推定する。

ここで、Ｃ_１、Ｃ_２、Ｃ_３はそれぞれヨー角、曲率、曲率変化率を意味するパラメータであり、ｄ_１、ｄ_２は左右の境界線に対するオフセットを表す。また、（２）式の座標系を図１４に示す。ただし、一般道では道路がクロソイド曲線に沿うという規格はないため、この他の曲線を予め走路モデル５２として定めておいてもよい。走路モデル５２は、車両周辺の路面構造に基づくものであればよく、地図情報を用いて、ＧＰＳ等で取得した自車両の位置に応じた走路モデル５２を持つようにしてもよい。さらに、上式では左右で同一の曲率やヨー角を想定しているが、左右別々のパラメータをフィッティングしてもよい。また、折れ線モデルのような不連続点を含む走路モデル５２を想定してもよい。

また、路面境界推定部２２８は、立体物境界と選択されたエッジ線分とを統合する際のサポート点の抽出を、自車両からの距離に応じて段階的に行うようにしてもよい。例えば図１５に示すように、自車両の前方領域を、近距離領域Ａ、中距離領域Ｂ、遠距離領域Ｃに分割する。そして最初に、近距離領域Ａからサポート点を抽出して走路モデル５２のパラメータを推定する。次に、推定したパラメータを用いて路面境界の候補となる境界線を引いて、中距離領域Ｂからはこの境界線に近いエッジ線分、または立体物境界からサポート点を抽出する。近距離領域Ａ及び中距離領域Ｂの各々で抽出されたサポート点を合わせて、再度、走路モデル５２のパラメータを推定する。同様の手順で遠距離領域Ｃからもサポート点を抽出し、最終的に推定されたパラメータにより得られる走路モデル５２が示す線分を路面境界として推定する。この手順では、信頼できる近傍のサポート点を手掛かりに遠方のサポート点の取捨選択をするため、誤差が大きくなる可能性が高い遠方のサポート点の影響を抑えて、路面境界の推定精度をより向上することができる。

次に、図１６を参照して、第２の実施の形態における路面境界推定処理ルーチンについて説明する。なお、第１の実施の形態における路面境界推定処理ルーチンと同様の処理については、同一符号を付して詳細な説明を省略する。

ステップ１００で、レーザレーダ１２で観測された観測データ、及び撮像装置１４から出力された画像データを取得する。

次に、ステップ２００で、立体物領域抽出部２０が、上記ステップ１００で取得した観測データに基づいて立体物領域を抽出すると共に、路面領域抽出部２１が、観測データに基づいて路面領域を抽出し、立体物マップ２５０を生成する。

次に、ステップ１０４で、立体物境界推定部２２が立体物境界を推定し、ステップ１０６で、エッジ線分抽出部２４が、撮像画像からエッジ線分を抽出する。

次に、ステップ２０２で、線分選択部２２６が、上記ステップ１０６で抽出されたエッジ線分の各々を、上記ステップ２００で生成された立体物マップ２５０に投影し、立体物領域及び路面領域の所定領域内のエッジ線分を除外する。そして、残ったエッジ線分のうち、立体物領域との距離が所定値以下のエッジ線分を、立体物の足元を通過するエッジ線分として選択する。

次に、ステップ２０４で、路面境界推定部２２８が、上記ステップ１０４で推定された立体物境界と、上記ステップ２０２で選択されたエッジ線分とを統合し、統合結果を走路モデル５２に適合させて、路面境界を推定し、次に、ステップ１１２で、推定結果を撮像画像に合成して表示装置１８に表示するように制御して、路面境界推定処理を終了する。

以上説明したように、第２の実施の形態に係る路面境界推定装置１０によれば、立体物マップを生成する際に路面領域も抽出することで、より精度良く立体物の足元を通過するエッジ線分を選択することができ、路面境界の推定精度も向上する。また、立体物領域及び路面領域を抽出する際に、過去に取得された複数の観測データも用いることで、より精度良く立体物領域及び路面領域を抽出することができる。また、走路モデルに適合させて路面境界を推定することで、より精度良く滑らかな路面境界を推定することができる。

＜第３の実施の形態＞

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成については、同一符号を付して詳細な説明を省略する。

図１７に示すように、第３の実施の形態に係る路面境界推定装置３１０は、レーザレーダ１２と、撮像装置１４と、路面境界を推定する処理を実行するコンピュータ３１６と、表示装置１８とを備えている。このコンピュータ３１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１７に示すように、立体物領域抽出部２０と、エッジ線分抽出部２４と、立体物マップ５０に基づいてエッジ線分を選択して線分マップ５４に蓄積する線分選択部３２６と、線分マップに基づいて路面境界を推定する路面境界推定部３２８とを含んだ構成で表すことができる。

線分選択部３２６は、第１の実施の形態と同様に、エッジ線分抽出部２４により抽出されたエッジ線分から、立体物領域との距離が所定値以下のエッジ線分を選択する。そして、選択したエッジ線分を線分マップ５４に投影及び蓄積する。線分マップ５４は、立体物マップ５０と同様に、路面平面を格子状に区切った２次元のＸＺ平面のグリッドマップである。線分選択部３２６は、選択したエッジ線分を線分マップ５４の対応するセルに投影する。投影する際には、所定の占有値（例えば、０．１や０．４）を付与し、前回タイムステップまでに蓄積された各セルの占有値に加算して蓄積する。

路面境界推定部３２８は、線分マップ５４において、占有値がピークのセルを取り上げて、路面境界として推定する。占有値がピークのセルを取り上げて推定される線分とは、線分マップ５４のＸ方向の列毎に占有値が最大となるセルを選択してＺ方向に連接した線分である。図１８（ａ）に線分マップ５４の一例、同図（ｂ）に（ａ）の線分マップ５４から抽出された路面境界の一例を示す。また、路面境界推定部３２８は、抽出した路面境界を撮像画像に対応させたＸＹ平面に投影し、撮像画像に合成して表示装置１８に表示するように制御する。

次に、図１９を参照して、第３の実施の形態における路面境界推定処理ルーチンについて説明する。なお、第１の実施の形態における路面境界推定処理ルーチンと同様の処理については、同一符号を付して詳細な説明を省略する。

ステップ１００〜１０８を経て、路面境界の候補となるエッジ線分を選択する。次に、ステップ３００で、線分選択部３２６が、上記ステップ１０８で選択されたエッジ線分を線分マップ５４の対応するセルに投影し、所定の占有値（例えば、０．１や０．４）を付与し、前回タイムステップまでに蓄積された各セルの占有値に加算して蓄積する。

次に、ステップ３０２で、路面境界推定部３２８が、線分マップ５４の占有値がピークのセルを取り上げて抽出した線分を路面境界として推定し、次に、ステップ１１２で、推定結果を撮像画像に合成して表示装置１８に表示するように制御して、路面境界推定処理を終了する。本ルーチンをタイムステップ毎に繰り返すことで、立体物マップ５０を用いて選択されたエッジ線分が線分マップ５４に順次蓄積される。

以上説明したように、第３の実施の形態に係る路面境界推定装置３１０によれば、立体物マップ５０を用いて立体物の足元を通過すると判定されたエッジ線分が線分マップ５４に蓄積され、この線分マップ５４に基づいて路面境界を判定するため、逐次的な処理で発生するエッジ線分の欠落が補完され、より精度良く路面境界を推定することができる。また、エッジ線分を蓄積していくことで、同一箇所のエッジ線分であっても異なる時刻に撮像された撮像画像上では見え方が異なるため、立体物の切れ間や路面と隣接する他のスペースとの境界なども、いずれかの時刻において一部に立体物と近接する箇所を有する線分として抽出される可能性が高くなり、適切な路面境界を推定することができる。

なお、上記では、線分マップ５４の占有値がピークのセルを取り上げて路面境界を抽出することで、線分マップ５４に蓄積されたエッジ線分の情報を細線化する場合について説明したがこれに限定されない。例えば、線分マップ５４に蓄積されたエッジ線分を最小二乗近似によりフィッティングすることにより細線化して、路面境界を抽出するようにしてもよい。また、第２の実施の形態のように、走路モデル５２とフィッティングすることにより、線分マップ５４から路面境界を推定するようにしてもよい。

＜第４の実施の形態＞

次に、第４の実施の形態について説明する。なお、第１及び第３の実施の形態と同様の構成については、同一符号を付して詳細な説明を省略する。

図２０に示すように、第４の実施の形態に係る路面境界推定装置４１０は、レーザレーダ１２と、撮像装置１４と、路面境界を推定する処理を実行するコンピュータ４１６と、表示装置１８とを備えている。このコンピュータ４１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図２０に示すように、立体物領域抽出部４２０と、エッジ線分抽出部２４と、立体物マップ４５０に基づいてエッジ線分を選択して線分マップ５４に蓄積する線分選択部４２６と、立体物マップ４５０に基づいて路面確率マップ５６を算出する路面確率算出部３２と、線分マップ５４と路面確率マップ５６とに基づいて路面境界を推定する路面境界推定部４２８とを含んだ構成で表すことができる。

立体物領域抽出部４２０は、第１の実施の形態に係る立体物領域抽出部２０と同様に、レーザレーダ１２の観測データを立体物マップ４５０に投影及び蓄積する。第４の実施の形態に係る立体物領域抽出部４２０では、観測データを立体物マップ４５０に投影する際に、所定の占有値（例えば、０．１や０．４）を付与し、前回タイムステップまでに蓄積された各セルの占有値に加算して蓄積する。また、立体物マップ４５０の各セルに、そのセルに投影された観測データの高さ情報を保持させる。

路面確率算出部３２は、立体物領域抽出部４２０で生成された立体物マップ４５０の各セルが保持する高さ情報及び占有値に基づいて、自車両周辺の各点における路面らしさを示す路面確率を算出する。また、立体物マップ４５０と同様の仕様のグリッドマップの各セルに算出した路面確率を格納して路面確率マップ５６を生成する。路面確率マップ５６を画像化した一例を図２１に示す。図２１の例では、路面確率が高い箇所ほど濃い色で表現している。

線分選択部４２６は、第３の実施の形態に係る線分選択部３２６と同様に、立体物領域抽出部２４で抽出されたＸＹ平面情報であるエッジ線分の各々を、ＸＺ平面情報である立体物マップ４５０に投影し、各エッジ線分の評価値Ｅｖａｌ_ｉを算出する。第４の実施の形態の線分選択部４２６では、この評価値Ｅｖａｌ_ｉを算出する際に、エッジ線分の各セルと立体物領域を示すセルとの距離に応じた重み係数ｗを乗算する。

例えば、図２２に示すように、注目セルの重み係数をｗ_０、注目セルからの距離が１のセルの重み係数をｗ_１、注目セルからの距離が２のセルの重み係数をｗ_２とし、ｗ_０＝１．０、ｗ_１＝０．９、ｗ_２＝０．８のように定めることができる。一例として、立体物領域を示すセルとエッジ線分のセルとが図７に示すような位置関係の場合には、ｅｖａｌ_１-＝０、ｅｖａｌ_２×ｗ_１＝０．９、ｅｖａｌ_３×ｗ_２＝０．８、ｅｖａｌ_４×ｗ_１＝０．９、ｅｖａｌ_５＝０であるので、Ｅｅｖａｌ＝２．６となる。なお、重み係数は、注目セルと立体物領域を示すセルとが近いほど大きくなる値であればよく、例えば、ガウス分布などに基づいて定めてもよい。

また、線分選択部４２６は、エッジ線分と自車運動のベクトル方向とエッジ線分との類似性を重みとして乗算した評価値Ｅｖａｌ_ｉを算出する。類似性は、例えば、図２３に示すように、自車運動のベクトルとエッジ線分とのなす角をθとした場合のｃｏｓθ（−π／２≦θ≦π／２）とすることができる。なお、自車運動のベクトルは、車両に搭載された図示しない速度センサやヨーレートセンサ等のセンサ値を取得して得ることができる。

距離に応じた重み係数ｗ、及び自車運動ベクトルとの類似度ｃｏｓθを加えた評価値Ｅｖａｌ_ｉの算出式の一例を下記（３）式に示す。

また、線分選択部４２６は、クロソイド曲線等の走路モデルにより推定される境界線分に対して、エッジ線分との距離に応じた重み係数や自車運動ベクトルとの類似度を考慮した重みを評価値に加えてもよい。

路面境界推定部４２８は、線分マップ５４、路面確率マップ５６、及びその他の情報を統合して、動的計画法などにより路面境界を推定する。その他の情報としては、撮像画像のフレーム間における各画素の輝度値の変化をモザイクイメージ化した動的背景情報や、撮像画像から得られるテクスチャ情報等を用いることができる。これらの情報は、撮像画像上で路面領域と路面以外の領域とを識別するために有用な情報である。また、クロソイド曲線等の走路モデルによる制約を用いてもよい。例えば、線分マップ５４、路面確率マップ５６等を統合して路面境界の確からしさが所定値以上の線分を抽出し、抽出された線分のうち、道路構造モデルとの一致度が最も高い線分を最終的な路面境界として推定することができる。

次に、図２４を参照して、第４の実施の形態における路面境界推定処理ルーチンについて説明する。なお、第１及び第３の実施の形態における路面境界推定処理ルーチンと同様の処理については、同一符号を付して詳細な説明を省略する。

ステップ１００〜１０８、及び３００を経て、立体物マップ４５０及び線分マップ５４を蓄積する。なお、ステップ１０２では、立体物領域抽出部４２０が、各セルにレーザレーダ１２の観測値の高さ情報及び所定の占有値を保持させた立体物マップ４５０を生成する。また、ステップ１０８では、線分選択部４２６が、例えば（２）式により、立体物領域とエッジ線分との距離に応じた重み、及び自車運動ベクトルとエッジ線分との類似度を加味した評価値を算出して、エッジ線分を選択する。

次に、ステップ４００で、路面確率算出部３２が、上記ステップ１０２で生成された立体物マップ４５０の各セルが保持する高さ情報及び占有値に基づいて算出された路面確率を各セルに格納した路面確率マップ５６を生成する。

次に、ステップ４０２で、路面境界推定部４２８が、線分マップ５４、路面確率マップ５６、及びその他の情報を統合して、動的計画法などにより路面境界を推定し、次に、ステップ１１２で、推定結果を撮像画像に合成して表示装置１８に表示するように制御して、路面境界推定処理を終了する。

以上説明したように、第４の実施の形態に係る路面境界推定装置４１０によれば、立体物領域とエッジ線分との距離に応じた重み、及び自車運動ベクトルとエッジ線分との類似度を加味したエッジ線分を選択して蓄積するため、より精度の高い線分マップ５４を生成することができる。また、線分マップ５４に加え、路面確率マップ５６、動的背景情報、テクスチャ情報、道路構造モデルによる制約等の路面境界推定に有用な情報を統合して路面境界を推定するため、より精度良く路面境界を推定することができる。

なお、動的背景情報、テクスチャ情報、走路モデルによる制約等の情報は全て用いる必要はなく、いずれか１つまたは２つを選択して用いてもよい。また、その他の情報をさらに加えて用いてもよい。

また、第１及び第２の実施の形態においても、第４の実施の形態で述べたような評価値を用いてエッジ線分を選択するようにしてもよい。

また、第３及び第４の実施の形態においても、第１及び第２の実施の形態と同様に、立体物境界を推定し、立体物境界と線分マップとを統合して路面境界を推定するようにしてもよい。

さらに、立体物境界と選択されたエッジ線分との統合方法は、上記で説明したようなサポート点を抽出する方法に限定されない。例えば、図２５（ａ）に示すように、推定された立体物境界と選択されたエッジ線分とを、同一のＸＺ平面にマッピングした尤度マップを生成する。ここで、尤度とは、任意の位置（ｘ，ｚ）における路面境界らしさを表す指標である。同図（ｂ）に示すように、抽出された立体物境界やエッジ線分の位置で尤度が大きく、そこから離れるにしがたって尤度が小さくなるように尤度マップを生成する。なお、同図（ｂ）では、色の濃い領域ほど路面境界らしさを表す尤度が高い領域であることを示している。また、どのくらいの距離でどの程度尤度が低下するかは尤度マップ生成時のパラメータであり実験的に決定するが、自車両からの距離や境界候補の種類に応じて変更するようにしてもよい。例えば、近距離領域では境界候補からの距離が離れるに従って急激に尤度が低下するようにし設定し、遠方領域では緩やかに低下するようにする設定することができる。また、尤度マップを２次元平面内の尤度分布を表すマップとして生成してもよいし、自車両前方の一定距離間隔毎に進路に直行する方向の尤度変化のみを生成するようにしてもよい。

そして、同図（ｃ）に示すように、走路モデルのパラメータ（例えば、（２）式のパラメータＣ_１、Ｃ_２、Ｃ_３、ｄ_１、ｄ_２）を様々に変えて路面境界を示す線分を生成し、生成した線分に沿って尤度を累積した値を評価値として算出し、評価値が最も高くなった線分を最終的な路面境界として決定する。同図（ｃ）は折れ線モデルのパラメータを適合した場合の模式図である。最終的な路面境界は、図示されるように尤度が高い場所を（可能な限り）通過することになる。

また、上記実施の形態では、レーザレーダにより車両周辺から複数の反射点の位置を特定する情報を観測する場合について説明したが、これに限定されるものではなく、ミリ波などの電磁波を用いてもよい。また、例えば、ステレオカメラによって撮像された画像を用いて、後処理により車両周辺の複数の点の位置を特定する情報を演算するようにしてもよい。

また、上記実施の形態では、推定結果を撮像画像に合成して表示装置に表示する場合について説明したが、グリッドマップ上に路面境界を点座標で表示するようにしてもよい。また、路面境界は車両が逸脱してはいけない範囲を示すものであるため、車両が逸脱しそうな場合にドライバに注意喚起するシステムや、自動的にステアリング操作して路面境界から離れるように制御するシステム等の入力として、路面境界の推定結果を利用するようにしてもよい。

また、上記では、移動体を車両とした場合について説明したが、これに限定されず、ロボット等の他の移動体にも適用可能である。

また、上記では、本発明の路面境界推定装置を車両に搭載した例について説明したが、路面境界推定装置を構成するコンピュータを外部サーバとして構成することもできる。この場合、車両で取得された撮像画像及びレーザレーダの観測データを通信手段により外部サーバへ送信し、外部サーバで処理された路面境界の推定結果を車両に搭載された情報端末に返すようにすればよい。

１０、２１０、３１０、４１０ 路面境界推定装置
１２ レーザレーダ
１４ 撮像装置
１６、２１６、３１６、４１６ コンピュータ
１８ 表示装置
２０、４２０ 立体物領域抽出部
２１ 路面領域抽出部
２２ 立体物境界推定部
２４ エッジ線分抽出部
２６、２２６、３２６、４２６ 線分選択部
２８、２２８、３２８、４２８ 路面境界推定部
３２ 路面確率算出部
５０、２５０、４５０ 立体物マップ
５２ 走路モデル
５４ 線分マップ
５６ 路面確率マップ

Claims (14)

1. 移動体周辺に存在する物体上の複数の点各々の前記移動体を基準とする３次元位置、及び前記移動体に搭載された撮像手段により該移動体周辺を撮像して得た画像を取得する取得手段と、
   前記取得手段により取得された３次元位置に基づいて、前記移動体周辺の立体物領域を抽出する立体物領域抽出手段と、
   前記取得手段により取得された画像からエッジ線分を抽出するエッジ線分抽出手段と、
   前記エッジ線分抽出手段により抽出されたエッジ線分から、前記立体物領域抽出手段により抽出された立体物領域との距離が所定値以下のエッジ線分を選択する線分選択手段と、
   前記線分選択手段により選択されたエッジ線分に基づいて、路面境界を推定する路面境界推定手段と、
   を含む路面境界推定装置。
2. 前記路面境界推定手段は、前記立体物領域の外縁または下端が示す路面と立体物との境界点と、前記選択されたエッジ線分とを統合して、前記路面境界を推定する請求項１記載の路面境界推定装置。
3. 前記立体物領域抽出手段は、前記取得手段により時系列に取得された複数の３次元位置に基づいて、前記立体物領域を抽出する請求項１または請求項２記載の路面境界推定装置。
4. 前記取得手段により取得された３次元位置に基づいて、前記移動体周辺の路面領域を抽出する路面領域抽出手段を含み、
   前記線分選択手段は、前記立体物領域及び前記路面領域の所定領域内に含まれるエッジ線分を除外する
   請求項１〜請求項３のいずれか１項記載の路面境界推定装置。
5. 前記路面領域抽出手段は、前記取得手段により時系列に取得された複数の３次元位置に基づいて、前記路面領域を抽出する請求項４記載の路面境界推定装置。
6. 前記立体物領域に基づいて、前記移動体周辺の各点における路面らしさを示す路面確率を算出する路面確率算出手段を含み、
   前記路面境界推定手段は、前記路面確率算出手段により算出された路面確率と前記選択されたエッジ線分とを統合して、前記路面境界を推定する
   請求項１〜請求項５のいずれか１項記載の路面境界推定装置。
7. 前記路面境界推定手段は、前記取得手段により取得された画像から得られるテクスチャ情報、前記画像の画素値の変化に基づく動的背景情報、及び路面構造に基づく制約の少なくとも１つを加えて、前記路面境界を推定する請求項１〜請求項６のいずれか１項記載の路面境界推定装置。
8. 前記線分選択手段は、前記移動体と前記エッジ線分に対応する位置との距離に応じて、前記所定値を変更する請求項１〜請求項７のいずれか１項記載の路面境界推定装置。
9. 前記線分選択手段は、前記立体物領域と前記エッジ線分との距離が近いほど高くなる評価値を算出し、該評価値と予め定めた閾値とを比較して、前記線分マップに蓄積するエッジ線分を選択する請求項１〜請求項８のいずれか１項記載の路面境界推定装置。
10. 前記線分選択手段は、前記移動体の移動方向ベクトルと前記エッジ線分との類似度が高いほど高くなる係数を乗算して前記評価値を算出する請求項９記載の路面境界推定装置。
11. 前記線分選択手段は、路面構造に基づく境界線と前記エッジ線分との距離及び類似度の少なくとも一方に基づく重みを前記評価値に加える請求項９または請求項１０記載の路面境界推定装置。
12. 前記線分選択手段は、選択したエッジ線分を、過去に選択されたエッジ線分を蓄積した線分マップに蓄積し、
    前記路面境界推定手段は、前記線分マップに基づいて、前記路面境界を推定する
    請求項１〜請求項１１のいずれか１項記載の路面境界推定装置。
13. 前記路面境界推定手段は、前記線分マップに蓄積されたエッジ線分を細線化することにより、前記路面境界を推定する請求項１２記載の路面境界推定装置。
14. コンピュータを、請求項１〜請求項１３のいずれか１項記載の路面境界推定装置を構成する各手段として機能させるための路面境界推定プログラム。