JP2007183432A - 自動走行用マップ作成装置、及び自動走行装置。 - Google Patents

Abstract

【課題】 誤差が少ないマップデータを作成する。
【解決手段】 自動走行用マップ作成装置１は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶部３４と、計測機器を搭載した車両が道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合部３０と、を備えている。
【選択図】 図１

Description

本発明は、自動走行に利用されるマップを作成するための装置、及び自動走行装置に関する。

特許文献１，２には、計測装置を搭載した車両が実際に道路を走行することで、道路マップデータを作成する方法が記載されている。この方法では、道路の白線や端を検出し、そこまでの距離の計測値を記録して、道路マップデータを作成する。また、ビデオカメラで撮影した景観を重ね合わせて記録することも行われている。
特開２０００−３３８８６５号公報 特開２００３−３２９４４９号公報 特開２００２−９８７５８号公報

しかしながら、従来技術に係るマップデータの作成では、作成されたマップデータにＧＰＳ誤差やセンサ誤差などが含まれてしまう。また、従来技術に係るマップデータの作成では、道路に沿って駐車車両などの障害物が一時的に存在する場合に、その障害物を避けるために計測車両は迂回するため、障害物がある位置で採取されたマップデータには大きな誤差が含まれてしまう。上述したようにマップデータに大きな誤差が含まれてしまい、正確なマップデータを作成できない場合がある、という問題がある。

そこで、本発明の目的は、誤差が少ないマップデータを作成することができるマップ作成装置を提供することである。

また、本発明の他の目的は、精度よく自動走行を行うことができる自動走行装置を提供することである。

上述した目的を達成するために、本発明に係る自動走行用マップ作成装置は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、を備えたことを特徴とする。

この構成によれば、計測対象の位置データは、計測機器を搭載した車両が道路を走行するごとに得られている。そして、マップにおいて計測対象の位置データに対応する小領域には、計測対象の存在を示す重みが加算されている。よって、マップには、計測機器を搭載した車両が複数回走行することによる重みが反映されているため、このマップを利用することで計測機器による誤差や車両が障害物を回避することにより生じる誤差などを抑制したマップデータを作成することができる。

上述した自動走行用マップ作成装置において、同一道路情報結合手段は、マップの多数の小領域に対応付けられた重みに基づいて、計測対象の位置を特定することが好ましい。この構成によれば、マップの多数の小領域に対応する重みに基づいて、計測対象の位置を特定するため、計測対象の位置誤差を少なくすることができる。

また、上述した自動走行用マップ作成装置において、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることが好ましい。この構成によれば、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有しているため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。

また、上述した自動走行用マップ作成装置において、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることが好ましい。この構成によれば、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であるため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。

また、上述した自動走行用マップ作成装置において、計測対象は、車両の走行軌跡であることが好ましい。この構成によれば、車両の走行軌跡について誤差が少ないマップデータを作成することができる。

また、上述した自動走行用マップ作成装置において、計測対象は、道路構成物であることが好ましい。この構成によれば、道路構成物について誤差が少ないマップデータを作成することができる。ここで、道路構成物とは、道路に沿って一般的に存在する物であり、白線、縁石、側溝、ガードレールなどである。

上述した目的を達成するために、本発明に係る自動走行装置は、車両の位置を計測する位置検出手段と、車両周辺を撮影して、画像データを生成する撮像手段と、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して道路構成物の位置を算出する位置算出手段と、位置算出手段により算出された道路構成物の位置に基づいて、位置検出手段により計測された車両位置を補正する自車位置補正手段と、補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、を備えることを特徴とする。

この構成によれば、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲が設定されるため、探索範囲は小さく且つ道路構成物を確実に含む。よって、このような探索範囲を処理して道路構成物の位置を算出することにより、道路構成物の位置の算出を迅速に行うことができ、また、道路構成物の誤検出を防止することができる。そして、算出された道路構成物の位置に基づいて、位置検出手段を利用して計測された車両位置が補正されるため、精度よく自動走行を行うことができる。

上述した自動走行装置において、道路構成物の位置誤差は、ステレオ視による位置誤差、ＧＰＳ電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも１つを含むことが好ましい。

上述した自動走行装置において、自車位置補正手段は、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、位置検出手段により計測された車両位置を補正し、位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、位置検出手段により計測された車両位置の補正を禁止することが好ましい。この構成によれば、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合にのみ、位置検出手段により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。

また、上述した自動走行装置において、撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、位置算出手段は、上側画像データ及び下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することが好ましい。この構成によれば、上側画像データ及び下側画像データから抽出された横方向エッジに基づいて、道路構成物又は障害物の位置を好適に算出することができる。

また、上述した自動走行装置において、位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することが好ましい。この構成によれば、道路構成物又は障害物の種別によって横方向エッジの位置が異なることを利用して、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することができる。

また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することが好ましい。この構成によれば、横方向エッジ間の領域の位置を利用することにより、より正確に道路構成物の種別を判定することができる。

また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。

また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。

また、上述した自動走行装置において、撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、位置算出手段は、複数の画像データのうち撮影された領域が一部で重複している２つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することが好ましい。この構成によれば、ステレオ視されない領域における道路構成物の位置を好適に推定することができる。

本発明によれば、誤差が少ないマップデータを作成することができる。また、本発明によれば、精度よく自動走行を行うことができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。

［自動走行用マップ作成装置］
初めに、車両が自動走行時に用いるマップを作成するための自動走行用マップ作成装置の好適な実施形態について説明する。図１に示されるように、自動走行用マップ作成装置１は、撮像装置（撮像手段）１０と、データ処理装置１２と、車両の位置・方位・姿勢を検出する検出部１４とで構成される。データ処理装置１２は、物理的にはＣＰＵ，ＲＡＭ，ＲＯＭ等を含んで構成されており、機能的には、画像データ取込部１６と、道路構成物認識部１８と、位置算出部２０と、最大誤差算出部２２と、計測情報書き込み部２４と、計測情報記憶部２６と、同一道路情報抽出部２８と、同一道路情報結合部３０と、マップデータ書き込み部３２と、マップデータベース３４とを含んで構成されている。

撮像装置１０は、車両の周辺の道路を撮影して画像データを生成するものであり、本実施形態では２つのＣＣＤカメラで構成される。２つのＣＣＤカメラは、同じ方向に向けられており、互いに少し離れている。２つのＣＣＤカメラが同時に撮影を行うことにより、車両周辺をステレオ視した２つの画像データが生成される。ここで、各ＣＣＤカメラにより生成される画像データは、複数の画素データを有するデータであって、夫々の画素データとして輝度データ及び色データを有するデータである。

なお、撮像装置１０は、１つのＣＣＤカメラを用いて、車両周辺をステレオ視した２つの画像データを生成するように構成こともできる。この構成については、後に詳述する。また、撮像装置１０は、１つのＣＣＤカメラを用いて、モーションステレオ法により車両周辺をステレオ視した２つの画像データを生成してもよい。また、撮像装置１０は、２つのミリ波レーダー、レーザレーダーなどで構成されてもよい。撮像装置にレーダーを用いた場合には、レーダーにより生成される画像データは、夫々の画素データとして、自車から被検知物までの距離データを有するものである。

車両位置・方位・姿勢検出部１４は、車両に取り付けられた複数種類のセンサで構成されている。（１）車両の位置を検出する手段として、ＧＰＳ（Global Positioning System）装置が用いられている。ＧＰＳ装置は、衛星からの信号を処理することで、後述する世界平面直角座標系における車両の位置を検出する。（２）車両の方位（進行方向）を検出する手段として、横加速度センサおよび操舵角センサが用いられている。横加速度センサは、車両の横方向に作用する加速度を検出する。操舵角センサは、ドライバにより操舵されたハンドルの角度を検出する。（３）車両の姿勢を検出する手段として、ロールセンサ、ピッチセンサ、ヨーセンサおよび車高センサが用いられている。ロールセンサは車両のロール角を検出し、ピッチセンサは車両のピッチ角を検出し、ヨーセンサは車両のヨー角を検出する。車高センサは、路面を基準とした車体の高さを検出する。

データ処理装置１２において、画像データ取込部１６は、撮像装置１０により生成された２つの画像データをデータ処理装置１２内に取り込む処理を行う。道路構成物認識部１８は、２つの画像データのそれぞれについて、白線、縁石、側溝、ガードレールなどの道路構成物を認識する処理を行う。具体的には、道路構成物認識部１８は、画像データに対して、（１）Ｓｏｂｅｌフィルタ、Ｃａｎｎｙフィルタなどを用いたエッジ抽出処理、（２）ハフ変換、最小自乗法などを用いた線分検出処理、（３）差分総和、正規化相関、ニューラルネットを用いたパターンマッチング処理などを行うことで、画像内にある道路構成物を認識する。

位置算出部２０は、２つの画像データにおける道路構成物の画素位置に基づいて、３次元座標系において道路構成物が存在する位置を算出する処理を行う。３次元座標系における道路構成物の位置の算出方法の概要を、図２を参照して説明する。図２には、左右のＣＣＤカメラにより道路構成物を撮影する状況が示されている。左右のＣＣＤカメラの光学中心間の距離である基線長はｂであり、左右のＣＣＤカメラは共に焦点距離をｆとして画像データを生成する。左側の画像データＩ_Ｌでは、画像上の２軸Ｘ_Ｌ，Ｙ_Ｌを基準として、道路構成物の画素位置Ｐｌ（ｘｌ，ｙｌ）が特定される。一方、右側の画像データＩ_Ｒでは、画像上の２軸Ｘ_Ｒ，Ｙ_Ｒを基準として、道路構成物の画素位置Ｐｒ（ｘｒ，ｙｒ）が特定される。位置算出部２０は、これらの幾何学的関係に基づいて、撮像座標系における道路構成物が存在する位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を算出する。なお、撮像座標系とは、撮像装置１０を基準とする座標系であって、左右の光学中心の中央を原点とし、３軸Ｘｓ，Ｙｓ，Ｚｓによって座標を特定する座標系である。

位置算出部２０は、具体的には、次の数式（１）に従って、道路構成物が存在する位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を算出する。

次に、位置算出部２０は、撮像座標系における道路構成物の位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を、車両座標系における道路構成物の位置Ｐ（Ｘ_ｐｃ，Ｙ_ｐｃ，Ｚ_ｐｃ）に変換し、さらに車両改座標系における道路構成物の位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）に変換する処理を行う。図３に示されるように、車両座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、撮像座標系の３軸Ｘｓ，Ｙｓ，Ｚｓと平行な３軸Ｘｃ，Ｙｃ，Ｚｃによって座標を特定する座標系である。車両座標系の原点は、撮像座標系の原点に対して、各軸Ｘｓ，Ｙｓ，Ｚｓに沿ってａｘ，ａｙ，ａｚだけ離れている。また、車両改座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、水平面内にあって車両側方に延びるＸｆ軸、水平面内にあって車両前方に延びるＹｆ軸、および鉛直に延びるＺｆ軸によって座標を特定する座標系である。なお、車両座標系の軸Ｘｃ，Ｙｃのそれぞれを水平面に投影すると、車両改座標系の軸Ｘｆ，Ｙｆに一致する。車両座標系の軸Ｘｃは、車両改座標系の軸Ｘｆに対してロール方向に角度φだけ傾斜しており、車両座標系の軸Ｙｃは、車両改座標系の軸Ｙｆに対してピッチ方向に角度ρだけ傾斜している。

位置算出部２０は、具体的には、次の数式（２）に従って、撮像座標系における道路構成物の位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を、車両座標系における道路構成物の位置Ｐ（Ｘ_ｐｃ，Ｙ_ｐｃ，Ｚ_ｐｃ）に変換する。また、位置算出部２０は、次の数式（３）に従って、車両座標系における道路構成物の位置Ｐ（Ｘ_ｐｃ，Ｙ_ｐｃ，Ｚ_ｐｃ）を、車両改座標系における道路構成物の位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）に変換する

次に、位置算出部２０は、車両改座標系における道路構成物の位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）を、世界平面直角座標系における道路構成物の位置Ｐ（φom，λom）に変換するとともに、世界平面座標系における道路構成物の位置Ｐ（Ｘ_ｃｇ，Ｙ_ｃｇ，Ｚ_ｃｇ）に変換する処理を行う。ここで、世界平面直角座標系とは、図４に示されるように、地球の中心を基準として、緯度φ、経度λに２軸が設定された座標系である。世界平面直角座標系における道路構成物の位置Ｐ（φom，λom）は、車両改座標系における道路構成物の位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）と、ＧＰＳ装置により得られる車両Ｃの位置データとから算出される。また、世界平面座標系とは、図５に示されるように、地表のある位置に基準点Ｏｗが設定され、南北Ｘｇ、東西Ｙｇ及び標高に３軸が設定された座標系である。世界平面直角座標系における道路構成物の位置Ｐ（Ｘ_ｃｇ，Ｙ_ｃｇ，Ｚ_ｃｇ）は、車両改座標系における道路構成物の位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）と、ＧＰＳ装置により得られる車両Ｃの位置データとから算出される。

最大誤差算出部２２は、ＧＰＳ電波の受信状態から、車両の計測位置に含まれると推定される最大誤差を計算する。ここで、ＧＰＳ電波の受信状態に起因する誤差Ｅｇは、市販のＧＰＳ装置で計測精度のデータを出力するものがあるので、そのデータを使用すればよい。また、最大誤差算出部２２は、カメラ距離分解能、ＧＰＳ電波の受信状態などから、位置算出部により算出された道路構成物の位置データに含まれると推定される最大誤差を計算する。図６には、最大誤差算出部２２により算出される最大誤差の一例が示されている。最大誤差を示す曲線Ｅｒｒは、次の数式（４）に従って、カメラ距離分解能に起因する誤差Ｅｃ（Ｄ）と、ＧＰＳ電波の受信状態に起因する誤差Ｅｇとを足し合わせることで算出される。

カメラ距離分解能に起因する誤差Ｅｃ（Ｄ）は、画角、画素数、基線長、カメラから道路構成物までの距離Ｄに基づいて算出することができ、カメラから道路構成物までの距離Ｄが増加するほど小さくなる。図６において黒丸で示す位置誤差の実測値は、最大誤差算出部２２により算出された最大誤差より小さくなっていることがわかる。なお、本実施形態では、カメラ距離分解能に起因する誤差Ｅｃ（Ｄ）、ＧＰＳ電波の受信状態に起因する誤差Ｅｇのみを考慮したが、横加速度検出センサ、操舵角検出センサ、ロールセンサ、ピッチセンサ、ヨーセンサ、車高センサなどの誤差を考慮すれば、より正確な推定最大誤差を算出できる。

計測情報書き込み部２４は、上述した演算により求められた車両及び道路構成物に関する情報を計測情報記憶部２６に書き込む。ここで、車両に関する情報を下の表１に示し、道路構成物に関する情報を下の表２に示す。

なお、上の表２において、道路構成物の種別ＩＤとは、種別の異なる道路構成物を区別するための識別情報である。例えば、白線には「１」が対応付けられ、側溝には「２」が対応付けられ、ガードレールには「３」が対応付けられる。また、ラベルＩＤとは、同じ種別の道路構成物が複数ある場合に、道路構成物を個体ごとに区別するための識別情報である。例えば、白線が２本ある場合には、第１の白線には「１−１」が対応付けられ、第２の白線には「１−２」が対応付けられる。

また、上の表２では、道路構成物に関する情報は、図７（ａ）に概念的に示されるように、多数の点が一列に並んだ点列である。但し、計測情報書き込み部２４は、図７（ｂ）に概念的に示されるように、道路構成物の点列の情報に代えて、道路構成物の線情報を計測情報記憶部２６に書き込んでもよい。道路構成物の線情報を下の表３に示す。

同一道路情報抽出部２８は、計測情報記憶部２６に記憶された車両情報及び道路構成物情報の中から、同一の道路について作成された車両情報及び道路構成物情報を検索して抽出する。ここで、抽出される上記情報は、同じ車両が同じ道路を複数回走行することにより得られる情報であったり、異なる車両が同じ道路を走行することにより得られる情報である。

同一道路情報結合部３０は、同一道路情報抽出部２８により抽出された車両情報及び道路構成物情報に基づいて、車両の目標走行軌跡を算出すると共に、道路構成物の位置を算出する処理を行う。以下に、同一道路情報結合部３０による目標走行軌跡を算出する処理について説明してから、道路構成物の位置を算出する処理について説明する。

同一道路情報結合部３０は、同一道路情報抽出部２８により抽出された車両情報のそれぞれに基づいて、走行軌跡マップを生成する処理を行う。ここで、走行軌跡マップとは、道路に沿った領域を南北方向及び東西方向に所定間隔ごとに細かく分割することにより、略正方形の多数の小領域が２次元配列されたマップである。走行軌跡マップでは、各小領域ごとに、走行軌跡の存在確率を示す重みが対応付けられている。

同一道路情報結合部３０は、走行軌跡マップを生成するために、先ず、図８に示されるように、車両位置の一連の計測点の間を、直線やペジェ曲線などで補間して、連続した走行軌跡を求める。同一道路情報結合部３０は、次に、走行軌跡に対して重み付けを行う。ここで、走行軌跡に対する重み付けは、図９に示されるように正規分布を用いて行われる。図９では、走行軌跡が紙面に垂直に延びており、水平方向の位置が軸ｕで表されており、重みの大きさが軸Ｇで表されている。

正規分布を用いた重み付けの式は、次の数式（５）で表される。

ここで、σは正規分布の幅を決めるための変数であり、車両位置について推定される最大誤差Errを考慮して決定される。例えば、σ＝Err/3 と設定される。

図８に示される走行軌跡に対して上の数式（５）を用いて重み付けを行うことにより、図１０に示される重み付き走行軌跡が算出される。なお、走行軌跡に対する重み付けは、図１１に示されるように、走行軌跡上で重みが最大となり、走行軌跡からの離間距離に比例して直線的に重みが減少するように設定されてもよい。

図１２（ａ）〜（ｄ）には、マップ作成装置を搭載した車両が同一経路を４回走行して得られる走行軌跡マップの画像データが示されている。ここで、走行軌跡マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、走行軌跡マップとして、走行軌跡に重み付けをしたマップを生成しているが、走行軌跡に重み付けしないマップを生成してもよい。即ち、走行軌跡が通過する小領域に一定値（例えば１．０）を付与することにより、走行軌跡マップを生成してもよい。

次に、同一道路情報結合部３０は、上述したように走行軌跡マップを生成するごとに、走行軌跡マップを走行軌跡重み加算マップに加算して、走行軌跡重み加算マップを書き換える処理を行う。ここで、走行軌跡重み加算マップとは、走行軌跡マップと同様に、２次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。

走行軌跡重み加算マップの書き換え処理の具体例を説明する。図１２（ａ）〜（ｄ）の走行軌跡マップにおいて、図１２（ａ），図１２（ｃ）及び図１２（ｄ）の走行軌跡マップはほぼ同じ形状となっているが、図１２（ｂ）の走行軌跡マップのみ異なる形状となっている。図１２（ｂ）の走行軌跡マップに関しては、マップ作成装置を搭載した車両が、道路を走行している際に他の車両や障害物を避けたことなどが推測される。これらの走行軌跡マップが、走行軌跡重み加算マップに加算された結果が、図１３に示されている。図１３の走行軌跡マップでは、多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。

次に、同一道路情報結合部３０は、走行軌跡重み加算マップにおいて、重み加算値が予め設定された重み閾値Ｔｈ１よりも大きい領域と、重み加算値が重み閾値Ｔｈ１よりも小さい領域とに２値化する。例えば、図１４（ａ）に示される走行軌跡重み加算マップを２値化すると、図１４（ｂ）に示されるように変換される。図１４（ｂ）では、白領域において重み加算値が予め設定された重み閾値Ｔｈ１よりも大きく、黒領域において重み加算値が予め設定された重み閾値Ｔｈ１よりも小さい。

次に、同一道路情報結合部３０は、図１４（ｃ）に示されるように、領域Ｒの端部における白領域の中心位置を、領域Ｒ内での目標走行軌跡の第１位置として求める。また、同一道路情報結合部３０は、第１位置付近における車両方位角度（表１参照）の平均値を算出することで、第１進行方向を求める。そして、同一道路情報結合部３０は、図１４（ｄ）に示されるように、目標走行軌跡の第１位置から車両進行方向に一定の距離だけ進んだ位置を求め、その位置を通過するとともに第１の進行方向に直交する線分上における白領域の中心位置を、目標走行軌跡の第２位置として求める。また、同一道路情報結合部３０は、第２位置付近における車両方位角度の平均値を算出することで、第２進行方向を求める。同一道路情報結合部３０は、それ以降も同様な処理を行うことで、図１４（ｅ）に示されるように、目標走行軌跡の一連の位置（第３位置，第４位置，第５位置，・・・）及び一連の進行方向（第３進行方向，第４進行方向，第５進行方向，・・・）を算出する。

次に、同一道路情報結合部３０による道路構成物の位置を算出する処理について説明する。同一道路情報結合部３０は、同一道路情報抽出部２８により抽出された道路構成物情報に基づいて、道路構成物マップを生成する処理を行う。ここで、道路構成物マップとは、走行軌跡マップと同様に、２次元配列された多数の小領域からなるマップである。道路構成物マップでは、各小領域ごとに、道路構成物の存在確率を示す重みが対応付けられている。

同一道路情報結合部３０は、道路構成物マップを生成するために、先ず、道路構成物の一連の計測点の間を直線やペジェ曲線などで補間してから、道路構成物の一連の計測点を結ぶ直線又は曲線に重み付けを行う。ここでは、上述した走行軌跡への重み付けと同様に、道路構成物の計測点を結ぶ線に重み付けを行えばよい。

図１５（ａ）〜（ｅ）には、車両が道路を走行している際に、各位置で計測される道路構成物（側溝）のマップが示されている。車両が道路を走行している際には、撮像装置１０により撮影される道路構成物の範囲は限られているため、図１５（ａ）〜（ｅ）のそれぞれでは、道路構成物（側溝）の一部のみが検出されている。これらの道路構成物の部分的なマップを互いに加算することにより、図１６に示されるように道路構成物マップを完成する。

図１７（ａ）〜（ｄ）には、マップ作成装置を搭載した車両が同一経路を４回走行して得られる道路構成物マップの画像データが示されている。ここで、道路構成物マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、道路構成物マップとして、道路構成物に重み付けをしたマップを生成しているが、道路構成物に重み付けしないマップを生成してもよい。即ち、道路構成物が通過する小領域に一定値（例えば１．０）を付与することにより、道路構成物マップを生成してもよい。

次に、同一道路情報結合部３０は、上述したように道路構成物マップを生成するごとに、道路構成物マップを道路構成物重み加算マップに加算して、道路構成物重み加算マップを書き換える処理を行う。ここで、道路構成物重み加算マップとは、道路構成物マップと同様に、２次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。

道路構成物重み加算マップの書き換え処理の具体例を説明する。これらの道路構成物マップが、道路構成物重み加算マップに加算された結果が、図１８に示されている。図１８の道路構成物重み加算マップでは、車両により多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。

次に、同一道路情報結合部３０は、道路構成物重み加算マップにおいて、重み加算値が予め設定された重み閾値Ｔｈ２よりも大きい領域と、重み加算値が重み閾値Ｔｈ２よりも小さい領域とに２値化する。次に、同一道路情報結合部３０は、目標走行軌跡の一連の位置を求めたのと同じ手法で、道路構成物の一連（第１，第２，第３，・・・）の存在位置を算出し、目標走行軌跡の一連の進行方向を求めたのと同じ手法で、道路構成物の一連（第１，第２，第３，・・・）の延在方向を算出する。道路構成物の存在位置及び延在方向を求めた結果が、図１９に示されている。同一道路情報結合部３０は、図２０に示されるように、上述した道路構成物重み加算マップを、白線、側溝、縁石、ガードレールなどの種別ごとに作成する。

マップデータ書き込み部３２は、目標走行軌跡及び道路構成物の情報を、自動走行用マップのフォーマットに変換してから、マップデータベース３４に記憶する。自動走行用マップのフォーマットを、次の表４に示す。なお、次の表４に示される情報は、目標走行軌跡の１点に対応している。

上の表４に示されるのは、目標走行軌跡の１点に対応して記憶されるデータ群であり、マップデータベース３４には、このようなデータ群が目標走行軌跡の各点ごとに記憶されている。目標走行軌跡の各点は５０ｃｍ周期であり、５０ｃｍ周期の各点に対応して上の表４のデータ群が記憶される。

図２１に示されるように、白線、側溝、縁石、ガードレール等の道路構成物がある場合に、目標走行軌跡からその道路構成物までの距離が最短となる線分を想定する。ここで、その線分の長さが距離Ｌであり、目標走行軌跡と線分との角度が存在方向β１であり、道路構成物の延在方向と線分との角度が姿勢角β２である。また、推測最大位置誤差とは、カメラ距離分解能、画像取得時のＧＰＳ電波受信状態などを原因とする誤差であり、図２２に示される道路構成物の重み加算マップにおいて、所定閾値より重みが大きい領域を白とし、所定閾値より重みが小さい領域を黒としたときに、帯状の白領域の幅Ｗを２分の１とすることで演算される。

次に、図２３のフローチャートを参照して、上述した自動走行用マップ作成装置の処理の流れについて説明する。先ず、データ処理装置１２は、撮像装置１０により生成された画像データを取り込む（Ｓ１０１）。次に、データ処理装置１２は、画像データを処理して道路構成物の認識処理を行う（Ｓ１０２）。次に、データ処理装置１２は、車両の位置、方位、姿勢の計測データを取り込む（Ｓ１０３）。次に、データ処理装置１２は、道路構成物の位置を算出する（Ｓ１０４）。次に、データ処理装置１２は、カメラ距離分解能、ＧＰＳ電波受信状態などから、車両及び道路構成物の位置について推定される最大の誤差を算出する（Ｓ１０５）。

次に、データ処理装置１２は、車両及び道路構成物に関する情報を、計測点情報記憶部に書き込む（Ｓ１０６）。次に、データ処理装置は、車両に関する情報に基づいて、走行軌跡マップを作成し、さらに走行軌跡重み加算マップを作成する。同様に、データ処理装置は、道路構成物に関する情報に基づいて、道路構成物マップを作成し、さらに道路構成物重み加算マップを作成する（Ｓ１０７）。そして、データ処理装置１２は、地図データベースに記憶されている目標走行軌跡及び道路構成物位置の情報を更新するか否かを決定する（Ｓ１０８）。ここで、地図データベースを更新する場合にはＳ１０９に進み、一方、地図データベースを更新しない場合にはＳ１０１に戻る。

データ処理装置１２は、走行軌跡重み加算マップを所定閾値Ｔｈ１で２値化し、目標走行軌跡算出する（Ｓ１０９）。また、データ処理装置１２は、道路構成物重み加算マップを所定閾値Ｔｈ２で２値化し、道路構成物の存在位置を演算する（Ｓ１１０）。そして、データ処理装置１２は、目標走行軌跡及び道路構成物の存在位置の情報を、自動走行用マップのフォーマットに変換してから、地図データベースに記憶する（Ｓ１１１，Ｓ１１２）。最後に、データ処理装置１２は、処理を終了するか否かを決定する。ここで、処理を終了しない場合にはＳ１０１に戻る。

［自動走行装置］
次に、上述した自動走行用マップを利用する自動走行装置３を搭載した車両について説明する。図２４に示されるように、自動走行装置３は、撮像装置（撮像手段）４０と、データ処理装置４２と、車両の位置・方位・姿勢を検出する検出部４４とで構成される。データ処理装置４２は、物理的にはＣＰＵ，ＲＡＭ，ＲＯＭ等を含んで構成されており、機能的には、マップデータベース４６と、画像データ取込部４８と、道路構成物位置算出部（第１の位置算出部）５０と、探索距離設定部５２と、画像内位置推定部５６と、誤差影響算出部５８と、最小探索枠設定部６０と、認識対象物種別設定部６２と、対象物認識部（第２の位置算出部）６４と、自車位置補正部６６と、制御指令出力部６８とを含んで構成されている。

自動走行装置３において撮像装置４０及び車両位置・方位・姿勢検出部４４は、マップ作成装置１の撮像装置１０及び車両位置・方位・姿勢検出部１４と同じものであるため、説明を省略する。同様に、自動走行装置３において画像データ取込部４８は、マップ作成装置１の画像データ取込部１６と同じものであるため、説明を省略する。また、マップデータベース４６には、マップ作成装置１により作成された自動走行用のマップデータが記憶されている。

道路構成物位置算出部（第１の位置算出部）５０は、ＧＰＳ装置により得られる車両の位置データを取り込む。また、道路構成物位置算出部５０は、マップデータベース４６に記憶された目標走行軌跡のデータの中から、車両の位置データに最も近接する点に関するデータ（表４参照）を抽出して取り込む。そして、道路構成物位置算出部５０は、取り込まれたデータを利用して、車両から目標走行軌跡の点までの相対位置を求め、さらにこの相対位置に、目標走行軌跡の点から道路構成物までの相対位置を加えることで、車両座標系における道路構成物の位置を算出する。ここで算出された道路構成物の相対位置には、ＧＰＳ装置による計測誤差が含まれている。

また、道路構成物位置算出部５０は、探索距離設定部５２から探索距離データを取り込んで、道路構成物の相対位置とその探索距離を比較して、その探索距離内にある道路構成物の相対位置のみを保持し、探索距離外にある道路構成物の相対位置を破棄する。なお、探索距離設定部５２は、道路構成物の探索距離を決定する処理を行うものである。ここで、探索距離は、常に一定の距離が設定されてもよいし、車両の状況に応じて変化する距離が設定されてもよい。

画像内位置推定部５６は、道路構成物の画像内における位置を推定する処理を行う。この処理を行うために、画像内位置推定部５６は、道路構成物位置算出部５０と同様に、車両の位置データに最も近接する点に関するデータを抽出して取り込む。そして、画像内位置推定部５６は、目標走行軌跡の点に関するデータから、世界平面直角座標系における道路構成物の位置データ（Ｘ_ｐｇ，Ｙ_ｐｇ，Ｚ_ｐｇ）を算出する。道路構成物の位置データは、次の数式（６）に従って算出される。

次に、画像内位置推定部５６は、次の数式（７）に従って、世界平面直角座標系における位置データ（Ｘ_ｐｇ，Ｙ_ｐｇ，Ｚ_ｐｇ）を、撮像座標系における位置データ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）へ変換する。

次に、画像内位置推定部５６は、下の数式（８）に従って、撮像座標系における位置データ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を、左のカメラにより撮影された画像内の画素位置（Ｘ_Ｌ，Ｙ_Ｌ）へ変換する。また、画像内位置推定部５６は、下の数式（９）に従って、撮像装置４０座標系における位置データ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を、右のカメラにより撮影された画像内の画素位置（Ｘ_Ｒ，Ｙ_Ｒ）へ変換する。

ここで、Ｐ_１、Ｐ_２、Ｈ_１、Ｈ_２は、ステレオカメラのキャリブレーションで導出されるカメラパラメータである。

誤差影響算出部５８は、抽出された道路構成物について、ステレオ視による位置誤差、ＧＰＳ装置の位置誤差などの各種位置誤差の総和を算出する処理を行う。具体的には、誤差影響算出部５８は、次の数式（１０）の演算を行う。なお、位置誤差の種類は、下の表５に示されている。

ステレオ視による位置誤差は、次の数式（１１）により算出される。ステレオ視による位置誤差は、自車から道路構成物まで距離Ｄｓの関数となっている。

ＧＰＳ電波の受信状態に起因する位置誤差Ｐｘ，Ｐｙ，Ｐｚは、市販のＧＰＳ装置で計測精度のデータを出力するものがあるので、その計測精度のデータに基づいて算出すればよい。

方位角誤差（車両の方向の誤差のうち水平面内の成分）Ａｅに起因する位置誤差Ｈｄは、次の数式（１２）に従って算出される。方位角誤差ＡｅはＸ軸方向だけに影響するため、位置誤差ＨｄはＸ軸方向にのみ生じる。方位角誤差の最大値Ａｅは既知（例えば０．０５°）であるため、位置誤差Ｈｄは道路構成物までの距離Ｄｓの関数となる。

ピッチ角誤差（車両の方向の誤差のうち垂直な成分）Ｐｅに起因する位置誤差Ｐｔは、次の数式（１３）に従って算出される。ピッチ角誤差ＰｔはＺ軸方向だけに影響するため、位置誤差ＰｔはＺ軸方向にのみ生じる。ピッチ角誤差の最大値Ｐｔは既知（例えば０．０５°）であるため、位置誤差Ｐｔは道路構成物までの距離Ｄｓの関数となる。

データ処理装置４２内でのデータ通信の遅れに起因する位置誤差Ｃｍは、厳密には車速や角速度などの関数となる値であるが、今回の処理では一定値（例えば１００ｍｍ）として取り扱っている。

マップデータベース４６作成時の位置誤差は、マップデータベース４６に記憶される推定最大位置誤差Err_W，Err_L及びErr_h（表４参照）を利用している。ここで、道路構成物が存在する方向にカメラの視線が向いている場合には、Ｘ軸にErr_Wを対応させ、Ｙ軸にErr_Lを対応させ、Ｚ軸にErr_hを対応させればよい。但し、道路構成物が存在する方向にカメラの視線が向いていない場合には、位置誤差を推定最大位置誤差Err_W，Err_L及びErr_hに基づいてＸ軸，Ｙ軸及びＺ軸の位置誤差を算出すればよい。

最小探索枠設定部６０は、左右のカメラにより撮影された画像において、各道路構成物を探索するための枠を設定する処理を行う。図２５に示されるように、各軸方向の位置誤差積算値ΣｅｒｒＸ，ΣｅｒｒＹ，ΣｅｒｒＺを考慮して、画像内位置推定部５６により算出された道路構成物（縁石）の画素位置（Ｘ_Ｌ，Ｙ_Ｌ），（Ｘ_Ｒ，Ｙ_Ｒ）に対して適切な余裕しろを付与する。具体的には、道路構成物を中心として、Ｘ軸方向にΣｅｒｒＸ×２、Ｙ軸方向にΣｅｒｒＹ×２、Ｚ軸方向にΣｅｒｒＺ×２の立方空間を想定し、この立方空間が画像に投影される範囲を、探索枠として設定する。なお、最小探索枠設定部６０は、複数の道路構成物が存在する場合には、道路構成物ごとに探索枠を設定する。

認識対象物種別設定部６２は、認識対象となる道路構成物の種別を設定する処理を行う。ここで、認識対象物種別設定部６２は、最小探索枠設定部６０により設定された複数の探索枠の中から、既述の道路構成物位置算出部５０により探索距離内にあるものとして判定された道路構成物の探索枠のみを設定する。

対象物認識部（第２の位置算出部）６４は、左右の画像に設定された探索枠の範囲内で、認識対象の道路構成物をエッジ抽出やパターン認識技術を用いて検出し、左側の画像データにおける道路構成物の画素位置Ｐｌ（ｘｌ，ｙｌ）と、右側の画像データにおける道路構成物の画素位置Ｐｒ（ｘｒ，ｙｒ）を求める。対象物認識部６４は、これらの画素位置Ｐｌ，Ｐｒに基づいて、撮像座標系における道路構成物が存在する位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を算出し、最終的にはこの位置Ｐ（Ｘ_ｐｓ，Ｙ_ｐｓ，Ｚ_ｐｓ）を車両改座標系における存在位置Ｐ（Ｘ_ｐｆ，Ｙ_ｐｆ，Ｚ_ｐｆ）に変換する。ここで算出された道路構成物の相対位置には、ＧＰＳ装置による計測誤差が含まれていない。

自車位置補正部６６は、既述の道路構成物位置算出部５０により算出された道路構成物の位置データ、及び対象物認識部６４により認識された道路構成物の位置データに基づいて、ＧＰＳ装置により検出される自車の位置データを補正する処理を行う。この処理を、図２６を参照して説明する。

自車位置補正部６６は、これまでの処理によって、自車の位置データＰｇ、目標走行軌跡の点の位置データＰｔ、地図データベースに目標走行軌跡と共に記憶された道路構成物の位置データＰｍ及び延在方向のデータβ２を把握している。自車位置補正部６６は、目標走行軌跡の点Ｐｔから道路構成物Ｐｍまでの直線Ｌ１を想定し、この直線Ｌ１と、対象物認識部６４により検出された道路構成物Ｑとの交差位置Ｐｎを算出する。そして、自車位置補正部６６は、ＧＰＳによる道路構成物の位置Ｐｍと、画像認識による道路構成物の位置Ｐｎとの差分ΔＬを算出する。また、自車位置補正部６６は、直線Ｌ１と道路構成物Ｑとが成す角度β３を算出する。

自車位置補正部６６は、位置データベースに記憶された道路構成物Ｐｍの延在方向β２と、対象物認識部６４により算出された道路構成物の延在方向β３の差分の絶対値|β２−β３|を算出して、この絶対値が予め設定された閾値より大きいか否かを判定する。ここで、絶対値が閾値より小さい場合には、検出状況が正常であるため、続いて自車位置の補正処理を行う。一方、絶対値が閾値より大きい場合には、検出状況が異常であるため、自車位置の補正処理を行わずに処理を終了する。

絶対値が閾値より小さい場合には、自車位置補正部６６は、図２７に示されるように、実測自車位置Ｐｇから存在方向に延びる直線Ｌ１に垂線を下ろしたときに、その直線Ｌ１と垂線とが交差する位置を算出し、さらに、存在方向に延びる直線Ｌ１上で、この交差位置から差分ΔＬだけ移動された点Ｐｒの位置を算出する。この点Ｐｒの位置が、補正後の自車位置とされる。これにより、ＧＰＳ装置による計測誤差が補正される。

なお、ＧＰＳ装置の計測誤差が、破線にて示される円Ｅの範囲内にあるときには、上述したように自車位置を点Ｐｒに補正すると、自車の位置データは過剰に補正されてしまうこととなる。このような事態を回避するために、点ＰｒがＧＰＳ装置の計測誤差Ｐの範囲外にあるときには、直線Ｌ１と円Ｅとの交点Ｐｕの位置を、補正後の自車位置として算出する。

また、自車位置補正部６６は、ＧＰＳ装置の計測誤差が所定閾値より大きい場合に、ＧＰＳ装置により計測された車両位置を補正し、ＧＰＳ装置の計測誤差が所定閾値より小さいときに、ＧＰＳ装置により計測された車両位置の補正を禁止してもよい。この構成によれば、ＧＰＳ装置の計測誤差が所定閾値より大きい場合にのみ、ＧＰＳ装置により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。

制御指令出力部６８は、補正後の自車位置Ｐｒが、目標走行軌跡上の点（Ｐ_ｔ＋１，Ｐ_ｔ＋２，Ｐ_ｔ＋３，・・・）に調節されるように、車両の速度、操舵角等を制御するための指令を出力する。なお、ＮＯｘの濃度分布マップを記憶しておき、ＮＯｘが多い地区では、制御指令出力部６８が自動的にエンジン駆動からモータ駆動に切り替えてもよい。

次に、図２８のフローチャートを参照して、自動走行装置３の処理の流れについて説明する。データ処理装置４２は、撮像装置４０により生成された画像データを取り込む（Ｓ２０１）。次に、データ処理装置４２は、車両の位置、方位、姿勢の計測データを取り込む（Ｓ２０２）。次に、データ処理装置４２は、マップデータベース４６から目標走行軌跡の情報を取り込み、目標走行軌跡を規定する多数の点の中から、計測された車両位置に最も近い点のデータを抽出する（Ｓ２０３）。次に、データ処理装置４２は、ＧＰＳ装置による車両位置の計測データ、及び目標走行軌跡の最も近接した点のデータに基づいて、車両座標系における道路構成物の相対位置を算出する（Ｓ２０４）。

次に、データ処理装置４２は、左右のカメラにより撮影された画像データにおいて、道路構成物が存在し得る画素範囲を、探索範囲として算出する（Ｓ２０５）。データ処理装置４２は、左右の画像データの探索範囲から道路構成物の検出し、車両座標系における道路構成物の相対位置を算出する（Ｓ２０６）。データ処理装置４２は、ステップ２０４で算出された道路構成物の相対位置と、ステップ２０６で算出された道路構成物の相対位置とを比較して、自車位置を補正する（Ｓ２０７）。データ処理装置４２は、補正後の自車位置に基づいて、自車が目標走行軌跡を走行するように制御値を決定し、制御を実行する（Ｓ２０８）。データ処理装置４２は、上述した処理を終了するか否かを決定する。ここで、処理を終了しない場合にはＳ２０１に戻る（Ｓ２０９）。

［道路構成物の認識方法の改良］
次に、上述した実施形態に係る自動走行用マップ作成装置１及び自動走行装置３において、車両に取り付けられる撮像装置１０，４０の改良された構造、及びこの撮像装置１０，４０により撮影された画像データから道路構成物を検出する方法について説明する。

図２９に示されるように、撮像装置１０，４０は、１個のＣＣＤカメラ７０にステレオレンズユニット７２が取り付けられて構成されている。ステレオレンズユニット７２には、２つのレンズ７４Ｈ，７４Ｌが５０ｍｍ程度上下に離して配置されている。上側のレンズ７４Ｈにより集光された光束は、２枚のミラー７６Ｈ_１，７６Ｈ_２により反射されてＣＣＤカメラ７０に至る。同様に、下側のレンズ７４Ｌにより集光された光束は、２枚のミラー７６Ｌ_１，７６Ｌ_２により反射されてＣＣＤカメラ７０に至る。撮像装置１０，４０は、撮像対象Ｏをステレオ視した２つの画像部分を含む１つの画像データＩを生成して、この画像データＩをデータ処理装置１２，４２に向けて出力する。このように撮像装置１０，４０を構成することにより、画像データＩを画像処理に適したものとすることができ、また、撮像装置１０，４０の低価格化したり、小型化することができる。

上述した撮像装置１０，４０は、図３０（ａ）に示されるように、車両のサイドミラーの位置に取り付けられる。撮像装置１０，４０のカメラ視線方向を斜め下方に向けることにより、車両の側方にある白線、側溝、ガイドレール、並走車両等を検出可能である。なお、視野が広角のレンズを選択することにより、図３０（ｂ）に示されるように、車両の側方を全範囲（１８０°）に渡って撮像可能とすることが好ましい。

次に、図３１のフローチャートを参照しつつ、データ処理装置１２，４２による処理の流れを説明する。図３１のフローチャートに示される処理は、マップ作成装置１の道路構成物認識部１８、及び自動走行装置３の対象物認識部６４で行われる処理である。

先ず、データ処理装置１２，４２は、撮像装置１０，４０により撮像された画像データを取得する（Ｓ３０１）。取得される画像データの一例を、図３２（ａ）に示す。データ処理装置１２，４２は、画像データから横方向エッジを抽出して、図３２（ｂ）に示される結果を得る（Ｓ３０２）。次に、データ処理装置１２，４２は、道路構成物の認識処理を行うべき探索範囲を算出する（Ｓ３０３）。ここで行われる探索範囲の導出は、図２８のフローチャートを参照して説明したステップ２０２からステップ２０５までと同じ処理である。

次に、データ処理装置１２，４２は、図３２（ｃ）に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置１２，４２は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から同一の道路構成物に対応する交点を求める（Ｓ３０４）。これにより、図３２（ｃ）に示されるように、上側画像部分のガイドレールに対応する交点と、下側画像部分のガイドレールに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、上側画像部分の側溝に対応する交点と、下側画像部分の側溝に対応する交点とが、互いに対応関係にある一対の交点として求められる。

次に、データ処理装置１２，４２は、互いに対応関係にある一対の交点から、車両座標系における交点の３次元位置を算出する（Ｓ３０５）。図３３に示されるように、横方向エッジは車両の前後方向に沿って延びており、矢印Ａに従って車両の前方から見ると、交点は図３４に示されるように車両の側方の位置にある。

次に、データ処理装置１２，４２は、道路構成物（白線、縁石、ガードレール、側溝、道路境界など）の種別を判定する処理を行う。ここで、データ処理装置１２，４２は、自車が載っている平面より予め設定された閾値Ｔｈ１以上の高さを持つ交点に関しては、道路構成物の種別がガイドレール等の障害物であることを判定する。但し、自車が載っている平面より所定閾値Ｔｈ１以内の高さを持つ交点に関しては、道路構成物の種別が不明である。そこで、データ処理装置１２，４２は以下の処理を行う。

データ処理装置１２，４２は、図３５（ａ）に示されるように、上側画像部分及び下側画像部分のそれぞれにおいて互いに対応関係にある２点を含んでいる矩形の範囲Ｒ_Ｈ，Ｒ_Ｌを設定し、図３５（ｂ）に示されるように、さらにこれらの矩形の範囲Ｒ_Ｈ，Ｒ_Ｌにおいて２点Ｄ_１，Ｄ_２間に複数の小領域ＳＲ_１，ＳＲ_２，ＳＲ_３を設定する。ここで、複数の小領域を設定する際に正規化相関や差分総和などのパターンマッチング処理を行うことにより、上側画像部分の小領域は、下側画像部分の小領域に対して相関値が高くなる位置に設定されている。なお、複数の小領域は、互いに重なるように設定されてもよい。

次に、データ処理装置１２，４２は、上側画像部分の小領域の画素位置、及びそれに対応する下側画像部分の小領域の画素位置に基づいて、車両座標系における小領域の３次元位置を算出する。データ処理装置１２，４２は、図３６（ａ）に示されるように、小領域の３次元位置が、自車が載っている平面から閾値Ｔｈ２より低い場合には、道路構成物が側溝であることを判定する。一方、データ処理装置１２，４２は、図３６（ｂ）に示されるように、小領域の３次元位置が、自車が載っている平面から閾値Ｔｈ２の範囲内にある場合、道路構成物が白線、道路の模様等であることを判定する。

なお、上述した道路構成物の認識処理では、データ処理装置１２，４２は、小領域の３次元位置が自車が載っている平面から閾値Ｔｈ２より低い場合に、道路構成物を側溝であることを判定したが、データ処理装置は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物が側溝であることを判定してもよい。

また、データ処理装置１２，４２は、自車Ｃ１の側方で並走している並走車両Ｃ２がある場合には、その並走車両Ｃ２の存在を判定する処理を行う。並走車両Ｃ２は、図３７に示されるように撮像装置１０，４０の視野に入るため、並走車両Ｃ２が自車Ｃ１の真横にある場合には、図３８に示される枠内を撮影した画像データが得られる。

データ処理装置１２，４２は、撮像装置１０，４０により撮像された画像データを取得する（Ｓ３０１）。図３９（ａ）に示されるように、この画像データには、並走車両Ｃ２の側面が撮影された上側画像部分及び下側画像部分が含まれている。次に、データ処理装置１２，４２は、画像データから横方向エッジを抽出して、図３９（ｂ）に示される結果を得る（Ｓ３０２）。図３９（ｂ）の結果には、ルーフ、窓枠、ボディライン、ボディ下面等に対応する横方向エッジが含まれている。

次に、データ処理装置１２，４２は、図３９（ｃ）に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置１２，４２は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から並走車両の同一部位に対応する交点を求める（Ｓ３０４）。これにより、上側画像部分のルーフに対応する交点と、下側画像部分のルーフに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、窓枠、ボディライン、ボディ下面等について、上側画像部分の交点及び下側画像部分の交点が、互いに対応関係にある一対の交点として求められる。

次に、データ処理装置１２，４２は、各対の交点の画素位置に基づいて、車両座標系における交点の３次元位置を算出する。データ処理装置１２，４２は、算出された各交点の３次元位置に基づいて並走車両であるか否かを判定し、並走車両である場合には、自車から並走車両までの相対距離と、自車を基準とした並走車両の相対角度を出力する。なお、各交点の３次元位置に基づいて並走車両であるか否かを判定するためには、多数の交点の高さが所定閾値以上であることを判定したり、多数の交点の配列具合から判定すればよい。

データ処理装置１２，４２は、上述した認識処理のほか、全ての道路構成物や障害物などについて種別を認識する処理を行い、その認識結果を出力する（Ｓ３０９）。

［撮像装置の配置の改良］
次に、上述した実施形態に係る自動走行装置３において、車両に取り付けられる撮像装置４０の改良された配置、及びその利用方法について説明する。図４０に示されるように、車両には、４つの撮像装置４０Ａ，４０Ｂ，４０Ｃ，４０Ｄが取り付けられている。詳しくは、車両には、車両の前側の領域Ｒ_Ａを撮影する撮像装置４０Ａ、車両の左側の領域Ｒ_Ｂを撮影する撮像装置４０Ｂ、車両の右側の領域Ｒ_Ｃを撮影する撮像装置４０Ｃ、及び車両の後側の領域Ｒ_Ｄを撮影する撮像装置４０Ｄが設けられている。ここで、各撮像装置４０Ａ〜４０Ｄは、ステレオ視した画像データを生成するものでもよいし、ステレオ視でない通常の画像データを生成する単眼カメラでもよい。

上述したように、車両に４つの撮像装置４０Ａ〜４０Ｄを設けた場合には、車両の左斜め前方、右斜め前方、左斜め後方および右斜め後方で、２つの撮像装置の撮像領域が部分的に重複している。よって、２つの撮像装置により生成された画像データにおいて、撮像領域が重複した部分の画像データをステレオ視した画像データとして利用することで、データ処理装置は、道路構成物の位置を算出することができる。例えば、図４０に示されるように、車両の左斜め前方において、車両の前方を撮影する撮像装置の撮像領域Ｒ_Ａと、車両の左側方を撮影する撮像装置の撮像領域Ｒ_Ｂとが重なっている。また、車両の左斜め後方において、車両の左側方を撮影する撮像装置の撮像領域Ｒ_Ｂと、車両の後方を撮影する撮像装置の撮像領域Ｒ_Ｄとが重なっている。データ処理装置４２は、このように重なった撮像領域に、ガイドレールや側溝などの道路構成物がある場合に、２つの撮像装置により生成された画像データをステレオ視した画像データとして用いることで、道路構成物や側溝などの位置を算出することができる。

さらに、データ処理装置は、算出された道路構成物の位置に基づいて、重複しない領域の道路構成物の位置を推定することができる。例えば、車両の左斜め前方において、直線状のガードレールや側溝などが検出され、車両の左斜め後方において、直線状のガードレールや側溝などが検出された場合に、左斜め前方の直線と左斜め後方の直線が同一直線である場合には、車両の左側の領域Ｒ_Ｂにおいて、その直線の位置にガイドレールや側溝などがあることを推定することができる。

また、上述したように車両に４つの撮像装置４０Ａ〜４０Ｄを設けた場合には、データ処理装置４２は、４つの撮像装置４０Ａ〜４０Ｄにより得られた画像データを処理することにより、図４１に示されるような、車両の周囲のマップを生成することができる。このマップでは、車両の周囲にある道路構成物（ガードレール、側溝等）や障害物（樹木、三角コーン等）などの存在位置が示されており、さらに、道路構成物や障害物などがあるために車両から見えない死角となる領域が黒塗りで示されている。

このようなマップを生成するために、データ処理装置４２は、死角となる領域を算出する処理を行う。この処理を、図４２（ａ），（ｂ）を参照して説明する。図４２（ａ）は、撮像装置４０、障害物及びその死角を水平方向から見た図であり、図４２（ｂ）は、それらを上方から見た図である。データ処理装置４２は、図４２（ａ）に示されるように、自車が載っている平面上で、死角となる領域が続く距離Ｌを算出する。また、データ処理装置４２は、図４２（ｂ）に示されるように、自車が載っている平面上で、死角となる領域の幅Ｗを算出する。そして、データ処理装置４２は、算出された距離Ｌ及び幅Ｗにより囲われる範囲を、死角となる領域とする。

自動走行用マップ作成装置を示すブロック図である。 道路構成物の位置算出を説明するための図である。 座標変換を説明するための図である。 世界平面直角座標系を示す図である。 世界平面座標系を示す図である。 道路構成物の位置の計測誤差を示すグラフである。 車両の走行軌跡の一連の計測点を示す図である。 車両の走行軌跡を示す図である。 走行軌跡に対する重み付けを示す図である。 重み付け後の走行軌跡を示す図である。 走行軌跡に対する別の重み付けを示す図である。 走行軌跡マップを示す画像データである。 走行軌跡重み加算マップを示す画像データである。 目標走行軌跡の算出を説明するための図である。 道路構成物マップを示す画像データである。 道路構成物マップを示す画像データである。 各回の道路構成物マップを示す画像データである。 道路構成物重み加算マップを示す画像データである。 道路構成物の存在位置を示す画像データである。 重み加算マップの階層構造を示す図である。 マップデータベースに記憶される情報を説明するための図である。 マップデータベースに記憶される情報を説明するための図である。 マップ作成装置の処理を示すフローチャートである。 自動走行装置を示すブロック図である。 探索範囲の設定を説明するための図である。 自車位置の補正を説明するための図である。 自車位置の補正を説明するための図である。 自動走行装置の処理を示すフローチャートである。 撮像装置の変形例を示す図である。 撮像装置の配置を示す図である。 データ処理装置の処理を示すフローチャートである。 道路構成物の位置の算出を説明するための図である。 抽出された横方向エッジの位置を示す図である。 車両と横方向エッジの位置関係を示す図である。 側溝の検出を説明するための図である。 側溝の検出を説明するための図である。 並走車両の検出を説明するための図である。 並走車両の検出を説明するための図である。 並走車両の検出を説明するための図である。 撮像装置の配置を示す図である。 車両周囲の道路構成物、障害物及びそれらの死角を示すマップである。 死角の範囲の算出を説明するための図である。

符号の説明

１…自動走行用マップ作成装置、３…自動走行装置、１０…撮像装置、１２…データ処理装置、１４…車両位置・方位・姿勢検出部、１６…画像データ取込部、１８…道路構成物認識部、２０…位置算出部、２２…最大誤差算出部、２４…計測情報書き込み部、２６…計測点情報記憶部、２８…同一道路情報抽出部、３０…同一道路情報結合部、３２…マップデータ書き込み部、３４，４６…マップデータベース、４０…撮像装置、４２…データ処理装置、４４…車両位置・方位・姿勢検出部、４８…画像データ取込部、５０…道路構成物位置算出部、５２…探索距離設定部、５６…画像内位置推定部、５８…誤差影響算出部、６０…最小探索枠設定部、６２…認識対象物種別設定部、６４…対象物認識部、６６…自車位置補正部、６８…制御指令出力部。

Claims (15)

1. 道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、
   計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、
   を備えたことを特徴とする自動走行用マップ作成装置。
2. 前記同一道路情報結合手段は、前記マップの多数の小領域に対応付けられた重みに基づいて、前記計測対象の位置を特定することを特徴とする請求項１に記載の自動走行用マップ作成装置。
3. 前記マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることを特徴とする請求項１又は２に記載の自動走行用マップ作成装置。
4. 前記マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることを特徴とする請求項３に記載の自動走行用マップ作成装置。
5. 前記計測対象は、車両の走行軌跡であることを特徴とする請求項１〜４のいずれか１項に記載の自動走行用マップ作成装置。
6. 前記計測対象は、道路構成物であることを特徴とする請求項１〜４のいずれか１項に記載の自動走行用マップ作成装置。
7. 車両の位置を計測する位置検出手段と、
   車両周辺を撮影して、画像データを生成する撮像手段と、
   道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して前記道路構成物の位置を算出する位置算出手段と、
   前記位置算出手段により算出された道路構成物の位置に基づいて、前記位置検出手段により計測された車両位置を補正する自車位置補正手段と、
   補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、
   を備えることを特徴とする自動走行装置。
8. 前記道路構成物の位置誤差は、ステレオ視による位置誤差、ＧＰＳ電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも１つを含むことを特徴とする請求項７に記載の自動走行装置。
9. 前記自車位置補正手段は、
   前記位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、前記位置検出手段により計測された車両位置を補正し、
   前記位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、前記位置検出手段により計測された車両位置の補正を禁止することを特徴とする請求項７又は８に記載の自動走行装置。
10. 前記撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、
    前記位置算出手段は、前記上側画像データ及び前記下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することを特徴とする請求項７又は８に記載の自動走行装置。
11. 前記位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することを特徴とする請求項１０に記載の自動走行装置。
12. 前記位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することを特徴とする請求項１０又は１１に記載の自動走行装置。
13. 前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することを特徴とする請求項１２に記載の自動走行装置。
14. 前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することを特徴とする請求項１２に記載の自動走行装置。
15. 前記撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、
    前記位置算出手段は、前記複数の画像データのうち撮影された領域が一部で重複している２つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することを特徴とする請求項７に記載の自動走行装置。