JP2015194373A - 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム - Google Patents

Abstract

【課題】低い処理負荷で、自車両の位置を正確に検出できる車両位置検出装置を提供する。【解決手段】車両位置検出装置は、道路上にある物体の輪郭を表す各地図線分の位置を含む地図と、局所ごと、かつ、地図線分の向きごとの地図線分の分布を表す地図線分分布情報を記憶する記憶部と、車両に搭載された撮像部が車両の周囲を撮影して得られた画像から、その画像に写っている道路上の物体の輪郭を表す複数の線分を抽出する線特徴抽出部４３２と、画像上で、局所ごと、かつ、線分の向きごとの線分の分布を表す画像線分分布情報を求める線分布情報算出部４３３と、地図上に設定される複数の仮想撮影点のそれぞれについて、仮想撮影点における地図線分分布情報と画像線分分布情報間の一致度合を表す評価値を算出し、評価値が最大となる仮想撮影点を車両の位置とする比較部４３５とを有する。【選択図】図９

Description

本発明は、車両に搭載されたカメラにより撮影された画像と地図を利用してその車両の位置を検出する車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システムに関する。

従来より、ナビゲーションまたは運転支援のために、Global Positioning System(GPS)信号を利用して、走行中の自車両の位置を検出することが行われている。しかし、車両の近くに、高層建築物など、GPSの測位衛星からの測位信号を遮る構造物が存在する場合、車両において測位信号を受信することが困難となり、自車両の位置を正確に検出できないことがあった。そこで、車載カメラにより撮影された、車両周囲の画像と、事前に準備された地図などの情報とを対応付けることで、自車両の位置の検出精度を向上させる方法が提案されている（例えば、特許文献１〜３及び非特許文献１を参照）。

例えば、特許文献１に記載の位置測位装置は、車両の前方を撮影する撮影手段により撮影した画像の中にある道路標示に基づいて現在位置を特定する。

また、特許文献２に記載された移動体位置測定装置は、地図上の参照地点付近で移動体に搭載された撮像部が撮影して得た画像から抽出した特徴情報と、地図の参照地点付近の画像から抽出した特徴情報とをマッチングして推定した参照地点付近の複数の特徴の位置に応じて移動体の現在位置を推定する。

また、特許文献３に記載された方法は、車両の進行方向の画像データに対してテンプレートマッチングを適用することで、画像内で識別された光学指標に関して車両の位置を決定する。

さらに、非特許文献１に記載された方法は、縁石及び道路標示を表す線分含む地図とステレオカメラにより得られた画像から抽出された特徴点とのマッチングにより、自車両の位置を検出する。

特開２００７−１０８０４３号公報 特開２０１２−１２７８９６号公報 特開２００５−１３６９４６号公報

Schreiber他、「LaneLoc: Lane Marking based Localization using Highly Accurate Maps」、Intelligent Vehicles Symposium (IV)、2013 IEEE、IEEE、2013

しかし、特許文献１に記載の装置は、撮影時の環境の影響などにより、道路標示の特徴点の検出が困難な場合、自車両の位置を正確に特定できないおそれがある。特に、特許文献１に記載の装置は、道路標示の端点などを特徴点として抽出し、その特徴点を用いて車両の現在位置を求めるので、道路標示の経年劣化などにより、道路標示の端点がわずかに掠れるだけでも抽出された特徴点の位置がずれてしまい、自車両の位置の検出精度の低下を招いてしまう。

また、特許文献２に記載の装置は、地図の参照地点付近で撮影された画像を自車両の位置の特定に利用するが、参照地点の付近の建物の建て替え、あるいは、撮影時の環境（例えば、天候、撮影時間帯など）によって、同じ場所について撮影された画像であっても、事前登録時に撮影された画像に写っている景色と、自車両位置の検出時に撮影された画像に写っている景色は大きく異なることがある。このような場合、画像間のマッチングに失敗する可能性が高くなり、そのため、自車両の位置を正確に特定できないおそれがある。

さらに、特許文献３に記載の方法は、テンプレートマッチングを利用している。テンプレートマッチングでは、比較対象となる画像とテンプレート間の位置を変えつつ、繰り返しマッチング演算する必要が有るため、自車両の位置の検出に要する演算量が多い。また、非特許文献１に記載の方法では、縁石の検出と道路標示の検出に異なるアルゴリズムが利用されており、それらの検出にステレオ画像を利用するので、演算量が多い。そのためこれらの方法では、自車両の位置の検出に必要なハードウェアリソースが増えてしまうか、あるいは、自車両の位置の検出に時間を要するので、自車両の位置の更新間隔が長くなってしまう。

そこで、本発明は、低い処理負荷で、自車両の位置を正確に検出できる車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システムを提供することを目的とする。

請求項１の記載によれば、本発明の一つの形態として、車両位置検出装置が提供される。この車両位置検出装置は、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図と、局所ごと、かつ、地図線分の向きごとの地図線分の分布を表す地図線分分布情報を記憶する記憶部（４１）と、車両（１０）に搭載された撮像部（２）が車両（１０）の周囲を撮影して得られた画像から、その画像に写っている道路上の物体の輪郭を表す複数の線分を抽出する線特徴抽出部（４３２、５３２）と、画像上で、局所ごと、かつ、線分の向きごとの線分の分布を表す画像線分分布情報を求める線分布情報算出部（４３３、５３４）と、地図上に設定される複数の仮想撮影点のそれぞれについて、仮想撮影点における地図線分分布情報と画像線分分布情報間の一致度合を表す評価値を算出し、評価値が最大となる仮想撮影点を車両の位置とする比較部とを有する。
本発明による車両位置検出装置は、上記の構成を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。

また請求項２の記載によれば、記憶部（４１）は、複数の仮想撮影点のそれぞれについて、仮想撮影点から、撮像部（２）で地図を仮想的に撮影して得られる仮想画像を分割した複数の格子のそれぞれについて、格子に含まれる、仮想画像上に表された地図線分の向きごとの分布を地図線分分布情報として記憶することが好ましい。この場合において、線分布情報算出部（４３３）は、画像を複数の格子に分割し、複数の格子のそれぞれについて、格子に含まれる、画像上に表された線分の向きごとの分布を画像線分分布情報とすることが好ましい。
このような構成を有することで、車両位置検出装置は、仮想撮影点ごとに、撮像部により実際に車両の周囲を撮影して得られる画像と同じように見える仮想画像から得られる地図線分分布情報を画像線分分布情報との比較に利用するので、地図線分分布情報と画像線分分布情報とを適切に比較できる。そのため、車両位置検出装置は、仮想撮影点のうち、車両の位置に最も近い仮想撮影点を正確に特定できる。

また請求項３の記載によれば、車両位置検出装置は、複数の線分のそれぞれを鳥瞰変換して、車両（１０）を基準とする車両座標系での複数の線分のそれぞれの位置を表す鳥瞰画像を求める鳥瞰変換部（５３３）をさらに有することが好ましい。この場合において、記憶部（４１）は、地図を分割した複数の第１の格子のそれぞれについて、第１の格子に含まれる、地図上に表された地図線分の向きごとの分布を記憶し、線分布情報算出部（５３４）は、鳥瞰画像を複数の第２の格子に分割し、複数の第２の格子のそれぞれについて、第２の格子に含まれる、鳥瞰画像上に表された線分の向きごとの分布を画像線分分布情報とし、比較部（５３６）は、複数の仮想撮影点のそれぞれについて、仮想撮影点に応じて車両座標系での複数の第２の格子のそれぞれに対応する第１の格子を特定し、複数の第２の格子のそれぞれに対応する第１の格子のそれぞれの地図線分の向きごとの分布を、仮想撮影点についての地図線分分布情報とすることが好ましい。
このような構成を有することで、車両位置検出装置は、撮像部により実際に車両の周囲を撮影して得られる画像を地図と同じように見える鳥瞰画像から得られる画像線分分布情報を地図線分分布情報との比較に利用する。また、車両位置検出装置は、仮想撮影点に応じて、第２の格子のそれぞれに対応する第１の格子を特定するので、仮想撮影点ごとに、画像線分分布情報と比較すべき地図線分分布情報を適切に設定できる。そのため、車両位置検出装置は、仮想撮影点のうち、車両の位置に最も近い仮想撮影点を正確に特定できる。

さらに、請求項４の記載によれば、複数の地図線分のそれぞれについて、地図線分を横切る方向の輝度勾配の向きに応じて地図線分の向きが設定され、線特徴抽出部（４３２、５３２）は、検出した線分のそれぞれについて、その線分を横切る方向の輝度勾配の向きを求め、輝度勾配の向きに応じてその線分の向きを設定することが好ましい。
このような構成を有することで、車両位置検出装置は、画像線分分布情報と地図線分分布情報の比較において、道路上の物体に対する輪郭の位置の違いも評価することができる。そのため、この車両位置検出システムは、車両の位置をより正確に検出できる。

また、請求項５の記載によれば、本発明の他の形態として、車両位置検出方法が提供される。この車両位置検出方法は、車両（１０）に搭載された撮像部（２）が車両（１０）の周囲を撮影して得られた画像から、その画像に写っている道路上の物体の輪郭を表す複数の線分を抽出するステップと、画像上で、局所ごと、かつ、線分の向きごとの線分の分布を表す画像線分分布情報を求めるステップと、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図上に設定される複数の仮想撮影点のそれぞれについて、仮想撮影点における、局所ごと、かつ、地図線分の向きごとの地図線分の分布を表す地図線分分布情報と画像線分分布情報間の一致度合を表す評価値を算出し、評価値が最大となる仮想撮影点を前記車両（１０）の位置とするステップとを含む。
本発明による車両位置検出方法は、上記のステップを有することにより、低い処理負荷で、自車両の位置を正確に検出できる。

また、請求項６の記載によれば、本発明のさらに他の形態として、車両位置検出用コンピュータプログラムが提供される。このコンピュータプログラムは、車両（１０）に搭載された撮像部（２）が車両（１０）の周囲を撮影して得られた画像から、その画像に写っている道路上の物体の輪郭を表す複数の線分を抽出するステップと、画像上で、局所ごと、かつ、線分の向きごとの線分の分布を表す画像線分分布情報を求めるステップと、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図上に設定される複数の仮想撮影点のそれぞれについて、仮想撮影点における、局所ごと、かつ、地図線分の向きごとの地図線分の分布を表す地図線分分布情報と画像線分分布情報間の一致度合を表す評価値を算出し、評価値が最大となる仮想撮影点を前記車両（１０）の位置とするステップと、を車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含む。
本発明による車両位置検出用コンピュータプログラムは、上記の命令を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。

また、請求項７の記載によれば、本発明のさらに他の形態として、車両位置検出システムが提供される。この車両位置検出システムは、車両（１０）に搭載され、車両（１０）の周囲を撮影して画像を生成する撮像部（２）と、道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図と、局所ごと、かつ、地図線分の向きごとの地図線分の分布を表す地図線分分布情報を記憶する記憶部（４１）と、撮像部（２）から画像を取得する通信部（４２）と、制御部（４３）とを有する。制御部（４３）は、画像に写っている道路上の物体の輪郭を表す複数の線分を抽出し、画像上で、局所ごと、かつ、線分の向きごとの線分の分布を表す画像線分分布情報を求め、地図上に設定される複数の仮想撮影点のそれぞれについて、仮想撮影点における地図線分分布情報と画像線分分布情報間の一致度合を表す評価値を算出し、評価値が最大となる仮想撮影点を車両（１０）の位置とする制御部（４３）とを有する。
本発明による車両位置検出システムは、上記の構成を有することにより、低い処理負荷で、自車両の位置を正確に検出できる。

上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

本発明の一つの実施形態に係る車両位置検出システムの概略構成図である。 世界座標系と、車両座標系と、カメラ座標系の関係を示す図である。 地図情報の一例を示す図である。 （ａ）は、輪郭を表す線分を横切る方向の輝度勾配とその線分に設定される向きの関係の一例を示す図であり、（ｂ）は、白線について設定される各線分の向きの一例を示す図である。 仮想撮影点の設定例を示す図である。 仮想撮影点から地図に示された線分を仮想的に撮影して得られる仮想画像の例を示す図である。 仮想画像に設定される格子の一例を示す図である。 格子ごとに算出される線分の向きごとの線分の長さのヒストグラムの一例を示す図である。 本発明の第１の実施形態に係る車両位置検出システムの制御部の機能ブロック図である。 抽出された線分の一例を示す図である。 画像に設定される格子の一例を示す図である。 第１の実施形態による車両位置検出処理の動作フローチャートである。 地図に設定される格子の一例を示す図である。 第２の実施形態に係る車両位置検出システムの制御部の機能ブロック図である。 抽出された線分を鳥瞰変換することで得られた鳥瞰画像の一例である。 鳥瞰画像に設定される格子の一例を示す図である。 第２の実施形態による車両位置検出処理の動作フローチャートである。

以下、図を参照しつつ、複数の実施形態による、車両位置検出システムについて説明する。
この車両位置検出システムは、車両の周囲を撮影するカメラから取得された画像から、区画線または道路標示などの輪郭に相当する線分を検出する。この車両位置検出システムは、その画像上での局所ごと、かつ、線分の向きごとの線分の分布と、区画線または道路標示などの輪郭に相当する線分を含む地図情報においてその分布と最も一致する位置を見つけることで、車両の位置を検出する。

特に、第１の実施形態では、車両位置検出システムは、車両の周囲を撮影するカメラから得た画像を格子単位で分割し、格子ごとに、線分の向きごとの線分の長さのヒストグラムを作成する。また、この車両位置検出システムは、地図上に仮想撮影点を設定し、仮想撮影点からその地図を仮想的に撮影して得られる仮想画像についても、同様に、格子単位に分割し、格子ごとに、線分の向きごとの線分の長さのヒストグラムを予め記憶しておく。そしてこの車両位置検出システムは、画像から得られた格子ごとのヒストグラムと仮想画像から得られた格子ごとのヒストグラムとを比較することで、画像に最も近い仮想画像を特定することで、自車両の位置を検出する。

図１は、第１の実施形態による車両位置検出システムの概略構成図である。図１に示すように、車両位置検出システム１は、車両１０に搭載され、車載カメラ２と、コントローラ４とを有する。車載カメラ２と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）３によって互いに接続されている。なお、図１では、説明の都合のため、車両位置検出システム１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。

車載カメラ２は、撮像部の一例であり、車両の前方領域を撮影し、その前方領域の画像を生成する。そのために、車載カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車両１０の前方に存在する地面または構造物などの像を結像する結像光学系を有する。そして車載カメラ２は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の前方を向くように、車両１０の車室内に配置される。そして車載カメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影し、車両１０の前方領域を撮影したカラー画像を生成する。なお、車載カメラ２は、近赤外光に感度を有する２次元検出器を有し、その撮像範囲内の近赤外光の照度に応じたグレー画像を生成してもよい。

図２は、世界座標系と、車両座標系と、カメラ座標系の関係を示す図である。本実施形態では、便宜上、実空間の任意の位置を原点とする世界座標系(Xw, Yw, Zw)と、車両１０を原点とする車両座標系(Xv, Yv, Zv)と、車載カメラ２を原点とするカメラ座標系(Xc, Yc, Zc)を利用する。本実施形態では、車両座標系(Xv, Yv, Zv)は、車両１０の左右の後輪間の中点かつ地面上の点を原点とする。そして車両の進行方向をZv軸とし、Zv軸と直交し、かつ、地面に平行な方向をXv軸とし、鉛直方向をYv軸とする。また世界座標系(Xw, Yw, Zw)においても、地面に平行な面内にXw軸及びZw軸が設定され、鉛直方向にYw軸が設定される。また、カメラ座標系(Xc, Yc, Zc)では、説明の簡単化のために、車両座標系の原点から鉛直方向に沿って上方かつ車載カメラ２が設置される高さの位置に撮像面の中心があると仮定して、その撮像面の中心を原点とする。そして車両座標系と同様に、車両の進行方向をZc軸とし、Zc軸と直交し、かつ、地面に平行な方向をXc軸とし、鉛直方向をYc軸とする。
なお、実際に車載カメラ２が取り付けられる位置は、車両１０の左右の後輪間の中点の上方からずれていることもあるが、このずれは、単純な平行移動によって補正すればよい。

なお、車両位置検出システム１は、撮像部として、車両１０の前方領域を撮影するカメラの代わりに、あるいはそのカメラとともに、車両の後方領域を撮影するリアカメラを有していてもよい。

車載カメラ２は、生成した画像を逐次コントローラ４へ送信する。なお、車両の前方領域を撮影する車載カメラと車両の後方領域を撮影する車載カメラが取り付けられている場合、コントローラ４は、車両が進行している方向を撮影する車載カメラからの画像のみを選択的に取得してもよい。そのために、コントローラ４は、ＣＡＮ３を介して車両１０の電子制御ユニット(ECU)１１から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ４は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車載カメラから画像を取得する。一方、コントローラ４は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車載カメラから画像を取得する。

コントローラ４は、車両位置検出装置の一例であり、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、車両位置検出システム１を制御するための各種プログラム、地図情報、車載カメラ２の地面からの高さ及び光軸方向といった車載カメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部４３による一時的な演算結果などを記憶する。また記憶部４１は、車載カメラ２の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量（すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向）を記憶してもよい。
また、通信部４２は、車載カメラ２、ＥＣＵ１１及び車輪速センサ（図示せず）などの各種センサとＣＡＮ３を通じて通信する通信インターフェース及びその制御回路を有する。

以下、車両位置検出に利用される、地図関連の情報について説明する。
図３は、地図情報の一例を示す図である。地図情報３００は、その地図情報で表された領域の位置を表す緯度経度情報と関連付けられている。そして地図情報３００は、縁石などによる段差、白線、黄線といった区画線、及び、横断歩道、停止線などの道路標示に関する情報を含む。具体的には、線分３０１で示されるように、段差、各区画線及び道路表示のそれぞれの輪郭が線分で近似され、各線分の始点の座標o^r _sと終点の座標o^r _e（世界座標系で表される）が地図情報３００に含まれる。さらに、各線分には、その線分が表している物体の種別（例えば、段差、白線、黄線、横断歩道など）を表すラベルが関連付けられる。なお、以下では、地図情報に含まれる線分を地図線分と呼ぶ。

区画線などの輪郭を表す各線分には、その線分を横切る方向の輝度勾配に応じた向きが設定される。
図４（ａ）は、輪郭を表す線分を横切る方向の輝度勾配とその線分に設定される向きの関係の一例を示す図である。図４（ａ）に示される矢印４０１〜４０８は、それぞれ、線分の向きを表し、４５°間隔で設定される。矢印４０１〜４０８の根元が始点sに対応し、矢印４０１〜４０８の先端が終点eに対応する。そして矢印４０１〜４０８には、線分の始点sから終点eを見たときの、線分の左右それぞれの相対的な輝度が示されている。この例では、始点sから終点eを見たときに、線分の左から右へ向けて輝度が低下するように、線分の向き、すなわち、線分の始点及び終点が設定される。例えば、矢印４０１に示されるように、垂直方向(すなわち、Zw軸方向)の線分であり、かつ、右側の輝度よりも左側の輝度の方が高い場合には、始点sよりも終点eの方がZw軸の座標値が大きくなるように、始点s及び終点eが設定される。逆に、矢印４０５に示されるように、垂直方向(すなわち、Zw軸方向)の線分であり、かつ、左側の輝度よりも右側の輝度の方が高い場合には、始点sよりも終点eの方がZw軸の座標値が小さくなるように、始点s及び終点eが設定される。

図４（ｂ）は、白線について設定される各線分の向きの一例を示す図である。白線４１０の輪郭は、４個の線分４１１〜４１４で表される。各線分の向きは矢印で表される。白線４１０の輝度は、その周囲の輝度よりも高い。そのため、白線４１０の右側の輪郭を表す線分４１１は、図４（ａ）の矢印４０８に対応するので、Zw軸の下端に近い方の端点が始点sとなり、Zw軸の上端に近い方の端点が終点eとなっている。逆に、白線４１０の左側の輪郭を表す線分４１３は、図４（ａ）の矢印４０４に対応するので、Zw軸の下端に近い方の端点が終点eとなり、Zw軸の上端に近い方の端点が始点sとなっている。同様に、矢印４１２は、図４（ａ）の矢印４０６に対応するので、右側の端点が始点sとなり、左側の端点が終点eとなる。また、矢印４１４は、図４（ａ）の矢印４０２に対応するので、左側の端点が始点sとなり、右側の端点が終点eとなる。
このように、線分の向きを参照することで、その線分が区画線などのどちら側の輪郭を表しているかが分かる。

なお、段差またはマンホールの輪郭のように、線分と直交する方向の輝度勾配の大きさが所定値よりも小さい線分については、向きは設定されなくてもよい。この場合には、例えば、線分に向きが設定されていないことを表すフラグが対応付けられる。そしてその線分の両端点の何れが始点であってもよい。

次に、地図情報から作成される、局所ごと、かつ、線分の向きごとの線分の分布を表す地図線分分布情報の一例である記述子について説明する。上述したように、本実施形態では、地図上に設定される仮想撮影点ごとに、その仮想撮影点に対応する仮想画像から、局所ごと、かつ、線分の向きごとの線分の分布を表す記述子が作成される。

図５は、仮想撮影点の設定例を示す図である。地図５００には、世界座標系で複数の仮想撮影点５０１が設定されている。隣接する仮想撮影点間の間隔は、例えば、要求される車両の位置の検出精度に応じた間隔（例えば、1m〜5m）に設定される。また、各仮想撮影点５０１には、矢印５０２に示されるように、複数の撮影方向が設定されてもよい。この撮影方向は、仮想的な車両１０の方位に対応する。なお、撮影方向は、想定される車両１０の進行方向についてのみ設定されてもよい。例えば、２車線の道路では、左側の車線上に設定される仮想撮影点については、Zw軸の値が正となる方向についてのみ、撮影方向が設定され、一方、右側の車線上に設定される仮想撮影点については、Zw軸の値が負となる方向についてのみ、撮影方向が設定されてもよい。

仮想撮影点及び撮影方向が設定されると、その仮想撮影点から設定された撮影方向に向けて地図上に記載された道路上の物体を表す地図線分を仮想的に撮影した仮想画像が生成される。仮想画像は、例えば、車載カメラ２により生成される画像と同サイズとすることが好ましい。

地図上でのr番目(r=1,2,...,R)の地図線分の始点をo^r _s=(o^r _sx,o^r _sz)^t、終点をo^r _e=(o^r _ex,o^r _ez)^tとすると、仮想画像上でのその地図線分の始点l^r _s=(l^r _su,l^r _sv) ^t及び終点l_re=(l^r _eu,l^r _ev)^tは、次式で算出される。

ここで、回転行列R^vg _kは、k番目の仮想撮影点（ただし、個々の仮想撮影点は、世界座標系で表される位置だけでなく、撮影方向も含めて設定される）に対応する回転行列であり、θ_kは、その撮影方向である。また並進行列t^vgは、世界座標系でのk番目の仮想撮影点の位置を表す。また、(c_u,c_v)、(f_u,f_v)は内部パラメータであり、具体的に、(c_u,c_v)は、車載カメラ２の光軸に対応する画像上の点、すなわち、画像中心の座標である。また(f_u,f_v)は、水平方向と垂直方向の1画素あたりのサイズの違いを考慮した、車載カメラ２の焦点距離に対応する値である。またy_cは、路面から車載カメラ２までの高さを表す。そして(β^r _skx,β^r _skz)、(β^r _ekx,β^r _ekz)は、それぞれ、車両１０がk番目の仮想撮影点の位置にいて撮影方向がθ_kである場合の地図線分(o^r _s, o^r _e)を車両座標系で表したときの始点及び終点の座標である。なお、この例では、仮想撮影を行うカメラの光軸が地図上の路面と平行であると仮定して、（１）式の各パラメータが設定されている。

なお、両端点の何れもが仮想撮影点から所定距離以上離れている地図線分については、仮想画像上での対応する線分を求めなくてもよい。このような地図線分は、仮想画像上で小さくしか写らず、車両位置の検出に利用すると、誤差が大きくなり、位置検出の精度が低下してしまうおそれがあるからである。なお所定距離は、例えば、30mに設定される。

図６は、仮想撮影点から地図線分を仮想的に撮影して得られる仮想画像の例を示す図である。仮想画像６０２は、地図６００上の仮想撮影点６０１から仮想的に撮影して得られる画像である。

局所ごと、かつ、線分の向きごとの線分の分布を調べるために、各仮想画像は、格子状に分割される。
図７は、図６に示された仮想画像に設定される格子の一例を示す図である。図７に示されるように、仮想画像７００は、個々の格子７０１に複数の地図線分が含まれることが可能なように分割される。一つの格子のサイズは、例えば、30画素×30画素に設定される。また便宜上、個々の格子には、ラスタスキャン順に番号j=1,2,...,Jが設定される。

格子ごと、かつ、線分の向きごとの地図線分の分布を表すヒストグラムが生成される。このヒストグラムでは、個々のビンが等角度間隔、例えば、π/8(=45°)間隔で設定される。さらに、格子内に地図線分が含まれていない場合に対応するために、線分無しに相当するビンが追加される。

またこの例では、ビンごとの線分の度数は、そのビンに対応する向きを持ち、格子に含まれる線分の長さの合計で表される。例えば、基準となる方向（例えば、水平方向）を0°とし、地図線分の始点を回転中心として、基準となる方向とその地図線分のなす、反時計回りの角度に相当するビンが、その地図線分の長さを加算すべきビンとなる。このように角度を規定することで、区画線または道路標示といった、周囲よりも明るい物体の輪郭を表す地図線分に関して、その物体に対して隣接している方向を区別して、地図線分の分布が求められる。
なお、段差を表す線分のように、向きが設定されていない地図線分については、その地図線分と基準となる方向とがなす角度に相当するビンと、その角度に180°加算または減算した角度に相当するビンとに、それぞれ、その地図線分の半分の長さを加算すればよい。

格子内の全ての地図線分の長さが加算されると、各ビンの線分の長さの合計が1となるように、ヒストグラムは正規化される。

図８は、格子ごとに算出される線分の向きごとの線分の長さの正規化ヒストグラムの一例を示す図である。
図８において、正規化ヒストグラム８１１は、仮想画像８００上の格子８０１について求められたヒストグラムであり、正規化ヒストグラム８１２は、仮想画像８００上の格子８０２について求められたヒストグラムである。格子８０１には、向きの異なる２本の地図線分が含まれているので、正規化ヒストグラム８１１では、それらの線分の向きに相当する二つのビン８２１、８２２の値の合計が1となり、その他のビンの値は0となる。また、格子８０２には、地図線分が含まれていないので、正規化ヒストグラム８１２では、'無'に相当するビンの値が1となり、他のビンの値は0となる。

ここで、仮想撮影点y_k=(x_k,z_k,θ_k)^tに対応する仮想画像上のj番目の格子についての正規化ヒストグラムをη_k,jとする。このとき、仮想画像全体にわたって格子の番号順に正規化ヒストグラムを並べた行列a_k=(η_k,1,η_k,2,...,η_k,J)^tが、仮想撮影点y_kに対応する、局所ごと、かつ、線分の向きごとの地図線分の分布を表す。以下、便宜上、a_kを記述子と呼ぶ。

記憶部４１は、仮想撮影点y_k(k=1,2,...,K)ごとの記述子a_k(k=1,2,...,K)を、その仮想撮影点の世界座標系における座標(x_k,z_k)及び撮影方向θ_kとともに記憶する。

制御部４３は、１個もしくは複数個の図示していないプロセッサ及びその周辺回路を有する。そして制御部４３は、車両位置検出システム１全体を制御する。
図９に、第１の実施形態による、制御部４３の機能ブロック図を示す。図９に示すように、制御部４３は、初期値設定部４３１と、線特徴抽出部４３２と、線分布情報算出部４３３と、検索範囲設定部４３４と、比較部４３５とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。

初期値設定部４３１は、本実施形態による、車両１０の位置の検出、すなわち、自車両の位置の検出を開始する際の自車両の位置の初期値を設定する。例えば、初期値設定部４３１は、GPSの測位信号が最後に受信できたときのその測位信号から求められる位置と、自車両の位置の検出を開始する直前において異なる時刻に受信したGPSの測位信号から求めた自車両の位置の変化から算出された自車両の方位を、例えば、ナビゲーションシステムから受信する。そして得られた位置(x_t,z_t)及び方位θ_tを、自車両の位置の初期値μ_t=(x_t,z_t,θ_t)^tに設定する。
なお、初期値設定部４３１により設定される初期値は、本実施形態による自車両の位置の検出精度よりも低い検出精度で得られる値であってもよい。

初期値設定部４３１により設定された自車両の位置の初期値は、記憶部４１に記憶される。

線特徴抽出部４３２は、車載カメラ２が生成した画像のうち、現時刻tに最も近い時刻に生成された画像から線分を抽出する。その際、線特徴抽出部４３２は、Line Segment Detector(LSD)と呼ばれる検出器を画像に適用することで線分を抽出する。なお、LSDについては、例えば、Rafael Grompone von Gioi他、「LSD: A Fast Line Segment Detector with a False Detection Control」、Pattern Analysis and Machine Intelligence、IEEE Transactions、vo. 32、no. 4、pp.722-732、2010年4月を参照されたい。
なお、線特徴抽出部４３２は、画像から線分を検出するための他の様々な手法のうちの何れかを車載カメラ２から取得された画像に適用して、線分を抽出してもよいい。
また、線特徴抽出部４３２は、車載カメラ２から取得された画像から線分を抽出する前に、その画像に対して歪曲収差などによる画像の歪みを補正してもよい。

図１０は、画像から抽出された線分の一例を示す図である。画像１０００において、線分１００１が線特徴抽出部４３２により抽出された線分である。図１０に示されるように、線分１００１は、区間線の輪郭、道路標示の輪郭あるいは段差などに沿って抽出される。

本実施形態では、車両位置検出システム１は、変更されることが比較的少ない、道路標示といった道路上の情報を利用し、道路脇の建物の建て替えなどにより影響される、路面よりも上方にある情報は利用しない。そこで、線特徴抽出部４３２は、抽出された線分のうち、線分の両端点の垂直方向の座標値が所定の閾値Th未満となる線分を消去する。ただし、画像上では、左上端画素を原点とし、下方に行くほど垂直方向の座標値は大きくなるものとする。すなわち、線分の両端点の垂直方向の座標値が所定の閾値Thよりも上側に位置する線分が消去される。また本実施形態では、車載カメラ２の光軸が路面と平行となるように車載カメラ２は設置されているので、画像中心を含む水平方向の線が地平線に相当する。そこで所定の閾値Thは、画像中心の高さから所定のオフセット（例えば、5〜10）を減じた値とすることができる。

上記のように、区画線または道路標示の輪郭線などが、線分として抽出される。そのため、抽出された線分を横切る方向に沿って輝度が変化することがある。そこで線特徴抽出部４３２は、抽出された線分が、輝度の明るい物（白線、黄線、道路標示）のどちら側に隣接する輪郭線であるかが分かるように、例えば、図４（ａ）に示される矢印４０１〜４０８に従って、抽出された線分の向きを設定する。すなわち、線特徴抽出部４３２は、抽出された線分の両端点の一方を始点とし、他方を終点とする。その際、線特徴抽出部４３２は、例えば、画像から輝度勾配画像を生成し、線分上の各画素の輝度勾配の方向のメディアン値を算出する。そして線特徴抽出部４３２は、そのメディアン値により、線分の左側及び右側のうちの輝度の高い方を特定すればよい。なお、線分上の各画素についての輝度勾配の大きさの平均値が所定の閾値よりも小さい場合には、線特徴抽出部４３２は、その線分の両端のうちの何れを始点としてもよい。そして線特徴抽出部４３２は、その線分に、向きが設定されていないことを表すフラグを関連付ける。

線特徴抽出部４３２は、抽出された線分の始点と終点の座標を記憶部４１に記憶する。

線分布情報算出部４３３は、仮想画像について算出される記述子と同様に、画像を格子単位に分割し、格子ごとに、線分の向きごとの線分の長さの正規化ヒストグラムを算出する。この場合も、正規化ヒストグラムには、個々のビンが等角度間隔（例えば、π/8間隔）で設定されるとともに、線分が含まれない格子に対応するように、線分無のビンが設けられる。また、線分布情報算出部４３３は、仮想画像について記述子を算出する際と同様に、各格子について、各ビンごとの線分の長さの合計を求め、ビンごとの長さの合計が1となるようにヒストグラムを正規化する。
ここで、画像上のj番目の格子についての正規化ヒストグラムをκ_jとする。線分布情報算出部４３３は、画像全体にわたって格子の番号順に正規化ヒストグラムを並べた記述子λ=(κ₁,κ₂,...,κ_J)^tを作成する。この記述子λは、局所ごと、かつ、線分の向きごとの画像に写った、路面にある物体の輪郭などの線分の分布を表す画像線分分布情報の一例である。

図１１は、画像に設定される格子の一例を示す図である。画像１１００には、仮想画像の水平方向及び垂直方向のそれぞれについて設定される格子の数と同じ数の格子１１０１が、水平方向及び垂直方向のそれぞれに設定される。また、仮想画像に対して設定される格子と同様の順序、例えば、ラスタスキャン順に、各格子に番号が付与される。すなわち、画像１１００に設定されたj番目の格子と、仮想画像について設定された同じj番目の格子とは、それぞれ、画像上の同じ位置に相当する。したがって、車両位置検出システム１は、同一番号の格子についての正規化ヒストグラム同士を比較することで、画像と仮想画像との間で、局所ごと、かつ、線分の向きごとの線分の分布を比較することができる。

線分布情報算出部４３３は、記述子λを記憶部４１に記憶する。

検索範囲設定部４３４は、仮の自車両の位置に基づいて、現時刻tにおいて自車両が位置する可能性がある範囲を地図上の検索範囲として設定する。仮の自車両の位置は、例えば、車両位置検出処理の初回の実施時であれば、初期値設定部４３１により設定された自車両の位置の初期値とすることができる。また、前時刻(t-1)において、車両位置検出処理が行われている場合には、仮の自車両の位置を、前時刻(t-1)において検出された自車両の位置とすることができる。また、検索範囲設定部４３４は、前時刻(t-1)において検出された自車両の位置を、車両１０に取り付けられた車速センサまたは操舵角センサなどから受信した車速あるいは操舵角に基づいて予測した、現時刻tにおける自車両の予測位置を、仮の自車両の位置としてもよい。

検索範囲設定部４３４は、仮の自車両の位置を中心とする所定範囲を検索範囲とする。例えば、GPSまたはGPSを利用するナビゲーションシステムでは、車両位置の検出精度として20m程度の精度が期待できる。そこで検索範囲設定部４３４は、例えば、仮の自車両の位置を中心とする半径20mの範囲を検索範囲に設定する。あるいは、検索範囲設定部４３４は、仮の自車両の位置での自車両の進行方向の方位θ_kに対して±90°内では検索範囲を相対的に広く、例えば、仮の自車両の位置から20m以内を検索範囲とし、一方、方位θ_kに対して±90°から外れる方向には、検索範囲を相対的に狭く、例えば、仮の自車両の位置から10m以内を検索範囲としてもよい。これにより、検索範囲が狭くなるので、検索範囲内に含まれる仮想撮影点の数が減り、その結果として、後述する比較部４３５による演算量が削減される。

比較部４３５は、検索範囲内の仮想撮影点のうち、画像との間で、局所ごと、かつ、線分の向きごとの線分の分布が最も一致する仮想撮影点を特定する。そして比較部４３５は、特定された仮想撮影点を、現時刻tにおける自車両の位置とする。
そのために、比較部４３５は、検索範囲に含まれる仮想撮影点についての記述子a_kを記憶部４１から読み込む。そして比較部４３５は、読み込んだ記述子a_kのそれぞれについて、画像から得られた記述子λの内積γ_k=a_k ^tλを、評価値として算出する。この評価値は、その仮想撮影点における、地図線分分布情報と画像線分分布情報の一致度合を表す。比較部４３５は、評価値γ_kが最大となる仮想撮影点を、現時刻tにおける自車両の位置とする。

図１２は、車両位置検出処理の動作フローチャートである。車両位置検出システム１は、例えば、ナビゲーションシステムから、GPSに基づいて自車両の位置が検出可能になったことを通知されるまで、所定の周期ごとに、例えば、車載カメラ２の撮影周期ごとに、以下に示す動作フローチャートに従って自車両の位置を検出する。

線特徴抽出部４３２は、車載カメラ２が生成した画像のうち、現時刻tに最も近い時刻に生成された画像から、道路上の線分を抽出する（ステップＳ１０１）。そして線特徴抽出部４３２は、抽出された各線分について、その線分を横切る方向の輝度勾配に応じて線分の向き、すなわち、始点及び終点を設定する（ステップＳ１０２）。

線分布情報算出部４３３は、画像を格子ごとに分割し、各格子について、線分の向きごとの線分の長さの合計を表す正規化ヒストグラムを算出することで、記述子λを求める（ステップＳ１０３）。

また、検索範囲設定部４３４は、仮の自車両の位置に基づいて、地図上の検索範囲を設定する（ステップＳ１０４）。比較部４３５は、検索範囲内の仮想撮影点のそれぞれについて、その仮想撮影点の地図線分分布情報である記述子a_kと画像線分分布情報である記述子λの内積を計算することで、その仮想撮影点における、記述子a_kと記述子λ間の、局所ごと、かつ、向きごとの線分の分布の一致度合を表す評価値を算出する（ステップＳ１０５）。そして比較部４３５は、評価値が最大となる仮想撮影点を、現時刻tにおける自車両の位置として検出する（ステップＳ１０６）。そして制御部４３は、車両位置検出処理を終了する。なお、制御部４３は、ステップＳ１０１〜１０３の処理と、ステップＳ１０４の処理の順序を入れ替えてもよく、あるいは、並列に実行してもよい。

以上説明してきたように、本発明の第１の実施形態である車両位置検出システムは、テンプレートマッチングのように、繰り返し試行する処理を伴わずに自車両の位置を検出できる。そのため、この車両位置検出システムは、処理負荷を抑制できる。またこの車両位置検出システムは、画像上での道路上の物体を表す線分の局所ごと、かつ、向きごとの分布と、地図から仮想的に得られる仮想画像上での道路上の物体を表す線分の局所ごと、かつ、向きごとの分布とを比較して、その分布が最も一致する仮想撮影点を自車両の位置とするので、自車両の位置を正確に検出できる。また、道路上の物体を表す線分の向きは、道路上の物体の端点などの特徴点よりも、その物体の一部の損耗により影響され難い。そのため、この車両位置検出システムは、路面の環境変化などに対して高いロバスト性を持って自車両の位置を検出できる。さらに、この車両位置検出システムは、線分を横切る方向の輝度勾配を表す情報も線分の向きとして表現するので、線分の分布の比較において、道路上の物体に対する輪郭の位置の違いも評価することができる。そのため、この車両位置検出システムは、自車両の位置を正確に検出できる。

次に、第２の実施形態による、車両位置検出システムについて説明する。この車両位置検出システムでは、地図そのものに格子が設定され、格子ごとに、線分の向きごとの線分の長さの正規化ヒストグラムが予め作成される。一方、この車両位置検出装置は、車載カメラにより得られた画像から抽出した各線分を鳥瞰変換して得られた鳥瞰変換画像に格子を設定し、格子ごとに、線分の向きごとの線分の長さの正規化ヒストグラムを作成する。そしてこの車両位置検出装置は、地図から算出された格子ごとの正規化ヒストグラムと、鳥瞰変換画像から算出された格子ごとの正規化ヒストグラムを比較して、鳥瞰変換画像と最も一致する地図上の位置を検出することで、自車両の位置を検出する。

第２の実施形態による車両位置検出システムは、第１の実施形態による車両位置検出システムと比較して、記憶部４１に予め記憶される、地図に関連する情報と、制御部４３により行われる処理の一部が異なる。そこで以下では、記憶部４１に予め記憶される、地図に関連する情報と、制御部４３について説明する。車両位置検出システムのその他の構成要素については、第１の実施形態による車両位置検出システムの対応する構成要素の説明を参照されたい。

本実施形態では、記憶部４１は、地図に関連する情報として、地図に対して直接設定した各格子についての線分の向きごとの線分の長さの分布を表す正規化ヒストグラムと、各格子の範囲を記憶する。

図１３は、地図に設定される格子の一例を示す図である。図１３に示されるように、地図１３００に、複数の格子１３０１が設定される。各格子は、一方の辺がXw軸に沿い、その辺と直交する方向の辺がZw軸に沿うように設定される。また各格子のサイズは、例えば、道路標示が複数の格子に跨り、かつ、一つの区画線の左右の輪郭の一部が一つの格子に含まれる程度のサイズ、例えば、1m×1mに設定される。また各格子には、例えば、ラスタスキャン順に、左上端から順に番号が割り当てられる。

地図に設定された各格子について、格子に含まれる線分の向きごとの線分の長さの正規化ヒストグラムが生成される。この正規化ヒストグラムの生成方法は、第１の実施形態における、仮想画像または画像について設定された格子についての線分の向きごとの線分の長さの正規化ヒストグラムの生成方法と同様である。以下では、便宜上、j番目の格子の正規化ヒストグラムをη_j(j=1,2,...,J)と表記する。

図１４に、第２の実施形態による、制御部４３の機能ブロック図を示す。図１４に示すように、制御部４３は、初期値設定部５３１と、線特徴抽出部５３２と、鳥瞰変換部５３３と、線分布情報算出部５３４と、検索範囲設定部５３５と、比較部５３６とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。

第１の実施形態による制御部４３と比較して、第２の実施形態による制御部４３は、鳥瞰変換部５３３を有する点と、線分布情報算出部５３４、検索範囲設定部５３５及び比較部５３６により行われる処理が異なる。そこで以下では、鳥瞰変換部５３３、線分布情報算出部５３４、検索範囲設定部５３５及び比較部５３６について説明する。

鳥瞰変換部５３３は、線特徴抽出部５３２により画像から抽出された各線分を、記憶部４１に記憶されている地図情報に表された各線分と比較できるように、車両１０の周囲の路面が平面であると仮定して、車両座標系にて鳥瞰変換する。例えば、鳥瞰変換部５３３は、次式に従って各線分の始点と終点を鳥瞰変換する。なお、便宜上、以下では、鳥瞰変換された線分を画像線分と呼ぶ。

ここで(uⁱ _mt,vⁱ _mt)は、現時刻tに最も近い時刻に撮影された画像から抽出された線分のうちのi番目の線分の始点(m=s)または終点(m=e)についての画像上の水平方向の座標値及び垂直方向の座標値を表す。またbⁱ _mt=(bⁱ _m,x,t,bⁱ _m,z,t)^tは、抽出された線分のうちのi番目の線分の始点(m=s)または終点(m=e)が鳥瞰変換された位置の車両座標系での位置を表す。そして(c_u,c_v)、(f_u,f_v)は内部パラメータであり、具体的に、(c_u,c_v)は、車載カメラ２の光軸に対応する画像上の点、すなわち、画像中心の座標である。また(f_u,f_v)は、水平方向と垂直方向の1画素あたりのサイズの違いを考慮した、車載カメラ２の焦点距離に対応する値である。またycは、路面から車載カメラ２までの高さを表す。

図１５は、抽出された線分を鳥瞰変換することで得られた鳥瞰画像の一例である。図１５に示されるように、鳥瞰画像１５００において、各画像線分１５０１により、区画線、道路標示などが真上から見た形状で表されていることが分かる。

鳥瞰変換部５３３は、各画像線分の始点と終点の座標を記憶部４１に記憶する。

線分布情報算出部５３４は、鳥瞰画像に基づいて、画像線分分布情報を求める。本実施形態では、線分布情報算出部５３４は、鳥瞰画像を複数の格子に分割する。

図１６は、鳥瞰画像に設定される格子の一例を示す図である。鳥瞰画像１６００は、地図に設定される格子と同サイズの格子１６０１で分割される。また格子には、例えば、ラスタスキャン順に番号が付与される。そして線分布情報算出部５３４は、鳥瞰画像に設定された各格子について、格子に含まれる線分の向きごとの画像線分の長さの正規化ヒストグラムを算出する。この正規化ヒストグラムの算出方法は、第１の実施形態における、仮想画像または画像について設定された格子についての線分の向きごとの線分の長さの正規化ヒストグラムの算出方法と同様である。そして線分布情報算出部４３３は、第１の実施形態と同様に、鳥瞰画像全体にわたって格子の番号順に正規化ヒストグラムを並べた記述子λ=(κ₁,κ₂,...,κ_J)^tを、画像線分分布情報として作成する。ただし、κ_jは、鳥瞰画像上のj番目の格子についての正規化ヒストグラムを表す。また線分布情報算出部５３４は、各格子の中心点の座標をχ_m=(χ_mx,χ_mz)^t (m=1,2,...,M)とする。

検索範囲設定部５３５は、第１の実施形態による検索範囲設定部４３４と同様に、仮の自車両の位置を中心とする所定範囲を地図上の検索範囲とする。なお、仮の自車両の位置及び所定範囲も、検索範囲設定部４３４と同様に設定すればよい。

さらに、本実施形態では、検索範囲設定部５３５は、検索範囲内に１個以上の仮想撮影点を設定する。例えば、検索範囲設定部５３５は、隣接する仮想撮影点間の間隔が、要求される車両の検出位置の精度（例えば、1m〜5m）と同程度となるように、検索範囲内に等間隔に複数の仮想撮影点を設定する。また第１の実施形態と同様に、検索範囲設定部５３５は、一つの仮想撮影点に、複数の撮影方向を設定してもよい。以下では、仮想撮影点を、撮影方向を含めてy_k=(x_k,z_k,θ_k)^t(k=1,2,...,K)と表記する。

比較部５３６は、鳥瞰画像について求められた画像線分分布情報と、地図線分分布情報とを比較することで、鳥瞰画像と最も一致する地図上の位置を特定し、その位置を現時刻tにおける自車両の位置として検出する。

そのために、比較部５３６は、仮想撮影点ごとに、鳥瞰画像について設定された各格子の中心点の位置を、仮想撮影点から決定される回転並進行列R^vg _k、t^vg _kを用いて、次式に従って世界座標系の座標に変換する。

ここで、回転行列R^vg _kは、k番目の仮想撮影点に対応する回転行列であり、θ_kは、その仮想撮影点についての撮影方向である。また並進行列t^vgは、世界座標系でのk番目の仮想撮影点の位置を表す。またφ_kmは、k番目の仮想撮影点に対応する回転並進行列にて座標変換することにより世界座標系で表された、m番目(m=1,2,...,M)の格子の中点の座標である。

比較部５３６は、各仮想撮影点について、中点φ_kmが含まれる地図上に設定された格子を特定する。そして比較部５３６は、中点φ_km(m=1,2,...,M)の番号順に、その中点が含まれる格子の正規化ヒストグラムを並べたものを、地図線分分布情報の一例である記述子a_k=(η_k,1,η_k,2,...,η_k,J)^tとする。
さらに、比較部５３６は、各格子の正規化ヒストグラムη_k,jにおいて、仮想撮影点における撮影方向θ_kによる線分の向きのずれを打ち消すように、線分無しに相当するビンを除く、各ビンの値を、そのθ_kに相当するビンの数だけシフトさせる。

比較部５３６は、各仮想撮影点に対応する記述子a_kのそれぞれについて、鳥瞰画像から得られた記述子λとの内積γ_k=a_k ^tλを、画像線分分布情報と地図線分分布情報の一致度合を表す評価値として算出する。比較部５３６は、評価値γ_kが最大となる仮想撮影点を、現時刻tにおける自車両の位置とする。

図１７は、第２の実施形態による車両位置検出処理の動作フローチャートである。

線特徴抽出部５３２は、車載カメラ２が生成した画像のうち、現時刻tに最も近い時刻に生成された画像から、道路上の線分を抽出する（ステップＳ２０１）。そして線特徴抽出部５３２は、抽出された各線分について、その線分を横切る方向の輝度勾配に応じて線分の向き、すなわち、始点及び終点を設定する（ステップＳ２０２）。

鳥瞰変換部５３３は、各線分の始点及び終点を鳥瞰変換して、各線分について、車両座標系で表される、鳥瞰画像上の位置を特定する（ステップＳ２０３）。

線分布情報算出部５３４は、鳥瞰画像を格子ごとに分割し、各格子について、線分の向きごとの線分の長さの合計を表す正規化ヒストグラムを算出することで、記述子λを求める（ステップＳ２０４）。

また、検索範囲設定部５３５は、仮の自車両の位置に基づいて、地図上の検索範囲を設定する（ステップＳ２０５）。そして検索範囲設定部５３５は、検索範囲内に複数の仮想撮影点を設定する（ステップＳ２０６）。

比較部５３６は、検索範囲内の仮想撮影点のそれぞれについて、その仮想撮影点に対応する回転並進行列を用いて、鳥瞰画像に設定された各格子の中点の位置を世界座標系の位置に変換する（ステップＳ２０７）。そして比較部５３６は、仮想撮影点ごとに、各格子の中点を含む、地図上の格子を特定し、特定された格子の正規化ヒストグラムを、記述子λに記述された格子の順序と同じ順序で並べることで、仮想撮影点ごとの記述子a_kを求める（ステップＳ２０８）。さらに、比較部５３６は、仮想撮影点における撮影方向θ_kに応じて、各格子の正規化ヒストグラムにおける線分の向きのずれを補正する（ステップＳ２０９）。そして比較部５３６は、仮想撮影点ごとに、鳥瞰画像から得られた画像線分分布情報である記述子λとその仮想撮影点における地図線分分布情報である記述子a_kの内積を計算することで、鳥瞰画像と仮想撮影点に対応する位置の地図における、記述子a_kと記述子λ間の、局所ごと、かつ、向きごとの線分の分布の一致度合を表す評価値を算出する（ステップＳ２１０）。そして比較部５３６は、評価値が最大となる仮想撮影点を、現時刻tにおける自車両の位置として検出する（ステップＳ２１１）。そして制御部４３は、車両位置検出処理を終了する。なお、制御部４３は、ステップＳ２０１〜２０４の処理と、ステップＳ２０５〜Ｓ２０６の処理の順序を入れ替えてもよく、あるいは、並列に実行してもよい。

以上説明してきたように、本発明の第２の実施形態である車両位置検出システムも、第１の実施形態である車両位置検出システムと同様の効果を奏する。さらに、第２の実施形態による車両位置検出システムでは、仮想撮影点は、検索範囲の中だけに設定されるので、事前に準備され、記憶部に記憶される情報量が、第１の実施形態よりも少なくてよい。そのため、第２の実施形態による車両位置検出システムは、第１の実施形態よりも、記憶部の記憶容量を削減できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。変形例によれば、地図線分及び線特徴抽出部が画像から抽出した線分を横切る方向の輝度勾配の向きに関する情報を、その線分の向きで表す代わりに、他の形式で表してもよい。例えば、線分を横切る方向の輝度勾配の向きは、その線分と関連付けられたフラグによって表されてもよい。例えば、その線分を左から右へ、あるいは上から下へ横切る方向に沿って輝度が低下する場合には、そのフラグの値を'0'とし、その線分を右から左へ、あるいは下から上へ横切る方向に沿って輝度が低下する場合には、そのフラグの値を'1'としてもよい。

上記の実施形態または変形例による車両位置検出システムから出力された自車両の位置は、例えば、ＣＡＮ３を介して運転支援システムの制御回路（図示せず）へ送信される。運転支援システムの制御回路は、例えば、自車両の位置とその周囲の情報とを比較して、自車両から所定距離範囲内に特定の構造物（例えば、高速道路の料金所、ナビゲーション中の経路において左折または右折が必要な交差点など）が有れば、車内に設置されたディスプレイまたはスピーカを介して、その構造物が近いことをドライバに通知する。あるいは、運転支援システムの制御回路は、ＥＣＵ１１に、速度を落とす命令を出力してもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両位置検出システム
２ 車載カメラ
３ コントロールエリアネットワーク（ＣＡＮ）
４ コントローラ（車両位置検出装置）
１０ 車両
１１ ＥＣＵ
４１ 記憶部
４２ 通信部
４３ 制御部
４３１ 初期値設定部
４３２ 線特徴抽出部
４３３ 線分布情報算出部
４３４ 検索範囲設定部
４３５ 比較部
５３１ 初期値設定部
５３２ 線特徴抽出部
５３３ 鳥瞰変換部
５３４ 線分布情報算出部
５３５ 検索範囲設定部
５３６ 比較部

Claims (7)

1. 道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図と、局所ごと、かつ、前記地図線分の向きごとの前記地図線分の分布を表す地図線分分布情報を記憶する記憶部（４１）と、
   車両（１０）に搭載された撮像部（２）が当該車両（１０）の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を抽出する線特徴抽出部（４３２、５３２）と、
   前記画像上で、局所ごと、かつ、前記線分の向きごとの前記線分の分布を表す画像線分分布情報を求める線分布情報算出部（４３３、５３４）と、
   前記地図上に設定される複数の仮想撮影点のそれぞれについて、当該仮想撮影点における前記地図線分分布情報と前記画像線分分布情報間の一致度合を表す評価値を算出し、該評価値が最大となる仮想撮影点を前記車両（１０）の位置とする比較部（４３５、５３６）と、
   を有することを特徴とする車両位置検出装置。
2. 前記記憶部（４１）は、前記複数の仮想撮影点のそれぞれについて、当該仮想撮影点から、前記撮像部（２）で前記地図を仮想的に撮影して得られる仮想画像を分割した複数の格子のそれぞれについて、当該格子に含まれる、前記仮想画像上に表された前記地図線分の向きごとの分布を前記地図線分分布情報として記憶し、
   前記線分布情報算出部（４３３）は、前記画像を複数の格子に分割し、前記複数の格子のそれぞれについて、当該格子に含まれる、前記画像上に表された前記線分の向きごとの分布を前記画像線分分布情報とする、請求項１に記載の車両位置検出装置。
3. 前記複数の線分のそれぞれを鳥瞰変換して、前記車両（１０）を基準とする車両座標系での前記複数の線分のそれぞれの位置を表す鳥瞰画像を求める鳥瞰変換部（５３３）をさらに有し、
   前記記憶部（４１）は、前記地図を分割した複数の第１の格子のそれぞれについて、当該第１の格子に含まれる、前記地図上に表された前記地図線分の向きごとの分布を記憶し、
   前記線分布情報算出部（５３４）は、前記鳥瞰画像を複数の第２の格子に分割し、前記複数の第２の格子のそれぞれについて、当該第２の格子に含まれる、前記鳥瞰画像上に表された前記線分の向きごとの分布を前記画像線分分布情報とし、
   前記比較部（５３６）は、前記複数の仮想撮影点のそれぞれについて、当該仮想撮影点に応じて前記車両座標系での前記複数の第２の格子のそれぞれに対応する前記第１の格子を特定し、前記複数の第２の格子のそれぞれに対応する前記第１の格子のそれぞれの前記地図線分の向きごとの分布を、当該仮想撮影点についての前記地図線分分布情報とする、請求項１に記載の車両位置検出装置。
4. 前記複数の地図線分のそれぞれについて、当該地図線分を横切る方向の輝度勾配の向きに応じて当該地図線分の向きが設定され、
   前記線特徴抽出部（４３２、５３２）は、検出した前記線分のそれぞれについて、当該線分を横切る方向の輝度勾配の向きを求め、当該輝度勾配の向きに応じて当該線分の向きを設定する、請求項１〜３の何れか一項に記載の車両位置検出装置。
5. 車両（１０）に搭載された撮像部（２）が当該車両（１０）の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を抽出するステップと、
   前記画像上で、局所ごと、かつ、前記線分の向きごとの前記線分の分布を表す画像線分分布情報を求めるステップと、
   道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図上に設定される複数の仮想撮影点のそれぞれについて、当該仮想撮影点における、局所ごと、かつ、前記地図線分の向きごとの前記地図線分の分布を表す地図線分分布情報と前記画像線分分布情報間の一致度合を表す評価値を算出し、該評価値が最大となる仮想撮影点を前記車両（１０）の位置とするステップと、
   を含むことを特徴とする車両位置検出方法。
6. 車両（１０）に搭載された撮像部（２）が当該車両（１０）の周囲を撮影して得られた画像から、当該画像に写っている道路上の物体の輪郭を表す複数の線分を抽出するステップと、
   前記画像上で、局所ごと、かつ、前記線分の向きごとの前記線分の分布を表す画像線分分布情報を求めるステップと、
   道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図上に設定される複数の仮想撮影点のそれぞれについて、当該仮想撮影点における、局所ごと、かつ、前記地図線分の向きごとの前記地図線分の分布を表す地図線分分布情報と前記画像線分分布情報間の一致度合を表す評価値を算出し、該評価値が最大となる仮想撮影点を前記車両（１０）の位置とするステップと、
   を前記車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含むことを特徴とする車両位置検出用コンピュータプログラム。
7. 車両（１０）に搭載され、当該車両（１０）の周囲を撮影して画像を生成する撮像部（２）と、
   道路上にある物体の輪郭を表す複数の地図線分のそれぞれの位置を含む地図と、局所ごと、かつ、前記地図線分の向きごとの前記地図線分の分布を表す地図線分分布情報を記憶する記憶部（４１）と、
   前記撮像部（２）から前記画像を取得する通信部（４２）と、
   制御部であって、
   前記画像に写っている道路上の物体の輪郭を表す複数の線分を抽出し、
   前記画像上で、局所ごと、かつ、前記線分の向きごとの前記線分の分布を表す画像線分分布情報を求め、
   前記地図上に設定される複数の仮想撮影点のそれぞれについて、当該仮想撮影点における前記地図線分分布情報と前記画像線分分布情報間の一致度合を表す評価値を算出し、該評価値が最大となる仮想撮影点を前記車両（１０）の位置とする制御部（４３）と、
   を有することを特徴とする車両位置検出システム。

Images