JP2012098199A - 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 - Google Patents

Abstract

【課題】車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定可能な技術の提供。
【解決手段】基準車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の基準画像特徴点を抽出して前記撮影画像上での位置を示す座標値を取得し、前記地物を撮影した時点での前記基準車両の位置を基準位置として取得し、前記基準画像特徴点の前記座標値と前記基準位置とを対応づけて基準パターン情報として所定の記録媒体に記録し、前記基準パターン情報を所定の記録媒体に記録する際には、前記基準車両の揺動に応じた特定の座標成分の前記座標値の変化が複数の前記基準画像特徴点において所定量以下となる場合、前記特定の座標成分の前記座標値である基準座標値を前記基準画像特徴点の前記座標値とする。
【選択図】図３

Description

本発明は、画像認識によって車両の位置を特定する技術に関する。

従来、車載カメラによって撮影した画像内の特徴点を画像認識によって特定し、当該特徴点に基づいて車両の位置を特定する技術が知られている。例えば、特許文献１には、予め登録された道路標示の特徴点に対して位置情報を対応づけておき、当該道路標示の特徴点と車載カメラによって撮影した画像内の特徴点とを比較することによって車両の現在位置を算出する技術が開示されている。

特開２００７−１０８０４３号公報

従来の技術においては、ある位置において撮影される道路標示から抽出される特徴点の配置パターンの再現性が高いとみなして当該道路標示から特徴点を抽出し、車両の位置を決定するための基準としている。しかし、特徴点の抽出対象となる道路標示と当該道路標示を撮影する車両の位置との相対関係が略一定であるとしても、ピッチングなどの車両の揺動によって車載カメラの視野方向が変化すれば、道路標示から抽出される特徴点の配置パターンは変動し得る。
本発明は、上記課題にかんがみてなされたもので、車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定可能な技術の提供を目的とする。

上記の目的を達成するため、本発明においては、基準車両が揺動した場合に複数の基準画像特徴点の撮影画像上での位置を示す座標値の変化が特定の座標成分において所定量以下となる場合、当該特定の座標成分の座標値を複数の基準画像特徴点について特定して基準座標値とする。そして、当該基準座標値と基準位置とを対応づけて基準パターン情報とする。すなわち、基準車両が揺動すると、当該揺動によって車載カメラの視野方向が揺動し、車載カメラの撮影画像に含まれる基準画像特徴点も当該撮影画像内で揺動する。そして、基準画像特徴点が撮影画像内で揺動する場合であっても、基準画像特徴点の撮影画像上での位置を示す座標値を規定する任意の座標系において特定の座標成分に着目すれば、基準車両の揺動による座標値の変動が所定量以下となる座標成分が存在し得る。

そこで、複数の基準画像特徴点において特定の座標成分における座標値が基準車両の揺動によって所定量以下の変動しかしない場合に、当該特定の座標成分の座標値を特定して基準座標値とし、基準位置と対応付けて基準パターン情報とすれば、車両が揺動した場合であっても車両の位置を特定可能な情報として基準パターン情報を定義することができる。すなわち、一般車両の車載カメラで地物を撮影した撮影画像から画像特徴点を抽出し、当該画像特徴点の座標値と基準座標値とを比較するにあたり、画像特徴点の座標値から、車両の揺動によって座標値の変動が所定量以下に抑制されている座標成分の座標値を抽出して比較することで、一般車両の位置を特定することが可能になる。この結果、車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能になる。

ここで、基準画像特徴点抽出手段は、基準車両の周囲の地物を撮影した撮影画像から地物の像に含まれる基準画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を基準画像特徴点をとすることができればよい。基準画像特徴点は、撮影画像に含まれる各種の地物の像に含まれる点であり、例えば、地物の外周や模様を構成する点を所定の規則で抽出すればよい。

基準位置取得手段は、基準車両の周囲の地物を撮影した時点での基準車両の位置を基準位置として取得することができればよい。従って、ＧＰＳ受信部によって受信した信号に基づいて基準車両の位置を特定する構成や、各種センサの出力信号に基づいて基準車両の位置を特定する構成等を採用可能である。むろん、地図情報に基づく基準車両の位置補正を組み合わせても良い。

基準パターン情報記録手段は、複数の基準画像特徴点についての座標値と基準位置とを対応づけて基準パターン情報として所定の記録媒体に記録する。本発明においては、当該基準パターン情報の記録に際し、基準車両の揺動に応じた特定の座標成分の座標値の変化が複数の基準画像特徴点において所定量以下となる場合、特定の座標成分の座標値である基準座標値を基準画像特徴点の座標値とすることができればよい。ここで、基準座標値は、基準車両が揺動した場合における基準画像特徴点の撮影画像上での位置を示す座標値の変化が所定量以下となる座標成分の座標値である。すなわち、基準車両の揺動が基準画像特徴点の位置に与える影響度が所定の度合い以下である場合に、当該揺動の影響による座標値の変化が所定量以下となる座標成分を特定する。そして、複数の基準画像特徴点について当該座標成分の座標値を特定して基準座標値とし、基準位置と対応付けることにより基準パターン情報に基づいて一般車両の位置を特定可能に構成されていればよい。

また、座標値の変化が所定量以下となる座標成分は、基準車両の揺動に応じて特定されればよい。すなわち、基準車両が揺動すれば車載カメラの視野方向が変動するため、基準画像特徴点の座標値は、通常、基準車両の揺動に応じて変動する。しかし、基準画像特徴点の座標系を適切に選定すれば、一以上の座標成分にて座標値の変動が抑制され、他の座標成分にて座標値が変動するように定義することが可能である。例えば、基準車両の揺動によって車載カメラの視野方向が変動することに応じて画像内の座標値が直線的に揺動する場合、当該直線と平行の軸を含む直交座標系を採用すれば、当該直線と垂直な方向の軸に沿った座標値は変動しない。そこで、基準画像特徴点の撮影画像上での位置を示す座標値の変化が所定量以下となる座標成分の座標値を基準座標値とすれば、車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

なお、座標値の変化の基準となる所定量は、基準車両の揺動に依存しない座標成分を特定するための閾値となれば良く、予め決められた一定の値であっても良いし、基準車両の揺動の程度に依存して変動する値であっても良い。後者としては、例えば、基準車両の揺動の程度が大きくなるほど値が大きくなるように所定量を設定する構成等を採用可能である。また、基準座標値が特定できない場合、すなわち、基準車両の揺動に応じた特定の座標成分の座標値の変化が所定量以下となる基準画像特徴点が所定の個数以下である場合、基準パターン情報においては、基準画像特徴点の全座標成分の座標値と基準位置とを対応付ければよい。

さらに、所定の記録媒体は、基準パターン情報を蓄積する記録媒体であり、基準パターン情報の参照法は特に限定されない。すなわち、通信等を介して一般車両から当該所定の記録媒体を参照しても良いし、当該所定の記録媒体に記録された基準パターン情報を、一般車両に搭載された記録媒体にコピーし、一般車両において当該一般車両に搭載された記録媒体に記録された基準パターン情報を参照しても良い。

さらに、基準車両の揺動としては、ピッチング、バウンシング、ヨーイング、ローリングが考えられるため、これらの揺動に応じて特定の座標成分を決める構成としても良い。例えば、基準車両の前方または後方を撮影した撮影画像の位置を、撮影画像上での上下方向の位置を示す座標成分と撮影画像上での左右方向の位置を示す座標成分とからなる座標系で定義する構成を想定する。すなわち、車載カメラの視野中心からカメラ前方に延びる軸を想定し、当該軸に垂直な仮想投影面に投影される像を車載カメラから出力する構成においては、当該仮想投影面の上下方向および左右方向に平行な軸からなる直交座標系で撮影画像の位置を特定することが多い。

この構成において、基準車両がピッチングとバウンシングとのいずれかまたは双方によって揺動すると、基準画像特徴点は撮影画像内で上下方向に揺動するが、左右方向には揺動しない。そこで、左右方向の位置を示す座標成分が特定の座標成分であるとみなし、当該特定の座標成分についてピッチングとバウンシングとのいずれかまたは双方によって基準車両が揺動した場合に撮影画像上での位置を示す座標値の変化が所定量以下となるか否かを判定する。そして、複数の基準画像特徴点において、当該左右方向の位置を示す座標成分の座標値の変化が所定量以下である場合に当該座標値を基準座標値とする。この構成によれば、ピッチングとバウンシングとのいずれかまたは双方による車両の揺動で車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

さらに、基準車両の前方または後方を撮影した撮影画像の位置を、撮影画像上での上下方向の位置を示す座標成分と撮影画像上での左右方向の位置を示す座標成分とからなる座標系で定義する構成において、ヨーイングに対応した基準座標値を定義する構成を採用することも可能である。この構成において、基準車両がヨーイングによって揺動すると、基準画像特徴点は撮影画像内で左右方向に揺動するが、上下方向には揺動しない。そこで、上下方向の位置を示す座標成分が特定の座標成分であるとみなし、当該特定の座標成分についてヨーイングによって基準車両が揺動した場合に撮影画像上での位置を示す座標値の変化が所定量以下となるか否かを判定する。そして、複数の基準画像特徴点において、当該上下方向の位置を示す座標成分の座標値の変化が所定量以下である場合に当該座標値を基準座標値とする。この構成によれば、ヨーイングによる車両の揺動で車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

さらに、基準車両の前方または後方を撮影した撮影画像の位置を、撮影画像上での基準点からの距離を示す座標成分と基準点周りの回転角を示す座標成分とからなる、いわゆる極座標系で定義する構成を採用しても良い。このような座標系を想定した場合、基準車両のローリングによって基準画像特徴点が撮影画像内の円弧上で揺動するが、当該円弧の中心との距離が変動しないように座標成分を設定することが可能である。すなわち、ローリングによって基準点の位置は変化しないが、ローリングによって撮影画像内の各像が基準点周りに回転するように基準点を設定し、基準点からの距離を示す座標成分と基準点周りの回転角を示す座標成分とによって座標成分を設定すればよい。このように設定された座標系において、基準点からの距離を示す座標成分が特定の座標成分であるとみなし、当該特定の座標成分についてローリングによって基準車両が揺動した場合に撮影画像上での位置を示す座標値の変化が所定量以下となるか否かを判定する。そして、複数の基準画像特徴点において、当該基準点からの距離を示す座標成分の座標値の変化が所定量以下である場合に当該座標値を基準座標値とする。この構成によれば、ローリングによる車両の揺動で車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

基準パターン情報は、一般車両の位置を特定する際に参照される情報である。一般車両においては、当該一般車両の位置を特定するために、一般車両の周囲の地物を撮影した撮影画像から画像特徴点が抽出される。また、複数の画像特徴点の撮影画像上での位置を示す座標値から一般車両の揺動方向に対応した座標成分の座標値が選択され、比較座標値とされる。そして、基準座標値と比較座標値とが比較されて一致度が特定され、一致度が所定の基準を満たす場合に基準位置が一般車両の位置として特定される。

ここで、画像特徴点抽出手段は、一般車両の周囲の地物を撮影した撮影画像から画像特徴点を抽出することができればよい。すなわち、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を画像特徴点とすることができればよい。画像特徴点は、撮影画像に含まれる各種の地物の像に含まれる点であり、例えば、地物の外周や模様を構成する点を所定の規則で抽出すればよい。

一致度特定手段は、基準パターン情報生成装置で作成された基準パターン情報を参照し、基準座標値と比較座標値との比較によるパターンマッチング処理を行うことができればよい。すなわち、基準座標値と比較座標値とを比較し、両者のずれが小さいほど一致度が高くなるように一致度を定義すればよい。基準座標値と比較座標値とは複数であることが好ましい。なお、比較座標値は、一般車両の揺動方向に対応した座標成分の座標値であればよく、揺動方向と座標成分とを予め対応付けておき、一般車両の揺動を検出して当該揺動の方向に対応した座標成分を選択すればよい。

一般車両位置特定手段は、一致度が所定の基準を満たす場合に、当該一致度を特定するために参照した基準座標値に対応づけられた基準位置を一般車両の位置として特定することができればよい。すなわち、一般車両において走行中に連続的に画像を撮影して画像特徴点から比較座標値を特定し、当該比較座標値と基準座標値とを比較すれば、走行中に撮影された複数の画像について一致度を評価することができるため、一致度が最も高く、かつ、比較座標値が基準座標値に一致しているとみなすことができる程度の高い一致度になっている場合に所定の基準を満たすとすれば、当該基準座標値に対応づけられた基準位置を一般車両の位置とみなすことができる。

さらに、本発明のように、車両の揺動による画像内での位置変動が所定量以下となる座標成分を抽出して基準座標値を特定し、また、基準座標値に基づいて一般車両の位置を特定する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

基準パターン情報生成装置のブロック図である。 基準パターン情報生成処理を示すフローチャートである。 基準パターン情報の生成を説明する図である。 一般車両位置特定装置を含むナビゲーション装置のブロック図である。 一般車両位置特定処理を示すフローチャートである。 第２実施形態における基準パターン情報を説明する説明図である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）基準パターン情報生成装置の構成：
（２）基準パターン情報生成処理：
（３）一般車両位置特定装置の構成：
（４）一般車両位置特定処理：
（５）他の実施形態：

（１）基準パターン情報生成装置の構成：
図１は、本発明にかかる基準パターン情報生成装置１０の構成を示すブロック図である。基準パターン情報生成装置１０は、基準パターン情報を生成するために運転される基準車両に搭載される。当該基準パターン情報生成装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えており、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムとして基準パターン情報生成プログラム２１を実行可能である。基準パターン情報生成プログラム２１は、基準車両が揺動した場合であっても基準車両の位置を特定するための基準となり得る基準座標値を基準車両の周囲の地物を撮影した撮影画像から抽出し、当該基準座標値と、当該撮影画像を撮影した時点での基準車両の基準位置を対応付けた基準パターン情報を生成する機能を備えている。

記録媒体３０には、予め地図情報３０ａが記録されている。地図情報３０ａは、基準車両の位置の特定等に利用される情報であり、基準車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。

本実施形態における基準パターン情報生成装置１０が搭載された基準車両は、前方カメラ４０とＧＰＳ受信部４１と車速センサ４２とジャイロセンサ４３と後方カメラ４４とを備えている。前方カメラ４０は、基準車両の前方の地物（路面および上空）を視野に含むように基準車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２０は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。また、後方カメラ４４は基準車両の後方の路面を視野に含むように基準車両に対して取り付けられており、撮影した路面の画像を示す路面画像データを出力する。制御部２０は、図示しないインタフェースを介してこの路面画像データを取得して画像解析を行う。

ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して基準車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して基準車両の現在位置を取得する。車速センサ４２は、基準車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、基準車両の速度を取得する。ジャイロセンサ４３は、基準車両に作用する角速度に対応した信号を出力する。制御部２０は図示しないインタフェースを介してこの信号を取得し、基準車両の走行方向を取得する。車速センサ４２およびジャイロセンサ４３等は、ＧＰＳ受信部４１の出力信号から特定される基準車両の現在位置を補正するなどのために利用される。また、基準車両の現在位置は、当該基準車両の走行軌跡および路面画像データに基づいて適宜補正される。すなわち、本実施形態においては、制御部２０が路面画像データを解析して路面上における特定のペイント（速度標示等）を検出し、地図情報３０ａを参照して当該特定のペイントを検出した時点における基準車両の位置を特定する処理を実行可能である。この処理を、走行軌跡に基づくマップマッチング処理とともに実行することによって、基準車両の位置を高精度に特定可能である。

さらに、本実施形態におけるジャイロセンサ４３は、基準車両における揺動を検出するために利用される。すなわち、ジャイロセンサ４３の出力信号が示す角速度は、基準車両の揺動に対応した変化をするため、制御部２０は、ジャイロセンサ４３の出力信号に基づいて基準車両がピッチングまたはバウンシングによって揺動したこと、または、ヨーイングによって揺動したことを検出することができる。

本実施形態においては、以上の構成を備えた基準車両において基準パターン情報生成プログラム２１が実行され、基準車両の前方の地物を基にした基準パターン情報が生成される。この処理を行うため、基準パターン情報生成プログラム２１は、基準画像特徴点抽出部２１ａと基準位置取得部２１ｂと基準パターン情報記録部２１ｃとを備えている。

基準画像特徴点抽出部２１ａは、基準車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の基準画像特徴点を抽出して各基準画像特徴点の撮影画像上での位置を示す座標値を取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって、前方カメラ４０が出力する、基準車両の周囲の地物を示す撮影画像データに対して所定の画像処理を行い、基準画像特徴点を抽出する。本実施形態においては、撮影画像データを２値化するとともにハフ変換等を利用して直線を抽出し、直線の端点と当該端点の間の直線上の複数個の点とを基準画像特徴点とし、座標値を特定する。

なお、撮影画像データは、前方カメラ４０の視野中心からカメラ前方に延びる軸を想定したときの当該軸に垂直な仮想投影面に投影される像を示すデータであり、当該撮影画像データにおいては、直交座標系にて当該仮想投影面上の位置が規定される。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理により、撮影画像の上下方向に平行なｙ軸と左右方向に平行なｘ軸とからなる直交座標系にて基準画像特徴点の位置を示す座標値（Ｘ，Ｙ）を特定する。また、本実施形態において制御部２０は、基準画像特徴点抽出部２１ａの処理により、所定の撮影間隔で撮影される時系列の撮影画像データを取得し、各撮影画像データから基準画像特徴点を抽出する構成となっている。

基準位置取得部２１ｂは、基準車両の周囲の地物を撮影した時点での基準車両の位置を基準位置として取得する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準位置取得部２１ｂの処理により、前方カメラ４０が基準画像特徴点の抽出元となる撮影画像データを出力した時点における、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４４が出力する路面画像データおよび地図情報３０ａに基づいて基準車両の位置を特定し、基準位置（（経度，緯度）＝（Ｌn，Ｌa））とする。

基準パターン情報記録部２１ｃは、一般車両の位置を特定するための基準となる基準パターン情報３０ｂを生成して記録媒体３０に記録する機能を制御部２０に実現させるモジュールである。すなわち、制御部２０は、基準画像特徴点抽出部２１ａの処理によって特定された基準画像特徴点のそれぞれについての撮影画像上の位置を示す座標（Ｘ，Ｙ）のうち、基準車両の揺動に対応した特定の座標成分の座標値の変動を特定する。そして、複数の基準画像特徴点において当該特定の座標成分の座標値の変化が所定量以下となる場合に、当該特定の座標成分の座標値を基準座標値とする。すなわち、基準車両の揺動が基準画像特徴点の位置に与える影響度が特定の座標成分において所定の度合い以下となる場合に、当該揺動の影響による座標値の変化が所定量以下となる特定の座標成分を特定し、基準座標値を特定する。

具体的には、座標値の変化が所定量以下となる座標成分は、基準車両の揺動に応じて特定される。すなわち、基準車両が揺動すれば車載カメラの視野方向が変動するため、基準画像特徴点の座標値は、通常、基準車両の揺動に応じて変動する。しかし、基準画像特徴点の座標系を適切に選定すれば、一以上の座標成分にて座標値の変動が抑制され、他の座標成分にて座標値が変動するように定義することが可能である。例えば、基準車両の揺動によって車載カメラの視野方向が変動することに応じて画像内の座標値が直線的に揺動する場合、当該直線と平行の軸を含む直交座標系を採用すれば、当該直線と垂直な方向の軸に沿った座標値は変動しない。そこで、複数の基準画像特徴点において、その撮影画像上での位置を示す座標値の変化が所定量以下となる座標成分を特定し、当該座標成分の座標値を基準座標値とすれば、車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

より具体的には、基準車両がピッチングまたはバウンシングによって揺動したことがジャイロセンサ４３の出力信号によって示されている場合、制御部２０は、座標値（Ｘ，Ｙ）のｘ成分を特定の座標成分とし、当該ｘ成分の座標値の変化が所定量以下であるか否かを判定する。そして、複数の基準画像特徴点において当該ｘ成分の座標値の変化が所定量以下である場合に、ｘ成分の座標値Ｘを基準座標値とする処理を、複数の基準画像特徴点のそれぞれについて実施する。すなわち、基準車両がピッチングとバウンシングとのいずれかまたは双方によって揺動したとき、その揺動による基準車両の主たる移動は、基準車両の進行方向に平行かつ鉛直方向に平行な平面内で行われる。従って、この場合、基準画像特徴点は撮影画像内でｙ方向（上下方向）に揺動するが、ｘ方向（左右方向）には揺動しない。そこで、制御部２０は、所定期間内に撮影された撮影画像データ内の基準画像特徴点のそれぞれについて、ｘ成分の座標値に着目し、所定期間内における当該座標値の変化が所定量以下であるか否かを判定する。そして、制御部２０は、複数の基準画像特徴点において当該座標値の変化が所定量以下である場合に、その座標値を基準座標値とする。

また、基準車両がヨーイングによって揺動したことがジャイロセンサ４３の出力信号によって示されている場合、制御部２０は、座標値（Ｘ，Ｙ）のｙ成分を特定の座標成分とし、当該ｙ成分の座標値の変化が所定量以下であるか否かを判定する。そして、複数の基準画像特徴点において当該ｙ成分の座標値の変化が所定量以下である場合に、ｙ成分の座標値Ｙを基準座標値とする処理を、複数の基準画像特徴点のそれぞれについて実施する。すなわち、基準車両がヨーイングによって揺動したとき、その揺動による基準車両の主たる移動は、水平方向に平行な平面内で行われる。従って、この場合、基準画像特徴点は撮影画像内でｘ方向（左右方向）に揺動するが、ｙ方向（上下方向）には揺動しない。そこで、制御部２０は、所定期間内に撮影された撮影画像データ内の基準画像特徴点のそれぞれについて、ｙ成分の座標値に着目し、所定期間内における当該座標値の変化が所定量以下であるか否かを判定する。そして、制御部２０は、複数の基準画像特徴点において当該座標値の変化が所定量以下である場合に、その座標値を基準座標値とする。

さらに、制御部２０は、複数の基準画像特徴点について基準座標値が特定されることによって、基準座標値によって一般車両の位置を同定可能である状況となった場合に、基準座標値を特定するために参照された撮影画像データが撮影された時点での基準位置を基準座標値に対応付けて基準パターン情報を構成する。以上の構成により、車両が揺動した場合であっても車両の位置を特定可能な情報として基準パターン情報を定義することができる。すなわち、一般車両の車載カメラで地物を撮影した撮影画像から画像特徴点を抽出し、当該画像特徴点の座標値と基準座標値とを比較するにあたり、画像特徴点の座標値から、車両の揺動によって座標値が変動しない座標成分の座標値を比較座標値として抽出し、比較座標値と基準座標値とを比較することで、一般車両の位置を特定することが可能になる。この結果、車両の揺動によって車載カメラの視野方向が変化した場合であっても車両の位置を特定することが可能になる。

（２）基準パターン情報生成処理：
次に、基準パターン情報生成プログラム２１による基準パターン情報生成処理を説明する。基準パターン情報生成プログラム２１は、所定期間毎に実行される。図２は基準パターン情報生成プログラム２１が実行する基準パターン情報生成処理を示すフローチャートである。図３は、基準車両において撮影された撮影画像Ｉ₀と、当該撮影画像Ｉ₀から抽出される基準画像特徴点を矩形Ｉ₁内に例示するとともに、当該撮影画像Ｉ₀に基づいて生成される基準パターン情報３０ｂの例を示している。

以下、図２に示す基準パターン情報生成処理を図３に示す例を参照しながら説明する。基準パターン情報生成プログラム２１の処理が開始されると、制御部２０は、基準画像特徴点抽出部２１ａの処理により、前方カメラ４０が出力する撮影画像データを取得し、基準パターン情報記録部２１ｃの処理により、ジャイロセンサ４３の出力情報を取得する（ステップＳ１００）。すなわち、制御部２０は、予め決められた所定期間内に撮影された複数の撮影画像データと当該所定期間内における車両の角速度を示すジャイロセンサ４３の出力情報とを取得する。なお、図３においては直方体の建築物Ｂ₁〜Ｂ₃を含む撮影画像Ｉ₀をステップＳ１００にて取得される撮影画像データの一例として示している。

次に、制御部２０は、基準位置取得部２１ｂの処理により、ＧＰＳ受信部４１，車速センサ４２，ジャイロセンサ４３の出力信号、後方カメラ４４が出力する路面画像データおよび地図情報３０ａに基づいて撮影画像データを撮影した時点における基準車両の位置を特定し、基準位置として取得する（ステップＳ１０５）。すなわち、ステップＳ１００にて取得された撮影画像データのそれぞれについて、撮影画像データが撮影された時点における基準車両の位置を基準車両として取得する。

次に、制御部２０は、基準画像特徴点抽出部２１ａの処理により、基準画像特徴点を抽出する（ステップＳ１１０）。すなわち、制御部２０は、撮影画像を２値化するとともにハフ変換等によって直線を抽出し、直線の端点と当該端点の間の直線上の複数個の点とを抽出して基準画像特徴点とし、各基準画像特徴点の座標値を特定する処理を複数の撮影画像データのそれぞれについて実施する。図３においては、２値化およびハフ変換等によって撮影画像Ｉ₀から検出された直線を矩形Ｉ₁内にて破線で示している。すなわち、図３の矩形Ｉ₁内においては、２値化およびハフ変換等によって撮影画像Ｉ₀から建築物Ｂ₁〜Ｂ₃の像の輪郭が抽出された状態を示しており、この例においては当該輪郭を構成する直線上の複数の点が基準画像特徴点となる。図３においては、これらの複数の基準画像特徴点のうち、直線の端点を構成する基準画像特徴点をＰ₁〜Ｐ₁₇として示している。

次に、制御部２０は、基準パターン情報記録部２１ｃの処理により、車両の揺動に対応した座標成分の座標値の変化が所定量以下である基準画像特徴点が存在するか否かを判定する（ステップＳ１１５）。すなわち、制御部２０は、ステップＳ１００にて取得したジャイロセンサ４３の出力情報に基づいて、所定期間内に車両が揺動した方向を特定する。そして、車両がピッチングとバウンシングとのいずれかまたは双方によって揺動した場合にはｘ成分を車両の揺動に対応した特定の座標成分とみなし、車両がヨーイングによって揺動した場合にはｙ成分を車両の揺動に対応した特定の座標成分とみなす。

さらに、制御部２０は、ステップＳ１１０にて抽出された各基準画像特徴点について、車両の揺動に対応した特定の座標成分の座標値を特定する。この処理は、所定期間内に撮影された複数の撮影画像データのそれぞれにおいて行われ、当該座標成分の座標値の時間変化から当該座標値の単位期間あたりの変化を特定する。そして、制御部２０は、少なくとも一つの基準画像特徴点において、当該座標成分の座標値の単位期間あたりの変化が所定量以下である場合に、車両の揺動に対応した座標成分の座標値の変化が所定量以下である基準画像特徴点が存在すると判定する。また、全ての基準画像特徴点において当該座標成分の座標値の単位期間あたりの変化が所定量以下でない場合、制御部２０は、車両の揺動に対応した座標成分の座標値の変化が所定量以下である基準画像特徴点が存在しないと判定する。なお、所定量は基準車両の揺動に依存しない座標成分を特定するための閾値として予め設定された一定値である。

ステップＳ１１５にて、車両の揺動に対応した座標成分の座標値の変化が所定量以下である基準画像特徴点が存在すると判定された場合、制御部２０は、基準パターン記録部２１ｃの処理により、基準画像特徴点の配置パターンによって位置同定可能であるか否かを特定する（ステップＳ１２０）。すなわち、ステップＳ１１５において特定された基準画像特徴点の数が少ないと基準画像特徴点の配置パターンに特徴がなく、基準画像特徴点の配置パターンに基づいて車両の位置を同定することができない。例えば、基準座標値が数個であると、一般車両で特定される後述の比較座標値と基準座標値とを比較する際に一致度を判定するためのサンプル数が不足する。

そこで、本実施形態においては、予め、基準画像特徴点の配置パターンによって位置同定可能であるか否かを判定するための基準が基準画像特徴点の数として設定されており、制御部２０は、車両の揺動に対応した特定の座標成分の座標値の変化が所定量以下である基準画像特徴点の数が所定数以上である場合に基準画像特徴点の配置パターンによって位置同定可能であると判定する。なお、所定数は、例えば、基準座標値の分散が所定の閾値以上となるサンプル数として設定することが可能である。なお、位置同定可能であるか否かを判定するための条件に数以外の条件を加えることも可能である。例えば、基準画像特徴点が同一直線上に存在しないなど、設営画像上で所定の基準を満たすように分散している条件を課すことも可能である。

ステップＳ１２０にて、基準画像特徴点の配置パターンによって位置同定可能であると判定されない場合、制御部２０は、ステップＳ１２５，Ｓ１３０をスキップして処理を終了する。すなわち、基準パターン情報を生成することなく処理を終了する。一方、ステップＳ１２０にて、基準画像特徴点の配置パターンによって位置同定可能であると判定された場合、制御部２０は、基準パターン情報記録部２１ｃの処理により、基準座標値を特定する（ステップＳ１２５）。すなわち、制御部２０は、ステップＳ１１５において、車両の揺動に対応した特定の座標成分の座標値の変化が所定量以下であると判定された基準画像特徴点について、車両の揺動に対応した座標成分の座標値を特定し、基準座標値とする。

例えば、ピッチングとバウンシングとのいずれかまたは双方によって車両が揺動することにより、ｘ成分が車両の揺動に対応した特定の座標成分となる場合、図３にて矩形Ｉ₁内に破線で示す直線上に存在する基準画像特徴点の座標値のうち、ｘ成分の座標値の単位期間あたりの変化が所定量以下であるか否かが判定される。図３においては、実線で示す直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)，直線Ｐ₇(X₇,Y₇)−Ｐ₉(X₉,Y₉)，直線Ｐ₈(X₈,Y₈)−Ｐ₁₀(X₁₀,Y₁₀)，直線Ｐ₁₁(X₁₁,Y₁₁)−Ｐ₁₇(X₁₇,Y₁₇)，直線Ｐ₁₄(X₁₄,Y₁₄)−Ｐ₁₆(X₁₆,Y₁₆)，直線Ｐ₁₃(X₁₃,Y₁₃)−Ｐ₁₅(X₁₅,Y₁₅)上の基準画像特徴点が、ｘ成分の座標値の単位期間あたりの変化が所定量以下であることを想定している。

すなわち、直線Ｐ₂(X₂,Y₂)−Ｐ₅(X₅,Y₅)，直線Ｐ₁(X₁,Y₁)−Ｐ₆(X₆,Y₆)は、直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)等と略同方向に延びる直線であるが、図３に示す例において、直線Ｐ₂(X₂,Y₂)−Ｐ₅(X₅,Y₅)，直線Ｐ₁(X₁,Y₁)−Ｐ₆(X₆,Y₆)上の基準画像特徴点のｘ成分の座標値は、単位期間あたりに所定量より大きい変化をしたことが想定されている。このような状況は、例えば、直線Ｐ₂(X₂,Y₂)−Ｐ₅(X₅,Y₅)，直線Ｐ₁(X₁,Y₁)−Ｐ₆(X₆,Y₆)が直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)等よりも車両に近い場合等に起こりえる。このような例においては、直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)，直線Ｐ₇(X₇,Y₇)−Ｐ₉(X₉,Y₉)，直線Ｐ₈(X₈,Y₈)−Ｐ₁₀(X₁₀,Y₁₀)，直線Ｐ₁₁(X₁₁,Y₁₁)−Ｐ₁₇(X₁₇,Y₁₇)，直線Ｐ₁₄(X₁₄,Y₁₄)−Ｐ₁₆(X₁₆,Y₁₆)，直線Ｐ₁₃(X₁₃,Y₁₃)−Ｐ₁₅(X₁₅,Y₁₅)上の基準画像特徴点の座標値のうち、ｘ成分の座標値（例えば、基準画像特徴点Ｐ₃(X₃,Y₃)については座標値X₃）が基準座標値として特定される。

基準座標値が特定されると、制御部２０は、基準パターン情報記録部２１ｃの処理により、揺動補正情報を付加した基準パターン情報を生成し、記録媒体３０に記録する（ステップＳ１３０）。すなわち、制御部２０は、ステップＳ１２５にて特定された基準座標値に対して、ステップＳ１０５にて特定された基準位置を対応付けて基準パターン情報を生成する。さらに、本実施形態においては、後述する一般車両において比較座標値を特定するために、車両の揺動方向を示す揺動情報（ピッチング、バウンシング、ヨーイングを示す情報）が定義され、基準位置に対して対応付けられる。

図３においては、基準パターン情報３０ｂの例を矩形Ｉ₁の下方に示している。すなわち、図３に示す例において、基準位置Ｐ₀（Ｌn，Ｌa）を示す情報と、揺動情報と、基準座標値とが基準パターン情報３０ｂとなり、基準座標値として、直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)，直線Ｐ₇(X₇,Y₇)−Ｐ₉(X₉,Y₉)，直線Ｐ₈(X₈,Y₈)−Ｐ₁₀(X₁₀,Y₁₀)，直線Ｐ₁₁(X₁₁,Y₁₁)−Ｐ₁₇(X₁₇,Y₁₇)，直線Ｐ₁₄(X₁₄,Y₁₄)−Ｐ₁₆(X₁₆,Y₁₆)，直線Ｐ₁₃(X₁₃,Y₁₃)−Ｐ₁₅(X₁₅,Y₁₅)上の複数点のｘ座標値を示す情報が基準パターン情報３０ｂに規定されることになる。

ステップＳ１１５にて、車両の揺動に対応した特定の座標成分の座標値の変化が所定量以下である基準画像特徴点が存在すると判定されない場合、制御部２０は、基準パターン情報記録部２１ｃの処理により、基準画像特徴点の位置（ｘ成分，ｙ成分の座標値）と基準位置とを対応付けて基準パターン情報３０ｂを生成し、記録媒体に記録する（ステップＳ１３５）。当該基準パターン情報３０ｂには、揺動情報は含まれない。

（３）一般車両位置特定装置の構成：
以上のようにして作成された基準パターン情報３０ｂは、基準車両以外の一般車両において当該一般車両の位置を特定するために利用される。図４は、本発明にかかる一般車両位置特定装置を含むナビゲーション装置１００の構成を示すブロック図である。ナビゲーション装置１００は、一般車両に搭載される。当該ナビゲーション装置１００は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２００、記録媒体３００を備えており、記録媒体３００やＲＯＭに記憶されたプログラムを制御部２００で実行することができる。本実施形態においては、このプログラムとしてナビゲーションプログラムおよび一般車両位置特定プログラム２１０を実行可能である。

ナビゲーションプログラムは、記録媒体３００に予め記録された地図情報３００ａを参照して車両の現在位置や目的地までの経路を案内するためのプログラムである。地図情報３００ａは、一般車両の位置の特定等に利用される情報であり、一般車両が走行する道路上に設定されたノードを示すノードデータ，ノード間の道路の形状を特定するための形状補間点データ，ノード同士の連結を示すリンクデータ，道路やその周辺に存在する地物の位置および種類等を示す地物データ等を含んでいる。本実施形態において制御部２００は、ナビゲーションプログラムの処理により、地物データが示す任意の地物を目的地とし、一般車両の現在位置から目的地までの経路探索を行うことが可能である。また、一般車両の現在位置から目的地まで到達するための経路を後述するユーザＩ／Ｆ部４１０によって案内することが可能である。

本実施形態において、記録媒体３００には基準パターン情報３００ｂが記録される。当該基準パターン情報３００ｂは、上述の基準車両によって生成された基準パターン情報３０ｂと同じ内容の情報であり、基準車両によって生成された情報が、通信や可搬記録媒体等を介して記録媒体３００にコピーされることによって記録媒体３００に基準パターン情報３００ｂが記録された状態となる。

本実施形態におけるナビゲーション装置１００が搭載された一般車両は、前方カメラ４００とユーザＩ／Ｆ部４１０とＧＰＳ受信部４２０と車速センサ４３０とジャイロセンサ４４０とを備えている。前方カメラ４００は、一般車両の前方の地物（路面および上空）を視野に含むように一般車両に対して取り付けられており、撮影した画像を示す撮影画像データを出力する。制御部２００は、図示しないインタフェースを介してこの撮影画像データを取得して画像解析を行う。ユーザＩ／Ｆ部４１０は、運転者の指示を入力し、また運転者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネルディスプレイやスイッチ、スピーカ等を備えている。

ＧＰＳ受信部４２０は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して一般車両の現在位置を算出するための情報を出力する。制御部２００は、この信号を取得して一般車両の現在位置を取得する。車速センサ４３０は、一般車両が備える車輪の回転速度に対応した信号を出力する。制御部２００は、図示しないインタフェースを介してこの信号を取得し、一般車両の速度を取得する。ジャイロセンサ４４０は、一般車両に作用する角速度に対応した信号を出力する。制御部２００は図示しないインタフェースを介してこの信号を取得し、一般車両の走行方向を取得する。車速センサ４３０およびジャイロセンサ４４０等は、ＧＰＳ受信部４２０の出力信号から特定される一般車両の現在位置を補正するなどのために利用される。また、一般車両の現在位置は、当該一般車両の走行軌跡に基づいて適宜補正される。

本実施形態においては、以上のようにＧＰＳ受信部４２０，車速センサ４３０，ジャイロセンサ４４０および地図情報３００ａを利用して一般車両の現在位置を特定可能であるが、基準パターン情報３００ｂを利用して一般車両の現在位置を特定する構成も備えている。すなわち、ナビゲーションプログラムは両者のいずれかまたは双方を利用して一般車両の現在位置を特定しながら目的地までの経路を案内する。

本実施形態において、基準パターン情報３００ｂを利用した一般車両の現在位置の特定は、一般車両位置特定プログラム２１０によって実現される。以下、一般車両位置特定プログラム２１０を利用した一般車両の現在位置の特定について説明する。一般車両位置特定プログラム２１０は、画像特徴点抽出部２１０ａと一致度特定部２１０ｂと一般車両位置特定部２１０ｃとを備えている。

画像特徴点抽出部２１０ａは、一般車両の周囲の地物を撮影した撮影画像から地物の像に含まれる複数の画像特徴点を抽出して各画像特徴点の撮影画像上での位置を示す座標値を取得する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、画像特徴点抽出部２１０ａの処理によって、前方カメラ４００が出力する撮影画像データに対して所定の画像処理を行い、画像特徴点を抽出し、座標値を取得する。

一致度特定部２１０ｂは、基準座標値と比較座標値とを比較して一致度を特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、ＧＰＳ受信部４２０，車速センサ４３０，ジャイロセンサ４４０および地図情報３００ａを利用して特定された一般車両の位置を特定し、当該一般車両の位置を当該一般車両の推定位置とする。また、制御部２００は、ジャイロセンサ４４０の出力信号に基づいて一般車両の揺動方向を特定する。さらに、制御部２００は、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂを検索し、検索された基準パターン情報３００ｂのうち、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報３００ｂを特定し、当該基準パターン情報３００ｂに規定された基準座標値を特定する。

さらに、制御部２００は、画像特徴点抽出部２１０ａの処理によって抽出された画像特徴点の座標値から比較座標値を特定する。具体的には、一般車両の揺動方向に対して予め対応付けられた特定の座標成分を特定し、画像特徴点の座標値のうち、当該特定の座標成分の座標値を比較座標値とする。そして、制御部２００は、基準座標値と比較座標値とを比較して一致度を特定する。

ここで、一致度は、複数の座標値についての総合判断であれば良く、例えば、各基準座標値に対して最も近い比較座標値を特定し、各基準座標値と最も近い比較座標値との距離の２乗の和が小さくなるほど一致度が高くなるように一致度を定義する構成を採用可能である。なお、本実施形態においては、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが複数個存在する場合、複数個の基準パターン情報３００ｂを参照して一致度を特定する処理を行う。

なお、本実施形態において、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報３００ｂが特定されない場合、制御部２００は、一般車両の推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂに基づいて基準画像特徴点の位置を特定し、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する。すなわち、特定の座標成分ではなく、全ての座標成分について比較することによって基準画像特徴点の位置と画像特徴点の位置とを比較する。

一般車両位置特定部２１０ｃは、一致度が所定の基準を満たす場合に、基準位置を一般車両の位置として特定する機能を制御部２００に実現させるモジュールである。すなわち、制御部２００は、一般車両位置特定部２１０ｃの処理により、１以上の基準座標値について特定された一致度のなかから最も高い一致度を特定し、当該最も高い一致度となったが所定の閾値を超えている場合に、当該最も高い一致度となった基準座標値が対応付けられた基準パターン情報３００ｂを参照する。そして、当該最も高い一致度となった基準座標値が対応付けられた基準パターン情報３００ｂに対応づけられた基準位置が一般車両の位置であるとみなす。以上の処理によれば、一般車両の揺動によって車載カメラの視野方向が変化した場合であっても一般車両の位置を特定することが可能になる。

（４）一般車両位置特定処理：
次に、一般車両位置特定プログラム２１０による基準パターン情報生成処理を説明する。一般車両位置特定プログラム２１０は、所定の期間毎に実行される。図５は一般車両位置特定プログラム２１０が実行する基準パターン情報生成処理を示すフローチャートである。一般車両位置特定プログラム２１０の処理が開始されると、制御部２００は、画像特徴点抽出部２１０ａの処理により、前方カメラ４００が出力する撮影画像データを取得し、ジャイロセンサ４４０の出力情報を取得する（ステップＳ２００）。ここで、制御部２００は、撮影画像データに対して撮影時刻を対応づけてＲＡＭに記録する。

次に、制御部２００は、ＧＰＳ受信部４２０，車速センサ４３０，ジャイロセンサ４４０の出力信号および地図情報３００ａに基づいて一般車両の現在位置を推定し推定位置として特定する（ステップＳ２０５）。次に、制御部２００は、ステップＳ２００で取得された各撮影画像データから画像特徴点を抽出する（ステップＳ２１０）。すなわち、制御部２００は、撮影画像を２値化するとともにハフ変換等によって直線を抽出し、直線の端点と当該端点の間の直線上の複数個の点とを抽出して画像特徴点とし、各画像特徴点の座標値を特定する処理を複数の撮影画像データのそれぞれについて実施する。

次に、制御部２００は、一致度特定部２１０ｂの処理により、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在するか否か判定する（ステップＳ２１５）。すなわち、制御部２００は、基準パターン情報３００ｂのなかに、一般車両の現在位置として推定された推定位置から所定距離以内の範囲に含まれる基準位置が対応づけられた基準パターン情報が存在するか否かを判定する。ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定されない場合、制御部２００は、ステップＳ２２０以降の処理をスキップして処理を終了する。この場合、推定位置が一般車両の位置であるとみなされる。

一方、ステップＳ２１５において、推定位置から所定距離以内の基準位置が対応づけられた基準パターン情報３００ｂが存在すると判定された場合、１あるいは複数の基準パターン情報３００ｂが存在することになるため、一致度を特定するための参照対象となる基準パターン情報を決定するための処理を行う。このために、制御部２００は、一致度特定部２１０ｂの処理により、ステップＳ２１５にて取得した基準パターン情報３００ｂのなかに、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報が存在するか否かを判定する（ステップＳ２２０）。

すなわち、制御部２００は、ジャイロセンサ４４０の出力情報が示す一般車両の揺動方向を特定する。また、制御部２００は、ステップＳ２１５にて取得した基準パターン情報３００ｂのなかに揺動情報が対応付けられた基準パターン情報が存在するか否かを判定する。そして、制御部２００は、揺動情報が対応付けられた基準パターン情報が存在する場合、当該揺動情報が示す揺動方向が、一般車両の揺動方向に一致するか否かを判定し、一般車両の揺動方向に一致する場合に一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報が存在すると判定する。

ステップＳ２２０にて、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報が存在すると判定された場合、制御部２００は、一致度特定部２１０ｂの処理により、基準座標値を特定する（ステップＳ２２５）。すなわち、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報３００ｂを参照し、当該基準パターン情報３００ｂに対応付けられた基準座標値を特定する。例えば、図３の撮影画像Ｉ₀を撮影した基準位置の周辺において、撮影画像Ｉ₀と同様な画像が前方カメラ４００の視野に含まれる方向に一般車両が走行しており、図３に示す基準パターン情報３０ｂと同一の基準パターン情報３００ｂが記録媒体３００に記録されている場合、制御部２００は、図３に示す基準パターン情報３０ｂと同一の基準パターン情報３００ｂは参照対象となる。このため、ステップＳ２２５においては、直線Ｐ₃(X₃,Y₃)−Ｐ₄(X₄,Y₄)，直線Ｐ₇(X₇,Y₇)−Ｐ₉(X₉,Y₉)，直線Ｐ₈(X₈,Y₈)−Ｐ₁₀(X₁₀,Y₁₀)，直線Ｐ₁₁(X₁₁,Y₁₁)−Ｐ₁₇(X₁₇,Y₁₇)，直線Ｐ₁₄(X₁₄,Y₁₄)−Ｐ₁₆(X₁₆,Y₁₆)，直線Ｐ₁₃(X₁₃,Y₁₃)−Ｐ₁₅(X₁₅,Y₁₅)上の複数点のｘ座標値を示す情報が基準座標値として特定される。むろん、ステップＳ２２０にて、一般車両の揺動方向に対応した揺動情報が対応付けられた複数の基準パターン情報３００ｂが存在すると判定された場合、各基準パターン情報に基づいて基準座標値が特定される。

次に、制御部２００は、一致度特定部２１０ｂの処理により、比較座標値を特定する（ステップＳ２３０）。すなわち、制御部２００は、ジャイロセンサ４４０の出力情報が示す一般車両の揺動方向に対応した座標成分を特定し、ステップＳ２１０にて抽出した画像特徴点の位置を示す座標値から、当該一般車両の揺動方向に対応した座標成分の座標値を選択し、比較座標値として特定する。

次に、制御部２００は、一致度特定部２１０ｂの処理により、基準座標値と比較座標値とを比較して一致度を特定する（ステップＳ２３５）。なお、ステップＳ２２０にて、一般車両の揺動方向に対応した揺動情報が対応付けられた複数の基準パターン情報が存在すると判定された場合、複数の基準パターン情報３００ｂに対応付けられた基準座標値の組のそれぞれについて比較座標値と比較され、複数の組のそれぞれについて一致度が特定される。

一方、ステップＳ２２０にて、一般車両の揺動方向に対応した揺動情報が対応付けられた基準パターン情報が存在すると判定されない場合、制御部２００は、一致度特定部２１０ｂの処理により、基準画像特徴点の位置を特定する（ステップＳ２４０）。すなわち、ステップＳ２１５にて、推定位置から所定距離以内の基準位置が対応付けられていると判定された基準パターン情報３００ｂを参照し、当該基準パターン情報３００ｂに対応付けられた基準画像特徴点の位置を特定する。すなわち、揺動情報が対応付けられていない基準パターン情報３００ｂ（ステップＳ１３５にて生成された基準パターン情報）には、基準画像特徴点の位置を示す座標値が対応付けられているため、これらの座標値を特定する。

次に、制御部２００は、一致度特定部２１０ｂの処理により、画像特徴点の位置を特定する（ステップＳ２４５）。すなわち、制御部２００は、ステップＳ２１０にて抽出した画像特徴点の位置を示す座標値を特定する。次に、制御部２００は、一致度特定部２１０ｂの処理により、基準画像特徴点の位置と画像特徴点の位置とを比較して一致度を特定する（ステップＳ２５０）。なお、ステップＳ２１５にて、推定位置から所定距離以内の基準位置が対応付けられていると判定された複数の基準パターン情報が存在すると判定された場合、複数の基準パターン情報３００ｂに対応付けられた基準画像特徴点の位置の組のそれぞれについて画像特徴点の位置と比較され、複数の組のそれぞれについて一致度が特定される。

ステップＳ２３５，Ｓ２５０にて比較結果としての一致度が特定されると、制御部２００は、一般車両位置特定部２１０ｃの処理により、一致度が所定の基準を満たすか否かを判定する（ステップＳ２５５）。すなわち、ステップＳ２３５あるいはＳ２５０にて複数の基準パターン情報３００ｂについての一致度が特定されている場合には、最も高い一致度を特定し、当該最も高い一致度が所定の閾値よりも大きい場合に、当該最も高い一致度となった基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。ステップＳ２３５あるいはＳ２５０にて一つの基準パターン情報３００ｂについての一致度が特定されている場合には、当該基準パターン情報３００ｂについての一致度が所定の閾値よりも大きい場合に、当該基準パターン情報３００ｂについて、一致度が所定の基準を満たすと判定する。

ステップＳ２５５において、一致度が所定の基準を満たすと判定されない場合、制御部２００は、ステップＳ２６０をスキップして処理を終了する。一方、ステップＳ２５５において、一致度が所定の基準を満たすと判定された場合、制御部２００は、一致度が所定の基準を満たすと判定された基準パターン情報３００ｂに対応づけられた基準位置を一般車両の位置として特定する（ステップＳ２６０）。

以上の構成によれば、一般車両の揺動によって車載カメラの視野方向が変化した場合であっても一般車両の位置を特定することが可能になる。さらに、ＧＰＳ受信部４２０，車速センサ４３０，ジャイロセンサ４４０の出力信号および地図情報３００ａのみを利用して一般車両の位置を特定する構成と比較して、正確に一般車両の現在位置を特定することが可能である。また、ＧＰＳ受信部４２０，車速センサ４３０，ジャイロセンサ４４０の出力信号が取得されない区間においても一般車両の現在位置を特定することが可能である。

（５）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、車両の揺動による画像内での位置変動が所定量以下となる座標成分を抽出して基準座標値を特定し、また、基準座標値に基づいて一般車両の位置を特定する限りにおいて、他にも種々の実施形態を採用可能である。例えば、基準パターン情報には、基準画像特徴点の抽出元となった撮影画像を撮影した時点における基準車両の向きを示す情報を対応づけても良い。この場合、一般車両にて位置を特定する際に、当該一般車両の向きを示す情報を特定し、当該一般車両の向きと同じ向きが対応づけられた基準パターン情報を参照して基準座標値と比較座標値との一致度を特定する。

さらに、基準画像特徴点や画像特徴点は、撮影画像に含まれる各種の地物の像から抽出可能な点であればよく、地物の外周や模様を構成する点であって、撮影画像上での位置が特定されることによって当該撮影画像を撮影した車両の位置を特定することが可能な点を所定の規則で抽出すればよい。従って、上述の直線の端点や交点以外にも、直線を構成する点群等によって構成されてもよい。

さらに、基準車両が揺動した場合における座標値の変化が所定量以下となる座標成分を特定する際の基準となる所定量は、基準車両の揺動に依存しない座標成分を特定するための閾値となれば良く、予め決められた一定の値の他、基準車両の揺動の程度に依存して変動する値であっても良い。例えば、基準車両の揺動の程度が大きくなるほど値が大きくなるように所定量を設定する構成等を採用可能である。

さらに、基準車両の揺動としては、ピッチング、バウンシング、ヨーイング以外の揺動、例えば、ローリングによる揺動を想定可能である。ローリングによる揺動を想定する場合、基準画像特徴点および画像特徴点の位置は、撮影画像上での基準点からの距離を示す座標成分と基準点周りの回転角を示す座標成分とによって撮影画像の位置を規定する、いわゆる極座標系を採用することが好ましい。

すなわち、極座標系であれば、基準車両のローリングによって基準画像特徴点が撮影画像内の円弧上で揺動するが、当該円弧の中心との距離が変動しないように座標成分を設定することが可能である。すなわち、ローリングによって基準点の位置は変化しないが、ローリングによって撮影画像内の各像が基準点周りに回転するように基準点を設定し、基準点からの距離を示す座標成分と基準点周りの回転角を示す座標成分とによって座標成分を設定すればよい。

このように設定された座標系において、基準点からの距離を示す座標成分が、ローリングによって基準車両が揺動した場合に撮影画像上での位置を示す座標値の変化が所定量以下となり得る特定の座標成分であるとみなす。そして、複数の基準画像特徴点において当該特定の座標成分の変化が所定量以下となる場合に当該特定の座標成分の座標値を基準座標値とする。この構成によれば、ローリングによる車両の揺動で車載カメラが回転した場合であっても車両の位置を特定することが可能な基準パターン情報を定義することが可能になる。

図６は、ローリングによって基準点の位置は変化せず、基準画像特徴点が基準点周りに回転する例を説明する説明図である。同図においては、山Ｍ₁を含む像が撮影画像Ｉ₀であり、当該山Ｍ₁の稜線上の複数の点（Ｐ₁〜Ｐ₄）が基準画像特徴点として抽出された状態を矩形Ｉ₁内に示している。また、本例において、撮影画像Ｉ₀の重心点Ｐsは、基準車両におけるローリングの軸と一致し、基準車両が揺動すると撮影画像Ｉ₀内の像は重心点Ｐsを中心に回転する。従って、本例においては重心点Ｐsが極座標系の基準点となり、基準点Ｐsからの距離を示す座標成分と基準点Ｐs周りの回転角を示す座標成分とによって座標系が構成される。

この構成において、図６の矩形Ｉ₁内に示す複数の点Ｐ₁〜Ｐ₄は、基準点Ｐsを中心とした円弧（図６の矩形Ｉ₁内で実線の曲線で示す円弧）上に存在するため、基準車両がローリングによって揺動した場合であっても各点と基準点Ｐsとの距離Ｒの変化は所定量以下となる。そこで、制御部２０が、点Ｐ₁〜Ｐ₄を基準画像特徴点とし、各点における基準点からの距離を示す座標成分の座標値（図６に示すｒ座標値）を基準座標値とし、基準位置Ｐ₀を対応付けて基準パターン情報３０ｂを定義するように構成する。この構成によれば、当該基準パターン情報３０ｂが示す基準座標値と、一般車両にて撮影した撮影画像に基づいて抽出した比較座標値（画像特徴点を極座標表現した場合の基準点Ｐsからの距離を示す座標成分の座標値）とを比較することによって一般車両の位置を特定することが可能になる。

さらに、上述の実施形態においては、ジャイロセンサによって基準車両の揺動を実際に検出し、基準車両が揺動した場合における基準画像特徴点の座標値の変化が所定量以下となる座標成分を特定したが、他の手法を用いても良い。例えば、基準画像特徴点が抽出された地物の実空間上での位置を地図情報等に基づいて特定し、当該地物と基準車両との距離に基づく演算によって車両の揺動による基準画像特徴点の変化を特定する構成としても良い。

さらに、上述の実施形態においては、基準車両が揺動した場合における基準画像特徴点の座標値の変化が所定量以下となる特定の座標成分の座標値を基準座標値としたが、他の要素を組み合わせて基準パターン情報を生成しても良い。例えば、基準画像特徴点が構成する図形の形状の揺動に対する依存性が小さい場合に、当該図形を構成する基準画像特徴点から基準座標値を抽出する構成としても良い。より具体的には、撮影画像の上下方向に平行なｙ軸と左右方向に平行なｘ軸とからなる直交座標系にて基準画像特徴点を定義する構成において、図３の矩形Ｉ₁内にて実線で示すように上下方向に延びる直線上の点が揺動によって上下方向に変動したとしても、各点が構成する図形が上下方向に延びる直線であることに変わりはない。しかし、上下方向と異なる方向に延びる直線上の点が揺動によって上下方向に変動すると、その変動量の差に起因して直線が折れ線となる。従って、前者の直線の方が後者の直線よりも図形の形状の揺動に対する依存性が小さいことになり、このように、図形の形状の揺動に対する依存性が小さい図形を構成する点を基準画像特徴点とすることにより、基準座標値と比較座標値との比較結果の信頼性を高めることができる。

さらに、上述の実施形態においては、基準車両が揺動した場合における座標値の変化が複数の基準画像特徴点において所定量以下となる場合には特定の座標成分の基準座標値のみを利用して車両の位置を特定する構成であった他の情報を併用しても良い。すなわち、特定の座標成分以外の座標成分の座標値を併用することによって位置同定の精度を向上しても良いし、基準車両が揺動した場合における座標値の変化が所定量以下とならない基準画像特徴点を併用して位置同定の正誤を向上しても良い。むろん、基準車両が揺動した場合における座標値の変化の程度によって座標値に重み付けを行っても良い。例えば、基準車両の揺動による座標値の変化が大きいほど重みが大きくなるように座標値に対して重み付けを行っておき、一般車両の比較座標値と比較して一致度を特定する際に重みが大きいほど大きい影響を受けるようにして一致度を算出しても良い。

１０…基準パターン情報生成装置、２０…制御部、２１…基準パターン情報生成プログラム、２１ａ…基準画像特徴点抽出部、２１ｂ…基準位置取得部、２１ｃ…基準車両環境取得部、２１ｄ…基準パターン情報記録部、３０…記録媒体、３０ａ…地図情報、３０ｂ…基準パターン情報、４０…前方カメラ、４１…ＧＰＳ受信部、４２…車速センサ、４３…ジャイロセンサ、４４…通信部、４５…後方カメラ、１００…ナビゲーション装置、２００…制御部、２１０…一般車両位置特定プログラム、２１０ａ…画像特徴点抽出部、２１０ｂ…一般車両環境取得部、２１０ｃ…一致度特定部、２１０ｄ…一般車両位置特定部、３００…記録媒体、３００ａ…地図情報、３００ｂ…基準パターン情報、４００…前方カメラ、４１０…通信部、４２０…ユーザＩ／Ｆ部、４３０…ＧＰＳ受信部、４４０…車速センサ、４５０…ジャイロセンサ

Claims (7)

1. 基準車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の基準画像特徴点を抽出して各基準画像特徴点の前記撮影画像上での位置を示す座標値を取得する基準画像特徴点抽出手段と、
   前記地物を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得手段と、
   前記基準画像特徴点の前記座標値と前記基準位置とを対応づけて基準パターン情報として所定の記録媒体に記録する基準パターン情報記録手段とを備え、
   前記基準パターン情報記録手段は、前記基準車両の揺動に応じた特定の座標成分の前記座標値の変化が複数の前記基準画像特徴点において所定量以下となる場合、前記特定の座標成分の前記座標値である基準座標値を前記基準画像特徴点の前記座標値とする、基準パターン情報生成装置。
2. 前記撮影画像は前記基準車両の前方または後方を撮影した画像であるとともに、前記座標成分は前記撮影画像上での上下方向の位置を示す座標成分と前記撮影画像上での左右方向の位置を示す座標成分とからなり、
   前記基準パターン情報記録手段は、ピッチングとバウンシングとのいずれかまたは双方によって前記基準車両が揺動した場合における前記撮影画像上での左右方向の位置を示す座標成分を前記特定の座標成分とする、
   請求項１に記載の基準パターン情報生成装置。
3. 前記撮影画像は前記基準車両の前方または後方を撮影した画像であるとともに、前記座標成分は前記撮影画像上での上下方向の位置を示す座標成分と前記撮影画像上での左右方向の位置を示す座標成分とからなり、
   前記基準パターン情報記録手段は、ヨーイングによって前記基準車両が揺動した場合における前記撮影画像上での上下方向の位置を示す座標成分を前記特定の座標成分とする、
   請求項１に記載の基準パターン情報生成装置。
4. 前記撮影画像は前記基準車両の前方または後方を撮影した画像であるとともに、前記座標成分は前記撮影画像上での基準点からの距離を示す座標成分と前記基準点周りの回転角を示す座標成分とからなり、
   前記基準パターン情報記録手段は、ローリングによって前記基準車両が揺動した場合における前記撮影画像上での前記基準点からの距離を示す座標成分を前記特定の座標成分とする、
   請求項１に記載の基準パターン情報生成装置。
5. 一般車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の画像特徴点を抽出して各画像特徴点の前記撮影画像上での位置を示す座標値を取得する画像特徴点抽出手段と、
   複数の前記画像特徴点の前記座標値から前記一般車両の揺動方向に対応した座標成分の座標値を比較座標値として選択し、前記請求項１〜前記請求項４のいずれかに記載の基準パターン情報生成装置で生成された前記基準パターン情報が示す前記基準座標値と前記比較座標値とを比較して一致度を特定する一致度特定手段と、
   前記一致度が所定の基準を満たす場合に前記基準位置を前記一般車両の位置として特定する一般車両位置特定手段と、
   を備える一般車両位置特定装置。
6. 基準車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の基準画像特徴点を抽出して各基準画像特徴点の前記撮影画像上での位置を示す座標値を取得する基準画像特徴点抽出工程と、
   前記地物を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得工程と、
   前記基準画像特徴点の前記座標値と前記基準位置とを対応づけて基準パターン情報として所定の記録媒体に記録する基準パターン情報記録工程とを含み、
   前記基準パターン情報記録工程では、前記基準車両の揺動に応じた特定の座標成分の前記座標値の変化が複数の前記基準画像特徴点において所定量以下となる場合、前記特定の座標成分の前記座標値である基準座標値を前記基準画像特徴点の前記座標値とする、基準パターン情報生成方法。
7. 基準車両の周囲の地物を撮影した撮影画像から前記地物の像に含まれる複数の基準画像特徴点を抽出して各基準画像特徴点の前記撮影画像上での位置を示す座標値を取得する基準画像特徴点抽出機能と、
   前記地物を撮影した時点での前記基準車両の位置を基準位置として取得する基準位置取得機能と、
   前記基準画像特徴点の前記座標値と前記基準位置とを対応づけて基準パターン情報として所定の記録媒体に記録する基準パターン情報記録機能とをコンピュータに実現させる基準パターン情報生成プログラムであって、
   前記基準パターン情報記録機能は、前記基準車両の揺動に応じた特定の座標成分の前記座標値の変化が複数の前記基準画像特徴点において所定量以下となる場合、前記特定の座標成分の前記座標値である基準座標値を前記基準画像特徴点の前記座標値とする機能をコンピュータに実現させる、基準パターン情報生成プログラム。

Images