JP2007271568A - 自車位置認識装置及び自車位置認識方法 - Google Patents

Abstract

【課題】地物の画像認識結果を用いて自車位置の認識を行うに際して、自車両と地物との間の距離の認識精度を高め、認識率の低下を防止し、地物の全体が一つの画像情報の中に含まれていない場合であっても画像認識を比較的容易に行う。
【解決手段】画像情報Ｇを取得する画像情報取得手段６と、自車位置情報Ｓを取得する自車位置情報取得手段５と、自車位置情報Ｓに基づいて撮像装置１４により撮像される対象地物の地物情報Ｆを取得する地物情報取得手段３と、地物情報Ｆに基づいて地物種別に応じた複数箇所の測定点の形態情報及び位置情報を含む測定点情報Ｍを取得する測定点情報取得手段４と、測定点の形態情報に基づいて画像情報Ｇに含まれている複数箇所の測定点の画像認識を行う画像認識手段７と、画像認識された測定点の画像認識結果と当該測定点の位置情報とに基づいて自車位置情報Ｓを補正する自車位置補正手段１０と、を備える。
【選択図】図１

Description

本発明は、自車両に搭載された撮像装置により撮像した画像情報を用いて詳細に自車位置の認識を行う自車位置認識装置及び自車位置認識方法に関する。

車載カメラを用いて自車両の位置の修正を行う技術として、例えば下記の特許文献１には、以下のような車載用ナビゲーション装置に関する技術が開示されている。この装置は、車両に搭載され、車両前方の走行道路に沿った風景を補促するカメラ、カメラにより補促された風景画像より交差点シンボルを識別して交差点を検出すると共に、車両位置から交差点（交差点シンボル）までの距離を求める交差点検出部、地図データから得られる前記交差点位置から前記距離だけ離れた走行道路上のポイントに車両位置を修正する車両位置修正手段を備えている。

この装置は、車載カメラにより交差点シンボル（信号機、横断歩道、中央分離帯用白線等）を識別して交差点を検出し、その後、車両位置から交差点までの距離を求める。そして、車両位置修正手段は、地図データから得られる交差点位置に対して、前記車両位置から交差点までの距離だけ離れた走行道路上の位置に車両位置を修正する。この際、前記車両位置から交差点までの距離は、識別された交差点シンボルが所在するカメラ画素を用いて画素・距離対応テーブルを参照することにより求める。

特開平９−２４３３８９号公報（第２−５頁、第１−２図）

上記の技術では、認識した交差点シンボルの中のどの位置を基準に交差点までの距離を求めるかが明らかにされていない。ここで、交差点シンボルの画像認識結果を用いて自車位置を補正する際における自車両から交差点シンボル等の認識対象となる地物までの距離の検出精度を高めるためには、当該認識対象となる地物に所定の基準位置を設定し、当該基準位置と自車両との間で距離の算出を行う必要がある。しかし、画像認識のための前記所定の基準位置を認識対象となる地物の中の所定の点や狭い領域として設定すると、地物の状態や天候等によっては画像認識が困難になり認識率が低下する可能性がある。

また、自車両から認識対象となる地物までの距離の認識精度を高めるためには、自車両に近い位置にある地物を対象として画像認識を行う方が有利である。しかし、近い位置にある地物を撮像した場合には、当該地物の大きさによっては、一フレームの画像情報の中に地物の全体が収まらない場合が生じ得る。ところが、上記の技術では、パターンマッチングにより交差点シンボルの全体の形状に基づいて画像認識を行うため、交差点シンボル等の認識対象となる地物の全体が一フレームの画像情報の中に含まれていない場合には、画像認識を行うことが困難になるという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、地物の画像認識結果を用いて自車位置の認識を行うに際して、自車両と地物との間の距離の認識精度を高めることを可能とするとともに、その地物の認識率が低下することを防止でき、また、地物の全体が一つの画像情報の中に含まれていない場合であっても画像認識を比較的容易に行うことができる自車位置認識装置及び自車位置認識方法を提供することにある。

上記目的を達成するための本発明に係る自車位置認識装置の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、前記撮像装置により撮像される対象地物の地物情報を取得する地物情報取得手段と、前記地物情報に基づいて、前記対象地物の地物種別に応じて予め定められた複数箇所の測定点について、その形態情報及び位置情報を含む測定点情報を取得する測定点情報取得手段と、前記測定点情報に含まれる前記形態情報に基づいて、前記画像情報に含まれている前記対象地物についての前記複数箇所の測定点の画像認識を行う画像認識手段と、前記画像認識手段により認識された前記測定点の中の少なくとも一つの画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する自車位置補正手段と、を備える点にある。

この特徴構成によれば、対象地物の画像認識を行うに際して、当該対象地物の地物種別に応じて予め定められた測定点を対象として画像認識を行うので、自車両と対象地物との間の距離の認識精度を高めることが可能となる。また、この際、測定点を複数箇所に設定しているので、一つの測定点が認識できなかった場合であっても他の測定点を認識できれば自車両と対象地物との間の距離を認識することができるので、認識率が低下することを防止できる。また、対象地物の中に設定された測定点を画像認識の対象とし、更には一つの対象地物の中に複数箇所の測定点を設定しているので、地物の全体が一つの画像情報の中に含まれていない場合であっても画像認識を比較的容易に行うことができる。
なお、例えば自車両の進行方向の位置だけを補正する場合には、進行方向に直交する方向の位置は問題とならない。したがって、本願発明における「測定点」は、点には限定されず、前記測定点の位置を自車両の進行方向に略直交する方向に延長した線として設定してもよい。

ここで、前記測定点は、各地物種別の地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されていると好適である。

このように構成すれば、自車両の進行方向に沿った測定点の位置の認識精度を高めることができる。したがって、自車両と対象地物との間の距離を高精度に認識することが可能となり、自車位置の認識精度を高めることができる。

また、一つの前記対象地物についての前記複数箇所の測定点のそれぞれに予め設定された優先度に基づいて、前記画像認識手段により認識された測定点の中から前記優先度の高い順に、少なくとも一つを選択する選択手段を更に備え、前記自車位置補正手段は、前記選択手段により選択された少なくとも一つの測定点の画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する構成とすると好適である。

このように構成すれば、複数の測定点の画像認識が成功した場合に、それらの中から予め設定された優先度に従って適切に測定点を選択して自車位置の補正に用いることができる。

また、一つの前記対象地物についての前記複数箇所の測定点に関して、自車両の進行方向前方に位置する測定点の優先度を、進行方向後方に位置する測定点の優先度より高く設定していると好適である。

ここで、画像情報に含まれる地物の画像がそのとき対象としている対象地物であることの確実性を表す自信度は、自車両の進行に従って当該地物が撮像された画像情報のフレーム数が増えるに従って高まる。特に、一フレームの画像情報中に対象地物の全体が納まらない場合等には、複数フレームの画像情報を用いることにより、画像情報に含まれる地物の画像がそのとき対象としている対象地物であることの確実性が高まる。この構成によれば、前記自信度の高い状態で認識された測定点が前記自信度の低い状態で認識された測定点より優先されることになる。したがって、画像認識手段による測定点の誤認識が生じることを抑制できる。

また、前記対象地物の各測定点について、画像認識の困難性に関する状態を示す測定点状態情報を取得する測定点状態情報取得手段を更に備え、前記画像認識手段は、前記測定点状態情報に基づいて認識困難とされた測定点以外の測定点について画像認識を行う構成とすると好適である。

ここで、「測定点状態情報」としては、例えば、対象地物における各測定点周辺のかすれや汚れの情報等、測定点の画像認識に影響を与える各種の情報が含まれる。
この構成によれば、対象地物のかすれや汚れの程度等を考慮して測定点の画像認識を行うことが可能となる。したがって、無駄な画像認識処理を省いて演算負荷を軽減できるとともに、測定点の位置の誤認識が生じることを抑制できる。

また、各地物種別の対象地物についての前記複数箇所の測定点の形態情報を、地物の全体形態の中での複数箇所の測定点の配置として規定し、地物種別毎に格納した測定点形態情報格納手段を更に備え、前記測定点情報取得手段は、前記対象地物の地物種別に対応する前記測定点の形態情報を、前記測定点形態情報格納手段から取得する構成とすると好適である。

このように構成すれば、対象地物の測定点の形態情報を、地物種別に応じて適切に取得することが可能となる。また、取得される測定点の形態情報は、地物の全体形態の中での測定点の配置として規定されているので、画像認識手段における測定点の画像認識を良好に行うことができる。

また、前記測定点情報取得手段は、前記地物情報に含まれる前記対象地物の位置及び形態を示す情報と、前記測定点形態情報格納手段に格納された前記対象地物の地物種別に対応する前記測定点の形態情報とに基づいて、前記測定点の位置情報を導出して取得する構成とすると好適である。

このように構成すれば、地物情報取得手段により取得した地物情報に基づいて、測定点の位置情報を導出して取得することができる。したがって、全ての測定点の座標等の位置情報を記憶しておく場合と比較して、情報格納手段に格納しておくことが必要な情報量を少なく抑えることが可能となる。

また、少なくとも前記画像情報に含まれている地物の画像が前記対象地物の画像であることの確実性を表す自信度を判定する自信度判定手段を更に備え、前記自車位置補正手段は、前記自信度が所定の閾値以上のときに、当該地物についての前記測定点の画像認識結果を用いて前記自車位置情報の補正を行う構成とすると好適である。

このように構成すれば、画像情報に含まれる地物の画像がそのとき対象としている対象地物であることの確実性が高い場合にのみ、自車位置補正手段において、当該地物についての前記測定点の画像認識結果を用いて前記自車位置情報の補正が行われることになる。したがって、自信度が低い場合に、当該地物についての前記測定点の画像認識結果を用いた前記自車位置情報の補正が行われないので、誤った画像認識結果に基づいて自車位置情報を補正することにより、自車位置情報の誤差が拡大することを抑制できる。また、無駄な演算処理を省いて演算負荷を軽減することができる。

本発明に係る車両制御装置の特徴構成は、上記のような自車位置認識装置と、地図情報を格納した地図情報格納手段と、を備え、前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置補正手段による補正後の自車位置情報とに基づいて、自車両の走行制御を行う点にある。

この特徴構成によれば、高い認識率で高精度に認識した測定点の画像認識結果を用いた補正後の自車位置情報に基づいて自車両の走行制御を行うことになる。したがって、例えばレーンキープや衝突防止等のための操舵や加減速等といった自車両の走行制御を適切に行うことが可能となる。

本発明に係るナビゲーション装置の特徴構成は、上記のような自車位置認識装置と、地図情報を格納した地図情報格納手段と、任意の情報を表示可能な表示手段及び任意の音声情報を出力可能な音声出力手段の一方又は双方と、を備え、前記地図情報格納手段から取得した自車両の周辺の地図情報と、前記自車位置補正手段による補正後の自車位置情報とに基づいて、前記表示手段及び前記音声出力手段の一方又は双方を用いて自車両の進路案内を行う点にある。

この特徴構成によれば、この特徴構成によれば、高い認識率で高精度に認識した測定点の画像認識結果を用いた補正後の自車位置情報に基づいて自車位置の案内等を行うことになる。したがって、例えば自位置の詳細な表示や、詳細に認識される自位置の情報に基づいて最適なタイミングで経路案内を行うこと等が可能となる。

本発明に係る自車位置認識方法の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得ステップと、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得ステップと、前記自車位置情報に基づいて、前記撮像装置により撮像される対象地物の地物情報を取得する地物情報取得ステップと、前記地物情報に基づいて、前記対象地物の地物種別に応じて予め定められた複数箇所の測定点について、その形態情報及び位置情報を含む測定点情報を取得する測定点情報取得ステップと、前記測定点情報に含まれる前記形態情報に基づいて、前記画像情報に含まれている前記対象地物についての前記複数箇所の測定点の画像認識を行う画像認識ステップと、前記画像認識ステップにより認識された前記測定点の中の少なくとも一つの画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する自車位置補正ステップと、を備える点にある。

この特徴構成によれば、対象地物の画像認識を行うに際して、当該対象地物の地物種別に応じて予め定められた測定点を対象として画像認識を行うので、自車両と対象地物との間の距離の認識精度を高めることが可能となる。また、この際、測定点を複数箇所に設定しているので、一つの測定点が認識できなかった場合であっても他の測定点を認識できれば自車両と対象地物との間の距離を認識することができるので、認識率が低下することを防止できる。また、対象地物の中に設定された測定点を画像認識の対象とし、更には一つの対象地物の中に複数箇所の測定点を設定しているので、地物の全体が一つの画像情報の中に含まれていない場合であっても画像認識を比較的容易に行うことができる。

〔第一の実施形態〕
本発明の第一の実施形態について図面に基づいて説明する。図１は、本実施形態に係る自車位置認識装置１の全体構成を模式的に示すブロック図である。図２は、図１に示される地物形態データベースＤＢ１、地物配置データベースＤＢ２、測定点形態データベースＤＢ３、及び測定点状態データベースＤＢ４のそれぞれに格納される情報の内容を示す説明図である。本実施形態においては、自車位置認識のために取り扱う対象とする対象地物を、道路面上に配置されたいわゆる道路ペイント等の平面的な地物とし、特に横断歩道や停止線等の道路標示とする場合を例として説明する。

この自車位置認識装置１の各機能部、具体的には、地物情報生成部３、測定点情報生成部４、自車位置演算部５、画像情報取得部６、画像認識部７、位置関係演算部８、及び自車位置補正部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。また、各データベースＤＢ１、ＤＢ２、ＤＢ３、ＤＢ４、及びＤＢｍは、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。以下、各部の構成について詳細に説明する。

１．地物形態データベースＤＢ１
まず、図２に基づいて各データベースの構成について説明する。地物形態情報格納手段としての地物形態データベースＤＢ１には、一つの地物種別の地物が備える形態を規定した地物形態情報Ｆａが、地物種別毎に複数格納されている。各地物種別についての地物形態情報Ｆａは、地物種別を表す地物種別コードＣｆに関連付けられてそれぞれデータベースに格納されている。地物形態情報Ｆａは、対象地物としての道路標示の形態を示す情報であり、各地物種別の地物の輪郭形状を示す輪郭情報を有して構成されている。図３（ａ）〜（ｆ）は、複数の地物種別の地物の輪郭形状及び代表点Ｒの位置の例を示している。すなわち、（ａ）は「横断歩道」、（ｂ）は「停止線」、（ｃ）は「横断歩道予告（横断歩道あり）」、（ｄ）は「進行方向別通行区分」、（ｅ）は「転回禁止」、（ｆ）は「最高速度」の各道路標示の輪郭形状を示している。このような各道路標示名に対応して地物種別コードＣｆが設定されている。そして、この図３（ａ）〜（ｆ）に示されるような輪郭形状の情報が各道路標示を示す地物種別コードＣｆと関連付けられた状態で地物形態情報Ｆａとして格納されている。なお、当然ながら図３に示す地物種別は対象地物の中の一部の例であり、この図に示す以外の地物種別の地物も対象地物となり得る。

また、各地物種別の地物の輪郭形状に関連付けて、各部の寸法のうち、法令によって規定されており変化しない箇所に関する情報も地物形態情報Ｆａとして格納されている。すなわち、横断歩道や停止線の道路幅方向の長さ等は、配置場所の道路幅によって当然に変化するからである。例えば、図３（ａ）の「横断歩道」の場合であれば、各線の幅Ｌ１及び線間隔Ｌ２は法令によって規定されているが、各線の長さ（横断歩道の幅）Ｌ３及び横断歩道全体の長さＬ４は配置場所によって変化する。一方、例えば図３（ｄ）の「進行方向別通行区分」の場合は各部の全ての寸法が法令によって規定されている。

２．地物配置データベースＤＢ２
地物配置情報格納手段としての地物配置データベースＤＢ２には、複数の地物について、各地物の地物種別を示す地物種別情報Ｆｂと各地物の位置及び方向を示す地物配置情報Ｆｃとが格納されている。各地物についての地物種別情報Ｆｂ及び地物配置情報Ｆｃは、各地物に固有の地物識別符号ＩＤｆに関連付けられてそれぞれデータベースに格納されている。地物識別符号ＩＤｆは、各地物に重複することなく付される固有の符号である。地物種別情報Ｆｂは、各地物の属する地物種別を示す情報であって、ここでは、各地物の属する地物種別を表す地物種別コードＣｆとしている。

地物配置情報Ｆｃは、各地物の位置及び方向を示す情報である。ここでは、図３に示すように、地物配置情報Ｆｃは、各地物の外形上に配置された複数個の代表点Ｒの位置情報により構成されている。本例では、代表点Ｒは、（１）図３（ａ）〜（ｄ）に示されるように各地物の輪郭線上における最外部に位置するように設定される場合と、（２）図３（ｅ）及び（ｆ）に示されるように各地物をその輪郭線の最外部に沿って囲む矩形枠Ｆｒの角部に位置するように設定される場合とがある。前記（１）の場合、代表点Ｒの個数は地物種別によって適切に設定されている。例えば図３（ａ）の「横断歩道」のように、幅Ｌ３及び長さＬ４が配置場所によって変化する地物の場合には４箇所に設定されている。一方、例えば図３（ｄ）の「進行方向別通行区分」の場合は各部の全ての寸法が法令によって規定されており、２箇所に設定しておけば道路上における地物の配置が定まる。前記（２）のような代表点Ｒの配置は、文字や複数個の組み合わせ等のような比較的複雑な輪郭形状を有する地物について行われる。

地物配置情報Ｆｃを構成する代表点Ｒの位置情報は、各代表点Ｒの緯度及び経度で表現可能な地図上の位置を示す情報である。図１に示すように、本例では、地物配置データベースＤＢ２は、地図データベースＤＢｍの一部として構成されている。そして、代表点Ｒの位置情報は、地図データベースＤＢｍに格納されている地図上の位置を示す情報とされている。そこで、以下に地図データベースＤＢｍの構成について説明する。

３．地図データベースＤＢｍ
地図情報格納手段としての地図データベースＤＢｍは、地図情報Ｅを格納したデータベースである。図４は、地図データベースＤＢｍに格納されている地図情報Ｅの内容を示す説明図である。この図に示すように、本実施形態に係る地図データベースＤＢｍには、地図情報Ｅとして、道路ネットワークレイヤＸ１、道路形状レイヤＸ２、地物レイヤＸ３が格納されている。そして、本例では、この地物レイヤＸ３が、上述の地物配置データベースＤＢ２を構成する。

道路ネットワークレイヤＸ１は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＸ２は、道路ネットワークレイヤＸ１に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｑの情報と、各道路形状補完点Ｑにおける道路幅Ｗの情報とを有して構成されている。

地物レイヤＸ３は、道路ネットワークレイヤＸ１及び道路形状レイヤＸ２に関連付けられて格納され、道路上及び道路の周辺に設けられた各種地物の情報を示すレイヤである。ここでは、対象地物に関して、地物識別符号ＩＤｆに関連付けて地物種別情報Ｆｂ及び地物配置情報Ｆｃが格納されている（図２参照）。地物配置情報Ｆｃは、図３に示されているように、各地物の代表点Ｒの地図上の位置を示す位置情報とされている。各代表点Ｒの位置情報は、ここでは、道路ネットワークレイヤＸ１及び道路形状レイヤＸ２に格納されているノードＮ又は道路形状補完点Ｑの位置情報を基準として、そこからのオフセット量により表されている。また、地物レイヤＸ３には、対象地物以外の区画線等の道路標示以外の道路ペイントや標識及び信号機等の立体物等に関する情報も格納されている。この各地物の代表点Ｒの位置情報を示す地物配置情報Ｆｃに基づいて、後述する測定点情報生成部４において、各地物の測定点Ｐの位置情報が演算され導出される。

４．測定点形態データベースＤＢ３
図２に示すように、測定点形態情報格納手段としての測定点形態データベースＤＢ３には、各地物種別の地物についての複数箇所の測定点Ｐ（図５及び図６参照）のそれぞれの形態を規定した測定点形態情報Ｍａが格納されている。ここでは、各地物種別の地物にそれぞれ複数箇所の測定点Ｐが設定されており、その各地物種別の地物に設定された複数の測定点Ｐのそれぞれに重複しない測定点番号Ｍｎ（＝１、２、・・・）が設定されている。そして、各地物種別コードＣｆに関連付けられて当該地物種別に設定された複数箇所の測定点Ｐの測定点番号Ｍｎと、各測定点番号Ｍｎの測定点Ｐについての測定点形態情報Ｍａとが格納されている。

測定点Ｐは、対象地物上に設定された特定の位置である。この測定点Ｐが、後述する画像認識部７における画像認識の対象となるとともに、位置関係演算部８における自車両Ｃと対象地物との位置関係の演算の際の基準となる。そして、測定点形態情報Ｍａは、地物の全体形態の中での複数箇所の測定点Ｐの配置として規定されている。図５及び図６の（ａ）〜（ｆ）は、複数の地物種別についての測定点Ｐの配置の例を示している。すなわち、（ａ）は「横断歩道」、（ｂ）は「停止線」、（ｃ）は「横断歩道予告（横断歩道あり）」、（ｄ）は「進行方向別通行区分」、（ｅ）は「転回禁止」、（ｆ）は「最高速度」の各地物種別についての測定点Ｐの配置（すなわち測定点形態情報Ｍａ）を示している。図５及び図６における括弧内の番号は、各測定点Ｐの測定点番号Ｍｎを示している。これらの図に示すように、測定点Ｐは、一つの地物種別の地物について少なくとも２箇所以上に設定されている。そして、各測定点Ｐは、各地物種別の地物の輪郭形状に応じて、主として自車両Ｃの進行方向ｄに略直交する輪郭線上、又は輪郭形状が角部を有する場合には当該角部上に設定されている。また、測定点Ｐは、文字どおりの点には限定されず、測定点Ｐの位置を自車両Ｃの進行方向ｄに略直交する方向に延長した線としても設定される。これは、本例では、後述する自車位置補正部９において自車両Ｃの進行方向ｄの位置を補正することから、進行方向ｄに直交する方向の位置は問題とならないことによるものである。

また本例では、各測定点Ｐの測定点番号Ｍｎが、各測定点Ｐの優先度を表している。すなわち、ここでは、測定点番号Ｍｎの値が測定点Ｐの優先順位となっている。そして、図５及び図６の（ａ）〜（ｆ）に示すように、測定点番号Ｍｎは、一つの対象地物についての複数箇所の測定点Ｐに関して、自車両Ｃの進行方向ｄの最前方に位置する測定点Ｐから順に１、２、３・・・と測定点番号Ｍｎを設定している。したがって、一つの対象地物についての複数箇所の測定点Ｐに関して、優先順位は自車両Ｃの進行方向ｄの最前方に位置する測定点Ｐから順に１、２、３・・・となる。すなわち、自車両Ｃの進行方向ｄの前方に位置する測定点Ｐの優先度は、進行方向ｄの後方に位置する測定点Ｐの優先度より高く設定されている。このように各測定点Ｐの優先度を設定することにより、自信度の高い状態で認識された測定点Ｐが自信度の低い状態で認識された測定点Ｐより優先されることになる。

ここで、自信度とは、少なくとも画像情報Ｇに含まれる地物の画像がそのとき対象としている対象地物であることの確実性を表す尺度であり、後述する自信度判定部１６により判定される。この自信度は、自車両Ｃの進行に従って当該地物が画像認識可能な状態で撮像された画像情報Ｇのフレーム数が増えるに従って高まる。特に、例えば図７の（ｄ）〜（ｆ）に示すように、一フレームの画像情報Ｇ中に対象地物の全体が納まらない場合等には、複数フレームの画像情報Ｇを用いることにより、画像情報Ｇに含まれる地物の画像がそのとき対象としている対象地物であることの確実性が高まる。したがって、自車両Ｃの進行方向ｄの前方に位置する測定点Ｐの優先度を高く設定することにより、自信度の高い状態で認識された測定点Ｐがより優先されることになる。これにより、画像認識部７において測定点Ｐの誤認識が発生することを抑制できる。特に、自車両Ｃの進行方向ｄに大きい対象地物の画像認識を行う場合等のように、一フレームの画像情報Ｇ中に対象地物の全体が納まらない場合に、測定点Ｐの誤認識を効果的に抑制できる。なお、図５（ｂ）の「停止線」のように、自車両Ｃの進行方向ｄに小さい対象地物については、進行方向ｄの後方に位置する測定点Ｐの優先度を高く設定してもよい。

次に、図５及び図６の（ａ）〜（ｆ）に示す各地物種別の地物についての測定点Ｐの配置の具体例について順に説明する。これらの図において、測定点Ｐは太い破線で示している。図５（ａ）の「横断歩道」の場合、測定点Ｐは、自車両Ｃの進行方向ｄに長い複数の平行な帯状の輪郭線のそれぞれの前方及び後方の短辺をつないだ直線状の２箇所に設定されている。図５（ｂ）の「停止線」の場合、測定点Ｐは、自車両Ｃの進行方向ｄに直交する前方及び後方の長辺上に配置された直線状の２箇所に設定されている。図５（ｃ）の「横断歩道予告（横断歩道あり）」の場合、測定点Ｐは、外周側及び内周側のそれぞれの菱形における、自車両Ｃの進行方向ｄの最前方側の角部にそれぞれ点状の２箇所に設定されている。図６（ｄ）の「進行方向別通行区分」の場合、測定点Ｐは、直進方向を示す矢印の最前方側の角部に点状の１箇所、及び当該矢印の首部の自車両Ｃの進行方向ｄに直交する線上に配置された直線状の１箇所の合計２箇所に設定されている。図６（ｅ）の「転回禁止」の場合、測定点Ｐは、Ｕ字状の矢印の湾曲部の外周側及び内周側のそれぞれにおける自車両Ｃの進行方向ｄの最前方側の頂点を通る接線方向に延びる直線状の２箇所、及び当該矢印の首部の自車両Ｃの進行方向ｄに直交する線上に配置された直線状の１箇所の合計３箇所に設定されている。図６（ｆ）の「最高速度」の場合、測定点Ｐは、「０」の字の湾曲部の外周側及び内周側のそれぞれにおける自車両Ｃの進行方向ｄの最前方側の頂点を通る接線方向に延びる直線状の２箇所に設定されている。

以上のような各地物種別の地物についての測定点Ｐの配置の情報が、測定点形態情報Ｍａとなる。なお、これらの各測定点Ｐは、走行中の自車両Ｃからの画像認識によりエッジを認識し易く、自車両Ｃと測定点Ｐとの距離の認識が比較的容易な位置に設定されている。なお、上記のように設定された各測定点Ｐのうち、直線状に設定された各測定点Ｐは、当該線上の中央等のいずれか一点の点状に設定しても好適である。また、点状に設定された各測定点Ｐは、進行方向ｄに略直交する直線状に設定しても好適である。

５．測定点状態データベースＤＢ４
図２に示すように、測定点状態情報格納手段としての測定点状態データベースＤＢ４には、複数の地物の各測定点Ｐについて、画像認識の困難性に関する状態を示す測定点状態情報Ｍｂが格納されている。上記のとおり測定点形態データベースＤＢ３に格納されている情報に従い、各地物にはその地物種別に応じて複数箇所の測定点Ｐが設定されており、各測定点Ｐに測定点番号Ｍｎ（＝１、２、・・・）が設定されている。そして、各地物に固有の地物識別符号ＩＤｆに関連付けられて、当該地物に設定された複数箇所の測定点Ｐの測定点番号Ｍｎと、各測定点番号Ｍｎの測定点Ｐについての測定点状態情報Ｍｂとが格納されている。なお、この地物識別符号ＩＤｆは、地物配置データベースＤＢ２と共通の符号である。

測定点状態情報Ｍｂは、後述する画像認識部７による画像認識の困難性に関する状態を示す情報である。したがって、測定点状態情報Ｍｂには、例えば、対象地物における各測定点Ｐの周辺のかすれや汚れの情報等、測定点Ｐの画像認識に影響を与える各種の情報が含まれる。本例では、測定点状態情報Ｍｂは、各測定点Ｐの周辺のかすれや汚れ等を考慮して画像認識の困難性を予め判断した結果を、画像認識が可能であることを示す「ＯＫ」又は画像認識が困難であることを示す「ＮＧ」のいずれかで表す情報としている。この測定点状態情報Ｍｂを用いれば、画像認識部７において、対象地物のかすれや汚れの程度等を考慮して測定点Ｐの画像認識を行うことが可能となる。したがって、無駄な画像認識処理を省いて演算負荷を軽減できるとともに、測定点Ｐの位置の誤認識が生じることを抑制できる。

６．地物情報生成部３
地物情報生成部３は、地物情報Ｆを生成する地物情報生成手段、及び地物情報Ｆを取得する地物情報取得手段として機能する。すなわち、地物情報生成部３は、自車位置演算部５から取得した自車位置情報Ｓを指定位置とし、その位置近傍の地物の地物配置情報Ｆｃ及び地物種別情報Ｆｂを地物配置データベースＤＢ２から取得する。また、地物情報生成部３は、取得された地物種別情報Ｆｂに従って当該地物種別の地物形態情報Ｆａを地物形態データベースＤＢ１から取得する。そして、これらの地物配置情報Ｆｃ及び地物形態情報Ｆａに基づいて、自車位置情報Ｓに示される位置近傍の地物の道路面上における配置及び形態を示す地物情報Ｆを生成して取得する。この地物情報生成部３により生成された地物情報Ｆは、図１に示すように、測定点情報生成部４及び画像認識部７に出力される。

ここでは、地物情報生成部３は、自車位置情報Ｓに基づいて、撮像装置１４により撮像される対象地物についての地物情報Ｆを生成して取得する。本例では、地物情報生成部３は、自車両Ｃの進行方向ｄに存在し、自車両Ｃが進行することにより撮像装置１４により撮像されることになる一つの対象地物についての地物情報Ｆを、撮像装置１４により撮像される前に先行的に生成して取得することとしている。具体的には、地物情報生成部３は、自車位置情報Ｓに基づいて、自車両Ｃの進行方向ｄの所定距離内に存在し、自車両Ｃが進行することにより撮像装置１４により撮像されることになる対象地物を一つ、地物配置情報Ｆｃに基づいて地物配置データベースＤＢ２から抽出する。ここで、自車両Ｃからの所定距離は、例えば、５０〔ｍ〕や１００〔ｍ〕等に設定することができる。また、抽出された対象地物についての地物種別情報Ｆｂ及び地物配置情報Ｆｃを地物配置データベースＤＢ２から取得する。次に、地物情報生成部３は、取得された地物種別情報Ｆｂに従って当該地物種別の地物形態情報Ｆａを地物形態データベースＤＢ１から取得する。そして、本例では、抽出された対象地物の同じ地物識別符号ＩＤｆに、これらの地物形態情報Ｆａ、地物種別情報Ｆｂ及び地物配置情報Ｆｃを組み合わせて一つの地物情報Ｆを生成する。ここで、地物配置情報Ｆｃは、上記のとおり複数個の代表点Ｒの地図上の位置情報である。そして、地物情報Ｆに含まれる地物形態情報Ｆａは、法令によって規定されていない箇所の寸法を変化させることにより、対象地物の輪郭形状を、複数個の代表点Ｒの地図上の配置に合わせて変形させて調整した輪郭情報とされている。

７．測定点情報生成部４
測定点情報生成部４は、測定点情報を生成する測定点情報生成手段、及び測定点情報を取得する測定点情報取得手段として機能する。すなわち、測定点情報生成部４は、地物情報生成部３から出力された地物情報Ｆに基づいて、当該地物情報Ｆに示される対象地物の複数箇所の測定点Ｐについて、その形態情報及び位置情報を含む測定点情報Ｍを生成して取得する。そのため、測定点情報生成部４は、まず、地物情報Ｆに含まれる地物種別情報Ｆｂに示される地物種別に対応する測定点形態情報Ｍａを、測定点形態データベースＤＢ３から取得する。また、測定点情報生成部４は、取得した測定点形態情報Ｍａと、地物情報Ｆとに基づいて測定点Ｐの位置情報を導出する。そして、測定点情報生成部４は、地物情報Ｆに示される対象地物の複数箇所の測定点Ｐの形態情報及び位置情報を含む測定点情報Ｍを生成して取得する。この測定点情報生成部４により生成された測定点情報Ｍは、図１に示すように、画像認識部７及び自車位置補正部９に出力される。

測定点情報Ｍを構成する測定点Ｐの位置情報は、測定点形態データベースＤＢ３から取得した測定点形態情報Ｍａと、地物情報生成部３から出力された地物情報Ｆとに基づいて導出する。具体的には、地物情報Ｆに含まれている地物形態情報Ｆａ及び地物配置情報Ｆｃにより、当該地物情報Ｆに係る対象地物の複数個の代表点Ｒの地図上の位置、及び当該複数個の代表点Ｒの地図上の配置に合わせて変形させて調整した当該対象地物の輪郭形状が表されている。また、測定点形態情報Ｍａは、地物の全体形態の中での複数箇所の測定点Ｐの配置として規定されている。したがって、これらの情報を組み合わせ、地物情報Ｆに係る対象地物の地図上の配置を基準として測定点形態情報Ｍａに示される複数箇所の測定点Ｐのそれぞれの位置を導出することにより、地図上における各測定点Ｐの位置を示す位置情報を取得する。すなわち、対象地物についての地物配置情報Ｆｃが示す代表点Ｒの地図上の位置と、地物形態情報Ｆａが示す当該対象地物の輪郭形状とから、当該対象地物の地図上の輪郭形状の配置が導出される。また、対象地物の測定点形態情報Ｍａは、当該対象地物の全体形態を表す輪郭形状の中の複数箇所の測定点Ｐの配置を示している。したがって、これらの情報を組み合わせることにより、双方の輪郭形状の情報を介して地図上における測定点Ｐの配置を示す位置情報を演算して導出することができる。なお、演算した結果、測定点Ｐの位置が、代表点Ｒの位置と一致し、又は代表点Ｒをつなぐ線上に一致する場合もあり得る。一方、測定点情報Ｍを構成する測定点Ｐの形態情報は、測定点形態データベースＤＢ３から取得した測定点形態情報Ｍａの内容と同一とすることができる。

また、本例では、測定点情報生成部４は、地物情報生成部３から出力された地物情報Ｆの地物識別符号ＩＤｆに基づいて、同じ地物識別符号ＩＤｆの測定点状態情報Ｍｂを測定点状態データベースＤＢ４から抽出して取得する。よって、測定点情報生成部４は、測定点状態情報を取得する測定点状態情報取得手段としても機能する。測定点状態情報Ｍｂは、上記のとおり、対象地物の複数箇所の測定点Ｐのそれぞれについての画像認識の困難性に関する状態を示す情報である。そして、測定点情報生成部４は、この地物識別符号ＩＤｆに、上記の測定点Ｐの位置情報及び形態情報、並びに測定点状態情報Ｍｂを組み合わせて一つの測定点情報Ｍを生成する。

以上のとおり、地物形態データベースＤＢ１、地物配置データベースＤＢ２、及び地物情報生成部３、又はこれらに測定点形態データベースＤＢ３、測定点状態データベースＤＢ４、及び測定点情報生成部４を加えた構成が、地物情報Ｆ（及び測定点情報Ｍ）を生成して出力する地物情報出力装置２となる。

８．自車位置演算部５
自車位置演算部５は、自車両Ｃの現在位置を示す自車位置情報Ｓを取得する自車位置情報取得手段、及び地物情報生成部３に対して指定位置を入力する位置入力手段として機能する。ここでは、自車位置演算部５は、ＧＰＳ受信機１１、方位センサ１２、及び距離センサ１３と接続されている。ここで、ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置演算部５へ出力される。自車位置演算部５では、ＧＰＳ受信機１１で受信されたＧＰＳ衛星からの信号を解析し、自車の位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。方位センサ１２は、自車両Ｃの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ１２は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ５は、その検出結果を自車位置演算部５へ出力する。距離センサ１３は、自車両Ｃの移動距離や車速を検出するセンサである。この距離センサ１３は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を２回積分する回路等により構成される。そして、距離センサ１３は、その検出結果を自車位置演算部５へ出力する。

そして、自車位置演算部５は、これらのＧＰＳ受信機１１、方位センサ１２及び距離センサ１３からの出力に基づいて、公知の方法により自車両Ｃの現在位置を特定する演算を行う。また、自車位置演算部５は、地図データベースＤＢｍから自車位置周辺の地図情報Ｅを取得し、それに基づいて公知のマップマッチングを行うことにより自車両Ｃの現在位置を地図情報Ｅに示される道路上とする補正も行う。そして、この自車位置演算部５は、演算結果である自車両Ｃの現在位置の情報を自車位置情報Ｓとして地物情報生成部３及び自車位置補正部９へ出力する。この際、自車位置情報Ｓは、例えば、緯度及び経度で表された位置の情報として表される。

なお、自車位置演算部５により演算された自車位置情報Ｓの精度は、方位センサ１２、車速センサ１３及びＧＰＳ受信機１１により受信したＧＰＳ信号の精度に大きく影響を受ける。このため、自車位置情報は数〔ｍ〕から数十〔ｍ〕程度の誤差を含んでいる可能性がある。

９．画像情報取得部６
画像情報取得部６は、自車両Ｃに搭載された撮像装置１４により撮像した画像情報Ｇを取得する画像情報取得手段として機能する。撮像装置１４は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置１４は、自車両Ｃの前方や後方に向けて搭載され、少なくとも自車両Ｃが走行する道路の路面が撮影されるように設けられる。このような撮像装置１４としては、自車両Ｃの前方や後方の映像を撮像するために既に設けられている車載カメラが好適に用いられる。

画像情報取得部６は、撮像装置１４により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Ｇに変換して画像メモリ１５に格納する。この際の画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部６は、自車両Ｃが走行中の道路面を撮像した複数フレームの画像情報Ｇをほぼ連続的に取得することができる。一旦画像メモリ１５に格納された画像情報Ｇは、画像認識部７へ出力される。

１０．画像認識部７
画像認識部７は、画像情報Ｇに含まれている対象地物についての複数箇所の測定点Ｐの画像認識を行う画像認識手段として機能する。画像認識部７は、主として測定点情報Ｍに含まれる形態情報に基づいて測定点Ｐの画像認識を行う。本例では、上記のとおり、地物情報生成部３は、自車両Ｃの進行方向ｄに存在し、自車両Ｃが進行することにより撮像装置１４により撮像されることになる一つの対象地物についての地物情報Ｆを先行的に生成して取得する。そこで、画像認識部７は、地物情報生成部３から地物情報Ｆが出力された後に画像情報取得部６によりほぼ連続的に取得される複数フレームの画像情報Ｇに対して、当該地物情報Ｆに示される対象地物の複数箇所の測定点Ｐの画像認識を行う。具体的には、画像認識部７は、まず、画像情報Ｇに対する二値化処理やエッジ抽出処理等により、地物情報Ｆに示される対象地物の輪郭形状を抽出する。その後、測定点情報生成部４から出力された当該対象地物についての測定点情報Ｍに含まれる形態情報に基づいて、パターン認識処理により、画像情報Ｇの中に含まれる複数箇所の測定点Ｐの画像認識を行う。

この際、本例では、画像認識部７は、測定点情報Ｍに含まれる測定点状態情報Ｍｂに基づいて、画像認識が困難とされた測定点Ｐ以外の測定点Ｐについて画像認識を行う。すなわち、上記のとおり、本例では、測定点状態情報Ｍｂは、各測定点Ｐの周辺のかすれや汚れ等を考慮して画像認識の困難性を予め判断した結果を、画像認識が可能であることを示す「ＯＫ」又は画像認識が困難であることを示す「ＮＧ」のいずれかで表す情報としている。したがって、画像認識部７は、対象地物の複数箇所の測定点Ｐの中から測定点状態情報Ｍｂが「ＯＫ」となっている測定点Ｐのみを対象として画像認識を実行する。これにより、かすれや汚れ等により画像認識が困難な状態となっている測定点Ｐの画像認識処理を省くことができるので、画像認識部７による演算負荷を軽減できるとともに、測定点Ｐの位置の誤認識が生じることを抑制できる。

また、画像認識部７は、自信度判定手段としての自信度判定部１６を備えている。自信度判定部１６は、少なくとも画像情報Ｇに含まれている地物の画像が地物情報生成部３から出力された地物情報Ｆが示す対象地物の画像であることの確実性を表す自信度を判定する。また、本例では、自信度は、当該対象地物について設定された複数箇所の測定点Ｐの画像認識部７による認識率も表す尺度としている。そして、自信度判定部１６により判定された自信度が所定の閾値以上のときに、後述する位置関係演算部８及び自車位置補正部９において、当該対象地物についての測定点Ｐの画像認識結果を用いて自車位置情報Ｓを補正する処理を実行する。本例では、自信度は、画像情報Ｇに含まれる地物の画像がそのとき対象としている対象地物であることの確実性、及び当該対象地物について設定された複数箇所の測定点Ｐの画像認識率を表す尺度である。この自信度は、自車両Ｃの進行に従って当該対象地物が画像認識可能な状態で撮像された画像情報Ｇのフレーム数が増えるに従って、また、それにより当該対象地物の測定点Ｐの画像が認識されるに従って高まる。

具体的には、自信度は、地物の全体が１フレーム内に撮像されているか否かに関わらず、当該地物の地物種別を確定できる特徴的な形状の部分の輪郭形状を画像認識可能な画像情報Ｇのフレーム数に応じて高くなる。また、自信度は、当該地物が対象地物であるとした場合に、測定点情報生成部４から出力された測定点情報Ｍに基づいて、当該対象地物について予め設定された複数箇所の測定点Ｐの内の画像認識できた測定点Ｐの数が増えるに従って高くなる。本例では、自信度判定部１６は、画像情報Ｇに含まれている地物の画像が対象地物の画像であることの確実性に関しては、地物種別毎の特徴的な形状の部分についての輪郭形状の画像認識の可否と、そのような画像認識が可能な画像情報Ｇのフレーム数とに応じた、対象地物であることの確実性を示すパラメータを、地物種別毎にそれぞれ規定したテーブル（図示せず）に従って決定する。そして、自信度判定部１６は、前記パラメータと、当該対象地物について設定された複数箇所の測定点Ｐの画像認識率とに基づいて、自信度を決定する。ここでは、一例として、自信度は０〜１００〔％〕の値で表すこととし、当該対象地物についての測定点Ｐの画像認識結果を用いて自車位置情報Ｓを補正する処理を実行するか否か自信度の閾値を、例えば７０〔％〕とする。なお、この自信度の閾値は、状況に応じて適切な値を任意に設定することが可能である。

そこで次に、図７を用いて、対象地物に対する自車両Ｃの各位置での自信度の変化と画像認識の実行の可否の具体例について説明する。図７は、「進行方向別通行区分」の道路標示が対象地物である場合における自車両Ｃの対象地物に対する各位置での画像情報Ｇの例を示す図である。図７の（ａ）と（ｄ）、（ｂ）と（ｅ）、（ｃ）と（ｆ）はそれぞれ対応しており、（ｄ）〜（ｆ）は、（ａ）〜（ｃ）に示される自車両Ｃの各位置における画像情報Ｇの例をそれぞれ示している。この例では、撮像装置１４として、自車両Ｃの後方の道路面を撮像するバックカメラを用いている。図７（ａ）に示される自車位置での画像情報Ｇには、（ｄ）に示されるように対象地物の特徴的な形状の部分がほとんど含まれていない。また、ここまでの画像情報Ｇの各フレームにも当然に対象地物の特徴的な形状の部分は含まれていない。更に、この対象地物について設定された測定点Ｐの画像も含まれておらず、測定点Ｐの画像認識もできない。したがって、自信度は閾値未満の低い状態（例えば３０〔％〕）である。図７（ｂ）に示される自車位置での画像情報Ｇには、（ｅ）に示されるように対象地物の特徴的な形状部分が多く含まれている。また、ここまでの画像情報Ｇの相当数のフレームにも対象地物の特徴的な部分は含まれている。更に、この対象地物について設定された測定点Ｐの一つの画像が含まれており、この測定点Ｐの画像認識が行われる。ここでは、測定点Ｐの直進方向を示す矢印の首部に設定された測定点番号Ｍｎが「２」（優先順位が「２」）の測定点Ｐの画像認識が行われる。したがって、自信度は閾値以上に高くなっている状態（例えば８０〔％〕）である。図７（ｃ）に示される自車位置での画像情報Ｇには、（ｆ）に示されるように対象地物の特徴的な形状部分を含む対象地物の全体が含まれている。また、ここまでの画像情報Ｇの相当数のフレームにも対象地物の特徴的な部分は含まれている。更に、この対象地物について設定されたもう一つの測定点Ｐの画像が含まれており、この測定点Ｐの画像認識が行われる。ここでは、測定点Ｐの直進方向を示す矢印の最前方側の角部に設定された測定点番号Ｍｎが「１」（優先順位が「１」）の測定点Ｐの画像認識が行われる。したがって、自信度は最も高くなっている状態（例えば１００〔％〕）である。

なお、画像認識部７は、一つの測定点Ｐの画像認識は、当該測定点Ｐが含まれている複数フレームの画像情報Ｇの中で、当該測定点Ｐの画像認識に最も適したフレームの画像情報Ｇを用いて行う。通常は、画像認識部７は、当該測定点Ｐが自車両Ｃから最も近い位置に撮像されているフレームの画像情報Ｇを用いて画像認識を行う。

１１．位置関係演算部８
位置関係演算部８は、画像認識部７により認識された測定点Ｐの中の少なくとも一つの画像認識結果に基づいて自車両Ｃと当該測定点Ｐとの位置関係を演算する。また、位置関係演算部８は、画像認識部７により認識された１又は２以上の測定点Ｐの中の少なくとも一つを選択する選択手段としての測定点選択部１７を備えている。ここでは、測定点選択部１７は、一つの対象地物についての複数箇所の測定点Ｐのそれぞれに予め設定された優先度に基づいて、画像認識部７により認識された測定点Ｐの中から最も優先度の高い一つの測定点Ｐを選択する。本例では、各測定点Ｐの優先度は、上記のとおり、測定点番号Ｍｎの値が示す測定点Ｐの優先順位により定まっている。したがって、例えば図７に示すように、優先順位が「１」の測定点Ｐと優先順位が「２」の測定点Ｐの両方が画像認識部７により認識された場合には、測定点選択部１７は、優先順位が「１」の測定点Ｐを選択する。

そして、位置関係演算部８は、測定点選択部１７により選択された測定点Ｐ（以下単に「選択測定点Ｐ」という。）の画像認識結果に基づいて自車両Ｃと当該選択測定点Ｐとの位置関係を演算する。すなわち、撮像装置１４の自車両Ｃへの搭載位置及び撮像方向に基づいて、画像情報Ｇの一つのフレームを構成する画像中の各位置と自車両Ｃとの位置関係は定まる。したがって、位置関係演算部８は、画像認識部７による選択測定点Ｐの画像認識結果としての画像情報Ｇの一つのフレーム中における当該選択測定点Ｐの配置に基づいて、当該フレームに係る画像情報Ｇの撮像時の自車両Ｃと選択測定点Ｐとの位置関係を導出する。また、距離センサ１３等により当該フレームに係る画像情報Ｇの撮像時から現在時点までの自車両Ｃの移動距離を導出する。そして、これらに基づいて、位置関係演算部８は、現在の自車両Ｃと選択測定点Ｐとの位置関係を演算して導出する。なお、この位置関係演算部８による演算処理は、上記自信度判定部１６による自信度の判定結果が所定の閾値以上（例えば、７０〔％〕以上）のときに行われる。

１２．自車位置補正部９
自車位置補正部９は、位置関係演算部８による演算結果としての現在の自車両Ｃと選択測定点Ｐとの位置関係と、測定点情報Ｍに含まれる選択測定点Ｐの位置情報とに基づいて自車位置情報Ｓを補正する。すなわち、位置関係演算部８による演算結果から、現在の自車両Ｃと選択測定点Ｐとの位置関係が定まる。また、当該選択測定点Ｐについての測定点情報Ｍに含まれる位置情報は、当該選択測定点Ｐの地図上の正確な位置（緯度及び経度）を示している。したがって、これらの情報に基づいて、選択測定点Ｐの地図上の正確な位置を基準とする自車両Ｃの詳細位置を演算して導出することができる。そして、自車位置補正部９は、この自車両Ｃの詳細位置の演算結果に基づいて、自車位置演算部５から出力された現在の自車位置情報Ｓを補正する。これにより、自車両Ｃの位置を高精度に特定することができる。この自車位置補正部９から出力される補正後の自車位置情報Ｓ´は、ナビゲーション装置における自車位置表示や走行案内等、又は車両制御装置による操舵や加減速等といった自車両Ｃの走行制御等に利用される。

本例では、位置関係演算部８及び自車位置補正部９が、画像認識部７により認識された測定点Ｐの中の少なくとも一つの画像認識結果と、当該測定点Ｐの位置情報とに基づいて自車位置情報Ｓを補正する自車位置補正手段１０として機能する。

１３．自車位置認識方法
次に、本実施形態に係る自車位置認識装置１において実行される自車位置認識方法の具体例について、図８に示すフローチャートに従って説明する。まず、自車位置演算部５において、自車位置情報Ｓを取得する（ステップ＃０１）。次に、地物情報生成部３において、ステップ＃０１で取得した自車位置情報Ｓに基づいて、自車両Ｃの進行方向ｄの所定距離内に存在する対象地物を、地物配置情報Ｆｃに基づいて地物配置データベースＤＢ２から抽出する（ステップ＃０２）。自車両Ｃの進行方向ｄの所定距離内に対象地物が存在しない場合には（ステップ＃０３：ＮＯ）、処理はステップ＃０１へ戻り、新たな自車位置情報Ｓを取得する。一方、自車両Ｃの進行方向ｄの所定距離内に対象地物が存在する場合には（ステップ＃０３：ＹＥＳ）、地物情報生成部３において、当該対象地物についての地物情報Ｆを生成して取得する（ステップ＃０４）。次に、測定点情報生成部４において、ステップ＃０４で取得された地物情報Ｆに示される対象地物の複数箇所の測定点Ｐについての測定点情報Ｍを生成して取得する（ステップ＃０５）。

次に、画像情報取得部６において、撮像装置１４により撮像した画像情報Ｇを取得する（ステップ＃０６）。ここで取得された画像情報Ｇは画像認識部７へ送られる。そして、画像認識部７において、画像情報Ｇに含まれている対象地物についての複数箇所の測定点Ｐの画像認識を行う（ステップ＃０７）。その後、自信度判定部１６において、ステップ＃０４で取得された地物情報Ｆが示す対象地物の画像であることの確実性、及び当該対象地物について設定された複数箇所の測定点Ｐの画像認識率を表す自信度を判定する（ステップ＃０８）。この自信度が所定の閾値未満である場合には（ステップ＃０９：ＮＯ）、処理はステップ＃０６へ戻る。すなわち、その時点では以後のステップ＃１０へは進まず、次のフレームの画像情報Ｇを更に取得する。

一方、自信度が所定の閾値以上である場合には（ステップ＃０９：ＹＥＳ）、次に、測定点選択部１７において、画像認識部７により認識された１又は２以上の測定点Ｐの中から最も優先度の高い一つの測定点Ｐを選択する（ステップ＃１０）。そして、位置関係演算部８において、ステップ＃１０で選択された選択測定点Ｐのステップ＃０９による画像認識結果に基づいて、自車両Ｃと当該選択測定点Ｐとの位置関係を演算する（ステップ＃１１）。次に、自車位置演算部５において、現在の自車位置情報Ｓを取得する(ステップ＃１２)。そして、自車位置補正部９において、ステップ＃１１による演算結果としての現在の自車両Ｃと選択測定点Ｐとの位置関係と、ステップ＃０５で取得された測定点情報Ｍに含まれる選択測定点Ｐの位置情報とに基づいて、ステップ＃１２で取得された現在の自車位置情報Ｓを補正し（ステップ＃１３）、補正後の自車位置情報Ｓ´が出力される。以上で、自車位置認識方法に係る処理は終了する。

〔第二の実施形態〕
次に、本発明の第二の実施形態について説明する。図９は、本実施形態に係るナビゲーション装置３０及び車両制御装置３１の両方を兼ねる装置の概略構成を示すブロック図である。この図に示すように、この装置は、上記第一の実施形態に係る自車位置認識装置１に加えて、地図情報格納手段としての地図データベースＤＢｍから地図情報Ｅを取得する地図情報取得部２１と、自車両Ｃの走行制御を行うための走行制御部２２と、自車両Ｃの進路案内のための各種演算処理を行うナビゲーション用演算部２３とを備えている。また更に、任意の情報を表示可能な表示手段としてのモニタ２４と、任意の音声情報を出力可能な音声出力手段としてのスピーカ２５とを備えている。

地図情報取得部２１は、自車位置認識装置１の自車位置演算部５から出力される自車位置情報Ｓに基づいて、自車両Ｃの進行方向ｄを含む周辺の地図情報Ｅを地図データベースＤＢｍから取得する。この地図情報取得部２１により取得された自車両Ｃの周辺の地図情報Ｅは、走行制御部２２及びナビゲーション用演算部２３へ出力される。

また、自車位置認識装置１からは、自車位置補正部９による補正後の自車位置情報Ｓ´が、走行制御部２２及びナビゲーション用演算部２３へ出力される。走行制御部２２は、地図情報取得部２１から出力された自車両Ｃの進行方向ｄの地図情報Ｅと、自車位置認識装置１から出力された補正後の自車位置情報Ｓ´とに基づいて、自車両Ｃの走行制御のための演算処理を行い、車両各部に対する制御命令を出力する。具体的には、走行制御部２２は、自車両Ｃの進行方向ｄの地図情報Ｅに含まれる道路形状、或いは停止線や信号機等の各種地物の情報等に基づいて、例えばレーンキープ、衝突防止、事故防止等のための操舵や加減速等といった自車両Ｃの走行制御を行う。

ナビゲーション用演算部２３は、地図情報取得部２１から出力された自車両Ｃの周辺の地図情報Ｅと、自車位置認識装置１から出力された補正後の自車位置情報Ｓ´とに基づいて、自車両Ｃの進路案内のための各種演算処理を行い、モニタ２４及びスピーカ２５の一方又は双方に対する制御命令を出力する。具体的には、ナビゲーション用演算部２３は、自車両Ｃの周辺の地図情報Ｅに基づいて生成される地図画像上に、補正後の自車位置情報Ｓ´に基づく詳細な自車位置を示す画像を重ねてモニタ２４に表示する。また、自車両Ｃの進行方向ｄの地図情報Ｅに含まれる道路形状等と、補正後の詳細な自車位置情報Ｓ´とに基づいて、正確なタイミングで進路案内のための運転者への報知を、モニタ２４及びスピーカ２５の一方又は双方を用いて行う。

〔その他の実施形態〕
（１）上記の実施形態では、地物形態データベースＤＢ１に格納する地物形態情報Ｆａに、地物の輪郭形状を示す輪郭情報と、法令によって規定されており寸法が変化しない箇所に関する情報とが含まれる場合について説明した。しかし、地物形態情報Ｆａとして格納する情報はこれらに限定されない。したがって、例えば各地物種別の地物の色彩情報や模様情報等を備える構成としても好適である。

（２）上記の実施形態では、地物配置データベースＤＢ２に格納される地物配置情報Ｆｃを、各地物の外形上に配置された複数個の代表点Ｒの位置情報により構成する場合について説明した。しかし、各地物の位置及び方向を示す地物配置情報Ｆｃの構成は、これに限定されない。すなわち、各地物の位置及び方向を表すことが可能な情報であればよく、例えば、各地物の重心の位置情報と方向を示す単位ベクトルとにより構成することも好適な実施形態の一つである。

（３）上記の実施形態では、地物情報生成部３は、自車両Ｃの進行方向ｄに存在する対象地物についての地物情報Ｆを、撮像装置１４により撮像される前に先行的に生成して取得し、当該地物情報Ｆ及びそれに基づいて生成された測定点情報Ｍを用いて測定点Ｐの画像認識を行う場合を例として説明した。しかし、地物情報Ｆ及び測定点情報Ｍを取得するタイミングはこれに限定されない。すなわち、例えば、各フレームの画像情報Ｇが取得されるのと同時に、当該画像情報Ｇに係る撮像領域内に含まれる対象地物についての地物情報Ｆ及び測定点情報Ｍを生成して取得し、それらを用いて当該画像情報Ｇに対する測定点Ｐの画像認識を行う構成とすることも好適な実施形態の一つである。

（４）上記の実施形態では、一つの対象地物についての複数箇所の測定点Ｐの優先度が、地物種別毎に予め定められた優先順位としての測定点番号Ｍｎによって定まる場合を例として説明した。しかし、各測定点Ｐの優先度の決定方法はこれに限定されない。したがって、例えば、優先度を、画像認識の状態や自車両Ｃの走行状態等に応じて、条件の良い測定点の優先度が高くなるように、その都度演算して優先度を決定する構成とすることも好適な実施形態の一つである。

（５）上記の実施形態では、測定点情報Ｍを構成する測定点Ｐの位置情報を、測定点形態情報Ｍａと地物情報Ｆとに基づいて演算して導出する場合について説明した。しかし、測定点Ｐの位置情報を取得する方法はこれに限定されない。すなわち、例えば、測定点配置データベースを更に備え、複数の地物の各測定点Ｐについてその位置情報を格納する構成とすることも本発明の好適な実施形態の一つである。この場合、各地物に固有の地物識別符号ＩＤｆに関連付けられて、当該地物に設定された複数箇所の測定点Ｐの測定点番号Ｍｎと、各測定点番号Ｍｎの測定点Ｐについての位置情報とが格納された構成とすると好適である。

（６）上記の実施形態では、測定点選択部１７により、画像認識部７により認識された測定点Ｐの中の１つの測定点Ｐを選択し、当該測定点Ｐの情報を用いて詳細な自車位置を演算して自車位置情報Ｓを補正する場合について説明した。しかし、測定点選択部１７により２個以上の測定点Ｐを選択し、複数の測定点Ｐの情報を用いて詳細な自車位置を演算して自車位置情報Ｓを補正する構成とすることも本発明の好適な実施形態の一つである。この場合、例えば、複数の測定点Ｐのそれぞれについて上記実施形態と同様に詳細な自車位置を演算し、複数の詳細な自車位置の平均を最終的な詳細自車位置とする構成とすると好適である。

（７）上記の実施形態では、自信度判定部１６により、少なくとも画像情報Ｇに含まれる地物の画像がそのとき対象としている対象地物であることの確実性を表す自信度を判定し、その自信度が所定の閾値以上であるときに、当該地物についての測定点Ｐの画像認識結果を用いて自車位置情報Ｓの補正を実行する例について説明した。しかし、このような自信度判定部１６を備えず、自信度に関係なく測定点Ｐの画像認識結果を用いて自車位置情報Ｓの補正を行う構成とすることも当然に可能である。

本発明によれば、自車両に搭載された撮像装置により撮像した画像情報を用いて詳細に自車位置の認識を行うことができるので、例えばナビゲーション装置や車両制御装置等に利用可能な自車位置認識装置又は自車位置認識方法を実現できる。

本発明の第一の実施形態に係る自車位置認識装置の全体構成を模式的に示すブロック図 図１に示される各データベースに格納される情報の内容を示す説明図 複数の地物種別の地物の輪郭形状及び代表点の位置の例を示す図 地図データベースに格納されている地図情報の内容を示す説明図 複数の地物種別についての測定点の配置の例を示す図（１） 複数の地物種別についての測定点の配置の例を示す図（２） 自車両の対象地物に対する各位置での画像情報の例を示す図 本発明の第一の実施形態に係る自車位置認識方法を示すフローチャート 本発明の第二の実施形態に係るナビゲーション装置３０及び車両制御装置３１の両方を兼ねる装置の概略構成を示すブロック図

符号の説明

１：自車位置認識装置
２：地物情報出力装置
３：地物情報生成部（地物情報取得手段）
４：測定点情報生成部（測定点情報取得手段、測定点状態情報取得手段）
５：自車位置演算部（自車位置情報取得手段）
６：画像情報取得部（画像情報取得手段）
７：画像認識部（画像認識手段）
８：位置関係演算部
９：自車位置補正部
１０：自車位置補正手段
１４：撮像装置
１６：自信度判定部（自信度判定手段）
１７：測定点選択部（選択手段）
２４：モニタ（表示手段）
２５：スピーカ（音声出力手段）
３０：ナビゲーション装置
３１：車両制御装置
ＤＢ１：地物形態データベース
ＤＢ２：地物配置データベース
ＤＢ３：測定点形態データベース（測定点形態情報格納手段）
ＤＢ４：測定点状態データベース
ＤＢｍ：地図データベース（地図情報格納手段）
Ｅ：地図情報
Ｆ：地物情報
Ｍ：測定点情報
Ｓ：自車位置情報
Ｓ´：補正後の自車位置情報
Ｇ：画像情報
Ｒ：代表点
Ｃ：自車両
ｄ：自車両の進行方向
Ｆａ：地物形態情報
Ｆｂ：地物種別情報
Ｆｃ：地物配置情報
Ｍａ：測定点形態情報
Ｍｂ：測定点状態情報

Claims (11)

1. 自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、
   自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、
   前記自車位置情報に基づいて、前記撮像装置により撮像される対象地物の地物情報を取得する地物情報取得手段と、
   前記地物情報に基づいて、前記対象地物の地物種別に応じて予め定められた複数箇所の測定点について、その形態情報及び位置情報を含む測定点情報を取得する測定点情報取得手段と、
   前記測定点情報に含まれる前記形態情報に基づいて、前記画像情報に含まれている前記対象地物についての前記複数箇所の測定点の画像認識を行う画像認識手段と、
   前記画像認識手段により認識された前記測定点の中の少なくとも一つの画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する自車位置補正手段と、
   を備える自車位置認識装置。
2. 前記測定点は、各地物種別の地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されている請求項１に記載の自車位置認識装置。
3. 一つの前記対象地物についての前記複数箇所の測定点のそれぞれに予め設定された優先度に基づいて、前記画像認識手段により認識された測定点の中から前記優先度の高い順に、少なくとも一つを選択する選択手段を更に備え、
   前記自車位置補正手段は、前記選択手段により選択された少なくとも一つの測定点の画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する請求項１又は２に記載の自車位置認識装置。
4. 一つの前記対象地物についての前記複数箇所の測定点に関して、自車両の進行方向前方に位置する測定点の優先度を、進行方向後方に位置する測定点の優先度より高く設定している請求項３に記載の自車位置認識装置。
5. 前記対象地物の各測定点について、画像認識の困難性に関する状態を示す測定点状態情報を取得する測定点状態情報取得手段を更に備え、
   前記画像認識手段は、前記測定点状態情報に基づいて認識困難とされた測定点以外の測定点について画像認識を行う請求項１から４のいずれか一項に記載の自車位置認識装置。
6. 各地物種別の対象地物についての前記複数箇所の測定点の形態情報を、地物の全体形態の中での複数箇所の測定点の配置として規定し、地物種別毎に格納した測定点形態情報格納手段を更に備え、
   前記測定点情報取得手段は、前記対象地物の地物種別に対応する前記測定点の形態情報を、前記測定点形態情報格納手段から取得する請求項１から５のいずれか一項に記載の自車位置認識装置。
7. 前記測定点情報取得手段は、前記地物情報に含まれる前記対象地物の位置及び形態を示す情報と、前記測定点形態情報格納手段に格納された前記対象地物の地物種別に対応する前記測定点の形態情報とに基づいて、前記測定点の位置情報を導出して取得する請求項６に記載の自車位置認識装置。
8. 少なくとも前記画像情報に含まれている地物の画像が前記対象地物の画像であることの確実性を表す自信度を判定する自信度判定手段を更に備え、
   前記自車位置補正手段は、前記自信度が所定の閾値以上のときに、当該地物についての前記測定点の画像認識結果を用いて前記自車位置情報の補正を行う請求項１から７のいずれか一項に記載の自車位置認識装置。
9. 前記請求項１から８の何れか一項に記載の自車位置認識装置と、地図情報を格納した地図情報格納手段と、を備え、
   前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置補正手段による補正後の自車位置情報とに基づいて、自車両の走行制御を行う車両制御装置。
10. 前記請求項１から８の何れか一項に記載の自車位置認識装置と、地図情報を格納した地図情報格納手段と、任意の情報を表示可能な表示手段及び任意の音声情報を出力可能な音声出力手段の一方又は双方と、を備え、
    前記地図情報格納手段から取得した自車両の周辺の地図情報と、前記自車位置補正手段による補正後の自車位置情報とに基づいて、前記表示手段及び前記音声出力手段の一方又は双方を用いて自車両の進路案内を行うナビゲーション装置。
11. 自車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得ステップと、
    自車両の現在位置を示す自車位置情報を取得する自車位置情報取得ステップと、
    前記自車位置情報に基づいて、前記撮像装置により撮像される対象地物の地物情報を取得する地物情報取得ステップと、
    前記地物情報に基づいて、前記対象地物の地物種別に応じて予め定められた複数箇所の測定点について、その形態情報及び位置情報を含む測定点情報を取得する測定点情報取得ステップと、
    前記測定点情報に含まれる前記形態情報に基づいて、前記画像情報に含まれている前記対象地物についての前記複数箇所の測定点の画像認識を行う画像認識ステップと、
    前記画像認識ステップにより認識された前記測定点の中の少なくとも一つの画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する自車位置補正ステップと、
    を備える自車位置認識方法。

Images