JP2011215057A - 風景マッチング用参照データ生成システム及び位置測位システム - Google Patents

Abstract

【課題】多数のプローブカーから収集された撮影画像に基づき、風景画像マッチング用の効果的な参照用画像データを生成する。
【解決手段】推定自車位置を算定する機能を有する複数のプローブカーによって順次取得されたプローブデータから取り出された所定撮影位置領域の撮影画像の画像類似度を評価して、この画像類似度を撮影画像に付与し、所定度以上の画像類似度を有する複数の撮影画像を処理対象撮影画像として選別し、処理対象撮影画像から演算された画像特徴量に基づいて画像特徴点データを生成する。この画像特徴点データにこの画像特徴点データの元になった処理対象撮影画像の代表撮影位置を関係付けて、風景マッチングに利用される参照データが生成される。
【選択図】図１

Description

本発明は、風景マッチング用参照データ生成システム、及びその参照データを用いた位置測位システムに関する。

従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、ＧＰＳ衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。

特開２００７−２０８０４３号公報（段落番号０００９−００１３、図１）

しかし、上記特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。

そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい位置決めとして風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データの作成が重要となるが、必要な参照データの枚数が膨大なものとなることから、一般車両にも参照データ用の撮影画像の取得を依頼すると好都合である。つまり、プローブカーの考え方をこの参照データの生成に適用することになるが、そのような一般車両によって収集された撮影画像には精度の高い撮影位置（自車位置）が付属するケースや、精度の低い撮影位置（自車位置）が付属するケースが混在する。このため、多数のプローブカーから収集された、参照データ作成目的の撮影画像の適切な取り扱いが重要な課題となる。

上記課題を解決するための本発明に係る、車両からの風景を画像認識する風景マッチングを行う際に利用される参照データを作成する風景マッチング用参照データ生成システムの特徴構成は、推定自車位置を算定する機能を有する複数のプローブカーによって順次取得された撮影画像と当該撮影画像の撮影位置としての前記推定自車位置とを含むプローブデータを入力するデータ入力部と、前記プローブデータから取り出された所定撮影位置の撮影画像を一時格納する一時格納部と、前記一時格納部に格納された撮影画像の画像類似度を評価して、当該撮影画像に前記画像類似度を付与する画像類似度評価部と、前記一時格納部から所定度以上の類似度を有する複数の撮影画像を処理対象撮影画像として選別する処理対象データ選別部と、前記複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して当該複数の処理対象撮影画像の代表撮影位置を演算する代表撮影位置演算部と、前記代表撮影位置を用いて取り込まれた複数の撮影画像に基づいて画像特徴点データを生成する画像特徴点データ生成部と、前記画像特徴点データに前記代表撮影位置を関係付けて、前記風景マッチングに利用される前記参照データを生成する参照データ生成部と、
を備えた点にある。

この特徴構成によれば、種々のプローブカーによって取得されたプローブデータを取り込み、その撮影画像の画像類似度の評価結果に基づいて所定度以上の画像類似度を有する複数の撮影画像だけが処理対象撮影画像として選別される。さらに、この処理対象撮影画像から演算された画像特徴量に基づいて生成された画像特徴点データに対して、処理対象撮影画像の撮影位置から演算された代表撮影位置を関係付けることで参照データが生成される。プローブカーに搭載されている自車位置算定機能の優劣や走行状況などにより、その自車位置精度にばらつきが生じるので、とりあえず、類似した画像である撮影画像だけを処理対象として選別する。実質的に同じ撮影位置で得られた撮影画像同士は類似していることから、この選別により撮影位置が実質的に同じとみなされる撮影画像が選別されたことになる。さらに、その選別された撮影画像から演算された画像特徴量に基づいて作り出される画像特徴点データは、特定の撮影位置における信頼性の高い画像特徴点データとなる。この画像特徴点データに統計的に処理された撮影位置を関係付けることにより生成された参照データは風景マッチングに適したものとなる。

所定度以上の類似度を有するという条件で選別された撮影画像は、一般的には実質的に同じ撮影位置を有するとみなすことができるが、同じ風景が続くような道路や、同じ風景が繰り返されるというような道路では、所定度以上の類似度を有する撮影画像の中に撮影位置が異なるものが混ざり、その結果、類似度が高くても、画像特徴点が微妙に異なるという可能性がある。この問題を抑制するため、本発明の好適な実施形態の１つとして、前記処理対象撮影画像又は前記一時格納部に格納された撮影画像の中から、前記代表撮影位置を含む所定範囲内を撮影位置とする複数の撮影画像を取り込む画像特徴点データ生成対象取り込み部を更に備え、前記画像特徴点データ生成部は、前記画像特徴点データ生成対象取り込み部により取り込まれた複数の撮影画像から前記画像特徴点データを生成するものがある。この構成では、類似度判定によって一旦処理対象撮影画像として選別された撮影画像の撮影位置から演算された代表撮影位置を含む所定範囲内を撮影位置とする複数の撮影画像が取り込まれ、この取り込まれた撮影画像を最終的な処理対象撮影画像として、画像特徴点データが生成される。これにより、類似度が高くても撮影位置が異なっている撮影画像を画像特徴点データ、結果的には参照データの生成のための元になる撮影画像群から省くことが可能となる。これにより、さらに信頼性の高い参照データの生成が実現する。

本発明では、上述したように画像類似度が高い複数撮影画像から画像特徴点データを作成するので画像の点からは信頼性の高い参照データを生成することができる。しかしながら、風景マッチングを通じて、より精度の高い自車位置を決定するためには、画像特徴点データに対してより精度の高い撮影位置を関係付ける必要がある。この目的のために、本発明の好適な実施形態では、前記代表撮影位置演算部における代表撮影位置の演算は、前記処理対象撮影画像の代表撮影位置が道路の延設方向に沿って規定されている道路線上に位置するものとみなして行われるように構成されている。つまり、一般に撮影位置は、東経緯度のようなＸＹ座標値で表されており、このような座標形式での撮影位置をそのまま用いると、道路外領域で演算することになり、新たな誤差につながる可能性がある。従って、撮影位置の取る範囲を道路線上とすることで、そのような誤差を取り除くことができる。

さらに、本発明は、上述した風景マッチング用参照データ生成システムによって作成される参照データを用いた風景マッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのようなる位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した撮影画像から画像特徴点を抽出し、当該画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景画像マッチング部とを備えている。この位置測位システムでは、上述したように、風景画像マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。

本発明による風景マッチング用参照データ生成システムによる参照データの作成の基本概念と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位の手順を説明する模式図である。 本発明による風景マッチング用参照データ生成システムによる参照データの作成の別な基本概念と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位の手順を説明する模式図である。 本発明による風景マッチング用参照データ生成システムの主な機能を示す機能ブロック図である。 精度信頼度評価部の処理機能と処理の流れを示す模式図である。 画像類似度評価部の処理機能と処理の流れを示す模式図である。 特徴量演算部の処理機能と処理の流れを示す模式図である 取り込まれた撮影画像から画像特徴点データを生成する過程を模式的に示す模式図である。 本発明による風景マッチング用参照データ生成システムで作成された参照データで構築されている参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。 別実施形態における風景マッチング用参照データ生成システムの主な機能を示す機能ブロック図である。

以下、図面を用いて本発明を詳しく説明する。図１は、車両からの風景を画像認識する風景マッチングを行う際に利用される参照データを作成する風景マッチング用参照データ生成システム（以下、単に参照データ生成システムと略称する）による参照データの作成の基本概念と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位の手順を模式的に示している。風景画像マッチングに利用される参照データデータベース９２（以下単に参照データＤＢと略称する）は本発明による風景マッチング用参照データ生成システムによって生成される参照データをデータベース化することで構築することができる。
最初に、この構築手順を説明する。図１に示すように、走行途中における複数のプローブカーからの風景を撮影した撮影画像とその撮影時の撮影位置（実質的には自車位置である）が、プローブカーを識別するプローブカーＩＤ（以下、単にＰ−ＩＤと略称される）にリンクされた形でプローブデータとして入力され、所定の広域撮影位置領域単位でワーキングメモリに一時格納される（＃０１）。広域撮影位置領域は、狭域撮影位置領域よりも広く設定され、精度が低い撮影位置の誤差の範囲よりも十分に広く設定された領域である。次に、ワーキングメモリに展開された撮影画像の画像類似度を評価して、この画像類似度を撮影画像に付与する（＃０２ａ）。画像類似度を付与された撮影画像は画像類似度をＺ軸、撮影位置のＸ座標をＸ軸、撮影位置のＹ座標をＹ軸として、三次元展開され、高い類似度が集中しているＸ−Ｙ領域が選択領域ＳＡとされ、その選択領域ＳＡに属する撮影画像または所定度以上の類似度を有する撮影画像が処理対象データ（Ｐ−ＩＤ、撮影位置、撮影画像などからなるプローブデータ）の形態で選別される（＃０３ａ）。処理対象データとして選別された各処理対象撮影画像から画像特徴量が演算される。画像特徴量の演算とは、この例では、輪郭検出演算子を用いたエッジ検出であり、それによってエッジ検出画像（画像特徴点データの一種）が得られる（＃０４）。エッジ検出画像には多数の画像特徴点としてのエッジ点があるので、マッチング処理において効果的と判断される画像特徴点を抽出する（＃０５）。複数の処理対象撮像画像のそれぞれから得られた画像特徴点群のうち共通化できる特徴点を抽出して、共通画像特徴点群からなる画像データを生成して、画像特徴点データとする（＃０６）。さらに、別系統で、上記選択領域ＳＡに属する処理対象撮影画像群のそれぞれに含まれている撮影位置を用いて、それらの撮影位置を代表する代表撮影位置を演算する（＃０７）。次に、画像特徴点データに代表撮影位置を関係付けて参照データを生成する（＃０８）。生成された参照データは、代表撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データＤＢ９２から参照データを抽出するために用いられる、その撮影位置が入力される（＃１１）。ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０４〜＃０６の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１２）。さらにに、入力された撮影位置（推定自車位置）を検索条件として、該当する撮影位置の参照データ及びその撮影位置（推定自車位置）の前後の参照データがマッチング候補参照データとして抽出される（＃１３）。抽出されたマッチング候補参照データセットから１つずつ参照データをマッチング用パターンとして設定し、現時点で生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１４）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１５）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１６）。

次に、図２を用いて、本発明による風景マッチング用参照データ生成システムによる参照データの作成の別な基本概念を説明する。なお、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位の手順は図１のものと同一であるのでここでは説明は省略する。
図２に示すように、走行途中における複数のプローブカーからの風景を撮影した撮影画像とその撮影時の撮影位置が、プローブカーを識別するＰ−ＩＤにリンクされた形でプローブデータとして入力され、所定の狭域撮影位置領域に属する撮影位置を有するプローブデータが処理単位としてワーキングメモリに一時格納される（＃０１）。この狭域撮影位置領域は、広域撮影位置領域よりも狭く設定され、実質的に同じ撮影位置とみなすことができる領域として設定される（例えば１ｍ範囲）。次に、ワーキングメモリに展開された撮影画像から撮影画像の撮影位置の精度信頼度を評価して、この精度信頼度を撮影画像に付与する（＃０２）。この精度信頼度は、各プローブカーに搭載されているカーナビゲーション装置などの自車位置検出能力や交差点や屈曲路での特定場所認識による位置補正後の走行距離などによって求められる。精度信頼度を付与された撮影画像は精度信頼度を並び替えキーとして並び替えられ、所定度以上の精度信頼度を有する撮影画像（精度信頼度が高い順での所定数の撮影画像を含む）が処理対象データ（Ｐ−ＩＤ、撮影位置、撮影画像などからなるプローブデータ）の形態で選別される（＃０３）。処理対象データとして選別された各撮影画像（以下、処理対象撮影画像ないしは単に撮影画像と称する）から画像特徴量が演算される。画像特徴量の演算とは、撮影画像のマッチングを行うための特徴的な点や点群を求めるための画像処理であり、代表的な処理は、輪郭検出演算子を用いたエッジ検出であり、それによってエッジ検出画像（画像特徴点データの一種）が得られる（＃０４）。エッジ検出画像には多数の画像特徴点としてのエッジ点があるので、マッチング処理において効果的と判断される画像特徴点を抽出する（＃０５）。複数の処理対象撮像画像のそれぞれから得られた画像特徴点群のうち共通化できる特徴点を抽出して、共通画像特徴点群からなる画像データを生成して、画像特徴点データとする（＃０６）。さらに、前述した狭域撮影位置領域内の処理対象撮影画像群（つまり同じ撮影位置での撮影画像とみなされる撮影画像群）のそれぞれに含まれている撮影位置を用いて、それらの撮影位置を代表する代表撮影位置が別系統で演算される（＃０７）。代表撮影位置演算においては、単純な平均演算を用いても良いし、各撮影位置の精度が分かっている場合は、その精度を重みとした重み平均演算を用いても良い。その他種々の統計的演算を用いることも可能である。次に、画像特徴点データに代表撮影位置を関係付けて参照データを生成する（＃０８）。生成された参照データは、代表撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データＤＢ９２に格納される（＃０９）。

次に、上述した基本概念に基づいて撮影画像から参照データを作り出す、本発明による参照データ生成システムの一例を図３の機能ブロック図を用いて説明する。この参照データ生成システムは、データ処理センタなどに設置されており、データ入力部５１、一時格納部５２、プローブデータ評価部５３、処理対象データ選別部５４、特徴量演算部６０、画像特徴点データ生成部５５、代表撮影位置演算部５６、参照データ生成部５７を備えている。それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、プローブカーにおいて所定時間間隔毎にまたは所定走行距離毎にあるいはその両方で生成されたプローブデータが入力される。なお、プローブカーは参照データの生成会社と契約した一般車であり、通常の走行時に、車両に搭載されたカメラ（ここではフロントカメラ）で風景を撮影することで得られた撮影画像及びその撮影時の撮影位置（自車位置）をプローブデータとして参照データ生成システムに、バッチ的にあるいはリアルタイム的に伝送する。この実施形態でのプローブデータには、さらに、撮影属性情報としての撮影方位、撮影位置の精度に関する情報である位置精度情報、撮影状況情報が含まれており、各プローブデータにはプローブカーの識別とそのデータの識別を可能にするＰ−ＩＤによって区分け可能となっている。

位置精度情報には、撮影位置として利用される自車位置を算定するナビゲーション装置の位置検出性能及び自車位置算定に影響を及ぼす要因（確定された自車位置からの走行距離、スリップや蛇行走行などの発生可能性など）が含まれる。
撮影状況情報は、撮影画像から参照データを生成する際に付加的に用いられる情報であり、撮影画像に特定被写体が含まれていることを表す情報である。この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。

一時格納部５２は、撮影位置で区分けされたプローブデータを格納する。プローブデータ評価部５３は、一時格納部５２に格納された撮影画像の撮影位置の精度信頼度を評価して、当該撮影画像にその精度信頼度を付与する精度信頼度評価部５３Ａと、一時格納部５２に格納された撮影画像の画像類似度を評価して、当該撮影画像にその画像類似度を付与する画像類似度評価部５３Ｂを含む。処理対象データ選別部５４は、一時格納部５２に格納されたプローブデータの中から狭域撮影位置領域毎のデータを読み出し、当該読み出したプローブデータの撮影画像の中で、付与された精度信頼度に関する選別条件を満たす複数の撮影画像を処理対象撮影画像とし、及び付与された画像類似度に関する選別条件を満たす複数の撮影画像を処理対象撮影画像として一時格納部５２から選別する機能を有する。選別された撮影画像は後段の機能部に転送される。この実施形態では、プローブデータ評価部５３は、精度信頼度評価部５３Ａによる精度信頼度に基づく精度信頼度評価モードと、画像類似度評価部５３Ｂによる画像類似度に基づく画像類似度評価モードとを選択実行可能に備えている。処理対象データ選別部５４は、プローブデータ評価部５３で実行されている評価モードによって、精度信頼度または画像類似度に関する選別条件を選択して、処理対象撮影画像を選別する。例えば、まず精度信頼度モードを選択して、その結果、十分な精度信頼度を有するプローブデータが入力されていないことがわかると、画像類似度モードに切り換えて処理を行うような方法を採用することも好適である。

精度信頼度評価部５３Ａは、図４に示されるように、一時格納部５２に格納されているプローブデータの位置精度情報を読み出して、その位置精度情報に含まれているデータを入力として、そのプローブデータの撮影位置の算定精度に関する信頼度である精度信頼度を出力する。入力されるデータとしては、例えば、そのプローブデータを生成したプローブカーの自車位置を算定するナビゲーション装置の位置検出性能を示す自車位置精度レベル、交差点や屈曲路において確定された自車位置からの走行距離である位置補正情報、スリップや蛇行走行などが発生しやすい道路を走行中かどうかを示す道路状況、自車位置算定の誤差に影響を与えるような運転であるかどうかを示す走行状況などが挙げられる。これらの入力データは、入力データ処理部５３１で数値化ないしは正規化され、精度信頼度を演算する精度信頼度演算部５３２に渡される。精度信頼度演算部５３２の演算形態は本発明では限定されないが、複数の異なる次元の入力値から１つの出力値を導出するので、ルールベースやニューラルネットワークの形態が好適である。また、演算の高速化のため、入力値と出力値をテーブル化しておいてもよい。処理対象データ選別部５４は、精度信頼度演算部５３２から出力された精度信頼度に関する選別条件を満足する撮影画像を処理対象撮影画像として選別することができる。

また、プローブカー自体に上述したような精度信頼度を算出する機能が備えられていれば、プローブデータにその精度信頼度を含ませることができる。そのような場合、精度信頼度評価部５３Ａは単にプローブデータから精度信頼度を読み込むだけの機能を備えるだけでよい。

また、予め、高精度自車位置計測車両と一般の自車位置計測機能を有する一般車両との自車位置を比較することで、道路走行とともに得られる互いの自車位置の差分値から自車位置毎の精度信頼度を求めるデータを作成することができる。このデータをベースにすることで、自車位置（撮影位置）を入力としてから精度信頼度を出力する精度信頼度テーブルを構築すると、簡単に精度信頼度を取得することができる。このような精度信頼度テーブルも本発明における精度信頼度評価部５３Ａに含まれる。

画像類似度評価部５３Ｂは、図５に示されているように、一時格納部５２に格納されているプローブデータの中から広域撮影位置領域毎のデータを読み出し、当該読み出したプローブデータの撮影画像について、例えば平均的な撮影画像との間の類似度を算定し、各類似度を撮影画像に付与する。さらに、画像類似度を付与された撮影画像は画像類似度をＺ軸、撮影位置のＸ座標をＸ軸、撮影位置のＹ座標をＹ軸として、三次元展開することで、一時格納部５２に格納されている処理単位のプローブデータの実際の撮影位置を推定することが統計的に可能となる。例えば、処理対象データ選別部５４は、高い類似度を有するプローブデータが集中している領域を選別領域ＳＡとして、その選別領域に属するプローブデータ、つまり撮影画像を処理対象撮影画像として選別することができる。
画像類似度評価部５３Ｂで利用される画像類似度の算出には種々の手法が知られているが、まずは個々の撮影画像における特徴を代表するような指標値を求め、この指標値から類似度を求めることができる。以下にそのような指標値を列挙する。
（１）画素値の平均を用いる手法
画像全体での画素値の平均を各色成分毎に演算して、比較したい画像間の各色成分別の平均値の三次元ユークリッド距離を求めて、正規化する。
（２）画像ヒストグラムを用いる手法
比較したい画像の色成分毎の輝度ヒストグラムから各階級での差分の２乗和の平方根を演算し、各色成分の値を積算して、正規化する。
（３）同一位置画素値の差分を用いる手法
互いの解像度を合わせ、同一位置の画素値の差分の２乗和の平方根を演算して、正規化する。
（４）画像の空間周波数ヒストグラムを用いる手法
比較したい画像の空間周波数をフーリエ変換し、周波数−輝度ヒストグラムを生成し、各階級での差分の２乗和の平方根を演算し、正規化する。
上記以外でも種々の画像特性を利用した類似度の算出手法を採用することができるので、本発明は特定の算出手法に限定されるわけではない。撮影画像に応じて、例えば、山間部走行や都市部走行や高速道路走行などに応じて類似度の算出手法を変更してもよい。

代表撮影位置演算部５６は、基本的には、複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して、その撮影位置を代表する代表撮影位置を演算する。統計的な演算方法として算術的平均が一般的であるが、より正確度を高めるためには、位置精度情報を用いた重み付き平均を採用することが好ましい。また、代表撮影位置演算部５６における代表撮影位置の演算は、道路の延設方向に沿って規定されている道路線上の位置に限って行われる構成とすると好適である。
また、狭域撮影位置領域を処理単位として選別された処理対象撮影画像の撮影位置に基づいて代表撮影位置を演算する場合は、精度信頼性の高い撮影位置が統計的演算の母集団となるので、算術平均値や中間値などの単純統計的演算値を代表撮影位置とすることができる。これに対して、狭域撮影位置領域比べてその領域が大きい広域撮影位置領域を処理単位として選別された処理対象撮影画像の撮影位置に基づいて代表撮影位置を演算する場合は、精度信頼性の比較的低い撮影位置が統計的演算の母集団となるので、位置精度情報を用いた重み付き平均値のようなばらつきを考慮した統計的演算値を代表撮影位置とするとよい。
図６に示されているように、特徴量演算部６０は、特徴点抽出部６１、特徴点重要度決定部６２、重み付け部６３、調整係数設定部６４、特徴点出力部６５、共通特徴点評価部６６を備えている。特徴点抽出部６１は、適当な輪郭（エッジ）検出演算子を使用して撮影画像から画像特徴としての画像特徴点を抽出する。従って、ここでの画像特徴点はエッジ点やエッジ点群（エッジ線）である。特徴点重要度決定部６２は、特徴点抽出部６１によって抽出された画像特徴点（エッジ点）の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。

重み付け部６３は、特徴点重要度決定部６２によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。

調整係数設定部６４は、重み付け部６３によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部６１によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部６３によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部６４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。特徴点出力部６５は、重み付け部６３によって割り当てられた重み係数、及びオプション的に利用される調整係数に基づいて各画像特徴点を整理して撮影画像毎の画像特徴点群を出力する。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図７に示された模式的説明図を用いて説明する。撮影画像（図７（ａ）から画像特徴点（エッジ点）を抽出することでエッジ検出画像（図７（ｂ））が生成される。このエッジ検出画像の各エッジ点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図７（ｃ）では特徴点画像に対応する重要度レイヤの形で各エッジ点に対応する重要度が示されている。この重要度レイヤを用いて、各エッジ点に重み係数が割り当てられる。図７（ｄ）では、大きな重み係数をもつほど大きい点となるようにエッジ点を描いたエッジ点画像の形で重み係数を割り当てたれたエッジ点が示されている。ここで、所定しきい値以下の重み係数を割り当てられたエッジ点が除去されるようなエッジ点の整理が行われると、例えば、図７（ｄ）で大きな点となっているエッジ点だけが選別されると、エッジ点画像の下方領域に位置しているエッジ点は排除され、残ったエッジ点の分布に大きな偏在が生じる。この偏在を回避するため、エッジ点画像におけるエッジ点の散布度を算出し、結果的に選別されるエッジ点の密度が低くなる領域のエッジ点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図７（ｅ）では調整係数群をエッジ点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。特徴点出力部６５は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図７（ｆ）で示されたようなエッジ点画像を撮影画像毎に生成する。

ここでは、画像特徴点（エッジ点）毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部６２が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部６３も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。

共通特徴点評価部６６は、特徴点出力部６５によって出力された、各撮影画像に基づく画像特徴点群から、これらの画像特徴点群を代表する共通画像特徴点群を生成するものである。この実施形態では、共通特徴点評価部６６は、各画像特徴点群間で共通する画像特徴点を取り出して、共通画像特徴点群を生成する。
なお、この共通特徴点評価部６６における処理においても、狭域撮影位置領域を処理単位として選別された処理対象撮影画像に基づく画像特徴点群を取り扱う場合には、狭域撮影位置領域が狭い領域で、かつそれらの撮影位置の精度の高いことから、それぞれの画像特徴点群はかなり類似しているとみなされる。また、広域撮影位置領域を処理単位として選別された処理対象撮影画像に基づく画像特徴点群を取り扱う場合には、その領域が狭域撮影位置領域より広いとしても、高い画像類似度を有する撮影画像が選別されていることから、それぞれの画像特徴点群は十分類似しているとみなされる。これにより、ここで生成される共通画像特徴点群は信頼性の高い参照データの元になりうる。

画像特徴点データ生成部５５は、代表撮影位置を用いて取り込まれた複数の撮影画像に基づいて画像特徴点データを生成する。本例では、画像特徴点データ生成部５５は、特徴量演算部６０から出力された共通画像特徴点群に基づいて画像特徴点データを生成する。参照データ生成部５７は、特徴点データ生成部５６によって生成された画像特徴点データに、代表撮影位置演算部５６によって求められた撮影位置（自車位置）を関連付けて、風景画像マッチングの参照データを生成する。

次に、上述した風景マッチング用参照データ生成システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図８は、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図データベース９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図６で示された特徴量演算部６０と画像特徴点データ生成部５５と同様な機能部を備えている。この撮影画像処理部５は、車載カメラ１４によって撮影された車両からの前方風景撮影画像を処理して、上述したような手順を経て画像特徴点データが出力される。なお、特徴点（エッジ点）の重要度の決定に利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。

風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３、制動や加速や操舵などといった車両の種々の挙動を車載ＬＡＮを通じて送られてくる挙動データに基づいて検知する車両挙動検知モジュール２４を備えている。

このように、本実施形態に係るカーナビゲーションシステムは、参照データＤＢ９２、撮影画像処理部５、及び風景マッチング部６を備え、上述した風景マッチング用参照データ生成システムによって作成される参照データを用いた風景マッチング処理を通じて自車位置を決定する位置測位システムとなっている。この位置測位システムでは、上記のとおり風景画像マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。

（別な実施形態）
図３で示された風景マッチング用参照データ生成システムとは異なる構成を有する別実施形態がの機能ブロック図が図９に示されている。この別実施形態では、図３に示された機能ブロック図に比べて、画像特徴点データ生成対象取り込み部５４０が追加されていることで相違している。この画像特徴点データ生成対象取り込み部５４０は、広域撮影位置領域に属する撮影画像として一時格納部５２に格納された撮影画像の中から、代表撮影位置演算部５６によって算定された代表撮影位置を含む所定範囲内を撮影位置とする複数の撮影画像を取り込む機能を有する。つまり、画像類似度を選別条件として選別された処理対象撮影画像の撮影位置から演算された代表撮影位置を基準として処理対象データがもう一度取り込まれる。所定度以上の類似度を有するという条件で選別された撮影画像は、一般的には実質的に同じ撮影位置を有するとみなすことができるが、同じ風景が続くような道路や、同じ風景が繰り返されるというような道路では、所定度以上の類似度を有する撮影画像の中に撮影位置がかなり異なるものが混ざり、その結果、類似度が高くても、画像特徴点が微妙に異なるという可能性がある。こういったケースにおいて、この画像特徴点データ生成対象取り込み部５４０による処理を実行し、特徴量演算部６０が、再度取り込まれた複数の撮影画像から画像特徴点データを演算することにより、より信頼性の高い画像特徴点データを生成することが可能となる。

上述した実施形態では、複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して参照データに付属する代表撮影位置を求めていたが、最初の処理単位の取り方、つまり、狭域撮影位置領域や広域撮影位置領域の大きさの設定によっては、その設定時に予め代表撮影位置を決めておいてもよい。あるいは、代表撮影位置を決めておいてから、狭域撮影位置領域や広域撮影位置領域の大きさを設定してもよい。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われる。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは無定形の幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体のエッジ点や重心点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体のエッジ点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。

上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である

本発明の風景マッチング用参照データ生成システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：一時格納部
５３：プローブデータ評価部
５３Ａ：精度信頼度評価部
５３Ｂ：画像類似度評価部
５４：処理対象データ選別部
５４０：画像特徴点データ生成対象取り込み部
５５：画像特徴点データ生成部
５６：代表撮影位置演算部
５７：参照データ生成部
６０：特徴量演算部
６１：特徴点抽出部
６２：特徴点重要度決定部
６３：重み付け部
６４：調整係数設定部
６５：特徴点出力部
６６： 共通特徴点評価部
６：風景マッチング部
１４：カメラ
９２：参照データＤＢ（参照データデータベース）
９１：道路地図ＤＢ（道路地図データベース）

Claims (4)

1. 車両からの風景を画像認識する風景マッチングを行う際に利用される参照データを作成する風景マッチング用参照データ生成システムであって、
   推定自車位置を算定する機能を有する複数のプローブカーによって順次取得された撮影画像と当該撮影画像の撮影位置としての前記推定自車位置とを含むプローブデータを入力するデータ入力部と、
   前記プローブデータから取り出された所定撮影位置の撮影画像を一時格納する一時格納部と、
   前記一時格納部に格納された撮影画像の画像類似度を評価して、当該撮影画像に前記画像類似度を付与する画像類似度評価部と、
   前記一時格納部から所定度以上の類似度を有する複数の撮影画像を処理対象撮影画像として選別する処理対象データ選別部と、
   前記複数の処理対象撮影画像のそれぞれの撮影位置を統計的に処理して当該複数の処理対象撮影画像の代表撮影位置を演算する代表撮影位置演算部と、
   前記代表撮影位置を用いて取り込まれた複数の撮影画像に基づいて画像特徴点データを生成する画像特徴点データ生成部と、
   前記画像特徴点データに前記代表撮影位置を関係付けて、前記風景マッチングに利用される前記参照データを生成する参照データ生成部と、
   を備えた風景マッチング用参照データ生成システム。
2. 前記処理対象撮影画像又は前記一時格納部に格納された撮影画像の中から、前記代表撮影位置を含む所定範囲内を撮影位置とする複数の撮影画像を取り込む画像特徴点データ生成対象取り込み部を更に備え、
   前記画像特徴点データ生成部は、前記画像特徴点データ生成対象取り込み部により取り込まれた複数の撮影画像から前記画像特徴点データを生成する請求項１に記載の風景マッチング用参照データ生成システム。
3. 前記代表撮影位置演算部における代表撮影位置の演算は、道路の延設方向に沿って規定されている道路線上の位置に限って行われる請求項１または２に記載の風景マッチング用参照データ生成システム。
4. 請求項１から３のいずれか一項に記載の風景マッチング用参照データ生成システムによって作成される参照データを用いた風景マッチング処理を通じて自車位置を決定する位置測位システムにおいて、
   前記参照データを格納している参照データデータベースと、
   車両からの風景を撮影した撮影画像から画像特徴点を抽出し、当該画像特徴点から前記撮影画像毎の画像特徴点データを生成してマッチング用データとして出力する撮影画像処理部と、
   前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えた位置測位システム。

Images