JP2011215054A - 風景画像認識を用いた自車位置検出システム - Google Patents

Abstract

【課題】風景画像認識技術を用いながらも、効率的な自車位置検出が可能な自車位置検出システムを提供する。
【解決手段】車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データに対応撮影画像の撮影位置を関係付けた参照データ群を格納している参照データベースベース９２と、道路形状情報から推定自車位置における道路形状を判断し、当該道路形状と類似する道路形状が続く類似道路形状範囲を算定する道路形状評価部と、実撮影画像から抽出された画像特徴点からなるマッチング用データのマッチング相手としての参照データを参照データベースベース９２から抽出する際に類似道路形状範囲を用いて参照データを決定する抽出参照データ決定部と、マッチングした参照データに関係付けられた撮影位置に基づいて自車位置を決定する自車位置決定部が備えられている。
【選択図】図１

Description

本発明は、車両から撮影した風景画像を用いて走行中の車両の現在位置を求める自車位置検出システムに関する。

従来から、カーナビゲーションの技術分野では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と、記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。しかし、この特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、高い演算能力が装置に要求され、コストアップの要因となる。

また、同じカーナビゲーションの技術分野において、建物や風景などの撮影画像を検索キーとして画像データベース上から類似度の大きい画像を検索し、検索された１以上の画像をそれに対応する地点特定情報と共に表示してユーザに提示し、この表示をみたユーザにより選択された画像に対応付けられた位置情報を目的地に設定するナビゲーション装置が知られている（例えば、特許文献２参照）。このナビゲーション装置を使用すると、ある地点で撮影した撮影画像を入力して検索を実行すれば、その入力画像にマッチする画像とそれに対応する地点特定情報とが検索にヒットしてユーザに提示され、ユーザの選択によりその地点が目的地に設定される。これにより、目的地に設定したい地点の位置や施設名などの情報が全く分らなくても、その地点の撮影画像を利用して目的地の設定を行うことが可能となる。しかしながら、このような風景撮影画像を用いた位置の特定では、検索キーとして入力画像にマッチする画像をナビゲーション装置が提示した後、ユーザが確認する必要があるので、カーナビゲーションで利用されている自車位置検出には適用することはできない。

特開２００７−２０８０４３号公報（段落番号０００９−００１３、図１） 特開２００４−３３３２３３号公報（段落番号００１０−００４３、図１）

上述した実情から、風景画像認識技術を用いながらも、人の判断を要求することなく、効率的な自車位置検出が可能な自車位置検出システムの実現が望まれる。

本発明に係る風景画像認識を用いた自車位置検出システムの特徴構成は、車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データに対して当該画像特徴点データに対応する撮影画像の撮影位置を関係付けた参照データを格納している参照データデータベースと、車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、前記車両の推定自車位置における道路形状を判断し、当該道路形状と類似する道路形状を算定する道路形状評価部と、前記類似道路形状範囲に属する前記撮影位置を有する前記参照データを前記マッチング用データに対するマッチング相手候補として出力する参照データ出力部と、出力された前記参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、前記マッチングに成功した参照データに関係付けられた前記撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている。

ＧＰＳや推測航法による位置座標の測定において自車位置を推定する場合に誤差が生じるので、実自車位置（実際の自車位置）はこの推定自車位置を基準とした所定半径領域（以後これを推定誤差範囲と称する）に存在するとみなされる。なお、車両は道路もしくはそれに同等な位置にしか存在していないことを条件とすると、その所定半径領域は例えば道に沿った形状に縮小することが可能であるが、そのような形状も含めて、推定誤差範囲という語句が用いられる。この推定誤差範囲が大きい場合、その範囲内に属する参照データを全て参照データデータベースから抽出してマッチング相手とする必要がある。しかしながら、本発明による自車位置検出システムでは、道路形状評価部が推定自車位置における道路形状を判断し、当該道路形状と類似する道路形状が続く類似道路形状範囲を算定し、推定誤差範囲に属する参照データであってもその類似道路形状範囲外となっている参照データはマッチング相手から除外することができる。これは、最も信頼性が高い推定自車位置における道路部分で撮影された風景と、当該道路部分に比べてその向きや勾配などの道路形状が大きく相違する道路部分での撮影画像とは相違し、結果的にそのような撮影画像に基づいて生成された画像特徴点データも相違するからである。このように、マッチング相手としてふさわしくないと思われる参照データを除外することで、効率的な風景画像認識が実現する。

参照データ出力部が道路形状評価部によって算定された類似道路形状範囲に属する参照データを出力するための好適な構成の１つとして、前記参照データ出力部が、前記車両の推定自車位置に基づいて所定の推定誤差範囲に属する前記撮影位置を有することを検索条件として前記参照データデータベースから参照データを抽出し、抽出された前記参照データのうち前記類似道路形状範囲に属する前記撮影位置を有する参照データを前記マッチング相手候補として出力することが提案される。この構成では、とりあえず、推定誤差範囲に属する参照データが抽出され、抽出された参照データの撮影位置と類似道路形状範囲に含まれる道路位置とを比較して、類似道路形状範囲に属さない参照データは除外して出力される。従って、参照データの撮影位置が類似道路形状範囲に属するかどうかの判定をより正確に行うことが可能となる。

推定自車位置における道路形状と類似する道路形状が続く類似道路形状範囲を評価するために、本発明の好適な実施形態の１つでは、前記道路形状評価部は、前記推定自車位置における道路と連続し、かつ当該推定自車位置における道路との道路延び方向に関する相対角度が所定値以内となっている道路の範囲を前記類似道路形状範囲とするように構成されている。この相対角度の考えを導入することで、三次元に変化する複雑な道路状況であっても、基準となる姿勢に対する姿勢変位が簡単な方法で数値的に表すことができ、評価アルゴリズムが簡単となる。
また、例えば、相対角度を単位ベクトル、つまり大きさのない方向だけを有するベクトルで表現し、道路形状評価を単位ベクトルの演算を通じて行うことで、三次元的に変化する道路に対してもその処理をスムーズに行うことが可能となる。さらにその際、その評価において、例えば、Ｘ方向やＹ方向の、つまり道の水平面に沿った姿勢変位の許容範囲と、Ｚ方向の、つまり道の登り下りの姿勢変位の許容範囲を重み係数をもって、自由に変更すると好都合である。

本発明による、風景画像認識を用いた自車位置検出システムにおける自車位置検出技術の基本概念を説明する模式図である。 本発明による自車位置検出システムに用いられる参照データを生成する画像処理システムの主な機能を示す機能ブロック図である。 調整係数を用いた重み係数の調整を模式的に示す模式図である。 本発明による自車位置検出システムを採用したカーナビゲーションシステムの機能を示す機能ブロック図である。 曲線路を例として推定誤差範囲と類似道路形状範囲との関係を模式的に説明するための模式図である。 登坂路を例として推定誤差範囲と類似道路形状範囲との関係を模式的に説明するための模式図である。 風景マッチング部の機能を示す機能ブロック図である。

以下、図面を用いて本発明を詳しく説明する。図１は、ここでは、車両走行方向前方を撮影するように配置された車載カメラからの風景画像を、本発明による画像処理システムによって作成される参照データを用いたマッチング処理を通じて画像認識することで、その風景画像が撮影される位置、つまり自車位置を決定する、位置測位技術の基本概念を模式的に示している。

まず、参照データデータベース９２（以下単に参照データＤＢと略称する）の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置や撮影方位を含む撮影属性情報が入力される（＃０１）。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶことにするが、画像特徴点の一例がこのエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される（＃０３）。

風景画像認識のために用いられることを考慮すると、抽出された全ての画像特徴点は、同じ重要度をもっているとは限らない。例えば、その対応する撮影画像における座標位置によって各画像特徴点の重要度が異なる場合がある。このため、風景画像認識にふさわしくない画像特徴点の重要性を低くすることや、風景画像認識にとって重要となる画像特徴点の重要性を高くするといったルールを適用させながら、各画像特徴点の重要度を決定することが好ましい（＃０４）。各画像特徴点の重要度が決定されると、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０５）。

続いて、重み係数マトリックスを用いながら、画像特徴点を整理して撮影画像毎の画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位をと関係付けることで、撮影位置や撮影方位を検索キーとして可能なデータベース用データとなる（＃０８）。つまり、この画像特徴点データは、風景画像認識のために利用される参照データ、つまりマッチング相手として抽出されるべき参照データＤＢ９２に格納される（＃０９）。

次に、上述したような手順で構築された参照データＤＢを用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置、及びその推定自車位置を撮影位置として車載カメラで撮影された実撮影画像とその撮影方位が入力される（＃１１）。まず、入力された撮影画像から、上記ステップ＃０２〜＃０７の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１２）。

さらに、入力された撮影位置（推定自車位置）と撮影方位（前方撮影カメラとすると車両進行方位と実質的に同じである）とを用いて道路地図データベース９１（以下道路地図ＤＢと略称する）にアクセスして得られた情報を評価して、推定自車位置における道路形状が所定の許容範囲（推定自車位置を基準点とする道路の三次元位置変位量）内に維持されている車両前後の道路範囲である類似道路形状範囲が決定される（＃１３ａ）。なお、推定自車位置の誤差によって規定される推定誤差範囲（以下単に誤差範囲と略称する）と、類似道路形状範囲との重なり合いの関係は道路形状等によって三種類ある。つまり、誤差範囲が類似道路形状範囲を完全に含む関係、誤差範囲と類似道路形状範囲とが部分的に重なり合う関係、類似道路形状範囲が誤差範囲を完全に含む関係である。いずれの重なり合い関係においても、誤差範囲と類似道路形状範囲との重なり合う範囲だけを修正された誤差範囲として用いるとよい。すなわち、類似道路形状範囲が誤差範囲に完全に含まれる場合には類似道路形状範囲が修正された誤差範囲として利用され、類似道路形状範囲が少なくとも部分的にでも誤差範囲より大きい場合は、その重なり合う領域が修正された誤差範囲として利用される。例えば、道路がまっすぐな平坦路である場合、類似道路形状範囲が推定自車位置の誤差によって規定される誤差範囲を完全に含んでしまう可能性が高い。このような場合は、誤差範囲と類似道路形状範囲との重なり合う範囲、つまり元の誤差範囲がそのまま修正された誤差範囲として用いられることになる。従って、ここでは、そのように実質的には修正されていない誤差範囲も修正された誤差範囲という語句に含まれることになる。そのような修正された誤差範囲が参照データの抽出処理のために用いられる（＃１３ｂ）。抽出処理では、調整された誤差範囲を検索条件として、参照データＤＢ９２から条件に合致した参照データがマッチング相手候補として抽出され（＃１３ｃ）、出力される。抽出された参照データは風景画像認識であるマッチング処理のためにセットされる（＃１４）。

抽出されたマッチング候補参照データ列から１つずつ参照データをパターンとして設定し、今生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１５）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１６）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１７）。

次に、上述した自車位置検出システムで用いられる参照データを、車両から風景を撮影した撮影画像から作り出す、画像処理システムの一例を説明する。図２は、そのような画像処理システムの機能を模式的に示した機能ブロック図である。
この画像処理システムは、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６、参照データデータベース化部５７、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像や撮影属性情報の生成方法は周知であるのでその説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。

特徴点抽出部５２は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、特徴点抽出部５２によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて各画像特徴点を整理して記撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図３に示された模式的説明図を用いて説明する。撮影画像（図３（ａ）から画像特徴点を抽出することで特徴点画像（図３（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図３（ｃ）では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図３（ｄ）では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で重み係数を割り当てたれた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われると、例えば、図３（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図３（ｅ）では調整係数群を特徴点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。画像特徴点データ生成部５６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図３（ｆ）で示されたような画像特徴点データを撮影画像毎に生成する。

参照データデータベース化部５７は、画像特徴点データ生成部５６によって生成された画像特徴点データを、この画像特徴点データに対応する撮影画像の撮影属性情報と関係付けて、風景画像認識のために利用される参照データとしてデータベース化する。データベース化された参照データは参照データＤＢ９２に格納されていく。

以上の説明では、画像特徴点毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。従って、本発明では、画像区画は１つ又は複数の画素から構成されることになる。

次に、上述した自車位置検出システムの基本概念、及び上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図４には、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図ＤＢ９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データが画像特徴点データ生成部５６から出力される。なお、特徴点重要度決定部５３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。

風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から後で詳しく説明する抽出アルゴリズムに基づいて所定数の参照データからなる参照データ列を抽出する。さらに、抽出された参照データ列からパターンとして順次参照データをセットし、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３、制動や加速や操舵などといった車両の種々の挙動を車載ＬＡＮを通じて送られてくる挙動データに基づいて検知する車両挙動検知モジュール２４を備えている。

つぎに、風景マッチング部６で行われる、推定自車位置における道路形状と類似する道路形状が続く類似道路形状範囲と、前述した推定自車位置を中心とする誤差範囲との関係及び、参照データＤＢ９２から参照データ列を抽出する抽出アルゴリズムを図５と図６の模式図を用いて説明する。類似道路形状範囲は車両の推定自車位置に基づいて道路地図ＤＢ９１から読み出した車両周辺道路の道路形状情報を評価することによって求められる。図５と図６では、推定自車位置を基準点：Pnとし、そこから車両走行方向の前方側に位置する参照データの撮影位置を車両から近い順にPn+1、Pn+2、・・・Pn+k（kは正の整数）で示され、そこから車両走行方向の後方側に位置する参照データの撮影位置を車両から近い順にPn-1、Pn-2、・・・Pn+k（kは負の整数）で示されている。さらに、道路は東西南北及び鉛直方向上下の三次元方向に延びているので、道路地図ＤＢ９１から読み出した車両周辺道路の道路形状情報から車両が走行している道路の各撮影位置における道路と連続し、かつ当該推定自車位置における道路との道路延び方向に関する相対角度を、図面で分かりやすく説明するために三次元の方向単位ベクトルで表すことにする。従って、道路形状の評価を相対角度で考える場合には、ここでの方向単位ベクトルは、道路延び方向に関する相対角度と読み替えるとよい。以後、道路の延びの幾何学的形態を相対角度をも含めて方向単位ベクトルという語句を用いているので、基準点：：Pnでの方向単位ベクトルをVnで示し、その他の撮影位置での方向単位ベクトルを、それぞれ、基準点前方側でVn+1、Vn+2、・・・Vn+k基準点後方側でVn-1、Vn-2、・・・Vn+kで示している。これにより、任意の地点間の道路の左右の向きの違い（道路の水平面上での方位）と上り下りの違い（道路勾配）を互いの延び方向単位ベクトルの差で表すことができる。この任意の地点間の道路延び方向の差が、所定のしきい値以下の場合は、互いの地点間の道路の形状が類似する類似道路形状範囲と定義することができる。推定自車位置である基準点：Pnの道路形状に類似する類似道路形状範囲をコンピュータプログラムで算定するためには、基準点：Pnから延びる道路中心線を三次元道路曲線とみなし、この基準点：Pnにおける道路の延び方向単位ベクトルに対する方向差が所定値を超えるまでの範囲の線分に対応する道路範囲を前記類似道路形状範囲とするとよい。

図５は、曲がっている道路を例示しており、推定自車位置が得られると、この位置を基準点：Pnとして、従来の方法で求められる誤差範囲が二点鎖線で示されている。道路形状情報を用いて撮影位置に対応する道路上の位置の延び方向単位ベクトルの値を求め、基準点での延び方向単位ベクトルとの方向相違値：Δｄk＝D（Vn ,Vn+k）を演算する。ここでDは２つの方向単位ベクトルの方向の差を求める関数であり、方向に応じて重みを変えたり、基準点からの距離に応じて重みを変えたりしてもよい。この方向相違値：Δｄkは、予め決められている方向相違しきい値：ｄsと比較され、それ以上となると、類似道路形状とはみなされず、類似道路形状範囲から除外される。つまり方向相違しきい値は類似道路形状許容値として機能している。平坦でまっすぐな道路であれば、類似道路形状範囲は誤差範囲より大きいものとなるので、通常では、参照データの抽出するための検索条件としては誤差範囲が用いられることになるが、曲がりくねった道路や上り下りの多い道路では、類似道路形状範囲は誤差範囲より小さいものとなるので、誤差範囲の絞込みに効果的となる。

図６は、上り坂の道路を提示しており、符号のつけ方や、誤差範囲、類似道路形状範囲などの表し方は同じである。このように勾配のある道路であっても、上記と同様なアルゴリズムで類似道路形状範囲を算定することができる。また、一般的な道路は図５と図６が組み合わされたような形状となるが、延び方向単位ベクトルには上り下り及び左右の曲がりくねりの双方の形態が含まれているので、同時に両者を取り扱うことができる。

図７には、上述した誤差範囲と類似道路形状範囲を用いて参照データＤＢ９２から適切に抽出された参照データと、撮影画像から生成されるマッチング用データとの間で風景画像認識を行う風景マッチング部６に備えられた各機能部を説明するための機能ブロック図が示されている。風景マッチング部６は、道路経路評価部６１、誤差範囲修正部６２、参照データ出力部６３、マッチング実行部６４、マッチング撮影位置取り出し部６５を備えている。道路経路評価部６１は、自車位置決定部５から送られてきた推定自車位置に基づいて道路地図ＤＢ９１から読み出した車両周辺道路の道路形状情報を、上述したようなアルゴリズムを用いて評価し、推定自車位置における道路形状と類似する道路形状が続く類似道路形状範囲を算定する。誤差範囲修正部６２は、推定自車位置を基準として推定自車位置の誤差を考慮して誤差範囲を算定する機能と、この誤差範囲のうち道路経路評価部６１による類似道路形状範囲に含まれていない部分を除外する機能を有する。参照データ出力部６３は、誤差範囲修正部６２から送られてくる修正された誤差範囲に基づいて撮影画像処理部５によって生成されたマッチング用データのための適切なマッチング相手候補を抽出するための検索条件を作成する。ここでいう修正された誤差範囲には、推定自車位置から直接算定されたままの誤差範囲、類似道路形状範囲、誤差範囲と類似道路形状範囲との重なり合った範囲が含まれている。さらに、参照データ出力部６３は、この検索条件によって参照データＤＢ９２から引き出された参照データをマッチング実行部６４に転送する。なお、参照データ出力部６３は、類似道路形状範囲に属する撮影位置を有することを検索条件として前記参照データデータベースから参照データを前記マッチング相手候補として抽出するように構成してもよいし、前記車両の推定自車位置に基づいて所定の推定誤差範囲に属する前記撮影位置を有することを検索条件として前記参照データデータベースから参照データを抽出し、抽出された前記参照データのうち前記類似道路形状範囲に属する前記撮影位置を有する参照データを前記マッチング相手候補として出力するように構成してもよい。マッチング実行部６４は、抽出された参照データ列を順々にパターンとしてセットしながら、マッチング用データに対するパターンマッチングを行う。マッチング撮影位置取り出し部６５は、マッチングが成功した場合、成功したマッチング相手としての参照画像に関係付けられている撮影位置（自車位置）を読み出して、これを高精度自車位置として自車位置決定部４５に送り出す。

なお、誤差範囲修正部６２において誤差範囲を類似道路形状範囲に基づいて修正する場合には、類似道路形状範囲の道路形状情報に基づいているため、推定自車位置の信頼性が高いことが要求される。このため、推定自車位置に信頼度のような属性値がついている場合には、それを利用して、類似道路形状範囲による誤差範囲の修正を行うかどうかを決定するとよい。そのような属性値がない場合は、推定自車位置まで走行した道路の状況がスリップ誤差やコーナリング誤差が生じやすいと判断される場合、あるいはその他の要因で距離誤差が生じやすいと判断される場合には、類似道路形状範囲による誤差範囲の修正を行わないようにしてもよい。

上述した実施形態では、車両周辺道路の道路形状情報を道路地図ＤＢ９１から読み出す地図データから得る構成となっていたが、このような構成に本発明は限定されない。例えば、センサ系での検出結果だけでも道路形状の類似判定は可能である。道路の勾配や道路の屈曲度は、勾配センサやステアリングセンサからのセンサ信号を評価することで検知可能であり、これに基づいて、走行している道路の類似性を判定することができる。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。また、マッチング実行部６４は、一般的なパターンマッチングのアルゴリズムを採用しているが、風景画像において重要度が高いコーナ点（２つの直線成分の交点としての交点エッジ点）の一致（マッチング）に他のエッジ点に比べて高い一致評価を与える重みつきパターンマッチングのアルゴリズムを採用してもよい。その際、参照データにコーナ点の座標値を示すコーナ属性値を付属させた形態で参照データＤＢ９２を構築するのが好ましいが、参照データが抽出される毎にコーナ点を検出するようにしてもよい。マッチング用データの方は、実撮影画像から生成される過程において、コーナ点に識別符号（ラベル）を付与しておくとよい。
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには後方の風景を撮影するカメラであってよい。但し、後方の風景を撮影するリアカメラを利用すると、車両の走行ともに移動する特徴点の移動方向がフロントカメラの場合と逆となるので、特徴点が周辺に集中している場合には、基準点をオフセットする方向を後方ではなく前方とする。また特徴点が中央に集中している場合には、基準点をオフセットする方向を前方ではなく後方とする。つまり、フロントカメラでもリアカメラでも使用可能であるので、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されない。

上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である

本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データデータベース化部
６：風景マッチング部
６１：道路経路評価部
６２：誤差範囲修正部
６３：参照データ出力部
６４：マッチング実行部
６５：マッチング撮影位置取り出し部
１４：カメラ
９２：参照データＤＢ（参照データデータベース）
９１：道路地図ＤＢ（道路地図データベース）

Claims (3)

1. 車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データ及び当該画像特徴点データに対応する撮影画像の撮影位置を関係付けた参照データを格納している参照データデータベースと、
   車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、
   前記車両の推定自車位置における道路形状を判断し、当該道路形状と類似する道路形状が続く類似道路形状範囲を算定する道路形状評価部と、
   前記類似道路形状範囲に属する前記撮影位置を有する前記参照データを前記マッチング用データに対するマッチング相手候補として出力する参照データ出力部と、
   出力された前記参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、
   前記マッチングに成功した参照データに関係付けられた前記撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている、風景画像認識を用いた自車位置検出システム。
2. 前記参照データ出力部が、前記車両の推定自車位置に基づいて所定の推定誤差範囲に属する前記撮影位置を有することを検索条件として前記参照データデータベースから参照データを抽出し、抽出された前記参照データのうち前記類似道路形状範囲に属する前記撮影位置を有する参照データを前記マッチング相手候補として出力する請求項１に記載の自車位置検出システム。
3. 前記道路形状評価部は、前記推定自車位置における道路と連続し、かつ当該推定自車位置における道路との道路延び方向に関する相対角度が所定値以内となっている道路の範囲を前記類似道路形状範囲とする請求項１または２に記載の自車位置検出システム。

Images