JP2007127437A - 情報表示装置 - Google Patents

Abstract

【課題】実風景における位置と地図画像との対応関係をユーザに呈示する情報表示装置を提供することを目的とする。
【解決手段】情報表示装置（ＩＤＡ、ＩＤＡｒ）において、実写画像取得部（１）は実写画像（ＩＣ）を取得し、地図情報記憶部（４）は地図情報（ＩＧ）を記憶すると共に地図画像（ＩＭ）を生成し、画像表示部（７、８）は実写画像（ＩＣ）及び地図画像（ＩＭ）を表示し、入力部（６）はユーザの動作に基づいて実写画像（ＩＣ）及び地図画像（ＩＭ）のいずれか一方に表示される構造物（Ｒｃ／Ｒｇ）の少なくとも１つを指定し、構造物対応関係取得部（５）は実写画像（ＩＣ）に表示される構造物と地図画像（ＩＭ）に表示される構造物との対応関係（ＩＣｂ）を取得する。
【選択図】図１

Description

本発明は、実写画像と地図画像の間の対応関係を表示することによりユーザに地理的情報を教示する情報表示装置に関する。

従来、現在位置及びその周辺に関する地理的情報をユーザに教示するシステムの代表的な例として、様々な種類のカーナビゲーション装置が広く普及している。従来のカーナビゲーション装置においては、ＨＤＤ（ハードディスク装置）やＤＶＤ等の記録媒体に地図画像と共に格納されている地図上の車両位置に関する周辺情報をディスプレイ上に表示することによりユーザに周辺の地理的情報を教示するものがある。

さらに近年、ユーザが周辺情報をより直感的に理解できるよう、実写画像を利用して周辺の地理的情報をユーザに教示する検索型景観ラベリング装置が提案されている（特許文献１参照）。この検索型景観ラベリング装置は、実写画像上に構造物の名称等の地理的情報を重畳表示することによりユーザに周辺情報を教示する。

そのために検索型景観ラベリング装置は、景観画像として実写画像を撮影する時にカメラの位置、角度、焦点距離、及び画像サイズ等の撮影条件情報を取得する。そして、所得した撮影条件情報に基づいて、コンピュータ上の三次元地図空間内で実風景撮影時の位置とカメラの角度と焦点距離から眺望した場合のＣＧ画像を作成することにより、景観画像中の構造物とＣＧ画像中の構造物の対応付けを行い、景観画像の構造物に地理的情報を付与する。
特開平１１−６６３５０号公報

上述のカーナビゲーションシステムにおいては、実風景の構造物と地図に示される構造物の間の対応関係をユーザが容易に認識できることが非常に望ましい。具体的に言えば、自動車を運転するドライバが、目の前に見えている実風景から得られる目視情報と、地図画像により得られる道路やビルなどの構造物の相対的な位置情報を比較して、実風景上の構造物と地図上の構造物の対応関係を把握することにより所定の目的地への運転が容易となる。

しかしながら、検索型景観ラベリング装置を組み込んだカーナビゲーションシステムにおいては、ユーザが二次元である地図画像上の任意の位置と、三次元画像である実風景における任意の対象物との関係を正しく認識することは容易ではない。さらに、実際に車を運転中のドライバや同乗者が、地図画像と実風景が車の移動につれて逐次変化する状態ではなおさら困難である。

上述の問題に鑑みて、本発明は、実風景における位置と地図画像との対応関係をユーザに呈示する情報表示装置を提供することを目的とする。

上記目的を達成するために、本発明は、
実写画像を取得する実写画像取得手段と、
地図情報を記憶する地図情報記憶手段と、
前記地図情報に基づいて地図画像を生成する手段と、
前記実写画像及び前記地図画像を表示する画像表示手段と、
ユーザの動作に基づいて、前記実写画像及び前記地図画像のいずれか一方に表示される構造物の少なくとも１つを指定する入力手段と、
前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする。

本発明にかかる情報表示装置においては、ユーザが実写画像と地図画像のいずれか一方の構造物を指定すると、もう一方の画像中の対応する構造物が強調表示される。結果、ユーザは実風景を撮像した実写画像上の構造物と地図画像上の構造物間の対応関係、つまり実風景と地図との対応関係を容易に理解できる。

以下に、図面を参照して、本発明の実施の形態にかかる情報表示装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。なお、情報表示装置について具体的に説明する前に、本発明の基本的な概念について説明する。本発明においては、カメラ等で実際に撮像される実写画像及び予め取得しておいた地図画像のそれぞれにおいて表示される任意の部分の対応関係を呈示することによって、ユーザが実風景と地図との対応関係を容易に理解できることを補助するものである。なお、本発明をカーナビゲーションシステムに適応した場合には、指定される任意の部分とは、建物や道路などの構造物あるいはその位置が当てはまる。

（第１の実施の形態）
図１に示すように、本発明の第１の実施の形態にかかる情報表示装置ＩＤＡは、実写画像取得部１、位置情報取得部２、カメラ属性情報取得部３、地図情報記憶部４、構造物対応関係取得部５、入力部６、画像表示部７、及び制御部８を含む。実写画像取得部１は、実風景を撮像して実写画像データＤＩｃを生成するカメラを含む。撮像される画像は、静止画であっても動画であってもよい。本実施の形態においては、カメラは自動車の前方を撮像するように取り付けられているものとする。なお、カメラによって撮影された実風景画像は実写画像データＤＩｃとして出力される。なお、便宜上実写画像データＤＩｃが表す実写風景画像を実写画像ＩＣと称する。

位置情報取得部２は、実写画像取得部１が実写画像を取得する際のカメラ位置を取得する、例えばＧＰＳ受信機である。つまり、カメラ位置は道路などを移動あるいは停止している車に搭載されているカメラの実際の位置を示すカメラ位置情報ＩＰｃを意味する。なお、ＧＰＳ受信機とカメラの位置関係に基づいて、ＧＰＳ受信機で得られた位置情報を補正してカメラ位置情報ＩＰｃとしてもよい。

カメラ属性情報取得部３は、実写画像取得部１による実風景の撮像方向と撮像範囲を定めるパラメータであるカメラ属性情報ＩＡｃを取得する。カメラ属性情報ＩＡｃは、カメラ角（水平角、仰角）、焦点距離、及び画像サイズを含む。なお、撮像方向と撮像範囲が定まるものであれば、画角等の他のパラメータに基づいて、カメラ属性情報ＩＡｃを換算してもよい。また、カメラ属性情報ＩＡｃは、カメラに設定されている値を取得してもよ
いし、カメラに取り付けられた三次元コンパスによって取得してもよい。

地図情報記憶部４は、例えばＨＤＤやＤＶＤなどの媒体に、予め準備された道路や施設の位置や名称等を表す地理的情報ＩＧを格納する。なお、地理的情報ＩＧには、構造物の高さ情報を含む三次元地図データＤＭｔも含まれる。

構造物対応関係取得部５は、制御部８を介して入力されるカメラ位置情報ＩＰｃ、カメラ属性情報ＩＡｃ、地理的情報ＩＧ、及びユーザ指示情報ＩＩｕに基づいて、実写画像中の構造物と地図画像中の構造物の対応付けを行い、構造物対応関係情報ＩＣｂを生成する。なお、後ほど図４を参照して、構造物対応関係取得部５について詳述する。

入力部６は、ユーザの操作を受け付ける、例えば、タッチパネルやリモコンで構成される。入力部６は、さらに受け付けたユーザの操作に基づいて、ユーザの入力指示を表すユーザ指示情報ＩＩｕを生成する。

画像表示部７は、制御部８を介して供給される画像データＤＩに基づいて、地図画像ＩＭと実写画像ＩＣとを表示する、例えばディスプレイである。画像表示部７が表示する地図画像ＩＭは２Ｄ（二次元）地図であっても、３Ｄ（三次元）地図であってもよい。また、上述の入力部６は、画像表示部７の表示面上に設けられたタッチパネルとして構成される。

図２に示すように、画像表示部７の画面は好ましくは、２分割されて地図画像ＩＭ及び実写画像ＩＣがそれぞれ表示されている。上述のように、実写画像ＩＣはユーザが搭乗している車に搭載された情報表示装置ＩＤＡの実写画像取得部１によって撮影された、進行方向前方の実風景である。そして、実写画像ＩＣの左下部に、進行方向に対して左側に伸びる道路ＲｃとのＴ字路が見える。

なお、地図画像ＩＭにおいて、符号Ｃは情報表示装置ＩＤＡが搭載された自車を示し、符号Ｒｇは実写画像ＩＣにおける道路Ｒｃに対応する道路が表示されている。なお、図２を見れば、実写画像ＩＣにおいて手前の建造物等で隠れている構造物等も含めて、地図画像ＩＭには表示されることが分かる。

図１に戻って、制御部８は、実写画像取得部１、位置情報取得部２、カメラ属性情報取得部３、地図情報記憶部４、構造物対応関係取得部５、及び入力部６から入力される実写画像データＤＩｃ、カメラ位置情報ＩＰｃ、カメラ属性情報ＩＡｃ、地理的情報ＩＧ、構造物対応関係情報ＩＣｂ、及びユーザ指示情報ＩＩｕに基づいて、情報表示装置ＩＤＡの全体の動作を制御する。制御部８は、例えばＣＰＵで構成される。

次に、図４、及び図５を参照して、情報表示装置ＩＤＡが、ユーザの指定に対応する地図画像ＩＭ上の構造物を強調表示する場合の動作について説明を行う。なお、本動作は、ユーザが入力部６を操作して、画像表示部７の実写画像ＩＣ上に表示されている構造物中から、地図画像ＩＭ上の位置を確認したい構造物を指定した時点で開始する。そして、図４に示す処理を経て、地図画像ＩＭ上の対応する構造物の画像が点滅等によってユーザに対して表示される。

図３に示すように、本例においては、実写画像ＩＣ上の道路Ｒｃの部分をタッチすることによって、地図画像ＩＭでの対応部分を表示させる対象として選択される。そして、その選択に応じて、地図画像ＩＭ上の道路Ｒｇが点滅等によって対応していることが示される。なお、図３においては、作図上の都合により、道路Ｒｇは黒塗りの状態で示されている。つまり、ユーザが実写画像ＩＣの道路Ｒｃの画像をタッチすることにより、構造物対応関係取得部５が構造物（道路Ｒｃ）の特定を行い、地図画像ＩＭ上の道路Ｒｇを強調表示する。これにより、ユーザは実写画像ＩＣ中の構造物と地図画像ＩＭ中の構造物間の対応関係（実写上に写っている構造物が地図上のどの構造物に当たるか）を容易に認識することができる。

図４を参照して、情報表示装置ＩＤＡにおける対応する構造物の強調表示処理について説明する。
上述のように、ユーザＵが実写画像ＩＣ上の任意の部分をタッチすることによって選択した時点で強調表示処理が開始する。なお、本例においては、入力部６としてタッチパネルを用いているが、ユーザが実写画像ＩＣ上の任意の位置を特定できる手段であれば、リモコン等の手段であってもよい。

ステップＳ２において、ユーザよるタッチパネル（入力部６）の実写画像ＩＣ上の特定の部分のタッチに対応して、入力部６からユーザ指示情報ＩＩｕが制御部８に出力される。そして、制御は次のステップＳ４に進む。

ステップＳ４において、構造物対応関係取得部５は、制御部８から入力されるユーザ指示情報ＩＩｕ、カメラ属性情報ＩＡｃ（カメラ角、焦点距離、および画像サイズ）、及びカメラ位置情報ＩＰｃに基づいて、地理的情報ＩＧより求められる三次元地図空間上で、カメラ位置とユーザが指示した点に対応する方向（以降、「指示方向ベクトル」と称す）を求める。そして、制御は次のステップＳ６に進む。

ステップＳ６において、構造物対応関係取得部５は、ユーザが実写画像ＩＣ上で指示した構造物を特定して、構造物対応関係情報ＩＣｂを生成する。なお、上述のステップＳ４とＳ６は、第１の構造物特定ルーティン＃１０Ａを構成している。そして、制御は次のステップＳ８に進む。

ステップＳ８において、制御部８は構造物対応関係情報ＩＣｂに基づいて、地図画像ＩＭ上の特定された構造物を表す部分を強調表示させるべく画像データＤＩを生成する。画像表示部７は、画像データＤＩに基づいて、ユーザが実写画像ＩＣ上で特定した構造物に対応する地図画像ＩＭ上の特定された部分を点滅させる。そして、制御は終了する。なお、強調表示としては、点滅以外に、表示色や明るさ等の変化、輪郭の強調、対象物構造物の名称等の重畳表示、反転、彩色、及び照度の増減という光学的にユーザの注意を引く方法であれば何でもよい。つまり、これらに限らず、ユーザが実写画像ＩＣ上で指定した構造物と対応するものであることが認識できれば他のどのような手段を用いてもよい。反転、彩色、及び照度の増減という光学的に注意を引く方法であれば何でもよい。

図５を参照して、上述の第１の構造物特定ルーティン＃１０Ａ（ステップＳ４及びＳ６）によって実現される、構造物の特定方法について具体的に説明する。同図において、符号Ｑはユーザが指定する現実の構造物（本例においては道路）を示し、符号Ｓｃは実写画像取得部１のカメラ画面を示し、そして、符号Ｅはカメラ位置である視点を示している。同図に示すような三次元地図空間において、視点Ｅからカメラ角方向に焦点距離ｆだけ進んだ点Ｆを求め、そこに画像サイズに相当する横ｘ縦ｙの平面（カメラ画面Ｓｃ）を視点Ｅと点Ｆを結んだ基準ベクトルＶに垂直になるように設定する。

そして、例えば、ユーザがカメラ画面Ｓｃ上の点Ｐを指示した時には、視点Ｅから点Ｐを結ぶ指示方向ベクトルＶｉが三次元地図空間においてどの構造物を指しているかを求め、ユーザが指示した構造物Ｑを特定する。

＜第１の変形例＞
次に、図６を参照して、上述の第１の実施の形態にかかる情報表示装置ＩＤＡの第１の変形例について説明する。本例においては、構造物特定方法のみが上述の第１の実施の形態にかかる情報表示装置ＩＤＡと異なる。図６に示すフローチャートは、図４に示したフローチャートにおけるステップＳ４およびＳ６をステップＳ３、Ｓ５、Ｓ７、及びＳ１６で置き換えたものである。つまり、ステップＳ３、Ｓ５、Ｓ７、及びＳ１６は、第２の構造物特定ルーティン＃１０Ｂを構成している。

具体的には、第２の構造物特定ルーティン＃１０Ｂは以下の如く実行される。つまり、ステップＳ３において、図５に示した視点Ｅからカメラ画面の４隅の点を結ぶ半直線がつくる三次元空間が視野空間として設定される。なお、視野空間は理論上無限遠まで延びるが、視点から適当な距離だけ離れたところで打ち切ってもよい。そして、制御は次のステップＳ５に進む。

ステップＳ５において、三次元地図空間において、視野空間内に存在する構造物が求められる。そして、制御は次のステップＳ７に進む。

ステップＳ７において、求められた構造物が、図５に示すカメラ画面Ｓｃに投影する処理が実行される。投影処理を行う際には、視点Ｅから見た時の構造物の重なりを考慮して隠面処理を行い、視点Ｅから見える部分と他の構造物に遮られて見えない部分を分類する。隠面処理には、Ｚバッファ法、スキャンライン法、及び光線追跡法などの周知の手法を用いることができる。なお、投影処理は、視野空間全体に対しては行わず、ユーザが指定した位置の近傍のみを対象にして行うようにしてもよい。そして、制御は次のステップＳ１６に進む。

ステップＳ１６において、実写画像ＩＣに表示されている構造物と、視野空間内の構造物をカメラ画面Ｓｃ上に投影した画像（以下、「ＣＧ画像」と称す）上の構造物の対応付けを行うマッチング処理が実行される。マッチング処理は、実写画像ＩＣ及びＣＧ画像のそれぞれにおいて、構造物ごとに分けられた領域に分割する領域分割処理を行い、次に、両者の領域の対応付けを、例えば、テンプレートマッチング法を用いて行う。なお、実写画像ＩＣの領域分割は、エッジ検出及びラベリング処理等の周知の画像処理技術を用いて行うことができる。

ＣＧ画像は、地図情報記憶部４に格納されている三次元地図データである地理的情報ＩＧに基づいて作成されたものであるため、ＣＧ画像上の各領域がどの構造物に該当するかは既知である。したがって、マッチング処理により、実写画像ＩＣ中の構造物とＣＧ画像中の構造物を対応付けることにより、実写画像ＩＣ中の構造物を特定できる。

すなわち、ユーザが指定した実写画像ＩＣ上の位置がどの領域に属しているかを求めることにより、ユーザが指定した構造物を特定できる。これによって、構造物対応関係情報ＩＣｂが生成される。なお、上述の例では、実写画像ＩＣ及びＣＧ画像の共に領域分割処理を行っているが、処理負荷軽減を図るために、ＣＧ画像で行った領域分割の結果をそのまま実写画像ＩＣに割り付けてもよい。

＜第２の変形例＞
図７を参照して、本発明の第１の実施の形態にかかる情報表示装置の第２の変形例について説明する。図７に示すフローチャートは、図６に示したフローチャートにおいてステップＳ２をステップＳ１０の直前に移動させ、ステップＳ８を削除し、ステップＳ２と第２の構造物特定ルーティン＃１０Ｂの間に、実写画像上に補助表示を重畳するステップＳ１７を新たに追加して構成されている。

本変形例においては、ユーザによる実写画像ＩＣ上の対象物の指定（ステップＳ２）が実行されずに、第２の構造物特定ルーティン＃１０Ｂが実行される。この時点で、ユーザが実写画像ＩＣ上で指定可能な構造物が特定される。そして、制御はステップＳ１７に進む。

ステップＳ１７において、特定された構造物に対し実写画像ＩＣ上で輪郭を強調するなどの補助表示が重畳されて、指定可能であることが示される。これにより、ユーザは実写画像ＩＣ上で構造物を指定する操作を容易に行うことができる。つまり、ユーザが構造物を指定する時点において、既に構造物の存在する領域が特定されているので、上述の実施の形態におけるように画面上の点を指定するという構造物の指定方法だけでなく、領域ごとに番号を付与しユーザがその番号を指定する、若しくは、リモコン等で領域を選択するといった構造物の指定方法が可能である。そして、制御は次のステップＳ２に進む。

ステップＳ２において、ユーザが実写画像ＩＣ上で構造物を指定すると（Ｓ１３）、既に構造物の対応付けは完了しているので、上述の構造物対抗関係情報生成ステップＳ８の処理を必要とすることなく、ステップＳ１０において、該当する地図画像ＩＭ上の構造物が強調表示される。

また、ユーザが実写画像ＩＣ中の構造物を指定する際に、実写画像ＩＣ中で他の構造物に一部若しくは全体が隠蔽されている構造物については、実写画像ＩＣ上に該当構造物が存在することを示す補助表示を重畳してもよい。この場合も、ユーザが構造物を指定する前に、第２の構造物特定ルーティン＃１０Ｂ（ステップＳ３〜Ｓ１６）におけるのと同様の処理が行われる。しかし、投影処理での隠面処理において一部若しくは全体が、他の構造物の背後に在るとされた構造物については、スケルトン表示するなどの補助表示により実写画像ＩＣ上に該当構造物が存在することを示す。

例えば、補助表示に対応付けて該当構造物指定用のボタンを設置することにより、ユーザがそれを選択できるようにする。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても容易に選択することができる。

さらに、前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えていてもよい。この場合、画像認識やその他周知の障害物検出手段によって障害物の方向、距離、形状を検出し、それをカメラ画面上に投影することによって、実写画像ＩＣ上の障害物の範囲を求める。なお、障害物検出は、実写画像ＩＣ取得手段１で取得した画像を用いて行ってもよい。この場合には、検出した障害物をカメラ画面上に投影する処理は不要である。

＜第３の変形例＞
次に、図８及び図９を参照して、第１の実施の形態にかかる情報表示装置の第３の変形例について説明する。本変形例においては、画像表示部７に表示される実写画像ＩＣにおいては、障害物によって隠蔽されて実際には目視できない構造物をスケルトン表示などの補助表示することによって、実写画像ＩＣ上に該当構造物が存在することを示してユーザが容易に認識できることを図るものである。そのために、障害物を検出する手段が設けられている。

図８は、図２と同様に画像表示部７の画面には地図画像ＩＭ及び実写画像ＩＣがそれぞれ表示されている。しかしながら、実写画像ＩＣにおいて、本来目視できる建造物Ｂｃ、手前の構造物、及び進行中の道路が、道路Ｒｃを通行中の車両Ｖｃに遮られて表示できない。そのために、点線で示すように建造物Ｂｃ、手前の構造物、及び進行中の道路が車両Ｖｃ中にスケルトン表示されている。結果、ユーザは車両Ｖｃで遮られている建造物の存在を認識できる。

そして、例えば、建造物Ｂｃのスケルトン表示をユーザがタッチすることにより、地図画像ＩＭ上の建造物Ｂｇが強調表示される。このように、ユーザは前方車両等の地図に記憶されていない障害物によって隠蔽されている構造物についても実写画像ＩＣ上で容易に選択することができる。

（第２の実施の形態）
以下に、図９及び図１０を参照して、本発明の第２の実施の形態にかかる情報表示装置について説明する。上述の第１の実施の形態にかかる情報表示装置ＩＤＡにおいては、画像表示部７に表示されている実写画像ＩＣ上の構造物を指定することに応答して、地図画像ＩＭ上の対応する構造物が強調表示されている。しかしながら、本実施の形態にかかる情報表示装置ＩＤＡｒ（図示せず）においては、ユーザが地図画像ＩＭ上の構造物を指定することに応答して、実写画像ＩＣ上の構造物が強調表示される。なお、情報表示装置ＩＤＡｒは基本的に、情報表示装置ＩＤＡと同様に構成される。

図９においては、ユーザ、つまり情報表示装置ＩＤＡｒが搭載された車は、基本的に上述の図２（及び図３）に示されたのと同じ状況にある。よって、画像表示部７に表示される地図画像ＩＭ及び実写画像ＩＣも図２におけると同じである。ただし、図９に示されるように、本例においては、ユーザが地図画像ＩＭ上の道路Ｒｇの部分をタッチすることによって、実写画像ＩＣでの対応部分を表示させる対象として選択される。そして、その選択に応じて、実写画像ＩＣ上の道路Ｒｃが対応していることが点滅等によって示される。なお、図９においては、作図上の都合により、道路Ｒｃの上下にそれぞれ３本の斜線を附して強調表示状態であることが示されている。

つまり、地図画像ＩＭの道路Ｒｇの画像をタッチすることにより、構造物対応関係取得部５が構造物（道路Ｒｇ）の特定を行い、実写画像ＩＣ上の道路Ｒｃを強調表示する。これにより、ユーザは地図画像ＩＭ中の構造物と実写画像ＩＣ中の構造物間の対応関係（地図上の構造物が、実写画像ＩＣ上に写っているどの構造物に当たるか）を容易に認識することができる。

図１０を参照して、情報表示装置ＩＤＡｒにおける対応する構造物の強調表示処理について説明する。図１０に示すフローチャートは、上述の図６の示すフローチャートにおいてステップＳ２、第２の構造物特定ルーティン＃１０Ｂ、ステップＳ８、及びステップＳ１０がそれぞれ、ステップＳ１０２、第３の構造物特定ルーティン＃１０Ｃ、ステップＳ１０８に置き換えられて構成されている。なお、第３の構造物特定ルーティン＃１０Ｃは、ステップＳ１６がステップＳ１１６に置き換えられている点を除けば、図６に示した第２の構造物特定ルーティン＃１０Ｂと同様である。

つまり、ステップＳ１０２において、ユーザよるタッチパネル（入力部６）の地図画像ＩＭ上の特定の部分へのタッチに対応して、入力部６からユーザ指示情報ＩＩｕが制御部８に出力される。そして、制御は第３の構造物特定ルーティン＃１０Ｃに進む。

第３の構造物特定ルーティン＃１０Ｃにおいては、上述の如くステップＳ３、Ｓ５、及びＳ７を経て、ステップＳ１１６において、基本的に上述のステップＳ１６におけるのと同様の処理が実行される。しかしながら、本ステップにおいては、ユーザが地図画像ＩＭ上で指定した構造物に関してマッチング処理により領域の対応付けが行われる。そして、ユーザが地図画像ＩＭ上で指定した構造物が実写画像ＩＣ上のどこに存在するかが特定される。

構造物対応関係取得部５は、ユーザが地図画像ＩＭで指示した構造物を特定して、構造物対応関係情報ＩＣｂを生成する。そして、制御は次のステップＳ１０８に進む。

ステップＳ１０８において、制御部８は構造物対応関係情報ＩＣｂに基づいて、実写画像ＩＣ上の特定の構造物を表す部分を強調表示させるべく画像データＤＩを生成する。画像表示部７は、画像データＤＩに基づいて、ユーザが地図画像ＩＭ上で特定した構造物に対応する実写画像ＩＣ上の特定された部分を点滅させる。そして、制御は終了する。

＜第１の変形例＞
図１１を参照して、第２の実施の形態にかかる情報表示装置ＩＤＡｒの第１の変形例について説明する。本例においては、図１１に示すように、ユーザが地図画像ＩＭ上で指定した構造物が実写画像ＩＣ中で他の構造物に一部若しくは全体が隠蔽されている場合には、実写画像ＩＣ上に該当構造物が存在することを示す補助表示（例えばスケルトン表示）を重畳して表示するものである。具体的には、図１１においては、ユーザ、つまり情報表示装置ＩＤＡｒが搭載された車は、基本的に上述の図９に示されたのと同じ状況にある。つまり、画像表示部７に表示される実写画像ＩＣにおいては、図２に示したのと同様に、本来目視できる建造物Ｂｃ、手前の構造物、及び進行中の道路が、道路Ｒｃを通行中の車両Ｖｃに遮られて表示できない。点線で示すように建造物Ｂｃが車両Ｖｃ中にスケルトン表示されている。

このように、情報表示装置ＩＤＡｒが前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えている場合には、ユーザが地図画像ＩＭ上で指定した構造物が実写画像ＩＣにおいては障害物によって隠蔽されている場合においても、スケルトン表示するなどして実写画像ＩＣ上に該当構造物が存在することを示すことができる。

つまり、ユーザが地図画像ＩＭ上の建造物Ｂｇの部分をタッチすると、構造物対応関係取得部５はそれが実写画像ＩＣ上のどこに存在しているかを特定する。さらに、構造物対応関係取得部５は、建造物Ｂｇの実写画像ＩＣ上の位置（建造物Ｂｃ）が、障害物検出手段が検出した実写画像ＩＣ上の障害物（前方車両Ｂ）の範囲内にあることを検出し、実写画像ＩＣ上で建造物Ｂｃをスケルトン表示する。

これにより、ユーザは前方車両等の障害物に隠蔽されて見えなくなっている構造物についても実写画像ＩＣにおける位置を把握することができる。なお、ユーザが地図画像ＩＭ上で指定した構造物が実写画像ＩＣ中で他の構造物に隠蔽されているかどうかは、図１０に示したフローチャートにおけるステップＳ７での投影処理（隠面処理）にて算出できる。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても実写画像ＩＣにおける位置を把握することができる。

なお、上述の例では、前方車両のような三次元地図に記憶されていない構造物に他の構造物が隠蔽されている場合について説明したが、三次元地図に記憶されている構造物に他の構造物が隠蔽されている場合においても、同様にスケルトン表示を行うことにより隠蔽された構造物の実写画像ＩＣにおける位置を把握することができる。

また、ユーザが地図画像ＩＭ中の構造物を指定する際に、地図画像ＩＭ上にユーザが選択可能な構造物を示すための補助表示を重畳してもよい。この場合、ユーザが構造物を指定する前に、上述の第３の構造物特定ルーティン＃１０Ｃにおける処理と同様に、三次元地図空間においてカメラの視野空間内に存在する構造物を求め、さらに投影処理、マッチング処理を行うことにより、実写画像ＩＣ中の構造物と地図画像ＩＭ中の構造物の対応付けを行う。

これにより、ユーザが地図画像ＩＭ上で指定可能な構造物が特定される。そして、特定された構造物を地図画像ＩＭ上で輪郭を強調するなどして指定可能であることを示すことにより、ユーザは地図画像ＩＭ上で構造物を指定する操作を容易に行うことができる。

（第３の実施の形態）
次に、図１２を参照して、本発明の第３の実施の形態にかかる情報表示装置ＩＤＡｒｒ（図示せず）について説明する。上述の実施の形態およびその変形例においては、ユーザが実写画像ＩＣ若しくは地図画像ＩＭ中の構造物を指定した時に、もう一方の画像中の対応する構造物を強調表示することにより、ユーザは実風景を撮像した実写画像ＩＣ上の構造物と地図画像ＩＭ上の構造物間の対応関係を容易に理解することができる。なお、ユーザが実写画像ＩＣ中の構造物を指定する場合と、地図画像ＩＭ中の構造物を指定する場合の両方の場合に有効な手段として、ユーザが指定した順番によって、構造物の強調方法を変えてもよい。

図１２を参照して、本実施の形態にかかる情報表示装置ＩＤＡｒｒ」の動作について説明する。なお、図１２に示すフローチャートは、ステップＳ１０２、第３の構造物特定ルーティン＃１０Ｃ、およびステップＳ１０８がそれぞれ、ステップＳ２０２、第４の構造物特定ルーティン＃１０Ｄ、およびステップＳ２０８に変更されている点を除いて、上述の図１０に示したフローチャートと同様に構成されている。なお、第４の構造物特定ルーティン＃１０Ｄは、ステップＳ１１６がステップＳ２１６に変更されている点を除いて、第３の構造物特定ルーティン＃１０Ｃと同様に構成されている。

先ず、ステップＳ２０２において、ユーザよるタッチパネル（入力部６）の実写画像ＩＣ上の特定の部分へのタッチに対応して、入力部６からユーザ指示情報ＩＩｕが制御部８に出力される。つまり、ユーザは実写画像ＩＣ上に表示されている構造物の中から地図画像ＩＭ上の位置を確認したいものを複数選択する、あるいは地図画像ＩＭ上に表示されている構造物の中から実写画像ＩＣの位置を確認したいものを複数選択すると、それに応じてユーザ指示情報ＩＩｕが生成される。そして、制御は第４の構造物特定ルーティン＃１０Ｄに進む。

第４の構造物特定ルーティン＃１０Ｄにおいては、上述のステップＳ３、Ｓ５、及びＳ７を経て、ステップＳ２１６において、実写画像ＩＣ上の構造物と、地図画像ＩＭ上の構造物との対応付けが行われる。そして、ユーザが複数個指定した実写画像ＩＣ上の構造物を、地図画像ＩＭ上で特定して、構造物対応関係情報ＩＣｂを生成する。あるいはユーザが複数個指定した地図画像ＩＭ上の構造物を実写画像ＩＣ上で特定して構造物対応関係情報ＩＣｂを生成する。なお、構造物対応関係情報ＩＣｂにはユーザが複数の構造物を指定した順番の情報が含まれる。そして、制御は次のステップＳ２０８に進む。

ステップＳ２０８において、画像表示部７でユーザが指定した複数の構造物が地図画像ＩＭ上あるいは実写画像ＩＣ上で、指定した順番に強調表示される。強調表示の一例としては、ユーザが１番目に指定した構造物を赤、２番目に指定した構造物を黄、３番目に指定した構造物を青というように、指定した順番に応じ色を変化させて表示する。このように、ユーザが指定した順番によって、構造物の強調方法を変えることにより、ユーザは複数の構造物を指定した場合においても、実写画像ＩＣ上の構造物と地図画像ＩＭ上の構造物間の対応関係を容易に理解できる。

なお、強調表示の方法は、色により関連付けをすることに限らず、その他、強調表示の大きさあるいは形状を変化させてもよく、文字情報等を用いてもよく、また実写画像ＩＣ上と地図画像ＩＭ上の対応する構造物同士を線などで結ぶように表示してもよい。

また、ユーザが指定した順番の他に構造物の属性によって、構造物の強調方法を変えてもよい。この場合も、特にユーザが複数の構造物を指定した場合において、ユーザが実写画像ＩＣ上の構造物と地図画像ＩＭ上の構造物間の対応関係を理解することが容易となる。なお、複数の構造物を指定する場合においては、画面上に強調表示される構造物が増え過ぎてかえって視認性が悪化するのを防ぐために、例えば、一定数以上は強調表示を行わない、ユーザ入力により強調表示を終了させる等の処理を入れることが有用である。

また、実写画像ＩＣの視野空間内にある構造物が前記地図画像ＩＭ上に表示されるように地図表示範囲を設定してもよい。これは、例えば、ユーザが実写画像ＩＣ上の構造物を指定した際にカメラの視野空間と地図表示範囲がずれていて対応する構造物が地図画像ＩＭ上に表示されていない場合や、地図表示範囲が大きすぎて地図画像ＩＭ上の構造物が適切な大きさで表示できないような場合において、地図を適切な縮尺、表示範囲に設定した上で、対応する構造物を強調表示するものである。

また、ユーザが地図画像ＩＭ上で構造物を指定しようとした時に（例えば、「構造物指定」ボタンを押下した時）、地図を適切な縮尺、表示範囲に設定してもよい。これにより、ユーザは地図画面においてカメラの視野空間内にある構造物を指定することが容易となり、また、地図画面上でユーザが実写画像ＩＣで指定した構造物を強調表示する際の視認性が向上する。

また、構造物の属性によって入力方法が異なっていてもよい。例えば、道路を指定する場合には道路をなぞる操作を行い、建物を指定する場合には、建物上で長押しをするなど構造物の属性により入力方法を変える。これにより、ユーザが入力ミスをしてしまう可能性を下げることができる。

また、実写画像ＩＣと地図画像ＩＭを２画面表示し、実写画像ＩＣと地図画像ＩＭのいずれか一方の画像中の構造物をユーザが指定している間、もう一方の画像中の対応する構造物を強調表示してもよい。これは、例えば、ユーザが実写画像ＩＣ中の構造物をタッチしている間は地図画像ＩＭ中の対応する構造物を強調し続け、ユーザがタッチするのをやめるのに応じて、強調表示を終了するものである。これにより、ユーザの操作と表示の連動性がより高くなるため、ユーザは実写画像ＩＣ上の構造物と地図画像ＩＭ上の構造物間の対応関係を理解することがさらに容易となる。

（第４の実施の形態）
次に、図１３を参照して、第４の実施の形態にかかる情報表示装置について説明する。本実施の形態においては、カメラの撮像方向や撮像倍率が変更可能に構成される。これにより、例えば、ユーザが地図画像ＩＭにおいて実写画像ＩＣの視野空間内にない構造物を指定した場合には、カメラの撮像方向を変更することにより、対応する構造物を強調表示できる。

図１３に示すフローチャートを参照して、本実施の形態における構造物の強調表示方法について説明する。なお、図１３は、図１０に示すフローチャートに示すフローチャートにおいてステップＳ１０２と第３の構造物特定ルーティン＃１０Ｃとの間にステップＳ１０３及びＳ１０４が追加されて構成されている。

つまり、ステップＳ１０２において、ユーザによる地図画像ＩＭ上の構造物の指定が検出されると、ステップＳ１０３において、構造物対応関係取得部５は、三次元地図空間において、ユーザが指定した構造物が実写画像ＩＣの視野空間内にあるかどうかを判定する。

指定された地図画像ＩＭ上の構造物が実写画像ＩＣ上の視野空間内にない場合には、ステップＳ１０４において、ユーザが指定した構造物が視野空間内に入るようにカメラ撮像方向が変更される。結果、ユーザが指定した構造物が視野空間内に入った時点で、ステップＳ１０３においてＹｅｓと判断されて、制御は第３の構造物特定ルーティン＃１０Ｃに進み、上述の処理が施され、選択された構造物が実写画像ＩＣ上で強調表示される。

このようにカメラ撮像方向を変更することにより、より広い範囲の構造物について実写画像ＩＣ上の構造物と地図画像ＩＭ上の構造物間の対応関係を認識できる。なお、上述の例では、ユーザが地図上の構造物を指定することに応じてカメラの撮像方向を変更させたが、ユーザがカメラの撮像方向を変更させてカメラの視野空間に入った構造物を指定するようにしてもよい。また、撮像方向の代わりに撮像倍率を変更させるようにしてもよい。

なお、ここまで述べてきた例では、画像表示部７は、１つのディスプレイに実写画像ＩＣと地図画像ＩＭを２画面表示させているが、２つのディスプレイに各々を表示するようにしてもよい。また、実写画像ＩＣと地図画像ＩＭは同時に表示されなくてもよい。この場合、例えば、はじめ地図画像ＩＭのみがディスプレイに表示されており、ユーザが構造物を指定すると、画面が実写画像ＩＣに切り替わり、対応する構造物が強調表示される。また、ユーザが構造物を指定した後、地図画像ＩＭと実写画像ＩＣの２画面表示に切り替えてもよい。これらは、はじめに実写画像ＩＣが表示されており、そこから構造物を指定する場合においても同様である。

このように、ユーザが構造物を指定する際には、実写画像ＩＣ又は地図画像ＩＭのいずれか一方を表示するようにすることにより、１つのディスプレイで２画面表示を行う場合と比べて画像を大きなサイズで表示できるため、構造物を指定しやすくなる。

また、上述の例では、カメラは自動車に取り付けられているとしたが、これに限らず、携帯電話や船舶、飛行機等の移動体に取り付けられていてもよいし、建物等に据え付けられていてもよい。また、カメラとディスプレイは、離れた場所に存在していてもよい。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形ができることは言うまでもない。

本発明の情報表示装置は、車両内に設置されるカーナビゲーション装置、車載情報端末、およびディスプレイなどの映像表示装置等として有用である。また、歩行者に携行される携帯電話や、船舶や航空機などの移動体におけるナビゲーション装置としても利用できる。

本発明の第１の実施の形態にかかる情報表示装置の構成を示すブロック図 図１に示した情報表示装置において画像表示部に表示される地図画像及び実写画像の一例を示す説明図 図２に示した情報表示装置において、実写画像上に表示されている構造物が指定された時に、地図画像ＩＭ上に対応する構造物が強調表示される様子を示す説明図 図１に示した情報表示装置において、実写画像上に表示されている構造物の指定に応じて、地図画像ＩＭ上に対応する構造物が強調表示させる動作を表すフローチャート 図４に示した第１の構造物特定ルーティンにおける動作の説明図 図１に示した情報表示装置の第１の変形例における構造物の強調表示動作を表すフローチャート 図１に示した情報表示装置の第２の変形例における構造物の強調表示動作を表すフローチャート 図１に示した情報表示装置の第３の変形例において、画像表示部に表示される地図画像及び実写画像の一例を示す説明図 本発明の第２の実施の形態にかかる情報表示装置において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図 本発明の第２の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート 本発明の第２の実施の形態にかかる情報表示装置の第１の変形例において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図 本発明の第３の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート 本発明の第４の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート

符号の説明

ＩＤＡ、ＩＤＡｒ 情報表示装置
１ 実写画像取得部
２ 位置情報取得部
３ カメラ属性情報取得部
４ 地図情報記憶部
５ 構造物対応関係取得部
６ 入力部
７ 画像表示部
ＩＣ 実写画像
ＩＭ 地図画像
Ｕ ユーザ

Claims (17)

1. 実写画像を取得する実写画像取得手段と、
   地図情報を記憶する地図情報記憶手段と、
   前記地図情報に基づいて地図画像を生成する手段と、
   前記実写画像及び前記地図画像を表示する画像表示手段と、
   ユーザの動作に基づいて、前記実写画像及び前記地図画像の何れか一方に表示される構造物の少なくとも１つを指定する入力手段と、
   前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
   前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
2. 前記画像表示手段は、前記実写画像及び前記地図画像を同時に表示することを特徴とする請求項１に記載の情報表示装置。
3. 前記画像表示手段は、前記入力手段により構造物が指定される時には、前記実写画像及び地図画像の少なくとも一方を表示し、当該指定された構造物に対応する構造物を強調表示する際には、当該実写画像及び当該地図画像の内で少なくとも当該強調表示される構造物を表示する方を表示することを特徴とする請求項１に記載の情報表示装置。
4. 前記入力手段はタッチパネルであり、
   前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物がタッチされた時、他方に表示されている構造物の内で当該タッチされた構造物に対応するものを強調表示することを特徴とする請求項１に記載の情報表示装置。
5. 前記実写画像取得手段は、前記実写画像を撮像するカメラを備え、
   前記構造物対応関係取得手段は、前記実写画像の撮像時の前記カメラの位置と、撮像方向と撮像範囲を定めるパラメータであるカメラ属性とに基づいて、前記実写画像に表示される構造物と前記地図画像に表示される構造物との対応関係を取得することを特徴とする請求項１に記載の情報表示装置。
6. 前記カメラ属性は、前記実写画像を撮像した時の前記カメラのカメラ角と焦点距離と画像サイズであることを特徴とする請求項５に記載の情報表示装置。
7. 前記画像表示手段は、前記実写画像及び前記地図画像上にユーザが指定可能な構造物を示すための補助表示を重畳することを特徴とする請求項１に記載の情報表示装置。
8. 前記画像表示手段は、前記実写画像において他の構造物によって、少なくともその一部が隠蔽されている構造物について、当該実写画像上に当該隠蔽されている構造物が存在することを示す補助表示を重畳することを特徴とする請求項１に記載の情報表示装置。
9. 前記実写画像の視野空間内にある障害物を検出する障害物検出手段をさらに備え、
   前記画像表示手段は、前記実写画像中で前記障害物検出手段によって検出された障害物に少なくともその一部が隠蔽されている構造物が存在することを示す補助表示を当該実写画像上に重畳することを特徴とする請求項８に記載の情報表示装置。
10. 前記画像表示手段は、前記実写画像及び前記地図画像の何れか一方の画像中に表示されている構造物が指定される間、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
11. 前記画像表示手段は、前記構造物が指定される順番及び前記構造物の属性の何れか一方に基づいて、当該指定された構造物に対応する構造物の強調表示方法を変えることを特徴とする請求項１に記載の情報表示装置。
12. 前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、共に強調表示することを特徴とする請求項１に記載の情報表示装置。
13. 前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、関連付けて強調表示することを特徴とする請求項１２に記載の情報表示装置。
14. 前記画像表示手段は、前記実写画像の視野空間内に在る構造物が前記地図画像上に表示されるように地図表示範囲を設定することを特徴とする請求項１に記載の情報表示装置。
15. 前記入力手段は、構造物の属性によって指定方法が異なることを特徴とする請求項１に記載の情報表示装置。
16. 前記実写画像取得手段は、前記実写画像の撮像方向及び撮像倍率の少なくとも一方が変更可能であることを特徴とする請求項５に記載の情報表示装置。
17. 前記実写画像取得手段は、前記地図画像において前記実写画像の視野空間内にない構造物を指定した時に、前記撮像方向及び前記撮像倍率の少なくとも一方を変更することを特徴とする請求項１６に記載の情報表示装置。
    
    

Images