JP6096634B2 - 仮想現実を用いた３次元地図表示システム - Google Patents

Description

本発明は、仮想現実を用いた３次元地図表示システム、即ち撮影した２次元地図上に地物の３次元モデルを重畳して表示する３次元地図表示システムに関する。

元来、地図は、建物や道路などの地物を２次元的に表した２次元地図が主であった。２次元地図は、紙等に印刷され、地図帳や折りたたみ地図などの形で頒布されることが多かったが、コンピュータ、ナビゲーション装置、携帯端末などのディスプレイに表示される電子地図も利用されるようになっている。
一方、地物を３次元的に描いた３次元地図も普及してきている。３次元地図には、ユーザが、現在位置や周囲の状況をより直感的に把握可能であるという利点がある。特許文献１は、透視投影によって３次元地図を表示する例を開示している。
３次元グラフィックスに関し、よりリアリティを向上させるための技術として、携帯端末等で現実の空間を撮影した画像に、３次元グラフィックスを重畳して表示する仮想現実と呼ばれる技術も知られている。特許文献３は、地図分野とは異なるが、マーカと呼ばれる既定の画像を撮影することによって、撮影された画像と３次元グラフィックスの仮想空間内とを対応づけることによって、仮想現実を実現する技術を開示している。
このように地図に関しては、従来、リアリティを向上させるため、種々の技術の蓄積が図られてきた。

特許第３４２８２９４号公報 特開２０１２−１５５６７８号公報

しかし、３次元地図には、３次元的に描かれた建物等の陰に隠れる部分が生じたり、透視投影における近景と遠景とでは縮尺が異なるなどの短所もある。これに対し、２次元地図では、こうした支障がなく、地物の位置関係を正確に把握しやすい。そこで、２次元地図のこうした利点と、直感的に把握しやすいという３次元地図の利点とを融合した地図の提供が望まれる。従来は、このような地図は存在しなかった。
本発明は、かかる課題に鑑み、仮想現実を適用することによって、２次元地図と３次元地図の利点を融合した地図を提供することを目的とする。

本発明は、
撮影された２次元地図の実写画像上に重畳して地物を３次元的に表示させる３次元地図表示システムであって、
前記地物の３次元形状を表した３次元モデルを格納する３次元モデルデータベースと、
前記２次元地図の複数の単位領域に対して、該単位領域ごとに設定された固有の識別情報と、前記３次元モデルデータベースの座標系とを対応づける識別情報データベースと、
前記２次元地図のうち表示対象となる単位領域を撮影する撮像部と、
前記撮影された前記２次元地図の地図画像データを解析して前記識別情報を取得する識別情報解析部と、
前記３次元モデルデータベースから、前記識別情報に応じた単位領域における前記３次元モデルを取得し、前記地図画像データに重畳した３次元地図を表示する地図表示部とを備える３次元地図表示システムと構成することができる。

本発明によれば、２次元地図を撮影した地図画像上に、３次元モデルを重畳して表示することができる。従って、地物の位置関係を把握しやすいという２次元地図の利点と、リアリティという３次元地図の利点とを融合した地図を提供することができる。
ユーザは、３次元モデルの表示が不要な場合には、２次元地図をそのまま眺めればよい。３次元モデルを表示させたい場合には、２次元地図を撮影した地図画像を眺めればよい。従って、両者の使い分けも、非常に容易に行うことができる。

このように３次元モデルを２次元地図に重畳した表示は、次の構成によって実現される。
本発明では、予め３次元モデルデータベースに、地物の３次元モデルが格納されている。この３次元モデルの位置は、現実の空間に合わせた座標系、例えば緯度、経度、高度や、ある地点を基準とした直交座標系などで表されることになる。
２次元地図を撮影した地図画像データ上に、３次元モデルを重畳するためには、地図画像データの座標系と、３次元モデルの座標系とを整合させることが必要である。このため、本発明では、２次元地図を撮影したそれぞれの地図画像データから取得できる識別情報を用意し、この識別情報と３次元モデルの座標系とを予め対応づけ識別情報データベースとして用意しておく。こうすることによって、ユーザが撮影した２次元地図を解析すれば識別情報を特定することができ、さらに、識別情報データベースを参照すれば、２次元地図に対応した領域の３次元モデルを特定することができる。本発明では、識別情報データベースの生成に用いられた２次元地図と、地図表示の際に用いる２次元地図とは同一の識別情報が得られる程度の同等物であることが前提である。２次元地図としては、地図帳や折り畳地図など紙媒体のもの、電子地図など種々のものを利用できる。単位領域とは、地図帳の各ページ、１枚１枚の折り畳地図としてもよいし、国土を所定サイズのメッシュに切って地図データが用意されている場合には、各メッシュを単位領域としてもよい。
識別情報としては、例えば、単位領域の２次元地図の周囲に描いたバーコード、２次元バーコードなどの符号、３次元モデルの座標値を表した数字などとすることができる。地表面上の２軸を対応づけるため、識別情報の配置によって軸の方向を表すなどの態様をとってもよい。

本発明では、識別情報に基づいて２次元地図と３次元地図の座標とを整合させるので、両者の座標系を予め統一しておく必要がないという利点もある。例えば、地図帳や折り畳み地図のように紙媒体で用意され、有限の面積で表される地図に対して、実空間の座標系で全国に対して用意された３次元モデルから必要な部分を切り出して重畳することが可能となる。また、３次元モデルがメッシュ単位で整備されている場合においても、このメッシュと２次元地図の単位領域の大きさとは異なっていても差し支えない。
３次元モデルは、特定の２次元地図用に整備されたものである必要はない。従って、紙媒体の２次元地図、電子媒体の２次元地図など、複数種類の２次元地図が存在するとき、それぞれの２次元地図ごとに識別情報データベースさえ用意すれば、共通の３次元モデルを利用することも可能である。

本発明は、単一の装置として構成してもよいし、サーバと端末等の組み合わせで構成してもよい。後者の場合、端末としては、例えば、カメラ機能付きの携帯端末などを用いることができる。
本発明をサーバと端末の組み合わせで実現する場合には、３次元モデルデータベース、識別情報データベースをサーバに備え、その他を端末側に備えるものとしてもよい。また、これらのデータベースに加え、さらに、識別情報解析部もサーバ側に備えるものとしてもよい。

本発明の３次元地図表示システムにおいては、
前記識別情報は、前記単位領域内全体にわたって分布しているものとしてもよい。
こうすることによって、単位領域の一部分のみしか撮影されていない場合でも、座標を特定することが可能となる。
かかる識別情報としては、２次元地図の周囲だけでなく、地図画像内に埋め込まれている情報とすることができる。例えば、地図中の種々の建物枠内に、その座標位置を表す２次元バーコードなどを描いておく方法をとってもよい。また、地図中の道路によって構成される網目パターンを識別情報として用いることもできる。

また、別の例として、
前記識別情報は、前記単位領域内の複数の特徴点の配置を表す特徴点パターンであるものとしてもよい。
特徴点とは、２次元地図の画像を特徴づける点である。例えば、道路の曲がり角や建物枠の角など、２次元地図内に描かれている種々の屈曲点を特徴点としてもよい。また、特徴点を求めるためのＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）など種々の周知の技術を適用してもよい。
かかる態様によれば、２次元地図自体に２次元バーコードなど特別な情報を付加するまでなく、識別情報を得ることができるため、より簡便に本発明を適用できる利点がある。

さらに、
前記識別情報は、前記撮影された地図画像データが前記単位領域内の一部の領域である場合でも該領域を特定可能な密度で分布しており、
前記地図表示部は、前記識別情報に基づいて、前記撮影された一部の領域における前記３次元モデルを用いて前記表示を行うものとしてもよい。
例えば、先に説明した特徴点が２次元地図画像内に多数分布しているような場合などには、単位領域内の特徴点の配置パターンを識別情報として記憶しておけば、撮影した画像から得られた特徴点のパターンと比較することによって、当該パターンが、単位領域内のどの部分かを特定でき、その座標も特定することが可能となる。特徴点の場合に限らず、識別情報が十分な密度で分布している場合には、同様に、その一部を用いて撮影した画像の座標を特定することが可能である。
座標が特定されれば、それに対応する３次元モデルを用いることにより、２次元地図画像と３次元モデルとを重畳して表示することが可能である。

本発明の３次元地図表示システムにおいては、
前記地図表示部は、前記識別情報が分布する間隔に基づいて前記地図の表示スケールを特定するようにしてもよい。
先に説明した特徴点が分布している場合には、そのパターンによって撮影されている領域の座標を特定することができるとともに、その間隔によって表示スケールを特定することもできる。
こうすることによって、２次元画像の撮影範囲を変化させても、表示スケールをそれに合わせて変化させることができる。
さらに、識別情報の分布に基づいて、前記２次元画像を撮影している際の２次元地図とカメラとがなす角度を特定し、これに応じて３次元モデルを投影するようにしてもよい。

本発明の３次元地図表示システムにおいては、
さらに、前記３次元地図内に表示された前記３次元モデルに対するユーザの操作を入力するコマンド入力部を備え、
前記地図表示部は、前記操作に応じて、前記３次元モデルの表示態様を変化させるものとしてもよい。
コマンド入力部としては、例えば、３次元地図の表示部をタッチパネルとする構成が考えられる。その他、キーボードやマウス等を用いてもよい。
３次元モデルの表示態様の変化としては、例えば、操作に応じて３次元モデルの表示／非表示の切り替え、透明度の変化、回転、移動、拡大・縮小などとすることができる。そして、操作に応じて、３次元モデル全体の表示態様を変化させてもよいし、個別に変化可能としてもよい。
こうすることにより、ユーザの意図に応じた３次元地図表示を実現することができ、利便性を向上させることができる。

本発明において、以上で説明した種々の特徴は必ずしも全てを備えている必要はなく、適宜、一部を省略したり、組み合わせたりして構成することもできる。
また、本発明は、上述の３次元地図表示システムに限らず、種々の態様で構成可能である。例えば、コンピュータによって３次元地図を表示する３次元地図表示方法として構成してもよいし、かかる表示をコンピュータに実行させるためのコンピュータプログラムとして構成してもよい。また、かかるコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体として構成してもよい。

ＡＲ地図の表示例（１）を示す説明図である。 ＡＲ地図の表示例（２）を示す説明図である。 ＡＲ地図の表示例（３）を示す説明図である。 ＡＲ地図の表示例（４）を示す説明図である。 ＡＲ地図表示システムの構成を示す説明図である。 特徴点の例を示す説明図（１）である。 特徴点の例を示す説明図（２）である。 特徴点パターンＤＢの構造を示す説明図である。 特徴点パターンＤＢ生成処理のフローチャートである。 ＡＲ地図表示処理のフローチャートである。 地図領域等特定処理の内容を示す説明図である。 ＡＲ地図操作処理のフローチャートである。

Ａ．ＡＲ地図表示例：
紙に印刷された地図に向けて、スマートフォンをかざすと、地図に３次元モデルが重畳して表示される３次元地図表示システムを例にとって、以下、本発明の実施例を説明する。以下、本実施例では、仮想現実を用いた地図という意味で、このように表示される地図を、「ＡＲ地図」と称することもある。
本実施例では、ＡＲ地図を表示するための端末として、スマートフォンを利用する例を示すが、端末は、その他、タブレット、携帯電話、ディジタルカメラなどの携帯端末、コンピュータ、ナビゲーション装置など、表示部を有する種々の装置を利用することができる。

最初にＡＲ地図の表示例から説明する。
図１および図２は、ＡＲ地図の表示例を示す説明図である。図１には、紙に印刷された２次元地図に向けてスマートフォンＳＰをかざした状態を示した。スマートフォンの背面にはカメラが備えられており、画面には、カメラによって撮影された地図の実写画像が表示されている。
図２には、スマートフォンＳＰをかざして、しばらくした後の状態を示した。図示する通り、建物の３次元モデルＢＬＤ他が地図画像に重畳して表示される。建物の３次元モデルＢＬＤ他を除く道路等は、地図の実写画像がそのまま表示されている。ユーザは、図２の画面を見ると、あたかも２次元地図から、それぞれの建物が３次元的に立ち上がったかのように認識することができる。本実施例で説明するＡＲ地図とは、このような地図を言う。

図３および図４は、ＡＲ地図の表示例を示す説明図である。図３には、２次元地図にスマートフォンＳＰをかざした状態を示した。スマートフォンＳＰの画面には、２次元地図の実写画像と、３次元モデルとが重畳して表示されている。
この状態で、矢印Ｍのように、ユーザがスマートフォンＳＰをかざす位置をずらしたとする。位置をずらせば、スマートフォンＳＰに表示される２次元地図の実写画像も変化する。また、図４に示すように、これに伴って、実写画像に重畳される３次元モデルも変化する。
つまり、本実施例のＡＲ地図は、２次元地図の建物枠に合わせて３次元モデルが設定されている仮想空間を、投影してスマートフォンに映し出しているかのように表示された３次元地図である。

Ｂ．システム構成：
図５は、ＡＲ地図表示システムの構成を示す説明図である。ＡＲ地図表示システムは、サーバ１００とスマートフォンを利用した端末２００をインターネットその他のネットワークＮＥで接続することによって構成されている。端末２００のみで稼働するシステムとして構成してもよいし、更に多くのサーバ等をネットワークで接続した構成としてもよい。
サーバ１００、端末２００は、それぞれＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるコンピュータで構成されている。サーバ１００および端末２００には、それぞれ図示する機能ブロックが設けられている。本実施例では、これらの機能ブロックは、サーバ１００および端末２００に、各機能ブロックの機能を実現するためのコンピュータプログラムをインストールすることによってソフトウェア的に構成したが、その一部または全部をハードウェア的に構成しても構わない。また、実施例において端末２００に備えられている機能の一部をサーバ２００に移動させてもよいし、その逆を行ってもよい。

サーバ１００および端末２００の役割は、次の通りである。端末２００は、ユーザが使うデバイスである。ユーザは、端末２００のカメラ２０１で、ＡＲ地図を表示させる対象となる２次元地図ＭＡＰを撮影する。この画像データは、ネットワークＮＥを通じてサーバ１００に送信される。
サーバ１００は、端末２００からの画像データを受信し、これを解析して、予め用意された特徴点パターンを参照することで、ユーザが撮影した２次元地図ＭＡＰが、どの地域かを特定する。そして、対応する３次元モデルを抽出し、端末２００に送信する。
端末２００では、サーバ１００からの３次元モデルを受信し、ディスプレイ２０２に２次元地図と重畳して表示する。こうすることによって、図１〜４で示したＡＲ地図を表示させることができる。

サーバ１００の機能ブロックについて説明する。
画像データ入力部１０１は、予め撮影された２次元地図の画像データＩＭＧを入力する。本実施例では、ユーザがＡＲ地図を表示する際に端末２００をかざす２次元地図ＭＡＰを、予め撮影した画像データＩＭＧを用いている。
特徴点パターン生成部１０２は、画像データＩＭＧに基づいて特徴点を生成する。本実施例では、ＳＩＦＴと呼ばれるアルゴリズムを用いた。特徴点の例は後で示す。
生成された特徴点は、２次元的な配置とともに特徴点パターンとして、特徴点パターンＤＢ（データベース）１１０に格納される。特徴点パターンＤＢ１１０は、２次元地図ＭＡＰの特徴点パターンと、３次元モデルを生成している空間の座標系とを対応づけるデータを格納している。具体例については後で示す。
コマンド入力部１０３は、特徴点パターンＤＢへの格納に際してのコマンドなど、オペレータによる種々のコマンドを入力する。
３次元モデルＤＢ（データベース）１１１は、ＡＲ地図に表示される３次元モデルを格納している。３次元モデルとは、建物その他の地物の３次元形状を表したポリゴンモデルである。地図に用いられる３次元モデルであるため、それぞれの地物には、実空間上での座標が、緯度経度または所定の代表点を基準とする３次元座標などの形式で対応づけられている。３次元モデルには、形状に関するデータの他、建物の種別を表す情報など種々の属性情報を格納してもよい。
送受信部１０４は、端末２００との間で、ネットワークＮＥを介してデータおよびコマンドの送受信を行う。本実施例で送受信されるデータ等としては、例えば、端末２００で撮影した画像の画像データ、サーバ１００から端末２００に対する３次元モデル等などが挙げられる。
特徴点パターン検索部１０５は、端末２００から受信した画像データを解析して特徴点パターンを特定する。特定された特徴点パターンに基づいて特徴点パターンＤＢ１１０を検索することによって、画像データの実空間における座標を特定する。
３次元モデル抽出部１０６は、特徴点パターン検索部１０５で特定された座表に基づいて、端末２００で撮影された２次元地図に対応する領域内の３次元モデルを抽出する。この３次元モデルは、送受信部１０４を介して端末２００に送信される。

端末２００の機能ブロックについて説明する。
主制御部２１０は、全体の各機能ブロックを統合し、ＡＲ地図の表示を実現する。
送受信部２１１は、サーバ１００との間でデータ、コマンド等を送受信する。
カメラ制御部２１２は、端末２００に備えられたカメラ２０１による撮影を制御する。
コマンド入力部２１３は、端末２００に対するユーザの操作を介してコマンドを入力する。本実施例では、ディスプレイ２０２は、タッチパネルとなっており、ユーザは、ディスプレイ２０２の画面上でタップ、スワイプ等の操作をすることによって、種々のコマンドを入力可能とした。
３次元モデル記憶部２１４は、サーバ１００から送信される３次元モデルを一時的に格納する。ＡＲ地図を表示するために、３次元モデル記憶部２１４に格納されている３次元モデルでは不足する場合には、端末２００は、必要な３次元モデルをサーバ１００からダウンロードする。こうすることにより、サーバ１００との通信量を抑制でき、ＡＲ地図を速やかに表示することが可能となる。
表示制御部２１５は、ディスプレイ２０２へのＡＲ地図の表示を行う。本実施例では、カメラ２０１で撮影した地図画像に基づいて、サーバ１００によって、ＡＲ地図の表示に必要な３次元モデルが抽出され、送信されるため、表示制御部２１５は、この３次元モデルの位置および表示スケール等を制御し、レンダリングして地図画像に重畳して表示するのである。本実施例の構成に代えて、サーバ１００側に表示制御部２１５に相当する機能を設け、サーバ１００側で地図画像と、３次元モデルとを重畳した画像を生成して、端末２００に送信するものとしてもよい。

図６，７は、特徴点の例を示す説明図である。図６には、２次元地図を撮影した地図画像の例を示した。実際には、更に細かな建物枠等が描かれているが、図示の便宜上、省略してある。図７には、地図画像から得られる特徴点を例示した。図中に●で示した部分が特徴点となる。この特徴点は、図６の画像データに対して、ＳＩＦＴ解析を施すことによって得られる。ＳＩＦＴは、周知の技術であるため詳細は省略するが、画像データを平滑化する際の変化に基づいて特徴点を決定するアルゴリズムである。
図７に示す通り、特徴点は、画像データ内で全般にわたって広く分布している。この画像内に２次元の座標軸を定義することによって、各特徴点の位置座標を表すことができる。本実施例では、こうして表される特徴点の一連の座標からなる特徴点パターンを、地図画像に固有の識別情報として用いる。
特徴点は、必ずしもＳＩＦＴによる必要はない。その他の解析手法によって得られる特徴点を利用してもよい。また、道路や建物枠の角などを特徴点として用いることもできる。また、地図画像自体から特徴点を得る方法に代えて、ＡＲ地図用の識別情報用に、固有の図形等を地図画像内に予め描く方法をとってもよい。

図８は、特徴点パターンＤＢの構造を示す説明図である。特徴点パターンＤＢは、２次元地図の地図画像から得られる特徴点パターンと、３次元モデルを表す座標系とを対応づけるデータベースである。
図中には、日本の例をとって３次元モデルＤＢと特徴点パターンの関係を示した。３次元モデルＤＢには、日本国内全体にわたって、地物の３次元モデルが格納されている。３次元モデルは、日本国内を所定サイズに分割したメッシュ単位で管理されている。また、その位置は、緯度経度または所定位置を基準とした３次元直交座標など、実空間に基づいた座標系で特定されている。
図の下側には、特徴点パターンの例を示した。２次元地図も、日本国内を所定サイズの単位領域で作成されている。この単位領域は、例えば、折り畳み地図の一枚一枚、または地図帳の各ページなどに対応する。単位領域は、３次元モデルを格納するためのメッシュと一致している必要は無い。２次元地図は、電子地図であってもよい。本実施例では、電子地図の場合には、ＳＩＦＴによる特徴点が個別にできる程度の解像度での表示スケールにおける表示範囲を単位領域と捉える。
本実施例では、それぞれの単位領域の地図に対して特徴点パターンを得る。例えば、図示するように、単位領域ＭＡ、ＭＢに対してはそれぞれ特徴点パターンＡ、Ｂが得られる。これらの特徴点パターンＡ、Ｂは、それぞれの地図画像上に設定された２次元の座標軸で特徴点の位置を表したデータである。図中の例では、特徴点パターンＡ、Ｂは、それぞれ地図画像の中央点を原点とするｘ、ｙ軸により、各特徴点の位置座標が表される。この座標系は、あくまでも単位領域ＭＡ、ＭＢ内の位置を表す相対座標系であり、日本国内での位置を表すものではない。
しかし、特徴点パターンを生成する際には、それに用いる地図画像は、どの地域のものであるかがわかっているため、単位領域の代表点、例えば中央点の位置座標は既知である。従って、各特徴点パターンＡ、Ｂの中央点Ａ、Ｂに対して、実空間での位置座標（ＬＡＴＡ，ＬＯＮＢ）（ＬＡＴＢ，ＬＯＮＢ）をそれぞれ与えることによって、特徴点パターンＡ、Ｂを３次元モデルの座標空間と対応づけることができる。図中の単位領域ＭＡ、ＭＢ以外についても同様である。
このように各単位領域の特徴点パターンと、その中央点の位置座標とを対応づけたデータベースが、特徴点パターンＤＢである。ＡＲ地図を表示する際には、特徴点パターンに基づいて、特徴点パターンＤＢを参照することによって、その中央点の位置座標を得ることができ、この位置座標に基づいて３次元モデルＤＢを参照することによって、２次元地図に対応した領域の３次元モデルを抽出することが可能となる。

Ｃ．特徴点パターンＤＢ生成処理：
図９は、特徴点パターンＤＢ生成処理のフローチャートである。サーバ１００の特徴点パターン生成部１０２が主として実行する処理であり、ハードウェア的には、サーバ１００のＣＰＵが実行する処理である。
処理を開始すると、サーバ１００は、地図画像データを入力する（ステップＳ１０）。地図画像データは、ＡＲ地図の表示対象となる２次元地図を撮影した画像データである。特徴点を精度良く取得するため、２次元地図にカメラが正対した状態、即ちカメラの光軸が２次元地図の平面に垂直になる状態で撮影することが好ましい。
サーバ１００は、地図画像データに対して特徴点パターンの解析を行う（ステップＳ１１）。本実施例では、ＳＩＦＴによる解析を適用した。この解析によって、図中に示す通り、２次元の位置座標（ｘ，ｙ）で表される特徴点パターンが得られる。
次に、サーバ１００は、オペレータの操作に基づき、地図画像の領域情報を入力する（ステップＳ１２）。本実施例では、地図画像の中央点の緯度、経度および地図画像の縦方向距離、横方向距離をそれぞれ入力するものとした。これらの情報を入力することにより、地図画像の実空間での位置および範囲を特定することができる。縦方向距離、横方向距離に代えて、図中に示すように対角にある頂点１、頂点２の座標値を入力するようにしてもよい。
サーバ１００は、特徴点パターンと、上述の領域情報とを対応づけて格納する（ステップＳ１３）。図中に格納フォーマット例を示した。「地図ＩＤ」は、地図画像に固有の識別情報である。「特徴点パターン」は、各特徴点の位置座標列である。「領域情報」は、ステップＳ１２で得られた情報である。この他に、地図の名称、縮尺などの情報を併せて格納しても良い。
以上の処理を、２次元地図のそれぞれの単位領域に対して行うことにより、特徴点パターンＤＢを生成することができる。生成された特徴点パターンＤＢは、サーバ１００に格納され、ＡＲ地図の表示に活用される。

Ｄ．ＡＲ地図表示処理：
図１０は、ＡＲ地図表示処理のフローチャートである。端末２００の表示制御部２１５、およびサーバ１００の特徴点検索部１０５などが連係して実行する処理であり、ハードウェア的には、端末２００およびサーバ１００の各ＣＰＵが実行する処理である。フローチャートは、一連の処理として示したが、破線で囲んだステップＳ５１〜Ｓ５３の処理は、サーバ１００によって行われる処理となる。

処理を開始すると、まず、端末２００は、ユーザの操作に従い、２次元地図画像を撮影する（ステップＳ５０）。撮影された地図画像データは、端末２００からサーバ１００に送信される。

サーバ１００は、地図画像データを受信すると、特徴点パターンを解析する（ステップＳ５１）。この解析処理は、特徴点パターンを生成するときと同じ処理である。本実施例では、ＳＩＦＴによる解析を行うものとした。解析によって得られる結果は、図４で例示したように、地図画像データ内の相対的な２次元座標系で表される多数の特徴点群となる。
サーバ１００は、得られた特徴点パターンに基づいて、特徴点パターンＤＢ１１０を参照し、地図画像として撮影されている地図領域、表示スケール、投影条件などを特定する（ステップＳ５２）。これらの特定方法については後述する。
そして、３次元モデルＤＢ１１１を参照して、特定された地図領域内の３次元モデルを読み込む（ステップＳ５３）。読み込んだ３次元モデルは、端末２００に送信される。ただし、端末２００には、既に３次元モデル記憶部２１４に格納済みの３次元モデルも存在するため、格納されていない３次元モデルのみを送信すれば足りる。

端末２００は、地図領域、表示スケールに従って、３次元モデルを仮想空間上に配置し、これらの３次元モデルを投影条件に基づいてレンダリングする（ステップＳ５４）。一般にレンダリングは、高い計算負荷がかかる処理であるが、本実施例では、地図全体をレンダリングするのではなく、ＡＲ地図として表示する特定の地物についてのみレンダリングすれば足りるため、レンダリングに要する計算負荷を抑制することが可能である。
端末２００は、こうして得られた３次元モデルのレンダリング結果、即ち投影画像と、２次元地図の実写画像である地図画像とを重畳して表示する（ステップＳ５５）。こうすることにより、端末２００は、ＡＲ地図をディスプレイ２０２上に表示することができる。

図１１は、地図領域等特定処理の内容を示す説明図である。ＡＲ地図表示処理（図１０）のステップＳ５２における処理内容、即ち、地図画像データから得られる特徴点に基づいて、特徴点パターンを参照し、地図領域、表示スケール、投影条件を特定するための処理内容を示している。
図１１の上側には、撮影された地図画像を示した。地図画像を解析することによって、画像内の特徴点が得られる図１１の上側に示した●は、地図画像を解析して得られた特徴点を表している。説明の便宜上、地図画像から得られる特徴点パターンを、解析パターンと称するものとする。
図１１の下側には、特徴点パターンに記憶されている特徴点を表した。図１１の下側中の●が、特徴点パターンに記憶されている特徴点の位置である。先に説明した通り、特徴点パターンには、２次元地図ごとに、中央点を原点とする２次元のｘ、ｙ座標によって多数の特徴点の位置が記憶されている。
ユーザは、２次元地図の全体を撮影するとは限らない。しかし、本実施例では、特徴点は２次元地図全体にわたって十分な密度で分布しているため、矢印Ａに示すように、特徴点パターン内で部分的に地図画像から得られた解析パターンに一致する箇所を検索することができる。ただし、ユーザが２次元地図を撮影する際の条件は、特徴点パターンを生成する際の撮影条件と同じとは限らないため、特徴点の位置は若干、ずれることがある。例えば、特徴点パターンを生成する際には２次元地図に正対して撮影しているのに対し、ユーザがＡＲ地図を表示する際にはやや俯瞰して撮影すれば、これによって地図画像に歪みが生じ、特徴点の位置もずれてくる。従って、特徴点パターンから解析パターンに相当する部分を検索する際には、特徴点に一定のずれを許容しておくことが望ましい。
こうして解析パターンに対応する領域が検索されると、その領域が、ＡＲ地図に表示すべき地図領域ＣＡとなる。図中に示した通り、地図領域ＣＡは、特徴点パターン内で、例えば、対角線上の頂点１、２の位置座標などで特定することができる。

こうして地図領域ＣＡが特定されると、特徴点パターンに基づいて、本来の特徴点の位置を得ることができる。図１１の上側の破線の〇が本来の特徴点の位置である。この位置は、地図画像から得られる特徴点位置とはずれている。このずれの要因は、主として２つである。即ち、特徴点パターン生成時と、ＡＲ地図表示の際とで、２次元地図を撮影する画角、および２次元地図とカメラの光軸との角度（便宜上、ピッチ角と呼ぶ）が異なることである。画角の相違は、画像の倍率に影響するから、特徴点の相互の間隔の変化として表れる。ピッチ角の相違は、画像の投影時の台形歪み成分として表れる。従って、特徴点パターンと解析パターンとの特徴点のずれに基づいて、間隔の変化、および台形歪み成分を求めれば、これに基づいて、ＡＲ地図表示の表示スケール、および透視投影する際の投影条件、即ちピッチ角を定めることができる。
３次元モデルは一定のピッチ角で投影したものを表示する場合には、ピッチ角の算出を省略し、表示スケールの算出のみを行うようにしてもよい。

図１０、１１で説明したＡＲ地図表示処理は、種々の変形例を構成可能である。
（１） 例えば、サーバ１００で、３次元モデルのレンダリング（ステップＳ５４）を行って、得られた画像データを端末２００に送信し、端末２００では、これを受け取って単に表示するようにしてもよい。
（２） 別の例として、図１０に示した処理を全て端末２００側で実行するようにしてもよい。
（３） ３次元モデルについて、投影条件（ピッチ角）を一定とする場合には、地図表示の際のレンダリングを省略してもよい。即ち、各３次元モデルに対して、多方向からそれぞれ投影することによって、これらの３次元モデルを表した投影画像を用意しておき、地図画像上に、これらの投影画像を重畳して表示するようにしてもよい。この場合、建物等の位置を地図画像に合わせるため、表示スケールに応じて、投影画像を拡大・縮小して表示させることが好ましい。

Ｅ．ＡＲ地図操作処理：
図１２は、ＡＲ地図操作処理のフローチャートである。この処理は、ＡＲ地図が表示された後、ディスプレイ２０２に対するユーザの操作に応じて、３次元モデルの表示態様を変化させる処理である。主として端末２００の表示制御部２１５が実行する処理であり、ハードウェア的には端末２００のＣＰＵが実行する処理である。

まず、端末２００はサーバ１００と連係して、図１０、１１で説明したＡＲ地図表示処理を実行する（ステップＳ７０）。
ＡＲ地図が表示された状態で、ユーザがディスプレイ２０２の画面に対して操作を行うと、端末２００は、画面上でユーザによってタッチされた箇所の座標を取得する（ステップＳ７１）。ここでの座標は、画面上の２次元座標を意味する。

そして、端末２００は、ユーザの操作に応じて３次元モデルを変形・移動・非表示化させる処理を実行する（ステップＳ７２）。
この処理は、次の手順で行われる。端末２００は、まずステップＳ７１で得られた座標に基づいて、ユーザが指定した３次元モデルを特定する。この特定は、次に示す方法など、種々の方法で行うことができる。
第１の方法は、画面上の座標を、ＡＲ地図における３次元モデルの投影条件に従って、３次元モデルが配置されている仮想空間上の３次元座標に変換することで、ユーザに指定された３次元モデルを特定する方法である。画面上の座標は、仮想空間上の直線上に変換されることになるため、この直線と交わる３次元モデルが、ユーザによって指定されていると判断するのである。
第２の方法は、各３次元モデルが、端末２００で表示されている座標を求め、これとステップＳ７１で得られた座標とを比較することによって、ユーザに指定された３次元モデルを特定する方法である。
第３の方法は、ステップＳ７１で得られた座標の周囲の特徴点を特定し、これらの特徴点の位置に基づいて特徴点パターンを参照することによって、ユーザが指定した位置座標を求め、その位置座標に存在する３次元モデルを特定する方法である。
３次元モデルが特定されると、端末２００は、画面に対するユーザの操作に応じて、その３次元モデルの表示態様を変化させる。
図中に例示するように、例えば、点ＰＡのタップに応じて、その地点に存在する３次元モデルの表示／非表示を切り換えても良い。
矢印ＯＰ１に示すように、画面上で３次元モデルＢ１を回転させるような操作をした場合には、これに応じて３次元モデルＢ１の向きを仮想空間内で変化させてもよい。
矢印ＯＰ２に示すように、画面上で３次元モデルＢ２を移動させるような操作をした場合には、これに応じて３次元モデルＢ２の位置を仮想空間内で移動させてもよい。
この他、操作に応じて、３次元モデルの拡大・縮小を行うなど、種々の操作を設定することが可能である。

端末２００は、上述の通り、ユーザの操作に応じて３次元モデルを仮想空間内で移動等した後、投影条件に基づいてレンダリングし（ステップＳ７３）、レンダリング結果と地図画像とを重畳表示する（ステップＳ７４）。これらの処理は、ＡＲ地図表示処理（図１０）で説明した通りである。
こうすることによって、画面上で３次元モデルをユーザの意図に応じて操作することができ、ＡＲ地図の利便性を向上させることができる。

以上で説明したＡＲ地図表示システム、即ち３次元地図表示システムによれば、２次元地図に３次元モデルを重畳して表示することができる。従って、ユーザは、２次元地図の良さと、３次元地図の良さとをともに享受することができる。
本実施例では、２次元地図の画像に固有の特徴点パターンを用いて、２次元地図と３次元地図の座標とを整合させるため、両者の座標系を予め統一しておく必要がないという利点もある。また、特徴点パターンさえ用意すれば、共通の３次元モデルを、複数種類の２次元地図で併用できる利点もある。

以上、本発明の実施例について説明した。３次元地図表示システムは、必ずしも上述した実施例の全ての機能を備えている必要はなく、一部のみを実現するようにしてもよい。また、上述した内容に追加の機能を設けてもよい。
本発明は上述の実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
（１） 実施例では、２次元地図から得られる特徴点パターンを識別情報として利用しているが、２次元地図に、ＡＲ地図表示用の識別情報を付加するようにしてもよい。
（２） ＡＲ地図において表示する３次元モデルを、ユーザの指定によって選択可能としてもよい。例えば、属性に基づいて、ランドマークのみを表示するようにしたり、特定の高さ以上の建物のみを表示させたりする方法が考えられる。

本発明は、仮想現実を用いた３次元地図表示システム、即ち撮影した２次元地図上に地物の３次元モデルを重畳して表示するために利用することができる。

１００…サーバ
１０１…画像データ入力部
１０２…特徴点パターン生成部
１０３…コマンド入力部
１０４…送受信部
１０５…特徴点パターン検索部
１０６…３次元モデル抽出部
１１０…特徴点パターンＤＢ
１１１…３次元モデルＤＢ
２００…端末
２０１…カメラ
２０２…ディスプレイ
２１０…主制御部
２１１…送受信部
２１２…カメラ制御部
２１３…コマンド入力部
２１４…３次元モデル記憶部
２１５…表示制御部

Claims (8)

1. 撮影された２次元地図の実写画像上に重畳して地物を３次元的に表示させる３次元地図表示システムであって、
   前記地物の３次元形状を表した３次元モデルを格納する３次元モデルデータベースと、
   前記２次元地図の複数の単位領域に対して、該単位領域ごとに設定された固有の識別情報と、前記３次元モデルデータベースの座標系とを対応づける識別情報データベースと、
   前記２次元地図のうち表示対象となる単位領域を撮影する撮像部と、
   前記撮影された前記２次元地図の地図画像データを解析して前記識別情報を取得する識別情報解析部と、
   前記３次元モデルデータベースから、前記識別情報に応じた単位領域における前記３次元モデルを取得し、前記地図画像データに重畳した３次元地図を表示する地図表示部とを備え、
   さらに、前記３次元地図内に表示された前記３次元モデルに対するユーザの操作を入力するコマンド入力部を備え、
   前記地図表示部は、前記３次元地図の画面上でユーザが指定した箇所の座標に基づいてユーザが指定した前記３次元モデルを特定し、前記操作に応じて、特定された前記３次元モデルの表示態様を変化させる３次元地図表示システム。
2. 請求項１記載の３次元地図表示システムであって、
   前記地図表示部は、前記３次元地図を表示するための投影条件に従って、前記前記画面上の座標と前記３次元モデルデータベースの座標系の一方を他方に変換することによって前記３次元モデルの特定を行う３次元地図表示システム。
3. 請求項１または２記載の３次元地図表示システムであって、
   前記識別情報は、前記単位領域内全体にわたって分布している３次元地図表示システム。
4. 請求項３記載の３次元地図表示システムであって、
   前記識別情報は、前記単位領域内の複数の特徴点の配置を表す特徴点パターンである３次元地図表示システム。
5. 請求項３または４記載の３次元地図表示システムであって、
   前記識別情報は、前記撮影された地図画像データが前記単位領域内の一部の領域である場合でも該領域を特定可能な密度で分布しており、
   前記地図表示部は、前記識別情報に基づいて、前記撮影された一部の領域における前記３次元モデルを用いて前記表示を行う３次元地図表示システム。
6. 請求項３〜５いずれか記載の３次元地図表示システムであって、
   前記地図表示部は、前記識別情報が分布する間隔に基づいて前記地図の表示スケールを特定する３次元地図表示システム。
7. 撮影された２次元地図の実写画像上に重畳して地物を３次元的に表示させる３次元地図表示方法であって、
   前記コンピュータが実行するステップとして、
   前記地物の３次元形状を表した３次元モデルを格納する３次元モデルデータベースを参照するステップと、
   前記２次元地図の複数の単位領域に対して、該単位領域ごとに設定された固有の識別情報と、前記３次元モデルデータベースの座標系とを対応づける識別情報データベースを参照するステップと、
   前記２次元地図のうち表示対象となる単位領域を撮影した地図画像データを解析して前記識別情報を取得するステップと、
   前記３次元モデルデータベースから、前記識別情報に応じた単位領域における前記３次元モデルを取得し、前記地図画像データに重畳した３次元地図を表示する地図表示ステップと、
   さらに、前記３次元地図内に表示された前記３次元モデルに対するユーザの操作を入力するステップを備え、
   前記地図表示ステップは、前記３次元地図の画面上でユーザが指定した箇所の座標に基づいてユーザが指定した前記３次元モデルを特定し、前記操作に応じて、特定された前記３次元モデルの表示態様を変化させるステップである３次元地図表示方法。
8. 撮影された２次元地図の実写画像上に重畳して地物を３次元的に表示させるためのコンピュータプログラムであって、
   前記地物の３次元形状を表した３次元モデルを格納する３次元モデルデータベースを参照する機能と、
   前記２次元地図の複数の単位領域に対して、該単位領域ごとに設定された固有の識別情報と、前記３次元モデルデータベースの座標系とを対応づける識別情報データベースを参照する機能と、
   前記２次元地図のうち表示対象となる単位領域を撮影した地図画像データを解析して前記識別情報を取得する機能と、
   前記３次元モデルデータベースから、前記識別情報に応じた単位領域における前記３次元モデルを取得し、前記地図画像データに重畳した３次元地図を表示する地図表示機能と、
   さらに、前記３次元地図内に表示された前記３次元モデルに対するユーザの操作を入力するコマンド入力機能とをコンピュータによって実現し、
   前記地図表示機能は、前記３次元地図の画面上でユーザが指定した箇所の座標に基づいてユーザが指定した前記３次元モデルを特定し、前記操作に応じて、特定された前記３次元モデルの表示態様を変化させる機能であるコンピュータプログラム。