JP2020123082A - 時空間情報ａｒシステム、時空間情報ａｒ提示方法およびプログラム - Google Patents

Abstract

【課題】観光スポットのガイドが、ＡＲ技術を使って適切に行えるようにする。【解決手段】地図又はルート案内用画像を使って、観光スポットを案内する拡張現実画面をユーザ端末に表示させる時空間情報ＡＲ提示を行うものである。ここで、予め、観光スポットについての特定時期の観光スポット案内画像を蓄積する。そして、ユーザ端末が拡張現実画面を表示する際に、地図又はルート案内用画像に基づいて、ユーザ端末の現在位置からの拡張現実画面を表示する。この拡張現実画面の表示をユーザ端末が行う際に、蓄積された特定時期の観光スポット案内画像を取得して、拡張現実画面に重畳表示するようにした。【選択図】図５

Description

本発明は、街歩きなどの観光支援に適用して好適な、時空間情報ＡＲシステム、時空間情報ＡＲ提示方法およびプログラムに関する。

近年、高度情報化の進展により、観光に関しても様々な情報がインターネットにより発信されている。特に都市地域では、観光スポットが狭い地域に点在している場合が多く、これらを巡る街歩きコースが観光客向けに提供されている。
また、スマートフォンやタブレット端末などの端末装置を使って、デジタル地図上に、街歩きコースや観光スポットを表示することが提案されている。

特許文献１には、端末装置などで撮影した目的地までの実画像中に、経路の途中に存在する公園や避難所などを示す仮想的画像を付加する、拡張実現（Augmented Reality：以下「ＡＲ」と称する）技術が記載されている。
また、特許文献２には、ＡＲ技術で実画像中に公園などの施設の案内を表示する際に、現在位置からの距離に応じて、案内する施設を制限する技術が記載されている。

国際公開第２０１５／１８２２９０号公報 ＵＳ９４８８４８８ Ｂ２

ところで、従来提案されているＡＲ技術でデジタル地図上などに観光スポットを表示する技術は、公園などの観光スポットを示す文字やアイコンなどを表示するものである。ところが、文字やアイコンによる案内表示だけでは、案内される観光スポットがどのようなスポットか詳細を伝えることは困難であり、ユーザに観光スポットを案内する上で、必ずしも適切な表示が行われているとは言えなかった。

また、地図表示を行う際に、地図中の各地点に、ユーザが投稿した画像をサムネイル画像のように小さく表示することも従来から行われている。しかしながら、ユーザが投稿した画像は、その観光スポットをガイドする観光施設や観光協会などの運営側から見て、必ずしもその観光スポットを案内するのに、最適な画像とは言えない場合が多々ある。

本発明は、観光スポットのガイドが、ＡＲ技術を使って適切に行える時空間情報ＡＲシステム、時空間情報ＡＲ提示方法およびプログラムを提供することを目的とする。

また本発明の時空間情報ＡＲシステムは、地図又はルート案内用画像を使った拡張現実画面の表示を行うユーザ端末と、そのユーザ端末と通信を行って、ユーザ端末に地図又はルート案内画像に関連した観光スポットの表示を実行させるサーバとを備えるものである。
ここで、サーバは、地図又はルート案内画像と同時に表示する観光スポット案内画像を蓄積する地図内画像データベースと、ユーザ端末が表示中の地図又はルート案内画像に基づいて、地図内画像データベースが蓄積した画像の内の、観光スポットを案内するための特定時期の観光スポット案内画像を選択して、ユーザ端末に送信する処理部と、を備える。
ユーザ端末は、現在位置を検出する測位部と、サーバから送信された特定時期の観光スポット案内画像を受信する通信部と、地図又はルート案内画像に基づいて、測位部が検出した現在位置からの拡張現実画面を表示する表示部と、を備える。
そして、ユーザ端末の表示部は、地図又はルート案内画像に基づいた拡張現実画面の表示を行う際に、その拡張現実画面の中に、サーバから送信された、特定時期の観光スポット案内画像を拡張現実画面に重畳して表示するようにした。

また、本発明の時空間情報ＡＲ提示方法は、地図又はルート案内用画像を使って、観光スポットを案内する拡張現実画面をユーザ端末に表示させる時空間情報ＡＲ提示方法である。
そして、予め、観光スポットについての特定時期の観光スポット案内画像を蓄積し、ユーザ端末が拡張現実画面を表示する際に、地図又はルート案内用画像に基づいて、ユーザ端末の現在位置からの拡張現実画面を表示する。
この拡張現実画面の表示をユーザ端末が行う際に、蓄積された特定時期の観光スポット案内画像を取得して拡張現実画面に重畳表示するようにした。

また、本発明のプログラムは、地図又はルート案内用画像を使って、観光スポットを案内する拡張現実画面をユーザ端末に表示させる処理をコンピュータに実行させるプログラムである。
ここで、このプログラムは、地図又はルート案内用画像に基づいて、ユーザ端末の現在位置からの拡張現実画面を表示する拡張現実画面表示手順と、拡張現実画面表示手順で拡張現実画面を表示する際に、特定時期の観光スポット案内画像を取得して拡張現実画面に重畳表示する観光スポット案内画像表示手順と、を有する。

本発明によると、拡張現実画面を使って、ユーザ端末の周囲に存在する観光スポットを案内する際に、例えば、該当する観光スポットを案内するのに最も適した特定の景色が見られる時期の画像や、特定のイベントが開催される時期の画像を使って案内ができるようになる。したがって、その観光スポットをガイドする上で、最も宣伝効果が高い観光スポットの画像でガイドできるようになり、ユーザ端末を利用して街歩きなどを行うユーザへの観光スポットの宣伝効果を高めることができる。

本発明の一実施の形態例によるシステム全体の例を示す構成図である。 本発明の一実施の形態例によるユーザ端末の構成例を示すブロック図である。 本発明の一実施の形態例によるサーバでの画像保存処理の例を示すフローチャートである。 本発明の一実施の形態例によるマーカー対応画像の保存例を示す図である。 本発明の一実施の形態例によるユーザ端末での表示処理例を示すフローチャートである。 本発明の一実施の形態例によるユーザ端末でのメニュー選択例を示すフローチャートである。 本発明の一実施の形態例による表示例（メニュー選択画像の例）を示す図である。 本発明の一実施の形態例によるコース選択画面の例を示す図である。 本発明の一実施の形態例による観光スポットの表示範囲の設定画面の例を示す図である。 本発明の一実施の形態例によるピクトグラム選択画面の例を示す図である。 本発明の一実施の形態例によるアプリケーションの起動から、画像が表示されるまでの処理の流れを示すフローチャートである。 本発明の一実施の形態例による位置情報型ＡＲでの表示の更新処理の例を示す図である。 本発明の一実施の形態例による位置情報型ＡＲでの表示例（例１）を示す図である。 本発明の一実施の形態例による位置情報型ＡＲでの表示例（例２）を示す図である。 本発明の一実施の形態例による位置情報型ＡＲでの表示例（例３）を示す図である。 本発明の一実施の形態例による物体認識型ＡＲでの表示処理例を示す図である。 本発明の一実施の形態例による物体認識型ＡＲでの表示例を示す図である。 本発明の一実施の形態例による位置情報型ＡＲでの表示例（例４）を示す図である。

以下、本発明の一実施の形態例（以下、「本例」と称する）を説明する。
［１．システム構成例］
図１は、本例の時空間情報ＡＲシステム全体の構成を示す。本例の時空間情報ＡＲシステムは、ユーザ端末２，３，４を利用しているユーザに対して、ＡＲ（拡張現実）を使った時空間情報を提示して、観光コースや観光スポットなどの観光ガイドを行うものである。ここで、本例のシステムで提示するＡＲには、位置情報型ＡＲと物体認識型ＡＲの２種類がある。それぞれのＡＲの具体例については後述する。

図１に示す構成について説明すると、本例の時空間情報提示システムは、ネットワーク１に接続されたサーバ１０を備える。サーバ１０は、ネットワーク１を介してユーザ端末２，３，４からアクセスされる。ユーザ端末２，３，４は、ネットワーク１を介した通信が可能で、地図やテキスト画面などの表示を行う様々な形態の端末が適用可能である。図１に示す例では、パーソナルコンピュータ装置で構成されるユーザ端末２と、携帯情報端末（スマートフォン，タブレット端末など）で構成されるユーザ端末３と、ウェラブル端末で構成されるユーザ端末４を示す。

サーバ１０は、コンピュータ装置で構成され、中央制御ユニット（ＣＰＵ）１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性ストレージ１４、ネットワークインタフェース１５、入力装置１６、及び表示装置１７を備える。これらのサーバ１０の各構成要素は、バスライン１８でデータ転送可能に接続される。

システム全体の制御部として機能するＣＰＵ１１は、本例の時空間情報ＡＲシステムが備える各機能を実現するソフトウェアをＲＯＭ１２から読み出して実行する。ＲＡＭ１３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。したがって、ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３とで、ＡＲを利用した時空間情報をユーザに提示するための演算処理部として機能する。

不揮発性ストレージ１４としては、例えば、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）、不揮発性のメモリ等が用いられる。この不揮発性ストレージ１４には、ＯＳ（Operating System）、各種のパラメータの他に、コンピュータ装置（サーバ１０）を時空間情報ＡＲシステムとして機能させるためのプログラムが記録されている。
また、後述するように、不揮発性ストレージ１４には、地図データベース２０、地理・歴史データベース３０、及び地理内画像表示用データベース４０が格納されている。

ネットワークインタフェース１５には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ネットワーク１との通信が行われる。
また、入力装置１６や表示装置１７は、地図データベース２０、地理・歴史データベース３０、及び地理内画像表示用データベース４０を構成するデータの確認などに使用される。

以下、地図データベース２０、地理・歴史データベース３０、及び地理内画像表示用データベース４０について順に説明する。
地図データベース２０には、予め決められた範囲（観光ガイドを行う範囲）の地図データが記憶される。本例の場合には、現代の地図データが記憶されるが、過去の特定の時代の地図データを記憶してもよい。また、地図データを俯瞰図として表示する際には、現代又は過去の特定の時代の景観を再現する景観再現３Ｄデータ２１や、景観などの視覚化を行うためのデータ２２が含まれる。これらの地図データベース２０を使って、ユーザに観光ガイドを行う。

地理・歴史データベース３０には、地理をテキストや画像で案内する地理案内データや、歴史をテキストや画像で案内する歴史案内データが記憶される。また、地理及び歴史についても問題が用意された地理・歴史確認テストのデータ３１や、ユーザからのコメント投稿のデータ３２や、本例のシステムを利用するユーザの登録情報であるユーザ情報３３などが、地理・歴史データベース３０に記憶される。

地図内画像表示用データベース４０には、地図の内部などに配置される映像データ（動画像データ）４１や画像データ（静止画像データ）４２が記憶される。また、動画像や静止画像を３Ｄモデルとして表示するための３Ｄモデルデータ４３も記憶される。
映像データ４１や画像データ４２には、観光スポットなどを示す静止画像や動画像が含まれる。これらの映像データ４１や画像データ４２は、観光ガイドを実行する事業者が用意する場合と、ユーザから投稿された静止画像や動画像を利用する場合とがある。
なお、地図内画像表示用データベース４０が格納する３Ｄモデルデータ４３などの一部のデータは、物体認識型ＡＲで物体認識を行うための比較データとして利用される。

［２．ユーザ端末の構成例］
図２は、スマートフォンやタブレット端末で構成されるユーザ端末３の構成を示す。
ユーザ端末３は、中央制御ユニット（ＣＰＵ）５１、ＲＯＭ５２、ＲＡＭ５３、通信部５４、表示部５５、入力部５６、カメラ５７、測位部５８、および方位センサ５９を備える。これらのユーザ端末３の各構成要素は、バスライン６０でデータ転送可能に接続される。

ユーザ端末全体の制御部として機能するＣＰＵ５１は、本例の時空間情報ＡＲシステムを実行する上で必要な各機能を実現するソフトウェア（アプリケーションプログラム）をＲＯＭ５２から読み出して実行する処理部である。ＲＡＭ５３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。したがって、ＣＰＵ５１とＲＯＭ５２とＲＡＭ５３とで、ＡＲによる時空間情報を、表示部５５に提示するための演算処理部として機能する。

通信部５４は、ネットワーク１を介してサーバ１０等と通信を行い、サーバ１０にアクセスして必要な情報のやり取りを行う。
表示部５５は、例えば液晶ディスプレイや有機ＥＬディスプレイが適用され、ユーザに提示する様々な情報を表示する。ＡＲ技術を使って時空間情報を表示する際にも、この表示部５５が使用される。

入力部５６は、表示部５５に配置されたタッチパネルや、端末の筐体に配置された操作キーが使用され、ユーザの操作で各種選択が行われる。
カメラ５７は、端末の筐体に配置される。カメラ５７は、表示部５５が配置された面とは反対側に配置される。したがって、例えばユーザ端末３をユーザが手で持って、表示部５５に向き合って、表示された画像を見ている状態のとき、表示部５５の反対側に配置されたカメラ５７が、ユーザの前方を撮影する。

測位部５８は、例えばＧＰＳ（Global Positioning System）と称される測位システム用の衛星信号を受信して、ユーザ端末３の現在位置を検出する測位処理を行う。測位部５８がＧＰＳなどの衛星信号を利用するのは一例であり、例えば無線ＬＡＮの信号を受信して、衛星信号を受信できない状況で位置の測位を行うようにしてもよい。
方位センサ５９は、ユーザ端末３の方位（表示部５５やカメラ５７が向いている方位）を検出する。

このように構成したユーザ端末３では、測位部５８が測位した現在位置と、方位センサ５９が検出した端末の方位に基づいて、表示部５５がＡＲによる時空間情報の提示を行い、観光ガイドを行う。位置や方位を利用するのは、位置情報型ＡＲの場合であり、物体認識型ＡＲの場合には、カメラ５７が撮影した画像を利用して、提示する時空間情報が選択される。
ユーザ端末３の表示部５５が時空間情報を提示する際には、サーバ１０から地図データや画像データをユーザ端末３が取得する。但し、ユーザに提示するデータを全てサーバ１０が保存して、必要な情報をユーザ端末３に送信するのは一例であり、観光ガイドに必要な地図データや画像データの一部又は全部を、ユーザ端末２，３，４が予めサーバ１０などからダウンロードして保持してもよい。

［３．サーバでの画像保存処理例］
図３は、サーバ１０での画像保存処理の流れを示すフローチャートである。
先に説明したように、サーバ１０の地図内画像表示用データベース４０には、観光スポットなどを示す静止画像や動画像が保存される。図３のフローチャートは、この観光スポットなどを示す画像のサーバ１０を使用したシステムの管理者（作業実行者）による保存処理を示す。

サーバ１０は、ユーザに案内したい観光スポットのそれぞれを、地図中の対応位置にマーカーとして登録してある。ここでは、あるエリア内の観光スポットについての画像保存処理を行うものとする。
そして、サーバ１０では、エリア内の画像登録を行うマーカーを１つ選択する（ステップＳ１１）。ここで、選択したマーカーに既に画像の登録があるか否かを判断する（ステップＳ１２）。このステップＳ１２での判断で、既に画像の登録がある場合（ステップＳ１２のＹｅｓ）、ステップＳ１１の処理に戻り、別のマーカーの選択に移る。

また、ステップＳ１２での判断で、画像の登録がない場合（ステップＳ１２のＮｏ）、作業実行者は、そのマーカーに対応した観光スポットについて、ウェブ上での公式サイトなどに、適切な画像があるか否かを判断する（ステップＳ１３）。
また、ステップＳ１３の判断で、適切な画像がないと判断したとき（ステップＳ１３のＮｏ）、作業実行者は、該当するマーカーに対応した観光スポットについての適切なユーザ投稿画像があるか否かを判断する（ステップＳ１４）。ここでのユーザ投稿画像は、システムが備えるサーバ１０に直接投稿された画像から検索する他に、他の画像投稿システムから検索してもよい。

ステップＳ１３の判断で、適切な画像がある場合（ステップＳ１３のＹｅｓ）、及びステップＳ１４の判断で、適切なユーザ投稿画像がある場合（ステップＳ１４のＹｅｓ）、作業実行者は、該当する画像を、マーカーに対応した画像として、地図内画像表示用データベース４０に保存する（ステップＳ１５）。なお、保存時には、後述する種別の情報を画像データに付加する。

そして、ステップＳ１５で画像を保存した後、及びステップＳ１４で適切なユーザ投稿画像がないと判断したとき（ステップＳ１５のＮｏ）、作業中のエリア内の全てのマーカーについての処理が終了したか否かを判断する（ステップＳ１６）。この判断は、例えばサーバ１０のＣＰＵ１１が行う。
このステップＳ１６の判断で、エリア内の全てのマーカーについての処理が終了したと判断したとき（ステップＳ１６のＹｅｓ）、サーバ１０は画像保存処理を終了する。
また、ステップＳ１６の判断で、未処理のマーカーがあると判断したとき（ステップＳ１６のＮｏ）、サーバ１０は、ステップＳ１１のマーカー選択処理に戻る。

このようにして、観光ガイドを行うエリア内の観光スポットについて、予め画像を保存しておく。
画像を保存する際に、それぞれの画像に種別を付与する。

図４は、サーバ１０の地図内画像表示用データベース４０が保存する画像に付加される情報の例を示す。
ここでは、マーカー番号として、ＮＯ．１，ＮＯ．２，ＮＯ．３の３つの観光スポットを示す。それぞれのマーカー番号ごとに、対応した観光スポットの座標位置の情報を持つ（不図示）。
そして、図４に示すように、マーカー番号ごとの画像として、代表画像と、季節毎の画像（春画像、夏画像、秋画像、冬画像）と、イベント時画像とを保存する領域を確保する。この図４に示す情報では、地図内画像表示用データベース４０が保存した画像の識別番号の情報が格納される。

代表画像は、その観光スポットをガイドするのに最も適した特定時期の画像とする。例えば、桜などの花の名所の観光スポットの画像のとき、代表画像として、花が咲いている時期の画像を代表画像とする。あるいは、祭りなどのイベントが有名な神社仏閣の場合、代表画像として、そのイベントが開催中の時期の画像を代表画像とする。これらの特定時期の代表画像は、季節毎の画像やイベント時画像と重複してもよい。あるいは、代表画像を、季節毎の画像やイベント時画像とは別に用意してもよい。場合によっては、特定時期の代表画像のみを用意する観光スポットとしてもよい。

季節毎の画像については、その観光スポットでの各季節に撮影された画像とする。季節毎の画像は、全ての季節の画像を保存してもよいが、全ての季節の画像を保存する必要はない。
イベント時画像については、その観光スポットで特定日（特定時期）に例年開催されるイベントの様子の画像とする。イベント時画像についても、存在しない場合には保存する必要はない。

このように、図３のフローチャートに従ってマーカーに対応した画像を保存する上で、それぞれの画像に、代表画像、季節毎の画像、イベント時画像などの種別を登録する。
なお、図４の表では、マーカー毎に登録される画像の種別を示すが、マーカーに対応した観光スポットについての、その他の情報を、各マーカーや画像に登録してもよい。例えば、各画像についての説明文、名称、ユーザコメントなどの情報を登録してもよい。これらの説明文、名称、ユーザコメントなどの情報は、地理・歴史データベース３０が格納する。

［４．ユーザ端末での表示処理例］
図５のフローチャートは、ＡＲを利用した時空間情報の表示をユーザ端末３が行う際に、時空間情報画像に加えてサーバ１０が保存した画像を表示する処理の流れを示す。
ここでは、ユーザ端末３は、サーバ１０が観光案内サービスを行うエリア内でのユーザの街歩きに利用されているものとする。
まず、ユーザ端末３のＣＰＵ５１は、測位部５８および方位センサ５９から現在のユーザ端末３の位置情報と方位情報を取得する（ステップＳ２１）。そして、ユーザ端末３は、メニュー選択画面を使ったユーザ操作で、観光スポットまでの距離などの案内する条件の選択を行う（ステップＳ２２）。なお、メニュー選択が事前に行われている場合には、このステップＳ２２でのメニュー選択処理を省略する。

次に、ユーザ端末３のＣＰＵ５１は、ステップＳ２２でのメニュー選択で、物体認識型ＡＲが選択されたか否かを判断する（ステップＳ２３）。このステップＳ２３での判断で、物体認識型ＡＲが選択されていない場合、つまり位置情報型ＡＲの場合（ステップＳ２３のＮｏ）、ＣＰＵ５１は、現在位置を中心として、ユーザ端末３の筐体が向いている方位角の方向で、設定された距離以内を対象範囲とし、対象範囲内のマーカーデータをサーバ１０から取得する（ステップＳ２４）。ここでのマーカーデータには、そのマーカーデータに紐付けられた画像データや説明のデータが含まれる。但し、画像データについては、図４に示す各マーカーに対応した画像の内の代表画像のデータのみでよい。メニュー選択で代表画像以外の画像についても表示を行う設定の場合には、マーカーデータに紐付けられたその他の画像（季節毎の画像やイベント時画像）を取得する。

そして、ユーザ端末３のＣＰＵ５１は、ユーザ端末３の現在位置と方位角に応じて、位置情報型ＡＲとして表示部５５が行っている画像内に存在するマーカーの箇所に、マーカーを示す文字又はアイコンの表示処理を行う（ステップＳ２５）。ここでの文字又はアイコンの表示例については後述する。

その後、ユーザ端末３のＣＰＵ５１は、ユーザによる画面上の文字又はアイコンのタップがあるか否かを判断する（ステップＳ２６）。このステップＳ２６の判断で、タップがある場合には（ステップＳ２６のＹｅｓ）、ユーザ端末３のＣＰＵ５１は、表示部５５が表示中のマーカーを示す文字又はアイコンの箇所に、その文字又はアイコンの代わりに、マーカーに付随する画像（代表画像）を表示させる（ステップＳ２７）。
なお、このように画像を表示した状態で、ユーザ端末３の位置や方位角が変化して、画像で示される観光スポットが表示範囲から外れた場合、ユーザ端末３のＣＰＵ５１は、ステップＳ２１の処理（又はステップＳ２４の処理）に戻る。

また、ステップＳ２６の判断で、タップがある場合には（ステップＳ２６のＮｏ）、ユーザ端末３のＣＰＵ５１は、ステップＳ２４の処理に戻る。

そして、ステップＳ２３での判断で、物体認識型ＡＲが選択された場合（ステップＳ２３のＹｅｓ）、ＣＰＵ５１は、カメラ５７が撮影した画像に含まれる物体の認識処理を行う（ステップＳ３１）。そして、ＣＰＵ５１は、ステップＳ３１で認識した物体のデータ（物体の特徴を示すデータ）を、サーバ１０に送り、サーバ１０側でその物体のデータと一致する画像データが格納されているとき、該当する画像データをサーバ１０から取得する（ステップＳ３２）。ここでの認識を行う物体は観光スポットに設置された物体についてのデータであり、その認識に基づいて取得する画像データは、いずれかの観光スポットを示す画像データである。

ステップＳ３２で画像データを取得したとき、ユーザ端末３のＣＰＵ５１は、サーバ１０から取得した画像を表示部５５に表示させる（ステップＳ３３）。

［５．ユーザ端末でのメニュー選択例］
図６は、図５のフローチャートのステップＳ２２での、ユーザ操作によるメニュー選択時の判断処理の詳細を示す。
まず、ユーザ端末３のＣＰＵ５１は、物体認識型ＡＲが選択されたか否かを判断する（ステップＳ２２１）。ここで、物体認識型ＡＲが選択された場合には（ステップＳ２２１のＹｅｓ）、物体認識型ＡＲの処理を行う動作モードに設定する（ステップＳ２２２）。物体認識型ＡＲの処理を行う動作モードでは、図５のフローチャートのステップＳ３１〜Ｓ３３での処理が行われる。

そして、ステップＳ２２１の判断で、物体認識型ＡＲでない選択の場合（つまり位置情報型ＡＲの場合）には（ステップＳ２２１のＮｏ）、ユーザ端末３のＣＰＵ５１は、位置情報型ＡＲでの時空間情報の提示の詳細設定に移り、最初に観光コースが指定されたか否かの判断を行う（ステップＳ２２３）。ここでの観光コースは、観光案内を行うエリア内で、予め街歩きを行うコースをサーバ１０側で設定したものである。
ステップＳ２２３の判断で、観光コースが指定されたとき（ステップＳ２２３のＹｅｓ）、ユーザ端末３のＣＰＵ５１は、位置情報型ＡＲで、指定されたコースのガイドを開始する（ステップＳ２２４）。

そして、ステップＳ２２３の判断で、観光コースの指定がない場合（ステップＳ２２３のＮｏ）と、ステップＳ２２４で観光コースのガイドを開始した場合には、続いてユーザ端末３のＣＰＵ５１は、表示範囲の設定があるか否かを判断する（ステップＳ２２５）。
このステップＳ２２５での判断で、表示範囲の設定がある場合（ステップＳ２２５のＹｅｓ）、ユーザ端末３のＣＰＵ５１は、マーカー表示を行う観光スポットを、現在位置から設定された距離以内のマーカーに制限する（ステップＳ２２６）。

さらに、ステップＳ２２５の判断で、表示範囲の設定がない場合（ステップＳ２２５のＮｏ）と、ステップＳ２２６で距離制限を行った場合には、ユーザ端末３のＣＰＵ５１は、周辺施設のピクトグラム表示についての設定があるか否かを判断する（ステップＳ２２７）。
このステップＳ２２７での判断で、ピクトグラム表示についての設定がある場合（ステップＳ２２７のＹｅｓ）、ユーザ端末３のＣＰＵ５１は、位置情報型ＡＲで画面内に表示するピクトグラムの種類の選択画面（ピクトグラムで表示される周辺施設の種類の選択画面）を表示し、ピクトグラム表示についての選択を実行させる（ステップＳ２２８）。

さらにまた、ステップＳ２２７の判断で、ピクトグラム表示についての設定がないと判断した場合（ステップＳ２２７のＮｏ）と、ステップＳ２２８でピクトグラム表示種類の設定を行った場合には、ユーザ端末３のＣＰＵ５１は、マーカーに対応した画像の種類の選択があるか否かを判断する（ステップＳ２２９）。
このステップＳ２２９での判断で、マーカーに対応した画像の種類の選択がある場合（ステップＳ２２９のＹｅｓ）、ユーザ端末３のＣＰＵ５１は、表示画像をユーザ操作で選択された種類の画像とするモードに設定する（ステップＳ２３０）。

そして、このステップＳ２２９での判断で、マーカーに対応した画像の種類の選択がない場合（ステップＳ２２９のＮｏ）と、ステップＳ２３０で画像の種類の設定を行った後、ユーザ端末３のＣＰＵ５１は、メニュー選択に基づいた処理を終了する。
なお、この図６のフローチャートに示す処理順序は一例を示したものであり、その他の順序でメニュー選択時の処理を行うようにしてもよい。

次に、ユーザが画面上でのタップ操作でメニュー選択を行う具体例について、図７〜図１０を参照して説明する。
図７は、ユーザ端末３の表示部５５が、メニュー画面を最初に表示した例である。図７の右側の空白の欄は、カメラ５７が撮影した画像などの現在実行中の画像が表示される領域である。図８〜図１０の例の場合も、右側の空白の欄は同様である。

図７の左側には、メニューとして、観光コースの選択欄、ピクトグラムの選択欄、表示範囲の指定欄、物体認識型ＡＲの選択欄、アンケートの欄、ログアウトの欄が順に表示される。
それぞれの欄がユーザ操作でタップされることで、それぞれの項目についての設定が行われる。

図８は、観光コースの選択欄がタッチされたときに遷移する画面の例を示す。
ここでは、「近藤勇と緑地コース」、「深大寺周辺コース」、「映画のまち調布コース」、「仙川芸術と文化コース」の４つを用意し、画面の左側にそれぞれのコースの選択欄を用意する。ユーザは、この４つのコースの内で、歩いてみたいコースの表示箇所をタップすることで、該当するコースが選択される。

図９は、表示範囲の設定時の画面の例である。
ここでは、画面上に距離を選択するスライドバーを画面の左側に表示し、そのスライドバーを動かすタップ操作で、距離を変更する。図９の例では、距離として１．５５Ｋｍとした例を示し、その距離内で、同時に表示可能な最大の観光スポットの数についても、距離の変化に連動して変化する。
なお、距離と、同時に表示可能な最大の観光スポットの数は、それぞれ個別に調整可能としてもよい。

図１０は、ピクトグラムの選択画面の例を示す。
ここでは、ピクトグラムとして画面中に表示可能な観光スポットや施設の一覧が表示され、ユーザは、タップ操作で、表示したい周辺施設をチェックする。
図１０の例では、表示可能な周辺施設の一覧として、駅、コンビニエンスストア、公衆トイレ、宿泊施設、飲食店、駐車場、交番、バスターミナル、及びレンタカー会社を示す。

これらの周辺施設の内で、位置情報型ＡＲの提示時に、同時に表示されるピクトグラムがユーザ操作で選択される。例えば図１０の例では、駅にチェックを入れてあり、地図や位置情報型ＡＲでの案内表示時に、表示範囲に存在する駅が、ピクトグラムで表示されるようになる。

［６．ユーザ端末でのアプリケーションの実行例］
図１１のフローチャートは、ユーザ端末３が、本例の時空間情報ＡＲシステムのアプリケーションプログラムを実行する際の、アプリケーションプログラムでの実行手順の例を示す。
まず、ユーザ端末３のＣＰＵ５１が、時空間情報ＡＲシステムのアプリケーションプログラムを起動すると（ステップＡ１１）、位置情報のファイルの読み込みに移る（ステップＡ１２）。位置情報のファイルには、表示するマーカーの位置情報が収められている。

そして、ユーザ端末３のＣＰＵ５１が、現在位置と方位で表示された画像（３Ｄ表示の地図表示画像やカメラ５７が撮影したユーザ端末３の前方の画像）に、観光スポットを案内する画像の配置処理を行い、配置された画像を表示部５５に表示させる（ステップＡ１３）。この表示で、そのときのユーザ端末３の位置や方位に応じた、位置情報型ＡＲによる時空間情報の提供が行われる。

この表示時には、メニュー選択などのユーザ操作による設定（ステップＡ１４）が行われることで、設定された内容がステップＡ１３での表示に反映される。ステップＡ１４での設定としては、例えば観光コースの切り替え（ステップＡ１４１）、ピクトグラムの追加・変更（ステップＡ１４２）、表示範囲（距離）の指定（ステップＡ１４３）、画像の再読み込み（ステップＡ１４４）などが行われる。

また、ステップＡ１３での位置情報型ＡＲによる表示が行われた状態で、物体認識型ＡＲへの切り替え操作があった場合には、物体認識型ＡＲの画面に遷移する（ステップＡ１５）。この物体認識型ＡＲの画面では、ユーザ端末３が備えるカメラ５７が撮影した画像の表示処理が行われる。そして、撮影画像内の物体の特徴量のファイルの読み込み処理が行われ（ステップＡ１６）、認識対象となった物体の画像の周辺に、物体の特徴量から検出された画像が表示される（ステップＡ１７）。また、認識対象の観光スポットについての説明が表示される（ステップＡ１８）。

その後、位置情報型ＡＲへの切り替え操作があると、位置情報型ＡＲの画面に遷移し（ステップＡ１９）、ステップＡ１３でのユーザ端末３の位置や方位に応じた、位置情報型ＡＲによる時空間情報の提供に戻る。

図１２は、ユーザ端末３での位置情報型ＡＲでの表示中に行われる表示の更新処理の例を示す。
まず、位置情報型ＡＲで表示を行うアプリケーションプログラムが起動し（ステップＡ２１）、そのアプリケーションプログラムの実行で（ステップＡ２０）、表示画面が作成される。
ステップＡ２０での表示画面が作成処理としては、位置情報をまとめたファイルをもとに、その位置に画像を配置する（ステップＡ２２）。ここで配置する画像としては、観光スポットを表すマーカー、周辺施設を表すピクトグラム、観光コースの順路を示す矢印などがある。

そして、ユーザ端末３の現在位置や方位の更新により（ステップＡ２４）、ユーザ端末３での表示が更新される（ステップＡ２３）。具体的には、測位部５８でのＧＰＳ機能による測位で得た現在位置と方位センサ５９で得た方位角に応じて、観光コース上に配置したマーカー、ピクトグラム、矢印の画像までの距離が更新される（ステップＡ３１）。また、更新された距離の情報に基づいて、マーカーの画面内の高度の変更、ピクトグラムの距離が短い順での並び替え、矢印表示を行う際の、コースから一定の範囲内にユーザ端末３が入ったことの表示等が行われる（ステップＡ３２）。

また、メニュー選択などに基づいて、観光コースの変更と、ピクトグラム表示を行う内容の変更があったとき（ステップＡ２５）、これらの変更に基づいた表示の変更が行われる（ステップＡ２６）。具体的には、観光コースの変更が行われた場合、変更後の観光コースのマーカー表示に切り替わる。また、ピクトグラムの変更が行われた場合、新たに選択されたピクトグラムのみの表示に切り替わる。

ここで、位置情報型ＡＲでの表示例を、図１３〜図１５に示す。
図１３は、ユーザ端末３のカメラ５７が撮影したリアルタイムの画像を、表示部５５が表示した上に、その画像で示す現在位置から見た各観光スポットのマーカーを重畳表示して、観光スポットを実画像上でガイドするＡＲ表示を行った例を示す。この図１３に示すように、画像内の左上には、方位センサ５９が検出した方位の情報が表示される。

観光スポットを示すマーカー表示としては、マーカーを示す四角形の枠内に、文字で観光スポット名を表示すると共に、その観光スポットの説明文を表示する。マーカーを示す四角形の枠は、予め設定された色で表示する。図１３の例では、観光スポット名や説明文は、四角形の枠内に収まるように、先頭の数文字だけを表示する。

各マーカーを示す四角形の枠が画像内に配置される位置は、マーカーに対応した観光スポットが存在する方位に対応している。ここで、図１３に示すように、現在位置からの距離が近い程、マーカーを示す四角形の枠が配置される画面内の高さを低い位置とし、枠のサイズについても大きくする。したがって、マーカーを示す四角形の枠が画面内の上方に配置され、その表示サイズも小さい場合には、現在位置からの距離が遠いことを示す。
なお、マーカーを示す四角形の枠が重なって表示される場合には、距離が近い方の枠（つまり大きいサイズの枠）を手前に表示し、距離が遠い方の枠の重なった箇所を隠すようにする。

図１４は、現在位置から見た各観光スポットのマーカーとピクトグラムを重畳してＡＲ表示した例を示す。この図１４の例の場合にも、ユーザ端末３のカメラ５７が撮影したリアルタイムの画像の上に重畳表示した例である。
図１４の例の場合にも、現在位置と方位に基づいて、各観光スポットのマーカーを示す枠が表示され、観光スポットまでの距離に応じて、マーカーを示す枠の表示高さが変化している。
そして、図１４の例の場合には、飲食店のピクトグラムと、駐車場のピクトグラムの表示を行うようにしてあり、飲食店と駐車場が存在する方位に、それぞれのピクトグラムが表示されている。このピクトグラムについても、マーカー表示と同様に、該当施設までの距離に応じて、画面内での表示高さと、表示サイズが設定される。

図１５は、観光コースを示す矢印の画像を重畳表示してＡＲ表示した例を示す。
図１５の例では、交差点において、右折することを示す右側の矢印を表示している。この矢印により、予め決められた観光スポットを巡る観光コースを歩くことができる。
また、図１５の例の場合にも、
を、表示部５５が表示した上に、その画像で示す各観光スポットのマーカーとピクトグラムを表示するようにしている。
但し、観光コースを示す矢印は、最も手前に表示され、各観光スポットのマーカーとピクトグラムは、矢印と重なる表示位置のとき、矢印の後側に隠れるようにして、観光コースのガイドを優先させている。

なお、図１３〜図１５に示す各観光スポットのマーカーが表示された箇所が、ユーザ操作によるタップで選択された場合、その観光スポットを示す代表画像が表示される。代表画像は、図４で説明した処理で、各マーカーに対応して予めサーバ１０に登録された画像である。このマーカーが選択された場合の表示例については後述する（図１８）。

図１６は、ユーザ端末３での物体認識型ＡＲでの表示中に行われる表示の更新処理の例を示す。
まず、ユーザは、ユーザ端末３のカメラ５７を、観光スポットにかざして、撮影を行う（ステップＡ４１）。ここでの観光スポットを撮影する行為には、実際に観光スポットの箇所で撮影する場合と、観光ガイドなどの印刷物やウェブページの表示画面を、カメラ５７で撮影する場合も含まれる。

このようにしてカメラ５７が撮影した画像が、物体認識型ＡＲの処理を行うアプリケーションプログラムに取り込まれ、認識処理が実行される（ステップＡ４０）。具体的には、ターゲットマネージャに登録した観光スポットの特徴量を表したファイルを読み込む（ステップＡ４３）と共に、カメラ５７で撮影した画像が解析される（ステップＡ４４）。

そして、特徴量と合致する物体がカメラ５７で撮影された場合、その場所を中心に設定し（ステップＡ４６）、認識された対象を中心に画像を中心に配置する（ステップＡ４７）。また、画像をユーザがタップ操作したとき、その画像で示される観光スポットの説明文などが記載されたポップアップが表示される（ステップＡ４８）。

なお、認識対象が変更された場合（ステップＡ４２）、別のスポットの特徴量を表したファイルを読み込み（ステップＡ４５）、変更後の認識対象についての認識処理を実行する。
なお、この物体認識型ＡＲの処理での認識処理は、サーバ１０で実行するが、ユーザ端末３で行うようにしてもよい。

図１７は、ユーザ端末３の表示部５５での、物体認識型ＡＲの表示例を示す。
この例では、観光スポットに存在する物体（記念碑）が含まれる画像をカメラ５７で撮影し、その記念碑が物体認識で検出された例を示す。
図１７の例では、物体認識で検出された観光スポットの名称「マラソン折り返し記念碑」が表示される。また、その記念碑が設置された公園の代表画像（桜が咲いた時期の画像など）が、撮影画像中に重畳表示されている。
さらに、画像中の「詳細」の箇所をタップ操作することで、「マラソン折り返し記念碑」の詳細な説明を、画面中に表示させることができる。

図１８の表示例は、図１４に示す位置情報型ＡＲでの表示を行っている状態で、その画面中の特定のマーカーをユーザがタップ操作したときの例を示す。
ここでは、図１４に示す位置情報型ＡＲでの表示中の「国立天文・・・」と表示されたマーカーをタップした例を示す。
この「国立天文・・・」のマーカーは、観光スポット「国立天文台」を示し、「国立天文台」の代表画像が、図１８に示すように、画面内の任意の箇所に表示される。

なお、観光スポット「国立天文台」について、サーバ１０側に代表画像以外の他の画像（季節ごとの画像やイベント画像など）の登録がある場合には、ユーザ操作（代表画像のタップ操作など）によって、代表画像を他の画像に切り替えるようにしてもよい。
あるいは、一定時間ごとに、同じ観光スポットについての別の画像に切り替えるようにしてもよい。

以上説明したように、本例の時空間情報ＡＲシステムによると、ＡＲ画面を使って、ユーザ端末の周囲に存在する観光スポットを案内する際に、例えば、該当する観光スポットを案内するのに最も適した特定の景色が見られる時期の画像や、特定のイベントが開催される時期の画像などの代表画像を使って案内ができるようになる。したがって、その観光スポットをガイドする上で、最も宣伝効果が高い観光スポットの画像でガイドできるようになり、ユーザ端末を利用して街歩きなどを行うユーザへの観光スポットの宣伝効果を高めることができる。

また、物体認識型ＡＲによる撮影した物体の認識処理を行うことで、実際に訪れた観光スポットの案内ができると共に、観光パンフレットや観光案内を行うウェブページを撮影して物体認識を行うことでも同様の観光スポットの案内ができるようになる。この物体認識型ＡＲを行う際にも、認識した観光スポットについての特定時期の代表画像が表示され、該当する観光スポットを使った効果的な案内ができるようになる。

なお、図１３〜図１５に示す画面の例では、ユーザ端末３が備えるカメラ５７が撮影したリアルタイム画像を表示部５５が表示した上で、そのリアルタイム画像内で案内用画像のＡＲ表示を行う例を示した。このようなリアルタイム画像を使ったＡＲ表示を行うのは一例であり、その他の画像表示を行った上に、特定時期の案内用画像のＡＲ表示を行うようにしてもよい。
例えば、立体地図（３Ｄ地図）によって、現在位置と現在方位での景観を表示した上に、同様のマーカーおよびピクトグラムの表示や代表画像表示を行うようにしてもよい。また、一般的な平面の地図や航空写真の上に、マーカーおよびピクトグラムの表示や代表画像表示を行うようにしてもよい。

また、図１３〜図１５に示すように、ユーザ端末でマーカーやピクトグラムを画面上にＡＲ表示する場合での、画面内のマーカーやピクトグラムの数は、予めユーザが指定した一定数以下に制限するようにしてもよい。例えば、ユーザ端末でのユーザ操作による設定で、１つの画面内のマーカーの数を１０個、ピクトグラムの数を１０個にそれぞれ制限して、ＡＲ表示を行っている画面の方向に存在するマーカーとピクトグラムを、現在地から近い順に１０個ずつ選び、その１０個ずつのマーカーとピクトグラムをＡＲ表示するようにしてもよい。このようにＡＲ表示する際のマーカーとピクトグラムの数を制限することで、画面内に表示されるマーカーやピクトグラムの数が、多すぎる状況になることがなく、道路などの景観を表示する画面の視認性が確保される。
なお、表示数を制限する場合に現在地から近いものを選ぶのは一例であり、その他の処理で表示数を制限してもよい。例えばピクトグラムの内で、駅やバスターミナルについては優先度が高い施設（重要施設）とし、ＡＲ表示している画面が向いている方向に、駅やバスターミナルが存在するとき、これらのピクトグラムについては、距離に関係なく常に表示するようにし、それ以外の施設のピクトグラムについて、距離に応じて、制限数に収まるように選択するようにしてもよい。

１…ネットワーク、２…ユーザ端末（パーソナルコンピュータ装置）、３…ユーザ端末（携帯情報端末）、４…ユーザ端末（ウェラブル端末）、１０…サーバ、１１…中央制御ユニット（ＣＰＵ）、１２…ＲＯＭ、１３…ＲＡＭ、１４…不揮発性ストレージ、１５…ネットワークインタフェース、１６…入力装置、１７…表示装置、１８…バスライン、２０…地図データベース、３０…地理・歴史データベース、４０…地図内画像表示用データベース、４１…映像記憶部、４２…画像記憶部、４３…３Ｄモデル記憶部、５１…中央制御ユニット（ＣＰＵ）、５２…ＲＯＭ、５３…ＲＡＭ、５４…通信部、５５…表示部、５６…入力部、５７…カメラ、５８…測位部、５９…方位センサ

Claims (6)

1. 地図又はルート案内用画像を使った拡張現実画面の表示を行うユーザ端末と、
   前記ユーザ端末と通信を行って、前記ユーザ端末に地図又はルート案内画像に関連した観光スポットの表示を実行させるサーバとを備え、
   前記サーバは、
   地図又はルート案内画像と同時に表示する観光スポット案内画像を蓄積する地図内画像表示用データベースと、
   前記ユーザ端末が表示中の地図又はルート案内画像に基づいて、前記地図内画像表示用データベースが蓄積した画像の内の、観光スポットを案内するための特定時期の観光スポット案内画像を選択して、前記ユーザ端末に送信する処理部と、を備え、
   前記ユーザ端末は、
   現在位置を検出する測位部と、
   前記サーバから送信された特定時期の観光スポット案内画像を受信する通信部と、
   前記地図又は前記ルート案内画像に基づいて、前記測位部が検出した現在位置からの拡張現実画面を表示する表示部と、を備え、
   前記ユーザ端末の表示部が、前記地図又は前記ルート案内画像に基づいた拡張現実画面の表示を行う際に、その拡張現実画面の中に、前記サーバから送信された、前記特定時期の観光スポット案内画像を拡張現実画面に重畳して表示するようにした
   時空間情報ＡＲシステム。
2. 前記特定時期は、該当する観光スポットで、特定の景色が見られる時期又は特定のイベントが開催される時期であり、その特定の景色又は特定のイベントを示す画像を、特定時期の観光スポット案内画像とした
   請求項１に記載の時空間情報ＡＲシステム。
3. 前記ユーザ端末が表示するルート案内画像に基づいた拡張現実画面は、前記ユーザ端末が備えるカメラが撮影したリアルタイム画像を使ったルート案内画像の画面であり、
   リアルタイム画像を使ったルート案内画像の画面中に、前記特定時期の観光スポット案内画像を表示する
   請求項１又は２に記載の時空間情報ＡＲシステム。
4. さらに、前記ユーザ端末の前記カメラが撮影した画像の特徴量から、特定の観光スポットを検出したとき、その検出した観光スポットについての、前記特定時期の観光スポット案内画像を、前記サーバから前記ユーザ端末が取得し、
   取得した前記特定時期の観光スポット案内画像を表示する
   請求項１〜３のいずれか１項に記載の時空間情報ＡＲシステム。
5. 地図又はルート案内用画像を使って、観光スポットを案内する拡張現実画面をユーザ端末に表示させる時空間情報ＡＲ提示方法であり、
   予め、前記観光スポットについての特定時期の観光スポット案内画像を蓄積し、
   前記ユーザ端末が前記拡張現実画面を表示する際に、前記地図又はルート案内用画像に基づいて、前記ユーザ端末の現在位置からの拡張現実画面を表示すると共に、
   この拡張現実画面の表示を行う際に、前記蓄積された前記特定時期の観光スポット案内画像を取得して、拡張現実画面に重畳表示するようにした
   時空間情報ＡＲ提示方法。
6. 地図又はルート案内用画像を使って、観光スポットを案内する拡張現実画面をユーザ端末に表示させる処理をコンピュータに実行させるプログラムであり、
   前記地図又はルート案内用画像に基づいて、前記ユーザ端末の現在位置からの拡張現実画面を表示する拡張現実画面表示手順と、
   拡張現実画面表示処理で拡張現実画面を表示する際に、特定時期の観光スポット案内画像を取得して、拡張現実画面に重畳表示する観光スポット案内画像表示手順とを、コンピュータに実行させる
   プログラム。