JP2016110245A - 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体 - Google Patents

表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2016110245A
JP2016110245A JP2014244688A JP2014244688A JP2016110245A JP 2016110245 A JP2016110245 A JP 2016110245A JP 2014244688 A JP2014244688 A JP 2014244688A JP 2014244688 A JP2014244688 A JP 2014244688A JP 2016110245 A JP2016110245 A JP 2016110245A
Authority
JP
Japan
Prior art keywords
content
additional information
unit
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014244688A
Other languages
English (en)
Inventor
準一 佐々木
Junichi Sasaki
準一 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
T J Promotion Inc
TJPromotion
Original Assignee
T J Promotion Inc
TJPromotion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T J Promotion Inc, TJPromotion filed Critical T J Promotion Inc
Priority to JP2014244688A priority Critical patent/JP2016110245A/ja
Publication of JP2016110245A publication Critical patent/JP2016110245A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】従来技術よりも多様な方法でユーザに情報の提供が可能な表示システムを提供する。
【解決手段】コンテンツを含んだ付加情報データファイルAFを記憶する記憶部52を備えたサーバ51と、画像データを生成する撮像部24と、画像データを表示する表示部25と、位置情報を取得する位置情報取得部42と、を備えた携帯端末21と、を備え、携帯端末21が位置情報取得部42で取得した位置情報に基づいてサーバ51の記憶部52からコンテンツを含んだ付加情報データファイルAFを取得し、そのコンテンツを撮像部24で生成した画像データとともに表示部25に重ねて表示させる表示システムであって、付加情報データファイルAFは、コンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んでいる。
【選択図】図1

Description

本発明は、現実環境(現実世界)にコンテンツを重ねて表示する表示システム、表示方法、この表示方法に含まれるステップをコンピュータに実行させるコンピュータプログラム、このコンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体に関する。
近年、人が知覚する現実環境をコンピュータによって拡張する拡張現実(Augmented Reality、AR)の技術が開発されている。この拡張現実の技術は、コンピュータの表示画面に表示された現実環境に拡張現実コンテンツを重ねて表示させ、表示画面を通して見た現実世界を、文字どおり拡張させる技術である。
この拡張現実の技術は、携帯端末の機能向上によって、携帯端末上で具現化できるようになってきており、例えば、ARアプリケーション(以下、ARアプリと称する)として携帯端末にインストールすることで、携帯端末上で具現化できる。
例えば、特許文献1に記載の技術(従来技術)は、携帯端末のカメラで被写体を撮像するとともに、携帯端末の向きと位置情報をサーバへ送信し、その位置情報と向きに基づいてサーバのデータベースからエアタグと呼ばれるコンテンツを取得し、そして、携帯端末の表示画面に被写体とともにそのエアタグを重ねて表示している。
特開2011−242816号公報
しかしながら、従来技術のコンテンツであるエアタグは、テキストデータや画像データを付箋(タグ)として被写体とともに表示する構成であり、ユーザに対する情報の提供方法が乏しかった。
そこで、本発明は、従来技術よりも多様な方法でユーザに情報の提供が可能な表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体を提供することを目的とする。
本発明の表示システムは、コンテンツを含んだ付加情報を記憶する記憶部を備えたサーバと、画像データを生成する撮像部と、画像データを表示する表示部と、位置情報を取得する位置情報取得部と、を備えた端末と、を備え、前記端末が前記位置情報取得部で取得した位置情報に基づいて前記サーバの記憶部からコンテンツを含んだ付加情報を取得し、そのコンテンツを前記撮像部で生成した画像データとともに前記表示部に重ねて表示させる表示システムであって、前記コンテンツを含んだ付加情報は、コンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んでいることを特徴としている。
前記端末は、前記位置情報取得部で取得した位置情報を含んだデータを、前記サーバへ送信してコンテンツを含んだ付加情報を要求する付加情報要求部と、前記サーバから取得したコンテンツを、前記付加情報に基づいて、前記撮像部で生成した画像データに重ねて前記表示部に表示させる表示処理部と、を備え、前記サーバは、前記位置情報を含んだデータを基に前記サーバの記憶部から前記コンテンツを含んだ付加情報を取得し、このコンテンツを含んだ付加情報を基にして付加情報群を生成し、前記端末に送信する付加情報群生成部を備えたことを特徴としている。
前記付加情報に含まれるコンテンツには、前記表示部に表示される際に、光を透過し、且つ、前記端末側から視るとその先のコンテンツを覆って見えなくする遮蔽物コンテンツを含んだことを特徴としている。
前記付加情報群生成部は、前記端末の位置から視て前記遮蔽物コンテンツに覆われるコンテンツを含んだ付加情報を除外して、前記付加情報群を生成することを特徴としている。
前記コンテンツを含んだ付加情報は、他のコンテンツへ遷移するための遷移情報を含んでいることを特徴としている。
前記端末は、時刻を提供する時計部を備え、前記記憶部は、時刻毎のコンテンツの更新情報が記憶され、前記付加情報群生成部は、前記記憶部からコンテンツを含んだ付加情報を取得する際に、前記コンテンツに関連する更新情報も取得し、コンテンツを含んだ付加情報と前記コンテンツに関する更新情報を基に付加情報群を生成し、前記表示処理部は、前記時計部で時刻を取得して、前記更新情報を基に時刻に応じた付加情報に更新することを特徴としている。
前記サーバは、実時間データを取得する実時間データ取得部と、前記実時間データ取得部によって取得した実時間データに基づきリアルタイムコンテンツを生成するリアルタイムコンテンツ生成部と、を更に備え、前記端末の前記表示部に表示されるコンテンツには、前記リアルタイムコンテンツ生成部で生成されたリアルタイムコンテンツも含まれていることを特徴としている。
本発明の表示方法は、コンテンツを含んだ付加情報を記憶部に記憶するステップと、画像データを撮像部で生成するステップと、位置情報を位置情報取得部で取得するステップと、前記位置情報取得部で取得した位置情報に基づいて前記記憶部から前記コンテンツを含んだ付加情報を取得するステップと、前記コンテンツを前記撮像部で生成した画像データとともに表示部に重ねて表示させるステップと、を含んだ表示方法であって、前記付加情報は、コンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んでいることを特徴としている。
本発明のコンピュータプログラムは、前記記載の表示方法に含まれるステップをコンピュータに実行させることを特徴としている。
本発明のコンピュータが読み取り可能な記憶媒体は、前記記載のコンピュータプログラムを記憶したことを特徴としている。
本発明の表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体によれば、従来技術よりも多様な方法でユーザに情報の提供が可能となる。
表示システムの概略構成図である。 付加情報要求データを示した概念図である。 (A)は携帯端末21を原点として精度、最小表示半径データ、最大表示半径の範囲を示した図であり、(B)は携帯端末の向き情報に基づきダウンロードするコンテンツを選別する様子を示した模式図である。 付加情報群ファイルを示した概念図である。 (A)は付加情報データファイルを示した概念図であり、(B)は更新情報データファイルを示した概念図である。 付加情報テーブルを示した図である。 (A)は、コンテンツの表示が許可されない場合を示した模式図であり、(B)は、コンテンツの表示が許可される場合を示した模式図である。 付加情報要求データに移動情報が含まれていた場合に、付加情報データファイルを取得する範囲を示した図である。 遮蔽物コンテンツによって覆われて携帯端末から見えなくなるコンテンツを除外する様子を示した図である。 状態判定部の処理を示すフローチャート図である。 位置情報取得部の処理を示すフローチャート図である。 付加情報要求部の処理を示すフローチャート図である。 (A)は、付加情報データファイル更新部の処理を示すフローチャート図であり、(B)は、付加情報データファイル更新部によって生成されるスレッドの処理を示すフローチャート図である。 付加情報群ファイル生成部の処理を示すフローチャート図である。 表示処理部の処理を示すフローチャート図である。 (A)は、付加情報データ更新部の処理を示すフローチャート図であり、(B)は、付加情報データ更新部によって生成されるスレッドの処理を示すフローチャート図である。 イベント処理部の処理を示すフローチャート図である。 石垣だけとなった城跡を、携帯端末のタッチパネルに表示させる様子を示した図である。 携帯端末のタッチパネルに表示された石垣だけとなった城跡にコンテンツを重ねて表示させた様子を示す図である。 携帯端末とサーバとのデータのやり取りを示した概略図を示している。 古都の街並みを、携帯端末のタッチパネルに表示させる様子を示した図である。 斜めから視た商店街のお店に案内板を重ねて表示させた様子を示す携帯端末の全体図である。 人力車を引く車夫が左奥に表示された様子を示す図である。 婦人を乗せた人力車を引く車夫が右手前に表示された様子を示す図である。 正面から視た商店街のお店に案内板を重ねて表示させた様子を示す携帯端末の全体図である。 一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ追加遷移が行われた様子を示す携帯端末の全体図である。 一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ更新遷移が行われた様子を示す携帯端末の全体図である。 一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ更新遷移が行われた様子を示す携帯端末の全体図である。 一のコンテンツが選択されて、ウェブページへ外部遷移した様子を示す携帯端末の全体図である。
以下、本発明を実施するための形態の例(以下、実施例と称する)を、図1を参照しながら説明する。図1は、表示システム1の概略構成図である。図1に示すとおり、表示システム1は、サーバ51と、このサーバ51とデータ通信を行う携帯端末21と、を備えている。
(携帯端末)
先ず、携帯端末21(端末)について説明する。携帯端末21は、カメラ機能によって撮影した被写体に対して、位置に関連づけられたコンテンツを重ねて表示させる機能を有した装置である。この携帯端末21は、例えば、タッチパネル式のタブレットである。
ここで、本発明のコンテンツとは、文字列、画像、音声、動画、二次元コンピュータグラフィックス(two-dimensional computer graphics, 以下、2DCGと称する)、三次元コンピュータグラフィックス(three-dimensional computer graphics, 以下、3DCGと称する)、及びこれら等の組み合わせた通常コンテンツの他、被更新コンテンツ、遮蔽物コンテンツ、及びリアルタイムコンテンツも含まれる。
被更新コンテンツとは、携帯端末21又はサーバ51で予め作成された更新情報によって時刻に応じてコンテンツの表示位置等が更新されるコンテンツである。被更新コンテンツは、例えば、所定動作を繰り返しながら所定距離を所定時間で移動する3DCG動画コンテンツを、時刻に応じてその表示位置が変更される。
遮蔽物コンテンツとは、現実世界において実在する物に対応するコンテンツであり、例えば、山やビル等の不動の物の他、所定時刻に所定位置を通る鉄道、飛行船等の移動する物に対応する。この遮蔽物コンテンツは、携帯端末21の表示処理の際に用いられたり、サーバ51での除外処理に用いられたりする。
遮蔽物コンテンツは、光を透過する透明なコンテンツであり、且つ、その後ろに表示されるコンテンツを通常のコンテンツと同様に見えなくする機能を有する。すなわち、遮蔽物コンテンツは、カメラ機能によって撮影した被写体にコンテンツを重ね合せる際に、携帯端末21と通常のコンテンツの間に存在していた場合、その大きさに応じてその先に位置する通常のコンテンツの一部又は全部を覆って見えなくする。
また、遮蔽物コンテンツは、サーバ51で表示させるコンテンツを選別する際に、携帯端末21の誤差(後述する精度)も考慮した位置から視て、この遮蔽物コンテンツによって確実に覆われるコンテンツを除外する処理にも用いられる。
リアルタイムコンテンツとは、サーバ51又は外部サーバから取得した実時間データ(リアルタイムデータ)に基づいて生成されたコンテンツのことをいう。また、実時間データとは、例えば、施設の待ち時間情報、空席情報、気象データ、為替情報、株価情報、運行情報、ニュースデータ等のデータのことをいう。
ここで、携帯端末21は、タッチパネル式のタブレットに限定されず、例えば、ユーザが身につけるスマートウォッチ、スマートグラス、スマートバンド、スマートリング、スマートコンタクトレンズ、スマートかつらといったウエアラブル端末でも良いし、更に、カメラ機能付きのノート型パソコン、スマートデジタルカメラ、PDA(Personal Data Assistance)、デスクトップ型パソコン、デジタル・サイネージといった端末機器でも良い。
カメラ機能を有していない機器については、webカメラといった外付けカメラを後から取り付けることで本発明の端末とすることができる。また、携帯端末21、端末は、最初からカメラ機能を有した機器に限定されず、webカメラといった外付けカメラを後から取り付けられる機器も含む。
この携帯端末21は、記憶機能として作動する記憶部22と、制御機能として作動する制御部23と、カメラ機能として作動する撮像部24と、表示機能として作動する表示部25と入力機能として作動する入力部26を有したタッチパネル27と、GPS28と、時計機能として作動する時計部30と、通信機能として作動する無線通信部31と、ジャイロスコープ32と、加速度センサ33と、電子コンパス34と、気圧計35と、を少なくとも備えている。以下、各機能部を詳細に説明する。
記憶部22は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等が組み合わされて構成される。この記憶部22は、携帯端末21の基本的な機能を提供するOS(Operating System)を含む各種プログラムが保存されている。
また、記憶部22は、位置情報と、状態データと、最大表示半径と、最小表示半径と、が保存される。また、携帯端末21の位置情報とは、例えば、緯度と、経度と、高度と、精度と、で特定される位置情報のことをいう。この位置情報が記憶部22に記憶される際は、時計部30で取得した時刻とともに保存される。なお、携帯端末21の位置情報は、少なくとも緯度と経度が含まれていれば良い。
状態データは、正常モードと、推測モードと、異常モードと、の三種類のモードを有している。正常モードとは、携帯端末21が自身の位置情報を機器(後述するGPS等)によって取得できている状態のことをいう。推測モードとは、携帯端末21が位置情報を機器によって取得できず位置を推測して算出している状態のことをいう。異常モードとは、位置を推測するために用いる機器等に異常があり、必要なデータがとれず位置の推測もできない状態のことをいう。なお、最大表示半径と最小表示半径については、後述する。
撮像部24は、いわゆるカメラであり、レンズで結んだ像から被写体の画像データを生成する。撮像部24によって生成された被写体の画像データは、記憶部22の一時記憶領域上、例えば、RAMに保持される。
タッチパネル27は、液晶パネルを有した表示部25と、タッチパッドを有した入力部26と、を備えている。本実施例の携帯端末21は、タッチパネル27を用いて表示部25と入力部26の機能を具現化している。なお、表示部25と入力部26は、タッチパネル27に限定されない。例えば、表示部25と入力部26が液晶とタッチキー及び操作ボタンに分かれた構成でも良い。
タッチパネル27のうち表示部25には、撮像部24で生成した画像データや、コンテンツが被写体とともに重ねて表示される。タッチパネル27のうち入力部26には、この携帯端末21のユーザから操作情報が入力される。
ここで、操作情報とは、例えば、表示部25の何処の位置でタップ、ダブルタップ、ロングタップ、プレス、フォース、フリック(上、下、左、右フリック)、スワイプ、ピンチ(ピンチイン、ピンチアウト)等(以下、タップ等)がされたかの情報のことをいう。
GPS28は、全地球測位システム(Global Positioning System)を用いて携帯端末21の位置情報を取得する。具体的には、GPS28は、GPS受信機を備えており、GPS衛星から送信されるGPS信号を受信して、緯度データ、経度データ、高度データ、精度データを取得する。なお、GPS28単独で高度データを取得できない場合は、後述する気圧計35(圧力計)から高度データを取得する。
精度データとは、GPS28で取得した緯度データ、経度データ、高度データの誤差を距離で表したデータである。例えば、精度データがaメートルであった場合、GPS28で取得した緯度データ、経度データ、高度データで特定される位置を原点Oとして、半径aメートルの仮想球内に携帯端末21が位置することを保証する。
時計部30は、時刻を提供する。ここで、携帯端末21は、無線通信部31によってサーバ51とネットワーク通信が可能であり、時計部30の時刻がサーバ51の時刻に定期的に同期されるようになっている。
無線通信部31(通信部)は、ネットワーク通信によって携帯端末21とサーバ51との間でデータ通信を可能とする。ネットワーク通信は、例えば、3G(3rd Generation)、LTE(Long Term Evolution)、4G(4th Generation)、Wi−Fi(登録商標)、Bluetooth(登録商標)、無線LANである。
ここで、無線通信部31は、例示したものに限定されない。無線通信部31に代えて、有線によってサーバ51とデータ通信を行う有線通信部、無線通信部31と有線通信部を両方備えた構成としても良い。また、表示システム1の機能を携帯端末21のみで具現化した場合、無線通信部31は省略される。
ジャイロスコープ32(角度センサ)は、携帯端末21のX軸、Y軸、Z軸に対する角度を測定することができる。ここで、X軸とは、携帯端末21のタッチパネル27をユーザ側へ向け、且つ、縦長となるようにユーザが持った際に、携帯端末21の左側から右側へ伸びる軸のことをいう。また、Y軸とは、携帯端末21の下側から上側へ伸びX軸に直交する軸のことをいう。また、Z軸とは、携帯端末21の裏面側からタッチパネル27側へ伸びX軸及びY軸に直交する軸のことをいう。
以下、このX軸、Y軸、Z軸を、携帯端末21のX軸、Y軸、Z軸と称する。ジャイロスコープ32は、携帯端末21がX軸回転(ピッチ)、Y軸回転(ロール)、Z軸回転(アジマス)している角度を測定することができる。
加速度センサ33は、携帯端末21のX軸、Y軸、Z軸のそれぞれの方向の加速度を測定することができる。
電子コンパス34(地磁気センサ)は、磁気センサで磁束密度を測定し、その時速密度を基にして方位を算出し、携帯端末21が現在向いている方位(向き)を算出する。
気圧計35は、気圧を測定することができる。制御部23は、気圧計35で測定した気圧を基にして携帯端末21の高度を算出することができる。GPS28が高度を取得できない場合、この気圧計35を用いて高度を算出する。GPS28が高度を取得できる場合、気圧計35は、構成から省略される。
制御部23は、CPU(Central Processing Unit)を備えている。制御部23は、上述した記憶部22と、撮像部24と、タッチパネル27と、GPS28と、時計部30と、無線通信部31と、ジャイロスコープ32と、加速度センサ33と、電子コンパス34と、気圧計35と、を制御する。
また、制御部23は、この他にも、状態判定部41と、位置情報取得部42と、付加情報要求部43と、表示処理部44と、付加情報データ更新部45と、イベント処理部46と、を実行して制御する。
この状態判定部41と、位置情報取得部42と、付加情報要求部43と、表示処理部44と、付加情報データ更新部45と、イベント処理部46と、は、例えば、表示システム1のクライアント側のアプリケーションとして、携帯端末21の記憶部22にARアプリとしてインストールされる。
状態判定部41は、携帯端末21の状態を判定して状態に応じたモードを設定する。状態判定部41は、GPS28、Wi−Fi(登録商標)、ビーコン、携帯端末21の基地局等(以下、GPS等と称する)のいずれか又は複数の組み合わせによって位置情報を定期的に取得し、時計部30で取得した時刻とともに記憶部22に保存する。
状態判定部41は、GPS等によって位置情報が取得できる状態、又は、更新時間が所定時間内の位置情報を記憶部22から取得できる状態を正常モードと判定する。ここで、所定時間とは、初期設定値として例えば、5秒が設定されている。なお、この所定時間は、管理者が任意の数値を設定できる。
そして、正常モードでない場合において、状態判定部41は、加速度センサ33と電子コンパス34の両方が正常である場合を推測モードと判定し、加速度センサ33と電子コンパス34のいずれか又は両方が異常である場合を異常モードと判定する。
ここで、Wi−Fi(登録商標)によって位置情報を取得とは、携帯端末21の近隣にある無線LANアクセス・ポイントから送信されているSSIDやMACアドレスを受信し、予めSSIDやMACアドレスに関連づけられて位置情報が保存されている外部の位置情報サーバへ、SSIDやMACアドレスを基に問い合わせて携帯端末の位置情報を取得する方法のことをいう。
また、ビーコンによって位置情報を取得とは、Bluetooth(登録商標) Low Energy信号(BLE信号)を使って携帯端末21の位置情報を取得する方法のことをいう。この方法は、複数のビーコンが配置され、この複数のビーコンからプッシュ通知を受けることによって携帯端末21の位置情報を算出する方法である。
ビーコンを用いて携帯端末21の位置情報を取得する場合、携帯端末21の位置情報とは、ビーコンからの相対位置のことをいう。すなわち、携帯端末21の位置情報とは、緯度、経度、高度の絶対位置で表される場合の他、特定の機器からの相対位置の場合も含む。
また、携帯端末21の基地局によって位置情報を取得とは、三以上の基地局の位置情報と、その基地局からの電波強度に基づいて携帯端末21の現在地を算出する方法のことをいう。なお、携帯端末21の位置情報の取得は、上記の方法に限定されず、携帯端末21の位置情報さえ取得できればどのような方法で取得しても良い。
位置情報取得部42は、GPS等を用いて、携帯端末21の現在位置を取得する。位置情報取得部42は、携帯端末21の状態が通常モードであれば、GPS等を用いて位置情報を取得する。GPS等を用いて位置情報の取得に失敗した場合は、記憶部22に記憶されている位置情報を取得し、時計部30から取得した時刻とともに記憶部22に記憶して処理を終了する。
また、位置情報取得部42は、携帯端末21の状態が推測モードであれば、記憶部22に保存されている位置情報と、電子コンパス34から取得した向きと、ジャイロスコープ32から取得した角度と、加速度センサ33から取得した加速度と、に基づいて、記憶部22に保存されている位置から携帯端末21が移動した距離を推測し、携帯端末21の現在位置を算出する。位置情報取得部42は、推測位置情報を算出すると、時計部30から取得した時刻とともに記憶部22に記憶して処理を終了する。
そして、位置情報取得部42は、携帯端末21の状態が異常モードであれば、位置情報の取得をせずに処理を終了する。
付加情報要求部43は、GPS等が位置情報の変化を検知、又は位置情報が変化しなくとも所定時間が経過した場合、付加情報要求データD(位置情報を含んだデータ)をサーバ51へ送信し、表示させるコンテンツの情報が記載された付加情報群ファイルAGF(付加情報群)を携帯端末21に送信するように要求する。
付加情報要求データDとは、携帯端末21で生成されてサーバ51へ送信される電文である。この付加情報要求データDは、少なくとも携帯端末21の緯度データ、経度データを有した位置情報を含んでいる。サーバ51では、この付加情報要求データDに含まれる携帯端末21の位置情報を基に、付加情報を取得し付加情報群ファイルAGFを生成する。付加情報とは、表示するコンテンツと、その表示方法等を含んだ情報のことをいう。
図2を参照しながら、付加情報要求データDについて説明する。図2(A)は、付加情報要求データDを示した概念図である。付加情報要求データDは、例えば、緯度データ、経度データ、高度データ、精度データ、携帯端末21の向き情報、携帯端末21の移動情報、最大表示半径、最小表示半径を含んでいる。
ここで、付加情報要求データDのうち、携帯端末21の向き情報、携帯端末21の移動情報、最大表示半径、最小表示半径を、表示するコンテンツを選別するために用いる選別情報と称する。
緯度データ、経度データ、高度データ、精度データは、携帯端末21の現在位置を示すデータである。本実施例では、例えば、緯度データと経度データと精度データを、GPS28から取得し、高度データを、気圧計35から取得した気圧を基に算出して取得する。
携帯端末21の向き情報とは、携帯端末21の向いている方位と、携帯端末21のX軸、Y軸、Z軸に対する角度と、を示すデータである。携帯端末21の向いている方位は、電子コンパス34から取得する。また、携帯端末21のX軸、Y軸、Z軸に対する角度は、ジャイロスコープ32から取得する。この際、例えば、Y軸が水平、且つ、北に合わせられる。
移動情報とは、携帯端末21の移動速度と、加速度と、進行方向と、のデータを有している。移動速度は、GPS28と必要に応じて気圧計35から算出する。進行方向は、電子コンパス34から方位を単位時間毎に取得し、これを基にして算出する。
最大表示半径、最小表示半径は、表示を許可する多数のコンテンツのうち、携帯端末21からの距離を条件にしてサーバ51から携帯端末21へ送信するコンテンツを含んだ付加情報を選別する際に用いられる。なお、この最大表示半径、最小表示半径は、サーバ51から携帯端末へコンテンツを含んだ付加情報を得た後に、ダウンロードするコンテンツを選別するのに用いても良い。
例えば、付加情報要求データDに最大表示半径がRメールと設定されている場合、携帯端末21を原点として半径Rメートルで描かれる仮想球の内側に位置し、且つ、コンテンツ側で表示を許可するコンテンツを含んだ付加情報が、サーバ51から携帯端末21へ送信される。すなわち、この仮想球の外側に位置するコンテンツは、そのコンテンツが表示を許可していても携帯端末21へ送信されない。
また、付加情報要求データDに最小表示半径がrメートルと設定されている場合、携帯端末21を原点として半径rメートルで描かれる仮想球の外側に位置し、且つ、コンテンツ側で表示を許可するコンテンツが、サーバ51から携帯端末21へ送信される。すなわち、この仮想球の内側に位置するコンテンツは、そのコンテンツが表示を許可していても携帯端末21へ送信されない。なお、精度データが最小表示半径よりも大きい場合は、最小表示半径は、設定されていないものとして扱う。
そして、付加情報要求データDに最大表示半径がRメートル、最小表示半径データがrメートルとして設定されている場合を、図3(A)を参照しながら説明する。図3(A)は、携帯端末21の緯度、経度、高度で表される精度を考慮しない位置を、原点Oとして精度、最小表示半径データ、最大表示半径の範囲を示した図である。
この場合、サーバ51は、携帯端末21の精度を考慮しない位置を、原点Oとして半径Rメートルで描かれる仮想球よりも内側、且つ、携帯端末21を原点Oとして半径rメートルで描かれる仮想球よりも外側に位置において、コンテンツ側で表示を許可するコンテンツを含んだ付加情報を携帯端末21へ送信する。
付加情報要求部43が付加情報要求データDをサーバ51に送信すると、サーバ51は、付加情報要求データDを基に付加情報群ファイルAGFを生成して携帯端末21に送信する。以下、図4を参照しながら、付加情報群ファイルAGFについて説明する。図4は、付加情報群ファイルAGFを示した概念図である。
付加情報群ファイルAGFは、携帯端末21へ送信されるコンテンツ毎に、そのコンテンツの格納位置、コンテンツの表示位置情報、コンテンツの大きさ情報、コンテンツの向き情報、コンテンツの動作情報、コンテンツの実行情報等が記載されたファイルである。
ここで、あるコンテンツについて、その格納位置と、その表示位置情報と、その大きさ情報と、その向き情報と、その動作情報と、その実行情報と、を合わせて付加情報データA(付加情報)と称し、これらのデータが記載されたファイルを付加情報データファイルAFと称する。付加情報群ファイルAGFは、この付加情報データファイルAFの内容、すなわち付加情報データAが一又は複数繰り返して記載されたファイルである。
以下、付加情報データファイルAFに記載されたコンテンツの格納位置、その表示位置情報、その大きさ情報、その向き情報、その動作情報、その実行情報について詳細に説明する。
コンテンツの格納位置とは、コンテンツのサーバ51における記憶部52での格納位置のことをいい、アドレスが設定される。表示位置情報とは、緯度データ、経度データ、高度データで示される現実世界での位置を示している。
このコンテンツは、この表示位置情報に基づいて現実世界を表した画像データに重ね合されて携帯端末21の表示部25に表示されると、表示部25を通して視た仮想世界において、そのコンテンツが現実世界でその位置に存在しているように見える。
大きさ情報とは、X軸、Y軸、Z軸の三軸で示されたそのコンテンツの大きさを示している。ここで、例えば、X軸が緯度、Y軸が経度、Z軸が高度として扱われる。向き情報とは、現実世界での方位と、北をY軸及び水平方向に一致させたX軸、Y軸、Z軸の三軸に対する角度で示される。
このコンテンツは、この向き情報に基づいて現実世界を表した画像データに重ね合されて携帯端末21の表示部25に表示されると、表示部25を通して視た仮想世界において、そのコンテンツが現実世界でその向きに向いているように見える。言い換えると、向き情報とは、コンテンツが表示部25に表示された際におけるコンテンツの向きを示している。
動作情報とは、種別と設定値によってコンテンツの動作が設定される。種別には、例えば、「通常」、「更新」、「遮蔽物」、「タイマ」、「到達」、「通常再生」、「自動再生」、「繰り返し再生」等がある。
「通常」は、コンテンツが表示部25に通常の静止物として表示される場合に「通常」が設定される。
「更新」は、そのコンテンツが被更新コンテンツの場合に設定される。その際、設定値には、更新情報データファイルUFの格納位置が設定される。更新情報データファイルUFには、例えば、時刻毎のコンテンツの格納位置とその表示位置情報が記載されている。
「遮蔽物」は、コンテンツが遮蔽物コンテンツの場合に設定される。
「タイマ」は、コンテンツが表示部25に表示された後、所定時間経過に応じてイベントを発生させる場合に設定される。その際、設定値には時間が設定される。「タイマ」が設定されたコンテンツは、イベントをトリガにして例えば、他のコンテンツへ遷移させることができる。
「到達」は、コンテンツが表示部25に表示された後、携帯端末21が所定位置へ到達した際にイベントを発生させる場合に設定される。その際、設定値には、一以上の位置が設定される。
「通常再生」は、例えば、コンテンツの種類が動画コンテンツ又は音声コンテンツであり、停止時にタップされると再生され、再生時にタップされると停止されるように設定される。
「自動再生」は、例えば、コンテンツの種類が動画コンテンツ又は音声コンテンツであり、そのコンテンツが表示部25に表示後、自動で再生されるように表示する場合に設定される。
「繰り返し再生」は、動画コンテンツ又は音声コンテンツを、再生終了後も繰り返して再生するような場合に設定される。
そして、コンテンツの実行情報とは、表示部25に表示されたコンテンツがイベントに応じて実行される動作と、その動作に用いられる設定値と、を有している。実行情報の動作には、例えば、コンテンツの拡大、縮小、スクロール、再生、停止、遷移等がある。例えば、遷移は、遷移先の遷移情報が設定値として設定される。
実行情報の動作のうちコンテンツの拡大、縮小、スクロール、再生、停止は、主にタッチパネル27上のタップ等のイベント(以下、操作情報イベントと称する)をトリガにして実行される。
例えば、ある文字コンテンツの実行情報に、操作情報イベントであるフリックに関連づけてスクロールが設定されていたとする。その場合は、その文字コンテンツをフリックすると、その文字コンテンツをスクロールさせることができる。
また、実行情報の動作のうちコンテンツの遷移は、前述した操作情報イベントの他、そのコンテンツが起動したタイマの満了、携帯端末21が指定位置に到達した事等をトリガにして実行される。
指定位置に到達とは、例えば、携帯端末21が設定値で指定された位置の半径5メートル以内に到達したことをいう。また、設定値で指定された位置は、複数設定されても良い。すなわち、携帯端末21が複数の地点に到達したことをトリガにしてイベントを発生させても良い。
そして、コンテンツの遷移の仕方には、追加遷移、更新遷移、外部遷移、遷移終了がある。追加遷移は、そのコンテンツはそのままで別のコンテンツを新たに表示させる。この追加遷移は、遷移情報として新しく表示させるコンテンツの付加情報データファイルAFのサーバ51における記憶部52での格納位置が設定値に設定される。
更新遷移は、そのコンテンツ又は特定のコンテンツを非表示として、別のコンテンツを新たに表示させる。この更新遷移は、遷移情報として、非表示とするコンテンツと、新しく表示させるコンテンツの付加情報データファイルAFのサーバ51での格納位置が設定値として設定される。
ここで、コンテンツを新たに表示とは、API(Application Programming Interface)を用いて外部のアプリケーションの一部を用いることも含む。ここでAPIは、例えば、Twitter(登録商標) API、Facebook(登録商標) API、YouTube(登録商標) API、のことをいう。
外部遷移は、表示システム1のARアプリを終了させるとともに、ウェブブラウザを起動し指定された外部のURL(Uniform Resource Locator)のウェブページを表示する。この外部遷移は、遷移情報として外部のURL情報が設定値に設定される。
遷移終了は、例えば、コンテンツがタップされると特定のコンテンツを非表示とし、そのコンテンツから他のコンテンツへの遷移を終了させる。この遷移終了は、遷移情報として非表示とするコンテンツの情報が設定値に設定される。
以下、コンテンツの実行情報に、イベントに関連づけて実行情報の動作のうち遷移が設定される場合を、具体的に説明する。
例えば、ある画像コンテンツの付加情報データファイルAFの実行情報に、操作情報イベントであるタップに関連づけて遷移が設定され、設定値に遷移情報として非表示とするコンテンツと、新しく表示させるコンテンツの付加情報データファイルAFのサーバ51における記憶部52での格納位置と、が設定されていたとする。
この場合、その画像コンテンツをタップすると表示されているあるコンテンツが非表示とされ、別の新しいコンテンツが表示される。すなわち、コンテンツが前述した更新遷移を行う。もちろん、このコンテンツを遷移情報の設定値を変更することによって、追加遷移、遷移終了、外部遷移させても良い。
また、例えば、ある3DCGコンテンツの付加情報データファイルAFがあり、動作情報に「タイマ」が設定され、実行情報にタイマ満了イベントに関連づけて「遷移」が設定され、設定値に、遷移情報としてその3DCGコンテンツを非表示とするように設定されていたとする。
その場合、その3DCGコンテンツは、表示されてから指定時間が経過すると自動的に非表示とされる。すなわち、その3DCGコンテンツは、遷移終了を行う。もちろん、この3DCGコンテンツを遷移情報の設定値を変更することによって、追加遷移、更新遷移、外部遷移させても良い。
また、例えば、ある3DCGコンテンツの付加情報データファイルAFがあり、動作情報に「到達」が設定され、実行情報に到達イベントに関連づけて「遷移」が設定され、設定値に、遷移情報として外部のURL情報が設定されていたとする。
その場合、その3DCGコンテンツは、携帯端末21が指定された位置に到達すると、ウェブブラウザが起動されるとともに指定された外部URLのページが表示され、ARアプリが終了される。すなわち、その3DCGコンテンツは、外部遷移を行う。もちろん、この3DCGコンテンツを遷移情報の設定値を変更することによって、追加遷移、更新遷移、終了遷移させても良い。
表示処理部44は、撮像部24で生成した画像を表示部25に表示する。また、表示処理部44は、サーバ51から付加情報群ファイルAGFを受信すると、その付加情報群ファイルAGFに記載された一以上の付加情報データAを記憶部22の一時記憶領域上に保持する。
次に、表示処理部44は、携帯端末21の向きd(撮像部24の向き)を基に、付加情報群ファイルAGFに記載のコンテンツのうちダウンロードするコンテンツを選別する。ここで、携帯端末21の向きdは、付加情報要求データDにおける携帯端末21の向き情報を取得したのと同様にしてジャイロスコープ32と電子コンパス34を用いて求めている。
図3(B)を参照しながら、付加情報群ファイルAGFに記載されたコンテンツのうちダウンロードするコンテンツの選別を説明する。図3(B)は、携帯端末の向き情報に基づきダウンロードするコンテンツを選別する様子を示した模式図である。
図示するように、携帯端末21が向きdを向いていたとする。表示処理部44は、この向きdを法線とし、且つ、原点Oを通る仮想面で半径Rの仮想球を切断し、向きdの方向を含む(撮像部24側)180度の範囲に含まれるコンテンツをサーバ51からダウンロードする範囲とする。最大表示半径がRメートル、最小表示半径データがrメートルとして設定されているとすると、斜線部分がダウンロードする範囲となる。
なお、この180度という範囲の値は、例示でありこの値に限定されない。例えば、撮像部24の視野角と同じにしても良いし、管理者が任意の数値を設定するようにしても良い。
そして、表示処理部44は、ダウンロードしたコンテンツを付加情報データAに記載された表示位置情報に基づいて、撮像部24で生成した画像データに重ねて表示部25に表示させる。
また、表示処理部44は、イベント処理部46によって記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容が更新された際も同様に、更新された付加情報群ファイルAGFからダウンロードするコンテンツを選別し、ダウンロードしたコンテンツを付加情報データAに記載された表示位置情報に基づいて、撮像部24で生成した画像データに重ねて表示部25に表示させる。
付加情報データ更新部45は、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容のうち、付加情報データAにおけるコンテンツの格納位置と表示位置情報を、更新情報データファイルUFに基づき更新する。
以下、詳細に説明する。付加情報データ更新部45は、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容のうち、動作情報に「更新」が設定されている付加情報データAが存在すると、その付加情報データA毎にスレッドを生成する。
生成された各スレッドは、サーバ51から更新情報データファイルUFをダウンロードし、時計部30から時刻を定期的に取得する。そして、各スレッドは、付加情報データAにおけるコンテンツの格納位置と表示位置情報を、更新情報データファイルUFのうち取得した時刻に対応するコンテンツの格納位置と表示位置情報に、更新し続ける。そして、各スレッドは、更新情報データファイルUFの最後のデータまで更新すると終了する。
イベント処理部46は、携帯端末21でARアプリが実行された際に、携帯端末21で発生したイベントを処理する。例えば、イベント処理部46は、タッチパネル27においてコンテンツがタップ等されると、タップに対応づけられた実行情報の動作を実行する。
以下、イベント処理部46を詳細に説明する。イベント処理部46は、起動されるとイベント待ち状態となる。そして、携帯端末21上でイベントが発生すると、イベント処理部46は、表示されたコンテンツに関するイベントか否かを判断し、表示されたコンテンツに関するイベントである場合、一時記憶領域上に保持された付加情報群ファイルAGFの内容のうちそのコンテンツに関する付加情報データAを参照し、発生イベントに関連づけられた実行情報があるか否かを判定する。
発生イベントに関連づけられて実行情報を有していた場合、イベント処理部46は、その実行情報の動作が「遷移」であるか否かを判定する。先ず、イベントに関連づけられている実行情報の動作が「遷移」以外の場合を説明する。例えば、発生イベントがコンテンツをタップであり、タップに関連づけられている実行情報の動作が「拡大」であったとする。この場合は、コンテンツを拡大させて再び、イベント待ちとなる。
次に、イベントに関連づけられている実行情報の動作が遷移であり、設定値にコンテンツを追加遷移、更新遷移、遷移終了させるような遷移情報が設定されていた場合を説明する。この場合は、その遷移情報に従って記憶部22の一時記憶領域上の付加情報群ファイルAGFの内容を更新し、再びイベント待ちとなる。
続いてイベントに関連づけられている実行情報の動作が遷移であり、遷移情報に外部URLが設定されていた場合を説明する。この場合は、ウェブアプリを起動させるとともに指定されたURLのページを表示させ、そして、ARアプリを終了させる。
(サーバ)
次に、図1を参照しながら、サーバ51について説明する。サーバ51は、記憶機能として作動する記憶部52と、制御機能として作動する制御部53と、時計機能として作動する時計部60と、通信機能として作動する無線通信部61と、を備えている。
サーバ51の記憶部52は、サーバ51の基本的な機能を提供するサーバ用OSを含む各種プログラムの他、付加情報データファイルAF、更新情報データファイルUF等が保存されている。
以下、図5(A),(B)を参照しながら、付加情報データファイルAFと更新情報データファイルUFを説明する。図5(A)は、付加情報データファイルAFを示した概念図である。図5(B)は、更新情報データファイルUFを示した概念図である。
付加情報データファイルAFは、付加情報データAをファイルにしたものであり、携帯端末21上でのコンテンツの表示、動作、実行に関する情報が記載されている。付加情報データファイルAFは、図5(A)に示すとおり、コンテンツの格納位置と、表示位置情報と、大きさ情報と、向き情報と、動作情報と、実行情報と、がコンテンツ毎に記載されている。
なお、これらは、図4を参照しながら説明した付加情報データAを構成するコンテンツの格納位置、表示位置情報、大きさ情報、向き情報、動作情報、実行情報と同様である。よって、説明を省略する。
次に、更新情報データファイルUFを説明する。更新情報データファイルUFは、付加情報データファイルAFのうち、動作情報に「更新」が設定された付加情報データファイルAF毎に、一意に関連づけられて作成されたファイルである。この更新情報データファイルUFは、図5(B)に示すとおり、時刻毎のコンテンツの格納位置と、表示位置情報と、を有している。
なお、実施例においては、時刻毎のコンテンツの格納位置と、表示位置情報と、を有した構成であるがこれに限定されず、大きさ情報、向き情報、動作情報、実行情報も有していても良い。
また、サーバ51の記憶部52は、データベース62を備えている。このデータベース62は、付加情報テーブル62Aを有している。図6を参照しながら、付加情報テーブル62Aについて説明する。図6は、付加情報テーブル62Aを示す図である。
図6に示すとおり、付加情報テーブル62Aは、付加情報データファイルAFの格納位置と、更新情報データファイルUFの格納位置と、表示許可範囲の三つの属性を有している。
付加情報データファイルAFの格納位置と更新情報データファイルUFの格納位置とは、サーバ51の記憶部52における格納位置を示している。また、表示許可範囲とは、その範囲に携帯端末21が含まれるか否かでそのコンテンツを表示するか否かを決定する距離で表されたデータである。
以下、図7を参照しながら具体的に説明する。図7(A)は、コンテンツの表示が許可されない場合を示した模式図である。図7(B)は、コンテンツの表示が許可される場合を示した模式図である。
図7中、左側のある位置に携帯端末21が位置し、右側の所定位置にコンテンツ80が位置していたとする。ここで、GPS28の精度は、aメートルとする。すなわち、携帯端末21は、携帯端末21を原点として半径aメートルで描く仮想球の内部のいずれかに存在していることとなる。
また、コンテンツ80の表示許可範囲は、PRメートルとする。すなわち、このコンテンツ80は、これを原点Oとして半径PRメートルで描く仮想球の内側に、携帯端末21が位置すると、その表示を許可する。
図7(A)で示す場合、携帯端末21の位置を表す左側の仮想球と、コンテンツ80の表示許可を決定する境界である右側の仮想球と、が離れており、右側の仮想球の内部に携帯端末21が位置する場合がない。よって、携帯端末21が図7(A)の位置である場合、コンテンツ80は、携帯端末21への表示を許可しない。
次に、図7(B)で示す場合を説明する。携帯端末21は、図7(A)の位置から図中右側へ移動し、携帯端末21の位置を表す左側の仮想球と、コンテンツ80の表示許可を決定する境界である右側の仮想球と、の一部に重なる部分が生じている。この場合は、右側の仮想球の内部に携帯端末21が位置する可能性がある。よって、この場合、コンテンツ80は、携帯端末21への表示を許可する。
なお、表示許可範囲は、パラメータが一つ、すなわち半径として表す構成で説明したがこれに限定されない。表示許可範囲は、緯度の範囲と、経度の範囲と、高度の範囲と、緯度、経度、高度で特定される点のデータがいずれの点データと結ばれるかを示した点のインデックスナンバーと、の四つのパラメータで決定しても良い。
サーバ51の時計部60は、時刻を管理する。サーバ51と携帯端末21は、無線通信部61によってネットワーク通信が可能であり、携帯端末21の時計部30がサーバ51の時計部60に定期的に同期されるようになっている。
サーバ51の無線通信部61(通信部)は、WAN(Wide Area Network)等を介して携帯端末21と通信を行う。サーバ51からWAN等までは、例えば、電話回線や専用回線といった有線である。
サーバ51の制御部53は、CPUを備えて、上述した記憶部52、時計部60、無線通信部61を制御する。また、サーバ51の制御部53は、この他にも付加情報群ファイル生成部66(付加情報群生成群)、実時間データ取得部67、リアルタイムコンテンツ生成部68、付加情報データファイル更新部69を実行する。
この付加情報群ファイル生成部66は、付加情報要求データDを受信すると、これに含まれる携帯端末21の位置情報を基に、表示させるコンテンツに関する付加情報データファイルAFを取得して付加情報群ファイルAGFを生成し、携帯端末21に送信する。
以下、詳細に説明する。付加情報群ファイル生成部66は、付加情報要求データDを無線通信部61によって受信するまで受信待ちとなっている。そして、付加情報群ファイル生成部66は、付加情報要求データDを受信すると、付加情報要求データDに含まれているデータのうち緯度データ、経度データ、高度データ、及び精度データを基にして、携帯端末21の位置を特定する。
次に、付加情報群ファイル生成部66は、特定した携帯端末21の位置を基に、付加情報テーブル62Aを検索し、コンテンツのうち表示許可範囲内に携帯端末21の位置が含まれるコンテンツに関する付加情報データファイルAFを全て取得する。
続いて、付加情報群ファイル生成部66は、取得した付加情報データファイルAFのうちから所定の条件に該当しない付加情報データファイルAFを除外する除外処理を行う。
付加情報群ファイル生成部66は、先ず、付加情報要求データDに含まれる最大表示半径と最小表示半径データを用い、この条件に該当しない付加情報データファイルAFを除外する。
例えば、最大表示半径がR、そして、最小表示半径がrに設定されている場合、図3(A)で示す、半径Rで描く仮想球の外側と、同心の半径r(R>r)で描く仮想球の内側に、表示位置が設定されているコンテンツに関する付加情報データファイルAFが除外される。
続いて、付加情報要求データDに携帯端末21の移動情報が含まれていた場合を説明する。図8は、付加情報要求データDに移動情報が含まれていた場合に、付加情報データファイルAFを取得する範囲を示した図である。ここで、携帯端末21は、進行方向が向きdと一致する方向に対して速度vで移動していたとする。
この場合、予め設定された所定時間tを速度vに乗算して、t秒後の携帯端末21の位置O'を推測し、図に示すようにこの位置を基にして、最小表示半径:r、最大表示半径:Rを用いて、条件に該当しないコンテンツに関する付加情報データファイルAFを除外する。なお、この所定時間tは、管理者が任意の数値を設定できる。例えば、3秒である。
なお、付加情報要求データDにおいて、携帯端末21の最大表示半径、最小表示半径、移動情報は、必須の項目でなく、設定されていれば上記の要領で条件に該当しないコンテンツに関する付加情報データファイルAFが除外される処理が行われ、設定されていなければ除外する処理が行われない。例えば、サーバ51側で最大表示半径と最小表示半径を用いた選別処理を行わず、携帯端末21側でダウンロードするコンテンツを選別する際に、最大表示半径と最小表示半径を用いるようにしても良い。
次に、取得した付加情報データファイルAFのうち、動作情報に「遮蔽物」が設定された付加情報データファイルAFが含まれる場合を、図9を参照しながら説明する。図9は、遮蔽物コンテンツによって覆われて携帯端末21から見えなくなるコンテンツを除外する様子を示した図である。
図9に示す様に、携帯端末21、円柱の通常コンテンツ82、直方体の遮蔽物コンテンツ81、三角柱の通常コンテンツ83が位置していたとする。この場合、携帯端末21の位置から向き情報を考慮して視ると、三角柱の通常コンテンツ83は、直方体の遮蔽物コンテンツ81によって覆われて完全に見えない位置にある。
このように、取得した付加情報データファイルAFのうち動作情報に「遮蔽物」が設定された付加情報データファイルAFが含まれる場合、付加情報群ファイル生成部66は、携帯端末21の位置から視てこの遮蔽物コンテンツ81によって覆われる三角柱の通常コンテンツ83に関する付加情報データファイルAFを除外する。
そして、付加情報群ファイル生成部66は、付加情報テーブル62Aを検索し、コンテンツのうち表示許可範囲内に携帯端末21の位置が含まれるコンテンツに関する付加情報データファイルAFを全て取得し、そのうち、所定の条件に該当しないコンテンツに関する付加情報データファイルAFを除外し終えると、残ったコンテンツに関する付加情報データファイルAFを基にして付加情報群ファイルAGFを生成する。そして、付加情報群ファイル生成部66は、生成した付加情報群ファイルAGFを無線通信部61によって携帯端末21へ送信する。
実時間データ取得部67は、外部サーバから実時間データを定期的に取得する。例えば、実時間データ取得部67は、美術館の入館までの待ち時間を外部サーバから5秒毎に自ら取得したり、気象庁のサーバから10秒毎に実時間の気象情報を自ら取得したり、緊急地震速報を受信したりする。
この要領で他の実時間データを管理する外部サーバから為替情報、株価情報、運行情報等を取得する。実時間データの取得には、自らサーバにデータを取りに行くような能動的に取得する場合と、サーバから自動的に通知されるような受動的に取得する場合も含むものとする。
なお、実時間データ取得部67は、外部サーバから実時間データを取得する構成で説明したがこれに限定されない。すなわち、実時間データ取得部67は、サーバ51内で管理された実時間データを取得する構成も含む。
リアルタイムコンテンツ生成部68は、実時間データ取得部67が実時間データを取得すると直ちに又は定期的にその実時間データに基づいてリアルタイムコンテンツを生成する。
例えば、表示位置情報、大きさ情報、向き情報、動作情報、実行情報が既に設定されたコンテンツに実時間データを付加して生成する。そして、サーバ51の記憶部52に他のコンテンツと同様に付加情報データファイルAFとして保存する。
リアルタイムコンテンツ生成部68は、例えば、実時間データ取得部67が美術館の入館までの待ち時間の実時間データを取得すれば、これに基づき、美術館の待ち時間を示すリアルタイムコンテンツを生成し、実時間データ取得部67が気象庁から実時間の気象情報を取得すれば、これに基づき、気象状況を示すリアルタイムコンテンツを生成する。
付加情報データファイル更新部69は、記憶部52に記憶された付加情報データファイルAFを、更新情報データファイルUFに基づき更新する。付加情報データファイル更新部69は、起動されると、全ての更新情報データファイルUFを読み込み、ファイル毎にスレッドを生成する。
生成された各スレッドは、時計部60から時刻を定期的に取得し、付加情報データAにおけるコンテンツの格納位置と表示位置情報を、更新情報データファイルUFのうち取得した時刻に対応するコンテンツの格納位置と表示位置情報に、更新し続ける。そして、各スレッドは、更新情報データファイルUFの最後のデータまで更新すると終了する。
(フローの説明)
続いて、以上に説明した状態判定部41、位置情報取得部42、付加情報要求部43、付加情報データファイル更新部69、付加情報群ファイル生成部66、表示処理部44、付加情報データ更新部45、イベント処理部46、のフローを説明する。
図10を参照しながら、状態判定部41のフローを説明する。図10は、状態判定部41の処理を示すフローチャート図である。ステップS11において、状態判定部41は、GPS等から正常に位置情報を取得できるか否かを判定し、正常であればステップS12へ進み、携帯端末21の状態を正常モードとして記憶部22に保存し、再び、ステップS11へ戻る。
ステップS11において、状態判定部41は、GPS等が異常である場合、ステップS13へ進み、保存された時間が所定時間以内の位置情報が記憶部22上に保存されているか否かを判断し、保存されている場合、ステップS12へ進み、携帯端末21の状態を正常モードとして、ステップS17へ進み記憶部22に保存し、再び、ステップS11へ戻る。
ステップS13において、所定時間以内の位置情報が記憶部22上に保存されていない場合、ステップS14へ進み、推測モードで使用する加速度センサ33及び電子コンパス34が正常であるか否かを判定し、両方ともに正常であれば、携帯端末21の状態を推測モードとして、ステップS17へ進み記憶部22に保存し、再び、ステップS11へ戻る。
ステップS14において、加速度センサ33及び電子コンパス34のいずれかが異常である場合、携帯端末21の状態を異常モードとして、ステップS17へ進み記憶部22に保存し、再び、ステップS11へ戻る。
図11を参照しながら、位置情報取得部42のフローを説明する。図11は、位置情報取得部42の処理を示すフローチャート図である。ステップS21において、位置情報取得部42は、携帯端末21の状態が通常モードか否かを判定し、状態が通常モードである場合、ステップS22に進み、ステップS22において、GPS等によって携帯端末21の位置情報を取得し、ステップS25へ進む。
ステップS21において、位置情報取得部42は、状態が通常モードない場合、ステップS23に進み、状態が推測モードか否かを判定する。ステップS23において、位置情報取得部42は、状態が推測モードである場合、ステップS24に進む。これに対し、状態が推測モードでもない場合、そのまま処理を終了する。
ステップS24において、位置情報取得部42は、記憶部22に保存されている位置情報と、電子コンパス34から取得した向きと、ジャイロスコープ32から取得した傾きと、加速度センサ33から取得した加速度と、に基づいて携帯端末21の現在位置を推測した推測位置情報を取得し、ステップS25へ進む。
ステップS25において、位置情報取得部42は、時計部30で現在時刻を取得し、ステップS26へ進み、ステップS26において、その時刻とともに、位置情報又は推測位置情報を記憶部22に保存し、処理を終了する。
図12を参照しながら、付加情報要求部43のフローを説明する。図12は、付加情報要求部43の処理を示すフローチャート図である。ステップS31において、付加情報要求部43は、GPS等から携帯端末21の位置情報を取得し、ステップS32へ進む。
ステップS32において、携帯端末21の位置情報が変化したか否かを判定し、変化があった場合は、ステップS34へ進む。これに対し、変化がなかった場合は、ステップS33へ進む。
ステップS33において、付加情報要求部43は、携帯端末21の位置情報が所定時間以上変化していないかどうかを判定し、所定時間以上変化していない場合は、ステップS34へ進む。これに対し、所定時間を経過していない場合は、再びステップS31に戻り、位置情報の変化待ちとなる。
次に、ステップS34において、付加情報要求部43は、電子コンパス34から取得した方位と、ジャイロスコープ32から取得した携帯端末21のX軸、Y軸、Z軸に対する角度と、に基づいて携帯端末21の向き情報を取得し、ステップS35へ進む。
続いて、ステップS35において、付加情報要求部43は、記憶部22に時刻とともに保存されている携帯端末21の位置情報と、ステップS32で取得した携帯端末21の位置情報と、加速度センサ33から取得した加速度と、に基づいて携帯端末21の移動速度と加速度を取得し、また、電子コンパス34から単位時間毎に取得した方位を基に算出した携帯端末21の進行方向を取得し、ステップS36へ進む。
そして、ステップS36において、記憶部22から最大表示半径と最小表示半径を取得しステップS37に進み、ステップS37において、付加情報要求データDを生成し、無線通信部31によってサーバ51へ送信し、ステップS31へ再び戻る。
図13を参照しながら、付加情報データファイル更新部69のフローを説明する。図13(A)は、付加情報データファイル更新部69の処理を示すフローチャート図であり、図13(B)は、付加情報データファイル更新部69によって生成されるスレッドの処理を示すフローチャート図である。
付加情報データファイル更新部69は、ステップS41において、記憶部52に記憶されている更新情報データファイルUF毎にスレッドを生成し、処理を終了する。
以下、付加情報データファイル更新部69で生成されたスレッドの処理を説明する。ステップS42において、付加情報データファイル更新部69で生成されたスレッドは、時計部60から時刻を取得し、ステップS43へ進む。そして、ステップS43において、付加情報データファイルにおけるコンテンツの格納位置と表示位置情報を、更新情報データファイルUFのうち取得した時刻に対応するコンテンツの格納位置と表示位置情報に更新し、ステップS44へ進む。
ステップS44において、更新情報データファイルUFに未更新のデータがある場合は、ステップS42へ戻り、付加情報データファイルAFを更新する処理を繰り返す。また、ステップS44において、更新情報データファイルUFに未更新データがない場合は、処理を終了する。
図14を参照しながら、付加情報群ファイル生成部66のフローを説明する。図14は、付加情報群ファイル生成部66の処理を示すフローチャート図である。ステップS51において、付加情報群ファイル生成部66は、付加情報要求データDの受信の有無を判断する。付加情報群ファイル生成部66は、付加情報要求データDを受信するとステップS52へ進む。また、この付加情報群ファイル生成部66は、受信データが携帯端末21から届かないと届くまでステップS51を繰り返す付加情報要求データDの受信待ちとなる。
ステップS52において、付加情報群ファイル生成部66は、特定した携帯端末21の位置を基にして、付加情報テーブル62Aを参照し、表示を許可するコンテンツに関する付加情報データファイルAFの全てを検索し、ステップS53へ進む。
ステップS53において、付加情報群ファイル生成部66は、検索結果の件数が1件以上であればステップS54へ進み、検索結果の件数が0件の場合は、ステップS51へ戻り、再び、付加情報要求データDが届くまでステップS51を繰り返す付加情報要求データDの受信待ちとなる。
ステップS54において、付加情報群ファイル生成部66は、ヒットしたコンテンツに関する付加情報データファイルAFのうち、付加情報要求データDに含まれる最小表示半径と、最大表示半径と、携帯端末21の移動速度と、を用いて、条件に該当しないコンテンツに関する付加情報データファイルAFを除外する除外処理を行い、ステップS55へ進む。
ステップS55において、除外処理後のファイル数が1件以上あるか否かを判定し、1件以上ある場合は、残った付加情報データファイルAFを基に付加情報群ファイルAGFを生成し、無線通信部61によって携帯端末21へ送信し、ステップS51へ戻り、再び、付加情報要求データDが届くまでステップS51を繰り返す付加情報要求データDの受信待ちとなる。
ステップS55において、除外処理後のファイル数が0件の場合は、ステップS51へ戻り、再び、付加情報要求データDが届くまでステップS51を繰り返す付加情報要求データDの受信待ちとなる。
図15を参照しながら、表示処理部44のフローを説明する。図15は、表示処理部44の処理を示すフローチャート図である。ステップS61において、表示処理部44は、撮像部24で生成した画像データを表示部25に表示し、ステップS62へ進む。
ステップS62において、表示処理部44は、サーバ51からの付加情報群ファイルAGFの受信の有無を判断し、付加情報群ファイルAGFを受信すると、ステップS63へ進み、受信した付加情報群ファイルAGFの内容を、記憶部22の一時記憶領域上に保持し、ステップS65へ進む。
これに対し、ステップS62において、表示処理部44は、サーバ51からの付加情報群ファイルAGFの受信がない場合、ステップS64へ進み、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容が更新されていないか、又は、ジャイロスコープ32、加速度センサ33、電子コンパス34等を用い携帯端末21の向き等に変化がないかを判定し、付加情報群ファイルAGFの内容が更新又は携帯端末21の向き等が変化している場合、ステップS65へ進む。
付加情報群ファイルAGFが更新されておらず、携帯端末21の向き等にも変化がない場合は、ステップS61に戻り、付加情報群ファイルAGFが届くか付加情報群ファイルAGFが更新されるまで、撮像部24で撮影した画像データを表示する処理を繰り返す。
続いて、ステップS65において、表示処理部44は、付加情報群ファイルAGFの付加情報データAに記載されたコンテンツのうちダウンロードするコンテンツを、携帯端末21の向き情報に基づいて選別する。必要に応じて最大表示半径、最小表示半径も用いてダウンロードするコンテンツを選別する。
そして、ステップS66において、表示処理部44は、携帯端末21の向き情報等に基づいて選別されたコンテンツをダウンロードするとともに、そのコンテンツを付加情報群ファイルAGFに記載された付加情報データAの表示情報に基づいて、撮像部24で撮影した画像データとともに重ねて表示部25に表示させ、ステップS61へ再び戻る。
図16を参照しながら、付加情報データ更新部45のフローを説明する。図16(A)は、付加情報データ更新部45の処理を示すフローチャート図であり、図16(B)は、付加情報データ更新部45によって生成されるスレッドの処理を示すフローチャート図である。
付加情報データ更新部45は、ステップS71において、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容を確認し、動作情報に「更新」が設定されている付加情報データAの有無を判定する。動作情報に「更新」が設定されている付加情報データAが存在する場合は、ステップS72へ進み、動作情報に「更新」が設定されている付加情報データA毎に対応するスレッドを生成する。
ステップS71において、動作情報に「更新」が設定されている付加情報データAがない場合は、再びステップS71へ戻り、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容を確認し続ける。
以下、付加情報データ更新部45で生成されたスレッドのフローについて説明する。ステップS73において、そのスレッドは、サーバ51からその付加情報データファイルAFに対応する更新情報データファイルUFをダウンロードし、ステップS74へ進む。
ステップS74において、そのスレッドは、時計部30から時刻を取得し、ステップS75へ進む。そして、ステップS65において、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容のうち動作情報に「更新」が設定されている該付加情報データAにおけるコンテンツの格納位置と表示位置情報を、更新情報データファイルUFのうち取得した時刻に対応するコンテンツの格納位置と表示位置情報に更新し、ステップS76へ進む。
ステップS76において、更新情報データファイルUFに未更新のデータがある場合は、ステップS74へ戻り、付加情報データファイルAFを更新する処理を繰り返す。また、ステップS74において、更新情報データファイルUFに未更新データがない場合は、処理を終了する。
図17を参照しながら、イベント処理部46のフローを説明する。図17は、イベント処理部46の処理を示すフローチャート図である。ステップS81において、イベント処理部46は、携帯端末21上でのイベント発生の有無を判定し、イベントが発生するとステップS82へ進む。イベントが発生していない場合は、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。
ステップS82において、イベント処理部46は、コンテンツに関するイベントか否かを判定し、そのイベントがコンテンツに関する場合、ステップS83へ進む。これに対し、イベントがコンテンツに関係しない場合、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。
ステップS83において、イベント処理部46は、そのコンテンツがイベントに関連づけられている実行情報を有しているか否かを判定し、有している場合ステップS84へ進む。これに対し、そのコンテンツがイベントに関連づけられている実行情報を有していない場合、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。
ステップS84において、イベント処理部46は、イベントに関連づけられている実行情報の動作が「遷移」であるか否かを判定し、動作が「遷移」の場合、ステップS85へ進む。これに対し、「遷移」でない場合は、ステップS89へ進み、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの付加情報データAに基づき、この操作情報に関連づけられている実行情報の動作を行って、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。
ステップS85において、イベント処理部46は、遷移先がコンテンツか否かを判定し、コンテンツである場合、ステップS86へ進み、遷移情報に従って記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容を更新し、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。これに対し、遷移先がコンテンツでない場合、ステップS87へ進む。
ステップS87において、イベント処理部46は、実行情報の設定値を参照し、遷移先の指定が外部URLであるか否かを判定する。外部URLの場合は、そのURLを引数にしてウェブブラウザを起動するとともにARアプリを終了させる。なお、遷移先がコンテンツでもなく外部URLでもない場合は、ステップS81へ戻り、イベントが発生するまでステップS81を繰り返すイベント待ちとなる。
(表示システム1を城跡に使用した例)
図18〜図20を参照しながら、本発明の表示システム1を用いて、城跡91に「お城」の3DCGコンテンツ101を表示させる様子を説明する。図20は、携帯端末21とサーバ51とのデータのやり取りを示した概略図を示している。
ユーザは、携帯端末21のタッチパネル27を操作し、ARアプリを起動させる。そして、ARアプリが起動されると、これに伴って、状態判定部41、位置情報取得部42、付加情報要求部43、表示処理部44、付加情報データ更新部45、イベント処理部46がそれぞれ並列して動作する。
図18を参照しながら、石垣だけとなった城跡91を、本発明の表示システム1の被写体とする様子を説明する。図18は、石垣だけとなった城跡91を、携帯端末21のタッチパネル27に表示させる様子を示した図である。
ユーザは、携帯端末21の撮像部24で、石垣だけとなった城跡91とその両脇の円柱形のビル92と四角柱形のビル93の画像を生成できるように、携帯端末21の撮像部24の向きを調整する。そうすると、表示処理部44は、図15に示したフローに基づき撮像部24によって生成された石垣だけとなった城跡91と円柱形のビル92と四角柱形のビル93の画像データを、タッチパネル27に表示し続ける。
このとき、状態判定部41は、図10に示したフローに基づいて携帯端末21の状態を判定し続ける。また、付加情報要求部43は、図12に示したフローに基づき携帯端末21の位置情報が変化したとき、又は位置情報が所定時間以上の変化がないとき、に付加情報要求データDを生成し、無線通信部31を介してサーバ51に送信する。
このとき、サーバ51では、付加情報群ファイル生成部66が付加情報要求データDの受信待ちとなっており、携帯端末21から付加情報要求データDを受信すると、図14に示したフローに基づいて、付加情報群ファイルAGFの生成を試みる。
以下、付加情報群ファイル生成部66が付加情報群ファイルAGFを、生成する様子を詳細に説明する。付加情報群ファイル生成部66は、付加情報要求データDの緯度データ、経度データ、高度データ、精度データから特定される携帯端末21の位置情報を基に、付加情報テーブル62Aを参照し、表示を許可するコンテンツを含んだ付加情報データファイルAFを検索する。
この例では、検索の結果、表示を許可するコンテンツとして、三件がヒットした。そして、付加情報群ファイル生成部66は、そのコンテンツを含んだ付加情報データファイルAFを取得する。ここで、取得した三件の付加情報データファイルAFのうちの二件は、動作情報に「遮蔽物」が設定されている。
この三件の付加情報データファイルAFについて説明する。一つ目の付加情報データファイルAFは、表示するコンテンツが「お城」の3DCGコンテンツ101であり、表示位置情報が現実世界の城跡91の上、大きさ情報と向きが城跡91に合った大きさで設定されている。
また、二つ目の付加情報データファイルAFは、コンテンツが「円柱形のビル」の遮蔽物コンテンツ102であり、図13の左側に位置する現実世界の円柱形のビル92と全く同じ位置、大きさ、向きとなるように、表示位置情報、大きさ情報、向きが設定されている。そして、動作情報に「遮蔽物」が設定されている。
また、三つ目の付加情報データファイルAFは、コンテンツが「四角柱形のビル」の遮蔽物コンテンツ103であり、図13の右側に位置する現実世界の四角柱形のビル93と全く同じ位置、大きさ、向きとなるように、表示位置情報、大きさ情報、向きが設定されている。そして、動作情報に「遮蔽物」が設定されている。
付加情報群ファイル生成部66は、次に、付加情報要求データDに含まれる選別情報を基に、選別情報の条件に該当しないコンテンツに関する付加情報データファイルAFを、取得した付加情報データファイルAFから除外する除外処理を行う。ここでは、付加情報要求データDに選別情報が設定されておらず、取得した全ての付加情報データファイルAFを基に付加情報群ファイルAGFを生成する場合で説明する。
付加情報群ファイル生成部66は、「お城」の3DCGコンテンツ101に関する付加情報データファイルAFと、「円柱形のビル」の遮蔽物コンテンツ102に関する付加情報データファイルAFと、「四角柱形のビル」の遮蔽物コンテンツ103に関する付加情報データファイルAFと、を基に図4で示したフォーマットで付加情報群ファイルAGFを生成する。そして、無線通信部61を用いて携帯端末21にその付加情報群ファイルAGFを送信する。
携帯端末21に付加情報群ファイルAGFが送信されると、表示処理部44は、図15に示したフローに基づいて、受信した付加情報群ファイルAGFに記載された三つの付加情報データAを記憶部22の一時記憶領域上に保持する。
次に、表示処理部44は、携帯端末21の向きに基づきダウンロードするコンテンツを選別する。ここでは、説明の便宜上全てのコンテンツがダウンロードされる場合で説明する。
そして、表示処理部44は、記憶部22の一時記憶領域上に保持した付加情報群ファイルAGFの内容に基づき、サーバ51からそれぞれのコンテンツをダウンロードするとともに、これらのコンテンツを付加情報群ファイルAGFの内容である付加情報データAに基づいて、石垣だけとなった城跡91と円柱形のビル92と四角柱形のビル93との画像に「お城」の3DCGコンテンツ101と「円柱形のビル」の遮蔽物コンテンツ102と「四角柱形のビル」の遮蔽物コンテンツ103を重ね合わせてタッチパネル27上に表示する。
ここで、遮蔽物コンテンツは、光を透過する透明なコンテンツであり、且つ、その後ろに表示されるコンテンツを覆って見えなくする。「四角柱形のビル」の遮蔽物コンテンツ103は、この例の場合、携帯端末21と表示させたい「お城」の3DCGコンテンツ101の間に存在し、重ね合せる際に「お城」の3DCGコンテンツ101の右側の一部を覆って見えなくする。
そして、ビルに囲まれた石垣だけとなった城跡91にコンテンツを重ね合わせた結果、図19で示す様に携帯端末21のタッチパネル27上に表示された。図19は、携帯端末21のタッチパネル27に表示された石垣だけとなった城跡91にコンテンツを重ねて表示させた様子を示す図である。
本発明の表示システム1によれば、コンテンツの緯度、経度に加えて高度(高さ位置)をも含んだ表示位置情報と、大きさ情報と、向き情報と、を設定できる。これによって、本発明の表示システム1は、「お城」の3DCGコンテンツ101をタッチパネル27上で城跡91の上に大きさと向きを合わせて表示させることができる。
実際に城跡91に過去に建っていたお城を復元しようとすれば、膨大な費用が発生する。しかしながら、本発明の表示システム1によれば、「お城」の3DCGコンテンツ101を含んだ付加情報データファイルAFをサーバ51に登録するだけで、過去に建っていたお城を、タッチパネル27を通して視ることができる。
特に、本発明の表示システム1によれば、現実世界の四角柱形のビル93に対応させて、「四角柱形のビル」の遮蔽物コンテンツ103が同じ位置、同じ大きさ、同じ向きに表示されている。
これによって、「お城」の3DCGコンテンツ101は、「四角柱形のビル」の遮蔽物コンテンツ103に覆われて、現実世界の四角柱形のビル93によってその一部が覆われてように表示される。すなわち、本発明の表示システム1によれば、現実世界に即した状態で現在の現実世界におけるビル等の建造物とともに表示することができる。
(表示システム1を商店街に使用した例)
図20〜図21を参照しながら、本発明の表示システム1を用いて、商店街に複数のコンテンツによって構成された「案内表示板」111,112を表示させる様子を説明する。図21は、商店街を、携帯端末21のタッチパネル27上に表示させる様子を示した図である。
ユーザは、携帯端末21のタッチパネル27を操作し、ARアプリを起動させる。そして、図21で示すとおりに商店街を携帯端末21でかざす。そうすると、撮像部24が商店街の画像データを生成し、表示処理部44がその画像データをタッチパネル27に表示する。
そして、ARアプリは、付加情報要求部43が位置情報取得部42によって携帯端末21の位置情報を取得し、これを基に付加情報要求データDを生成し、これをサーバ51へ送信する。
サーバ51では、付加情報群ファイル生成部66が付加情報要求データDを受信し、この付加情報要求データDに含まれる携帯端末21の位置情報を基に、付加情報テーブル62Aを参照し、表示を許可するコンテンツの付加情報データファイルAFを取得し、付加情報群ファイルAGFを生成する。そして、その付加情報群ファイルAGFを携帯端末21に送信する。
携帯端末21では、付加情報群ファイルAGFを受信すると、表示処理部44が付加情報群ファイルAGFに記載された付加情報データAに記載されたコンテンツのうちから、携帯端末21の向きに基づいてダウンロードするコンテンツを選別し、サーバ51からコンテンツをダウンロードし、商店街の画像データに対して付加情報データAの記載に基づいた位置にコンテンツを重ね合わせて表示させる。
この付加情報群ファイルAGFには、複数のコンテンツを含んだ付加情報データAによって構成された「案内表示板」111、112が二つ記載されており、図22で示すように表示された。
図22を参照しながら、コンテンツが重ね合されて表示された様子を説明する。図22は、斜めから視た商店街のお店に「案内表示板」111、「案内表示板」112を重ねて表示させた様子を示す携帯端末21の全体図である。図22で示すとおり、タッチパネル27に表示された世界では、奥側のお店と手前のお店の前に、「案内表示板」111、「案内表示板」112が表示されている。
古い街並みでは、美観を保つ観点から看板等を設置する事に制約がある場合がある。しかしながら、本発明の表示システム1によれば、現実世界において看板を設置することなく、仮想世界においてお店の前に「案内表示板」111、「案内表示板」112を建てて、タッチパネル27を通じて情報を提供することができる。また、本発明の表示システム1は、現実世界において看板を設置しないので古い街並みの美観を損ねることがない。
また、本発明の表示システム1は、コンテンツの向きと大きさも設定することができる。これによって、「案内表示板」111、112は、表面及び裏面が道路の延設方向に沿う方向、すなわち、表面がお店の正面に一致するように建てて見せることができる。
また、奥側の「案内表示板」111と手前側の「案内表示板」112は、大きさが同じ大きさに設定されており、また、表示位置が奥側の「案内表示板」111の方が手前側の「案内表示板」112よりも携帯端末21から離れた位置となっている。
これによって、タッチパネル27上では、大きさが同じでも手前側の「案内表示板」112の方が奥側の「案内表示板」111よりも見た目の大きさが大きく表示されることとなる。すなわち、本発明の表示システム1によれば、コンテンツの位置の他、大きさや向きが設定されることによって現実世界に即した形でコンテンツを表示することができる。
図22〜図24を参照しながら、現実世界に重ねて表示される被更新コンテンツが更新されて移動する様子を説明する。図23は、人力車を引く車夫が左奥に表示された様子を示す図である。図24は、人力車を引く車夫が右手前に表示された様子を示す図である。
ユーザは、携帯端末21が図22で示すように表示する状態を保ちながらしばらく、その場所にとどまっていたとする。付加情報要求部43は、図12で示すフローのとおり、携帯端末21の位置情報が、所定時間以上の変化がないと、付加情報要求データDを生成し、これをサーバ51へ送信する。
サーバ51は、付加情報群ファイル生成部66が付加情報要求データDを受信すると、この付加情報要求データDに含まれる位置情報を基に、表示を許可するコンテンツの付加情報データファイルAFを取得する。
ここで、サーバ51では、付加情報データファイル更新部69が更新情報データファイルUF毎にスレッドを生成し、その更新情報データファイルUFに基づき付加情報データファイルAFを時計部60の時刻に応じて更新している。
その結果、ある付加情報データファイルAFの表示位置情報が更新され、その表示許可半径内に、携帯端末21が位置するようになったとする。ここで、携帯端末21の位置は、付加情報要求データDに含まれる位置情報によって特定される。
その付加情報データファイルAFには、婦人を乗せた人力車を車夫が引く様子を表した「人力車」の3DCG動画コンテンツの格納位置、動作情報の種別に「更新」、動作情報の設定値に更新情報データファイルUFへの格納位置が設定されていた。
付加情報データ更新部45は、前述した「案内表示板」111、112を構成する複数のコンテンツを含んだ付加情報データAに、「人力車」の3DCG動画コンテンツ130を含んだ付加情報データAを加えて付加情報群ファイルAGFを生成し、携帯端末21へ送信する。
携帯端末21では、付加情報群ファイルAGFを受信すると、表示処理部44が付加情報群ファイルAGFに記載された付加情報データAを基に、サーバ51からコンテンツをダウンロードし、商店街の画像データに対して付加情報データAの記載に基づいた位置にコンテンツを重ね合わせて表示させる。そうすると、図23で示すように携帯端末21のタッチパネル27に表示される。
本発明の表示システム1によれば、付加情報データファイルAFが付加情報データファイル更新部69によって時刻に応じて更新され、生成される付加情報群ファイルAGFが変化し、ユーザが同じ位置に立ち、同じ向きを向いていたとしても時刻に応じて、タッチパネル27に表示されるコンテンツの数が変化する。これによって、ユーザに対してより多様なコンテンツの提供を可能とする。
そして、ユーザは、携帯端末21が図23で示す状態を更に保ったとする。付加情報データ更新部45は、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGFの内容のうち、動作情報の種別に「更新」が設定されている付加情報データAが存在すると、スレッドを生成する。
そのスレッドは、その付加情報データAに対応した更新情報データファイルUFを、サーバ51からダウンロードし、そして、時計部30から時刻を取得し、「人力車」の3DCG動画コンテンツ130を含んだ付加情報データAにおけるコンテンツの格納位置と表示位置情報を、ダウンロードした更新情報データファイルUFのうち取得した時刻に対応するコンテンツの格納位置と表示位置情報に更新する。本実施例では、表示位置情報が道路の奥側から手前側の方へ更新され、図24で示すように携帯端末21のタッチパネル27に表示される。
本発明の表示システム1によれば、付加情報データ更新部45が付加情報群ファイルAGFの内容を時刻に応じて更新することによって、3DCG動画コンテンツを時刻に応じてその位置を変化させ、すなわち、移動させることができる。
観光名所では、サービスの一環として当時の様子を再現する催しを提供することが多々ある。しかしながら、その催しにかかる費用は、人件費等を含めて高額な費用が発生する。本発明によれば、3DCG動画コンテンツを含んだ付加情報データファイルAFを生成し、サーバに登録するだけで、当時の様子を再現した様子をユーザに提供することができる。
また、本発明の表示システム1によれば、現実世界に重ねて表示したコンテンツを、リアルタイムで移動させることができ、より多様な方法でコンテンツを提供することができる。
次に、図20、図25〜図29を参照しながら、本発明の表示システム1を用いて、商店街にコンテンツを表示させ、コンテンツからコンテンツへ遷移する様子を説明する。図25は、正面から視た商店街のお店に「案内表示板」112を重ねて表示させた様子を示す携帯端末21の全体図である。
ユーザがお店の正面に立つと、「案内表示板」112も正面を向くように表示されている。この「案内表示板」112には、例えば、そのお店に関する情報が掲載されており、それを視たユーザがお店の情報を得ることができる。
図25で示す「案内表示板」112は、前述したとおり、サーバ51から受信した付加情報群ファイルAGFの付加情報データAの記載に基づいて表示される。また、この「案内表示板」112は、複数のコンテンツで構成されている。
すなわち、この付加情報群ファイルAGFのうちこの「案内表示板」112を表す部分には、「案内表示板」の3DCGコンテンツ113に関する付加情報データAと、これの表面に配される「拡張現実工房」の文字コンテンツ114に関する付加情報データAと、「焼き物とは」の画像コンテンツ115に関する付加情報データAと、「制作工程」の動画コンテンツ116に関する付加情報データAと、「焼き物情報」の画像コンテンツ117に関する付加情報データAと、「制作体験コーナ」の画像コンテンツ118に関する付加情報データAと、が記載されている。以下、これ等の付加情報データAについて詳細に説明する。
「案内表示板」の3DCGコンテンツ113を表す付加情報データAには、コンテンツの格納位置にサーバ51の記憶部52における格納位置が記載され、表示位置情報に手前のお店の前の位置が記載され、大きさ情報、向き情報に、図に示したような大きさと向きが記載されている。
「拡張現実工房」の文字コンテンツ114を表す付加情報データAには、表示位置情報、大きさ情報、向き情報に、図に示したように「案内表示板」112の上部に表示されることが記載されている。
「焼き物とは」の画像コンテンツ115を表す付加情報データAには、表示位置情報、大きさ情報、向き情報に、図に示したように「案内表示板」112の中央部における左上に表示されることが記載されている。そして、実行情報には、タップに遷移が関連づけられ、実行情報の設定値に「湯呑」の3DCGコンテンツ119と「焼き物に関する説明」の音声コンテンツ120を表す付加情報データファイルAFにおけるサーバ51での格納位置が設定されている。
「制作工程」の動画コンテンツ116を表す付加情報データAには、表示位置情報、大きさ情報、向き情報に、図に示したように「案内表示板」112の中央部における右上に表示されることが記載されている。そして、動作情報の種別には、「通常再生」が設定されている。
「焼き物情報」の画像コンテンツ117を表す付加情報データAには、表示位置情報、大きさ情報、向き情報に、図に示したように「案内表示板」112の中央部における左下に表示されることが記載されている。
そして、実行情報には、タップに遷移が関連づけられ、実行情報の設定値に「拡張現実工房」の文字コンテンツ114、「焼き物とは」の画像コンテンツ115、「制作工程」の動画コンテンツ116、「焼き物情報」の画像コンテンツ117、「制作体験コーナ」の画像コンテンツ118を削除し、「□×ミュージアム」の文字コンテンツ121、「館内情報」の画像コンテンツ122、「待ち時間」のリアルタイムコンテンツ123、「特別展」の画像コンテンツ124、「アクセス」の画像コンテンツ125を表示する旨、及び表示させる各付加情報データファイルAFのサーバ51における格納位置が設定されている。
「制作体験コーナ」の画像コンテンツ118を示す付加情報データAには、表示位置情報、大きさ情報、向き情報に、図に示したように「案内表示板」の3DCGコンテンツ113の中央部における左下に表示されることが記載されている。
そして、実行情報には、タップに遷移が関連づけられ、実行情報の設定値に「制作体験コーナ」の画像コンテンツ118を削除し、「体験コース」の画像コンテンツ126、「予約」の画像コンテンツ127、「予約」の画像コンテンツ128を表示する旨、及び表示させる各付加情報データファイルAFのサーバ51における格納位置が記載されている。
以上に説明した複数のコンテンツによって構成された「案内表示板」112について、あるコンテンツがタップされ、そのコンテンツから他のコンテンツへ遷移する様子を、図25及び図26を参照しながら説明する。図26は、一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ追加遷移が行われた様子を示す携帯端末21の全体図である。
ユーザが「焼き物とは」の画像コンテンツ115に興味を持ち、タップしたとする。この場合、イベント処理部46が図17に示すフローに基づき処理する。前述したとおり、「焼き物とは」の画像コンテンツ115は、その実行情報にタップに関連づけられて遷移が関連づけられている。
イベント処理部46は、実行情報の設定値に基づき、「湯呑」の3DCGコンテンツ119に関する付加情報データファイルAFと「焼き物に関する説明」の音声コンテンツ120に関する付加情報データファイルAFを、サーバ51からダウンロードし、携帯端末21の記憶部22における一時記憶領域上に保持した付加情報群ファイルAGFの内容に追加して更新する。
そして、付加情報群ファイルAGFの内容が更新されると、表示処理部44は、図15に示すフローに基づき、「焼き物に関する説明」の音声コンテンツ120と「湯呑」の3DCGコンテンツ119をダウンロードし、付加情報データAの情報に基づいて現実世界の画像データと重ね合わせてタッチパネル27上に表示させる。
そうすると、案内表示板は、図26で示すように、「焼き物とは」の画像コンテンツ115の前に、「湯呑」の3DCGコンテンツ119が表示されるとともに、「焼き物に関する説明」の音声コンテンツ120が再生される。これによって、ユーザは、興味を持った「焼き物とは」の画像コンテンツ115をタップするだけで、これに関連する情報を得ることができる。
また、ユーザが「制作工程」の動画コンテンツ116に興味を持ち、タップしたとする。先に説明したとおり、「制作工程」の動画コンテンツ116を含んだ付加情報データAの動作情報には、「通常再生」が設定されている。この場合は、焼き物の制作工程に関する動画が再生され、再度、タップすると動画が停止される。
また、ユーザが「焼き物情報」の画像コンテンツ117に興味を持ち、タップしたとする。前述したとおり、「焼き物情報」の画像コンテンツ117は、タップに関連づけられて遷移が関連づけられている。
イベント処理部46は、実行情報の設定値に基づき、携帯端末21の記憶部22における一時記憶領域上に保持した付加情報群ファイルAGFの内容から「拡張現実工房」の文字コンテンツ114、「焼き物とは」の画像コンテンツ115、「制作工程」の動画コンテンツ116、「焼き物情報」の画像コンテンツ117、「制作体験コーナ」の画像コンテンツ118のそれぞれに関する付加情報データAを削除し、「□×ミュージアム」の文字コンテンツ121、「館内情報」の画像コンテンツ122、「待ち時間」のリアルタイムコンテンツ123、「特別展」の画像コンテンツ124、「アクセス」の画像コンテンツ125のそれぞれに関する付加情報データAを追加して更新する。
そして、表示処理部44が更新した付加情報群ファイルAGFの内容に基づいて現実世界の画像データと重ね合わせると、「案内表示板」112は、図27で示すように表示される。図27は、一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ更新遷移が行われた様子を示す携帯端末21の全体図である。
これによって、「案内表示板」112は、お店に関する情報を示すものから一転して□×ミュージアムに関する情報を示すものに変化する。その結果、ユーザは、□×ミュージアムに関する館内情報や、現在の入館までの待ち時間や、特別展情報や、館内までの地図情報を得ることができる。
現実世界における案内表示板では、掲載できるスペースに限りがある。しかしながら、本発明の表示システム1によれば、一のコンテンツから他のコンテンツへ次々と遷移していく多層構造をとっている。このため、掲載スペースの制限を受けずにユーザが興味を抱いた情報を合理的に提供することができる。
また、入館までの待ち時間を示す「待ち時間」のリアルタイムコンテンツ123は、外部サーバに問い合わせて、待ち時間の実時間データ(リアルタイムデータ)に基づいてサーバで生成されたリアルタイムコンテンツである。本発明の表示システム1によれば、実時間データに基づくコンテンツも提供することができ、より幅広く多様な方法でユーザにコンテンツの提供が可能となる。
なお、この図27に示す「案内表示板」112において、「アクセス」の画像コンテンツ125をタップすると、□×ミュージアムまで所定の間隔で複数の「矢印」の3DCGコンテンツを表示させるようにしても良い。
そして、これらの3DCGコンテンツの動作情報の種別に「到達」を設定し、動作情報の設定値に、表示位置と同じ位置を設定する。また、実行情報に「到達」イベントが発生すると、自身を非表示とするように設定する。これによって、□×ミュージアムまで「矢印」の3DCGコンテンツに導いてもらうこともできる。この際、「矢印」の3DCGコンテンツは、そのコンテンツを通過すると非表示となる。
また、「案内表示板」112が図18の状態において、ユーザが「制作体験コーナ」の画像コンテンツ118に興味を持ち、タップしたとする。前述したとおり、「制作体験コーナ」の画像コンテンツ118は、タップに関連づけられて更新遷移が関連づけられおり、タップされると「案内表示板」112が図28に示すように表示される。
図28は、一のコンテンツが選択されて、そのコンテンツに関する他のコンテンツへ更新遷移が行われた様子を示す携帯端末21の全体図である。
更新遷移後の「案内表示板」112によれば、体験コースとして、○月×日に「ろくろ」のコースが開催され、○月△日に「手びねり」のコースが開かれ、それぞれのコースに対して「予約」の画像コンテンツ127、128が配されている。ここで、「予約」の画像コンテンツ127は、実行情報に、タップに遷移が関連づけられ、設定値に外部サーバのURLが設定されている。
そして、ユーザが○月×日に開かれる「ろくろ」のコースに申込みしようとし、「予約」の画像コンテンツ127をタップしたとする。そうすると、コース名と、金額と、実行情報に記載されたURLと、を引数にしてWebブラウザを起動するとともに、ARアプリが終了される。
これによって、ユーザは、希望するコースに関する「予約」の画像コンテンツ127をタップすると、図29で示す外部サーバの決済画面に遷移して、決済を行うことができる。図29は、一のコンテンツが選択されて、ウェブページへ外部遷移した様子を示す携帯端末21の全体図である。ユーザは、その後、IDとパスワードを入力して外部サーバの決済画面に進み、コースをその場で予約するとともにその代金を支払うことができる。
(効果)
従来技術に関するエアタグは、複数表示される場合、全てのタグが同じ高さ位置に、全てこちら向きに表示されており、ユーザに対する情報の提供方法が乏しかった。しかしながら、本発明の表示システム1によれば、コンテンツに関する付加情報データAがコンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んでいる。
これによって、従来技術よりも多様な方法でユーザに情報の提供が可能である。また、本発明の表示システム1は、高さ位置や向き情報を持ったことによって、より現実に即した状態でコンテンツを表示することができる。
また、本発明の表示システム1によれば、付加情報に含まれるコンテンツに、表示部25に表示される際に、光を透過し、且つ、携帯端末21側から視るとその先のコンテンツを覆って見えなくする遮蔽物コンテンツ81が含まれている。そして、この遮蔽物コンテンツは、現実世界に存在する家やビル等の建造物や山等と同じ位置、同じ大きさ、同じ向きに設定される。
これによって、表示したコンテンツの前に、例えば、現実世界に存在する家やビル等の建造物や山によるコンテンツの一部や全部を覆うものがあった場合に、表示したコンテンツの一部又は全部が覆われて、より現実に即した状態でコンテンツを表示することができる。
また、本発明の表示システム1によれば、付加情報群ファイル生成部66は、携帯端末21の位置から視て遮蔽物コンテンツに覆われるコンテンツを含んだ付加情報データファイルAF(付加情報)を除外して、付加情報群ファイルAGFを生成している。
これによって、表示されないコンテンツがサーバ51で除外されるため、携帯端末21に送信するデータ量を少なくできるとともに、現実世界では建物等によって本来見えないコンテンツが表示されなくなり、より現実に即した状態でコンテンツを表示することができる。
また、本発明の表示システム1によれば、付加情報データAは、他のコンテンツへ遷移するための遷移情報を含んでいる。これによって、付加情報データAは、階層構造をとることができる。そして、ユーザに対しては、より多くのコンテンツを、より効率的に提供することができる。
また、本発明の表示システム1によれば、携帯端末21は、時刻を提供する時計部30を備えている。また、記憶部52は、時刻毎のコンテンツの更新情報データファイルUF(更新情報)が記憶されている。また、付加情報群ファイル生成部66は、記憶部52からコンテンツを含んだ付加情報データファイルAF(付加情報)を取得する際に、コンテンツに関連する更新情報データファイルUFも取得し、コンテンツを含んだ付加情報データファイルAFとコンテンツに関する更新情報データファイルUFを基に付加情報群ファイルAGFを生成している。そして、表示処理部44は、時計部30で時刻を取得して、更新情報データファイルUFを基に時刻に応じた付加情報データAに更新している。
これによって、コンテンツを含んだ付加情報データファイルAFが更新情報データファイルUFを基に時刻に応じて更新される。例えば、付加情報データファイルAFのうち、表示位置情報が時刻に応じて更新されれば時刻に応じてコンテンツの表示位置を変化させることができ、また、コンテンツの格納位置が時刻に応じて更新されれば時刻に応じて表示するコンテンツを変化させることもでき、従来技術よりもより多様な方法でコンテンツを表示することができる
また、本発明の表示システム1によれば、サーバ51は、実時間データを取得する実時間データ取得部67と、この実時間データ取得部67によって取得した実時間データに基づきリアルタイムコンテンツを生成するリアルタイムコンテンツ生成部68と、を更に備えている。そして、携帯端末21の表示部25に表示されるコンテンツには、リアルタイムコンテンツ生成部68で生成されたリアルタイムコンテンツも含まれている。
これによって、表示されるコンテンツは、予め作成されたコンテンツのみならず、実時間データを基に生成されたリアルタイムコンテンツも含み、従来技術よりもより多様な方法でコンテンツを表示させることができる。
また、本発明の表示システム1によれば、付加情報要求データDが、位置情報の他、選別情報も含み、付加情報群ファイル生成部66が付加情報要求データDに含まれる選別情報を基に、サーバ51の記憶部52から取得した付加情報データファイルAFを選別して、付加情報群ファイルAGFを生成している。
これによって、サーバ側で表示しないコンテンツが選別され、携帯端末21に与える負荷を軽減することができる。また、表示部25の大部分がコンテンツによって占められて、見えづらくなることを防止できる。
なお、本発明の表示システム1は、コンテンツを含んだ付加情報を記憶部52に記憶するステップと、画像データを撮像部24で生成するステップと、位置情報を位置情報取得部42で取得するステップと、位置情報取得部42で取得した位置情報に基づいて記憶部52からコンテンツを含んだ付加情報を取得するステップと、コンテンツを撮像部24で生成した画像データとともに表示部25に重ねて表示させるステップと、を含んだ表示方法であって、付加情報は、コンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んだ表示方法、及びこの表示方法を含んだ全てのものが含まれる。
また、本発明は、前記記載の表示方法に含まれるステップをコンピュータに実行させるコンピュータプログラム及びこのプログラムが組み込まれた全ての装置が含まれる。また、本発明は、前記記載のコンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体及びこの記憶媒体を含んだ全ての装置が含まれる。
また、本発明は、携帯端末21とサーバ51の構成で説明したが、サーバ51を有さず携帯端末21のみ、例えば、スマートフォンやタブレットのみで本発明の表示システム1を構成しても良い。
また、携帯端末21は、高度データをGPS28又は気圧計35から取得する構成で説明したがこれに限定されない。携帯端末21は、記憶部22に、緯度データと経度データ毎にその場所における地表面の高度データが保存された高度データベースを備え、GPS等から取得した緯度データと経度データを基にこの高度データベースから高度を取得するようにしても良い。
また、付加情報群ファイル生成部66は、取得した付加情報データファイルAFのうち動作情報に「遮蔽物」が設定された付加情報データファイルAFが含まれていると、その遮蔽物コンテンツを用いて、サーバ上でシミュレーションを行い、携帯端末21の向きを考慮した位置から視てこの遮蔽物コンテンツによって完全に覆われるコンテンツに関する付加情報データファイルAFを除外する構成で説明したがこれに限定されない。
例えば、サーバ51の記憶部52には、遮蔽物データベースを更に備えている。この遮蔽物データベースは、緯度データと経度データ毎にその場所における地形の高さ及び建造物の高さまで含んだ高度データが保存されている。
付加情報群ファイル生成部66は、取得した付加情報データファイルAFのうち、遮蔽物データベースに保存されている高度データを基にして、携帯端末21の向きを考慮した位置から視て、完全に見えない付加情報データファイルAFを除外するようにしても良い。
また、本実施例において、付加情報データファイルAFと更新情報データファイルUFを分けて記憶部52に保存する構成で説明したがこれに限定されない。例えば、付加情報データファイルAF'は、コンテンツの初期格納位置、初期表示位置情報、大きさ情報、向き情報、動作情報、実行情報の他、更新情報をも有した構成としても良い。ここで、更新情報とは、時刻毎のコンテンツの格納位置と表示位置情報を有している。
付加情報データファイルAF'に更新情報を持たせた構成の場合は、イベント処理部46でフレームレートに関するイベントが発生する毎に、時計部30で時刻を取得するとともに、記憶部22の一時記憶領域上に保持された付加情報群ファイルAGF'を参照し、更新情報を有するコンテンツ毎に取得した時刻に対応するコンテンツの格納位置と表示位置情報に更新しても良いし、付加情報データ更新部45が、更新情報を有する付加情報データAを、更新情報に基づいて、そのコンテンツの格納位置と表示位置情報を更新するようにしても良い。
また、本実施例において、付加情報データAを付加情報データファイルAFとして記憶部52に記憶し、また更新情報データUを更新情報データファイルUFとして記憶部52に記憶する構成で説明したがこれに限定されない。例えば、それぞれのデータファイルの内容を、記憶部52のデータベース62に格納する構成でも良い。
また、本実施例において、更新情報データファイルUFの内容を全て携帯端末21側でダウンロードする構成で説明したがこれに限定されない。例えば、サーバ51側で更に、更新情報データUのうち現在時刻から所定時間までの更新情報データUを抜き出す更新情報トリミング部を備えるようにしてもよい。
この更新情報トリミング部は、携帯端末21から更新情報データUが要求されると、時計部60から現在時刻を参照し、更新情報データファイルUF又はデータベース62に時刻毎に格納された更新情報データUのうち、現在時刻から指定時間までの更新情報を取得して、更新情報データU又は更新情報データファイルUFを生成する。
本発明の表示システム、表示方法、この表示方法に含まれるステップをコンピュータに実行させるコンピュータプログラム、このコンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体は、本発明の要旨を逸脱しない範囲において種々変更することができる。
1 表示システム
21 携帯端末(端末)
22 記憶部
23 制御部
24 撮像部
25 表示部
26 入力部
27 タッチパネル
28 GPS
30 時計部
31 無線通信部(通信部)
32 ジャイロスコープ
33 加速度センサ
34 電子コンパス
35 気圧計
41 状態判定部
42 位置情報取得部
43 付加情報要求部
44 表示処理部
45 付加情報データ更新部(付加情報更新部)
46 イベント処理部
51 サーバ
52 記憶部
53 制御部
60 時計部
61 無線通信部(通信部)
62 データベース
62A 付加情報テーブル
66 付加情報群ファイル生成部(付加情報群生成部)
67 実時間データ取得部
68 リアルタイムコンテンツ生成部
69 付加情報データファイル更新部(付加情報更新部)
80 コンテンツ
81 遮蔽物コンテンツ
82 円柱の通常コンテンツ
83 三角柱の通常コンテンツ
91 城跡
92 円柱形のビル
93 四角柱形のビル
101 「お城」の3DCGコンテンツ
102 「円柱形のビル」の遮蔽物コンテンツ
103 「四角柱形のビル」の遮蔽物コンテンツ
111 「案内表示板」
112 「案内表示板」
113 「案内表示板」の3DCGコンテンツ
114 「拡張現実工房」の文字コンテンツ
115 「焼き物とは」の画像コンテンツ
116 「制作工程」の動画コンテンツ
117 「焼き物情報」の画像コンテンツ
118 「制作体験コーナ」の画像コンテンツ
119 「湯呑」の3DCGコンテンツ
120 「焼き物に関する説明」の音声コンテンツ
121 「□×ミュージアム」の文字コンテンツ
122 「館内情報」の画像コンテンツ
123 「待ち時間」のリアルタイムコンテンツ
124 「特別展」の画像コンテンツ
125 「アクセス」の画像コンテンツ
126 「体験コース」の画像コンテンツ
127 「予約」の画像コンテンツ
128 「予約」の画像コンテンツ
130 「人力車」の3DCG動画コンテンツ
D 付加情報要求データ
A 付加情報データ(付加情報)
U 更新情報データ(更新情報)
AF 付加情報データファイル
AGF 付加情報群ファイル
AGF' 付加情報群ファイル

Claims (10)

  1. コンテンツを含んだ付加情報を記憶する記憶部を備えたサーバと、
    画像データを生成する撮像部と、画像データを表示する表示部と、位置情報を取得する位置情報取得部と、を備えた端末と、を備え、
    前記端末が前記位置情報取得部で取得した位置情報に基づいて前記サーバの記憶部からコンテンツを含んだ付加情報を取得し、そのコンテンツを前記撮像部で生成した画像データとともに前記表示部に重ねて表示させる表示システムであって、
    前記コンテンツを含んだ付加情報は、
    コンテンツの高さ位置を含んだ表示位置情報と、
    コンテンツの大きさ情報と、
    コンテンツの向き情報と、を含んでいることを特徴とする表示システム。
  2. 前記端末は、
    前記位置情報取得部で取得した位置情報を含んだデータを、前記サーバへ送信してコンテンツを含んだ付加情報を要求する付加情報要求部と、
    前記サーバから取得したコンテンツを、前記付加情報に基づいて、前記撮像部で生成した画像データに重ねて前記表示部に表示させる表示処理部と、を備え、
    前記サーバは、
    前記位置情報を含んだデータを基に前記サーバの記憶部から前記コンテンツを含んだ付加情報を取得し、このコンテンツを含んだ付加情報を基にして付加情報群を生成し、前記端末に送信する付加情報群生成部を備えたことを特徴とする請求項1に記載の表示システム。
  3. 前記付加情報に含まれるコンテンツには、前記表示部に表示される際に、光を透過し、且つ、前記端末側から視るとその先のコンテンツを覆って見えなくする遮蔽物コンテンツを含んだことを特徴とする請求項1又は2に記載の表示システム。
  4. 前記付加情報群生成部は、前記端末の位置から視て前記遮蔽物コンテンツに覆われるコンテンツを含んだ付加情報を除外して、前記付加情報群を生成することを特徴とする請求項1乃至3のいずれか1項に記載の表示システム。
  5. 前記コンテンツを含んだ付加情報は、他のコンテンツへ遷移するための遷移情報を含んでいることを特徴とする請求項1乃至4のいずれか1項に記載の表示システム。
  6. 前記端末は、時刻を提供する時計部を備え、
    前記記憶部は、時刻毎のコンテンツの更新情報が記憶され、
    前記付加情報群生成部は、前記記憶部からコンテンツを含んだ付加情報を取得する際に、前記コンテンツに関連する更新情報も取得し、コンテンツを含んだ付加情報と前記コンテンツに関する更新情報を基に付加情報群を生成し、
    前記表示処理部は、前記時計部で時刻を取得して、前記更新情報を基に時刻に応じた付加情報に更新することを特徴とした請求項1乃至5のいずれか1項に記載の表示システム。
  7. 前記サーバは、
    実時間データを取得する実時間データ取得部と、
    前記実時間データ取得部によって取得した実時間データに基づきリアルタイムコンテンツを生成するリアルタイムコンテンツ生成部と、を更に備え、
    前記端末の前記表示部に表示されるコンテンツには、前記リアルタイムコンテンツ生成部で生成されたリアルタイムコンテンツも含まれていることを特徴とする請求項1乃至6のいずれか1項に記載の表示システム。
  8. コンテンツを含んだ付加情報を記憶部に記憶するステップと、
    画像データを撮像部で生成するステップと、
    位置情報を位置情報取得部で取得するステップと、
    前記位置情報取得部で取得した位置情報に基づいて前記記憶部から前記コンテンツを含んだ付加情報を取得するステップと、
    前記コンテンツを前記撮像部で生成した画像データとともに表示部に重ねて表示させるステップと、を含んだ表示方法であって、
    前記付加情報は、コンテンツの高さ位置を含んだ表示位置情報と、コンテンツの大きさ情報と、コンテンツの向き情報と、を含んでいることを特徴とする表示方法。
  9. 請求項8に記載の表示方法に含まれるステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
  10. 請求項9に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2014244688A 2014-12-03 2014-12-03 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体 Pending JP2016110245A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014244688A JP2016110245A (ja) 2014-12-03 2014-12-03 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014244688A JP2016110245A (ja) 2014-12-03 2014-12-03 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
JP2016110245A true JP2016110245A (ja) 2016-06-20

Family

ID=56122231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014244688A Pending JP2016110245A (ja) 2014-12-03 2014-12-03 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体

Country Status (1)

Country Link
JP (1) JP2016110245A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128815A (ja) * 2017-02-08 2018-08-16 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム
JP2018163509A (ja) * 2017-03-24 2018-10-18 Kddi株式会社 通信端末及び情報配信装置
JP2020013550A (ja) * 2018-05-24 2020-01-23 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
US11196964B2 (en) 2019-06-18 2021-12-07 The Calany Holding S. À R.L. Merged reality live event management system and method
US11471772B2 (en) 2019-06-18 2022-10-18 The Calany Holding S. À R.L. System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
JP7450641B2 (ja) 2020-11-27 2024-03-15 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
JP2011186536A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理法方法およびプログラム
WO2012033095A1 (ja) * 2010-09-06 2012-03-15 国立大学法人東京大学 車両システム
JP2012164157A (ja) * 2011-02-07 2012-08-30 Toyota Motor Corp 画像合成装置
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013225311A (ja) * 2008-12-25 2013-10-31 Panasonic Corp 情報表示装置
JP2014215965A (ja) * 2013-04-30 2014-11-17 株式会社Nttドコモ 情報処理装置、情報処理方法、及び情報処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
JP2013225311A (ja) * 2008-12-25 2013-10-31 Panasonic Corp 情報表示装置
JP2011186536A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理法方法およびプログラム
WO2012033095A1 (ja) * 2010-09-06 2012-03-15 国立大学法人東京大学 車両システム
JP2012164157A (ja) * 2011-02-07 2012-08-30 Toyota Motor Corp 画像合成装置
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014215965A (ja) * 2013-04-30 2014-11-17 株式会社Nttドコモ 情報処理装置、情報処理方法、及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大石 岳史: "3次元計測モデルを利用したMRにおける幾何学的整合性の実現", 日本バーチャルリアリティ学会論文誌 第17巻 第4号, vol. 17, no. 4, JPN6018045063, 31 December 2012 (2012-12-31), JP, pages 399 - 408, ISSN: 0003919548 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128815A (ja) * 2017-02-08 2018-08-16 ソフトバンク株式会社 情報提示システム、情報提示方法及び情報提示プログラム
JP2018163509A (ja) * 2017-03-24 2018-10-18 Kddi株式会社 通信端末及び情報配信装置
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
JP2020013550A (ja) * 2018-05-24 2020-01-23 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
US11196964B2 (en) 2019-06-18 2021-12-07 The Calany Holding S. À R.L. Merged reality live event management system and method
US11202036B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Merged reality system and method
US11202037B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Virtual presence system and method through merged reality
US11245872B2 (en) 2019-06-18 2022-02-08 The Calany Holding S. À R.L. Merged reality spatial streaming of virtual spaces
US11471772B2 (en) 2019-06-18 2022-10-18 The Calany Holding S. À R.L. System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
US11665317B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
JP7450641B2 (ja) 2020-11-27 2024-03-15 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム

Similar Documents

Publication Publication Date Title
US11967029B2 (en) Media tags—location-anchored digital media for augmented reality and virtual reality environments
JP2016110245A (ja) 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US8812990B2 (en) Method and apparatus for presenting a first person world view of content
US8543917B2 (en) Method and apparatus for presenting a first-person world view of content
US9699373B2 (en) Providing navigation information to a point of interest on real-time street views using a mobile device
KR101962394B1 (ko) 맵 지형지물의 현저성-기반 발생 및 렌더링
CA2804634C (en) 3d layering of map metadata
US20120221552A1 (en) Method and apparatus for providing an active search user interface element
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
KR20170046675A (ko) 경로 중단이 감소된 내비게이션 검색 결과의 제공 기법
CN104598504A (zh) 电子地图的信息显示控制方法和装置
CN107656961B (zh) 一种信息显示方法及装置
JP5952667B2 (ja) メッセージ管理装置、メッセージ管理方法およびプログラム
JP2014519606A (ja) 短距離において複数の曲がり角を曲がるための支援を備えるナビゲーションシステム
WO2016005799A1 (en) Social networking system and method
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
KR102120786B1 (ko) 제약없는 시공간 위치 기반 비디오 컨텐츠를 제공하는 방법 및 장치
US9354076B2 (en) Guiding server, guiding method and recording medium recording guiding program
JP5432001B2 (ja) 情報提示システム、情報提示方法及びプログラム
JP2011060254A (ja) 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
JP2016200884A (ja) 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム
TW201305985A (zh) 行動運算裝置的內容提供方法
JP6431494B2 (ja) ユーザ端末、及びプログラム
JP5906135B2 (ja) 地図画像生成装置及びプログラム
JP6575888B1 (ja) 地域情報表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521