JP2010238096A - 端末装置、拡張現実感システム及び端末画面表示方法 - Google Patents

Abstract

【課題】カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能な端末装置、拡張現実感システム及び端末画面表示方法を提供する。
【解決手段】制御部１０８は、カメラ部１０６の姿勢及び角度に基づいて拡張現実感情報の表示位置を決定してから変位した変位量を方位センサ１０４により検出し、変位量が閾値を超えた場合に表示位置を再決定して再描画する端末装置１００であって、端末装置１００からの距離がＬ１以上の拡張現実感情報については、変位量がθ１を超えた場合に再描画する処理を行うとともに、距離がＬ１未満の拡張現実感情報については、変位量がθ１より大きいθ２を超えた場合に再描画する処理を行う。
【選択図】図２

Description

本発明は、端末装置、拡張現実感システム及び端末画面表示方法に関するものである。

従来、携帯電話事業において用いられる移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したＰＤＣ方式やＧＳＭ方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種通信サービスを実現するＷ−ＣＤＭＡ等の第三世代へと発展してきている。また、このような通信技術を用いた移動体通信端末においてもＣＰＵ等のプロセッサ、メモリ、各種周辺デバイス及び実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的に進歩してきている。

このように、移動体通信及び通信端末に関する技術が高度に進歩してきたことにより、音声通話に加えて、テレビ通話、電子メール、Ｗｅｂブラウジング、チャット等の様々な通信サービスが携帯電話端末で実現されている。また、多機能化した通信端末には、液晶／有機ＥＬ表示モジュール、カメラモジュール、非接触ＩＣカードモジュール、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、ＷｉＦｉ（登録商標）通信モジュール、ＧＰＳモジュールのような各種デバイスが搭載されている。

更に、通信端末の多機能化は搭載されるソフトウェアの面においても進歩してきており、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューア、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、ＰＩＭ等のアプリケーションソフトが端末のオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行可能とすることで極めて高度な機能の実現が可能となっている。

一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や、現実空間の映像をコンピュータで処理して更なる情報を付加する拡張現実感（ＡＲ；Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する研究が進められており、特に最近では、拡張現実感技術（ＡＲ技術）が注目されている。このＡＲ技術を用いた拡張現実感の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話端末を利用したものを挙げることができる。

例えば、米国ＭＯＢＩＬＩＺＹ社は、携帯電話端末用オープンプラットフォームの一つであるＡｎｄｒｏｉｄ（登録商標）向けに、カメラでキャプチャーされた実空間の風景映像に対して観光情報を重畳して表示するトラベルガイド機能を有するアプリケーション製品を提供している。このアプリケーションは、通信端末の位置情報（例えば、ＧＰＳ測位またはユーザの手入力による位置情報）を情報提供サーバに対して通信端末に送信させて、この情報提供サーバに予め登録された情報から通信端末の周辺の観光情報をこの情報提供サーバから通信端末に受信させる。そして、このアプリケーションは、通信端末に受信させた観光情報を、実空間の風景映像に対して重畳して表示させることにより、拡張現実感を実現するものである。

また、例えば、下記の特許文献１には、カメラを景色の方向に向けて光学イメージを形成するとともに、カメラの位置及び光軸の姿勢を測定して、測定された位置及び姿勢によって定められる記憶された電子イメージと、カメラによって得られた光学イメージとを結合させて表示する技術が開示されている。

特許第３７０００２１号公報

カメラで得られた光学イメージに対して付加情報を重畳する上記の拡張現実感技術においては、光学イメージにおける適切な位置に付加情報を重畳することが望まれる。このため、カメラが移動する場合、例えば方位センサによりカメラの姿勢や角度を精度よく監視し、検出された姿勢や角度の変位量に応じて付加情報の重畳位置を適切に再決定して、再描画することが行われる。

しかしながら、付加情報の重畳位置を適切に再決定して再描画する処理が与えるシステム負荷は無視できるものではなく、移動するカメラで実空間の映像を連続的に取得しながら付加情報を重畳しようとすると、システム負荷により処理がスムーズに行われず連続的な画面描画が不可能となることがあった。このようなシステム負荷は、内蔵メモリや処理能力の面の制限を有する携帯電話端末では特に顕著となり得る問題である。また、処理自体はスムーズに行われていても、重畳される付加情報が過剰であると表示画面がチラついて見にくくなってしまうという問題もある。

そこで本発明は、上記問題点を解消する為になされたものであり、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能な端末装置、拡張現実感システム及び端末画面表示方法を提供することを目的とする。

上記課題を解決するため、本発明に係る端末装置は、実空間の映像を連続的に取得するカメラ部と、カメラ部の姿勢および角度を検出する方位センサと、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、制御部は、カメラ部の姿勢および角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示するとともに、表示位置を決定してからカメラ部の姿勢および角度が変位した変位量を方位センサにより検出し、変位量が閾値を超えた場合に拡張現実感情報の表示位置を再決定して再描画する処理を行う端末装置であって、制御部は、当該端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する処理を行うことを特徴とする。

この構成では、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する。このため、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理が行われる。ここで、端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に、表示位置を再決定して再描画するため、単に第一所定量を超えただけで第二所定量との比較とは無関係に表示位置を再決定して再描画する場合に比べて、システム負荷を低減することが可能になる。この結果、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報としての拡張現実感情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能になる。

上記構成においては、制御部は、拡張現実感情報を当該端末装置からの距離が第一所定距離未満のグループと、第一所定距離以上のグループとに区分し、グループ毎に位置決め及び描画する処理を行うのも好ましい。これにより、グループ毎に位置決め及び描画するため、個々の拡張現実感情報の位置決め及び描画する処理を行う場合よりも、再描画する際のシステム負荷をより低減することが可能になる。

また、制御部は、当該端末装置からの距離が第一所定距離より大きい第二所定距離以上の拡張現実感情報については、変位量が第一所定量より小さい第三所定量を超えた場合に表示位置を再決定して再描画する処理を行うのも好ましい。これにより、端末装置からの距離が第一所定距離より大きい第二所定距離以上の拡張現実感情報については、変位量が第一所定量より小さい第三所定量を超えた場合に表示位置を再決定して再描画する。この結果、端末装置からの距離がより長くなったことにより、上記の変位量が拡張現実感情報の表示位置に与える影響もより大きくなるため、単に第一所定量を超えるまで再描画しない場合に比べて、付加情報をより適切な位置に重畳することが可能になる。

また、制御部は、拡張現実感情報を当該端末装置からの距離が第一所定距離未満のグループと、第一所定距離以上且つ第二所定距離未満のグループと、第二所定距離以上のグループとに区分し、グループ毎に位置決め及び描画する処理を行うのも好ましい。これにより、グループ毎に位置決め及び描画するため、個々の拡張現実感情報の位置決め及び描画する処理を行う場合よりも、再描画する際のシステム負荷をより低減することが可能になる。

また、制御部が拡張現実感情報の表示位置を再決定する処理は、方位センサの検出したカメラ部の姿勢および角度が変位した変位量に応じて、現在の表示位置をシフトすることにより行うのも好ましい。これにより、拡張現実感情報を再描画する際に、拡張現実感情報の消去、再表示位置の決定、及び再描画を行う場合よりも、表示位置をシフトさせるだけでよいため、再描画する際のシステム負荷をより低減することが可能になる。

本発明に係る拡張現実感情報システムは、表示部により画面を表示する端末装置と、端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える拡張現実感情報システムであって、サーバは、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する処理を行う、サーバ制御部を備えることを特徴とする。

この構成では、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する。このため、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理が行われる。ここで、端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に、表示位置を再決定して再描画するため、単に第一所定量を超えただけで第二所定量との比較とは無関係に表示位置を再決定して再描画する場合に比べて、システム負荷を低減することが可能になる。この結果、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報としての拡張現実感情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能になる。

本発明に係る端末画面表示方法は、表示部により画面を表示する端末装置と、端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える拡張現実感情報システムにおいて行なわれる端末画面表示方法であって、サーバが、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する処理を行う、ステップを有することを特徴とする。

この構成では、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理を行うとともに、当該端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に表示位置を再決定して再描画する。このため、端末装置からの距離が第一所定距離以上の拡張現実感情報については、変位量が第一所定量を超えた場合に表示位置を再決定して再描画する処理が行われる。ここで、端末装置からの距離が第一所定距離未満の拡張現実感情報については、変位量が第一所定量より大きい第二所定量を超えた場合に、表示位置を再決定して再描画するため、単に第一所定量を超えただけで第二所定量との比較とは無関係に表示位置を再決定して再描画する場合に比べて、システム負荷を低減することが可能になる。この結果、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報としての拡張現実感情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能になる。

本発明によれば、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能な端末装置、拡張現実感システム及び端末画面表示方法を提供することができる。

端末装置と拡張現実感サーバとを含む拡張現実感システムの構成を概略的に示した構成図である。 端末装置の主な機能構成を示した機能ブロック図である。 記憶部が記憶している拡張現実感情報のうち位置情報コンテンツのリストの一例である。 画面表示の一例である。 画面表示の一例である。 カメラ部の角度ズレによって遠点に位置ズレが生じる態様を示すモデル図、及び、角度ズレに応じて遠点に生じる位置ズレを算出した結果を示す図表である。 端末装置からの距離と、アイコン配置の許容幅と、許容幅を満たすズレ角度とに関する調査結果の図表である。 拡張現実感サーバの主な機能構成を示した機能ブロック図である。 端末装置の動作を示したフローチャートである。 端末装置の主な物理構成を示した物理ブロック図である。 拡張現実感サーバの主な物理構成を示した物理ブロック図である。

以下、添付図面を参照しながら、本発明を実施するための最良の形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。

（１）端末装置を含む拡張現実感情報システムの構成
まず、本発明の実施形態に係る端末装置を含む拡張現実感情報システムの構成について、図１を用いて説明する。図１は、本発明の実施形態に係る端末装置１００と、端末装置１００に拡張現実感情報を提供する拡張現実感サーバ３００とを含む拡張現実感システム１の構成を概略的に示した構成図である。なお、拡張現実感情報とは、カメラで得られた光学イメージに対して重畳表示されて説明を行なうための付加情報である。

端末装置１００は、基地局１４０等を経由して通信網１５０と通信接続することによって通信を行う携帯電話端末等のモバイル端末であり、後述するようにイメージ取得機能を備えたカメラ部及びイメージ表示機能を備えた表示部等を備えている。

拡張現実感サーバ３００は、通信網１５０と通信接続されたネットワーク２００と通信接続されたサーバコンピュータシステムである。拡張現実感サーバ３００は、同様にネットワーク２００と通信接続された外部サーバである地図情報サーバ３５１、経路情報サーバ３６１、及び位置情報コンテンツサーバ３７１並びに端末装置１００と通信可能な構成となっている。

このような構成の拡張現実感システム１は、端末装置１００のユーザによって実空間に向けられたカメラ部で取得された画像に、拡張現実感サーバ３００が提供する付加情報を重畳表示することにより、このユーザに拡張現実感を与えるサービスを提供するものである。なお、拡張現実感とは、カメラで得られた光学イメージに対して付加情報を付加することにより得られる、仮想空間をより現実的に捉えることができる感覚である。以下、端末装置１００及び拡張現実感サーバ３００について詳細に説明する。

（２）端末装置の構成
引き続き、端末装置１００の構成について、図２及び図１０を用いて説明する。図２は、本発明の実施形態に係る端末装置１００の主な機能構成を示した機能ブロック図であり、図１０は、端末装置１００の主な物理構成を示した物理ブロック図である。図１０に示すように、端末装置１００は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、操作部１４、無線通信部１５、ディスプレイ１６、及びアンテナ１７等のハードウェアにより構成されている。これらの構成要素が動作することにより、端末装置１００の後述の機能が発揮される。

端末装置１００は、図２に示すように、当該端末装置１００の位置情報を取得する位置情報取得部１０１（取得手段）と、画面を表示する表示部１０２（表示手段）と、ユーザの入力を受け付ける入力部１０３（入力手段）と、端末が向いている方位を検出する方位センサ１０４（検出手段）と、通信網１５０と接続して通信を行う通信部１０５（通信手段）と、実空間の映像を連続的に取得するカメラ部１０６（撮像手段）と、所定のプログラム及びデータを記憶する記憶部１０７（記憶手段）と、各部の動作を制御するとともに所定の情報処理機能を実現する制御部１０８（制御手段）とを備えて構成されている。

位置情報取得部１０１は、例えば、複数のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信して、それらの強度から現在の位置情報を取得するＧＰＳモジュールを利用することができる。また、このＧＰＳ方式に加えて通信部１０５を介して通信網１５０と通信することにより、端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測定を行うＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）方式に対応したモジュールを利用することが可能であり、これを利用すれば、位置情報をより高速かつ正確に取得することができるので好適である。

ただし、位置情報取得部１０１は上記のＧＰＳまたはＡＧＰＳを利用するものに限られず、ＧＰＳに依存することなく位置情報を取得する構成とすることも可能である。例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信基地局を空間内に複数配設し、それらからの電波強度により位置情報を取得する方式を利用してもよいし、このような方式をＧＰＳないしはＡＧＰＳに併用する方式を利用することも可能である。

表示部１０２は、液晶表示装置または有機液晶表示装置であって、端末装置１００の動作状態や、端末装置１００を操作するためのユーザインターフェイス等を制御部１０８の制御下で表示するものである。端末装置１００においては、後述する動作に従って、カメラ部１０６により取得した実空間の映像に拡張現実感サーバ３００から取得した付加情報を重畳して表示することにより拡張現実感をユーザに提供する。

入力部１０３は、端末装置１００の筐体に設けられたキーパッド、並びにその他ボタン等の入力装置であり、ユーザが操作することにより各キー又はボタンに応じた信号であるキーイベントが制御部１０８に通知され、種々の操作ないしは制御に利用される。

方位センサ１０４は、自分が向いている方向やカメラ部１０６の姿勢及び角度を検出し、それに相当する信号を制御部１０８に出力するモジュールである。制御部１０８は、方位センサ１０４の検出値からユーザが端末装置１００を保持している姿勢・角度を認識することが可能である。このような方位センサ１０４には複数の地磁気センサを組み合わせたものを利用することが可能であり、更に地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサや、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサ、また、加速度センサの代わりにジャイロを用いたもの等は、いずれもモーションセンサとして方位センサ１０４に利用することができる。このようにモーションセンサを利用した場合、端末装置１００の姿勢・角度に関する情報だけでなく、ユーザが端末装置１００を動かしたり傾けたりした動作の向き及び速さを検出することが可能となる。

通信部１０５は、通信網１５０と通信接続して、他の端末装置やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の端末装置と通信接続して行う回線交換型通信や、通信網１５０を介してネットワーク２００に接続されたサーバシステムと通信接続して行うパケット交換型通信等を挙げることができる。また、ＡＧＰＳ方式により当該端末装置１００の位置情報を取得する場合、通信部１０５は位置情報取得部１０１と協調動作して位置情報の取得を補助する。

カメラ部１０６は、所定の光学系及び受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。端末装置１００でデジタル画像を撮影する際には、起動されたカメラ部１０６は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部１０２に表示することによりライブビュー機能を実現する。そして、その状態でユーザが更に入力部１０３で所定の操作を行うことにより、カメラ部１０６は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部１０７に記憶保存される。拡張現実感システム１は、上述のライブビュー機能により表示部１０２に表示される実空間映像に拡張現実感をもたらす情報を重畳表示するものである。

記憶部１０７は、所定の情報を制御部１０８の制御下で記憶し、また記憶している情報を制御部１０８に提供するためのメモリである。また、記憶部１０７は、制御部１０８で実行される種々のプログラムを記憶しており、制御部１０８はこれを適宜読み出して実行する。記憶部１０７は、一様な構成である必要はなく、ＲＯＭ、ＲＡＭ、Ｆｌａｓｈ ＲＯＭ等の各種メモリを適宜組み合わせて構成することが可能であり、更にＨＤＤのような二次記憶装置を組み合わせるようにしても構わない。なお、端末装置１００に付与された固有の端末ＩＤもその他のデータとともに記憶部１０７に記憶されている。

また、記憶部１０７は、後述する拡張現実感サーバ３００から提供された種々の拡張現実感情報を記憶している。図３には、記憶部１０７が記憶している拡張現実感情報のうち位置情報コンテンツのリストを一例として示す。位置情報コンテンツは、位置情報に関連付けられており、端末装置１００からのリクエストに応じて拡張現実感サーバ３００により位置情報コンテンツサーバ３７１から取得され、端末装置１００にレスポンスとして返したものである。記憶部１０７のリストには、各位置情報コンテンツについて、コンテンツＩＤ、コンテンツタイプ、コンテンツ名及び当該端末装置１００の位置情報を含み、更に端末装置１００の現在の端末位置からの距離、視野角内か否かの項目が設けられている。このうち、距離と視野角以外の項目については、拡張現実感サーバ３００から取得した情報がそのまま記録されており、距離及び視野角の項目については、端末装置１００の制御部１０８が算出及び判断した結果が記録されている。

制御部１０８は、不図示のＣＰＵ上で記憶部１０７に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、端末装置１００の位置情報取得部１０１、表示部１０２、入力部１０３、方位センサ１０４、通信部１０５、カメラ部１０６及び記憶部１０７といった各機能ブロックとの間でデータ及び制御信号をやり取りすることにより、端末装置１００の各種機能を実現するものである。

また、制御部１０８は、位置情報取得部１０１が取得した当該端末装置１００の位置情報を送信してリクエストすることにより拡張現実感サーバ３００から当該端末装置１００の位置情報に応じた拡張現実感情報のレスポンスを受けて、拡張現実感をユーザに提供する。この場合に特徴的な機能として、カメラ部１０６の姿勢及び角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部に表示する処理を行う。

更に、制御部１０８は、この表示位置を決定してからカメラ部の姿勢及び角度が変位した変位量を方位センサ１０４により検出し、変位量が閾値を超えた場合に拡張現実感情報の表示位置を再決定して再描画する処理を行うことが可能である。以下、これらの処理について詳細に説明する。

（３）制御部による処理の詳細
引き続き、カメラ部１０６の姿勢及び角度に基づいて拡張現実感情報の表示位置を決定し、実空間の映像に重畳して表示部１０２に表示する処理について説明する。この処理では、まず、方位センサ１０４の検出値からカメラ部１０６の向いている姿勢・方向を導出し、カメラ部１０６の水平方向視野角及び垂直方向視野角に基づいて、記憶部１０７が記憶している拡張現実感情報がカメラ部１０６の視野に入るか否かを判断し、この判断結果に関する情報を拡張現実感情報のリストに記録する（図３参照）。

続いて、視野に入ると判断された拡張現実感情報について、端末装置１００の現在の位置を原点とした座標空間に配置したと想定し、原点の所定高さを中心点としてカメラの水平方向視野角及び垂直方向視野角並びに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置と決定する。ここで、透過投影する中心点の高さについては、ユーザが立った状態で端末装置１００を使用する状況を再現するために、１．５ｍ程度の高さとすることが好適である。また、端末装置１００が位置情報取得部１０１等により現在位置の高度情報を検出可能な場合には、検出された高度に応じた高さに中心点を設定してもよい。

上記処理の後、決定された表示位置に各拡張現実感情報を描画することにより実空間映像に重畳させて表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報が所定位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部１０２に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。この際、拡張現実感情報の表示としては、アイコンや、情報バルーンや、サブウィンドウ等の態様が考えられるが、ここでは、拡張現実感情報はアイコン（又は情報バルーン）であるとして説明する。

なお、拡張現実感情報をアイコンとして表示することにより画面の煩雑化は避けられるが、画面に表示される情報量が減ってしまうため、例えば拡張現実感情報の種類に応じて外観の異なるアイコンを使い分けるようにしてもよい。図４（ａ）、（ｂ）、（ｃ）は、拡張現実感情報を丸形のアイコンで表示する画面の例を示したものである。図４（ａ）は、カメラ部１０６の取得した実空間の映像を示し、図４（ｂ）は、前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示し、図４（ｃ）は、これらを重畳して表示した画面である。また、図５（ａ）、（ｂ）、（ｃ）は、拡張現実感情報を情報バルーンで表示した場合について同様に示したものである。

（４）変位量が閾値を越えた場合の処理の詳細
引き続き、表示位置を決定してからカメラ部１０６の姿勢及び角度が変位した変位量を方位センサ１０４により検出し、変位量が閾値を超えた場合に拡張現実感情報の表示位置を再決定して再描画する処理について説明する。上記のように実空間映像に拡張現実感情報を重畳して表示する処理を利用して拡張現実感をユーザに提供する際には、カメラ部１０６で実空間の映像を連続的に取得して表示部１０２に表示するライブビュー機能が併用される。従って、刻一刻と変化するカメラ部１０６の姿勢・角度の変位に応じて拡張現実感情報を重畳する位置を適切に制御する必要がある。このためカメラ部１０６における姿勢及び角度の変化量を方位センサ１０４で検出し、閾値を超えた場合に再描画する処理を行う。

しかしながら、重畳する拡張現実感情報の全てについて再位置決めして再描画する処理を過剰に繰り返すことは、システム負荷及びユーザエクスペリエンスの面で好ましくない。図６（ａ）は、カメラ部１０６の角度ズレαによって遠点に位置ズレｄが生じる態様を示すモデル図であり、図６（ｂ）は、角度ズレαに応じて遠点に生じる位置ズレｄを算出した結果を示す図表である。図６（ａ）及び図６（ｂ）に示すように、角度ズレαの大きさが同じであっても、端末装置１００の現在地から対象物までの距離が小さくなるほど位置ズレｄは小さくなる。

例えば、１０°の角度ズレαが生じると、端末装置１００の現在地から５００ｍ地点での位置ズレｄは約８８ｍに達するが、端末装置１００の現在地から１０ｍ地点での位置ズレｄは約１．７ｍに過ぎない。従って、１０ｍ四方の対象物に情報を重畳している状態でこのような角度ズレαが生じた場合、端末装置１００の現在地から対象物までの距離が５００ｍであれば情報を重畳している位置が大きくズレるため再描画の必要があるが、端末装置１００の現在地から対象物までの距離が１０ｍであればその必要は認められない。即ち、近距離にある対象物についての拡張現実感情報は、カメラ部１０６の姿勢角度が変化しても頻繁に書き換える必要はないのである。

そこで、端末装置１００においては、端末装置１００からの距離が所定値Ｌ１（第一所定距離）以上の拡張現実感情報については、上記の変位量がθ１（第一所定量）を超えた場合に表示位置を再決定して再描画する処理を行うとともに、端末装置１００からの距離が所定値Ｌ１未満の拡張現実感情報については、上記の変位量がθ１より大きいθ２（第二所定量）を超えた場合に表示位置を再決定して再描画する処理を行う。即ち、比較的近距離の地点に関連付けられた拡張現実感情報を再描画するか否かを決定するための閾値θ２を、比較的遠距離の地点に関連付けられた拡張現実感情報を再描画するか否かを決定するための閾値θ１よりも大きく設定している。

このようにすることで、近距離地点に関連付けられた拡張現実感情報を再描画する頻度が低減され、システム負荷を軽減することができ、また頻繁な再描画により画面が見にくくなることも防止することができる。更に、端末装置１００からの距離が所定値Ｌ１より大きい所定値Ｌ２（第二所定距離）以上の拡張現実感情報については、上記の変位量がθ１より小さいθ３（第三所定量）を超えた場合に表示位置を再決定して再描画する処理を行ってもよい。また、それ以上に更に細かく区分して、本発明の主旨の範囲内で個々に閾値を設定するようにしても構わない。

このような機能を実現するため、制御部１０８は、拡張現実感情報を、端末装置１００からの距離がＬ１未満の近距離グループと、Ｌ１以上の遠距離グループとに区分し、グループ毎に位置決め及び描画する処理を行ってもよい。この場合、実空間の映像上に、近距離グループを描画したレイヤーと、遠距離グループを描画したレイヤーとを重ね合わせた表示画面とすることもできる。更に、制御部１０８は、拡張現実感情報を、端末装置１００からの距離がＬ１未満の近距離グループと、Ｌ１以上且つＬ２未満の中距離グループと、Ｌ２以上の長距離グループとに区分してもよく、それ以上に更に細かく区分することも可能である。

（５）閾値の具体的な設定の一例
引き続き、閾値の具体的な設定の一例について、図７を用いて説明する。図７は、端末装置１００から５０ｍ、１００ｍ、４００ｍの各地点に１０ｍ幅の対象物があり、カメラ部１０６で撮影した対象物の映像に制御部１０８がアイコンを重畳した場合におけるアイコン配置の許容幅Ａと、許容幅Ａを満たすズレ角度θについて、特定規格のカメラ部１０６及び表示部１０２をモデルとして調査した結果の図表である。モデルとしたカメラ部１０６は視野水平角５２°、視野垂直角３６°であり、表示部１０２はＨＶＧＡの３インチ液晶である。この場合、表示部１０２上の対象物サイズは、透過投影法により図７に記載したように算出される。

ここで、拡張現実感情報を近距離グループ、中距離グループ、遠距離グループに区分し、更に表示上の演出として遠距離の対象物に関連付けられた情報のアイコンを小さくすることを加味すると、水平方向におけるアイコン表示位置に許容される幅Ａは、それぞれ２１．１２ｍｍ、１２．５６ｍｍ、５．６４ｍｍとなる。ここで、５０ｍ、１００ｍ、４００ｍの各地点を撮影した場合に、表示部１０２上にこれだけの位置ズレを生じさせるズレ角度θを求めたところ、１８．４５°、１０．９７°、４．９２８°となる。初期の段階で対象物の中心にアイコンが重畳されていると仮定すると、そこから許容されるズレ角度θは、それぞれ上記の１／２となる。

この結果を考慮に入れて、上記した条件の端末装置１００では、例えば拡張現実感情報を端末までの距離５０ｍ未満の近距離グループ、５０ｍ以上４００ｍ未満の中距離グループ、４００ｍ以上の遠距離グループに区分し、近距離グループを再描画するカメラ角度変位量の閾値を１０°、中距離グループの閾値を６°、長距離グループの閾値を２．５°と設定することができる。ただし、端末装置１００の撮像手段となるレンズ及び撮像デバイスの画角と解像度、並びに表示手段となる画面のサイズや解像度に応じて描画位置が算出されることになる。

（６）拡張現実感サーバの構成
引き続き、拡張現実感サーバ３００の構成について、図８及び図１１を用いて説明する。図８は、本発明の実施形態に係る拡張現実感サーバ３００の主な機能構成を示した機能ブロック図であり、図１１は、拡張現実感サーバ３００の主な物理構成を示した物理ブロック図である。図１１に示すように、拡張現実感サーバ３００は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、通信モジュール３４、及びハードディスク等の補助記憶装置３５等のハードウェアにより構成されている。これらの構成要素が動作することにより、拡張現実感サーバ３００の後述の機能が発揮される。

拡張現実感サーバ３００は、端末装置１００と通信可能に構成され、拡張現実感情報を有する常駐サーバシステムであり、且つ、Ｗｅｂサーバが常駐するサーバである。拡張現実感サーバ３００は、通信部３０１（装置通信手段）、制御部３１０（装置制御手段）、及びユーザＤＢ３１６（装置格納手段）を備えて構成されている。

より詳しくは、拡張現実感サーバ３００は、端末装置１００からのリクエストを通信網１５０及びネットワーク２００を介して受け付け、必要に応じてネットワーク２００に接続された地図情報サーバ３５１、経路情報サーバ３６１、又は位置情報コンテンツサーバ３７１からデータを取得して、拡張現実感情報を端末装置１００に送信することによってレスポンスする処理を行う。

通信部３０１は、ネットワークに接続して端末装置１００、地図情報サーバ３５１、経路情報サーバ３６１、及び位置情報コンテンツサーバ３７１といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。ユーザＤＢ３１６は、拡張現実感サーバ３００のシステム領域内にあるデータベースマシンであり、端末装置１００から受け付けた端末装置１００の端末ＩＤ、位置情報、及びハンドル名等サービス利用者や利用端末を特定可能な情報を関連付けて記録し、管理する。

制御部３１０は、不図示のＣＰＵで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。制御部３１０は、より詳細には、地図情報サーバ３５１から地図データを取得する地図データ取得部３１１、経路情報サーバ３６１から経路データを取得する経路データ取得部３１２、位置情報コンテンツサーバ３７１から位置情報コンテンツを取得する位置情報コンテンツ取得部３１３、及びユーザＤＢ３１６にアクセスするユーザデータ部３１５を有して構成されている。

これら地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３、及びユーザデータ部３１５は、いずれも端末装置１００から送信されたリクエストに基づき、対応するＣＧＩプログラムである拡張現実感サーバＡＰＩを呼び出すことにより所定の処理を行うものである。以下、地図データ取得部３１１、経路データ取得部３１２、及び位置情報コンテンツ取得部３１３について詳細に説明する。

地図データ取得部３１１は、 端末装置１００が地図データを要求した場合に呼び出されるＡＰＩであり、端末装置１００から送信された位置情報を中心とした所定範囲についての地図データを公開ＡＰＩを利用して地図情報サーバ３５１に要求する。これに応じて地図情報サーバ３５１が地図情報ＤＢ３５２から対応する地図データを抽出して拡張現実感サーバ３００に返却し、拡張現実感サーバ３００は取得した地図データを端末装置１００で表示可能なデータ形式として端末装置１００にリプライする。この際、端末装置１００が地図データをリクエストする際に、地図データの範囲及び縮尺をパラメータとして指定している場合、これらを指定して地図情報サーバ３５１が公開しているＡＰＩを呼び出す処理を行う。

経路データ取得部３１２は、端末装置１００が経路データを要求した場合に呼び出されるＡＰＩであり、端末装置１００が位置情報取得部１０１で取得された位置情報を始点として、併せて送信された位置情報を終点とした経路データを経路情報サーバ３６１に要求する。これに応じて経路情報サーバ３６１が経路情報ＤＢ３６２から対応する経路データを生成して拡張現実感サーバ３００に返却送信し、拡張現実感サーバ３００は取得した経路データを端末装置１００で対応可能なデータ形式として端末装置１００にリプライ送信する。この際、経路情報サーバ３６１が総所要時間及び総料金を算出して経路データに付加してリプライ送信してもよい。

位置情報コンテンツ取得部３１３は、端末装置１００が位置情報コンテンツを要求した場合に呼び出されるＡＰＩである。ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点等について、それらの位置情報と関連付けられた当該施設の情報をいう。例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページＵＲＬ、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダーの提供するサービスによって公開されている。

位置情報コンテンツ取得部３１３は、端末装置１００の位置情報取得部で取得された端末装置１００の位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダー等により公開されている位置情報コンテンツサーバ３７１に要求する要求信号を送信する。これに応じて位置情報コンテンツサーバ３７１が位置情報コンテンツＤＢ３７２から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ３００に返却送信し、拡張現実感サーバ３００は取得した位置情報コンテンツを端末装置１００で利用可能なデータ形式に編集処理して端末装置１００にリプライ送信する。

この際、位置情報コンテンツ取得部３１３は、複数の位置情報コンテンツサーバ３７１に対して位置情報を要求する要求信号を送信することができ、この場合に拡張現実感サーバ３００は複数の位置情報コンテンツサーバ３７１からのリストを共通フォーマットに統合処理して端末装置１００にリプライ送信する。また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ３７１を登録しておけば、端末装置１００から要求のあった分野についてのみ位置情報コンテンツを要求する要求信号を送信することも可能である。

また、ユーザＤＢ３１６には別の端末装置の端末ＩＤ及び位置情報がユーザのハンドル名とともに記録されているが、かかる内容も位置情報と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。即ち、位置情報コンテンツ取得部３１３からユーザデータ部３１５に対して、端末装置１００の現在位置から所定距離内の位置情報に関連付けて記録されているユーザのハンドル名を要求する要求信号を送信させ、ユーザデータ部３１５がこれに応じてユーザＤＢ３１６から抽出したハンドル名のリストを拡張現実感サーバ３００に返却送信し、拡張現実感サーバ３００から端末装置１００へ共通フォーマットでリプライ送信すれば、他の位置情報コンテンツとともにコンテンツとして利用可能である。

（７）拡張現実感システムにおける端末装置の動作
引き続き、拡張現実感システム１における端末装置１００の動作について、図９を用いて説明する。図９は、端末装置１００の動作を示したフローチャートである。なお、ここでは、拡張現実感情報の遠距離グループを再描画するか否かを決定するための閾値θ３、中距離グループを再描画するか否かを決定するための閾値θ１、近距離グループを再描画するか否かを決定するための閾値θ２は、θ３＜θ１＜θ２の関係を満たしている。

この動作は、ユーザが端末装置１００の入力部１０３を操作して拡張現実感プログラムを起動することにより開始され、まずカメラ部１０６及び各種センサ（特に、位置情報取得部１０１及び方位センサ１０４）が起動され、初期画面にライブビュー表示が開始される（ステップＳＴ１０１）。ライブビュー表示は、常法に従って、起動されたカメラ部１０６の光学系により取得された被写体像から所定露光時間で受像素子により映像データを生成し、当該データを表示部１０２に表示させる処理を所定時間間隔で繰り返すことにより行われる。続いて、位置情報取得部１０１の検出値より端末装置１００の現在位置に係る位置情報が取得される（ステップＳＴ１０２）。

次に、端末装置１００が、ステップＳＴ１０２で取得した位置情報を拡張現実感サーバ３００へ送信して、拡張現実感情報をリクエストするリクエスト信号を送信し（ステップＳＴ１０３）、拡張現実感サーバ３００によりレスポンスされた端末装置１００周辺の拡張現実感情報のリストを受信して、記憶部１０７に記録する（ステップＳＴ１０４）。

次に、端末装置１００が、ステップＳＴ１０４で受信したリストの拡張現実感情報について、方位センサ１０４で検出されたカメラ部１０６の姿勢及び角度の情報と、ステップＳＴ１０２で取得された位置情報とに基づいて、リストに記載された情報の関連付けられた地点がカメラ部１０６の視界に入るかを個々に判定し、その結果を記憶部１０７に記憶された拡張現実感情報のリストに記録する（ステップＳＴ１０５）。

次に、端末装置１００が、各情報の関連付けられた地点と端末装置１００との距離を算出して記憶部１０７に記憶されたリストに記録し（ステップＳＴ１０６）、端末装置１００との距離に応じて情報を近距離グループ、中距離グループ、長距離グループに区分してリストに記録する（ステップＳＴ１０７）。

次に、端末装置１００が、端末装置１００の現在位置を原点とした座標空間に、抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角及び垂直方向視野角並びに映像サイズに基づいて、原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、矩形平面上に透過投影された位置をもって拡張現実感情報の表示位置と決定する（ステップＳＴ１０８）。そして、端末装置１００が、表示部１０２の当該描画位置に拡張現実感情報を描画し、ライブビュー画面に重畳して表示する（ステップＳＴ１０９）。

以上の動作により、実空間の映像に拡張現実感情報を重畳して表示する動作が行われ、ユーザに拡張現実感を提供するサービスを実現することが可能になる。以降の動作では、ユーザが端末装置１００を傾けたり移動させたりしながら実空間をスキャンしている間に、拡張現実感情報を適切な位置に重畳するための処理が行われる。

ここでは、まず端末装置１００のタイマｔがカウントを開始し（ステップＳＴ１１０）、終了指示の有無が確認される（ステップＳＴ１１１）。ここで終了指示があったと判断された場合、一連の動作が終了する。一方、終了指示があったと判断されなった場合、タイマｔが所定値ｎに達したか否かが判断される（ステップＳＴ１１２）。ここで、タイマｔが所定値ｎに達していないと判断された場合、ステップＳＴ１１１以降の動作を繰り返す（ステップＳＴ１１２）。

一方、ステップＳＴ１１２でタイマｔが所定値ｎに達したと判断された場合、方位センサ１０４によりカメラ部１０６の姿勢及び角度が検出される（ステップＳＴ１１３）。続いて、ステップＳＴ１１３で検出されたカメラ部１０６の姿勢及び角度について、遠距離グループの拡張現実感情報を前回描画した時の姿勢及び角度からの変位量が算出され、変位量がθ3以上であるか否かが判断される（ステップＳＴ１１４）。ここでθ3以上変位していると判断された場合、遠距離グループの拡張現実感情報について、ステップＳＴ１０８と同様の処理により表示位置を再決定し、再描画を行う（ステップＳＴ１１５）。この際、前回遠距離グループの表示位置を決定するのに使用したカメラ部１０６の姿勢及び角度の値は記憶部１０７に記憶保存されているが、その値は、今回のステップＳＴ１１５において表示位置の再決定に使用したカメラ部１０６の姿勢及び角度の値に更新される。また、ステップＳＴ１１４でθ３以上変位していると判断されなかった場合、ステップＳＴ１１０に戻ってタイマをリセットして再スタートし、上記の処理を繰り返す。

ステップＳＴ１１４でθ３以上変位していると判断され、ステップＳＴ１１５で遠距離グループの再描画を行った後、中距離グループの拡張現実感情報を前回描画した時の姿勢及び角度からの変位量が算出され、変位量がθ１以上であるかが判断される（ステップＳＴ１１６）。ここでθ１以上変位していると判断された場合、中距離グループの拡張現実感情報について、ステップＳＴ１０８と同様の処理により表示位置を再決定し、再描画を行う（ステップＳＴ１１７）。この際、前回中距離グループの表示位置を決定するのに使用したカメラ部１０６の姿勢及び角度の値は記憶部１０７に記憶保存されているが、その値は、今回のステップＳＴ１１７において表示位置の再決定に使用したカメラ部１０６の姿勢及び角度の値に更新される。また、ステップＳＴ１１６でθ１以上変位していると判断されなかった場合、ステップＳＴ１１０に戻ってタイマをリセットして再スタートし、上記の処理を繰り返す。

一方、ステップＳＴ１１６でθ１以上変位していると判断され、ステップＳＴ１１７で中距離グループの再描画を行った後、短距離グループの拡張現実感情報を前回描画した時の姿勢及び角度からの変位量が算出され、変位量がθ２以上であるかが判断される（ステップＳＴ１１８）。ここでθ２以上変位していると判断された場合、短距離グループの拡張現実感情報について、ステップＳＴ１０８と同様の処理により表示位置を再決定し、再描画を行う（ステップＳＴ１１９）。この際、前回中距離グループの表示位置を決定するのに使用したカメラ部１０６の姿勢及び角度の値は記憶部１０７に記憶保存されているが、その値は、今回のステップＳＴ１１８において表示位置の再決定に使用したカメラ部１０６の姿勢及び角度の値に更新され、ステップＳＴ１１０に戻ってタイマをリセットして再スタートし、上記の処理を繰り返す。

なお、ステップＳＴ１１６でθ１以上変位していると判断されなかった場合も、ステップＳＴ１１０に戻って上記の処理を繰り返す。なお、図９のフローチャートでは、ステップＳＴ１１３以降の処理を順次行なう構成としているが、ステップＳＴ１１３で検出されたカメラ部１０６の姿勢及び角度に応じて、ステップＳＴ１１４、ステップＳＴ１１６、ステップＳＴ１１８を同時並行で実行処理し、表示位置の再決定及び再描画が必要なグループのみ、表示位置を再決定して再描画する構成としても構わない。

（８）本発明による作用及び効果
上記したような処理により、本発明の実施形態に係る端末装置１００は、カメラ部１０６で実空間の映像を連続的に取得して表示しつつ、連続的に表示される映像に情報を重畳する拡張現実感技術において、付加情報としての拡張現実感情報を端末装置１００からの距離に応じてグループ化して、カメラ部１０６の姿勢及び角度がグループ毎の閾値以上となった場合に表示位置の再決定及び再描画を行うものである。

そして、端末装置１００から近距離のグループについて、遠距離のグループよりも閾値を大きくすることにより、不必要な表示位置の再決定及び再描画処理の発生を抑制している。従って、拡張現実感情報を常時適切な位置に重畳しつつ、姿勢・角度の変位に応じた再描画のシステム負荷を低減することができ、また過剰な再描画により表示部１０２の画面が見にくくなることを防止することが可能である。

また、上記動作のステップＳＴ１１５、ステップＳＴ１１７、及びステップＳＴ１１９においては、ステップＳＴ１０６と同様の処理で拡張現実感情報の表示位置を決定したが、表示位置を決定する方法は前述した透過投影処理を繰り返すものに限られない。例えば、現在表示している各拡張現実感情報の位置を、カメラ部１０６の姿勢及び角度の変化量や方向等に応じて所定量だけ一律にシフトすることにより決定する構成とすることもできる。このようにすれば、ステップＳＴ１１５、ステップＳＴ１１７、及びステップＳＴ１１９におけるシステム負荷をより一層軽減することが可能となる。

（９）変形例
本発明の実施形態に係る拡張現実感システム１は、上記した実施形態に限られるものではなく、種々の変形が可能である。例えば、上記した実施形態では、拡張現実感情報を３つのグループに区分して再描画の制御を行う構成を示したが、拡張現実感情報を近距離グループと遠距離グループの２つのグループに区分して再描画の制御を行なってもよいことは勿論である。また、本発明の主旨を逸脱しない範囲であれば、拡張現実感情報を４つ以上のグループに区分するよう構成としてもよい。

また、上記した実施形態では、通信網１５０と通信接続する端末装置１００について説明したが、拡張現実感情報が適切に記憶部１０７に記憶されているのであれば、端末装置１００が通信網１５０と通信接続することは必須の構成要件ではない。例えば、端末装置は、自動車等の車両に搭載されるナビゲーション端末であってもよい。

本発明によれば、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報を重畳する処理において、カメラが移動した場合であっても、付加情報を適切な位置に重畳しつつ、付加情報を再描画する際のシステム負荷を低減することが可能な端末装置、拡張現実感システム及び端末画面表示方法を提供することができる。

１…拡張現実感システム、１１，３１…ＣＰＵ、１２，３２…ＲＡＭ、１３，３３…ＲＯＭ、１４…操作部、１５…無線通信部、１６…ディスプレイ、１７…アンテナ、３４…通信モジュール、３５…補助記憶装置、１００…端末装置、１０１…位置情報取得部、１０２…表示部、１０３…入力部、１０４…方位センサ、１０５…通信部、１０６…カメラ部、１０７…記憶部、１０８…制御部、１４０…基地局、１５０…通信網、２００…ネットワーク、３００…拡張現実感サーバ、３０１…通信部、３１０…制御部、３１１…地図データ取得部、３１２…経路データ取得部、３１３…位置情報コンテンツ取得部、３１５…ユーザデータ部、３１６…ユーザＤＢ、３５１…地図情報サーバ、３６１…経路情報サーバ、３７１…位置情報コンテンツサーバ、ｄ…位置ズレ、地図情報ＤＢ…３５２、経路情報ＤＢ…３６２、位置情報コンテンツＤＢ…３７２、α…角度ズレ、θ…ズレ角度。

Claims (7)

1. 実空間の映像を連続的に取得するカメラ部と、前記カメラ部の姿勢および角度を検出する方位センサと、画面を表示する表示部と、位置情報に関連付けられた拡張現実感情報を記憶した記憶部と、前記各部の動作を制御するとともに情報処理機能を実現する制御部とを備え、前記制御部は、前記カメラ部の姿勢および角度に基づいて前記拡張現実感情報の表示位置を決定し、実空間の映像に重畳して前記表示部に表示するとともに、前記表示位置を決定してから前記カメラ部の姿勢および角度が変位した変位量を前記方位センサにより検出し、前記変位量が閾値を超えた場合に前記拡張現実感情報の前記表示位置を再決定して再描画する処理を行う端末装置であって、
   前記制御部は、当該端末装置からの距離が第一所定距離以上の前記拡張現実感情報については、前記変位量が第一所定量を超えた場合に前記表示位置を再決定して再描画する処理を行うとともに、
   当該端末装置からの距離が前記第一所定距離未満の前記拡張現実感情報については、前記変位量が前記第一所定量より大きい第二所定量を超えた場合に前記表示位置を再決定して再描画する処理を行うことを特徴とする端末装置。
2. 前記制御部は、前記拡張現実感情報を当該端末装置からの距離が前記第一所定距離未満のグループと、前記第一所定距離以上のグループとに区分し、グループ毎に位置決め及び描画する処理を行う、
   ことを特徴とする請求項１に記載の端末装置。
3. 前記制御部は、当該端末装置からの距離が前記第一所定距離より大きい第二所定距離以上の前記拡張現実感情報については、前記変位量が前記第一所定量より小さい第三所定量を超えた場合に前記表示位置を再決定して再描画する処理を行う、
   ことを特徴とする請求項1に記載の端末装置。
4. 前記制御部は、前記拡張現実感情報を当該端末装置からの距離が前記第一所定距離未満のグループと、前記第一所定距離以上且つ前記第二所定距離未満のグループと、前記第二所定距離以上のグループとに区分し、グループ毎に位置決め及び描画する処理を行う、
   ことを特徴とする請求項３に記載の端末装置。
5. 前記制御部が前記拡張現実感情報の表示位置を再決定する処理は、前記方位センサの検出した前記カメラ部の姿勢および角度が変位した変位量に応じて、現在の表示位置をシフトすることにより行う、
   ことを特徴とする請求項１〜４のいずれか1項に記載の端末装置。
6. 表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える拡張現実感情報システムであって、
   前記サーバは、
   前記端末装置からの距離が第一所定距離以上の前記拡張現実感情報については、前記変位量が第一所定量を超えた場合に前記表示位置を再決定して再描画する処理を行うとともに、
   当該端末装置からの距離が前記第一所定距離未満の前記拡張現実感情報については、前記変位量が前記第一所定量より大きい第二所定量を超えた場合に前記表示位置を再決定して再描画する処理を行う、
   サーバ制御部を備えることを特徴とする拡張現実感情報システム。
7. 表示部により画面を表示する端末装置と、前記端末装置と通信可能に構成され、位置情報に関連付けられた拡張現実感情報を有するサーバと、を備える拡張現実感情報システムにおいて行なわれる端末画面表示方法であって、
   前記サーバが、前記端末装置からの距離が第一所定距離以上の前記拡張現実感情報については、前記変位量が第一所定量を超えた場合に前記表示位置を再決定して再描画する処理を行うとともに、
   当該端末装置からの距離が前記第一所定距離未満の前記拡張現実感情報については、前記変位量が前記第一所定量より大きい第二所定量を超えた場合に前記表示位置を再決定して再描画する処理を行う、
   ステップを有することを特徴とする端末画面表示方法。