JP2017194969A - 拡張現実システム、プログラムおよび拡張現実提供方法 - Google Patents

Abstract

【課題】ＧＰＳ信号が受信できないような環境下においても、専用のマーカ等を必要とすることなく、拡張現実を実現する技術を提供する。
【解決手段】拡張現実システムである携帯端末装置２に、動きに関する情報を測定するセンサ群２４と、センサ群２４の基準位置を記憶する記憶装置２１と、センサ群２４が基準位置に存在しているか否かを判定するカード制御部２００と、カード制御部２００によりセンサ群２４が基準位置に存在していると判定された後において、記憶装置２１に記憶された基準位置と、センサ群２４により測定された動きに関する情報とに基づいて、センサ群２４の現在位置を特定する位置姿勢特定部２０１と、位置姿勢特定部２０１により特定されたセンサ群２４の現在位置に応じて出力情報２１５を出力することにより拡張現実を表現する表示部２３とを設ける。
【選択図】図３

Description

本発明は、現実環境を拡張した拡張現実を実現する技術に関する。

従来より、現実の環境における情報に、コンピュータ等で作成した情報を付与することで、現実環境を拡張する拡張現実（ＡＲ：Augmented Reality）を実現する技術が知られている。拡張現実は視覚的に与えられるのが一般的である。そのため拡張現実を実現するためには、コンピュータが拡張現実を体感するユーザの視野を知得する必要があり、ユーザの位置を把握する必要がある。

そこで、位置を把握する技術として、ＧＰＳ（Global Positioning System）を利用した拡張現実技術が提案されている。例えば、特許文献１に記載されている技術は、ＧＰＳにより取得した位置情報を基にして、表示する仮想物体の内容や、現実環境における表示位置を決定し、現実の視覚情報と仮想物体とを合成表示する技術である。特許文献１では、ＧＰＳより取得した位置情報から周囲の地物情報をデータベースより取得し、透過型ディスプレイに仮想物体を描画することで現実環境と仮想物体との合成を実現している。

また、例えば、撮影画像を利用した拡張現実技術も知られている。撮影画像を利用した拡張現実技術は、現実空間に専用の識別情報を有する画像（マーカ）を設置し、撮影画像内にマーカが存在すればマーカ上に仮想物体を描画する方法や、画像内の特定の図形（人体など）を認識し仮想物体を描画する方法などがある。例えば、特許文献２には、現実環境に存在するマーカを利用して仮想物体の重畳表示を可能とする技術が記載されている。また、特許文献３には、現実環境に実物体としてのマーカを必要とせず、既知である現実空間の配置物を識別して仮想物体の表示を可能とする技術が記載されている。

特開２０１２−０６８４８１号公報 特開２０１２−１４１７７９号公報 特開２００３−２５６８７６号公報

ところが、特許文献１に記載された技術では、ＧＰＳ信号が微弱な環境下ではＧＰＳ測位精度の低下により、仮想物体の表示位置がずれるという問題があった。そもそも特許文献１に記載された技術では、ＧＰＳ信号を受信できない環境下において、仮想物体を表示することすらできないという問題があった。特に、拡張現実は屋内で提供されることが普通であり、屋内はＧＰＳ信号が微弱になりやすいという特性がある。したがって、拡張現実とＧＰＳとは相性が悪いという事情がある。また、拡張現実は可搬性の出力装置により実現されるが、ＧＰＳ信号を利用する場合、常に、ＧＰＳ信号を受信しつつ処理せねばならず、バッテリ駆動を余儀なくされる可搬性の出力装置にとって消費電力の増大を招くという問題もある。

また、特許文献２，３に記載された技術では、マーカや配置物の状態によっては、認識に失敗する可能性があるという問題がある。また、現実空間に特定のマーカや配置物の設置が必要となり、景観を損ねるという問題もある。また、仮想物体の表示内容を変更するときには、現実環境におけるマーカや配置物の移動が必要となり汎用性が低下するという問題もある。さらには、拡張現実を実行している間、常に撮影画像に対する画像認識処理を必要とするため、演算量が多く、コンピュータに対する負荷および消費電力が大きいという問題もある。

本発明は、上記課題に鑑みてなされたものであり、ＧＰＳ信号が受信できないような環境下においても、専用のマーカを必要とすることなく、拡張現実を実現する技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、拡張現実システムであって、位置が可変の携帯端末装置と、絶対位置が既知の指標手段とを備え、動きに関する情報を測定するセンサと、前記センサの基準位置および前記基準位置における前記センサの姿勢を記憶する第１記憶手段と、前記指標手段の個別情報を取得する取得手段と、前記センサが前記基準位置に存在しているか否かを判定する判定手段と、前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する位置特定手段と、前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する姿勢特定手段と、前記位置特定手段により特定された前記センサの現在位置と前記姿勢特定手段により特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する出力手段とをさらに備え、前記センサおよび前記取得手段は、前記携帯端末装置に設けられており、前記判定手段は、前記取得手段により前記指標手段の個別情報が取得されたときに前記センサが前記基準位置に存在していると判定する。

また、請求項２の発明は、請求項１の発明に係る拡張現実システムであって、複数の前記携帯端末装置を備え、前記携帯端末装置は、拡張現実空間内に存在する他の携帯端末装置との間で無線によるデータ通信を行う第２通信手段と、前記出力手段とを備え、前記第２通信手段は、前記他の携帯端末装置が備える前記センサの現在位置を無線によるデータ通信により受信し、前記出力手段は、前記第２通信手段により受信した前記他の携帯端末装置が備える前記センサの現在位置に応じて出力情報を出力する。

また、請求項３の発明は、請求項１の発明に係る拡張現実システムであって、前記携帯端末装置は、拡張現実空間内に存在する端末装置との間で無線によるデータ通信を行う第３通信手段と、前記出力手段とを備え、前記第３通信手段は、前記端末装置に関する固有の情報を無線によるデータ通信により受信し、前記出力手段は、前記第３通信手段により受信した前記端末装置に関する固有の情報に応じて出力情報を出力する。

また、請求項４の発明は、請求項１ないし３のいずれかの発明に係る拡張現実システムであって、前記センサが付随する対象物に関する情報を記憶する第２記憶手段をさらに備え、前記出力手段は、前記第２記憶手段に記憶された前記対象物に関する情報に応じた出力情報を出力する。

また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る拡張現実システムであって、生体に関する生体情報を測定する生体センサをさらに備え、前記出力手段は、前記生体センサにより測定された生体情報に応じた出力情報を出力する。

また、請求項６の発明は、位置が可変のコンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、動きに関する情報を測定するセンサと、前記センサの基準位置および前記基準位置における前記センサの姿勢を記憶する第１記憶手段と、外部に存在する絶対位置が既知の指標手段の個別情報を取得する取得手段と、前記センサが前記基準位置に存在しているか否かを判定する判定手段と、前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する位置特定手段と、前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する姿勢特定手段と、前記位置特定手段により特定された前記センサの現在位置と前記姿勢特定手段により特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する出力手段とを備え、前記判定手段が、前記取得手段により前記指標手段の個別情報が取得されたときに前記センサが前記基準位置に存在していると判定する携帯端末装置として機能させる。

また、請求項７の発明は、位置が可変の携帯端末装置による拡張現実提供方法であって、動きに関する情報をセンサによって測定する工程と、前記センサの基準位置および前記基準位置における前記センサの姿勢を第１記憶手段に記憶させる工程と、外部に存在する絶対位置が既知の指標手段の個別情報を取得する工程と、前記センサが前記基準位置に存在しているか否かを判定する工程と、前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する工程と、前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する工程と、特定された前記センサの現在位置と特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する工程とを有し、前記指標手段の個別情報が取得されたときに、前記判定する工程において、前記センサが前記基準位置に存在していると判定する。

請求項１ないし６に記載の発明は、動きに関する情報を測定するセンサと、センサの基準位置および前記基準位置における前記センサの姿勢を記憶する第１記憶手段と、指標手段の個別情報を取得する取得手段と、センサが基準位置に存在しているか否かを判定する判定手段と、判定手段によりセンサが基準位置に存在していると判定された後において、第１記憶手段に記憶された基準位置と、センサにより測定された動きに関する情報とに基づいて、センサの現在位置を特定する位置特定手段と、判定手段によりセンサが基準位置に存在していると判定された後において、第１記憶手段に記憶された基準位置におけるセンサの姿勢と、センサにより測定された動きに関する情報とに基づいて、センサの現在の姿勢を特定する姿勢特定手段と、位置特定手段により特定されたセンサの現在位置と姿勢特定手段により特定されたセンサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する出力手段とを備え、判定手段は、取得手段により指標手段の個別情報が取得されたときにセンサが基準位置に存在していると判定する。これにより、ＧＰＳ信号が受信できない環境下においても、マーカなどを設置することなく、拡張現実を実現することができる。

また、請求項７に記載の発明は、動きに関する情報をセンサによって測定する工程と、センサの基準位置および基準位置におけるセンサの姿勢を第１記憶手段に記憶させる工程と、外部に存在する絶対位置が既知の指標手段の個別情報を取得する工程と、センサが基準位置に存在しているか否かを判定する工程と、センサが基準位置に存在していると判定された後において、第１記憶手段に記憶された基準位置と、センサにより測定された動きに関する情報とに基づいて、センサの現在位置を特定する工程と、センサが基準位置に存在していると判定された後において、第１記憶手段に記憶された基準位置におけるセンサの姿勢と、センサにより測定された動きに関する情報とに基づいて、センサの現在の姿勢を特定する工程と、特定されたセンサの現在位置と特定されたセンサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する工程とを有し、指標手段の個別情報が取得されたときに、判定する工程において、センサが基準位置に存在していると判定する。これにより、ＧＰＳ信号が受信できない環境下においても、マーカなどを設置することなく、拡張現実を実現することができる。

第１の実施の形態における拡張現実システムを示す図である。 第１の実施の形態における携帯端末装置、基準位置取得装置およびデータベースサーバのブロック図である。 第１の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 第１の実施の形態における拡張現実提供方法を示す流れ図である。 第１の実施の形態においてユーザに対して提供される拡張現実空間の景観の表示例を示す図である。 第１の実施の形態においてユーザに対して提供される拡張現実空間の景観の表示例を示す図である。 第２の実施の形態における拡張現実システムを示す図である。 第２の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 携帯端末装置間の無線通信により実現される拡張現実の例を示す図である。 携帯端末装置と端末装置との間の無線通信により実現される拡張現実の例を示す図である。 第３の実施の形態における拡張現実システムを示す図である。 第３の実施の形態における携帯端末装置のブロック図である。 第３の実施の形態における携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 第３の実施の形態における拡張現実提供方法を示す流れ図である。 第３の実施の形態における拡張現実システムにより実現される拡張現実の例を示す図である。 拡張現実空間内の幽霊画像の表示位置を例示する図である。 幽霊画像の表示例を示す図である。 幽霊画像の表示例を示す図である。 幽霊画像の表示例を示す図である。 第３の実施の形態において、幽霊画像の表示を変更する場合における変形例を示す図である。 第４の実施の形態における拡張現実システムによって提供される探索アプリケーションの拡張現実の表示例である。 第４の実施の形態における拡張現実システムによって提供される探索アプリケーションの拡張現実の表示例である。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

＜１． 第１の実施の形態＞
図１は、第１の実施の形態における拡張現実システム１を示す図である。図１に示す拡張現実空間９は、拡張現実システム１による拡張現実が提供されるエリアを概念的に図示したものである。

拡張現実システム１は、携帯端末装置２と、絶対位置が既知であり位置が当該絶対位置に固定される設置型の装置として構成される基準位置取得装置１０と、データベースサーバ１１とを備えている。なお、携帯端末装置２、基準位置取得装置１０およびデータベースサーバ１１の数は、図１に示す数に限定されるものではない。

第１の実施の形態における拡張現実システム１において、基準位置取得装置１０およびデータベースサーバ１１は、システム運営者によって提供され設置される装置を想定している。一方で、携帯端末装置２としては、システム運営者が拡張現実を提供しようとするエリアを訪れたユーザによって所有される装置を想定しており、個人所有の携帯電話、スマートフォン、ＰＤＡ端末などが該当する。

図２は、第１の実施の形態における携帯端末装置２、基準位置取得装置１０およびデータベースサーバ１１のブロック図である。

携帯端末装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、センサ群２４、撮像部２５、非接触ＩＣカード部２６および通信部２７を備えている。携帯端末装置２は、ユーザに携帯されることにより、対象物としてのユーザに付随して移動する装置（位置が可変の装置）として構成されている。また、携帯端末装置２がセンサ群２４を備えていることにより、当該センサ群２４も対象物としてのユーザに付随した状態となっている。

ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、携帯端末装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、携帯端末装置２は、一般的なコンピュータとして構成されている。

記憶装置２１は、携帯端末装置２において各種データを記憶する機能を提供する。特に、本実施の形態における記憶装置２１は、プログラム２１０、基準情報１０３、候補情報１１２、測定情報２１２、位置情報２１４、出力情報２１５、撮像画像情報２１３およびオーナー情報２１１を記憶するために使用される。

記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図１においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である（後述する記憶装置１０１，１１０についても同様）。

また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、本実施の形態においては、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。

操作部２２は、ユーザが携帯端末装置２（拡張現実システム１）に対して指示を入力するために操作されるハードウェアである。操作部２２としては、例えば、各種キーやボタン類、タッチパネル、ポインティングデバイスなどが該当する。

表示部２３は、各種データを表示することにより出力する機能を有するハードウェアである。表示部２３としては、例えば、ランプやＬＥＤ、液晶ディスプレイや液晶パネルなどが該当する。特に、本実施の形態における表示部２３は、画像を画面に表示する液晶ディスプレイを備えており、出力情報２１５を出力することにより拡張現実を表現する機能を有している。すなわち、第１の実施の形態における表示部２３は、本発明に係る出力手段に相当する。

センサ群２４は、動きに関する情報を測定する複数のセンサで構成されている。センサ群２４に含まれるセンサとしては、加速度センサ、ジャイロセンサ、地磁気センサなど、相対的な測位を実行するための検出装置が該当する。センサ群２４からの出力（測定値）は、記憶装置２１に転送され、測定情報２１２として記憶される。詳細は後述するが、ＣＰＵ２０は、測定情報２１２に基づいて、「動き」による移動経路を演算する。

センサ群２４によって測定された測定情報２１２に基づいて演算される移動経路は、厳密にはセンサ群２４の移動経路である。しかし、すでに説明したように、本実施の形態における拡張現実システム１においては、ユーザが携帯端末装置２を携帯することにより、センサ群２４が対象物としてのユーザに付随した状態となる。これにより、センサ群２４は、主に、ユーザの動きを反映した情報を測定することになる。したがって、拡張現実システム１は、センサ群２４の移動経路を、当該センサ群２４が付随しているユーザの移動経路とみなす。以下の説明では、特に断らない限り、センサ群２４の移動経路と対象物の移動経路とを区別せずに、単に「移動経路」と称する。

なお、従来の技術を採用して、センサ群２４の移動経路を適宜補正、修正し、より精度の高い対象物の移動経路としてもよい。例えば、ユーザの歩行状態を表す測定情報２１２が得られている間のユーザの移動経路については、測定情報２１２を用いて演算するのではなく、ユーザの平均的な歩幅や歩行速度といった情報（ユーザ情報）を採用して演算してもよい。また、センサ群２４に含まれるセンサは、上記に示した例に限定されるものではない。

撮像部２５は、レンズなどの光学素子と、ＣＣＤなどの光電変換素子を備え、撮像範囲内にある被写体を撮像して、当該被写体の現実の外観を表現した撮像画像情報２１３を取得する機能を有している。すなわち、撮像部２５は、一般的なデジタルカメラとしての構成および機能を有している。

詳細は後述するが、第１の実施の形態において、表示部２３は、周囲に現実に存在する被写体の現実の外観を表現した撮像画像情報２１３と、周囲に存在しない事物（文字などを含む。）を表現した候補情報１１２から選択される出力情報２１５とを合成して表示することにより、画面に拡張現実を表現する。また、以下の説明では、特に断らない限り、撮像画像情報２１３は、複数のフレーム画像から構成されるカラーの動画像である。

非接触ＩＣカード部２６は、一般的な非接触ＩＣカードの構成および機能を有している。これにより、携帯端末装置２は、基準位置取得装置１０の非接触ＩＣカードリーダ部１００との間で、近接無線通信を行うことが可能とされている。なお、非接触ＩＣカード部２６の回路構成および機能等は、従来技術（各種標準規格等）を適宜採用可能である。したがって、非接触ＩＣカード部２６の回路構成および機能についての詳細な説明は、省略する。

このように、携帯端末装置２が非接触ＩＣカード部２６を備えているため、ユーザは、携帯端末装置２を基準位置取得装置１０の非接触ＩＣカードリーダ部１００に近接させてかざすことにより、基準位置取得装置１０から必要な情報を、非接触ＩＣカード部２６側に取得することができる。特に、本実施の形態における携帯端末装置２は、基準情報１０３および候補情報１１２を、基準位置取得装置１０から取得する。なお、以下の説明では、ユーザが、携帯端末装置２を非接触ＩＣカードリーダ部１００に近接させてかざす一連の動作を「通信可能化動作」と称する。

通信部２７は、携帯端末装置２が外部の装置との間で無線による通信を行う機能を提供する。通信部２７が提供する通信は、データ通信に限定されるものではなく、通話であってもよい。

基準位置取得装置１０は、拡張現実を提供するエリアの近傍に設置される装置である。基準位置取得装置１０は、絶対位置が既知であり、当該絶対位置に固定される設置型の装置として構成されている。図２に示すように、基準位置取得装置１０は、非接触ＩＣカードリーダ部１００および記憶装置１０１を備えている。なお、図２では、基準位置取得装置１０の詳細な構成の図示を省略しているが、基準位置取得装置１０は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。

非接触ＩＣカードリーダ部１００は、一般的な非接触ＩＣカードとの間で近接無線通信を行い、当該非接触ＩＣカードに記憶されている様々な情報を読み取ることが可能であるとともに、当該非接触ＩＣカードに様々な情報を送信することも可能である。このような非接触ＩＣカードリーダ部１００としては、従来の技術を適用できるため、詳細な説明は省略する。本実施の形態における非接触ＩＣカードリーダ部１００は、携帯端末装置２が備える非接触ＩＣカード部２６との間で近接無線通信を行う。

基準位置取得装置１０の外表面を構成する筐体は、図１に示すように、ユーザが通信可能化動作を行うために適した外観となっている。すなわち、ユーザが通信可能化動作を実行するときの携帯端末装置２（センサ群２４）の位置および姿勢とが明確に規定される外観となっている。具体的には、非接触ＩＣカードリーダ部１００の位置において、筐体の外表面が水平面に対して傾斜した平面形状となっており、かつ、当該外表面の色彩が他の部分と異なるように図案化されている。これにより、ユーザは、混乱することなく、かつ、正確に通信可能化動作を実行することができる。

ユーザが通信可能化を実行しているときの携帯端末装置２の位置および姿勢は、先述のように、基準位置取得装置１０の筐体によって規定される。また、基準位置取得装置１０の絶対位置は既知であり、かつ、基準位置取得装置１０が設置型の装置であることから当該絶対位置は容易に変化することはない。したがって、基準位置取得装置１０の非接触ＩＣカードリーダ部１００と、携帯端末装置２の非接触ＩＣカード部２６とが、互いにデータ通信を行っているときにおいて、携帯端末装置２（センサ群２４）の位置および姿勢は既知とみなせる。

本実施の形態における拡張現実システム１は、基準位置取得装置１０の非接触ＩＣカードリーダ部１００と、携帯端末装置２の非接触ＩＣカード部２６とが互いにデータ通信を行っているときの携帯端末装置２（センサ群２４）の位置を「基準位置」とし、当該基準位置におけるセンサ群２４の姿勢（向き）を「基準位置における姿勢」とする。

基準位置および基準位置における姿勢は、いずれも基準位置取得装置１０を設置する際に各基準位置取得装置１０ごとに予め測定し、基準情報１０３として記憶しておくことができる。すなわち、基準情報１０３は、基準位置取得装置１０の個別情報に相当し、非接触ＩＣカードリーダ部１００と非接触ＩＣカード部２６とが互いにデータ通信を行っているときのセンサ群２４の位置および姿勢（向き）を示す情報である。

記憶装置１０１は、基準位置取得装置１０において情報を記憶する機能を有する装置の総称である。特に、記憶装置１０１は、基準位置取得装置１０のＣＰＵ（図示せず）によって実行されるプログラム１０２、基準位置取得装置１０の個別情報としての基準情報１０３、および、データベースサーバ１１から取得される候補情報１１２を記憶するために使用される。

データベースサーバ１１は、図２に示すように、記憶装置１１０を備えている。なお、図２では、データベースサーバ１１の詳細な構成の図示を省略しているが、データベースサーバ１１は、ＣＰＵや操作部、表示部および通信部などを備えており、一般的なコンピュータとして構成されている。

データベースサーバ１１は、基準位置取得装置１０と異なり、拡張現実を提供するエリアの近傍に限定されることなく設置される装置である。データベースサーバ１１の設置場所としては、例えばシステム運営者のセンタやバックヤードなどが想定される。データベースサーバ１１は、ＬＡＮやインターネット、公衆網などのネットワークを介して基準位置取得装置１０と接続されており、必要に応じて候補情報１１２を基準位置取得装置１０に送信する。

記憶装置１１０は、データベースサーバ１１において情報を記憶する機能を有する装置の総称である。特に、記憶装置１１０は、データベースサーバ１１のＣＰＵ（図示せず）によって実行されるプログラム１１１、および、候補情報１１２を記憶するために使用される。

候補情報１１２は、拡張現実を提供するときに使用される素材（コンテンツ）に関する情報であり、データベースサーバ１１のオペレータやデザイナ、プログラマ等により作成され、記憶装置１１０に格納される。具体的には、候補情報１１２は、拡張現実において表示される仮想物体のグラフィック情報、位置に関する情報、時間に関する情報、あるいは、拡張現実空間９における地図情報（レイアウトデータ）などである。なお、候補情報１１２に含まれる各情報には、出力情報２１５として選択する際に参照されるタグ（分類、説明など）が付加されている。

候補情報１１２は、一般には、基準位置取得装置１０の周辺で提供される拡張現実ごとに異なる情報であり、それぞれの基準位置取得装置１０ごとにデータベースサーバ１１から送信される。また、提供中の拡張現実の内容を変更するときには、データベースサーバ１１において候補情報１１２が更新され、基準位置取得装置１０に向けてアップロードされる。

図３は、第１の実施の形態における携帯端末装置２が備える機能ブロックをデータの流れとともに示す図である。図３に示すカード制御部２００、位置姿勢特定部２０１および拡張現実構成部２０２は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。

カード制御部２００は、非接触ＩＣカード部２６を制御することにより、基準位置取得装置１０との間の近接無線通信を制御する機能を有している。すなわち、カード制御部２００は、非接触ＩＣカード部２６との間のインタフェースを構成しており、非接触ＩＣカード部２６が受信した基準情報１０３および候補情報１１２を記憶装置２１に転送し、記憶させる。なお、図３では、記憶装置２１から何らかの情報が読み出されて非接触ＩＣカード部２６から送信されることについては図示していないが、そのような情報が存在していてもよい。すなわち、非接触ＩＣカード部２６は書き込み専用でなくてもよい。

先述のように、本実施の形態では、非接触ＩＣカード部２６と、基準位置取得装置１０の非接触ＩＣカードリーダ部１００との間で近接無線通信が開始されたことにより、携帯端末装置２（センサ群２４）が基準位置に存在すると判定する。すなわち、非接触ＩＣカード部２６により基準情報１０３が受信されたとカード制御部２００が判定したときが、携帯端末装置２（センサ群２４）が基準位置に存在するときである。したがって、第１の実施の形態におけるカード制御部２００が、本発明に係る判定手段に相当する。

位置姿勢特定部２０１は、センサ群２４により測定された測定情報２１２に基づいて、相対的な測位の結果としての移動経路を演算する。なお、センサ群２４によって観測される「移動に関する情報」には回転移動に関する情報も含まれる。したがって、位置姿勢特定部２０１によって演算される移動経路には、位置の変化履歴（移動軌跡）のみならず、姿勢の変化に関する情報も含まれる。

また、位置姿勢特定部２０１は、演算により求めた移動経路の始点の絶対位置に基づいて、当該移動経路の終点の位置を絶対位置に変換することにより、携帯端末装置２（センサ群２４）の現在位置を特定するとともに、携帯端末装置２（センサ群２４）の現在の姿勢を特定する。なお、移動経路の始点の絶対位置とは、基準情報１０３に含まれる基準位置である。

すなわち、位置姿勢特定部２０１は、基準情報１０３の受信後において、記憶装置２１に記憶された基準情報１０３と、測定情報２１２とに基づいて、携帯端末装置２の現在位置を特定するとともに、携帯端末装置２の現在の姿勢を特定する機能を有している。本実施の形態において、基準情報１０３の受信後とは、カード制御部２００によりセンサ群２４が基準位置に存在していると判定された後である。また、測定情報２１２は、センサ群２４により測定された動きに関する情報である。すなわち、第１の実施の形態における位置姿勢特定部２０１は、本発明に係る位置特定手段および姿勢特定手段に相当する機能を有している。

位置姿勢特定部２０１によって特定された携帯端末装置２の現在位置および現在の姿勢は、位置情報２１４として記憶装置２１に記憶される。

拡張現実構成部２０２は、位置姿勢特定部２０１により求められた位置情報２１４と、オーナー情報２１１とを参照して、拡張現実を表現するための素材である候補情報１１２から出力情報２１５を抽出する機能を有している。

なお、オーナー情報２１１とは、操作部２２が操作されることによりユーザによって入力される当該ユーザに関する情報であって、より詳細には対象物の特性に関する情報である。具体的には、携帯端末装置２を所有するユーザの年齢、性別、職業、住所、趣味、趣向、行動（購買）履歴、病歴（アレルギーの有無など）、婚姻状況、家族構成、所有物（車、家など）といった個人情報である。これらの情報は、操作部２２から直接入力される情報に限定されるものではなく、他のアプリケーションによって自動的に収集されてもよい。

また、出力情報２１５は、本実施の形態では、表示部２３において、液晶ディスプレイの画面に表示される情報であり、提供される拡張現実において現実を拡張するための情報に相当する。表示部２３は、出力情報２１５を撮像画像情報２１３に重ねて（合成して）あるいは追加して表示することにより、当該画面に拡張現実を表現する。なお、出力情報２１５は、候補情報１１２から抽出されるときに、拡張現実構成部２０２によって加工されてもよい。すなわち、そのような加工手順に関する情報も、候補情報１１２に含まれていてもよい。

以上が第１の実施の形態における拡張現実システム１の構成および機能の説明である。次に、拡張現実システム１を用いて、ユーザに対して、拡張現実を提供する方法について具体的に説明する。

図４は、第１の実施の形態における拡張現実提供方法を示す流れ図である。本実施の形態においては、拡張現実を用いて、百貨店やショッピングモールなどの集合店舗における店舗案内を実現する例について説明する。すなわち、集合店舗内を拡張現実空間９として、ユーザを目的の店舗に案内するアプリケーションを例に説明する。したがって、本実施の形態における候補情報１１２には、集合店舗の見取り図、見取り図内に配置される各店舗の位置情報、広告情報、クーポン情報などが含まれている。

なお、図４に示す各工程が開始されるまでに、携帯端末装置２が起動され、所定の初期設定が完了し、記憶装置２１にオーナー情報２１１が記憶されているものとする。また、基準位置取得装置１０の記憶装置１０１に、候補情報１１２がすでに記憶されているものとする。また、図４では、説明の都合上、１人のユーザに対する各工程を示しているが、拡張現実システム１は同時に複数のユーザ（複数の携帯端末装置２）に対して拡張現実を提供することが可能である。

ユーザは、集合店舗（拡張現実空間９）に到着する（ステップＳ１）と、持参した携帯端末装置２を用いて、入り口に設置されている基準位置取得装置１０に対して通信可能化動作を行う（ステップＳ２）。

第１の実施の形態では、ユーザが通信可能化動作を行わなければ、拡張現実システム１は、当該ユーザに対して拡張現実を提供することは困難である。したがって、来店時等において、ユーザに通信可能化動作を確実に実行させる仕組みを設けておくことが好ましい。

このような仕組みとして、例えば、通信可能化動作により、携帯端末装置２に来店ポイントが付加されるように構成することが考えられる。このように構成すれば、来店ポイントを貯めたいユーザの通信可能化動作をより促進することができる。もちろん、入り口付近に、顧客（ユーザ）に対して通信可能化動作を促すポスターを掲示するなどしてもよい。

ユーザにより通信可能化動作（ステップＳ２）が実行されることで、携帯端末装置２の非接触ＩＣカード部２６と、基準位置取得装置１０の非接触ＩＣカードリーダ部１００との間で近接無線通信が開始される。これにより、携帯端末装置２のＣＰＵ２０（カード制御部２００）は、ステップＳ３においてＹｅｓと判定する。すなわち、カード制御部２００は、ステップＳ３においてＹｅｓと判定した時点で、携帯端末装置２（センサ群２４）が基準位置に存在すると判定する。

無線通信が開始されると、携帯端末装置２は、基準位置取得装置１０から基準情報１０３および候補情報１１２を取得する（ステップＳ４）。これにより、記憶装置２１に基準情報１０３および候補情報１１２が格納される。

ステップＳ４の処理と並行して、撮像部２５は、周囲（拡張現実空間９内）の撮像を開始する（ステップＳ５）。これにより、以後、撮像周期に応じて撮像画像情報２１３が取得される状態となる。なお、本実施の形態ではステップＳ５の処理は、通信可能化動作により自動的に開始されるが、もちろん、ユーザの指示（操作部２２に対するユーザ操作）により開始するように構成してもよい。

ステップＳ５の処理と並行して、センサ群２４は、移動に関する情報の測定を開始する（ステップＳ６）。これにより、以後、センサ群２４の測定周期に応じて測定情報２１２が更新される状態となる。すなわち、拡張現実空間９内におけるユーザ（携帯端末装置２）の移動に関する情報がセンサ群２４によって測定情報２１２として収集され続ける状態となる。

ステップＳ４ないしＳ６が実行されると、位置姿勢特定部２０１は、基準情報１０３（移動経路の始点に関する情報）、および、測定情報２１２（移動経路を求めるための情報）に基づいて、携帯端末装置２の現在位置および現在の姿勢を特定し（ステップＳ７）、位置情報２１４を作成する。

次に、拡張現実構成部２０２が、位置情報２１４に応じて、拡張現実空間９における絶対位置と姿勢とを決定し、当該拡張現実における視点および視線方向を決定する。さらに、拡張現実構成部２０２は、決定した視点および視線方向に応じて、候補情報１１２から出力情報２１５を抽出する（ステップＳ８）。

視点および視線方向が決まれば、拡張現実空間９における視野を決定することができる。そして、拡張現実空間９における視野が決まれば、当該視野に対応して仮想的に表示させるべき事物（仮想物体）および当該事物の形状などが決まる。このようにして拡張現実構成部２０２は、候補情報１１２から適切な出力情報２１５を選択することができる。なお、位置情報２１４が作成された後に、当該位置情報２１４に基づいて出力情報２１５を選択する原理は、従来の技術を適宜適用することも可能である。

第１の実施の形態では、拡張現実構成部２０２が決定する「視点および視線方向」が、撮像部２５による「撮像点（撮像範囲の中心点）および撮像方向」と一致するほど、出力情報２１５と撮像画像情報２１３とを合成表示したときのユーザの違和感が抑制される。したがって、位置姿勢特定部２０１は、この点（携帯端末装置２における撮像部２５の位置や向き）を考慮して、位置情報２１４を作成することが好ましい。

集合店舗における店舗案内においては、ユーザの現在位置（位置情報２１４）が同じであっても、ユーザの目的地が異なれば、表示する仮想物体（案内経路など）を変更する必要がある。すなわち、目的地など、位置情報２１４とは異なる情報に応じて、出力情報２１５を選択しなければならない。したがって、第１の実施の形態における拡張現実構成部２０２は、位置情報２１４のみならず、オーナー情報２１１を参照して出力情報２１５を抽出する。

まず、拡張現実構成部２０２は、オーナー情報２１１に応じて、集合店舗内の複数の店舗の中から、ユーザが目的とする店舗を決定する。このような決定を行うための情報としては、例えば、オーナー情報２１１に含まれるユーザの趣味、購買履歴、来店履歴、店舗検索履歴、目的地として入力された店舗名などを利用することができる。一般にオーナー情報２１１として記録されている情報は不定である。したがって、拡張現実構成部２０２は、オーナー情報２１１に存在する蓋然性の高い情報に予め重み付け（優先順位付け）を行っておき、参照時に実際に格納されていた各情報の重みを加算した評価を実行して、ユーザの目的の店舗を決定する。

システム運営者によって提供される装置であれば、ユーザの個人情報であるオーナー情報２１１を網羅的に収集することには困難を伴う。個人情報の流出を危惧するユーザが他人の装置に自分の個人情報を提供することに消極的となるためである。しかし、第１の実施の形態における携帯端末装置２は、ユーザ所有であるため、個人情報を入力することに対してユーザの抵抗感は少ないと予測される。したがって、予めオーナー情報２１１を正確かつ詳細に収集しておくことが可能である。また、状況に応じてアプリケーションから必要な情報の入力を促すことも可能である。これにより、第１の実施の形態における拡張現実構成部２０２は、ユーザの望む店舗を正確に予測することができる。

ユーザの望む店舗が予測できれば、拡張現実構成部２０２は、位置情報２１４に基づいて決定した拡張現実空間９における視野と、予測した店舗名とに応じて、候補情報１１２から適切な出力情報２１５を特定することができる。なお、拡張現実構成部２０２は、時間などの公共的な情報を用いてユーザの目的の店舗を決定してもよい。例えば、お昼時であれば、レストランを優先的に選択するといった手法も考えられる。

ステップＳ８が実行されて、出力情報２１５が作成されると、表示部２３は、出力情報２１５と撮像画像情報２１３とを液晶ディスプレイの画面に合成表示する（ステップＳ９）。これにより、表示部２３が、拡張現実を液晶ディスプレイの画面に表現し、ユーザに対して拡張現実を提供する。

以後、拡張現実の提供を終了させるか否かを判定しつつ（ステップＳ１０）、終了させる指示があるまでステップＳ７ないしＳ１０の処理を繰り返す。

図５および図６は、第１の実施の形態においてユーザに対して提供される拡張現実空間９の景観の表示例を示す図である。すなわち、図５および図６は、表示部２３に表示される拡張現実表示画面の例である。

図５は、液晶ディスプレイの画面に、店舗内画像２１３ａと、仮想物体である経路２１５ａ、広告２１５ｂ，２１５ｃ，２１５ｄとが表示されている様子を示している。

店舗内画像２１３ａは、撮像部２５によって撮像された撮像画像情報２１３であり、拡張現実空間９における現実部分を表現した画像である。

また、経路２１５ａ、広告２１５ｂ，２１５ｃ，２１５ｄは、候補情報１１２から選択された出力情報２１５であり、拡張現実空間９における拡張部分（仮想部分）を表現した画像である。

携帯端末装置２は、図５に示すように、現実環境の景観（店舗内画像２１３ａ）に、仮想物体で構成された拡張環境の景観（経路２１５ａ、広告２１５ｂ，２１５ｃ，２１５ｄ）を重ねて拡張現実表示画面を作成し提供することができる。

ユーザは、経路２１５ａを視認することにより、店舗Ｄに向かって案内されていることを知得することができるとともに、店舗Ｄまでの経路および距離等を、地図などで示される場合に比べて、容易に、かつ、直感的に知得することができる。また、ユーザが地図などを注視している場合、通行人等に衝突する危険がある。しかし、拡張現実システム１が提供する拡張現実では、通行人も店舗内画像２１３ａとして表示されるので、画面を注視していても、ユーザは衝突する危険を容易に察知し回避することができる。

また、ユーザは、経路を確認するついでに、広告２１５ｂ，２１５ｃ，２１５ｄを視認することになり、経路周辺の店舗の新鮮な情報を得ることも可能である。広告２１５ｂ，２１５ｃ，２１５ｄは、現実の店舗前に設置されるポップ広告等に比べて、画面に正対するユーザにとって見やすい位置、角度、大きさに容易に調整することができるとともに、アニメーション効果などを持たせることも容易であるため、広告主の店舗にとっても効果的な情報発信が可能となる。すなわち、店舗にとっての広告媒体としても優れた効果を発揮する。

一方で、拡張現実構成部２０２は、ユーザが望まない店舗に関する情報を、オーナー情報２１１により判断し、店舗Ｄ以外の店舗の広告２１５ｂ，２１５ｃ，２１５ｄの表示を禁止することも可能である。あるいは、それに加えて、目的の店舗Ｄ以外の店舗部分を視認不能にする（例えば、他の店舗の現実の位置に白壁画像を表示する。）といった表現方法も可能である。これによって、不要な情報が表示されることによるユーザの混乱を抑制することができ、ユーザに適した使いやすいアプリケーションを提供できる。

図６は、液晶ディスプレイの画面に、店舗内画像２１５ｅと、仮想物体である経路２１５ｆ、星印２１５ｇ、クーポン２１５ｈ，２１５ｉとが表示されている様子を示している。

店舗内画像２１５ｅは、撮像部２５によって撮像された撮像画像情報２１３ではなく、現実の店舗内をデフォルメした地図画像であり、拡張現実空間９における現実部分を表現した画像である。すなわち、拡張現実構成部２０２は、候補情報１１２に含まれる拡張現実空間９のレイアウトや地図に応じて、店舗内画像２１５ｅを作成することも可能である。すなわち、出力情報２１５は必ずしも仮想物体のみを表現した情報に限定されるものでない。

また、経路２１５ｆは、位置情報２１４、オーナー情報２１１および候補情報１１２（地図情報）に基づいて拡張現実構成部２０２により計算された情報を、候補情報１１２から選択された出力情報２１５（線図案）で表現した情報である。経路２１５ｆは、拡張現実空間９における拡張部分（仮想部分）を表現した画像である。

さらに、星印２１５ｇおよびクーポン２１５ｈ，２１５ｉは、候補情報１１２から選択された出力情報２１５であり、拡張現実空間９における拡張部分（仮想部分）を表現した画像である。

携帯端末装置２は、図６に示すように、現実環境の景観（店舗内画像２１５ｅ）に、仮想物体で構成された拡張環境の景観（経路２１５ｆ、星印２１５ｇ、クーポン２１５ｈ，２１５ｉ）を重ねて拡張現実表示画面を作成し提供することができる。

ユーザは、経路２１５ｆを視認することにより、店舗Ｄまでの全行程を確認することができる。また、星印２１５ｇを視認することにより、集合店舗内における現在位置も確認することができる。

さらに、ユーザは、経路を確認するついでに、クーポン２１５ｈ，２１５ｉを視認することにより、店舗Ｃ，Ｄにおいてクーポンが発行されていることを知得することができる。このようなクーポンは、候補情報１１２に含まれており、該当する店舗のレジなどに正対したときに、出力情報２１５として選択され、仮想物体として具体的内容が画面に表示される。すなわち、支払い時にユーザが逐一操作して表示させてから、店員に提示する必要はない。

なお、携帯端末装置２は、図５に示す画面と図６に示す画面とをユーザの指示に応じて切り替えることができる。ただし、図５に示す画面と図６に示す画面とを並べて同時に表示してもよい。また、携帯端末装置２は、ユーザが目的の店舗に到着したことを位置情報２１４により検出したときは、次の目的地となる店舗を決定して、当該店舗に対する案内を開始してもよい。また、次の目的地となる店舗に対する案内の開始は、最初の店舗からユーザが退出したタイミングで開始してもよい。

以上のように、第１の実施の形態における拡張現実システム１は、測定情報２１２を測定するセンサ群２４と、センサ群２４の基準位置を記憶する記憶装置２１（記憶装置１０１，１１０）と、センサ群２４が基準位置に存在しているか否かを判定するカード制御部２００と、カード制御部２００によりセンサ群２４が基準位置に存在していると判定された後において、記憶装置２１に記憶された基準位置と、センサ群２４により測定された測定情報２１２とに基づいて、センサ群２４の現在位置を特定する位置姿勢特定部２０１と、位置姿勢特定部２０１により特定されたセンサ群２４の現在位置に応じて出力情報２１５を出力することにより拡張現実を表現する表示部２３とを備える。これにより、拡張現実システム１は、ＧＰＳ信号が受信できない環境下においても、マーカなどを設置することなく、拡張現実を実現することができる。

また、記憶装置２１は、基準位置におけるセンサの姿勢を記憶しており、位置姿勢特定部２０１が、カード制御部２００によりセンサ群２４が基準位置に存在していると判定された後において、記憶装置２１に記憶された基準位置におけるセンサ群２４の姿勢と、センサ群２４により測定された測定情報２１２とに基づいて、センサ群２４の現在の姿勢を特定し、表示部２３は、位置姿勢特定部２０１により特定されたセンサ群２４の現在の姿勢に応じて出力情報２１５を出力する。すなわち、ＧＰＳと異なり、拡張現実システム１は、ユーザの絶対位置だけでなく、ユーザの姿勢や向きを決定することが可能である。そして、これらの情報に応じて、ユーザの視線の先に効果的な仮想物体（出力情報２１５）を表示することができる。したがって、これにより、さらに現実味のある拡張現実を表現することができる。

また、絶対位置に固定される設置型の装置としての基準位置取得装置１０を備えるとともに、携帯端末装置２はセンサ群２４が基準位置に存在するときに基準位置取得装置１０との間で近接無線通信を行う非接触ＩＣカード部２６を備える。これにより、拡張現実の提供を開始する直前に利用可能な位置に基準位置取得装置１０を設置しておけば、拡張現実を提供する直前にセンサ群２４をリセットできる。したがって、時間経過によるセンサ群２４の誤差累積を抑制することができる。

また、基準位置取得装置１０は、携帯端末装置２と基準位置取得装置１０との間で近接無線通信が行われているときに、基準情報１０３を携帯端末装置２に送信する。これにより、携帯端末装置２が予め基準情報１０３を取得しておく必要がない。

基準位置取得装置１０は、携帯端末装置２と基準位置取得装置１０との間で近接無線通信が行われているときに、出力情報２１５の候補となる候補情報１１２を携帯端末装置２に送信する。これにより、携帯端末装置２が予め候補情報１１２を取得しておく必要がない。また、利用する直前に候補情報１１２を取得することになるので、比較的新しい状態の候補情報１１２を取得することができる。

また、拡張現実システム１は、センサ群２４が付随する対象物に関する情報としてオーナー情報２１１を記憶し、表示部２３は、記憶されたオーナー情報２１１に応じた出力情報２１５を出力する。これにより、対象物に応じた拡張現実を提供することができる。例えば、対象物が個人である場合、個人ごとに当該個人に適した拡張現実を提供することができる。

なお、第１の実施の形態における基準情報１０３は、基準位置取得装置１０において作成され、記憶装置１０１に記憶されると説明した。しかし、例えば、データベースサーバ１１において基準情報１０３に相当する情報を作成し、候補情報１１２とともに各基準位置取得装置１０に向けて送信するように構成してもよい。

また、基準位置取得装置１０とデータベースサーバ１１とを、１台のコンピュータで構成してもよい。

また、候補情報１１２は、携帯端末装置２の通信部２７とデータベースサーバ１１との間のデータ通信により、予め携帯端末装置２にダウンロードされていてもよい。すなわち、候補情報１１２は、必ずしも基準位置取得装置１０から取得されなくてもよい。一般に、非接触ＩＣカード部２６と非接触ＩＣカードリーダ部１００との間の近接無線通信によるデータ通信は、膨大な量のデータを送受信するには不向きである。したがって、比較的データ量の多い候補情報１１２に関しては、一般的なネットワーク（インターネットなど）を介したデータ通信により送受信することが好ましい。ユーザは、基準位置取得装置１０の周囲において拡張現実の提供を受ける前に、所有する携帯端末装置２を操作してデータベースサーバ１１にアクセスし、当該基準位置取得装置１０の周囲で提供される拡張現実用の候補情報１１２を予めダウンロードしておけばよい。なお、この場合、基準情報１０３も候補情報１１２とともにデータベースサーバ１１から携帯端末装置２に向けて送信することが好ましい。

また、拡張現実構成部２０２がユーザの購買行動を予測して適切な出力情報２１５を抽出するためには、周囲の環境を示す温度や湿度といった情報が有効な場合もある。したがって、温度センサや湿度センサなどの環境センサを携帯端末装置２に設けて、拡張現実構成部２０２がこれらのセンサによって収集された情報を参照するように構成してもよい。

＜２． 第２の実施の形態＞
第１の実施の形態における携帯端末装置２は、拡張現実空間９内において、拡張現実を提供するためのデータ通信を行っていなかった。しかし、本発明はこのような形態に限定されるものではない。

図７は、第２の実施の形態における拡張現実システム１ａを示す図である。なお、携帯端末装置２ａおよび端末装置１２の数は、図７に示される数に限定されるものではない。また、拡張現実空間９内における携帯端末装置２ａの通信相手としては、他の携帯端末装置２ａまたは端末装置１２の少なくともいずれかが存在していればよい。

拡張現実システム１ａは、その構成として、携帯端末装置２の代わりに携帯端末装置２ａを備えている点と、据え置き型の端末装置１２を備えている点とが、第１の実施の形態における拡張現実システム１の構成と異なっている。以下、第２の実施の形態における拡張現実システム１ａについては、第１の実施の形態における拡張現実システム１と同様の構成については同符号を付し、適宜説明を省略する。

図８は、第２の実施の形態における携帯端末装置２ａが備える機能ブロックをデータの流れとともに示す図である。

携帯端末装置２ａは、携帯端末装置２とほぼ同様の構成を有する装置であり、拡張現実空間９内を、ユーザに携帯されつつ移動する。ただし、携帯端末装置２ａの通信部２７は、定期的に周囲の通信デバイスを探索し、拡張現実空間９内に存在する他の携帯端末装置２ａおよび端末装置１２との間で近接無線通信によるデータ通信を行う。ここで採用する無線通信方式としては、例えば、Bluetooth（登録商標）のような近接無線通信方式が適している。ただし、Bluetooth（登録商標）に限定されるものではない。

携帯端末装置２ａの通信部２７は、拡張現実空間９内の通信デバイスとして検出した他の携帯端末装置２ａおよび端末装置１２に向けて、自機の記憶装置２１に記憶されているオーナー情報２１１および位置情報２１４を送信する。なお、通信部２７により外部に送信されるオーナー情報２１１は、個人情報の漏洩を防止するため、ユーザにより許可された情報に限定される。

また、携帯端末装置２ａの通信部２７は、他の携帯端末装置２ａや端末装置１２から受信した情報については、候補情報１１２として自機の記憶装置２１に格納する。すなわち、第２の実施の形態においては、候補情報１１２は、基準位置取得装置１０から取得された情報に限定されるのではなく、他の携帯端末装置２ａや端末装置１２から収集された情報が含まれる。

端末装置１２は、一般的な据え置き型のコンピュータであり、拡張現実空間９内において、その絶対位置が固定される装置である。第２の実施の形態における候補情報１１２は、端末装置１２の識別情報と絶対位置（配置位置）に関する情報とを含んでいる。また、端末装置１２は、携帯端末装置２ａの通信部２７との間で近接無線通信によるデータ通信を行う機能を有しており、自機に固有の情報（詳細後述）を携帯端末装置２ａに向けて送信する。

以下、第２の実施の形態における拡張現実システム１ａについて、多数のゲーム機（端末装置１２）が設置されたゲームセンターを拡張現実空間９とするアプリケーションの例で説明する。ただし、説明を理解しやすくするために、携帯端末装置２ａが他の携帯端末装置２ａと無線通信を行うことにより実現される拡張現実の例と、携帯端末装置２ａが端末装置１２と無線通信を行うことにより実現される拡張現実の例とを分けて説明する。

まず、拡張現実システム１ａにおいて、携帯端末装置２ａが他の携帯端末装置２ａと無線通信を行うことにより実現される拡張現実の例について説明する。

図９は、携帯端末装置２ａ間の無線通信により実現される拡張現実の例を示す図である。図９に示す例では、携帯端末装置２ａの表示部２３に、ゲームセンター内画像２１３ｂ、アバター画像２１５ｊおよびメッセージ２１５ｋが表示されている。

ゲームセンター内画像２１３ｂは、携帯端末装置２ａの撮像部２５によって撮像されたゲームセンター（拡張現実空間９）内の映像（撮像画像情報２１３）である。すなわち、ゲームセンター内画像２１３ｂは、拡張現実において、現実部分を表現した画像である。ここでは、３台の端末装置１２が撮像されている。

アバター画像２１５ｊおよびメッセージ２１５ｋは、拡張現実構成部２０２によって候補情報１１２から選択された出力情報２１５を表示した画像である。すなわち、アバター画像２１５ｊおよびメッセージ２１５ｋは、現実には存在しない仮想的な事物を表現した画像であり、拡張現実において、拡張部分を表現した画像である。

アバター画像２１５ｊおよびメッセージ２１５ｋは、いずれも候補情報１１２から選択された情報ではあるが、いずれも基準位置取得装置１０から取得した情報ではない。これらは、他の携帯端末装置２ａから受信したオーナー情報２１１および位置情報２１４に基づいて作成された情報である。

第２の実施の形態において、ユーザは、第１の実施の形態と同様に、拡張現実空間９の入り口で、基準位置取得装置１０から基準情報１０３および候補情報１１２を取得し、ゲームセンター内に入場する。また、ユーザは、任意のタイミングで（すなわち、ゲームセンターの内外）、オーナー情報２１１を編集し、自分のアバターや各種メッセージ、ゲームセンター内に設置されているゲーム（端末装置１２により提供される。）のプレイ履歴、あるいは、自己プロフィールなどを設定する。

ゲームセンター内では、通信部２７が付近の通信デバイス（他の携帯端末装置２ａ）を探索して、検出した他の携帯端末装置２ａとの間で通信を開始する。携帯端末装置２ａは、他の携帯端末装置２ａとの間でオーナー情報２１１および位置情報２１４を互いに交換する。そして、受信した他の携帯端末装置２ａのオーナー情報２１１および位置情報２１４に基づいて候補情報１１２を作成し、自機の記憶装置２１に格納する。

拡張現実構成部２０２は、第１の実施の形態と同様に、拡張現実空間９内における視野が求まると、候補情報１１２から出力情報２１５を選択する。このとき、当該視野内に他の携帯端末装置２ａが存在する場合、当該他の携帯端末装置２ａから受信したオーナー情報２１１に基づいて作成された候補情報１１２から出力情報２１５が選択される。なお、他の携帯端末装置２ａの現在位置は、当該他の携帯端末装置２ａから受信する位置情報２１４（より詳しくは、当該位置情報２１４に由来する候補情報１１２）により判定できる。

このようにして、携帯端末装置２ａは、他の携帯端末装置２ａのユーザがオーナー情報２１１に設定しておいたアバター（アバター画像２１５ｊ）を、当該ユーザの現在位置に、当該ユーザの実画像に上書きして表示する。また、当該他の携帯端末装置２ａから受信したオーナー情報２１１に設定されているメッセージ（メッセージ２１５ｋ）を表示することもできる。

このように、第２の実施の形態における拡張現実システム１ａは、複数の携帯端末装置２ａ間において、互いにオーナー情報２１１および位置情報２１４を交換させる。これにより、ゲームセンターを訪れたユーザは、ユーザ間でメッセージや絵文字、キャラクター（アバター）、ゲームのプレイ履歴を利用した各ユーザの紹介文（格闘ゲームの達人、音楽ゲーム初心者など）などを仮想物体としてやり取りして表示し楽しむことができる。

次に、拡張現実システム１ａにおいて、携帯端末装置２ａが端末装置１２と無線通信を行うことにより実現される拡張現実の例について説明する。

図１０は、携帯端末装置２ａと端末装置１２との間の無線通信により実現される拡張現実の例を示す図である。図１０に示す例では、携帯端末装置２ａの表示部２３に、ゲームセンター内画像２１３ｃ、キャラクター画像２１５ｍ，２１５ｎ、および、メッセージ２１５ｐが表示されている。

ゲームセンター内画像２１３ｃは、携帯端末装置２ａの撮像部２５によって撮像されたゲームセンター（拡張現実空間９）内の映像（撮像画像情報２１３）である。すなわち、ゲームセンター内画像２１３ｃは、拡張現実において、現実部分を表現した画像である。ここでは、４台の端末装置１２が撮像されている。なお、図１０に示す例では、各端末装置１２を区別するために、それぞれの符号にアルファベットを付加し、端末装置１２ａ，１２ｂ，１２ｃ，１２ｄとする。

キャラクター画像２１５ｍ，２１５ｎ、および、メッセージ２１５ｐは、拡張現実構成部２０２によって候補情報１１２から選択された出力情報２１５を表示した画像である。すなわち、キャラクター画像２１５ｍ，２１５ｎ、および、メッセージ２１５ｐは、現実には存在しない仮想的な事物を表現した画像であり、拡張現実において、拡張部分を表現した画像である。

キャラクター画像２１５ｍ，２１５ｎ、および、メッセージ２１５ｐは、いずれも候補情報１１２から選択された情報ではあるが、いずれも基準位置取得装置１０から取得した情報ではない。これらは、携帯端末装置２ａが受信した各端末装置１２ａ，１２ｂ，１２ｃに固有の情報に基づいて作成された情報である。

すでに説明したように、第２の実施の形態において、ゲームセンター内では、通信部２７が付近の通信デバイスを探索する。このとき、端末装置１２が検出されると、通信部２７は、検出した端末装置１２との間で通信を開始する。携帯端末装置２ａは、通信が開始された端末装置１２から当該端末装置１２に固有の情報を受信する。そして、受信した固有の情報に基づいて候補情報１１２を作成し、自機の記憶装置２１に格納する。

なお、端末装置１２の位置は、基準位置取得装置１０から取得した候補情報１１２に含まれている。したがって、携帯端末装置２ａは、近接無線通信が成立した全ての端末装置１２から固有の情報を受信するのではなく、予め取得されている端末装置１２の位置に基づいてユーザの視野内に存在すると判定された端末装置１２からのみ固有の情報を受信するようにしてもよい。これにより、データ通信において送受信される情報量を抑制することができる。

第１の実施の形態における携帯端末装置２と同様に、携帯端末装置２ａもユーザの視点や視線方向を決めることにより、拡張現実空間９内におけるユーザの視野を決定することができる。したがって、拡張現実構成部２０２は、ユーザの視野内に存在する端末装置１２に由来する候補情報１１２（当該端末装置１２から受信した固有の情報に基づいて作成された候補情報１１２）の中から、出力情報２１５を選択することができる。

このようにして、携帯端末装置２ａは、各端末装置１２の固有の情報を、各端末装置１２の位置に応じた位置に表示する。図１０に示す例では、端末装置１２ａのプレイ状況に応じたキャラクター画像２１５ｍと、端末装置１２ｂのプレイ状況に応じたキャラクター画像２１５ｎと、端末装置１２ｃの受付状況を示すメッセージ２１５ｐとが表示されている。

このように、第２の実施の形態における拡張現実システム１ａは、携帯端末装置２ａにおいて、拡張現実空間９内に存在する端末装置１２の固有の情報を収集する。これにより、ゲームセンターを訪れたユーザは、近くに存在する端末装置１２から、提供されているゲームのプレイ情報やデモ情報、遊び方などの情報を受信して、仮想物体として表示することができる。また、単に近いだけではなく、拡張現実空間９内のユーザの視野を決定して、ユーザの視線の先に仮想物体を表示することができる。したがって、リアルな拡張現実を表現できるとともに、第１の実施の形態に比べて、よりリアルタイムな情報に基づいて拡張現実を表現できる。また、プレイ状況を拡張現実として表現することにより、プレイ風景（キャラクター画像２１５ｍ，２１５ｎ）が表示され、観客としてもゲームを楽しむことができる。

なお、デモ情報や遊び方など、頻繁に変更されることのない情報については、基準位置取得装置１０から候補情報１１２として受信するように構成してもよい。すなわち、出力情報２１５は、他の携帯端末装置２ａや端末装置１２から受信した情報に限定されるものではない。

＜３． 第３の実施の形態＞
上記実施の形態では、対象物に関して収集される情報は、オーナー情報２１１および位置情報２１４のみであったが、これらの情報に限定されるものではない。また、上記実施の形態では、提供される拡張現実において、現実部分も画像情報として表示部２３に表示される例について説明した。しかし、拡張現実における現実部分は必ずしも画像情報として表示されなければならないものではない。

図１１は、第３の実施の形態における拡張現実システム１ｂを示す図である。拡張現実システム１ｂは、携帯端末装置２の代わりに携帯端末装置２ｂを備えている点と、基準位置取得装置１０およびデータベースサーバ１１に相当する構成を備えていない点とが、第１の実施の形態における拡張現実システム１と異なっている。以下、第３の実施の形態における拡張現実システム１ｂについては、第１の実施の形態における拡張現実システム１と同様の構成については同符号を付し、適宜説明を省略する。

図１１に示すように、携帯端末装置２ｂは、ＨＭＤ（Head Mounted Display）型の装置として構成されており、ユーザが頭部に装着することにより、当該ユーザに付随して移動する。第１の実施の形態に示したように、手持ち式の携帯端末装置２を採用する場合、ユーザの手持ちの状態によって、ユーザと携帯端末装置２との間の相対的な位置関係が変化し、これがセンサ群２４の位置（位置情報２１４）から求められる拡張現実における視点と撮像部２５の撮像点との間の誤差の原因となる。しかし、本実施の形態における拡張現実システム１ｂは、装着型の携帯端末装置２ｂを採用することにより、手持ち式の携帯端末装置２を採用する場合に比べて、現実部分と拡張部分との視覚上の一致精度が向上する。したがって、提供される拡張現実の真実味（リアリティ）が向上する。

図１２は、第３の実施の形態における携帯端末装置２ｂのブロック図である。

携帯端末装置２ｂは、通常は、システム運営者が所有する専用の装置である。したがって、図１２に示すように、記憶装置２１には、ユーザに関するオーナー情報２１１に相当する情報は格納されていない。

また、携帯端末装置２ｂは、透過型のディスプレイを有する表示部２３ａを備えている。拡張現実空間９に配置されている現実の事物は、当該ディスプレイを透過した光に基づいて、ユーザの視覚に捉えられ知覚されることになる。したがって、第３の実施の形態における拡張現実システム１ｂにおいては、拡張現実を提供するにあたって、現実部分の画像情報を表示することはない。一方で、表示部２３ａは、出力情報２１５を当該ディスプレイの所定の位置に表示させることにより、仮想物体（拡張部分）を、現実部分に適宜重畳させる。

また、携帯端末装置２ｂは、撮像部２５を備えておらず、周囲を撮像する機能は有していない。したがって、第３の実施の形態においては、撮像画像情報２１３に相当する情報は作成されない。これは、すでに説明したように、携帯端末装置２ｂにおいては、現実部分を画面に表示する必要がないからである。

さらに、携帯端末装置２ｂは、非接触ＩＣカード部２６および通信部２７に相当する構成を備えておらず、スタンドアロン型の装置として構成されている。携帯端末装置２ｂの記憶装置２１には、プログラム２１０とともに、予め基準情報１０３および候補情報１１２が格納されている。

携帯端末装置２ｂは、センサ群２４のみならず、さらに生体センサ２８を備えている。生体センサ２８は、生体に関する生体情報２１６を測定する機能を備えた装置である。生体センサ２８としては、例えば、ユーザの心拍数を測定する心拍数センサや、ユーザの呼吸数など呼吸に関する情報を計測する呼吸センサ、ユーザの発生音を計測するマイクなどが想定される。ただし、生体センサ２８は、このような装置に限定されるものではなく、ユーザの現在の生理状況を判定するために利用可能な情報を収集する機能を有する装置であればよい。

また、携帯端末装置２ｂは、音声に関する情報に基づいて音声を再生するスピーカ２９を備えている。特に、スピーカ２９は、出力情報２１５に含まれる音声に関する情報を音声として出力する出力手段として用いられる。

図１３は、第３の実施の形態における携帯端末装置２ｂが備える機能ブロックをデータの流れとともに示す図である。携帯端末装置２ｂは、カード制御部２００を備えておらず、位置姿勢特定部２０１および拡張現実構成部２０２の代わりに位置姿勢特定部２０１ａおよび拡張現実構成部２０２ａを備えている点が、携帯端末装置２と異なっている。

位置姿勢特定部２０１ａは、操作部２２からの入力情報に応じて、携帯端末装置２ｂ（センサ群２４）が基準位置に存在し、かつ、現在の姿勢が基準位置における姿勢となっていると判定する。本実施の形態では、操作部２２のリセットボタンが操作されたときの携帯端末装置２ｂの現在位置および現在姿勢が、基準情報１０３によってリセットされる。すなわち、第３の実施の形態においては、位置姿勢特定部２０１ａが本発明に係る判定手段に相当する機能を有している。

拡張現実構成部２０２ａは、第１の実施の形態と同様に、位置情報２１４に応じて、候補情報１１２から出力情報２１５を抽出する。ただし、第３の実施の形態においては、オーナー情報２１１に相当する情報が存在しないので、拡張現実構成部２０２ａは、出力情報２１５を抽出する際に、オーナー情報２１１を参照することはない。代わりに、拡張現実構成部２０２は、生体情報２１６に応じて出力情報２１５を抽出する。これにより、第３の実施の形態における拡張現実システム１ｂ（表示部２３ａおよびスピーカ２９）は、生体センサ２８により測定された生体情報２１６に応じた出力情報２１５を出力する。

以下、第３の実施の形態における拡張現実システム１ｂについて、お化け屋敷を拡張現実空間９とするアプリケーションの例で説明する。

図１４は、第３の実施の形態における拡張現実提供方法を示す流れ図である。

まず、お化け屋敷の窓口担当者は、携帯端末装置２ｂを、所定の位置に所定の姿勢で静止させた状態で、リセットボタン（操作部２２）を操作（ステップＳ１１）し、当該携帯端末装置２ｂをユーザに渡せる状態（以下、「スタンバイ状態」と称する。）にしておく。

なお、所定の位置とは、基準情報１０３に格納されている基準位置に一致する位置である。また、所定の姿勢とは、基準情報１０３に格納されている姿勢（基準位置における姿勢として規定されている姿勢）である。すなわち、第３の実施の形態では、第１の実施の形態における通信可能化動作に相当する動作を窓口担当者が実行することになる。

ステップＳ１１が実行されることにより、センサ群２４は測定情報２１２の測定を開始し（ステップＳ１２）、位置姿勢特定部２０１ａは基準情報１０３および測定情報２１２に基づいて位置情報２１４の作成を開始する（ステップＳ１３）。

次に、お化け屋敷の入り口にユーザが到着すると、窓口担当者はスタンバイ状態の携帯端末装置２ｂを当該ユーザに手渡す。そして、当該ユーザは、受け取った携帯端末装置２ｂを装着する（ステップＳ１４）。これにより、表示部２３ａはユーザの目の前方に配置され、スピーカ２９はユーザの耳の近傍に配置され、生体センサ２８はユーザの体に装着される。

ユーザは、携帯端末装置２ｂを装着した状態で、お化け屋敷（拡張現実空間９）に入場する（ステップＳ１５）。

拡張現実構成部２０２ａは、位置情報２１４に応じてユーザ（携帯端末装置２ｂ）が拡張現実空間９内に存在しているか否かを判定し（ステップＳ１６）、存在していない場合はさらにフラグがＯＮか否かを判定する（ステップＳ１７）。フラグとは、ユーザが拡張現実空間９内に入場したことがあるか否かを示す情報であり、入場したことがある場合に「ＯＮ」にセットされ、入場したことがない場合に「ＯＦＦ」にセットされる。

ステップＳ１７においてＮｏの場合は、ユーザが未だ拡張現実空間９に入場したことがないことを示しているので、ユーザの入場行動が未だ完了していないとみなして、ステップＳ１６の処理に戻る。

一方、ユーザが拡張現実空間９内に存在している場合（ステップＳ１６においてＹｅｓ。）、ＣＰＵ２０はフラグをＯＮにセットする（ステップＳ１８）。そして、拡張現実構成部２０２ａは、位置情報２１４および生体情報２１６に基づいて、出力情報２１５を作成する（ステップＳ１９）。

ステップＳ１９が実行されると、表示部２３ａおよびスピーカ２９が当該出力情報２１５を出力する（ステップＳ２０）ことにより、拡張現実を表現する。ステップＳ１６ないしＳ２０の処理は、ユーザが拡張現実空間９内に存在しない（出口から出た）と判定されるまで継続される。

ステップＳ１７においてＹｅｓと判定されると、一旦、拡張現実空間９内に入場したユーザが当該拡張現実空間９から出たとみなして、ＣＰＵ２０はフラグをＯＦＦにセットし（ステップＳ２１）、携帯端末装置２ｂによる拡張現実の提供を終了する。その後、窓口担当者は、ユーザから携帯端末装置２ｂを回収する。

次に、本実施の形態において、生体情報２１６がどのように出力情報２１５の選択に利用されるかを説明する。

図１５は、第３の実施の形態における拡張現実システム１ｂにより実現される拡張現実の例を示す図である。図１５に示す柳画像２１５ｑおよび幽霊画像２１５ｒは、いずれも出力情報２１５である。逆に、柳画像２１５ｑおよび幽霊画像２１５ｒ以外の事物は、透過型のディスプレイを透過した光により知覚される現実に存在している事物である。

図１６は、拡張現実空間９内の幽霊画像２１５ｒの表示位置を例示する図である。図１６に示す例では、拡張現実空間９内に幽霊画像２１５ｒを表示させる箇所が８箇所設定されている。言い換えれば、候補情報１１２には、予め、８箇所において表示する幽霊画像２１５ｒが準備されている。また、図１６に示す円９０は、判定位置（後述）を示す。さらに、図１６に示す網掛けを施した部分は現実の壁や柱を示している。

図１７ないし図１９は、幽霊画像２１５ｒの表示例を示す図である。図１７ないし図１９において太線で示す矢印は、拡張現実空間９内におけるユーザの経路を示す。

第３の実施の形態における拡張現実システム１ｂは、ユーザが判定位置（円９０）に到達したときの当該ユーザの生理状況に応じて、幽霊画像２１５ｒを実際に表示する位置を変更する。すなわち、判定位置における生体情報２１６により、心拍数が１２０［bpm］より大きいときは図１７に示す位置にのみ幽霊画像２１５ｒを表示し、心拍数が９０〜１２０［bpm］のときは図１８に示す位置にのみ幽霊画像２１５ｒを表示し、心拍数が９０［bpm］未満のときは図１９に示す位置にのみ幽霊画像２１５ｒを表示する。

このように、生体情報２１６を解析することにより大きく驚いていると判定されたユーザについては、比較的短距離かつ単純な移動経路（図１７）となるように幽霊画像２１５ｒを表示する。また、遭遇する幽霊（幽霊画像２１５ｒ）も最も少ないようになっている。

一方、あまり驚いていないと判定されたユーザについては、比較的長距離かつ複雑な移動経路（図１８，図１９）となるように幽霊画像２１５ｒを表示する。また、遭遇する幽霊（幽霊画像２１５ｒ）も増えるように設定する。

このように、第３の実施の形態における拡張現実システム１ｂは、生体センサ２８により測定された生体情報２１６に応じた出力情報２１５を出力することにより、生体の生理的状況に応じた拡張現実を提供することができる。

なお、ユーザが驚いている程度は、例えば、加速度センサを使用して、加速度が大きく変化した回数を数えることによっても判定できる。例えば、入場してから判定位置までの間に、２回以上驚いたユーザについては図１７の表示パターンを適用し、１回のユーザについては図１８の表示パターンを適用し、０回のユーザについては図１９の表示パターンを適用するといった方法が考えられる。

図２０は、第３の実施の形態において、幽霊画像２１５ｒの表示を変更する場合における変形例を示す図である。図２０における破線矢印は、幽霊画像２１５ｒの表示位置を順次変更した場合の軌跡を示す。

図１７ないし図１９では、生体情報２１６に基づいて各幽霊画像２１５ｒを表示するか否かを判定した。しかし、ほとんど驚いていないとみなせるユーザについては、例えば、図２０に示すように、幽霊画像２１５ｒがユーザを追跡してくるかのように、特定の幽霊画像２１５ｒの表示位置を順次変更させてもよい。

なお、本実施の形態では、仮想物体としての「幽霊」の表示を変更することによりユーザの経路を変化させたが、経路を変更する手法はこれに限定されるものではない。例えば、現実の事物である壁と壁との間に、仮想の事物としての壁を表示することにより、あたかも壁が連なっており、通行できないように見せて経路を変更させてもよい。

また、第３の実施の形態における拡張現実システム１ｂにおいても、第１の実施の形態における拡張現実システム１と同様に、基準位置取得装置１０およびデータベースサーバ１１に相当する装置を設け、携帯端末装置２ｂに非接触ＩＣカード部２６および通信部２７を設けてもよい。このように構成することにより、第３の実施の形態における拡張現実システム１ｂにおいても、基準情報１０３および候補情報１１２の更新に容易に対応可能となる。

特に、第３の実施の形態に示した「お化け屋敷」を模したアプリケーションでは、リピータを呼び込むために、現実のレイアウトや仮想物体の表示形態等を比較的短いサイクルで変更することが好ましい。その場合には、基準情報１０３や候補情報１１２の更新が必要になる場合も想定される。ただし、このような場合においても、ＳＤカードなどの可搬性の記録媒体に更新された基準情報１０３および候補情報１１２を格納して、携帯端末装置２ｂに供給するようにして対応することも可能である。

＜４． 第４の実施の形態＞
本発明が適用されるアプリケーションは上記実施の形態に示したものに限定されるものではなく、さらに多くのバリエーションが考えられる。

図２１および図２２は、第４の実施の形態における拡張現実システム１ｃによって提供される探索アプリケーションの拡張現実の表示例である。探索アプリケーションとは、ユーザが携帯端末装置２を用いて拡張現実空間９内に設置された宝箱などの目的物（仮想物体）を探索するものである。第４の実施の形態における拡張現実システム１ｃは、例えば、第１の実施の形態における拡張現実システム１と同様の構成で実現できる。

図２１に示すように、表示部２３には、現実部分の撮像画像情報２１３ｄと、目的物である宝箱画像２１５ｓと、探索の手がかりとなる情報を示すメッセージ２１５ｔおよび羅針盤画像２１５ｕとが合成されて表示される。ここで、宝箱画像２１５ｓ、メッセージ２１５ｔおよび羅針盤画像２１５ｕは、候補情報１１２から選択される出力情報２１５である。

探索アプリケーションが提供する拡張現実空間９では、ユーザは携帯端末装置２に出力されるメッセージ２１５ｔや羅針盤画像２１５ｕを頼りに、仮想物体（宝箱）の探索を行う。

そして、ユーザの現在位置と現在姿勢とが所定の範囲内に収まると、目的物の発見となる。すなわち、位置情報２１４が所定の範囲内に収まることを条件に拡張現実構成部２０２が宝箱画像２１５ｓを出力情報２１５として選択し、図２２に示されるような画面が表示される。図２２に示す例では、現実部分を表現する撮像画像２１３ｅとともに、宝箱画像２１５ｓと、宝箱が発見されたことを示すメッセージ２１５ｖとが表示されている。

なお、第４の実施の形態では、宝箱を目的物として探索する例について説明したが、目的物はこれに限定されるものではない。例えば、目的物を仮想物体として表現される動物とすることも可能である。その場合は、当該動物の鳴き声を、ユーザの位置情報２１４に応じて調整して、探索の手がかりとなる情報としてスピーカ２９から出力することが好ましい。鳴き声などの音声の調整とは、目的物としての動物とユーザとの距離に応じた音量調整だけでなく、ユーザの左右の耳に到達する音量を相互に調整することによってユーザが知得する音源方向を調整することも有効である。

＜５． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。例えば、撮像部２５が撮像を開始する工程（ステップＳ５）と、センサ群２４が測定を開始する工程（ステップＳ６）とを入れ替えてもよい。

また、上記実施の形態に示した機能ブロック（カード制御部２００や位置姿勢特定部２０１、拡張現実構成部２０２など）は、ＣＰＵ２０がプログラム２１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

また、指標手段は、基準位置や基準位置における姿勢に関する情報を表現したバーコードでもよい。例えば、基準位置において特定の姿勢で読み取るバーコードを拡張現実空間の近傍に設け、これを撮像部２５で撮像し読み取るように構成してもよい。

また、上記実施の形態では、センサ群２４と出力手段（表示部２３，２３ａおよびスピーカ２９）とが同一の装置に設けられている例について説明した。しかし、これらは別の装置に存在してもよい。例えば、ペット（対象物）にセンサ群２４を取り付けて、拡張現実空間９内に放し、当該ペットの動きに応じて、ユーザが携帯する装置に設けられた出力手段に仮想物体を表示することにより拡張現実を提供してもよい。あるいは、センサ群２４を内蔵したボール（対象物）を拡張現実空間９内でユーザが投げ、投げられた瞬間の位置および加速度に応じて、当該ボールの軌道を計算し、当該ボールに対応した仮想物体（例えば、槍や魔法による火の玉など）の軌道や標的となった敵の様子をユーザの手元の装置（出力手段）に表示するといったアプリケーションも想定される。

１，１ａ，１ｂ，１ｃ 拡張現実システム
１０ 基準位置取得装置
１００ 非接触ＩＣカードリーダ部
２１，１０１，１１０ 記憶装置
１０２，１１１，２１０ プログラム
１０３ 基準情報
１１ データベースサーバ
１１２ 候補情報
１２，１２ａ，１２ｂ，１２ｃ，１２ｄ 端末装置
２，２ａ，２ｂ 携帯端末装置
２０ ＣＰＵ
２００ カード制御部
２０１，２０１ａ 位置姿勢特定部
２０２，２０２ａ 拡張現実構成部
２１１ オーナー情報
２１２ 測定情報
２１３，２１３ｄ 撮像画像情報
２１３ａ 店舗内画像
２１３ｂ，２１３ｃ ゲームセンター内画像
２１４ 位置情報
２１５ 出力情報
２１５ａ 経路
２１５ｂ，２１５ｃ，２１５ｄ 広告
２１５ｅ 店舗内画像
２１５ｆ 経路
２１５ｇ 星印
２１５ｈ，２１５ｉ クーポン
２１５ｊ アバター画像
２１５ｋ，２１５ｐ，２１５ｔ，２１５ｖ メッセージ
２１５ｍ，２１５ｎ キャラクター画像
２１５ｑ 柳画像
２１５ｒ 幽霊画像
２１５ｓ 宝箱画像
２１５ｕ 羅針盤画像
２１６ 生体情報
２２ 操作部
２３，２３ａ 表示部
２４ センサ群
２５ 撮像部
２６ 非接触ＩＣカード部
２７ 通信部
２８ 生体センサ
２９ スピーカ
９ 拡張現実空間
９０ 円

Claims (7)

1. 位置が可変の携帯端末装置と、
   絶対位置が既知の指標手段と、
   を備え、
   動きに関する情報を測定するセンサと、
   前記センサの基準位置および前記基準位置における前記センサの姿勢を記憶する第１記憶手段と、
   前記指標手段の個別情報を取得する取得手段と、
   前記センサが前記基準位置に存在しているか否かを判定する判定手段と、
   前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する位置特定手段と、
   前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する姿勢特定手段と、
   前記位置特定手段により特定された前記センサの現在位置と前記姿勢特定手段により特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する出力手段と、
   をさらに備え、
   前記センサおよび前記取得手段は、前記携帯端末装置に設けられており、
   前記判定手段は、前記取得手段により前記指標手段の個別情報が取得されたときに前記センサが前記基準位置に存在していると判定する拡張現実システム。
2. 請求項１に記載の拡張現実システムであって、
   複数の前記携帯端末装置を備え、
   前記携帯端末装置は、
   拡張現実空間内に存在する他の携帯端末装置との間で無線によるデータ通信を行う第２通信手段と、
   前記出力手段と、
   を備え、
   前記第２通信手段は、前記他の携帯端末装置が備える前記センサの現在位置を無線によるデータ通信により受信し、
   前記出力手段は、前記第２通信手段により受信した前記他の携帯端末装置が備える前記センサの現在位置に応じて出力情報を出力する拡張現実システム。
3. 請求項１に記載の拡張現実システムであって、
   前記携帯端末装置は、
   拡張現実空間内に存在する端末装置との間で無線によるデータ通信を行う第３通信手段と、
   前記出力手段と、
   を備え、
   前記第３通信手段は、前記端末装置に関する固有の情報を無線によるデータ通信により受信し、
   前記出力手段は、前記第３通信手段により受信した前記端末装置に関する固有の情報に応じて出力情報を出力する拡張現実システム。
4. 請求項１ないし３のいずれかに記載の拡張現実システムであって、
   前記センサが付随する対象物に関する情報を記憶する第２記憶手段をさらに備え、
   前記出力手段は、前記第２記憶手段に記憶された前記対象物に関する情報に応じた出力情報を出力する拡張現実システム。
5. 請求項１ないし４のいずれかに記載の拡張現実システムであって、
   生体に関する生体情報を測定する生体センサをさらに備え、
   前記出力手段は、前記生体センサにより測定された生体情報に応じた出力情報を出力する拡張現実システム。
6. 位置が可変のコンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、
   動きに関する情報を測定するセンサと、
   前記センサの基準位置および前記基準位置における前記センサの姿勢を記憶する第１記憶手段と、
   外部に存在する絶対位置が既知の指標手段の個別情報を取得する取得手段と、
   前記センサが前記基準位置に存在しているか否かを判定する判定手段と、
   前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する位置特定手段と、
   前記判定手段により前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する姿勢特定手段と、
   前記位置特定手段により特定された前記センサの現在位置と前記姿勢特定手段により特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する出力手段と、
   を備え、
   前記判定手段が、前記取得手段により前記指標手段の個別情報が取得されたときに前記センサが前記基準位置に存在していると判定する携帯端末装置として機能させるプログラム。
7. 位置が可変の携帯端末装置による拡張現実提供方法であって、
   動きに関する情報をセンサによって測定する工程と、
   前記センサの基準位置および前記基準位置における前記センサの姿勢を第１記憶手段に記憶させる工程と、
   外部に存在する絶対位置が既知の指標手段の個別情報を取得する工程と、
   前記センサが前記基準位置に存在しているか否かを判定する工程と、
   前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在位置を特定する工程と、
   前記センサが前記基準位置に存在していると判定された後において、前記第１記憶手段に記憶された前記基準位置における前記センサの姿勢と、前記センサにより測定された前記動きに関する情報とに基づいて、前記センサの現在の姿勢を特定する工程と、
   特定された前記センサの現在位置と特定された前記センサの現在の姿勢とに応じて出力情報を出力することにより拡張現実を表現する工程と、
   を有し、
   前記指標手段の個別情報が取得されたときに、前記判定する工程において、前記センサが前記基準位置に存在していると判定する拡張現実提供方法。

Images