JP6754815B2 - 拡張現実システム、拡張現実端末および方法 - Google Patents

Description

本発明は、拡張現実システムに関し、特に、場所に紐付けられた情報を共有するソーシャル・ネットワーキング・サービスにおいて、ユーザ用の端末を用いて拡張現実技術を用いた情報を提示する技術に関する。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）は、ユーザ周囲の現実空間における環境に、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）の技術によって生成された仮想的な情報を付加して組み合わせることにより、ユーザが五感により知覚可能な現実空間を拡張する技術を指す。典型的には、拡張現実は、コンピューターグラフィックスを用いて現実空間には存在しない仮想像を生成し、その仮想像を現実空間の現実像と組み合わせてユーザに提示することで、目の前にある現実空間を仮想的に拡張する技術である。

拡張現実をユーザに提供する際には、スマートフォンなどの汎用的な装置上で拡張現実を実現するアプリケーションを動作させ、装置が有するカメラによる撮像画像と、装置が生成した仮想像を組み合わせた拡張現実像をユーザに提示してもよい。また、専用の装置や端末を用いてユーザに拡張現実体験を提供してもよい。例えば特許文献１では、拡張現実技術に基づく端末を開示する。特許文献１には、ビデオキャプチャーユニットにより取得して現実像と仮想シーンが混合された閲覧画面を液晶ディスプレイに表示する、手持ち式閲覧デバイスが記載されている。

また従来、インターネット上でユーザ同士が交流を行うためのソーシャル・ネットワーキング・サービス（ＳＮＳ）が提供されている。例えば特許文献２では、複数のユーザがそれぞれ端末を用いて投稿情報をやり取りしている場合に、投稿情報を時系列に並べてタイムライン要素を生成する、情報処理システムを開示している。

特表２０１７−５２２６８２号公報 特開２０１５−０１８２８８号公報

しかしながら、従来の拡張現実技術においては、あるユーザが体感した拡張現実を他のユーザと共有することや、あるユーザが現実空間上の特定の場所で得た印象やメッセージを他のユーザと拡張現実像上で共有することが困難であった。

また、従来のＳＮＳにおいては、投稿情報は何らかのつながりを持ったユーザ間で送受信され、ユーザ毎、かつ時系列に蓄積されるものであった。かかるタイムライン的な処理による投稿情報の蓄積は、特定のユーザによる情報発信を追跡するために便利である反面、それ以外の観点による投稿情報の取得に手間を要するという課題がある。例えば、ユーザが現実空間のある場所を訪れた際に、ＳＮＳを用いてその場所に関連する情報を収集したい場合、ユーザ毎に蓄積された投稿情報から場所を手がかりとした抽出処理を行う必要がある。しかし、場所を表現する際には様々な表記ゆれが発生する。例えば場所を表す際には、市町村名や字名などの行政地名、山や川など自然物に基づく地名、建物名や公園名といった施設名など様々な表現方法を利用できる上、各表現方法の中でも粒度の異なる複
数の称呼が可能である。

また、従来のＳＮＳにおいては拡張現実技術の利用が不十分であったため、コミュニケーションにおいて意図した伝達内容が必ずしも相手に十分に伝わっているとは言えなかった。

本発明は上記課題に鑑みてなされたものである。本発明の目的は、ソーシャル・ネットワーキング・サービスにおいて拡張現実を利用することで、場所に特有の情報を複数のユーザ間で効率的に伝達するための技術を提供することにある。

本発明は、以下の構成を採用する。すなわち、現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する拡張現実システムであって、拡張現実端末と、情報処理装置と、を備えており、
前記拡張現実端末は、
前記仮想情報を生成する第１のモードと、前記拡張現実像を提示する第２のモードで動作可能であり、
前記現実空間における前記拡張現実端末の位置を示す位置情報を取得する位置情報取得手段と、
前記第１のモードにおいて、ユーザが入力した入力情報に基づいて前記仮想情報を生成する仮想情報生成手段と、
前記第１のモードにおいて生成された前記仮想情報と、前記仮想情報を生成したときの前記位置情報である第１の位置情報とを対応付けて、前記情報処理装置に送信する送信手段と、
前記第２のモードにおいて、前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記情報処理装置から前記仮想情報を受信する、受信手段と、
前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成する仮想像生成手段と、
前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御する拡張現実像表示制御手段と、を含み、
前記情報処理装置は、前記拡張現実端末から送信された前記仮想情報と前記第１の位置情報を対応付けて保存する、拡張現実システムである。

本発明は、また、以下の構成を採用する。すなわち、拡張現実端末と情報処理装置とを備える拡張現実システムにおいて、現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する方法であって、
前記拡張現実端末が前記仮想情報を生成する第１のモードにおいて、
前記現実空間における前記拡張現実端末の位置を示す位置情報を取得することと、
ユーザが入力した入力情報に基づいて前記仮想情報を生成することと、
前記仮想情報と、前記仮想情報を生成したときの前記位置情報である第１の位置情報とを対応付けて、前記情報処理装置に送信することと、を含み、
前記拡張現実像を提示する第２のモードにおいて、
前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記情報処理装置から前記仮想情報を受信することと、
前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成することと、
前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御することと、を含む、方法である。

かかる拡張現実システムによれば、拡張現実の技術を用いてユーザ間でコミュニケーションを行うＳＮＳにおいて、あるユーザが場所に対応付けた情報を取得可能となり、その
場所で行われるコミュニケーションを実現できる。
ここで、仮想情報とは仮想像を生成するために必要な情報を指す。また浮遊体の画像とは、仮想像としてディスプレイに表示されたときに、現実空間に浮遊しているように見える物体を指す。

上記構成において、前記拡張現実端末は、前記入力情報として音声の入力を受け付けて音声情報を生成する、音声入力手段をさらに含んでいてもよい。
また上記構成において、前記仮想情報生成手段は、前記音声情報を文字情報に変換して前記仮想情報を生成し、前記仮想像生成手段は、前記浮遊体の画像に前記文字情報に基づく文字が重なるような前記仮想像を生成するものでもよい。
また上記構成において、前記拡張現実端末は、前記音声情報に基づく音を再生する再生手段をさらに含むものもよい。
また上記構成において、前記再生手段は、前記表示手段に表示された前記浮遊体の画像に対する前記ユーザによる操作に応じて、前記音を再生するものでもよい。
また上記構成において、前記拡張現実端末は、前記入力情報として、前記ユーザによるテキスト、画像、および動画像の少なくともいずれかを受け付ける情報入力手段をさらに含み、前記仮想像生成手段は、前記情報入力手段が受け付けた情報に基づく画像を生成し、前記拡張現実像表示制御手段は、前記情報入力手段が受け付けた情報に基づく画像を前記浮遊体に重畳して表示させるものでもよい。
これらの構成によれば、仮想情報を生成するための入力情報や、仮想情報に基づく情報の提示方法のバリエーションが増加し、活発なコミュニケーションを促すことができる。

上記構成において、前記拡張現実端末は、気流を検知する気流検知手段をさらに含み、前記第１のモードにおいて、前記拡張現実像表示制御手段は、前記仮想情報に基づいて前記仮想像生成手段が生成した前記浮遊体の像を前記表示手段に表示させ、前記気流検知手段が検知した前記気流に基づいて前記浮遊体の像の位置を変更するものでもよい。
また上記構成において、前記仮想情報生成手段は、前記気流に基づいて変更された前記浮遊体の像の位置に応じて、前記仮想情報を修正するものでもよい。
また上記構成において、前記気流検知手段は、前記気流の方向、強さおよび持続時間の少なくともいずれかを検知するものでもよい。
これらの構成によれば、ユーザが息を吹きかけて浮遊体を飛ばすという働きかけが可能になるため、操作性を強化することができる。

上記構成において、前記拡張現実端末は、前記仮想情報が生成されたタイミングを示すタイミング情報を生成するタイミング情報生成手段をさらに含み、前記送信手段は、前記仮想情報および前記位置情報に前記タイミング情報を対応付けて前記情報処理装置に送信し、前記情報処理装置は、前記タイミング情報を保存するものでもよい。
また上記構成において、前記第２のモードにおいて、前記受信手段は、前記タイミング情報に基づき、現在時刻に対して所定のタイミング条件を満たす前記仮想情報を、前記情報処理装置から受信するものでもよい。
また上記構成において、前記第２のモードにおいて、前記受信手段は、現在時刻から所定の時間範囲内に生成された前記仮想情報を受信するものでもよい。
また上記構成において、前記第２のモードにおいて、前記受信手段は、現在時刻に対応する時間帯または現在の季節に対応する季節に生成された前記仮想情報を受信するものでもよい。
これらの構成によれば、仮想情報が生成されたタイミングに基づいて、容易にＳＮＳ内での情報の疎通を整理することができる。

本発明によれば、ソーシャル・ネットワーキング・サービスにおいて拡張現実を利用す
ることで、場所に特有の情報を複数のユーザ間で効率的に伝達するための技術を提供することができる。

拡張現実システムの全体的な構成を示すブロック図である。 拡張現実システムの機能的な構成を示す機能ブロック図である。 拡張現実システムのユーザが用いる端末の一例を示す図である。 実施形態１における拡張現実像の表示例を示す図である。 実施形態１での処理の流れを説明するフローチャートである。 実施形態１における気流情報の利用方法を示す図である。 実施形態２の拡張現実システムの機能的な構成を示す機能ブロック図である。 実施形態２での処理の流れを説明するフローチャートである。 実施形態３における拡張現実システムのユーザが用いる端末の一例を示す図である。 実施形態３での処理の流れを説明するフローチャートである。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、現実空間上の場所に対応付けられた、拡張現実の技術を用いて生成された投稿情報をユーザがＳＮＳに投稿し、他のユーザがその場所において投稿情報を取得することで、拡張現実による体験を得ることができる、拡張現実システムに関するものである。本システムを用いることで、ユーザ間のコミュニケーションが活性化するとともに、その場所でしか得られない体験をより豊かにすることができる。

本発明は、拡張現実システムとして捉えることもできるし、システムに用いられる拡張現実端末や情報処理装置や、かかる端末や装置の制御方法としても捉えられる。本発明はまた、拡張現実の技術を用いたＳＮＳを実現するための情報処理方法としても捉えられる。本発明はまた、上記の拡張現実端末や情報処理装置の演算資源を利用して動作し、情報処理方法の各工程を実行させるプログラムや、かかるプログラムが格納された記憶媒体としても捉えることができる。記憶媒体は、コンピュータにより読み取り可能な非一時的な記憶媒体であってもよい。本発明はまた、コンピュータを、本発明にかかるシステムや装置の各手段として機能させるプログラムとしても捉えることができる。

本発明は、拡張現実端末を持つユーザが、現実空間の場所に対応付けられた情報をＳＮＳに投稿する場合や、ＳＮＳの運営者が情報処理装置を用いてかかる投稿情報を取得および保存する場合や、拡張現実端末を持つユーザが現実空間の場所に赴いて投稿情報を取得する場合に好適である。
以下の実施形態では、拡張現実端末を持つユーザがＳＮＳに情報を送信し、他のユーザがＳＮＳ運営者の情報処理装置に保存された情報を受信する例について説明する。ただし、本発明が適用されるサービスは、ユーザが投稿情報を送受信可能であればよく、「ＳＮＳ」と呼ばれているかどうかは問わない。また本発明で用いられる技術は、現実像に仮想情報に基づく像を組み合わせて表示できればよく、例えば「複合現実（Ｍｉｘｅｄ ｒｅａｌｉｔｙ：ＭＲ）」と呼ばれていてもよい。その他、本発明を構成する各ブロックや要素技術の名称は、以下の実施形態の記載には限定されない。

［実施形態１］
以下の実施形態において、ユーザとは、ＳＮＳを利用して投稿を行う者や、投稿情報を取得する者を指す。両者は別人であってもよく、同一人物であってもよい。また、投稿側と取得側のいずれも複数人数であってもよい。

＜全体構成＞
本実施形態のシステムの全体的な物理構成について、図１を参照しながら説明する。
拡張現実システム１は概略、運営者が運用する情報処理装置１０および記憶装置１５、複数のユーザ（ユーザａ，ｂ，…）が使用する拡張現実端末（２０ａ，２０ｂ，…）を備えている。拡張現実端末２０と情報処理装置１０との間は、Ｗｅｂや専用回線等の通信経路を経由して相互に通信可能である。

情報処理装置１０は、Ｗｅｂを経由して各ユーザからの投稿情報を取得し、記憶装置１５に保存する。情報処理装置１０はＳＮＳ運営者が運用するサーバである。情報処理装置１０としては、ＣＰＵ、メモリ、通信手段、保存手段などの演算資源を備え、プログラムの指示やインタフェースを介した指示によって動作する、ＰＣやワークステーションなどが好適である。あるいは情報処理装置１０として、クラウド上の演算資源を利用するクラウドサーバを用いてもよい。あるいは、直接的に又は回線を介して接続された複数のＰＣ等を組み合わせて、情報処理装置１０としてもよい。保存手段としては記憶装置１５を用いてもよい。記憶装置１５は、取得した投稿情報などを保存する。記憶装置１５としては、ハードディスクやフラッシュメモリ等の記憶媒体を備え、情報処理装置により読み書きが可能な装置が好適であるが、データベースの配置や構成などは特に限定されない。

情報処理装置１０は、一例として、情報処理を行うＣＰＵ１００１、データを一時的または永続的に保持するメモリ１００２、Ｗｅｂ等を介して外部との通信を行う通信アダプタ１００３、マウス１００４、キーボード１００５、ディスプレイ１００６を含んで構成される。マウス、キーボードおよびディスプレイは、情報処理装置１０に接続された外部機器であってもよい。情報処理装置１０に含まれる物理的な構成要素はそれぞれ、上述のＰＣやワークステーションなどに通常用いられるものを利用できる。また、ユーザインタフェースはマウスやキーボード、ディスプレイなどに限定されない。このような構成を持つ情報処理装置１０は、ユーザからの投稿情報を受信して保存し、投稿したユーザや他のユーザからのリクエストに応じて投稿情報を送信する。メモリまたは記憶装置、あるいはその両方が、本発明の保存手段だと考えてもよい。

拡張現実端末２０は、ユーザが情報を入力してＳＮＳに投稿する機能を備える端末装置である。拡張現実端末２０は、一例として、情報処理を行うＣＰＵ２００１、データを一時的または永続的に保持するメモリ２００２、Ｗｅｂ等を介して外部との通信を行う通信アダプタ２００３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から信号を受信して現在位置を取得するＧＰＳ受信機であるＧＰＳ２００４、周囲の音声を電気信号に変換して音声情報を生成するマイク２００５、ユーザが呼気を吹きかけることで発生する気流を検知する呼気センサ２００６、背後の現実空間を透過して現実像をユーザに提示するとともに、画像データに基づく画像を提示する、透過型ディスプレイ２００７を含んで構成される。

拡張現実端末２０が備えるＣＰＵ、メモリ、通信アダプタ、ＧＰＳおよびマイクについては、情報処理装置１０が備えるものと同様の構成でも良い。また、拡張現実端末２０を軽量化するために、携帯電話やスマートフォンが備えるものと同様の構成を用いると良い。
なお、通信アダプタ２００３が本発明の送信手段や受信手段だと考えてもよい。また、通信アダプタ２００３と、情報の送受信を行うためのプログラムモジュールを合わせて、
本発明の送信手段や受信手段だと考えてもよい。

＜拡張現実端末の機能的な構成＞
図２は、拡張現実端末の機能的な構成を示す機能ブロック図である。符号２００は、情報処理部であり、メモリ２００２に展開されたプログラムがＣＰＵの２００１の演算能力を利用して実行されることにより実現する機能的なブロックである。位置情報取得手段２０１、仮想情報生成手段２０２、仮想像生成手段２０３、拡張現実像表示制御手段２０４、および、気流検知手段２０５は、それぞれ、情報処理部２００に含まれる機能的なブロックである。これらの機能ブロックは必ずしも物理的な実体を持つ必要はなく、それぞれがプログラムモジュールとして仮想的に実現されてもよい。

（位置情報取得手段）
位置情報取得手段２０１は、ＧＰＳ２００４が取得した情報に基づき、現在の拡張現実端末２０の位置を示す位置情報を取得する機能ブロックである。ＧＰＳ２００４は、複数のＧＰＳ衛星から発信された信号を受信し、信号到達時間の差に基づいて現在位置を緯度および経度の情報として取得する。ユーザが仮想情報を生成し、ある場所に紐付いた浮遊体の像を作成するモード（第１のモード）で取得される位置情報は、第１の位置情報に相当する。また、ユーザが、拡張現実端末２０を用いて既に投稿された情報に基づく浮遊体の像を閲覧するモード（第２のモード）で取得される位置情報は、第２の位置情報に相当する。
なお、ＧＰＳ２００４と、位置情報を取得するプログラムモジュールを合わせて、本発明の位置情報取得手段だと考えてもよい。

位置情報取得手段２０１は、ＧＰＳ以外の方法で位置情報を取得してもよい。例えばＧＰＳ衛星ではなく準天頂衛星システムを用いてもよい。また、拡張現実端末２０が無線通信網を利用する場合、無線基地局のＩＤ等を用いてもよい。また、ユーザに地名、ランドマークの名称、または特徴的な地形などを入力させて位置情報としてもよい。その場合、情報処理装置１０は、入力された位置情報を元に地図データベースを照会して座標情報に変換するとよい。

（仮想情報生成手段）
仮想情報生成手段２０２は、ユーザの入力情報に基づいて仮想情報を生成する。ここで仮想情報とは、拡張現実情報をユーザに提示するために必要な情報を指す。仮想情報は、少なくとも、拡張現実像において現実像に重畳される仮想像を生成するために必要な情報を含む。また、拡張現実情報に音声を含める場合は、音声も入力情報を構成する。

図４は本実施形態における仮想像および拡張現実像の例を示しており、ユーザが、現実空間４０１を透過型ディスプレイ２００７越しに見た様子を示す。この例での現実空間４０１は、動物園のアフリカゾウ飼育コーナーである。透過型ディスプレイ２００７には、透過的に、ディスプレイの背後にある樹木とアフリカゾウが、現実像４０５として表示されている。また、同じ透過型ディスプレイ２００７上に、浮遊体の像が、仮想像４０８として表示されている。ここで浮遊体とは、仮想像としてディスプレイに表示されたときに、現実空間に浮遊しているように見える物体である。典型的には、本図で示したシャボン玉である。なお、簡潔化のために、図中では現実像として樹木とアフリカゾウのみ示しているが、背景の建築物や地面などを現実像に含んでもよい。

仮想像４０８ａには、あるＳＮＳユーザがゾウを見てつぶやいた言葉がテキスト化され、文字情報として表示されている。また仮想像４０８ｂには、あるユーザが歌った音声がテキスト化され表示されている。本図の例では、シャボン玉（浮遊体）の像と、そこに表示された文字とを合わせて仮想像と呼ぶ。ただし、仮想像は浮遊体の像のみでもよい。ま
た、浮遊体に画像、動画、スタンプなどを表示してもよい。スタンプとは、ＳＮＳにおいて用いられる、キャラクタや装飾文字列が含まれる画像であり、ユーザが細かなニュアンスを伝える際に有効である。本図の例では、仮想情報には、浮遊体の情報（位置、サイズ、形状、色彩など）と、表示される文字情報（テキスト、フォント、浮遊体上の表示位置など）が含まれる。なお、既定のテンプレート化した浮遊体像を用いる場合、仮想情報としてパラメータのみを用いてもよい。また、文字を画像情報に含めてもよい。

なお、ユーザが投稿情報を生成するときや閲覧するときに、透過型ディスプレイ２００７上に表示された浮遊体に何らかの操作を行うと、文字、画像、動画またはスタンプが表示されたり、音声が再生されたりしてもよい。操作とは例えば、ディスプレイの浮遊体の位置に触れる、ディスプレイに呼気を吹きかける、拡張現実端末２０を持ったまま浮遊体の方向に進む、などの行為である。さらに、ユーザが操作を行うとシャボン玉（浮遊体）が割れたりはじけたりして、文字表示や音声再生が行われるようにしてもよい。

本実施形態での入力情報はユーザの発した音声とする。マイク２００５がユーザの音声を電気信号に変換して、音声情報が生成される。続いて仮想情報生成手段２０２は、音声認識技術によって音声情報を文字情報に変換する。なお、音声は人物の発した声に限られず、あらゆる音を含み得る。
なお、マイク２００５と、音声情報から文字情報を生成するプログラムモジュールを合わせて、本発明の仮想情報生成手段だと考えてもよい。

マイク２００５が音声を取得する手法は任意である。一例として、ユーザが拡張現実端末２０のスイッチを押下すると透過型ディスプレイ２００７上にシャボン玉の像が表示され音声受付モードが開始し、スイッチを離すと音声受付モードが終了するようにしてもよい。また、一度目のスイッチ押下で音声入力を開始させ、二度目のスイッチ押下で終了させてもよい。また、周囲で発生する音を常に検知しておき、何らかのトリガによって音声入力を開始してもよい。トリガとして例えば、所定の閾値以上の強度の音の発生、所定の周波数特性を持つ音の発生、人物の声と認識される音の発生などがある。また、音声入力を行っている間は、ディスプレイ上のシャボン玉像が膨らむように表示制御してもよい。

音声認識には、既知の任意の手法を利用できる。一例として、マイク２００５により電気信号に変換された音声信号を解析し、時間変化や周波数特性を、所定の音響モデルや言語モデルなどに適用して文字情報化してもよい。また、仮想情報生成手段２０２が音声情報の意味解析を行って、ユーザの意図を反映する文字、画像、スタンプ等を生成してもよい。例えば仮想像４０８ｃには、意味解析によりユーザの嬉しい感情を反映する絵文字が表示されている。

（気流検知手段）
気流検知手段２０５は、呼気センサ２００６が取得したユーザの呼気を示す情報に基づいて気流情報を生成する。呼気センサ２００６は、気流の方向、強さ、および持続時間の少なくとも１つを取得するためのセンサである。気流情報が取得した、呼気の方向、強さおよび持続時間に応じて、仮想像生成手段及び拡張現実像表示制御手段は、ディスプレイ上の浮遊体像の位置を変化させる。例えば、第１のモードにおいては、浮遊体像が生成され、音声入力に基づく文字が浮遊体上に表示された後に、ユーザが息を吹きかけることにより、浮遊体像が息の方向等に応じてディスプレイ上で移動し、投稿が完了する。

呼気センサとして例えば、複数の白金抵抗を有し、呼気が当たったときの冷却現象に基づいて気流情報を取得する呼気フローセンサを利用できる。他にも、スパイロメータ方式のセンサなど、任意の方式のものを利用できる。
なお、呼気センサ２００６と、呼気センサの出力信号から気流情報を生成するプログラ
ムモジュールを合わせて、本発明の気流検知手段だと考えてもよい。

（仮想像生成手段）
仮想像生成手段２０３は、透過型ディスプレイ２００７上に仮想像を表示するための画像データを生成する。第１のモードにおいては、スイッチ押下等のトリガに応じて所定の位置に浮遊体の像が表示されるように、画像データを生成する。あるいは、タッチパネル等により、浮遊体像の表示位置をユーザに指定させてもよい。また、第２のモードにおいては、情報処理装置１０から取得した仮想情報と位置情報を用いて、浮遊体の像および文字情報が、位置情報に基づく位置に表示されるように、画像データを生成する。

（拡張現実像表示制御手段）
拡張現実像表示制御手段２０４は、透過型ディスプレイ２００７上に、現実像に重なるように拡張現実像を表示させる。拡張現実像表示制御手段は、例えば、ディスプレイ用の表示制御ドライバにより実現できる。本実施形態では透過型ディスプレイを用いるため、現実像に関する表示制御は行わず、ディスプレイ上の所定の位置に仮想像生成手段２０３からの画像データに基づく仮想像を表示する。なお、拡張現実端末２０がカメラを備えており、現実像としてカメラによる撮像画像を用いる場合、拡張現実像表示制御手段２０４が現実像（撮像画像）と仮想像を重畳させてディスプレイに表示する。

＜拡張現実端末（物理的な構成）＞
図３は、拡張現実端末２０の物理的な構成の一例を示す図であり、拡張現実端末２０の透過型ディスプレイ２００７の表示面を正面から見た様子を表す。拡張現実端末２０は、本体部２５１と、本体部２５１に接続する把持部２５２を備えている。本体部２５１の表示部２５１Ａは、透過型ディスプレイ２００７とそれを支持する構造物を含む。また、表示部２５１Ａの一部には呼気センサ２００６が配置されている。胴体部２５１Ｂは、表面にスイッチ２００８、マイク２００５を備えている。また、胴体部２５１Ｂや把持部２５２の内部には、ＣＰＵ２００１、メモリ２００２、通信アダプタ２００３、ＧＰＳ２００４等の構成要素や、バッテリが格納されている。ただし、拡張現実端末２０の全体的な形状や、各構成要素の形状や配置は、本図に限定されない。

＜処理フロー＞
図５を参照して、本実施形態の処理フローについて説明する。図５（ａ）は第１のモードであり、図５（ｂ）は第２のモードである。両モードにおけるユーザは、同一人物でもよいし別人でもよい。図５（ａ）のフローは、拡張現実端末２０を持つユーザが現実空間上のある場所に居る状態で開始される。ステップＳ１０１において、位置情報取得手段２０１は、ＧＰＳ２００４が取得した座標に基づいて位置情報を取得する。

ステップＳ１０２において、仮想情報生成手段２０２は仮想情報として浮遊体（シャボン玉）の像と、そこに表示される文字を生成するために必要な仮想情報を生成する。ステップＳ１０３において、拡張現実像表示制御手段２０４は、仮想像を現実像に重畳してディスプレイに表示する。

本フローでのＳ１０２〜Ｓ１０３の一例を述べる。ユーザがボタン２００８を一回押すと、仮想情報生成手段２０２と拡張現実像表示制御手段２０４が協働して、透過型ディスプレイ２００７上の所定の位置（例えば、画面下部）に浮遊体の画像を表示する。同時に、端末が音声入力を受付可能な状態になる。続いて、ユーザが発した音声をマイク２００５が受信し、音声情報に変換する。ユーザがボタン２００８を再度押すと、音声入力の受付を終了し、仮想情報生成手段２０２が音声認識を行って文字情報を生成する。続いて、仮想情報生成手段２０２と拡張現実像表示制御手段２０４が浮遊体像上に文字を表示する。図６（ａ）は、Ｓ１０３終了後のディスプレイの様子であり、現実像に重畳されて、浮
遊体上に文字が表示された仮想像４０８ａが表示されている。

ステップＳ１０４において、気流検知手段２０５は、呼気センサ２００６による検知結果を用いて、呼気の方向、強さ、持続時間などを示す気流情報を生成する。ステップＳ１０５において、仮想像生成手段２０３は、気流情報に基づいて仮想情報を修正し、拡張現実像表示制御手段２０４は、修正後の仮想情報に基づいて拡張現実像を制御する。本フローの例では、気流検知手段２０５が奥行方向に強めの呼気を検知したものとする。すると、仮想像生成手段２０３および拡張現実像表示制御手段２０４は、仮想像の位置と大きさに関する仮想情報を修正して、あたかもシャボン玉が呼気で遠くに吹き飛ばされたかのような表示をする。この様子を図６（ｂ）に示す。図６（ｂ）においては、シャボン玉の仮想像４０８ａが、奥行き方向（軌跡４３０の向き）に移動したかのように表示されている。拡張現実像表示制御手段２０４は、ディスプレイに、息を吹き込む方法の目安となるようなグリッドや矢印などのガイド画像を表示してもよい。

ステップＳ１０６において、拡張現実端末２０は通信アダプタ２００３を介して修正後の仮想情報と位置情報とを対応付けて情報処理装置１０に送信し、保存手段に保存させる。後日、第２のモードにおいてこの仮想情報に基づく画像を表示する場合、ディスプレイ内で移動後の位置に浮遊体像が表示される。
上記の処理により、拡張現実技術を利用して位置に紐づくコミュニケーションを行うために必要な、位置情報と、ユーザの入力に基づく仮想情報が、ＳＮＳ運営者のサーバに蓄積される。

続いて図５（ｂ）のフローを説明する。ステップＳ２０１において、位置情報取得手段２０１は、ＧＰＳ２００４が取得した座標に基づいて位置情報を取得する。ステップＳ２０２において、拡張現実端末２０は通信アダプタ２００３を介して情報処理装置１０と通信を行い、位置情報をキーとして、現在位置に紐づけされた仮想情報があるかどうかを問い合わせる。もし紐付けされた仮想情報が一つもなければ、一定のインターバルをおいて問い合わせを繰り返す。または、ユーザが一定距離を移動してから問い合わせを行うようにしてもよい。また、端末の向きや角度と、仮想像の場所との関係も考慮する場合、端末の向きや角度が一定量変化してから問い合わせを行うようにしてもよい。

一方、現在位置に紐づけされた仮想情報が少なくとも一つはある場合、ステップＳ２０３において通信アダプタを介して仮想情報を取得し、ステップＳ２０４において浮遊体と文字情報に基づく仮想像を生成し、拡張現実像として透過型ディスプレイ２００７に表示する。

＜効果＞
以上述べたように、本実施形態によれば、他のユーザが場所に対応付けた情報を取得可能となり、拡張現実技術を利用した位置に紐づくコミュニケーションを実現できる。かかるコミュニケーションは様々な場面で利用できる。
例えば、従来のＳＮＳでは、ユーザが今いる場所で他のユーザが何をしたか、どのように考えたかを知るには検索の手間がかかっていた。また位置を特定する際に、行政地名、自然地名、施設名など、ユーザ毎に様々な表現方法があった。一方、本実施形態では、ディスプレイを覗き込むだけでその場所に紐づけられた情報が仮想像として表示されるため、その場所でしか得られない情報や、その場所に関係の深い情報などを確実にやり取りできるようになる。

その場所でしか得られない情報や、その場所に関係の深い情報としては、その場所でユーザが抱いた感情や、地形や建造物や歴史的出来事などのその場所に関する知識などがある。例えば、「動物園において、展示中の動物の習性を説明する」、「美術館において、
作品の感想をつぶやく」、「図書館において、おすすめの本を紹介する」、「景勝地において、風景にマッチした詩を読む」、「飲食店において、裏メニューを紹介する」「ゴルフコースにおいて、ガイダンスや各プレーヤーの結果を記録する」など、様々な例が挙げられる。

また、仮想像としてシャボン玉（浮遊体）の像を用いることで、ユーザの遊び心を刺激したり、アクティブな操作（例えば「触る」、「弾く」、「吹く」など）を促したりできるようになる。その結果、ユーザの投稿情報が閲覧される回数が増えたり、他のユーザの投稿情報に触発されて自らも投稿を行うユーザが増えたりして、ＳＮＳ内のコミュニケーションが活性化する。

＜変形例＞
上記フローは様々に変形できる。例えば、図５（ａ）のＳ１０２において、仮想情報として音声データそのものを生成し、Ｓ１０６にて音声データをサーバに送信してもよい。その際、Ｓ１０２におけるテキスト化の手間を省いてもよいし、文字情報と音声情報を共に仮想情報としてもよい。仮想情報として音声データを利用する場合、拡張現実端末２０に再生手段としてのスピーカを設けることが好ましい。それにより、図５（ｂ）のＳ２０４において音声を再生可能となる。また上述したように、音声を再生するトリガとして、ユーザによる浮遊体像への操作を用いてもよい。

別の変形例においては、上述したように仮想情報として画像や動画を利用してもよい。その場合、拡張現実端末２０に、情報入力手段としてのカメラを設ける。カメラとしては、携帯電話やスマートフォンが備えるものと同様の構成を利用できる。この変形例においては、拡張現実端末２０が必ずしもマイク２００５を備えている必要はなく、情報入力手段により入力された情報を用いて仮想情報を生成できる。

別の変形例として、透過型ディスプレイ２００７の代わりに、バックライトを使用する通常の液晶ディスプレイや、ＬＥＤディスプレイや有機ＥＬディスプレイなど自発光型のディスプレイのように、背後の現実空間を透過しないディスプレイを利用してもよい。その場合の拡張現実端末２０は、現実空間を撮像して現実像を出力するカメラ等の撮像手段を備え、拡張現実像表示制御手段２０４が現実像と拡張像を合成表示する。また、上の変形例で述べた画像や動画を取得するカメラと、現実像を撮像するカメラは、同一であってもよいし、別個のものでもよい。

別の変形例として、同じ位置に複数の仮想情報がある場合、拡張現実像表示制御手段が仮想像同士の大きさや位置、前後関係を調整して、ユーザの視認性を高めることも好ましい。その際、ＳＮＳ上で繋がりのあるユーザの仮想情報を優先する、情報量の多い仮想情報を優先する、新しい仮想情報を優先する、などの方法がある。

別の変形例においては、図５（ａ）のＳ１０２において、ボタン２００８の押下の代わりに、マイク２００５による音声の検知や、呼気センサ２００６による気流の検知をトリガとして、浮遊体像の表示や音声入力の受付を開始してもよい。また、発声が継続する時間、発声の強度、または呼気の強さが増すごとに、表示される浮遊体の大きさが大きくなるような表示制御を行ってもよい。

別の変形例においては、拡張現実端末２０が、ユーザによる文字入力を受け付けるために、情報入力手段としての文字入力手段を備えてもよい。文字入力手段としては、キーボード、タッチパネルなどが挙げられる。また、透過型ディスプレイ２００７などのディスプレイ装置が、タッチパネルを兼ねていてもよい。この変形例においては、拡張現実端末２０が必ずしもマイク２００５を備えている必要はなく、情報入力手段により入力された
情報を用いて仮想情報を生成できる。

別の変形例においては、拡張現実端末２０が、呼気センサ２００６や気流検知手段２０５を備えていない構成としてもよい。その場合は、第１のモードにおいて、呼気で浮遊体像をディスプレイ上で移動させる方法の以外の方法によって、浮遊体像を配置する。例えば、ディスプレイへのタッチ操作、ボタン押下、音声による指示、浮遊体像の表示開始後一定時間経過したら配置する、など任意の方法を利用できる。

［実施形態２］
本実施形態では、実施形態１に加えて仮想情報が生成されたタイミング、あるいは投稿情報が投稿されたタイミング情報に基づいて表示の制御を行う例について説明する。以下、本実施形態に特有の部分を中心として説明を行い、実施形態１と同じ構成については同じ符号を付して説明を簡略化する。

図７は、本実施形態の機能構成を示す機能ブロック図である。実施形態１との相違点は、時計２０１１と、タイミング情報生成手段２１１である。時計２０１１は拡張現実端末２０の内蔵時計であり、現在時刻を出力する。内蔵時計として例えば、携帯電話やスマートフォンの内蔵時計と同様の構成を利用できる。拡張現実端末２０はさらに、通信回線を介して外部の時刻情報を参照し、時刻を自動的に修正するための構成を備えていてもよい。タイミング情報生成手段２１１は、時計２０１１からの出力された現在時刻に基づいてタイミング情報を生成する。
なお、時計２０１１と、タイミング情報を生成するプログラムモジュールを合わせて、本発明のタイミング情報生成手段だと考えてもよい。

図８は、本実施形態の処理を示すフローチャートである。第１のモードを示す図８（ａ）において、Ｓ１０１、および、Ｓ１０３〜Ｓ１０５では、実施形態１と同様の処理が行われる。ステップＳ１２２において、仮想情報生成手段２０２は、仮想情報を生成する際に、タイミング情報生成手段２１１から仮想情報生成が生成された時刻を示すタイミング情報を取得する。そして、Ｓ１２６において、タイミング情報を仮想情報と対応付けて情報処理装置１０に送信する。情報処理装置１０は、当該タイミング情報を保存手段に保存する。

第２のモードを示す図８（ｂ）において、Ｓ２０１とＳ２０４では、実施形態１と同様の処理が行われる。ステップＳ２２２において、拡張現実端末２０は通信アダプタ２００３を介して情報処理装置１０と通信を行い、位置情報に加えて現在時刻をキーとして送信し、現在位置に紐づけされ、かつ、所定のタイミング条件を満たす仮想情報があるかどうかを問い合わせる。

所定のタイミング条件とは、典型的には、現在時刻から所定の時間範囲内（例えば、３日以内）に生成された仮想情報のみを抽出するといった条件である。これにより、ディスプレイ上に多量の浮遊体が表示されることによる視認性低下を避けられる。また、羞恥心のあるユーザに対して、投稿情報が一定期間で消滅するという安心感を与えて投稿を促す効果もある。別の所定のタイミング条件として、現在時刻に対応する時間帯（例えば、現在時刻から前後３０分以内）に投稿された情報を抽出してもよい。これにより、所定の時間帯に起きるイベント（例えば、日の出・日の入りなどの自然現象や、動物園での餌やり時刻など）に対応した投稿情報を取得できる。また別の所定のタイミング条件として、現在の季節に対応する季節に投稿された情報を抽出してもよい。

なお、所定のタイミング条件については、拡張現実端末２０から情報処理装置１０に送信してもよいし、情報処理装置１０の側で予め設定されているルールを使用してもよい。
ステップＳ２２３においては、情報処理装置１０は、位置条件とタイミング条件を満たす仮想情報を抽出して拡張現実端末２０に送信する。

本実施形態によれば、現在時刻と、仮想情報の生成タイミング情報を用いることで、条件に合致した仮想情報を取得できるようになる。その結果、ディスプレイ上での浮遊体の飽和を回避する、現在の時刻や季節にマッチした情報を提示できる、などの効果が得られる。

＜変形例＞
本実施形態の変形例として、第１のモードではタイミング情報を情報処理装置１０に送信するが、第２のモードでは通常時にはタイミング条件を利用せず、実施形態１と同じような処理を行ってもよい。そして、第２のモードにおいて、仮想像生成手段２０３が生成する浮遊体像が視認性を低下させそうな場合にだけ、生成タイミングが新しい仮想情報を優先的に表示するようにしてもよい。

［実施形態３］
本実施形態では、本発明に用いる拡張現実端末２０の構成例について説明する。以下、本実施形態に特有の部分を中心として説明を行い、実施形態１、２と同じ構成については同じ符号を付して説明を簡略化する。

図９に示されるように、本実施形態の拡張現実端末２０には、複数のフィルタ２０５０ａ〜２０５０ｃが、端末本体に層を成して重なるように配置されている。各フィルタ２０５０は、回転中心を兼ねるスイッチ２００８を軸として回転可能であり、透過型ディスプレイ２００７と重なる位置と、重ならない位置との間での出し入れが可能である。また、複数のフィルタを同時に透過型ディスプレイ２００７に重ねることもできる。

図１０は、本実施形態の処理を示すフローチャートである。第１のモードを示す図１０（ａ）において、Ｓ１０１、および、Ｓ１０３〜Ｓ１０５では、実施形態１と同様の処理が行われる。ステップＳ１３２において、仮想情報生成手段２０２は、仮想情報を生成するとともに、仮想情報や位置情報の内容に基づいて、タグ情報を生成する。本実施形態におけるタグ情報とは、仮想情報をカテゴリに分類するために用いる文字列である。１つの仮想情報に付与できるタグ情報の数は問わないが、処理の簡易化のために上限数を設定してもよい。例えば図４において、仮想像４０８ｂについては、「動物」などの対象物種類タグ、「歌」などのコメント種類タグ、「動物園」などの場所情報タグのように、任意の様々なタグを付与できる。ただし、タグ情報の種類が多すぎると検索に役立てられなくなるため、予めＳＮＳ運営者がタグの種類を設定しておくことが好ましい。

そして、Ｓ１３６において、タグ情報と仮想情報を対応付けて情報処理装置１０に送信する。また、投稿者のＳＮＳにおけるユーザＩＤも送信する。

第２のモードを示す図１０（ｂ）において、Ｓ２０１とＳ２０４では、実施形態１と同様の処理が行われる。本フローでは、ステップＳ２３１が挿入される。Ｓ２３１では、ユーザが所望のフィルタを透過型ディスプレイ２００７に重ねる。本実施形態では、下記の表１のようにフィルタが設定されている。フィルタ１（２０５０ａ）は、ＳＮＳ運営者側で設定済みの既定フィルタであり、「動物」に関係する仮想情報の抽出に用いられる。フィルタ２（２０５０ｂ）は、ユーザが予め設定したフィルタであり、ユーザが選択したＳＮＳ内の「友だち」に関する仮想情報の抽出に用いられる。フィルタ３（２０５０ｃ）は未設定フィルタである。本フローのユーザは、フィルタ１およびフィルタ２を利用する。ユーザ設定フィルタへの情報設定方法は任意であり、例えば運営者にリクエストをしてもよいし、拡張現実端末がフィルタ設定用のＵＩを提供してもよい。

ステップＳ２３２において、拡張現実端末２０は通信アダプタ２００３を介して情報処理装置１０と通信を行い、位置情報に加えて、タグ情報と、フィルタ２に設定されたグループに含まれるユーザＩＤをキーとして送信し、現在位置に紐づけされ、かつ、フィルタの条件を満たす仮想情報があるかどうかを問い合わせる。これにより、Ｓ２３３で、位置条件に加えてフィルタで設定された条件を満たす仮想情報が取得できる。

本実施形態によれば、フィルタに設定された条件を用いることで、条件に合致した仮想情報を取得できるようになる。その結果、ディスプレイ上での浮遊体の飽和を回避したり、ユーザの嗜好により合致した情報を提示できたりする、などの効果が得られる。

＜変形例＞
図１０のフローにおいてはタグ情報とユーザＩＤの両方を用いているが、いずれか一方のみを用いる構成でも構わない。あるいは、ユーザＩＤをタグ情報の一種と考えることもできる。

別の変形例では、フィルタリングを実行するために、図９のようなディスプレイに重ねる構造物ではなく、ボタン、スイッチ、またはレバーなど、状態をオン／オフの間で切り替え可能な構造物を利用できる。さらに、物理的な構造物を用いるのではなく、拡張現実端末２０が提供する画像ＵＩを用いてタッチパネルでフィルタ設定を行ったり、音声によりフィルタ設定を行ったりしてもよい。

［実施形態４］
本実施形態では、第１のモードと第２のモードで異なる端末を用いるときの構成例について説明する。以下、本実施形態に特有の部分を中心として説明を行い、上記実施形態と同じ構成については同じ符号を付して説明を簡略化する。

本実施形態では、第１のモードでのユーザは、実施形態１と同様の拡張現実端末２０を用いて仮想情報を生成する。一方、第２のモードでのユーザは、携帯通信端末を用いて拡張現実像を視認する。携帯通信端末は例えばスマートフォン、携帯電話、タブレット、ゲーム機であり、位置情報を取得するＧＰＳ、液晶ディスプレイ等の表示手段を有する表示装置、通信アダプタ、などのハード構成を備える。このような構成であっても、拡張現実を用いたＳＮＳにおいて場所に紐付けられた情報の投稿や取得が促進できる。

＜変形例＞
第１および第２のモードで使用される端末のバリエーションは、本実施形態に限定されない。例えば第１のモードでもスマートフォン等を用いて投稿情報を作ってもよい。

別の変形例では、第２のユーザのみが拡張現実端末またはその他のユーザ端末を利用して拡張現実像を確認してもよい。この変形例では、ＳＮＳの運営者などが情報処理装置１０を用いて、所望の位置情報とメッセージ内容を設定して、仮想情報を生成する。かかる変形例は、運営者がユーザに情報を発信する際に利用できる。

別の変形例では、第１のユーザのみが拡張現実端末またはその他のユーザ端末を利用して拡張情報を生成してもよい。この変形例では、ＳＮＳの運営者などが、情報処理装置１０により収集された仮想情報を分析し利用する。かかる変形例は、運営者がユーザから発信された情報を収集、分析する際に利用できる。

以上に説明した本発明の各実施形態や変形例に記載された構成や処理は、互いに任意に組み合わせて利用できる。

１：拡張現実システム、１０：情報処理装置、２０：拡張現実端末、２０１：位置情報取得手段、２０２：仮想情報生成手段、２０３：仮想像生成手段、２０４：拡張現実像表示制御手段

Claims (16)

1. 現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する拡張現実システムであって、
   拡張現実端末と、
   情報処理装置と、
   を備えており、
   前記拡張現実端末は、
   前記仮想情報を生成する第１のモードと、前記拡張現実像を提示する第２のモードで動作可能であり、
   前記現実空間における前記拡張現実端末の位置を示す位置情報を取得する位置情報取得手段と、
   前記第１のモードにおいて、ユーザが入力した入力情報に基づいて前記仮想情報を生成する仮想情報生成手段と、
   前記第１のモードにおいて生成された前記仮想情報と、前記仮想情報を生成したときの前記位置情報である第１の位置情報とを対応付けて、前記情報処理装置に送信する送信手段と、
   前記第２のモードにおいて、前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記情報処理装置から前記仮想情報を受信する、受信手段と、
   前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成する仮想像生成手段と、
   前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御する拡張現実像表示制御手段と、
   気流を検知する気流検知手段と、
   を含み、
   前記情報処理装置は、前記拡張現実端末から送信された前記仮想情報と前記第１の位置情報を対応付けて保存し、
   前記第１のモードにおいて、前記拡張現実像表示制御手段は、前記仮想情報に基づいて前記仮想像生成手段が生成した前記浮遊体の像を前記表示手段に表示させ、前記気流検知手段が検知した前記気流に基づいて前記浮遊体の像の位置を変更する、
   拡張現実システム。
2. 前記仮想情報生成手段は、前記気流に基づいて変更された前記浮遊体の像の位置に応じて、前記仮想情報を修正する
   ことを特徴とする請求項１に記載の拡張現実システム。
3. 前記気流検知手段は、前記気流の方向、強さおよび持続時間の少なくともいずれかを検知する
   ことを特徴とする請求項２に記載の拡張現実システム。
4. 現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する拡張現実システムであって、
   拡張現実端末と、
   情報処理装置と、
   を備えており、
   前記拡張現実端末は、
   前記仮想情報を生成する第１のモードと、前記拡張現実像を提示する第２のモードで動作可能であり、
   それぞれが表示手段に重ねることができる複数のフィルタと、
   前記現実空間における前記拡張現実端末の位置を示す位置情報を取得する位置情報取得手段と、
   前記第１のモードにおいて、ユーザが入力した入力情報に基づいて前記仮想情報を生成し、前記仮想情報を生成したときの前記位置情報である第１の位置情報または前記仮想情報に基づいて、前記仮想情報をカテゴリに分類するために用いる文字列であるタグ情報を生成する仮想情報生成手段と、
   前記第１のモードにおいて生成された前記仮想情報と、前記第１の位置情報と前記タグ情報とを対応付けて、前記情報処理装置に送信する送信手段と、
   前記第２のモードにおいて、前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記複数のフィルタのうち前記表示手段に重ねられているフィルタに応じたタグ情報に紐づいた前記仮想情報を前記情報処理装置から受信する、受信手段と、
   前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成する仮想像生成手段と、
   前記現実像に前記仮想像を重畳した前記拡張現実像の、前記表示手段への表示を制御する拡張現実像表示制御手段と、
   を含み、
   前記情報処理装置は、前記拡張現実端末から送信された前記仮想情報と前記第１の位置情報と前記タグ情報とを対応付けて保存する、
   拡張現実システム。
5. 前記拡張現実端末は、前記入力情報として音声の入力を受け付けて音声情報を生成する、音声入力手段をさらに含む
   ことを特徴とする請求項１から４のいずれか１項に記載の拡張現実システム。
6. 前記仮想情報生成手段は、前記音声情報を文字情報に変換して前記仮想情報を生成し、
   前記仮想像生成手段は、前記浮遊体の画像に前記文字情報に基づく文字が重なるような前記仮想像を生成する
   ことを特徴とする請求項５に記載の拡張現実システム。
7. 前記拡張現実端末は、前記音声情報に基づく音を再生する再生手段をさらに含む
   ことを特徴とする請求項５または６に記載の拡張現実システム。
8. 前記再生手段は、前記表示手段に表示された前記浮遊体の画像に対する前記ユーザによる操作に応じて、前記音を再生する
   ことを特徴とする請求項７に記載の拡張現実システム。
9. 前記拡張現実端末は、前記入力情報として、前記ユーザによるテキスト、画像、および動画像の少なくともいずれかを受け付ける情報入力手段をさらに含み、
   前記仮想像生成手段は、前記情報入力手段が受け付けた情報に基づく画像を生成し、
   前記拡張現実像表示制御手段は、前記情報入力手段が受け付けた情報に基づく画像を前記浮遊体に重畳して表示させる
   ことを特徴とする請求項８に記載の拡張現実システム。
10. 前記拡張現実端末は、前記仮想情報が生成されたタイミングを示すタイミング情報を生成するタイミング情報生成手段をさらに含み、
    前記送信手段は、前記仮想情報および前記位置情報に前記タイミング情報を対応付けて前記情報処理装置に送信し、
    前記情報処理装置は、前記タイミング情報を保存する
    ことを特徴とする請求項１から９のいずれか１項に記載の拡張現実システム。
11. 前記第２のモードにおいて、前記受信手段は、前記タイミング情報に基づき、現在時刻に対して所定のタイミング条件を満たす前記仮想情報を、前記情報処理装置から受信することを特徴とする請求項１０に記載の拡張現実システム。
12. 前記第２のモードにおいて、前記受信手段は、現在時刻から所定の時間範囲内に生成された前記仮想情報を受信する
    ことを特徴とする請求項１１に記載の拡張現実システム。
13. 前記第２のモードにおいて、前記受信手段は、現在時刻に対応する時間帯または現在の季節に対応する季節に生成された前記仮想情報を受信する
    ことを特徴とする請求項１１または１２に記載の拡張現実システム。
14. 拡張現実端末と情報処理装置とを備える拡張現実システムにおいて、現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する方法であって、
    前記拡張現実端末が前記仮想情報を生成する第１のモードにおいて、
    前記現実空間における前記拡張現実端末の位置を示す位置情報を取得することと、
    ユーザが入力した入力情報に基づいて前記仮想情報を生成することと、
    前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成することと、
    気流を検知することと、
    前記仮想情報に基づいて前記浮遊体の像を表示手段に表示させ、前記気流に基づいて前記浮遊体の像の位置を変更することと、
    前記仮想情報と、前記仮想情報を生成したときの前記位置情報である第１の位置情報とを対応付けて、前記情報処理装置に送信することと、
    を含み、
    前記拡張現実像を提示する第２のモードにおいて、
    前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記情報処理装置から前記仮想情報を受信することと、
    前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成することと、
    前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御することと、
    を含む、方法。
15. それぞれが表示手段に重ねることができる複数のフィルタを含む拡張現実端末と情報処理装置とを備える拡張現実システムにおいて、現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する方法であって、
    前記拡張現実端末が前記仮想情報を生成する第１のモードにおいて、
    前記現実空間における前記拡張現実端末の位置を示す位置情報を取得することと、
    ユーザが入力した入力情報に基づいて前記仮想情報を生成し、前記仮想情報を生成したときの前記位置情報である第１の位置情報または前記仮想情報に基づいて、前記仮想情報をカテゴリに分類するために用いる文字列であるタグ情報を生成することと、
    前記仮想情報と、前記第１の位置情報と前記タグ情報を対応付けて、前記情報処理装置に送信することと、
    を含み、
    前記拡張現実像を提示する第２のモードにおいて、
    前記第２のモードでの動作時の前記位置情報である第２の位置情報に基づいて、前記複数のフィルタのうち前記表示手段に重ねられているフィルタに応じたタグ情報に紐づいた前記仮想情報を前記情報処理装置から受信することと、
    前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成することと、
    前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御することと、
    を含む、方法。
16. 現実空間を表す現実像に、仮想情報に基づく仮想像が重畳された、拡張現実像を提示する拡張現実端末であって、
    前記現実空間における前記拡張現実端末の位置を示す位置情報を取得する位置情報取得手段と、
    ユーザが入力した入力情報に基づいて前記仮想情報を生成する仮想情報生成手段と、
    前記仮想情報生成手段によって生成された前記仮想情報と、前記仮想情報を生成したときの前記位置情報を対応付けて、送信する送信手段と、
    前記仮想情報に基づいて、前記仮想像として浮遊体の画像を生成する仮想像生成手段と
    前記現実像に前記仮想像を重畳した前記拡張現実像の、表示手段への表示を制御する拡張現実像表示制御手段と、
    気流を検知する気流検知手段と、
    を含み、
    前記拡張現実像表示制御手段は、前記仮想情報に基づいて前記仮想像生成手段が生成した前記浮遊体の像を前記表示手段に表示させ、前記気流検知手段が検知した前記気流に基づいて前記浮遊体の像の位置を変更する、
    拡張現実端末。

Images