JP2020013231A - 拡張現実プログラム及び情報処理装置 - Google Patents

Abstract

【課題】拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有できるようにする拡張現実プログラムを提供する。【解決手段】拡張現実プログラムは、端末２０の制御部２６に、カメラ２１により撮影される画像に基づく拡張現実空間をディスプレイ２２に表示するステップと、拡張現実空間内に配置される仮想オブジェクトを特定する情報と仮想オブジェクトの位置及び向きを特定する情報とを含むオブジェクト情報を含むオブジェクトデータを生成するステップと、オブジェクトデータをサーバ５０に送信するステップと、特定のオブジェクトデータをサーバ５０に要求するステップと、要求した特定のオブジェクトデータをサーバ５０から受信するステップと、受信した特定のオブジェクトデータに含まれるオブジェクト情報により特定される仮想オブジェクトを拡張現実空間３０内に配置するステップとを実行させる。【選択図】図１

Description

本発明は、拡張現実プログラム及び情報処理装置に係り、特に現実空間に仮想オブジェクトが配置された拡張現実空間を複数の端末間で共有する拡張現実プログラムに関するものである。

近年、人間が知覚している現実世界にコンピュータにより情報を付加する技術、すなわち拡張現実（Augmented Reality（ＡＲ））技術の開発が進んでいる。このような拡張現実技術の１つとして、カメラで撮影した現実空間の画像に仮想オブジェクトを付加して表示するものが知られている。また、このような現実空間に付加した仮想オブジェクトを複数の端末間で共有する技術も開発されている（例えば、特許文献１参照）。しかしながら、この特許文献１に記載されている技術では、仮想オブジェクトを共有するグループごとに設定が必要であり、仮想オブジェクトの共有が容易ではない。

米国特許出願公開第２０１１／０２１６００２号明細書

本発明は、このような従来技術の問題点に鑑みてなされたもので、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有できるようにする拡張現実プログラムを提供することを第１の目的とする。

また、本発明は、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有可能とする情報処理装置を提供することを第２の目的とする。

本発明の第１の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有できるようにする拡張現実プログラムが提供される。この拡張現実プログラムは、カメラと表示部と通信部とを含む端末のプロセッサに、上記カメラにより撮影される画像に基づく拡張現実空間を上記表示部に表示するステップと、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置される上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを生成するステップと、上記通信部を介して上記生成されたオブジェクトデータをネットワークに接続されたサーバに送信するステップと、上記通信部を介して特定のオブジェクトデータを上記サーバに要求するステップと、上記要求した特定のオブジェクトデータを上記サーバから受信するステップと、上記受信した上記特定のオブジェクトデータに含まれる上記１以上のオブジェクト情報により特定される仮想オブジェクトを、該オブジェクト情報により特定される位置及び向きで上記拡張現実空間内に配置するステップとを実行させる。

このような拡張現実プログラムによれば、複数の端末間でサーバを介してオブジェクトデータを送受信することが可能となり、拡張現実空間に配置された仮想オブジェクトを複数の端末間で簡単に共有することが可能となる。

本発明の第２の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有できるようにする拡張現実プログラムが提供される。この拡張現実プログラムは、カメラと表示部と通信部とを含む端末のプロセッサに、上記カメラにより撮影される画像に基づく拡張現実空間を上記表示部に表示するステップと、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置される上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを生成するステップと、上記端末の位置情報を取得するステップと、上記通信部を介して上記生成されたオブジェクトデータと上記端末の位置情報とをネットワークに接続されたサーバに送信するステップと、上記通信部を介して上記端末の位置情報に関連付けられたオブジェクトデータを上記サーバに要求するステップと、上記要求したオブジェクトデータの一覧を上記サーバから受信するステップと、上記受信したオブジェクトデータの一覧を上記表示部に表示するステップとを実行させる。

このような拡張現実プログラムによれば、端末の位置情報とオブジェクトデータとを関連付けているので、同一の現実空間において複数の端末間で同一の仮想オブジェクトを簡単に共有することが可能となる。

本発明の第３の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有可能とする情報処理装置が提供される。この情報処理装置は、ネットワークを介して複数の端末と通信可能な通信部と、拡張現実空間内に配置される仮想オブジェクトに関する情報を格納する記憶部と、上記複数の端末の間で上記仮想オブジェクトを共有可能にする制御部とを備えている。上記制御部は、上記通信部を介して上記複数の端末のうち第１の端末から受信したオブジェクトデータであって、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置された上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを一意な識別子に関連付けて上記記憶部に格納し、上記通信部を介して上記複数の端末のうち第２の端末から受信した上記一意な識別子に対して関連付けられた上記オブジェクトデータを上記記憶部から抽出し、上記通信部を介して上記抽出された上記オブジェクトデータを上記第２の端末に送信するように構成される。

このような情報処理装置によれば、第１の端末から第２の端末にオブジェクトデータを送信することができるので、拡張現実空間に配置された仮想オブジェクトを第１の端末と第２の端末との間で簡単に共有することが可能となる。

本発明の第４の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有可能とする情報処理装置が提供される。この情報処理装置は、ネットワークを介して複数の端末と通信可能な通信部と、拡張現実空間内に配置される仮想オブジェクトに関する情報を格納する記憶部と、上記複数の端末の間で上記仮想オブジェクトを共有可能にする制御部とを備えている。上記制御部は、上記通信部を介して上記複数の端末のうち第１の端末から受信したオブジェクトデータであって、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置された上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報とを含むオブジェクトデータと、上記第１の端末の位置情報とを一意な識別子に関連付けて上記記憶部に格納し、上記通信部を介して上記複数の端末のうち第２の端末から受信した上記第２の端末の位置情報に対して関連付けられた上記オブジェクトデータを上記記憶部から抽出し、上記通信部を介して上記抽出された上記オブジェクトデータの一覧を上記第２の端末に送信するように構成される。

このような情報処理装置によれば、端末の位置情報とオブジェクトデータとを関連付けて記憶部に格納しているので、同一の現実空間において複数の端末間で同一の仮想オブジェクトを簡単に共有することが可能となる。

本発明によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有することができる。

図１は、本発明の第１の実施形態における情報処理システムを模式的に示す概念図である。 図２は、図１の端末内で行われる処理を示すフローチャートである。 図３Ａは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｂは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｃは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｄは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｅは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｆは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｇは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｈは、図１の端末のディスプレイの画面の一例を示す図である。 図３Ｉは、図１の端末のディスプレイの画面の一例を示す図である。 図４は、図１の端末内で生成されるオブジェクトデータのデータ構造を示す概念図である。 図５は、図１の端末とサーバとの間で行われる処理を示す概念図である。 図６は、図１のサーバ内の記憶部に格納されるデータベースのデータ構造を示す概念図である。 図７は、図１の他の端末とサーバとの間で行われる処理を示す概念図である。 図８は、本発明の第２の実施形態における情報処理システムを模式的に示す概念図である。 図９は、図８の端末のディスプレイの画面の一例を示す図である。 図１０は、図８の端末とサーバとの間で行われる処理を示す概念図である。 図１１は、図８のサーバ内の記憶部に格納されるデータベースのデータ構造を示す概念図である。 図１２は、図８の端末とサーバとの間で行われる処理を示す概念図である。

以下、本発明に係る拡張現実プログラム及び情報処理装置の実施形態について図１から図１２を参照して詳細に説明する。なお、図１から図１２において、同一又は相当する構成要素には、同一の符号を付して重複した説明を省略する。また、図１から図１２においては、各構成要素の縮尺や寸法が誇張されて示されている場合や一部の構成要素が省略されている場合がある。

図１は、本発明の第１の実施形態における情報処理システムを模式的に示す概念図である。この情報処理システムは、インターネットなどのネットワーク１０に接続される複数の端末２０（又は２０’）と情報処理装置としてのサーバ５０とにより構成されている。それぞれの端末２０においては、後述するように現実空間に仮想オブジェクトを配置した拡張現実空間を生成することができ、サーバ５０を介してこれらの仮想オブジェクトを複数の端末２０間で共有できるようになっている。なお、以下では、端末２０の構成についてのみ説明するが、端末２０’も端末２０と同様の構成及び機能を有するものである。

図１に示すように、それぞれの端末２０は、例えばスマートフォンやタブレットコンピュータなどにより構成され、現実世界を撮像するカメラ２１と、表示部としてのディスプレイ２２と、ユーザからの入力を受ける入力部としてのタッチパネル２３と、ＲＯＭやＲＡＭ、フラッシュメモリなどを含む記憶部２４と、ネットワーク１０に接続してデータ通信を行うための通信部２５と、各構成要素の動作を制御する制御部２６とを備えている。記憶部２４には、ＯＳ（Operating System）や端末２０を制御するためのプログラム、本発明に係る拡張現実空間を実現するための拡張現実プログラム（以下、「ＡＲプログラム」という）、その他各種データなどが格納されている。制御部２６は、プロセッサ（ＣＰＵ）、ＲＯＭ、ＲＡＭなどを備えており、記憶部１４に格納されたプログラムをＲＡＭにロードしてこれをプロセッサにより実行することにより様々な機能を実現している。

また、サーバ５０は、ＲＯＭやＲＡＭ、フラッシュメモリなどを含む記憶部５１と、ネットワーク１０に接続してデータ通信を行うための通信部５２と、各構成要素の動作を制御する制御部５３とを備えている。記憶部５１には、ＯＳやサーバ５０を制御するためのプログラム、後述するデータベース５４、端末２０からアップロードされる静止画や動画、その他各種データなどが格納されている。制御部５３は、プロセッサ（ＣＰＵ）、ＲＯＭ、ＲＡＭなどを備えており、記憶部５１に格納されたプログラムをＲＡＭにロードしてこれをプロセッサにより実行することにより様々な機能を実現している。

図２は、端末２０内で行われる処理を示すフローチャートである。上記のような構成の情報処理システムにおいて、制御部２６によりＡＲプログラムが実行されると、制御部２６は、カメラ２１を起動し（ステップＳ１）、カメラ２１で撮影される現実空間の画像に基づいて拡張現実空間をディスプレイ２２に表示する（ステップＳ２）。この段階では、後述する仮想オブジェクトがまだ拡張現実空間内に配置されていないので、カメラ２１で撮影される現実空間の画像がそのまま拡張現実空間としてディスプレイ２２に表示されることとなる。

このとき、図３Ａに示すように、ディスプレイ２２には、拡張現実空間３０に加えて、仮想オブジェクトを生成するためのボタン３１，３２及び撮影を開始するためのボタン４１も表示される。ボタン３１は、スタンプ画像からなる仮想オブジェクトを生成するためのボタンであり、ボタン３２は、文字列からなる仮想オブジェクトを生成するためのボタンである。

次に、制御部２６は、タッチパネル２３を介して、仮想オブジェクトを生成するボタン３１，３２が押されたか否かを判断し（ステップＳ３）、いずれかのボタン３１，３２が押されたと判断した場合には、押されたボタン３１，３２に応じた仮想オブジェクトを生成する（ステップＳ４）。すなわち、ボタン３１が押された場合にはスタンプ画像からなる仮想オブジェクトを生成し、ボタン３２が押された場合には文字列からなる仮想オブジェクトを生成する。

そして、制御部２６は、生成した仮想オブジェクトをその時点の端末２０の位置と向きを基準として拡張現実空間３０内に配置し（ステップＳ５）、この生成した仮想オブジェクトに関するオブジェクト情報を含むオブジェクトデータを生成し、このオブジェクトデータを記憶部２４に保存する（ステップＳ６）。

図４は、このオブジェクトデータのデータ構造を示す概念図である。図４に示すように、オブジェクトデータは、１つ以上のオブジェクト情報を含んでいる。１つのオブジェクト情報は、１つの仮想オブジェクトに対応しており、１つのオブジェクトデータ内で一意に定まる識別子としてのオブジェクト番号と、拡張現実空間内で配置された仮想オブジェクトの位置及び向きを特定する状態特定データと、仮想オブジェクトの内容を特定するモデルデータとを含んでいる。オブジェクト番号としては、例えば、仮想オブジェクトの作成順に連続番号を付したものを用いることができる。また、状態特定データとしては、例えばアップル社のARKitにおいて用いられる４次元行列データを用いることができる。モデルデータは、作成する仮想オブジェクトの種類に応じた情報を含んでいる。

その後、制御部２６は、拡張現実空間内に配置された仮想オブジェクトを現実空間の画像とともにディスプレイ２２に表示する（ステップＳ２）。これにより、ディスプレイ２２には、仮想オブジェクトが現実空間内に実際に配置されているかのように表示される。

一方、ステップＳ３において、制御部２６が、いずれのボタン３１，３２も押されていないと判断した場合には、撮影を開始するボタン４１が押されたか否かを判断する（ステップＳ７）。制御部２６が、ボタン４１が押されたと判断すると、後述するように、拡張現実空間３０を撮影して（ステップＳ８）、その撮影データと上述したオブジェクトデータとをサーバに送信する（ステップＳ９）。制御部２６が、ボタン４１が押されていないと判断した場合には、ステップＳ２に戻る。

ここで、仮想オブジェクトの生成をより詳細に説明すると、ステップＳ３において、制御部２６が、３つのボタン３１，３２のうち、スタンプ画像からなる仮想オブジェクトを作成するボタン３１が押されたと判断すると、制御部２６は、記憶部２４に保存されたスタンプ画像を読み込み、図３Ｂに示すように、これらのスタンプ画像６１の一覧をディスプレイ２２に表示する。また、制御部２６は、キャンセルボタン６２と決定ボタン６３もディスプレイ２２に表示する。ユーザが、タッチパネル２３を介してこの一覧の中から所望のスタンプ画像６１を選択し、決定ボタン６３を押すと、選択されたスタンプ画像６１からなる仮想オブジェクトが作成され（ステップＳ４）、この仮想オブジェクトがその時点の端末２０の位置と向きを基準として拡張現実空間３０内に配置される（ステップＳ５）。なお、キャンセルボタン６２が押されると、仮想オブジェクトの生成がキャンセルされ、ステップＳ２に戻ることとなる。

このとき、すでに１つ以上の仮想オブジェクトが生成されオブジェクトデータが記憶部２４に保存されている場合には、選択されたスタンプ画像からなる仮想オブジェクトに関するオブジェクト情報がオブジェクトデータに追加されるが、この例では、まだオブジェクトデータが生成されていないので、選択されたスタンプ画像６１からなる仮想オブジェクトに関するオブジェクト情報を含むオブジェクトデータが新たに作成され、記憶部２４に保存される（ステップＳ６）。

例えば、図３Ｂに示す画面において、ユーザが星印のスタンプ画像６１Ａを選択すると、図３Ｃに示すように、その時点の端末２０の位置と向きを基準として星印のスタンプ画像６１Ａからなる仮想オブジェクト７１が拡張現実空間３０内に配置される。このとき、例えば、オブジェクト番号として「０」、状態特定データとしてこの時点の端末２０の位置と向きを基準とした仮想オブジェクト７１の位置と向きを表す４次元行列データ、モデルデータとして端末２０内に保存されているスタンプ画像のファイル名（例えば「star.png」）を含むオブジェクト情報を含むオブジェクトデータが生成され、記憶部２４に保存される。このオブジェクトデータは、例えばＪＳＯＮ（JavaScript Object Notation）形式で記述される。

ディスプレイ２２には、星印のスタンプ画像６１Ａからなる仮想オブジェクト７１が配置された拡張現実空間３０が表示され、端末２０の位置や向きを変えると、それに伴って仮想オブジェクト７１の向きや位置、大きさが変化し、図３Ｄに示すように、仮想オブジェクト７１があたかも現実空間内に実際に配置されているかのように表示される。

ステップＳ３において、制御部２６が、３つのボタン３１，３２のうち、文字列からなる仮想オブジェクトを作成するボタン３２が押されたと判断すると、制御部２６は、図３Ｅに示すように、文字列を入力する入力ボックス６４と、文字色を選択するカラーピッカー６５と、キャンセルボタン６２と、決定ボタン６３とをディスプレイ２２に表示する。ユーザが、タッチパネル２３を介して入力ボックス６４を選択すると、文字入力モードとなり入力ボックス６４に文字列を入力することができる。また、ユーザが、タッチパネル２３を介してカラーピッカー６５の中の所望の色を選択すると、入力ボックス６４の文字列の色が選択された色に変化する。ユーザが、入力ボックス６４を選択して、所望の文字列を入力し、決定ボタン６３を押すと、入力した文字列からなる仮想オブジェクトが作成され（ステップＳ４）、この仮想オブジェクトがその時点の端末２０の位置と向きを基準として拡張現実空間３０内に配置される（ステップＳ５）。なお、キャンセルボタン６２が押されると、仮想オブジェクトの生成がキャンセルされ、ステップＳ２に戻ることとなる。

このとき、すでにオブジェクトデータが記憶部２４に保存されているので、入力した文字列からなる仮想オブジェクトに関するオブジェクト情報が生成され、オブジェクトデータに追加される（ステップＳ６）。例えば、ユーザが入力ボックス６４に「Patent」という文字列を入力して決定ボタン６３を押すと、図３Ｆに示すように、その時点の端末２０の位置と向きを基準として「Patent」という文字列からなる仮想オブジェクト７２が拡張現実空間３０内に配置される。このとき、例えば、オブジェクト番号として「１」、状態特定データとしてこの時点の端末２０の位置と向きを基準とした仮想オブジェクト７２の位置と向きを表す４次元行列データ、モデルデータとして入力した文字列「Patent」と選択した色の情報とを含むオブジェクト情報が生成され、このオブジェクト情報が記憶部２４に保存されているオブジェクトデータに追加される。なお、図３Ｅに示す画面に文字列のフォントやサイズを変更できるインタフェイスを追加し、オブジェクト情報中のモデルデータとして文字列のフォントやサイズを特定する情報を含めてもよい。

ディスプレイ２２には、星印のスタンプ画像からなる仮想オブジェクト７１と文字列「Patent」からなる仮想オブジェクト７２とが配置された拡張現実空間３０が表示され、端末２０の位置や向きを変えると、それに伴って仮想オブジェクト７１，７２の向きや位置、大きさが変化し、図３Ｇに示すように、仮想オブジェクト７１，７２があたかも現実空間内に実際に配置されているかのように表示される。

このようにして、ユーザは、拡張現実空間内に１以上の仮想オブジェクトを任意の位置及び向きで配置することができる。すべての仮想オブジェクトを配置した後に、撮影開始ボタン４１（図３Ａ等参照）を押すと、制御部２６は、ディスプレイ２２に表示されている拡張現実空間３０の撮影を行い、その撮影データを記憶部２４に保存する（ステップＳ８）。この撮影データは、カメラ２１により撮影される現実空間の画像データに、上述のようにして作成された仮想オブジェクトが付加されたデータである。この撮影データは、静止画データであってもよいし、動画データであってもよい。

拡張現実空間の撮影が完了すると、制御部２６は、図３Ｈに示すように、アップロードボタン６６をディスプレイ２２に表示する。ユーザが、タッチパネル２３を介してアップロードボタン６６を押すと、制御部２６は、通信部２５を介してネットワーク１０に接続されたサーバ５０にアクセスし、上述のようにして生成されたオブジェクトデータと撮影データとをサーバ５０に送信する（ステップＳ９）。このとき、端末２０を操作しているユーザの情報（例えば「ＡＡＡ」とする）もオブジェクトデータとともにサーバ５０に送信される。

図５は、このときに端末２０とサーバ５０との間で行われる処理を示す概念図である。図５に示すように、まず、端末２０の制御部２６は、通信部２５を介して撮影データをサーバ５０に送信する（ステップＳ１１）。サーバ５０の通信部５２が、端末２０から撮影データを受信すると、制御部５３は、この受信した撮影データを記憶部５１に保存する（ステップＳ１２）。また、端末２０の制御部２６は、オブジェクトデータとユーザ情報とをサーバ５０に送信する（ステップＳ１３）。サーバ５０の通信部５２が、端末２０からオブジェクトデータ及びユーザ情報を受信すると、制御部５３は、これらの受信した情報を記憶部５１に格納されているデータベース５４に保存する（ステップＳ１４）。

図６は、サーバ５０内の記憶部５１に格納されるデータベース５４のデータ構造を示す概念図である。図６に示すように、このデータベース５４は、受信したオブジェクトデータを一意に識別する識別子８１と、送信したユーザを特定するユーザ情報８２と、オブジェクトデータ８３とからなるレコードを含んでいる。ステップＳ１４において、サーバ５０の通信部５２が端末２０からオブジェクトデータとユーザ情報とを受信すると、制御部５３は、受信したオブジェクトデータを一意に識別する識別子８１（例えば「３」）を生成し、受信したオブジェクトデータ８３（例えば仮想オブジェクト７１のオブジェクト情報と仮想オブジェクト７２のオブジェクト情報とを含むオブジェクトデータをＪＳＯＮ形式で記述したデータ（ＪＳＯＮデータ３））とユーザ情報８２（例えば「ＡＡＡ」）を上記生成した識別子８１に関連付けてデータベース５４に保存する。

次に、サーバ５０の制御部５３は、生成した識別子８１（例えば「３」）を通信部５２を介して端末２０に送信する（ステップＳ１５）。端末２０の通信部２５がサーバ５０から識別子８１を受信すると、制御部２６は、撮影データ及びオブジェクトデータのサーバ５０への送信が完了したと判断し、図３Ｉに示すように、シェアボタン（共有ボタン）６７をディスプレイ２２に表示する（ステップＳ１６）。ユーザが、タッチパネル２３を介してシェアボタン６７を押すと、制御部２６は、サーバ５０から送信された識別子８１を他の端末２０’と共有するように動作する（ステップＳ１７）。例えば、端末２０の制御部２６は、ＡＲプログラムを起動するためのプロトコルと、サーバ５０を特定するアドレスと、識別子８１（例えば「３」）とを含むＵＲＬ（Uniform Resource Locator）を生成し、これをメールやＳＮＳなどを介して他の端末２０’に送信して識別子８１を他の端末２０’と共有するようにしてもよい。また、このＵＲＬをさらに短縮化して他の端末２０’に送信するようにしてもよい。

図７は、識別子８１を受信した他の端末２０’とサーバ５０との間で行われる処理を示す概念図である。端末２０’が上述したように端末２０からメールやＳＮＳなどを介して識別子８１を含むＵＲＬを受信すると（ステップＳ２１）、端末２０’の制御部２６は、受信したＵＲＬに記述されたプロトコルに従い、上述したＡＲプログラムを起動する（ステップＳ２２）。そして、端末２０’の制御部２６は、受信したＵＲＬにより特定されるサーバ５０に通信部２５を介してアクセスし、ＵＲＬに記述された識別子８１（例えば「３」）をサーバ５０に送信する（ステップＳ２３）。サーバ５０の通信部５２が、端末２０’から識別子８１を受信すると、制御部５３は、この受信した識別子８１（例えば「３」）をキーとして記憶部５１に格納されているデータベース５４から対応するレコードを検索する（ステップＳ２４）。これにより、図６に示す例では、識別子８１が「３」、ユーザ情報８２が「ＡＡＡ」、オブジェクトデータ８３が「ＪＳＯＮデータ３」であるレコードが抽出される。

次に、サーバ５０の制御部５３は、抽出したレコード中のオブジェクトデータ８３を通信部２５を介して端末２０’に送信する（ステップＳ２５）。端末２０’の通信部２５がサーバ５０からオブジェクトデータ８３を受信すると、制御部２６が、受信したオブジェクトデータ８３に含まれるオブジェクト情報から仮想オブジェクト（この例では仮想オブジェクト７１及び仮想オブジェクト７２）を生成し、この仮想オブジェクト７１，７２を該オブジェクト情報により特定される位置及び向きで拡張現実空間３０内に配置する（ステップＳ２６）。そして、制御部２６は、仮想オブジェクト７１，７２が配置された拡張現実空間３０をディスプレイ２２に表示する（ステップＳ２７）。これにより、ディスプレイ２２には、図３Ｇに示すように、ユーザ「ＡＡＡ」により生成された仮想オブジェクトが現実空間内に実際に配置されているかのように表示される。

このように、本実施形態によれば、端末２０において拡張現実空間に配置した仮想オブジェクト７１，７２を端末２０と同一の位置及び向きで他の端末２０’の拡張現実空間にも再現することが可能となる。

図８は、本発明の第２の実施形態における情報処理システムを模式的に示す概念図である。図８に示すように、本実施形態における端末２０（又は２０’）は、端末２０の位置情報を取得する位置情報取得部としてＧＰＳ（Global Positioning System）１２７を有している。

上述した第１の実施形態と同様に、端末２０の制御部２６によりＡＲプログラムが実行されると、制御部２６は、カメラ２１を起動し、カメラ２１で撮影される現実空間の画像に基づいて拡張現実空間をディスプレイ２２に表示する。このとき、図９に示すように、ディスプレイ２２には、拡張現実空間３０と、スタンプ画像からなる仮想オブジェクトを生成するためのボタン３１と、文字列からなる仮想オブジェクトを生成するためのボタン３２と、すでに作成された１以上の仮想オブジェクトを再現するためのボタン１３１と、撮影を開始するためのボタン４１とが表示される。ボタン３１，３２，４１が押された場合の処理は上述した第１の実施形態と同様であるので、ここでは説明を省略する。

本実施形態においては、ユーザが撮影開始ボタン４１を押して拡張現実空間の撮影を行った後、アップロードボタン６６（図３Ｈ参照）を押すと、図１０に示されるような処理がなされる。すなわち、端末２０の制御部２６は、通信部２５を介して撮影データをサーバ５０に送信する（ステップＳ３１）。サーバ５０の通信部５２が、端末２０から撮影データを受信すると、制御部５３は、この受信した撮影データを記憶部５１に保存する（ステップＳ３２）。

そして、端末２０の制御部２６は、ＧＰＳ１２７により端末２０の位置情報（例えば経度と緯度）を取得し（ステップＳ３３）、この位置情報をオブジェクトデータ及びユーザ情報とともにサーバ５０に送信する（ステップＳ３４）。サーバ５０の通信部５２が、端末２０から位置情報、オブジェクトデータ、及びユーザ情報を受信すると、制御部５３は、これらの受信した情報を記憶部５１に格納されているデータベース１５４に保存する（ステップＳ３５）。

図１１は、サーバ５０内の記憶部５１に格納されるデータベース１５４のデータ構造を示す概念図である。図１１に示すように、このデータベース５４は、受信したオブジェクトデータを一意に識別する識別子８１と、送信したユーザを特定するユーザ情報８２と、オブジェクトデータ８３と、オブジェクトデータが生成された端末２０の位置情報１８４からなるレコードを含んでいる。ステップＳ３５において、サーバ５０の通信部５２が端末２０から位置情報、オブジェクトデータ、及びユーザ情報を受信すると、制御部５３は、受信したオブジェクトデータを一意に識別する識別子８１（例えば「３」）を生成し、受信したオブジェクトデータ８３（例えばＪＳＯＮデータ３）とユーザ情報８２（例えば「ＡＡＡ」）と位置情報（例えば「Ｘ₃，Ｙ₃」）とを上記生成した識別子８１に関連付けてデータベース１５４に保存する。

次に、サーバ５０の制御部５３は、生成した識別子８１（例えば「３」）を通信部５２を介して端末２０に送信する（ステップＳ３６）。端末２０の通信部２５がサーバ５０から識別子８１を受信すると、制御部２６は、撮影データ及びオブジェクトデータのサーバ５０への送信が完了したと判断し、シェアボタン６７（図３Ｉ参照）をディスプレイ２２に表示する（ステップＳ３７）。ユーザがシェアボタン６７を押すと、制御部２６は、サーバ５０から送信された識別子８１を他の端末２０’と共有するように動作する（ステップＳ３８）。

次に、図９に示すボタン１３１が押された場合の処理について説明する。このボタン１３１は、すでに作成された１以上の仮想オブジェクトを再現するためのボタンである。図１２は、ボタン１３１が押された場合に端末２０とサーバ５０との間で行われる処理を示す概念図である。

図１２に示すように、端末２０の制御部２６が、ボタン１３１が押されたと判断すると、ＧＰＳ１２７により端末２０の位置情報（例えば「Ｘ₂，Ｙ₂」）を取得し（ステップＳ４１）、この位置情報をサーバ５０に送信する（ステップＳ４２）。サーバ５０の通信部５２が、端末２０から位置情報を受信すると、制御部５３は、この受信した位置情報（例えば「Ｘ₂，Ｙ₂」）をキーとして記憶部５１に格納されているデータベース１５４から対応するレコードを検索する（ステップＳ４３）。これにより、図１１に示す例では、識別子８１が「２」、ユーザ情報８２が「ＢＢＢ」、オブジェクトデータ８３が「ＪＳＯＮデータ２」、位置情報が「Ｘ₂，Ｙ₂」であるレコードと、識別子８１が「４」、ユーザ情報８２が「ＣＣＣ」、オブジェクトデータ８３が「ＪＳＯＮデータ４」、位置情報が「Ｘ₂，Ｙ₂」であるレコードとが抽出される。

次に、サーバ５０の制御部５３は、抽出したレコード中のオブジェクトデータ８３を通信部２５を介して端末２０に送信する（ステップＳ４４）。端末２０の通信部２５がサーバ５０からオブジェクトデータ８３を受信すると、制御部２６が、受信したオブジェクトデータ８３の一覧をディスプレイ２２に表示する（ステップＳ４５）。この一覧の表示は、例えば、それぞれのオブジェクトデータ８３に含まれるオブジェクト情報から仮想オブジェクトを生成して、仮想オブジェクトのサムネイルとして表示することができる。

そして、ユーザがタッチパネル２３を介していずれかのオブジェクトデータ８３を選択すると、制御部２６は、選択されたオブジェクトデータ８３に含まれるオブジェクト情報から仮想オブジェクトを生成し、この仮想オブジェクトを該オブジェクト情報により特定される位置及び向きで拡張現実空間３０内に配置する（ステップＳ４６）。そして、制御部２６は、仮想オブジェクトが配置された拡張現実空間３０をディスプレイ２２に表示する（ステップＳ４７）。例えば、ユーザが識別子８１が「２」で特定されるオブジェクトデータ８３を選択した場合には、この端末２０と同一の場所でユーザ「ＢＢＢ」によって生成された仮想オブジェクトが現実空間内に実際に配置されているかのようにディスプレイ２２に表示される。

このように、本実施形態によれば、端末２０の位置情報をオブジェクトデータ８３に関連付けてデータベース１５４に格納しているため、同一の現実空間において複数の端末２０間で同一の仮想オブジェクトを簡単に共有することが可能となる。

ここで、上述のようにオブジェクトデータ８３の一覧を端末２０のディスプレイ２２に表示する際の表示順位を表す情報をデータベース１５４に含め、この表示順位の順番でオブジェクトデータ８３の一覧を端末２０のディスプレイ２２に表示するようにしてもよい。この場合において、表示順位をユーザ間の入札により定めるようにしてもよい。また、オブジェクトデータ８３の有効期限を表す情報をデータベース１５４に含め、有効期限を過ぎていないオブジェクトデータ８３のみを端末２０のディスプレイ２２に表示するようにしてもよい。この場合において、オブジェクトデータ８３を作成したユーザ又は他のユーザが、対価の支払によりこのオブジェクトデータ８３の有効期限を延長できるようにしてもよい。

上述した実施形態では、仮想オブジェクトとして端末２０内の記憶部２４に保存されているスタンプ画像を用いた例を説明したが、仮想オブジェクトとして端末２０内の記憶部２４に保存されている写真やＵＲＬにより特定されるネットワーク上の画像を用いることもできる。また、ユーザがタッチパネル２３上になぞった線を仮想オブジェクトとして用いることもできる。

上述したＡＲプログラムは、データ配信用のサーバの記憶装置に保存され、インターネットなどのネットワーク１０を介して端末２０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blu-Ray Disk）などの光学ディスク、ＵＳＢメモリ及びメモリカードなどの記憶媒体にＡＲプログラムを記憶させた状態で、その記憶媒体が販売又は配布されてもよい。

また、上述したネットワーク１０はインターネットを例として挙げたが、ネットワーク１０は、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ、その他のネットワークであってもよい。

これまで本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

１０ ネットワーク
１４ 記憶部
２０，２０' 端末
２１ カメラ
２２ ディスプレイ
２３ タッチパネル
２４ 記憶部
２５ 通信部
２６ 制御部
３０ 拡張現実空間
５０ サーバ
５１ 記憶部
５２ 通信部
５３ 制御部
５４ データベース
６１ スタンプ画像
７１ 仮想オブジェクト
７２ 仮想オブジェクト
１２７ ＧＰＳ
１５４ データベース

本発明の第１の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有できるようにする拡張現実プログラムが提供される。この拡張現実プログラムは、カメラと表示部と通信部とを含む端末のプロセッサに、上記カメラにより撮影される画像に基づく拡張現実空間を上記表示部に表示するステップと、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置される上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを生成するステップと、上記通信部を介して上記生成されたオブジェクトデータをネットワークに接続されたサーバに送信するステップと、上記サーバに送信した上記オブジェクトデータを一意に識別する識別子を上記サーバから受信するステップと、上記サーバを特定するアドレスと上記識別子とを含むＵＲＬを生成するステップと、上記生成されたＵＲＬを他の端末に送信するステップと、他の端末から送信された上記ＵＲＬを受信するステップと、上記ＵＲＬに含まれる上記識別子を上記ＵＲＬにより特定される上記サーバに送信するステップと、上記識別子により識別されるオブジェクトデータを上記サーバから受信するステップと、上記受信した上記オブジェクトデータに含まれる上記１以上のオブジェクト情報により特定される仮想オブジェクトを、該オブジェクト情報により特定される位置及び向きで上記拡張現実空間内に配置するステップとを実行させる。

また、上記オブジェクトデータは、複数のオブジェクト情報を含んでいてもよい。

上記拡張現実プログラムによれば、端末の位置情報とオブジェクトデータとを関連付けているので、同一の現実空間において複数の端末間で同一の仮想オブジェクトを簡単に共有することが可能となる。

本発明の第２の態様によれば、拡張現実空間に配置される仮想オブジェクトを複数の端末間で簡単に共有可能とする情報処理装置が提供される。この情報処理装置は、ネットワークを介して複数の端末と通信可能な通信部と、拡張現実空間内に配置される仮想オブジェクトに関する情報を格納する記憶部と、上記複数の端末の間で上記仮想オブジェクトを共有可能にする制御部とを備えている。上記制御部は、上記通信部を介して上記複数の端末のうち第１の端末から受信したオブジェクトデータであって、上記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、上記拡張現実空間内に配置された上記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータと、上記第１の端末の位置情報とを一意な識別子に関連付けて上記記憶部に格納し、上記通信部を介して上記複数の端末のうち第２の端末から受信したＵＲＬから上記一意な識別子を取得し、上記一意な識別子に対して関連付けられた上記オブジェクトデータを上記記憶部から抽出し、上記通信部を介して上記抽出された上記オブジェクトデータを上記第２の端末に送信するように構成される。

また、上記オブジェクトデータは、複数のオブジェクト情報を含んでいてもよい。

上記情報処理装置によれば、端末の位置情報とオブジェクトデータとを関連付けて記憶部に格納しているので、同一の現実空間において複数の端末間で同一の仮想オブジェクトを簡単に共有することが可能となる。

Claims (4)

1. カメラと表示部と通信部とを含む端末のプロセッサに、
   前記カメラにより撮影される画像に基づく拡張現実空間を前記表示部に表示するステップと、
   前記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、前記拡張現実空間内に配置される前記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを生成するステップと、
   前記通信部を介して前記生成されたオブジェクトデータをネットワークに接続されたサーバに送信するステップと、
   前記通信部を介して特定のオブジェクトデータを前記サーバに要求するステップと、
   前記要求した特定のオブジェクトデータを前記サーバから受信するステップと、
   前記受信した前記特定のオブジェクトデータに含まれる前記１以上のオブジェクト情報により特定される仮想オブジェクトを、該オブジェクト情報により特定される位置及び向きで前記拡張現実空間内に配置するステップと
   を実行させるための拡張現実プログラム。
2. カメラと表示部と通信部とを含む端末のプロセッサに、
   前記カメラにより撮影される画像に基づく拡張現実空間を前記表示部に表示するステップと、
   前記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、前記拡張現実空間内に配置される前記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを生成するステップと、
   前記端末の位置情報を取得するステップと、
   前記通信部を介して前記生成されたオブジェクトデータと前記端末の位置情報とをネットワークに接続されたサーバに送信するステップと、
   前記通信部を介して前記端末の位置情報に関連付けられたオブジェクトデータを前記サーバに要求するステップと、
   前記要求したオブジェクトデータの一覧を前記サーバから受信するステップと、
   前記受信したオブジェクトデータの一覧を前記表示部に表示するステップと
   を実行させるための拡張現実プログラム。
3. ネットワークを介して複数の端末と通信可能な通信部と、
   拡張現実空間内に配置される仮想オブジェクトに関する情報を格納する記憶部と、
   前記複数の端末の間で前記仮想オブジェクトを共有可能にする制御部と
   を備え、
   前記制御部は、
   前記通信部を介して前記複数の端末のうち第１の端末から受信したオブジェクトデータであって、前記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、前記拡張現実空間内に配置された前記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報を含むオブジェクトデータを一意な識別子に関連付けて前記記憶部に格納し、
   前記通信部を介して前記複数の端末のうち第２の端末から受信した前記一意な識別子に対して関連付けられた前記オブジェクトデータを前記記憶部から抽出し、前記通信部を介して前記抽出された前記オブジェクトデータを前記第２の端末に送信する
   ように構成される、
   情報処理装置。
4. ネットワークを介して複数の端末と通信可能な通信部と、
   拡張現実空間内に配置される仮想オブジェクトに関する情報を格納する記憶部と、
   前記複数の端末の間で前記仮想オブジェクトを共有可能にする制御部と
   を備え、
   前記制御部は、
   前記通信部を介して前記複数の端末のうち第１の端末から受信したオブジェクトデータであって、前記拡張現実空間内に配置される仮想オブジェクトを特定する情報と、前記拡張現実空間内に配置された前記仮想オブジェクトの位置及び向きを特定する情報とを含む１つ以上のオブジェクト情報とを含むオブジェクトデータと、前記第１の端末の位置情報とを一意な識別子に関連付けて前記記憶部に格納し、
   前記通信部を介して前記複数の端末のうち第２の端末から受信した前記第２の端末の位置情報に対して関連付けられた前記オブジェクトデータを前記記憶部から抽出し、前記通信部を介して前記抽出された前記オブジェクトデータの一覧を前記第２の端末に送信する
   ように構成される、
   情報処理装置。

Images