JP2015192436A - 送信端末、受信端末、送受信システム、およびそのプログラム - Google Patents

Abstract

【課題】複数のユーザが、それぞれ、仮想オブジェクトを実空間上の位置座標と関連させて表示するいわゆる拡張現実表示を行う場合に、各ユーザの共有に係る仮想オブジェクトを、実空間上の共通の位置座標に関連させて表示する技術を提供する。
【解決手段】この情報処理システムは、使用者の頭部Ｈに装着する頭部装着部１０１と、撮像部１０２と、使用者の視界にバーチャル情報の画像を重畳して表示する表示部１０４と、情報処理部１５０とを有する第１と第２のＨＭＤ１００を用いて構成される。第１のＨＭＤ１００は指標画像（仮想オブジェクト５０４１）を投影する指標画像投影部１０３を有する。第２のＨＭＤは、第１のＨＭＤにより現実のオブジェクト上に投影された指標画像に基づき、バーチャル情報の画像の表示位置・大きさ・向きを変更し所定のバーチャル情報の画像を共有するように構成される。
【選択図】 図１

Description

本発明は、送信端末、受信端末、送受信システム、およびそのプログラムに関し、仮想オブジェクトを現実空間上の位置座標と関連させて表示する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）または複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術に関する。

近年、２以上の情報処理端末により同一の現実空間をそれぞれ異なる視点から見たときに、仮想オブジェクトがあたかもその現実空間上に存在するかのように、前記２以上の情報処理端末上にそれぞれ異なる向き（画角）で表示する技術が提案されている。この技術を実現するためには、いわゆるジオタグ（ｇｅｏｔａｇ）が必要とされている。

ジオタグは仮想オブジェクトに対して緯度と経度（場合によっては高度）と方向の情報を予め付与したものである。その緯度・経度を含む現実空間を情報処理端末を通じて見たときにジオタグ情報に基づいて仮想オブジェクトの表示上の位置および向きを決定すれば、あたかもその現実空間上に存在するようにその仮想オブジェクトを表示することが可能となる。また２以上の情報処理端末に対して共通のジオタグ情報が利用できるようにすれば、各情報処理端末が異なる視点から現実空間を見たときも、あたかもその現実空間上に仮想オブジェクトが存在するかのように、それぞれ異なる向き（画角）で表示できる。

ところで、このジオタグは、仮想オブジェクトに対して現実空間上の位置座標と関連させて予め付与されているものであるから、２以上の情報処理端末に対して「その場で」共通に表示させたい仮想オブジェクトには利用することができない。

これに対して、例えば特許文献１は、１の画像処理装置上に表示する仮想オブジェクトについて、他の画像処理装置にその位置データを通知し、当該他の画像処理装置上で不整合なく表示できるようにする技術を開示する。具体的には、もともと仮想オブジェクトを表示していた端末から別の端末に対して、その仮想オブジェクトの位置や方向の情報を通知する技術を開示している。つまり、それまでジオタグ情報が付されていないデータに対して、元の端末において、仮想表示しているいずれかの時点でジオタグ情報を付与し、そのデータを共有にしたときそのジオタグ情報を共有先の別の端末に通知する。

特開２０１１−１７５４３９号公報

しかしながら、特許文献１が開示する方法では、個々の情報処理端末が、精度よく位置および方向の情報を取得できることが必要である。しかしながら、現在一般的に使用されているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報は数メートルの誤差があると言われ、また、屋内や地下等で電波遮断により位置取得できない場合もある。

本発明の目的は、１つの情報処理端末で拡張現実表示していた仮想オブジェクトについて「共有」が指示されたとき、他の情報処理端末との共有を可能とする技術を提供することにある。

本発明に係る送信端末は、第１の使用者の頭部または顔部に装着され、仮想物体を表示するための３次元形状データを送信する送信端末であって、
指標画像元データに基づいて指標画像を現実物体の上に投影する投影手段と、
前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第１の視点から見た画像が表示される第１の表示手段と、
前記３次元形状データと前記指標画像元データとを送信する送信手段と、
を有し、
前記投影手段の位置姿勢、前記第１の視点の位置姿勢は、前記第１の使用者の頭部または顔部の位置姿勢の変化に逐次追随する
ことを特徴とする。

本発明に係る受信端末は、第２の使用者の頭部または顔部に装着され、仮想物体を表示するための３次元形状データを送信端末から受信する受信端末であって、
前記３次元形状データと指標画像を投影するための指標画像元データとを受信する受信手段と、
前記現実物体の上に投影された指標画像を撮像して第２の指標画像撮像データを得る第２の撮像手段と、
前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第２の視点から見た画像が表示される第２の表示手段と、
前記指標画像元データ、および前記第２の指標画像撮像データに基づいて、
現実空間における、前記指標画像の位置姿勢、および前記第２の撮像手段の位置姿勢、の関係と、
前記仮想空間における、前記仮想物体の位置姿勢、および前記第２の視点の位置姿勢、の関係とが
略同じになるように前記第２の視点の位置姿勢を決定する計算手段と
を有し、
前記第２の撮像手段の位置姿勢および前記第２の視点の位置姿勢は、前記第２の使用者の頭部または顔部の位置姿勢の変化に逐次追随する
ことを特徴とする。

本発明に係る送受信システムは、前記送信端末と、前記受信端末と、を有することを特徴とる。

本発明によれば、高精度の位置測定手段や別のプロジェクション投影手段を必要とせずに、現実空間上の共通の位置に、共有に表示することが指示された仮想オブジェクトを拡張現実表示することができる。

本発明の情報処理システムで使用される本発明の情報処理端末の代表的な実施形態を示す図である。 本実施形態の情報処理システムを構成する第１の情報処理端末の判断・処理の流れを示すフローチャートである。 本実施形態に係る情報処理システムを構成する第２の情報処理端末の判断・処理の流れを示すフローチャートである。 第１の情報処理端末の表示部における表示遷移の一例を示し、前半の４つの表示状態（４０１）〜（４０４）を示す遷移図である。 第１の情報処理端末の表示部における表示遷移の一例を示し、後半の４つの表示状態（４０５）〜（４０８）を示す遷移図である。 本実施形態の情報処理端末の使用状態を一連の手順で模式的に示し、設定段階（５０１）と開始段階（５０２）を示す状態図である。 本実施形態の情報処理端末の使用状態を一連の手順で模式的に示し、共有指示の段階（５０３）と指標を投影する投影段階（５０４）を示す状態図である。 本実施形態の情報処理端末の使用状態を模式的に示し、共有可能となった段階（５０５）を示す状態図である。 本実施形態の情報処理端末の本体内に内蔵された電子回路の構成を示すブロック図である。

本実施形態に係る送受信システムの送受信端末（情報処理端末）は送信端末としての機能と受信端末としての機能を兼ね備えるが、説明の都合上、送信端末と、受信端末とに分けて説明する。

送信端末は、第１の使用者の頭部または顔部に装着され、投影手段と、第１の撮像手段と、第１の表示手段と、送信手段と、を有する。
投影手段は、指標画像元データに基づいて指標画像を現実物体の上に投影する。
第１の撮像手段は、前記投影手段によって前記現実物体の上に投影された前記指標画像を撮像して第１の指標画像撮像データを得る。
第１の表示手段には、前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第１の視点から見た画像が表示される。
送信手段は、１）仮想物体を表示するための３次元形状データ、２）前記指標画像元データ、および３）前記指標画像撮像データを送信する。
前記投影手段の位置姿勢、前記第１の撮像手段の位置姿勢および前記第１の視点の位置姿勢は、前記第１の使用者の頭部または顔部の位置姿勢の変化に逐次追随する。

受信端末は、第２の使用者の頭部または顔部に装着され、受信手段と、第２の撮像手段と、第２の表示手段と、計算手段とを有する。
受信手段は、送信端末から送信された１）仮想物体を表示するための３次元形状データ、２）前記指標画像元データ、および３）前記第１の指標画像撮像データと、を受信する。
第２の撮像手段は、前記現実物体の上に投影された前記指標画像を撮像して第２の指標画像撮像データを得る。
第２の表示手段には、前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第２の視点から見た画像が表示される。
計算手段は、前記指標画像元データ、前記第１の指標画像撮像データ、および前記第２の指標画像撮像データに基づいて、
現実空間における、前記指標画像の位置姿勢、および前記第２の撮像手段の位置姿勢、の関係と、
前記仮想空間における、前記仮想物体の位置姿勢、および前記第２の視点の位置姿勢、の関係とが
略同じになるように前記第２の視点の位置姿勢を決定する。
そして、前記第２の撮像手段の位置姿勢および前記第２の視点の位置姿勢は、前記第２の使用者の頭部または顔部の位置姿勢の変化に逐次追随する。

以下に、本発明の好適な実施形態（実施例）を図面に基づいて説明する。
本実施形態に係る情報処理端末（送受信端末）を図１、図２、図３、図６等を参照して説明する。

＜情報処理端末（送受信端末）の外観の構成＞
情報処理端末（送受信端末）は、情報処理機能を有したコンピュータを基本要素として構成される。以下の説明では、情報処理端末として、人の頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の例で説明する。以下の説明では、説明の便宜上、原則的に「情報処理端末」の代わりに「ＨＭＤ」と記す。２つのＨＭＤはそれぞれ使用者の頭部に装着する装着手段と、投影手段と、撮像手段と、表示手段と、情報処理手段と、を備えている。

図１の（Ａ），（Ｂ），（Ｃ）は、ＨＭＤ１００の外観図を示す。図１（Ａ）は正面側から見た外観斜視図、図１（Ｂ）は背面側から見た外観斜視図、図１（Ｃ）は使用者の頭部に装着された状態の側面図である。一般的にＨＭＤには、伸縮可能な頭部装着部材により、接眼部が使用者の眼の周りに密着・固定するようにしたいわゆるゴーグル・タイプや、使用者の頭部全体を覆うようにして顎の部分で固定するようにした、いわゆるヘルメット・タイプなど種々のタイプがある。また、近年は、装着性を考慮し、使用者の耳にフレームを掛けて固定する、比較的軽量の眼鏡フレーム・タイプのものも登場している。
図１の（Ａ）〜（Ｃ）に示したＨＭＤ１００は、上記のいわゆるゴーグル・タイプに相当するものである。

ＨＭＤ１００において、頭部装着部１０１は、ＨＭＤ１００を使用者の頭部に装着させるものであり、図１に示すように、番号１２１〜１２５を付した複数の構成部材からなる。図１（Ｃ）に示すようにＨＭＤ１００を使用者の頭部Ｈに装着するには、まず、アジャスタ１２２で長さ調整部１２３を緩めた状態で頭部Ｈにかぶる。そして、額装着部１２５を頭部Ｈの額に密着させてから側頭装着部１２１と後頭装着部１２４を各々側頭部、後頭部に密着させるように、アジャスタ１２２で長さ調整部１２３を絞める。

撮像部１０２はいわゆるデジタルカメラであって、図１（Ｃ）に示すように番号１１２，１１６，１１７を付した複数の部材から構成され、ＨＭＤ１００を頭部Ｈに装着した使用者の向く方向と略同方向を撮像し、使用者の頭部の位置姿勢の変化に逐次追随する。具体的には、入射窓１１２を介してＨＭＤ１００の外部から入射した光を光学プリズム１１７によってＨＭＤ１００の内部に導き、撮像センサ１１６により受光する。なお部材１１２，１１６，１１７は、それぞれ、左眼と右眼に対応する要素を有し、図中ではそれぞれ記号「Ｌ」と「Ｒ」を付して区別している。

投影部１０３は、いわゆるプロジェクタであり、投影レンズ、画像表示素子、発光素子等からなる。
表示部１０４は、図１の（Ｂ），（Ｃ）に示すように番号１１０，１１４，１１５を付した複数の部材から構成される。また記号の「Ｌ」と「Ｒ」は前述の通り左眼用と右眼用を示す。使用者の眼の位置に相対するように、眼鏡における眼鏡レンズに相当する位置に設けられたものであり、具体的には、カラー液晶ディスプレイ１１４が表示する画像を光学プリズム１１５によって導き、スクリーン１１０に表示する。

ここで、現実世界の光景にグラフィックスを重畳表示する方式として、グラス・シースルー（光学シースルー）方式とビデオ・シースルー方式とがある。グラス・シースルー方式は、透明または半透明の眼鏡レンズをスクリーンとしてグラフィックスを投影し、現実世界の光景にグラフィックスを光学的に重畳する。ビデオ・シースルー方式は、撮像装置が撮像している現実世界の光景にグラフィックスを電気的に重畳する。

ＨＭＤ１００が前述のビデオ・シースルー型である場合は、スクリーン１１０は原則として透過度を有さず、導光された画像をそのまま表示する。
これに対して、ＨＭＤ１００が前述のグラス・シースルー型である場合は、スクリーン１１０はいわゆるハーフミラーで構成される。すなわち、一定の透過度を有し、使用者が現実空間の光景を光学的に見ることができるようになっている。同時に、表面または裏面もしくは内部に埋め込まれて設けられたミラーにより、カラー液晶ディスプレイ１１４が表示し光学プリズム１１５によって導かれたグラフィックスの画像を使用者の眼の方向に反射する。即ち、グラス・シースルー型の場合には、現実空間の光景と仮想オブジェクト（仮想物体）の画像とが、スクリーン１１０において光学的に重畳される。

表示部１０４の光学プリズム１１５からの出力光と撮像部１０２の光学プリズム１１７への入力光は使用者の瞳の光軸と一致するようになっており、撮像センサ１１６は、使用者の顔の位置及び方向（位置姿勢）によって見られる現実空間画像を撮像する。
ビデオ・シースルー型ＨＭＤ１００の場合には、カラー液晶ディスプレイ１１４は、撮像センサ１１６によって取得された現実空間画像と仮想オブジェクトの画像とを電気的に重畳（画像合成）した拡張現実画像を表示する。
一方、グラス・シースルー型ＨＭＤ１００の場合には、カラー液晶ディスプレイ１１４は、原則として、仮想オブジェクトの画像のみを表示する。

＜情報処理端末の内部（電子回路）の構成＞
図６に示されるように、ＨＭＤ１００は、さらに、電子回路要素として、表示制御部１３０、撮像制御部１４０、ＣＰＵ１５０、メモリ１６０、電源部１７０、通信部１８０、投影制御部１９０を備えている。これらの電子回路要素は、ＨＭＤ１００の本体（頭部装着部１０１を含む）の内部に埋め込まれ、外観としては図示されない。
上記において、ＣＰＵ１５０、メモリ１６０、表示制御部１３０、撮像制御部１４０、投影制御部１９０は、ＨＭＤ１００の情報処理手段を構成している。

表示制御部１３０は、表示部１０４の表示制御を行う。例えば、現実空間画像に重畳表示（画像合成）する仮想オブジェクトの画像の大きさや位置、向き、色彩、透過度、現実空間画像が変更したことに伴う移動や明度の変更などを制御する。

撮像制御部１４０は、撮像データを用いた所定の演算処理による演算結果に基づいて露光制御、測距制御等を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。また、撮像部１０２が光学フィルタを光路上から挿脱する機構や防振機構等を備えている場合は、撮像データその他の条件によりフィルタの挿脱や防振等の制御を行う。

ＣＰＵ１５０は、ＨＭＤ１００全体の演算処理を行う。後述するメモリ１６０に記録されたプログラムを実行することで、本実施形態の各処理を実現する。
メモリ１６０はワーク領域および不揮発性領域より成る。ワーク領域には、不揮発性領域から読み出されたプログラムやシステム制御用の定数、変数が展開される。また、現実空間に重畳して表示する仮想オブジェクトの画像のデータが、表示のために保持される。また、撮像部１０２により撮像されＡ／Ｄ変換された撮像データが、画像解析や画像処理等の目的で展開される。

電源部１７０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなり、ＨＭＤ１００全体に電源を供給する。ユーザ操作その他の条件により電源オン、電源オフを切り替える電源スイッチを備える。
通信部１８０は、ＣＰＵ１５０の制御に基づき、ＷｉＦｉＤｉｒｅｃｔ等の規格に従って他のＨＭＤ１００との通信を行い３次元形状データや位置姿勢に関するデータ等を送受信する。
投影制御部１９０は、投影部１０３の投影動作の制御を行う。

＜情報処理端末の判断・処理の流れ＞
図２は上記構成を有する第１のＨＭＤ１００で実行される判断および処理の流れを示し、図３は上記構成を有する第２のＨＭＤ１００（受信端末）で実行される判断および処理の流れを示している。なお、この判断および処理は、ＣＰＵ１５０がメモリ１６０の不揮発性領域に記録されたプログラムをワーク領域に展開して実行することで実現する。

＜第１の情報処理端末の判断・処理の流れ＞
まず図２を参照して、データの共有を指示するユーザ（使用者）の使用に係る第１のＨＭＤ１００（送信端末）の判断・処理の流れを説明する。
ステップＳ２０１では、第１のＨＭＤ１００は、これを使用するユーザにより電源が投入されると、撮像部１０２により現実空間の撮像を開始する。

ステップＳ２０２では、表示部１０４に、撮像している現実空間の画像に重畳して、所定の表示条件（大きさや位置、向き、色彩、透過度等）により、仮想オブジェクトの画像を表示する。電源投入直後に表示する仮想グラフィックスは、情報処理端末としての仕様により、例えば、そのＨＭＤ１００のユーザの管理に係る不揮発性領域の記憶領域を象徴的に表すグラフィックス（立体アイコン）等であってもよい。また、電源切断前に表示されていたグラフィックスを回復して用いることとしてもよい。

ステップＳ２０３では、第１のＨＭＤ１００は、ユーザにより表示している仮想グラフィックスのいずれかに対して指示・操作がされたかを判定する。この場合において、現実空間の画像に重畳して表示している仮想グラフィックスは、いわゆるグラフィカル・ユーザ・インターフェース（以下、「ＧＵＩ」という）に該当する。
例えばユーザの管理に係る記憶領域を象徴的に表す立体アイコン（ストレージアイコン）を表示していた場合に、ユーザのジェスチャー操作等により「開く」が指示されたときは、その記憶領域に記憶されているファイル等を表すグラフィックスを表示する。また、例えば、「靴」のデザインデータを象徴的に表すアイコンを表示していた場合において、ユーザのジェスチャー操作等により「開く」が指示されたときは、その「靴」の立体モデルを現実空間の画像に重畳して表示する。

ところで、現実空間の画像に仮想グラフィックスを重畳表示するとき、これを現実空間上の位置座標と関連させて表示する、いわゆる拡張現実表示を行う場合と、現実空間上の位置座標とは関連させないで表示する場合（拡張現実表示を行わない場合）とがある。どのような場合に拡張現実表示をし、どのような場合に拡張現実表示をしないかは、所定の条件に基づく。この拡張現実表示を行うか行わないかの条件の設定については後述する。

ユーザにより仮想グラフィックスに対して指示・操作がされたときは（ステップＳ２０３でＹＥＳ）、その指示・操作が、そのグラフィックスが示すデータを「共有」することの指示・操作かを判定する（ステップＳ２０４）。「共有」以外の指示・操作である場合は、その指示の内容を実行する（ステップＳ２０５）。

ステップＳ２０９で、ユーザの指示・操作が、この「共有」の指示・操作であったときは、まず、投影部１０３より、当該共有が指示された仮想グラフィックスを表示している表示位置と略同方向となる現実空間上の方向に指標画像を投影する。ただし、このとき、以下のステップＳ２０６〜Ｓ２０９に示すように、角度センサにより検知した投影方向角度に基づき、指標画像が垂直または水平方向に投影されたものと同様となるように、指標画像をいわゆる台形補正する。

例えば、ＨＭＤ１００が指標画像を、壁面などの略垂直な面に向けて、水平方向に対してθの角度をなす向きに投影している場合は、指標画像の投影方向に沿った方向（ＨＭＤ１００から見たときの、いわゆる上下の方向）と、ＨＭＤ１００から見たときの下辺に対する上辺とが、それぞれ1/cosθ倍に変形されることとなる。そこで元の画像について、それぞれcosθ倍する補正をすれば、情報処理端末の角度に関わらず水平に投影されたものと同様となる。

また、ＨＭＤ１００が指標画像を、テーブル面などの略水平な面に向けて、水平方向に対してθの角度をなす向きに投影している場合は、指標画像の投影方向に沿った方向（ＨＭＤ１００から見たときの、いわゆる上下の方向）と、ＨＭＤ１００から見たときの下辺に対する上辺とが、それぞれ-1/sinθ倍に変形されることとなる。そこで元の画像について、それぞれ-sinθ倍する補正をすれば、ＨＭＤ１００の角度に関わらず垂直に投影されたものと同様となる。

例えば、ＨＭＤ１００の姿勢（水平方向に対する角度θ）が-45°≦θ≦45°であるときは略垂直な面に向けて投影するものと推定できる。
また、ＨＭＤ１００の姿勢（水平方向に対する角度θ）がθ≦-45°またはθ≧45°であるときは略水平な面に向けて投影するものと推定できる。

つまり、ステップＳ２０６において、角度センサにより投影方向角度を取得し、ステップＳ２０７において、略垂直な面または略水平な面のどちらに向けて投影するかを推定する。
ステップＳ２０８において、投影面が略垂直な面または略水平な面のどちらかに応じて指標画像をいわゆる台形補正する。
ステップＳ２０９において、補正された指標画像を投影部１０３によって投影面に投影する。

次に、ステップＳ２１０では、この投影された指標画像を撮像部１０２により撮像する。この指標画像の元の画像は先に述べたプロセスにより垂直または水平方向に投影されたものと同様となる台形補正がされているから、撮像された指標画像の傾きは、ＨＭＤ１００の撮像方向と投影面との間の傾きを反映したものとなる。また、撮像された指標画像の大きさは、投影画像の広がり角度と撮像レンズの倍率（いわゆるズーム比）を考慮した補正を行うことにより、ＨＭＤ１００と投影面との間の距離を反映したものとなる。

次に、ステップＳ２１１で、共有が指示された仮想グラフィックスの位置、向き（位置姿勢）、大きさを、指標画像の撮像画像に基づき変更して重畳表示する。このようにすると、あたかも当該仮想物体が、指標投影された実在オブジェクト上に置かれていたり、接着されていたりするかのように拡張現実表示することが可能となる。

上記において、第１のＨＭＤ１００で投影部１０３による指標画像の投影方向と撮像部１０２による指標画像の撮像方向とは、第１のユーザの視点（位置姿勢）と一致している。第１のＨＭＤ１００で、投影に使用される指標画像元データと、投影された指標画像を撮像して得た指標画像撮像データとに基づき、指標画像が投影された投影面の傾き等を特定する。そして、この傾き等を「共有」が指示された仮想物体の位置姿勢に反映させて投影面の近傍に重畳表示し、拡張現実表示を行う。

なお、指標画像の投影は、ＨＭＤ１００の撮像部１０２が撮像可能なものであれば、人の眼に可視な光線によるものでも、不可視な光線（例えば赤外線）によるものでもどちらでもよい。あるいは、連続した投影でなく、例えば一定の時間間隔で不連続に投影するものでもよい。
これにより、例えば、実在のオブジェクト（投影面）の上に模様などが描かれていて、可視光線による連続投影では投影された指標画像と投影面の模様との区別が困難なため、指標としての認識が困難な場合であっても、指標画像の認識を容易とすることができる。赤外光による投影・認識により模様等の影響を取り除いたり、一定の時間間隔で不連続に投影し、投影前後の撮像画像の差分から投影された画像を抽出したりすることによって、指標画像の認識を容易とすることが可能となる。

次に、ステップＳ２１２では、第１のＨＭＤ１００の通信部１８０より、上記の仮想物体に係る情報（３次元形状データ、位置姿勢データ等）と指標画像に係る情報（指標画像元データ、指標画像撮像データ)とを送信する。
また、ステップＳ２１３では、表示部１０４に「共有設定中」であることを示す表示を行う。この表示は、例えば「共有設定中」等の文字を表示するものであってもよいし、仮想オブジェクトのグラフィックスをそれまでと異なる色彩や透過度で表示したり、点滅させて表示するようなものでもよい。

そして、他のＨＭＤ１００（第２のＨＭＤ１００）から送信される、確認信号を受信するまで待機する（ステップＳ２１４）。確認信号については後述する。
ただし、所定の終了条件を設け、条件を充足したとき（例えば、所定の時間の経過があったとき）は待機を終了する（ステップＳ２１５）。確認信号を受信したときは「共有設定中」の表示を消去する（ステップＳ２１６）。

＜第２の情報処理端末の判断・処理の流れ＞
図３を参照して、第２のＨＭＤ１００（受信端末）の判断・処理の流れを説明する。
ステップＳ３０１で、第２のＨＭＤ１００は、これを使用する第２のユーザにより電源が投入されると、撮像部１０２により現実空間の撮像を開始する。
そして、ステップＳ３０２で、第２のＨＭＤ１００は、他の第１のＨＭＤ１００から送信される、共有指示された仮想物体に係る情報（３次元形状データ、位置姿勢データ）と指標画像に係る情報（指標画像元データ、指標画像撮像データ)を受信するまで待機する。
ただし、所定の終了条件を設け、条件を充足したとき（例えばユーザの所定の操作があったとき）は待機を終了する（ステップＳ３０３）。

ステップＳ３０４で、第２のＨＭＤ１００は、共有指示された仮想物体に係る情報と指標画像に係る情報を受信したときは、第２のＨＭＤ１００の表示部（第２の表示部）に、この「情報を受信した旨」を第２のユーザに対して表示する。このとき、第１のＨＭＤ１００の位置を取得できたならば、ユーザに対してその方向を向くように促す表示をすることとしてもよい。

そして、ステップＳ３０５では、第２のＨＭＤの撮像部（第２の撮像部）が撮像している画像中に第１のＨＭＤの投影部が投影している指標画像があるかを判定する。
ステップＳ３０６では、指標画像があったときは、まず、その旨の「確認信号」を第１のＨＭＤ１００に発信する。これは、すなわち、当該仮想オブジェクトを共有した旨を第１のＨＹＭＤ１００（およびそのユーザ）に通知するものである。第２のＨＭＤ１００の撮像部１０２による撮像方向は、これを使用するユーザの視点および視線と一致している。

また、ステップＳ３０７では、撮像画像中の指標画像の位置、大きさ、向き（方向および傾き）を取得する。
例えば、指標画像の模様が点対称でもなく、線対称でもなければ、受信した指標画像元データと第１の指標画像撮像データとを比較することによって、指標画像が投影された現実物体（投影面）の位置姿勢と投影面に対する第１の撮像手段の位置姿勢が特定できる。
また、受信した指標画像元データと第２の指標画像撮像データとを比較することによって、投影面に対する第２の撮像手段の位置姿勢が特定できる。
そして、第１の撮像手段の位置姿勢と、投影面の位置姿勢と、第２の撮像手段の位置姿勢との関係が特定されれば、
仮想空間内の第１の視点の位置姿勢と、投影面上またはその近傍に重畳して表示される仮想物体の位置姿勢と、仮想空間内の第２の視点の位置姿勢との関係を特定することができる。

そして、ステップＳ３０８では、共有指示された仮想物体に係る情報（形状データ、位置姿勢のデータ）に基づくレンダリングを実施する。
ステップＳ３０９では、レンダリングにより得られたバーチャル情報の画像（仮想グラフィックスの画像）を撮像部１０２が撮像する現実空間の画像に重畳して、表示部１０４に表示する。
このようにして位置姿勢が特定され、投影面上またはその近傍に重畳して表示される仮想物体（例えば、投影面の約１ｃｍ上方に配置され、第１の視点から右側面が見える仮想物体）を、仮想空間内の第２の視点から見た画像が第２の表示部１０４に表示される。
例えば、図５Ｃに示すような位置関係であれば、ユーザＰ３の表示部には、投影面の約１ｃｍ上方に配置され、「右」側面から見た仮想物体（靴）が表示され、ユーザＰ１の表示部には、投影面の約１ｃｍ上方に配置され、「左」側面から見た仮想物体が表示される。

上記のステップＳ３０７，Ｓ３０８，Ｓ３０９によって、第２のＨＭＤ１００において、第１のＨＭＤ１００により投影された指標画像を介して、仮想オブジェクト（仮想物体）の共有化が実行される。当該ステップＳ３０７，Ｓ３０８，Ｓ３０９は、共有化処理のためのステップＳ３１１を構成し、共有化手段を実現している。これにより、第１のＨＭＤ１００で表示された所定の仮想オブジェクト（ステップＳ２１１）が、第２のＨＭＤ１００においてもその視点に基づき表示され、共有化が実現される。

第２のＨＭＤ１００は、共有指示された仮想オブジェクトに係るバーチャル情報の画像を重畳表示した以降は、当該バーチャル情報の画像を、あたかも現実空間の特定の位置に実在するかのように拡張現実表示する（ステップＳ３１０）。すなわち、現実空間を撮像した撮像画像の特徴点の認識により、例えば第２のＨＭＤ１００がその特定の位置に近付いたと認識したときは、当該オブジェクトのグラフィックスが大きくなるように再レンダリングして撮像画像に重畳する。
また、仮に、上記の特定の位置が使用者の視界（すなわち撮像画像）から外れれば、一旦、仮想オブジェクトのグラフィックスを消去する。しかし、当該特定の位置が再び使用者の視界に入ったときは、メモリ１６０に記憶した特徴点の情報に基づき、その位置に実在しているように仮想オブジェクトのグラフィックスを再表示する。

＜実施形態の作用・効果＞
以上をまとめると、第１のＨＭＤ１００は、それが拡張現実表示している仮想オブジェクトについて、そのユーザ（使用者）から「共有」にする指示があったときは、その拡張現実表示している方向に向けて指標画像を投影する。第２のＨＭＤ１００は、その投影された指標画像を撮像し、当該指標画像と、送信された共有を指示された仮想物体に係る情報および指標画像に係る情報とに基づき、仮想物体を拡張現実表示する。
第２のＨＭＤ１００の撮像画像における上記の指標画像は、当然、第２のＨＭＤ１００の視点から見たものであり、また現実物体（例えば「テーブル」等）の投影される面の傾き等を反映したものである。

すなわち、第２のＨＭＤ１００が、その撮像画像における指標画像の位置、大きさ、向き（方向および傾き）に対応した位置姿勢の仮想物体のグラフィックスを生成し、その表示部に拡張現実表示する。これにより、第１のＨＭＤ１００と第２のＨＭＤ１００とは、同じ物体があたかも現実空間上の同じ位置にあるかのように、それぞれの表示部１０４上にそれぞれの視点から表示することが可能となる。
そこで、例えば第１のユーザがその仮想物体を指などの現実物体によって指し示すと、第２の表示部には、その仮想物体とその現実物体とが重畳表示され、第２のユーザには第１のユーザがその仮想物体を指し示しているように見える。よって、第１のユーザと第２のユーザとが仮想物体を「共有」しているのに適した拡張現実表示が可能となる。

この際、第１の表示部に表示される仮想物体を描画する際の第１の視点の位置姿勢と、第２の表示部に表示される仮想物体を描画する際の第２の視点の位置視点との関係は、第１の撮像部の位置姿勢と、第２の撮像部の位置姿勢の関係と略一致している。
いわゆるジオタグ（ｇｅｏｔａｇ）によっても同様の見え方をさせることは可能であるが、本発明の情報処理端末（例えば上記実施形態で説明したＨＭＤ１００）は、仮想オブジェクトにあらかじめ緯度・経度の情報を付与する必要がない。また各端末の緯度・経度の情報を取得する必要もない。
本発明の情報処理端末を用いたシステムでは、第１のユーザと第２のユーザが存在する現実空間内に指標画像を投影可能な現実物体が存在し、第１の端末から投影面に投影された指標画像を、第１の端末と第２の端末のそれぞれが撮像可能であればよい。
共通の指標画像を第１の端末と第２の端末のそれぞれの位置姿勢からそれぞれが撮像することによって、現実空間における第１の撮像部の位置姿勢と、投影面の位置姿勢と、第２の撮像部の位置姿勢との相対的な関係（第１の相対的関係）を特定することができる。
そして、仮想空間における第１の端末の視点の位置姿勢と、仮想物体の位置姿勢と、第２の端末の視点の位置姿勢との相対的な関係（第２の相対的関係）が第１の相対的関係と略同じになるように第２の端末の視点の位置姿勢を特定する。
これにより投影面の近傍に重畳表示される仮想物体を、第１の視点から見た画像を第１の表示手段に表示し、同じ仮想物体を第２の視点から見た画像を第２の表示手段に表示することができ、共有の拡張現実表示が可能である点に発明の効果を有している。

＜第１の情報処理端末の表示部における表示遷移＞
次に、図４Ａ，４Ｂを参照して、使用者によりバーチャル情報の画像を共有する指示があったときに指標画像を投影する第１のＨＭＤ１００の動作例について説明する。図４Ａ，４Ｂでは、第１のＨＭＤ１００の表示部１０４における表示遷移を一連の表示状態（４０１）〜（４０８）で示している。前半の４つの表示状態（４０１）〜（４０４）は図４Ａに示され、後半の４つの表示状態（４０５）〜（４０８）は図４Ｂに示される。

表示状態（４０１）は、第１のＨＭＤ１００における電源投入直後の表示の例を示している。表示状態（４０１）において符号４０１１は、撮像部１０２により撮像された現実空間の撮像画像を示している。また符号４０１２は、撮像画像４０１１に重畳された仮想グラフィックスであり、ここでは、第１のＨＭＤ１００のユーザの管理に係る記憶領域を表すストレージ・アイコンを表示している。

表示状態（４０２）は、このストレージ・アイコン４０１２に対してユーザが「指でつまむ」ジェスチャーにより指示・操作をしようとしている様態を表わしている。ユーザの手４０２３は撮像部１０２により撮像された現実空間の撮像画像の一部である。ここで、仮想グラフィックス４０２２に対して、ユーザの親指の甲側（爪のある側）部分４０２４が手前に、ユーザの人差し指の腹側（爪のない側）部分４０２５が奥に表示されるような表示制御がなされている。
これは、ユーザに対してグラフィックスを指でつまむ視覚的な感覚を生じさせるためになされるものであって、撮像画像から人の指の甲側部分と腹側部分とをそれぞれ識別し抽出する画像処理技術に基づくものである。このような画像処理技術は、例えば特開２０１２−５３６７４号公報が開示するように既に公知となっている。

表示状態（４０３）は、ユーザの所定のジェスチャー操作によりストレージ・アイコン４０３１に対して「ストレージの内容を表示する（いわゆる「開く」）」が指示されている様態を表わしている。ここで、当該所定のジェスチャー操作は「アイコンを指でつまんだ後、親指と人差し指をつけたままずらしていく」というジェスチャーである。このジェスチャーは、束ねたカードを扇状に開く動作と共通することから「開く」という言葉を想起させやすく、いわゆる「開く」を指示するジェスチャーとして好適である。
もちろん、いわゆる「開く」を指示するジェスチャーとして、他のジェスチャーが割り当てられていても問題はない。

表示状態（４０４）は、表示状態（４０３）においてストレージ・アイコン４０３１に対して「開く」というユーザの指示が実行された結果として、ストレージ・アイコン４０３１が表していた記憶領域の下位レベルの階層が表示された様態を表わしている。この表示状態（４０４）において、アイコン４０４１〜４０４８は、それぞれ第１のＨＭＤ１００の記憶部に記憶されているデータまたはファイルを表示するアイコンである。例えば、アイコン４０４８は、表示部１０４に立体モデルを表示するアプリケーション・ソフトウェアの１ファイルを表示するものである。

図４Ｂに示す表示状態（４０５）は、ユーザの所定のジェスチャー操作によりファイル・アイコン４０５２に対して「（アプリケーション・ソフトウェアを起動して）ファイルを開く」が指示されている様態を表わしている。ここで、当該所定のジェスチャー操作は、表示状態（４０３）でなされたのと同様の「アイコンを指でつまんだ後、親指と人差し指をつけたままずらしていく」ジェスチャーである。

表示状態（４０６）は、立体モデルを表示するアプリケーション・ソフトウェアが起動しアイコン４０５２が示すファイルがメモリ１６０に展開されて「靴」のオブジェクト４０６２が、現実空間の撮像画像４０６１に重畳して表示されている様態を表わしている。

表示状態（４０７）は、表示状態（４０６）の立体モデル４０６２に対して、ユーザにより「オブジェクトを指でつまんだ後、親指と人差し指をつけたままずらしていく」というジェスチャーがなされた状態を表している。このジェスチャーがなされると、このジェスチャーに応じてオブジェクトに対してユーザが指示可能なコマンドのメニューが表示される。コマンドとしては「ＣＯＰＹ」、「ＣＵＴ」、「ＥＤＩＴ」、「ＳＨＡＲＥ」などがある。ユーザは、メニュー表示後にさらに親指をずらして１つのコマンドを指示・選択することができる。

表示状態（４０８）は、ユーザによりコマンド「ＳＨＡＲＥ」が選択され、オブジェクトの「共有」が指示された結果として、このオブジェクトを現実空間上の位置座標に関連させた拡張現実表示をしている様態を表わしている。すなわち、図において撮像画像４０８１は現実世界の撮像画像であり、仮想オブジェクト４０８２は拡張現実表示された仮想オブジェクトである。
例えば仮想オブジェクトの下に影を表示するなどによって、仮想オブジェクトである「靴」が現実のオブジェクトの「テーブル」の上に置かれているかのように拡張現実表示されているため、図の上では仮想と現実の見分けがつけられないようになっている。

表示状態（４０７）から表示状態（４０８）に遷移する際に、仮想オブジェクトの表示が、いわゆる通常の重畳表示から拡張現実表示に変更された。このように表示態様が変更されたのは、共有ファイルを示すオブジェクトについては拡張現実表示をし、共有していないファイルを示すオブジェクトについては拡張現実表示ではない、いわゆる通常の重畳表示をするように表示の条件を設定していたためである。このように、ファイルが共有か非共有かにより拡張現実に係る表示態様か非拡張現実に係る表示態様かを異ならせるのは以下の理由による。

すなわち、複数のユーザ（使用者）が特定の場所に集まってミーティングやコラボレーション等を行う場合に、オブジェクトが実際にその場にあるかのように拡張現実表示がされると、打ち合わせやコラボレーションの効果や効率が向上する。例えば一人のユーザが仮想オブジェクトを指し示しながらプレゼンテーションを行ったとき、他のユーザらはその仮想オブジェクトとそれを指し示すプレゼンターが同時に見えるからである。

他方、表示をするものが他のユーザとの共有しない「非共有」のファイルに係るオブジェクトである場合は非拡張現実表示とすれば、オブジェクトの表示は現実空間上の位置座標に関連させられない。このため、たとえばユーザがその位置座標の方向を向いていない場合にはオブジェクトが表示されないこととなる。
つまり、「非共有」のファイルに係るオブジェクトについては拡張現実表示をせず、「共有」のファイルに係るオブジェクトについては拡張現実表示をするように表示様態を変更することが合理的である。

＜第１および第２の情報処理端末の使用状態に基づく一連の手順＞
次に、図５Ａ，５Ｂ，５Ｃを参照して、前述した第１および第２のＨＭＤ１００を使用して仮想オブジェクトの「共有」を行うための一連の手順の例を説明する。この例ではＨＭＤ１００を頭部に装着した複数の使用者が特定の場所に集まってミーティング等を行う。このような場合に、１人の使用者により仮想オブジェクトの「共有」が指示され、他の使用者がその仮想オブジェクトをそれぞれの視点から共通の位置座標に関連させて拡張現実表示する様子を、模式的に表したものである。

上記一連の手順のうち、図５Ａは設定段階（５０１）と開始段階（５０２）を示す。図５Ｂは第１のＨＭＤ１００から見た表示態様であって共有指示の段階（５０３）と当該第１のＨＭＤ１００から指標を投影する投影段階（５０４）を示す。図５Ｃは第１のＨＭＤ１００から投影された指標に基づき第２のＨＭＤ１００との間で仮想オブジェクトを共有可能となった状態（５０５）を示す。

設定段階（５０１）において、それぞれ前述したＨＭＤ１００を装着した使用者Ｐ１，Ｐ２が、所定の方法によりユーザ・グループ設定を行っている。ここでは、ＨＭＤ１００を装着した使用者Ｐ１，Ｐ２同士が握手をするというジェスチャーが、グループ設定の方法となっている。このジェスチャーをグループ設定の方法とすることについては、以下のような意義を有する。

第１にミーティング前の所作として「握手」は自然であること。第２に、他のジェスチャー（例えば「お辞儀」）に比べて、ジェスチャーがされたか否かの識別が確実であるため、不用意にオブジェクト共有がされることを防止できること。第３に、実際に握手がされたこと（握手がされたような外観を呈したのみならず、実際の身体接触があったこと）に基づいてグループ設定することにより、意図しない者をグループに加えるおそれがなく安全性の高いグループ設定が可能となること。
第３の意義を実現可能とするためには、ＨＭＤ１００が、それぞれ、例えば電界状態の変移等によりＨＭＤ１００の装着者同士の身体接触を検知する手段を備えてることが必要となる。なお、電界状態の変移により身体接触を検知する技術は、例えば特開２０１０−１９３１２９号公報等が開示するように、公知な技術である。

開始段階（５０２）は、グループ設定された３人のＨＭＤ１００の使用者Ｐ１，Ｐ２、Ｐ３が実在オブジェクトのテーブル５０２１を囲んでいる様子を示している。この状態において、３人の共有に係る仮想オブジェクトはまだ何もないため、３人のＨＭＤ１００はそれぞれ異なる仮想オブジェクトを表示している。

段階（５０３）は、１つのＨＭＤ１００の使用者（装着者）Ｐ３から見た表示の様態である。ここで、仮想オブジェクト５０３１はこの使用者Ｐ３に対してのみ表示されている。段階（５０３）では、この使用者Ｐ３の手指５０３２によりこの仮想オブジェクトの「共有」を指示するジェスチャー操作が行われている。

投影段階（５０４）は、使用者Ｐ３に装備されたＨＭＤ１００より指標画像５０４１がテーブル５０２１上に投影されている様子を表わしている。

共有段階（５０５）は、他の使用者Ｐ１，Ｐ２の第２のＨＭＤ１００が指標画像５０４１をそれぞれ認識し、それに基づいて、各表示部にこの共有に係る仮想オブジェクト５０５１のそれぞれの視点からの画像を拡張現実表示している様子を模式的に表している。つまり、共有段階（５０５）における靴の仮想オブジェクト５０５１は、ＨＭＤ１００の使用者（装着者）Ｐ１〜Ｐ３以外には表示されない（見えない）。
しかし、ＨＭＤ１００の使用者（装着者）Ｐ１〜Ｐ３の各表示手段に、あたかもテーブル５０２１の上に実際に置かれているかのように各使用者の視点から見た仮想オブジェクト５０５１が表示されていることを模式的に示している。

グループに属する使用者Ｐ１〜Ｐ３にとって、この仮想オブジェクト５０５１はあたかも実在するように共通に表示されているため、グループ内で打ち合わせやコラボレーションをするのに際して便利である。例えば「靴」のデザインを説明するために、使用者の１人が「靴」のオブジェクトを手にとっていろいろに方向を変えながら、指で指し示しつつ「ここの形状は…」等と説明を加えると、他の使用者には指し示した指と共にオブジェクトが表示される。
このため、説明の内容が分かりやすくなる。あるいは、他の使用者が「ここはこうした方が…」等と、指等で指し示しながら意見を言えば、それがどの部分についての意見かも明確である。また、仮想オブジェクト５０５１について、グループのユーザが編集・改変をする操作が可能となっているときは、例えば色彩や模様を変更しながら打ち合わせを進めるといった利用が可能である。

なお、「共有」設定されたオブジェクトをグループのユーザがどのように操作し得るかは、ＨＭＤ１００一般の「共有」の考え方と同様にすることができる。すなわち、グループ設定した際の、グループ・ユーザの「権限」の設定に基づく。例えば「閲覧のみ」や「改変・上書可能」等の権限がグループ・ユーザに対して予め設定される。また、いつグループ解除するかについては、解除操作をしたときとする他、例えば、ＨＭＤ１００同士が所定距離以上離れたとき等をグループ解除の条件とすることができる。

以上をまとめると、バーチャル情報の画像の共有を指示する側の使用者の使用に係る情報処理端末（第１のＨＭＤ１００）は、その共有の指示があったときに、指標画像を投影する。前述したように、他の情報処理端末（第２のＨＭＤ１００）はこの投影された指標画像に基づき共有指示に係るバーチャル情報の画像を表示するのであるから、共有指示があってはじめて、他の情報処理端末は当該バーチャル情報の画像を表示できることになる。すなわち、共有指示がないときには他の情報処理端末には当該バーチャル情報の画像は表示されないため、セキュリティ性よく情報管理できることとなる。

＜他の実施形態＞
この実施形態では、バーチャル情報の画像の共有指示に係る指標画像を撮像したとき、所定の確認信号を発信するＨＭＤ１００の例について説明する。
本実施形態にかかるＨＭＤ１００は、図３のステップＳ３０６において説明したように、指標画像を撮像したとき、その旨の「確認信号」を、当該指標画像を投影表示しているＨＭＤ１００に発信する。

指標画像を投影する指標画像投影手段は本実施形態に係るＨＭＤ１００の一部であり、頭部装着手段により使用者の頭部に装着されている。このため、他のＨＭＤ１００が指標画像を「確認」するまで、すなわち他のＨＭＤ１００の撮像手段により指標画像が撮像されるまでは、指標画像を投影するＨＭＤ１００の使用者は、頭部を大きく動かしてはならない。しかし、他のＨＭＤ１００により指標画像が「確認」された後は、その旨がすみやかに通知され、使用者はもはや頭部を動かしてもよいと認識できることが合理的である。

本実施形態に係るＨＭＤ１００が、バーチャル情報の画像の共有指示に係る指標画像を撮像したとき、所定の確認信号を発信するのはこの通知を行うためであり、この確認信号は以下のように利用することができる。

例えば、指標画像を投影するＨＭＤ１００は、指標画像を投影した後、「確認信号」を受信するまでの間は、その使用者に対して頭部を動かさないように表示することとしてもよい。
あるいは、グループ設定されたＨＭＤ１００が３以上ある場合において、その多くから「確認信号」を受信しないときは、指標画像の投影状態が適切でないと推測できる。このため、指標画像を投影するＨＭＤ１００はその使用者に対して投影状態を改善するように表示することとしてもよい。
逆に、グループ設定されたＨＭＤ１００が３以上ある場合において、その多くから「確認信号」を受信し、ごく一部から「確認信号」を受信しないときは、「確認信号」を発信しないＨＭＤ１００の指標画像の撮像状態が適切でないと推測できる。この場合、その少ない数のＨＭＤ１００の使用者に対して撮像状態を改善するように表示することとしてもよい。

以上をまとめると、バーチャル情報の画像を共有する側（指標画像を撮像する側）の使用者の使用に係るＨＭＤ１００は、指標画像を撮像したとき所定の確認信号を発信する。この確認信号の数がＨＭＤ１００全体の数に対して多いか少ないかに基づき、指標画像を投影する使用者または指標画像を撮像する使用者に対して適切な使用を促す表示をすることが可能となる。

以上、説明したように、本発明の情報処理端末（ＨＭＤ１００等）によれば、１つの情報処理端末が現実のオブジェクト上に投影した指標画像に基づき、他の情報処理端末は共有指示された仮想オブジェクトをその表示部に拡張現実表示することが可能となる。従って、データやファイルの「共有」に最適な、拡張現実表示をすることが可能となる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するコンピュータプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。

１００ ＨＭＤ（情報処理端末）
１０１ 頭部装着部
１０２ 撮像部
１０３ 投影部
１０４ 表示部
１３０ 表示制御部
１４０ 撮像制御部
１５０ ＣＰＵ
１６０ メモリ
１７０ 電源部
１８０ 通信部
１９０ 投影制御部
４０８２ 仮想オブジェクト
５０２１ テーブル
５０３１ 仮想オブジェクト
５０４１ 指標画像
５０５１ 仮想オブジェクト

Claims (9)

1. 第１の使用者の頭部または顔部に装着され、仮想物体を表示するための３次元形状データを送信する送信端末であって、
   指標画像元データに基づいて指標画像を現実物体の上に投影する投影手段と、
   前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第１の視点から見た画像が表示される第１の表示手段と、
   前記３次元形状データと前記指標画像元データとを送信する送信手段と、
   を有し、
   前記投影手段の位置姿勢、前記第１の視点の位置姿勢は、前記第１の使用者の頭部または顔部の位置姿勢の変化に逐次追随する
   ことを特徴とする送信端末。
2. 前記投影手段は、前記第１の使用者により前記３次元形状データを共有する旨の指示があったときに前記指標画像を投影することを特徴とする請求項１に記載の送信端末。
3. 更に、前記投影手段により投影される指標画像を撮像して第１の指標画像撮像データを得る第１の撮像手段を備えることを特徴とする請求項１または２に記載の送信端末。
4. 第２の使用者の頭部または顔部に装着され、仮想物体を表示するための３次元形状データを送信端末から受信する受信端末であって、
   前記３次元形状データと指標画像を投影するための指標画像元データとを受信する受信手段と、
   前記現実物体の上に投影された指標画像を撮像して第２の指標画像撮像データを得る第２の撮像手段と、
   前記現実物体が表示され、かつ前記現実物体の近傍に前記仮想物体を仮想空間内における第２の視点から見た画像が表示される第２の表示手段と、
   前記指標画像元データ、および前記第２の指標画像撮像データに基づいて、
   現実空間における、前記指標画像の位置姿勢、および前記第２の撮像手段の位置姿勢、の関係と、
   前記仮想空間における、前記仮想物体の位置姿勢、および前記第２の視点の位置姿勢、の関係とが
   略同じになるように前記第２の視点の位置姿勢を決定する計算手段と
   を有し、
   前記第２の撮像手段の位置姿勢および前記第２の視点の位置姿勢は、前記第２の使用者の頭部または顔部の位置姿勢の変化に逐次追随する
   ことを特徴とする受信端末。
5. 前記現実物体の上に投影された前記指標画像を、前記受信端末の前記第２の撮像手段によって撮像したときに、所定の確認信号を前記送信端末に発信する発信手段を
   さらに有することを特徴とする請求項４に記載の受信端末。
6. 前記指標画像が不可視の光線により投影され、
   前記送信端末の第１の撮像手段および前記受信端末の第２の撮像手段が、いずれも前記不可視の光線により投影された前記指標画像を撮像可能であることを特徴とする請求項４または５に記載の受信端末。
7. 請求項１〜３のいずれか１項に記載の送信端末と、請求項４〜６のいずれか１項に記載の受信端末と、を有することを特徴とする送受信システム。
8. コンピュータを、請求項１〜３のいずれか１項に記載の送信端末の各手段として機能させるための、コンピュータプログラム。
9. コンピュータを、請求項４〜６のいずれか１項に記載の受信端末の各手段として機能させるための、コンピュータプログラム。

Images