JP2017062720A - 情報処理装置、情報処理システム、その制御方法及びプログラム - Google Patents

Abstract

【課題】装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供すること【解決手段】現実画像に重畳する仮想オブジェクトを記憶し、複合現実画像を表示する複数の表示装置と通信可能な情報処理装置で、表示装置の現実空間上の位置姿勢を取得し、取得された位置の情報に基づいて、表示装置に表示する画像の所定の領域に他の表示装置の位置を示すオブジェクトを重畳した重畳画像を表示装置に表示させる制御をする【選択図】図１０

Description

情報処理装置、情報処理システム、その制御方法及びプログラムに関する。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。ＭＲ技術を用いて、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに対し、現実物体とＣＧモデルを配置したＭＲ空間（現実空間と仮想空間とを重ね合わせた複合現実空間）の疑似体験を提供できる。

特許文献１には、当該マーカの存在をユーザに意識させないために、マーカを検出した場合に、当該マーカを隠した画像を描画する技術が記載されている。

従来、ＭＲ空間を体感するために装着するＨＭＤによっては、装着によりユーザの視野が狭まってしまい、ユーザが周囲の状況を充分に把握できないという問題があった。例えば他のユーザが視野の外から近付いてきている場合、ふいにぶつかってしまうことが考えられる。

特開２０００−３５０８６０号公報 特開平１０−１５４２４３号公報

特許文献２においては、ＰＣ画面において、仮想空間上のアバターの位置をレーダーマップ上に表示する技術が開示されている。つまり、ユーザは自分のアバターと同じ仮想空間にいる他人の位置をレーダーマップ上で第三者的視点から確認可能である。

一方、ＭＲの仕組みの場合は、複数人が同じ仮想空間を共有しているが、現実空間上はそれぞれ別の場所にいる場合がある。現実世界において別の場所にいる他のユーザと近付いたとしてもぶつかる危険はない。反対に、同じ場所にいる他のユーザと近付いた場合はぶつかってしまう危険がある。

また、ＨＭＤは一般のＰＣディスプレイと比較して画像の表示部が小さいため、極力無駄な情報を表示したくないと考えられる。

本発明は、装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供することを目的とする。

本発明は、

本発明によれば、装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供することができる。

本発明の実施形態における、システム構成の一例を示す図である 本発明の実施形態における、各種装置のハードウエア構成の一例を示す図である 本発明の実施形態における、各種装置の機能構成の一例を示す図である 本発明の第１の実施形態における、ＨＭＤの位置姿勢情報の送受信の流れを示すフローチャートである 本発明の第１の実施形態における、ユーザ位置の識別表示処理の流れを示すフローチャートである 本発明の実施形態における、各種データの構成の一例を示す図である 本発明の実施形態における、仮想空間の共有のイメージ図である 本発明の実施形態における、ユーザを基準とした方向の説明図である 本発明の実施形態における、ユーザを基準とした方向の説明図である 本発明の実施形態における、ユーザ位置の識別表示の画面構成の一例を示す図である 本発明の実施形態における、ユーザ位置の識別表示の画面構成の一例を示す図である 本発明の実施形態における、ユーザ位置の識別表示の画面構成の一例を示す図である 本発明の第２の実施形態における、距離判定処理の概要を示すフローチャートである 本発明の第３の実施形態における、アバターの識別表示の概要を示すフローチャートである 本発明の実施形態における、アイコン表示領域とアイコンの配置位置についての説明図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態における、システム構成の一例を示す図である。

本発明のシステムは、サーバ２００とクライアントＰＣ１００、ヘッドマウントディスプレイ１０１（以下、ＨＭＤ１０１）で構成される。図１において、各種装置とＨＭＤ１０１はネットワーク１５０、１５１、１５２で接続されているものとしているが、サーバ２００、クライアントＰＣ１００とＨＭＤ１０１とが互いに通信が行えれば良いので、有線、無線は問わない。

図１に示すように、本発明における各種装置はネットワークを介して通信可能に接続されている。例えばサーバ２００、クライアントＰＣ１００（クライアントＰＣ１００Ａ〜１０１Ｆの総称）と接続されている。また、クライアントＰＣ１００には、各クライアントＰＣ１００が管理するＨＭＤ１０１（ＨＭＤ１０１Ａ〜ＨＭＤ１０１Ｆの総称）が通信可能に接続されている。

サーバ２００には、ＨＭＤ１０１により撮像される現実画像に重畳する３次元モデルが記憶されている。３次元モデルはサーバ２００に接続された各クライアントＰＣ１００に配信され、クライアントＰＣ１００の外部メモリに記憶される。

クライアントＰＣ１００は自機の管理するＨＭＤ１０１より現実画像を取得して、当該現実画像に３次元モデルを重畳したＭＲ画像（現実画像と仮想空間の画像とを重畳した複合現実画像）を生成し、ＨＭＤ１０１のディスプレイに表示させるべく、当該ＭＲ画像をＨＭＤ１０１に送信する。ＨＭＤ１０１は受信したＭＲ画像をディスプレイに表示する。

また、図示の環境では、拠点１と拠点２との２つの拠点があり、それぞれの拠点でＨＭＤ１０１を装着したユーザ（体験者）が仮想空間を共有し、そこに配置される仮想オブジェクト（３Ｄモデル／ＣＧ）を共有しているものとする。ここでいう拠点とは、現実世界において別の場所にある現実空間のことをいう。例えば東京支店の部屋と大阪支店の部屋をそれぞれ拠点１、拠点２とする。

本発明においては、例えばＨＭＤ１０１に表示する画像において、当該ＨＭＤ１０１と他の拠点のＨＭＤ１０１、自拠点のＨＭＤ１０１の存在を識別して通知する制御を行う。以上が図１の説明である。

なお、それぞれの拠点の室内には複数のマーカが貼り付けられているものとする。当該マーカを用いてＨＭＤ１０１の位置姿勢を特定し、また、仮想オブジェクトを配置する位置姿勢を決定することができる。

マーカの形状は問わないが、実施形態では正方形であり、全て同じサイズであるものとする。各マーカにはユニークなマーカ番号が埋め込まれているものとする。そして、ＨＭＤ１０１に設けられたカメラで撮像した際に、個々のマーカが識別でき、デコードした際に、そのマーカ番号が得られるものとする。マーカの種類（マーカが果たす役割の種類）は、ＨＭＤ１０１の位置姿勢を決定するための位置検出用マーカ、並びに、そのマーカで規定される箇所に仮想オブジェクトを描画するものとして利用される仮想オブジェクト配置用マーカの２種類がある。そして、位置検出用マーカについては、ＨＭＤ１０１の位置姿勢がどのような状態であっても、内蔵するカメラの視野内に最低でも３つが含まれるように、予め既知の位置に貼り付けられているものとする。

上記の構成におけるＨＭＤ１０１の位置姿勢を検出する原理は、撮像した画像中の３つの位置検出用マーカ（その位置は既知）それぞれのサイズから、ＨＭＤ１０１からそれぞれまでの位置検出用マーカまでの距離を求める。そして、逆に、３つの位置検出用マーカから求めた３つの距離が重なる位置を、ＨＭＤ１０１の位置として決定する。また、ＨＭＤ１０１の姿勢は、撮像した画像中の３つの位置検出用マーカの配置から求めればよい。

なお、マーカの法線方向に視点があるとき、そのマーカ画像が正方形に見えることになる。そして、視点が法線方向からずれると、そのずれの度合いに応じて正方形が歪んで見える。つまり、この歪みから、視点の軸に対するマーカで規定される平面の向きが判明し、マーカのサイズから視点とマーカ間の距離を検出でき、マーカが貼り付けられた平面が規定できる。また、実施形態では、マーカには、互いに識別できる２つの印が設けられ、マーカの中心位置を原点とし、マーカで規定される上記の平面上の、原点からその印に向かう２つのベクトルを２軸、マーカの中心位置から法線方向の１軸で、局所的（ローカル）な３次元座標を規定する３軸を規定しているものとする。

仮想オブジェクト配置用マーカとは、仮想オブジェクトを表示する位置を特定するために用いられるマーカである。サーバ２００及びクライアントＰＣ１００のＣＰＵ２０１は、当該仮想オブジェクト配置用マーカが検出された際、当該仮想オブジェクト配置用マーカが存在する位置（正確には後述するように当該仮想オブジェクト配置用マーカの重心位置からオフセットを持つ位置）に仮想オブジェクトを表示するための処理を行う。例えば、３次元モデルを当該オフセットの示す仮想空間上の位置に配置する処理を行う。

仮想オブジェクトとは、仮想空間上に配置された３次元モデル（３次元ＣＡＤデータ、３Ｄモデル、ＣＧ等とも呼ぶ）のことである。尚、３次元モデルのデータはサーバ２００及びクライアントＰＣ１００の外部メモリ上に、当該３次元モデルを仮想空間上のいずれの位置にどのような姿勢で配置するかを示す位置姿勢の情報と対応付けられて記憶されている。

仮想オブジェクト配置用マーカの中心位置の座標を｛Ｘｖ，Ｙｖ，Ｚｖ｝とし、３次元モデルのデータ中の基準座標を｛Ｘｉ，Ｙｉ，Ｚｉ｝（ここで、ｉ＝０，１，２，・・・）と定義したとき、距離Ｌは次式で得られる。
Ｌ＝｛（Ｘｖ−Ｘｉ）２＋（Ｙｖ−Ｙｉ）２＋（Ｚｖ−Ｚｉ）２｝１／２

ここで、ｉを変化させた際の最小の距離Ｌを、仮想オブジェクト配置用マーカと仮想オブジェクト配置用マーカの位置に応じて配置する３次元モデルとの距離とした。なお、上記では距離を計算する際に、最終的に平方根を求めたが、大小の判定で良いのであれば、平行根を求める必要な無く、座標の差分の二乗和を算出しても構わない。

なお、上記式では、仮想オブジェクト配置用マーカの中心位置＝仮想オブジェクトの中心位置とした場合である。先に説明したように、仮想オブジェクトの配置される位置は、仮想オブジェクト配置用マーカの中心位置に対し、「位置」で示されるオフセットが与えられる。

なお、マーカに埋め込めるビット数にもよるが、位置検出用マーカと仮想オブジェクト配置用マーカを兼ねるマーカを定義しても構わない。

尚、上記実施形態は、本発明に係る例であると認識されたい。たとえば、ＨＭＤ１０１の位置姿勢を検出するため、上記実施形態では位置検出用マーカが撮像した視野内に３つは存在するものとして、位置検出用マーカを部屋中に多数張り付けるものとしたが、これによって本発明が限定されるものではない。位置検出用マーカには向きを規定する印があり、位置検出用マーカの座標だけでなく、形状や寸法も既知であれば、撮像した画像の位置検出の歪み、サイズ、印の位置から、１つの位置検出用マーカからだけでもＨＭＤ１０１の位置姿勢を特定できる。また、位置検出用マーカを用いるのではなく、ＨＭＤそのものの位置姿勢を、光学式センサ、磁気センサ、超音波センサなどを利用して検出する公知技術を利用しても構わない。つまり、ＨＭＤの位置姿勢検出に係る手段は問わない。

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成について説明する。

本発明においては、クライアントＰＣ１００とサーバ２００のハードウェア構成は同一であるものとする。また、ＨＭＤ１０１と直接接続されるのはクライアントＰＣ１００であり、サーバ２００はクライアントＰＣ１００と接続されているものとする。
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

本発明のクライアントＰＣ１００、サーバ２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学式センサ１０４との通信も制御する。

汎用バス２０９は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。

ＨＭＤ位置特定部３０１は、クライアントＰＣ１００に接続されたＨＭＤ１０１の位置姿勢を特定する。具体的には、ＨＭＤ１０１が撮像した現実画像上のマーカを認識し上述した方法を用いることでＨＭＤ１０１の位置姿勢を特定する。

位置情報記憶部３０２は、ＨＭＤ位置特定部３０１はで特定された位置姿勢の情報を外部メモリに記憶する記憶部である。位置情報送信部３０３は、ＨＭＤ位置特定部３０１で特定されたＨＭＤ１０１の位置情報（Ｘ，Ｙ，Ｚ座標）をサーバ２００に送信する処理部である。位置情報送信部は、位置情報と合わせて、当該位置情報の示す位置にあるＨＭＤ１０１の識別情報をサーバ２００に送信する。

サーバ２００は、クライアントＰＣ１００の位置情報送信部３０３で送信された位置情報を位置情報受信部３１３で受信して、同じく受信したＨＭＤ１０１の識別情報と対応付けて位置情報記憶部３１１に記憶する。位置情報送信部３１２は、当該位置情報記憶部３１１に記憶したＨＭＤ１０１の位置情報・ＨＭＤ１０１の識別情報・ＨＭＤ１０１が属する拠点情報を、当該ＨＭＤ１０１に対応するクライアントＰＣ１００以外のクライアントＰＣ１００（つまり、他のＨＭＤ１０１に対応するクライアントＰＣ１００）に対して送信する。

クライアントＰＣ１００の位置情報受信部３０４は、当該他のクライアントＰＣ１００のＨＭＤ１０１の位置情報・識別情報・拠点情報を受信する受信部である。

アイコン決定部３０５は、位置情報受信部３０４で受信した位置のＨＭＤ１０１が、自装置のＨＭＤ１０１と同じ拠点のＨＭＤか、他の拠点のＨＭＤか同じ拠点の他のＨＭＤかに応じて、当該ＨＭＤの位置を示すアイコン（オブジェクト）の種類を決定する決定部である。ここでいうアイコンとは、ＨＭＤ１０１の視界外に他のＨＭＤ（体験者）がいる場合に、当該他のＨＭＤの位置をユーザに通知するための、当該他のＨＭＤのＸ，Ｙ，Ｚ座標に対応する表示画面上の位置に表示するアイコンである。

アイコン表示制御部３０６は、位置情報受信部３０４で受信した位置に応じて、アイコン決定部３０５で決定した種類のアイコンを。表示画面の所定の領域（アイコン表示用の領域であるアイコン表示領域）に表示する制御を行う。

仮想オブジェクト受信部３０７は、サーバ２００の仮想ブジェクト記憶部３１４に記憶されている仮想オブジェクトであって、仮想オブジェクト送信部３１５から送信された仮想オブジェクトを受信する受信部である。

仮想オブジェク記憶部３０８は、仮想オブジェクト受信部３０７で受信した仮想オブジェクトを記憶し、仮想オブジェクト表示制御部３０９は、仮想オブジェクトに対応する仮想オブジェクトの位置姿勢の情報に従って、ＨＭＤ１０１から取得した現実画像上に、当該仮想オブジェクトを重畳したＭＲ画像をＨＭＤ１０１に表示するよう制御する（例えば、当該ＭＲ画像を生成してＨＭＤ１０１に送信する）。以上が図３の説明である。

＜第１の実施形態＞

次に図４を参照して、本発明の実施形態における、ＨＭＤの位置姿勢情報の送受信の流れを示すフローチャートである

ステップＳ４０１では、クライアントＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１から取得した画像をクライアントＰＣ１００の汎用バス２０９経由で受信し、ＲＡＭ２０３に保持する。

ステップＳ４０２では、クライアントＰＣ１００のＲＡＭ２０３に取得した現実空間画像から二次元マーカ画像を取り出し（検出し）、ＨＭＤ１０１の位置・姿勢を特定しＲＡＭ２０３に保存する（位置姿勢取得手段に該当）。ここでは、ＨＭＤ１０１の識別情報（図６で後述するＨＭＤ ＩＤ）と、ＨＭＤ１０１の位置・姿勢の情報（図６で後述する６０３及び６０４のＸ，Ｙ，Ｚの値）を対応付けてＲＡＭ上に記憶するものとする。

ステップＳ４０３では、クライアントＰＣ１００のＣＰＵ２０１は、ステップＳ４０２で特定した位置・姿勢情報、当該位置・姿勢にあるＨＭＤ１０１（当該クライアントＰＣ１００に対応するＨＭＤ）の識別情報及び、拠点情報をサーバ２００に通信により送信する。拠点情報とは、当該クライアントＰＣ１００の拠点の情報を示す識別情報であって、クライアントＰＣ１００に対応するＨＭＤ１０１の存在する現実空間の識別情報である（図６の６０２で後述）。

ステップＳ４０４では、サーバ２００のＣＰＵ２０１は、クライアントＰＣ１００から位置・姿勢情報、ＨＭＤ１０１の識別情報、及び拠点情報を通信により受信する。ステップＳ４０５では、サーバ２００のＣＰＵ２０１は、ステップＳ４０４で受信したＨＭＤの識別情報、拠点情報、位置・姿勢情報を外部メモリに保存する。保存する形式は例えば図６のＨＭＤ情報６００に示す。以上が図４の説明である。

ここで図６を参照して、本発明の実施形態における各種データの構成の一例について説明する。

ＨＭＤ情報６００は、クライアントＰＣ１００及びサーバ２００の外部メモリに記憶される。ＨＭＤ情報６００は、ＨＭＤ１０１を一意に示す識別情報であるＨＭＤＩＤ６０１、ＨＭＤ１０１の所属する拠点を一意に示す識別情報である拠点ＩＤ６０２（所属情報）、ＨＭＤの位置情報である位置６０３、ＨＭＤの姿勢情報である姿勢６０４を含む情報である（所属情報記憶手段に該当）。クライアントＰＣ１００は、自装置と対応するＨＭＤ１０１のＨＭＤＩＤ６０１及びその位置６０３・姿勢６０４と、当該ＨＭＤの所属する拠点の拠点ＩＤ６０２を対応付けて外部メモリに記憶しているものとする。サーバ２００は、サーバ２００と接続される各クライアントＰＣ１００（例：図１のクライアントＰＣ１００Ａ〜１００Ｆ）に対応する各ＨＭＤ１０１のＨＭＤＩＤ６０１及びその位置６０３・姿勢６０４と、各ＨＭＤの所属する拠点の拠点ＩＤ６０２を各クライアントＰＣ１００から受信して、それぞれＨＭＤ ＩＤ６０１と対応付けてサーバ２００の外部メモリに記憶しているものとする。

クライアントＰＣ１００は自装置以外のクライアントＰＣ１００に対応するＨＭＤ情報を、サーバ２００から受信することで、外部メモリに記憶するものとする。

モデル情報６１０は、クライアントＰＣ１００及びサーバ２００の外部メモリに記憶される。モデル情報６１０は、ＭＲ空間に配置する（現実空間に重ね合わせる仮想空間に配置する）３次元モデル（仮想オブジェクト）の識別情報であるモデルＩＤ６１１、モデルの実体データのファイル名であるモデル名６１２、３次元モデルを配置する位置姿勢を示す位置６１３、姿勢６１４、及び３次元モデルの保存場所を示す保存場所６１５を対応付けて記憶した情報である。

アイコン情報６２０は、クライアントＰＣ１００及びサーバ２００の外部メモリに記憶される。アイコン情報６２０は、アイコンの識別情報であるアイコンＩＤ６２１と、アイコンの実体データのファイル名であるアイコン６２２を対応付けた情報である。本実施形態においては、例えば、当該アイコンを表示するＨＭＤ１０１と同じ拠点に所属する他のＨＭＤ１０１の位置を示す場合にはアイコンＩＤ＝Ｉｃ１１１を用い、当該アイコンを表示するＨＭＤ１０１とは別の拠点に所属する他のＨＭＤ１０１の位置を示す場合にはアイコンＩＤ＝Ｉｃ２２２を用いてそれぞれのＨＭＤ１０１の位置と当該アイコンを表示するＨＭＤ１０１との位置関係をユーザに通知するものとする。以上が図６の説明である。

次に図５を参照して、本発明の第１の実施形態における、ユーザ位置の識別表示処理の流れについて説明する。

ステップＳ５０１では、サーバ２００のＣＰＵ２０１はクライアントＰＣ１００との接続を確立すると、図６のモデル情報６１０と、モデル名６１２（ファイル名）の示す３次元モデルデータをクライアントＰＣ１００に送信する。ステップＳ５０２では、クライアントＰＣ１００のＣＰＵ２０１はサーバ２００から３次元モデルデータ、モデル情報６１０を受信し、外部メモリの所定の保存場所に保存する。そして、モデル情報６１０の保存場所６１５に、当該３次元モデルデータを保存した場所（アドレス）を挿入して記憶する。

ステップＳ５０３では、クライアントＰＣ１００のＣＰＵ２０１は、自装置に対応するＨＭＤ１０１の右目・左目ビデオカメラ２２１から取得した現実画像に対して、外部メモリに保存した３次元モデルデータが視界に入る場合は当該３次元モデルデータを重畳したＭＲ画像を生成する。

ステップＳ５０４では、サーバ２００のＣＰＵ２０１はクライアントＰＣ１００に対して、全てのクライアントＰＣ１００の拠点ＩＤ（クライアントＰＣ１００に対応するＨＭＤ１０１の所属する拠点のＩＤ）、ＨＭＤ ＩＤ、ＨＭＤの位置・姿勢の情報をクライアントＰＣ１００に送信する。ステップＳ５０５では、クライアントＰＣ１００のＣＰＵ２０１はサーバ２００から全てのクライアントＰＣ１００に対応する各ＨＭＤ１０１のＨＭＤ ＩＤ、ＨＭＤの位置・姿勢の情報の位置・姿勢情報及び拠点情報を受信し、外部メモリに保存する（位置姿勢取得手段に該当）。

そしてステップＳ５０６〜Ｓ５１２、又はＳ５０６・Ｓ５０７・Ｓ５１４〜Ｓ５１７の処理を、保存した全ての（自装置に対応するＨＭＤ以外の）ＨＭＤ１０１に対して実行する。

ステップＳ５０６では、クライアントＰＣ１００のＣＰＵ２０１は、外部メモリに保存した他のＨＭＤ１０１のＨＭＤ情報６００を１つ取得する。そして、ステップＳ５０７で、 当該取得した他のＨＭＤ１０１の位置６０３が、自装置に対応するＨＭＤ１０１（ここでは、例えばＨＭＤ１０１Ａ）の視界（＝視野、画角）に入っているか判定する。視界に入っている場合は処理をステップＳ５１４に、入らない場合は処理をステップＳ５０８に移行する。画角の情報は図６の６３０に示す通りである。本実施形態においては、ＨＭＤ１０１の左目ビデオカメラの画角及び右目ビデオカメラの画角と、両カメラを合わせて撮像できる画角とは同じであるものとする。左目ビデオカメラの画角、右目ビデオカメラの画角、両カメラを合わせて撮像できる画角との関係は図８の８００に示す。図８の８００における基準点がＨＭＤ１０１の位置である。

ステップＳ５０８では、ステップＳ５０６で取得した他のＨＭＤ１０１の拠点ＩＤ６０２と、自装置に対応するＨＭＤ１０１Ａの拠点ＩＤ６０２を外部メモリから取得する。そして、ステップＳ５０９では、取得した他のＨＭＤ１０１の拠点ＩＤと自拠点の拠点ＩＤが同一であるか（同一拠点か）判定する。別拠点の場合（拠点ＩＤが異なる場合）は処理をステップＳ５１０に、同一拠点の場合は処理をステップＳ５１１に移行する。

ステップＳ５１０では、クライアントＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から別拠点用アイコン画像（図６でいうＩｃ２２２．ｊｐｇ）を取得する。

ステップＳ５１１では、クライアントＰＣ１００のＣＰＵ２０１は、外部メモリ２１１から同一拠点用アイコン画像（図６でいうＩｃ１１１．ｊｐｇ）を取得する。

ステップＳ５１２では、クライアントＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１から取得した現実画像に、ステップＳ５０６で取得した他のＨＭＤ１０１の位置・姿勢情報に基づいて、当該ＨＭＤ１０１の拠点ＩＤに応じてステップＳ５１０又はステップＳ５１１で取得したアイコンを重畳した画像を生成する。そして、全ての、他のＨＭＤ１０１についてステップＳ５０６〜Ｓ５１２、又はＳ５０６・Ｓ５０７・Ｓ５１４〜Ｓ５１７の処理が完了している場合には、ステップＳ５１２及び／又はステップＳ５１８で生成した重畳画像を、ＨＭＤ１０１の右目・左目ディスプレイ２２２に表示すべくＨＭＤ１０１に出力する（ステップＳ５１９）。全ての、他のＨＭＤ１０１についてステップＳ５０６〜Ｓ５１２、又はＳ５０６・Ｓ５０７・Ｓ５１４〜Ｓ５１７の処理が完了していない場合は処理をステップＳ５０８に戻し、他のＨＭＤ１０１のうち未取得のＨＭＤ１０１を取得する。

ここで図７〜図１０を用いて、アイコンの配置及びＨＭＤにとっての前方や後方等の方向について説明する。

ユーザＡ（ＨＭＤ１０１Ａの装着者）と他のユーザ（他のＨＭＤ１０１）との位置関係を図７、図８の８１０に示す。視界＝前方（前方向）である。ユーザＡにとって、ユーザＥは視野内（前方（前方向））にいえるユーザである。ユーザＢは視野外の左方（左方向）にいるユーザである。ユーザＣは視野外の後方（後方向）にいるユーザである。ユーザＤは視野外の右方（右方向）にいるユーザである。尚、複合機は３次元モデル（仮想オブジェクト）であり、図６の６１０及び引用文献に記載されている技術を用いて仮想空間上に配置、現実画像上に重畳されるものとする。

本実施形態の説明においては、図７の７００、７１０に示す通り、ユーザＡと同じ拠点１（東京支店にある現実の部屋）にはユーザＢとユーザＥ（ＨＭＤ１０１Ｂを装着したユーザＢと、ＨＭＤ１０１Ｅを装着したユーザＥ）が存在し、ユーザＡと異なる拠点２（大阪支店にある現実の部屋）にはユーザＣとユーザＤ（ＨＭＤ１０１Ｃを装着したユーザＣと、ＨＭＤ１０１Ｄを装着したユーザＤ）が存在しているものとする。そして、仮想空間を共有して、各ユーザの位置にアバター（各ユーザの位置姿勢を示す３次元モデル）を表示することで、図７の７２０のように別拠点のユーザがあたかも同じ空間に存在するように見せる。

クライアントＰＣ１００のＣＰＵ２０１は、例えばＨＭＤ１０１のカメラで撮像した現実画像１０００（図１０）に対して、図１０の１０１０のように、他のＨＭＤ１０１の位置、及び他のＨＭＤ１０１の拠点に応じたアイコンを配置（重畳）した画面（画像）を生成する。アイコンの配置位置の決定は、例えば公知の技術（例：特開平８−２２９２３８号公報）に記載の技術を用いて行うものとする。尚、当該アイコンの配置・表示は、現実画像上の（ＭＲ画像上の）所定の領域１０１１内において行う。

つまり、ＨＭＤ１０１Ａから見た他のＨＭＤ１０１の位置を特定し、当該位置に応じた前記所定領域１０１１上の位置を決定し、当該決定した画像上の位置に当該他のＨＭＤ１０１の拠点に応じたアイコンを配置する。

図５の説明に戻る。ステップＳ５０７において、他のＨＭＤ１０１の位置６０３が自装置に対応するＨＭＤ１０１の視界（＝視野、画角）に入っていると判定された場合、ステップＳ５１４で、外部メモリに保持している他のＨＭＤ１０１の拠点ＩＤ６０２を取得する。

そしてステップＳ５１５で、他のＨＭＤ１０１の拠点ＩＤと自拠点が同一拠点であるか判定する。別拠点の場合は処理をステップＳ５１６に、同一拠点の場合は処理をステップＳ５１８の前に移行する。

ステップＳ５１６では、クライアントＰＣ１００のＣＰＵ２０１は、外部メモリ２１１からアバター画像（３次元モデル）を取得する。そして、ステップＳ５１７で、ＨＭＤ１０１の右目・左目ビデオカメラ２２１から取得した現実画像に、ステップＳ５０６で取得した他のＨＭＤ１０１の位置・姿勢情報に基づいて、当該他のＨＭＤ１０１の位置・姿勢のアバター画像を重畳したＭＲ画像を生成する。そして、全ての他のＨＭＤ１０１に対するステップＳ５０６〜Ｓ５１２、又はＳ５０６・Ｓ５０７・Ｓ５１４〜Ｓ５１７の処理が完了している場合には、ステップＳ５１２及び／又はステップＳ５１８で生成した重畳画像を、ＨＭＤ１０１の右目・左目ディスプレイ２２２に表示すべくＨＭＤ１０１に出力する（ステップＳ５１９）。全ての、他のＨＭＤ１０１についてステップＳ５０６〜Ｓ５１２、又はＳ５０６・Ｓ５０７・Ｓ５１４〜Ｓ５１７の処理が完了していない場合は処理をステップＳ５０８に戻し、他のＨＭＤ１０１のうち未取得のＨＭＤ１０１を取得する。

尚、アバター画像（３次元モデル／仮想オブジェクト）はサーバ２００の所定の保存場所に記憶されており、ステップＳ５０１でクライアントＰＣ１００に配布され、クライアントＰＣ１００が自身の外部メモリに記憶する。また、アバター画像の仮想空間上の位置姿勢はＨＭＤ１０１の現実空間上の位置姿勢に応じて、クライアントＰＣ１００が変更する。具体的には、図６のアバター情報６４０をクライアントＰＣ１００が外部メモリ上に生成する。アバター情報６４０は、アバターのＩＤ６４１、アバター画像のファイル名であるアバター名６４２、アバター画像の保存場所６４５に対応付けて、当該アバターに対応するＨＭＤ１０１の位置６４３、姿勢６４４の情報を随時書きこみ、更新するテーブルである。クライアントＰＣ１００のＣＰＵ２０１は、サーバ２００から他のＨＭＤ１０１の位置姿勢の情報を継続して受信し、当該受信した各ＨＭＤ１０１の位置姿勢の情報を各ＨＭＤ１０１に対応するアバター情報６４０の位置６４３、姿勢６４４に上書きする。アバター画像は当該位置６４３、姿勢６４４に基づいて仮想空間上に配置する。以上が図５の説明である。

以上説明したように、本発明によれば、装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供することができる。

例えば、同じ拠点のユーザと別拠点のユーザとを識別可能に表示することができる。

＜第２の実施形態＞

第２の実施形態について説明する。本発明の第２の実施形態においては、ＨＭＤ１０１と所定距離内の他のＨＭＤについてアイコン表示をする。これは、自ＨＭＤから所定距離内にいる他のＨＭＤのユーザとはぶつかってしまう可能性が高いために、実際に当該他のＨＭＤのユーザとぶつかってしまうか否かをＨＭＤを装着中のユーザに認識させる必要があるが、自ＨＭＤから所定距離離れている他のＨＭＤのユーザとはぶつかってしまう可能性が低いためである。

以下、図１３を参照して、本発明の第２の実施形態における、距離判定処理の詳細について説明する。第２の実施形態については、第１の実施形態と異なる処理／追加される処理について説明し、第１の実施形態と共通する処理については説明を省略する。

各種装置のＣＰＵ２０１は、第１の実施形態で説明したように図４の処理、及び図５のステップＳ５０７までの処理を実行する。

クライアントＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０７で、他のＨＭＤ１０１の位置が視界に入らないと判定された場合に、処理をステップＳ１３０１に移行する。ステップＳ１３０１で、クライアントＰＣ１００のＣＰＵ２０１は、当該視界の外にあると判定された他のＨＭＤ１０１の位置情報と、自装置に対応するＨＭＤ１０１Ａの位置情報を参照して、当該２つの位置情報が示すそれぞれの位置間の距離を測定し、ＨＭＤ１０１Ａから所定距離内に当該他のＨＭＤ１０１があるか判定する。当該所定距離の値は事前にクライアントＰＣ１００及びサーバ２００に記憶されているものとする。

所定距離内にあると判定された場合は処理をステップＳ５０８に移行し、所定距離内にないと判定された場合は処理をステップＳ５１８に移行する。

つまり、ＨＭＤ１０１Ａから所定距離内にある他のＨＭＤ１０１のアイコンのみ、図１０の１０１０に示すように画面上に配置する処理を行う。以上が図１３の説明である。

第２の実施形態によれば、装着型の表示装置において、ぶつかってしまう可能性が高い他のユーザの位置を適切に表示する仕組みを提供することができる。

＜第３の実施形態＞

第３の実施形態について説明する。本発明の第３の実施形態においては、ＨＭＤ１０１の拠点に応じたアバター画像を表示する。

例えば、ユーザの周囲にアバターの画像を重畳して、ユーザがアバターになりきるシチュエーションが考えられる。ユーザを包むようアバターを配置・表示する場合、当該アバターの中に現実にユーザがいなければぶつかってしまう心配はないが、当該アバターの中に現実にユーザがいる場合は体同士がぶつかってしまう可能性がある。

よって、第３の実施形態においては、ＨＭＤ１０１の拠点に応じてアバター画像を切り換えて表示する。

以下、図１４を参照して、本発明の第３の実施形態における、拠点に応じたアバターの識別表示処理の詳細について説明する。第３の実施形態については、第１・第２の実施形態と異なる処理／追加される処理について説明し、第１・第２の実施形態と共通する処理については説明を省略する。

各種装置のＣＰＵ２０１は、第１の実施形態で説明したように図４の処理、及び図５のステップＳ５１５までの処理を実行する。

クライアントＰＣ１００のＣＰＵ２０１は、図５のステップＳ５１５で、他のＨＭＤ１０１の拠点ＩＤと自拠点が同一拠点である（視界内のユーザは同じ拠点のユーザである）と判定された場合に、自拠点用のアバター画像を取得し（ステップＳ１４０１）、当該他のＨＭＤ１０１の位置・姿勢に応じた仮想空間の位置に当該自拠点用のアバター画像を配置して、現実画像に重畳したＭＲ画像を生成する（ステップＳ１４０３）。

一方、他のＨＭＤ１０１の拠点ＩＤと自拠点が別拠点である（視界内のユーザは別の拠点のユーザである）と判定された場合に、他拠点用のアバター画像を取得し（ステップＳ１４０２）、当該他のＨＭＤ１０１の位置・姿勢に応じた仮想空間の位置に当該他拠点用のアバター画像を配置して、現実画像に重畳したＭＲ画像を生成する（ステップＳ１４０３）。そして処理をステップＳ５１８に移行する。以上が図１４の説明である。

第３の実施形態によれば、装着型の表示装置において、視界内のユーザの位置及び当該ユーザがいずれの拠点のユーザかを適切に表示することができる。

以上説明したように、本発明によれば、装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供することができる。

尚、上述した第１の実施形態、第２の実施形態、第３の実施形態は自由に組み合わせることが可能である。

また、上述した実施形態においては、特開平８−２２９２３８号公報に記載の技術を用いてアイコンの配置位置を決めるものとしたが、例えば図１５に示すような方法を用いてもよい。

具体的には、クライアントＰＣ１００におＣＰＵ２０１が、図１５の１５００に示すように、全てのＨＭＤ１０１の位置を内包する立方体１５０１を、自装置に対応するＨＭＤ１０１（例えばＨＭＤ１０１Ａ）を中心に配置する。そして、ＨＭＤ１０１Ａから他のＨＭＤ１０１の位置へ向けた直線を特定して、前記立方体の面と当該直線が交差する位置の座標を特定する（例：図１５の１５１１のＹ座標とＺ座標）。そして、当該面を図１５の１５２０に示すようにそれぞれに対応するアイコンの表示領域に割り当て、表示領域の大きさ・形に合わせて、当該面を変形する。その後、点１５１１のＺ座標を、当該表示領域のＺ軸方向の中間点に設定して（図１５の１５２０に示す）、当該Ｙ座標及び設定したＺ座標をアイコンの表示位置に決定する。

どの方向の面をどのアイコン表示領域に割り当てるかは予め決められているものとする。ＨＭＤと各方向の面との関係は図９の９００〜９０６に示す。９００は画角（視野（前方））を示す。９０１は前方、９０２は後方、９０３は左方、９０４は右方、９０５は上方、９０６は下方を示す。

また、上述した実施形態においては、ステップＳ５１２で図１０の１０１０のような画像を生成するものとしたが、例えば同ステップで、図１１、図１２に示すような画像を生成するようにしてもよい。

図１１の１１００によれば、前後上下左右の方向をより細分化したアイコン表示領域を画像の表示領域の外側に設け、当該アイコン表示領域にアイコンを配置して表示する。（ステップＳ５１２でアイコン表示領域を画像の表示領域の外側に設けた画像を生成する）

図１１の１１１０によれば、例えば他のユーザがいると判定された方向のアイコン表示領域を含み、他のユーザがいない方向のアイコン表示領域は含まない画像１１１０を生成してＨＭＤ１０１に表示する（ステップＳ５１２で、アイコンを表示しないアイコン表示領域を見せない画像を生成する）。

図１２の１２００によれば、前後上下左右の方向をより細分化したアイコン表示領域を画像の表示領域の内側に設け、当該アイコン表示領域にアイコンを配置して表示する。（ステップＳ５１２でアイコン表示領域を画像の表示領域の内側に設けた画像を生成する）

図１２の１２１０によれば、各アイコンに各アイコンの示すＨＭＤ１０１の拠点の識別情報をクライアントＰＣ１００が付帯して配置いている。また、アイコンそのものに、当該アイコンが示すＨＭＤ１０１を装着中のユーザ名を埋め込んでいる。どのＨＭＤにどのユーザが対応するか（装着するか）は予めクライアントＰＣ１００、サーバ２００に記憶されているものとする。

図１１の１１００、１１１０、図１２の１２００の表示をするためには、例えば、クライアントＰＣ１００のＣＰＵ２０１が、自装置のＨＭＤ（例：ＨＭＤ１０１Ａ）を中心とした大きさの異なる立方体を２つ生成し（例えば図１１の１１２０の領域Ａと領域Ｂ）、ＨＭＤ１０１Ａの位置（基準点）に配置する。より狭い領域を示す立方体Ａの面を、１１２０に示すように細分化する。そして、図１１の１１３０に示すように、より大きい立方体が示す領域Ｂに他のＨＭＤ（例：ＨＭＤ１０１Ｄ）が存在する場合には、ＨＭＤ１０１Ａから当該ＨＭＤ１０１Ｄの位置に向けた直線を特定し、当該直線と領域Ａを示す立方体の面との交点である点１１３１の座標（Ｙ，Ｚ座標）、及び当該交点の属する面上の領域（例：右上前方）を特定する。その後、当該面を当該面に対応するアイコン表示領域の形に合わせて変形し、当該変形した面上（アイコン表示領域上）の点１１３１を、ＨＭＤ１０１Ｄに対応するアイコンの表示位置として決定する。面に対応するアイコン表示領域の対応関係は、例えば、図１１の１１００と１１２０に記載の通りであり、当該対応関係の情報は予めクライアントＰＣ１００、サーバ２００の外部メモリに記憶されているものとする。

また、より小さい立方体が示す領域Ａに他のＨＭＤ（例：ＨＭＤ１０１Ｃ）が存在する場合には、当該ＨＭＤ１０１ＣのＺ軸方向の座標の値がＨＭＤ１０１Ａより大きいか小さいか（つまり、ＨＭＤ１０１ＣがＨＭＤ１０１Ａより高い位置にあるか低い位置にあるか）判定する。以降、図１１の１１３０を参照して、ＨＭＤ１０１ＣがＨＭＤ１０１Ａより低い位置にある例について説明する。ＨＭＤ１０１ＣがＨＭＤ１０１Ａより低い位置にある場合、クライアントＰＣ１００のＣＰＵ２０１は、当該ＨＭＤ１０１Ｃの位置から下方垂直に伸ばした直線と立方体Ｂの面との交点である点１１３２のＸ，Ｙ座標を特定して、当該点１１３２の属する面上の領域（例：後方左下）を特定する。その後、当該面を当該面に対応するアイコン表示領域の形に合わせて変形し、当該変形した面上（アイコン表示領域上）の点１１３２を、ＨＭＤ１０１Ｄに対応するアイコンの表示位置として決定する。以上の処理により、図１１の１１００、１１１０、図１２の１２００に示すアイコンの表示位置の決定・アイコンの表示が可能となる。

また、本発明の実施形態においては、図６に示す拠点ＩＤ６０２をクライアントＰＣ１００で記憶しているものとしたが、例えば当該拠点ＩＤ６０２と各クライアントＰＣ１００の識別情報又はＨＭＤ ＩＤ６０１との対応関係の情報をサーバ２００で記憶・管理することで、クライアントＰＣ１００は自装置の識別情報又は自装置に対応するＨＭＤ ＩＤ６０１をＨＭＤの位置姿勢の情報と合わせて送信するだけで、サーバ２００側で当該ＨＭＤの属する拠点を特定するようにしてもよい。また、当該特定したＨＭＤ１０１の拠点の情報に基づいて、例えばＨＭＤ１０１Ａに対応するクライアントＰＣ１００に対して、各ＨＭＤの位置姿勢の情報と合わせて、ＨＭＤ１０１Ｂのアイコンは自拠点用のアイコンを用いて表示するよう指示し、ＨＭＤ１０１Ｃ・ＨＭＤ１０１Ｄのアイコンは他拠点用のアイコンを用いて表示するよう指示し、当該指示をクライアントＰＣ１００が受け付けて絵、当該指示に従って拠点に応じたアイコン表示の処理を行うようにしてもよい。アバター画像についても同様の処理を行ってもよい。

具体的には、図５のステップＳ５０１〜Ｓ５０９までの処理をサーバ２００が実行し、Ｓ５０９の判定結果に応じてクライアントＰＣ１００にアイコンの取得・重畳の指示をして、クライアントＰＣ１００は当該指示に従ってアイコンを取得・重畳する（ステップＳ５１０〜Ｓ５１２）。また、図５のステップＳ５０１〜Ｓ５０７、Ｓ５１４、Ｓ５１５までの処理をサーバ２００が実行し、Ｓ５１５で別拠点と判定した場合にサーバ２００がクライアントＰＣ１００にアバター画像を取得して表示するよう指示し、クライアントＰＣ１００は当該指示に従ってアバター画像を取得・重畳する（ステップＳ５１６、Ｓ５１７、Ｓ１４０１〜Ｓ１４０３）。

また、図１３に示す判定処理をサーバ２００のＣＰＵ２０１が実行するようにしてもよい。

また、本発明の実施形態においては、現実画像と合わせてアイコンを表示する画像を生成するものとしたが、例えば図１１の１１００や１１１０に示すアイコン表示領域の表示用ディスプレイと、現実画像又はＭＲ画像の表示領域とが別々に設けられている場合、ステップＳ５１２において、現実画像又はＭＲ画像の表示領域に表示する画像とは別にアイコン表示領域に表示するアイコンを含む画像を生成して、ＨＭＤに出力するようにしてもよい。

また、本発明の実施形態においては、拠点１・拠点２を、異なる支店の異なる部屋を例に説明したが、現実において異なる空間であればよい。例えば同じ支店内に隣り合わせに存在する別々の部屋をそれぞれ拠点１、拠点２としてもよい。

また、現実において異なる空間であればよいため、必ずしも部屋でなくともよい。例えば、ＨＭＤに取り付けられた光学マーカを捕捉することでＨＭＤの位置姿勢を特定する複数の光学センサで囲われた空間を１つの拠点としてもよい。

以上説明したように、本発明によれば、装着型の表示装置において、他のユーザの位置を適切に表示する仕組みを提供することができる。

前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

また、プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００Ａ クライアントＰＣ
１００Ｂ クライアントＰＣ
１００Ｃ クライアントＰＣ
１００Ｄ クライアントＰＣ
１００Ｅ クライアントＰＣ
１００Ｆ クライアントＰＣ
１０１Ａ ＨＭＤ
１０１Ｂ ＨＭＤ
１０１Ｃ ＨＭＤ
１０１Ｄ ＨＭＤ
１０１Ｅ ＨＭＤ
１０１Ｆ ＨＭＤ
２００ サーバ
１５０ ネットワーク
１５１ ネットワーク
１５２ ネットワーク

Claims (10)

1. 現実画像に重畳する仮想オブジェクトを記憶する記憶手段を備え、前記現実画像に仮想オブジェクトを重畳した複合現実画像を表示する複数の表示装置と通信可能な情報処理装置であって、
   前記表示装置の現実空間上の位置姿勢を取得する位置姿勢取得手段と、
   前記表示装置に表示する画像の所定の領域に、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて重畳した重畳画像を前記表示装置に表示させる制御をする制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記所定の領域とは、前記表示装置に表示する現実画像の端から所定距離までの領域、又、前記表示装置に表示する表示画面の端から所定距離までの領域であって、
   前記制御手段は、前記表示装置に表示する現実画像の端から所定距離までの領域、又は、前記表示装置に表示する表示画面の端から所定距離までの領域に対して、前記他の表示装置の位置の情報に基づいて当該他の表示装置に対応する前記オブジェクトを重畳させて表示する制御をすることを特徴とする請求項１に記載の情報処理装置。
3. どの前記表示装置がどの現実空間に所属しているかを示す所属情報を記憶する所属情報記憶手段と、
   前記所属情報記憶手段に記憶されている情報に基づいて、前記他の表示装置の所属を特定する特定手段と、
   前記特定手段で特定された前記他の表示装置の所属に応じた前記オブジェクトを取得する取得手段と、
   を備え、
   前記制御手段は、前記取得手段で取得された前記他の表示装置の所属に応じた前記オブジェクトを、前記表示装置に表示させる画像の所定の領域に重畳させて表示する制御をすることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記制御手段は、前記表示装置と他の表示装置との距離が所定距離に達した場合に、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて前記所定の領域に重畳させて表示する制御をすることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記情報処理装置は、前記現実画像に重畳する仮想オブジェクトと当該仮想オブジェクトの位置姿勢の情報を記憶する記憶装置を備える情報処理装置であって、
   前記制御手段は、
   当該仮想オブジェクトの位置姿勢に応じて現実画像に重畳する前記仮想オブジェクトと、前記所定の領域に重畳する前記他の表示装置の位置を示すオブジェクトを識別可能に表示する制御をすることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記制御手段は、前記表示装置に表示する画像の画角に含まれない前記他の表示装置のオブジェクトを、前記所定の領域に重畳した重畳画像を表示する制御をすることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記制御手段は、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて前記現実画像上に重畳した重畳画像、又は、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて前記現実画像と別に表示すべく、当該別に表示する領域の画像に重畳した重畳画像を前記表示装置に送信して表示させることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 現実画像に重畳する仮想オブジェクトを記憶する記憶手段を備え、前記現実画像に仮想オブジェクトを重畳した複合現実画像を表示する複数の表示装置と通信可能な情報処理装置の制御方法であって、
   前記表示装置の現実空間上の位置姿勢を取得する位置姿勢取得工程と、
   前記表示装置に表示する画像の所定の領域に、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得工程で取得された位置の情報に基づいて重畳した重畳画像を前記表示装置に表示させる制御をする制御工程と、
   を含むことを特徴とする情報処理装置の制御方法。
9. 現実画像に重畳する仮想オブジェクトを記憶する記憶手段を備え、前記現実画像に仮想オブジェクトを重畳した複合現実画像を表示する複数の表示装置と通信可能な情報処理装置で実行が可能なプログラムであって、
   前記情報処理装置を
   前記表示装置の現実空間上の位置姿勢を取得する位置姿勢取得手段と、
   前記表示装置に表示する画像の所定の領域に、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて重畳した重畳画像を前記表示装置に表示させる制御をする制御手段として機能させることを特徴とする情報処理装置のプログラム。
10. 現実画像に重畳する仮想オブジェクトを記憶する記憶手段を備え、前記現実画像に仮想オブジェクトを重畳した複合現実画像を表示する複数の表示装置と情報処理装置とを含む情報処理システムであって、
    前記表示装置の現実空間上の位置姿勢を取得する位置姿勢取得手段と、
    前記表示装置に表示する画像の所定の領域に、他の表示装置の位置を示すオブジェクトを、前記位置姿勢取得手段で取得された位置の情報に基づいて重畳した重畳画像を前記表示装置に表示させる制御をする制御手段と、
    を備えることを特徴とする情報処理システム。

Images