JP2016224809A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】視界を共有する対象となる表示装置をより簡便な操作方法で切り替えるための技術を提供する。【解決手段】タブレット端末装置１０４の表示画面上における指示位置を取得し、複数のＨＭＤ表示装置１０１〜１０３のそれぞれの位置と、指示位置と、に基づいて、複数の複数のＨＭＤ表示装置１０１〜１０３のうち１つを選択し、選択したＨＭＤ表示装置１０１〜１０３に表示されている映像を取得してタブレット端末装置１０４の表示画面に表示する。【選択図】図１

Description

本発明は、複合現実感の提示技術に関するものである。

現実空間と仮想空間との繋ぎ目のない融合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する光学シースルー方式によっても実現される。

このような画像表示装置の応用として、自動車・航空機などの製造業において開発中の製品をコンピュータグラフィックス映像として現実空間に重畳表示し、自由な視点から確認、検討することで実寸大の模型を作製せずにデザイン等の検討を行うことができる。

このような応用例では、多人数が参加して検討を行う場合は多数のＨＭＤが必要になることから、タブレットなどの安価なデバイスを用いて検討に参加できるシステムがある。このシステムは、ＨＭＤを装着した人物が見ている「現実空間にコンピュータグラフィックスが重畳された画面」をそのままタブレット画面に表示し、ＨＭＤを装着した人物と視界を共有することによって検討に参加できるようにするものである。さらに、ジェスチャなどの入力によって、複数視点から録画された映像情報を任意に切り替えて閲覧する手法も開示されている（特許文献１）。

特開２０１２−２８５６４２号公報

ＨＭＤを装着した人物が複数人存在した場合、視界を共有したい人物を選択する必要がある。従来のシステムにおいては、ＨＭＤを装着した人物にＩＤや名前を付与し、タブレットの画面上に一覧表示して選択させる、などの手法が考えられる。しかしながら実際の検討現場では、ＨＭＤを装着している人物は常に移動していることが多く、かつＨＭＤを装着していて顔が隠されていることから、ＩＤや名前と実際の空間内の人物との対応がわかりにくく、ＩＤや名前による選択では所望の視界を正しく選択できない可能性があった。

本発明はこのような問題に鑑みてなされたものであり、視界を共有する対象となる表示装置をより簡便な操作方法でもって切り替えるための技術を提供する。

本発明の一様態は、複数の表示装置のうち選択された表示装置に表示されている映像を取得して表示画面に表示する情報処理装置であって、前記表示画面上における指示位置を取得する取得手段と、前記複数の表示装置のそれぞれの位置と、前記指示位置と、に基づいて、前記複数の表示装置のうち１つを選択する選択手段と、前記選択手段が選択した表示装置に表示されている映像を取得して前記表示画面に表示する表示制御手段とを備えることを特徴とする。

本発明の構成によれば、視界を共有する対象となる表示装置をより簡便な操作方法でもって切り替えることができる。

システムの構成例を示す図。 システムの機能構成例を示すブロック図。 タブレット端末装置１０４の動作を示すフローチャート。 ステップＳ３０６及びＳ３０７を説明するための図。 システムの機能構成例を示すブロック図。 タブレット端末装置１０４の動作を示すフローチャート。 ステップＳ３０６及びＳ３０７を説明するための図。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、複数の表示装置のうち選択された表示装置に表示されている映像を取得して表示画面に表示する情報処理装置の一例について説明する。より具体的には、該表示画面上における指示位置を取得し、複数の表示装置のそれぞれの位置と、該指示位置と、に基づいて、該複数の表示装置のうち１つを選択し、該選択した表示装置に表示されている映像を取得して表示画面に表示する（表示制御）情報処理装置の一例について説明する。

先ず、本実施形態に係る情報処理装置を含むシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１０１〜１０３と、人物情報保持サーバ１０５と、タブレット端末装置１０４と、を有し、それぞれの機器の間は有線及び／又は無線のネットワーク（有線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、赤外線等）を介してデータ通信可能に接続されている。なお、図１では一例としてＨＭＤの数を３としているが、複数であれば如何なる数であっても良い。

次に、本実施形態に係るシステムの機能構成例について、図２のブロック図を用いて説明する。なお、図２では、ＨＭＤ１０１〜１０３のうちＨＭＤ１０１についてその機能構成例を示し、ＨＭＤ１０２，１０３については図示を省略しているが、ＨＭＤ１０２，１０３は何れもＨＭＤ１０１と同様の構成を有しており、且つＨＭＤ１０１と同様に、人物情報保持サーバ１０５及びタブレット端末装置１０４とネットワークを介してデータ通信を行うものとする。

先ず、ＨＭＤ１０１について説明する。ＨＭＤ１０１は、現実空間と仮想空間とを融合させた空間である複合現実空間を体感するユーザの頭部に装着する、所謂頭部装着型表示装置の一例である。

視界入力部２０２は、ＨＭＤ１０１を装着したユーザの視線方向に見える現実空間の映像を撮像する。

頭部位置特定部２０３は、ＨＭＤ１０１の位置姿勢（３次元位置及び３次元姿勢）を取得するものであり、その取得方法は特定の方法に限るものではない。例えば、視界入力部２０２によって撮像された現実空間の映像中に写っている指標（マーカや自然特徴）を用いた周知の方法でもってＨＭＤ１０１の位置姿勢を求めても良いし、センサ（赤外線センサ、磁気センサ、ジャイロセンサ等）による測定結果であるＨＭＤ１０１の位置姿勢を取得しても良い。その他にも、２以上のセンサによる情報を組み合わせてＨＭＤ１０１の位置姿勢を求めても良いし、現実空間の映像中に写っている指標と、センサによる情報と、を組み合わせてＨＭＤ１０１の位置姿勢を求めても良い。

仮想現実表示部２０４は、ＨＭＤ１０１を頭部に装着したユーザの眼前に位置するようにＨＭＤ１０１に取り付けられたもので、視界入力部２０２によって撮像された現実空間の映像と、頭部位置特定部２０３が取得したＨＭＤ１０１の位置姿勢に基づいて生成された仮想空間の映像と、を合成した複合現実空間の映像を表示するものである。仮想空間の映像は、ＨＭＤ１０１が生成しても良いし、ＨＭＤ１０１に接続されている外部の装置によって生成されても良い。何れにせよ、仮想空間の映像は、仮想空間のデータ（仮想空間を構成する各仮想物体を規定するデータ、光源を規定するデータなどを含む）と、ＨＭＤ１０１の位置姿勢と、を用いて生成するものである。これらの情報を用いて仮想空間の映像を生成する方法については周知の技術であるため、これに係る詳細な説明は省略する。また、現実空間の映像と仮想空間の映像とを合成して複合現実空間の映像を生成する技術についても周知の技術であるため、これに係る詳細な説明は省略する。

次に、タブレット端末装置１０４について説明する。タブレット端末装置１０４は、ＨＭＤ１０１〜１０３のうち後述する処理によって選択されたＨＭＤにおいて表示されている複合現実空間の映像を該ＨＭＤから受信して表示するものである。なお、タブレット端末装置１０４の代わりに、指示入力機能及び表示機能を有する機器であれば如何なる機器を用いても構わない。

他者視界共有部２０６は、ＨＭＤ１０１〜１０３のうち後述する処理によって選択されたＨＭＤから、該ＨＭＤにおいて表示されている複合現実空間の映像を受信し、該受信した映像を表示部２０８に表示する。

表示部２０８は、液晶画面などの表示画面で構成されており、他者視界共有部２０６から送出された、複合現実空間の映像を含む様々な情報を表示することができる。なお、表示部２０８は、映像を表示する機器に限るものではなく、プロジェクタなど、映像を投影面に投影する機器であっても良い。

入力部２０９は、ユーザが操作することで様々な指示をタブレット端末装置１０４に対して入力することができるものである。本実施形態では、入力部２０９と表示部２０８とでタッチパネル画面を形成するものとし、このタッチパネル画面には、他者視界共有部２０６から送出された、複合現実空間の映像を含む様々な情報を表示することができると共に、ユーザがタッチパネル画面上をタッチした場合には、該タッチした位置を取得することができる。もちろん、表示部２０８を液晶画面、入力部２０９をキーボードやマウスでもって構成しても構わない。

共有対象特定部２０７は、人物情報保持サーバ１０５が有する頭部位置保持部２１１に登録されている「ＨＭＤ１０１〜１０３のそれぞれの位置」と、ＨＭＤ１０１〜１０３のうち複合現実空間の映像をタブレット端末装置１０４に対して送信中のＨＭＤから取得した該ＨＭＤの位置姿勢と、入力部２０９が検知した「ユーザによるタッチパネル画面上のタッチ位置」と、を用いて、ＨＭＤ１０１〜１０３のうち、表示部２０８に表示する複合現実空間の映像の取得元となるＨＭＤを選択する。然るに他者視界共有部２０６は、共有対象特定部２０７によって選択されたＨＭＤから、該ＨＭＤにおいて表示されている複合現実空間の映像を受信し、該受信した映像を表示部２０８に表示することになる。

制御部２９９は、他者視界共有部２０６、表示部２０８、入力部２０９、共有対象特定部２０７の各機能部の動作制御を行うと共に、タブレット端末装置１０４全体の動作制御を行う。

次に、人物情報保持サーバ１０５について説明する。人物情報保持サーバ１０５は、ＨＭＤ１０１〜１０３のそれぞれの位置を管理するものである。

頭部位置保持部２１１は、ＨＭＤ１０１〜１０３のそれぞれの頭部位置特定部２０３が取得したＨＭＤ１０１〜１０３のそれぞれの位置（３次元位置）を取得して保持するものである。なお、頭部位置保持部２１１が保持するものはＨＭＤ１０１〜１０３の位置だけでなく、ＨＭＤ１０１〜１０３のそれぞれの使用者名（ユーザ名）やＩＤ、ＨＭＤ１０１〜１０３のそれぞれのネットワーク上におけるＩＤアドレス等、ＨＭＤ１０１〜１０３のそれぞれを一意に特定することのできる情報（識別情報）をも保持している。

なお、人物情報保持サーバ１０５は、ＨＭＤ１０１〜１０３のそれぞれに複合現実空間の映像を提供する機器と同じ機器であっても構わないし、別個の機器であっても構わない。

次に、タブレット端末装置１０４の動作について、図３のフローチャートを用いて説明する。なお、図３のフローチャートに従った処理を開始する時点では、表示部２０８には、ＨＭＤ１０１〜１０３のうち何れか１つのＨＭＤから受信した複合現実空間の映像が表示されているものとする。

＜ステップＳ３０１＞
制御部２９９は、ユーザによる入力部２０９への操作入力に応じて、タブレット端末装置１０４の動作モードを共有対象変更モードに変更する。例えばユーザがタッチパネル画面において規定の位置をタッチしたり、キーボードやマウスを用いて規定の操作を行うと、制御部２９９は、共有対象変更モードに変更する指示が入力されたものと判断し、タブレット端末装置１０４の動作モードを共有対象変更モードに変更する。ここで、共有対象変更モードとは、表示部２０８に現在表示されている映像を、他のＨＭＤに表示されている映像に変更可能にするためのモードである。なお、共有対象変更モードに移行してから、表示部２０８に現在表示されている映像を他のＨＭＤに表示されている映像に変更するのではなく、入力部２０９からのユーザ操作があるたびに、表示部２０８に現在表示されている映像を他のＨＭＤに表示されている映像に変更するようにしても良く、その場合、共有対象変更モードなるものは設けなくても良い。

＜ステップＳ３０３＞
入力部２０９は、表示部２０８においてユーザが指示した位置を検知する。本実施形態では、入力部２０９は、ユーザが表示部２０８上をタッチすると、該タッチされた位置（タッチ位置）を検知する。このタッチ位置はいうまでもなく、表示部２０８上における２次元座標で表される。

＜ステップＳ３０４＞
他者視界共有部２０６は、ＨＭＤ１０１〜１０３のうち複合現実空間の映像をタブレット端末装置１０４に対して送信中のＨＭＤ（以下では対象ＨＭＤと呼称する）、すなわち、表示部２０８に表示中の複合現実空間の映像の送信元であるＨＭＤに対して、該ＨＭＤの位置の送信要求を送信する。対象ＨＭＤの頭部位置特定部２０３は、この送信要求を受けると、求めた対象ＨＭＤの位置を、タブレット端末装置１０４に対して送信するので、他者視界共有部２０６は、対象ＨＭＤから送信された「対象ＨＭＤの位置」を受信する。

＜ステップＳ３０５＞
他者視界共有部２０６は、対象ＨＭＤに対して、該ＨＭＤの姿勢（視線方向）の送信要求を送信する。対象ＨＭＤの頭部位置特定部２０３は、この送信要求を受けると、求めた対象ＨＭＤの姿勢を、タブレット端末装置１０４に対して送信するので、他者視界共有部２０６は、対象ＨＭＤから送信された「対象ＨＭＤの姿勢」を受信する。

なお、ステップＳ３０４とステップＳ３０５とを１つのステップで行っても良い。すなわち、他者視界共有部２０６は、対象ＨＭＤに対して位置姿勢の送信要求を送信し、対象ＨＭＤが該送信要求に応じて送信した「対象ＨＭＤの位置姿勢」を取得するようにしても構わない。

＜ステップＳ３０６＞
共有対象特定部２０７は、（ステップＳ３０４で取得した）対象ＨＭＤの位置から、（ステップＳ３０５で取得した）対象ＨＭＤの視線方向に規定距離だけ離間した位置に、該視線方向を法線ベクトル方向とする仮想平面（仮想スクリーン）を設定する。仮想スクリーンについては後述する。

＜ステップＳ３０７＞
共有対象特定部２０７は、仮想スクリーンにおいて、タッチ位置と位置的に対応する位置を対応位置として求め、（ステップＳ３０４で取得した）対象ＨＭＤの位置から対応位置へのベクトル（直線）を対象特定ベクトルとして求める。ここで、ステップＳ３０６及びＳ３０７における処理の詳細について、図４，７を用いて説明する。

図７は、ユーザの手７０２によってタブレット端末装置１０４（表示部２０８）の表示画面上における１点７０３がタッチされた状態を示している。ここで、表示部２０８の表示画面上には、図４のユーザ４０１が頭部に装着しているＨＭＤ４０２（対象ＨＭＤ）から送信された複合現実空間の映像が表示されているものとする。図４の４０３は、ＨＭＤ４０２の３次元位置から、ＨＭＤ４０２の視線方向に規定距離だけ離間した位置に設定された、該視線方向を法線ベクトル方向とする仮想スクリーンのうち、ＨＭＤ４０２の視体積に含まれている部分である。仮想スクリーン４０３の視野角は、ＨＭＤ４０２（視界入力部２０２）の画角と一致するものである。すなわち、タブレット端末装置１０４の表示部２０８の表示画面上に表示されている複合現実空間の映像は、仮想スクリーン４０３によってクリッピングされたユーザ４０１の視界におけるものである。ここで、仮想スクリーン４０３はユーザ４０１からの距離に応じて無数に定義することが可能であるが、任意の距離を仮定してもクリッピング範囲は同じであり、ユーザ４０１の視界と一致するので、ユーザ４０１と仮想スクリーン４０３との距離は任意であるとしてもよい。

このように、表示部２０８の表示画面（厳密には複合現実空間の映像を表示している領域）と、仮想スクリーンと、はそのサイズは異なるものの、表示部２０８の表示画面上における各画素位置と、仮想スクリーン上の各位置と、は１対１に関連づけられていることが分かる。然るに、表示部２０８の表示画面上におけるタッチ位置が分かれば、仮想スクリーン上の対応する位置は一意に決まるので、この対応する位置と、対象ＨＭＤの３次元位置と、を通るベクトルを対象特定ベクトルとして求める。

＜ステップＳ３０８＞
共有対象特定部２０７は、人物情報保持サーバ１０５の頭部位置保持部２１１から、ＨＭＤ１０１〜１０３のそれぞれの３次元位置と、ＨＭＤ１０１〜１０３のそれぞれの識別情報と、を取得する。そして、ＨＭＤ１０１〜１０３のうち対象ＨＭＤ以外のＨＭＤを対象としてステップＳ３０９〜Ｓ３１２のループ処理を行う。

＜ステップＳ３１０＞
共有対象特定部２０７は、ＨＭＤ１０１〜１０３のうち対象ＨＭＤ以外のＨＭＤのうちの１つを選択ＨＭＤとし、該選択ＨＭＤの位置と、対象特定ベクトルと、の間の距離を求める。求める距離は、３次元空間内のユークリッド距離とするが、他の定義により算出された距離を代わりに用いてもよい。

＜ステップＳ３１１＞
共有対象特定部２０７は、ステップＳ３１０で求めた距離が、従前に求めた距離よりも小さい場合には、選択ＨＭＤの識別情報を不図示のメモリに格納する。これにより、ステップＳ３０９〜Ｓ３１２のループ処理を抜けた時点で、このメモリには、ＨＭＤ１０１〜１０３において対象ＨＭＤ以外のＨＭＤのうち、対象特定ベクトルに最も近いＨＭＤの識別情報が格納されていることになる。

＜ステップＳ３１３＞
他者視界共有部２０６は、上記のメモリに格納されている識別情報（ステップＳ３０９〜Ｓ３１２のループ処理において共有対象特定部２０７が対象特定ベクトルに最も近いＨＭＤとして特定したＨＭＤの識別情報）に対応するＨＭＤに対して、複合現実空間の映像の送信要求を送信する。そして他者視界共有部２０６は、該送信要求に応じて該ＨＭＤから送信された複合現実空間の映像を受信し、該受信した複合現実空間の映像を表示部２０８に表示する。

ステップＳ３０９〜Ｓ３１２のループ処理において求めた処理のうち最小距離が閾値以上であれば、該当ＨＭＤ無しと判断し、ステップＳ３１３では、その旨を表示部２０８に表示しても良い。

このように、本実施形態によれば、視界を共有したいユーザ（ＨＭＤ）を直感的に指定することが可能になる。

＜変形例＞
上記の説明では、複合現実空間の映像を生成するための全ての処理をＨＭＤが行うものとして説明した。しかし、ＨＭＤにＰＣ（パーソナルコンピュータ）などのコンピュータ装置を接続し、該コンピュータ装置が、ＨＭＤの位置姿勢に応じた仮想空間の映像を生成し、該生成した仮想空間の映像と、ＨＭＤによって撮像された現実空間の映像と、を合成して複合現実空間の映像を生成してＨＭＤに送出し、ＨＭＤが、コンピュータ装置から送信された複合現実空間の映像を受信して表示する、という構成を採用しても構わない。

また、このようなコンピュータ装置と人物情報保持サーバ１０５とを同じコンピュータ装置で実現させても良いし、一方が他方の一部を兼ねても良い。

また、ＨＭＤ１０１〜１０３の代わりに、若しくは加えて、手持ち型のハンドヘルドディスプレイや、固定位置に備え付けられたカメラを用いても構わない。

また、現実空間において指示位置（タッチ位置）に対応する３次元位置と、表示画面に表示中の映像の取得元である表示装置の現実空間における３次元位置と、を通る直線を求め、複数の表示装置のうち該直線に最も近い表示装置を選択することができるのであれば、第１の実施形態で説明した処理に限るものではない。

［第２の実施形態］
第１の実施形態では、タブレット端末装置１０４によってＨＭＤを装着した他者の視界を共有している状態で、タブレット端末装置１０４の表示画面を直接タッチすることによって新たな視界共有の対象となる人物（ＨＭＤ）を指定していた。本実施形態に係るタブレット端末装置１０４の背面（表示画面が設けられている面とは逆の面）にはリアカメラが備わっており、該リアカメラによって撮像された他者の画像を表示画面に表示し、該表示画面上で他者を指定することによって視界共有の対象となる人物（ＨＭＤ）を指定する。以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

先ず、本実施形態に係るシステムの機能構成例について、図５のブロック図を用いて説明する。図５において、図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

本実施形態では、タブレット端末装置１０４の構成が第１の実施形態と異なる。なお、タブレット端末装置１０４の代わりに、指示入力機能、映像入力機能、表示機能を有する機器であれば如何なる機器を用いても構わない。

カメラ位置特定部５１０は、タブレット端末装置１０４が有するリアカメラの３次元位置姿勢を取得する。リアカメラの３次元位置姿勢の取得方法については特定の方法に限るものではなく、例えば、リアカメラによって撮像された現実空間の映像中に写っている指標（マーカや自然特徴）を用いた周知の方法でもってリアカメラの位置姿勢を求めても良いし、センサ（赤外線センサ、磁気センサ、ジャイロセンサ等）による測定結果であるリアカメラの位置姿勢を取得しても良い。その他にも、２以上のセンサによる情報を組み合わせてリアカメラの位置姿勢を求めても良いし、現実空間の映像中に写っている指標と、センサによる情報と、を組み合わせてリアカメラの位置姿勢を求めても良い。

共有対象特定部５０７は、人物情報保持サーバ１０５が有する頭部位置保持部２１１に登録されている「ＨＭＤ１０１〜１０３のそれぞれの位置」と、カメラ位置特定部５１０が特定したリアカメラの位置姿勢と、入力部２０９が検知した「ユーザによるタッチパネル画面上のタッチ位置」と、を用いて、ＨＭＤ１０１〜１０３のうち、表示部２０８に表示する複合現実空間の映像の取得元となるＨＭＤを選択する。然るに他者視界共有部２０６は、共有対象特定部５０７によって選択されたＨＭＤから、該ＨＭＤにおいて表示されている複合現実空間の映像を受信し、該受信した映像を表示部２０８に表示することになる。

次に、タブレット端末装置１０４の動作について、図６のフローチャートを用いて説明する。なお、図６のフローチャートに従った処理を開始する時点では、表示部２０８には、ＨＭＤ１０１〜１０３のうち何れか１つのＨＭＤから受信した複合現実空間の映像が表示されているものとする。

＜ステップＳ６０１＞
制御部２９９は、ユーザによる入力部２０９への操作入力に応じて、タブレット端末装置１０４の動作モードを共有対象変更モードに変更する。

＜ステップＳ６０２＞
制御部２９９は、共有対象変更モードが設定されると、共有対象変更モードにおけるサブモードとしてカメラモードを設定する。

＜ステップＳ６０３＞
制御部２９９はリアカメラを動作させて現実空間の映像を撮像させる。そして制御部２９９は、該リアカメラにより撮像された現実空間の映像を表示部２０８に表示する。タブレット端末装置１０４を手に持っているユーザは、新たに視界を共有したい人物をリアカメラによって撮像するべく、リアカメラを該人物に向ける。このとき、表示部２０８には、リアカメラによって撮像された現実空間の映像、すなわち、該人物を含む現実空間の映像が表示されるので、ユーザは表示部２０８の表示画面上で、該人物が写っている領域内の何れかの１点をタッチする。該タッチがなされると、入力部２０９は、表示部２０８においてユーザが指示した位置（２次元座標）を検知する。

＜ステップＳ６０４＞
カメラ位置特定部５１０は、リアカメラの３次元位置（タブレット端末装置１０４の３次元位置でも良い）を取得する。なお、リアカメラの代わりに、タブレット端末装置１０４に外付けされたカメラを用いる場合には、カメラ位置特定部５１０は、該外付けされたカメラの３次元位置を取得する。

＜ステップＳ６０５＞
カメラ位置特定部５１０は、リアカメラの３次元姿勢（タブレット端末装置１０４の３次元姿勢でも良い）、すなわちリアカメラの視線方向を取得する。なお、リアカメラの代わりに、タブレット端末装置１０４に外付けされたカメラを用いる場合には、カメラ位置特定部５１０は、該外付けされたカメラの３次元姿勢を取得する。

＜ステップＳ６０６＞
共有対象特定部５０７は、（ステップＳ６０４で取得した）リアカメラの位置から、（ステップＳ６０５で取得した）リアカメラの視線方向に規定距離だけ離間した位置に、該視線方向を法線ベクトル方向とする仮想平面（仮想スクリーン）を設定する。ステップＳ６０６における仮想スクリーンの設定方法については、上記のステップＳ３０６と同様（「対象ＨＭＤ」の代わりに「リアカメラ」とするだけ）である。

＜ステップＳ６０７＞
共有対象特定部５０７は、仮想スクリーンにおいて、タッチ位置と位置的に対応する位置を対応位置として求め、（ステップＳ６０４で取得した）リアカメラの位置から対応位置へのベクトルを対象特定ベクトルとして求める。ステップＳ６０７における対象特定ベクトルを求める方法については、上記のステップＳ３０７と同様（「対象ＨＭＤ」の代わりに「リアカメラ」とするだけ）である。

＜ステップＳ６０８＞
共有対象特定部５０７は、人物情報保持サーバ１０５の頭部位置保持部２１１から、ＨＭＤ１０１〜１０３のそれぞれの３次元位置と、ＨＭＤ１０１〜１０３のそれぞれの識別情報と、を取得する。そして、ＨＭＤ１０１〜１０３のうち対象ＨＭＤ以外のＨＭＤを対象としてステップＳ６０９〜Ｓ６１２のループ処理を行う。

＜ステップＳ６１０＞
共有対象特定部５０７は、ＨＭＤ１０１〜１０３のうち対象ＨＭＤ以外のＨＭＤのうちの１つを選択ＨＭＤとし、該選択ＨＭＤの位置と、対象特定ベクトルと、の間の距離を求める。求める距離は、３次元空間内のユークリッド距離とするが、他の定義により算出された距離を代わりに用いてもよい。

＜ステップＳ６１１＞
共有対象特定部５０７は、ステップＳ６１０で求めた距離が、従前に求めた距離よりも小さい場合には、選択ＨＭＤの識別情報を不図示のメモリに格納する。

＜ステップＳ６１３＞
他者視界共有部２０６は、上記のメモリに格納されている識別情報に対応するＨＭＤに対して、複合現実空間の映像の送信要求を送信する。そして他者視界共有部２０６は、該送信要求に応じて該ＨＭＤから送信された複合現実空間の映像を受信し、該受信した複合現実空間の映像を表示部２０８に表示する。

このように、本実施形態によれば、視界を共有したいユーザ（ＨＭＤ）を直感的に指定することが可能になる。なお、現実空間において指示位置に対応する３次元位置と、情報処理装置が有する撮像部の３次元位置と、を通る直線を求め、複数の表示装置のうち該直線に最も近い表示装置を選択することができるのであれば、第２の実施形態で説明した処理に限るものではない。

［第３の実施形態］
上記のステップＳ６０３において、表示部２０８の表示画面上に仮想的なファインダを表示しても良い。この場合、ユーザは、撮影対象をファインダ内に収めた状態で表示部２０８の表示画面上をタップすることができ、これにより、該撮影対象を表示部２０８の表示画面上から外すことなく撮影することができる。

［第４の実施形態］
図２，５に示した構成を有するタブレット端末装置１０４には、図８に示したようなハードウェア構成例を有するコンピュータ装置を適用することができる。

ＣＰＵ８０１は、上記の制御部２９９としても機能するものであり、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ装置全体の動作制御を行うと共に、該コンピュータ装置を適用するタブレット端末装置１０４が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ８０２は、大容量メモリ８０５からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ（インターフェース）８０６を介してＨＭＤ１０１〜１０３や人物情報保持サーバ１０５から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ８０２は、様々なエリアを適宜提供することができる。

ＲＯＭ８０３は、コンピュータ装置のブートプログラムや書き換え不要な設定データなどが格納されている。

タッチパネル画面８０４は、上記の入力部２０９及び表示部２０８によって構成されるものであり、様々な情報表示を行う機能を有すると共に、ユーザによる操作入力を受け付ける機能を有する。

大容量メモリ８０５は、ＯＳ（オペレーティングシステム）や、タブレット端末装置１０４が行うものとして上述した各処理をＣＰＵ８０１に実行若しくは制御させるためのコンピュータプログラムやデータが格納されている。このコンピュータプログラムには、図３のフローチャートに従った処理をＣＰＵ８０１に実行若しくは制御させるためのコンピュータプログラム、及び／又は図６のフローチャートに従った処理をＣＰＵ８０１に実行若しくは制御させるためのコンピュータプログラム、が含まれている。また、このデータには、上記の説明において既知の情報として取り扱ったものが含まれている。大容量メモリ８０５に格納されているものとして説明したコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。

通信Ｉ／Ｆ８０６は、ネットワークを介してＨＭＤ１０１〜１０３や人物情報保持サーバ１０５との間のデータ通信を行うものである。

ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、タッチパネル画面８０４、大容量メモリ８０５、通信Ｉ／Ｆ８０６、は何れも、バス８０７に接続されている。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０６：他者視界共有部 ２０７：共有対象特定部 ２０８：表示部 ２０９：入力部

Claims (10)

1. 複数の表示装置のうち選択された表示装置に表示されている映像を取得して表示画面に表示する情報処理装置であって、
   前記表示画面上における指示位置を取得する取得手段と、
   前記複数の表示装置のそれぞれの位置と、前記指示位置と、に基づいて、前記複数の表示装置のうち１つを選択する選択手段と、
   前記選択手段が選択した表示装置に表示されている映像を取得して前記表示画面に表示する表示制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記選択手段は、
   現実空間において前記指示位置に対応する３次元位置と、前記表示画面に表示中の映像の取得元である表示装置の前記現実空間における３次元位置と、を通る直線を求め、前記複数の表示装置のうち該直線に最も近い表示装置を選択する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、前記複数の表示装置のうち選択された表示装置に表示されている映像を表示している前記表示画面における指示位置を取得することを特徴とする請求項２に記載の情報処理装置。
4. 前記選択手段は、
   現実空間において前記指示位置に対応する３次元位置と、前記情報処理装置が有する撮像部の３次元位置と、を通る直線を求め、前記複数の表示装置のうち該直線に最も近い表示装置を選択する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記取得手段は、前記撮像部が撮像した現実空間の映像を表示している前記表示画面における指示位置を取得することを特徴とする請求項４に記載の情報処理装置。
6. 更に、
   前記表示画面上に仮想のファインダを表示する手段を備えることを特徴とする請求項４又は５に記載の情報処理装置。
7. 前記表示制御手段は、
   前記選択手段が選択した表示装置の位置姿勢に応じて生成された仮想空間の映像と、該表示装置が撮像した現実空間の映像と、が合成された複合現実空間の映像を取得して前記表示画面に表示する
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記表示装置は、頭部装着型表示装置であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 複数の表示装置のうち選択された表示装置に表示されている映像を取得して表示画面に表示する情報処理装置が行う情報処理方法であって、
   前記情報処理装置の取得手段が、前記表示画面上における指示位置を取得する取得工程と、
   前記情報処理装置の選択手段が、前記複数の表示装置のそれぞれの位置と、前記指示位置と、に基づいて、前記複数の表示装置のうち１つを選択する選択工程と、
   前記情報処理装置の表示制御手段が、前記選択工程で選択した表示装置に表示されている映像を取得して前記表示画面に表示する表示制御工程と
   を備えることを特徴とする情報処理方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images