JP2023114200A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想物体を含む空間において仮想視点を移動する際に、ユーザにとって好適な仮想物体の動作制御を実現する。【解決手段】仮想視点の位置姿勢、及び１以上の仮想物体の位置姿勢を取得する取得手段と、前記仮想視点の移動を行う移動手段と、前記１以上の仮想物体の其々に対して、所定の条件を満たすかに基づいて、前記仮想視点の移動に連動させるかを制御する制御手段と、前記移動された視点での、前記制御された前記１以上の仮想物体を含む仮想画像を生成する生成手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、仮想物体を提示するための情報処理技術に関する。

近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、仮想現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）や複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）システムの開発が盛んに行われている。
また、ＶＲやＭＲシステムにおいては仮想空間内で位置移動するために観察者が実際に位置移動する場合、機材ごとの移動や、仮想空間と同じだけの実空間の確保が必要となる。そこで、位置移動を別途指定する位置移動指示手段を設けることが従来から行われている。例えば位置姿勢センサーによって方向を指定し、更に別途備えられたボタンを押すことでその方向への移動を指示することや、ジョイスティックのようなデバイスを用いて位置移動を指示することが行われている。このように仮想３次元空間内を自由に位置移動して観察することをウォークスルーと呼ぶ。ウォークスルー機能を使って移動し続けているとどの場所にいるかわかりづらくなってしまう課題を解決するために、特許文献１では、実寸観察モードと縮小観察モードを備えることが開示されている。

一方、ＶＲやＭＲシステムでは、仮想物体を世界座標系に割り当てて表示するだけでなく、例えば位置姿勢の計測が可能な現実物体に対して仮想物体を割り当てて表示することも行われている。ユーザが現実物体を操作すると、その現実物体に割り当てられた仮想物体（以下、現実物体上の仮想物体と称する）の表示がユーザの操作に追従されるため、ＶＲやＭＲシステムにおいてユーザに直観的な操作が提供できる。

特開２００６－７９１７４号公報

ＶＲやＭＲシステムにおいてウォークスルー機能を利用する際、位置姿勢の計測が可能な現実物体に仮想物体が割り当てられている場合には、ユーザにとって好適な仮想物体の動作は、様々考えられる。例えば、世界座標系上の仮想物体と現実物体上の仮想物体とを別視点から確認したい場合、ウォークスルー機能を利用して仮想視点を移動した際には、世界座標系上の仮想物体と現実物体上の仮想物体との相対的な位置姿勢関係を維持する事が好適である。つまり、仮想物体はウォークスルー機能と連動して動作することが望ましい。また例えば、現実物体をユーザが把持して自由に操作している場合、ウォークスルー機能を利用して仮想視点を移動した際には、現実物体上の仮想物体は仮想視点の移動の影響を受けない事が好適である。つまり、仮想物体はウォークスルー機能と非連動で動作することが望ましい。しかしながら、従来は、仮想物体の動作をユーザにとって好適に制御することはできていなかった。

そこで、本発明は、仮想物体を含む空間において仮想視点を移動する際に、ユーザにとって好適な仮想物体の動作制御を実現することを目的とする。

本発明の情報処理装置は、仮想視点の位置姿勢、及び１以上の仮想物体の位置姿勢を取得する取得手段と、前記仮想視点の移動を行う移動手段と、前記１以上の仮想物体の其々に対して、所定の条件を満たすかに基づいて、前記仮想視点の移動に連動させるかを制御する制御手段と、前記移動された視点での、前記制御された前記１以上の仮想物体を含む仮想画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、仮想物体を含む空間において仮想視点を移動する際に、ユーザにとって好適な仮想物体の動作制御を実現することができる。

実施形態１に係る情報処理装置を含むシステムの構成例を示す図である。 実施形態１に係る情報処理を示すフローチャートである。 実施形態１に係る情報処理を説明するための図である。 実施形態２に係る情報処理を説明するための図である。 情報処理装置の実装が可能なハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

［実施形態１］
図１は、本実施形態に係る情報処理装置を含むシステムの構成例を示す。
図１は、本実施形態に係るシステムの構成例を示す図である。本実施形態に係るシステムは、現実空間と仮想空間とを融合した複合現実空間（ＭＲ空間）をシステム体験者（以下、ユーザと呼ぶ）に提示するための画像処理システムである。本実施形態では、現実空間の画像とコンピュータグラフィックス（ＣＧ）により描画される仮想空間の画像とを合成した合成画像を表示することで、ユーザにＭＲ空間を提示する場合について説明する。

本実施形態に係るシステムは、表示装置１００と、情報処理装置１１０と、入力装置１２０と、で構成されている。情報処理装置１１０は、表示装置１００から取り込んだ現実空間の画像を、情報処理装置１１０内において生成された仮想空間の画像と合成し、その合成画像を複合現実感画像（ＭＲ画像）として表示装置１００に出力する。なお、本発明は仮想空間の画像を表示させる情報処理装置に関するものであり、現実空間の画像と仮想空間の画像とを合成したＭＲ画像を表示させるＭＲシステムに限定されない。つまり、仮想空間の画像のみをユーザに提示するＶＲ（バーチャルリアリティ）システムや、現実空間を透過させて仮想空間の画像をユーザに提示するＡＲ（オーグメンテッドリアリティ）システムにも適用可能である。

表示装置１００は、撮像部１０１を備える。撮像部１０１は、時系列上連続して現実空間の画像を撮像し、撮像した現実空間の画像を情報処理装置１１０に出力する。撮像部１０１は、ユーザの視点位置から視線方向の現実空間を撮像可能なように互いに固定された２つのカメラからなるステレオカメラを含んで構成されていてもよい。
また、表示装置１００は、表示部１０２を備える。表示部１０２は、情報処理装置１１０から出力されたＭＲ画像を表示する。表示部１０２は、ユーザの左右の目に其々対応して配置された２つのディスプレイを含んで構成されていてもよい。この場合、ユーザの左目に対応するディスプレイには左目用のＭＲ画像が表示され、ユーザの右目に対応するディスプレイには右目用のＭＲ画像が表示される。

表示装置１００は、例えば頭部装着型表示装置（ＨＭＤ）とすることができる。ただし、表示装置１００はＨＭＤに限定されるものではなく、ハンドヘルドディスプレイ（ＨＨＤ）であってもよい。ＨＨＤは、手持ちのディスプレイである。つまり、ユーザが手にとり、双眼鏡のように覗き込むことで画像を観察するディスプレイであってもよい。更に、表示装置１００は、タブレットやスマートフォン等の表示端末であってもよい。

入力装置１２０は、入力部１２１を備える。入力部１２１は、ユーザからの方向や位置の移動指示を入力可能なコントローラであり、入力された値に応じた入力値を情報処理装置１１０に入力する。入力装置１２０は、操縦桿状のデバイスでスティックの傾きの方向に応じた値を取得できるジョイスティックである。ただし、入力装置１２０はジョイスティックに限定されるものではなく、キーボードやビデオゲーム用の入力装置等のデバイスで代用することも可能である。

また、情報処理装置１１０と表示装置１００と、情報処理装置１１０と入力装置１２０とは互いにデータ通信が可能なように接続されている。なお、情報処理装置１１０と表示装置１００との間の接続、及び情報処理装置１１０と入力装置１２０との間の接続は、有線、無線どちらでも構わない。また、表示装置１００の筐体の中に情報処理装置１１０が配置されていても構わない。

情報処理装置１１０は、位置姿勢算出部１１１と、視点移動処理部１１２と、制御部１１３と、画像生成部１１４と、画像合成部１１５と、データ記憶部１１６と、を備える。

位置姿勢算出部１１１は、世界座標系における撮像部１０１の位置姿勢と、世界座標系とは別の座標系（個別座標系）が設定された現実物体の位置姿勢と、を算出する。具体的には、位置姿勢算出部１１１は、撮像部１０１により撮像された現実空間の画像から世界座標系に割り当てられているマーカーと、個別座標系に割り当てられているマーカーを抽出する。個別座標系に割り当てられているマーカーは、操作可能な現実物体に付与されている。そして、マーカーの位置姿勢に基づいて、世界座標系における撮像部１０１の位置姿勢と、個別座標系における現実物体の位置姿勢を算出する。そして、算出した位置姿勢情報をデータ記憶部１１６に格納する。
本実施形態において、位置姿勢算出部１１１は、撮像部１０１の位置姿勢を算出することにより、仮想視点の移動が発生する直前の仮想視点の位置姿勢を取得する。なお、撮像部１０１の位置姿勢に代えて、世界座標系上の基準となる位置姿勢を取得してもよい。
また、本実施形態において、個別座標系が設定された現実物体に対して、仮想物体が関連付けられている。位置姿勢算出部１１１は、個別座標系における現実物体の位置姿勢を算出することにより、仮想視点の移動が発生する直前の仮想物体の位置姿勢を取得できる。

なお、撮像部１０１の位置姿勢や、個別座標系における現実物体の位置姿勢を算出するための方法には様々な方法があり、上述の方法に限らない。例えば、画像中に写っている特徴点に基づいて、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）の処理を実施して、撮像部１０１の位置姿勢や、個別座標系における現実物体の位置姿勢を求めてもよい。その他にも、撮像部１０１に対する相対的な位置姿勢が既知のセンサーを表示装置１００としてのＨＭＤに取り付け、該センサーによる計測値を該相対的な位置姿勢に基づいて変換することで、撮像部１０１の位置姿勢を求めてもよい。同様に、操作可能な現実物体に対する相対的な位置姿勢が既知のセンサーを該現実物体に取り付けることによって、個別座標系における現実物体の位置姿勢を求めてもよい。また、モーションキャプチャシステムを利用してもよい。

視点移動処理部１１２は、入力部１２１からの入力値に基づいて、仮想視点の移動量を算出し、算出した仮想視点の移動量に基づいて、仮想視点の位置姿勢の移動処理を行う。仮想視点は、画像生成部１１４が生成する仮想空間の画像の視点のことを指す。本実施形態では、位置姿勢算出部１１１で算出された撮像部１０１の位置姿勢に、算出した仮想視点の移動量を加えて、仮想視点の位置姿勢を算出する。視点移動処理部１１２は、仮想視点の移動量として、入力部１２１からの入力値を用いて、仮想視点の位置を互いに直交する３軸の其々の方向に移動させた移動量や、仮想視点の姿勢を互いに直交する３軸の其々の方向に回転させた移動量を算出する。そして、仮想視点の位置姿勢の算出結果と、仮想視点の移動量の算出結果をデータ記憶部１１６に格納する。

制御部１１３は、個別座標系が設定された現実物体の其々について、視点移動処理部１１２による仮想視点の移動に連動させるか否かの判定処理を行う。制御部１１３は、連動させる場合、位置姿勢算出部１１１で算出した現実物体の位置姿勢を、仮想視点の移動量に基づき更新して、更新後の位置姿勢を仮想物体の位置姿勢としてデータ記憶部１１６に格納する。また、制御部１１３は、連動させない場合、位置姿勢算出部１１１で算出した現実物体の位置姿勢を、そのまま仮想物体の位置姿勢としてデータ記憶部１１６に格納する。

画像生成部１１４は、データ記憶部１１６に格納されている仮想空間のデータに基づいて仮想空間を構築する。仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータ等が含まれる。画像生成部１１４は、データ記憶部１１６に格納されている、視点移動処理部１１２が算出した仮想視点の位置姿勢を設定する。また、データ記憶部１１６に格納されている、個別座標系を持つ仮想物体の位置姿勢に対応させて、仮想物体を仮想空間中に配置する。そして、設定された位置姿勢の視点から見える仮想空間の画像（仮想画像）を生成する。なお、所定の位置姿勢の視点から見える仮想画像を生成するための技術については周知の技術であるので、これについての詳細な説明は省略する。

画像合成部１１５は、画像生成部１１４で生成された仮想画像と、撮像部１０１により撮像された現実空間の画像と、を合成してＭＲ画像を生成する。そして、生成したＭＲ画像を表示装置１００に出力する。

データ記憶部１１６は、上述の通り、様々な情報を格納するためのものであり、ＲＡＭやハードディスクドライブ装置等により構成されている。なお、データ記憶部１１６には、上記の説明においてデータ記憶部１１６に格納するものとして説明した情報の他に、本実施形態において既知の情報として説明するものについても格納されているものとする。

図２は、情報処理装置１１０が、ＭＲ画像を生成し、表示装置１００に対して出力するための情報処理を示すフローチャートである。前提として、現実空間に操作可能な現実物体が複数存在しており、複数の現実物体に対して個別座標系が其々設定されているものとする。また、個別座標系が設定された現実物体の位置姿勢に、仮想物体の位置姿勢が関連付けられている。

先ず、ステップＳ２０１において、位置姿勢算出部１１１は、撮像部１０１の位置姿勢と、個別座標系における現実物体の位置姿勢とを算出する。
次に、ステップＳ２０２において、視点移動処理部１１２は、入力部１２１からの入力値に基づいて、仮想視点の移動量を算出する。
次に、ステップＳ２０３において、視点移動処理部１１２は、ステップＳ２０１で算出した撮像部１０１の位置姿勢に、ステップＳ２０２で算出した仮想視点の移動量を加算して、仮想視点の位置姿勢を算出する。

次に、ステップＳ２０４において、制御部１１３は、ｋ番目の現実物体の個別座標系を指定する値ｋの初期設定としてｋ＝１を定める。そして、ステップＳ２０５において、制御部１１３は、ｋの値と、設定されている個別座標系の総数とを比較する。ｋの値が個別座標系の総数以下である場合は、ステップＳ２０６へ進み、ｋの値が個別座標系の総数を上回る場合は、ステップＳ２１０へ進む。
次に、ステップＳ２０６において、制御部１１３は、ｋ番目の個別座標系が設定されている現実物体について、所定の条件を満たすかを判定する。制御部１１３が所定の条件を満たすと判定した場合、ステップＳ２０７へ進み、所定の条件を満たしていないと判定した場合、ステップＳ２０８へ進む。

ステップＳ２０７において、制御部１１３は、ステップＳ２０１で算出した、ｋ番目の個別座標系が設定される現実物体に関連付く仮想物体の位置姿勢を、仮想視点の移動に、連動して移動させるよう制御する。具体的には、ｋ番目の個別座標系における現実物体の位置姿勢を、Ｓ２０２で算出された仮想視点の移動量を用いて更新することにより、仮想物体の位置姿勢を取得する。これにより、仮想視点の位置姿勢と、現実物体に関連付く仮想物体の位置姿勢との関係性が維持される。
ステップＳ２０８において、制御部１１３は、ステップＳ２０１で算出した、ｋ番目の個別座標系が設定される現実物体に関連付く仮想物体の位置姿勢を、仮想視点の移動に、非連動となるよう制御する。具体的には、ｋ番目の個別座標系における現実物体の位置姿勢を、そのまま仮想物体の位置姿勢として取得する。これにより、撮像部１０１の位置姿勢と、現実物体に関連付く仮想物体の位置姿勢との関係性が維持される。
ステップＳ２０７及びステップＳ２０８の後、処理はステップＳ２０９に進む。ステップＳ２０９において、制御部１１３は、ｋの値を１増加させる。その後、処理はステップＳ２０５に戻る。

次に、ステップＳ２１０において、画像生成部１１４は、ステップＳ２０３で算出した仮想視点の位置姿勢と、ステップＳ２０７及びステップＳ２０８で算出した仮想物体の位置姿勢を用いて、仮想画像を生成する。
次に、ステップＳ２１１において、画像合成部１１５は、撮像部１０１が撮像した現実空間の画像と、ステップＳ２１０で生成した仮想画像とを合成して、ＭＲ画像を生成する。そして、生成したＭＲ画像を表示装置１００に出力する。
次に、ステップＳ２１２において、情報処理装置１１０が、本フローチャートの終了指示が入力されたかを判定し、終了指示が入力されたと判定した場合、本フローチャートの処理を終了する。一方、終了指示が入力されない限り、処理はＳ２０１に戻る。なお、本ステップでは、本フローチャートを終了する条件を満たしたかを判定してもよい。

個別座標系を持つ仮想物体について、仮想視点の移動処理に連動させるか否かの判定に用いる所定の条件は様々な条件が考えられるが、以下ではその一例について説明する。
図３は、画像合成部１１５が生成する画像合成結果としてのＭＲ画像を示す。図３を用いて、個別座標系を持つ仮想物体に対する、仮想視点の移動処理の連動／非連動の制御について説明する。

現実物体３０２、３０３、３０４、３０５は、現実空間に存在するユーザに操作可能な物体である。図３の例では、現実物体３０２がユーザの手３０１に把持されている。マーカー３０６は、世界座標系に割り当てられているマーカーである。また、マーカー３０７、３０８、３０９、３１０は、個別座標系に割り当てられているマーカーである。仮想物体３１１は、世界座標系に割り当てられている仮想空間に存在する物体である。仮想物体３１２、３１３、３１４、３１５は、マーカー３０７、３０８、３０９、３１０が付与された現実物体３０２、３０３、３０４、３０５に関連付く仮想物体である。即ち、仮想物体３１２、３１３、３１４、３１５の其々に、個別座標系が設定されている。図３（Ｂ）の矢印３１６は、仮想視点の移動量を模式的に示すものである。図３（Ｂ）では仮想視点が矢印３１６の方向に移動した結果、仮想物体３１１の表示位置が移動した事を示す。また、矢印３１７、３１８、３１９は、仮想視点の移動量と連動して仮想物体３１２、３１３、３１４、３１５の位置姿勢が移動した事を示す。なお、矢印３１６、３１７、３１８、３１９は、本実施形態の説明のために付加的に表記したものであって、仮想画像上に実際に表示されるものではない。また、個別座標系に割り当てられたマーカーが付与されている現実物体の個数は、１以上であれば特に限定されない。

図３（Ａ）は、入力部１２１からの入力がなく、仮想視点の移動量がない状態を示す。仮想視点の移動量がない場合、位置姿勢算出部１１１が算出した撮像部１０１の位置姿勢を仮想視点の位置姿勢とし、位置姿勢算出部１１１が算出した現実物体３０２～３０５の位置姿勢を仮想物体３１２～３１５の位置姿勢として、仮想画像が生成される。そして、仮想画像と撮像部１０１の現実空間の画像とを合成したＭＲ画像が生成される。

図３（Ｂ）は、入力部１２１からの入力によって、仮想視点の移動が発生した状態を示す。仮想視点の移動が発生した場合、世界座標系上の仮想物体３１１は、矢印３１６の方向へ移動する。本実施形態では、個別座標系を持つ仮想物体の位置姿勢を、仮想視点の移動に連動させるかを判定するための所定の条件として、撮像部１０１と現実物体３０２～３０５のそれぞれとの相対的な距離を用いる。制御部１１３は、相対的な距離が閾値以上の場合には、個別座標系上の仮想物体の位置姿勢を、仮想視点の移動量に連動させ、相対的な距離が閾値未満の場合には、個別座標系上の仮想物体の位置姿勢を、仮想視点の移動量に非連動とする。
なお、上記の説明では、所定の条件として、撮像部１０１と現実物体３０２～３０５のそれぞれとの相対的な距離を用いたが、撮像部１０１と仮想視点の移動が発生する直前の仮想物体３１２～３１５のそれぞれとの相対的な距離を用いてもよい。また、相対的な距離に限られず、相対的な角度を用いてもよく、距離と角度の両方を用いてもよい。

図３（Ｂ）の例では、撮像部１０１との相対的な距離が閾値以上であると判定された現実物体３０３～３０５に関連付く仮想物体３１３～３１５の位置姿勢が、仮想視点の移動量に連動される。情報処理装置１１０は、相対的な距離が閾値以上と判定した場合、現実物体３０３～３０５に関連付く仮想物体３１３～３１５の表示位置を、矢印３１７～３１９の方向へ其々移動させるよう制御する。
また、図３（Ｂ）の例では、撮像部１０１との相対的な距離が閾値未満であると判定された現実物体３０２に関連付く仮想物体３１２の位置姿勢は、仮想視点の移動に連動されない。情報処理装置１１０は、相対的な距離が閾値未満であると判定した場合、現実物体３０２に関連付く仮想物体３１２の表示位置を、仮想視点の移動に連動させないよう制御する。即ち、仮想物体３１２は仮想視点の移動がない状態と同じ位置に表示される。

以上のように、情報処理装置１１０は、個別座標系を持つ仮想物体に対して、仮想視点の移動処理の連動／非連動を制御する。これにより、仮想視点の移動が発生した場合に、仮想視点の移動量に連動させる仮想物体については、世界座標系上の仮想物体と共に、仮想視点の移動量反映後の異なる視点からの視認可能となる。一方で、仮想視点の移動量に連動させない仮想物体については、仮想視点の移動量がない状態と同じ場所に表示される。これにより、仮想物体に紐づく現実物体を把持して操作するユーザは、仮想視点の移動量反映後の異なる視点においても、仮想視点の移動前と同様に操作を継続できる。以上のようにして、仮想視点の移動が発生した時に、個別座標系を持つ仮想物体の其々について、仮想視点の移動量を連動させるか否かを好適に組み合わせて生成した仮想画像をユーザに対して提示することが可能になる。

以上のような本実施形態に係る情報処理装置１１０によれば、仮想物体を含む空間において仮想視点を移動する際に、ユーザにとって好適な仮想物体の動作制御を実現することができる。

上記の実施形態では、個別座標系を持つ仮想物体の位置姿勢を、仮想視点の移動に連動させるか否かの判定に用いる所定の条件として、撮像部１０１と仮想物体が関連付く現実物体との相対的な距離を用いたが、相対的な距離を用いる場合に限られない。個別座標系を持つ仮想物体の位置姿勢に関する情報や移動に関する情報を用いてもよい。具体的には、情報処理装置１１０は、現実空間内の画像における、世界座標系に割り当てられているマーカー、及び個別座標系に割り当てられているマーカーの位置を時系列で解析して、仮想視点と仮想物体との相対的な移動速度や相対的な移動軌跡を取得する。そして、取得した相対的な移動速度や相対的な移動軌跡を、所定の条件として用いてもよい。なお、仮想物体の移動速度や移動軌跡を、所定の条件として用いてもよい。

また、ユーザの現実物体の把持・装着を含む接触状態を所定の条件として用いてもよい。具体的には、情報処理装置１１０は、ユーザの現実物体の把持状態や装着状態を検出して、把持又は装着している場合には、把持又は装着された現実物体に関連付く仮想物体については、仮想視点の移動と連動させないよう制御する。一方で、把持又は装着していない場合には、把持又は装着されていない現実物体に関連付く仮想物体については、移動処理に連動させるよう制御する。ユーザの把持又は装着の検出は、現実物体に取り付けられた感圧センサーや接触センサーを用いて行ってもよい。また、ユーザの手の位置姿勢と、現実物体の位置姿勢とを検出する検出センサーを設け、情報処理装置１１０が、検出センサーによる時系列的な検出結果に基づいてユーザの手の現実物体に対する接触状態を取得してもよい。また、検出センサーに代えて、情報処理装置１１０が、撮像部１０１で撮像された画像を解析することによりユーザの手の現実物体に対する接触状態を検出してもよい。なお現実物体に対して接触するユーザの部位は、手に限られず、現実物体に接触可能なユーザの所定部位であればよい。

また、上記の実施形態では、仮想物体に対して個別座標系を設定していたが、個別座標系を設定しなくてもよい。この場合には、情報処理装置１１０は、世界座標系上の仮想物体の位置姿勢情報に対して、仮想視点の移動処理の連動／非連動を制御してもよい。

また、上記の実施形態では、ユーザは１人であったが、複数人のユーザによって実施されてもよい。この場合、複数人のユーザ間で、世界座標系上の仮想物体の位置姿勢、仮想視点の位置姿勢、及び現実物体の位置姿勢を共有していて、ユーザ毎に仮想視点を移動させた際に、ユーザ毎に連動／非連動の制御を行う。また、世界座標系上の仮想物体の位置姿勢、仮想視点の位置姿勢、及び現実物体の位置姿勢に加えて、仮想視点の移動量や、個別座標系を持つ仮想物体に対する、仮想視点の移動処理の連動／非連動の制御結果も、複数人のユーザ間で共有されていてもよい。

［実施形態２］
本実施形態では、仮想視点の移動処理に非連動とする場合に、仮想視点の移動が発生した前後で、仮想物体の表示態様を変更する方法について説明する。例えば、情報処理装置１１０は、仮想物体の位置姿勢を非連動とする場合に、該仮想物体の表示位置に、別の仮想物体を複製して表示するよう制御する。

図４は、画像合成部１１５が生成する画像合成結果としてのＭＲ画像を示す。図３と同じ部分については同じ番号を付しており、その説明を省略する。
図４（Ａ）は、図３（Ａ）と同じ状態を示す。
図４（Ｂ）は、図３（Ｂ）と同様に、入力部１２１からの入力値によって、仮想視点の移動が発生した状態を示す。本実施形態において、情報処理装置１１０は、仮想視点の移動に連動させないと判定された仮想物体の位置姿勢に対応させて、予め設定された仮想物体、又はユーザが指定した仮想物体を、複製して表示する。本実施形態では、個別座標系上の仮想物体を、仮想視点の移動に連動させるかを判定するための所定の条件として、実施形態１と同様に、撮像部１０１と仮想物体が関連付く現実物体との相対的な距離を用いる。情報処理装置１１０は、相対的な距離が閾値以上の場合には、個別座標系上の仮想物体の位置姿勢を仮想視点の移動に連動させ、相対的な距離が閾値未満の場合は、個別座標系上の仮想物体の位置姿勢を仮想視点の移動に非連動とする。

図４（Ｂ）の例では、図３（Ｂ）の場合と同様に、撮像部１０１との相対的な距離が閾値未満である現実物体３０２に関連付く仮想物体３１２は、仮想視点の移動に非連動と判定される。情報処理装置１１０は、相対的な距離が閾値未満であると判定した場合、現実物体３０２上の仮想物体３１２の位置姿勢を、仮想視点の移動に連動させないよう制御する。本実施形態では、更に、仮想視点の移動に連動する個別座標系上の仮想物体の一つである仮想物体３１５を複製し、複製した仮想物体３１５を、仮想物体３１２に置き換えて表示する。即ち、現実物体３０２上の仮想物体３１２が、仮想物体４０１に変更されて、仮想視点の移動量がない状態と同じ位置に表示される。これにより、仮想視点の移動を行い、異なる仮想視点から観察する時に、ユーザの把持する現実物体に対して、他の仮想物体がコピーされて新たに関連付けられる。従って、ユーザは同一の現実物体を把持しつつ、新たな目的で利用することが可能になる。

以上のような本実施形態に係る情報処理装置１１０によれば、実施形態１と同様に、仮想物体を含む空間において仮想視点を移動する際に、ユーザにとって好適な仮想物体の動作制御を実現することができる。

なお、上記の実施形態では、仮想視点の移動に連動する個別座標系上の仮想物体を複製しているが、世界座標系上の仮想物体を複製してもよいし、仮想視点の移動に非連動となる個別座標系上の仮想物体を複製してもよい。

［ハードウェア構成例］
図５は、前述した各実施形態における情報処理装置１１０の実装を可能なコンピュータのハードウェア構成を示す図である。前述した各実施形態における情報処理装置１１０を構成する各部は、其々別のハードウェアで構成されてもよく、ＣＰＵ５０１により実行されるプログラムにより実現されてもよい。
図５において、情報処理装置１１０としてのコンピュータは、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、マウス５０４、キーボード５０５、ディスプレイ５０６、外部記憶装置５０７、記憶媒体ドライブ５０８、及びＩ／Ｆ５０９を備える。これらの各デバイスは、バス５１０を介して相互に接続されている。
ＣＰＵ５０１は、情報処理装置１１０を統括的に制御する。ＲＡＭ５０２は、外部記憶装置５０７や記憶媒体ドライブ５０８からロードされたデータや情報処理に必要なデータを一時的に記憶する。またＲＡＭ５０２は、図１に示したデータ記憶部１１６としても機能する。またＲＡＭ５０２は、Ｉ／Ｆ５０９を介して表示装置１００や入力装置１２０等の外部から受信したデータを一時的に記憶する。外部から受信したデータは、撮像部１０１の撮像した現実空間の画像や、入力装置１２０が生成した入力値を含む。またＲＡＭ５０２は、ＣＰＵ５０１のワークエリアとしても機能する。ＲＯＭ５０３は、コンピュータの設定データやブートプログラム等を格納する。マウス５０４及びキーボード５０５は、操作入力装置の一例であり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力する。ディスプレイ５０６は、ＣＲＴや液晶画面等により構成され、ＣＰＵ５０１による処理結果を画像や文字等で表示する。例えば、ディスプレイ５０６には、表示装置１００の位置姿勢計測のために表示すべきメッセージ等を表示することができる。

外部記憶装置５０７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置５０７には、ＯＳ（オペレーティングシステム）や、情報処理装置１１０により実行可能なプログラムや各種のデータが格納されている。外部記憶装置５０７に保存されているプログラムや各種のデータは、ＣＰＵ５０１による制御に従って、適宜ＲＡＭ５０２にロードされる。ＣＰＵ５０１が外部記憶装置５０７に格納されるプログラムをＲＡＭ５０２にロードして実行することにより、コンピュータが、位置姿勢算出部１１１、視点移動処理部１１２、制御部１１３、画像生成部１１４、及び画像合成部１１５として機能する。また、ＣＰＵ５０１が外部記憶装置５０７に格納されるプログラムをＲＡＭ５０２にロードして実行することにより、図２のフローチャートに示す処理が実現する。また、外部記憶装置５０７に格納されている各種のデータには、仮想空間を構築するためのデータや、各実施形態において既知の情報として説明したデータが含まれる。なお、外部記憶装置５０７が、図１に示したデータ記憶部１１６として機能してもよい。

記憶媒体ドライブ５０８は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記憶媒体に記録されたプログラムやデータをロードしたり、上記の記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置５０７に保存されているものとして説明したプログラムやデータの一部又は全部を、記憶媒体に記録しておいてもよい。記憶媒体ドライブ５０８が記憶媒体からロードしたプログラムやデータは、外部記憶装置５０７やＲＡＭ５０２に対して出力される。Ｉ／Ｆ５０９は、表示装置１００の撮像部１０１を接続するためのアナログビデオポート、ＩＥＥＥ１３９４等のデジタル入出力ポート、合成画像を表示装置１００の表示部１０２に対して出力するためのイーサネット（登録商標）ポート等によって構成される。Ｉ／Ｆ５０９を介して受信したデータは、ＲＡＭ５０２や外部記憶装置５０７に入力される。また、仮想視点や現実物体の位置姿勢情報の取得にセンサーシステムを用いる場合、このＩ／Ｆ５０９には、センサーシステムを接続することになる。

［その他の実施形態］
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図示したフローチャートに対応したコンピュータ読み取り可能なプログラムである。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等との協働で実施形態の機能が実現されてもよい。この場合、ＯＳ等が、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

１００：表示装置、１１０：情報処理装置、１２０：入力装置

Claims (19)

1. 仮想視点の位置姿勢、及び１以上の仮想物体の位置姿勢を取得する取得手段と、
   前記仮想視点の移動を行う移動手段と、
   前記１以上の仮想物体の其々に対して、所定の条件を満たすかに基づいて、前記仮想視点の移動に連動させるかを制御する制御手段と、
   前記移動された視点での、前記制御された前記１以上の仮想物体を含む仮想画像を生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記取得手段により取得された前記仮想物体の位置姿勢を、前記仮想視点の移動に連動して移動させるかを制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、
   前記所定の条件を満たす前記仮想物体を、前記取得手段により取得された前記仮想物体の位置姿勢を前記仮想視点の移動に連動して移動させ、
   前記所定の条件を満たさない前記仮想物体を、前記仮想視点の移動に連動させず、前記取得手段により取得された前記仮想物体の位置姿勢のままにする
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記制御手段は、前記仮想視点の移動に連動させない前記仮想物体を、別の前記仮想物体に変更するよう制御することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記仮想物体を複製する複製手段を更に有し、
   前記制御手段は、前記仮想視点の移動に連動させない前記仮想物体を、複製された別の前記仮想物体に置き換えることを特徴とする請求項４に記載の情報処理装置。
6. 前記所定の条件として、前記仮想視点と前記仮想物体との間の相対的な距離、及び相対的な角度のうちの少なくとも一方を用いることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記所定の条件として、前記仮想物体の位置及び姿勢のうちの少なくとも一方を用いることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記所定の条件として、前記仮想物体の移動に関する情報を用いることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記所定の条件として、前記仮想視点と前記仮想物体との間の相対的な移動速度及び移動軌跡のうちの少なくとも一方を用いることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記所定の条件として、前記仮想視点と前記仮想物体との間の相対的な距離を用い、
    前記制御手段は、
    前記仮想視点との間の相対的な距離が閾値未満である前記仮想物体は、前記取得手段により取得された位置姿勢のままにし、
    前記仮想視点との間の相対的な距離が閾値以上である前記仮想物体は、前記取得手段により取得された位置姿勢を前記仮想視点の移動に連動して移動させる
    ことを特徴とする請求項６に記載の情報処理装置。
11. 前記１以上の仮想物体のうちの少なくとも１つが、現実物体に関連付けられていることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記仮想画像を観察するユーザの所定部位の前記現実物体に対する接触状態を検出する検出手段を更に有し、
    前記所定の条件として、前記現実物体に対する前記所定部位の接触状態を用いることを特徴する請求項１１に記載の情報処理装置。
13. 前記所定部位が、手であることを特徴とする請求項１２に記載の情報処理装置。
14. 前記制御手段は、
    ユーザの前記所定部位が前記現実物体に接触している場合には、当該現実物体に関連付く前記仮想物体の位置姿勢を前記取得手段で取得されたままにし、
    ユーザの前記所定部位が前記現実物体に接触していない場合には、当該現実物体に関連付く前記仮想物体の位置姿勢を前記仮想視点の移動に連動して移動させる
    ことを特徴とする請求項１２又は１３に記載の情報処理装置。
15. 前記取得手段は、前記仮想視点の位置姿勢として、現実空間を撮像する撮像装置の位置姿勢を取得することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 前記取得手段は、前記撮像装置で撮像された現実空間の画像に基づいて、前記１以上の仮想物体の位置姿勢を取得することを特徴とする請求項１５に記載の情報処理装置。
17. 前記移動手段は、前記仮想画像を観察するユーザからの方向及び又は位置の指示を入力可能な入力装置から入力された値に基づいて前記仮想視点の移動量を算出することを特徴とする請求項１乃至１６の何れか１項に記載の情報処理装置。
18. 仮想視点の位置姿勢、及び１以上の仮想物体の位置姿勢を取得する取得ステップと、
    前記仮想視点の移動を行う移動ステップと、
    前記１以上の仮想物体の其々に対して、所定の条件を満たすかに基づいて、前記仮想視点の移動に連動させるかを制御する制御ステップと、
    前記移動された視点での、前記制御された前記１以上の仮想物体を含む仮想画像を生成する生成ステップと、
    を含むことを特徴とする情報処理方法。
19. 請求項１乃至１７の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images