JP5824537B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、仮想空間に配される三次元仮想物体に対する操作を支援する技術に関するものである。

従来、製造設計分野では、三次元ＣＡＤシステムが用いられており、構成部品やその部品の断面を立体的に表示しながら設計を行うことが可能になっている。たとえば、断面を観察する際には、基準となる断面平面の位置と方向を設定（以下、断面操作と呼ぶ）し、ＣＡＤ画面上の操作で、部品の断面の位置を変更し観察する技術が知られている。

また、頭部装着型表示装置（ＨＭＤ：ヘッドマウントディスプレイ）を用い、仮想現実空間で三次元ＣＡＤシステムを用いて設計を行なう仮想現実感（ＶＲ：Virtual Reality）システムも研究されている（特許文献１）。更に、ＨＭＤを用いて、現実空間と仮想空間とを結合する複合現実感（ＭＲ：Mixed Reality）システムの利用が提案されている（特許文献２）。そして、ＨＭＤを装着し、現実空間を歩き回りながら仮想物体を観察する環境下において、マウスやキーボードの代わりにゲームコントローラのように手等に把持して操作する操作装置も使用されている。

特開２０１２−５３６３１号公報 特開２０１０−６６８９８号公報

しかしながら、ＶＲやＭＲで表示中の断面操作は、ゲームコントローラのあらかじめ決められたボタンで断面を操作しているため、観察者の視線方向が所定の方向と異なるとき、断面の操作方向が、見ている方向と逆になるため、直感的に操作できない場合がある。

たとえば、空間を規定する座標系の原点及び３軸（Ｘ軸、Ｙ軸、Ｚ軸）により定義される座標系で断面を操作する場合を考える。そして、ゲームコントローラの上ボタンをプラスＹ方向の移動、下ボタンをマイナスＹ方向の移動に対応付け、ＸＺ平面と平行な断面平面をＹ軸方向に操作するよう構成されているとする。この場合、ＸＹ平面上に観察者に立って、プラスＹ方向に視線を向けているとき、断面平面は、上ボタンがプラスＹ方向で奥方向へ動き、下ボタンがマイナスＹ方向で手前方向へ動く。この場合は、観察者の操作方向と移動方向とが一致するため違和感なく操作できる。一方、マイナスＹ方向に視線を向けているとき、断面平面は、上ボタンがプラスＹ方向で手前方向へ動き、下ボタンがマイナスＹ方向で奥方向へ動く。つまり、観察者の操作方向と逆になるため、観察者にとっては違和感をあり直感的に操作できない場合があった。また、断面方向が、観察者の方に向いていないときに、断面を確認することができない場合があった。

本発明は上述の問題点に鑑みなされたものであり、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を可能とする技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、情報処理装置は、第１の断面を有する三次元仮想物体を観察する観察者の視点位置を取得する取得手段と、前記第１の断面の向きと、前記視点位置とに基づいて、前記第１の断面が前記観察者のほうを向いているか否かを判定する判定手段と、前記判定手段により、前記第１の断面が前記観察者のほうを向いていないと判定された場合に、前記第１の断面の向きが反転された向きの第２の断面を有する三次元仮想物体の画像を出力する出力手段と、前記第２の断面を移動させるための指示をユーザから受け付ける操作手段と、を備え、前記出力手段は、前記操作手段による操作に基づいて、前記第２の断面の法線ベクトルの方向に沿って前記第２の断面を所定の距離移動させた状態の三次元仮想物体を出力し、前記取得手段は、更に、前記観察者の視線方向を取得し、前記操作手段は、少なくとも第１の方向の指示と該第１の方向と逆方向の第２の方向の指示とをユーザから受け付け可能に構成されており、前記出力手段は、前記視線方向と直交する前記ユーザの視線上方方向と前記第２の断面の法線ベクトルとのなす角αが第１の角度範囲内であった場合と、前記角αが該第１の角度範囲と異なる第２の角度範囲内であった場合とで、前記操作手段における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように、前記第２の断面を移動させた状態の三次元仮想物体を出力する。

本発明によれば、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を可能とする技術を提供することができる。

第１実施形態に係るシステムの全体構成を示すブロック図である。 第１実施形態に係るシステムの外観図である。 仮想物体の断面の切り取り方向（以下、断面方向と呼ぶ）と視点との関係を説明する図である。 ステップＳ８０３０の動作を説明する図である。 ステップＳ８０８０で上方向断面の動作を説明する図である。 ステップＳ８０８０で下方向断面の動作を説明する図である。 ステップＳ８０８０で横方向断面の動作を説明する図である。 第１実施形態に係る情報処理装置１０４０が行う処理のフローチャートである。 他の形態の操作装置を示す図である。 第２実施形態に係るシステムの全体構成を示すブロック図である。 第２実施形態に係る頭部装着型表示装置（ＨＭＤ）の外観図である。 第２実施形態に係る情報処理装置１００４０が行う処理のフローチャートである。 第３実施形態に係るシステムの全体構成を示すブロック図である。 第３実施形態に係るシステムの外観図である。 第３実施形態に係る情報処理装置１３０４０が行う処理のフローチャートである。 第４実施形態に係るシステムの全体構成を示すブロック図である。 第４実施形態に係るシステムの外観図である。 第４実施形態に係る情報処理装置１６０４０が行う処理のフローチャートである。 ステップＳ１８０４０の動作を説明する図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る表示制御装置の第１実施形態として、頭部装着型表示装置（ＨＭＤ）を含む情報処理システムを例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係るシステムの全体構成を示すブロック図である。また、図２は、第１実施形態に係る情報処理システムの外観図である。上述の通り、情報処理システムは、位置姿勢計測部及び表示部を有する頭部装着型表示装置（ＨＭＤ）が用いられている。なお、現実空間中の所定の位置には、磁界を発生する磁界発生装置２０５０が設けられている。この磁界発生装置２０５０の動作制御はセンサコントローラ２０７０が行う。

頭部装着型表示装置としてのＨＭＤ１０１０には、磁気センサである頭部位置姿勢計測部１０２０と１つの表示部１０３０を備えている。頭部位置姿勢計測部１０２０は、頭部位置姿勢計測部１０２０自身の位置姿勢（位置及び方向）に応じた磁界の変化を計測し、その計測結果をセンサコントローラ２０７０に対して送出する。センサコントローラ２０７０は、入力された計測結果に基づいて、センサ座標系２０６０における頭部位置姿勢計測部１０２０の位置姿勢を示す信号値を生成し、情報処理装置１０４０に送出する。ここで、センサ座標系２０６０（所定の座標系）とは、磁界発生装置２０５０の位置を原点とし、この原点で互いに直交する３軸をそれぞれ、Ｘ軸、Ｙ軸、Ｚ軸とする座標系である。

情報処理装置１０４０が有する視点位置姿勢算出部１０５０は、表示部１０３０へ表示する仮想空間の画像の仮想空間座標系２０８０における視点の位置姿勢を算出し、仮想情報管理部１０６０を更新する。ここで、仮想空間座標系２０８０とは、三次元仮想物体を配置する仮想空間を規定する座標系の原点及び３軸をそれぞれ、Ｘ軸、Ｙ軸、Ｚ軸とする座標系である。

なお、ここでは、位置姿勢の計測方法として磁気センサを用いた計測方法を採用している。ただし、位置姿勢の計測方法に依存するものではないため、光学式センサや超音波式センサなど、磁気センサ以外のセンサを用いる位置姿勢計測方法を採用しても良い。また、ＨＭＤ１０１０に撮像装置を取り付け、撮像装置による撮像画像から撮像装置の位置姿勢を推定する方法を採用しても良い。また、複数の位置姿勢計測方法を組み合わせて利用しても良い。

仮想情報管理部１０６０は、視点位置姿勢算出部１０５０で算出した視点位置姿勢を保持する。さらに仮想物体２０９０と断面平面２０４０の情報を仮想記憶部１０６５から読み出す。ここで、仮想物体２０９０及び断面平面２０４０の位置情報は、仮想空間座標系２０８０における座標値である。

ＨＭＤ１０１０を頭部に装着する観察者（操作者）は、手等に把持して操作する指示具としての操作部１１６０（例えばゲームコントローラ）を介して、仮想空間内の仮想物体２０９０及び断面平面２０４０の位置を制御する。ここでは、操作部１１６０は、少なくとも二軸方向（ここでは上下及び左右）を指示可能な十字キーとして構成される方向入力部１１５０を備えている。操作部１１６０は、方向入力部１１５０における入力を判別し、判別結果を情報処理装置１０４０に送出する。

操作方向取得部１０９０は、方向入力部１１５０が送出した入力方向を取得する。断面位置方向取得部１０７０は、仮想情報管理部１０６０から断面平面２０４０を取得し、断面平面２０４０の法線２１００を算出する。

図３は、仮想物体の断面の法線方向（以下、断面方向と呼ぶ）と視点との関係を説明する図である。図３（ａ）は、仮想空間内において、断面方向３０２０が視点３０２５の方を向いていない状態を示している。図３（ｂ）は、仮想空間内において、断面方向３０３０が視点３０２５の方を向いている状態を示している。図３（ｃ）は、仮想空間内において、断面方向３０２０が視点３０２５の方を向いていない他の状態を示している。

断面方向調整部１０８０は、図３（ａ）に示すように、断面方向３０２０が視点３０２５の方を向いていない場合に、断面方向３０２０を反転し、図３（ｂ）の断面方向３０３０のように、断面方向３０３０が視点３０２５の方を向くように変更し、仮想情報管理部１０６０を更新する。

断面操作方向決定部１１００は、視点位置姿勢算出部１０５０が算出した視点の位置姿勢と断面位置方向取得部１０７０が取得した断面平面２０４０と法線２１００から断面操作方向を決定する。断面位置変更部１１１０は、操作方向取得部１０９０が取得した入力方向が、断面操作方向決定部１１００で決定した断面操作方向に一致する場合、断面平面２０４０を移動し、仮想情報管理部１０６０を更新する。

仮想画像生成部１１２０は、視点位置姿勢算出部１０５０が求めた位置姿勢を有する視点から見える仮想空間の画像を生成する。画像出力部１１４０は、仮想画像生成部１１２０から受けた仮想空間の画像を、ＨＭＤ１０１０が有する表示部１０３０に対して出力する。これにより、ＨＭＤ１０１０を頭部に装着している観察者の眼前には、自身の視点の位置姿勢に応じた仮想空間の画像が提示されることになる。

図９は、他の形態の操作装置を示す図である。図９では、表示部１０３０を有する操作部１１６０を把持して、表示部に映し出された仮想物体２０９０と断面平面２０４０を見ながら、方向入力部１１５０を操作する形態の操作装置を示している。

＜装置の動作＞
図８は、第１実施形態に係る情報処理装置１０４０が行う処理のフローチャートである。

ステップＳ８０１０では、仮想情報管理部１０６０は、仮想物体２０９０と断面平面２０４０の情報を仮想記憶部１０６５から読み出す。

ステップＳ８０３０では、視点位置姿勢算出部１０５０は、センサ座標系２０６０における視点の位置姿勢（位置および視線方向）を算出する。なお、頭部位置姿勢計測部１０２０と視点となる観察者の目との相対位置姿勢は、ＨＭＤ１０１０の形状により既知であるので容易に算出可能である。

図４は、ステップＳ８０３０の動作を説明する図である。仮想空間座標系２０８０とセンサ座標系２０６０との相対位置姿勢は既知であるので、センサ座標系２０６０における視点の位置姿勢を、仮想空間座標系における座標値に変換する。そして、図４に示すように、視点の位置４０１０と、この点で互いに直交する３軸をそれぞれ、視軸と水平方向に直行するＣｘ軸４０２０、視軸と鉛直方向に直行するＣｙ軸４０３０、視軸に沿ったＣｚ軸４０４０を求める。

ステップＳ８０４０では、操作方向取得部１０９０は、方向入力部１１５０から入力があれば、ステップＳ８０５０へ進む。入力がなければ、ステップＳ８１００へ進む。

ステップＳ８０５０では、断面位置方向取得部１０７０は、仮想情報管理部１０６０から現在設定されている断面平面の位置姿勢を取得し、断面平面の法線ベクトルを算出する。法線ベクトルは、断面平面の任意の連続した３頂点から２つのベクトルを算出し、当該２つのベクトルの外積を導出することにより求めることが出来る。また、仮想記憶部１０６５へ予め断面平面の法線ベクトルを保存しておいてもよい。

ステップＳ８０６０では、断面方向調整部１０８０は、図３（ａ）のように、断面上の任意の一点３０１５を始点とし、視点位置姿勢算出部１０５０で算出した視点３０２５を終点とするベクトルから視点方向単位ベクトル３０１０を求める。さらに、断面位置方向取得部１０７０で算出した断面平面の法線方向単位ベクトル３０２０を求める。そして、視点方向単位ベクトル３０１０と断面平面の法線方向単位ベクトル３０２０との内積を計算する。

内積が負である場合、仮想物体の断面の切り取り方向である断面方向３０２０は視点方向を向いていないことを示している。そのため、断面を視点位置から観察可能にすべく、断面方向３０２０を反転する。具体的には、図３（ｂ）の断面方向３０３０のように、仮想物体の断面の切り取り方向が視点３０２５の方を向くように変更する。内積が０または正である場合、断面は視点方向を向いているため、なにもしない。

また、図３（ｃ）に示すように、仮想物体の断面の切り取り方向が視点の方向を向いていない場合、断面方向３０２０を反転して視点３０２５に向けたとしても、視線方向が断面の切り取り方向を向いていない。そのため、仮想物体および仮想物体の断面はＨＭＤ１０１０に表示されない。ただし、ＨＭＤ１０１０は頭部に装着しており、常に視点位置姿勢が変更される。そのため、視線方向が仮想物体および断面の方を向くような姿勢になる可能性が高いため、図３（ｃ）に示すような場合でも予め断面の切り取り方向を反転しておくとよい。

ステップＳ８０８０では、断面操作方向決定部１１００は、視線上方方向と断面法線方向とのなす角αを算出する。ここでは、図４に示すように、視点位置姿勢算出部１０５０で算出した視点位置姿勢から得た視線上方方向単位ベクトル４０３０と、断面位置方向取得部１０７０で算出した断面法線単位ベクトル２１００との内積を求める。単位ベクトル同士の内積は、その二つのベクトルのなす角のコサイン値となるので、コサイン値からなす角αを求めることが出来る。

図５は、ステップＳ８０８０において上方向を向いている断面の動作を説明する図である。図５（ａ）、（ｂ）に示すように、断面平面が視線上方方向を向いている場合、方向入力部１１５０における”上”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”下”（つまり”上”と逆方向）の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。ここでは、角αが予め定められた角度範囲内（例えば０°≦α≦４５°）の場合に、断面平面が視線上方方向を向いていると判断する。

図６は、ステップＳ８０８０において下方向を向いている断面の動作を説明する図である。図６（ａ）、（ｂ）に示すように、断面平面が視線下方を向いている場合、方向入力部１１５０における”下”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”上”の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。ここでは、角αが予め定められた角度範囲内（例えば１３５°≦α≦１８０°）の場合に、断面平面が視点下方を向いていると判断する。

図７は、ステップＳ８０８０において横方向を向いている断面の動作を説明する図である。図７（ａ）〜（ｄ）に示すように、断面平面が視線に対し横方向を向いている場合、更に、視線方向単位ベクトル７０１０と断面法線単位ベクトル２１００との内積からなす角βを求める。ここでは、角αが予め定められた角度範囲内（例えば４５°＜α＜１３５°）の場合に、断面平面が視点に対し横方向を向いていると判断する。ここで、視線方向７０１０とは、視点位置姿勢算出部１０５０で算出した視点位置姿勢から得た図４の視点の視軸方向ベクトル４０４０と逆の方向である。

図７（ａ）に示すように、断面方向と視線方向とが同じ方向に向いている場合、方向入力部１１５０における”上”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”下”の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。ここでは、角βが予め定められた角度範囲内（例えば０°≦β＜４５°）の場合に、断面平面と視線方向とが同じ方向に向いていると判断する。

また、図７（ｂ）に示すように、断面方向と視線方向とが反対方向に向いている場合（向かいあっている場合）、方向入力部１１５０における”下”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”上”の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。ここでは、角βが予め定められた角度範囲内（例えば１３５°＜β≦１８０°）の場合に、断面平面と視線方向とが反対方向に向いていると判断する。

更に、図７（ｃ）、（ｄ）に示すように、視線方向に対し断面平面が観察者から見て左右どちらかの方向に向いている場合、更に、視線方向単位ベクトル７０１０のｘ、ｙ成分と断面法線単位ベクトル２１００のｘ、ｙ成分との外積を計算する。ここでは、角βが予め定められた角度範囲内（例えば４５°≦β≦１３５°）の場合に、視線方向に対し断面平面が観察者から見て左右どちらかの方向に向いていると判断する。外積の符号が負であれば、視線方向に対し断面は右方向に向いており、符号が正であれば視線方向に対し断面は左方向を向いていると判断できる。

そして、視線方向に対し断面は右方向に向いている場合、方向入力部１１５０における”右”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”左”の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。一方、視線方向に対し断面は左方向に向いている場合、方向入力部１１５０における”左”の入力に対して断面法線単位ベクトル２１００の方向を対応付ける。そして、方向入力部１１５０における”右”の入力に対して断面法線単位ベクトル２１００と逆の方向を対応付ける。

ステップＳ８０９０では、断面位置変更部１１１０は、操作方向取得部１０９０が取得した入力方向が、断面操作方向決定部１１００で決定した断面操作方向に一致する場合、断面平面２０４０を移動し、仮想情報管理部１０６０で管理されている情報を更新する。

ステップＳ８１００では、仮想画像生成部１１２０は、視点位置姿勢算出部１０５０が求めた視点位置姿勢から見える仮想空間の画像を生成する。そして、ステップＳ８１１０では、画像出力部１１４０は、仮想画像生成部１１２０から受けた仮想空間の画像を、ＨＭＤ１０１０が有する表示部１０３０に対して出力する。

ステップＳ８１２０では、観察者からの終了要求があれば処理を終了し、なければステップＳ８０３０に戻って処理を繰り返す。

以上説明したとおり第１実施形態によれば、観察者（操作者）の視点位置と仮想物体の断面が向いている断面方向との関係に基づいて断面方向を制御する。併せて、観察者（操作者）の視線方向と仮想物体の断面が向いている断面方向との関係に基づいて、方向入力部による入力と操作方向との対応付けを変更するよう制御する。これにより、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を実現することが可能となる。

（第２実施形態）
第２実施形態では頭部装着型表示装置が２つの表示部を有する形態について説明する。具体的には、ＨＭＤ１００１０は、観察者に対し３次元（３Ｄ）表示を提供すべく、右眼用及び左眼用の２つの表示部１００３０を有している。

＜装置構成＞
図１０は、第２実施形態に係るシステムの全体構成を示すブロック図である。図１１は、第２実施形態に係る頭部装着型表示装置（ＨＭＤ）の外観図である。図１０、図１１において、図１、図２と同じ構成要素には同じ参照番号を付しており、それらの説明は省略する。

図１１（ａ）に示すように、頭部装着型表示装置としてのＨＭＤ１００１０は、頭部に装着した観察者の右眼、左眼のそれぞれに画像を提示するための表示部１００３０が設けられている。ＨＭＤ１００１０を頭部に装着した観察者は左眼で左眼用の表示部１００３０（左側）を観察し、右眼で右眼用の表示部１００３０（右側）を観察することになる。この表示部１００３０には、情報処理装置１００４０から送出された仮想空間の画像が表示されることになる。これにより、ＨＭＤ１００１０を頭部に装着している観察者の眼前には、自身の左右の視点の位置姿勢に応じた仮想空間の３次元画像が提示されることになる。なお、ＨＭＤ１００１０に３つ以上の表示部を有する構成にし、それぞれの表示部の視点の位置姿勢に応じた仮想空間画像を提示する構成を採用しても良い。

情報処理装置１００４０が有する視点位置姿勢算出部１００５０は、例えば、仮想空間の画像の仮想空間座標系２０８０における右眼及び左眼それぞれの位置姿勢（位置及び視線方向）を算出する。なお、頭部位置姿勢計測部１０２０と視点となる観察者の目との相対位置姿勢は、ＨＭＤ１００１０の形状により既知であるので容易に算出可能である。なお、２つの位置姿勢を代表する１つの位置姿勢を算出し、仮想情報管理部１０６０を更新するよう構成しても良い。

仮想画像生成部１００２０は、表示部１００３０の左右それぞれの視点の位置姿勢に応じた仮想空間の画像を生成する。画像出力部１０１４０は、表示部１００３０の左右それぞれに対し対応する画像を出力する。

＜装置の動作＞
図１２は、第２実施形態に係る情報処理装置１００４０が行う処理のフローチャートである。なお、図１２に示したフローチャートは、図８と同じ処理の場合には同じ参照番号を付けており、その説明は省略する。

ステップＳ１２０３０では、視点位置姿勢算出部１００５０は、視点の代表的な位置姿勢（位置および視線方向）を算出する。そして、ステップＳ８０３０と同様に、表示部１００３０の左側の視点の位置１１０２１と、この点で互いに直交する３軸をそれぞれ、視軸と水平方向に直行するＣｘ軸１１０３１、視軸と鉛直方向に直行するＣｙ軸１１０４１、視軸に沿ったＣｚ軸１１０５１を求める。さらに、表示部１００３０の右側の視点の位置１１０２２と、この点で互いに直交する３軸をそれぞれ、視軸と水平方向に直行するＣｘ軸１１０３２、視軸と鉛直方向に直行するＣｙ軸１１０４２、視軸に沿ったＣｚ軸１１０５２を求める。そして、左右それぞれの視点の位置姿勢から代表的な１つの位置姿勢を算出する。

ここでは、まず、位置１１０２１と、位置１１０２２を結ぶ直線の中点を求め、代表位置１１０２０とする。さらに、Ｃｙ軸１１０４１とＣｙ軸１１０４２のベクトルの和を算出し、単位ベクトルを求め、代表姿勢Ｃｙ軸１１１４０とする。次に、Ｃｚ軸１１０５１とＣｚ軸１１０５２のベクトルの和を算出し、単位ベクトルを求め、代表姿勢Ｃｙ軸１１１５０とする。更に、Ｃｙ軸１１１４０とＣｚ軸１１１５０の外積を算出し、Ｃｙ軸１１１４０とＣｚ軸１１１５０にそれぞれ直交する代表姿勢Ｃｘ軸１１１３０を求める。

なお、３つ以上の表示部を有するＨＭＤ１００１０の場合は、代表位置はそれぞれの表示部の視点の位置の重心とし、代表姿勢軸Ｃｙ、Ｃｚはそれぞれの軸ごとのベクトルの和を算出し、単位ベクトルを求めるとよい。

ステップＳ１２１００では、仮想画像生成部１００２０は、表示部１００３０の左右それぞれ視点の位置姿勢から見える仮想空間の画像を生成する。ステップＳ１２１１０では、画像出力部１０１４０は、仮想画像生成部１００２０から受けた表示部１００３０の左右それぞれの視点における仮想空間の画像を、ＨＭＤ１００１０が有する表示部１００３０の左右それぞれに対して出力する。

以上説明したとおり第２実施形態によれば、観察者（操作者）に対し、仮想空間に配される三次元仮想物体を３次元（３Ｄ）表示により提供することが可能となる。また、第１実施形態と同様、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を実現することが可能となる。

（第３実施形態）
第３実施形態では頭部装着型表示装置が右眼及び左眼の位置に配された２つの撮像部を更に有する形態について説明する。具体的には、ＨＭＤ１３０１０は、観察者に対し、仮想空間に配される三次元仮想物体の画像を現実空間の風景に重畳表示する複合現実感（ＭＲ）表示を提供すべく、撮像部１３０２０を有している。

＜装置構成＞
図１３は、第３実施形態に係るシステムの全体構成を示すブロック図である。図１４は、第３実施形態に係るシステムの外観図である。図１３、図１４において、図２、図１０、図１１と同じ構成要素には同じ参照番号を付しており、その説明については省略する。

頭部装着型表示装置のＨＭＤ１３０１０は、ＨＭＤ１００１０に対して、更に２つの撮像部１３０２０が追加されたものとなっている。撮像部１３０２０は、現実空間の動画像を撮像するもので、撮像したそれぞれの画像（現実空間の画像）は順次、情報処理装置１３０４０が有する撮像画像取得部１３０５０に入力される。ここでは、撮像部１３０２０は、ＨＭＤ１３０１０を頭部に装着する観察者の右眼用と左眼用の２つが配されている。右眼用の撮像部１３０２０が撮像した現実空間の画像は右眼用の表示部１００３０に表示され、左眼用の撮像部１３０２０が撮像した現実空間の画像は左眼用の表示部１００３０に表示される。

撮像画像取得部１３０５０は、取得した現実空間の画像を画像合成部１３０３０に送出する。画像合成部１３０３０は、仮想画像生成部１００２０が生成した仮想空間の画像と、撮像画像取得部１３０５０から取得した現実空間の画像を重畳し、合成画像を生成する。この合成画像は右眼用と左眼用の２つが作成される。そして画像合成部１３０３０は、生成した合成画像を画像出力部１０１４０に出力し、画像出力部１０１４０は、この合成画像を表示部１００３０に対して出力する。

＜装置の動作＞
図１５は、第３実施形態に係る情報処理装置１３０４０が行う処理のフローチャートである。なお、図１５に示したフローチャートは、図１２と同じ処理の場合には同じ参照番号を付けており、その説明については省略する。

ステップＳ１５０１０では、撮像画像取得部１３０５０は、取得した現実空間の画像を画像合成部１３０３０に送出する。ステップＳ１５０２０では画像合成部１３０３０は、仮想画像生成部１００２０が生成した仮想空間の画像と、撮像画像取得部１３０５０から取得した現実空間の画像との合成画像を生成する。そして画像合成部１３０３０は、生成した合成画像を画像出力部１０１４０に出力するので、画像出力部１０１４０は、この合成画像を表示部１３０２０に対して出力することになる。

以上説明したとおり第３実施形態によれば、観察者（操作者）に対し、仮想空間に配される三次元仮想物体の画像を現実空間の風景に重畳表示する複合現実感（ＭＲ）表示を提供することが可能となる。また、第１実施形態と同様、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を実現することが可能となる。

（第４実施形態）
第４実施形態では、自身の位置姿勢の変化に基づいて操作を行う操作部（指示具）を使用する形態について説明する。特に、操作部は、頭部位置姿勢計測部１０２０と同様の磁気センサが配されており、自身の位置姿勢を計測可能に構成されている。

＜装置構成＞
図１６は、第４実施形態に係るシステムの全体構成を示すブロック図である。図１７は、第４実施形態に係るシステムの外観図である。図１６、図１７において、図１、図２と同じ構成要素には同じ参照番号を付しており、その説明については省略する。

上述の通り、操作部１６１６０には、頭部位置姿勢計測部１０２０と同様の磁気センサである操作部位置姿勢計測部１６０２０が配されている。操作部位置姿勢計測部１６０２０は、自身の位置姿勢に応じた磁界の変化を計測し、その計測結果をセンサコントローラ２０７０に対して送出する。センサコントローラ２０７０は、この計測結果から、センサ座標系における操作部位置姿勢計測部１６０２０の位置姿勢を示す信号値を生成して情報処理装置１６０４０に送出する。

また、操作部１６１６０には、イベントを発生させるためにユーザが操作するイベント入力部１６１５０が設けられている。例えば、イベント入力部１６１５０は押下可能なボタンであり、ユーザはイベントを発生させたい場合にこのボタンを押下する。このボタンが押下されると、操作部１６１６０はイベントを発生させ、情報処理装置１６０４０に対して出力する。

＜装置の動作＞
図１８は、第４実施形態に係る情報処理装置１６０４０が行う処理のフローチャートである。なお、図１８に示したフローチャートは、図８と同じ処理の場合には同じ参照番号を付しており、その説明については省略する。

ステップＳ１８０４０では、操作方向取得部１６０９０は、ステップＳ８０３０の視点位置姿勢算出部１０５０と同様に、仮想空間座標系の座標系２０８０における操作部１６１６０の位置姿勢を算出する。

図１９は、ステップＳ１８０４０の動作を説明する図である。まず、図１９（ａ）に示すように、操作部１６１６０の位置１９０１０と視点１９０２０を結ぶ直線と、仮想空間の視点から見た仮想物体を投影する投影面１９０３５と、が交わる点１９０３０を算出する。

さらに、図１９（ｂ）に示すように、操作部１６１６０の、前回の投影面上の位置１９０４０を始点とし、現在の投影面上の位置１９０５０を終点とする直線のベクトルを算出し、投影面上の上下左右を入力方向を判別する。ただし、前回の投影面上の位置と現在の投影面上の位置が全く同じ場合は、現在の投影面上の位置が異なる位置になるまで、計算を開始しないよう構成すると良い。なお、直線のベクトルが投影面上の２次元のベクトルであるため、上下左右の入力方向の判別は、ベクトルのＸＹ成分の絶対値に基づき行うとよい。すなわち、絶対値が大きい方向を入力方向として判別する。

なお、操作方向取得部が操作方向を判別するための方法には、他にもさまざまなものが考えられる。たとえば、操作部１６１６０の現在の指示方向を投影面１９０３５に投影したベクトルを、直接、上下左右の入力方向として判別に用いても良い。

また、キーボードの特定のキーを上下左右に割り当てて、上下左右の入力方向の判別に用いても良い。マウスの移動方向とクリックイベントを、上下左右の入力方向の判別に用いても良い。また、音声入力を、上下左右の入力方向の判別に用いても良い。更に、手の動きを撮像し、連続した手の画像から判別されるジェスチャーを、上下左右の入力方向の判別に用いても良い。

以上説明したとおり第４実施形態によれば、観察者（操作者）は、自身の位置姿勢の変化に基づいて操作を行う操作部（指示具）を使用して仮想空間に配される三次元仮想物体の操作を行うことが可能となる。また、第１実施形態と同様、仮想空間に配される三次元仮想物体に対して違和感のない断面操作を実現することが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 第１の断面を有する三次元仮想物体を観察する観察者の視点位置を取得する取得手段と、
   前記第１の断面の向きと、前記視点位置とに基づいて、前記第１の断面が前記観察者のほうを向いているか否かを判定する判定手段と、
   前記判定手段により、前記第１の断面が前記観察者のほうを向いていないと判定された場合に、前記第１の断面の向きが反転された向きの第２の断面を有する三次元仮想物体の画像を出力する出力手段と、
   前記第２の断面を移動させるための指示をユーザから受け付ける操作手段と、
   を備え、
   前記出力手段は、前記操作手段による操作に基づいて、前記第２の断面の法線ベクトルの方向に沿って前記第２の断面を所定の距離移動させた状態の三次元仮想物体を出力し、
   前記取得手段は、更に、前記観察者の視線方向を取得し、
   前記操作手段は、少なくとも第１の方向の指示と該第１の方向と逆方向の第２の方向の指示とをユーザから受け付け可能に構成されており、
   前記出力手段は、前記視線方向と直交する前記ユーザの視線上方方向と前記第２の断面の法線ベクトルとのなす角αが第１の角度範囲内であった場合と、前記角αが該第１の角度範囲と異なる第２の角度範囲内であった場合とで、前記操作手段における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように、前記第２の断面を移動させた状態の三次元仮想物体を出力する
   ことを特徴とする情報処理装置。
2. 前記出力手段は、前記第１の断面と同じ位置に前記第２の断面を有する三次元仮想物体の画像を出力する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の断面の向きは該第１の断面の法線ベクトルの向きである
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記判定手段は、前記観察者の視点位置と前記第１の断面に属する所定の領域とを結んだベクトルと、前記第１の断面の法線ベクトルと、の内積に基づいて、前記第１の断面が前記観察者のほうを向いているか否かを判定することを特徴とする請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記操作手段は、更に、前記第１の方向と直交する第３の方向の指示と該第３の方向と逆方向の第４の方向の指示とをユーザから受け付け可能に構成されており、
   前記出力手段は、
   前記視線方向と前記第２の断面の法線ベクトルとのなす角βが第３の角度範囲内であった場合と、該第３の角度範囲と異なる第４の角度範囲内であった場合とで、前記操作手段における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように前記第２の断面を移動させた状態の三次元仮想物体を出力し、
   前記角βが、前記第３の角度範囲及び前記第４の角度範囲と異なる第５の角度範囲であった場合、前記視線方向のベクトルと前記第２の断面の法線ベクトルとの外積の値の符号に応じて、前記操作手段における前記第３の方向の指示に基づく移動方向と前記第４の方向の指示に基づく移動方向とが逆となるように前記第２の断面を移動させた状態の三次元仮想物体を出力する
   ことを特徴とする請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記第１の角度範囲は、０°≦α＜（９０−Ａ）°であり（ただし、０＜Ａ＜９０）、
   前記第２の角度範囲は、（９０＋Ａ）°＜α≦１８０°である
   ことを特徴とする請求項１乃至５の何れか一項に記載の情報処理装置。
7. 前記第３の角度範囲は、０°≦β＜（９０−Ｂ）°であり（ただし、０＜Ｂ＜９０）、
   前記第４の角度範囲は、（９０＋Ｂ）°＜β≦１８０°であり、
   前記第５の角度範囲は、（９０−Ｂ）°≦β≦（９０＋Ｂ）°である
   ことを特徴とする請求項５又は請求項５に従属する場合の請求項６に記載の情報処理装置。
8. 前記操作手段は、二軸方向を指示可能な十字キーとして構成される
   ことを特徴とする請求項１乃至７の何れか一項に記載の情報処理装置。
9. 前記出力手段は、頭部装着型表示装置（ＨＭＤ）として構成される表示装置に前記三次元仮想物体の画像を出力する
   ことを特徴とする請求項１乃至８の何れか一項に記載の情報処理装置。
10. 前記頭部装着型表示装置（ＨＭＤ）は、前記観察者の右眼、左眼のそれぞれに画像を提示するための２つの表示部を有し、
    前記出力手段は、前記２つの表示部のそれぞれに対応する２つの画像を出力することを特徴とする請求項９に記載の情報処理装置。
11. 前記頭部装着型表示装置（ＨＭＤ）は、前記観察者の右眼、左眼のそれぞれの位置からの現実空間の風景を撮像する２つの撮像部を更に有し、
    前記出力手段は、前記２つの表示部のそれぞれに対応する２つの画像として、前記２つの撮像部により得られた２つの撮像画像それぞれに対し仮想空間内の三次元仮想物体を重畳表示した画像を出力する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 仮想空間に配置され、断面を有する三次元仮想物体を観察する観察者の視点位置を取得する取得手段と、
    前記三次元仮想物体の第１の断面の法線ベクトルを取得する法線取得手段と、
    前記観察者の視点位置と前記第１の断面の法線ベクトルとに基づき、前記第１の断面と法線ベクトルが異なる第２の断面を有する三次元仮想物体を生成する画像生成手段と、
    前記画像生成手段によって生成された三次元仮想物体の画像を出力する出力手段と、
    前記第２の断面を移動させるための指示をユーザから受け付ける操作手段と、
    を備え、
    前記画像生成手段は、前記操作手段による操作に基づいて、前記第２の断面の法線ベクトルの方向に沿って前記第２の断面を所定の距離移動させた状態の三次元仮想物体を生成し、
    前記取得手段は、更に、前記観察者の視線方向を取得し、
    前記操作手段は、少なくとも第１の方向の指示と該第１の方向と逆方向の第２の方向の指示とをユーザから受け付け可能に構成されており、
    前記画像生成手段は、前記視線方向と直交する前記ユーザの視線上方方向と前記第２の断面の法線ベクトルとのなす角αが第１の角度範囲内であった場合と、前記角αが該第１の角度範囲と異なる第２の角度範囲内であった場合とで、前記操作手段における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように、前記第２の断面を移動させた状態の三次元仮想物体を生成する
    ことを特徴とする情報処理装置。
13. 前記操作手段は、更に、前記第１の方向と直交する第３の方向の指示と該第３の方向と逆方向の第４の方向の指示とをユーザから受け付け可能に構成されており、
    前記出力手段は、
    前記視線方向と前記第２の断面の法線ベクトルとのなす角βが第３の角度範囲内であった場合と、該第３の角度範囲と異なる第４の角度範囲内であった場合とで、前記操作手段における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように出力し、
    前記角βが、前記第３の角度範囲及び前記第４の角度範囲と異なる第５の角度範囲であった場合、前記視線方向のベクトルと前記第２の断面の法線ベクトルとの外積の値の符号に応じて、前記操作手段における前記第３の方向の指示に基づく移動方向と前記第４の方向の指示に基づく移動方向とが逆となるように出力する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記第１の角度範囲は、０°≦α＜（９０−Ａ）°であり（ただし、０＜Ａ＜９０）、
    前記第２の角度範囲は、（９０＋Ａ）°＜α≦１８０°である
    ことを特徴とする請求項１２又は１３に記載の情報処理装置。
15. 前記第３の角度範囲は、０°≦β＜（９０−Ｂ）°であり（ただし、０＜Ｂ＜９０）、
    前記第４の角度範囲は、（９０＋Ｂ）°＜β≦１８０°であり、
    前記第５の角度範囲は、（９０−Ｂ）°≦β≦（９０＋Ｂ）°である
    ことを特徴とする請求項１３又は請求項１３に従属する場合の請求項１４に記載の情報処理装置。
16. 画像処理装置が実行する情報処理方法であって、
    第１の断面を有する三次元仮想物体を観察する観察者の視点位置を取得する取得工程と、
    前記第１の断面の向きと、前記視点位置とに基づいて、前記第１の断面が前記観察者のほうを向いているか否かを判定する判定工程と、
    前記判定工程において、前記第１の断面が前記観察者のほうを向いていないと判定された場合に、前記第１の断面の向きが反転された向きの第２の断面を有する三次元仮想物体の画像を出力する出力工程と、
    前記第２の断面を移動させるための指示をユーザから受け付ける操作工程と、
    を含み、
    前記出力工程では、前記操作工程による操作に基づいて、前記第２の断面の法線ベクトルの方向に沿って前記第２の断面を所定の距離移動させた状態の三次元仮想物体を出力し、
    前記取得工程では、更に、前記観察者の視線方向を取得し、
    前記操作工程では、少なくとも第１の方向の指示と該第１の方向と逆方向の第２の方向の指示とをユーザから受け付け可能に構成されており、
    前記出力工程では、前記視線方向と直交する前記ユーザの視線上方方向と前記第２の断面の法線ベクトルとのなす角αが第１の角度範囲内であった場合と、前記角αが該第１の角度範囲と異なる第２の角度範囲内であった場合とで、前記操作工程における前記第１の方向の指示に基づく移動方向と前記第２の方向の指示に基づく移動方向とが逆となるように、前記第２の断面を移動させた状態の三次元仮想物体を出力する
    ことを特徴とする情報処理方法。
17. コンピュータを、請求項１乃至１５の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images