JP2017199085A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】 現実空間に重ねて表示される仮想現実空間の画像に対して選択された部位の調整を容易に且つ確実に行えるようにする。【解決手段】 ＨＭＤ１０２の位置および姿勢と音声コマンドとに基づいて、ＭＲ画像に対して体験者により選択された部品（仮想物体の部位）を自動的に選択し直し、ＭＲ画像において強調表示する部品を、選択し直した部品に変更する。【選択図】 図２

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、現実空間に重なるように仮想現実空間の画像を表示するために用いて好適なものである。

現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置および姿勢に応じて生成した仮想現実空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重ねて描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

また、係る画像表示装置は、光学シースルー方式によっても実現される。即ち、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置および姿勢に応じて生成した仮想現実空間の画像を表示することによっても実現される。この場合には、現実空間の画像ではなく、実際の現実空間に重なるように仮想現実空間の画像が表示される。

このような画像表示装置の応用として、自動車・航空機などの製造業において開発中の製品をコンピュータグラフィックス（ＣＧ）画像として、現実空間に重ねて表示することが考えられる。このようにすれば、自由な視点から製品を確認、検討することで、実寸大の模型を作製せずにデザイン等の検討を行うことができる。このようなＣＧの位置を指定する技術として特許文献１に記載の技術がある。特許文献１に記載の技術では、ＣＧの一点を指示する主ポインタを表示すると共に、当該主ポインタと間隔を空けて補助ポインタを表示する。主ポインタの位置が移動すると、補助ポインタも主ポインタとの間隔を保ったまま移動する。補助ポインタがＣＧ上の仮想物体と重複すると、当該補助ポインタの仮想物体と重複している部分を非表示にし、主ポインタと仮想物体との距離をユーザに把握させる。

特開平６−８３９３５号公報

しかしながら、特許文献１に記載の技術では、一方向（奥行方向）でしか仮想現実空間の画像の部位を指定することができない。従って、当該方向以外の方向においては、体験者が誤った部位を指定する虞がある。特許文献１に記載の技術では、このような場合の補正の手立てがない。
本発明は、このような問題点に鑑みてなされたものであり、現実空間に重ねて表示される仮想現実空間の画像に対して選択された部位の調整を容易に且つ確実に行えるようにすることを目的とする。

本発明の情報処理装置は、現実空間に重なるように表示装置により表示された仮想現実空間の画像の部位をユーザによる第１の指示に基づいて指定する指定手段と、前記指定手段により指定された前記仮想現実空間の画像の部位をユーザによる第２の指示に基づいて補正する補正手段と、を有し、前記第２の指示は、前記第１の指示のやり直しとは異なる指示であって、前記表示装置を使用するユーザが、前記表示装置により表示された前記仮想現実空間の画像を見ながら行うことが可能な指示であることを特徴とする。

本発明によれば、現実空間に重ねて表示される仮想現実空間の画像に対して選択された部位の調整を容易に且つ確実に行うことができる。

画像表示システムの構成を示す図である。 仮想現実表示デバイスの機能的な構成の第１の例を示す図である。 画像表示システムの処理を説明するフローチャートである。 仮想物体の配置の一例を示す図である。 仮想現実表示デバイスの機能的な構成の第２の例を示す図である。 ＣＧモデルの構造を表す図である。

以下に、図面を参照しながら、実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、画像表示システムの構成の一例を示す図である。画像表示システムは、仮想現実表示デバイス１０１と、ＨＭＤ（Head Mounted Display）１０２と、仮想レーザーデバイス１０３とを有する。

仮想現実表示デバイス１０１とＨＭＤ１０２は通信路１０４で相互に接続されている。通信路１０４は、仮想現実表示デバイス１０１とＨＭＤ１０２とが通信を行うために使われる通信路である。当該通信には、例えば、仮想現実表示デバイス１０１で生成された画像をＨＭＤ１０２に送信することと、ＨＭＤ１０２で取得された現実空間の画像を仮想現実表示デバイス１０１に送信することとが含まれる。通信路１０４では、例えば、ＨＤＭＩ（登録商標）やＩＥＥＥ１３９４などの画像送受信プロトコルが使用される。この他、通信路１０４に、ＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）などを使用してもよい。仮想現実表示デバイス１０１とＨＭＤ１０２とを同一のコンピュータに組み込み、通信路１０４を、ソフトウェアプロセス間の通信路としてもよい。

同様に、仮想現実表示デバイス１０１と仮想レーザーデバイス１０３は通信路１０５で相互に接続されている。通信路１０５は、仮想レーザーデバイス１０３と仮想現実表示デバイス１０１とが通信を行うために使われる通信路である。例えば、仮想レーザーデバイス１０３から仮想現実表示デバイス１０１へ、通信路１０５を介して、仮想レーザーデバイス１０３の位置姿勢情報などが送信される。通信路１０５では、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信プロトコルが使用される。この他、通信路１０５に、ＵＳＢなどの有線接続を使用してもよい。仮想レーザーデバイス１０３を仮想現実表示デバイス１０１と同一のコンピュータに組み込み、通信路１０５をソフトウェアプロセス間の通信路としてもよい。

図２は、仮想現実表示デバイス１０１の機能的な構成の一例を示すブロック図である。前述したように本実施形態の画像表示システムは、仮想現実表示デバイス１０１と、ＨＭＤ１０２と、仮想レーザーデバイス１０３とを有する。ＨＭＤ１０２は、表示装置の一例であり、頭部装着型の撮影・表示デバイスである。本実施形態では、頭部装着型のカメラ内蔵型ディスプレイを用いるが、手持ち型のハンドヘルドディスプレイを用いてもよい。頭部装着型のカメラ内蔵型ディスプレイでは、体験者は、当該カメラ内蔵型ディスプレイを頭部に装着すると、カメラで撮像された現実空間の画像に仮想現実空間のＣＧが重ねられた画像を見ることができる。頭部装着型のカメラ内蔵型ディスプレイを装着することにより、体験者の視界は制限される。一方、手持ち型のハンドヘルドディスプレイでは、体験者は、当該ハンドヘルドディスプレイを覗き込むと、カメラで撮像された現実空間の画像に仮想現実空間のＣＧが重ねられた画像を見ることができる。この場合も、体験者の視界は制限される。また、光学シースルー型（光学透過型）のＨＭＤを用いてもよい。即ち、カメラで撮像された現実空間の画像ではなく、実際の現実空間に重なるように仮想現実空間のＣＧを表示してもよい。前述した何れの表示装置を用いる場合でも、体験者（表示装置を使用するユーザ）のみが、当該表示装置により表示される画像を見ることができる。

仮想レーザーデバイス１０３は、ＨＭＤ１０２を装着している体験者が、仮想現実空間のＣＧ上の位置を選択するために用いられる。尚、本実施形態では、（１つの）ＨＭＤ１０２を装着することができる体験者が１人である場合を例に挙げて示す。ＨＭＤ１０２を装着している体験者は、仮想レーザーデバイス１０３を手に持って、ＨＭＤ１０２により表示されている、現実空間の画像に仮想現実空間のＣＧが重ねられた画像を見ながら、当該ＣＧ上の位置を選択する。ここで、仮想現実表示デバイス１０１とＨＭＤ１０２は独立したコンピュータデバイスであってもいいし、ＨＭＤ１０２に付属した筐体内に仮想現実表示デバイス１０１を内蔵する構成であってもよい。仮想現実表示デバイス１０１はＨＭＤ１０２が内蔵するコンピュータデバイス上で動作するソフトウェアとして構成されていてもよい。

仮想現実表示デバイス１０１は、撮像部２０１、頭部位置姿勢特定部２０２、ＭＲ画像表示部２０３、複合部位指定部２０４、ＣＧ部位指定部２０５、音声コマンド解析部２０６、および指定部位補正部２０７を含み、各種の情報処理を行う。仮想現実表示デバイス１０１のハードウェアは、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、および各種のインターフェースを備える装置を用いることにより実現される。
撮像部２０１は、ＨＭＤ１０２に内蔵されたカメラなどを通じて、ＨＭＤ１０２（カメラ）から見ることができる視界の画像を現実空間の画像としてシステムに入力する。

頭部位置姿勢特定部２０２は、ＨＭＤ１０２の現実空間内の３次元座標と姿勢を特定する。頭部位置姿勢特定部２０２は、撮像部２０１が取得した３次元現実空間の画像に存在するマーカーや特徴点の情報を用いることにより、ＨＭＤ１０２の現実空間内の３次元座標と姿勢を特定することができる。また、頭部位置姿勢特定部２０２は、仮想現実表示デバイス１０１に接続された赤外線マーカー、磁気センサー、ジャイロセンサーなどの情報を用いて、ＨＭＤ１０２の現実空間内の３次元座標と姿勢を特定してもよい。その他、頭部位置姿勢特定部２０２は、ＨＭＤ１０２を検出する複数のセンサーからの情報を用いて、ＨＭＤ１０２の現実空間内の３次元座標と姿勢を特定してもよい。

ＭＲ画像表示部２０３は、撮像部２０１が取得した現実空間の画像に、仮想現実空間のＣＧとして仮想物体の形状などが重畳された画像を生成する。以下の説明では、現実空間の画像に、仮想現実空間のＣＧが重畳された画像を必要に応じてＭＲ画像と称する。体験者は、このＭＲ画像を、ＨＭＤ１０２を通して見ることによって、あたかも現実空間に仮想物体が存在するかのような体験をすることができる。ここで、ＭＲ画像表示部２０３が生成した画像は、ＨＭＤ１０２に対して出力されてもよいし、ＨＭＤ１０２以外の表示装置に表示しても構わない。即ち、ＭＲ画像表示部２０３が生成した画像は、ＨＭＤ１０２だけに出力しても、ＨＭＤ１０２とＨＭＤ１０２以外の表示装置との双方に出力してもよい。ＨＭＤ１０２以外の表示装置は、第２の表示装置の一例であり、例えば、外部モニタ、プロジェクタ、テレビ、またはコンピュータディスプレイにより実現される。ＨＭＤ以外の表示装置としてこれら何れの表示装置を用いる場合でも、複数人（誰も）が当該表示装置により表示される画像を同時に見ることができる。

このようにＭＲ画像表示部２０３が生成した画像を、ＨＭＤ１０２以外の表示装置に表示させることにより、体験者以外の人物も、体験者と同じ画像を同じタイミングで見ることができる。尚、このようにする場合、仮想現実表示デバイス１０１は、ＨＭＤ１０２だけでなく、ＨＭＤ１０２以外の表示装置とも通信可能に相互に接続される。

ＣＧ部位指定部２０５は、仮想レーザーデバイス１０３の現実空間上の位置および姿勢をもとに、ＭＲ画像表示部２０３によって表示された仮想物体上の特定の部位を指定する。ＣＧ部位指定部２０５は、例えば、仮想レーザーデバイス１０３の現実空間上の位置から、予め指定された特定方向に直進する仮想のレーザー光を仮定し、当該仮想のレーザー光が仮想物体と接触した位置を、仮想物体上の特定の部位として指定する。このように本実施形態では、例えば、体験者による仮想レーザーデバイス１０３の操作により第１の指示が行われる。しかしながら、仮想物体上の特定の部位を指定するための指示（第１の指示）は、このようなものに限定されない。例えば、仮想のレーザー光の代わりに、仮想の工具を想定し、当該仮想の工具の現実空間上の位置から特定方向に一定距離進んだ位置を、当該仮想の工具と仮想物体とが接触する位置（当該仮想物体の特定の部位）として指定してもよい。また、仮想物体上の特定の部位は、仮想レーザーデバイス１０３の動きに連動して連続的に指定されるとしてもよいし、仮想レーザーデバイス１０３が備えるスイッチが押される度に断続的に指定されるとしてもよい。

音声コマンド解析部２０６は、体験者の発生した音声を取得して解析し、音声コマンドとして認識する。ここで音声コマンド解析部２０６は、ＨＭＤ１０２内に内蔵されたマイクを用いて体験者の発した音声を取得するとしてもよいし、ＨＭＤ１０２の外に配置される独立したマイクを用いて体験者の発した音声を取得するとしてもよい。ここで、本実施形態における音声コマンドは、「左へ」、「右の部品」などの、体験者の視点から見た相対的な位置を含み、ＣＧ部位指定部２０５で指定した部位を補正するための指示である。

このように本実施形態では、例えば、体験者の音声により第２の指示が行われ、当該体験者の音声から音声コマンドを認識する場合を例に挙げて説明する。しかしながら、体験者がＭＲ画像を見ながら、ＣＧ部位指定部２０５で指定した部位をどのように補正するのかを指示することができれば、ＣＧ部位指定部２０５で指定した部位の補正の指示（第２の指示）に、必ずしも、音声を用いる必要はない。例えば、音声によらず体験者の手によるジェスチャによる指示や、ＭＲ画像中の仮想のボタンを操作することによる指示によって、コマンドを認識してもよい。また、体験者の視点を基準とせずに、ＣＧ部位指定部２０５で指定した部品をどのように補正するのかを指示してもよい。

指定部位補正部２０７は、音声コマンド解析部２０６で認識された音声コマンドの内容と、頭部位置姿勢特定部２０２で特定されたＨＭＤ１０２の現実空間上の位置および姿勢の情報とに基づき、ＣＧ部位指定部２０５で指定された部位への補正指示を特定する。ここでは、音声コマンド解析部２０６で認識された音声コマンドは、ＨＭＤ１０２を装着した体験者の視点から見た相対的な方向の指示を含んでいるものとする。従って、音声コマンドと、頭部位置姿勢特定部２０２によって特定されたＨＭＤ１０２の現実空間上の位置および姿勢の情報とを併せることによって、ＣＧ部位指定部２０５で指定された部位の補正が可能になる。

複合部位指定部２０４は、ＣＧ部位指定部２０５で指定された部位に、指定部位補正部２０７で特定された補正指示を反映させ、最終的に指定された部位を決定する。最終的に指定された部位の情報は、ＭＲ画像表示部２０３によって、ＨＭＤ１０２で表示される（ＭＲ画像に重畳される）。これにより、体験者は、自らが発した音声コマンドによる補正が適用された位置を選択して見ることが可能となる。

図３は、体験者が仮想レーザーデバイス１０３によって仮想物体中の特定の部位を指定し、その後、音声コマンドを発声して当該位置の補正を行う際の画像表示システムの処理の一例を説明するフローチャートである。
まず、システムの動作が開始されると、ＣＧ部位指定部２０５は、仮想レーザーデバイス１０３による部品（位置）の選択を受け付ける（ステップＳ３０１）。ここで部品とは、ＭＲ画像中に表示される仮想物体を構成する一部品である。

体験者の持つ仮想レーザーデバイス１０３によって部品が選択されると、ＭＲ画像表示部２０３は、ＭＲ画像中の、ステップＳ３０１で選択された部品を強調表示する（ステップＳ３０２）。強調表示は、選択された部品の色や輝度を変更することによって行ってもよいし、部品の周りに仮想の枠を表示したり、付箋のようなアノテーションを表示したりすることによって行ってもよい。尚、選択された部品の表示の内容を変更していれば、必ずしも強調表示を行う必要はない。例えば、選択された部品を非表示にしたり、選択された部品の位置を移動したりしてもよい。

部品の強調表示を行った後、音声コマンド解析部２０６は、体験者の発声による補正指示を受け付ける（ステップＳ３０３）。この補正指示は、ステップＳ３０１で選択された部品をどの部品に変更するのかを示す指示である。その後、音声コマンド解析部２０６は、体験者の発声を一定時間待ち受ける（ステップＳ３０４）。一定時間内に発声がなければ、ステップＳ３０２において選択された部品は、体験者の意図通りであったと判断でき、システムの動作を終了する。ここで、待ち受けを行う時間については、システムの起動前に予め設定しておく。ただし、待ち受けを行う時間をシステムの起動中に任意に変更可能であるとしてもよい。また、専用の音声コマンドの認識またはその他の方法によって、設定した一定時間が経過する前に部品の選択が適正だったとしてシステムの動作を終了させる機能を設けてもよい。同様に、専用の音声コマンドの認識またはその他の方法によって、ステップＳ３０１における部品の選択の結果が誤りであり、且つ、その誤りが、音声コマンドによる部品の補正が可能な範囲を超えているとして、部品の選択を取り消す機能を設けてもよい。

ステップＳ３０４において、一定時間内に体験者から発声があった場合、音声コマンド解析部２０６は、当該音声を解析してコマンド化する（ステップＳ３０５）。
続いて、頭部位置姿勢特定部２０２は、ＨＭＤ１０２の現実空間内の位置および姿勢を取得する（ステップＳ３０６）。ＨＭＤ１０２の現実空間内の位置および姿勢は、体験者の頭部の現実空間内の位置および姿勢に対応する。ここで、ＨＭＤ１０２の現実空間内の位置および姿勢として、ステップＳ３０６を実行中のタイミングにおける位置および姿勢を取得することができる。また、ステップＳ３０３〜Ｓ３０４において体験者が発声しているタイミングに遡って、ＨＭＤ１０２の現実空間内の位置および姿勢を取得してもよい。また、専用の音声コマンドあるいはその他の入力方法によって、ＨＭＤ１０２に表示されるＭＲ画像を或る時刻の状態で停止させ、その時刻におけるＨＭＤ１０２の現実空間内の位置および姿勢を取得してもよい。

次に、指定部位補正部２０７は、ステップＳ３０１で選択された部品の補正の方向を算出する（ステップＳ３０７）。この算出は、ステップＳ３０５において認識された音声コマンドと、ステップＳ３０６において取得されたＨＭＤ１０２の現実空間内の位置および姿勢（頭部の位置および姿勢）を用いて行われる。補正の方向の算出方法については図４を用いて後述する。

補正の方向が算出されたら、複合部位指定部２０４は、ステップＳ３０７で算出された補正の方向に基づいて、部品の選択範囲を変更する（ステップＳ３０８）。例えば、複合部位指定部２０４は、ステップＳ３０７において算出された補正の方向に、現在選択している部品の隣の部品に選択範囲を移動させ、ステップＳ３０２における強調表示の対象を更新する。そして、ＭＲ画像表示部２０３は、ＭＲ画像において強調表示する部品を更新後の部品に変更する。

ここで、指定部位補正部２０７は、「少し右」、「まだ右」などの音声コマンドの種類に応じて、現在選択している部品を移動させる距離を調整してもよい。例えば、音声コマンドの内容と移動させる距離との関係を予め登録しておくことにより、音声コマンドの種類に応じて、現在選択している部品を移動させる距離を調整することができる。例えば、音声コマンドに「少し」が含まれている場合には、現在選択している部品の１つ隣の部品に移動し、「まだ」が含まれている場合には、現在選択している部品の２つ隣の部品に移動するように当該関係を登録することができる。また、指定部位補正部２０７は、音声コマンドの種類に応じて、現在選択している部品の選択を解除せずに、現在の選択範囲を広げたり、狭めたりするようにしてもよい。例えば、音声コマンドの内容と、部品の選択範囲との関係を予め登録しておくことにより、音声コマンドの種類に応じて、現在選択している部品の選択を解除せずに、現在の選択範囲を広げたり、狭めたりすることができる。例えば、音声コマンドに「周りの部品も一緒」が含まれている場合には、現在選択している部品と、当該部品に隣り合う全ての部品を選択するように、当該関係を登録することができる。

音声コマンドと、ＨＭＤ１０２の現実空間内の位置および姿勢（頭部の位置および姿勢）とに応じて、選択している部品の補正が終了したら、音声コマンド解析部２０６は、再び体験者の発声による補正指示を受け付ける（ステップＳ３０３）。
以上のステップＳ３０３〜Ｓ３０８の処理を、選択範囲が体験者の意図通りになるまで繰り返す。そして、一定時間内に発声がなければ、システムの動作を終了する。

前述したように、音声によらずに、体験者の手によるジェスチャや、ＭＲ画像中の仮想のボタンの操作によって、ＣＧ部位指定部２０５で指定した部品をどのように補正するのかを指示してもよい。体験者の手によるジェスチャにより指示を行う場合には、例えば、手の動きと部品の選択範囲の変更の内容との関係を仮想現実表示デバイス１０１等に予め登録する。そして、指定部位補正部２０７は、ＨＭＤ１０２に搭載されたカメラにより撮像された画像から、体験者の手の動きを特定し、特定した動きに関連付けられている部品の選択範囲の変更の内容を読み出し、読み出した内容に従って、部品の選択範囲を変更する。

また、ＭＲ画像中の仮想のボタンの操作により指示を行う場合には、ＭＲ画像中の仮想のボタンの操作の内容と、部品の選択範囲の変更の内容との関係を仮想現実表示デバイス１０１等に予め登録しておく。指定部位補正部２０７は、ＭＲ画像中の仮想のボタンに対して行われた操作の内容に関連付けられている部品の選択範囲の変更の内容を読み出し、読み出した内容に従って、部品の選択範囲を変更する。ＭＲ画像中の仮想のボタンの操作による指示は、仮想レーザーデバイス１０３を用いて行っても、仮想レーザーデバイス１０３以外のデバイスを用いて行ってもよい。

図４は、仮想物体の配置の一例を示す図である。ここでは、立方体状の部品４０１〜４０９が図４のように配置されているような仮想物体を例に挙げて説明する。図４を参照しながら、ステップＳ３０７における処理（現在選択している部品の補正の方向の算出方法）の一例を説明する。

ステップＳ３０１において、体験者が仮想レーザーデバイス１０３を用いて、部品４０５を選択したとする。そうすると、ステップＳ３０２において部品４０５が強調表示される。ここで、ステップＳ３０５において、音声コマンドとして「右の部品」というコマンドが認識されたとする。そうすると、頭部位置姿勢特定部２０２は、ステップＳ３０６において、ＨＭＤ１０２の現実空間内の位置および姿勢を取得する。図４において、ＨＭＤ１０２が、紙面の手前の方向から部品４０１、４０２、４０３を鉛直上方とする姿勢で仮想物体（部品４０１〜４０９）を見ているとすると、体験者から見て部品４０５の右の方向の部品は部品４０６となる。指定部位補正部２０７は、ＨＭＤ１０２の現実空間内の位置および姿勢から、ＨＭＤ１０２から見た場合の各仮想物体の方向を特定し、現在選択している部品に対し、音声コマンドにより指定された方向において隣接する部品に、強調表示する部品を変更する。即ち、ステップＳ３０７、Ｓ３０８の処理により、新たに選択されて強調表示される部品は部品４０６となる。

同様にして、図４において、ＨＭＤ１０２が、紙面の奥の方向から手前の方向に部品４０１、４０２、４０３を鉛直上方とする姿勢で仮想物体（部品４０１〜４０９）を見ているとする。この場合、音声コマンドとして「右の部品」というコマンドが認識されると、部品４０４が新たに選択され、強調表示される部品は部品４０５から部品４０４に変更される。さらに、ＨＭＤ１０２が、紙面の手前の方向から奥の方向に向かって、部品４０７、４０４、４０１を鉛直方向とする姿勢で仮想物体（部品４０１〜４０９）を見ているとする。即ち、部品４０７、４０４、４０１を鉛直方向として紙面の手前の方向から奥の方向に向かって仮想物体（部品４０１〜４０９）を見ている体験者が、頭を９０度左に傾けていたとする。この場合、体験者から場合の部品４０５の見た右の方向は部品４０２となり、「右の部品」というコマンドによる補正は部品４０２となる。

仮想レーザーデバイス１０３から照射される仮想レーザーを用いた部品の選択（ピッキング）は、例えば、ＭＲ技術を用いて、３ＤＣＧ（３次元コンピュータグラフィックス）を表示させ、ＣＧにより表示される部品を複数人でレビューを行う際に行われる。このとき、レビューを行いやすくするために、選択した部品を強調表示させたり、非表示にしたり、移動させたりする。

ピッキングの際に、体験者が誤って隣の部品を選択した場合には、正しい部品が選択されるようにする必要がある。そのために、部品のピッキングをやり直して、部品の再選択を行うことが考えられる。しかしながら、部品の配置等によりピッキングによる部品の選択が難しい場合、繰り返しピッキングを行っても正しい部品が選択されない虞がある。また、部品のピッキングをやり直す代わりに、３ＤＣＧを表示する画像表示装置とは別のＰＣの操作により部品を選択し直すことが考えられる。例えば、３ＤＣＧを構成する部品の一覧表をＰＣの画面に表示し、ＰＣから画像表示装置に、選択した部品の変更を指示することが考えられる。この場合、体験者は、ＨＭＤを外さないとＰＣの画面を見ることができないため、所望の部品を選択することができない。以上のことから、部品の円滑なレビューが妨げられる虞がある。

これに対し本実施形態では、ＨＭＤ１０２の位置および姿勢と音声コマンドとに基づいて、ＭＲ画像に対して体験者により選択された部品（仮想物体の部位）を自動的に選択し直し、ＭＲ画像において強調表示する部品を、選択し直した部品に変更する。従って、仮想現実空間の画像に対して選択された部位を調整するために体験者が意識的に行う操作は、音声コマンドの発声だけになる。よって、仮想現実空間の画像に対して選択された部位を容易に且つ確実に調整することができる。例えば、体験者が「もう少し左」等のコマンドを発声することにより、ＰＣなどの操作を介さずに所望の部品を選択することができる。その結果、ピッキングの選択範囲を補正するための操作によって、ＭＲ画像（例えば部品）のレビューが妨げられることが抑止することができ、レビューに集中することが可能になる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、選択された部品を補正する方向を音声で指示する場合を例に挙げて説明した。これに対し、本実施形態では、部品の上位・下位の関係を音声で指示する場合について説明する。このように本実施形態と第１の実施形態は、音声コマンドの内容が異なることによる構成および処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図４に付した符号と同一の符号を付す等して詳細な説明を省略する。

図５は、仮想現実表示デバイス５００の機能的な構成の一例を示すブロック図である。尚、本実施形態の画像表示システムは、仮想現実表示デバイス５００と、ＨＭＤ１０２と、仮想レーザーデバイス１０３とを有する。本発明の第２の実施例を示す機能ブロック図である。

仮想現実表示デバイス５００は、撮像部２０１、頭部位置姿勢特定部２０２、ＭＲ画像表示部２０３、複合部位指定部５０１、ＣＧ部位指定部２０５、音声コマンド解析部５０２、ＣＧモデル記憶部５０３、および指定部位補正部５０４を含む。このように、ＨＭＤ１０２、仮想レーザーデバイス１０３、撮像部２０１、頭部位置姿勢特定部２０２、ＭＲ画像表示部２０３、ＣＧ部位指定部２０５はそれぞれ、第１の実施形態で説明したものと同じである。

音声コマンド解析部５０２は、体験者の発生した音声を取得して解析し、音声コマンドとして認識する。本実施形態における音声コマンドは、「ひとつ上位の部品」などの、仮想物体を構成するＣＧモデルの構成情報に関する指示であり、ＣＧ部位指定部２０５で指定した仮想物体上の特定の部位（例えば、部品）の位置を補正するための指示である。本実施形態では、体験者の音声から音声コマンドを認識する場合を例に挙げて説明する。しかしながら、第１の実施形態と同様に、音声によらず体験者の手によるジェスチャや、ＭＲ画像中の仮想のボタンを操作することによる指示によって、コマンドを認識してもよい。

ＣＧモデル記憶部５０３は、ＣＧモデルを記憶する。ＣＧモデルは、現実空間の画像に重ねて表示するための仮想物体の形状を表すデータである。このデータは、ＣＡＤなどのソフトウェアを用いて人為的にデザインされたデータであってもよいし、レーザースキャナや複数台のカメラを用いて現実空間の計測データから再構築されたデータであってもよい。このデータは、仮想物体を構成する複数の部品のデータからなり、それぞれの部品間には、各部品の包含関係（即ち上位・下位の関係）を表すツリー構造が存在する。

図６は、ＣＧモデルの構造の一例を表す図である。ＣＧモデルは、複数の部品が集まって一つの部品を構成し、その部品がまた集まってさらに上位の部品を構成するような階層構造を成している。
図６に示す例では、複写機モデル６０１は、本体６０２とその他の部品で構成されている。図６では、複写機モデル６０１を構成する本体６０２以外の部品は省略して記載しているが、実際には複写機モデル６０１は、本体６０２以外の部品も有する。ただし、本体６０２のみで、複写機モデル６０１を構成してもよい。

同様に本体６０２は、上面パネル６０３とその他のいくつかの部品、上面パネル６０３は、操作盤６０４とその他のいくつかの部品、操作盤６０４は、液晶画面６０５、スタートボタン６０６、電源ＬＥＤ６０７とその他のいくつかの部品で構成される。このようにして、階層構造が定義されている。尚、このように本実施形態では、仮想現実表示デバイス５００にＣＧモデル記憶部５０３を設け、仮想現実表示デバイス５００でＣＧモデルを管理する場合を例に挙げて示す。しかしながら、必ずしもこのようにする必要はない。例えば、仮想現実表示デバイス５００と異なる装置でＣＧモデルを管理し、仮想現実表示デバイス５００が当該ＣＧモデルを参照する形態を採用してもよい。

指定部位補正部５０４は、音声コマンド解析部５０２で認識された音声コマンドの内容と、ＣＧモデル記憶部５０３に記憶されているＣＧモデルとに基づき、ＣＧ部位指定部２０５で指定された部位への補正指示を特定する。ここでは、音声コマンド３０９で認識された音声コマンドは、ＣＧモデル内の部品の選択範囲を補正する指示を含んでいるものとする。従って、音声コマンドと、ＣＧモデルのデータ構造と併せることによって、ＣＧ部位指定部２０５で指定された部位の選択範囲の補正が可能になる。尚、指定部位補正部５０４は、ＭＲ画像のどの位置にどの部品が表示されているのかを、例えば、ＣＧの内容や予め登録されているＭＲから特定できる。

例えば図６において、ＣＧ部位指定部２０５によってスタートボタン６０６が選択された状態で、音声コマンド解析部５０２によって認識された音声コマンドが「選択範囲をひとつ上位の部品に拡大」というものであるとする。この場合、指定部位補正部５０４は、部品の選択範囲を操作盤６０４に補正する。この状態で同様の音声コマンドが更に認識されると、部品の選択範囲は上面パネル６０３に拡大されることになる。また、ＣＧ部位指定部２０５によって上面パネル６０３が選択された状態で、音声コマンド解析部５０２によって認識された音声コマンドが「ひとつ下位の部品に縮小」というものであるとする。この場合、指定部位補正部５０４は、部品の選択範囲を本体６０２に補正する。

ＣＧモデルの構成によっては複数の補正の候補が存在することがある。例えば、ＣＧ部位指定部２０５によって操作盤６０４が選択された状態で、音声コマンド解析部５０２によって認識された音声コマンドが「ひとつ下位の部品に縮小」である場合には、３つの補正の候補が存在することになる。この場合、ＣＧモデル内の任意の情報（部品に割り振られたＩＤなど）を用いて、複数の補正の候補の中から１つの部品を一意に決定してもよいし、専用の音声コマンドを用いて順番に候補を提示し、提示した候補から体験者の操作により部品を選択させてもよい。部品にＩＤを割り振る場合には、例えば、同一の階層に属する複数の部品に優先順位をつけ、当該複数の部品に対し当該優先順位が高い部品である程小さな値のＩＤを割り振ることができる。このようにすれば、同一の階層に複数の部品が属しているために複数の補正の候補が存在する場合、ＩＤの値が小さな部品を選択することができる。

複合部位指定部５０１は、ＣＧ部位指定部２０５で指定された部位に、指定部位補正部５０４で特定された補正指示を反映させ、最終的に指定された部位を決定する。最終的に指定された部位の情報は、ＭＲ画像表示部２０３によって、ＨＭＤ１０２で表示される（ＭＲ画像に重畳される）。これにより、体験者は、自らが発した音声コマンドによる補正が適用された位置を選択して見ることが可能となる。
以上のようにすることによって、ＣＧモデルにより定義されている階層の単位で、選択した部品の補正を行うことができ、第１の実施形態で説明したのと同様の効果を得ることができる。尚、本実施形態の構成と第１の実施形態の構成とを組み合わせてもよい。即ち、音声コマンドが補正の方向を示すものである場合には、第１の実施形態を適用し、音声コマンドがＣＧモデルの構成情報に関するものである場合には、第２の実施形態を適用してもよい。また、本実施形態においても、第１の実施形態で説明した種々の変形例を採用することができる。

（第３の実施形態）
次に、第３の実施形態を説明する。第１、第２の実施形態では、ＭＲ画像表示部２０３は、現実空間の画像に仮想物体を重畳したＭＲ画像を、ＨＭＤ１０２に表示する場合を例に挙げて説明した。これに対し、本実施形態の画像表示システムは、複数のＨＭＤにそれぞれ表示されているＭＲ画像を、ＨＭＤ以外の表示装置に切り替え表示する。このように本実施形態と、第１、第２の実施形態とは、ＭＲ画像をＨＭＤ以外の表示装置させるための構成および処理が主として異なる。従って、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。

本実施形態では、画像表示システム内に複数のＨＭＤを接続する。そして、任意のＨＭＤのＭＲ画像を、ＨＭＤ以外の表示装置に表示することによって、ＨＭＤの体験者以外のメンバーがＭＲ画像（例えば部品）のレビューに参加できるようにする。本実施形態では、複数のＨＭＤと、ＨＭＤ以外の表示装置とが、仮想現実表示デバイスに通信可能に接続される。ＨＭＤ以外の表示装置は、第２の表示装置の一例であり、例えば、外部モニタ、プロジェクタ、テレビ、またはコンピュータディスプレイにより実現される。ＨＭＤ以外の表示装置としてこれら何れの表示装置を用いる場合でも、複数人（誰も）が当該表示装置により表示される画像を同時に見ることができる。

例えば、レビューの参加者は、ＰＣやタブレット等の端末装置を操作して、複数のＨＭＤに表示されているＭＲ画像の中から、ＨＭＤ以外の表示装置に表示するＭＲ画像を選択する。端末装置は、選択されたＭＲ画像を出力しているＨＭＤの情報を、仮想現実表示デバイスに出力する。そして、仮想現実表示デバイスは、ＨＭＤ以外の表示装置に表示されているＭＲ画像を、当該情報により特定されるＨＭＤから出力されているＭＲ画像に切り替えて表示する。この場合、ステップＳ３０６において取得される、ＨＭＤの現実空間内の位置および姿勢は、その時点でＨＭＤ以外の表示装置に表示されているＭＲ画像を出力しているＨＭＤの現実空間内の位置および姿勢である。従って、ステップＳ３０７において算出される補正の方向は、その時点でＨＭＤ以外の表示装置に表示されているＭＲ画像内の部品の補正の方向である。また、ステップＳ３０８において強調表示される部品は、その時点でＨＭＤ以外の表示装置に表示されているＭＲ画像内の部品のうち、ステップＳ３０７で算出された補正の方向に基づいて変更された部品である。尚、部品の強調表示は、ＨＭＤに表示されるＭＲ画像だけでなく、ＨＭＤ以外の表示装置に表示されるＭＲ画像に対しても行われる。強調表示される部品の補正の方法は、第１の実施形態または第２の実施形態と同じ方法を採用することができる。

以上のようにして画像表示システムを構成することによって、第１、第２の実施形態で説明した効果に加え、ＨＭＤの体験者以外のメンバーが、複数のＨＭＤに表示されるＭＲ画像（例えば部品）のレビューに参加することができるという効果が得られる。尚、本実施形態においても、第１、第２の実施形態で説明した種々の変形例を採用することができる。

前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：仮想現実表示デバイス、１０２：ＨＭＤ、１０３：仮想レーザーデバイス

Claims (14)

1. 現実空間に重なるように表示装置により表示された仮想現実空間の画像の部位をユーザによる第１の指示に基づいて指定する指定手段と、
   前記指定手段により指定された前記仮想現実空間の画像の部位をユーザによる第２の指示に基づいて補正する補正手段と、を有し、
   前記第２の指示は、前記第１の指示のやり直しとは異なる指示であって、前記表示装置を使用するユーザが、前記表示装置により表示された前記仮想現実空間の画像を見ながら行うことが可能な指示であることを特徴とする情報処理装置。
2. 前記第２の指示は、音声による指示、ジェスチャによる指示、または前記仮想現実空間の画像を表示する画面に対する操作による指示であることを特徴とする請求項１に記載の情報処理装置。
3. 更に、前記表示装置の位置および姿勢を特定する特定手段を有し、
   前記補正手段は、前記特定手段により特定された前記表示装置の位置および姿勢と、前記第２の指示の内容とに基づいて、前記仮想現実空間の画像の部位を補正することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記仮想現実空間の画像を構成するそれぞれの部分は、階層構造で管理され、
   前記補正手段は、前記第２の指示の内容と、前記階層構造とに基づいて、前記仮想現実空間の画像を構成する部分の選択範囲を補正することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記表示装置は、撮像手段により撮像された前記現実空間の画像に、前記仮想現実空間の画像を重ねて表示することを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 更に、前記指定手段により前記仮想現実空間の画像に対して指定された部位の表示を変更させる変更手段を有し、
   前記変更手段は、前記補正手段により前記仮想現実空間の画像の部位が補正されると、表示の変更の対象となる部位を、当該補正された部位に更新することを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記表示装置は、前記表示装置を使用するユーザだけが見ることができる状態で、前記仮想現実空間の画像を表示することを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記表示装置は、ＨＭＤ（Head Mounted Display）であることを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. 更に、前記仮想現実空間の画像を、前記表示装置と、前記表示装置と異なる第２の表示装置とに出力する出力手段を有し、
   前記第２の表示装置は、複数人が同時に見ることができる状態で、前記仮想現実空間の画像を表示することを特徴とする請求項１〜８のいずれか１項に記載の情報処理装置。
10. 請求項１〜８のいずれか１項に記載の情報処理装置と、前記表示装置と、を有することを特徴とする画像表示システム。
11. 請求項９に記載の情報処理装置と、前記表示装置と、前記第２の表示装置と、を有することを特徴とする画像表示システム。
12. 複数の前記表示装置を有し、
    前記第２の表示装置は、前記複数の表示装置から選択された表示装置に表示される画像を表示し、
    前記補正手段は、前記選択された表示装置により表示された前記仮想現実空間の画像の部位を補正することを特徴とする請求項１１に記載の画像表示システム。
13. 現実空間に重なるように表示装置により表示された仮想現実空間の画像の部位をユーザによる第１の指示に基づいて選択する指定工程と、
    前記指定工程により指定された前記仮想現実空間の画像の部位をユーザによる第２の指示に基づいて補正する補正工程と、を有し、
    前記第２の指示は、前記第１の指示のやり直しとは異なる指示であって、前記表示装置を使用するユーザが、前記表示装置により表示された前記仮想現実空間の画像を見ながら行うことが可能な指示であることを特徴とする情報処理方法。
14. 請求項１〜９のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。