JP2006126936A - 画像処理方法、画像処理装置 - Google Patents

Abstract

【課題】 複合現実空間を観察するユーザが簡便に各種の操作を行う為の技術を提供すること。
【解決手段】 タッチパネル３０２上に仮想メニューを配置し、配置した操作パネルの映像を含む仮想空間の映像を現実空間の映像上に重畳して外部に出力する場合に、タッチパネル３０２上で指示された位置に対応する仮想メニュー上の操作部分に対応する動作を実行する。
【選択図】 図１

Description

本発明は、現実空間の映像上に仮想空間の映像を重畳して外部に出力する為の技術に関するものである。

現実空間と仮想空間とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した装置（複合現実感提示装置）が盛んに提案されている。これらの複合現実感提示装置は、カメラなどの撮像装置によって撮影した現実空間の画像に対し、コンピュータグラフィックス（CG: Computer Graphics）で描画した仮想空間の画像を重畳し、ヘッドマウントディスプレイ（HMD: Head-Mounted Display）などの表示装置に表示することで、ユーザに提示している（特許文献１参照）。

複合現実感提示装置を用いると、現実には存在しない物体を、あたかも現実に存在しているかのような感覚で見ることができる。さらに、仮想空間はコンピュータ内にデータとして保持されており、ＣＧによって描画される。すなわち、仮想空間には物理的な制約がほとんど存在しないため、任意に変更することが可能である。例えば、仮想物体の位置や大きさ、外観や物体中の部位の可視・不可視などを変更することができる。このような利点から、複合現実感提示装置は、工業製品などの設計や、外観シミュレーションのなどの分野での応用が特に期待されている。

複合現実感提示装置は、仮想空間を任意に変更できることが大きな特徴である。しかし、その反面、仮想空間を任意に変更するためには、複合現実感提示装置のユーザに対して、数多くの種類の操作を行わせるための環境が必要となる。ユーザに仮想空間を変更させる自由度をより広くすると、それに伴い、ユーザが行うべき操作は膨大かつ複雑なものとなる。

一般的に複合現実感提示装置の制御は、グラフィックス・ワークステーションやパーソナル・コンピュータで行われる。そのため、複合現実感提示装置の操作は、コンピュータに接続されているディスプレイを見ながら、キーボードやマウスによって行われることが主流となっている。

しかし、複合現実空間を観測するユーザが、従来のようにマウスやキーボードによって複合現実感提示装置の操作を行うのは、決して容易なことではない。

複合現実感提示装置のユーザは撮像装置および表示装置を頭部に装着しており、撮像装置で撮像された画像によって、現実空間を観察することとなる。そのため、ユーザが肉眼で直接現実空間を観察するのと比較すると、現実空間画像の視野角や解像度は撮像装置によって制限される。特に、複合現実感提示装置では表示装置および撮像装置をユーザの頭部に装着するため、表示装置、撮像装置は小型でなければならない。しかし、小型の撮像装置では視野角や解像度の制約はさらに大きくなる。すなわち、現状では、頭部装着が可能であるような撮像装置の視野角や解像度は、肉眼と比較すると遠く及ばない。すなわち、複合現実感提示装置のユーザが、撮像装置や表示装置を装着している状態で、（撮像装置によって撮像された画像中の）コンピュータのディスプレイを見ながら、マウスやキーボードを操作することは、現実的に困難であると言える。さらに、仮想空間の画像が、現実空間画像中のマウスやキーボード、ディスプレイを隠蔽し得る状況下では、そもそも操作を行うこと自体が不可能となる。
特開平１１−１３６７０６号公報

そのため、専任のオペレータを配し、オペレータがユーザの指示に従い、マウスやキーボードによる複合現実感提示装置の操作を代行する方法が採られることが多い。しかしこの場合、ユーザがオペレータに自らの意志を正確に伝え、きめ細かな操作を行うことには限度があり、必ずしもユーザの意図通りの操作が実現できるものではなかった。

また、ユーザが頭部に装着する表示装置に２次元のＧＵＩ（Graphical User Interface）を表示させ、ユーザはプレゼンテーションマウスなどの手持ち型マウスを操作することによって、ユーザ自身が操作を直接行うようにする方法が存在する。しかし、一般的なＧＵＩが表示される領域は、表示装置中でかなりの面積を占め、ユーザが観測する現実空間像が阻害されてしまうため、ユーザに対して危険を及ぼす場合がある。さらに、ユーザが頭部を動かした場合、現実空間と仮想空間は頭部の動きに追従して見え方が変化するのに対し、ＧＵＩは２次元的に表示されるため見え方が変化せず、ユーザの違和感を増長する要因となる。ユーザがＧＵＩを凝視するような状況下では、いわゆる「ＶＲ酔い」を起こすことがあり、ユーザが複雑な操作を行うことは困難であった。

本発明は以上の問題に鑑みて成されたものであり、複合現実空間を観察するユーザが簡便に各種の操作を行う為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

即ち、画像処理方法であって、
現実空間の画像を取得する取得工程と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
前記取得工程で取得された現実空間の画像上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、

前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

即ち、画像処理方法であって、
現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
現実空間上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

即ち、画像処理装置であって、
現実空間の画像を取得する取得手段と、
前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
前記取得手段が取得した現実空間の画像上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
を備えることを特徴とする。

本発明の構成により、複合現実空間を観察するユーザが簡便に各種の操作を行うことができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
＜複合現実感提示システム＞
図１は、本実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。同図に示す如く、本実施形態に係る複合現実感提示システムは、コンピュータ１００（複合現実感提示装置と呼称する場合もある）、ＨＭＤ（ＨＭＤ：Head Mounted Display）２００、及び操作部３００により構成されている。

先ず、ＨＭＤ２００について説明する。ＨＭＤ２００は複合現実空間を観察する観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置で、表示装置２０１、撮像装置２０２、センサ２０３により構成されている。

撮像装置２０２は例えば１以上のＣＣＤカメラにより構成されており、自身の位置姿勢に応じて見える現実空間を連続して撮像するものであり、撮像した各フレームの画像はコンピュータ１００が備える画像入力装置１０７に出力される。なお、撮像装置２０２は、観察者の視点として用いることから、観察者が自身の頭部にＨＭＤ２００を装着した際に、観察者の視点（目）の位置にできるだけ近い位置に撮像装置２０２を設けるようにする。

表示装置２０１は、観察者がＨＭＤ１００を頭部に装着したときに眼前に位置するようにＨＭＤ１００に装着されたものであり、コンピュータ１００が備える画像出力装置１０３から出力された画像信号に基づいた画像を表示する。従って観察者の眼前にはコンピュータ１００が生成した画像が提供されることになる。

センサ２０３は、不図示のトランスミッタが発する磁場の変化を検知し、検知した結果の信号をコンピュータ１００に出力するものである。検知した結果の信号は、トランスミッタの位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、センサ２０３の位置姿勢に応じて検知される磁場の変化を示す信号である。コンピュータ１００は、この信号に基づいて、センサ座標系におけるセンサ２０３の位置姿勢を求める。

なお本実施形態では、ＨＭＤ２００を構成する装置をユーザが装着しているが、ユーザが複合現実空間を体験できる形態であれば、ＨＭＤ２００は必ずしもユーザが装着する必要はない。

次に、操作部３００について説明する。操作部３００は、観察者が各種の操作指示を入力するためのものであり、ＬＣＤ３０１とタッチパネル３０２から構成される。

ＬＣＤ３０１は、タッチパネル３０２上に画像出力装置１０３から出力される画像信号に基づく画像を表示するための表示装置であり、液晶パネルなどによって実現される。ＬＣＤ３０１はタッチパネル３０２と一体になっており、観察者は、ＬＣＤ３０１上を指などで触れることにより、タッチパネル３０２に入力を行うことが可能である。

タッチパネル３０２は、観察者が指などで触れると、触れた位置を検出するデバイスであり、ＬＣＤ３０１と一体になっている。観察者はＬＣＤ３０１の上からＬＣＤ３０１上の任意の場所を指で触れることができ、タッチパネル３０１はユーザが指で触れた位置を検出して、入力装置１０６に送出する。

次に、コンピュータ１００について説明する。

１０１はＣＰＵで、ＲＡＭ１０２が保持するプログラムやデータを用いて本装置全体の制御を行うと共に、コンピュータ１００が行う後述の処理を実行する。

１０２はＲＡＭで、ディスク装置１０５からロードされたプログラムやデータを一時的記憶する為のエリア、入力装置１０６を介して受信したデータ、画像入力装置１０７を介して受信したデータを一時的に記憶するためのエリア等を備えると共に、ＣＰＵ１０１が各種の処理を行う際に用いるワークエリアを備える。

１０３は画像出力装置で、グラフィックスカードなどの機器により構成されており、一般的には、画像出力装置１０３は不図示のグラフィックスメモリを保持している。ＣＰＵ１０１が実行するプログラムによって生成された画像情報は、システムバス１０４を介して、画像出力装置１０３が保持するグラフィックスメモリに書き込まれる。画像出力装置１０３は、グラフィックスメモリに書き込まれた画像情報を適切な画像信号に変換して表示装置２０１、ＬＣＤ３０１に送出する。グラフィックスメモリは必ずしも画像出力装置１０３が保持する必要はなく、ＲＡＭ１０２によってグラフィックスメモリの機能を実現してもよい。また、画像出力装置１０３は、表示装置２０１、ＬＣＤ３０１には独立して各々異なる画像信号を送ることができる。

１０５はディスク装置で、ここにはＯＳ（オペレーティングシステム）やコンピュータ１００が行う後述の各処理をＣＰＵ１０１に実行させるために必要なプログラムやデータが保存されている。

１０６は入力装置で、各種インタフェース機器により構成され、センサ２０３から受信したデータ、タッチパネル３０２から受信したデータを受け、これをＲＡＭ１０２に出力する。

１０７は画像入力装置で、キャプチャカードなどの機器により構成されており、撮像装置２０２が撮像した現実空間の画像を受け、これをデータとしてＲＡＭ１０２に出力する。

１０４は上述の各部を繋ぐバスであり、上述の各部間でデータ通信を行う際にはデータはこのシステムバス１０４を介して送受信される。

次に、上記構成を備える本実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着した観察者に対して複合現実空間の画像を提示する為に行う処理について説明する。

ＨＭＤ２００に備わっている撮像装置２０２は、自身の位置姿勢に応じて見える現実空間の画像を撮像し、撮像した画像は画像入力装置１０７を介してデータとしてＲＡＭ１０２に入力される。

一方で、センサ２０３は上述の通り、センサ座標系における自身の位置姿勢に応じた信号を入力装置１０６を介してデータとしてＲＡＭ１０２に入力するので、ＣＰＵ１０１は、このデータが示す「センサ座標系におけるセンサ２０３の位置姿勢」に、予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を加算して、「センサ座標系における撮像装置２０２の位置姿勢」を求める。予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を示すデータはディスク装置１０５に予め保存されているものとする。

また、ＣＰＵ１０１はディスク装置１０５に保存されている仮想空間を構成する各仮想物体のデータ（仮想物体の形状や色、仮想空間における配置位置、などを示すデータ、テクスチャデータ等）を用いて、仮想空間中に仮想物体を配置する。そして先に求めた「撮像装置２０２のセンサ座標系における位置姿勢」に基づいて、撮像装置２０２から見える仮想空間の画像を生成する。所定の位置姿勢を有する１点から見える仮想空間の画像を生成する処理については周知のものであるので、ここでの説明は省略する。

そして生成した仮想空間の画像を、先にＲＡＭ１０２に入力した現実空間の画像上に重畳させ、画像出力装置１０３を介してＨＭＤ２００の表示装置２０１に出力する。これにより、表示装置２０１の表示画面上には複合現実空間の画像が表示されるので、観察者の眼前には撮像装置２０２の位置姿勢に応じた複合現実空間の画像が見えることになる。

なお、複合現実空間の画像を生成して観察者に提示する為の一連の処理については様々考えられ、以上の処理に限定するものではない。

＜仮想メニュー＞
本実施形態では、仮想物体としての操作パネルを操作部３００が備えるＬＣＤ３０１上（タッチパネル３０２上）に配置する。即ち、予めＬＣＤ３０１上のセンサ座標系における座標値を求めておき、求めた座標値にこの操作パネルを配置する。この予め求めておいた座標値はデータとしてディスク装置１０５に保存されているものとする。

図２は、この操作パネルの構成例を示す図である。以下では仮想物体としての操作パネルを「仮想メニュー」と呼称する場合がある。同図において４００は仮想メニューで、同図に示す如く、複数の機能ボタン（同図では「Ｆｉｌｅ」、「Ｖｉｅｗ」、「Ｃｏｎｆｉｇ」、「Ｓｅｌｅｃｔ」、「Ｍｏｖｅ」、「Ｑｕｉｔ」）が配されている。それぞれの機能ボタンは観察者が自身の指や指示具などでもって指示することができる。本実施形態では観察者の指で指示するものとする。このような仮想メニューのデータ（メニューデータ）は予め作成され、仮想空間に係るデータとしてディスク装置１０５に保存されているものとする。メニューデータには例えば、メニューの画像や文字情報、仮想メニューにおける各機能ボタンの領域を示す情報、メニューを選択したときに実行される所定の操作内容、メニューとタッチパネル３０２上の領域とを対応づけるための情報、メニューが複数の階層を持つ場合にはその階層構造、メニューの状態が遷移する場合には、その状態遷移情報が含まれる。

図３は、このような仮想メニュー４００をＬＣＤ３０１上（タッチパネル３０２上）に配置した場合の操作部３００全体の様子を示す図である。このような状態で、頭部にＨＭＤ２００を装着した観察者がＬＣＤ３０１（タッチパネル３０２）上に顔を向けると（換言すれば撮像装置２０２がＬＣＤ３０１（タッチパネル３０２）上を撮像すると）、ＬＣＤ３０１（タッチパネル３０２）上に仮想メニュー４００が重畳された画像が表示装置２０１に表示される。

観察者は、操作部３００上に配置された仮想メニュー４００を見ながら、仮想メニュー４００において所望の操作内容が表示されている（タッチパネル３０２上の）領域を指などで触れることによって、機能ボタンに対応する操作を指示することができる。メニューが階層構造を持つ場合には、機能ボタンに対応するサブメニューを表示する。

上述の通り、頭部にＨＭＤ部２００を装着した観察者は、表示装置２０１に表示される仮想メニュー４００を観察することができる。また、仮想メニュー４００は操作部３００、すなわちＬＣＤ３０１上に重畳されるため、頭部にＨＭＤ部２００を装着した観察者は、現実空間像としてＬＣＤ３０１を観察することはできない。

ここで、一般的な複合現実感提示装置においては、現実空間画像上にＣＧが重畳するように描画処理を行うため、観察者には、仮想空間が現実空間の手前に存在するように知覚される。よって、観察者が仮想メニュー４００を見ながら、タッチパネル３０２を自らの指で触れようとした場合、現実空間画像内の指の上に仮想メニュー４００が重畳されることになるため、自らの指が仮想メニュー４００に隠され、見えなくなってしまう。図４は、ユーザの指が仮想メニュー４００によって隠され、見えなくなっている様子を示す図である。

そこで、本実施形態では、現実空間画像中に観察者の指など、肌色の領域が存在する場合には、その領域について、ＣＧの描画を行わないようにする。これを行う方法については様々なものが考えられるが、例えば特開２００３−２９６７５９において具体的に示されている。

この処理によって、観察者がタッチパネル３０２を指で触れる場合においても、重畳される仮想メニュー４００のうち、ユーザの指と認識された領域については、ＣＧの描画が行われないため、ユーザは自らの指を確認することができるようになる。図５は、観察者の指の領域についてＣＧを描画しない処理を行うことにより、指が確認できる様子を示す図である。

＜コンピュータ１００が行う処理＞
図６は、本実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ１００が行う処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ１０１に実行させるためのプログラムやデータはディスク装置１０５に保存されており、これをＣＰＵ１０１の制御に基づいてＲＡＭ１０２にロードし、ＣＰＵ１０１がこれを用いて処理を行うことで、コンピュータ１００は以下説明する各処理を行うことになる。

先ず、コンピュータ１００を初期化する（ステップＳ１０１０）。この初期化とは例えば、以下の処理に必要なプログラムやデータをディスク装置１０５からＲＡＭ１０２にロードしたり、コンピュータ１００に接続されている周辺機器（ＨＭＤ２００、操作部３００を含む）に対する初期化指示の入力などである。

次に、ＨＭＤ２００に備わっている撮像装置２０２が撮像した現実空間の画像（実写画像）が順次画像入力装置１０７を介してＲＡＭ１０２に入力されるので、これを一時的にＲＡＭ１０２に記憶させる（ステップＳ１０２０）。また、センサ２０３が計測した「自身のセンサ座標系における位置姿勢」（センサ計測値）が入力装置１０６を介してＲＡＭ１０２に入力されるので、これを一時的にＲＡＭ１０２に記録させる（ステップＳ１０３０）。

次に、タッチパネル３０２上に配置された仮想物体としての仮想メニュー上に配されたメニュー項目（図２では機能ボタン「Ｆｉｌｅ」、「Ｖｉｅｗ」、「Ｃｏｎｆｉｇ」、「Ｓｅｌｅｃｔ」、「Ｍｏｖｅ」、「Ｑｕｉｔ」）のうち、何れが指示されたのかを判断する（ステップＳ１０４０）。ここで、ステップＳ１０４０における処理についてより詳細に説明する。

タッチパネル３０２は周知の通り、常に画面上のどの位置が指示されたのかをチェックしており、観察者が自身の指でタッチパネル３０２上の何れかの部分を指示すると、タッチパネル３０２は指示された位置（例えばタッチパネル３０２の左上隅を（０，０）とした座標系（タッチパネル座標系）における指示された位置）を示す信号を入力装置１０６に出力する。ＣＰＵ１０１はこれを受け、この信号が示す位置が、タッチパネル３０２上に配置された仮想メニューに配された機能ボタン群のうち何れの機能ボタンの位置であるのかをチェックする。

これは例えば、タッチパネル座標系とセンサ座標系との位置関係を示すデータ（タッチパネル座標系における座標値を、センサ座標系における座標値に変換する（もしくはその逆の変換を行う）ためのデータ）を予め作成してディスク装置１０５に保存させておき、ＣＰＵ１０１はタッチパネル３０２上の指示された位置を入力装置１０６を介して受けると、このデータを用いて、タッチパネル３０２上の指示された位置の座標値をセンサ座標系における座標値に変換する。これにより、タッチパネル３０２上で指示した位置が仮想メニュー上の何れの位置であるのかをチェックすることができるので、タッチパネル３０２上で指示した位置が、仮想メニュー上に配された各機能ボタンのうちのどの機能ボタン上にあるのかをチェックすることで、どの機能ボタンが指示されたのかをチェックすることができる。

そして、観察者の指の位置が仮想メニュー上の所定の機能ボタンのボタン画像上にある場合（例えば図２において「Ｆｉｌｅ」という機能ボタン画像上にある場合）には処理をステップＳ１０５０に進め、指示された機能ボタンに対応する処理を行う（ステップＳ１０５０）。なお、仮想メニュー上に配する機能ボタンについては特に限定するものではないが、例えば本装置の動作終了を指示するためのメニュー項目や、所定の仮想物体の表示／消去／移動／変形を指示するためのメニュー項目、各種のパラメータの調整を指示するためのメニュー項目などの機能ボタンが考えられる。

そして、ステップＳ１０２０でＲＡＭ１０２に入力した実写画像を読み出し、画像出力装置１０３が有するメモリに描画する（ステップＳ１０６０）。そして、ステップＳ１０３０でＲＡＭ１０２に入力した「センサ２０３のセンサ座標系における位置姿勢を示すデータ」を、予め測定した「センサ２０３と撮像装置２０２との位置姿勢関係」を示すデータでもって変換し、「センサ座標系における撮像装置２０２の位置姿勢」を示すデータを得、得たこのデータが示す視点から見える仮想メニュー以外の仮想物体の画像を生成し、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像上に重畳して描画する（ステップＳ１０７０）。

そして更に、「センサ座標系における撮像装置２０２の位置姿勢」から見える仮想メニューの画像の画像を生成し（その際には当然、タッチパネル３０２上に仮想メニューを配置している）、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像、ステップＳ１０７０でこの実写画像上に描画された仮想物体の画像上に重畳して描画する（ステップＳ１０８０）。ステップＳ１０７０，Ｓ１０８０における処理により、撮像装置２０２の位置姿勢に応じて見える仮想空間の画像が、画像出力装置１０３が有するメモリに先にステップＳ１０６０で描画された実写画像上に重畳して描画されるので、結果としてこのメモリ上には、撮像装置２０２の位置姿勢に応じて見える複合現実空間の画像が描画されていることになる。なお、仮想空間の画像の描画の際には先に説明したように、実写画像において肌色部分には仮想空間の画像が描画しないようにする。

そして、仮想メニューなどでもって本処理の終了が指示された場合には本処理を終了するのであるが、指示されていない場合には処理をステップＳ１０２０に戻し、以降の処理を繰り返す。

また、ステップＳ１０４０のチェック処理の結果、何れの機能ボタンも指示されていない（即ち、指示した位置が仮想メニュー上にはあるものの、どの機能ボタン上にもない）、もしくはタッチパネル３０２上を指示していない場合には処理をステップＳ１０６０に進め、以降の処理を行う。

なお、同図のフローチャートにおいて、以下の条件が満たされる限りにおいては、処理の順序を変更してもよい。

・ ステップＳ１０６０はステップＳ１０２０の後に実行されなければならない。

・ ステップＳ１０７０はステップＳ１０３０の後に実行されなければならない。

・ ステップＳ１０５０はステップＳ１０４０の後に実行されなければならない。

・ ステップＳ１０８０はステップＳ１０４０の後に実行されなければならない。

以上の説明のように、本実施形態では、ユーザはタッチパネル３０２を指で触れることにより、各種の操作指示を入力することができるので、マウスやキーボードを使用する必要はなく、より簡便に操作入力を行うことができる。また、メニューなどのインタフェースはタッチパネル３０２に重畳される形で、ユーザが頭部に装着する表示装置２０１上に描画される。そのため、撮像装置２０２の視野角や解像度による制約の影響を受けない。また、タッチパネル３０２が存在する位置に３次元的に描画されるため、ユーザの違和感も低減される。

なお、本実施形態ではタッチパネル３０２は観察者の指で指示する場合について説明したが、タッチパネル３０２を指示具により指示する場合には、実写画像において肌色の領域ではなく、指示具の色の領域を特定し、特定した領域以外に仮想空間の画像を重畳させる。

また、本実施形態では、センサとして磁気センサを用いるが、これに限定するものではなく、例えばその他にも超音波センサなどを用いるようにしても良い。また、位置姿勢の計測方法についても上記方法に限定するものではない。

［第２実施形態］
図１に示した構成を有するシステムにおいて、実写画像から肌色の領域を抽出する為には例えば以下のようにしても良い。即ち、ＬＣＤ３０１上に単一色の背景画像を表示する。この背景画像は青・緑など、肌色との分離が容易であるような色で塗りつぶされた画像である。

そして、観察者がタッチパネル３０２を操作するとき、ステップＳ１０２０で入力される実写画像には、ユーザの手・指の周囲に背景画像が観測される。よって、ステップＳ１０７０では、背景画像の内部に存在し、特定の色ではない領域を肌色の領域や指示具の色の領域と判定し、この領域以外に仮想空間の画像を描画するようにする。このようは方法であれば、タッチパネル３０２を操作する手段が観察者の指であろうと、指示具であろうと構わない。

［第３実施形態］
更に、操作部３００にセンサ２０３と同様のセンサを取り付ければ、センサ座標系における操作部３００の位置姿勢を計測することができるので、操作部３００の位置姿勢を任意に変更しても構わない。また、操作部３００のサイズが比較的小さい場合には、観察者が手に持って用いることができるので、例えば一方の手に操作部３００を持ち、他方の手の指でもって操作部３００のタッチパネル３０２上に配置される仮想メニューを操作するようにしても良い。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるャｃ鰍ノ書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る複合現実感提示システムの基本構成を示すブロック図である。 操作パネルの構成例を示す図である。 仮想メニュー４００をＬＣＤ３０１上（タッチパネル３０２上）に配置した場合の操作部３００全体の様子を示す図である。 ユーザの指が仮想メニュー４００によって隠され、見えなくなっている様子を示す図である。 観察者の指の領域についてＣＧを描画しない処理を行うことにより、指が確認できる様子を示す図である。 本発明の第１の実施形態に係る複合現実感提示システムが、ＨＭＤ２００を頭部に装着している観察者に対して複合現実空間の画像を提示するために、コンピュータ１００が行う処理のフローチャートである。

Claims (9)

1. 画像処理方法であって、
   現実空間の画像を取得する取得工程と、
   前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
   前記取得工程で取得された現実空間の画像上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
   
   前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
   前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
   を備えることを特徴とする画像処理方法。
2. 前記取得工程では、ヘッドマウントディスプレイに備わっているビデオカメラにより撮像された現実空間の画像を取得することを特徴とする請求項１に記載の画像処理方法。
3. 前記生成工程で生成された前記複合現実空間画像をヘッドマウントディスプレイに備わっている表示装置に出力することを特徴とする請求項１に記載の画像処理方法。
4. 前記生成工程では、前記取得工程で入力された現実空間の映像において肌色の領域以外の領域上に、前記配置工程で配置した操作パネルの映像を含む仮想空間の映像を重畳し、複合現実空間映像を生成することを特徴とする請求項１に記載の画像処理方法。
5. 前記タッチパネルは現実空間中に配置された表示装置の表示画面上に設けられたものであり、
   当該表示装置の全表示画面上に単一色を表示し、
   前記生成工程では、前記取得工程で入力された現実空間の画像に含まれている当該表示装置の表示画面部分で前記単一色以外の領域を操作者の指の色、もしくは指示具の色と見なし、当該現実空間の画像における当該見なした領域以外の領域上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間を生成することを特徴とする請求項１に記載の画像処理方法。
6. 画像処理方法であって、
   現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置工程と、
   現実空間上に、前記配置工程で配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成工程と、
   前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定工程と、
   前記特定工程で特定した操作部分に対応する動作を実行する実行工程と
   を備えることを特徴とする画像処理方法。
7. 画像処理装置であって、
   現実空間の画像を取得する取得手段と、
   前記現実空間中に配置されたタッチパネル上に仮想物体としての操作パネルを配置する配置手段と、
   前記取得手段が取得した現実空間の画像上に、前記配置手段が配置した操作パネルの画像を含む仮想空間の画像を重畳し、複合現実空間画像を生成する生成手段と、
   前記タッチパネル上で指示された位置を取得し、取得した位置に対応する前記操作パネル上の操作部分を特定する特定手段と、
   前記特定手段が特定した操作部分に対応する動作を実行する実行手段と
   を備えることを特徴とする画像処理装置。
8. コンピュータに請求項１乃至６の何れか１項に記載の画像処理方法を実行させる為のプログラム。
9. 請求項８に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images