JP2004030408A

JP2004030408A - 三次元画像表示装置及び表示方法

Info

Publication number: JP2004030408A
Application number: JP2002188117A
Authority: JP
Inventors: Atsushi Iio; 飯　尾　　　淳; Rinichiro Taniguchi; 谷　口　倫一郎
Original assignee: Kyushu University NUC; Mitsubishi Research Institute Inc
Current assignee: Kyushu University NUC; Mitsubishi Research Institute Inc
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-01-29

Abstract

【課題】三次元画像の表示における視点位置の操作と、仮想物体そのものに対する操作を同時にかつ容易に行なうことを可能にする。
【解決手段】ユーザの位置を撮影するための複数のカメラ２ａ、２ｂと、複数のカメラからの画像に基づいて実空間におけるユーザの位置を決定するユーザ位置決定手段４と、実空間における決定されたユーザの位置に基づいて、仮想空間におけるオブジェクトを投影するための投影視点位置を決定するオブジェクト投影視点位置決定手段６と、決定された投影視点位置、オブジェクトを定義するオブジェクト定義情報、およびオブジェクトを投影するための投影情報に基づいて、オブジェクトの三次元形状を投影画面に投影変換する三次元画像投影変換手段１２と、投影変換された画像を提示する三次元画像提示手段１４と、を備えている。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は物体の三次元画像を表示する三次元画像表示装置及び表示方法に関する。
【０００２】
【従来の技術】
三次元コンピュータグラフィクスにおいては、ユーザは仮想空間中に可視領域（仮想空間内部に配置される描画の対象とする部分空間）を設定し、その中に配置される仮想的な物体（オブジェクト）を対象に三次元画像を描画する。三次元画像の描画は、仮想空間内に視点と投影面を与えて可視領域内部のオブジェクトを、その投影面に対して投影変換することにより行う。投影変換としては、例えば視点を中心として投影する透視投影変換が知られている。
【０００３】
ユーザが所望する三次元画像を得るには、オブジェクトおよび可視領域を移動あるいは変化させる方式と、視点そのものの位置を変更する方式がある。これらの方式は相対的な関係にあるため、通常は視点を移動し必要に応じて可視領域の設定を変更する方式が用いられる。従来の技術では、視点の移動にはキーボードからの入力やマウス、トラックボールなどのポインティングデバイスが利用されることが多い。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の三次元画像表示装置では、仮想空間上に配置されているオブジェクトあるいは視点の操作を直接的に操作することができず、その操作方法がユーザにとって直感的ではない。
【０００５】
三次元空間上に配置されたオブジェクトの持つ自由度は、各座標軸方向に関する位置の自由度と、各座標軸を中心とする回転の自由度の合計６自由度を持つ。しかしながら、このような三次元画像表示装置で視点の設定などに通常利用されるマウスやトラックボールは基本的には縦横の２自由度しか持たない。そこで、従来の三次元画像表示装置では、ボタンの押下と併用したり、メニューにより状態を選択するといった手法によって操作のモードを切り替えて、三次元空間内部の視点の設定操作を実現している。
【０００６】
また仮想空間に配置されたオブジェクトを任意の視点から観測するだけでなく、三次元画像表示を行なう場合にはその表示したオブジェクトに何らかの操作を加えたい場合が多い。例えば仮想空間上に複数のオブジェクトが配置された状況においては、オブジェクトの位置を移動させつつ各オブジェクトの位置関係を様々な視点から確認したいという要望が生じる。また場合によってはオブジェクトに対して変形操作を行ない、その結果をやはり様々な視点から確認するという作業も発生しうる。
【０００７】
従来の三次元画像表示装置における操作では、オブジェクトに対する操作と視点の移動操作の切り替えはモードの切り替えに対応するため、オブジェクトそのものに対する位置の移動や変形の操作と、視点移動の操作とを同時に実現することは困難である。あるいは高度なポインティングデバイスを利用した自由度の高い操作装置を導入することで同時操作を実現することは不可能ではないが、操作が煩雑になり、やはり直感的な操作は難しい。
【０００８】
本発明は、上記事情を考慮してなされたものであって、仮想空間中に配置されたオブジェクトの三次元表示表示に関して、視点移動の操作と、オブジェクトの操作とを同時にかつ容易に行なうことのできる三次元画像表示装置及び表示方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の一態様による三次元画像表示装置は、仮想空間中に可視領域を設定し、この可視領域中に配置されるオブジェクトを対象に三次元画像を描画し、表示する三次元画像表示装置であって、ユーザの位置を撮影するための複数のカメラと、前記複数のカメラからの画像に基づいて実空間における前記ユーザの位置を決定するユーザ位置決定手段と、前記ユーザ位置決定手段によって決定された実空間におけるユーザの位置に基づいて、前記仮想空間における前記オブジェクトを投影するための投影視点位置を決定するオブジェクト投影視点位置決定手段と、前記オブジェクト投影視点位置決定手段によって決定された前記投影視点位置、前記オブジェクトを定義するオブジェクト定義情報、および前記オブジェクトを投影するための投影情報に基づいて、前記オブジェクトの三次元形状を投影画面に投影変換する三次元画像投影変換手段と、前記三次元画像投影変換手段によって投影変換された画像を提示する三次元画像提示手段と、を備えたことを特徴とする。
【００１０】
なお、前記オブジェクト投影視点位置決定手段は、前記実空間における前記視点位置を同次変換することによって前記仮想空間における前記投影視点位置を決定するように構成しても良い。
【００１１】
なお、前記オブジェクト投影視点位置決定手段は、前記仮想空間における前記投影視点位置の変化量を、前記実空間における前記視点位置の変化量に比例した角度量としても良い。
【００１２】
なお、前記ユーザ位置決定手段は、前記複数のカメラからの画像に基づいて実空間における前記ユーザの視点位置を決定しても良い。
【００１３】
なお、前記ユーザ位置決定手段は、前記複数のカメラからのそれぞれの画像に対して肌色画素を検出する肌色画素検出部と、前記複数のカメラからのそれぞれの画像に対して、前記肌色画素検出部によって検出された肌色画素から前記ユーザの顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域から実空間における前記ユーザの視点位置を演算する視点位置演算部とを備えるように構成しても良い。
【００１４】
なお、前記顔領域検出部は、前記肌色画素の連結領域を求め、これらの連結領域のうち面積が最大な連結領域と、この最大な連結領域に隣接するかまたは囲まれる画素であって、周囲の少なくとも三方向の延長線上に上記最大な連結領域の肌色画素が存在する画素との合併集合を顔領域とし、前記視点位置演算部は、各カメラからの画像に対して前記顔領域の重心を求め、前記カメラから対応する前記顔領域の重心とを結ぶ視線ベクトルを求め、これらの視線ベクトルに基づいて前記ユーザの視点位置を演算するように構成しても良い。
【００１５】
また、本発明の一態様による三次元画像表示方法は、仮想空間中に可視領域を設定し、この可視領域中に配置されるオブジェクトを対象に三次元画像を描画し、表示する三次元画像表示方法であって、複数のカメラを用いてユーザの位置を撮影するステップと、前記複数のカメラからの画像に基づいて実空間における前記ユーザの位置を決定するステップと、前記実空間における前記決定されたユーザの位置に基づいて、前記仮想空間における前記オブジェクトを投影するための投影視点位置を決定するステップと、前記決定された投影視点位置、前記オブジェクトを定義するオブジェクト定義情報、および前記オブジェクトを投影するための投影情報に基づいて、前記オブジェクトの三次元形状を投影画面に投影変換するステップと、前記投影変換された画像を提示するステップと、を備えたことを特徴とする。
【００１６】
なお、前記投影視点位置を決定するステップは、前記実空間における前記視点位置を同次変換することによって前記仮想空間における前記投影視点位置を決定しても良い。
【００１７】
なお、前記投影視点位置を決定するステップは、前記仮想空間における前記投影視点位置の変化量を、前記実空間における前記視点位置の変化量に比例した角度量としても良い。
【００１８】
なお、前記ユーザの位置を決定するステップは、前記複数のカメラからの画像に基づいて実空間における前記ユーザの視点位置を決定しても良い。
【００１９】
なお、前記ユーザの位置を決定するステップは、前記複数のカメラからのそれぞれの画像に対して肌色画素を検出するステップと、前記複数のカメラからのそれぞれの画像に対して、前記肌色画素を検出するステップによって検出された肌色画素から前記ユーザの顔領域を検出するステップと、前記検出された顔領域から実空間における前記ユーザの視点位置を演算するステップとを備えるように構成しても良い。
【００２０】
なお、前記顔領域を検出するステップは、前記肌色画素の連結領域を求め、これらの連結領域のうち面積が最大な連結領域と、この最大な連結領域に隣接するかまたは囲まれる画素であって、周囲の少なくとも三方向の延長線上に上記最大な連結領域の肌色画素が存在する画素との合併集合を顔領域とし、前記ユーザの視点位置を演算するステップは、各カメラからの画像に対して前記顔領域の重心を求め、前記カメラから対応する前記顔領域の重心とを結ぶ視線ベクトルを求め、これらの視線ベクトルに基づいて前記ユーザの視点位置を演算しても良い。
【００２１】
【発明の実施の形態】
以下に、本発明の実施の形態を、図面を参照して説明する。
【００２２】
本発明の一実施形態による三次元画像表示装置の構成を図１に示し、この実施形態の三次元画像表示装置の外観を図２に示す。この実施形態の三次元画像表示装置は、少なくとも２台のカメラ２ａ、２ｂと、ユーザ視点位置決定手段４と、オブジェクト投影視点位置決定手段６と、オブジェクト定義ユニット８と、投影情報定義ユニット１０と、三次元画像投影変換手段１２と、三次元画像提示手段１４とを備えている。この実施形態の三次元画像表示装置は、図２に示すように、ユーザ１００の正面に置かれた、例えば液晶ディスプレイからなる三次元画像提示手段１４の上部にユーザ１００の画像を撮影する複数（図２では２台）のカメラ２ａ、２ｂが設けられている。カメラ２ａ、２ｂの向きは、ユーザ１００がディスプレイ１４に対して正対したとき、カメラ２ａ、２ｂの画角の中心にユーザ１００の顔が配置されるように設定される。この位置関係で配置されたときには、ユーザ１００は、視線上に配置されると仮定する仮想的なオブジェクトをあたかも実際に存在するように観測することができる。三次元画像を投影する際の視点の位置は、ユーザ１００の顔の実際の位置から決定される。ユーザ１００の顔の実空間上における位置は、複数のカメラ２ａ、２ｂからの画像に基づいて測定される。
【００２３】
次に、本実施形態の構成と作用を説明する。
【００２４】
ユーザ１００の顔の画像が複数のカメラ２ａ、２ｂによって得られ、これらのカメラ２ａ、２ｂからのそれぞれの画像に基づいて、ユーザ１００の視点位置がユーザ視点位置決定手段４によって決定される。このユーザ視点位置決定手段４は、図３に示すように、肌色画素検出部４１ａ、４１ｂと、顔領域検出部４３ａ、４３ｂと、視点位置演算部４５とを備えている。
【００２５】
カメラ２ａ、２ｂからの画像が肌色画素検出部４１ａ、４１ｂにそれぞれ入力されると、各肌色画素検出部４１ｉ（ｉ＝ａ、ｂ）においては、入力された画像を構成する画素のＲ（赤）値、Ｇ（緑）値、Ｂ（青）値を以下の式を用いてａ値、ｂ値に変換する。
【００２６】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ＋１）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ＋１）
ａ＝（ｒ＋ｇ）／２．０
ｂ＝√３ｇ／２．０
ａ値、ｂ値への変換は、ＲＧＢ空間上におけるベクトル（１，１，１）に直交する平面上の正三角形内への投影に相当するため、輝度の影響を受けにくいという特長を有する。
【００２７】
肌色を表現する画素が持つａ値、ｂ値は、基準となる肌色を示す点（平均値）ａ_０、ｂ_０を中心として正規分布するものと仮定し、ａ値、ｂ値が予め定められた標準偏差内に収まる画素を肌色画素として抽出する。なお、肌色の基準点とする平均値ａ_０、ｂ_０および標準偏差については実験により適切な値を求め、パラメータとして与えている。
【００２８】
各肌色画素検出部４１ｉ（ｉ＝ａ，ｂ）によって検出された各画素に関する肌色画素か否かの検出結果は、カメラ２ｉからの画像とともに顔領域検出部４３ｉに入力される。各顔領域検出部４３ｉ（ｉ＝ａ，ｂ）は、肌色画素が構成する連結領域を求め、その面積が最大となるものを、ユーザの顔領域と判定する機能を有する。具体的には以下の手続きを経て顔領域の判定を行なう。
【００２９】
まずカメラ２ｉ（ｉ＝ａ，ｂ）からの画像を格子状に区切る。３×３個の画素からなる小格子に区切った場合の処理の概要を図４に示す。図４（ａ）において、破線で囲まれた最小の正方形が画素２１を示し、斜線で覆われた画素２１ａが肌色画素と判定された画素を示す。小格子ｇ１，・・・，ｇ１６は、３×３個の画素から構成されている。
【００３０】
続いて、各小格子ｇｉ（ｉ＝１，・・・，１６）毎に肌色画素と判定された画素の数を記録する。肌色画素の数を格子ごとに積算している状況を図４（ａ）に示す。例えば、図４（ａ）において、肌色画素２１ａは、小格子ｇ１には０個、小格子ｇ２には５個、小格子ｇ３には４個、小格子ｇ４には０個、小格子ｇ５には３個、小格子ｇ６には９個、小格子ｇ７には４個、小格子ｇ８には０個、小格子ｇ９には１個、小格子ｇ１０には６個、小格子ｇ１１には２個、小格子ｇ１２〜ｇ１６には０個が含まれている。
【００３１】
次に、各小格子を単位として周囲の小格子に記録された肌色画素数の総数を計算する。図４（ｂ）は、小格子ｇ２２を中心としてやはり３×３個の小格子ｇ１１、ｇ１２、・・・、ｇ３３からなる大格子Ｇにおける肌色画素数の総数を求める状況を示す。この総数に関して、あらかじめ定義しておく第１のしきい値と比較し、この第１のしきい値を越える場合に大格子Ｇの中心の小格子ｇ２２を、有効な肌色画素を含む小格子として、その後の処理の対象とする。総数が第１のしきい値を越えない大格子Ｇの中心の小格子ｇ２２に含まれる肌色画素はノイズ成分とみなし、その後の計算の対象としない。
【００３２】
次に、有効な肌色画素を含む小格子の連結領域を探索し、各連結領域のラベリングを行なう。ここで連結領域とは、構成要素となる小格子の任意の２点が連続曲線で結ばれることを意味する。図４（ｃ）は、２個の連結領域Ｒ１、Ｒ２がラベリングされた例を示す。連結領域Ｒ１は、有効な肌色画素を含む３個の小格子から構成され、連結領域Ｒ２は、有効な肌色画素を含む１７個の小格子から構成されている。なお、図４（ｃ）において、斜線で覆われていない小格子２５は有効な肌色画素を含む小格子でないことを表している。
【００３３】
続いて、予め定義する領域面積最小値を表す第２のしきい値と、各連結領域の面積（含まれる小格子の数）を比較し、第２のしきい値を下回る面積の連結領域は、やはりノイズとみなして削除する。このようにして求めたいくつかの連結領域のうち、最大の面積を持つ連結領域を顔領域の候補であると判定する。
【００３４】
図２に示すように、カメラ２ａ、２ｂとユーザ１００の位置関係から、カメラ２ａ、２ｂで撮影される画面において最大の面積を持つ肌色の領域はユーザ１００の顔の肌色部分であるという仮定は妥当である。
【００３５】
以上の手順で求めた顔領域に隣接するかまたは顔領域に囲まれた小格子のうち、周囲の少なくとも三方向の延長線上にそれぞれ顔領域に含まれる肌色画素があるものは、顔領域に含まれるものとする。図４（ｃ）の連結領域Ｒ２に隣接する小格子２５が上記処理により新たに顔領域に含まれる小格子に該当する。例えば顔画像に含まれる眼や唇を表す領域は、上記の肌色判定では顔画像を構成する小格子として判定し得ない。しかしこれらの部位は必ず周囲の肌色画素に少なくとも三方向が囲まれているため、少なくとも三方向の延長線上にそれぞれ顔領域に含まれる肌色画素が存在する部分を顔領域に新たに含めることにより、顔全てを構成する画素の集合を求めることができる。
【００３６】
以上の手順により各カメラ２ｉ（ｉ＝ａ，ｂ）からの入力画像に基づき顔領域を顔領域検出部４３ｉによって検出する。さらに検出した顔領域を構成する画素の重心を、視点位置演算部４５によって求め、これをユーザ１００の視点とする。この段階では、各カメラ２ｉ（ｉ＝ａ，ｂ）に投影されたユーザ１００の視点位置が求められている。
【００３７】
予めカメラ２ａ、２ｂの実空間上での位置およびカメラに投影されるカメラ画像の実空間上での位置関係などは、キャリブレーションにより定めておく。カメラのキャリブレーションは、Ｔｓａｉが「Ａ　Ｖｅｒｓａｔｉｌｅ　Ｃａｍｅｒａ　Ｃａｌｉｂｒａｔｉｏｎ　Ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｈｉｇｈ−Ａｃｃｕｒａｃｙ　３Ｄ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　Ｍｅｔｒｏｌｏｇｙ　Ｕｓｉｎｇ　Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ　ＴＹ　Ｃａｍｅｒａｓ　ａｎｄ　Ｌｅｎｓｅｓ」（ＩＥＥＥ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌ．ＲＡ−３，Ｎｏ．４，ｐｐ．３２３−３４４，１９８７）で示しているアルゴリズムによる。本実施形態の三次元画像表示装置では使用前に予めカメラキャリブレーションを行っておくものとする。
【００３８】
各カメラ２ｉ（ｉ＝ａ，ｂ）の位置がキャリブレーションにより定められているので、顔領域検出部４３ｉの出カとして得られた投影面上の視点位置とカメラ２ｉの位置を結ぶ視線ベクトル上にユーザ１００の視点位置の三次元位置が存在する。２組以上の複数のカメラを用いれば、それらの視線ベクトルの交点を求めることにより実際の三次元空間におけるユーザ１００の視点位置が定まる。図５は２組のカメラ２ａ、２ｂを用いた場合の視点位置の推定の例を示すものである。カメラ２ａが捉えた画像では、ユーザ１００の視点位置２７ａが求められており、また同様にカメラ２ｂが捉えた画像にはユーザの視点位置２７ｂが存在する。位置２ａと位置２７ａを結ぶ視線ベクトル２８および位置２ｂと位置２７ｂを結ぶ視線ベクトル２９の交点Ｐが推定される三次元空間中のユーザ１００の視点位置となる。このユーザの視点位置は、視点位置演算部４５によって演算される。
【００３９】
ユーザ視点位置決定手段４は、カメラ２ａ、２ｂからの画像に基づいて、上記のアルゴリズムでユーザの視点位置を決定する機能を有する。ただし、カメラが３台以上ある場合は、以下の手順でより精度の高いユーザ視点位置の決定を行なう。
【００４０】
まず、各カメラとこのカメラの画像に基づいて決定されるユーザ視点位置とを結ぶ視線ベクトルの全てについて、その視線ベクトルの情報の確度を示す数値として信頼度Ｒを設定する。信頼度Ｒには、その視線ベクトルに対応するカメラが捉えた画像のユーザの顔領域のうち肌色画素と認識した画素数の総数を用いる。また信頼度の最小値を定めておき、この最小値を上まわる信頼度を持つ視線ベクトルのみの組合せで顔の三次元推定位置を求める。
【００４１】
３組以上の視線ベクトルが存在するとき、そのうち任意の２組を選んで視線ベクトルの交点を求めることは可能である。しかし顔領域の検出は各カメラの画像単位毎に行なわれ、各カメラが撮影した画像における顔領域も各画像によって異なるため、それぞれの交点が一致することはない。そこで、図６に示すように、信頼度Ｒの最も高い視線ベクトルを主視線ベクトルＴ_１とし、主視線ベクトルＴ_１上の点で他の視線ベクトルＴ_２、Ｔ_３、Ｔ_４ヘの距離の和が最小となる位置を求め、この位置を、推定すべきユーザ視点位置の三次元位置とする。
【００４２】
再び図１に戻り、このようにしてユーザ視点位置決定手段４によって決定されたユーザ視点位置（三次元位置）はオブジェクト投影視点位置決定手段６に入力される。オブジェクト投影視点位置決定手段６は、実空間におけるユーザ１００の視点位置（三次元位置）から、オブジェクトを表現する仮想空間における視点位置を決定する機能を有する。実空間におけるユーザの視点位置と仮想空間における視点位置との対応は、例えば次の二種類の方法によって決定される。
【００４３】
まず、第１の方法は、実空間における三次元座標と仮想空間における三次元座標を同次変換で対応させる方法である。この同次変換は、４次元のアフィン変換マトリックスによって表される。
【００４４】
この同次変換を用いた方法を採用した場合、ユーザの視点位置を移動させるとその移動量に応じて仮想空間中の視点位置が移動するため、オブジェクトの観測時における三次元画像の変化に対して自然な印象を与えることが可能である。例えば正面からオブジェクトを観測している場合、ユーザの顔の位置を左側に移動すると左の側面が表示され、逆に右から覗き込むとオブジェクトの右側面を観測することができる。また顔を近づけるとオブジェクトは大きく表示され、後ろに後退すると小さくオブジェクトの全体像を表示する。
【００４５】
ところがユーザの視点の実空間上での移動を仮想空間における座標に同次変換で対応させただけでは不都合が生じる場合がある。例えばユーザの前方、かつカメラが構成する平面の近くに仮想的なオブジェクトを配置した場合、ユーザは顔をどう動かしてもオブジェクトの背面を見ることができない。
【００４６】
そこで第２の方法として、第１の方法に加えて、実空間上での視点の移動に関して、左右・上下方向に関する視点の移動量（Δｙ、Δｚ）を、オブジェクトに対する角度の変化量として次のように変換する。
【００４７】
θ＝Ｃｙ×Δｙ
φ＝Ｃｚ×Δｚ
上式において、Ｃｙ及びＣｚはユーザの視点移動に対する感度を設定する係数であり、ユーザの使用感に基づいて定める定数である。なお、θとφはそれぞれ図７における角度∠ＲＯＱ及び∠ＰＯＱに対応する。図７は視点移動量の変換方式を示す概念図である。図７では、視点がＲからＰ′へ移動するときの視線方向の変化の例を示している。また、場合によってはそれぞれ変化量に制限を課す必要がある。これは、例えば上下方向の変化に制限を持たせないと、オブジェクトの天地が逆さまになり、かえって不自然な操作との印象を与える恐れがあるためである。
【００４８】
再び図１に戻り、オブジェクト定義ユニット８は、仮想空間上のオブジェクトを定義するオブジェクト情報を設定する機能を有する。オブジェクト情報は、形状データを含む。オブジェクトの形状データは、複数の多角形から構成されるポリゴンとして格納される。またオブジェクト情報は、オブジェクトの形状を定義する形状データだけでなく、質感データ及ぴ描画方法を指定するデータも含む。この質感データとは、オブジェクトの表面の質感を表現するデータである。オブジェクトを構成する各面が持つ光の取り扱いに関するデータであり、環境色、拡散色、鏡面色、反射率などの値で質感データは構成される。これらのオブジェクト情報は、予めメモリに記憶され、図２に示すキーボード３０またはマウス３２等のポインティングデバイスを用いて選択的に設定される。
【００４９】
また、投影情報定義ユニット１０は、図８に示すように、仮想空間上における視点８０とニアクリップ面８２との距離Ｌ１、視点８０とファークリップ面８４との距離Ｌ２、オブジェクト９０が配置されるニアクリップ面８２とファークリップ面８４との間の可視領域となる錐台８６、および錐台の定義する角度α、β等のパラメータ（投影情報）を設定する。これらのパラメータ（投影情報）は、図２に示すキーボード３０またはマウス３２等のポインティングデバイスを用いて選択的に設定される。
【００５０】
図１に示す三次元画像投影変換手段１２は、オブジェクト投影視点位置決定手段６によって決定されたオブジェクト投影視点位置情報及びオブジェクト定義ユニット８によって定義されたオブジェクト情報並びに投影情報定義ユニット１０によって定義された投影情報に基づいて、仮想空間中に配置されたオブジェクトを視点位置から観測した結果としての投影画像に変換する機能を有する。また、三次元画像投影変換手段１２は、光源データや環境データも保持し、リアリティの高い三次元画像を作成することができる。光源データは仮想空間中に配置する光源の位置、方向、拡散率、光源色などを定義するデータである。また環境データはオブジェクトを取り巻く仮想空間中の環境的な条件の情報を表す。これらのデータは、図２に示すキーボード３０またはマウス３２等のポインティングデバイスを用いて選択的に入力される。
【００５１】
三次元画像提示手段１４は、三次元画像投影変換手段１２で作成された投影画像を画面上に表示し、ユーザに提示する機能を有する。通常は、一般的なコンピュ一タ用のカラーディスプレイ装置に画像データを表示する形式で投影画像の提示を行なう。なおオブジェクト定義ユニット８、三次元画像投影変換手段１２および三次元画像提示手段１４に関しては既に公知の処理系が存在し、例えばＯｐｅｎＧＬ（登録商標）などのグラフィクスライブラリを利用することができる。
【００５２】
本実施形態においては、そのような三次元画像の生成処理に関して視点の移動をユーザの顔認識を利用して行ない、またその対応方法に関して実空間上における変化量を仮想空間では極座標形式における角度の変化量に対応させている。これにより、ＣＧによる三次元画像の表示に関しマウスなどのポインティングデバイスを利用してユーザが明示的に視点の操作を行なわずとも、ユーザは観測する位置を移動するだけで視点を移動させることができ三次元面像の直感的な観測を行なうことができる。
【００５３】
また、本実施形態においては、仮想物体そのものに対する操作は、図２に示すキーボード３０またはマウス３２等のポインティングデバイスを操作することにより、行うことができる。そして、この仮想物体そのものに対する操作は、上述の三次元画像の表示における視点位置の操作と分離することができるため視点の移動と物体の操作を同時に行なうことが可能となる。したがって仮想空間に配置された三次元物体を容易に操作することができる。
【００５４】
このように、カメラで捉えたユーザの顔画像に基づいたユーザの顔位置の認識から視点変化による三次元画像の生成を行ない画面上への提示までの処理を実時間で逐次的に実施することにより、あたかもその場で仮想的なオブジェクトを眺めているような感触をユーザに体験させることが可能となる。
【００５５】
なお、本実施形態おいては、ユーザの視点位置の決定に肌色画素を用いて行ったが、ユーザの目の形を記憶してこの目の形に基づいて行うテンプレートマッチング法を用いても良い。
【００５６】
【発明の効果】
以上述べたように、本発明によれば、三次元画像の表示における視点位置の操作と、仮想物体そのものに対する操作を分離することが可能となり、視点の移動と物体の操作を同時にかつ容易に行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による三次元画像表示装置の構成を示すブロック図。
【図２】図１に示す実施形態による三次元画像表示装置の外観を示す斜視図。
【図３】本発明に係るユーザ視点位置決定手段の一具体例の構成を示すブロック図。
【図４】顔領域の判定方法を説明する概念図。
【図５】ユーザ視点位置の三次元位置を推定する方法を示す概念図。
【図６】３組以上の視線ベクトルからユーザ視点位置の三次元位置を推定する方式を示す概念図。
【図７】視点移動量の、極座標における変化量への変換を示す概念図。
【図８】本発明に係る視体積を説明する概念図。
【符号の説明】
２ａ　カメラ
２ｂ　カメラ
４　ユーザ視点位置決定手段
６　オブジェクト視点位置決定手段
８　オブジェクト定義ユニット
１０　投影情報定義ユニット
１２　三次元画像投影変換手段
１４　三次元画像提示手段
３０　キーボード
３２　マウス
４１ａ　肌色画素検出部
４１ｂ　肌色画素検出部
４３ａ　顔領域検出部
４３ｂ　顔領域検出部
４５　視点位置演算部

Claims

仮想空間中に可視領域を設定し、この可視領域中に配置されるオブジェクトを対象に三次元画像を描画し、表示する三次元画像表示装置において、
ユーザの位置を撮影するための複数のカメラと、
前記複数のカメラからの画像に基づいて実空間における前記ユーザの位置を決定するユーザ位置決定手段と、
前記ユーザ位置決定手段によって決定された実空間におけるユーザの位置に基づいて、前記仮想空間における前記オブジェクトを投影するための投影視点位置を決定するオブジェクト投影視点位置決定手段と、
前記オブジェクト投影視点位置決定手段によって決定された前記投影視点位置、前記オブジェクトを定義するオブジェクト定義情報、および前記オブジェクトを投影するための投影情報に基づいて、前記オブジェクトの三次元形状を投影画面に投影変換する三次元画像投影変換手段と、
前記三次元画像投影変換手段によって投影変換された画像を提示する三次元画像提示手段と、
を備えたことを特徴とする三次元画像表示装置。
前記オブジェクト投影視点位置決定手段は、前記実空間における前記視点位置を同次変換することによって前記仮想空間における前記投影視点位置を決定することを特徴とする請求項１記載の三次元画像表示装置。
前記オブジェクト投影視点位置決定手段は、前記仮想空間における前記投影視点位置の変化量を、前記実空間における前記視点位置の変化量に比例した角度量としたことを特徴とする請求項１または２記載の三次元画像表示装置。
前記ユーザ位置決定手段は、前記複数のカメラからの画像に基づいて実空間における前記ユーザの視点位置を決定することを特徴する請求項１乃至３のいずれかに記載の三次元画像表示装置。
前記ユーザ位置決定手段は、前記複数のカメラからのそれぞれの画像に対して肌色画素を検出する肌色画素検出部と、前記複数のカメラからのそれぞれの画像に対して、前記肌色画素検出部によって検出された肌色画素から前記ユーザの顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域から実空間における前記ユーザの視点位置を演算する視点位置演算部とを備えたことを特徴とする請求項４記載の三次元画像表示装置。
前記顔領域検出部は、前記肌色画素の連結領域を求め、これらの連結領域のうち面積が最大な連結領域と、この最大な連結領域に隣接するかまたは囲まれる画素であって、周囲の少なくとも三方向の延長線上に上記最大な連結領域の肌色画素が存在する画素との合併集合を顔領域とし、
前記視点位置演算部は、各カメラからの画像に対して前記顔領域の重心を求め、前記カメラから対応する前記顔領域の重心とを結ぶ視線ベクトルを求め、これらの視線ベクトルに基づいて前記ユーザの視点位置を演算することを特徴とする請求項５記載の三次元画像表示装置。
仮想空間中に可視領域を設定し、この可視領域中に配置されるオブジェクトを対象に三次元画像を描画し、表示する三次元画像表示方法において、
複数のカメラを用いてユーザの位置を撮影するステップと、
前記複数のカメラからの画像に基づいて実空間における前記ユーザの位置を決定するステップと、
前記実空間における前記決定されたユーザの位置に基づいて、前記仮想空間における前記オブジェクトを投影するための投影視点位置を決定するステップと、前記決定された投影視点位置、前記オブジェクトを定義するオブジェクト定義情報、および前記オブジェクトを投影するための投影情報に基づいて、前記オブジェクトの三次元形状を投影画面に投影変換するステップと、
前記投影変換された画像を提示するステップと、
を備えたことを特徴とする三次元画像表示方法。
前記投影視点位置を決定するステップは、前記実空間における前記視点位置を同次変換することによって前記仮想空間における前記投影視点位置を決定することを特徴とする請求項７記載の三次元画像表示方法。
前記投影視点位置を決定するステップは、前記仮想空間における前記投影視点位置の変化量を、前記実空間における前記視点位置の変化量に比例した角度量としたことを特徴とする請求項７または８記載の三次元画像表示方法。
前記ユーザの位置を決定するステップは、前記複数のカメラからの画像に基づいて実空間における前記ユーザの視点位置を決定することを特徴する請求項７乃至９のいずれかに記載の三次元画像表示方法。
前記ユーザの位置を決定するステップは、前記複数のカメラからのそれぞれの画像に対して肌色画素を検出するステップと、前記複数のカメラからのそれぞれの画像に対して、前記肌色画素を検出するステップによって検出された肌色画素から前記ユーザの顔領域を検出するステップと、前記検出された顔領域から実空間における前記ユーザの視点位置を演算するステップとを備えたことを特徴とする請求項１０記載の三次元画像表示方法。
前記顔領域を検出するステップは、前記肌色画素の連結領域を求め、これらの連結領域のうち面積が最大な連結領域と、この最大な連結領域に隣接するかまたは囲まれる画素であって、周囲の少なくとも三方向の延長線上に上記最大な連結領域の肌色画素が存在する画素との合併集合を顔領域とし、
前記ユーザの視点位置を演算するステップは、各カメラからの画像に対して前記顔領域の重心を求め、前記カメラから対応する前記顔領域の重心とを結ぶ視線ベクトルを求め、これらの視線ベクトルに基づいて前記ユーザの視点位置を演算することを特徴とする請求項１１記載の三次元画像表示方法。