JP2001517344A - カメラ・ベースの身振り入力を使用の仮想現実環境を通じての３次元航行を認めるためのシステムおよび方法 - Google Patents

Abstract

(57)【要約】 システム利用者のカメラ・ベースの身振り入力を使用して仮想現実環境を通しての３次元航行を認めるシステムおよび方法。このシステムは、コンピュータが読取り可能な記憶装置、該システム利用者の身振りおよびこのシステム利用者を取り巻く相互動作区域を示すビデオ信号を発生するためのビデオカメラ、およびビデオ映像表示装置を有する。このビデオ映像表示装置は該システム利用者の前に置かれる。該システムは、更にこのシステム利用者の身体および主要身体部分の３次元位置を決定するために、上記のコンピュータが読取り可能な記憶装置に蓄積されるプログラムによりビデオ信号を処理するためのマイクロプロセッサを有する。このマイクロプロセッサは該システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示装置上に、該システム利用者および相互動作区域の３次元映像を構築する。該ビデオ映像表示装置は仮想現実環境内に３次元のグラフィック対象物を示し、且つ該システム利用者による動きは、該システム利用者が仮想現実環境内を通して動くように見えるように該ビデオ映像表示装置上に表示される３次元対象物の見掛け上の動きを許容する。

Description

【発明の詳細な説明】 カメラ・ベースの身振り入力を使用の仮想現実環境を通じての ３次元航行を認めるためのシステムおよび方法 〔本発明の背景〕 Ａ．本発明の分野 本発明は、一般的にはマルチメディアおよび仮想現実(virtual reality)応用 に関し、且つ、一層特別にはカメラ・ベースの身振り入力を使用の仮想現実環境 を通じての３次元航行を認めるためのシステムおよび方法に関する。 Ｂ．関連する分野の説明 マルチメディアおよび仮想現実応用は、利用者とコンピュータ間で感動的な相 互動作を可能にする。不幸にも、現在のコンピュータ・利用者間インタフェース では極度に単純化された相互活動およびそれによるマルチメディアおよび仮想現 実応用の消費者の受け入れへの障壁を設ける。理想的には、コンピュータ・利用 者間インタフェースは、直観的な相互作用フォーマットと広範囲の相互動作能力 との組み合わせであろう。しかしながら、これらの２個の特色は対立している。 例えば、コンピュータのキーボードは広範囲な相互動作能力を提供するが、直観 的でなく、一方、テレビジョンのリモートコントロールは一層直観的ではあるが 、制限された相互動作能力を提供するに過ぎない。機器が取り付けられたボディ スーツのように一層柔軟なインタフェースは、煩わしく且つ高価である。 仮想現実応用においては、表示し且つ仮想現実環境と相互動作する２個の初歩 的なコンピュータ・利用者間インタフェースへの手法には、沈入的手法(immersi ve approach)と非沈入的手法が存在する。沈入的手法においては、利用者は頭部 搭載ディスプレイおよび頭部および１又は複数の肢体に取り付けられる追尾機器 を着用する。コンピュータ・ディスプレイは、利用者の目に対し合成された可視 映像を表示することにより、頭部搭載ディスプレ上に仮想現実環境を表示し、且 つ頭部の追尾機器から受信する情報に応じて映像を変化させる。肢体追尾機器は 、利用者に仮想現実環境と相互動作を許容する。沈入的手法は、利用者に仮想現 実 環境の「内部」に存在する印象を与える利点を与える。不幸にも、沈入的手法は 、利用者を本人の実際の環境から切り離し、利用者に実際の環境における健康お よび安全に関する危険を気付かさずに置く不利益を与える。 非沈入的手法においては、コンピュータは、コンピュータ・モニタまたはテレ ビジョン・スクリーンのような静的表示機器機器上にバーチャル環境の可視映像 を表示する。利用者は、可視映像の眺めをコンピュータとのインタフェースとし てコンピュータ・キーボード、マウス、ジョイスティック、または類似の機器を 使用して変化させる。この非沈入的手法は、利用者を本人の環境から切り離すこ となく、利用者に仮想現実環境と相互動作を認める長所をもたらす。しかし、非 沈入的手法は、利用者に仮想現実環境の「内部」に存在する印象を与えることが できない。 多くのコンピュータ・利用者間インタフェースの設計の手法が、沈入的手法と 非沈入的手法の間の妥協(trade-off)として取り組むように提案されてきた。１ つの手法は、システム利用者に表示される映像を制御するように、このシステム 利用者の身振りを測定するために非沈入的手法にビデオカメラを使用する。図１ に示すように、そのようなインタフェース・システム10は、水色の壁12を有し、 利用者14はその前面に立ち、この利用者14の２次元のシルエット(silhouette)抽 出を可能とし且つこのシルエットをクロマキーすること(chromakeying)を有する 。更にシステム10は、２次元の利用者シルエットを識別し且つ映像信号を発生さ せるためのビデオカメラ16を含む。コンピュータのマイクロプロセッサ18は、ビ デオカメラ16により観られる２次元の利用者シルエットを識別するが、２次元の 形状である。このようにして、利用者14の動きは、このシルエットの映像の座標 軸の変化の項目でマイクロプロセッサ18により理解されるに過ぎない。マイクロ プロセッサ18は、利用者14の映像をテレビジョン・ディスプレイ上に表示する。 テレビジョン20上に表示される映像は、その中に利用者の映像がクロマキーされ た２次元の場面から構成される。利用者14は、例えば両手を頭上にのような特別 なポーズを取ることによるか、又は利用者14が如何にも展示された対象物に接触 したよう見えるようにするために利用者のシルエットの一部が映像座標の決めら れた組に接触するように動くことにより、表示された画面と相互動作を行う。 図１に示されるインタフェース・システムは、マルチメディアおよび仮想現実 応用への使用が容易で且つ安価なインタフェースを供給する。しかし、このイン タフェース・システムは、このインタフェースの能力を２次元に制限して、コン ピュータに表示された対象物と２次元の相互動作を許容するに過ぎない。例えば 、図１の２次元システムにおいて、全てのコンピュータに表示された対象物は、 この利用者のシルエットを取り巻くウインドウにおいて同一の深さである。 図２に示されるように、図１に示されるシステムにより使用される従来からの ２次元シルエット抽出過程は、ハードウエア処理（鎖線上）およびソフトウエア 処理（鎖線下）の両者を有し、コンピュータ・マイクロプロセッサ18はソフトウ エア処理階程を実行する。ハードウエア処理は、アナログのビデオカメラ信号の 入力階程22、およびそれに続くグレースケール２値データ信号を発生するために アナログのカメラ信号をデジタル化する階程24を含む。更に、ハードウエア処理 は、ビデオカメラの解像度を（高くまたは低く）調整する階程26、およびカメラ の視野を対象の映像すなわちこの利用者の映像のウインドウに限定する階程28を 有する。上記のハードウエアは、次にグレースケール２値データ信号がデジタル ２値信号すなわち「１」または「０」に変換される動的しきい値階程30を有する 。階程32において、ハードウエア処理は利用者の映像の縁(edge)（シルエット） を決定し、この縁データに基づき、画像寸法を調整し(階程34)、それに従って階 程26において解像度を調整する。 ソフトウエア処理は、階程34の縁データから背景を除去し、利用者の映像輪郭 のみを残す第１階程36を含む。上記の背景は、カメラにより観られる空虚な場面 の画像であり、階程38により与えられる。更に、ソフトウエアは、この利用者の 映像の全ての縁データを共に結合し、この利用者の映像の周辺に単一の輪郭を与 える階程を有する。また、ソフトウエア処理は、この利用者の映像輪郭が人間、 動物、またはその他を表すかを決定するための識別階程42、およびこの利用者の （ｘ，ｙ軸における）シルエットの像、すなわち頭、手、足、腕、脚、またはそ の他を識別するためのシルエット像(feature)階程44を有する。階程46において 、ソフトウエア処理は、この利用者の回りのバウンディング・ボックス(boundin g box)を計算するために輪郭識別データを利用する。このバウンディング・ボッ ク ス・データには利用者周辺のカメラ・ウインドウの寸法を制限するためにウイン ドウ制限階程28が与えられ、これにより抽出処理の速度が増加する。 Massachusetts Institute of Technology(MIT)のMedia Labにより提案された 他の１つの手法は、カメラ・ベースの身体動作およびシステム利用者の身振りを 使用することにより、利用者がコンピュータにより発生されたグラフィックな世 界と相互動作をできるようにする。そのようなシステムは、現在利用できるこの 種のものの内で最も用途の広いものであるが、下記の問題の弱点を有する；(1) 標準グラフィカル・インタフェース(SGI)・プラットフォームに基づく；(2)シス テム利用者周辺の照明条件に敏感である；(3)利用者の足の位置は３次元で追随 するが、この利用者の身体の残りの部分は２次元の物体として扱う；(4)１人の 利用者に限定される；(5)指のような手の詳細を観るには荒すぎる解像度を与え る；(6)下記の「マジックミラー(“magic mirror”)」相互動作ビデオ環境(IVE) パラダイムのみに結び付けられている。このようにして、この他に代わる方法も 、他の問題と同様に、従来からの２次元手法により遭遇するのと同様な制限に受 ける。 日本国特許出願公開「特開平07-38873号」（特願平05-182,744号）で公開され たように、更に別の手法は人間像の実時間認識に対する方法を含む。上記特開平 07-38873号は、表情、頭部の回転、指の動き、および人体の回転を検出する人間 の３次元のグラフイックな表現を記述している。しかし、特開平07-38873号は人 体のグラフイック・モデルの発生に限定されている。更に、特開平07-38873号は 、主としてテレビ会議の目標のために利用者の３次元のグラフイック・アニメー ションを使用することに焦点を合わせ、そこでは上記の利用者はコンピュータに より発生された場面における対象物を制御できない。最後に、参照は、テレビ会 議目標に対する身近の利用者の３次元アニメーションとは違って、遠隔側の利用 者の３次元アニメーションの使用を公開している。 国際特許出願(PCT)公開第WO96/21321号（以下“PCT 96/21321”という）に発 見される最後の手法は、カメラとマイクロフォンを使用して事象（例えば、フッ トボール・ゲーム）の３次元シミュレーションを実時間で創り出すかまたはCD R OMに蓄積することから成っている。しかし、上記PCT 96/21321号に公開されたシ ス テムは事象の３次元場面をカメラで眺められたままに単に再現するに過ぎない。 更に、PCT 96/21321システムの利用者は、３次元場面の眺めを変化させられるに 過ぎず、場面中の対象物を制御することは不可能である。 不幸にも、上記に提案された手法の何れもが、直観的な相互動作フォーマット を広範囲の相互動作できる能力と組み合わせるコンピュータ・利用者間インタフ ェースを供給していない。 〔本発明の概要〕 本発明の目標は、２次元インタフェース・システムと、Massachusetts Instit ute of TechnologyのMedia Labにより提案された他の１つの手法と、上記の他の 関連技術により遭遇した問題と、に対処することである。他の１つの目標は、仮 想現実環境を表示し且つそれと相互動作するために沈入的および非沈入的手法の 両者の利点を統合するコンピュータ利用者のための３次元インタフェースを提供 することである。 別の目標は、対象物がコンピュータ利用者の周辺の仮想現実環境において３次 元空間を占め、且つ上記のコンピュータ利用者が中をナビゲートし通常の身体の 動きにより仮想現実環境中の対象物を制御するように、コンピュータにより発生 された対象物の３次元表示を提供することである。 本発明の追加的目標および長所は、一部分は下記に記述され、且つ他の一部分 は上記の記述から明確であろう、或いは本発明の実施により理解されるであろう 。本発明の目的および特長は、付属の請求項において特に指摘される要素および 組み合わせの手段により実現され且つ達成されるであろう。 上記の目標を達成し且つ本発明の目的に従って、実施され且つここに広く記述 されたように、本発明は、システムの利用者のカメラ・ベースの身振り入力を利 用する仮想現実環境を通じて３次元航行を認めるためのシステムを有し、下記を 含む：コンピュータが読取り可能な記憶手段；このシステムの利用者の身振りお よびこのシステムの利用者を取り巻く相互動作領域を示すビデオ信号を発生する ための手段；上記利用者の前に置かれるビデオ映像を表示するための手段；およ びシステム利用者の身体および主要身体部分の３次元位置を決定するための上記 のコンピュータが読取り可能な記憶手段に蓄積されたプログラムに従ってビデオ 信号を処理するための手段であって、このビデオ信号を処理するための手段はシ ステム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手 段上にシステム利用者と相互動作領域の３次元映像を構築し、上記のビデオ映像 表示手段は仮想現実環境内に３次元のグラフによる対象物を表示し、且つこのシ ステム利用者による動きは該システム利用者が仮想現実環境内を動いているよう に見えるようにするために上記のビデオ映像表示手段上に表示される３次元の対 象物の見掛け上の動きを可能にする。 この目標を一層達成するために、本発明は、上記のコンピュータが読取り可能 な記憶手段に蓄積されるプログラムを使用してマイクロプロセッサに接続された コンピュータが読取り可能な記憶装置およびビデオ映像表示装置を持つコンピュ ータ・システムの利用者のカメラ・ベースの身振りの入力を使用する仮想現実環 境を通じて３次元航行を可能にする方法を有し、この方法は下記の階程を有する ：このシステムの利用者の身振りおよびこのシステムの利用者を取り巻く相互動 作領域を示すビデオ信号の発生の階程；システム利用者の身体および主要身体部 分の３次元位置を決定するためのマイクロプロセッサ中の信号の処理の階程；シ ステム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手 段上にシステム利用者と相互動作区域の３次元映像の構築のためのマイクロプロ セッサの使用の階程；および仮想現実環境内の３次元のグラフによる対象物のビ デオ映像表示装置上への表示へのマイクロプロセッサの使用の階程であり、上記 のシステム利用者による動きは該システム利用者が仮想現実環境内を動いている ように見えるようにするために上記のビデオ映像表示手段上に表示される３次元 の対象物の見掛け上の動きを可能にする。 上記のビデオ映像表示手段上に表示される対象物は、ビデオ映像表示装置上の 異なる位置および相互に異なる位置へ、対象物がビデオ映像表示スクリーンから 離れているいると考えられる距離に依存する量を移動する。この動きは、スクリ ーンに直交する利用者の頭部からの視線上を仮想現実環境内の基本的な位置から の移動に関連する。この移動は、各対象物に対して頭部の位置の検出された変化 から計算される。 更に、目標を達成するために、本発明は、コンピュータ読取り可能記憶装置に 蓄積された命令を使用するマイクロプロセッサに接続されるビデオ映像表示装置 を持つコンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用す る仮想現実環境を通じて３次元航行を可能にするプログラムを蓄積するためのコ ンピュータ読取り可能記憶装置を有し、このコンピュータ読取り可能記憶装置は 下記を有する：システム利用者の身体および主要身体部分の３次元位置を決定す るためにこのシステム利用者の身振りを示すビデオ信号を処理するための命令； システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示 装置上にこのシステム利用者と相互動作区域の３次元映像を構築するための命令 ；およびビデオ映像表示装置上に仮想現実環境内の３次元のグラフによる対象物 の表示のための命令であって、上記のシステム利用者による動きは該システム利 用者が仮想現実環境内を動いているように見えるようにするために上記のビデオ 映像表示手段上に表示される３次元の対象物の見掛け上の動きを可能にする。 更に、目標を達成するために、本発明はマイクロプロセッサに接続されたビデ オ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振 り入力を使用する仮想現実環境を通じての３次元航行を可能にするコンピュータ ・プログラム製品を有し、このコンピュータ・プログラム製品は下記を有する： システム利用者の身体および主要身体部分の３次元位置を決定するためにこのシ ステム利用者の身振りを示すビデオ信号を処理するための手段；システム利用者 の身体および主要身体部分の３次元位置に基づくビデオ映像表示装置上のこのシ ステム利用者と相互動作区域の３次元映像を構築するための手段；およびビデオ 映像表示装置上に仮想現実環境内の３次元のグラフによる対象物の表示のための 手段であって、上記のシステム利用者による動きは該システム利用者が仮想現実 環境内を動いているように見えるようにするために上記のビデオ映像表示手段上 に表示される３次元の対象物の見掛け上の動きを可能にする。 上記の一般的記述および下記の詳細記述の両者はともに例示であり、且つ例示 に過ぎず請求項に示す本発明を制限するものでは無いことを理解されるべきであ る。 〔図面の簡単な説明〕 付随する図面は、この仕様に組み込まれ且つその一部を構成するが、本発明の 数個の実施例をその記述と共に示し、本発明の原理の説明に役立たせる。図面に おいて： 図１は利用者のカメラ・ベースのシルエットを使用する２次元映像を構築する ための従来からのシステムのブロック図であり； 図２は利用者のシルエットを利用する２次元映像を抽出するための従来からの ソフトウエア処理に含まれる階程を示す流れ線図であり； 図３は本発明の好ましい実施例による利用者のカメラ・ベースのシルエットを 使用する３次元映像を構築するためのシステムのブロック図であり； 図４は本発明の他の１つの好ましい実施例による利用者のカメラ・ベースのシ ルエットを使用する３次元映像を構築するためのシステムのブロック図であり； 図５は利用者と相互動作区域の２次元映像場面を図３および４に示される本発 明の好ましい実施例による相互動作区域内の３次元位置上にマッピングするため のソフトウエア処理における階程を示し； 図６は図３に示される３次元映像を構築するためのシステムを使用する本発明 のカメラ・ベースの身振り入力を使用の仮想現実環境を通じての３次元航行を可 能にするためのシステムを示すブロック図であり； 図７は図６に示す本発明のカメラ・ベースの身振り入力を使用の仮想現実環境 を通じての３次元航行を可能にするためのシステムに使用のソフトウエア処理に 使用される階程を示す流れ線図であり；且つ 図８は身体の高さ（Ｈ）が立っている人の高さである時に身体部分の長さを身 体の高さ（Ｈ）の比で示す生物測定データ表である。 〔好適な実施例の説明〕 本発明の現在の好ましい実施例に関し詳細に参照することとし、その例が付随 する図面に表示される。可能な限り、全ての図面を通して同一の参照番号を同一 または類似の部分を参照するために使用されるであろう。 好ましい実施例に従い、本発明はシステム利用者のカメラ・ベースの身振り入 力を使用する仮想現実環境を通じて３次元航行を可能にするシステムおよび方法 を含む。このシステムは、コンピュータ読取り可能記憶手段、このシステムの利 用者の身振りおよび該システム利用者を取り巻く相互動作区域を示すビデオ信号 を発生するための手段、およびビデオ映像を表示するための手段を有する。上記 のビデオ映像表示手段はシステム利用者の前面に位置する。更に、このシステム は、コンピュータ読取り可能記憶手段に蓄積されるプログラムに従って、このシ ステム利用者の身体および主要な身体の部分の３次元位置を決定するためにビデ オ信号を処理するための手段を有し、このビデオ信号処理手段は該システム利用 者の身体および主要な身体の部分の３次元位置に基づきビデオ映像表示手段上に システム利用者と相互動作区域の３次元映像を構築し、上記のビデオ映像表示手 段は仮想現実環境内の３次元のグラフで示す対象物を表示し、且つ上記のシステ ム利用者による動きは該システム利用者が仮想現実環境内を動いているように見 えるようにするために上記のビデオ映像表示手段上に表示される３次元の対象物 の見掛け上の動きを可能にする。 換言すれば、本発明は、システム利用者によりコンピュータ映像との相互動作 に基づく自然且つ直観のコンピュータ・利用者間インタフェースに導かれる。こ こで使用する「コンピュータ・ビジョン」は撮影機器がどのような対象物を見た かの項目でビデオ撮影機器から受信した情報を翻訳するためにコンピュータを使 用することである。コンピュータ・ビジョンは、利用者の身振り、身体の動き、 頭部の動き、目の動き、などの識別を可能とする。一方、識別された利用者の動 きは、マルチメディアおよび仮想現実応用と相互動作するために使用れる。特に 、本発明は、システム利用者のシルエットを２次元の映像座標に取り入れ、且つ このシステム利用者が相互動作区域において占める３次元映像座標にそれらを投 影する。 そのような手法はシステム利用者に要求することがなく、且つ作成するのに安 価である。もし利用者が大きなスクリーン表示機器を介して相互動作をしていれ ば、コンピュータはこのシステム利用者が何を眺め且つ何に的を絞っているかを 知りそれにより表示機器上の情報を操作する。更に、表示スクリーンの前に位置 するシステム利用者の位置および姿態は抽出され３次元のグラフィク・モデルす なわち仮想現実環境との相互動作に使用される。本発明のコンピュータ・ビジョ ン方式への身振り翻訳の追加は、コンピュータとの相互動作にリアリズムを追加 する。例えば、直観的な手の動きは仮想現実環境を通じての航行を許すためのコ ンピュータ・システムとのインタフェースとして使用できるであろう。 従来からのSGIベースのソフトウエアに依存するよりは、図３に最善に示され るように、むしろ本発明はカメラ・ベースの利用者インタフェース・システム50 を使用する。システム50は、ビデオカメラ56、ビデオ表示スクリーン54、および Philips社の“single board image processor(SBIP)”60を持つコンピュータ58 を有する。SBIP60は、Massachusetts Institute of TechnologyのMedia Labによ り提案された手法で遭遇した問題(1)‐(3)、およびこれにより２次元システムで 遭遇した問題を除去する。また、コンピュータ58は、３次元撮像ソフトウエアが 書き込まれたコンピュータ読取り可能記憶装置66を有す。SBIP60は、システム50 がシステム利用者の３次元の身体の動きを処理できるように、上記のソフトウエ アを使用する。本発明の３次元撮像ソフトウエアは、Massachusetts Institute of TechnologyにおけるMedia Labにより提案された手法で遭遇した問題(4)およ び(5)を正す。 Media Labによる手法での問題(6)への対処として、本発明はMassachusetts In stitute of Technologyの提案する「マジックミラー」パラダイム以外の幾つか の相互動作ビデオ環境(IVE)パラダイムを評価できる１個のIVEを供給する。本発 明は、下記の４個のIVEパラダイムを評価できる：(1)表示装置は、遠隔側のカメ ラ入力のライブ・ビデオを示し、システム利用者のビデオカメラ入力は表示装置 上のライブ・ビデオで構成される（これはMITの方法において「ミラー」効果と して知られている）；(2)表示装置は遠隔側のライブ・ビデオを示し、利用者の カメラ入力は上記の表示装置上の前記のライブ・ビデオとは混合しない（これは 「ウィンドウ」効果として知られている）；(3)表示装置は仮想現実の形でグラ フィック映像を示し、且つ該システム利用者のカメラ入力は表示装置上のグラフ ィック映像と混合される；ならびに(4)表示装置はグラフィック映像を示し、且 つ該システム利用者のカメラ入力は上記表示装置上のグラフィック映像とは混合 しない。 Ａ．好適な実施例のハードウエア・システムの詳細な説明 ここに実施されたように、本発明の好ましい実施例のカメラ・ベースの身振り 入力を使用する仮想現実環境を通じて３次元航行を認めるためのシステムおよび 方法を図３に示す。特に、システム50はビデオ・カメラ56のようなビデオ信号を 発生する手段に電気的に結合された、コンピュータ58のようなビデオ信号を処理 する手段を有する。コンピュータ58は、ビデオ表示スクリーン54のようなビデオ 映像を表示するための手段に電気的に結合されている。ビデオ表示スクリーン54 は、システム利用者62が立っている相互動作区域52の前面に位置することが望ま しい。ビデオカメラ56は、利用者62の映像と相互動作区域52を電子的に読み、こ れらの映像に手法するビデオ信号を創り出し、且つこのビデオ信号をコンピュー タ58に供給する。 コンピュータ58は、IBMコンパティブル・パーソナル・コンピュータのような 典型的なマイクロプロセッサ・ベースの計算装置が望ましい。更に、コンピュー タ58は、ビデオカメラ56からのビデオ信号を受信するためにマイクロプロセッサ 60に接続された直列ポート64、およびソフトウエア・プログラムを書き込むこと が可能な従来からのコンピュータ読取り可能な記憶装置66を有する。マイクロプ ロセッサ66はPhilips社の“single board image processor”(SBIP)であること が望ましい。SBIP60は、利用者62の２次元映像場面と相互動作区域52をマッピン グし、且つ相互動作区域52内のシステム利用者62の３次元位置を計算するために 、コンピュータ記憶装置66内に符号化された（下記の）ソフトウエアを使用する 。また、SBIP60は、コンピュータ読取り可能な記憶装置66内に固定的に書き込ま れたか、または例えばフロッピー・ディスクまたはCD ROMのようなコンピュータ 読取り可能な外部記憶装置を介してそこへ一時的に書き込まれた応用プログラム を使用するであろう。更に、コンピュータ58は、遠隔制御のようなたの相互動作 機能からデータを受信するためにSBIP60に接続されたモード制御ポート68、およ びビデオ信号をビデオ表示スクリーンに届けるためのビデオ処理装置70を有する 。コンピュータ読取り可能な記憶装置66に書き込まれ且つSBIP60により使用され るソフトウエアは、システム利用者の輪郭を分離し、該利用者の身体および四肢 の位置を３次元映像空間内に決定し、且つ上記の身体および四肢の位置に手法す るビデオ信号をビデオ表示スクリーン54に発生する。 表示スクリーン54は、３次元のグラフィック情報を表示できる従来からのオー ジオ・ビジュアル・モニタから構成されるのが望ましい。本発明に使用される表 示スクリーン54およびビデオカメラ56の種類については任意であり、且つ本発明 のシステムの適用目的のみによって決定できるであろう。 好ましい実施例のカメラ・ベースの身振り入力を使用する３次元映像を構築す るためのシステムの一層好ましい実施例において：ビデオ表示スクリーン34はRe troscan社製RS125SWスクリーン（ｙ方向に６フィートの高さとｘ方向に８フイー トの幅）を持つ後方投射式の池上社製のTPP1000/1500投射器；相互動作区域52は ビデオ表示スクリーン54の前面において（ｚ方向に）11フイートと（ｘ方向に） 12フイートであり；且つビデオカメラ56はソニー社製NTCSカメラである。 本発明のカメラ・ベースの身振り入力を使用する仮想現実環境を通して３次元 航行を認めるためのシステムの実施例の代替案を図４に示す。図示のように、こ の代替案は、図３を参照して記述されたものに類似して、ビデオカメラ56、SBIP 60を持つコンピュータ58およびコンピュータ読取り可能な記憶装置66を有する。 しかし、この代替案は、更にCD ROM上に書き込まれた応用プログラムを読み取り 且つそのような応用プログラムをSBIP60へ供給することができるコンパクトディ スク・リーダ84を有する。この代替案は、また該応用プログラムの制御機能のた めにリモート・コントローラ86を有する。更に、図３に示す実施例の表示スクリ ーンとは異なり、この代替案は、SBIP60からビデオ信号を受信し且つSBIP60へ情 報を送信することが可能な従来からのテレビジョン表示82を含む。 Ｂ．好適な実施例のソフトウエア・システムの詳細な説明 本発明の好適な実施例において、システム利用者および相互動作区域の２次元 映像場面とを相互動作区域内の３次元位置へのマッピングのためのソフトウエア 、ならびに好適な実施例と共に使用されるための応用プログラムを記述する。参 照を容易にするために、このソフトウエアおよび応用プログラムは１人のシステ ム利用者を参照して記述する。しかし、本発明のカメラ・ベースの身振り認識技 術は、複数の利用者により個別に各利用者を識別し且つそれにより各利用者と相 互動作することにより複数利用者においても利用できることが理解される。 図５は、システム利用者62の２次元映像画面を、システム利用者が図３及び図 ４に示される本発明の好適な実施例に従って位置する部屋の３次元位置上にマッ ピングするためのソフトウエア処理において関係する階程を示す流れ線図である 。 ３次元撮像ソフトウエアは、コンピュータ読取り可能な記憶装置66内に永久的に 書き込まれているか或いはフロッピー・ディスク、CD ROMまたは類似の記憶蓄積 手段を介して記憶装置66に一時的に書き込まれる。図示のように、３次元撮像ソ フトウエア処理は、図２に示される２次元抽出処理を使用して映像空間座標(u,v )中の利用者の２次元の頭部、手および脚の場面を抽出する第１階程100を有する 。座標(u,v)はビデオカメラ56の前面にある該利用者の２次元のx‐y平面に対応 する。３次元撮像処理は、更に部屋に関して３次元座標(x,y,z)におけるビデオ カメラ36の方向および位置を読み取る階程102を有する。該利用者の脚は床の上 にあると想定して、階程104においてソフトウエア処理は、該利用者の脚の２次 元の抽出した場面を、この部屋に関するカメラ56の(x,y,z)座標を使用して、該 使用者の脚の３次元座標(x,y,z)に投射する。階程106においては、ソフトウエア 処理は、頭部と手は脚の位置からｚ方向へ少しずれていると仮定し且つカメラ56 のこの部屋に関する(x,y,z)方向を使用して、該利用者の頭部と手の抽出した２ 次元の場面を該利用者の頭部と手の３次元座標(x,y,z)に投射する。 ３次元撮像処理は、更に高さで区別され且つコンピュータが読むことができる 記憶装置66に蓄積される（階程110に示される）生物測定データにアクセスする ために該利用者の測定した高さ(h)を使用する階程108を有する。本発明と共に使 用が可能な生物測定データ表の一例を図８に示す。他の生物測定データもD.Chaf fin，G.Anderssonによる“Occupationl Biomechanics”,2d ed.(1991);L.Farkas による“Anthropometry of Head and Face”,2d ed.(1994);およびN.A.S.A.によ る“Anthropometric Source Book”,vols.1-3(1978)に発表されているように使 用できるであろうから、本発明は図８に示される生物測定データに限定れない。 ３次元撮像処理は、利用者の肩は、ｈが利用者の高さである時に，該利用者の頭 部の上端からこの利用者の首の付け根まででｙ方向に0.182hの距離ずれていて、 且つ利用者の背面の中心から肩甲骨の終端までの肩の幅はｘ方向に0.129hである と想定する。この撮像処理は、更に利用者の腕の長さは0.44hであると想定し、 且つこの想定した腕の長さ(0.44h)を、0.44hより大きい測定された腕の長さがビ デオカメラ56によって得られるまで使用する。ソフトウエア処理は、更に階程10 8において計算された想定された腕の長さ(0.44h)を使用して、手法する足からｚ 方向への各腕のずれを計算する階程112を有する。階程112において、各腕のｚ方 向への実際の長さは、想定された腕の長さから奥行を縮めて書く原理を使用して 計算される。ソフトウエア処理は、該利用者の頭部、手、および足の３次元位置 を応用プログラムへ供給する最終階程114を有する。 図６は、カメラ・ベースの身振り入力を使用して仮想現実環境中を航行するこ とを許すためのシステム90および図３に示される３次元映像を構築するためのシ ステムを示すブロック線図である。図６に示すように、航行システムの利用者62 は、仮想現実環境94のグラフイック映像を表示するビデオ表示スクリーン54の前 面に立つ。ビデオカメラ56は利用者62を眺め、且つSBIP60は利用者62の３次元映 像を抽出することにより且つ上記のように該利用者の頭部、脚、足などの利用者 の動きを識別することによりカメラ56から受信したデータを処理する。 このようにして、図６に示すシステムは、表示および仮想現実環境との相互動 作への沈入的手法および非沈入的手法の両者の長所を組み込む。本発明の航行シ ステムは、仮想現実環境を静的表示上に表示し且つ身体の動きを読み取るのに該 利用者の身体に特別な装置を搭載しない非沈入的概念を使用する。本発明の航行 システムは、また仮想現実環境の動きおよびその環境との相互動作を制御するの に該利用者の身体の動きを使用する沈入的概念を使用する。利用者がバーチャル 環境の実物大の表現を眺め且つ表示が該利用者の視野の大きな部分をカバーする ように、大型のスクリーン表示が使用されるのが好ましい。 本発明は、下記のようにして仮想現実環境94を通して航行することを可能にす る。利用者62が表示スクリーン54の前面を歩く時に、SBIP60は利用者62が立って いる位置を計算する。一歩前進することにより、利用者62は、利用者62が仮想現 実環境94を通して前方へ移動しているように見えるように、SBIP60に表示スクリ ーン上でグラフィック映像92を動かせるようにさせる。同様に左または右へ足を 動かすことにより、利用者62は、利用者62が仮想現実環境94を通して左または右 へ移動しているように見えるように、SBIP60に表示スクリーン上でグラフィック 映像92を動かせるようにさせる。利用者62が一歩後方へ移動する時に、SBIP60は グラフィック映像92の動きを停止させる。もし利用者62が第２歩を後方に取るな らば、利用者62が仮想現実環境94を通して後方に移動しているように見えるよう に、SBIP60はグラフィック映像92を反対方向に動かす。 柔軟性を増すために、追加の身振りが本発明の航行システム90と共に使用され るであろう。例えば、もし利用者がその右手を挙げれば、SBIP60はグラフィック 映像92が一定速度で時計方向回転させるようにして、利用者が仮想現実環境94に おいて時計方向に回転するように見えるようにする。右手を下げることにより、 利用者62はSBIP60に回転を停止するように命令し、SBIP60はグラフィック映像92 が回転を停止するようにさせる。利用者62は仮想現実環境94において見掛け上の 反時計方向の回転を開始または停止させるために同様の方法でその左手を使用で きる。更に、利用者62が腰を曲げれば、SBIP60はグラフィック映像92が回転して 利用者62の前の地面のバーチャル映像を見ることができる。本発明の航行システ ム90には、また下記の追加の身振りが加えられるであろう：(1)利用者62がその 手をグラフィックな対象物に到達させる時にそのグラフィックな対象物は取り上 げられるであろう；(2)「取り上げ」られたグラフィックな対象物は、押す、動 くなどの利用者の身振りにより操作されるであろう；且つ(3)左または右脚の動 きは利用者に仮想現実環境内を「歩く」ことを認めることと識別されるであろう 。 最後に、本発明の航行システムは一組の利用者を取り扱うように拡張され、そ こではシステムが利用者の大多数により示される方向に動くように、多数原理が 動きを制御するために使用されるであろう。他の方法として、多数利用者相互動 作が個別ベースで取り扱われ、異なる利用者に仮想現実環境において同時にそれ ぞれのグラフィックな対象物を選択し且つそれらと相互動作をすることを認める であろう。例えば、ビデオゲーム応用において、そのような設備は異なる利用者 に一組のバーチャル対抗者と１対１で戦うことを許すであろう。 図７は図６に示す本発明のカメラ・ベースの身振り入力を使用する仮想現実環 境を通して３次元航行を許すシステムに使用されるソフトウエア処理に関連する 階程を示す流れ線図である。この処理は、利用者の頭部と手の位置の１秒間サン プルを取るために、このシステム利用者の（図５の処理から供給される）抽出さ れた３次元データを使用する階程200を有する。この処理は、更にどちらかの手 の平均の高さ（平均の手の高さは１秒間サンプルから決定される）はこの利用者 の頭部の平均の高さ（平均の頭部の高さは１秒間サンプルから決定される）より 大きいか否かを決定する階程202を有する。どちらかの手の平均の高さが頭部の 平均の高さより大きくなければ、この処理は階程200に戻る。しかし、どちらか の手の平均の高さが頭部の平均の高さより大きければ、処理は階程204に進み、 そこでは利用者の足の位置(bx,bz)および現在の頭部の位置(bh)が測定される。 この処理は、更にこの利用者はまだ見えているか否かを決定する階程206を有 する。もしこの利用者が見えていないならば、この処理は階程200に戻る。もし この利用者が見えていれば、処理は階程208に進み、現在の足の位置(px,pz),現 在の頭部の位置、現在の高さ(ph)が測定され、且つ移動速度に関する変数(vxお よびvz)，この利用者が体を曲げているかを決定する高さの変数(dy)，および回 転移動(dryおよびdrz)がゼロに設定される。この処理は、下記の式により移動速 度を設定する次の階程210を有する：(1)(k)を利用者が仮想現実環境内を動く速 度を決定するシステムへの入力すなわち(k)が増加すればシステムの移動が早く なるとした時に、vx＝k^*（bx-px）および(2)vz＝k^*（by-pz）となる。（k）の値 は0.3から1.0が望ましい。次の階程212において、もし両方の手の高さが頭部の 高さ(bh)より大きい時は、高さ変数(dy)はダミーの変数(deltay)に設定される。 そうでなければ、階程212において、もし左手の高さのみが頭部の高さ(bh)より 大きければ、その時は回転動作(dry)はalphaに設定されるが、このalphaは仮想 現実環境の反時計方向回転が望ましいことを示す。alphaは+1.0度に設定される のが望ましい。もし右手の高さのみが頭部の高さ(bh)より大きければ、その時は 回転動作(dry)は-alphaに設定されるが、この-alphaは仮想現実環境の時計方向 回転が望ましいことを示す。-alphaは-1.0度に設定されるのが望ましい。環境は 繰り返し(iteration)のループ時間をベースに各繰り返し毎に回転されるので、A lphaおよびbetaは仮想現実環境の回転速度を決定する。このシステムは１秒間に 10繰り返しが発生することを意味する10Hzで動作することが好ましい。 この処理は、更にもし現在の高さ(bh)が頭部の高さ(bh)の80%以下であれば、 回転運動(drx)をダミーの変数(-beta)に且つ変数(bending)を“TRUE”に設定す る階程214を有するが、（-beta）は利用者の前の地面を見るための仮想現実環境 の回転を示し、且つ(bending)は利用者が曲げていることを示す。（-beta）は-2 .0度に設定するのが好ましい。しかし、（bending）が“TRUE”であり且つ現在 の高 さ(bh)が頭部の高さ(bh)の80%以上であれば、回転運動(drx)は(beta)に設定され (bending)は“FALSE”に設定されるが、(beta)は(-beta)の反対への回転を示す 。(beta)は+2.0度に設定されるのが好ましい。この処理は、ビデオ表示スクリー ン上において、仮想現実環境を(vx),(vz)および(dy)移動させ且つ(drx)および(d ry)回転させることを実行する最終階程216を有する。階程216の後、この処理は 該利用者がまだ見えるかを決定するために階程206に戻る。 Ｃ．好適な実施例で使用の応用プログラムの例 本発明は、本発明のカメラ・ベースの入力を使用する３次元映像を構築するた めのシステムおよび方法において使用が可能な応用プログラムの下記の例により 一層明確化されるであろう。これらの応用プログラムは本発明の好適な実施例で の使用の純粋な典型であることを意図し、且つ本発明の広い特徴の範囲を限定す ることを意図していない。本発明の好適な実施例は、利用者がグラフィックなコ ンピュータで発生された対象物を３次元で操作できるようにするために、この利 用者の３次元での位置の計算を必要とする如何なる応用にも適用できる。応用プ ログラムの例には、複数利用者の相互動作のための情報壁、電気通信応用、身振 りベースの遠隔制御、および家庭での運動と娯楽応用を含む。 １．複数利用者の相互動作のための情報壁 情報壁応用プログラムは、本発明の仮想現実を通して航行するためのシステム および方法を使用するであろう。この情報壁は、複数の利用者が相互動作をでき る、大型の、掲示板に類似の表示スクリーンを有し、高度に直観的に分かり且つ 相互動作が可能なシステムを提供する。そのような応用は、ショッピング・モー ル、博物館、図書館、美術館、および類似の環境において使用されるのが好まし い。例えば、ショッピング・モールにおいて、情報壁はこのモールに入る顧客は 壁を活性化するにはそれから或る距離内に立つだけでよいようにする。この情報 壁は、その前に立っている人の位置と高さに、そのモールの全体の地図を表示す る。多数の情報アイコンがこの地図の周辺に展示され、顧客はポインティングに より選択できる。アイコンをポインティングすることにより、この情報壁は、或 る商店、便所、その他のような情報の各種の断片を表示する。情報壁はまた広告 形態を支援するであろう。例えば、地図上の商店をポインティングすることによ り、顧客はこの商店により提供される製品およびサービスを述べる短いビデオ片 を見せられるでろう。この情報壁はまた利用者が壁に沿って歩くと表示がそれに 従うことを可能にして、顧客が行きたい場所に到着できるように正しい方向を指 摘する。 ２．電気通信応用 本発明の好適な実施例はまた電気通信応用にも使用できるであろう。現在、帯 域問題がビデオによる消費者通信を妨げている。本発明により、利用者は実際の 環境ではなく共用の仮想現実世界を介して通信できる。利用者のシルエットから のビデオのみが伝送されればよく、仮想現実環境において示され、ここで本発明 の好適な実施例は利用者のシルエットを抽出する。この手法は利用者に（本発明 はそれらを決定できるので、正確な位置と姿態において）コンピュータにより発 生された身体を示し頭部付近のビデオのみを伝送することにより一層簡易化され るであろう。 複数利用者のテレビ会議もまた本発明により支援されるであろう。現在、利用 者はテレビ会議の利用者から利用者へとカメラをパンしたりズームする必要があ る。本発明は、商用テレビ会議の一部として使用できる可能性があり、そこでは カメラはテレビ会議の出席者の身振りにより制御される。例えば、カメラを出席 者に向けることによりカメラはその出席者に焦点を合わせ、あなたが手を挙げれ ばカメラをあなたに向け、あなたに焦点を合わせる、などが行われる。 ３．身振りベースの遠隔制御 本発明に好適な実施例は、また現在遠隔制御ユニットにより供給されている機 能を置き換えて、統合家庭内娯楽・通信システムのインフラストラクチャの一部 として使用できる。例えば、利用者の室内の位置および身体の姿勢と身振りは全 て本発明によりアクセスできる。CDプレーヤをポインティングすればテレビジョ ン上にCDプレーヤの制御を表示でき、このテレビジョン上のメニューをポインテ ィングすることにより、それらのものを選択できる。 もし１台以上のテレビジョン（またはディスプレ）が部屋にあれば利用者の位 置が何れのテレビジョンを使用するかを決定できるであろう。もし１人以上の利 用者が存在すれば、本発明は異なる利用者により発出される別々の制御を可能に するかまたは異なる制御に対する権利の階層を構築することも考えられる。 更に、従来からのリモートコントローラは本発明と共に使用でき、そこでは本 発明は遠隔制御の機能を単純化し、例えば４個のボタンのみを持つことになるで あろう。本発明によって、利用者はCDプレーヤにリモートコントローラをポイン ティングする（または、それの近くに立つ）、それによりこのリモートコントロ ーラはCDプレーヤのリモートコントローラになる。他の方法として、利用者がテ レビジョンの前に座るとリモートコントローラはチャネル切換器として機能する であろう。最後に、リモートコントローラは権限の階層を確立するのに使用され 、そこでは本発明の好適な実施例ではリモートコントローラを手に持っている使 用者のみに応答するであろう。 ４．家庭での運動と娯楽応用 本発明の好適な実施例は、家庭での運動用CDROMプログラムを支援するように 使用され、そこでは利用者は自分自身の有名なトレイナーを買うことができるで あろう。本発明は、利用者の部屋における位置を家庭での運動プログラムに与え るので、トレイナーは常に利用者の方向を眺めるであろう。本発明は、また運動 の中間で利用者が運動を停止する時を決定でき、それによりトレイナーは他の運 動実施法を勧めることができる。トレイナーは利用者が運動をしている方法を批 評して、有用な情報を提供することも可能である。 家庭での運動への応用の他の別の特徴は、利用者のビデオ入力をトレイナーの グラフィックに発生された映像とを組み合わせ、両方をテレビジョン上に表示す ることであろう。そのような特徴は、利用者に自分自身の行動を見る利点を与え 、且つトレイナーに利用者のビデオ映像の部分を指摘したりまたは触れることを 可能にして、例えばあなたの脚をもっと高く挙げなさいというような注意を発す ることを可能とする。「バーチャル」ジョギングのような他の運動への応用、仮 想現実においてダンスを学ぶような教育への応用、および相互動作のゲームのよ うな娯楽への応用は、また本発明の好適な実施例と共に使用できるでろう。 本発明のカメラ・ベースの身振り入力を使用する３次元映像を構築するための システムおよび方法において、ならびに本発明の範囲および精神から離れること なくこのシステムを構築するに当たり、各種の改良および変形が作成できること は当業者に明らかであろう。一例として、このシステムおよび方法は、映像と利 用者の３次元構築を要求し且つ利用者と３次元映像間に相互動作を要求する他の 応用プログラムと共に使用することができる。更に、図４に示されるCDリーダ84 およびリモートコントローラ86は、図３に示すシステムと共に使用できるであろ う。最後に、システム利用者からの音声認識制御および表示スクリーンへの音響 効果を供給するために、音響機能が好適な実施例に組み込まれるであろう。 本発明の他の実施例は、ここに公開した本発明の仕様書および実行を考慮すれ ば当業者には明らかであろう。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 9/00 Ｇ０９Ｂ 9/00 Ｚ 【要約の続き】 ３次元対象物の見掛け上の動きを許容する。

Claims (1)

1. 【特許請求の範囲】 １．システム利用者のカメラ・ベースの身振り入力を使用して仮想現実環境を通 しての３次元航行を認めるシステムにおいて、 コンピュータが読取り可能な記憶手段； 上記システム利用者の身振りおよびシステム利用者を取り巻く相互動作区域 を示すビデオ信号を発生するためのビデオ信号発生手段； 上記システム利用者の前に配置され、ビデオ映像を表示するためのビデオ映 像表示手段；ならびに コンピュータが読取り可能な記憶手段による、上記システム利用者の身体お よび主要身体部分の３次元位置を決定するための、そこにおいてビデオ信号処 理手段は上記システム利用者の身体および主要身体部分の３次元位置に基づき システム利用者および相互動作区域の３次元映像をビデオ映像表示手段上に構 築し、このビデオ映像表示手段は仮想現実環境内に３次元のグラフィック対象 物を表示し、且つシステム利用者が仮想現実環境内を通して動くように見える ようにシステム利用者による動きは上記ビデオ映像表示手段上に表示されると ころの３次元対象物の見掛け上の動きを許容するものである映像信号を処理す るためのビデオ信号処理手段； を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使 用する仮想現実環境を通して３次元航行を認めるシステム。 ２．請求項１に記載のシステム利用者のカメラ・ベースの身振り入力を使用して 仮想現実環境を通しての３次元航行を認めるシステムにおいて、 上記システム利用者が前進することを該システムが検出する時に、該システ ム利用者が上記の仮想現実環境内を通して前進するように見えるように、上記 ビデオ信号処理手段は上記ビデオ映像表示手段上に３次元のグラフィック対象 物を動かせ；且つ 上記システム利用者が左または右へ歩を進める時に、該システム利用者が上 記の仮想現実環境内を通して左または右へ動くように見えるように、上記ビデ オ信号処理手段は上記ビデオ映像表示手段上に３次元のグラフィック対象物を 動かせる； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認めるシステム。 ３．請求項２に記載のシステムにおいて、 上記システム利用者が第１歩を後退することを該システムが検出する時に、 上記ビデオ信号処理手段は該ビデオ映像表示手段上の３次元のグラフィック対 象物の動きを停止させ；且つ 上記システム利用者が第２歩を後退することを該システムが検出する時に、 該システム利用者が上記の仮想現実環境内を通して後方へ動くように見えるよ うに、上記ビデオ信号処理手段は上記ビデオ映像表示手段上に３次元のグラフ ィック対象物を動かせる； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認めるシステム。 ４．請求項１に記載のシステム利用者のカメラ・ベースの身振り入力を使用して 仮想現実環境を通しての３次元航行を認めるシステムにおいて： 上記システム利用者が第１の手を挙げる時に、該システム利用者が上記の仮 想現実環境内を通して第ｌ方向へ回転するように見えるように、上記ビデオ信 号処理手段は上記ビデオ映像表示手段上で３次元のグラフィック対象物を第１ 方向へ回転させ；且つ上記システム利用者が第１の手を下げる時に回転が停止 する； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認めるシステム。 ５．請求項１に記載のシステム利用者のカメラ・ベースの身振り入力を使用して 仮想現実環境を通しての３次元航行を認めるシステムにおいて、 上記システム利用者が腰を曲げる時に、該システム利用者の前にある３次元 のグラフィック対象物がこのシステム利用者によって見えるように上記ビデオ 信号処理手段は上記ビデオ映像表示手段上で３次元のグラフィック対象物を回 転させることを特徴とするシステム利用者のカメラ・ベースの身振り入力を使 用する仮想現実環境を通して３次元航行を認めるシステム。 ６．コンピュータ読取り可能記憶装置およびこのコンピュータ読取り可能記憶装 置に蓄積されるプログラムを使用するマイクロプロセッサに接続されたビデオ 映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振 り入力を使用して仮想現実環境を通しての３次元航行を認める方法において、 この方法は： システム利用者の身振りおよび該システム利用者を取り巻く相互動作区域を 示すビデオ信号を発生するための階程； 上記システム利用者の身体および主要身体部分の３次元位置を決定するため にマイクロプロセッサにおいてビデオ信号を処理する階程； 上記システム利用者の身体および主要身体部分の３次元位置に基づき該シス テム利用者および相互動作区域の３次元映像を構築するためにマイクロプロセ ッサを使用する階程；および そこにおいては上記システム利用者が仮想現実環境内を通して動くように見 えるように該システム利用者による動きは上記ビデオ映像表示手段上に表示さ れる３次元対象物の見掛けの動きを許容するところの、仮想現実環境内の３次 元のグラフィック対象物をビデオ映像表示装置上に表示するためにマイクロプ ロセッサを使用する階程； を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使 用する仮想現実環境を通して３次元航行を認める方法。 ７．請求項６に記載のコンピュータ・システムの利用者のカメラ・ベースの身振 り入力を使用して仮想現実環境を通しての３次元航行を認める方法において、 この方法は： 上記システム利用者が前進する時に、該システム利用者が上記の仮想現実環 境内を通して前進するように見えるように、上記ビデオ信号処理手段は上記ビ デオ映像表示手段上に３次元のグラフィック対象物を動かせ；且つ 上記システム利用者が左または右へ歩を進める時に、該システム利用者が上 記の仮想現実環境内を通して左または右へ動くように見えるように、上記ビデ オ信号処理手段は上記ビデオ映像表示手段上に３次元のグラフィック対象物を 動かせる； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認める方法。 ８．請求項７に記載の方法において、 上記システム利用者が第１歩を後退する時に、上記ビデオ信号処理手段は上 記ビデオ映像表示手段上の３次元のグラフィック対象物の動きを停止させ；且 つ 上記システム利用者が第２歩を後退する時に、システム利用者が上記の仮想 現実環境内を通して後方へ動くように見えるように、該ビデオ信号処理手段は 該ビデオ映像表示手段上に３次元のグラフィック対象物を動かせる； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認める方法。 ９．請求項６に記載のシステム利用者のカメラ・ベースの身振り入力を使用して 仮想現実環境を通しての３次元航行を認めるシステムにおいて、 上記システム利用者が第１の手を挙げる時に、該システム利用者が上記の仮 想現実環境内を通して第１方向へ回転するように見えるように、上記ビデオ信 号処理手段は上記ビデオ映像表示手段上で３次元のグラフィック対象物を上記 の第１方向へ回転させ；且つ該システム利用者が第１の手を下げる時に時計方 向の回転が停止する； ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用する仮 想現実環境を通して３次元航行を認める方法。 10．請求項６ないし９のうちのいずれか１項に記載の方法をコンピュータ・シス テム上で実行するためのプログラムを有するコンピュータが読取り可能な記憶 装置。