JP2001517345A

JP2001517345A - カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法

Info

Publication number: JP2001517345A
Application number: JP53470599A
Authority: JP
Inventors: ダミアンリオンズ
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-12-23
Filing date: 1998-12-21
Publication date: 2001-10-02
Also published as: KR20000075601A; WO1999034276A2; WO1999034276A3; JP2009037594A; KR100650296B1; EP0960368A2; US6195104B1

Abstract

(57)【要約】システム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法。このシステムは、コンピュータが読取り可能な記憶装置、該システム利用者の身振りおよびこのシステム利用者を取り巻く相互動作区域を示すビデオ信号を発生するためのビデオカメラ、およびビデオ映像表示装置を有する。このビデオ映像表示装置は該システム利用者の前に置かれる。該システムは、更にこのシステム利用者の身体および主要身体部分の３次元位置を決定するために、上記のコンピュータが読取り可能な記憶装置に蓄積されるプログラムによりビデオ信号を処理するためのマイクロプロセッサを有する。このマイクロプロセッサは該システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示装置上に、該システム利用者および相互動作区域の３次元映像を構築する。該ビデオ映像表示装置はいかにもそれらが相互動作区域を占めているように見えるように重ね合わされた３次元のグラフィック対象物を示し、且つ該システム利用者による動きは、該ビデオ映像表示装置上に表示される重ね合わされた３次元対象物の見掛け上の動きを起こさせる。

Description

【発明の詳細な説明】カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法〔本発明の背景〕Ａ．本発明の分野本発明は、一般的にはマルチメディア(multimedia)及びバーチャルリアリティ（virtual reality）応用に関し、更に詳しくいえば、カメラ・ベースの身振り入力を使用の３次元映像構築のシステムおよび方法に関する。Ｂ．関連する技術の説明マルチメディアおよびバーチャルリアリティ応用は、利用者とコンピュータ間で感動的な相互動作を可能にする。不幸にも、現在のコンピュータ・利用者間インタフェースでは極度に単純化された相互活動およびそれによるマルチメディアおよびバーチャルリアリティ応用の消費者の受け入れへの障壁を設ける。理想的には、コンピュータ・利用者間インタフェースは、直観的な相互作用フォーマットと広範囲な相互動作能力との組み合わせであろう。しかしながら、これらの２個の特色は対立している。例えば、コンピュータのキーボードは広範囲な相互動作能力を提供するが、直観的ではなく、一方、テレビジョンのリモートコントロールは一層直観的ではあるが、制限された相互動作能力を提供するに過ぎない。機器が取り付けられたボディスーツのように一層柔軟なインタフェースは、煩わしく且つ高価である。多数のコンピュータ・利用者間インタフェース設計の手法が提案されてきた。１つの手法は、システム利用者に表示される映像を制御するためにこのシステム利用者の身振りをするのにビデオカメラを非沈入的(non-invasive)方法で使用する。図１に示すように、そのようなインタフェース・システム10は、その中にに利用者14が立つ青色の壁12を有し、利用者14の２次元シルエット(silhouette)の抽出を許し且つこのシルエットをクロマキー(chromakey)する。システム10は、更に２次元の利用者シルエットを識別し且つ映像信号を発生するためのビデオカメラ16を含む。コンピュータのマイクロプロセッサ18はビデオカメラ16により観られる２次元の利用者シルエットを識別するが、２次元の形状に過ぎない。このようにして、利用者16の動きは該シルエットの変化する映像座標の項目においてマイクロプロセッサ18により認識されるに過ぎない。マイクロプロセッサ18はテレビジョン・ディスプレイ20上に利用者14の映像を表示する。テレビジョン20上に表示される映像は、その中に利用者の映像がクロマキーされた２次元の情景から構成される。利用者14は、例えば、頭上に手を置くような特定の姿態を取るか、またはこの利用者のシルエットの一部が映像座標の指定された組に接触し利用者が表示された対象物に触れたように見えるようにする動きによって、表示された情景と相互動作をすることができる。図１に示すインタフェース・システムは、マルチメディアおよびバーチャルリアリティ応用に対する使用が容易で、安価なインタフェースを供給する。しかしながら、このインタフェース・システムは、該インタフェースの能力を２次元に制限して、コンピュータ表示の対象物との２次元相互動作を可能にするに過ぎない。例えば、図１の２次元システムにおいて、全てのコンピュータ表示の対象物該利用者のシルエットを取り巻くウインドウにおいて同一の深さである。図２に見られるように、図１に示されるシステムにより使用される従来からの２次元シルエット抽出処理は、ハードウエア処理（鎖線の上部）およびソフトウエア処理（鎖線の下部）の両者を有し、そこではコンピュータ・マイクロプロセッサ18はソフトウエア処理階程を実行する。上記のハードウエア処理は、アナログ・ビデオカメラ信号を入力する階程22、それに続くグレースケール２値データ信号を発生させるためのアナログ・ビデオカメラ信号をデジタル化する階程22に関連する。このハードウエア処理は、更にビデオカメラの解像度を（高くまたは低く）調整する階程26、および対象とする映像、すなわち利用者の映像のウインドウにカメラの視野を制限する階程28を有する。このハードウエア処理は、次にグレースケール２値データ信号がデジタル２値データ、例えば「１」または「０」に変換される動的しきい値階程30を有する。階程32において、該ハードウエア処理は、該利用者の映像の縁(edge)（シルエット）を決定し、且つこの縁データに基づき画像寸法を調整し(階程34)、これにより階程26において解像度を調整する。ソフトウエア処理は、階程34の縁データから背景を除去し、利用者の映像輪郭のみを残す第１階程36を含む。上記の背景は、カメラにより観られる空虚な場面の画像であり、階程38により与えられる。更に、ソフトウエアは、この利用者の映像の全ての縁データを共に結合し、この利用者の映像の周辺に単一の輪郭を与える階程を有する。また、ソフトウエア処理は、この利用者の映像輪郭が人間、動物、またはその他を表すかを決定するための識別階程42、およびこの利用者の（x,y軸における）シルエットの像、すなわち頭、手、足、腕、脚、又はその他を識別するためのシルエット像(feature)階程44を有する。階程46において、ソフトウエア処理は、この利用者の回りのバウンディング・ボックス(bounding bo x)を計算するために輪郭識別データを利用する。このバウンディング・ボックス・データには利用者周辺のカメラ・ウインドウの寸法を制限するためにウインドウ制限階程28が与えられ、これにより抽出処理の速度が増加する。 Massachusetts Institute of Technology(MIT)のMedia Labにより提案された他の１つの手法は、カメラ・ベースの身体動作およびシステム利用者の身振りを使用することにより、利用者がコンピュータにより発生されたグラフィックな世界と相互動作をできるようにする。そのようなシステムは、現在利用できるこの種のものの内で最も用途の広いものであるが、下記の問題の弱点を有する；(1) 標準グラフィカル・インタフェース(SGI)・プラットフォームに基づく；(2)システム利用者周辺の照明条件に敏感である；(3)利用者の足の位置は３次元で追随するが、この利用者の身体の残りの部分は２次元の物体として扱う；(4)１人の利用者に限定される；(5)指のような手の詳細を観るには荒すぎる解像度を与える；(6)下記の「マジックミラー(“magic mirror”)」相互動作ビデオ環境(IVE) パラダイムのみに結び付けられている。このようにして、この他に代わる方法も、他の問題と同様に、従来からの２次元手法により遭遇するのと同様な制限に受ける。日本国特許出願公開「特開平07-38873号」（特願平05-182,744号）で公開されたように、更に別の手法は人間像の実時間認識に対する方法を含む。この特開平第07-38873号は、表情、頭部の回転、指の動き、および人体の回転を検出する人間の３次元のグラフイックな表現を記述している。しかし、特開平07-38873号は人体のグラフイック・モデルの発生に限定されている。更に、特開平07-38873号は、主としてテレビ会議の目標のために利用者の３次元のグラフイック・アニメーションを使用することに焦点を合わせ、そこでは上記の利用者はコンピュータにより発生された場面における対象物を制御できない。最後に、参照は、テレビ会議目標に対する身近の利用者の３次元アニメーションとは違って、遠隔側の利用者の３次元アニメーションの使用を公開している。国際特許出願(PCT)公開第WO96/21321号（以下“PCT 96/21321”という）に発見される最後の手法は、カメラとマイクロフォンを使用して事象（例えば、フットボール・ゲーム）の３次元シミュレーションを実時間で創り出すかまたはCD R OMに蓄積することから成っている。しかし、上記PCT 96/21321号に公開されたシステムは事象の３次元場面をカメラで眺められたままに単に再現するに過ぎない。更に、PCT 96/21321システムの利用者は、３次元場面の眺めを変化させられるに過ぎず、場面中の対象物を制御することは不可能である。不幸にも、上記に提案された手法の何れもが、直観的な相互動作フォーマットを広範囲の相互動作できる能力と組み合わせるコンピュータ・利用者間インタフェースを供給していない。〔本発明の概要〕本発明の目標は、２次元インタフェース・システム、Massachusetts Institut e of TechnologyのMedia Labにより提案された他の１つの手法、および上記の他の関連技術により遭遇した問題に対処することである。他の１つの目標は、対象物がコンピュータ利用者の周辺の３次元空間を占め、且つ上記のコンピュータ利用者が通常の身体の動きにより対象物と相互動作を行い且つそれを制御するように、コンピュータにより発生された対象物の３次元表示を提供することである。本発明の追加的目標および長所は、一部分は下記に記述され、且つ他の一部分は上記の記述から明確であろう、或いは本発明の実施により理解されるであろう。本発明の目的および特長は、付属の請求項において特に指摘される要素および組み合わせの手段により実現され且つ達成されるであろう。上記の目標を達成し且つ本発明の目的に従って、実施され且つここに広く記述されたように、本発明は、システムの利用者のカメラ・ベースの身振り入力を利用して３次元映像を構築するためのシステムを有し、下記を含む：コンピュータが読取り可能な記憶手段；このシステムの利用者の身振りおよびこのシステムの利用者を取り巻く相互動作領域を示すビデオ信号を発生するための手段；上記利用者の前に置かれるビデオ映像を表示するための手段；およびシステム利用者の身体および主要身体部分の３次元位置を決定するための上記のコンピュータが読取り可能な記憶手段に蓄積されたプログラムに従ってビデオ信号を処理するための手段であって、このビデオ信号を処理するための手段はシステム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手段上にシステム利用者と相互動作領域の３次元映像を構築し、上記のビデオ映像表示手段はあたかもそれらが相互動作区域を占めているように見えるように重ね合わされた３次元のグラフによる対象物を表示し、且つこのシステム利用者による動きは上記のビデオ映像表示手段上に表示される重ね合わされた３次元の対象物の見掛け上の動きを可能にする。この目標を一層達成するために、本発明は、上記のコンピュータが読取り可能な記憶手段に蓄積されるプログラムを使用してマイクロプロセッサに接続されたコンピュータが読取り可能な記憶装置およびビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振りの入力を使用して３次元の映像を構築するための方法を有し、この方法は下記の階程を有する：このシステムの利用者の身振りおよびこのシステムの利用者を取り巻く相互動作領域を示すビデオ信号の発生の階程；システム利用者の身体および主要身体部分の３次元位置を決定するためのマイクロプロセッサ中の信号の処理の階程；システム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手段上にシステム利用者と相互動作区域の３次元映像の構築のためのマイクロプロセッサの使用の階程；およびあたかも３次元のグラフによる対象物が相互動作区域を占めているように見えるように重ね合わされたそれらの３次元のグラフによる対象物をビデオ映像表示装置上への表示のためのマイクロプロセッサの使用の階程であり、その階程では該相互動作区域において上記のシステム利用者による動きはビデオ映像表示装置上に表示される重ね合わされた３次元の対象物による見掛け上の動きを引き起こす。更に、目標を達成するために、本発明は、コンピュータ読取り可能記憶装置に蓄積された命令を使用するマイクロプロセッサに接続されるビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用する３次元映像を構築するプログラムを蓄積するためのコンピュータ読取り可能記憶装置を有し、このコンピュータ読取り可能記憶装置は下記の命令を有する：システム利用者の身体および主要身体部分の３次元位置を決定するためにこのシステム利用者の身振りを示すビデオ信号を処理するための命令；システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示装置上にこのシステム利用者と相互動作区域の３次元映像を構築するための命令；およびあたかも３次元のグラフによる対象物が相互動作区域を占めているように見えるように重ね合わされこれらの３次元のグラフによる対象物をビデオ映像表示装置上への表示のための命令であって、その命令により該相互動作区域において上記のシステム利用者による動きはビデオ映像表示装置上に表示される重ね合わされた３次元の対象物の見掛け上の動きを引き起こす。更に、目標を達成するために、本発明はマイクロプロセッサに接続されたビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・プログラム製品を有し、このコンピュータ・プログラム製品は下記を有する：システム利用者の身体および主要身体部分の３次元位置を決定するためにこのシステム利用者の身振りを示すビデオ信号を処理するための手段；システム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示装置上のこのシステム利用者と相互動作区域の３次元映像を構築するための手段；およびあたかも３次元のグラフによる対象物が該相互動作区域を占めているように見えるように重ね合わされる３次元のグラフによる対象物をビデオ映像表示装置上に表示するための手段であって、その手段により該システム利用者による動きが重ね合わされた３次元の対象物の該ビデオ映像表示装置上の見掛け上の動きを可能にする。上記の一般的記述および下記の詳細記述の両者はともに例示であり、且つ例示に過ぎず請求項に示す本発明を制限するものでは無いことを理解されるべきである。〔図面の簡単な説明〕付随する図面は、この仕様に組み込まれ且つその一部を構成するが、本発明の数個の実施例をその記述と共に示し、本発明の原理の説明に役立たせる。図面において：図１は利用者のカメラ・ベースのシルエットを使用する２次元映像を構築するための従来からのシステムのブロック図であり；図２は利用者のシルエットを利用する２次元映像を抽出するための従来からのソフトウエア処理に含まれる階程を示す流れ線図であり；図３は本発明の好適な実施例による利用者のカメラ・ベースのシルエットを使用する３次元映像を構築するためのシステムのブロック図であり；図４は本発明の他の１つの好適な実施例による利用者のカメラ・ベースのシルエットを使用する３次元映像を構築するためのシステムのブロック図であり；図５は利用者と相互動作区域の２次元映像場面を図３および４に示される本発明の好適な実施例による相互動作区域内の３次元位置上にマッピングするためのソフトウエア処理における階程を示し；図６は図３に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を持つ３次元のサッカー・ゲームを示すブロック図であり；図７は図６に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を持つ３次元のサッカー・ゲーム応用プログラムに関係する階程を示す流れ線図であり；且つ図８は身体の高さ(H)が立っている人の高さである時に身体部分の長さを身体の高さ(H)との比で示す生物測定データ表である。〔好適な実施例の説明〕本発明の現在の好適な実施例に関し詳細に参照することとし、その例が付随する図面に表示される。可能な限り、全ての図面を通して同一の参照番号を同一または類似の部分を参照するために使用されるであろう。好適な実施例に従い、本発明はシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を含む。このシステムは、コンピュータ読取り可能記憶手段、このシステムの利用者の身振りおよび該システム利用者を取り巻く相互動作区域を示すビデオ信号を発生するための手段、およびビデオ映像を表示するための手段を有する。上記のビデオ映像表示手段はシステム利用者の前面に位置する。更に、このシステムは、コンピュータ読取り可能記憶手段に蓄積されるプログラムに従って、このシステム利用者の身体および主要な身体の部分の３次元位置を決定するためにビデオ信号を処理するための手段を有し、このビデオ信号処理手段は該システム利用者の身体および主要な身体の部分の３次元位置に基づきビデオ映像表示手段上にシステム利用者と相互動作区域の３次元映像を構築し、上記のビデオ映像表示手段はあたかも３次元のバーチャルリアリティ環境内の３次元のグラフによる対象物が該相互動作区域を占めるように見えるように重ね合わされた３次元のグラフによる対象物を表示し、且つ該システム利用者の動きは該ビデオ映像表示手段上に表示される３次元の対象物の見掛け上の動きを引き起こす。換言すれば、本発明は、システム利用者によりコンピュータ映像との相互動作に基づく自然且つ直観のコンピュータ・利用者間インタフェースに導かれる。ここで使用する「コンピュータ・ビジョン」は撮影機器がどのような対象物を見たかの項目でビデオ撮影機器から受信した情報を翻訳するためにコンピュータを使用することである。コンピュータ・ビジョンは、利用者の身振り、身体の動き、頭部の動き、目の動き、などの識別を可能とする。一方、識別された利用者の動きは、マルチメディアおよびバーチャルリアリティ応用と相互動作するために使用れる。特に、本発明は、システム利用者のシルエットを２次元の映像座標に取り入れ、且つこのシステム利用者が相互動作区域において占める３次元映像座標にそれらを投影する。そのような手法はシステム利用者に要求することがなく、且つ作成するのに安価である。もし利用者が大きなスクリーン表示機器を介して相互動作をしていれば、コンピュータはこのシステム利用者が何を眺め且つ何に的を絞っているかを知りそれにより表示機器上の情報を操作する。更に、表示スクリーンの前に位置するシステム利用者の位置および姿態は抽出され３次元のグラフィク・モデルとの相互動作に使用される。本発明のコンピュータ・ビジョン方式への身振り翻訳の追加は、コンピュータとの相互動作にリアリズムを追加する。例えば、直観的な手の動きはコンピュータ・システムとのインタフェースとして使用されるであろう。従来からのSGIベースのソフトウエアに依存するよりは、図３に最善に示されるように、むしろ本発明はカメラ・ベースの利用者インタフェース・システム50 を使用する。システム50は、ビデオカメラ56、ビデオ表示スクリーン54、および Philips社の“single board image processor”(SBIP)60を持つコンピュータ58 を有する。SBIP60は、Massachusetts Institute of TechnologyのMedia Labにより提案された手法で遭遇した問題(1)-(3)、およびこれにより２次元システムで遭遇した問題を除去する。また、コンピュータ58は、３次元撮像ソフトウエアが書き込まれたコンピュータ読取り可能記憶装置66を有す。SBIP60は、システム50 がシステム利用者の３次元の身体の動きを処理できるように、上記のソフトウエアを使用する。本発明の３次元撮像ソフトウエアは、Massachusetts Institute of TechnologyのMedia Labにより提案された手法で遭遇した問題(4)及び(5)を正す。 Media Labによる手法での問題(6)への対処として、本発明はMassachusetts In stitute of Technologyにより提案された「マジックミラー」パラダイム以外の幾つかの相互動作ビデオ環境(IVE)パラダイムを評価できる１個のIVEを供給する。現在の発明は、下記の４個のIVEパラダイムを評価できる：(1)表示装置は、遠隔側のカメラ入力のライブ・ビデオを示し、システム利用者のビデオカメラ入力は表示装置上のライブ・ビデオで構成される（これはMITの方法において「ミラー」効果として知られている）；(2)表示装置は遠隔側のライブ・ビデオを示し、利用者のカメラ入力は上記の表示装置上の前記のライブ・ビデオとは混合しない（これは「ウインドウ」効果として知られている）；(3)表示装置はバーチャルリアリティの形でグラフィック映像を示し、且つ該システム利用者のカメラ入力は表示装置上のグラフィック映像と混合される；ならびに(4)表示装置はグラフィック映像を示し、且つ該システム利用者のカメラ入力は上記表示装置上のグラフィック映像とは混合しない。Ａ．好適な実施例のハードウエア・システムの詳細な説明ここに実施されたように、本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を図３に示す。特に、システム50はビデオ・カメラ56のようなビデオ信号を発生する手段に電気的に結合された、コンピュータ58のようなビデオ信号を処理する手段を有する。コンピュータ58は、ビデオ表示スクリーン54のようなビデオ映像を表示するための手段に電気的に結合されている。ビデオ表示スクリーン54は、システム利用者62 が立っている相互動作区域52の前面に位置することが望ましい。ビデオカメラ56 は、利用者62の映像と相互動作区域52を電子的に読み、これらの映像に手法するビデオ信号を創り出し、且つこのビデオ信号をコンピュータ58に供給する。コンピュータ58は、IBMコンパティブル・パーソナル・コンピュータのような典型的なマイクロプロセッサ・ベースの計算装置が望ましい。更に、コンピュータ58は、ビデオカメラ56からのビデオ信号を受信するためにマイクロプロセッサ 60に接続された直列ポート64、およびソフトウエア・プログラムを書き込むことが可能な従来からのコンピュータ読取り可能な記憶装置66を有する。マイクロプロセッサ66はPhilips社の“single board imageprocessor”(SBIP)であることが望ましい。SBIP60は、利用者62の２次元映像場面と相互動作区域52をマッピングし、且つ相互動作区域52内のシステム利用者62の３次元位置を計算するために、コンピュータ記憶装置66内に符号化された（下記の）ソフトウエアを使用する。また、SBIP60は、コンピュータ読取り可能な記憶装置66内に固定的に書き込まれたか、または例えばフロッピー・ディスクまたはCD ROMのようなコンピュータ読取り可能な外部記憶装置を介してそこへ一時的に書き込まれた応用プログラムを使用するであろう。更に、コンピュータ58は、遠隔制御のようなたの相互動作機能からデータを受信するためにSBIP60に接続されたモード制御ポート68、およびビデオ信号をビデオ表示スクリーンに届けるためのビデオ処理装置70を有する。コンピュータ読取り可能な記憶装置66に書き込まれ且つSBIP60により使用されるソフトウエアは、システム利用者の輪郭を分離し、該利用者の身体および四肢の位置を３次元映像空間内に決定し、且つ上記の身体および四肢の位置に手法するビデオ信号をビデオ表示スクリーン54に発生する。表示スクリーン54は、３次元のグラフィック情報を表示できる従来からのオージオ・ビジュアル・モニタから構成されるのが望ましい。本発明に使用される表示スクリーン54およびビデオカメラ56の種類については任意であり、且つ本発明のシステムの適用目的のみによって決定できるであろう。好適な実施例のカメラ・ベースの身振り入力を使用する３次元映像を構築するためのシステムの一層好適な実施例において：ビデオ表示スクリーン34はRetros can社製RS125SWスクリーン（ｙ方向に６フィートの高さとｘ方向に８フイートの幅）を持つ後方投射式の池上社製のTPP1000/1500投射器；相互動作区域52はビデオ表示スクリーン54の前面において（ｚ方向に）11フイートと（ｘ方向に）12フイートであり；且つビデオカメラ56はソニー社製NTSCカメラである。本発明のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法の他の実施例を図４に示す。図示のように、この他の実施例は、図３を参照して記述されたものに類似して、ビデオカメラ56、SBIP60を持つコンピュータ58およびコンピュータ読取り可能な記憶装置66を有する。しかし、この他の実施例は、更にCD ROM上に書き込まれた応用プログラムを読み取り且つそのような応用プログラムをSBIP60へ供給することができるコンパクトディスク・リーダ84を有する。この他の実施例は、また該応用プログラムの制御機能のためにリモート・コントローラ86を有する。更に、図３に示す実施例の表示スクリーンとは異なり、この他の実施例は、SBIP60からビデオ信号を受信し且つSBIP60 へ情報を送信することが可能な従来からのテレビジョン表示82を含む。Ｂ．好適な実施例のソフトウエア・システムの詳細な説明本発明の好適な実施例において、システム利用者および相互動作区域の２次元映像場面とを相互動作区域内の３次元位置へのマッピングのためのソフトウエア、ならびに好適な実施例と共に使用されるための応用プログラムを記述する。参照を容易にするために、このソフトウエアおよび応用プログラムは１人のシステム利用者を参照して記述する。しかし、本発明のカメラ・ベースの身振り認識技術は、複数の利用者により個別に各利用者を識別し且つそれにより各利用者と相互動作することにより複数利用者においても利用できることが理解される。図５は、システム利用者62の２次元映像画面を、システム利用者が図３および４に示される本発明の好適な実施例に従って位置する部屋の３次元位置上にマッピングするためのソフトウエア処理において関係する階程を示す流れ線図である。３次元撮像ソフトウエアは、コンピュータ読取り可能な記憶装置66内に永久的に書き込まれているか或いはフロッピー・ディスク、CD ROMまたは類似の記憶蓄積手段を介して記憶装置66に一時的に書き込まれる。図示のように、３次元撮像ソフトウエア処理は、図２に示される２次元抽出処理を使用して映像空間座標(u ,v)中の利用者の２次元の頭部、手および脚の場面を抽出する第１階程100を有する。座標(u,v)はビデオカメラ56の前面にある該利用者の２次元のx-y平面に対応する。３次元撮像処理は、更に部屋に関して３次元座標(x,y,z)におけるビデオカメラ36の方向および位置を読み取る階程102を有する。該利用者の脚は床の上にあると想定して、（既知の座標平面内で）階程104においてソフトウエア処理は、カメラからの焦点軸に沿って抽出された該利用者の脚の２次元の姿を抽出した姿を、この部屋に関するカメラ56の(x,y,z)座標を使用して、該使用者の脚の３次元座標(x,y,z)に投射する。階程106においては、ソフトウエア処理は、頭部と手は脚の位置からｚ方向へ少しずれていると仮定し且つカメラ56のこの部屋に関する(x,y,z)方向を使用して、該利用者の頭部と手の抽出した２次元の場面を該利用者の頭部と手の３次元座標(x,y,z)に投射する。３次元撮像処理は、更に高さで区別され且つコンピュータが読むことができる記憶装置66に蓄積される（階程110に示される）生物測定データにアクセスするために該利用者の測定した高さ(h)を使用する階程108を有する。本発明と共に使用が可能な生物測定データ表の一例を図８に示す。他の生物測定データも、D.Ch affin及びG.Anderssonによる“Occupational Biomechanics”,2d ed.(1991)；L. Farkasによる“Anthropometry of Head and Face”,2d ed.(1994)；およびN.A.S .A.による“Anthropometric Source Book”,vols.1-3(1978)に発表されているように使用できるであろうから、本発明は図８に示される生物測定データに限定れない。３次元撮像処理は、利用者の肩は、ｈが利用者の高さである時に，該利用者の頭部の上端からこの利用者の首の付け根まででｙ方向に0.182hの距離ずれていて、且つ利用者の背面の中心から肩甲骨の終端までの肩の幅はｘ方向に0.129h であると想定する。この撮像処理は、更に利用者の腕の長さは0.44hであると想定し、且つこの想定した腕の長さ(0.44h)を、0.44hより大きい測定された腕の長さがビデオカメラ56によって得られるまで使用する。ソフトウエア処理は、更に階程108において計算された想定された腕の長さ(0.44h)を使用して、手法する足からｚ方向への各腕のずれを計算する階程112を有する。階程112において、各腕のｚ方向への実際の長さは、想定された腕の長さから奥行を縮めて書く原理を使用して計算される。ソフトウエア処理は、該利用者の頭部、手、および足の３次元位置を応用プログラムへ供給する最終階程114を有する。Ｃ．好適な実施例で使用の応用プログラムの例本発明は、本発明のカメラ・ベースの入力を使用する３次元映像を構築するためのシステムおよび方法において使用が可能な応用プログラムの下記の例により一層明確化されるであろう。これらの応用プログラムは本発明の好適な実施例での使用の純粋な典型であることを意図し、且つ本発明の広い特徴の範囲を限定することを意図していない。本発明の好適な実施例は、利用者がグラフィックなコンピュータで発生された対象物を３次元で操作できるようにするために、この利用者の３次元での位置の計算を必要とする如何なる応用にも適用できる。応用プログラムの例には、３次元のサッカー・ビデオゲーム、ホームショッピング応用、複数利用者の相互動作のための情報壁、電気通信応用、身振りベースの遠隔制御、および家庭での運動への応用を含む。１．３次元のサッカー・ビデオゲーム図６は、図３に示される好適なシステムおよび方法を使用する３次元のサッカー（世界中に「フットバール」としても知られている）ビデオゲーム応用を示すブロック線図である。このサッカー・ゲームの使用者62はバーチャル・サッカー・ゲームのグラフィック映像が表示される映像表示スクリーン54の前に立つ。ビデオカメラ56は利用者62を眺め且つSBIP60は利用者62の映像からの抽出、および上記の該利用者の頭部、手、脚、足などの３次元の位置のようなこの利用者の身体の動きの識別によってカメラ56から受け取ったデータを処理する。映像表示スクリーン54は，利用者のカメラ映像92を表示し、且つサッカー競技場の相互動作区域52とのグラフィックな重ね合わせも表示する。スクリーン54は、ゴール区域96のグラフィック映像を相互動作区域52の一方の側に向かって床の上に表示し且つサッカー・ボール94のグラフィック映像を相互動作区域52の中央部の床の上に表示する。ゴール区域96とサッカー・ボール94は、いかにもそれらが床の上にあるように縮尺で線が引かれ且つ回転している様子で表示されるのが好ましい。この利用者が、グラフィック・サッカー・ボール94が存在する相互動作区域52 の部分に接近する時に、この利用者は外観上ではサッカー・ボール94を「キック」できる。本発明のシステムは、この「キック」に実際上応答しない。むしろ、このシステムは該利用者がサッカー・ボール94に近づく方向および該利用者のサッカー・ボール94に対する接近度に反応する。サッカー・ボール94は、この利用者が「キックされた」サッカー・ボール94に近づく方向と速度に応じた速度で動く。これは該利用者の「キックする」効果をシミュレートする。サッカー・ボール94が相互動作区域52の横側の１つ、例えば表示スクリーン54の前側、疑似された背面の壁、または表示スクリーン54の両側のパネルに当たる時には、サッカー・ボール94は競技区域へ「はね」返る。バーチャル・サッカー・ゲームの目標は、サッカー・ボール94をゴール区域へ入らせることである。図７は、図３に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元のサッカー・ゲームのための応用プログラムに関係する階程を示す流れ線図である。図７を参照して、バーチャル・サッカー・ゲーム応用プログラムは階程200において開始し、ｘおよびｙ座標におけるサッカー・ボールの位置を(fx,fz)と設定する階程202を有する。階程204において、利用者に対してのビデオカメラ56の方向が決定され、且つこの利用者の位置は図５の３次元撮像処理により抽出される抽出された３次元映像データから読み込まれる。階程20４は、更にサッカー・ゲームのグラフィックな眺め（すなわち、ゴール区域96とサッカー・ボール94）を設定することを含むために、それはカメラの眺めと共に登録され、且つ利用者に意味のある幻影(illusion)を発生させるためにグラフィックとカメラ56からの映像を共にリュメーキー(lumakey)（専門家には既知の２個のビデオの流れを混合する方法）する。バーチャル・サッカー・ゲーム応用プログラムは、更にサッカー・ボール94およびゴール区域96を表示スクリーン54の黒色の背景に描き、階程204で得られる映像を表示スクリーン54の黒色の背景に調和させるためにリュメーキーヤ(lumakeyer)を設定し、且つリュメーキーされた結果を表示スクリーン54上に表示する階程206を含む。バーチャル・サッカー・ゲーム応用プログラムは、またｘおよびｙ軸における該利用者の現在の足の位置(p)を(px,pz)として測定する階程208を有する。階程2 01において、現在の足の位置(p)とサッカー・ボールの位置(f)の間の差の絶対値、即ち｜p−ｆ｜が予め定められた変数(del)より小さい時は、該利用者の足の速度(fv)はk^*(p−f)に等しく設定される。“k”の値はバネの定数のようなスケーリング(scaling)因子であり、実験により1.1が望ましい。値“del”はサッカー・ボールからの足の位置を表し、実験により５インチが望ましい。このバーチャル・サッカー・ゲーム応用プログラムは、更にボールの位置(f)を足の速度(fv) により予め定められた繰り返し回数、例えば20回、動かす階程202を有する。階程212において、足の速度(fv)は、サッカー・ボール94の速度が減速するように各繰り返しにおいて予め定められた変数(vdel)により減少させられる。値(del) は足の速度(fv)が各繰り返しごとに10％減少するように選ばれる。全ての予め定められた値(k,del,vdel,iterations)は、サッカー・ボールがいかにも真のサッカー・ボールであるように動くことを保証するように設定される。更に、階程21 2において、もしサッカー・ボール94が「壁」に打ち当たった、即ち壁と想定される予め定められたｙまたはｚ座標に達するならば、その時はサッカー・ボール 94は「壁」から跳ね返らされる。最後に、階程212において、サッカー・ボール9 4がゴール区域96と決められた空間に入れば、ベルが鳴動し、サッカー・ボール9 4は最初の位置に置き直される。２．ホームショッピングホームショッピング応用プログラムも、図４に示される好適な実施例と共に使用されるであろう。このホームショッピング応用は３次元のサッカー・ビデオゲームを参照して上記に述べたのと同一の概念を使用するが、サッカー・ボールが利用者の身振りを基に動かされる代わりに、利用者が衣類を試すに応じてそれが動く。テレビジョンまたはコンピュータのカタログを通じてのホームショッピングが一般的でない理由の一つは、消費者がその製品を着用した時にそれがどのように見えるかを決定するのが困難であるあることに気付くからである。本発明の好適な実施例は、ホームショッピング応用に使用された時にこの問題と取り組むことができる。ホームショッピング応用は、（シャツ、靴、パンツ、ドレス、帽子などのような）製品をテレビジョン放送またはCD ROMカタログを通じて販売に提供される。ホームショッピング応用においては、利用者は自分のテレビジョンの前に立ち且つ選択した製品を着た自分をテレビジョン上に見る。この利用者が動き且つ回転すれば、本発明の好適な実施例は身体の動きを決定し、それによりその製品のコンピュータにより発生されたグラフィック映像を変貌させる。製品の寸法の自動発生もホームショッピング応用において可能である。３．複数利用者の相互動作のための情報壁情報壁応用プログラムは、また図３に示す好適な実施例のシステムおよび方法を使用する。この情報壁は、複数の利用者が相互動作をできる、大型の、掲示板に類似の表示スクリーンを有し、極めて直観的に分かり且つ相互動作が可能なシステムを提供する。そのような応用は、ショッピング・モール、博物館、図書館、美術館、および類似の環境において使用されるのが好ましい。例えば、ショッピング・モールにおいて、情報壁はこのモールに入る顧客が壁を活性化するにはそれから或る距離内に立つだけでよいようにする。この情報は、その前に立っている人の位置と高さに、そのモールの全体の地図を表示する。多数の情報アイコンがこの地図の周辺に展示され、顧客はポインティングにより選択できる。アイコンをポインティングすることにより、この情報壁は、或る商店、便所、その他のような情報の各種の断片を表示する。情報壁はまた広告形態を支援するであろう。例えば、地図上の商店をポインティングすることにより、顧客はこの商店により提供される製品およびサービスを述べる短いビデオ片を見せられるでろう。この情報壁はまた利用者が壁に沿って歩くと表示がそれに従うことを可能にして、顧客が行きたい場所に到着できるように正しい方向を指摘する。４．電気通信応用本発明の好適な実施例はまた電気通信応用にも使用できるであろう。現在、帯域問題がビデオによる消費者通信を妨げている。本発明により、利用者は実際の環境ではなく共用のバーチャルリアリティ世界を介して通信できる。利用者のシルエットからのビデオのみが伝送されればよく、バーチャルリアリティ環境において示され、ここにおいて本発明の好適な実施例は利用者のシルエットを抽出する。この手法は、利用者に（本発明はそれらを決定できるので、正確な位置と姿態において）コンピュータにより発生された身体を示し頭部付近のビデオのみを伝送することにより一層簡易化されるであろう。複数利用者のテレビ会議もまた本発明により支援されるであろう。現在、利用者はテレビ会議の利用者から利用者へとカメラをパンしたりズームする必要がある。本発明は、商用テレビ会議の一部として使用できる可能性があり、そこではカメラはテレビ会議の出席者の身振りにより制御される。例えば、カメラを出席者に向けることによりカメラはその出席者に焦点を合わせ、あなたが手を挙げればカメラをあなたに向け、あなたに焦点を合わせる、などが行われる。５．身振りベースの遠隔制御本発明に好適な実施例は、また現在遠隔制御ユニットにより供給されている機能を置き換えて、統合家庭内娯楽・通信システムのインフラストラクチャの一部として使用できる。例えば、利用者の室内の位置および身体の姿勢と身振りは全て本発明によりアクセスできる。CDプレーヤをポインティングすればテレビジョン上にCDプレーヤの制御を表示でき、このテレビジョン上のメニューをポインティングすることにより、それらのものを選択できる。もし１台以上のテレビジョン（またはディスプレー）が部屋にあれば利用者の位置が何れのテレビジョンを使用するかを決定できるであろう。もし１人以上の利用者が存在すれば、本発明は異なる利用者により発出される別々の制御を可能にするかまたは異なる制御に対する権利の階層を構築することも考えられる。更に、従来からのリモートコントローラは本発明と共に使用でき、そこでは本発明は遠隔制御の機能を単純化し、例えば、４個のボタンのみを持つことになるであろう。本発明によって、利用者はCDプレーヤにリモートコントローラをポインティングする（または、それの近くに立つ）、それによりこのリモートコントローラはCDプレーヤのリモートコントローラになる。他の方法として、利用者がテレビジョンの前に座るとリモートコントローラはチャネル切換器として機能するであろう。最後に、リモートコントローラは権限の階層を確立するのに使用され、そこでは本発明の好適な実施例ではリモートコントローラを手に持っている使用者のみに応答するであろう。６．家庭での運動への応用本発明の好適な実施例は、家庭での運動用CD ROMプログラムを支援するように使用され、そこでは利用者は自分自身の有名なトレイナーを買うことができるであろう。本発明は、利用者の部屋における位置を家庭での運動プログラムに与えるので、トレイナーは常に利用者の方向を眺めるであろう。本発明は、また運動の中間で利用者が運動を停止する時を決定でき、それによりトレイナーは他の運動実施法を勧めることができる。トレイナーは利用者が運動をしている方法を批評して、有用な情報を提供することも可能である。家庭での運動への応用の他の別の特徴は、（ホームショッピング応用において、衣類が利用者上に表示される方法と同様に）利用者のビデオ入力をトレイナーのグラフィック的に発生された映像とを組み合わせ、両方をテレビジョン上に表示することであろう。そのような特徴は、利用者に自分自身の行動を見る利点を与え、且つトレイナーに利用者のビデオ映像の部分を指摘したりまたは触れることを可能にして、例えばあなたの脚をもっと高く挙げなさいというような注意を発することを可能とする。本発明のカメラ・ベースの身振り入力を使用する３次元映像を構築するためのシステムおよび方法において、ならびに本発明の範囲および精神から離れることなくこのシステムを構築するに当たり、各種の改良および変形が作成できることは当業者に明らかであろう。一例として、このシステムおよび方法は、映像と利用者の３次元構築を要求し且つ利用者と３次元映像間に相互動作を要求する他の応用プログラムと共に使用することができる。更に、図４に示されるCDリーダ84 およびリモートコントローラ86は、図３に示すシステムと共に使用できるであろう。最後に、システム利用者からの音声認識制御および表示スクリーンへの音響効果を供給するために、音響機能が好適な実施例に組み込まれるであろう。本発明の他の実施例は、ここに公開した本発明の仕様書および実行を考慮すれば当業者には明らかであろう。

───────────────────────────────────────────────────── 【要約の続き】対象物の見掛け上の動きを起こさせる。

Claims

【特許請求の範囲】１．システム利用者のカメラ・ベースの身振り入力を使用して３次元の映像を構築するためのシステムにおいて、コンピュータで読取り可能な記憶手段；上記システム利用者の身振りおよび該システム利用者を取り巻く相互動作区域を示すビデオ信号を発生するためのビデオ信号発生手段；上記システム利用者の前に配置され、ビデオ映像を表示するためのビデオ映像表示手段；ならびにコンピュータで読取り可能な記憶手段の中に記憶されているプログラムに従って、上記システム利用者の身体および主要身体部分の３次元位置を決定するためにビデオ信号を処理するためのビデオ信号処理手段であって、該ビデオ信号処理手段は、上記システム利用者の身体および主要身体部分の３次元位置に基づいて、システム利用者および相互動作区域の３次元映像をビデオ映像表示手段上に構築し、該ビデオ映像表示手段は、いかにも３次元のグラフィック対象物が相互動作区域を占めていると見えるように重ね合わせられたところの３次元のグラフィック対象物を表示して、上記システム利用者による動きが、ビデオ映像表示装置上に表示された上記重ね合わせられた３次元のグラフィック対象物の見掛け上の動きを起こさせるものである；ところのビデオ信号処理手段；を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステム。２．請求項１に記載のシステムにおいて、上記ビデオ信号処理手段は、上記システム利用者の３次元映像を：該システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影すること；頭部と手とは上記の足のｚ位置からずれていると想定して該システム利用者の頭部および手またはその何れか一方を３次元座標に写像すること；並びに計算された該システム利用者の頭部および手またはそれらの何れか一方の３次元位置を該ビデオ映像表示手段へ供給すること；により構築することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステム。３．請求項２に記載のシステムにおいて、上記ビデオ信号処理手段は、上記システム利用者の肩の頭部からのずれの計算および該システム利用者の腕の長さの計算に、該システム利用者の高さ(h)を生物統計と共に使用し；該システム利用者の各腕のずれをこのシステム利用者の対応する足から計算する；ことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステム。４．請求項１または２に記載のシステムにおいて、上記３次元のグラフィック対象物は：セットポジション(f)を持つサッカーボール；および上記ビデオ信号処置手段が上記システム利用者の足の速度(fv)を計算するために、上記システム利用者の足の位置(p)をサッカーボールのセットポジション(f)と比較して予め定められた速度によりサッカーボールの速度を落とし、且つ、もしサッカーボールがゴール区域に入ればベルを鳴動させるところの、ビデオ信号処置手段上にセットポジションを持つゴール区域；を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステム。５．コンピュータで読取り可能な記憶装置と、この記憶装置に蓄積されるプログラムを使用するマイクロプロセッサに接続されたビデオ映像表示装置とを持つところの、コンピュータシステムの利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築する方法において、この方法は：上記システム利用者の身振りおよびシステム利用者を取り巻く相互動作区域を示すビデオ信号を発生する階程；上記システム利用者の身体および主要身体部分の３次元位置を決定するためにマイクロプロセッサで該ビデオ信号を処理する階程；上記システム利用者の身体および主要身体部分の３次元位置に基づき該システム利用者および相互動作区域の３次元映像を構築するためにマイクロプロセッサを使用する階程；および上記ビデオ映像表示装置上に、いかにも３次元のグラフィック対象物が相互動作区域を占めていると見えるように重ね合わせられたところの３次元のグラフィック対象物を表示して、上記システム利用者による動きが、ビデオ映像表示装置上に表示された上記重ね合わせられた３次元のグラフィック対象物によって、見掛け上の動きを起こさせるように表示するためにマイクロプロセッサを利用する階程；という諸階程を含んで成ることを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するための方法。６．請求項５に記載の方法において、３次元映像を構築するための階程は：システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影する階程；頭部と手は上記の足のｚ位置からずれていると想定して該システム利用者の頭部および手を３次元座標に写像する階程；上記システム利用者の肩の頭部からのずれの計算および上記システム利用者の腕の長さの計算に、該システム利用者の高さ(h)を生物統計と共に使用する階程；上記システム利用者の各腕のずれをこのシステム利用者の対応する足から計算する階程；ならびに上記システム利用者の頭部、手および足の計算された３次元位置を上記ビデオ映像表示手段へ供給する階程；という諸階程を含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するための方法。７．３次元のグラフィック対象物がビデオ映像表示装置上にセットポジション(f )を持つサッカーボールおよびセットポジションを持つゴール区域を有する請求項６に記載の方法において、この方法は：上記システム利用者の足の速度(fv)を計算するために該システム利用者の足の位置(p)をサッカーボールのセットポジションと比較する階程；計算された足の速度(fv)によりサッカーボールを動かす階程；予め定められた速度によりサッカーボールを遅くする階程；およびもしサッカーボールがゴール区域に入ればベルを鳴動させる階程；という諸階程を更に含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するための方法。８．コンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システムであって、コンピュータで読取り可能な記憶装置に蓄積される命令を使用するマイクロプロセッサに接続されているビデオ映像表示装置を持つところのコンピュータ・システムにおいて、このコンピュータ・システムは：このシステム利用者の身体および主要な身体部分の３次元位置を決定するために該システム利用者の身振りを示すビデオ信号を処理するための命令；このシステム利用者の身体および主要な身体部分の３次元位置に基づき、ビデオ映像表示装置上に該システム利用者および相互動作区域の３次元映像を構築するための命令；ならびに上記ビデオ映像表示装置上に、いかにも３次元のグラフィック対象物が相互動作区域を占めていると見えるように重ね合わせられたところの３次元のグラフィック対象物を表示して、上記システム利用者による動きが、ビデオ映像表示装置上に表示された上記重ね合わせられた３次元のグラフィック対象物によって、見掛け上の動きを起こさせるように表示するための命令；という諸命令を用いてプログラムされていることを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システム。９．請求項８に記載のコンピュータ・システムにおいて、３次元の映像を構築するための命令は：システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影するための命令；頭部と手は上記の足のｚ位置からずれていると想定して該システム利用者の頭部および手またはそれらの何れか一方を３次元座標に写像する命令；及び上記システム利用者の頭部、手および足の計算された３次元位置を上記ビデオ映像表示装置に供給する命令；という諸命令を含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システム。 10．請求項９に記載のコンピュータ・システムにおいて、３次元映像を構築するための命令は、上記システム利用者の肩の頭部からのずれの計算および該システム利用者の腕の長さの計算に該システム利用者の高さ(h)を生物統計と共に使用する命令を含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システム。 11．請求項８又は９に記載のコンピュータ・システムであって、そこでは３次元のグラフィック対象物がビデオ映像表示装置上にセットポジション(f)を持つサッカーボールおよびセットポジションを持つゴール区域を有するコンピュータ・システムにおいて、上記コンピュータで読取り可能な記憶装置は、上記システム利用者の足の速度(fv)を計算するためにシステム利用者の足の位置(p)をサッカーボールのセットポジションと比較するための命令；計算された足の速度(fv)によりサッカーボールを動かす命令；予め定められた速度によりサッカーボールを遅くする階程；およびもしサッカーボールがゴール区域に入ればベルを鳴動させる命令；を更に含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システム。