JP2009037594A - カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法 - Google Patents

カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法 Download PDF

Info

Publication number
JP2009037594A
JP2009037594A JP2008132407A JP2008132407A JP2009037594A JP 2009037594 A JP2009037594 A JP 2009037594A JP 2008132407 A JP2008132407 A JP 2008132407A JP 2008132407 A JP2008132407 A JP 2008132407A JP 2009037594 A JP2009037594 A JP 2009037594A
Authority
JP
Japan
Prior art keywords
system user
dimensional
user
video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008132407A
Other languages
English (en)
Inventor
Damian Lyons
ダミアン リオンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2009037594A publication Critical patent/JP2009037594A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】システム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法。
【解決手段】ビデオ映像表示装置は該システム利用者の前に置かれる。該システムは、更にこのシステム利用者の身体および主要身体部分の３次元位置を決定するために、上記のコンピュータが読取り可能な記憶装置に蓄積されるプログラムによりビデオ信号を処理するためのマイクロプロセッサを有する。このマイクロプロセッサは該システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示装置上に、該システム利用者および相互動作区域の３次元映像を構築する。該ビデオ映像表示装置はいかにもそれらが相互動作区域を占めているように見えるように重ね合わされた３次元のグラフィック対象物を示し、且つ該システム利用者による動きは、該ビデオ映像表示装置上に表示される重ね合わされた３次元対象物の見掛け上の動きを起こさせる。
【選択図】図３

Description

〔本発明の背景〕
Ａ．本発明の分野
本発明は、一般的にはマルチメディア(multimedia)及びバーチャルリアリティ（virtual reality）応用に関し、更に詳しくいえば、カメラ・ベースの身振り入力を使用の３次元映像構築のシステムおよび方法に関する。
Ｂ．関連する技術の説明
マルチメディアおよびバーチャルリアリティ応用は、利用者とコンピュータ間で感動的な相互動作を可能にする。不幸にも、現在のコンピュータ・利用者間インタフェースでは極度に単純化された相互活動およびそれによるマルチメディアおよびバーチャルリアリティ応用の消費者の受け入れへの障壁を設ける。理想的には、コンピュータ・利用者間インタフェースは、直観的な相互作用フォーマットと広範囲な相互動作能力との組み合わせであろう。しかしながら、これらの２個の特色は対立している。例えば、コンピュータのキーボードは広範囲な相互動作能力を提供するが、直観的ではなく、一方、テレビジョンのリモートコントロールは一層直観的ではあるが、制限された相互動作能力を提供するに過ぎない。
機器が取り付けられたボディスーツのように一層柔軟なインタフェースは、煩わしく且つ高価である。
多数のコンピュータ・利用者間インタフェース設計の手法が提案されてきた。
１つの手法は、システム利用者に表示される映像を制御するためにこのシステム利用者の身振りをするのにビデオカメラを非沈入的(non-invasive)方法で使用する。図１に示すように、そのようなインタフェース・システム10は、その中に利用者14が立つ青色の壁12を有し、利用者14の２次元シルエット(silhouette)の抽出を許し且つこのシルエットをクロマキー(chromakey)する。システム10は、更に２次元の利用者シルエットを識別し且つ映像信号を発生するためのビデオカメラ16を含む。コンピュータのマイクロプロセッサ18はビデオカメラ16により観られる２次元の利用者シルエットを識別するが、２次元の形状に過ぎない。このようにして、利用者16の動きは該シルエットの変化する映像座標の項目においてマイクロプロセッサ18により認識されるに過ぎない。マイクロプロセッサ18はテレビジョン・ディスプレイ20上に利用者14の映像を表示する。テレビジョン20上に表示される映像は、その中に利用者の映像がクロマキーされた２次元の情景から構成される。利用者14は、例えば、頭上に手を置くような特定の姿態を取るか、またはこの利用者のシルエットの一部が映像座標の指定された組に接触し利用者が表示された対象物に触れたように見えるようにする動きによって、表示された情景と相互動作をすることができる。
図１に示すインタフェース・システムは、マルチメディアおよびバーチャルリアリティ応用に対する使用が容易で、安価なインタフェースを供給する。しかしながら、このインタフェース・システムは、該インタフェースの能力を２次元に制限して、コンピュータ表示の対象物との２次元相互動作を可能にするに過ぎない。例えば、図１の２次元システムにおいて、全てのコンピュータ表示の対象物該利用者のシルエットを取り巻くウインドウにおいて同一の深さである。
図２に見られるように、図１に示されるシステムにより使用される従来からの２次元シルエット抽出処理は、ハードウエア処理（鎖線の上部）およびソフトウエア処理（鎖線の下部）の両者を有し、そこではコンピュータ・マイクロプロセッサ18はソフトウエア処理階程を実行する。上記のハードウエア処理は、アナログ・ビデオカメラ信号を入力する階程22、それに続くグレースケール２値データ信号を発生させるためのアナログ・ビデオカメラ信号をデジタル化する階程22に関連する。このハードウエア処理は、更にビデオカメラの解像度を（高くまたは低く）調整する階程26、および対象とする映像、すなわち利用者の映像のウインドウにカメラの視野を制限する階程28を有する。このハードウエア処理は、次にグレースケール２値データ信号がデジタル２値データ、例えば「１」または「０」に変換される動的しきい値階程30を有する。階程32において、該ハードウエア処理は、該利用者の映像の縁(edge)（シルエット）を決定し、且つこの縁データに基づき画像寸法を調整し(階程34)、これにより階程26において解像度を調整する。
ソフトウエア処理は、階程34の縁データから背景を除去し、利用者の映像輪郭のみを残す第１階程36を含む。上記の背景は、カメラにより観られる空虚な場面の画像であり、階程38により与えられる。更に、ソフトウエアは、この利用者の映像の全ての縁データを共に結合し、この利用者の映像の周辺に単一の輪郭を与える階程を有する。また、ソフトウエア処理は、この利用者の映像輪郭が人間、動物、またはその他を表すかを決定するための識別階程42、およびこの利用者の（x,y軸における）シルエットの像、すなわち頭、手、足、腕、脚、又はその他を識別するためのシルエット像(feature)階程44を有する。階程46において、ソフトウエア処理は、この利用者の回りのバウンディング・ボックス(bounding box)を計算するために輪郭識別データを利用する。このバウンディング・ボックス・データには利用者周辺のカメラ・ウインドウの寸法を制限するためにウインドウ制限階程28が与えられ、これにより抽出処理の速度が増加する。
Massachusetts Institute of Technology(MIT)のMedia Labにより提案された他の１つの手法は、カメラ・ベースの身体動作およびシステム利用者の身振りを使用することにより、利用者がコンピュータにより発生されたグラフィックな世界と相互動作をできるようにする。そのようなシステムは、現在利用できるこの種のものの内で最も用途の広いものであるが、下記の問題の弱点を有する；(1)標準グラフィカル・インタフェース(SGI)・プラットフォームに基づく；(2)システム利用者周辺の照明条件に敏感である；(3)利用者の足の位置は３次元で追随するが、この利用者の身体の残りの部分は２次元の物体として扱う；(4)１人の利用者に限定される；(5)指のような手の詳細を観るには荒すぎる解像度を与える；(6)下記の「マジックミラー(“magic mirror”)」相互動作ビデオ環境(IVE)パラダイムのみに結び付けられている。このようにして、この他に代わる方法も、他の問題と同様に、従来からの２次元手法により遭遇するのと同様な制限に受ける。
日本国特許出願公開「特開平07-38873号」（特願平05-182,744号）で公開されたように、更に別の手法は人間像の実時間認識に対する方法を含む。この特開平第07-38873号は、表情、頭部の回転、指の動き、および人体の回転を検出する人間の３次元のグラフイックな表現を記述している。しかし、特開平07-38873号は人体のグラフイック・モデルの発生に限定されている。更に、特開平07-38873号は、主としてテレビ会議の目標のために利用者の３次元のグラフイック・アニメーションを使用することに焦点を合わせ、そこでは上記の利用者はコンピュータにより発生された場面における対象物を制御できない。最後に、参照は、テレビ会議目標に対する身近の利用者の３次元アニメーションとは違って、遠隔側の利用者の３次元アニメーションの使用を公開している。
国際特許出願(PCT)公開第WO96/21321号（以下“PCT 96/21321”という）に発見される最後の手法は、カメラとマイクロフォンを使用して事象（例えば、フットボール・ゲーム）の３次元シミュレーションを実時間で創り出すかまたはCD ROMに蓄積することから成っている。しかし、上記PCT 96/21321号に公開されたシステムは事象の３次元場面をカメラで眺められたままに単に再現するに過ぎない。更に、PCT 96/21321システムの利用者は、３次元場面の眺めを変化させられるに過ぎず、場面中の対象物を制御することは不可能である。
不幸にも、上記に提案された手法の何れもが、直観的な相互動作フォーマットを広範囲の相互動作できる能力と組み合わせるコンピュータ・利用者間インタフェースを供給していない。
〔本発明の概要〕
本発明の目的は、２次元インタフェース・システム、Massachusetts Institute of TechnologyのMedia Labにより提案された他の１つの手法、および上記の他の関連技術により遭遇した問題に対処することである。他の１つの目標は、対象物がコンピュータ利用者の周辺の３次元空間を占め、且つ上記のコンピュータ利用者が通常の身体の動きにより対象物と相互動作を行い且つそれを制御するように、コンピュータにより発生された対象物の３次元表示を提供することである。
本発明の追加的目的および長所は、一部分は下記に記述され、且つ他の一部分は上記の記述から明確であろう、或いは本発明の実施により理解されるであろう。本発明の目的および特長は、付属の請求項において特に指摘される要素および組み合わせの手段により実現され且つ達成されるであろう。
上記の目標を達成し且つ本発明の目的に従って、実施され且つここに広く記述されたように、本発明は、システムの利用者のカメラ・ベースの身振り入力を利用して３次元映像を構築するためのシステムを有し、下記を含む：コンピュータが読取り可能な記憶手段；このシステムの利用者の身振りおよびこのシステムの利用者を取り巻く相互動作領域を示すビデオ信号を発生するための手段；上記利用者の前に置かれるビデオ映像を表示するための手段；およびシステム利用者の身体および主要身体部分の３次元位置を決定するための上記のコンピュータが読取り可能な記憶手段に蓄積されたプログラムに従ってビデオ信号を処理するための手段であって、このビデオ信号を処理するための手段はシステム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手段上にシステム利用者と相互動作領域の３次元映像を構築し、上記のビデオ映像表示手段はあたかもそれらが相互動作区域を占めているように見えるように重ね合わされた３次元のグラフによる対象物を表示し、且つこのシステム利用者による動きは上記のビデオ映像表示手段上に表示される重ね合わされた３次元の対象物の見掛け上の動きを可能にする。
この目標を一層達成するために、本発明は、上記のコンピュータが読取り可能な記憶手段に蓄積されるプログラムを使用してマイクロプロセッサに接続されたコンピュータが読取り可能な記憶装置およびビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振りの入力を使用して３次元の映像を構築するための方法を有し、この方法は下記の階程を有する：このシステムの利用者の身振りおよびこのシステムの利用者を取り巻く相互動作領域を示すビデオ信号の発生の階程；システム利用者の身体および主要身体部分の３次元位置を決定するためのマイクロプロセッサ中の信号の処理の階程；システム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示手段上にシステム利用者と相互動作区域の３次元映像の構築のためのマイクロプロセッサの使用の階程；およびあたかも３次元のグラフによる対象物が相互動作区域を占めているように見えるように重ね合わされたそれらの３次元のグラフによる対象物をビデオ映像表示装置上への表示のためのマイクロプロセッサの使用の階程であり、その階程では該相互動作区域において上記のシステム利用者による動きはビデオ映像表示装置上に表示される重ね合わされた３次元の対象物による見掛け上の動きを引き起こす。
更に、目標を達成するために、本発明は、コンピュータ読取り可能記憶装置に蓄積された命令を使用するマイクロプロセッサに接続されるビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用する３次元映像を構築するプログラムを蓄積するためのコンピュータ読取り可能記憶装置を有し、このコンピュータ読取り可能記憶装置は下記の命令を有する：システム利用者の身体および主要身体部分の３次元位置を決定するためにこのシステム利用者の身振りを示すビデオ信号を処理するための命令；システム利用者の身体および主要身体部分の３次元位置に基づきビデオ映像表示装置上にこのシステム利用者と相互動作区域の３次元映像を構築するための命令；およびあたかも３次元のグラフによる対象物が相互動作区域を占めているように見えるように重ね合わされこれらの３次元のグラフによる対象物をビデオ映像表示装置上への表示のための命令であって、その命令により該相互動作区域において上記のシステム利用者による動きはビデオ映像表示装置上に表示される重ね合わされた３次元の対象物の見掛け上の動きを引き起こす。
更に、目標を達成するために、本発明はマイクロプロセッサに接続されたビデオ映像表示装置を持つコンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・プログラム製品を有し、このコンピュータ・プログラム製品は下記を有する：システム利用者の身体および主要身体部分の３次元位置を決定するためにこのシステム利用者の身振りを示すビデオ信号を処理するための手段；システム利用者の身体および主要身体部分の３次元位置に基づくビデオ映像表示装置上のこのシステム利用者と相互動作区域の３次元映像を構築するための手段；およびあたかも３次元のグラフによる対象物が該相互動作区域を占めているように見えるように重ね合わされる３次元のグラフによる対象物をビデオ映像表示装置上に表示するための手段であって、その手段により該システム利用者による動きが重ね合わされた３次元の対象物の該ビデオ映像表示装置上の見掛け上の動きを可能にする。
上記の一般的記述および下記の詳細記述の両者はともに例示であり、且つ例示に過ぎず請求項に示す本発明を制限するものでは無いことを理解されるべきである。
〔好適な実施例の説明〕
付随する図面は、この仕様に組み込まれ且つその一部を構成するが、本発明の数個の実施例をその記述と共に示し、本発明の原理の説明に役立たせる。
本発明の現在の好適な実施例に関し詳細に参照することとし、その例が付随する図面に表示される。可能な限り、全ての図面を通して同一の参照番号を同一または類似の部分を参照するために使用されるであろう。
好適な実施例に従い、本発明はシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を含む。このシステムは、コンピュータ読取り可能記憶手段、このシステムの利用者の身振りおよび該システム利用者を取り巻く相互動作区域を示すビデオ信号を発生するための手段、およびビデオ映像を表示するための手段を有する。上記のビデオ映像表示手段はシステム利用者の前面に位置する。更に、このシステムは、コンピュータ読取り可能記憶手段に蓄積されるプログラムに従って、このシステム利用者の身体および主要な身体の部分の３次元位置を決定するためにビデオ信号を処理するための手段を有し、このビデオ信号処理手段は該システム利用者の身体および主要な身体の部分の３次元位置に基づきビデオ映像表示手段上にシステム利用者と相互動作区域の３次元映像を構築し、上記のビデオ映像表示手段はあたかも３次元のバーチャルリアリティ環境内の３次元のグラフによる対象物が該相互動作区域を占めるように見えるように重ね合わされた３次元のグラフによる対象物を表示し、且つ該システム利用者の動きは該ビデオ映像表示手段上に表示される３次元の対象物の見掛け上の動きを引き起こす。
換言すれば、本発明は、システム利用者によりコンピュータ映像との相互動作に基づく自然且つ直観のコンピュータ・利用者間インタフェースに導かれる。ここで使用する「コンピュータ・ビジョン」は撮影機器がどのような対象物を見たかの項目でビデオ撮影機器から受信した情報を翻訳するためにコンピュータを使用することである。コンピュータ・ビジョンは、利用者の身振り、身体の動き、頭部の動き、目の動き、などの識別を可能とする。一方、識別された利用者の動きは、マルチメディアおよびバーチャルリアリティ応用と相互動作するために使用される。特に、本発明は、システム利用者のシルエットを２次元の映像座標に取り入れ、且つこのシステム利用者が相互動作区域において占める３次元映像座標にそれらを投影する。
そのような手法はシステム利用者に要求することがなく、且つ作成するのに安価である。もし利用者が大きなスクリーン表示機器を介して相互動作をしていれば、コンピュータはこのシステム利用者が何を眺め且つ何に的を絞っているかを知りそれにより表示機器上の情報を操作する。更に、表示スクリーンの前に位置するシステム利用者の位置および姿態は抽出され３次元のグラフィク・モデルとの相互動作に使用される。本発明のコンピュータ・ビジョン方式への身振り翻訳の追加は、コンピュータとの相互動作にリアリズムを追加する。例えば、直観的な手の動きはコンピュータ・システムとのインタフェースとして使用されるであろう。
従来からのSGIベースのソフトウエアに依存するよりは、図３に最善に示されるように、むしろ本発明はカメラ・ベースの利用者インタフェース・システム50を使用する。システム50は、ビデオカメラ56、ビデオ表示スクリーン54、およびPhilips社の“single board image processor”(SBIP)60を持つコンピュータ58を有する。SBIP60は、Massachusetts Institute of TechnologyのMedia Labにより提案された手法で遭遇した問題(1)-(3)、およびこれにより２次元システムで遭遇した問題を除去する。また、コンピュータ58は、３次元撮像ソフトウエアが書き込まれたコンピュータ読取り可能記憶装置66を有す。SBIP60は、システム50がシステム利用者の３次元の身体の動きを処理できるように、上記のソフトウエアを使用する。本発明の３次元撮像ソフトウエアは、Massachusetts Institute of TechnologyのMedia Labにより提案された手法で遭遇した問題(4)及び(5)を正す。
Media Labによる手法での問題(6)への対処として、本発明はMassachusetts Institute of Technologyにより提案された「マジックミラー」パラダイム以外の幾つかの相互動作ビデオ環境(IVE)パラダイムを評価できる１個のIVEを供給する。現在の発明は、下記の４個のIVEパラダイムを評価できる：(1)表示装置は、遠隔側のカメラ入力のライブ・ビデオを示し、システム利用者のビデオカメラ入力は表示装置上のライブ・ビデオで構成される（これはMITの方法において「ミラー」効果として知られている）；(2)表示装置は遠隔側のライブ・ビデオを示し、利用者のカメラ入力は上記の表示装置上の前記のライブ・ビデオとは混合しない（これは「ウインドウ」効果として知られている）；(3)表示装置はバーチャルリアリティの形でグラフィック映像を示し、且つ該システム利用者のカメラ入力は表示装置上のグラフィック映像と混合される；ならびに(4)表示装置はグラフィック映像を示し、且つ該システム利用者のカメラ入力は上記表示装置上のグラフィック映像とは混合しない。
Ａ．好適な実施例のハードウエア・システムの詳細な説明
ここに実施されたように、本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を図３に示す。特に、システム50はビデオ・カメラ56のようなビデオ信号を発生する手段に電気的に結合された、コンピュータ58のようなビデオ信号を処理する手段を有する。コンピュータ58は、ビデオ表示スクリーン54のようなビデオ映像を表示するための手段に電気的に結合されている。ビデオ表示スクリーン54は、システム利用者62が立っている相互動作区域52の前面に位置することが望ましい。ビデオカメラ56は、利用者62の映像と相互動作区域52を電子的に読み、これらの映像に手法するビデオ信号を創り出し、且つこのビデオ信号をコンピュータ58に供給する。
コンピュータ58は、IBMコンパティブル・パーソナル・コンピュータのような典型的なマイクロプロセッサ・ベースの計算装置が望ましい。更に、コンピュータ58は、ビデオカメラ56からのビデオ信号を受信するためにマイクロプロセッサ60に接続された直列ポート64、およびソフトウエア・プログラムを書き込むことが可能な従来からのコンピュータ読取り可能な記憶装置66を有する。マイクロプロセッサ66はPhilips社の“single board imageprocessor”(SBIP)であることが望ましい。SBIP60は、利用者62の２次元映像場面と相互動作区域52をマッピングし、且つ相互動作区域52内のシステム利用者62の３次元位置を計算するために、コンピュータ記憶装置66内に符号化された（下記の）ソフトウエアを使用する。
また、SBIP60は、コンピュータ読取り可能な記憶装置66内に固定的に書き込まれたか、または例えばフロッピー・ディスクまたはCD ROMのようなコンピュータ読取り可能な外部記憶装置を介してそこへ一時的に書き込まれた応用プログラムを使用するであろう。更に、コンピュータ58は、遠隔制御のようなたの相互動作機能からデータを受信するためにSBIP60に接続されたモード制御ポート68、およびビデオ信号をビデオ表示スクリーンに届けるためのビデオ処理装置70を有する。
コンピュータ読取り可能な記憶装置66に書き込まれ且つSBIP60により使用されるソフトウエアは、システム利用者の輪郭を分離し、該利用者の身体および四肢の位置を３次元映像空間内に決定し、且つ上記の身体および四肢の位置に手法するビデオ信号をビデオ表示スクリーン54に発生する。
表示スクリーン54は、３次元のグラフィック情報を表示できる従来からのオージオ・ビジュアル・モニタから構成されるのが望ましい。本発明に使用される表示スクリーン54およびビデオカメラ56の種類については任意であり、且つ本発明のシステムの適用目的のみによって決定できるであろう。
好適な実施例のカメラ・ベースの身振り入力を使用する３次元映像を構築するためのシステムの一層好適な実施例において：ビデオ表示スクリーン34はRetroscan社製RS125SWスクリーン（ｙ方向に６フィートの高さとｘ方向に８フイートの幅）を持つ後方投射式の池上社製のTPP1000/1500投射器；相互動作区域52はビデオ表示スクリーン54の前面において（ｚ方向に）11フイートと（ｘ方向に）12フイートであり；且つビデオカメラ56はソニー社製NTSCカメラである。
本発明のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法の他の実施例を図４に示す。図示のように、この他の実施例は、図３を参照して記述されたものに類似して、ビデオカメラ56、SBIP60を持つコンピュータ58およびコンピュータ読取り可能な記憶装置66を有する。しかし、この他の実施例は、更にCD ROM上に書き込まれた応用プログラムを読み取り且つそのような応用プログラムをSBIP60へ供給することができるコンパクトディスク・リーダ84を有する。この他の実施例は、また該応用プログラムの制御機能のためにリモート・コントローラ86を有する。更に、図３に示す実施例の表示スクリーンとは異なり、この他の実施例は、SBIP60からビデオ信号を受信し且つSBIP60へ情報を送信することが可能な従来からのテレビジョン表示82を含む。
Ｂ．好適な実施例のソフトウエア・システムの詳細な説明
本発明の好適な実施例において、システム利用者および相互動作区域の２次元映像場面とを相互動作区域内の３次元位置へのマッピングのためのソフトウエア、ならびに好適な実施例と共に使用されるための応用プログラムを記述する。参照を容易にするために、このソフトウエアおよび応用プログラムは１人のシステム利用者を参照して記述する。しかし、本発明のカメラ・ベースの身振り認識技術は、複数の利用者により個別に各利用者を識別し且つそれにより各利用者と相互動作することにより複数利用者においても利用できることが理解される。
図５は、システム利用者62の２次元映像画面を、システム利用者が図３および４に示される本発明の好適な実施例に従って位置する部屋の３次元位置上にマッピングするためのソフトウエア処理において関係する階程を示す流れ線図である。３次元撮像ソフトウエアは、コンピュータ読取り可能な記憶装置66内に永久的に書き込まれているか或いはフロッピー・ディスク、CD ROMまたは類似の記憶蓄積手段を介して記憶装置66に一時的に書き込まれる。図示のように、３次元撮像ソフトウエア処理は、図２に示される２次元抽出処理を使用して映像空間座標(u,v)中の利用者の２次元の頭部、手および脚の場面を抽出する第１階程100を有する。座標(u,v)はビデオカメラ56の前面にある該利用者の２次元のx-y平面に対応する。３次元撮像処理は、更に部屋に関して３次元座標(x,y,z)におけるビデオカメラ36の方向および位置を読み取る階程102を有する。該利用者の脚は床の上にあると想定して、（既知の座標平面内で）階程104においてソフトウエア処理は、カメラからの焦点軸に沿って抽出された該利用者の脚の２次元の姿を抽出した姿を、この部屋に関するカメラ56の(x,y,z)座標を使用して、該使用者の脚の３次元座標(x,y,z)に投射する。階程106においては、ソフトウエア処理は、頭部と手は脚の位置からｚ方向へ少しずれていると仮定し且つカメラ56のこの部屋に関する(x,y,z)方向を使用して、該利用者の頭部と手の抽出した２次元の場面を該利用者の頭部と手の３次元座標(x,y,z)に投射する。
３次元撮像処理は、更に高さで区別され且つコンピュータが読むことができる記憶装置66に蓄積される（階程110に示される）生物測定データにアクセスするために該利用者の測定した高さ(h)を使用する階程108を有する。本発明と共に使用が可能な生物測定データ表の一例を図８に示す。他の生物測定データも、D.Chaffin及びG.Anderssonによる“Occupational Biomechanics”,2d ed.(1991)；L.Farkasによる“Anthropometry of Head and Face”,2d ed.(1994)；およびN.A.S.A.による“Anthropometric Source Book”,vols.1-3(1978)に発表されているように使用できるであろうから、本発明は図８に示される生物測定データに限定れない。３次元撮像処理は、利用者の肩は、ｈが利用者の高さである時に，該利用者の頭部の上端からこの利用者の首の付け根まででｙ方向に0.182hの距離ずれていて、且つ利用者の背面の中心から肩甲骨の終端までの肩の幅はｘ方向に0.129hであると想定する。この撮像処理は、更に利用者の腕の長さは0.44hであると想定し、且つこの想定した腕の長さ(0.44h)を、0.44hより大きい測定された腕の長さがビデオカメラ56によって得られるまで使用する。ソフトウエア処理は、更に階程108において計算された想定された腕の長さ(0.44h)を使用して、手法する足からｚ方向への各腕のずれを計算する階程112を有する。階程112において、各腕のｚ方向への実際の長さは、想定された腕の長さから奥行を縮めて書く原理を使用して計算される。ソフトウエア処理は、該利用者の頭部、手、および足の３次元位置を応用プログラムへ供給する最終階程114を有する。
Ｃ．好適な実施例で使用の応用プログラムの例
本発明は、本発明のカメラ・ベースの入力を使用する３次元映像を構築するためのシステムおよび方法において使用が可能な応用プログラムの下記の例により一層明確化されるであろう。これらの応用プログラムは本発明の好適な実施例での使用の純粋な典型であることを意図し、且つ本発明の広い特徴の範囲を限定することを意図していない。本発明の好適な実施例は、利用者がグラフィックなコンピュータで発生された対象物を３次元で操作できるようにするために、この利用者の３次元での位置の計算を必要とする如何なる応用にも適用できる。応用プログラムの例には、３次元のサッカー・ビデオゲーム、ホームショッピング応用、複数利用者の相互動作のための情報壁、電気通信応用、身振りベースの遠隔制御、および家庭での運動への応用を含む。
１．３次元のサッカー・ビデオゲーム
図６は、図３に示される好適なシステムおよび方法を使用する３次元のサッカー（世界中に「フットバール」としても知られている）ビデオゲーム応用を示すブロック線図である。このサッカー・ゲームの使用者62はバーチャル・サッカー・ゲームのグラフィック映像が表示される映像表示スクリーン54の前に立つ。ビデオカメラ56は利用者62を眺め且つSBIP60は利用者62の映像からの抽出、および上記の該利用者の頭部、手、脚、足などの３次元の位置のようなこの利用者の身体の動きの識別によってカメラ56から受け取ったデータを処理する。
映像表示スクリーン54は，利用者のカメラ映像92を表示し、且つサッカー競技場の相互動作区域52とのグラフィックな重ね合わせも表示する。スクリーン54は、ゴール区域96のグラフィック映像を相互動作区域52の一方の側に向かって床の上に表示し且つサッカー・ボール94のグラフィック映像を相互動作区域52の中央部の床の上に表示する。ゴール区域96とサッカー・ボール94は、いかにもそれらが床の上にあるように縮尺で線が引かれ且つ回転している様子で表示されるのが好ましい。
この利用者が、グラフィック・サッカー・ボール94が存在する相互動作区域52の部分に接近する時に、この利用者は外観上ではサッカー・ボール94を「キック」できる。本発明のシステムは、この「キック」に実際上応答しない。むしろ、このシステムは該利用者がサッカー・ボール94に近づく方向および該利用者のサッカー・ボール94に対する接近度に反応する。サッカー・ボール94は、この利用者が「キックされた」サッカー・ボール94に近づく方向と速度に応じた速度で動く。これは該利用者の「キックする」効果をシミュレートする。サッカー・ボール94が相互動作区域52の横側の１つ、例えば表示スクリーン54の前側、疑似された背面の壁、または表示スクリーン54の両側のパネルに当たる時には、サッカー・ボール94は競技区域へ「はね」返る。バーチャル・サッカー・ゲームの目標は、サッカー・ボール94をゴール区域へ入らせることである。
図７は、図３に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元のサッカー・ゲームのための応用プログラムに関係する階程を示す流れ線図である。図７を参照して、バーチャル・サッカー・ゲーム応用プログラムは階程200において開始し、ｘおよびｙ座標におけるサッカー・ボールの位置を(fx,fz)と設定する階程202を有する。階程204において、利用者に対してのビデオカメラ56の方向が決定され、且つこの利用者の位置は図５の３次元撮像処理により抽出される抽出された３次元映像データから読み込まれる。階程20４は、更にサッカー・ゲームのグラフィックな眺め（すなわち、ゴール区域96とサッカー・ボール94）を設定することを含むために、それはカメラの眺めと共に登録され、且つ利用者に意味のある幻影(illusion)を発生させるためにグラフィックとカメラ56からの映像を共にリュメーキー(lumakey)（専門家には既知の２個のビデオの流れを混合する方法）する。バーチャル・サッカー・ゲーム応用プログラムは、更にサッカー・ボール94およびゴール区域96を表示スクリーン54の黒色の背景に描き、階程204で得られる映像を表示スクリーン54の黒色の背景に調和させるためにリュメーキーヤ(lumakeyer)を設定し、且つリュメーキーされた結果を表示スクリーン54上に表示する階程206を含む。
バーチャル・サッカー・ゲーム応用プログラムは、またｘおよびｙ軸における該利用者の現在の足の位置(p)を(px,pz)として測定する階程208を有する。階程201において、現在の足の位置(p)とサッカー・ボールの位置(f)の間の差の絶対値、即ち｜p−ｆ｜が予め定められた変数(del)より小さい時は、該利用者の足の速度(fv)はk*(p−f)に等しく設定される。“k”の値はバネの定数のようなスケーリング(scaling)因子であり、実験により1.1が望ましい。値“del”はサッカー・ボールからの足の位置を表し、実験により５インチが望ましい。このバーチャル・サッカー・ゲーム応用プログラムは、更にボールの位置(f)を足の速度(fv)により予め定められた繰り返し回数、例えば20回、動かす階程202を有する。階程212において、足の速度(fv)は、サッカー・ボール94の速度が減速するように各繰り返しにおいて予め定められた変数(vdel)により減少させられる。値(del)は足の速度(fv)が各繰り返しごとに10％減少するように選ばれる。全ての予め定められた値(k,del,vdel,iterations)は、サッカー・ボールがいかにも真のサッカー・ボールであるように動くことを保証するように設定される。更に、階程212において、もしサッカー・ボール94が「壁」に打ち当たった、即ち壁と想定される予め定められたｙまたはｚ座標に達するならば、その時はサッカー・ボール94は「壁」から跳ね返らされる。最後に、階程212において、サッカー・ボール94がゴール区域96と決められた空間に入れば、ベルが鳴動し、サッカー・ボール94は最初の位置に置き直される。
２．ホームショッピング
ホームショッピング応用プログラムも、図４に示される好適な実施例と共に使用されるであろう。このホームショッピング応用は３次元のサッカー・ビデオゲームを参照して上記に述べたのと同一の概念を使用するが、サッカー・ボールが利用者の身振りを基に動かされる代わりに、利用者が衣類を試すに応じてそれが動く。
テレビジョンまたはコンピュータのカタログを通じてのホームショッピングが一般的でない理由の一つは、消費者がその製品を着用した時にそれがどのように見えるかを決定するのが困難であるあることに気付くからである。本発明の好適な実施例は、ホームショッピング応用に使用された時にこの問題と取り組むことができる。ホームショッピング応用は、（シャツ、靴、パンツ、ドレス、帽子などのような）製品をテレビジョン放送またはCD ROMカタログを通じて販売に提供される。ホームショッピング応用においては、利用者は自分のテレビジョンの前に立ち且つ選択した製品を着た自分をテレビジョン上に見る。この利用者が動き且つ回転すれば、本発明の好適な実施例は身体の動きを決定し、それによりその製品のコンピュータにより発生されたグラフィック映像を変貌させる。製品の寸法の自動発生もホームショッピング応用において可能である。
３．複数利用者の相互動作のための情報壁
情報壁応用プログラムは、また図３に示す好適な実施例のシステムおよび方法を使用する。この情報壁は、複数の利用者が相互動作をできる、大型の、掲示板に類似の表示スクリーンを有し、極めて直観的に分かり且つ相互動作が可能なシステムを提供する。そのような応用は、ショッピング・モール、博物館、図書館、美術館、および類似の環境において使用されるのが好ましい。
例えば、ショッピング・モールにおいて、情報壁はこのモールに入る顧客が壁を活性化するにはそれから或る距離内に立つだけでよいようにする。この情報は、その前に立っている人の位置と高さに、そのモールの全体の地図を表示する。
多数の情報アイコンがこの地図の周辺に展示され、顧客はポインティングにより選択できる。アイコンをポインティングすることにより、この情報壁は、或る商店、便所、その他のような情報の各種の断片を表示する。情報壁はまた広告形態を支援するであろう。例えば、地図上の商店をポインティングすることにより、顧客はこの商店により提供される製品およびサービスを述べる短いビデオ片を見せられるであろう。この情報壁はまた利用者が壁に沿って歩くと表示がそれに従うことを可能にして、顧客が行きたい場所に到着できるように正しい方向を指摘する。
４．電気通信応用
本発明の好適な実施例はまた電気通信応用にも使用できるであろう。現在、帯域問題がビデオによる消費者通信を妨げている。本発明により、利用者は実際の環境ではなく共用のバーチャルリアリティ世界を介して通信できる。利用者のシルエットからのビデオのみが伝送されればよく、バーチャルリアリティ環境において示され、ここにおいて本発明の好適な実施例は利用者のシルエットを抽出する。この手法は、利用者に（本発明はそれらを決定できるので、正確な位置と姿態において）コンピュータにより発生された身体を示し頭部付近のビデオのみを伝送することにより一層簡易化されるであろう。
複数利用者のテレビ会議もまた本発明により支援されるであろう。現在、利用者はテレビ会議の利用者から利用者へとカメラをパンしたりズームする必要がある。本発明は、商用テレビ会議の一部として使用できる可能性があり、そこではカメラはテレビ会議の出席者の身振りにより制御される。例えば、カメラを出席者に向けることによりカメラはその出席者に焦点を合わせ、あなたが手を挙げればカメラをあなたに向け、あなたに焦点を合わせる、などが行われる。
５．身振りベースの遠隔制御
本発明に好適な実施例は、また現在遠隔制御ユニットにより供給されている機能を置き換えて、統合家庭内娯楽・通信システムのインフラストラクチャの一部として使用できる。例えば、利用者の室内の位置および身体の姿勢と身振りは全て本発明によりアクセスできる。CDプレーヤをポインティングすればテレビジョン上にCDプレーヤの制御を表示でき、このテレビジョン上のメニューをポインティングすることにより、それらのものを選択できる。
もし１台以上のテレビジョン（またはディスプレー）が部屋にあれば利用者の位置が何れのテレビジョンを使用するかを決定できるであろう。もし１人以上の利用者が存在すれば、本発明は異なる利用者により発出される別々の制御を可能にするかまたは異なる制御に対する権利の階層を構築することも考えられる。
更に、従来からのリモートコントローラは本発明と共に使用でき、そこでは本発明は遠隔制御の機能を単純化し、例えば、４個のボタンのみを持つことになるであろう。本発明によって、利用者はCDプレーヤにリモートコントローラをポインティングする（または、それの近くに立つ）、それによりこのリモートコントローラはCDプレーヤのリモートコントローラになる。他の方法として、利用者がテレビジョンの前に座るとリモートコントローラはチャネル切換器として機能するであろう。最後に、リモートコントローラは権限の階層を確立するのに使用され、そこでは本発明の好適な実施例ではリモートコントローラを手に持っている使用者のみに応答するであろう。
６．家庭での運動への応用
本発明の好適な実施例は、家庭での運動用CD ROMプログラムを支援するように使用され、そこでは利用者は自分自身の有名なトレイナーを買うことができるであろう。本発明は、利用者の部屋における位置を家庭での運動プログラムに与えるので、トレイナーは常に利用者の方向を眺めるであろう。本発明は、また運動の中間で利用者が運動を停止する時を決定でき、それによりトレイナーは他の運動実施法を勧めることができる。トレイナーは利用者が運動をしている方法を批評して、有用な情報を提供することも可能である。
家庭での運動への応用の他の別の特徴は、（ホームショッピング応用において、衣類が利用者上に表示される方法と同様に）利用者のビデオ入力をトレイナーのグラフィック的に発生された映像とを組み合わせ、両方をテレビジョン上に表示することであろう。そのような特徴は、利用者に自分自身の行動を見る利点を与え、且つトレイナーに利用者のビデオ映像の部分を指摘したりまたは触れることを可能にして、例えばあなたの脚をもっと高く挙げなさいというような注意を発することを可能とする。
本発明のカメラ・ベースの身振り入力を使用する３次元映像を構築するためのシステムおよび方法において、ならびに本発明の範囲および精神から離れることなくこのシステムを構築するに当たり、各種の改良および変形が作成できることは当業者に明らかであろう。一例として、このシステムおよび方法は、映像と利用者の３次元構築を要求し且つ利用者と３次元映像間に相互動作を要求する他の応用プログラムと共に使用することができる。更に、図４に示されるCDリーダ84およびリモートコントローラ86は、図３に示すシステムと共に使用できるであろう。最後に、システム利用者からの音声認識制御および表示スクリーンへの音響効果を供給するために、音響機能が好適な実施例に組み込まれるであろう。
本発明の他の実施例は、ここに公開した本発明の仕様書および実行を考慮すれば当業者には明らかであろう。
図１は利用者のカメラ・ベースのシルエットを使用する２次元映像を構築するための従来からのシステムのブロック図である。 図２は利用者のシルエットを利用する２次元映像を抽出するための従来からのソフトウエア処理に含まれる階程を示す流れ線図である。 図３は本発明の好適な実施例による利用者のカメラ・ベースのシルエットを使用する３次元映像を構築するためのシステムのブロック図である。 図４は本発明の他の１つの好適な実施例による利用者のカメラ・ベースのシルエットを使用する３次元映像を構築するためのシステムのブロック図である。 図５は利用者と相互動作区域の２次元映像場面を図３および４に示される本発明の好適な実施例による相互動作区域内の３次元位置上にマッピングするためのソフトウエア処理における階程を示す。 図６は図３に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を持つ３次元のサッカー・ゲームを示すブロック図である。 図７は図６に示される本発明の好適な実施例のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのシステムおよび方法を持つ３次元のサッカー・ゲーム応用プログラムに関係する階程を示す流れ線図である。 図８は身体の高さ(H)が立っている人の高さである時に身体部分の長さを身体の高さ(H)との比で示す生物測定データ表である。

Claims (11)

  1. システム利用者のカメラ・ベースの身振り入力を使用して３次元の映像を構 築するためのシステムにおいて、 コンピュータで読取り可能な記憶手段；
    上記システム利用者の身振りおよび該システム利用者を取り巻く相互動作区 域を示すビデオ信号を発生するためのビデオ信号発生手段；
    上記システム利用者の前に配置され、ビデオ映像を表示するためのビデオ映 像表示手段；ならびに コンピュータで読取り可能な記憶手段の中に記憶されているプログラムに従 って、上記システム利用者の身体および主要身体部分の３次元位置を決定する ためにビデオ信号を処理するためのビデオ信号処理手段であって、該ビデオ信 号処理手段は、上記システム利用者の身体および主要身体部分の３次元位置に 基づいて、システム利用者および相互動作区域の３次元映像をビデオ映像表示 手段上に構築し、該ビデオ映像表示手段は、いかにも３次元のグラフィック対 象物が相互動作区域を占めていると見えるように重ね合わせられたところの３ 次元のグラフィック対象物を表示して、上記システム利用者による動きが、ビ デオ映像表示装置上に表示された上記重ね合わせられた３次元のグラフィック 対象物の見掛け上の動きを起こさせるものである；ところのビデオ信号処理手 段；
    を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使 用して３次元映像を構築するためのシステム。
  2. 請求項１に記載のシステムにおいて、上記ビデオ信号処理手段は、上記シス テム利用者の３次元映像を： 該システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影すること；
    頭部と手とは上記の足のｚ位置からずれていると想定して該システム利用者 の頭部および手またはその何れか一方を３次元座標に写像すること；並びに 計算された該システム利用者の頭部および手またはそれらの何れか一方の３ 次元位置を該ビデオ映像表示手段へ供給すること；
    により構築することを特徴とするシステム利用者のカメラ・ベースの身振り入 力を使用して３次元映像を構築するためのシステム。
  3. 請求項２に記載のシステムにおいて、上記ビデオ信号処理手段は、上記シス テム利用者の肩の頭部からのずれの計算および該システム利用者の腕の長さの 計算に、該システム利用者の高さ(h)を生物統計と共に使用し；該システム利 用者の各腕のずれをこのシステム利用者の対応する足から計算する；ことを特 徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像 を構築するためのシステム。
  4. 請求項１または２に記載のシステムにおいて、上記３次元のグラフィック対 象物は： セットポジション(f)を持つサッカーボール；および 上記ビデオ信号処置手段が上記システム利用者の足の速度(fv)を計算するた めに、上記システム利用者の足の位置(p)をサッカーボールのセットポジショ ン(f)と比較して予め定められた速度によりサッカーボールの速度を落とし、 且つ、もしサッカーボールがゴール区域に入ればベルを鳴動させるところの、 ビデオ信号処置手段上にセットポジションを持つゴール区域；
    を有することを特徴とするシステム利用者のカメラ・ベースの身振り入力を使 用して３次元映像を構築するためのシステム。
  5. コンピュータで読取り可能な記憶装置と、この記憶装置に蓄積されるプログ ラムを使用するマイクロプロセッサに接続されたビデオ映像表示装置とを持つ ところの、コンピュータシステムの利用者のカメラ・ベースの身振り入力を使 用して３次元映像を構築する方法において、この方法は： 上記システム利用者の身振りおよびシステム利用者を取り巻く相互動作区域 を示すビデオ信号を発生する階程；
    上記システム利用者の身体および主要身体部分の３次元位置を決定するため にマイクロプロセッサで該ビデオ信号を処理する階程；
    上記システム利用者の身体および主要身体部分の３次元位置に基づき該シス テム利用者および相互動作区域の３次元映像を構築するためにマイクロプロセ ッサを使用する階程；および 上記ビデオ映像表示装置上に、いかにも３次元のグラフィック対象物が相互 動作区域を占めていると見えるように重ね合わせられたところの３次元のグラ フィック対象物を表示して、上記システム利用者による動きが、ビデオ映像表 示装置上に表示された上記重ね合わせられた３次元のグラフィック対象物によ って、見掛け上の動きを起こさせるように表示するためにマイクロプロセッサ を利用する階程；
    という諸階程を含んで成ることを特徴とするシステム利用者のカメラ・ベース の身振り入力を使用して３次元映像を構築するための方法。
  6. 請求項５に記載の方法において、３次元映像を構築するための階程は： システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影する 階程；
    頭部と手は上記の足のｚ位置からずれていると想定して該システム利用者の 頭部および手を３次元座標に写像する階程；
    上記システム利用者の肩の頭部からのずれの計算および上記システム利用者 の腕の長さの計算に、該システム利用者の高さ(h)を生物統計と共に使用する 階程；
    上記システム利用者の各腕のずれをこのシステム利用者の対応する足から計 算する階程；ならびに 上記システム利用者の頭部、手および足の計算された３次元位置を上記ビデ オ映像表示手段へ供給する階程；
    という諸階程を含むことを特徴とするシステム利用者のカメラ・ベースの身振 り入力を使用して３次元映像を構築するための方法。
  7. ３次元のグラフィック対象物がビデオ映像表示装置上にセットポジション(f )を持つサッカーボールおよびセットポジションを持つゴール区域を有する請 求項６に記載の方法において、この方法は： 上記システム利用者の足の速度(fv)を計算するために該システム利用者の足 の位置(p)をサッカーボールのセットポジションと比較する階程；
    計算された足の速度(fv)によりサッカーボールを動かす階程；
    予め定められた速度によりサッカーボールを遅くする階程；および もしサッカーボールがゴール区域に入ればベルを鳴動させる階程；
    という諸階程を更に含むことを特徴とするシステム利用者のカメラ・ベースの 身振り入力を使用して３次元映像を構築するための方法。
  8. コンピュータ・システムの利用者のカメラ・ベースの身振り入力を使用して ３次元映像を構築するためのコンピュータ・システムであって、コンピュータ で読取り可能な記憶装置に蓄積される命令を使用するマイクロプロセッサに接 続されているビデオ映像表示装置を持つところのコンピュータ・システムにおいて、このコンピュータ・システムは： このシステム利用者の身体および主要な身体部分の３次元位置を決定するために該システム利用者の身振りを示すビデオ信号を処理するための命令；
    このシステム利用者の身体および主要な身体部分の３次元位置に基づき、ビデオ映像表示装置上に該システム利用者および相互動作区域の３次元映像を構 築するための命令；ならびに上記ビデオ映像表示装置上に、いかにも３次元のグラフィック対象物が相互 動作区域を占めていると見えるように重ね合わせられたところの３次元のグラフィック対象物を表示して、上記システム利用者による動きが、ビデオ映像表 示装置上に表示された上記重ね合わせられた３次元のグラフィック対象物によって、見掛け上の動きを起こさせるように表示するための命令；
    という諸命令を用いてプログラムされていることを特徴とするシステム利用者のカメラ・ベースの身振り入力を使用して３次元映像を構築するためのコンピュータ・システム。
  9. 請求項８に記載のコンピュータ・システムにおいて、３次元の映像を構築するための命令は： システム利用者の足の２次元位置(u,v)を足の３次元座標(x,y,z)に投影するための命令；
    頭部と手は上記の足のｚ位置からずれていると想定して該システム利用者の 頭部および手またはそれらの何れか一方を３次元座標に写像する命令；及び 上記システム利用者の頭部、手および足の計算された３次元位置を上記ビデ オ映像表示装置に供給する命令；
    という諸命令を含むことを特徴とするシステム利用者のカメラ・ベースの身振 り入力を使用して３次元映像を構築するためのコンピュータ・システム。
  10. 請求項９に記載のコンピュータ・システムにおいて、３次元映像を構築する ための命令は、上記システム利用者の肩の頭部からのずれの計算および該シス テム利用者の腕の長さの計算に該システム利用者の高さ(h)を生物統計と共に 使用する命令を含むことを特徴とするシステム利用者のカメラ・ベースの身振 り入力を使用して３次元映像を構築するためのコンピュータ・システム。
  11. 請求項８又は９に記載のコンピュータ・システムであって、そこでは３次元 のグラフィック対象物がビデオ映像表示装置上にセットポジション(f)を持つ サッカーボールおよびセットポジションを持つゴール区域を有するコンピュー タ・システムにおいて、上記コンピュータで読取り可能な記憶装置は、 上記システム利用者の足の速度(fv)を計算するためにシステム利用者の足の 位置(p)をサッカーボールのセットポジションと比較するための命令；
    計算された足の速度(fv)によりサッカーボールを動かす命令；
    予め定められた速度によりサッカーボールを遅くする階程；および もしサッカーボールがゴール区域に入ればベルを鳴動させる命令；
    を更に含むことを特徴とするシステム利用者のカメラ・ベースの身振り入力を 使用して３次元映像を構築するためのコンピュータ・システム。
JP2008132407A 1997-12-23 2008-05-20 カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法 Pending JP2009037594A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/996,677 US6195104B1 (en) 1997-12-23 1997-12-23 System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP53470599A Division JP2001517345A (ja) 1997-12-23 1998-12-21 カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2009037594A true JP2009037594A (ja) 2009-02-19

Family

ID=25543180

Family Applications (2)

Application Number Title Priority Date Filing Date
JP53470599A Ceased JP2001517345A (ja) 1997-12-23 1998-12-21 カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法
JP2008132407A Pending JP2009037594A (ja) 1997-12-23 2008-05-20 カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP53470599A Ceased JP2001517345A (ja) 1997-12-23 1998-12-21 カメラ・ベースの身振り入力を使用しての３次元映像構築のシステムおよび方法

Country Status (5)

Country Link
US (1) US6195104B1 (ja)
EP (1) EP0960368A2 (ja)
JP (2) JP2001517345A (ja)
KR (1) KR100650296B1 (ja)
WO (1) WO1999034276A2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9945660B2 (en) 2012-01-17 2018-04-17 Leap Motion, Inc. Systems and methods of locating a control object appendage in three dimensional (3D) space
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
KR20200092389A (ko) * 2017-12-06 2020-08-03 유니버셜 시티 스튜디오스 엘엘씨 인터랙티브 비디오 게임 시스템
US10739862B2 (en) 2013-01-15 2020-08-11 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication

Families Citing this family (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6753857B1 (en) * 1999-04-16 2004-06-22 Nippon Telegraph And Telephone Corporation Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7261612B1 (en) 1999-08-30 2007-08-28 Digimarc Corporation Methods and systems for read-aloud books
US8391851B2 (en) 1999-11-03 2013-03-05 Digimarc Corporation Gestural techniques with wireless mobile phone devices
US7224995B2 (en) * 1999-11-03 2007-05-29 Digimarc Corporation Data entry method and system
JP2001160959A (ja) * 1999-12-02 2001-06-12 Canon Inc 仮想システムの制御装置及び方法並びに記憶媒体
US6507353B1 (en) * 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
TW559699B (en) * 2000-01-12 2003-11-01 Sony Corp Image display device and method
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US6701357B1 (en) * 2000-04-19 2004-03-02 Toshiba America Information Systems, Inc. Server appliance
US20010031081A1 (en) * 2000-04-19 2001-10-18 The One Infinite Inc. Mirror to be formed using digital image processing and medium storing program for a computer to perform the processing
US6753879B1 (en) * 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
EP1311803B8 (de) 2000-08-24 2008-05-07 VDO Automotive AG Verfahren und Navigationsgerät zum Abfragen von Zielinformation und zum Navigieren in einer Kartenansicht
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
DE10159610B4 (de) * 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US20030227453A1 (en) * 2002-04-09 2003-12-11 Klaus-Peter Beier Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US20090143141A1 (en) * 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7505862B2 (en) * 2003-03-07 2009-03-17 Salmon Technologies, Llc Apparatus and method for testing electronic systems
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
GB0310654D0 (en) * 2003-05-09 2003-06-11 Koninkl Philips Electronics Nv Mirror assembly with integrated display device
ATE375569T1 (de) * 2003-05-14 2007-10-15 Tbs Holding Ag Verfahren und vorrichtung zur erkennung biometrischer daten nach aufnahme aus mindestens zwei richtungen
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
JP4425589B2 (ja) * 2003-09-03 2010-03-03 任天堂株式会社 画像生成プログラム、画像生成方法及び画像生成装置
US9573056B2 (en) * 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) * 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US7990556B2 (en) * 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) * 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
JP4005060B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法
JP4005061B2 (ja) * 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
JP4689684B2 (ja) * 2005-01-21 2011-05-25 ジェスチャー テック，インコーポレイテッド 動作に基づくトラッキング
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006106465A2 (en) * 2005-04-07 2006-10-12 Nxp B.V. Method and device for three-dimentional reconstruction and rendering
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
CA2672144A1 (en) * 2006-04-14 2008-11-20 Patrick Levy Rosenthal Virtual video camera device with three-dimensional tracking and virtual object insertion
US20070265075A1 (en) * 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
US20110014981A1 (en) * 2006-05-08 2011-01-20 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP5013773B2 (ja) * 2006-08-18 2012-08-29 パナソニック株式会社 車載画像処理装置及びその視点変換情報生成方法
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
JP2010533006A (ja) * 2007-03-01 2010-10-21 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 仮想世界とコミュニケーションを取るためのシステムおよび方法
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US20080295035A1 (en) * 2007-05-25 2008-11-27 Nokia Corporation Projection of visual elements and graphical elements in a 3D UI
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US8638363B2 (en) 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US8019661B2 (en) 2007-11-26 2011-09-13 International Business Machines Corporation Virtual web store with product images
US8065200B2 (en) 2007-11-26 2011-11-22 International Business Machines Corporation Virtual web store with product images
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8253727B2 (en) 2008-03-14 2012-08-28 International Business Machines Corporation Creating a web store using manufacturing data
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
JP2012501005A (ja) * 2008-08-26 2012-01-12 ピュアデプス リミテッド 多層ディスプレイにおける改良
WO2010030822A1 (en) * 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
CN101874234B (zh) * 2008-09-29 2014-09-24 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US8527657B2 (en) * 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) * 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
GB2470072B (en) 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
WO2013189058A1 (en) 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP2012000165A (ja) * 2010-06-14 2012-01-05 Sega Corp ビデオゲーム装置
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
KR101601805B1 (ko) 2011-11-14 2016-03-11 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
CA2882453C (en) 2012-08-27 2021-07-20 Universite Du Quebec A Chicoutimi Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
CN103593519B (zh) * 2013-10-31 2016-05-04 中国运载火箭技术研究院 一种基于试验设计的运载火箭总体参数优化方法
US20160092034A1 (en) * 2014-09-26 2016-03-31 Amazon Technologies, Inc. Kiosk Providing High Speed Data Transfer
US10237329B1 (en) 2014-09-26 2019-03-19 Amazon Technologies, Inc. Wirelessly preparing device for high speed data transfer
KR20170116437A (ko) * 2016-04-11 2017-10-19 전자부품연구원 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법
CN111610858B (zh) 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US11132479B1 (en) 2017-12-29 2021-09-28 II John Tyson Augmented reality system for component assembly and archival baseline clone
US11486697B1 (en) 2017-12-29 2022-11-01 II John Tyson Optical structural health monitoring
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11040262B2 (en) 2019-06-21 2021-06-22 Matthew Moran Sports ball training or simulating device
US11938390B2 (en) 2019-06-21 2024-03-26 Matthew Moran Sports ball training or simulating device
KR102128535B1 (ko) * 2019-11-19 2020-06-30 주식회사 오드래빗미디어 홀로그램을 제공하기 위한 시스템
WO2022146169A1 (en) * 2020-12-30 2022-07-07 Ringcentral, Inc., (A Delaware Corporation) System and method for noise cancellation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
JP2534617B2 (ja) 1993-07-23 1996-09-18 株式会社エイ・ティ・アール通信システム研究所 人物像の実時間認識合成方法
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
WO1997018667A1 (fr) * 1995-11-14 1997-05-22 Sony Corporation Dispositif pour effets speciaux, procede de traitement d'images et procede de generation d'ombres

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767345B2 (en) 2012-01-17 2017-09-19 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US10767982B2 (en) 2012-01-17 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space
US11308711B2 (en) 2012-01-17 2022-04-19 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9436998B2 (en) 2012-01-17 2016-09-06 Leap Motion, Inc. Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections
US9778752B2 (en) 2012-01-17 2017-10-03 Leap Motion, Inc. Systems and methods for machine control
US9495613B2 (en) 2012-01-17 2016-11-15 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging using formed difference images
US10699155B2 (en) 2012-01-17 2020-06-30 Ultrahaptics IP Two Limited Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9626591B2 (en) 2012-01-17 2017-04-18 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9652668B2 (en) 2012-01-17 2017-05-16 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9672441B2 (en) 2012-01-17 2017-06-06 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9697643B2 (en) 2012-01-17 2017-07-04 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9741136B2 (en) 2012-01-17 2017-08-22 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11782516B2 (en) 2012-01-17 2023-10-10 Ultrahaptics IP Two Limited Differentiating a detected object from a background using a gaussian brightness falloff pattern
US9153028B2 (en) 2012-01-17 2015-10-06 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9934580B2 (en) 2012-01-17 2018-04-03 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US9945660B2 (en) 2012-01-17 2018-04-17 Leap Motion, Inc. Systems and methods of locating a control object appendage in three dimensional (3D) space
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10366308B2 (en) 2012-01-17 2019-07-30 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging based on differences between images
US10410411B2 (en) 2012-01-17 2019-09-10 Leap Motion, Inc. Systems and methods of object shape and position determination in three-dimensional (3D) space
US10565784B2 (en) 2012-01-17 2020-02-18 Ultrahaptics IP Two Limited Systems and methods for authenticating a user according to a hand of the user moving in a three-dimensional (3D) space
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US10097754B2 (en) 2013-01-08 2018-10-09 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US11740705B2 (en) 2013-01-15 2023-08-29 Ultrahaptics IP Two Limited Method and system for controlling a machine according to a characteristic of a control object
US11874970B2 (en) 2013-01-15 2024-01-16 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US11353962B2 (en) 2013-01-15 2022-06-07 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US10739862B2 (en) 2013-01-15 2020-08-11 Ultrahaptics IP Two Limited Free-space user interface and control using virtual constructs
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US11693115B2 (en) 2013-03-15 2023-07-04 Ultrahaptics IP Two Limited Determining positional information of an object in space
US10585193B2 (en) 2013-03-15 2020-03-10 Ultrahaptics IP Two Limited Determining positional information of an object in space
US10452151B2 (en) 2013-04-26 2019-10-22 Ultrahaptics IP Two Limited Non-tactile interface systems and methods
US11099653B2 (en) 2013-04-26 2021-08-24 Ultrahaptics IP Two Limited Machine responsiveness to dynamic user movements and gestures
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US11282273B2 (en) 2013-08-29 2022-03-22 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11461966B1 (en) 2013-08-29 2022-10-04 Ultrahaptics IP Two Limited Determining spans and span lengths of a control object in a free space gesture control environment
US11776208B2 (en) 2013-08-29 2023-10-03 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11775033B2 (en) 2013-10-03 2023-10-03 Ultrahaptics IP Two Limited Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US11778159B2 (en) 2014-08-08 2023-10-03 Ultrahaptics IP Two Limited Augmented reality with motion sensing
JP7223003B2 (ja) 2017-12-06 2023-02-15 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 双方向ビデオゲームシステム
JP2021508262A (ja) * 2017-12-06 2021-03-04 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 双方向ビデオゲームシステム
KR20200092389A (ko) * 2017-12-06 2020-08-03 유니버셜 시티 스튜디오스 엘엘씨 인터랙티브 비디오 게임 시스템
KR102615001B1 (ko) 2017-12-06 2023-12-18 유니버셜 시티 스튜디오스 엘엘씨 인터랙티브 비디오 게임 시스템

Also Published As

Publication number Publication date
WO1999034276A3 (en) 1999-09-02
WO1999034276A2 (en) 1999-07-08
KR100650296B1 (ko) 2006-11-28
EP0960368A2 (en) 1999-12-01
JP2001517345A (ja) 2001-10-02
KR20000075601A (ko) 2000-12-26
US6195104B1 (en) 2001-02-27

Similar Documents

Publication Publication Date Title
US6195104B1 (en) System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US20200294298A1 (en) Telepresence of Users in Interactive Virtual Spaces
US9550124B2 (en) Projection of an interactive environment
CN103793060B (zh) 一种用户交互系统和方法
US8072470B2 (en) System and method for providing a real-time three-dimensional interactive environment
CN102163077B (zh) 使用碰撞体来捕捉屏幕对象
Leibe et al. The perceptive workbench: Toward spontaneous and natural interaction in semi-immersive virtual environments
US20170352188A1 (en) Support Based 3D Navigation
Leibe et al. Toward spontaneous interaction with the perceptive workbench
EP3116616A1 (en) Gaming device with volumetric sensing
KR20120051659A (ko) 비주얼 형상의 자동 생성 방법
TWI322698B (en) Game device, method for controlling the game device, and information recording media
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
Eriksson et al. Movement-based interaction in camera spaces: a conceptual framework
JP3341734B2 (ja) 映像表示装置
KR20190074911A (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
Balcisoy et al. Interaction between real and virtual humans in augmented reality
Olwal et al. Consigalo: multi-user face-to-face interaction on immaterial displays
CN115624740A (zh) 一种虚拟现实设备及其控制方法、装置、系统及互动系统
Pinhanez Creating ubiquitous interactive games using everywhere displays projectors
JP3939444B2 (ja) 映像表示装置
Psik et al. The invisible person: advanced interaction using an embedded interface
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
WO2016057997A1 (en) Support based 3d navigation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126