JP2007506186A - トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置 - Google Patents
トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置 Download PDFInfo
- Publication number
- JP2007506186A JP2007506186A JP2006526934A JP2006526934A JP2007506186A JP 2007506186 A JP2007506186 A JP 2007506186A JP 2006526934 A JP2006526934 A JP 2006526934A JP 2006526934 A JP2006526934 A JP 2006526934A JP 2007506186 A JP2007506186 A JP 2007506186A
- Authority
- JP
- Japan
- Prior art keywords
- head
- user
- change
- scene
- video clip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008859 change Effects 0.000 claims abstract description 64
- 230000002452 interceptive effect Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000001815 facial effect Effects 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
Abstract
ビデオクリップのシーンにより対話型のユーザ制御を処理する方法が提供される。この方法では、まず、ビデオクリップのシーンと対話するユーザの頭部を特定する。次に、ビデオクリップが表示されている間、ユーザの特定された頭部がトラッキングされ、トラッキングにより、ユーザの頭部の位置の変化の検出が可能となる。次に、ユーザの頭部の位置の変化に従って視錐台が調整される。表示されている可視ボリュームを定義するために対話型のユーザ制御を可能にするコンピュータ可読媒体、コンピュータ装置及びシステムも含まれる。
【選択図】図１２
【選択図】図１２
Description
本発明は、一般にビデオ処理に関し、特に、対話型エンターテイメントアプリケーションで表現されているビューを調整するために、ユーザの頭部の動作によって仮想カメラの制御を可能にするインターフェイスに関する。
対話型エンターテイメント産業は、対話型ビデオゲームのプレイ時に、ユーザができるだけリアルな体験をできるように努力している。現在、対話型アプリケーションの実行中に画面に表示されるシーンのビューでは、マーカを用いずに動作をキャプチャする場合に、トラッキングされた実際の動作に従ってシーンのビューを定義することができない。ユーザは、不便なマーカを着用しなければならない場面もあり、煩わしく、このためマーカに関連するアプリケーションが広く受け入れられずにいる。
リアルな体験を提供する試みの１つに、検出された動作に対して、予め用意された応答を用意しておく方法がある。すなわち、ユーザがモニタされており、ユーザが頭を下げたりジャンプすると、アプリケーションの対応するキャラクタも頭を下げたりジャンプする。しかし、ユーザが見ているディスプレイ画面に表示されたシーンのビューと、ユーザの動作とに相関性はない。そのため、表示されているシーンのビューを変えるには、ユーザが、ジョイスティックを操作しなければならなくなる。さらに、さまざまなシーン動作機能を利用するには、ユーザが、多くの難解な命令を記憶する必要がある。例えば、シーン内の角を曲がった先を覗く場合に、ユーザは、所望の機能を実現するため、ジョイスティックの操作と併せて、一連のボタン操作を行う必要がある場合がある。明らかなように、この操作は、エミュレーションのために関連付けられる物理的動作（すなわち角を曲がった先を覗くこと）とまったく関連がない。
前述の内容を鑑みて、対話型エンターテイメントアプリケーションの実行中に、ユーザにマーカを着用させることなく、ユーザの実際の動作に関連付けて表示されるシーンのビューを変更するように構成された方法及び装置を提供することが求められている。
概して、本発明は、表示されたシーンに関連する視錐台を調整するために、マーカを着用していないユーザの頭部の動作をトラッキングする方法及び装置を提供することによって、前述のニーズを満たす。本発明は、方法、システム、コンピュータ可読媒体又は装置などの多くの方法で実施できる点を理解すべきである。以下に本発明のいくつかの発明の実施形態を記載する。
一実施形態では、ビデオクリップのシーンにより対話型のユーザ制御を処理する方法が提供される。この方法では、まず、ビデオクリップのシーンに相互に作用するユーザの頭部を特定する。次に、ビデオクリップの表示中にユーザの特定された頭部がトラッキングされ、このトラッキングによりユーザの頭部の位置の変化が検出可能となる。次に、ユーザの頭部の位置の変化に従って視錐台が調整される。
別の実施形態では、ビデオクリップのシーンにより対話型のユーザ制御を処理する方法が提供される。この方法では、まず、ビデオクリップのシーンに相互に作用するユーザの頭部を特定する。次に、ビデオクリップの表示中にユーザの特定された頭部がトラッキングされ、このトラッキングによりユーザの頭部の位置の変化の検出が可能となる。次に、ユーザの頭部の位置の変化に従って視錐台が移動される。
さらに別の実施形態では、ビューポートを介して表示される可視ボリューム（visible volume）を管理する方法が提供される。この方法では、まず、ユーザの頭部の位置を特定する。次に、ユーザの頭部の位置がビューポートに対してトラッキングされる。次に、ビューポートに対するユーザの頭部の位置に基づいて可視ボリュームが調整される。
別の実施形態では、ビデオクリップのシーンにより対話型のユーザ制御を処理するプログラム命令を有するコンピュータ可読媒体が提供される。コンピュータ可読媒体は、ビデオクリップのシーンに相互に作用するユーザの頭部を特定するプログラム命令を有する。ビデオクリップの表示中にユーザの特定された頭部をトラッキングすることでユーザの頭部の位置の変化を検出可能なプログラム命令と、ユーザの頭部の位置の変化に従って視錐台を調整するプログラム命令と、が含まれる。
さらに別の実施形態では、ビデオクリップのシーンにより対話型のユーザ制御を処理するプログラム命令を有するコンピュータ可読媒体が提供される。コンピュータ可読媒体は、ビデオクリップのシーンに相互に作用するユーザの頭部を特定するプログラム命令を有する。ビデオクリップの表示中にユーザの特定された頭部をトラッキングすることでユーザの頭部の位置の変化を検出可能なプログラム命令と、ユーザの頭部の位置の変化に従って視錐台を移動するプログラム命令と、が含まれる。
さらに別の実施形態では、ビューポートを介して表示される可視ボリュームを管理するプログラム命令を有するコンピュータ可読媒体が提供される。コンピュータ可読媒体は、ユーザの頭部の位置を特定するプログラム命令を有する。ユーザの頭部の位置をビューポートに対してトラッキングするプログラム命令と、ビューポートに対するユーザの頭部の位置に基づいて可視ボリュームを調整するプログラム命令とが含まれる。
別の実施形態では、表示されている可視ボリュームを定義するために対話型のユーザ制御を可能にするシステムが提供される。システムはコンピュータ装置を有する。コンピュータ装置と通信するディスプレイ画面が含まれる。ディスプレイ画面は、視錐台によって定義された画像データを表示するように構成されている。コンピュータ装置と通信するトラッキング装置が含まれる。トラッキング装置は、制御目標の位置の変化をキャプチャ可能であり、制御目標の位置の変化により、ディスプレイ画面に対する視錐台の位置合せが影響を受ける。
さらに別の実施形態では、コンピュータ装置が提供される。コンピュータ装置は、制御目標のテンプレートを記憶するように構成されたメモリを有する。制御目標をトラッキングするビデオ信号を受信可能なプロセッサが含まれる。プロセッサは、ビデオ信号のフレームの一部をテンプレートと比較するロジックと、テンプレートに関連する制御目標の位置に対する、フレームの一部内の制御目標の位置の変化を特定するロジックと、制御目標の元の位置に関連する視錐台を調整するために、制御目標の位置の変化を変換するロジックと、を有する。
本発明の他の態様及び利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。
ユーザの頭部の動作に従って、対話型エンターテイメントアプリケーションで表示されているシーンの視点を調整するための発明が開示される。以下の説明では、本発明を十分に理解できるように、具体的な詳細を数多く記載する。しかし、本発明の詳細な内容の一部又はすべてを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
本発明の実施形態は、マーカを使用することなく制御目標をトラッキングすることにより、対話型エンターテイメントアプリケーション中に仮想カメラに関連する視点を変更する。このため、ディスプレイ画面に表示されている可視シーンが、制御目標の実際の動作によって影響される（is effected to）。すなわち、制御目標がトラッキングされ、制御目標の動作が変換されて、ディスプレイ画面に表示される可視シーンを定義している視錐台が変更される。説明の便宜上、ここに記載する実施形態では、制御目標をユーザの頭部とする。もちろん、ユーザの頭部の特定の特徴（顔面、あるいは顔の他の適切な特徴など）がトラッキングされてもよい。従って、ジョイスティックコントローラを使用して、表示されている可視シーンの視点を決める仮想カメラを動かすのではなく、画像キャプチャ装置によってトラッキングされているユーザの頭部の座標の変化から、新しい視点を決め、続いてこの新しい視点に関連する画像データを表示する。上で述べたように、制御目標のトラッキングは、制御目標に固定されたマーカを使用することなく行われる。そのためにユーザは、トラッキングのための装置を着用する必要がない。当業者は、画像キャプチャ装置が、ウェブカメラなど、適切なカメラであれば、どのようなものであってもよいことを理解するであろう。
一実施形態では、トラッキング対象の制御目標に対応する、実世界の物理的動作が、可視シーンを定義している仮想カメラの仮想動作に変換される。次に、仮想世界の可視シーンが仮想ウィンドウにより表示され、次にビューポートと呼ばれる画面座標を有する矩形の領域に描画される。ビューポートは、テレビモニタ、コンピュータモニタなど、適切なディスプレイ画面であれば、どのようなものであってもよい。ここに記載する実施形態はビデオゲームアプリケーションについて言及しているが、これらの実施形態は、適切な対話型エンターテイメントアプリケーションであれば、どのようなものにも適用することができる。したがって、ビデオゲームアプリケーションに関して、ソニーコンピュータエンターテインメント社が製造している「プレイステーション２」（登録商標）などの適切なビデオゲームコンソールであれば、どのようなものでも後述する実施形態と共に採用することができる。しかし、ビデオゲームコンソールを含む実施形態が、ビデオゲームコンソールの代わりに任意の適切なコンピュータ装置も含んでいてもよい。例えば、オンラインゲームアプリケーションに関していうと、コンピュータ装置はサーバであってもよい。
一実施形態では、ビデオカメラが画像表示装置の近くに配置され、ユーザの動作を検出するためにユーザの方に向けて設置される。より詳細には、ユーザの頭部又は顔に関連する位置の変化がビデオカメラによって検出される。各ビデオフレームが処理されて、ビデオフレームの一部を、特定のユーザからキャプチャした顔テンプレート或いは基準顔テンプレートと比較することで、画像内でユーザの頭部の位置が特定される。顔テンプレートは、最初に、ユーザがディスプレイ画面内に定義されたキャプチャ領域の中に顔を納めることでキャプチャされる。ユーザの顔がキャプチャ領域内に収められると、ユーザの顔の画像が、グレースケール画像データ或いはメモリに記憶するのに適した他の適切な画像データとして記憶されるように、システムに信号が送られる。対話型エンターテイメントアプリケーションを実行している間、シーンのビューに使用する仮想視点と視錐台が、トラッキングされたユーザの頭部又は顔の位置に対応するように変更される。更に、ビデオ画像内のこれら顔／頭部の特徴のスケールから、カメラとユーザの頭部の距離が決定できる。頭部の位置から仮想ビューへのマッピングは、アプリケーションによって決まる。例えば、ゲーム開発者が、頭部の位置から仮想ビューへのマッピングを定義している要素を決定することができる。
図１は、視錐台を示す簡略模式図である。一般に知られているように、視錐台は、表示のため視覚化対象を定義するのに使用される。従って、視点１００を始点とする角錐が定義される。視錐台１０６は、視点１００を頂点とする角錐の４つの側面に囲まれている。視錐台１０６は、視点１００から定義される角錐を、近平面１０２によって、前端すなわち視点に近い位置において切り取った角錐台であると考えることができる。遠平面１０４は、角錐を遠端において切り取る。そのために視錐台１０６は、角錐台のボリューム（truncated pyramid volume）を定義しており、ビューポートを介して表示される可視ボリュームは、視錐台１０６の角錐台のボリュームにより定義される。視錐台により、可視物体を二次元の画面に表示するために、三次元空間内に定義されている物体を選別できるようになることを当業者は理解するであろう。従って、平面１０２は、視錐台１０６内に定義されている物体が表示される仮想のディスプレイ画面、すなわちビューポートとみなすことができる。
図２は、本発明の一実施形態による、アプリケーションの開発者が設定可能な仮想空間の視点を示す簡略模式図である。視点１１０は、仮想ウィンドウ１０８まで特定の距離が関連付けられている。その距離を設けることで、仮想ウィンドウ１０８を介して表示されているシーンを変更することができる。すなわち距離１１１は、仮想ウィンドウ１０８に表示されているシーンのスケールを定義するのに使用することができる。図からわかるように、表示されているシーンを操作するために、視点１１０を仮想ウィンドウ１０８に近づけたり或いは離したりすることができる。ビデオゲームアプリケーションに関していうと、距離１１１はゲーム開発者又はプログラマによって自由に設定される。このために距離１１１を操作して、仮想ウィンドウ１０８のすぐ上に存在するか、仮想ウィンドウ１０８からかなりの距離が離れているか、あるいはこの両者の中間の任意の距離に存在するという効果を付与することができる。例えば、ビデオゲームアプリケーションに関して、走っているキャラクタには、そのキャラクタの前に直接地面を表示させるために、仮想ウィンドウ１０８に比較的近い距離が関連付けられる。別の実施形態では、飛行中の飛行機からの視野を表示しているアプリケーションは、広域の視野の効果を付与するために、長い距離と関連付けられる。
図３は、本発明の一実施形態による、三次元立方体内のユーザの相対位置を使用して、対話型エンターテイメントアプリケーション中に、表示されているシーンに作用する世界空間構成の上面図を示す簡略模式図である。ここでは、画像キャプチャ装置１１６は、三次元立方体１１４によって定義されるキャプチャ領域内で制御目標１１２（ユーザの頭部又は顔の領域など）をトラッキングするように構成されている。更に下記に詳述するように、画像キャプチャ装置１１６は、ディスプレイ画面１１８に表示されている画像データ（すなわちシーン）を制御しているコンピュータ装置と通信している。このため、キャプチャ領域内で制御目標１１２が動作すると、ディスプレイ画面１１８に表示されている可視シーンを定義している視錐台を、この動作に対応して変化させるために、画像キャプチャ装置１１６によってキャプチャされた位置の変化が変換される。例えば、図１において説明した制御目標１１２に対応する頂点を有する角錐が、視錐台を定義する。更に下記に詳述するように、制御目標１１２の動作によって、表示されているシーンのビューが、制御目標の動作に対して変化する。一実施形態では、画像キャプチャ装置１１６は、この三次元ボリュームに対する頭部１１２の位置を特定するために、三次元立方体１１４の各種象限を拡大するように構成されている。画像キャプチャ装置１１６は、キャプチャ領域内でユーザの頭部をトラッキングすることができる適切なカメラであれば、どのようなものであってもよいという点に留意すべきである。トラッキングは、マーカを使用しない方法によって行われるという点に、更に留意すべきである。
引き続き図３を参照すると、一実施形態では、画像キャプチャ装置１１６は、深度カメラである。例えば、米国特許出願番号第１０／３６５，１２０号（発明の名称：「リアルタイムモーションキャプチャのための方法及び装置（Method and Apparatus for Real Time Motion Capture）」）に記載される深度カメラは、制御目標１１２から表示画面１１８への距離を測定することができる代表的な深度カメラである。３ＤＶシステムズ（3DV SYSTEMS）又はカネスタ（CANESTA）により提供される深度カメラを、ここに記載した実施形態用の画像キャプチャ装置１１６として使用してもよい。このためにディスプレイ画面１１８に表示されているビューは、キャプチャ領域１１４内の制御目標１１２の動作により変更される。さらに、ユーザの頭部からディスプレイ画面への距離が変わるのに伴い、表示中の画像データに関連するスケールが操作される。別の実施形態では、深度機能を有さない画像キャプチャ装置を使用してもよい。その場合、制御目標１１２は、ユーザの頭部又は顔の領域であり、ユーザの頭部からディスプレイ画面への距離の変化を変換するために、ユーザの頭部に関連する顔のサイズが、連続するビデオフレーム同士で比較されてもよい。例えば、連続するビデオフレームにおけるユーザの頭部又は他の適当な制御目標のサイズの約１５％以内の変化を使用して、ディスプレイ画面１１８に表示されているシーンのスケールが操作される。深度機能を有しない画像キャプチャ装置１１６を使用する場合には、深度カメラを使用する場合と比べて、より高性能のプロセッサが必要となることを、当業者は理解するであろう。
図４は、ユーザの頭部の動作に従って、表示されている視点を調整するように構成されたシステムのための他の顔の向きを示す、本発明の一実施形態の簡略模式図である。ここでは、最初に画像１２０ａがユーザの頭部のテンプレートとしてキャプチャされる。画像１２０ａがキャプチャされると、軸１２２に対して顔の向きを回転させた関連する画像１２０ｂ、１２０ｃが生成される。すなわち、画像１２０ａの顔を所定の方向に傾けて画像１２０ｂが作成され、画像１２０ａの顔を他の所定の方向に傾けて画像１２０ｃが作成され、これにより頭部の追加の三次元位置が特定される。当業者は、元のテンプレートの顔の向き又はサイズを変更して、多数の他のテンプレートを生成できることを理解するであろう。更に、元のキャプチャ画像の向き又はサイズを適切に変化させてもよい。一実施形態では、向き又はサイズの変化の程度が決定されて、シーンのビューの変更に使用される。
図５は、テンプレートの生成並びにテンプレートとビデオデータのフレーム内の領域とのマッチングを示す、本発明の一実施形態の簡略模式図である。ここでテンプレート１２４ａは、前述のように初期化時に作成される。一実施形態では、テンプレート１２４ａのサイズが１２×１６ピクセルの領域である。領域１３０は、ビデオデータのフレームを表している。ビデオデータのフレーム内に、検索領域１２６が定義される。一実施形態では、検索領域１２６に関連するサイズは、フレーム間でユーザが移動可能な距離（明確にはピクセル）によって決定される。例えばユーザがフレーム間に８ピクセル移動すると、検索領域１２６のサイズは、この動作をキャプチャできるよう、この動作に適応可能なように構成される。このために一実施形態では、検索領域１２６において定義されたテンプレートと、記憶されているテンプレート１２４ａとの間に一致をみつけるため、検索領域内でビデオデータの各フレームが検索され、これによりユーザの動作の変化が計算可能となる。別の実施形態では、前述したようにメモリに記憶されているテンプレート１２４ａと、検索領域１２６内の対応する領域１２４ｂとについて、Ｌ１ノルム計算と呼ばれる絶対差分和方式によって一致をみつける。すなわち、テンプレート１２４ａと比較したスコアが最も小さい検索領域内の領域をみつけるために、テンプレート１２４ａの各ピクセルに関連する値が、検索領域１２６において定義されている領域内の対応するピクセルから減算される。例えば、テンプレート１２４ａと領域１２４ｂとの対応するピクセル値が減算される。次に、テンプレート１２４ａと領域１２４ｂの比較に関連するスコアを得るために、各減算値の絶対値が求められ、その合計が求められる。テンプレート１２４ａと比較して最もスコアが小さい検索領域１２６内の対応領域が、一致する可能性の最も高い候補である。一実施形態では、探索領域１２６内の領域とテンプレート１２４ａとが一致していると判定するために、閾値スコアを求める必要がある。一致がみつからない場合、一実施形態では、制御目標の位置が前のフレームで決定された位置のままとされる。絶対差分和による比較は、例示のみを目的として取り上げたに過ぎず、限定を意図したものではないことを当業者は理解するであろう。すなわち、スコアを計算するために、差の二乗を求めるなどの他の適した手法を使用してもよい。要するに、各減算値から正値を生成する方法であれば、どのようなものでもスコアの計算に使用することができる。
引き続き図５を参照すると、一実施形態では、一致を判定するための画像データは、対応する画像データの各ピクセルと関連するグレースケール輝度値である。ピクセルと関連する他の適切な値も、テンプレート１２４ａとの一致を判定する計算に使用できるということは、当業者にとって明らかであろう。対話型エンターテイメントアプリケーションの実行中に、検索領域１２６が、表示領域１３０内の新しいデフォルト位置に設定されることがあるという点に留意すべきである。更に、ユーザの顔の特徴のトラッキングの機能を拡張するために、テンプレートに使用する画像データは動的データであってもよい。従って、ユーザの頭部の顔の領域をトラッキングしているときに、ユーザがキャプチャ装置から顔をそむけた場合、顔の領域が外れたときにキャプチャされた画像データが、初期値の顔の領域と置き換えられてトラッキングされてもよい。
図６Ａ、６Ｂは、ビューポートに対する制御目標の位置の変化に従って視錐台を変化させる様子を示す、本発明の一実施形態の簡略模式図である。図６Ａにおいて、初期位置のユーザの頭１３４ａがトラッキングされ、これによって、ビューポート１３２の背後、かつ側界線１３６ａ、１３６ｂの間に存在する可視ボリューム１３６を定義している視錐台が定義される。ユーザの頭部の位置１３４ｂに示すように、ユーザの頭部がビューポート１３２に近づくと、関連する視錐台が変更される。すなわち、ビューポート１３２の背後、かつ側界線１３８ａ、１３８ｂの間で規定される視錐台１３８は、視錐台１３６に対して後方に視野角が広がっている。この効果は、窓の外を眺める場合にたとえて説明できるという点に留意すべきである。すなわち、人物が窓から遠く離れれば離れる程、視野角が狭くなる。
図６Ｂは、本発明の一実施形態による、視錐台の横方向の非対称動作を説明するための図である。ここでは、ユーザの頭部が最初に位置１３３ａにあり、ビューポート１３２の背後、且つ側界線１４２ａ、１４２ｂの間に視錐台１４２が定義される。ユーザの頭部の位置が位置１３３ｂに移動すると、視錐台１４２と比較して視錐台１４０の境界が変更される。すなわち、側界線１４０ｂによって定義されるように、位置１３３ｂのユーザにとって、ビューポート１３２の右辺を通る視角が広くなる。しかし、ビューポート１３２の左辺を通る視角は、側界線１４０ａを通る視錐台１４０では狭くなっている。図６Ｂを参照すると、視錐台１４２は、対称形の視錐台を定義しているという点に留意すべきである。すなわち、位置１３３ａのユーザの頭部からの視線は、ビューポート１３２によって定義される平面の中心１３５に垂直である。しかし、ユーザの位置が位置１３３ｂに移動すると、視錐台は前述のように調整されて非対称となる。このように、位置１３３ｂからの視線方向（eye-gaze direction）は、ビューポート１３２の中央に対して垂直でない。換言すれば、ビュー平面は視線方向に対して垂直でなくなるが、これはビデオゲームのビューでは例外的である。ディスプレイは、シーンへの仮想ウィンドウとみなすことができ、前述の実施形態では、視錐台を調整することで、ユーザの頭部が移動すると、当該ユーザがこのウィンドウを通して見ることができるように表示する。これにより、視差効果だけではなく、視角の変化も付与されるという点に留意すべきである。
図６Ｃは、制御目標の動作に伴って視錐台を移動させ、これによって視差効果を付与する様子を示す、本発明の一実施形態の簡略模式図である。ここでは、ユーザの頭部又はユーザの頭部の顔の特徴が位置１３５ａから位置１３５ｂに動作しても、対応するビューポートの中央点に対する視線方向の垂直角が維持される。このため、ユーザの頭部の位置の変化に伴って視点１３２が移動するように見える。この方法はストレイフィング（strafing）と呼ばれることがある。位置１３５ａ、１３５ｂの対応する視錐台の境界が動作すると、この対応する視錐台によりキャプチャされる可視ボリュームが変化するという点に留意すべきである。一実施形態では、対称な視錐台が保たれつつ、ユーザの頭の上下動作がトラッキングされて、ゲームの視錐台によって異なる視点が提供される。例えばステルスゲーム又は一人称シューティングゲームなどのように、角を曲がった先を覗くために、図６Ｃの実施形態で説明したように、仮想カメラの方向を維持することが重要であることを、当業者は理解するであろう。ユーザが小さいウィンドウを見ていると感じないように、より大きなウィンドウをユーザに提供するために、ビューポート１３２として機能しているテレビ画面は、ユーザの全視野に対するよりも非常に大きく表示されうるということを、当業者は理解するであろう。
図７Ａ、Ｂは、仮想世界ビューを実世界ビューと比較している、本発明の一実施形態の簡略模式図である。図７Ａにおいて、仮想世界ビューは、位置１４４ａ、１４４ｂを始点として仮想ビューポート１４２aを通る視錐台によって定義される。図７Ｂにおいて、実世界ビューは、位置１４４ａ’、１４４ｂ’に関連しており、ビューポート１４２ｂを通る視錐台によって定義される。仮想世界の位置１４４ａは、実世界の位置１４４ａ’に対応しているという点に留意すべきである。同様に、位置１４４ｂは位置１４４ｂ’に対応している。更に、ビデオゲームアプリケーション又は他の任意の対話型エンターテイメントアプリケーション関して、ビューポート１４２ｂは、テレビ画面又は他の適当な種類のディスプレイ画面であれば、どのようなものでもよい。図７Ａでは、仮想カメラは位置１４４ａ、１４４ｂに関連している。図７Ｂの実世界構成では、カメラ等のトラッキング装置が、初期位置１４４ａ’から次の位置１４４ｂ’までのユーザの頭部の動作をトラッキングする。この動作は、そのシーンについて、コード開発者によって設定されたように実世界において解釈される。次に、図７Ｂの実世界の物理的動作が、仮想カメラを動作させて実世界のビューポート１４２ｂに表示させるシーンを定義するために、図７Ａの仮想世界の仮想動作に変換又はマップされる。動作のスケールが、実世界と仮想世界とで必ずしも一致する必要がないという点に留意すべきである。しかし、対話型エンターテイメントアプリケーションの実行中に、ユーザは、ビューの動作を自分が制御しているという印象を受ける。
図８は、ビューポート内で物体の位置を固定するように構成された視錐台を示す、本発明の一実施形態の簡略模式図である。ここでは、物体１５０は、対象点（interest point）の中央を定めている。すなわち、ビューポート１４２に対する位置１４４ａ’、１４４ｂ’などの様々な位置と関連する視錐台は、物体１５０を中心としている。従って、物体１５０は、異なる位置１４４ａ’、１４４ｂ’からシーン内の一定の位置に見える。例えばゲームにおいて、何らかの理由で重要な像がある場合に、前述の構成により、その像をシーンの中央点又は対象点に固定することが可能となる。このために、シーンの表示が物理的に正しくない可能性があっても、ユーザの注意が像に向くようになる。図８に示すように、物体１５０の相対位置を維持するために、ビューポート１４２のサイズが調整される。
図９は、物体を異なる角度から眺めるビューポート回転方式を示す、本発明の一実施形態の簡略模式図である。ここでは、仮想カメラが複数の視錐台１５４−１〜１５４−ｎを定義するために経路１５２を旋回し、さまざまな角度で物体１５６のビューを提供する。そのためにこの実施形態は、人の肩ごしに覗く場合、或いは人物が物体１５６に対して経路１５２を移動する（すなわち三人称ゲームで周回カメラを動作させる）場合に使用することができる。図１０は、ユーザの頭部が固定位置にあるが、ユーザの頭部の動作の仕方に従って視錐台が回転する方式を示す簡略模式図である。例えば、ユーザが所定の位置で頭部を傾けるか又はひねると、これにより異なる視錐台が定義される。ここでは、視錐台１６２−１〜１６２−ｎは、ユーザの頭部に対応する位置１６０を中心に定義される。本実施形態では、ユーザが、フライトシミュレーションアプリケーションでコックピットを眺め回したり、ドライブシミュレーションアプリケーションで車両の窓から外を見ることができるようになる。
図１１は、対話型のユーザ制御によって表示されている可視ボリュームを定義できるように構成されたシステムを示す、本発明の一実施形態の簡略模式図である。ここでは、ディスプレイ装置１６４が、コントローラ１７０を有するコンピュータ装置１６８と通信する。カメラ１１６は、ユーザ１７２を監視するように構成されている。すなわち、ユーザ１７２が動くと、前述のように、カメラ１１６がユーザの顔の領域１７４の動作の位置をトラッキングする。顔の領域の動きに応じて、表示されているシーンをキャプチャしている仮想カメラ１７６の位置が調整されて、ディスプレイ装置１６４を介して表示されるシーンが変更される。例えば、カメラ１１６は、コンピュータ装置１６８のメモリに格納されているテンプレートと比較することによって、位置が特定されたユーザの頭部をトラッキングするように構成することができる。図５を参照して記載したように、コンピュータ装置１６８は、テンプレートをカメラ１１６によってキャプチャされたビデオフレームデータと比較する。例えば、ユーザ１７２が頭を動かして角を曲がった先を覗く場合、仮想カメラ１７６が調整されて、ディスプレイ装置１６４にビューが提示され、角を曲がって存在するシーンが提示される。
図１２は、ビューポートを介して可視ボリュームの表示を管理するための操作方法を示す、本発明の一実施形態のフローチャート図である。この方法は操作方法１８０で始まり、ユーザの頭部が特定される。例えば、ユーザの頭部からテンプレートを生成して以下の記載のように使用するために、ユーザの頭部が初期化される。一実施形態としてユーザの頭部の初期化では、ユーザの頭部のグレースケール画像をキャプチャして、その画像をメモリに記憶する。図１を参照して記載したように、可視ボリュームは、表示するシーンを定義している視錐台の一部とすることができる。次に、操作方法１８２に進み、ユーザの頭部の位置がビューポートに対してトラッキングされる。例えば、ユーザが頭を傾ける、回転させる、或いは別の位置に動かすと、新しい位置又は向きが、ビューポートに対してトラッキングされる。前述のように、ビューポートは、テレビ画面又は他の適当なディスプレイ画面であればよい。更にユーザの頭部の動作が、カメラ（深度キャプチャ機能を備えていても、或いは備えていなくてもよい）によってキャプチャされる。次に、操作方法１８４に進み、頭部の位置の変化に従って視錐台が変換される。図７〜１０を参照して前述したように、視錐台を任意の回数だけ変換してもよい。更に、トラッキングのために頭部のテンプレートが使用されるが、頭部のテンプレートの代わりに数多くの他の方式を採用してもよいことを、当業者は理解するであろう。例えば、ユーザの頭部の位置をマーカを使用しないで決定する適切な方式であれば、どのような方式でも使用することができる。一実施形態では、ビューポートに対するユーザの頭部の相対距離もトラッキングされ、表示されているシーンに関連するスケールが調整される。
以上まとめると、前述した実施形態は、頭部の動作に関連させて視点を動作させるために、ユーザの頭部のトラッキングを可能にする。トラッキングはマーカを使用せずに行われ、これによって、特にバーチャルリアリティアプリケーションについて、ユーザは以前受けていた制約から解放される。表示制御アプリケーションのために、代表的なアプリケーションを提示したが、ここに記載されている実施形態が、多数の他の適当なアプリケーションによって使用することができることを理解すべきである。例えば追加の例には、３Ｄカットシーン（3D cut-scene）、映画又は再生におけるビューの変更の指示、深度を示すキュー（depth-cue）を使用して、頭部の動作の視差から得られる距離の決定（プラットフォーマ（platformer）ゲームにおいてジャンプすべき距離など）、通常の視野を狭くして恐怖を与える効果（フラッシュライトで小さな領域を照らして表示し、多くを見ようとして頭を動かすようにユーザを仕向けるなど）、ユーザの表示に関連したイベントのトリガとしての頭部の動作の使用（ユーザが絶壁を見下ろして目眩を起こしていることを示すためにゆがみ効果を生じさせる、ユーザが何かを見たときに、ゲームキャラクタの反応を引き起こすなど）などがある。別の実施形態では、ライフルの狙いを定めるときに、ライフルの十字線越しに凝視するように、ユーザの頭部の小さな動きに従って、仮想カメラを細かく動作させるスナイパーモードを提供してもよい。
ここに記載されている実施形態は、オンラインゲームアプリケーションにも適用可能であるという点を理解すべきである。すなわち、前述の実施形態は、インターネットなどの分散ネットワークを介してビデオ信号を複数のユーザに送信するサーバで行われ、ノイズ（noisy）のある遠隔地点でプレーヤが相互に通信できるようにする。ここに記載した実施形態は、ハードウェア実装、ソフトウェア実装のいずれによって実装されてもよいという点を更に理解すべきである。すなわち、前述の機能の説明を組み合わせて、ユーザの頭部又は顔の領域を特定及びトラッキングして、トラッキングされた動作を変換して、表示のためのシーンを定義するように構成されたマイクロチップを定義してもよい。
前述の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する各種コンピュータ実装オペレーションを使用してもよい点を理解すべきである。これらのオペレーションには、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号又は磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、識別、決定又は比較などと呼ばれることが多い。
前述した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施することができる。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。
本発明は、コンピュータ可読媒体上の計算機可読コードとして実施することができる。コンピュータ可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であればよい。コンピュータ可読媒体には、例えば、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学式データ記憶装置及び非光学式データ記憶装置などがある。また、コンピュータ可読媒体は、コンピュータ可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
前述に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例又は変形例を実施できることは明らかである。従って、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲及びその均等物の範囲内で変更されてもよい。特許請求の範囲において、各種構成要素及び／又はステップの順序は、請求項に明示的に記載されていない限り、特定の操作の順序を示すものではない。
Claims (58)
- ビデオクリップのシーンにより対話型のユーザ制御を処理する方法であって、
前記ビデオクリップの前記シーンと対話するユーザの頭部を特定する段階と、
前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングして、前記ユーザの前記頭部の位置の変化を検出する段階と、を含み、
前記トラッキングにより、
前記ビデオクリップのフレーム内で検索領域を特定して、前記検索領域内の値とテンプレート値とを比較し、
前記ユーザの前記頭部の位置の前記変化に従って視錐台を調整する、方法。 - 前記頭部の仮想位置が仮想ウィンドウの中央点に垂直な場合に、前記仮想ウィンドウの外縁と前記頭部の前記仮想位置との間に設定された三角形視線投影（triangular gaze projection）によって視錐台が最初に定義される、
請求項１記載の方法。 - 前記視錐台の調整では、前記頭部の前記仮想位置が前記仮想ウィンドウの前記中央点に対して垂直ではなくなるように移動する、
請求項２記載の方法。 - 前記頭部の前記仮想位置が前記仮想ウィンドウの前記中央点に対して垂直ではなくなると、前記三角形視線投影の角度が変化して、前記三角形視線投影の角度の前記変化は、前記ビデオクリップによって提示されるシーンの視角を変化して表示させる、
請求項３記載の方法。 - 前記シーンの視角の前記変化は、前記シーンとの前記対話を可能にするための前記ユーザの前記頭部の動作の前記検出の結果として生じる、
請求項４記載の方法。 - 前記ユーザの前記頭部の特定は、前記頭部のための顔のテンプレートをキャプチャすることを有する、
請求項１記載の方法。 - 前記ユーザの前記頭部の位置の前記変化は、前記ユーザの前記頭部の位置の前記変化に応じて前記シーンの視角が変更されるように前記視錐台の継続的な調整を可能にする、前記ビデオクリップの連続的にトラッキングされるフレーム毎の変化である、
請求項６記載の方法。 - 前記テンプレートの前記キャプチャは、前記ユーザの前記頭部用のマーカのない前記顔の画像を取得することを含む、
請求項６記載の方法。 - 前記キャプチャを可能にするためのカメラを用いる、
請求項６記載の方法。 - 前記ビデオクリップは、ビデオゲームのビデオクリップである、
請求項１記載の方法。 - 前記ユーザの前記頭部の動作のトラッキングによる前記シーンとの前記対話は、前記ビデオゲームと対話するためのユーザによるハンドヘルド制御から独立している、
請求項１０記載の方法。 - 前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングする操作方法は、
前記頭部の顔の部分をトラッキングして、
前記顔の部分に関連するグレースケール画像データと前記顔の部分のテンプレートに関連する画像とを比較すること、を含む、
請求項１記載の方法。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を調整する操作方法は、
前記ビデオクリップの前記シーンの対象点を特定して、
前記対象点が、連続するビデオクリップ内に表示される際に一定の位置に現れるように前記視錐台を変更すること、を含む、
請求項１記載の方法。 - ビデオクリップのシーンにより対話型のユーザ制御を処理する方法であって、
前記ビデオクリップの前記シーンと対話するユーザの頭部を特定する段階と、
前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングして、前記ユーザの前記頭部の位置の変化を検出する段階と、を含み、
前記トラッキングにより、
前記ビデオクリップのフレーム内で検索領域を特定して、前記検索領域内の値をテンプレート値と比較し、
前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する、方法。 - 前記頭部の仮想位置が仮想ウィンドウの中央点に垂直な場合に、前記仮想ウィンドウの外縁と前記頭部の前記仮想位置との間に設定された三角形視線投影によって視錐台が定義される、
請求項１４記載の方法。 - 前記視錐台の移動では、前記頭部の前記仮想位置が前記仮想ウィンドウの前記中央点に垂直に維持される、
請求項１５記載の方法。 - 前記変換により、前記仮想ウィンドウを介して提示される前記シーンの変化が可能となる、
請求項１５記載の方法。 - 前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングする操作方法は、
前記特定された頭部のために前記ビデオクリップの各フレームの一部をスキャンすることを含む、
請求項１４記載の方法。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する操作方法は、
ビューポートに対して前記頭部の横方向の向きを維持しつつ、前記視錐台によって定義されるシーンをシフトさせることを含む、
請求項１４記載の方法。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する操作方法は、
ビューポートのサイズを調整することによって前記シーン内の物体に焦点を保つことを含む、
請求項１４記載の方法。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する操作方法は、
ユーザの前記頭部の位置の前記変化に従って前記ユーザの前記頭部を中心に前記視錐台を回転させることを含む、
請求項１４記載の方法。 - ビューポートを介して表示される可視ボリュームを管理する方法であって、
ユーザの頭部の位置を特定する段階と、
異なる位置において、前記ユーザの前記頭部に関連する画像データをキャプチャする段階と、
前記画像データ内に定義された検索領域をスキャンする段階と、
前記検索領域内で前記ユーザの前記頭部の前記異なる位置を特定する段階と、
前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整する段階と、を含む、方法。 - 前記画像データ内に定義された検索領域をスキャンする操作方法は、
連続するビデオフレーム間で前記ユーザの前記頭部が動作する最大距離に従って前記検索領域の境界を定義することを含む、
請求項２２記載の方法。 - 前記画像データ内に定義された検索領域をスキャンする操作方法は、
前記ユーザの前記頭部の顔の領域のテンプレートと前記検索領域の前記スキャンによって生成された対応する画像領域とを比較することを含む、
請求項２２記載の方法。 - ユーザの頭部の位置を特定する操作方法は、
前記頭部の顔の領域を表す画像データをキャプチャして、
前記顔の領域を表す前記画像データを記憶することを含む、
請求項２２記載の方法。 - 前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整する操作方法は、
前記頭部の前記位置の動作の程度に従って、表示中の前記可視ボリュームの変更を定義することを含む、
請求項２２記載の方法。 - 前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整する操作方法は、
前記頭部と前記ビューポートとの間の距離に従って前記可視ボリュームに関連するスケールを調整することを含む、
請求項２２記載の方法。 - ビデオクリップのシーンにより対話型のユーザ制御を処理するプログラム命令を有するコンピュータ可読媒体であって、
前記ビデオクリップの前記シーンと対話するユーザの頭部を特定するプログラム命令と、
前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングすることで、前記ユーザの前記頭部の位置の変化を検出可能とするプログラム命令と、
前記ユーザの前記頭部の位置の前記変化に従って視錐台を調整するプログラム命令と、を備え、
前記トラッキングする前記プログラム命令は、
前記ビデオクリップのフレーム内で検索領域を特定するプログラム命令と、
前記検索領域内の値とテンプレート値とを比較するプログラム命令と、を有する、
コンピュータ可読媒体。 - ユーザの頭部を特定する前記プログラム命令は、
前記頭部のための顔のテンプレートをキャプチャするプログラム命令を有する、
請求項２８記載のコンピュータ可読媒体。 - 前記ユーザの前記頭部の位置の前記変化は、前記ユーザの前記頭部の位置の前記変化に応じて前記シーンの視角が変更されるように前記視錐台の継続的な調整を可能にする、前記ビデオクリップの連続的にトラッキングされるフレーム毎の変化である、
請求項２８記載のコンピュータ可読媒体。 - 前記テンプレートをキャプチャする前記プログラム命令は、
前記ユーザの前記頭部用のマーカのない前記顔の画像を取得するプログラム命令を有する、
請求項２９記載のコンピュータ可読媒体。 - 前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングする前記プログラム命令は、
前記頭部の顔の部分をトラッキングするプログラム命令と、
前記顔の部分に関連するグレースケール画像データと前記顔の部分のテンプレートに関連する画像とを比較するプログラム命令と、を有する、
請求項２８記載のコンピュータ可読媒体。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を調整する前記プログラム命令は、
前記ビデオクリップの前記シーンの対象点を特定するプログラム命令と、
前記対象点が連続するビデオクリップ内に表示される際に一定の位置に現れるように、前記視錐台を変更するプログラム命令と、を有する、
請求項２８記載のコンピュータ可読媒体。 - ビデオクリップのシーンにより対話型のユーザ制御を処理するプログラム命令を有するコンピュータ可読媒体であって、
前記ビデオクリップの前記シーンと対話するユーザの頭部を特定するプログラム命令と、
前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングすることで、前記ユーザの前記頭部の位置の変化を検出可能とするプログラム命令と、
前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動するプログラム命令と、を備え、
前記トラッキングする前記プログラム命令は、
前記ビデオクリップのフレーム内で検索領域を特定するプログラム命令と、
前記検索領域内の値とテンプレート値とを比較するプログラム命令と、を有する、
コンピュータ可読媒体。 - 前記ビデオクリップの表示中に前記ユーザの前記特定された頭部をトラッキングする前記プログラム命令は、
前記特定された頭部のために前記ビデオクリップの各フレームの一部をスキャンするプログラム命令を有する、
請求項３４記載のコンピュータ可読媒体。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する前記プログラム命令は、
ビューポートに対して前記頭部の横方向の向きを維持しつつ、前記視錐台によって定義されるシーンをシフトさせるプログラム命令を有する、
請求項３４記載のコンピュータ可読媒体。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する前記プログラム命令は、
ビューポートのサイズを調整することによって前記シーン内の物体に焦点を保つプログラム命令を有する、
請求項３４記載のコンピュータ可読媒体。 - 前記ユーザの前記頭部の位置の前記変化に従って視錐台を移動する前記プログラム命令は、
ユーザの前記頭部の位置の前記変化に従って前記ユーザの前記頭部を中心に前記視錐台を回転させるプログラム命令を有する、
請求項３４記載のコンピュータ可読媒体。 - ビューポートを介して表示される可視ボリュームを管理するプログラム命令を有するコンピュータ可読媒体であって、
ユーザの頭部の位置を特定するプログラム命令と、
前記ユーザの前記頭部に関連する画像データを異なる位置においてキャプチャする段階と、
前記画像データ内に定義された検索領域をスキャンする段階と、
前記検索領域内で前記ユーザの前記頭部の前記異なる位置を特定する段階と、
前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整するプログラム命令と、を含む、
コンピュータ可読媒体。 - 前記検索領域内で前記ユーザの前記頭部の前記異なる位置を特定する前記プログラム命令は、
前記頭部のテンプレートと前記異なる位置における前記頭部のテンプレートとに関連する値の差を計算するプログラム命令を有する、
請求項３９記載のコンピュータ可読媒体。 - 前記画像データ内に定義された検索領域をスキャンする前記プログラム命令は、
連続するビデオフレーム間を前記ユーザの前記頭部が動作する最大距離に従って前記検索領域の境界を定義するプログラム命令を有する、
請求項４０記載のコンピュータ可読媒体。 - 前記画像データ内に定義された検索領域をスキャンする前記プログラム命令は、
前記ユーザの前記頭部の顔の領域のテンプレートと前記検索領域の前記スキャンによって生成された対応する画像領域とを比較するプログラム命令を有する、
請求項４０記載のコンピュータ可読媒体。 - ユーザの頭部の位置を特定する前記プログラム命令は、
前記頭部の顔の領域を表す画像データをキャプチャするプログラム命令と、
前記顔の領域を表す前記画像データを記憶するプログラム命令と、を有する、
請求項３９記載のコンピュータ可読媒体。 - 前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整する前記プログラム命令は、
前記頭部の前記位置の動作の程度に従って、表示中の前記可視ボリュームの変更を定義するプログラム命令を有する、
請求項３９記載のコンピュータ可読媒体。 - 前記ビューポートに対する前記ユーザの前記頭部の前記位置に基づいて前記可視ボリュームを調整する前記プログラム命令は、
前記頭部と前記ビューポートとの間の距離に従って前記可視ボリュームに関連するスケールを調整するプログラム命令を有する、
請求項３９記載のコンピュータ可読媒体。 - 表示されている可視ボリュームを定義するために対話型のユーザ制御を可能にするシステムであって、
コンピュータ装置と、
前記コンピュータ装置と通信しており、視錐台によって定義される画像データを表示するように構成されたディスプレイ画面と、
前記コンピュータ装置と通信しており、制御目標の位置の変化をキャプチャ可能なトラッキング装置と、を有し、
前記制御目標の前記位置の変化により、前記ディスプレイ画面に対する前記視錐台の位置合せが影響を受ける、システム。 - 前記トラッキング装置はカメラである、
請求項４６記載のシステム。 - 前記コンピュータ装置はビデオゲームコンソールである、
請求項４６記載のシステム。 - 前記コンピュータ装置は、仮想カメラ位置に関連するビューの変化に、前記制御目標の前記位置変化に関連する座標をマップするように構成されている、
請求項４６記載のシステム。 - 前記コンピュータ装置は、視錐台及び前記制御目標の前記位置の変化に関連する前記視錐台のために、前記ディスプレイ画面に関連する平面に対して実質的に垂直な視線方向を維持するように構成されている、
請求項４６記載のシステム。 - 前記コンピュータ装置は、前記視錐台が調整されたときに、前記画像データに関連するビューポートのサイズを調整して前記視錐台内の物体に焦点が保たれるように構成されている、
請求項４６記載のシステム。 - コンピュータ装置であって、
制御目標のテンプレートを記憶するように構成されたメモリと、
前記制御目標をトラッキングするビデオ信号を受信可能なプロセッサと、を備え、
前記プロセッサは、
前記ビデオ信号のフレームの一部を前記テンプレートと比較するロジックと、
前記テンプレートに関連する前記制御目標の位置に対する、前記フレームの前記一部の前記制御目標の位置の変化を特定するロジックと、
前記制御目標の元の位置に関連する視錐台を調整するために、前記制御目標の前記位置の前記変化を変換するロジックと、を有する、
コンピュータ装置。 - 前記制御目標の元の位置に関連する視錐台を調整するために、前記制御目標の前記位置の前記変化を変換する前記ロジックは、
前記コンピュータ装置と通信しているディスプレイ画面に表示された、可視シーンの境界をシフトさせるロジックを有する、
請求項５２記載のコンピュータ装置。 - 前記コンピュータ装置はビデオゲームコンソールである、
請求項５２記載のコンピュータ装置。 - 前記テンプレートはグレースケール画像データとして記憶されている、
請求項５２記載のコンピュータ装置。 - 前記ビデオ信号のフレームの一部を前記テンプレートと比較する前記ロジックは、
前記ビデオ信号の前記フレームの前記一部をスキャンするロジックを有する、
請求項５２記載のコンピュータ装置。 - 前記制御目標はユーザの頭部である、
請求項５２記載のコンピュータ装置。 - 前記制御目標の元の位置に関連する視錐台を調整するために、前記制御目標の前記位置の前記変化を変換する前記ロジックは、
前記頭部とビューポートとの距離に従って表示信号に関連するスケールを調整するロジックを有する、
請求項５７記載のコンピュータ装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/663,236 US7883415B2 (en) | 2003-09-15 | 2003-09-15 | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| PCT/US2004/029264 WO2005028055A1 (en) | 2003-09-15 | 2004-09-08 | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007506186A true JP2007506186A (ja) | 2007-03-15 |
| JP4425274B2 JP4425274B2 (ja) | 2010-03-03 |
Family
ID=34274320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006526934A Active JP4425274B2 (ja) | 2003-09-15 | 2004-09-08 | トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7883415B2 (ja) |
| EP (1) | EP1663427B1 (ja) |
| JP (1) | JP4425274B2 (ja) |
| WO (1) | WO2005028055A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009082645A (ja) * | 2007-10-03 | 2009-04-23 | Taito Corp | オートバイゲーム装置 |
| JP2014523012A (ja) * | 2011-07-01 | 2014-09-08 | エンパイア テクノロジー ディベロップメント エルエルシー | 適応型ユーザインターフェース |
| JP2019121387A (ja) * | 2017-12-28 | 2019-07-22 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | ３ｄオブジェクトの設計のための描画平面を定義するための方法 |
| JP2021039146A (ja) * | 2019-08-30 | 2021-03-11 | 株式会社音楽館 | 鉄道シミュレータ用システム、表示制御方法及びプログラム |
Families Citing this family (244)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
| US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
| US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
| US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
| US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
| US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
| US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
| US8073157B2 (en) * | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
| US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7782297B2 (en) | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
| US9393487B2 (en) * | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US7854655B2 (en) * | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8139793B2 (en) | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US20060282873A1 (en) * | 2002-07-27 | 2006-12-14 | Sony Computer Entertainment Inc. | Hand-held controller having detectable elements for tracking purposes |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US10086282B2 (en) * | 2002-07-27 | 2018-10-02 | Sony Interactive Entertainment Inc. | Tracking device for use in obtaining information for controlling game program execution |
| US20060256081A1 (en) * | 2002-07-27 | 2006-11-16 | Sony Computer Entertainment America Inc. | Scheme for detecting and tracking user manipulation of a game controller body |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US8233642B2 (en) | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US20070015559A1 (en) * | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
| US20060264260A1 (en) * | 2002-07-27 | 2006-11-23 | Sony Computer Entertainment Inc. | Detectable and trackable hand-held controller |
| US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
| US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
| US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
| US8684839B2 (en) | 2004-06-18 | 2014-04-01 | Igt | Control of wager-based game using gesture recognition |
| US7942744B2 (en) | 2004-08-19 | 2011-05-17 | Igt | Virtual input system |
| US20060119574A1 (en) * | 2004-12-06 | 2006-06-08 | Naturalpoint, Inc. | Systems and methods for using a movable object to control a computer |
| US8179366B2 (en) * | 2004-12-06 | 2012-05-15 | Naturalpoint, Inc. | Systems and methods for using a movable object to control a computer |
| US20060119575A1 (en) * | 2004-12-06 | 2006-06-08 | Naturalpoint, Inc. | Systems and methods for using a movable object to control a computer |
| US7796116B2 (en) | 2005-01-12 | 2010-09-14 | Thinkoptics, Inc. | Electronic equipment for handheld vision based absolute pointing system |
| KR100682455B1 (ko) * | 2005-03-17 | 2007-02-15 | 엔에이치엔(주) | 게임 스크랩 시스템, 게임 스크랩 방법 및 상기 방법을실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한기록매체 |
| JP4861699B2 (ja) * | 2005-06-29 | 2012-01-25 | 株式会社コナミデジタルエンタテインメント | ネットワークゲームシステム、ネットワークゲームシステムの制御方法、ゲーム装置、ゲーム装置の制御方法及びプログラム |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
| US8888593B2 (en) * | 2005-10-26 | 2014-11-18 | Sony Computer Entertainment Inc. | Directional input for a video game |
| US8564532B2 (en) * | 2005-12-06 | 2013-10-22 | Naturalpoint, Inc. | System and methods for using a movable object to control a computer |
| US20070265075A1 (en) * | 2006-05-10 | 2007-11-15 | Sony Computer Entertainment America Inc. | Attachable structure for use with hand-held controller having tracking ability |
| US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| PL2023812T3 (pl) | 2006-05-19 | 2017-07-31 | The Queen's Medical Center | Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii |
| US7978174B2 (en) * | 2006-06-07 | 2011-07-12 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System and method for interactive three-dimensional position tracking |
| US8781162B2 (en) * | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
| US8913003B2 (en) * | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| DE102006040001B4 (de) * | 2006-08-25 | 2013-01-17 | Israel Aronsky | Verfahren zur automatischen Steuerung der Bilderdemonstration auf einem Bildschirm eines Fernsehempfängers und Einrichtung zu dessen Durchführung |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) * | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US7880739B2 (en) * | 2006-10-11 | 2011-02-01 | International Business Machines Corporation | Virtual window with simulated parallax and field of view change |
| US20080098448A1 (en) * | 2006-10-19 | 2008-04-24 | Sony Computer Entertainment America Inc. | Controller configured to track user's level of anxiety and other mental and physical attributes |
| US20080096654A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Game control using three-dimensional motions of controller |
| US20080096657A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Method for aiming and shooting using motion sensing controller |
| US20080120115A1 (en) * | 2006-11-16 | 2008-05-22 | Xiao Dong Mao | Methods and apparatuses for dynamically adjusting an audio signal based on a parameter |
| JP4389954B2 (ja) * | 2007-03-29 | 2009-12-24 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、コンピュータープログラム、記録媒体、および、プリンタ |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| US10063848B2 (en) * | 2007-08-24 | 2018-08-28 | John G. Posa | Perspective altering display system |
| US20090062943A1 (en) * | 2007-08-27 | 2009-03-05 | Sony Computer Entertainment Inc. | Methods and apparatus for automatically controlling the sound level based on the content |
| JP4521020B2 (ja) * | 2007-09-27 | 2010-08-11 | 株式会社コナミデジタルエンタテインメント | ゲームプログラム、ゲーム装置、およびゲーム制御方法 |
| TR200707353A2 (tr) * | 2007-10-26 | 2009-05-21 | Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. | Bir elektronik cihazın kullanıcısının konumunun tespiti ve tanınması |
| US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
| TW200928860A (en) * | 2007-12-31 | 2009-07-01 | Htc Corp | Method and device for adjusting output frame |
| US8696458B2 (en) * | 2008-02-15 | 2014-04-15 | Thales Visionix, Inc. | Motion tracking system and method using camera and non-camera sensors |
| JP5684577B2 (ja) * | 2008-02-27 | 2015-03-11 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法 |
| US9092053B2 (en) * | 2008-06-17 | 2015-07-28 | Apple Inc. | Systems and methods for adjusting a display based on the user's position |
| WO2010001756A1 (ja) | 2008-06-30 | 2010-01-07 | 株式会社ソニー・コンピュータエンタテインメント | 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 |
| US20100026710A1 (en) * | 2008-07-29 | 2010-02-04 | Ati Technologies Ulc | Integration of External Input Into an Application |
| JP5376874B2 (ja) * | 2008-09-05 | 2013-12-25 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
| GB2463312A (en) * | 2008-09-09 | 2010-03-17 | Skype Ltd | Games system with bi-directional video communication |
| JP5111312B2 (ja) * | 2008-09-16 | 2013-01-09 | 任天堂株式会社 | ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法 |
| US8133119B2 (en) * | 2008-10-01 | 2012-03-13 | Microsoft Corporation | Adaptation for alternate gaming input devices |
| US8659590B1 (en) * | 2008-12-17 | 2014-02-25 | Nvidia Corporation | System, method, and computer program product for modifying signals of a three-dimensional graphics application program based on a tracking algorithm |
| US20100156907A1 (en) * | 2008-12-23 | 2010-06-24 | Microsoft Corporation | Display surface tracking |
| JP5456791B2 (ja) * | 2009-01-26 | 2014-04-02 | トビー・テクノロジー・アーベー | 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法 |
| JP2010176170A (ja) * | 2009-01-27 | 2010-08-12 | Sony Ericsson Mobilecommunications Japan Inc | 表示装置、表示制御方法および表示制御プログラム |
| US8294767B2 (en) * | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
| US9652030B2 (en) | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
| US8866821B2 (en) * | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US8773355B2 (en) * | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
| US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US20100277470A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
| US8638985B2 (en) | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
| US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
| US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
| US8649554B2 (en) * | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
| US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
| US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
| US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
| US8181123B2 (en) * | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
| US20100295771A1 (en) * | 2009-05-20 | 2010-11-25 | Microsoft Corporation | Control of display objects |
| US20100302365A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Depth Image Noise Reduction |
| US8145594B2 (en) * | 2009-05-29 | 2012-03-27 | Microsoft Corporation | Localized gesture aggregation |
| US20100306685A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | User movement feedback via on-screen avatars |
| US8625837B2 (en) * | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
| US8176442B2 (en) * | 2009-05-29 | 2012-05-08 | Microsoft Corporation | Living cursor control mechanics |
| US20100306716A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
| US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
| US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| US20110022959A1 (en) * | 2009-05-29 | 2011-01-27 | Rob Troy | Method and system for interactive engagement of a media file |
| US20100302138A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
| US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
| US8803889B2 (en) | 2009-05-29 | 2014-08-12 | Microsoft Corporation | Systems and methods for applying animations or motions to a character |
| US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
| US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US8320619B2 (en) * | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
| US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8379101B2 (en) * | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
| US7914344B2 (en) * | 2009-06-03 | 2011-03-29 | Microsoft Corporation | Dual-barrel, connector jack and plug assemblies |
| GB2470754A (en) * | 2009-06-03 | 2010-12-08 | Sony Comp Entertainment Europe | Generating and displaying images dependent on detected viewpoint |
| US20100311512A1 (en) * | 2009-06-04 | 2010-12-09 | Timothy James Lock | Simulator with enhanced depth perception |
| US8390680B2 (en) * | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
| US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
| US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| US9141193B2 (en) * | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
| CN102014236B (zh) * | 2009-09-08 | 2014-04-23 | 鸿富锦精密工业（深圳）有限公司 | 互动式影像播放系统及方法 |
| US20120188279A1 (en) * | 2009-09-29 | 2012-07-26 | Kent Demaine | Multi-Sensor Proximity-Based Immersion System and Method |
| US20110084983A1 (en) * | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
| KR101651568B1 (ko) * | 2009-10-27 | 2016-09-06 | 삼성전자주식회사 | 3차원 공간 인터페이스 장치 및 방법 |
| US20110109617A1 (en) * | 2009-11-12 | 2011-05-12 | Microsoft Corporation | Visualizing Depth |
| US8762846B2 (en) * | 2009-11-16 | 2014-06-24 | Broadcom Corporation | Method and system for adaptive viewport for a mobile device based on viewing angle |
| KR100975128B1 (ko) * | 2010-01-11 | 2010-08-11 | (주)올라웍스 | 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP5491217B2 (ja) * | 2010-01-27 | 2014-05-14 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、ゲームシステム |
| US8659658B2 (en) * | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
| US20110223995A1 (en) * | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
| JP5300777B2 (ja) | 2010-03-31 | 2013-09-25 | 株式会社バンダイナムコゲームス | プログラム及び画像生成システム |
| WO2011149558A2 (en) | 2010-05-28 | 2011-12-01 | Abelow Daniel H | Reality alternate |
| US9008355B2 (en) * | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
| KR101763592B1 (ko) * | 2010-08-16 | 2017-08-01 | 엘지전자 주식회사 | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기 |
| KR20120016386A (ko) * | 2010-08-16 | 2012-02-24 | 주식회사 팬택 | 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법 |
| JP5609416B2 (ja) * | 2010-08-19 | 2014-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US9141189B2 (en) | 2010-08-26 | 2015-09-22 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling interface |
| KR101815020B1 (ko) * | 2010-08-26 | 2018-01-31 | 삼성전자주식회사 | 인터페이스 제어 장치 및 방법 |
| US9167289B2 (en) * | 2010-09-02 | 2015-10-20 | Verizon Patent And Licensing Inc. | Perspective display systems and methods |
| JP5364666B2 (ja) * | 2010-09-13 | 2013-12-11 | 株式会社東芝 | 立体画像表示装置、方法およびプログラム |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| TWI459322B (zh) * | 2011-02-25 | 2014-11-01 | Inst Information Industry | 繪圖系統及其投影方法 |
| US20120218253A1 (en) * | 2011-02-28 | 2012-08-30 | Microsoft Corporation | Adjusting 3d effects for wearable viewing devices |
| JP5741821B2 (ja) * | 2011-03-24 | 2015-07-01 | コニカミノルタ株式会社 | データ加工送信装置およびデータ加工送信プログラム、方法 |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US20120277001A1 (en) * | 2011-04-28 | 2012-11-01 | Microsoft Corporation | Manual and Camera-based Game Control |
| US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
| US9259643B2 (en) * | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
| US20120293528A1 (en) * | 2011-05-18 | 2012-11-22 | Larsen Eric J | Method and apparatus for rendering a paper representation on an electronic display |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US20120314899A1 (en) * | 2011-06-13 | 2012-12-13 | Microsoft Corporation | Natural user interfaces for mobile image viewing |
| WO2013006329A2 (en) * | 2011-07-01 | 2013-01-10 | 3G Studios, Inc. | Automated facial detection and eye tracking techniques implemented in commercial and consumer environments |
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| US8368723B1 (en) * | 2011-07-14 | 2013-02-05 | Google Inc. | User input combination of touch and user position |
| WO2013032933A2 (en) | 2011-08-26 | 2013-03-07 | Kinecticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
| CA2750287C (en) * | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| EP2751609B1 (en) | 2011-08-30 | 2017-08-16 | Microsoft Technology Licensing, LLC | Head mounted display with iris scan profiling |
| US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
| US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US8998414B2 (en) | 2011-09-26 | 2015-04-07 | Microsoft Technology Licensing, Llc | Integrated eye tracking and display system |
| US9060093B2 (en) | 2011-09-30 | 2015-06-16 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
| US20130083252A1 (en) * | 2011-10-04 | 2013-04-04 | David John Boyes | Gesture recognition capable picture video frame |
| US9563723B1 (en) | 2011-10-30 | 2017-02-07 | Lockheed Martin Corporation | Generation of an observer view in a virtual environment |
| FR2983330B1 (fr) * | 2011-11-24 | 2014-06-20 | Thales Sa | Procede et dispositif de representation d'environnements synthetiques |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US9274597B1 (en) * | 2011-12-20 | 2016-03-01 | Amazon Technologies, Inc. | Tracking head position for rendering content |
| WO2013109869A1 (en) * | 2012-01-20 | 2013-07-25 | Magna Electronics, Inc. | Vehicle vision system with free positional virtual panoramic view |
| US9378581B2 (en) * | 2012-03-13 | 2016-06-28 | Amazon Technologies, Inc. | Approaches for highlighting active interface elements |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
| GB2511668A (en) * | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| JP5966624B2 (ja) * | 2012-05-29 | 2016-08-10 | 株式会社リコー | 情報処理装置及び情報表示システム |
| US9106908B2 (en) | 2012-07-30 | 2015-08-11 | Intel Corporation | Video communication with three dimensional perception |
| US9342948B2 (en) * | 2012-09-12 | 2016-05-17 | Bally Gaming, Inc. | Head tracking in community wagering games |
| US9690384B1 (en) * | 2012-09-26 | 2017-06-27 | Amazon Technologies, Inc. | Fingertip location determinations for gesture input |
| US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| EP2753085A1 (en) * | 2013-01-08 | 2014-07-09 | QNX Software Systems Limited | Image processing for control of point of view |
| US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
| US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
| US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
| US9589357B2 (en) * | 2013-06-04 | 2017-03-07 | Intel Corporation | Avatar-based video encoding |
| US9710130B2 (en) | 2013-06-12 | 2017-07-18 | Microsoft Technology Licensing, Llc | User focus controlled directional user input |
| US20150002419A1 (en) * | 2013-06-26 | 2015-01-01 | Microsoft Corporation | Recognizing interactions with hot zones |
| US9609290B2 (en) * | 2013-07-10 | 2017-03-28 | Subc Control Limited | Telepresence method and system for supporting out of range motion by aligning remote camera with user's head |
| US20150015707A1 (en) * | 2013-07-10 | 2015-01-15 | Subc Control Limited | Telepresence method and system for tracking head movement of a user |
| US9113036B2 (en) | 2013-07-17 | 2015-08-18 | Ebay Inc. | Methods, systems, and apparatus for providing video communications |
| EP3157422A4 (en) | 2014-03-24 | 2018-01-24 | The University of Hawaii | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
| JP2015192697A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 制御装置および制御方法、並びに撮影制御システム |
| US9734589B2 (en) | 2014-07-23 | 2017-08-15 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9350924B2 (en) | 2014-08-25 | 2016-05-24 | John G. Posa | Portable electronic devices with integrated image/video compositing |
| US10585485B1 (en) | 2014-11-10 | 2020-03-10 | Amazon Technologies, Inc. | Controlling content zoom level based on user head movement |
| US9886818B2 (en) * | 2014-12-15 | 2018-02-06 | Igt Canada Solutions Ulc | Enhanced gaming machine with interactive three dimensional game environment |
| CN106687854B (zh) | 2014-12-18 | 2019-12-20 | 堺显示器制品株式会社 | 液晶显示装置以及液晶显示装置的驱动方法 |
| WO2016101131A1 (en) | 2014-12-23 | 2016-06-30 | Intel Corporation | Augmented facial animation |
| WO2016204323A1 (ko) * | 2015-06-17 | 2016-12-22 | (주)에프엑스기어 | 사용자 시점 연동형 영상 처리 장치 및 그 방법 |
| JP6490811B2 (ja) * | 2015-06-23 | 2019-03-27 | 堺ディスプレイプロダクト株式会社 | 液晶表示装置及び液晶表示装置の駆動方法 |
| US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
| US10716515B2 (en) | 2015-11-23 | 2020-07-21 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10475225B2 (en) | 2015-12-18 | 2019-11-12 | Intel Corporation | Avatar animation system |
| US10906463B2 (en) | 2016-02-01 | 2021-02-02 | Magna Electronics Inc. | Vehicle adaptive lighting system |
| US10976809B2 (en) | 2016-03-14 | 2021-04-13 | Htc Corporation | Interaction method for virtual reality |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| US10654422B2 (en) | 2016-08-29 | 2020-05-19 | Razmik Karabed | View friendly monitor systems |
| US10762468B2 (en) * | 2016-09-22 | 2020-09-01 | Amazon Technologies, Inc. | Adaptive process for guiding human-performed inventory tasks |
| KR102594792B1 (ko) * | 2016-09-30 | 2023-10-30 | 엘지디스플레이 주식회사 | 유기발광표시장치 및 그 제어방법 |
| GB2554914B (en) * | 2016-10-14 | 2022-07-20 | Vr Chitect Ltd | Virtual reality system and method |
| EP3316117A1 (en) | 2016-10-31 | 2018-05-02 | Nokia Technologies OY | Controlling content displayed in a display |
| EP3316186B1 (en) | 2016-10-31 | 2021-04-28 | Nokia Technologies Oy | Controlling display of data to a person via a display apparatus |
| CN106791385A (zh) * | 2016-12-09 | 2017-05-31 | 深圳创维－Rgb电子有限公司 | 一种基于虚拟现实技术的观景方法、装置及系统 |
| US10531187B2 (en) | 2016-12-21 | 2020-01-07 | Nortek Security & Control Llc | Systems and methods for audio detection using audio beams |
| US20180267615A1 (en) * | 2017-03-20 | 2018-09-20 | Daqri, Llc | Gesture-based graphical keyboard for computing devices |
| CN107145162B (zh) * | 2017-04-10 | 2020-12-18 | 北京小鸟看看科技有限公司 | 摄像头角度调整方法、系统和虚拟现实系统 |
| US20190007672A1 (en) | 2017-06-30 | 2019-01-03 | Bobby Gene Burrough | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections |
| US10567649B2 (en) * | 2017-07-31 | 2020-02-18 | Facebook, Inc. | Parallax viewer system for 3D content |
| CN111051959B (zh) * | 2017-09-01 | 2022-06-03 | 奇跃公司 | 使用来自先前视角的渲染内容和非渲染内容生成新帧 |
| JP6755843B2 (ja) | 2017-09-14 | 2020-09-16 | 株式会社東芝 | 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム |
| US10957063B2 (en) * | 2018-03-26 | 2021-03-23 | Adobe Inc. | Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content |
| EP3588970A1 (en) * | 2018-06-22 | 2020-01-01 | Koninklijke Philips N.V. | Apparatus and method for generating an image data stream |
| US11331006B2 (en) | 2019-03-05 | 2022-05-17 | Physmodo, Inc. | System and method for human motion detection and tracking |
| WO2020181136A1 (en) | 2019-03-05 | 2020-09-10 | Physmodo, Inc. | System and method for human motion detection and tracking |
| US11460914B2 (en) | 2019-08-01 | 2022-10-04 | Brave Virtual Worlds, Inc. | Modular sensor apparatus and system to capture motion and location of a human body, body part, limb, or joint |
| US11372253B2 (en) | 2019-08-14 | 2022-06-28 | Apple Inc. | Small field of view display mitigation using transitional visuals |
| US11301035B1 (en) * | 2019-09-27 | 2022-04-12 | Apple Inc. | Method and device for video presentation |
| US11388354B2 (en) | 2019-12-06 | 2022-07-12 | Razmik Karabed | Backup-camera-system-based, on-demand video player |
| CN112995772A (zh) * | 2019-12-13 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 一种视频播放方法、装置、终端及存储介质 |
| CN114979613A (zh) * | 2021-02-25 | 2022-08-30 | 吴松阳 | 立体图像显示方法及用于显示立体图像的携带式设备 |
Family Cites Families (248)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3943277A (en) | 1969-02-20 | 1976-03-09 | The United States Of America As Represented By The Secretary Of The Navy | Digital memory area correlation tracker |
| US4313227A (en) | 1979-01-29 | 1982-01-26 | Texas Instruments Incorporated | Light energy information transmission system |
| US4263504A (en) | 1979-08-01 | 1981-04-21 | Ncr Corporation | High density matrix code |
| US4565999A (en) | 1983-04-01 | 1986-01-21 | Prime Computer, Inc. | Light pencil |
| US4558864A (en) | 1984-06-13 | 1985-12-17 | Medwedeff Marion C | Handgrip exercising, computer game controller |
| US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| US4787051A (en) * | 1986-05-16 | 1988-11-22 | Tektronix, Inc. | Inertial mouse system |
| JPS6347616A (ja) | 1986-08-15 | 1988-02-29 | Ricoh Co Ltd | 移動量測定方法 |
| US4802227A (en) | 1987-04-03 | 1989-01-31 | American Telephone And Telegraph Company | Noise reduction processing arrangement for microphone arrays |
| GB2206716A (en) | 1987-07-06 | 1989-01-11 | Gen Electric Plc | Apparatus for monitoring the presence or movement of an object |
| IT1219405B (it) | 1988-06-27 | 1990-05-11 | Fiat Ricerche | Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia |
| US5260556A (en) | 1988-12-20 | 1993-11-09 | Australian Meat & Live-Stock Research & Development Corp. | Optically readable coded target |
| US5034986A (en) | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
| US5055840A (en) | 1990-01-16 | 1991-10-08 | Carroll Touch Incorporated | Infrared touch input device and light emitted activation circuit |
| US5128671A (en) * | 1990-04-12 | 1992-07-07 | Ltv Aerospace And Defense Company | Control device having multiple degrees of freedom |
| WO1991017522A1 (en) | 1990-05-01 | 1991-11-14 | Wang Laboratories, Inc. | Hands-free hardware keyboard |
| US5111401A (en) | 1990-05-19 | 1992-05-05 | The United States Of America As Represented By The Secretary Of The Navy | Navigational control system for an autonomous vehicle |
| GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| US5662111A (en) | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
| US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| US5144594A (en) | 1991-05-29 | 1992-09-01 | Cyber Scientific | Acoustic mouse system |
| US5455685A (en) | 1991-09-04 | 1995-10-03 | Fuji Photo Film Co., Ltd. | Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed |
| US5889670A (en) | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
| US5444462A (en) | 1991-12-16 | 1995-08-22 | Wambach; Mark L. | Computer mouse glove with remote communication |
| JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US7098891B1 (en) | 1992-09-18 | 2006-08-29 | Pryor Timothy R | Method for providing human input to a computer |
| US5335011A (en) | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
| US5815411A (en) | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| JP3679426B2 (ja) | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| US5677710A (en) | 1993-05-10 | 1997-10-14 | Apple Computer, Inc. | Recognition keypad |
| US5297061A (en) | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
| US5959596A (en) | 1993-06-24 | 1999-09-28 | Nintendo Co., Ltd. | Airline-based video game and communications system |
| US5581270A (en) | 1993-06-24 | 1996-12-03 | Nintendo Of America, Inc. | Hotel-based video game and communication system |
| US5473701A (en) | 1993-11-05 | 1995-12-05 | At&T Corp. | Adaptive microphone array |
| JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
| FR2714502A1 (fr) | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US5543818A (en) | 1994-05-13 | 1996-08-06 | Sony Corporation | Method and apparatus for entering text using an input device having a small number of keys |
| US5528265A (en) * | 1994-07-18 | 1996-06-18 | Harrison; Simon J. | Orientation-operated cursor control device |
| US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
| US5641319A (en) | 1994-08-10 | 1997-06-24 | Lodgenet Entertainment Corporation | Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer |
| SE504846C2 (sv) * | 1994-09-28 | 1997-05-12 | Jan G Faeger | Styrutrustning med ett rörligt styrorgan |
| GB2301514B (en) * | 1994-12-01 | 1999-06-09 | Namco Ltd | Apparatus and method for image synthesization |
| JP3270643B2 (ja) | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | 指示位置検出方法及び装置 |
| US5929444A (en) | 1995-01-31 | 1999-07-27 | Hewlett-Packard Company | Aiming device using radiated energy |
| US5568928A (en) | 1995-02-01 | 1996-10-29 | Exertron, Inc. | Video game controller for use with an exercise apparatus |
| US5638228A (en) | 1995-02-14 | 1997-06-10 | Iomega Corporation | Retroreflective marker for data storage cartridge |
| US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
| US5583478A (en) | 1995-03-01 | 1996-12-10 | Renzi; Ronald | Virtual environment tactile system |
| US5900863A (en) | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
| DE69634913T2 (de) | 1995-04-28 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd., Kadoma | Schnittstellenvorrichtung |
| US5706364A (en) | 1995-04-28 | 1998-01-06 | Xerox Corporation | Method of producing character templates using unsegmented samples |
| US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
| US5649021A (en) * | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
| IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
| DE69635891T2 (de) | 1995-06-22 | 2006-12-14 | 3Dv Systems Ltd. | Verbesserte optische kamera zur entfernungsmessung |
| US6011554A (en) | 1995-07-26 | 2000-01-04 | Tegic Communications, Inc. | Reduced keyboard disambiguating system |
| US6311214B1 (en) | 1995-07-27 | 2001-10-30 | Digimarc Corporation | Linking of computers based on optical sensing of digital data |
| US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
| US5850222A (en) | 1995-09-13 | 1998-12-15 | Pixel Dust, Inc. | Method and system for displaying a graphic image of a person modeling a garment |
| US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
| US6281930B1 (en) | 1995-10-20 | 2001-08-28 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
| US5963250A (en) | 1995-10-20 | 1999-10-05 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
| US5719561A (en) | 1995-10-25 | 1998-02-17 | Gilbert R. Gonzales | Tactile communication device and method |
| US6282362B1 (en) | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
| US5870100A (en) | 1995-11-22 | 1999-02-09 | Compaq Computer Corporation | Filling of graphical regions |
| EP0864145A4 (en) | 1995-11-30 | 1998-12-16 | Virtual Technologies Inc | TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE |
| JP4079463B2 (ja) * | 1996-01-26 | 2008-04-23 | ソニー株式会社 | 被写体検出装置および被写体検出方法 |
| US6049619A (en) | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| JP2891159B2 (ja) * | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | 多眼画像からの物体検出方式 |
| RU2069885C1 (ru) | 1996-03-01 | 1996-11-27 | Йелстаун Корпорейшн Н.В. | Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления |
| JPH09244793A (ja) | 1996-03-04 | 1997-09-19 | Alps Electric Co Ltd | 入力装置 |
| US5937081A (en) | 1996-04-10 | 1999-08-10 | O'brill; Michael R. | Image composition system and method of using same |
| US5923318A (en) | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
| US5917493A (en) | 1996-04-17 | 1999-06-29 | Hewlett-Packard Company | Method and apparatus for randomly generating information for subsequent correlating |
| US6516466B1 (en) | 1996-05-02 | 2003-02-04 | Vincent C. Jackson | Method and apparatus for portable digital entertainment system |
| US6151009A (en) * | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
| US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
| US5930383A (en) | 1996-09-24 | 1999-07-27 | Netzer; Yishay | Depth sensing camera systems and methods |
| US5832931A (en) | 1996-10-30 | 1998-11-10 | Photogen, Inc. | Method for improved selectivity in photo-activation and detection of molecular diagnostic agents |
| NL1004648C2 (nl) | 1996-11-11 | 1998-05-14 | Johan Michiel Schaaij | Computerspelsysteem. |
| US5914723A (en) | 1996-12-30 | 1999-06-22 | Sun Microsystems, Inc. | Method and system for converting images in computer systems |
| US6243491B1 (en) * | 1996-12-31 | 2001-06-05 | Lucent Technologies Inc. | Methods and apparatus for controlling a video system with visually recognized props |
| US6021219A (en) | 1997-01-07 | 2000-02-01 | Lucent Technologies Inc. | Methods and apparatus for distinguishing among several visual patterns |
| US5850473A (en) | 1997-01-07 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for compensating for color variation in a video system |
| US5796354A (en) | 1997-02-07 | 1998-08-18 | Reality Quest Corp. | Hand-attachable controller with direction sensing |
| US5993314A (en) | 1997-02-10 | 1999-11-30 | Stadium Games, Ltd. | Method and apparatus for interactive audience participation by audio command |
| US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| AU2228197A (en) | 1997-03-07 | 1998-09-22 | 3Dv Systems Ltd. | Optical shutter |
| US6061055A (en) * | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
| JP3009633B2 (ja) | 1997-04-03 | 2000-02-14 | コナミ株式会社 | 画像装置、画像表示方法および記録媒体 |
| US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
| US6809776B1 (en) | 1997-04-23 | 2004-10-26 | Thomson Licensing S.A. | Control of video level by region and content of information displayed |
| US6428411B1 (en) | 1997-05-02 | 2002-08-06 | Konami Co., Ltd. | Volleyball video game system |
| NO304715B1 (no) * | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
| JP3183632B2 (ja) * | 1997-06-13 | 2001-07-09 | 株式会社ナムコ | 情報記憶媒体及び画像生成装置 |
| US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
| US6094625A (en) | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
| KR20000068660A (ko) | 1997-07-29 | 2000-11-25 | 요트.게.아. 롤페즈 | 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템 |
| US6044181A (en) | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
| WO1999019828A1 (en) * | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
| US6031934A (en) | 1997-10-15 | 2000-02-29 | Electric Planet, Inc. | Computer vision system for subject characterization |
| JPH11154240A (ja) | 1997-11-20 | 1999-06-08 | Nintendo Co Ltd | 取込み画像を用いて画像を作成するための画像作成装置 |
| US6166744A (en) | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| US6762794B1 (en) | 1997-12-03 | 2004-07-13 | Canon Kabushiki Kaisha | Image pick-up apparatus for stereoscope |
| US6677987B1 (en) | 1997-12-03 | 2004-01-13 | 8×8, Inc. | Wireless user-interface arrangement and method |
| US6195104B1 (en) | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
| WO1999035633A2 (en) * | 1998-01-06 | 1999-07-15 | The Video Mouse Group | Human motion following computer mouse and game controller |
| US6160540A (en) | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| US6134346A (en) | 1998-01-16 | 2000-10-17 | Ultimatte Corp | Method for removing from an image the background surrounding a selected object |
| ES2194302T3 (es) | 1998-02-08 | 2003-11-16 | 3Dv Systems Ltd | Obturador optico de imagen de gran apertura. |
| US6115052A (en) | 1998-02-12 | 2000-09-05 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
| US6175343B1 (en) | 1998-02-24 | 2001-01-16 | Anivision, Inc. | Method and apparatus for operating the overlay of computer-generated effects onto a live image |
| US6037942A (en) | 1998-03-10 | 2000-03-14 | Magellan Dis, Inc. | Navigation system character input device |
| US6411392B1 (en) | 1998-04-15 | 2002-06-25 | Massachusetts Institute Of Technology | Method and apparatus for data hiding in printed images |
| US6173059B1 (en) | 1998-04-24 | 2001-01-09 | Gentner Communications Corporation | Teleconferencing system with visual feedback |
| US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
| US6473516B1 (en) | 1998-05-22 | 2002-10-29 | Asa Systems, Inc. | Large capacity steganography |
| JP3646969B2 (ja) | 1998-05-25 | 2005-05-11 | 富士通株式会社 | ３次元画像表示装置 |
| US6504535B1 (en) | 1998-06-30 | 2003-01-07 | Lucent Technologies Inc. | Display techniques for three-dimensional virtual reality |
| JP2000020163A (ja) | 1998-06-30 | 2000-01-21 | Sony Corp | 情報処理装置 |
| IL125221A0 (en) | 1998-07-06 | 1999-03-12 | Toy Control Ltd | Motion activation using passive sound source |
| US7121946B2 (en) * | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
| US6256398B1 (en) | 1998-08-22 | 2001-07-03 | Kenneth H. P. Chang | Encoding and decoding a message within an image |
| US6970183B1 (en) | 2000-06-14 | 2005-11-29 | E-Watch, Inc. | Multimedia surveillance and monitoring system including network configuration |
| US6621938B1 (en) | 1998-09-18 | 2003-09-16 | Fuji Photo Film Co., Ltd. | Image capture apparatus and method |
| US6184863B1 (en) | 1998-10-13 | 2001-02-06 | The George Washington University | Direct pointing apparatus and method therefor |
| DE19849515C1 (de) | 1998-10-19 | 2000-12-28 | Gerhard Wergen | Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens |
| US6307568B1 (en) | 1998-10-28 | 2001-10-23 | Imaginarix Ltd. | Virtual dressing over the internet |
| US6409602B1 (en) | 1998-11-06 | 2002-06-25 | New Millenium Gaming Limited | Slim terminal gaming system |
| JP2000172431A (ja) | 1998-12-09 | 2000-06-23 | Sony Corp | 情報入力装置及びゲーム装置 |
| US7139767B1 (en) | 1999-03-05 | 2006-11-21 | Canon Kabushiki Kaisha | Image processing apparatus and database |
| JP2000261752A (ja) | 1999-03-05 | 2000-09-22 | Hewlett Packard Co <Hp> | 音声付き画像録画再生装置 |
| JP2000259856A (ja) * | 1999-03-09 | 2000-09-22 | Nippon Telegr & Teleph Corp <Ntt> | ３次元コンピュータグラフィックス表示方法及び装置 |
| US6323942B1 (en) | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
| US7164413B2 (en) | 1999-05-19 | 2007-01-16 | Digimarc Corporation | Enhanced input peripheral |
| JP2000350859A (ja) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | マーカ配置方法及び複合現実感装置 |
| JP2000350865A (ja) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
| JP2000356972A (ja) | 1999-06-15 | 2000-12-26 | Pioneer Electronic Corp | 発光パネルの駆動装置及び方法 |
| US6952198B2 (en) | 1999-07-06 | 2005-10-04 | Hansen Karl C | System and method for communication with enhanced optical pointer |
| US6819318B1 (en) | 1999-07-23 | 2004-11-16 | Z. Jason Geng | Method and apparatus for modeling via a three-dimensional image mosaic system |
| US6545706B1 (en) * | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
| US6417836B1 (en) | 1999-08-02 | 2002-07-09 | Lucent Technologies Inc. | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
| JP2001056742A (ja) | 1999-08-19 | 2001-02-27 | Alps Electric Co Ltd | 入力装置 |
| US6556704B1 (en) | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
| WO2001018563A1 (en) | 1999-09-08 | 2001-03-15 | 3Dv Systems, Ltd. | 3d imaging system |
| KR20020032595A (ko) | 1999-09-17 | 2002-05-03 | 기타무라 가즈코 | 촬영시스템, 화상처리장치 및 카메라 |
| US6375572B1 (en) * | 1999-10-04 | 2002-04-23 | Nintendo Co., Ltd. | Portable game apparatus with acceleration sensor and information storage medium storing a game progam |
| US6441825B1 (en) | 1999-10-04 | 2002-08-27 | Intel Corporation | Video token tracking system for animation |
| US6753849B1 (en) | 1999-10-27 | 2004-06-22 | Ken Curran & Associates | Universal remote TV mouse |
| US20050037844A1 (en) | 2002-10-30 | 2005-02-17 | Nike, Inc. | Sigils for use with apparel |
| AU2072601A (en) | 1999-12-09 | 2001-06-18 | Zephyr Media, Inc. | System and method for integration of a universally publicly accessible global network |
| JP4403474B2 (ja) | 1999-12-09 | 2010-01-27 | ソニー株式会社 | 触覚提示機構及びこれを用いた力触覚提示装置 |
| US6785329B1 (en) | 1999-12-21 | 2004-08-31 | Microsoft Corporation | Automatic video object extraction |
| KR100384406B1 (ko) | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | 컴퓨터 프로그램 구동조작장치 |
| WO2001061519A1 (en) | 2000-02-15 | 2001-08-23 | Sorceron, Inc. | Method and system for distributing captured motion data over a network |
| JP4526639B2 (ja) * | 2000-03-02 | 2010-08-18 | 本田技研工業株式会社 | 顔認識装置およびその方法 |
| AU2001243285A1 (en) | 2000-03-02 | 2001-09-12 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US6676522B2 (en) | 2000-04-07 | 2004-01-13 | Igt | Gaming system including portable game devices |
| US6924787B2 (en) | 2000-04-17 | 2005-08-02 | Immersion Corporation | Interface for controlling a graphical image |
| WO2001091016A1 (en) | 2000-05-25 | 2001-11-29 | Realitybuy, Inc. | A real time, three-dimensional, configurable, interactive product display system and method |
| US20020056114A1 (en) | 2000-06-16 | 2002-05-09 | Fillebrown Lisa A. | Transmitter for a personal wireless network |
| US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| AU2001287948A1 (en) | 2000-07-24 | 2002-02-05 | Herman Ehrenburg | Computer-compatible, color-coded manual input system |
| AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
| US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
| US20020094189A1 (en) | 2000-07-26 | 2002-07-18 | Nassir Navab | Method and system for E-commerce video editing |
| JP3561463B2 (ja) | 2000-08-11 | 2004-09-02 | コナミ株式会社 | ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置 |
| JP4815661B2 (ja) | 2000-08-24 | 2011-11-16 | ソニー株式会社 | 信号処理装置及び信号処理方法 |
| US7071914B1 (en) * | 2000-09-01 | 2006-07-04 | Sony Computer Entertainment Inc. | User input device and method for interaction with graphic images |
| EP1316192A2 (en) | 2000-09-08 | 2003-06-04 | Honeywell International, Inc. | Pilot internet practice system and methods |
| US6884171B2 (en) | 2000-09-18 | 2005-04-26 | Nintendo Co., Ltd. | Video game distribution network |
| FR2814965A1 (fr) | 2000-10-11 | 2002-04-12 | Janick Simeray | Ordinateur et jouets cooperants |
| US7061507B1 (en) | 2000-11-12 | 2006-06-13 | Bitboys, Inc. | Antialiasing method and apparatus for video applications |
| JP2002157607A (ja) | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
| AU2002226956A1 (en) | 2000-11-22 | 2002-06-03 | Leap Wireless International, Inc. | Method and system for providing interactive services over a wireless communications network |
| US6751338B1 (en) | 2000-12-15 | 2004-06-15 | Cognex Corporation | System and method of using range image data with machine vision tools |
| US20020085097A1 (en) | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
| EP1371019A2 (en) | 2001-01-26 | 2003-12-17 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| US6741741B2 (en) | 2001-02-01 | 2004-05-25 | Xerox Corporation | System and method for automatically detecting edges of scanned documents |
| US6789967B1 (en) | 2001-02-02 | 2004-09-14 | George Forester | Distal chording keyboard |
| US20020134151A1 (en) | 2001-02-05 | 2002-09-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for measuring distances |
| US6749510B2 (en) | 2001-02-07 | 2004-06-15 | Wms Gaming Inc. | Centralized gaming system with modifiable remote display terminals |
| US7116330B2 (en) | 2001-02-28 | 2006-10-03 | Intel Corporation | Approximating motion using a three-dimensional model |
| US6931596B2 (en) * | 2001-03-05 | 2005-08-16 | Koninklijke Philips Electronics N.V. | Automatic positioning of display depending upon the viewer's location |
| GB2376397A (en) | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
| JP2002369969A (ja) | 2001-06-15 | 2002-12-24 | Sun Corp | 通信ゲーム用プログラム、アダプタおよびゲーム端末 |
| JP2003018604A (ja) | 2001-07-04 | 2003-01-17 | Matsushita Electric Ind Co Ltd | 画像信号符号化方法、画像信号符号化装置および記録媒体 |
| US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
| JP3611807B2 (ja) * | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
| US7039253B2 (en) | 2001-07-24 | 2006-05-02 | Casio Computer Co., Ltd. | Image display device, image display method, program, and projection system |
| US7148922B2 (en) | 2001-08-02 | 2006-12-12 | Olympus Optical Co., Ltd. | Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence |
| JP3442754B2 (ja) | 2001-08-10 | 2003-09-02 | 株式会社コナミコンピュータエンタテインメント東京 | ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム |
| US6709108B2 (en) | 2001-08-31 | 2004-03-23 | Adaptive Optics Associates, Inc. | Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye |
| KR100846761B1 (ko) | 2001-09-11 | 2008-07-16 | 삼성전자주식회사 | 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치 |
| US6846238B2 (en) | 2001-09-28 | 2005-01-25 | Igt | Wireless game player |
| JP2003114640A (ja) | 2001-10-04 | 2003-04-18 | Nec Corp | プラズマディスプレイパネル及びその駆動方法 |
| JP4028708B2 (ja) | 2001-10-19 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | ゲーム装置及びゲームシステム |
| US20030093591A1 (en) | 2001-11-09 | 2003-05-15 | David Hohl | System and method for fast data transfer to display driver |
| FR2832892B1 (fr) | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
| US20030100363A1 (en) | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
| US20040070565A1 (en) | 2001-12-05 | 2004-04-15 | Nayar Shree K | Method and apparatus for displaying images |
| KR20030048570A (ko) | 2001-12-12 | 2003-06-25 | 한국전자통신연구원 | 부가적 버튼을 장착한 키패드 및 그의 작동방법 |
| US7106366B2 (en) | 2001-12-19 | 2006-09-12 | Eastman Kodak Company | Image capture system incorporating metadata to facilitate transcoding |
| US7305114B2 (en) | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
| US20030160862A1 (en) | 2002-02-27 | 2003-08-28 | Charlier Michael L. | Apparatus having cooperating wide-angle digital camera system and microphone array |
| GB2388418A (en) | 2002-03-28 | 2003-11-12 | Marcus James Eales | Input or pointing device with a camera |
| US6847311B2 (en) | 2002-03-28 | 2005-01-25 | Motorola Inc. | Method and apparatus for character entry in a wireless communication device |
| US7006009B2 (en) | 2002-04-01 | 2006-02-28 | Key Energy Services, Inc. | Servicing system for wells |
| US20030199324A1 (en) | 2002-04-23 | 2003-10-23 | Xiaoling Wang | Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light |
| JP2004021345A (ja) | 2002-06-12 | 2004-01-22 | Toshiba Corp | 画像処理装置及びその方法 |
| US20030232649A1 (en) | 2002-06-18 | 2003-12-18 | Gizis Alexander C.M. | Gaming system and method |
| US20040001082A1 (en) | 2002-06-26 | 2004-01-01 | Amir Said | System and method of interaction with a computer controlled image display system using a projected light source |
| JP5109221B2 (ja) | 2002-06-27 | 2012-12-26 | 新世代株式会社 | ストロボスコープを使った入力システムを備える情報処理装置 |
| CA2390072C (en) | 2002-06-28 | 2018-02-27 | Adrian Gh Podoleanu | Optical mapping apparatus with adjustable depth resolution and multiple functionality |
| US7227976B1 (en) | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
| US7102615B2 (en) | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US7613310B2 (en) | 2003-08-27 | 2009-11-03 | Sony Computer Entertainment Inc. | Audio input system |
| US20040017355A1 (en) | 2002-07-24 | 2004-01-29 | Youngtack Shim | Cursor control systems and methods |
| US7039199B2 (en) | 2002-08-26 | 2006-05-02 | Microsoft Corporation | System and process for locating a speaker using 360 degree sound source localization |
| US6917688B2 (en) | 2002-09-11 | 2005-07-12 | Nanyang Technological University | Adaptive noise cancelling microphone system |
| US20040063480A1 (en) | 2002-09-30 | 2004-04-01 | Xiaoling Wang | Apparatus and a method for more realistic interactive video games on computers or similar devices |
| US6995666B1 (en) | 2002-10-16 | 2006-02-07 | Luttrell Clyde K | Cellemetry-operated railroad switch heater |
| JP2004145448A (ja) | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
| US8206219B2 (en) | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
| US20040095327A1 (en) | 2002-11-14 | 2004-05-20 | Lo Fook Loong | Alphanumeric data input system and method |
| US7212308B2 (en) | 2002-12-18 | 2007-05-01 | Morgan Carol L | Interactive photo kiosk |
| US20040140955A1 (en) | 2003-01-21 | 2004-07-22 | Metz Kristofer Erik | Input device for a computer and method of operation |
| JP3849654B2 (ja) | 2003-02-21 | 2006-11-22 | 株式会社日立製作所 | 投射型表示装置 |
| GB2398691B (en) | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
| US20040212589A1 (en) * | 2003-04-24 | 2004-10-28 | Hall Deirdre M. | System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources |
| US7519186B2 (en) | 2003-04-25 | 2009-04-14 | Microsoft Corporation | Noise reduction systems and methods for voice applications |
| US7379559B2 (en) | 2003-05-28 | 2008-05-27 | Trw Automotive U.S. Llc | Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system |
| US6881147B2 (en) | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
| TW571812U (en) | 2003-06-11 | 2004-01-11 | Vision Electronics Co Ltd | Audio device for TV game machine |
| US7116342B2 (en) | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
| JP2005046422A (ja) | 2003-07-30 | 2005-02-24 | Samii Kk | ゲーム機用コントローラ |
| CA2544183A1 (en) | 2003-10-28 | 2005-05-19 | Welch Allyn, Inc. | Digital documenting ophthalmoscope |
| US20050105777A1 (en) | 2003-11-18 | 2005-05-19 | Kozlowski William J.Jr. | Personalized multimedia summary |
| US7734729B2 (en) | 2003-12-31 | 2010-06-08 | Amazon Technologies, Inc. | System and method for obtaining information relating to an item of commerce using a portable imaging device |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7620316B2 (en) | 2005-11-28 | 2009-11-17 | Navisense | Method and device for touchless control of a camera |
| US7834850B2 (en) | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
| JP4481280B2 (ja) | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
-
2003
- 2003-09-15 US US10/663,236 patent/US7883415B2/en active Active
-
2004
- 2004-09-08 EP EP04783494.0A patent/EP1663427B1/en active Active
- 2004-09-08 WO PCT/US2004/029264 patent/WO2005028055A1/en active Search and Examination
- 2004-09-08 JP JP2006526934A patent/JP4425274B2/ja active Active
-
2010
- 2010-12-23 US US12/977,727 patent/US8337306B2/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009082645A (ja) * | 2007-10-03 | 2009-04-23 | Taito Corp | オートバイゲーム装置 |
| JP2014523012A (ja) * | 2011-07-01 | 2014-09-08 | エンパイア テクノロジー ディベロップメント エルエルシー | 適応型ユーザインターフェース |
| JP2019121387A (ja) * | 2017-12-28 | 2019-07-22 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | ３ｄオブジェクトの設計のための描画平面を定義するための方法 |
| JP7340927B2 (ja) | 2017-12-28 | 2023-09-08 | ダッソー システムズ | ３ｄオブジェクトの設計のための描画平面を定義するための方法 |
| JP2021039146A (ja) * | 2019-08-30 | 2021-03-11 | 株式会社音楽館 | 鉄道シミュレータ用システム、表示制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1663427A1 (en) | 2006-06-07 |
| US20110090149A1 (en) | 2011-04-21 |
| WO2005028055A1 (en) | 2005-03-31 |
| US8337306B2 (en) | 2012-12-25 |
| US7883415B2 (en) | 2011-02-08 |
| JP4425274B2 (ja) | 2010-03-03 |
| US20050059488A1 (en) | 2005-03-17 |
| EP1663427B1 (en) | 2018-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4425274B2 (ja) | トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置 | |
| US8303411B2 (en) | Methods and systems for enabling depth and direction detection when interfacing with a computer program | |
| US7646372B2 (en) | Methods and systems for enabling direction detection when interfacing with a computer program | |
| JP5148660B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| US8520901B2 (en) | Image generation system, image generation method, and information storage medium | |
| US20050168486A1 (en) | Marker layout method, mixed reality apparatus, and mixed reality space image generation method | |
| JP6181842B1 (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム | |
| US11893697B2 (en) | Application control program, application control method, and application control system | |
| JP2018185824A (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム | |
| JP6611383B2 (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム | |
| US11691072B2 (en) | Aiming display automation for head mounted display applications | |
| JP7116220B2 (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム | |
| JP6356878B2 (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム | |
| JPH11306385A (ja) | ３ｄｃｇアニメーション画像の表示方法及びそのプログラムを記録した記録媒体 | |
| JP2020014888A (ja) | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090513 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090908 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091208 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4425274 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |