JP2007527573A - 光入力デバイス用の装置及びその方法 - Google Patents

光入力デバイス用の装置及びその方法 Download PDF

Info

Publication number
JP2007527573A
JP2007527573A JP2006549302A JP2006549302A JP2007527573A JP 2007527573 A JP2007527573 A JP 2007527573A JP 2006549302 A JP2006549302 A JP 2006549302A JP 2006549302 A JP2006549302 A JP 2006549302A JP 2007527573 A JP2007527573 A JP 2007527573A
Authority
JP
Japan
Prior art keywords
light
image capture
color
capture device
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006549302A
Other languages
English (en)
Other versions
JP4764832B2 (ja
Inventor
エル. マークス リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JP2007527573A publication Critical patent/JP2007527573A/ja
Application granted granted Critical
Publication of JP4764832B2 publication Critical patent/JP4764832B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Image Input (AREA)

Abstract

コンピュータデバイスとインタフェースするための入力デバイスが提供される。この入力デバイスは、人間の手内に把持されるように構成された本体部を含む。この入力デバイスには、本体部に設けられた発光ダイオード(LED)、およびLED用の電源が含まれる。モード変更アクティベータが本体部に組み込まれており、LEDから放射された光の色を変化させるように構成される。コンピュータデバイスにモード変更を起こさせるように色の変化が検出されることが可能である。画像キャプチャデバイスの視界内の入力源からの入力コマンドを検出する方法、及びこの入力デバイスを含むコンピューティングシステムが提供される。

Description

本発明は、概して、コンピュータシステムへの新たな入力メカニズム、特に視覚的に光をトラッキングするメカニズムに関し、光の変化がコンピュータシステム側に対してアクションを引き起こすものである。
従来、コンピューティングシステムのための新たな入力装置が追求され、また、多大な関心が寄せられている。現在、デスクトップコンピューティングシステムにおいてはキーボードおよびマウスを用いることが当然と考えられている。しかしながら、「リビングルーム」環境におけるインタラクティブエンタテインメントアプリケーションに関しては、キーボードとマウスは広く認められているとはいえない。
デジタルビデオカメラを使用して、動くオブジェクトをトラッキングし、ビデオ画像を処理して様々な表示を行うこともまた試みられている。しかしながら、多くの場合、これらのシステムは、三角測量に基づいたオブジェクトに関する位置情報を構築するために、複数のビデオカメラを利用可能にすることが要求される。これらのシステムにかかるコストから、「リビングルーム」環境にこれらを導入できなくなっている。
しかしながら、上記の知見および技術にもかかわらず、オブジェクトトラッキングが阻害されるという問題がなお残されている。また、特に、対象となるオブジェクトに明白に相当するビデオ画像のピクセルだけを正確に抽出することは非常に困難である。例えば、オブジェクトの色が、固定された背景における色と互いに明確に異なる場合、オブジェクトの動きのトラッキングをかなり容易に行うことができる。しかし、たとえオブジェクトの色の輝度が高くても、背景が多色となっていたり、あるいは固定されていない場合には、このようなトラッキングは、容易ではない。
ライティングが変化することもまた、ビデオカメラに写されるオブジェクトの見かけの色に劇的に影響する。従って、特定色のオブジェクトを検出することによるオブジェクトトラッキング方法は、エラーに非常に弱いか、あるいはライティングの条件が変わることからコンスタントに再キャリブレーションを行うことが要求される。
ビデオゲームプログラムのための典型的な家庭での使用環境では、従来のオブジェクトトラッキングコンピュータビジョンシステムで可能な範囲よりも大きな柔軟性および堅牢性が要求される。
従って、新たな入力装置が広く受け入れられるようになるためには、比較的安価なカメラ一台で家庭使用環境の下でトラッキングが可能でなければならない。さらに、このような従来品の代替となる新たな入力装置は使い勝手の良いものでなければならない。キャプチャ入力のためにカメラによってトラッキングされるセンサを備えてユーザの手に着用するグローブも試されている。しかし、ユーザはこのグローブに満足してはいない。
グローブを不評とする理由のうちの一つには、グローブを常に脱着する必要があることが上げられる。更に、上述された新たな入力装置では、マウスクリックに機能的に類するモードの変更を表示可能とすることは、容易ではない。
このため、従来技術のこれらの課題を解決して、1台のビデオカメラによってトラッキング可能であり、ユーザにとって使い勝手のよいモード変更の表示が可能である入力デバイスを提供することが求められている。
本発明は、概して、一色以上の光(あるいは単一又は複数のシェーディング(light shade))を処理可能なデバイスを与える方法及びシステムを提供することにより、これらのニーズを満たす。この場合、変化又は変動は、イメージデータの表示をコントロールするシステムに対するモード変更を引き起こす、つまりモード変更のトリガとなっている。ここで、モード変更とは、入力装置から放射された光の変化を検出により引き起こされる個々のイベントあるいはアクションのことを指す。
本発明は、プロセス、システムあるいはデバイスを含む多くの手法で実施可能である。本発明のいくつかの進歩性を有する実施形態を以下に記述する。
一実施形態においては、コンピューティングシステム上で実行されるプログラムに入力コマンドを発生させる方法が提供される。この方法では、画像キャプチャ装置前方の視界の監視が開始される。
その後、視界内の光源が識別され、次に、光源から放射された光の変化が検出される。変化が検出されたことに応じて、コンピューティングシステム上で実行されているプログラムで入力コマンドが発生される。
他の実施形態では、画像キャプチャデバイスの視界フィールド内の入力源からの入力コマンドを検知する方法が提供される。この方法において、画像キャプチャ装置に入る光量の最小化が開始される。その後、第1の色の光信号が、入力源から画像キャプチャ装置を通じて検出される。次に、第1の色の光信号から第2の色の光信号への変化が検出される。その後、第1の色の光信号の変化に応じてモード変更が引き起こされる。
更なる他の実施形態では、コンピュータシステム上で実行されているプログラムの入力コマンドを発生させるためのプログラム命令を有するコンピュータ読取可能な記録媒体が提供される。コンピュータ読取可能な記録媒体は、画像キャプチャデバイスの前方の視界を監視するためのプログラム命令を含む。視界内の光源を識別するためのプログラム命令、および光源から入射光の変化を検出するためのプログラム命令が含まれる。この検出された光の変化に応じてコンピューティングシステム上で実行中のプログラムで入力コマンドを発生させるためのプログラム命令が含まれる。
なお、更なる他の実施形態では、画像キャプチャデバイスの視界内の入力源から入力コマンドを検出するプログラム命令を有するコンピュータ読取可能媒体が提供される。コンピュータ読取可能媒体には、画像キャプチャデバイスに入射する光の照度を最小限に抑えるプログラム命令及び画像キャプチャデバイスを通じて入力源から第1の色の光信号を検出するためのプログラム命令が含まれる。第1の色の光信号から第2の色の光信号への変化を検出するためのプログラム命令および前述の第1の色の光信号の変化に応じてモード変更を発生させるためのプログラム命令が提供される。
他の実施形態において、コンピュータシステムを通じて実行されるメインプログラムの入力コマンドをいつ発生させるかを判断するための入力検出システムが提供される。コンピュータシステムには画像キャプチャデバイスが含まれる。画像キャプチャデバイスに関連付けられた視界を監視するためのロジック、および入力物体に関連付けられた光源の位置をトラッキングするためのロジックが含まれる。光源の色の変化を検出するためのロジック、およびコンピューティングシステムを通じて実行されるメインプログラムで入力コマンドを発生させるためのロジックが含まれる。入力コマンドは、光の色の変化を検出した結果として発生する。
更なる他の実施形態では、コンピュータデバイスとインターフェースするための入力デバイスが提供される。入力デバイスは、人間の手の内に把持されるように構成された本体部を含む。この入力デバイスは、本体部に備えられた発光ダイオード(LED:Light emitting diode)、およびLED用の電源を含む。モード変更アクティベータが本体部内に組み込まれ、このモード変更アクティベータはLED発光の色の変化を生じさせるように構成される。この色の変化は検出することが可能であり、検出されると、コンピュータデバイスにモード変更が生じさせる。
本発明の他の態様および利点は、添付の図面を参照しながら、本発明の要旨の実施例を説明目的のために、以下に記載された詳細な本文を読むことにより明らかになろう。
本発明と更なる利点とは添付の図面を参照して以下の記載をよめば、よりよく理解されよう。
イベントを発生させるため、複数の色及び周波数の光を発生することができる入力デバイスに関する発明を開示する。以下の記載では、本発明を完全に理解できるように具体的な詳細を数多く記載する。しかし、当業者であれば、本発明はこれらの特定の詳細のうちの幾つか、あるいはすべてがなくとも実施可能なことは明白であろう。また、周知のプロセスのステップに関しては、本発明を無用に不明瞭にしないために、詳細には記述されていない場合もある。
本発明の実施形態では、画像キャプチャ装置を通じて捕らえられる、複数の色の光を放射することができるユーザ入力装置が提供される。光がある色から別の色に変ることで、モニタに表示可能なイベントあるいはアクションが開始される。例えば、光がある色から別の色までの変化することで、マウスクリックがなされ、即ちパーソナルコンピュータのファイルあるいはウィンドウを開く、あるいはコンピューターゲームのためにイメージをつかむ、ドラッグする、操作する、あるいはインテリジェント家電(smart appliance)の起動もがなされる。
入力デバイスには、ある種のボタン、またはアクチュエータが備えられており、発光ダイオード(LED)から放射される光の色を変えるように使用される。従って、入力装置は、さらにLEDのためのある種の電源を含むこととなる。本実施形態によって説明されるように、ユーザ入力装置によって、ユーザに便利であるとともにマウスクリックに関連する動作を提供することができる。
なお、光デバイスは、それ自体には処理能力を持たない「ダム(dumb)」装置であることを認識されたい。すなわち、コンピュータが光入力デバイスをウォッチングしている間、入力装置とコンピュータの間においてアクティブなコミュニケーションは、実質的に生じない。一実施形態では、光デバイスは、フラッシュとして形成される。もちろん、光入力デバイスは、例えばバッテリーにより電源を供給して光を発生させる、コードレスなものとすることもできる。
図1Aは、発明の一実施形態に従ってモード変更を発生させるための光源からの入力検出を行うことが可能なシステムの単純化された概略説明図である。画像キャプチャ装置104は、コンピュータデバイス106と通信可能であり、更に、ディスプレイスクリーン108と通信可能である。入力装置100は、光源102を備えている。例えば、光源102は、適切な発光ダイオード(LED)とすることができる。LED102から出る光は、画像キャプチャ装置104によって検出される。
また、LED102からの光を検出することができる任意の適切な画像キャプチャ装置を、画像キャプチャ装置104とすることができる。例えば、画像キャプチャ装置104として、いずれの適切なウェブカムあるいは他のカメラを使用することができる。一実施形態において、空間におけるLED102の位置は、ディスプレイスクリーン108上のカーソル110の移動をコントロールするために使用される。
すなわち、入力装置100及び付随するLED102が空間内で移動すると、その移動は、カーソル110の移動に変換される。
さらに、以下により詳細に説明されるように、入力装置100は、LED102を通じて、デスクトップコンピュータ用のマウスのクリックにより始められたモード変更と同様に、モードの変更を引き起こすことができる。
上述したように、モード変更とは、入力装置から放射された光の変化の検知によって引き起こされた個別のイベントあるいはアクションを指す。本質的には、入力装置100は、LED102に関する色の変化を通じてコンピュータマウスとして使用されてもよい。
モード変更の一例としては、マウスタイプオペレーションに関連したモード変更が挙げられる。このモード変更では、選択されたフィーチャに関連するマウスの動きの特徴、即ち、クリック、ダブルクリック、および右クリックが、以下に記載されるシステムに組み込まれている。すなわち、システムのトラッキング部は、入力装置の移動をキャプチャし、その一方で光の色が変化することで、選択されたフィーチャをキャプチャするための手段を提供している。
なお、モード変更をマウスタイプオペレーションに関して記述したが、本実施形態はマウスタイプオペレーションに限定されるものではない。すなわち、マウスタイプオペレーションのみならず、いずれの適切な個別のオペレーションあるいはアクションもまたこれに含まれる。
図1Bは、図1Aに示されたシステムの他の表示例である。ここでは、ユーザ112は、手の内に入力装置100を保持している。入力装置100の端部に備えられたLED102は、画像キャプチャデバイス104の検出領域内にある。画像キャプチャデバイス104はディスプレイ画面108との通信においてコンピュータデバイス106と通信を行う。一実施形態では、コンピュータデバイス106は、任意の適切なビデオゲームコンソール、例えばPLAYSTATION 2である。コントローラ116もコンピュータデバイス106と通信を行う。このため、ユーザ112が最初の位置から入力装置100を移動させてもよく、そうすることによって、カメラ104に対するLED102の位置を変更することができる。この相対的な動きは、その後ディスプレイ画面108上でカーソルを移動させるよう変換される。加えて、LED102から放射された光の色の変化を通じて、ディスプレイ画面108上を移動するカーソルに関連付けられたモード変更が引き起こされる。なお、本明細書に記載された実施形態は、リビングルームに導入されるインタラクティブエンタテインメントおよび他のいずれの適切なアプリケーション用の、マウスに類するデバイスを提供しているものとして理解されたい。
図2は、本発明の一実施例に係る画像キャプチャデバイスを通じて光源からの光のキャプチャを表す簡略化された概略図である。ここでは、ユーザ112が、光源がその上に設けられた入力装置100を把持している。画像キャプチャデバイス104は入力装置100の光源からの光を検出することによって視界118を監視する。入力装置100に関連付けられた光源は平面117内にあり、この平面117はディジタル化されたスクリーン120に相当する。ここでは、入力装置100に関連付けられた光源の画像はスクリーン120の領域122で表される。
スクリーン120の解像度は、一般的なウェブカムあるいは他の適切なカメラの任意の適切な解像度に設定できる。一実施形態では、スクリーン120は320×240の画面サイズとなっている。従って、ユーザ112が入力装置100を移動すると、その移動に関連付けられた移動がキャプチャデバイス104を通じてキャプチャされ、スクリーン120内の光源の位置が決定される。画面サイズと画像デバイスサイズとは、それぞれ別にすることもできる。しかし、画面および画像デバイスサイズはこれら2つの間の対応する位置を決定するため、マッピングされる。一実施形態では、画像デバイスは画面領域に対してマッピングされる。この例では、画面の大部分が、ゲーム画像や場面などの表示のために使用され、画面の隅、又は他の適切な領域に比較的小さな入力パレットが設けられる。
図3は、本発明の一実施形態に従ってディスプレイ画面上の対応するカーソルの移動をコントロールするように光源の位置の決定し、及びその位置のその後の変換を表す概略図である。この例では、スクリーン120が光源の画像を領域122として定義する。領域122には、ピクセルPa、Pb、Pc、Pd、Pe及びPf部分が含まれる。スクリーン120における残りの各ピクセル、即ち、ピクセルPa〜Pf以外のすべてのピクセルは黒となっている。一実施形態では、マスキング操作によって、残りのピクセル全てが確実に黒にする。マスキング操作には、画像キャプチャデバイス内に入射し得る光量を最低限に抑えるために画像キャプチャデバイス104の口径サイズを縮小することも含まれる。一実施形態では、口径サイズはセンサゲインおよび照射時間の調節により電子的に調節することも可能である。この手法により、背景照明に関連付けられた干渉効果を弱めながら光源の検出能力を増強することができる。光入力デバイスおよび画像キャプチャデバイスの特性が公知であることから、画像キャプチャデバイスのパラメータ(ホワイトバランス、ゲイン、露出、彩度など)は、特別な所定のピクセル値をはっきりとトラッキングするように設定可能であり、つまり、キャリブレーションを不要とすることもできる。入力デバイスが照明であるので、室内照明はここではファクターにならない。従って、光の変化を検出するためのアクティブな方法が提供される。
更に図3を参照すると、領域122の中心124は重心計算を通じて計算される。この計算では、ピクセルPa〜Pfの各中心部が算出され、その後、中心部124の座標を決定するため、これらの関連付けられたピクセル値に従って重み付けされる。その後、中心部124の座標がディスプレイ画面128に対してマッピングされる。これは、ユーザにより視認されるディスプレイ画面に対応する。従って、光源の移動によりグリッド120上の領域122が移動が生じる。このグリッド120は、画像キャプチャデバイスに関連付けられた画面とも称することができる。領域122の対応する移動は、新たな中心計算に関連付けられる。
その後、ユーザがLED入力デバイスによるカーソル130の移動のコントロールを行っている、という実感が得られるように、新たな中心部が画面128上の位置に対してマッピングされる。以下により詳細に説明されるように、押すことでそれぞれのLEDが元の色とは異なる色に変化を生じさせるボタン、あるいは何らかの他の適切なアクティベーションデバイスを、入力デバイスが有してもよい。この変化後の、元と異なる色は、その後画像キャプチャデバイス104によってキャプチャされる。この異なる色が、検出されると、結果として、色の変化に対して、異なるピクセル値が関連付けられる。
例えば、領域122に対応するピクセル値は、この色の変化によって異なる値と関連付けられる。この異なるピクセル値が、マウスクリックに関連付けられたモード変更信号と同様の、モード変更を示すことになる。従って、ユーザは、ディスプレイ画面上の画像のクリックアンドドラッグ、ハイライト等を行うことができる。すなわち、ユーザは、コンピュータに接続されたマウスによって実現されるいずれの機能をも実行することができる。
一実施形態では、重心計算は以下に記載されるように行われる。Pa〜Pfに関連付けられていないピクセルは光が検出されていないことから、即ち、それらのピクセル値は黒であるので0という値が割当てられる。背景照明からの干渉を減少させることで、画像キャプチャデバイスが入力デバイスから放射される光を確実にロックインできるように、上述のマスキング技術を使用してもよいことが理解されよう。ピクセルPa〜Pfの各々には、領域122と交差するピクセルのエリア量に対応する数値が割当てられる。
一実施形態では、ピクセル値に0〜255が割当てられる場合、数値0は光がないことに対応し、ピクセルPeには最も高い数値が割当てられ、一方、ピクセルPfには最も低い数値が割当てられる。例示目的のために、ピクセルPa、Pb、Pc、Pd、PeおよびPfのピクセル値は、それぞれ121、230、80、123、240および10とする。各々のピクセルPa〜Pfは、それぞれのピクセル中心点に関連付けられている。各ピクセルの中心部の二次元座標それぞれに各ピクセル値が乗算される。その後、二次元座標の一つ一つに関してこれらの重み付けされた値が合計される。一実施形態では、各座標に関して重み付けされた値の合計が、その後領域122に関連づけられたピクセル値(pixel values)の合計によって除算され、領域124の中心部の座標が提供される。この技術は、以下の数式により表される。
(x,y)center=Σ[[(xpixel center] [value of pixel for xpixel center]]/Σ(pixel values)and
Σ[[(ypixel center] [value of pixel for ypixel center]]/Σ (pixel values)
ただし、(x、y)centerは、中心部124の2つの座標を表し、xpixel centerは、各ピクセルPa〜Pfのx座標を表す。また、ypixel centerは、各ピクセルPa〜Pfのy座標を表す。従って、中心部124は、キャプチャデバイスの画像の、ある位置に対応する。この位置はスクリーン128上の位置に対応する。ビデオフレームに関して、(x、y)centerは、ビデオの各フレーム毎に計算してもよく、(x、y)centerの位置が、画面128上にカーソル130の位置を設定するために使用される。一実施形態において、グリッド120の解像度は、画面128に係る解像度よりも低く、これにより、画面128上をカーソル130が滑らかに移動することを可能にしている。
特に、背景がわからない場合、例えば背景がすべて黒ではない場合、重心(centroid)の決定において重み付けを行わない場合があることは当業者にとって明らかであろう。この場合、重心の位置は、背景が分かっている場合ほど正確とはならないおそれもあるが、本実施形態において、その正確さは適切な範疇に収まるものである。一実施形態では、ユーザが暗い室内にいるとき、あるいは赤外線LEDおよびカメラを身に着けている場合、重み付けされていない重心が計算される。図1A、図1B、図2および図3はカーソルを指しているが、これらの実施形態がカーソルで使用されることに限定されないことは、当業者にとって明りょうであろう。本質的には、入力デバイスの第2の位置にフィードバックを与えるいずれの適切なインジケータをも使用可能である。例えば、歪、増光、減光、拡大ウィンドウ化等の効果を用いて入力デバイスの第2の位置にフィードバックを与えるることもできる。
図4は、本発明の一実施形態に従ってトラッキングと変換の手法を向上させるスキームを表す概略図である。光源が画像キャプチャデバイス104を通じてキャプチャされ、その後スクリーン120内に配置される場合、光源に関連づけられる対応する領域は、1ピクセル内に含まれることが理解されよう。従って、その後のカーソルへの変換によって、画像キャプチャデバイスの個別のサンプリングの量子化効果のため、カーソルの動きが飛び跳ねるように見える場合もある。このような飛び跳ね特性を軽減するために、光源に関連付けられた領域を開く(blossom)、あるいは拡大するように、画像キャプチャデバイスの焦点をぼかす、つまりデフォーカスしてもよい。例えば、領域132は、対応する光源の最初のキャプチャを表す。図示するように、領域132は、グリッド120の一つのブロック内に含まれ、1ピクセルを表す。領域132を拡大あるいは開くために、この画像キャプチャデバイスの焦点が、デフォーカスされる。ただし、領域134、136は、それぞれ異なるデフォーカスのパラメータを表す。上述したように、その後に拡大された領域の重心を算出することもできる。一実施形態では、光源をデフォーカスするために、ディフューザがLED上に置かれる。例えば、光を拡散させるために、ディフューザとして一片のテープを用いることもできる。
図5は、本発明の一実施形態に従って、画像キャプチャデバイスからユーザまでの距離によるスケールの設定の概略を表す説明図である。ここでは、ユーザ102aが画像平面117aに関連付けられた第一距離に位置し、一方で、ユーザ102bは画像平面117bに対応して第一距離とは異なる第二距離に位置する。なお、画像キャプチャ装置104は、深度検出機能を持つ必要はない。イメージ平面117aでキャプチャされたイメージと、イメージ平面117bでキャプチャーされたイメージと、のそれぞれ対応するスケールから、ユーザ102aおよびユーザ102bがそれぞれ占有するイメージ領域に対応する相対的な距離を得ることができるからである。
この相対距離に従って、ディスプレイ画面108上でカーソルの対応する移動を生じさせるように入力装置100の動きの量を調整できる。例えば、ユーザが画像キャプチャ装置104に接近している場合、カーソルの移動に対応させるために、ユーザがより遠い距離にいる場合における移動量よりもより大きな移動量が採用されるようにできる。
図6は、本発明の一実施形態に係る入力デバイスの他の構成を表す。入力装置100aには、入力デバイスのそれぞれ反対側の端部に配置されるLED 102a−1、LED102a−2が含まれる。対応するLEDの光の変化を発生させるためにユーザがボタンを押すことができるように、ボタン103は入力デバイスの本体部に設けられる。一実施形態では、複数のLEDを収容するため、複数のボタンを入力装置100a内に組み入れてもよい。入力装置100bは入力デバイスの端部に一つのLED102bを含む。ここではボタン103が押されると、LED102bは複数の色の光を発することができる。入力装置100cには、複数のLEDが互いに隣接して配置されている。ここでは、LED102c−1がLED102c−2に隣接している。入力装置100cの他の例として、LEDがフォーク型の構成とすることもでき、このフォークの分岐した各先端(枝分かれ部の先端)の各々にLEDが備えられるようにしてもよい。
ボタン103もまた、別のLEDがオフである場合にLEDのうちの1つをトリガして発光させるよう使用してよい。ボタン103もモード変更アクティベータと呼ぶことができる。モード変更アクティベータは、LEDを、光の色が切り替えられるよう、および/または光の色が変化されるように使用することができる適切な任意の機構として幅広く定義される。例えば、モード変更アクティベータがボタン、スイッチ、回転式のダイヤルなどであり得る。
加えて、LEDは、図6に示される入力デバイスの本体部のあらゆるところに配置可能である。例えば、LEDは入力デバイスの両側面に組み込むことができる。他の実施例として、LED線を入力デバイスの側面に添って与えることができる。他の実施形態では、入力デバイスの端部に大きなLEDが与えられ、それによって、入力デバイスを傾けた場合にキャプチャデバイスが形状の変化を検出可能なる。すなわち、入力デバイスがキャプチャデバイスに対する入力デバイスの角度の変化をキャプチャデバイスが検出可能なように構成される。例えば、ユーザがある種のモード変更を生じさせ、あるいは特定的な角度変更に応じるために入力デバイスの角度を上下し、あるいは横にすることができる。当業者であれば、図6に表した構成以外にも入力デバイスに対して他の多くの適切な構成が可能であることを理解されよう。それゆえ、本文に記載された実施形態は、図6の例示的な構成に限定されるものではない。
図7は、図6に表された入力デバイスの他の実施形態を示す。この例では、入力装置100が、LED 102および発光体140によって示される赤外線機能を含むリモートコントロールデバイスとして形成される。それゆえ、入力デバイスが、テレビセット用に通常使用される適切なリモートコントロールに組み込むことができる。一実施形態では、少なくとも3色間で切り替え可能なLEDが与えられる。この例では、第3色が、コンピュータマウス上の「右クリック」に対応する機能を与えるように使用されてもよい。
図8Aは、本発明の一実施形態に従って、ディスプレイモニタとの通信可能なコンピュータデバイスと通信するように構成された1組みの入力デバイスの概略説明図である。外部の入力装置100−1および100−2は、ユーザの手142aおよび142bの指あるいは親指にフィットするように構成される。図示されるように、コンピュータデバイス106と通信を行うな画像キャプチャデバイス104によって検出される光を、各入力装置100−1および100−2が放出することができる。画像キャプチャデバイス104はコンピュータデバイス106のフレームの外部に図示されるが、本発明の一実施形態におけるコンピュータデバイス内に画像キャプチャデバイスを組み込み可能であることが理解されよう。一実施形態では、入力装置100−1および100−2は、それぞれ色の異なる光信号を伝送する。コンピュータデバイス106がディスプレイモニタ108と通信を行う。デジタルデータを可視化するように、コンピュータデバイス106がディスプレイモニタ108にデジタルデータを伝送する。ディスプレイモニタ108は、テキスト146a、メニュー146bおよび/又はグラフィックス146c表示することができる。当然ながら、いずれの適切なデジタルデータをも表示可能である一実施形態では、コンピュータデバイス106がゲームコンソールである場合、ディスプレイモニタ108は、プレイされているゲームに関連付けられたグラフィックスあるいはユーザインタフェースを表示する。
図8Aに示す入力バイス100−1および100−2の各々は、それぞれ異なる色の光を生成するように構成される。一実施形態では、入力装置100−1および100−2が、共通した色の光および少なくとも1つの異なる色の光を放射することができる。異なる色の光の間をトグル切り替えするように、ボタン144が使用されてもよいことが理解されよう。光は入力装置100−1および100−2のリングバンドの側面にあるLEDによって放出することもできる。他の実施形態として、入力装置100−1および100−2がシンブル状に形成されている場合、LEDをシンブル(指ぬき状リング)のベースに備えるようにしてもよい。
他の実施形態では、複数のデバイスではなく、一つの入力デバイスが使用される。入力装置100−1および100−1は、ユーザの指あるいは親指上に心地よくフィットするように構成される。それ故、ユーザの年齢、性別などに基づき、異なるサイズを用意することも利用可能である。他の実施形態として、入力デバイスが調整可能なように作成することができる。すなわち、伸縮性のあるストラップ、あるいは面ファスナー(VELCRO:登録商標)ストラップでさえも、本発明の実施形態において、入力デバイスをユーザの指あるいは親指に安定させるように組み込むことができる。
図8Bは、図7に示すリング部に対する他の実施例の光入力デバイス構成の概略図である。ここでは、指ぬき状リングの本体部100−3が、LED151によって放射されている光を変える、あるいは光の周波数を変更するように構成されるボタン144を含む。当然、図6を参照しながら論述されたように、複数のLEDを指ぬき状リング100−3のベースに配置することができる。
当業者であれば、画像キャプチャデバイスおよびコンピュータデバイスが以下に記載された機能を与えることができるロジックが含まれることを理解されよう。このロジックはソフトウェアエレメントおよび/又はハードウェアエレメントを含むことができる。例えば、ソフトウェアエレメントには、中央処理ユニットによって処理されたソフトウェアコードが含まれる。ハードウェアエレメントには以下に記載された機能を満たすように構成されたロジックゲート、および回路が含まれる。当業者であれば、複数のハードウェアエレメント、即ち.ロジックゲートが本文に記載された機能を実行するように統合され得ることが明りょうであろう。当然、システムには、求められた成果を提供するようにインタラクト可能なソフトウェアエレメントおよびハードウェアエレメントの組み合わせを含むことができる。
図9は、本発明の一実施形態に従ったコンピューティングシステム上で実行中のプログラムの入力コマンドを発生させるための方法オペレーションを示すフローチャートである。この方法は、まず画像キャプチャデバイスの前方の視界を監視するオペレーション150で開始する。ここでは、図1Aおよび図2を参照しながら説明したように、複数の色の光を放出することができるLEDを有する入力デバイスから放射される光源を視界内でキャプチャすることができる。その後、視界内の光源が識別されるオペレーション152に方法が進む。上述されたように、光源はLEDから放射される。その後、方法はオペレーション154に進み、光源から放射された光の変化が検出される。ここでは、LEDから放射された光の色を変更するためにボタンが押されることになり、その後この色の変化は画像キャプチャデバイスによってキャプチャされる。すなわち、光の色の変化が生じると、ピクセル値も変化する。
本文で使用されるように、光の色の変化とは、実際の色の変化、例えば、.赤から緑への変化のことを称する。しかし、色の変化とはその色のバリエーション、例えばある種の黄色から別の異なる黄色への変化をも指し得る。基本的には、色あるいはその色のバリエーションに関連付けられたピクセル値における対応する変化を生じさせるいずれの適切な変化が使用可能である。その後、方法はオペレーション156に進み、コンピュータシステム上で実行されるプログラムの入力コマンドが、光の色の変化に応じて引き起こされる。例えば、デスクトップコンピュータのマウスクリックに関連付けられたモード変更が、ここで発生させることができる。従って、クリックとドラッグの機能、ハイライト機能、およびマウスクリックによって満たされる他のあらゆる適切な機能が、従来のマウスおよびキーボードハードウェアがなくても「リビングルーム」環境に導入することができる。加えて、光の変化によって発生される入力コマンドは、アクション、移動合図、モダリティ変更などでありえる。
図10は、本発明の一実施形態に従って画像キャプチャデバイスの視界内の入力源からの入力コマンドを検出するための方法オペレーションを示すフローチャートである。この方法は、まず画像キャプチャデバイスに入射する光の量を最小減に抑えるオペレーション160で開始する。すなわち、背景照明をマスクするために画像キャプチャデバイスの口径が縮小される。従って、背景照明を最小限に抑えることが以下に記載された入力デバイスのような光源のトラッキング能力を増強させる。例えば、図3を参照しながら説明されるように、画像キャプチャデバイスに入射する光の量を減少することが満たすことができる。方法はその後オペレーション162に進み、図2〜図4を参照しながら説明されるように入力源からの第1の色が画像キャプチャデバイスによって検出される。ここでは、第1の色が検出され、画像画面に相互に関連付けられる。
その後、図10に示す方法はオペレーション164に進み、第1の色から第2の色への変化が検出される。ここでは、上述したように入力デバイスのボタンあるいはモード変更アクティベータに適用される押しの力によって光の色の変化を発生させることができる。当業者であれば、画像キャプチャデバイスに関連付けられた対応するピクセル値を検討することにより、色の変化あるいは周波数変化が検出することができることが理解されよう。その後、方法がオペレーション166に進み、第1の色が変化したことに応じてモード変更を表示する。このモード変更によってユーザはクリックとドラッグオペレーション、ハイライトオペレーションあるいはコンピュータマウスによって可能であるようなモード変更に関連付けられた他のいずれの適切なオペレーションをも行うことが可能なように動作することができる。
加えて、第2の色が第1の色に戻る変化は、クリックとドラッグオペレーションあるいはハイライトオペレーションの完了を意味する。他の実施形態において、「正しい」マウスクリックに関連付けられた機能を可能にするように第3の色が使用されてもよい。本発明の一実施形態でのコンピュータマウス用のモード変更と同様なディスプレイ画面にモード変更が表示されることに留意しなくてはならない。加えて、当業者であれば、図10は色の変化に関して表す一方で、同じ光の色の変化、例えば色のシェーディングを使用することができるので、当業者であれば、本発明の色の変化のみに制限されないことを理解されよう。更に、異なる色ではなく光の異なる周波数が使用されてもよい。例えば、赤外線が可視光線として使用されてもよい。上述したように、画像キャプチャデバイスに関連付けられたピクセル値の変化を生じさせることができる光源に対するあらゆる変化も、本文に記載される実施形態に使用されることができる。
要約すると、複数の光の色、複数の周波数、光ジェネレータによってモード変更を発生させることができる入力デバイスが提供される。当然、異なる色あるいは周波数を有する複数配置された照明が同様の効果を与えるように利用することができる。それ故、ダイオードのような固体デバイスにしろ、又は1つあるいはそれ以上の従来型の電球にしろ、あらゆる光ジェネレータ構造を使用することができる。一実施形態では、ペン状のようなオブジェクトに結合されるか、あるいはインストールすることができる1つあるいはそれ以上のLEDにようって照明が提供される。入力デバイスから放出された光が、画像キャプチャデバイスによってトラッキングされる。画像キャプチャデバイスは、カメラ、電荷結合素子(CCD:Charged Coupled Device)、デジタルカメラ、デジタイザーに結合される従来のカメラあるいはウェブカメラを含む任意の形式によって設けることができる。画像キャプチャデバイスは、概して、入力デバイス(あるいは光を放射することができる任意のオブジェクト)からの光を検出可能でなくてはならない。好適に、周囲の他の光に比べて明るい光点をカメラが検出可能であるように、入力デバイスが十分な光を生成することである。
それ故、一実施形態では、コンピュータマウス入力デバイスと同様に、入力デバイスからの光が、カメラによって検出されるときは常にオンであるように設定することができる。その後にコントロールを生じさせるために、放射されている光の色(あるいは周波数)を変化させるよう、ユーザーは入力デバイスのボタンを押すか、あるいは他のいくつかの適切なトリガ機構をトリガすることができる。ウェブカメラが色および周波数の変化をキャプチャし、それによって、この色の変化がマウス、即ちマウスクリック用のボタン押しのように動作することを可能にする。
トラッキングできる色数は任意であり、入力デバイスがこれら複数の色毎に複数のボタンを有してもよく、あるいは複数の色をサイクリックに切り替える単一のボタンを有してもよい。他の実施形態では、通常のフラッシュライトに一般的なことであるが、視覚可能である色の変更を行う代わりに、第1の色から白色光(general light)に変化するものであってもよい。更に他の実施形態では、第1の色と、光が全く放射されないオフ状態と、の間で入力デバイスが点滅することができる。例えば、赤外線LEDが第1の色とオフステート状態とで交互に切り替わるようにすることもできる。そのような場合では、照明がオフである場合は、設定された時間の間光がオフ状態のままとなる。オフ状態のままとなる時間の長さによって、その後1つあるいはそれ以上の同様の又は異なる状態あるいは変化をディスプレイ画面に生じさせることも可能である。
更に、本文に記載された入力デバイスは、インタラクティブエンタテインメントアプリケーションの機能性を向上させることを可能にする。例えば、スポーツビデオゲームに関して、ユーザが、プレイ、例えば.フットボールゲーム、バスケットボールゲームなどのプレイを設計するように入力デバイスを利用可能である。また、チェスやウォーゲームのような戦略ゲームにおいて、ジョイスティックコントローラをマウス型コントローラとして使用しにくいという難点による制限があった。しかし、本文に記載された入力デバイスをジョイスティックではなくマウス型入力用に使用される場合は、よりユーザフレンドリーとなる。戦略シーン(ストラテジー)があるビデオゲームに関しては、ユーザが敵を攻撃するように軍隊に命令する山の中腹にいる、という状況も考えられる。他の実施形態では、入力デバイスをテレビ番組の切り替え用に使用することもできる。光源の動きをトラッキング可能にする光の色の変化に関連付けられたモード変更を組み込むための性能が、これらのフィーチャを使用可能としている。
本発明は、コンピュータシステムに記録されたデータを含む、コンピュータに実装された様々な動作を実行し得る。これらの動作は物理量の物理的な操作を要するものである。通常、必ずしもというわけではないが、これらの量は、記録され、伝送され、組み合わされ、比較され、又は、その他の手法により操作可能な電気信号又は磁気信号の形態をとることが可能である。更に、実行される操作は、多くの場合生成、識別、判断、又は比較という用語で参照される。
本文に記載された本発明の一部を形成する全てのオペレーションは、有用なマシンオペレーションである。本発明は、又、これらのオペレーションを実行するためのデバイス、装置に関する。この装置は、特別に求められた目的のために構築されていてもよいし、コンピュータに記録されたコンピュータプログラムによって選択的にアクティベートされ、又は構成される多目的のコンピュータであってよい。具体的には本文に記載された教示に従って、様々な多目的のマシンが利用され得るし、又は求められたオペレーションを実行するためにより特定された機器を構成する方が、より利便性があり得る。
上述した発明は、説明目的のために詳細に記載されたが、ある種の変更又は修正が実行され得ることが明らかである。例えば、ビデオゲームに関して特定的な例が提供されているが、このアプリケーションは、いくらかのインタラクションが求められるあらゆるコンピュータあるいはコンピュータデバイスに適用することができる。このコンピュータデバイスは、スタンドアローンユニットであり得るし、又はローカルあるいはインターネットのようなグローバルネットワークを介して他のコンピュータデバイスとインターコネクト可能である。従って、本発明の実施形態は説明目的のものであって、限定されないものと考えられなければならないし、本発明は、本文に記載された詳細に制限されるものではなく、本明細書の趣旨と均等物の範囲であれば、改変可能である。
本発明の一実施例に従ってモード変更を発生させるために光源から入力検出が可能なシステムの簡略化された説明図である。 図1Aに示されたシステムを表す他の実施例の説明図である。 本発明の一実施例に従って、画像キャプチャデバイスを通じて光源からの光をキャプチャしたことを表す簡略化された説明図である。 本発明の一実施例に従った光源の位置の決定と、その後におけるディスプレイ画面上の対応するカーソルの移動を制御するための光源位置の変換を表す概略説明図である。 本発明の一実施例に従ってトラッキング及び変換手法を向上するためのスキームを表す概略説明図である。 本発明の一実施例に従って画像キャプチャデバイスからユーザの距離に依存してスケールを設定するための手順を表す簡略化された説明図である。 本発明の一実施例に従った入力デバイスの他の形態の説明図である。 図6の入力デバイスの他の形態の説明図である。 本発明の一実施例に従ったディスプレイモニタとの通信においてコンピュータデバイスと通信を行うために構成された一対の入力デバイスの概略説明図である。 図7に示すリング部に係る光入力デバイスの他の構造を表す概略説明図である。 本発明の一実施例に従ったコンピュータシステム上で実行中のプログラム用に入力コマンドを発生させるための方法における動作を表すフローチャートである。 本発明の一実施例に従った画像キャプチャデバイスの視界内の入力源から入力コマンドを検出するための方法における動作を表すフローチャートである。

Claims (50)

  1. コンピュータシステム上で実行されるプログラムの入力コマンドを発生させる方法であって、
    画像キャプチャデバイスの前方の視界を監視し、
    前記視界内の光源を識別し、
    前記光源から放射される光の変化を検出し、
    前記変化が検出されたことに応じて、前記コンピュータシステム上で実行される前記プログラムで入力コマンドを発生させる、方法。
  2. 前記変化は、色の変化と、光の変化と、のいずれかである、請求項1記載の方法。
  3. 前記光源は、複数色の光を放射可能な発光ダイオード(LED)である、請求項1記載の方法。
  4. 前記視界内の光源の識別では、前記視界内の背景光のエフェクトをマスキングする、請求項1記載の方法。
  5. 前記視界内の背景光のエフェクトのマスキングでは、前記画像キャプチャデバイスの口径内に入射される光量を減少させる、請求項4記載の方法。
  6. 前記入力コマンドは、前記コンピュータシステムに関連付けられたディスプレイ画面上に表示されるカーソルにリンクしたモード変更を生じさせる、請求項1記載の方法。
  7. 前記視界内の光源の識別では、前記画像キャプチャデバイスと関連付けられたグリッド内に前記光源を表示するエリアを定義し、前記グリッド内に前記光源を表示する前記エリアを拡大する、請求項1記載の方法。
  8. 前記グリッド内の前記光源を表示する前記エリアの拡大では、前記光源に対して前記画像キャプチャデバイスをデフォーカスする、請求項7記載の方法。
  9. 前記視界内の光源の識別では、前記画像キャプチャデバイスに関連付けられたグリッドを通じて、前記光源を表示する画像の重心を算出する、請求項1記載の方法。
  10. 前記重心の座標を、前記コンピュータシステムに関連付けられたディスプレイ画面上の位置に変換し、
    前記視界内の前記光源の移動を検出し、
    前記光源の前記移動を前記ディスプレイ画面上のカーソルの移動に相関させる、請求項9記載の方法。
  11. 画像キャプチャデバイスの視界内の入力源から入力コマンドを検出する方法であって、
    前記画像キャプチャデバイスに入射する光の量を最小限に抑え、
    前記画像キャプチャデバイスを通じて前記入力源からの第1の色の光を検出し、
    前記第1の色の光から第2の色の光への変化を検出し、
    前記第1の色の光信号の前記変化に応じて、モード変更を行う方法。
  12. 前記画像キャプチャデバイスに入射する光の量を最小限に抑える前記過程では、前記入力源からの光を表示する信号が他のキャプチャされた画像データに対して強くなるように前記画像キャプチャデバイスの口径のサイズを減少させる、請求項11記載の方法。
  13. 前記画像キャプチャデバイスの口径のサイズを減少させる前記過程によって、前記入力デバイスからの光と干渉し得る背景光にフィルターがかけられる、請求項12記載の方法。
  14. 前記画像キャプチャデバイスを通じての前記光源からの第1の色の光信号の検出では、
    前記画像キャプチャデバイスに関連付けられた座標システム上の前記第一色光信号の中心部の位置を決定し、
    表示画面上の対応する位置に対して前記位置をマッピングする、請求項11記載の方法。
  15. 前記第1の色の光から第2の色の光への変化の検出では、
    前記入力源から前記第2の色を検出し、
    前記第1の色の光に関連付けられたピクセル値と前記第2の色の光に関連付けられたピクセル値とを比較する、請求項11記載の方法。
  16. 前記第2の色の光を前記第1の色の光に戻し、
    前記第1の色の光に戻したことに応じて、前記モード変更を終了する、請求項11記載の方法。
  17. 前記モード変更は、クリックアンドドラッグオペレーションとハイライティングオペレーションとのうちの一方に関連付けられる、請求項11記載の方法。
  18. 前記第1の色の光及び前記第2の色の光は、単一の発光ダイオード及び複数の発光ダイオードのいずれかから生成される、請求項11記載の方法。
  19. コンピュータシステム上で実行されるプログラムで入力コマンドを発生させるプログラム命令を有するコンピュータ読み取り可能な記録媒体であって、
    画像キャプチャデバイスの前方の視界を監視するためのプログラム命令と、
    前記視界内の光源を識別するためのプログラム命令と、
    前記変化の検出に応じて、前記コンピュータシステム上で実行される前記プログラムで入力コマンドを発生させるためのプログラム命令を含む、コンピュータ読み取り可能な記録媒体。
  20. 前記変化は、色の変化と光の変化と、のいずれかである、請求項19記載のコンピュータ読み取り可能な記録媒体。
  21. 前記光源は、複数の光の色を放射可能な発光ダイオードである、請求項19記載のコンピュータ読み取り可能な記録媒体。
  22. 前記視界内の光源を識別する前記プログラム命令は、前記視界内に背景光のエフェクトをマスキングするためのプログラム命令を含む、請求項19記載のコンピュータ読み取り可能な記録媒体。
  23. 前記視界内の背景光のエフェクトをマスキングするための前記プログラム命令は、前記画像キャプチャデバイスの口径内に入射される光の量を減少させるプログラム命令を含む、請求項22記載のコンピュータ読み取り可能な記録媒体。
  24. 前記入力コマンドは、前記コンピュータシステムと関連付けられたディスプレイ画面上に表示されるカーソルにリンクされたモード変更を引き起こす、請求項19記載のコンピュータ読み取り可能な記録媒体。
  25. 前記視界内の光源を識別する前記プログラム命令は、前記画像キャプチャデバイスと関連付けられたグリッド内の前記光源を表示するエリアを定義するためのプログラム命令と、前記グリッド内の前記光源を表示する前記エリアを拡大するためのプログラム命令を含む、
    請求項19記載のコンピュータ読み取り可能な記録媒体。
  26. 前記グリッド内の前記光源を表示する前記エリアを拡大するための前記プログラム命令は、前記光源に対して前記画像キャプチャデバイスをデフォーカスするためのプログラム命令を含む、請求項25記載のコンピュータ読み取り可能な記録媒体。
  27. 前記視界内の光源を識別するための前記プログラム命令は、前記画像キャプチャデバイスと関連付けられたグリッドを通じて前記光源を表示する画像の重心を算出するためのプログラム命令を含む、請求項19記載のコンピュータ読み取り可能な記録媒体。
  28. 前記重心の座標を、前記コンピュータシステムと関連付けられたディスプレイ画面上の位置に変換するためのプログラム命令と、前記視界内の前記光源の移動を検出するためのプログラム命令と、前記光源の前記移動と前記表示画面上のカーソルの移動を互いに関連付けるためのプログラム命令と、を含む、請求項27記載のコンピュータ読み取り可能な記録媒体。
  29. 画像キャプチャデバイスの視界内の入力源からの入力コマンドを検出するためのプログラム命令を有するコンピュータ読み取り可能な記録媒体であって、
    前記画像キャプチャデバイスに入射する光の量を最小限に抑えるためのプログラム命令と、
    前記画像キャプチャデバイスを通じて前記入力源からの第1の色の光を検出するためのプログラム命令と、
    前記第1の色の光から第2の色の光への変化を検出するためのプログラム命令と、
    前記第1の色の光信号の前記変化に応じて、モード変更を発生させるためのプログラム命令と、を含む、コンピュータ読み取り可能な記録媒体。
  30. 画像キャプチャデバイスに入射する光の量を最小限に抑えるための前記プログラム命令は、前記画像キャプチャデバイスの口径のサイズを小さくするためのプログラム命令を含む、請求項29記載のコンピュータ読み取り可能な記録媒体。
  31. 前記画像キャプチャデバイスを通じて前記光源からの第1の色を検出するための前記プログラム命令は、前記画像キャプチャデバイスと関連づけられた座標系に前記第1の色の中心の位置を決定するためのプログラム命令と、前記位置をディスプレイ画面上の対応する位置に対してマッピングするためのプログラム命令と、を含む、請求項29記載のコンピュータ読み取り可能な記録媒体。
  32. 前記画像キャプチャデバイスを通じて前記光源から第1の色の光を検出するための前記プログラム命令は、
    前記画像キャプチャデバイスを前記光源に対してデフォーカスするためのプログラム命令を含む、請求項29記載のコンピュータ読み取り可能な記録媒体。
  33. 前記第1の色の光を前記第2の色の光へと戻すためのプログラム命令と、前記第1の色の光に戻すことに応じて、前記モード変更を終了するためのプログラム命令と、を含む、請求項29記載のコンピュータ読み取り可能な記録媒体。
  34. 画像キャプチャデバイスと、
    前記画像キャプチャデバイスと関連付けられた、視界を監視するロジックと、
    入力オブジェクトに関連付けられた光源の位置をトラッキングするためのロジックと、
    前記光源の色の変化を検出するためのロジックと、
    前記光源の前記検出された色の変化に応じて、コンピュータシステムを通じて実行されるメインプログラムでモード変更を発生させるためのロジックと、を含む、コンピュータシステム。
  35. 前記コンピュータシステムは、ゲームコンソール、汎用コンピュータ、ネットワークコンピュータ、及び分散処理コンピュータのうちのいずれかである、請求項34記載のコンピュータシステム。
  36. 前記光源の色の変化を検出するための前記ロジックは、前記光源に関連付けられたピクセル値の変化を検出するためのロジックと、前記画像キャプチャデバイスに対する前記光源の位置変化を検出するためのロジックと、を含む、請求項34記載のコンピュータシステム。
  37. 前記各ロジックエレメントは、ハードウェア及びソフトウェアのうちの一方、あるいはこれらの組み合わせである、請求項34記載のコンピュータシステム。
  38. 前記画像キャプチャデバイスに対する前記光源の位置変化を検出するためのロジックは、前記画像キャプチャデバイスに関連付けられたグリッドにより光源を表示する画像の重心を算出するためのロジックと、前記重心の座標を前記コンピュータシステムに関連付けられた表示画面上の位置に変換するためのロジックと、前記視界内の前記光源の移動を検出するためのロジックと、前記光源の前記移動と前記表示画面上のカーソルの移動とを相互に関連付けるためのロジックと、を含む、請求項36記載のコンピュータシステム。
  39. 前記光源の前記移動と前記ディスプレイ画面上のカーソルの移動とを相互に関連付けるためのロジックは、
    前記画像キャプチャデバイスに相対するユーザの距離に従って、前記光源の前記移動を前記カーソルの前記移動に変換する際のスケールを調整するためのロジックを含む、請求項38記載のコンピュータシステム。
  40. 前記光源に関する背景光をマスキングするように前記画像キャプチャデバイスに入射する光の量を最小限に抑えるためのロジックを含む、請求項34記載のコンピュータシステム。
  41. コンピュータデバイスとのインターフェースとなる入力デバイスであって、
    本体部と、
    前記本体部に備えられた発光ダイオード(LED)と,
    前記LED用の電源装置と、
    前記本体部に統合されたモード変更アクティベータと、を含み、
    前記モード変更アクティベータは、前記LEDから放射される光の変化を生じさせるように構成され、この変化が検出されて前記コンピュータデバイスにモード変更を生じさせることが可能である、入力デバイス。
  42. 前記モード変更アクティベータは、前記光を二つのバリエーションのうちで切り替えるように構成される、請求項41記載の入力デバイス。
  43. 前記本体部は、第1の端部及び第2の端部を備え、第1のLEDは、前記第1の端部に設けられ、第2のLEDは、前記第2の端部に設けられる、請求項41記載の入力デバイス。
  44. 前記第1のLEDは、光のバリエーションのうちの第1のバリエーションの光を放射し、前記第二LEDは、第二のバリエーションの光を放射する、請求項43記載の入力デバイス。
  45. 更に、赤外線エミッターを含む、請求項41記載の入力デバイス。
  46. 前記本体は、第2のLEDに隣接する第1のLEDを有し、前記第1のLEDは、第のバリエーションの光を放射し、前記第2のLEDは、第二のバリエーションの光を放射する、請求項41記載の入力デバイス。
  47. 前記本体部は、人間の手の内に把持されるように構成される、請求項41記載の入力デバイス。
  48. 前記本体部は、人間の指にフィットするように構成されるリングである、請求項41記載の入力デバイス。
  49. 前記本体部は、指ぬき形状となっており、前記LEDは、前記指ぬき形状の本体部の基部に備えられる、
    請求項41記載の入力デバイス。
  50. 前記モード変更アクティベータは、光を少なくとも3つのバリエーションのうちで切り替えるように構成される、
    請求項41記載の入力デバイス。
JP2006549302A 2004-01-16 2004-12-17 光入力デバイス用の装置及びその方法 Expired - Fee Related JP4764832B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/759,782 2004-01-16
US10/759,782 US7623115B2 (en) 2002-07-27 2004-01-16 Method and apparatus for light input device
PCT/US2004/042865 WO2005073838A2 (en) 2004-01-16 2004-12-17 Method and apparatus for light input device

Publications (2)

Publication Number Publication Date
JP2007527573A true JP2007527573A (ja) 2007-09-27
JP4764832B2 JP4764832B2 (ja) 2011-09-07

Family

ID=34826444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006549302A Expired - Fee Related JP4764832B2 (ja) 2004-01-16 2004-12-17 光入力デバイス用の装置及びその方法

Country Status (7)

Country Link
US (2) US7623115B2 (ja)
EP (1) EP1704465B1 (ja)
JP (1) JP4764832B2 (ja)
KR (1) KR100886056B1 (ja)
CN (1) CN101167043A (ja)
TW (1) TWI289779B (ja)
WO (1) WO2005073838A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
JP2009522681A (ja) * 2006-01-05 2009-06-11 ポイントチップス カンパニー リミテッド イメージセンサーを用いた遠隔ポインティング装置及び方法
JP2010118028A (ja) * 2008-11-14 2010-05-27 Sony Computer Entertainment Inc 情報処理システム
JP2012003331A (ja) * 2010-06-14 2012-01-05 Sony Computer Entertainment Inc 情報処理装置、デバイスおよび情報処理システム
JP2012507101A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント ボール付属コントローラの位置および移動の決定
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2012529112A (ja) * 2009-05-30 2012-11-15 株式会社ソニー・コンピュータエンタテインメント オブジェクト追跡のための色較正
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
EP3076272A2 (en) 2015-03-31 2016-10-05 Fujitsu Limited Content display control method and system based on detecting the reflection of a beam of light

Families Citing this family (219)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20060264260A1 (en) * 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8160269B2 (en) * 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7704135B2 (en) * 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006027639A1 (en) * 2004-09-09 2006-03-16 Pirelli Tyre S.P.A. Method for allowing a control of a vehicle provided with at least two wheels in case of puncture of a tyre
US7852317B2 (en) 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
JP4849829B2 (ja) * 2005-05-15 2012-01-11 株式会社ソニー・コンピュータエンタテインメント センタ装置
US7548230B2 (en) * 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
CA2609155A1 (en) * 2005-08-22 2007-03-01 Qinzhong Ye Free-space pointing and handwriting
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7810504B2 (en) * 2005-12-28 2010-10-12 Depuy Products, Inc. System and method for wearable user interface in computer assisted surgery
TWI306572B (en) * 2006-02-15 2009-02-21 Pixart Imaging Inc Light pointing device and light tracking receiver having function selection key and system using the same
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
EP2460569A3 (en) * 2006-05-04 2012-08-29 Sony Computer Entertainment America LLC Scheme for Detecting and Tracking User Manipulation of a Game Controller Body and for Translating Movements Thereof into Inputs and Game Commands
US9364755B1 (en) 2006-05-08 2016-06-14 Nintendo Co., Ltd. Methods and apparatus for using illumination marks for spatial pointing
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US20080098448A1 (en) * 2006-10-19 2008-04-24 Sony Computer Entertainment America Inc. Controller configured to track user's level of anxiety and other mental and physical attributes
US20080096657A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Method for aiming and shooting using motion sensing controller
US20080096654A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Game control using three-dimensional motions of controller
US7566858B2 (en) 2006-11-07 2009-07-28 Apple Inc. Remote control systems that can distinguish stray light sources
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US20080120115A1 (en) * 2006-11-16 2008-05-22 Xiao Dong Mao Methods and apparatuses for dynamically adjusting an audio signal based on a parameter
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
US8094885B2 (en) * 2007-03-29 2012-01-10 Y.T. Ventures Ltd System and method for tracking an electronic device
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8102365B2 (en) * 2007-05-14 2012-01-24 Apple Inc. Remote control systems that can distinguish stray light sources
EP2191458A4 (en) * 2007-08-19 2012-02-15 Ringbow Ltd FINGER-FITTED DEVICES AND METHODS OF USE THEREOF
US20090062943A1 (en) * 2007-08-27 2009-03-05 Sony Computer Entertainment Inc. Methods and apparatus for automatically controlling the sound level based on the content
KR101432295B1 (ko) * 2007-09-05 2014-08-21 삼성전자주식회사 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
KR20090025560A (ko) * 2007-09-06 2009-03-11 삼성전자주식회사 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
BRPI0822458B1 (pt) * 2008-06-04 2020-09-08 Hewlett-Packard Development Company, L.P. Sistema e método de controle remoto para um computador
US8451224B2 (en) * 2008-07-23 2013-05-28 Sony Corporation Mapping detected movement of an interference pattern of a coherent light beam to cursor movement to effect navigation of a user interface
JP5376874B2 (ja) * 2008-09-05 2013-12-25 任天堂株式会社 画像処理プログラムおよび画像処理装置
US8133119B2 (en) * 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8525786B1 (en) 2009-03-10 2013-09-03 I-Interactive Llc Multi-directional remote control system and method with IR control and tracking
US8194038B1 (en) * 2009-03-10 2012-06-05 I-Interactive Llc Multi-directional remote control system and method with automatic cursor speed control
US20100231511A1 (en) * 2009-03-10 2010-09-16 David L. Henty Interactive media system with multi-directional remote control and dual mode camera
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8988437B2 (en) * 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8803889B2 (en) * 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8625837B2 (en) * 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US7914344B2 (en) * 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业(深圳)有限公司 光学触控装置
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
CN101963880A (zh) * 2009-07-21 2011-02-02 鸿富锦精密工业(深圳)有限公司 计算机输入系统
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US20110058025A1 (en) * 2009-09-08 2011-03-10 Knapton Edward D Left and right shutter control using visible light emitter
ITMC20090207A1 (it) * 2009-10-07 2011-04-08 Giacomo Cerretani Sistema di comunicazione per disabili.
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US9100613B1 (en) * 2009-11-17 2015-08-04 I-Interactive Llc Multi-directional remote control system and method with two level switch tracking control operation
US8325136B2 (en) 2009-12-01 2012-12-04 Raytheon Company Computer display pointer device for a display
US9186577B2 (en) * 2010-02-03 2015-11-17 Visual Sports Systems Collapsible enclosure for playing games on computers and gaming consoles
US20130328770A1 (en) * 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US20110248946A1 (en) * 2010-04-08 2011-10-13 Avaya Inc Multi-mode prosthetic device to facilitate multi-state touch screen detection
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8692178B2 (en) * 2010-06-11 2014-04-08 Industrial Technology Research Institute Photosensitive control system, and method of operating thereof
JP5521809B2 (ja) * 2010-06-17 2014-06-18 ソニー株式会社 ポインティングシステム、制御デバイス及び制御方法
WO2012001754A1 (ja) * 2010-06-30 2012-01-05 株式会社ソニー・コンピュータエンタテインメント ゲーム装置、ゲーム制御方法、及びゲーム制御プログラム
CN102446032B (zh) * 2010-09-30 2014-09-17 中国移动通信有限公司 基于摄像头的信息输入方法及终端
US20120092439A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing connectivity in a network environment
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US20120262366A1 (en) * 2011-04-15 2012-10-18 Ingeonix Corporation Electronic systems with touch free input devices and associated methods
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8540572B2 (en) * 2011-10-19 2013-09-24 Brad Kaldahl Video game controller for multiple users
US8740707B1 (en) 2011-10-19 2014-06-03 Brad Kaldahl Video game controller for multiple users
US8523674B2 (en) * 2011-10-19 2013-09-03 Brad Kaldahl Video game controller for multiple users
CN102508575B (zh) * 2011-11-10 2014-10-22 清华大学深圳研究生院 一种屏幕书写装置、屏幕书写系统及其实现方法
KR101383840B1 (ko) * 2011-11-17 2014-04-14 도시바삼성스토리지테크놀러지코리아 주식회사 리모트 컨트롤러와, 이를 이용한 제어 시스템 및 제어 방법
CN103135748B (zh) 2011-11-28 2016-06-22 深圳市腾讯计算机系统有限公司 人机交互操作指令的触发控制方法和系统
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN103196550A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
GB2513498A (en) * 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9724597B2 (en) 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
TWI469089B (zh) 2012-08-08 2015-01-11 Pixart Imaging Inc 影像判斷方法以及物件座標計算裝置
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
CN103869951A (zh) * 2012-12-17 2014-06-18 鸿富锦精密工业(武汉)有限公司 光影字符输入系统及方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US10134267B2 (en) 2013-02-22 2018-11-20 Universal City Studios Llc System and method for tracking a passive wand and actuating an effect based on a detected wand path
GB2511780B (en) * 2013-03-12 2017-04-19 Tcs John Huxley Europe Ltd Gaming table
US10185406B2 (en) * 2013-03-14 2019-01-22 Omnivision Technologies, Inc. Information technology device input systems and associated methods
US20140327619A1 (en) * 2013-05-02 2014-11-06 Dexin Corporation Inputting apparatus for reacting to an operation state and method thereof
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US9616350B2 (en) 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9433870B2 (en) 2014-05-21 2016-09-06 Universal City Studios Llc Ride vehicle tracking and control system using passive tracking elements
US9429398B2 (en) 2014-05-21 2016-08-30 Universal City Studios Llc Optical tracking for controlling pyrotechnic show elements
US10025990B2 (en) 2014-05-21 2018-07-17 Universal City Studios Llc System and method for tracking vehicles in parking structures and intersections
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
US9606364B2 (en) 2014-09-12 2017-03-28 Microsoft Technology Licensing, Llc Stabilizing motion of an interaction ray
US10238979B2 (en) 2014-09-26 2019-03-26 Universal City Sudios LLC Video game ride
US9977565B2 (en) * 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20170057056A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
CN107820600B (zh) * 2016-10-09 2021-04-27 深圳市柔宇科技股份有限公司 图形指针移动方法、图形指针移动系统及触控显示装置
KR102253487B1 (ko) * 2017-01-03 2021-05-18 삼성전자주식회사 전선커버유닛을 포함하는 빌트인 냉장고
CN108572720A (zh) * 2017-04-10 2018-09-25 佘均连 人机交互系统、控制装置及人机交互方法
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10860165B2 (en) * 2018-09-26 2020-12-08 NextVPU (Shanghai) Co., Ltd. Tracking method and apparatus for smart glasses, smart glasses and storage medium
US10540812B1 (en) * 2019-01-09 2020-01-21 Dell Products, L.P. Handling real-world light sources in virtual, augmented, and mixed reality (xR) applications
TWI805923B (zh) * 2020-05-19 2023-06-21 金龍照明股份有限公司 協同行動裝置預寫入被動式燈板顯示條件之控制方法及系統
CN112702586B (zh) * 2020-12-21 2023-06-30 极米科技股份有限公司 基于可见光的投影仪虚拟触控跟踪方法、装置及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source

Family Cites Families (303)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) * 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
NZ231883A (en) 1988-12-20 1993-04-28 Australian Meat & Live Stock Tag with machine-readable optical code
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) * 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
WO1991017522A1 (en) * 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
US5111401A (en) * 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5734915A (en) * 1992-11-25 1998-03-31 Eastman Kodak Company Method and apparatus for composing digital medical imagery
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
JP3045629B2 (ja) * 1993-02-17 2000-05-29 三菱電機株式会社 凹凸パターン検出装置
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
JP3583535B2 (ja) * 1994-12-12 2004-11-04 ゼロックス コーポレイション 光学的にアドレスされたニューラルネットワーク
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
DE69607472T2 (de) 1995-07-26 2000-08-24 Tegic Communications Inc System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) * 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) * 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
US5757425A (en) * 1995-12-19 1998-05-26 Eastman Kodak Company Method and apparatus for independently calibrating light source and photosensor arrays
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
TW419388B (en) 1996-03-05 2001-01-21 Sega Enterprises Kk Controller and the expanding unit used by the controller
WO1997039416A2 (en) * 1996-04-02 1997-10-23 Cognex Corporation Image formation apparatus for viewing indicia on a planar specular substrate
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) * 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
JP3814904B2 (ja) * 1996-12-25 2006-08-30 ソニー株式会社 位置検出装置及び遠隔操作装置
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US5949402A (en) * 1997-02-13 1999-09-07 International Business Machines Corporation Optical alignment method for pointing devices
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO1998039790A1 (en) 1997-03-07 1998-09-11 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP4732553B2 (ja) * 1997-04-23 2011-07-27 トムソン コンシユーマ エレクトロニクス インコーポレイテツド 1つ以上の領域を有する画像を供給するビデオ処理システムおよび方法
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
KR19990002788A (ko) * 1997-06-23 1999-01-15 구자홍 광센서를 이용한 컴퓨터용 입력장치
WO1999006956A1 (en) 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6677987B1 (en) * 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6690268B2 (en) * 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
US5982555A (en) * 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
JP3492180B2 (ja) * 1998-01-30 2004-02-03 キヤノン株式会社 座標入力装置
JP4195189B2 (ja) 1998-02-08 2008-12-10 スリーディーヴィー システムズ リミテッド 大開口光画像シャッタ
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
DE59901621D1 (de) * 1998-02-18 2002-07-11 Gmd Gmbh Kamera tracking system für ein virtuelles fernseh- oder videostudio
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) * 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) * 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) * 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) * 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6952198B2 (en) * 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP4309519B2 (ja) * 1999-08-03 2009-08-05 オリンパス株式会社 画像表示装置
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
EP1220547A4 (en) * 1999-09-17 2005-09-21 Nature Technology Co Ltd IMAGE ENTRY SYSTEM, IMAGE PROCESSOR AND CAMERA THEREFOR
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6753849B1 (en) * 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
AU2001227797A1 (en) 2000-01-10 2001-07-24 Ic Tech, Inc. Method and system for interacting with a display
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
WO2001061519A1 (en) 2000-02-15 2001-08-23 Sorceron, Inc. Method and system for distributing captured motion data over a network
JP2001265275A (ja) * 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) * 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7043019B2 (en) * 2001-02-28 2006-05-09 Eastman Kodak Company Copy protection for digital motion picture image data
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US6729731B2 (en) * 2001-06-11 2004-05-04 Info Valley Corporation Untethered laser pointer for use with computer display
DE10131026A1 (de) * 2001-06-29 2003-01-09 3A Abwasser Abfall Verfahren und Vorrichtung zur Beschleunigung des Abbaus biogener Organik in Abfalldeponien
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US7039253B2 (en) * 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6709108B2 (en) * 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
US20030139886A1 (en) * 2001-09-05 2003-07-24 Bodzin Leon J. Method and apparatus for normalization and deconvolution of assay data
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003099194A (ja) * 2001-09-21 2003-04-04 Ricoh Co Ltd ポインティング位置検出方法、ポインティング位置検出装置およびポインティング装置
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
US6885492B2 (en) * 2001-11-08 2005-04-26 Imaginative Optics, Inc. Spatial light modulator apparatus
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US20040017355A1 (en) * 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) * 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) * 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
DE60308342T2 (de) 2003-06-17 2007-09-06 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Sprachaktivitätsdetektion
AU2004287478A1 (en) * 2003-10-28 2005-05-19 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNG199700312004, 白井 暁彦, "光学的3次元位置検出法を用いたリアルタイム人間動作入力デバイス", テレビジョン学会技術報告, 19960213, Vol.20 No.7, pp.21−26, JP, 社団法人テレビジョン学会 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
JP2009522681A (ja) * 2006-01-05 2009-06-11 ポイントチップス カンパニー リミテッド イメージセンサーを用いた遠隔ポインティング装置及び方法
JP2012507101A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント ボール付属コントローラの位置および移動の決定
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2010118028A (ja) * 2008-11-14 2010-05-27 Sony Computer Entertainment Inc 情報処理システム
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
US9028326B2 (en) 2008-11-14 2015-05-12 Sony Corporation Operating device
JP2012529112A (ja) * 2009-05-30 2012-11-15 株式会社ソニー・コンピュータエンタテインメント オブジェクト追跡のための色較正
JP2012003331A (ja) * 2010-06-14 2012-01-05 Sony Computer Entertainment Inc 情報処理装置、デバイスおよび情報処理システム
EP3076272A2 (en) 2015-03-31 2016-10-05 Fujitsu Limited Content display control method and system based on detecting the reflection of a beam of light
US9857918B2 (en) 2015-03-31 2018-01-02 Fujitsu Limited Content display control method and system

Also Published As

Publication number Publication date
EP1704465A2 (en) 2006-09-27
US20080094353A1 (en) 2008-04-24
JP4764832B2 (ja) 2011-09-07
TW200525410A (en) 2005-08-01
KR100886056B1 (ko) 2009-02-26
KR20060108766A (ko) 2006-10-18
US7623115B2 (en) 2009-11-24
US20040207597A1 (en) 2004-10-21
WO2005073838A2 (en) 2005-08-11
EP1704465B1 (en) 2016-04-27
US8188968B2 (en) 2012-05-29
CN101167043A (zh) 2008-04-23
WO2005073838A3 (en) 2007-06-07
TWI289779B (en) 2007-11-11

Similar Documents

Publication Publication Date Title
JP4764832B2 (ja) 光入力デバイス用の装置及びその方法
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
US8237656B2 (en) Multi-axis motion-based remote control
EP2424632B1 (en) Managing virtual ports
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
US8587520B2 (en) Generating position information using a video camera
JP3321053B2 (ja) 情報入力装置及び情報入力方法及び補正データ生成装置
CN104777927B (zh) 影像式触控装置及其控制方法
Banerjee et al. Mouse control using a web camera based on colour detection
JP3521187B2 (ja) 固体撮像装置
US20100201808A1 (en) Camera based motion sensing system
US20120200494A1 (en) Computer vision gesture based control of a device
JP2006187613A (ja) ゲーム周辺装置
WO2009120299A2 (en) Computer pointing input device
JP2013524354A (ja) コンピューティングデバイスインターフェース
US20140053115A1 (en) Computer vision gesture based control of a device
TWI552791B (zh) 雷射二極體模式
US20080244466A1 (en) System and method for interfacing with information on a display screen
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
KR101288590B1 (ko) 적외선 카메라를 이용한 모션제어 장치 및 방법
KR20090090980A (ko) 영상을 이용한 포인팅 장치
US7145550B2 (en) Method and apparatus for reducing repetitive motion injuries in a computer user
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
JP2008181434A (ja) 入出力システム
KR200461366Y1 (ko) 영상을 이용한 포인팅 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4764832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees