JP2011524048A - 画像解析および超音波通信を使用したコントローラの三次元位置の決定 - Google Patents

画像解析および超音波通信を使用したコントローラの三次元位置の決定 Download PDF

Info

Publication number
JP2011524048A
JP2011524048A JP2011511683A JP2011511683A JP2011524048A JP 2011524048 A JP2011524048 A JP 2011524048A JP 2011511683 A JP2011511683 A JP 2011511683A JP 2011511683 A JP2011511683 A JP 2011511683A JP 2011524048 A JP2011524048 A JP 2011524048A
Authority
JP
Japan
Prior art keywords
controller
audio
image data
communication
computer program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011511683A
Other languages
English (en)
Other versions
JP5547720B2 (ja
Inventor
エム. ザルースキ ゲイリー
Original Assignee
ソニー・コンピュータ・エンタテインメント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・コンピュータ・エンタテインメント・アメリカ・エルエルシー filed Critical ソニー・コンピュータ・エンタテインメント・アメリカ・エルエルシー
Publication of JP2011524048A publication Critical patent/JP2011524048A/ja
Application granted granted Critical
Publication of JP5547720B2 publication Critical patent/JP5547720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/833Hand-to-hand fighting, e.g. martial arts competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/843Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029Fighting without shooting
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ゲームインタフェースは、ビデオキャプチャと超音波トラッキングシステムとの組み合わせを使用して、三次元空間内での1台以上のゲームコントローラの位置をトラッキングする。キャプチャされたビデオ情報が使用されて、キャプチャ領域内での各コントローラの水平位置と垂直位置とが特定される。超音波トラッキングシステムは、音声通信を解析して、ゲームシステムと各コントローラとの間の距離を決定し、コントローラ間の距離を決定する。次に、この距離がゲームインタフェースによって解析されて、キャプチャ領域内での各コントローラの深度が算出される。

Description

本発明は、一般に、コンピューティング装置とユーザの手に把持されているコントローラ間の通信に関し、より詳細には、三次元空間内でのコントローラの位置を決定するための、コンピューティング装置とコントローラ間の通信の使用に関する。
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
ゲームプラットホームの例に、ソニープレイステーション(登録商標)、ソニープレイステーション2(登録商標)(PS2)およびソニープレイステーション3(登録商標)(PS3)があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ(通常はテレビ)と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、CPU、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
ゲームの複雑さがプレーヤの興味を引き続けていることから、ゲームおよびハードウェアのメーカは更なるインタラクティブ機能(インタラクティビティ)およびコンピュータプログラムを実現するために革新を続けてきている。
コンピュータゲーム業界においては、ユーザとゲームシステム間のインタラクションを増やすゲームを開発する傾向が広がっている。より多くのインタラクティブな体験を実現する1つのやり方として、プレーヤの動きをトラッキングして、この動きをゲームの入力として使用するために、ゲームシステムによって移動がトラッキングされる無線ゲームコントローラを使用する方法がある。一般的にいうと、ジェスチャ入力とは、コンピューティングシステム、ビデオゲームコンソール、インテリジェント家電などの電子装置を、オブジェクトをトラッキングするビデオカメラがキャプチャした何らかのジェスチャに反応させることを指す。
しかし、現在の物体トラッキングは、キャプチャ精度が低い。この問題は、従来の画像解析では、ユーザの位置の二次元の測定値が、そこそこの精度の値でしか得られないために生じる。カメラへの接近、あるいはカメラとの離間によるわずかな形状の変化では、カメラとコントローラ間の距離を正確に算出するのに十分な情報が得られないため、カメラとトラッキング対象の物体間の距離を決定することは難しい。研究段階では、深度検知デバイスを使用することがある。しかし、このような深度検知デバイスは、双方向の戻り、いわゆるバウンスバックを利用しており、深度検知デバイスの前に置かれた物体から反映される光から、特定の画像の輪郭を決定しようとする。このような深度検知デバイスには特定の用途があるものの、深度データを二次元画像データと組み合わせることはコストが高く、複雑であり、余分な処理が必要となるため、ゲームへのその用途は多少限られてしまう。したがって、インタラクティブなゲームコントローラへの深度データの組み込みは遅々として進まず、望ましい成果を上げておらず、研究段階以外では広く受け容れられていない。
本発明の実施形態は、この状況においてなされたものである。
概して、本発明は、ユーザによって把持されるコントローラの三次元位置を決定するために、コンピューティングシステムのコンピュータプログラムと前記コントローラとの間で通信を確立するための方法およびシステムを提供することによって、これらのニーズを満たす。本発明は、プロセス、装置、システム、デバイスまたはコンピュータ可読媒体上の方法など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。
一実施形態では、コンピューティングシステムのコンピュータプログラムとユーザの手に把持されているコントローラとの間で通信を確立するための方法が提供される。前記方法は、ディスプレイ上にグラフィカルユーザインタフェースを表示し、前記ディスプレイ前方の領域の画像データをキャプチャする。このディスプレイ前方の領域は「キャプチャ領域」とも呼ばれ、ユーザがコンピューティングシステムと対話すると予想される空間を包含している。キャプチャ領域を広げたり狭めるように、キャプチャ領域を調整することもできる。デジタルビデオカメラによって提供されるデータなどのキャプチャされた画像データが使用され、キャプチャ領域に対するコントローラの二次元位置が特定される。また、前記方法は、前記ディスプレイ近傍の位置(例えばマイクロフォン)と前記コントローラ上の位置との間の単方向音声通信もキャプチャする。前記音声通信を介して取得された情報が使用され、前記キャプチャ領域内での前記コントローラの三次元位置が算出される。
別の実施形態は、コンピュータプログラムとコントローラとの間で通信を確立するためのシステムについて記載する。前記システムは、グラフィカルユーザインタフェースを描画するためのディスプレイと、画像キャプチャデバイスと、音声キャプチャデバイスと、前記コンピュータプログラムを実行するためのコンピューティングシステムとを有する。前記画像キャプチャデバイスは前記ディスプレイ前方の領域の画像データをキャプチャし、ここではこの領域を「キャプチャ領域」と呼ぶ。前記音声キャプチャデバイスも同様に、前記キャプチャ領域において音声データをキャプチャする。前記コンピューティングシステムは、前記ディスプレイ、前記画像キャプチャデバイス、および前記音声キャプチャデバイスに接続されている。前記コントローラはユーザに片手で把持されるように構成され、第1の端部および第2の端部を有する本体と、前記第1の端部の周囲のグリップエリアと、入力データを入力するための前記2つの端部間の入力パッドと、前記第2の端部の球型部分と、前記第2の端部の近傍の音声発生デバイスと、を有する。前記球型部分は、前記画像キャプチャデバイスによる画像認識を容易にし、前記音声発生デバイスは、把持時に前記ユーザから離れる方向に向けられ、前記音声キャプチャデバイスとの単方向音声通信を提供する。前記コンピュータプログラムは、前記キャプチャされた画像データに基づいて前記コントローラの二次元位置を、前記キャプチャされた音声データに基づいて前記コントローラの第3の次元の位置を、それぞれ特定する。
更に、別の実施形態では、コンピュータプログラムとコントローラとの間で通信を確立するためのシステムが提供される。前記システムは、ディスプレイと、前記ディスプレイ近傍に配置され、前記ディスプレイ前方のキャプチャ領域を向いている2組の発光素子と、マイクロフォンなどの音声キャプチャデバイスと、前記コンピュータプログラムを実行するためのコンピューティングシステムとを有する。前記コンピューティングシステムは、前記ディスプレイおよび前記音声キャプチャデバイスに接続されている。本システムにおいて、前記コントローラは、ユーザに片手で把持され、第1の端部および第2の端部を有する本体と、前記第1の端部の周囲のグリップエリアと、前記第1の端部と前記第2の端部との間の入力パッドと、前記第2の端部の近傍の画像キャプチャデバイスと、前記第2の端部の近傍の音声発生デバイスと、を有する。把持時に前記音声発生デバイスは前記ユーザから離れる方向に向けられ、前記コンピューティングシステムの近くの前記音声キャプチャデバイスとの単方向音声通信に対応する。本システム内で前記コンピュータプログラムは、前記キャプチャされた画像データに基づいて前記コントローラの二次元位置を、前記キャプチャされた音声データに基づいて前記コントローラの第3の次元の位置を、それぞれ特定する。
本発明の他の態様は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
複数人のプレーヤが存在するインタラクティブなプレイ環境を示す。 一実施形態による、マルチプレーヤ環境と、複数人のプレーヤによって把持されている異なるコントローラの位置を決定するためのビデオデータおよび音声データの使用を示す模式図である。 一実施形態による、マルチプレーヤ環境と、複数人のプレーヤによって把持されている異なるコントローラの位置を決定するためのビデオデータおよび音声データの使用を示す模式図である。 一実施形態による、マルチプレーヤ環境と、複数人のプレーヤによって把持されている異なるコントローラの位置を決定するためのビデオデータおよび音声データの使用を示す模式図である。 一実施形態による、マルチプレーヤ環境と、複数人のプレーヤによって把持されている異なるコントローラの位置を決定するためのビデオデータおよび音声データの使用を示す模式図である。 球形部分と超音波機能とを有する片手コントローラの実施形態を示す。 球形部分と超音波機能とを有する片手コントローラの実施形態を示す。 一実施形態による、球形部分が1つ以上の内部発光素子によって照光されるコントローラの模式図を示す。 一実施形態による、球形部分の内部に、コントローラの外側から見える発光素子を内蔵しているコントローラを示す。 超音波機能と、再帰反射材料が部分的に覆われている球形部分とを有するコントローラを示す。 交換可能なフェイスプレートを有する片手コントローラを有する一実施形態を示す。 一実施形態による、両手で使用するようになっているコントローラを形成するためにインサートプレートによって連結された2台の片手コントローラの模式図を示す。 一実施形態における、片手コントローラを形成するために基部で接続された2台の片手コントローラを示す。 一実施形態における、片手コントローラを形成するために基部で接続された2台の片手コントローラを示す。 一実施形態による、コントローラとユーザの特徴との視覚的トラッキングを示す。 一実施形態におけるコントローラの動きのトラッキングを示す。 プレーヤによって把持されている片手コントローラのさまざまな図を示す。 プレーヤによって把持されている片手コントローラのさまざまな図を示す。 一実施形態による、相対距離を決定するための超音波の使用を示す、片手コントローラを使用しているプレーヤの模式図を示す。 一実施形態による、ビデオおよび超音波を使用した2台のコントローラの三次元位置の決定を示す。 一実施形態による、ビデオおよび超音波を使用した2台のコントローラの三次元位置の決定を示す。 本発明の一実施形態による、2台のコントローラ間の距離を測定するための、超音波を使用したコントローラの位置の決定を示す。 一実施形態による、各コントローラに関連する情報を使用した、図9aに示すように2台のコントローラを連結することによって形成された1台のコントローラの位置の決定を示す。 埋め込み型カメラ602と超音波通信とを有するコントローラ600を有する実施形態の上面図を示す。 一実施形態による、ビデオ機能と音声機能とを備えた片手コントローラを使用している2人のプレーヤを示す。 ビデオ機能と超音波機能とを備えた片手コントローラの各種実施形態を示す。 ビデオ機能と超音波機能とを備えた片手コントローラの各種実施形態を示す。 ビデオ機能と超音波機能とを備えた片手コントローラの各種実施形態を示す。 ビデオ機能と超音波機能とを備えた片手コントローラの各種実施形態を示す。 エンタテインメントシステムの各種構成要素のブロック図である。 プレーヤの手と足の近くに配置された4台のコントローラを使用したインタラクティブなプレイのための実施形態を示す。 本発明の一実施形態による、コントローラの位置を決定するために使用されうるハードウェアおよびユーザインタフェースを示す。 本発明の一実施形態による、命令の処理に使用されうる追加のハードウェアを示す。 一実施形態による、コントローラの三次元位置を決定するために、片手コントローラとコンピューティングシステムとを通信させるための方法を示すフローチャートを示す。
本発明は、添付の図面を参照して以下の説明を読めば理解が深まるであろう。
ユーザによって把持されているコントローラの三次元位置を決定するために、コンピューティングシステムのコンピュータプログラムとユーザの手によって把持されているコントローラとの間で通信を確立するための方法およびシステムが提供される。前記方法は、ディスプレイにグラフィカルユーザインタフェースを表示し、前記コンピューティングシステムと対話しているユーザが存在すると予想される前記ディスプレイ前方に存在する領域の画像データをキャプチャする。キャプチャされた画像データが使用されて、前記キャプチャ領域内でのコントローラの二次元位置が特定される。前記二次元位置は、前記コントローラの水平位置と垂直位置とを示す。また、前記方法は、音声データをキャプチャするために、前記ディスプレイ近傍の位置と前記コントローラ上の位置との間の単方向音声通信を使用する。音声データは、コントローラからディスプレイ領域間の距離を算出するために使用される。二次元位置と距離との組み合わせが、コントローラが存在するキャプチャ領域内の点を規定する。
ここで使用する「単方向音声通信」とは、音波を使用して、送信元から受信器に情報を送信することを指す。一部の実施形態では、音波は超音波であり、このため人には聞こえない。一部の実施形態では、送信元は音声通信の第1の終端に対応し、受信器は第2の終端に対応する。別の実施形態ではこの役割が逆転しており、第1の終端が受信器に対応し、第2の終点が送信元に対応する。更に、一部の実施形態は、第1の終端と第2の終端間の二方向(または双方向)通信を有し、この場合、任意の時点で、第1の終端または第2の終端のいずれも、送信元または受信器として機能することができる。
音声通信は、この音声通信に関連する情報を調べることによって、一端から他端間の距離を評価するために使用される。例えば、音の速さに基づいて距離を調べるために、送信元が受信器に音声パルスを送信し、音声信号が一端から他端に伝わるのに要する時間が測定される。一実施形態では、送信元と受信器とが、同じ実体ではなく異なる実体に対応している点に留意すべきである。換言すれば、信号が送信元に戻るのに要する時間は、本明細書に記載の方法および装置では考察されない。送信元から受信器間の距離を測定できる限り、音声パルスを使用する他に、音声通信と組み合わせて他の操作を使用してもよい。他の操作の例としては、位相コヒーレンスの解析、波信号の位相の変更、波信号の周波数の変更、波信号の振幅の変更などが挙げられる。
しかし、本発明を、このような詳細な内容の一部または全てを用いなくても実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にあいまいにすることのないよう、公知の処理操作は詳述していない。
図1は、複数人のプレーヤが存在するインタラクティブなプレイ環境を示す。エンタテインメントシステム100はコンピューティングシステム102を有し、コンピューティングシステム102は、プレーヤA,B,Cによって把持されているコントローラC1〜C5との通信のための命令を含むコンピュータプログラムを実行している。コンピューティングシステム100は、画像キャプチャデバイス106、音声キャプチャデバイス108、ディスプレイ104、およびコントローラC1〜C5と通信している。コンピューティングシステム100は、直接の有線接続あるいは無線通信(ブルートゥース(登録商標)、Wi−Fi(登録商標)、802.11など)を介してエンタテインメントシステム100内の他の実体と通信している。代表的な構成においては、コンピューティングシステム102と、コンピューティングシステムの近くに存在する固定要素(画像キャプチャデバイス106、ディスプレイ104、および音声キャプチャデバイス108等)間では直接の有線接続が使用され、コントローラとの通信は、WiFi(登録商標)を使用した無線である。WiFi(登録商標)に特に触れたが、規格化されていない通信プロトコルおよびアルゴリズムを含め、他の通信規格が使用されてもよいことを理解すべきである。
キャプチャ領域118は、システムのユーザが、エンタテインメントシステム100とのインタラクション中に存在すると予想される三次元空間である。画像キャプチャデバイス106は、キャプチャ領域の画像を撮像し、この画像をコンピューティングシステム102に送信する。一実施形態では、画像キャプチャデバイス106はデジタルビデオカメラである。他の実施形態は他のタイプの画像キャプチャデバイスを使用し、これには、カラーデジタルカメラ、モノクロデジタルカメラ、赤外線カメラ、あるいは検出対象の物体の特定の特性(所定の色など)の検出に特化した特殊デバイスなどがある。
キャプチャされた画像データは、圧縮フォーマットまたは原フォーマットで操作および解析されうる。原画像フォーマットは、画像キャプチャデバイスからの、必要最小限の処理しか行なわれていないデータを含む。被処理または圧縮画像データは、ワイドガマット内部色空間を有する原コンバータによって作成され、正確な調整が行なわれてから、タグ付き画像ファイルフォーマット(TIFF)、ジョイントフォトグラフィックエキスパートグループ(JPEG)、ポータブルネットワークグラフィックス(PNG)、グラGIFフォーマット(Graphics Interchange Format)、ビットマップファイルフォーマット(BMP)などのRGBファイルフォーマットに変換される。被処理画像の色深度は、モノクロ、グレースケールから、ウェブパレット、ピクセル当たり24ビットなど、多岐にわたりうる。一実施形態では、原画像データが解析されて、画像データ内でのコントローラの形状の位置が特定されたのち、画像データの位置する形状に対応してコントローラの位置が指定される。別の実施形態では、キャプチャされた画像内でコントローラの位置を特定する代わりに、被処理画像データが使用される。
キャプチャされた画像データを使用して、コントローラの二次元位置が決定される。この位置は、キャプチャ領域などの三次元空間内の面、あるいは線上の点を規定する2つの座標xとy(x,y)によって特定される。時に、水平位置と垂直位置とを使用して、x値とy値が参照されることもある。また、原点からの角度、ベクトルなどの別の種類の座標も使用される。同様に、三次元空間内で、空間内の点を特定するために別の座標系が使用されてもよく、これには、x、y、z直交座標、x、y座標と原点からのベクトの組み合わせ、または2つの角度とベクトルなどがある。
音声キャプチャデバイス108は、キャプチャ領域から音声データを取得する。一実施形態では、コントローラが発した音声を音声キャプチャデバイス108が受信する単方向通信が使用される。超音波通信を使用することにより、プレーヤの体感に干渉するのを防ぐことができる。一実施形態では、コントローラは音声の発生源のスピーカを有し、音声キャプチャデバイスは、キャプチャ領域に指向された受信マイクロフォンを有する。一実施形態では、キャプチャ領域の外から来る外来のノイズがキャプチャされるのを防ぐフィルタ技術を使用して、キャプチャ領域の指向の精度を向上させることができる。また、音声キャプチャデバイスは、不要な音源からの干渉を更に低減させるために、超音波通信に使用されていない周波数をフィルタする。それでも、プレイ領域の近くの表面から反射される音声のため、音声通信が誤った値あるいは誤った読取り値を含むことがある。一実施形態では、コンピューティングシステム102は、音声の反射によって発生する誤った値を排除するために、指向性フィルタ、音波解析などのメカニズムを有する。
別の実施形態では、コントローラと画像キャプチャデバイス106間の通信は双方向であり、コントローラまたは音声デバイスの両方が、超音波メッセージの送信あるいは受信を行なう。更に、別の実施形態では、逆方向の単方向通信が行なわれ、各コントローラに超音波マイクロフォンが設けられており、音声発生デバイスがディスプレイ近傍に配置されている。
超音波通信を使用して、音声信号が目的地に到達するのに要する時間を解析することによって、コントローラと音声キャプチャデバイス間の距離(符号dzで示す)が測定される。また、距離をより正確に決定するために、受信信号の位相コヒーレンスが解析されてもよい。単方向の超音波通信が使用される場合、音声が発生源から目的地まで伝わるのに要する時間の正確な測定を行なうには、正確なクロック同期が必要となる。当業者であれば、クロック同期を行なうための公知の方法を容易に理解するであろう。例えば、クロックを同期させるために、コントローラとコンピューティング装置間にWiFi(登録商標)チャンネルを使用することができる。ザレウスキー(Zalewski)に付与された米国特許第5,991,693号明細書は、本発明によって使用されるトラッキングモードを開示しており、同特許を参照によりここに援用する。
キャプチャされた画像データに基づいて得られた位置(x,y)と距離dzとの組み合わせが、三次元キャプチャ領域内の1点を規定する。dzは上記のx軸およびy軸と直交するz軸内の値に変換できるため、dzは、時として「第3の次元」と呼ばれることもある。z測定値は、キャプチャ領域内の「深度」と呼ばれる。例えば、dz5はz5の深度値に対応する。この幾何学的変換については、図2Dを参照して以下で更に詳細に記載する。
一実施形態では、キャプチャ領域118は、画像キャプチャデバイス106から定義されるキャプチャ領域の境界114a,114bと、所定の焦点深度の後方線とによって規定される。最大深度の代表値は3〜10フィートであるが、他の値も可能である。別の実施形態では、キャプチャ領域が角錐形状である必要はなく、本発明の原理が保たれる限り、立方体、球、円錐の形状や、任意の他の形状でもよい。
図2A〜2Dは、一実施形態による、マルチプレーヤ環境と、複数人のプレーヤによって把持されている異なるコントローラの位置を決定するためのビデオデータおよび音声データの使用を示す模式図である。図2Aは、2人のプレーヤがいるプレイ環境の三次元図を示す。画像キャプチャデバイスを使用して、コントローラC1,C2,C4,C5のx座標およびy座標が取得される。音声キャプチャデバイス108が受信する超音波通信を使用して、距離dz1,dz2,dz4,dZ5が算出される。図1に示すように、コンピューティングシステム102は、取得した座標および距離を使用して、画面内でのプレーヤの表現、すなわち、アバター112a,112bを生成する。
図2Bは、図2AのプレーヤAに対応する、プレイ環境の上面図を示す。キャプチャ領域118は、コントローラの検出範囲を規定している。一実施形態では、コントローラC1,C2は、この2台のコントローラが両者間の距離dRS1を測定できるように、双方向の超音波通信を提供するように構成される。コントローラは、コントローラ間通信を実現するために、コントローラの側面に音声インタフェースを備えて構成されている。一実施形態では、距離dRS1はX物理値に対応しており、この値が、ディスプレイ上にキャプチャされるXスクリーン距離に変換される。一実施形態では、画面上でのアバター112aの表現には垂直成分が考慮されない。別の実施形態では、dRS1からx成分とy成分の両方が算出され、画面の表現には、三次元プレイフィールドの投射図(不図示)が含まれる。
図2Cは、異なる時点における図2Bと同じプレーヤを示し、コントローラC1とC2の距離が、図2BのdRS1よりも広い距離dRS2に広がっている。距離dRS2は、新しい水平間隔(x+Δx)に対応する。新しい(x+Δx)は、ディスプレイ内でのコントローラの新しい相対位置に変換され、この相対位置は比例する量(x+Δxスクリーン)だけ変更される。
図2Dは、距離測定から絶対深度(z)測定への変換を示す。dzは、コントローラ124から、座標(x0,y0,z0)の音声キャプチャデバイス108間の距離である。画像キャプチャデータを使用して、コントローラ124の水平座標(x1)と垂直座標(y1)とが算出される(不図示)。コントローラ124のz1値を算出するには、三次元空間内で座標(x1,y1)によって規定される線内の任意の点と、音声キャプチャデバイスを中心とした半径dz1の球との交差が求められる。この線は、等式{x=x1;y=y1}によって定義される。
この式は、射影歪みのない空間を想定している。別の実施形態は、画像キャプチャデバイスからの斜視に起因しうる歪みを補償する。球は、式(x−x0)2+(y−y0)2+(z−z0)2=dz12によって定義される。
この球の式のx1にxを、y1にyを代入すると、深度値z1に対応するz値が得られる。この式は2つのz値を返すが、一方の値のみがキャプチャ領域内に存在する点に留意されたい。
図3A〜3Bは、球形部分132と超音波機能とを有する片手コントローラ130の実施形態を示す。球形部分132が球形状を有しているため、画像キャプチャデバイスによってキャプチャされた画像を解析することによりコントローラ位置を検出できるようになる。
本明細書で使用する「球形」との用語は、完全な球に限定されないことを理解すべきである。むしろ、「球形」との用語は、同様な外観を有する任意の形状も含み、これには、楕円形、部分的に球形の側面、楕円形状、球体形状、ボール形状、バルーン形状、隆起形状、突出形状、拡大形状、延在形状などのほか、容易に検出され、ハンドヘルドのコントローラの一部をなすか、これに接続または連結される任意の種類の形状、あるいは単純な基本的な物理的物体などがある。
別の実施形態では、画像データを使用したコントローラのより正確な検出が可能となるように、以下に記載するように、球形部分に追加の特徴が追加される。コントローラ130は、双方向の超音波通信のために構成される。音声インタフェース136は、コントローラの前面に向う超音波通信を提供しており、音声インタフェース134は、コントローラの側面に向う音声通信を提供する。上で説明したように、前面の通信は、コントローラから、他端の音声受信器間の距離dzの決定に使用される。
音声インタフェース134は、コントローラ130を持っているプレーヤがもう一方の手に持っている第2のコントローラと通信するために使用される。また、側方音声通信を使用して、別のプレーヤが持っている別のコントローラと通信し、別のプレーヤとコントローラとの位置決定の精度を上げることができる。一実施形態では、図3Bを参照して下で説明するように、コントローラ内部のアコースティックチェンバが音声用の伝達路を提供する。別の実施形態では、音声インタフェース134は、側方通信が不要な場合は音声インタフェース136を閉じるスライド式ドアを備えており、これによりコントローラの前方方向の音声通信の出力を改善することができる。入力パッドエリア138は、ゲームのプレイ中にユーザからの入力を取得するためのボタンを有する。コントローラ130は、ユーザの手にフィットするためのグリップエリア140を有する。
図3Bは、内部アコースティックチェンバ150を有する、図3Aに図示したようなコントローラ130を示す。内部アコースティックチェンバは、音声発生源154および音声受信器152との間で伝達される超音波を、コントローラの外部に向けて伝達する。一実施形態では、アコースティックチェンバ150は、前面と側面とに音声インタフェースを有する。アコースティックチェンバを使用することにより、1つの音声発生源と1つの音声受信器のみを使用した多方向の音声通信が可能となる。別の実施形態では、アコースティックチェンバが使用されず、音声発生源と音声受信器の対が、音声通信を行なうコントローラの各側面に配置されている。別の実施形態では、音声通信が、球形部分を通過してもよく、これにより、音声が複数の方向に分散されて、コントローラが相手先の音声キャプチャデバイスに必ずしも正確に向いていない場合であっても音声通信を行なえるようになる。複数の音声インタフェースが球形部分の全体に分散して設けられており、各音声インタフェースがアコースティックチェンバに接続されている。音声インタフェースが、音声が来る方向または音声インタフェースを特定するのを補助する音声センサを備えてもよく、これにより精度を向上することができる。
図4は、一実施形態による、球形部分が1つ以上の内部発光素子172によって照光されるコントローラ170の模式図を示す。発光素子172から発せられた光が球形部分174を照光しており、これにより、球形部分の輝度が上がり、コンピューティング装置が、背景画像に対して球形部分の詳細および輪郭をより容易に識別できるようになり、画像データの解析の際にコントローラを検出しやすくなる。一実施形態では、発光素子172は発光ダイオード(LED)である。別の実施形態では、発光素子172は、赤外スペクトル域にあり、球形部分が赤外光によって照光され、赤外線カメラによる検出が可能となる。
コントローラをトラッキングしているカメラが赤外周波数で動作する(あるいは、赤外モードに切り替わることができる)ことが好ましいが、可視スペクトル域で動作するカメラが、x位置とy位置をトラッキングできるように、コントローラの球形部分が明るいネオンオレンジまたはネオングリーンでもよい。
図5は、一実施形態による、球形部分182の内部に、コントローラの外側から見える赤外発光素子184を内蔵しているコントローラを示す。球形部分は、歪みを最小限に抑えて赤外光を透過させ、これにより、赤外線カメラが、赤外光を検出することによってコントローラ180の位置を検出可能となる。別の実施形態では、光源が、可視スペクトル域で動作するLEDであり、デジタルカメラによって撮像された可視スペクトルの画像データを解析することによって検出される。更に別の実施形態では、可視光と赤外線の出力が得られるように、複数の光源周波数が混合される。
図6は、超音波機能と、再帰反射材料194が部分的に覆われている球形部分192とを有するコントローラ190を示す。再帰反射部材とは、入射角とは平行であるが、入射角から逆向きのベクトルに波面を反射させるデバイスまたは表面である。再帰反射器は、波面に厳密に垂直である場合にしかこのような反射を行なわない鏡とは異なる。球形部分192に再帰反射性を付与する、あるいは少なくとも部分的に再帰反射性を付与することにより、図14Bに示すように、離れて存在する光キャプチャデバイスの隣にある光源から来る光が、光キャプチャデバイスのほうに反映されるようになる。これにより、非再帰反射部材よりも反射光量が増大し、キャプチャされた画像のコントラストが高くなり、コントローラの認識が向上する。別の実施形態では、光の反射を最大化するために、球形部分192が再帰反射材料で完全に覆われている。
実施形態の組み合わせを得るために、各実施形態の各特徴が、本発明の別の実施形態の特徴と組み合わされてもよいことを理解すべきである。例えば、再帰反射コーティングされた球形部分に、赤外光源が内蔵されており、球形部分の内部からの赤外光が、再帰反射材料が設けられていない球の透過性領域を透過するようにしてもよい。
図7は、交換可能なフェイスプレートを有する片手コントローラ210の一実施形態を示す。220a,220bなどの異なるフェイスプレイを使用することにより、異なるキーパッドの構成を使用でき、ユーザがさまざまなゲームをプレイする際に、より柔軟に入力方式を選択できるようになる。図7に示す実施形態では、ユーザは、方向指示パッドを有するフェイスプレートA 220aか、4ボタンを有するフェイスプレートB 220bを使用するかを選択することができる。
図8は、一実施形態による、両手で使用するようになっているコントローラを形成するためにインサートプレート302によって連結された2台の片手コントローラ303a,303bの模式図を示す。インサートプレートは、ユーザのために入力オプションを追加する。2台のコントローラ間にフェイスプレートを使用した場合、コントローラ間距離が固定されて既知の値となる。離れて存在するコンピューティングシステムが、精度の向上のために2台のコントローラの両方の動きをトラッキングする。また、コンピューティングシステムは、コントローラ間の固定距離を考慮することにより、三角測量法を使用して、位置検出とコントローラの向きとの精度を更に向上させることができる。
図9A〜9Bは、一実施形態における、片手コントローラを形成するために基部で接続された2台の片手コントローラを示す。ロック機構322は、片手コントローラ320a,320bを基部で連結可能にする。一実施形態では、コントローラ320a,320bが噛み合うように、コントローラの形状が構成される。別の実施形態では、アダプタを使用してコントローラが連結される。アダプタが硬質であり、コントローラと共に堅い構造を形成しても、あるいは、組み合わせの形状を変えたり変化させることができるようにアダプタが可撓性を有してもよい。例えば、アダプタがロープ状の機構を有し、2台のコントローラの組み合わせが、ゲームでヌンチャクとして使用されてもよい。更に、別の実施形態では、アダプタが、入れ子方式で長手方向に延び、長剣または投げ槍に似た組み合わせを形成してもよい。別の実施形態では、コンピューティングシステムがコントローラの連結を検出可能にするため、あるいは、コントローラ間の直接通信を可能にするために、コントローラ間に電気的接続が行なわれる。この組み合わせは、「剣」または「ワンド」構成とも呼ばれることがある。図8のコントローラの組み合わせと同様に、「剣」構成により、離れて存在するコンピューティング装置が、精度の向上のために2台のコントローラの両方をトラッキングすることが可能となる。
図9Bは、「剣」コントローラを含む三次元プレイ環境を示す。カメラ322と音声キャプチャデバイス324とが、2台のコントローラの両方をトラッキングする。例えば、超音波通信を使用して、コントローラから音声キャプチャデバイス321間の距離dz1,dz2が決定される。コンピューティングシステムは、空間内の位置を検出し、2台のコントローラの両方の端部の位置を算出する。一実施形態では、2台のコントローラを連結している線が、画面上でツールまたは武器の同様の位置に変換される。
図10は、一実施形態による、コントローラ360とユーザの特徴との視覚的トラッキングを示す。カメラ362によってキャプチャされた画像データが、コントローラの(x,y)位置の算出だけではなく、プレーヤとコントローラ位置とをゲームへの入力とみなするため、人の特徴を検出するためにも解析される。一実施形態では、頭の領域350と胴体の領域352とがトラッキングされる。別の実施形態では、プレーヤの目(不図示)がトラッキングされる。線354はユーザの顔に向かう方向を、線356は胴体の方向を、線358はコントローラの方向および距離をそれぞれ示す。各線間の角度θ1,θ2の変化が、コントローラに対するプレーヤの位置の相対変化を示す。
図11は、一実施形態におけるコントローラの動きのトラッキングを示す。コントローラ380は、球形部分と超音波通信との他に、コントローラ380の慣性活動をトラッキングする慣性アナライザ388を備える。慣性アナライザ388からのデータがコンピューティングシステム382に送信される。6自由度(例えば、x,y,z方向の並進移動、およびx軸,y軸,z軸を中心とした回転)に関する情報を提供するために、各種の慣性センサ装置を使用することができる。6自由度に関する情報を提供するための好適な慣性センサの例としては、加速度計、1台以上の一軸加速度計、機械式ジャイロスコープ、リングレーザージャイロスコープ、あるいはこれらの二以上の組み合わせが挙げられる。内部アナライザ388からの信号が解析されて、ビデオゲームのプレイ中のコントローラの動きと向きとが決定される。一実施形態では、慣性解析データが、WiFi(登録商標)無線通信382を介してコンピューティングシステムに伝達される。別の実施形態では、有線通信、あるいは有線通信と無線通信との組み合わせも可能である。また、WiFi(登録商標)を特に挙げたが、通信を行なうために他の無線モードおよび規格が使用されてもよい。
図12A〜12Bは、プレーヤによって把持されている片手コントローラのさまざまな図を示す。図12Aは、プレーヤに対向するカメラの視点からの代表的な視野を示す。この実施形態では、コントローラ400は、カメラの隣またはその周囲に存在する光源から来る光を反射させ、反射光を逆方向に戻して、カメラに戻る光量を最大化するための再帰反射材料402を有する。カメラの視点からは音声インタフェース404も見ることができる。
図12Bは、再帰反射材料402を有する球形部分400と、音声インタフェース404,406とを有するコントローラの側面図を示す。
図13は、一実施形態による、相対距離を決定するための超音波の使用を示す、片手コントローラ420a,420bを使用しているプレーヤの模式図を示す。この2台のコントローラは、音声受信器422との双方向の超音波通信と、コントローラ間の双方向の超音波通信とに対応している。一実施形態では、コントローラ420a,420bは、音声情報を送受信する。キャプチャされた音声情報は、コントローラ間距離dRSを算出するために、コンピュータプログラムに送信されて処理される。別の実施形態では、コントローラのうちの1つの内部のプロセッサが、dRSを算出するためにコントローラ間の音声の伝達時間を測定し、この測定値がリモートのコンピュータプログラムに送信され、このプログラムが、この情報を、三次元キャプチャ領域内でのコントローラの位置の算出に使用する。図1を参照して上で説明したように、超音波測定を使用して距離を算出するには同期が必要である。
図14A〜14Bは、一実施形態による、ビデオおよび超音波を使用した2台のコントローラの三次元位置の決定を示す。図14Aは、時間経過後の図13と同じユーザを示しており、ユーザの手が動いて、コントローラ間距離が図13よりも大きな距離dRSに広がっている。この例では、この手の間隔の広がりが、画面のアバターの手の間隔の広がりにも反映されている。図14Bに示す実施形態では、コントローラ420bは、赤外発光素子433から発せられる赤外光を反射するために使用される再帰反射材料を有する。反射された光が赤外線カメラ326によってキャプチャされて画像データが生成され、このデータが解析されてコントローラの位置が決定される。別の実施形態では、カメラ436は、赤外線カメラと可視スペクトルカメラの両方である。カメラ436は、赤外スペクトルの画像データと可視スペクトルの画像データとを交互に取得する。この2種類の測定がコンピューティングシステムによって使用され、x,y位置が算出される。コントローラの位置特定に2つの方式を用いることにより、より高い精度を得ることができる。
図15は、本発明の一実施形態による、2台のコントローラ450a,450b間の距離を測定するための、超音波を使用したコントローラの位置の決定を示す。
図16は、一実施形態による、各コントローラに関連する情報を使用した、図9aに示すように2台のコントローラを連結することによって形成された1台のコントローラの位置の決定を示す。図9A,9Bを参照して上で説明したように、コントローラ500aと500bとが連結されている。各コントローラの位置が別個に算出され、精度の向上のために、位置の算出にコントローラ間距離dRSが使用される。dRSは既知の値であるため、測定されたコントローラ間距離が既知の距離と比較され、コントローラの位置の調整を行なうことができる。
一実施形態では、測定値の逸脱または欠陥を除外するために、いくつかの連続する測定値の組がトラッキングされる。測定間のサンプリングの頻度は、必要な精度と、演算リソースが利用可能かどうかに応じて変わる。例えば、インタラクティブな格闘ゲームは、インタラクティブなチェスゲームよりも測定の頻度を高くする必要がある。
図17は、埋め込み型カメラ602と超音波通信とを有するコントローラ600を有する実施形態の上面図を示す。この実施形態では、カメラが、ディスプレイ領域の近くではなくコントローラ上に設けられている。発光素子606aと606bが、ディスプレイのほぼ反対側の端に設けられている。画像データがカメラ602によってキャプチャされ、発光素子606a,606bからの光が、コントローラ位置の特定を支援する。発光素子の位置610a,610bは、x軸およびy軸内での発光素子の位置を表す。マイクロフォン604とコントローラ600間の超音波通信が使用され、コントローラからマイクロフォン間の距離dzが算出される。
一実施形態では、カメラ602によってキャプチャされた画像が、コンピューティング装置PS3に送信され、コンピューティング装置がキャプチャされた画像を処理して、コントローラのx,y位置を算出する。別の実施形態では、コントローラ600内蔵のプロセッサが画像データを処理し、コントローラ位置を算出して、この位置がコンピューティング装置PS3に送信される。別の実施形態では、コントローラ600が画像データの部分的な処理を行ない、データのサブセットがコンピューティング装置PS3に送信されて最終的に処理される。
カメラがコントローラ上に存在する別の実施形態が図18に図示されており、この図は、一実施形態による、ビデオ機能と音声機能とを備えた片手コントローラ600a,600bを使用している2人のプレーヤを示す。
カメラがコントローラ上に存在するため、コントローラの前面に球形部分、あるいは容易に認識可能な他の任意の形状を有する必要がなくなり、設計を薄型化できる。図19A〜19Dは、ビデオ機能と超音波機能とを備えた片手コントローラの各種実施形態を示す。コントローラ650は、前面にカメラ652と超音波インタフェースとを備えた基本的な構成を有する。コントローラ660は側面音声インタフェース662も更に備え、このインタフェースは、他のコントローラとの通信に使用でき、場合によっては、インタラクティブプレイ中にコントローラの向きが画面から逸れた場合に、ディスプレイシステム近傍の音声キャプチャインタフェースとの通信にも使用することができる。
図19Cのコントローラ670は、入力のためにコントローラ、ジョイスティック674、およびキーパッド672を使用中に、プレーヤの手にフィットするように構成されたグリップ676を有する。コントローラ680は、図19Bのコントローラ660と同様の側面インタフェース622も更に有する。
図20は、エンタテインメントシステムの各種構成要素のブロック図である。コンピューティングシステムとその構成要素とが図20の左側に図示され、プレーヤ環境が右側に図示されている。コンピューティングシステム700は、プロセッサ、メモリ領域、クロック、および通信インタフェースを有する。通信インタフェースは、WiFi(登録商標)プロトコルを使用した通信など、コントローラとの無線通信のためのラジオ周波数(RF)インタフェースを有する。他の通信方法として、画像キャプチャ、音声の送受信(本実施形態では超音波)、発光素子などが挙げられる。
コンピューティングシステム700に接続された各種通信デバイスが、コンピューティングシステム内部の個々のコントローラに接続している。メモリ領域には、実行中のプログラム、画像処理領域、音声処理領域、およびクロック同期領域が含まれる。実行中のプログラムには、ゲームプログラム、画像処理プログラム、音声処理プログラム、クロック同期プログラムなどが含まれる。これらのプログラムは、メモリの対応する領域を使用し、このような領域には、画像データを含む画像処理領域、超音波通信データを含む音声処理領域、遠隔デバイスとの同期に使用されるクロック同期領域などが挙げられる。
いくつかのコントローラ構成の実施形態が、プレーヤ環境領域に図示されている。コントローラAは、上で説明した特徴の多くを有する「フル搭載」コントローラである。コントローラAは、コンピューティングシステム700とのクロック同期に使用されるクロック同期(CS)モジュール、超音波データを受信するための音声受信器(SRx)、超音波データを送信するための音声送信器(SRx)、コンピューティングシステム700とのWiFi通信のためのWiFi(WF)モジュール、コントローラの前面および/または側面との間で音声を伝達するためのアコースティックチェンバ(AC)、画像データをキャプチャするためのデジタルビデオカメラ等の画像キャプチャ(IC)デバイス、ならびにコンピューティングシステム700の画像処理モジュールから画像認識をしやすくするための赤外スペクトルまたは可視スペクトル域の発光素子(LE)を有する。
また、コントローラAは、リモートキャプチャデバイスによる画像認識を改善するための球形部分(不図示)も備える。球形部分は、画像キャプチャデバイスの隣にある発光素子によって送られ、画像キャプチャデバイスのほうに反射される光量を増加させる再帰反射材料を備える。発光素子が生成する光は、赤外スペクトルまたは可視スペクトル域にあり、このため画像キャプチャデバイスも同じ光スペクトル域で動作する。コントローラA内の各種構成要素が、コントローラA内部で別個のデバイスまたはモジュールとして実装されてもよい。別の実施形態では、実装を小型化するために、コントローラA内の各種構成要素が少数の一体化部品にグループ化されている。また、ゲーム端末またはコンピュータへの接続時にコントローラの充電が可能となるように、各種コントローラが、1つ以上のUSBプラグを有してもよい。
所定のコントローラの使用用途によっては、コントローラAに関して説明した機能よりも、機能を省いた簡単な構成を使用することができる。コントローラAについて説明した機能の一部分を使用するコントローラB〜Eに関して、より簡潔なデバイスの実施形態のいくつかが図示されている。当業者は、本発明の原理が保たれる限り、本発明の趣旨の範囲内で、構成要素を追加または省略することによる同様な構成が可能であることを容易に認めるであろう。
三次元位置特定機能を備えた2台のコントローラの概念は、プレーヤの体またはその近傍に配置された複数のコントローラ、あるいは、三角測量を行ない、常時コントローラをより良好に視認できるようにするための複数のセンサに拡張することができる。一実施形態では、コントローラの位置の異なる幾何学的測定値を得るために、複数のマイクロフォンがキャプチャ領域の周囲に配置され、精度の向上のために三角測量計算が可能となる。図21は、プレーヤの手と足の近くに配置された4台のコントローラを使用したインタラクティブなプレイのための実施形態を示す。この実施形態では、2台のコントローラがプレーヤの腕または手にストラップ留めされ、更に2台のコントローラがプレーヤの足または脚にストラップ留めされている。この例は、バイシクルキックをしているプレーヤを図示しており、この動きが、コンピュータゲーム内の対応するアバターのバイシクルキックに変換される。一実施形態では、プレーヤに対向するカメラからの画像が、ゲームに追加される他の仮想物体と組み合わせてディスプレイに表示され、プレーヤがゲームシーンに組み込まれる。この実施形態では、ボール、ゴール、フィールド、他のプレーヤ、観戦者などがプレーヤの画像に追加されており、仮想のボールをキックするプレーヤの動きが、ゲームの世界では、仮想のゲームボールをキックするディスプレイ内の動きに変換される。マルチプレーヤ環境では、キャプチャされた画像データに基づいて、他のプレーヤが、仮想物体と組み合わされて仮想世界に組み込まれる。他のプレーヤは、ボールをキックしているプレーヤと同じキャプチャ領域にいても、あるいは、分散マルチプレーヤゲームを実現するために、ゲームにリモートで接続されていてもよい。他の同様なアプリケーションとしては、格闘ゲーム、カーレーシングゲーム、ダンスゲーム、エクササイズゲームのほか、フットボール、テニス、ボクシング、野球、バスケットボール、ホッケーなどの他のスポーツゲームが挙げられる。
図22は、本発明の一実施形態による、コントローラの位置を決定するために使用されうるハードウェアおよびユーザインタフェースを示す。図22は、本発明の一実施形態による、三次元コントローラ位置特定システムを実装するために互換性を有しうるコンソールであるソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスのシステムアーキテクチャ全体を模式的に示す。システムユニット1400は、システムユニット1400に接続可能なさまざまな周辺機器を備える。システムユニット1400は、Cellプロセッサ1428、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1426、専用のビデオランダムアクセスメモリ(VRAM)ユニット1432を有するReality Synthesizerグラフィックユニット1430、およびI/Oブリッジ1434を備える。また、システムユニット1400は、I/Oブリッジ1434を介してアクセス可能な、ディスク1440aから読み出すためのブルーレイ(登録商標)ディスクBD−ROM(登録商標)光ディスクリーダ1440、および着脱可能なスロットインハードディスクドライブ(HDD)1436も備える。任意選択で、システムユニット1400は、同様にI/Oブリッジ1434を介してアクセス可能な、コンパクトフラッシュ(登録商標)メモリカード、メモリースティック(登録商標)メモリカードなどを読み出すためのメモリカードリーダ1438も備える。
また、I/Oブリッジ1434は、6つのユニバーサルシリアルバス(USB)2.0ポート1424、ギガビットイーサネット(登録商標)ポート1422、IEEE 802.11b/g無線ネットワーク(Wi−Fi)ポート1420、および最大7つのブルートゥース接続に対応可能なブルートゥース(登録商標)無線リンクポート1418にも接続している。
動作時に、I/Oブリッジ1434は、1台以上のゲームコントローラ1402〜1403からのデータを含む、全ての無線、USB、およびイーサネット(登録商標)のデータを処理する。例えば、ユーザがゲームをプレイ中に、I/Oブリッジ1434はブルートゥースリンクを介してゲームコントローラ1402〜1403からデータを受信して、これをCellプロセッサ1428に転送し、Cellプロセッサ1428が適宜ゲームの現在の状態を更新する。
また、無線、USB、およびイーサネット(登録商標)の各ポートを介して、ゲームコントローラ1402〜1403のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン1404、キーボード1406、マウス1408、ソニープレイステーションポータブル(登録商標)エンターテイメントデバイスなどのポータブルエンターテイメントデバイス1410、EyeToy(登録商標)ビデオカメラ1412などのビデオカメラ、マイクロフォンヘッドセット1414、マイクロフォン1415などがある。このため、これらの周辺機器は、原則としてシステムユニット1400に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス1410はWi−Fiアドホック接続を介して通信し、マイクロフォンヘッドセット1414はブルートゥースリンクを介して通信しうる。
これらのインタフェースを提供することにより、プレイステーション3デバイスは、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、VoIP電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。
更に、USBポート1424を介して旧式メモリカードリーダ1416をシステムユニットに接続することができ、プレイステーション(登録商標)デバイスまたはプレイステーション2(登録商標)で用いられていたタイプのメモリカード1448の読み出しが可能となる。
本実施形態では、ゲームコントローラ1402〜1403は、ブルートゥースリンクを介してシステムユニット1400と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ1402〜1403が、USBポートに接続されてもよく、これにより、ゲームコントローラ1402〜1403のバッテリに充電するための電力も供給する。また、ゲームコントローラ1402〜1403は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの恒久メモリ、LEDまたは赤外線灯などの発光素子、超音波通信のためのマイクロフォンおよびスピーカ、アコースティックチェンバ、デジタルカメラ、内部クロック、ゲームコンソールに対向する球形部分等の認識可能な形状、ブルートゥース(登録商標)、WiFi(登録商標)などのプロトコルを使用する無線通信も有しうる。
ゲームコントローラ1402は両手で使用されるように設計されたコントローラであり、ゲームコントローラ1403は、図1〜21において上で説明したような片手コントローラである。ゲームコントローラは、1つ以上のアナログジョイスティックおよび従来のコントロールボタンに加えて、三次元位置決定の対象となる。したがって、従来のボタンまたはジョイスティックコマンドに加えて、あるいはこれらの代わりに、ゲームコントローラのユーザが行なったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーション(登録商標)ポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーション(登録商標)ポータブルデバイスの場合、追加のゲーム情報または制御情報(例えば制御命令またはライブの数)が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット(不図示)、ライトガン(不図示)、ハンドルおよびペダル(不図示)、あるいは、即答クイズゲームのための1つまたは複数の大型のボタン(これも図示なし)などの特注品のコントローラなどがある。
また、リモコン1404も、ブルートゥースリンクを介してシステムユニット1400と無線通信するように動作可能である。リモコン1404は、ブルーレイ(登録商標)ディスクBD−ROMリーダ1440の操作、およびディスクの内容の閲覧のために適した制御を備える。
ブルーレイ(登録商標)ディスクBD−ROMリーダ1440は、従来の記録済みCD、記録可能CD、およびいわゆるスーパーオーディオCDのほか、プレイステーションデバイスおよびプレイステーション2デバイスと互換のCD−ROMを読み出すように動作可能である。また、リーダ1440は、従来の記録済みDVDおよび記録可能DVDのほか、プレイステーション2デバイスおよびプレイステーション3デバイスと互換のDVD−ROMを読み出すように動作可能である。更に、リーダ1440は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション3デバイスと互換のBD−ROMを読み出すように動作可能である。
システムユニット1400は、Reality Synthesizerグラフィックユニット1430を介して、プレイステーション3デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ1444および1つ以上のスピーカ1446を備えた表示および音声出力装置1442(モニタまたはテレビ受像機など)に提供するように動作可能である。音声コネクタ1450は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ1452は、コンポーネントビデオ、S−ビデオ、コンポジットビデオ、および1つ以上の高品位マルチメディアインタフェース(HDMI)の出力などを種々備えうる。したがって、ビデオ出力は、PALまたはNTSC、あるいは720p、1080iまたは1080pの高解像度などのフォーマットであってもよい。
音声処理(生成、デコードなど)はCellプロセッサ1428によって実行される。プレイステーション3デバイスのオペレーティングシステムは、ドルビー(登録商標)5.1サラウンドサウンド、ドルビー(登録商標)シアターサラウンド(DTS)、およびブルーレイ(登録商標)ディスクからの7.1サラウンドサウンドのデコードに対応している。
本実施形態では、ビデオカメラ1412は、1つの電荷結合素子(CCD)、LEDインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット1400によるデコードのために、イントラ画像ベースのMPEG(motion picture expert group)標準などの適切なフォーマットで送信されるようになる。カメラのLEDインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット1400から受け取ると、発光するように配置されている。ビデオカメラ1412の実施形態は、USB、ブルートゥースまたはWi−Fiの通信ポートを介して、システムユニット1400にさまざまな方法で接続しうる。ビデオカメラの実施形態は、1つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、CCDは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。別の実施形態では、カメラは、赤外光の検出に適した赤外線カメラである。
一般に、システムユニット1400の通信ポートの1つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。
図23は、本発明の一実施形態による、命令の処理に使用されうる追加のハードウェアを示す。Cellプロセッサ1428は、メモリコントローラ1560およびデュアルバスインタフェースコントローラ1570A,Bを含む外部入出力構造、パワープロセッシングエレメント1550と呼ばれるメインプロセッサ、シナジスティックプロセッシングエレメント(SPE)1510A〜Hと呼ばれる8基のコプロセッサ、エレメント相互接続バス1580と呼ばれる上記のコンポーネントに接続している環状データバス、の4つの基本コンポーネントを備えたアーキテクチャを有する。プレイステーション2デバイスのエモーションエンジンは6.2ギガフロップスであるのに対し、Cellプロセッサの総浮動小数点演算性能は、218ギガフロップスである。
パワープロセッシングエレメント(PPE)1550は、3.2GHzの内部クロックで動作し、双方向同時マルチスレッディングPower1470準拠のPowerPCコア(PPU)1555をベースにしている。PPE1550は、512kBのレベル2(L2)キャッシュと、32kBのレベル1(L1)キャッシュとを備える。PPE1550は、クロックサイクルごとに8つの単一位置操作ができ、これは、3.2GHzで25.6ギガフロップスに相当する。PPE1550の主な役割は、演算作業負荷の大部分を処理するシナジスティックプロセッシングエレメント1510A〜Hのコントローラとして機能することにある。動作時に、PPE1550はジョブキューを保持し、シナジスティックプロセッシングエレメント1510A〜Hのジョブをスケジュールしており、その進捗を監視する。したがって、各シナジスティックプロセッシングエレメント1510A〜Hはカーネルを実行し、その役割は、ジョブを取り出して、これを実行し、PPE1550と同期されることにある。
各シナジスティックプロセッシングエレメント(SPE)1510A〜Hは、シナジスティックプロセッシングユニット(SPU)1520A〜Hおよびメモリフローコントローラ(MFC)1540A〜Hをそれぞれ備え、MFC1540A〜Hは、ダイナミックメモリアクセスコントローラ(DMAC)1542A〜H、メモリ管理ユニット(MMU)1544A〜H、およびバスインタフェース(不図示)をそれぞれ備える。各SPU1520A〜Hは3.2GHzでクロック供給され、原則として4GBまで拡張可能な256kBのローカルRAM1530A〜Hを備えたRISCプロセッサである。各SPEは、理論的には単精度処理性能で25.6ギガフロップスを示す。1つのSPUは、1クロックサイクルに、4つの単精度浮動小数点数、4つの32ビット数、8つの16ビット整数または16の8ビット整数を処理することができる。
同じクロックサイクルで、メモリ操作も実行することができる。SPU1520A〜HはシステムメモリXDRAM1426に直接アクセスしない。SPU1520A〜Hが作成した64ビットアドレスがMFC1540A〜Hに渡され、MFC1540A〜Hが、自身のDMAコントローラ1542A〜Hに対して、エレメント相互接続バス1580およびメモリコントローラ1560を介してメモリにアクセスするように指示する。
エレメント相互接続バス(EIB)1580は、Cellプロセッサ1428内部の論理的には環状の通信バスであり、上記のプロセッサエレメント(すなわち、PPE1550、メモリコントローラ1560、デュアルバスインタフェース1570A,B、および8基のSPE1510A〜H、合計12個のパーティシパント)を接続している。パーティシパントは、1クロックサイクルにつき8バイトの速度で、バスに同時に読み出しおよび書き込みを行うことができる。上で説明したように、各SPE1510A〜Hは、長いリードまたはライトのシーケンスをスケジュールするためのDMAC1542A〜Hを備える。EIBは、4つのチャネルを備え、そのうち2つは時計回り方向であり、残り2つは反時計回り方向である。したがって、12のパーティシパントについて、2つのパーティシパント間のステップ方式の最長のデータフローは、適切な方向で6ステップとなる。このため、パーティシパント間でアービトレーションが行われて完全な利用度が実現されると、12のスロットの理論上のピーク瞬間EIB帯域幅は、1クロックにつき96Bとなる。これは、3.2GHzのクロック速度で307.2GB/s(ギガバイト/秒)の理論上のピーク帯域幅に相当する。
メモリコントローラ1560は、ラムバス社(Rambus Incorporated)によって開発されたXDRAMインタフェース1562を備える。このメモリコントローラは、25.6GB/sの理論上のピーク帯域幅で、Rambus XDRAM1426とインタフェースする。
デュアルバスインタフェース1570A,Bは、Rambus FlexIO(登録商標)システムインタフェース1572A,Bを備える。このインタフェースは、それぞれ8ビット幅の12のチャネルに編成されており、このうち、5の経路が受信用、7つの経路が送信用である。これにより、Cellプロセッサと、コントローラ170Aを介してI/Oブリッジ700間、およびコントローラ170Bを介してReality Simulatorグラフィックユニット200間で、理論上のピーク帯域幅が62.4GB/s(送信36.4GB/s、受信26GB/s)が得られる。
Cellプロセッサ1428によってReality Simulatorグラフィックユニット1430に送信されるデータには、通常、表示リストが含まれ、これは、頂点を描画したり、ポリゴンにテクスチャを貼り付けたり、照明条件を指定するなどための一連のコマンドである。
図24は、一実施形態による、コントローラの三次元位置を決定するために、片手コントローラとコンピューティングシステムとを通信させるためのフローチャートを示す。操作902において、グラフィカルユーザインタフェースが、LCDなどのディスプレイに表示される。操作904において、ディスプレイ前方のキャプチャ領域から画像データがキャプチャされる。例えば、図1の画像キャプチャデバイス106を使用して、キャプチャ領域118から画像データがキャプチャされる。一実施形態では、画像キャプチャデバイス106はデジタルビデオカメラである。
操作906において、キャプチャされた画像に基づいてコントローラの二次元位置が特定される。例えば、画像データが、図20のコンピューティングシステム700の画像処理モジュールに保持され、図1を参照して説明したように、実行中のプログラムの1つがコントローラの水平位置と垂直位置とを決定する。
コンピューティングシステムとコントローラ間の超音波通信の各終端のクロックを同期させるために、クロック同期操作908が実行される。操作910において、ディスプレイ近傍の位置とコントローラ上の位置との間で、単方向音声通信がキャプチャされる。一実施形態では、音声が、コントローラで生成され、コンピューティングシステムの音声受信器によって受信される。別の実施形態では、音声が、コンピューティングシステム上の位置で生成され、コントローラによって受信される。
操作912において、キャプチャされた音声通信が、クロック同期情報と共に使用され、キャプチャ領域でのコントローラの第3の次元の位置が算出される。この第3の次元の位置は、図2Dを参照して上で説明したように、音声キャプチャデバイスからコントローラ間の距離、すなわちキャプチャ領域内でのコントローラの深度であってもよい。
実施形態では、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを管理するために、深度データのキャプチャが行なわれてもよい。物体は、人物が把持している物体であっても、人物の手であってもよい。更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまな物体と、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、1つの場所(CPUなど)や2つの場所(CPUと他の1つの素子など)で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のCPU、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および/またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および/またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
また、本発明は、コンピュータ可読媒体上のコンピュータ可読コードとして実施されてもよい。コンピュータ可読媒体は、電磁搬送波(electromagnetic wave carrier)を含め、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。コンピュータ可読媒体の例には、ハードディスク、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、コンピュータ可読媒体は、コンピュータ可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
方法の操作を特定の順序で記載したが、重畳される操作の処理が所期どおりに実行される限り、操作と操作の間に他の管理操作が実行されても、操作がわずかに時間をずらして実行されるように操作が調整されても、操作がシステム内で分散されて、処理に係るさまざまな間隔で処理操作を行なうことができるようにしてもよい。
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。

Claims (30)

  1. コンピューティングシステムのコンピュータプログラムとユーザの手に把持されているコントローラとの間で通信を確立するための方法であって、
    ディスプレイ前方のキャプチャ領域内で画像データをキャプチャするステップを有し、このキャプチャは、前記キャプチャ領域内での前記コントローラの二次元位置を特定するようになされるものであり、
    前記ディスプレイ近傍の位置と前記コントローラ上の位置との間で単方向音声通信をキャプチャするステップを有し、前記音声通信は、前記キャプチャ領域内での前記コントローラの第3の次元の位置を算出するために使用される方法。
  2. 前記コントローラの二次元位置を特定するステップは、前記画像データ内で、前記コントローラに関連する球形の形状を検出するステッを更に有する請求項1に記載の方法。
  3. 前記キャプチャされた画像データは、RGBピクセル画像データ、モノクロピクセル画像データ、または赤外データのいずれかに対応する請求項1に記載の方法。
  4. 前記単方向音声通信をキャプチャする前に、前記単方向音声通信の両終端間でクロックを同期させるステップを更に有する請求項1に記載の方法。
  5. 前記単方向音声通信は、前記コントローラ上に前記音声通信の送信元を有する請求項1に記載の方法。
  6. 前記単方向音声通信は、前記ディスプレイ近傍の前記位置に前記音声通信の送信元を有する請求項1に記載の方法。
  7. 前記ディスプレイ近傍の位置と第2のコントローラ上の位置との間の単方向音声通信をキャプチャすると共に、前記コントローラと前記第2のコントローラ間で双方向音声通信をキャプチャするステップを更に有する請求項1に記載の方法。
  8. 第3の次元の位置を算出するステップは、
    前記単方向音声通信における前記音声の伝達時間に基づいて、前記ディスプレイ近傍の前記位置から前記コントローラ上の前記位置までの距離を算出するステップと、
    前記距離に基づいて前記キャプチャ領域内での深度を算出するステップと、を有し、前記深度は、前記二次元位置の2つの次元のいずれに対しても直交する値である請求項1に記載の方法。
  9. 前記二次元位置および前記第3の次元の位置に基づいて、前記ディスプレイのグラフィカルユーザインタフェースに物体を提示するステップを更に有する請求項1に記載の方法。
  10. コンピュータプログラムとコントローラとの間で通信を確立するためのシステムであって、
    ディスプレイ前方のキャプチャ領域において画像データをキャプチャするための画像キャプチャデバイスと、
    前記キャプチャ領域において音声データをキャプチャするための音声キャプチャデバイスと、
    前記ディスプレイ、前記画像キャプチャデバイスおよび前記音声キャプチャデバイスに接続されており、前記コンピュータプログラムを実行するためのコンピューティングシステムと、
    ユーザに片手で把持される前記コントローラと、を有し、前記コントローラは、
    第1の端部および第2の端部を有する本体と、
    前記第1の端部の周囲のグリップエリアと、
    前記コンピューティングシステムに送信する入力データを入力するための、前記第1の端部と前記第2の端部との間に画定された入力パッドと、
    前記画像キャプチャデバイスによる画像認識を容易にするための、前記第2の端部に画定された球型部分と、
    前記第2の端部の近傍の音声発生デバイスと、を有し、把持時に前記音声発生デバイスは前記ユーザから離れる方向に向けられ、前記音声キャプチャデバイスとの単方向音声通信のために構成されており、
    前記コンピュータプログラムは、前記キャプチャされた画像データに基づいて前記コントローラの二次元位置を、前記キャプチャされた音声データに基づいて前記コントローラの第3の次元の位置を、それぞれ特定するシステム。
  11. 前記球型部分は、再帰反射領域を更に有する請求項10に記載のシステム。
  12. 前記球型部分は、前記キャプチャされた画像データでの前記球型部分の位置の特定を支援するために所定の色を有する請求項10に記載のシステム。
  13. 前記コントローラは、
    前記球型部分に内蔵された光源を更に有し、
    前記球型部分は半透明であり、
    前記光源は、前記キャプチャされた画像データでの前記球型部分の位置の特定を支援するために、前記球型部分を照光する請求項10に記載のシステム。
  14. 前記光発信源は赤外光源を有し、前記画像キャプチャデバイスは、赤外線カメラを更に有する請求項13に記載のシステム。
  15. 前記画像キャプチャデバイスは、可視スペクトルカメラを更に有し、前記二次元位置の前記特定において、前記赤外線カメラからの前記画像データと前記可視スペクトルカメラからの前記画像データとが組み合わされる請求項14に記載のシステム。
  16. 前記コントローラ内に設けられたマイクロフォンと、
    前記コントローラと同様に構成された第2のコントローラと、を更に有し、
    前記コンピュータプログラムによって前記第2のコントローラの三次元位置が特定され、
    前記コントローラと前記第2のコントローラとは、前記コントローラと前記第2のコントローラとの間の距離を決定するために使用される双方向音声通信のために構成され、前記距離が前記コンピューティングシステムに送信され、
    前記コンピュータプログラムは、前記コントローラの前記三次元位置の前記特定において前記決定されたコントローラ間距離を使用する請求項10に記載のシステム。
  17. 前記コントローラと前記第2のコントローラとは、長手方向の次元に物理的に直列に連結され、前記2台のコントローラの両方が前記コンピュータプログラムによってトラッキングされ、精度の向上のために前記2台のコントローラの前記特定された位置が組み合わされる請求項16に記載のシステム。
  18. 連結を行なうために前記2台のコントローラの端部間に画定されたアダプタを更に有する請求項17に記載のシステム。
  19. 前記コントローラと前記第2のコントローラとは、長手方向の次元に物理的に並列に連結され、前記コントローラを連結して両手で把持する一体型コントローラ設計を形成するためにプレートが使用される請求項16に記載のシステム。
  20. 前記コンピュータシステムに接続されたスピーカを更に有し、
    前記コントローラは、コントローラ側音声キャプチャデバイスを更に有し、
    前記コントローラと前記コンピュータシステムとは、前記スピーカおよび前記コントローラ側音声キャプチャデバイスを介して逆方向の単方向音声通信を確立する請求項10に記載のシステム。
  21. 前記第3の次元の位置の前記特定は、
    前記単方向音声通信のタイムオブフライトおよび位相コヒーレンスを測定することによって前記第3の次元の位置の深度値を算出する請求項10に記載のシステム。
  22. 前記入力パッドの異なるボタン構成を収容するために前記入力パッドは着脱可能である請求項10に記載のシステム。
  23. 前記コンピュータプログラムは、前記キャプチャされた画像データ内のユーザの頭の位置または前記キャプチャされた画像データ内のユーザの胴体の位置を検出することによってユーザの移動をトラックする請求項10に記載のシステム。
  24. 前記コントローラは、前記コントローラの慣性活動をトラッキングするための慣性アナライザを更に有し、前記慣性活動は、動作に対して前記コンピュータプログラムから転送される請求項10に記載のシステム。
  25. 前記音声発生デバイスは、前記コントローラ内部にアコースティックチェンバを有し、前記アコースティックチェンバは、音声を1つ以上の方向に対して案内および受信するために画定される請求項10に記載のシステム。
  26. 前記コンピュータプログラムは前記キャプチャされた画像および音声データの一部をサンプリングし、前記コンピュータプログラムは、前記コントローラ上の前記位置の前記特定中に前記サンプリングされたデータを組み合わせる請求項10に記載のシステム。
  27. コンピュータプログラムとコントローラとの間で通信を確立するためのシステムであって、
    ディスプレイ前方のキャプチャ領域に対向し、前記ディスプレイ近傍に配置された第1の発光素子の組および第2の発光素子の組と、
    前記キャプチャ領域において音声データをキャプチャするための音声キャプチャデバイスと、
    前記ディスプレイおよび前記音声キャプチャデバイスに接続されており、前記コンピュータプログラムを実行するためのコンピューティングシステムと、
    ユーザに片手で把持される前記コントローラと、を有し、前記コントローラは、
    第1の端部および第2の端部を有する本体と、
    前記第1の端部の周囲のグリップエリアと、
    前記コンピューティングシステムに送信する入力データを入力するための、前記第1の端部と前記第2の端部との間に画定された入力パッドと、
    前記第1の発光素子の組および前記第2の発光素子の組が存在する領域の画像データをキャプチャするための前記第2の端部の近傍の画像キャプチャデバイスと、
    前記第2の端部の近傍の音声発生デバイスと、を有し、把持時に前記音声発生デバイスは前記ユーザから離れる方向に向けられ、前記音声キャプチャデバイスとの単方向音声通信のために構成されており、
    前記コンピュータプログラムは、前記キャプチャされた画像データに基づいて前記コントローラの二次元位置を、前記キャプチャされた音声データに基づいて前記コントローラの第3の次元の位置を、それぞれ特定するシステム。
  28. 前記コントローラは、前記キャプチャされた画像データを前記コンピューティングシステムに送信する請求項27に記載のシステム。
  29. 前記コントローラ内部のプロセッサが、前記キャプチャされた画像データに基づいて前記コントローラの位置を算出し、前記コントローラは、前記算出された位置を前記コンピューティングシステムに送信する請求項27に記載のシステム。
  30. 1つ以上のプロセッサによって実行されると、コンピューティングシステムのコンピュータプログラムとユーザの手に把持されるコントローラとの間で通信を確立するためのコンピュータ可読記憶媒体に搭載されたコンピュータプログラムであって、
    ディスプレイ前方のキャプチャ領域内で画像データをキャプチャして、前記キャプチャ領域内での前記コントローラの二次元位置を特定するプログラム命令と、
    前記ディスプレイ近傍の位置と前記コントローラ上の位置との間で単方向音声通信をキャプチャするプログラム命令とを有し、前記音声通信は、前記キャプチャ領域内での前記コントローラの第3の次元の位置を算出するために使用されるコンピュータプログラム。
JP2011511683A 2008-05-30 2009-04-30 画像解析および超音波通信を使用したコントローラの三次元位置の決定 Active JP5547720B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US5778308P 2008-05-30 2008-05-30
US61/057,783 2008-05-30
US12/145,455 US8323106B2 (en) 2008-05-30 2008-06-24 Determination of controller three-dimensional location using image analysis and ultrasonic communication
US12/145,455 2008-06-24
PCT/US2009/042416 WO2009146234A1 (en) 2008-05-30 2009-04-30 Determination of controller three-dimensional location using image analysis and ultrasonic communication

Publications (2)

Publication Number Publication Date
JP2011524048A true JP2011524048A (ja) 2011-08-25
JP5547720B2 JP5547720B2 (ja) 2014-07-16

Family

ID=39872780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011511683A Active JP5547720B2 (ja) 2008-05-30 2009-04-30 画像解析および超音波通信を使用したコントローラの三次元位置の決定

Country Status (9)

Country Link
US (2) US8323106B2 (ja)
EP (1) EP2303422B1 (ja)
JP (1) JP5547720B2 (ja)
KR (1) KR101308642B1 (ja)
CN (2) CN102149436B (ja)
BR (1) BRPI0909883B1 (ja)
MX (1) MX2010012972A (ja)
TW (1) TWI388362B (ja)
WO (1) WO2009146234A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2016508646A (ja) * 2013-02-22 2016-03-22 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 受動的ワンドを追跡しそして検出されたワンド経路に基づき効果を作用させるシステム及び方法
JP2016122454A (ja) * 2012-10-15 2016-07-07 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス
US9690392B2 (en) 2012-10-15 2017-06-27 Sony Corporation Operating device including a touch sensor
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
WO2017204416A1 (ko) * 2016-05-24 2017-11-30 주식회사 에코로커스 가상 현실 구현을 위한 장치
JP2018088240A (ja) * 2016-11-24 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム
US11130050B2 (en) 2017-10-16 2021-09-28 Sony Interactive Entertainment Inc. Information processing system, controller device, and information processing apparatus
US11501552B2 (en) 2017-04-27 2022-11-15 Sony Interactive Entertainment Inc. Control apparatus, information processing system, control method, and program

Families Citing this family (381)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7682237B2 (en) * 2003-09-22 2010-03-23 Ssd Company Limited Music game with strike sounds changing in quality in the progress of music and entertainment music system
WO2007050885A2 (en) * 2005-10-26 2007-05-03 Sony Computer Entertainment America Inc. System and method for interfacing with a computer program
US8888593B2 (en) * 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
JP4187768B2 (ja) * 2007-03-20 2008-11-26 株式会社コナミデジタルエンタテインメント ゲーム装置、進行制御方法、および、プログラム
JP2010524290A (ja) * 2007-03-30 2010-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ システム制御のための方法及び装置
JP5411425B2 (ja) * 2007-12-25 2014-02-12 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8795077B1 (en) * 2008-01-25 2014-08-05 Ailive Inc. Game controllers with full controlling mechanisms
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
US8187097B1 (en) * 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
US20090312100A1 (en) * 2008-06-12 2009-12-17 Harris Scott C Face Simulation in Networking
US8620213B2 (en) * 2009-12-24 2013-12-31 Sony Computer Entertainment Inc. Wireless device pairing methods
GB2463312A (en) * 2008-09-09 2010-03-17 Skype Ltd Games system with bi-directional video communication
US8221229B2 (en) * 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
CN103272385B (zh) 2008-10-27 2016-09-28 索尼电脑娱乐公司 带有可配置的操作模式的游戏输入装置
US8092288B2 (en) * 2008-10-31 2012-01-10 International Business Machines Corporation Managing multi-player video game input
US8747224B2 (en) * 2008-11-14 2014-06-10 Sony Corporation Operating device
JP2012510856A (ja) * 2008-12-05 2012-05-17 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー マルチポジショナルコントローラによる三次元制御
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
JP5368118B2 (ja) * 2009-01-16 2013-12-18 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および通信方法
US8306013B2 (en) * 2009-01-23 2012-11-06 Empire Technology Development Llc Interactions among mobile devices in a wireless network
FR2941805A1 (fr) 2009-02-02 2010-08-06 Laurent Philippe Nanot Dispositif pour la visite guidee virtuelle interactive de sites/evenements historiques ou de projets de construction et scenarios d'entrainement
US20100201808A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Camera based motion sensing system
US9244525B2 (en) * 2009-02-19 2016-01-26 Disney Enterprises, Inc. System and method for providing user interaction with projected three-dimensional environments
WO2010121354A1 (en) * 2009-04-20 2010-10-28 Bent 360: Medialab Inc. Object tracking system
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
JP5486213B2 (ja) * 2009-05-12 2014-05-07 任天堂株式会社 ゲーム装置及びゲームプログラム
US10054444B2 (en) * 2009-05-29 2018-08-21 Qualcomm Incorporated Method and apparatus for accurate acquisition of inertial sensor data
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
JP2010277508A (ja) * 2009-06-01 2010-12-09 Sony Computer Entertainment Inc 操作デバイス
WO2011010414A1 (ja) * 2009-07-21 2011-01-27 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
KR20120089452A (ko) 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
US8669935B2 (en) * 2009-09-17 2014-03-11 Sony Corporation Operation device
CN102022979A (zh) * 2009-09-21 2011-04-20 鸿富锦精密工业(深圳)有限公司 三维光学感测系统
TWI459243B (zh) * 2009-10-09 2014-11-01 Hon Hai Prec Ind Co Ltd 三維光學感測系統及遊戲機
EP2347809A1 (en) * 2010-01-20 2011-07-27 Blue Banana bvba Crowd control system and method
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
WO2011090886A2 (en) * 2010-01-25 2011-07-28 Rambus Inc. Directional beam steering system and method to detect location and motion
EP2679013A2 (en) * 2010-02-23 2014-01-01 MUV Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
US8565909B2 (en) * 2010-02-24 2013-10-22 Disney Enterprises, Inc. Fabrication of materials with desired characteristics from base materials having determined characteristics
CN105843396B (zh) * 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
JP5335723B2 (ja) * 2010-03-26 2013-11-06 日本電信電話株式会社 制御システム、制御方法および制御プログラム
EP2558176B1 (en) 2010-04-13 2018-11-07 Sony Computer Entertainment America LLC Calibration of portable devices in a shared virtual space
JP5147900B2 (ja) * 2010-06-14 2013-02-20 株式会社ソニー・コンピュータエンタテインメント ゲームコントローラに取り付けられるアタッチメント、及び、コントローラアッセンブリ
JP5825737B2 (ja) 2010-06-14 2015-12-02 パラメトリック サウンド コーポレーション パラメトリック信号処理・放射システムおよびその関連方法
US9089775B1 (en) * 2010-06-24 2015-07-28 Isaac S. Daniel Interactive game system and methods for a television audience member to mimic physical movements occurring in television broadcast content
US20120005591A1 (en) * 2010-06-30 2012-01-05 Nokia Corporation Method and Apparatus for Presenting User Information Based on User Location Information
WO2012023930A1 (en) * 2010-08-17 2012-02-23 Empire Technology Development Llc Remote display control
FR2964479B1 (fr) * 2010-09-03 2014-01-03 Epawn Procede et dispositifs pour interfacer une pluralite d'elements mobiles avec un systeme informatique
TW201216123A (en) * 2010-10-08 2012-04-16 Primax Electronics Ltd Separatable game controller
EP2671375A4 (en) * 2011-01-31 2015-06-10 Cast Group Of Companies Inc SYSTEM AND METHOD FOR PROVIDING 3D SOUND
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
KR20120096778A (ko) * 2011-02-23 2012-08-31 주식회사 두빅 온라인 1인칭 슈팅게임에서의 복수개의 팀 매치를 위한 시스템 및 방법
US8702507B2 (en) * 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
DE102011051454A1 (de) * 2011-06-29 2013-01-03 DEON GmbH & Co. KG System zur Steuerung eines Anzeigemittels
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
JP5754266B2 (ja) * 2011-06-30 2015-07-29 セイコーエプソン株式会社 指示部材、光学式位置検出装置、および入力機能付き表示システム
JP5799627B2 (ja) * 2011-07-15 2015-10-28 セイコーエプソン株式会社 位置検出装置、位置検出システムおよび入力機能付き表示システム
US8605205B2 (en) * 2011-08-15 2013-12-10 Microsoft Corporation Display as lighting for photos or video
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
CN103002376B (zh) * 2011-09-09 2015-11-25 联想(北京)有限公司 声音定向发送的方法和电子设备
US8951120B2 (en) * 2011-09-19 2015-02-10 Sony Computer Entertainment America Llc Systems and methods for calibration and biasing for game controller
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8740707B1 (en) 2011-10-19 2014-06-03 Brad Kaldahl Video game controller for multiple users
US8540572B2 (en) * 2011-10-19 2013-09-24 Brad Kaldahl Video game controller for multiple users
US8523674B2 (en) * 2011-10-19 2013-09-03 Brad Kaldahl Video game controller for multiple users
EP2788838A4 (en) * 2011-12-09 2015-10-14 Nokia Technologies Oy METHOD AND APPARATUS FOR IDENTIFYING A GESTURE AFTER THE FUSION OF MULTIPLE SENSOR SIGNALS
WO2013106596A1 (en) 2012-01-10 2013-07-18 Parametric Sound Corporation Amplification systems, carrier tracking systems and related methods for use in parametric sound systems
WO2013109282A1 (en) * 2012-01-20 2013-07-25 Empire Technology Development Llc Mirror array display system
US8887373B2 (en) 2012-02-24 2014-11-18 Covidien Lp Vessel sealing instrument with reduced thermal spread and method of manufacture therefor
TW201335613A (zh) * 2012-02-24 2013-09-01 you-ming Liu 局域追蹤定位系統
WO2013158298A1 (en) 2012-04-18 2013-10-24 Parametric Sound Corporation Parametric transducers related methods
US9724597B2 (en) 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US8934650B1 (en) 2012-07-03 2015-01-13 Turtle Beach Corporation Low profile parametric transducers and related methods
US9900057B2 (en) 2012-07-06 2018-02-20 Energous Corporation Systems and methods for assigning groups of antenas of a wireless power transmitter to different wireless power receivers, and determining effective phases to use for wirelessly transmitting power using the assigned groups of antennas
US10090886B1 (en) 2014-07-14 2018-10-02 Energous Corporation System and method for enabling automatic charging schedules in a wireless power network to one or more devices
US9941754B2 (en) 2012-07-06 2018-04-10 Energous Corporation Wireless power transmission with selective range
US9891669B2 (en) 2014-08-21 2018-02-13 Energous Corporation Systems and methods for a configuration web service to provide configuration of a wireless power transmitter within a wireless power transmission system
US9966765B1 (en) 2013-06-25 2018-05-08 Energous Corporation Multi-mode transmitter
US9887584B1 (en) 2014-08-21 2018-02-06 Energous Corporation Systems and methods for a configuration web service to provide configuration of a wireless power transmitter within a wireless power transmission system
US9859756B2 (en) 2012-07-06 2018-01-02 Energous Corporation Transmittersand methods for adjusting wireless power transmission based on information from receivers
US9876648B2 (en) 2014-08-21 2018-01-23 Energous Corporation System and method to control a wireless power transmission system by configuration of wireless power transmission control parameters
US9824815B2 (en) 2013-05-10 2017-11-21 Energous Corporation Wireless charging and powering of healthcare gadgets and sensors
US10224758B2 (en) 2013-05-10 2019-03-05 Energous Corporation Wireless powering of electronic devices with selective delivery range
US10090699B1 (en) 2013-11-01 2018-10-02 Energous Corporation Wireless powered house
US9893555B1 (en) 2013-10-10 2018-02-13 Energous Corporation Wireless charging of tools using a toolbox transmitter
US10211680B2 (en) 2013-07-19 2019-02-19 Energous Corporation Method for 3 dimensional pocket-forming
US10186913B2 (en) 2012-07-06 2019-01-22 Energous Corporation System and methods for pocket-forming based on constructive and destructive interferences to power one or more wireless power receivers using a wireless power transmitter including a plurality of antennas
US9941747B2 (en) 2014-07-14 2018-04-10 Energous Corporation System and method for manually selecting and deselecting devices to charge in a wireless power network
US9252628B2 (en) 2013-05-10 2016-02-02 Energous Corporation Laptop computer as a transmitter for wireless charging
US9893768B2 (en) 2012-07-06 2018-02-13 Energous Corporation Methodology for multiple pocket-forming
US10103582B2 (en) 2012-07-06 2018-10-16 Energous Corporation Transmitters for wireless power transmission
US10050462B1 (en) 2013-08-06 2018-08-14 Energous Corporation Social power sharing for mobile devices based on pocket-forming
US9887739B2 (en) 2012-07-06 2018-02-06 Energous Corporation Systems and methods for wireless power transmission by comparing voltage levels associated with power waves transmitted by antennas of a plurality of antennas of a transmitter to determine appropriate phase adjustments for the power waves
US9882430B1 (en) 2014-05-07 2018-01-30 Energous Corporation Cluster management of transmitters in a wireless power transmission system
US9838083B2 (en) 2014-07-21 2017-12-05 Energous Corporation Systems and methods for communication with remote management systems
US10224982B1 (en) 2013-07-11 2019-03-05 Energous Corporation Wireless power transmitters for transmitting wireless power and tracking whether wireless power receivers are within authorized locations
US9859797B1 (en) 2014-05-07 2018-01-02 Energous Corporation Synchronous rectifier design for wireless power receiver
US10205239B1 (en) 2014-05-07 2019-02-12 Energous Corporation Compact PIFA antenna
US11502551B2 (en) 2012-07-06 2022-11-15 Energous Corporation Wirelessly charging multiple wireless-power receivers using different subsets of an antenna array to focus energy at different locations
US9806564B2 (en) 2014-05-07 2017-10-31 Energous Corporation Integrated rectifier and boost converter for wireless power transmission
US9143000B2 (en) 2012-07-06 2015-09-22 Energous Corporation Portable wireless charging pad
US10992185B2 (en) 2012-07-06 2021-04-27 Energous Corporation Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers
US10038337B1 (en) 2013-09-16 2018-07-31 Energous Corporation Wireless power supply for rescue devices
US9954374B1 (en) 2014-05-23 2018-04-24 Energous Corporation System and method for self-system analysis for detecting a fault in a wireless power transmission Network
US9871398B1 (en) 2013-07-01 2018-01-16 Energous Corporation Hybrid charging method for wireless power transmission based on pocket-forming
US9124125B2 (en) 2013-05-10 2015-09-01 Energous Corporation Wireless power transmission with selective range
US9853692B1 (en) 2014-05-23 2017-12-26 Energous Corporation Systems and methods for wireless power transmission
US9973021B2 (en) 2012-07-06 2018-05-15 Energous Corporation Receivers for wireless power transmission
US9831718B2 (en) 2013-07-25 2017-11-28 Energous Corporation TV with integrated wireless power transmitter
US9899861B1 (en) 2013-10-10 2018-02-20 Energous Corporation Wireless charging methods and systems for game controllers, based on pocket-forming
US9893554B2 (en) 2014-07-14 2018-02-13 Energous Corporation System and method for providing health safety in a wireless power transmission system
US10211674B1 (en) 2013-06-12 2019-02-19 Energous Corporation Wireless charging using selected reflectors
US9876394B1 (en) 2014-05-07 2018-01-23 Energous Corporation Boost-charger-boost system for enhanced power delivery
US9948135B2 (en) 2015-09-22 2018-04-17 Energous Corporation Systems and methods for identifying sensitive objects in a wireless charging transmission field
US9843213B2 (en) 2013-08-06 2017-12-12 Energous Corporation Social power sharing for mobile devices based on pocket-forming
US9438045B1 (en) 2013-05-10 2016-09-06 Energous Corporation Methods and systems for maximum power point transfer in receivers
US9923386B1 (en) 2012-07-06 2018-03-20 Energous Corporation Systems and methods for wireless power transmission by modifying a number of antenna elements used to transmit power waves to a receiver
US9843201B1 (en) 2012-07-06 2017-12-12 Energous Corporation Wireless power transmitter that selects antenna sets for transmitting wireless power to a receiver based on location of the receiver, and methods of use thereof
US10381880B2 (en) 2014-07-21 2019-08-13 Energous Corporation Integrated antenna structure arrays for wireless power transmission
US9847677B1 (en) 2013-10-10 2017-12-19 Energous Corporation Wireless charging and powering of healthcare gadgets and sensors
US10063106B2 (en) 2014-05-23 2018-08-28 Energous Corporation System and method for a self-system analysis in a wireless power transmission network
US10206185B2 (en) 2013-05-10 2019-02-12 Energous Corporation System and methods for wireless power transmission to an electronic device in accordance with user-defined restrictions
US10312715B2 (en) 2015-09-16 2019-06-04 Energous Corporation Systems and methods for wireless power charging
US9941707B1 (en) 2013-07-19 2018-04-10 Energous Corporation Home base station for multiple room coverage with multiple transmitters
US10230266B1 (en) 2014-02-06 2019-03-12 Energous Corporation Wireless power receivers that communicate status data indicating wireless power transmission effectiveness with a transmitter using a built-in communications component of a mobile device, and methods of use thereof
US9876379B1 (en) 2013-07-11 2018-01-23 Energous Corporation Wireless charging and powering of electronic devices in a vehicle
US10075008B1 (en) 2014-07-14 2018-09-11 Energous Corporation Systems and methods for manually adjusting when receiving electronic devices are scheduled to receive wirelessly delivered power from a wireless power transmitter in a wireless power network
US10063105B2 (en) 2013-07-11 2018-08-28 Energous Corporation Proximity transmitters for wireless power charging systems
US9912199B2 (en) 2012-07-06 2018-03-06 Energous Corporation Receivers for wireless power transmission
US9899873B2 (en) 2014-05-23 2018-02-20 Energous Corporation System and method for generating a power receiver identifier in a wireless power network
US9882427B2 (en) 2013-05-10 2018-01-30 Energous Corporation Wireless power delivery using a base station to control operations of a plurality of wireless power transmitters
US10965164B2 (en) 2012-07-06 2021-03-30 Energous Corporation Systems and methods of wirelessly delivering power to a receiver device
US9859757B1 (en) 2013-07-25 2018-01-02 Energous Corporation Antenna tile arrangements in electronic device enclosures
US10193396B1 (en) 2014-05-07 2019-01-29 Energous Corporation Cluster management of transmitters in a wireless power transmission system
US9867062B1 (en) 2014-07-21 2018-01-09 Energous Corporation System and methods for using a remote server to authorize a receiving device that has requested wireless power and to determine whether another receiving device should request wireless power in a wireless power transmission system
US10270261B2 (en) 2015-09-16 2019-04-23 Energous Corporation Systems and methods of object detection in wireless power charging systems
US10211682B2 (en) 2014-05-07 2019-02-19 Energous Corporation Systems and methods for controlling operation of a transmitter of a wireless power network based on user instructions received from an authenticated computing device powered or charged by a receiver of the wireless power network
US9847679B2 (en) 2014-05-07 2017-12-19 Energous Corporation System and method for controlling communication between wireless power transmitter managers
US10291066B1 (en) 2014-05-07 2019-05-14 Energous Corporation Power transmission control systems and methods
US10128699B2 (en) 2014-07-14 2018-11-13 Energous Corporation Systems and methods of providing wireless power using receiver device sensor inputs
US10218227B2 (en) 2014-05-07 2019-02-26 Energous Corporation Compact PIFA antenna
US10063064B1 (en) 2014-05-23 2018-08-28 Energous Corporation System and method for generating a power receiver identifier in a wireless power network
US10008889B2 (en) 2014-08-21 2018-06-26 Energous Corporation Method for automatically testing the operational status of a wireless power receiver in a wireless power transmission system
US20150326070A1 (en) 2014-05-07 2015-11-12 Energous Corporation Methods and Systems for Maximum Power Point Transfer in Receivers
US10263432B1 (en) 2013-06-25 2019-04-16 Energous Corporation Multi-mode transmitter with an antenna array for delivering wireless power and providing Wi-Fi access
US10223717B1 (en) 2014-05-23 2019-03-05 Energous Corporation Systems and methods for payment-based authorization of wireless power transmission service
US9825674B1 (en) 2014-05-23 2017-11-21 Energous Corporation Enhanced transmitter that selects configurations of antenna elements for performing wireless power transmission and receiving functions
US9368020B1 (en) 2013-05-10 2016-06-14 Energous Corporation Off-premises alert system and method for wireless power receivers in a wireless power network
US20140008993A1 (en) 2012-07-06 2014-01-09 DvineWave Inc. Methodology for pocket-forming
US10148097B1 (en) 2013-11-08 2018-12-04 Energous Corporation Systems and methods for using a predetermined number of communication channels of a wireless power transmitter to communicate with different wireless power receivers
US10141791B2 (en) 2014-05-07 2018-11-27 Energous Corporation Systems and methods for controlling communications during wireless transmission of power using application programming interfaces
US10243414B1 (en) 2014-05-07 2019-03-26 Energous Corporation Wearable device with wireless power and payload receiver
US10128693B2 (en) 2014-07-14 2018-11-13 Energous Corporation System and method for providing health safety in a wireless power transmission system
US9991741B1 (en) 2014-07-14 2018-06-05 Energous Corporation System for tracking and reporting status and usage information in a wireless power management system
US9853458B1 (en) 2014-05-07 2017-12-26 Energous Corporation Systems and methods for device and power receiver pairing
US9787103B1 (en) 2013-08-06 2017-10-10 Energous Corporation Systems and methods for wirelessly delivering power to electronic devices that are unable to communicate with a transmitter
US9812890B1 (en) 2013-07-11 2017-11-07 Energous Corporation Portable wireless charging pad
US10199849B1 (en) 2014-08-21 2019-02-05 Energous Corporation Method for automatically testing the operational status of a wireless power receiver in a wireless power transmission system
US10439448B2 (en) 2014-08-21 2019-10-08 Energous Corporation Systems and methods for automatically testing the communication between wireless power transmitter and wireless power receiver
US9939864B1 (en) 2014-08-21 2018-04-10 Energous Corporation System and method to control a wireless power transmission system by configuration of wireless power transmission control parameters
US10199835B2 (en) 2015-12-29 2019-02-05 Energous Corporation Radar motion detection using stepped frequency in wireless power transmission system
US10124754B1 (en) 2013-07-19 2018-11-13 Energous Corporation Wireless charging and powering of electronic sensors in a vehicle
US10141768B2 (en) 2013-06-03 2018-11-27 Energous Corporation Systems and methods for maximizing wireless power transfer efficiency by instructing a user to change a receiver device's position
US10992187B2 (en) 2012-07-06 2021-04-27 Energous Corporation System and methods of using electromagnetic waves to wirelessly deliver power to electronic devices
US9793758B2 (en) 2014-05-23 2017-10-17 Energous Corporation Enhanced transmitter using frequency control for wireless power transmission
US9906065B2 (en) 2012-07-06 2018-02-27 Energous Corporation Systems and methods of transmitting power transmission waves based on signals received at first and second subsets of a transmitter's antenna array
US10256657B2 (en) 2015-12-24 2019-04-09 Energous Corporation Antenna having coaxial structure for near field wireless power charging
US10291055B1 (en) 2014-12-29 2019-05-14 Energous Corporation Systems and methods for controlling far-field wireless power transmission based on battery power levels of a receiving device
KR101374961B1 (ko) * 2012-09-10 2014-03-18 김정헌 사운드 기반 인터페이스 장치 및 방법
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US20140143451A1 (en) * 2012-11-16 2014-05-22 Microsoft Corporation Binding control devices to a computing system
US10735106B2 (en) 2012-12-10 2020-08-04 Apple Inc. Mobile device with ultrasound ranging
US8858335B2 (en) 2013-01-18 2014-10-14 Microsoft Corporation Reconfigurable clip-on modules for mobile computing devices
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
CN105229582B (zh) 2013-03-14 2020-04-28 视力移动科技公司 基于近距离传感器和图像传感器的手势检测
TWI565504B (zh) * 2013-03-15 2017-01-11 新力電腦娛樂(美國)責任有限公司 遊戲控制器
US8903104B2 (en) 2013-04-16 2014-12-02 Turtle Beach Corporation Video gaming system with ultrasonic speakers
KR101406855B1 (ko) * 2013-04-17 2014-06-13 한국과학기술연구원 다차원 입력장치를 이용한 컴퓨터 시스템
US9819230B2 (en) 2014-05-07 2017-11-14 Energous Corporation Enhanced receiver for wireless power transmission
US9538382B2 (en) 2013-05-10 2017-01-03 Energous Corporation System and method for smart registration of wireless power receivers in a wireless power network
US9537357B2 (en) 2013-05-10 2017-01-03 Energous Corporation Wireless sound charging methods and systems for game controllers, based on pocket-forming
US9866279B2 (en) 2013-05-10 2018-01-09 Energous Corporation Systems and methods for selecting which power transmitter should deliver wireless power to a receiving device in a wireless power delivery network
US9419443B2 (en) 2013-05-10 2016-08-16 Energous Corporation Transducer sound arrangement for pocket-forming
US10103552B1 (en) 2013-06-03 2018-10-16 Energous Corporation Protocols for authenticated wireless power transmission
GB201310373D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
US8988911B2 (en) 2013-06-13 2015-03-24 Turtle Beach Corporation Self-bias emitter circuit
US9332344B2 (en) 2013-06-13 2016-05-03 Turtle Beach Corporation Self-bias emitter circuit
US10003211B1 (en) 2013-06-17 2018-06-19 Energous Corporation Battery life of portable electronic devices
US10021523B2 (en) 2013-07-11 2018-07-10 Energous Corporation Proximity transmitters for wireless power charging systems
CN103399634B (zh) * 2013-07-22 2016-02-24 瑞声科技(南京)有限公司 手势识别系统及识别方法
US9979440B1 (en) 2013-07-25 2018-05-22 Energous Corporation Antenna tile arrangements configured to operate as one functional unit
US9935482B1 (en) 2014-02-06 2018-04-03 Energous Corporation Wireless power transmitters that transmit at determined times based on power availability and consumption at a receiving mobile device
US10075017B2 (en) 2014-02-06 2018-09-11 Energous Corporation External or internal wireless power receiver with spaced-apart antenna elements for charging or powering mobile devices using wirelessly delivered power
US9495759B2 (en) * 2014-02-26 2016-11-15 Apeiros, Llc Mobile, wearable, automated target tracking system
US9437002B2 (en) * 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
US9618618B2 (en) 2014-03-10 2017-04-11 Elwha Llc Systems and methods for ultrasonic position and motion detection
US9739883B2 (en) * 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
WO2015138396A1 (en) * 2014-03-10 2015-09-17 Elwha Llc Systems and methods for a dual modality sensor system
USD744573S1 (en) * 2014-03-19 2015-12-01 Mitutoyo Corporation Camera for remote coordinate measuring machine
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9966784B2 (en) 2014-06-03 2018-05-08 Energous Corporation Systems and methods for extending battery life of portable electronic devices charged by sound
US10158257B2 (en) 2014-05-01 2018-12-18 Energous Corporation System and methods for using sound waves to wirelessly deliver power to electronic devices
US9800172B1 (en) 2014-05-07 2017-10-24 Energous Corporation Integrated rectifier and boost converter for boosting voltage received from wireless power transmission waves
US9973008B1 (en) 2014-05-07 2018-05-15 Energous Corporation Wireless power receiver with boost converters directly coupled to a storage element
US10170917B1 (en) 2014-05-07 2019-01-01 Energous Corporation Systems and methods for managing and controlling a wireless power network by establishing time intervals during which receivers communicate with a transmitter
US10153653B1 (en) 2014-05-07 2018-12-11 Energous Corporation Systems and methods for using application programming interfaces to control communications between a transmitter and a receiver
US10153645B1 (en) 2014-05-07 2018-12-11 Energous Corporation Systems and methods for designating a master power transmitter in a cluster of wireless power transmitters
US9876536B1 (en) 2014-05-23 2018-01-23 Energous Corporation Systems and methods for assigning groups of antennas to transmit wireless power to different wireless power receivers
KR101595957B1 (ko) * 2014-06-12 2016-02-18 엘지전자 주식회사 이동 단말기 및 제어 시스템
US10068703B1 (en) 2014-07-21 2018-09-04 Energous Corporation Integrated miniature PIFA with artificial magnetic conductor metamaterials
US10116143B1 (en) 2014-07-21 2018-10-30 Energous Corporation Integrated antenna arrays for wireless power transmission
US9871301B2 (en) 2014-07-21 2018-01-16 Energous Corporation Integrated miniature PIFA with artificial magnetic conductor metamaterials
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9965009B1 (en) 2014-08-21 2018-05-08 Energous Corporation Systems and methods for assigning a power receiver to individual power transmitters based on location of the power receiver
US9917477B1 (en) 2014-08-21 2018-03-13 Energous Corporation Systems and methods for automatically testing the communication between power transmitter and wireless receiver
CN104258555B (zh) * 2014-09-10 2016-05-11 北京理工大学 采用rgbd视觉传感的双拳击球健身交互系统
US9945946B2 (en) 2014-09-11 2018-04-17 Microsoft Technology Licensing, Llc Ultrasonic depth imaging
US10122415B2 (en) 2014-12-27 2018-11-06 Energous Corporation Systems and methods for assigning a set of antennas of a wireless power transmitter to a wireless power receiver based on a location of the wireless power receiver
CN104606882B (zh) * 2014-12-31 2018-01-16 南宁九金娃娃动漫有限公司 一种体感游戏互动方法及系统
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9893535B2 (en) 2015-02-13 2018-02-13 Energous Corporation Systems and methods for determining optimal charging positions to maximize efficiency of power received from wirelessly delivered sound wave energy
CN104707331B (zh) * 2015-03-31 2018-08-07 北京奇艺世纪科技有限公司 一种游戏体感产生方法及装置
US10178374B2 (en) 2015-04-03 2019-01-08 Microsoft Technology Licensing, Llc Depth imaging of a surrounding environment
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9995823B2 (en) 2015-07-31 2018-06-12 Elwha Llc Systems and methods for utilizing compressed sensing in an entertainment system
US10523033B2 (en) 2015-09-15 2019-12-31 Energous Corporation Receiver devices configured to determine location within a transmission field
US9906275B2 (en) 2015-09-15 2018-02-27 Energous Corporation Identifying receivers in a wireless charging transmission field
US10778041B2 (en) 2015-09-16 2020-09-15 Energous Corporation Systems and methods for generating power waves in a wireless power transmission system
US10186893B2 (en) 2015-09-16 2019-01-22 Energous Corporation Systems and methods for real time or near real time wireless communications between a wireless power transmitter and a wireless power receiver
US11710321B2 (en) 2015-09-16 2023-07-25 Energous Corporation Systems and methods of object detection in wireless power charging systems
US9893538B1 (en) 2015-09-16 2018-02-13 Energous Corporation Systems and methods of object detection in wireless power charging systems
US10199850B2 (en) 2015-09-16 2019-02-05 Energous Corporation Systems and methods for wirelessly transmitting power from a transmitter to a receiver by determining refined locations of the receiver in a segmented transmission field associated with the transmitter
US10211685B2 (en) 2015-09-16 2019-02-19 Energous Corporation Systems and methods for real or near real time wireless communications between a wireless power transmitter and a wireless power receiver
US10008875B1 (en) 2015-09-16 2018-06-26 Energous Corporation Wireless power transmitter configured to transmit power waves to a predicted location of a moving wireless power receiver
US9871387B1 (en) 2015-09-16 2018-01-16 Energous Corporation Systems and methods of object detection using one or more video cameras in wireless power charging systems
US10158259B1 (en) 2015-09-16 2018-12-18 Energous Corporation Systems and methods for identifying receivers in a transmission field by transmitting exploratory power waves towards different segments of a transmission field
US9941752B2 (en) 2015-09-16 2018-04-10 Energous Corporation Systems and methods of object detection in wireless power charging systems
US10135295B2 (en) 2015-09-22 2018-11-20 Energous Corporation Systems and methods for nullifying energy levels for wireless power transmission waves
US10027168B2 (en) 2015-09-22 2018-07-17 Energous Corporation Systems and methods for generating and transmitting wireless power transmission waves using antennas having a spacing that is selected by the transmitter
US10033222B1 (en) 2015-09-22 2018-07-24 Energous Corporation Systems and methods for determining and generating a waveform for wireless power transmission waves
US10050470B1 (en) 2015-09-22 2018-08-14 Energous Corporation Wireless power transmission device having antennas oriented in three dimensions
US10128686B1 (en) 2015-09-22 2018-11-13 Energous Corporation Systems and methods for identifying receiver locations using sensor technologies
US10020678B1 (en) 2015-09-22 2018-07-10 Energous Corporation Systems and methods for selecting antennas to generate and transmit power transmission waves
US10153660B1 (en) 2015-09-22 2018-12-11 Energous Corporation Systems and methods for preconfiguring sensor data for wireless charging systems
US10135294B1 (en) 2015-09-22 2018-11-20 Energous Corporation Systems and methods for preconfiguring transmission devices for power wave transmissions based on location data of one or more receivers
CN105148513B (zh) * 2015-09-23 2017-06-06 腾讯科技(深圳)有限公司 智能硬件的操作方法及装置
US10333332B1 (en) 2015-10-13 2019-06-25 Energous Corporation Cross-polarized dipole antenna
US10734717B2 (en) 2015-10-13 2020-08-04 Energous Corporation 3D ceramic mold antenna
US9899744B1 (en) 2015-10-28 2018-02-20 Energous Corporation Antenna for wireless charging systems
US9853485B2 (en) 2015-10-28 2017-12-26 Energous Corporation Antenna for wireless charging systems
US10063108B1 (en) 2015-11-02 2018-08-28 Energous Corporation Stamped three-dimensional antenna
US10027180B1 (en) 2015-11-02 2018-07-17 Energous Corporation 3D triple linear antenna that acts as heat sink
US10135112B1 (en) 2015-11-02 2018-11-20 Energous Corporation 3D antenna mount
US9839840B2 (en) * 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9804693B2 (en) * 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
US10010788B2 (en) * 2015-12-21 2018-07-03 Sony Interactive Entertainment Inc. Game controller with lights visible inside and outside the game controller
US10135286B2 (en) 2015-12-24 2018-11-20 Energous Corporation Near field transmitters for wireless power charging of an electronic device by leaking RF energy through an aperture offset from a patch antenna
US10320446B2 (en) 2015-12-24 2019-06-11 Energous Corporation Miniaturized highly-efficient designs for near-field power transfer system
US10027159B2 (en) 2015-12-24 2018-07-17 Energous Corporation Antenna for transmitting wireless power signals
US10079515B2 (en) 2016-12-12 2018-09-18 Energous Corporation Near-field RF charging pad with multi-band antenna element with adaptive loading to efficiently charge an electronic device at any position on the pad
US11863001B2 (en) 2015-12-24 2024-01-02 Energous Corporation Near-field antenna for wireless power transmission with antenna elements that follow meandering patterns
US10038332B1 (en) 2015-12-24 2018-07-31 Energous Corporation Systems and methods of wireless power charging through multiple receiving devices
US10256677B2 (en) 2016-12-12 2019-04-09 Energous Corporation Near-field RF charging pad with adaptive loading to efficiently charge an electronic device at any position on the pad
US10164478B2 (en) 2015-12-29 2018-12-25 Energous Corporation Modular antenna boards in wireless power transmission systems
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US9977494B2 (en) 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US11857869B2 (en) 2015-12-31 2024-01-02 Meta Platforms Technologies, Llc Handheld controller with hand detection sensors
CN105653035B (zh) * 2015-12-31 2019-01-11 上海摩软通讯技术有限公司 虚拟现实控制方法及系统
US20170209789A1 (en) * 2016-01-21 2017-07-27 Proxy42, Inc. Laser Game System
TWI729064B (zh) * 2016-01-28 2021-06-01 日商日本鼎意股份有限公司 包括內置有感應器的球的系統、行動終端的程式及經由行動終端監控球的動向之方法
DE102016102402A1 (de) * 2016-02-11 2017-08-17 Rwe Effizienz Gmbh Heimautomatisierungssystem
JP1574198S (ja) * 2016-06-09 2017-04-17
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
US10712835B2 (en) 2016-10-06 2020-07-14 Htc Corporation System and method for detecting hand gesture
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US11185763B2 (en) 2016-10-11 2021-11-30 Valve Corporation Holding and releasing virtual objects
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10691233B2 (en) 2016-10-11 2020-06-23 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10649583B1 (en) 2016-10-11 2020-05-12 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10898797B2 (en) 2016-10-11 2021-01-26 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US10391400B1 (en) 2016-10-11 2019-08-27 Valve Corporation Electronic controller with hand retainer and finger motion sensing
US10549183B2 (en) 2016-10-11 2020-02-04 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
US10923954B2 (en) 2016-11-03 2021-02-16 Energous Corporation Wireless power receiver with a synchronous rectifier
CA3041958A1 (en) 2016-11-25 2018-05-31 Sensoryx AG Wearable motion tracking system
KR102349607B1 (ko) 2016-12-12 2022-01-12 에너저스 코포레이션 전달되는 무선 전력을 최대화하기 위한 근접장 충전 패드의 안테나 존들을 선택적으로 활성화시키는 방법
CN108241142B (zh) * 2016-12-26 2021-05-11 宏达国际电子股份有限公司 追踪系统及追踪方法
US10359518B2 (en) * 2016-12-30 2019-07-23 DeepMap Inc. Vector data encoding of high definition map data for autonomous vehicles
US10579151B2 (en) 2017-01-04 2020-03-03 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
DE102018100122A1 (de) 2017-01-04 2018-07-05 Htc Corporation Steuereinheit zur Fingergestenerkennung und Verfahren zum Erkennen einer Fingergeste
US10389161B2 (en) 2017-03-15 2019-08-20 Energous Corporation Surface mount dielectric antennas for wireless power transmitters
US10680319B2 (en) 2017-01-06 2020-06-09 Energous Corporation Devices and methods for reducing mutual coupling effects in wireless power transmission systems
US10439442B2 (en) 2017-01-24 2019-10-08 Energous Corporation Microstrip antennas for wireless power transmitters
US10276179B2 (en) 2017-03-06 2019-04-30 Microsoft Technology Licensing, Llc Speech enhancement with low-order non-negative matrix factorization
US10528147B2 (en) 2017-03-06 2020-01-07 Microsoft Technology Licensing, Llc Ultrasonic based gesture recognition
WO2018183892A1 (en) 2017-03-30 2018-10-04 Energous Corporation Flat antennas having two or more resonant frequencies for use in wireless power transmission systems
USD872792S1 (en) * 2017-04-05 2020-01-14 Hand Held Products, Inc Imager device
US10984315B2 (en) 2017-04-28 2021-04-20 Microsoft Technology Licensing, Llc Learning-based noise reduction in data produced by a network of sensors, such as one incorporated into loose-fitting clothing worn by a person
US10719125B2 (en) * 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
EP3428884B1 (en) * 2017-05-12 2020-01-08 HTC Corporation Tracking system and tracking method thereof
US10511097B2 (en) 2017-05-12 2019-12-17 Energous Corporation Near-field antennas for accumulating energy at a near-field distance with minimal far-field gain
US11462949B2 (en) 2017-05-16 2022-10-04 Wireless electrical Grid LAN, WiGL Inc Wireless charging method and system
EP3943169A1 (en) 2017-06-12 2022-01-26 Performance Designed Products LLC Video game controller
EP3652619A4 (en) * 2017-06-16 2021-02-24 Valve Corporation ELECTRONIC CONTROL WITH FINGER MOVEMENT DETECTION
EP3475932A4 (en) * 2017-06-21 2019-05-29 SZ DJI Technology Co., Ltd. METHOD AND DEVICES RELATED TO TRANSFORMABLE REMOTE CONTROLS
US10848853B2 (en) 2017-06-23 2020-11-24 Energous Corporation Systems, methods, and devices for utilizing a wire of a sound-producing device as an antenna for receipt of wirelessly delivered power
US10449440B2 (en) 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
US10122219B1 (en) 2017-10-10 2018-11-06 Energous Corporation Systems, methods, and devices for using a battery as a antenna for receiving wirelessly delivered power from radio frequency power waves
TWI642903B (zh) * 2017-10-13 2018-12-01 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
GB2567634B (en) * 2017-10-17 2021-08-25 Sony Interactive Entertainment Inc Input apparatus and method
TWI636381B (zh) * 2017-10-19 2018-09-21 財團法人工業技術研究院 互動顯示系統及互動顯示控制方法
US11342798B2 (en) 2017-10-30 2022-05-24 Energous Corporation Systems and methods for managing coexistence of wireless-power signals and data signals operating in a same frequency band
WO2019113245A1 (en) * 2017-12-07 2019-06-13 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
GB2569544B (en) * 2017-12-19 2022-07-20 Displaylink Uk Ltd Transmission of a reverse video feed
US10615647B2 (en) 2018-02-02 2020-04-07 Energous Corporation Systems and methods for detecting wireless power receivers and other objects at a near-field charging pad
GB2571337B (en) * 2018-02-26 2021-03-10 Sony Interactive Entertainment Inc Controlling data processing
EP3531247B1 (en) * 2018-02-27 2023-03-29 HTC Corporation Traceable optical device
US11159057B2 (en) 2018-03-14 2021-10-26 Energous Corporation Loop antennas with selectively-activated feeds to control propagation patterns of wireless power signals
US11099158B2 (en) * 2018-05-11 2021-08-24 Gauss Design Inc Three dimensional detection device, surface detection method and production line apparatus using the same
US11515732B2 (en) 2018-06-25 2022-11-29 Energous Corporation Power wave transmission techniques to focus wirelessly delivered power at a receiving device
US20200004489A1 (en) * 2018-06-29 2020-01-02 Microsoft Technology Licensing, Llc Ultrasonic discovery protocol for display devices
US11813518B2 (en) 2018-10-19 2023-11-14 Sony Interactive Entertainment Inc. Information processing system, controller apparatus, information processing apparatus, and program
JPWO2020079854A1 (ja) * 2018-10-19 2021-09-02 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、その制御方法、及びプログラム
US10744406B2 (en) * 2018-10-19 2020-08-18 North Carolina State University Temporal axial alignment adapter for VR hand controllers
US11437735B2 (en) 2018-11-14 2022-09-06 Energous Corporation Systems for receiving electromagnetic energy using antennas that are minimally affected by the presence of the human body
US10866658B2 (en) * 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
CN113597723A (zh) 2019-01-28 2021-11-02 艾诺格思公司 用于无线电力传输的小型化天线的系统和方法
CN113661660B (zh) 2019-02-06 2023-01-24 艾诺格思公司 估计最佳相位的方法、无线电力发射设备及存储介质
US11287505B2 (en) * 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
WO2021055898A1 (en) 2019-09-20 2021-03-25 Energous Corporation Systems and methods for machine learning based foreign object detection for wireless power transmission
EP4032166A4 (en) 2019-09-20 2023-10-18 Energous Corporation SYSTEMS AND METHODS FOR PROTECTING WIRELESS POWER RECEIVERS USING MULTIPLE RECTIFIER AND ESTABLISHING IN-BAND COMMUNICATIONS USING MULTIPLE RECTIFIER
US11381118B2 (en) 2019-09-20 2022-07-05 Energous Corporation Systems and methods for machine learning based foreign object detection for wireless power transmission
EP4032169A4 (en) 2019-09-20 2023-12-06 Energous Corporation CLASSIFICATION AND DETECTION OF FOREIGN OBJECTS USING POWER AMPLIFIER CONTROLLER INTEGRATED CIRCUIT IN WIRELESS POWER TRANSMISSION SYSTEMS
US11273367B1 (en) * 2019-09-24 2022-03-15 Wayne Hughes Beckett Non-CRT pointing device
US11599257B2 (en) * 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
US11959997B2 (en) * 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
US20230005262A1 (en) * 2019-11-25 2023-01-05 Alon Melchner System and method for dynamic synchronization between real and virtual environments
EP4073905A4 (en) 2019-12-13 2024-01-03 Energous Corporation CHARGING PAD WITH GUIDING CONTOURS FOR ALIGNING AN ELECTRONIC DEVICE ON THE CHARGING PAD AND FOR EFFICIENTLY TRANSMITTING NEAR FIELD HIGH FREQUENCY ENERGY TO THE ELECTRONIC DEVICE
US10985617B1 (en) 2019-12-31 2021-04-20 Energous Corporation System for wirelessly transmitting energy at a near-field distance without using beam-forming control
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
US11799324B2 (en) 2020-04-13 2023-10-24 Energous Corporation Wireless-power transmitting device for creating a uniform near-field charging area
CN111939561B (zh) * 2020-08-31 2023-09-19 聚好看科技股份有限公司 显示设备及交互方法
US11554320B2 (en) * 2020-09-17 2023-01-17 Bogie Inc. System and method for an interactive controller
CN113318435A (zh) * 2021-04-27 2021-08-31 青岛小鸟看看科技有限公司 手柄控制追踪器的控制方法、装置及头戴式显示设备
CN113438548B (zh) * 2021-08-30 2021-10-29 深圳佳力拓科技有限公司 基于视频数据包与音频数据包的数字电视展示方法与装置
US11916398B2 (en) 2021-12-29 2024-02-27 Energous Corporation Small form-factor devices with integrated and modular harvesting receivers, and shelving-mounted wireless-power transmitters for use therewith
US20230409113A1 (en) * 2022-06-16 2023-12-21 Neil Nelson Extended reality interface
WO2024029695A1 (ko) * 2022-08-05 2024-02-08 삼성전자주식회사 모션 정보에 의한 제어 신호를 식별하는 전자 장치 및 그 제어 방법
KR102556447B1 (ko) 2023-02-16 2023-07-18 주식회사 슈퍼스타트 패턴 분석을 통한 상황 판단 시스템
KR102576232B1 (ko) * 2023-04-05 2023-09-08 퍼시픽 센츄리 주식회사 Rf와 초음파를 이용한 헤드 트래킹 가능한 블루투스 게임머용 헤드셋 및 그 헤드셋의 구동방법
KR102590257B1 (ko) 2023-05-03 2023-10-19 (주)한성컴퓨터 와이-파이 위치 추적 기술을 이용한 스마트 인터랙티브 화이트보드 장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078789A (en) * 1996-05-01 2000-06-20 Bodenmann; Olivier Wireless peripheral interface
JP2001190848A (ja) * 2000-01-12 2001-07-17 Konami Co Ltd ゲームシステム及びその周辺装置、ゲームシステムの制御方法及び記録媒体
US20070060336A1 (en) * 2003-09-15 2007-03-15 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2007050885A2 (en) * 2005-10-26 2007-05-03 Sony Computer Entertainment America Inc. System and method for interfacing with a computer program

Family Cites Families (354)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
NZ231883A (en) 1988-12-20 1993-04-28 Australian Meat & Live Stock Tag with machine-readable optical code
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
DE69016463T2 (de) 1990-05-01 1995-09-07 Wang Laboratories Handfreie hardwaretastatur.
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5317140A (en) 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
GB2301514B (en) 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6091905A (en) 1995-06-22 2000-07-18 3Dv Systems, Ltd Telecentric 3D camera and method
BR9609807A (pt) 1995-07-26 1999-12-21 Martin T King Sistema para anulação de ambiguidade com teclado reduzido
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
CN100352532C (zh) 1996-03-05 2007-12-05 世嘉企业股份有限公司 操作输入装置和电子装置
JP3257585B2 (ja) 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
DE69631342T2 (de) 1996-04-02 2004-11-11 Cognex Corp., Natick Bilderzeugende vorrichtung zur visualisation von zeichen auf einem ebenen spiegelnden substrat
US5889505A (en) 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
AU2228197A (en) 1997-03-07 1998-09-22 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
EP0928460B1 (en) 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
WO1999040478A1 (en) 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US6664946B1 (en) * 1999-02-22 2003-12-16 Microsoft Corporation Dual axis articulated computer input device and method of operation
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 3次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP4691754B2 (ja) 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
AU5646299A (en) 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
WO2001022737A1 (fr) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Systeme de saisie d'images, processeur d'images et camera associee
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
BR9904360A (pt) 1999-10-05 2001-07-03 Auto Viacao Abc Ltda Sistema de operação de um veìculo hìbrido; veìculo hìbrido operado pelo sistema e dispositivo de suprimento e acumulação de energia para o veìculo hìbrido
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
WO2001042930A1 (en) 1999-12-09 2001-06-14 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
TW522732B (en) 2000-02-15 2003-03-01 Sorceron Inc Method and system for distributing captured motion data over a network
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6565441B1 (en) 2000-04-07 2003-05-20 Arista Enterprises Inc. Dedicated wireless digital video disc (DVD) controller for video game consoles
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
AU2001264954A1 (en) 2000-05-25 2001-12-03 Realitybuy, Inc. A real time, three-dimensional, configurable, interactive product display systemand method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 3dビデオゲームにおける擬似カメラ視点移動制御方法及び3dビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
JP2005532575A (ja) 2000-09-08 2005-10-27 ハネウェル・インターナショナル・インコーポレーテッド パイロット向けインターネット実習システムおよび方法
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式3dビデオゲーム装置
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
WO2002043404A2 (en) 2000-11-22 2002-05-30 Leap Wireless International, Inc. Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US6641480B2 (en) 2001-01-29 2003-11-04 Microsoft Corporation Force feedback mechanism for gamepad device
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6595642B2 (en) 2001-08-31 2003-07-22 Adaptive Optics Associates, Inc. Ophthalmic instrument having Hartmann wavefront sensor with extended source
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
TW588258B (en) 2002-06-18 2004-05-21 Zeroplus Technology Co Ltd Device for pointer positioning using photography method
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US20040048663A1 (en) 2002-09-10 2004-03-11 Zeroplus Technology Co., Ltd. Photographic pointer positioning device
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2006504504A (ja) 2002-10-30 2006-02-09 ナイキ・インコーポレーテッド 対話型活動装置で使用する標的
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
EP1489596B1 (en) 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US20050009605A1 (en) 2003-07-11 2005-01-13 Rosenberg Steven T. Image-based control of video games
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
ATE427693T1 (de) 2003-10-28 2009-04-15 Welch Allyn Inc Digitales dokumentier-ophthalmoskop
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
TW200531724A (en) * 2004-03-17 2005-10-01 Zeroplus Technology Co Ltd Game controlling system with displacement detecting capability
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
EP1759529A4 (en) 2004-04-30 2009-11-11 Hillcrest Lab Inc SPACE SHOW AND METHOD
CA2505234A1 (en) 2004-04-30 2005-10-30 Esel International Co., Ltd. Wireless communication systems
PL1741088T3 (pl) 2004-04-30 2012-08-31 Hillcrest Lab Inc Urządzenia wskazujące w przestrzeni swobodnej, z kompensacją nachylenia i usprawnioną użytecznością
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
WO2006090197A1 (en) * 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
WO2006121681A1 (en) 2005-05-05 2006-11-16 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
CN100339805C (zh) * 2005-07-15 2007-09-26 中国海洋大学 一种计算机互动输入装置
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7414705B2 (en) * 2005-11-29 2008-08-19 Navisense Method and system for range measurement
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7731191B2 (en) * 2006-02-10 2010-06-08 Ippasa, Llc Configurable manual controller
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
TW200846060A (en) 2007-05-21 2008-12-01 Cheng Uei Prec Ind Co Ltd Positioning system for an interactive gaming device and method using same
US20080311990A1 (en) 2007-06-13 2008-12-18 Cheng Uei Precision Industry Co., Ltd. Position system for interactive gaming device and method using the same
JP4325707B2 (ja) 2007-07-04 2009-09-02 ソニー株式会社 入力装置、制御装置、制御システム及び制御方法
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078789A (en) * 1996-05-01 2000-06-20 Bodenmann; Olivier Wireless peripheral interface
JP2001190848A (ja) * 2000-01-12 2001-07-17 Konami Co Ltd ゲームシステム及びその周辺装置、ゲームシステムの制御方法及び記録媒体
US20070060336A1 (en) * 2003-09-15 2007-03-15 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2007050885A2 (en) * 2005-10-26 2007-05-03 Sony Computer Entertainment America Inc. System and method for interfacing with a computer program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507068A (ja) * 2008-10-27 2012-03-22 株式会社ソニー・コンピュータエンタテインメント 視覚情報を通信するためのコントロールデバイス
JP2016122454A (ja) * 2012-10-15 2016-07-07 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス
US9690392B2 (en) 2012-10-15 2017-06-27 Sony Corporation Operating device including a touch sensor
US10603576B2 (en) 2012-10-15 2020-03-31 Sony Interactive Entertainment Inc. Operating device including a touch sensor
US9789395B2 (en) 2012-10-15 2017-10-17 Sony Interactive Entertainment Inc. Operating device
US10507386B2 (en) 2012-10-15 2019-12-17 Sony Interactive Entertainment Inc. Operating device
JP2016508646A (ja) * 2013-02-22 2016-03-22 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー 受動的ワンドを追跡しそして検出されたワンド経路に基づき効果を作用させるシステム及び方法
JPWO2017150129A1 (ja) * 2016-03-04 2018-06-28 株式会社ソニー・インタラクティブエンタテインメント 制御装置
US10534432B2 (en) 2016-03-04 2020-01-14 Sony Interactive Entertainment Inc. Control apparatus
WO2017150129A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
WO2017204416A1 (ko) * 2016-05-24 2017-11-30 주식회사 에코로커스 가상 현실 구현을 위한 장치
JP2018088240A (ja) * 2016-11-24 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム
JP2021180019A (ja) * 2016-11-24 2021-11-18 株式会社齋藤創造研究所 入力装置および画像表示システム
JP7209310B2 (ja) 2016-11-24 2023-01-20 株式会社齋藤創造研究所 入力装置および画像表示システム
US11501552B2 (en) 2017-04-27 2022-11-15 Sony Interactive Entertainment Inc. Control apparatus, information processing system, control method, and program
US11130050B2 (en) 2017-10-16 2021-09-28 Sony Interactive Entertainment Inc. Information processing system, controller device, and information processing apparatus

Also Published As

Publication number Publication date
CN104162274B (zh) 2018-09-25
CN104162274A (zh) 2014-11-26
TW201006529A (en) 2010-02-16
KR20110025674A (ko) 2011-03-10
MX2010012972A (es) 2011-04-11
WO2009146234A1 (en) 2009-12-03
BRPI0909883A2 (pt) 2019-03-06
US20080261693A1 (en) 2008-10-23
EP2303422B1 (en) 2021-07-07
KR101308642B1 (ko) 2013-10-04
EP2303422A1 (en) 2011-04-06
US8784203B2 (en) 2014-07-22
CN102149436B (zh) 2014-08-06
BRPI0909883B1 (pt) 2020-07-07
US8323106B2 (en) 2012-12-04
EP2303422A4 (en) 2017-06-07
TWI388362B (zh) 2013-03-11
US20130002550A1 (en) 2013-01-03
CN102149436A (zh) 2011-08-10
JP5547720B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5547720B2 (ja) 画像解析および超音波通信を使用したコントローラの三次元位置の決定
JP5575228B2 (ja) ベースステーションの移動検出および補償
JP5325992B2 (ja) ボール付属コントローラの位置および移動の決定
US20170282069A1 (en) Combiner Method for Altering Game Gearing
JP4921550B2 (ja) ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
US8994659B2 (en) Methods for shape detection correlated with position detection and systems for processing the same
JP2014149836A (ja) インタラクティブにユーザ制御されたアバターアニメーション
JP5665752B2 (ja) コンフィグレーション可能モードを備えて球形端部を有するコントローラ
JP2021064332A (ja) 情報処理装置、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130304

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130311

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130418

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130509

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140515

R150 Certificate of patent or registration of utility model

Ref document number: 5547720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250