JP2009535175A - ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 - Google Patents

ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 Download PDF

Info

Publication number
JP2009535175A
JP2009535175A JP2009509960A JP2009509960A JP2009535175A JP 2009535175 A JP2009535175 A JP 2009535175A JP 2009509960 A JP2009509960 A JP 2009509960A JP 2009509960 A JP2009509960 A JP 2009509960A JP 2009535175 A JP2009535175 A JP 2009535175A
Authority
JP
Japan
Prior art keywords
controller
position information
command
geometric shape
leds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009509960A
Other languages
English (en)
Other versions
JP5301429B2 (ja
Inventor
ザレウスキー、ゲイリー、エム
マークス、リチャード
マオ、シャドン
Original Assignee
ソニー・コンピュータ・エンタテインメント・アメリカ・インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/381,728 external-priority patent/US7545926B2/en
Priority claimed from US11/381,727 external-priority patent/US7697700B2/en
Priority claimed from US11/429,133 external-priority patent/US7760248B2/en
Priority claimed from US11/381,725 external-priority patent/US7783061B2/en
Priority claimed from US11/381,721 external-priority patent/US8947347B2/en
Priority claimed from US11/381,729 external-priority patent/US7809145B2/en
Priority claimed from US11/418,988 external-priority patent/US8160269B2/en
Priority claimed from US11/381,724 external-priority patent/US8073157B2/en
Priority claimed from US11/429,047 external-priority patent/US8233642B2/en
Priority claimed from US11/429,414 external-priority patent/US7627139B2/en
Priority claimed from US11/418,989 external-priority patent/US8139793B2/en
Priority claimed from US11/382,034 external-priority patent/US20060256081A1/en
Priority claimed from US11/382,031 external-priority patent/US7918733B2/en
Priority claimed from US11/382,036 external-priority patent/US9474968B2/en
Priority claimed from US11/382,032 external-priority patent/US7850526B2/en
Priority claimed from US11/382,033 external-priority patent/US8686939B2/en
Priority claimed from US11/382,038 external-priority patent/US7352358B2/en
Priority claimed from US29/259,350 external-priority patent/USD621836S1/en
Priority claimed from US11/382,037 external-priority patent/US8313380B2/en
Priority claimed from US11/382,035 external-priority patent/US8797260B2/en
Priority claimed from US11/382,039 external-priority patent/US9393487B2/en
Priority claimed from US11/382,043 external-priority patent/US20060264260A1/en
Priority claimed from US11/382,040 external-priority patent/US7391409B2/en
Priority claimed from US11/382,041 external-priority patent/US7352359B2/en
Priority claimed from US29/246,744 external-priority patent/USD630211S1/en
Priority claimed from US11/382,256 external-priority patent/US7803050B2/en
Priority claimed from US11/382,250 external-priority patent/US7854655B2/en
Priority claimed from US29/246,767 external-priority patent/USD572254S1/en
Priority claimed from US11/430,594 external-priority patent/US20070260517A1/en
Priority claimed from US11/382,259 external-priority patent/US20070015559A1/en
Priority claimed from US29/246,768 external-priority patent/USD571806S1/en
Priority claimed from US11/382,252 external-priority patent/US10086282B2/en
Priority claimed from US11/430,593 external-priority patent/US20070261077A1/en
Priority claimed from US29/246,743 external-priority patent/USD571367S1/en
Priority claimed from US11/382,258 external-priority patent/US7782297B2/en
Priority claimed from US29/246,764 external-priority patent/USD629000S1/en
Priority claimed from US11/382,251 external-priority patent/US20060282873A1/en
Priority claimed from US11/382,699 external-priority patent/US20070265075A1/en
Application filed by ソニー・コンピュータ・エンタテインメント・アメリカ・インク filed Critical ソニー・コンピュータ・エンタテインメント・アメリカ・インク
Publication of JP2009535175A publication Critical patent/JP2009535175A/ja
Publication of JP5301429B2 publication Critical patent/JP5301429B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Abstract

【解決手段】情報を得る際に用いられる方法は、コントローラ（３０２）上で確立された幾何学的形状の射影をカメラの画像平面で受け取り、幾何学的形状（３０４）の射影における動きと変形を解析し、幾何学的形状の射影（３０６）における動きと変形の解析に基づき、コントローラの位置情報を決定することを含む。システムに入力を与える際に用いられる方法は、システム（３２２）のコントローラの位置情報を決定し、コントローラの決定された位置情報と、コマンド（３２４）に関連づけられた所定の位置情報とを比較し、決定された位置情報がコマンド（３２６）に対する所定の位置情報と一致する場合、コマンドをシステムに提供することを含む。ゲームに用いられる方法は、位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを判定することを含んでもよい。
【選択図】図３Ａ

Description

（関連出願の相互参照）
本出願は、2006年5月6日に出願の米国特許出願第11/382,034号、「SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF A GAME CONTROLLER BODY」、2006年5月6日に出願の米国特許出願第11/382,037号、「SCHEME FOR TRANSLATING MOVEMENTS OF A HAND-HELD CONTROLLER INTO INPUTS FOR A SYSTEM」、および2006年5月7日に出願の米国特許出願第11/382,039号、「METHOD FOR MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO GAME COMMANDS」の継続出願である。これらの開示の全体は、参照により本明細書に完全に援用される。また、それぞれは以下に挙げる出願の優先権を主張する。
米国特許出願第11/382,034号、第11/382,037号および第11/382,039号はそれぞれ、以下の一部継続出願（CIP）である。すなわち、米国特許出願第10/207,677号、２００２年7月27日出願の「MAN-MACHINE INTERFACE USING A DEFORMABLE DEVICE」、米国特許出願第10/650,409号、2003年8月27日出願の「AUDIO INPUT SYSTEM」、米国特許出願第10/663,236号、2003年9月15日出願の「METHOD AND APPARATUS FOR ADJUSTING A VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION」、米国特許出願第10/759,782号、2004年1月16日出願の「METHOD AND APPARATUS FOR LIGHT INPUT DEVICE」、米国特許出願第10/820,469号、2004年4月7日出願の「METHOD AND APPARATUS TO DETECT AND REMOVE AUDIO DISTURBANCES」、米国特許出願第11/301,673号、2005年12月12日出願の「METHOD FOR USING RELATIVE HEAD AND HAND POSITIONS TO ENABLE A POINTING INTERFACE VIA CAMERA TRACKING」、米国特許出願第11/381,729号、2006年5月4日出願、 Xiao Dong Maoの「ULTRA SMALL MICROPHONE ARRAY」（代理人整理番号SCEA05062US00）、米国特許出願第11/381,728号、2006年5月4日出願、Xiao Dong Maoの「ECHO AND NOISE CANCELLATION」（代理人整理番号SCEA05064U '00）、米国特許出願第11/381,725号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUS FOR TARGETED SOUND DETECTION」（代理人整理番号SCEA05072US00）、米国特許出願第11/381,727号、2006年5月4日出願、Xiao Dong Maoの「NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ON CONSOLE」（代理人整理番号SCEA05073US00）、米国特許出願第11/381,724号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUS FOR TARGETED SOUND DETECTION AND CHARACTERIZATION」（代理人整理番号SCEA05079US00）、米国特許出願第11/381,721号、2006年5月4日出願、Xiao Dong Maoの「SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING」（代理人整理番号SCEA04005JUMBOUS）。これらの全ては、その全体が参照により本明細書に援用される。
米国特許出願第11/382,034号、第11/382,037号および第11/382,039号は、それぞれ米国仮特許出願第60/718,145号、2005年9月15日出願の「AUDIO、VIDEO、SIMULATION、AND USER INTERFACE PARADIGMS」の利益を主張する。この仮特許出願は参照により本明細書に援用される。
（関連出願）
この出願は、同時係属中の米国特許出願第11/418,988号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR ADJUSTING A LISTENING AREA FOR CAPTURING SOUNDS」（代理人整理番号SCEA-00300）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/418,989号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE」（代理人整理番号SCEA-00400）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,047号、2006年5月4日出願、Xiao Dong Maoの「METHODS AND APPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THE SIGNAL」（代理人整理番号SCEA-00500）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,133号、2006年5月4日出願、Richard Marksらの「SELECTIVE SOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING」（代理人整理番号SCEA04005US01-SONYP045）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/429,414号、2006年5月4日出願、Richard Marksらの「Computer Image and Audio Processing of Intensity and Input Devices for Interfacing With A Computer Program」（代理人整理番号SONYP052）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,031号、2006年5月6日出願、「MULTI-INPUT GAME CONTROL MIXER」（代理人整理番号SCEAO6MXR1）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,032号、2006年5月6日出願、「SYSTEM FOR TRACKING USER MANIPULATIONS WITHIN AN ENVIRONMENT」（代理人整理番号SCEAMXR2）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,033号、2006年5月6日出願、「SYSTEM、METHOD、AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL」（代理人整理番号SCEAO6INRTl）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,035号、2006年5月6日出願、「INERTIALLY TRACKABLE HAND-HELD CONTROLLER」（代理人整理番号SCEA06INRT2）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/382,036号、2006年5月6日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO VISUAL TRACKING」（代理人整理番号SONYP058A）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,041号、2006年5月7日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO INERTIAL TRACKING」（代理人整理番号SONYP058B）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,038号、2006年5月6日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO ACOUSTICAL TRACKING」（代理人整理番号SONYP058C）にも関連し、その開示の全体が参照により本明細書に援用される。この出願は、同時係属中の米国特許出願第11/382,040号、2006年5月11日出願、「METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TO MULTI-CHANNEL MIXED INPUT」（代理人整理番号SONYP058D）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第11/382,043号、2006年5月7日出願、「DETECTABLE AND TRACKABLE HAND-HELD CONTROLLER」（代理人整理番号86325）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,349号、2006年5月6日出願、「CONTROLLER WITH INFRARED PORT」（代理人整理番号SCEA06007US00）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,350号、2006年5月6日出願、「CONTROLLER WITH TRACKING SENSORS」（代理人整理番号SCEA06008US00）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第60/798,031号、2006年5月6日出願、「DYNAMIC TARGET INTERFACE」（代理人整理番号SCEA06009US00）にも関連し、その開示の全体が参照により本明細書に援用される。
この出願は、同時係属中の米国特許出願第29/259,348号、2006年5月6日出願、「TRACKED CONTROLLER DEVICE」（代理人整理番号SCEA06010US00）にも関連し、その開示の全体が参照により本明細書に援用される。
本発明は、一般にコンピュータ・エンターテイメント・システムに関し、より詳細には、そのようなコンピュータ・エンターテイメント・システム用のコントローラのユーザ操作に関する。
コンピュータ・エンターテイメント・システムは、一般的に手持ち型コントローラ、ゲーム・コントローラまたは他のコントローラを含む。ユーザまたはプレーヤは、プレイ中のテレビゲームまたは他のシミュレーションを制御するために、コントローラを使用してエンターテイメント・システムに対してコマンドまたは他の指示を送る。例えば、コントローラはユーザにより操作されるマニピュレータ（例えばジョイスティック）を備えていてもよい。ジョイスティックの操作された可変量はアナログ値からデジタル値に変換され、ゲーム機のメインフレームに送られる。コントローラは、ユーザによって操作可能であるボタンを備えていてもよい。
これらの情報および他の背景情報に関して、本発明は考案された。
一実施形態は、情報を取得する際に用いられる方法を提供する。この方法は、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、前記幾何学的形状の射影における動きと変形を解析するステップと、前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、を含む。
別の実施形態は、情報を取得する際に用いられるシステムを提供する。このシステムは、幾何学的形状が自身の上で確立されるコントローラと、前記コントローラ上で確立された幾何学的形状の射影を画像平面上で受け取るように構成されたカメラと、前記幾何学的形状の射影における動きと変形を解析して、この解析に基づき前記コントローラの位置情報を決定するように構成された画像解析器と、を含む。
別の実施形態は、情報を取得する際に用いられるシステムを提供する。このシステムは、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面上で受け取る手段と、前記幾何学的形状の射影における動きと変形を解析する手段と、前記幾何学的形状の射影における動きと変形の解析に基づき、前記コントローラの位置情報を決定する手段と、を含む。
別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。このコンピュータプログラム製品は、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、前記幾何学的形状の射影における動きと変形を解析するステップと、前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、を実行する。
別の実施形態は、システムに入力を与える際に用いられる方法を提供する。この方法は、システムのコントローラの位置情報を決定するステップと、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、を含む。
別の実施形態は、システムに入力を与える際に用いられるシステムを提供する。このシステムは、システムのコントローラの位置情報を決定する手段と、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較する手段と、前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供する手段と、を備える。
別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。このコンピュータプログラム製品は、システムのコントローラの位置情報を決定するステップと、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、を実行する。
別の実施形態は、ゲームで使用される方法を提供する。この方法は、ユーザによって操作されているコントローラの位置情報を受け取るステップと、前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、を含む。
別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。このコンピュータプログラム製品は、ユーザによって操作されているコントローラの位置情報を受け取るステップと、前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、を実行する。
本発明の様々な実施形態の特徴および利点は、本発明の実施形態の原理が利用される具体例について述べる以下の詳細な説明および添付の図面を参照することによって、より良く理解されるであろう。
本発明の実施形態の上記態様および他の態様、特徴、利点は、以下の図面とともに提示される以下のより詳細な説明から、さらに明らかになるであろう。
テレビゲームのユーザまたはプレーヤは、一般的に、コントローラ上に配置されたボタン、ジョイスティック等を操作するために、一方の手または両手でゲームコントローラを保持する。ゲームをしている間、ユーザはボタン、ジョイスティック等を操作するとき同時に、コントローラそのものも空中で動かすことが多い。ゲーム中に興奮し、コントローラそのものを空中で動かすことによってゲームの動作または状況を制御しようと試みる傾向のあるユーザもいる。
本明細書に記載される方法、装置、方式およびシステムの様々な実施形態は、ユーザによるコントローラ本体そのものの動き、動作および／または操作の検出、捕獲および追跡を提供する。ユーザによるコントローラ本体全体の検出された動き、動作および／または操作は、プレイ中のゲームまたは他のシミュレーションの様々な状況を制御するための追加のコマンドとして使用することができる。
ゲームコントローラ本体のユーザによる操作の検出および追跡は、様々な方法で実施することができる。例えば、一部の実施形態では、コンピュータ・エンターテイメント・システムとともにカメラ周辺機器を使用して、手持ちコントローラ本体の動きを感知してその動きをゲーム内でのアクションに変換することができる。カメラを用いて、コントローラの多くの異なる種類の動きを検出することができる。例えば、上下の動き、ひねる動き、横方向の動き、急な動き、杖のような動き、落ち込む動きなどである。このような動きは、ゲーム内のアクションに変換される様々なコマンドに対応していてもよい。
ゲームコントローラ本体のユーザによる操作の検出および追跡を使用して、多くの異なる種類のゲームやシミュレーション等を実施することができる。これによってユーザは、例えば、剣またはライトセーバーで戦い、杖を用いてアイテムの形状をなぞり、多くの異なる種類のスポーツ競技に参加し、スクリーン上の戦いまたは他の遭遇等に関わることができる。
図１Ａを参照すると、本発明の一実施形態により作動するシステム１００が示されている。図示するように、コンピュータ・エンターテイメント・システムまたはコンソール１０２は、テレビゲームまたは他のシミュレーションの画像を表示するためにテレビまたは他のビデオディスプレイ１０４を用いる。ゲームまたは他のシミュレーションは、ＤＶＤ、ＣＤ、フラッシュメモリ、ＵＳＢメモリ、またはコンソール１０２に挿入される他のメモリ媒体１０６に保存されてもよい。ユーザまたはプレーヤ１０８は、ゲームコントローラ１１０を操作してテレビゲームまたは他のシミュレーションを制御する。
コントローラ１１０がカメラの視野１１４の中に収まるように、カメラまたは他のビデオ画像取得装置１１２が配置される。図示するように、カメラ１１２はビデオディスプレイ１０４の上に置かれてもよいが、カメラをどこに配置してもよいことは十分理解されなければならない。一例として、カメラ１１２は、市販のＥｙｅＴｏｙ（登録商標）製品のようなカメラ周辺装置であってもよい。しかし、いかなる種類またはブランドのカメラでも使用可能であることを十分理解しなければならない。例えば、ウェブカメラ、アドオンのＵＳＢカメラ、赤外線（ＩＲ）カメラ、高フレームキャプチャレートのカメラなどである。
作動中、ユーザ１０８はコントローラ１１０そのものを物理的に動かす。すなわち、ユーザ１０８は空中でコントローラ１１０の全体を物理的に動かす。例えば、コントローラ１１０をユーザ１０８により任意の方向、つまり上下、左右、ねじり、回転、揺さぶり、急な動き、落ち込みのように動かすことができる。コントローラ１１０自体のこれらの動きは、以下に記す方法で画像解析による追跡によってカメラ１１２により検知および取得することができる。
一般に、検知され取得されたコントローラ１１０の動きを使用して、コントローラ１１０の位置データと方向データを生成することができる。画像フレーム毎にこのデータが収集されるので、データを用いてコントローラ１１０の動きの多くの物理的状況を計算することができる。例えば、任意の軸に沿ったコントローラの加速度および速度、その傾き、ピッチ、ヨー、ロール、およびコントローラ１１０の任意の遠隔測定点などである。
コントローラ１１０の動きを検出し追跡する能力により、コントローラ１１０の予め定義された動きが実行されるか否かを判定することが可能になる。すなわち、コントローラ１１０の特定の動きパターンまたはジェスチャを、ゲームまたは他のシミュレーションのための入力コマンドとして予め定義し用いることができる。例えば、コントローラ１１０を落下させるジェスチャを一つのコマンドとして定義することができ、コントローラ１１０をひねるジェスチャを別のコマンドとして定義することができ、コントローラ１１０を揺さぶるジェスチャを別のコマンドとして定義することができるなどである。このように、ユーザ１０８がコントローラ１１０自体を物理的に動かす態様を、ゲームを制御するためのもう一つの入力として使用する。これにより、より刺激的で面白い体験をユーザに提供する。コントローラ１１０の動きをゲームの入力コマンドに割り当てる方法が以下で説明される。
図１Ｂを参照すると、本発明の実施形態にしたがって作成されるコントローラ１１０のより詳細な図が示されている。コントローラ１１０は本体１１１を含む。本体１１１は、人が手で保持する（または、ウェアラブル・ゲームコントローラである場合は着用する）ゲームコントローラ１１０の一部である。ユーザにより操作可能である入力装置は、例えば、コントローラ上のボタンまたは多軸操作スティックなどである。一つ以上のボタンが本体１１１に配置されていてもよい。本体は手で保持できるハウジングを含んでもよい。ハウジングは手で把持可能なグリップを含んでもよい。したがって、ユーザ１０８がコントローラ１１０そのものを物理的に動かすとき、動作の間、ユーザ１０８はコントローラ１１０の本体１１１を物理的に動かす。ユーザは空中ですなわち自由空間で本体１１１を動かす。
ゲームコントローラにより制御されるゲームの進行がスクリーン上に表示されるとき、本体１１１はスクリーンの方向を向いた前部を有していてもよい。少なくとも１台の入力装置が、ユーザからの入力を登録するためにユーザにより操作可能である入力装置とともに、本体１１１に組み付けられていてもよい。
一つまたは複数の発光ダイオード（ＬＥＤ）が、幾何学的形状で構成された本体の上に配置されていてもよい。または、別の種類の光検出可能な（ＰＤ）要素が本体１１１と組み付けられていてもよい。前部が少なくともスクリーンの方向を向いているときに、光検出可能な要素の位置が、画像取得装置によって記録中の画像の範囲内にあってもよい。空間内での本体１１１の動きを定量化することで、異なる時点におけるＰＤ要素の位置を定量化することができる。
この実施形態では、コントローラ１１０は４つの発光ダイオード（ＬＥＤ）１２２、１２４、１２６、１２８を含む。図示するように、４つのＬＥＤ１２２、１２４、１２６、１２８は実質的に正方形または長方形のパターンで配置されてもよく、ＲｌボタンとＬｌボタンの間のコントローラ１１０のブリッジ部に配置されてもよい。したがって、本実施形態では、幾何学的形状は実質的に正方形か長方形のパターンである。４つのＬＥＤ１２２、１２４、１２６、１２８で作られる正方形または長方形のパターンは、本明細書ではＬＥＤにより形成される「バウンディング・ボックス（bounding box）」と呼ぶ。
幾何学的形状が多くの異なる形状であってもよいことは、十分理解されなければならない。例えば、幾何学的形状は線形パターンでも二次元パターンであってもよい。ＬＥＤを線形配置するのが好ましいが、代替的に、ＬＥＤを長方形パターンまたは円弧パターンで配置して、画像取得カメラにより取得されるＬＥＤパターンの画像を解析するときの、ＬＥＤ配列の画像平面の決定を容易にすることができる。
コントローラの図示した実施形態は４つのＬＥＤを利用するが、他の実施形態が５つ以上または４つ未満のＬＥＤを利用してもよいことは十分理解されなければならない。例えば、３つのＬＥＤでも機能するし、二つのＬＥＤでも追跡情報を提供するように機能する。１つのＬＥＤであっても、位置情報を提供することができる。さらに、ＬＥＤはコントローラ１１０の異なる部分に置かれてもよい。
４つのＬＥＤ １２２、１２４、１２６、１２８は、カメラ１１２（図１Ａ）により認識される４つの点またはドットを生成する。手にコントローラ１１０を持つプレーヤ１０８をカメラ１１２が見ているので、カメラ１１２は、４つのＬＥＤ １２２、１２４、１２６、１２８により作られるドットとこれらが作るバウンディング・ボックスの動きを追跡することによって、コントローラ１１０の動きを追跡することができる。
すなわち、ユーザ１０８がコントローラ本体１１０をひねったり回転したりすると、４つのドットの射影がカメラ１１２の出力の画像平面上に投影される。コントローラのユーザによる操作を追跡し、コントローラの位置と方向を決定するために、画像解析を使用する。このように、４つのＬＥＤ１２２、１２４、１２６、１２８は、本体の動きに関する情報を生成する。１台または２台のコントローラの位置を決定することができ、または、２台のコントローラの相対動作を追跡することができる。
図２Ａは、バウンディング・ボックスを用いてコントローラの動きを追跡する方法の例を示す。具体的には、コントローラと４つのＬＥＤ１２２、１２４、１２６、１２８がカメラ１１２の視野１１４の範囲内に配置される。コントローラが初期位置にあるとき、４つのＬＥＤ１２２、１２４、１２６、１２８はバウンディング・ボックス２０２を形成する。コントローラが第２の位置へ移動すると、４つのＬＥＤ１２２、１２４、１２６、１２８は第２のバウンディング・ボックス２０４を形成する。加えて、コントローラが初期位置から第２の位置へと移動するとき、移動速度とカメラ１１２のフレームレートとに応じて、バウンディング・ボックスの中間位置も取得される。
４つのＬＥＤ１２２、１２４、１２６、１２８によって形成されるバウンディング・ボックス２０２、２０４が、カメラ１１２の画像平面で取得される。図２Ｂは、バウンディング・ボックス２０２および２０４を表しているカメラ１１２の画像平面２２０の一例を示す。バウンディング・ボックスの運動と、バウンディング・ボックスの長方形がコントローラの傾き、ヨー等に基づき異なる形状に変形する仕方を導出し決定するために、物理解析を実行する。バウンディング・ボックスを画像平面上に投影することによって、コントローラの位置、方向、加速度、速度等を決定することができる。そして、これらを用いてゲームコントローラのユーザ操作を追跡することができる。
図３Ａを参照すると、本発明の一実施形態にしたがってコントローラから情報を取得する際に用いられる方法３００が示されている。方法３００は多くの異なる種類のシステムおよび装置（例えば、エンターテイメント・システム、コンソール、コンピュータ、家電装置など）で実施および実行することができる。方法３００を実行するために使用可能なシステムの例が以下で説明される。
方法３００は、コントローラ上で確立される幾何学的形状の射影がカメラの画像平面で受け取られるステップ３０２から始まる。上述したようにしてこのステップを実行することができる。
ステップ３０４で、幾何学的形状の射影における動きと変形が解析される。すなわち、バウンディング・ボックスの４つのドットが追跡され解析される。カメラ出力の画像平面上でフィールドおよびフレーム解析が実行されて、４つの参照点の操作を解析し、コントローラの位置、方向、傾き、ヨー、ロール等を決定する。さらに、コントローラの加速度を任意の方向で追跡することができる。画像のフレームの解析により、任意の軸に沿った加速度を求めることができる。コントローラの遠隔測定点を計算することもできる。コントローラが静止位置または静止状態にあるか否か、例えばコントローラがユーザの腰の近くで中立状態または安定状態にあるかを決定することもできる。
コントローラが回転すると、画像が平面上で変換する。バウンディング・ボックスの長方形の幅の変化は、コントローラが回転していることを示す。コントローラのヨーが調節されて、長方形の幅が変化する。ヨーは長方形の幅にマップされる。コントローラの傾きは、長方形の高さに影響を与える。
例えば、バウンディング・ボックス２０２（図２Ｂ）は、コントローラがカメラをまっすぐ前方に見るように最初に置かれたことを示す。バウンディング・ボックス２０４は、コントローラがその後下方に動かされ、回転し、ユーザの左方に向いたことを示す。
画像平面は変形した長方形を見るだけであるので、コントローラが「基平面」のいずれの側に置かれているのかを知ることが困難である。例えば、ユーザがコントローラを操作して軸水平線の向こう側に等距離だけコントローラを動かす時間の間に、誰かがカメラの前を歩いてカメラを遮るような場合に、この問題が生じ得る。これは、バウンディング・ボックスが画像平面で同じものを見る原因にもなり得る。コントローラが画像取得装置の視野領域の外側に移動する場合にも、これは起こりえる。
このように、変形が正または負の傾きまたはロール（安定した状態の元の位置から離れた上下および左右の動きに関しての正負）により引き起こされているか否かに関する判定が必要である。この判定は、コントローラからの他の遠隔測定を読むか、またはＬＥＤをストロボ発光あるいは変調させて、ビデオ解析システムが追跡目的のためにバウンディング・ボックスの長方形の個々の角を識別可能とすることによって、解決することができる。バウンディング・ボックスの異なる角の認識の助けとなるように、ＬＥＤをストロボ発光するかまたは変調させることができる。あるいは、バウンディング・ボックスの異なる角の認識の助けとなるように、各ＬＥＤに特有の周波数を持たせてもよい。境界領域の特定の角、すなわち各ＬＥＤを識別することによって、任意の時点においてコントローラが水平線のいずれの側にあるかを判定することができる。このようにして、カメラ平面を通り抜けるコントローラに関連した問題を取り扱うことができる。
スクリーン上でのバウンディング・ボックスの動きと回転の追跡は、フレーム単位の解析に基づく。カメラの出力は画像データのフレームを作成する。バウンディング・ボックスの射影がソフトウェアで取得される。フレームを横切るコントローラの動きは、箱の変換に基づいている。
高フレームレートを用いることで、コントローラの動きの加速度と加速度の変化を正確に追跡することができる。すなわち、高いレートで平面上に画像を投影することで、コントローラのデルタ運動を追跡することができる。これにより、加速度、加速度が最大になる点、重力がゼロになる点、および変曲点をプロットすることが可能になる。変曲点は、コントローラが停止して方向を変える変換点である。この解析の全ては、画像フレームを解析してバウンディング・ボックスの位置と方向を決定することによって実行される。一例として、毎秒１２０フレーム以上のフレームレートを使用してもよい。しかし、任意のフレームレートを使用できることを十分理解すべきである。
以下に述べるように、前のフレームの履歴をマッピングしてもよい。これにより、例えば、追跡の加速度および速度、停止点などの特定パラメータを決定するためにコントローラの前の遠隔測定を見ることができる。
ステップ３０６（図３Ａ）で、幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報が決定される。一例として、画像解析器を用いてステップ３０４および３０６の一方または両方を実行することができる。すなわち、画像解析器を用いて、カメラの画像平面におけるバウンディング・ボックスの動きと変形の解析を実行することができる。ビデオカメラの出力は、画像解析器の入力に接続される。本明細書に記載される一つまたは複数の方法、方式および機能を実施するために画像解析器を組み込むシステムの一例を以下に述べる。
画像解析器は、カメラの画像平面で取得される参照ＬＥＤで形成されるバウンディング・ボックスを監視する。画像解析器は、バウンディング・ボックスの位置、回転、水平方向および垂直方向の変形を解析し、コントローラの物理的なユーザ操作、その位置、ロール、傾き、およびヨー座標を決定する。画像解析の終了後、出力ＩＤその他の形でデータを出力してもよい。画像解析から得られたこのような出力ＩＤは、任意の軸に沿ったｘ、ｙ、ｚ座標、加速度および速度、コントローラが静止位置または静止状態にあるか等のデータを含んでもよい。こうして、画像解析の終了後、画像解析器はコントローラの場所およびコマンドが発行されるか否かを示すことができる。そして、画像解析器は任意の瞬間でｐｉｎｇを実行することができ、位置、方向、最後のコマンド等を提供することができる。
一例として、画像解析器は以下の出力を提供することができるが、これらに限られない：
コントローラの位置（Ｘ、Ｙ、Ｚ座標）
コントローラの方向 アルファ、ベータ、ガンマ（ラジアン）
コントローラのＸ軸速度
コントローラのＹ軸速度
コントローラのＺ軸速度
コントローラのＸ軸加速度
コントローラのＹ軸加速度
コントローラのＺ軸加速度
安定状態の静止位置 Ｙ／Ｎ（上述の腰の位置。しかし、任意の位置として定義することができる）
最後の安定状態からの時間
認識された最後のジェスチャ
最後に認識されたジェスチャの時刻
到達したゼロ加速度点の割り込み
これらの出力はそれぞれ、上述したようにバウンディング・ボックスの動きと変形を解析することによって生成することができる。コントローラの動きを追跡するために、これらの出力をさらに処理してもよい。このような追跡によりコントローラの特定の動きを認識することが可能となり、これを用いて以下に述べるように特定のコマンドを起動させることができる。上記の出力に加えて、または上記の出力の代わりに他の多くの出力を使用できることは十分理解されなければならない。
画像解析器へのさらなる入力を任意に提供することができる。このような任意の入力には以下が含まれるが、これらに限られない：
設定ノイズレベル（Ｘ、ＹまたはＺ軸）（これは、ゲームでの腕のいらいら（jitter）を解析するときの参照許容値である）
設定サンプリングレート（カメラのフレームが取得され解析される頻度）
設定ギア比率（gearing）
設定マッピングチェーン
上述のように、コントローラ１１０の動きを検出し追跡する能力により、コントローラ１１０の任意の予め定義された動きが実行されるか否かについて決定することが可能になる。すなわち、コントローラ１１０の特定の動きパターンまたはジェスチャをマッピングして、ゲームまたは他のシミュレーションのためにコマンドを入力することができる。
図３Ｂを参照すると、本発明の一実施形態にしたがってシステムに入力を与える際に用いられる方法３２０が示されている。方法３２０は、システムのコントローラの位置情報が決定されるステップ３２２から始まる。このステップは、上述の方法および技術を使用して実行することができる。
ステップ３２４で、コントローラの決定された位置情報が、コマンドと関連する予め定められた位置情報と比較される。すなわち、任意の数のコントローラの異なる動き、ジェスチャまたは操作を様々なコマンドに割り振ることができる。これにより、コントローラの異なる動き、ジェスチャまたは操作をゲームモデルにマッピングすることができる。例えば、コントローラを上に動かすことを１つのコマンドに割り振り、コントローラを下に動かすことを別のコマンドに割り振り、他の任意の方向にコントローラを動かすことを他のコマンドに割り振ることができる。
同様に、コントローラを一回揺することを一つのコマンドに割り振り、コントローラを二回揺することを別のコマンドに割り振り、以下同様にコントローラを三回、四回、五回等揺することを他のコマンドに割り振ることができる。すなわち、コントローラを特定の回数だけ揺することに基づき、様々なジェスチャを定めることができる。コントローラを特定の回数だけ強く上下に揺することに基づき、さらに他のジェスチャを定めることができる。ひねり、回転等のコントローラの他の動きをさらに他のコマンドに割り振ることができる。
このように、ゲームコントローラの様々な異なる軌跡をジェスチャに割り振ることができ、これがゲームのコマンドを起動させる。各コマンドは、コントローラの予め定められた動きに割り振られる。このようなコントローラの予め定められた動きは、予め定められた位置情報に関連づけられる。この実施形態では、コントローラの決定された位置情報を予め定められた位置情報と比較して、コマンドを起動させるか否かが確認される。
一例として、このようなジェスチャのゲームコマンドへのマッピングを以下のようにして実施することができる。コントローラの位置および方向情報を決定するために、画像解析器の出力を使用することができる。画像解析器は、コントローラの位置と方向を表す様々な異なるＩＤを出力することができる。例えば、１つのＩＤが定常状態の判定のための出力であり、別のＩＤがコントローラの振動を示すための出力であり、様々な他のＩＤが他の方向を示すための出力であってもよい。したがって、このようなＩＤを用いて、コントローラが定常状態にあるか移動中であるかを出力することができる。コントローラが定常状態にある場合、ＩＤはコントローラが定常状態にある時間を示してもよい。
コントローラの決定された位置および方向情報は、ゲームの入力コマンドと関連する予め定められた位置情報と比較されてもよい。決定された位置情報が所定の位置情報と一致する場合、コマンドがエンターテイメント・システムに提供される。また、コントローラの上下動、円を描くひねり、左右の動き、上下動中のひねり、右または左への回転と言った様々なジェスチャを、全て様々なコマンドに割り振ることができる。
新しいコマンドまたはジェスチャが認識されると、画像解析器は割り込みを起動してもよい。このような割り込みの起動を、エンターテイメント・システムにコマンドを提供するプロセスの一部として用いてもよい。軸内でのゼロ加速点、停止点および／または他のイベントもまた割り込みを起動するように、システムを任意に構成してもよい。
決定された位置および方向情報を入力コマンドに関連する予め定められた位置情報と比較して一致するか否かを見るとき、完全な一致が存在しない場合もしばしば発生する。これは、コントローラが自由空間で動くため、予め定義された動きを正確に再現することが困難な場合があるためである。したがって、コマンドを起動させるために予め定められた位置情報に十分近いとみなされる範囲、許容値および／または閾値に関して、入力コマンドに関連する予め定められた位置情報を定義しておいてもよい。すなわち、閾値または範囲に関してコマンドを定義してもよい。このように、任意のコマンドまたはジェスチャが認識されたか否かを判定するときに、システムは、決定された位置および方向情報がジェスチャの範囲内に含まれるか否かを確認してもよい。したがって、定義されたコマンドは、コマンドを呼び出すか否かを判定するときに見られる閾値を有していてもよい。
さらに、決定された位置および方向情報を入力コマンドに関連する予め定められた位置情報と比較して一致するか否かを見るとき、前のフレームの履歴を保存したりマッピングしたりしてもよい。例えば、フレームバッファを監視してもよいし、またはシステムが前のフレームの履歴を記録し続けるようにしてもよい。前のフレームを見て、任意のコマンドが満足するか否かを判定してもよい。フレーム履歴のマッピングにより、特定の時刻におけるコントローラの遠隔測定をして、コマンドが満足するかどうかを判定する際の位置と方向を提供することが可能になる。
最後に、ステップ３２６で、コントローラの決定された位置情報がコマンドの予め定められた位置情報と一致する場合、コマンドがシステムに提供される。このようなコマンドを用いて、テレビゲームまたは他のシミュレーション内でイベントを発生させたりまたは発生させないようにすることができる。
他の実施形態では、ゲームコントローラの動きを、例えばテレビゲームにおけるゲームコマンドに割り振ることができる。テレビゲームまたは他のシミュレーションで使用可能なこの用法を用いると、ユーザにより操作中のコントローラの位置情報が受け取られる。この位置情報が解析され、コマンドに関連したコントローラの予め定められた動きが実行されたか否かが決定される。この解析は、上述したように実行することができる。コマンドに関連するコントローラの予め定められた動きが実行された場合、ゲームによってコマンドが実行される。コマンドの実行により、ゲームが表示されているビデオディスプレイ上で視覚効果またはその他を発生させることができる。
本明細書の議論は、ゲームまたは他のエンターテイメント・システムのコントローラでのＬＥＤの使用に関しているが、本明細書で提供される教示は、他の種類のシステム、装置、家電等のコントローラの動きの検出および追跡に適用できることを十分理解しなければならない。すなわち、上述のゲームコントローラのＬＥＤを使用して、家電装置または任意の装置の遠隔操作機能を実行することができる。コントローラを検出、追跡しその動きをシステムおよび装置のコマンドにマッピングできるように、多くの他の種類のシステムおよび装置のコントローラ上のＬＥＤを用いることができる。この種の他の種類のシステムおよび装置の例には、テレビ、ステレオ、電話、コンピュータ、ホームネットワーク、オフィスネットワーク、携帯型コンピュータ装置または通信装置等が含まれるが、これらに限定されない。
さらに、本明細書に記載された教示を、いくつかのまたは多数の異なる装置を制御する能力を有する汎用のリモコンに適用することができる。すなわち、そのような汎用のリモコンは本明細書で述べたＬＥＤを含んでもよく、いくつかのまたは多くの異なる装置またはシステムへの入力コマンドとして汎用リモコン本体の動きを用いることができる。
さらに、ゲームコントローラは汎用の遠隔機能を有していてもよい。例えば、ゲームコントローラにより制御されるゲームの進行がスクリーン上に表示されるとき、スクリーンの方向を向いた前部を有する本体を備えていてもよい。ユーザからの入力を登録するために、ユーザによって操作可能である入力装置を持つ本体に少なくとも１台の入力装置を組み付けてもよい。信号エンコーダが含まれてもよい。信号エンコーダにより発生する信号を用いて大気を介して赤外線信号を送信するよう作動可能な赤外線信号送信機が含まれてもよい。信号エンコーダは、赤外線レシーバと選択された一つの信号コードで作動可能な信号デコーダとを有する電子装置による受信のために、複数の信号コードのうち選択された一つを用いて信号を符号化するようプログラム可能であってもよい。
さらに、電池式おもちゃ（ブランドゲームの形とスタイルに形成されたおもちゃを含む）をＬＥＤを用いて形成し、検出された環境で追跡されるユーザ操作される本体を形成してもよい。
一部の実施形態では、画像解析器はユーザを認識するかまたは音声認証されたジェスチャを処理するなどすることができる。ジェスチャを通じてシステムの解析器によりユーザを識別可能であり、ジェスチャはユーザに特有であってもよい。ジェスチャはユーザによって記録されてもよいし、モデルに保存されてもよい。記録プロセスは、ジェスチャの記録中に生じた音声を選択的に保存してもよい。感知された環境をサンプルとして多重チャネル解析器に入力して処理してもよい。プロセッサは、ジェスチャモデルを参照し、音声または音響パターンに基づき、高精度かつ高性能にユーザの身元またはオブジェクトを決定し認証してもよい。
本発明の実施形態によると、本明細書に記載の方法および技術は、図４に示した信号処理装置４００の一部として実装することができる。装置４００は、プロセッサ４０１とメモリ４０２（例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭなど）を含んでもよい。さらに、並列処理を実装する場合には、信号処理装置４００が複数のプロセッサ４０１を備えていてもよい。メモリ４０２は、上述のように構成されたデータとコードを含んでもよい。
具体的には、メモリ４０２は信号データ４０６を含んでもよい。メモリ４０２は較正データ４０８を含んでもよい。較正データ４０８は、例えば、マイク配列４２２の較正から得られる一つ以上の対応する事前に調整されたリスニングゾーンの一つ以上の逆固有マトリックスＣ−１を表すデータである。一例として、メモリ４０２はマイク配列４２２を含む１８個の２０度のセクタのための固有マトリックスを含んでもよい。
装置４００は周知のサポート機能４１０、例えば入出力（Ｉ／Ｏ）要素４１１、電源（Ｐ／Ｓ）４１２、クロック（ＣＬＫ）４１３およびキャッシュ４１４等を備えてもよい。装置４００は、プログラムおよび／またはデータを記憶するディスクドライブ、ＣＤ−ＲＯＭドライブ、テープ装置等の大容量記憶装置４１５を任意に備えてもよい。コントローラは、コントローラ４００とユーザとの対話を促進するためのディスプレイ装置４１６とユーザインタフェースユニット４１８を任意に備えてもよい。ディスプレイ装置４１６は、テキスト、数字、グラフィック・シンボルまたは画像を表示する陰極線管（ＣＲＴ）またはフラットパネル・スクリーンの形であってもよい。ユーザ・インタフェース４１８は、キーボード、マウス、ジョイスティック、ライトペンまたは他の装置であってもよい。さらに、ユーザ・インタフェース４１８は分析される信号を直接取得するためのマイク、ビデオ・カメラまたは他の信号変換装置であってもよい。プロセッサ４０１、メモリ４０２およびシステム４００の他の構成要素は、図４で示すようにシステムバス４２０を介して互いに信号（例えば、コード命令とデータ）を交換してもよい。
マイク配列４２２は、Ｉ／Ｏ機能４１１を介して装置４００に接続されてもよい。マイク配列は、隣のマイクと約４ｃｍ未満、好ましくは約１〜２ｃｍ離して配置された約２〜８個のマイク、好ましくは４個のマイクであってもよい。好ましくは、配列４２２のマイクは全方向性マイクである。オプションの画像取得装置４２３（例えば、デジタルカメラ）は、Ｉ／Ｏ機能４１１を介して装置４００に結合される。カメラに機械的に結合される一つ以上のポインティングアクチュエータ４２５は、Ｉ／Ｏ機能４１１を介してプロセッサ４０１と信号を交換することができる。
本明細書においては、Ｉ／Ｏという用語は、一般にシステム４００と周辺装置との間でデータをやりとりする任意のプログラム、操作または装置のことを指す。あらゆるデータ転送は、一つの装置からの出力および別の装置への入力とみなすことができる。周辺装置には、キーボードやマウスなどの入力専用装置、プリンタなどの出力専用の装置の他、入出力装置として機能する書き込み可能なＣＤ−ＲＯＭ等の装置も含まれる。「周辺装置」という用語には、マウス、キーボード、プリンタ、モニター、マイク、ゲームコントローラ、カメラ、外部Ｚｉｐドライブまたはスキャナ等の外部装置の他、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブまたは内蔵モデムなどの内部装置、またはフラッシュメモリ・リーダ／ライタ、ハードディスクなどの他の周辺機器も含まれる。
本発明の特定の実施形態では、装置４００はテレビゲームユニットであってもよく、ワイヤ（例えば、ＵＳＢケーブル）または無線によってＩ／Ｏ機能４１１を介してプロセッサに接続されたジョイスティック・コントローラ４３０を備えてもよい。ジョイスティック・コントローラ４３０は、テレビゲームのプレイ中に一般に用いられる制御信号を提供するアナログジョイスティックコントロール４３１と従来のボタン４３３とを備えていてもよい。そのようなテレビゲームは、メモリ４０２に記憶可能なプロセッサ可読のデータおよび／または命令として実装されてもよいし、あるいは、大容量記憶装置４１５と関連するような他のプロセッサ可読媒体として実装されてもよい。
ジョイスティックコントロール４３１は、コントロールスティックを左右に動かすとＸ軸に沿った運動の信号を送り、スティックを前後（上下）に動かすとＹ軸に沿った運動の信号を送るように通常構成されている。三次元動作用に構成された構成されるジョイスティックでは、スティックを左方向（反時計回り）または右方向（時計回り）にひねるとＺ軸に沿った運動の信号を送る。これら３軸Ｘ、Ｙ、Ｚは、特に航空機に関してそれぞれロール、ピッチ、ヨーと呼ばれることが多い。
従来の特徴に加えて、ジョイスティック・コントローラ４３０は一つ以上の慣性センサ４３２を備えていてもよい。慣性センサは、慣性信号を介してプロセッサ４０１に位置情報および／または方向情報を提供することができる。方向情報は、ジョイスティック・コントローラ４３０の傾き、ロールまたはヨーなどの角度情報を含んでもよい。一例として、慣性センサ４３２は、任意の数の加速度計、ジャイロスコープ、傾きセンサであってもよいし、および／またはこれらの組み合わせであってもよい。好ましい実施形態では、慣性センサ４３２は、傾き軸とロール軸に関してジョイスティック・コントローラの方向を感知するようにされた傾きセンサと、ヨー軸に沿って加速度を感知する第１加速度計と、ヨー軸に対する角加速度を感知する第２加速度計とを備えていてもよい。加速度計は、一つ以上の方向に対する質量の変位を感知するセンサを持ち一つ以上のバネにより取り付けられた質量を備えるＭＥＭＳ装置であってもよい。質量の変位に応じたセンサからの信号を用いて、ジョイスティック・コントローラ４３０の加速度を決定することができる。このような技術は、メモリ４０２に保存されプロセッサ４０１で実行可能なプログラムコード命令４０４により実装される。
一例として、慣性センサ４３２として適した加速度計は、例えばバネによって３点または４点でフレームに弾性結合された単一の質量であってもよい。ピッチ軸とロール軸はフレームを横切る平面内にあり、フレームはジョイスティック・コントローラ４３０に取り付けられる。フレーム（およびジョイスティック・コントローラ４３０）がピッチ軸とロール軸のまわりを回転すると、重力の影響により質量が変位し、ピッチおよび／またはロールの角度に応じてバネが伸縮する。質量の変位が感知され、ピッチおよび／またはロールの量に応じて信号に変換される。ヨー軸周りの角加速度またはヨー軸に沿った直線加速度は、感知可能であり角加速度または線形加速度の量に応じて信号に変換されるバネ伸縮または質量の動きの特徴的なパターンを生成する。そのような加速度計装置は、質量の動きあるいはバネの伸縮力を追跡することで、傾き、ロール、ヨー軸周りの角加速度およびヨー軸周りの線形加速度を測定することができる。質量の位置および／または質量にかかる力を追跡する多くの異なる方法があり、これには、抵抗歪みゲージ材料、フォトニック・センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなどが含まれる。
さらに、ジョイスティック・コントローラ４３０は、発光ダイオード（ＬＥＤ）等の一つ以上の光源４３４を含んでもよい。光源４３４は、あるコントローラと別のコントローラとを区別するのに用いられてもよい。例えば、ＬＥＤパターンコードを点滅するか保持するかによって一つ以上のＬＥＤでこれを達成することができる。一例として、５個のＬＥＤを線形パターンまたは二次元パターンでジョイスティック・コントローラ４３０上に設けることができる。ＬＥＤを線形配列するのが好ましいが、代わりに、画像取得装置４２３により取得されるＬＥＤパターンの画像を解析するときにＬＥＤ配列の画像平面の決定を容易にすべく、ＬＥＤを長方形パターンまたは円弧状パターンで配置してもよい。さらに、ＬＥＤパターンコードを使用して、ゲーム中にジョイスティック・コントローラ４３０の位置を決定してもよい。例えば、ＬＥＤはコントローラの傾き、ヨー、ロールの区別を助けることができる。この検出パターンは、航空機飛翔ゲーム等のゲームにおけるユーザの感覚を改善するのに役立つ。画像取得装置４２３は、ジョイスティック・コントローラ４３０と光源４３４とを含む画像を捕捉することができる。そのような画像を解析して、ジョイスティック・コントローラの位置および／または方向を決定することができる。この種の解析は、メモリ４０２に保存されプロセッサ４０１で実行されるプログラムコード命令４０４により実装可能である。画像取得装置４２３による光源４３４の画像の捕捉を容易にするために、光源４３４はジョイスティック・コントローラ４３０の二つ以上の異なる側面に、例えば正面と背面（点線で示す）に配置されていてもよい。このように配置することで、画像取得装置４２３は、ユーザによるジョイスティックコントローラ４３０の持ち方に応じてジョイスティックコントローラ４３０の異なる方向について光源４３４の画像を取得することが可能になる。
加えて、光源４３４は、例えばパルスコード、振幅変調または周波数変調の形態で遠隔測定信号をプロセッサ４０１に提供することができる。このような遠隔測定信号は、どのジョイスティックボタンが押されているか、および／またはそのボタンがどの程度強く押されているかを表すことができる。遠隔測定信号は、パルスコーディング、パルス幅変調、周波数変調または光強度（振幅）変調によって光学信号に符号化することができる。プロセッサ４０１は光学信号から遠隔測定信号を復号し、復号された遠隔測定信号に応じてゲームコマンドを実行する。遠隔測定信号は、画像取得装置４２３により取得されたジョイスティック・コントローラ４３０の画像解析から復号されてもよい。あるいは、装置４０１は、光源４３４からの遠隔測定信号を受信するための専用の別個の光学センサを備えていてもよい。コンピュータプログラムと対話する際の強度決定に伴うＬＥＤの使用については、例えばRichard L. Marksらの共有された米国特許出願第11/429,414号、「USE OF COMPUTER IMAGE AND AUDIO PROCESSING IN DETERMINING AN INTENSITY AMOUNT WHEN INTERFACING WITH A COMPUTER PROGRAM」（代理人整理番号SONYP052）に記載されており、その全体が参照により本明細書に援用される。加えて、光源４３４を含む画像の解析を、遠隔測定とジョイスティック・コントローラ４３０の位置および／または方向の決定の両方に用いることができる。このような技術は、メモリ４０２に保存されプロセッサ４０１で実行可能なプログラムコード命令４０４によって実装することができる。プロセッサ４０１は、画像取得装置４２３により検出された光源４３４からの光学信号、および／またはマイク配列４２２により検出された音響信号から得られた音源位置と特徴の情報とともに、慣性センサ４３２からの慣性信号を使用して、ジョイスティックコントローラ４３０および／またはそのユーザの位置および／または方向を推測することができる。例えば、「音響レーダ」の音源位置および特徴をマイク配列４２２とともに使用して、ジョイスティックコントローラの動きが（慣性センサ４３２または光源４３４により）独立して追跡されている間に移動する音声を追跡することができる。制御信号をプロセッサ４０１に提供する任意の数、異なる組み合わせの異なるモードを、本発明の実施形態とともに使用することができる。そのような技術は、メモリ４０２に保存されプロセッサ４０１で実行可能なプログラムコード命令４０４によって実装することができる。
慣性センサ４３２からの信号が追跡情報入力の一部を与え、一つ以上の光源４３４の追跡により画像取得装置４２３から生成される信号が、追跡情報入力の別の部分を与えてもよい。一例として、クウォーターバックが頭を左方向にフェイクで動かした後にボールを右方向に投じるフットボールのテレビゲームでそのような「混在モード」信号を用いることができるが、これに限定されない。具体的には、コントローラ４３０を保持するゲームプレーヤが頭を左に回転させて音を出す一方、コントローラをフットボールであるかのように右方向に振るピッチ動作をすることができる。「音響レーダ」プログラム・コードと連携したマイク配列４２２は、ユーザの声を追うことができる。画像取得装置４２３は、ユーザの頭の動きを追跡するか、または音声やコントローラの使用を必要としない他のコマンドを追跡することができる。センサ４３２は、ジョイスティック・コントローラ（フットボールを表す）の動きを追跡することができる。画像取得装置４２３は、コントローラ４３０上の光源４３４を追跡してもよい。ユーザは、ジョイスティックコントローラ４３０の加速度の量および／または方向が特定値に達することで、またはジョイスティックコントローラ４３０のボタンを押すことで起動されるキーコマンドにより、「ボール」を離すことができる。
本発明の特定の実施形態では、例えば加速度計またはジャイロスコープからの慣性信号を使用して、ジョイスティック・コントローラ４３０の位置を決定することができる。具体的には、加速度計からの加速信号を一旦時間積分して速度変化を求め、速度を時間積分して位置変化を求めることができる。ある時間での初期位置と速度の値が分かっている場合、これらの値と速度変化および位置変化を用いて絶対位置を求めることができる。慣性センサを用いると、画像取得装置４２３と光源４３４をと用いるよりも早く位置決定することができるが、慣性センサ４３２は「ドリフト」として知られるタイプの誤差の影響を受けることがある。つまり、時間につれて誤差が蓄積して、慣性信号から計算されるジョイスティック４３０の位置（点線で示す）と、ジョイスティックコントローラ４３０の実際の位置との間に不一致Ｄが生じることがある。本発明の実施形態により、そのような誤差に対処するいくつかの方法が可能になる。
例えば、ジョイスティックコントローラ４３０の初期位置を、現在の計算された位置と等しくなるように再設定することで、ドリフトをマニュアルでキャンセルすることができる。ユーザは初期位置を再設定するコマンドを起動するためにジョイスティックコントローラ４３０の一つ以上のボタンを用いることができる。代わりに、画像取得装置４２３から得られる画像から求められる位置を参照として現在位置を再設定することで、画像ベースのドリフトを実施することができる。このような画像ベースのドリフト補正は、例えばユーザがジョイスティック・コントローラ４３０の一つ以上のボタンを起動するときにマニュアルで実施することができる。代わりに、例えば一定の時間間隔でまたはゲームプレイに応じて、画像ベースのドリフト補正を自動的に実施することもできる。このような技術は、メモリ４０２に保存されプロセッサ４０１で実行可能なプログラムコード命令４０４によって実装可能である。
特定の実施形態では、慣性センサ信号内の偽（スプリアス）データを補償することが望ましい。例えば、慣性センサ４３２からの信号をオーバーサンプリングし、オーバーサンプリングした信号から移動平均を計算して、慣性センサ信号からスプリアスデータを除去してもよい。ある状況では、信号をオーバーサンプリングし、データポイントの一部のサブセットから高値および／または低値を取り除き、残りのデータポイントから移動平均を計算してもよい。さらに、他のデータサンプリング技術およびデータ操作技術を使用して、慣性センサの信号を調節しスプリアスデータの有意性を除去または低減することができる。信号の性質、信号に対して実行される計算、ゲームプレイの性質、またはこれらのうちの二つ以上の組み合わせによって技術を選択することができる。このような技術は、メモリ４０２に保存されプロセッサ４０１で実行可能なプログラムコード命令４０４によって実装することができる。
プロセッサ４０１は、メモリ４０２で保存、読み出しされプロセッサモジュール４０１で実行されるデータ４０６とプログラム４０４のプログラムコード命令とに応じて、信号データ４０６似たいしデジタル信号処理を実行することができる。プログラム４０４のコード部分は、アセンブリ、Ｃ＋＋、ＪＡＶＡ（登録商標）またはいくつかの他の言語などの複数の異なるプログラム言語のうちのいずれか一つに準拠していてもよい。プロセッサ・モジュール４０１は、プログラムコード４０４のようなプログラムを実行するとき特定目的のコンピュータになる汎用コンピュータを形成する。プログラム・コード４０４がソフトウェアで実装され汎用コンピュータ上で実行されると本明細書で述べられているが、当業者であれば、特定用途向け集積回路（ＡＳＩＣ）または他のハードウェア回路等のハードウェアを使用してもタスク管理方法を実装できることを理解するだろう。このように、本発明の実施形態の全体または一部を、ソフトウェア、ハードウェアまたは両方の組み合わせで実装できることを理解すべきである。
一実施形態では、プログラムコード４０４は、本明細書に記載された任意の一つ以上の方法および技術、またはこのような方法および技術の二つ以上の組み合わせを実施する一組のプロセッサ可読命令を含むことができる。例えば、本明細書に記載された画像解析器を実装するようにプログラムコード４０４を構成することができる。または代わりに、本明細書に記載された画像解析器をハードウェアで実装してもよい。
図示した実施形態では、上述の画像解析器機能は画像解析器４５０として例示されている。画像解析器４５０は、例えば画像取得装置４２３またはカメラ１１２（図１Ａ）等のカメラから入力を受け取ることができる。したがって、ビデオカメラ１１２または画像取得装置４２３の出力を画像解析器４５０の入力に結合してもよい。画像解析器４５０の出力を装置４００のシステムに提供してもよい。このように、コマンド自体、またはコマンドあるいはジェスチャが認識されたかどうかを見るために必要な情報が、装置４００に提供される。画像解析器４５０は、多くの異なる方法で装置４００の残りの部分に結合することができる。すなわち、図示の接続方法は一例に過ぎない。別の例では、画像解析器４５０をシステムバス４２０に結合してもよく、これにより、画像取得装置４２３から入力データを受け取り、出力を装置４００に提供することができる。
画像解析器４５０を装置４００、エンターテイメント・システムまたはコンソール１０２に選択的に含めてもよいし、または画像解析器４５０をこれらの装置およびシステムから離して配置してもよい。画像解析器４５０の全体または一部を、ソフトウェア、ハードウェアまたは両方の組み合わせで実装できることは十分理解されなければならない。画像解析器４５０がソフトウェアで実装されるシナリオでは、ブロック４５０は画像解析機能がソフトウェアで実装されることを表す。
プログラムコード４０４は、通常、一つ以上のプロセッサに対し実行時に予め調整されたリスニングゾーンを選択し、予め調整されたリスニングゾーンの外側の音源から生じる音を除去するように指示する一つ以上の命令を含むことができる。予め調整されたリスニングゾーンは、画像取得装置４２３の焦点の大きさまたは視野と一致するリスニングゾーンを含んでもよい。
プログラム・コードは、実行時に装置４００に音源を含む予め調整されたリスニングセクタを選択させる一つ以上の命令を含んでいてもよい。この指示により、音源が初期セクタの内部または初期セクタの特定の側のいずれにあるかを装置に判定させることができる。音源がデフォルトのセクタ内に存在しない場合、実行時、命令はデフォルトセクタの特定の側の異なるセクタを選択する。異なるセクタは、最適値に最も近い入力信号の減衰によって特徴づけることができる。これらの命令は、実行時に、マイク配列４２２からの入力信号の減衰と、最適値への減衰を計算することができる。実行時に、命令によって、一つ以上のセクタへの入力信号の減衰値を求め、減衰が最適値に最も近いセクタを装置に選択させることができる。
プログラム・コード４０４は、一つ以上のプロセッサに対し、マイクＭ０．．．ＭＭからの離散時間領域入力信号ｘｍ(ｔ)を生成するように指示し、セミブラインド音源分離でリスニングセクタを使用して有限インパルス応答フィルタ係数を選択して入力信号ｘｍ(ｔ)からの異なる音源を分離させる、一つ以上の命令を選択的に含んでもよい。プログラム４０４は、参照マイクＭ０からの入力信号ｘ０(ｔ)以外の選択された入力信号ｘｍ(ｔ)に対し一つ以上の非整数遅延を適用する命令を含んでもよい。非整数遅延のそれぞれを選択して、マイク配列から得られる離散時間領域出力信号ｙ(ｔ)の信号対雑音比を最適化することができる。参照マイクＭ０からの信号が配列の他のマイクからの信号に対して時間的に最初になるように非整数遅延を選択してもよい。プログラム４０４は、非整数時間遅延Δをマイク配列の出力信号ｙ(ｔ)に導入する命令を含んでもよい。
すなわち、ｙ(ｔ＋Δ)＝ｘ(ｔ＋Δ)＊ｂ０＋ｘ(ｔ−ｌ＋Δ)＊ｂ１＋ｘ(ｔ−２＋Δ)＊ｂ２＋．．．＋ｘ(ｔ−Ｎ＋Δ)ｂＮ、ここで、Δは０と１の間である。
プログラム・コード４０４は、実行時に、画像取得装置４２３の前方の視野を監視させ、視野内の一つ以上の光源４３４を特定させ、光源４３４から発せられた光の変化を画像取得装置４２３に検出させる一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。そして、変化の検出に応じて、プロセッサ４０１に入力コマンドがトリガされる。画像取得装置と連携したＬＥＤの使用によりゲームコントローラにアクションを引き起こすことは、2004年1月16日に出願された共有の米国特許出願第10/759,782号、Richard L. Marksらの「METHOD AND APPARATUS FOR LIGHT INPUT DEVICE」に記載されており、その全体が参照により本明細書に援用される。
プログラム・コード404は、実行時に、慣性センサからの信号と一つ以上の光源の追跡により画像取得装置から生成される信号とを上述のようにゲームシステムへの入力として使用する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。プログラム・コード404は、実行時に慣性センサ４３２のドリフトを補償する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。
さらに、プログラム・コード４０４は、実行時にゲーム環境に対するコントローラ操作のギアリング（gearing）とマッピングを調整する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。このような特徴により、ユーザは、ゲーム状態に対するジョイスティック・コントローラ４３０の操作の「ギアリング」を変更することができる。例えば、ジョイスティック・コントローラ４３０の４５度回転が、ゲームオブジェクトの４５度回転に変換されてもよい。しかしながら、コントローラのＸ度回転（または傾き、ヨー、あるいは「操作」）がゲームオブジェクトのＹ度回転（または傾き、ヨー、あるいは「操作」）に変換されるように、この１：１のギア比を修正してもよい。ギアリングは１：１、１：２、１：Ｘ、またはＸ：Ｙの比率であってもよい。ここで、ＸとＹは任意の値を取ることができる。さらに、ゲームコントロールへの入力チャネルのマッピングが、時間とともにまたは直ちに修正されてもよい。修正は、ジェスチャの軌道モデルの変更、ジェスチャの位置、大きさ、閾値を修正することなどを含む。操作のダイナミックレンジをユーザに与えるために、このようなマッピングがプログラムされていても、ランダムでも、階段状（tiered）でも、ずらされて（staggered）いてもよい。マッピング、ギアリングまたは比率の修正は、ゲームコントローラ４３０上のユーザ修正ボタン（キーパッド等）の使用により、または大まかに入力チャネルに応答して、ゲームプレイやゲーム状態にしたがってプログラムコード４０４により調節されてもよい。入力チャネルには、ユーザ音声の成分、コントローラにより発生する音、コントローラにより発生する追跡音、コントローラボタン状態、ビデオカメラ出力、加速度計データ、傾き、ヨー、ロール、位置、加速度を含むコントローラ遠隔測定データ、およびユーザまたはオブジェクトのユーザによる操作を追跡可能なセンサから得られる任意の他のデータを含むが、これらに限定されない。
特定の実施形態では、プログラム・コード４０４は、予め定められた時間に依存する方法で、１つの方式または比率から別の方式へと時間とともにマッピングまたはギアリングを変更してもよい。ギアリングとマッピングの変更は、様々な方法でゲーム環境に適用することができる。一例では、キャラクタが健康なときにはあるギアリング方式でテレビゲームキャラクタを制御し、キャラクタの健康が悪化すると、システムがコントローラコマンドのギアを変更して、キャラクタへのジェスチャコマンドを与えるためのユーザのコントローラの動きを悪化させるようにしてもよい。例えばユーザが新しいマッピングの下でキャラクタの制御を回復するために入力の調整を要求されるとき、方向感覚を失ったテレビゲームキャラクタは、入力チャネルのマッピングの変更を強制されるようにしてもよい。ゲームコマンドに対する入力チャネルの変換を修正するマッピング方式がゲームプレイ中にも変化してもよい。この変換は、ゲーム状態に応じて、または入力チャネルの一つ以上の要素の下で発行される修正コマンドに応じて、様々な方法で発生する。ギアリングとマッピングは、入力チャネルの一つ以上の要素の設定および／または処理に影響を与えるように構成されてもよい。
さらに、ジョイスティック・コントローラ４３０にスピーカ４３６が取り付けられてもよい。プログラムコード４０４がマイク配列４２２を用いて検出された音を定位して特徴づける「音響レーダ」実施形態では、スピーカ４３６は、マイク配列４２２により検出可能であり、ジョイスティックコントローラ４３０の位置を追跡するためにプログラムコード４０４により使用される音声信号を提供することができる。スピーカ４３６は、ジョイスティック・コントローラ４３０からプロセッサ４０１に対し追加の「入力チャネル」を提供するためにも使用することができる。スピーカ４３６からの音声信号を周期的にパルス化して、位置追跡のために音響レーダ用のビーコンを提供してもよい。音声信号（パルス状またはそれ以外）は聞き取り可能であっても超音波であってもよい。音響レーダはジョイスティック・コントローラ４３０のユーザ操作を追跡することができる。このような操作追跡は、ジョイスティック・コントローラ４３０の位置および方向（例えば、ピッチ、ロールまたはヨー角度）に関する情報を含んでもよい。パルスは、当業者であれば適用可能であるように、適切なデューティサイクルでトリガすることができる。パルスは、システムから調整される制御信号に基づいて開始されてもよい。装置４００は、（プログラム・コード４０４によって）プロセッサ４０１に接続された二つ以上のジョイスティックコントローラ４３０の間での制御信号の発送を調整して、複数のコントローラが確実に追跡されるようにすることができる。
一例として、本発明の実施形態を並列処理システム上で実施することができる。このような並列処理システムは、一般的に、別々のプロセッサを使用してプログラムの部分を並列に実行するように構成された二つ以上のプロセッサ要素を含む。一例として、限定ではなく、図５は本発明の一実施形態による一種のセルプロセッサ５００を示す。セルプロセッサ５００を図４のプロセッサ４０１として用いることができる。図５に示す例では、セルプロセッサ５００はメインメモリ５０２と、パワープロセッサ要素（ＰＰＥ）５０４と、複数の相乗作用プロセッサ要素（ＳＰＥ）５０６とを備える。図５に示す例では、セルプロセッサ５００は一つのＰＰＥ５０４と８つのＳＰＥ５０６を備える。このような構成では、ＳＰＥ５０６のうちの７台を並列処理のために使用し、一台を他の７台のうちの一つが故障した場合のバックアップとして確保しておいてもよい。代替的に、セルプロセッサは、複数グループのＰＰＥ（ＰＰＥグループ）と複数グループのＳＰＥ（ＳＰＥグループ）とを備えていてもよい。この場合には、グループ内のユニット間でハードウェア資源を共有することができる。しかしながら、ＳＰＥとＰＰＥは独立した要素としてソフトウェアに見えなければならない。このように、本発明の実施形態は、図５に示す構成の使用に限定されない。
メインメモリ５０２は、一般に、汎用で不揮発性の記憶装置の場合と、システム構成、データ転送同期、メモリマップされたＩ／Ｏ、Ｉ／Ｏサブシステム等の機能のために用いられる特定目的のハードウェアレジスタまたはアレイの両方の場合を含む。本発明の実施形態では、信号処理プログラム５０３がメインメモリ５０２内に常駐してもよい。信号処理プログラム５０３がＰＰＥの上で動作してもよい。プログラム５０３は、ＳＰＥおよび／またはＰＰＥ上で実行可能な複数の信号処理タスクに分割されてもよい。
一例として、ＰＰＥ５０４は、関連するキャッシュＬ１、Ｌ２を持つ６４ビットパワーＰＣプロセッサユニット（ＰＰＵ）であってもよい。ＰＰＥ５０４は汎用処理ユニットであり、（例えばメモリ保護テーブルなどの）システム管理リソースにアクセス可能である。ＰＰＥによって見られるように、ハードウェア資源が明示的に実アドレス空間マッピングされていてもよい。したがって、ＰＰＥは、適当な実効アドレス値を使用して、これらの任意のリソースを直接アドレス指定することができる。ＰＰＥ５０４の主要な機能は、セルプロセッサ５００のＳＰＥ５０６のためのタスク管理とタスク割り当てである。
一つのＰＰＥのみがセル・ブロードバンド・エンジン・アーキテクチャ（ＣＢＥＡ）のようなセルプロセッサ実装として図５に示されているが、セルプロセッサ５００は、二つ以上のＰＰＥグループに組織された複数のＰＰＥを有していてもよい。これらのＰＰＥグループは、メインメモリ５０２へのアクセスを共有してもよい。さらに、セルプロセッサ５００は、二つ以上のＳＰＥグループを備えてもよい。ＳＰＥグループは、メインメモリ５０２へのアクセスを共有してもよい。このような構成は本発明の範囲内である。
各ＳＰＥ５０６は、相乗作用プロセッサユニット（ＳＰＵ）と自身のローカル記憶領域ＬＳとを備える。ローカル記憶領域ＬＳは、それぞれが特定のＳＰＵと関連づけられる一つ以上の別個のメモリ記憶領域を有していてもよい。各ＳＰＵは、自身の関連するローカル記憶領域内からの命令（データロード操作とデータ記憶操作を含む）のみを実行するように構成されていてもよい。このような構成では、ローカル記憶ＬＳとシステム５００内のいずれかの場所との間でのデータ転送は、（個々のＳＰＥの）ローカル記憶領域を出入りするデータ転送をするダイレクトメモリアクセス（ＤＭＡ）コマンドをメモリフローコントローラ（ＭＦＣ）から発行することで実行できる。ＳＰＵは、いかなるシステム管理機能も実行しないという点で、ＰＰＥ５０４よりも複雑さの少ない計算ユニットである。ＳＰＵは、一般に単一命令、複数データ（ＳＩＭＤ）能力を有し、割り当てられたタスクを実行するために、データを処理して任意の必要なデータ転送（ＰＰＥによりセットされた特性へのアクセスを受ける）を開始する。ＳＰＵの目的は、より高い計算単位密度を必要とし提供された命令セットを効果的に使用できるアプリケーションを実行可能とすることである。ＰＰＥ５０４によって管理されるシステム内の相当数のＳＰＥによって、広範囲にわたるアプリケーションについて費用効果の高い処理が可能になる。
各ＳＰＥ５０６は、メモリ保護とアクセス許可情報を保持し処理が可能である関連するメモリ管理ユニットを有する専用のメモリフローコントローラ（ＭＦＣ）を備えることができる。ＭＦＣは、セルプロセッサの主記憶装置とＳＰＥのローカル記憶装置との間のデータ転送、保護および同期の主要な方法を提供する。ＭＦＣコマンドは実行される転送を記述する。データを転送するためのコマンドは、ＭＦＣダイレクトメモリアクセス（ＤＭＡ）コマンド（またはＭＦＣ ＤＭＡコマンド）と呼ばれることがある。
各ＭＦＣは、同時に複数のＤＭＡ転送をサポートすることができ、また複数のＭＦＣコマンドを維持かつ処理することができる。各ＭＦＣ ＤＭＡデータ転送コマンドは、ローカル記憶装置のアドレス（ＬＳＡ）と実効アドレス（ＥＡ）の両方を必要とすることがある。ローカル記憶装置アドレスは、その関連するＳＰＥのローカル記憶領域のみを直接アドレス指定してもよい。実効アドレスにはより一般的なアプリケーションがあることがある。例えば、実効アドレスが実アドレス空間内にエイリアスされる場合、全てのＳＰＥローカル記憶領域を含む主記憶装置を参照することができる。
ＳＰＥ５０６の間の通信および／またはＳＰＥ５０６とＰＰＥ５０４の間の通信を容易にするために、ＳＰＥ５０６とＰＰＥ５０４は、イベントを合図する信号通知レジスタを含んでもよい。ＰＰＥ５０４とＳＰＥ５０６は、ＰＰＥ５０４がメッセージをＳＰＥ５０６に発信するルータの働きをするスター・トポロジによって結合されてもよい。代わりに、各ＳＰＥ５０６とＰＰＥ５０４は、メールボックスと呼ばれる一方向の信号通知レジスタを有していてもよい。メールボックスはＳＰＥ５０６により使用され、オペレーティングシステム（ＯＳ）の同期をホストすることができる。
セルプロセッサ５００は、セルプロセッサ５００がマイク配列５１２やオプションの画像取得装置５１３のような周辺装置と対話する入出力（Ｉ／Ｏ）機能５０８を備えていてもよい。さらに、要素相互接続バス５１０が上記の様々な構成要素を接続してもよい。各ＳＰＥとＰＰＥは、バスインタフェースユニットＢＩＵを通してバス５１０にアクセスすることができる。セルプロセッサ５００は、プロセッサ内に通常見つかる二つのコントローラを備えてもよい。すなわち、バス５１０とメインメモリ５０２の間でのデータの流れを制御するメモリインタフェースコントローラＭＩＣと、Ｉ／Ｏ５０８とバス５１０の間でのデータの流れを制御するバスインタフェースコントローラＢＩＣである。ＭＩＣ、ＢＩＣ、ＢＩＵおよびバス５１０の要件は様々な実装に対して大きく異なることがあるが、当業者であれば、これらを実装するための機能および回路に精通しているであろう。
セルプロセッサ５００は、内部割り込みコントローラＩＩＣを備えてもよい。ＩＩＣ構成要素は、ＰＰＥに提示される割り込みの優先度を管理する。ＩＩＣは、他の構成要素からの割り込みを、セルプロセッサ５００がメインシステムの割り込みコントローラを用いることなく処理することを可能にする。ＩＩＣは、第２のレベルコントローラとみなしてもよい。メインシステムの割り込みコントローラは、セルプロセッサ外部から生じる割り込みを処理してもよい。
本発明の実施形態では、非整数遅延などの特定の計算を、ＰＰＥ５０４および／または一つ以上のＳＰＥ５０６を用いて並列に実行することができる。各非整数遅延計算を、異なるＳＰＥ５０６が利用可能になるにつれて引き受けることができる一つ以上の別個のタスクとして実行することができる。
本明細書に開示された発明は特定の実施形態およびそのアプリケーションを用いて記載されているが、特許請求の範囲に記載の本発明の範囲から逸脱することなく、当業者によって多数の修正および変更を施すことができる。
本発明の一実施形態にしたがって動作するシステムを示す模式図である。 本発明の一実施形態にしたがって作成されるコントローラの斜視図である。 本発明の一実施形態にしたがってコントローラの位置情報を決定する方法を示す模式図である。 本発明の一実施形態にしたがってコントローラの位置情報を決定する方法を示す画像平面の平面図である。 本発明の一実施形態にしたがって情報を取得する際に用いられる方法を示すフロー図である。 本発明の一実施形態にしたがってシステムに入力を与える際に用いられる方法を示すフロー図である。 本発明の一実施形態にしたがって本明細書に記載されている方法および技術を実施、実装および／または実行するために使用可能であるシステムを示すブロック図である。 本発明の一実施形態にしたがって本明細書に記載されている方法および技術を実施、実装および／または実行するために使用可能であるプロセッサを示すブロック図である。

Claims (49)

  1. コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、
    前記幾何学的形状の射影における動きと変形を解析するステップと、
    前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、
    を含む、情報を得る際に用いられる方法。
  2. 前記コントローラ上で確立される幾何学的形状が、一つまたは複数の発光ダイオード（ＬＥＤ）からなることを特徴とする請求項１に記載の方法。
  3. 前記一つまたは複数のＬＥＤが、４つのＬＥＤからなることを特徴とする請求項２に記載の方法。
  4. 前記一つまたは複数のＬＥＤがストロボ発光されることを特徴とする請求項２に記載の方法。
  5. 前記一つまたは複数のＬＥＤが変調されることを特徴とする請求項２に記載の方法。
  6. 前記一つまたは複数のＬＥＤがそれぞれ異なる周波数で動作することを特徴とする請求項２に記載の方法。
  7. 前記幾何学的形状が長方形であることを特徴とする請求項１に記載の方法。
  8. 幾何学的形状が自身の上で確立されるコントローラと、
    前記コントローラ上で確立された幾何学的形状の射影を画像平面上で受け取るように構成されたカメラと、
    前記幾何学的形状の射影における動きと変形を解析して、この解析に基づき前記コントローラの位置情報を決定するように構成された画像解析器と、
    を備えることを特徴とする、情報を得るために用いられるシステム。
  9. コントローラで確立される幾何学的形状が一つ以上の発光ダイオード（ＬＥＤ）であることを特徴とする請求項８に記載のシステム。
  10. 前記一つまたは複数のＬＥＤが、４つのＬＥＤからなることを特徴とする請求項９に記載のシステム。
  11. 前記一つまたは複数のＬＥＤがストロボ発光されることを特徴とする請求項９に記載のシステム。
  12. 前記一つまたは複数のＬＥＤが変調されることを特徴とする請求項９に記載のシステム。
  13. 前記一つまたは複数のＬＥＤがそれぞれ異なる周波数で動作することを特徴とする請求項９に記載のシステム。
  14. 前記幾何学的形状が長方形であることを特徴とする請求項８に記載のシステム。
  15. コントローラ上で確立された幾何学的形状の射影をカメラの画像平面上で受け取る手段と、
    前記幾何学的形状の射影における動きと変形を解析する手段と、
    前記幾何学的形状の射影における動きと変形の解析に基づき、前記コントローラの位置情報を決定する手段と、
    を備えることを特徴とする、情報を取得する際に用いられるシステム。
  16. 前記コントローラ上で確立される幾何学的形状が、一つまたは複数の発光ダイオード（ＬＥＤ）からなることを特徴とする請求項１５に記載のシステム。
  17. 前記一つまたは複数のＬＥＤが、４つのＬＥＤからなることを特徴とする請求項１６に記載のシステム。
  18. 前記一つまたは複数のＬＥＤがストロボ発光されることを特徴とする請求項１６に記載のシステム。
  19. 前記一つまたは複数のＬＥＤが変調されることを特徴とする請求項１６に記載のシステム。
  20. 前記一つまたは複数のＬＥＤがそれぞれ異なる周波数で動作することを特徴とする請求項１６に記載のシステム。
  21. 前記幾何学的形状が長方形であることを特徴とする請求項１５に記載のシステム。
  22. コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品であって、
    コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、
    前記幾何学的形状の射影における動きと変形を解析するステップと、
    前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、
    を実行することを特徴とするコンピュータプログラム製品。
  23. 前記コントローラ上で確立される幾何学的形状が、一つまたは複数の発光ダイオード（ＬＥＤ）からなることを特徴とする請求項２２に記載のコンピュータプログラム製品。
  24. 前記一つまたは複数のＬＥＤが、４つのＬＥＤからなることを特徴とする請求項２２に記載のコンピュータプログラム製品。
  25. システムのコントローラの位置情報を決定するステップと、
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、
    前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、
    を含むことを特徴とする、システムに入力を提供する際に用いられる方法。
  26. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記システムのために割り込みを生成するステップをさらに含むことを特徴とする、請求項２５に記載の方法。
  27. 前記比較するステップは、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定するステップを含むことを特徴とする、請求項２５に記載の方法。
  28. コントローラの位置情報を判定するステップが、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする、請求項２５に記載の方法。
  29. コントローラの位置情報を判定するステップが、前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする請求項２８に記載の方法。
  30. システムのコントローラの位置情報を決定する手段と、
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較する手段と、
    前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供する手段と、
    を備えることを特徴とする、システムに入力を与える際に用いられるシステム。
  31. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記システムのために割り込みを生成する手段をさらに含むことを特徴とする、請求項３０に記載のシステム。
  32. 前記比較する手段は、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定する手段を含むことを特徴とする、請求項３０に記載のシステム。
  33. コントローラの位置情報を判定する手段が、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取る手段をさらに含むことを特徴とする、請求項３０に記載のシステム。
  34. コントローラの位置情報を判定する手段が、前記幾何学的形状の射影における動きと変形を解析する手段をさらに含むことを特徴とする請求項３３に記載のシステム。
  35. コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品であって、
    システムのコントローラの位置情報を決定するステップと、
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、
    前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、
    を実行することを特徴とするコンピュータプログラム製品。
  36. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記コンピュータプログラムが、前記システムのために割り込みを生成するステップをコンピュータに実行させるようにさらに構成されていることを特徴とする、請求項３５に記載のコンピュータプログラム製品。
  37. 前記比較するステップは、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定するステップを含むことを特徴とする、請求項３５に記載のコンピュータプログラム製品。
  38. コントローラの位置情報を判定するステップが、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする、請求項３５に記載のコンピュータプログラム製品。
  39. コントローラの位置情報を判定するステップが、前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする請求項３８に記載のコンピュータプログラム製品。
  40. ユーザによって操作されているコントローラの位置情報を受け取るステップと、
    前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、
    前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、
    を含むことを特徴とする、ゲームに用いられる方法。
  41. 前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、ゲームに対し割り込みを生成するステップをさらに含むことを特徴とする、請求項４０に記載の方法。
  42. 前記解析するステップは、前記コントローラの位置情報が、コマンドに関連づけられたコントローラの所定の動きと関連する特定の範囲内に含まれたことを示すか否かを判定するステップを含むことを特徴とする、請求項４０に記載の方法。
  43. 前記比較するステップは、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする請求項４０に記載の方法。
  44. 前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする、請求項４３に記載の方法。
  45. コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品であって、
    ユーザによって操作されているコントローラの位置情報を受け取るステップと、
    前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、
    前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、
    を実行することを特徴とするコンピュータプログラム製品。
  46. 前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、ゲームに対し割り込みを生成するステップをさらに含むことを特徴とする、請求項４５に記載のコンピュータプログラム製品。
  47. 前記解析するステップは、前記コントローラの位置情報が、コマンドに関連づけられたコントローラの所定の動きと関連する特定の範囲内に含まれたことを示すか否かを判定するステップを含むことを特徴とする、請求項４５に記載のコンピュータプログラム製品。
  48. 前記比較するステップは、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする請求項４５に記載のコンピュータプログラム製品。
  49. 前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする、請求項４８に記載のコンピュータプログラム製品。
JP2009509960A 2006-05-04 2007-04-25 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式 Active JP5301429B2 (ja)

Applications Claiming Priority (95)

Application Number Priority Date Filing Date Title
US11/381,725 2006-05-04
US11/381,724 2006-05-04
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/418,989 2006-05-04
US11/381,728 2006-05-04
US11/381,727 2006-05-04
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/418,988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/418,988 2006-05-04
US11/429,047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11/381,721 2006-05-04
US11/429,414 US7627139B2 (en) 2002-07-27 2006-05-04 Computer image and audio processing of intensity and input devices for interfacing with a computer program
US11/418,989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11/381,729 2006-05-04
US11/429,133 2006-05-04
US11/429,047 2006-05-04
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/429,133 US7760248B2 (en) 2002-07-27 2006-05-04 Selective sound source listening in conjunction with computer interactive processing
US11/429,414 2006-05-04
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US79803106P 2006-05-06 2006-05-06
US11/382,038 2006-05-06
US11/382,031 US7918733B2 (en) 2002-07-27 2006-05-06 Multi-input game control mixer
US11/382,036 US9474968B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to visual tracking
US11/382,037 2006-05-06
US29259349 2006-05-06
US29/259,349 2006-05-06
US11/382,032 US7850526B2 (en) 2002-07-27 2006-05-06 System for tracking user manipulations within an environment
US60/798,031 2006-05-06
US29/259,350 2006-05-06
US11/382,033 US8686939B2 (en) 2002-07-27 2006-05-06 System, method, and apparatus for three-dimensional input control
US11/382,038 US7352358B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to acoustical tracking
US29/259,350 USD621836S1 (en) 2006-05-06 2006-05-06 Controller face with tracking sensors
US11/382,036 2006-05-06
US29259348 2006-05-06
US11/382,037 US8313380B2 (en) 2002-07-27 2006-05-06 Scheme for translating movements of a hand-held controller into inputs for a system
US29/259,348 2006-05-06
US11/382,034 US20060256081A1 (en) 2002-07-27 2006-05-06 Scheme for detecting and tracking user manipulation of a game controller body
US11/382,032 2006-05-06
US11/382,035 2006-05-06
US11/382,034 2006-05-06
US11/382,031 2006-05-06
US11/382,035 US8797260B2 (en) 2002-07-27 2006-05-06 Inertially trackable hand-held controller
US11/382,033 2006-05-06
US11/382,043 2006-05-07
US11/382,039 US9393487B2 (en) 2002-07-27 2006-05-07 Method for mapping movements of a hand-held controller to game commands
US11/382,041 2006-05-07
US11/382,040 2006-05-07
US11/382,039 2006-05-07
US11/382,041 US7352359B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to inertial tracking
US11/382,040 US7391409B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to multi-channel mixed input
US11/382,043 US20060264260A1 (en) 2002-07-27 2006-05-07 Detectable and trackable hand-held controller
US29/246,768 2006-05-08
US29/246,744 USD630211S1 (en) 2006-05-08 2006-05-08 Video game controller front face
US11/430,594 2006-05-08
US11/382,250 2006-05-08
US11/382,251 2006-05-08
US29/246,759 2006-05-08
US11/382,259 US20070015559A1 (en) 2002-07-27 2006-05-08 Method and apparatus for use in determining lack of user activity in relation to a system
US11/382,259 2006-05-08
US29/246,768 USD571806S1 (en) 2006-05-08 2006-05-08 Video game controller
US11/382,252 US10086282B2 (en) 2002-07-27 2006-05-08 Tracking device for use in obtaining information for controlling game program execution
US11/430,593 US20070261077A1 (en) 2006-05-08 2006-05-08 Using audio/visual environment to select ads on game platform
US29/246,767 2006-05-08
US29/246,744 2006-05-08
US11/382,256 2006-05-08
US11/382,258 2006-05-08
US29/246,762 2006-05-08
US11/382,256 US7803050B2 (en) 2002-07-27 2006-05-08 Tracking device with sound emitter for use in obtaining information for controlling game program execution
US11/382,258 US7782297B2 (en) 2002-07-27 2006-05-08 Method and apparatus for use in determining an activity level of a user in relation to a system
US29/246,764 2006-05-08
US29/246,764 USD629000S1 (en) 2006-05-08 2006-05-08 Game interface device with optical port
US11/382,251 US20060282873A1 (en) 2002-07-27 2006-05-08 Hand-held controller having detectable elements for tracking purposes
US29246766 2006-05-08
US29246762 2006-05-08
US29/246,743 USD571367S1 (en) 2006-05-08 2006-05-08 Video game controller
US11/382,252 2006-05-08
US29/246,763 2006-05-08
US11/430,594 US20070260517A1 (en) 2006-05-08 2006-05-08 Profile detection
US29/246,767 USD572254S1 (en) 2006-05-08 2006-05-08 Video game controller
US29/246,743 2006-05-08
US11/430,593 2006-05-08
US29246765 2006-05-08
US11/382,250 US7854655B2 (en) 2002-07-27 2006-05-08 Obtaining input for controlling execution of a game program
US29/246,766 2006-05-08
US29246759 2006-05-08
US29246763 2006-05-08
US29/246,765 2006-05-08
US11/382,699 US20070265075A1 (en) 2006-05-10 2006-05-10 Attachable structure for use with hand-held controller having tracking ability
US11/382,699 2006-05-10
US11/624,637 2007-01-18
US11/624,637 US7737944B2 (en) 2002-07-27 2007-01-18 Method and system for adding a new player to a game in response to controller activity
PCT/US2007/067437 WO2007130833A2 (en) 2006-05-04 2007-04-25 Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2012057132A Division JP5726793B2 (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2012057129A Division JP2012135642A (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式

Publications (2)

Publication Number Publication Date
JP2009535175A true JP2009535175A (ja) 2009-10-01
JP5301429B2 JP5301429B2 (ja) 2013-09-25

Family

ID=46673570

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2009509960A Active JP5301429B2 (ja) 2006-05-04 2007-04-25 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2009509977A Pending JP2009535179A (ja) 2006-05-04 2007-04-27 ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および／またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置
JP2012057129A Pending JP2012135642A (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2012057132A Active JP5726793B2 (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2012120096A Active JP5726811B2 (ja) 2006-05-04 2012-05-25 ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および／またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2009509977A Pending JP2009535179A (ja) 2006-05-04 2007-04-27 ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および／またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置
JP2012057129A Pending JP2012135642A (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2012057132A Active JP5726793B2 (ja) 2006-05-04 2012-03-14 ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP2012120096A Active JP5726811B2 (ja) 2006-05-04 2012-05-25 ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および／またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置

Country Status (2)

Country Link
JP (5) JP5301429B2 (ja)
WO (3) WO2007130833A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040003A (ja) * 2009-08-18 2011-02-24 Sony Corp 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
JP2019084339A (ja) * 2017-11-01 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および信号変換方法
JP2019084338A (ja) * 2017-11-01 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作信号提供方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5334037B2 (ja) * 2008-07-11 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 音源の位置検出方法及びシステム
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
GB2467951A (en) * 2009-02-20 2010-08-25 Sony Comp Entertainment Europe Detecting orientation of a controller from an image of the controller captured with a camera
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
JP5514774B2 (ja) 2011-07-13 2014-06-04 株式会社ソニー・コンピュータエンタテインメント ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び記録媒体
AU2014280334B2 (en) * 2013-06-13 2018-02-01 Basf Se Optical detector and method for manufacturing the same
KR102118482B1 (ko) * 2014-04-25 2020-06-03 삼성전자주식회사 홈 네트워크 시스템에서 다바이스 제어 방법 및 장치
JP7114657B2 (ja) * 2020-07-28 2022-08-08 グリー株式会社 制御プログラム、ゲーム装置、及び制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259340A (ja) * 1999-03-12 2000-09-22 Sony Corp 入力装置および方法、入力システム、並びに提供媒体
JP2001170358A (ja) * 1999-10-04 2001-06-26 Nintendo Co Ltd ゲームシステム及びそれに用いられるゲーム情報記憶媒体
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2003126548A (ja) * 2001-10-19 2003-05-07 Konami Co Ltd ゲーム装置及びゲームシステム
JP2003236244A (ja) * 2002-02-14 2003-08-26 Konami Co Ltd コントローラ、コントローラの姿勢遠隔測定装置及びビデオゲーム装置
JP2006099468A (ja) * 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214615A (en) * 1990-02-26 1993-05-25 Will Bauer Three-dimensional displacement of a body with computer interface
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP3218716B2 (ja) * 1992-07-31 2001-10-15 ソニー株式会社 入力装置、及び入力システム
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JP3907213B2 (ja) * 1992-09-11 2007-04-18 伸壹 坪田 ゲーム制御装置
US7358956B2 (en) 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
JP2002320773A (ja) * 2001-04-25 2002-11-05 Pacific Century Cyberworks Japan Co Ltd ゲーム装置及びその制御方法及び記録媒体及びプログラム及び携帯電話器
JP2003078779A (ja) * 2001-08-31 2003-03-14 Hitachi Ltd マルチリモコンとそれを用いた遠隔操作システム
JP2003135851A (ja) * 2001-10-31 2003-05-13 Konami Computer Entertainment Yokyo Inc ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
JP3824260B2 (ja) 2001-11-13 2006-09-20 任天堂株式会社 ゲームシステム
JP4010533B2 (ja) 2001-11-20 2007-11-21 任天堂株式会社 ゲーム機、電子機器、および省電力モード管理プログラム
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7815507B2 (en) * 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
US20040063502A1 (en) * 2002-09-24 2004-04-01 Intec, Inc. Power module
WO2004052483A1 (en) * 2002-12-10 2004-06-24 Nokia Corporation Method and device for continuing an electronic multi-player game, in case of an absence of a player of said game
JP4906239B2 (ja) * 2003-04-16 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 通信装置、ゲーム機および通信方法
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259340A (ja) * 1999-03-12 2000-09-22 Sony Corp 入力装置および方法、入力システム、並びに提供媒体
JP2001170358A (ja) * 1999-10-04 2001-06-26 Nintendo Co Ltd ゲームシステム及びそれに用いられるゲーム情報記憶媒体
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2003126548A (ja) * 2001-10-19 2003-05-07 Konami Co Ltd ゲーム装置及びゲームシステム
JP2003236244A (ja) * 2002-02-14 2003-08-26 Konami Co Ltd コントローラ、コントローラの姿勢遠隔測定装置及びビデオゲーム装置
JP2006099468A (ja) * 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011040003A (ja) * 2009-08-18 2011-02-24 Sony Corp 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
JP2019084339A (ja) * 2017-11-01 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および信号変換方法
JP2019084338A (ja) * 2017-11-01 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作信号提供方法
US10960296B2 (en) 2017-11-01 2021-03-30 Sony Interactive Entertainment Inc. Information processing apparatus and operation signal providing method
US11065535B2 (en) 2017-11-01 2021-07-20 Sony Interactive Entertainment Inc. Information processing device, signal conversion method and program

Also Published As

Publication number Publication date
JP5726811B2 (ja) 2015-06-03
JP5726793B2 (ja) 2015-06-03
JP2009535179A (ja) 2009-10-01
WO2007130833A2 (en) 2007-11-15
JP2012135642A (ja) 2012-07-19
WO2007130872A2 (en) 2007-11-15
JP2012179420A (ja) 2012-09-20
WO2007130833A3 (en) 2008-08-07
WO2007130999A2 (en) 2007-11-15
JP2012135643A (ja) 2012-07-19
WO2007130999A3 (en) 2008-12-18
JP5301429B2 (ja) 2013-09-25
WO2007130872A3 (en) 2008-11-20

Similar Documents

Publication Publication Date Title
JP5301429B2 (ja) ゲームコントローラ本体のユーザ操作を検出、追跡し、その動きを入力およびゲームコマンドに変換するための方式
JP5204224B2 (ja) 傾斜角情報と結合したビデオ入力を用いたオブジェクト検出
US9381424B2 (en) Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) Method for mapping movements of a hand-held controller to game commands
US20060256081A1 (en) Scheme for detecting and tracking user manipulation of a game controller body
JP4553917B2 (ja) ゲームプログラムの実行を制御するための入力を取得する方法
US10220302B2 (en) Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US20060264260A1 (en) Detectable and trackable hand-held controller
US9682320B2 (en) Inertially trackable hand-held controller
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US20060282873A1 (en) Hand-held controller having detectable elements for tracking purposes
US20060287084A1 (en) System, method, and apparatus for three-dimensional input control
US20070021208A1 (en) Obtaining input for controlling execution of a game program
US20070265075A1 (en) Attachable structure for use with hand-held controller having tracking ability
JP2012142018A (ja) ジェスチャカタログ生成および認識
EP3711828B1 (en) Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands
KR101020509B1 (ko) 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130619

R150 Certificate of patent or registration of utility model

Ref document number: 5301429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250