JP2012135642A - Scheme for detecting and tracking user manipulation of game controller body and for translating movement thereof into input and game command - Google Patents

Scheme for detecting and tracking user manipulation of game controller body and for translating movement thereof into input and game command Download PDF

Info

Publication number
JP2012135642A
JP2012135642A JP2012057129A JP2012057129A JP2012135642A JP 2012135642 A JP2012135642 A JP 2012135642A JP 2012057129 A JP2012057129 A JP 2012057129A JP 2012057129 A JP2012057129 A JP 2012057129A JP 2012135642 A JP2012135642 A JP 2012135642A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
controller
position information
command
system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012057129A
Other languages
Japanese (ja)
Inventor
Xiadong Mao
Richard Marks
Gary M Zalewski
ザレウスキー、ゲイリー、エム
マークス、リチャード
マオ、シャドン
Original Assignee
Sony Computer Entertainment America Llc
ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/02Accessories
    • A63F13/06Accessories using player-operated means for controlling the position of a specific area display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/10Control of the course of the game, e.g. start, progess, end
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Abstract

PROBLEM TO BE SOLVED: To provide a controller for a computer entertainment system.SOLUTION: A method for use in obtaining information includes receiving on an image plane of a camera a projection of a geometric shape established on a controller 302, analyzing movements and deformities in the projection of the geometric shape 304, and determining position information for the controller based on the analysis of the movements and deformities in the projection of the geometric shape 306. A method for use in providing input to a system includes determining position information for a controller for the system, comparing the determined position information for the controller with predetermined position information associated with commands, and providing a command to the system if the determined position information matches predetermined position information for the command. A method for use in a game may include analyzing the position information to determine whether a predetermined movement of the controller associated with a command has been performed.

Description

本発明は、一般にコンピュータ・エンターテイメント・システムに関し、より詳細には、そのようなコンピュータ・エンターテイメント・システム用のコントローラのユーザ操作に関する。 The present invention relates generally to computer entertainment systems, and more particularly to user operation of the controller for such computer entertainment systems.

コンピュータ・エンターテイメント・システムは、一般的に手持ち型コントローラ、ゲーム・コントローラまたは他のコントローラを含む。 Computer entertainment systems typically include a hand-held controller, game controller, or other controller. ユーザまたはプレーヤは、プレイ中のテレビゲームまたは他のシミュレーションを制御するために、コントローラを使用してエンターテイメント・システムに対してコマンドまたは他の指示を送る。 The user or player, in order to control the video game or other simulation being played, and sends commands or other instructions to the entertainment system using the controller. 例えば、コントローラはユーザにより操作されるマニピュレータ(例えばジョイスティック)を備えていてもよい。 For example, the controller may be provided with a manipulator (e.g., a joystick) which is operated by a user. ジョイスティックの操作された可変量はアナログ値からデジタル値に変換され、ゲーム機のメインフレームに送られる。 Variable amount of engineered joystick is converted from an analog value into a digital value and sent to the main frame of the game machine. コントローラは、ユーザによって操作可能であるボタンを備えていてもよい。 The controller may include a button operable by a user.

これらの情報および他の背景情報に関して、本発明は考案された。 For these information and other background information, the present invention has been devised.

一実施形態は、情報を取得する際に用いられる方法を提供する。 One embodiment provides a method for use in obtaining information. この方法は、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、前記幾何学的形状の射影における動きと変形を解析するステップと、前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、を含む。 The method includes receiving a projective geometry established on the controller in the camera image plane of the step of analyzing the deformation and movement in the projection of the geometric shape, the projection of the geometric shape based on the analysis of the deformation and movement in, and determining the position information of the controller.

別の実施形態は、情報を取得する際に用いられるシステムを提供する。 Another embodiment provides a system for use in obtaining information. このシステムは、幾何学的形状が自身の上で確立されるコントローラと、前記コントローラ上で確立された幾何学的形状の射影を画像平面上で受け取るように構成されたカメラと、前記幾何学的形状の射影における動きと変形を解析して、この解析に基づき前記コントローラの位置情報を決定するように構成された画像解析器と、を含む。 The system includes a controller that geometry is established on itself, a camera projective geometry established on the controller is configured to receive on the image plane, the geometric by analyzing the deformation movement in the projective shape, including, an image analyzer configured to determine a position information of the controller on the basis of this analysis.

別の実施形態は、情報を取得する際に用いられるシステムを提供する。 Another embodiment provides a system for use in obtaining information. このシステムは、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面上で受け取る手段と、前記幾何学的形状の射影における動きと変形を解析する手段と、前記幾何学的形状の射影における動きと変形の解析に基づき、前記コントローラの位置情報を決定する手段と、を含む。 The system includes means for receiving a projection of established geometric shapes on the controller on the camera image plane, and means for analyzing the deformation and movement in the projection of the geometric shape, the geometric shape based on the analysis of the deformation and movement in projection, and means for determining the position information of the controller.

別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。 Another embodiment includes a medium for embodying a computer program that is input into the computer, and a computer program that is embodied in the medium in order to perform the following steps on a computer, the computer program product comprising provide. このコンピュータプログラム製品は、コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップと、前記幾何学的形状の射影における動きと変形を解析するステップと、前記幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報を決定するステップと、を実行する。 The computer program product includes the steps of receiving a projective geometry established on the controller in the camera image plane of the step of analyzing the deformation and movement in the projection of the geometric shape, the geometric shape based on the analysis of the deformation and movement in projection, it executes the steps of determining positional information of the controller.

別の実施形態は、システムに入力を与える際に用いられる方法を提供する。 Another embodiment provides a method for use in providing input to the system. この方法は、システムのコントローラの位置情報を決定するステップと、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、を含む。 The method includes the steps of determining positional information of the controller of the system, and the determined position information of the controller, comparing a predetermined position information associated with the command, the position information the determined is, If that matches the predetermined position information to the command, and providing a command to the system.

別の実施形態は、システムに入力を与える際に用いられるシステムを提供する。 Another embodiment provides a system for use in providing input to the system. このシステムは、システムのコントローラの位置情報を決定する手段と、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較する手段と、前記決定された位置情報が、コマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供する手段と、を備える。 The system includes means for determining the position information of the controller of the system, and the determined position information of the controller, and means for comparing the predetermined position information associated with the command, the position information the determined is, If that matches the predetermined position information to the command, and means for providing a command to the system.

別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。 Another embodiment includes a medium for embodying a computer program that is input into the computer, and a computer program that is embodied in the medium in order to perform the following steps on a computer, the computer program product comprising provide. このコンピュータプログラム製品は、システムのコントローラの位置情報を決定するステップと、前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、を実行する。 The computer program product, step a, the determined position information of the controller, comparing a predetermined position information associated with the command, the position information the determined to determine the position information of the controller of the system If is consistent with predetermined position information to the command, it executes the steps of providing a command to the system.

別の実施形態は、ゲームで使用される方法を提供する。 Another embodiment provides a method for use in the game. この方法は、ユーザによって操作されているコントローラの位置情報を受け取るステップと、前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、を含む。 The method includes the step of determining comprises receiving location information of the controller that is operated by the user, by analyzing the location information, whether or not a predetermined movement of the controller associated with the command is executed, the If the predetermined movement of the controller associated with the command is executed, including a step of executing the command.

別の実施形態は、コンピュータへ入力されるコンピュータプログラムを具現化するための媒体と、コンピュータに以下のステップを実行させるために前記媒体に具現化されているコンピュータプログラムと、を備えるコンピュータプログラム製品を提供する。 Another embodiment includes a medium for embodying a computer program that is input into the computer, and a computer program that is embodied in the medium in order to perform the following steps on a computer, the computer program product comprising provide. このコンピュータプログラム製品は、ユーザによって操作されているコントローラの位置情報を受け取るステップと、前記位置情報を解析して、コマンドに関連づけられたコントローラの所定の動きが実行されたか否かを決定するステップと、前記コマンドに関連づけられたコントローラの所定の動きが実行された場合、前記コマンドを実行するステップと、を実行する。 The computer program product includes determining the step of receiving positional information of the controller that is operated by the user, by analyzing the location information, whether or not a predetermined movement of the controller associated with the command is executed If the predetermined movement of the controller associated with the command is executed, it executes, and executing the command.

本発明の様々な実施形態の特徴および利点は、本発明の実施形態の原理が利用される具体例について述べる以下の詳細な説明および添付の図面を参照することによって、より良く理解されるであろう。 The features and advantages of various embodiments of the present invention, by referring to the embodiment of the principles example the following detailed description and accompanying drawings that describe utilized in the present invention, der to be better understood wax.

本発明の実施形態の上記態様および他の態様、特徴、利点は、以下の図面とともに提示される以下のより詳細な説明から、さらに明らかになるであろう。 Above aspects and other aspects of embodiments of the present invention, features, advantages, from the following more detailed description presented in conjunction with the following drawings, it will become more apparent.

本発明の一実施形態にしたがって動作するシステムを示す模式図である。 It is a schematic diagram showing a system operating in accordance with an embodiment of the present invention. 本発明の一実施形態にしたがって作成されるコントローラの斜視図である。 It is a perspective view of a controller made in accordance with an embodiment of the present invention. 本発明の一実施形態にしたがってコントローラの位置情報を決定する方法を示す模式図である。 It is a schematic diagram illustrating a method for determining the controller position information in accordance with one embodiment of the present invention. 本発明の一実施形態にしたがってコントローラの位置情報を決定する方法を示す画像平面の平面図である。 It is a plan view of an image plane illustrating a method of determining the position information of the controller in accordance with an embodiment of the present invention. 本発明の一実施形態にしたがって情報を取得する際に用いられる方法を示すフロー図である。 The method to be used to obtain information in accordance with an embodiment of the present invention is a flow diagram showing. 本発明の一実施形態にしたがってシステムに入力を与える際に用いられる方法を示すフロー図である。 It is a flow diagram illustrating a method for use in providing input to the system in accordance with one embodiment of the present invention. 本発明の一実施形態にしたがって本明細書に記載されている方法および技術を実施、実装および/または実行するために使用可能であるシステムを示すブロック図である。 Implementing the methods and techniques described herein in accordance with one embodiment of the present invention, it is a block diagram showing a system can be used to implement and / or execute. 本発明の一実施形態にしたがって本明細書に記載されている方法および技術を実施、実装および/または実行するために使用可能であるプロセッサを示すブロック図である。 Implementing the methods and techniques described herein in accordance with one embodiment of the present invention, it is a block diagram showing a processor can be used to implement and / or execute.

テレビゲームのユーザまたはプレーヤは、一般的に、コントローラ上に配置されたボタン、ジョイスティック等を操作するために、一方の手または両手でゲームコントローラを保持する。 User or player of a video game are generally buttons arranged on the controller, for operating the joystick or the like to hold the game controller with one hand or both hands. ゲームをしている間、ユーザはボタン、ジョイスティック等を操作するとき同時に、コントローラそのものも空中で動かすことが多い。 While playing a game, the user button, at the same time when operating the joystick or the like, the controller itself is also often move in the air. ゲーム中に興奮し、コントローラそのものを空中で動かすことによってゲームの動作または状況を制御しようと試みる傾向のあるユーザもいる。 Excited during the game, some users tend to attempt to control the behavior or situation of the game by moving the controller itself in the air.

本明細書に記載される方法、装置、方式およびシステムの様々な実施形態は、ユーザによるコントローラ本体そのものの動き、動作および/または操作の検出、捕獲および追跡を提供する。 The methods described herein, devices, various embodiments of the method and system, the motion of the controller body itself by the user, operation and / or detection of the operation, to provide capture and tracking. ユーザによるコントローラ本体全体の検出された動き、動作および/または操作は、プレイ中のゲームまたは他のシミュレーションの様々な状況を制御するための追加のコマンドとして使用することができる。 Controller unit overall detected motion by the user, operation and / or operations can be used as additional commands to control various aspects of the game or other simulation being played.

ゲームコントローラ本体のユーザによる操作の検出および追跡は、様々な方法で実施することができる。 Detection and tracking the operation of the user of the game controller body may be implemented in various ways. 例えば、一部の実施形態では、コンピュータ・エンターテイメント・システムとともにカメラ周辺機器を使用して、手持ちコントローラ本体の動きを感知してその動きをゲーム内でのアクションに変換することができる。 For example, in some embodiments, it can be converted using a camera peripheral device with a computer entertainment system senses the movement of the hand-held controller body and its movement into actions in a game. カメラを用いて、コントローラの多くの異なる種類の動きを検出することができる。 Using the camera, it is possible to detect many different types of motion of the controller. 例えば、上下の動き、ひねる動き、横方向の動き、急な動き、杖のような動き、落ち込む動きなどである。 For example up and down movements, twisting movements, lateral movement, jerks, movements such as cane, and the like move from falling. このような動きは、ゲーム内のアクションに変換される様々なコマンドに対応していてもよい。 Such movement may correspond to various commands which are converted into actions in a game.

ゲームコントローラ本体のユーザによる操作の検出および追跡を使用して、多くの異なる種類のゲームやシミュレーション等を実施することができる。 Use detection and tracking the operation of the user of the game controller body may be implemented many different types of games and simulations. これによってユーザは、例えば、剣またはライトセーバーで戦い、杖を用いてアイテムの形状をなぞり、多くの異なる種類のスポーツ競技に参加し、スクリーン上の戦いまたは他の遭遇等に関わることができる。 This by the user, for example, tracing the shape of the item by using the fight, a cane with a sword or lightsaber, can be involved in many different participating in the kind of sport competition, the battle on the screen or other encounters, and the like.

図1Aを参照すると、本発明の一実施形態により作動するシステム100が示されている。 Referring to FIG. 1A, has the system 100 is shown that operates in accordance with an embodiment of the present invention. 図示するように、コンピュータ・エンターテイメント・システムまたはコンソール102は、テレビゲームまたは他のシミュレーションの画像を表示するためにテレビまたは他のビデオディスプレイ104を用いる。 As illustrated, computer entertainment system or console 102 uses a television or other video display 104 to display an image of a video game or other simulation. ゲームまたは他のシミュレーションは、DVD、CD、フラッシュメモリ、USBメモリ、またはコンソール102に挿入される他のメモリ媒体106に保存されてもよい。 Game or other simulation, DVD, CD, flash memory, may be stored USB memory, or other memory media 106 that is inserted in the console 102. ユーザまたはプレーヤ108は、ゲームコントローラ110を操作してテレビゲームまたは他のシミュレーションを制御する。 User or player 108 manipulates a game controller 110 to control the video game or other simulation.

コントローラ110がカメラの視野114の中に収まるように、カメラまたは他のビデオ画像取得装置112が配置される。 Controller 110 to fit into the camera's field of view 114, a camera or other video image capturing device 112 is arranged. 図示するように、カメラ112はビデオディスプレイ104の上に置かれてもよいが、カメラをどこに配置してもよいことは十分理解されなければならない。 As shown, the camera 112 may be placed on top of the video display 104, it should be appreciated that it may be arranged camera anywhere. 一例として、カメラ112は、市販のEyeToy(登録商標)製品のようなカメラ周辺装置であってもよい。 As an example, the camera 112 may be a camera peripheral device such as a commercially available EyeToy (TM) product. しかし、いかなる種類またはブランドのカメラでも使用可能であることを十分理解しなければならない。 However, it must be fully understood that it is can be used in any type or brand of the camera. 例えば、ウェブカメラ、アドオンのUSBカメラ、赤外線(IR)カメラ、高フレームキャプチャレートのカメラなどである。 For example, a web camera, add-on USB camera, infrared (IR) camera, a high frame capture rate of the camera.

作動中、ユーザ108はコントローラ110そのものを物理的に動かす。 In operation, the user 108 physically moves the controller 110 itself. すなわち、ユーザ108は空中でコントローラ110の全体を物理的に動かす。 That is, the user 108 physically moves the entire controller 110 in the air. 例えば、コントローラ110をユーザ108により任意の方向、つまり上下、左右、ねじり、回転、揺さぶり、急な動き、落ち込みのように動かすことができる。 For example, any direction the controller 110 by the user 108, i.e. vertically, horizontally, twisting, rotation, shaking, jerks, can be moved as depression. コントローラ110自体のこれらの動きは、以下に記す方法で画像解析による追跡によってカメラ112により検知および取得することができる。 These movements of the controller 110 itself may be detected and acquired by the camera 112 by the tracking by image analysis in the manner described below.

一般に、検知され取得されたコントローラ110の動きを使用して、コントローラ110の位置データと方向データを生成することができる。 In general, using the motion of the controller 110 is detected is acquired, it is possible to generate the position data and direction data of the controller 110. 画像フレーム毎にこのデータが収集されるので、データを用いてコントローラ110の動きの多くの物理的状況を計算することができる。 Since this data is collected for each image frame, it is possible to calculate the number of physical status of the motion of the controller 110 with data. 例えば、任意の軸に沿ったコントローラの加速度および速度、その傾き、ピッチ、ヨー、ロール、およびコントローラ110の任意の遠隔測定点などである。 For example, the acceleration and velocity of the controller along any axis is the slope, pitch, yaw, roll, and any telemetry points of the controller 110, such as.

コントローラ110の動きを検出し追跡する能力により、コントローラ110の予め定義された動きが実行されるか否かを判定することが可能になる。 The ability to track and detect the movement of the controller 110, it is possible to determine whether predefined movements of the controller 110 is performed. すなわち、コントローラ110の特定の動きパターンまたはジェスチャを、ゲームまたは他のシミュレーションのための入力コマンドとして予め定義し用いることができる。 That is, certain movement patterns or gestures of the controller 110, can be used to pre-defined as a game or other input commands for simulation. 例えば、コントローラ110を落下させるジェスチャを一つのコマンドとして定義することができ、コントローラ110をひねるジェスチャを別のコマンドとして定義することができ、コントローラ110を揺さぶるジェスチャを別のコマンドとして定義することができるなどである。 For example, it is possible to define a gesture for dropping the controller 110 as a single command, it is possible to define a gesture twisting the controller 110 as another command, it is possible to define a gesture shakes controller 110 as another command and the like. このように、ユーザ108がコントローラ110自体を物理的に動かす態様を、ゲームを制御するためのもう一つの入力として使用する。 In this way the manner in which the user 108 moves the controller 110 itself physically is used as another input for controlling the game. これにより、より刺激的で面白い体験をユーザに提供する。 As a result, to provide a more exciting and interesting experience for the user. コントローラ110の動きをゲームの入力コマンドに割り当てる方法が以下で説明される。 How to assign the movements of the controller 110 to the game input commands are described below.

図1Bを参照すると、本発明の実施形態にしたがって作成されるコントローラ110のより詳細な図が示されている。 Referring to Figure 1B, there is shown a more detailed view of the controller 110 that is created in accordance with an embodiment of the present invention. コントローラ110は本体111を含む。 The controller 110 includes a body 111. 本体111は、人が手で保持する(または、ウェアラブル・ゲームコントローラである場合は着用する)ゲームコントローラ110の一部である。 Body 111, the person is held in the hand (or, to wear if a wearable game controller) which is part of the game controller 110. ユーザにより操作可能である入力装置は、例えば、コントローラ上のボタンまたは多軸操作スティックなどである。 Input device is operable by the user, for example, a button or multi-axis operation stick on the controller. 一つ以上のボタンが本体111に配置されていてもよい。 One or more buttons may be disposed in the body 111. 本体は手で保持できるハウジングを含んでもよい。 The body may include a housing that can be held by hand. ハウジングは手で把持可能なグリップを含んでもよい。 The housing may include a graspable hand grip. したがって、ユーザ108がコントローラ110そのものを物理的に動かすとき、動作の間、ユーザ108はコントローラ110の本体111を物理的に動かす。 Therefore, when the user 108 physically moves the controller 110 itself, during operation, the user 108 physically moves the body 111 of the controller 110. ユーザは空中ですなわち自由空間で本体111を動かす。 The user moves the body 111 in the air at or free space.

ゲームコントローラにより制御されるゲームの進行がスクリーン上に表示されるとき、本体111はスクリーンの方向を向いた前部を有していてもよい。 When progress of the game controlled by the game controller is displayed on the screen, the body 111 may have a front facing direction of the screen. 少なくとも1台の入力装置が、ユーザからの入力を登録するためにユーザにより操作可能である入力装置とともに、本体111に組み付けられていてもよい。 At least one input device, together with the input device is operable by a user to register an input from the user, or may be assembled to the body 111.

一つまたは複数の発光ダイオード(LED)が、幾何学的形状で構成された本体の上に配置されていてもよい。 One or more light emitting diodes (LED) may be disposed on the body configured by geometry. または、別の種類の光検出可能な(PD)要素が本体111と組み付けられていてもよい。 Or other type of photodetector capable (PD) element may be assembled with the body 111. 前部が少なくともスクリーンの方向を向いているときに、光検出可能な要素の位置が、画像取得装置によって記録中の画像の範囲内にあってもよい。 When the front is oriented at least the screen, the position of the light detectable elements may be in the range of the image being recorded by an image acquisition device. 空間内での本体111の動きを定量化することで、異なる時点におけるPD要素の位置を定量化することができる。 To quantify the movement of the body 111 in space, it is possible to quantify the position of the PD element at different points in time.

この実施形態では、コントローラ110は4つの発光ダイオード(LED)122、124、126、128を含む。 In this embodiment, the controller 110 includes four light emitting diodes (LED) 122, 124, 126, 128. 図示するように、4つのLED122、124、126、128は実質的に正方形または長方形のパターンで配置されてもよく、RlボタンとLlボタンの間のコントローラ110のブリッジ部に配置されてもよい。 As shown, four LED122,124,126,128 may be arranged in a pattern of substantially square or rectangular, it may be disposed in the bridge portion of the controller 110 between the Rl button and Ll buttons. したがって、本実施形態では、幾何学的形状は実質的に正方形か長方形のパターンである。 Thus, in this embodiment, the geometry is a pattern of substantially square or rectangular. 4つのLED122、124、126、128で作られる正方形または長方形のパターンは、本明細書ではLEDにより形成される「バウンディング・ボックス(bounding box)」と呼ぶ。 Four square or rectangular pattern made of LED122,124,126,128 is herein formed by LED is referred to as a "bounding box (bounding box)".

幾何学的形状が多くの異なる形状であってもよいことは、十分理解されなければならない。 Geometries it may be a number of different shapes, it should be well understood. 例えば、幾何学的形状は線形パターンでも二次元パターンであってもよい。 For example, the geometry may be a two-dimensional pattern in a linear pattern. LEDを線形配置するのが好ましいが、代替的に、LEDを長方形パターンまたは円弧パターンで配置して、画像取得カメラにより取得されるLEDパターンの画像を解析するときの、LED配列の画像平面の決定を容易にすることができる。 It is preferable to linearly arrange the LED, alternatively, by arranging the LED in a rectangular pattern or a circular arc pattern, when analyzing an image of the LED pattern obtained by the image obtaining camera, the determination of the image plane of the LED array it is possible to facilitate.

コントローラの図示した実施形態は4つのLEDを利用するが、他の実施形態が5つ以上または4つ未満のLEDを利用してもよいことは十分理解されなければならない。 The illustrated embodiment of the controller utilizes four LED, should be appreciated that it may be other embodiments utilize more than four or less than four the LED. 例えば、3つのLEDでも機能するし、二つのLEDでも追跡情報を提供するように機能する。 For example, functions even three LED, functions to provide tracking information even two the LED. 1つのLEDであっても、位置情報を提供することができる。 Even one LED, it is possible to provide location information. さらに、LEDはコントローラ110の異なる部分に置かれてもよい。 Furthermore, LED may be placed in different parts of the controller 110.

4つのLED 122、124、126、128は、カメラ112(図1A)により認識される4つの点またはドットを生成する。 Four LED 122, 124, 126, 128 generates four points or dots that are recognized by the camera 112 (FIG. 1A). 手にコントローラ110を持つプレーヤ108をカメラ112が見ているので、カメラ112は、4つのLED 122、124、126、128により作られるドットとこれらが作るバウンディング・ボックスの動きを追跡することによって、コントローラ110の動きを追跡することができる。 Because the player 108 with the controller 110 in hand looking camera 112, camera 112, by tracking dots and movement of the bounding box that they make made by four LED 122, 124, 126, 128, it is possible to track the movement of the controller 110.

すなわち、ユーザ108がコントローラ本体110をひねったり回転したりすると、4つのドットの射影がカメラ112の出力の画像平面上に投影される。 That is, when the user 108 or to rotate or twist the controller body 110, the projection of the four dots are projected onto the image plane of the output of the camera 112. コントローラのユーザによる操作を追跡し、コントローラの位置と方向を決定するために、画像解析を使用する。 Track operation by the controller of the user, in order to determine the position and orientation of the controller, using an image analysis. このように、4つのLED122、124、126、128は、本体の動きに関する情報を生成する。 Thus, four LED122,124,126,128 generates information about the movement of the body. 1台または2台のコントローラの位置を決定することができ、または、2台のコントローラの相対動作を追跡することができる。 You can determine the location of one or two controllers, or can track the relative movement of the two controllers.

図2Aは、バウンディング・ボックスを用いてコントローラの動きを追跡する方法の例を示す。 Figure 2A shows an example of a method for tracking the movement of the controller by using a bounding box. 具体的には、コントローラと4つのLED122、124、126、128がカメラ112の視野114の範囲内に配置される。 Specifically, the controller and four LED122,124,126,128 is disposed within the field of view 114 of the camera 112. コントローラが初期位置にあるとき、4つのLED122、124、126、128はバウンディング・ボックス202を形成する。 When the controller is in the initial position, four LED122,124,126,128 form a bounding box 202. コントローラが第2の位置へ移動すると、4つのLED122、124、126、128は第2のバウンディング・ボックス204を形成する。 When the controller is moved to the second position, the four LED122,124,126,128 forming a second bounding box 204. 加えて、コントローラが初期位置から第2の位置へと移動するとき、移動速度とカメラ112のフレームレートとに応じて、バウンディング・ボックスの中間位置も取得される。 In addition, when the controller is moved from the initial position to the second position, depending on the frame rate of the moving speed and the camera 112, an intermediate position of the bounding box is also obtained.

4つのLED122、124、126、128によって形成されるバウンディング・ボックス202、204が、カメラ112の画像平面で取得される。 Bounding box 202, 204 is formed by four LED122,124,126,128 is acquired by the image plane of the camera 112. 図2Bは、バウンディング・ボックス202および204を表しているカメラ112の画像平面220の一例を示す。 Figure 2B illustrates an example of an image plane 220 of camera 112 representing the bounding box 202 and 204. バウンディング・ボックスの運動と、バウンディング・ボックスの長方形がコントローラの傾き、ヨー等に基づき異なる形状に変形する仕方を導出し決定するために、物理解析を実行する。 And movement of the bounding box, the inclination of the bounding box rectangle controller to determine derives how to deform into different shapes based on the yaw, etc., to perform physical analysis. バウンディング・ボックスを画像平面上に投影することによって、コントローラの位置、方向、加速度、速度等を決定することができる。 By projecting the bounding boxes on the image plane, it can be determined the position of the controller, direction, acceleration, and speed. そして、これらを用いてゲームコントローラのユーザ操作を追跡することができる。 Then, it is possible to track the user manipulation of the game controller using these.

図3Aを参照すると、本発明の一実施形態にしたがってコントローラから情報を取得する際に用いられる方法300が示されている。 3A, the method 300 for use in obtaining information from the controller is shown in accordance with an embodiment of the present invention. 方法300は多くの異なる種類のシステムおよび装置(例えば、エンターテイメント・システム、コンソール、コンピュータ、家電装置など)で実施および実行することができる。 The method 300 can be practiced and carried out in many different types of systems and devices (e.g., entertainment systems, consoles, computers, consumer electronics devices, etc.). 方法300を実行するために使用可能なシステムの例が以下で説明される。 Examples of usable system to perform the method 300 will be described below.

方法300は、コントローラ上で確立される幾何学的形状の射影がカメラの画像平面で受け取られるステップ302から始まる。 The method 300 begins at step 302 where the projection of a geometric shape established on the controller is received at the image plane of the camera. 上述したようにしてこのステップを実行することができる。 In the manner described above it is possible to perform this step.

ステップ304で、幾何学的形状の射影における動きと変形が解析される。 In step 304, the motion and deformation in the projective geometry is analyzed. すなわち、バウンディング・ボックスの4つのドットが追跡され解析される。 That is, four dots of the bounding box is tracked analyzed. カメラ出力の画像平面上でフィールドおよびフレーム解析が実行されて、4つの参照点の操作を解析し、コントローラの位置、方向、傾き、ヨー、ロール等を決定する。 Field and frame analysis on the image plane of the camera output is performed to analyze the operation of the four reference points, the position of the controller, orientation, tilt, yaw, to determine the roll or the like. さらに、コントローラの加速度を任意の方向で追跡することができる。 Furthermore, it is possible to track the acceleration of the controller in any direction. 画像のフレームの解析により、任意の軸に沿った加速度を求めることができる。 Analysis of the frame of the image, it is possible to determine the acceleration along any axis. コントローラの遠隔測定点を計算することもできる。 It is also possible to calculate the telemetry points of the controller. コントローラが静止位置または静止状態にあるか否か、例えばコントローラがユーザの腰の近くで中立状態または安定状態にあるかを決定することもできる。 Controller whether the rest position or rest, for example, the controller may determine whether a neutral state or a stable state in the vicinity of the waist of the user.

コントローラが回転すると、画像が平面上で変換する。 When the controller is rotated, the image is converted on a plane. バウンディング・ボックスの長方形の幅の変化は、コントローラが回転していることを示す。 Change rectangle the width of the bounding box indicates that the controller is rotating. コントローラのヨーが調節されて、長方形の幅が変化する。 And yaw of the controller is adjusted, rectangular width changes. ヨーは長方形の幅にマップされる。 Yaw maps to the width of the rectangle. コントローラの傾きは、長方形の高さに影響を与える。 Controller slope affects the rectangle height.

例えば、バウンディング・ボックス202(図2B)は、コントローラがカメラをまっすぐ前方に見るように最初に置かれたことを示す。 For example, the bounding box 202 (FIG. 2B), indicating that the controller has been placed in the first to look straight ahead camera. バウンディング・ボックス204は、コントローラがその後下方に動かされ、回転し、ユーザの左方に向いたことを示す。 Bounding box 204 indicates that the controller is then moved downward, rotated, oriented to the left of the user.

画像平面は変形した長方形を見るだけであるので、コントローラが「基平面」のいずれの側に置かれているのかを知ることが困難である。 Since the image plane only sees a rectangle deformed, it is difficult to know the controller is placed on either side of the "base plane". 例えば、ユーザがコントローラを操作して軸水平線の向こう側に等距離だけコントローラを動かす時間の間に、誰かがカメラの前を歩いてカメラを遮るような場合に、この問題が生じ得る。 For example, during the time the user moves the controller equal distances across the axial horizontal line by operating the controller, if someone such as blocking the camera walking in front of the camera, this problem may occur. これは、バウンディング・ボックスが画像平面で同じものを見る原因にもなり得る。 This bounding box may also cause see the same thing in the image plane. コントローラが画像取得装置の視野領域の外側に移動する場合にも、これは起こりえる。 Controller even when moving outside the viewing area of ​​the image acquisition device, which can occur.

このように、変形が正または負の傾きまたはロール(安定した状態の元の位置から離れた上下および左右の動きに関しての正負)により引き起こされているか否かに関する判定が必要である。 Thus, variations are required determination as to whether or not caused by positive or negative slope or roll (positive and negative with respect to stable vertical and horizontal movement away from the original position state). この判定は、コントローラからの他の遠隔測定を読むか、またはLEDをストロボ発光あるいは変調させて、ビデオ解析システムが追跡目的のためにバウンディング・ボックスの長方形の個々の角を識別可能とすることによって、解決することができる。 This determination can either read the other telemetry from the controller or LED strobe flash or not modulated, and by video analysis system allows identifying the individual corners of the bounding box rectangle for tracking purposes , it can be solved. バウンディング・ボックスの異なる角の認識の助けとなるように、LEDをストロボ発光するかまたは変調させることができる。 To assist in the recognition of different angular of the bounding box, the LED can be or modulated strobe light. あるいは、バウンディング・ボックスの異なる角の認識の助けとなるように、各LEDに特有の周波数を持たせてもよい。 Alternatively, To assist the recognition of different angular of the bounding box may be provided with a specific frequency to each LED. 境界領域の特定の角、すなわち各LEDを識別することによって、任意の時点においてコントローラが水平線のいずれの側にあるかを判定することができる。 Certain corners of the bounding region, i.e. by identifying each LED, it is possible to determine whether the controller is in either side of the horizontal line at any given time. このようにして、カメラ平面を通り抜けるコントローラに関連した問題を取り扱うことができる。 In this way, it is possible to handle the problems associated with the controller passing through the camera plane.

スクリーン上でのバウンディング・ボックスの動きと回転の追跡は、フレーム単位の解析に基づく。 Tracking and rotation movement of the bounding box on the screen, based on the analysis of the frame. カメラの出力は画像データのフレームを作成する。 The output of the camera to create a frame of image data. バウンディング・ボックスの射影がソフトウェアで取得される。 Projection of the bounding box is obtained by software. フレームを横切るコントローラの動きは、箱の変換に基づいている。 Movement of the controller across the frames is based on the conversion of the box.

高フレームレートを用いることで、コントローラの動きの加速度と加速度の変化を正確に追跡することができる。 By using the high frame rate, it is possible to accurately track the changes in the acceleration and the acceleration of the movement of the controller. すなわち、高いレートで平面上に画像を投影することで、コントローラのデルタ運動を追跡することができる。 That is, by projecting the image on a plane at a high rate, it is possible to track the delta movements of the controller. これにより、加速度、加速度が最大になる点、重力がゼロになる点、および変曲点をプロットすることが可能になる。 Thus, acceleration, that the acceleration is maximized in that gravity becomes zero, and it is possible to plot the inflection point. 変曲点は、コントローラが停止して方向を変える変換点である。 The inflection point is the conversion point controller changes direction and stopped. この解析の全ては、画像フレームを解析してバウンディング・ボックスの位置と方向を決定することによって実行される。 All of this analysis is performed by analyzing the image frames to determine the position and orientation of the bounding box. 一例として、毎秒120フレーム以上のフレームレートを使用してもよい。 As an example, it may be used 120 frames per second or higher frame rate. しかし、任意のフレームレートを使用できることを十分理解すべきである。 However, it should be appreciated that it can be used with any frame rate.

以下に述べるように、前のフレームの履歴をマッピングしてもよい。 As discussed below, it may map history of previous frames. これにより、例えば、追跡の加速度および速度、停止点などの特定パラメータを決定するためにコントローラの前の遠隔測定を見ることができる。 Thus, for example, acceleration and speed of the tracking can be seen telemetry previous controller to determine the specific parameters such as stop points.

ステップ306(図3A)で、幾何学的形状の射影における動きと変形の解析に基づき、コントローラの位置情報が決定される。 In step 306 (FIG. 3A), based on the analysis of the deformation and movement in the projective geometry, position information of the controller is determined. 一例として、画像解析器を用いてステップ304および306の一方または両方を実行することができる。 As an example, it is possible to perform one or both of steps 304 and 306 using an image analyzer. すなわち、画像解析器を用いて、カメラの画像平面におけるバウンディング・ボックスの動きと変形の解析を実行することができる。 That is, using the image analyzer, it is possible to perform the analysis of the deformation and movement of the bounding box in the image plane of the camera. ビデオカメラの出力は、画像解析器の入力に接続される。 The output of the video camera is connected to an input of an image analyzer. 本明細書に記載される一つまたは複数の方法、方式および機能を実施するために画像解析器を組み込むシステムの一例を以下に述べる。 One or more of the methods described herein, an example of a system incorporating an image analyzer to implement the method and functions described below.

画像解析器は、カメラの画像平面で取得される参照LEDで形成されるバウンディング・ボックスを監視する。 Image analyzer monitors the bounding box formed by the reference LED to be acquired by the image plane of the camera. 画像解析器は、バウンディング・ボックスの位置、回転、水平方向および垂直方向の変形を解析し、コントローラの物理的なユーザ操作、その位置、ロール、傾き、およびヨー座標を決定する。 Image analyzer, the position of the bounding box, rotary, analyzes the deformation of the horizontal and vertical directions, the physical user manipulation of the controller, its position, determined roll, tilt, and yaw coordinates. 画像解析の終了後、出力IDその他の形でデータを出力してもよい。 After completion of the image analysis, the output ID may output data in other forms. 画像解析から得られたこのような出力IDは、任意の軸に沿ったx、y、z座標、加速度および速度、コントローラが静止位置または静止状態にあるか等のデータを含んでもよい。 Such output ID obtained from the image analysis may include x along any axis, y, z coordinates, acceleration and velocity, the data such as whether the controller is in a static position or stationary. こうして、画像解析の終了後、画像解析器はコントローラの場所およびコマンドが発行されるか否かを示すことができる。 Thus, after the completion of the image analysis, image analyzer can indicate whether the controller location and command is issued. そして、画像解析器は任意の瞬間でpingを実行することができ、位置、方向、最後のコマンド等を提供することができる。 The image analyzer can ping at any moment, the position, it is possible to provide a direction, the end of the command, and the like.

一例として、画像解析器は以下の出力を提供することができるが、これらに限られない: As an example, the image analyzer may provide the following output, but are not limited to:
コントローラの位置(X、Y、Z座標) Controller position (X, Y, Z coordinates)
コントローラの方向 アルファ、ベータ、ガンマ(ラジアン) Controller of direction alpha, beta, gamma (radians)
コントローラのX軸速度 コントローラのY軸速度 コントローラのZ軸速度 コントローラのX軸加速度 コントローラのY軸加速度 コントローラのZ軸加速度 安定状態の静止位置 Y/N(上述の腰の位置。しかし、任意の位置として定義することができる) Rest position Y / N (the position above the waist of the Z-axis acceleration stable state of the Y-axis acceleration controller Z-axis speed controller X-axis acceleration controller of the controller X-axis speed controller in the Y-axis speed controller. However, any position can be defined as)
最後の安定状態からの時間 認識された最後のジェスチャ 最後に認識されたジェスチャの時刻 到達したゼロ加速度点の割り込み これらの出力はそれぞれ、上述したようにバウンディング・ボックスの動きと変形を解析することによって生成することができる。 Each end of the interruption of the output of the time recognized last gesture last known time reached zero acceleration point gesture from a stable state, by analyzing the deformation and movement of the bounding box as described above it can be generated. コントローラの動きを追跡するために、これらの出力をさらに処理してもよい。 To track the movement of the controller may be further processes these outputs. このような追跡によりコントローラの特定の動きを認識することが可能となり、これを用いて以下に述べるように特定のコマンドを起動させることができる。 Such it is possible to recognize the particular motion of the controller by tracking, it is possible to start a specific command as described below with reference to this. 上記の出力に加えて、または上記の出力の代わりに他の多くの出力を使用できることは十分理解されなければならない。 In addition to the output of the above, or it should be appreciated that use many other output instead of the output.

画像解析器へのさらなる入力を任意に提供することができる。 Additional inputs to the image analyzer can be arbitrarily provided. このような任意の入力には以下が含まれるが、これらに限られない: Although it includes the following in any such input, but are not limited to:
設定ノイズレベル(X、YまたはZ軸)(これは、ゲームでの腕のいらいら(jitter)を解析するときの参照許容値である) Setting the noise level (X, Y or Z axis) (which is the reference tolerance when analyzing frustrating arm in game (jitter))
設定サンプリングレート(カメラのフレームが取得され解析される頻度) Setting the sampling rate (frequency of the frame of the camera is acquired and analyzed)
設定ギア比率(gearing) Setting gear ratio (gearing)
設定マッピングチェーン Setting mapping chain

上述のように、コントローラ110の動きを検出し追跡する能力により、コントローラ110の任意の予め定義された動きが実行されるか否かについて決定することが可能になる。 As described above, the ability to track and detect the movement of the controller 110, it is possible to determine whether any predefined movements of the controller 110 is performed. すなわち、コントローラ110の特定の動きパターンまたはジェスチャをマッピングして、ゲームまたは他のシミュレーションのためにコマンドを入力することができる。 That is, by mapping a particular movement pattern or gesture of the controller 110, can enter commands for the game or other simulation.

図3Bを参照すると、本発明の一実施形態にしたがってシステムに入力を与える際に用いられる方法320が示されている。 Referring to Figure 3B, a method 320 for use in providing input to the system is depicted in accordance with an embodiment of the present invention. 方法320は、システムのコントローラの位置情報が決定されるステップ322から始まる。 The method 320 begins at step 322 where the position information of the controller of the system is determined. このステップは、上述の方法および技術を使用して実行することができる。 This step may be performed using the above-described methods and techniques.

ステップ324で、コントローラの決定された位置情報が、コマンドと関連する予め定められた位置情報と比較される。 In step 324, the position information determined for the controller is compared with predetermined position information associated with commands. すなわち、任意の数のコントローラの異なる動き、ジェスチャまたは操作を様々なコマンドに割り振ることができる。 That is, any number of controllers of different movements, gestures or the operation may be allocated to the various commands. これにより、コントローラの異なる動き、ジェスチャまたは操作をゲームモデルにマッピングすることができる。 This makes it possible to map different movements of the controller, gesture or operating the game model. 例えば、コントローラを上に動かすことを1つのコマンドに割り振り、コントローラを下に動かすことを別のコマンドに割り振り、他の任意の方向にコントローラを動かすことを他のコマンドに割り振ることができる。 For example, allocates to move up the controller into a single command, the controller to allocate to move down to another command, it is possible to allocate to move the controller in any other direction to other commands.

同様に、コントローラを一回揺することを一つのコマンドに割り振り、コントローラを二回揺することを別のコマンドに割り振り、以下同様にコントローラを三回、四回、五回等揺することを他のコマンドに割り振ることができる。 Similarly, allocates shaking once the controller to one command, allocates shaking twice controller to another command, and so the controller three times, four times, the shaking five times or the like other commands it can be allocated. すなわち、コントローラを特定の回数だけ揺することに基づき、様々なジェスチャを定めることができる。 That is, based on the shaking the controller certain number of times, can be determined a variety of gestures. コントローラを特定の回数だけ強く上下に揺することに基づき、さらに他のジェスチャを定めることができる。 Based on shaking the controller a strongly vertically certain number of times, it is possible to further define the other gestures. ひねり、回転等のコントローラの他の動きをさらに他のコマンドに割り振ることができる。 Twist, the other movements of the controller such as rotation can be further allocated to other commands.

このように、ゲームコントローラの様々な異なる軌跡をジェスチャに割り振ることができ、これがゲームのコマンドを起動させる。 Thus, it is possible to allocate various different trajectories of the game controller to gesture, which activates the game command. 各コマンドは、コントローラの予め定められた動きに割り振られる。 Each command is allocated to a predetermined movement of the controller. このようなコントローラの予め定められた動きは、予め定められた位置情報に関連づけられる。 Predetermined motion of such controllers are associated with the predetermined location. この実施形態では、コントローラの決定された位置情報を予め定められた位置情報と比較して、コマンドを起動させるか否かが確認される。 In this embodiment, as compared with the predetermined position information position information determined in the controller, whether to start the command is confirmed.

一例として、このようなジェスチャのゲームコマンドへのマッピングを以下のようにして実施することができる。 As an example, a mapping to such a gesture game commands can be carried out as follows. コントローラの位置および方向情報を決定するために、画像解析器の出力を使用することができる。 To determine the position and direction information of the controller can use the output of the image analyzer. 画像解析器は、コントローラの位置と方向を表す様々な異なるIDを出力することができる。 Image analyzer may output various different ID representing the position and orientation of the controller. 例えば、1つのIDが定常状態の判定のための出力であり、別のIDがコントローラの振動を示すための出力であり、様々な他のIDが他の方向を示すための出力であってもよい。 For example, an output for determining one ID is the steady state, the output for different ID indicates vibration of the controller, be the output for various other ID indicates the other direction good. したがって、このようなIDを用いて、コントローラが定常状態にあるか移動中であるかを出力することができる。 Thus, using such ID, it is possible that the controller outputs whether a moving or is in a steady state. コントローラが定常状態にある場合、IDはコントローラが定常状態にある時間を示してもよい。 If the controller is in steady state, ID may indicate the time that the controller is in a steady state.

コントローラの決定された位置および方向情報は、ゲームの入力コマンドと関連する予め定められた位置情報と比較されてもよい。 Position and orientation information is determined in the controller may be compared with predetermined position information associated with the game input commands. 決定された位置情報が所定の位置情報と一致する場合、コマンドがエンターテイメント・システムに提供される。 If determined position information matches the predetermined position information, a command is provided to the entertainment system. また、コントローラの上下動、円を描くひねり、左右の動き、上下動中のひねり、右または左への回転と言った様々なジェスチャを、全て様々なコマンドに割り振ることができる。 The controller of the vertical movement, twisting to draw the circle, the left and right movements, twisting in vertical movement, the various gestures that said rotation to the right or left, may be allocated all various commands.

新しいコマンドまたはジェスチャが認識されると、画像解析器は割り込みを起動してもよい。 When a new command or gesture is recognized the image analyzer may be activated interrupt. このような割り込みの起動を、エンターテイメント・システムにコマンドを提供するプロセスの一部として用いてもよい。 The activation of such interruption, may be used as part of the process of providing the command to the entertainment system. 軸内でのゼロ加速点、停止点および/または他のイベントもまた割り込みを起動するように、システムを任意に構成してもよい。 Zero acceleration points in the axes, stop points and / or other events also to start an interrupt may be optionally configure the system.

決定された位置および方向情報を入力コマンドに関連する予め定められた位置情報と比較して一致するか否かを見るとき、完全な一致が存在しない場合もしばしば発生する。 When the determined position and orientation information as compared to the predetermined position information associated with input commands see if they match, also often occurs if an exact match does not exist. これは、コントローラが自由空間で動くため、予め定義された動きを正確に再現することが困難な場合があるためである。 This is because the controller moves in free space, there may be a case where it is difficult to accurately reproduce the predefined motion. したがって、コマンドを起動させるために予め定められた位置情報に十分近いとみなされる範囲、許容値および/または閾値に関して、入力コマンドに関連する予め定められた位置情報を定義しておいてもよい。 Therefore, the range is regarded as sufficiently close to the predetermined position information for starting the command, with respect to tolerance and / or thresholds may be a good idea to define predetermined position information associated with input commands. すなわち、閾値または範囲に関してコマンドを定義してもよい。 That may be defined commands regarding threshold or range. このように、任意のコマンドまたはジェスチャが認識されたか否かを判定するときに、システムは、決定された位置および方向情報がジェスチャの範囲内に含まれるか否かを確認してもよい。 Thus, when determining whether or not recognized any commands or gestures, system, position and direction information determined may confirm whether within the scope of the gesture. したがって、定義されたコマンドは、コマンドを呼び出すか否かを判定するときに見られる閾値を有していてもよい。 Accordingly, command defined may have a threshold value observed when determining whether invoking the command.

さらに、決定された位置および方向情報を入力コマンドに関連する予め定められた位置情報と比較して一致するか否かを見るとき、前のフレームの履歴を保存したりマッピングしたりしてもよい。 Furthermore, the position and orientation information is determined when viewing whether matches compared to predetermined position information associated with input commands may be or maps or save a history of the previous frame . 例えば、フレームバッファを監視してもよいし、またはシステムが前のフレームの履歴を記録し続けるようにしてもよい。 For example, it is possible to monitor the frame buffer, or the system may continue to record the history of the previous frame. 前のフレームを見て、任意のコマンドが満足するか否かを判定してもよい。 Look at the previous frame, it may be determined whether any command is satisfied. フレーム履歴のマッピングにより、特定の時刻におけるコントローラの遠隔測定をして、コマンドが満足するかどうかを判定する際の位置と方向を提供することが可能になる。 The mapping of frame histories, and the telemetry of the controller at a particular time, it is possible to provide a position and orientation in determining whether the command is satisfied.

最後に、ステップ326で、コントローラの決定された位置情報がコマンドの予め定められた位置情報と一致する場合、コマンドがシステムに提供される。 Finally, in step 326, the position information determined in the controller if it matches the predetermined position information of the command, the command is provided to the system. このようなコマンドを用いて、テレビゲームまたは他のシミュレーション内でイベントを発生させたりまたは発生させないようにすることができる。 Using such command, it is possible to not or or generated by generating an event on television game or the other simulation.

他の実施形態では、ゲームコントローラの動きを、例えばテレビゲームにおけるゲームコマンドに割り振ることができる。 In other embodiments, the movement of the game controller, for example can be allocated to game command in the video game. テレビゲームまたは他のシミュレーションで使用可能なこの用法を用いると、ユーザにより操作中のコントローラの位置情報が受け取られる。 With this usage available video games or other simulations, position information of the controller in the operation by the user is received. この位置情報が解析され、コマンドに関連したコントローラの予め定められた動きが実行されたか否かが決定される。 The position information is analyzed, whether or not a predetermined movement of the controller associated with the command is executed is determined. この解析は、上述したように実行することができる。 This analysis may be performed as described above. コマンドに関連するコントローラの予め定められた動きが実行された場合、ゲームによってコマンドが実行される。 If predetermined movement of the controller associated with the command is executed, the command is executed by the game. コマンドの実行により、ゲームが表示されているビデオディスプレイ上で視覚効果またはその他を発生させることができる。 By executing the command, on a video display where the game is displayed it can generate a visual effect or the like.

本明細書の議論は、ゲームまたは他のエンターテイメント・システムのコントローラでのLEDの使用に関しているが、本明細書で提供される教示は、他の種類のシステム、装置、家電等のコントローラの動きの検出および追跡に適用できることを十分理解しなければならない。 Discussion herein, although concerns a LED used in the game or other entertainment system controller, the teachings provided herein, other types of systems, devices, controllers motion appliances such as We shall appreciate that applicable to the detection and tracking. すなわち、上述のゲームコントローラのLEDを使用して、家電装置または任意の装置の遠隔操作機能を実行することができる。 That is, by using the LED of the aforementioned game controller, can perform the remote operation function of the consumer electronic device or any device. コントローラを検出、追跡しその動きをシステムおよび装置のコマンドにマッピングできるように、多くの他の種類のシステムおよび装置のコントローラ上のLEDを用いることができる。 Detecting controller, track to allow mapping of the movements in the command systems and devices, it is possible to use an LED on the controller of the many other types of systems and devices. この種の他の種類のシステムおよび装置の例には、テレビ、ステレオ、電話、コンピュータ、ホームネットワーク、オフィスネットワーク、携帯型コンピュータ装置または通信装置等が含まれるが、これらに限定されない。 Examples of such other types of systems and devices, television, stereo, telephone, computer, home network, office network, but are portable computer device or a communication device or the like, but not limited to.

さらに、本明細書に記載された教示を、いくつかのまたは多数の異なる装置を制御する能力を有する汎用のリモコンに適用することができる。 Furthermore, the teachings described herein, can be applied to general-purpose remote control having several or ability to control a number of different devices. すなわち、そのような汎用のリモコンは本明細書で述べたLEDを含んでもよく、いくつかのまたは多くの異なる装置またはシステムへの入力コマンドとして汎用リモコン本体の動きを用いることができる。 That is, it is possible to use the movement of the universal remote control body as input commands to such universal remote control may include an LED as described herein, several or many different devices or systems.

さらに、ゲームコントローラは汎用の遠隔機能を有していてもよい。 Furthermore, the game controller may have a universal remote function. 例えば、ゲームコントローラにより制御されるゲームの進行がスクリーン上に表示されるとき、スクリーンの方向を向いた前部を有する本体を備えていてもよい。 For example, when the progress of the game controlled by the game controller is displayed on the screen may comprise a body having a front portion facing the direction of the screen. ユーザからの入力を登録するために、ユーザによって操作可能である入力装置を持つ本体に少なくとも1台の入力装置を組み付けてもよい。 To register an input from the user, it may be assembled with at least one input device to the body with an input device operable by a user. 信号エンコーダが含まれてもよい。 The signal encoder may be included. 信号エンコーダにより発生する信号を用いて大気を介して赤外線信号を送信するよう作動可能な赤外線信号送信機が含まれてもよい。 It may include actuatable infrared signal transmitter to transmit an infrared signal through the air using a signal generated by the signal encoder. 信号エンコーダは、赤外線レシーバと選択された一つの信号コードで作動可能な信号デコーダとを有する電子装置による受信のために、複数の信号コードのうち選択された一つを用いて信号を符号化するようプログラム可能であってもよい。 Signal encoder encodes the signal using for reception by an electronic device having a ready signal decoder in one signal code selected infrared receiver, a selected one of the plurality of signal code Yo may be programmable.

さらに、電池式おもちゃ(ブランドゲームの形とスタイルに形成されたおもちゃを含む)をLEDを用いて形成し、検出された環境で追跡されるユーザ操作される本体を形成してもよい。 Furthermore, the battery operated toys (including brand game shape and style formed toys) formed using a LED, may form a body that is a user operation is tracked by the detected environment.

一部の実施形態では、画像解析器はユーザを認識するかまたは音声認証されたジェスチャを処理するなどすることができる。 In some embodiments, the image analyzer may be such as to handle or audio authenticated gestures to recognize the user. ジェスチャを通じてシステムの解析器によりユーザを識別可能であり、ジェスチャはユーザに特有であってもよい。 User by the system of the analyzer through gestures is identifiable, gesture may be specific to the user. ジェスチャはユーザによって記録されてもよいし、モデルに保存されてもよい。 Gestures may be recorded by the user, it may be stored in the model. 記録プロセスは、ジェスチャの記録中に生じた音声を選択的に保存してもよい。 Recording process may selectively store audio generated during gesture recording. 感知された環境をサンプルとして多重チャネル解析器に入力して処理してもよい。 Sensed environment may be processed by entering the multi-channel analyzer as a sample. プロセッサは、ジェスチャモデルを参照し、音声または音響パターンに基づき、高精度かつ高性能にユーザの身元またはオブジェクトを決定し認証してもよい。 The processor refers to the gesture model, based on voice or acoustic patterns may authenticate determines high precision and high performance user identity or objects.

本発明の実施形態によると、本明細書に記載の方法および技術は、図4に示した信号処理装置400の一部として実装することができる。 According to an embodiment of the present invention, methods and techniques described herein may be implemented as part of the signal processing apparatus 400 illustrated in FIG. 装置400は、プロセッサ401とメモリ402(例えば、RAM、DRAM、ROMなど)を含んでもよい。 Device 400 includes a processor 401 and a memory 402 (e.g., RAM, DRAM, ROM, and the like). さらに、並列処理を実装する場合には、信号処理装置400が複数のプロセッサ401を備えていてもよい。 Furthermore, if parallel processing is to be implemented, the signal processing device 400 may comprise a plurality of processors 401. メモリ402は、上述のように構成されたデータとコードを含んでもよい。 Memory 402 may include data and code configured as described above.

具体的には、メモリ402は信号データ406を含んでもよい。 Specifically, the memory 402 may include signal data 406. メモリ402は較正データ408を含んでもよい。 Memory 402 may include calibration data 408. 較正データ408は、例えば、マイク配列422の較正から得られる一つ以上の対応する事前に調整されたリスニングゾーンの一つ以上の逆固有マトリックスC −1を表すデータである。 Calibration data 408 is, for example, data representing the inverse specific matrix C -1 corresponding pre-adjusted the listening zone of one or more than one obtained from a calibration of the microphone array 422. 一例として、メモリ402はマイク配列422を含む18個の20度のセクタのための固有マトリックスを含んでもよい。 As an example, memory 402 may include a unique matrix for 18 20 ° sectors including microphone array 422.

装置400は周知のサポート機能410、例えば入出力(I/O)要素411、電源(P/S)412、クロック(CLK)413およびキャッシュ414等を備えてもよい。 Device 400 may comprise well-known support functions 410, such as input-output (I / O) elements 411, power (P / S) 412, a clock (CLK) 413 and cache 414 or the like. 装置400は、プログラムおよび/またはデータを記憶するディスクドライブ、CD−ROMドライブ、テープ装置等の大容量記憶装置415を任意に備えてもよい。 Device 400, a disk drive for storing programs and / or data, CD-ROM drives, may optionally comprise a mass storage device 415 of the tape device and the like. コントローラは、コントローラ400とユーザとの対話を促進するためのディスプレイ装置416とユーザインタフェースユニット418を任意に備えてもよい。 The controller may optionally comprise a display device 416 and a user interface unit 418 to facilitate interaction between the controller 400 and the user. ディスプレイ装置416は、テキスト、数字、グラフィック・シンボルまたは画像を表示する陰極線管(CRT)またはフラットパネル・スクリーンの形であってもよい。 Display device 416, text, numbers, may be in the form of a cathode ray tube (CRT) or flat panel screen that displays graphical symbols or images. ユーザ・インタフェース418は、キーボード、マウス、ジョイスティック、ライトペンまたは他の装置であってもよい。 User interface 418 includes a keyboard, a mouse, a joystick, may be light pen or other device. さらに、ユーザ・インタフェース418は分析される信号を直接取得するためのマイク、ビデオ・カメラまたは他の信号変換装置であってもよい。 Further, a microphone for acquiring a signal the user interface 418 is analyzed directly, or may be a video camera or other signal transducing device. プロセッサ401、メモリ402およびシステム400の他の構成要素は、図4で示すようにシステムバス420を介して互いに信号(例えば、コード命令とデータ)を交換してもよい。 Processor 401, other components of the memory 402 and system 400, each other signals via the system bus 420 as shown in Figure 4 (e.g., code instructions and data) may exchange.

マイク配列422は、I/O機能411を介して装置400に接続されてもよい。 Microphone array 422 may be coupled to device 400 via the I / O function 411. マイク配列は、隣のマイクと約4cm未満、好ましくは約1〜2cm離して配置された約2〜8個のマイク、好ましくは4個のマイクであってもよい。 Microphone array is less than neighboring microphone and about 4 cm, preferably about 2 to 8 microphones which are spaced apart about 1 to 2 cm, preferably may be a four microphones. 好ましくは、配列422のマイクは全方向性マイクである。 Preferably, the microphone array 422 are omni-directional microphone. オプションの画像取得装置423(例えば、デジタルカメラ)は、I/O機能411を介して装置400に結合される。 Optional image capture unit 423 (e.g., digital camera) is coupled to the device 400 via the I / O function 411. カメラに機械的に結合される一つ以上のポインティングアクチュエータ425は、I/O機能411を介してプロセッサ401と信号を交換することができる。 One or more pointing actuators 425 that are mechanically coupled to the camera may be via the I / O function 411 replacing the processor 401 and the signal.

本明細書においては、I/Oという用語は、一般にシステム400と周辺装置との間でデータをやりとりする任意のプログラム、操作または装置のことを指す。 As used herein, the term I / O generally refers to any program for exchanging data between the system 400 and peripheral devices, the operation or device. あらゆるデータ転送は、一つの装置からの出力および別の装置への入力とみなすことができる。 Any data transfer may be regarded as the input to the output and another device from one device. 周辺装置には、キーボードやマウスなどの入力専用装置、プリンタなどの出力専用の装置の他、入出力装置として機能する書き込み可能なCD−ROM等の装置も含まれる。 Peripheral devices include input-only devices such as a keyboard or a mouse, other output-only devices, such as printers, also includes apparatus such as a writable CD-ROM that functions as input and output devices. 「周辺装置」という用語には、マウス、キーボード、プリンタ、モニター、マイク、ゲームコントローラ、カメラ、外部Zipドライブまたはスキャナ等の外部装置の他、CD−ROMドライブ、CD−Rドライブまたは内蔵モデムなどの内部装置、またはフラッシュメモリ・リーダ/ライタ、ハードディスクなどの他の周辺機器も含まれる。 The term "peripheral device", a mouse, keyboard, printer, monitor, microphone, game controller, camera, other external device such as an external Zip drive or scanner, CD-ROM drives, such as CD-R drive or internal modem internal device or flash memory reader / writer, and also includes other peripheral devices such as a hard disk.

本発明の特定の実施形態では、装置400はテレビゲームユニットであってもよく、ワイヤ(例えば、USBケーブル)または無線によってI/O機能411を介してプロセッサに接続されたジョイスティック・コントローラ430を備えてもよい。 In certain embodiments of the present invention, apparatus 400 may be a video game unit, a wire (e.g., USB cable) comprises a joystick controller 430 coupled to the processor via the I / O function 411 or by radio it may be. ジョイスティック・コントローラ430は、テレビゲームのプレイ中に一般に用いられる制御信号を提供するアナログジョイスティックコントロール431と従来のボタン433とを備えていてもよい。 Joystick controller 430 may include an analog joystick control 431 and conventional buttons 433 that provide control signals commonly used during playing of video games. そのようなテレビゲームは、メモリ402に記憶可能なプロセッサ可読のデータおよび/または命令として実装されてもよいし、あるいは、大容量記憶装置415と関連するような他のプロセッサ可読媒体として実装されてもよい。 Such video games may be implemented as storable processor readable data and / or instructions in the memory 402, or implemented as another processor readable media such as those associated with the mass storage device 415 it may be.

ジョイスティックコントロール431は、コントロールスティックを左右に動かすとX軸に沿った運動の信号を送り、スティックを前後(上下)に動かすとY軸に沿った運動の信号を送るように通常構成されている。 Joystick control 431 sends a signal of movement along the X-axis Moving the control stick to the left and right, and is normally configured to send movement signals along moving the Y axis in the stick back and forth (up and down). 三次元動作用に構成された構成されるジョイスティックでは、スティックを左方向(反時計回り)または右方向(時計回り)にひねるとZ軸に沿った運動の信号を送る。 The joystick constructed configured for three-dimensional operation, signals the movement along the Z-axis twisting the stick left (counter-clockwise) or right (clockwise). これら3軸X、Y、Zは、特に航空機に関してそれぞれロール、ピッチ、ヨーと呼ばれることが多い。 These three axes X, Y, Z, especially each with respect to the aircraft roll, pitch, are often referred to as yaw.

従来の特徴に加えて、ジョイスティック・コントローラ430は一つ以上の慣性センサ432を備えていてもよい。 In addition to conventional features, the joystick controller 430 may include one or more inertial sensors 432. 慣性センサは、慣性信号を介してプロセッサ401に位置情報および/または方向情報を提供することができる。 Inertial sensors may provide position and / or orientation information to the processor 401 via an inertial signal. 方向情報は、ジョイスティック・コントローラ430の傾き、ロールまたはヨーなどの角度情報を含んでもよい。 Direction information, the inclination of the joystick controller 430 may include angular information such as roll or yaw. 一例として、慣性センサ432は、任意の数の加速度計、ジャイロスコープ、傾きセンサであってもよいし、および/またはこれらの組み合わせであってもよい。 As an example, an inertial sensor 432, accelerometer any number of gyroscopes, may be a tilt sensor, and / or a combination thereof. 好ましい実施形態では、慣性センサ432は、傾き軸とロール軸に関してジョイスティック・コントローラの方向を感知するようにされた傾きセンサと、ヨー軸に沿って加速度を感知する第1加速度計と、ヨー軸に対する角加速度を感知する第2加速度計とを備えていてもよい。 In a preferred embodiment, the inertial sensor 432, the tilt sensors adapted to sense the direction of the joystick controller with respect to tilt and roll axes, a first accelerometer for sensing acceleration along a yaw axis, for a yaw axis it may comprise a second accelerometer for sensing the angular acceleration. 加速度計は、一つ以上の方向に対する質量の変位を感知するセンサを持ち一つ以上のバネにより取り付けられた質量を備えるMEMS装置であってもよい。 Accelerometer may be a MEMS device comprising a mass mounted by one or more one or more springs having a sensor for sensing displacement of the mass relative to the direction. 質量の変位に応じたセンサからの信号を用いて、ジョイスティック・コントローラ430の加速度を決定することができる。 Using signals from the sensor corresponding to the mass of the displacement, it is possible to determine the acceleration of the joystick controller 430. このような技術は、メモリ402に保存されプロセッサ401で実行可能なプログラムコード命令404により実装される。 Such techniques, stored in the memory 402 is implemented by program code instructions 404 executable by the processor 401.

一例として、慣性センサ432として適した加速度計は、例えばバネによって3点または4点でフレームに弾性結合された単一の質量であってもよい。 As an example, an accelerometer suitable as the inertial sensor 432 may be, for example, a single mass that is resiliently coupled to the frame at three points or four points by the spring. ピッチ軸とロール軸はフレームを横切る平面内にあり、フレームはジョイスティック・コントローラ430に取り付けられる。 Pitch and roll axes lie in a plane transverse to the frame, the frame is mounted to the joystick controller 430. フレーム(およびジョイスティック・コントローラ430)がピッチ軸とロール軸のまわりを回転すると、重力の影響により質量が変位し、ピッチおよび/またはロールの角度に応じてバネが伸縮する。 The frame (and the joystick controller 430) rotates about pitch and roll axes the mass will displace under the influence of gravity and the springs will elongate or compress in response to the angle of pitch and / or roll. 質量の変位が感知され、ピッチおよび/またはロールの量に応じて信号に変換される。 The displacement and of the mass can be sensed and converted into signals according to the amount of pitch and / or roll. ヨー軸周りの角加速度またはヨー軸に沿った直線加速度は、感知可能であり角加速度または線形加速度の量に応じて信号に変換されるバネ伸縮または質量の動きの特徴的なパターンを生成する。 Linear acceleration along the angular acceleration or yaw axis about the yaw axis, generates a characteristic pattern of spring stretching or mass movement which is converted into a signal according to the amount of sensible and is angular acceleration or linear acceleration. そのような加速度計装置は、質量の動きあるいはバネの伸縮力を追跡することで、傾き、ロール、ヨー軸周りの角加速度およびヨー軸周りの線形加速度を測定することができる。 Such an accelerometer device, by tracking the stretching force of the weight of the motion or the spring, the inclination can be measured roll, the linear acceleration about the angular acceleration and yaw axes about the yaw axis. 質量の位置および/または質量にかかる力を追跡する多くの異なる方法があり、これには、抵抗歪みゲージ材料、フォトニック・センサ、磁気センサ、ホール効果デバイス、圧電デバイス、容量センサなどが含まれる。 There are many different ways to track the position and / or according to the mass forces of mass, This includes resistive strain gauge material, photonic sensors, magnetic sensors, Hall-effect devices, piezoelectric devices, capacitive sensors, and the like .

さらに、ジョイスティック・コントローラ430は、発光ダイオード(LED)等の一つ以上の光源434を含んでもよい。 Further, the joystick controller 430 may include one or more light sources 434 such as a light emitting diode (LED). 光源434は、あるコントローラと別のコントローラとを区別するのに用いられてもよい。 Light source 434 may be used to distinguish one controller and another controller. 例えば、LEDパターンコードを点滅するか保持するかによって一つ以上のLEDでこれを達成することができる。 For example, depending on whether to retain or flashing an LED pattern code can accomplish this in one or more the LED. 一例として、5個のLEDを線形パターンまたは二次元パターンでジョイスティック・コントローラ430上に設けることができる。 As an example, it is possible to five LED in a linear pattern or a two-dimensional pattern provided on the joystick controller 430. LEDを線形配列するのが好ましいが、代わりに、画像取得装置423により取得されるLEDパターンの画像を解析するときにLED配列の画像平面の決定を容易にすべく、LEDを長方形パターンまたは円弧状パターンで配置してもよい。 LED preferably linearly arranged, but instead, in order to facilitate determination of an image plane of the LED array when analyzing an image of the LED pattern obtained by the image capture unit 423, the LED rectangular pattern or arcuate it may be arranged in a pattern. さらに、LEDパターンコードを使用して、ゲーム中にジョイスティック・コントローラ430の位置を決定してもよい。 Further, using the LED pattern codes may determine the position of the joystick controller 430 during game play. 例えば、LEDはコントローラの傾き、ヨー、ロールの区別を助けることができる。 For example, LED is the inclination of the controller, it can help yaw, the distinction of the roll. この検出パターンは、航空機飛翔ゲーム等のゲームにおけるユーザの感覚を改善するのに役立つ。 This detection pattern can assist in improving the sense of the user in the game such as aircraft flying games. 画像取得装置423は、ジョイスティック・コントローラ430と光源434とを含む画像を捕捉することができる。 Image capture device 423 may capture images containing the joystick controller 430 and light source 434. そのような画像を解析して、ジョイスティック・コントローラの位置および/または方向を決定することができる。 It analyzes such images can determine the location and / or orientation of the joystick controller. この種の解析は、メモリ402に保存されプロセッサ401で実行されるプログラムコード命令404により実装可能である。 This type of analysis can be implemented by program code instructions 404 to be executed by stored in the memory 402 processor 401. 画像取得装置423による光源434の画像の捕捉を容易にするために、光源434はジョイスティック・コントローラ430の二つ以上の異なる側面に、例えば正面と背面(点線で示す)に配置されていてもよい。 To facilitate capture of images of the light sources 434 by the image acquisition apparatus 423, light source 434 into two or more different sides of the joystick controller 430, e.g., it may be disposed on the front and back (shown in dotted lines) . このように配置することで、画像取得装置423は、ユーザによるジョイスティックコントローラ430の持ち方に応じてジョイスティックコントローラ430の異なる方向について光源434の画像を取得することが可能になる。 With this arrangement, the image acquisition apparatus 423, it is possible to acquire an image of the light source 434 for different orientations of the joystick controller 430 depending on how to hold the joystick controller 430 by a user.

加えて、光源434は、例えばパルスコード、振幅変調または周波数変調の形態で遠隔測定信号をプロセッサ401に提供することができる。 In addition, the light source 434 may be provided, for example, pulse code, a telemetry signal to the processor 401 in the form of amplitude modulation or frequency modulation. このような遠隔測定信号は、どのジョイスティックボタンが押されているか、および/またはそのボタンがどの程度強く押されているかを表すことができる。 Such telemetry signals which joystick buttons are being pressed, and / or can indicate whether the button has been how strongly pressed. 遠隔測定信号は、パルスコーディング、パルス幅変調、周波数変調または光強度(振幅)変調によって光学信号に符号化することができる。 Telemetry signal, pulse coding, pulse width modulation, can be encoded into the optical signal by frequency modulation or light intensity (amplitude) modulation. プロセッサ401は光学信号から遠隔測定信号を復号し、復号された遠隔測定信号に応じてゲームコマンドを実行する。 The processor 401 decodes the telemetry signals from the optical signal and execute a game command in response to the decoded telemetry signal. 遠隔測定信号は、画像取得装置423により取得されたジョイスティック・コントローラ430の画像解析から復号されてもよい。 Telemetry signals may be decoded from the image analysis of the joystick controller 430 obtained by the image acquisition apparatus 423. あるいは、装置401は、光源434からの遠隔測定信号を受信するための専用の別個の光学センサを備えていてもよい。 Alternatively, device 401 may include a separate optical sensor dedicated to receiving telemetry signals from the light source 434. コンピュータプログラムと対話する際の強度決定に伴うLEDの使用については、例えばRichard L. Marksらの共有された米国特許出願第11/429,414号、「USE OF COMPUTER IMAGE AND AUDIO PROCESSING IN DETERMINING AN INTENSITY AMOUNT WHEN INTERFACING WITH A COMPUTER PROGRAM」(代理人整理番号SONYP052)に記載されており、その全体が参照により本明細書に援用される。 The use of LED accompanying strength determination when interacting with a computer program, for example Richard L. Marks et al shared U.S. Patent Application No. 11 / 429,414, "USE OF COMPUTER IMAGE AND AUDIO PROCESSING IN DETERMINING AN INTENSITY AMOUNT WHEN INTERFACING wITH a COMPUTER PROGRAM "is described in (Attorney Docket No. SONYP052), which is incorporated in its entirety herein by reference. 加えて、光源434を含む画像の解析を、遠隔測定とジョイスティック・コントローラ430の位置および/または方向の決定の両方に用いることができる。 In addition, analysis of images containing the light source 434, can be used for both the position and / or orientation of the determination of the telemetry and the joystick controller 430. このような技術は、メモリ402に保存されプロセッサ401で実行可能なプログラムコード命令404によって実装することができる。 Such techniques may be stored in memory 402 implemented by program code instructions 404 executable by the processor 401. プロセッサ401は、画像取得装置423により検出された光源434からの光学信号、および/またはマイク配列422により検出された音響信号から得られた音源位置と特徴の情報とともに、慣性センサ432からの慣性信号を使用して、ジョイスティックコントローラ430および/またはそのユーザの位置および/または方向を推測することができる。 Processor 401, the optical signal from the light source 434 detected by the image capture device 423, and / or with information obtained sound source position and the feature from the acoustic signal detected by the microphone array 422, the inertial signals from the inertial sensor 432 use can be inferred position and / or orientation of the joystick controller 430 and / or its user. 例えば、「音響レーダ」の音源位置および特徴をマイク配列422とともに使用して、ジョイスティックコントローラの動きが(慣性センサ432または光源434により)独立して追跡されている間に移動する音声を追跡することができる。 For example, the sound source position and the characteristics of the "acoustic radar" used with the microphone array 422 to track the sound to be moved during the movement of the joystick controller (by the inertial sensor 432 or the light source 434) independently being tracked can. 制御信号をプロセッサ401に提供する任意の数、異なる組み合わせの異なるモードを、本発明の実施形態とともに使用することができる。 Any number that provides a control signal to the processor 401, different modes of different combinations can be used with the embodiments of the present invention. そのような技術は、メモリ402に保存されプロセッサ401で実行可能なプログラムコード命令404によって実装することができる。 Such techniques may be stored in memory 402 implemented by program code instructions 404 executable by the processor 401.

慣性センサ432からの信号が追跡情報入力の一部を与え、一つ以上の光源434の追跡により画像取得装置423から生成される信号が、追跡情報入力の別の部分を与えてもよい。 Signals from the inertial sensor 432 provide part of a tracking information input and signals generated from the image capture unit 423 by tracking the one or more light sources 434 may provide another part of the tracking information input. 一例として、クウォーターバックが頭を左方向にフェイクで動かした後にボールを右方向に投じるフットボールのテレビゲームでそのような「混在モード」信号を用いることができるが、これに限定されない。 As an example, it is possible to use such "mixed-mode" signal in football video games that cast the ball in the right direction after the quarter back has moved in fake his head to the left, but is not limited to this. 具体的には、コントローラ430を保持するゲームプレーヤが頭を左に回転させて音を出す一方、コントローラをフットボールであるかのように右方向に振るピッチ動作をすることができる。 Specifically, the game player holding the controller 430 while making sounds Rotate the head to the left, it is possible to make the pitch motion of swinging in the right direction as if it were a football controller. 「音響レーダ」プログラム・コードと連携したマイク配列422は、ユーザの声を追うことができる。 Microphone array 422 in conjunction with "acoustic radar" program code, it is possible to follow the voice of the user. 画像取得装置423は、ユーザの頭の動きを追跡するか、または音声やコントローラの使用を必要としない他のコマンドを追跡することができる。 Image capture device 423 is able to track other commands that do not require the use of either track the movement of the user's head or voice or controllers. センサ432は、ジョイスティック・コントローラ(フットボールを表す)の動きを追跡することができる。 Sensor 432 may track the motion of the joystick controller (representing the football). 画像取得装置423は、コントローラ430上の光源434を追跡してもよい。 Image acquisition device 423 may track the light source 434 on the controller 430. ユーザは、ジョイスティックコントローラ430の加速度の量および/または方向が特定値に達することで、またはジョイスティックコントローラ430のボタンを押すことで起動されるキーコマンドにより、「ボール」を離すことができる。 The user, by a key command amount and / or direction of acceleration of the joystick controller 430 is activated by pressing a button on it reaches a specific value or joystick controller 430, can release the "ball".

本発明の特定の実施形態では、例えば加速度計またはジャイロスコープからの慣性信号を使用して、ジョイスティック・コントローラ430の位置を決定することができる。 In certain embodiments of the present invention, for example using an inertial signal from an accelerometer or gyroscope, it can be used to determine the position of the joystick controller 430. 具体的には、加速度計からの加速信号を一旦時間積分して速度変化を求め、速度を時間積分して位置変化を求めることができる。 Specifically, obtain a speed change is once time integrating the acceleration signal from the accelerometer, it is possible to determine the positional change by integrating the speed time. ある時間での初期位置と速度の値が分かっている場合、これらの値と速度変化および位置変化を用いて絶対位置を求めることができる。 If you know the value of the initial position and velocity at a certain time, it is possible to obtain the absolute position using these values ​​and the velocity change and position change. 慣性センサを用いると、画像取得装置423と光源434をと用いるよりも早く位置決定することができるが、慣性センサ432は「ドリフト」として知られるタイプの誤差の影響を受けることがある。 With the inertial sensor, the image capture unit 423 and light source 434 and can be localized quickly than used, the inertial sensor 432 may be affected by errors of the type known as "drift". つまり、時間につれて誤差が蓄積して、慣性信号から計算されるジョイスティック430の位置(点線で示す)と、ジョイスティックコントローラ430の実際の位置との間に不一致Dが生じることがある。 That, and the error is accumulated as time, position of the joystick 430 calculated from the inertial signal (shown by a dotted line), there is a mismatch D is generated between the actual position of the joystick controller 430. 本発明の実施形態により、そのような誤差に対処するいくつかの方法が可能になる。 Embodiments of the present invention enables several ways to deal with such errors.

例えば、ジョイスティックコントローラ430の初期位置を、現在の計算された位置と等しくなるように再設定することで、ドリフトをマニュアルでキャンセルすることができる。 For example, the initial position of the joystick controller 430, by re-set equal to the current calculated position, the drift may be canceled out manually. ユーザは初期位置を再設定するコマンドを起動するためにジョイスティックコントローラ430の一つ以上のボタンを用いることができる。 A user may use one or more of the buttons on the joystick controller 430 to trigger a command to re-set the initial position. 代わりに、画像取得装置423から得られる画像から求められる位置を参照として現在位置を再設定することで、画像ベースのドリフトを実施することができる。 Instead, by resetting the current position as a reference position determined from an image obtained from the image acquisition apparatus 423, it can be performed image-based drift. このような画像ベースのドリフト補正は、例えばユーザがジョイスティック・コントローラ430の一つ以上のボタンを起動するときにマニュアルで実施することができる。 Such image-based drift compensation may be, for example, a user performed manually when starting one or more of the buttons on the joystick controller 430. 代わりに、例えば一定の時間間隔でまたはゲームプレイに応じて、画像ベースのドリフト補正を自動的に実施することもできる。 Alternatively, for example, in response to or in game play regular time intervals, image-based drift compensation to be automatically be carried out. このような技術は、メモリ402に保存されプロセッサ401で実行可能なプログラムコード命令404によって実装可能である。 Such techniques, stored in the memory 402 can be implemented by program code instructions 404 executable by the processor 401.

特定の実施形態では、慣性センサ信号内の偽(スプリアス)データを補償することが望ましい。 In certain embodiments, it is desirable to compensate for false (spurious) data in the inertial sensor signal. 例えば、慣性センサ432からの信号をオーバーサンプリングし、オーバーサンプリングした信号から移動平均を計算して、慣性センサ信号からスプリアスデータを除去してもよい。 For example, over-sampling the signal from the inertial sensor 432, and calculates a moving average from the oversampled signal, it may be removed spurious data from the inertial sensor signal. ある状況では、信号をオーバーサンプリングし、データポイントの一部のサブセットから高値および/または低値を取り除き、残りのデータポイントから移動平均を計算してもよい。 In some situations, the signal over-sampling, removes the high and / or low value from some subset of data points, may compute the sliding average from the remaining data points. さらに、他のデータサンプリング技術およびデータ操作技術を使用して、慣性センサの信号を調節しスプリアスデータの有意性を除去または低減することができる。 Moreover, using other data sampling techniques and data manipulation techniques, the significance of spurious data to adjust the signal of the inertial sensor can be removed or reduced. 信号の性質、信号に対して実行される計算、ゲームプレイの性質、またはこれらのうちの二つ以上の組み合わせによって技術を選択することができる。 Nature of the signal computation is performed on the signal, it is possible to select a technique nature of game play or by combination of two or more of these. このような技術は、メモリ402に保存されプロセッサ401で実行可能なプログラムコード命令404によって実装することができる。 Such techniques may be stored in memory 402 implemented by program code instructions 404 executable by the processor 401.

プロセッサ401は、メモリ402で保存、読み出しされプロセッサモジュール401で実行されるデータ406とプログラム404のプログラムコード命令とに応じて、信号データ406に対しデジタル信号処理を実行することができる。 Processor 401, stored in memory 402, in accordance with the read program code instructions of the data 406 and program 404 executed by the processor module 401 may perform digital signal processing on signal data 406. プログラム404のコード部分は、アセンブリ、C++、JAVA(登録商標)またはいくつかの他の言語などの複数の異なるプログラム言語のうちのいずれか一つに準拠していてもよい。 Code portions of the program 404, the assembly, C ++, may conform to any one of a plurality of different programming languages ​​such as JAVA (registered trademark) or some other language. プロセッサ・モジュール401は、プログラムコード404のようなプログラムを実行するとき特定目的のコンピュータになる汎用コンピュータを形成する。 The processor module 401 forms a general purpose computer that becomes a specific purpose computer when executing programs such as the program code 404. プログラム・コード404がソフトウェアで実装され汎用コンピュータ上で実行されると本明細書で述べられているが、当業者であれば、特定用途向け集積回路(ASIC)または他のハードウェア回路等のハードウェアを使用してもタスク管理方法を実装できることを理解するだろう。 Although the program code 404 is described herein as being executed on is implemented in software as a general purpose computer, those skilled in the art, hardware such as an application specific integrated circuit (ASIC) or other hardware circuitry even using the hardware will understand that you can implement a task management method. このように、本発明の実施形態の全体または一部を、ソフトウェア、ハードウェアまたは両方の組み合わせで実装できることを理解すべきである。 Thus, all or part of the embodiments of the present invention, software, it should be understood that the implementation in hardware or a combination of both.

一実施形態では、プログラムコード404は、本明細書に記載された任意の一つ以上の方法および技術、またはこのような方法および技術の二つ以上の組み合わせを実施する一組のプロセッサ可読命令を含むことができる。 In one embodiment, program code 404 may include any one or more of the methods and techniques described herein, or such methods and techniques of two or more pair combination to implement in the processor readable instructions it can be included. 例えば、本明細書に記載された画像解析器を実装するようにプログラムコード404を構成することができる。 For example, it is possible to configure the program code 404 to implement the image analyzer described herein. または代わりに、本明細書に記載された画像解析器をハードウェアで実装してもよい。 Or alternatively, the image analyzer described herein may be implemented in hardware.

図示した実施形態では、上述の画像解析器機能は画像解析器450として例示されている。 In the illustrated embodiment, the image analyzer function described above is illustrated as the image analyzer 450. 画像解析器450は、例えば画像取得装置423またはカメラ112(図1A)等のカメラから入力を受け取ることができる。 Image analyzer 450 may receive an input example image capture device 423 or the camera 112 from the camera (Fig. 1A) or the like. したがって、ビデオカメラ112または画像取得装置423の出力を画像解析器450の入力に結合してもよい。 Therefore, it may be coupled to the output of the video camera 112 or the image capture unit 423 to the input of the image analyzer 450. 画像解析器450の出力を装置400のシステムに提供してもよい。 The output of the image analyzer 450 may be provided to the system 400. このように、コマンド自体、またはコマンドあるいはジェスチャが認識されたかどうかを見るために必要な情報が、装置400に提供される。 Thus, the information needed to see whether the command itself or command or gesture is recognized, is provided to the device 400. 画像解析器450は、多くの異なる方法で装置400の残りの部分に結合することができる。 Image analyzer 450 may be coupled to the remainder of the apparatus 400 in many different ways. すなわち、図示の接続方法は一例に過ぎない。 That is, the connection method shown is only an example. 別の例では、画像解析器450をシステムバス420に結合してもよく、これにより、画像取得装置423から入力データを受け取り、出力を装置400に提供することができる。 In another example, it may be coupled to the image analyzer 450 to the system bus 420, thereby, receives input data from the image acquisition apparatus 423, it is possible to provide an output to device 400.

画像解析器450を装置400、エンターテイメント・システムまたはコンソール102に選択的に含めてもよいし、または画像解析器450をこれらの装置およびシステムから離して配置してもよい。 Image analyzer 450 to device 400, to the entertainment system or console 102 may be included selectively, or an image analyzer 450 may be placed away from these devices and systems. 画像解析器450の全体または一部を、ソフトウェア、ハードウェアまたは両方の組み合わせで実装できることは十分理解されなければならない。 All or part of an image analyzer 450, software, must be well understood can be implemented in hardware or a combination of both. 画像解析器450がソフトウェアで実装されるシナリオでは、ブロック450は画像解析機能がソフトウェアで実装されることを表す。 In the scenario where the image analyzer 450 is implemented in software, the block 450 indicates that the image analysis function is implemented in software.

プログラムコード404は、通常、一つ以上のプロセッサに対し実行時に予め調整されたリスニングゾーンを選択し、予め調整されたリスニングゾーンの外側の音源から生じる音を除去するように指示する一つ以上の命令を含むことができる。 Program code 404 typically selects the listening zone which is previously adjusted at runtime to one or more processors, one or more of an instruction to remove the sound generated from the outside of the sound source of preconditioned listening zone it can include instructions. 予め調整されたリスニングゾーンは、画像取得装置423の焦点の大きさまたは視野と一致するリスニングゾーンを含んでもよい。 Preconditioned listening zones may include a listening zone that matches the size or field of view of the focal point of the image acquisition apparatus 423.

プログラム・コードは、実行時に装置400に音源を含む予め調整されたリスニングセクタを選択させる一つ以上の命令を含んでいてもよい。 The program code may include one or more instructions for selecting the preconditioned listening sector including sound source device 400 at runtime. この指示により、音源が初期セクタの内部または初期セクタの特定の側のいずれにあるかを装置に判定させることができる。 This instruction, the sound source can be determined in the apparatus or in any particular side of the inner or initial sector of the initial sector. 音源がデフォルトのセクタ内に存在しない場合、実行時、命令はデフォルトセクタの特定の側の異なるセクタを選択する。 If the source of sound does not lie within the default sector, the runtime, instruction selects the different sectors of a particular side of the default sector. 異なるセクタは、最適値に最も近い入力信号の減衰によって特徴づけることができる。 Different sectors may be characterized by the attenuation of input signals that is closest to an optimum value. これらの命令は、実行時に、マイク配列422からの入力信号の減衰と、最適値への減衰を計算することができる。 These instructions can be at runtime, calculate an attenuation of input signals from the microphone array 422, the attenuation of the optimum value. 実行時に、命令によって、一つ以上のセクタへの入力信号の減衰値を求め、減衰が最適値に最も近いセクタを装置に選択させることができる。 At runtime, the instruction obtains the attenuation value of the input signal to one or more sectors, attenuation can be selected in the apparatus closest sector to the optimum value.

プログラム・コード404は、一つ以上のプロセッサに対し、マイクM Program code 404 to one or more processors, the microphone M 0. . . からの離散時間領域入力信号x (t)を生成するように指示し、セミブラインド音源分離でリスニングセクタを使用して有限インパルス応答フィルタ係数を選択して入力信号x (t)からの異なる音源を分離させる、一つ以上の命令を選択的に含んでもよい。 Instructed to generate discrete time domain input signal from the M M x m (t), to select the finite impulse response filter coefficients using listening sector in semi-blind source separation from the input signal x m (t) to separate different sound sources, it may include optionally one or more instructions. プログラム404は、参照マイクM からの入力信号x (t)以外の選択された入力信号x (t)に対し一つ以上の非整数遅延を適用する命令を含んでもよい。 Program 404, reference may include instructions to apply one or more fractional delays to the input signal x 0 (t) other than the selected input signals x m (t) from the microphone M 0. 非整数遅延のそれぞれを選択して、マイク配列から得られる離散時間領域出力信号y(t)の信号対雑音比を最適化することができる。 Select the respective fractional delay, it is possible to optimize the signal to noise ratio of a discrete time domain output signal y obtained from the microphone array (t). 参照マイクM からの信号が配列の他のマイクからの信号に対して時間的に最初になるように非整数遅延を選択してもよい。 As the signal from the reference microphone M 0 is first becomes temporally to the signal from the other microphone array may be selected fractional delay. プログラム404は、非整数時間遅延Δをマイク配列の出力信号y(t)に導入する命令を含んでもよい。 Program 404, a fractional time delay Δ may include instructions to introduce the output signal y of the microphone array (t).
すなわち、y(t+Δ)=x(t+Δ)*b +x(t−l+Δ)*b +x(t−2+Δ)*b +. That, y (t + Δ) = x (t + Δ) * b 0 + x (t-l + Δ) * b 1 + x (t-2 + Δ) * b 2 +. . . +x(t−N+Δ)b 、ここで、Δは0と1の間である。 + X (t-N + Δ ) b N, where the delta is between 0 and 1.

プログラム・コード404は、実行時に、画像取得装置423の前方の視野を監視させ、視野内の一つ以上の光源434を特定させ、光源434から発せられた光の変化を画像取得装置423に検出させる一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。 Program code 404, when executed, to monitor the front of the field of view of the image acquisition apparatus 423, to identify one or more light sources 434 within the field of view, detect a change in light emitted from the light source 434 to the image acquisition apparatus 423 the processor executable instructions including one or more instructions may include selectively to. そして、変化の検出に応じて、プロセッサ401に入力コマンドがトリガされる。 Then, in response to detection of a change, the input command is triggered processor 401. 画像取得装置と連携したLEDの使用によりゲームコントローラにアクションを引き起こすことは、2004年1月16日に出願された共有の米国特許出願第10/759,782号、Richard L. Marksらの「METHOD AND APPARATUS FOR LIGHT INPUT DEVICE」に記載されており、その全体が参照により本明細書に援用される。 Causing action to the game controller through the use of LED in conjunction with the image acquisition apparatus, January 2004 shared filed 16 days U.S. Patent Application No. 10 / 759,782, of Richard L. Marks et al., "The METHOD the AND APPARATUS FOR LIGHT INPUT DEVICE "is described in its entirety is incorporated herein by reference.

プログラム・コード404は、実行時に、慣性センサからの信号と一つ以上の光源の追跡により画像取得装置から生成される信号とを上述のようにゲームシステムへの入力として使用する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。 Program code 404, when executed, one or more instructions to use the signals generated from the image acquisition device by tracking the signal and one or more light sources from the inertial sensor as inputs to a game system as described above it may include optionally the processor-executable instructions comprising. プログラム・コード404は、実行時に慣性センサ432のドリフトを補償する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。 Program code 404 may comprise optionally a processor executable instructions including one or more instructions for compensating for drift in the inertial sensor 432 at runtime.

さらに、プログラム・コード404は、実行時にゲーム環境に対するコントローラ操作のギアリング(gearing)とマッピングを調整する一つ以上の命令を含むプロセッサ実行可能命令を選択的に含んでもよい。 Furthermore, the program code 404 may comprise optionally a processor executable instructions including one or more instructions to adjust the mapping and gearing of controller operation (gearing) to the game environment at runtime. このような特徴により、ユーザは、ゲーム状態に対するジョイスティック・コントローラ430の操作の「ギアリング」を変更することができる。 Such characteristics, the user can change the "gearing" in the operation of the joystick controller 430 to the game state. 例えば、ジョイスティック・コントローラ430の45度回転が、ゲームオブジェクトの45度回転に変換されてもよい。 For example, 45-degree rotation of the joystick controller 430 may be converted into 45-degree rotation of a game object. しかしながら、コントローラのX度回転(または傾き、ヨー、あるいは「操作」)がゲームオブジェクトのY度回転(または傾き、ヨー、あるいは「操作」)に変換されるように、この1:1のギア比を修正してもよい。 However, X degree rotation of the controller as (or tilt, yaw, or "operation") is converted to Y level rotation of a game object (or tilt, yaw, or "operation"), the 1: 1 gear ratio it may be modified. ギアリングは1:1、1:2、1:X、またはX:Yの比率であってもよい。 Gearing 1: 1,1: 2,1: X or X,: it may be a ratio of Y. ここで、XとYは任意の値を取ることができる。 Here, X and Y may take any value. さらに、ゲームコントロールへの入力チャネルのマッピングが、時間とともにまたは直ちに修正されてもよい。 Further, the input channel mapping to the game control, may be over time, or corrected immediately. 修正は、ジェスチャの軌道モデルの変更、ジェスチャの位置、大きさ、閾値を修正することなどを含む。 Modifying includes changing the orbit model of the gesture, the position of the gesture, size, and modifying the threshold value. 操作のダイナミックレンジをユーザに与えるために、このようなマッピングがプログラムされていても、ランダムでも、階段状(tiered)でも、ずらされて(staggered)いてもよい。 To provide the dynamic range of operation to the user, even if such a mapping is programmed, random also, but stepped (tiered), it can have staggered with (staggered). マッピング、ギアリングまたは比率の修正は、ゲームコントローラ430上のユーザ修正ボタン(キーパッド等)の使用により、または大まかに入力チャネルに応答して、ゲームプレイやゲーム状態にしたがってプログラムコード404により調節されてもよい。 Mapping, modified gearing or ratios, the use of user correction button on the game controller 430 (keypad, etc.), or in response to roughly input channels, it is regulated by the program code 404 according to game play and game state it may be. 入力チャネルには、ユーザ音声の成分、コントローラにより発生する音、コントローラにより発生する追跡音、コントローラボタン状態、ビデオカメラ出力、加速度計データ、傾き、ヨー、ロール、位置、加速度を含むコントローラ遠隔測定データ、およびユーザまたはオブジェクトのユーザによる操作を追跡可能なセンサから得られる任意の他のデータを含むが、これらに限定されない。 The input channel, components of the user's voice, sound generated by the controller, tracking sound generated by the controller, the controller button state, video camera output, accelerometer data, tilt, yaw, roll, position, the controller telemetry data, including accelerometer , and any other data obtained by operation by the user of the user or object from the available tracking sensor, and the like.

特定の実施形態では、プログラム・コード404は、予め定められた時間に依存する方法で、1つの方式または比率から別の方式へと時間とともにマッピングまたはギアリングを変更してもよい。 In certain embodiments, program code 404, in a manner dependent on a predetermined time, may change the mapping or gearing with from one scheme or ratio to another scheme time. ギアリングとマッピングの変更は、様々な方法でゲーム環境に適用することができる。 Changing Gearing and mapping may be applied to a game environment in various ways. 一例では、キャラクタが健康なときにはあるギアリング方式でテレビゲームキャラクタを制御し、キャラクタの健康が悪化すると、システムがコントローラコマンドのギアを変更して、キャラクタへのジェスチャコマンドを与えるためのユーザのコントローラの動きを悪化させるようにしてもよい。 In one example, controls the video game character in gearing system lying when character is healthy, the health of the character is deteriorated, the system will change the gear of the controller command, the user to provide a gesture command to the character controller movement may be exacerbate. 例えばユーザが新しいマッピングの下でキャラクタの制御を回復するために入力の調整を要求されるとき、方向感覚を失ったテレビゲームキャラクタは、入力チャネルのマッピングの変更を強制されるようにしてもよい。 For example when a user is required to adjust the input to regain control of the character under a new mapping, video game character loses sense of direction may be configured to be forced to change the mapping of input channels . ゲームコマンドに対する入力チャネルの変換を修正するマッピング方式がゲームプレイ中にも変化してもよい。 Mapping scheme of modifying the conversion of the input channel to game commands may change during gameplay. この変換は、ゲーム状態に応じて、または入力チャネルの一つ以上の要素の下で発行される修正コマンドに応じて、様々な方法で発生する。 This transformation, in accordance with the game state or in response to modification commands issued under one or more elements of the input channel, for generating a variety of ways. ギアリングとマッピングは、入力チャネルの一つ以上の要素の設定および/または処理に影響を与えるように構成されてもよい。 Gearing and mapping may be configured to affect the setting and / or processing of one or more elements of the input channel.

さらに、ジョイスティック・コントローラ430にスピーカ436が取り付けられてもよい。 Furthermore, it may be a speaker 436 is mounted to the joystick controller 430. プログラムコード404がマイク配列422を用いて検出された音を定位して特徴づける「音響レーダ」実施形態では、スピーカ436は、マイク配列422により検出可能であり、ジョイスティックコントローラ430の位置を追跡するためにプログラムコード404により使用される音声信号を提供することができる。 Program code 404 characterized by localizing the detected sound with the microphone array 422 in the "acoustic radar" embodiments, speaker 436 is detectable by the microphone array 422, to track the position of the joystick controller 430 it is possible to provide an audio signal to be used by the program code 404. スピーカ436は、ジョイスティック・コントローラ430からプロセッサ401に対し追加の「入力チャネル」を提供するためにも使用することができる。 Speaker 436 can also be used to provide "input channel" to the processor 401 adds from the joystick controller 430. スピーカ436からの音声信号を周期的にパルス化して、位置追跡のために音響レーダ用のビーコンを提供してもよい。 The audio signal from the speaker 436 is periodically pulsed, it may provide a beacon for the acoustic radar for position tracking. 音声信号(パルス状またはそれ以外)は聞き取り可能であっても超音波であってもよい。 Audio signals (pulsed or otherwise) may is a audible may be an ultrasonic. 音響レーダはジョイスティック・コントローラ430のユーザ操作を追跡することができる。 Acoustic radar may track the user manipulation of the joystick controller 430. このような操作追跡は、ジョイスティック・コントローラ430の位置および方向(例えば、ピッチ、ロールまたはヨー角度)に関する情報を含んでもよい。 Such operations tracking, location and orientation (e.g., pitch, roll or yaw angle) of the joystick controller 430 may include information about. パルスは、当業者であれば適用可能であるように、適切なデューティサイクルでトリガすることができる。 Pulse, as is applicable to any person skilled in the art, can be triggered with the appropriate duty cycle. パルスは、システムから調整される制御信号に基づいて開始されてもよい。 Pulse may be initiated on the basis of a control signal adjusted by the system. 装置400は、(プログラム・コード404によって)プロセッサ401に接続された二つ以上のジョイスティックコントローラ430の間での制御信号の発送を調整して、複数のコントローラが確実に追跡されるようにすることができる。 Device 400 (by the program code 404) by adjusting the dispatch of control signals between coupled to the processor 401 more than one joystick controller 430, to ensure that multiple controllers can be reliably tracked can.

一例として、本発明の実施形態を並列処理システム上で実施することができる。 As an example, it is possible to implement embodiments of the present invention on a parallel processing system. このような並列処理システムは、一般的に、別々のプロセッサを使用してプログラムの部分を並列に実行するように構成された二つ以上のプロセッサ要素を含む。 Such parallel processing systems generally comprise, two or more processor elements that are configured to execute parts of a program in parallel using separate processors. 一例として、限定ではなく、図5は本発明の一実施形態による一種のセルプロセッサ500を示す。 By way of example, and not limitation, FIG. 5 shows the cell processor 500 of the type according to one embodiment of the present invention. セルプロセッサ500を図4のプロセッサ401として用いることができる。 Can be used cell processor 500 as the processor 401 of FIG. 図5に示す例では、セルプロセッサ500はメインメモリ502と、パワープロセッサ要素(PPE)504と、複数の相乗作用プロセッサ要素(SPE)506とを備える。 In the example shown in FIG. 5, the cell processor 500 includes a main memory 502, a power processor element (PPE) 504, and a plurality of synergistic processor elements (SPE) 506. 図5に示す例では、セルプロセッサ500は一つのPPE504と8つのSPE506を備える。 In the example shown in FIG. 5, the cell processor 500 includes a single PPE504 and eight SPE 506. このような構成では、SPE506のうちの7台を並列処理のために使用し、一台を他の7台のうちの一つが故障した場合のバックアップとして確保しておいてもよい。 In such a configuration, and used for parallel processing seven of the SPE 506, may be reserved as a backup if a single is one of the other seven fails. 代替的に、セルプロセッサは、複数グループのPPE(PPEグループ)と複数グループのSPE(SPEグループ)とを備えていてもよい。 Alternatively, the cell processor may be a plurality groups PPE (PPE groups) and multiple groups SPE (SPE groups). この場合には、グループ内のユニット間でハードウェア資源を共有することができる。 In this case, it is possible to share hardware resources between units within a group. しかしながら、SPEとPPEは独立した要素としてソフトウェアに見えなければならない。 However, SPE and PPE must appear to software as independent elements. このように、本発明の実施形態は、図5に示す構成の使用に限定されない。 Thus, embodiments of the present invention is not limited to the use of the configuration shown in FIG.

メインメモリ502は、一般に、汎用で不揮発性の記憶装置の場合と、システム構成、データ転送同期、メモリマップされたI/O、I/Oサブシステム等の機能のために用いられる特定目的のハードウェアレジスタまたはアレイの両方の場合を含む。 The main memory 502 is typically the case of non-volatile storage device in a general purpose, system configuration, synchronous data transfer, memory-mapped I / O, the specific purpose to be used for functions such as I / O subsystem hard including cases of both hardware registers or arrays. 本発明の実施形態では、信号処理プログラム503がメインメモリ502内に常駐してもよい。 In an embodiment of the present invention, the signal processing program 503 may reside in main memory 502. 信号処理プログラム503がPPEの上で動作してもよい。 Signal processing program 503 may operate on the PPE. プログラム503は、SPEおよび/またはPPE上で実行可能な複数の信号処理タスクに分割されてもよい。 Program 503 may be divided into multiple signal processing tasks that can be executed on the SPE and / or PPE.

一例として、PPE504は、関連するキャッシュL1、L2を持つ64ビットパワーPCプロセッサユニット(PPU)であってもよい。 As an example, PPE 504 may be a related 64-bit Power PC processor unit with a cache L1, L2 (PPU). PPE504は汎用処理ユニットであり、(例えばメモリ保護テーブルなどの)システム管理リソースにアクセス可能である。 PPE504 is a general-purpose processing unit, which is accessible (e.g., a memory protection table) system management resources. PPEによって見られるように、ハードウェア資源が明示的に実アドレス空間マッピングされていてもよい。 As seen by the PPE, the hardware resources may be real address space mapping explicitly. したがって、PPEは、適当な実効アドレス値を使用して、これらの任意のリソースを直接アドレス指定することができる。 Therefore, PPE, using an appropriate effective address value can directly address any of these resources. PPE504の主要な機能は、セルプロセッサ500のSPE506のためのタスク管理とタスク割り当てである。 Primary function of PPE504 are task management and task allocation for SPE506 the cell processor 500.

一つのPPEのみがセル・ブロードバンド・エンジン・アーキテクチャ(CBEA)のようなセルプロセッサ実装として図5に示されているが、セルプロセッサ500は、二つ以上のPPEグループに組織された複数のPPEを有していてもよい。 Although only one PPE is shown in FIG. 5 as a cell processor implementation, such as cell broadband engine architecture (CBEA -), the cell processor 500, a plurality of PPE organized into two or more PPE Group it may have. これらのPPEグループは、メインメモリ502へのアクセスを共有してもよい。 These PPE groups may share access to the main memory 502. さらに、セルプロセッサ500は、二つ以上のSPEグループを備えてもよい。 Additionally, the cell processor 500 may comprise two or more SPE groups. SPEグループは、メインメモリ502へのアクセスを共有してもよい。 SPE groups may also share access to main memory 502. このような構成は本発明の範囲内である。 Such configurations are within the scope of the present invention.

各SPE506は、相乗作用プロセッサユニット(SPU)と自身のローカル記憶領域LSとを備える。 Each SPE506 includes a local storage LS itself the synergistic processor unit (SPU). ローカル記憶領域LSは、それぞれが特定のSPUと関連づけられる一つ以上の別個のメモリ記憶領域を有していてもよい。 Local storage LS may also each have a separate memory storage area of ​​more than one which associated with a specific SPU. 各SPUは、自身の関連するローカル記憶領域内からの命令(データロード操作とデータ記憶操作を含む)のみを実行するように構成されていてもよい。 Each SPU may be configured to only execute instructions from the local storage area (including data load operations and data storage operations) associated itself. このような構成では、ローカル記憶LSとシステム500内のいずれかの場所との間でのデータ転送は、(個々のSPEの)ローカル記憶領域を出入りするデータ転送をするダイレクトメモリアクセス(DMA)コマンドをメモリフローコントローラ(MFC)から発行することで実行できる。 In such a configuration, data transfers between any of the location of the local storage LS and the system 500 may (individual SPE) direct memory access to transfer data to and from a local storage area (DMA) commands the can be executed by issuing from the memory flow controller (MFC). SPUは、いかなるシステム管理機能も実行しないという点で、PPE504よりも複雑さの少ない計算ユニットである。 SPU is in that they do not perform any system management functions are less complex computational units than PPE 504. SPUは、一般に単一命令、複数データ(SIMD)能力を有し、割り当てられたタスクを実行するために、データを処理して任意の必要なデータ転送(PPEによりセットされた特性へのアクセスを受ける)を開始する。 SPU is generally a single instruction, a plurality data (SIMD) capability in order to perform their allocated tasks, processes the data to access properties set by any required data transfer (PPE receive) to start. SPUの目的は、より高い計算単位密度を必要とし提供された命令セットを効果的に使用できるアプリケーションを実行可能とすることである。 The purpose of the SPU is to enable running applications that can use the provided instruction set require a higher computational unit density effectively. PPE504によって管理されるシステム内の相当数のSPEによって、広範囲にわたるアプリケーションについて費用効果の高い処理が可能になる。 The significant number of SPE in the system that can be managed by the PPE 504, allows for high processing cost effective over a wide range of applications.

各SPE506は、メモリ保護とアクセス許可情報を保持し処理が可能である関連するメモリ管理ユニットを有する専用のメモリフローコントローラ(MFC)を備えることができる。 Each SPE506 may comprise a dedicated memory flow controller having a memory management unit associated holding memory protection and access permission information processing is possible (MFC). MFCは、セルプロセッサの主記憶装置とSPEのローカル記憶装置との間のデータ転送、保護および同期の主要な方法を提供する。 MFC, the data transfer between the local storage of the main memory and the SPE of the cell processor, provides the primary method for protection and synchronization. MFCコマンドは実行される転送を記述する。 MFC command describes the transfer to be performed. データを転送するためのコマンドは、MFCダイレクトメモリアクセス(DMA)コマンド(またはMFC DMAコマンド)と呼ばれることがある。 Commands for transferring data are sometimes referred to as MFC direct memory access (DMA) commands (or MFC DMA commands).

各MFCは、同時に複数のDMA転送をサポートすることができ、また複数のMFCコマンドを維持かつ処理することができる。 Each MFC may support multiple DMA transfers at the same time and can maintain and process multiple MFC commands. 各MFC DMAデータ転送コマンドは、ローカル記憶装置のアドレス(LSA)と実効アドレス(EA)の両方を必要とすることがある。 Each MFC DMA data transfer command may require both address of the local storage device (LSA) and an effective address (EA). ローカル記憶装置アドレスは、その関連するSPEのローカル記憶領域のみを直接アドレス指定してもよい。 Local storage address only the local storage area of ​​its associated SPE may directly address. 実効アドレスにはより一般的なアプリケーションがあることがある。 There is that there is a more general application to the effective address. 例えば、実効アドレスが実アドレス空間内にエイリアスされる場合、全てのSPEローカル記憶領域を含む主記憶装置を参照することができる。 For example, if the effective address is aliased to a real address space, it is possible to reference main storage, including all the SPE local storage areas.

SPE506の間の通信および/またはSPE506とPPE504の間の通信を容易にするために、SPE506とPPE504は、イベントを合図する信号通知レジスタを含んでもよい。 The communication between the communication and / or SPE 506 and PPE504 between SPE 506 to facilitate, SPE 506 and PPE504 may include signal notification registers that signaling events. PPE504とSPE506は、PPE504がメッセージをSPE506に発信するルータの働きをするスター・トポロジによって結合されてもよい。 PPE504 and SPE506 may be coupled by a star topology PPE504 is to act as a router for transmitting a message to SPE506. 代わりに、各SPE506とPPE504は、メールボックスと呼ばれる一方向の信号通知レジスタを有していてもよい。 Instead, each SPE506 and PPE504 may have a one-way signal notification register referred to as a mailbox. メールボックスはSPE506により使用され、オペレーティングシステム(OS)の同期をホストすることができる。 Mailbox used by SPE 506, may host a synchronization of the operating system (OS).

セルプロセッサ500は、セルプロセッサ500がマイク配列512やオプションの画像取得装置513のような周辺装置と対話する入出力(I/O)機能508を備えていてもよい。 Cell processor 500, the cell processor 500 may be provided with input and output (I / O) function 508 to interact with peripheral devices such as a microphone array 512 and optional image capture device 513. さらに、要素相互接続バス510が上記の様々な構成要素を接続してもよい。 Furthermore, Element Interconnect Bus 510 may connect the various components described above. 各SPEとPPEは、バスインタフェースユニットBIUを通してバス510にアクセスすることができる。 Each SPE and the PPE can access the bus 510 through the bus interface unit BIU. セルプロセッサ500は、プロセッサ内に通常見つかる二つのコントローラを備えてもよい。 Cell processor 500 may comprise a conventional found two controllers in the processor. すなわち、バス510とメインメモリ502の間でのデータの流れを制御するメモリインタフェースコントローラMICと、I/O508とバス510の間でのデータの流れを制御するバスインタフェースコントローラBICである。 That is, a Memory Interface Controller MIC that controls the flow of data between the bus 510 and the main memory 502, a bus interface Controller BIC, which controls the flow of data between the I / O508 and the bus 510. MIC、BIC、BIUおよびバス510の要件は様々な実装に対して大きく異なることがあるが、当業者であれば、これらを実装するための機能および回路に精通しているであろう。 MIC, BIC, BIU and requirements of the bus 510 is sometimes significantly different for different implementations, those skilled in the art would be familiar their functions and circuits for implementing them.

セルプロセッサ500は、内部割り込みコントローラIICを備えてもよい。 Cell processor 500 may also include an internal interrupt controller IIC. IIC構成要素は、PPEに提示される割り込みの優先度を管理する。 IIC component manages the priority of the interrupts presented to the PPE. IICは、他の構成要素からの割り込みを、セルプロセッサ500がメインシステムの割り込みコントローラを用いることなく処理することを可能にする。 The IIC allows interrupts from the other components the cell processor 500 thereby allowing the handle without using a main system interrupt controller. IICは、第2のレベルコントローラとみなしてもよい。 IIC may be regarded as a second level controller. メインシステムの割り込みコントローラは、セルプロセッサ外部から生じる割り込みを処理してもよい。 The main system interrupt controller may handle interrupts originating from the cell processor externally.

本発明の実施形態では、非整数遅延などの特定の計算を、PPE504および/または一つ以上のSPE506を用いて並列に実行することができる。 In an embodiment of the present invention, certain computations, such as fractional delays, may be performed in parallel with PPE504 and / or one or more SPE 506. 各非整数遅延計算を、異なるSPE506が利用可能になるにつれて引き受けることができる一つ以上の別個のタスクとして実行することができる。 Each fractional delay calculation, different SPE506 can be implemented as one or more separate tasks that can be undertaken as become available.

本明細書に開示された発明は特定の実施形態およびそのアプリケーションを用いて記載されているが、特許請求の範囲に記載の本発明の範囲から逸脱することなく、当業者によって多数の修正および変更を施すことができる。 While the invention disclosed herein are described with reference to particular embodiments and applications without departing from the scope of the invention defined in the appended claims, many modifications and changes by those skilled in the art it can be subjected.

Claims (15)

  1. 内部追跡情報、画像追跡情報、および音響追跡情報のうち少なくとも二つを組み合わせてコントローラの位置情報を決定するステップと、 Internal tracking information, and determining the position information of the controller by combining at least two of the image tracking information, and acoustic tracking information,
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、 Comparing the determined location information of the controller, and the predetermined position information associated with the command,
    前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、 If the position information the determined matches the predetermined position information to the command, and providing a command to the system,
    をプロセッサが実行し、 The processor is running,
    前記コントローラは、複数の異なるデバイスを制御する能力を有するリモートコントローラであることを特徴とする、システムに入力を提供する方法。 The controller is characterized by a remote controller having the ability to control a plurality of different devices, a method for providing input to the system.
  2. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記システムのために割り込みを生成するステップをさらに含むことを特徴とする、請求項1に記載の方法。 If the location information the determined matches the predetermined position information to the command, characterized by further comprising the step of generating an interrupt to the system, The method of claim 1.
  3. 前記比較するステップは、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定するステップを含むことを特徴とする、請求項1に記載の方法。 Said comparing step, the position information determined in said controller, characterized in that it comprises a step of determining whether or not contained within a specific range associated with predetermined position information associated with the command, the method of claim 1.
  4. コントローラの位置情報を判定するステップが、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする、請求項1に記載の方法。 Determining the position information of the controller, characterized in that it further comprises the step of receiving the projective geometry which is established on the controller in the camera image plane of the method according to claim 1.
  5. コントローラの位置情報を判定するステップが、前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする請求項4に記載の方法。 Determining the position information of the controller A method according to claim 4, further comprising the step of analyzing the deformation and movement in the projection of the geometric shape.
  6. 内部追跡情報、画像追跡情報、および音響追跡情報のうち少なくとも二つを組み合わせてコントローラの位置情報を決定する手段と、 Internal tracking information, means for determining the position information of the controller by combining at least two of the image tracking information, and acoustic tracking information,
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較する手段と、 Means for comparing the determined location information of the controller, and the predetermined position information associated with the command,
    前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供する手段と、 If the position information the determined matches the predetermined position information to the command, means for providing a command to the system,
    を備え、 Equipped with a,
    前記コントローラは、複数の異なるデバイスを制御する能力を有するリモートコントローラであることを特徴とするシステム。 System characterized in that said controller is a remote controller having the ability to control a plurality of different devices.
  7. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記システムのために割り込みを生成する手段をさらに含むことを特徴とする、請求項6に記載のシステム。 If the location information the determined matches the predetermined position information to the command, characterized in that it further includes means for generating an interrupt to the system, the system of claim 6.
  8. 前記比較する手段は、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定する手段を含むことを特徴とする、請求項6に記載のシステム。 It said means for comparing the position information determined in said controller, characterized in that it comprises a means for determining whether or not contained within a specific range associated with predetermined position information associated with the command, the system of claim 6.
  9. コントローラの位置情報を判定する手段が、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取る手段をさらに含むことを特徴とする、請求項6に記載のシステム。 Means for determining the position information of the controller, characterized in that it further comprises means for receiving a projection geometry which is established on the controller in the camera image plane of the system of claim 6.
  10. コントローラの位置情報を判定する手段が、前記幾何学的形状の射影における動きと変形を解析する手段をさらに含むことを特徴とする請求項9に記載のシステム。 The system of claim 9 means for determining the position information of the controller, characterized in that it further comprises a means for analyzing the deformation and movement in the projection of the geometric shape.
  11. コンピュータに以下のステップを実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記プログラムは、 A following computer-readable recording medium storing therein a program for executing the steps on a computer, said program,
    内部追跡情報、画像追跡情報、および音響追跡情報のうち少なくとも二つを組み合わせてコントローラの位置情報を決定するステップと、 Internal tracking information, and determining the position information of the controller by combining at least two of the image tracking information, and acoustic tracking information,
    前記コントローラの決定された位置情報と、コマンドに関連づけられた所定の位置情報とを比較するステップと、 Comparing the determined location information of the controller, and the predetermined position information associated with the command,
    前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合、コマンドをシステムに提供するステップと、 If the position information the determined matches the predetermined position information to the command, and providing a command to the system,
    を含み、 It includes,
    前記コントローラは、複数の異なるデバイスを制御する能力を有するリモートコントローラであることを特徴とする記録媒体。 Said controller recording medium, which is a remote controller having the ability to control a plurality of different devices.
  12. 前記決定された位置情報がコマンドに対する所定の位置情報と一致する場合に、前記コンピュータプログラムが、前記システムのために割り込みを生成するステップをコンピュータに実行させるようにさらに構成されていることを特徴とする、請求項11に記載の記録媒体。 If the location information the determined matches the predetermined position information to the command, the computer program, and characterized by being further configured to perform the step of generating an interrupt for the system to the computer to, the recording medium according to claim 11.
  13. 前記比較するステップは、前記コントローラの決定された位置情報が、コマンドに関連づけられた所定の位置情報と関連する特定の範囲内に含まれるか否かを判定するステップを含むことを特徴とする、請求項11に記載の記録媒体。 Said comparing step, the position information determined in said controller, characterized in that it comprises a step of determining whether or not contained within a specific range associated with predetermined position information associated with the command, recording medium according to claim 11.
  14. コントローラの位置情報を判定するステップが、前記コントローラ上で確立された幾何学的形状の射影をカメラの画像平面で受け取るステップをさらに含むことを特徴とする、請求項11に記載の記録媒体。 Determining the position information of the controller, characterized in that it further comprises the step of receiving the projective geometry which is established on the controller in the camera image plane of the recording medium according to claim 11.
  15. コントローラの位置情報を判定するステップが、前記幾何学的形状の射影における動きと変形を解析するステップをさらに含むことを特徴とする請求項14に記載の記録媒体。 Determining the position information of the controller, a recording medium according to claim 14, further comprising the step of analyzing the deformation and movement in the projection of the geometric shape.
JP2012057129A 2002-07-27 2012-03-14 Scheme for detecting and tracking user manipulation of game controller body and for translating movement thereof into input and game command Pending JP2012135642A (en)

Priority Applications (94)

Application Number Priority Date Filing Date Title
US11382258 US7782297B2 (en) 2002-07-27 2006-01-10 Method and apparatus for use in determining an activity level of a user in relation to a system
US11382251 US20060282873A1 (en) 2002-07-27 2006-01-10 Hand-held controller having detectable elements for tracking purposes
US11382259 US20070015559A1 (en) 2002-07-27 2006-01-10 Method and apparatus for use in determining lack of user activity in relation to a system
US11/381,727 2006-05-04
US11/418,989 2006-05-04
US11381721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11381729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11381725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11429047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US11381727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11381724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11429133 US7760248B2 (en) 2002-07-27 2006-05-04 Selective sound source listening in conjunction with computer interactive processing
US11418988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/418,988 2006-05-04
US11/381,728 2006-05-04
US11/429,414 2006-05-04
US11/381,721 2006-05-04
US11429414 US7627139B2 (en) 2002-07-27 2006-05-04 Computer image and audio processing of intensity and input devices for interfacing with a computer program
US11/429,047 2006-05-04
US11/381,729 2006-05-04
US11/429,133 2006-05-04
US11381728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
US11418989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11/381,724 2006-05-04
US11/381,725 2006-05-04
US79803106 true 2006-05-06 2006-05-06
US29/259,348 2006-05-06
US11382038 US7352358B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to acoustical tracking
US11382033 US8686939B2 (en) 2002-07-27 2006-05-06 System, method, and apparatus for three-dimensional input control
US11/382,033 2006-05-06
US29259348 2006-05-06
US29259349 2006-05-06
US29/259,350 2006-05-06
US11/382,037 2006-05-06
US11382032 US7850526B2 (en) 2002-07-27 2006-05-06 System for tracking user manipulations within an environment
US11/382,032 2006-05-06
US11/382,036 2006-05-06
US11/382,035 2006-05-06
US11382037 US8313380B2 (en) 2002-07-27 2006-05-06 Scheme for translating movements of a hand-held controller into inputs for a system
US11/382,038 2006-05-06
US29259350 USD621836S1 (en) 2006-05-06 2006-05-06 Controller face with tracking sensors
US11382034 US20060256081A1 (en) 2002-07-27 2006-05-06 Scheme for detecting and tracking user manipulation of a game controller body
US11/382,034 2006-05-06
US11382031 US7918733B2 (en) 2002-07-27 2006-05-06 Multi-input game control mixer
US11382035 US8797260B2 (en) 2002-07-27 2006-05-06 Inertially trackable hand-held controller
US11/382,031 2006-05-06
US60/798,031 2006-05-06
US11382036 US9474968B2 (en) 2002-07-27 2006-05-06 Method and system for applying gearing effects to visual tracking
US29/259,349 2006-05-06
US11382040 US7391409B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to multi-channel mixed input
US11382039 US9393487B2 (en) 2002-07-27 2006-05-07 Method for mapping movements of a hand-held controller to game commands
US11/382,041 2006-05-07
US11382043 US20060264260A1 (en) 2002-07-27 2006-05-07 Detectable and trackable hand-held controller
US11/382,039 2006-05-07
US11/382,040 2006-05-07
US11/382,043 2006-05-07
US11382041 US7352359B2 (en) 2002-07-27 2006-05-07 Method and system for applying gearing effects to inertial tracking
US29246764 USD629000S1 (en) 2006-05-08 2006-05-08 Game interface device with optical port
US11/382,258 2006-05-08
US11382256 US7803050B2 (en) 2002-07-27 2006-05-08 Tracking device with sound emitter for use in obtaining information for controlling game program execution
US29/246,763 2006-05-08
US29/246,762 2006-05-08
US11/382,250 2006-05-08
US11/430,594 2006-05-08
US29246766 2006-05-08
US29/246,743 2006-05-08
US11430594 US20070260517A1 (en) 2006-05-08 2006-05-08 Profile detection
US29246765 2006-05-08
US29246767 USD572254S1 (en) 2006-05-08 2006-05-08 Video game controller
US11430593 US20070261077A1 (en) 2006-05-08 2006-05-08 Using audio/visual environment to select ads on game platform
US29246743 USD571367S1 (en) 2006-05-08 2006-05-08 Video game controller
US29/246,744 2006-05-08
US29/246,764 2006-05-08
US11382252 US10086282B2 (en) 2002-07-27 2006-05-08 Tracking device for use in obtaining information for controlling game program execution
US29/246,766 2006-05-08
US29246763 2006-05-08
US29246762 2006-05-08
US11/382,251 2006-05-08
US11382250 US7854655B2 (en) 2002-07-27 2006-05-08 Obtaining input for controlling execution of a game program
US11/382,252 2006-05-08
US29246759 2006-05-08
US29/246,759 2006-05-08
US29246768 USD571806S1 (en) 2006-05-08 2006-05-08 Video game controller
US29/246,765 2006-05-08
US11/382,259 2006-05-08
US29/246,768 2006-05-08
US29246744 USD630211S1 (en) 2006-05-08 2006-05-08 Video game controller front face
US11/382,256 2006-05-08
US11/430,593 2006-05-08
US29/246,767 2006-05-08
US11/382,699 2006-05-10
US11382699 US20070265075A1 (en) 2006-05-10 2006-05-10 Attachable structure for use with hand-held controller having tracking ability
US11624637 US7737944B2 (en) 2002-07-27 2007-01-18 Method and system for adding a new player to a game in response to controller activity
US11/624,637 2007-01-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009509960 Division 2007-04-25

Publications (1)

Publication Number Publication Date
JP2012135642A true true JP2012135642A (en) 2012-07-19

Family

ID=46673570

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2009509960A Active JP5301429B2 (en) 2002-07-27 2007-04-25 Method for converting a user operation of a game controller body detection, tracking, and its movement to the input and game command
JP2009509977A Pending JP2009535179A (en) 2002-07-27 2007-04-27 Determination of the lack of user operation, determination of the user's activity level, and / or methods and apparatus used when adding a new player to the system
JP2012057129A Pending JP2012135642A (en) 2002-07-27 2012-03-14 Scheme for detecting and tracking user manipulation of game controller body and for translating movement thereof into input and game command
JP2012057132A Active JP5726793B2 (en) 2002-07-27 2012-03-14 Method for converting a user operation of a game controller body detection, tracking, and its movement to the input and game command
JP2012120096A Active JP5726811B2 (en) 2002-07-27 2012-05-25 Determination of the lack of user operation, determination of the user's activity level, and / or methods and apparatus used when adding a new player to the system

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009509960A Active JP5301429B2 (en) 2002-07-27 2007-04-25 Method for converting a user operation of a game controller body detection, tracking, and its movement to the input and game command
JP2009509977A Pending JP2009535179A (en) 2002-07-27 2007-04-27 Determination of the lack of user operation, determination of the user's activity level, and / or methods and apparatus used when adding a new player to the system

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2012057132A Active JP5726793B2 (en) 2002-07-27 2012-03-14 Method for converting a user operation of a game controller body detection, tracking, and its movement to the input and game command
JP2012120096A Active JP5726811B2 (en) 2002-07-27 2012-05-25 Determination of the lack of user operation, determination of the user's activity level, and / or methods and apparatus used when adding a new player to the system

Country Status (2)

Country Link
JP (5) JP5301429B2 (en)
WO (3) WO2007130833A3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163742A1 (en) * 2014-04-25 2015-10-29 삼성전자주식회사 Device control method and apparatus in home network system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5334037B2 (en) * 2008-07-11 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Sound source position detection method and system of
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
GB2467951A (en) * 2009-02-20 2010-08-25 Sony Comp Entertainment Europe Detecting orientation of a controller from an image of the controller captured with a camera
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
JP5463790B2 (en) * 2009-08-18 2014-04-09 ソニー株式会社 Operation input system, the control device, a handheld device and the operation input method
JP5514774B2 (en) 2011-07-13 2014-06-04 株式会社ソニー・コンピュータエンタテインメント Game device, a game control method, a game control program, and a recording medium
WO2014198625A1 (en) * 2013-06-13 2014-12-18 Basf Se Optical detector and method for manufacturing the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306846A (en) * 2001-04-12 2002-10-22 Saibuaasu:Kk Controller for game machine
JP2003078779A (en) * 2001-08-31 2003-03-14 Hitachi Ltd Multi remote controller and remote control system using the same
JP2003126548A (en) * 2001-10-19 2003-05-07 Konami Co Ltd Game device and game system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214615A (en) * 1990-02-26 1993-05-25 Will Bauer Three-dimensional displacement of a body with computer interface
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP3218716B2 (en) * 1992-07-31 2001-10-15 ソニー株式会社 Input device, and input system
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JP3907213B2 (en) * 1992-09-11 2007-04-18 伸壹 坪田 Game controller
US7358956B2 (en) 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
JP2000259340A (en) * 1999-03-12 2000-09-22 Sony Corp Device and method for input, input system, and distribution medium
JP3847058B2 (en) * 1999-10-04 2006-11-15 任天堂株式会社 Game system and game information storage medium used therefor
JP2002320773A (en) * 2001-04-25 2002-11-05 Pacific Century Cyberworks Japan Co Ltd Game device, its control method, recording medium, program and cellular phone
JP2003135851A (en) * 2001-10-31 2003-05-13 Konami Computer Entertainment Yokyo Inc Game device, method for controlling computer game system, and program
JP3824260B2 (en) 2001-11-13 2006-09-20 任天堂株式会社 Game system
JP4010533B2 (en) 2001-11-20 2007-11-21 任天堂株式会社 Game machines, electronic devices, and the power-saving mode management program
JP3470119B2 (en) * 2002-02-14 2003-11-25 コナミ株式会社 Controller, controller of attitude telemetry device and the video game device
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US20040063502A1 (en) * 2002-09-24 2004-04-01 Intec, Inc. Power module
EP1569731A1 (en) * 2002-12-10 2005-09-07 Nokia Corporation Method and device for continuing an electronic multi-player game, in case of an absence of a player of said game
JP4906239B2 (en) * 2003-04-16 2012-03-28 株式会社ソニー・コンピュータエンタテインメント Communication devices, game consoles, and communication method
US7815507B2 (en) * 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
JP2006099468A (en) * 2004-09-29 2006-04-13 Toshiba Corp Gesture input device, method, and program
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
JP4481280B2 (en) * 2006-08-30 2010-06-16 富士フイルム株式会社 Image processing apparatus, and image processing method
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306846A (en) * 2001-04-12 2002-10-22 Saibuaasu:Kk Controller for game machine
JP2003078779A (en) * 2001-08-31 2003-03-14 Hitachi Ltd Multi remote controller and remote control system using the same
JP2003126548A (en) * 2001-10-19 2003-05-07 Konami Co Ltd Game device and game system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163742A1 (en) * 2014-04-25 2015-10-29 삼성전자주식회사 Device control method and apparatus in home network system

Also Published As

Publication number Publication date Type
WO2007130999A2 (en) 2007-11-15 application
JP2012135643A (en) 2012-07-19 application
JP2009535179A (en) 2009-10-01 application
WO2007130872A3 (en) 2008-11-20 application
WO2007130999A3 (en) 2008-12-18 application
JP2009535175A (en) 2009-10-01 application
JP2012179420A (en) 2012-09-20 application
JP5726811B2 (en) 2015-06-03 grant
JP5726793B2 (en) 2015-06-03 grant
JP5301429B2 (en) 2013-09-25 grant
WO2007130833A3 (en) 2008-08-07 application
WO2007130833A2 (en) 2007-11-15 application
WO2007130872A2 (en) 2007-11-15 application

Similar Documents

Publication Publication Date Title
Lee Hacking the nintendo wii remote
US7623114B2 (en) Haptic feedback sensations based on audio output from computer devices
US20080225041A1 (en) Method and System for Vision-Based Interaction in a Virtual Environment
US20060274911A1 (en) Tracking device with sound emitter for use in obtaining information for controlling game program execution
US20060233389A1 (en) Methods and apparatus for targeted sound detection and characterization
US20080287189A1 (en) System and method for using accelerometer outputs to control an object rotating on a display
US20070270217A1 (en) System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
US20100150404A1 (en) Tracking system calibration with minimal user input
US20030210255A1 (en) Image display processing apparatus, image display processing method, and computer program
US7627139B2 (en) Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7979574B2 (en) System and method for routing communications among real and virtual communication devices
US20120319940A1 (en) Wearable Digital Input Device for Multipoint Free Space Data Collection and Analysis
US8019121B2 (en) Method and system for processing intensity from input devices for interfacing with a computer program
US20100271302A1 (en) Sensor fusion to combine sensor input data from multiple devices into one input stream
Wingrave et al. The wiimote and beyond: Spatially convenient devices for 3d user interfaces
US20120155703A1 (en) Microphone array steering with image-based source location
US20080001951A1 (en) System and method for providing affective characteristics to computer generated avatar during gameplay
US20080009348A1 (en) Combiner method for altering game gearing
US20080096654A1 (en) Game control using three-dimensional motions of controller
US20100201808A1 (en) Camera based motion sensing system
US8180295B2 (en) Bluetooth enabled computing system and associated methods
US20110244963A1 (en) System and method for providing haptic stimulus based on position
JPH0728591A (en) Space manipulation mouse system and space operation pattern input method
WO2006121896A2 (en) Microphone array based selective sound source listening and video game control
US20090104993A1 (en) Electronic game controller with motion-sensing capability

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140303

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140403

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150915