CN102058976A

CN102058976A - 用于跟踪环境中的用户操纵的系统

Info

Publication number: CN102058976A
Application number: CN2010106245095A
Authority: CN
Inventors: G·M·扎列夫斯基; R·L·马克斯; 茅晓东
Original assignee: Sony Computer Entertainment America LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2006-05-04
Filing date: 2007-04-19
Publication date: 2011-05-18

Abstract

本申请提供了用于跟踪环境中的用户操纵的系统，包括：第一分析器，可操作来通过第一输入通道接收第一输入通道信息，第一输入通道信息代表环境中的用户操纵，该第一分析器进一步可操作来分析第一输入通道信息，以产生第一输出信息，用于在游戏程序的执行中由游戏程序登记用户操纵。公开了分析游戏控制输入数据的系统和方法。还公开了包含用于分析游戏控制输入数据的指令的机器可读媒介。

Description

用于跟踪环境中的用户操纵的系统

本申请是申请人美国索尼电脑娱乐公司于2007年4月19日提交的发明名称为“多输入游戏控制混合器”的中国专利申请No.20078001094.X的分案申请。

要求的优先权

本申请要求了以下优先权：U.S.专利申请号No.11/381,729，XiaoDongMao，发明名称为ULTRA SMALL MICROPHONE ARRAY，(代理号SCEA05062US00)，申请日为2006年5月4日；U.S.专利申请号No.11/381,728，Xiao Dong Mao，发明名称为ECHO AND NOISE CANCELLATION，(代理号SCEA05064US00)，申请日为2006年5月4日；U.S.专利申请号No.11/381,725，XiaoDongMao，发明名称为“METHODSANDAPPARATUSFORTARGETEDSOUND DETECTION”，(代理号SCEA05072US00)，申请日为2006年5月4日；U.S.专利申请号No.11/381,727，Xiao Dong Mao，发明名称为“NOISEREMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELD MICROPHONEON CONSOLE”，(代理号SCEA05073US00)，申请日为2006年5月4日；U.S.专利申请号No.11/381,724，Xiao Dong Mao，发明名称为“METHODS ANDAPPARATUS FOR TARGETED SOUND DETECTION ANDCHARACTERIZATION”，(代理号SCEA05079US00)，申请日为2006年5月4日；U.S.专利申请号No.11/381,721，Xiao Dong Mao，发明名称为“SELECTIVESOUND SOURCE LISTENING IN CONJUCTION WITH COMPUTERINTERACTIVE PROCESSING”，(代理号SCEA04005US00JUMBOUS)，申请日为2006年5月4日。以上文件通过参考的方式并入本文。

本申请还要求了以下优先权：U.S.专利申请号No.11/382,031，Gary Zalewski等，发明名称为“MULTI-INPUT GAME CONTROL MIXER”，(代理号SCEA06MXR1)，申请日为2006年5月6日；U.S.专利申请号No.11/382,032，Gary Zalewski等，发明名称为“SYSTEM FOR TRACKING USERMANIPULATIONS WITHINAN ENVIRONMENT”，(代理号SCEA06MXR2)，申请日为2006年5月6日。以上文件通过参考的方式并入本文。

本申请还要求了以下共同待批的专利申请的优先权：申请号为11/418,988，Xiao Dong Mao，发明名称为“METHODS AND APPARATUSES FORADJUSTING A LISTENING AREA FOR CAPUTURING SOUNDS”，(代理号为SCEA-00300)，申请日为2006年5月4日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/418,989，Xiao Dong Mao，发明名称为“METHODS AND APPARATUSES FORCAPTURING AN AUDIO SIGNAL BASED ON VISUAL IMAGE”，(代理号为SCEA-00400)，申请日为2006年5月4日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/429,047，Xiao Dong Mao，发明名称为“METHODS AND APPARATUSES FORCAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THESIGNAL”，(代理号为SCEA-00500)，申请日为2006年5月4日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/429,133，Richard Marks等，发明名称为“SELECTIVE SOUNDSOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVEPROCESSING”，(代理号为SCEA04005US01-SONYP045)，申请日为2006年5月4日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/429,414，Richard Marks等，发明名称为“Computer Image and Audio Processing of Intensity and Input Devices for InterfacingWith A Computer Program”，(代理号为SONYP052)，申请日为2006年5月4日，通过参考的方式将其全部内容并入本文。

本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,033，发明名称为“SYSTEM，METHOD，AND APPARATUS FORTHREE-DIMENSIONAL INPUT CONTROL”，(代理号为SCEA06INRT1)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,035，发明名称为“INERTIALLY TRACKABLE HAND-HELD CONTROLLER”，(代理号为SCEA06INRT2)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,036，发明名称为“METHODAND SYSTEM FORAPPLYING GEARINGEFFECTS TO VISUAL TRACKING”，(代理号为SONYP058A)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,041，发明名称为“METHODANDSYSTEM FOR APPLYING GEARING EFFECTS TO INERTIAL TRACKING”，(代理号为SONYP058B)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,038，发明名称为“METHOD AND SYSTEM FOR APPLYINGGEARING EFFECTS TO ACOUSTICAL TRACKING”，(代理号为SONYP058C)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,040，发明名称为“METHOD AND SYSTEM FOR APPLYING GEARING EFFECTSTO MULTI-CHANNEL MIXED INPUT”，(代理号为SONYP058D)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,034，发明名称为“SCHEMEFOR DETECTING AND TRACKING USER MANIPULATION OF A GAMECONTROLLER BODY”，(代理号为SCEA05082US00)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,037，发明名称为“SCHEME FORTRANSLATING MOVEMENTS OF A HAND-HELD CONTROLLER INTOINUTS FOR A SYSTEM”，(代理号为86324)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,043，发明名称为“DETECTABLE ANDTRACKABLE HAND-HELD CONTROLLER”，(代理号为86325)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为11/382,039，发明名称为“METHODFOR MAPPING MOVEMENTS OF A HAND-HELD CONTROLLER TO GAMECOMMANDS”，(代理号为86326)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为29/259,349，发明名称为“CONTROLLER WITH INFRAREDPORT((DESIGN PATENT))”，(代理号为SCEA06007US00)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为29/259,350，发明名称为“CONTROLLERWITH TRACKING SENSORS((DESIGN PATENT))”，(代理号为SCEA06008US00)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为60/798,031，发明名称为“DYNAMIC TARGET INTERFACE”，(代理号为SCEA06009US00)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。本申请还要求了以下共同待批的专利申请的优先权：申请号为29/259,348，发明名称为“TRACKED CONTROLLER DEVICE((DESIGN))”，(代理号为SCEA06010US00)，申请日为2006年5月6日，通过参考的方式将其全部内容并入本文。

交叉引用的相关申请

本申请涉及美国专利申请号No.10/207,677，发明名称为“MAN-MACHINEINTERFACE USING A DEFORMABLE DEVICE”，申请日为2002年7月27日；美国专利申请号No.10/650,409，发明名称为“AUDIO INPUT SYSTEM”，申请日为2003年8月27日；美国专利申请号No.10/663,236，发明名称为“METHODAND APPARATUS FOR ADJUSTING A VIEW OF A SCENE BEINGDISPLAYED ACCORDING TO TRACKED HEAD MOTION”，申请日为2003年9月15日；美国专利申请号No.10/759,782，发明名称为“METHOD ANDAPPARATUS FOR LIGHT INPUT DEVICE”，申请日为2004年1月16日；美国专利申请号No.10/820,469，发明名称为“METHOD AND APPARATUS TODETECT AND REMOVE AUDIO DISTURBANCES”，申请日为2004年4月7日；美国专利申请号No.11/301,673，发明名称为“METHOD FOR USINGRELATIVE HEAD AND HAND POSITIONS TO ENABLE A POINTINGINTERFACE VIACAMERATRACKING”，申请日为2005年12月12日；美国临时专利申请号No.60/718,145，发明名称为“AUDIO，VIDEO，SIMULATION，AND USER INTERFACE PARADIGMS”，申请日为2005年9月15日，通过参考的方式将其全部内容并入本文。

技术领域

本发明一般涉及人机界面，尤其涉及处理多通道输入来跟踪一个或多个控制器的用户操纵。

背景技术

计算机娱乐系统通常包括手持控制器、游戏控制器或其它控制器。用户或玩家使用控制器将命令或其它指令发送到娱乐系统，以控制正在玩的视频游戏或其它仿真。例如，控制器可被提供用户操作的操纵器，例如操纵杆。操纵杆的操纵变量从模拟值转换到数字值，数字值被发送到游戏机的主机。控制器也可被提供用户可以操作的按钮。

本发明是上述或其它背景信息要素的进一步发展。

发明内容

本发明的用于跟踪环境中的用户操纵的系统，包括：

第一分析器，可操作来通过第一输入通道接收第一输入通道信息，第一输入通道信息代表环境中的用户操纵，该第一分析器进一步可操作来分析第一输入通道信息，以产生第一输出信息，用于在游戏程序的执行中由游戏程序登记用户操纵。

附图说明

通过考虑结合附图的以下的详细描述可以容易地理解本发明的教导，在附图中：

图1是说明根据本发明的一个实施例操作的视频游戏系统的实物电路图；

图2是根据本发明的一个实施例制造的控制器的透视图；

图3是说明根据本发明的一个实施例的可用于控制器的加速度计的三维示意图；

图4是根据本发明的一个实施例的用于混合多种控制输入的系统的框图；

图5A是图1的视频游戏系统的一部分的框图；

图5B是根据本发明的一个实施例的用于跟踪视频游戏系统的控制器的方法的流程图；

图5C是根据本发明的一个实施例在视频游戏系统中进行的游戏过程中利用位置和/或方向信息的方法的流程图；

图6是根据本发明的一个实施例的视频游戏系统的框图；以及

图7是根据本发明的一个实施例的视频游戏系统的微处理执行器的框图。

具体实施方式

尽管以下的详细描述为了说明的目的包含许多特定的细节，本领域任何普通技术人员可以理解，对下面的细节的变化或改变是在本发明的范围内。由此，以下所述的本发明的示例性实施例被阐明，但不缺乏普遍性，并且不影响要求保护的发明的范围。

这里描述的多种方法、装置、方案和系统的实施例提供了对用户对整个控制器本体自身的移动、动作和/或操纵的检测、捕获和跟踪。检测到的用户对整个控制器体的移动、动作和/或操纵可以作为控制正在进行的游戏或其它仿真的多个方面的附加命令。

检测和跟踪用户对游戏控制器本体的操纵可以多种方法实现。例如，惯性传感器比如加速度计或陀螺仪，图像捕获单元比如数字摄像机，可以用于计算机娱乐系统，以检测手持控制器本体的动作并将其转换为游戏中的行动。用惯性传感器跟踪控制器的例子已经被描述，例如在美国专利申请号11/382,033，发明名称为“SYSTEM，METHOD，AND APPARATUS FORTHREE-DIMENSIONNAL INPUT CONTROL”(代理号为SCEA06INRT1)中，上述文件通过参考的方式并入本文。用图像捕获器跟踪控制器的例子已经被描述，例如在美国专利申请号11/,382,034，发明名称为“SCHEME FORDETECTING AND TRACKING USER MANIPULATION OF A GAMECONTROLLER BODY”(代理号为SCEA05082US00)中，上述文件通过参考的方式并入本文。此外，控制器和/或用户还可以通过使用麦克风阵列或适当的信号处理在声学上被跟踪。这样的声学跟踪的例子已经在美国专利申请号11/381,721中被描述，其通过参考的方式并入本文。

声学传感器、惯性传感器和图像捕获器可以被单独应用或任意组合地使用，以检测控制器的很多不同类型的动作，例如上下移动，扭曲移动，从一边到另一边的移动，急拉移动，棍棒式的移动，突降移动等等。这些动作可以对应于各种不同的命令，以使得上述动作被转换为游戏中的行动。检测和跟踪用户对游戏控制器本体的操纵可以应用于实现多种不同类型的游戏、仿真等，允许用户，例如，参与击剑或光剑战斗，用棍描绘出物品的形状，参与多种不同类型的体育事件，参与屏幕上的战斗或其它遭遇战等等。游戏程序可以被配置来跟踪控制器的动作并从跟踪的动作中识别某种事先记录的姿态。一个或多个上述姿态的识别能触发游戏状态的改变。

在本发明的实施例中，从上述不同的源获得的控制器路径信息可以在姿态识别的分析之前被混合。来自不同源(例如，声学、惯性和图像捕获)的跟踪数据可以以提高姿态识别可能性的方式来混合。

参考图1，示出了根据本发明的一个实施例操作的系统100。如图所示，计算机娱乐控制台102可以耦接到电视或其它视频显示器104，以显示视频游戏或其它仿真的图像。游戏或其它仿真可以被存储在插入控制台102中的DVD，CD，闪存，USB存储器或其它存储媒介106中。用户或玩家108操纵游戏控制器110来控制视频游戏或其它仿真。如图2所示，游戏控制器110包括惯性传感器112，其响应于游戏控制器110的位置，动作，方向或方向的改变来产生信号。除了惯性传感器之外，游戏控制器110可包括传统的控制输入装置，例如操纵杆111，按钮113，R1，L1等。

在操作过程中，用户108在物理上移动控制器110。例如，控制器110可以被用户108按任意方向移动，例如上、下、到一边、到另一边、扭曲、滚动、摇动、急拉、突降等等。控制器110自身的上述移动可以被摄像机114检测和捕获，该摄像机114通过按照下文所述的方式分析来自惯性传感器112的信号进行跟踪来实现检测和捕获。

再次参考图1，系统100可选择地包括摄像机或其它视频图像捕获设备114，该设备可以被定位为使得控制器110在摄像机的视场116范围内。对来自图像捕获设备114的图像的分析可以和对来自惯性传感器112的数据的分析一起使用。如图2所示，控制器110可以可选择地被配置为具有光源，例如发光二极管(LED)202，204，206，208，以方便通过视频分析来跟踪。上述装置可被装配到控制器110的本体中。在这里，术语“本体”意思是描述游戏控制器110的手持部分(或佩戴部分，如果游戏控制器是可佩戴的)。

用于跟踪控制器110的这种视频图像的分析已经被公开，例如在美国专利申请号11/382,034，发明名称为“SCHEME FORDETECTINGAND TRACKINGUSER MANIPULATION OF A GAME CONTROLLER BODY”(代理号为SCEA05082US00)，上述文件通过参考的方式并入本文。控制台102可包括声音传感器，例如麦克风阵列118。控制器110也可以包括声音信号产生器210(例如扬声器)来提供声源，使得用麦克风阵列118和适当的声音信号处理来对控制器110的声音跟踪更加便利，例如，在美国专利申请号11/381,724中描述的，上述文件通过参考的方式并入本文。

通常，来自惯性传感器112的信号被用于产生控制器110的位置和方向数据。上述数据可以被用于计算控制器110的移动的许多物理方面，例如控制器沿着任意轴的加速度和速度，控制器的倾斜，俯仰，偏航，翻滚，以及控制器110的任何遥测点。在这里，遥测通常是指远距离测量和报告系统或系统的设计者或操作者感兴趣的信息。

对于控制器110的移动的检测和跟踪能力使得能够确定控制器110是否执行了任何预先定义的移动。也就是说，控制器110特定移动模式或姿态是可以预先定义的，并且可以用作游戏或其它仿真的输入命令。例如，控制器110的向下跳的姿态可以定义为一个命令，控制器110的扭曲姿态可以被定义为另一个命令，控制器110的摇动姿态又可以定义为另一个命令，等等。这样，用户108物理地移动控制器110的方式被用作控制游戏的另一个输入，为用户提供更加刺激和有趣的经历。

通过例子说明但不仅限于此，惯性传感器112可能是一个加速度计。图3通过如下的形式列举了加速度计300的一个例子：一个简单块302在四个点上与框架304弹性连接，例如通过弹簧306，308，310，312。俯仰(pitch)轴和翻滚(roll)轴(分别由X和Y轴表示)位于横切框架的平面中。偏航(yaw)轴Z在垂直于包含俯仰轴X和翻滚轴Y的平面的方向上。框架304以任何合适的方式装配在控制器110上。当框架304(和操纵杆控制器110)加速和/或旋转时，块302可相对框架304发生移位，弹簧306，308，310，312可依赖于平移和/或旋转加速度的量和方向和/或俯仰和/或翻滚和/或偏航的角度伸长或压缩。块302的位移和/或弹簧306，308，310，312的伸长或压缩能被感应到，例如，采用恰当的传感器314，316，318，320，然后被转换成以已知的或可确定的方式依赖于俯仰和/或翻滚的量加速度的信号。

存在多种不同的方式来跟踪块的位置和/或施加到其上的力，包括电阻应变计材料，光传感器，磁传感器，霍耳效应装置，压电装置，电容传感器以及类似装置。本发明的实施例可以包括任意数量和类型或组合类型的传感器。作为示例，但不限于此，传感器314，316，318，320可以是放在块302上方的间隙关闭电极(gap closing electrode)。当块的位置相对于每个电极发生变化时，块和每一个电极之间的电容会发生改变。每一个电极可连接到一个电路，该电路产生关于块302相对于该电极的电容(因此关于块302相对于该电极的接近度)的信号。此外，弹簧306，308，310，312可包括电阻应变计式传感器，产生关于弹簧压缩或伸长的信号。

在一些实施例中，框架304常平架安装(gimbal mounted)到控制器110，使得加速度计300关于俯仰和/或翻滚和/或偏航轴保持固定的方向。在上述方式中，控制器轴X，Y，Z可以直接映射到实际空间中的相应的轴，而不必考虑这些控制器轴关于实际空间坐标轴的倾斜。

如上所述，来自惯性，图像捕获和声源的数据可以被分析，以产生跟踪控制器110的位置和/或方向的路径。如图4的框图所示，根据本发明的一个实施例的系统400包括惯性分析器402，图像分析器404和声学分析器406。上述每个分析器都从感应的环境401中接收信号。分析器402，404，406可以用硬件，软件(或固件)或以上两者或更多的某种结合来实现。每个分析器产生关于感兴趣的目标的位置和/或方向的跟踪信息。作为示例，感兴趣的目标可能是上述的控制器110。图像分析器404可结合美国专利申请号11/382,034(代理号SCEA05082US00)公开的方法进行操作，形成下面的关于这些方法的场。惯性分析器402可结合美国专利申请号11/382,033，发明名称为“SYSTEM，METHOD，AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL”(代理号SCEA06INRT1)公开的方法进行操作，形成下面的关于这些方法的场。声学分析器406可采用美国专利申请号11/381,724公开的方法进行操作，形成下面的关于这些方法的场。

分析器402，404或406可以被认为是与位置和/或方向信息的不同输入通道相关联的。混合器408可以接收多个输入通道，这样的通道可以包含描述感应的环境401的采样数据，典型地是从该通道的观察。由惯性分析器402，图像分析器404和声学分析器406产生的位置和/或方向信息可以被耦接至混合器408的输入中。混合器408和分析器402，404，406可以被游戏软件程序410查询，并可以被配置用来响应于事件中断游戏软件。事件可以包括姿态识别事件，传动改变(gearing change)，配置改变，设置噪声级别，设置采样率，改变映射链，等等，它们的例子在下文讨论。混合器408可以结合这里描述的方法来操作，并形成下面的关于这些方法的场。

如上所述，来自不同输入通道，例如惯性传感器，视频图像和/或声学传感器的信号能被惯性分析器402，图像分析器404和声学分析器406分别分析，以根据发明的方法在进行视频游戏的过程中确定控制器110的动作和/或方向。上述方法可以实现为存储在处理器可读介质中并在数字处理器上执行的一系列处理器可执行程序代码指令。例如，如图5A所示，视频游戏系统100可以包括在控制台102上，控制台102具有或者由硬件或者由软件实现的惯性分析器402，图像分析器404和声学分析器406。作为示例，分析器402，404，406可以实现为运行在合适的处理器单元502上的软件指令。作为示例，处理器单元502可以是数字处理器，例如在视频游戏控制台中通常使用的类型的微处理器。指令的一部分可存储在存储器506中。可选的，惯性分析器402，图像分析器404和声学分析器406可以采用硬件实现，例如作为特定用途集成电路(ASIC)。这样的分析器硬件可位于控制器110或控制台102上，或可远程地位于别处。在硬件实现中，分析器402，404，406可以是可响应于外部信号编程的，外部信号例如，来自于处理器502，或其它位于远程的源，例如通过USB缆线，无线连接或在网络上连接的。

惯性分析器402可以包括或执行对惯性传感器112产生的信号进行分析、并利用关于控制器110的位置和/或方向的信息的指令。同样的，图像分析器404可执行对图像捕获单元114捕获到的图像进行分析的指令。此外，声学分析器可执行对麦克风阵列118捕获到的图像进行分析的指令。如图5B的流程图510所示，上述信号和/或图像可以被分析器402，404，406接收，如块512示出的。上述信号和/或图像可被分析器402，404，406分析，以确定关于控制器110的位置和/或方向的惯性跟踪信息403，图像跟踪信息405和声学跟踪信息407，如块514示出的。跟踪信息403，405，407可以与一个或多个自由度有关。优选地六个自由度被跟踪，以描述控制器110或其它跟踪目标的操纵。这种自由度可能涉及控制器倾斜，偏航，翻滚和沿着x，y和z-轴的位置，速度或加速度。

如块516所示，混合器408混合惯性信息403，图像信息405和声学信息407，以产生改进的位置和/或方向信息409。作为示例，混合器408可以基于游戏或环境条件，对惯性，图像和声学跟踪信息403，405，407采用不同权重，然后取加权平均。此外，混合器408可以包含自己的混合分析器412，用来分析组合的位置/方向信息，并且产生涉及其它分析器产生的信息的组合的，自己的结果“混合器”信息。

在本发明的一个实施例中，混合器408可分配分布值给来自分析器402，404，406的跟踪信息403，405，407。如上所述，输入控制数据的某些集合可以被平均。然而在本实施例中，输入控制数据在取平均之前被分配一个值，由此来自某些分析器的输入控制数据比来自其它的在分析上更加重要。

混合器408可以在当前系统的上下文中采用很多功能，包括观测，校正，稳定，推导，组合，路由，混合，报告，缓冲，中断其它处理和分析。上述功能可关于从一个或多个分析器402，404，406接收到的跟踪信息403，405，407来执行。每一个分析器402，404，406可以接收和/或推导特定的跟踪信息，而混合器408可以被实现为，优化对接收到的跟踪信息403，405，407的使用，并产生改进的跟踪信息409。

分析器402，404，406和混合器408被优选地配置为提供具有类似输出格式的跟踪信息。来自任意分析器元件402，404，406的跟踪信息参数可以被映射到分析器中的一个单独参数。可选地，混合器408可以通过处理来自一个或多个分析器402，404，406的一个或多个跟踪信息参数，为任意分析器402，404，406形成跟踪信息。混合器可组合从分析器402，404，406获得的相同参数类型的跟踪信息中的两个或多个元素，并/或执行跨这些分析器产生的跟踪信息的多个参数的函数，以建立综合的输出集，该输出集具有从多个输入通道产生的好处。

改进的跟踪信息409可以在用系统100玩视频游戏的过程中被应用，如块518所示。在某些实施例中，游戏进行过程中可以与用户108做出的姿态相关地使用位置和/或方向信息。在一些实施例中，混合器408可以和姿态识别器505一起操作，以将游戏环境中的至少一个行动和来自用户的一个或多个用户动作(例如，空间中对控制器的操纵)相关联。

如图5C中的流程图520所示，控制器110的路径可以使用位置和/或方向信息来跟踪，如块522所示。作为示例，但不限于此，路径可包括代表控制器的质心关于某坐标系的位置的点的集合。每个位置点可以由一个或多个坐标表示，例如在笛卡尔坐标系中的X，Y和Z坐标。时间可和路径上的每个点相关联，从而可以监视路径的形状和控制器沿着路径的行进。此外，点集中的每个点可和代表控制器的方向的数据相关联，代表方向的数据例如，控制器关于其质心的一个或多个旋转角。另外，路径上的每个点可和控制器的质心的速度和加速度的值，以及控制器关于其质心的角旋转的速率和角加速度相关联。

如块524所示，跟踪的路径可和一个或多个存储的路径相比较，存储的路径对应于已知的和/或预先记录的姿态508，姿态508和正在进行的视频游戏的上下文相关。识别器505可被配置为识别用户或处理音频鉴定姿态等等。例如，用户可以通过姿态被识别器505识别，并且姿态可以特定于用户。上述特定姿态可被记录和包含在存储在存储器506中的预先记录姿态508中。记录过程可以选择性地存储姿态记录过程中产生的声音。感应的环境被采样到多通道分析器并被处理。处理器可参考姿态模型，以基于声音或声学模式确定和鉴定和/或识别用户或目标，并达到很高的精确度和性能。

如图5A所示，代表姿态的数据508可以被存储在存储器506中。姿态的例子包括以下几种，但不限于此，例如，投掷目标如球，摆动目标如棒或高尔夫球杆，泵手泵，开或关门或窗，转动方向盘或其它车辆控制，武术的动作例如拳打，打磨移动，上蜡除蜡(wax on wax off)，粉刷房屋，摇动，颤动(rattle)，翻滚，橄榄球投掷(football pitch)，拧旋钮移动，3D MOUSE移动，卷动移动，已知姿态的移动，任何可记录的移动，沿着任何向量来回移动，即给轮胎打气但沿着空间中的任意方向，沿着一路径的移动，具有精确的停止和开始时间的移动，在固有噪声水平、样条(spline)等之内可记录，跟踪和重复的任何基于时间的用户操纵。这些姿态中的每一种可从路径数据被预先记录，并存储为基于时间的模型。路径和已存储姿态的比较可以稳定状态的假设开始，如果路径偏离稳定状态，路径可以通过消除处理来与已存储姿态比较。如果在块526没有匹配，分析器可继续在块522跟踪控制器110的路径。如果路径(或者路径的一部分)与已存储姿态之间有充分的匹配，游戏状态可被改变，如块528所示。游戏状态的改变可包括但不限于，中断，发送控制信号，改变变量等等。

这里是一个可能发生的例子。在确定控制器110已经离开稳定状态时，路径分析器402，404，406或412跟踪控制器110的移动。只要控制器110的路径和已存储姿态模型508中定义的路径一致，这些姿态是可能的“命中”。如果控制器110的路径(在噪声容限设置内)偏离任何姿态模型508，这个姿态模型被从命中列表中删除。每个姿态参考模型包括其中记录姿态的时间基础。分析器402，404，406，或412在恰当的时间索引点比较控制器路径数据和已存储姿态508。稳定状态条件的发生复位时钟。当偏离稳定状态(即，当在噪声门限外跟踪到移动时)，命中列表被加入所有潜在可能姿态模型。时钟启动，并且控制器的移动与命中列表比较。再次地，比较是经过时间的行进。如果命中列表中任何姿态达到该姿态的结束，那么它是一次命中。

在某些实施例中，当某些事件发生时，混合器408和/或单个的分析器402，404，406，412可通知游戏程序。这类事件的举例包括如下：

到达零-加速度点中断(X和/或Y和/或Z轴)。在某些游戏情况下当控制器的加速度在拐折点变化时，分析器可通知或中断游戏程序内的进程。例如，用户108可以使用控制器110控制代表橄榄球仿真比赛中的四分卫的游戏化身。分析器可通过从来自惯性传感器112的信号产生的路径跟踪控制器(代表橄榄球)。控制器110的加速度的特定变化可以表示释放橄榄球。在此点，分析器可触发程序中另一个进程(例如，物理仿真包)来基于控制器在释放点的位置，和/或速度和/或方向仿真橄榄球的轨迹。

新姿态识别中断

另外，分析器可被一个或多个输入配置。这类输入的例子包括，但不限于：

设置噪声级别(X，Y或Z轴)。噪声级别可以是在分析用户在游戏中手部抖动时的参考容限值。

设置采样率。如在此所用，采样率可以指分析器从惯性传感器采样信号的频繁程度。采样率可被设置为过采样或平均信号。

设置传动。如在此所用的，传动通常是指控制器移动与游戏中发生的移动的比率。在视频游戏控制的环境中的此类“传动”的例子可在美国专利申请号11/382,040中找到，申请日为2006年5月7日，(代理号：SONYP058D)，上述文件通过参考的方式并入本文。

设置映射链。如在此所用，映射链是指姿态模型的映射。姿态模型映射可以对特定的输入通道进行(例如，仅对于从惯性传感器信号产生的路径数据)或对混合器单元中形成的混合通道进行。三个输入通道可以由两个或多个不同的类似惯性分析器402的分析器提供服务。特别的，这些分析器可包括：如此所用的惯性分析器402，在美国专利申请号11/382,034，发明名称为SCHEMEFOR DETECTING AND TRACKING USER MANIPULATION OF A GAMECONTROLLER BODY(代理号SCEA05082US00)中所述的视频分析器，上述文件通过参考的方式并入本文，在美国专利申请号11/381,721中所述的声学分析器，上述文件通过参考的方式并入本文。可以用映射链配置分析器。映射链在玩游戏过程中可以被游戏换出，如同对于分析器和对于混合器的设置也可以被游戏换出那样。

再次参考图5B，块512，本领域技术人员将意识到，有多种方式从惯性传感器112中产生信号。其中一些例子在此已经描述。参考块514，有多种方式分析在块512中产生的传感器信号，以获得关于控制器110的位置和/或方向的跟踪信息。作为例子，但不限于此，跟踪信息可单独或以任意组合包括关于下面的参数的信息，但不限于此。

控制器方向。控制器110的方向可表述为相对某参考方向的俯仰，翻滚或偏航角(例如，以弧度)。控制器方向的改变率(例如，角速度或角加速度)也可包含在位置和/或方向信息中。例如，其中惯性传感器112包括陀螺仪传感器，控制器方向信息可以与俯仰，翻滚或偏航角成比例的一个或多个输出值的形式直接获得。

控制器位置(例如，在某参考框架里的控制器110的笛卡尔坐标X，Y，Z)

控制器X-轴速度

控制器Y-轴速度

控制器Z-轴速度

控制器X-轴加速度

控制器Y-轴加速度

控制器Z-轴加速度

需要注意到，关于位置，速度和加速度，位置和/或方向信息可以用笛卡尔以外的坐标系来表示。例如，柱坐标或球坐标可以用于位置，速度和加速度。关于X，Y，Z轴的加速度信息可以直接从加速度计类型传感器中获得，例如在此所述的。X，Y，Z加速度可以从某个起始时刻开始关于时间积分，来确定X，Y，Z速度的改变。这些速度可以通过各速度改变加到在时间上的初始时刻已知的X-，Y-，Z-速度的值来计算。X，Y，Z速度可以对时间积分来确定控制器的X-，Y-，Z-位移。X-，Y-，Z-位置可以通过将位移加到初始时刻已知的X-，Y-，Z-位置来确定。

稳定状态Y/N-该特定信息指示控制器是否处于稳定状态，其可以被定义为任意位置，其也可以经受改变。在一个优选实施例中，稳定状态位置可为，其中控制器在大致与用户腰部相平的高度被保持在或多或少水平的方向的位置。

距离上次稳定状态的时间通常是指关于从最后检测到稳定状态(如上所述)后经过了多长的时间期的数据。如前面提到的，该时间的确定可以按实时，处理器周期或采样周期来计算。距离上次稳定状态时间数据时间可能对于关于初始点复位控制器的跟踪，以确保游戏环境中角色或目标映射的精确性，是重要的。该数据可能对于确定可能随后在游戏环境中执行的可用动作/姿态也是重要的(排他地及包含地)。

上次识别姿态通常是指姿态识别器505(由硬件或软件实现)最后识别的姿态。上次识别姿态的确认可能对于以下事实重要：之前的姿态可以和随后被识别的可能姿态或在游戏环境中发生其它动作相关。

上次姿态识别时间

上述各输出能被游戏程序或软件在任意时间采样。

在本发明的一实施例中，混合器408可为来自分析器402，404，406的跟踪信息403，405，407分配分布值。如上所述，输入控制数据的某些集合可被取平均。然而在本实施例中，输入控制数据在取平均之前被分配一个值，由此来自某些分析器的输入控制数据比来自其它的在分析上更加重要。

例如，混合器408可能需要关于加速度和稳定状态的跟踪信息。混合器408然后将如上所述地接收跟踪信息403，405，407。跟踪信息可以包括关于例如如上所述的加速度和稳定状态的参数。在对代表上述信息的数据取平均之前，混合器408可以为跟踪信息数据集403，405，407分配分布值。例如，从惯性分析器402获得的x-和y-加速度参数可以值90％加权。然而，从图像分析器406获得的x-和y-加速度数据可以仅10％加权。属于加速度参数的声学分析器跟踪信息407可以0％加权，也就是说该数据没有权值。

类似地，从惯性分析器402获得的Z-轴跟踪信息参数可以10％加权，而图像分析器Z-轴跟踪信息可以90％加权。声学分析器跟踪信息407可再次以0％值加权，但是来自声学分析器406的稳定状态跟踪信息可以100％加权，同时其它分析器跟踪信息以0％加权。

在恰当的分布权值被分配之后，输入控制数据可结合权值取平均，以达到加权平均输入控制数据集，该数据集随后被姿态识别器505分析，并且和游戏环境中的特定动作相关联。关联的值可以由混合器408或特定游戏标题预先定义。上述值也可是混合器408确定出来自各分析器的数据的特定特质，并由此进行动态调整的结果，如下进一步讨论的。上述调整也可是建立特定数据何时在特定环境中和/或响应于给定游戏标题的特殊性具有特定的值的历史知识库的结果。

混合器408可以被配置为在游戏进行中动态操作。例如，当混合器408接收到各输入控制数据时，它可以识别出，某数据一直超出可接收的范围或数据质量，或反映了可指示出相关输入装置处的处理错误的坏数据。

此外，在现实环境中的某些条件可能改变。例如，用户的在家游戏环境中的自然光从早上到下午可能会增强，引起图象数据捕获出现问题。此外，邻居或家人可能随着一天的进行变得吵闹，引起声音数据捕获出现问题。类似的，如果用户持续玩了几个小时，他们的反应可能变得不太敏捷，引起惯性数据的解释出现问题。

在这些例子中，或在其中特定形式的输入控制数据的质量是可怀疑的任意其它例子中，混合器408可以为来自特定装置的特定数据集动态重新分配分布权值，使得更多或更少的重要性被赋给如上所述的特定的输入控制数据。类似地，游戏环境可能在游戏过程中改变，其中特定游戏的需求改变，从而需要为特定的输入控制数据重新分配权值或者需要。

类似地，混合器408能基于可由姿态识别器505产超的处理错误或反馈数据识别出，正在传递给姿态识别器505的某数据正被错误地处理、缓慢地处理，或完全没有处理。响应于该反馈或识别到这些处理困难(例如，尽管图像分析数据在可接受的范围内，当姿态识别器505进行关联时发生错误)，混合器408可调整从哪个分析器，以及如果可能的话什么时候，寻求哪个输入控制数据。混合器408还可要求在输入控制数据传送到会再次处理数据(例如，对数据取平均)的混合器408之前，由合适的分析器对输入控制数据进行特定的分析和处理，从而得到更多一层的保证，使得传送到姿态识别器505的数据将被有效和适当地处理。

在一些实施例中，混合器408能识别出，某数据是坏的、无效的、或在特定的变量之外的，并能访问特定输入控制数据或与该数据相关的变量，使得它可替换不正确的数据，或者适当地分析和计算关于必需的变量的特定数据。

根据本发明的实施例，视频游戏系统和上述类型的方法可以如图6中描述的那样实现。视频游戏系统600可以包括处理器601和存储器602(比如RAM、DRAM、ROM等等)。另外，视频游戏系统600可以具有多个处理器601，如果要执行并行处理的话。存储器602包括数据和游戏程序代码604，其可以包括如上述地配置的各部分。特别地，存储器602可以包括惯性信号数据606，该惯性信号数据606可以包括上述存储的控制器路径信息。存储器602也可以包含存储的姿态数据608，比如代表与游戏程序604相关的一个或多个姿态的数据。在处理器602上执行的编码的指令可以实现可以如上所述地配置和工作的多输入混合器605。

系统600也可以包括众所周知的支持功能610，比如输入/输出(I/O)元件611，电源(P/S)612，时钟(CLK)613和缓存614。设备600可以可选地包括大容量存储装置615，比如磁盘驱动器，CD-ROM驱动器，磁带驱动器等来存储程序和/或数据。控制器也可以可选地包括显示单元616以及用户接口单元618，以方便在控制器600和用户之间交互。显示单元616可以是显示文本，数字，图形符号或图像的阴极射线管(CRT)或平板屏幕的形式。用户接口618可以包括键盘，鼠标，操纵杆，光笔或其它装置。另外，用户接口618可以包括麦克风，摄像机或其它信号转换装置，以提供对要分析的信号的直接捕捉。处理器601，存储器602和系统600的其它组件可以通过如图6所示的系统总线620相互交换信号(比如代码指令和数据)。

麦克风阵列622可以通过I/O功能611耦接到系统600。麦克风阵列可以包括大约2到8个麦克风，优选地大约4个麦克风，相邻的麦克风相隔的距离小于大约4厘米，优选的在大约1到2厘米之间。优选地，阵列622中的麦克风是全向麦克风。可选的图像捕获单元623(比如数字摄像机)可以通过I/O功能611耦接到设备600。机械地耦接到摄像机的一个或多个瞄准致动器625可以通过I/O功能611与处理器601交换信号。

如这里所用到的，术语I/O一般指向或从系统600传递数据，以及向或从外围设备传递数据的任何程序、操作或设备。每一次数据传递可以被看作从一个设备的输出以及到另外一个设备的输入。外围设备包括仅输入的设备，比如键盘和鼠标，仅输出的设备，比如打印机，以及像可写CD-ROM那样既能输入又能输出的设备。术语“外围设备”既包括外部设备，比如鼠标、键盘、打印机、监控器、麦克风、游戏控制器、摄像机、外部压缩驱动器或扫描仪，也包括内部设备，比如CD-ROM驱动器、CD-R驱动器或内部调制解调器或其它外围设备，比如闪存读/写器，硬盘驱动器。

在本发明的某些实施例中，设备600可以是一个视频游戏单元，其可以包括经由I/O功能611通过有线(比如USB电缆)或无线方式耦接到处理器的控制器630。控制器630可以具有模拟操纵杆控制631和传统按钮633，提供在玩视频游戏期间常用的控制信号。这种视频游戏可以被实现为来自程序604的处理器可读数据和/或指令，其可以储存在存储器602或其它处理器可读媒介上，比如与大容量存储器615相联系的一个。

操纵杆控制631一般可以被配置为使得向左或向右移动控制杆产生沿X轴移动的信号，向前(上)或向后(下)移动它产生沿Y轴移动的信号。在为三维运动配置的操纵杆中，向左(逆时针)或向右(顺时针)扭动操纵杆可以产生沿Z轴移动的信号。这三个轴-X、Y和Z-通常分别被称为翻滚、俯仰和偏航，特别是关于飞行器。

除了传统的特性外，控制器630可以包括一个或多个惯性传感器632，所述惯性传感器632可以通过惯性信号给处理器601提供位置和/或方向信息。方向信息可以包括角度信息比如控制器630的俯仰、翻滚或偏航。通过例子，惯性传感器632可以包括任意数量的加速度计、陀螺仪或倾斜传感器和/或它们的组合。在一个优选实施例中，惯性传感器632包括倾斜传感器，适于感应操纵杆控制器关于俯仰和翻滚轴的方向；第一加速度计，适于感应沿着偏航轴的加速度；以及第二加速度计，适于感应关于偏航轴的角加速度。加速度计可以被实现为，比如MEMS装置，该装置包括通过一个或多个弹簧安装的块，具有用于感应块相对于一个或多个方向的位移的传感器。来自传感器的依赖于块的位移的信号可以用于确定操纵杆控制器630的加速度。这种技术可以通过可存储在存储器602上并由处理器601执行的游戏程序604中的指令来实现。

通过例子，适于作为惯性传感器632的加速度计可以是一个简单块，其弹性地在三个或四个点耦接到框架，比如通过弹簧。俯仰轴和翻滚轴位于与该框架相交的一个平面中，该框架被装配到操纵杆控制器630上。当该框架(以及操纵杆控制器630)绕着俯仰轴和翻滚轴旋转时，块会在重力的影响下位移，且弹簧将会以依赖于俯仰和/或翻滚角的方式拉长或压缩。块的位移可以被感应到并转换成依赖于俯仰和/或翻滚的量的信号。关于偏航轴的角加速度或沿着偏航轴的线性加速度也可以产生弹簧压缩和/或拉长的特征模式或者块的移动，该移动可以被感应到并转换成依赖于角或线性加速度的量的信号。这样的加速度计装置可以通过跟踪块的移动或弹簧的压缩和扩张力，来测量关于偏航轴的俯仰、翻滚角加速度以及沿着偏航轴的的线性加速度。存在很多种不同的方法来跟踪块的位置和/或施加在它上面的力，包括电阻应变计量材料、光传感器、磁传感器、霍尔效应装置、压电装置、电容性传感器等等。

另外，操纵杆控制器630可以包括一个或多个光源634，比如发光二极管(LED)。光源634可以用于将一个控制器与其它控制器区分开来。例如，一个或多个LED可以通过闪烁或保持一种LED模式编码来实现这个目标。通过举例，5个LED可以以直线或二维的模式在操纵杆控制器630上提供。尽管直线排列LED是优选方式，LED可以可选地，被排列成矩形的模式或弓形的模式，以在分析图像捕获单元623获得的LED模式的图像时，方便确定LED阵列的图像平面。此外，LED模式编码也可以用于在玩游戏期间确定操纵杆控制器630的定位。例如，LED可以帮助识别控制器的俯仰、偏航和翻滚。这个检测模式可以帮助在游戏中提供更好的用户感受，比如飞行器飞行游戏等等。图像捕获单元623可以捕捉包含操纵杆控制器630和光源634的图像。分析这些图像可以确定操纵杆控制器的位置和/或方向。这些分析可以通过存储在存储器602中并被处理器601执行的程序代码指令604来实现。为了方便图像捕获单元623捕获光源634的图像，光源634可以被放置于操纵杆控制器630的两个或更多个不同的侧面，比如前面和后面(如虚线所示)。这种放置允许图像捕获单元623针对取决于用户怎样握操纵杆控制器630的、操纵杆控制器630的不同方向，获得光源634的图像。

另外，光源634可以给处理器601提供遥测信号，比如，以脉冲编码，幅度调制或频率调制的形式。这种遥测信号可以指示操纵杆的哪些按钮正被按下和/或这些按钮被按到何种程度。遥测信号可以被编码成光信号，比如，通过脉冲编码，脉冲宽度调制，频率调制或光强度(幅度)调制。处理器601可以从光信号中解码出遥测信号，并响应于解码的遥测信号执行游戏命令。遥测信号可以通过分析图像捕获单元623获得的操纵杆控制器630的图像而被解码。可选地，设备600可以包括单独的光传感器，专门用于从光源634接收遥测信号。在与计算机程序接口中结合确定亮度量使用LED，在，比如，Richard L Marks etal.的，题为“Computer Image and Audio processing of Intensity and Input Devices forInterfacing With A Computer Program”(Attomey Docket No.SONYP052)的，2006年5月4日申请的美国专利申请号11/429,414中被描述，其全部内容通过引用的方式被合并到这里。另外，分析包含光源634的图像既可以被用于遥测也可以被用于确定操纵杆控制器630的位置和/或方向。这种技术可以通过可存储在存储器602中并由处理器601执行的程序604的指令来实现。

处理器601可以利用来自惯性传感器632的惯性信号，结合通过图像捕获单元623检测到的来自光源634的光信号和/或来自麦克风阵列622检测到的声音信号的声源位置和特性信息，来推断关于控制器630和/或它的用户的位置和/或方向的信息。例如，“声学雷达”声源位置和特性可以和麦克风阵列622结合使用，以在操纵杆控制器的移动被独立跟踪(通过惯性传感器632和或光源634)的同时跟踪移动的声音。在声学雷达选择中，预先校准的收听区在运行时被选择，且来自预先校准的收听区外部的源的声音被过滤掉。预先校准的收听区可以包括对应于图像捕获单元623的聚焦容积或视场的收听区。声学雷达的例子在，Xiadong Mao的题为“METHOD AND APPARATUS FOR TARGETEDSOUND DETECTION AND CHARACTERIZATION”的，2006年5月4日提交的美国专利申请号11/381,724中有详细的描述，其通过引用被合并到这里。向处理器601提供控制信号的不同模式的任何数量的不同组合可以和本发明的实施例结合使用。这种技术可以通过可储存在存储器602中并被处理器601执行的程序代码指令604实现，且可以可选地包括，控制一个或多个处理器在运行时选择预先校准的收听区，并过滤掉来自预先校准的收听区以外的源的声音的一个或多个指令。预先校准的收听区可以包括对应于图像捕获单元623的聚焦容积或视场的收听区。

程序604可以可选地包括一个或多个指令，来指示一个或多个处理器从麦克风阵列622的麦克风M_o...M_m产生一个离散时间域输入信号x_m(t)，确定收听扇区，并在半盲源分离中使用该收听扇区，以选择有限冲击响应滤波器系数，用于从输入信号x_m(t)中分离出不同的声源。程序604也可以包括指令，来将一个或多个分数延迟应用到除了来自参考麦克风M_o的输入信号x_o(t)之外的选择的输入信号x_m(t)。每个分数延迟可以被选择以优化来自麦克风阵列的离散时间域输出信号y(t)的信噪比。分数延迟可以被选择使得，相对于来自阵列中其它(多个)麦克风的信号来说来自参考麦克风M_o的信号在时间上是第一个。程序604也可以包括指令来将分数时间延迟Δ引入到麦克风阵列的输出信号y(t)中，从而：y(t+Δ)＝x(t+Δ)*b_o+x(t-1+Δ)*b₁+x(t-2+Δ)*b₂+...+x(t-N+Δ)b_N，其中Δ在0和±1之间。这种技术的例子在Xiadong Mao的，题为“ULTRA SMALL MICROPHONEARRAY”的，2006年5月4日提交的美国专利申请号11/381,729中有详细描述，其整个公开通过引用被合并到这里。

程序604可以包括一个或多个指令，在执行时使系统600选择包含声源的预先校准的收听扇区。这些指令可以使设备确定声源是否位于初始扇区中或位于初始扇区的某个特定侧。如果声源不在默认的扇区中，这些指令可以，在执行时，选择默认扇区的特定侧的不同扇区。该不同扇区可以通过与最优值最接近的输入信号的衰减来刻画。这些指令可以，在执行时，计算来自麦克风阵列622的输入信号的衰减和该衰减到最优值。这些指令可以，在执行时，使设备600为一个或多个扇区确定输入信号的衰减值，并且选择衰减最接近最优值的扇区。这种技术的例子在，例如Xiadong Mao的，题为“METHODS ANDAPPARATUS FOR TARGETED SOUND DETECTION”的，2006年5月4日提交的美国专利申请号11/381,725中描述，其公开通过引用被合并到这里。

来自惯性传感器632的信号可以提供跟踪信息输入的一部分，且图像捕获单元623从跟踪一个或多个光源634产生的信号可以提供跟踪信息输入的另一部分。通过例子，而不是限制，这种“混合模式”信号可以用在橄榄球类型的视频游戏中，其中四分卫在头假装向左边移动之后将球投掷到右边。特别地，游戏玩家拿着控制器630可以将他的头转向左边，且在就像控制器是橄榄球一样将控制器向右边挥出做出投掷动作时发出声音。麦克风阵列622结合“声学雷达”程序代码可以跟踪用户的声音。图像捕获单元623可以跟踪用户头部的动作或跟踪其它不需要声音或控制器的使用的命令。传感器632可以跟踪操纵杆控制器(代表橄榄球)的移动。图像捕获单元623也可以跟踪控制器630上的光源634。用户可以在达到操纵杆控制器630的加速度的一定量和/或方向时，或通过按下控制器630上的一个按钮触发一个键命令释放“球”。

在本发明的某些实施例中，惯性信号，比如来自加速度计或陀螺仪，可以用于确定控制器630的位置。特别地，来自加速度计的加速度信号可以对时间积分一次以确定速度的变化，且所述速度可以对时间积分以确定位置的变化。如果某个时刻的初始位置和速度的值是已知的，则可以利用这些值和速度和位置的变化来确定绝对位置。尽管可以使利用惯性传感器的位置确定比利用图像捕获单元623和光源634更快，但惯性传感器632可能会受到一种称为“漂移”的误差，其中，随时间累积的误差可能导致根据惯性信号计算的操纵杆631的位置(虚线所示)和操纵杆控制器630的实际位置之间的差异D。本发明的实施例允许多种方法来处理这种误差。

例如，可以通过将控制器630的初始位置重新设置成等于目前计算的位置来手动消除漂移。用户可以利用控制器630上的一个或多个按钮，以触发命令重新设置初始位置。可选地，基于图像的漂移可以通过将当前位置重新设置为根据从图像捕获单元623获得的作为参考的图像来确定的一个位置来实现。这种基于图像的漂移补偿可以手动地实现，比如，当用户触发操纵杆控制器630上的一个或多个按钮时。可选地，基于图像的漂移补偿可以自动实现，比如，在规则的时间间隔或响应于游戏的进行。这种技术可以通过可储存在存储器602上并被处理器601执行的程序代码指令604来实现。

在某些实施例中可能希望补偿惯性传感器信号中的伪数据。例如，来自惯性传感器632的信号可以是过采样的，且可以根据过采样信号计算滑动平均，以消除惯性传感器信号中的伪数据。在某些情形中可能希望对信号进行过采样，并从数据点的某个子集中丢弃高和/或低值，并根据剩余的数据点计算滑动平均。此外，其它数据采样和处理技术可以用于调整来自惯性传感器的信号，以消除或降低伪数据的影响。技术的选择可以依赖于信号的特性，要对信号执行的计算，玩游戏的特性或两个或多个这些因素的组合。这种技术可以通过可储存在存储器602中并被处理器601执行的程序604的指令来实现。

处理器601可以如上所述，响应于惯性信号数据606和存储器602存储并取出、并由处理器模块601执行的程序604的程序代码指令，执行对惯性信号数据606的分析。程序604的代码部分可以遵照多种不同编程语言中的任意一种，比如汇编、C++，JAVA或其它语言。当执行比如程序代码604的程序时，处理器模块601形成的通用目的计算机变成专用目的的计算机。尽管这里描述的程序代码604以软件的方式实现并在通用目的计算机上运行，本领域的技术人员将会意识到，任务管理的方法也可以可选地利用硬件，比如特定用途集成电路(ASIC)或其它硬件电路来实现。这样，应当理解本发明的实施例的全部或部分可以通过软件、硬件或它们的某种组合来实现。

在其中一个实施例中，程序代码604可以包括一组处理器可读指令，其实现一种方法，该方法具有和图5B中的方法510和图5C中的方法520或它们中的两个或多个的某组合一样的特性。程序代码604一般可以包括一个或多个指令，其指示一个或多个处理器分析来自惯性传感器632的信号，以产生位置和/或方向信息，并在玩视频游戏的期间利用这些信息。

程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，在运行时使图像捕获单元623监控图像捕获单元623前面的视场，识别视场内的一个或多个光源634，检测(多个)光源634发射的光的改变；并响应于检测到改变，触发向处理器601的输入命令。LED与图像捕获装置结合使用以触发游戏控制器的动作，在例如Richard L.Marks的，2004年1月16日提交的题为“METHOD AND APPARATUS FOR LIGHT INPUT DEVICE”的美国专利申请号10/759,782中被描述，它的全部通过引用的方式被合并到这里。

程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，当运行时，使用惯性传感器的信号和图像捕获单元从跟踪一个或多个光源产生的信号作为游戏系统的输入，比如，如上面所述。程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，当运行时补偿惯性传感器632中的漂移。

尽管本发明的实施例通过与视频游戏控制器630的游戏相关的例子进行了描述，本发明的实施例，包括系统600可以被用于具有惯性感应能力和无线或其它方式的惯性传感器信号传送能力的，任何用户操纵的主体，模制物体，旋钮、结构等等。

通过例子，本发明的实施例可以在并行处理系统上实现。这种并行处理系统典型地包括两个或多个处理器元件，其被配置为利用分开的处理器并行执行程序的部分。通过例子，而不是限制，图7示出了根据本发明一个实施例的一种类型的单元处理器700。该单元处理器700可以用作图6中的处理器601或图5A中的处理器502。在图7描述的例子中，单元处理器700包括主存储器702，power处理器元件(PPE)704，以及多个协作处理器元件(SPE)706。在图7描述的例子中，单元处理器700包括单个PPE 704和八个SPE 706。在这种配置中，七个SPE 706可以用于并行处理，一个可以保留作为备份，以防其他七个中的一个失效。单元处理器可以可选地包括多组PPE(PPE组)和多组SPE(SPE组)。在这种情形下，在一组中的各个单元间可以共享硬件资源。但是，SPE和PPE必须作为独立元件对软件出现。这样，本发明的实施例不限于采用图7中所示的配置。

主存储器702典型地包括普通目的且非易失性的存储器，以及特殊目的硬件寄存器或阵列，用于例如系统配置，数据转移同步，存储器映射的I/O，以及I/O子系统等功能。在本发明的实施例中，视频游戏程序703可以驻在主存储器702中。存储器702也可以包含信号数据709。视频程序703可以包括如上参考图4、5A、5B或5C所述或它们的某种组合来配置的惯性、图像和声学分析器以及混合器。程序703可以运行在PPE上。程序703可以被分成多个信号处理任务，以便可以在SPE和/或PPE上运行。

通过例子，PPE 704可以是具有关联的高速缓存L1和L2的64位PowerPC处理器单元(PPU)。PPE 704是普通目的处理单元，其能访问系统管理资源(例如，比如存储器保护表)。硬件资源可以明确地映射到如PPE所看到的实地址空间。从而，PPE可以利用合适的有效地址值直接寻址这些资源中的任何一个。PPE704的一个主要功能是为单元处理器700中的SPE 706管理和分配任务。

尽管图7中仅仅示出了一个PPE，某些单元处理器的实现，比如单元宽带引擎架构(CBEA)，单元处理器700可以具有组织为多个其中可以有多于一个PPE的PPE组的多个PPE。这些PPE组可以共享对主存储器702的访问。此外单元处理器700可以包括两个或多个SPE组。这些SPE组也可以共享对主存储器702的访问。这些配置在本发明的范围内。

每个SPE 706包括一个协同处理器单元(SPU)及其自己的本地存储区域LS。本地存储LS可以包括一个或多个存储器存储的分开的区域，每个与特定的SPU相关联。每个SPU可以被配置为仅执行来自其自己的相关联的本地存储区域的指令(包括数据加载和数据存储操作)。在这种配置中，本地存储LS和系统700的其他部分之间的数据传输可以通过从内存流量控制器(MFC)发布直接存储器存取(DMA)命令来执行，以向或从(单个的SPE)的本地存储区域传输数据。SPU是没有PPE 704复杂的计算单元，在于它们不执行任何系统管理功能。SPU一般具有单指令，多数据(SIMD)能力并典型地处理数据以及初始化任何需要的数据传输(服从于PPE设立的访问属性)，以执行给它们分配的任务。SPU的目的是使能需要更高计算单元密度的应用并能够有效地利用提供的指令组。系统中由PPE 704管理的大量SPE允许在大的应用范围中成本有效的处理。

每个SPE 706可以包括一个专用的内存流量控制器(MFC)，其包括关联的存储器管理单元，能够保存和处理存储器保护和访问许可信息。MFC提供了用于在单元处理器的主存储器和SPE的本地存储之间数据传输，保护，以及同步的主要方法。MFC命令描述了要执行的传输。用于传输数据的命令有时被称为MFC直接存储器存取(DMA)命令(或MFC DMA命令)。

每个MFC可以同时支持多个DMA传输并能够维持和处理多个MFC命令。每个MFC DMA数据传输命令请求可以包括本地存储地址(LSA)和有效地址(EA)两者。本地存储地址可以直接寻址仅与其相关联的SPE的本地存储区域。有效地址可以具有更普遍的应用，比如，它能够引用主存储器，包括所有的SPE本地存储区域，如果它们被映射到了实际地址空间中。

为了方便SPE 706之间的通信和/或SPE 706和PPE 704之间的通信，SPE 706和PPE 704可以包括与信令事件相关的信号通知寄存器。PPE 704和SPE 706可以通过星形拓扑耦接，其中PPE 704作为路由器向SPE 706发送消息。可选地，每个SPE 706和PPE 704可以具有被称为信箱的单向信号通知寄存器。信箱可以被SPE 706用于主机操作系统(OS)同步。

单元处理器700可以包括输入/输出(I/O)功能708，单元处理器700可以通过该输入/输出功能708与外围设备，比如麦克风阵列712和可选的图像捕获单元713和游戏控制器730进行交互。游戏控制器单元可以包括惯性传感器732，和光源734。另外元件互连总线710可以连接上面列出的各种组件。每个SPE和PPE都能够通过总线接口单元BIU访问总线710。单元处理器700也可以包括典型地在处理器中可见的两个控制器：存储器接口控制器MIC，其控制总线710和主存储器702之间的数据流，以及总线接口控制器BIC，其控制I/O 708和总线710之间的数据流。尽管对于不同的应用来说，对于MIC、BIC、BIU和总线710的需求可能有较大的变化，本领域的技术人员将熟悉它们的功能和电路来实现它们。

单元处理器700也可以包括内部中断控制器IIC。IIC组件管理提交给PPE的中断的优先级。IIC允许来自单元处理器700的其它组件的中断被处理而不使用主系统中断控制器。IIC可以被看作第二层次的控制器。主系统中断控制器可以处理从外部发起到单元处理器的中断。

在本发明的实施例中，某些计算，比如上述分数延迟，可以使用PPE 704和/或一个或多个SPE 706并行地执行。每个分数延迟计算可以作为不同的SPE706可以在其变得可用时执行的一个或多个单独的任务运行。

尽管上面是本发明优选实施例的一个完整描述，可能使用不同的替代、修改和等价物。因此，本发明的范围不应参考上述描述来确定，作为代替，应该参考所附权利要求，以及它们的所有范围的等价物来确定。这里描述的任何特征，无论是否是优选的，都可以与这里描述的任何其它特征相组合，无论其是否优选的。在后面的权利要求中，不定冠词“一”指冠词后面的项目的一个或多个的数量，除非有另外的明确陈述。除非在给定权利要求中明确使用措辞“用于...的装置”进行限定，否则，所附权利要求不应当被解释为包括装置加功能的限定。

Claims

1.一种用于跟踪环境中的用户操纵的系统，包括：

2.如权利要求1所述的系统，还包括：

第二分析器，可操作来从第二输入通道接收第二输入通道信息，第二输入通道信息代表环境中的用户操纵，该第二分析器进一步可操作来分析第二通道信息，以产生第二输出信息，用于在游戏程序执行中由游戏程序登记用户操纵；以及

可编程混合器，可操作来从第一输出信息中选择关于用户操纵的第一方面的信息，从第二输出信息中选择关于用户操纵的第二方面的信息，以及基于选择的第一输出信息和选择的第二输出信息产生混合输出信息，以提供给游戏程序。

3.如权利要求2所述的系统，还包括：

第三分析器，可操作来从第三输入通道中接收第三输入通道信息，第三输入通道信息代表环境中的用户操纵，该第三分析器进一步可操作来分析第三通道信息，以产生第三输出信息，用于在游戏程序的执行中由游戏程序登记用户操纵，其中可编程混合器可操作来从第三输出信息中选择关于用户操纵的第三方面的信息，以及基于选择的第一输出信息、选择的第二输出信息和选择的第三输出信息中的每一个而产生混合输出信息，以提供给游戏程序。

4.如权利要求2所述的系统，其中第一输入通道信息包括可使用第一类型传感器获得的信息，第二输入通道信息包括可使用第二类型传感器获得的信息，第二类型传感器与第一类型传感器不同。

5.如权利要求4所述的系统，其中第一输入通道信息包括可通过对手持控制器的操纵获得的信息。

6.如权利要求4所述的系统，其中第一输入通道信息包括可通过跟踪用户身体的至少一部分的运动而获得的信息。

7.如权利要求4所述的系统，其中第一分析器包括惯性分析器，第一输入通道信息包括可由惯性传感器获得的惯性信息。

8.如权利要求6所述的系统，其中惯性传感器包括加速度计或陀螺仪中的至少一个。

9.如权利要求4所述的系统，其中第二分析器包括视频分析器，第二输入通道信息包括指示可从图像捕获装置获得的图像中的用户可移动物体的位置的信息。

10.如权利要求9所述的系统，其中图像捕获装置包括摄像机。

11.如权利要求8所述的系统，其中第二分析器包括声学分析器，第二输入通道信息包括可通过用声学拾取装置转换用户可操纵声源获得的信息。

12.如权利要求11所述的系统，其中所述声学拾取装置包括麦克风。

13.如权利要求11所述的系统，其中第二输入通道信息包括可通过转换环境中的声音获得的信息。

14.如权利要求11所述的系统，其中第二输入通道信息包括指示环境中的声音的位置的信息。

15.如权利要求11所述的系统，其中第二输入通道信息包括指示环境中的信标的位置的信息。

16.如权利要求11所述的系统，其中第二输入通道信息包括指示环境中的用户可移动信标的位置的信息。

17.如权利要求1至10或权利要求13中的任意一个所述的系统，其中第一分析器包括惯性分析器且第一输入通道信息包括可由惯性传感器获得的惯性信息，第二分析器包括视频分析器且第二输入通道信息包括指示可从图像捕获装置获得的图像中用户可移动物体的位置的信息，以及第三分析器包括声学分析器且第三输入通道信息包括可通过用声学拾取装置转换用户可操纵声源获得的信息。

18.如权利要求17所述的系统，其中第二输入通道信息包括指示环境中用户可操纵声源的位置的信息。

19.如权利要求1、2、17或18所述的系统，其中第一输入通道信息，第二输入通道信息或第三输入通道信息中的至少一些代表环境中用户可操纵物体的加速度。

20.如权利要求1、2、17、18或19所述的系统，其中第一输入通道信息，第二输入通道信息或第三输入通道信息中的至少一些代表环境中用户可操纵物体的速度。

21.如权利要求1、2、17、18或19所述的系统，其中第一输入通道信息，第二输入通道信息或第三输入通道信息中的至少一些代表环境中用户可操纵物体的方向。

22.如权利要求21所述的系统，其中用户可操纵物体的方向包括指示俯仰、偏航和翻滚中的至少一个的信息。

23.如权利要求21所述的系统，其中用户可操纵物体的方向包括指示俯仰、偏航和翻滚的信息。

24.如权利要求1、2或权利要求17至23中任意一个所述的系统，其中第一输入通道信息，第二输入通道信息或第三输入通道信息中的至少一些代表在由至少两个正交轴定义的坐标空间中用户可操纵物体的位置。

25.如权利要求24所述的系统，其中所述至少一些信息代表在由至少三个正交轴定义的坐标空间中的用户可操纵物体的位置。

26.如权利要求2或权利要求17至25中的任意一个所述的系统，其中可编程混合器可操作来仅从第一输出信息中选择关于用户操纵的第一方面的信息，并且仅从第二输出信息中选择关于用户操纵的第二方面的信息。

27.如权利要求26所述的系统，其中可编程混合器可操作来部分从第一输出信息，部分从第二输出信息中选择关于用户操纵的第一方面的信息。

28.如权利要求2或权利要求17至25中的任意一个所述的系统，其中可编程混合器可操作来通过平均关于第一方面的第一输出信息和关于第一方面的第二输出信息，产生关于用户操纵的第一方面的输出信息。

29.如权利要求28所述的系统，其中第一输出信息和第二输出信息被分配不同的权重，且混合器可操作来将所述平均执行为根据不同的权重的加权平均。

30.如权利要求1、2所述的系统，其中以下至少一个：第一分析器可操作来存储姿态的模型，并且分析一段时间间隔上的第一输入通道信息，当用户操纵与模型匹配时检测姿态，以及在检测到姿态时产生信号。

31.如权利要求1、2或权利要求17至25中的任意一个所述的系统，其中分析器或混合器中的至少一个可操作来基于对输入通道信息的分析识别用户。

32.如权利要求1、2或权利要求17至25中的任意一个或权利要求31所述的系统，其中分析器或混合器中的至少一个可操作来基于对输入通道信息的分析来鉴定用户。

33.如权利要求1、2或权利要求17至25中的任意一个或权利要求31所述的系统，其中分析器或混合器中的至少一个可操作来响应于识别用户而鉴定用户。

34.如权利要求1、2或权利要求17至25、31或32中的任意一个所述的系统，其中分析器或混合器中的至少一个可操作来分析输入通道信息，以区分第一用户和第二用户的用户操纵。

35.如权利要求1、2或权利要求17至25、31或32中的任意一个所述的系统，其中分析器或混合器中的至少一个可操作来分析输入通道信息以产生输出信息，以包含第一子通道输出信息和可与第一输出信息分离的第二子通道输出信息，第一子通道输出信息用于向游戏程序登记第一用户的用户操纵，第二子通道输出信息用于向游戏程序登记第二用户的用户操纵。

36.如权利要求30至35中的任意一个所述的系统，其中输入通道信息包括可从图像捕获装置中获得的图像输入通道信息。

37.如权利要求30至35中的任意一个所述的系统，其中输入通道信息包括可从加速度计或陀螺仪中至少一个选择的惯性传感器中获得的惯性传感信息。

38.如权利要求30至35中的任意一个所述的系统，其中输入通道信息包括可从声学转换装置中获得的声学输入通道信息。