CN102203695B - 用于传送视觉信息的控制设备 - Google Patents

用于传送视觉信息的控制设备 Download PDF

Info

Publication number
CN102203695B
CN102203695B CN200980143725.3A CN200980143725A CN102203695B CN 102203695 B CN102203695 B CN 102203695B CN 200980143725 A CN200980143725 A CN 200980143725A CN 102203695 B CN102203695 B CN 102203695B
Authority
CN
China
Prior art keywords
computer program
visual cues
opertaing device
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980143725.3A
Other languages
English (en)
Other versions
CN102203695A (zh
Inventor
R·马克斯
A·米克黑洛夫
E·黄
G·M·扎列夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/259,181 external-priority patent/US10279254B2/en
Priority claimed from US12/426,186 external-priority patent/US8287373B2/en
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201310078192.3A priority Critical patent/CN103337111B/zh
Publication of CN102203695A publication Critical patent/CN102203695A/zh
Application granted granted Critical
Publication of CN102203695B publication Critical patent/CN102203695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提出了用于使控制设备与在基本计算设备处执行的计算机程序联系的方法和系统。所述方法在所述控制设备的球形部分处生成视觉提示并且使用与所述基本计算设备连接的图像捕捉设备来捕捉所述视觉提示的图像。此外，所述方法确定所述视觉提示是用户反馈还是对所述计算机程序的输入，并且当所述视觉提示是输入时在所述基本计算设备处处理所述视觉提示。另外，由所述计算机程序响应于所述输入而更新正被处理的对象的状态，以驱动经由所述控制设备与所述计算机程序的互动。

Description

用于传送视觉信息的控制设备
技术领域
本发明涉及用于使控制设备与计算机设备联系(interface)的方法和系统，并且更具体地涉及使用视觉提示(cue)使控制设备与在基本计算设备处执行的计算机程序联系的方法和系统。
背景技术
这些年来视频游戏产业发生了许多变化。随着计算能力的扩张，视频游戏的开发者同样创造出了利用计算能力上的这些提高的游戏软件。为此，视频游戏开发者已经编写了并入复杂的操作和数学以产生非常逼真的游戏体验的游戏。
游戏平台的例子可以是Sony PlaystationSonyPlaystation2(PS2)以及Sony Playstation3(PS3)，其各自均以游戏机(game console)的形式出售。众所周知，游戏机被设计成与监视器(通常为电视机)连接，并且通过手持控制器而允许用户互动。游戏机设计有专用处理硬件、固件以及软件，所述专用处理硬件包括CPU、用于处理密集的图形操作的图形合成器、用于执行几何变换的向量单元以及其他中间硬件。游戏机还设计有用于容纳游戏压缩盘的光盘托盘以通过游戏机在本地玩。也有可能进行在线游戏，其中用户可以通过因特网互动地与其他用户进行比赛或一起玩。随着游戏复杂度持续引起玩家的兴趣，游戏和硬件制造者不断创新以允许附加的互动性和计算机程序。
计算机游戏产业的发展趋势是开发出增加用户与游戏系统之间的互动的游戏。实现更加丰富的互动体验的一种方式是使用无线游戏控制器，游戏系统跟踪无线游戏控制器的运动(movement)，从而跟踪玩家的运动并且将这些运动用作游戏的输入。一般来说，手势输入是指使诸如计算系统、视频游戏机、智能电器等电子设备对由跟踪对象的摄像机所捕捉到的某个手势作出反应。
本发明的实施例在这个背景下产生。
发明内容
本发明的实施例提供了用于使控制设备与在基本计算设备处执行的计算机程序联系的方法和系统。所述控制设备的球形部分生成视觉提示，所述视觉提示向所述计算机程序提供输入或者向握住(hold)所述控制设备的用户提供视觉反馈。应理解的是，本发明可以诸如过程、装置、系统、设备或计算机可读介质上的方法等众多方式来实现。以下描述本发明的若干具有创造性的实施例。
在一个实施例中，提供了在所述控制设备的球形部分处生成视觉提示并且使用与所述基本计算设备连接的图像捕捉设备来捕捉所述视觉提示的图像的方法。此外，所述方法确定所述视觉提示是用户反馈还是对所述计算机程序的输入，并且当所述视觉提示是输入时在所述基本计算设备处处理所述视觉提示。另外，由所述计算机程序响应于所述输入而更新正被处理的对象(object)的状态，以驱动经由所述控制设备与所述计算机程序的互动。
在另一实施例中，提供了生成视觉提示请求的方法，所述视觉提示请求是用户反馈或对所述计算设备的输入中的一个或这两者。此外，所述方法包括当所述视觉提示请求用于用户反馈时在所述控制设备的球形部分处产生反馈视觉提示，并且当所述视觉提示请求用于输入时在所述基本计算设备处接收所述输入。接收所述输入的操作包括在所述球形部分处产生输入视觉提示，捕捉所述视觉提示的图像，并且在所述基本计算设备处处理所述视觉提示的图像。所述视觉提示的图像被用于更新被所述计算机程序用于驱动所述控制设备与所述计算机程序之间的互动的对象。
在又一实施例中，提供了将视觉提示用于用户反馈和对计算机程序的输入的系统。所述系统包括基本计算设备、控制设备以及与所述基本计算设备连接的图像捕捉设备。所述基本计算设备具有执行所述计算机程序的处理器。所述控制设备具有生成视觉提示的球形部分，并且所述图像捕捉设备被用于拍摄所述视觉提示的照片。当由所述处理器执行来自所述计算机程序的程序指令时，所述程序指令使得所述处理器确定所述视觉提示是用户反馈还是对所述计算机程序的输入，并且当所述视觉提示是输入时在所述基本计算设备处处理所述视觉提示。程序指令还使得所述处理器响应于所述输入来更新正由所述计算机程序处理的对象的状态。更新所述对象被用于驱动经由所述控制设备与所述计算机程序的互动。
通过以下详细的说明将使本发明的其他方面变得显而易见，这些详细的说明是结合附图所得到的并且其通过举例的方式示出了本发明的原理。
附图说明
参考以下结合附图所得到的说明可以最佳地理解本发明，在所述附图中：
图1A-1D描绘了附接球体的游戏控制器的不同实施例。
图2A-2D描绘了图1A-B的游戏控制器的不同操作模式。
图3示出了根据一个实施例的多玩家环境和使用视觉信息来确定控制器的定位的示意图。
图4描绘了根据一个实施例的具有用于改善运动跟踪的传感器的控制器。
图5A-5D描绘了在控制器处生成视觉提示的不同实施例。
图6A-6B描绘了在绘图应用中将控制设备用作指示器(pointer)的实施例。
图7A-7B示出了使用控制设备与计算设备联系来模仿手电筒的不同实施例。
图8描绘了在射击应用中使用控制设备的实施例。
图9示出了根据一个实施例的使用控制器以及对该控制器的定向的了解从显示器中的菜单中选择项目。
图10描绘了使用在控制器处生成的视觉提示来提供用户反馈的实施例。
图11A-B示出了将视觉提示用于用户反馈的实施例。
图12描绘了根据一个实施例的当从摄像机看去控制器被遮挡时用户反馈的生成。
图13示出了根据一个实施例的结合视觉提示和声音提示来监视控制器运动。
图14描绘了在不同的照明条件下校正控制器上的球体的感知颜色的实施例。
图15A-15B示出了根据一个实施例的将控制器用于在显示器上进行菜单导航。
图16A-16E示出了描述使控制设备与在基本计算设备处执行的计算机程序联系的不同实施例的方法的流程图。
图17示出了根据本发明的一个实施例的可被用于确定控制器定位的硬件和用户接口。
图18示出了根据本发明的一个实施例的可被用于处理指令的附加硬件。
具体实施方式
以下实施例描述了通过将视觉提示用于用户反馈和对计算机程序的输入两者来使控制设备与在基本计算设备处执行的计算机程序联系的方法和装置。
然而，对于本领域的技术人员来说将显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践本发明。在其他情况下，未对公知的过程操作作详细描述以便不会无谓地混淆本发明。
图1A-1D描绘了附接球体的游戏控制器的不同实施例。图1A是控制器102的正视图并且图1B是控制器102的侧视图。可以不同方式来照亮(illuminate)球形部分104，诸如以不同颜色、不同亮度以及按间歇的方式。由球形部分104生成的视觉提示可被用于向握住控制器的用户提供视觉反馈，并且有时向与握住该控制器的用户互动的其他用户提供反馈。视觉提示也可经由拍摄控制器102周围区域的图像的图像捕捉设备向基本设备提供视觉输入。在一个实施例中，可以经由控制器102的正面上的按钮板114或者经由底部按钮108来提供输入。按钮板114可以被构造为动作按钮或方向键。底部按钮108可以被用在诸如开火、拾取对象、打开或关闭手电筒等应用中。扬声器106生成音频信号，而振动设备110向用户提供有振动触觉的反馈。
图1C示出了控制器102的组件的实例。尽管权利要求的主旨和范围内所限定的控制器可具有更多或更少的组件，但这些示例性的组件示出了电子器件、硬件、固件以及外壳结构的实例来限定可操作的实例。然而，由于更多或更少的组件都是有可能的，因此这些组件的实例不应限制所主张的发明。基于此，控制器包括主体152(其为手持式的)和球形部分104，这里球形部分104也被称为球体。主体152被构造为提供手柄以便用单手操作控制器102。用户的第二只手当然也可以被用于握住主体152或选择主体152上的按钮。握住控制器102的用户可以通过按压诸如顶部按钮156和底部按钮108等按钮以及通过在三维空间内移动控制器来提供输入。控制器102被构造为无线地操作，这样有利于控制器运动的自由度以便与基站设备进行互动。可以多种方式实现无线通信，诸如经由Bluetooth无线链路、WiFi、红外线(未示出)链路或者通过由附接于基本计算设备的摄像机捕捉设备图像而在视觉上实现无线通信。
通过面向摄像机并且可以被照亮以改善视觉识别的相对大的球体104来增强视觉通信。由于球体在所捕捉到的图像中总是被感知为圆形(或部分圆形)而不依赖于控制器的定向，因此使用球形部分改善了视觉识别。在一个实施例中，球体直径与手柄152的横截面的最大直径的尺寸之比约为1，但其他比值也是有可能的，诸如1.2、1.4、0.9、0.8等。由于球体与主体152连接，因此球体的一部分被手柄152遮挡而无法看到。在一个实施例中，球体104的表面90％可见，但其他可见性百分比也是有可能的，诸如99％(棒糖型)、85％、80％、75％等。一般而言，所期望的是球体对于摄像机可见，并且可见的表面看来似乎具有某种曲率(例如球面曲率)。
光发射设备156照亮球体104。在一个实施例中，光发射设备156可以发射单色光，而在另一实施例中，光发射设备156可以被构造为根据对颜色的选择来发射光。在又一实施例中，球体104包括若干个光发射设备，每一个光发射设备都能够发射一种颜色的光。光发射设备156可构造为发射不同等级的亮度。基本计算设备可以通过改变球体104的光发射状态、产生音频信号或者利用有振动触觉的反馈等来向握住控制器的用户提供互动。这些反馈操作中的一种或其组合都是有可能的。在一个实施例中，从预定义的互动的列表中选择反馈的类型并且基于在游戏中发生了什么来选择反馈的类型。
由球体104生成的视觉提示可以被用于向基本计算设备提供视觉输入或者向用户提供反馈，或者既向基本计算设备提供视觉输入又向用户提供反馈。另外，可以在从基站传输命令时或者在控制器102处检测到预构造条件的发生(诸如按压按钮或以很大的速度猛晃(jerk)控制器)时生成视觉提示。视觉提示生成和目的的不同组合可以将控制器置于不同的模式下。在一种模式下，基本计算设备向控制器发送命令以将球体104所发出的光设定在期望的状态(诸如点亮为绿色)，并且然后基本计算设备进而在视觉上跟踪控制器。在第二种模式下，基本计算设备向控制器发送命令以在每次期望的事件(诸如按压按钮来模仿开火)发生时产生视觉提示。然后，基本计算设备可以跟踪控制器的视觉状态并且通过分析所拍摄的控制器的图像来检测控制器处的事件。在这种模式下，视觉提示也可向用户提供反馈，诸如当按钮被按压时闪光。
在又一种模式下，视觉提示的主要目的是向用户提供反馈，举例来说诸如以指示所玩游戏的状态的颜色来点亮球体。参见下面参考图6A-B对显示器绘画应用的一个实例的说明。应当理解的是，即使在视觉提示的目的在于提供用户反馈时，由于基本计算设备了解视觉提示的颜色或者能够监视球体在任意时间可能产生的不同视觉提示，基本计算设备也可将提示用于输入，诸如在视觉上跟踪球体104。
在主体152内部，印刷电路板160容纳处理器154、输入/输出(I/O)模块158、存储器162、WiFi模块178以及蓝牙模块164，这些组件通过总线172互连。通用串行总线(USB)模块166也提供与基本计算设备或其他连接于USB端口174的设备的互动。USB端口也可被用于对可充电电池168进行充电。由振动触觉模块170提供有振动触觉的反馈。
注意到，上述控制器构造和操作方法是示例性的，并且本领域的普通技术人员在看到本说明书的情况下将想到包括重排一些单元和/或并行地执行一些操作在内的许多对其的修改，这些修改完全在所主张的发明的范围之内。例如，控制器102也可以包括用于机械跟踪控制器运动的传感器，如以下参考图4所描述的那样。
图1D是娱乐系统中的不同单元的框图。基本计算系统及其组件位于图1D的左侧，并且在右侧示出了玩家环境。基本计算系统包括处理器、存储区域、时钟以及通信接口。通信接口包括用于与控制器进行无线通信的射频(RF)接口，诸如使用WiFiTM协议的通信。其他通信方法包括图像捕捉、声音传输和接收(在这个实施例中为超声波)以及光发射器。
与基本计算系统连接的不同通信设备连接于计算系统内部相应的控制器。存储区域包括正在运行的程序、图像处理区域、声音处理区域以及时钟同步区域。正在运行的程序包括游戏程序、图像处理程序、声音处理程序、时钟同步程序等。这些程序使用存储器的对应区域，诸如包含图像数据的图像处理区域、包含超声波通信数据的声音处理区域以及被用于与远程设备同步的时钟同步区域。
在玩家环境区域中示出了控制器构造的若干实施例。控制器A代表具有先前所描述的特征中的许多个特征的“满载”控制器。控制器A包括：时钟同步(CS)模块，该模块被用于与基本计算系统的时钟同步；声音接收器(SRx)，用于接收超声波数据；声音发射器(SRx)，用于发送超声波数据；WiFi(WF)模块，用于与计算系统700进行WiFi通信；声室(AC)，用于引导去往以及来自控制器的前部和/或侧面的声音；诸如数码摄像机等的图像捕捉(IC)设备，用于捕捉图像数据；以及处于红外或可见光谱中的光发射器(LE)，用于更容易地从计算系统700的图像处理模块进行图像识别。
另外，控制器A包括球形部分(未示出)以改善由远程捕捉设备进行的图像辨识。球形部分包括定向反射材料，所述定向反射材料增加由图像捕捉设备旁边的光发射器发送的、然后朝图像捕捉设备反射回去的光的量。由光发射器产生的光可以处于红外或可见光谱中，因此图像捕捉设备将在同一光谱中工作。控制器A中的不同组件可以被实现为控制器A内部的独立器件或模块。在另一实施例中，控制器A中的不同组件被集合成更少数量的集成组件，从而允许更加紧凑的实现。各种控制器也可包括一个或更多个USB插头，以允许控制器在连接至游戏站或计算机时进行充电。
根据给定控制器的预定用途，可以使用与针对控制器A所描述的相比具有更少特征的更简单的构造。相对于控制器B-E示出了更简单的设备的一些实施例，这些控制器采用来自针对控制器A所描述的那些特征中的特征的子集。本领域的技术人员将容易地理解，通过添加或删减组件有可能在本发明的主旨内实现类似的构造，只要能够保持本发明的原理。
图2A-2D描绘了图1A-B的游戏控制器的不同操作模式。图2A示出了“倒置棒(wand)”操作，其中球体部分位于控制器的底部，并且顶部包括输入按钮。在这种构造中，通过以球体为枢轴转动，控制器可以被用作街机的飞行摇杆。在一个实施例中，惯性单元提供“摇杆”(控制器)的角度以及扭转，并且顶部表面包括方向板。这种操作模式可以被用在开火、驾驶、飞行等游戏中。在一个实施例中，控制器在倒置棒构造中包括用于食指和中指的按钮。结果，两个倒置棒控制器提供与来自Sony Computer Entertainment America Inc.的SonyDualShock2控制器相同的功能。
图2B示出了以“铅笔”构造从后面握住的控制器。球体面向摄像机以用于视觉识别，并且控制器主体上的按钮允许用户输入。这种模式可以被用在其中控制器为画笔、手电筒、指示器、开火武器等的游戏中。图2C示出了在棒模式(wand mode)下对控制器的使用。在一个实施例中，所述棒包括处于手柄顶部的两个拇指按钮和用于食指的触发器，但其他构造也是有可能的。所述棒模式可以被用作魔杖、音乐指挥的指挥棒、网球拍、手斧或类似的武器、诸如镐的工具、伞、绳索等等。
图2D示出了在第二棒模式下的控制器，其中拇指被放置在控制器的顶部，可能地用于激活输入按钮。食指被放置在控制器的底部，并且也可按压按钮(在这种情况下为“开火”按钮)，所述按钮可以被用在除开火以外的其他应用中。这个第二棒模式可以被用作手电筒、开火武器、指向显示器中的用于菜单选择的指示器等。
图3示出了根据一个实施例的多玩家环境和使用视觉信息来确定控制器的定位的示意图。图像捕捉设备302获得包括玩家A和玩家B306A-B在内的游戏场的图像。对该图像进行分析以获得附接球体的控制器C1、C2、C3、C4的定位，这些控制器的输入转换为显示器中的具象310a和310b的动作。在一个实施例中，这四个控制器具有球形部分(有时被称为“球体”)，可以允许控制器产生视觉差异的不同颜色来照亮所述球形部分。例如，控制器C1点亮为红色，C2点亮为黄色，C3点亮为白色，而C4点亮为蓝色。这种颜色选择是示例性的，而许多其他的颜色组合也是有可能的。在一个实施例中，控制器的运动被用于玩其中玩家放虚拟风筝的游戏，但许多其他应用也是有可能的，诸如空手道格斗、开火、刀剑格斗、虚拟世界等。
在一些实施例中，控制器中的光被用于向用户提供反馈，诸如在玩家被“击中”时，指示所剩的生命的量、在从摄像机的角度看去控制器被遮挡时进行标示(flag)等。可以同时使用经由摄像机图片提供视觉输入和提供用户反馈这两种模式。在一个实施例中，每当球体被点亮以提供用户反馈时，基站使用与点亮控制器上的球体相关联的信息来分析图像捕捉设备302所拍摄的图像，从而对与球体的照亮相关联的颜色进行搜索。例如，在一种操作模式下，当玩家按压控制器上的按钮时，则控制器通过点亮球体来进行响应。基站监视球体的视觉状态，并且当基站检测到球体已被点亮时，则基站将处理这个事件来指示玩家按压了按钮。
图4描绘了根据一个实施例的具有用于改善运动跟踪的传感器的控制器。不同的实施例包括诸如磁强计、加速度计、陀螺仪等传感器的不同组合。加速度计是用于测量加速度和重力引发的反作用力的设备。单轴和多轴模型对于检测不同方向上的加速度的幅度和方向是可用的。加速度计被用于感测倾斜、振动以及冲击(shock)。在一个实施例中，三个加速度计被用于提供重力的方向，这为两个角度(世界空间的俯仰角(pitch)和世界空间的倾斜角(roll))给出了绝对基准。控制器可能经受超过5g的加速度，因此在控制器402内部使用能够以超过5g的力操作的加速度计。
磁强计测量控制器附近的磁场的强度和方向。在一个实施例中，在控制器内使用三个磁强计410，从而确保对于世界空间的偏航角(yaw)的绝对基准。磁强计被设计为跨越地磁场，其为±80微特斯拉。磁强计受金属的影响，并且提供随实际偏航单调变化的偏航测量结果。磁场可能由于环境中的金属而发生扭曲，这在偏航测量结果中引起扭曲。如果必要，可以使用来自陀螺仪(见下文)或摄像机的信息来校正这种扭曲。在一个实施例中，加速度计408与磁强计410一起使用以获得控制器的倾角和方位角。
陀螺仪是用于测量或维持定向的设备，其基于角动量的原理。在一个实施例中，三个陀螺仪基于惯性感测提供关于跨越相应的轴(x、y和z)的运动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在不存在绝对基准的情况下超时漂移。这需要周期性地将陀螺仪复位，可以利用诸如对球体404的视觉跟踪、加速度计、磁强计等其他可得到的信息来完成。手持设备可以快于500度/秒的速度旋转，因此推荐具有大于1000度/秒的规格的陀螺仪，但更小的值也是有可能的。
来自不同源的信息可以被结合以得到改善的定位和定向检测。例如，如果球体从视线中消失，则加速度计的定向感测被用于检测控制器正背向摄像机。在一个实施例中，控制器402包括扬声器412以向玩家提供音频反馈。当球体不可见时，控制器可以产生蜂鸣声，从而提醒玩家将控制器定向在正确的方向上或者返回到游戏场。
图5A-5D描绘了在控制器处生成视觉提示的不同实施例。在一个实施例中，整个球体被照亮。在图5A的实施例中，球体包括若干个可以被照亮的球冠。这些球冠可以在相同的时间全部以相同的方式被照亮，或者可以在不同的时间、以不同的颜色并且以不同的亮度独立地被照亮。例如，球冠可以被照亮以指示诸如生命的资源中的多少是可用的。初始地，所有的球冠被照亮并随资源减少而顺序地被熄灭，或者反过来，开始没有球冠被照亮，之后按顺序被照亮直到达到目标，即所有的球冠都被照亮。在一个实施例中，整个球体也可与球冠一起被照亮。
球冠的概念可以被延伸至多个“点”或非常小的球冠，如图5B所示。在一个实施例中，点对应于携载光信号的玻璃纤维的纤维末端。在又一实施例中，球体包括不同的被照亮的图案，诸如图5C中的三个环。图5D示出了具有相互垂直的两个环的球体。在另一实施例中，由于环的面向控制器的部分很少会被摄像机捕捉到，因此环不是完全被照亮的，从而在环的制造上以及在电池消耗上产生了节省。在一个实施例中，仅沿着环的270度圆弧照亮环，但其他值也是有可能的。
图6A-6B描绘了在绘图应用中将控制设备用作指示器的实施例。由基站计算控制器602的定向，该定向允许将控制器602用作指示设备。在图6A-B所示的实施例中，用户将控制器602瞄准显示器中的调色板610，并通过在光标指向期望颜色时按压输入按钮来选择用于绘画的颜色。一旦选定颜色，就以所选颜色照亮控制器602上的球体。
然后，用户将指示器移动至显示器中的绘图区域，在该区域中光标变为由虚拟的手612握住的画笔606，但其他光标表示也是有可能的。当控制器上的按钮被按压时，以所选颜色的线条绘制对象604。显示器的不同区域可以被构造为提供其他输入，诸如选择绘图对象(直线、圆圈、矩形、橡皮擦等)、绘图对象的厚度等。
在一个实施例中，变焦选项(zoom option)是可用的。当用户选择图6A中的变焦区域608时，在显示器上显示画布的子区域，如图6B所示。在一个实施例中，光标606和手612在拉近的视图中被放大以向用户提供自然的外观和感觉。在其他实施例中，光标的尺寸没有在放大的视图中改变。
图7A-7B示出了使用控制设备与计算设备联系来模仿手电筒的不同实施例。图7A描绘了使用具有球形部分的控制器来控制握住手电筒的具象的运动，所述球形部分与处理控制器输入的应用程序联系。也就是说，握住控制器的玩家将控制器作为手电筒进行操作并且具象与玩家运动对应地操作手电筒。随着具象移动手电筒，显示器的不同区域被“照亮”以显露其内容。
与控制器联系的基本计算设备使用球形部分的图像识别连同控制器上的传感器(举例来说诸如先前参考图4所描述的方法)来确定允许基本计算设备将控制器用作指示设备的控制器定向。
图7B使用参考图7A所描述的控制器的感知定向，但显示器上的效果的不同之处在于：在玩家直接将控制器指向显示器的不同部分时，控制器被用作“照亮”显示器的一部分的模拟手电筒。应当理解的是，图7A和图7B所示的实施例是将控制器用作指示设备的示例性使用。其他实施例可以采用对控制器的感知定向的不同处理，或者将控制器的指示特性用于其他目的。因此不应将图7A和图7B所示的应用于手电筒应用的实施例解释为唯一的或限制性的，而是示例性的或示意性的。例如，控制器的定向可以被用在诸如菜单选择、射击、项目收集、战斗等应用中。在图8中呈现了一个这样的实例，图8描绘了在射击应用中使用控制设备的实施例。
显示器呈现射击靶子，并且控制器包括位于底部以用食指操作的开火按钮，但其他按钮构造也是有可能的。在使用时，玩家瞄准靶子并且通过按压开火按钮来“开火”。基本计算机设备使用控制器的感知位置和定向来评估显示器上的虚拟子弹的冲击。在一个实施例中，显示器呈现瞄准器来帮助用户提高射击的精确度。
在一个实施例中，在开火之前先执行校正进程来评估控制器相对于显示器的相对位置。参见以下参考图14以及图16D-E所描述的用于校正控制器的不同实施例。
图9示出了根据一个实施例的使用控制器以及对该控制器的定向的了解从显示器中的菜单中选择项目。在显示器中向用户呈现一组选项(在这种情况下为一组可选的颜色)，并且用户使用控制器的指示能力来移动显示器中的光标并且选择期望的选项，诸如用于照亮控制器的球形部分的颜色。这可被用在多玩家环境中以让用户选择允许基本计算设备在视觉上区分控制器的不同颜色，并且可选地，向显示器上代表对应用户的某个对象分配颜色。
在另一实施例中，在校正进程期间使用颜色选择。在一个校正进程中，用户为校正选择颜色，以所选的颜色照亮控制器上的球体，拍摄控制器的图像，并且分析该图像来确定图像捕捉设备如何感知所选的颜色。可以通过选择不同颜色并且以类似的方式校正所选颜色来重复该过程。
可以多种方式来使用诸如照亮控制器的球形部分等由控制器生成的视觉反馈。图10描绘了使用在控制器处生成的视觉提示来提供用户反馈的实施例。在战斗游戏中，屏幕上的斗士被击中或受伤，从而引起控制器球体以诸如红色等预定的颜色被照亮诸如1秒等一定的时间段，但其他值也是有可能的。在另一实施例中，相反的过程发生，即控制器被照亮直到玩家受伤或被击中为止，从而使得球体在一段时间内关闭照明(illumination)。在又一实施例中，视觉反馈与诸如使控制器振动或产生声音等其他形式的反馈结合。
应当注意的是，所提出的将照明用于用户反馈是示例性的，并且许多其他组合也是有可能的。在一个实施例中，照明可以一定的时间间歇，并且可以将球体的间歇点亮的频率用作反馈，但许多其他形式的反馈根据预期的效果也是有可能的。
图11A-B示出了将视觉提示用于用户反馈的实施例。图11A示出了根据一个实施例的将视觉提示用于同时对于一对用户的用户反馈。初始地，两个用户均具有“满的生命”或预定量的能量，或者其值在游戏期间改变的某个其他类似的与玩家相关的对象。向“满的生命”分配球体颜色，诸如绿色。随着玩家生命减少，球体的颜色改变，直至完全失去生命为止。颜色序列的例子可以是绿色、黄色、橙色以及红色，但其他序列也是有可能的。
其他实施例将球形部分的亮度用作反馈，举例来说诸如使球体所发出的光的强度变暗直到“生命”耗尽为止，此时球体将不发光。在这种情况下，由于亮度代表生命的量，因此有可能对每个玩家在控制器处使用不同的颜色。
图11B提供了代表将亮度用于用户反馈的不同方法的图表。初始地，亮度的最大量被用于代表初始的对象，诸如玩家在游戏中的人物所剩的生命。随着对象的值降低，诸如所剩的生命的量减少，亮度降低。直线1154描绘了其中亮度在初始值与最终值之间以线性方式下降的实施例。曲线1152描绘了其中当玩家越来越接近失去全部生命时亮度变化更加明显的实施例。阶梯曲线1156对应于其中亮度以由所剩的生命的量中的边界所确定的递增值改变的实施例。使用递增值使得亮度的变化更加明显，从而使得它们更能引起用户的注意。在另一实施例中，球体的亮度可以被调整以在球体上产生闪光效果。
一些实施例将亮度与诸如球体颜色或间歇点亮等其他形式的反馈结合。在阶梯曲线1156的部分1158(被表示为虚线)中，球体闪烁以进一步通知用户几乎没有生命剩余。本领域中了解本申请的技术人员将易于理解其他组合，诸如颠倒亮度过程，即开始用户具有低的亮度值，而当失去全部生命时，该亮度值将增加到高亮度值。还应当注意的是，通过在将球体定位在所捕捉到的控制器及周围区域的图像上时使用用户反馈的当前状态，可以把将球形部分用于用户反馈与控制器视觉定位确定结合。
图12描绘了根据一个实施例的当从摄像机看去控制器被遮挡时用户反馈的生成。在一个实施例中，计算系统对控制器1270上的球体使用视觉跟踪。当球体被遮挡时，诸如当控制器跟随轨迹1282时，系统使用航位推算法(dead reckoning)，其中轨迹1282在球体位于玩家头部后方时引起遮挡。航位推算法(DR)是这样的过程：基于先前确定的位置或方位来估计当前的位置，并且基于已知的速度、逝去的时间以及路线来推进该位置。在球体被遮挡(区域1274)时使用航位推算法。一旦球体回到视线中，就在区域1278中接替进行视觉跟踪。
一旦球体进入遮挡区域1274，基于计算的设备就指示控制器生成用户反馈来通知用户。反馈可以为不同的种类，诸如视觉的、有声的或有振动触觉的。视觉反馈可包括使所有的光间歇性地产生、使球体以诸如红色的未预期颜色点亮、熄灭球体、产生诸如彩虹的颜色序列，其中每种颜色显示持续半秒等等。
图13示出了根据一个实施例的结合视觉提示和声音提示来监视控制器运动。控制器1314生成由麦克风1306捕捉到的并且被基本设备1304用于跟踪控制器运动的声音。在控制器处发起的音频信号可以是有声的或无声的，并且通过处理麦克风1306所捕捉到的声音而被用于跟踪飞行时间深度(z维度)。音频信号还可被用于相控阵x跟踪。音频定位跟踪可以与其他形式的定位跟踪结合，诸如对控制器上的球形部分的视觉跟踪。关于音频定位跟踪的更多细节可在2006年5月4日提交的发明名称为“Selective Sound Source Listening In Conjunctionwith Computer Interactive Processing(结合计算机互动处理的选择性声源收听)”的专利申请No.11/429,133中找到，以引用的方式将其并入本文。
在图13所示的实施例中，玩家1302处于投掷棒球的过程中。利用视频信号和声音信号的组合来跟踪控制器的运动，以将投掷运动转换为球在显示器1310所示的游戏中被投掷。
图14描绘了在不同的照明条件下校正控制器上的球体的感知颜色的实施例。图14还示出了具有球体460的控制器可以如何根据游戏场中的照明条件来改变、修正或改善其外观以改善检测。
在校正期间，玩家将控制器瞄准摄像机。基本计算设备向控制器发送指令以点亮球体460，并且由摄像机拍摄控制器的图像。然后，由基本计算设备分析该图像以评定所捕捉到的与校正相关联的值，诸如颜色、亮度、对比度、校正时间、摄像机参数等。在一个实施例中，该过程在球体460处以不同颜色被重复若干次，以搜集关于球体460在不同的颜色条件下的可见性的进一步信息。在另一实施例中，基于游戏场的整体图像对球体执行第一校正。一旦球体被定位在游戏场内，摄像机就将镜头向球体所在的区域拉近，并且通过对球体460拍摄更高分辨率的图像来进行第二校正。可以在下文中参考图16D和16E找到关于两种不同校正方法的更多细节。
上述校正方法由玩家的动作发起，但也可由在基本计算设备中运行的计算机程序自动执行和开始。例如，校正可以在每次开始新游戏时进行或者以周期性的间隔进行，即使玩家正专注于游戏。这允许基站调整定位跟踪过程来适应照明条件的变化。
如果游戏场靠近光源(自然的或人工的)，诸如可以接收到来自太阳462的光的窗户，则视觉检测可能根据白天或黑夜的时间以及游戏场中的光量而受到影响。球体的外观也受到来自太阳光线的命中角的影响。例如，如果日光从正面、背面或侧面击中球体，那么球体的外观将不同。类似地，灯464(或类似设备)可能根据灯是打开还是关闭的而影响视觉检测。
在一个实施例中，计算机程序调整如何根据照明条件来照亮球体。例如，被照得很亮的球体可以在低环境光的条件下改善检测，而较暗颜色的球体可以在具有明亮光线的情形下改善检测。
来自每次校正的校正数据可以被记录在数据库中用于游戏条件下对模式(pattern)确定的分析，并且允许计算系统适应于变化的环境。例如，可以在房间从下午2:00至3:00在摄像机视场的左侧接收直射日光的情况下检测到一种模式。这个信息可以被用于调整如何使用球体，或者向用户提供关于困难的视觉检测条件的信息，从而用户可以改变环境，诸如关闭房间中的遮光帘。下面表1示出了与校正和跟踪数据库相关联的示例参数，但其他参数也是有可能的。
表1
图15A-15B示出了根据一个实施例的将控制器用于在显示器中进行菜单导航。图15A示出了用于选择程序选项的图形用户界面的显示视图。无线控制设备可以被用作指示器，当光标在期望选项上时通过按压选择按钮来选择期望的选项。以上参考图7B描述了将控制器用作选项的一个实施例。图15B示出了代表不同菜单和每个菜单内的选项的示例性的树形数据结构。在顶部菜单上有三个选项可选：校正、模式以及选择颜色，这三个选项分别被用于初始化校正进程、设定控制器操作模式以及为控制器上的球体选择颜色。
图16A-16E示出了描述使控制设备与在基本计算设备处执行的计算机程序联系的不同实施例的方法的流程图。图16A显示了用于使控制设备与在基本计算设备处执行的计算机程序联系的方法的流程图。在操作2402中，所述方法在控制设备的球形部分处生成视觉提示。视觉提示的一个实例是如参考图5A-D、8、10、11A等所描述的那样照亮球形部分。在操作2404中，在基本计算设备处捕捉视觉提示的图像，并且在操作2406中，对视觉提示是用户反馈还是对计算机程序的输入进行确定。如果视觉提示是输入，则在操作2408中所述方法在基本计算设备处处理视觉提示。在操作2410中，所述方法响应于所述输入而更新正由计算机程序处理的对象的状态。对象的更新被用于驱动经由控制设备与计算机程序的互动。
图16B示出了使控制设备与在基本计算设备处执行的计算机程序联系的流程图。在操作1622中，所述方法生成视觉提示请求，该视觉提示请求可以是用户反馈或对计算设备的输入或是这两者。有时，视觉提示可以专门地被用于用户反馈，举例来说诸如当玩家“被击中”时将球体照亮为红色。视觉提示也可以专门地被用于输入，举例来说诸如以被基本计算设备用于在视觉上跟踪不同控制器的不同颜色来照亮若干控制器。在一些情况下，视觉提示可以既被用于用户输入又被用于视觉控制器识别。例如，基本计算设备可以在视觉上跟踪被照亮为绿色的控制器，并且然后基本计算设备产生请求以通过将球体转换为红色来提供用户反馈。然后，基本计算设备将分析所拍摄的预计为绿色或红色的控制器的图像。这样，即使当控制器改变颜色来提供用户反馈时，基本设备也可保持对控制器的跟踪。用于视觉提示处理的不同模式可以随着计算机程序的进程在会话期间交替。
在操作1624中，执行检查来确定视觉提示请求是否是用于用户反馈的，并且如果是，则所述方法继续到操作1626，而否则继续到操作1628。在操作1626中在控制设备的球形部分处产生反馈视觉提示。在操作1628中执行第二检查来确定视觉提示是否是用于对计算设备的输入。如果提示是用于输入的，则所述方法继续到操作1630，操作1630包括三个不同的操作1632、1634、1636。如果提示不是用于输入的，则所述方法结束。
在操作1630中，所述方法在基本计算设备处接收输入。在操作1632中在球形部分处产生输入视觉提示，并且在操作1634中捕捉视觉提示的图像。在操作1636中，所述方法在基本计算设备处处理视觉提示的图像，以更新被计算机程序用于驱动控制设备与计算机程序之间的互动的对象。
图16C描绘了在会话期间处理视觉提示请求的流程图。在操作1664中，所述方法等待视觉提示请求。一旦接收到请求，就在操作1670中执行检查来判断请求是否是用于用户反馈的。如果请求不是用于用户反馈的，即请求是用于对计算设备的输入的，则所述方法继续到操作1672，而否则到操作1678。在操作1672中，在控制设备上生成视觉提示，并且在操作1674中由基本计算设备捕捉视觉提示的图像。在操作1676中由在会话期间执行的计算机程序来处理视觉提示，并且所述方法继续到检查操作1666，在操作1666中检测会话的结束。如果会话未结束，则所述方法返回到操作1664。
在与用于用户反馈的视觉请求相关联的操作1678中，所述方法触发视觉提示在控制设备处的生成，并且然后在操作1682中所述方法检查视觉提示是否也是输入。如果提示也是输入，则所述方法继续到操作1674，而否则到操作1666来检查会话的结束。
图16D示出了单色校正过程的流程图。在操作1685中，所述方法选择在校正期间用于球形部分的颜色。在一个实施例中，用户选择颜色，而在另一实施例中，基本计算设备选择颜色。在操作1686中，捕捉控制器的图像，并且在操作1687中分析该图像并且针对操作1685中的颜色选择记录所捕捉到的值。在操作1688中基于针对所选颜色对图像的分析来调整其他颜色的预期值。
图16E示出了多色校正过程的流程图，这类似于参考图16D所描述的方法，但针对若干颜色重复该过程。在操作1690-1692中，所述方法分别选择第一颜色，以所选颜色照亮球体并且捕捉控制器的图像。
在操作1693中，所述方法分析图像并且记录所捕捉到的与所选颜色对应的值。检查操作1694确定是否有更多颜色用于校正，而如果有，则所述方法继续到操作1695，在操作1695中选择下一颜色，并且然后返回到操作1691。
注意到，以上参考图16D和16E所描述的进程是示例性的，而本领域中的普通技术人员将想到包括对一些单元重新排序和/或并行地执行一些操作在内的许多对其的修改，这些修改完全在本发明的范围之内。
图17示出了根据本发明的一个实施例的可被用于确定控制器定位的硬件和用户接口(user interface)。图17示意性地示出了SonyPlaystation 3娱乐设备，即可适于根据本发明的实施例的使控制设备与在基本计算设备处执行的计算机程序联系的控制台(console)的整体系统架构。系统单元1400设置有可连接至系统单元1400的各种外围设备。系统单元1400包括：细胞处理器(Cell processor)1428；Rambus动态随机存取存储器(XDRAM)单元1426；具有专用的视频随机存取存储器(VRAM)单元1432的真实合成处理器(Reality Synthesizer)图形单元1430；以及I/O桥1434。系统单元1400还包括可通过I/O桥1434访问的用于从盘1440a读取的Blu Ray Disk BD-ROM光盘阅读器1440以及可拆卸的吸入式硬盘驱动器(HDD)1436。可选地，系统单元1400还包括类似地可通过I/O桥1434访问的用于读取压缩闪存卡、Memory Stick存储卡等的存储卡阅读器1438。
I/O桥1434还连接至六个通用串行总线(USB)2.0端口1424；千兆比特以太网端口1422；IEEE 802.11b/g无线网络(Wi-Fi)端口1420；以及能够支持多达七个蓝牙连接的Bluetooth无线链路端口1418。
在操作中，I/O桥1434处理包括来自一个或更多个游戏控制器1402-1403的数据在内的所有无线、USB和以太网数据。例如，当用户正在玩游戏时，I/O桥1434经由蓝牙链路从游戏控制器1402-1403接收数据，并且将数据引导至细胞处理器1428，该细胞处理器相应地更新当前的游戏状态。
除了游戏控制器1402-1403之外，无线、USB和以太网端口还为其他外围设备提供连接，诸如：遥控器1404；键盘1406；鼠标1408；诸如Sony Playstation Portable娱乐设备的便携式娱乐设备1410；诸如EyeToy摄像机的摄像机1412；麦克风耳机1414；以及麦克风1415。因此，这样的外围设备原则上可以无线地连接至系统单元1400；例如，便携式娱乐设备1410可经由Wi-Fi自组网连接(ad-hoc connection)进行通信，而麦克风耳机1414可经由蓝牙链路进行通信。
设置这些接口意味着Playstation 3设备潜在地也可与其他外围设备兼容，诸如数字录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、IP语音电话、移动电话、打印机以及扫描仪。
另外，旧版的存储卡阅读器1416可经由USB端口1424连接至系统单元，从而允许读取Playstation或Playstation 2设备所使用的类别的存储卡1448。
游戏控制器1402-1403可操作用于经由蓝牙链路与系统单元1400无线通信或者与USB端口连接，由此还提供用于对游戏控制器1402-1403的电池充电的电力。游戏控制器1402-1403还可包括存储器、处理器、存储卡阅读器、诸如闪存等永久性存储器、诸如被照亮的球形部分、LED或红外线灯等光发射器、用于超声波通信的麦克风和扬声器、声室、数码摄像机、内部时钟、诸如面向游戏机的球形部分等可辨识的形状和使用诸如BluetoothWiFiTM等协议的无线通信。
游戏控制器1402是被设计成由两只手使用的控制器，而游戏控制器1403是带有球体附件的单手控制器。除了一个或更多个模拟操纵杆和常规的控制按钮之外，游戏控制器容许三维定位确定。因此，除了常规的按钮或操纵杆命令之外或者代替常规的按钮或操纵杆命令，可将游戏控制器的用户的手势和运动转换为游戏的输入。可选地，诸如PlaystationTM便携式设备的其他允许无线通信的外围设备可被用作控制器。在PlaystationTM便携式设备的情况下，可在所述设备的屏幕上设置附加的游戏或控制信息(例如控制指令或生命数)。也可使用其他可替换的或补充的控制设备，诸如跳舞毯(未示出)、光枪(未示出)、方向盘及踏板(未示出)，或者诸如用于快速反应问答比赛的单个或若干个大按钮等定制的控制器(同样未示出)。
遥控器1404也可操作用于经由蓝牙链路与系统单元1400无线通信。遥控器1404包括适用于操作Blu RayTM Disk BD-ROM阅读器1440以及适用于导航光盘内容的控制器。
除了常规的预录和可记录的CD以及所谓的超级音频(SuperAudio)CD之外，Blu RayTM Disk BD-ROM阅读器1440可操作用于读取与Playstation和PlayStation 2设备兼容的CD-ROM。除了常规的预录和可记录的DVD之外，阅读器1440还可操作用于读取与Playstation2和PlayStation 3设备兼容的DVD-ROM。阅读器1440进一步可操作用于读取与PlayStation 3设备兼容的BD-ROM以及常规的预录和可记录的蓝光光盘(Blu-Ray Disk)。
系统单元1400可操作用于通过音频和视频连接器向具有显示器1444和一个或更多个扩音器1446的诸如监视器或电视机等显示和声音输出设备1442提供音频和视频，所述音频和视频由Playstation 3设备经由真实合成处理器图形单元1430生成或解码。音频连接器1450可包括常规的模拟输出和数字输出，而视频连接器1452可不同地包括分量视频输出、S视频输出、合成视频输出以及一个或更多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以诸如PAL或NTSC等格式，或者以720p、1080i或1080p的高清晰度。
由细胞处理器1428执行音频处理(生成、解码等)。Playstation 3设备的操作系统支持Dolby5.1环绕立体声、Dolby影院环绕(DTS)以及从Blu-Ray光盘解码7.1环绕立体声。
在本实施例中，摄像机1412包括单个电荷耦合器件(CCD)、LED指示器以及基于硬件的实时数据压缩编码装置，使得压缩的视频数据可以诸如基于图像内的MPEG(动态图像专家组)标准等适当的格式被传输以便于系统单元1400解码。摄像机LED指示器被布置用于响应来自系统单元1400的适当的控制数据而发光，所述控制数据例如表明不利的照明条件。摄像机1412的实施例可经由USB、蓝牙或Wi-Fi通信端口而不同地连接至系统单元1400。摄像机的实施例可包括一个或更多个相关联的麦克风，并且还能够传送音频数据。在摄像机的实施例中，CCD可具有适合于高清晰度视频捕捉的分辨率。在使用时，摄像机所捕捉到的图像可例如被并入游戏内或被解释为游戏控制输入。在另一实施例中，摄像机是适合于检测红外光的红外摄像机。
通常，为了能经由系统单元1400的各通信端口中的一个与诸如摄像机或遥控器等外围设备成功进行数据通信，应当设置诸如设备驱动程序等适当的软件。设备驱动程序技术是已知的，这里将不再详细描述，除了要说明技术人员将意识到所描述的本实施例可能需要设备驱动程序或类似的软件接口。
图18示出了根据本发明一个实施例的可被用于处理指令的附加硬件。细胞处理器1428的架构包括四个基本组件：包括存储器控制器1560和双总线接口控制器1570A、B的外部输入和输出结构；被称为超级处理单元(Power Processing Element)的主处理器1550；被称为协同处理单元(SPE)的8个协处理器1510A-H；以及被称为单元互连总线的连接上述各组件的循环数据总线1580。与Playstation 2设备的情感引擎(Emotion Engine)的6.2GFLOPs相比，细胞处理器的总浮点性能为218GFLOPS。
超级处理单元(PPE)1550基于以3.2GHz的内部时钟运行的与双向同时多线程Power 1470兼容的PowerPC核(PPU)1555。其包括512kB的2级(L2)高速缓存和32kB的1级(L1)高速缓存。PPE 1550每时钟周期能够进行8个单位置操作(single position operation)，以3.2GHz转换成25.6GFLOPs。PPE 1550的主要作用是充当协同处理单元1510A-H的控制器，所述协同处理单元处理大部分的计算工作负荷。在操作中，PPE 1550保持作业队列，为协同处理单元1510A-H调度作业并且监视它们的进程。因此，每个协同处理单元1510A-H运行这样的内核：即其作用是取回作业、执行该作业并且与PPE 1550同步。
每个协同处理单元(SPE)1510A-H包括相应的协同处理单元(SPU)1520A-H和相应的存储器流量控制器(MFC)1540A-H，而MFC1540A-H又包括相应的动态存储器存取控制器(DMAC)1542A-H、相应的存储器管理单元(MMU)1544A-H以及总线接口(未示出)。每个SPU 1520A-H是时钟频率为3.2GHz且包括256kB(原则上可扩展至4GB)的局部RAM 1530A-H的RISC处理器。每个SPE提供理论上的25.6GFLOPS的单精度性能。SPU可以在单个时钟周期内对4个单精度浮点成员、4个32位数字、8个16位整数或16个8位整数进行操作。在相同的时钟周期中，SPU也可执行存储操作。SPU 1540A-H不直接访问系统存储器XDRAM 1426；由SPU 1520A-H形成的64位地址被传到MFC 1540A-H，所述MFC命令它的DMA控制器1542A-H经由单元互连总线1580和存储器控制器1560访问存储器。
单元互连总线(EIB)1580是细胞处理器1428内部的逻辑循环通信总线，其将上述处理器单元，即PPE 1550、存储器控制器1560、双总线接口1570A、B以及8个SPE 1510A-H，总共12个参与者连接在一起。这些参与者可以每时钟周期8个字节的速度同时向总线进行读写。如先前所提到的，每个SPE 1510A-H包括用于调度更长的读或写序列的DMAC 1542A-H。EIB包括四个通道，两个沿顺时针方向，两个沿逆时针方向。因此，对于12个参与者而言，任何两个参与者之间的最长的步进式数据流在适当的方向上为六步。因此，在通过参与者之间的仲裁而实现充分利用的情况下，12个时隙的理论峰值瞬时EIB带宽为每时钟周期96B。这等同于以3.2GHz的时钟速率的307.2GB/s(千兆字节每秒)的理论峰值带宽。
存储器控制器1560包括由Rambus公司开发的XDRAM接口1562。具有Rambus XDRAM 1426的存储器控制器接口具有25.6GB/s的理论峰值带宽。
双总线接口1570A、B包括Rambus FlexIO系统接口1572A、B。将该接口编组成12个通道，每个通道为8位宽，其中5条路径为输入(inbound)而7条路径为输出(outbound)。这经由控制器170A在细胞处理器与I/O桥700之间以及经由控制器170B在细胞处理器与真实仿真器图形单元200之间提供了62.4GB/s(36.4GB/s输出，26GB/s输入)的理论峰值带宽。
由细胞处理器1428发送到真实仿真器图形单元1430的数据将典型地包括显示列表，其为绘制顶点、将纹理(texture)施加于多边形、规定照明条件等一系列命令。
可用包括手持设备、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等的各种计算机系统构造来实践本发明的各实施例。也可在分布计算环境中实践本发明，在所述分布计算环境中由通过有线或无线网络链接的远程处理设备来执行各任务。
考虑到上述各实施例，应当理解的是本发明可采用各种用计算机实现的操作，所述操作涉及存储在计算机系统中的数据。这些操作包括需要对物理量进行物理处理的操作。本文所描述的形成本发明一部分的任何操作是有用的机械操作。本发明还涉及执行这些操作的设备或装置。所述装置可以为了所需目的而特别构造，或者装置可以为由存储在计算机中的计算机程序选择性地激活或构造的通用计算机。特别地，可以根据本文的教导而写入的计算机程序来使用各种通用机器，或者构造更专门的装置来执行所需操作可能是更便利的。
本发明也可实施为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储之后能被计算机系统读取的数据的任何数据存储设备。计算机可读介质的实例包括硬盘驱动器、网络附接存储设备(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可包括在与网络耦合的计算机系统上分布的计算机可读实体介质，从而以分布式的方式存储和执行计算机可读代码。
尽管按特定顺序描述了方法操作，但应当理解的是可在各操作之间执行其他内务操作，或者可以调整操作使得它们在稍微不同的时间发生，或者可以在允许处理操作以与处理相关联的各种间隔发生的系统中分配各操作，只要能够按期望的方式执行重叠操作的处理。
尽管为了清楚理解的目的而较为详细地描述了上述发明，但将显而易见的是可以在所附权利要求的范围内进行一定的变化和修改。因此，当前的各实施例应被认为是示意性的而非限制性的，并且本发明不应限制于本文所给出的细节，而是可以在所附权利要求及其等同内容的范围内被修改。

Claims (26)

1.一种用于使控制设备与在基本计算设备处执行的计算机程序联系的方法，所述方法包括：
从所述基本计算设备向所述控制设备传输命令；
基于所传输的命令在所述控制设备的球形部分处生成视觉提示以向用户提供反馈，其中所述反馈提供关于所述计算机程序的当前状态的信息；
在所述基本计算设备处捕捉所述控制设备的图像；
确定所捕捉到的图像中的视觉提示是用户反馈还是对所述计算机程序的输入；
在所述基本计算设备处处理所捕捉到的图像中的视觉提示；以及
当所捕捉到的图像包含所述输入时更新正由所述计算机程序处理的对象的状态，所述更新被用于驱动经由所述控制设备与所述计算机程序的互动。
2.根据权利要求1所述的方法，其还包括，
在一段时间内建立游戏会话，其中在所述游戏会话期间使经由所述球形部分对所述用户的反馈与通过所述球形部分输入的、对所述计算机程序的输入交替。
3.根据权利要求1所述的方法，其中多个控制设备同时与所述计算机程序联系，所述控制设备中的每一个将不同颜色的视觉提示用于对所述计算机程序的输入。
4.根据权利要求1所述的方法，其中所述视觉提示包括点亮所述球形部分。
5.根据权利要求4所述的方法，其中根据所述计算机程序中的参数值来调整点亮所述球形部分时的亮度。
6.根据权利要求1所述的方法，其中所述视觉提示包括点亮所述球形部分的一部分。
7.根据权利要求1所述的方法，其还包括，
在所述控制设备处产生与对所述用户的反馈相关联的声音。
8.根据权利要求1所述的方法，其还包括，
提供与对所述用户的反馈相关联的有振动触觉的反馈。
9.根据权利要求1所述的方法，其中所述视觉提示是对所述计算机程序的输入以确定所述控制设备的定位，其中处理所述视觉提示还包括处理所捕捉到的图像以在所捕捉到的图像中定位所述球形部分。
10.根据权利要求9所述的方法，其中所述视觉提示同时被用于对所述用户的反馈和用于输入。
11.一种用于使控制设备与在基本计算设备处执行的计算机程序联系的方法，所述方法包括：
从所述基本计算设备向所述控制设备传输命令；
基于所传输的命令生成视觉提示请求，所述视觉提示请求是对用户的反馈或对所述计算设备的输入中的一个或这两者，其中所述反馈提供关于所述计算机程序的当前状态的信息；
当所述视觉提示请求用于对所述用户的反馈时，在所述控制设备的球形部分处产生反馈视觉提示；以及
当所述视觉提示请求用于输入时，在所述基本计算设备处接收所述输入，接收所述输入包括，
在所述球形部分处产生输入视觉提示，
捕捉所述输入视觉提示的图像，以及
确定所述视觉提示是用户反馈还是对所述计算机程序的输入，以及
在所述基本计算设备处处理所述输入视觉提示的图像以更新被所述计算机程序用于驱动所述控制设备与所述计算机程序之间的互动的对象。
12.根据权利要求11所述的方法，其还包括，
结合所述视觉提示与状态信息来确定所述控制设备的定向，所述状态信息由所述控制设备中的加速度计、陀螺仪或磁强计中的至少一个获取。
13.根据权利要求12所述的方法，其中所述控制设备的定向被用于将所述控制设备操作为指示器。
14.根据权利要求12所述的方法，其中所述控制设备的定向允许将所述控制设备用作手电筒以照亮与所述基本计算设备连接的显示器的一部分。
15.根据权利要求12所述的方法，其中所述控制设备的定向允许将所述控制设备用作射向与所述基本计算设备连接的显示器中的射击设备。
16.根据权利要求11所述的方法，其中用于对所述用户的反馈的视觉提示选自由下列各项组成的集合：手枪射击、对于游戏中的玩家所剩的生命的量、与所述控制设备相关联的实体在游戏中被击中、咒语被施于所述实体以及从图像捕捉设备的角度来看所述球形部分被遮挡。
17.一种将视觉提示用于对用户的反馈和对计算机程序的输入的系统，所述系统包括：
基本计算设备，其具有执行所述计算机程序的处理器；
控制设备，其具有生成视觉提示的球形部分以基于从所述基本计算设备传输的命令提供用户反馈，其中所述反馈提供关于所述计算机程序的当前状态的信息；以及
图像捕捉设备，其与所述基本计算设备连接，所述图像捕捉设备捕捉所述控制设备的图像；
其中当所述处理器执行所述计算机程序时来自所述计算机程序的程序指令使得所述处理器，
确定所捕捉到的图像中的视觉提示是用户反馈还是对所述计算机程序的输入，
在所述基本计算设备处处理所捕捉到的图像中的视觉提示，以及
响应于所述输入而更新正由所述计算机程序处理的对象的状态，所述更新被用于驱动经由所述控制设备与所述计算机程序的互动。
18.根据权利要求17所述的系统，其中所述基本计算设备向所述控制设备传输信号以设定所述球形部分的颜色。
19.根据权利要求17所述的系统，其中按压所述控制设备上的按钮使得所述球形部分改变颜色，所述基本计算设备通过检测颜色变化来确认所述按钮的按压。
20.根据权利要求17所述的系统，其中校正进程使得，
所述控制设备以预定的颜色来点亮所述球形部分，以及
使得所述处理器，
分析来自所述图像捕捉设备的图像来检测所述球形部分，并且
基于所检测到的球形部分校正所述图像捕捉设备。
21.根据权利要求17所述的系统，其中所述控制设备发出声音以提供附加的对所述用户的反馈。
22.根据权利要求17所述的系统，其中所述控制设备发出声音，由与所述基本计算设备连接的多个麦克风中的至少一个来检测所述声音，所发出的声音被用于跟踪所述控制设备的运动。
23.一种将视觉提示用于用户反馈和对计算机程序的输入的系统，所述系统包括：
基本计算设备，其具有执行所述计算机程序的处理器；
控制设备，其具有生成视觉提示的球形部分；以及
图像捕捉设备，其与所述基本计算设备连接，所述图像捕捉设备捕捉所述视觉提示的图像；其中当所述处理器执行所述计算机程序时来自所述计算机程序的程序指令使得所述处理器，
确定所述视觉提示是用户反馈还是对所述计算机程序的输入，其中所述反馈提供关于所述计算机程序的当前状态的信息，
当所述视觉提示是输入时在所述基本计算设备处处理所述视觉提示，以及
响应于所述输入而更新正由所述计算机程序处理的对象的状态，所述更新被用于驱动经由所述控制设备与所述计算机程序的互动，
其中校正进程使得所述控制设备以预定的颜色来点亮所述球形部分，以及使得所述处理器，
分析来自所述图像捕捉设备的多个图像来检测所述球形部分的颜色，并且
基于所检测到的颜色校正所述图像捕捉设备。
24.一种将视觉提示用于用户反馈和对计算机程序的输入的系统，所述系统包括：
基本计算设备，其具有执行所述计算机程序的处理器；
控制设备，其具有生成视觉提示的球形部分；以及
图像捕捉设备，其与所述基本计算设备连接，所述图像捕捉设备捕捉所述视觉提示的图像；
其中当所述处理器执行所述计算机程序时来自所述计算机程序的程序指令使得所述处理器，
确定所述视觉提示是用户反馈还是对所述计算机程序的输入，其中所述反馈提供关于所述计算机程序的当前状态的信息，
当所述视觉提示是输入时在所述基本计算设备处处理所述视觉提示，以及
响应于所述输入而更新正由所述计算机程序处理的对象的状态，所述更新被用于驱动经由所述控制设备与所述计算机程序的互动，
其中校正进程使得所述控制设备以预定的颜色来点亮所述球形部分，以及使得所述处理器，
分析来自所述图像捕捉设备的图像来检测所述球形部分，并且
基于所检测到的球形部分校正所述图像捕捉设备，
其中所述计算机程序将在不同环境条件下所执行的多个校正进程保存在数据库中，其中所述计算机程序基于所述数据库和当前的环境条件来选择用于所述球形部分的颜色。
25.根据权利要求24所述的系统，其中所述计算机程序基于所述多个校正来识别所述图像捕捉设备的视场内的问题区域。
26.根据权利要求24所述的系统，其中基于所述数据库和当前的环境条件来调整所述图像捕捉设备的摄像机增益。
CN200980143725.3A 2008-10-27 2009-08-18 用于传送视觉信息的控制设备 Active CN102203695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310078192.3A CN103337111B (zh) 2008-10-27 2009-08-18 用于传送视觉信息的控制设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US12/259,181 US10279254B2 (en) 2005-10-26 2008-10-27 Controller having visually trackable object for interfacing with a gaming system
US12/259181 2008-10-27
US12034008P 2008-12-05 2008-12-05
US61/120340 2008-12-05
US12/426,186 US8287373B2 (en) 2008-12-05 2009-04-17 Control device for communicating visual information
US12/426186 2009-04-17
PCT/US2009/054148 WO2010051089A1 (en) 2008-10-27 2009-08-18 Control device for communicating visual information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310078192.3A Division CN103337111B (zh) 2008-10-27 2009-08-18 用于传送视觉信息的控制设备

Publications (2)

Publication Number Publication Date
CN102203695A CN102203695A (zh) 2011-09-28
CN102203695B true CN102203695B (zh) 2015-09-02

Family

ID=44246629

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980143725.3A Active CN102203695B (zh) 2008-10-27 2009-08-18 用于传送视觉信息的控制设备
CN201310078192.3A Active CN103337111B (zh) 2008-10-27 2009-08-18 用于传送视觉信息的控制设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310078192.3A Active CN103337111B (zh) 2008-10-27 2009-08-18 用于传送视觉信息的控制设备

Country Status (4)

Country Link
EP (1) EP2347320B1 (zh)
JP (1) JP5681633B2 (zh)
CN (2) CN102203695B (zh)
WO (1) WO2010051089A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147900B2 (ja) 2010-06-14 2013-02-20 株式会社ソニー・コンピュータエンタテインメント ゲームコントローラに取り付けられるアタッチメント、及び、コントローラアッセンブリ
US8550905B2 (en) * 2011-04-11 2013-10-08 Sony Computer Entertainment Inc. Temperature feedback motion controller
EP2613223A1 (en) * 2012-01-09 2013-07-10 Softkinetic Software System and method for enhanced gesture-based interaction
JP5174978B1 (ja) * 2012-04-26 2013-04-03 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
US9724597B2 (en) 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
JP6178066B2 (ja) 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
EP3156110A4 (en) * 2015-08-28 2017-07-05 Tomy Company, Ltd. Information processing device provided with head-mounted display
US9703102B2 (en) 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
CN109045697B (zh) * 2018-07-27 2022-06-14 网易（杭州）网络有限公司 一种物体运动的控制方法和装置
WO2024085368A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 그 동작 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309421B2 (ja) * 1992-03-12 2002-07-29 ソニー株式会社 タイトル入力装置とその方法
JPH05265639A (ja) * 1992-03-16 1993-10-15 Nippon Telegr & Teleph Corp <Ntt> 画像表示装置とそれを用いたテレビ電話機
JP3257585B2 (ja) * 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
JPH10240433A (ja) * 1997-02-25 1998-09-11 Alps Electric Co Ltd 入力装置
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
JP2003099194A (ja) * 2001-09-21 2003-04-04 Ricoh Co Ltd ポインティング位置検出方法、ポインティング位置検出装置およびポインティング装置
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP2005078310A (ja) * 2003-08-29 2005-03-24 Fuji Xerox Co Ltd 触覚呈示装置、触覚呈示方法、及びプログラム
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
KR100937572B1 (ko) * 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅 장치 및 방법
CN100357983C (zh) * 2005-03-18 2007-12-26 联想(北京)有限公司 受控装置与其控制装置间进行双向通信的方法和系统
DE602006018897D1 (de) * 2005-05-05 2011-01-27 Sony Computer Entertainment Inc Videospielsteuerung mittels Joystick
JP4849829B2 (ja) * 2005-05-15 2012-01-11 株式会社ソニー・コンピュータエンタテインメント センタ装置
JP5258558B2 (ja) * 2005-05-31 2013-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 装置の制御のための方法
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
EP1967942A1 (en) * 2005-10-26 2008-09-10 Sony Computer Entertainment America, Inc. System and method for interfacing and computer program
US20080021693A1 (en) * 2006-07-21 2008-01-24 Microsoft Corporation Storage Device Simulator
JP2008090559A (ja) * 2006-09-29 2008-04-17 Tokyo Institute Of Technology データ入力装置、情報処理システム、およびプログラム
JP4064442B2 (ja) * 2007-08-06 2008-03-19 任天堂株式会社 ゲーム用操作装置

Also Published As

Publication number Publication date
CN103337111B (zh) 2016-04-27
EP2347320B1 (en) 2021-03-31
CN103337111A (zh) 2013-10-02
JP2012507068A (ja) 2012-03-22
WO2010051089A1 (en) 2010-05-06
JP5681633B2 (ja) 2015-03-11
EP2347320A1 (en) 2011-07-27
CN102203695A (zh) 2011-09-28

Similar Documents

Publication Publication Date Title
CN102203695B (zh) 用于传送视觉信息的控制设备
US10445884B2 (en) Control device for communicating visual information
TWI517881B (zh) 決定附球控制器的位置與移動
KR101287696B1 (ko) 게임 시스템, 조작 장치 및 게임 처리 방법
TWI434717B (zh) 顯示裝置、遊戲系統及遊戲處理方法
JP4987399B2 (ja) ゲームプログラムおよびゲーム装置
JP2011258120A (ja) 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
JP4798809B1 (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP2007300985A (ja) ゲームプログラムおよびゲーム装置
US20120264512A1 (en) Game system, game apparatus, storage medium having game program stored therein, and image generation method
US9101839B2 (en) Computer-readable storage medium having stored therein game program, game apparatus, game system, and game processing method
JP6103677B2 (ja) ゲームシステム、操作装置、およびゲーム処理方法
JP2012096005A (ja) 表示装置、ゲームシステム、およびゲーム処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY COMPUTER ENTERTAINMENT, INC.

Free format text: FORMER OWNER: SNE PLATFORM INC.

Effective date: 20120828

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: SNE platform Limited by Share Ltd.

Address before: Tokyo, Japan

Applicant before: SONY COMPUTER ENTERTAINMENT Inc.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SONY COMPUTER ENTERTAINMENT, INC. TO: SNE PLATFORM INC.

TA01 Transfer of patent application right

Effective date of registration: 20120828

Address after: Tokyo, Japan

Applicant after: SONY COMPUTER ENTERTAINMENT Inc.

Address before: Tokyo, Japan

Applicant before: SNE platform Limited by Share Ltd.

C14 Grant of patent or utility model
GR01 Patent grant