CN102265240A - 确定球体联结控制器的位置和运动 - Google Patents

确定球体联结控制器的位置和运动 Download PDF

Info

Publication number
CN102265240A
CN102265240A CN2009801525381A CN200980152538A CN102265240A CN 102265240 A CN102265240 A CN 102265240A CN 2009801525381 A CN2009801525381 A CN 2009801525381A CN 200980152538 A CN200980152538 A CN 200980152538A CN 102265240 A CN102265240 A CN 102265240A
Authority
CN
China
Prior art keywords
controller
image
game console
bulb
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801525381A
Other languages
English (en)
Other versions
CN102265240B (zh
Inventor
A.米克海洛夫
R.马克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN102265240A publication Critical patent/CN102265240A/zh
Application granted granted Critical
Publication of CN102265240B publication Critical patent/CN102265240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于确定游戏控制器在游戏场中的位置的方法、系统和计算机程序。球部被联结到游戏控制器以使用视觉信息来定位控制器。该方法获得在此处存在游戏控制器的游戏场的图像,并且然后发现在图像中与球部相关联的像素。该方法进一步建立包围所发现的像素的区域并且基于与球体相关联的区域来确定几何形状。基于该几何形状计算控制器的位置,其中几何形状的中心指示控制器的水平和竖直位置而几何形状的尺寸确定控制器在游戏场内的深度。该位置被存储在存储器中,计算机使用该位置来驱动动作。

Description

确定球体联结控制器的位置和运动
技术领域
本发明一般地涉及在游戏场(field of play)中跟踪游戏控制器的位置,并且更加具体地涉及使用视觉信息来跟踪包括球体联结(ball attachment)的游戏控制器的位置和运动。
背景技术
视频游戏产业几年来已发生了很多变化。随着计算能力扩大,视频游戏的开发者同样创造了利用计算能力的这些增加的游戏软件。为此,视频游戏开发者已正在编码结合复杂的操作和数学以产生非常逼真的游戏体验的游戏。
实例游戏平台可以是Sony Playstation®、Sony Playstation2®(PS2)和Sony Playstation3®(PS3),其每一种均以游戏控制台的形式销售。如众所周知的,游戏控制台被设计成连接到监视器(通常电视机)并且通过手持式控制器实现用户交互。游戏控制台被设计有包括CPU、用于处理密集图形操作的图形合成器、用于执行几何形状变换的矢量单元和其它胶(glue)硬件的专用处理硬件、固件和软件。游戏控制台进一步被设计有用于接收游戏光盘的光盘托盘以通过游戏控制台进行本地玩耍。在线游戏也是可能的,其中用户能够通过互联网对抗其它用户或者与其它用户一起交互式地玩耍。
随着游戏复杂度继续激起玩家的兴趣,游戏和硬件制造商已继续进行创新以实现另外的交互性和计算机程序。在计算机游戏产业中的增长趋势是开发增加在用户和游戏系统之间的交互的游戏。一种实现更加丰富的交互体验的方式是使用其运动由游戏系统跟踪从而跟踪玩家的运动并且使用这些运动作为游戏输入的无线游戏控制器。一般地说,姿态输入指的是使电子器件诸如计算系统、视频游戏控制台、智能器具等对由跟踪物体的摄影机捕捉的某个姿态作出反应。
然而,当前的物体跟踪在捕捉准确度方面处于不利地位。因为由于在控制器的感知形状中的、稍微的变化使得确定控制器的水平和竖直位置是不可靠的并且非常易于受到噪声影响,因此传统的图像分析仅仅能够在两个维度中产生用户的位置的稍稍可靠的测量,所以出现了这个问题。另外,确定在照相机和正被跟踪的物体之间的距离是困难的,因为由于朝向或者远离照相机的运动而引起的、在形状中的稍微的改变并不提供足够的信息以可靠地计算在照相机和控制器之间的距离。
正是在这个背景内出现了本发明的实施例。
发明内容
本发明的实施例提供用于确定游戏控制器在游戏场中的位置的方法、系统和计算机程序。被联结到游戏控制器的球部有助于使用视觉信息来定位控制器。
应该理解,本发明能够被以多种方式诸如过程、设备、系统、器件或者在计算机可读介质上的方法实现。下面描述了本发明的几个创造性实施例。
在一个实施例中,一种计算机实现一种用于确定游戏控制器在游戏场中的位置的方法。该方法获得在此处存在游戏控制器的游戏场的图像,并且然后发现在图像中与球部相关联的像素。该方法进一步建立包围已发现像素的区域并且基于与球体相关联的区域来确定几何形状。基于该几何形状计算控制器的位置,其中该几何形状的中心指示控制器的水平和竖直位置,并且该几何形状的尺寸确定在游戏场内的控制器的深度。该位置被存储在存储器中,该位置被计算机用于驱动动作。
在另一实施例中,提出了一种用于确定游戏控制器在游戏场中的位置的方法。该方法获得游戏场的图像并且发现在图像中与被连接到游戏控制器的球部中的环体相关联的像素。此外,该方法建立包围与环体相关联的已发现像素的区域。基于先前建立的区域来确定椭圆,并且基于该椭圆计算控制器的位置,其中该椭圆的中心指示控制器的水平和竖直坐标,并且椭圆的尺寸确定控制器在游戏场内的深度。该位置被存储在存储器中,该位置被计算机用于驱动动作。
在另一实施例中,提出一种使用关于控制器的位置和运动的信息源的组合来确定游戏控制器在游戏场中的位置的方法。该方法获得控制器的图像并且从游戏控制器接收状态信息。该状态信息能够源于加速度计、陀螺仪或者磁力计。该方法确定与被连接到游戏控制器的球部相关联的几何形状,并且通过组合状态信息与关于几何形状的信息而计算控制器的位置。
根据与通过实例方式说明本发明的原理的附图结合进行的以下详细描述,本发明的其它方面将变得明显。
附图说明
参考与附图结合进行的以下描述,可以最好地理解本发明,在附图中:
图1A-B示出了联结有球部的游戏控制器的实施例。
图1C-E描绘了用于图1A-B的游戏控制器的不同操作模式。
图2A-2B示出联结有球体的游戏控制器的其它实施例。
图3A-3B描绘了球体联结(ball-attached)游戏控制器的不同实施例。
图4A-D示出了带有可互换面板的球体联结游戏控制器的实施例。
图5示出了根据一个实施例的多玩家环境和使用视觉信息来确定由玩家握持的不同控制器的位置的示意图。
图6A-6D说明了用于向从已捕捉图像感知的形状分配几何形状的不同实施例。
图7说明了根据一个实施例的如何使用子像素分析来发现对应于球部的像素。
图8示出了根据本发明的一个实施例的使图像模糊以改进形状探测的效果。
图9描绘了根据一个实施例的使用几个相继的已捕捉图像来确定球体位置。
图10说明了用于从游戏场的减小区域中获取图像以增加准确度的一个实施例。
图11描绘了根据一个实施例的利用少量像素对球体的图像辨识。
图12描绘了用于使用高分辨率照相机的图像辨识的一个实施例。
图13A-C说明了根据一个实施例的使用可移动以面向照相机的被照亮环体的球体探测。
图14A-H说明了根据一个实施例的在球部中的可辨别环体的探测。
图15A-B描绘了一种用于从部分弧段估计完整的环体区域的方法。
图16示出了其中球体振动以增加所感知球表面的实施例。
图17A-B描绘了能够改变尺寸或者外观以改进探测的球体的实施例。
图18示出了带有在外壳中封装的球部的游戏控制器的实施例。
图19A-B描述了根据一个实施例的带有用于改进运动跟踪的传感器的控制器。
图20描绘了根据一个实施例的使用不同的信息源来评定控制器位置。
图21A-C描述了根据一个实施例的在控制器中使用滚轮以发起计算机动作。
图22说明了根据本发明的一个实施例的可以被用于确定控制器位置的硬件和用户接口。
图23说明了根据本发明的一个实施例的可以被用于处理指令的另外的硬件。
图24示出了描述用于确定球体联结游戏控制器在游戏场中的位置的方法的实施例的流程图。
图25包括根据一个实施例的用于确定带有可辨别环体的球体在游戏场中的位置的方法的流程图。
具体实施方式
以下实施例描述用于确定游戏控制器在游戏场中的位置的方法、系统和计算机程序。球部被联结到游戏控制器以使用视觉信息来定位控制器。该方法获得在此处存在游戏控制器的游戏场的图像,并且然后发现在图像中与球部相关联的像素。该方法进一步建立包围已发现像素的区域并且基于与球体相关联的区域来确定几何形状。基于该几何形状计算控制器的位置,其中该几何形状的中心指示控制器的水平和竖直位置,并且该几何形状的尺寸确定在游戏场内的控制器的深度。该位置被存储在存储器中,该位置被计算机用于驱动动作。
然而,对于本领域的一位技术人员而言将明显的是,可以不带这些具体细节中的一些或者所有细节地实践本发明。在其它情形中,众所周知的过程操作未予详细描述从而不会不必要地模糊本发明。
图1A-B示出联结有球部的游戏控制器的实施例。被联结到控制器的球体能够具有不同的颜色,并且在一个实施例中,球体能够点亮。球体中的颜色能够由球体内部的RGB(红色 绿色 蓝色)发光二极管(LED)驱动。另外地,被照亮球体的亮度能够受到控制从而在不同的照相机曝光设置下跟踪球体。在一个实施例中,球体的颜色被用于对于来自不同用户的控制器并且在由相同用户在不同手上握持的控制器之间加以区分。
虽然在图1A和1B的控制器中示出球形球体,但是球体能够具有用于视觉跟踪意图的其它形状,诸如部分球形体、非理想球形体、细长球体(比如在美式橄榄球中或者在橄榄球中使用的球)、立方状形状等。
图1A和1B的控制器被设计用于单手使用,但是还能够使用在这里描述的实施例来跟踪球体联结的双手控制器。在一个实施例中,由用户在不同手上握持的两个控制器是相同的,并且在另一实施例中,该控制器是不同的。通常,控制器将是非常类似的,仅仅在每一个控制器处的按钮方面是不同的。在一个实施例中,该控制器包括用于对控制器充电的通用串行总线(USB)连接、用于与控制台无线通信的蓝牙(Bluetooth)以及按钮诸如开始、选择和PS。
在一个实施例中,球体或者球形体的直径为4cm,但是其它尺寸也是可能的。更大的尺寸有助于视觉辨识。与4cm球相比,具有5cm直径的球体提供用于图像辨识的、大约55%的更多像素。
图1C-E描绘了用于图1A-B的游戏控制器的不同操作模式。图1C示出"反向棒"操作,其中球部位于控制器的底部处并且顶部包括输入按钮。在这种配置中,通过在球体上枢转(pivot),控制器能够被用作街机飞行杆(arcade flight stick)。在一个实施例中,惯性单元提供扭转(twist)和“杆”(控制器)的角度,并且顶表面包括方向垫。在另一实施例中,如下面关于图4A-4D描述的,顶表面保持可移除板以改变按钮配置。能够在射击、驾驶、飞行游戏等中使用这个操作模式。
在一个实施例中,控制器包括在反向棒配置中用于食指和中指的按钮。结果,两个反向棒控制器提供与来自Sony Computer Entertainment America Inc的Sony DualShock®2控制器相同的功能性。
图1D示出了以“铅笔”配置在后面保持的控制器。球体面向照相机以进行视觉识别,并且控制器的本体中的按钮实现用户输入。这个模式能够用于其中控制器是画笔、手电筒、指针、射击武器等的游戏。图1E说明了在棒模式中控制器的使用。在一个实施例中,该棒包括在手柄的顶部处的两个拇指按钮和用于食指的触发器,但是其它配置也是可能的。棒模式能够被用作魔术棒、音乐指挥的指挥棒、网球拍、斧头或者类似的武器、工具诸如镐、伞、绳子等。
图2A-2B示出了联结有球体的游戏控制器的其它实施例。在图2A和2B中的控制器的本体是球形的,比如所联结的球体。该控制器具有不同的按钮配置并且旨在用于不同手。在一个实施例中,控制器是相同的,并且能够与左手或者右手一起使用。图2A和2B的控制器被以“棒球”配置握持,即,控制器大约为棒球或者网球的尺寸并且像棒球那样握持在手掌中。类似于在图1C到1E中的配置,2A和2B中的控制器能够被握持,其中球体联结指向不同的方向诸如朝向照相机、地板或者天花板。
图3A-3B描绘了球体联结游戏控制器的不同实施例。控制器是较纤细的并且被设计用于轻量型应用。
图4A-D示出了带有可互换面板的球体联结游戏控制器的实施例。图4A示出了类似于在图1A-B中的控制器但是带有可互换面板的控制器。用于图4B-4D的面板能够或者在顶部处或者在侧面处被联结到控制器。在另一实施例中,对于在顶部和侧面上的狭槽,面板的尺寸是不同的,并且用于顶部的面板不可与用于侧面的面板互换。图4B-4D分别示出了D垫联结、动作按钮垫和触摸垫。该联结包括电连接和当被置放在控制器上时牢固地卡扣该联结的机械夹持器。
图5示出了根据一个实施例的多玩家环境和使用视觉信息来确定由玩家握持的不同控制器的位置的示意图。图像捕捉器件508获得游戏场518的图像并且该图像被分析以获得球体联结控制器C1、C2、C4和C5的位置。通过分析在已捕捉图像中的相应球体的形状而估计距离dz1、dz2、dz4和dZ5。计算系统502使用所获得的坐标和距离来产生玩家在屏幕504中的表现(分别是头像512a和512b)。用于良好图像辨识的典型距离是大约10英尺(3米)。使用视觉辨识的一个优点在于,能够在系统中包括在图像捕捉和图像辨识中的改进而不必改变控制器。
图6A-6D说明了用于向从已捕捉图像感知的形状分配几何形状的不同实施例。图4A示出了在给定已捕捉图像来确定“真实”几何形状(即球体)在何处时的一些问题。因为球体是球形体,所以目标是在由照相机捕捉的图像中确定对应于球体的圆。根据方法论,存在向感知的形状分配圆的不同方式,诸如在图6A中的方式。例如,能够选择在所接收形状内部的圆从而确保在该圆中的所有像素都是对应于球体的像素,或者能够选择将包含所有形状像素和最小量的非形状像素的圆。备选地,该算法可以集中于探测界定所捕捉形状的外部曲线并且然后拟合近似那些曲线的圆。
在很多情形中,与球体相关联的所捕捉的像素的数目是小的。在一个实施例中,在10英尺(3米)处定位的球体产生其中圆的半径是4个像素的图像。换言之,每一个像素均对应于2.5英尺的深度。如果像素因为噪声或者因为不准确的算法而丢失,则玩家的位置跳跃2.5英尺。结果,靠自身计数的像素不提供准确的深度测量。另外地,如果球体由于控制器的运动而变得遮蔽,则照相机可以仅仅捕捉部分图像。对于分析感知的形状和确定球体的最好位置和形状而言,曲线拟合变得至关重要。
图6B说明了估计圆的中心和半径r。深度,在这里还被称作z,与球体的面积有关,并且与1/r成比例。在一个实施例中,该方法发现对应于球体的视觉识别的像素。与球体相关联的像素被计数以确定面积,并且然后基于该尺寸计算中心和r。
在另一实施例中,在图6B中的形状的周边被分析以确定围绕该形状的曲线。该曲线被分析从而确定最好地拟合该曲线的圆。在一个实施例中,所选择的圆是将具有由该圆和围绕所感知形状的曲线界定的独特区域的最小和的圆。
图6C说明了在给定非理想形状来发现相关联的圆时的困难。通过视觉上检查该形状,能够推断仅仅球体的部分片段已被捕捉。进行直像素计数以确定该区域将不会产生准确的结果。在一个实施例中,该方法检查可以由阴影、光线变化等引起的围绕边缘的“模糊”边界,并且确定外部曲线的形状。该形状的周界曲线被分析以确定在这里还被称作“质心”的中心,并且确定最好地拟合该区域和外部曲线的半径。
图6D说明了“拟合最长杆(fit the longest stick)”方法。如先前描述的,图像被分析并且所捕捉球体的形状被确定。该方法确定在该形状内部拟合的最长直段或者“杆”。最长片段然后被视为与球体相关联的圆的直径。
图7说明了根据一个实施例的如何使用子像素分析来发现对应于球部的像素。在很多显示和图像采集系统中的是,像素网格被划分成当在一定距离处查看时对显示或者感测的颜色有贡献的单色区带。在一些显示器,诸如LCD、LED和等离子体显示器中,这些单色区带是已开始被称作子像素的可分开地寻址的元素。例如,LCD通常将每一个像素702划分成三个子像素704、706和708。
在一个实施例中,像素分析集中于仅仅一种颜色诸如蓝色。在其它实施例中,该分析集中于两个子像素的组合,从而改进准确度但是要求更多的计算。另外地,一个像素的分析不被约束为分析该像素或者该像素中的子像素,并且分析附近的像素以改进准确度并且减小噪声或者其它条件诸如非一致照明的影响。
图8示出了根据本发明的一个实施例的使图像模糊以改进形状探测的效果。照相机稍微离焦地获取该图像,从而在球体上引起模糊效果,这引起球体的感知区域比无模糊地获取的图像更大。更大的区域意味着更多像素用于分析和改进准确度。
图9描绘了在这里被称作平滑处理的、根据一个实施例的使用几个相继的已捕捉图像来确定球体位置。在一个实施例中,已捕捉图像未被孤立地分析。来自一个图像的信息被与先前获取的图像相比较。如果图像获取频率是足够高的,则即使在把控制器的运动这个因素考虑进去之后,相继的图像也将是类似的。结果,能够使用来自先前图像的信息来探测很可能由噪声、不良照明、球体遮蔽等引起的、突然的异常像素变化。
在一个实施例中,来自先前图像的信息被与它们的龄期成反比地加权,即,较老的图像给予较小的权重,因为它们传达的信息变得不大相关。
图10指示用于从游戏场152的减小区域156中获取图像以增加准确度的一个实施例。计算机系统与被联结到球体的控制器一起保持对球体运动的跟踪,并且具有如下预期:球体将处于与图像被获取的最后时间大约相同的地方中,假设视频获取频率足以在图像之间允许控制器的小运动。在一个实施例中,视频获取照相机具有变焦能力并且获取球体在此处处于最后图像中的减小区域156的图像154和围绕球体的缓冲区域以允许控制器的运动。该减小区域的图像具有更高的分辨率并且提供与球体相关联的更多像素以实现更好的位置确定。
结果,当获取该减小区域的图像时,减小了在此处存在球体的游戏场,但是这能够容易地通过跟踪球体的运动而得以补偿从而捕捉围绕球体的最后已知位置为中心的放大图像。
在另一实施例中,照相机能够仅仅在游戏场的中心中放大。在此情形中,仅仅当球体朝向游戏场的中心定位时才使用放大功能。这将引起分辨率在玩家围绕游戏场的中心定位时更好而在球体在游戏场的周边中定位时更差。
图11描绘了根据一个实施例的利用少量像素对球体的图像辨识。如先前关于图6A描述的,当即使一个像素丢失或者误算时,当很少像素可用时球体的辨识也能够在感知的形状中引起大的变化。当球体越过像素边界移动时,很少像素可用性的问题可能恶化。在球体的第一位置160中,该方法将球体感知为具有四个像素。在一个实施例中,当至少百分之五十的像素对应于球体时,该方法确定像素与球体的颜色相关联,但是其它实施例可以使用其它百分比作为阀值。当球体移动到第二位置162时,该方法感知与球体相关联的7个像素。因为球体对应于少数像素,所以在图11中的情景下,球体在像素网格中的位置是一个因素。另外,该问题能够被其它因素诸如噪声和光栅化加重。
一个实施例通过使用更高分辨率的照相机来解决少量像素问题。图12描绘了用于使用高分辨率照相机的图像辨识的一个实施例。因为球体包括更大数目的像素,所以与当使用更低分辨率照相机时相比,球体越过像素网格的小运动将对形状辨识具有更小的影响。
图13A-C说明了根据一个实施例的使用可移动以面向照相机的被照亮环体的球体探测。控制器170具有联结的球部172以基于利用图像捕捉器件180获取的图像进行视觉辨识。球部172包括内部球形体或者球体174。球体174具有形成面向图像捕捉器件180的视觉环体的多个光源178a-n。在一个实施例中,该光源对应于发出从对应光纤线接收的光的光纤线的端部。在另一实施例中,该光源对应于LED。
内部球体174被配置为移动内部球体172从而基本面向捕捉器件180。在一个实施例中,球体174悬浮在液体中以促进运动。图13B示出了在控制器已移动它的定向大约45度之后的、图13A的相同控制器170。虽然控制器170已移动,但是内部球体174已关于控制器170旋转,因此被照亮环体仍然面向捕捉器件180。结果,所捕捉的图像将是环体,这有助于确定球体的位置,如下面关于图15A-B描述的。
在另一实施例中,能够利用不同颜色的光照亮该环体以增强图像辨识,或者区分游戏场中的不同控制器。在又一个实施例中,多于一个环体可用于照明,其中一次仅仅照亮一个环体,或者其中多个环体被同时照亮以进行图像辨识。图13C说明了如由图像捕捉器件180看到的球部的前视图。
图14A-H说明了根据一个实施例的在球部中的可辨别环体的探测。图14A包括联结有球体192的控制器190,球体192包括带有被照亮环体196的内部球体194。不像图13A-C的控制器那样,在图14A-C中的控制器不具有关于控制器移动的球体。因此,当控制器从在图14A中的基本竖直位置移动到如在图14B中的不同定向时,环体196从笔直面向图像捕捉器件180行进到关于连接球体与捕捉器件180的线以一定角度面向图像捕捉器件。在图14A中,该图像捕捉被照亮圆,并且在图14B中,该图像捕捉椭圆形环体。在其中该环体未笔直面向照相机的大多数控制器位置中,该图像将仅仅捕捉大约一半的环体,因为另一半片段被隐藏在球体的非可视后侧中。
图14C示出了当控制器处于图14B所示的位置中时由照相机捕捉的图像。图14D说明了根据不同轴线x、y和z关于照相机改变控制器定向的效果。在位置250处的控制器面向照相机,因此照相机仅仅“看见”球体。其余的位置对应于在不同轴线内改变控制器的定向。这能够通过使握持控制器的玩家直接地瞄准在位置250中的照相机而被可视化。然后玩家只是通过沿着x、y或者z方向旋转肘部而改变控制器的位置。
当控制器沿着x方向(水平地)转动时,控制器的更大部分将是可视的(玩家的实际手被忽略),并且该环体将旋转直至控制器被水平地定向256,并且该环体将被侧向地感知为线。当控制器沿着y方向(竖直地)旋转时能够观察到类似的效果。沿着z(深度)方向的运动也将引起所感知的环体改变。当球体远离照相机移动时球体的尺寸变得更小的效果在图14D中被忽略。
图14E示出了根据如在图14D中所讨论的控制器运动的如由照相机感知的、环体的形状。当球体面向照相机时示出的理想圆250在球体移动时变得扭曲并且变成椭圆,其中在该环体进一步远离面向照相机的位置移动时小轴(small axis)变得越来越小。
应该指出,椭圆是在平面中的点的集合从而到两个固定点的距离之和是常数。该两个固定点被称为焦点。如果该两个焦点重叠,则该椭圆是圆。换言之,圆是椭圆的一种特殊情形。在这里参考椭圆描述的实施例被设计成涵盖其中椭圆是圆的情形,因为圆只是椭圆的一种形式,诸如图14E的圆250。
图14F描绘了面向照相机并且沿着z方向移开的控制器。如所预期的,当球体变得进一步远离照相机时,该环体变得更小。
在另一实施例中,球体包括不同的照亮图案,诸如图14G的三个环体。图14H示出了带有相互垂直的两个环体的球体。在又一个实施例中,球体具有被照亮环体,诸如在图14E中的被照亮环体,然而当控制器笔直瞄准照相机时,该环体具有不同的定向。由被照亮环体形成的圆垂直于照相机,其中当控制器被朝向照相机笔直定向时,该照相机将感知直线,诸如图14H所示的环体中的任何环体。在又一个实施例中,该环体未被完全地照亮,因为该环体面向控制器的部分将几乎不被照相机捕捉,从而在环体的制造中以及在蓄电池消耗中产生节约。在一个实施例中,该环体仅仅被沿着该环体的270度弧照亮,但是其它数值也是可能的。
图15A-B描绘了用于从部分弧段估计完整环体区域的方法。图15A示出了所捕捉的环体350,其中诸如当球体被遮蔽时,环体352的仅仅大约一半已被探测。通常,与利用部分信息来发现圆的中心相比,利用部分信息来发现弧的中心是更加容易的。如以上关于图6A-6D描述的,利用不到理想的信息来确定圆的中心不是一项简单的任务。另一方面,如在图15A中,利用关于一半弧的信息来发现弧的中心是比较容易的。
通过分析对应于该环体的曲线,半径354能够与弧的中心一起估计。图15B示出其中环体的小片段356已被捕捉的情景。然而,在图15A中使用的相同方法能够被用于以高准确度水平确定圆。虽然较少的信息可用,但是所探测曲线的分析产生准确的结果,因为仅仅少量圆将拟合这条曲线,并且在圆之间的变化是小的,即,圆产生类似的r数值和不相互远离的中心。
在其中环体关于照相机的角度能够改变的情形,诸如对应于图14A-D的情形中,该分析被延伸至涵盖椭圆。例如,给定感知的环体诸如图14E的半椭圆252,该方法分析该椭圆以估计椭圆的长轴和短轴以及椭圆的中心。
图16示出了其中球体振动以增加所感知球体表面的实施例。当球体振动时,更长的感知区域被照相机捕捉。这种方法能够与平滑处理(诸如在图9中描绘的算法)组合,以改进位置确定。因为球体关于(from respect to)每一个中心振动,所以相继的图像的比较或者平均化将帮助以更高的准确度确定真实中心。
图17A-B描绘了能够改变尺寸或者外观以改进探测的球体的实施例。图17A描绘了能够改变尺寸的球体。当玩家450a更加靠近坐落于显示器458顶上的照相机456时,被联结到控制器452的球体454a具有预定的尺寸。当玩家处于位置450b中时,控制器452和联结的球体更加远离屏幕。当球体在由照相机捕捉的图像中变得相对更小时,确定球体的位置变得更加困难。为了改进探测,球体454b被扩大以改进准确度。更大的球体在所捕捉的图像中转变成更多的像素,从而使得确定控制器的位置更加准确。对球体充气的几种方式是可能的,诸如充气、马达等。
在一个实施例中,控制器452与计算器件460通信以传达球体的尺寸。在另一实施例中,当在球体中探测的像素的数目变得低于预定阀值时,计算器件460向控制器发送命令以使得球体更大。
图17B示出了带有能够根据游戏场中的照明条件而改变、修改或者改进它的外观以改进探测的球体460的控制器。如果游戏场靠近光源(自然或者人造),诸如能够从太阳462接收光的窗口,则视觉探测可以根据日夜时间和游戏场中的光量而受到影响。球体的外观还受到来自太阳光线的入射角度影响。例如,如果阳光在前部、后部或者侧面处射到球体,则球体的外观将是不同的。类似地,根据灯是打开还是关闭,灯464(等)能够影响视觉探测。
在一个实施例中,球体460包括内部的能够被打开或者关闭以改进球体460可视性的光源。该光源能够被玩家或者被与包括球体460的控制器通信的计算机系统打开。在另一实施例中,球体460能够包括透明外壳。在另一实施例中,该外壳能够是磨砂的。更进一步,该外壳(或者透明的或者磨砂的),能够呈现任何阴影、颜色或者织构。例如,如果该外壳是磨砂的或者具有阴影,则能够使得球体460当未被照亮时看起来更加黑暗。实例阴影能够是灰色、黑色、银色或者颜色组合,只要当被置放在特定环境中时,该颜色或者阴影提供良好的辨别对比度。该外壳能够由很多材料制成,诸如塑料、橡胶、玻璃、泡沫、模制材料等。并且,这些材料能够呈现任何颜色,无论是被涂覆、染色还是模制。
更进一步,球体460内部的光源能够使得球体460被以不同的颜色(诸如白色或者黄色)照亮,而其它的颜色也是可能的。被照亮的球体能够改进在低环境光条件中的探测,而更加黑暗颜色的球体改进了在具有亮光的情况中的探测。
图18示出了带有在外壳478中封装的球部472的游戏控制器470的实施例。外壳478让光透过,因此能够视觉上探测球体。在一个实施例中,外壳478让光474沿着从球体朝向照相机的方向出射,但是外壳478不让来自外部的光476透过。这样,对内部的被照亮球体的干扰较小。
在另一实施例中,外壳478能够选择性地过滤通过的光,诸如例如让蓝光通过从而识别蓝色球体。
图19A-B描述了根据一个实施例的带有用于改进运动跟踪的传感器的控制器。不同的实施例包括传感器诸如磁力计、加速计、陀螺仪等的不同组合。
加速度计是用于测量加速度和重力诱发反作用力的器件。单轴线模型和多轴线模型可用于沿着不同方向探测加速度的幅度和方向。加速度计被用于感测倾斜、振动和冲击。在一个实施例中,三个加速度计被用于提供重力的方向,这给出用于2个角度(自然空间俯仰和自然空间滚转)的绝对参考。控制器能够遭遇超过5g的加速度,因此在控制器550内部使用能够以超过5g的力进行操作的加速度计。
磁力计测量在控制器附近的磁场的强度和方向。在一个实施例中,在控制器内使用三个磁力计552,从而确保用于自然空间偏航角度的绝对参考。磁力计被设计成横越是±80微特斯拉的地磁场。磁力计受到金属影响,并且提供与实际偏航单调的偏航测量。磁场可以由于环境中的金属而翘曲,这在偏航测量中引起翘曲。如果有必要,能够使用来自陀螺仪(见下面)或者照相机的信息来校准这个翘曲。在一个实施例中,加速度计554被与磁力计552一起使用以获得控制器的倾斜度和方位角。
陀螺仪是用于基于角动量的原理来测量或者维持定向的器件。在一个实施例中,三个陀螺仪基于惯性感测而提供关于越过相应轴线(x、y和z)运动的信息。陀螺仪帮助探测快速旋转。然而,在不存在绝对参考的情况下,陀螺仪能够随时间漂移。这要求定期地将陀螺仪复位,这能够使用其它可用信息诸如球体558的视觉跟踪、加速度计、磁力计等而进行。手持式器件能够比500度/秒更快地旋转,因此推荐具有大于1000度/秒的规格的陀螺仪,但是更小的数值也是可能的。
来自不同来源的信息能够被组合以改进位置和定向探测。诸如,如果球体从视野消失,则加速度计的定向感测被用于探测控制器正在背离照相机。在一个实施例中,控制器550包括扬声器以向玩家提供音频反馈。例如,当球体对于照相机而言不可视时,该控制器能够产生嘟嘟声,从而提醒玩家沿着正确的方向定向控制器或者返回到游戏场中。
在图19B所示实施例中,来自几个帧的、视觉和源自传感器的信息被分析以确定控制器的位置以及控制器的定向。通过分析来自几个帧的信息,与控制器的运动和定向有关的传感器信息在几个帧上被“平滑处理”。一旦在几个帧上确定了球体的轨迹,传感器信息便被分析以发现控制器的对应定向,其中给定用于那些帧的对应传感器信息,所述对应定向产生给定轨迹。
图20描绘了根据一个实施例的使用不同的信息源来评定控制器位置。如先前关于图19描述的,控制器570包括联结的球部以及加速度计。该计算系统使用控制器570中的球体的视觉跟踪。当球体变得被遮蔽时,诸如当控制器遵循当球体在玩家的头后面时引起遮蔽的轨迹582时,该系统使用推算定位。推算定位(DR)是基于先前确定的位置或方位(fix)来估计当前位置并且基于已知速度、逝去时间和路线来推进该位置的过程。
当控制器的球体遵循路径582时,计算系统在曲线580下跟踪控制器。一旦球体变得被遮蔽,加速度计便被复位并且该系统开始使用推算定位。应该指出,推算定位随时间失去准确度,因此为了准确的跟踪,期望的是利用其它位置信息来补充推算定位。来自加速度计的数据总是得到捕捉,但是可能并不总是由该系统使用。
在球体被遮蔽(区带574)时使用推算定位。一旦球体返回视线,视觉跟踪便在区带578中接替。在一个实施例中,推算定位有时能够与视觉跟踪组合,诸如当球体脱离不可视性并且视觉信息因为部分遮蔽或者因为缺乏用于跟踪球体运动的视觉历史而仍然不是非常准确时的区带。
图21A-C描述了根据一个实施例的在控制器中使用输入滚轮以发起计算机动作。控制器定向与滚轮运动组合以在计算系统中产生动作。例如,玩家可以沿着x、y或者z方向置放控制器并且然后旋转滚轮,从而使得屏幕中的图标沿着该方向移动。事实上,控制器不必被沿着轴线定向,并且任何定向均能够在屏幕上引起对应的运动。例如,在x和y轴线之间以45度置放的控制器将引起显示器654上的图标沿着该方向移动。另外地,滚轮能够被用于浏览菜单。例如,根据控制器的定向,越过菜单竖直地或者水平地移动。图21A示出了包括沿着竖直或者纵向定向的滚轮658A的控制器650。图21B了示出包括沿着水平或者纬度定向的滚轮672的控制器670。滚轮672的顶部部分由玩家使用以输入命令。图21C示出了也包括沿着水平或者纬度定向的滚轮676的控制器674。滚轮676包绕控制器并且相对于控制器本体的握持部分678垂直地680移动。滚轮676的整个圆周均可用于用户,该用户能够从顶部、侧面、底部或者任何其它角度操作滚轮,并且具有使用不同手指操作滚轮的可能性。
图22说明了根据本发明的一个实施例的可以被用于确定控制器位置的硬件和用户接口。图22示意性地说明了根据本发明的一个实施例的Sony® Playstation 3®娱乐器件的总体系统体系结构,该娱乐器件是可以是兼容用于实现三维控制器定位系统的控制台。系统单元1400被提供有可连接到系统单元1400的各种外围设备。系统单元1400包括:Cell处理器1428;Rambus®动态随机存取存储器(XDRAM)单元1426;带有专用视频随机存取存储器(VRAM)单元1432的Reality Synthesizer(现实合成器)图形单元1430;和I/O桥1434。系统单元1400还包括用于从盘1440a读取的Blu Ray® Disk BD-ROM®光盘读取器1440和通过I/O桥1434可访问的可移除吸入式(slot-in)硬盘驱动器(HDD)1436。可选地,系统单元1400还包括类似地通过I/O桥1434可访问的、用于读取紧凑闪存卡、Memory stick®存储卡等的存储卡读取器1438。
I/O桥1434还连接到六个通用串行总线(USB)2.0端口1424;吉比特以太网端口1422;IEEE 802.11b/g无线网络(Wi-Fi)端口1420;和能够支持高达七个蓝牙连接的Bluetooth®无线链路端口1418。
在操作中,I/O桥1434处置所有无线、USB和以太网数据,包括来自一个或者多个游戏控制器1402-1403的数据。例如当用户正在玩游戏时,I/O桥1434经由蓝牙链路从游戏控制器1402-1403接收数据并且将其引导至Cell处理器1428,该Cell处理器1428因而更新当前游戏状态。
除了游戏控制器1402-1403,无线、USB和以太网端口还提供用于其它外围设备的连接性,诸如:遥控器1404;键盘1406;鼠标1408;便携式娱乐器件1410诸如Sony Playstation Portable®娱乐器件;摄影机诸如EyeToy®摄影机1412;麦克风耳机1414;和麦克风1415。这种外围设备因此可以原则上被无线地连接到系统单元1400;例如便携式娱乐器件1410可以经由Wi-Fi点对点连接进行通信,而麦克风耳机1414可以经由蓝牙链路进行通信。
提供这些接口意味着Playstation 3器件还可能与其它外围设备诸如数字视频录像机(DVR)、机顶盒、数字照相机、便携式媒体播放器、网络电话、移动电话、打印机和扫描仪相兼容。
另外,传统存储卡读取器1416可以经由USB端口1424而被连接到系统单元,从而实现读取由Playstation®或者Playstation 2®器件使用的那种存储卡1448。
游戏控制器1402-1403可操作用于经由蓝牙链路与系统单元1400无线地通信或者被连接到USB端口,由此还提供用于对游戏控制器1402-1403的蓄电池充电的电力。游戏控制器1402-1403还能够包括存储器、处理器、存储卡读取器、永久存储器诸如闪存、光发射器诸如LED或者红外灯、用于超声波通信的麦克风和扬声器、隔音室、数字照相机、内部时钟、可辨识形状诸如面向游戏控制台的球形片段、以及使用诸如Bluetooth®、WiFiTM等之类的协议的无线通信。
如先前在图1A-4A中描述的,游戏控制器1402是被设计成用双手使用的控制器,并且游戏控制器1403是带有球体联结的单手控制器。除了一个或者多个模拟操纵杆和传统的控制按钮,游戏控制器易受三维位置确定影响。因此游戏控制器的用户的姿态和运动可以被转变为除了或者替代传统按钮或者操纵杆命令的到游戏的输入。可选地,其它无线地启用的外围设备诸如PlaystationTM便携式器件可以被用作控制器。在PlaystationTM便携式器件的情形中,可以在器件的屏幕上提供另外的游戏或者控制信息(例如,控制指令或者生命数)。还可以使用其它的备选或者补充性控制器件,诸如跳舞垫(未示出)、光笔(未示出)、方向盘和踏板(未示出)或者定制控制器,诸如用于快速响应答问游戏(也未示出)的单一或者几个大按钮。
遥控器1404还可操作用于经由蓝牙链路无线地与系统单元1400通信。遥控器1404包括适用于Blu RayTMDisk BD-ROM读取器1440的操作和光盘内容浏览的控制。
除了传统的预记录和可记录CD和所谓的Super Audio CD,Blu RayTM Disk BD-ROM读取器1440可操作用于读取与Playstation和Playstation2器件相兼容的CD-ROM。除了传统的预记录和可记录DVD,读取器1440还可操作用于读取与Playstation 2和Playstation 3器件相兼容的DVD-ROM。读取器1440进一步可操作用于读取与Playstation 3器件相兼容的BD-ROM、以及传统的预记录和可记录Blu-Ray Disk。
系统单元1400可操作用于向显示和声音输出器件1442诸如具有显示器1444和一个或者多个扬声器1446的监视器或者电视机通过音频和视频连接器供应经由Reality Synthesizer图形单元1430由Playstation 3器件产生或者解码的音频和视频。音频连接器1450可以包括传统的模拟和数字输出,而视频连接器1452可以不同地包括分量视频、S-视频、复合视频和一个或者多个高清晰度多媒体接口(HDMI)输出。因此,视频输出可以具有诸如PAL或者NTSC的格式或者具有720p、1080i或者1080p高清晰度。
音频处理(产生、解码等等)由Cell处理器1428执行。Playstation 3器件的操作系统支持Dolby®5.1环绕声、Dolby® Theatre Surround(DTS)和从Blu-Ray®盘解码7.1环绕声。
在本实施例中,摄影机1412包括单一电荷耦合器件(CCD)、LED指示器、和基于硬件的实时数据压缩和编码设备从而压缩的视频数据可以被以合适的格式诸如基于图像内MPEG(活动图像专家组)标准传输以由系统单元1400解码。照相机LED指示器被布置成响应于来自系统单元1400的适当的控制数据而照亮,例如以指示不利的照明条件。摄影机1412的实施例可以经由USB、蓝牙或者Wi-Fi通信端口而不同地连接到系统单元1400。摄影机的实施例可以包括一个或者多个相关联的麦克风并且还能够传输音频数据。在摄影机的实施例中,CCD可以具有适用于高清晰度视频捕捉的分辨率。在使用中,由摄影机捕捉的图像可以例如被结合在游戏内或者被解释成游戏控制输入。在另一实施例中,该照相机是适用于探测红外光的红外照相机。
通常,为了经由系统单元1400的通信端口之一而利用外围设备诸如摄影机或者遥控器发生成功的数据通信,应该提供一件适当的软件诸如器件驱动器。器件驱动器技术是众所周知的并且这里将不予详细描述,除了提到技术人员将知晓在所描述的本实施例中可能需要器件驱动器或者类似的软件接口之外。
图23说明了根据本发明的一个实施例的可以被用于处理指令的另外的硬件。Cell处理器1428具有包括四个基本构件的体系结构:包括存储器控制器1560和双总线接口控制器1570A、B的外部输入和输出结构;被称作主处理元件(Power Processing Element)1550的主处理器;被称作协同处理元件(SPE)1510A-H的八个协处理器;和被称作元件互连总线1580的、连接以上构件的圆形数据总线。与Playstation 2器件的情感引擎的6.2GFLOPs(十亿次浮点运算/秒)相比,Cell处理器的总体浮点性能是218 GFLOPS。
主处理元件(PPE)1550是基于以3.2GHz的内部时钟运行的双路同时多线程Power 1470兼容(compliant)PowerPC核(PPU)1555。它包括512 kB 2级(L2)高速缓存和32 kB 1级(L1)高速缓存。PPE 1550每时钟周期能够实现八个单一位置操作,从而在3.2GHz下转换成25.6 GFLOPs。PPE 1550的基本作用是用作用于处置大部分的计算工作量的协同处理元件1510A-H的控制器。在操作中,PPE 1550维持作业队列,为协同处理元件1510A-H调度作业并且监视它们的进展。因此每一个协同处理元件1510A-H运行其作用在于提取作业、执行该作业并且与PPE 1550同步的内核。
每一个协同处理元件(SPE)1510A-H均包括相应协同处理单元(SPU)1520A-H、以及依次地包括相应动态存储器存取控制器(DMAC)1542A-H、相应存储器管理单元(MMU)1544A-H和总线接口(未示出)的、相应存储器流控制器(MFC)1540A-H。每一个SPU 1520A-H均是以3.2GHz时控的并且包括原则上可扩展到4GB的256kB本地RAM 1530A-H的RISC处理器。每一个SPE均给出单精度性能的理论25.6 GFLOPS。在单一时钟周期中,SPU能够在4个单精度浮点成员、4个32位数字、8个16位整数或者16个8位整数上操作。在相同时钟周期中,它还能够执行存储器操作。SPU 1520A-H并不直接地访问系统存储器XDRAM 1426;由SPU 1520A-H形成的64-位地址被传送到MFC 1540A-H,MFC 1540A-H指令它的DMA控制器1542A-H经由元件互连总线1580和存储器控制器1560访问存储器。
元件互连总线(EIB)1580是连接以上处理器元件即PPE 1550、存储器控制器1560、双总线接口1570A、B和8个SPE 1510A-H,总共12个参与者的、在Cell处理器1428内部的逻辑上圆形的通信总线。参与者能够同时以8字节每时钟周期的速率读写总线。如先前指出的,每一个SPE 1510A-H均包括用于调度更长的读或者写序列的DMAC 1542A-H。EIB包括四个通道,沿着顺时针和逆时针方向各两个。因此对于十二个参与者,在任何两个参与者之间的最长逐级数据流是沿着适当方向的六级。在通过在参与者之间裁定而充分利用的情形中,用于12个时隙的理论峰值瞬时EIB带宽因此是96B每时钟。这等于在3.2GHz的时钟速率下307.2GB/s(千兆字节每秒)的理论峰值带宽。
存储器控制器1560包括由Rambus Incorporated开发的XDRAM接口1562。存储器控制器利用25.6GB/s的理论峰值带宽与Rambus XDRAM 1426对接。
双总线接口1570A、B包括Rambus FlexIO®系统接口1572A、B。该接口被组织成12个通道,每一个通道均具有8位宽度,其中五条路径是输入和七条是输出。这在经由控制器170A的Cell处理器和I/O桥700与经由控制器170B的Reality Simulator图形单元200之间提供了62.4GB/s(36.4GB/s输出,26GB/s输入)的理论峰值带宽。
由Cell处理器1428发送到Reality Simulator图形单元1430的数据将通常包括显示列表,该显示列表是用于绘制顶点、向多边形施加织构、规定照明条件等等的命令的序列。
图24示出了描述用于确定球体联结游戏控制器在游戏场中的位置的方法的实施例的流程图2400。在操作2402中,该方法获得在此处存在游戏控制器的游戏场的图像,并且然后发现在图像中与被连接到游戏控制器的球体相关联的像素。在一个实施例中,扫描该图像以发现对应于球体的颜色的像素,并且在另一实施例中,使用子像素分析来发现与球体相关联的像素,如先前关于图7描述的。
在操作2406中,该方法建立包围已被发现的像素的区域。在操作2408中基于与球体相关联的区域来确定几何形状。关于用于执行区域辨识的方法的不同实施例,见图6A-6D、9和12。一旦几何形状得以确定,该方法在操作2410中便基于该几何形状计算控制器的位置,其中该几何形状的中心指示控制器的水平和竖直位置,并且该几何形状的尺寸确定控制器在游戏场内的深度。在操作2412中,计算出的位置被存储在与计算机相关联的存储器中,并且该计算机在操作2414中基于所存储的位置而驱动动作。
图25包括根据一个实施例的用于确定带有可辨别环体的球体在游戏场中的位置的方法的流程图。这种方法类似于先前关于图24描述的方法,但是图25的方法增加了关于当控制器在三维空间内移动时环体的形状变化的新考虑。
在操作2502中,如在图5中看到的,该方法获得在此处存在游戏控制器的游戏场的图像。在操作2504中扫描该图像以发现与被连接到游戏控制器的球部中的环体相关联的像素。关于与基于被联结到控制器的球体中的环体的位置确定有关的不同实施例,见图13A-15B。
在操作2506中,该方法建立包围在操作2504中发现的像素的区域,并且在操作2508中,该方法基于与该环体相关联的区域来确定椭圆。在操作2510中,基于该椭圆计算控制器的位置。椭圆的中心指示控制器的水平和竖直位置,并且椭圆的尺寸确定控制器在游戏场内的深度。在操作2212期间,该位置被存储在与计算机相关联的存储器中。该计算机响应于在操作2514中存储的位置而驱动动作。
可以利用包括手持式器件、微处理器系统、基于微处理器-或者可编程的消费者电子设备、小型计算机、大型计算机等的各种计算机系统配置来实践本发明的实施例。还能够在分布计算环境中实践本发明,其中任务由通过有线或者无线网络链接的远程处理器件执行。
考虑到以上实施例,应该理解本发明能够采用涉及在计算机系统中存储的数据的、各种计算机-实现的操作。这些操作是要求物理量的物理操控的那些操作。形成本发明的一部分的、在这里描述的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的器件或者设备。该设备能够被专门地构造用于所要求的意图,或者该设备能够是由在计算机中存储的计算机程序选择性地激活或者配置的通用计算机。特别地,能够利用根据在这里的教示所编写的计算机程序来使用各种通用机器,或者可能更加方便的是构造更加专用的设备来执行所需操作。
本发明还能够在计算机可读介质上被体现为计算机可读代码。计算机可读介质是能够存储数据的任何数据存储器件,该数据此后能够被计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络联结存储器(NAS)、只读存储器、随机访问存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储器件。该计算机可读介质能够包括分布在网络耦合的计算机系统上的计算机可读有形介质从而以分布方式存储和执行计算机可读代码。
虽然以具体顺序描述了方法操作,但是应该理解,可以在操作之间执行其它内务处理操作,或者操作可以被调节从而它们在稍微不同的时间发生,或者可以分布在系统中,该系统允许处理操作以与处理相关联的各种间隔发生,只要覆盖操作的处理是以所期方式执行的。
虽然为了清楚理解的意图而以特定的细节描述了前面的发明,但是将明显的是,能够在所附权利要求的范围内实践某些改变和修改。因而,本实施例要被视为说明性的而非限制性的,并且本发明将不被限制于在这里给出的细节,而是可以在所附权利要求的范围和等价形式内进行修改。

Claims (33)

1.一种计算机实现的用于确定游戏控制器在游戏场中的位置的方法,所述方法包括:
获得在此处存在所述游戏控制器的所述游戏场的图像;
发现在所述图像中与被连接到所述游戏控制器的球部相关联的像素;
建立包围所发现的所述像素的区域;
基于与所述球体相关联的所述区域,确定几何形状;
基于所述几何形状计算所述控制器的位置,所述几何形状的中心指示所述控制器的水平和竖直位置,所述几何形状的尺寸确定所述控制器在所述游戏场内的深度;
在与所述计算机相关联的存储器中存储所述位置;和
基于存储的位置,由所述计算机驱动动作。
2.根据权利要求1所述的方法,其中确定几何形状进一步包括,
计算在所述区域中拟合的最大可能直线,
其中所述几何形状是圆,其中所述最大可能直线作为所述圆的直径。
3.根据权利要求2所述的方法,其中确定几何形状进一步包括,
发现最好地包含所述区域的圆,
其中所述几何形状是最好地包含所述区域的所述圆。
4.根据权利要求1所述的方法,其中确定几何形状进一步包括,
使得所述几何形状等于所述区域,和
作为所述区域中的像素的坐标的算术平均值计算所述几何形状的质心,
其中所述质心是所述几何形状的中心。
5.根据权利要求1所述的方法,其中获得所述游戏场的图像进一步包括,
通过图像捕捉器件使所述图像模糊,
其中当使所述图像模糊时,在与所述球部相关联的所述图像中发现更多的像素。
6.根据权利要求1所述的方法,进一步包括,
获得所述游戏场的另外的图像,
为每一个另外的图像计算所述控制器的另外的位置,和
基于所述另外的位置,跟踪所述控制器的运动。
7.根据权利要求6所述的方法,其中计算另外的位置进一步包括,
比较每一个另外的图像与先前获得的图像,
将来自每一个另外的图像和先前获取的图像的信息平均化以计算对应于每一个另外的图像的另外的位置。
8.根据权利要求7所述的方法,其中使用与先前获得的图像和每一个另外的图像的龄期相关联的权重来平均化所述信息。
9.根据权利要求1所述的方法,进一步包括,
获得围绕计算的位置的减小区域的、具有更高分辨率的第二图像,
基于所述第二图像,计算所述控制器的细化位置。
10.根据权利要求1所述的方法,进一步包括,
在获得所述图像之前增加照相机分辨率。
11.根据权利要求1所述的方法,其中发现像素进一步包括,
分析与每一个像素相关联的子像素以确定每一个像素是否与所述球部相关联。
12.根据权利要求1所述的方法,其中所述球部在第一照明条件下被照亮而在第二照明条件下不被照亮。
13.一种计算机实现的用于确定游戏控制器在游戏场中的位置的方法,所述方法包括:
获得在此处存在所述游戏控制器的所述游戏场的图像;
发现与在被连接到所述游戏控制器的球部中的环体相关联的、图像中的像素;
建立包围所发现的所述像素的区域;
基于与所述环体相关联的所述区域,确定椭圆;
基于所述椭圆计算所述控制器的位置,所述椭圆的中心指示所述控制器的水平和竖直位置,所述椭圆的尺寸确定所述控制器在所述游戏场内的深度;
在与所述计算机相关联的存储器中存储所述位置;和
基于存储的位置由所述计算机驱动动作。
14.根据权利要求13的方法,其中确定椭圆进一步包括,
确定所述环体的一部分是否在所述图像中被遮蔽,
当所述环体被遮蔽时,估计对应于整环体的第二区域,和
当所述环体被遮蔽时,基于所述第二区域确定所述椭圆。
15.根据权利要求13所述的方法,其中所述环体在所述球部内固定,其中在所述椭圆中的轴线的长度被用于确定所述控制器在所述游戏场内的深度。
16.根据权利要求15所述的方法,其中所述轴线的定向被用于确定所述游戏控制器的定向。
17.根据权利要求13的方法,其中所述环体被照亮,其中发现像素进一步包括确定像素是否对应于被照亮环体。
18.根据权利要求17的方法,其中所述球部响应于游戏控制器移动而移动从而面向图像捕捉器件地置放所述环体。
19.根据权利要求18的方法,其中所述球部的所述移动被用于确定所述控制器的定向。
20.一种计算机实现的用于确定游戏控制器在游戏场中的位置的方法,所述方法包括:
获得在此处存在所述游戏控制器的所述游戏场的图像;
从所述游戏控制器接收状态信息;
确定与被连接到所述游戏控制器的球部相关联的几何形状;
基于所述状态信息和所述几何形状的性质的组合,计算所述控制器的位置;
在与所述计算机相关联的存储器中存储所述位置;和
基于存储的位置,由所述计算机驱动动作。
21.根据权利要求20的方法,其中所述游戏控制器能够被以不同的方式握持,其中所述状态信息包括在所述控制器中正在按下按钮以确定所述控制器定向。
22.根据权利要求20的方法,其中所述球部被封装在半透明外壳中,从而使得图像捕捉器件能够捕捉所述球部的图像。
23.根据权利要求22的方法,其中所述半透明外壳仅仅允许光沿着从所述球形片段到所述图像捕捉器件的方向透过而不沿着相反方向透过。
24.根据权利要求20的方法,其中所述球部振动以增加与所述球部相关联的像素的数目,其中所述状态信息指示所述球体正在振动。
25.根据权利要求20的方法,其中所述球部扩大以增加与所述球部相关联的像素的数目,其中所述状态信息包括所述球部的尺寸。
26.根据权利要求20的方法,其中所述状态信息包括来自加速度计、陀螺仪或者磁力计中的至少一个的信息。
27.根据权利要求26的方法,进一步包括,
在几个帧上分析传感器信息和所述控制器的计算的位置以确定所述控制器的定向。
28.根据权利要求26的方法,其中计算所述位置进一步包括,
探测所述球部何时是可视的,
当所述球部可视时使用图像信息来确定所述位置,和
当所述球部不可视时切换为推算定位来确定所述位置。
29.根据权利要求20的方法,其中所述控制器包括围绕所述控制器的本体圆周的一部分定位的并且相对于所述本体的握持部分水平地定向的滚轮,所述滚轮提供受控方向运动。
30.根据权利要求20的方法,
其中所述控制器进一步包括在所述控制器中的滚轮输入,
其中驱动动作进一步包括,
探测所述游戏控制器的x、y或者z定向,和
当所述滚轮被激活时,沿着所述游戏控制器的所述定向的方向移动与所述控制器相关联的条目。
31.根据权利要求30的方法,其中所述游戏控制器当沿着y方向定向时引起竖直菜单遍历,其中所述游戏控制器当沿着x方向定向时引起水平菜单遍历。
32.一种用于确定游戏控制器在游戏场中的位置的系统,所述系统包括:
存在于所述游戏场中的游戏控制器;
被连接到所述控制器的球部;
用于获得所述游戏场的图像的图像捕捉器件;
被连接到所述图像捕捉器件的计算机器件,所述计算机器件包括处理器和存储器,所述存储器包括,
由所述图像捕捉器件捕捉的图像,
对应于捕捉的图像的位置,和
用于计算所述位置的图像分析程序,
其中来自所述图像分析程序的程序指令包括,
用于发现与所述球部相关联的图像中的像素的程序指令;
用于建立包围所发现的所述像素的区域的程序指令;
用于基于与所述球体相关联的所述区域来确定几何形状的程序指令;
用于基于所述几何形状来计算所述控制器的位置的程序指令;和
用于基于所述位置由所述计算机器件驱动动作的程序指令。
33.一种在计算机可读存储介质中嵌入的计算机程序,当由一个或者多个处理器执行时用于确定游戏控制器在游戏场中的位置,所述计算机程序包括:
用于获得在此处存在所述游戏控制器的所述游戏场的图像的程序指令;
用于发现与被连接到所述游戏控制器的球部中的环体相关联的、图像中的像素的程序指令;
用于建立包围所发现的所述像素的区域的程序指令;
用于基于与所述环体相关联的所述区域来确定椭圆的程序指令;
用于基于所述椭圆来计算所述控制器的位置的程序指令,所述椭圆的中心指示所述控制器的水平和竖直位置,所述椭圆的尺寸确定所述控制器在所述游戏场内的深度;
用于在与所述计算机相关联的存储器中存储所述位置的程序指令;和
用于基于所述存储的位置由所述计算机驱动动作的程序指令。
CN200980152538.1A 2008-10-27 2009-08-24 确定球体联结控制器的位置和运动 Active CN102265240B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/259,181 US10279254B2 (en) 2005-10-26 2008-10-27 Controller having visually trackable object for interfacing with a gaming system
US12/259181 2008-10-27
PCT/US2009/054805 WO2010051092A1 (en) 2008-10-27 2009-08-24 Determining location and movement of ball-attached controller

Publications (2)

Publication Number Publication Date
CN102265240A true CN102265240A (zh) 2011-11-30
CN102265240B CN102265240B (zh) 2015-08-19

Family

ID=41139137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980152538.1A Active CN102265240B (zh) 2008-10-27 2009-08-24 确定球体联结控制器的位置和运动

Country Status (7)

Country Link
US (1) US10279254B2 (zh)
EP (1) EP2356546B1 (zh)
JP (1) JP5325992B2 (zh)
KR (1) KR101381628B1 (zh)
CN (1) CN102265240B (zh)
TW (2) TWI517881B (zh)
WO (1) WO2010051092A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
CN104582805A (zh) * 2012-08-17 2015-04-29 微软公司 动态磁力计校准
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
CN107982913A (zh) * 2017-12-11 2018-05-04 歌尔科技有限公司 一种游戏手柄和获取游戏手柄控制方向的方法

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8888593B2 (en) * 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8795077B1 (en) * 2008-01-25 2014-08-05 Ailive Inc. Game controllers with full controlling mechanisms
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
JP5368118B2 (ja) * 2009-01-16 2013-12-18 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および通信方法
JP5486213B2 (ja) * 2009-05-12 2014-05-07 任天堂株式会社 ゲーム装置及びゲームプログラム
JP5263833B2 (ja) * 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
JP5572701B2 (ja) * 2009-06-03 2014-08-13 コーニンクレッカ フィリップス エヌ ヴェ ラウドスピーカの位置の推定
US8721444B2 (en) * 2009-07-21 2014-05-13 Sony Corporation Game device for performing operation object control and non-operation object control
US20130328770A1 (en) * 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
JP5550433B2 (ja) * 2010-04-22 2014-07-16 任天堂株式会社 操作装置および情報処理システム
JP2011224239A (ja) * 2010-04-22 2011-11-10 Nintendo Co Ltd 情報処理システムおよび付属装置
JP5313994B2 (ja) * 2010-11-16 2013-10-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
EP2656181B1 (en) 2010-12-22 2019-10-30 zSpace, Inc. Three-dimensional tracking of a user control device in a volume
CA2750975C (en) 2011-02-11 2016-02-16 Research In Motion Limited System and method for calibrating a magnetometer with visual affordance
JP5864043B2 (ja) * 2011-04-12 2016-02-17 シャープ株式会社 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8951120B2 (en) 2011-09-19 2015-02-10 Sony Computer Entertainment America Llc Systems and methods for calibration and biasing for game controller
US9170657B2 (en) * 2011-11-17 2015-10-27 Analog Devices, Inc. Angle measurement by use of multiple oriented light sources
US9724597B2 (en) 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
TWI467539B (zh) 2012-07-20 2015-01-01 Au Optronics Corp 影像顯示的控制方法以及顯示系統
US8512140B1 (en) * 2012-07-26 2013-08-20 Zynga Inc. Gaming system for updating a presentation of a virtual game environment
US8851996B2 (en) * 2012-08-17 2014-10-07 Microsoft Corporation Dynamic magnetometer calibration
JP6098083B2 (ja) * 2012-09-20 2017-03-22 カシオ計算機株式会社 演奏装置、演奏方法及びプログラム
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN103853363B (zh) * 2012-11-29 2017-09-29 联想(北京)有限公司 一种触觉反馈的方法及电子设备
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
GB2511780B (en) * 2013-03-12 2017-04-19 Tcs John Huxley Europe Ltd Gaming table
FR3006465B1 (fr) * 2013-05-30 2017-05-26 Light And Shadows Bloc electronique pour peripherique d'interactions de systeme de realite virtuelle
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9678583B2 (en) * 2013-07-23 2017-06-13 University Of Kentucky Research Foundation 2D and 3D pointing device based on a passive lights detection operation method using one camera
GB201404084D0 (en) * 2014-03-07 2014-04-23 Pilkington Group Ltd Glazing
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
EP3154029A4 (en) * 2014-06-06 2018-02-28 Sony Interactive Entertainment Inc. Image processing device, image processing method, and image processng program
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10010788B2 (en) * 2015-12-21 2018-07-03 Sony Interactive Entertainment Inc. Game controller with lights visible inside and outside the game controller
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10471353B2 (en) 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
JP6822906B2 (ja) * 2017-06-23 2021-01-27 株式会社東芝 変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法
JP6755843B2 (ja) 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
EP3474120B1 (de) * 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
GB2571287B (en) * 2018-02-22 2020-05-13 Sony Interactive Entertainment Inc Data processing
TWD197307S (zh) * 2018-05-15 2019-05-01 宏碁股份有限公司 運動控制器
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US10866658B2 (en) * 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
TWI724354B (zh) * 2018-12-20 2021-04-11 財團法人工業技術研究院 指標裝置、混合實境裝置及其操作方法
US11287505B2 (en) 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
CN110812839A (zh) * 2019-10-31 2020-02-21 深圳市七熊科技有限公司 左右双游戏手柄的实现装置与实现方法
US11599257B2 (en) * 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
WO2021105984A1 (en) * 2019-11-25 2021-06-03 Alon Melchner System and method for dynamic synchronization between real and virtual environments
GB2591224B (en) * 2019-11-29 2022-08-17 Sony Interactive Entertainment Inc Glasses case and system
WO2023042398A1 (ja) * 2021-09-17 2023-03-23 株式会社ソニー・インタラクティブエンタテインメント 位置入力システム、コントローラおよびアタッチメント
US12005345B2 (en) * 2021-10-18 2024-06-11 Riley Simons Stratton Video game controller
GB2614330A (en) 2021-12-31 2023-07-05 Sony Interactive Entertainment Europe Ltd Peripheral tracking system and method
WO2023157338A1 (ja) * 2022-02-18 2023-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス位置推定方法

Family Cites Families (380)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4565666A (en) * 1983-08-03 1986-01-21 Medtronic, Inc. Method of producing combination ion selective sensing electrode
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
EP0348430A4 (en) 1987-02-04 1992-08-19 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
US5414426A (en) * 1987-10-14 1995-05-09 Universal Electronics Inc. Favorite key macro command and chained macro command in a remote control
US4959810A (en) * 1987-10-14 1990-09-25 Universal Electronics, Inc. Universal remote control device
JP2720455B2 (ja) 1988-05-12 1998-03-04 ヤマハ株式会社 フィンガスイッチ
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
NZ231883A (en) 1988-12-20 1993-04-28 Australian Meat & Live Stock Tag with machine-readable optical code
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
WO1991017522A1 (en) 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
JPH06102980A (ja) 1992-09-24 1994-04-15 Olympus Optical Co Ltd 触覚呈示装置
US5317140A (en) 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US6545653B1 (en) * 1994-07-14 2003-04-08 Matsushita Electric Industrial Co., Ltd. Method and device for displaying image signals and viewfinder
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
WO1996017324A1 (fr) 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
DE69607472T2 (de) 1995-07-26 2000-08-24 Tegic Communications Inc System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
JPH09128141A (ja) 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
TW419388B (en) 1996-03-05 2001-01-21 Sega Enterprises Kk Controller and the expanding unit used by the controller
JP3257585B2 (ja) 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
WO1997039416A2 (en) 1996-04-02 1997-10-23 Cognex Corporation Image formation apparatus for viewing indicia on a planar specular substrate
US5889505A (en) 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO1998039790A1 (en) 1997-03-07 1998-09-11 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP4732553B2 (ja) 1997-04-23 2011-07-27 トムソン コンシユーマ エレクトロニクス インコーポレイテツド 1つ以上の領域を有する画像を供給するビデオ処理システムおよび方法
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3997566B2 (ja) 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
WO1999006956A1 (en) 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6690268B2 (en) 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
JP4195189B2 (ja) 1998-02-08 2008-12-10 スリーディーヴィー システムズ リミテッド 大開口光画像シャッタ
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 3次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US7066628B2 (en) * 2001-03-29 2006-06-27 Fiber Optic Designs, Inc. Jacketed LED assemblies and light strings containing same
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 3次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP4691754B2 (ja) 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
EP1220547A4 (en) 1999-09-17 2005-09-21 Nature Technology Co Ltd IMAGE ENTRY SYSTEM, IMAGE PROCESSOR AND CAMERA THEREFOR
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6358145B1 (en) * 1999-11-29 2002-03-19 Strottman International Broadcast sweepstakes game system and game piece device
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
WO2001061519A1 (en) 2000-02-15 2001-08-23 Sorceron, Inc. Method and system for distributing captured motion data over a network
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6565441B1 (en) 2000-04-07 2003-05-20 Arista Enterprises Inc. Dedicated wireless digital video disc (DVD) controller for video game consoles
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US20020010655A1 (en) 2000-05-25 2002-01-24 Realitybuy, Inc. Real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 3dビデオゲームにおける擬似カメラ視点移動制御方法及び3dビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
WO2002061707A2 (en) 2000-09-08 2002-08-08 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
WO2002027456A1 (en) 2000-09-29 2002-04-04 Senseboard Technologies Ab Wearable data input interface
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
EP1331974B1 (en) * 2000-10-27 2005-12-28 Sony Computer Entertainment Inc. Information processing system comprising a plurality of operation terminal devices and an information processing device
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式3dビデオゲーム装置
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US20020083461A1 (en) 2000-11-22 2002-06-27 Hutcheson Stewart Douglas Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
WO2002050753A1 (en) 2000-12-20 2002-06-27 Ar Vision Inc. Method for making simulator program and simulator system using the method
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US6641480B2 (en) 2001-01-29 2003-11-04 Microsoft Corporation Force feedback mechanism for gamepad device
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US6749510B2 (en) 2001-02-07 2004-06-15 Wms Gaming Inc. Centralized gaming system with modifiable remote display terminals
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US20040256630A1 (en) * 2001-08-24 2004-12-23 Densen Cao Illuminating light
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
US6846238B2 (en) 2001-09-28 2005-01-25 Igt Wireless game player
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US7023475B2 (en) 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
WO2007130793A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8570378B2 (en) * 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
CN2549527Y (zh) 2002-08-22 2003-05-07 刘晖 一种枪式游戏输入设备
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
JP4053903B2 (ja) * 2003-03-07 2008-02-27 日本電信電話株式会社 ポインティング方法、装置、およびプログラム
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
DE60308342T2 (de) 2003-06-17 2007-09-06 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Sprachaktivitätsdetektion
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US20050009605A1 (en) 2003-07-11 2005-01-13 Rosenberg Steven T. Image-based control of video games
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US8062126B2 (en) 2004-01-16 2011-11-22 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
AU2004287478A1 (en) 2003-10-28 2005-05-19 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
WO2005108119A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Free space pointing devices with tilt compensation and improved usability
CA2505234A1 (en) 2004-04-30 2005-10-30 Esel International Co., Ltd. Wireless communication systems
KR100937572B1 (ko) 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3d 포인팅 장치 및 방법
JP4779070B2 (ja) 2004-05-11 2011-09-21 新世代株式会社 エンターテインメント装置及びその動作方法
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US20070111796A1 (en) 2005-11-16 2007-05-17 Microsoft Corporation Association of peripherals communicatively attached to a console device
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
JP2007264919A (ja) * 2006-03-28 2007-10-11 Hitachi Ltd 入力装置及びそれを用いた表示装置
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US20080111789A1 (en) 2006-11-09 2008-05-15 Intelligence Frontier Media Laboratory Ltd Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
JP2010000257A (ja) 2008-06-20 2010-01-07 Namco Bandai Games Inc ゲームコントローラケース、ゲームコントローラケースセット、プログラム、及び情報記憶媒体
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
JP6102980B2 (ja) 2015-05-18 2017-03-29 株式会社島津製作所 分析システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
CN103135881A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 显示控制方法及系统
CN103135755A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互系统及方法
CN103139508A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 控制电视画面显示的方法和系统
CN103135756A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 生成控制指令的方法和系统
CN103135755B (zh) * 2011-12-02 2016-04-06 深圳泰山在线科技有限公司 交互系统及方法
CN103135754B (zh) * 2011-12-02 2016-05-11 深圳泰山体育科技股份有限公司 采用交互设备实现交互的方法
CN103135756B (zh) * 2011-12-02 2016-05-11 深圳泰山体育科技股份有限公司 生成控制指令的方法和系统
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
CN104582805A (zh) * 2012-08-17 2015-04-29 微软公司 动态磁力计校准
CN107982913A (zh) * 2017-12-11 2018-05-04 歌尔科技有限公司 一种游戏手柄和获取游戏手柄控制方向的方法
CN107982913B (zh) * 2017-12-11 2023-10-24 歌尔科技有限公司 一种游戏手柄和获取游戏手柄控制方向的方法

Also Published As

Publication number Publication date
KR101381628B1 (ko) 2014-04-09
TW201023952A (en) 2010-07-01
US20100105475A1 (en) 2010-04-29
KR20110084430A (ko) 2011-07-22
TW201350178A (zh) 2013-12-16
US20120289334A9 (en) 2012-11-15
JP2012507101A (ja) 2012-03-22
EP2356546A1 (en) 2011-08-17
EP2356546B1 (en) 2013-10-23
US10279254B2 (en) 2019-05-07
JP5325992B2 (ja) 2013-10-23
CN102265240B (zh) 2015-08-19
WO2010051092A1 (en) 2010-05-06
TWI517881B (zh) 2016-01-21
TWI414335B (zh) 2013-11-11

Similar Documents

Publication Publication Date Title
CN102265240B (zh) 确定球体联结控制器的位置和运动
US10445884B2 (en) Control device for communicating visual information
KR101489235B1 (ko) 트래킹 시스템에서의 각도 에러 정정
CN104162274B (zh) 利用图像分析和超声波通信对控制器三维定位的确定
CN103337111B (zh) 用于传送视觉信息的控制设备
CN102265241B (zh) 带有可配置模式的球形端部控制器
KR20110105832A (ko) 최소 사용자 입력을 가지는 추적시스템 보정
JP2012529111A (ja) オブジェクトの位置及び向きを用いた追跡システムの較正
CN110461427A (zh) 变焦设备和相关方法
JP4964688B2 (ja) 画像処理プログラムおよび画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY COMPUTER ENTERTAINMENT, INC.

Free format text: FORMER OWNER: SNE PLATFORM INC.

Effective date: 20120828

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: SNE platform Limited by Share Ltd.

Address before: Tokyo, Japan

Applicant before: SONY COMPUTER ENTERTAINMENT Inc.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SONY COMPUTER ENTERTAINMENT, INC. TO: SNE PLATFORM INC.

TA01 Transfer of patent application right

Effective date of registration: 20120828

Address after: Tokyo, Japan

Applicant after: SONY COMPUTER ENTERTAINMENT Inc.

Address before: Tokyo, Japan

Applicant before: SNE platform Limited by Share Ltd.

C14 Grant of patent or utility model
GR01 Patent grant