CN101548547B - 利用与倾斜角信息相结合的视频输入的对象检测 - Google Patents

利用与倾斜角信息相结合的视频输入的对象检测 Download PDF

Info

Publication number
CN101548547B
CN101548547B CN2008800008453A CN200880000845A CN101548547B CN 101548547 B CN101548547 B CN 101548547B CN 2008800008453 A CN2008800008453 A CN 2008800008453A CN 200880000845 A CN200880000845 A CN 200880000845A CN 101548547 B CN101548547 B CN 101548547B
Authority
CN
China
Prior art keywords
controller
image
user
rotary reference
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800008453A
Other languages
English (en)
Other versions
CN101548547A (zh
Inventor
R·马克斯
G·M·扎列夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN101548547A publication Critical patent/CN101548547A/zh
Application granted granted Critical
Publication of CN101548547B publication Critical patent/CN101548547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Abstract

一种用于从对象获得输入数据的方法，该方法包括：用图像捕获装置捕获该对象的活动图像(1402)，从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息(1404)，利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像(1406)，比较该对象的活动图像与该对象的旋转参考图像(1408)，以及，响应于该活动图像匹配该旋转参考图像而产生指示(1410)。同样公开了一种设备和一种存储由基于处理器的系统执行的计算机程序的存储介质。

Description

利用与倾斜角信息相结合的视频输入的对象检测
对相关申请的交叉引用
本申请是于2007年8月16日提交的、题为“OBJECT DETECTION USINGVIDEO INPUT COMBINED WITH TILE ANGLE INFORMATION(利用与倾斜角信息相结合的视频输入的对象检测)”的美国专利申请No.11/840,170的继续，该美国专利申请No.11/840,170是于2006年9月28日提交的、题为“MAPPINGMOVEMENTS OF A HAND-HELD CONTROLLER TO THE
TWO-DIMENSIONAL IMAGE PLANE OF A DISPLAY SCREEN(手持控制器到显示屏的二维图像平面的映射运动)”的美国专利申请No.11/536,559的部分连续(CIP)，因此，这两个申请及其全部公开内容被完全引入此处已做完整的参考。
背景技术
1.技术领域
本发明通常涉及计算机娱乐系统，并且更准确地说涉及用于这种计算机娱乐系统的控制器的用户操纵。
2.相关技术的描述
计算机娱乐系统典型地包括手持控制器，游戏控制器，或者其它控制器。用户或者玩家使用该控制器向娱乐系统发送命令或者其它指令以控制正在运行的视频游戏或者其它模拟。例如，该控制器可以配有由用户操作的操纵器，例如操纵杆。将操纵杆的操纵变量从模拟值转换为数字值，该操纵变量被发送给游戏机主机。该控制器也可以配有可由用户操作的按钮。
本发明已经发展了关于这些以及其它的背景信息因素。
发明内容
一个实施例提供了一种用于从对象获得输入数据的方法，该方法包括：用图像捕获装置捕获该对象的活动图像；从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息；利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像；比较该对象的活动图像与该对象的旋转参考图像；以及，响应于该活动图像匹配该旋转参考图像而产生指示。
另一个实施例提供了一种用于从对象获得输入数据的设备，该设备包括：图像捕获装置，配置为捕获该对象的活动图像；以及基于处理器的系统，配置为从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息，利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像，比较该对象的活动图像与该对象的旋转参考图像，以及，响应于该活动图像匹配该旋转参考图像而产生指示。
另一个实施例提供了一种存储由基于处理器的系统执行的计算机程序的存储介质，该计算机程序使得该基于处理器的系统执行步骤，包括：从图像捕获装置接收对象的所捕获的活动图像；从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息；利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像；比较该对象的活动图像与该对象的旋转参考图像，以及，响应于该活动图像匹配该旋转参考图像而产生指示。
通过参考随后的详细描述和附图可获得对本发明的不同实施例的特征和优势的更好理解，上述详细描述和附图阐明了利用本发明实施例的原理的说明性的实施例。
附图的简要描述
根据随后结合以下附图所呈现的对本发明更详细的描述，本发明的实施例的上述及其它方面、特征和优势将变得更加明显，其中：
图1A是图解说明了依照本发明的实施例操作的系统的示意图；
图1B是依照本发明的实施例所构成的控制器的透视图；
图1C是依照本发明的实施例所构成的控制器的透视图；
图1D是依照本发明的实施例所构成的控制器的透视图；
图1E是依照本发明的一些实施例所构成的控制器的透视图；
图2A是图解说明了依照本发明实施例的确定用于控制器的位置信息的方式的示意图；
图2B是图解说明了依照本发明实施例的确定用于控制器的位置信息的方式的图像平面的平面图；
图3A是图解说明了依照本发明实施例的用于获得信息的方法的流程图；
图3B是图解说明了依照本发明实施例的用于向系统提供输入的方法的流程图；
图4是图解说明了可以用来运行、实施和/或执行依照本发明的实施例在此表示和描述的方法和技术的系统的方框图；
图5是图解说明了可以用来运行、实施和/或执行依照本发明的实施例在此表示和描述的方法和技术的处理器的方框图；
图6A，6B，和6C是图解说明了依照本发明的另一个实施例操作的系统的示意图；
图7是图解说明了依照本发明实施例的用于控制系统的方法的流程图；
图8是图解说明了依照本发明的另一个实施例操作的系统的示意图；
图9是图解说明了依照本发明的另一个实施例操作的系统的方框图；
图10是图解说明了依照本发明的另一个实施例操作的系统的示意图；
图11A和11B是图解说明了依照本发明实施例的可选地用于所描述系统的控制器的透视图；
图12是依照本发明实施例的用于混合不同的控制输入的系统的方块图；
图13A是依照本发明实施例的系统的方块图；
图13B是依照本发明实施例的方法的流程图；
图13C是依照本发明实施例的方法的流程图；
图14是图解说明了依照本发明实施例的用于从对象获得输入数据的方法的流程图；
图15是图解说明了依照本发明实施例的图14所示的一些步骤的方框图；以及
图16是图解说明了依照本发明实施例的一组旋转参考图像的方框图。
详细描述
典型地，为了操作位于控制器上的按钮、操纵杆等，视频游戏的用户或者玩家要用单手或双手来握住游戏控制器。通常当运行游戏时，由于他或她同时操作这些按钮、操纵杆等，用户也将在空中来回移动整个控制器本身。当运行游戏时，一些用户趋于兴奋，并且通过在空中来回移动整个控制器本身试图控制游戏的动作或者各方面。
在此所描述的方法、设备、方案和系统的不同实施例提供用于经由用户的整个控制器主体自身的运动、动作和/或操纵的检测、捕获和跟踪。经由用户的整个控制器主体的检测的运动、动作和/或操纵可以用作为附加命令以控制正在运行的游戏或者其它模拟的各方面。
可以以不同的方式实施检测和跟踪游戏控制器主体的用户操纵。例如，在一些实施例中，摄像机外围设备可以与计算机娱乐系统一起用来检测手持控制器主体的动作，并且将它们转换为游戏中的活动。该摄像机可用于检测该控制器的许多不同类型的动作，例如，上下运动，扭转运动，左右运动，急拉运动，棒式动作，突降运动等。这些动作可以相应于不同的命令以便将这些动作转换为游戏中的活动。
检测和跟踪游戏控制器主体的用户操纵可以用来执行许多不同类型的游戏、模拟等，例如，其允许用户参加剑或者光剑战斗，利用棒来描绘项目的形状，参加许多不同类型的体育事件，参加屏上战斗或者其它遭遇战等。
参考图1A，其图解说明了依照本发明的实施例操作的系统100。如图所示，计算机娱乐系统或者控制台102利用电视或者其它视频显示器104以在其上显示视频游戏的图像或者其它模拟的图像。可以在被插入控制台102中的DVD、CD、闪存、USB存储器或者其它存储媒介106上存储游戏或者其它模拟。用户或者玩家108操纵游戏控制器110以控制视频游戏或者其它模拟。
摄像机或者其它视频图像捕获装置112被定位以便控制器110处于摄像机的视野114内。如图所示，可以在视频显示器104上放置摄像机110，但是应当理解的是，可以在别处放置该摄像机。举例来说，该摄像机112可以包括例如商业上可用的EyeToyTM产品的摄像机外围设备。但是应当理解的是，可以使用任何类型或者牌子的摄像机，例如网络摄像机，附加USB摄像机，红外(IR)能力摄像机，高帧捕获率摄像机等。
在一些实施例中，摄像机或者其它图像捕获装置112以及下面所描述的图像捕获单元可以包括Z-摄像机或者深度摄像机。例如，这种Z-摄像机或者深度摄像机可以提供或者测量每个像素的深度，和/或确定像素和该摄像机的距离。同样，在一些实施例中，在此所描述的任何摄像机或者其它图像捕获装置可以包括任何类型的三维摄像机。
在操作期间，用户108物理上移动控制器110本身。也就是说，用户108在空中物理上来回移动整个控制器110。例如，用户108可以在任何方向上来移动控制器110，例如向上，向下，向一侧，向另一侧，扭转，摆动，摇动，急拉，突降(plung)等。在如下所述的方式中，经由图像分析的跟踪，摄像机112可以检测和捕获控制器110本身的这些运动。
通常，所检测和捕获的控制器110的运动用来产生用于控制器110的位置和方向数据。由于在图像逐帧基础上积聚该数据，所以该数据可用于计算控制器110的运动的许多物理特征，例如它沿着任一轴的加速度和速度，它的倾斜，斜度，偏航，摆动，以及控制器110的任一遥感勘测点。
检测和跟踪控制器110的运动的能力使得确定是否执行控制器110的任何预定运动变得可能。也就是说，控制器110的某些运动模式或者姿势可以被预定并且用作游戏或者其它模拟的输入命令。例如，可将控制器110的向下突降姿势定义为一个命令，将控制器110的扭转姿势定义为另一个命令，将控制器110的摇动姿势定义为另一个命令，等。这样，在用户108物理上移动控制器110本身的方式用作控制游戏的另一个输入，其为用户提供了更加刺激和有趣的体验。以下将描述控制器110的运动怎样映射为游戏的输入命令的例子。
参考图1B，其图解说明了依照本发明的实施例构成的控制器110的更加详细的视图。控制器110包括主体111。主体111是游戏控制器110的一部分，其是手持的(或者如果它是可佩戴的游戏控制器，则它是可佩戴的)。可以由用户操纵的输入设备是这些，例如，控制器上的按钮或者多轴操纵杆。可以在主体111上配置一个或多个按钮。该主体可以包括用手可持的外壳。该外壳可以包括用手可握的手柄。因而，在操作期间，当用户108物理上移动控制器110本身时，用户108物理上移动控制器110的主体111。该用户在空中，或者在自由空间中移动主体111。
当依照该游戏控制器控制的游戏进程在屏幕上显示时，主体111可以具有面向屏幕定位的向前部分。可以在主体111上装配至少一个输入设备，用户可以操纵该输入设备以登记来自用户的输入。
可以在主体上配置以几何形状排列的一个或多个发光二极管(LED)。或者，可以在主体111上装配另一种类型的光子检测(“PD”)元件。通常当向前部分至少面向屏幕被定向时，光子检测元件的位置可以处于由图像捕获装置所记录的图像内。在空间中主体111的量化运动时，在不同点的PD元件的位置是可以及时量化的。
在这个实施例中，控制器110包括4个发光二极管(LED)122，124，126，128。如图所示，这4个LED 122，124，126，128可以排列为基本正方形或者矩形的图案，并且位于控制器110的R1和L1按钮之间的桥接上。因而，在这个实施例中，该几何形状包括基本正方形或者矩形的图案。由这4个LED 122，124，126，128所形成的正方形或者矩形图案在此被称为由这些LED所形成的“包围盒”。
应容易了解到，该几何形状可以包括许多不同的形状。例如，该几何形状可以包括任何线状或者二维的图案。尽管优选LED的线状排列，可替换地，LED可以排列在矩形图案或者弓形图案中以当分析由图像捕获摄像机所获得的LED图案的图像时，便于LED阵列的图像平面的确定。
当控制器图解说明的实施例利用4个LED时，应容易了解到，其它实施例可以利用大于4个LED或者小于4个LED。例如，3个LED将工作，并且2个LED也将工作以提供跟踪信息。甚至1个LED也可以提供位置信息。而且，LED可以位于控制器110的不同部分上。
可以以多种方式在控制器110上放置或者配置LED，包括串，行，三角形，和/或其它这样的配置。可以使用1个LED或者可以使用多个LED。在多个LED的情况下，在一种配置中，与LED相交所形成的平面关于该控制器的方位可以是倾斜的。可以通过执行在图像平面中所接收到的数据的转换以确定控制器方位来确定控制器的实际方位。另外或者可替换地，LED可以是可移动的，可附连的和/或可分离的。例如，可以在从主体111上可分离的板或者单独的外壳上包括LED。
参考图1C，其图解说明了依照本发明的实施例构成的控制器110的视图。控制器110包括主体111和一串或者一列LED 122，124，126和128。如图解说明的，这4个LED 122，124，126，128可以排列为基本线状的图案，并且位于控制器110的R1和L1按钮之间的桥连上。因而，在这个实施例中，该几何形状包括基本线状的图案。更进一步，在一些实施例中，通过红外线LED可以实现一个或多个LED。例如，红外线LD可以与可见LED配对。例如，该可见LED可以显示玩家ID。在一些实施方式中，可以将LED安装在表面，红外线LED通过小窗口窥视，从而允许可见LED和红外线LED的传输。
参考图1D，其图解说明了依照本发明的实施例构成的控制器110的视图。控制器110包括主体111和通信接口和/或端口132。在一些实施例中，该接口允许该控制器与跟踪装置和/或控制台102直接耦合。该跟踪装置通过光的，音频的和/或惯性可以至少部分地允许对控制器110运动的检测。接口132基本上可以是任何有关的通信接口，例如通用串行总线(USB)接口，通用异步收发器(UART)，和/或其它这样的有关接口。可以在控制器110上的基本上任何位置中放置接口132。如图解说明的，接口132可以位于控制器110的R1和L1按钮之间的桥连上。
参考图1E，其描述了依照本发明的一些实施例构成的控制器110的透视图。该控制器包括主体111，R1和L1按钮，一个或多个LED 122，124，126和128，接口132(例如USB接口)，以及其它有关的按钮，指示器等。在线状图案中示出了LED122，124，126和128，然而，如同以上和更进一步以下所描述的，可以使用其它图案。另外在一些实施方式中，LED和/或接口132可以是可移动的，可附连的和/或可分离的。
这4个LED 122，124，126，128产生了通过摄像机112(图1A)察觉到的4个点或者圆点。因为摄像机112察看在玩家手中具有控制器110的玩家108，所以摄像机112能够通过跟踪由4个LED 122，124，126，128所产生的点以及它们形成的包围盒所产生的点的运动来跟踪控制器110的运动。
也就是，当用户108扭转和旋转控制器主体110时，将这4个圆点的投影投在摄像机112的输出的图像平面上。图像分析用来跟踪控制器的用户操纵，以及确定控制器位置和方位。因而，这4个LED 122，124，126，128产生关于主体运动的信息。可以确定一个或者两个控制器的位置，或者可以跟踪两个控制器的相对运动。
图2A图解说明了包围盒如何用来跟踪控制器运动的例子。特别地，该控制器以及这样的4个LED 122，124，126，128被放置在摄像机112的视野114内。当控制器处于第一位置时，这4个LED 122，124，126，128形成包围盒202。当该控制器移到第二位置时，这4个LED 122，124，126，128形成第二包围盒204。另外，当该控制器从第一位置移动到第二位置时，基于运动速度和摄像机112的帧速率也可捕获包围盒的中间位置。
在摄像机112的图像平面中捕获由这4个LED 122，124，126，128形成的包围盒202和204。图2B图解说明了表示包围盒202和204的摄像机112的图像平面220的例子。执行物理分析以导出和确定包围盒的运动，以及基于控制器的倾斜，偏航等来导出和确定包围盒的矩形如何变形为不同的形状。通过在图像平面上投影包围盒，可以确定控制器的位置，方位，加速度，速度等，其可以依次用来跟踪游戏控制器的用户操纵。
参考图3A，其图解说明了依照本发明实施例的用于从控制器获得信息的方法300。通过许多不同类型的系统和装置，例如，娱乐系统和控制台，计算机，消费电子装置等，来处理和执行方法300。以下将描述可以用来执行方法300的系统的例子。
方法300开始于步骤302，在步骤302中，在摄像机的图像平面上接收在该控制器上建立的几何形状的投影。可以如同以上已经描述的那样来执行这个步骤。
在步骤304中，分析几何形状的投影中的运动和变形。也就是，跟踪和分析包围盒的4个圆点。在摄像机输出的图像平面上执行场和帧分析来分析这4个参考点的操纵以确定控制器的位置方位，倾斜，偏航，摆动等。另外，可以在任何方向上跟踪控制器的加速度。图像帧的分析可以给出沿着任何轴的加速度。还可以计算控制器的遥感勘测点。同样可以确定控制器是否处于静止位置或者静止状态，例如，当控制器处于用户腰附近的中性或者稳定状态时。
随着控制器摆动，图像在平面中转化。包围盒的矩形宽度中的改变表示该控制器正在摆动。随着调整控制器的偏航，矩形的宽度改变了。偏航映射到矩形的宽度。控制器的倾斜影响矩形的高度。
例如，包围盒202(图2B)指示在最初以相当直的朝向摄像机前的位置放置控制器。包围盒204指示然后该控制器向下移动，摆动和向用户左侧转动。
难以知道的是在“地平面”的哪一侧上放置该控制器，因为图像平面只看到变形的矩形。例如，如果有人在前面走，和在用户操纵该控制器期间遮蔽该摄像机，以及在轴地平线的另一侧上以相等的距离移动该控制器，则这个问题可能发生。这可以造成包围盒在图像平面中看起来相同。如果该控制器在图像捕获装置视野区域以外移动，则这同样可以出现。
同样，需要做出正或者负的倾斜或者摆动(涉及远离稳定状态起始位置的上/下和左/右的正反)是否造成变形的确定。通过从该控制器读取其它遥感勘测，或者通过频闪观测或者调整LED以启动视频分析器系统来辨别用于跟踪目的的包围盒矩形的单独的角，可以解决这个问题。可以频闪观测或者调整LED以作为辨别包围盒的不同角的辅助设备。或者，每个LED可以有它自己的频率以作为辨别包围盒的不同角的辅助设备。通过识别包围区域的每个特定角，即每个LED，可以在任一点及时确定该控制器位于水平线的哪一侧。这样，可以处理与经过摄像机平面的控制器相关联的问题。
基于逐帧分析来跟踪屏幕上的包围盒的运动和旋转。摄像机的输出创建图像数据的帧。使用软件来捕获包围盒的投影。跨越帧的控制器的运动是基于盒的转换。
高帧速率的利用提供了精确跟踪加速度以及在该控制器运动的加速度方面发生改变的能力。也就是说，通过以高速率在平面上投影图像，可以跟踪控制器的δ运动。这个提供了标绘加速度，加速度达到顶点处的点，重力达到零点处的点，以及弯曲的点的能力。该弯曲的点是控制器停止和改变方向处的转换点。通过分析图像的帧以及确定该包围盒的位置和变形来执行所有的分析。举例来说，可以使用120帧/秒或者更高的帧速率，但应容易了解到，可以使用任何帧速率。
如同以下将描述的，可以映射上述帧的历史记录。这允许控制器将要考虑的之前的遥感勘测用于确定某些参数，例如，在跟踪加速度，速度，和停止点中。
在步骤306中(图3A)，基于在几何形状的投影中的运动和变形的分析来确定控制器的位置信息。举例来说，图像分析器可以用来执行步骤304和306之一或两者。也就是，图像分析器可以用来执行摄像机的图像平面中的包围盒的运动和变形的分析。视频摄像机的输出可以与图像分析器的输入相耦合。以下将描述并入了用于实现此处所描述的一个或多个方法，方案和功能的图像分析器的系统的例子。
图像分析器监控由参考LED形成的、摄像机的图像平面中所捕获的包围盒。图像分析器分析包围盒的位置，旋转，水平和垂直变形以确定控制器的物理用户操纵，它的位置，摆动，倾斜和偏航坐标。在图像分析的最后，可以以输出ID等的形式输出数据。来自图像分析的这种输出ID可以包括诸如x，y，z坐标，沿着任何轴的加速度和速度，该控制器处于静止位置或者状态等的数据。因而，在图像分析的最后，该图像分析器可以指示控制器在哪以及是否发出命令。并且，该图像分析器在任何瞬间都可以发出砰声，并且它可以提供位置，方位，最后的命令等。
举例来说，该图像分析器可以提供，但不局限于提供以下输出：
控制器位置(X，Y，Z坐标)；
控制器方向α，β，γ(弧度)；
控制器X轴速度；
控制器Y轴速度；
控制器Z轴速度；
控制器X轴加速度；
控制器Y轴加速度；
控制器Z轴加速度；
稳定状态的静止位置Y/N(如上所述的在腰部，但可规定为任何位置)；
自最后稳定状态以来的时间；
识别的最后姿势；
识别的最后姿势的时间；以及
中断达到零-加速度点。
通过分析如上所述的包围盒的运动和变形可以产生这些输出的每一个。为了跟踪该控制器的运动，可以进一步处理这些输出。这种跟踪会允许将被识别的控制器的某些运动，如下所述，然后其可以用来触发某些命令。应容易了解到，除上述列出的输出之外或者在上述列出的输出的替换中，可以使用许多其它的输出。
可以可选地提供到该图像分析器的附加输入。这种可选的输入可以包括，但不局限于以下：
设置噪声水平(X，Y或者Z轴)(当分析游戏中手的抖动时，这是参考公差)；
设置取样率(每隔多久读取和分析摄像机的帧)；
设置传动装置；以及
设置映射链。
如上所述，检测和跟踪控制器110的运动的能力使得确定是否执行控制器110的任意预定运动变得可能。也就是说，可以将控制器110的某些运动模式或者姿势映射为游戏或者其它模拟的输入命令。
参考图3B，其图解说明了依照本发明实施例的用于向系统提供输入的方法320。方法320开始于步骤322，在其中确定系统控制器的位置信息。可以利用如上所述的方法和技术来执行这个步骤。
在步骤324中，用于控制器的所确定的位置信息与跟命令相关联的预定位置信息进行比较。也就是说，可以将该控制器的许多不同的运动，姿势或者操纵映射为不同的命令。其允许该控制器的不同的运动，姿势或者操纵映射到游戏模式中。例如，向上移动该控制器可以映射为一个命令，向下移动该控制器可以映射为另一个命令，以及以任何其它方向移动该控制器可以映射为其它命令。
类似地，摇动该控制器一次可以映射为一个命令，摇动该控制器两次可以映射为另一个命令，以及类似地，摇动该控制器3次，4次，5次等可以映射为其它命令。也就是说，基于摇动该控制器的某些次数可以确定不同的姿势。然而，基于有力地上下摇动该控制器某些次数可以确定其它姿势。该控制器的其它运动，诸如扭转，摆动等可以映射为其它命令。
因而，将该游戏控制器的各种不同的轨迹映射到姿势中，该姿势触发游戏中的命令。每个命令映射到该控制器的预定运动。该控制器的这种预定运动将具有相关联的预定位置信息。在这个实施例中，用于控制器的确定的位置信息与预定位置信息进行比较以查看是否应该触发命令。
举例来说，可以如下实现姿势与游戏命令的这种映射。该图像分析器的输出可以用来确定控制器的位置和方位信息。该图像分析器可以输出各种不同的ID，其表示该控制器的位置和方位。例如，可以输出一个ID用于稳定状态确定，可以输出另一个ID以表示该控制器的摇动，以及可以输出各种其它ID以表示其它方位。因而，这种ID的使用可以用来输出该控制器是否处于稳定状态或者是否正在移动。如果该控制器处于稳定状态，那么ID可以表示该控制器已经处于稳定状态多长时间。
然后，用于该控制器的确定的位置和方位信息可以与跟游戏的输入命令相关联的预定位置信息进行比较。如果该确定的位置信息与命令的预定位置信息相匹配，那么向该娱乐系统提供该命令。此外，诸如向上或者向下推动控制器，呈圆形、向右或左扭转，当向上或者向下拉时扭转，向右或左摆动等各种姿势都可以全部映射为不同命令。
当识别新的命令或者姿势时，该图像分析器可以触发中断。这样中断的触发可以用作向该娱乐系统提供命令的处理的一部分。可选地，可以配置该系统以便在轴中的零加速度点，停止点，和/或其它事件还触发中断。
在该确定的位置和方位信息与跟输入命令相关联的预定位置信息进行比较以查看是否相匹配中，经常是这种情况：没有精确的匹配。这是因为在自由空间中随着该控制器的运动，难以精确地重做预定运动。因此，可以根据范围、公差、和/或阈值定义跟输入命令相关联的预定位置信息，这些范围、公差、和/或阈值被认为是足够接近该预定位置信息以致能够激活该命令。也就是说，可以根据阈值或者范围定义命令。因而，在确定是否已经识别任何命令或者姿势中，该系统可能检测以查看该确定的位置和方位信息是否属于姿势的范围。因而，在确定是否调用该命令中，该定义的命令可以具有将能够检查的阈值。
而且，在该确定的位置和方位信息与跟输入命令相关联的预定位置信息进行比较以查看是否相匹配中，可以存储或者映射先前帧的历史记录。例如，可以监控帧缓冲器或者系统可以另外保持运行先前帧历史的记录。检查先前帧以确定是否满足任何命令。帧历史记录的映射允许在特定时间确定控制器的遥感勘测来提供在确定是否满足命令中的位置方位。
最后，在步骤326中，如果用于控制器的确定的位置信息与用于命令的预定位置信息相匹配，则向该系统提供该命令。这种命令可以用来引发事件出现或者不出现在视频游戏或者其它模拟中。
在其它实施例中，游戏控制器的运动可以映射为游戏命令，例如在视频游戏中。用这种用于视频游戏或者其它模拟的方法，接收由用户正在操纵的控制器的位置信息。分析该位置信息以确定是否已经执行与命令相关联的控制器的预定运动。可以如上所述执行该分析。如果已经执行了跟命令相关联的该控制器的预定运动，接着通过游戏执行该命令。该命令的执行可能引起出现在正在显示游戏的视频显示器上的视觉效应等。
尽管在此的描述涉及游戏或者其它娱乐系统的控制器上的LED的使用，应容易了解到，在此所提供的技术可以应用于检测和跟踪其它类型的系统，装置，消费电子设备等的控制器的运动。也就是说，如上所述的该游戏控制器的LED可用于执行消费电子设计或者任何装置的遥控功能。LED可以用在许多其它类型的系统和装置的控制器上，为了检测和跟踪该控制器，以便这样的运动可以映射为那些系统和装置的命令。这样的其它类型的系统和装置的例子可以包括，而不局限于，电视，立体声系统，电话，计算机，家或者办公室网络，手持计算或者通信装置等。
而且，在此所描述的技术可以应用于具有控制几个或者许多不同装置的通用遥控装置。也就是说，这种通用遥控装置可以包括在此描述的LED，以便该通用遥控装置主体的运动可以用作几个或者许多不同装置或者系统的输入命令。
此外，游戏控制器可以具有通用遥控功能。例如，当在屏幕上显示依照游戏控制器控制的游戏的进行时，其可以包括具有面向屏幕定位的向前部分的主体。可以在主体上装配至少一个输入装置，由用户可以操纵输入装置以登记来自用户的输入。可以包括信号编码器。可以包括红外线信号发射器，其可操作地利用通过该信号编码器产生的信号用无线电传输红外线信号。该信号编码器可以是可编程的，以用所选择的多个信令代码之一编码该信号，用于通过具有用所选择的一个信令代码操作的红外线接收器和信号解码器的电子装置的接收。
此外，可以形成具有LED的电池操作的玩具(包括塑造成品牌游戏的形状和类型的玩具)，并且在感知环境中形成跟踪用户操纵的主体。
在一些实施例中，该图像分析器可以识别用户或者过程音频鉴别的姿势等。在该系统中通过姿势由分析器可以识别用户，并且对于用户，姿势可以是特定的。可以由用户记录姿势并且在模型中存储。可选地，记录过程可以存储在姿势记录期间产生的音频。可以将感知环境取样到多信道分析器中并加以处理。该处理器可以参考姿势模型以基于声音或者声波图确定和鉴别用户身份或者对象，并且能达到非常高的精确性和性能。
依照本发明的实施例，在此所描述的方法和技术可以作为如图4所示的信号处理设备400的一部分来执行。该设备400可以包括处理器401和存储器402(例如，RAM，DRAM，ROM等)。另外，如果将执行并行处理，则信号处理设备400可以具有多个处理器401。存储器402可以包括如上所述配置的数据和代码。信号处理设备400包括基于处理器的系统的一个例子。
特别地，存储器402可以包括信号数据406。存储器402还可以包含校准数据408，例如对于从麦克风阵列422的校准所获得的一个或多个相应的预校准听音区表示一个或多个相反特征矩阵C-1的数据。举例来说，存储器402可以包含环绕麦克风阵列422的18个20度扇形的特征矩阵。
设备400还可以包括公知的支持功能410，例如输入/输出(I/O)元件411，电源供给(P/S)412，时钟(CLK)413和高速缓冲存储器414。可选地，该设备400包括诸如磁盘驱动器、CD-ROM驱动器、磁带驱动器等大容量存储装置415以存储程序和/或数据。例如，这种存储装置或者存储介质可以存储一个或多个由该设备或者其它基于处理器的系统可执行的计算机程序，用于引起该系统执行在此描述的方法和/或技术的一个或多个步骤。可选地，该控制器还可以包括显示单元416和用户接口单元418以便于控制器400和用户之间的交互。显示单元416可以是显示文字、数字、图形符号或者图像的阴极射线管(CRT)或者平板屏幕的形式。用户接口418可以包括键盘、鼠标、操纵杆、光笔或者其它装置。另外，用户接口418可以包括麦克风、视频摄像机或者其它信号换能装置以提供将被分析的信号的直接捕获。如图4所示，处理器401、存储器402以及系统400的其它部件可以经由系统总线420彼此交换信号(例如，代码指令和数据)。
麦克风阵列422可以通过I/O功能411耦合到该设备400。该麦克风阵列可以包括大约2-8个麦克风，优选大约4个麦克风，相邻的麦克风分隔大约小于4厘米的距离，优选的在大约1厘米和大约2厘米之间。优选地，在阵列422中的麦克风是全方向麦克风。可选的图像捕获单元423(例如，数字摄像机)可以经由I/O功能411耦合到设备400。与该摄像机机械耦合的一个或多个指示致动器(pointing actuator)425可以经由I/O功能411与处理器401交换信号。
如上所述，在一些实施例中，可选的图像捕获单元423，以及在此所描述的任何摄像机，可以包括能够检测光发射元件的任何类型的摄像机或者传感器。例如，在一些实施例中，可选的图像捕获单元423可以包括Z-摄像机或者深度摄像机或者某一其它类型的三维摄像机。例如，这种Z-摄像机或者深度摄像机可以提供或者测量每个像素的深度，和/或确定像素与摄像机的距离。
如同在此所用的，术语I/O通常涉及任何程序，操作或装置，这些程序，操作或装置从系统400和外围装置或者向系统400和外围装置传输数据。每个数据传送可以被认为是来自一个装置的输出以及到另一个装置的输入。外围装置包括只输入装置，例如键盘和鼠标，只输出装置，例如打印机以及可以担当输入和输出设备两者的诸如可写CD-ROM的装置。术语“外围装置”包括外部设备，例如鼠标，键盘，打印机，监视器，麦克风，游戏控制器，摄像机，外部Zip驱动器或者扫描仪，以及内部装置，例如CD-ROM驱动器，CD-R驱动器或者内部调制解调器，或者其它外围设备，例如闪速存储器读取器/写入器，硬盘驱动器。
在本发明的某些实施例中，该设备400可以是视频游戏单元，其可以包括经由I/O功能411或者经由有线(例如，USB电缆)或者经由无线耦合到处理器的操纵杆控制器430。操纵杆控制器430可以具有模拟操纵杆控制器431和传统按钮433，其提供通常在视频游戏运行期间使用的控制信号。这种视频游戏可被实现为处理器可读数据和/或指令，所述数据和/或指令存储在存储器402中或者存储在其它处理器可读媒介中，例如与大容量存储装置415相关联的介质。
通常可以配置操纵杆控制器431，以便向左或者向右移动操纵杆用信号通知沿着X轴运动，以及向前(向上)或者向后(向下)移动它用信号通知沿着Y轴运动。在为三维运动配置的操纵杆中，向左(逆时针方向)或者向右(顺时针方向)扭转棒可以用信号通知沿着Z轴运动。这3个轴-XY和Z经常分别被称为摆动，倾斜，和偏航，尤其涉及航行器。
除传统特征之外，操纵杆控制器430可以包括一个或多个惯性传感器432，惯性传感器432可以经由惯性信号向处理器401提供位置和/或方位信息。方位信息可以包括角信息，例如操纵杆控制器430的倾斜，摆动或者偏航。举例来说，惯性传感器432可以包括加速计，回转仪或者倾斜传感器的任一数量和/或其结合。在优选实施例中，惯性传感器432包括适合于感测操纵杆控制器关于倾斜和摆动轴的方位的倾斜传感器，适合于感测沿着偏航轴的加速度的第一加速计，以及适合于感测关于该偏航轴的角加速度的第二加速计。例如，加速计可被实现为MEMS装置，MEMS装置包括由一个或多个弹簧安装的质量块(mass)，具有用于感测质量块相对于一个或多个方向位移的传感器。来自取决于质量块位移的传感器的信号可以用来确定操纵杆控制器430的加速度。可以由程序代码指令404来实现这种技术，程序代码指令404存储在存储器402中并且由处理器401执行。
举例来说，适于惯性传感器432的加速计可以是简单的质量块，在3或者4个点上例如通过弹簧有弹性地耦合到框架上。倾斜和摆动轴位于与框架相交的平面中，该框架安装在操纵杆控制器430上。由于该框架(以及操纵杆控制器430)关于倾斜和摆动轴旋转，所以该质量块在重力的影响下转移，并且在取决于倾斜和/或摆动的角度的程度上该弹簧将拉长或者压缩。可以感测该质量块的位移，并将其转换为取决于倾斜和/或摆动量的信号。关于偏航轴的角加速度或者沿着偏航轴的线性加速度还可以产生该弹簧的压缩和/或拉长或者该质量块运动的特征图，其可以被感测，并将其转换为取决于角或者线性加速度量的信号。这样的加速计装置可以通过跟踪质量块的运动或者该弹簧的压缩和膨胀力来测量关于偏航轴的倾斜，摆动角加速度，以及沿着偏航轴的线性加速度。具有许多不同的方式来跟踪质量块的位置和/或施加于它上面的力，包括抵抗应变仪材料、光子传感器、磁性传感器、霍尔效应装置、压电装置、电容传感器等。
另外，操纵杆控制器430可以包括一个或多个光源434，例如发光二极管(LED)。光源434可以用来辨别控制器。例如，一个或多个LED可以通过闪现或者保持LED图案代码来完成该辨别。举例来说，可以在操纵杆控制器430上以线状或者二维图案提供5个LED。尽管优选的是LED的线状阵列，可替换地，LED可以排列为矩形图案或者弓形图案以当分析通过图像捕获单元423获得的LED图案的图像时，便于LED阵列的图像平面的确定。而且，LED图案代码也可以用来在游戏运行期间确定操纵杆控制器430的定位。例如，LED可以帮助识别控制器的倾斜，偏航和摆动。这个检测图案可以在游戏中帮助提供较好的用户感觉，例如航行器飞行游戏等。图像捕获单元423可以捕获包含操纵杆控制器430和光源434的图像。对这些图像的分析可以确定操纵杆控制器的位置和/或方位。可以由程序代码指令404来实现这种分析，程序代码指令404存储在存储器402中并且由处理器401执行。为了便于通过图像捕获单元423对光源434的图像的捕获，可以将光源434放置在操纵杆控制器430的两个或多个不同的侧，例如，在前面和后面(如虚线所示的)。这种放置允许图像捕获单元423取决于用户如何手持操纵杆控制器430来获得操纵杆控制器430的不同方位的光源434的图像。
另外，光源434可以向处理器401提供遥感勘测信号，例如，以脉冲代码，调幅或者调频格式。这样的遥感勘测信号可以表示正在按压哪个操纵杆按钮和/或正在用多大的力按压这样的按钮。可以将遥感勘测信号编码到光信号中，例如通过脉冲编码，脉冲宽度调制，调频或者光强度(振幅)调制。处理器401可以从光信号中解码该遥感勘测信号，并且响应于该解码的遥感勘测信号执行游戏命令。可以从图像捕获单元423获得的操纵杆控制器430的图像的分析中解码遥感勘测信号。可替换地，该设备401可以包括专用于从光源434接收遥感勘测信号的单独的光学传感器。例如，在Richard L.Marks等共同拥有的题为“ USE OFCOMPUTER IMAGE AND AUDIO PROCESSING IN DETERMINING ANINTENSITYAMOUNT WHEN INTERFACING WITHA CO
处理器401可以使用来自惯性传感器432的惯性信号连同来自图像捕获单元423检测的光源434的光信号和/或来自麦克风阵列422检测的音响信号的声源位置和特性信息，以推断关于操纵杆控制器430和/或它的用户的位置和/或方位的信息。例如，当独立地跟踪操纵杆控制器的运动时(经由惯性传感器432和/或光源434)，可以连同麦克风阵列422一起使用“声雷达”声源位置和特性来跟踪移动的声音。可以连同本发明的实施例一起使用向处理器401提供控制信号的许多不同模式的不同结合。可以由程序代码指令404来实现这种技术，程序代码指令404可以存储在存储器402中并且由处理器401执行。
来自惯性传感器432的信号可以提供跟踪信息输入的一部分，并且来自图像捕获单元423由于跟踪一个或多个光源434而产生的信号可以提供跟踪信息输入的另一部分。举例来说，并且没有局限性，这样时“混合模式“信号可以用于足球类型视频游戏中，其中在头假装向左运动之后，四分卫向右投掷球。特别地，持有控制器430的游戏玩家可以向左转他的头并且发出声音，并且向右做出摆动控制器的运动以将控制器当成足球一样。麦克风阵列420连同“声雷达”程序代码一起可以跟踪用户的声音。图像捕获单元423可以跟踪用户的头部运动或者跟踪不需要声音或者控制器的使用的其它命令。传感器432可以跟踪操纵杆控制器的运动(表示足球)。图像捕获单元423还可以跟踪控制器430上的光源434。当达到操纵杆控制器430加速度的某一数量和/或方向时，或者当通过按压操纵杆控制器430上的按钮触发按键命令时，用户可以释放“球”。
在本发明的某些实施例中，例如来自加速计或者回转仪的惯性信号可以用来确定操纵杆控制器430的位置。特别地，可以关于时间结合一次来自加速计的加速度信号以确定速度的变化，并且可以关于时间结合速度以确定位置的变化。如果知道了某一时刻的起始位置和速度的值，那么接着可以利用这些值和速度及位置的变化来确定绝对位置。尽管利用惯性传感器的位置确定可以比利用图像捕获单元423和光源434的进行的更快，但是惯性传感器432可能遭遇到一种被称为“漂移”的误差，其中，随着时间而积聚的误差可以导致在由惯性信号(如虚线所示)计算的操纵杆430的位置和操纵杆控制器430的实际位置之间的误差D。本发明的实施例考虑了处理这些误差的许多方式。
例如，通过将操纵杆控制器430的初始位置重新设置为与当前计算的位置相等来手动消除该漂移。用户可以使用操纵杆控制器430上的一个或多个按钮来触发命令以重新设置该初始位置。可替换地，作为参考，可以通过将当前位置重新设置到由从图像捕获单元423获得的图像而确定的位置来实现基于图像的漂移。例如，当用户触发操纵杆控制器430上的一个或多个按钮时，可以手动实现这种基于图像的漂移补偿。可替换地，例如，以规则的时间间隔或者响应于游戏进行，可以自动地执行基于图像的漂移补偿。可以由程序代码指令404来实现这种技术，程序代码指令404可以存储在存储器402中并且由处理器401执行。
在某些实施例中，希望在惯性传感器信号中补偿伪数据。例如，可以过采样来自惯性传感器432的信号，并且可以由过采样的信号计算滑动平均以从惯性传感器信号中除去伪数据。在一些情形中，希望过采样该信号和拒绝来自一些数据点子集的高和/或低的值以及从剩余数据点计算滑动平均。而且，其它数据采样和操纵技术可以用来调整来自惯性传感器的信号以除去或者减少伪数据的重要性。该技术的选择可以取决于信号的性质，信号将要执行的计算，游戏运行的性质，或者它们两个或多个的一些结合。可以由程序代码指令404来实现这种技术，程序代码指令404可以存储在存储器402中并且由处理器401执行。
处理器401可以响应于数据406和由存储器402存储以及检索的且由处理器模块401执行的程序404的程序代码指令来执行关于信号数据406的数字信号处理。程序404的代码部分可以遵照诸如Assembly、C++、JAVA或者许多其它语言的许多不同编程语言的任何一个。处理器模块401构成当执行诸如程序代码404的程序时变成特定目的计算机的通用计算机。尽管在此将程序代码404描述为在软件中执行和在通用计算机上执行，但是本领域技术人员能够认识到，可替换地，可以利用诸如专用集成电路(ASIC)或者其它硬件电路的硬件来实现该任务管理的方法。同样地，应了解到，在软件、硬件或者两者的一些结合中可以全部或者部分地执行本发明的实施例。
在这些实施例的一个实施例中，程序代码404可以包括一组处理器可读指令，该处理器可读指令实现在此描述的任何一个或多个方法和技术或者这样的方法和技术的两个或多个的一些结合。例如，程序代码404可以被配置以实现在此描述的图像分析器功能。或者可替换地，可以在硬件中实现在此描述的图像分析器功能。
在图解说明的实施例中，如上所述的图像分析器功能被表示为图像分析器450。图像分析器450可以从摄像机接收它的输入，例如从图像捕获单元423或者从摄像机112(图1A)。因而，视频摄像机112或者图像捕获单元423的输出可以与图像分析器450的输入相耦合。可以将图像分析器450的输出提供给设备400的系统。这样，将查看是否已经识别命令或者姿势所需的命令本身或者信息提供给设备400。可以以许多不同的方式将图像分析器450与设备400的剩余部分相耦合；同样地，图解说明的连接正是一个例子。作为另一个例子，图像分析器450可以与系统总线420相耦合，系统总线420将允许它从图像捕获单元423接收它的输入数据并且向设备400提供它的输出。
可选地，可以将图像分析器450包括在设备400或者娱乐系统或者控制台102内，或者图像分析器450可以单独位于这些装置和系统之外。并且此外，应容易了解到，在软件、硬件或者两者的一些结合中可以全部或者部分地实现图像分析器450。在软件中实现图像分析器450的情况中，块450表示在软件中实现的图像分析器功能。
程序代码404通常可以包括一个或多个指令，该指令命令一个或多个处理器在运行时间选择预先校准的听音区，并且滤出从预先校准的听音区之外的源产生的声音。该预先校准的听音区可以包括这样的听音区，其相应于图像捕获单元423的聚焦音量或视野。
该程序代码可以包括一个或多个指令，当执行该指令时，引起设备400选择包含音源的预先校准的听音扇区。这样的指令可以引起设备确定音源是否位于初始扇区内或者位于该最初扇区的特定侧。如果音源没有位于默认扇区内，当执行指令时，指令可以在默认扇区的特定侧上选择不同的扇区。该不同扇区具有接近于最佳值的输入信号衰减的特性。当执行这些指令时，这些指令可以计算来自麦克风阵列422的输入信号的衰减和到最佳值的衰减。当执行该指令时，该指令可以引起设备400确定一个或多个扇区的输入信号衰减的值以及选择衰减接近于最佳值的扇区。
可选地，程序代码404可以包括一个或多个指令，该指令命令一个或多个处理器以从麦克风M0...MM产生离散时间域输入信号xm(t)，确定听音扇区，并且使用半盲源分离中的听音扇区以选择有限冲激响应滤波器系数以从输入信号xm(t)分离出不同的声源。程序404还可以包括指令以向除来自参考麦克风M0的输入信号x0(t)以外的所选择的输入信号xm(t)应用一个或多个部分延迟。可以选择每个部分延迟来最佳化来自麦克风阵列的离散时间域输出信号y(t)的信噪比。可以选择该部分延迟使得来自参考麦克风M0的信号相对于来自阵列的其它麦克风在时间上是第一个。程序404还可以包括指令以将部分时间延迟Δ引入麦克风阵列的输出信号y(t)，使得：y(t+Δ)＝x(t+Δ)*b0+x(t-1+Δ)*b1+x(t-2+Δ)*b2+...+x(t-N+Δ)bN，其中Δ在零到±1之间。
可选地，程序代码404可以包括含有一个或多个指令的处理器可执行指令，当执行该指令时引起图像捕获单元423监控图像捕获单元423面前的视野，识别该视野内的一个或多个光源434，检测从光源434发出的光的变化；以及响应于检测到变化，触发输入命令到处理器401。例如，在Richard L.Marks共同拥有的题为“METHOD AND APPARATUS FOR LIGHT INPUT DEVICE(用于光输入装置的方法和设备)”的美国专利申请号10/759,782描述了使用LED连同图像捕获装置一起来触发在游戏控制器中的动作，其全部内容在此引入以供参考。
可选地，程序代码404可以包括含有一个或多个指令的处理器可执行指令，当执行该指令时，使用来自惯性传感器的信号和由于跟踪一个或多个光源而由图像捕获单元产生的信号来作为到游戏系统的输入，例如，如上所述的。可选地，程序代码404可以包括含有一个或多个指令的处理器可执行指令，当执行指令时，补偿惯性传感器432中的漂移。
另外，可选地，程序代码404可以包括含有一个或多个指令的处理器可执行指令，当执行指令时，调整控制器操纵的传动装置和映射以得到游戏环境。这样的特征允许用户将操纵杆控制器430操纵的“传动装置”变成游戏状态。例如，操纵杆控制器430的45度旋转可以与游戏对象的45度旋转相适应。然而可以更改这个1∶1的传动装置比，以便该控制器的X度旋转(或者倾斜或者偏航或者“操纵”)转变为游戏对象的Y旋转(或者倾斜或者偏航或者“操纵”)。传动装置可以是1∶1的比率，1∶2的比率，1∶X的比率或者X∶Y比率，其中，X和Y可以具有任意值。另外，也可以随着时间的过去或者立即修改输入信道到游戏控制的映射。修改可以包括改变姿势轨迹模型，修改姿势的位置、比例、阈值等。这种映射可以是编程的、随机的、成递升排列的、错列的等，以给用户提供操纵的动态范围。可以依照游戏运行、游戏状态，经由位于操纵杆控制器430上的用户修改器按钮(键盘等)，通过程序代码404或者广泛地响应于输入信道来调整映射、传动装置或者比率的修改。该输入信道可以包括，但不局限于以下要素：用户音频，由控制器产生的音频，由控制器产生的跟踪音频，控制器按钮状态，视频摄像机输出，控制器遥感勘测数据，包括加速计数据，倾斜，偏航，摆动，位置，加速度和来自能够跟踪对象用户或者对象用户操纵的传感器的任何其它数据。
在某些实施例中，随着时间的过去，程序代码404可以在取决于预定时间的方式中将映射或者传动装置从一个方案或者比率分别地改变为另一个方案。可以将传动装置和映射改变以多种方式用于游戏环境。在一个例子，当视频游戏角色是健康的时候，可以在一个传动装置方案之下控制视频游戏角色，并且当角色的健康恶化时，该系统可以调整控制器命令，如此迫使该用户加剧控制器的运动以将姿势命令给该角色。变得失去方向感的视频游戏角色可以迫使输入信道映射的改变，例如，因为可以要求用户调整输入以在新映射之下恢复该角色的控制。修改输入信道到游戏命令的转换的映射方案在游戏运行期间同样可以发生改变。该转换可以响应于游戏状态或者响应于在该输入信道的一个或多个元素下发布的修改器命令以多种方式出现。也可以配置传动装置和映射配置以影响该输入信道一个或多个元素的配置和/或处理。
另外，可以将扬声器436安装在操纵杆控制器430上。在“声雷达”实施例中，其中程序代码404定位和表征用麦克风阵列422检测的声音，扬声器436可以提供由麦克风阵列422检测的和由程序代码404使用的音频信号，以跟踪操纵杆控制器430的位置。扬声器436还可以用来将来自操纵杆控制器430的附加“输入信道”提供给处理器401。来自扬声器436的音频信号可以是周期性脉冲的来提供用于声雷达的信标以跟踪位置。该音频信号(脉冲的或者别的方式)可以是听得见的或者超声波的。该声雷达可以跟踪操纵杆控制器430的用户操纵，并且其中这样的操纵跟踪可以包括关于操纵杆控制器430的位置和方位的信息(例如，倾斜，摆动或者偏航角)。可以在适当的工作循环时触发脉冲，就像本领域技术人员能够应用的一样。可以基于由系统裁定的控制信号发起脉冲。设备400(经由程序代码404)可以调整耦合到处理器401的两个或多个操纵杆控制器430之中的控制信号的分派，以保证能够跟踪多个控制器。
举例来说，可以在并行处理系统上实现本发明的实施例。典型地，这样的并行处理系统包括配置为使用单独的处理器来并行执行部分程序的两个或多个处理器元件。举例来说，并且没有局限性的，图5图解说明了依照本发明的实施例的单元处理器500类型。单元处理器500可以用作图4的处理器401。在图5描述的例子中，单元处理器500包括主存储器502，功率处理器元件(PPE)504，以及许多协同处理器元件(SPE)506。在图5描述的例子中，单元处理器500包括1个PPE 504和8个SPE 506。在这种配置中，7个SPE 506可以用于并行处理并且1个SPE 506可以被保留用作为假如其它7个中的1个故障时的备份。可替换地，单元处理器可以包括多组PPE(PPE组)和多组SPE(SPE组)。在这种情况下，可以在组内单元之间共享硬件资源。然而，SPE和PPE必须看来像是软件作为独立的元件。同样地，本发明的实施例不局限于使用图5所示的配置。
典型地，主存储器502包括通用和非易失性存储器两者，以及用于诸如系统配置，数据传输同步，映射存储器I/O，和I/O子系统的功能的专用硬件寄存器或者阵列。在本发明的实施例中，信号处理程序503可以驻留在主存储器502中。信号处理程序503可以运行在PPE上。可以将程序503分割到在SPE和/或PPE上执行的多个信号处理任务中。
举例来说，PPE 504可以是具有相关联的高速缓冲存储器L1和L2的64位的PowerPC处理器单元(PPU)。PPE 504是通用处理单元，其可以访问系统管理资源(例如，诸如存储器保护表格)。可以将硬件资源明确地映射到由PPE察看的实地址空间。因此，该PPE可以通过利用适当的有效地址值来直接寻址这些资源的任何一种。PPE 504的主要功能是在单元处理器500中的SPE 506的任务的管理和分配。
尽管图5中仅示出了1个PPE，诸如单元宽带引擎架构(CBEA)的一些单元处理器实现方式，单元处理器500可以具有组成PPE组的多个PPE，其中可以大于1。这些PPE组可以共享对主存储器502的访问。而且，单元处理器500可以包括两组或多组SPE。该SPE组同样可以共享对主存储器502的访问。这样的配置处于本发明的范围之内。
每个SPE 506包括协同处理器单元(SPU)和它自己的局部存储器区域LS。局部存储器LS可以包括存储装置的一个或多个单独区域，其中每一个与特定SPU相关联。每个SPU可以被配置为仅仅执行来自它自己关联的局部存储器域内的指令(包括数据装载和数据存储操作)。在这种配置中，可以通过从存储器流量控制器(MFC)发布直接存储器存取(DMA)命令以将数据传输到(该单独的SPE的)局部存储器域或者从(该单独的SPE的)局部存储器域传输数据来执行在局部存储器LS和系统500中其它地方之间的数据传输。该SPU是比PPE 504较少复杂计算的单元，因为它们不执行任何系统管理功能。该SPU通常具有单指令，多个数据(SIMD)性能，并且典型地，为了执行它们分配的任务，处理数据并且发起任何所需的数据传输(易受由PPE设置的存取性质)。该SPU的目的是实现需要更高计算单元密度和能够有效使用提供的指令集的应用。由PPE 504管理的系统中相当多的SPE考虑到在很宽应用范围内有效成本的处理。
每个SPE 506可以包括专用存储器流量控制器(MFC)，该专用存储器流量控制器包括能够保持和处理存储器保护和存取许可信息的相关联的存储器管理单元。该MFC提供用于在该单元处理器的主存储器和SPE的局部存储器之间的数据传输，保护，和同步的主要方法。MFC命令描述将要执行的传输。用于传输数据的命令有时被认为是MFC直接存储器存取(DMA)命令(或者MFC DMA命令)。
每个MFC可以同时支持多个DMA传输，并且可以维持和处理多个MFC命令。每个MFC DMA数据传输命令请求可以涉及局部存储器地址(LSA)和有效地址(EA)这两者。该局部存储器地址可以仅直接寻址它相关联的SPE的局部存储器区域。该有效地址可以具有更通用的应用，例如，它能参考主存储器，包括所有的SPE局部存储器区域，如果它们混淆到实地址空间中的话。
为了便于在SPE 506之间和/或在SPE 506和PPE 504之间的通信，SPE 506和PPE 504可以包括依赖信令事件的信号通知寄存器。可以通过星状拓扑来耦合PPE 504和SPE 506，其中PPE 504担当路由器以向SPE 506传输消息。可替换地，每个SPE 506和PPE 504可以具有被认为是邮箱的单向信号通知寄存器。可以由SPE 506来使用该邮箱以主控操作系统(OS)同步。
单元处理器500可以包括输入/输出(I/O)功能508，经由输入/输出功能508，单元处理器500可以与外围装置对接，所述外围装置例如是麦克风阵列512和可选的图像捕获单元513。另外，元件互连总线510可以连接以上列出的各种部件。每个SPE和PPE可以经由总线接口单元BIU访问总线510。单元处理器500还可以包括典型地在处理器中发现的两个控制器，：存储器接口控制器MIC，其控制在总线510和主存储器502之间的数据的流动，以及总线接口控制器BIC，其控制在I/O 508和总线510之间的数据的流动。尽管用于MIC、BIC、BIU和总线510的需求对于不同的实现方式可以广泛地改变，但是在本领域中的那些技术人员能熟知用于执行它们的功能和电路。
单元处理器500同样可以包括内部中断控制器IIC。该IIC部件管理呈现给PPE的中断的优先级。该IIC允许来自单元处理器500的其它部件的中断将被处理而没有使用主系统中断控制器。该IIC可以被认为是二级控制器。该主系统中断控制器可以处理单元处理器外部引起的中断。
在本发明的实施例中，可以使用PPE 504和/或一个或多个SPE 506来并行执行例如部分延迟的某些计算。可以将每个部分延迟计算作为一个或多个单独的任务来运行，当它们变得可用时，不同的SPE 506可以执行它们。
一些实施例提供了跟踪装置，其用于获得用于控制由处理器执行的游戏程序的信息以实现将由用户运行的交互式游戏。该跟踪装置可以包括主体和至少一个PD元件。当在屏幕上显示经由游戏设备的执行所提供的游戏的进行时，主体可以更进一步包括朝向屏幕定位的部分。另外，可以与主体一起装配至少一个PD元件。当该部分至少部分朝向屏幕时，可由图像捕获装置来记录在图像内的PD元件的位置。操作中，在不同点的PD元件的位置是可以及时量化的以量化在空间中主体的运动。
进一步地，主体可以安装到游戏控制器上。该游戏控制器可以包括游戏控制器主体和与该游戏控制器主体一起装配的至少一个输入装置。该输入装置可以由用户操纵，使得可以登记来自用户的输入。在一些实例中，该设备包括跟踪装置和游戏控制器这两者。
在一些实施例中，该PD元件可以包括反向反射器。另外或者可替换地，该PD元件可以具有相对于PD元件相邻的一部分主体的颜色具有高对比度的颜色。进一步地，至少一个PD元件的每一个可以包括含有至少两个不同纹理的图案。例如，该纹理可以在亮度、颜色、粗糙程度和/或其它这样有关的纹理方面不同。在一些实施例中，该PD元件包括光源，并且在一些实现方式中该光源可以包括至少一个LED。
进一步地，一些实施例包括2个、3个、4个或更多个PD元件。在一个或多个配置中可以定向这些多个PD元件。例如，在具有2个PD元件的实现方式中，可以定向PD元件以定义线，并且在一些具有3个PD元件的实现方式中，可以在三角形中定向该元件。在具有4个PD元件的其它实现方式中，可以排列或者放置该元件以定义4条线。例如，这4条线可以定义矩形或者其它相关的配置。
该PD元件可以包括光源，并且通过与由至少一个光源输出的光有关的特征，可以将至少一个的光源和其它光源区别开。例如，通过频闪观测器频率、开关工作循环、开关周期内的接通间隔的定时、光源输出的光谱含量、和/或其它这样的有关区别和/或区别的结合的至少一个，可以将至少一个光源和其它光源区别开。在一些实施例中，跟踪装置的主体可安装到用户的主体上。
依照一些实施例的跟踪装置进一步可以包括通信接口，该通信接口可以引导与处理器、游戏控制器和/或处理器和游戏控制器这两者的至少一个的数字通信。该通信接口基本上可以是任何有关的接口，例如通用异步收发器(“UART”)，通用串行总线(“USB”)控制器，和/或其它这样的有关接口和/或接口的结合。典型地，该接口是可操作的以执行接收用于控制跟踪装置操作的控制信号、用于传输来自与另一个装置通信的跟踪装置的信号，和/或其它这样的通信功能的至少一个。
一些实施例进一步包括处理器，该处理器可操作来执行游戏程序以在屏幕上显示游戏的进行，来实现将由用户交互运行的游戏。通过例如位于屏幕附近的图像捕获装置可以记录一个或多个PD元件的位置，并且该处理器可以配置为使用由该图像捕获装置输出的信息来检测图像内的PD元件的位置。另外或者可替换地，该处理器是可操作的以检测用于根据该图像捕获装置输出的信息控制游戏程序的执行的用户输入信息，以根据该图像捕获装置输出的信息获得表示在空间中不同时间点的主体的加速度的一系列取样，和/或以使用所述系列取样确定主体的速度，例如通过在时间间隔上结合从所述系列取样获得的加速度值。
在一些实例中，该处理器可以通过首先在时间间隔上结合从所述系列取样获得的加速度值，以及然后结合首先结合的结果来确定主体在空间中的位移。另外或者可替换地，该处理器可以通过确定与先前确定的位置有关的位移来确定主体在空间中的位置。
在其中跟踪装置包括至少2个PD元件的一些实例中，使用由该图像捕获装置输出的信息，在空间的至少2个自由度中，该处理器可以获得表示主体加速度的一系列取样。当跟踪装置包括至少3个PD元件时，使用由该图像捕获装置输出的信息，在空间的至少3个自由度中，该处理器可以获得表示主体加速度的一系列取样。例如，这3个自由度可以包括沿着3条正交轴x，y和z的运动，和/或倾斜，偏航和摆动。在一些实施例中，该处理器可以量化在6个自由度中的运动，例如，该6个自由度可以包括3个自由度和倾斜，偏航以及摆动。
进一步地，一些实施例提供了控制器。该控制器可以包括主体，在主体上布置的一个或多个按钮，和在主体上布置的排列成阵列的一个或多个可检测元件。另外，在一些实现方式中，该阵列是线性阵列。
如上所述，典型地，计算机娱乐系统包括手持控制器，游戏控制器，或者其它控制器。用户或者玩家使用该控制器向娱乐系统发送命令或者其它指令以控制正在进行的视频游戏或者其它模拟。电视，立体声系统，其它娱乐系统，和设备还包括手持控制器。
在此描述的方法、设备、方案和系统的各种实施例提供了将手持控制器的三维运动映射到显示屏的二维图像平面上。其允许将通过用户的整个控制器主体本身的三维运动用于控制其中在显示屏的二维像平面上执行操纵的系统的各个方面。
例如，图6A，6B和6C图解说明了依照本发明的实施例操作的系统。在该实施例中，手持控制器的三维运动可以用于类似鼠标的功能，以操纵屏幕上的指针。例如，图6A图解说明了在玩家的手604上持有的控制器602。控制器602的向上运动606将显示器的屏幕608上的指针从位置610向上移动到另一个位置612。在图6B中，控制器602的向下运动620将显示器的屏幕608上的指针从位置622向下移动到另一个位置624。并且在图6C中，控制器602的侧向运动630将显示器的屏幕608上的指针从位置632侧向移动到另一个位置634。如以下将要描述的，在其它实施例中，手持控制器的三维运动可以用于其它功能，例如在游戏中用于操纵屏幕上的十字准线等。
参考图7，其图解说明了依照本发明的实施例操作的方法700。方法700开始于步骤702，其中跟踪系统的手持控制器的三维运动。可以以许多不同的方式执行这种跟踪。例如，可以以任何以上在此所描述的方式或者任何其它方式中通过惯性，视频，听觉，或者红外线分析来执行这种跟踪。
例如，在视频跟踪的例子中，可以与计算机娱乐系统一起使用摄像机外围设备来检测手持控制器主体的运动，并且将它们传送为游戏中的动作。该摄像机可用于检测许多不同类型的控制器运动，例如，上下运动，扭转运动，左右运动，急拉运动，棒式动作，突降运动等。此外，然而，可替换地可以通过惯性，听觉，或者红外线分析来执行跟踪。例如，在使用红外线分析的实施例中，红外线分析仪和线性红外线阵列用来基于察看传感器的输出来确定用户的位置和控制器的方位。
在步骤704中，然后，将跟踪的手持控制器的三维运动映射到系统显示器屏幕的二维图像平面上。即，将控制器主体本身在三维中的运动投射到屏幕上的二维图像平面上。因而，将控制器的三维运动转变到屏幕的二维像平面的X-Y坐标上。
在步骤706中，然后，基于跟踪的手持控制器的三维运动的映射，将一个或多个图像显示在屏幕的二维图像平面上。该图像可以包含许多不同类型的图像。例如，如图6A，6B和6C所示，该图像可以包含用于选择在屏幕上显示的项目的指针。在那个例子中，整个控制器602本身变成类似鼠标的装置，并且像鼠标一样使用以控制和选择屏幕上像菜单、链接等的项目。
各种不同类型的控制器运动可以配置为引起在屏幕上显示的图像的各种不同的运动。例如，用户可以向上举起控制器或者他或她可以向上扭转他或者她的手腕，引起图像的某些运动。或者在另一个例子中，用户可以向下推控制器位置，并且然后向下指向前端以使指针进一步向下运行。或者在另一个例子中，用户可以和控制器的位置一起移到左边，但是然后，用户向左边扭转方位，其使得指针向左运行。或者在另一个例子中，用户可以向右移动控制器，并且同样向右扭转方位，使得指针向右运行。此外，这些仅仅是例子，并且可以配置许多其它类型的运动。
参考图8，其图解说明了依照本发明的实施例操作的另一个系统。在该实施例中，一个或多个图像可以包含一组十字准线，例如用于射击游戏。例如，在图8中，经由游戏使摄像机摇摄和移动，用户或者玩家可以步行穿过屏幕802上显示的三维空间。将用户的枪等的一组十字准线804经由三维空间映射到屏幕802的二维图像平面的X-Y坐标上。
当在三维中用户移动控制器主体806时，该运动引起移动二维十字准线804。如图所示，控制器主体806的横向和向上运动810引起从一个位置812到另一个位置814的二维十字准线804的横向和向上运动。因而，该游戏可以包含三维游戏，但是将屏幕上的十字准线经由三维空间映射到屏幕二维平面中的X和Y坐标上。
至此所描述的例子图解说明了本发明的实施例允许控制器用作用于选择菜单、链接、项目等的类似鼠标的装置，不过该控制器可以改变功能并且用于其它功能，例如，控制射击游戏中的十字准线。因而，经由用户的整个控制器主体的检测的运动，动作和/或操纵可以用作为附加命令以控制正在运行的游戏或者其它模拟的不同方面。
在一些实施例中，作为可选特性，可以调整或者调节到二维映射操纵的传动装置，因此，基于选择的调节的水平，用户可以更快或者更慢地移动指针。其向用户提供了响应于控制器的动作和运动选择移动指针、十字准线等的速度的灵活性。可以使用控制器上的任何按钮或者控制来调整这种传动装置。举例来说，在一些实施例中，可以使用可变的按钮L2和R2(图1B，1C，1D，和1E)或者任何其它按钮或者控制来调节听力。
如上所述，可以以许多不同的方式跟踪手持控制器的三维运动，例如通过如上所述的惯性、视频、听觉、或者红外线分析，或者以任何其它方式。参考图9，其图解说明了依照本发明的实施例操作的系统900。如上所述，可以使用“混合模式”信号，由此，来自一种类型的传感器的信号可以提供跟踪信息输入的一部分，并且由另一种类型的传感器产生的信号可以提供跟踪信息输入的另一部分。同样地，在一个实施例中，反馈回路可以包含混合器902，混合器902可以用来混合来自许多不同类型传感器904的信号，例如惯性、视频、听觉、或者红外线传感器。然后，将来自混合器902的输出通过映射器905等映射到屏幕的二维图像平面上。然后，在屏幕的2D图像平面上显示图像906。
这样，可以感测和跟踪控制器的3D运动、动作和操纵，并且然后通过混合器将控制器的3D运动、动作和操纵映射回屏幕上的2D平台。举例来说，如果使用视频跟踪，控制器的3D运动则投射到摄像机的2D图像平面上，并且然后，将来自摄像机的2D图像平面的透视图的控制器运动和转变映射到屏幕的2D平台上。
在本发明的其它实施例中，可选地，可以保持锁定屏幕的二维图像平面的X或者Y坐标。这样，当玩家以不同方向移动控制器时，在屏幕上显示的图像仅向一个方向移动，因为X和Y坐标的一个可能是被锁定的。例如，图10图解说明了依照本发明的另一个实施例操作的系统。在该实施例中，经由游戏使摄像机拍摄和移动，用户或者玩家可以步行穿过屏幕1002上显示的三维空间。将用户的枪等的一组十字准线1004经由三维空间映射到屏幕1002的二维图像平面的X-Y坐标上。
在该例子中，Y坐标是锁定的。同样地，控制器主体1006的横向和向上运动1010引起二维十字准线1004从一个位置1012到另一个位置1014仅沿着X轴横向移动。因为已经锁定了Y轴，所以十字准线1004仅沿着X轴移动。
在一些实施例中，用户可以保持按下锁定其中一个轴的按钮。例如，可以该按钮锁定Y坐标，因此无论用户将控制器移动到哪里，在屏幕上的图像仅仅会沿着X轴移动。即，Y坐标将保持固定。因而，用户可以在X轴上向右扭转控制器和一直向右滑动，或者沿着X轴向左扭转控制器和一直向左滑动。在一些实施例中，当用户再次按下按钮时，这可以配置为解开先前锁定的轴，其再次向用户提供全度运动。在一些实施例中，用户可以按下另一个按钮以锁定X坐标，其允许用户仅上下地滑动十字准线。
该手持控制器可以包含依照本发明的不同实施例的任何类型的控制器。例如，尽管图解说明视频游戏操纵台控制器，该控制器可以代替包含任何其它类型的控制器，例如用于电视、立体声系统、DVD播放器等的传统控制器。举例来说，图11A图解说明了可以依照本发明的不同实施例使用的传统电视控制器1102。或者，该控制器可以代替包含以在此描述的方式跟踪的任何其它类型的对象。举例来说，图11B图解说明了可以依照本发明的不同实施例使用的这样的对象1104。
在一些实施例中，控制器的位置和偏航是可以附加的。这将允许控制器运动继续以相同的方向移动指针或者十字准线，以便该运动“添加”到上述运动。
如上所述，可以以不同的方式实现检测和跟踪游戏控制器主体的用户操纵。例如，诸如加速计或者回转仪的惯性传感器，诸如数字摄像机的图像捕获单元，可以与计算机娱乐系统一起使用以检测手持控制器主体的动作并且将它们传送为游戏中的动作。例如，在题为“SYSTEM，METHOD，AND APPARATUS FORTHREE-DIMENSIONAL INPUT CONTROL(用于三维输入控制的系统、方法、和设备)”的美国专利申请11/382,033(代理人档案号SCEA06INRT1)中描述了跟踪具有惯性传感器的控制器的例子，其在此引入作为参考。例如，在题为“SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF AGAME CONTROLLER BODY(用于检测和跟踪游戏控制器主体的用户操纵的方案)”的美国专利申请11/382,034(代理人档案号SCEA05082US00)中描述了使用图像捕获跟踪控制器的例子，其在此引入作为参考。另外，使用麦克风阵列和适当的信号处理同样可以在声学上跟踪控制器和/或用户。在美国专利申请11/381,721中描述了这样的声跟踪的例子，其在此引入作为参考。
可以单独的或者以任何结合来使用声学感测、惯性感测和图像捕获，以检测控制器的许多不同类型的运动，例如上下运动、扭转运动、左右运动、急拉运动、棒式运动、突降运动等。这些动作可以相应于不同的命令以便将这些动作传送为游戏中的动作。检测和跟踪游戏控制器主体的用户操纵可以用来实现许多不同类型的游戏，模拟等，例如，其允许用户参加剑或者光剑战斗，利用棒来描绘项目的形状，参加许多不同类型的体育事件，参加屏上战斗或者其它遭遇战等。游戏程序可以配置为跟踪控制器的动作以及从跟踪的动作中识别某些预先记录的姿势。一个或多个这些姿势的识别可以触发游戏状态的改变。
如上所述，在本发明的一些实施例中，可以在姿势识别的分析之前混合从这些不同的源处获得的控制器路径信息。可以以改进姿势识别的可能性的方式来混合来自不同源(例如，声学、惯性和图像捕获)的跟踪数据。
正如以上讨论的，可以分析来自惯性、图像捕获和声源的数据以产生跟踪控制器的位置和/或方位的路径。如图12的方框图所示，依照本发明实施例的系统1200可以包括惯性分析器1202，图像分析器1204和声学分析器1206。这些分析器的每一个接收来自感测环境的信号。可以在硬件、软件(或者固件)或者这些两个或多个的结合中实现分析器1202，1206，1208。每个分析器产生与感兴趣的对象的位置和/或方位有关的跟踪信息。举例来说，感兴趣的对象可以是以上提到的控制器110。图像分析器1204可以连同以下的以及关于美国专利申请11/382,034(代理人档案号86321 SCEA05082US00)中所描述的方法的区域操作，并且形成所述区域。惯性分析器1202可以连同以下的以及关于题为“SYSTEM，METHOD，AND APPARATUS FOR THREE-DIMENSIONAL INPUT CONTROL(用于三维输入控制的系统、方法、和设备)”的美国专利申请11/382,033(代理人档案号SCEA0 6INRT1)中所描述的方法的区域操作，并且形成所述区域。声学分析器1206可以连同以下的以及关于美国专利申请11/381,724所描述的方法的区域操作，并且形成所述区域。
分析器1202，1204和1206可以被认为是与位置和/或方位信息的输入的不同通道相关联的。混合器1208可以接受多个输入通道，并且这样的通道可以包含典型地来自通道的视角的表征感测环境的取样数据。可以将由惯性分析器1202、图像分析器1204和声学分析器1206产生的位置和/或方位信息耦合到混合器1208的输入。可以由游戏软件1210查询混合器1208和分析器1202，1204，1206，并且可以配置为响应于事件而中断游戏软件。事件可以包括姿势识别事件、传动装置改变、配置改变、设置噪声水平、设置取样率、改变映射链等，以下论述这些的例子。混合器1208可以连同以下的以及关于在此描述的方法的区域操作，并且形成所述区域。
正如以上讨论的，可以由惯性分析器1202、图像分析器1204以及声学分析器1206来分别地分析来自例如惯性传感器、视频图像和/或声传感器的不同输入通道的信号，以依照发明的方法确定在视频游戏运行期间控制器110的动作和/或方位。这种方法可以被实现为一系列处理器可执行的程序代码指令，其被存储在处理器可读介质中并且在数字处理器上执行。
例如，如图13A所描述的，视频游戏系统100可以包括具有在硬件或者软件中实现的惯性分析器1202、图像分析器1204和声学分析器1206的控制台102。举例来说，分析器1202，1204，1206可实现为运行在适当的处理器单元1302上的软件指令。举例来说，处理器单元1302可以是例如一种通常用于视频游戏控制台的微处理器的数字处理器。可以在存储器1306中存储一部分指令。可替换地，惯性分析器1202、图像分析器1204和声学分析器1206可以在硬件中实现，例如被实现为专用集成电路(ASIC)。这种分析器硬件可以位于控制器110上，或者控制台102上，或者可以远程地位于其它地方。在硬件实现方式中，响应于例如来自处理器1302或者例如通过USB电缆，无线连接，或者通过网络连接的一些其它远程位置的源的外部信号，分析器1202，1204，1206是可编程的。
惯性分析器1202可以包括或者实现用于分析由惯性传感器113产生的信号的指令，并且利用关于控制器110的位置和/或方位的信息。类似地，图像分析器1204可以实现用于分析由图像捕获单元112捕获的图像的指令。另外，该声学分析器可以实现用于分析由麦克风阵列118捕获的图像的指令。如图13B的流程图1310所示，如块1312所表示的，可以由分析器1202，1204，1206接收这些信号和/或图像。如块1314所表示的，可以由分析器1202，1204，1206分析这些信号和/或图像以确定关于控制器110的位置和/或方位的惯性跟踪信息1203，图像跟踪信息1205和声跟踪信息1207。跟踪信息1203，1205，1207可以涉及一个或多个自由度。优选地，跟踪6个自由度以表征控制器110或者其它跟踪对象的操纵。这些自由度可以涉及控制器倾斜，偏航，摆动和位置，沿着x，y和z轴的速度或者加速度。
在一些实施例中，控制器110还可以包括音响信号发生器115(例如，扬声器)以提供音源，便于具有麦克风阵列118和适当声信号处理的控制器110的声跟踪，例如，如美国专利申请NO.11/381,724所描述的，通过参考并入于此。
如块1316所表示的，混合器1208混合惯性信息1203，图像信息1205和声学信息1207以产生精确的位置和/或方位信息1209。举例来说，混合器1208基于游戏或者环境条件以及获得的权重平均值而应用不同权重给惯性，图像和声跟踪信息1203，1205，1207。另外，混合器1208可以包括它自己的混合器分析器1304，其分析结合的位置/方位信息并且产生它自己的结果“混合器”信息，该信息包括由其它分析器所生成的信息的组合。
在本发明的实施例中，混合器1208可以给来自分析器1202，1204，1206的跟踪信息1203，1205，1207指派分配值。如上所述，可以平均某些组的输入控制数据。然而，在当前实施例中，在平均输入控制数据之前给输入控制数据指派值，由此，来自一些分析器的输入控制数据比来自其它的具有更多分析的重要性。
混合器1208在当前系统的环境中可以具有许多功能，包括：观察、纠正、稳定、推导、结合、路由、混合、报告、缓冲、中断其它处理和分析。可以与从一个或多个分析器1202，1204，1206接收的跟踪信息1203，1205，1207有关来完成这些。尽管分析器1202，1204，1206的每一个可以接收和/或导出某些跟踪信息时，可以将混合器1208实现为最佳化接收的跟踪信息1203，1205，1207的使用，并且产生精确的跟踪信息1209。
优选地，分析器1202，1204，1206和混合器1208配置以提供跟踪信息相似输出格式。来自任何分析器元件1202，1204，1206的跟踪信息参数可以映射为分析器中的单个参数。可替换地，通过处理来自一个或多个分析器1202，1204，1206的一个或多个跟踪信息参数，混合器1208可以形成用于任何分析器1202，1204，1206的跟踪信息。该混合器可以结合由分析器1202，1204，1206获得的相同参数类型的跟踪信息的两个或多个元件，和/或执行跨越由分析器产生的跟踪信息的多个参数的功能，以创建具有从多个输入通道产生的好处的合成的输出组。
如块1318所表示的，系统100可以在视频游戏运行期间利用精确的跟踪信息1209。在某些实施例中，可以与游戏运行期间由用户108产生的姿势有关来使用该位置和/或方位信息。在一些实施例中，混合器1208可以连同姿势识别器1305一起操作，以将游戏环境中的至少一个动作与来自用户的一个或多个用户动作(例如，控制器在空间中的操纵)相关联。
如图13C的流程图1320所表示的，如块1322所表示的，使用位置和/或方位信息可以跟踪控制器110的路径。举例来说，并且没有局限性，该路径可以包括一组表示关于坐标系的某些系统的控制器重心的位置的点。可以由一个或多个坐标表示每个位置点，例如，Cartesian坐标系中的X，Y和Z坐标。可以将时间与路径上的每个点相关联，以便可以监控路径的形状和控制器沿着路径的进行这两者。另外，在该组中的每个点可以与表示控制器方位的数据(例如控制器围绕它的重心的旋转的一个或多个角)相关联。而且，路径上的每个点可以与控制器的重心的速度和加速度的值和控制器围绕它的重心的角旋转速度和角加速度的值相关联。
如块1324所表示的，该跟踪路径可以与一个或多个存储的路径进行比较，其对应于与视频游戏运行的环境有关的已知和/或预先记录的姿势1308。识别器1305可以配置为识别用户或者处理音频鉴别的姿势等。例如，可以由识别器1305经由姿势识别出用户，而且对于用户来说姿势可以是特定的。在存储器1306中存储的预先记录的姿势1308之中可以记录和包括这种特定的姿势。可选地，记录过程可以存储在姿势记录期间产生的音频。可以将感测环境取样到多通路分析器中并且处理。该处理器可以基于声音或者声波图来参考姿势模型以确定和鉴别和/或识别用户或者对象，并且能达到非常高的精确性和性能。
如图13A中所表示的，可以在存储器1306中存储表示姿势的数据1308。姿势的例子包括，但是不局限于，投掷诸如球的对象，挥动诸如球棒或者高尔夫球棍的对象，抽动手泵，打开或者关闭门或者窗户，转动方向盘或者其它车辆控制装置，诸如拳击的武术套路，打磨运动，太极，油漆房子，摇动，振动，摆动，足球投掷，旋钮运动，3D鼠标运动，卷轴运动，已知轮廓的运动，任何可记录的运动，沿着任何向量来回的运动，例如在空间中任意的方位给轮胎打气，沿着路径的运动，具有精确的停止和开始时间的运动，基于用户的操作在噪声底板、样条内可以记录、跟踪和重复的任何时间等。可以从路径数据预先记录这些姿势的每一个，并且将其存储为基于时间的模式。路径和存储的姿势的比较可以从稳定状态的假定开始，如果路径偏离了稳定状态，该路径通过排除的过程可以与存储的姿势相比。如果在块1326没有匹配，在块1322，分析器1304可以继续跟踪控制器110的路径。如果在该路径(或者它的一部分)和存储的姿势之间具有足够的匹配，如在1328所表示的，可以改变游戏的状态。游戏状态的改变可以包括，但不局限于，中断，发送控制信号，改变变量等。
这是这个可以发生的一个例子。在确定了控制器110已经离开稳定状态的路径后，分析器1202，1204，1206，或者1304跟踪控制器110的运动。只要控制器110的路径遵照在存储的姿势模式1308中定义的路径，那么那些姿势是可能的“打击(hit)”。如果控制器110的路径偏离了任何姿势模式1308(在噪声容许设置内)，则从打击列表中除去该姿势模式。每个姿势参考模式包括其中记录姿势的时基。分析器1202，1204，1206，或者1304在适当的时标上将控制器路径数据与存储的姿势1308相比。稳态状态条件的发生重新设定该时钟。当偏离稳定状态时(即当在噪声阈值外跟踪运动时)，用所有的潜在姿势模式来填充打击列表。开始时钟并且控制器的运动与打击列表相比。再次，该比较是随着时间进行的。如果在打击列表中任何姿势达到姿势的结束，那么它是打击。
在本发明的一些实施例中，混合器1208可以给来自分析器1202，1204，1206的跟踪信息1203，1205，1207指派分配值。如上所述，可以平均某些组的输入控制数据。然而，在当前实施例中，在平均输入控制数据之前给输入控制数据指派值，由此，来自一些分析器的输入控制数据比来自其它的具有更多分析的重要性。
例如，混合器1208可以需要与加速度和稳定状态有关的跟踪信息。然后，混合器1208将接收如上所述的跟踪信息1203，1205，1207。跟踪信息可以包括与加速度和稳定状态有关的参数，例如，如上所述的。在平均表示这个信息的数据之前，混合器1208可以给跟踪信息数据集1203，1205，1207指派分配值。例如，可以以90％的值加权来自惯性分析器1202的x-和y-加速度参数。然而，可以仅以10％加权来自图像分析器1206的x-和y-加速度数据。因为声学分析器跟踪信息1207属于加速度参数，所以可以以0％来加权它，那就是说，该数据没有值。
类似地，可以以10％来加权来自惯性分析器1202的z-轴跟踪信息参数，但是可以以90％来加权图像分析器z-轴跟踪信息。此外，可以以0％的值来加权声学分析器跟踪信息1207，但是可以以100％来加权来自声学分析器1206的稳定状态跟踪信息，同时以0％来加权剩余的分析器跟踪信息。
在已经指派了适当的分配权重之后，可以连同该权重一起平均输入控制数据，以达到加权平均输入控制数据集，随后由姿势识别器1305分析该加权平均输入控制数据集并且该加权平均输入控制数据集与游戏环境中的特定动作相关联。可以由混合器1208或者特定游戏名称来预先定义相关联的值。该值还可以是识别来自不同分析器以及因而获得如下进一步论述的动态调整的数据的特定质量的混合器1208的结果。该调整还可以是建立当特定数据在特定环境中具有特定值和/或响应于给定游戏名称的特性时的历史知识库的结果。
混合器1208可以配置为在游戏运行期间动态地操作。例如，由于混合器1208接收不同的输入控制数据，所以可以认识到，某些数据一贯地处于数据可接受的范围或者数据质量之外，或者反映出在相关的输入设备中可以表现处理错误的损坏数据。
另外，在真实世界环境中的某些情况可以改变。例如在用户的家的游戏环境中的自然光可以是渐增的，因为上午变成下午引起了图像数据捕获的问题。进一步地，随着时间邻居或者家人可能变得更加嘈杂，从而引起了音频数据捕获的问题。同样，如果用户已经玩了好几个小时，他们的反映可能变得不再那么的明显，因而引起了惯性数据解释的问题。
在这些实例中，或者在任何其它的实例中，其中特定形式的输入控制数据的质量正被讨论，混合器1208可以动态地给来自特定装置的特定组的数据重新指派分配权重，以致如上所述，给特定输入控制数据或多或少的重要性。类似地，游戏环境可以随着游戏的过程而改变，其中特定游戏的需求改变了，因而需要重新指派值或者需要特定的输入控制数据。
类似地，混合器1208可以识别出，正在错误地、慢慢地、或者完全没有基于由姿势识别器1305产生的处理错误或者反馈数据来处理正被传递到姿势识别器1305的某些数据。响应于该反馈或者按照这些处理困难(例如，尽管图像分析数据处于可接受的范围，当姿势识别器1305做出关联时产生错误结果)，即使有的话，混合器1208可以调整从哪个分析器寻找的哪个输入控制数据，以及何时调整。在输入控制数据传递到混合器1208之前，混合器1208可以进一步地需要通过适当分析器对输入控制数据的某些分析和处理，其可以重新处理数据(例如，平均数据)，以致获得进一层的保证，可以有效地并且适当地处理传递到姿势识别器1305的数据。
在一些实施例中，混合器1208可以识别出某些数据是损坏的、无效的、或者在特定变量之外，并且可以调用与那些数据有关的特定的输入控制数据或者变量，以致它可以替换错误的数据或者适当地分析和计算与必需的变量有关的某些数据。
参考图14，其图解说明了依照本发明的实施例的方法1400。方法1400提供了如何可以使用、结合和/或混合来自不同传感器的信息以执行诸如控制器的对象的跟踪的另一个例子。
在一个示例实现方式中，方法1400可以用来使用视频摄像机跟踪控制器的位置，其中由在控制器中的传感器，诸如回转仪传感器或者加速计所提供的倾斜信息，可被用来最优化控制器图像检测。通过使用转换的比较来使控制器图象检测最佳化，其中，依照由传感器提供的控制器的倾斜角来旋转控制器的参考检测轮廓图像。
更准确地说，可以用于获得来自诸如控制器的对象的输入数据的方法1400，开始于用图像捕获装置捕获对象的活动图像的步骤1402。该图像捕获装置可以包含任何类型的摄像机，例如在此描述的任何类型的摄像机。例如，在一些实施例中，图像捕获装置可以包括Z-摄像机或者深度摄像机或者其它类型的三维摄像机。如上所述，这种Z-摄像机或者深度摄像机可以提供或者测量每个像素的深度，和/或确定像素到摄像机的距离。
图15图解说明了这个步骤的例子。即，捕获对象1504的活动图像1502。在一些实施例中，对象1504可以包含控制器。如图解说明的，对象1504位于摄像机视野的左上角。
在步骤1404(图14)中，从除该图像捕获装置以外的一个或多个传感器中接收与对象的倾斜角有关的信息。举例来说，一个或多个传感器可以包含任何一个或多个的回转仪传感器、加速计、或者类似的传感器。这样的传感器可以位于该对象中。
在一些实施例中，如果对象的旋转是围绕回转轴的，则可以使用回转仪传感器。加速计读数和重力的方向可以用于所有的情形。使用加速计读数具有获得没有漂移的绝对角答案的好处。在一些实施例中，如果旋转是围绕回转轴的，可以使用这两种传感器。在一些实施例中，与对象的倾斜角有关的信息可以用来确定或者估计对象的倾斜角。
如以下将要描述的，测量对象的倾斜角是有益的，因为已知倾斜角帮助摄像机跟踪。使用倾斜角同样是有益的，因为在上文描述类型的具有在6个自由度中跟踪能力的控制器可以容易清楚地测量倾斜。而且，旋转是不适于使用摄像机来测量。
在步骤1406中，与对象的倾斜角有关的信息用来获得对象的至少一个旋转参考图像。举例来说，对象的基本参考图像可以包含对象的侧视图，对象的顶视图，持有对象的用户的单手或者双手的视图，或者一些其它的视图。因而，在其中对象包含控制器的实施例中，对象的基本参考图像可以包含控制器的侧视图，控制器的顶视图，持有控制器的用户的单手或者双手的视图，或者一些其它的视图。
图15图解说明了对象1504的基本参考图像1506的例子，其标注为1504′。如图解说明的，没有旋转对象1504′。
在一些实施例中，可以通过使用与对象的倾斜角或者对象确定的倾斜角有关的信息在空中(on-the-fly)旋转参考图像来获得对象的旋转参考图像。或者，在一些实施例中，可以在存储器中存储参考图像的一组旋转的版本。与对象的倾斜角或者对象确定的倾斜角有关的信息可以用来从存储的组中选择相应的旋转参考图像。然后，可以通过从存储装置中检索对象的旋转参考图像来获得该对象的旋转参考图像。
图15图解说明了对象1504的旋转参考图像1508的例子，其标注为1504″。如图解说明的，以与活动图像1502中的对象1504的旋转相同或者类似的方式来旋转对象1504″。
如上所述地，在步骤1406中，获得该对象的至少一个旋转参考图像。使用术语“至少一个”，是因为在一些实施例中，与对象的倾斜角有关的信息用来获得对象的超过一个旋转参考图像。每个旋转参考图像可以处于围绕对象的倾斜角的稍微不同的角上。并且在一些实施例中，与对象的倾斜角有关的信息用来产生一“组”围绕倾斜角的旋转参考图像，而不是仅仅一个恰好在倾斜角的参考图像。这样，倾斜角测量可能是有干扰且有缺点的，因为该组将提供在倾斜角附近的具有多种角度的旋转参考图像。取决于特定的应用、执行和需要的精确性的水平，在组中的旋转参考图像的数量可以改变。
图16图解说明了围绕倾斜角的对象1504″的一组旋转参考图像1602，1604，1606，1608的例子。在每个图像中的对象1504″的倾斜角是稍微不同的。
在步骤1408中(图14)，对象的活动图像与对象的一个或多个旋转参考图像进行比较。通常，该图像捕获单元在x和y平面中寻找对象的图像，并且正在寻找的图像是反映如同由倾斜传感器或者加速计提供的对象的角的转换图像。因而，倾斜测量的好处是代替匹配参考图像的所有可能的旋转，该图像捕获单元仅需要检查测量的倾斜角附近的旋转。该旋转可以在确定的错误公差内接近测量的倾斜角，该错误公差可以基于倾斜传感器的噪声。因为适当旋转的参考图像与该活动图像相比较，所以在比较过程期间不需要搜索旋转自由度，从而减少比较计算成本并且增加比较质量。
用于一些实施例中的可选的方法是首先围绕先前匹配的倾斜角尝试匹配倾斜角。这样，即使倾斜角传感器偶尔产生“坏的”数据，也不会显著地影响摄像机跟踪。
图15图解说明了这种比较的例子。即，对象1504的活动图像1502与对象1504″的旋转参考图像1508进行比较。在如上所述使用超过一个旋转参考图像的实施例中，对象1504的活动图像1502与一些或者所有的旋转参考图像进行比较。因而，在一些实施例中，与对象的倾斜角有关的信息用来获得对象的多个旋转参考图像，并且然后，对象的活动图像与对象的多个旋转参考图像的每一个进行比较。
最后，在步骤1410中(图14)，响应于活动图像匹配旋转参考图像的一个而产生指示。该指示可以包含任何类型的标记或者信号，以将已经出现活动图像和旋转参考图像的一个之间的匹配指示给软件和/或硬件。
在一些实施例中，可以通过确定匹配出现的活动图像中的位置来执行对象的跟踪。例如，在图15中，当对象1504位于摄像机视野的左上角时，匹配出现。该信息可以用来确定对象1504的位置。附加匹配可以用来跟踪物体1504′的运动。
在一些实施例中，可以经由一个或多个标准化滤波器传递一个或多个参考图像和活动图像。这可以有助于通过平滑光线的变化来获得更加可靠的匹配。举例来说，这种标准化滤波器可以包含拉普拉斯算子、高斯的拉普拉斯算子、高斯拉普拉斯算子的正负号函数、或者具有类似效应的任何其它类型的滤波器。
因而，依照由传感器提供的对象的倾斜角，通过转换或者旋转对象的参考检测轮廓图像，可以使对象图像检测最佳化。然后，这种对象图像检测可以用于跟踪对象的位置。例如，该方法可以用于使用视频输入的控制器跟踪。虽然使用对象的倾斜角是有益的，在一些实施例中，可选地或者另外，控制器的位移可以是有助于比例改变或者水平/垂直动作的摄像机跟踪的提示。
应容易了解到，该对象可以包含任何类型的对象，例如任何类型的控制器。例如，该对象可以包含用于电视、立体声系统、DVD播放器等类型的遥控装置。在一些实施例中，以上描述的方法和技术可以和两个或多个控制器一起同时使用。例如，可以与用户每个手中的控制器有关来使用该方法和技术，该方法和技术用于由多用户操作的控制器，或者用于类似的情况。该方法和技术可以用来同时检测和/或跟踪所有这样的控制器。
在2007年1月18日提交的、题为“METHODAND SYSTEM FORADDINGANEW PLAYER TO A GAME IN RESPONSE TO CONTROLLER ACTIVITY(用于响应于控制器行为向游戏添加新玩家的方法和系统)”的共同待决的美国专利申请No.11/624,637的整个披露，通过在此完整的参考以此完全并入。
在2006年10月20日提交的、题为“GAME CONTROL USINGTHREE-DIMENSIONAL MOTIONS OF CONTROLLER(使用控制器的三维动作的游戏控制)”的共同待决的美国专利申请No.11/551,682的整个披露，通过在此完整的参考以此完全并入。
在2006年10月19日提交的、题为“CONTROLLER CONFIGURED TOTRACK USER`S LEVEL OF ANXIETYAND OTHER MENTALAND PHYSICALATTRBUTES(为跟踪用户的渴望和其它智力以及身体素质的水平而配置的控制器)”的共同待决的美国专利申请No.11/551,197的整个披露，通过在此完整的参考以此完全并入。
在2006年9月28日提交的、题为“手持控制器到显示屏二维像平面的映射运动”的共同待决的美国专利申请No.11/536,559(代理人档案号86335[SCEA06058US00])的整个披露，通过在此完整的参考以此完全并入。
在2006年5月10日提交的、题为“ATTACHABLE STRUCTURE FOR USEWITH HAND-HELD CONTROLLER HAVING TRACKING ABILITY(供具有跟踪能力的手持控制器使用的可连接的结构)”的共同待决的美国专利申请No.11/382,699(代理人档案号No.87906[SCEA06028US00])的整个披露，通过在此完整的参考以此完全并入。
在2005年9月15日提交的，题为“AUDIO，VIDEO，SIMULATION，ANDUSER INTERFACE PARADIGMS(音频、视频、模拟、以及用户接口范例)”、的美国临时专利申请No.60/718,145的整个披露，通过在此完整的参考以此完全并入。
通过完整参考，由此将以下申请完全并入于此：题为“MAN-MACHINEINTERFACE USINGADEFORMABLEDEVICE(使用可变形装置的人机接口)”、在2002年7月27日提交的美国专利申请No.10/207,677；题为“AUDIO INPUTSYSTEM(音频输入系统)”、在2003年8月27日提交的美国专利申请No.10/650,409；题为“METHOD AND APPARATUS FOR ADJUSTING A VIEW OF ASCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION(用于依照跟踪的头部动作调整正在显示的情景的视野的方法和设备)”、在2003年9月15日提交的美国专利申请No.10/663,236；题为“METHOD AND APPARATUSFOR LIGHT INPUT DEVICE(用于光输入装置的方法和设备)”、在2004年1月16日提交的美国专利申请No.10/759,782；题为“METHOD AND APPARATUS TODETECTAND REMOVEAUDIO DISTURABNCES(为了检测和除去音频干扰的方法和设备)”、在2004年4月7日提交的美国专利申请10/820,469；以及，题为“METHOD FOR USING RELATIVE HEAD AND HAND POSITIONS TOENABLEAPOINTING INTERFACE VIACAMERATRACKING(用于使用相关的头和手位置以经由摄像机跟踪实现指针接口的方法)”、在2005年12月12日提交的美国专利申请No.11/301,673，所有的这些通过参考以此并入。
通过完整参考，由此将以下申请完全并入于此：Xiadong Mao在2006年5月4日提交的、题为“ULTRA SMALL MICROPHONEARRAY(极小的麦克风阵列)”的美国专利申请No.11/381,729(代理人档案号SCEA05062US00)，Xiadong Mao在2006年5月4日提交的、题为“ECHO AND NOISE CANCELLATION(回波和噪声消除)”的申请号11/381,728(代理人档案号SCEA05064US00)，XiadongMao在2006年5月4日提交的、题为“METHODS AND APPARATUS FOR TARGETEDSOUND DETECTION(用于目标的声音检测的方法和设备)”的美国专利申请No.11/381,725(代理人档案号SCEA05072US00)，Xiadong Mao在2006年5月4日提交的、题为“NOISE REMOVAL FOR ELECTRONIC DEVICE WITH FAR FIELDMICROPHONE ON CONSOLE(用于在控制台上带有远声场麦克风的电子装置的噪声排除)”的美国专利申请No.11/381,727(代理人档案号SCEA05073US00)，Xiadong Mao在2006年5月4日提交的、题为“METHODS AND APPARATUS FORTARGETED SOUND DETECTION AND CHARACTERIZATION(用于目标的声音检测和特性的方法和设备)”的美国专利申请No.11/381,724(代理人档案号SCEA05079US00)，Xiadong Mao在2006年5月4日提交的、题为“SELECTIVESOUND SOURCE LISTENING IN CONJUNCTION WTTH COMPUTERINTERACTIVE PROCESSING(连同计算机交互处理一起收听选择的声源)”的美国专利申请No.11/381,721(代理人档案号SCEA04005JUMBOUS)；所有的这些通过参考以此并入。
通过完整参考，由此将以下申请完全并入于此：Xiadong Mao在2006年5月4日提交的、题为“METHODSANDAPPARATUSES FORADJUSTINGALISTENING AREAFOR CAPTURING SOUNDS(用于调整捕获声音的收听区域的方法和设备)”的共同待决的申请号11/418,988(代理人档案号SCEA-00300)；Xiadong Mao在2006年5月4日提交的、题为“METHODS ANDAPPARATUSES FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUALIMAGE(用于捕获基于可见图像的音频信号的方法和设备)”的共同待决的申请号11/418,989(代理人档案号SCEA-00400)；Xiadong Mao在2006年5月4日提交的、题为“METHODS AND APPARATUSES FOR CAPTURING AN AUDIOSIGNAL BASED ON A LOCATION OF THE SIGNAL(用于捕获基于信号位置的音频信号的方法和设备)”的共同待决的申请NO.11/429,047(代理人档案号SCEA-00500)；Richard Marks等人在2006年5月4日申请的、题为“SELECTIVESOUND SOURCE LISTENING IN CONJUNCTION WITH COMPUTERINTERACTIVE PROCESSING(连同计算机交互处理一起收听选择的声源)”的共同待决的申请NO.11/429,133(代理人档案号SCEA04005US01-SONYP045)；以及Richard Marks等人在2006年5月4日提交的、题为“COMPUTER IMAGE ANDAUDIO PROCESSING OF INTENSITYAND INPUT DEVICES FORINTERFACING WITH A COMPUTER PROGRAM(计算机图像和音频的亮度处理以及用于与计算机程序对接的输入装置)”的共同待决的申请NO.11/429,414(代理人档案号SONYP052)，所有的这些的整个披露通过参考并入于此。
通过完整参考，由此将以下申请完全并入于此：在2006年5月6日提交的、题为“MULTI-INPUT GAME CONTROL MIXER(多输入的游戏控制混合器)”的美国专利申请No.11/382,031(代理人档案号SCEA0 6MXR1)；在2006年5月6日提交的、题为“SYSTEM FOR TRACKING USER MANIPULATIONS WITHINAN ENVIRONMENT(用于在环境内跟踪用户操纵的系统)”的美国专利申请No.11/382,032(代理人档案号SCEA06MXR2)；在2006年5月6日提交的、题为“SYSTEM，METHOD AND APPARATUS FOR THREE-DIMENSIONAL INPUTCONTROL(用于三维输入控制的系统、方法、和设备)”的美国专利申请No.11/382,033(代理人档案号SCEA06INRT1)；在2006年5月6日提交的、题为“INERTIALLY TRACKABLE HAND-HELD CONTROLLER(借助惯性可跟踪的手持控制器)”的美国专利申请No.11/382,035(代理人档案号SCEA06INRT2)；在2006年5月6日提交的、题为“METHODAND SYSTEM FORAPPLYINGGEARING EFFECTS TO VISUAL TRACKING(用于应用传动装置效应到视觉跟踪的方法和系统)”的美国专利申请No.11/382,036(代理人档案号SONYP058A)；在2006年5月7日提交的、题为“METHOD AND SYSTEM FOR APPLYINGGEARING EFFECTS TO INERTIAL TRACKING(用于应用传动装置效应到惯性跟踪的方法和系统)”的美国专利申请No.11/382,041(代理人档案号SONYP058B)；在2006年5月6日提交的、题为“METHOD AND SYSTEM FORAPPLYING GEARING EFFECTS TO ACOUSTICAL TRACKING(用于应用传动装置效应到声学跟踪的方法和系统)”的美国专利申请No.11/382,038(代理人档案号SONYP058C)；在2006年5月7日提交的、题为“METHODAND SYSTEM FORAPPLYING GEARING EFFECTS TO MULTI-CHANNEL MIXED INPUT(用于应用传动装置效应到多通道混合输入的方法和系统)”的美国专利申请No.11/382,040(代理人档案号SONYP058D)；在2006年5月6日提交的、题为“SCHEME FOR DETECTING AND TRACKING USER MANIPULATION OF AGAME CONTROLLER BODY(用于检测和跟踪游戏控制器主体的用户操纵的方案)”的美国专利申请No.11/382,034(代理人档案号86321 SCEA05082US00)；在2006年5月6日提交的、题为“SCHEME FOR TRANSLATING MOVEMENTSOF A HAND-HELD CONTROLLER INTO INPUTS FOR A SYSTEM(用于将手持控制器的运动转换成系统的输入的方案)”的美国专利申请No.11/382,037(代理人档案号86324)；在2006年5月7日提交的、题为“DECTECTABLE ANDTRACKABLE HAND-HELD CONTROLLER(可检测和可跟踪的手持控制器)”的美国专利申请No.11/382,043(代理人档案号86325)；在2006年5月7日提交的、题为“METHOD FOR MAPPING MOVEMENTS OF AHAND-HELDCONTROLLER TO GAME COMMANDS(用于将手持控制器的运动映射到游戏命令的方法)”的美国专利申请No.11/382,039(代理人档案号86326)；在2006年5月6日提交的、题为“CONTROLLER WITH INFRARED PORT(具有红外线端口的控制器)”的美国设计专利申请No.29/259,349(代理人档案号SCEA06007US00)；在2006年5月6日提交的、题为“CONTROLLER WITHTRACKING SENSORS(带有跟踪传感器的控制器)”的美国设计专利申请No.29/259,350(代理人档案号SCEA06008US00)；在2006年5月6日提交的、题为“DYNAMIC TARGET INTERFACE(动态对象接口)”的美国专利申请No.60/798,031(代理人档案号SCEA06009US00)；以及在2006年5月6日提交的、题为“TRACKED CONTROLLER DEVICE(跟踪的控制器装置)”的美国设计专利申请No.29/259,348(代理人档案号SCEA06010US00)；所有的这些通过完整的参考以此并入于此。
Gary Zalewski和Riley R.Russell在2006年5月8日提交的、题为“PROFILEDETECTION(轮廓检测)”的共同待决的美国专利申请NO.11/430,594(代理人档案号SCEA05059US00)的整个披露，通过参考并入于此。
Gary Zalewski和Riley R.Russell在2006年5月8日提交的、题为“USINGAUDIO/VISUAL ENVIRONMENT TO SELECT ADS ON GAME PLATFORM(使用音频/视觉环境以在游戏平台上选择广告)”的共同待决的美国专利申请NO.11/430,593(代理人档案号SCEAJP 3.0-003 CIP V)的整个披露，通过参考并入于此。
Larsen和Chen在2006年4月10日提交的、题为“SYSTEMAND METHODFOR OBTAINING USER INFORMATION FROM VOICES(用于从声音获得用户信息的系统和方法)”的共同待决的美国专利申请No.11/400,997(代理人档案号SCEA05040US00)的整个披露，通过参考并入于此。
Gary Zalewski等人在2006年5月8日提交的、题为“METHOD ANDAPPARATUS FOR USE IN DETERMINING LACK OF USER ACTIVITYINRELATION TOASYSTEM(用于确定与系统有关的用户行为的缺少的方法和设备)”的共同待决的美国专利申请NO.11/382,259(代理人档案号86327)的整个披露，通过参考并入于此。
Gary Zalewski等人在2006年5月8日提交的、题为“METHOD ANAPPARATUS FOR USE IN DETERMINING AN ACTIVITY LEVEL OF A USER INRELATION TO A SYSTEM(用于确定与系统有关的用户行为的行为水平的方法和设备)”的共同待决的美国专利申请NO.11/382,258(代理人档案号86328)的整个披露，通过参考并入于此。
Gary Zalewski等人在2006年5月8日提交的、题为“HAND-HELDCONTROLLER HAVING DETECTABLEELEMENTS FOR TRACKINGPURPOSES(具有用于跟踪目的的可检测元件的手持控制器)”的共同待决的美国专利申请NO.11/382,251(代理人档案号86329)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“TRACKING DEVICE FOR USE INOBTAINING INFORMATION FOR CONTROLLING GAME PROGRAMEXECUTION(用于获得控制游戏程序执行的信息的跟踪装置)”的共同待决的美国专利申请NO.11/382,252(代理人档案号SCEA06INRT3)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“TRACKING DEVICE WITH SOUNDEMITTER FOR USE IN OBTAINING INFORMATION FOR CONTROLLINGGAME PROGRAM EXECUTION(用于获得控制游戏程序执行的信息的具有声音发射器的跟踪装置)”的共同待决的美国专利申请NO.11/382,256(代理人档案号SCEA06ACRA2)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“OBTAINING INPUT FOR CONTROLLINGEXECUTION OF A GAME PROGRAM(获得控制游戏程序执行的输入)”的共同待决的美国专利申请NO.11/382,250(代理人档案号SCEA0 6COMB)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“VIDEO GAME CONTROLLER FRONTFACE(正面的视频游戏控制器)”的共同待决的美国设计专利申请NO.29/246,744(代理人档案号SCEACTR-D3)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“VIDEO GAME CONTROLLER(视频游戏控制器)”的共同待决的美国设计专利申请NO.29/246,743(代理人档案号SCEACTRL-D2)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“VIDEO GAME CONTROLLER(视频游戏控制器)”的共同待决的美国设计专利申请NO.29/246,767(代理人档案号SONYP059A)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“VIDEO GAME CONTROLLER(视频游戏控制器)”的共同待决的美国设计专利申请NO.29/246,768(代理人档案号SONYP059B)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“ERGONOMIC GAME CONTROLLERDEVICE WITH LEDS AND OPTICAL PORTS(具有LED和光端口的人机控制的游戏控制器)”的共同待决的美国设计专利申请NO.29/246,763(代理人档案号PA3760US)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“GAME CONTROLLER DEVICE WITHLEDS AND OPTICAL PORTS(具有LED和光端口的游戏控制器装置)”的共同待决的美国设计专利申请NO.29/246,759(代理人档案号PA3761US)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“DESIGN FOR OPTICAL GAMECONTROLLER INTERFACE(用于光游戏控制器接口的设计)”的共同待决的美国设计专利申请NO.29/246,765(代理人档案号PA3762US)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“DUAL GRIP GAME CONTROLLERDEVICE WITH LEDS AND OPTICAL PORTS(具有LED和光端口的双重手柄游戏控制器装置)”的共同待决的美国设计专利申请NO.29/246,766(代理人档案号PA3763US)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“GAME INTERFACE DEVICE WITHLEDSAND OPTICAL PORTS(具有LED和光端口的游戏接口装置)”的共同待决的美国设计专利申请NO.29/246,764(代理人档案号PA3764US)的整个披露，通过参考并入于此。
在2006年5月8日提交的、题为“ERGONOMIC GAME INTERFACE DEVICEWITHLEDS AND OPTICALPORTS(具有LED和光端口的人机控制的游戏接口装置)”的共同待决的美国设计专利申请NO.29/246,762(代理人档案号PA3765US)的整个披露，通过参考并入于此。
尽管依靠本发明的特定实施例和应用已经描述了在此揭露的本发明，但是本领域技术人员在此可以进行多种修改和变型，而不偏离权利要求书所阐述的本发明的范围。

Claims (19)

1.一种用于从对象获得输入数据的方法，包括：
用图像捕获装置捕获该对象的活动图像；
从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息；
利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像；
比较该对象的活动图像与该对象的旋转参考图像；以及，
响应于该活动图像匹配该旋转参考图像而产生指示。
2.依照权利要求1所述的方法，其中，除该图像捕获装置之外的一个或多个传感器包括在该对象中的回转仪传感器。
3.依照权利要求1所述的方法，其中，除该图像捕获装置之外的一个或多个传感器包括在该对象中的加速计。
4.依照权利要求1所述的方法，其中，通过从存储装置中检索该对象的旋转参考图像来获得该对象的旋转参考图像。
5.依照权利要求1所述的方法，其中，通过旋转该对象的参考图像来获得该对象的旋转参考图像。
6.依照权利要求1所述的方法，进一步包括：
通过标准化滤波器滤波该对象的活动图像和该对象的旋转参考图像。
7.依照权利要求1所述的方法，其中该图像捕获装置包括摄像机。
8.依照权利要求1所述的方法，其中该图像捕获装置包括Z-摄像机。
9.依照权利要求1所述的方法，其中该对象包括手持控制器。
10.依照权利要求1所述的方法，其中，与该对象的倾斜角有关的信息用来获得该对象的多个旋转参考图像，并且，该对象的活动图像与该对象的多个旋转参考图像的每一个进行比较。
11.一种用于从对象中获得输入数据的设备，包括：
图像捕获装置，配置为捕获对象的活动图像；以及
基于处理器的系统，配置为从除该图像捕获装置之外的一个或多个传感器接收与该对象的倾斜角有关的信息，利用与该对象的倾斜角有关的信息获得该对象的至少一个旋转参考图像，比较该对象的活动图像与该对象的旋转参考图像，以及，响应于该活动图像匹配该旋转参考图像而产生指示。
12.依照权利要求11所述的设备，其中，除该图像捕获装置之外的一个或多个传感器包括在该对象中的回转仪传感器。
13.依照权利要求11所述的设备，其中，除该图像捕获装置之外的一个或多个传感器包括在该对象中的加速计。
14.依照权利要求11所述的设备，其中，通过从存储装置中检索对象的旋转参考图像来获得该对象的旋转参考图像。
15.依照权利要求11所述的设备，其中，通过旋转该对象的参考图像来获得该对象的旋转参考图像。
16.依照权利要求11所述的设备，其中，基于处理器的系统进一步配置为通过标准化滤波器滤波该对象的活动图像和该对象的旋转参考图像。
17.依照权利要求11所述的设备，其中，该图像捕获装置包括摄像机。
18.依照权利要求11所述的设备，其中，该对象包括手持控制器。
19.依照权利要求11所述的设备，其中，与该对象的倾斜角有关的信息用来获得该对象的多个旋转参考图像，并且，该对象的活动图像与该对象的多个旋转参考图像的每一个进行比较。
CN2008800008453A 2007-08-16 2008-08-14 利用与倾斜角信息相结合的视频输入的对象检测 Active CN101548547B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/840,170 US8781151B2 (en) 2006-09-28 2007-08-16 Object detection using video input combined with tilt angle information
US11/840,170 2007-08-16
PCT/US2008/073196 WO2009023786A1 (en) 2007-08-16 2008-08-14 Object detection using video input combined with tilt angle information

Publications (2)

Publication Number Publication Date
CN101548547A CN101548547A (zh) 2009-09-30
CN101548547B true CN101548547B (zh) 2011-10-26

Family

ID=40351794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800008453A Active CN101548547B (zh) 2007-08-16 2008-08-14 利用与倾斜角信息相结合的视频输入的对象检测

Country Status (6)

Country Link
US (1) US8781151B2 (zh)
EP (1) EP2177029B1 (zh)
JP (1) JP5204224B2 (zh)
KR (1) KR101036403B1 (zh)
CN (1) CN101548547B (zh)
WO (1) WO2009023786A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513421A (zh) * 2012-06-29 2014-01-15 索尼电脑娱乐公司 影像处理装置、影像处理方法及影像处理系统

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
CN101688789B (zh) * 2007-07-03 2011-08-03 Nxp股份有限公司 传感器系统
US8669938B2 (en) * 2007-11-20 2014-03-11 Naturalpoint, Inc. Approach for offset motion-based control of a computer
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP5537044B2 (ja) * 2008-05-30 2014-07-02 キヤノン株式会社 画像表示装置及びその制御方法、コンピュータプログラム
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
US20090305785A1 (en) * 2008-06-06 2009-12-10 Microsoft Corporation Gesture controlled game screen navigation
US8159455B2 (en) * 2008-07-18 2012-04-17 Apple Inc. Methods and apparatus for processing combinations of kinematical inputs
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US9251407B2 (en) * 2008-09-04 2016-02-02 Northrop Grumman Systems Corporation Security system utilizing gesture recognition
EP2352078B1 (en) * 2008-10-01 2022-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, information recording medium, and program
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics
JP5582629B2 (ja) 2008-10-16 2014-09-03 任天堂株式会社 情報処理装置および情報処理プログラム
US8576169B2 (en) * 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
JP5430123B2 (ja) * 2008-10-30 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US8515707B2 (en) * 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
GB2467951A (en) * 2009-02-20 2010-08-25 Sony Comp Entertainment Europe Detecting orientation of a controller from an image of the controller captured with a camera
US8854379B2 (en) * 2009-02-25 2014-10-07 Empire Technology Development Llc Routing across multicore networks using real world or modeled data
US9524085B2 (en) 2009-05-21 2016-12-20 Sony Interactive Entertainment Inc. Hand-held device with ancillary touch activated transformation of active element
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
KR100954882B1 (ko) * 2009-06-17 2010-04-28 주식회사 바이오리더스 조류 인플루엔자 바이러스 감염억제 효과를 가지는 신규 유산균 및 이를 포함하는 조성물
DE102009037316A1 (de) * 2009-08-14 2011-02-17 Karl Storz Gmbh & Co. Kg Steuerung und Verfahren zum Betreiben einer Operationsleuchte
JP5463790B2 (ja) * 2009-08-18 2014-04-09 ソニー株式会社 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
CA2776877C (en) * 2009-10-06 2017-07-18 Leonard Rudy Dueckman A method and an apparatus for controlling a machine using motion based signals and inputs
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
JP5448073B2 (ja) * 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
WO2011085548A1 (zh) * 2010-01-13 2011-07-21 北京视博数字电视科技有限公司 一种光标控制方法和系统
US8872889B2 (en) 2010-01-14 2014-10-28 Innovmetric Logiciels Inc. Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device
KR101005620B1 (ko) * 2010-03-19 2011-01-05 하이브모션 주식회사 광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치
CN102822770B (zh) 2010-03-26 2016-08-17 惠普发展公司，有限责任合伙企业 关联文件
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US9118832B2 (en) 2010-08-17 2015-08-25 Nokia Technologies Oy Input method
JP2012040209A (ja) * 2010-08-19 2012-03-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5256265B2 (ja) * 2010-09-17 2013-08-07 株式会社ソニー・コンピュータエンタテインメント コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体
US8957909B2 (en) * 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8419541B2 (en) * 2010-11-17 2013-04-16 Sony Computer Entertainment Inc. Smart shell to a game controller
DE102012208748B4 (de) * 2011-06-21 2023-07-13 International Business Machines Corporation Verfahren und System zur Fernsteuerung von Funktionen eines Mauszeigers einer Rechnereinheit
KR101920473B1 (ko) * 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US20130113704A1 (en) * 2011-11-04 2013-05-09 The Regents Of The University Of California Data fusion and mutual calibration for a sensor network and a vision system
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US10488948B2 (en) * 2012-03-14 2019-11-26 Texas Instruments Incorporated Enabling physical controls on an illuminated surface
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
TWI546702B (zh) * 2012-03-27 2016-08-21 富智康（香港）有限公司 輸入模擬方法及系統
TWI511547B (zh) * 2012-04-10 2015-12-01 Acer Inc 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
CN104620203A (zh) 2012-09-06 2015-05-13 英特飞斯公司 交互式显示系统中的绝对与相对定位传感器融合
US9171015B2 (en) 2012-09-14 2015-10-27 At&T Intellectual Property I, L.P. Sharing asserted media
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
US9690392B2 (en) * 2012-10-15 2017-06-27 Sony Corporation Operating device including a touch sensor
BR122020014826B1 (pt) 2012-10-15 2022-03-15 Sony Computer Entertainment Inc Dispositivo de operação de jogos eletrônicos
CN104781762A (zh) * 2012-11-06 2015-07-15 索尼电脑娱乐公司 信息处理装置
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
AU2013365772B2 (en) 2012-12-19 2017-08-10 Basf Se Detector for optically detecting at least one object
ES2492165B1 (es) * 2013-02-08 2015-04-07 Universidad De Zaragoza Sistema y método para la identificación y control de objetos en un espacio delimitado y uso en la creación de videojuegos híbridos
CN105452895B (zh) 2013-06-13 2018-12-18 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
JP6440696B2 (ja) 2013-06-13 2018-12-19 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体の方位を光学的に検出する検出器
EP3008757A1 (en) * 2013-06-13 2016-04-20 Basf Se Optical detector and method for manufacturing the same
WO2015024870A1 (en) 2013-08-19 2015-02-26 Basf Se Detector for determining a position of at least one object
AU2014310703B2 (en) 2013-08-19 2018-09-27 Basf Se Optical detector
CN103677446A (zh) * 2013-11-14 2014-03-26 乐视致新电子科技（天津）有限公司 显示设备、摄像式触控方法及装置
KR102397527B1 (ko) 2014-07-08 2022-05-13 바스프 에스이 하나 이상의 물체의 위치를 결정하기 위한 검출기
JP6578006B2 (ja) 2014-09-29 2019-09-18 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１個の物体の位置を光学的に求めるための検出器
US11125880B2 (en) 2014-12-09 2021-09-21 Basf Se Optical detector
US9855497B2 (en) * 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
CN107438775B (zh) 2015-01-30 2022-01-21 特里纳米克斯股份有限公司 用于至少一个对象的光学检测的检测器
US10456685B2 (en) * 2015-04-14 2019-10-29 Nintendo Co., Ltd. Identifying and tracking objects via lighting patterns
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
KR102539263B1 (ko) 2015-09-14 2023-06-05 트리나미엑스 게엠베하 적어도 하나의 물체의 적어도 하나의 이미지를 기록하는 카메라
US20170199586A1 (en) * 2016-01-08 2017-07-13 16Lab Inc. Gesture control method for interacting with a mobile or wearable device utilizing novel approach to formatting and interpreting orientation data
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
JP2019523562A (ja) 2016-07-29 2019-08-22 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学的検出のための光センサおよび検出器
KR101806797B1 (ko) * 2016-08-03 2017-12-08 주식회사 골프존 자세측정센서를 이용한 자세 측정 방법 및 장치
CN206178668U (zh) * 2016-09-21 2017-05-17 北京诺亦腾科技有限公司 用于虚拟现实的动作捕捉装置
CN109891265B (zh) 2016-10-25 2023-12-01 特里纳米克斯股份有限公司 用于光学检测至少一个对象的检测器
WO2018077870A1 (en) 2016-10-25 2018-05-03 Trinamix Gmbh Nfrared optical detector with integrated filter
EP3542183A1 (en) 2016-11-17 2019-09-25 trinamiX GmbH Detector for optically detecting at least one object
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
US10768721B2 (en) 2017-01-17 2020-09-08 Hewlett-Packard Development Company, L.P. Model controller
US10467456B2 (en) * 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
WO2018193045A1 (en) 2017-04-20 2018-10-25 Trinamix Gmbh Optical detector
WO2018194638A1 (en) 2017-04-21 2018-10-25 Hewlett-Packard Development Company, L.P. Determining orientation of a trackball
CN110998223B (zh) 2017-06-26 2021-10-29 特里纳米克斯股份有限公司 用于确定至少一个对像的位置的检测器
US10755422B2 (en) * 2017-07-24 2020-08-25 Htc Corporation Tracking system and method thereof
EP3474120B1 (de) * 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
TWI636381B (zh) * 2017-10-19 2018-09-21 財團法人工業技術研究院 互動顯示系統及互動顯示控制方法
CN109696658B (zh) * 2017-10-23 2021-08-24 京东方科技集团股份有限公司 采集设备、声音采集方法、声源跟踪系统及其方法
JP6736606B2 (ja) * 2017-11-01 2020-08-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作信号提供方法
JP6682079B2 (ja) * 2017-11-01 2020-04-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および信号変換方法
EP3724597A4 (en) * 2017-12-17 2021-10-06 AP Robotics, LLC MULTI-DIMENSIONAL MEASURING SYSTEM FOR THE EXACT CALCULATION OF THE POSITION AND ALIGNMENT OF A DYNAMIC OBJECT
US10521030B2 (en) * 2018-01-10 2019-12-31 Microsoft Technology Licensing, Llc Transforming a control stick movement space
US10878245B2 (en) * 2018-05-30 2020-12-29 Logitech Europe S.A. Video content activity regions
US20200089335A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
US10912995B2 (en) * 2018-10-09 2021-02-09 Ivan Mauricio Buritica Suarez System and method for emulating an electronic game to play in a physical gaming environment
CN113423479A (zh) * 2018-10-19 2021-09-21 击盒有限责任公司 人体工程学游戏控制器和系统
CN110597350B (zh) * 2019-10-22 2021-07-30 深圳市道通智能航空技术股份有限公司 一种摇杆校准方法、装置及遥控装置
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
JP7132314B2 (ja) * 2020-12-08 2022-09-06 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、及びビデオゲーム処理システム
US11941184B2 (en) * 2021-05-18 2024-03-26 Snap Inc. Dynamic initialization of 3DOF AR tracking system
CN114949845A (zh) * 2022-05-31 2022-08-30 广州市品众电子科技有限公司 一种游戏手柄的方向调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498628B2 (en) * 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
CN1672120A (zh) * 2002-07-27 2005-09-21 索尼电脑娱乐公司 使用可变形装置的人机接口
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备

Family Cites Families (509)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3270564A (en) * 1964-05-18 1966-09-06 James W Evans Athletic swing measurement system
US3561272A (en) * 1968-12-20 1971-02-09 Grady B Davis Speed indicator for clubs, bats and the like
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
JPS54134564U (zh) * 1978-03-08 1979-09-18
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US4363484A (en) * 1980-11-19 1982-12-14 Marvin Glass & Associates Electronic table tennis game apparatus
US4469330A (en) 1982-01-07 1984-09-04 Atari, Inc. Controller unit for video game
US4683891A (en) * 1982-04-26 1987-08-04 Vincent Cornellier Biomonitoring stress management method and device
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) * 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
GB2169812B (en) * 1985-01-23 1988-10-12 Keith Edgar Shepherd Improvements relating to exercising apparatus
US5195179A (en) * 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) * 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
US4739128A (en) 1986-11-10 1988-04-19 American Telephone And Telegraph Company, At&T Bell Laboratories Thumb-controlled, hand-held joystick
US4796019A (en) * 1987-02-19 1989-01-03 Rca Licensing Corporation Input device for a display system
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) * 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
JP2978496B2 (ja) * 1988-10-17 1999-11-15 株式会社日立製作所 画像処理装置
DE3840643A1 (de) 1988-12-02 1990-06-07 Nokia Unterhaltungselektronik Fernbedienungsgeber zur abstrahlung von steuerbefehlen
EP0449889A4 (en) 1988-12-20 1992-12-02 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH03126477A (ja) * 1989-10-11 1991-05-29 Maruman Golf Corp スイング分析装置
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5214615A (en) * 1990-02-26 1993-05-25 Will Bauer Three-dimensional displacement of a body with computer interface
US5440326A (en) * 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5128671A (en) * 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
CA2081910C (en) 1990-05-01 2000-04-25 Donald E. Drumm Hands-free hardware keyboard
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5046739A (en) 1990-10-31 1991-09-10 Dynasound Organizer, Inc. Ergonomic handle for game controller
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6692359B1 (en) 1991-02-15 2004-02-17 America Online, Inc. Method of interfacing on a computer network by visual representations of users, method of interacting and computer network
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US6069594A (en) * 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
GB9117015D0 (en) * 1991-08-07 1991-09-18 Software Solutions Ltd Operation of computer systems
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
JP3089104B2 (ja) * 1992-06-19 2000-09-18 株式会社日立製作所 移動平均フィルタ、及びこれを用いたａ／ｄ変換器
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
USD345994S (en) 1992-08-31 1994-04-12 Shen-Yueh Shian Joystick console for video game
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5435554A (en) * 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH07284166A (ja) 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US5404305A (en) * 1993-11-17 1995-04-04 United Technologies Corporation Control of pilot control station authority for a dual piloted flight control system
US5454980A (en) * 1993-12-13 1995-10-03 Xerox Corporation Method of making bubble and foreign particle free electrically conductive polyurethanes
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US5412619A (en) 1994-04-14 1995-05-02 Bauer; Will Three-dimensional displacement of a body with computer interface
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP3628358B2 (ja) 1994-05-09 2005-03-09 株式会社ソニー・コンピュータエンタテインメント ゲーム機用コントローラ
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US6004134A (en) 1994-05-19 1999-12-21 Exos, Inc. Interactive simulation including force feedback
US5570113A (en) * 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) * 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
US5796387A (en) 1994-08-16 1998-08-18 Smith Engineering Positioning system using infrared radiation
SE504846C2 (sv) * 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
US5659335A (en) 1994-11-14 1997-08-19 Lucent Technologies Inc. Computing interface system
CN2211084Y (zh) * 1994-11-15 1995-10-25 郑秋豪 可分离的电视游戏机键盘
WO1996017324A1 (fr) 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) * 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
CN1067482C (zh) 1995-05-10 2001-06-20 任天堂株式会社 带有模拟操纵杆的操作装置
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JP3869005B2 (ja) 1995-06-22 2007-01-17 ３ディブイ・システムズ・リミテッド テレセントリック立体カメラと方法
US5724106A (en) 1995-07-17 1998-03-03 Gateway 2000, Inc. Hand held remote control device with trigger button
US6668244B1 (en) 1995-07-21 2003-12-23 Quartet Technology, Inc. Method and means of voice control of a computer, including its mouse and keyboard
CN1154910C (zh) 1995-07-26 2004-06-23 蒂吉通信系统公司 压缩键盘的明义系统
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
JPH09167050A (ja) * 1995-10-09 1997-06-24 Nintendo Co Ltd 操作装置およびそれを用いる画像処理システム
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US5626140A (en) 1995-11-01 1997-05-06 Spacelabs Medical, Inc. System and method of multi-sensor fusion of physiological measurements
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US6639581B1 (en) 1995-11-17 2003-10-28 Immersion Corporation Flexure mechanism for interface device
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
JP3014313B2 (ja) 1995-12-25 2000-02-28 富士通テン株式会社 エアバッグの衝突判別装置
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
US5991693A (en) * 1996-02-23 1999-11-23 Mindcraft Technologies, Inc. Wireless I/O apparatus and method of computer-assisted instruction
US5963145A (en) * 1996-02-26 1999-10-05 Universal Electronics Inc. System for providing wireless pointer control
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
CN100352532C (zh) 1996-03-05 2007-12-05 世嘉企业股份有限公司 操作输入装置和电子装置
EP0895696B1 (en) 1996-04-02 2004-01-14 Cognex Corporation Image formation apparatus for viewing indicia on a planar specular substrate
US5889505A (en) * 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
USD380238S (en) 1996-04-16 1997-06-24 Tyler Kelly D Control pad
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
WO1998001824A1 (fr) * 1996-07-04 1998-01-15 Sega Enterprises, Ltd. Processeur d'images, jeux video, procede d'affichage d'images et support d'enregistrement
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6146278A (en) * 1997-01-10 2000-11-14 Konami Co., Ltd. Shooting video game machine
JP4120017B2 (ja) * 1997-01-30 2008-07-16 株式会社セガ 入力装置およびゲーム処理装置、その方法
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6747632B2 (en) 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
WO1998039790A1 (en) 1997-03-07 1998-09-11 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP2001501348A (ja) 1997-07-29 2001-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元シーンの再構成方法と、対応する再構成装置および復号化システム
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6162123A (en) * 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6324296B1 (en) 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
EP1717682B1 (en) 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6697043B1 (en) 1999-12-21 2004-02-24 Immersion Corporation Haptic interface device and actuator assembly providing linear haptic sensations
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
IL127569A0 (en) 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
JP2000123186A (ja) 1998-10-14 2000-04-28 Canon Inc 被写体認識装置
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
JP2000132305A (ja) 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
JP2000140420A (ja) 1998-11-13 2000-05-23 Aruze Corp ゲーム機用コントローラ
US7260221B1 (en) 1998-11-16 2007-08-21 Beepcard Ltd. Personal communicator authentication
US6712703B2 (en) 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6173610B1 (en) * 1998-12-23 2001-01-16 Robert L. Pace Sports swing impact speed indicator
JP4612194B2 (ja) 1998-12-23 2011-01-12 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
JP3688489B2 (ja) 1998-12-25 2005-08-31 株式会社東芝 画像認識方法および画像認識装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
JP2000259340A (ja) 1999-03-12 2000-09-22 Sony Corp 入力装置および方法、入力システム、並びに提供媒体
US6441745B1 (en) * 1999-03-22 2002-08-27 Cassen L. Gates Golf club swing path, speed and grip pressure monitor
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6203432B1 (en) * 1999-05-11 2001-03-20 Madcatz, Inc. System for adjusting the response characteristic of an electronic game input device
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6545661B1 (en) 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6766036B1 (en) 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
AU5911900A (en) 1999-07-09 2001-01-30 Eastern Virginia Medical School Method and apparatus for encouraging physiological self-regulation through modulation of an operators control input to a video game or training simulator
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
KR20020032595A (ko) 1999-09-17 2002-05-03 기타무라 가즈코 촬영시스템, 화상처리장치 및 카메라
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6811491B1 (en) * 1999-10-08 2004-11-02 Gary Levenberg Interactive video game controller adapter
US6699123B2 (en) 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US20010024973A1 (en) * 1999-12-10 2001-09-27 Christopher Meredith Laser light sword
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
JP2000333942A (ja) * 2000-01-01 2000-12-05 Toshiba Corp Ｘ線診断装置
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
WO2001061519A1 (en) 2000-02-15 2001-08-23 Sorceron, Inc. Method and system for distributing captured motion data over a network
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US7240093B1 (en) 2000-02-29 2007-07-03 Microsoft Corporation Use of online messaging to facilitate selection of participants in game play
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6352516B1 (en) 2000-03-27 2002-03-05 San Diego State University Foundation Fatigue monitoring device and method
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6338485B1 (en) 2000-04-09 2002-01-15 John D. Huettlinger Strap device for use with a video game controller
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
US6489948B1 (en) 2000-04-20 2002-12-03 Benny Chi Wah Lau Computer mouse having multiple cursor positioning inputs and method of operation
JP2001320582A (ja) * 2000-05-12 2001-11-16 Minolta Co Ltd 画像処理装置および方法
US20020010655A1 (en) 2000-05-25 2002-01-24 Realitybuy, Inc. Real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
US8287374B2 (en) 2000-07-07 2012-10-16 Pryor Timothy R Reconfigurable control displays for games, toys, and other applications
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6873747B2 (en) 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP2002058874A (ja) * 2000-08-15 2002-02-26 Mitsumi Electric Co Ltd コントロールアダプタ装置
AUPQ952400A0 (en) 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
AU2002248131A1 (en) 2000-09-08 2002-08-12 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
US7182691B1 (en) 2000-09-28 2007-02-27 Immersion Corporation Directional inertial tactile feedback using rotating masses
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP4027031B2 (ja) 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
JP4689812B2 (ja) 2000-11-17 2011-05-25 富士通コンポーネント株式会社 ワイヤレスマウス
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US20020083461A1 (en) 2000-11-22 2002-06-27 Hutcheson Stewart Douglas Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6933979B2 (en) 2000-12-13 2005-08-23 International Business Machines Corporation Method and system for range sensing of objects in proximity to a display
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
WO2002050753A1 (en) 2000-12-20 2002-06-27 Ar Vision Inc. Method for making simulator program and simulator system using the method
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
DE10100617A1 (de) 2001-01-09 2002-07-18 Siemens Ag Steuerbare Anordnung mit Benutzerauthentisierung
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US6749510B2 (en) 2001-02-07 2004-06-15 Wms Gaming Inc. Centralized gaming system with modifiable remote display terminals
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
JP2002306846A (ja) 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2002320773A (ja) 2001-04-25 2002-11-05 Pacific Century Cyberworks Japan Co Ltd ゲーム装置及びその制御方法及び記録媒体及びプログラム及び携帯電話器
US20020171625A1 (en) 2001-05-15 2002-11-21 Jona Group, Ltd. Pistol-grip trackball mouse
US20020171622A1 (en) 2001-05-16 2002-11-21 Yao-Sheng Shen Method for increasing resolution of mouse movement on screen
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
US7909696B2 (en) 2001-08-09 2011-03-22 Igt Game interaction in 3-D gaming environments
JP3470119B2 (ja) 2002-02-14 2003-11-25 コナミ株式会社 コントローラ、コントローラの姿勢遠隔測定装置及びビデオゲーム装置
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6847351B2 (en) 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
WO2003017045A2 (en) 2001-08-16 2003-02-27 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US20030034961A1 (en) 2001-08-17 2003-02-20 Chi-Lei Kao Input system and method for coordinate and pattern
US6544124B2 (en) 2001-08-29 2003-04-08 Radica China Ltd. Handheld steering wheel game controller
US6595642B2 (en) 2001-08-31 2003-07-22 Adaptive Optics Associates, Inc. Ophthalmic instrument having Hartmann wavefront sensor with extended source
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
US6846238B2 (en) 2001-09-28 2005-01-25 Igt Wireless game player
US6501258B1 (en) * 2001-09-28 2002-12-31 The United States Of America As Represented By The Secretary Of The Navy Optical spatial frequency measurement
US20030064712A1 (en) 2001-09-28 2003-04-03 Jason Gaston Interactive real world event system via computer networks
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
JP2003135851A (ja) 2001-10-31 2003-05-13 Konami Computer Entertainment Yokyo Inc ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
JP3824260B2 (ja) 2001-11-13 2006-09-20 任天堂株式会社 ゲームシステム
JP4010533B2 (ja) 2001-11-20 2007-11-21 任天堂株式会社 ゲーム機、電子機器、および省電力モード管理プログラム
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US6724368B2 (en) 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US7023475B2 (en) 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US7198568B2 (en) 2002-05-01 2007-04-03 Nintendo Co., Ltd. Game machine and game program for changing the movement of one character based on the movement of another character
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US20040023736A1 (en) 2002-07-18 2004-02-05 Cardinale Ronald S. Training device and method of training a batter
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7970147B2 (en) * 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20070260517A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US20060264260A1 (en) * 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) * 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070261077A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8160269B2 (en) * 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7815507B2 (en) 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
GB2392286B (en) 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063502A1 (en) 2002-09-24 2004-04-01 Intec, Inc. Power module
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
JP3887819B2 (ja) 2002-10-11 2007-02-28 株式会社セガ コンピュータプログラム
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US20040104891A1 (en) 2002-11-25 2004-06-03 Frank Sacca Intertial pointer for electronic displays
WO2004052483A1 (en) 2002-12-10 2004-06-24 Nokia Corporation Method and device for continuing an electronic multi-player game, in case of an absence of a player of said game
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7352428B2 (en) 2003-02-21 2008-04-01 Xtellus Inc. Liquid crystal cell platform
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4906239B2 (ja) 2003-04-16 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 通信装置、ゲーム機および通信方法
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7233316B2 (en) 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US8493326B2 (en) 2003-05-09 2013-07-23 Microsoft Corporation Controller with removably attachable text input device
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
DE60308342T2 (de) 2003-06-17 2007-09-06 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Sprachaktivitätsdetektion
US20040266528A1 (en) * 2003-06-27 2004-12-30 Xiaoling Wang Apparatus and a method for more realistic video games on computers or similar devices using visible or invisible light and a light sensing device
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US20050009605A1 (en) 2003-07-11 2005-01-13 Rosenberg Steven T. Image-based control of video games
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US20060166738A1 (en) * 2003-09-08 2006-07-27 Smartswing, Inc. Method and system for golf swing analysis and training for putters
US20050054457A1 (en) 2003-09-08 2005-03-10 Smartswing, Inc. Method and system for golf swing analysis and training
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8064730B2 (en) * 2003-09-22 2011-11-22 Asml Netherlands B.V. Device manufacturing method, orientation determination method and lithographic apparatus
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
DE602004020505D1 (de) 2003-10-28 2009-05-20 Welch Allyn Inc Digitales dokumentier-ophthalmoskop
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US20060025229A1 (en) * 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US7463774B2 (en) 2004-01-07 2008-12-09 Microsoft Corporation Global localization by fast image matching
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US20050162384A1 (en) 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US20050215320A1 (en) 2004-03-25 2005-09-29 Koay Ban K Optical game controller
DE602004014901D1 (de) 2004-04-29 2008-08-21 Mitsubishi Electric Corp Adaptive Quantisierung einer Tiefenkarte
DE202005022038U1 (de) 2004-04-30 2012-07-12 Hillcrest Laboratories, Inc. Freiraum-Zeigevorrichtungen mit Neigungskompensation und verbesserter Benutzbarkeit
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
US7686692B2 (en) 2004-05-10 2010-03-30 Sony Computer Entertainment Inc. Pattern codes used for interactive control of computer applications and video game applications
JP4779070B2 (ja) 2004-05-11 2011-09-21 新世代株式会社 エンターテインメント装置及びその動作方法
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US8179366B2 (en) 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US20060143571A1 (en) 2004-12-29 2006-06-29 Wilson Chan Multiple mouse cursors for use within a viewable area for a computer
WO2006073936A2 (en) * 2005-01-04 2006-07-13 Qmotions, Inc. Baseball simulation device
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
JP4914019B2 (ja) 2005-04-06 2012-04-11 キヤノン株式会社 位置姿勢計測方法及び装置
ATE491503T1 (de) 2005-05-05 2011-01-15 Sony Computer Entertainment Inc Videospielsteuerung mittels joystick
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
EP1967942A1 (en) 2005-10-26 2008-09-10 Sony Computer Entertainment America, Inc. System and method for interfacing and computer program
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
DK1993687T3 (da) 2006-02-10 2012-08-27 Ippasa Llc Konfigurerbart manuelt styreapparat
US9327191B2 (en) 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
US8814641B2 (en) * 2006-05-08 2014-08-26 Nintendo Co., Ltd. System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
US20070287084A1 (en) * 2006-06-07 2007-12-13 Mark Thomas Bellino Light Sensitive Organic Photoconductor
JP5030482B2 (ja) 2006-06-20 2012-09-19 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8096880B2 (en) 2006-08-15 2012-01-17 Nintendo Co., Ltd. Systems and methods for reducing jitter associated with a control device
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498628B2 (en) * 1998-10-13 2002-12-24 Sony Corporation Motion sensing interface
CN1672120A (zh) * 2002-07-27 2005-09-21 索尼电脑娱乐公司 使用可变形装置的人机接口
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513421A (zh) * 2012-06-29 2014-01-15 索尼电脑娱乐公司 影像处理装置、影像处理方法及影像处理系统
US9123158B2 (en) 2012-06-29 2015-09-01 Sony Corporation Image processing device, image processing method, and image processing system
US9311754B2 (en) 2012-06-29 2016-04-12 Sony Corporation Image processing device, image processing method, and image processing system
CN103513421B (zh) * 2012-06-29 2016-09-07 索尼电脑娱乐公司 影像处理装置、影像处理方法及影像处理系统
US9684173B2 (en) 2012-06-29 2017-06-20 Sony Corporation Image processing device, image processing method, and image processing system

Also Published As

Publication number Publication date
CN101548547A (zh) 2009-09-30
US8781151B2 (en) 2014-07-15
KR101036403B1 (ko) 2011-05-23
JP2010531520A (ja) 2010-09-24
EP2177029A4 (en) 2012-07-25
EP2177029A1 (en) 2010-04-21
KR20090053845A (ko) 2009-05-27
US20080080789A1 (en) 2008-04-03
WO2009023786A1 (en) 2009-02-19
EP2177029B1 (en) 2018-03-28
JP5204224B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
CN101548547B (zh) 利用与倾斜角信息相结合的视频输入的对象检测
US7854655B2 (en) Obtaining input for controlling execution of a game program
CN102989174B (zh) 获得用于控制游戏程序的运行的输入
US8427426B2 (en) Remote input device
US7850526B2 (en) System for tracking user manipulations within an environment
US8723794B2 (en) Remote input device
US7918733B2 (en) Multi-input game control mixer
US8570378B2 (en) Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9381424B2 (en) Scheme for translating movements of a hand-held controller into inputs for a system
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US9174119B2 (en) Controller for providing inputs to control execution of a program when inputs are combined
US20060264260A1 (en) Detectable and trackable hand-held controller
US20060287087A1 (en) Method for mapping movements of a hand-held controller to game commands
CN101484221A (zh) 获得用于控制游戏程序的运行的输入
USRE48417E1 (en) Object direction using video input combined with tilt angle information
WO2007130791A2 (en) Multi-input game control mixer
KR101020510B1 (ko) 다중 입력 게임 제어 믹서
EP1852164A2 (en) Obtaining input for controlling execution of a game program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant