CN102301315A - 姿势识别器系统架构 - Google Patents
姿势识别器系统架构 Download PDFInfo
- Publication number
- CN102301315A CN102301315A CN201080006415XA CN201080006415A CN102301315A CN 102301315 A CN102301315 A CN 102301315A CN 201080006415X A CN201080006415X A CN 201080006415XA CN 201080006415 A CN201080006415 A CN 201080006415A CN 102301315 A CN102301315 A CN 102301315A
- Authority
- CN
- China
- Prior art keywords
- posture
- user
- parameter
- filtrator
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
公开了用于姿势识别器系统架构的系统、方法和计算机可读介质。提供了识别器引擎,识别器引擎接收用户运动数据并将该数据提供给多个过滤器。过滤器对应于姿势,过滤器然后可由从姿势识别器接收信息的应用来调谐,使得可以按每应用的水平或单个应用内多次地设置姿势的具体参数—例如投掷姿势的手臂加速度。每个过滤器可向使用该过滤器的应用输出发生了对应的姿势的置信度水平,以及关于用户运动数据的进一步细节。
Description
发明背景
诸如计算机游戏、多媒体应用、办公应用等的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用,例如,控制器、遥控器、键盘、鼠标等等,来输入这样的控制。不幸的是,这些控制可能是难以学习的,由此造成了用户和这些游戏及应用之间的障碍。此外,这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。例如,使得游戏角色挥动棒球拍的游戏控制可能不与挥动棒球拍的实际动作相对应。
发明概述
这里公开了用于接收反映用户的骨架移动的数据以及从该数据确定用户是否已经执行了一个或多个姿势的系统和方法。公开了姿势识别器系统架构,从中应用开发者可将姿势识别结合在他们的应用中。
在一实施例中,识别器引擎包括基础识别器引擎和至少一个过滤器。过滤器包括关于姿势的信息并可包括至少一个对应的参数。识别器引擎向应用提供过滤器并从该应用接收指定关于该姿势将如何被识别器引擎识别的细节的至少一个参数。
识别器引擎从相机接收一系列图像数据。该相机可包括彩色相机(如红-绿-蓝,即RGB)、深度相机、以及三维(3D)相机。该数据可包括分开的深度图像和彩色图像、结合了深度和色彩信息的组合的图像、或其中标识了诸如被骨架映射的人之类的对象的经解析的图像。该数据捕捉由至少一个用户作出的运动或姿态。基于该图像数据,分析器引擎能够解析用户意图传达的姿势。识别器引擎检测用户已经传达了姿势的可能性,且用户已经满足了与应用的该姿势相关联的默认的或应用确定的任何参数。识别器引擎然后发送这已对应用发生的置信度水平。在发送该置信度水平时,识别器引擎还可向应用发送用户如何传达该姿势的细节供应用进一步处理。
以上是概述,并且因此必然包含细节的简化、一般化及省略。本领域技术人员将明白,本概述只是说明性的并且决不旨在是限制性的。
附图简述
参考附图来进一步描述根据本说明书的用于姿势识别器系统架构的系统、方法和计算机可读介质,在附图中:
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施例。
图4A示出了从图2的目标识别、分析和跟踪系统生成的用户的骨架映射。
图4B示出了图2所示的姿势识别器架构的进一步细节。
图5A和5B示出了可如何堆叠姿势过滤器来创建更复杂的姿势过滤器。
图6A、6B、6C、6D和6E示出了用户502在美式足球视频游戏中可以作出的用以发出“安全接球”(fair catch)的信号的示例姿势。
图7A、7B、7C、7D和7E示出了在解析了图像数据的每一帧来产生用户的骨架映射时图5的示例“安全接球”姿势。
图8示出了用于使用姿势识别器架构来向至少一个应用提供姿势的示例性操作过程。
说明性实施例的详细描述
如本文中将描述的,用户可通过执行一个或多个姿势来控制在诸如游戏控制台、计算机等计算环境上执行的应用。根据一个实施例,姿势可由例如捕捉设备来接收。例如,捕捉设备可捕捉场景的深度图像。在一个实施例中,捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。为了确定场景中的目标或对象是否对应于人类目标,可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每一目标或对象来生成与其相关联的骨架模型。该骨架模型然后可被提供给计算环境,使得计算环境可跟踪该骨架模型,呈现与该骨架模型相关联的化身,以及可基于例如用户的已经从该骨架模型中识别出的姿势来确定要在计算环境上执行的应用中执行那些控制。姿势识别器引擎(其架构在下文中更完整地描述)被用于确定用户何时做出了某一姿势。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中,目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示,目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例,计算环境12可包括硬件组件和/或软件组件,使得计算环境12可用于执行诸如游戏应用、非游戏应用等的应用。
如图1A所示,目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机,该相机可用于在视觉上监视诸如用户18等一个或多个用户,以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势,以执行应用中的一个或多个控制或动作,如将在下面更详细地描述的。
根据一个实施例,目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16,如电视机、监视器、高清电视机(HDTV)等。例如,计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器,这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号,然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例,视听设备16可经由例如,S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示,目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如,可使用捕捉设备20来跟踪用户18,以使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而,根据一个实施例,用户18可移动他或她的身体来控制应用。
如图1A和1B所示,在一示例实施例中,在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如,计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24的视觉表示。例如,如图1B所示,用户18可在物理空间中挥重拳来使得玩家化身24在游戏空间中挥重拳。因此,根据一示例实施例,目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳,从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。
用户18的其他移动也可被解释为其他控制或动作,诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外,某些移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如,玩家可以使用运动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。
在各示例实施例中,诸如用户18等的人类目标可具有一物体。在这些实施例中,电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如,可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中,可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例,目标识别、分析和跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如,事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例,捕捉设备20可被配置成经由任何合适的技术,包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频,该深度信息可包括深度值。根据一实施例,捕捉设备20可将所计算的深度信息组织为“Z层”,或可与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示,捕捉设备20可包括图像相机组件22。根据一个示例实施例,图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维(2-D)像素区域,其中2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为单位)表示来自相机的被捕捉的场景中的对象的长度。
如图2所示,根据一示例实施例,图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如,在飞行时间分析中,捕捉设备20的IR光组件24可以将红外光发射到场景上,然后,可以使用传感器(未示出),用例如3-D相机26和/或RGB相机28,来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中,可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外,在其他示例实施例中,可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的距离。
根据另一示例实施例,可使用飞行时间分析,通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中,捕捉设备20可使用结构化光来捕捉深度信息。在该分析中,图案化光(即,被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时,作为响应,图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉,然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一实施例,捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分离的相机,以获取可以被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例,话筒30可以被用来减少目标识别、分析和跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外,话筒30可用于接收也可由用户提供的音频信号,以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中,捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等,这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34,该存储器组件34可以存储可以由处理器32执行的指令,由3-D相机或RGB相机捕捉到的图像或图像的帧,或任何其他合适的信息、图像等等。根据一个示例实施例,存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示,在一个实施例中,存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例,存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示,捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例,计算环境12可以向捕捉设备20提供时钟,可以使用该时钟来通过通信链路36确定何时捕捉,例如,场景。
另外,捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像,以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如识别用户姿势以及作为响应来控制诸如游戏或文字处理程序等应用。例如,如图2所示,计算环境12可包括姿势识别器引擎190。姿势识别器引擎190可包括姿势过滤器集合,每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可将由相机26、28和设备20捕捉的骨架模型形式的数据以及与其相关联的移动同姿势识别器引擎190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此,计算环境12可使用姿势识别器引擎190来解释骨架模型的移动并基于该移动来控制应用。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3A所示,多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数,由此改进处理速度和吞吐量。CPU101可以设置成具有一个以上的内核,以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据,以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112,诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如,因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供了介质驱动器144,其可以包括DVD/CD驱动器、硬盘驱动器,或其他可移动介质驱动器等等。介质驱动器144可以是多媒体控制台100内部或外部的。应用数据可经由介质驱动器144访问,以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连,包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例,这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时,应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中,介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放,以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中,多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而,随着通过网络接口124或无线适配器148可用的宽带连接的集成,多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时,可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如,16MB)、CPU和GPU周期的保留量(诸如,5%)、网络带宽的保留量(诸如,8kbs),等等。因为这些资源是在系统引导时间保留的,所保留的资源对于应用视角而言是不存在的。
具体地,存储器保留较佳地足够大,以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定,使得若所保留的CPU用量不被系统应用使用,则空闲线程将消耗任何未使用的周期。
对于GPU保留,通过使用GPU中断来显示由系统应用生成的轻量消息(例如,弹出窗口),以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小,并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下,优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率,从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后,就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行,以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时,则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如,静音、衰减)。
输入设备(例如,控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源,但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换,而无需知晓游戏应用的知识,并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势计算环境220的另一示例实施例,该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例,并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中,所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如,本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中,术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中,实施者可以编写体现逻辑的源代码,且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步,因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地,本领域技术人员可以明白软件进程可被变换成等价的硬件结构,而硬件结构本身可被变换成等价的软件进程。因此,对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图3B中,计算环境220包括计算机241,其通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程,它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限,图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238,对可移动、非易失性磁盘254进行读写的磁盘驱动器239,以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常通过诸如接口234等不可移动存储器接口连接至系统总线221,并且磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中,例如,硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意,这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同,也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号,以说明至少它们是不同的副本。用户可以通过输入设备,诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫),向计算机241输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259,但也可以由其他接口和总线结构,诸如并行端口、游戏端口或通用串行总线(USB),来连接。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过接口,诸如视频接口232,连接至系统总线221。除监视器以外,计算机也可以包括其他外围输出设备,诸如扬声器244和打印机243,它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机,诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点,且通常包括许多或所有以上相对于计算机241描述的元件,尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249,但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时,计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时,计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置或外置的,它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中,相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制,图3B示出了远程应用程序248驻留在存储器设备247上。可以理解,所示的网络连接是示例性的,且可以使用在计算机之间建立通信链路的其他手段。
图4A描绘了可从捕捉设备20生成的用户的示例骨架映射。在该实施例中,标识出各个关节和骨骼:每一手302、每一前臂304、每一肘306、每一二头肌308、每一肩310、每一髋312、每一大腿314、每一膝316、每一小腿318、每一足320、头322、躯干324、脊椎的顶部326和底部328,以及腰330。在跟踪更多点的情况下,可标识出附加的特征,比如手指或脚趾的骨骼和关节,或脸部的各个特征,如鼻和眼。
用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态,其可被捕捉为图像数据并解析其意义。姿势可以是动态的,包括运动,如模仿扔球。姿势可以是静态姿态,如在一个人的躯干324前面交叉握住他的前臂304。姿势也可结合道具,如通过挥动仿制的剑。姿势可包括多于一个身体部位,如拍双手302,或是较微小的运动,如撅起一个人的嘴唇。
姿势可用于一般计算上下文中的输入。例如,手302或其他身体部位的各种运动可对应于常见的系统级任务,如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如,对于驾驶游戏,手302和脚320的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。
用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。用户可另选地提起并放下每一腿312-320来在不移动的情况下模拟行走。系统可通过分析每一髋312和每一大腿314来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的,其中站立的腿具有0°的髋部-大腿角,而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时,可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后,系统可确定行走或奔跑姿势已停止。
给定“行走或奔跑”姿势,应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑,因为用户将快速地移动他的腿,而较慢的周期可对应于行走。
姿势最初可以与一组默认参数相关联,应用可用其自己的参数来覆盖该组默认参数。在这一场景中,不迫使应用提供参数,但是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。
有各种可以与姿势相关联的输出。可以有关于姿势是否正在发生的基线“是或否”。还可以有置信度水平,其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的应用中,它可仅使用具有高置信度水平,如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下,即使以假肯定为代价,它可使用至少具有低得多的置信度水平的姿势,如仅仅大于0.2的那些姿势。姿势可具有关于两个最近步之间的时间的输出,并且在仅注册了第一步的情况下,这可被设为保留值,如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。
另一示例性姿势是“脚跟提起跳”。在该姿势中,用户可通过将他的脚跟提离地面,但保持他的脚趾着地来创建该姿势。另选地,用户可跳向空中,其中他的脚320完全离开地面。该系统可通过分析肩310、髋312和膝316的角度关系来解析该姿势的骨架,以查看它们是否在等于直立的对齐位置。然后,可监视这些点和较高326和较低328脊椎点来发现任何向上加速。足够的加速组合可触发跳跃姿势。
给定该“脚跟提起跳”姿势,应用可为与该姿势相关联的参数设定值。参数可包括上述加速阈值,其确定用户的肩310、髋312和膝316的某种组合必须向上移动多快来触发该姿势;以及肩310、髋312和膝316之间仍可触发跳跃的最大对齐角。
输出可包括置信度水平,以及用户在跳跃时的身体角度。
基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。在姿势识别器系统太敏感、甚至手302的微小向前运动也被解释为投掷的情况下,用户可能变得沮丧,因为在他没有作出姿势的意图的情况下却识别出姿势,因此他缺乏对系统的控制。在姿势识别器系统不够敏感的情况下,系统可能未识别出用户作出投掷姿势的刻意尝试,从而类似地使用户感到沮丧。在敏感度范围的任一端,用户都会变得沮丧,因为他不能正确地向系统提供输入。
对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下,该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它,则这可要求用户伸展他的手臂302-310到全长同时作出抓握姿势。在这一情形中,用户仅部分地伸展他的手臂302-310的类似的抓握姿势可能无法达到与球交互的结果。
姿势或其一部分可具有它必须在其中发生的空间体来作为参数。在姿势包括身体移动的情况下,该空间体通常可相对于身体来表达。例如,对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩310a、且与投掷手臂302a-310a在头322的相同侧的空间体中识别。可能不必要定义空间体的所有边界,如对于该投掷姿势,其中从身体向外的边界留着不被定义,并且该空间体无限地向外延伸,或者延伸到正被监视的场景的边缘。
图4B提供了图2的姿势识别器引擎190的一个示例性实施例的进一步细节。如图所示,姿势识别器引擎190可包括至少一个过滤器418来确定一个或多个姿势。过滤器418包括定义姿势426(以下称为“姿势”)以及该姿势的参数428或元数据的信息。例如,包括一只手从身体背后越过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后越过身体前方的运动的信息的姿势426,该移动将由深度相机来捕捉。然后可为该姿势426设定参数428。在姿势426是投掷的情况下,参数428可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的,或相对于用户的整体大小)、以及识别器引擎对发生姿势的置信度评级。用于姿势426的这些参数428可以在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内随着时间变化。
过滤器可以是模块化的或是可互换的。在一个实施例中,过滤器具有多个输入,这些输入中的每一个具有一类型;以及多个输出,这些输出中的每一个具有一类型。在这一情形中,第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎体系结构的其他方面。例如,可以有用于驾驶的第一过滤器,该第一过滤器取骨架数据作为输入并输出与该过滤器相关联的姿势正在发生的置信度以及转向角。在希望用第二驾驶过滤器来替换该第一驾驶过滤器的情况下——这可能是因为第二驾驶过滤器更高效且需要更少的处理资源——则可以通过简单地用第二过滤器替换第一过滤器来这样做,只要第二过滤器具有相同的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。
过滤器不需要具有参数。例如,返回用户的高度的“用户高度”过滤器可能不允许任何可调节的参数。替换的“用户高度”过滤器可具有可调节参数,如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。
对过滤器的输入可包括诸如关于用户的关节位置的关节数据,像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。
上下文可以是文化上下文,并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来赋予显著不同的含义。例如,希望叫另一个用户“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的远端处。然而,对意大利用户而言,该姿势可被解释为对黑手党的引用。
类似地,在单个应用的不同环境之中可能有不同的上下文。取涉及操作摩托车的第一人称射击游戏。当用户在走路时,将手指朝向地面握拳并向前且从身体向外伸出拳头可表示重拳姿势。当用户在驾驶上下文中时,相同的运动可表示“换挡”姿势。可能还有一个或多个菜单环境,其中用户可保存他的游戏、在他的人物装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境中,该游戏姿势可具有第三个含义,如选择某样东西或前进到另一屏幕。
姿势识别器引擎190可具有向姿势过滤器418提供功能的基础识别器引擎416。在一实施例中,识别器引擎416实现的功能包括跟踪所识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知参数的马尔可夫过程—其中当前状态封装了确定将来状态所需的任何过去状态信息,因此不必为此目的而维护任何其它过去状态信息的过程,并且隐藏参数从可观察数据来确定)、以及求解姿势识别的特定实例所需的其他功能。
过滤器418在基础识别器引擎416之上加载并实现,并且可利用引擎416提供给所有过滤器418的服务。在一实施例中,基础识别器引擎416处理所接收到的数据来确定它是否满足任何过滤器418的要求。由于这些诸如解析输入等所提供的服务是由基础识别器引擎416一次性提供而非由每一过滤器418提供的,因此这一服务在一段时间内只需被处理一次而不是对该时间段对每一过滤器418处理一次,由此减少了确定姿势所需的处理。
应用可使用姿势识别器引擎190所提供的过滤器418,或者它可提供其自己的过滤器418,该过滤器被插入到基础识别器引擎416中。在一实施例中,所有过滤器418具有启用该插入特性的通用接口。此外,所有过滤器418可利用参数428,因此可使用如下所述的单个姿势工具来诊断并调节整个过滤器系统418。
这些参数428可由姿势工具420为应用或应用的上下文来调节。在一实施例中,姿势工具420包括多个滑块422以及身体424的图表示,每一滑块422对应于一参数428。当用相应的滑块422来调整参数428时,身体424可展示将用这些参数428被识别为姿势的动作以及使用这些参数428将不被识别为姿势的动作,如所标识的。姿势的参数428的这一可视化提供了调试并细化调节姿势的有效手段。
图5描绘了从堆叠的姿势或过滤器418创建的更复杂的姿势或过滤器418。姿势可堆叠在彼此之上。即,用户一次可表达多于一个的姿势。例如,并非在作出投掷姿势时不允许除了投掷之外的任何输入,或要求用户除了该姿势的分量之外保持不动(例如,在作出仅涉及一条手臂的投掷姿势时站着不动)。在姿势堆叠时,用户可同时作出跳跃姿势和投掷姿势,并且这两个姿势都将被姿势引擎识别出。
图5A描绘了根据堆叠范例的简单姿势过滤器418。I过滤器(IFilter)502是可在每一姿势过滤器中使用的基本过滤器418。I过滤器(IFilter)502取用户位置数据504,并输出姿势已发生的置信度水平506。它还将该位置数据504馈入方向盘(SteeringWheel)过滤器508,该过滤器508取该位置数据作为输入,并输出用户正在转向的角度(例如,向用户当前方向右侧40度)510。
图5B描绘了将过滤器418堆叠到图5A的姿势过滤器上的更复杂的姿势。除了I过滤器502和方向盘508之外,还存在I跟踪(ITracking)过滤器512,该过滤器从I过滤器502接收位置数据504,并输出用户通过姿势514所作出的进展量。I跟踪512还将位置数据504馈送到润滑油减轻(GreaseLightning)516和E刹车(Ebrake)518,这些是关于可在操作车辆时如使用紧急刹车作出的其他姿势的过滤器418。
图6描绘了用户602在美式足球视频游戏中可以作出的用以发出“安全接球”(fair catch)信号的示例姿势。这些图描绘了各个时间点的用户,其中图6A是第一时间点,而图6E是最后一个时间点。这些图中的每一个可对应于深度相机402捕捉的图像数据的一个快照或帧,但不必是连续的图像数据帧,因为深度相机402能够比用户可覆盖该距离更快地捕捉帧。例如,该姿势可在3秒的时间段内发生,并且在深度相机以每秒40帧来捕捉数据的情况下,在用户602作出该安全接球姿势时它将捕捉60个图像数据帧。
在图6A中,用户602以他的手臂604向下放于两侧开始。他然后将手臂举起超过肩膀,如图6B所描绘的,然后进一步向上到大约他的头部的水平,如图6C所描绘的。从那里,他将他的手臂604降下到肩膀水平,如图6D所描绘的,然后再一次将手臂举起到大约他的头部的水平,如图6E所描绘的。在系统捕捉用户602的这些位置而没有可发出该姿势被取消或正在作出另一姿势的信号的任何居间位置的情况下,可能会使得完全接球姿势过滤器输出用户602作出了完全接球姿势的高置信度水平。
图7描绘了在解析每一图像数据帧来产生用户的骨架映射时图5的示例“安全接球”姿势。该系统在从用户的深度图像产生了骨架映射之后,现在可确定用户的身体如何随时间而移动,并且可从中解析姿势。
在图7A中,用户的肩膀310在他的肘306上方,而肘306又在他的手302上方。肩310、肘306和手302然后在图7B中处于一致水平。系统然后在图7C中检测到手302在肘上方,而肘在肩310上方。在图7D中,用户返回到图7B的位置,其中肩310、肘306和手302处于一致水平。在该姿势的最终位置,图7E中示出,用户返回到图7C的位置,其中手302在肘上方,而肘在肩310上方。
尽管捕捉设备20捕捉了一系列静止图像,使得在任何一个图像中用户看似为静止的,但用户在执行该姿势的过程中在移动(而非如上所述的静止姿势)。该系统能够取每一静止图像中的该一系列姿态,并从中确定用户正在作出的移动姿势的置信度水平。
在执行姿势时,用户可能无法创建如他的右肩310a、右肘306a和右手302a所形成的角度,例如在140°和145°之间。因此,使用用于安全接球姿势426的过滤器418的应用可调谐相关联的参数428来最佳地服务于应用的细节。例如,图7C和7E中的位置可在用户将其手302放在其肩310上方的任何时刻被识别出,而不关注肘306的位置。更严格的一组参数可能要求手302在头310上方,并且肘306既在肩310上方又在头322和手302之间。另外,用于完全接球姿势426的参数428可能要求用户在诸如1.5秒等一段指定时间内从图7A的位置移动到图7E的位置,并且如果用户花费了多于1.5秒来移动通过这些位置,则它将不被识别为完全接球418,并且可输出非常低的置信度水平。
图8描绘了用于使用姿势识别器体系结构来向多个应用中的至少一个应用提供姿势的示例性操作过程。
操作802描绘了将表示姿势的过滤器提供给第一应用,该过滤器包括关于该姿势的基本信息。该姿势可包括各种各样的姿势。例如,它可以是蹲下、跳跃、倚靠、抓手过背摔、投掷、挥臂、躲避、踢和阻挡中的任一个。同样,该姿势可对应于用户界面的导航。例如,用户可手指向上指并且手指面向深度相机地保持他的手。他然后可以将手指朝向手掌收拢来形成拳头,并且这可以是指示基于窗口的用户界面计算环境中的焦点窗口应被关闭的姿势。
由于姿势可用于指示从化身应重拳出击到窗口应被关闭的任何内容,因此从视频游戏到文本编辑器的各种各样的应用可利用姿势。
姿势可被一起分组到可能由该风格中的应用使用的互补姿势风格包中。互补姿势—或者如通常一起使用的那些姿势中那样是互补的,或者如一个姿势的参数改变将改变另一姿势的参数中那样是互补的—被一起分组到风格包中。这些包被提供给应用,应用可选择至少其中一个。应用可调节或修改姿势的参数来最佳地适合应用的独特方面。当调节该参数时,也调节该姿势或第二姿势的第二互补参数(在相互依赖的意义上)使得这些参数保持互补。用于视频游戏的风格包可包括诸如第一人称射击、动作、驾驶和体育等风格。
参数可基于应用所在的上下文来变化。为此,应用可将多个值赋予姿势的参数,每一值对应于一不同的上下文。如上所讨论的,该上下文可以是文化上下文或环境上下文。
在一实施例中,应用提供姿势识别器引擎使用的姿势。在该实施例中,在每一姿势包括公共输入和输出的情况下,应用可提供遵守这些约定的姿势,并通过商定的协议将该姿势传递给识别器引擎。
操作804描绘了接收由捕捉设备20捕捉的数据,如上所述,该数据对应于第一应用。该数据可对应于第一应用是因为它是为其生成输入的当前活动的应用。
操作806描绘了将过滤器应用于数据并从关于姿势的基本信息中确定输出。在一实施例中,输出包括已经执行对应于过滤器的姿势的置信度水平。该置信度水平可被输出一次,或者它可响应于所接收的数据来连续地输出。在一实施例中,这包括确定独立于任何参数的、用户以满足姿势的任何要求(如手在头上方)的方式移动的置信度水平。在一实施例中,该输出可包括关于是否发生了对应于过滤器的姿势的布尔判定。
在过滤器包括参数的情况下,该参数可以是阈值,如手臂速度大于X。它可以是绝对值,如手臂速度等于X。可以有容错,如手臂速度等于X的Y内。它还可以包括范围,如手臂速度大于或等于X但小于Z。从所接收的数据中,可确定应用于参数的数据的特性,然后将其与参数的要求进行比较。
在一实施例中,用户还使用他的语音来做出、扩大、区分或阐明姿势。在该实施例中,操作806包括接收语音数据并确定数据和该语音数据的组合是否指示了姿势。例如,用户能够通过打开并关闭他的嘴来作出唱歌姿势,但还可通过唱出音符来指定该唱歌姿势的特定音符。另外,用户能够通过在作出另外的“常规重拳”姿势的同时喊叫来作出与“常规重拳”姿势相对的“有力重拳”姿势。
在一实施例中,姿势可包括多个姿势。例如,用户可作出对应于移到其侧面并同时卸下他的火炮的运动。在该实施例中,限制用户在移动时不得卸下火炮可能是不令人赞成的,因此检测到用户同时作出的多个姿势。
操作808描绘了向第一应用发送置信度水平。在一实施例中,这可包括向该应用发送发生姿势的时间或时间段。在另一实施例中,在应用需要时间信息的情况下,应用可使用接收到该姿势已发生的指示的时间来作为该时间信息。在一实施例中,该操作包括向该应用发送关于该姿势的特性的信息,如移动速度、释放点、距离、以及作出该姿势的身体部位。例如,给定棒球视频游戏,其中投手可按50mph和105mph(包含端点)之间的任何整数速度投掷,且该速度基于用户在作出该姿势时的最大手臂速度,为这56个可能的速度中的每一个定义一组单独的参数可能是麻烦的。相反,可向应用给予姿势已发生的指示以及用户的最大手臂速度,然后应用可使用内部逻辑来确定对应的投手应多快地投掷。
可任选操作810描绘了从第一应用接收至少一个参数的值,并且其中从关于姿势的基本信息以及每一参数中确定置信度水平包括从参数的值中确定置信度水平。参数可包括姿势的各种各样特性中的任一个,如身体部位、空间量、速度、移动方向、角度、以及移动发生的地方。
在一实施例中,参数的值由应用的最终用户通过作出姿势来确定。例如,应用可允许用户训练它,使得用户能够指定他认为姿势应包括什么运动。这对于允许没有对其运动技能的良好控制的用户能够将他能作出的运动与对应的姿势相链接是有益的。如果这不可用,则用户可能变得沮丧,因为他无法使其身体以应用所需的方式移动来产生姿势。
在其中存在互补姿势—具有相互关系的参数的多个姿势—的实施例中,从应用接收参数的值可包括用该值来设置参数,以及基于该值来设置互补姿势的互补参数。例如,可以决定以特定方式投掷美式足球的用户可能也以特定方式投掷棒球。因此,在确定特定参数应以特定方式设置的情况下,可基于如何设置该第一参数来设置其他互补参数。
这可能不需要是给定参数的相同值,或甚至跨各姿势的相同类型的参数。例如,情况可以是当美式足球投掷必须以前向手臂速度X m/s(米/秒)来作出时,美式足球接球必须以手距离躯干至少Y m(米)距离来作出。
操作812描绘了从第二应用接收表示姿势的第二过滤器的至少一个参数的第二值的操作,该第二过滤器包括关于该姿势的基本信息,该第二值不同于从第一应用接收到的值;接收由相机捕捉的第二数据;将第二过滤器应用于第二数据并从关于姿势的基本信息以及第二过滤器的每一参数中确定第二数据指示姿势被执行的置信度水平;以及向第二应用发送该置信度水平。
每一应用或应用内的上下文可指定其自己的对于单个姿势的参数,并且姿势识别器190将对每一应用的细节作出响应。例如,一个第一人称射击者可能需要演示开火姿势,因为弹药是有限的,或者秘密在游戏中起主要作用,而开火产生大噪声。然而,第二个第一人称射击者可允许用于开火的小得多的运动,因为演示运动太接近该游戏为重拳运动所定义的运动。
可任选操作814描绘了响应于接收到由捕捉设备捕捉的指示选自下组的一项的数据来用第二值设置参数的可任选操作:第一用户的疲劳增加、第一用户的能力增加、以及第二用户替代第一用户,其中从应用接收参数的值包括用该值来设置参数,并且接收由捕捉设备捕捉的数据包括从第一用户接收数据。
用户作出来传达姿势的运动或姿态可随着时间改变,并且这可创建上下文的改变。例如,用户可能变得疲劳并且不再跳得像他在其会话开始时那样高来传达跳跃姿势。并且,用户可通过实践来变得更擅长作出与姿势相关联的运动或姿态,因此对参数的可接受的变化可减小,以使两个不同姿势较不可能被一组运动或姿态识别。应用还可能希望在用户变得更熟练时给予用户更具挑战性的体验,以便不失去其注意力。在另一实施例中,应用可给予用户对姿势的更精细控制或给予用户更多姿势来使用。例如,网球视频游戏的初学者可能仅关注将球击过网,而不对其施加任何旋转。然而,随着网球应用检测到用户正在进步,它可介绍或识别除了标准击球之外的用于上旋或下旋的姿势。
并且,第二用户可替代第一用户作为提供输入的人,并且第二用户可具有显著不同的传达姿势的方式。在一实施例中,可解析所接收的深度图像来确定第二用户在传达姿势的场景中。在一实施例中,可以有用户可用于向应用指示的保留姿势。并且,识别器引擎可通过作出来传达姿势的运动或姿态的改变来确定第二用户的存在。
当确定了这些改变时,每一改变可如上下文的改变那样来对待,并且可鉴于此相应地改变参数。
操作816描绘了以下可任选操作:改变上下文;接收由相机捕捉的指示用户的第一姿势正被执行的第二数据;从第二数据中确定由第二过滤器表示的第二姿势正被执行的置信度水平大于来自第二数据的由过滤器所表示的姿势正被执行的置信度水平。
在不同的上下文中,用户作出的一个运动或姿态可对应于不同姿势。例如,在搏斗游戏中,当处于游戏的搏斗模式时,用户可在其躯干前方交叉前臂。在该搏斗上下文中,这可对应于“格挡攻击”姿势。然而,如果用户暂停该游戏并进入菜单屏幕,则该菜单屏幕包括不同的上下文。在该菜单屏幕上下文中,相同的交叉前臂可对应于“退出菜单屏幕”姿势。
结论
尽管已经结合各附图所示的较佳方面描述了本发明,但要理解,可使用其他相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。因此,本发明不应该仅限于任何单个方面,而是应该在根据所附权利要求书的广度和范围内解释。例如,本文描述的各种过程可用硬件或软件、或两者的组合来实现。因此,所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即,指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时,该机器变为被配置成实施所公开的各实施例的装置。除了此处明确阐述的具体实现之外,考虑此处所公开的说明书,其他方面和实现将对本领域的技术人员是显而易见的。说明书和所示实现旨在仅被认为是示例。
Claims (15)
1.一种用于提供对用户向第一应用作出的姿势的识别的方法,包括:
将表示姿势的过滤器提供给第一应用,所述过滤器包括关于该姿势的基本信息(802);
接收由相机捕捉的数据,所述数据对应于所述第一应用(804);
将所述过滤器应用于所述数据并从关于所述姿势的所述基本信息中确定输出(806);以及
向所述第一应用发送所述输出(808)。
2.如权利要求1所述的方法,其特征在于,一过滤器包括关于所述姿势的至少一个参数,所述方法还包括:
从所述第一应用接收用于所述至少一个参数的值;以及
从关于所述姿势的基本信息和每个参数确定所述输出包括:从所述参数的值确定所述输出。
3.如权利要求2所述的方法,其特征在于,还包括:
从第二应用接收表示所述姿势的第二过滤器的至少一个参数的第二值,所述第二过滤器包括关于所述姿势的所述基本信息,所述第二值不同于从所述第一应用接收到的值;
接收由相机捕捉的第二数据;
将所述第二过滤器应用于所述第二数据并从关于所述姿势的所述基本信息以及所述第二过滤器的每个参数确定输出;以及
向所述第二应用发送所述输出。
4.如权利要求2所述的方法,其特征在于,从所述第一应用接收用于所述至少一个参数的值包括用所述值设置每个参数,接收由相机捕捉的数据包括从第一用户接收数据,所述方法还包括:
响应于接收到由深度相机捕捉的指示选自下组的一项的数据来用第二值设置每个参数:第一用户的疲劳中的变化、第一用户的能力中的变化、以及第二用户替代第一用户。
5.如权利要求2所述的方法,其特征在于,每个参数的值由所述应用的最终用户通过作出身体运动或作出身体姿态来确定。
6.如权利要求2所述的方法,其特征在于,一参数是选自下组中的一个:身体部位、空间体、速度、移动方向、角度、以及移动发生的场所。
7.如权利要求1所述的方法,其特征在于,所述输出包括所述数据指示所述姿势正被执行的置信度水平。
8.如权利要求1所述的方法,其特征在于,由相机捕捉的所述数据指示用户的第一姿势正被执行,所述第一应用具有上下文,所述输出包括所述姿势正被执行的置信度水平,所述方法还包括:
改变上下文;
接收由相机捕捉的指示用户的第一姿势正被执行的第二数据;
从所述第二数据中确定由第二过滤器表示的第二姿势正被执行的置信度水平大于来自所述第二数据的由所述过滤器所表示的姿势正被执行的置信度水平。
9.如权利要求1所述的方法,其特征在于,关于所述姿势的所述基本信息具有多个上下文,关于所述姿势的所述基本信息的每个上下文的参数是唯一的。
10.一种用于向应用提供姿势库的系统,包括:
处理器(101);
包括表示姿势的至少一个过滤器的姿势库(12),所述过滤器包括关于所述姿势的基本信息,过滤器能被添加到姿势库或从姿势库中移除;以及
姿势识别器引擎(190),所述姿势识别器引擎接收由相机捕捉的对应于所述应用的数据,从关于所述姿势的所述基本信息确定输出,以及向所述应用发送所述输出。
11.如权利要求10所述的系统,其特征在于,过滤器包括至少一个参数,所述至少一个参数的值是从所述应用确定的,所述姿势识别器引擎还:
从所述参数的值确定所述输出。
12.如权利要求11所述的系统,其特征在于,过滤器包括至少一个参数,所述过滤器是多个互补过滤器之一,所述姿势库还:
用所述值设置至少一个参数;以及
基于所述值设置互补过滤器的至少一个互补参数。
13.如权利要求10所述的系统,其特征在于,还包括:
接收语音数据的语音接收器;以及
所述姿势识别器引擎还基于所述语音数据确定所述输出。
14.如权利要求10所述的系统,其特征在于,所述姿势识别器引擎还:
向所述应用发送从以下组中选出的至少一个:移动速度、释放点、距离、以及作出该姿势的身体部位。
15.如权利要求10所述的系统,其特征在于,所述姿势识别器引擎还:
向所述应用发送多个输出,每个输出对应于多个过滤器中的一过滤器。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14886609P | 2009-01-30 | 2009-01-30 | |
US61/148,866 | 2009-01-30 | ||
US12/422,661 | 2009-04-13 | ||
US12/422,661 US7996793B2 (en) | 2009-01-30 | 2009-04-13 | Gesture recognizer system architecture |
PCT/US2010/020797 WO2010088035A2 (en) | 2009-01-30 | 2010-01-12 | Gesture recognizer system architecture |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102301315A true CN102301315A (zh) | 2011-12-28 |
CN102301315B CN102301315B (zh) | 2014-12-24 |
Family
ID=42396278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080006415.XA Active CN102301315B (zh) | 2009-01-30 | 2010-01-12 | 姿势识别器系统架构 |
Country Status (3)
Country | Link |
---|---|
US (5) | US7996793B2 (zh) |
CN (1) | CN102301315B (zh) |
WO (1) | WO2010088035A2 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102981615A (zh) * | 2012-11-05 | 2013-03-20 | 瑞声声学科技(深圳)有限公司 | 手势识别装置及识别方法 |
CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
CN104115099A (zh) * | 2012-02-13 | 2014-10-22 | 高通股份有限公司 | 取决于参与的手势辨识 |
CN106104423A (zh) * | 2014-03-12 | 2016-11-09 | 微软技术许可有限责任公司 | 姿势参数调节 |
CN106104424A (zh) * | 2014-03-15 | 2016-11-09 | 微软技术许可有限责任公司 | 可训练的基于传感器的姿势识别 |
CN107734385A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 视频播放方法、装置及电子装置 |
Families Citing this family (198)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US20110256914A1 (en) * | 2005-07-25 | 2011-10-20 | Ahdoot Ned M | Interactive games with prediction and plan with assisted learning method |
US8588464B2 (en) * | 2007-01-12 | 2013-11-19 | International Business Machines Corporation | Assisting a vision-impaired user with navigation based on a 3D captured image stream |
US8295542B2 (en) | 2007-01-12 | 2012-10-23 | International Business Machines Corporation | Adjusting a consumer experience based on a 3D captured image stream of a consumer response |
US8269834B2 (en) | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
US8427424B2 (en) | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
US8565476B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US8565477B2 (en) * | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8682608B2 (en) * | 2009-05-27 | 2014-03-25 | Panasonic Corporation | Behavior recognition apparatus |
US9019201B2 (en) * | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
EP4053760A1 (en) | 2010-04-09 | 2022-09-07 | Zoll Medical Corporation | Systems and methods for ems device communications interface |
WO2011146070A1 (en) * | 2010-05-21 | 2011-11-24 | Hewlett-Packard Development Company, L.P. | System and method for reporting data in a computer vision system |
US9060136B1 (en) | 2010-06-14 | 2015-06-16 | Open Invention Network, Llc | Advanced gameplay system |
KR20120024247A (ko) * | 2010-09-06 | 2012-03-14 | 삼성전자주식회사 | 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치 |
EP2635952B1 (en) | 2010-11-01 | 2021-01-06 | InterDigital CE Patent Holdings | Method and device for detecting gesture inputs |
KR101731346B1 (ko) * | 2010-11-12 | 2017-04-28 | 엘지전자 주식회사 | 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치 |
US20120131513A1 (en) * | 2010-11-19 | 2012-05-24 | Microsoft Corporation | Gesture Recognition Training |
US8647202B2 (en) * | 2010-12-16 | 2014-02-11 | Microsoft Corporation | Companion object customization |
US8385596B2 (en) * | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
JP5718632B2 (ja) * | 2010-12-22 | 2015-05-13 | 綜合警備保障株式会社 | 部位認識装置、部位認識方法、及び部位認識プログラム |
US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
KR101800182B1 (ko) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | 가상 객체 제어 장치 및 방법 |
US9069459B2 (en) | 2011-05-03 | 2015-06-30 | Microsoft Technology Licensing, Llc | Multi-threaded conditional processing of user interactions for gesture processing using rendering thread or gesture processing thread based on threshold latency |
US10509466B1 (en) | 2011-05-11 | 2019-12-17 | Snap Inc. | Headwear with computer and optical element for use therewith and systems utilizing same |
US8740702B2 (en) * | 2011-05-31 | 2014-06-03 | Microsoft Corporation | Action trigger gesturing |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US10007330B2 (en) | 2011-06-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Region of interest segmentation |
WO2013028908A1 (en) * | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
US20130077820A1 (en) * | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
CN103105926A (zh) * | 2011-10-17 | 2013-05-15 | 微软公司 | 多传感器姿势识别 |
US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
US9782680B2 (en) | 2011-12-09 | 2017-10-10 | Futurewei Technologies, Inc. | Persistent customized social media environment |
WO2013103410A1 (en) | 2012-01-05 | 2013-07-11 | California Institute Of Technology | Imaging surround systems for touch-free display control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US9600169B2 (en) * | 2012-02-27 | 2017-03-21 | Yahoo! Inc. | Customizable gestures for mobile devices |
JP2015517134A (ja) * | 2012-03-05 | 2015-06-18 | マイクロソフト コーポレーション | 光フォールオフに基づく奥行き画像の生成 |
US9619036B2 (en) * | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
US9323985B2 (en) * | 2012-08-16 | 2016-04-26 | Microchip Technology Incorporated | Automatic gesture recognition for a sensor system |
US9823745B1 (en) | 2012-08-30 | 2017-11-21 | Atheer, Inc. | Method and apparatus for selectively presenting content |
US10147232B2 (en) | 2012-08-30 | 2018-12-04 | Atheer, Inc. | Method and apparatus for selectively presenting content |
TWI496090B (zh) | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
US20150255005A1 (en) * | 2012-09-12 | 2015-09-10 | National Institute Of Advanced Industrial Science And Technology | Movement evaluation device and program therefor |
WO2014052802A2 (en) | 2012-09-28 | 2014-04-03 | Zoll Medical Corporation | Systems and methods for three-dimensional interaction monitoring in an ems environment |
CN103777748A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种体感输入方法及装置 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
AU2013204965B2 (en) | 2012-11-12 | 2016-07-28 | C2 Systems Limited | A system, method, computer program and data signal for the registration, monitoring and control of machines and devices |
US10289204B2 (en) | 2012-11-15 | 2019-05-14 | Quantum Interface, Llc | Apparatuses for controlling electrical devices and software programs and methods for making and using same |
US10503359B2 (en) | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
US8944914B2 (en) | 2012-12-11 | 2015-02-03 | PNI Sensor Corporation | Control of translational movement and field of view of a character within a virtual world as rendered on a display |
US9733713B2 (en) * | 2012-12-26 | 2017-08-15 | Futurewei Technologies, Inc. | Laser beam based gesture control interface for mobile devices |
US9530213B2 (en) | 2013-01-02 | 2016-12-27 | California Institute Of Technology | Single-sensor system for extracting depth information from image blur |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9292936B2 (en) * | 2013-01-09 | 2016-03-22 | Omiimii Ltd. | Method and apparatus for determining location |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10042510B2 (en) | 2013-01-15 | 2018-08-07 | Leap Motion, Inc. | Dynamic user interactions for display control and measuring degree of completeness of user gestures |
US9785228B2 (en) * | 2013-02-11 | 2017-10-10 | Microsoft Technology Licensing, Llc | Detecting natural user-input engagement |
US10134267B2 (en) | 2013-02-22 | 2018-11-20 | Universal City Studios Llc | System and method for tracking a passive wand and actuating an effect based on a detected wand path |
US9275277B2 (en) * | 2013-02-22 | 2016-03-01 | Kaiser Foundation Hospitals | Using a combination of 2D and 3D image data to determine hand features information |
US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
US9519351B2 (en) | 2013-03-08 | 2016-12-13 | Google Inc. | Providing a gesture-based interface |
US20140258943A1 (en) * | 2013-03-08 | 2014-09-11 | Google Inc. | Providing events responsive to spatial gestures |
CN105210084B (zh) * | 2013-03-15 | 2019-03-12 | 耐克创新有限合伙公司 | 来自运动表现的图像数据的反馈信号 |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
US10439972B1 (en) | 2013-05-30 | 2019-10-08 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
CN105307737A (zh) | 2013-06-14 | 2016-02-03 | 洲际大品牌有限责任公司 | 互动视频游戏 |
WO2014204330A1 (en) * | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
US20140368537A1 (en) | 2013-06-18 | 2014-12-18 | Tom G. Salter | Shared and private holographic objects |
US9846526B2 (en) * | 2013-06-28 | 2017-12-19 | Verizon and Redbox Digital Entertainment Services, LLC | Multi-user collaboration tracking methods and systems |
US20150325148A1 (en) * | 2013-07-16 | 2015-11-12 | I.M.Lab Inc. | Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP6749837B2 (ja) * | 2013-10-01 | 2020-09-02 | クアンタム インターフェイス エルエルシー | アクティブセンシング領域を有する動きセンサによる方法とシステム |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP6255954B2 (ja) * | 2013-12-03 | 2018-01-10 | 富士通株式会社 | 動作入力装置、動作入力プログラム及び動作入力方法 |
US9463379B1 (en) | 2013-12-17 | 2016-10-11 | Thinkwell Group | Ride vehicle mounted interactive game system |
US9227141B2 (en) * | 2013-12-31 | 2016-01-05 | Microsoft Technology Licensing, Llc | Touch screen game controller |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US10586570B2 (en) | 2014-02-05 | 2020-03-10 | Snap Inc. | Real time video processing for changing proportions of an object in the video |
CN103914149B (zh) * | 2014-04-01 | 2017-02-08 | 复旦大学 | 一种面向互动电视的手势交互方法和系统 |
US9276886B1 (en) | 2014-05-09 | 2016-03-01 | Snapchat, Inc. | Apparatus and method for dynamically configuring application component tiles |
US10207193B2 (en) | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
US9429398B2 (en) | 2014-05-21 | 2016-08-30 | Universal City Studios Llc | Optical tracking for controlling pyrotechnic show elements |
US10025990B2 (en) | 2014-05-21 | 2018-07-17 | Universal City Studios Llc | System and method for tracking vehicles in parking structures and intersections |
US9600999B2 (en) | 2014-05-21 | 2017-03-21 | Universal City Studios Llc | Amusement park element tracking system |
US9616350B2 (en) | 2014-05-21 | 2017-04-11 | Universal City Studios Llc | Enhanced interactivity in an amusement park environment using passive tracking elements |
US10061058B2 (en) | 2014-05-21 | 2018-08-28 | Universal City Studios Llc | Tracking system and method for use in surveying amusement park equipment |
US9433870B2 (en) | 2014-05-21 | 2016-09-06 | Universal City Studios Llc | Ride vehicle tracking and control system using passive tracking elements |
US9537811B2 (en) | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
US9396354B1 (en) | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
WO2015188011A1 (en) | 2014-06-04 | 2015-12-10 | Quantum Interface, Llc. | Dynamic environment for object and attribute display and interaction |
US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
JP2016038889A (ja) | 2014-08-08 | 2016-03-22 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | モーション感知を伴う拡張現実 |
US10238979B2 (en) | 2014-09-26 | 2019-03-26 | Universal City Sudios LLC | Video game ride |
US10263967B2 (en) | 2015-09-01 | 2019-04-16 | Quantum Interface, Llc | Apparatuses, systems and methods for constructing unique identifiers |
US10788948B2 (en) | 2018-03-07 | 2020-09-29 | Quantum Interface, Llc | Systems, apparatuses, interfaces and implementing methods for displaying and manipulating temporal or sequential objects |
US11205075B2 (en) | 2018-01-10 | 2021-12-21 | Quantum Interface, Llc | Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same |
US10775996B2 (en) | 2014-11-26 | 2020-09-15 | Snap Inc. | Hybridization of voice notes and calling |
US9385983B1 (en) | 2014-12-19 | 2016-07-05 | Snapchat, Inc. | Gallery of messages from individuals with a shared interest |
US10311916B2 (en) | 2014-12-19 | 2019-06-04 | Snap Inc. | Gallery of videos set to an audio time line |
US9977565B2 (en) | 2015-02-09 | 2018-05-22 | Leapfrog Enterprises, Inc. | Interactive educational system with light emitting controller |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
US10156721B2 (en) | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
US10616239B2 (en) | 2015-03-18 | 2020-04-07 | Snap Inc. | Geo-fence authorization provisioning |
US9668217B1 (en) | 2015-05-14 | 2017-05-30 | Snap Inc. | Systems and methods for wearable initiated handshaking |
US10503264B1 (en) | 2015-06-16 | 2019-12-10 | Snap Inc. | Radial gesture navigation |
CN105183005A (zh) * | 2015-08-25 | 2015-12-23 | 李尔 | 场景虚拟装置及控制方法 |
EP3395066B1 (en) * | 2015-12-25 | 2022-08-03 | BOE Technology Group Co., Ltd. | Depth map generation apparatus, method and non-transitory computer-readable medium therefor |
US10055895B2 (en) | 2016-01-29 | 2018-08-21 | Snap Inc. | Local augmented reality persistent sticker objects |
US11511156B2 (en) | 2016-03-12 | 2022-11-29 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US10474353B2 (en) | 2016-05-31 | 2019-11-12 | Snap Inc. | Application control using a gesture based trigger |
US9839830B1 (en) * | 2016-06-10 | 2017-12-12 | PNI Sensor Corporation | Aiding a swimmer in maintaining a desired bearing |
US10102423B2 (en) | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
US10768639B1 (en) | 2016-06-30 | 2020-09-08 | Snap Inc. | Motion and image-based control system |
US10609036B1 (en) | 2016-10-10 | 2020-03-31 | Snap Inc. | Social media post subscribe requests for buffer user accounts |
US10249095B2 (en) | 2017-04-07 | 2019-04-02 | Microsoft Technology Licensing, Llc | Context-based discovery of applications |
US10489651B2 (en) | 2017-04-14 | 2019-11-26 | Microsoft Technology Licensing, Llc | Identifying a position of a marker in an environment |
US10692287B2 (en) | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
US10579869B1 (en) | 2017-07-18 | 2020-03-03 | Snap Inc. | Virtual object machine learning |
US11323398B1 (en) | 2017-07-31 | 2022-05-03 | Snap Inc. | Systems, devices, and methods for progressive attachments |
US11204949B1 (en) | 2017-07-31 | 2021-12-21 | Snap Inc. | Systems, devices, and methods for content selection |
US10591730B2 (en) | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
US11263409B2 (en) * | 2017-11-03 | 2022-03-01 | Board Of Trustees Of Michigan State University | System and apparatus for non-intrusive word and sentence level sign language translation |
EP3707693A1 (en) | 2017-11-08 | 2020-09-16 | Signall Technologies Zrt | Computer vision based sign language interpreter |
US10523606B2 (en) | 2018-01-02 | 2019-12-31 | Snap Inc. | Generating interactive messages with asynchronous media content |
US10567321B2 (en) | 2018-01-02 | 2020-02-18 | Snap Inc. | Generating interactive messages with asynchronous media content |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
US11063889B2 (en) | 2018-06-08 | 2021-07-13 | Snap Inc. | Generating interactive messages with entity assets |
US10796482B2 (en) | 2018-12-05 | 2020-10-06 | Snap Inc. | 3D hand shape and pose estimation |
US11397463B2 (en) * | 2019-01-12 | 2022-07-26 | Microsoft Technology Licensing, Llc | Discrete and continuous gestures for enabling hand rays |
US11019011B1 (en) | 2019-03-29 | 2021-05-25 | Snap Inc. | Messaging system with discard user interface |
US11036368B1 (en) | 2019-03-29 | 2021-06-15 | Snap Inc. | Messaging system with message transmission user interface |
US11106342B1 (en) | 2019-06-03 | 2021-08-31 | Snap Inc. | User interfaces to facilitate multiple modes of electronic communication |
US11151794B1 (en) | 2019-06-28 | 2021-10-19 | Snap Inc. | Messaging system with augmented reality messages |
US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
US11589094B2 (en) * | 2019-07-22 | 2023-02-21 | At&T Intellectual Property I, L.P. | System and method for recommending media content based on actual viewers |
KR20220062338A (ko) | 2019-09-09 | 2022-05-16 | 스냅 인코포레이티드 | 스테레오 카메라들로부터의 손 포즈 추정 |
US11062498B1 (en) | 2019-12-30 | 2021-07-13 | Snap Inc. | Animated pull-to-refresh |
US11265274B1 (en) | 2020-02-28 | 2022-03-01 | Snap Inc. | Access and routing of interactive messages |
US11409368B2 (en) | 2020-03-26 | 2022-08-09 | Snap Inc. | Navigating through augmented reality content |
US11675494B2 (en) | 2020-03-26 | 2023-06-13 | Snap Inc. | Combining first user interface content into second user interface |
US11960651B2 (en) | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
US11991469B2 (en) | 2020-06-30 | 2024-05-21 | Snap Inc. | Skeletal tracking for real-time virtual effects |
KR20230047480A (ko) | 2020-08-13 | 2023-04-07 | 스냅 인코포레이티드 | 포즈 구동형 가상 효과들을 위한 사용자 인터페이스 |
US11671559B2 (en) | 2020-09-30 | 2023-06-06 | Snap Inc. | Real time video editing |
US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
KR20230124703A (ko) | 2020-12-29 | 2023-08-25 | 스냅 인코포레이티드 | 증강 현실 컴포넌트들을 위한 신체 ui |
WO2022147449A1 (en) | 2020-12-31 | 2022-07-07 | Snap Inc. | Electronic communication interface with haptic feedback response |
US12008152B1 (en) | 2020-12-31 | 2024-06-11 | Snap Inc. | Distance determination for mixed reality interaction |
WO2022147151A1 (en) | 2020-12-31 | 2022-07-07 | Snap Inc. | Real-time video communication interface with haptic feedback |
CN116685941A (zh) | 2020-12-31 | 2023-09-01 | 斯纳普公司 | 具有触觉反馈增强的媒体内容项 |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
USD998637S1 (en) | 2021-03-16 | 2023-09-12 | Snap Inc. | Display screen or portion thereof with a graphical user interface |
US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
US12050729B2 (en) | 2021-03-31 | 2024-07-30 | Snap Inc. | Real-time communication interface with haptic and audio feedback response |
US11880542B2 (en) | 2021-05-19 | 2024-01-23 | Snap Inc. | Touchpad input for augmented reality display device |
US11928306B2 (en) | 2021-05-19 | 2024-03-12 | Snap Inc. | Touchpad navigation for augmented reality display device |
US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
US11748958B2 (en) | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
JP7454003B2 (ja) * | 2022-02-16 | 2024-03-21 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法 |
US11579747B1 (en) | 2022-03-14 | 2023-02-14 | Snap Inc. | 3D user interface depth forgiveness |
US11960653B2 (en) | 2022-05-10 | 2024-04-16 | Snap Inc. | Controlling augmented reality effects through multi-modal human interaction |
US12001878B2 (en) | 2022-06-03 | 2024-06-04 | Snap Inc. | Auto-recovery for AR wearable devices |
US12002168B2 (en) | 2022-06-20 | 2024-06-04 | Snap Inc. | Low latency hand-tracking in augmented reality systems |
US12069399B2 (en) | 2022-07-07 | 2024-08-20 | Snap Inc. | Dynamically switching between RGB and IR capture |
US11995780B2 (en) | 2022-09-09 | 2024-05-28 | Snap Inc. | Shooting interaction using augmented reality content in a messaging system |
US11948266B1 (en) | 2022-09-09 | 2024-04-02 | Snap Inc. | Virtual object manipulation with gestures in a messaging system |
US11797099B1 (en) | 2022-09-19 | 2023-10-24 | Snap Inc. | Visual and audio wake commands |
US11747912B1 (en) | 2022-09-22 | 2023-09-05 | Snap Inc. | Steerable camera for AR hand tracking |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
US20070159455A1 (en) * | 2006-01-06 | 2007-07-12 | Ronmee Industrial Corporation | Image-sensing game-controlling device |
Family Cites Families (236)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
DE69229474T2 (de) | 1991-12-03 | 2000-03-02 | French Sportech Corp., Bay Village | Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US7098891B1 (en) | 1992-09-18 | 2006-08-29 | Pryor Timothy R | Method for providing human input to a computer |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
US6266057B1 (en) | 1995-07-05 | 2001-07-24 | Hitachi, Ltd. | Information processing system |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
GB9505916D0 (en) * | 1995-03-23 | 1995-05-10 | Norton John M | Controller |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
JP2785862B2 (ja) * | 1995-10-16 | 1998-08-13 | 日本電気株式会社 | 指紋カード選択装置および指紋カード絞り込み装置 |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
JP2000510013A (ja) | 1996-05-08 | 2000-08-08 | リアル ヴィジョン コーポレイション | 位置検出を用いたリアルタイムシミュレーション |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
JPH09325081A (ja) | 1996-06-05 | 1997-12-16 | Casio Comput Co Ltd | 運動測定装置及び運動測定装置を備えた電子式ゲーム装置 |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
JP2001504605A (ja) | 1996-08-14 | 2001-04-03 | ラティポフ,ヌラフメド,ヌリスラモビチ | 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
EP0849697B1 (en) | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
AU9808298A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6249606B1 (en) | 1998-02-19 | 2001-06-19 | Mindmaker, Inc. | Method and system for gesture category recognition and training using a feature vector |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US6304674B1 (en) | 1998-08-03 | 2001-10-16 | Xerox Corporation | System and method for recognizing user-specified pen-based gestures using hidden markov models |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
WO2000034919A1 (en) | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
DE69840608D1 (de) | 1998-12-16 | 2009-04-09 | 3Dv Systems Ltd | Selbsttastende photoempfindliche oberfläche |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
JP3470071B2 (ja) | 1999-10-04 | 2003-11-25 | 新世代株式会社 | 釣りゲーム装置 |
US7028269B1 (en) * | 2000-01-20 | 2006-04-11 | Koninklijke Philips Electronics N.V. | Multi-modal video target acquisition and re-direction system and method |
US6674877B1 (en) | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6554706B2 (en) | 2000-05-31 | 2003-04-29 | Gerard Jounghyun Kim | Methods and apparatus of displaying and evaluating motion data in a motion game apparatus |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7000200B1 (en) * | 2000-09-15 | 2006-02-14 | Intel Corporation | Gesture recognition system recognizing gestures within a specified timing |
US20050206610A1 (en) * | 2000-09-29 | 2005-09-22 | Gary Gerard Cordelli | Computer-"reflected" (avatar) mirror |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6944315B1 (en) | 2000-10-31 | 2005-09-13 | Intel Corporation | Method and apparatus for performing scale-invariant gesture recognition |
US7095401B2 (en) | 2000-11-02 | 2006-08-22 | Siemens Corporate Research, Inc. | System and method for gesture interface |
US6646643B2 (en) * | 2001-01-05 | 2003-11-11 | The United States Of America As Represented By The Secretary Of The Navy | User control of simulated locomotion |
US6567536B2 (en) | 2001-02-16 | 2003-05-20 | Golftec Enterprises Llc | Method and system for physical motion analysis |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US7274800B2 (en) | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
JP3917456B2 (ja) * | 2001-08-09 | 2007-05-23 | 株式会社コナミスポーツ&ライフ | 評価プログラム、その記録媒体、タイミング評価装置、タイミング評価システム |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
NO315679B1 (no) | 2001-10-19 | 2003-10-06 | Dmates As | Rik kommunikasjon over internett |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
DE60334529D1 (de) | 2002-03-11 | 2010-11-25 | Research In Motion Ltd | System und methode zum schieben von daten zu einem mobilen gerät |
ATE321689T1 (de) | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7782297B2 (en) | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
US7352358B2 (en) | 2002-07-27 | 2008-04-01 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to acoustical tracking |
JP3760347B2 (ja) | 2002-07-30 | 2006-03-29 | 株式会社光栄 | プログラム、記録媒体、ゲームキャラクタ描画方法及びゲーム装置 |
DE60215504T2 (de) * | 2002-10-07 | 2007-09-06 | Sony France S.A. | Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik |
WO2004049698A1 (en) | 2002-11-26 | 2004-06-10 | Koninklijke Philips Electronics N.V. | Motion sequence pattern detection |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US7372977B2 (en) | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
EP3190546A3 (en) | 2003-06-12 | 2017-10-04 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
US7313185B2 (en) | 2003-08-01 | 2007-12-25 | Microsoft Corporation | Sequential motion pattern representation |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
FI117308B (fi) * | 2004-02-06 | 2006-08-31 | Nokia Corp | Eleohjausjärjestelmä |
US7180500B2 (en) * | 2004-03-23 | 2007-02-20 | Fujitsu Limited | User definable gestures for motion controlled handheld devices |
EP1743277A4 (en) | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
EP2408193A3 (en) | 2004-04-16 | 2014-01-15 | James A. Aman | Visible and non-visible light sensing camera for videoing and object tracking |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US8684839B2 (en) | 2004-06-18 | 2014-04-01 | Igt | Control of wager-based game using gesture recognition |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
GB2419433A (en) | 2004-10-20 | 2006-04-26 | Glasgow School Of Art | Automated Gesture Recognition |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
WO2006074310A2 (en) | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Creating 3d images of objects by illuminating with infrared patterns |
HUE049974T2 (hu) | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
EP1849123A2 (en) | 2005-01-07 | 2007-10-31 | GestureTek, Inc. | Optical flow based tilt sensor |
CN101536494B (zh) | 2005-02-08 | 2017-04-26 | 奥布隆工业有限公司 | 用于基于姿势的控制系统的系统和方法 |
US7492367B2 (en) | 2005-03-10 | 2009-02-17 | Motus Corporation | Apparatus, system and method for interpreting and reproducing physical motion |
WO2006099597A2 (en) | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
KR100687737B1 (ko) | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
KR101403172B1 (ko) | 2005-05-17 | 2014-06-03 | 퀄컴 인코포레이티드 | 방위-감응 신호 출력 |
US8427426B2 (en) | 2005-05-27 | 2013-04-23 | Sony Computer Entertainment Inc. | Remote input device |
US8135209B2 (en) * | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
US20070021207A1 (en) * | 2005-07-25 | 2007-01-25 | Ned Ahdoot | Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7728839B2 (en) * | 2005-10-28 | 2010-06-01 | Honda Motor Co., Ltd. | Discriminative motion modeling for human motion tracking |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
US8094928B2 (en) | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
JP5026692B2 (ja) * | 2005-12-01 | 2012-09-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
KR100682987B1 (ko) * | 2005-12-08 | 2007-02-15 | 한국전자통신연구원 | 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법 |
TWI348639B (en) * | 2005-12-16 | 2011-09-11 | Ind Tech Res Inst | Motion recognition system and method for controlling electronic device |
TWI341692B (en) * | 2005-12-26 | 2011-05-01 | Ind Tech Res Inst | Online interactive multimedia system and the trasnsmission method thereof |
US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
AU2007219710B2 (en) | 2006-03-01 | 2011-10-13 | Brennan Broadcast Group Pty Ltd | Detecting contacts during sporting activities etc |
US20070263932A1 (en) | 2006-05-12 | 2007-11-15 | Waterloo Maple Inc. | System and method of gesture feature recognition |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US8125448B2 (en) * | 2006-10-06 | 2012-02-28 | Microsoft Corporation | Wearable computer pointing device |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
US8144148B2 (en) | 2007-02-08 | 2012-03-27 | Edge 3 Technologies Llc | Method and system for vision-based interaction in a virtual environment |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US20080221487A1 (en) * | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
US9317110B2 (en) | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
US20090170604A1 (en) | 2007-05-30 | 2009-07-02 | Leviathan Entertainment, Llc | Mediation of Disputes in a Virtual Environment |
US8253770B2 (en) * | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP5286267B2 (ja) | 2007-08-03 | 2013-09-11 | 株式会社キャメロット | ゲーム装置、ゲームプログラム及びオブジェクトの操作方法 |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
US9261979B2 (en) * | 2007-08-20 | 2016-02-16 | Qualcomm Incorporated | Gesture-based mobile interaction |
JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
WO2009042579A1 (en) | 2007-09-24 | 2009-04-02 | Gesturetek, Inc. | Enhanced interface for voice and video communications |
US9292092B2 (en) | 2007-10-30 | 2016-03-22 | Hewlett-Packard Development Company, L.P. | Interactive display system with collaborative gesture detection |
US20090221368A1 (en) * | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
US7560856B2 (en) * | 2007-12-03 | 2009-07-14 | Schlumberger Technology Corporation | Harvesting energy from flowing fluid |
GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
US7925081B2 (en) * | 2007-12-12 | 2011-04-12 | Fuji Xerox Co., Ltd. | Systems and methods for human body pose estimation |
US8542907B2 (en) * | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
WO2009078114A1 (ja) | 2007-12-18 | 2009-06-25 | Ssd Company Limited | 携帯記録装置、体動計測装置、情報処理装置、運動形態判別装置、活動量算出装置、記録方法、体動計測方法、情報処理方法、運動形態判別方法、活動量算出方法、コンピュータプログラム、及び記録媒体 |
US8225343B2 (en) | 2008-01-11 | 2012-07-17 | Sony Computer Entertainment America Llc | Gesture cataloging and recognition |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US8308562B2 (en) * | 2008-04-29 | 2012-11-13 | Bally Gaming, Inc. | Biofeedback for a gaming device, such as an electronic gaming machine (EGM) |
US8194921B2 (en) | 2008-06-27 | 2012-06-05 | Nokia Corporation | Method, appartaus and computer program product for providing gesture analysis |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
-
2009
- 2009-04-13 US US12/422,661 patent/US7996793B2/en active Active
-
2010
- 2010-01-12 WO PCT/US2010/020797 patent/WO2010088035A2/en active Application Filing
- 2010-01-12 CN CN201080006415.XA patent/CN102301315B/zh active Active
-
2011
- 2011-08-02 US US13/196,618 patent/US9280203B2/en active Active
- 2011-08-02 US US13/196,588 patent/US8869072B2/en active Active
- 2011-11-04 US US13/289,731 patent/US8782567B2/en active Active
-
2014
- 2014-09-26 US US14/497,915 patent/US20150009135A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1797284A (zh) * | 2004-12-30 | 2006-07-05 | 中国科学院自动化研究所 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
US20070159455A1 (en) * | 2006-01-06 | 2007-07-12 | Ronmee Industrial Corporation | Image-sensing game-controlling device |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104115099A (zh) * | 2012-02-13 | 2014-10-22 | 高通股份有限公司 | 取决于参与的手势辨识 |
CN102981615A (zh) * | 2012-11-05 | 2013-03-20 | 瑞声声学科技(深圳)有限公司 | 手势识别装置及识别方法 |
CN102981615B (zh) * | 2012-11-05 | 2015-11-25 | 瑞声声学科技(深圳)有限公司 | 手势识别装置及识别方法 |
CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
CN103399637B (zh) * | 2013-07-31 | 2015-12-23 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
CN106104423A (zh) * | 2014-03-12 | 2016-11-09 | 微软技术许可有限责任公司 | 姿势参数调节 |
CN106104423B (zh) * | 2014-03-12 | 2019-05-14 | 微软技术许可有限责任公司 | 姿势参数调节 |
US10613642B2 (en) | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
CN106104424A (zh) * | 2014-03-15 | 2016-11-09 | 微软技术许可有限责任公司 | 可训练的基于传感器的姿势识别 |
CN106104424B (zh) * | 2014-03-15 | 2019-04-30 | 微软技术许可有限责任公司 | 可训练的基于传感器的姿势识别 |
CN107734385A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 视频播放方法、装置及电子装置 |
CN107734385B (zh) * | 2017-09-11 | 2021-01-12 | Oppo广东移动通信有限公司 | 视频播放方法、装置及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
US8782567B2 (en) | 2014-07-15 |
US8869072B2 (en) | 2014-10-21 |
WO2010088035A2 (en) | 2010-08-05 |
US20100199230A1 (en) | 2010-08-05 |
US7996793B2 (en) | 2011-08-09 |
WO2010088035A3 (en) | 2010-10-21 |
CN102301315B (zh) | 2014-12-24 |
US9280203B2 (en) | 2016-03-08 |
US20120050157A1 (en) | 2012-03-01 |
US20110285620A1 (en) | 2011-11-24 |
US20110285626A1 (en) | 2011-11-24 |
US20150009135A1 (en) | 2015-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102301311B (zh) | 标准姿势 | |
CN102301315B (zh) | 姿势识别器系统架构 | |
CN102448561B (zh) | 姿势教练 | |
CN102449576B (zh) | 姿势快捷方式 | |
CN102448566B (zh) | 骨架以外的姿势 | |
CN102413886B (zh) | 示出身体位置 | |
CN102356373B (zh) | 虚拟对象操纵 | |
KR101643020B1 (ko) | 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치 | |
CN102470273B (zh) | 基于玩家表情的视觉表示表情 | |
JP5865357B2 (ja) | アバター・ジェスチャーの表示制限 | |
CN102129551B (zh) | 基于关节跳过的姿势检测 | |
CN102473320B (zh) | 通过学习到的来自用户的输入使视觉表示生动化的方法 | |
CN102470274B (zh) | 自动生成视觉表示 | |
US9069381B2 (en) | Interacting with a computer based application | |
CN102103408A (zh) | 姿势风格识别和奖励 | |
CN102207771A (zh) | 推断参与运动捕捉系统的用户意图 | |
CN102262438A (zh) | 用于操纵用户界面的姿势和姿势识别 | |
CN102947777A (zh) | 用户跟踪反馈 | |
CN102184020A (zh) | 用于操纵用户界面的姿势和姿势修改 | |
CN102129152A (zh) | 具有集成vcsel阵列的深度投影仪系统 | |
CN102222431A (zh) | 基于机器的手语翻译器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150428 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150428 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |