CN102413885A - 用于对运动捕捉应用模型跟踪的系统和方法 - Google Patents

用于对运动捕捉应用模型跟踪的系统和方法 Download PDF

Info

Publication number
CN102413885A
CN102413885A CN2010800200012A CN201080020001A CN102413885A CN 102413885 A CN102413885 A CN 102413885A CN 2010800200012 A CN2010800200012 A CN 2010800200012A CN 201080020001 A CN201080020001 A CN 201080020001A CN 102413885 A CN102413885 A CN 102413885A
Authority
CN
China
Prior art keywords
model
user
tracks
motion capture
followed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800200012A
Other languages
English (en)
Other versions
CN102413885B (zh
Inventor
J·马戈利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102413885A publication Critical patent/CN102413885A/zh
Application granted granted Critical
Publication of CN102413885B publication Critical patent/CN102413885B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

可由设备来接收、观察或捕捉诸如场景的深度图形之类的图像，并且可以生成该图像中的用户的模型。然后可调整该模型以模拟用户的一个或多个移动。例如，该模型可以是具有关节和骨骼的骨架模型，其可被调整为对应于物理空间中的用户移动的姿势。可基于调整后的模型来实时生成用户移动的运动捕捉文件。例如，可以在该运动捕捉文件中捕捉并呈现定义调整后的模型的每一个姿势的关节和骨骼的矢量集。

Description

用于对运动捕捉应用模型跟踪的系统和方法
背景
诸如计算机游戏、多媒体应用程序等许多计算应用程序包括使用典型的运动捕捉技术来动画化的化身或人物。例如，在开发高尔夫球游戏时，可以将专业高尔夫球手带入具有运动捕捉设备的工作室，该运动捕捉设备包括例如朝向工作室中的特定点的多个相机。专业高尔夫球手然后可以装备具有多个点指示器的运动捕捉套装，这些点指示器可以用相机来配置并由相机跟踪，以使得相机可捕捉例如专业高尔夫球手的打高尔夫的运动。这些运动然后能够在高尔夫球游戏的开发期间被应用于化身或人物。当完成高尔夫球游戏后，化身或人物然后能够在执行高尔夫球游戏期间用专业高尔夫球手的运动来动画化。不幸的是，典型的运动捕捉技术是昂贵的，依靠特定应用程序的开发，并且不包括与应用程序的实际玩家或用户相关联的运动。
概述
此处所公开的是用于捕捉用户在一场景中的运动的系统和方法。例如，可以接收或观察诸如场景的深度等图像。然后可以分析该深度图像以确定该图像是否包括与用户相关联的人类目标。如果图像包括与用户相关联的人类目标，则可以生成该用户的模型。然后可响应于用户移动来跟踪模型以使得该模型可被调整为模拟该用户的移动。例如，该模型可以是具有关节和骨骼的骨架模型，其可被调整为对应于物理空间中的用户移动的姿势。根据一示例实施例，然后可基于所跟踪的模型来实时生成用户移动的运动捕捉文件。例如，可以在该运动捕捉文件中捕捉并呈现定义调整后的模型的每一个姿势的关节和骨骼的矢量集。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图简述
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的示例实施例。
图4示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的计算环境的另一示例实施例。
图5描绘了用于捕捉人类目标的运动的示例方法的流程图。
图6示出了可包括人类目标的图像的示例实施例。
图7示出了可以为人类目标生成的模型的示例实施例。
图8A-8C示出了可在各个时间点捕捉的模型的示例实施例。
图9A-9C示出了可基于可在各个时间点捕捉的模型来动画化的化身或游戏人物的示例实施例。
说明性实施例的详细描述
如本文中将描述的，用户可通过执行一个或多个姿势和/或运动来控制在诸如游戏控制台、计算机等计算环境上执行的应用程序和/或动画化化身或屏幕上人物。根据一个实施例，姿势和/或运动可由例如捕捉设备来接收。例如，捕捉设备可捕捉场景的深度图像。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。然后可扫描与人类目标相匹配或相对应的每个目标或对象以生成与其相关联的模型，诸如骨架模型、网格人类模型等。然后可将该模型提供给计算环境以使得该计算环境可跟踪该模型，生成所跟踪的模型的运动捕捉文件，呈现与该模型相关联的化身，基于所跟踪的模型的运动捕捉文件来动画化化身，和/或基于例如所跟踪的模型来确定要在计算机环境上执行的应用程序中执行哪些控制。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示，目标识别、分析及跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器等可执行各种指令的的处理器，这些指令包括例如用于以下操作的指令：接收图像、生成在该图像中捕捉到的用户的模型、跟踪模型、基于所跟踪的模型来生成运动捕捉文件、应用运动捕捉文件，或任何其他合适的指令，这些将在下面更详细地描述。
如图1A所示，目标识别、分析及跟踪系统10还可包括捕捉设备20。捕捉设备20可以是，例如可用于在视觉上监视诸如用户18等的一个或多个用户从而可以捕捉、分析并跟踪一个或多个用户所执行的姿势和/或移动，来执行应用程序中的一个或多个控制命令或动作和/或动画化化身或屏幕上人物的相机，如将在下面更详细地描述的。
根据一个实施例，目标识别、分析及跟踪系统10可连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，从而可以捕捉用户18的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户18的姿势和/或移动解释为可用于影响计算环境12所执行的应用程序的控制命令。因此，根据一实施例，用户18可移动他的或她的身体来控制应用程序和/或动画化化身或屏幕上人物。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手38的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。例如，如图1B所示，用户18可在物理空间中挥重拳来使得玩家化身40在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析物理空间中用户18的重拳从而使得该重拳可被解释为对游戏空间中的玩家化身40的游戏控制和/或该重拳的运动可用于动画化游戏空间中的玩家化身40。
用户18的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同的有力重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
在各示例实施例中，诸如用户18等人类目标可持有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例，目标识别、分析及跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析及跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机28，来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例性实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像在内的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析及跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行各种指令的标准化处理器、专用处理器、微处理器等等，这些指令包括例如用于以下操作的指令：接收图像、生成在该图像中捕捉到的用户的模型、跟踪模型、基于所跟踪的模型来生成运动捕捉文件、应用运动捕捉文件，或任何其他合适的指令，这些将在下面更详细地描述。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令、由3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网线缆连接之类的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接之类的无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，可以使用该时钟来确定何时捕捉例如场景。
另外，捕捉设备20可经由通信链路36向计算环境12提供深度信息和由例如3-D照相机26和/或RGB照相机28捕捉的图像，和/或可由捕捉设备20生成的骨架模型。计算环境12然后可使用该模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用程序和/或动画化化身或屏幕上人物。例如，如图2所示，计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可将由相机26、28和捕捉设备20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用程序。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上的人物的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用程序数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用程序可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来调度代码来将弹出窗口呈现为覆盖图以显示由系统应用程序生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用程序线程而非游戏应用程序线程的线程。系统应用程序优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用程序提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用程序所引起的高速缓存中断最小化。
当并发系统应用程序需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用程序。多媒体控制台应用程序管理器(如下所述)在系统应用程序活动时控制游戏应用程序的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是保留资源，而是在系统应用程序和游戏应用程序之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义额外的输入设备。
图4示出计算环境220的另一示例实施例，该计算环境可以是用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上人物的图1A-2中示出的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程，基本输入/输出系统223(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常指的是鼠标、跟踪球或触摸垫)向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机26、28和捕捉设备20可为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN网络环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制，连接到系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图5描绘了用于捕捉用户在场景中的运动的示例方法300的流程图。示例方法300可使用例如，参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中，示例方法300可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
根据一个实施例，在305，可接收图像。例如，目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等的捕捉设备。捕捉设备可捕捉或观察可包括一个或多个目标的场景。在一示例实施例中，捕捉设备可以是被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等的任何合适的技术来获得场景的诸如RGB图像、深度图像等图像的深度照相机。
例如，在一个实施例中，图像可包括深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距捕捉设备的长度或距离。
图6示出了可在305处被接收的深度图像400的示例实施例。根据一示例实施例，深度图像400可以是由例如以上参考图2所描述的捕捉设备20的3-D相机26和/或RGB相机28所捕捉的场景的图像或帧。如图6所示，深度图像400可包括与例如诸如参考图1A和1B所描述的用户18等的用户对应的人类目标402以及诸如所捕捉的场景中的墙、桌子、监视器等的一个或多个非人类目标404。如上所述，深度图像400可包括多个观测到的像素，其中每一观测到的像素具有与其相关联的观测到的深度值。例如，深度图像400可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象或目标距捕捉设备的长度或距离。在一实施例中，深度图像400可被着色从而使得深度图像的像素的不同颜色对应于和/或从视觉上描绘了人类目标402和非人类目标404离捕捉设备的不同距离。例如，根据一个实施例，深度图像中与最接近捕捉设备的目标相关联的像素可用红色和/或橙色阴影来着色，而深度图像中与较远的目标相关联的像素可用绿色和/或蓝色阴影来着色。
回头参考图5，在一个实施例中，在305处接收到图像之后，可将该图像降采样到较低的处理分辨率，使得该深度图像可用更少的计算开销来被更容易地使用和/或更快地处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的各部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成诸如骨架模型等模型，如将在下文更详细描述的。
在310，可以生成图像中的用户的模型。例如，当接收到图像时，目标识别、分析和跟踪系统可以通过对深度图像中的每一个目标或对象进行泛色填充并将每一个经泛色填充的目标或对象与同处于各种位置或姿势的人类的身体模型相关联的图案进行比较，确定深度图像是否包括对应于例如诸如以上参考图1A-1B描述的用户18等用户的人类目标。然后可以隔离并扫描匹配图案的经泛色填充的目标或对象以确定包括例如对各身体部位的度量的各个值。根据一示例实施例，然后可基于该扫描来生成模型，诸如骨架模型、网格模型等。例如，根据一个实施例，可通过扫描来确定的度量值可被存储在可用于定义模型中的一个或多个关节的一个或多个数据结构中。可以使用一个或多个关节来定义可以对应于人类的身体部位的一个或多个骨骼。
图7示出了可例如在310处为人类目标生成的模型500的示例实施例。根据一示例实施例，模型500可包括一个或多个数据结构，这些数据结构可将例如以上参照图6描述的人类目标402表示为三维模型。每个身体部位可被表征为定义模型500的关节和骨骼的数学矢量。
如图7所示，模型500可包括一个或多个关节j1-j18。根据一示例实施例，关节j1-j18中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，这些身体部位由一个或多个诸如“骨骼”等结构件来定义，而关节j1-j18位于毗邻骨骼的交叉点处。关节j1-j18可使得与骨骼和关节j1-j18相关联的各个身体部位能够彼此独立地移动。例如，如图7中所示的，在关节j7与j11之间定义的骨骼可对应于前臂，该前臂可独立于例如在关节j15与j17之间定义的骨骼(可对应于小腿)而移动。
如上所述，每一个身体部位都可被表征为具有定义图7所示的关节和骨骼的X值、Y值和Z值的数学矢量。在一示例实施例中，与图7所示的骨骼相关联的矢量的相交可定义与关节j1-j18相关联的相应点。
回头参考图5，在315，然后可跟踪该模型，使得该模型可基于用户的移动来调整。根据一个实施例，诸如以上参考图7描述的模型500等模型可以是诸如以上参考图1A和1B描述的用户18等用户的表示。目标识别、分析和跟踪系统可观察或捕捉可用于调整模型的、来自诸如用户18等用户的移动。
例如，诸如以上参考图1A-2描述的捕捉设备20等捕捉设备可以观察或捕捉可用于调整模型的场景的多个图像，如深度图像、RGB图像等。根据一实施例，可基于所定义的频率来观察或捕捉每一图像。例如，捕捉设备可每毫秒、每微秒等来观察场景的新图像或对其进行捕捉。
在接收到每一图像后，可将与特定图像相关联的信息与和模型相关联的信息进行比较来确定用户是否已经执行了移动。例如，在一个实施例中，该模型可被光栅化成诸如合成深度图像等合成图像。合成图像中的像素可以与和每一接收到的图像中的人类目标相关联的像素进行比较来确定所接收的图像中的人类目标是否已移动。
根据一示例实施例，可以基于在合成图像和所接收的图像之间比较的像素来计算一个或多个力矢量。可向该模型的诸如关节等一个或多个受力方面施加或映射一个或多个力，来将该模型调整成更接近地对应于物理空间中的人类目标或用户的姿势的姿势。
根据另一实施例，可调整该模型以适合每一所接收的图像中的人类目标的掩码或表示，来基于用户的移动调整模型。例如，在接收到每一所观察的图像后，可基于每一所接收的图像中的人类目标的掩码来调整可定义每一骨骼和关节的包括X、Y和Z值的矢量。例如，该模型可基于与每一所接收的图像中的人类的掩码的像素相关联的X和Y值在X方向和/或Y方向上移动。另外，可基于与每一所接收的图像中的人类目标的掩码的像素相关联的深度值在Z方向上旋转该模型的关节和骨骼。
图8A-8C示出了基于诸如以上参考图1A和1B所描述的用户18等用户的移动或姿势来调整模型的示例实施例。如图8A-8C所示，可基于如上所述在各个时间点接收到的深度图像中观察和捕捉的各个点处的用户的移动或姿势来调整以上参考图7所描述的模型500。例如，如图8A所示，通过施加一个或多个力矢量或调整模型来适合如上所述在各个时间点处接收的图像中的人类目标的掩码，可调整模型500的关节j4、j8和j12以及它们之间定义的骨骼来表示当用户举起他或她的左臂时的姿势502。当用户通过移动他或她的左前臂来挥手时，关节j8和j12以及它们之间定义的骨骼可被进一步调整到如图8B-8C所示的姿势504和506。由此，根据一示例实施例，定义与前臂以及它们之间的二头肌相关联的关节j4、j8和j12以及骨骼的数学矢量可包括具有X值、Y值和Z值的矢量，这些值可通过如上所述施加力矢量或将模型适合在掩码内而被调整为对应于姿势502、504和506。
回头参考图5，在320，可生成所跟踪的模型的运动捕捉文件。例如，目标识别、分析和跟踪系统可呈现并存储可包括特定于诸如以上参考图1A和1B描述的用户18等用户的一个或多个运动的运动捕捉文件，这些运动如挥手运动、诸如高尔夫挥杆等挥臂运动、重拳运动、行走运动、奔跑运动等。根据一示例实施例，可基于与所跟踪的模型相关联的信息来实时生成运动捕捉文件。例如，在一个实施例中，该运动捕捉文件可包括例如包括X、Y和Z值的矢量，这些矢量可定义在各个时间点跟踪模型时该模型的关节和骨骼。
在一个示例实施例中，可提示用户执行可在运动捕捉文件中捕捉的各种运动。例如，可显示可提示用户例如行走或进行高尔夫挥杆运动的界面。如上所述，所跟踪的模型然后可基于各个时间点的这些运动来调整，并且可生成并存储对应于所提示的运动的该模型的运动捕捉文件。
在另一实施例中，该运动捕捉文件可捕捉在与目标识别、分析和跟踪系统交互的用户进行自然移动期间所跟踪的模型。例如，可生成运动捕捉文件，使得该运动捕捉文件可自然地捕捉用户在与目标识别、分析和跟踪系统交互期间进行的任何移动或运动。
根据一实施例，该运动捕捉文件可包括对应于例如用户在不同时间点的运动的快照的帧。在捕捉了所跟踪的模型之后，可在运动捕捉文件的一帧中呈现与模型相关联的信息，该信息包括在一特定时间点应用于该模型的任何移动或调整。该帧中的信息可包括例如包括X、Y和Z值的矢量以及一时间戳，这些矢量可定义所跟踪的模型的关节和骨骼，该时间戳可指示例如用户执行了对应于所跟踪的模型的姿势的移动的时间点。
例如，如上参考图8A-8C所描述的，可跟踪并调整模型500来形成可以指示用户在特定时间点挥动他或她的左手的姿势502、504和506。与对应于姿势502、504和506的、模型500的关节和骨骼相关联的信息可以在运动捕捉文件中捕捉。
例如，图8A所示的模型500的姿势502可以对应于用户最初举起他或她的左臂的时间点。包括诸如对应于姿势502的关节和骨骼的X、Y和Z值等信息的姿势502可例如在运动捕捉文件中具有与用户举起他或她的左臂之后的时间点相关联的第一时间戳的第一帧中呈现。
类似地，图8B和8C所示的模型500的姿势504和506可对应于用户挥动他或她的左手的时间点。包括诸如对应于姿势504和506的关节和骨骼的X、Y和Z值等信息的姿势504和506可例如在运动捕捉文件中分别具有与用户挥动他或她的左手的不同时间点相关联的第二和第三时间戳的第二和第三帧中呈现。
根据一示例实施例，与姿势502、504和506相关联的第一、第二和第三帧可以在运动捕捉文件中在相应的第一、第二和第三时间戳处以顺序时间次序来呈现。例如，为姿势502呈现的第一帧可具有用户举起他或她的左臂时的第一时间戳0秒，为姿势504呈现的第二帧可具有在用户在朝外的方向上移动他或她的左手来开始挥手运动之后的第二时间戳1秒，而为姿势506呈现的第三帧具有用户在向内的方向上移动他或她的左手来完成挥手运动时的第三时间戳2秒。
在325，可将运动捕捉文件应用于化身或游戏人物。例如，目标识别、分析和跟踪系统可将运动捕捉文件中捕捉的所跟踪的模型的一个或多个运动应用于化身或游戏人物，使得可动画化该化身或游戏人物以便模拟诸如以上参考图1A和1B描述的用户18等用户执行的运动。在一示例实施例中，运动捕捉文件中捕捉的模型中的关节和骨骼可被映射到游戏人物或化身的特定部分。例如，与右肘相关联的关节可被映射到化身或游戏人物的右肘。然后在运动捕捉文件的每一帧中动画化该右肘以模拟与用户的模型相关联的右肘的运动。
根据一示例实施例，目标分析、识别和跟踪系统可在运动捕捉文件中捕捉运动时应用一个或多个运动。由此，当呈现运动捕捉文件中的一帧时，可将该帧中捕捉的运动应用于化身或游戏人物，使得可动画化该化身或游戏人物以便立即模拟该帧中捕捉的运动。
在另一示例实施例中，目标分析、识别和跟踪系统可在运动捕捉文件中捕捉了运动之后应用一个或多个运动。例如，诸如行走运动等运动可由用户执行并在运动捕捉文件中捕捉和存储。诸如行走运动等运动然后可在例如每次用户随后执行被识别为与诸如用户的行走运动等运动相关联的控制命令的姿势时应用于该化身或游戏人物。例如，当用户提起他或她的左腿时，可发起使得化身行走的命令。该化身然后可开始行走，并且可基于与用户相关联且存储在运动捕捉文件中的行走运动来动画化。
图9A-9C示出了可基于例如325处的运动捕捉文件来动画化的化身或游戏人物600的示例实施例。如图9A-9C所示，可动画化化身或游戏人物600以模拟对以上参考图8A-8C所描述的所跟踪的模型500捕捉的挥手运动。例如，图8A-8C中所示的模型500的关节j4、j8和j12以及它们之间定义的骨骼可被映射到如图9A-9C所示的化身或游戏人物600的左肩关节j4′、左肘关节j8′、以及左腕关节j12′和对应的骨骼。然后可将化身或游戏人物600动画化成模拟图8A-8C所示的分别在运动捕捉文件中的第一、第二和第三时间戳处的模型500的姿势502、504和506的姿势602、604和606。
由此，在一示例实施例中，可响应于运动捕捉文件来改变屏幕上人物的视觉外观。例如，可由此处描述的游戏控制台来跟踪诸如以上参考图1A和1B描述的正在游戏控制台上玩电子游戏的用户18等游戏玩家。当游戏玩家挥动手臂时，游戏控制台可跟踪该运动，并且然后响应于所跟踪的运动，相应地调整诸如骨架模型、网格模型等与用户相关联的模型。如上所述，所跟踪的模型可进一步在运动捕捉文件中捕捉。该运动捕捉文件然后可被应用于屏幕上人物，使得可动画化该屏幕上人物以模拟用户挥动他的手臂的实际运动。根据各示例实施例，可动画化屏幕上人物以便例如如用户挥动他或她的手臂那样在游戏中挥动高尔夫球杆、球拍或重拳出击。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种用于捕捉用户在场景中的运动的设备20，所述设备20包括：
相机组件22，所述相机组件22接收所述场景的图像400；以及
处理器32，所述处理器32执行计算机可执行指令，所述计算机可执行指令包括用于以下操作的指令：
从所述相机组件22接收所述场景的所述图像400；
生成与所述图像中的所述用户相关联的模型500；
响应于所述用户的移动来跟踪所述模型500；以及
基于所跟踪的模型500来实时生成所述用户的移动的运动捕捉文件。
2.如权利要求1所述的设备，其特征在于，所述用户的移动包括与所述用户相关联的一个或多个身体部位在物理空间中的一个或多个运动。
3.如权利要求1所述的设备，其特征在于，所述用于基于所跟踪的模型500来实时生成所述用户的移动的运动捕捉文件的指令包括用于以下操作的指令：
响应于所述用户的移动来捕捉所跟踪的模型500的第一姿势502、504、506；以及
呈现包括所跟踪的模型500的所述第一姿势502、504、506的所述运动捕捉文件中在第一时间戳处的第一帧。
4.如权利要求3所述的设备，其特征在于，所述用于基于所跟踪的模型500来实时生成所述用户的移动的运动捕捉文件的指令包括用于以下操作的指令：
响应于所述用户的移动来捕捉所跟踪的模型500的第二姿势502、504、506；以及
呈现包括所跟踪的模型500的所述第二姿势502、504、506的所述运动捕捉文件中在第二时间戳处的第二帧。
5.如权利要求4所述的设备，其特征在于，所述第一帧和所述第二帧在所述运动捕捉文件中以对应于所述第一时间戳和所述第二时间戳的顺序时间次序呈现。
6.如权利要求5所述的设备，其特征在于，所述模型500包括具有关节和骨骼的骨架模型。
7.如权利要求6所述的设备，其特征在于，所述第一帧包括定义所述第一姿势502、504、506中的关节和骨骼的第一矢量集，并且其中所述第二帧包括定义所述第二姿势502、504、506中的关节和骨骼的第二矢量集。
8.一种其上存储有用于捕捉用户在场景中的运动的计算机可执行指令的计算机可读存储介质34、110、143、222，所述计算机可执行指令包括用于以下操作的指令：
接收所述场景的图像400；
生成所述图像400中的所述用户的模型500；
调整所述模型500以模拟所述用户的移动；以及
基于调整后的模型500来生成所述用户的移动的运动捕捉文件。
9.如权利要求8所述的计算机可读存储介质，其特征在于，所述用户的移动包括与所述用户相关联的一个或多个身体部位在物理空间中的一个或多个运动。
10.如权利要求8所述的计算机可读存储介质，其特征在于，所述用于基于调整后的模型来生成所述用户的移动的运动捕捉文件的指令还包括用于以下操作的指令：
捕捉所述调整后的模型500的姿势502、504、506；以及
呈现包括所述调整后的模型500的所述姿势502、504、506的所述运动捕捉文件中的一帧。
11.如权利要求10所述的计算机可读存储介质，其特征在于，所述模型500包括具有关节和骨骼的骨架模型，并且其中所述帧包括定义所述姿势502、504、506中的关节和骨骼的矢量集。
12.如权利要求11所述的计算机可读介质，其特征在于，还包括：
将所述模型500的所述关节和骨骼映射到化身600的特定部分；以及
动画化所述化身600的所述特定部分以模拟所述调整后的模型500中的关节和骨骼的运动。
13.一种用于呈现用户的模型500的系统10；所述系统包括：
捕捉设备20，所述捕捉设备包括接收场景的深度图像400的相机组件22；以及
与所述捕捉设备20进行可操作的通信的计算设备12，所述计算设备12包括处理器101、259，所述处理器生成所述深度图像400中的所述用户的模型500，响应于所述用户的移动来跟踪所述模型500，将所述用户的移动应用于所跟踪的模型500，并且基于所跟踪的模型500来实时生成所述用户的移动的运动捕捉文件。
14.如权利要求13所述的系统，其特征在于，所述处理器101、259通过以下操作来将所述运动捕捉文件应用于化身600：将所述模型500的关节和骨骼映射到所述化身500的特定部分，并且动画化所述化身600的特定部分以模拟应用于所跟踪的模型500的关节和骨骼的所述用户的移动。
15.如权利要求13所述的系统，其特征在于，所述计算设备还包括其上存储的姿势库190，并且其中所述处理器101、259将应用于所跟踪的模型500的所述移动中的一个或多个与所述姿势库进行比较以确定是否将所述运动捕捉文件应用于所述化身600。
CN2010800200012A 2009-05-01 2010-04-26 用于对运动捕捉应用模型跟踪的系统和方法 Expired - Fee Related CN102413885B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US17495009P 2009-05-01 2009-05-01
US61/174,950 2009-05-01
US12/485,730 US20100277470A1 (en) 2009-05-01 2009-06-16 Systems And Methods For Applying Model Tracking To Motion Capture
US12/485,730 2009-06-16
PCT/US2010/032366 WO2010126816A2 (en) 2009-05-01 2010-04-26 Systems and methods for applying model tracking to motion capture

Publications (2)

Publication Number Publication Date
CN102413885A true CN102413885A (zh) 2012-04-11
CN102413885B CN102413885B (zh) 2013-07-10

Family

ID=43030045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800200012A Expired - Fee Related CN102413885B (zh) 2009-05-01 2010-04-26 用于对运动捕捉应用模型跟踪的系统和方法

Country Status (10)

Country Link
US (2) US20100277470A1 (zh)
EP (1) EP2424631A4 (zh)
JP (1) JP5739872B2 (zh)
KR (1) KR101625259B1 (zh)
CN (1) CN102413885B (zh)
BR (1) BRPI1015282A2 (zh)
CA (1) CA2757173C (zh)
IL (1) IL215294A (zh)
RU (1) RU2580450C2 (zh)
WO (1) WO2010126816A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077094A (zh) * 2013-03-25 2014-10-01 三星电子株式会社 用于显示动作视频的显示设备和方法
CN106663126A (zh) * 2014-09-09 2017-05-10 微软技术许可有限责任公司 用于运动任务分析的视频处理
CN108090247A (zh) * 2016-11-22 2018-05-29 达索系统公司 用于模拟采取姿势特别是用于看目标的姿势的身体的计算机实现的方法
CN114359469A (zh) * 2022-01-07 2022-04-15 腾讯科技（深圳）有限公司 生成主控对象投影的方法、装置、设备及介质
CN116261850A (zh) * 2020-06-30 2023-06-13 斯纳普公司 用于实时虚拟效果的骨骼跟踪

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101695638B1 (ko) * 2011-07-18 2017-01-13 한국전자통신연구원 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
US9348411B2 (en) 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude
US9140554B2 (en) * 2014-01-24 2015-09-22 Microsoft Technology Licensing, Llc Audio navigation assistance
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US10110881B2 (en) 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
US10048765B2 (en) 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
JP6569452B2 (ja) 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
WO2018020744A1 (ja) 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
EP3493011B1 (en) * 2016-07-29 2022-09-14 NEC Solution Innovators, Ltd. Mobile body control system, control signal transmission system, mobile body control method, program, and recording medium
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
US20180225858A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform
JP6827875B2 (ja) * 2017-04-19 2021-02-10 株式会社日立製作所 姿勢推定システム、距離画像カメラ、及び姿勢推定装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
KR102572675B1 (ko) 2017-11-22 2023-08-30 삼성전자주식회사 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
KR102439783B1 (ko) * 2017-12-04 2022-09-02 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP6722316B1 (ja) * 2019-03-05 2020-07-15 株式会社コロプラ 配信プログラム、配信方法、コンピュータ、および視聴端末
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110415321B (zh) * 2019-07-06 2023-07-25 深圳市山水原创动漫文化有限公司 一种动画动作处理方法及其系统
CN111290577B (zh) * 2020-01-22 2024-03-22 北京明略软件系统有限公司 一种非接触式输入方法及装置
US11645873B1 (en) * 2020-03-20 2023-05-09 18Birdies Llc Systems, media, and methods providing a golf swing coach
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
KR102212035B1 (ko) * 2020-05-27 2021-02-04 (주)프렌즈몬 제스처 인식 기반 원격 교육서비스 시스템 및 방법
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
KR102612512B1 (ko) * 2023-07-07 2023-12-11 주식회사 위시 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1340170A (zh) * 1999-11-11 2002-03-13 黄炳翼 获取运动捕获数据的方法
US20040155962A1 (en) * 2003-02-11 2004-08-12 Marks Richard L. Method and apparatus for real time motion capture
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示系统及方法

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4600919A (en) * 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CN1253636A (zh) * 1995-06-22 2000-05-17 3Dv系统有限公司 远心光阑3维照相机及方法
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
EP1214609B1 (en) * 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
JP4917615B2 (ja) * 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
EP2016562A4 (en) * 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP2008033840A (ja) * 2006-07-31 2008-02-14 Xing Inc 動画表示装置、動画表示方法、及びコンピュータプログラム
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
WO2008061023A2 (en) * 2006-11-10 2008-05-22 Mtv Networks Electronic game that detects and incorporates a user's foot movement
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
WO2008109299A2 (en) * 2007-03-01 2008-09-12 Sony Computer Entertainment America Inc. System and method for communicating with a virtual world
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9098766B2 (en) * 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1340170A (zh) * 1999-11-11 2002-03-13 黄炳翼 获取运动捕获数据的方法
US20040155962A1 (en) * 2003-02-11 2004-08-12 Marks Richard L. Method and apparatus for real time motion capture
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077094A (zh) * 2013-03-25 2014-10-01 三星电子株式会社 用于显示动作视频的显示设备和方法
CN106663126A (zh) * 2014-09-09 2017-05-10 微软技术许可有限责任公司 用于运动任务分析的视频处理
CN108090247A (zh) * 2016-11-22 2018-05-29 达索系统公司 用于模拟采取姿势特别是用于看目标的姿势的身体的计算机实现的方法
CN108090247B (zh) * 2016-11-22 2023-10-31 达索系统公司 用于模拟采取姿势特别是用于看目标的姿势的身体的计算机实现的方法
CN116261850A (zh) * 2020-06-30 2023-06-13 斯纳普公司 用于实时虚拟效果的骨骼跟踪
US11991469B2 (en) 2020-06-30 2024-05-21 Snap Inc. Skeletal tracking for real-time virtual effects
CN114359469A (zh) * 2022-01-07 2022-04-15 腾讯科技（深圳）有限公司 生成主控对象投影的方法、装置、设备及介质
CN114359469B (zh) * 2022-01-07 2023-06-09 腾讯科技（深圳）有限公司 生成主控对象投影的方法、装置、设备及介质

Also Published As

Publication number Publication date
KR101625259B1 (ko) 2016-05-27
US20100277470A1 (en) 2010-11-04
WO2010126816A2 (en) 2010-11-04
RU2011144152A (ru) 2013-05-10
WO2010126816A3 (en) 2011-03-03
JP2012525643A (ja) 2012-10-22
JP5739872B2 (ja) 2015-06-24
IL215294A (en) 2016-05-31
RU2580450C2 (ru) 2016-04-10
EP2424631A2 (en) 2012-03-07
KR20120020106A (ko) 2012-03-07
IL215294A0 (en) 2011-12-29
BRPI1015282A2 (pt) 2018-02-20
CN102413885B (zh) 2013-07-10
US20120127176A1 (en) 2012-05-24
EP2424631A4 (en) 2013-05-22
CA2757173A1 (en) 2010-11-04
CA2757173C (en) 2017-05-23

Similar Documents

Publication Publication Date Title
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102448562B (zh) 用于跟踪模型的系统和方法
CN102414641B (zh) 改变显示环境内的视图视角
CN102549619B (zh) 人类跟踪系统
CN102448564B (zh) 环境和/或目标分割
CN102947777B (zh) 用户跟踪反馈
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102301398B (zh) 用于捕捉场景的深度信息的设备、方法和系统
CN102448565B (zh) 将骨架数据实时重新定标到游戏化身的系统和方法
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN102576463A (zh) 用于移除图像的背景的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150505

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150505

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130710

Termination date: 20190426