CN102402288A - 用于快速且概率性的骨架跟踪的系统 - Google Patents

用于快速且概率性的骨架跟踪的系统 Download PDF

Info

Publication number
CN102402288A
CN102402288A CN201110286418XA CN201110286418A CN102402288A CN 102402288 A CN102402288 A CN 102402288A CN 201110286418X A CN201110286418X A CN 201110286418XA CN 201110286418 A CN201110286418 A CN 201110286418A CN 102402288 A CN102402288 A CN 102402288A
Authority
CN
China
Prior art keywords
hypothesis
skeleton
expert
body part
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110286418XA
Other languages
English (en)
Other versions
CN102402288B (zh
Inventor
O·威廉姆斯
R·盖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102402288A publication Critical patent/CN102402288A/zh
Application granted granted Critical
Publication of CN102402288B publication Critical patent/CN102402288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明描述了用于快速且概率性的骨架跟踪的系统。公开了用于使用NUI系统来识别和跟踪用户的骨架关节的系统和方法。该系统包括用于建议各自表示给定帧中的用户姿态的一个或多个骨架假设的一个或多个专家。每一专家一般在计算上是花费不高的。该系统还包括用于将来自专家的骨架假设解析成给定帧的最佳状态估计的仲裁者。仲裁者可基于不同的方法对各种骨架假设进行打分。得到最高分的一个或多个骨架假设可作为给定帧的状态估计而返回。可能发生这种情况：专家和仲裁者无法为给定帧解析具有高置信度的单个状态估计。本系统的另一个目标是捕捉任何这样的不确定性作为在怎样使用状态估计时要考虑的一个因素。

Description

用于快速且概率性的骨架跟踪的系统
技术领域
本发明涉及计算机技术，尤其涉及游戏和多媒体应用技术。
背景技术
在过去，诸如计算机游戏和多媒体应用等计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵游戏人物或应用的其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。使用NUI，检测、解释原始关节数据和用户姿势并将其用于控制游戏人物或应用的其他方面。
NUI系统的挑战之一是在图像传感器的视场中区分人并正确地标识他或她的身体部位在视场中的位置。出于这一目的的身体跟踪例程是公知的。然而，这些例程或在计算上花费很高，需要比NUI系统的帧速率内可用的更多的处理时间，或它们在计算上花费不高，但只有一部分时间得出目标用户的正确表示。
发明内容
本文公开了用于使用NUI系统来识别和跟踪用户的骨架关节的系统和方法。解决这一问题的系统可被分解成两个子问题：为图像数据的给定帧标识多个候选假设，然后解析这些假设来选择一个或多个假设作为最佳地表示对应于该帧的用户位置的状态估计。假设由一个或多个专家生成。专家通过各种方法、使用各个信息源来提出可能的骨架假设，这些信息源包括深度数据、从深度数据中推断的身体部位建议以及过去状态估计。每一专家一般在计算上是花费不高且有效的，但可能无法为给定的身体姿态产生准确的结果。在状态估计时，不确定性是系统中固有的。然而，一个或多个专家通常将得到密切匹配用户位置的骨架假设。该系统还包括用于将来自专家的骨架假设解析成给定帧的最佳状态估计的仲裁者。仲裁者可基于不同的方法对各种骨架假设进行打分。得到最高分的一个或多个骨架假设或其组合可作为给定帧的状态估计而返回。可能发生这种情况：专家和仲裁者无法为给定帧解析具有高置信度的单个状态估计。本系统的另一个目标是捕捉任何这样的不确定性作为在怎样使用状态估计时要考虑的一个因素。
在一实施例中，本发明的技术涉及估计状态信息的方法，包括：(a)从视场或由来自一起使用的多个捕捉设备的视场组成的场景接收图像数据；(b)由一个或多个专家产生估计状态信息的一个或多个计算机模型；以及(c)按照仲裁者的一个或多个方法来分析在所述步骤(b)中产生的一个或多个计算机模型，以选择被估计为状态信息的最佳表示的一个或多个计算机模型。
在另一实施例中，本发明的技术涉及用于为所捕捉的图像数据的给定帧生成状态估计的软件流水线，该状态估计表示对在该图像数据中捕捉到的视场中的用户位置的估计。该流水线包括：预处理例程，所述预处理例程用于接收图像数据，可任选地将背景从图像数据移除，以及将前景处理成一个或多个身体部位建议；一个或多个专家，所述一个或多个专家用于接收包括一个或多个身体部位建议的信息并生成多个计算机模型，每一计算机模型表示对在所捕捉的图像数据的给定帧中用户位置的估计；以及仲裁者，所述仲裁者用于接收所述多个计算机模型，按照将所述多个计算机模型对照来自给定帧的深度数据和/或来自在先帧的状态估计数据进行比较的一个或多个方法对计算机模型打分，以及输出被仲裁者估计为最逼近用户在帧中的位置的至少一个计算机模型。
在又一实施例中，本发明的技术涉及能够对处理器编程来执行一种方法的计算机可读存储介质，所述方法包括当用户在捕捉设备的视场内移动时对用捕捉设备所捕捉的用户的身体部位进行跟踪来确定对由捕捉设备所捕捉的图像数据的当前帧中的用户位置的状态估计。该方法包括：(a)从捕捉设备接收图像数据；(b)处理在所述步骤(a)中接收的图像数据来移除背景并为前景中的图像生成身体部位建议；(c)使用在所述步骤(b)中生成的身体部位假设中的至少一个以及来自早先时刻的图像数据来生成多个骨架假设，所述多个骨架假设定义概率分布；(d)在所述概率分布将一个或多个骨架假设指示为可能的状态估计的情况下，基于所述概率分布来选择一个或多个骨架假设作为最有可能的状态估计；以及(e)在所述概率分布未将一个或多个骨架假设指示为可能的状态估计的情况下，指示没有为图像数据的帧确定状态估计。
提供本发明内容以便以简化形式介绍在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。
附图说明
图1A示出了目标识别、分析和跟踪系统的示例实施例。
图1B示出了目标识别、分析和跟踪系统的另一示例实施例。
图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3示出了用于表示人类目标的示例性身体模型。
图4示出了用于表示人类目标的示例性骨架模型的基本上正面的视图。
图5示出了用于表示人类目标的示例性骨架模型的斜视图。
图6示出了根据本发明的技术的一个实施例的用于跟踪目标的流水线。
图7是本发明的技术的一实施例的高级操作的流程图。
图8是本发明的技术的一个实施例的流水线的不同层的堆叠图。
图9是根据本发明的技术的一个实施例的第一专家的操作的流程图。
图10A和10B是用在两个不同位置中的用户的第一专家生成的两个骨架假设的图像。
图11是根据本发明的技术的一个实施例的第二专家的操作的流程图。
图12是根据本发明的技术的另一实施例的第二专家的操作的流程图。
图13A和13B是用在两个不同位置中的用户的第二专家生成的两个骨架假设的图像。
图14是根据本发明的技术的一个实施例的仲裁者的第一方法的操作的流程图。
图15是根据本发明的技术的一个实施例的仲裁者的第一方法的迹线和突出性测试而采用的样本的图像。
图16是根据本发明的技术的一个实施例的仲裁者的第二方法的操作的流程图。
图17是根据本发明的技术的一个实施例的仲裁者的第三方法的操作的流程图。
图18是根据本发明的技术的一个实施例的仲裁者的第四方法的操作的流程图。
图19A示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。
图19B示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。
具体实施方式
现在将参考附图1A-19B来描述本发明的技术的各实施例，这些实施例一般涉及用于生成由NUI系统中的图像传感器所捕捉的目标用户的计算机模型的流水线。计算机模型，也被称为状态估计，可为所捕捉的图像数据的每一帧生成一次，并表示对在所捕捉的帧期间用户位置(包括姿态)的最佳估计。为每一帧生成的状态估计可由游戏或其他应用程序使用来将其确定为用户姿势和控制动作。状态估计还可被反馈回到流水线中以帮助将来状态估计。
可基于原始图像数据、被处理成身体部位建议的图像数据和/或历史状态估计，每帧(或其他时间段)生成一次状态估计。该系统包括用于生成多个候选模型或假设的模型拟合例程，以及用于选择被估计为最佳地适合用户位置的一个或多个假设的模型解析例程。
模型拟合例程运行多个在计算上花费不高的跟踪例程，被称为专家，这些例程接收原始图像数据、身体部位建议和历史状态数据，这些专家从中生成一个或多个假设。在各实施例中，假设是骨架假设，各自表示多个目标用户关节的位置，这些关节一起形成了用户位置的估计骨架。取决于包括给定帧中的用户姿态在内的各种因素，专家能够导出骨架假设，包括表示具有不同的成功程度的真实的用户姿态的关节位置数据。每一专家可生成一个或多个骨架假设以及这些假设被认为有多好的指示，该指示由不同假设的概率分布来表示。
如果概率分布指示各种骨架假设彼此相关且接近，则这是一种骨架假设已经接近正确地对对应于该时间帧的真实的用户姿态进行建模的良好指示。如果在概率分布中存在两个或更多假设群集，则在两个或更多不同解之间可能存在不确定性。类似地，如果在概率分布中的骨架假设之间没有一致性，则可能再次存在关于解的不确定性。
骨架假设以及这些骨架假设被认为有多好的指示被反馈给解析例程，在文中被称为仲裁者。仲裁者可包括各种打分方法，这些方法跨概率分布来评估各种骨架假设。一般地，仲裁者可测试骨架假设与深度数据和/或历史状态估计匹配地有多好。这些测试可度量给定骨架假设中的点是否存在于实际深度数据中。这些测试还可度量骨架假设对可用数据解释得有多完整，即，深度数据中是否存在骨架假设未解释的附加点。仲裁者还可包括基于运动学(关节的静态配置)和运动(随着时间的状态变化)来对骨架假设打分的打分子例程。这些子例程惩罚骨架假设中不太可能的关节配置(例如，非法关节角度或骨头长度)和不太可能的转换(例如，不现实的快速加速度)。
基于仲裁者对来自专家的骨架假设的打分，仲裁者输出由视场(FOV)中所捕捉的用户图像表示的正确骨架配置的最佳估计。虽然以下描述用于对一个捕捉设备的视场的图像捕捉，但可以理解，本发明的技术还可应用于捕捉由来自多个捕捉设备的视场组成的场景。专家和仲裁者为所捕捉的图像数据的每一帧(或某一其他预定义重复时间段)执行这些功能。在各实施例中，仲裁者包括骨架假设，维护所有的假设作为可能的最佳输出直到它被要求输出单个最佳假设。以此方式，在按仲裁者中的所有方法进行分析之后，从解集中消去骨架假设。NUI系统可用各种方式来使用仲裁者的输出，包括动画化用户的屏幕上化身和/或确定用户是否执行了特定的已知姿势。仲裁者的输出还被反馈回到流水线中作为在为后续帧生成骨架假设时使用的数据。
最初参考图1A-2，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等的人类目标。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用的计算环境12。计算环境12可以包括硬件组件和/或软件组件，以使得计算系统12可以用于执行诸如游戏应用和非游戏应用之类的应用。在一个实施例中，计算环境12可以包括诸如标准化处理器、专用处理器、微处理器等之类的处理器，该处理器可以执行存储在处理器可读存储设备上的用于执行在此所述的过程的指令。
系统10还包括捕捉设备20，该捕捉设备20用于捕捉与由捕捉设备所感测的一个或多个用户和/或对象有关的图像和音频数据。在各实施例中，捕捉设备20可以用于捕捉与一个或多个用户的部分或全部身体移动、姿势和语音相关的信息，所述信息被计算环境接收并且被用于呈现游戏或其他应用的各方面、与游戏或其他应用的各方面交互和/或控制游戏或其他应用的各方面。下面更详细地解释计算环境12和捕捉设备20的示例。
目标识别、分析和跟踪系统10的各实施例可以连接到具有显示器14的音频/视觉(A/V)设备16。设备16可以是例如可以向用户提供游戏或应用视觉和/或音频的电视机、监视器、高清电视机(HDTV)等等。例如，计算环境12可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏或其他应用相关联的音频/视觉信号。A/V设备16可以从计算环境12接收音频/视觉信号，并且然后可以向用户18输出与该音频/视觉信号相关联的游戏或应用视觉和/或音频。根据一个实施例，音频/视觉设备16可以经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等等连接到计算环境12。
在各实施例中，计算环境12、A/V设备16和捕捉设备20可以协作以在显示器14上呈现化身或屏幕上的人物19。例如，图1A示出用户18正在玩足球游戏应用程序。跟踪并使用用户的移动来动画化化身19的移动。在各实施例中，化身19模仿用户18在现实世界空间中的移动，以使得用户18可以执行控制化身19在显示器14上的移动和动作的移动和姿势。在图1B中，在NUI系统中使用捕捉设备20，其中，例如，用户18正在滚动和控制具有呈现在显示器14上的各种菜单选项的用户界面21。在图1A中，计算环境12和捕捉设备20可用于识别和分析用户身体的移动和姿势，且这些移动和姿势可被解释为对用户界面的控制。
图1A-1B的实施例是可以在计算环境12上运行的许多不同应用中的两个，并且在计算环境12上运行的应用可以是各种其他的游戏和非游戏应用。
图1A-1B包括静态的背景对象23，诸如地板、椅子和植物。这些是在捕捉设备20所捕捉的FOV中的对象，但不逐帧改变。除了所示的地板、椅子和植物，静态对象可以是捕捉设备20中的图像照相机拾取的任何对象。场景中的附加静态对象可包括任何墙、天花板、窗、门、墙面装饰等。
系统10及其组件的适合的示例在以下共同待审的专利申请中找到，所有这些专利申请都特此通过引用并入本申请：于2009年5月29日提交的名称为“Environment And/Or Target Segmentation(环境和/或目标分割)”的美国专利申请序列号No.12/475,094；于2009年7月29日提交的名称为“AutoGenerating a Visual Representation”(自动生成视觉表示)”的美国专利申请序列号No.12/511,850；于2009年5月29日提交的名称为“Gesture Tool(姿势工具)”的美国专利申请序列号No.12/474,655；于2009年10月21日提交的名称为“Pose Tracking Pipeline(姿态跟踪流水线)”的美国专利申请序列号No.12/603,437；于2009年5月29日提交的名称为“Device for Identifying andTracking Multiple Humans Over Time(用于随时间标识和跟踪多个人类的设备)”的美国专利申请序列号No.12/475,308；于2009年10月7日提交的名称为“Human Tracking System(人类跟踪系统)”的美国专利申请序列号No.12/575,388；于2009年4月13日提交的名称为“Gesture Recognizer SystemArchitecture(姿势识别器系统架构)”的美国专利申请序列号No.12/422,661；于2009年2月23日提交的名称为“Standard Gestures(标准姿势)”的美国专利申请序列号No.12/391,150；以及于2009年5月29日提交的名称为“GestureTool(姿势工具)”的美国专利申请序列号No.12/474,655。
图2示出了可以在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。在一个示例性实施例中，捕捉设备20可以被配置为经由任何合适的技术来捕捉具有可以包括深度值的深度图像的视频，这些技术包括例如飞行时间、结构化光、立体图像等等。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。X和Y轴可被定义为与Z轴垂直。Y轴可以是垂直的而X轴可以是水平的。X、Y和Z轴一起定义了捕捉设备20所捕捉的3-D真实世界空间。
如图2所示，捕捉设备20可包括图像照相机组件22。根据一个示例实施例，图像照相机组件22可以是可捕捉场景的深度图像的深度照相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的物体距照相机的长度或距离。
如图2所示，根据一个示例性实施例，图像照相机组件22可以包括可以用于捕捉场景的深度图像的IR光组件24、三维(3-D)照相机26，以及RGB照相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D照相机26和/或RGB照相机28，来检测从场景中的一个或多个目标和物体的表面反向散射的光。
在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕获设备20到目标或物体上特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即被显示成诸如网格图案或条纹图案的已知图案的光)可以经由例如IR光组件24被投射到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这样的变形可以被例如3-D照相机26和/或RGB照相机28捕捉，然后可以被分析以确定从捕捉设备20到目标或物体上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的照相机，以获取可以被解析以生成深度信息的视觉立体数据。在另一示例实施例中，捕捉设备20可使用点云数据(point cloud data)和目标数字化技术来检测用户的特征。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析和跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备20还可以包括可与图像照相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D照相机或RGB照相机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像照相机组件22和处理器32通信的单独的组件。根据另一实施例，存储器组件34可以集成到处理器32和/或图像照相机组件22中。
如图2所示，捕捉设备20可以经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。
另外，捕捉设备20可提供由例如3-D照相机26和/或RGB照相机28所捕捉的深度信息和图像。有了这些设备的帮助，可开发根据本发明的技术的部分骨架模型，经由通信链路36将所得数据提供给计算环境12。
计算环境12还可包括用于如下所解释地识别姿势的姿势识别引擎190。根据本系统，计算环境12还可包括一个或多个专家194和仲裁者196。专家194是用于生成骨架假设的一个或多个软件例程。仲裁者196是用于分析骨架假设并选择被估计为由捕捉设备20捕捉的用户的真实骨架配置的最佳表示的骨架假设的软件例程。专家194和仲裁者196的各部分可用硬件或硬件和软件的组合来实现。下面更详细地解释专家194和仲裁者196。
图3示出了示例身体模型70的非限制性视觉表示。身体模型70是被建模的目标(例如，图1A和1B的游戏玩家18)的机器表示。该身体模型可包括一个或多个数据结构，这些数据结构包括以游戏或其他应用/操作系统的语言来共同定义被建模的目标的一组变量。
目标的模型可在不脱离本发明的范围的情况下不同地配置。在某些示例中，模型可包括将目标表示为包括刚性和/或可变形形状、或身体部位的三维模型的一个或多个数据结构。每一身体部位可被表征为数学图元，其示例包括但不限于球体、各向异性地缩放的球体、圆柱体、各向异性圆柱体、平滑圆柱体、方形、斜面方形、棱柱等。
例如，图3的身体模型70包括身体部位bp1到bp14，其每一个都表示被建模的目标的一不同部分。每一身体部位是一三维形状。例如，bp3是表示被建模的目标的左手的矩形棱柱，而bp5是表示被建模的目标的左上臂的八面棱柱。身体模型70的示例性表现在身体模型可包含任何数量的身体部位，其每一个都可以是被建模的目标的对应部分的任何机器可理解的表示。
包括两个或更多个身体部位的模型还可包括一个或多个关节。每一关节可允许一个或多个身体部位相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，其中某些身体部位可表示人类目标的对应的解剖学身体部位。此外，该模型的每一身体部位可包括一个或多个结构件(即，“骨骼”或骨架部位)，且关节位于相邻骨骼的交叉点处。可以理解，某些骨骼可对应于人类目标中的解剖学骨骼，和/或某些骨骼在人类目标中可能不具有对应的解剖学骨骼。
骨骼和关节可共同构成骨架模型，它们可以是该身体模型的构成元素。在某些实施例中，骨架模型可代替另一类型的模型，诸如图3的模型70来使用。骨架模型可包括对应于每一身体部位的一个或多个骨架构件以及相邻骨架构件之间的关节。示例性骨架模型80和示例性骨架模型82分别在图4和5中示出。图4示出了从正面看的具有关节j1到j33的骨架模型80。图5示出了从斜视图看的也具有关节j1到j33的骨架模型82。
骨架模型82还包括滚动关节j34到j47，其中每一滚动关节可用于跟踪轴向滚动角。例如，轴向滚动角可用于相对于其父肢和/或躯干来定义肢的旋转定向。例如，如果骨架模型示出手臂的轴向旋转，则可使用滚动关节j40来指示相关联的腕所指向的方向(例如，手掌向上)。通过检查肢相对于其父肢和/或躯干的定向，可确定轴向滚动角。例如，如果正在检查小腿，则可检查小腿相对于相关联的大腿和髋部的定向以便确定轴向滚动角。
骨架模型可在不背离本发明的精神的情况下包括更多或更少的关节。在下文中解释的本系统的其他实施例使用具有31个关节的骨架模型来操作。
如上所述，某些模型可包括用作被建模的目标的机器表示的骨架和/或其他身体部位。在某些实施例中，模型可另选地或另外地包括线框网格，该线框网格可包括刚性多边形网格、一个或多个可变形网格或两者的任意组合的分层结构。
上述身体部位模型和骨架模型是可用作被建模的目标的机器表示的非限制示例模型类型。其他模型也在本发明的范围之内。例如，某些模型可包括多边形网格、片、非均匀理性B样条、细分表面、或其他高阶表面。模型还可包括表面纹理和/或其他信息来更准确地表示被建模的目标的衣着、头发和/或其他方面。模型可任选地包括与当前姿态、一个或多个过去的姿态和/或模型物理学有关的信息。应该理解，可摆姿态的各种不同的模型与本文描述的目标识别、分析和跟踪是兼容的。
如上所述，模型用作诸如图1A和1B中的游戏玩家18等目标的表示。当目标在物理空间中移动时，来自诸如图1A和1B中的深度照相机20等捕捉设备的信息可用于调整每一帧中的模型的姿态和/或基本大小/形状，以使其准确地表示该目标。
图6示出用于跟踪一个或多个目标的示例流水线140的流程图。在各实施例中，目标可以是人类游戏玩家。虽然在下文中参考跟踪单个目标来描述本发明的技术的各实施例，但本发明的技术可用于在其他实施例中跟踪一个以上的目标。流水线140可由计算系统(例如，计算环境12)执行来跟踪正与游戏或其他应用交互的一个或多个玩家。如以上所介绍的，对玩家的跟踪允许将这些玩家的物理移动用作调整和/或控制游戏或其他应用的参数的实时用户控制。利用流水线140返回的信息的游戏或其他应用对于本系统并不重要，且所公开的流水线可用于出于各种其他目的来跟踪人类目标或非人类目标。
流水线140可用于准确且高效地跟踪出现在一个深度照相机(或若干个深度照相机)的FOV中的一个或多个人类。流水线可实时地对一个或多个人类进行建模和跟踪，因此向正被跟踪的人类提供了有响应的、身临其境的且真实的体验。此外，流水线被认为是高效的，从而限制用来执行流水线的计算资源。
流水线140包括六个概念上的阶段：深度图像获取142、背景移除144、前景像素分配146、模型拟合148(使用一个或多个专家194)、模型解析150(使用仲裁者196)和报告输出152。深度图像获取142、背景移除144和前景像素分配146可全部被认为是图像数据的预处理的一部分，在本文中也被称为光栅化。
深度图像获取142可包括从捕捉设备20的深度照相机26接收FOV中的目标的观察到的深度图像。观察到的深度图像可以包括多个观察到的像素，其中每个观察到的像素具有观察到的深度值。观察到的深度值包括从源查看到的目标的深度信息。深度图像可任选地被表示为像素矩阵，该像素矩阵包括对应于每一像素地址、指示从深度照相机的平面或另一合适的基准平面到该像素地址处的表面的世界空间深度的深度值。
如图6的154处所示，深度图像获取142可任选地包括将观察到的深度图像降采样到较低的处理分辨率。降采样到较低的处理分辨率可允许以更少的计算开销来更容易地使用和/或更快速地处理观察到的深度图像。降采样的一个示例是用常常被称为重复分割的技术来将像素分组成小块(patch)。小块可被选择成具有近似恒定的深度且大致等于世界空间区域。这意味着离照相机越远的小块在图像中看上去越小。所有关于深度图像的后续推理可按照小块而非像素来表达。如所指示的，将像素分组成小块的降采样步骤154可被跳过以使得流水线用来自各个像素的深度数据来工作。
如图6的156处所示，深度图像获取142可任选地包括从观察到的深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值。观察到的深度图像中的此类高变度和/或含噪声的深度值可源自多个不同来源，如在图像捕捉过程期间发生的随机和/或系统性误差、因捕捉设备而导致的缺陷和/或畸变，等等。由于此类高变度和/或含噪声的深度值可以是图像捕捉过程的伪像，因此在图像的任何将来的分析中包括这些值会使结果偏斜和/或使计算变慢。由此，移除此类值可为将来的计算提供更好的数据完整性和/或速度。
背景移除144可包括将观察到的深度图像中的要跟踪的人类目标与非目标、背景元素进行区分。如本文所使用的，术语“背景”用来描述场景中不作为要被跟踪的目标的一部分的任何事物。背景可例如包括图1A和1B中的地板、椅子和植物23，但一般可包括在要被跟踪的目标之前(即，离深度照相机较近)或之后的元素。将要跟踪的前景元素与可被忽略的背景元素进行区分可提升跟踪效率和/或简化下游处理。
背景移除144可包括向所处理的深度图像的每一数据点(例如，像素)分配一值，该值可被称为玩家索引，该玩家索引将数据点标识为属于特定目标或非目标背景元素。在使用这种方法时，将被分配为背景索引的像素或其他数据点可从流水线140的一个或多个后续阶段的考虑中移除。作为示例，与第一玩家相对应的像素可被分配等于1的玩家索引，与第二玩家相对应的像素可被分配等于2的玩家索引，而不与目标玩家相对应的像素可被分配等于0的玩家索引。这些玩家索引可按任何合适的方式存储。在某些实施例中，像素矩阵可在每一像素地址处包括指示在该像素地址处的表面属于背景元素、第一玩家还是第二玩家等的玩家索引。玩家索引可以是指示像素属于特定目标和/或背景的概率的离散索引或模糊索引。
像素可按各种方法被分类为属于目标或背景。某些背景移除技术可使用来自一个或多个先前帧的信息来帮助和提高背景移除的质量。例如，可从深度信息的两个或更多帧中导出深度历史图像，其中每一像素的深度值被设为该像素在样本帧期间所经历的最深的深度值。可使用深度历史图像来从不移动的背景元素中标识场景的前景中的移动对象(例如，人类游戏玩家)。在给定帧中，移动前景像素可能具有与深度历史图像中的相对应的深度值(在相同像素地址处的)不同的深度值。在给定帧中，不移动的背景像素可能具有与深度历史图像中的相对应的深度值匹配的深度值。
作为一个非限制性示例，可使用连接岛背景移除。该技术例如在2009年10月6日提交的美国专利申请第12/575,363号中描述，该申请整体通过引用结合于此。可使用另外的或另选的背景移除技术来向每一数据点分配玩家索引或背景索引，或者以其他方式来对前景目标和背景元素进行区分。在某些实施例中，可标识背景的特定部分。例如，在图6的158处，场景中的地板可被标识为背景的一部分。除了在处理前景目标时将其从考虑中移除之外，所发现的地板可用作基准表面，该基准表面可用来准确地在游戏空间中定位虚拟对象、停止作为生成连接岛的一部分的泛色填充、和/或如果中心太靠近地板平面则拒绝岛。用于检测FOV中的地板的技术例如在2009年9月21日提交的美国专利申请第12/563,456号中描述，该申请整体通过引用结合于此。可使用其它地板发现技术。
可使用另外的或另选的背景移除技术来向每一数据点分配玩家索引或背景索引，或者以其他方式来对前景目标和背景元素进行区分。例如，在图6中，流水线140包括坏的身体拒绝160。在某些实施例中，最初被标识为前景对象的对象可能因为它们不与任何已知目标相似而被拒绝。例如，可按基本准则来测试最初被标识为前景对象的对象，该基本准则是要出现在要被跟踪的任何对象(例如，头部和/或躯干可标识的、在预定容差以内的骨头长度等)中。如果最初被标识为候选前景对象的对象未通过该测试，则它可被重新分类为背景元素和/或经受其他测试。以此方式，不被跟踪的移动对象，诸如被推入场景中的椅子，可被分类为背景元素，因为这些元素不与人类目标相似。在例如流水线140正在跟踪目标对象18且第二用户进入FOV的情况下，流水线可花费若干帧来确认新的用户实际上是人类。此时，可代替目标用户来跟踪新的用户或除了目标用户之外跟踪新的用户。
在将前景像素与背景像素进行区分之后，流水线140还对被认为与要被跟踪的前景对象相对应的像素进行分类。具体地，在图6的前景像素分配146处，分析每一前景像素来确定前景像素可能属于目标用户的身体的什么部位。在各实施例中，背景移除步骤可被忽略，且用例如通过相对于过去的帧的移动等其他方式来确定前景对象。
可使用各种不同的前景像素分配技术来评估特定像素可能属于玩家目标的身体的哪个部位或身体的机器表示的哪个部位。在若干可能的实施例中的一个中，身体部位建议系统运行Exemplar(样例)，它是用于接收二维深度纹理图像并按关于图像中的具体身体部位的正确标识的概率来生成身体部位建议的一种已知技术。具体地，每一前景像素可被分配身体部位索引和/或身体部位概率分布。Exemplar使用从在先训练的已知姿态集中习得的信息来分析前景对象。可使用这种方法来在没有任何在先状态信息的情况下(即，不需要在先帧的知识)向每一前景像素分配身体部位索引或分布。可采用各种其他无状态机器学习技术来按给定置信将像素分配到不同的身体部位。
返回图6，一旦完成了深度图像获取142、背景移除144和前景像素分配146，流水线140执行模型拟合148来标识用作玩家目标18的机器表示的骨架假设，以及模型解析150来从这些骨架假设之中选择被估计为玩家目标18的最佳机器表示的一个(或多个)假设。模型拟合步骤148由一个或多个专家194执行，而模型解析步骤150由仲裁者196执行。一个或多个专家194和仲裁者196的其他细节现在将参考图7来更详细地解释。
一般地，本系统阐述了用于通过推断在时间t时的状态估计向量xt来跟踪(即，随着时间估计)关节连接的骨架模型的配置，该状态估计向量包含每一个被跟踪的点的三维位置。在各实施例中，本系统可跟踪31个与人类身体上的位置相对应的三维点的位置，但可以理解，本系统可在其他实施例中跟踪更多或更少的点。每一点具有笛卡儿空间中的三个自由度。因此，在跟踪31个点的实施例中，骨架完全由在时间步骤t处可被表示为状态估计向量xt的93个值来指定。
在各实施例中，状态估计向量xt可从不同的源中导出，这些源包括如上所述的在每一离散时间步骤获得的被表示为{z1...zt}的深度数据。状态估计向量xt还可来自被表示为D的动态状态数据的历史知识。具体地，D包含关于来自在先帧的位置和运动的状态估计向量信息，包括例如关节的可能配置以及关节位置随着时间的可能迹线。
任何跟踪器的输出只是估计；有时较准确、有时较不准确，但总带有某一程度的不确定性。鉴于此，建议的状态可根据它有多好的信任来被考虑，由概率分布表示：
f(xt)＝P(现在骨架|所有深度数据和动态)＝P(xt|z1，...，zt，D)
函数f(xt)，在本文中被称为信任函数，将指示建议的状态有多好的概率分数分配给建议的状态；即，建议的状态被认为有多密切地匹配真实的状态估计向量xt。信任函数f(xt)不仅捕捉关于给定时间的可能状态的信息，还捕捉关于不确定性的信息。对全部可能的xt值考虑完整的分布f(xt)可能是不实际的。相反，状态估计由一组经过采样的骨架假设
Figure BSA00000580964000161
来逼近，其中每一假设表示在给定该数据的情况下可能真实的骨架的机器表示。这种逼近的准确性将随着骨架假设的数量n的增加而提升。然而，随着n增加，计算成本也随之增加。
因此，在常规跟踪系统可采用成千上万个样本或更多个样本的情况下，本系统通过选择较少数量的骨架假设来操作，例如，用于Xt的10和100之间个骨架样本。在其他实施例中可以存在更多或更少的样本。给定本系统的各实施例跟踪93维的空间，这是较小数量的样本。然而，代替选择随机样本，本系统可采用下文中解释的专家194，专家194利用包括深度数据{z1...zt}和历史骨架运动数据D来提升搜索一组建议的骨架假设的智能。
图7是用于获得给定帧或其他时间段的用户18的模型(例如，图3和4的骨架模型70)的本系统的一实施例的高级操作的流程图。如上所述，除了骨架关节之外或代替骨架关节，该模型可包括一个或多个多边形网格、一个或多个数学图元、一个或多个高阶表面、和/或用于提供目标的机器表示的其他特征。此外，该模型可作为计算系统上存在的一个或多个数据结构的实例来存在。
在步骤200中，本系统提出m个骨架假设，该m个骨架假设由专家194使用某些或全部可用信息来生成。如所指示的，至少某些时候，这些专家是基于他们提供良好状态估计的能力来选择的。接着在步骤202中，对于每一骨架假设，仲裁者196使用信任函数f(xt)来计算分数。
在步骤206中，从步骤200的m个建议中填充该组n个经采样的骨架假设Xt。给定骨架假设可被选入经采样的集合Xt的概率与步骤202中仲裁者所分配的分数成比例。因此，一旦执行了步骤200-206，由仲裁者分配高概率的专家建议与被分配低概率的建议相比更可能出现在输出集合Xt中。以此方式，Xt将朝良好状态估计移动。随后在步骤208中，来自经采样的集合Xt的一个或多个样本骨架假设(或其组合)可被选择作为所捕捉的数据的该帧或其他时间段的输出。
如果经采样的集合Xt中的分布未指示被认为密切匹配状态估计向量xt的一个或多个估计，则代替来自集合Xt的一个或多个样本骨架假设或除了来自集合Xt的一个或多个样本骨架假设之外可返回该信息。具体地，在各实施例中，当信任函数f(xt)给出的数据是明确的(Xt的各成员彼此相似)，则这是一种强指示符，指示经采样的骨架假设中的一个或多个是真实状态估计向量xt的良好指示符。然而，可能还存在这样的情况：(至少部分的)骨架存在多种可能性。例如，Xt中可能存在两个或更多群集，在这种情况下，可得出结论：在若干不同的解之间存在不确定性。还可能发生这样的情况：Xt的各成员之间没有一致性。这是这样的一种指示：对状态以及系统能相应地进行动作几乎不存在确定性，知道系统无法产生任何具有置信的单个估计。
现在参考图8，预处理层170接收深度数据，可任选地移除FOV的背景，并且使用例如Exemplar将像素分配到候选身体部位。这些过程中的每一个已经在上文中参考图6进行了描述。可将来自预处理层170的数据提供给一个或多个专家194。专家194还可接收历史状态估计和/或基于历史状态估计的运动预测。具体地，在一实施例中，仲裁者的先前帧输出在标识用户的骨架配置的机器表示的最佳估计时被反馈回预处理层170，并且在专家194中的一个或多个生成当前帧的骨架假设时被使用。在其他实施例中，可将两个或更多先前帧的输出反馈回预处理层170。在这样的实施例中，专家还可基于一个或多个身体部位的移动模式来内插或预测用户18的一个或多个身体部位的运动。
如上所述，一个或多个专家194从预处理层170接收数据，并且从该数据中，一个或多个专家194生成用作玩家目标的机器表示的多个骨架假设。如上所述，专家可生成相对较少数量的骨架假设。然而，使用经预处理的数据来得出估计，专家能够提供通常提供了对用户位置的良好近似的一个或多个骨架假设。一些专家可能更善于逼近用户的第一位置，而其他专家可能更善于逼近用户的第二不同的位置。除了提供骨架假设本身之外，骨架假设组Xt得到概率分布，该概率分布指示骨架假设中的一个或多个表示用户的身体部位的真实位置的置信度。
以上描述了可在本系统的各实施例中使用的某些样本专家194。在其他实施例中，上述的样本专家中的某些可被忽略和/或代替以下描述的样本专家或除了以下描述的样本专家之外可使用其他专家。虽然各实施例可使用多个专家，但构想了在其他实施例中使用单个专家194。此外，专家194可彼此结合使用。即，专家可在不同层中使用，来自一个或多个专家的输出用作一个或多个其他专家的输入。在这样的实施例中，可在将骨架假设或其他数据提供给第二层的第一层中或者在从第一层接收骨架假设或其他数据的第二层中使用给定专家。
第一样本专家194被称为基于质心的关节合成骨架生成器专家194a。如图9的流程图所指示的，该专家通过首先查看来自经预处理的数据的身体部位建议(步骤210)随后将身体部位建议组合成完整的骨架(步骤212)来生成骨架假设。在步骤210中，Exemplar的像素级概率分布被转换成对完整的93维骨架的质心建议。在标记像素时仅使用局部信息的Exemplar可能是关于单个身体部位的全局信息的不可靠源。例如，Exemplar可能难以对左手和右手进行区分。质心生成是一种用于接收二维深度纹理图像的Exemplar数据并从该数据中生成附有概率的多个关节位置的已知技术。对于每一身体部位，这些关节位置标识特定身体部位在图像内的多个候选位置。
在各实施例中，为所跟踪的31个点中的每一个生成质心，尽管再一次，在其他实施例中，可能存在多于或少于31个所跟踪的点。各个骨架点可与人类目标的实际关节、人类目标的肢端的末端、和/或不与人类目标在解剖上直接链接的点相对应。Exemplar和质心生成只是用于标识图像中的身体部位的一个示例，并且应该理解，可使用各种各样的其他无状态方法(即，不是基于过去的状态估计)中的任一个来产生身体部位位置建议。可为每一身体部位计算一个或多个质心候选。即，对于每一身体部位b∈[1，31]，该过程为该部位生成mb≥0个候选位置：
Figure BSA00000580964000181
可能发生这样的情况：由于遮挡或另一子系统中的故障或某种其他问题导致良好候选节点未作为输入被建议。为处理这种情况，每一关节的候选集用与“未知”响应相对应的“空”候选ub (0)来扩充。在基于质心的关节合并骨架生成器专家194a中，空候选被分配较小但非零的一元势函数值(在下文中解释)。这意味着存在对将关节分配为空的惩罚，但在如果这样做释放了模型中的其他关节以形成更好的配置的情况下可选择这么做。
基于质心的关节合并骨架生成器专家194a的步骤212涉及通过为每一身体部位选择一个候选来从质心数据中形成完整的骨架。在良好骨架的所有可能的候选组合中进行搜索是极其昂贵的。然而，基于质心的关节合并骨架生成器专家194a可使用这样一种函数，其中骨架的各关节被安排为树结构，躯干是主树干，而头、手臂和腿的关节按非循环(loopless)的方式从躯干延伸出来。以此方式，可能通过快速、多项式-时间动态编程找到一个或多个最优骨架(或可能的样本)。动态编程的一个示例使用韦特比(Viterbi)算法，例如AJ Viterbi在IEEE信息理论学报，13(2)：260-269(1967年4月)上的“Error Bounds ForConvolutional Codes And An Asymptotically Optimum Decoding Algorithm(用于卷积码的误差界限和渐进地最优解码算法)”中描述的，该论文整体通过引用结合于此。一般地，给定良好骨架的候选可被安排为非循环树结构的约束，韦特比算法描述了用于寻找最优、最低成本的相邻候选质心的连接的解。
具体地，对于31个候选的每一组合，可根据以下模型来分配概率：
f ( x t ) = f ( u 1 . . . u 31 ) = 1 z Π b = 1 31 Φ ( u b ) · Π ( i , j ) ∈ N Ψ ( u i , u j )
一元势Φ(ub)是从用于生成该一元势的Exemplar数据中导出的对应于部位的每一候选位置的权重。N是作为邻居的所有身体部位对的集合；例如，手连接到腕，肩连接到胸和上臂等。每一邻居对具有对它们的相对位置进行加权的二元势Ψ(ui，uj)。这可基于点之间的距离以及该距离有多密切地匹配预期骨头长度。通过选择集合N的成员以使得互相连接的身体部位图的连接没有循环，可能高效地获得具有最大概率的配置或从概率分布中生成样本。
应该理解，可在基于质心的关节合并骨架生成器专家194a中使用除了韦特比算法之外的其他算法。在另一示例中，在从f(xt)给出的概率分布中取随机样本的情况下，可使用基于概率的信任传播模型。在韦特比算法提供最优解的情况下，基于概率的信任传播模型将在最优解处或在最优解附近找到解。
图10A和10B示出从基于质心的关节合并骨架生成器专家194a中导出的一对样本骨架假设300。图10A的假设是为一般面向捕捉设备20的对象而生成的，而图10B的假设是为转向相对于捕捉设备20的一边的对象而生成的。如可以看见的，基于质心的关节合并骨架生成器专家194a将与步骤210中的候选身体部位输出相对应的点连接起来。在图10B的示例中，在背后的手臂有部分被分配为空(并且因此未被呈现出来)。图10B中的前向手臂上的手也以不现实的角度被向后弯曲；通过仅对骨头长度进行建模，该特定模型不具有推理出关于如上所述这样的角度的数据。应注意，这仅仅是一个建议。来自模型的其他样本将不同地连接各点。图10A和10B的骨架假设仅作为示例，且基于质心的关节合并骨架生成器专家194a可为不同的用户位置生成各种各样的其他骨架假设中的任一种。
上述专家利用无状态(Exemplar)数据。专家的其他实施例可利用有状态数据，诸如历史状态估计数据。一个这样的专家是在先状态专家194b。如上所解释的，本系统的目的是得出例如每一帧或其他时间段的给定状态估计向量xt。因此在给定时间t，来自一个或多个在先帧的状态估计向量，xt-1，xt-2等可能是可用的。从在先时间标识的点的随机采样或完整采样中，可能推断出当前时间帧的骨架假设。
如图11的流程图所示，在步骤214中可检查来自在先时间的一个或多个点。可能发生这种情况：在先时间跟踪的关节位于与当前点(如当前深度图或新的质心所指示的)相同的位置处(x、y和深度z)。从中，在先状态专家194b可推断出各点是相同的，并且在步骤216中，将在来自过去的该位置处的关节的身份分配给当前在该位置处的点。
此外，如图12的流程图所示，可能发生这种情况：给定经过两个或更多在先时间段所跟踪的关节的运动，可内插当前时间段的点的位置(步骤218和220)。在步骤222中，如果在该内插位置处发现当前时间的点(由当前深度图或新的质心指示)，则在先状态专家194b可推断在内插位置处的点与在在先时间段中标识的是同一关节。使用图11和12的过程，在先状态专家194b能够确定一个或多个骨架假设。
在图13A和13B中示出由在先状态专家194b确定两个骨架假设180的示例。分别从在图12A和图12B中的假设300中建模的同一用户18中生成图13A和图13B的假设。仅基于运动(未使用来自Exemplar或深度图像的任何信息)，可以看见该假设如何正确地预测某些身体部位的位置，但不正确地预测其他身体部位的位置。再一次，生成多个这样的骨架假设，并且来自模型的其他样本与在先帧中不同地将点连接起来。图13A和13B的骨架假设仅作为示例，且在先状态专家194b可为不同的用户位置生成各种各样的其他骨架假设中的任一种。
在先状态专家194b的轻微变型是磁性专家194c。可能发生这样的情况：在时间t处所标识的点接近在t-1处发现的带有相同标识的点。在这种情况下，磁性专家194c可将在在先时间标识的点咬合到当前位置。磁性涉及将骨架特征(诸如手)的位置从先前的一个或多个帧“咬合”到新的深度图的概念。例如，如果在先前的帧中为用户标识了左手且该手是孤立的(未触碰任何东西)，则磁性可使用新的深度图来准确地更新该手在当前帧中的位置。另外，在手移动的情况下，跟踪该手在两个或更多先前帧期间的移动可提供对其在新的帧中的位置的良好估计。
该所预测的位置可立即用作手建议(如在先状态专家194b所提供的)。另外地或另选地，使用磁性专家194c，该所预测的位置可被咬合至当前的深度图上以产生较佳地匹配当前帧的另一手建议。可对多个关节执行这种将在先关节位置咬合到更新的位置，并且磁性专家194c和在先状态专家194b可单独地或彼此组合工作地生成多个骨架假设。咬合到更新的位置还可基于恰超过诸如手之类的末端的点。该特征在2010年6月29日提交的题为“Skeletal JointRecognition And Tracking System(骨架关节识别和跟踪系统)”(卷宗号MS329978.01)的美国专利申请第12/825,657中描述，该申请整体通过引用结合于此。
磁性专家194c的推论是拖动(或“放松”)专家194d。在先前的帧使用磁性来将关节咬合至新的位置的情况下，可能存在与所咬合的关节的上游附连的、可能没有新鲜数据的另外一个或多个关节。在这种情况下，不具有良好数据的所附连的一个或多个上游关节可沿着所咬合的关节被拖至新的位置。该新的位置将取决于所咬合的关节被移动至的位置以及要被拖动的关节的关节上游的位置而变化。拖动专家194d还可与其他专家一起使用。具体地，在另一专家将关节相对于在先帧进行了重定位且存在附连到经重定位的关节的、不具有良好数据的上游关节的情况下，则拖动专家194d可用于对上游关节进行重定位。除了拖动上游关节之外，拖动专家194d可提供一个或多个骨架假设，例如按照与上述基于质心的关节合并骨架生成器专家194a或在先状态专家194b相同的方式。应该理解，可提供其他方法来确定作为经重定位的关节的上游的关节的经更新的数据。
如上所述，可能发生这种情况：给定关节由于遮挡、另一子系统中的故障或某种其他问题而未被标识。基于质心的关节合并骨架生成器194a用空候选来处理这种情况。基于体模型的跟踪专家194e是在可使丢失关节和其他身体部位“增长”的情况下的专家的另一示例。即，在没有中间关节或末端的良好Exemplar和/或历史数据的情况下，可检查相邻关节和深度数据来内插丢失身体部位的数据以在效果上使该身体部位增长。
一种可在基于体模型的跟踪专家194e中使用的用于生成包括增长中的身体部位的一个或多个骨架的系统在2009年1月30日提交的题为“Visual TargetTracking(视觉目标跟踪)”(卷宗号MS325540.01)的美国专利申请第12/363,604号中公开，该申请整体通过引用结合于此。然而，一般地，在一实施例中，丢失关节数据可使用为每一像素存储的身体部位/玩家索引来增长，如上文中参考图6所描述的。增长专家可通过搜索具有与不同的身体部位/玩家索引相邻的像素的像素来开始。这些可被认为是“边缘”像素，即，可任选地沿其来对值进行传播的边界。使像素值增长可包括增长成“未知的”或“已知的”像素。对于“未知的”像素，例如，身体部位/玩家索引值之前可能为0，但是现在可具有非零相邻像素。在这一情况下，可检查四个直接相邻像素，并且可选择具有更接近地类似于感兴趣的像素的深度值的观察到的深度值的相邻像素并将其分配给感兴趣的像素。
在“已知的”像素的情况下，可能的是如果具有已知非零身体部位/玩家索引值的像素的一个相邻像素具有在光栅化期间写入的、比该像素的合成的深度值更接近地匹配感兴趣的像素的观察到的深度值的深度值，则可不取(overtake)该具有已知非零身体部位/玩家索引值的像素。
另外，出于效率的目的，更新合成的像素的身体部位/玩家索引值可包括将其相邻的四个像素添加到要在后一遍重新访问的像素的队列。如此，值可沿着边界持续传播而不用在所有像素上完整地过一遍。作为另一优化，可跟踪感兴趣的目标所占据的不同的N×N的像素块(例如16×16的像素块)，使得不被感兴趣的目标占据的其他块可被忽略。可在光栅化之后在目标分析期间的任何点上用各种形式来应用这种优化。将像素一起分组成NxN的像素块的概念也可在本文描述的其他专家194中使用。
上文结合的在美国专利申请第12/363,604号中描述的基于体模型的跟踪专家以及其他跟踪特征可在本系统中用作另一专家，以生成整个骨架。另选地或另外地，上文结合的在美国专利申请第12/363,604号中描述的基于体模型的跟踪专家以及其他跟踪特征还可用于支撑其他专家的输出。上文结合的在美国专利申请第12/363,604号中描述的像素/身体部位增长技术特征还可用于寻找将对其他专家有用的新的身体部位。
以上是可以怎样使丢失关节的关节数据增长的一个示例。除了使丢失关节的数据增长以外，身体部位增长专家194e可按例如与上述基于质心的关节合并骨架生成器专家194a相同的方式来提供一个或多个骨架假设。应该理解，可提供其他方法来增长、内插、修复或以其他方式提供丢失关节的数据。
另一专家在本文中被称为经打分的质心专家194f。经打分的质心专家194f的细节在以上引用的题为“Pose Tracking Pipeline(姿态跟踪流水线)”的美国专利申请系列号第12/603,437中阐述。然而，一般地，经打分的质心专家194f通过为身体部位生成经打分的质心来操作。应用于质心的分数可基于包括在先状态数据和深度图的一个或多个约束来调整。使用经打分的质心专家194f(或其他基于质心的专家)可能发生这种情况：新的质心中的一个或多个可能属于FOV中的第二用户的身体部位。这可得到目标用户的骨架假设，该骨架假设包括来自其他用户的身体部位。再一次，使用各种专家194来生成多个这样的骨架假设，并且来自模型的其他样本不同地将各点连接起来。
基于质心的关节合并骨架生成器专家194a在生成骨架假设时利用人类身体的概括化的树结构。其他专家在生成其他骨架假设时可利用其他已知的人类身体配置。一种这样的专家在本文中被称为头部三角专家194g。使用头部三角来生成骨架假设的系统的一个示例在美国专利申请第12/825,657号中描述，该申请先前已通过引用来结合。一般地，头部三角专家194g从由Exemplar标识的来自图像数据的头部和肩质心组中形成从一个头部质心连接到两个肩质心的候选头部三角。一般地，Exemplar为用户提供强的头部和肩信号，并且该信号在一个头部和两个肩质心的模式可被一起发现时变得更强。头部和/或肩质心可来自除了Exemplar/质心之外的任意数量的源，包括例如头部磁性和简单模式匹配。
在某些实例中，一个关节可能被遮挡。例如，左肩可能被遮挡但头部和右肩是可见的(尽管再一次，尚不知是左肩被遮挡)。头部和右肩也可能移动过，例如，相对于前一帧平均向右移动了3mm。在这种情况下，将用左肩也向右移动了3mm来构造额外的候选三角(而非将左肩拖动至其先前的位置或错误地跳至新的地方)，从而保护了三角形状(尤其是随着时间推移)，即使各关节中的一个在一段时间是不可见的。
一旦构造了目标的头部三角，随后可为身体的剩余部位生成骨架假设。在各实施例中，可为少于整个身体的部位生成骨架假设。例如，可对目标用户的上半身进行建模，可对目标用户的下半身进行建模，可对目标对象的左侧进行建模，和/或可对目标用户的右侧进行建模。
在生成整个身体的骨架假设时，头部三角专家194g可使用一个或多个所标识的头部三角和附加质心和/或磁性数据来构造每一骨架假设中的其余部分。例如，头部三角专家接着可从质心数据中标识左手和右手，以及适合每一肩/手对的多个可能的肘位置。头部三角专家还可选择躯干质心、髋质心和足质心。系统随后可选择适合每一髋/足对的多个可能的膝盖位置。以此方式，头部三角专家194g可生成可由仲裁者评估的多个骨架假设，如下文中所解释的。
利用一般公知的人类身体的另一专家194是轻量跟踪专家194h。可用作轻量跟踪专家194h的骨架模型生成器的其他细节在2009年10月7日提交的题为“Light Weight Human Tracker(轻量人类跟踪器)”(卷宗号MS327641.01)的美国专利申请第12/575,388号中公开，该申请整体通过引用结合于此。然而一般地，轻量跟踪专家194h可通过标识模型的躯干内的基准位置随后构造被称为躯干体的围绕躯干的框来有效地对面向前方的目标进行操作。躯干体可一般地通过从基准位置的上、下、左、右和对角线搜索深度数据直到像素在与躯干不同的深度处被标识来构造。围绕躯干的躯干体可由其他方法标识。
轻量跟踪专家194h随后可为一个或多个骨架假设标识头部、手臂和腿的位置。这可由各种方法单独使用或彼此组合使用来完成。在一示例中，可使用与躯干体具有合适关系的头部、手臂和腿的质心来形成骨架假设。在又一示例中，可使用标识来自在先帧的头部、手臂和腿的位置的在先状态数据。在先状态数据可以是在先前的帧中接收的深度图像中的头部和/或肢的位置，基于先前的移动的所投影的身体部位定位或位置。在先状态数据还可以是人类目标的表示的任何其他合适的先前定位或位置，诸如人类目标的完全关节连接的骨架或体模型。例如，轻量跟踪专家194h可将包括躯干体外部的点的X值、Y值和深度值的位置或定位与包括诸如先前标识的左臂、右臂、左腿、右腿之类的先前标识的头部和/或肢的X值、Y值和深度值的先前位置进行比较。轻量跟踪专家194h随后可基于该比较将躯干体外部的点中的每一个与可能具有最接近的位置的先前标识的肢相关联。
对专家194a到194h的以上描述仅作为示例。应该理解，本系统的各实施例可在没有专家194a到194h中的一个或多个的情况下操作。此外，应该理解，在其他实施例中，除了专家194a到194h之外或代替专家194a到194h可将各种其他计算上花费不高的跟踪算法用作专家194以形成一个或多个骨架假设。
此外，在各实施例中，专家194a到194h中的一个或多个可彼此组合或与其他专家组合。在一个这样的示例中，上述基于质心的专家中的任一个(或其他无状态技术)可与上述基于磁性的或基于运动的专家中的任一个(或其他有状态技术)进行组合以提供基于无状态和有状态技术来形成一个或多个骨架假设的专家。按这种方式生成骨架假设的系统的一个示例在上文中结合的美国专利申请第12/825,657号中描述。在其他实施例中，其他无状态和有状态专家194可彼此组合使用。
在各实施例中，一个或多个神经网络也可用作专家。虽然构想了各种这样的神经网络，但一个示例可包括一个或多个多层感知器194i。多层感知器是已知神经网络的一个示例，并且它可用作独立的专家，或者它可与上述专家中的一个或多个结合使用来导出其他或替换专家。
一般地，多层感知器194i运行起来是计算上花费不高的，且多个多层感知器可在可用时间帧内运行。多层感知器194i一般地具有相对较小的输入集，诸如例如来自同一帧的质心、先前的状态数据和/或其他专家的输出(在这种情况下神经网络专家将被认为是下游专家)。这些输入通过使用相对较少数量的层来得出一个或多个输出骨架假设的矩阵乘法来处理。虽然训练起来可能是繁重的，但一旦经过训练，该一个或多个多层感知器194i运行起来是花费不高的。这种做法的一个益处是可使用多个多层感知器194i，各自被训练为善于特定任务，例如，检测特定关节位置和身体姿态。
可被构想来生成骨架假设的多层感知器194i的一个示例是运动学投影神经网络。具体地，如上所述，本系统可跟踪31个或某一其他数量n个身体部位，各自在理论上具有3个自由度。然而事实上，给定各身体部位可相对于彼此如何移动的约束，实际上将存在少于3n个的自由度。运动学神经网络取被跟踪的n个身体部位，并且使用对自由度以及身体可如何移动的经训练的运动学约束，运动学神经网络将n个身体部位映射为适合运动学神经网络的约束的一个或多个骨架假设。如上所述，可提供若干不同的运动学投影神经网络，各自专用于检测用户的一个或多个特定姿态。
在各实施例中，多层感知器194i可独自使用，或者可与一个或多个过滤器组194j组合以形成所谓的深神经网络或卷积神经网络。如所知的，过滤器组194j可包括用于接收大的输入数据集(例如，图像深度图中的每一像素)的加权内核。过滤器组的加权内核将输入数据处理成压缩且丰富的格式，该格式随后可作为输入被传递至多层感知器194i。过滤器组194j可与多层感知器194i一起按已知的方式被训练，例如通过反向传播，以它们独自或与一个或多个其他专家194组合来生成一个或多个骨架假设。
对于各种姿态中的任一个，可能存在分开的多层感知器194i(独自或接收来自过滤器组194j的输出)因此，例如，一个多层感知器可具体涉及当用户在侧面的情况下(即，用户从捕捉设备20转了90°)识别身体姿态。这种特定的神经网络可能无法在用户面向捕捉设备的情况下为用户姿态生成准确的骨架假设，但在用户在侧面时将生成带有高置信度的骨架假设。可提供在用户面向捕捉设备20的情况下准确地标识用户姿态的其他多层感知器。
如上所指示的，多层感知器194i(独自或与过滤器组194i一起)可与上述专家(或其他神经网络)中的一个或多个进行组合。在其他实施例中，构想了上述专家中的任一个可与任何其他上述专家进行组合，以使得一个专家(上游专家)的输出可作为输入被反馈给另一专家(下游专家)。给定的专家可以既在一个实施例中是上游专家又在另一实施例中是下游专家。此外，本系统还可包括“混合器”专家的概念，该混合器专家位于其他专家的下游，并且消费所有它们的输出，从各种骨架假设中进行混合和匹配。混合器专家的输出可以是具有可能从不同专家得到的头部、躯干和肢的骨架假设。例如，来自混合器专家的骨架假设可能具有来自基于质心的关节合并骨架生成器194a的左臂以及来自磁性专家194c的右腿。在各实施例中，混合器专家可一次一肢地完成不同专家，或者它可在整个骨架假设期间完成不同专家，然后混合和匹配不同的肢，作出关于哪个专家具有关于身体部位的每一肢或其他划分的最佳猜测的最佳猜测。
一般地，包括例如上述各种专家194在内的各专家按计算上花费不高的方式来生成一个或多个骨架假设。随后仲裁者196评估这些骨架假设以标识被认为最佳地表示给定帧或其他时间段的用户位置的一个或多个骨架假设。如上所述，骨架假设可按这种方式分发以使得仲裁者不能够挑选一个或多个最佳骨架假设。该信息也被传递到流水线140上。仲裁者196将在下文中更详细地解释。
一般地，仲裁者196使用不同的方法来评估一个或多个骨架假设。前两种方法首先通过测量建议中的各点是否存在于数据中(深度分数196a)，其次通过测试骨架假设解释可用数据有多完整(经解释的空间196b)，来测试骨架假设与深度数据匹配得有多好。仲裁者196还包括基于运动学(静态关节配置分数196c)和运动(运动分数196d)对骨架假设进行打分的方法。这些方法中的每一个在下文中解释。在各实施例中，仲裁者还可使用来自在计算环境12上运行的游戏或其他应用的与什么动作(用户姿态)是预期的有关的数据。这些方法仅作为示例，且仲裁者196可使用其他实施例中的其他方法来评估骨架假设以得出对状态估计的最佳猜测。
使用深度分数196a，仲裁者196评估由骨架假设描述的每一关节的位置是否由所测量的深度数据支持。骨架假设关节和所测量的深度数据之间的差别不会将该骨架假设从考虑范围中移除。相反，它负面地影响与所测试的骨架假设相关联的分数。全部关节对照深度数据的比较将得到深度分数196a的累积分数。
参考图14的流程图，深度分数196a可由被称为迹线和突出性(saliency)步骤230和232的两个测试来表征。迹线步骤232涉及沿着已知在各种各样的用户的身体内的且均匀地占有内部空间的线来取迹线样本。在各实施例中，样本可填充人的最小轮廓。
对于迹线样本，良好的Z匹配(其中深度值和所测量的骨架假设的关节相似)得到奖励，而较差的Z匹配得到惩罚。匹配的密切度/失配的严重性可影响惩罚/奖励的量，并且可不同地对正面失配对负面失配进行打分。对于匹配，密切匹配得分高于弱匹配。强烈失配基于差别的征兆而被不同地对待：如果深度图样本比预期的更远，则这是一个‘突出的’样本并招致严厉的惩罚。如果深度图样本比预期的更近，则这是一个‘遮挡’样本并招致适度惩罚。在某些实施例中，所预期的Z值被简单地内插在候选身体部位位置的深度之间。在其他实施例中，调整所预期的Z值来补偿常见的非线性身体形状，诸如下巴和脸相对于颈和肩的突出。在以骨架的其他部位开始的其他实施例中，可对所预期的Z值作出类似的内插和调整。
图15示出由给定骨架假设定义的身体的一部分(手、手臂和肩)的迹线样本516的示例。迹线样本516可以在沿着上臂和小臂的中心线的半径处定义。半径被设置的足够小从而保证样本在目标的上臂和小臂之内，即使对于手臂很窄的用户。一旦定义了迹线样本，随后检查迹线样本的深度。如果个别样本具有较差的与深度图的z失配，则该迹线样本获得较差的分数。可为所得分数对来自所有样本的分数进行计数。
步骤232中的突出性测试通过定义多个突出性样本(图15中的520)来操作。可用笛卡尔坐标系统来参考FOV，其中Z轴是笔直的来自深度照相机20的轴而X-Y平面与Z轴垂直。突出性样本520可在X-Y平面中用圆、半圆或部分圆在给定骨架假设中的手臂的关节以及其他关节处定义。突出性样本还可位于“导轨”中，如在图15中的上臂周围可见的。导轨是连接相邻关节的肢段(当这些肢段不与Z轴对齐时)的每一边上的平行线(为清除起见，围绕小臂的突出性样本在图15中被略去)。所有在圆和导轨上的这些样本，都被展示为离实际关节或连接关节的线某一距离处(在X-Y平面中)。给定样本的半径必须足够大以使得如果假设是正确的，则样本将全部正好位于玩家的手臂的轮廓的外侧，即使对于非常庞大的玩家。然而，半径不应再大以便获得最优结果。
一旦样本位置在X-Y中被安排，可在每一采样位置处对实际和假设深度值进行比较。随后，如果突出性样本中的任一个指示与假设的深度类似的深度，则惩罚这些样本。例如，在图15中，突出性样本520A(在图中被示为被填充的正方形)将围绕上臂和手被惩罚。如果深度图值比假设的更远，则这是一个‘突出的’样本并招致奖励。并且如果深度图样本比预期的更近，则这是一个‘遮挡’样本并招致适度惩罚。如上所述，可对所有样本的迹线和突出性分数进行计数(步骤234)来得出深度分数方法的分数196a。应该理解，可使用除了上述迹线和突出性测试之外的测试来评估给定骨架假设并对照深度数据来对给定骨架假设进行打分。
深度分数指望骨架假设在深度数据中被解释得有多好。然而，深度数据可定义未由给定骨架假设解释的其他前景对象。可能的情况是：给定骨架假设不正确地标识了身体部位，并且这些其他前景对象实际上是目标用户的身体的一部分。因此，使用经解释的空间方法196b，仲裁者196检查骨架假设是否解释了所有的前景深度数据。参考图16的流程图，经解释的空间方法196b在步骤240中检查是否有当时在考虑中的骨架假设未解释的前景对象。如果否，则在步骤242中没有对经解释的空间分数的惩罚。然而，如果在前景中有未解释的对象，则在步骤244中，经解释的空间方法196b可惩罚经解释的空间分数。惩罚可基于未解释的对象到骨架假设中的关节的邻近度。对象离骨架假设越近，惩罚越大。惩罚可另外地或另选地基于未解释的对象可能是与骨架假设中的邻近关节相同类型的身体部位的可能性。如果Exemplar指示未解释的对象可能也是与骨架假设中的邻近关节相同的身体部位，则经解释的空间分数与在未解释的和邻近骨架假设不太可能是相同身体部位的情况相比被惩罚得更厉害。
如果由于需要大量的随机访问而单纯地(像素级)实现深度分数196a和经解释的空间196b方法，则这两者可能是花费很高的。为避开这一开销，本系统的一替换实施例将深度图从像素处理成小块，一种有时被称为重复分割的技术。小块被选择成具有近似恒定的深度且相等的世界空间区域。这意味着离捕捉设备20越远的小块在图像中看上去越小。在该实施例中，所有(？)后续关于深度图像的推理将用小块来表达。对于适中的保真度损失，存储器带宽要求从数百万个像素访问急剧减少至数百或数千个小块访问。
一旦在该实施例中形成了小块，深度分数和经解释的空间方法可通过首先将每一小块的“所有权”分配给骨架假设中的特定关节来执行。这种分配涉及关于遮挡的推理。有时，线框骨架可具有被模型的其他部位遮挡的关节(以及其间的骨头)。重要的是：小块被合适地分配以使得无论模型中的特定点是错误的还是仅不可见的都可对其进行判断。如果小块是不可见的，则它招致与它是错误的相比更少的成本。然而，模型的某一其他部位应该占用了该空间区域，因此这种遮挡推理是很重要的。
所有权通过首先将与关节之间的“骨头”相交的小块分配到其最近的关节来确定。接着，小块从这些种子点中“增长”，将每一小块分配给其最可能连接到的种子小块。在每一步骤处，包括初始骨头-小块相交传递，“成本”连同拥有小块的关节一起被分配到每一小块。初始成本基于小块的深度和骨头的深度之间的深度差别。随后，随着已知小块(已经被分配到关节的小块)增长超过未知小块(在某些实施例中，仅跨连接的小块)，所有者关节和成本传播两者都被分配到新的小块。此外，当小块增长到另一小块上时，有时成本会少量地增加。当存在可增长到一未知小块上的两个已知小块时，具有较低成本的已知小块一般会获胜。已知小块还具有增长超过其他已经分配(已知)的小块的机会，如果它们的成本低得多并且如果关节在骨架拓扑结构中不彼此相邻。以此方式，初始相交中的误差一般会被改正。该过程的一个部分是一个关节可从另一关节“偷取”小块，如果这导致更平滑的连接性，并且正是这一过程近似考虑了遮挡。从与骨头相交的小块以及模型在这些点所预测的深度之间的差别中计算深度分数196a成本(即，初始成本)，并且还可调整该初始成本来反映不正确的初始骨头小块相交(在小块所有权在初始相交和最终状态之间被改变的情况下)。经解释的空间196b成本基于将所有权分配到所有小块所需的增长步骤的数量。
仲裁者196使用的另一方法是静态关节配置分数196c。静态关节配置分数196c评估骨架假设中的相邻关节之间的长度以及骨架假设中的各个关节形成的角度。当骨架假设定义了不可能(太长或太短)或不相符(各个骨头之间的长度比太极端)的关节之间的距离或关节所形成的不可能的角度(关节按照人类无法弯曲的方式弯曲)到某种程度时，静态关节配置分数惩罚该骨架假设。
参考图17的流程图，仲裁者196在步骤250中检查相邻关节之间的长度。步骤250可包括例如检查骨架假设中的肩之间的距离是否在最小或最大距离之外，头部与肩分开的距离是否在最小或最大距离之外，骨架假设中的上臂和/或小臂的长度是否在最小或最大距离之外，以及骨架假设中的大腿和/或小腿的长度是否在最小或最大距离之外。最大和最小考虑跨用户群体的可能变化。在其他实施例中，该系统可作出关于特定目标用户18的推论，并且为该特定用户定制最大和最小值。
在步骤252中，仲裁者196可为在考虑中的骨架假设测量上臂和小臂的长度以及大腿和小腿的长度。在上臂和小臂/大腿和小腿的组合长度太大或太小的情况下，惩罚该骨架假设的分数。
在步骤254中，代替检查总长度，仲裁者196可为在考虑中的骨架假设运行子例程，该子例程检查上臂长度与上臂和小臂长度总和之比，和/或大腿与大腿和小腿长度总和之比。例如，人类身体中，上臂长度与上臂和小臂长度总和之比一般在.45和.52之间。可惩罚在手臂和腿的给定范围之外的任何臂/腿比。惩罚可与对预期范围的越出成比例(但不一定线性)。可检查例如总平均手臂长度与肩跨度之比；平均手臂长度与平均腿长度之比；一条手臂长度与另一手臂长度之比等其他的比。一般地，这些打分函数以及本文描述的其他打分函数可以是连续且可微的。
在静态关节配置分数方法的步骤256中，仲裁者196可运行打分子例程，该子例程测试骨架假设中的给定身体部位在运动学上是否是有效的。即，给定人类身体部位的运动的已知范围，包括头部、上臂和小臂、大腿和小腿以及这些身体部位相对于躯干的可能的定向，人是否可以有效地具有给定骨架假设中的关节位置。如果否，则骨架假设可被惩罚或移除。在各实施例中，在运动学上有效的打分子例程可通过将人在3-D真实世界空间中的位置转换和旋转至人的躯干的参照系(独立于真实世界空间)来开始。虽然在其他实施例中该子例程的操作可使用人在真实世界空间中的位置/定向来完成，但先将用户转换成人的躯干的参照系在计算上更容易。
在该参照系中，躯干空间的正交基向量可被可视化为：+X是从左肩到右肩；+Y是在躯干/脊椎之上；而+Z是从玩家的胸穿出(即，一般是世界空间中的+Z的反向)。再一次，该参考系仅作为示例并且在其他实施例中可以不同。
之后，对于给定的身体部位位置，仲裁者196检查身体部位相对于身体的其余部位在运动学上是否是有效的。例如，在步骤256中，仲裁者可检查小臂是否位于定义给定上臂位置的小臂的可能位置(方向和角度)的锥形中。使用上述正交基向量，上臂可位于沿着(或在其间)6个正交向量位置(上臂向前、上臂向后、上臂向左、上臂向右、上臂向上和上臂向下)。对于这些上臂的正交方向中的每一个，定义小臂的可能方向的相应锥形是易于指定的且一般是已知的。因为上臂的方向(在假设中)几乎不与这6个正交方向中的一个完全对齐，并且相反常常位于这些方向中的若干之间，所以将与最接近的正交上臂方向相关联的锥形定义混合在一起以产生为上臂位于的特定方向定制的新的锥形。在该混合中，上臂沿着其最密切对齐的轴的锥形将接收较多的权重，而位于上臂的相反方向的轴的锥形将具有0权重。一旦知道了经混合的锥形，则测试小臂来查看它是否位于该锥形内。接着，小臂的方向不落在(有效小臂方向的)经混合的锥形之内的骨架假设可被惩罚，或者如果异乎寻常，则可被丢弃。惩罚可以是线性的或非线性的。可使用相同的过程来测试在考虑中的骨架假设中的其他身体部位并对其打分。
应该理解，存在测试在运动学上有效的手臂位置的其他方法。这些方法包括姿态词典查找、神经网络或任意数量的其他分类技术。此外，可将同样的测试应用于其他肢，诸如腿、颈和头部，甚至上半身对下半身。在步骤258中对静态关节配置分数进行计数。
虽然未在图8中示出，但存在检查自穿透或自碰撞并对其进行惩罚的另一打分方法。关于该打分方法的细节在例如上文中引用的美国专利申请第12/363,604号中描述。然而，一般地，在该方法中，身体的不同部位可由简单体图元(圆柱体、多边形网)表示。可花费不高地使用已知技术检查这些体图元来查看它们是否彼此相交。如果是，则施加惩罚。
仲裁者196还包括运动分数方法196d。在确定运动分数196d时，仲裁者196在步骤262中将当前帧中的关节位置对照为先前的帧(例如，紧接在前的帧)所标识的相同关节的位置进行比较。较大的跳跃往往指示当前候选不是同一关节并相应地对分数进行惩罚。例如，如果来自先前的帧的手最后位于某些坐标处，而该假设的手位于新的坐标处，则该方法查看两个坐标之间的距离。如果距离较小，则不招致惩罚，但如果距离较大，招致惩罚。这意味着必须出现其他证据来抵消惩罚并证明该突然的移动是正当的。该方法可与先前的帧的关节位置以及所投影的新的关节位置进行比较，或者甚至计算两者距离并使分数基于较短的距离。如果在先最后的输出具有较差的分数(即，低置信)，则可缩小这些惩罚或根本不施加这些惩罚。惩罚在此处可以是线性的或非线性的。在步骤264中可对运动分数进行计数。
使用以上方法，仲裁者可选择具有最高分作为最逼近该帧或其他时间段t的玩家姿态的最佳状态估计xt的一个或可能一个以上的骨架假设。随后可如下所解释地输出最高得分的一个骨架假设(或多个骨架假设)。或者，也可如下解释地对骨架假设执行重采样操作198。虽然上文描述了专家和仲裁者之间的清楚划分，但应该理解，关于上述专家中的一个或某种其他模型拟合算法是作为专家来结合还是作为仲裁者中用于解析骨架假设或用户的其他计算机模型的方法来结合存在着某种灵活性。
在各实施例中，最高得分的骨架假设可能需要超过某一预定阈值以便被认为是准确的。在最高得分的骨架假设低于阈值的情况下，流水线可能无法返回该时间帧的状态估计，或者它可能返回带有低可靠性的指示的状态估计。该可靠性指示可由接收状态估计的游戏或其他应用使用，该游戏或其他应用随后可选择使用或不使用该时间帧的状态估计。可靠性指示还可被反馈回流水线以使得将来使用历史数据对状态估计确认时将该当前时间帧的状态估计可能不是通过其作出对将来时间帧中的状态确定的可靠信息源考虑在内。
上文阐述了仲裁者可对各种骨架假设进行评估和打分的四种方法。可以明白，在其他实施例中除了上述讨论的这些方法之外或代替上述讨论的这些方法可使用各种其他的方法。本系统的一个特征是专家和仲裁者方法的模块性。专家组合可独立于彼此和独立于仲裁者地互换，并且对于仲裁者所采用的方法也是如此。该系统是高度灵活的且适应于不断变化的环境。在维护多个骨架假设和评估每一骨架假设时本系统的另一特征是这得到了具有最小承诺的系统。在整个流水线的模型拟合阶段考虑许多可能的骨架假设而不作出艰难的决定，直到这些决定无法再避免。例如，这可能就在图像数据的新的帧的捕捉之前发生，此时该是系统输出其关于最佳地表示该时间帧中的玩家位置的一个或多个骨架假设的最佳猜测的时候。
在本系统的各实施例中，跟踪流水线的最后阶段可涉及根据骨架假设的权重(分数)或其函数对骨架假设重采样198(图8)。即，可从该帧的骨架假设的原始集合中选择一个新的骨架假设集合，得分较高的这些骨架假设具有较大的机会被选入重采样的集合。这样做的效果是使得较差的骨架假设更可能被从集合中选出，否则可能使得这些骨架假设通过直到最后输出。
如图6和8所指示的，流水线中的最后步骤152涉及输出一个或多个最准确的骨架假设的所选的最佳状态估计。可至少出于两个目的来使用输出。第一，输出可被游戏或其他应用使用来影响应用中的某一动作。例如，可使用状态估计来识别用户姿势、与应用中的对象交互或控制某一其他游戏中的功能。构想了应用对状态估计的其他使用。第二，来自给定时间帧的输出随后可作为状态历史199被反馈回流水线并在将来时间帧中用作历史骨架数据。如上所述，可能发生这种情况：没有单个骨架假设超过阈值置信值。在这种情况下，对当前帧的状态估计可被略去，或者可被给予很小的权重作为流水线或游戏应用以后使用中的状态估计。
输出152可以按任何合适的方式来执行。作为非限制性示例，应用程序编程接口(API)可用于报告所选骨架假设。该API可被配置成传递关节位置，关节速度，关节加速度，对位置、速度和/或加速度的置信，和/或与一个或多个目标的所选骨架有关的其他信息。内容接收器(例如，游戏应用)随后可按需使用所报告的信息。
图19A示出了可以用于在目标识别、分析和跟踪系统中解释用户的一个或多个位置和运动的计算环境的示例实施例。上文参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等多媒体控制台600。如图19A所示，多媒体控制台600具有中央处理单元(CPU)601，其具有一级高速缓存602、二级高速缓存604，以及闪存ROM 606。一级高速缓存602和二级高速缓存604临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 601可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存602和604。闪存ROM 606可存储在当多媒体控制台600通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)608和视频编码器/视频编解码器(编码器/解码器)614形成用于高速、高分辨率图形处理的视频处理流水线。数据通过总线从GPU608输送到视频编码器/视频编解码器614。视频处理流水线向A/V(音频/视频)端口640输出数据，以便传输到电视机或其他显示器。存储器控制器610连接到GPU 608，以促进处理器对各种类型的存储器612、比如但不限于RAM的访问。
多媒体控制台600包括优选地在模块618上实现的I/O控制器620、系统管理控制器622、音频处理单元623、网络接口控制器624、第一USB主控制器626、第二USB主控制器628以及前面板I/O子部件630。USB控制器626和628用作外围控制器642(1)-642(2)、无线适配器648、和外置存储器设备646(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口624和/或无线适配器648提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器643来存储在引导过程期间加载的应用数据。提供了介质驱动器644，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。介质驱动器644可以是多媒体控制台600内部或外部的。应用数据可经由介质驱动器644访问，以由多媒体控制台600执行、回放等。介质驱动器644经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器620。
系统管理控制器622提供涉及确保多媒体控制台600的可用性的各种服务功能。音频处理单元623和音频编解码器632形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元623与音频编解码器632之间传输。音频处理流水线将数据输出到A/V端口640以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件630支持暴露在多媒体控制台600的外表面上的电源按钮650和弹出按钮652以及任何LED(发光二极管)或其他指示器的功能。系统供电模块636向多媒体控制台600的组件供电。风扇638冷却多媒体控制台600内的电路。
CPU 601、GPU 608、存储器控制器610、和多媒体控制台600内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台600通电时，应用数据可从系统存储器643加载到存储器612和/或高速缓存602、604中并在CPU 601上执行。应用可呈现在导航到多媒体控制台600上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器644中包含的应用和/或其他媒体可从介质驱动器644启动或播放，以向多媒体控制台600提供附加功能。
多媒体控制台600可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台600允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口624或无线适配器648可用的宽带连接的集成，多媒体控制台600还可作为较大网络社区中的参与者来操作。
当多媒体控制台600通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在完整的用户界面被并发系统应用使用的情况下，优选地使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台600引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 601上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器642(1)和642(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选地控制输入流的切换，而无需知道游戏应用的知识，并且驱动程序维护关于焦点切换的状态信息。照相机26、28和捕捉设备20可以为控制台600定义额外的输入设备。
图19B示出了计算环境720的另一示例实施例，它可以是用来解释目标识别、分析和跟踪系统中的一个或多个位置和运动的图1A-2中示出的计算环境12。计算系统环境720只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境720解释为对示例性操作环境720中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各种所描绘的计算元件可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括通过体现可操作以执行功能的逻辑的软件指令配置的通用处理单元、存储器等等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图19B中，计算环境720包括通常包括各种计算机可读介质的计算机741。计算机可读介质可以是能由计算机741访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器722包括以诸如ROM 723和RAM 760之类的易失性和/或非易失性存储器的形式存在的计算机存储介质。基本输入/输出系统724(BIOS)包括如在启动时帮助在计算机741内的元件之间传输信息的基本例程，它通常储存在ROM 723中。RAM 760通常包含处理单元759可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图19B示出了操作系统725、应用程序726、其他程序模块727，以及程序数据728。图19B还包括具有用于高速和高分辨率的图形处理和存储的相关联的视频存储器730的图形处理器单元(GPU)729。GPU 729可通过图形接口731连接到系统总线721。
计算机741也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。只作为示例，图19B示出了读写不可移动非易失性磁性介质的硬盘驱动器738、读写可移动非易失性磁盘754的磁盘驱动器739、以及读写诸如CDROM或其他光学介质之类的可移动的非易失性光盘753的光盘驱动器740。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器738通常由诸如接口734的不可移动存储器接口连接至系统总线721，并且磁盘驱动器739和光盘驱动器740通常由诸如接口735的可移动存储器接口连接至系统总线721。
上面所讨论的并且在图19B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机741提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图19B中，硬盘驱动器738被示为存储了操作系统758、应用程序757，其他程序模块756，以及程序数据755。注意，这些组件可以与操作系统725、应用程序726、其他程序模块727和程序数据728相同，也可以与它们不同。在此操作系统758、应用程序757、其他程序模块756以及程序数据755被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘751和定点设备752(通常被称为鼠标、轨迹球或触摸板)之类的输入设备向计算机741中输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口736连接至处理单元759，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。照相机26、28和捕捉设备20可以为控制台700定义额外的输入设备。监视器742或其他类型的显示设备也通过诸如视频接口732的接口连接至系统总线721。除监视器之外，计算机也可以包括诸如扬声器744和打印机743之类的其他外围输出设备，它们可以通过输出外围接口733来连接。
计算机741可使用至诸如远程计算机746之类的一个或多个远程计算机的逻辑连接在网络化环境中操作。远程计算机746可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机741所描述的许多或全部元件，但是图19B中只示出了存储器存储设备747。图19B中所描绘的逻辑连接包括局域网(LAN)745和广域网(WAN)749，但是也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机741通过网络接口或适配器737连接至LAN 745。当在WAN联网环境中使用时，计算机741通常包括调制解调器750或用于通过诸如因特网等WAN 749建立通信的其他手段。调制解调器750可以是内置或外置的，它可以经由用户输入接口736或其他适当的机制连接至系统总线721。在网络化环境中，相对于计算机741所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图19B示出了驻留在存储器设备747上的远程应用程序748。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
前面的对本发明的系统的详细描述只是为了说明和描述。它不是详尽的公开或将本发明的系统限于所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本发明的系统的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本发明的系统，适合于特定用途的各种修改也是可以的。本发明的系统的范围由所附的权利要求进行定义。

Claims (10)

1.一种在包括耦合到捕捉设备(20)的计算环境(12)的系统(10)中的用于估计状态信息(70，80，82)的方法，所述捕捉设备(20)用于从所述捕捉设备的视场中捕捉状态信息(70，80，82)，所述状态信息(70，80，82)表示用户(18)的位置，所述方法包括：
(a)从所述视场接收(步骤142)图像数据；
(b)由一个或多个专家(194)产生(步骤148)估计状态信息(70，80，82)的一个或多个计算机模型；以及
(c)按仲裁者(196)的一个或多个方法来分析(步骤150)在所述步骤(b)中产生的所述一个或多个计算机模型以选择被估计为所述状态信息(70，80，82)的最佳表示的一个或多个计算机模型。
2.如权利要求1所述的方法，其特征在于，还包括生成被估计为所述状态信息的最佳表示的一个或多个计算机模型中的置信水平的步骤(d)。
3.如权利要求1所述的方法，其特征在于，产生一个或多个计算机模型的所述步骤(b)包括基于从所述图像数据中计算身体部位建议并根据身体部位如何在人类中连接的已知配置来从所述身体部位建议中生成一个或多个骨架假设来产生一个或多个计算机模型的步骤。
4.如权利要求3所述的方法，其特征在于，根据身体部位如何在人类中连接的已知配置来从所述身体部位建议中生成一个或多个骨架假设的所述步骤包括从包括躯干和作为分支的肢的人类身体的树结构、包括由头部和肩所形成的三角的头部三角、和包括躯干的躯干体中的至少一个来生成骨架假设的步骤。
5.如权利要求1所述的方法，其特征在于，产生一个或多个计算机模型的所述步骤(b)包括产生包括由所述捕捉设备为所述帧所捕捉的用户的关节的估计位置的一个或多个骨架假设的步骤。
6.一种用于为所捕捉的图像数据的给定帧生成状态估计(70，80，82)的软件流水线(140)，所述状态估计(70，80，82)表示对所述图像数据内所捕捉的视场内的用户(18)的位置的估计，所述软件流水线包括：
预处理例程(142)，所述预处理例程(142)用于接收所述图像数据，从所述图像数据移除背景并将前景处理成一个或多个身体部位建议；
一个或多个专家(148，194)，所述一个或多个专家(148，194)用于接收包括所述一个或多个身体部位建议的信息并生成多个计算机模型，每一计算机模型表示对所捕捉的图像数据的给定帧中的用户的位置的估计；以及
仲裁者(150，196)，所述仲裁者(150，196)用于接收所述多个计算机模型，按一个或多个方法对所述计算机模型进行打分，并输出被所述仲裁者估计为最佳地逼近所述帧中的用户的位置的至少一个计算机模型，所述一个或多个方法将所述多个计算机模型对照来自所述给定帧的深度数据和/或来自在先帧的状态估计数据进行比较。
7.如权利要求6所述的软件流水线，其特征在于，所述仲裁者还包括用于通过对照所述给定帧的深度数据来检查所述计算机模型以对所述多个计算机模型中的每一个进行打分的深度分数方法。
8.如权利要求7所述的软件流水线，其特征在于，所述深度分数方法在对所述多个计算机模型中的每一个进行打分时检查迹线和突出性样本。
9.如权利要求6所述的软件流水线，其特征在于，所述仲裁者还包括用于通过检查所述计算机模型对所述前景中的所有深度数据解释得有多好来对所述多个计算机模型中的每一个进行打分的经解释的空间方法。
10.一种能够对处理器进行编程以执行一种方法的计算机可读存储介质(612，738)，当用户在捕捉设备的视场内移动时所述方法对用所述捕捉设备所捕捉的用户的身体部位进行跟踪以确定对由所述捕捉设备所捕捉的图像数据的当前帧中的用户位置的状态估计，所述方法包括：
(a)从所述捕捉设备接收(步骤154，156)图像数据；
(b)处理(步骤144)在所述步骤(a)中接收的所述图像数据以移除背景并为前景中的图像生成身体部位建议；
(c)使用在所述步骤(b)中生成的所述身体部位建议中的至少一个以及来自早先时间的图像数据来生成(步骤148)多个骨架假设，所述多个骨架假设定义概率分布；
(d)在所述概率分布将一个或多个骨架假设指示为有可能的状态估计的情况下，基于所述概率分布来选择(步骤150)一个或多个骨架假设作为最有可能的状态估计；以及
(e)在所述概率分布未将一个或多个骨架假设指示为有可能的状态估计的情况下指示(步骤152)未为图像数据的帧确定状态估计。
CN201110286418.XA 2010-09-07 2011-09-06 用于快速且概率性的骨架跟踪的系统 Active CN102402288B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/876,418 US8437506B2 (en) 2010-09-07 2010-09-07 System for fast, probabilistic skeletal tracking
US12/876,418 2010-09-07

Publications (2)

Publication Number Publication Date
CN102402288A true CN102402288A (zh) 2012-04-04
CN102402288B CN102402288B (zh) 2014-11-05

Family

ID=45770321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110286418.XA Active CN102402288B (zh) 2010-09-07 2011-09-06 用于快速且概率性的骨架跟踪的系统

Country Status (2)

Country Link
US (2) US8437506B2 (zh)
CN (1) CN102402288B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603630A (zh) * 2012-09-06 2015-05-06 皇家飞利浦有限公司 具有基于导航器的运动检测的磁共振成像系统
CN105741323A (zh) * 2016-02-03 2016-07-06 浙江大学 一种基于单目视频的人体骨架跟踪方法
CN109152555A (zh) * 2016-03-18 2019-01-04 哈佛大学校长及研究员协会 自动分类动物行为
CN109711374A (zh) * 2018-12-29 2019-05-03 深圳美图创新科技有限公司 人体骨骼点识别方法及装置
CN109931940A (zh) * 2019-01-22 2019-06-25 广东工业大学 一种基于单目视觉的机器人定位置信度评估方法
CN111460873A (zh) * 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN112085105A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种基于人体形状与姿态估计的动作相似度评价方法
US11103748B1 (en) 2019-03-05 2021-08-31 Physmodo, Inc. System and method for human motion detection and tracking
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
US11497962B2 (en) 2019-03-05 2022-11-15 Physmodo, Inc. System and method for human motion detection and tracking

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
TW201203030A (en) * 2010-03-16 2012-01-16 Intel Corp A gaming system with safety features
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR101129556B1 (ko) * 2010-11-18 2012-03-29 경북대학교 산학협력단 하지 재활 치료 장치 및 그것의 하지 재활 치료 방법
CN103210421B (zh) * 2010-12-09 2016-03-02 松下电器产业株式会社 物体检测装置及物体检测方法
US8782566B2 (en) * 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
WO2013011644A1 (ja) * 2011-07-15 2013-01-24 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP5408205B2 (ja) * 2011-08-25 2014-02-05 カシオ計算機株式会社 制御点設定方法、制御点設定装置及びプログラム
GB2495551B (en) * 2011-10-14 2014-04-09 Sony Comp Entertainment Europe Motion scoring method and apparatus
WO2013065220A1 (ja) * 2011-11-02 2013-05-10 パナソニック株式会社 画像認識装置、画像認識方法、及び集積回路
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
US9704027B1 (en) * 2012-02-27 2017-07-11 Amazon Technologies, Inc. Gesture recognition
WO2013170129A1 (en) 2012-05-10 2013-11-14 President And Fellows Of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US8995756B2 (en) 2012-09-27 2015-03-31 Vangogh Imaging, Inc. 3D vision processing
US10657694B2 (en) * 2012-10-15 2020-05-19 Tangible Play, Inc. Activity surface detection, display and enhancement of a virtual scene
US9158389B1 (en) * 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US20140267611A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US20150002419A1 (en) 2013-06-26 2015-01-01 Microsoft Corporation Recognizing interactions with hot zones
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
US9715761B2 (en) 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
KR101482419B1 (ko) * 2013-07-15 2015-01-16 서울대학교산학협력단 모션 데이터 생성 방법 및 장치
JP6433149B2 (ja) * 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
KR102000264B1 (ko) * 2013-10-01 2019-07-15 한국전자통신연구원 교시 데이터 입력 장치와 이를 이용한 로봇의 교시 명령어 생성 장치 및 방법
KR102085180B1 (ko) 2013-10-08 2020-03-05 삼성전자주식회사 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
IN2013MU04097A (zh) * 2013-12-27 2015-08-07 Tata Consultancy Services Ltd
US9875445B2 (en) 2014-02-25 2018-01-23 Sri International Dynamic hybrid models for multimodal analysis
US9727798B2 (en) * 2014-07-18 2017-08-08 Acrovirt, LLC Generating and using a predictive virtual personification
WO2016042039A1 (en) * 2014-09-16 2016-03-24 Foundation For Research And Technology - Hellas (Forth) Gesture recognition apparatuses, methods and systems for human-machine interaction
US9552070B2 (en) * 2014-09-23 2017-01-24 Microsoft Technology Licensing, Llc Tracking hand/body pose
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
US20160162673A1 (en) * 2014-12-05 2016-06-09 Gershom Kutliroff Technologies for learning body part geometry for use in biometric authentication
KR20160096473A (ko) 2015-02-05 2016-08-16 한국전자통신연구원 동작 평가 시스템 및 방법
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US9639166B2 (en) 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US10274930B2 (en) * 2015-08-03 2019-04-30 Siemens Aktiengesellschaft Machine human interface—MHI
CN108289637B (zh) * 2015-10-05 2021-07-02 斯格尔兹威尔尼斯公司 生成矫正产品推荐
US11074492B2 (en) * 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
EP3361935A4 (en) 2015-10-14 2019-08-28 President and Fellows of Harvard College AUTOMATIC CLASSIFICATION OF ANIMAL BEHAVIOR
US10416614B2 (en) 2015-10-15 2019-09-17 Siemens Aktiengesellschaft Human programming interfaces for machine-human interfaces
US20170139471A1 (en) 2015-11-12 2017-05-18 Microsoft Technology Licensing, Llc Adaptive user presence awareness for smart devices
US20170171525A1 (en) * 2015-12-14 2017-06-15 Sony Corporation Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
RU2639575C1 (ru) * 2016-03-16 2017-12-21 Масуд Таштариан Способ обучения детей с нарушением слуха игре в бадминтон
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
GB201611431D0 (en) * 2016-06-30 2016-08-17 Nokia Technologies Oy User tracking for use in virtual reality
US10186130B2 (en) * 2016-07-28 2019-01-22 The Boeing Company Using human motion sensors to detect movement when in the vicinity of hydraulic robots
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
JP6708260B2 (ja) * 2016-11-14 2020-06-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
WO2019013016A1 (ja) 2017-07-13 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10796452B2 (en) 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
US10565729B2 (en) * 2017-12-03 2020-02-18 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
WO2019108250A1 (en) * 2017-12-03 2019-06-06 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US11043006B1 (en) 2017-12-29 2021-06-22 Perceive Corporation Use of machine-trained network for misalignment identification
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US11127189B2 (en) * 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
WO2019203189A1 (ja) * 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
KR20210028185A (ko) * 2018-06-29 2021-03-11 렌치 잉크. 사람 자세 분석 시스템 및 방법
JP2021182175A (ja) * 2018-08-10 2021-11-25 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
US11022863B2 (en) 2018-09-17 2021-06-01 Tangible Play, Inc Display positioning system
CN112654951A (zh) * 2018-09-27 2021-04-13 苹果公司 基于现实世界数据移动头像
WO2020096403A1 (en) 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Textured neural avatars
US11487351B2 (en) * 2018-11-23 2022-11-01 International Business Machines Corporation Intelligent directing system in an internet of things (IoT) computing environment
CN109558832B (zh) * 2018-11-27 2021-03-26 广州市百果园信息技术有限公司 一种人体姿态检测方法、装置、设备及存储介质
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
US10832045B2 (en) 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
US20200273200A1 (en) 2019-02-25 2020-08-27 Microsoft Technology Licensing, Llc Camera localization based on skeletal tracking
CN111667398B (zh) 2019-03-07 2023-08-01 株式会社理光 图像处理方法、装置和计算机可读存储介质
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11861867B2 (en) * 2019-07-09 2024-01-02 Gentex Corporation Systems, devices and methods for measuring the mass of objects in a vehicle
CN113678137B (zh) * 2019-08-18 2024-03-12 聚好看科技股份有限公司 显示设备
CN112783890A (zh) * 2019-11-08 2021-05-11 珠海金山办公软件有限公司 一种生成数据透视表行的方法及装置
CN112489745A (zh) * 2019-11-27 2021-03-12 上海联影智能医疗科技有限公司 用于医疗设施的感测装置及实施方法
CN112419419A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于人体姿势和形状估计的系统和方法
CN112420143A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 提供个性化健康护理的系统，方法和装置
US11430564B2 (en) 2019-11-27 2022-08-30 Shanghai United Imaging Intelligence Co., Ltd. Personalized patient positioning, verification and treatment
US11587276B2 (en) 2019-12-03 2023-02-21 Disney Enterprises, Inc. Data-driven extraction and composition of secondary dynamics in facial performance capture
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
US20210279893A1 (en) * 2020-03-09 2021-09-09 Disney Enterprises, Inc. Interactive entertainment system
US11776193B1 (en) * 2020-04-28 2023-10-03 Apple Inc. Granular motion control for a virtual agent
US11386713B2 (en) * 2020-05-06 2022-07-12 Motorola Solutions, Inc. Anomalous pose detection method and system
US11151767B1 (en) * 2020-07-02 2021-10-19 Disney Enterprises, Inc. Techniques for removing and synthesizing secondary dynamics in facial performance capture
CN112641441B (zh) * 2020-12-18 2024-01-02 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
JP2022133723A (ja) * 2021-03-02 2022-09-14 株式会社アイシン 身体情報取得装置
CN113743319B (zh) * 2021-09-07 2023-12-26 三星电子（中国）研发中心 一种自监督型智能健身方案生成方法和装置
US11768544B2 (en) * 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
CN117315201A (zh) * 2022-06-20 2023-12-29 香港教育大学 用于在虚拟世界中动画化化身的系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101254344A (zh) * 2008-04-18 2008-09-03 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
WO2009059065A1 (en) * 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
CN101719140A (zh) * 2009-12-23 2010-06-02 中山大学 一种图形检索方法

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US6205231B1 (en) * 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7728839B2 (en) 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP5191491B2 (ja) * 2006-10-26 2013-05-08 シーリアル テクノロジーズ ソシエテ アノニム 小型ホログラフィック・ディスプレイ装置
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8005263B2 (en) 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009059065A1 (en) * 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
CN101254344A (zh) * 2008-04-18 2008-09-03 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
CN101719140A (zh) * 2009-12-23 2010-06-02 中山大学 一种图形检索方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603630A (zh) * 2012-09-06 2015-05-06 皇家飞利浦有限公司 具有基于导航器的运动检测的磁共振成像系统
CN105741323A (zh) * 2016-02-03 2016-07-06 浙江大学 一种基于单目视频的人体骨架跟踪方法
CN109152555A (zh) * 2016-03-18 2019-01-04 哈佛大学校长及研究员协会 自动分类动物行为
CN109152555B (zh) * 2016-03-18 2022-09-06 哈佛大学校长及研究员协会 自动分类动物行为
CN109711374A (zh) * 2018-12-29 2019-05-03 深圳美图创新科技有限公司 人体骨骼点识别方法及装置
CN109711374B (zh) * 2018-12-29 2021-06-04 深圳美图创新科技有限公司 人体骨骼点识别方法及装置
CN111460873A (zh) * 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN109931940B (zh) * 2019-01-22 2022-04-19 九天创新(广东)智能科技有限公司 一种基于单目视觉的机器人定位置信度评估方法
CN109931940A (zh) * 2019-01-22 2019-06-25 广东工业大学 一种基于单目视觉的机器人定位置信度评估方法
US11103748B1 (en) 2019-03-05 2021-08-31 Physmodo, Inc. System and method for human motion detection and tracking
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
US11497962B2 (en) 2019-03-05 2022-11-15 Physmodo, Inc. System and method for human motion detection and tracking
US11497961B2 (en) 2019-03-05 2022-11-15 Physmodo, Inc. System and method for human motion detection and tracking
US11547324B2 (en) 2019-03-05 2023-01-10 Physmodo, Inc. System and method for human motion detection and tracking
US11771327B2 (en) 2019-03-05 2023-10-03 Physmodo, Inc. System and method for human motion detection and tracking
US11826140B2 (en) 2019-03-05 2023-11-28 Physmodo, Inc. System and method for human motion detection and tracking
CN112085105A (zh) * 2020-09-10 2020-12-15 上海庞勃特科技有限公司 一种基于人体形状与姿态估计的动作相似度评价方法

Also Published As

Publication number Publication date
US20130243255A1 (en) 2013-09-19
US8437506B2 (en) 2013-05-07
US8953844B2 (en) 2015-02-10
US20120056800A1 (en) 2012-03-08
CN102402288B (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
CN102402288B (zh) 用于快速且概率性的骨架跟踪的系统
CN102609954B (zh) 对人类目标跟踪的确认分析
CN103608844B (zh) 全自动动态关节连接的模型校准
US9972137B2 (en) Systems and methods for augmented reality preparation, processing, and application
Han et al. Enhanced computer vision with microsoft kinect sensor: A review
CN102693413B (zh) 运动识别
Buys et al. An adaptable system for RGB-D based human body detection and pose estimation
CN102222347B (zh) 使用波阵面编码来创建深度图像
US8630457B2 (en) Problem states for pose tracking pipeline
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102301313B (zh) 视觉目标跟踪
CN103038727A (zh) 骨架关节识别和跟踪系统
US20150145860A1 (en) Pose tracking pipeline
CN102576466A (zh) 用于跟踪模型的系统和方法
CN102129152A (zh) 具有集成vcsel阵列的深度投影仪系统
CN102222431A (zh) 基于机器的手语翻译器
CN102648032B (zh) 虚拟目标跟踪
CN102549619A (zh) 人类跟踪系统
CN103597515A (zh) 用于识别张开的或闭合的手的系统
CN102572505A (zh) 家中深度相机校准
Günther et al. Model-based furniture recognition for building semantic object maps
CN102640186A (zh) 虚拟目标跟踪
CN102262440A (zh) 多模态性别识别
US20110208685A1 (en) Motion Capture Using Intelligent Part Identification
CN103577792A (zh) 用于估计人体姿势的设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150428

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.