CN102576466B - 用于跟踪模型的系统和方法 - Google Patents
用于跟踪模型的系统和方法 Download PDFInfo
- Publication number
- CN102576466B CN102576466B CN201080044525.5A CN201080044525A CN102576466B CN 102576466 B CN102576466 B CN 102576466B CN 201080044525 A CN201080044525 A CN 201080044525A CN 102576466 B CN102576466 B CN 102576466B
- Authority
- CN
- China
- Prior art keywords
- place
- voxel
- model
- depth image
- tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
可由设备接收、观测或捕捉诸如场景的深度图像等图像。然后可基于深度图像生成体素(voxel)的网格(grid)以便降采样该深度图像。可基于为该体素的网格中的人类目标估算或确定的一个或多个末端的地点或位置来调整模型。还可基于诸如T型姿态、达芬奇姿态和/或自然姿态等默认姿态中的该模型的默认地点或位置来调整该模型。
Description
背景技术
诸如计算机游戏、多媒体应用等之类的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用例如控制器、遥控器、键盘、鼠标等等来输入这样的控制。不幸的是,这些控制可能是难以学习的,由此造成了用户和这些游戏及应用之间的障碍。此外,这些控制命令可能与这些控制命令所用于的实际游戏动作或其他应用程序动作不同。例如,使得游戏角色挥动棒球球棒的游戏控制可能不与挥动棒球球棒的实际运动相对应。
发明内容
此处所公开的是用于跟踪场景中的用户的系统和方法。例如,可以接收或观察诸如场景的深度图像等图像。然后可基于深度图像生成体素(voxel)的网格(grid)以便降采样该深度图像。例如,深度图像可包括多个像素,这些像素可被分为部分或块。然后可为每个部分或块生成体素,使得所接收的深度图像被降采样为体素的网格。
根据一个实施例,然后可移除体素的网格中所包括的背景以隔离开与前景物体(诸如人类目标)相关联的一个或多个体素。可以确定或估算所隔离开的人类目标的一个或多个末端(诸如质心或中心、头、肩膀、髋、臂、手、肘、腿、脚、膝等等)的地点或位置。此外,可以确定或估算这些末端的尺寸,诸如包括宽度、长度等等的测量值。
然后可基于为该人类目标确定的一个或多个末端的地点或位置和/或尺寸来跟踪或调整模型。例如,该模型可以是可包括诸如关节和骨骼等身体部位的骨架模型。在一个实施例中,当可能已估算了人类目标的末端中的一个或多个的地点或位置时,该模型的诸如关节和/或骨骼等身体部位中的一个或多个可以被调整到与其相关联的一个或多个末端的所估算的地点或位置。根据另一实施例,当可能还没有估算人类目标的末端中的一个或多个的地点或位置时,该模型的诸如关节和/或骨骼等一个或多个身体部位可以基于默认姿态(诸如T型姿态、达芬奇姿态、自然姿态等等)中的默认地点或位置而放松。例如,该模型的诸如关节等身体部位可以通过将该关节调整到与默认姿态中的该关节相关联的默认地点或位置来放松,以便该模型可返回中性姿态。例如,然后该模型的关节可被吸附(magnetize)或调整到该人类目标中最靠近该默认地点或位置的体素的地点或位置。
然后可处理该模型。例如,在一个实施例中,可以将该模型映射到化身或游戏角色,以便该化身或游戏角色可以被动画化(animated)以模仿该用户和/或经调整的模型可被提供到计算环境中的姿势库,其可被用于基于该模型中的各身体部位的位置来确定在应用内执行的控制。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
附图说明
图1A和1B示出了目标识别、分析和跟踪系统的示例实施例,其中用户正在玩游戏。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上角色的计算环境的示例实施例。
图4示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上角色的计算环境的另一示例实施例。
图5描绘了用于跟踪场景中的用户的示例方法的流程图。
图6示出可被捕捉或观察的深度图像的示例实施例。
图7A-7B示出被降采样的深度图像的一部分的示例实施例。
图8示出可基于臂和腿的平均位置和/或锚点来计算的手和脚的示例实施例。
图9示出可生成的模型的示例实施例。
图10描绘用于跟踪与场景中的用户相关联的模型的示例方法的流程图。
说明性实施例的详细描述
图1A和1B示出目标识别、分析和跟踪系统10的配置的示例实施例,其中用户18正在玩拳击游戏。在一示例实施例中,目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示,目标识别、分析和跟踪系统10可以包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例,计算环境12可包括硬件组件和/或软件组件,使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。在一个实施例中,计算环境12可包括可执行指令的处理器(诸如标准化处理器、专用处理器、微处理器等),所述指令包括例如用于以下操作的指令:接收深度图像;基于该深度图像生成体素的网格;确定是否已估算出该体素的网格中所包括的人类目标的末端的地点或位置;当基于该确定已估算出该末端的地点或位置时,将模型的与该末端相关联的身体部位调整到该地点或位置;以及当基于该确定还没有估算出该末端的地点或位置时将该模型的该身体部位调整到与该人类目标相关联的最接近的体素,或任何其他适当指令,这将在以下更详细地描述。
如图1A所示,目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机,所述相机可用于在视觉上监视诸如用户18等的一个或多个用户从而可以捕捉、分析并跟踪一个或多个用户所执行的姿势和/或移动,来执行应用程序中的一个或多个控制命令或动作和/或动画化化身或屏幕上角色,如将在下面更详细地描述的。
根据一个实施例,目标识别、分析和跟踪系统10可连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16,如电视机、监视器、高清电视机(HDTV)等。例如,计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器,这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号,然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例,视听设备16可经由例如,S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示,目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如,可使用捕捉设备20来跟踪用户18,从而可以捕捉用户18的姿势和/或移动来动画化化身或屏幕上角色,和/或可将用户18的姿势和/或移动解释为可用于影响计算环境12所执行的应用的控制命令。因此,根据一个实施例,用户18可移动他或她的身体来控制应用和/或动画化化身或屏幕上角色。
如图1A和1B所示,在一示例性实施例中,在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如,计算环境12可使用视听设备16来向用户18提供拳击对手38的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。例如,如图1B所示,用户18可以在物理空间中挥拳以致使玩家化身40在游戏空间中挥拳。因此,根据一示例实施例,目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析物理空间中用户18的重拳从而使得该重拳可被解释为对游戏空间中的玩家化身40的游戏控制和/或该重拳的运动可用于动画化游戏空间中的玩家化身40。
用户18的其他移动也可被解释为其他控制命令或动作,和/或用于动画化玩家化身,如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同的有力重拳的控制命令。此外,某些移动可被解释为可对应于除控制玩家化身40之外的动作的控制。例如,在一实施例中,玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。根据另一实施例,玩家可使用移动来从主用户界面选择游戏或其他应用程序。因此,在示例实施例中,用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
在各示例实施例中,诸如用户18等人类目标可持有一物体。在这些实施例中,电子游戏的用户可手持物体,使得可使用玩家和物体的运动来调整和/或控制游戏的参数。例如,可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中,可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例,目标识别、分析和跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如,事实上操作系统和/或应用程序的任何可控方面都可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例,捕捉设备20可被配置成经由任何合适的技术,包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频,该深度信息可包括深度值。根据一实施例,捕捉设备20可将深度信息组织为“Z层”或者可与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示,捕捉设备20可包括图像相机组件22。根据一个示例性实施例,图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的两维(2-D)像素区域,其中2-D像素区域中的每个像素都可表示深度值,比如例如所捕捉场景中的物体距相机的以厘米、毫米等为单位的长度或距离。
如图2所示,根据一示例性实施例,图像相机组件22可以包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如,在飞行时间分析中,捕捉设备20的IR光组件24可将红外光发射到场景上,并且随后可使用传感器(未示出)、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。在一些实施例中,可以使用脉冲红外光,使得可以测量出射光脉冲与相应入射光脉冲之间的时间,并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地,在其他示例性实施例中,可以将出射光波的相位与入射光波的相位相比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例性实施例,可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例性实施例中,捕捉设备20可以使用结构化光来捕捉深度信息。在这样的分析中,图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面上以后,作为响应,图案可以变为变形的。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉,然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例,捕捉设备20可包括两个或更多物理上分开的相机,这些相机可从不同角度查看场景以获得视觉立体数据,该视觉立体数据可被解析以生成深度信息。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例,话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。附加地,话筒30可用于接收也可由用户提供的音频信号,以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。
在一示例性实施例中,捕捉设备20还可包括可与图像相机组件22可操作地通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等,所述指令包括例如用于以下操作的指令:接收深度图像;基于该深度图像生成体素的网格;确定是否已估算出该体素的网格中所包括的人类目标的末端的地点或位置;当基于该确定已估算出该末端的地点或位置时,将模型的与该末端相关联的身体部位调整到该地点或位置;以及当基于该确定还没有估算出该末端的地点或位置时,将该模型的该身体部位调整到与该人类目标相关联的最接近的体素,或任何其他适当指令,这将在以下更详细地描述。
捕捉设备20还可包括存储器组件34,存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例性实施例,存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示,在一个实施例中,存储器组件34可以是与图像相机组件22和处理器32进行通信的单独的组件。根据另一实施例,存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示,捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接,和/或例如无线802.11b、g、a或n连接等的无线连接。根据一个实施例,计算环境12可以经由通信链路36向捕捉设备20提供时钟,该时钟可用于确定何时捕捉例如场景。
另外,捕捉设备20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像,和/或可由捕捉设备20生成的骨架模型。计算环境12然后可使用该模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或字处理程序等的应用和/或动画化化身或屏幕上角色。例如,如图2所示,计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合,每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可将由相机26、28和捕捉设备20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此,计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上的角色的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3所示,多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据,并且因此减少存储器访问周期的数量,由此改进处理速度和吞吐量。CPU 101可被提供为具有一个以上的核,并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据,用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112,诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如,闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口控制器124和/或无线适配器148提供对网络(例如,因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等各种不同的有线和无线适配器组件中任一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144,且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问,以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140,以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、以及多媒体控制台100内的各种其他组件经由一条或多条总线互连,该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例,这些体系结构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时,应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中,并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中,媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放,以将附加功能提供给多媒体控制台100。
多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中,多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而,在通过网络接口124或无线适配器148可用的宽带连接集成的情况下,多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时,可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如,16MB)、CPU和GPU周期的保留量(诸如,5%)、网络带宽的保留量(诸如,8kbs),等等。因为这些资源是在系统引导时间保留的,所保留的资源从应用的视角而言是不存在的。
具体而言,存储器保留量优选地足够大,以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定,使得若所保留的CPU用量不被系统应用使用,则空闲线程将消耗任何未使用的周期。
对于GPU保留量,通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图,从而显示由系统应用程序生成的轻量消息(例如,弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小,并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下,优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率,从而无需改变频率和引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后,执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行,以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存分裂最小化。
当并发系统应用需要音频时,由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频级别(例如,静音、衰减)。
输入设备(例如,控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源,而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换,而无需知晓游戏应用的知识,并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可为多媒体控制台100定义额外的输入设备。
图4示出计算环境220的另一示例实施例,该计算环境可以是用于解释目标识别、分析和跟踪系统中的一个或多个姿势和/或动画化目标识别、分析和跟踪系统所显示的化身或屏幕上角色的图1A-2中示出的计算环境12。计算环境220只是合适的计算环境的一个示例,并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该把计算环境220解释为对示例性计算系统220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中,所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如,本公开中使用的术语“电路”可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中,术语电路可包括由软件指令配置的实施可用于执行功能的逻辑的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中,实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步,因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地,本领域技术人员可以明白软件进程可被变换成等价的硬件结构,而硬件结构本身可被变换成等价的软件进程。由此,对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图4中,计算环境220包括计算机241,计算机241通常包括各种计算机可读介质。计算机可读介质可以是能被计算机241访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质,如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制,图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例,图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238,从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239,以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221,并且磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中,例如,硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意,这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同,也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号,以说明至少它们是不同的副本。用户可以通过输入设备,例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259,但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除了监视器以外,计算机还可包括诸如扬声器244和打印机243之类的其他外围输出设备,它们可通过输出外围接口233来连接。
计算机241可使用至一个或多个远程计算机(诸如远程计算机246)的逻辑连接的联网环境。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点,并且通常包括许多或所有以上关于计算机241所描述的元件,但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249,但还可包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时,计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时,计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置的或外置的,可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中,相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制,图4示出了远程应用程序248驻留在存储器存储设备247上。应当理解,所示的网络连接是示例性的,并且可使用在计算机之间建立通信链路的其他手段。
图5描绘了用于跟踪场景中的用户的示例方法300的流程图。示例方法300可使用例如,参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。在一示例实施例中,示例方法300可采取可由例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12执行的程序代码(即指令)的形式。
根据一个实施例,在305,可接收深度图像。例如,目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等捕捉设备。捕捉设备可捕捉或观察可包括一个或多个目标的场景。在一示例实施例中,捕捉设备可以是深度相机,该深度相机被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得场景的深度图像。
深度图像可以是多个观测到的像素,其中每个观测到的像素具有观测到的深度值。例如,深度图像可包括所捕捉的场景的两维(2-D)像素区域,其中2-D像素区域中的每一像素可表示深度值,诸如例如以厘米、毫米等计的、所捕捉的场景中的物体距捕捉设备的长度或距离。
图6示出了可在305被接收的深度图像400的示例实施例。根据一示例实施例,深度图像400可以是由例如以上参考图2所描述的捕捉设备20的3-D相机26和/或RGB相机28所捕捉的场景的图像或帧。如图6所示,深度图像400可包括与例如诸如参考图1A和1B所描述的用户18等的用户对应的人类目标402a以及诸如所捕捉的场景中的壁、桌子、监视器等的一个或多个非人类目标404。如上所述,深度图像400可包括多个观测到的像素,其中每一观测到的像素具有与其相关联的观测到的深度值。例如,深度图像400可包括所捕捉的场景的两维(2-D)像素区域,其中该2-D像素区域中的特定X值和Y值处的每一像素可具有诸如以例如厘米、毫米等为单位的所捕捉的场景中的目标或物体离捕捉设备的长度或距离之类的深度值。
在一个实施例中,深度图像400可被着色(colorized)从而使得深度图像的像素的不同颜色对应于和/或从视觉上描绘了人类目标402a和非人类目标404离捕捉设备的不同距离。例如,与深度图像中最接近捕捉设备的目标相关联的像素可用红色和/或橙色阴影来着色,而与深度图像中较远的目标相关联的像素可用绿色和/或蓝色阴影来着色。
回头参考图5,在一个实施例中,一接收到该图像,在305,即可从深度图像中移除和/或平滑掉一个或多个高方差和/或有噪声的深度值;可填入和/或重构缺少的和/或被移除的深度信息的各部分;和/或可对接收到的深度图像执行任何其他合适的处理,以使与该深度图像相关联的深度信息可用于生成诸如骨架模型之类的模型,这将在下文更详细地描述。
根据一示例实施例,在310,可基于所接收到的深度图像生成一个或多个体素的网格。例如,目标识别、分析和跟踪系统可通过使用所接收到的深度图像中所包括的信息来生成一个或多个体素来对所接收的深度图像进行降采样,以便可以生成经降采样的深度图像。在一个实施例中,该一个或多个体素可以是可在经子采样(sub-sampled)的网格上表示所接收的深度图像中所包括的信息的数据或值的体元素。
例如,如上所述,深度图像可包括所捕捉的场景的2-D像素区域,其中每一像素具有与其相关联的X值、Y值和深度值(或Z值)。在一个实施例中,该深度图像可通过将2-D像素区域中的像素约简为一个或多个体素的网格来降采样。例如,深度图像可被分成各个像素部分或像素块,诸如4x4的像素块、5x5的像素块、8x8的像素块、10x10的像素块等等。每个部分或块可被处理以生成深度图像的体素,该体素可表示与该2-D深度图像的像素相关联的部分或块在真实世界空间中的位置。根据一示例实施例,每个体素的位置可以基于例如该体素可能表示的块或部分中的像素的有效或非零深度值的平均深度值;该体素可能表示的部分或块中的像素的最小、最大和/或中间深度值;该体素可能表示的部分或块中的具有有效深度值的像素的X值和Y值的平均值;或该深度图像所提供的任何其他适当信息来生成。因此,根据一示例实施例,每个体素可表示该深度图像中具有诸如以下值的子体(sub-volume)部分或块:该体素可能表示的块或部分中的像素的有效或非零深度值的平均深度值;该体素可能表示的部分或块中的像素的最小、最大和/或中间深度值;该体素可能表示的部分或块中的具有有效深度值的像素的X值和Y值的平均值;或基于在305所接收的深度图像的像素的相应部分或块的X值、Y值和深度值由该深度图像所提供的任何其他适当信息。
在一个实施例中,经降采样的深度图像中的一个或多个体素的网格可被分层(1ayered)。例如,该目标识别、分析和跟踪系统可生成如上所述的体素。然后该目标识别、分析和跟踪系统可将所生成的体素堆叠在该网格中所生成的一个或多个其他体素上。
根据一示例实施例,该目标识别、分析和跟踪系统可以将体素堆叠在该网格中例如可在该深度图像中捕捉的场景中的物体的边缘周围。例如,在305接收的深度图像可包括人类目标和非人类目标(诸如壁)。例如在人类目标的边缘处,人类目标可以与非人类目标(诸如壁)重叠。在一个实施例中,重叠边缘可包括诸如与该深度图像中可捕捉的该人类目标和非人类目标相关联的深度值、X值、Y值等的信息。该目标识别、分析和跟踪系统可以生成该重叠边缘处的与该人类目标相关联的体素以及与该非人类目标相关联的体素,以便这些体素可被堆叠而该重叠边缘的信息(诸如深度值、X值、Y值等)可被保留在该网格中。
根据另一实施例,在310,通过例如将信息(诸如深度值、X值、Y值等)投影到三维(3-D)空间中,可以生成一个或多个体素的网格。例如,使用相机、图像或视角变换等变换可将深度值映射到该3-D空间中的3-D点,以便该信息可被变换为该3-D空间中的梯形或锥形。在一个实施例中,具有梯形或锥形形状的3-D空间可被分为诸如立方体的块,所述块可创建体素的网格以便这些块或立方体中的每一个可表示该网格中的体素。例如,该目标识别、分析和跟踪系统可以将3-D网格叠加在与该深度图像中的物体相对应的3-D点上。然后该目标识别、分析和跟踪系统可以将该网格划分或切割为表示体素的块,以将该深度图像降采样为更低的分辨率。根据一示例实施例,该网格中的体素中的每一个可包括该网格中与该3-D空间相关联的像素的有效或非零深度值的平均深度值。这可允许该体素表示该网格中与该3-D空间相关联的像素的最小和/或最大深度值;与该3-D空间相关联的具有有效深度值的像素的X值和Y值的平均值;或该深度图像所提供的任何其他适当信息。
图7A-7B示出被降采样的深度图像的一部分的示例实施例。例如,如图7A所示,以上参考图6所述的深度图像400的一部分410可包括多个像素420,其中每一像素420可具有与其相关联的X值、Y值和深度值(或Z值)。.根据一个实施例,如上所述,深度图像(诸如深度图像400)可通过将2-D像素区域中的像素约简为一个或多个体素的网格来降采样。例如,如图7A所示,深度图像400的部分410可以被分为像素420的部分或块430,诸如像素420的8x8块。该目标识别、分析和跟踪系统可以处理部分或块430以生成体素440,体素440可表示与像素420相关联的部分或块430在真实世界中的位置,如图7A-7B所示。
回头参考图5,在315,可将背景从经降采样的深度图像中移除。。例如,可以移除经降采样的图像中的背景(诸如非人类目标或物体)以隔离开前景物体(诸如与用户相关联的人类目标)。如上所述,该目标识别、分析和跟踪系统可以通过为所捕捉或观察的深度图像生成一个或多个体素的网格来降采样所述所捕捉或观察的深度图像。该目标识别、分析和跟踪系统可以分析经降采样的深度图像中的每一个以确定体素是否可能与背景物体(诸如该深度图像的一个或多个非人类目标)相关联。如果体素可能与背景物体相关联,该体素可从经降采样的深度图像移除或丢弃,以便前景物体(诸如人类目标)和该网格中与该前景物体相关联的一个或多个体素可以被隔离开。
在320,可以确定或估算所隔离开的前景物体(诸如人类目标)的一个或多个末端(诸如一个或多个身体部位)。例如,在一个实施例中,该目标识别、分析和跟踪系统可将一个或多个试探(heuristic)或规则应用到经隔离的人类目标以确定例如与该经隔离的人类目标相关联的例如质心或中心、头、肩、躯干、臂、腿等。根据一个实施例,基于对末端的确定,该目标识别、分析和跟踪系统可以生成和/或跟踪或调整经隔离的人类目标的模型。例如,如果在305所接收的深度图像可以被包括在由捕捉设备(诸如上面参考图1A-2描述的捕捉设备20)所观察或捕捉的初始帧中,则可基于在320确定的末端(诸如质心、头、肩、臂、手、腿等等)的位置,通过例如将骨架模型的关节分配到末端的所确定的位置来生成模型,这将在下面更详细地描述。替代地,如果该深度图像可以被包括在由该捕捉设备所观察或捕捉的后续或非初始帧中,则可以基于在320确定的末端(诸如质心、头、肩、臂、手、腿等等)的位置来跟踪或调整先前生成的模型。
根据一示例实施例,在315隔离开前景物体(诸如人类目标)之后,该目标识别、分析和跟踪系统可在320计算该人类目标中的体素的平均值以例如估算该人类目标的质心或中心。例如,该目标识别、分析和跟踪系统可计算该人类目标中包括的体素的平均位置,其可提供对该人类目标的质心或中心的估算。在一个实施例中,该目标识别、分析和跟踪系统可基于与体素相关联的X值、Y值和深度值来计算与该人类目标相关联的体素的平均位置。例如,如上所述,该目标识别、分析和跟踪系统可通过对与体素相关联的像素的X值求平均来计算该体素的X值,通过对与该体素相关联的像素的Y值求平均来计算该体素的Y值,以及通过对与该体素相关联的像素的深度值求平均来计算该体素的深度值。在320,该目标识别、分析和跟踪系统可对该人类目标中所包括的体素的X值、Y值和深度值求平均以计算平均位置,该平均位置可提供该人类目标的质心或中心的估算。
在320,然后该目标识别、分析和跟踪系统可确定人类目标的头。例如,在一个实施例中,该目标识别、分析和跟踪系统可通过在适于头的位置或地点处搜索各候选来确定头的位置和地点。根据一个实施例,该目标识别、分析和跟踪系统可以搜索该人类目标的绝对最高体素和/或毗邻或接近该绝对最高体素的体素、基于为先前帧确定的头的位置的一个或多个增量体素、可从例如质心或中心竖直延伸的向上的向量上的最高体素和/或毗邻或接近为先前帧确定的最高体素的体素,在质心或中心和为先前帧确定的最高体素之间的先前的向上的向量上的最高体素,和任何其他适当体素,来确定该末端(诸如头)的候选。
然后该目标识别、分析和跟踪系统可对这些候选打分。在一示例实施例中,可基于3-D模式匹配对这些候选打分。例如,该目标识别、分析和跟踪系统可创建头柱和肩柱。然后该目标识别、分析和跟踪系统可基于与头柱和/或肩柱中可包括的候选相关联的体素的数量来计算候选的得分。
根据一个实施例,如果与这些候选中的一个相关联的得分超过头阈值得分,则该目标识别、分析和跟踪系统可在320基于与该候选相关联的体素来确定头的位置或地点。此外,如果超过一个候选超过头阈值得分,则该目标识别、分析和跟踪系统可选择可具有最高得分的候选并可随后基于与可具有最高得分的候选相关联的体素来确定该末端(诸如头)的位置或地点。当与这些候选相关的得分都不超过头阈值得分时,该目标识别、分析和跟踪系统可使用为与先前帧(该先前帧中的头部得分超过头阈值得分)的深度图像相关联的人类目标中所包括的体素确定的头的先前位置和地点,或者如果在305接收的深度图像可能是在由该捕捉设备捕捉或观察的初始帧的话,则该目标识别、分析和跟踪系统可使用处于人类目标的默认姿态(诸如,T型姿态、自然站立姿态等)的头的默认位置或地点。
根据另一实施例,该目标识别、分析和跟踪系统可包括与例如头的形状相关联的一个或多个两维(2-D)样式。然后该目标识别、分析和跟踪系统可基于与候选相关联的体素可类似于该一个或多个2-D样式的头的形状的可能性来对与头相关联的候选打分。例如,该目标识别、分析和跟踪系统可确定并采样毗邻或附近体素的深度值,其可指示定义末端形状,诸如头的形状,以使得可以基于所采样的毗邻或附近体素的深度值可指示该2-D样式的头的形状中的一个或多个的可能性来计算得分。
该目标识别、分析和跟踪系统可在320进一步确定人类目标的肩和髋。例如,在一个实施例中,在确定人类目标的头的地点或位置之后,该目标识别、分析和跟踪系统可确定人类目标的肩和髋的地点或位置。该目标识别、分析和跟踪系统还可确定肩和髋的定向,诸如肩和髋的旋转或角度。例如,该目标识别、分析和跟踪系统可基于在320确定或估算的头和中心的地点或位置来限定头-到-中心向量。然后该目标识别、分析和跟踪系统可通过限定围绕沿头-到-中心向量从诸如头或中心等身体地标的位移值的相应的体块来确定或估算肩和/或髋的地点或位置。然后该目标识别、分析和跟踪系统可分析所述相应体块中所包括的体素以估算与肩和/或髋相关联的例如关节的地点和位置以及肩和/或髋的定向。例如,该目标识别、分析和跟踪系统可计算相应体块中的体素的深度值(包括任何镜像的深度值在内)的最佳拟合线,以限定肩和/或髋的相应斜率,可沿相应斜率在每个方向上搜索以检测边缘,并可以基于从边缘的位移来分配肩和/或髋的关节,或者可执行可用于确定或估算肩或髋的地点或位置的任何其他适当技术。
在一个示例实施例中,该目标识别、分析和跟踪系统可在320进一步确定人类目标的躯干。例如,在确定肩和髋之后,该目标识别、分析和跟踪系统可生成或创建躯干体,该躯干体可包括与头、肩、中心和髋相关联并围绕它们的体素。基于中心、头、肩和/或髋的地点或位置,躯干体可以是圆柱、药丸形(诸如两端为圆形的圆柱)等等。
根据一个实施例,该目标识别、分析和跟踪系统可以创建圆柱,该圆柱可表示具有基于肩、头、髋、中心等的尺度的躯干体。例如,该目标识别、分析和跟踪系统可创建圆柱,该圆柱可具有基于肩的宽度的宽度或直径以及基于头和髋之间的距离的高度。然后该目标识别、分析和跟踪系统沿头-到-中心向量定向或倾斜(angle)可表示躯干体的圆柱,以便该躯干体可反映人类目标的躯干的定向(诸如角度)。
在320,然后该目标识别、分析和跟踪系统可估算或确定人类目标的肢。例如,该目标识别、分析和跟踪系统可在生成或创建躯干体之后粗略地将躯干体外的体素标记为肢。在一个实施例中,该目标识别、分析和跟踪系统可标识躯干体外的体素中的每一个以便该目标识别、分析和跟踪系统可将所述体素标记为肢的一部分。
然后该目标识别、分析和跟踪系统可确定与躯干体外的体素相关联的实际的肢,诸如右臂和左臂、右手和左手、右腿和左腿、右脚和左脚等等。在一个实施例中,为了确定实际的肢,该目标识别、分析和跟踪系统可将所标识的肢的先前位置或地点(诸如右臂、左臂、左腿、右腿等的先前位置或地点)与躯干体外的体素的位置或地点进行比较。根据示例实施例,先前标识的肢的先前地点或位置可以是先前帧中所接收的深度图像中的肢的地点或位置、基于先前移动的所投影的身体部位的地点或位置、或诸如人类目标的完全连接(fully articulated)骨架或体模型等人类目标的标识的表示的任何其他适当的先前地点或位置。基于所述比较,该目标识别、分析和跟踪系统随后可将躯干体外的体素与最接近的先前标识的肢相关联。例如,该目标识别、分析和跟踪系统可将包括躯干体外的体素中的每一个的X值、Y值和深度值的位置或地点与包括先前标识的肢(诸如先前标识的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的先前位置或地点进行比较。该目标识别、分析和跟踪系统随后可基于该比较将躯干体外的体素中的每一个与可能具有最接近的地点或位置的先前标识的肢相关联。
在另一个实施例中,为了确定实际的肢,该目标识别、分析和跟踪系统可将人类目标的表示的默认姿态中的所标识的肢(诸如右臂、左臂、左腿、右腿等)的默认位置或地点与躯干体外的体素的位置或地点进行比较。例如,在305接收的深度图像可被包括在捕捉设备所捕捉或观察的初始帧中。如果在305接收的深度图像可被包括在初始帧中,该目标识别、分析和跟踪系统可将肢的默认位置或地点(诸如右臂、左臂、左腿、右腿等的默认位置或地点)与躯干体外的体素的位置或地点进行比较。根据示例实施例,所标识的肢的默认地点或位置可以是人类目标的表示(诸如处于默认姿态的人类目标的完全连接的骨架或体模型)在默认姿态(诸如T型姿态、达芬奇姿态、自然姿态等)中的肢的地点或位置。基于所述比较,该目标识别、分析和跟踪系统随后可将躯干体外的体素与与该默认姿态相关联的最接近的肢相关联。例如,该目标识别、分析和跟踪系统可将包括躯干体外的体素中的每一个的X值、Y值和深度值的位置或地点与包括默认的肢(诸如默认的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的默认位置或地点进行比较。该目标识别、分析和跟踪系统随后可基于该比较将躯干体外的体素中的每一个与可能具有最接近的地点或位置的默认的肢相关联。
该目标识别、分析和跟踪系统还可基于所估算的肢来重新标记躯干体内的体素。例如,在一个实施例中,臂(诸如左前臂)的至少一部分可能位于人类目标的躯干的前方。基于所标识的臂的默认位置或地点,如上所述,该目标识别、分析和跟踪系统可将该部分确定或估算为与所述臂相关联。例如,先前标识的肢的先前位置或地点可指示人类目标的肢(诸如臂)的一个或多个体素可以在躯干体内。该目标识别、分析和跟踪系统随后可将包括先前标识的肢(诸如先前标识的左臂、右臂、左腿、右腿等)的X值、Y值、和深度值的先前位置或地点与躯干体中所包括的体素的位置或地点进行比较。该目标识别、分析和跟踪系统随后可基于该比较将躯干体内的体素中的每一个与可能具有最接近的地点或位置的先前标识的肢相关联并将其重新标记。
根据一个实施例,在标记与肢相关联的体素后,该目标识别、分析和跟踪系统可在320确定或估算例如所标记的肢的部分的地点或位置。例如,在标记与左臂、右臂、左腿和/或右腿相关联的体素之后,该目标识别、分析和跟踪系统可确定或估算右臂和左臂的手和/或肘、膝和/或脚、肘等的地点或位置。
该目标识别、分析和跟踪系统可基于所述肢中的每一个的肢平均值来确定或估算所述部分(诸如手、肘、脚、膝等)的地点或位置。例如,该目标识别、分析和跟踪系统可通过将与左臂相关联的体素的每一个的X值相加,将与左臂相关联的体素的每一个的Y值相加,以及将与左臂相关联的体素的每一个的深度值相加并将所加总的X值、Y值和深度值中的每一个的和除以与左臂相关联的体素的总数来计算左臂平均位置。根据一个实施例,该目标识别、分析和跟踪系统然后可定义左肩和左臂平均位置之间的向量或线,以便该左肩和左臂平均位置之间的向量或线可定义左手的第一搜索方向。该目标识别、分析和跟踪系统然后可从肩至沿由该向量或线所定义的该第一搜索方向搜索最后有效体素或具有有效X值、Y值和/或深度值的最后体素,并可使该最后有效体素的地点或位置与左手相关联。
根据另一实施例,该目标识别、分析和跟踪系统可计算锚点。该目标识别、分析和跟踪系统然后可定义锚点和肢平均值(诸如左臂平均位置)中的一个或多个之间的向量或线,以便锚点和肢平均值(诸如左臂平均位置)之间的向量或线可定义肢(诸如左手)的第二搜索方向。该目标识别、分析和跟踪系统然后可从锚点至沿由该向量或线所定义的该第二搜索方向搜索最后有效体素或具有有效X值、Y值和/或深度值的最后体素,并可使该最后有效体素的地点或位置与所述肢(诸如左手)相关联。
在一示例实施例中,该目标识别、分析和跟踪系统可基于从其他的确定的末端(诸如头、髋、肩等)的一个或多个偏移来计算锚点的地点或位置。例如,该目标识别、分析和跟踪系统可通过将肩的地点或位置在相应的X方向和Z方向上延伸与肩的地点或位置相关联的X值和深度值的一半来计算锚点的X值和深度值。该目标识别、分析和跟踪系统然后可在所延伸的地点或位置周围镜像锚点的X值和深度值的地点或位置。
该目标识别、分析和跟踪系统可基于肢平均位置(诸如左臂平均位置)从头和/或髋的位移来计算锚点的Y值。例如,该目标识别、分析和跟踪系统可计算头的Y值和左臂平均值的Y值之间的位移或差。该目标识别、分析和跟踪系统然后可将该位移或差加到例如髋的中心的Y值来计算锚点的Y值。
因而使用上面关于左臂平均位置和左手描述的技术,该目标识别、分析和跟踪系统还可分别基于右臂平均位置、左腿平均位置和右腿平均位置和/或一个或多个所计算的锚点来确定或估算右手、左脚和右脚的地点或位置。
根据一示例实施例,在320,该目标识别、分析和跟踪系统还可基于右臂和左臂平均位置和右腿和左腿平均位置的测量、其他末端(诸如肩、髋、头)、如下所述计算的其他末端的测量等来确定或估算末端(诸如肘和膝)的地点或位置。例如,该目标识别、分析和跟踪系统可基于左肩、左手、如下所述为左臂确定的测量、左臂平均值等来确定或估算左肘的地点或位置。在一个实施例中,该目标识别、分析和跟踪系统可基于左臂平均位置的X值、Y值和深度值来确定或估算例如左肘的地点或位置。例如,该目标识别、分析和跟踪系统可确定最外面的体素,所述最外面的体素可能定义与左臂相关联的边缘。该目标识别、分析和跟踪系统然后可将左臂平均位置的X值、Y值和深度值调整为在中间或与各边缘等距。然后可基于调整后的X值、Y值和深度值来估算左肘的地点或位置。
图8描绘了可在320为人类目标402b确定或估算的一个或多个末端的示例实施例。如图8所示,该目标识别、分析和跟踪系统可估算或确定人类目标402b的头810、肩816a-b、头-到-中心向量812、质心802、手822a-b、髋818a-b、脚824a-b等的地点或位置。
回头参考图5,在一个实施例中,该目标识别、分析和跟踪系统然后可在320确定为所述末端(诸如头、肩、髋、手、脚等)确定或估算的地点或位置中的一个或多个是否可能不是人类目标的实际末端的精确地点或位置。例如,右手的地点或位置可能是不精确的,使得右手的地点或位置可能停滞在或毗邻于肩或髋的地点或位置。
根据一示例实施例,该目标识别、分析和跟踪系统可包括或存储各末端的体标记(marker)的列表,所述体标记可指示所述末端的不精确的地点或位置。例如,该列表可包括可能与手相关联的、在肩或髋周围的体标记。该目标识别、分析和跟踪系统可基于该列表中与手相关联的体标记来确定手的地点或位置是否是精确的。例如,如果手的地点或位置在列表中与手相关联的体标记之一内,则该目标识别、分析和跟踪系统可确定手的地点或位置可能是不精确的。根据一个实施例,该目标识别、分析和跟踪系统然后可将手的地点或位置调整到先前帧中的手的先前精确位置作为手的当前地点或位置。
在一个示例实施例中,在320,该目标识别、分析和跟踪系统可扫描与所隔离开的人类目标相关联的体素来确定与其相关联的末端的尺寸。例如,可扫描所隔离开的人类目标来确定例如与末端(诸如臂、腿、头、肩、髋、躯干等)相关联的几何约束或测量(诸如长度、宽度等)。
为了确定所述尺寸,该目标识别、分析和跟踪系统可生成所述末端中的每一个的所提议的关节尺寸的估算器。该目标识别、分析和跟踪系统可使用所述估算器来计算所提议的关节尺寸中的每一个的均值和标准差。该目标识别、分析和跟踪系统可添加在定义的百分比偏差内的所提议的关节尺寸,而可拒绝离群点(outlier)即在定义的百分比偏差外的所提议的关节尺寸。该目标识别、分析和跟踪系统随后可基于在其标准差和所提议的关节尺寸的数量之间具有最高比率的估算器来确定所述末端的尺寸。
根据另一示例实施例,该目标识别、分析和跟踪系统可使用一个或多个试探(heuristic)或规则来确定该扫描所确定的尺寸是否是正确的。例如,该目标识别、分析和跟踪系统使用可确定对称关节之间的欧几里德距离是否大致相等的试探或规则、可确定手和/或肘是否靠近身体的试探或规则、可确定头是否可锁定在一位置或地点的试探和/或规则、可确定手是否靠近头的试探和/或规则,或者可用于调整所述尺寸的其他试探或规则。
在325,该目标识别、分析和跟踪系统可跟踪基于所确定或估算的末端的模型。例如,该目标识别、分析和跟踪系统可生成和/或可包括诸如可具有其间定义一个或多个关节和骨骼的骨架之类的模型。
图9示出诸如可生成的骨架模型之类的模型900的示例实施例。根据一示例实施例,模型900可包括可表示例如人类的三维模型的一个或多个数据结构。每个身体部分可以被表征为一数学向量,该数学向量具有可定义模型900的关节和骨骼的X、Y和Z值。
如图9所示,模型900可包括一个或多个关节j1-j16。根据一示例实施例,关节j1-j16中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。例如,表示人类目标的模型可包括多个刚性和/或可变形身体部位,这些身体部位由一个或多个诸如“骨骼”等结构件来定义,而关节j1-j16位于毗邻骨骼的交叉点处。关节j1-j16可使得与骨骼和关节j1-j16相关联的各个身体部位能够彼此独立地移动。例如,如图9所示,关节j10与j12之间定义的骨对应于前臂,该前臂可独立于例如关节j14与j16之间定义的骨骼(其对应于小腿)移动。
回头参考图5,在325,该目标识别、分析和跟踪系统可基于在320为人类目标的末端估算或确定的地点或位置来调整该模型的一个或多个身体部位(诸如关节j1-j16)。例如,该目标识别、分析和跟踪系统可将与头相关联的关节j1调整为与诸如在320确定的头的地点或位置之类的位置或地点相对应。因此,在一示例实施例中,关节j1可被赋予与为头估算或确定的地点或位置相关联的X值、Y值和深度值,这将在下面更详细地描述。
此外,在325,当例如该目标识别、分析和跟踪系统可能尚未确定或估算人类目标的一个或多个末端的地点或位置时,该目标识别、分析和跟踪系统可使用默认姿态(诸如T型姿态、达芬奇姿态、自然姿态等)的默认地点或位置来调整该模型的一个或多个身体部位(诸如关节j1-j16)。例如,该目标识别、分析和跟踪系统可以将该模型的一个或多个身体部位(诸如关节j1-j16)放松到默认姿态中的默认地点或位置。该目标识别、分析和跟踪系统随后可使用任何适当技术将该模型的身体部位中的一个或多个(诸如关节j1-j16)吸附(magnetize)到该人类目标的最接近的体素。例如,在一个实施例中,该目标识别、分析和跟踪系统可吸附该一个或多个身体部位(诸如关节j1-j16),以使该一个或多个身体部位可被调整到包括例如该人类目标的一体素的X值、Y值和/或深度值(Z值)的地点或位置,该体素可能例如在距离上最接近默认姿态中的该模型的一个或多个身体部位,这将在下面更详细地描述。
根据附加实施例,在325,该目标识别、分析和跟踪系统可使用为人类目标计算或确定的动量信息、与人类目标相关联的新近移动、人类目标的其他末端的地点或位置、或与例如人类目标和/或网格中的体素相关联的任何其他适当信息、值、和/或地点或位置来调整一个或多个身体部位。
图10描绘了在图5中示出的在325跟踪模型的示例方法的流程图。例如,如图5所示,在一个或多个末端可在320确定或估算之后,在325可跟踪模型。为了在325跟踪模型,该目标识别、分析和跟踪系统可执行下面关于下面的图10描述的方法或过程。
在一个实施例中,在1005,关于一个或多个末端的地点或位置是否已被估算或确定来作出判定。例如,该目标识别、分析和跟踪系统可判定人类目标的一个或多个末端的地点或位置是否已在例如图5的320被估算或确定。
此外,在1005,关于为该一个或多个末端估算的地点或位置是否有效作出判定。根据一个实施例,该目标识别、分析和跟踪系统可确定为所述末端(诸如头、肩、髋、手、脚等)确定或估算的地点或位置中的一个或多个是否可能不是人类目标的实际末端的精确地点或位置。例如,如上所述,右手的地点或位置可能是不精确的,使得右手的地点或位置可能停滞在或毗邻于肩或髋的地点或位置。因此,在一个实施例中,在1005,该目标识别、分析和跟踪系统可进一步验证该一个或多个末端的地点或位置是有效的,以使该地点或位置对该人类目标是精确的。
在1010,当已为一个或多个末端估算或确定了地点或位置和/或该地点或位置有效时,在1015,可基于该地点或位置来调整该模型的与该一个或多个末端相关联的一个或多个身体部位。根据一个实施例,该目标识别、分析和跟踪系统可基于为所述末端估算或确定的地点或位置来调整该模型的一个或多个身体部位(诸如关节j1-j16)。例如,该目标识别、分析和跟踪系统可将模型中与头相关联的关节j1调整到诸如在320为头810确定或估算的地点或位置之类的位置或地点,如图8所示。因此,在一示例实施例中,关节j1可被赋予与如上所述的为头810估算或确定的地点或位置相关联的X值、Y值和深度值。此外,该目标识别、分析和跟踪系统可将其它的身体部位(诸如关节j2-j16)调整到与相应关节j2-j16相关联的末端(诸如手、脚、肘、膝、肩、髋等)的地点或位置。
在1010,当可能尚未为人类目标的一个或多个末端估算或确定地点或位置和/或该地点或位置可能不是有效的时,在1020可放松该模型的一个或多个身体部位。例如,在一个实施例中,该目标识别、分析和跟踪系统可以在1020基于默认姿态中的默认地点或位置来将该模型的一个或多个身体部位(诸如关节j1-j16)放松。为了放松该模型的一个或多个身体部位,该目标识别、分析和跟踪系统可将该一个或多个身体部位调整到默认地点或位置,以便该一个或多个身体部位可返回到中性姿态或默认姿态(诸如T型姿态、达芬奇姿态、自然姿态等)。因此,在一个实施例中,在1010,当可能尚未为与该人类目标相关联的左和右肘以及左和右手估算地点或位置时,该目标识别、分析和跟踪系统可将身体部位(诸如关节j9-j12)调整到默认地点或位置,该默认地点或位置包括在默认姿态中的左和右肘以及左和右手的默认X值、Y值和深度值。
在1025,该模型的一个或多个身体部位可随后被吸附到与例如该人类目标相关联的最接近的体素。例如,在一个实施例中,在1025,该目标识别、分析和跟踪系统可将该模型定位在体素的网格中的人类目标上,以使得该模型可被叠加或覆盖在该人类目标上。该目标识别、分析和跟踪系统随后可将该模型的一个或多个身体部位(诸如关节j1-j16)吸附或调整到可能与该一个或多个身体部位的默认地点或位置最接近的、与该人类目标相关联的体素的地点或位置。例如,在一个实施例中,该目标识别、分析和跟踪系统可将在默认地点或位置处的一个或多个身体部位(诸如关节j1-j16)调整到包括例如该人类目标的一体素的X值、Y值和/或深度值(Z值)的地点或位置,该体素可能处于到默认姿态中的该一个或多个身体部位的默认姿态或地点的最接近距离,以使得该一个或多个身体部位可被赋予该体素的X值、Y值和/或深度值。根据另一实施例,该一个或多个关节可被吸附到基于该人类目标的表面的一个或多个体素。例如,该一个或多个身体部位可被吸附到定义该人类目标在该场景中的边界或表面的体素,以使得该模型的一个或多个身体部位可被调整和/或分配到接近该人类目标的边界或表面的地点或位置。
在1030,可基于几何约束来调整该模型(包括该模型的一个或多个身体部位)。例如,在一个实施例中,该目标识别、分析和跟踪系统可基于几何约束来进一步调整该模型的一个或多个身体部位(诸如关节j1-j16)的尺寸、地点或位置等。根据一示例实施例,几何约束可包括例如与人类目标的末端和/或典型人类的身体部位相关联的测量或尺度,诸如长度和/或宽度、角度、位置、形状等。例如,如上所述,该目标识别、分析和跟踪系统可扫描与该人类目标相关联的体素来确定该人类目标及与其相关联的末端的几何约束,诸如测量或尺寸、角度、位置、形状等。根据另一实施例,该目标识别、分析和跟踪系统可包括其中存储的典型人类和典型身体的几何约束,诸如测量或尺度、角度、位置、形状等。例如,该目标识别、分析和跟踪系统可具有几何约束,该几何约束可包括与其中存储的典型人类的前臂的长度相关联的值的范围。因此,根据一示例实施例,该目标识别、分析和跟踪系统可在1030进一步基于为人类目标确定的和/或与典型人类相关联的一个或多个几何约束来调整该模型的一个或多个身体部位的尺寸、地点或位置等。
在1035,关于该模型是否有效作出判定。例如,在一个实施例中,该目标识别、分析和跟踪系统可进一步确定该模型(包括该模型的一个或多个身体部位,诸如关节j1-j16)是否可能处于有效姿态、该模型是否已经适当地符合与该人类目标等相关联的体素的诸如X值、Y值和/或深度值等值。因此,在一个示例实施例中,该目标识别、分析和跟踪系统可在1035检查该模型,其中对该模型的一个或多个身体部位的调整(例如,在1015、1025和/或1030)可能已致使该模型不适当符合该人类目标的体素,而以无效姿态或以不当方式崩溃(collapse)等。例如,该目标识别、分析和跟踪系统可检查以确定身体部位(诸如图9所示的关节j9和j10)可能戳出以使得该模型可能停在无效姿态。根据示例实施例,如果该模型可能无效(诸如无效姿态、不适当符合体素等等),则该目标识别、分析和跟踪系统可将该模型的一个或多个身体部位调整到有效或处于有效姿态和/或适当符合人类目标的体素的先前地点或位置;可以返回或呈现错误消息;可以基于深度图像中与该人类目标相关联的像素的值来调整该模型;或可执行任何其他适当动作。
在1040,可细化该模型的一个或多个身体部位。例如,在一个实施例中,该目标识别、分析和跟踪系统可细化该模型的一个或多个身体部位(诸如关节j1-j16)的地点或位置。根据一个实施例,该目标识别、分析和跟踪系统可基于在305接收的非降采样的深度图像的2-D像素区域中的X值、Y值和深度值来进一步细化该模型的身体部位的地点或位置。例如,在一个实施例中,该目标识别、分析和跟踪系统可使用来自该非降采样的深度图像的数据来细化该模型的一个或多个身体部位的地点或位置,在这种情况下例如该模型可崩溃和/或在这种情况下为体素的网格中的人类目标的一个或多个末端确定或估算的地点或位置可能是不精确或无效的。此外,该目标识别、分析和跟踪系统可使用来自该非降采样的深度图像的数据来细化与频繁使用的姿势相关联的模型的关节的地点或位置。例如,根据一个实施例,该目标识别、分析和跟踪系统可使与手相关联的关节优先。在1040,该目标识别、分析和跟踪系统可局部化在305接收的非降采样的深度图像中的手周围的数据,以使该目标识别、分析和跟踪系统可使用在305接收的非降采样的深度图像中的更高分辨率的数据来修改该模型的与手相关联的身体部位的地点或位置。
回头参考图5,在330处,可以处理该模型。例如,在一个实施例中,该目标识别、分析和跟踪系统可以通过例如将应用于经调整的模型的一个或多个运动或移动映射到化身或游戏角色来处理该模型,使得可对该化身或游戏角色动画化来模拟诸如以上参考图1A和1B描述的用户18等用户。例如,可响应于对正在调整的模型的改变来改变屏幕上角色的视觉外观。
在另一实施例中,该目标识别、分析和跟踪系统可通过将该模型提供到计算环境(诸如上面参考图1A-4描述的计算环境12)中的姿势库来处理该模型。然后可使用该姿势库来基于模型的各身体部位的位置来确定在应用内执行的控制。
应该理解,此处所述的配置和/或方法在本质上是示例性的,且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此,所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样,可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。
Claims (15)
1.一种用于跟踪场景中的用户的方法,所述方法包括:
接收深度图像;
基于所述深度图像生成体素的网格,以对深度图像进行降采样;
分析经降采样的深度图像以确定每一个体素是否与背景物体相关联,并在确定与背景物体相关联时将所述体素的网格中所包括的背景从经降采样的深度图像中移除以隔离开与人类目标相关联的一个或多个体素;
确定是否已为所述体素的网格中所包括的人类目标的末端估算了地点或位置;以及
当已为所述末端估算了地点或位置时,将模型的与所述末端相关联的身体部位调整到所述地点或位置。
2.如权利要求1所述的方法,其特征在于,所述模型包括具有关节和骨骼的骨架模型。
3.如权利要求2所述的方法,其特征在于,将模型的与所述末端相关联的身体部位调整到所述地点或位置包括将所述骨架模型的与所述末端相关联的关节调整到所述地点或位置。
4.如权利要求1所述的方法,其特征在于,还包括确定是否已为所述体素的网格中所包括的所述人类目标的所述末端估算了所述地点或位置还包括确定所述地点或位置是否是有效的,以及其中当已为所述末端估算了所述地点或位置并且为所述末端估算的所述地点或位置有效时,所述模型的与所述末端相关联的所述身体部位被调整到所述地点或位置。
5.如权利要求1所述的方法,其特征在于,还包括基于几何约束调整所述模型。
6.如权利要求1所述的方法,其特征在于,还包括,当尚未为所述末端估算所述地点或位置时,将所述模型的与所述末端相关联的身体部位放松到与默认姿态相关联的默认地点或位置。
7.如权利要求6所述的方法,其特征在于,所述默认姿态包括以下的至少一个:T型姿态、达芬奇姿态和自然姿态。
8.如权利要求6所述的方法,其特征在于,还包括将所述模型的所述身体部位调整到所述人类目标的与同所述默认姿态相关联的所述默认地点或位置最接近的体素的地点或位置。
9.如权利要求1所述的方法,其特征在于,还包括确定与所述模型和一个或多个经调整的身体部位相关联的姿态是否有效。
10.如权利要求1所述的方法,其特征在于,还包括基于与所接收的深度图像中与所述人类目标的所述末端相关联的一个或多个像素来细化所述模型的所述身体部位的位置。
11.一种用于跟踪场景中的用户的方法,所述方法包括:
接收深度图像;
基于所述深度图像生成体素的网格,以对深度图像进行降采样;
分析经降采样的深度图像以确定每一个体素是否与背景物体相关联,并在确定与背景物体相关联时将所述体素的网格中所包括的背景从经降采样的深度图像中移除以隔离开与人类目标相关联的一个或多个体素;
确定是否已为所述体素的网格中所包括的人类目标的末端估算了地点或位置;
当尚未为所述末端估算所述地点或位置时,将模型的与所述末端相关联的身体部位放松到与默认姿态相关联的默认地点或位置;以及
将所述模型的所述身体部位吸附到所述人类目标的与同所述默认姿态相关联的默认地点或位置最接近的体素的地点或位置。
12.一种用于跟踪场景中的用户的系统,所述系统包括:
捕捉设备,其中所述捕捉设备包括接收场景的深度图像的相机组件;以及
与所述捕捉设备可操作地通信的计算设备,其中所述计算设备包括处理器,所述处理器基于所述深度图像生成体素的网格,以对深度图像进行降采样,分析经降采样的深度图像以确定每一个体素是否与背景物体相关联,并在确定与背景物体相关联时将所述体素的网格中所包括的背景从经降采样的深度图像中移除以隔离开与人类目标相关联的一个或多个体素,确定是否已为所述体素的网格中所包括的人类目标的末端估算了地点或位置;当已为所述末端估算了所述地点或位置时,将模型的与所述末端相关联的身体部位调整到所述地点或位置;以及当尚未为所述末端估算所述地点或位置时,将所述模型的所述身体部位调整到与所述人类目标相关联的最接近的体素。
13.如权利要求12所述的系统,其特征在于,当尚未为所述末端估算所述地点或位置时,所述处理器还通过将所述模型的与所述末端相关联的所述身体部位放松到与默认姿态相关联的默认地点或位置,以及将所述模型的所述身体部位调整到所述人类目标的与同所述默认姿态相关联的所述默认地点或位置最接近的体素的地点或位置,来将所述模型的所述身体部位调整到与所述人类目标相关联的最接近的体素。
14.如权利要求12所述的系统,其特征在于,所述处理器还基于与所接收的深度图像中与所述人类目标的所述末端相关联的一个或多个像素来细化所述模型的所述身体部位的位置。
15.如权利要求12所述的系统,其特征在于,所述处理器还基于几何约束来调整所述模型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/621,013 US7961910B2 (en) | 2009-10-07 | 2009-11-18 | Systems and methods for tracking a model |
US12/621,013 | 2009-11-18 | ||
PCT/US2010/055179 WO2011062757A2 (en) | 2009-11-18 | 2010-11-02 | Systems and methods for tracking a model |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102576466A CN102576466A (zh) | 2012-07-11 |
CN102576466B true CN102576466B (zh) | 2015-09-30 |
Family
ID=44060264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080044525.5A Active CN102576466B (zh) | 2009-11-18 | 2010-11-02 | 用于跟踪模型的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (6) | US7961910B2 (zh) |
CN (1) | CN102576466B (zh) |
WO (1) | WO2011062757A2 (zh) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8963829B2 (en) * | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
RU2534892C2 (ru) * | 2010-04-08 | 2014-12-10 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для захвата безмаркерных движений человека |
JP6203634B2 (ja) | 2010-04-09 | 2017-09-27 | ゾール メディカル コーポレイションZOLL Medical Corporation | Ems装置通信インタフェースのシステム及び方法 |
JP5881136B2 (ja) * | 2010-09-27 | 2016-03-09 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
KR101715780B1 (ko) * | 2010-10-11 | 2017-03-13 | 삼성전자주식회사 | 복셀 맵 생성기 및 그 방법 |
US20120249468A1 (en) * | 2011-04-04 | 2012-10-04 | Microsoft Corporation | Virtual Touchpad Using a Depth Camera |
US9129400B1 (en) * | 2011-09-23 | 2015-09-08 | Amazon Technologies, Inc. | Movement prediction for image capture |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
CN203015041U (zh) * | 2011-12-29 | 2013-06-19 | 三星电子株式会社 | 显示装置 |
KR101849373B1 (ko) * | 2012-01-31 | 2018-04-17 | 한국전자통신연구원 | 인체의 관절구조를 추정하기 위한 장치 및 방법 |
CN104395929B (zh) * | 2012-06-21 | 2017-10-03 | 微软技术许可有限责任公司 | 使用深度相机的化身构造 |
TWI496090B (zh) | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
US9911166B2 (en) | 2012-09-28 | 2018-03-06 | Zoll Medical Corporation | Systems and methods for three-dimensional interaction monitoring in an EMS environment |
TWI466062B (zh) | 2012-10-04 | 2014-12-21 | Ind Tech Res Inst | 重建三維模型的方法與三維模型重建裝置 |
US9052746B2 (en) * | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
CN103150559B (zh) * | 2013-03-01 | 2016-07-06 | 南京理工大学 | 基于Kinect三维深度图像的头部识别与跟踪方法 |
US9292923B2 (en) * | 2013-03-06 | 2016-03-22 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to monitor environments |
JP6273686B2 (ja) * | 2013-03-29 | 2018-02-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9443136B2 (en) | 2013-04-12 | 2016-09-13 | Samsung Electronics Co., Ltd. | Apparatus and method for detecting body parts from user image |
KR101933921B1 (ko) | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
US20150146928A1 (en) * | 2013-11-27 | 2015-05-28 | Electronics And Telecommunications Research Institute | Apparatus and method for tracking motion based on hybrid camera |
JP6217373B2 (ja) * | 2013-12-13 | 2017-10-25 | 富士通株式会社 | 動作判定方法、動作判定装置および動作判定プログラム |
CN104065949B (zh) * | 2014-06-26 | 2016-08-10 | 深圳奥比中光科技有限公司 | 一种电视虚拟触控方法及系统 |
AU2015203771B2 (en) * | 2014-07-08 | 2020-11-05 | Iomniscient Pty Ltd | A method and apparatus for surveillance |
US11013451B2 (en) | 2014-09-19 | 2021-05-25 | Brigham Young University | Marker-less monitoring of movement disorders |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US9715619B2 (en) | 2015-03-14 | 2017-07-25 | Microsoft Technology Licensing, Llc | Facilitating aligning a user and camera for user authentication |
JP6569452B2 (ja) * | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
US10713610B2 (en) | 2015-12-22 | 2020-07-14 | Symbol Technologies, Llc | Methods and systems for occlusion detection and data correction for container-fullness estimation |
US9940730B2 (en) | 2015-11-18 | 2018-04-10 | Symbol Technologies, Llc | Methods and systems for automatic fullness estimation of containers |
US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
CN105741323A (zh) * | 2016-02-03 | 2016-07-06 | 浙江大学 | 一种基于单目视频的人体骨架跟踪方法 |
CN111329551A (zh) | 2016-03-12 | 2020-06-26 | P·K·朗 | 用于脊柱和关节手术的增强现实引导 |
EP3568070B1 (en) | 2017-01-16 | 2024-01-03 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
US10943088B2 (en) | 2017-06-14 | 2021-03-09 | Target Brands, Inc. | Volumetric modeling to identify image areas for pattern recognition |
US10311624B2 (en) * | 2017-06-23 | 2019-06-04 | Disney Enterprises, Inc. | Single shot capture to animated vr avatar |
WO2019051464A1 (en) | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
DK3610358T3 (da) * | 2017-12-13 | 2021-09-20 | Sz Dji Technology Co Ltd | Dybdeinformationsbaseret positurbestemmelse til mobile platforme, og associerede systemer og fremgangsmåder |
US11348257B2 (en) | 2018-01-29 | 2022-05-31 | Philipp K. Lang | Augmented reality guidance for orthopedic and other surgical procedures |
CN108492364B (zh) * | 2018-03-27 | 2022-09-20 | 百度在线网络技术(北京)有限公司 | 用于生成图像生成模型的方法和装置 |
CN108564618B (zh) * | 2018-04-11 | 2020-12-01 | 清华大学 | 基于多体素块的手几何运动重建方法及装置 |
US10783656B2 (en) | 2018-05-18 | 2020-09-22 | Zebra Technologies Corporation | System and method of determining a location for placement of a package |
CN109410276B (zh) * | 2018-11-01 | 2020-10-27 | 北京达佳互联信息技术有限公司 | 关键点位置确定方法、装置及电子设备 |
US11423564B2 (en) * | 2018-11-30 | 2022-08-23 | Healthreel, Inc. | Body modeling using mobile device |
CN109711271A (zh) * | 2018-12-04 | 2019-05-03 | 广东智媒云图科技股份有限公司 | 一种基于关节连接线的动作判断方法及系统 |
US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
EP3966740A4 (en) * | 2019-07-09 | 2022-07-06 | Gentex Corporation | SYSTEMS, DEVICES AND METHODS FOR MEASURING THE MASS OF OBJECTS IN A VEHICLE |
WO2022046307A2 (en) * | 2020-07-15 | 2022-03-03 | Includehealth, Inc. | Systems and methods for personalized exercise protocols and tracking thereof |
US11786206B2 (en) | 2021-03-10 | 2023-10-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems |
CN117581278A (zh) * | 2021-08-17 | 2024-02-20 | 创峰科技 | 移动平台上实时手持式无标记人体动作记录和虚拟形象渲染 |
Family Cites Families (286)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) * | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
JPH06508788A (ja) | 1991-12-03 | 1994-10-06 | フレンチ スポーテク コーポレイション | 対話型ビデオ式検査および訓練システム |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
US5561745A (en) * | 1992-10-16 | 1996-10-01 | Evans & Sutherland Computer Corp. | Computer graphics for animation by time-sequenced textures |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
GB9405299D0 (en) | 1994-03-17 | 1994-04-27 | Roke Manor Research | Improvements in or relating to video-based systems for computer assisted surgery and localisation |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
AUPN003894A0 (en) | 1994-12-13 | 1995-01-12 | Xenotech Research Pty Ltd | Head tracking system for stereoscopic display apparatus |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
EP0823683B1 (en) | 1995-04-28 | 2005-07-06 | Matsushita Electric Industrial Co., Ltd. | Interface device |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
US6229913B1 (en) | 1995-06-07 | 2001-05-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
JPH09231369A (ja) | 1996-02-21 | 1997-09-05 | Canon Inc | 画像情報入力装置 |
US5909218A (en) * | 1996-04-25 | 1999-06-01 | Matsushita Electric Industrial Co., Ltd. | Transmitter-receiver of three-dimensional skeleton structure motions and method thereof |
EP0958002A4 (en) | 1996-05-08 | 2001-03-28 | Real Vision Corp | REAL-TIME SIMULATION USING POSITION DETECTION |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5844241A (en) | 1996-07-19 | 1998-12-01 | City Of Hope | System and method for determining internal radioactivity and absorbed dose estimates |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
JP2001504605A (ja) | 1996-08-14 | 2001-04-03 | ラティポフ,ヌラフメド,ヌリスラモビチ | 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
EP0849697B1 (en) | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
US5974175A (en) | 1997-01-22 | 1999-10-26 | Fujitsu Limited | Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6400368B1 (en) * | 1997-03-20 | 2002-06-04 | Avid Technology, Inc. | System and method for constructing and using generalized skeletons for animation models |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
AU9808298A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
EP1059970A2 (en) | 1998-03-03 | 2000-12-20 | Arena, Inc, | System and method for tracking and assessing movement skills in multidimensional space |
BR9909611B1 (pt) * | 1998-04-13 | 2012-08-07 | mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto. | |
US6272231B1 (en) | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US6950534B2 (en) * | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
US6661918B1 (en) | 1998-12-04 | 2003-12-09 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
DE69840608D1 (de) | 1998-12-16 | 2009-04-09 | 3Dv Systems Ltd | Selbsttastende photoempfindliche oberfläche |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6487304B1 (en) | 1999-06-16 | 2002-11-26 | Microsoft Corporation | Multi-view approach to motion and stereo |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6556199B1 (en) * | 1999-08-11 | 2003-04-29 | Advanced Research And Technology Institute | Method and apparatus for fast voxelization of volumetric models |
JP2001126085A (ja) * | 1999-08-16 | 2001-05-11 | Mitsubishi Electric Corp | 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法 |
US6658136B1 (en) * | 1999-12-06 | 2003-12-02 | Microsoft Corporation | System and process for locating and tracking a person or object in a scene using a series of range images |
JP4531897B2 (ja) * | 1999-12-27 | 2010-08-25 | パナソニック株式会社 | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
US6980690B1 (en) * | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7375728B2 (en) * | 2001-10-01 | 2008-05-20 | University Of Minnesota | Virtual mirror |
US6760028B1 (en) * | 2000-07-21 | 2004-07-06 | Microsoft Corporation | Methods and systems for hinting fonts |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6700586B1 (en) * | 2000-08-23 | 2004-03-02 | Nintendo Co., Ltd. | Low cost graphics with stitching processing hardware support for skeletal animation |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6573912B1 (en) | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
JP4011327B2 (ja) | 2000-11-15 | 2007-11-21 | 株式会社レクサー・リサーチ | 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US6539931B2 (en) * | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
RU2215326C2 (ru) | 2001-06-29 | 2003-10-27 | Самсунг Электроникс Ко., Лтд. | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта |
US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
JP2003058907A (ja) * | 2001-08-09 | 2003-02-28 | Univ Tokyo | 木構造リンク系のポーズ及び動作を生成する方法 |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
JP2003103245A (ja) | 2001-09-28 | 2003-04-08 | Mitsubishi Heavy Ind Ltd | 汚染対象物の浄化装置 |
JP2003109015A (ja) | 2001-10-01 | 2003-04-11 | Masanobu Yamamoto | 身体動作測定方式 |
DE10149556A1 (de) * | 2001-10-08 | 2003-04-24 | Siemens Ag | Verfahren zur Erzeugung eines zweidimensionalen Bildes aus einem 3D-Datensatz eines Tomographie-Geräts und medizinisches Tomographie-Gerät |
CA2413058C (en) | 2001-11-27 | 2012-01-17 | Samsung Electronics Co., Ltd. | Node structure for representing 3-dimensional objects using depth image |
KR100450823B1 (ko) * | 2001-11-27 | 2004-10-01 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조 |
US7340077B2 (en) | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
AU2003219926A1 (en) | 2002-02-26 | 2003-09-09 | Canesta, Inc. | Method and apparatus for recognizing objects |
US7203356B2 (en) | 2002-04-11 | 2007-04-10 | Canesta, Inc. | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
US7607509B2 (en) | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
US7366645B2 (en) * | 2002-05-06 | 2008-04-29 | Jezekiel Ben-Arie | Method of recognition of human motion, vector sequences and speech |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
WO2003107039A2 (en) | 2002-06-13 | 2003-12-24 | I See Tech Ltd. | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired |
US8599266B2 (en) | 2002-07-01 | 2013-12-03 | The Regents Of The University Of California | Digital processing of video images |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US7176915B1 (en) * | 2002-08-09 | 2007-02-13 | Avid Technology, Inc. | Subdividing rotation in a character using quaternion interpolation for modeling and animation in three dimensions |
KR100980915B1 (ko) | 2002-08-30 | 2010-09-07 | 소니 주식회사 | 화상 처리 장치 및 처리 방법 및 촬영 장치 |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
KR100507780B1 (ko) | 2002-12-20 | 2005-08-17 | 한국전자통신연구원 | 고속 마커프리 모션 캡쳐 장치 및 방법 |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
US7224830B2 (en) | 2003-02-04 | 2007-05-29 | Intel Corporation | Gesture detection from digital video images |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US7257237B1 (en) * | 2003-03-07 | 2007-08-14 | Sandia Corporation | Real time markerless motion tracking using linked kinematic chains |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
US7620202B2 (en) * | 2003-06-12 | 2009-11-17 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
JP2005165984A (ja) | 2003-12-05 | 2005-06-23 | Seiko Epson Corp | 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム |
US20050215319A1 (en) | 2004-03-23 | 2005-09-29 | Harmonix Music Systems, Inc. | Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment |
JP4708422B2 (ja) | 2004-04-15 | 2011-06-22 | ジェスチャー テック,インコーポレイテッド | 両手動作の追跡 |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US8059153B1 (en) | 2004-06-21 | 2011-11-15 | Wyse Technology Inc. | Three-dimensional object tracking using distributed thin-client cameras |
US7015926B2 (en) * | 2004-06-28 | 2006-03-21 | Microsoft Corporation | System and process for generating a two-layer, 3D representation of a scene |
EP1789928A4 (en) * | 2004-07-30 | 2011-03-16 | Extreme Reality Ltd | SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
US20130063477A1 (en) | 2004-12-06 | 2013-03-14 | James Richardson | Systems and methods for using a movable object to control a computer |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
WO2006074290A2 (en) | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
JP5160235B2 (ja) | 2005-01-07 | 2013-03-13 | クアルコム,インコーポレイテッド | 画像中の物体の検出及び追跡 |
US20060170769A1 (en) * | 2005-01-31 | 2006-08-03 | Jianpeng Zhou | Human and object recognition in digital video |
KR100960577B1 (ko) | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
US7646902B2 (en) | 2005-02-08 | 2010-01-12 | Regents Of The University Of Michigan | Computerized detection of breast cancer on digital tomosynthesis mammograms |
US20080246759A1 (en) | 2005-02-23 | 2008-10-09 | Craig Summers | Automatic Scene Modeling for the 3D Camera and 3D Video |
JP4686595B2 (ja) * | 2005-03-17 | 2011-05-25 | 本田技研工業株式会社 | クリティカルポイント解析に基づくポーズ推定 |
WO2006124935A2 (en) | 2005-05-17 | 2006-11-23 | Gesturetek, Inc. | Orientation-sensitive signal output |
US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
JP4653599B2 (ja) | 2005-08-29 | 2011-03-16 | アロカ株式会社 | 超音波診断装置 |
US8382485B2 (en) * | 2005-09-29 | 2013-02-26 | The General Hospital Corporation | Methods and apparatus for providing realistic medical training |
US8390821B2 (en) | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
US7728839B2 (en) * | 2005-10-28 | 2010-06-01 | Honda Motor Co., Ltd. | Discriminative motion modeling for human motion tracking |
US8094928B2 (en) | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
KR100817298B1 (ko) * | 2005-12-08 | 2008-03-27 | 한국전자통신연구원 | 양손 검출 및 추적 방법 |
JP5025950B2 (ja) | 2005-12-12 | 2012-09-12 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 |
US8571258B2 (en) | 2006-02-07 | 2013-10-29 | France Telecom | Method of tracking the position of the head in real time in a video image stream |
WO2007130693A2 (en) | 2006-05-07 | 2007-11-15 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
CN101657825B (zh) | 2006-05-11 | 2014-02-19 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
US8467570B2 (en) | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
WO2008005946A2 (en) * | 2006-06-30 | 2008-01-10 | Imagemovers Digital Llc | Capturing and rendering dynamic surface deformations in human motion |
JP4409545B2 (ja) | 2006-07-06 | 2010-02-03 | 株式会社ソニー・コンピュータエンタテインメント | 三次元位置特定装置および方法、奥行位置特定装置 |
JP4707034B2 (ja) | 2006-07-07 | 2011-06-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、入力インタフェース装置 |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
DE102006048166A1 (de) | 2006-08-02 | 2008-02-07 | Daimler Ag | Verfahren zur Beobachtung einer Person in einem industriellen Umfeld |
CN100541540C (zh) * | 2006-09-14 | 2009-09-16 | 浙江大学 | 基于侧影和末端节点的视频人体三维运动恢复方法 |
US8131011B2 (en) * | 2006-09-25 | 2012-03-06 | University Of Southern California | Human detection and tracking system |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US20100278391A1 (en) | 2006-10-12 | 2010-11-04 | Yung-Tai Hsu | Apparatus for behavior analysis and method thereof |
US8023726B2 (en) * | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
US7844087B2 (en) | 2006-12-19 | 2010-11-30 | Carestream Health, Inc. | Method for segmentation of lesions |
US8351646B2 (en) * | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
AU2008222933A1 (en) | 2007-03-02 | 2008-09-12 | Organic Motion | System and method for tracking three dimensional objects |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US20080252596A1 (en) | 2007-04-10 | 2008-10-16 | Matthew Bell | Display Using a Three-Dimensional vision System |
BRPI0721562A2 (pt) | 2007-04-20 | 2013-01-22 | Softkinetic S A | mÉtodo e sistema de reconhecimento de volume |
US7965866B2 (en) * | 2007-07-03 | 2011-06-21 | Shoppertrak Rct Corporation | System and process for detecting, tracking and counting human objects of interest |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
US8295543B2 (en) | 2007-08-31 | 2012-10-23 | Lockheed Martin Corporation | Device and method for detecting targets in images based on user-defined classifiers |
US7806589B2 (en) * | 2007-09-26 | 2010-10-05 | University Of Pittsburgh | Bi-plane X-ray imaging system |
US7970176B2 (en) | 2007-10-02 | 2011-06-28 | Omek Interactive, Inc. | Method and system for gesture classification |
US7876947B2 (en) | 2007-10-10 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | System and method for detecting tagged material using alpha matting |
WO2009059065A1 (en) | 2007-10-30 | 2009-05-07 | Hewlett-Packard Development Company, L.P. | Interactive display system with collaborative gesture detection |
US20090221368A1 (en) * | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
US8419545B2 (en) | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
GB2455316B (en) * | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
US7925081B2 (en) * | 2007-12-12 | 2011-04-12 | Fuji Xerox Co., Ltd. | Systems and methods for human body pose estimation |
US9165199B2 (en) | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
WO2009086088A1 (en) | 2007-12-21 | 2009-07-09 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
KR100939294B1 (ko) * | 2007-12-26 | 2010-01-29 | 주식회사 케이티 | 3차원 공간에서의 사람 움직임 추적 방법 및 장치 |
US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
KR101335346B1 (ko) * | 2008-02-27 | 2013-12-05 | 소니 컴퓨터 엔터테인먼트 유럽 리미티드 | 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 |
US8259163B2 (en) * | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
JP4582174B2 (ja) | 2008-03-28 | 2010-11-17 | ソニー株式会社 | 追跡処理装置、追跡処理方法、プログラム |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
KR101494344B1 (ko) | 2008-04-25 | 2015-02-17 | 삼성전자주식회사 | 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법 |
CN105182263A (zh) | 2008-04-28 | 2015-12-23 | 康奈尔大学 | 分子mri中的磁敏度精确量化 |
US8971565B2 (en) | 2008-05-29 | 2015-03-03 | Hie-D Technologies, Llc | Human interface electronic device |
US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
CN201254344Y (zh) | 2008-08-20 | 2009-06-10 | 中国农业科学院草原研究所 | 植物标本及种子存贮器 |
US8385688B2 (en) | 2008-08-27 | 2013-02-26 | International Business Machines Corporation | System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans |
US8577084B2 (en) * | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US20100235786A1 (en) | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8175335B2 (en) | 2009-06-17 | 2012-05-08 | Sony Corporation | Content adaptive detection of images with stand-out object |
US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US20130208900A1 (en) | 2010-10-13 | 2013-08-15 | Microsoft Corporation | Depth camera with integrated three-dimensional audio |
US20130208926A1 (en) | 2010-10-13 | 2013-08-15 | Microsoft Corporation | Surround sound simulation with virtual skeleton modeling |
US8761437B2 (en) | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
US9142034B2 (en) | 2013-03-14 | 2015-09-22 | Microsoft Technology Licensing, Llc | Center of mass state vector for analyzing user motion in 3D images |
US9159140B2 (en) | 2013-03-14 | 2015-10-13 | Microsoft Technology Licensing, Llc | Signal analysis for repetition detection and analysis |
-
2009
- 2009-11-18 US US12/621,013 patent/US7961910B2/en active Active
-
2010
- 2010-11-02 CN CN201080044525.5A patent/CN102576466B/zh active Active
- 2010-11-02 WO PCT/US2010/055179 patent/WO2011062757A2/en active Application Filing
-
2011
- 2011-06-09 US US13/156,457 patent/US8325984B2/en active Active
- 2011-11-04 US US13/289,823 patent/US8483436B2/en active Active
-
2012
- 2012-11-15 US US13/678,288 patent/US8891827B2/en not_active Expired - Fee Related
-
2013
- 2013-05-08 US US13/889,901 patent/US8897495B2/en not_active Expired - Fee Related
-
2014
- 2014-10-27 US US14/524,277 patent/US9582717B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8325984B2 (en) | 2012-12-04 |
US20130243257A1 (en) | 2013-09-19 |
US7961910B2 (en) | 2011-06-14 |
US8483436B2 (en) | 2013-07-09 |
US8891827B2 (en) | 2014-11-18 |
US20110081045A1 (en) | 2011-04-07 |
US8897495B2 (en) | 2014-11-25 |
WO2011062757A2 (en) | 2011-05-26 |
US20110234589A1 (en) | 2011-09-29 |
US20120057753A1 (en) | 2012-03-08 |
US20150146923A1 (en) | 2015-05-28 |
WO2011062757A3 (en) | 2011-09-01 |
CN102576466A (zh) | 2012-07-11 |
US9582717B2 (en) | 2017-02-28 |
US20130070058A1 (en) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102576466B (zh) | 用于跟踪模型的系统和方法 | |
CN102665838B (zh) | 用于确定和跟踪目标的肢端的方法和系统 | |
CN102549619B (zh) | 人类跟踪系统 | |
CN102413885B (zh) | 用于对运动捕捉应用模型跟踪的系统和方法 | |
CN102596340B (zh) | 用于将动画或运动应用到角色的系统和方法 | |
CN102448565B (zh) | 将骨架数据实时重新定标到游戏化身的系统和方法 | |
CN102129293B (zh) | 在运动捕捉系统中跟踪用户组 | |
CN102301398B (zh) | 用于捕捉场景的深度信息的设备、方法和系统 | |
CN102448562B (zh) | 用于跟踪模型的系统和方法 | |
CN102947777B (zh) | 用户跟踪反馈 | |
CN102414641B (zh) | 改变显示环境内的视图视角 | |
CN102741885B (zh) | 装饰显示环境 | |
CN102576463B (zh) | 用于移除图像的背景的系统和方法 | |
CN102135798B (zh) | 仿生学运动 | |
CN102448564B (zh) | 环境和/或目标分割 | |
CN102362293B (zh) | 链接动画 | |
CN102622774B (zh) | 起居室电影创建 | |
CN102356373B (zh) | 虚拟对象操纵 | |
CN102129709A (zh) | 可视化深度 | |
CN102591456B (zh) | 对身体和道具的检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150728 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150728 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |